CN117136315A - 使用模型注入进行点云数据增强的设备、系统、方法和媒体 - Google Patents

使用模型注入进行点云数据增强的设备、系统、方法和媒体 Download PDF

Info

Publication number
CN117136315A
CN117136315A CN202180095453.5A CN202180095453A CN117136315A CN 117136315 A CN117136315 A CN 117136315A CN 202180095453 A CN202180095453 A CN 202180095453A CN 117136315 A CN117136315 A CN 117136315A
Authority
CN
China
Prior art keywords
point cloud
surface model
point
points
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180095453.5A
Other languages
English (en)
Inventor
任远
埃山·塔格哈维
刘冰冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN117136315A publication Critical patent/CN117136315A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/23—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on positionally close patterns or neighbourhood relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2008—Assembling, disassembling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Architecture (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请涉及使用模型注入来增强点云数据的设备、系统、方法和媒体，目的是训练机器学习模型来执行点云分割和对象检测。该方法包括：从点云数据集中提取对象实例(402)；通过插值生成表面模型(404)来对点云对象实例进行上采样(314)。表面模型库(222)是根据LIDAR生成的点云帧中的点云对象实例生成的。表面模型可用于将新对象实例注入目标帧内任意位置处的目标点云帧中，以生成新的增强点云数据。然后，增强的点云数据可以用作训练数据，以提高使用机器学习算法训练的机器学习模型的准确性，以执行分割和/或对象检测任务。

Description

使用模型注入进行点云数据增强的设备、系统、方法和媒体
技术领域
本申请大体涉及用于机器学习的点云数据增强，尤其涉及使用模型注入进行点云数据增强的设备、系统、方法和媒体。
背景技术
激光雷达(Light Detection And Ranging，LiDAR，在本文中也称为“Lidar”或“LIDAR”)传感器生成表示所述LIDAR传感器扫描的三维(three-dimensional，3D)环境(也称为“场景”)的点云数据。LIDAR传感器的单次扫描在表示LIDAR传感器执行一次扫描所花费时间的时间段内，生成从空间中的一个或多个点反射光的一组点组成的点云数据的“帧”(以下称为“点云帧”)。旋转扫描LIDAR传感器等一些LIDAR传感器包括呈弧形发射光的激光器阵列，LIDAR传感器围绕单个位置旋转以生成点云帧；固态LIDAR传感器等其它LIDAR传感器包括从一个或多个位置发射光的激光器阵列并将从每个位置检测到的反射光整合在一起以形成点云帧。激光器阵列中的每个激光器用于在每次扫描过程中生成多个点，并且点云帧中的每个点对应于激光器在环境中空间的某个点处发射的反射光的对象。每个点通常存储为一组空间坐标(X、Y、Z)以及指示强度(即，使激光器反射的对象的反射率)等值的其它数据。在一些实现方式中，其它数据可以表示为值数组。在旋转扫描LIDAR传感器中，点云帧的Z轴通常由LIDAR传感器的旋转轴界定；在大多数情况下，该旋转轴与每个激光器的方位方向大致正交(尽管一些LIDAR传感器可能会使一些激光器相对于与旋转轴正交的平面略微向上或向下倾斜)。
点云数据帧也可以通过高清雷达或深度摄像头等其它扫描技术生成；理论上，使用电磁能量或声波能量等能量扫描波束的任何技术都可以用于生成点云帧。尽管本文将结合LIDAR传感器描述示例，但应当理解的是，在一些实施例中，可以使用生成点云帧的其它传感器技术。
LIDAR传感器是自动驾驶车辆中用于感测自动驾驶车辆周围环境(即，场景)的主传感器之一。自动驾驶车辆通常包括自动驾驶系统(automated driving system，ADS)或高级驾驶员辅助系统(advanced driver-assistance system，ADAS)。ADS或ADAS包括感知子模块，该感知子模块处理点云帧以生成可由ADS或ADAS的其它子系统使用的预测，以用于自动驾驶车辆的定位、自动驾驶车辆的路线规划、自动驾驶车辆的运动规划或自动驾驶车辆的轨迹生成。但是，由于点云帧的稀疏性和无序性，在点级收集和标记点云帧既耗时又成本高昂。点云帧中的点必须进行聚集、分割或分组处理(例如，使用对象检测、语义分割、实例分割或全景分割)，使得点云帧中的点的集合可以使用对象类(例如，“行人”或“摩托车”)或对象类实例(例如，“行人#3”)进行标记，这些标记在机器学习中用于训练对点云帧执行对象检测或各种类型的分割等预测任务的模型。这一繁琐的标记过程导致标记的点云帧的可用性有限，这些标记的点云帧表示使用机器学习来训练对点云帧执行预测任务的高准确性模型所需的各种公路和交通场景。
包括用于使用分割和对象检测等预测任务的机器学习来训练模型的点云帧的此类标记的点云数据集的示例包括：SemanticKITTI数据集(如J.Behley等人描述的，“SemanticKITTI：用于LiDAR序列语义场景理解的数据集(SemanticKITTI:A Dataset forSemantic Scene Understanding of LiDAR Sequences)”，2019年IEEE/CVF国际计算机视觉大会(International Conference on Computer Vision，ICCV)，韩国首尔，2019年，第9296-9306页，doi:10.1109/ICCV.2019.00939)；KITTI360(如J.Xie、M.Kiefel、M.Sun和A.Geiger描述的，“基于3D到2D标记转移的街景场景语义实例注释(Semantic InstanceAnnotation of Street Scenes by3D to 2D Label Transfer)”，2016年IEEE计算机视觉和模式识别(Computer Vision and Pattern Recognition，CVPR)会议，美国内华达州拉斯维加斯，2016年，第3688-3697页，doi:10.1109/CVPR.2016.401.)；Nuscenes-lidarseg(如H.Caesar等人描述的，“nuScenes：用于自动驾驶的多模式数据集(nuScenes:AMultimodalDataset for Autonomous Driving)”，2020年IEEE/CVF计算机视觉和模式识别(ComputerVision and Pattern Recognition，CVPR)会议，美国华盛顿州西雅图，2020年，第11618-11628页，doi:10.1109/CVPR42600.2020.01164.)。这些数据集可以是具有语义信息的唯一可用点云数据集，即使用语义信息标记的点云帧，用于训练对点云帧执行分割或对象检测等预测任务的模型。
然而，这些可用的点云数据集通常不包括足够的点云帧，这些点云帧包括来自某些对象类的对象，并且包括此类对象的点云帧集在每个此类对象类中表现出缺乏对象实例(“对象实例”)多样性。在点云数据集中以有限数目出现的对象类在本文中可以称为劣势类。现有点云数据集中的劣势类通常是较小且不常见的对象类型，例如行人、自行车、骑自行车的人、摩托车、骑摩托车的人、卡车和其它类型的车辆。
劣势类可能会导致以下两个问题中的一个或两个。第一个问题源于缺乏环境或背景多样性。如果劣势类对象实例仅出现在点云数据集中的几个点云帧中，则当对象实例出现的环境不同于劣势类对象实例出现的点云数据集中的点云帧时，训练对点云帧执行预测任务(例如，对象检测或各种类型的分割)的模型(例如，深度神经网络模型)可能不会学习识别劣势类对象实例(即，对应于劣势类对象的点集群)。例如，如果点云数据集中的点云帧仅包括对应于停车场的点云帧中的对象实例“骑摩托车的人”(即，劣势类“骑摩托车的人”)，则该模型可能无法标识公路环境中骑摩托车的人。第二个问题源于缺乏对象实例多样性。如果劣势类对象实例在点云数据集中出现的数目较小，则无法保证对象实例本身的多样性。例如，如果点云数据集中的点云帧仅包括骑运动自行车的对象实例“骑摩托车的人”(即，劣势类“骑摩托车的人”)，则该模型可能无法标识骑小型摩托车的骑摩托车的人。
传统上，使用具有劣势类的稀疏点云数据集来训练对点云帧执行分割和对象检测等预测任务的模型这一问题已通过数据增强得到解决。数据增强可以视为使用任何技术从已经存在的标记点云数据集中生成新的训练样本(例如，新的语义上标记的点云帧)的过程，该技术可以帮助改进对点云帧执行预测任务的模型训练，以实现更高的模型准确性(即，通过模型生成更好的预测)。上述标识的环境多样性问题通常通过一种方法来解决，该方法涉及从一个点云帧中提取对象，并将提取的对象注入到另一个点云帧中，以生成包含劣势类对象实例的附加点云帧，该附加点云帧可以用于进一步训练模型。注入对象实例的点云帧可以对应于不同的环境，因此可以帮助模型学习识别其它环境中的劣势类对象实例。此类技术的示例包括：Yan Yan、Yuxing Mao和Bo Li，“SECOND：稀疏嵌入式卷积检测(SECOND:Sparsely Embedded Convolutional Detection)”，《传感器》，2018年，第18卷第10期，第3337页，https://doi.org/10.3390/s18103337；Alex H.Lang、Sourabh Vora、Holger Caesar、Lubing Zhou、Jiong Yang和Oscar Beijbom，“PointPillars：用于从点云进行对象检测的快速编码器(PointPillars:Fast Encoders for Object Detection fromPoint Clouds)”，https://arxiv.org/abs/1812.05784；Yin Zhou和Oncel Tuzel，“VoxelNet：基于点云的3D对象检测端到端学习(VoxelNet:End-to-End Learning forPoint Cloud Based 3D Object Detection)”，https://arxiv.org/abs/1711.06396。这些现有数据增强方法通常按照以下方式进行：首先，通过从使用对象实例周围的限界框进行标注的点云帧中提取集群(即，对象的点云)来生成对象实例的数据库。其次，从数据库中随机选择对象实例，并将选择的对象实例注入到其它点云帧中的类似位置。最后，执行碰撞测试以避免对象位置冲突(例如，与注入对象实例的目标点云帧内的其它对象在空间上重叠)。由于LiDAR传感器的方向性，从点云帧中提取的对象实例通常是半边的。因此，在对象实例注入过程中，无法显著改变对象实例的原始位置和位姿，以免对象实例的一边(不含界定其曲面的点)面向LIDAR传感器。这些现有方法可以增加每个点云帧中劣势类对象实例的数目，并模拟存在于不同环境中的对象实例。
然而，用于解决环境多样性问题的这些现有方法通常存在三个限制。第一，它们不能在所注入对象实例的曲面上生成合理的扫描线，也不能生成真实的对象阴影(即，遮挡场景中位于所注入对象实例后面的其它对象)。第二，在两个点云帧(即，对象实例出现的原始点云帧和对象实例注入的目标点云帧)中，所注入对象实例的位置和位姿必须相同或几乎相同。第三，这些现有方法忽略了对象实例在不同环境中出现的背景。例如，人通常出现在人行道上，但在解决环境多样性的现有方法中没有考虑到这种背景。此外，由于对象实例通常必须相对于LIDAR传感器出现在相同的方向和位置，因此这些方法不允许将对象实例注入到目标点云帧内在背景中最有意义的位置或方向；例如，如果目标点云帧完全由人行道和建筑物(距离LIDAR传感器仅20米的小停车场除外)组成，并且所注入对象实例是原始点云帧中距离LIDAR传感器50米的卡车，则无法将对象实例注入到目标点云帧内在背景中有意义的位置。
对象实例多样性问题通常使用以下两种不同的方法来解决。第一种方法涉及将对象的计算机辅助设计(computer assisted design，CAD)模型定位到点云帧内的空间位置，然后使用对象的CAD模型和目标点云帧的LIDAR参数(例如，LIDAR传感器的安装位姿和LIDAR传感器的激光器发射的每个光束的俯仰角)生成点以表示每个对象。第一种方法的示例包括：Jin Fang、Feilong Yan、Tongtong Zhao和Feihu Zhang，“利用真实场景和交通流量模拟用于自动驾驶的LIDAR点云(Simulating LIDAR Point Cloud for AutonomousDriving using Real-world Scenes and Traffic Flows)”；Sivabalan Manivasagam、Shenlong Wang、Kelvin Wong、Wenyuan Zeng、Mikita Sazanovich、Shuhan Tan、Bin Yang、Wei-Chiu Ma和Raquel Urtasun，“LiDARsim：利用现实世界进行逼真的LiDAR仿真(LiDARsim:Realistic LiDAR Simulation by Leveraging the Real World)”。
第一种方法的示例可以使对象的CAD模型能够不受任何限制地旋转和平移，并且能够产生合理的扫描线和阴影。与上述用于解决环境多样性的对象实例注入方法不同，在没有位置和位姿限制的情况下，在注入过程中可以考虑背景。然而，基于CAD模型的方法通常存在三个限制。第一，CAD模型通常是从LiDAR模拟器中获取的，例如GTAV(如XiangyuYue、Bichen Wu、Sanjit A.Seshia、Kurt Keutzer、Alberto L.Sangiovanni-Vincentelli在“LiDAR点云生成器：从虚拟世界到自动驾驶(A LiDAR Point Cloud Generator:from aVirtual World to Autonomous Driving)”(arXiv:1804.00103)中描述的)或CARLA(如Alexey Dosovitskiy、German Ros、Felipe Codevilla、Antonio Lopez和Vladlen Koltun在“CARLA：开源城市驾驶模拟器(CARLA:An Open Urban Driving Simulator)”(arXiv:1711.03938)中描述的)；或者它们是从3D模型网站购买的。从这些来源获取的对象的CAD模型多样性通常非常有限。第二，对象的可用CAD模型的样式可能不同于它们应对应的真实对象。例如，如果将Europa卡车的CAD模型注入到对应于北美公路环境的点云帧中，它们看起来可能非常真实，尽管在对象的CAD模型正在接受识别和导航训练的环境中实际上不存在具有该样式的卡车。第三，对象的CAD模型无法为注入的对象实例提供准确的强度值。对象曲面上点的强度是激光器发射的光束与反射光束的曲面之间的角度以及反射光束的材料的反射率的函数。然而，大多数可用的对象的CAD模型不会提供关于该模型曲面材料的反射率的任何信息。
WaymoTM在https://blog.waymo.com/2020/04/using-automated-data-augmentation-to.html中概述了解决对象实例多样性问题的第二种方法。使用对象的密集、完整点云扫描将新的对象实例注入到目标点云帧中，而不是使用对象的CAD模型将新的对象实例注入到点云帧中。对象的密集、完整点云扫描具有与对象的CAD模型类似的优点：在注入过程中可以不受任何限制地旋转和平移，并且还可以产生合理的扫描线和阴影。可以使用以下八种不同的数据增强方法来提高对象的所注入点云扫描的多样性：地面真值增强(即，将同一对象的两个或多个对象实例添加到一起)；随机翻转(即，翻转对象实例，例如水平翻转)；世界缩放(即，缩小对象实例的大小)；全局平移噪声(即，将对象实例平移到不同的位置)；截锥丢失(即，删除对象实例的可见曲面区域，例如，以模拟部分遮挡)；截锥噪声(即，随机扰动对象实例的点的位置，例如，以模拟略微不同的曲面细节)；随机旋转(即，围绕轴线旋转对象实例)；随机丢弃点(即，删除随机选择的对象实例的点子集，例如，以模拟低分辨率扫描)。
然而，使用密集点云对象扫描将新的对象实例注入到目标点云帧中也存在许多限制。第一，为了实现该方法，需要对象的密集、完整点云扫描。相比之下，LIDAR生成的点云帧中的对象实例通常是稀疏、半边对象实例。因此，在实现该方法之前，需要集合由经过仔细、密集、完全扫描的对象组成的大型数据集。第二，通常使用对象对称性来根据半边扫描生成对象的完整点云扫描。然而，在公路环境或其它环境中遇到的行人、骑摩托车的人和骑自行车的人等许多小对象都是不对称的。因此，无法仅依靠对称性从包括点云帧(具有对象的密集半扫描)的现有点云数据集外推，来满足集合对象的点云扫描的大型数据库这一需求。第三，对象的密集点云扫描强度可能不准确，因为对象的密集点云扫描通常从不同的视角捕获，以捕获对象的完整点云扫描。例如，可以沿至少一个方向围绕对象旋转3D扫描仪，以生成对象的密集、完整扫描；这导致从多个方向对同一点进行扫描，从而生成该点的冲突强度读数，并生成相对于不同扫描方向并因此彼此不一致的不同点的强度读数。
因此，需要用于点云数据集的数据增强技术，其克服上述现有方法的一个或多个限制。
发明内容
为了训练机器学习模型以对点云帧执行分割或对象检测等预测任务，本发明描述了使用模型注入进行点云数据增强的设备、系统、方法和媒体。本文描述的示例性设备、系统、方法和媒体可以生成曲面模型库，其可以用于在目标点云帧内的任意位置处将新的点云对象实例注入到所述目标点云帧中，以生成新的增强点云帧。然后，所述增强点云帧可以用作训练数据，以提高对点云帧执行预测任务的所述经过训练的机器学习模型(即，使用机器学习算法和原始点云数据集训练的机器学习模型)的准确性。
在本发明中，术语“LIDAR”(也称为“LiDAR”或“Lidar”)是指激光雷达，所述激光雷达是指一种感测技术，其中，传感器发射光束并从周围环境中的光反射对象收集位置和潜在的其它特征。
在本发明中，术语“点云对象实例”或简称“对象实例”或“实例”是指可以定义为单个对象的汽车、房屋或行人等单个可定义对象的点云。例如，公路通常不能是对象实例；相反，公路可以在点云帧内定义为界定所述帧的场景类型或区域。
在本发明中，术语“注入”是指将点云对象实例添加到点云帧中的过程。除非另有说明，否则术语“帧”是指点云帧；“原始”帧是指包含标记的点云对象实例的帧，所述标记的点云对象实例可以提取用于注入到“目标”帧中；在所述对象实例注入到所述目标帧中之后，所述目标帧可以称为“增强”帧，已添加增强帧的点云数据的任何数据集可以称为“增强点云数据”或简称为“增强数据”。术语“标注的”和“标记的”可互换地用于指示语义数据与点云数据的相关性，例如与点云帧或其区域相关的场景类型标记，或与点云帧内对象实例相关的对象类标记。
在本发明中，“完整点云对象扫描”是指对应于从多个位置扫描的对象的点云，使得所述对象的多个曲面在所述点云中表示。“密集”点云是指对应于对象的一个或多个曲面的点云，其中，所述曲面每单位面积的点数相对较高。“曲面模型”是指对象的一个或多个曲面的三维模型；所述一个或多个曲面可以表示为多边形、点、纹理贴图和/或表示三维曲面的任何其它方式。
本文描述的示例性设备、系统、方法和媒体可以丰富原始点云数据集(即，标记的点云帧数据集)中的劣势类。所述曲面模型是从具有点级标记的点云帧(例如，语义上分割的点云帧)推导出的。所述原始点云帧中使用语义标记进行标记的对象实例可能不完整(半边)且稀疏。然而，本文描述的方法和系统可以从所述原始点云帧中的不完整、稀疏对象实例推导出密集半边点云对象实例。这些密集点云对象实例可以用作曲面模型，以将新的点云对象实例注入到目标帧中。
本文描述的示例性设备、系统、方法和媒体将从LIDAR传感器生成的实际点云帧推导出的点云对象实例注入到目标点云帧中，而不是使用对象的CAD模型或对象的完整、密集点云扫描执行所述注入，如尝试解决所述对象实例多样性问题的现有方法中所述；然而，还可以利用所述方法和系统来使用密集、完整点云对象扫描或对象的CAD模型注入点云对象实例。所述注入的点云对象实例可以自从用于生成所述目标点云帧的不同类型的LIDAR传感器接收的点云帧中获取(例如，用于生成所述原始点云帧和所述目标点云帧的所述LIDAR传感器的激光器阵列的范围和扫描线配置不需要相同)。使用本文描述的示例性方法和系统生成的注入云对象实例曲面上具有合理的扫描线(例如，真实的方向、密度和强度)以及真实的阴影。通常，使用本文描述的示例性方法和系统生成的增强点云帧可以与LIDAR传感器生成的真实点云帧非常相似。
本文描述的示例性方法和系统可以用于根据背景进一步提高所述生成的增强点云帧的真实性和实用性。所述注入的点云对象实例的对象类别、数量、位置和分布可以使用参数来完全控制：例如，如果指示本文描述的示例性方法和系统将五个人注入到目标点云帧中，则可以向五个点云对象实例注入分布情况，其中，每个点云对象实例位于人行道上的可能性为90％，而位于公路上的可能性为10％。
本文描述的示例性方法和系统可以执行以下操作序列，以增强点云数据帧或点云数据集。首先，通过处理包括由LIDAR传感器生成并使用点级标记进行标注的现有点云帧的所述点云数据集，生成曲面模型库。库生成过程可以涉及：对象提取和聚集，以从所述原始点云帧中提取对象实例；然后在方位角-仰角平面上进行点云上采样，以从所述提取的点云对象实例推导出高密度点云对象实例。其次，将从所述库中选择的点云对象实例注入到目标点云帧中，以生成增强点云帧。所述注入过程可以涉及：锚点选择，以确定可以在所述目标点云帧内注入所述点云对象实例的位置；对象注入，以将所述曲面模型定位在所述目标点云帧中；扫描线和阴影生成，以对所述曲面模型进行下采样，从而模拟所述LIDAR传感器在所述目标点云帧中锚点位置处的扫描线，并生成遮挡所述目标点云帧内其它点云对象的阴影。
与现有方法相比，本文描述的方法和系统的一些示例具有以下优点。所述曲面模型库可以直接从标记的点云帧中获取，但也可以使用密集点云对象扫描和对象的CAD模型填充，并且仍然利用本文描述的注入技术。所述曲面模型和所述目标点云帧可以从不同类型的LIDAR传感器生成的点云帧中获取：例如，从32光束LiDAR传感器生成的点云帧中提取的点云对象实例可以插入到64光束LIDAR传感器生成的目标点云帧中。真实模拟所述注入的点云对象实例的扫描线特征(包括密度、方向和强度)以及所述注入的点云对象实例投射的阴影。所述注入的点云对象实例的类型、数量和注入位置(即，锚点位置)可以根据参数来控制。标记时间(即，对点云帧的点进行标记的时间)可以显著缩短，因为仅需标记所述原始点云帧中的相关对象，然后使用所述相关对象来填充高密度点云对象实例库，并将所述相关对象注入到目标点云帧中；可能不需要对所述原始点云帧中的所有点进行标记。
在一些方面，本发明描述了一种方法，所述方法包括：获取点云对象实例；使用插值法对所述点云对象实例进行上采样，以生成曲面模型。
在一些方面，本发明描述了一种用于增强点云数据的系统。所述系统包括处理器设备和存储器。所述存储器存储点云对象实例、目标点云帧和机器可执行指令。所述机器可执行指令在由所述处理器设备执行时，使得所述系统执行下列多项操作：使用插值法对所述点云对象实例进行上采样，以生成曲面模型。确定所述目标点云帧内的锚点位置；根据所述锚点位置对所述曲面模型进行转换，以生成转换后的曲面模型；生成所述转换后的曲面模型的扫描线，每条扫描线包括与所述目标点云帧的扫描线对齐的多个点；将所述转换后的曲面模型的所述扫描线添加到所述目标点云帧，以生成增强点云帧。
在所述方法和所述系统的一些示例中，所述点云对象实例可以包括：方向信息，指示所述点云对象实例相对于传感器位置的方向。对于所述点云对象实例中多个点中的每一个，所述点云对象实例还包括：点强度信息和点位置信息。所述曲面模型包括所述点云对象实例的所述方向信息、所述点强度信息和所述点位置信息。
在所述方法和所述系统的一些示例中，所述点云对象实例可以包括多条扫描线，其中，每条扫描线包括所述多个点的子集。对所述点云对象实例进行上采样可以包括：使用线性插值法，沿至少一条扫描线添加点。
在所述方法和所述系统的一些示例中，对所述点云对象实例进行上采样还可以包括：使用线性插值法，在所述多条扫描线中的至少一对扫描线之间添加点。
在所述系统的一些示例中，使用线性插值法添加点可以包括：根据两个现有点的点位置信息的线性插值法，将所述点位置信息分配给所述添加的点；根据所述两个现有点的点强度信息的线性插值法，将所述点强度信息分配给所述添加的点。
在一些方面，本发明描述了一种方法，所述方法包括：获取目标点云帧；确定所述目标点云帧内的锚点位置；获取对象的曲面模型；根据所述锚点位置对所述曲面模型进行转换，以生成转换后的曲面模型；生成所述转换后的曲面模型的扫描线，每条扫描线包括与所述目标点云帧的扫描线对齐的多个点；将所述转换后的曲面模型的所述扫描线添加到所述目标点云帧，以生成增强点云帧。
在所述方法和所述系统的一些示例中，所述曲面模型可以包括密集点云对象实例。
在所述方法和所述系统的一些示例中，获取所述曲面模型可以包括：获取点云对象实例；使用插值法对所述点云对象实例进行上采样，以生成所述曲面模型。
在所述方法和所述系统的一些示例中，所述曲面模型可以包括计算机辅助设计(computer assisted design，CAD)模型。
在所述方法和所述系统的一些示例中，所述曲面模型可以包括完整的密集点云对象扫描。
在一些示例中，所述方法还可以包括：确定所述转换后的曲面模型的阴影；标识位于所述阴影内的所述目标点云帧的一个或多个遮挡点；从所述增强点云帧中移除所述遮挡点。
在所述方法和所述系统的一些示例中，生成所述转换后的曲面模型的所述扫描线可以包括：生成范围图像，包括二维像素阵列，其中，每个像素对应于所述目标点云帧的点；将所述转换后的曲面模型投影到所述范围图像上；对于所述范围图像的每个像素，响应于确定所述像素包含所述转换后的曲面模型的所述投影的至少一个点：标识所述转换后的曲面模型的所述投影到所述像素中心的最近点；将所述最近点添加到所述扫描线。
在所述方法和所述系统的一些示例中，所述曲面模型可以包括对象类信息，指示所述曲面模型的对象类。所述目标点云帧包括场景类型信息，指示所述目标点云帧的区域的场景类型。确定所述锚点位置包括：响应于根据所述区域的所述场景类型和所述曲面模型的所述对象类，确定所述曲面模型应位于所述区域内，从而将所述锚点位置定位在所述区域内。
在所述方法和所述系统的一些示例中，根据所述锚点位置对所述曲面模型进行转换可以包括：围绕根据所述目标点云帧的传感器位置界定的轴线旋转所述曲面模型，同时保持所述曲面模型相对于所述传感器位置在曲面模型参考方向与锚点方向之间的方向；在参考距离与锚点距离之间平移所述曲面模型。
在一些示例中，所述方法还可以包括：使用所述增强点云帧来训练机器学习模型。
在一些方面，本发明描述了一种非瞬时性处理器可读介质，其上存储有由上述方法中的一种或多种生成的曲面模型。
在一些方面，本发明描述了一种非瞬时性处理器可读介质，其上存储有由上述方法中的一种或多种生成的增强点云帧。
在一些方面，本发明描述了一种非瞬时性处理器可读介质，其上存储有机器可执行指令，所述机器可L行指令在由设备的处理器设备执行时，使得所述设备执行上述方法中的一种或多种的步骤。
附图说明
现在通过示例参考示出本申请的示例性实施例的附图，其中：
图1A示出了示例性简化点云帧的右上方正面透视图，为本文描述的实施例提供操作上下文；
图1B示出了使用对象类“骑自行车的人”标记的示例性点云对象实例的右上方正面透视图，适用于本文描述的实施例；
图1C示出了本文描述的实施例生成的基于图1B所示点云对象实例的示例性曲面模型的右上方正面透视图；
图1D示出了本文描述的示例提供的在注入到目标点云帧之前进行旋转、平移和缩放的图1B所示点云对象实例的俯视图；
图2示出了本文描述的示例提供的用于生成曲面模型和增强点云帧的示例性系统的一些组件的框图；
图3示出了图2所示库生成模块、数据增强模块和训练模块的操作的框图；
图4示出了可以由图3所示库生成模块执行的用于生成曲面模型的示例性方法的步骤的流程图；
图5示出了可以由图3所示数据增强模块执行的用于生成增强点云帧的示例性方法的步骤的流程图；
图6示出了用于使用图4和图5所示方法生成的增强点云数据来训练机器学习模型的示例性方法的步骤的流程图。
不同附图中可以使用相同的附图标记来表示相同的组件。
具体实施方式
本发明描述了用于训练机器学习模型以执行点云分割和/或对象检测的自适应场景增强的示例性设备、系统、方法和媒体。
图1A示出了示例性简化点云帧100，且点映射到三维坐标系102X、Y和Z，其中，Z维度向上延伸，通常由LIDAR传感器或生成所述点云帧100的其它全景传感器的旋转轴界定。所述点云帧100包括多个点，每个点可以由所述点云帧100内的一组坐标(x，y，z)以及其它值(例如，指示对应于所述点的对象的反射率的强度值)的向量表示。每个点表示激光器在空间中的某个点相对于与点坐标对应的LIDAR传感器所发射光的反射。尽管所述示例性点云帧100示为框形或矩形棱镜，但应当理解的是，全景LIDAR传感器捕获的典型点云帧通常是所述LIDAR传感器周围环境的360度全景视图，延伸至所述LIDAR传感器的整个检测范围。因此，更典型地，所述示例性点云帧100是LIDAR生成的实际点云帧的一小部分，并且用于说明目的。
所述点云帧100中的点聚集在空间中，在所述空间中，所述环境中的对象反射所述LIDAR传感器的激光器发射的光，从而形成对应于所述LIDAR传感器可见的对象曲面的点集群。第一点集群112对应于汽车的反射。在所述示例性点云帧100中，所述第一点集群112由限界框122包围，并与对象类标记(在这种情况下，为标记“汽车”132)相关。第二点集群114由限界框122包围，并与对象类标记“骑自行车的人”134相关；第三点集群116由限界框122包围，并与对象类标记“行人”136相关。因此，每个点集群(112、114、116)分别对应于对象实例：对象类实例“汽车”、“骑自行车的人”和“行人”。所述整个点云帧100与场景类型标记140“交叉路口”相关，所述场景类型标记140“交叉路口”指示所述点云帧100整体对应于交叉路口附近的环境(因此，汽车、行人和骑自行车的人彼此接近)。
在一些示例中，单个点云帧可以包括多个场景，每个场景可以与不同的场景类型标记140相关。因此，可以将单个点云帧分割为多个区域，每个区域与其自身的场景类型标记140相关。本文将结合仅与单个场景类型相关的单个点云帧来大体描述示例性实施例；然而，应当理解的是，一些实施例可以使用本文描述的数据增强方法和系统，来单独考虑点云帧中用于注入点云对象实例的每个区域。
确定每个限界框122的大小和位置，每个对象标记(132、134、136)与每个点集群相关，并且场景标记与使用机器学习领域已知的数据标记技术的所述点云帧100相关，所述数据标记技术用于生成标记的点云帧。如上所述，这些标记技术通常耗费大量时间和资源；在一些示例中，本文描述的数据增强技术可以用于增加所述点云帧100内标记的点云对象实例的数目，从而减少手动标识和标记点云帧中的点云对象实例所需的时间和资源。
图1A所示的示例性点云帧100的标记和限界框对应于在对象检测的背景下应用的标记，因此，所述示例性点云帧可以包括在点云数据集中，所述点云数据集用于训练对点云帧执行对象检测的机器学习模型。然而，本文描述的方法和系统不仅同样适用于对点云帧执行对象检测的模型，而且适用于对点云帧执行分割的模型，所述分割包括点云帧的语义分割、实例分割或全景分割。
下面将结合本文描述的示例性方法和系统的操作来描述图1B至图1D。
图2示出了用于增强点云帧(或增强包括点云帧的点云数据集)的计算系统200(以下简称系统200)的框图。尽管下文示出并讨论了所述系统200的示例性实施例，但可以使用其它实施例来实现本文公开的示例，其可以包括与所示不同的组件。虽然图2示出了所述系统200的每个组件的单个实例，但所示的每个组件可以有多个实例。
所述系统200包括一个或多个处理器202，例如中央处理器、微处理器、专用集成电路(application-specific integrated circuit，ASIC)、现场可编程门阵列(field-programmable gate array，FPGA)、专用逻辑电路、张量处理单元、神经处理单元、专用人工智能处理单元或其组合。所述一个或多个处理器202可以统称为“处理器设备”或“处理器202”。
所述系统200包括一个或多个存储器208(统称为“存储器208”)，其可以包括易失性或非易失性存储器(例如，闪存、随机存取存储器(random access memory，RAM)和/或只读存储器(read-only memory，ROM))。所述非瞬时性存储器208可以存储用于由所述处理器202执行的机器可执行指令，例如执行本发明中描述的示例。定义库生成模块330、数据增强模块340和训练模块234的一组机器可执行指令220被示为存储在所述存储器208中，所述一组机器可执行指令220中的每一个都可以由所述处理器202执行，以执行本文描述的方法的步骤。下面结合图3描述所述系统200执行定义所述库生成模块330、所述数据增强模块340和所述训练模块234的所述一组机器可执行指令220的操作。定义所述场景增强模块300的所述机器可执行指令220可由所述处理器202执行，以执行其每个相应子模块(312、314、316、318、320、322)的功能。所述存储器208可以包括其它机器可执行指令，例如用于实现操作系统和其它应用或功能的机器可执行指令。
所述存储器208存储数据集，所述数据集包括点云数据集210。所述点云数据集210包括多个点云帧212和多个标记的点云对象实例214，如上文结合图1所述。在一些实施例中，部分或全部所述标记的点云对象实例214包含在所述点云帧212中和/或从所述点云帧212推导出：例如，每个点云帧212可以包括零个或多个标记的点云对象实例214，如上文结合图1所述。在一些实施例中，部分或全部所述标记的点云对象实例214与所述点云帧212分开存储，并且每个标记的点云对象实例214可以源自或不源自所述点云帧212中的一个。在一些实施例中，如下面结合图3至图4描述的库生成模块330可以执行操作，以从一个或多个点云帧212中提取一个或多个标记的点云对象实例214。
所述存储器208还可以存储本文描述的其它数据、信息、规则、策略和机器可执行指令，包括机器学习模型224、曲面模型库222(包括一个或多个曲面模型)、目标点云帧226、目标曲面模型228(从所述曲面模型库222中选择)、转换后的曲面模型232和增强点云帧230。
在一些示例中，所述系统200还可以包括一个或多个电子存储单元(未示出)，例如固态硬盘、硬盘驱动器、磁盘驱动器和/或光盘驱动器。在一些示例中，一个或多个数据集和/或模块可以由外部存储器(例如，与所述系统200进行有线或无线通信的外部驱动器)提供，也可以由瞬时性或非瞬时性计算机可读介质提供。非瞬时性计算机可读介质的示例包括RAM、ROM、可擦除可编程ROM(erasable programmable ROM，EPROM)、电可擦除可编程ROM(electrically erasable programmable ROM，EEPROM)、闪存、CD-ROM或其它便携式存储器。所述存储单元和/或外部存储器可以与所述存储器208结合使用，以实现所述系统200的数据存储、检索和高速缓存功能。
例如，所述系统200的组件可以通过总线彼此通信。在一些实施例中，所述系统200是云计算平台等分布式系统，并且可以包括通过网络彼此通信的多个计算设备以及(可选地)一个或多个附加组件。在一些实施例中，本文描述的各种操作可以由分布式系统的不同设备执行。
图3示出了由所述系统200的所述处理器202执行的示例性库生成模块330、数据增强模块340和训练模块234的操作。在所示实施例中，所述库生成模块330包括多个功能子模块(实例提取子模块312和上采样子模块314)，所述数据增强模块340包括多个功能子模块(帧选择子模块316、转换子模块318、实例注入子模块320和曲面模型选择子模块322)。在其它实例中，所述子模块(312、314、316、318、320和322)中的一个或多个可以组合、拆分成多个子模块和/或将其功能或操作中的一个或多个重新分布在其它子模块之间。在一些示例中，所述库生成模块330、所述数据增强模块340和/或所述训练模块234可以包括附加操作或子模块，或者可以省略所示子模块(312、314、316、318、320和322)中的一个或多个。
现在将结合图4所示的示例性方法400来描述图3所示的库生成模块330的各个子模块的操作。
图4示出了用于生成曲面模型的示例性方法400的步骤的流程图。如上所述，所述方法400的步骤由图3所示的库生成模块330的各个子模块执行。然而，应当理解的是，所述方法400可以通过任何合适的信息处理技术执行。
所述方法400从步骤402开始。在402中，所述实例提取子模块312从所述点云数据集210中提取点云对象实例，从而生成提取的实例306。
图1B示出了LIDAR传感器(或如上所述的其它3D传感器)生成的点云帧212内的示例性标记的点云对象实例148的详细视图。所示点云对象实例148(例如，从所述点云数据集210中选择的所述标记的点云对象实例214中的一个)由图1A中的所述第二点集群114(即，点云对象实例“骑自行车的人”)组成，其中，点142沿扫描线144排列。因此，所述标记的点云对象实例148包括多条扫描线144，每条扫描线144包括所述标记的点云对象实例148的所述多个点142的子集。所述扫描线144对应于满足以下条件的点，即在所述点处，所述LIDAR传感器的激光器在读取两次读数之间沿方位方向移动，所述LIDAR传感器的激光器所发射的光由物体反射(在这种情况下，为骑自行车的人)并由所述LIDAR传感器检测。在所示示例中，界定所述扫描线144的方向的方位方向大致呈水平方向(即，在由所述点云帧的所述坐标系102界定的X-Y平面中)。如上文结合图1A所述，所述标记的点云对象实例148包括对象类标记“骑自行车的人”134和包围其点的限界框122。
在一些实施例中，所述实例提取子模块312可以使用用于点云对象检测和/或点云帧分割的已知技术，生成所述对象类标记134和所述限界框122等语义信息，作为所述实例提取步骤402的一部分。在其它实施例中，所述点云数据集210的所述点云帧212已经包括标记的点云对象实例214，其使用所述语义信息进行标记和标注。
所述实例提取子模块312获取点云帧(例如，从所述点云帧212中)，并标识所述点云帧内使用给定对象类标记134标记的点。如果使用语义分割对所述帧进行标注，使得对象的多个实例仅使用对象类标记进行统一标注并且不被分割成单独的对象实例，则所述实例提取子模块312可以聚集使用所述对象类标记134标注的点，以生成所述标记134指示的所述对象类的单个对象实例(例如，使用全景分割或实例分割，或使用对象识别)。
所述标记的点云对象实例148以及通过所述对象提取过程生成的所述提取的实例306可以包括方向信息，指示所述标记的点云对象实例148相对于传感器位置的方向。例如，由用于生成所述点云帧212中所述点142的LIDAR传感器的激光器所发射光束的投影方向可以记录为所述提取的实例306的一部分，例如，所述提取的实例306被定义为使用所述坐标系102的方向向量。每个点142可以以包括所述坐标系102中的一组(x，y，z)坐标的格式进行记录。因此，所述点142的强度值可以理解为以下各项的函数：在从所述对象曲面反射光的点处，所述对象曲面的反射率；以及定义由用于生成所述点的所述LIDAR传感器所发射光束的方向向量与所述点142的空间坐标(即，所述提取的实例306的所述方向信息)之间的关系。因此，所述方向信息用于表示所述光束的所述方向向量与在空间中所述点处反射光的所述对象的曲面法线之间的关系。所述方向信息可以在所述注入过程(以下结合图5描述)期间用于保持所述注入的点云对象实例相对于所述目标点云帧(即，注入所述点云对象实例的所述点云帧)的所述传感器位置的所述方向，从而准确地表示遮挡和强度值。
对于每个点144，所述标记的点云对象实例148以及通过所述对象提取过程生成的所述提取的实例306还可以包括点强度信息(例如，强度值)和点位置信息(例如，空间(x，y，z)坐标)以及(潜在地)其它类型信息，如上文结合图1A所述。
在404中，上采样子模块314对所述提取的点云对象实例306进行上采样以生成曲面模型，例如图1C所示的“骑自行车的人”曲面模型152。
图1C示出了所述上采样子模块314根据图1B所示的“骑自行车的人”对象实例148的所述提取的点云对象实例306生成的“骑自行车的人”的示例性曲面模型152。所述上采样子模块314使用线性插值法，对所述提取的点云对象实例306的点云集群(即，表示骑自行车的人的第二点云集群114)进行上采样，以增加所述集群中沿每条扫描线144以及位于所述扫描线144之间的点的数量。通常，旋转扫描LIDAR传感器捕获的点云对象实例在垂直方向(例如，大致平行于Z轴的仰角方向)和水平方向(例如，大致平行于所述X-Y平面的方位方向157)具有截然不同的点密度。使用多边形网格来表示曲面的传统曲面生成方法(例如，贪婪曲面三角剖分算法和德劳内三角剖分算法)生成曲面，所述曲面由具有多个孔的多边形网格组成，这可能会导致在扫描线和阴影生成期间，扫描线在某个区域中缺失点，所述区域对应于孔以及出现在所述曲面的阴影区域中的点(下面结合图5所述)。相反，在本文描述的方法和系统的示例中，可以利用所述旋转扫描LIDAR传感器的特性，直接对所述点云对象实例进行上采样。首先，通过在所述扫描线144的现有点142之间添加新点155，对每条扫描线的所述点142执行线性插值法，以增加每条扫描线144在所述水平方向上的点密度。其次，使用沿所述方位角157的窄滑动窗口156使一组点142分离(即，所述窗口156使位于多条扫描线144中的点142分离，所述多条扫描线144彼此大致垂直对齐)。通过在所述扫描线144之间添加新点154，使用线性插值法来增加所述点142在所述垂直方向上的密度。因此，通过在两种情况下使用线性插值法，沿所述扫描线144添加点155，并在成对的所述扫描线144之间添加点154，对所述点云对象实例148进行上采样。
所述添加的点(155、154)使用线性插值法，将点位置信息和点强度信息分配给所述添加的点(155、154)。可以在方位角-仰角平面上执行所述上采样，所述方位角-仰角平面即为通过沿所述方位方向157(例如，在所述传感器位置周围呈垂直分离弧形)扫描垂直分离的激光器所界定的平面。通过定义插值间隔，例如作为所述库生成模块330的用户定义参数，可以控制由所述上采样子模块314生成的所述曲面模型的密度。当所述曲面模型足够密集时，在所述点云帧中留下的任何点应被所述曲面模型遮挡时，阴影生成不应导致所述点，如下面结合图5所述。
所述上采样子模块314包括所述曲面模型中的其它信息，例如用于生成所述曲面模型的所述点云对象实例148的所述方向信息、所述点强度信息、所述点位置信息等。所述曲面模型中还可以包括参考点158，指示可以相对于所述曲面模型操作的空间中的单个点。在一些实施例中，所述参考点158位于所述限界框122底部地面上或附近，在所述限界框122水平尺寸内的中心位置：可以计算为[xmean，ymean，zmin]，即具有所述限界框的X-Y矩形的水平中心的x值和y值，并且具有所述限界框的最低z值。此外，还可以包括距离信息，指示从所述原始帧的所述传感器位置到投射到所述X-Y平面上的所述参考点158的距离d，例如根据以下等式计算：
在406中，所述上采样子模块314将所述曲面模型添加到曲面模型库222中。所述曲面模型库222中包括的所述曲面模型可以与它们相应的对象类标记134相关联地(例如，根据它们相应的对象类标记134键控或索引)存储，使得能够轻松地检索给定对象类的所有曲面模型。然后，所述曲面模型库222可以根据需要存储或分布，例如存储在所述系统200的所述存储器208中、存储在所述系统200可访问的中心位置和/或分布在非瞬时性存储介质上。所述系统200可以访问所述存储的曲面模型库222，以供所述训练模块234使用。
现在将结合图5所示的示例性方法500来描述图3所示的数据增强模块340的各个子模块的操作。
图5示出了用于将曲面模型注入到目标点云帧中的示例性方法500的步骤的流程图。如上所述，所述方法500的步骤由图3所示的数据增强模块340的各个子模块执行。然而，应当理解的是，所述方法500可以通过任何合适的信息处理技术执行。
所述方法从步骤502开始。在502中，例如，通过使用所述库生成模块330执行的图4所示曲面模型生成方法400，生成曲面模型库222。在一些实施例中，可以省略步骤502，并且可以在执行所述曲面模型注入方法500之前获取一个或多个预先生成的曲面模型。
在504中，使用所述数据增强模块340获取目标点云帧226。所述目标点云帧226可以由帧选择子模块316从所述点云数据集210中选择。在一些示例中，可以将所述点云数据集210的所有点云帧212提供给用于增强的所述数据增强模块340，而在其它示例中，仅提供所述点云帧212的子集。所述方法500的一次迭代用于增强单个选择的目标点云帧226。
在506中，选择并准备曲面模型，以注入到所述目标点云帧226中。实例注入子模块320可以接收所述目标点云帧226；在一些实施例中，还可以接收控制参数，所述控制参数用于控制所述曲面模型的所述选择和所述曲面模型注入到所述目标点云帧226中。所述控制参数的示例性格式为：
{person,2,[road,sidewalk,parking],[5％,90％,5％]}，
指示将对象类“人物”的两个实例注入到所述目标点云帧226中。每个对象实例“人物”可以分别以5％、90％和5％的概率注入到所述目标点云帧226内的区域，所述区域使用场景类型为“公路”、“人行道”或“停车位”的场景类型标记140进行标记。在此类示例中，重复执行所述方法500的步骤506和步骤516两次(以为所述两个点云对象实例中的每一个选择和注入曲面模型)。
步骤506包括子步骤508、子步骤510和子步骤512。在子步骤508中，例如，所述实例注入子模块320根据所述控制参数指示的场景类型概率分布，确定所述目标点云帧226内的锚点。所述锚点用于将所述注入的点云对象实例定位在所述目标点云帧226内，如下面结合子步骤512所述。
在一些实施例中，所述锚点可以通过三个步骤生成。第一，通过使用所述场景类型标记140和所述目标点云帧226的对象类标记，标识所有可能的锚点，以标识点云对象实例能够实际注入所述目标点云帧226中的区域内的合适区域和位置(例如，根据与所述目标点云帧226中其它对象的碰撞约束)。第二，根据所述控制参数和任何其它约束或因素，计算每个可能的锚点的概率p。第三，根据所述计算的概率，选择所述锚点；例如，可以选择具有最高计算概率的潜在锚点作为所述锚点。
每个候选锚点的概率p可以根据以下等式计算：p＝ppos·pclass，其中，ppos是用于在地平面上均匀选择锚点的概率因子。对于旋转扫描LIDAR传感器，每个点对应于反射激光器在所述点处所发射光束的对象的不同区域：与远离所述传感器位置的点相比，靠近所述传感器位置的点的覆盖区域更小。所述锚点通常选自地面反射的所述目标点云帧226的点。每个点的选择概率可以与其覆盖区域成正比；否则，大多数锚点将在所述传感器位置附近生成。因此，ppos可以根据以下等式计算：
pclass的值可以根据所述控制参数(即，所述锚点位于使用给定场景类型标记140进行标记的区域内的概率)确定。因此，所述目标点云帧226包括场景类型信息(例如，所述场景类型标记140)，指示所述目标点云帧226的一个或多个区域的场景类型，所述场景类型信息可以用于确定计算所述概率p所用pclass的值，以从所述候选锚点中选择锚点。在一些实施例中，所述概率p的计算基本上根据所述区域的所述场景类型和所述曲面模型的所述对象类，来确定所述曲面模型应位于给定区域内。从所述区域内的所述候选锚点中选择所述锚点之后，并将所述区域内所述目标点云帧226的地面上的对应位置(称为锚点位置)用作定位和注入所述曲面模型的位置，如下面在子步骤512中所述。
在子步骤510中，曲面模型选择子模块322获取目标曲面模型228，例如，通过从所述曲面模型库222中选择与上述控制参数中标识的对象类相关的曲面模型。在一些示例中，所述曲面模型库222包括存储为密集点云对象实例的曲面模型，例如通过上述方法400生成的曲面模型。在一些示例中，所述曲面模型库222包括存储为计算机辅助设计(computerassisted design，CAD)模型的曲面模型。在一些示例中，所述曲面模型库222包括存储为完整的密集点云对象扫描的曲面模型，即表示从多个优势点扫描的对象的密集点云。本文描述的示例将参考由密集点云对象实例组成的曲面模型的使用情况，例如通过所述方法400生成的曲面模型。然而，应当理解的是，本文描述的方法和系统还适用于其它曲面模型类型，例如CAD模型和完整的密集点云对象扫描，即使使用这些曲面模型类型可能不会表现出使用通过所述方法400生成的密集点云对象实例所表现出的所有优点。
存储在所述曲面模型库222中的每个曲面模型可以包括对象类信息，指示所述曲面模型的对象类。所述曲面模型选择子模块322可以检索所述库222中给定对象类的所有曲面模型的列表，所述曲面模型满足上述控制参数和锚点选择所规定的其它约束。例如，所述曲面模型选择子模块322可以施加距离约束|rR|≤|rA|，要求所述选择的目标曲面模型228具有相关距离信息，所述相关距离信息指示小于或等于锚点范围|rA|的距离d(也称为参考范围|rR|)，所述锚点范围指示从所述传感器位置到所述目标点云帧226中的所述锚点的距离。在获取或生成所述库222中满足约束(例如，对象类和空间约束)的所有曲面模型的列表之后，可以使用任何合适的选择标准(例如，随机选择)从所述列表中选择曲面模型。
在子步骤512中，转换子模块318根据所述锚点位置转换所述选择的目标曲面模型228，以生成变换后的曲面模型232。图1D中示出了曲面模型转换的示例。
图1D示出了转换目标曲面模型228以生成转换后的曲面模型232的俯视图。所述目标曲面模型228示为自行车曲面模型152，具有限界框122、对象类标记“自行车”134、参考点158以及方向信息，所述方向信息示为所述限界框122的边缘与从所述传感器位置166延伸至所述参考点158的参考向量172所示的参考方向之间的方位角168。所述参考向量172的长度等于所述距离d(即，参考范围|rR|)。
在上述子步骤508中确定的所述锚点位于所述目标点云帧226内的锚点位置160处，所述锚点位置160定义了从所述传感器位置166指向锚点方向的锚点向量170。所述锚点向量170的长度为锚点范围|rA|。
所述转换子模块318计算所述参考方向(即，所述参考向量172的参考方向)与所述锚点方向(即，所述锚点向量170的锚点方向)之间的旋转角θ。然后，围绕根据目标点云帧226的所述传感器位置166界定的轴线旋转所述目标曲面模型228，旋转幅度为旋转角θ(即，根据所述参考向量172界定的所述曲面模型参考方向与根据所述锚点向量170界定的所述锚点方向之间的角度)，同时保持所述曲面模型相对于所述传感器位置166的方向(即，保持相同的方位角168)。
然后，使用平移(即，线性移动)来调整所述曲面模型的范围或距离。所述转换子模块318在参考距离(即，根据所述参考向量172的所述长度界定的参考范围|rR|)与锚点距离(即，根据所述锚点向量170的所述长度界定的锚点范围|rA|)之间平移所述曲面模型。
在一些示例中，然后，可以相对于所述锚点位置160适当地小幅度垂直和/或水平缩放所述曲面模型，以便提高注入到所述点云数据中的对象实例的多样性，从而潜在地提高用于训练机器学习模型的数据增强过程的有效性。
所述转换后的曲面模型232是对所述目标曲面模型228执行的上述旋转、平移和缩放操作的最终结果。在一些示例中，可以通过所述实例注入子模块320对所述转换后的曲面模型232执行碰撞测试；如果所述转换后的曲面模型232与所述目标点云帧226中的其它对象冲突(例如，碰撞或相交)，所述方法400可以返回步骤506以确定新的锚点并选择新的曲面模型进行转换；并且可以重复该过程，直到生成合适的转换后曲面模型232并将其定位在所述目标帧226内。
在516中，所述实例注入子模块320根据所述曲面模型将点云对象实例注入到所述目标点云帧226中。步骤516包括子步骤518和子步骤520。
在步骤516之前，所述实例注入子模块320已从所述帧选择子模块316中获取所述目标点云帧226，并且已从所述转换子模块318中获取所述转换后的曲面模型232，如上所述。将所述转换后的曲面模型232定位在所述目标点云帧226的所述坐标系102内。然而，所述转换后的曲面模型232在其曲面上没有扫描线144，并且不会投射遮挡所述目标点云帧226内其它点的阴影。
在子步骤518中，所述实例注入子模块320在所述转换后的曲面模型232的所述曲面上生成扫描线144，以生成要注入到所述目标点云帧226中的点云对象实例。通过将所述转换后的曲面模型232的所述扫描线144添加到所述目标点云帧226中，生成增强点云帧230，所述增强点云帧230包含注入的点云对象实例，所述注入的点云对象实例由映射到所述转换后的曲面模型的所述曲面的所述扫描线144的点组成。
将所述转换后的曲面模型232的每条扫描线144生成为与所述目标点云帧226的扫描线对齐的多个点142。在一些实施例中，可以通过将所述转换后的曲面模型232投影到与用于生成所述目标点云帧226的所述LIDAR传感器的分辨率对应的范围图像上，来模拟所述目标点云帧226的所述扫描线。因此，例如，可以将范围图像视为所述目标点云帧226中所有点的集合，其中，每个点的空间(x，y，z)坐标被转换为(方位角，仰角，距离)坐标，然后每个点用于定义(方位角，仰角)平面中二维像素阵列中的像素。该二维像素阵列为所述范围图像。所述方位角坐标可以表示围绕所述传感器位置的Z轴的角度旋转，所述仰角坐标可以表示相对于所述X-Y平面的仰角或俯角。通过将所述转换后的曲面模型232的点投影到所述目标点云帧226的所述范围图像上，所述实例注入子模块320可以标识所述转换后的曲面模型232的点，所述点落入与用于生成所述目标点云帧226的所述LIDAR传感器执行的扫描的光束点对应的区域内。对于包含所述转换后的曲面模型232的所述投影的至少一个点的所述范围图像的每个像素，仅保留距离每个像素中心最近的转换后的曲面模型232的点，所述保留的点用于填充所述转换后的曲面模型232的所述曲面上的扫描线144，其中，给定扫描线144的点对应于所述范围图像的一行像素。所述保留的点沿所述仰角方向移动，以与所述范围图像像素中心的仰角对齐。这确保了该行中像素生成的每个点都具有相同的仰角高度，从而生成仰角准确增加的扫描线144。
在一些实施例中，从所述目标点云帧226的转换点的实际(方位角，仰角)坐标推导出所述范围图像；然而，其它实施例可以通过以下方式以计算强度较小的方式生成所述范围图像：获取用于生成所述目标点云帧226的所述LIDAR传感器的分辨率(可以存储为与所述目标点云帧226相关的信息，或者可以从所述目标点云帧226的两个或多个点推导出)并生成对应分辨率的范围图像，而无需将所述范围图像的像素1:1映射到所述目标点云帧226的点。在一些实施例中，基于所述分辨率的范围图像可以在生成后与所述帧的一个或多个点对齐。
在所述增强点云帧230中，丢弃所述转换后的曲面模型232，仅保留如上所述生成的扫描线144。然而，在丢弃所述转换后的曲面模型232之前，可以在子步骤520中使用所述模型生成阴影。所述实例注入子系统320确定所述转换后的曲面模型232投射的阴影，标识位于所述阴影内的所述目标点云帧226的一个或多个遮挡点，并从所述增强点云帧230中移除所述遮挡点。所述范围图像用于标识所述目标点云帧226的落入每个像素区域的所有预先存在的点。考虑包含在子步骤518中生成的所述扫描线144的至少一个点的每个像素以投射阴影。将落入所述像素内(即，所述像素投射的所述阴影内)的所有预先存在的点视为遮挡点，并将其从所述增强点云帧230中移除。
可以结合使用图4和图5所示的方法400和方法500，以实现一个或多个优点。首先，通过所述方法400从实际LIDAR生成的点云帧(即，LIDAR传感器生成的点云帧)中获取的曲面模型通常是半边的；通过所述方法500旋转所述曲面模型确保具有点的一边始终指向所述传感器位置166。其次，在一些实施例中，如上所述，所述转换子模块318将所述锚点范围限定为大于所述参考范围(即，|rR|≤|rA|)；因此，在所述曲面模型的所述曲面上生成的扫描线点的密度不会以放大上采样过程的任何伪影的方式提高。(虽然上采样会提高所述提取的对象实例的密度，但不会增加所述原始点云对象实例中包含的信息)。结合使用所述方法400和所述500的其它优点对于技术娴熟的观察者而言是显而易见的。
所述库生成方法400和所述数据增强方法500还可以与机器学习过程相结合，以训练机器学习模型。现在将结合图6所示的示例性方法600来描述图3所示的库生成模块330、数据增强模块340和训练模块234的互操作。
图6示出了对用于训练所述机器学习模型224以执行预测任务的点云数据集进行增强的示例性方法600的步骤的流程图。如上所述，所述方法600的步骤由图3所示的库生成模块330、数据增强模块340和训练模块234的各个子模块执行。然而，应当理解的是，所述方法600可以通过任何合适的信息处理技术执行。
在602中，所述库生成模块330根据所述方法400生成一个或多个曲面模型库222。
在604中，所述数据增强模块340根据所述方法500生成一个或多个增强点云帧230。
在606中，所述训练模块234使用一个或多个所述增强点云帧230训练机器学习模型224。
步骤604和步骤606可以重复一次或多次，以执行一次或多次训练迭代。在一些实施例中，在使用多个增强点云帧230训练所述机器学习模型224之前，生成所述多个增强点云帧230。
所述机器学习模型224可以是人工神经网络或使用机器学习技术(例如，监督学习)训练以对点云帧执行预测任务的其它模型。所述预测任务可以是用于按对象类识别所述帧中的对象或按对象类分割所述帧的任何预测任务，包括对象识别、语义分割、实例分割或全景分割。在一些实施例中，将所述增强点云帧230添加到所述点云数据集210中，所述训练模块234使用所述点云数据集210作为训练数据集来训练所述机器学习模型224：即，所述机器学习模型224使用监督学习以及所述点云数据集210中包含的所述点云帧212和所述增强点云帧230进行训练，以对所述点云帧212执行预测任务，例如对所述点云帧212执行对象识别或分割。所述经过训练的机器学习模型224可以训练用于执行对象检测以预测对象类标记，或者可以训练用于执行分割以预测实例标记和/或场景类型标记以附加到每个点云帧212内的零个或多个点或区域的子集或集群，其中，与给定点云帧212中的每个标记的点云对象实例214或区域相关的标记用作训练的地面真值标记。在其它实施例中，所述机器学习模型224通过使用不同的训练点云数据集进行训练。
尽管本发明利用呈某种顺序的步骤描述方法和过程，但所述方法和过程的一个或多个步骤可视情况省略或更改。一个或多个步骤视情况可以按除了所描述顺序以外的顺序进行。
尽管就方法而言至少部分地描述了本发明，但本领域普通技术人员将理解，本发明还涉及用于执行所描述的方法的至少一些方面和特征的各种组件，无论是通过硬件组件、软件或两者的任何组合。因此，本发明的技术方案可以以软件产品的形式体现。合适的软件产品可以存储在预先记录的存储设备或其它类似的非易失性或非瞬时性计算机可读介质中，包括DVD、CD-ROM、USB闪存盘、移动硬盘或其它存储介质等。所述软件产品包括有形地存储在其上的指令，这些指令使处理设备(例如，个人计算机、服务器或网络设备)能够执行本文中所公开的方法示例。
本发明可以在不脱离权利要求书的主题的情况下以其它特定形式体现。所描述的示例性实施例在所有方面均被视为仅是说明性的而非限制性的。可以对上述一个或多个实施例中的选定特征进行组合，以创建未明确描述的替代实施例，适合此类组合的特征均理解为落入本发明的范围内。
还公开了所公开范围内的所有值和子范围。此外，虽然本文所公开和示出的系统、设备和过程可以包括特定数量的元件/组件，但是可以修改这些系统、设备和组件以包括更多或更少此类元件/组件。例如，虽然所公开的任何元件/组件可以为单个数量，但是可以修改本文所公开的实施例以包括多个此类元件/组件。本文所述的主题意在涵盖和包括技术上的所有合适更改。

Claims (18)

1.一种方法，其特征在于，所述方法包括：
获取点云对象实例；
使用插值法对所述点云对象实例进行上采样，以生成曲面模型。
2.根据权利要求1所述的方法，其特征在于：
所述点云对象实例包括：
方向信息，指示所述点云对象实例相对于传感器位置的方向；
对于所述点云对象实例中多个点中的每一个，所述点云对象实例包括：
点强度信息；
点位置信息；
所述曲面模型包括所述点云对象实例的所述方向信息、所述点强度信息和所述点位置信息。
3.根据权利要求2所述的方法，其特征在于：
所述点云对象实例包括多条扫描线，每条扫描线包括所述多个点的子集；
对所述点云对象实例进行上采样包括：使用线性插值法，沿至少一条扫描线添加点。
4.根据权利要求3所述的方法，其特征在于，对所述点云对象实例进行上采样还包括：使用线性插值法，在所述多条扫描线中的至少一对扫描线之间添加点。
5.根据权利要求4所述的方法，其特征在于，使用线性插值法添加点包括：
根据两个现有点的点位置信息的线性插值法，将所述点位置信息分配给所述添加的点；
根据所述两个现有点的点强度信息的线性插值法，将所述点强度信息分配给所述添加的点。
6.一种方法，其特征在于，所述方法包括：
获取目标点云帧；
确定所述目标点云帧内的锚点位置；
获取对象的曲面模型；
根据所述锚点位置对所述曲面模型进行转换，以生成转换后的曲面模型；
生成所述转换后的曲面模型的扫描线，每条扫描线包括与所述目标点云帧的扫描线对齐的多个点；
将所述转换后的曲面模型的所述扫描线添加到所述目标点云帧，以生成增强点云帧。
7.根据权利要求6所述的方法，其特征在于，所述曲面模型包括密集点云对象实例。
8.根据权利要求7所述的方法，其特征在于，获取所述曲面模型包括：
获取点云对象实例；
使用插值法对所述点云对象实例进行上采样，以生成所述曲面模型。
9.根据权利要求6所述的方法，其特征在于，所述曲面模型包括计算机辅助设计(computer assisted design，CAD)模型。
10.根据权利要求6所述的方法，其特征在于，所述曲面模型包括完整的密集点云对象扫描。
11.根据权利要求6所述的方法，其特征在于，所述方法还包括：
确定所述转换后的曲面模型的阴影；
标识位于所述阴影内的所述目标点云帧的一个或多个遮挡点；
从所述增强点云帧中移除所述遮挡点。
12.根据权利要求7所述的方法，其特征在于，生成所述转换后的曲面模型的所述扫描线包括：
生成范围图像，包括二维像素阵列，其中，每个像素对应于所述目标点云帧的点；
将所述转换后的曲面模型投影到所述范围图像上；
对于所述范围图像的每个像素，响应于确定所述像素包含所述转换后的曲面模型的所述投影的至少一个点：
标识所述转换后的曲面模型的所述投影到所述像素中心的最近点；
将所述最近点添加到所述扫描线。
13.根据权利要求6所述的方法，其特征在于：
所述曲面模型包括对象类信息，指示所述曲面模型的对象类；
所述目标点云帧包括场景类型信息，指示所述目标点云帧的区域的场景类型；
确定所述锚点位置包括：响应于根据所述区域的所述场景类型和所述曲面模型的所述对象类，确定所述曲面模型应位于所述区域内，从而将所述锚点位置定位在所述区域内。
14.根据权利要求6所述的方法，其特征在于，根据所述锚点位置对所述曲面模型进行转换包括：
围绕根据所述目标点云帧的传感器位置界定的轴线旋转所述曲面模型，同时保持所述曲面模型相对于所述传感器位置在曲面模型参考方向与锚点方向之间的方向；
在参考距离与锚点距离之间平移所述曲面模型。
15.根据权利要求6所述的方法，其特征在于，还包括：使用所述增强点云帧来训练机器学习模型。
16.一种用于增强点云数据的系统，其特征在于，所述系统包括：
处理器设备；
存储器，存储机器可执行指令，所述机器可执行指令在由所述处理器设备执行时，使得所述系统执行根据权利要求1至14中任一项所述的方法。
17.一种计算机可读介质，其特征在于，所述计算机可读介质包括机器可执行指令，所述机器可执行指令在由计算系统的处理器设备执行时，使得所述计算系统执行根据权利要求1至14中任一项所述的方法。
18.一种计算机程序，其特征在于，所述计算程序包括机器可执行指令，所述机器可执行指令在由计算系统的处理器设备执行时，使得所述计算系统执行根据权利要求1至14中任一项所述的方法。
CN202180095453.5A 2021-03-16 2021-09-24 使用模型注入进行点云数据增强的设备、系统、方法和媒体 Pending CN117136315A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/203,718 US20220300681A1 (en) 2021-03-16 2021-03-16 Devices, systems, methods, and media for point cloud data augmentation using model injection
US17/203,718 2021-03-16
PCT/CN2021/120153 WO2022193604A1 (en) 2021-03-16 2021-09-24 Devices, systems, methods, and media for point cloud data augmentation using model injection

Publications (1)

Publication Number Publication Date
CN117136315A true CN117136315A (zh) 2023-11-28

Family

ID=83283593

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180095453.5A Pending CN117136315A (zh) 2021-03-16 2021-09-24 使用模型注入进行点云数据增强的设备、系统、方法和媒体

Country Status (6)

Country Link
US (1) US20220300681A1 (zh)
EP (1) EP4305463A1 (zh)
JP (1) JP2024511043A (zh)
KR (1) KR20230156400A (zh)
CN (1) CN117136315A (zh)
WO (1) WO2022193604A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11769328B2 (en) * 2021-09-02 2023-09-26 Gracenote, Inc. Automated video segmentation
CN117058314B (zh) * 2023-08-16 2024-04-12 广州葛洲坝建设工程有限公司 一种基于点云数据的现浇结构模板逆向建模方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9767598B2 (en) * 2012-05-31 2017-09-19 Microsoft Technology Licensing, Llc Smoothing and robust normal estimation for 3D point clouds
US10444362B2 (en) * 2014-01-14 2019-10-15 Raytheon Company LADAR data upsampling
US9292913B2 (en) * 2014-01-31 2016-03-22 Pictometry International Corp. Augmented three dimensional point collection of vertical structures
CN107817503B (zh) * 2016-09-14 2018-12-21 北京百度网讯科技有限公司 应用于激光点云数据的运动补偿方法和装置
CN107817502B (zh) * 2016-09-14 2020-08-07 北京百度网讯科技有限公司 激光点云数据处理方法和装置
US9869754B1 (en) * 2017-03-22 2018-01-16 Luminar Technologies, Inc. Scan patterns for lidar systems
EP3488603B1 (en) * 2017-05-24 2021-07-28 SZ DJI Technology Co., Ltd. Methods and systems for processing an image
WO2019165194A1 (en) * 2018-02-23 2019-08-29 Kaarta, Inc. Methods and systems for processing and colorizing point clouds and meshes
CN108765584B (zh) * 2018-05-31 2023-07-14 深圳市易成自动驾驶技术有限公司 激光点云数据集增广方法、装置及可读存储介质
CN109146898B (zh) * 2018-09-07 2020-07-24 百度在线网络技术（北京）有限公司 一种仿真数据量增强方法、装置以及终端
CN109934153B (zh) * 2019-03-07 2023-06-20 张新长 基于门控深度残差优化网络的建筑物提取方法
CN111241969A (zh) * 2020-01-06 2020-06-05 北京三快在线科技有限公司 目标检测方法、装置及相应模型训练方法、装置
CN111401133A (zh) * 2020-02-19 2020-07-10 北京三快在线科技有限公司 目标数据增广方法、装置、电子设备和可读存储介质
CN111598034B (zh) * 2020-05-22 2021-07-23 知行汽车科技（苏州）有限公司 障碍物检测方法、装置及存储介质
CN111637015B (zh) * 2020-05-26 2021-08-10 国家电投集团广西灵川风电有限公司 一种风力发电用具有防护性能的风力发电组
CN111694015B (zh) * 2020-05-29 2023-07-04 广州大学 基于激光雷达的二维扫描方法、系统、装置及介质
CN112116720A (zh) * 2020-09-18 2020-12-22 平安科技（深圳）有限公司 三维点云的增广方法、装置、存储介质及计算机设备
CN112270713A (zh) * 2020-10-14 2021-01-26 北京航空航天大学杭州创新研究院 标定方法以及装置、存储介质、电子装置
CN112395962A (zh) * 2020-11-03 2021-02-23 北京京东乾石科技有限公司 数据增广方法及装置、物体识别方法及系统

Also Published As

Publication number Publication date
JP2024511043A (ja) 2024-03-12
US20220300681A1 (en) 2022-09-22
KR20230156400A (ko) 2023-11-14
WO2022193604A1 (en) 2022-09-22
EP4305463A1 (en) 2024-01-17

Similar Documents

Publication Publication Date Title
Liao et al. Kitti-360: A novel dataset and benchmarks for urban scene understanding in 2d and 3d
US11455565B2 (en) Augmenting real sensor recordings with simulated sensor data
US11487988B2 (en) Augmenting real sensor recordings with simulated sensor data
US11461964B2 (en) Satellite SAR artifact suppression for enhanced three-dimensional feature extraction, change detection, and visualizations
US10235601B1 (en) Method for image analysis
US11334762B1 (en) Method for image analysis
Fang et al. Augmented LiDAR simulator for autonomous driving
US20230177819A1 (en) Data synthesis for autonomous control systems
US10019652B2 (en) Generating a virtual world to assess real-world video analysis performance
CN108509820B (zh) 障碍物分割方法及装置、计算机设备及可读介质
CN110622213A (zh) 利用3d语义地图进行深度定位和分段的系统和方法
Bruls et al. The right (angled) perspective: Improving the understanding of road scenes using boosted inverse perspective mapping
WO2022193515A1 (en) Devices, systems, methods, and media for adaptive augmentation for a point cloud dataset used for training
WO2022193604A1 (en) Devices, systems, methods, and media for point cloud data augmentation using model injection
US20240017747A1 (en) Method and system for augmenting lidar data
Ma et al. Virtual analysis of urban road visibility using mobile laser scanning data and deep learning
CN112989877A (zh) 点云数据中标注对象的方法及装置
US20230049383A1 (en) Systems and methods for determining road traversability using real time data and a trained model
Koduri et al. AUREATE: An Augmented Reality Test Environment for Realistic Simulations
Habib et al. Integration of lidar and airborne imagery for realistic visualization of 3d urban environments
Nayak et al. BEV Detection and Localisation using Semantic Segmentation in Autonomous Car Driving Systems
Lazorenko Synthesizing novel views for Street View experience
Sengupta Semantic Mapping of Road Scenes
Sharafutdinov et al. Lidar Annotation Is All You Need
Józsa et al. Reconstruction of 3D Urban Scenes Using a Moving Lidar Sensor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination