CN116071618A - 基于仿真数据的3d点云生成方法、装置、设备及介质 - Google Patents

基于仿真数据的3d点云生成方法、装置、设备及介质 Download PDF

Info

Publication number
CN116071618A
CN116071618A CN202310154045.3A CN202310154045A CN116071618A CN 116071618 A CN116071618 A CN 116071618A CN 202310154045 A CN202310154045 A CN 202310154045A CN 116071618 A CN116071618 A CN 116071618A
Authority
CN
China
Prior art keywords
point cloud
data
cloud data
reflectivity
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310154045.3A
Other languages
English (en)
Other versions
CN116071618B (zh
Inventor
朱朝
刘国清
杨广
王启程
郑伟
董颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Youjia Innovation Technology Co ltd
Original Assignee
Shenzhen Minieye Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Minieye Innovation Technology Co Ltd filed Critical Shenzhen Minieye Innovation Technology Co Ltd
Priority to CN202310154045.3A priority Critical patent/CN116071618B/zh
Publication of CN116071618A publication Critical patent/CN116071618A/zh
Application granted granted Critical
Publication of CN116071618B publication Critical patent/CN116071618B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了一种基于仿真数据的3D点云生成方法、装置、设备及介质，通过获取仿真点云数据和原始真实点云数据，所述仿真点云数据包括前景数据和背景数据；根据原始真实点云类别在各种距离下的反射率，将对应的反射率赋值给所述仿真点云数据，得到第一真实点云数据；对所述第一真实点云数据的反射率进行随机扰动，得到第二真实点云数据；对所述第一真实点云数据、所述第二真实点云数据和所述原始真实点云数据进行随机组合，得到目标3D点云数据，所述目标3D点云数据用于训练3D检测模型。实现了获取数据成本低，能够达到扩大数据规模，减少标注成本的目的，也能够提升网络对于检测目标以及反射率的鲁棒性。

Description

基于仿真数据的3D点云生成方法、装置、设备及介质
技术领域
本申请涉及计算机视觉技术领域，尤其涉及一种基于仿真数据的3D点云生成方法、装置、设备及介质。
背景技术
对于3D检测模型的标注数据，3D box的标注非常费时费力，导致3D数据集的样本数量非常有限。为此，采用数据增强是提高点云3D检测数据效率和节省标注成本的重要技术。
目前，3D数据增强方法大都是在自有的点云数据上进行操作，比如随机选取目标部分进行点云交换，全局或者局部旋转平移缩放等，将3Dbox点云添加到其它场景当中，以及通过网络生成点云数据比如通过GAN网络、图片或者其它形式生成三维点云数据等。然而，现有的3D数据增强方法都是在已有的标注数据上进行互补，从根本意义上来讲并没有扩大数据集的规模。并且，利用网络或者图片生成点云的方法需要有比较好的理论知识，才能使训练出的模型达到所需的效果。
发明内容
本申请提供了一种基于仿真数据的3D点云生成方法、装置、设备及介质，以解决当前应用数据标注的数据增强方法无法扩大数据集规模等局限性的技术问题。
为了解决上述技术问题，第一方面，本申请提供了一种基于仿真数据的3D点云生成方法，包括：
获取仿真点云数据和原始真实点云数据，所述仿真点云数据包括前景数据和背景数据；
根据原始真实点云类别在各种距离下的反射率，将对应的反射率赋值给所述仿真点云数据，得到第一真实点云数据；
对所述第一真实点云数据的反射率进行随机扰动，得到第二真实点云数据；
对所述第一真实点云数据、所述第二真实点云数据和所述原始真实点云数据进行随机组合，得到目标3D点云数据，所述目标3D点云数据用于训练3D检测模型。
在一些实现方式中，所述获取仿真点云数据，包括：
利用仿真软件模拟目标现实应用场景，生成与所述目标现实应用场景具有相同信息的所述仿真点云数据，其中所述相同信息不包含反射率。
在一些实现方式中，所述根据点云类别在各种距离下的反射率，将对应的反射率赋值给所述仿真点云数据，得到第一真实点云数据，包括：
对于所述前景数据，将所述原始真实前景数据的点云类别对应在各个第一距离下的第一反射率依次赋值给所述前景数据，所述第一距离为前景数据中的各个点云位置与本车之间的距离，所述本车为应用所述3D检测模型的车辆；
对于所述背景数据，根据所述背景数据的点云类别对应在各个第二距离，随机选取所述第二距离对应在所述原始真实点云数据中预设范围内的第二反射率，并将所述第二反射率赋值给所述背景数据，所述第二距离为背景数据中的各个点云位置与本车之间的距离；
将反射率赋值后的所述前景数据和所述背景数据组成所述第一真实点云数据。
在一些实现方式中，所述对所述第一真实点云数据的反射率进行随机扰动，得到第二真实点云数据，包括：
以所述原始真实点云数据的反射率，生成反射率范围；
从所述反射率范围随机选取一个目标反射率，并基于所述目标反射率，对所述第一真实点云数据的反射率进行替换，得到所述第二真实点云数据。
在一些实现方式中，所述对所述第一真实点云数据、所述第二真实点云数据和所述原始真实点云数据进行随机组合，得到目标3D点云数据，包括：
对所述第一真实点云数据、所述第二真实点云数据和所述原始真实点云数据中分别对应的前景数据和背景数据进行随机组合，得到所述目标3D点云数据。
第二方面，本申请还提供一种基于仿真数据的3D点云生成装置，包括：
获取模块，用于获取仿真点云数据和原始真实点云数据，所述仿真点云数据包括前景数据和背景数据；
赋值模块，用于根据原始真实点云类别在各种距离下的反射率，将对应的反射率赋值给所述仿真点云数据，得到第一真实点云数据；
扰动模块，用于对所述第一真实点云数据的反射率进行随机扰动，得到第二真实点云数据；
组合模块，用于对所述第一真实点云数据、所述第二真实点云数据和所述原始真实点云数据进行随机组合，得到目标3D点云数据，所述目标3D点云数据用于训练3D检测模型。
在一些实现方式中，所述赋值模块，具体用于：
对于所述前景数据，将所述原始真实前景数据的点云类别对应在各个第一距离下的第一反射率依次赋值给所述前景数据，所述第一距离为前景数据中的各个点云位置与本车之间的距离，所述本车为应用所述3D检测模型的车辆；
对于所述背景数据，根据所述背景数据的点云类别对应在各个第二距离，随机选取所述第二距离对应在所述原始真实点云数据中预设范围内的第二反射率，并将所述第二反射率赋值给所述背景数据，所述第二距离为背景数据中的各个点云位置与本车之间的距离；
将反射率赋值后的所述前景数据和所述背景数据组成所述第一真实点云数据。
在一些实现方式中，所述扰动模块，具体用于：
以所述原始真实点云数据的反射率，生成反射率范围；
从所述反射率范围随机选取一个目标反射率，并基于所述目标反射率，对所述第一真实点云数据的反射率进行替换，得到所述第二真实点云数据。
第三方面，本申请还提供一种计算机设备，包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时实现如第一方面所述的基于仿真数据的3D点云生成方法。
第四方面，本申请还提供一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的基于仿真数据的3D点云生成方法。
与现有技术相比，本申请至少具备以下有益效果：
通过获取仿真点云数据和原始真实点云数据，所述仿真点云数据包括前景数据和背景数据；根据点云类别在各种距离下的反射率，将对应的反射率赋值给所述仿真点云数据，得到第一真实点云数据；对所述第一真实点云数据的反射率进行随机扰动，得到第二真实点云数据；对所述第一真实点云数据、所述第二真实点云数据和所述原始真实点云数据进行随机组合，得到目标3D点云数据，所述目标3D点云数据用于训练3D检测模型。
实现了获取数据成本低，不需要训练模型或者只需现有的代码训练模型就能得到需要的结果，能够达到扩大数据规模，减少标注成本的目的，也能够提升网络对于检测目标以及反射率的鲁棒性。
附图说明
图1为本申请实施例示出的基于仿真数据的3D点云生成方法的流程示意图；
图2为本申请实施例示出的基于仿真数据的3D点云生成装置的结构示意图；
图3为本申请实施例示出的计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参照图1，图1为本申请实施例提供的一种基于仿真数据的3D点云生成方法的流程示意图。本申请实施例的基于仿真数据的3D点云生成方法可应用于计算机设备，该计算机设备包括但不限于智能手机、笔记本电脑、平板电脑、桌上型计算机、物理服务器和云服务器等设备。如图1所示，本实施例的基于仿真数据的3D点云生成方法包括步骤S101至步骤S104，详述如下：
步骤S101，获取仿真点云数据和原始真实点云数据，所述仿真点云数据包括前景数据和背景数据。
在本步骤中，原始真实点云数据包括原始真实点云数据和原始真实背景数据。仿真点云数据（下称：仿真数据）为通过仿真软件模型现实场景得到的点云数据，原始真实点云数据为在现实场景下采集到的点云数据。仿真点云数据包括仿真点云前景数据（下称：前景数据）和仿真点云背景数据（下称：背景数据）其中，对于仿真点云数据，利用仿真软件模拟目标现实应用场景，生成与所述目标现实应用场景具有相同信息的所述仿真点云数据，其中所述相同信息不包含反射率。
示例性地，通过仿真软件模拟现实交通场景，生成模拟点云数据，仿真软件发射的激光线束、扫描范围、安装高度都和真实激光雷达扫描仪一致，生成和现实场景除反射率以外的相同数据，生成的点云数据提供了丰富的结构信息。生成的数据可以模拟各种交通场景，以及现实世界中难遇到和基本遇不到的场景，比如路上突然冲出行人等，生成的仿真数据可以分为点云背景和带有3D box标注的前景数据。具体地，利用仿真软件模拟任何需要检测的物体在路上行走，在这里的检测物体包括行人、二轮车、三轮车、公交车、小车、小型卡车，大型卡车，路面可移动障碍物等常见目标，背景主要包括道路、人行道、建筑物、墙壁、围栏、杆子、交通信号灯、交通标志、植被和其它(其它任何出现的场景都假设为这一类)。由于是仿真软件模拟的点云数据，所以能轻松获得每个障碍物所对应的3Dbox以及里面其它点云的结构信息(x,y,z)。
步骤S102，根据原始真实点云类别在各种距离下的反射率，将对应的反射率赋值给所述仿真点云数据，得到第一真实点云数据。
在本步骤中，由于仿真点云数据没有反射率信息，所以本实施例通过提出基于距离和同类别的点云反射率赋值方法，使仿真数据接近真实数据。
在一些实施例中，所述步骤S102，包括：
对于所述前景数据，将所述原始真实前景数据的点云类别对应在各个第一距离下的第一反射率依次赋值给所述前景数据，所述第一距离为前景数据中的各个点云位置与本车之间的距离，所述本车为应用所述3D检测模型的车辆；
对于所述背景数据，根据所述背景数据的点云类别对应在各个第二距离，随机选取所述第二距离对应在所述原始真实点云数据中预设范围内的第二反射率，并将所述第二反射率赋值给所述背景数据，所述第二距离为背景数据中的各个点云位置与本车之间的距离；
将反射率赋值后的所述前景数据和所述背景数据组成所述第一真实点云数据。
在本实施例中，针对原始真实点云前景数据（也就是标注的3D box及其所包含的点云)，将3Dbox分成及多个部分，比如车辆8个部分，行人、骑车的人和可移动障碍物分为4部分。保存该3Dbox的类别c、中心点距离自车的距离d、与自车行驶方向的夹角θ，得到每一个3Dbox的{c,θ,d}以及对应的多个部分点云{xi,yi,zi,ri}，iϵn，其中n是某个部分点云的数量。然后针对仿真数据的检测目标内的点云，按照该仿真目标的类别C，根据与自车的距离D和自车行驶方向的夹角YAW，在标注的标签信息label里找类别c=C,d在[D-dm,D+dm]和θ在[YAW-ym,YAW+ym]得到一系列真实3Dbox，然后随机选取里面的点云，每一部分需要一一对应，比如车辆的3Dbox在上面分成了8部分，那么仿真数据的3Dbox也是8部分，每一部分都按位置进行对应。将每部分的反射率按每个点的距离从近到远依次赋值给仿真数据3Dbox里面的点云，在这里dm取值为2，ym为20度(pi/9)。
针对原始真实点云的背景信息(也就是非3D box里面的点云)。先对真实的图片做个语义分割（这里可以用现有的分割模型就能得到所需的分割结果），然后将点云投放到图片上，如果一个像素有多个点云投放到图片，则取距离最近的点。然后根据语义分割的结果，对每个点云进行分类（分割的类别有道路、人行道、建筑物、墙壁、围栏、杆子、交通信号灯、交通标志、植被和其它等），每一帧都得到每个类别及对应的点云。针对仿真数据，根据背景数据的不同类别，随机选取某一帧点云，根据仿真数据每个点的距离D将真实点云距离自车范围(D-dm,D+dm)的点云随机选取对应的反射率赋值给仿真数据的点，要是有模拟点在该帧找不到合适的对应的点云(在这个距离范围内没有该类别的点云)，则随机选取下一帧。要是没有的类别，则随机选取某一类别的点云按上面方式进行赋值，经过该步骤得到可训练的第一真实点云数据A。
步骤S103，对所述第一真实点云数据的反射率进行随机扰动，得到第二真实点云数据。
在本步骤中，由于反射率有一定的扰动，且对仿真数据赋值反射率有一定的误差，所以对第一真实点云数据的反射率进行随机扰动，以提高点云数据的真实性。
可选地，以所述原始真实点云数据的反射率，生成反射率范围；从所述反射率范围随机选取一个目标反射率，并基于所述目标反射率，对所述第一真实点云数据的反射率进行替换，得到所述第二真实点云数据。
在本实施例中，对真实数据按一定概率p抽取一定量的点云数据，对于抽取的每个点云的点（x,y,z,r），选取半径为d范围内的点的反射率，取最大值r_max和最小值r_min，在这个范围内随机取一个值r_new作为该点的反射率，得到新的点云(x,y,z,r_new)替换原始点云得到新的可训练的点云数据B，以增强真实数据对反射率特征的鲁棒性。
步骤S104，对所述第一真实点云数据、所述第二真实点云数据和所述原始真实点云数据进行随机组合，得到目标3D点云数据，所述目标3D点云数据用于训练3D检测模型。
在本步骤中，对所述第一真实点云数据、所述第二真实点云数据和所述原始真实点云数据中分别对应的前景数据和背景数据进行随机组合，得到所述目标3D点云数据。
在本实施例中，示例性地，针对已赋值反射率的仿真点云数据A，反射率扰动过的真实点云数据B以及原始真实点云数据C，将数据A和B进行训练，然后对C进行测试能得到不错的效果，说明上述数据增强方法的有效性。现对这三种点云数据进行随机组合，具体为选取A、B、C里面的点云背景数据Ab,Bb,Cb和里面的3Dbox前景点云数据Af,Bf,Cf进行组合，共得到AbAf，BbBf，CbCf，AbBf，AbCf，BbAf，BbCf，CbAf，CbBf共9中组合方式。同时在训练网络的过程当中，将所有的3D box及其里面的点云提取出来，随机按小范围的角度旋转并放入其它场景当中输入到网络训练。
为了执行上述方法实施例对应的基于仿真数据的3D点云生成方法，以实现相应的功能和技术效果。参见图2，图2示出了本申请实施例提供的一种能源安全预警装置的结构框图。为了便于说明，仅示出了与本实施例相关的部分，本申请实施例提供的能源安全预警装置，包括：
获取模块201，用于获取仿真点云数据和原始真实点云数据，所述仿真点云数据包括前景数据和背景数据；
赋值模块202，用于根据点云类别在各种距离下的反射率，将对应的反射率赋值给所述仿真点云数据，得到第一真实点云数据；
扰动模块203，用于对所述第一真实点云数据的反射率进行随机扰动，得到第二真实点云数据；
组合模块204，用于对所述第一真实点云数据、所述第二真实点云数据和所述原始真实点云数据进行随机组合，得到目标3D点云数据，所述目标3D点云数据用于训练3D检测模型。
在一些实施例中，所述获取模块201，具体用于：
利用仿真软件模拟目标现实应用场景，生成与所述目标现实应用场景具有相同信息的所述仿真点云数据，其中所述相同信息不包含反射率。
在一些实施例中，所述赋值模块202，具体用于：
对于所述前景数据，将所述原始真实前景数据的点云类别对应在各个第一距离下的第一反射率依次赋值给所述前景数据，所述第一距离为前景数据中的各个点云位置与本车之间的距离，所述本车为应用所述3D检测模型的车辆；
对于所述背景数据，根据所述背景数据的点云类别对应在各个第二距离，随机选取所述第二距离对应在所述原始真实点云数据中预设范围内的第二反射率，并将所述第二反射率赋值给所述背景数据，所述第二距离为背景数据中的各个点云位置与本车之间的距离；
将反射率赋值后的所述前景数据和所述背景数据组成所述第一真实点云数据。
在一些实施例中，所述扰动模块203，具体用于：
以所述原始真实点云数据的反射率，生成反射率范围；
从所述反射率范围随机选取一个目标反射率，并基于所述目标反射率，对所述第一真实点云数据的反射率进行替换，得到所述第二真实点云数据。
在一些实施例中，所述组合模块204，具体用于：
对所述第一真实点云数据、所述第二真实点云数据和所述原始真实点云数据中分别对应的前景数据和背景数据进行随机组合，得到所述目标3D点云数据。
上述的基于仿真数据的3D点云生成装置可实施上述方法实施例的基于仿真数据的3D点云生成方法。上述方法实施例中的可选项也适用于本实施例，这里不再详述。本申请实施例的其余内容可参照上述方法实施例的内容，在本实施例中，不再进行赘述。
图3为本申请一实施例提供的计算机设备的结构示意图。如图3所示，该实施例的计算机设备3包括：至少一个处理器30（图3中仅示出一个）、存储器31以及存储在所述存储器31中并可在所述至少一个处理器30上运行的计算机程序32，所述处理器30执行所述计算机程序32时实现上述任意方法实施例中的步骤。
所述计算机设备3可以是智能手机、平板电脑、桌上型计算机和云端服务器等计算设备。该计算机设备可包括但不仅限于处理器30、存储器31。本领域技术人员可以理解，图3仅仅是计算机设备3的举例，并不构成对计算机设备3的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
所称处理器30可以是中央处理单元(Central Processing Unit，CPU)，该处理器30还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路 (Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器31在一些实施例中可以是所述计算机设备3的内部存储单元，例如计算机设备3的硬盘或内存。所述存储器31在另一些实施例中也可以是所述计算机设备3的外部存储设备，例如所述计算机设备3上配备的插接式硬盘，智能存储卡（Smart Media Card,SMC），安全数字（Secure Digital,SD）卡，闪存卡（Flash Card）等。进一步地，所述存储器31还可以既包括所述计算机设备3的内部存储单元也包括外部存储设备。所述存储器31用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器31还可以用于暂时地存储已经输出或者将要输出的数据。
另外，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任意方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在计算机设备上运行时，使得计算机设备执行时实现上述各个方法实施例中的步骤。
在本申请所提供的几个实施例中，可以理解的是，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意的是，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，RandomAccess Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述的具体实施例，对本申请的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本申请的具体实施例而已，并不用于限定本申请的保护范围。特别指出，对于本领域技术人员来说，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于仿真数据的3D点云生成方法，其特征在于，包括：
获取仿真点云数据和原始真实点云数据，所述仿真点云数据包括前景数据和背景数据；
根据原始真实点云类别在各种距离下的反射率，将对应的反射率赋值给所述仿真点云数据，得到第一真实点云数据；
对所述第一真实点云数据的反射率进行随机扰动，得到第二真实点云数据；
对所述第一真实点云数据、所述第二真实点云数据和所述原始真实点云数据进行随机组合，得到目标3D点云数据，所述目标3D点云数据用于训练3D检测模型。
2.如权利要求1所述的基于仿真数据的3D点云生成方法，其特征在于，所述获取仿真点云数据，包括：
利用仿真软件模拟目标现实应用场景，生成与所述目标现实应用场景具有相同信息的所述仿真点云数据，其中所述相同信息不包含反射率。
3.如权利要求1所述的基于仿真数据的3D点云生成方法，其特征在于，所述根据原始真实点云类别在各种距离下的反射率，将对应的反射率赋值给所述仿真点云数据，得到第一真实点云数据，包括：
对于所述前景数据，将原始真实前景数据的点云类别对应在各个第一距离下的第一反射率依次赋值给所述前景数据，所述第一距离为前景数据中的各个点云位置与本车之间的距离，所述本车为应用所述3D检测模型的车辆；
对于所述背景数据，根据所述背景数据的点云类别对应在各个第二距离，随机选取所述第二距离对应在所述原始真实点云数据中预设范围内的第二反射率，并将所述第二反射率赋值给所述背景数据，所述第二距离为背景数据中的各个点云位置与本车之间的距离；
将反射率赋值后的所述前景数据和所述背景数据组成所述第一真实点云数据。
4.如权利要求1所述的基于仿真数据的3D点云生成方法，其特征在于，所述对所述第一真实点云数据的反射率进行随机扰动，得到第二真实点云数据，包括：
以所述原始真实点云数据的反射率，生成反射率范围；
从所述反射率范围随机选取一个目标反射率，并基于所述目标反射率，对所述第一真实点云数据的反射率进行替换，得到所述第二真实点云数据。
5.如权利要求1所述的基于仿真数据的3D点云生成方法，其特征在于，所述对所述第一真实点云数据、所述第二真实点云数据和所述原始真实点云数据进行随机组合，得到目标3D点云数据，包括：
对所述第一真实点云数据、所述第二真实点云数据和所述原始真实点云数据中分别对应的前景数据和背景数据进行随机组合，得到所述目标3D点云数据。
6.一种基于仿真数据的3D点云生成装置，其特征在于，包括：
获取模块，用于获取仿真点云数据和原始真实点云数据，所述仿真点云数据包括前景数据和背景数据；
赋值模块，用于根据原始真实点云类别在各种距离下的反射率，将对应的反射率赋值给所述仿真点云数据，得到第一真实点云数据；
扰动模块，用于对所述第一真实点云数据的反射率进行随机扰动，得到第二真实点云数据；
组合模块，用于对所述第一真实点云数据、所述第二真实点云数据和所述原始真实点云数据进行随机组合，得到目标3D点云数据，所述目标3D点云数据用于训练3D检测模型。
7.如权利要求6所述的基于仿真数据的3D点云生成装置，其特征在于，所述赋值模块，具体用于：
对于所述前景数据，将原始真实前景数据的点云类别对应在各个第一距离下的第一反射率依次赋值给所述前景数据，所述第一距离为前景数据中的各个点云位置与本车之间的距离，所述本车为应用所述3D检测模型的车辆；
对于所述背景数据，根据背景数据的点云类别对应在各个第二距离，随机选取所述第二距离对应在所述原始真实点云数据中预设范围内的第二反射率，并将所述第二反射率赋值给所述背景数据，所述第二距离为背景数据中的各个点云位置与本车之间的距离；
将反射率赋值后的所述前景数据和所述背景数据组成所述第一真实点云数据。
8.如权利要求6所述的基于仿真数据的3D点云生成装置，其特征在于，所述扰动模块，具体用于：
以所述原始真实点云数据的反射率，生成反射率范围；
从所述反射率范围随机选取一个目标反射率，并基于所述目标反射率，对所述第一真实点云数据的反射率进行替换，得到所述第二真实点云数据。
9.一种计算机设备，其特征在于，包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至5任一项所述的基于仿真数据的3D点云生成方法。
10.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的基于仿真数据的3D点云生成方法。
CN202310154045.3A 2023-02-23 2023-02-23 基于仿真数据的3d点云生成方法、装置、设备及介质 Active CN116071618B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310154045.3A CN116071618B (zh) 2023-02-23 2023-02-23 基于仿真数据的3d点云生成方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310154045.3A CN116071618B (zh) 2023-02-23 2023-02-23 基于仿真数据的3d点云生成方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN116071618A true CN116071618A (zh) 2023-05-05
CN116071618B CN116071618B (zh) 2023-06-20

Family

ID=86175429

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310154045.3A Active CN116071618B (zh) 2023-02-23 2023-02-23 基于仿真数据的3d点云生成方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN116071618B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018176000A1 (en) * 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
US20200160598A1 (en) * 2018-11-16 2020-05-21 Uatc, Llc Systems and Methods for Generating Synthetic Light Detection and Ranging Data via Machine Learning
CN112433934A (zh) * 2020-11-03 2021-03-02 腾讯科技（深圳）有限公司 仿真测试方法、装置、计算机设备和存储介质
CN112652045A (zh) * 2020-12-30 2021-04-13 哈尔滨工业大学（威海） 一种面向自动驾驶虚实融合测试的点云融合方法及其应用
CN115081240A (zh) * 2022-07-14 2022-09-20 浙江大学 一种提升仿真激光雷达数据真实性的点云数据处理方法
CN115205610A (zh) * 2021-04-08 2022-10-18 阿里巴巴新加坡控股有限公司 感知模型的训练方法、训练装置及电子设备
CN115527187A (zh) * 2022-09-30 2022-12-27 中国第一汽车股份有限公司 一种障碍物的分类方法以及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018176000A1 (en) * 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
US20200160598A1 (en) * 2018-11-16 2020-05-21 Uatc, Llc Systems and Methods for Generating Synthetic Light Detection and Ranging Data via Machine Learning
CN112433934A (zh) * 2020-11-03 2021-03-02 腾讯科技（深圳）有限公司 仿真测试方法、装置、计算机设备和存储介质
CN112652045A (zh) * 2020-12-30 2021-04-13 哈尔滨工业大学（威海） 一种面向自动驾驶虚实融合测试的点云融合方法及其应用
CN115205610A (zh) * 2021-04-08 2022-10-18 阿里巴巴新加坡控股有限公司 感知模型的训练方法、训练装置及电子设备
CN115081240A (zh) * 2022-07-14 2022-09-20 浙江大学 一种提升仿真激光雷达数据真实性的点云数据处理方法
CN115527187A (zh) * 2022-09-30 2022-12-27 中国第一汽车股份有限公司 一种障碍物的分类方法以及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIN FANG等: "Augmented LiDAR Simulator for Autonomous Driving", 《ARXIV》, pages 1 - 10 *
唐维军等: "自动驾驶汽车虚拟测试中的树木点云生成方法", 《计算机工程与应用》, vol. 57, no. 11, pages 185 - 192 *

Also Published As

Publication number Publication date
CN116071618B (zh) 2023-06-20

Similar Documents

Publication Publication Date Title
US11592305B2 (en) Method, system, terminal, and storage medium for rapid generation of reference lines
CN110879960B (zh) 生成卷积神经网络学习用图像数据集的方法及计算装置
CN111582189B (zh) 交通信号灯识别方法、装置、车载控制终端及机动车
US20210209395A1 (en) Method, electronic device, and storage medium for recognizing license plate
CN112307978B (zh) 目标检测方法、装置、电子设备及可读存储介质
Niranjan et al. Deep learning based object detection model for autonomous driving research using carla simulator
Liu et al. Deep representation learning for road detection using Siamese network
Wang et al. Deep learning‐based vehicle detection with synthetic image data
CN114821507A (zh) 一种用于自动驾驶的多传感器融合车路协同感知方法
Zipfl et al. From traffic sensor data to semantic traffic descriptions: The test area autonomous driving baden-württemberg dataset (taf-bw dataset)
WO2021146906A1 (zh) 测试场景仿真方法、装置、计算机设备和存储介质
WO2023082588A1 (zh) 一种语义标注的方法、装置、电子设备、存储介质及计算机程序产品
Song et al. Synthetic datasets for autonomous driving: A survey
CN114332792B (zh) 基于关键点多尺度融合的立体场景目标检测方法及系统
CN103295026B (zh) 基于空间局部聚合描述向量的图像分类方法
US20220300681A1 (en) Devices, systems, methods, and media for point cloud data augmentation using model injection
Bhattacharyya et al. JUVDsi v1: developing and benchmarking a new still image database in Indian scenario for automatic vehicle detection
CN116071618B (zh) 基于仿真数据的3d点云生成方法、装置、设备及介质
de la Peña et al. AD PerDevKit: An autonomous driving perception development kit using CARLA simulator and ROS
CN110363847B (zh) 一种基于点云数据的地图模型构建方法和装置
CN113902047B (zh) 图像元素匹配方法、装置、设备以及存储介质
CN109190467A (zh) 一种基于关键点回归的多物体检测方法、系统、终端和存储介质
Bruls et al. Generating all the roads to rome: Road layout randomization for improved road marking segmentation
CN114398253A (zh) 自动驾驶实车测试场景生成方法和系统
CN114077797A (zh) 基于道路通行法规的自动驾驶测试场景设计方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: Floor 25, Block A, Zhongzhou Binhai Commercial Center Phase II, No. 9285, Binhe Boulevard, Shangsha Community, Shatou Street, Futian District, Shenzhen, Guangdong 518000

Patentee after: Shenzhen Youjia Innovation Technology Co.,Ltd.

Address before: 518051 401, building 1, Shenzhen new generation industrial park, No. 136, Zhongkang Road, Meidu community, Meilin street, Futian District, Shenzhen, Guangdong Province

Patentee before: SHENZHEN MINIEYE INNOVATION TECHNOLOGY Co.,Ltd.