CN109003326B - 一种基于虚拟世界的虚拟激光雷达数据生成方法 - Google Patents

一种基于虚拟世界的虚拟激光雷达数据生成方法 Download PDF

Info

Publication number
CN109003326B
CN109003326B CN201810569071.1A CN201810569071A CN109003326B CN 109003326 B CN109003326 B CN 109003326B CN 201810569071 A CN201810569071 A CN 201810569071A CN 109003326 B CN109003326 B CN 109003326B
Authority
CN
China
Prior art keywords
scene
information
point cloud
target
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810569071.1A
Other languages
English (en)
Other versions
CN109003326A (zh
Inventor
田玉珍
P·尼古拉斯
杜银和
贾楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ecarx Hubei Tech Co Ltd
Original Assignee
Hubei Ecarx Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei Ecarx Technology Co Ltd filed Critical Hubei Ecarx Technology Co Ltd
Priority to CN201810569071.1A priority Critical patent/CN109003326B/zh
Publication of CN109003326A publication Critical patent/CN109003326A/zh
Application granted granted Critical
Publication of CN109003326B publication Critical patent/CN109003326B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/61—Scene description

Abstract

一种基于虚拟世界的虚拟激光雷达数据生成方法，包括以下步骤：步骤S100，获取虚拟世界的场景信息；步骤S200，解析S100获取的场景缓存信息，生成场景点云数据；步骤S300，解析S100获取的场景目标信息，生成场景目标点云索引集；步骤S400，降采样场景点云数据，组成真值数据，生成虚拟激光雷达数据。本发明为基于激光雷达传感器的自动驾驶感知算法开发提供了包含真值数据的激光雷达点云数据源，能够高效无任何限制的采集点云数据，可以加快算法开发进程，同时，极大的减少了开发过程中数据采集标注带来的人员时间成本的消耗。

Description

一种基于虚拟世界的虚拟激光雷达数据生成方法
技术领域
本发明涉及无人驾驶机仿真计算应用领域，具体涉及一种基于虚拟世界的虚拟激光雷达数据生成方法。
背景技术
无人驾驶仿真技术，作为无人驾驶开发过程中必不可少的环节，主要用于无人驾驶的各种算法开发，动力学模型验证，功能安全验证等。在无人驾驶算法集中了环境感知，道路建模路径规划，决策控制，与功能安全设计等，涉及到各种传感器，车身控制单元，以及车身ECU等。对于环境感知算法，涉及到用于感知环境的单目相机，双目相机，超声波雷达，毫米波雷达，激光雷达等，依据传感器原始数据，对车辆驾驶环境进行建模，实现对环境的感知。
目前的环境感知算法还处于研发阶段，而算法的开发严重依赖于传感器原始数据，对于传感器原始数据的获取，目前主要通过实车装备各种传感器上路采集，该方法成本高，局限性大，单车采集区域有限，采集耗时长。由于现有技术无法在仿真环境中模拟激光雷达原始数据，从而不能利用仿真环境加速激光雷达点云数据算法开发。
发明内容
本发明的目的在于提供一种基于虚拟世界的虚拟激光雷达数据生成方法，能够加快算法开发进程，同时，极大的减少了开发过程中数据采集标注带来的人员时间成本的消耗。
一种基于虚拟世界的虚拟激光雷达数据生成方法，包括以下步骤：
S100，获取虚拟世界的场景信息：通过直接或间接的方式获取虚拟世界的场景缓存信息，将获取到的虚拟世界的场景缓存信息，保存为图像信息，同时将获取虚拟世界的相机信息和场景目标信息，保存为同名文本信息；
S200，解析S100获取的场景缓存信息，生成场景点云数据：将S100获取的图像数据信息进行解析，提取深度图像信息并线性化，同时将S100获取的文本信息进行解析，提取视图矩阵及相机参数信息，根据视图矩阵、线性深度图像以及相机参数信息，计算出三维空间坐标信息，生成场景点云数据；
S300，解析S100获取的场景目标信息，生成场景目标点云索引集：将S100获取的场景目标信息进行解析，提取场景目标三维边界框，结合S200生成的场景点云数据，计算场景中三维边界框中场景目标点云索引，生成场景目标点云索引集；
S400，生成虚拟激光雷达数据：将S100获取的场景目标信息进行解析，提取场景目标身份、类别和三维边界框，通过场景目标、类别、三维边界框和S300生成的场景目标点云索引集共同组成真值数据信息，然后通过S200生成的场景点云数据和真值数据共同生成虚拟激光雷达数据。
进一步地，在步骤S100中，通过直接或间接的方式获取虚拟世界的场景缓存信息，间接获取是通过制作获取虚拟世界场景信息的插件工具，且将插件工具复制到虚拟世界的安装目录文件夹中，插件工具用于采集场景缓存信息；直接获取是直接从虚拟世界的安装目录中获取场景真值信息和/或原始点云数据。
进一步地，在步骤S200中提取的相机参数信息是指相机分辨率和相机视场角的信息。
进一步地，在步骤S200中，还包括将S100获取的图像数据进行解析，提取模板图像信息，同时建立线性化深度图像信息与三维点云的映射关系，建立模板图像信息和三维点云之间的映射关系。
进一步地，在步骤S300中，还包括利用提取的模板图像信息验证虚拟世界中所有场景中目标的点云索引集，并剔除点云索引集中与模板图像信息存在差异的点。
进一步地，在步骤S300中，进一步还设定预设阈值，当目标的点云索引集与模板信息存在差异的平均点个数小于等于预设阈值时，继续进行步骤S400；而当差异平均点个数大于预设阈值时，返回至步骤S200，重新进行步骤S200和步骤S300，直至目标点云索引集与模板信息存在差异的平均点个数小于等于预设阈值，然后再进行步骤S400。
进一步地，在步骤S400中，还包括参考真实激光雷达参数，并将步骤S200所生成场景点云数据进行降采样，同时更新步骤S300生成的目标对应的点云索引集，对降采样的场景点云数据和步骤S300生成的场景中目标点云索引集进行优化。
进一步地，所述获取的场景信息为光照、天气、人物、动物、车辆、建筑、交通道路、道路附属设施、以及树木的一种或多种。
与现有技术相比，本发明利用计算机仿真手段获取与真实环境相近的原始数据，能够高效无任何限制的采集点云数据，因此将大幅度减小数据采集成本和算法开发周期，可以加快算法开发进程，并且极大的减少了开发过程中数据采集及标注带来的人员时间成本的消耗。
附图说明
图1是本发明一种基于虚拟世界的虚拟激光雷达数据生成方法的原理图；
图2是本发明一种基于虚拟世界的虚拟激光雷达数据生成方法的结构示意图；
图3是本发明一种基于虚拟世界的虚拟激光雷达数据生成方法的深度图像矩阵齐次化示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明：
图1是本发明一种基于虚拟世界的虚拟激光雷达数据生成方法的原理图；图2是本发明一种基于虚拟世界的虚拟激光雷达数据生成方法的结构示意图；图3是本发明一种基于虚拟世界的虚拟激光雷达数据生成方法的深度图像矩阵齐次化示意图。
参见图1和图2，一种基于虚拟世界的虚拟激光雷达数据生成方法，包括以下步骤：
S100，获取虚拟世界的场景信息：通过直接或间接的方式获取虚拟世界的场景缓存信息，间接获取是通过制作获取虚拟世界场景信息的插件工具，且将插件工具复制到虚拟世界的安装目录文件夹中，插件工具用于采集场景缓存信息，直接获取是直接从虚拟世界的安装目录中获取场景真值信息和/或原始点云数据，将获取到的虚拟世界的场景缓存信息，保存为图像信息，同时将获取虚拟世界的相机信息和场景目标信息，获取的相机信息是指虚拟世界的相机坐标转换视图矩阵及相机分辨率和视场角等参数信息，保存为同名文本信息；
S200，解析S100获取的场景缓存信息，生成场景点云数据：将S100获取的图像数据信息进行解析，提取深度图像信息并线性化，同时将S100获取的文本信息进行解析，提取视图矩阵及相机参数信息，提取的相机参数信息是指相机分辨率和相机视场角的信息，将S100获取的图像数据进行解析，提取模板图像信息，同时建立线性化深度图像信息与三维点云的映射关系，建立模板图像信息和三维点云之间的映射关系，根据视图矩阵、线性深度图像以及相机参数信息，计算出三维空间坐标信息，生成场景点云数据；
S300，解析S100获取的场景目标信息，生成场景目标点云索引集：将S100获取的场景目标信息进行解析，提取场景目标三维边界框，结合S200生成的场景点云数据，计算场景中三维边界框中场景目标点云索引，生成场景目标点云索引集；利用提取的模板图像信息验证虚拟世界中所有场景中目标的点云索引集，并剔除点云索引集中与模板图像信息存在差异的点；根据提取的模板图像信息，进一步设定预设阈值，当目标的点云索引集大于预设阈值时，返回至步骤S200，重新执行步骤S200和S300，直至目标点云索引集小于等于预设阈值；
S400，生成虚拟激光雷达数据：将S100获取的场景目标信息进行解析，提取场景目标身份、类别和三维边界框，参考真实激光雷达参数，并将步骤S200所生成场景点云数据进行降采样，同时更新步骤S300生成的目标对应的点云索引集，对降采样的场景点云数据和步骤S300生成的场景中目标点云索引集进行优化，通过场景目标、类别、三维边界框和S300生成的场景目标点云索引集共同组成真值数据信息，然后通过S200生成的场景点云数据和真值数据共同生成虚拟激光雷达数据。
获取的场景信息包含光照、天气、人物、动物、车辆、建筑、交通道路、道路附属设施、以及树木的等信息，还可以包括其他当前帧的内容。
深度图像也叫距离影像，是指将从图像采集器到场景中各点的距离(深度)值作为像素值的图像。获取方法有：激光雷达深度成像法、计算机立体视觉成像、坐标测量机法、莫尔条纹法、结构光法。
点云：当一束激光照射到物体表面时，所反射的激光会携带方位、距离等信息。若将激光束按照某种轨迹进行扫描，便会边扫描边记录到反射的激光点信息，由于扫描极为精细，则能够得到大量的激光点，因而就可形成激光点云。点云格式有*.las；*.pcd；*.txt等。
深度图像经过坐标转换可以计算为点云数据；有规则及必要信息的点云数据可以反算为深度图像。
视频虚拟世界，这里应当知晓，采用的视频游戏优选为与现实世界逼真度高的游戏，为自动驾驶算法研究仿真提供了一种虚拟传感器，用于感知虚拟环境的三维信息，制作获取虚拟场景缓存信息的插件工具，启动视频游戏，控制游戏角色到达目标区域，调整游戏场景中的相机角度，调整游戏画面分辨率，以800×600为例，根据所需真实场景要求，设置虚拟世界中的虚拟场景的天气，设置采集开始时间，预设抓取场景缓存信息的触发按键为N，以及设定触发后一共抓取的帧数1000，并且设定抓取每一帧的时间间隔等。
按N键触发采集场景缓存信息的插件工具，插件工具开始抓取虚拟世界的场景缓存信息，连续采集1000帧场景数据，当抓取1000帧后，暂停游戏画面，将抓取到的场景缓存信息保存为图像数据信息。这里应当知晓，还包括将采集到的缓存信息保存为预设的文件格式，其中预设文件格式包括tiff，jpg，png，gif，mat，npy等格式。抓取一帧即保存一帧，并且每一桢保存为一个图像数据信息或者预设的文件格式；在抓取每一帧缓存信息的同时，获取的相机信息和场景中目标信息，保存为同名文本信息，同样抓取一帧即保存一帧，这里应当知晓，文本信息可以设为预设文本格式，其中预设文本格式包括txt，doc，docx，wps等格式。例如将抓取到的每一帧场景缓存信息打包为tiff格式图片写入硬盘，与之对应的相机和场景目标信息以同名文本txt格式写入硬盘。
根据实际激光雷达对机动车和行人、动物探测的有效作用距离，这里应当知晓，一般情况下对机动车探测的有效距离小于二百米，对行人、动物探测的有效距离小于八十米，获取虚拟场景中距离相机二百米内的场景机动车目标和距离相机八十米内的行人，动物及非机动车目标的信息，获取的场景目标信息包括：目标身份信息ID，目标类别，目标子类别，场景中目标到相机的距离，这里应当知晓，目标身份信息ID是指目标在虚拟世界中的唯一的确认身份的信息，可以用ID简称表示，虚拟世界中任何物体都包括其身份信息，并且具有唯一性，场景中目标在虚拟世界坐标系中的位置，场景中目标的三维边界框尺寸，场景中目标相对于初始状态的旋转角度、速度和加速度等。
这里应当知晓，一共抓取1000桢，此处以第1桢为例，进行虚拟激光雷达的数据生成，其余999桢以相同方法进行处理。启动插件工具的数据处理脚本，首先处理第一帧tiff图像信息，提取tiff图像信息中的深度图像信息及模板图像信息；解析获取的相机信息的文本信息，提取当前帧相机坐标转换投影信息，转化为视图矩阵和相机分辨率以及相机视场角，利用深度图像信息计算生成点云数据。
具体地是，首先假设当前帧中的可见目标，一般情况下，可见目标是指画面中可以观测到的对象，假设在虚拟世界中的可见目标的ID＝{12345，12346，23456，23567}，解析获取的当前场景缓存信息，提取tiff图像中的深度图像信息，解析为600×800的深度图像矩阵DepMap，这里应当知晓，DepMap是指深度图像矩阵；同时，提取tiff图像中的模板图像信息，解析为600×800的模板图像矩阵Stencil，这里应当知晓，Stencil是指模板图像矩阵。这里应当知晓，根据不同的使用情况，不同分辨率的画面，DepMap代表不同分辨率的深度图像矩阵，Stencil代表不同分辨率的模板图像矩阵。
根据虚拟世界对深度信息的保精度策略，将深度图像矩阵DepMap线性化，得到线性深度矩阵DepMapL，这里应当知晓，DepMapL是指线性深度矩阵，线性化过程如下：
Scale＝near/(near-far)
Bias＝far/Scale
DepMapL(u,v)＝Bias/[DepMap(u,v)-Scale]
这里应当知晓，DepMap(u,v)是指深度图像矩阵中的一个像素，DepMapL(u,v)是指线性深度图像矩阵中的一个像素，该转化过程表示，线性化深度图像矩阵的每一个元素执行相同的操作；near和far表示虚拟世界中取最近距离和最远距离为常数，u表示图像矩阵的横坐标，v表示图像矩阵的纵坐标,通过横坐标、纵坐标(u,v)可以索引到图像矩阵中的每一个元素。这里应当知晓，图像矩阵包括深度图像矩阵和模板图像矩阵。
根据S100获取的文本信息进行解析，提取视图矩阵及相机参数信息，解析得到当前桢相机视图矩阵ViewMatrix＝MV，这里应当知晓，ViewMatrix是指视图矩阵，也可以用简称MV表示视图矩阵，一般情况下，MV是指4×4视图矩阵；其中相机参数信息包括当前帧相机的分辨率：宽Width和高Height，视场角FOV，这里应当知晓，Width指相机分辨率的宽，也可以用简称W表示相机分辨率的宽；Height值相机分辨率的高，也可以用简称H表示相机分辨率的高；FOV指相机视场角。
利用相机参数信息的相机分辨率宽W、高H和视场角FOV，首先计算当前帧的单个像素的视场角，这里应当知晓，rFOV是指单个像素的视场角；然后，根据计算所得的单个像素的视场角rFOV，以及上述线性化所得的线性深度图像矩阵DepMapL；最终，将图像像素索引u，v空间化为x，y：
rFOV＝FOV/Width
x(u,v)＝u×DepMapL(u,v)×rFOV
y(u,v)＝v×DepMapL(u,v)×rFOV
这里应当知晓，该操作是针对每一个像素(u,v)索引进行的，因此对当前帧的其他像素进行同样的操作，进而形成整个索引集合。
参见图3，将线性深度图像矩阵DepMapL变换为包含像素坐标空间位置(x,y)和距离值的齐次线性深度图像矩阵DepMapH，这里应当知晓，DepMapH是指齐次线性深度图像矩阵，DepMapH的每一列表示为[x(u,v)，y(u,v)，DepMap(u,v)，1]T，将DepMapL以行展开，变换前线性深度图像矩阵DepMapL宽为800，高为600，即600×800的图像矩阵，变换后齐次线性深度矩阵DepMapH为4×480000，DepMapH第一个800列对应DepMapL矩阵的第一行，第二个800列对应DepMapL矩阵的第二行，依次类推，转换对应关系如下：
Figure BDA0001685271990000061
根据转换对应关系，建立DepMapL与DepMapH对应点关系：DepMapH的下标索引值idx范围：0～479999，由idx求解u，v:
u＝mod(idx/800)，v＝int(idx/800)
这里应该知晓，mod()表示取模运算，mod(idx/800)等于idx除以800的余数，int()表示取整运算，int(idx/800)等于idx除以800的商。
利用齐次线性深度矩阵DepMapH，视图矩阵MV，计算世界坐标系下的场景三维点云数据PCDworld＝[xw，yw，zw，1]T，PCDworld是指世界坐标系下的三维点云数据，PCDworld与DepMapH的索引一一对应，PCDworld的计算公式如下：
PCDworld＝MV-1×DepMapH
将三维点云索引idx作为三维点云PCDworld的一维信息，将齐次坐表达式[xw，yw，zw，1]T转化为[xw，yw，zw，idx]T。
提取ID＝12345场景目标的三维边界框信息，利用三维边界框，获取对应场景目标三维点云索引，同时，根据三维点云与模板图像信息之间的一一对应关系，验证目标三维点云索引的有效性，剔除差异数据，具体如下：
利用三维边界框提取目标，得到目标三维点云包含点索引集Target_12345(idx)，表示该索引集中所有点都属于ID＝12345，作为ID＝12345的目标在当前帧的语义分割标签。
提取ID＝12345的目标的类别，这里应当知晓，目标类别包括大类别，一般情况下大类别包括车、生物等，子类别包括人、动物或者轿车、卡车、面包车等。
对其他ID也进行上述步骤的转化，比如对ID＝{12346，23456，23567}的目标重复步骤上述转化步骤，对其他目标重复上述转化步骤为S300到提取目标类别，因此，得到其他目标在当前帧的语义分割标签，得到Target_12346(idx)、Target_23456(idx)、Target_23567(idx)。
合并所有ID的点索引集Target_12345(idx)、Target_12346(idx)、Target_23456(idx)、Target_23567(idx)，得到对当前帧所有目标Target(idx)：Target(idx)＝Target_12345(idx)∪Target_12346(idx)∪Target_23456(idx)∪Target_23567(idx)。
根据上述计算得到的Target(idx)，将目标点索引映射到模板图像信息像素索引(u，v)中，得到目标在模板信息中的像素索引集Target_stencil(u，v)。
提取模板图像矩阵Stencil中像素值为车和人的像素点，这里应当知晓，在虚拟世界中的行人相关的模板像素值为1，与车辆相关模板像素值为2，生成目标模板像素索引集GT_stencil(u，v)。
利用上述步骤中得到的目标模板像素索引集GT_stencil(u，v)，进一步检验得到的目标在模板信息中的像素索引集Target_stencil(u，v)，计算GT_stencil(u，v)与Target_stencil(u，v)得到全局差异像素个数，计算公式如下：
全局差异像素个数＝|GT_stencil(u，v)-Target_stencil(u，v)|
并且计算平均差异像素个数，公式如下：
平均差异像素个数＝全局差异像素个数/目标个数
设置预设阈值作为平均差异像素个数的对比标准，根据不同情况可以设置不同预设阈值作为对比标准，例如将预设阈值设为10；这里应当知晓，当计算所得的平均差异像素个数小于等于阈值10时，进行下一步S400生成激光雷达数据的步骤，依据真实激光雷达参数，真实激光雷达参数的垂直角分辨率和水平角分辨率，对三维点云数据进行降采样，同时更新目标对应点云索引，并由目标身份ID，目标类别，目标子类别，目标三维边界框，目标语义分割标签组成三维点云场景的真值数据，由生成的场景三维点云数据与真值数据共同生成虚拟激光雷达数据，具体的是由目标ID，类别Class，子类别SubClass，三位边界框BBox3D，点云索引集Target(idx)组成当前帧的真值数据。
根据不同的情况，当计算所得的平均差异像素个数大于预设阈值时，重新返回至步骤S200，并且调整深度图像线性化公式中的最近距离和最远距离参数，得到新的线性化深度图像信息DepMapL，根据视图矩阵、线性深度图像以及相机参数信息，重新计算三维空间坐标信息，生成新的场景点云数据；利用三维边界框提取目标，得到目标三维点云包含点索引集，重新生成目标在当前帧的语义分割标签Target(idx)；根据上述计算得到的Target(idx)，重新得到目标在模板信息中的像素索引集Target_stencil(u，v)，进一步重新生成目标模板像素索引集GT_stencil(u，v)。再次利用Target_stencil(u，v)和GT_stencil(u，v)计算全局差异像素个数和平均差异像素个数，根据上述信息重新计算平均差异像素个数，将平均差异像素个数与预设阈值对比，若平均差异像素个数大于预设阈值，再返回至步骤S200，继续调整深度图像线性化公式参数，重新执行步骤S200和S300，如此反复调整，直至平均差异像素个数小于等于预设阈值。然后再进行步骤S400。
对剩余999帧tiff数据以相同的步骤进行上述的解析、提取、计算和生成等，从而得到整个目标区域的点云数据信息与真值数据信息，进一步的通过整个目标区域的点云数据和真值数据共同生成整体虚拟激光雷达数据。
综上所述，在本实施例中利用计算机仿真手段获取与真实环境相近的原始数据，将大幅度减小数据采集成本和算法开发周期，能够高效无任何限制的采集点云数据，可以加快算法开发进程，同时，极大的减少了开发过程中数据采集标注带来的人员时间成本的消耗。
本发明的技术方案也同样适用于虚拟世界中的虚拟毫米波雷达数据生成方法或者虚拟超声波数据生成方法。
需要说明的是：以上实施例仅用于说明本发明而并非限制本发明所描述的技术方案，尽管本说明书参照上述的实施例对本发明已进行了详细的说明，但是，本领域的普通技术人员应当理解，所属技术领域的技术人员仍然可以对本发明进行修改或者等同替换，而一切不脱离本发明的精神和范围的技术方案及其改进，均应涵盖在本发明的权利要求范围内。

Claims (6)

1.一种基于虚拟世界的虚拟激光雷达数据生成方法，包括以下步骤：
S100，获取虚拟世界的场景信息：通过直接或间接的方式获取虚拟世界的场景缓存信息，将获取到的虚拟世界的场景缓存信息，保存为图像信息，同时将获取虚拟世界的相机信息和场景目标信息，保存为同名文本信息；
S200，解析S100获取的场景缓存信息，生成场景点云数据：将S100获取的图像数据信息进行解析，提取深度图像信息并线性化，同时将S100获取的文本信息进行解析，提取视图矩阵及相机参数信息，根据视图矩阵、线性深度图像以及相机参数信息，计算出三维空间坐标信息，生成场景点云数据；
S300，解析S100获取的场景目标信息，生成场景目标点云索引集：将S100获取的场景目标信息进行解析，提取场景目标三维边界框，结合S200生成的场景点云数据，计算场景中三维边界框中场景目标点云索引，生成场景目标点云索引集；
S400，生成虚拟激光雷达数据：将S100获取的场景目标信息进行解析，提取场景目标身份、类别和三维边界框，通过场景目标、类别、三维边界框和S300生成的场景目标点云索引集共同组成真值数据信息，然后通过S200生成的场景点云数据和真值数据共同生成虚拟激光雷达数据；
其中，在步骤S100中，通过直接或间接的方式获取虚拟世界的场景缓存信息，间接获取是通过制作获取虚拟世界场景信息的插件工具，且将插件工具复制到虚拟世界的安装目录文件夹中，插件工具用于采集场景缓存信息；直接获取是直接从虚拟世界的安装目录中获取场景真值信息和/或原始点云数据；
在步骤S200中，还包括将S100获取的图像数据进行解析，提取模板图像信息，同时建立线性化深度图像信息与三维点云的映射关系，建立模板图像信息和三维点云之间的映射关系。
2.根据权利要求1所述的一种基于虚拟世界的虚拟激光雷达数据生成方法，其特征在于，在步骤S200中提取的相机参数信息是指相机分辨率和相机视场角的信息。
3.根据权利要求1或2所述的一种基于虚拟世界的虚拟激光雷达数据生成方法，其特征在于，在步骤S300中，还包括利用提取的模板图像信息验证虚拟世界中所有场景中目标的点云索引集，并剔除点云索引集中与模板图像信息存在差异的点。
4.根据权利要求3所述的一种基于虚拟世界的虚拟激光雷达数据生成方法，其特征在于，在步骤S300中，进一步还设定预设阈值，当目标的点云索引集与模板信息存在差异的平均点个数小于等于预设阈值时，继续进行步骤S400；而当差异平均点个数大于预设阈值时，返回至步骤S200，重新进行步骤S200和步骤S300，直至目标点云索引集与模板信息存在差异的平均点个数小于等于预设阈值，然后再进行步骤S400。
5.根据权利要求4所述的一种基于虚拟世界的虚拟激光雷达数据生成方法，其特征在于，在步骤S400中，还包括参考真实激光雷达参数，并将步骤S200所生成场景点云数据进行降采样，同时更新步骤S300生成的目标对应的点云索引集，对降采样的场景点云数据和步骤S300生成的场景中目标点云索引集进行优化。
6.根据权利要求5所述的一种基于虚拟世界的虚拟激光雷达数据生成方法，其特征在于，所述获取的场景信息为光照、天气、人物、动物、车辆、建筑、交通道路、道路附属设施、以及树木的一种或多种。
CN201810569071.1A 2018-06-05 2018-06-05 一种基于虚拟世界的虚拟激光雷达数据生成方法 Active CN109003326B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810569071.1A CN109003326B (zh) 2018-06-05 2018-06-05 一种基于虚拟世界的虚拟激光雷达数据生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810569071.1A CN109003326B (zh) 2018-06-05 2018-06-05 一种基于虚拟世界的虚拟激光雷达数据生成方法

Publications (2)

Publication Number Publication Date
CN109003326A CN109003326A (zh) 2018-12-14
CN109003326B true CN109003326B (zh) 2021-07-23

Family

ID=64573530

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810569071.1A Active CN109003326B (zh) 2018-06-05 2018-06-05 一种基于虚拟世界的虚拟激光雷达数据生成方法

Country Status (1)

Country Link
CN (1) CN109003326B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109917402B (zh) * 2019-04-11 2020-08-11 西南交通大学 一种车载激光雷达仿真模块仿真精度测定方法及系统
CN110322553B (zh) * 2019-07-10 2024-04-02 广州建通测绘地理信息技术股份有限公司 激光雷达点云混合现实场景实施放样的方法和系统
CN110554407B (zh) * 2019-09-25 2023-05-09 哈尔滨工程大学 一种模拟船用激光雷达三维点云成像方法
CN111583268B (zh) * 2020-05-19 2021-04-23 北京数字绿土科技有限公司 点云虚拟选择与裁切方法、装置及设备
CN114093155A (zh) * 2020-08-05 2022-02-25 北京万集科技股份有限公司 交通事故责任溯源方法、装置、计算机设备和存储介质
CN112199991B (zh) * 2020-08-27 2024-04-30 广州中国科学院软件应用技术研究所 一种应用于车路协同路侧感知的仿真点云滤波方法和系统
CN112991511B (zh) * 2020-10-13 2023-03-24 中国汽车技术研究中心有限公司 一种点云数据的展示方法
CN112783844B (zh) * 2021-01-15 2023-12-01 航天科工系统仿真科技（北京）有限公司 基于idx算法的道路点位确定方法、装置和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101908231A (zh) * 2010-07-27 2010-12-08 清华大学 处理含有主平面场景的三维点云重建方法和系统
CN105809681A (zh) * 2016-03-04 2016-07-27 清华大学 基于单相机的人体rgb-d数据恢复与三维重建方法
CN107886531A (zh) * 2017-12-15 2018-04-06 武汉智能鸟无人机有限公司 一种基于激光测距以及物方匹配的虚拟控制点获取方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8458188B2 (en) * 2010-02-17 2013-06-04 Lockheed Martin Corporation Voxel approach to terrain repositories for modeling and simulation
JP6206915B2 (ja) * 2013-10-25 2017-10-04 国立研究開発法人産業技術総合研究所 模擬視界シミュレーション装置
EP2913148B8 (en) * 2014-02-28 2020-03-25 Hexagon Metrology (Israel) Ltd. Method and system for analyzing process monitoring data
CN104238377B (zh) * 2014-09-30 2017-01-25 中国航天空气动力技术研究院 一种用于无人机航空物探的低空飞行仿真方法
CN104346825B (zh) * 2014-10-31 2018-04-06 无锡梵天信息技术股份有限公司 一种非线性深度转化为线性深度的处理方法和装置
EP3086196B1 (en) * 2015-04-21 2017-04-05 Hexagon Technology Center GmbH Method and control system for surveying and mapping a terrain while operating a bulldozer
CN105023287B (zh) * 2015-07-08 2018-04-17 西安电子科技大学 一种用于动态三维场景的激光雷达成像与着色方法
EP3185214A1 (en) * 2015-12-22 2017-06-28 Dassault Systèmes Streaming of hybrid geometry and image based 3d objects
CN107966693B (zh) * 2017-12-05 2021-08-13 成都合纵连横数字科技有限公司 一种基于深度渲染的车载激光雷达仿真方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101908231A (zh) * 2010-07-27 2010-12-08 清华大学 处理含有主平面场景的三维点云重建方法和系统
CN105809681A (zh) * 2016-03-04 2016-07-27 清华大学 基于单相机的人体rgb-d数据恢复与三维重建方法
CN107886531A (zh) * 2017-12-15 2018-04-06 武汉智能鸟无人机有限公司 一种基于激光测距以及物方匹配的虚拟控制点获取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Application of Virtual Reality Technology in Bridge Structure Safety Monitoring;Dongwei Qiu 等;《International Conference on Computer and Information Application（ICCIA 2010）》;20101231;第465-467页 *
三维激光扫描技术在虚拟现实中的应用;李晖 等;《南昌大学学报·工科版》;20070930;第239-242页 *

Also Published As

Publication number Publication date
CN109003326A (zh) 2018-12-14

Similar Documents

Publication Publication Date Title
CN109003326B (zh) 一种基于虚拟世界的虚拟激光雷达数据生成方法
CN111191600B (zh) 障碍物检测方法、装置、计算机设备和存储介质
CN108647638B (zh) 一种车辆位置检测方法及装置
JP4233723B2 (ja) 障害物検出装置、障害物検出方法、及び障害物検出プログラムを記録した記録媒体
CN106462996B (zh) 无失真显示车辆周边环境的方法和装置
US8548229B2 (en) Method for detecting objects
JP2021508027A (ja) 不十分な照明条件下で車両を測位するシステムおよび方法
KR960042482A (ko) 물체 관측 방법 및 그 방법을 이용한 물체 관측 장치와, 이 장치를 이용한 교통 흐름 계측 장치 및 주차장 관측 장치
CN109997148B (zh) 信息处理装置、成像装置、设备控制系统、移动对象、信息处理方法和计算机可读记录介质
CN110555407B (zh) 路面车辆空间识别方法及电子设备
JP6743882B2 (ja) 画像処理装置、機器制御システム、撮像装置、画像処理方法及びプログラム
US10984263B2 (en) Detection and validation of objects from sequential images of a camera by using homographies
CN110717445A (zh) 一种用于自动驾驶的前车距离跟踪系统与方法
CN114419098A (zh) 基于视觉变换的运动目标轨迹预测方法及装置
KR20150119736A (ko) 노면 모델 설정을 이용한 장애물 검출 시스템 및 그 방법
JPWO2017154389A1 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
CN112172797B (zh) 泊车控制方法、装置、设备和存储介质
CN108364476B (zh) 获取车联网信息方法及其装置
CN110023953A (zh) 信息处理设备、成像设备、装置控制系统、移动体、信息处理方法以及计算机程序产品
JP2019533875A (ja) 道路の合成トップビュー画像を生成するための方法およびシステム
CN111724432B (zh) 物体三维检测方法和装置
JP3516118B2 (ja) 物体認識方法および物体認識装置
JP3605955B2 (ja) 車輌判別装置
JPH11248431A (ja) ３次元モデル生成装置および３次元モデル生成プログラムを記録したコンピュータ読取可能な記録媒体
CN116343165A (zh) 一种3d目标检测系统、方法、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220322

Address after: 430051 No. b1336, chuanggu startup area, taizihu cultural Digital Creative Industry Park, No. 18, Shenlong Avenue, Wuhan Economic and Technological Development Zone, Wuhan, Hubei Province

Patentee after: Yikatong (Hubei) Technology Co.,Ltd.

Address before: Yichatong intellectual property department, 19th floor, block B, spotlight center, 459 Qianmo Road, Xixing street, Binjiang District, Hangzhou City, Zhejiang Province, 310051

Patentee before: HUBEI ECARX TECHNOLOGY Co.,Ltd.