CN109003326A - 一种基于虚拟世界的虚拟激光雷达数据生成方法 - Google Patents
一种基于虚拟世界的虚拟激光雷达数据生成方法 Download PDFInfo
- Publication number
- CN109003326A CN109003326A CN201810569071.1A CN201810569071A CN109003326A CN 109003326 A CN109003326 A CN 109003326A CN 201810569071 A CN201810569071 A CN 201810569071A CN 109003326 A CN109003326 A CN 109003326A
- Authority
- CN
- China
- Prior art keywords
- scene
- information
- point cloud
- virtual world
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000003139 buffering effect Effects 0.000 claims abstract description 17
- 239000011159 matrix material Substances 0.000 claims description 34
- 239000000284 extract Substances 0.000 claims description 10
- 238000009434 installation Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000005286 illumination Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 abstract description 14
- 238000011161 development Methods 0.000 abstract description 14
- 230000008447 perception Effects 0.000 abstract description 2
- 230000018109 developmental process Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 239000011121 hardwood Substances 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000005094 computer simulation Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 239000011800 void material Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/60—Memory management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/61—Scene description
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- Evolutionary Computation (AREA)
- Traffic Control Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
一种基于虚拟世界的虚拟激光雷达数据生成方法,包括以下步骤:步骤S100,获取虚拟世界的场景信息;步骤S200,解析S100获取的场景缓存信息,生成场景点云数据;步骤S300,解析S100获取的场景目标信息,生成场景目标点云索引集;步骤S400,降采样场景点云数据,组成真值数据,生成虚拟激光雷达数据。本发明为基于激光雷达传感器的自动驾驶感知算法开发提供了包含真值数据的激光雷达点云数据源,能够高效无任何限制的采集点云数据,可以加快算法开发进程,同时,极大的减少了开发过程中数据采集标注带来的人员时间成本的消耗。
Description
技术领域
本发明涉及无人驾驶机仿真计算应用领域,具体涉及一种基于虚拟世界的虚拟激光雷达数据生成方法。
背景技术
无人驾驶仿真技术,作为无人驾驶开发过程中必不可少的环节,主要用于无人驾驶的各种算法开发,动力学模型验证,功能安全验证等。在无人驾驶算法集中了环境感知,道路建模路径规划,决策控制,与功能安全设计等,涉及到各种传感器,车身控制单元,以及车身ECU等。对于环境感知算法,涉及到用于感知环境的单目相机,双目相机,超声波雷达,毫米波雷达,激光雷达等,依据传感器原始数据,对车辆驾驶环境进行建模,实现对环境的感知。
目前的环境感知算法还处于研发阶段,而算法的开发严重依赖于传感器原始数据,对于传感器原始数据的获取,目前主要通过实车装备各种传感器上路采集,该方法成本高,局限性大,单车采集区域有限,采集耗时长。由于现有技术无法在仿真环境中模拟激光雷达原始数据,从而不能利用仿真环境加速激光雷达点云数据算法开发。
发明内容
本发明的目的在于提供一种基于虚拟世界的虚拟激光雷达数据生成方法,能够加快算法开发进程,同时,极大的减少了开发过程中数据采集标注带来的人员时间成本的消耗。
一种基于虚拟世界的虚拟激光雷达数据生成方法,包括以下步骤:
S100,获取虚拟世界的场景信息:通过直接或间接的方式获取虚拟世界的场景缓存信息,将获取到的虚拟世界的场景缓存信息,保存为图像信息,同时将获取虚拟世界的相机信息和场景目标信息,保存为同名文本信息;
S200,解析S100获取的场景缓存信息,生成场景点云数据:将S100获取的图像数据信息进行解析,提取深度图像信息并线性化,同时将S100获取的文本信息进行解析,提取视图矩阵及相机参数信息,根据视图矩阵、线性深度图像以及相机参数信息,计算出三维空间坐标信息,生成场景点云数据;
S300,解析S100获取的场景目标信息,生成场景目标点云索引集:将S100获取的场景目标信息进行解析,提取场景目标三维边界框,结合S200生成的场景点云数据,计算场景中三维边界框中场景目标点云索引,生成场景目标点云索引集;
S400,生成虚拟激光雷达数据:将S100获取的场景目标信息进行解析,提取场景目标身份、类别和三维边界框,通过场景目标、类别、三维边界框和S300生成的场景目标点云索引集共同组成真值数据信息,然后通过S200生成的场景点云数据和真值数据共同生成虚拟激光雷达数据。
进一步地,在步骤S100中,通过直接或间接的方式获取虚拟世界的场景缓存信息,间接获取是通过制作获取虚拟世界场景信息的插件工具,且将插件工具复制到虚拟世界的安装目录文件夹中,插件工具用于采集场景缓存信息;直接获取是直接从虚拟世界的安装目录中获取场景真值信息和/或原始点云数据。
进一步地,在步骤S200中提取的相机参数信息是指相机分辨率和相机视场角的信息。
进一步地,在步骤S200中,还包括将S100获取的图像数据进行解析,提取模板图像信息,同时建立线性化深度图像信息与三维点云的映射关系,建立模板图像信息和三维点云之间的映射关系。
进一步地,在步骤S300中,还包括利用提取的模板图像信息验证虚拟世界中所有场景中目标的点云索引集,并剔除点云索引集中与模板图像信息存在差异的点。
进一步地,在步骤S300中,进一步还设定预设阈值,当目标的点云索引集与模板信息存在差异的平均点个数小于等于预设阈值时,继续进行步骤S400;而当差异平均点个数大于预设阈值时,返回至步骤S200,重新进行步骤S200和步骤S300,直至目标点云索引集与模板信息存在差异的平均点个数小于等于预设阈值,然后再进行步骤S400。
进一步地,在步骤S400中,还包括参考真实激光雷达参数,并将步骤S200所生成场景点云数据进行降采样,同时更新步骤S300生成的目标对应的点云索引集,对降采样的场景点云数据和步骤S300生成的场景中目标点云索引集进行优化。
进一步地,所述获取的场景信息为光照、天气、人物、动物、车辆、建筑、交通道路、道路附属设施、以及树木的一种或多种。
与现有技术相比,本发明利用计算机仿真手段获取与真实环境相近的原始数据,能够高效无任何限制的采集点云数据,因此将大幅度减小数据采集成本和算法开发周期,可以加快算法开发进程,并且极大的减少了开发过程中数据采集及标注带来的人员时间成本的消耗。
附图说明
图1是本发明一种基于虚拟世界的虚拟激光雷达数据生成方法的原理图;
图2是本发明一种基于虚拟世界的虚拟激光雷达数据生成方法的结构示意图;
图3是本发明一种基于虚拟世界的虚拟激光雷达数据生成方法的深度图像矩阵齐次化示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明:
图1是本发明一种基于虚拟世界的虚拟激光雷达数据生成方法的原理图;图2是本发明一种基于虚拟世界的虚拟激光雷达数据生成方法的结构示意图;图3是本发明一种基于虚拟世界的虚拟激光雷达数据生成方法的深度图像矩阵齐次化示意图。
参见图1和图2,一种基于虚拟世界的虚拟激光雷达数据生成方法,包括以下步骤:
S100,获取虚拟世界的场景信息:通过直接或间接的方式获取虚拟世界的场景缓存信息,间接获取是通过制作获取虚拟世界场景信息的插件工具,且将插件工具复制到虚拟世界的安装目录文件夹中,插件工具用于采集场景缓存信息,直接获取是直接从虚拟世界的安装目录中获取场景真值信息和/或原始点云数据,将获取到的虚拟世界的场景缓存信息,保存为图像信息,同时将获取虚拟世界的相机信息和场景目标信息,获取的相机信息是指虚拟世界的相机坐标转换视图矩阵及相机分辨率和视场角等参数信息,保存为同名文本信息;
S200,解析S100获取的场景缓存信息,生成场景点云数据:将S100获取的图像数据信息进行解析,提取深度图像信息并线性化,同时将S100获取的文本信息进行解析,提取视图矩阵及相机参数信息,提取的相机参数信息是指相机分辨率和相机视场角的信息,将S100获取的图像数据进行解析,提取模板图像信息,同时建立线性化深度图像信息与三维点云的映射关系,建立模板图像信息和三维点云之间的映射关系,根据视图矩阵、线性深度图像以及相机参数信息,计算出三维空间坐标信息,生成场景点云数据;
S300,解析S100获取的场景目标信息,生成场景目标点云索引集:将S100获取的场景目标信息进行解析,提取场景目标三维边界框,结合S200生成的场景点云数据,计算场景中三维边界框中场景目标点云索引,生成场景目标点云索引集;利用提取的模板图像信息验证虚拟世界中所有场景中目标的点云索引集,并剔除点云索引集中与模板图像信息存在差异的点;根据提取的模板图像信息,进一步设定预设阈值,当目标的点云索引集大于预设阈值时,返回至步骤S200,重新执行步骤S200和S300,直至目标点云索引集小于等于预设阈值;
S400,生成虚拟激光雷达数据:将S100获取的场景目标信息进行解析,提取场景目标身份、类别和三维边界框,参考真实激光雷达参数,并将步骤S200所生成场景点云数据进行降采样,同时更新步骤S300生成的目标对应的点云索引集,对降采样的场景点云数据和步骤S300生成的场景中目标点云索引集进行优化,通过场景目标、类别、三维边界框和S300生成的场景目标点云索引集共同组成真值数据信息,然后通过S200生成的场景点云数据和真值数据共同生成虚拟激光雷达数据。
获取的场景信息包含光照、天气、人物、动物、车辆、建筑、交通道路、道路附属设施、以及树木的等信息,还可以包括其他当前帧的内容。
深度图像也叫距离影像,是指将从图像采集器到场景中各点的距离(深度)值作为像素值的图像。获取方法有:激光雷达深度成像法、计算机立体视觉成像、坐标测量机法、莫尔条纹法、结构光法。
点云:当一束激光照射到物体表面时,所反射的激光会携带方位、距离等信息。若将激光束按照某种轨迹进行扫描,便会边扫描边记录到反射的激光点信息,由于扫描极为精细,则能够得到大量的激光点,因而就可形成激光点云。点云格式有*.las;*.pcd;*.txt等。
深度图像经过坐标转换可以计算为点云数据;有规则及必要信息的点云数据可以反算为深度图像。
视频虚拟世界,这里应当知晓,采用的视频游戏优选为与现实世界逼真度高的游戏,为自动驾驶算法研究仿真提供了一种虚拟传感器,用于感知虚拟环境的三维信息,制作获取虚拟场景缓存信息的插件工具,启动视频游戏,控制游戏角色到达目标区域,调整游戏场景中的相机角度,调整游戏画面分辨率,以800×600为例,根据所需真实场景要求,设置虚拟世界中的虚拟场景的天气,设置采集开始时间,预设抓取场景缓存信息的触发按键为N,以及设定触发后一共抓取的帧数1000,并且设定抓取每一帧的时间间隔等。
按N键触发采集场景缓存信息的插件工具,插件工具开始抓取虚拟世界的场景缓存信息,连续采集1000帧场景数据,当抓取1000帧后,暂停游戏画面,将抓取到的场景缓存信息保存为图像数据信息。这里应当知晓,还包括将采集到的缓存信息保存为预设的文件格式,其中预设文件格式包括tiff,jpg,png,gif,mat,npy等格式。抓取一帧即保存一帧,并且每一桢保存为一个图像数据信息或者预设的文件格式;在抓取每一帧缓存信息的同时,获取的相机信息和场景中目标信息,保存为同名文本信息,同样抓取一帧即保存一帧,这里应当知晓,文本信息可以设为预设文本格式,其中预设文本格式包括txt,doc,docx,wps等格式。例如将抓取到的每一帧场景缓存信息打包为tiff格式图片写入硬盘,与之对应的相机和场景目标信息以同名文本txt格式写入硬盘。
根据实际激光雷达对机动车和行人、动物探测的有效作用距离,这里应当知晓,一般情况下对机动车探测的有效距离小于二百米,对行人、动物探测的有效距离小于八十米,获取虚拟场景中距离相机二百米内的场景机动车目标和距离相机八十米内的行人,动物及非机动车目标的信息,获取的场景目标信息包括:目标身份信息ID,目标类别,目标子类别,场景中目标到相机的距离,这里应当知晓,目标身份信息ID是指目标在虚拟世界中的唯一的确认身份的信息,可以用ID简称表示,虚拟世界中任何物体都包括其身份信息,并且具有唯一性,场景中目标在虚拟世界坐标系中的位置,场景中目标的三维边界框尺寸,场景中目标相对于初始状态的旋转角度、速度和加速度等。
这里应当知晓,一共抓取1000桢,此处以第1桢为例,进行虚拟激光雷达的数据生成,其余999桢以相同方法进行处理。启动插件工具的数据处理脚本,首先处理第一帧tiff图像信息,提取tiff图像信息中的深度图像信息及模板图像信息;解析获取的相机信息的文本信息,提取当前帧相机坐标转换投影信息,转化为视图矩阵和相机分辨率以及相机视场角,利用深度图像信息计算生成点云数据。
具体地是,首先假设当前帧中的可见目标,一般情况下,可见目标是指画面中可以观测到的对象,假设在虚拟世界中的可见目标的ID={12345,12346,23456,23567},解析获取的当前场景缓存信息,提取tiff图像中的深度图像信息,解析为600×800的深度图像矩阵DepMap,这里应当知晓,DepMap是指深度图像矩阵;同时,提取tiff图像中的模板图像信息,解析为600×800的模板图像矩阵Stencil,这里应当知晓,Stencil是指模板图像矩阵。这里应当知晓,根据不同的使用情况,不同分辨率的画面,DepMap代表不同分辨率的深度图像矩阵,Stencil代表不同分辨率的模板图像矩阵。
根据虚拟世界对深度信息的保精度策略,将深度图像矩阵DepMap线性化,得到线性深度矩阵DepMapL,这里应当知晓,DepMapL是指线性深度矩阵,线性化过程如下:
Scale=near/(near-far)
Bias=far/Scale
DepMapL(u,v)=Bias/[DepMap(u,v)-Scale]
这里应当知晓,DepMap(u,v)是指深度图像矩阵中的一个像素,DepMapL(u,v)是指线性深度图像矩阵中的一个像素,该转化过程表示,线性化深度图像矩阵的每一个元素执行相同的操作;near和far表示虚拟世界中取最近距离和最远距离为常数,u表示图像矩阵的横坐标,v表示图像矩阵的纵坐标,通过横坐标、纵坐标(u,v)可以索引到图像矩阵中的每一个元素。这里应当知晓,图像矩阵包括深度图像矩阵和模板图像矩阵。
根据S100获取的文本信息进行解析,提取视图矩阵及相机参数信息,解析得到当前桢相机视图矩阵ViewMatrix=MV,这里应当知晓,ViewMatrix是指视图矩阵,也可以用简称MV表示视图矩阵,一般情况下,MV是指4×4视图矩阵;其中相机参数信息包括当前帧相机的分辨率:宽Width和高Height,视场角FOV,这里应当知晓,Width指相机分辨率的宽,也可以用简称W表示相机分辨率的宽;Height值相机分辨率的高,也可以用简称H表示相机分辨率的高;FOV指相机视场角。
利用相机参数信息的相机分辨率宽W、高H和视场角FOV,首先计算当前帧的单个像素的视场角,这里应当知晓,rFOV是指单个像素的视场角;然后,根据计算所得的单个像素的视场角rFOV,以及上述线性化所得的线性深度图像矩阵DepMapL;最终,将图像像素索引u,v空间化为x,y:
rFOV=FOV/Width
x(u,v)=u×DepMapL(u,v)×rFOV
y(u,v)=v×DepMapL(u,v)×rFOV
这里应当知晓,该操作是针对每一个像素(u,v)索引进行的,因此对当前帧的其他像素进行同样的操作,进而形成整个索引集合。
参见图3,将线性深度图像矩阵DepMapL变换为包含像素坐标空间位置(x,y)和距离值的齐次线性深度图像矩阵DepMapH,这里应当知晓,DepMapH是指齐次线性深度图像矩阵,DepMapH的每一列表示为[x(u,v),y(u,v),DepMap(u,v),1]T,将DepMapL以行展开,变换前线性深度图像矩阵DepMapL宽为800,高为600,即600×800的图像矩阵,变换后齐次线性深度矩阵DepMapH为4×480000,DepMapH第一个800列对应DepMapL矩阵的第一行,第二个800列对应DepMapL矩阵的第二行,依次类推,转换对应关系如下:
根据转换对应关系,建立DepMapL与DepMapH对应点关系:DepMapH的下标索引值idx范围:0~479999,由idx求解u,v:
u=mod(idx/800),v=int(idx/800)
这里应该知晓,mod()表示取模运算,mod(idx/800)等于idx除以800的余数,int()表示取整运算,int(idx/800)等于idx除以800的商。
利用齐次线性深度矩阵DepMapH,视图矩阵MV,计算世界坐标系下的场景三维点云数据PCDworld=[xw,yw,zw,1]T,PCDworld是指世界坐标系下的三维点云数据,PCDworld与DepMapH的索引一一对应,PCDworld的计算公式如下:
PCDworld=MV-1×DepMapH
将三维点云索引idx作为三维点云PCDworld的一维信息,将齐次坐表达式[xw,yw,zw,1]T转化为[xw,yw,zw,idx]T。
提取ID=12345场景目标的三维边界框信息,利用三维边界框,获取对应场景目标三维点云索引,同时,根据三维点云与模板图像信息之间的一一对应关系,验证目标三维点云索引的有效性,剔除差异数据,具体如下:
利用三维边界框提取目标,得到目标三维点云包含点索引集Target_12345(idx),表示该索引集中所有点都属于ID=12345,作为ID=12345的目标在当前帧的语义分割标签。
提取ID=12345的目标的类别,这里应当知晓,目标类别包括大类别,一般情况下大类别包括车、生物等,子类别包括人、动物或者轿车、卡车、面包车等。
对其他ID也进行上述步骤的转化,比如对ID={12346,23456,23567}的目标重复步骤上述转化步骤,对其他目标重复上述转化步骤为S300到提取目标类别,因此,得到其他目标在当前帧的语义分割标签,得到Target_12346(idx)、Target_23456(idx)、Target_23567(idx)。
合并所有ID的点索引集Target_12345(idx)、Target_12346(idx)、Target_23456(idx)、Target_23567(idx),得到对当前帧所有目标Target(idx):Target(idx)=Target_12345(idx)∪Target_12346(idx)∪Target_23456(idx)∪Target_23567(idx)。
根据上述计算得到的Target(idx),将目标点索引映射到模板图像信息像素索引(u,v)中,得到目标在模板信息中的像素索引集Target_stencil(u,v)。
提取模板图像矩阵Stencil中像素值为车和人的像素点,这里应当知晓,在虚拟世界中的行人相关的模板像素值为1,与车辆相关模板像素值为2,生成目标模板像素索引集GT_stencil(u,v)。
利用上述步骤中得到的目标模板像素索引集GT_stencil(u,v),进一步检验得到的目标在模板信息中的像素索引集Target_stencil(u,v),计算GT_stencil(u,v)与Target_stencil(u,v)得到全局差异像素个数,计算公式如下:
全局差异像素个数=|GT_stencil(u,v)-Target_stencil(u,v)|
并且计算平均差异像素个数,公式如下:
平均差异像素个数=全局差异像素个数/目标个数
设置预设阈值作为平均差异像素个数的对比标准,根据不同情况可以设置不同预设阈值作为对比标准,例如将预设阈值设为10;这里应当知晓,当计算所得的平均差异像素个数小于等于阈值10时,进行下一步S400生成激光雷达数据的步骤,依据真实激光雷达参数,真实激光雷达参数的垂直角分辨率和水平角分辨率,对三维点云数据进行降采样,同时更新目标对应点云索引,并由目标身份ID,目标类别,目标子类别,目标三维边界框,目标语义分割标签组成三维点云场景的真值数据,由生成的场景三维点云数据与真值数据共同生成虚拟激光雷达数据,具体的是由目标ID,类别Class,子类别SubClass,三位边界框BBox3D,点云索引集Target(idx)组成当前帧的真值数据。
根据不同的情况,当计算所得的平均差异像素个数大于预设阈值时,重新返回至步骤S200,并且调整深度图像线性化公式中的最近距离和最远距离参数,得到新的线性化深度图像信息DepMapL,根据视图矩阵、线性深度图像以及相机参数信息,重新计算三维空间坐标信息,生成新的场景点云数据;利用三维边界框提取目标,得到目标三维点云包含点索引集,重新生成目标在当前帧的语义分割标签Target(idx);根据上述计算得到的Target(idx),重新得到目标在模板信息中的像素索引集Target_stencil(u,v),进一步重新生成目标模板像素索引集GT_stencil(u,v)。再次利用Target_stencil(u,v)和GT_stencil(u,v)计算全局差异像素个数和平均差异像素个数,根据上述信息重新计算平均差异像素个数,将平均差异像素个数与预设阈值对比,若平均差异像素个数大于预设阈值,再返回至步骤S200,继续调整深度图像线性化公式参数,重新执行步骤S200和S300,如此反复调整,直至平均差异像素个数小于等于预设阈值。然后再进行步骤S400。
对剩余999帧tiff数据以相同的步骤进行上述的解析、提取、计算和生成等,从而得到整个目标区域的点云数据信息与真值数据信息,进一步的通过整个目标区域的点云数据和真值数据共同生成整体虚拟激光雷达数据。
综上所述,在本实施例中利用计算机仿真手段获取与真实环境相近的原始数据,将大幅度减小数据采集成本和算法开发周期,能够高效无任何限制的采集点云数据,可以加快算法开发进程,同时,极大的减少了开发过程中数据采集标注带来的人员时间成本的消耗。
本发明的技术方案也同样适用于虚拟世界中的虚拟毫米波雷达数据生成方法或者虚拟超声波数据生成方法。
需要说明的是:以上实施例仅用于说明本发明而并非限制本发明所描述的技术方案,尽管本说明书参照上述的实施例对本发明已进行了详细的说明,但是,本领域的普通技术人员应当理解,所属技术领域的技术人员仍然可以对本发明进行修改或者等同替换,而一切不脱离本发明的精神和范围的技术方案及其改进,均应涵盖在本发明的权利要求范围内。
Claims (8)
1.一种基于虚拟世界的虚拟激光雷达数据生成方法,包括以下步骤:
S100,获取虚拟世界的场景信息:通过直接或间接的方式获取虚拟世界的场景缓存信息,将获取到的虚拟世界的场景缓存信息,保存为图像信息,同时将获取虚拟世界的相机信息和场景目标信息,保存为同名文本信息;
S200,解析S100获取的场景缓存信息,生成场景点云数据:将S100获取的图像数据信息进行解析,提取深度图像信息并线性化,同时将S100获取的文本信息进行解析,提取视图矩阵及相机参数信息,根据视图矩阵、线性深度图像以及相机参数信息,计算出三维空间坐标信息,生成场景点云数据;
S300,解析S100获取的场景目标信息,生成场景目标点云索引集:将S100获取的场景目标信息进行解析,提取场景目标三维边界框,结合S200生成的场景点云数据,计算场景中三维边界框中场景目标点云索引,生成场景目标点云索引集;
S400,生成虚拟激光雷达数据:将S100获取的场景目标信息进行解析,提取场景目标身份、类别和三维边界框,通过场景目标、类别、三维边界框和S300生成的场景目标点云索引集共同组成真值数据信息,然后通过S200生成的场景点云数据和真值数据共同生成虚拟激光雷达数据。
2.根据权利要求1所述的一种基于虚拟世界的虚拟激光雷达数据生成方法,其特征在于,在步骤S100中,通过直接或间接的方式获取虚拟世界的场景缓存信息,间接获取是通过制作获取虚拟世界场景信息的插件工具,且将插件工具复制到虚拟世界的安装目录文件夹中,插件工具用于采集场景缓存信息;直接获取是直接从虚拟世界的安装目录中获取场景真值信息和/或原始点云数据。
3.根据权利要求2所述的一种基于虚拟世界的虚拟激光雷达数据生成方法,其特征在于,在步骤S200中提取的相机参数信息是指相机分辨率和相机视场角的信息。
4.根据权利要求2或3所述的一种基于虚拟世界的虚拟激光雷达数据生成方法,其特征在于,在步骤S200中,还包括将S100获取的图像数据进行解析,提取模板图像信息,同时建立线性化深度图像信息与三维点云的映射关系,建立模板图像信息和三维点云之间的映射关系。
5.根据权利要求4所述的一种基于虚拟世界的虚拟激光雷达数据生成方法,其特征在于,在步骤S300中,还包括利用提取的模板图像信息验证虚拟世界中所有场景中目标的点云索引集,并剔除点云索引集中与模板图像信息存在差异的点。
6.根据权利要求5所述的一种基于虚拟世界的虚拟激光雷达数据生成方法,其特征在于,在步骤S300中,进一步还设定预设阈值,当目标的点云索引集与模板信息存在差异的平均点个数小于等于预设阈值时,继续进行步骤S400;而当差异平均点个数大于预设阈值时,返回至步骤S200,重新进行步骤S200和步骤S300,直至目标点云索引集与模板信息存在差异的平均点个数小于等于预设阈值,然后再进行步骤S400。
7.根据权利要求6所述的一种基于虚拟世界的虚拟激光雷达数据生成方法,其特征在于,在步骤S400中,还包括参考真实激光雷达参数,并将步骤S200所生成场景点云数据进行降采样,同时更新步骤S300生成的目标对应的点云索引集,对降采样的场景点云数据和步骤S300生成的场景中目标点云索引集进行优化。
8.根据权利要求7所述的一种基于虚拟世界的虚拟激光雷达数据生成方法,其特征在于,所述获取的场景信息为光照、天气、人物、动物、车辆、建筑、交通道路、道路附属设施、以及树木的一种或多种。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810569071.1A CN109003326B (zh) | 2018-06-05 | 2018-06-05 | 一种基于虚拟世界的虚拟激光雷达数据生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810569071.1A CN109003326B (zh) | 2018-06-05 | 2018-06-05 | 一种基于虚拟世界的虚拟激光雷达数据生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109003326A true CN109003326A (zh) | 2018-12-14 |
CN109003326B CN109003326B (zh) | 2021-07-23 |
Family
ID=64573530
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810569071.1A Active CN109003326B (zh) | 2018-06-05 | 2018-06-05 | 一种基于虚拟世界的虚拟激光雷达数据生成方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109003326B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109917402A (zh) * | 2019-04-11 | 2019-06-21 | 西南交通大学 | 一种车载激光雷达仿真模块仿真精度测定方法及系统 |
CN110322553A (zh) * | 2019-07-10 | 2019-10-11 | 广州建通测绘地理信息技术股份有限公司 | 激光雷达点云混合现实场景实施放样的方法和系统 |
CN110554407A (zh) * | 2019-09-25 | 2019-12-10 | 哈尔滨工程大学 | 一种模拟船用激光雷达三维点云成像方法 |
CN111583268A (zh) * | 2020-05-19 | 2020-08-25 | 北京数字绿土科技有限公司 | 点云虚拟选择与裁切方法、装置及设备 |
CN112199991A (zh) * | 2020-08-27 | 2021-01-08 | 广州中国科学院软件应用技术研究所 | 一种应用于车路协同路侧感知的仿真点云滤波方法和系统 |
CN112783844A (zh) * | 2021-01-15 | 2021-05-11 | 航天科工系统仿真科技(北京)有限公司 | 基于idx算法的道路点位确定方法、装置和系统 |
CN112991511A (zh) * | 2020-10-13 | 2021-06-18 | 中国汽车技术研究中心有限公司 | 一种点云数据的展示方法 |
CN114093155A (zh) * | 2020-08-05 | 2022-02-25 | 北京万集科技股份有限公司 | 交通事故责任溯源方法、装置、计算机设备和存储介质 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101908231A (zh) * | 2010-07-27 | 2010-12-08 | 清华大学 | 处理含有主平面场景的三维点云重建方法和系统 |
US8458188B2 (en) * | 2010-02-17 | 2013-06-04 | Lockheed Martin Corporation | Voxel approach to terrain repositories for modeling and simulation |
CN104238377A (zh) * | 2014-09-30 | 2014-12-24 | 中国航天空气动力技术研究院 | 一种用于无人机航空物探的低空飞行仿真方法 |
CN104346825A (zh) * | 2014-10-31 | 2015-02-11 | 无锡梵天信息技术股份有限公司 | 一种非线性深度转化为线性深度的处理方法和装置 |
JP2015083949A (ja) * | 2013-10-25 | 2015-04-30 | 独立行政法人産業技術総合研究所 | 模擬視界シミュレーション装置 |
CN104881863A (zh) * | 2014-02-28 | 2015-09-02 | 海克斯康计量(以色列)有限公司 | 用于分析处理监视数据的方法和系统 |
CN105023287A (zh) * | 2015-07-08 | 2015-11-04 | 西安电子科技大学 | 一种用于动态三维场景的激光雷达成像与着色方法 |
CN105809681A (zh) * | 2016-03-04 | 2016-07-27 | 清华大学 | 基于单相机的人体rgb-d数据恢复与三维重建方法 |
US20160312446A1 (en) * | 2015-04-21 | 2016-10-27 | Hexagon Technology Center Gmbh | Method and control system for surveying and mapping a terrain while operating a bulldozer |
CN106961591A (zh) * | 2015-12-22 | 2017-07-18 | 达索系统公司 | 混合式流式传送 |
CN107886531A (zh) * | 2017-12-15 | 2018-04-06 | 武汉智能鸟无人机有限公司 | 一种基于激光测距以及物方匹配的虚拟控制点获取方法 |
CN107966693A (zh) * | 2017-12-05 | 2018-04-27 | 成都合纵连横数字科技有限公司 | 一种基于深度渲染的车载激光雷达仿真方法 |
-
2018
- 2018-06-05 CN CN201810569071.1A patent/CN109003326B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8458188B2 (en) * | 2010-02-17 | 2013-06-04 | Lockheed Martin Corporation | Voxel approach to terrain repositories for modeling and simulation |
CN101908231A (zh) * | 2010-07-27 | 2010-12-08 | 清华大学 | 处理含有主平面场景的三维点云重建方法和系统 |
JP2015083949A (ja) * | 2013-10-25 | 2015-04-30 | 独立行政法人産業技術総合研究所 | 模擬視界シミュレーション装置 |
CN104881863A (zh) * | 2014-02-28 | 2015-09-02 | 海克斯康计量(以色列)有限公司 | 用于分析处理监视数据的方法和系统 |
CN104238377A (zh) * | 2014-09-30 | 2014-12-24 | 中国航天空气动力技术研究院 | 一种用于无人机航空物探的低空飞行仿真方法 |
CN104346825A (zh) * | 2014-10-31 | 2015-02-11 | 无锡梵天信息技术股份有限公司 | 一种非线性深度转化为线性深度的处理方法和装置 |
US20160312446A1 (en) * | 2015-04-21 | 2016-10-27 | Hexagon Technology Center Gmbh | Method and control system for surveying and mapping a terrain while operating a bulldozer |
CN105023287A (zh) * | 2015-07-08 | 2015-11-04 | 西安电子科技大学 | 一种用于动态三维场景的激光雷达成像与着色方法 |
CN106961591A (zh) * | 2015-12-22 | 2017-07-18 | 达索系统公司 | 混合式流式传送 |
CN105809681A (zh) * | 2016-03-04 | 2016-07-27 | 清华大学 | 基于单相机的人体rgb-d数据恢复与三维重建方法 |
CN107966693A (zh) * | 2017-12-05 | 2018-04-27 | 成都合纵连横数字科技有限公司 | 一种基于深度渲染的车载激光雷达仿真方法 |
CN107886531A (zh) * | 2017-12-15 | 2018-04-06 | 武汉智能鸟无人机有限公司 | 一种基于激光测距以及物方匹配的虚拟控制点获取方法 |
Non-Patent Citations (4)
Title |
---|
DONGWEI QIU 等: "Application of Virtual Reality Technology in Bridge Structure Safety Monitoring", 《INTERNATIONAL CONFERENCE ON COMPUTER AND INFORMATION APPLICATION(ICCIA 2010)》 * |
KEVIN SANJAYA 等: "3D LIDAR City Model Application and Marketing Plan Development", 《2017 INTERNATIONAL CONFERENCE ON SOFT COMPUTING, INTELLIGENT SYSTEM AND INFORMATION TECHNOLOGY》 * |
李晖 等: "三维激光扫描技术在虚拟现实中的应用", 《南昌大学学报·工科版》 * |
王鑫 等: "机载 LiDAR 洞穴目标的点云模拟及快速识别", 《测绘科学技术学报》 * |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109917402A (zh) * | 2019-04-11 | 2019-06-21 | 西南交通大学 | 一种车载激光雷达仿真模块仿真精度测定方法及系统 |
CN110322553A (zh) * | 2019-07-10 | 2019-10-11 | 广州建通测绘地理信息技术股份有限公司 | 激光雷达点云混合现实场景实施放样的方法和系统 |
CN110322553B (zh) * | 2019-07-10 | 2024-04-02 | 广州建通测绘地理信息技术股份有限公司 | 激光雷达点云混合现实场景实施放样的方法和系统 |
CN110554407B (zh) * | 2019-09-25 | 2023-05-09 | 哈尔滨工程大学 | 一种模拟船用激光雷达三维点云成像方法 |
CN110554407A (zh) * | 2019-09-25 | 2019-12-10 | 哈尔滨工程大学 | 一种模拟船用激光雷达三维点云成像方法 |
CN111583268A (zh) * | 2020-05-19 | 2020-08-25 | 北京数字绿土科技有限公司 | 点云虚拟选择与裁切方法、装置及设备 |
CN111583268B (zh) * | 2020-05-19 | 2021-04-23 | 北京数字绿土科技有限公司 | 点云虚拟选择与裁切方法、装置及设备 |
CN114093155A (zh) * | 2020-08-05 | 2022-02-25 | 北京万集科技股份有限公司 | 交通事故责任溯源方法、装置、计算机设备和存储介质 |
CN112199991A (zh) * | 2020-08-27 | 2021-01-08 | 广州中国科学院软件应用技术研究所 | 一种应用于车路协同路侧感知的仿真点云滤波方法和系统 |
CN112199991B (zh) * | 2020-08-27 | 2024-04-30 | 广州中国科学院软件应用技术研究所 | 一种应用于车路协同路侧感知的仿真点云滤波方法和系统 |
CN112991511B (zh) * | 2020-10-13 | 2023-03-24 | 中国汽车技术研究中心有限公司 | 一种点云数据的展示方法 |
CN112991511A (zh) * | 2020-10-13 | 2021-06-18 | 中国汽车技术研究中心有限公司 | 一种点云数据的展示方法 |
CN112783844B (zh) * | 2021-01-15 | 2023-12-01 | 航天科工系统仿真科技(北京)有限公司 | 基于idx算法的道路点位确定方法、装置和系统 |
CN112783844A (zh) * | 2021-01-15 | 2021-05-11 | 航天科工系统仿真科技(北京)有限公司 | 基于idx算法的道路点位确定方法、装置和系统 |
Also Published As
Publication number | Publication date |
---|---|
CN109003326B (zh) | 2021-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109003326A (zh) | 一种基于虚拟世界的虚拟激光雷达数据生成方法 | |
US10565458B2 (en) | Simulation system, simulation program and simulation method | |
JP6275362B1 (ja) | 3dグラフィック生成、人工知能の検証・学習システム、プログラム及び方法 | |
CN110827395B (zh) | 一种适用于动态环境的即时定位与地图构建方法 | |
KR101319471B1 (ko) | 부감 화상 생성장치, 부감 화상 생성방법 및 기록매체 | |
CN110032949A (zh) | 一种基于轻量化卷积神经网络的目标检测与定位方法 | |
WO2019230339A1 (ja) | 物体識別装置、移動体用システム、物体識別方法、物体識別モデルの学習方法及び物体識別モデルの学習装置 | |
CN110648389A (zh) | 基于无人机和边缘车辆协同的城市街景3d重建方法和系统 | |
CN105719352B (zh) | 人脸三维点云超分辨率融合方法及应用其的数据处理装置 | |
CN110334701B (zh) | 数字孪生环境下基于深度学习和多目视觉的数据采集方法 | |
CN110428490B (zh) | 构建模型的方法和装置 | |
CN109636924A (zh) | 基于现实路况信息三维建模的车载多模式增强现实系统 | |
CN105225230A (zh) | 一种识别前景目标对象的方法及装置 | |
US11430199B2 (en) | Feature recognition assisted super-resolution method | |
CN110488805A (zh) | 一种基于3d立体视觉的无人车避障系统及方法 | |
WO2018066352A1 (ja) | 画像生成システム、プログラム及び方法並びにシミュレーションシステム、プログラム及び方法 | |
CN110378210A (zh) | 一种基于轻量化YOLOv3的车辆和车牌检测及长短焦融合测距方法 | |
CN106446785A (zh) | 基于双目视觉的可行道路检测方法 | |
US20230138487A1 (en) | An Environment Model Using Cross-Sensor Feature Point Referencing | |
CN102036094A (zh) | 一种基于数字分数延时技术的立体匹配方法 | |
Zhao et al. | Autonomous driving simulation for unmanned vehicles | |
CN114966696A (zh) | 一种基于Transformer的跨模态融合目标检测方法 | |
JP5544595B2 (ja) | 地図画像処理装置、地図画像処理方法、および、コンピュータプログラム | |
CN109703465A (zh) | 车载图像传感器的控制方法和装置 | |
CN113495495B (zh) | 一种基于虚幻引擎的轨道障碍物检测仿真平台的构建方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20220322 Address after: 430051 No. b1336, chuanggu startup area, taizihu cultural Digital Creative Industry Park, No. 18, Shenlong Avenue, Wuhan Economic and Technological Development Zone, Wuhan, Hubei Province Patentee after: Yikatong (Hubei) Technology Co.,Ltd. Address before: Yichatong intellectual property department, 19th floor, block B, spotlight center, 459 Qianmo Road, Xixing street, Binjiang District, Hangzhou City, Zhejiang Province, 310051 Patentee before: HUBEI ECARX TECHNOLOGY Co.,Ltd. |
|
TR01 | Transfer of patent right |