CN116719054B - 虚拟激光雷达点云的生成方法、计算机设备及存储介质 - Google Patents
虚拟激光雷达点云的生成方法、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN116719054B CN116719054B CN202311007249.0A CN202311007249A CN116719054B CN 116719054 B CN116719054 B CN 116719054B CN 202311007249 A CN202311007249 A CN 202311007249A CN 116719054 B CN116719054 B CN 116719054B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- laser radar
- dynamic object
- virtual
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 230000003068 static effect Effects 0.000 claims abstract description 80
- 238000009877 rendering Methods 0.000 claims abstract description 8
- 238000004088 simulation Methods 0.000 claims description 33
- 238000013507 mapping Methods 0.000 claims description 5
- 239000000758 substrate Substances 0.000 claims 1
- 230000008447 perception Effects 0.000 abstract description 8
- 238000004590 computer program Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000004927 fusion Effects 0.000 description 6
- 238000012549 training Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Evolutionary Computation (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及自动驾驶技术领域,具体提供一种虚拟激光雷达点云的生成方法、计算机设备及存储介质,旨在解决如何生成与真实激光雷达点云差异较小的虚拟激光雷达点云,以提高障碍物信息感知准确性的问题。为此目的,本发明提供的方法包括基于渲染引擎并采用预设的虚拟激光雷达,在预设虚拟静态场景中生成虚拟静态场景的虚拟激光雷达点云;采用预设的真实激光雷达,获取预设真实动态场景中真实动态物体的真实激光雷达点云;对虚拟激光雷达点云与真实激光雷达点云进行融合,以获取最终的虚拟激光雷达点云。通过上述方法,可以同时保证虚拟激光雷达点云中静态物体的合理性和动态物体的真实性,因而能够缩小与真实激光雷达点云之间的差异。
Description
技术领域
本发明涉及自动驾驶技术领域,具体涉及一种虚拟激光雷达点云的生成方法、计算机设备及存储介质。
背景技术
在对车辆进行自动驾驶控制时通常会通过激光雷达采集周围环境中的点云,根据点云感知周围障碍物信息(位置、尺寸等),再根据感知结果控制车辆自动驾驶。在此过程中,根据点云准确感知周围障碍物的位置、尺寸等信息至关重要,其准确性会极大地影响车辆的安全驾驶。
目前,主要是通过设置有激光雷达的车辆采集真实的点云,将这些真实的点云作为样本训练用于感知障碍物信息的感知模型,在对车辆进行自动驾驶控制时将激光雷达采集的点云输入至感知模型,以获取车辆周围的障碍物信息。但是,采集真实的激光雷达点云,不仅费时费力,成本也比较高。如果基于虚拟渲染引擎生成纯虚拟的激光雷达点云,由于激光雷达的模型比较复杂且虚拟环境中各物体表面材质可能不一样等原因,将无法精确模拟物体表面的反射强度和噪声,导致生成的虚拟激光雷达点云与真实采集的激光雷达点云差异较大,进而导致感知模型的准确性下降,无法准确感知车辆周围的障碍物信息,影响车辆的安全驾驶。
相应地,本领域需要一种新的技术方案来解决上述问题。
发明内容
为了克服上述缺陷,提出了本发明,以解决或至少部分地解决如何生成与真实激光雷达点云差异较小的虚拟激光雷达点云,以提高障碍物信息感知准确性的技术问题。
在第一方面,提供一种虚拟激光雷达点云的生成方法,所述方法包括:
基于渲染引擎并采用预设的虚拟激光雷达,在预设虚拟静态场景中生成所述虚拟静态场景的虚拟激光雷达点云;
采用预设的真实激光雷达,获取预设真实动态场景中真实动态物体的真实激光雷达点云;
对所述虚拟激光雷达点云与所述真实激光雷达点云进行融合,以获取最终的虚拟激光雷达点云。
在上述虚拟激光雷达点云的生成方法的一个技术方案中,“对所述虚拟激光雷达点云与所述真实激光雷达点云进行融合”的步骤具体包括:
采用预设的动态物体仿真器,在所述虚拟静态场景中生成仿真动态物体;
从所述真实动态场景的真实动态物体中获取与仿真动态物体对应的真实动态物体,作为仿真动态物体对应的待融合动态物体;
将仿真动态物体在所述虚拟静态场景中所覆盖区域内的虚拟激光雷达点云删除,以形成仿真动态物体对应的待融合点云区域;
对仿真动态物体对应的待融合动态物体的真实激光雷达点云与待融合点云区域进行融合。
在上述虚拟激光雷达点云的生成方法的一个技术方案中,获取所述待融合动态物体包括:
获取所述真实动态物体在所述虚拟静态场景中的位置信息;
根据所述位置信息,获取与所述仿真动态物体在所述虚拟静态场景中位置信息相似的真实动态物体,作为所述待融合动态物体。
在上述虚拟激光雷达点云的生成方法的一个技术方案中,“获取所述真实动态物体在所述虚拟静态场景中的位置信息”的步骤具体包括:基于所述虚拟静态场景与所述真实动态场景之间空间坐标系的映射关系,获取真实动态物体在所述虚拟静态场景中的位置信息;
和/或,“获取与所述仿真动态物体在所述虚拟静态场景中位置信息相似的真实动态物体”的步骤具体包括:获取所述仿真动态物体与真实动态物体在所述虚拟静态场景中位置信息之间的偏差,并获取所述偏差小于设定值的真实动态物体,作为所述仿真动态物体对应的待融合动态物体。
在上述虚拟激光雷达点云的生成方法的一个技术方案中,在“对仿真动态物体对应的待融合动态物体的真实激光雷达点云与待融合点云区域进行融合”的步骤之后,所述方法还包括:
针对各融合了待融合动态物体的真实激光雷达点云之后的待融合点云区域,判断所述待融合点云区域是否存在点云空洞;
若存在,则对所述点云空洞进行点云填补,以消除所述点云空洞。
在上述虚拟激光雷达点云的生成方法的一个技术方案中,“对所述点云空洞进行点云填补”的步骤具体包括:
采用预设的生成对抗网络和第一激光雷达点云,生成不存在点云空洞的待融合点云区域的第二激光雷达点云,其中所述第一激光雷达点云为存在点云空洞的待融合点云区域内的激光雷达点云;
根据所述第二激光雷达点云,对所述点云空洞进行点云填补。
在上述虚拟激光雷达点云的生成方法的一个技术方案中,“根据所述第二激光雷达点云,对所述点云空洞进行点云填补”的步骤具体包括:
将待融合点云区域内的全部第一激光雷达点云删除,并将所有第二激光雷达点云都嵌入到所述待融合点云区域内。
在上述虚拟激光雷达点云的生成方法的一个技术方案中,“根据所述第二激光雷达点云,对所述点云空洞进行点云填补”的步骤还包括:
将待融合点云区域内点云空洞位置处的第一激光雷达点云删除,并将所述点云空洞位置处的第二激光雷达点云嵌入到所述点云空洞位置处。
在第二方面,提供一种计算机设备,该计算机设备包括处理器和存储装置,所述存储装置适于存储多条程序代码,所述程序代码适于由所述处理器加载并运行以执行上述虚拟激光雷达点云的生成方法的技术方案中任一项技术方案所述的方法。
在第三方面,提供一种计算机可读存储介质,该计算机可读存储介质其中存储有多条程序代码,所述程序代码适于由处理器加载并运行以执行上述虚拟激光雷达点云的生成方法的技术方案中任一项技术方案所述的方法。
本发明上述一个或多个技术方案,至少具有如下一种或多种有益效果:
在实施本发明提供的虚拟激光雷达点云的生成方法的技术方案中,可以基于渲染引擎并采用预设的虚拟激光雷达,在预设虚拟静态场景中生成虚拟静态场景的虚拟激光雷达点云,并采用预设的真实激光雷达,获取预设真实动态场景中真实动态物体的真实激光雷达点云,最后对虚拟静态场景的虚拟激光雷达点云与真实动态物体的真实激光雷达点云进行融合,使得融合后的激光雷达点云兼具虚拟静态场景中虚拟静态物体的点云和真实动态场景中真实动态物体的点云。由于没有改变虚拟静态物体的点云,因此可以保证虚拟静态场景静态信息的合理性,同时由于融合了真实动态物体的点云,因而可以保证虚拟静态场景动态信息的真实性。基于此,能够显著缩小与包含动静态物体的真实激光雷达点云之间的差异。
附图说明
参照附图,本发明的公开内容将变得更易理解。本领域技术人员容易理解的是:这些附图仅仅用于说明的目的,而并非意在对本发明的保护范围组成限制。其中:
图1是根据本发明的一个实施例的虚拟激光雷达点云的生成方法的主要步骤流程示意图;
图2是根据本发明的一个实施例的对虚拟激光雷达点云与真实激光雷达点云进行融合的方法的主要步骤流程示意图;
图3是根据本发明的一个实施例的对待融合点云区域进行点云空洞填补的方法的主要步骤流程示意图;
图4是根据本发明的一个实施例的计算机设备的主要结构示意图。
具体实施方式
下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是,这些实施方式仅仅用于解释本发明的技术原理,并非旨在限制本发明的保护范围。
在本发明的描述中,“处理器”可以包括硬件、软件或者两者的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。计算机可读存储介质包括任何合适的可存储程序代码的介质,比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“A和/或B”表示所有可能的A与B的组合,比如只是A、只是B或者A和B。
下面对虚拟激光雷达点云的生成方法实施例进行说明。
参阅附图1,图1是根据本发明的一个实施例的虚拟激光雷达点云的生成方法的主要步骤流程示意图。如图1所示,本发明实施例中的虚拟激光雷达点云的生成方法主要包括下列步骤S101至步骤S103。
步骤S101:基于渲染引擎并采用预设的虚拟激光雷达,在预设虚拟静态场景中生成虚拟静态场景的虚拟激光雷达点云。
渲染引擎为能够利用三维点云进行场景渲染的渲染引擎。
预设的虚拟激光雷达是基于计算机技术领域中的仿真技术,仿真得到的一个能够向虚拟场景中发射电磁波、接收虚拟场景的环境点反射回去的回波信号,并根据回波信号得到激光雷达点云的激光雷达,相对于真实激光雷达而言,它不是物理世界中真实存在的激光雷达,它并不具有真实激光雷达应该具备的激光器、光电探测器等硬件结构。
预设虚拟静态场景也是通过仿真得到一个由静态物体(如车道等)组成的虚拟的场景。预设虚拟静态场景可以是参照一个真实场景中的静态物体仿真得到的场景,也可以是不参照真实场景仿真得到的纯虚拟场景。
在本实施例中可以采用激光雷达技术领域中常规的激光雷达仿真方法来构建上述预设的虚拟激光雷达,只要其能够实现上述功能即可,本发明实施例不对虚拟激光雷达的构建方法作具体限定。此外,在本实施例中也可以直接采用激光雷达技术领域中能够实现上述功能的常规的虚拟激光雷达,本发明实施例对此同样不作具体限定。
步骤S102:采用预设的真实激光雷达,获取预设真实动态场景中真实动态物体的真实激光雷达点云。
预设的真实激光雷达是物理世界中真实存在的激光雷达,预设真实动态场景也是物理世界中真实存在的场景,这个预设真实动态场景包含了动态物体(如车辆等),也可以包含静态物体(如车道等),此时可以通过动态物体分割的方式从激光雷达点云中获取属于动态物体的激光雷达点云。
例如,预设真实动态场景是高速公路,可以在车辆上设置激光雷达,当车辆在高速公路上行驶时通过激光雷达采集车辆周围的激光雷达点云,该激光雷达点云可以包括高速公路上其他车辆等真实动态物体的激光雷达点云,也可以包括交通指示牌等静态物体的激光雷达点云。在得到这些激光雷达点云之后,通过动态物体分割得到真实动态物体的激光雷达点云。
在本实施例中预设虚拟静态场景和预设真实动态场景可以是同一场景,即预设虚拟静态场景可以参照这个预设真实动态场景中的静态物体仿真得到。此外,也可以是不同的场景。在本实施例中预设的虚拟激光雷达与预设的真实激光雷达的雷达参数(如视场角和激光频率等)相同。
步骤S103:对虚拟激光雷达点云与真实激光雷达点云进行融合,以获取最终的虚拟激光雷达点云。
虚拟激光雷达点云为虚拟静态场景中静态物体的激光雷达点云,真实激光雷达点云为真实动态场景中动态物体的激光雷达点云,将二者在虚拟静态场景中进行融合,可以使虚拟静态场景同时具备静态物体和动态物体的激光雷达点云。由于静态物体的分布是在渲染虚拟静态场景时就确定好的,在对虚拟、真实激光雷达点云进行融合时并不会改变静态物体的分布位置,因此能够保证虚拟静态场景静态信息的合理性。而将真实动态物体的激光雷达融合到虚拟静态场景中,能够保证虚拟静态场景中动态物体的真实性,即保证了虚拟静态场景动态信息的真实性。基于此,能够显著缩小融合后的虚拟激光雷达点云与包含动静态物体的真实激光雷达点云之间的差异。
基于上述步骤S101至步骤S103所述的方法,可以得到更加真实且合理的虚拟激光雷达点云,从而有利于提高根据虚拟激光雷达点云训练得到的感知模型的准确性,进而提高了物体感知的准确性。
下面对上述步骤S103作进一步说明。
在上述步骤S103的一些实施方式中,可以通过图2所示的下列步骤S1031至步骤S1034,对虚拟、真实激光雷达点云进行融合。
步骤S1031:采用预设的动态物体仿真器,在虚拟静态场景中生成仿真动态物体。
预设的动态物体仿真器为能够基于计算机技术领域中的仿真技术,仿真出真实场景中动态物体的仿真器,仿真出的动态物体由激光雷达点云表示,该激光雷达点云的坐标系与虚拟静态场景中静态物体的虚拟激光雷达点云的坐标系相同。
在本实施例中可以采用激光雷达技术领域中常规的激光雷达仿真方法来构建上述预设的动态物体仿真器,只要其能够实现上述功能即可,本发明实施例不对动态物体仿真器的构建方法作具体限定。此外,在本实施例中也可以直接采用激光雷达技术领域中能够实现上述功能的常规的动态物体仿真器,本发明实施例对此同样不作具体限定。
步骤S1032:从真实动态场景的真实动态物体中获取与仿真动态物体对应的真实动态物体,作为仿真动态物体对应的待融合动态物体。具体地,可以将与仿真动态物体相似的真实动态物体作为与仿真动态物体对应的真实动态物体,即待融合动态物体。
步骤S1033:将仿真动态物体在虚拟静态场景中所覆盖区域内的虚拟激光雷达点云删除,以形成仿真动态物体对应的待融合点云区域。具体地,可以获取仿真动态物体在虚拟静态场景中的位置信息,根据位置信息获取其覆盖的区域,再将该区域内的虚拟激光雷达点云删除。
步骤S1034:对仿真动态物体对应的待融合动态物体的真实激光雷达点云与待融合点云区域进行融合。
在本实施例中可以将待融合动态物体的真实激光雷达点云嵌入或添加到待融合点云区域,以实现二者的融合。此外,也可以将待融合动态物体的真实激光雷达点云与删除了待融合点云区域中虚拟激光雷达点云的虚拟静态场景进行拼接,实现融合。
基于上述步骤S1031至步骤S1034所述的方法,可以根据对动态物体分布合理性的实际需求,利用预设的动态物体仿真器在虚拟静态场景中生成仿真动态物体,进而根据这些仿真动态物体将真实动态物体的真实激光雷达点云融合到虚拟静态场景中,不仅保证了虚拟静态场景中动态物体的真实性,还保证了动态物体的分布合理性。
下面对上述步骤S1032作进一步说明。
在上述步骤S1032的一些实施方式中,可以通过下列步骤11至步骤12,来获取仿真动态物体对应的待融合动态物体。
步骤11:获取真实动态物体在虚拟静态场景中的位置信息。
真实动态物体是预设真实动态场景中的动态物体,其位置信息是真实动态物体在这个真实动态场景中的位置信息。为了准确获取到与虚拟静态场景中仿真动态物体相似的真实动态物体,可以先获取真实动态物体在虚拟静态场景中的位置信息,再利用该位置信息进行获取。
在一些实施方式中,可以基于虚拟静态场景与真实动态场景之间空间坐标系的映射关系,获取真实动态物体在虚拟静态场景中的位置信息。虚拟静态场景与真实动态场景均为三维空间,空间坐标系为三维空间的坐标系,映射关系实际上就是这两个三维空间之间的坐标转换关系。在已知真实动态物体在真实动态场景的空间坐标之后,利用该映射关系将这个空间坐标转换到虚拟静态场景中,得到在虚拟静态场景中的空间坐标,即位置信息。
步骤12:根据位置信息,获取与仿真动态物体在虚拟静态场景中位置信息相似的真实动态物体,作为待融合动态物体。
位置信息包括物体的位置和/或姿态,位置可以是物体的边界框位置,根据边界框位置可以得到物体的尺寸。若物体的姿态相似,则可以将当前真实动态物体作为仿真动态物体对应的待融合动态物体;或者,若物体的尺寸和姿态都相似,则可以将当前真实动态物体作为仿真动态物体对应的待融合动态物体。
在一些实施方式中,可以获取仿真动态物体与真实动态物体在虚拟静态场景中位置信息之间的偏差,并获取偏差小于设定值的真实动态物体,作为仿真动态物体对应的待融合动态物体。本领域技术人员可以根据实际需求灵活地设定上述设定值的大小,本发明实施例对此不作具体限定。
基于上述步骤11至步骤12所述的方法,可以利用虚拟、真实动态物体在虚拟静态场景中的位置信息,便捷且准确地获取到与虚拟动态物体相似的真实动态物体作为待融合动态物体,有利于提高后续利用待融合动态物体进行融合的效率和准确性。
在上述步骤S103的一些实施方式中,在通过上述步骤S1034对待融合动态物体的真实激光雷达点云与待融合点云区域进行融合之后,还可以通过图3所示的下列步骤S1035至步骤S1036进行点云空洞填补。
步骤S1035:针对各融合了待融合动态物体的真实激光雷达点云之后的待融合点云区域,判断待融合点云区域是否存在点云空洞。
若存在,则表明待融合点云区域存在点云残缺,需要进行点云填补,因而转至步骤S1036;若不存在,则表明待融合点云不存在点云残缺,不需要进行点云填补,因而可以结束融合。
步骤S1036:对点云空洞进行点云填补,以消除点云空洞。
通过点云填补可以将点云空洞中缺失的点云补齐,从而消除了这个点云空洞。
基于上述步骤S1035至步骤S1036所述的方法,消除融合之后待融合点云区域存在的点云空洞,保证这个区域的点云准确性,从而有利于提高根据融合之后的虚拟激光雷达点云训练得到的感知模型的准确性。
下面对上述步骤S1036作进一步说明。
在上述步骤S1036的一些实施方式中,可以通过下列步骤21至步骤22,来对点云空洞进行点云填补。
步骤21:采用预设的生成对抗网络(Generative Adversarial Networks)和第一激光雷达点云,生成不存在点云空洞的待融合点云区域的第二激光雷达点云,其中第一激光雷达点云为存在点云空洞的待融合点云区域内的激光雷达点云。
预设的生成对抗网络是预先训练好的能够根据存在点云空洞的激光雷达点云,生成不存在点云空洞的激光雷达点云的网络。本发明实施例不对上述生成对抗网络的网络结构和训练方法作具体限定,只要其能够实现上述功能即可。
步骤22:根据第二激光雷达点云,对点云空洞进行点云填补。
在一些实施方式中,可以将待融合点云区域内的全部第一激光雷达点云删除,并将所有第二激光雷达点云都嵌入到待融合点云区域内。基于此,不需要考虑点云空洞的位置,快速地完成点云填补。
在一些实施方式中,也可以将待融合点云区域内点云空洞位置处的第一激光雷达点云删除,并将点云空洞位置处的第二激光雷达点云嵌入到点云空洞位置处。基于此,只要对小范围的区域(点云空洞位置处)进行精准填补,同样可以提高点云填补的效率。
基于上述步骤21至步骤22所述的方法,可以利用生成对抗网络得到准确不存在点云空洞的激光雷达点云,提高了点云填补的准确性。
需要指出的是,尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述,但是本领域技术人员可以理解,为了实现本发明的效果,不同的步骤之间并非必须按照这样的顺序执行,其可以同时(并行)执行或以其他顺序执行,这些调整之后的方案与本发明中描述的技术方案属于等同技术方案,因此也将落入本发明的保护范围之内。
本领域技术人员能够理解的是,本发明实现上述一实施例的方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括:能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读存储介质不包括电载波信号和电信信号。
进一步,本发明还提供了一种计算机设备。
参阅附图4,图4是根据本发明的一个计算机设备实施例的主要结构示意图。如图4所示,本发明实施例中的计算机设备主要包括存储装置和处理器,存储装置可以被配置成存储执行上述方法实施例的虚拟激光雷达点云的生成方法的程序,处理器可以被配置成用于执行存储装置中的程序,该程序包括但不限于执行上述方法实施例的虚拟激光雷达点云的生成方法的程序。为了便于说明,仅示出了与本发明实施例相关的部分,具体技术细节未揭示的,请参照本发明实施例方法部分。
在本发明实施例中计算机设备可以是包括各种电子设备形成的控制装置设备。在一些可能的实施方式中,计算机设备可以包括多个存储装置和多个处理器。而执行上述方法实施例的虚拟激光雷达点云的生成方法的程序可以被分割成多段子程序,每段子程序分别可以由处理器加载并运行以执行上述方法实施例的虚拟激光雷达点云的生成方法的不同步骤。具体地,每段子程序可以分别存储在不同的存储装置中,每个处理器可以被配置成用于执行一个或多个存储装置中的程序,以共同实现上述方法实施例的虚拟激光雷达点云的生成方法,即每个处理器分别执行上述方法实施例的虚拟激光雷达点云的生成方法的不同步骤,来共同实现上述方法实施例的虚拟激光雷达点云的生成方法。
上述多个处理器可以是部署于同一个设备上的处理器,例如上述计算机设备可以是由多个处理器组成的高性能设备,上述多个处理器可以是该高性能设备上配置的处理器。此外,上述多个处理器也可以是部署于不同设备上的处理器,例如上述计算机设备可以是服务器集群,上述多个处理器可以是服务器集群中不同服务器上的处理器。
进一步,本发明还提供了一种计算机可读存储介质。
在根据本发明的一个计算机可读存储介质的实施例中,计算机可读存储介质可以被配置成存储执行上述方法实施例的虚拟激光雷达点云的生成方法的程序,该程序可以由处理器加载并运行以实现上述虚拟激光雷达点云的生成方法。为了便于说明,仅示出了与本发明实施例相关的部分,具体技术细节未揭示的,请参照本发明实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备,可选的,本发明实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。
至此,已经结合附图所示的一个实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征作出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (9)
1.一种虚拟激光雷达点云的生成方法,其特征在于,所述方法包括:
基于渲染引擎并采用预设的虚拟激光雷达,在预设虚拟静态场景中生成所述虚拟静态场景的虚拟激光雷达点云;
采用预设的真实激光雷达,获取预设真实动态场景中真实动态物体的真实激光雷达点云;
对所述虚拟激光雷达点云与所述真实激光雷达点云进行融合,以获取最终的虚拟激光雷达点云;
对所述虚拟激光雷达点云与所述真实激光雷达点云进行融合的步骤具体包括:采用预设的动态物体仿真器,在所述虚拟静态场景中生成仿真动态物体;从所述真实动态场景的真实动态物体中获取与仿真动态物体对应的真实动态物体,作为仿真动态物体对应的待融合动态物体;将仿真动态物体在所述虚拟静态场景中所覆盖区域内的虚拟激光雷达点云删除,以形成仿真动态物体对应的待融合点云区域;对仿真动态物体对应的待融合动态物体的真实激光雷达点云与待融合点云区域进行融合。
2.根据权利要求1所述的方法,其特征在于,获取所述待融合动态物体包括:
获取所述真实动态物体在所述虚拟静态场景中的位置信息;
根据所述位置信息,获取与所述仿真动态物体在所述虚拟静态场景中位置信息相似的真实动态物体,作为所述待融合动态物体。
3.根据权利要求2所述的方法,其特征在于,
获取所述真实动态物体在所述虚拟静态场景中的位置信息的步骤具体包括:基于所述虚拟静态场景与所述真实动态场景之间空间坐标系的映射关系,获取真实动态物体在所述虚拟静态场景中的位置信息;
和/或,
获取与所述仿真动态物体在所述虚拟静态场景中位置信息相似的真实动态物体的步骤具体包括:获取所述仿真动态物体与真实动态物体在所述虚拟静态场景中位置信息之间的偏差,并获取所述偏差小于设定值的真实动态物体,作为所述仿真动态物体对应的待融合动态物体。
4.根据权利要求1所述的方法,其特征在于,在对仿真动态物体对应的待融合动态物体的真实激光雷达点云与待融合点云区域进行融合的步骤之后,所述方法还包括:
针对各融合了待融合动态物体的真实激光雷达点云之后的待融合点云区域,判断所述待融合点云区域是否存在点云空洞;
若存在,则对所述点云空洞进行点云填补,以消除所述点云空洞。
5.根据权利要求4所述的方法,其特征在于,对所述点云空洞进行点云填补的步骤具体包括:
采用预设的生成对抗网络和第一激光雷达点云,生成不存在点云空洞的待融合点云区域的第二激光雷达点云,其中所述第一激光雷达点云为存在点云空洞的待融合点云区域内的激光雷达点云;
根据所述第二激光雷达点云,对所述点云空洞进行点云填补。
6.根据权利要求5所述的方法,其特征在于,根据所述第二激光雷达点云,对所述点云空洞进行点云填补的步骤具体包括:
将待融合点云区域内的全部第一激光雷达点云删除,并将所有第二激光雷达点云都嵌入到所述待融合点云区域内。
7.根据权利要求5所述的方法,其特征在于,根据所述第二激光雷达点云,对所述点云空洞进行点云填补的步骤还包括:
将待融合点云区域内点云空洞位置处的第一激光雷达点云删除,并将所述点云空洞位置处的第二激光雷达点云嵌入到所述点云空洞位置处。
8.一种计算机设备,包括处理器和存储装置,所述存储装置适于存储多条程序代码,其特征在于,所述程序代码适于由所述处理器加载并运行以执行权利要求1至7中任一项所述的虚拟激光雷达点云的生成方法。
9.一种计算机可读存储介质,其中存储有多条程序代码,其特征在于,所述程序代码适于由处理器加载并运行以执行权利要求1至7中任一项所述的虚拟激光雷达点云的生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311007249.0A CN116719054B (zh) | 2023-08-11 | 2023-08-11 | 虚拟激光雷达点云的生成方法、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311007249.0A CN116719054B (zh) | 2023-08-11 | 2023-08-11 | 虚拟激光雷达点云的生成方法、计算机设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116719054A CN116719054A (zh) | 2023-09-08 |
CN116719054B true CN116719054B (zh) | 2023-11-17 |
Family
ID=87866517
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311007249.0A Active CN116719054B (zh) | 2023-08-11 | 2023-08-11 | 虚拟激光雷达点云的生成方法、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116719054B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105023287A (zh) * | 2015-07-08 | 2015-11-04 | 西安电子科技大学 | 一种用于动态三维场景的激光雷达成像与着色方法 |
CN112614234A (zh) * | 2020-12-28 | 2021-04-06 | 深圳市人工智能与机器人研究院 | 对混合现实三维场景进行编辑的方法及混合现实设备 |
CN112652045A (zh) * | 2020-12-30 | 2021-04-13 | 哈尔滨工业大学(威海) | 一种面向自动驾驶虚实融合测试的点云融合方法及其应用 |
CN112991511A (zh) * | 2020-10-13 | 2021-06-18 | 中国汽车技术研究中心有限公司 | 一种点云数据的展示方法 |
CN113311727A (zh) * | 2021-05-13 | 2021-08-27 | 际络科技(上海)有限公司 | 一种用于自动驾驶测试的仿真模拟系统 |
CN113433568A (zh) * | 2020-03-23 | 2021-09-24 | 杭州海康威视数字技术股份有限公司 | 一种激光雷达观测模拟方法及装置 |
WO2021189420A1 (zh) * | 2020-03-27 | 2021-09-30 | 华为技术有限公司 | 一种数据处理方法及装置 |
CN115292913A (zh) * | 2022-07-22 | 2022-11-04 | 上海交通大学 | 一种面向车路协同的路测感知仿真系统 |
CN115291515A (zh) * | 2022-08-01 | 2022-11-04 | 广州蔚驰科技有限公司 | 一种基于数字孪生的自动驾驶仿真测试系统及评价方法 |
CN116224954A (zh) * | 2022-12-23 | 2023-06-06 | 北京国家新能源汽车技术创新中心有限公司 | 一种融合真实道路场景的智能驾驶在环测试方、环境及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA3134819A1 (en) * | 2019-03-23 | 2020-10-01 | Uatc, Llc | Systems and methods for generating synthetic sensor data via machine learning |
-
2023
- 2023-08-11 CN CN202311007249.0A patent/CN116719054B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105023287A (zh) * | 2015-07-08 | 2015-11-04 | 西安电子科技大学 | 一种用于动态三维场景的激光雷达成像与着色方法 |
CN113433568A (zh) * | 2020-03-23 | 2021-09-24 | 杭州海康威视数字技术股份有限公司 | 一种激光雷达观测模拟方法及装置 |
WO2021189420A1 (zh) * | 2020-03-27 | 2021-09-30 | 华为技术有限公司 | 一种数据处理方法及装置 |
CN112991511A (zh) * | 2020-10-13 | 2021-06-18 | 中国汽车技术研究中心有限公司 | 一种点云数据的展示方法 |
CN112614234A (zh) * | 2020-12-28 | 2021-04-06 | 深圳市人工智能与机器人研究院 | 对混合现实三维场景进行编辑的方法及混合现实设备 |
CN112652045A (zh) * | 2020-12-30 | 2021-04-13 | 哈尔滨工业大学(威海) | 一种面向自动驾驶虚实融合测试的点云融合方法及其应用 |
CN113311727A (zh) * | 2021-05-13 | 2021-08-27 | 际络科技(上海)有限公司 | 一种用于自动驾驶测试的仿真模拟系统 |
CN115292913A (zh) * | 2022-07-22 | 2022-11-04 | 上海交通大学 | 一种面向车路协同的路测感知仿真系统 |
CN115291515A (zh) * | 2022-08-01 | 2022-11-04 | 广州蔚驰科技有限公司 | 一种基于数字孪生的自动驾驶仿真测试系统及评价方法 |
CN116224954A (zh) * | 2022-12-23 | 2023-06-06 | 北京国家新能源汽车技术创新中心有限公司 | 一种融合真实道路场景的智能驾驶在环测试方、环境及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN116719054A (zh) | 2023-09-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109271893B (zh) | 一种仿真点云数据的生成方法、装置、设备及存储介质 | |
CN107966693B (zh) | 一种基于深度渲染的车载激光雷达仿真方法 | |
US11982747B2 (en) | Systems and methods for generating synthetic sensor data | |
EP3617655B1 (en) | Method and device for generating three-dimensional scene map | |
KR102139172B1 (ko) | 가상환경에서의 자율주행차량 시뮬레이션 방법 | |
CN112199991B (zh) | 一种应用于车路协同路侧感知的仿真点云滤波方法和系统 | |
CN112652045A (zh) | 一种面向自动驾驶虚实融合测试的点云融合方法及其应用 | |
CN111177887A (zh) | 一种基于真实驾驶场景构造仿真轨迹数据的方法和装置 | |
WO2022193604A1 (en) | Devices, systems, methods, and media for point cloud data augmentation using model injection | |
US20230368407A1 (en) | Drivable area detection method, computer device, storage medium, and vehicle | |
CN114966651A (zh) | 可行驶区域检测方法、计算机设备、存储介质及车辆 | |
CN117274353B (zh) | 合成图像数据生成方法、控制装置及可读存储介质 | |
CN117036571B (zh) | 图像数据生成、视觉算法模型训练、评测方法及装置 | |
CN117671013A (zh) | 点云定位方法、智能设备及计算机可读存储介质 | |
CN116719054B (zh) | 虚拟激光雷达点云的生成方法、计算机设备及存储介质 | |
CN111881121B (zh) | 一种自动驾驶数据填充方法和装置 | |
CN110363847B (zh) | 一种基于点云数据的地图模型构建方法和装置 | |
CN116052100A (zh) | 图像感知方法、计算机设备、计算机可读存储介质及车辆 | |
CN116246031A (zh) | 一种仿真三维场景构建方法、系统、电子设备及存储介质 | |
Koduri et al. | AUREATE: An Augmented Reality Test Environment for Realistic Simulations | |
Zhao et al. | Point Cloud Automatic Annotation Framework for Autonomous Driving | |
CN117132507B (zh) | 图像增强方法、图像处理方法、计算机设备及存储介质 | |
KR102665806B1 (ko) | 합성 레이더 데이터 생성 방법 및 시스템 | |
CN116863087B (zh) | 基于数字孪生的航油信息显示方法、装置和可读存储介质 | |
US11847869B1 (en) | Multimodal perception simulation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |