CN117290992A - 用于产生虚拟车辆环境的计算机实现的方法和系统 - Google Patents

用于产生虚拟车辆环境的计算机实现的方法和系统 Download PDF

Info

Publication number
CN117290992A
CN117290992A CN202310368551.2A CN202310368551A CN117290992A CN 117290992 A CN117290992 A CN 117290992A CN 202310368551 A CN202310368551 A CN 202310368551A CN 117290992 A CN117290992 A CN 117290992A
Authority
CN
China
Prior art keywords
point cloud
computer
lidar point
class
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310368551.2A
Other languages
English (en)
Inventor
L·博恩曼
F·维岑斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Desbeth Co ltd
Original Assignee
Desbeth Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Desbeth Co ltd filed Critical Desbeth Co ltd
Publication of CN117290992A publication Critical patent/CN117290992A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205—Diagnosing or detecting failures; Failure detection models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/15—Vehicle, aircraft or watercraft design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/768—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using context analysis, e.g. recognition aided by known co-occurring patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/20—Static objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60—Traffic rules, e.g. speed limits or right of way
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/10—Numerical modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2008—Assembling, disassembling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Computational Linguistics (AREA)
  • Architecture (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及用于产生用于测试机动车的高度自动化的行驶功能的虚拟车辆环境的计算机实现的方法和系统。所述方法包括：经逐像素分类的相机图像数据(D1)到预检测的激光雷达点云数据(D2)上的映射(S3)以及用于确定被一个类(K)所包括的至少一个真实对象(10)的对经分类的激光雷达点云数据(D2)的实例分割(S4)，其中，将相同的类(K)分配给激光雷达点云的相应的点，所述点通过相机图像数据(D1)的经分类的像素叠加、特别是具有相同的图像坐标。本发明此外涉及一种计算机程序和一种计算机可读的数据载体。

Description

用于产生虚拟车辆环境的计算机实现的方法和系统
技术领域
本发明涉及一种用于产生用于测试机动车的高度自动化的行驶功能的虚拟车辆环境的计算机实现的方法。
本发明此外涉及一种用于产生用于测试机动车的高度自动化的行驶功能的虚拟车辆环境的系统。
背景技术
用于测试机动车的高度自动化的行驶功能的图形用户界面通常具有多个组件，所述组件能够实现参数集的管理、虚拟车辆环境的创建以及实验管理。
在此通过手动地配置并导入存储在对象库中的对象进行虚拟车辆环境的场景构建、即场景的静态和动态的对象的定义。
CN 000205121971 U公开一种用于测试自主的车辆的方法。按照所述方法在模拟环境中产生自主的车辆。按照虚拟车辆的提前记录的状态信息，在模拟环境中构建交通环境，以便使自主的车辆能够在所述交通环境中行驶。
然而上述方法共同的是，存在用于产生用于测试机动车的高度自动化的行驶功能的虚拟车辆环境的高的成本，这导致高的人力成本和费用方面的成本。
因此存在如下需要，即改善用于产生用于测试机动车的高度自动化的行驶功能的虚拟车辆环境的现有方法和系统，使得能够实现虚拟车辆环境的简化的、更高效的且费用更低的创建。
发明内容
因此本发明的任务是，给出计算机实现的方法、系统、计算机程序和计算机可读的数据载体，它们能够实现用于测试机动车的高度自动化的行驶功能的虚拟车辆环境的简化的、更高效的且费用更低的产生。
本发明的公开
所述任务按照本发明通过一种用于产生用于测试机动车的高度自动化的行驶功能的虚拟车辆环境的计算机实现的方法解决。
所述方法包括：提供真实车辆环境的预检测的相机图像数据和激光雷达点云数据，以及在使用机器学习算法的情况下对所述预检测的相机图像数据逐像素地分类，所述机器学习算法针对每个像素输出所属的类和涉及所述分类的置信度值。
此外所述方法包括将所述经逐像素分类的相机图像数据映射到所述预检测的激光雷达点云数据上，其中，将相同的类分配给激光雷达点云的相应的点，所述点通过相机图像数据的经分类的像素叠加、特别是具有相同的图像坐标。
经逐像素分类的相机图像数据到预检测的激光雷达点云数据上的映射以有利的方式能够实现如下，即，可以通过其他信息、例如类和/或色值来丰富点云的三维表示。
所述方法此外包括：对所述经分类的激光雷达点云数据进行实例分割，以用于确定被一个类所包括的至少一个真实对象；以及选择并调用与所述至少一个真实对象对应的存储的、合成生成的第一对象或程序性地生成与所述至少一个真实对象对应的、合成生成的第二对象。
此外所述方法包括：将所述合成生成的第一对象或所述合成生成的第二对象集成到预定的虚拟车辆环境中。
真实车辆环境与在道路交通中、特别是在道路交通的多个交通状况中的机动车的车辆环境相对应。所述真实对象可以是静态的对象、例如交通标志、建筑物、种植物和/或停放的机动车。此外所述真实对象可以是动态的对象、例如行驶的机动车。
所述合成生成的对象分成不同的对象类别并且代表在真实车辆环境的相机图像数据和/或激光雷达点云中包含的真实对象。
虚拟车辆环境是基于传感器检测的真实车辆环境的计算机生成的表示。
程序性的生成表示用于在执行计算机程序期间实时产生3D对象的方法。3D对象在这里不是随机产生，而是所述生成遵循确定性的算法，以便在相同的初始条件时总是可以再次产生相同的内容。
本发明此外涉及一种用于产生用于测试机动车的高度自动化的行驶功能的虚拟车辆环境的系统。
所述系统包括用于提供真实车辆环境的预检测的相机图像数据和激光雷达点云数据的数据存储器以及用于在使用机器学习算法的情况下对所述预检测的相机图像数据逐像素地分类的计算设备，所述机器学习算法设计用于，针对每个像素输出所属的类和涉及所述分类的置信度值。
所述置信度值在这里用于，在进一步的方法中从利用中排除按照阈值分类为不可靠的像素或者其映射、所属的激光雷达点。
此外在用于激光雷达点云的实例分割的所述方法中利用所述置信度值，以便确保探测到的实例的类分配的正确性。
此外所述计算设备配置为，实施所述经逐像素分类的相机图像数据到所述预检测的激光雷达点云数据上的映射，其中，所述计算设备配置为，将相同的类分配给激光雷达点云的相应的点，所述点通过相机图像数据的经分类的像素叠加、特别是具有相同的图像坐标。在此通过坐标变换进行相机图像数据到预检测的激光雷达点云数据上的映射。
此外所述计算设备配置为，实施用于确定被一个类所包括的至少一个真实对象的对所述经分类的激光雷达点云数据的实例分割以及用于选择并调用存储的、合成生成的第一对象的手段或与所述至少一个真实对象对应的、合成生成的第二对象的程序性的生成。
此外所述计算设备配置为，实施所述合成生成的第一或第二对象到预定的虚拟车辆环境中的集成。
本发明此外涉及一种包括程序代码的计算机程序，以便当在计算机上执行所述计算机程序时，实施按照本发明的方法。
本发明此外涉及一种包括计算机程序的程序代码的计算机可读的数据载体，以便当在计算机上执行所述计算机程序时，实施按照本发明的方法。
机器学习算法基于使用统计学方法以便这样训练数据处理设备，使得该数据处理设备可以执行确定的任务，而无需为此在一开始明确地对所述数据处理设备编程。在此，机器学习的目的在于，构造可以从数据中学习并且进行预测的算法。这些算法创建数学模型，利用所述数学模型例如可以对数据分类。
例如，当物理模型、也就是说基于物理的给定条件和/或相关性的模型例如由于提高的资源消耗而达到其极限时，则使用这样的机器学习算法。
涉及所述分类的置信度值在此针对每个像素输出属于特定类的各概率，其中，通常选择具有最高的概率的类。此外例如可以定义必须至少达到的阈值，从而存在有效的分类结果。
例如由2020年7月的arXiv:2007.05490v1 9“Camera-Lidar Integration:Probabilistic sensorfusion for semantic mapping”已知由激光雷达传感器检测的3D点云向2D图像的转换。
所述实例分割说明各个类向单独的各实例的配属。如果例如在一个图像中有多个车辆，则每个个别的车辆被归类为一个实例，而语义分割则将所有车辆归类为一个实例。
因此在用于确定分别被一个类所包括的真实对象的对经分类的激光雷达点云数据的实例分割中，可以识别一个类的各对象、例如车辆类的个别的车辆或者说将其分别分割到一个实例。每个车辆因此形成车辆类的一个实例。
本发明的构思在于，根据机动车的测量行驶的真实的视频图像数据自动构建合成的3D场景。
在语义分割或者说逐像素分类的范围中，给相机图像数据的每个点分配对应的类。随后通过经分类的相机图像数据的叠加准确表达检测的激光雷达点云数据。这通过如下实现，其方式为将相机图像数据的语义分割或者说逐像素的分类映射到激光雷达点云数据上。
然后基于改善的、减少的且因此更有说服力的点云数据来实施实例分割。因此可以对由所述类包括的一个对象或多个对象分割或者说区分。
点云的实例分割因此相对于仅使用相机图像数据提供如下优点，即，可以一起考虑空间分量以用于实例区分。
然后可以基于类和实例在数据库中寻找适当的资源或者说合成生成的对象。如果应存在对应的资源或具有一定程度的相似性的资源，则选择该资源。
如果不存在对应的资源，则可以在给出对应的类和实例的情况下程序性地生成该资源。
因此通过在使用从真实车辆环境获得的数据的情况下自动化虚拟车辆环境的场景构建，可以以有利的方式结合显著的效率增益及与此伴随的费用降低来实现虚拟车辆环境的场景构建的明显的简化。
在此通过监督学习算法或通过无监督学习算法、特别是人工神经网络进行预检测的相机图像数据的逐像素的分类。因此可以以有利的方式使用如下算法，所述算法对于按照本发明的任务在训练成本或计算资源的消耗方面具有优化的特性。
本发明的其他实施形式是其他从属权利要求和参考附图的后续说明的技术方案。
按照一种优选的进一步扩展方案，所述方法此外包括，对于预定的第一数量的类，实施与所述至少一个真实对象对应的存储的、合成生成的第一对象的选择和调用，并且对于预定的第二数量的类，特别是实施与所述至少一个真实对象对应的、合成生成的第二对象的程序性的生成。
建筑物基于其易变性总是程序性地生成，而路标例如基于其有限的数量而存储在数据存储器中并且能对应地选择。
按照另一种优选的进一步扩展方案，所述方法包括：基于用于确定被一个类所包括的至少一个真实对象的对所述经分类的激光雷达点云数据的实例分割，实施对说明所述至少一个真实对象的特征、特别是所述对象的大小和/或半径的提取。因此可以以有利的方式由后续的过程使用所提取的特征的信息。
按照另一种优选的进一步扩展方案，所述方法包括：基于所提取的特征，实施与所述至少一个真实对象对应的、合成生成的第二对象的程序性的生成。通过所述合成的对象的程序性的生成，因此可以生成与真实对象对应的合成的对象。
按照另一种优选的进一步扩展方案，所述方法包括：基于所提取的特征，实施一个类的所述所分割的至少一个真实对象与多个存储的合成生成的对象的比较。因此可以以有利的方式实施对分配给真实对象的合成生成的对象的高效的识别。
因此通过比较可以以有利的方式能够实现如下，即，进行对应的真实对象和合成生成的对象的自动的分配，从而这样所识别的合成生成的对象于是可集成到虚拟车辆环境中。
按照另一种优选的进一步扩展方案，所述方法包括：基于一个类的所述所分割的至少一个真实对象与多个存储的合成生成的对象的所述比较，选择并调用存储的合成生成的第一对象，所述第一对象具有预定的相似度。
因此可以以有利的方式能够实现，能调用与所选择的真实对象具有高的相似度的合成的对象。
按照另一种优选的进一步扩展方案，所述方法包括：所述通过所述一种机器学习算法确定的类来代表建筑物、车辆、路标、交通灯、行车道、行车道标记、种植物、行人和/或其他对象。因此可以以有利的方式对按常规包含在场景中的各对象可靠地分类。
按照另一种优选的进一步扩展方案，所述方法包括：将激光雷达点云的相应的点从激光雷达点云中移除，所述点未通过相机图像数据的经分类的像素叠加、特别是具有相同的图像坐标。因此可以以有利的方式改善所述场景的探测到的各对象的可靠性。
通过合并来自不同域的信息、例如来自相机图像数据的类、色值等以及来自激光雷达点云数据的空间信息来得出相机图像数据和激光雷达点云数据的组合的优点。
正是在立面和植被的情况下，仅借助相机数据进行实例分配并非易事。例如总是存在如下危险，即，在相机图像中部分叠加的两个对象、例如树在相机图像中被识别为单独的实例，而在三维空间中的分割能够实现基于欧几里得距离的区分。
按照另一种优选的进一步扩展方案，所述方法包括：将激光雷达点云的相应的点移除以用于提供减少的激光雷达点云数据，所述点通过相机图像数据的经分类的像素叠加，所述像素具有小于预定的第一阈值的置信度值。因此能够实现，后续处理较不容易受在分类阶段中的错误影响。由此探测到的各对象的可靠性进一步提高。
按照另一种优选的进一步扩展方案，所述方法包括：在使用所述减少的激光雷达点云数据的情况下实施用于确定所述被一个类所包括的至少一个真实对象的对经分类的激光雷达点云数据的实例分割。因此，在使用更可靠的数据的情况下实施实例分割，由此可以再次改善实例分割的结果。
按照另一种优选的进一步扩展方案，所述方法包括：所述预检测的相机图像数据和激光雷达点云数据代表在相同的时间检测的同一个真实车辆环境。因此基于相机传感器和激光雷达传感器相对于彼此的校准或者说对准可以省去对数据的由软件支持的同步。
按照另一种优选的进一步扩展方案，所述方法包括：通过另一种机器学习算法提取说明所述至少一个真实对象的特征。因此可以以有利的方式实施高效的特征提取。
所述方法的这里说明的特征同样可应用于其他虚拟环境、例如在不同的环境中测试其他车辆类型。
附图说明
为了更好地理解本发明及其优点，现在结合所属的附图参阅后续的说明。
以下借助在附图的示意图中给出的示例性实施形式进一步解释本发明。
图中：
图1示出用于产生用于测试机动车的高度自动化的行驶功能的虚拟车辆环境的计算机实现的方法的流程图；以及
图2示出按照本发明的优选的实施形式的用于在使用真实车辆环境的预检测的视频图像数据、雷达数据和/或激光雷达点云的情况下产生用于测试机动车的高度自动化的行驶功能的虚拟车辆环境的系统的示意图。
具体实施方式
除非另有说明，否则相同的附图标记表示附图中的相同的元素。
图1示出用于产生用于测试机动车的高度自动化的行驶功能的虚拟车辆环境的方法的流程图。
所述方法包括：提供S1真实车辆环境的预检测的相机图像数据D1和激光雷达点云数据D2；以及在使用机器学习算法A的情况下对预检测的相机图像数据D1逐像素地分类S2，所述机器学习算法针对每个像素输出所属的类K和涉及所述分类的置信度值V。
所述方法此外具有：将所述经逐像素分类的相机图像数据D1映射S3到所述预检测的激光雷达点云数据D2上，其中，将相同的类K分配给激光雷达点云的相应的点，所述点通过相机图像数据D1的经分类的像素叠加、特别是具有相同的图像坐标。
此外所述方法包括：对所述经分类的激光雷达点云数据D2进行实例分割S4，以用于确定由一个类K包括的至少一个真实对象10；以及选择并调用S5a与所述至少一个真实对象10对应的存储的、合成生成的第一对象12或程序性地生成S5b与所述至少一个真实对象10对应的、合成生成的第二对象14。
此外所述方法包括：将所述合成生成的第一对象12或所述合成生成的第二对象14集成S6到预定的虚拟车辆环境中。
对于预定的第一数量的类K，实施与所述至少一个真实对象10对应的存储的、合成生成的第一对象12的选择和调用S5a。此外对于预定的第二数量的类K，特别是实施与所述至少一个真实对象10对应的、合成生成的第二对象14的程序性的生成S4b。
基于用于确定由一个类K包括的至少一个真实对象10的对所述经分类的激光雷达点云数据D2的实例分割S4，进一步实施对说明所述至少一个真实对象10的特征、特别是所述对象的大小和/或半径的提取。此外基于所提取的特征，实施与所述至少一个真实对象10对应的、合成生成的第二对象14的程序性的生成S5b。
基于所提取的特征，此外实施一个类K的所述所分割的至少一个真实对象10与多个存储的合成生成的对象的比较。
此外，基于一个类K的所述所分割的至少一个真实对象10与多个存储的合成生成的对象的所述比较，选择并调用具有预定的相似度的存储的合成生成的第一对象。
所述通过所述机器学习算法A确定的类K在此代表建筑物、车辆、路标、交通灯、行车道、行车道标记、种植物、行人和/或其他对象。将激光雷达点云的相应的点从激光雷达点云中移除，所述点未通过相机图像数据D1的经分类的像素叠加、特别是具有相同的图像坐标。
此外，将激光雷达点云的相应的点移除以用于提供减少的激光雷达点云数据D2，所述点通过相机图像数据D1的经分类的像素叠加，所述像素具有小于预定的第一阈值的置信度值V。
此外，在使用所述减少的激光雷达点云数据D2的情况下实施用于确定所述由一个类K包括的至少一个真实对象10的对经分类的激光雷达点云数据D2的实例分割S4。所述预检测的相机图像数据D1和激光雷达点云数据D2在此代表在相同的时间检测的同一个真实车辆环境。
通过另一种机器学习算法提取说明所述至少一个真实对象10的特征。
图2示出按照本发明的优选的实施形式的用于产生用于测试机动车的高度自动化的行驶功能的虚拟车辆环境的系统1的示意图。
所述系统1包括：用于提供真实车辆环境的预检测的相机图像数据D1和激光雷达点云数据D2的数据存储器16；以及计算设备18，所述计算设备配置为，在使用机器学习算法A的情况下实施对所述预检测的相机图像数据D1的逐像素的分类，所述机器学习算法设计用于，针对每个像素输出所属的类K和涉及所述分类的置信度值V。
计算设备18此外配置为，实施所述经逐像素分类的相机图像数据D1到所述预检测的激光雷达点云数据D2上的映射，其中，计算设备18配置为，将相同的类K分配给激光雷达点云的相应的点，所述点通过相机图像数据D1的经分类的像素叠加、特别是具有相同的图像坐标。
此外计算设备18配置为，实施用于确定被一个类K所包括的至少一个真实对象10的对所述经分类的激光雷达点云数据D2的实例分割。计算设备18此外配置为，实施存储的合成生成的第一对象12的选择和调用或与所述至少一个真实对象10对应的合成生成的第二对象14的程序性的生成。
此外计算设备18配置为，实施所述合成生成的第一或第二对象14到预定的虚拟车辆环境中的集成。
虽然在此已图示并描述特定的实施形式，但是对于本领域技术人员不言而喻的是，存在多种备选和/或等同的实现方案。应注意的是：一个或多个示例性实施形式仅仅是示例且不用于以任意方式限制保护范围、可应用性或配置。
更确切地说，前述总结和详细说明给本领域内技术人员提供方便的引导用以实现至少一个示例性的实施形式，其中，不言而喻的是，可以进行在元件的功能范围和配置方面的不同改变，而不偏离所附权利要求及其合法的等效方案的保护范围。
一般而言，本申请旨在覆盖在此示出的实施形式的修改或适配或者变型。例如可以改变方法步骤的顺序。此外可以至少部分地顺序或并行地实施所述方法。

Claims (15)

1.用于产生用于测试机动车的高度自动化的行驶功能的虚拟车辆环境的计算机实现的方法，所述方法包括以下步骤：
提供(S1)真实车辆环境的预检测的相机图像数据(D1)和激光雷达点云数据(D2)；
在使用机器学习算法(A)的情况下对所述预检测的相机图像数据(D1)逐像素地分类(S2)，所述机器学习算法针对每个像素输出所属的类(K)和涉及所述分类的置信度值(V)；
将所述经逐像素分类的相机图像数据(D1)映射(S3)到所述预检测的激光雷达点云数据(D2)上，其中，将相同的类(K)分配给激光雷达点云的相应的点，所述点通过相机图像数据(D1)的经分类的像素叠加、特别是具有相同的图像坐标；
对所述经分类的激光雷达点云数据(D2)进行实例分割(S4)，以用于确定被一个类(K)所包括的至少一个真实对象(10)；
选择并调用(S5a)与所述至少一个真实对象(10)对应的存储的、合成生成的第一对象(12)或程序性地生成(S5b)与所述至少一个真实对象(10)对应的、合成生成的第二对象(14)；并且
将所述合成生成的第一对象(12)或所述合成生成的第二对象(14)集成(S6)到预定的虚拟车辆环境中。
2.按照权利要求1所述的计算机实现的方法，其中，对于预定的第一数量的类(K)，实施与所述至少一个真实对象(10)对应的存储的、合成生成的第一对象(12)的选择和调用(S5a)，并且对于预定的第二数量的类(K)，特别是实施与所述至少一个真实对象(10)对应的、合成生成的第二对象(14)的程序性的生成(S5b)。
3.按照权利要求1或2所述的计算机实现的方法，其中，基于用于确定被一个类(K)所包括的至少一个真实对象(10)的对所述经分类的激光雷达点云数据(D2)的实例分割(S4)，实施对说明所述至少一个真实对象(10)的特征、特别是所述对象的大小和/或半径的提取。
4.按照权利要求3所述的计算机实现的方法，其中，基于所提取的特征，实施与所述至少一个真实对象(10)对应的、合成生成的第二对象(14)的程序性的生成(S5b)。
5.按照权利要求3所述的计算机实现的方法，其中，基于所提取的特征，实施一个类(K)的所分割的至少一个真实对象(10)与多个存储的合成生成的对象(14)的比较。
6.按照权利要求5所述的计算机实现的方法，其中，基于一个类(K)的所分割的至少一个真实对象(10)与多个存储的合成生成的对象(14)的所述比较，选择并调用具有预定的相似度的存储的合成生成的第一对象(14)。
7.按照上述权利要求之一所述的计算机实现的方法，其中，所述通过所述机器学习算法(A)确定的类(K)来代表建筑物、车辆、路标、交通灯、行车道、行车道标记、种植物、行人和/或其他对象。
8.按照上述权利要求之一所述的计算机实现的方法，其中，将激光雷达点云的相应的点从激光雷达点云中移除，所述点未通过相机图像数据(D1)的经分类的像素叠加、特别是具有相同的图像坐标。
9.按照上述权利要求之一所述的计算机实现的方法，其中，将激光雷达点云的相应的点移除以用于提供减少的激光雷达点云数据(D2)，所述点通过相机图像数据(D1)的经分类的像素叠加，所述像素具有小于预定的第一阈值的置信度值(V)。
10.按照权利要求9所述的计算机实现的方法，其中，在使用所述减少的激光雷达点云数据(D2)的情况下实施用于确定所述被一个类(K)所包括的至少一个真实对象(10)的对经分类的激光雷达点云数据(D2)的实例分割(S4)。
11.按照上述权利要求之一所述的计算机实现的方法，其中，所述预检测的相机图像数据(D1)和激光雷达点云数据(D2)代表在相同的时间检测的同一个真实车辆环境。
12.按照权利要求3所述的计算机实现的方法，其中，通过另一种机器学习算法提取说明所述至少一个真实对象(10)的特征。
13.用于在使用真实车辆环境的预检测的视频图像数据、雷达数据和/或激光雷达点云的情况下产生用于测试机动车的高度自动化的行驶功能的虚拟车辆环境的系统(1)，所述系统包括：
数据存储器(16)，用于提供真实车辆环境的预检测的相机图像数据(D1)和激光雷达点云数据(D2)；
计算设备(18)，用于在使用机器学习算法(A)的情况下对所述预检测的相机图像数据(D1)逐像素地分类，所述机器学习算法设计用于，针对每个像素输出所属的类(K)和涉及所述分类的置信度值(V)，
其中，所述计算设备(18)配置为，实施所述经逐像素分类的相机图像数据(D1)到所述预检测的激光雷达点云数据(D2)上的映射以及将相同的类(K)分配给激光雷达点云的相应的点，所述点通过相机图像数据(D1)的经分类的像素叠加、特别是具有相同的图像坐标，
其中，所述计算设备(18)配置为，实施用于确定被一个类(K)所包括的至少一个真实对象(10)的对所述经分类的激光雷达点云数据(D2)的实例分割，
其中，计算设备(18)配置为，实施存储的合成生成的第一对象(12)的选择和调用或与所述至少一个真实对象(10)对应的、合成生成的第二对象(14)的程序性的生成，并且
其中，计算设备(18)配置为，实施所述合成生成的第一或第二对象(14)到预定的虚拟车辆环境中的集成。
14.计算机程序，包括程序代码，以便当在计算机上执行所述计算机程序时，实施按照权利要求1至12之一所述的方法。
15.计算机可读的数据载体，包括计算机程序的程序代码，以便当在计算机上执行所述计算机程序时，实施按照权利要求1至12之一所述的方法。
CN202310368551.2A 2022-06-23 2023-04-07 用于产生虚拟车辆环境的计算机实现的方法和系统 Pending CN117290992A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP22180630.0A EP4296970A1 (de) 2022-06-23 2022-06-23 Computerimplementiertes verfahren und system zum erzeugen einer virtuellen fahrzeugumgebung
EP22180630.0 2022-06-23

Publications (1)

Publication Number Publication Date
CN117290992A true CN117290992A (zh) 2023-12-26

Family

ID=82494089

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310368551.2A Pending CN117290992A (zh) 2022-06-23 2023-04-07 用于产生虚拟车辆环境的计算机实现的方法和系统

Country Status (3)

Country Link
US (1) US20230415755A1 (zh)
EP (1) EP4296970A1 (zh)
CN (1) CN117290992A (zh)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN205121971U (zh) 2015-11-09 2016-03-30 李波 一种汽车教学用模拟驾驶平台
CN116529784A (zh) * 2020-11-05 2023-08-01 德斯拜思有限公司 用于增加激光雷达数据的方法和系统

Also Published As

Publication number Publication date
US20230415755A1 (en) 2023-12-28
EP4296970A1 (de) 2023-12-27

Similar Documents

Publication Publication Date Title
US10970543B2 (en) Distributed and self-validating computer vision for dense object detection in digital images
US11403851B2 (en) Systems and methods for utilizing machine learning and other models to reconstruct a vehicle accident scene from video
US9530218B2 (en) Method for classification and segmentation and forming 3D models from images
US20150154328A1 (en) Method and apparatus for segmenting an occupancy grid for a surroundings model of a driver assistance system for a vehicle background of the invention
CN110869559A (zh) 用于自动驾驶车辆中的集成的全局式与分布式学习的方法和系统
CN106709475B (zh) 障碍物识别方法及装置、计算机设备及可读存储介质
US11615558B2 (en) Computer-implemented method and system for generating a virtual vehicle environment
CN111144304A (zh) 车辆目标检测模型的生成方法、车辆目标检测方法及装置
CN111539402B (zh) 基于深度学习的车道线检测方法、装置、终端及存储介质
CN117015813A (zh) 对用于训练的点云数据集进行自适应增强的设备、系统、方法和媒体
US20220266854A1 (en) Method for Operating a Driver Assistance System of a Vehicle and Driver Assistance System for a Vehicle
WO2021146906A1 (zh) 测试场景仿真方法、装置、计算机设备和存储介质
Guerin et al. Evaluation of runtime monitoring for UAV emergency landing
CN115830399A (zh) 分类模型训练方法、装置、设备、存储介质和程序产品
CN114842434A (zh) 计算机视觉模型的验证
CN114519819A (zh) 一种基于全局上下文感知的遥感图像目标检测方法
CN117290992A (zh) 用于产生虚拟车辆环境的计算机实现的方法和系统
CN115393379A (zh) 一种数据标注方法及相关产品
CN114154510A (zh) 自动驾驶车辆的控制方法、装置、电子设备及存储介质
CN113808142A (zh) 一种地面标识的识别方法、装置、电子设备
CN113470048A (zh) 场景分割方法、装置、设备及计算机可读存储介质
CN111338336A (zh) 一种自动驾驶方法及装置
CN113792733B (zh) 车辆部件检测方法、系统、电子设备及存储介质
Jarofka et al. Toolchain Development for Automated Scene Reconstruction using Artificial Neural Network Object Detection and Photogrammetry for the Application in Driving Simulators.
CN117789149A (zh) 车道线检测方法、终端及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication