CN113344210A - 计算机执行的方法和用于生成虚拟车辆环境的系统 - Google Patents

计算机执行的方法和用于生成虚拟车辆环境的系统 Download PDF

Info

Publication number
CN113344210A
CN113344210A CN202110189814.4A CN202110189814A CN113344210A CN 113344210 A CN113344210 A CN 113344210A CN 202110189814 A CN202110189814 A CN 202110189814A CN 113344210 A CN113344210 A CN 113344210A
Authority
CN
China
Prior art keywords
feature vector
eigenvector
objects
real
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110189814.4A
Other languages
English (en)
Inventor
S·黑宁
T·普施尔
M·图劳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dspace GmbH
Dspace Digital Signal Processing and Control Engineering GmbH
Original Assignee
Dspace Digital Signal Processing and Control Engineering GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dspace Digital Signal Processing and Control Engineering GmbH filed Critical Dspace Digital Signal Processing and Control Engineering GmbH
Publication of CN113344210A publication Critical patent/CN113344210A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205—Diagnosing or detecting failures; Failure detection models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种计算机执行的方法，所述计算机执行的方法用于在使用真实车辆环境(U1)的在先检测到的视频图像数据(10a)、雷达数据和/或激光雷达点云的情况下生成虚拟车辆环境(U2)来测试机动车的高度自动化的行驶功能(1)。此外，本发明还涉及一种用于生成虚拟车辆环境(U2)来测试机动车的高度自动化的行驶功能的系统(2)。此外，本发明还涉及一种计算机程序和计算机可读数据载体。

Description

计算机执行的方法和用于生成虚拟车辆环境的系统
技术领域
本发明涉及一种用于在使用真实车辆环境的在先检测到的视频图像数据、雷达数据和/或激光雷达点云的情况下生成虚拟车辆环境来测试机动车的高度自动化行驶功能的计算机执行的方法。
此外，本发明涉及一种用于在使用真实车辆环境的在先检测到的视频图像数据、雷达数据和/或激光雷达点云的情况下生成虚拟车辆环境来测试机动车的高度自动化行驶功能的系统。
此外，本发明涉及一种计算机程序和计算机可读数据载体。
背景技术
用于测试机动车的高度自动化的行驶功能的图形用户界面通常具有多个元件，所述多个元件能实现管理参数组、建立虚拟车辆环境以及试验管理。
虚拟车辆环境的场景创建，即场景的静态对象和动态对象的定义在此通过手动配置和导入存储在对象库中的对象进行。
CN000205121971U公开了一种用于测试自动驾驶车辆的方法。根据该方法，自动驾驶车辆被生成在模拟环境中。根据虚拟车辆的在先记录的状态信息，在模拟环境中创建交通环境，以使自动驾驶车辆能够在该交通环境中行驶。
然而，上述方法的共同之处在于，存在用于生成虚拟车辆环境以测试机动车的高度自动化的行驶功能的高耗费，这导致人员和成本方面的高费用。
因此，存在如下需求，即，改进现有的用于生成虚拟车辆环境来测试机动车的高度自动化的行驶功能的方法和系统，使得能简单地、更有效且成本更有利地创建虚拟车辆环境。
发明内容
因此，本发明的任务在于给出一种计算机执行的方法、系统、计算机程序和计算机可读数据载体，所述计算机执行的方法、系统、计算机程序和计算机可读数据载体能实现简单地、更有效且成本更有利地创建虚拟车辆环境。
按照本发明，所述任务通过一种按照权利要求1所述的计算机执行的方法、按照权利要求13所述的系统、按照权利要求14所述的计算机程序和按照权利要求15所述的计算机可读数据载体得以解决。所述计算机执行的方法用于在使用真实车辆环境的在先检测到的视频图像数据、雷达数据和/或激光雷达点云的情况下生成虚拟车辆环境来测试机动车的高度自动化的行驶功能。所述系统用于在使用真实车辆环境的在先检测到的视频图像数据、雷达数据和/或激光雷达点云的情况下生成虚拟车辆环境来测试机动车的高度自动化的行驶功能。
本发明涉及一种计算机执行的方法，所述计算机执行的方法用于在使用真实车辆环境的在先检测到的视频图像数据、雷达数据和/或激光雷达点云的情况下生成虚拟车辆环境来测试机动车的高度自动化的行驶功能。
所述方法包括接收真实车辆环境的在先检测到的视频图像数据、雷达数据和/或激光雷达点云，所述真实车辆环境包括多个在先表征的或在后通过使用至少一个第一机器学习算法表征的真实对象。
真实车辆环境相应于在道路交通中、特别是在道路交通中的多种交通情况下机动车的车辆环境。真实对象可以是静态对象、例如交通标志、建筑物、植物和/或停放的机动车。此外，真实对象可以是动态对象、例如行驶的机动车。
所述方法包括通过将第二机器学习算法应用于相应的真实对象来生成表示相应的真实对象的第一特征向量并且存储第一特征向量。
此外，所述方法包括提供多个存储的第二特征向量，所述第二特征向量表示合成生成对象。所述方法包括识别与第一特征向量具有最高相似度的第二特征向量。
所述相似度可以根据第一特征向量和第二特征向量的预定的特征定义。合成生成对象被划分为多种对象类别并且表示在真实车辆环境的视频图像数据、雷达数据和/或激光雷达点云中表征的真实对象。
此外，所述方法包括：根据识别的相似度，选择识别的第二特征向量并且调用存储的配设给所述第二特征向量的、相应于真实对象的合成对象或者程序化地生成相应于真实对象的合成对象，以及将所述合成对象集成到预定的虚拟车辆环境中。
虚拟车辆环境是基于传感器检测的真实车辆环境的计算机生成的表示。
程序化地生成描述了一种用于在计算机程序执行期间也实时生成3-D对象的方法。
3-D对象在此不是随机生成的，而是遵循确定性算法生成，以便能够在相同的初始条件下一次又一次地生成相同的内容。
此外，本发明涉及一种用于在使用真实车辆环境的在先检测到的视频图像数据、雷达数据和/或激光雷达点云的情况下生成虚拟车辆环境来测试机动车的高度自动化的行驶功能的系统。所述系统包括用于接收真实车辆环境的在先检测到的视频图像数据、雷达数据和/或激光雷达点云的器件，所述真实车辆环境包括多个在先表征的或在后通过使用至少一个第一机器学习算法表征的真实对象。
此外，所述系统包括用于将至少一个第一机器学习算法应用于视频图像数据、雷达数据和/或激光雷达点云以用于探测所述多个真实对象并对所述多个真实对象进行分类的器件，并且所述系统包括用于生成表示相应的真实对象的第一特征向量的器件，所述器件设置用于将第二机器学习算法应用于相应的真实对象和用于存储第一特征向量的器件。
此外，所述系统包括用于提供多个存储的第二特征向量的器件，所述第二特征向量表示合成生成对象，并且所述系统包括用于识别与第一特征向量具有最高相似度的第二特征向量的器件。
此外，所述系统包括用于选择识别的第二特征向量并调用存储的配设给所述第二特征向量的、相应于真实对象的合成对象的器件，以及包括用于程序化地生成相应于真实对象的合成对象的器件，其中，根据识别的相似度来使用用于选择识别的第二特征向量并调用存储的配设给所述第二特征向量的合成对象的器件或用于程序化地生成相应于真实对象的合成对象的器件。
此外，所述系统包括用于将合成对象集成到预定的虚拟车辆环境中的器件。
此外，本发明涉及一种带有程序代码的计算机程序，当所述计算机程序在计算机上执行时，实施根据权利要求的方法。
此外，本发明涉及一种计算机可读数据载体，所述计算机可读数据载体具有计算机程序的程序代码，当所述计算机程序在计算机上执行时，实施根据权利要求的方法。
本发明的构思是从机动车的测试行驶的真实视频图像数据中自动地构建合成的3D场景。
由于通过将机器学习算法应用于相应的真实对象而生成了表示相应的真实对象的第一特征向量，有利的是，无需进行直接对象分类和关于合成对象的配设。
在直接对象分类的范围中，需通过人工神经网络对各个对象进行分类。为此需要在使用大量训练数据的情况下对人工神经网络进行耗费的训练。
取而代之地，在本发明的范围中，可以诉诸于交通场景的保存或存储在数据库中的典型对象的现有数据。因此可以将第二特征向量简单地配设给相应的合成对象。
通过将表示相应的真实对象的第一特征向量与已经存在的表示合成生成对象的第二特征向量进行比较可以因此以有利的方式实现：相应的真实对象和合成生成对象的自动配设，从而能将这样识别出的合成生成对象集成到虚拟车辆环境中。
通过在使用从真实车辆环境中获得的数据的情况下使虚拟车辆环境的场景构建自动化可以因此以有利的方式实现：虚拟车辆环境的场景构建的显著简化连同可观的效率提高和相关的成本降低。
本发明的其他实施方式是其他从属权利要求和以下参考附图的说明的技术方案。
按照发明的一个方面，所述方法还包括：通过监督学习算法或通过无监督学习算法、尤其是人工神经网络执行对所述多个真实对象的表征、尤其是探测和分类。
因此，可以以有利的方式使用按照数据类型和/或其他系统设定的合适算法。
按照本发明的另一个方面，所述方法还包括：如果识别的第二特征向量与第一特征向量的相似度大于或等于预定的阈值，那么选择所述识别的第二特征向量，并且调用存储的、配设给第二特征向量的相应于真实对象的合成对象。
因此可以以有利的方式实现：能调用与选择的真实对象具有最高相似度的合成对象。
按照本发明的另一个方面，所述方法还包括：如果识别的第二特征向量与第一特征向量的相似度小于预定的阈值，那么程序化地生成所述合成对象。
即使相应于真实对象的第一特征向量与相应于多个合成生成对象的第二特征向量中的一个存在不充分的一致性，也仍然可以以有利的方式通过程序化生成合成对象来生成相应于真实对象的合成对象。
按照发明的另一个方面，所述方法还包括如下步骤：在使用通过第二机器学习算法生成的第一特征向量的情况下执行程序化地生成所述合成对象。因此可以以有利的方式确保以这种方式生成的合成对象较高程度地相应于其所基于的真实对象。
按照本发明的另一个方面，所述方法还包括：用于生成、尤其是用于编码第一特征向量的第二机器学习算法通过第一变分自编码器构成。变分自编码器的优势在于，所述变分自编码器可以生成基于真实数据的降维或者说降低复杂度的表示。
按照本发明的另一个方面，所述方法还包括：通过将第三机器学习算法应用于相应的合成对象生成表示相应的合成对象的第二特征向量，并且将所述第二特征向量存储在数据存储器中。
因此，可以执行第一特征向量和第二特征向量的配设或特征比较，并且因此可以将真实对象配设给合成对象。
按照本发明的另一个方面，所述方法还包括：通过第一机器学习算法将包含在视频图像数据、雷达数据和/或激光雷达点云中的真实对象分类在主类别中，其中，配设给一个主类别的真实对象通过使用第四机器学习算法被分类到子类别中。
因此可以以有利的方式对包含在真实数据中的对象进行逐步分类。在此，在第一步骤中，将真实对象粗略分类到主类别中。然后在第二步骤中，将配设给主类别的相应的真实对象详细分类到相应的子类别中。
按照本发明的另一个方面，所述方法还包括：在第一特征向量和第二特征向量类型相同，尤其是第一特征向量和第二特征向量数据结构类型相同时，为了识别相似度，执行在第一特征向量和所述多个第二特征向量之间的直接比较。
因此，可以以有利的方式在没有任何其他中间步骤的情况下实现有效地识别合适的第二特征向量或将第一特征向量与第二特征向量进行比较。
按照本发明的另一个方面，所述方法还包括：在第一特征向量和第二特征向量类型不同，尤其是第一特征向量和第二特征向量的数据结构类型不同时，使用在第一特征向量和第二特征向量之间建立相关性的分类器，以便识别第二特征向量与第一特征向量的相似度。
因此，在使用具有例如不同类型的编码的情况下同样能以有利的方式在不同的特征向量之间建立相关性并且因此能将相应的第一特征向量配设给相应的第二特征向量。
按照本发明的另一个方面，所述方法还包括：所述多个存储的第一特征向量和/或第二特征向量表示2D图像数据、3D图像数据、雷达数据和/或激光雷达点云。
因此，第二特征向量所基于的源数据可以以有利的方式具有不同的类型，从而可以使用大量不同的实际获得的源数据并将其与合成生成对象或对象数据相关联或者可以将其配设给合成生成对象或对象数据。
按照本发明的另一个方面，所述方法还包括：如果识别的第二特征向量与第一特征向量的相似度小于预定的阈值，那么生成通知，即，所存储的多个第二特征向量与识别的第一特征向量不具有足够的相似度。
因此，以有利的方式告知用户所述情况并且因此可以例如扩展第二特征向量所基于的合成生成对象的数据存储器。
本文描述的方法的特征还可以适用于其他虚拟环境、例如在不同环境中测试其他车辆类型。
附图说明
为了更好地理解本发明及其优点，现在结合相关附图参考以下描述。
以下根据示例性的实施例详细阐述本发明。其中：
图1是按照本发明的优选实施方式用于生成虚拟车辆环境来测试机动车的高度自动化行驶功能的方法的流程图；
图2示出了按照本发明的优选实施方式将所述方法应用到真实车辆环境来生成虚拟车辆环境的示意图；和
图3示出了按照本发明优选实施例的用于生成虚拟车辆环境来测试机动车的高度自动化的行驶功能的系统的图示。
除非另有说明，否则相同的附图标记表示图中相同的元件。
具体实施方式
图1示出了按照本发明的优选实施方式用于生成虚拟车辆环境来测试机动车的高度自动化行驶功能的方法的流程图。
所述方法包括：接收S1A、S1B真实车辆环境U1的在先检测到的视频图像数据10a、雷达数据和/或激光雷达点云，所述真实车辆环境包括多个在先表征S1A的或在后通过使用至少一个第一机器学习算法A1表征S1B的真实对象12a、12b、12c、12d、12e。
此外，所述方法包括：通过将第二机器学习算法A2应用于相应的真实对象12a、12b、12c、12d、12e来生成S2表示相应的真实对象12a、12b、12c、12d、12e的第一特征向量M1并且存储S3第一特征向量M1。
此外，所述方法包括：提供S4多个存储的表示合成生成对象14a、14b、14c、14d、14e的第二特征向量M2，并且识别S5与第一特征向量M1具有最高相似度MA的第二特征向量M2。
此外，所述方法包括：选择S6A识别的第二特征向量M2以用于生成相应于真实对象12a、12b、12c、12d、12e的合成对象14a、14b、14c、14d、14e。
备选地，程序化地生成(prozedurales Generieren)S6B相应于真实对象12a，12b，12c，12d的合成对象14a、14b、14c、14d。
根据识别的相似度MA来选择步骤S6A或S6B。接着将所述合成对象14a、14b、14c、14d、14e集成S7到预定的虚拟车辆环境U2中。
图2示出了按照本发明的优选实施方式将所述方法应用到真实车辆环境来生成虚拟车辆环境的示意图。
在当前示出的实施例中，不仅在虚拟车辆环境U2中而且在真实车辆环境U1中相应使用视频图像数据。
备选地或附加地，例如可以使用真实车辆环境的雷达数据和/或激光雷达点云来生成虚拟车辆环境。
在先检测到的视频图像数据10a首先通过使用第一机器学习算法A1来表征。
表征包括：通过第一机器学习算法A1来探测多个真实对象并对所述多个真实对象进行分类。
在当前实施例中，第一机器学习算法A1由监督学习算法、特别是人工神经网络形成。
备选地，第一机器学习算法A1例如通过无监督学习算法、特别是人工神经网络形成。通过第一机器学习算法A1，包含在视频图像数据10a中的各个真实对象12a、12b、12c、12d被分类到主类别C1、C2、C3、C4中。
配设给一个主类别C1、C2、C3、C4的真实对象12a、12b、12c、12d通过使用第四机器学习算法A4进一步被分类到子类别12d1、12d2中。
在当前实施例中，对象12a是树木；对象12b是行人；对象12c是路灯；多个对象12d是不同的车辆以及对象12e是交通标志。
上述对象因此相应于相应的主类别。子类别由对象的子类型——例如不同的树木类型和/或按照性别、年龄选择的不同类型的行人——和其他可分类的特征定义。
在此特别之处是交通标志12e，因为交通标志在当前实施例中既不是通过将第二特征向量配设给第一特征向量而生成的，也不是程序化生成的，而是从其他数据源或通过其他方法生成的，在这种情况下在此取决于交通标志信息的准确、详细可靠的呈现。
备选地，交通标志例如可以在第一特征向量与相应的第二特征向量具有足够高的一致性时例如通过存储在数据存储器中的合成对象生成。
然后从真实车辆环境U1中选择包含在其中的真实对象12a、12b、12c、12d并且通过将第二机器学习算法A2应用于相应的真实对象12a、12b、12c、12d而生成表示相应的真实对象12a、12b、12c、12d的第一特征向量M1。
针对所有包含在真实车辆环境U1中的对象12a、12b、12c、12d执行所述方法。
此外，针对每个这样生成的第一特征向量M1，进行与第二特征向量M2的比较或者进行与第二特征向量M2的配设，所述第一特征向量存储在相应的数据存储器中。
为此提供多个存储的第二特征向量M2，所述第二特征向量表示合成生成对象14a、14b、14c、14d。为此识别与第一特征向量M1具有最高相似度MA的第二特征向量M2。
如果识别的第二特征向量M2与第一特征向量M1的相似度MA大于或等于预定的阈值T，那么选择所述识别的第二特征向量M2。
随后或由此引起地，从数据存储器中调用存储的、配设给第二特征向量M2的相应于真实对象12a、12b、12c、12d、12e的合成对象14a、14b、14c、14d、14e。
在之前或者说在先地，通过将第三机器学习算法A3应用于相应的合成对象14a、14b、14c、14d、14e而生成表示相应的合成对象14a、14b、14c、14d、14e的第二特征向量M2，并且将所述第二特征向量存储S3在数据存储器中。
如果识别的第二特征向量M2与第一特征向量M1的相似度MA小于预定的阈值T，那么程序化地生成合成对象14a、14b、14c、14d。
程序化地生成例如可以通过能为此使用的软件应用、如“Unreal Engine(虚幻引擎)”来执行。程序化地生成合成对象14a、14b、14c、14d在使用通过第二机器学习算法A2生成的第一特征向量M1的情况下被执行。
用于生成、尤其是用于编码第一特征向量M1的第二机器学习算法A2在当前实施例中通过第一变分自编码器构成。
通过交通标志形成的对象14e在当前实施例中通过其他合适的方法由包含在真实车辆环境U1中的交通标志12e生成。
在第一特征向量M1和第二特征向量M2类型相同，尤其是第一特征向量和第二特征向量数据结构类型相同时为了识别相似度MA，如在当前实施例中示出的那样，执行在第一特征向量M1和多个第二特征向量M2之间的直接比较。
在第一特征向量M1和第二特征向量M2类型不同，尤其是第一特征向量和第二特征向量的数据结构类型不同时，备选地可以使用在第一特征向量M1和第二特征向量M2之间建立相关性的分类器，以便识别第二特征向量M2与第一特征向量M1的相似度MA。所述多个存储的第一特征向量M1和第二特征向量M2在当前实施例中通过3D图像数据构成。
备选地，第一特征向量M1和第二特征向量M2例如可以通过2D图像数据、雷达数据和/或激光雷达点云表示。
如果识别的第二特征向量M2与第一特征向量M1的相似度MA小于预定的阈值T，那么按照当前实施例还生成一个通知，所存储的多个第二特征向量M2与识别的第一特征向量M1不具有足够的相似度MA。
图3示出了按照本发明优选实施例的用于生成虚拟车辆环境来测试机动车的高度自动化的行驶功能的系统的图示。系统2包括用于接收真实车辆环境U1的在先检测到的视频图像数据10a、雷达数据和/或激光雷达点云，所述真实车辆环境包括多个通过使用至少一个机器学习算法A1表征的真实对象12a、12b、12c、12d、12e。
备选地，真实对象12a、12b、12c、12d、12e可以是例如在先表征的。
所述系统2还包括用于将至少一个机器学习算法A1应用于所述视频图像数据10a、雷达数据和/或激光雷达点云以用于探测所述多个真实对象12a、12b、12c、12d、12e并对所述多个真实对象进行分类的器件22。
所述系统2还包括用于生成表示相应的真实对象12a、12b、12c、12d、12e的第一特征向量M1的器件24，所述器件24设置用于将第二机器学习算法A2应用于相应的真实对象12a、12b、12c、12d、12e。所述系统2还包括用于存储第一特征向量M1的器件26。
所述系统2还包括用于提供多个存储的第二特征向量M2的器件28，所述第二特征向量表示合成生成对象14a、14b、14c、14d、14e。
所述系统2还包括用于识别与第一特征向量M1具有最高相似度MA的第二特征向量M2的器件。
所述系统2还包括用于选择S6A识别的第二特征向量M2并调用存储的配设给所述第二特征向量M2的合成对象14a、14b、14c、14d、14e的器件32，所述合成对象相应于真实对象12a、12b、12c、12d、12e。所述系统还包括用于程序化地生成相应于真实对象12a、12b、12c、12d、12e的合成对象14a、14b、14c、14d、14e的器件34。
根据识别的相似度MA来使用用于选择S6A识别的第二特征向量M2并调用存储的配设给所述第二特征向量M2的合成对象14a、14b、14c、14d、14e的器件32或用于程序化地生成相应于真实对象12a、12b、12c、12d、12e的合成对象14a、14b、14c、14d、14e的器件34。
所述系统2还包括用于将合成对象14a、14b、14c、14d、14e集成到预定的虚拟车辆环境U2中的器件36。
用于识别与第一特征向量M1具有最高相似度MA的第二特征向量M2的器件30具有不仅与用于存储第一特征向量M1的器件26而且与用于提供多个存储的第二特征向量M2的器件28的连接，所述第二特征向量表示合成生成对象14a、14b、14c、14d、14e。
尽管这里已经图示和描述了具体的实施例，但是本领域技术人员会理解，存在多种备选和/或等效的实施方式。应当注意的是，一个或多个示例性实施例仅是示例，并且不旨在以任何方式限制范围、适用性或配置。
更确切地说，以上概述和详细说明为本领域技术人员提供了用于实施至少一个示例性实施例的便利指导，应当理解，在不脱离所附权利要求及其法律等同方案的范围的情况下，可以对各元件的功能范围和布置进行各种变化。
通常，本申请旨在覆盖在此所示出的实施例的改变或者说调整或变型。

Claims (15)

1.一种计算机执行的方法，所述计算机执行的方法用于在使用真实车辆环境(U1)的在先检测到的视频图像数据(10a)、雷达数据和/或激光雷达点云的情况下生成虚拟车辆环境(U2)来测试机动车(1)的高度自动化的行驶功能，所述方法包括如下步骤：
接收(S1A、S1B)真实车辆环境(U1)的在先检测到的视频图像数据(10a)、雷达数据和/或激光雷达点云，所述真实车辆环境包括多个在先表征(S1A)的或在后通过使用至少一个第一机器学习算法(A1)表征(S1B)的真实对象(12a、12b、12c、12d、12e)；
通过将第二机器学习算法(A2)应用于相应的真实对象(12a、12b、12c、12d、12e)来生成(S2)表示相应的真实对象(12a、12b、12c、12d、12e)的第一特征向量(M1)并且存储(S3)第一特征向量(M1)；
提供(S4)多个存储的、表示合成生成对象(14a、14b、14c、14d、14e)的第二特征向量(M2)；
识别(S5)与第一特征向量(M1)具有最高相似度(MA)的第二特征向量(M2)；
根据识别的相似度(MA)，选择(S6A)识别的第二特征向量(M2)并调用存储的配设给所述第二特征向量(M2)的、相应于真实对象(12a、12b、12c、12d、12e)的合成对象(14a、14b、14c、14d、14e)或者程序化地生成(S6B)相应于真实对象(12a、12b、12c、12d、12e)的合成对象(14a、14b、14c、14d、14e)；和
将合成对象(14a、14b、14c、14d、14e)集成(S7)到预定的虚拟车辆环境(U2)中。
2.根据权利要求1所述的计算机执行的方法，其特征在于，通过监督学习算法或通过无监督学习算法、尤其是人工神经网络执行对所述多个真实对象(12a、12b、12c、12d、12e)的表征(S1A、S1B)、尤其是探测和分类。
3.根据权利要求1或2所述的计算机执行的方法，其特征在于，如果识别的第二特征向量(M2)与第一特征向量(M1)的相似度(MA)大于或等于预定的阈值(T)，那么选择所述识别的第二特征向量(M2)，并且调用(S6A)存储的配设给第二特征向量(M2)的、相应于真实对象(12a、12b、12c、12d、12e)的合成对象(14a、14b、14c、14d、14e)。
4.根据权利要求1或2所述的计算机执行的方法，其特征在于，如果识别的第二特征向量(M2)与第一特征向量(M1)的相似度(MA)小于预定的阈值(T)，那么程序化地生成(S6B)所述合成对象(14a、14b、14c、14d、14e)。
5.根据权利要求4所述的计算机执行的方法，其特征在于，在使用通过第二机器学习算法(A2)生成的第一特征向量(M1)的情况下执行程序化地生成(S6B)所述合成对象(14a、14b、14c、14d、14e)。
6.根据前述权利要求之一所述的计算机执行的方法，其特征在于，用于生成、尤其是用于编码第一特征向量(M1)的第二机器学习算法(A2)通过第一变分自编码器构成。
7.根据前述权利要求之一所述的计算机执行的方法，其特征在于，通过将第三机器学习算法(A3)应用于相应的合成对象(14a、14b、14c、14d、14e)来生成表示相应的合成对象(14a、14b、14c、14d、14e)的第二特征向量(M2)，并且将所述第二特征向量(M2)存储(S3)在数据存储器中。
8.根据前述权利要求之一所述的计算机执行的方法，其特征在于，通过第一机器学习算法(A1)将包含在视频图像数据(10a)、雷达数据和/或激光雷达点云中的真实对象(12a、12b、12c、12d)分类在主类别(C1、C2、C3、C4)中，其中，配设给一个主类别(C1、C2、C3、C4)的真实对象(12a、12b、12c、12d)通过使用第四机器学习算法(A4)被分类到子类别(12d1、12d2)中。
9.根据前述权利要求之一所述的计算机执行的方法，其特征在于，在第一特征向量(M1)和第二特征向量(M2)类型相同、尤其是第一特征向量和第二特征向量数据结构类型相同时，为了识别相似度(MA)，执行在第一特征向量(M1)和所述多个第二特征向量(M2)之间的直接比较。
10.根据前述权利要求之一所述的计算机执行的方法，其特征在于，在第一特征向量(M1)和第二特征向量(M2)类型不同、尤其是第一特征向量和第二特征向量的数据结构类型不同时，使用在第一特征向量(M1)和第二特征向量(M2)之间建立相关性的分类器，以便识别第二特征向量(M2)与第一特征向量(M1)的相似度(MA)。
11.根据前述权利要求之一所述的计算机执行的方法，其特征在于，所述多个存储的第一特征向量(M1)和/或第二特征向量(M2)表示2D图像数据、3D图像数据、雷达数据和/或激光雷达点云。
12.根据权利要求3至11之一所述的计算机执行的方法，其特征在于，如果识别的第二特征向量(M2)与第一特征向量(M1)的相似度(MA)小于预定的阈值(T)，那么生成通知(ME)，即，所存储的多个第二特征向量(M2)与识别的第一特征向量(M1)不具有足够的相似度(MA)。
13.一种用于在使用真实车辆环境(U1)的在先检测到的视频图像数据(10a)、雷达数据和/或激光雷达点云的情况下生成虚拟车辆环境(U2)来测试机动车的高度自动化的行驶功能的系统(2)，所述系统包括：
用于接收真实车辆环境(U1)的在先检测到的视频图像数据(10a)、雷达数据和/或激光雷达点云的器件(20)，所述真实车辆环境包括多个在先表征的或在后通过使用至少一个第一机器学习算法(A1)表征的真实对象(12a、12b、12c、12d、12e)；
用于将至少一个第一机器学习算法(A1)应用于视频图像数据(10a)、雷达数据和/或激光雷达点云以用于探测所述多个真实对象(12a、12b、12c、12d、12e)并对所述多个真实对象进行分类的器件(22)；
用于生成表示相应的真实对象(12a、12b、12c、12d、12e)的第一特征向量(M1)的器件(24)，所述器件(24)设置用于将第二机器学习算法(A2)应用于相应的真实对象(12a、12b、12c、12d、12e)；和
用于存储第一特征向量(M1)的器件(26)；
用于提供多个存储的表示合成生成对象(14a、14b、14c、14d、14e)的第二特征向量(M2)的器件(28)；
用于识别与第一特征向量(M1)具有最高相似度(MA)的第二特征向量(M2)的器件(30)；
用于选择(S6A)识别的第二特征向量(M2)并调用存储的配设给所述第二特征向量(M2)的合成对象(14a、14b、14c、14d、14e)的器件(32)，所述合成对象相应于真实对象(12a、12b、12c、12d、12e)；和
用于程序化地生成相应于真实对象(12a、12b、12c、12d、12e)的合成对象(14a、14b、14c、14d、14e)的器件(34)；
其中，根据识别的相似度(MA)来使用用于选择(S6A)识别的第二特征向量(M2)并调用存储的配设给所述第二特征向量(M2)的合成对象(14a、14b、14c、14d、14e)的器件(32)或用于程序化地生成相应于真实对象(12a、12b、12c、12d、12e)的合成对象(14a、14b、14c、14d、14e)的器件(34)；和
用于将合成对象(14a、14b、14c、14d、14e)集成到预定的虚拟车辆环境(U2)中的器件(36)。
14.带有程序代码的计算机程序，当所述计算机程序在计算机上执行时，实施根据权利要求1至12之一所述的方法。
15.计算机可读数据载体，所述计算机可读数据载体具有计算机程序的程序代码，当所述计算机程序在计算机上执行时，实施根据权利要求1至12之一所述的方法。
CN202110189814.4A 2020-02-18 2021-02-18 计算机执行的方法和用于生成虚拟车辆环境的系统 Pending CN113344210A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP20157831.7A EP3869390A1 (de) 2020-02-18 2020-02-18 Computerimplementiertes verfahren und system zum erzeugen einer virtuellen fahrzeugumgebung
EP20157831.7 2020-02-18

Publications (1)

Publication Number Publication Date
CN113344210A true CN113344210A (zh) 2021-09-03

Family

ID=69810514

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110189814.4A Pending CN113344210A (zh) 2020-02-18 2021-02-18 计算机执行的方法和用于生成虚拟车辆环境的系统

Country Status (3)

Country Link
US (1) US11615558B2 (zh)
EP (1) EP3869390A1 (zh)
CN (1) CN113344210A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11334762B1 (en) * 2017-09-07 2022-05-17 Aurora Operations, Inc. Method for image analysis
KR20210111557A (ko) * 2020-03-03 2021-09-13 현대자동차주식회사 심층 학습 기반의 객체 분류 장치 및 그 방법
US20230077259A1 (en) * 2021-08-23 2023-03-09 Waymo Llc Virtual Validation and Verification Model Structure for Motion Control

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11263823B2 (en) * 2012-02-24 2022-03-01 Matterport, Inc. Employing three-dimensional (3D) data predicted from two-dimensional (2D) images using neural networks for 3D modeling applications and other applications
CN205121971U (zh) 2015-11-09 2016-03-30 李波 一种汽车教学用模拟驾驶平台
CN109643125B (zh) 2016-06-28 2022-11-15 柯尼亚塔有限公司 用于训练自动驾驶系统的逼真的3d虚拟世界创造与模拟
US20190156558A1 (en) * 2016-08-31 2019-05-23 Factualvr, Inc. Virtual reality system
JP2020511723A (ja) * 2017-03-17 2020-04-16 ニューララ インコーポレイテッド 深層ニューラルネットワークおよびニューラルネットワークアプリケーション向けのデータストリームのタグ付けおよびラベル付けのためのオンラインでのインクリメンタルリアルタイム学習
EP3410404B1 (en) 2017-05-29 2023-08-23 Cognata Ltd. Method and system for creating and simulating a realistic 3d virtual world
US11004209B2 (en) 2017-10-26 2021-05-11 Qualcomm Incorporated Methods and systems for applying complex object detection in a video analytics system
US11100399B2 (en) 2017-11-21 2021-08-24 International Business Machines Corporation Feature extraction using multi-task learning
US10867214B2 (en) 2018-02-14 2020-12-15 Nvidia Corporation Generation of synthetic images for training a neural network model
US10468062B1 (en) * 2018-04-03 2019-11-05 Zoox, Inc. Detecting errors in sensor data
US10740914B2 (en) * 2018-04-10 2020-08-11 Pony Ai Inc. Enhanced three-dimensional training data generation
US20200019785A1 (en) * 2018-07-10 2020-01-16 Element Ai Inc. Automatically associating images with other images of the same locations
EP3844672A1 (en) * 2018-09-26 2021-07-07 Five AI Limited Structure annotation
DE102018222294A1 (de) 2018-12-19 2020-06-25 Robert Bosch Gmbh Verfahren, Computerprogramm, maschinenlesbares Speichermedium sowie Vorrichtung zur Datenvorhersage
US20210035279A1 (en) * 2019-07-31 2021-02-04 GM Global Technology Operations LLC Perception System Diagnostic Systems And Methods
US11816790B2 (en) * 2020-03-06 2023-11-14 Nvidia Corporation Unsupervised learning of scene structure for synthetic data generation

Also Published As

Publication number Publication date
EP3869390A1 (de) 2021-08-25
US11615558B2 (en) 2023-03-28
US20210256738A1 (en) 2021-08-19

Similar Documents

Publication Publication Date Title
CN113344210A (zh) 计算机执行的方法和用于生成虚拟车辆环境的系统
JP6873237B2 (ja) 画像ベースの車両損害評価方法、装置、およびシステム、ならびに電子デバイス
CN109426801B (zh) 一种车道线实例检测方法和装置
CN107817496B (zh) 适用于自动车辆的对象检测系统
CN113420729B (zh) 多尺度目标检测方法、模型、电子设备及其应用
JP6546271B2 (ja) 画像処理装置、物体検知装置、画像処理方法
Azim et al. Layer-based supervised classification of moving objects in outdoor dynamic environment using 3D laser scanner
US11113582B2 (en) Method and system for facilitating detection and identification of vehicle parts
CN109377694A (zh) 社区车辆的监控方法及系统
US10607100B2 (en) Device for recognizing vehicle license plate number and method therefor
CN114841228A (zh) 生成用于指定视觉数据集的数据结构
CN114360045A (zh) 操作检测设备的方法、存储介质和检测设备
Raffaelli et al. Facing ADAS validation complexity with usage oriented testing
US20220266854A1 (en) Method for Operating a Driver Assistance System of a Vehicle and Driver Assistance System for a Vehicle
CN113593256B (zh) 基于城市管理的无人机智能驱离控制方法、系统及云平台
CN109686110A (zh) 车位空满状态判别方法及设备
US20230415755A1 (en) Computer-implemented method and system for creating a virtual environment for a vehicle
CN113470048A (zh) 场景分割方法、装置、设备及计算机可读存储介质
CN114220078A (zh) 一种目标重识别方法、装置和计算机可读存储介质
Ponn et al. Performance Analysis of Camera-based Object Detection for Automated Vehicles.
US10650275B2 (en) Method for detection of temporal pattern anomalies in video streams
JP2020197974A (ja) 状況認識装置、状況認識方法、および状況認識プログラム
Mallick et al. Safety monitoring for pedestrian detection in adverse conditions
CN114120160B (zh) 基于Faster-RCNN物体空间区分方法、装置、计算机设备及存储介质
US11912289B2 (en) Method and device for checking an AI-based information processing system used in the partially automated or fully automated control of a vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Paderborn, Germany

Applicant after: Desbeth Co.,Ltd.

Address before: Paderborn, Germany

Applicant before: DSPACE DIGITAL SIGNAL PROCESSING AND CONTROL ENGINEERING GmbH

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination