CN113711225A - 用于生成合成传感器数据的计算机实现的方法和系统以及训练方法 - Google Patents

用于生成合成传感器数据的计算机实现的方法和系统以及训练方法 Download PDF

Info

Publication number
CN113711225A
CN113711225A CN202180002923.9A CN202180002923A CN113711225A CN 113711225 A CN113711225 A CN 113711225A CN 202180002923 A CN202180002923 A CN 202180002923A CN 113711225 A CN113711225 A CN 113711225A
Authority
CN
China
Prior art keywords
encoder
level
data
sensor data
data record
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180002923.9A
Other languages
English (en)
Inventor
D·哈森克莱沃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dspace GmbH
Dspace Digital Signal Processing and Control Engineering GmbH
Original Assignee
Dspace Digital Signal Processing and Control Engineering GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dspace Digital Signal Processing and Control Engineering GmbH filed Critical Dspace Digital Signal Processing and Control Engineering GmbH
Publication of CN113711225A publication Critical patent/CN113711225A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/006—Theoretical aspects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Electromagnetism (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明涉及一种用于生成车辆环境检测传感器、尤其是LiDAR传感器的具有叠加的距离和强度信息(I1、I2)的合成传感器数据(SSD)的计算机实现的方法以及系统。本发明还涉及一种用于提供用于生成车辆环境检测传感器、尤其是LiDAR传感器的具有叠加的距离和强度信息(I1、I2)的合成传感器数据(SSD)的经训练的机器学习算法的计算机实现的方法。此外，本发明涉及一种计算机程序和一种计算机可读数据载体。

Description

用于生成合成传感器数据的计算机实现的方法和系统以及训 练方法
技术领域
本发明涉及一种用于生成车辆环境检测传感器、尤其是LiDAR(激光雷达)传感器的具有叠加的距离和强度信息的合成传感器数据的计算机实现的方法。
本发明还涉及一种用于生成车辆环境检测传感器、尤其是LiDAR传感器的具有叠加的距离和强度信息的合成传感器数据的系统。
本发明还涉及一种用于提供用于生成车辆环境检测传感器、尤其是LiDAR传感器的具有叠加的距离和强度信息的合成传感器数据的经训练的机器学习算法的计算机实现的方法。
此外，本发明还涉及一种计算机程序以及一种计算机可读数据载体。
背景技术
用于测试机动车高度自动驾驶功能的图形用户界面通常具有多个组件，这些组件能够管理参数集、创建虚拟车辆环境以及实验管理。
虚拟车辆环境的场景结构，即场景的静态和动态对象的定义是通过配置和导入存储在对象库中的对象来进行的。
通常，例如为了生成LiDAR数据，需要在真实环境中进行复杂的试驾以获得相应的数据。因此，希望合成生成LiDAR传感器数据。LiDAR点云主要包括两个特征，即对象的强度以及对象到LiDAR传感器的距离。
距离能够比较容易通过几何学建模，而强度则基于材料的反射率值，反射率值又取决于入射角和反射类型。
因此，为了能够对虚拟环境中的强度进行建模，必须测量待建模对象的材料特性。材料的测量一方面是昂贵的，另一方面只能以有限的数量进行。
同时，以基于模型的方式对测量噪声和传感器噪声特性进行建模非常复杂。合成数据的真实性受到各种因素的限制，如真实的表面结构、噪声、多径传播以及缺乏对材料特性的了解。
因此，需要改进现有的用于生成车辆环境检测传感器、尤其是LiDAR传感器的合成传感器数据的方法和系统，使得能够简化、更有效且更低成本地生成虚拟车辆环境。
发明内容
因此，本发明的任务是提出一种计算机实现的方法、系统、计算机实现的训练方法、计算机程序和计算机可读数据载体，它们能够简化、更有效且更低成本地生成车辆环境检测传感器、尤其是LiDAR传感器的合成传感器数据。
根据本发明，所述任务通过根据专利权利要求1的用于生成车辆环境检测传感器、尤其是LiDAR传感器的具有叠加的距离和强度信息的合成传感器数据的计算机实现的方法来解决。
根据本发明，所述任务通过根据专利权利要求13的用于生成车辆环境检测传感器、尤其是LiDAR传感器的具有叠加的距离和强度信息的合成传感器数据的系统来解决。
此外，所述任务通过根据专利权利要求12的用于提供经训练的机器学习算法的计算机实现的方法来解决，所述经训练的机器学习算法用于生成车辆环境检测传感器、尤其是LiDAR传感器的具有叠加的距离和强度信息的合成传感器数据。
所述任务还通过根据专利权利要求14的计算机程序和根据专利权利要求15的计算机可读数据载体来解决。
本发明涉及一种用于生成车辆环境检测传感器、尤其是LiDAR传感器的具有叠加的距离和强度信息的合成传感器数据的计算机实现的方法。
所述方法包括提供分层变分自编码器，它具有第一层级、第二层级和第三层级或构造用于与外部变分自编码器的第三层级通信。
所述方法还包括通过第一层级的变分自编码器接收车辆环境检测传感器的传感器数据、尤其是合成生成和/或实际检测的传感器数据的具有距离信息的第一数据记录，第一层级的变分自编码器将传感器数据的第一数据记录的全局特征分配给第一码本向量。
所述方法还包括通过第二层级的变分自编码器接收车辆环境检测传感器的传感器数据的第一数据记录，第二层级的变分自编码器将传感器数据的第一数据记录的局部特征分配给第二码本向量。
所述方法还包括用车辆环境检测传感器的传感器数据的具有距离和强度信息的第二数据记录调节(konditionieren)由第一层级的变分自编码器编码的第一特征向量和由第二层级的变分自编码器编码的第二特征向量。
所述方法还包括将经调节的第一特征向量和经调节的第二特征向量合并为合成的第三特征向量，并且对合成的第三特征向量进行解码，以生成车辆环境检测传感器的合成传感器数据的具有叠加的距离和强度信息的第三数据记录。
车辆环境检测传感器的合成传感器数据是基于传感器检测的真实车辆环境的计算机生成的表示。
本发明还涉及一种用于生成车辆环境检测传感器、尤其是LiDAR传感器的具有叠加的距离和强度信息的合成传感器数据的系统。
该系统包括分层变分自编码器，其具有第一层级、第二层级和第三层级或构造用于与外部变分自编码器的第三层级通信。
所述分层变分自编码器构造用于通过第一层级的变分自编码器接收车辆环境检测传感器的传感器数据、尤其是合成生成和/或实际检测的传感器数据的具有距离信息的第一数据记录，第一层级的变分自编码器将传感器数据的第一数据记录的全局特征分配给第一码本向量。
所述分层变分自编码器构造用于通过第二层级的变分自编码器接收车辆环境检测传感器的传感器数据的第一数据记录，第二层级的变分自编码器将传感器数据的第一数据记录的局部特征分配给第二码本向量。
所述分层变分自编码器还构造用于用车辆环境检测传感器的传感器数据的具有距离和强度信息的第二数据记录调节由第一层级的变分自编码器编码的第一特征向量和由第二层级的变分自编码器编码的第二特征向量。
所述分层变分自编码器还构造用于将经调节的第一特征向量和经调节的第二特征向量合并为合成的第三特征向量。
所述分层变分自编码器还构造用于对合成的第三特征向量进行解码，以生成车辆环境检测传感器的合成传感器数据的具有叠加的距离和强度信息的第三数据记录。
此外，本发明涉及一种用于提供经训练的机器学习算法的计算机实现的方法，所述经训练的机器学习算法用于生成车辆环境检测传感器、尤其是LiDAR传感器的具有叠加的距离和强度信息的合成传感器数据。
所述方法包括提供分层变分自编码器，其至少具有第一层级和第二层级。
所述方法还包括接收第一层级的第一自回归人工神经网络、尤其是人工神经卷积网络的输入训练数据和输出训练数据。
所述方法还包括训练第一层级的第一自回归人工神经网络、尤其是人工神经卷积网络，以便将输入训练数据的全局特征分配给第一码本向量。
所述方法还包括接收第二层级的第二自回归人工神经网络、尤其是人工神经卷积网络的输入训练数据和输出训练数据。
此外，所述方法包括训练第二层级的第二自回归人工神经网络、尤其是人工神经卷积网络，以便将输入训练数据的局部特征分配给第二码本向量，其中，通过第一层级的自回归人工神经网络调节第二层级的第二自回归人工神经网络。
本发明的想法是通过上述算法结构用分层变分自编码器和附加调节层这样转变合成传感器数据、尤其是包含距离信息的LiDAR数据的预定数据记录，使得能够通过用另一个由车辆传感器的距离和强度数据组成的数据记录调节所述预定数据记录来生成一个经转变或改进的数据记录，该数据记录具有车辆环境检测传感器的具有叠加的距离和强度信息的合成传感器数据的近似。
本发明的其它实施方式是从属权利要求和以下参照附图的说明的技术方案。
根据本发明的一种优选扩展方案规定，传感器数据的第一数据记录由分层变分自编码器的第一编码器进行编码，第一数据记录的图像分辨率降低预定倍数、尤其是24倍。因此，可以有利的方式生成第一数据记录的维度降低预定倍数的表示。
根据另一种优选扩展方案规定，由第一编码器编码的传感器数据的第一数据记录被划分到第一层级和第二层级中，传感器数据的第一数据记录在第一层级E1中由分层变分自编码器的第二编码器进行编码，第一数据记录的图像分辨率被降低预定倍数、尤其是22倍。因此，在第一层级中第一数据记录的维度以有利的方式进一步减少预定倍数。
根据另一种优选扩展方案规定，传感器数据的由第二编码器编码成第一特征向量的第一数据记录由第一层级的第一自回归人工神经网络、尤其是人工神经卷积网络分配给与第一特征向量具有最小距离的第一码本向量。
因此，可以有利的方式将生成的特征向量尽可能最佳地分配给第一码本向量，该特征向量以向量的方式综合第一数据记录的可通过数字参数化的属性。
根据另一种优选扩展方案规定，第一码本向量由分层变分自编码器的第一解码器解码，第一码本向量的图像分辨率增加预定倍数、尤其是22倍。因此可以有利的方式实现第一码本向量的有效的、维度增加的表示。
根据另一种优选扩展方案规定，由第一层级的第一解码器输出的第一数据记录与由分层变分自编码器的第一编码器编码的第一数据记录在第二层级上合并成合成的第三特征向量。
第一层级的具有原始第一数据记录的全局特征的第一数据记录因此调节第二层级的第一数据记录。
根据另一种优选扩展方案规定，合成的第三特征向量通过第二层级的第二自回归人工神经网络、尤其是人工神经卷积网络分配给与合成的第三特征向量具有最小距离的第二码本向量。
因此可以有利的方式将第三特征向量尽可能最佳地分配给第二码本向量。
根据另一种优选扩展方案规定，车辆环境检测传感器的传感器数据的第二数据记录在第三层级上由第三编码器编码，第二数据记录的图像分辨率降低预定倍数、尤其是28倍。因此，可以有利的方式生成第二数据集的维度降低预定倍数的表示。
根据另一种优选扩展方案规定，传感器数据的由第三编码器编码成第四特征向量的第二数据记录通过第三层级的第三自回归人工神经网络、尤其是人工卷积神经网络分配给与第二数据记录的第四特征向量具有最小距离的第三码本向量。
因此可以有利的方式将第四特征向量尽可能最佳地分配给第三码本向量。
根据另一种优选扩展方案规定，第三码本向量由分层变分自编码器的第二解码器或外部变分自编码器解码，由第二解码器输出的第二数据记录调节由第一层级的变分自编码器编码的第一特征向量和由第二层级的变分自编码器编码的第二特征向量。
通过由第三层级的输出数据调节第一层级和第二层级，可以有利的方式调节第一层级和第二层级。
因此，可转变第一层级和第二层级的数据记录或可转变第一层级和第二层级的合并的数据记录。
这具有有利的效果，即可对合成的传感器数据进行建模或生成合成的传感器数据，该合成的传感器数据具有距离信息和经转变并由此改进的强度信息。
通过用第二数据记录、尤其是第二数据记录的实际检测的传感器数据的调节，可实现第一数据记录的转变和由此产生的改进。
根据另一种优选扩展方案规定，用数据记录标识符调节由第一层级的变分自编码器编码的第一特征向量和由第二层级的变分自编码器编码的第二特征向量，数据记录标识符表示传感器数据是合成生成的还是实际检测的传感器数据。
通过这种通过数据记录标识符对第一层级和第二层级的数据进行的附加调节，通过第一和/或第二层级的自回归人工神经网络可以有利的方式对目标函数或环境检测传感器的待输出的合成传感器数据进行改进的建模。
本文描述的方法的特征适用于多种虚拟环境、如自动驾驶机动车、飞机和/或宇宙飞行器的测试。
附图说明
为了更好地理解本发明及其优点，现在结合相关附图参考以下说明。
在下文中，参照附图中示意性示出的示例性实施方式更详细地阐述本发明。附图如下：
图1示出根据本发明一种优选实施方式的用于生成车辆环境检测传感器的合成传感器数据的计算机实现的方法的流程图；
图2示出根据本发明优选实施方式的用于生成车辆环境检测传感器的合成传感器数据的方法和系统的详细流程和系统图；
图3示出根据本发明优选实施方式的用于对目标函数建模的示例矩阵；
图4示出具有盲点的传统模型的感受区域的不属于本发明的表示；
图5示出根据本发明优选实施方式的模型或人工神经网络的感受区域的表示；
图6示出根据本发明优选实施方式的用于训练分层变分自编码器的第一层级的流程图；
图7示出根据本发明优选实施方式的用于训练分层变分自编码器的第二层级的方法的流程图；和
图8示出根据本发明优选实施方式的用于提供用于生成环境检测传感器的合成传感器数据的经训练的机器学习算法的方法的流程图。
除非另有说明，附图中相同的附图标记表示相同的元件。
具体实施方式
图1示出根据本发明优选实施方式的用于生成车辆环境检测传感器的合成传感器数据的方法的流程图并且图2示出根据本发明优选实施方式的用于生成车辆环境检测传感器的合成传感器数据的方法和系统的详细流程和系统图。
在本发明的优选实施方式中，环境检测传感器的合成传感器数据SSD是车辆的LiDAR传感器的传感器数据。
作为替代方案，环境检测传感器例如可以是摄像机传感器或雷达传感器。
在使用摄像机传感器的情况下，例如可以几何方式计算包含在视频图像数据中的距离信息。例如可通过灰度值或RGB颜色通道对强度信息进行编码。
在使用雷达传感器的情况下，例如可通过图像亮度对强度信息进行编码，较亮的像素值代表较高的对象反射和由此产生较高的图像强度，而较暗的像素值代表较低的对象反射和因此较低的图像强度。
下述说明涉及图1和图2。该方法和系统包括提供S1分层变分自编码器HVAE，其具有第一层级E1、第二层级E2和第三层级E3。
作为替代方案，第三层级E3例如可以不是分层变分自编码器HVAE的一部分，而是形成外部层级E3，在此情况下，分层变分自编码器HAVE构造用于与外部变分自编码器的外部第三层级E3通信。
变分自编码器具有人工神经网络，其用于以无监督的方式学习有效的数据编码。变分自编码器的目的是学习数据记录的表示或编码，通常是为了降低维度。
与传统自编码器相比，变分自编码器是生成式模型，与传统自编码器的关联主要来自架构关系，即编码器和解码器。
但它们的数学表述有很大不同。变分自编码器是加权概率图模型，其目标函数由神经网络逼近。编码器在此生成特征向量，该特征向量以向量方式综合图案(Muster)的数字可参数化属性。
表征图案的不同特征形成该向量的不同维度。可能的特征向量的总和在此被称为特征空间。特征向量简化了自动分类，因为它们大大减少了待分类的属性。代替完整的图像，例如只需要考虑由给定数量的数字组成的向量。然后通过人工神经网络将编码器生成的特征向量分配给预先创建的码本向量。
该方法还包括通过第一层级E1的变分自编码器VAE1接收S2车辆环境检测传感器的传感器数据、尤其是合成生成和/或实际检测的传感器数据SSD、RSD的具有距离信息I1的第一数据记录DS1。
作为替代方案，例如可仅使用合成或实际检测的传感器数据SSD、RSD。
第一层级E1的变分自编码器VAE1将传感器数据的第一数据记录DS1的全局特征GM分配给第一码本向量CBV1。
该方法还包括通过第二层级E2的变分自编码器VAE2接收S3车辆环境检测传感器的传感器数据的第一数据记录DS1。第二层级E2的变分自编码器VAE2将传感器数据的第一数据记录DS1的局部特征LM分配给第二码本向量CBV2。
第一数据记录的全局特征GM被理解为粗略特征。由于本实施方式涉及车辆环境检测传感器的合成传感器数据，因此第一数据记录DS1的全局特征或粗略特征被理解为图形数据或LiDAR点云中包含的被这样识别的对象或者说被识别为全局特征或粗略特征的对象。
在此例如可涉及建筑物、静止或运动的车辆、植被、交通标志、人或类似物。
局部特征LM应理解为包含在车辆环境检测传感器、尤其是LiDAR传感器的合成传感器数据中的对象的精细特征。精细特征例如能够区分一种对象的类型。这意味着例如区分行人类型、如年龄和/或性别的分类，确定车辆类型、如轿车、两轮车或营运车，或植被类型。
该方法还包括用车辆环境检测传感器的传感器数据的具有距离和强度信息I1、I2的第二数据记录DS2调节S4由第一层级E1的变分自编码器VAE1编码的第一特征向量MV1和由第二层级E2的变分自编码器VAE2编码的第二特征向量MV2。
随后，将经调节的第一特征向量MV1和经调节的第二特征向量MV2合并S5成合成的第三特征向量MV3，并对合成的第三特征向量MV3进行解码S6，以生成车辆环境检测传感器的合成传感器数据SSD的具有叠加的距离和强度信息I1、I2的第三数据记录DS3。
参考图2，现在说明用于生成车辆环境检测传感器的具有叠加的距离和强度信息I1、I2的合成传感器数据SSD的方法的时序。传感器数据的第一数据记录DS1首先由分层变分自编码器HVAE的第一编码器ENC1进行编码。第一数据记录DS1的图像分辨率在此降低预定倍数、尤其是24倍。
传感器数据的由第一编码器ENC1编码的第一数据记录DS1随后被划分到第一层级E1和第二层级E2中。
传感器数据的第一数据记录DS1由分层变分自编码器HVAE的第二编码器ENC2在第一层级E1中进行编码。第一数据记录DS1的图像分辨率进一步降低预定倍数、尤其是22倍。
传感器数据的由第二编码器ENC2编码成第一特征向量MV1的第一数据记录DS1然后由第一层级E1的第一自回归人工神经网络KNN1、尤其是人工神经卷积网络分配给与第一特征向量MV1具有最小距离的第一码本向量CBV1。
第一码本向量CBV1然后由分层变分自编码器HVAE的第一解码器DEC1解码。第一码本向量CBV1的图像分辨率在此增加预定倍数、尤其是22倍。
由第一层级E1的第一解码器DEC1输出的第一数据记录DS1与由第二层级E2上的分层变分自编码器HVAE的第一编码器ENC1编码的第一数据记录DS1合并成合成的第三特征向量MV3。
合成的第三特征向量MV3由第二层级E2的第二自回归人工神经网络KNN2、尤其是人工神经卷积网络分配给与合成的第三特征向量MV3具有最小距离的第二码本向量CBV2。
在此，与合成的第三特征向量MV3具有最小距离的第二码本向量CBV2与码本或表的其它码本向量相比具有最大的相似度。常用的距离度量例如是欧几里得距离、加权欧几里得距离和/或马氏距离。
此外，车辆环境检测传感器的传感器数据的第二数据记录DS2由第三编码器ENC3在第三层级E3上编码。在此，第二数据记录DS2的图像分辨率降低预定倍数、尤其是28倍。
传感器数据的由第三编码器ENC3编码成第四特征向量MV4的第二数据记录DS2通过第三层级E3的第三自回归人工神经网络KNN3、尤其是人工卷积神经网络分配给与第二数据记录DS2的第四特征向量MV4具有最小距离的第三码本向量CBV3。
第三码本向量CBV3然后由分层变分自编码器HVAE的第二解码器DEC2或外部变分自编码器解码。由第二解码器DEC2输出的第二数据记录DS2调节由第一层级E1的变分自编码器VAE1编码的第一特征向量MV1和由第二层级E2的变分自编码器VAE2编码的第二特征向量MV2。
此外，用数据记录标识符K调节由第一层级E1的变分自编码器VAE1编码的第一特征向量MV1和由第二层级E2的变分自编码器VAE2编码的第二特征向量MV2。数据记录标识符K表示传感器数据是合成生成的还是实际检测的传感器数据SSD、RSD。
由第二层级E2的第二变分自编码器VAE2编码的第二特征向量MV2然后再次与第一层级E1的第三数据记录DS1合并。
由此产生的向量由第三解码器DEC3进行解码。由此生成车辆环境检测传感器、尤其是LiDAR传感器的具有叠加的距离和强度信息I1、I2的合成传感器数据SSD。
车辆环境检测传感器的合成传感器数据的生成因此包括通过用第二数据记录DS2进行调节以生成第三数据记录DS3来转变由分层变分自编码器接收的输入数据、即第一数据记录DS1，第三数据记录除了第一数据记录DS1中包含的距离信息I1之外还具有改进的强度信息I2。
图3示出第一层级E1和第二层级E2的自回归人工神经网络KNN1、KNN2、尤其是人工神经卷积网络的示例矩阵。人工神经卷积网络使用图3所示的掩码卷积。在此对各像素Z施加一个次序，即按数字方式从左到右在顶部开始并且在底部结束。下一个像素的概率取决于之前生成的一个或多个像素。该模型在此不能读取当前像素下方或右边的像素来进行预测。用于像素生成的传统人工神经卷积网络通常在感受野中具有不能用于预测的盲点BF，如图4所示。
根据本发明(参见图5)，使用两个卷积堆叠(Faltungsstapel)，即一个水平堆叠和一个垂直堆叠，它们允许检测整个感受区域或感受野。
因此，通过组合两个卷积堆叠可消除感受区域中的盲点。水平堆叠在此将当前行调节直至当前像素。垂直堆叠调节其上面的所有行。没有掩码(Maskierung)的垂直堆叠允许感受区域在没有盲点的情况下增长为矩形，并且这两个堆叠的输出在每一层之后组合。
每次预测一个像素时，它都会被反馈到卷积神经网络以预测下一个像素。这种顺序性对于生成高质量图像是不可缺少的，因为它允许每个像素以高度非线性和多模态的方式与先前的像素相关。
水平堆叠的每一层都将前一层的输出以及前一堆叠的输出作为输入。
图6示出根据本发明优选实施方式的用于训练分层变分自编码器的第一层级的流程图。图7示出根据本发明优选实施方式的用于训练分层变分自编码器的第二层级的方法的流程图并且图8示出根据本发明优选实施方式的用于提供用于生成环境检测传感器的合成传感器数据的经训练的机器学习算法的方法的流程图。
下面说明用于训练分层变分自编码器HVAE的第一层级E1和第二层级E2的方法。
该方法包括提供S11分层变分自编码器HVAE，其具有第一层级E1和第二层级E2。在本实施例中，第三层级E3也是分层变分自编码器HVAE3的一部分。
作为替代方案，第三层级E3例如可以不是分层变分自编码器HVAE的一部分。
该方法还包括接收S12、S13第一层级E1的第一自回归人工神经网络KNN1、尤其是人工神经卷积网络的输入训练数据TD1和输出训练数据TD2。
该方法还包括训练S14第一层级E1的第一自回归人工神经网络KNN1、尤其是人工神经卷积网络，以便将输入训练数据TD1的全局特征GM分配给第一码本向量CBV1。
码本向量通过向量量化的方法产生。向量量化包括两个步骤。在第一步骤、即训练中，用经常出现的特征向量创建一个表或码本。在第二步骤中，对于其它向量分别确定具有最小距离的码本向量。
为了数据传输只需要码本向量的索引，如果码本是多维的，索引也可以是一个向量。相应的解码器必须具有相同的码本，并且然后能够由索引生成原始向量的近似。
此外，该方法包括接收S15、S16第二层级E2的第二自回归人工神经网络KNN2、尤其是人工神经卷积网络的输入训练数据TD3和输出训练数据TD4。
该方法还包括训练S17第二层级E2的第二自回归人工神经网络KNN2、尤其是人工神经卷积网络，以便将输入训练数据TD3的局部特征LM分配给第二码本向量CBV2。在此通过第一层级E1的自回归人工神经网络KNN1调节第二层级E2的第二自回归人工神经网络KNN2。
虽然本文已经说明和描述了特定实施方式，但技术人员将理解存在多种替代和/或等效实施方式。应当注意，一种或多种示例性实施方式仅是示例且并不旨在以任何方式限制范围、适用性或配置。
相反，以上概述和详细描述为技术人员提供了实现至少一种示例性实施方式的便利指导，应当理解，在不脱离所附权利要求及其法定等效物的范围的情况下，可对功能范围和元件布置进行各种改变。
一般而言，本申请旨在涵盖本文所示的实施方式的改变、调整或变型。

Claims (15)

1.一种用于生成车辆环境检测传感器、尤其是LiDAR传感器的具有叠加的距离和强度信息(I1、I2)的合成传感器数据(SSD)的计算机实现的方法，所述方法包括下述步骤：
-提供(S1)分层变分自编码器(HVAE)，所述分层变分自编码器具有第一层级(E1)、第二层级(E2)和第三层级(E3)或构造用于与外部变分自编码器的第三层级(E3)通信；
-通过第一层级(E1)的变分自编码器(VAE1)接收(S2)车辆环境检测传感器的传感器数据、尤其是合成生成和/或实际检测的传感器数据(SSD、RSD)的具有距离信息(I1)的第一数据记录(DS1)，第一层级的变分自编码器将传感器数据的第一数据记录(DS1)的全局特征(GM)分配给第一码本向量(CBV1)；
-通过第二层级(E2)的变分自编码器(VAE2)接收(S3)车辆环境检测传感器的传感器数据的第一数据记录(DS1)，第二层级的变分自编码器将传感器数据的第一数据记录(DS1)的局部特征(LM)分配给第二码本向量(CBV2)；
-用车辆环境检测传感器的传感器数据的具有距离和强度信息(I1、I2)的第二数据记录(DS2)调节(S4)由第一层级(E1)的变分自编码器(VAE1)编码的第一特征向量(MV1)和由第二层级(E2)的变分自编码器(VAE2)编码的第二特征向量(MV2)；
-将经调节的第一特征向量(MV1)和经调节的第二特征向量(MV2)合并(S5)为合成的第三特征向量(MV3)；并且
-对合成的第三特征向量(MV3)进行解码(S6)，以生成车辆环境检测传感器的合成传感器数据(SSD)的具有叠加的距离和强度信息(I1、I2)的第三数据记录(DS3)。
2.根据权利要求1所述的计算机实现的方法，其特征在于，传感器数据的第一数据记录(DS1)由分层变分自编码器(HAVE)的第一编码器(ENC1)进行编码，第一数据记录(DS1)的图像分辨率降低预定倍数、尤其是24倍。
3.根据权利要求2所述的计算机实现的方法，其特征在于，传感器数据的由第一编码器(ENC1)编码的第一数据记录(DS1)被划分到第一层级(E1)和第二层级(E2)中，传感器数据的第一数据记录(DS1)在第一层级(E1)中由分层变分自编码器(HAVE)的第二编码器(ENC2)进行编码，第一数据记录(DS1)的图像分辨率被降低预定倍数、尤其是22倍。
4.根据权利要求3所述的计算机实现的方法，其特征在于，传感器数据的由第二编码器(ENC2)编码成第一特征向量(MV1)的第一数据记录(DS1)由第一层级(E1)的第一自回归人工神经网络(KNN1)、尤其是人工神经卷积网络分配给与第一特征向量(MV1)具有最小距离的第一码本向量(CBV1)。
5.根据权利要求4所述的计算机实现的方法，其特征在于，第一码本向量(CBV1)由分层变分自编码器(HAVE)的第一解码器(DEC1)解码，第一码本向量(CBV1)的图像分辨率增加预定倍数、尤其是22倍。
6.根据权利要求5所述的计算机实现的方法，其特征在于，由第一层级(E1)的第一解码器(DEC1)输出的第一数据记录(DS1)与由分层变分自编码器(HAVE)的第一编码器(ENC1)编码的第一数据记录(DS1)第二层级(E2)上合并成合成的第三特征向量(MV3)。
7.根据权利要求6所述的计算机实现的方法，其特征在于，合成的第三特征向量(MV3)由第二层级(E2)的第二自回归人工神经网络(KNN2)、尤其是人工神经卷积网络分配给与合成的第三特征向量(MV3)具有最小距离的第二码本向量(CBV2)。
8.根据前述权利要求中任一项所述的计算机实现的方法，其特征在于，车辆环境检测传感器的传感器数据的第二数据记录(DS2)在第三层级(E3)上由第三编码器(ENC3)编码，第二数据记录(DS2)的图像分辨率降低预定倍数、尤其是28倍。
9.根据权利要求8所述的计算机实现的方法，其特征在于，传感器数据的由第三编码器(ENC3)编码成第四特征向量(MV4)的第二数据记录(DS2)通过第三层级(E3)的第三自回归人工神经网络(KNN3)、尤其是人工卷积神经网络分配给与第二数据记录(DS2)的第四特征向量(MV4)具有最小距离的第三码本向量(CBV3)。
10.根据权利要求9所述的计算机实现的方法，其特征在于，第三码本向量(CBV3)由分层变分自编码器(HAVE)的第二解码器(DEC2)或外部变分自编码器解码，由第二解码器(DEC2)输出的第二数据记录(DS2)调节由第一层级(E1)的变分自编码器(VAE1)编码的第一特征向量(MV1)和由第二层级(E2)的变分自编码器(VAE2)编码的第二特征向量(MV2)。
11.根据前述权利要求中任一项所述的计算机实现的方法，其特征在于，用数据记录标识符(K)调节由第一层级(E1)的变分自编码器(VAE1)编码的第一特征向量(MV1)和由第二层级(E2)的变分自编码器(VAE2)编码的第二特征向量(MV2)，所述数据记录标识符(K)表示传感器数据是合成生成的传感器数据(SSD)还是实际检测的传感器数据(RSD)。
12.一种用于提供经训练的机器学习算法的计算机实现的方法，所述经训练的机器学习算法用于生成车辆环境检测传感器、尤其是LiDAR传感器的具有叠加的距离和强度信息(I1、I2)的合成传感器数据(SSD)，所述方法包括下述步骤：
-提供(S11)分层变分自编码器(HAVE)，其至少具有第一层级(E1)和第二层级(E2)；
-接收(S12、S13)第一层级(E1)的第一自回归人工神经网络(KNN1)、尤其是人工神经卷积网络的输入训练数据(TD1)和输出训练数据(TD2)；
-训练(S14)第一层级(E1)的第一自回归人工神经网络(KNN1)、尤其是人工神经卷积网络，以便将输入训练数据(TD1)的全局特征(GM)分配给第一码本向量(CBV1)；
-接收(S15、S16)第二层级(E2)的第二自回归人工神经网络(KNN2)、尤其是人工神经卷积网络的输入训练数据(TD3)和输出训练数据(TD4)；
-训练(S17)第二层级(E2)的第二自回归人工神经网络(KNN2)、尤其是人工神经卷积网络，以便将输入训练数据(TD3)的局部特征(LM)分配给第二码本向量(CBV2)，其中，通过第一层级(E1)的自回归人工神经网络(KNN1)调节第二层级(E2)的第二自回归人工神经网络(KNN2)。
13.一种用于生成车辆环境检测传感器、尤其是LiDAR传感器的具有叠加的距离和强度信息(I1、I2)的合成传感器数据(SSD)的系统(1)，具有：
-分层变分自编码器(HAVE)，其具有第一层级(E1)、第二层级(E2)和第三层级(E3)或构造用于与外部变分自编码器的第三层级(E3)通信，所述分层变分自编码器(HAVE)构造用于通过第一层级(E1)的变分自编码器(VAE1)接收车辆环境检测传感器的传感器数据、尤其是合成生成和/或实际检测的传感器数据(SSD、RSD)的具有距离信息(I1)的第一数据记录(DS1)，第一层级的变分自编码器将传感器数据的第一数据记录(DS1)的全局特征(GM)分配给第一码本向量(CBV1)，所述分层变分自编码器(HVAE)构造用于通过第二层级(E2)的变分自编码器(VAE2)接收车辆环境检测传感器的传感器数据的第一数据记录(DS1)，第二层级的变分自编码器将传感器数据的第一数据记录(DS1)的局部特征(LM)分配给第二码本向量(CBV2)，其中，所述分层变分自编码器(HAVE)构造用于用车辆环境检测传感器的传感器数据的具有距离和强度信息(I1、I2)的第二数据记录(DS2)调节由第一层级(E1)的变分自编码器(VAE1)编码的第一特征向量(MV1)和由第二层级(E2)的变分自编码器(VAE2)编码的第二特征向量(MV2)，所述分层变分自编码器(HAVE)构造用于将经调节的第一特征向量(MV1)和经调节的第二特征向量(MV2)合并为合成的第三特征向量(MV3)，并且所述分层变分自编码器(HAVE)构造用于对合成的第三特征向量(MV3)进行解码，以生成车辆环境检测传感器的合成传感器数据(SSD)的具有叠加的距离和强度信息(I1、I2)的第三数据记录(DS3)。
14.具有程序代码的计算机程序，用于当该计算机程序在计算机上运行时执行根据权利要求1至11中任一项所述的方法。
15.具有计算机程序的程序代码的计算机可读数据载体，用于当计算机程序在计算机上运行时执行根据权利要求1至11中任一项所述的方法。
CN202180002923.9A 2020-03-02 2021-03-01 用于生成合成传感器数据的计算机实现的方法和系统以及训练方法 Pending CN113711225A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP20160370.1 2020-03-02
EP20160370.1A EP3876157B1 (de) 2020-03-02 2020-03-02 Computerimplementiertes verfahren und system zum erzeugen synthetischer sensordaten und trainingsverfahren
PCT/EP2021/055048 WO2021175783A1 (de) 2020-03-02 2021-03-01 Computerimplementiertes verfahren und system zum erzeugen synthetischer sensordaten und trainingsverfahren

Publications (1)

Publication Number Publication Date
CN113711225A true CN113711225A (zh) 2021-11-26

Family

ID=69743111

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180002923.9A Pending CN113711225A (zh) 2020-03-02 2021-03-01 用于生成合成传感器数据的计算机实现的方法和系统以及训练方法

Country Status (4)

Country Link
US (1) US20220326386A1 (zh)
EP (1) EP3876157B1 (zh)
CN (1) CN113711225A (zh)
WO (1) WO2021175783A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4184213A1 (de) * 2021-11-23 2023-05-24 dSPACE GmbH Verfahren und system zum bestimmen von lidar-intensitätswerten sowie trainingsverfahren

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017006155A1 (de) * 2017-06-29 2017-12-21 Daimler Ag Verfahren zum Betreiben eines Sensorsystems eines Fahrzeugs
US10474160B2 (en) * 2017-07-03 2019-11-12 Baidu Usa Llc High resolution 3D point clouds generation from downsampled low resolution LIDAR 3D point clouds and camera images
DE102017116017A1 (de) * 2017-07-17 2019-01-17 Valeo Schalter Und Sensoren Gmbh Kraftfahrzeug-Sensorvorrichtung mit mehreren Sensoreinheiten und mehreren neuronalen Netzen zum Erzeugen einer kombinierten Repräsentation einer Umgebung

Also Published As

Publication number Publication date
EP3876157B1 (de) 2022-12-14
US20220326386A1 (en) 2022-10-13
WO2021175783A1 (de) 2021-09-10
EP3876157A1 (de) 2021-09-08

Similar Documents

Publication Publication Date Title
KR102551544B1 (ko) 객체 정보 획득 방법 및 이를 수행하는 장치
CN112506342B (zh) 基于动态手势识别的人机交互方法及系统
CN109635685B (zh) 目标对象3d检测方法、装置、介质及设备
US20210081827A1 (en) Fast clustering algorithm based on kernel fuzzy c-means integrated with spatial constraints
CN111008567B (zh) 一种驾驶员行为识别方法
CN110738125A (zh) 利用Mask R-CNN选择检测框的方法、装置及存储介质
CN112990078B (zh) 一种基于生成式对抗网络的人脸表情生成方法
CN113468978B (zh) 基于深度学习的细粒度车身颜色分类方法、装置和设备
CN112733875A (zh) 用于在生成网络中生成合成数据的设备和方法
Zhang et al. Probability contour guided depth map inpainting and superresolution using non-local total generalized variation
CN112241008A (zh) 用于对象检测的方法和系统
US20220366676A1 (en) Labeling device and learning device
CN115048969A (zh) 用于评估、理解和改进深度神经网络的视觉分析系统
CN113711225A (zh) 用于生成合成传感器数据的计算机实现的方法和系统以及训练方法
CN117217368A (zh) 预测模型的训练方法、装置、设备、介质及程序产品
Lu et al. A video prediction method based on optical flow estimation and pixel generation
CN114842370A (zh) 用于训练计算机视觉模型的计算机实现的方法
CN114359361A (zh) 深度估计方法、装置、电子设备和计算机可读存储介质
CN111435457B (zh) 对传感器获取的采集进行分类的方法
US10943099B2 (en) Method and system for classifying an input data set using multiple data representation source modes
Moseva et al. Development of a System for Fixing Road Markings in Real Time
JP2018124963A (ja) 画像処理装置、画像認識装置、画像処理プログラム、及び画像認識プログラム
US11176420B2 (en) Identification device, identification method, and storage medium
WO2018143278A1 (ja) 画像処理装置、画像認識装置、画像処理プログラム、及び画像認識プログラム
WO2021014809A1 (ja) 画像認識評価プログラム、画像認識評価方法、評価装置及び評価システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Paderborn, Germany

Applicant after: Desbeth Co.,Ltd.

Address before: Paderborn, Germany

Applicant before: DSPACE DIGITAL SIGNAL PROCESSING AND CONTROL ENGINEERING GmbH

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination