CN112668603A - 产生识别传感器数据中的对象的识别模型用的训练数据的方法和设备、训练方法和操控方法 - Google Patents

Abstract

本发明涉及一种用于产生用于识别模型(124)的训练数据(126)的方法，所述识别模型用于识别传感器(104)的传感器数据(108)中的对象(120)，其中，在附加传感器(110)的映射至少一个重叠区域(116)的附加传感器数据(114)中，在使用经训练的附加识别模型(118)的情况下识别对象(120)和对象属性(122)，并且将在所述重叠区域(116)中所识别的对象(120)的对象属性(122)传输到映射至少所述重叠区域(116)的传感器数据(108)上，以便产生训练数据(126)。

Description

产生识别传感器数据中的对象的识别模型用的训练数据的方 法和设备、训练方法和操控方法

技术领域

本发明涉及一种用于产生用于识别模型的训练数据的方法和设备，该识别模型用于识别尤其车辆的传感器的传感器数据中的对象，本发明还涉及一种用于训练识别模型的方法和一种用于操控自主机器人的方法。

背景技术

可以在使用训练数据的情况下训练用于自动识别传感器数据中的对象的识别模型。可以手动产生训练数据，其方式为：由人考虑所记录的传感器数据，并且搜索传感器数据中的对象。然后可以将标记分配给找到的对象。标记可以包含关于对象的信息。该信息可以称为对象属性。训练数据可以称为已标记样本。

发明内容

在此背景下，借助在此提出的方案，根据本发明的技术方案，提出一种用于产生用于识别模型的训练数据的方法和相应的设备，该识别模型用于识别传感器的传感器数据中的对象，还提出一种用于训练识别模型的方法和一种用于操控自主机器人的方法，以及最后提出一种相应的计算机程序产品和一种机器可读的存储介质。由说明书得出并且在本发明的扩展技术方案中描述在此提出的方案的有利的扩展方案和改善方案。

本发明的优点

本发明的实施方式能够以有利的方式实现自动地产生用于训练识别模型的训练数据。通过自动的产生能够产生大量的训练数据，由此能够改善对识别模型的训练。还能够降低手动的工作开销。因为通过自动的产生始终使用相同的识别标准并且能够避免不一致性，所以能够实现训练数据的恒定的质量。

提出一种用于产生用于识别模型的训练数据的方法，该识别模型用于识别传感器的传感器数据中的对象，其中，在附加传感器的映射至少一个重叠区域的附加传感器数据中，在使用经训练的附加识别模型的情况下识别对象和对象属性，并且将在该重叠区域中所识别对象的对象属性传输到映射该至少一个重叠区域的传感器数据上，以便产生训练数据。

此外，本发明的实施方式的思想可以视为基于以下描述的构思和认知。

识别模型可以称为模式识别算法。可以在使用训练数据的情况下训练识别模型，以便识别传感器数据中的对象并为这些对象分派对象属性。训练数据可以称为已标记样本。训练数据可以基于传感器的所记录的传感器数据。为了将传感器数据转换为训练数据，可以将在传感器数据中映射的对象标记为对象。可以为所标记的对象分派对象属性。对象属性可以称为标记(Label)。在此处提出的方案中，通过已经训练的识别模型来自动地识别其他传感器数据中的对象和对象属性。将对象属性传输到所记录的传感器数据上。通过附加的附加传感器来检测其他传感器数据，并将该其他传感器数据称为附加传感器数据。因此，已经训练的识别模型称为附加识别模型。还可以将对象属性从附加传感器数据传输到其他传感器的其他传感器数据上，以便获得其他训练数据。

传感器和附加传感器可以具有共同的工作原理。然而，传感器和附加传感器尤其可以具有不同的工作原理。工作原理可以称为模式(Modus)或者说模态

在不同工作原理的情况下，传感器和附加传感器可以称为多模式的传感器。传感器和附加传感器可以检测真实环境中的真实对象。在重叠区域中，传感器和附加传感器可以基本上同时检测到对象。传感器和附加传感器均可以实施为传感器系统，并且可以融合来自多个相同类型的传感器单元的数据。传感器和附加传感器可以机械地彼此耦合。例如传感器和附加传感器可以布置在同一机器人上。机器人可以设计为自主机器人。机器人可以是车辆、尤其是自主或部分自主的车辆。附加传感器可以临时布置在机器人上并指向重叠区域。

为了传输对象属性，可以为传感器数据的数据点分派附加传感器数据的在地点公差内的相应附加数据点的对象属性。数据点可以是例如图像点，并且可以具有图像坐标值和强度值。数据点也可以是空间点，并且具有方向值和距离值。一个区域内的多个数据点可以代表一个共同的对象。经训练的识别模型可以识别数据点与相同对象的从属关系。

对象和对象属性可以与传感器数据同步。可以以不同的采样频率来检测附加传感器数据和传感器数据。通过不同的采样频率可能导致传感器处和附加传感器处的不同的检测时刻。在对象在检测时刻之间发生相对运动时，在重叠区域中可以在不同位置处检测到对象。在进行同步时，可以同步两个传感器的记录时刻。然后在记录之前进行同步。然后，同样同步对象和对象属性，因为该对象和对象属性与附加传感器记录时刻相对应。

为了同步，可以在使用传感器运动信息的情况下补偿传感器在对象的(通过附加传感器的)附加检测时刻与对象的(通过传感器的)检测时刻之间的传感器运动。例如可以通过机器人的控制设备提供传感器运动信息。同样可以通过运动传感器、例如惯性传感装置来提供传感器运动信息。

替代地或补充地，为了同步，可以在使用对象运动属性的情况下补偿对象在对象的(通过附加传感器的)附加检测时刻与对象的(通过传感器的)检测时刻之间的对象运动。由至少两个时间上错开的检测时刻和/或附加检测时刻可以求取对象的轨迹。可以对直至检测时刻或附加检测时刻的对象运动进行插值。

可以由共同的传感器平台来检测传感器数据和附加传感器数据。传感器和附加传感器可以机械地彼此耦合。如此，传感器和附加传感器可以基本同步地运动。通过共同的传感器平台，传感器和附加传感器在重叠区域上可以具有基本上相同的视角。如此，可以简单地传输对象属性。

可以由第一模态的传感器来读取传感器数据。可以由第二模态的附加传感器来读取附加传感器数据。传感器和附加传感器可以具有不同的工作原理。传感器例如可以是雷达传感器。附加传感器例如可以是激光雷达传感器。可以简单地训练附加识别模型用于附加传感器。

可以在识别对象属性之前在使用模拟训练数据的情况下训练附加识别模型。模拟训练数据可以是人工产生的训练数据。模拟训练数据可以映射典型的情况和对象。在模拟训练数据中可以选择定义的边界条件。

可以在使用产生模型的情况下产生模拟训练数据。产生模型可以包括附加传感器的传感器模型、传播模型和至少一个虚拟对象的对象模型。在使用传感器模型的情况下可以模拟附加传感器的波发射(Wellenemission)。在使用传播模型的情况下可以将波发射通过虚拟环境到对象的传输模拟为到达的波。在使用对象模型的情况下，可以模拟经传输的波发射在对象处的反射。在使用传播模型的情况下，可以将该反射通过虚拟环境到附加传感器的传输模拟为到达的波。在使用传感器模型的情况下，可以模拟通过附加传感器对经传输的反射的探测。可以将虚拟对象的由对象模型提供的至少一个对象属性分派给所探测的反射，以便产生模拟训练数据。产生模型可以是对实际的高度现实的映射。在产生模型中可以产生在现实中仅能随机出现的情况。由此也可以针对困难的情况产生模拟训练数据。如此可以提高附加识别模型的识别质量。

该方法可以例如以软件或硬件形式或以软件与硬件的混合形式例如在控制设备中实现。

在此提出的方案还实现一种设备，该设备构造用于在相应的装置中执行、操控或实现在此提出的方法的变型方案的步骤。

该设备可以是电设备，该电设备具有用于处理信号或数据的至少一个计算单元、用于存储信号或数据的至少一个存储单元以及用于读取或输出嵌入在通信协议中的数据的至少一个接口和/或通信接口。计算单元例如可以是信号处理器、所谓的系统ASIC或微控制器，其用于处理传感器信号并且根据传感器信号输出数据信号。存储单元例如可以是闪存、EPROM或磁存储单元。接口可以构造为用于从传感器读取传感器信号的传感器接口和/或构造为用于向执行器输出数据信号和/或控制信号的执行器接口。通信接口可以构造为用于无线地和/或有线地读取或输出数据。接口也可以是例如与其他软件模块一起存在于微控制器上的软件模块。

也有利的是一种具有程序代码的计算机程序产品或计算机程序，该程序代码能够存储在机器可读的载体或存储介质上(例如半导体存储器、硬盘存储器或光学存储器)，并且用于尤其当该程序产品或程序在计算机或设备上实施时，执行、实现和/或操控根据上述实施方式中任一项所述的方法的步骤。

此外提出一种用于训练识别模型的方法，其中，基于借助上述方法中的一个所产生的训练数据实现识别模型。

此外提出一种用于操控自主机器人、尤其是至少部分自动化的车辆的方法，其中，基于借助如此训练的识别模型产生的数据来操控该机器人。

在操控中例如可以匹配机器人的纵向动力学和/或横向动力学。例如可以基于对沿着车辆的所规划的行驶轨迹的对象的识别来采取车辆的规避操纵和/或紧急停止。

应指出，在此参考不同的实施方式描述本发明的若干可能的特征和优点。本领域技术人员应认识到，可以以适当的方式组合、匹配或交换设备和方法的特征，以便获得本发明的其他实施方式。

附图说明

下面参照附图描述本发明的实施方式，其中，附图和说明书均不应解释为限制本发明。

图1示出具有根据一种实施例的设备的车辆的图示；

图2示出根据一种实施例的方法的流程图；

图3a示出用于根据一种实施例的方法的产生模型的图示；

图3b示出用于根据一种实施例的方法的产生模型的流程图。

附图仅是示意性的，并非按比例的。在附图中，相同的附图标记表示相同的或相同作用的特征。

具体实施方式

图1示出具有根据一种实施例的设备102的车辆100的图示。车辆100例如可以是自主或部分自主的机动车。车辆100具有传感器104，该传感器104检测车辆前方的检测区域106，并将检测区域映射到传感器数据108中。车辆100还具有附加的附加传感器110。附加传感器110同样检测车辆100前方的附加检测区域112，并将附加检测区域112映射到附加传感器数据114中。检测区域106和附加检测区域112在重叠区域116中重叠。附加传感器110可以临时布置在车辆100上。附加传感器110同样可以是车辆100的传感器系统的组成部分。

用于附加传感器110的已经训练的附加识别模型118识别附加检测区域112中的映射在附加传感器数据114中的对象120，并且为对象120分派对象属性122。在此，附加识别模型118具有算法，该算法已经通过“训练”被训练用于识别附加传感器数据114中的对象120。在此，在使用标记样本的情况下实现该训练。在标记样本中标记具有可识别对象的区域，并且附加地存储对象的相应对象属性。附加识别模型已经基于标记样本学习了识别对象120。

为传感器104分配用于识别传感器104的传感器数据108中的对象120的识别模型124。设备100构造为用于产生用于识别模型124的训练数据126。训练数据126可以称为标记样本。在收集训练数据126之后，可以将该训练数据用于训练识别模型124。为此目的，也可以使用设备100的多个实体(Instanzen)，从而首先产生训练数据126的多个变体，然后将该多个变体合并成训练数据126的更大的标记样本。为此，设备102具有传输装置128。传输装置128将在使用附加识别模型118情况下在重叠区域116中识别的对象120的对象属性122或标记传输到传感器数据108上，以便产生用于识别模型124的训练数据126。训练数据或标记样本126也可以用于训练识别模型124以外的其他目的，例如用于评估或优化或者说调整未经训练的或借助其他装置训练的用于传感器108的识别模型。

传感器104可以例如是雷达传感器，而附加传感器110可以是激光雷达传感器。传感器104和附加传感器110因此可以具有不同的工作原理。

通常，首先借助一个车辆或一组车辆来记录样本。然后，在车辆外部、例如在服务器上进行训练。借助附加模型118进行识别和借助传输装置128将标记传输或插值到样本上也可以“事后”在车辆外部进行。

识别模型124的训练虽然是自动产生的标记样本的最重要的应用，但不是唯一的应用。

图2示出根据一种实施例的方法的流程图。该方法例如可以在如在图1中的设备上实施。该方法具有识别步骤200和传输步骤202。在识别步骤200中，在使用附加识别模型118的情况下在附加传感器的附加传感器数据114中识别对象120及其对象属性122。在传输步骤202中，将在重叠区域内识别到的对象的对象属性122自动地传输到传感器的传感器数据108上，以便产生用于传感器的识别模型124的训练数据126。

在传输步骤202中，在此使用附加传感器数据114的数据点(在该数据点处由附加识别模型118识别出对象120)的坐标，以便将所识别的对象120的对象属性122分配给具有基本相同坐标的传感器数据108的数据点。换句话说，将已识别对象120的对象属性122分配给传感器数据108的基本相同的区域，在该区域中在附加传感器数据114中识别出对象120。

在一种实施例中，使附加传感器数据114与传感器数据108同步，以便在对象与传感器之间相对运动时降低由于在不同传感器处的检测时刻不同而引起的位移。

在在前的检测步骤204中，在使用传感器和附加传感器的情况下检测传感器数据108和附加传感器数据114。在随后的训练步骤206中，在使用训练数据126的情况下训练识别模型124。

在一种实施例中，预先在附加的训练步骤208中在使用模拟训练数据210的情况下训练附加识别模型118。可以在使用产生模型的情况下在产生步骤212中合成地产生模拟训练数据210。

图3a示出用于根据一种实施例的方法的产生模型300的图示。产生模型300例如可以用于产生步骤中以产生附加训练数据。产生模型300包括传感器模型302、传播模型304和对象模型306。

传感器模型302虚拟地映射附加传感器110。传播模型304虚拟地映射传感器模型302的波发射308的行为。对象模型306虚拟地映射由其对象属性标记的至少一个对象310。

在使用传感器模型302的情况下模拟附加传感器110处的波发射308。在此，在附加传感器110的传输路径中模拟光学元件处的光学效应，或一般地模拟对电磁波产生影响的元件处的电磁效应，或例如在超声传感器的情况下模拟声学元件处的声学效应。光学效应或一般地电磁效应或声学效应是例如衰减、折射、散射和/或反射。

在使用传播模型304的情况下模拟波发射308通过虚拟环境直至虚拟对象310的传播。在此，例如模拟附加传感器110与虚拟对象310之间的空气成分(例如颗粒和气溶胶)处的光学效应。在此，通过对象310与附加传感器110的距离作为对象属性中的一个来定义光学效应。

在使用对象模型306的情况下模拟到达的波发射308的反射312。通过预给定的对象属性来定义虚拟对象310。对象属性例如是对象310的类型、对象310的颜色、对象310的表面结构、对象310相对于附加传感器110的取向和/或对象310相对于附加传感器110的速度。在此例如模拟对象310的表面上的光学效应。

在相反的路径上，在使用传播模型304的情况下模拟该反射312通过虚拟环境直至附加传感器110的传播。

然后，在使用传感器模型302的情况下模拟通过附加传感器110的对到达的反射312的接收。在此例如模拟附加传感器110的接收路径中的光学元件处的光学效应。因此，产生模型300输出基本上与真实产生的原始数据相对应的原始数据。附加地，在通过产生模型300产生的附加训练数据中包含至少一个对象310的对象属性。

图3b示出用于根据一种实施例的方法的产生模型的流程图。在此，产生模型300基本上相应于图3a中的产生模型。传感器模型302计算由附加传感器发射的波308。传播模型304由此计算到达对象的波309。对象模型306计算由对象反射的波312。传播模型304计算到达附加传感器的波313，并且传感器模型302计算由传感器输出的例如为点云的原始数据。

本发明的其他详细描述

换句话说，提出一种在使用其他模态的合成的数据的情况下训练用于自主机器人的传感器模态的识别模型的方法。

机器人技术领域的一个重要问题是环境感知或者说认知(Perception)。在此涉及，借助传感器来检测并且借助模式识别方法来识别自主或部分自主行动的机器的周围环境，即将传感器数据转化为对周围环境的相关方面的符号描述(symbolischeBeschreibung)。然后，该符号描述形成在环境中实施动作的基础，该动作与机器的应用或者说使用目的相对应。机器例如可以涉及自主或部分自主的车辆，或更一般地涉及自主或部分自主行动的机器人。周围环境的符号描述的典型示例是借助属性来描述静态和动态对象，该属性表征例如各个对象的位置、形状、大小和/或速度。对象例如涉及障碍物，应避免与该障碍物的碰撞。

这种环境感知通常基于由单个传感器或多个传感器的组合所提供的数据。例如将这些传感器——摄像机、雷达、激光雷达和超声传感器组合成多模式的传感器组。

处理这些传感器数据以生成周围环境的符号代表是模式识别的一个复杂问题。最好的识别性能(即最小的错误概率)通常借助经训练的方法来实现，尤其借助人工的“深度”神经网络(例如深度神经网络/深度学习)，其架构具有更大数量的隐藏层(versteckterSchichten或hidden layers)。

为了能够训练这种方法并且实现好的识别性能，需要确定大小的标记样本，该标记样本由所记录的传感器测量以及所属的标记(即由传感器所检测的对象的符号描述)组成。此外，需要标记样本来保障、评估和验证这种环境识别方法。

迄今，通常使用手动的标记方法，在该手动的标记方法中人工操作员基于自身车辆的周围环境的图像数据和/或非基于图像的传感器数据的可视化来产生周围环境的参考标记。这些手动的方法既耗时又昂贵。因此能够以这种方式产生的已标记的传感器数据的数量受到限制。此外，由于人工操作员的错误而导致手动标记的传感器数据具有不准确性，以及由于通过不同的人工操作员不同地实施手动的标记而导致手动标记的传感器数据具有不一致性。

通过在此提出的方案能够改善经训练的方法的识别性能。

为此，借助由两个阶段组成的方法自动地(即在无人工操作员且无手动标记的情况下)产生机器人的周围环境的符号表示或者说标记。借助将标记分配给所记录的传感器数据，如此能够自动地生成传感器数据的标记样本。

该方法基于：在第一阶段中，借助训练从第一模态的传感器数据中产生用于模式识别的模型(以下称为“阶段一的识别模型”)。在训练结束之后，如果存在第一模态的传感器数据，则阶段一的识别模型允许自动地生成用于周围环境的符号描述的标记。在此，合成地产生训练数据(即第一模态的传感器数据的标记样本)，训练数据因此表示模拟的结果。在模拟内使用第一模态的模型，以便从模拟的环境表示中合成地生成该模态的传感器数据。该模型称为“产生模型”。第一传感器模态例如可以涉及激光雷达。

在该方法的第二阶段中，借助配备有传感器的车辆或者说机器人来记录真实的、即非模拟的传感器数据。在此使用第一模态的传感器以及不同的第二模态的另一传感器。在此，第一模态的视场应至少与第二模态的视场一样大。在此，可以将相同模态的多个传感器的视场进行组合。然后，使用阶段一的识别模型来处理第一模态的传感器数据，以便生成周围环境的标记。因为第二传感器的视场不大于第一传感器的视场，所以能够将这些标记传输到第二传感器的数据上。在此可能需要对标记进行时间上的插值。

通过将这些标记传输到传感器二的所记录的数据上，产生用于第二模态的标记样本。可以考虑将该标记样本用于训练用于识别第二模态的传感器数据的模型(“阶段二的识别模型”)。因此，对于该第二模型，仅使用真实的或者说非合成的传感器数据及其标记。

第二模态例如可以涉及雷达，而阶段二的识别模型例如可以涉及深度神经网络。

该方法的优点是，能够快速且以相对较低的成本产生已标记的训练数据，并且仍然能够实现这些训练样本的标记的高质量。由此得出，能够生成相对丰富的训练样本。还由此得出，借助这些已标记的样本产生的识别模型(例如深度神经网络(DNN))可以实现高的识别准确度和可靠性。

能够快速且成本有利地产生已标记的训练数据的优点不仅适用于该方法的第一阶段而且适用于该方法的第二阶段。因为在第一阶段中通过模拟产生已标记的传感器数据，所以既不需要配备有传感器和用于记录传感器数据的设备的车辆也不需要人工驾驶员。也不需要通过人工操作员进行手动标记。

第一阶段中的传感器数据的品质基于：在此选择一个传感器模态，对于该传感器模态能够定义一个产生模型，该产生模型以良好的近似模拟该传感器模态的物理特性。在使用这种模态的真实的物理传感器时，只要合成的数据与真实的数据在很大程度上一致，则这导致合成的传感器数据的好的质量。标记的质量也高，因为在模拟中所模拟的静态和动态对象的实际属性直接可供使用。附加地，如果对于模态一的识别模型的训练有必要或有帮助，则同样能够使用传感器数据与对象或其属性的关联，因为这些关联同样能够由模拟提供。

同样在第二阶段中，该方法的优点是，能够相对快速且成本有利地生成第二传感器模态的标记样本。在第二阶段中，虽然有必要为一个或多个车辆或者说机器人配备两个模态的传感器以及用于记录这些传感器数据的设备，但是在第二阶段中也不需要高开销地手动标记所记录的数据。这是因为，能够将识别模型(即第一阶段的结果)应用在第一模态的传感器数据上，以便产生标记。然后将这些标记传输到第二模态上。

两阶段方法的另一优点在于，只要能够实现以良好的近似正常工作的产生模型，则第二阶段的传感器模态的选择不受限制。这仅对于第一阶段的模式是必需的。这是一个显著的优点，因为对于系列车辆中的实际使用通常优选以下模态：对于该模态不能实现或仅能以高开销实现准确的产生模型。例如，对于第一阶段建议使用激光雷达，因为激光雷达的激光束在对象的表面处反射，因此能够相对简单地从模拟的车辆周围环境中合成地计算激光雷达点云。与此相反，在雷达传感器的模拟中，必须考虑相对复杂的物理效应和对象的特性(包括其材料特性)，因为雷达波不会简单地在表面处进行反射。然而，当在第二阶段中针对雷达使用该方法时，这并不构成问题，因为在第二阶段中无需进行模拟，而是通过识别并行记录的激光雷达数据来获得(在该示例中)雷达数据的标记样本。另一方面，与激光雷达相比，在系列车辆中使用雷达具有以下优点：能够以相对有利的成本提供已经在实际中经检验和建立的雷达传感器。

此外，该方法的一个优点是，能够将第二阶段扩展到其他传感器模态上。这可以是一个显著的优点，因为在视场与第一模态的视场重叠的情况下，也能够将自动产生的标记传输到其他传感器模态上，从而又不需要手动的标记。多模式传感器组对于自主驾驶或部分自主驾驶的应用是期望的，因为如此实现的冗余提高了系统的稳健性和可靠性，尤其是当模态中的一种的条件较差并且这能够通过另一模态进行补偿时。

在图2中示出具有已经提及的两个阶段的方法的流程。在阶段一中，通过包括产生模型在内的模拟工具，通过模拟来产生模态一的传感器数据的合成的标记样本。在训练第一模态的识别模型之后可以实施阶段二。

通过用于记录多模式传感器数据的未标记样本的设备(例如配备有传感器以及用于记录和存储传感器数据的设备的车辆)记录模态一和模态二的传感器数据的未标记样本。通过用于模态一的识别模型，借助用于模态一的识别模型来进行自动的标记生成，并且产生两个模态的传感器数据的标记样本。

通过训练用于模态二的识别模型，第二模态的识别模型也能够识别对象。

在第一阶段中产生第一模态的传感器数据的合成的标记样本。这借助模拟工具来进行，该模拟工具不仅模拟自身车辆的运动而且模拟自身车辆的周围环境中的其他车辆的运动。附加地，还模拟静态的周围环境，从而在任意时刻都产生自身车辆的静态周围环境和动态周围环境，其中，可以适当地选择对象属性并且因此能够推导出对象的相关标记。由产生模型来生成这些对象的合成的传感器数据，该产生模型是模拟工具的一部分。

产生模型基于：通过数学并通过算法准确地描述第一传感器模态的物理特性，并且在此基础上实现软件模块，该软件模块由所模拟对象的属性、物理传感器的各个实施方式的特性以及虚拟传感器在模拟中的位置通过计算产生预期的传感器测量数据。

在实现产生模型时可以区分不同的子模型或者说相应的软件组件。

在此将激光雷达描述为模拟传感器。首先，传感器模型在考虑到传感器特性的情况下描述并计算传感器波的发射。在此，传感器特性是模态特定的并且还取决于传感器的各自的结构类型和变型方案。其次，传感器模型描述并计算由对象反射的传感器波的接收。

在此将激光描述为传感器波。传感器波传播模型计算传感器波在被传感器发射之后直至照射到相关对象上的传播(例如散射、衰减)，以及类似地，由对象反射的传感器波直至被传感器探测到为止的传播。

所模拟的动态对象例如可以是车辆或行人。所模拟的静态对象例如可以是障碍物、护栏或交通标志。对象模型例如通过对激光雷达中的激光的光线追踪根据诸如表面特性之类的对象特性来计算传感器波的行为及其在照射到对象上时的反射。

传感器模型一方面取决于所使用的模态(例如激光雷达)。但是另一方面，传感器模型对于在第二阶段中实际使用的传感器的各自的结构类型和(必要时)各自的硬件版本和软件版本或者说配置尤其是特定的。例如，在考虑到在该方法的阶段二中所使用的物理激光雷达传感器的特定的特性的情况下，激光雷达传感器模型模拟由激光雷达传感器的各个实施方式所发射的激光束。这些特性例如包括：激光雷达的层的数量(即垂直分辨率)、水平方向上的分辨率、旋转速度(如果涉及旋转激光雷达)或频率，以及水平和垂直发射角或视场。传感器模型还模拟从对象反射回来的传感器波的探测，该探测最终导致传感器测量。

传感器波传播模型同样是产生模型的一部分。该传感器波传播模型描述和计算传感器波的变化，一方面在从传感器到相关对象的路径上，另一方面在从对象返回到传感器的探测单元的路径上。在此考虑物理效应，例如取决于所走过路径的衰减或取决于周围环境特性的散射。

最后，产生模型还包含至少一个对象模型，该至少一个对象模型的任务是从到达各个相关对象的传感器波中计算出变化的传感器波，该变化的传感器波通过以下方式产生：由传感器发射的波的一部分由对象反射回来。对象模型考虑影响传感器波的反射的对象属性。在激光雷达的示例中，诸如颜色的表面特性是重要相关的，或确定激光的照射角度的对象形状也是重要相关的。

这些部件的描述适用于基于以下事实的传感器模态：诸如激光雷达、雷达或超声传感器之类的传感器主动发射传感器波。在被动的传感器模态(例如摄像机)的情况下，同样能够将产生模型细分为所描述的部件，但是计算部分地不同。例如在传感器模型中省去波的产生，并且替代地通过用于产生环境波的模型来取代。

阶段一的识别模型例如可以涉及用于识别激光雷达点云(“point clouds”)的深度神经网络(DNN)。动态对象的待识别的属性通常是随时间变化的位置，这也可以理解为对象轨迹。附加地，通常识别描述对象大小的属性，其中，作为简化的近似，经常假定对象的确定的形状(“Bounding Box”：边界框)。

为了具体实现对第一模态的数据的识别，一种明显的可能性是使用基于“单帧”的DNN来探测对象，在此即为：最初并不在确定的时间段内累积传感器数据的信息，而是分别仅将(例如一次激光雷达扫描的)单个帧的数据提供给DNN作为输入。然后可以将如此探测到的对象与先前已经探测到的对象(如果存在)相关联，并且借助已建立的对象追踪(“object tracking”)方法(例如借助卡尔曼滤波)能够确定轨迹的时间变化过程。

替代地，同样能够借助已学习的方法来执行追踪。例如可以将单帧DNN与递归神经网络(RNN)链接，从而对于在确定的时刻确定对象状态，还可以由深度神经网络将来自过去的信息考虑在内。

在第二阶段中记录多模式的、真实的传感器数据。由第一模态的识别模型来产生针对这些数据的标记，该识别模型在第一阶段中已借助合成的标记样本进行训练。尽管针对第一模态的数据执行这种识别，但是如果第二模态的视场是第一模态的视场的子集，则能够将该标记传输到或者说应用在第二模态的数据上。

如果不同模态的传感器测量的频率不一致，或者在记录中传感器不同步，则在这种传输中需要对标记进行时间上的插值。

在阶段二中产生的标记样本的一个典型的应用是训练识别模型，例如深度神经网络，该识别模型获得第二模态的传感器数据作为输入并且识别静态和动态对象，从而输出对重要相关的对象属性的估计。类似于上述阶段一的识别模型，该识别模型可以涉及“单帧”DNN，并且单独地执行卡尔曼追踪。同样地，类似于阶段一的识别模型，替代地，包括追踪在内的整个识别可以借助经训练的方法来执行。

该标记样本的另一应用是基于模态二的传感器数据来评估用于环境感知的软件模块的识别准确性，例如，如果该模块未使用在样本上训练的任何方法。如果待评估的模块是由借助标记样本进行训练而得到的，该标记样本借助在此提出的方法产生，则如果能够表明借助来自阶段一的识别模型生成的标记在重要相关的指标方面在质量上优于来自阶段二的识别模型的结果，则评估仍然是有意义的。在这种情况下，可以将第一模态的传感器和来自阶段一的识别模型视为参考系统。

总之，提出一种用于在第一阶段中生成合成的标记样本的方法以及一种在第二阶段中所得识别模型的应用。该方法可以在设备上实施，该设备首先产生合成数据的标记样本并且随后借助训练产生用于第一模态的识别模型。借助该设备或与其分离的设备，接着能够记录真实数据，并且借助用于模态一的识别模型来标记第二模态的传感器数据。

最后，应指出的是，诸如“具有”、“包括”等的术语不排除其他元素或步骤，诸如“一个”或“一”之类的术语不排除多个。权利要求中的附图标记不应视为限制。

Claims (14)

1.一种用于产生用于识别模型(124)的训练数据(126)的方法，所述识别模型用于识别传感器(104)的传感器数据(108)中的对象(120)，其中，在附加传感器(110)的映射至少一个重叠区域(116)的附加传感器数据(114)中，在使用经训练的附加识别模型(118)的情况下识别对象(120)和对象属性(122)，并且将在所述重叠区域(116)中所识别的对象(120)的所述对象属性(122)传输到映射至少所述重叠区域(116)的传感器数据(108)上，以便产生所述训练数据(126)。

2.根据权利要求1所述的方法，在所述方法中，将所述对象(120)和所述对象属性(122)与所述传感器数据(108)同步。

3.根据权利要求2所述的方法，在所述方法中，为了同步，在使用传感器运动信息的情况下补偿所述传感器(104)在对象(120)的通过所述附加传感器(110)的附加检测时刻与所述对象(120)的通过所述传感器(104)的检测时刻之间的传感器运动。

4.根据权利要求2至3中任一项所述的方法，在所述方中，为了同步，在使用对象运动属性的情况下补偿对象(120)在所述对象(120)的通过所述附加传感器(110)的附加检测时刻与所述对象(120)的通过所述传感器(104)的检测时刻之间的对象运动。

5.根据以上权利要求中任一项所述的方法，在所述方法中，由一个共同的传感器平台检测所述传感器数据(108)和所述附加传感器数据(114)。

6.根据以上权利要求中任一项所述的方法，在所述方法中，由第一模态的传感器(104)来读取所述传感器数据(108)，并且由第二模态的附加传感器(110)来读取所述附加传感器数据(114)。

7.根据以上权利要求中任一项所述的方法，在所述方法中，在识别所述对象属性(122)之前，在使用模拟训练数据(210)的情况下训练所述附加识别模型(118)。

8.根据权利要求7所述的方法，在所述方法中，在使用产生模型(300)的情况下产生所述模拟训练数据(210)，其中，所述产生模型(300)包括所述附加传感器(110)的传感器模型(302)、传播模型(304)和至少一个虚拟对象(310)的对象模型(306)其中，在使用所述传感器模型(302)的情况下模拟所述附加传感器(110)的波发射(308)，在使用所述传播模型(304)的情况下将所述波发射(308)通过虚拟周围环境至所述对象(310)的传输模拟为到达的波(309)，在使用所述对象模型(306)的情况下模拟所传输的波发射(308)在所述对象(310)处的反射(312)，在使用所述传播模型(304)的情况下将所述反射(312)通过所述虚拟周围环境至所述附加传感器(110)的所述传输模拟为到达的波(313)，并且在使用所述传感器模型(302)的情况下模拟通过所述附加传感器(110)对所传输的反射(312)的探测，其中，将所述虚拟对象(310)的由所述对象模型(306)提供的至少一个对象属性(122)分派给所探测的反射(312)，以便产生所述模拟训练数据(210)。

9.根据以上权利要求中任一项所述的方法，其中，借助摄像机、雷达、激光雷达和/或超声传感器来检测所述传感器数据(108)和/或所述附加传感器数据(114)。

10.一种用于训练识别模型(124)的方法，其特征在于，在使用借助根据权利要求1至9中任一项所述的方法产生的训练数据(126)的情况下训练所述识别模型(124)。

11.一种用于操控自主机器人、尤其至少部分自动化的车辆(100)的方法，其特征在于，在使用根据权利要求10训练的识别模型(124)的输出的情况下操控所述机器人。

12.一种设备(102)，其中，所述设备(102)构造为用于在相应的装置中实施、实现和/或操控根据以上权利要求中任一项所述的方法。

13.一种计算机程序产品，所述计算机程序产品设置为用于实施、实现和/或操控根据权利要求1至11中任一项所述的方法。

14.一种机器可读的存储介质，在所述机器可读的存储介质上存储有根据权利要求13所述的计算机程序产品。

Images