CN115482352A - 用于训练机器学习算法的方法和装置 - Google Patents

Abstract

本公开提供了用于训练机器学习算法的方法和装置。一种用于训练机器学习算法的方法，该机器学习算法依赖于由至少一个主要传感器捕获的主要数据。基于由至少一个辅助传感器提供的辅助数据来标识标签。通过基于主要数据并且基于辅助数据确定主要传感器针对标签的感知能力，向各个标签分配关心属性或不关心属性。通过机器学习算法生成针对标签的模型预测。针对模型预测定义损失函数。对于所有标签，允许对损失函数的负贡献。对于具有关心属性的标签，允许对损失函数的正贡献，而对于具有不关心属性的标签，仅在针对相应标签的模型预测的置信度大于阈值时才允许对损失函数的正贡献。

Description

用于训练机器学习算法的方法和装置

技术领域

本公开涉及用于训练机器学习算法的方法和装置，所述机器学习算法被配置成处理由至少一个主要传感器捕获的主要数据，以确定主要传感器的环境中的实体的至少一个属性。

背景技术

对于驾驶员辅助系统并且对于载具的自主驾驶，可靠地感知和理解载具的环境是重要的。为了理解载具周围的环境，通常使用雷达传感器，并且可以对雷达传感器捕获的雷达数据应用机器学习算法。通过这种机器学习算法，可以为在载具的环境中检测到的对象估计边界框，或者可以执行语义分割以对检测到的对象进行分类。

然而，机器学习算法需要受监督学习或训练过程，对于这些过程，使用标记数据。用于受监督学习的标记数据包括来自雷达传感器的数据或输入以及与该输入相关的也被称为基本事实(ground truth)的标记。换句话说，对于学习或训练过程，必须提供输入数据，对于该输入数据，预期的输出被称为机器学习算法的基本事实。

标记数据的获取目前是冗长的过程，其包括记录输入数据，处理数据以及数据标记，例如通过人工或自动注释来标记。对于通常由载具中的雷达传感器获取的稀疏雷达点云，识别和标记对象是非常具有挑战性的任务。如果预处理的雷达数据包括关于距离、临近速度(range rate)和针对载具环境中的对象的天线响应的信息(这种数据被称为三维压缩数据立方体)，则不能直接对雷达数据进行数据标记。

为了为使用雷达数据的机器学习算法提供可靠的基本事实，可以获取来自不同传感器的数据，例如，来自摄像头或激光雷达(LIDAR)系统。与稀疏雷达数据相比，这样的数据由于它们的密集结构而较容易被标记。基于来自不同或辅助传感器的数据生成的标签可被传送到雷达域并用作针对雷达输入数据的基本事实。这种过程被称为跨域标记或跨域训练。即，可以使用例如来自摄像头或来自LIDAR系统的密集辅助数据来提供标签，所述标签用于训练依赖于雷达传感器提供的主要数据的机器学习算法。

然而，对象或标签仅可以对于辅助或源传感器是可识别的，即在密集的LIDAR数据或摄像头数据内，而对于提供稀疏雷达点云的主雷达传感器而言是不可标识的。结果，训练过程迫使机器学习算法预测无法在相应的主雷达数据中找到签名的对象或标签。也就是说，机器学习算法被迫“看”几乎无法经由雷达传感器获得数据的标签或对象。如果使用硬样本挖掘技术(使用例如聚焦损失)来执行训练，则加重了这个问题。这些技术在训练期间会将指数增加的速率分配给有害样本或标签。因此，对于所得到的经训练的模型，会增加误检测率。

因此，需要一种能够增加跨域训练过程的可靠性的方法和装置，所述跨域训练过程是使用来自辅助传感器的数据来训练依赖于来自主要传感器的数据的机器学习算法的过程。

发明内容

本公开提供了由计算机实现的方法、装置、计算机系统和非暂时性计算机可读介质。在说明书和附图中给出了实施方式。

在一个方面，本公开针对一种用于训练机器学习算法的由计算机实现的方法，所述机器学习算法被配置成处理由至少一个主要传感器捕获的主要数据，以确定所述至少一个主要传感器的环境中的实体的至少一个属性。根据所述方法，通过至少一个辅助传感器提供辅助数据，并且基于所述辅助数据来标识标签。经由处理单元，通过基于由所述至少一个主要传感器捕获的所述主要数据并且基于由所述至少一个辅助传感器捕获的所述辅助数据确定所述至少一个主要传感器针对相应标签(19)的感知能力，向所标识的各个标签分配关心属性或不关心属性。通过所述机器学习算法生成针对所述标签的模型预测。定义针对所述模型预测的损失函数。对于所有标签，允许对所述损失函数的负贡献，并且对于具有关心属性的标签允许对所述损失函数的正贡献，对于具有不关心属性的标签，仅在针对相应标签的模型预测的置信度值大于预定阈值时，才允许对损失函数的正贡献。

总体上，所述方法包括两个阶段或级。在第一阶段，标签被提供作为基本事实，以生成训练过程本身的先决条件。具体地，通过注释来自至少一个辅助传感器的辅助数据来标识标签，所述辅助传感器可以是捕获密集辅助数据的LIDAR系统或摄像头。在第二阶段，通过基于损失函数评估关于标签的模型预测来执行机器学习算法的训练。除了简单地基于辅助数据提供标签以实现跨域训练之外，各个标签接收附加属性，该附加属性控制在训练过程期间如何考虑相应标签。

所述至少一个主要传感器可以安装在载具中，并且可以包括提供稀疏雷达点云的雷达传感器。因此，主要传感器的环境中的实体可以是载具周围的对象。对于这样的实体或对象，机器学习算法通过生成包围相应对象的边界框来确定至少一个属性，例如对象的空间位置。作为用于确定实体的至少一个属性的另一示例，可以执行语义分割，该语义分割可以将载具周围的对象分配到相应的对象类。这样的对象类可以是“其他载具”、“行人”、“动物”等。

对于机器学习算法的训练阶段，提供可靠的损失函数以实现机器学习算法的结果的期望的确定性是重要的的。损失函数包括输出即机器学习算法的预测与由标记表示的期望输出之间的比较。错误的或不期望的输出被“惩罚”，其被称为对损失函数的负贡献，而对损失函数的正贡献将增强通过机器学习算法对标签的正确预测。因此，允许被分配了关心属性的标签对损失函数提供这样的正贡献，因为预期这些标签具有在由至少一个主要传感器提供的主要数据内的对应方。

如果标签具有不关心属性，则在损失函数中动态地考虑正贡献。由于机器学习算法通常输出针对模型预测的置信度值，因此附加地考虑相应标签，但是仅在其置信度值大于预定阈值时。预定阈值可以大于或等于零并且小于1。即，通过调整置信度值的预定阈值，可由所述方法来动态地考虑具有不关心属性的标签的正贡献。

用于机器学习算法的训练过程的目标是最小化损失函数，以为算法的层提供例如可靠的参数或权重。通过验证基于辅助数据提供的标签，即通过关心属性或不关心属性，可以避免训练过程迫使机器学习算法输出针对在至少一个主要传感器的主要数据内不可识别的标签的模型预测。因此，通过经由关心属性和不关心属性验证跨域标签，增强了训练过程的可靠性。

然而，对于具有不关心属性的标签，动态地考虑其对损失函数的积极贡献，这允许机器学习算法利用复杂队列，例如，如果至少一个主传感器包括雷达传感器，则利用时间和/或多路径反射。这样，可以通过机器学习算法利用例如稀疏雷达数据找到被遮挡和不关心的对象。换言之，对于机器学习算法而言，通过动态地包含不关心标签的正贡献，通常不会防止基于时间或多径雷达反射异常地查找对象。

该方法可以包括以下特征中的一个或更多个：

置信度值的预定阈值可以是零。基于辅助数据标识标签可以包括确定与各个标签相关的相应空间区域，并且可以基于主要数据确定针对相应空间区域的基准值。对于各个标签，如果该基准值大于基准阈值，则可以向相应标签分配关心属性。所述至少一个主要传感器可以包括至少一个雷达传感器，并且所述基准值可以基于由所述雷达传感器在与所述相应标签相关的空间区域内检测到的雷达能量来确定。

可以基于由雷达传感器捕获的主要数据来确定感知雷达能量的距离和角度，并且可以将所述距离和角度分配给与相应标签相关的空间区域，以确定针对各个标签的关心属性或不关心属性。可以基于辅助数据为各个标签估计预期距离、预期临近速度(rangerate)和预期角度，并且可以将相应标签的预期距离、预期临近速度和预期角度分配给根据雷达传感器的主要数据得出的距离、临近速度和角度，以确定与相应标签相关联的雷达能量。可以基于速度矢量来为各个标签估计预期临近速度，该速度矢量是通过使用基于不同时间点处的辅助数据确定的标签位置的差异来为相应标签估计的。

可以选择辅助数据点的位于与相应标签相关的空间区域内的子集，并且对于该子集中的各个辅助数据点，可以确定在至少一个主要传感器与该辅助数据点之间是否存在直接视线。对于各个标签，如果存在直接视线的辅助数据点的数目与所述子集中的辅助数据点的总数目的比大于另一预定阈值，则可以向相应标签分配关心属性。至少一个主要传感器可以包括多个雷达传感器，并且如果辅助数据点位于至少一个雷达传感器的仪器视场内并且具有到该至少一个雷达传感器的直接视线，则该辅助数据点可以被认为具有到该至少一个主要传感器的直接视线。

对于雷达传感器中的各个雷达传感器，可以选择辅助数据点的特定子集，对于特定子集，辅助数据点与相应雷达传感器的仪器视场内的相应空间区域相关。特定子集的辅助数据点可以被投影到围绕相应雷达传感器的圆柱体或球体。圆柱体或球体的表面可以被划分为像素区域，并且对于各个像素区域，具有在相应像素区域内的投影并且具有到相应雷达传感器的最近距离的辅助数据点可以被标记为可见的。对于各个标签，可以确定位于与相应标签相关的空间区域内并且被标记为对于至少一个雷达传感器可见的可见辅助数据点的数目。如果可见辅助数据点的数目大于可见度阈值，则可向相应标签分配关心属性。

基于辅助数据标识标签可以包括确定与各个标签相关的相应空间区域，并且可以基于主要数据确定相应空间区域的基准值。此外，可以选择位于与相应标签相关的空间区域内的辅助数据点的子集，并且对于该子集中的各个辅助数据点，可以确定在至少一个主要传感器与该辅助数据点之间是否存在直接视线。对于各个标签，如果i)基准值大于基准阈值并且ii)存在直接视线的辅助数据点的数目与子集的辅助数据点的总数目的比大于另一预定阈值，则可以向相应标签分配关心属性。

根据实施方式，置信度值的预定阈值可以是零。在这种情况下，对于损失函数，不考虑具有不关心属性的标签的正贡献。因此，由于这种简化，可以减少执行该方法的难度。然而，考虑到上述“复杂队列”会被抑制，因为例如由雷达传感器检测的时间和/或多路径反射通常会被排除。

根据另一实施方式，基于辅助数据标识标签可以包括确定与各个标签相关的相应空间区域，并且可基于主要数据确定相应空间区域的基准值。对于各个标签，如果基准值大于基准阈值，则可以向相应标签分配关心属性。至少一个主要传感器的感知能力可以因此通过考虑与相应标签相关的空间区域来确定，例如通过考虑表示对象可以位于其中的空间区域的边界框来确定。这种边界框可以例如基于来自LIDAR系统或摄像头的密集数据来确定。针对标签的空间区域的基准值可以是例如空间区域内的主要数据的强度的均值。由于针对主要数据的基准值与对应于相应标签的空间区域的关系，可以增强分配关心属性或不关心属性的可靠性。

所述至少一个主要传感器可以包括至少一个雷达传感器，并且所述基准值可以基于由所述雷达传感器在可以与相应标签相关的所述空间区域内检测到的雷达能量来确定。也就是说，只有当在标签的空间区域内检测到足够的雷达能量时，才可以向相应标签分配关心属性。相反，在其空间区域内几乎没有雷达能量的标签可以接收不关心属性，并且因此在机器学习算法的训练过程中可以具有较低权重或者甚至没有权重。

此外，可以基于由雷达传感器捕获的主要数据来确定感知雷达能量的距离和角度，并且可以将所述距离和角度分配给可以与相应标签相关的空间区域，以确定针对各个标签的关心属性或不关心属性。可以通过对主要数据或雷达数据应用角度查找算法，例如通过应用快速傅立叶变换(FFT)或迭代自适应方案(IAA)。基于经由雷达数据确定的距离和角度，可以标识空间位置，在该空间位置处，对于主要传感器或雷达传感器而言标签可以是可识别的。即，主要或雷达传感器的感知能力由所感知的雷达能量的详细空间图表示。因此，可以通过这种详细图来改向标签分配关心属性还是不关心属性的决策。

此外，可以基于辅助数据为各个标签估计预期距离、预期临近速度和预期角度。可以将预期标签的预期距离、预期临近速度和预期角度分配给根据雷达传感器的主要数据得出的距离、临近速度和角度，以确定与相应标签相关联的雷达能量。根据主要数据得出的距离、临近速度和角度可以被认为是主要数据或雷达数据的压缩数据立方体。对于该数据立方体的各个元素，可以检测相应雷达能量。因此，与特定标签相关的距离、临近速度和角度的预期值可以用于在由雷达数据提供的压缩数据立方体中执行所谓的反向查找，以确定可以与相应标签相关联的雷达能量。对于该实施方式，如果雷达传感器的角分辨率可能较低，则临近速度可被包括作为有助于确定标签的适当雷达能量的另一参数。因此，可以增强确定雷达能量的准确性，并且因此增强用于正确地分配关心属性和不关心属性的准确性。

可以基于速度矢量来估计各个标签的预期临近速度，该速度矢量可以通过使用基于在不同时间点的辅助数据确定的标签位置的差异来为各个标签确定。标签位置可以与各个标签可以相关的相应空间区域相关。也就是说，可以通过监测标签位置的差异来监测这种空间区域的运动。为了确定预期的临近速度，可以将速度矢量投影到距离方向上，即由从至少一个主要传感器到标签的空间区域或位置的线限定的径向方向。使用每时间的位置差异和到径向方向的投影可以是估计预期的临近速度的直接方式，这可能需要低的计算工作量。

根据另一实施方式，可以选择辅助数据点的子集，所述子集可以位于与相应标签相关的空间区域内。对于子集的各个辅助数据点，可以确定在至少一个主要传感器与辅助数据点之间是否存在直接视线。可以估计可能存在这样的直接视线的辅助数据点的数目与子集中的辅助数据点的总数目的比，如果该比大于另一预定阈值，则可向相应标签分配关心属性。可以针对各个标签执行这种分配。

对于表示静止对象的标签，如果雷达传感器的角分辨率低并且对于静态对象的临近速度近似为零，则可能难以执行预期临近速度和预期角度(除了预期距离之外)到雷达能量的上述映射。因此，可以针对属于相应标签的辅助数据点检查直接视线的存在，以确定相应标签对于至少一个主要传感器而言是否可能被遮挡。因此，可以克服由低的角分辨率和几乎为零的临近速度引起的模糊，并且模糊可能导致关于关心属性和不关心属性的标签的不正确标记。因此，通过另外考虑检查直接视线的存在的这种“几何标记”，可以提高关心属性或不关心属性标记的准确性。

至少一个主要传感器可以包括多个雷达传感器，并且如果辅助数据点位于相应雷达传感器的仪器视场内并且具有到至少一个雷达传感器的直接视线，则可以认为辅助数据点具有到至少一个主要传感器的直接视线。对于该实施方式，可以例如通过表示多个雷达传感器的天线阵列的逐个天线来检查相应标签的“可见度”。因此，由于标签仅被认为是可见的必须对于雷达传感器中的一个雷达传感器是可见的，所以可以提高标签的关心和不关心标记的准确性。

根据另一实施方式，对于各个雷达传感器，可以选择辅助数据点的特定子集，对于该特定子集，辅助数据点可以与相应雷达传感器的仪器视场内的相应空间区域相关，并且特定子集的辅助数据点可以被投影到围绕相应雷达传感器的圆柱体或球体。圆柱体或球体的表面可以被划分为像素区域，并且对于各个像素区域，具有在相应像素区域内的投影并且具有到相应雷达传感器的最近距离的辅助数据点可以被标记为可见的。对于各个标签，可以确定位于与相应标签相关的空间区域内并且被标记为对于至少一个雷达传感器可见的可见辅助数据点的数目。如果可见辅助数据点的数目大于可见度阈值，则可向相应标签分配关心属性。

这样，可以通过可见度阈值详细地控制在什么条件下，对于至少一个主要传感器，例如对于属于相应雷达传感器的相应天线，标签被认为是可见的或被遮挡的。如果标签表示彼此靠近设置的多个对象，使得这些对象通常可以至少部分地彼此遮挡，则这可以改善标签的关心和不关心标记。

根据另一实施方式，基于辅助数据标识标签可以包括确定可以与各个标签相关的相应空间区域，并且可基于主要数据确定相应空间区域的基准值。可以选择辅助数据点的子集，该子集可以位于与相应标签相关的空间区域内，并且对于子集的各个辅助数据点，可以确定在至少一个主要传感器与辅助数据点之间是否存在直接视线。对于各个标签，仅当i)基准值大于基准阈值和ii)存在直接视线的辅助数据点的数目与子集的辅助数据点的总数目的比大于另一预定阈值时，才向相应标签分配关心属性。

对于该实施方式，将基准值的确定和使用如上所述的视线的“几何标记”组合，基准值可以例如是雷达能量的值。也就是说，只有当满足上述两个条件时，即如果基准值(例如雷达能量)足够高并且如果存在视线时，才为相应标签提供关心属性。因此，可以提高向相应标签分配关心属性和不关心属性的可靠性。

在另一方面，本发明涉及一种用于训练机器学习算法的装置。所述装置包括至少一个主要传感器，所述至少一个主要传感器被配置成捕获主要数据，至少一个辅助传感器，所述至少一个辅助传感器被配置成捕获辅助数据，以及处理单元。所述机器学习算法被配置成处理所述主要数据，以确定所述至少一个主要传感器的环境中的实体的至少一个属性。所述处理单元被配置成：接收基于所述辅助数据标识的标签，通过基于由所述至少一个主要传感器捕获的所述主要数据并且基于由所述至少一个辅助传感器捕获的所述辅助数据确定所述至少一个主要传感器针对相应标签的感知能力，向所标识的各个标签分配关心属性或不关心属性，通过所述机器学习算法生成针对所述标签的模型预测，定义针对所述模型预测的损失函数，对于所有标签，允许对所述损失函数的负贡献，对于具有关心属性的标签允许对所述损失函数的正贡献，并且对于具有不关心属性的标签，仅在针对相应标签的模型预测的置信度值大于预定阈值时，才允许对损失函数的正贡献。

如这里所使用的，术语处理装置、处理单元和模块可以指专用集成电路(ASIC)的一部分，或者包括专用集成电路(ASIC)；电子电路；组合逻辑电路；现场可编程门阵列(FPGA)；执行代码的处理器(共享、专用或组)；提供所述功能的其他合适的组件；或上述的一些或全部的组合，诸如在片上系统中。措辞模块可以包括存储由处理器执行的代码的存储器(共享，专用或组)。

总之，根据本公开的装置包括至少一个主要传感器、至少一个辅助传感器和处理单元，其被配置成执行如上所述的用于相应方法的步骤。因此，上文关于所述方法描述的益处、优点和本发明也适用于根据本发明的装置。

根据一个实施方式，该至少一个主要传感器可以包括至少一个雷达传感器，并且该至少一个辅助传感器可以包括至少一个LIDAR传感器和/或至少一个摄像头。由于这些传感器在现代载具中是可用的，因此装置的实施可能需要难度较低。

在另一方面，本公开涉及一种计算机系统，所述计算机系统被配置成执行本文所述的由计算机实现的方法的多个或所有步骤。

该计算机系统可以包括处理单元、至少一个存储器单元和至少一个非暂时性数据存储器。非暂时性数据存储器和/或存储器单元可以包括用于指示计算机执行在此描述的由计算机实现的方法的若干或所有步骤或方面的计算机程序。

在另一方面，本公开针对一种非暂时性计算机可读介质，其包括用于执行本文所述的由计算机实现的方法的若干或所有步骤或方面的指令。所述计算机可读媒介可以被配置成：光学介质，例如光盘(CD)或数字多功能盘(DVD)；磁介质，例如硬盘驱动器(HDD)；固态驱动器(SSD)；只读存储器(ROM)；闪存；等。此外，计算机可读介质可以被配置成可经由诸如因特网连接的数据连接来访问的数据存储。计算机可读介质例如可以是在线数据储存库或云存储。

本公开还针对一种用于指示计算机执行本文所述的由计算机实现的方法的若干或所有步骤或方面的计算机程序。

附图说明

本文结合以下示意性示出的附图描述了本公开的示例性实施方式和功能：

图1示出了针对表示围绕主载具的载具的标签的所谓的激活标记；

图2示出了用于确定对于雷达传感器而言对象或标签是否被遮挡的方案；

图3示出了表示围绕主载具的载具的标签的所谓的几何标记的示例；以及

图4示出了通过根据本公开的方法和装置实现的在准确率和召回率方面的改进。

具体实施方式

图1和图2示出了包括雷达传感器13(见图2)和LIDAR系统15的主载具11，雷达传感器13和LIDAR系统15与处理单元17通信。如图1所示，其他载具位于主载具11的环境中。其他载具由边界框19表示，边界框19也被称为标签19，因为这些边界框是基于来自LIDAR系统15的数据提供的，用于训练机器学习算法。机器学习算法的训练经由处理单元17(其也执行算法本身)执行并且使用由雷达传感器13提供的主要数据。

用于训练的主要数据或输入从雷达传感器13接收，并被表示为归一化雷达能量21，其在图1中以阴影(如箭头所示)的形式示出。归一化雷达能量21参照载具坐标系16，其具有沿主载具11的纵轴的x轴18和沿相对于主载具11的横向方向的y轴20。具体地，在图1中仅针对从原始雷达数据得出的所有多普勒或临近速度值示出最大雷达能量。然而，对于根据本公开的方法和装置，使用完整的临近速度或多普勒信息。

图1示出了场景，在该场景中主载具11正在高速公路上的车道中驾驶并且由右侧的标签或边界框19表示的载具正在作为向下指向的斜坡通向高速公路的另一车道上运动。即，右侧的四台载具运动的车道在图1的上部与高速公路相接。

LIDAR系统15(见图2)安装在主载具11的顶上，而雷达传感器13安装在主载具11的保险杠的高度处。因此，LIDAR系统15具有到表示其它载具的所有标签19的直接视线，而一些标签19对于较低安装的雷达传感器13而言是被阻挡的。因此，如果由LIDAR系统15提供的标签19直接用于训练依赖于由雷达传感器13捕获的主要数据的机器学习算法，则标签19将迫使机器学习算法预测没有来自雷达传感器13的可靠主要数据可用的对象。

从LIDAR系统15提供的数据得出的标签19被用作用于机器学习算法的跨域训练的基本事实，因为可靠的标签不能直接从雷达数据得出，即，既不能由人工也不能由其他自动算法得出，这可以通过图1中的归一化雷达能量21的表示来识别。机器学习算法被实现为雷达神经网络，其需要通过经由LIDAR系统15提供的标签19的跨域训练。因此，LIDAR系统15被认为是辅助传感器，其提供辅助数据，从辅助数据中得出标签19。

为了避免上述问题，即，迫使雷达神经网络预测对于雷达传感器13不可识别的对象，标签19另外被提供了属性22，该属性22指示如何考虑相应标签19来训练机器学习算法。具体地，各个标签19被提供有关心属性或不关心属性，其中关心属性表示相应标签将被完全考虑用于机器学习算法或雷达神经网络的训练，而被提供了不关心属性的特定标签19被部分地考虑仅用于雷达神经网络的训练。这将在下面详细解释。由于标签19由属性22调整以针对雷达神经网络的跨域训练提供基本事实，所以整个过程被称为针对雷达神经网络跨域训练的基本事实调整(GARNN)。

为了将属性22(即关心属性或不关心属性)分配给根据LIDAR系统15捕获的辅助数据得出的基本事实标签19，同时执行被称为激活标记和几何标记的两个过程。对于激活标记，针对各个标签19，决定是否可以在由雷达传感器13捕获的输入或主要数据中感知到相应标签19，或者是否不能在主要数据中感知到标签19，并且因此将迫使机器学习算法预测标签或对象，而在该标签或对象处不存在信号，这将导致误检测率增加。

由雷达传感器13接收的主要数据被处理以产生所谓的压缩数据立方体(CDC)，作为用于将适当属性分配给标签19的基准。对于各个雷达扫描或时间步长，压缩数据立方体包括距离维度、临近速率维度或多普勒维度以及天线响应维度。

作为激活标记的第一步，估计雷达传感器13能够感知能量的角度。通过使用经典的角度查找过程，例如快速傅立叶变换(FFT)或迭代自适应方法(IAA)来估计角度。结果，产生包括距离维度、临近速度维度和角度维度的三维压缩数据立方体。此后，归一化所感知的雷达能量，例如使用角反射器响应或噪声基底估计来归一化。

作为下一步骤，给各个标签19分配速度矢量(见图1)。即，通过来自LIDAR系统15(见图2)的辅助数据随时间监测表示标签19的边界框的运动。如果标签19(见图1)包围的对象的速度大于零，则在两个不同的时间点标签19将具有不同的空间位置。通过位置差，可以估计速度矢量的绝对值和方向。速度矢量被投影到雷达传感器13的径向方向(见图2)，以估计与基于来自雷达传感器13的数据的压缩数据立方体的临近速度或多普勒维度的对应关系。

除了基于标签19的相应速度矢量估计的临近速度外，针对各个标签19确定相对于雷达传感器13的位置的预期距离和预期角度。基于根据LIDAR数据23(见图2)得出的针对相应标签19的预期距离、临近速度和角度，在压缩数据立方体中执行反向查找，以提取与相应标签相关的雷达能量。

在图1中，归一化雷达能量21由阴影表示，阴影由各个箭头指示，并且与相应标签19相关的归一化能量由阴影的落入表示标签19的相应边界框的相应部分(表示雷达能量21)表示。如图2所示，各个边界框或标签19通常包括由LIDAR系统15检测的超过一个LIDAR数据点23。因此，针对属于相应标签19或边界框的各个LIDAR数据点23重复确定速度矢量的步骤和估计预期距离、临近速度和角度的步骤，以针对各个LIDAR数据点23提取相应的归一化雷达能量。对于相应标签19，归一化雷达能量被确定为与相应边界框或标签19相关的多个LIDAR数据点23所确定的能量值的均值。另选地，可以估计属于相应标签19的LIDAR数据点23的所有归一化雷达能量值的最大值或总和。

如果归一化雷达能量大于或等于针对相应标签19的预定阈值，则该标签可被雷达传感器13感知。因此，向该标签19分配关心属性。相反，如果归一化雷达能量小于针对特定标签19的预定阈值，则认为该标签对于雷达传感器13而言是不可被感知的。因此，向该标签19分配不关心属性。如图1所示，对于已经确定了充分的归一化雷达能量21的那些标签19，属性22是关心属性，而对于归一化雷达能量21太低的其他标签19，属性22是不关心属性。

上述激活标记的可靠性，即将归一化雷达能量与相应标签19相关联的可靠性，可以受到雷达探测的高的角度不确定性的限制。在图1中可以认识到高的角度不确定性，其中表示归一化雷达能量21的阴影在方位角的相当远的距离上延伸。虽然对于运动标签19通过考虑压缩数据立方体的临近速度或多普勒维度可以减少这个缺点，但是对于临近速度或多普勒维度接近于零的静止或几乎静止的标签19的激活标记，角度不确定性会是一个问题。由于角度不确定性，对于雷达传感器13而言实际被遮挡的标签19可能被错误地分配关心属性，虽然相应标签19可能是被隐藏的，例如在其他对象或标签19后面。

因此，附加地考虑称为几何标记的第二过程，其确定在雷达传感器13与相应标签19之间，即在多个雷达传感器13中的至少一个雷达传感器与属于相应标签19的LIDAR探测点23之间是否存在直接视线25(见图2)。由于LIDAR点云是密集的(例如参见图3)，即比雷达点云密集得多，因此几何标记可以可靠地确定对象或标签19对于雷达传感器13是否被遮挡。

对于几何标记，首先选择属于相应边界框或标签19的LIDAR数据点23。所选择的LIDAR数据点23被转换到雷达传感器13的坐标系，即转换到雷达传感器13的“角度(perspective)”。对于激活标记，已经考虑了所有雷达传感器13的归一化雷达能量的“图”(见图1)，而对于几何标记，分别考虑雷达传感器13的各个天线。即，雷达传感器13包括位于主载具11处的具有稍微不同位置的雷达天线阵列。在图2中，相对于LIDAR数据点23的可见度示出了单个天线的情况。

雷达传感器13的各个天线具有一定的孔径角或仪器视场。因此，对于几何标记，位于相应天线的孔径角或仪器视场外的所有LIDAR数据点23对于相应天线被标记为“被遮挡”。对于剩余的LIDAR数据点23，在雷达坐标系的原点周围围绕圆柱体27(见图2)，即围绕在相应的天线周围。圆柱体轴平行于载具坐标系16(见图1)的竖直轴(z轴)。

圆柱体27的表面被分成像素区域，落入雷达传感器13的相应天线的孔径角或仪器视场中的LIDAR数据点23被投影到圆柱体27的表面。对于圆柱体27的各个像素区域，考虑落入该区域的LIDAR数据点23的投影，并且对这些LIDAR数据点23到雷达坐标系原点的距离进行排序。具有到相应雷达传感器13的最近距离的LIDAR数据点23被认为对于相应像素区域是可见的，而对于该像素区域和相应天线而言，将所有另外的LIDAR数据点23标记为“被遮挡”。

在图2所示的示例中，左标签19的所有LIDAR数据点23被认为对于雷达传感器13是可见的，而对于右标签19，仅上部三个LIDAR数据点23被认为是可见的，因为其具有到至少一个雷达传感器13的直接视线。由29表示的其他LIDAR数据点被标记为“被遮挡”，因为没有到雷达传感器13之一的直接视线。具体地，对于被遮挡的LIDAR数据点29，存在另一LIDAR数据点23，其具有位于圆柱体27上的同一像素区域内的投影，并且其与雷达坐标系的原点具有较近的距离。

为了确定是否整个边界框或标签19被视为对于雷达传感器13而言是被遮挡的，对属于相应标签19并且对于至少一个单个雷达天线是可见的(即，未被标记为“被遮挡”)的LIDAR数据点23的数目进行计数。如果可见LIDAR数据点23的该数目低于可见度阈值，则向相应标签19分配不关心属性。例如，可见度阈值可以被设置为2个LIDAR数据点。在这种情况下，虽然LIDAR数据点29被标记为被遮挡，但是将向图2所示的右对象或标签19分配关心属性。

图3示出了由载具11的LIDAR系统15检测到的LIDAR数据点23的云的实际示例。由于LIDAR系统15安装在主载具11的顶上，所以在载具11周围存在圆形或圆柱形，其表示没有LIDAR数据点23可用的区域31。由33表示的较暗的LIDAR数据点通过如上所述的几何标记过程被标记为可见，而由35表示的较亮的LIDAR数据点被标记为对于雷达传感器13而言是被遮挡的。

对于图3中所示的大多数边界框或标签19，存在多个可见的LIDAR数据点33，即对于雷达传感器13可见。因此，通过几何标记向这些标签分配关心属性。对于图3的下部中由37表示的边界框或标签，存在属于该边界框的LIDAR数据点23，但是这些LIDAR数据点23通过几何标记被标记为被遮挡的LIDAR数据点35。简单地说，从主载具11到标签37的“视线”被之间的其他边界框或标签19阻挡。因此，对于标签37，可见LIDAR数据点33的数目低于可见度阈值，并且向该标签37分配不关心属性。

注意，上述几何标记过程也被称为计算机图形中的z缓冲。作为圆柱体27(见图2)的另选，球体也可以用于将LIDAR数据点23投影到相应的像素区域，以通过z缓冲确定具有最近距离的LIDAR数据点23。

为了向机器学习算法的训练提供可靠的基本事实，将由激活标记和几何标记确定的属性22组合。即，仅在激活标记和几何标记两者都已将关心属性提供给相应标签时，即，在标签由于足够的雷达能量而可被雷达传感器13感知并且对于雷达传感器13中的至少一个雷达传感器而言在几何上可见(未遮挡)的情况下，标签19才获得关心属性。

为了训练机器学习算法，即雷达神经网络，提供标记数据，该标记数据包括来自雷达传感器13的主要数据形式的输入和标签19，该标签19也称为基本事实并且以边界框19的形式提供(见图1至图3)。如上所述，由于激活标记和几何标记的组合，各个标签19还具有关心属性或不关心属性。在训练期间，针对分类和回归来调节机器学习算法或雷达神经网络的参数。该调节通过损失函数来控制，该损失函数基于由于模型或机器学习算法的预测与由标签19表示的期望输出之间的比较而产生的误差信号。培训过程的目标是最小化损失函数。

在训练期间，损失函数可以接收两种类型的贡献。对于正损失贡献，如果机器学习算法所依赖的模型的权重建设性贡献于对应于基本事实或标签19的预测，则增大这些权重。相反，对于负损失贡献，如果这些权重建设性地贡献于不对应于基本事实(即标签19之一)的预测，则减小模型的权重。

对于根据本公开的训练过程，通常允许具有关心属性的标签19向损失函数提供正的和负的损失贡献。对于具有不关心属性的标签19，既不允许正贡献也不允许负贡献，即，具有不关心属性的标签可以被简单地忽略。因此，机器学习算法不能被强迫预测雷达传感器13不可感知的任何标签或对象。然而，在这种情况下，任何错误的预测也将被忽略并且不被负损失贡献分析。因此，对于具有不关心属性的标签至少被允许负损失贡献。

为了改进训练过程，对于具有不关心属性的标签19也允许动态正损失贡献。具体地，只有当用于预测基本事实标签19的置信度值P大于预定阈值τ(即P>τ，其中τ大于或等于0且小于1)时，才针对具有不关心属性的标签19生成正损失贡献。

允许对于具有不关心属性的标签19的动态正损失贡献允许机器学习算法或模型使用复杂队列(即，多反射，时间队列)来预测例如对象的存在。因此，以动态方式(即，通过控制针对置信度值P的预定阈值τ)允许具有不关心属性的标签的正损失贡献将增强复杂决策并改进通过机器学习算法的模型预测的性能。

在图4中示出了通过使用标签19的关心属性和不关心属性来训练机器学习算法的效果。准确率和召回率是机器学习算法(即神经网络)的常见品质因数。准确率描述实际正确的肯定预测或标识的部分，而召回率描述正确标识的实际肯定预测或标识的部分。此外，召回率是机器学习算法或神经网络的稳定性的量度。

在图4中，相比于在x轴上的召回率，在y轴上表示了准确率。理想的神经网络将具有在1的范围内的准确率和召回率，即在图4的右上角的数据点。图4所示的曲线41至曲线46是通过针对相应预测的置信度值P的不同预定阈值τ来计算准确率和召回率而产生的。如果预测的置信度值低于阈值，则不考虑该预测。如果降低阈值，则通常在准确率降低的同时提高召回率。

实线41、43和45表示没有使用针对标签19的属性22的机器学习算法的结果，即关心属性和不关心属性没有用于机器学习算法的训练。相反，虚线42、44和46示出了根据本公开用具有关心或不关心属性的标签19进行了训练的机器学习算法的结果。

图4所示的线对表示预测相应对象类的结果，即线41和42与对象类“行人”相关，线43和44与对象类“运动载具”相关，线45和46与对象类“静止载具”相关。如虚线42、44、46与相同对象类的相应实线41、43、45相比所示，与不考虑任何属性22的机器学习算法训练相比，包含了关心属性和不关心属性的机器学习算法训练产生了较好的准确率和较好的召回率。

附图标记列表

11本载具

13雷达传感器

15LIDAR系统

16载具坐标系

17处理单元

18x轴

19边界框、标签

20y轴

21归一化雷达能量

23LIDAR数据点

25视线

27圆柱体

29被遮挡的LIDAR数据点

31无LIDAR数据点的区域

33对于雷达传感器可见的LIDAR数据点

35用于雷达传感器被遮挡的LIDAR数据点

37被遮挡的标签

41针对“行人”类的线，无属性的标签

42针对“行人”类的线，有属性的标签

43针对“运动载具”类的线，无属性的标签

44针对“运动载具”类的线，有属性的标签

45针对“静止载具”类的线，无属性的标签

46针对“静止载具”类的线，有属性的标签

Claims (14)

1.一种用于训练机器学习算法的由计算机实现的方法，所述机器学习算法被配置成处理由至少一个主要传感器(13)捕获的主要数据，以确定所述至少一个主要传感器(13)的环境中的实体的至少一个属性，所述方法包括以下步骤：

由至少一个辅助传感器(15)提供辅助数据(23、33、35)，

基于所述辅助数据(23、33、35)来标识标签(19)，包括确定与各个标签(19)相关的相应空间区域，

经由处理单元(17)：

通过基于由所述至少一个主要传感器(13)捕获的所述主要数据并且基于由所述至少一个辅助传感器(15)捕获的所述辅助数据(23、33、35)确定所述至少一个主要传感器(13)针对相应标签(19)的感知能力，向所标识的各个标签(19)分配关心属性或不关心属性，

其中，基于所述主要数据来确定针对所述相应空间区域的基准值，并且

其中，对于各个标签(19)，如果所述基准值大于基准阈值，则向所述相应标签(19)分配所述关心属性，并且如果所述基准值小于或等于所述基准阈值，则向所述相应标签(19)分配所述不关心属性，

通过所述机器学习算法生成针对所述标签(19)的模型预测，

定义针对所述模型预测的损失函数，

其中，所述损失函数接收正损失贡献，对于所述正损失贡献，如果所述机器学习算法所依赖的模型的权重对对应于所述相应标签(19)的预测有建设性的贡献，则增大所述权重，并且所述损失函数接收负损失贡献，对于所述负损失贡献，如果所述模型的权重对不对应于所述相应标签(19)的预测有建设性的贡献，则减小所述权重，

对于所有标签(19)，允许对所述损失函数的负贡献，

对于具有关心属性的标签(19)，允许对所述损失函数的正贡献，并且

对于具有不关心属性的标签(19)，仅在针对相应标签(19)的模型预测的置信度值大于预定阈值时，才允许对所述损失函数的正贡献。

2.根据权利要求1所述的方法，其中，针对所述置信度值的所述预定阈值为零。

3.根据权利要求1所述的方法，其中，

所述至少一个主要传感器(13)包括至少一个雷达传感器(13)，并且

所述基准值是基于由所述雷达传感器(13)在与所述相应标签(19)相关的所述空间区域内检测到的雷达能量(21)来确定的。

4.根据权利要求3所述的方法，其中，

基于由所述雷达传感器(13)捕获的所述主要数据来确定雷达能量(21)被感知的距离和角度，并且

所述距离和角度被分配给与所述相应标签(19)相关的所述空间区域，以确定针对各个标签的所述关心属性或所述不关心属性。

5.根据权利要求3或4所述的方法，其中，

基于所述辅助数据(23、33、35)估计针对各个标签(19)的预期距离、预期临近速度和预期角度，

将所述相应标签(19)的所述预期距离、所述预期临近速度和所述预期角度分配给根据所述雷达传感器(13)的所述主要数据得出的距离、临近速度和角度，以确定与所述相应标签(19)相关联的所述雷达能量(21)。

6.根据权利要求5所述的方法，其中，

基于针对相应标签(19)估计的速度矢量，针对各个标签(19)估计所述预期临近速度，所述速度矢量是通过使用基于不同时间点处的所述辅助数据(23、33、35)确定的标签位置的差异来估计的。

7.根据权利要求1或3至6中的任一项所述的方法，其中，

选择位于与所述相应标签(19)相关的所述空间区域内的辅助数据点(23)的子集，

对于所述子集的各个辅助数据点(23)，确定在所述至少一个主要传感器(13)与所述辅助数据点(23)之间是否存在直接视线(25)，并且

对于各个标签(19)，如果存在直接视线(25)的辅助数据点(23)的数目与所述子集的辅助数据点(23)的总数目的比大于另一预定阈值，则向所述相应标签(19)分配关心属性。

8.根据权利要求7所述的方法，其中，

所述至少一个主要传感器(13)包括多个雷达传感器(13)，

如果所述辅助数据点(23)位于所述雷达传感器(13)中的至少一个雷达传感器的仪器视场内并且具有到所述雷达传感器(13)中的至少一个雷达传感器的直接视线(25)，则认为所述辅助数据点(23)具有到所述至少一个主要传感器(13)的直接视线(25)。

9.根据权利要求8所述的方法，其中，

对于所述雷达传感器(13)中的各个雷达传感器，选择所述辅助数据点(23)的特定子集，对于所述特定子集，所述辅助数据点(23)与相应雷达传感器(13)的仪器视场内的相应空间区域相关，

将所述特定子集的所述辅助数据点(23)投影到围绕所述相应雷达传感器(13)的圆柱体(27)或球体，

将所述圆柱体(27)或球体的表面划分为像素区域，

对于各个像素区域，将具有在相应像素区域内的投影并且具有到相应雷达传感器(13)的最近距离的辅助数据点(23)标记为可见的，

对于各个标签(19)，确定位于与所述相应标签(19)相关的空间区域内并且对于至少一个雷达传感器(13)被标记为可见的可见辅助数据点(23)的数目，并且

如果可见辅助数据点(23)的数目大于可见度阈值，则向所述相应标签(19)分配关心属性。

10.根据前述权利要求中的任一项所述的方法，其中，

基于所述辅助数据(23、33、35)来标识标签(19)的步骤包括：确定与各个标签(19)相关的相应空间区域，

基于所述主要数据来确定针对所述相应空间区域的基准值，

选择位于与所述相应标签(19)相关的空间区域内的辅助数据点(23)的子集，

对于所述子集的各个辅助数据点(23)，确定在所述至少一个主要传感器(13)与所述辅助数据点(23)之间是否存在直接视线(25)，并且

对于各个标签(19)，如果i)所述基准值大于基准阈值，并且ii)存在所述直接视线(25)的辅助数据点(23)的数目与所述子集的辅助数据点(23)的总数目的比大于另一预定阈值，则向所述相应标签(19)分配关心属性。

11.一种用于训练机器学习算法的装置，所述装置包括：

至少一个主要传感器(13)，所述至少一个主要传感器被配置成捕获主要数据，

至少一个辅助传感器(15)，所述至少一个辅助传感器被配置成捕获辅助数据(23、33、35)，以及

处理单元(17)，

其中，所述机器学习算法被配置成处理所述主要数据，以确定所述至少一个主要传感器(13)的环境中的实体的至少一个属性，其中，所述处理单元被配置成：

接收基于所述辅助数据(23、33、35)标识的标签(19)和与各个标签(19)相关的相应空间区域，

通过基于由所述至少一个主要传感器(13)捕获的所述主要数据并且基于由所述至少一个辅助传感器(15)捕获的所述辅助数据(23、33、35)确定所述至少一个主要传感器(13)针对相应标签(19)的感知能力，向所标识的各个标签(19)分配关心属性或不关心属性，

其中，基于所述主要数据来确定针对所述相应空间区域的基准值，并且

其中，对于各个标签(19)，如果所述基准值大于基准阈值，则向所述相应标签(19)分配所述关心属性，并且如果所述基准值小于或等于所述基准阈值，则向所述相应标签(19)分配所述不关心属性，

通过所述机器学习算法生成针对所述标签(19)的模型预测，

定义针对所述模型预测的损失函数，

其中，所述损失函数接收正损失贡献，对于所述正损失贡献，如果所述机器学习算法所依赖的模型的权重对对应于所述相应标签(19)的预测有建设性的贡献，则增大所述权重，并且所述损失函数接收负损失贡献，对于所述负损失贡献，如果所述模型的权重对不对应于所述相应标签(19)的预测有建设性的贡献，则减小所述权重，

对于所有标签(19)，允许对所述损失函数的负贡献，

对于具有关心属性的标签(19)，允许对所述损失函数的正贡献，并且

对于具有不关心属性的标签(19)，仅在针对相应标签(19)的模型预测的置信度值大于预定阈值时，才允许对所述损失函数的正贡献。

12.根据权利要求11所述的装置，其中，所述至少一个主要传感器(13)包括至少一个雷达传感器，并且所述至少一个辅助传感器(15)包括至少一个LIDAR传感器和/或至少一个摄像头。

13.一种计算机系统，所述计算机系统被配置成执行根据权利要求1至10中的至少一项所述的由计算机实现的方法。

14.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质包括用于执行根据权利要求1至10中的至少一项所述的由计算机实现的方法的指令。

Images