CN115221938A

CN115221938A - 测量雷达、超声或音频分类器的性能

Info

Publication number: CN115221938A
Application number: CN202210411280.XA
Authority: CN
Inventors: K·帕特尔
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2021-04-20
Filing date: 2022-04-19
Publication date: 2022-10-21
Also published as: EP4080239A1; US20220335259A1

Abstract

测量雷达、超声或音频分类器的性能。谱包括已经从雷达、超声或音频信号中导出的至少一个测量量对空间坐标的依赖性，并且分类器被配置为将雷达、超声或音频谱映射到关于给定分类的类的分类评分集合，所述方法包括以下步骤：·提供测试雷达、超声或音频谱集合，其形成共同分布或流形的一部分和/或定义共同分布或流形；·获得至少一个评估谱，其○是至少一个测试谱的修改，其具有与该至少一个测试谱基本上相同的语义内容，和/或○不形成共同分布或流形的一部分；·借助于给定分类器，将所述至少一个评估谱映射到评估分类评分集合；和·基于所述评估分类评分集合和/或在处理评估谱期间由给定分类器产生的另外结果来确定所寻求性能。

Description

测量雷达、超声或音频分类器的性能

技术领域

本发明涉及对雷达、超声或音频分类器的评估，所述分类器用于解释雷达、超声或音频谱，例如用于自动操控车辆通过道路交通的目的。

背景技术

车辆通过道路交通的自动操控需要捕获车辆的环境，并在与车辆环境中的对象即将发生碰撞的情况下采取动作。安全的自动化驾驶还需要获得车辆环境的表示并定位对象。

借助于雷达捕获对象独立于交通场景中的照明条件。例如，即使在夜晚，也可以在远距离处检测到对象而不因远光照明而使迎面而来的交通变盲。此外，雷达测量立即产生到对象的距离和该对象的速度。该信息对于确定是否有可能与对象发生碰撞而言是重要的。然而，雷达数据不允许对象类型的直接确定。

DE 10 2018 222 672 A1公开了一种用于基于测量信号确定对象的空间取向的方法，该测量信号包括对象对电磁询问辐射的响应。特别地，该响应可以包括询问辐射的反射。使用分类器和/或回归器来确定所寻找的空间取向。

发明内容

本发明提供了一种用于测量雷达、超声或音频谱的分类器的性能的方法。这样的谱包括已经从雷达、超声或音频信号中导出的至少一个测量量对空间坐标的依赖性。例如，反射的雷达或超声辐射可以产生雷达或超声信号。例如，空间坐标可以包括范围和一个或多个角度。分类器被配置为将雷达、超声或音频谱映射到关于给定分类的类的分类评分集合。例如，这样的分类评分可以表示分类器将谱归属于相应类的置信度。例如，类可以表示诸如其他交通参与者或障碍物之类的对象的类型，或者诸如风险等级之类的情形的总体评测。

该方法使用测试雷达、超声或音频谱的给定集合。这些谱形成共同分布或流形的一部分和/或定义共同分布或流形。基本上，该分布或流形可以被理解为定义测试雷达、超声或音频谱共同具有什么。例如，在许多不同的汽车上已经获取的谱形成通常包括在汽车上已经获取的谱的流形的一部分。在另一个汽车上已经获取的谱很可能形成该同一流形的一部分。但是在房屋上已经获取的谱不太可能形成该流形的一部分。

例如，测试谱可以属于与用于训练给定分类器的训练谱相同的分布或流形。对于分类器的训练和后续测试，惯常的做法是将属于共同分布或流形的一个大的谱集合分区成用于训练分类器的训练数据、用于测试分类器性能的测试数据以及可选的还有验证数据。

获得至少一个评估谱。该评估谱可以是至少一个测试谱的修改，其具有与该至少一个测试谱基本上相同的语义内容。特别地，可以选择修改，使得与原始测试谱相比，评估谱朝向不再是共同分布或流形的一部分的谱移动。形象地说，评估谱然后从共同分布或流形内朝向该共同分布或流形的“边界”移动。该“边界”不要与类之间的决策边界混淆。也就是说，如果评估谱变得越来越不符合分布，这还没有使它与另一个类相似。相反，评估谱正在远离所有类的所有数据移动。

但是评估谱也可以从一开始就被选择为不形成共同分布或流形的一部分的谱。例如，谱可以仅包括噪声，或者它可以表示在某些方面不同于测试谱所表示的所有情形的情形。例如，表示房屋的谱不是表示汽车的谱的共同分布或流形的一部分。

由给定的分类器将至少一个评估谱映射到评估分类评分集合。基于这些评估分类评分，和/或在评估谱的处理期间由给定分类器产生的另外结果，确定所寻求性能。例如，另外的结果可以是由卷积层的堆栈在分类器中创建的潜在表示，并且将由分类层（诸如全连接层）处理成评估分类评分集合。

以此方式测量给定分类器的性能的优点是促进了分类器的开发过程。通常，经训练的分类器在许多真实情形下被测试，并且在其被认为安全以供使用之前必须通过某个测试列表，例如在道路交通中的至少部分自动化的车辆中。这可能涉及在测试驾驶中获取许多雷达、超声或音频谱，将所有这些谱馈送至被测分类器，并且然后基于从分类器获得的结果评级车辆将执行的动作在当前交通情形中是否将是适当的。如果分类器没有通过该测试，则它被送回进行进一步开发。该过程非常耗时且昂贵。特别地，获得谱也可以涉及获得标注。在没有任何标注的情况下，可能难以评估测量的数据。

本方法不需要比原始训练或测试数据集中已经可用的任何更多标注。评估谱为分类器的结果评级提供了其自己的“基础真值（ground truth）”。因此，本方法可用作分类器的“预测试”，其可以在真实条件下的所述测试之前在计算机上执行。如果给定的分类器没有通过该“预测试”，那么它在真实条件下将通过测试是几乎不可能的，因此它可以被立即送回进行进一步开发。该情形在某种程度上类似于大学学习：学生在第一学期就已经在困难的科目中被给予高工作负荷作为他们将是否能够成功完成学习课程的“预测试”。如果学生在第一学期就已经因为在“预测试”科目中表现不佳而被退学，则这对所有参与者来说都比在十个或更多学期结束时给他不及格的分数更低代价。

可能以此方式检测到的分类器的一个不想要的行为是过度自信。在许多应用中，期望分类器输出“独热（one-hot）”分类向量，其仅对一个类具有非零分量。这样做的缺点是，即使当干扰开始使谱远离共同分布或流形移动时，分类器输出的置信度也保持在高平稳状态上。当跨越类边界时，置信度突然下降。例如，分类器的该不想要的行为可能通过根据交叉熵损失结合硬基础真值标注（即，恰好一个类的独热最大置信度1）来训练分类器而引发。

本方法具体地测量对于在自动化驾驶系统中使用机器学习分类器非常重要的能力，即泛化的能力。如每个人类驾驶员从他或她自己驾驶课程的经历中知道的那样，该能力是不可或缺的。人类驾驶员通常仅在方向盘后花费大约几十个小时，并且在获得驾驶执照之前覆盖小于1000 km。在获得驾驶执照之后，预期驾驶员足够好地处理每一种情形至少不对他人造成伤害，即使该情形是完全未见的并且也不曾是训练的一部分。例如，如果训练是在春天和夏天期间进行的，则新获得驾驶执照的驾驶员将在秋天和冬天的条件下具有零经验，但是将仍然预期在这些条件下安全驾驶。

对于基于雷达、超声和/或音频测量的车辆环境监视，泛化的能力甚至更重要。特别地，这样的测量所固有的是，即使视点和/或视角的微小改变也可能显著地改变谱，使得即使是直接连续获取的两个谱也可能不同。因此，即使当交通情形本身或多或少保持恒定，也可能出现各种各样不同的谱。此外，雷达、超声或音频谱对人类来说难以解释，因此具有对于分类器性能的定量和客观测量是有利的。

将测试谱的修改检测为基本上具有相同语义内容的谱是泛化奖章的一面。另一面是分类器如何处理明显超出测试谱的共同分布或流形的谱。在这种情况下，谱实际上不拟合到任何一个可用的类中。例如，如果分类器被训练为将车辆分类为客车、卡车、公共汽车、自行车和摩托车，则这些类中没有一个真正匹配表示房屋的谱。然而，经常发生的情况是，分类器只选择任何一个可用的类，并且为该类分配高的评分，就好像分类器落在Web表单上，该Web表单仅允许选择恰好一个类，并且还使“继续”按钮变灰，直到做出这一个选择。对于明显在分布外的谱，期望的行为是这样的谱相对于所有可用的类被分配统一的低评分。

测试谱的修改可以用于评测分类器的决策针对这样的修改有多鲁棒。理想地，如果分类器已经学习了评测谱的纯语义内容，那么如果输入的谱以不改变语义内容的方式被修改，则分类评分不应当改变。因此，在特别有利的实施例中，该确定至少部分地基于分类器对于评估谱的结果与分类器对于如下各项已经输出或应当输出的结果之间的比较

· 从其中已经导出评估谱的测试谱，和/或

· 来自测试谱的给定集合的至少一个其他测试谱。

特别地，用于比较的结果可以包括：

· 至少一个分类评分和/或置信度，和/或；

· 通过损失函数对至少一个分类评分的评级；和/或

· 分类准确度；和/或

· 预期校准误差，其是在置信度和准确度之间的差异上的加权平均值。

在特别有利的实施例中，获得至少一个评估谱可以包括：

· 将至少一个扰动施加到至少一个测试谱，从而生成扰动谱；和

· 根据至少一个扰动谱确定评估谱。

也就是说，评估谱不限于仅由一个单个测试谱创建。而是，几个测试谱可以充当用于创建一个评估谱的构建材料。

特别地，扰动可以具体地被选择为在用至少一个传感器采集雷达、超声或音频信号期间和/或在从所述信号中导出至少一个测量量的信号处理期间很可能发生的扰动。如果分类器的结果没有响应于所施加的这些扰动而改变太多，则很可能当在真实条件下测试分类器时，这些扰动也将不过多地损害分类器的操作。

这样的扰动的示例包括：

· 将测试谱与标量常数相乘，这对应于信号处理路径中的放大或衰减；

· 将测试谱中的值与从随机分布中抽取的噪声样本相乘，这对应于引起信号强度波动的不良天气或其他条件；

· 相对于至少一个空间坐标使测试谱偏移，这对应于传感器设置的未对准；

· 对测试谱进行下采样并且然后将其缩放回到其原始大小，这对应于天线阵列中天线的故障；

· 切掉测试谱的一部分并且然后将该部分缩放到测试谱的原始大小，这对应于放大率的改变；以及

· 平滑测试谱，这对应于信号处理的有限带宽。

特别地，所寻求性能可以被确定为所施加扰动的强度的函数。这导致针对这样的扰动的弹性的更客观的评级。将预期的是，针对大多数（如果不是全部）干扰的弹性存在一定的定量限制。

如之前讨论的，预期已经训练来识别谱的语义内容的分类器不响应于基本上保持语义内容完整的实际扰动而过多地改变其结果。因此，有利地，在与测试谱的结果的所述比较期间确定的差异越小，所寻求性能被确定得越好。

如之前讨论的，同样重要的是照此识别分布外的谱，而不是以高置信度将其分类到分布内的类之一。因此，在另外有利的实施例中，至少部分地基于分类器在不形成共同分布或流形的一部分的谱与形成共同分布或流形的一部分的谱之间进行区分时的区分性能来确定所寻求性能。

这样的区分性能可以例如使用接收器操作特性曲线的积分和/或使用平均最大置信度来测量。当分类器将低置信度分配给未知的分布外数据时，后者被优化。

在另外的有利实施例中，可以至少部分地基于由分类器为不形成共同分布或流形的一部分的评估谱输出的评估分类评分的均匀性来确定所寻求性能。如之前讨论的，如果分类器不真正知道如何处理分布外的谱，则它不应当将该谱分配给一个具有高置信度的特定类，因为没有类真正拟合，并且不存在为何应当将其分配给所述一个类而不是另一个类的理由。

当设计分类器时，诸如层的大小、数量或类型之类的关于架构的一些设计选择可以表达为超参数。此外，另外的超参数可能影响训练的行为。这些超参数的示例包括学习率和一起构成目标函数（损失函数）的不同项的相对权重。上述用于测量分类器性能的方法可以有利地用于自动优化这些超参数。因此，本发明还提供了一种用于训练雷达、超声或音频谱的分类器的方法。

该方法从设置至少一个超参数开始，该至少一个超参数影响分类器的架构和/或该分类器的训练行为。提供训练谱，并且这些训练谱中的至少一些用基础真值分类评分来标注。以至少部分监督的方式训练分类器，其目的是当给定标注的训练谱时，它将它们映射到基础真值分类评分。

在分类器已经被训练之后，它的性能用之前描述的方法来测量。至少一个超参数被优化，其目的是当分类器被训练并且其性能被再次测量时，该性能很可能改进。以此方式，利用超参数中的另外自由度来进一步改进分类器的最终性能。

本发明还提供了另外的方法，该另外的方法覆盖直至并包括车辆致动的完整动作序列。

该方法从提供雷达、超声或音频谱的分类器开始。利用上述方法训练该分类器。

使用车辆携带的至少一个雷达、超声或音频传感器，获取至少一个雷达、超声或音频谱。使用经训练的分类器，将至少一个雷达、超声或音频谱映射到分类评分。至少部分地基于这些分类评分，确定致动信号。然后利用该致动信号致动车辆。

以此方式，当传感器感测到交通情形时，由于分类器从其训练中充分泛化到该特定交通情形，所以由车辆的致动引起的动作在该交通情形中是适当的可能性增加。

上述方法可以全部或部分地是计算机实现的，并且因此体现在软件中。因此，本发明还涉及一种计算机程序，其包括机器可读指令，所述机器可读指令当由一个或多个计算机执行时，使得一个或多个计算机执行上述方法。在这方面，可以运行可执行程序代码的车辆和其他嵌入式系统的控制单元也将理解为计算机。非暂时性存储介质和/或下载产品可以包括计算机程序。下载产品是一种电子产品，其可以在线销售并通过网络传输以便立即履行。一个或多个计算机可以配备有所述计算机程序和/或所述非暂时性存储介质和/或下载产品。

在下文中，使用各图来图示本发明及其优选实施例，而没有任何限制本发明范围的意图。

各图示出了：

图1 用于测量分类器1的性能6的方法100的示例性实施例；

图2 用于训练分类器1的方法200的示例性实施例；

图3 方法300的示例性实施例，其具有直至并包括车辆50的致动的完整动作序列。

图1是用于测量分类器1的性能6的方法100的示例性实施例的示意性流程图。

在步骤100中，提供测试雷达、超声或音频谱2集合。

在步骤120中，获得至少一个评估谱4。该评估谱4是至少一个测试谱2的修改，其具有与该至少一个测试谱2基本上相同的语义内容，和/或它不形成共同分布或流形的一部分。

特别地，根据块121，评估谱4的获得120可以包括将至少一个扰动施加到至少一个测试谱。这产生了扰动谱。根据该至少一个扰动谱，然后可以根据块122确定评估谱4。

根据块121a，扰动可以被具体地选择为在利用至少一个传感器10采集雷达、超声或音频信号期间和/或在从所述信号中导出雷达、超声或音频谱的至少一个测量量的信号处理期间很可能发生的扰动。

在步骤130中，给定分类器1将至少一个评估谱4映射到评估分类评分5集合。

在步骤140中，基于评估分类评分（5）集合和/或在评估谱4的处理期间由给定分类器1产生的另外结果来确定所寻求性能6。

特别地，根据块141，该确定140可以至少部分地基于分类器1对于评估谱4的结果和分类器1对于如下各项已经输出或应当输出的结果之间的比较

· 从其中已经导出评估谱4的测试谱2，和/或

· 来自测试谱的给定集合的至少一个其他测试谱2。

分类器1对于测试谱2“应当输出”的结果的一个示例是与该测试谱2相关联的基础真值标注。

根据块142，可以作为所施加扰动的强度的函数来确定所寻求性能6。

根据块143，可以至少部分地基于分类器1在不形成共同分布或流形的一部分的谱与形成共同分布或流形的一部分的谱之间进行区分时的区分性能来确定所寻求性能6。

根据块144，可以至少部分地基于由分类器1为不形成共同分布或流形的一部分的评估谱4输出的评估分类评分5的均匀性来确定所寻求性能6。

图2是用于训练雷达、超声或音频谱的分类器1的方法200的实施例的示意性流程图。

在步骤210中，设置至少一个超参数7。该超参数7影响分类器1的架构和/或该分类器1的训练行为。

在步骤220中，提供利用基础真值分类评分2b标注的训练谱2a。

在步骤230中，训练分类器1，其目的是当给定训练谱2a时，它将它们映射到基础真值分类评分2b。经训练的分类器用参考符号1*标注。

在步骤240中，利用上述方法100测量经训练分类器1*的性能6。

在步骤250中，至少一个超参数7被优化，其目的是，当分类器1在步骤230中被训练并且其性能6在步骤240中被再次测量时，该性能6很可能改进。该优化可以根据任何合适的终止标准来终止。最终获得的超参数7的优化值用参考符号7*标注。

图3是具有完整动作序列的方法300的实施例的示意性流程图。

在步骤310中，提供用于雷达、超声或音频谱2的分类器1。

在步骤320中，利用上述方法200训练分类器1。

在步骤330中，使用由车辆50携带的至少一个雷达、超声或音频传感器10获取至少一个雷达、超声或音频谱2。

在步骤340中，使用经训练的分类器1*将至少一个雷达、超声或音频谱2映射到分类评分3。

在步骤350中，至少部分地基于分类评分3，确定致动信号350a。

在步骤360中，利用致动信号350a致动车辆50。

Claims

1.一种用于测量雷达、超声或音频谱（2）的分类器（1）的性能（6）的方法（100），其中谱（2）包括已经从雷达、超声或音频信号中导出的至少一个测量量对空间坐标的依赖性，并且分类器（1）被配置为将雷达、超声或音频谱（2）映射到关于给定分类的类的分类评分（3）集合，所述方法（100）包括以下步骤：

· 提供（110）测试雷达、超声或音频谱（2）集合，其形成共同分布或流形的一部分和/或定义共同分布或流形；

· 获得（120）至少一个评估谱（4），其

○ 是至少一个测试谱（2）的修改，其具有与该至少一个测试谱（2）基本上相同的语义内容，和/或

○ 不形成共同分布或流形的一部分；

· 借助于给定分类器（1），将所述至少一个评估谱（4）映射（130）到所述分类评分（5）集合；和

· 基于所述分类评分（5）集合和/或在处理评估谱（4）期间由给定分类器（1）产生的另外结果来确定（140）所寻求性能（6），

其中所述确定（140）至少部分地基于分类器（1）对于评估谱（4）的结果与分类器（1）对于如下各项已经输出或应当输出的结果之间的比较（141）

· 从其中已经导出评估谱（4）的测试谱（2），和/或

· 来自测试谱的给定集合的至少一个其他测试谱（2）。

2.根据权利要求1所述的方法（100），其中用于比较（141）的结果包括：

· 至少一个分类评分和/或置信度，和/或；

· 通过损失函数对至少一个分类评分的评级；和/或

· 分类准确度；和/或

· 预期校准误差。

3.根据权利要求1至2中任一项所述的方法（100），其中，所述至少一个评估谱（4）的获得（120）包括：

· 将至少一个扰动施加（121）到至少一个测试谱（2），从而生成扰动谱；和

· 根据所述至少一个扰动谱确定（122）评估谱（4）。

4.根据权利要求3所述的方法（100），进一步包括：具体地选择（121a）在利用至少一个传感器（10）采集雷达、超声或音频信号期间和/或在从所述信号中导出至少一个测量量的信号处理期间很可能发生的扰动。

5.根据权利要求3至4中任一项所述的方法（100），其中所述至少一个扰动包括：

· 将测试谱（2）与标量常数相乘；和/或

· 将测试谱（2）中的值与从随机分布中抽取的噪声样本相乘；和/或

· 相对于至少一个空间坐标使测试谱（2）偏移；和/或

· 对测试谱（2）进行下采样并且然后将其缩放回到其原始大小；和/或

· 切掉测试谱（2）的一部分并且然后将该部分缩放到测试谱（2）的原始大小；和/或

· 平滑测试谱（2）。

6.根据权利要求3至5中任一项所述的方法（100），其中，所寻求性能（6）被确定（142）为所施加扰动的强度的函数。

7.根据权利要求1至6中任一项所述的方法（100），其中，在比较（141）期间确定的差异越小，所寻求性能（6）被确定得越好。

8.根据权利要求1至7中任一项所述的方法（100），其中，至少部分地基于分类器（1）在不形成共同分布或流形的一部分的谱与形成共同分布或流形的一部分的谱之间进行区分时的区分性能来确定（143）所寻求性能（6）。

9.根据权利要求1至8中任一项所述的方法（100），其中，至少部分地基于由分类器（1）为不形成共同分布或流形的一部分的评估谱（4）输出的评估分类评分（5）的均匀性来确定（144）所寻求性能（6）。

10.一种用于训练雷达、超声或音频谱的分类器（1）的方法（200），包括以下步骤：

· 设置（210）影响分类器（1）的架构和/或该分类器（1）的训练行为的至少一个超参数（7）；

· 提供（220）利用基础真值分类评分（2b）标注的训练谱（2a）；

· 训练（230）分类器（1），其目的是当给定训练谱（2a）时，它将它们映射到基础真值分类评分（2b）；

· 利用权利要求1至10中任一项的方法（100）测量（240）经训练的分类器（1*）的性能（6）；以及

· 优化（250）所述至少一个超参数（7），其目的是当训练（230）分类器（1）并且再次测量（240）其性能（6）时，该性能（6）很可能改进。

11.一种方法（300），包括以下步骤：

· 提供（310）用于雷达、超声或音频谱（2）的分类器（1）；

· 利用根据权利要求11所述的方法（200）训练（320）分类器（1）；

· 使用由车辆（50）携带的至少一个雷达、超声或音频传感器（10）获取（330）至少一个雷达、超声或音频谱（2）；

· 使用经训练的分类器（1*），将所述至少一个雷达、超声或音频谱（2）映射（340）到分类评分（3）；

· 至少部分地基于分类评分（3）确定（350）致动信号（350a）；以及

· 利用致动信号（350a）致动（360）车辆（50）。

12.一种包括机器可读指令的计算机程序，所述机器可读指令当由一个或多个计算机执行时，使得所述一个或多个计算机执行权利要求1至11中任一项的方法（100、200、300）。

13.一种非暂时性机器可读存储介质和/或下载产品，其具有权利要求23的计算机程序。

14.一个或多个计算机，其具有权利要求12的计算机程序，和/或具有权利要求13的非暂时性机器可读存储介质和/或下载产品。