CN115176287A - 识别自动驾驶系统的环境内的对象的装置、系统及方法 - Google Patents

Abstract

一种识别自动驾驶系统的环境(U)内的对象(1、2、3)的装置，其包括识别对象和形成对象假设的第一分析单元(002)以及验证和/或证伪对象假设和/或误检对象的第二分析单元(004)。本发明还涉及一种识别自动驾驶系统的环境内的对象的系统和方法。

Description

识别自动驾驶系统的环境内的对象的装置、系统及方法

技术领域

本发明涉及一种识别自动驾驶系统的环境内的对象的装置、系统及方法。

背景技术

在驾驶辅助系统和自主的驾驶功能及驾驶系统中要求高稳健避免错误。尤其是漏检和误检导致环境识别中的严重错误并且随后也导致驾驶功能的严重错误。

DE 10 2016 012 345 A1公开了一种识别车辆环境中的对象的方法，其中，借助摄像机数据获得对象假设并且借助激光雷达传感器摒弃误检。

发明内容

本发明任务是提供一种稳健识别环境的传感器系统，其优化避免误检和漏检。

本发明通过将对象识别、由此创建的假设和随后的假设检验之间的功能分离来解决该任务。具体而言，将识别出相关对象特性(例如尺寸、等级，速度，位置)的对象识别级与后续的假设检验级进行配对，假设检验级不估计或分析对象特性，而是只检验对象是否真实存在。按照本发明一个方面，然而也采用估计对象特性，以检验存在性。

根据一个方面，本发明提供一种识别自动驾驶系统的环境内的对象的装置。所述装置包括第一分析单元。第一分析单元包括通向自动驾驶系统的第一环境检测传感器的第一输入接口，以便获得第一环境检测传感器的第一信号。此外，第一分析单元具有至少一个第一运算器，其实施第一计算机指令，用以识别对象和形成对象假设，其中，针对其中每个第一环境检测传感器或针对第一环境检测传感器的每个组合单独地实现识别和/或形成对象假设，用以最小化漏检率。此外，第一分析单元包括第一输出接口，以便提供包含对象、对象假设和误检对象的第一列表。装置还包括第二分析单元。第二分析单元包括通向自动驾驶系统的第二环境检测传感器的第二输入接口，以便获得第二环境检测传感器的第二信号。此外，第二分析单元还包括至少一个第二运算器，其实施第二计算机指令，以便依赖于第二信号和第一列表验证对象假设和/或证伪误检对象。第二分析单元还包括第二输出接口，以便提供包含第二运算器的结果的第二列表。

通过对象识别和存在性检验的功能分离(也就是通过提供用于对象识别的第一分析单元和用于存在性检验的第二分析单元)可以应用高度特定的系统或子系统，即第一分析单元和第二分析单元，它们针对其任务得到优化。不必采用“一个系统解决所有问题”，其中需要针对相互冲突的目标进行优化。由此，更好、更模块化且更廉价地实施实施方案。

本发明的主题本质上是模块化和可扩展，这是因为不仅在对象识别级(其为第一分析单元)内而且也在假设检验级(其为第二分析单元)内可以合并用于识别或假设检验的附加措施，而无需摒弃已有的部件。根据本发明一个方面，这些不同措施在第一分析单元尤其然而在第二分析单元中可以组合成整体，例如级联或机构。

装置的第二级(其为第二分析单元)最终给出对象列表或可比性，其被优化而避免了误检(即，通过第二分析单元)和漏检(即，通过第一分析单元)。在此，第二级被实施成不错误否定任何实际存在的对象。

第一环境检测传感器在高度敏感性方面得到优化，以便稳健避免漏检。第二环境检测传感器优化假设检验。第二环境检测传感器的任务是，它们证伪由第一分析单元提供的、应当是误检的对象。第一和第二环境检测传感器包括摄像机、雷达、激光雷达、超声波、麦克风、时间差(time-of-flight)传感器和激光光栅。原则上，第一环境检测传感器的传感器技术也可以用于第二环境检测传感器，反之亦然。本发明另一方面包括一种传感机构，其主动改变其自身的输入，以便能够检验假设，例如主动移动(扫视)的摄像机或主动对准的激光雷达。

所述装置例如是传感器信号处理模块，其具有获得环境检测传感器的信号的输入接口、分析信号的分析单元和输出接口，输出接口将经分析的信号(其例如呈调节和/或控制信号形式)提供给车辆执行器，例如用以自动/自主的纵向和/或横向引导。纵向引导例如通过驱动力矩调节装置来调节，例如通过电子发动机功率控制装置和/或制动力矩调节装置。横向引导调节车辆的横向动态，例如车道和/或方向稳定性、转向操作和/或偏航率。

本发明不局限于自动或自主车辆。本发明的适用范围延伸至自动驾驶系统。自动驾驶系统包括所有自动和自主系统，其中，应当呈现带有不确定的感知能力以及避免误解或错误感知。除了此处所述的车辆，自动驾驶系统还包括服务机器人、无人机和有腿机器人。

例如包含内燃机、电动驱动装置的能自动运行的车辆、混合动力电动车辆或燃料电池车辆，优选是采用其中一种驱动技术的道路车辆包括控制车辆完成驾驶任务的技术装备。根据一个方面，本发明针对SAE J3016级驾驶功能采用L2至L5级。装置例如是ADAS/ADDomain ECU，也就是，用于高级驾驶员辅助系统/自动驾驶的域的电子控制单元。

自动驾驶系统的环境内的对象包括其他驾驶系统、车辆、骑自行车的人、行人和其他交通参与者。环境包括环绕自动驾驶系统的空间，其可能影响轨迹或预测轨迹。

分析单元包括可编程电子电路，其包含逻辑单元。

运算器实施计算机程序的计算机指令。运算器包括算术逻辑单元、中央处理器、图形处理器、多核处理器、IC、ASIC、FPGA和其他逻辑和/或可编程微电子系统。根据本发明的一个方面，分析单元包括存储计算机指令的内部存储器和/或外部存储器以及用于与运算器和外围设备进行数据交换的总线系统。存储器例如是双倍数据速率同步动态RAM(简称DDR SDRAM)存储器。存储器优选是低功率DDR SDRAM存储器。

第一计算机指令例如包括用于实施计算机学习算法的指令。第一运算器例如被优化来实施计算机学习算法。第一运算器例如包括具有用于并行处理的微架构和/或用于计算机学习的硬件加速器的图形处理器。计算机学习是一项技术，其教导计算机和其他数据处理设备通过根据数据学习来实施任务而不是针对任务来编程。计算机学习算法例如是卷积网络，其在语义图像识别上被训练。因而可以进一步减少漏检。关于追踪对象，也称为跟踪，卷积网络按照有利方式是循环卷积网络，也就是，具有循环层的卷积网络，例如是LSTM单元，即长短期记忆单元。

根据本发明的一个方面，第二计算机指令包括用于实施确定性算法的指令。该算法是稳健的且优选是人类可解读的。该算法例如实现了来自多摄像机几何的措施，以便否定对象假设。这些基于几何的措施例如得到来自激光雷达的几何认知或借助结构光的支持。

对象假设包括这些猜测，即，一对象有确定可能性存在于环境检测传感器的经识别的区域内。

针对其中每个第一环境检测传感器单独地实现识别和/或形成对象假设意味着不执行第一信号的合并。这有别于根据现有技术已知的对象识别方法，在该方法中，基于冗余和可信度检查合并传感器信号。相反，通过本发明主题实施投票。投票或相关的集合措施通过对象假设进行，其基于单个传感器以及传感器合并。在n个传感器中可以采用n个单个传感器。关于每个在n个传感器上的k合并(k<＝n)，理论上可以形成n个关于k的假设。以下示例仅针对单个传感器制定，当然也可以通过任意合并对进行扩展，例如k＝2，摄像机-激光雷达。第一环境检测传感器例如包括摄像机、激光雷达和雷达。在一个场景中，雷达识别对象。摄像机和激光雷达未识别出对象。摄像机数据、激光雷达数据和雷达数据的合并不输出对象。因而假如对象实际存在，会出现漏检。然而根据本发明，一旦对象仅被一个环境检测传感器识别出，就输出对象。因而最小化漏检率。根据本发明的一个方面，当摄像机、激光雷达或雷达传感器的相对较少的像素提供信号，则第一分析单元在第一列表中输出对象。因而获得可靠的阈值并且进一步最小化漏检率。假如对象实际不存在，则增加了误检对象数量。然而这些将被第二分析单元否定。

误检和漏检说明存在的不确定性，也就是，不确定由环境检测传感器识别出的且纳入环境代表中的对象是否真的存在。在误检情况下，虽然对象实际上并不存在，但它会被识别出。例如投射在车道上的阴影被识别为轮胎。在漏检情况下，即使对象确实存在也不被识别出。

第二列表被优化来避免误检(即，通过第二分析单元的分析)和漏检(即，通过第一分析单元的分析)。第二级也不允许错误否定任何对象，由此也产生漏检结果。

根据另一方面，本发明提供一种识别自动驾驶系统的环境内的对象的系统。所述系统包括第一和第二环境检测传感器以及根据本发明的装置。第一环境检测传感器与装置的第一分析单元以及第二环境检测传感器与装置的第二分析单元分别信号传输地连接。装置被实施成：依赖于装置的第二运算器的结果确定调节和/或控制信号，并且将调节和/或控制信号提供给自动驾驶系统的执行器用于纵向和/或横向引导。

第一分析单元、第一环境检测传感器和第一运算器构成第一子系统。第二分析单元、第二环境检测传感器和第二运算器构成第二子系统。视系统设计而定，在对象存在假设被证伪时，假设和/或对象直接在第二子系统中被摒弃。针对第一子系统包含多重假设对象追踪级的情况，指示该级摒弃该假设。

按照本发明一个方面，第一和第二子系统的不同拓扑并联或串联。此外，第一环境检测传感器可以接入第二子系统的分析逻辑中。另外，第二子系统可以反馈至用于第一子系统的对象形成和/或对象追踪的多重假设级，尤其是第二分析单元反馈至第一分析单元。

根据另一方面，本发明提供一种识别自动驾驶系统的环境内的对象的方法。所述方法包括步骤：

·识别对象的特性，

·形成对象假设，和

·检验识别出的对象和对象假设。

根据本发明的装置或根据本发明的系统用于执行所述方法。

根据本发明的一个方面，所述方法是计算机实现的。计算机实现意味着，方法步骤由数据处理装置，例如计算机、计算系统或其部分来实施。

本发明的其他实施方案由从属权利要求、附图和优选实施例的说明给出。

在本发明的一个实施方案中，第一运算器通过实施第一计算机指令追踪对象，第一分析单元在第一列表中提供该追踪，第二分析单元分析追踪。计算机指令例如包括用于实施跟踪算法的指令。追踪允许集成的对象特定的存在估计。

在本发明另一实施方案中，第一运算器通过实施第一计算机指令形成用于识别和/或追踪对象的多重假设，第一分析单元在第一列表中提供多重假设，第二分析单元分析多重假设。根据本发明，备选的假设被一同分析而非积极抛弃。因而进一步最小化漏检。

在本发明另一实施方案中，循环地实现对象的识别并且第二分析单元在第一分析单元的每个循环中多次验证对象假设和/或证伪误检对象。因而在传感器层级获得较高的稳健以防误检。对象识别例如在第一环境检测传感器的40Hz循环中实现。第二环境检测传感器具有较高的重复速度或节奏。例如在对象识别的每个循环中对每个对象假设进行数十至数百次检验，例如利用第二环境检测传感器的辐射传感器，例如激光雷达。这例如通过调节控制辐射传感器的射线获得。

在本发明另一实施方案中，第二分析单元被实施成借助三维结构估计和/或几何一致性且基于第二环境检测传感器和/或第一环境检测传感器中的不同环境检测传感器的视野验证对象假设和/或证伪误检对象。因而替代或除了传感器层级之外还在第二分析单元层级获得避免较高稳健以防误检。三维结构估计例如借助时间差(time-of-flight)传感器获得。因而可以确定可用空间量。

在本发明另一实施方案中，装置包括第三分析单元。第三分析单元实施第三计算机指令，以便针对第一列表的对象、对象假设和/或误检对象分别确定危险性。依赖于危险性通过实施第三计算机指令对考虑对象、对象假设和/或误检对象进行优先排序并且将包含经优先排序的对象、对象假设和/或误检对象的经优先排序的第一列表提供给第二分析单元。第二分析单元基于优先性验证这些对象假设和/或证伪误检对象。因而，第三分析单元获知通过第二分析单元对第一分析单元的第一列表进行检验的顺序排名。

在本发明另一实施方案中，第一环境检测传感器和/或第二环境检测传感器在多个波长范围内工作。因而补偿了感知弱点。第二环境检测传感器的激光雷达传感器例如在两个不同激光雷达波长光谱中工作。由此例如可以穿过雾气观察。

在另一实施方案中，在第一对象级有意使用虚拟误检对象。通过虚拟对象被否定的比率可以连续检验证伪的效率。

附图说明

在如下实施例中阐述本发明。图中：

图1示出环境示例，

图2示出根据本发明的第一分析单元的根据图1的环境的第一图像，

图3示出根据本发明的第二分析单元的根据图2的第一图像的第二图像，

图4示出根据本发明的装置的实施例，

图5示出根据本发明的装置的另一实施例，

图6示出根据本发明的装置的另一实施例，和

图7示出根据本发明的方法的示意图。

在附图中相同附图标记标识相同或功能类似的参考部件。为了概览起见，在单个附图中仅突出示出相应相关的参考部件。

具体实施方案

图1示出车辆的环境U，如其真实存在的那样。环境U包括多个对象1、2、3，例如车辆1、自行车2和两位行人。

图2示出第一分析单元002的环境U的第一图像。该第一图像例如作为第一列表通过第一分析单元002的第一输出接口提供。第一图像包括来自环境的对象1、2、3，稳健避免漏检。第一图像还包括对象假设，例如另一车辆、另一自行车和另一位行人。

图3示出第一图像的第二图像。该第二图像例如作为第二列表通过第二分析单元004的第二输出接口提供。第二图像包括来自环境的对象1、2、3。第一图像的误检已被证伪。

图4所示的装置包括第一分析单元002。第一分析单元002与第一环境检测传感器001a、001b、001c信号传输连接。第一环境检测传感器001a例如是摄像机。第一环境检测传感器001b例如是激光雷达。第一环境检测传感器001c例如是雷达。第一分析单元002包括第一运算器002a。第一运算器002a生成第一列表，其包含由第一环境检测传感器001a、001b、001c检测到的对象1、2、3，对象假设和误检对象。

第一列表被提供给第二分析单元004。第二分析单元004与第二环境检测传感器003a、003b、003c信号传输连接。第二环境检测传感器003a例如是摄像机。第二环境检测传感器003b例如是激光雷达。第二环境检测传感器003c例如是雷达。第二分析单元004包括第二运算器004a。第二运算器004a从第一列表和第二环境检测传感器003a、003b、003c的经分析的信号出发生成第二列表。第二列表稳健避免误检和漏检。

图5大致示出图4的实施例。与图4不同，第二分析单元004反馈至第一分析单元002。该反馈是用于形成多重对象假设和/或追踪第一分析单元002的反馈路径。

图6示出图5的实施例，其包含附加的第三分析单元005。第三分析单元005依赖于对象1、2、3的潜在危险获知通过第二分析单元004对第一分析单元002的第一列表进行检验的顺序排名。例如，行人优先于骑自行车的人，骑自行车的人优先于车辆。

图7示出根据本发明的方法。在方法步骤V1，识别对象1、2、3的特性，例如速度，以及对象是车辆、行人还是骑自行车的人。在方法步骤V2，形成对象假设，用以最小化漏检率。在方法步骤V3，检验识别出的对象1、2、3和对象假设。为了执行方法，例如应用根据本发明的装置。对象识别和假设形成通过第一分析单元002实现。检验通过第二分析单元004实现。

附图标记列表

1 对象

2 对象

3 对象

U 环境

001a 第一环境检测传感器

001b 第一环境检测传感器

001c 第一环境检测传感器

002 第一分析单元

002a 第一运算器

003a 第二环境检测传感器

003b 第二环境检测传感器

003c 第二环境检测传感器

004 第二分析单元

004a 第二运算器

005 第三分析单元

F 反馈

V1-V3 方法步骤

Claims (9)

1.一种用于识别自动驾驶系统的环境(U)内的对象(1、2、3)的装置，所述装置包括：

·第一分析单元(002)，所述第一分析单元包括：

o通向所述自动驾驶系统的第一环境检测传感器(001a、001b、001c)的第一输入接口，以便获得所述第一环境检测传感器(001a、001b、001c)的第一信号，

o至少一个第一运算器(002a)，所述第一运算器实施第一计算机指令，用以识别所述对象(1、2、3)和形成对象假设，其中，针对其中每个第一环境检测传感器(001a、001b、001c)或针对所述第一环境检测传感器(001a、001b、001c)的每个组合单独地实现识别和/或形成所述对象假设，用以最小化漏检率，和

o第一输出接口，以便提供包含所述对象、所述对象假设和误检对象的第一列表，

和

·第二分析单元(004)，所述第二分析单元包括：

o通向所述自动驾驶系统的第二环境检测传感器(003a、003b、003c)的第二输入接口，以便获得所述第二环境检测传感器(003a、003b、003c)的第二信号，

o至少一个第二运算器(004a)，所述第二运算器实施第二计算机指令，以便依赖于所述第二信号和所述第一列表验证所述对象假设和/或证伪误检对象，和

o第二输出接口，以便提供包含所述第二运算器(004a)的结果的第二列表。

2.根据权利要求1所述的装置，其中，所述第一运算器(002a)通过实施所述第一计算机指令追踪所述对象(1、2、3)，所述第一分析单元(002)在所述第一列表中提供所述追踪并且所述第二分析单元(004)分析所述追踪。

3.根据权利要求1或2所述的装置，其中，所述第一运算器(002a)通过实施所述第一计算机指令形成多重假设，用以识别和/或追踪所述对象(1、2、3)，所述第一分析单元(002)在所述第一列表中提供所述多重假设并且所述第二分析单元(004)分析所述多重假设。

4.根据权利要求1至3中任一项所述的装置，其中，循环地实现所述对象(1、2、3)的识别并且所述第二分析单元(004)在所述第一分析单元(002)的每个循环中多次验证所述对象假设和/或证伪误检对象。

5.根据权利要求1至4中任一项所述的装置，其中，所述第二分析单元(004)被实施成基于第二环境检测传感器(003a、003b、003c)和/或第一环境检测传感器(001a、001b、001c)中的不同环境检测传感器的视野借助三维结构估计和/或几何一致性验证所述对象假设和/或证伪误检对象。

6.根据权利要求1至5中任一项所述的装置，所述装置包括第三分析单元(005)，所述第三分析单元实施第三计算机指令，以便针对所述第一列表的对象(1、2、3)、对象假设和/或误检对象分别确定危险性，依赖于所述危险性对所述对象(1、2、3)、所述对象假设和/或所述误检对象进行优先排序并且将包含经优先排序的对象(1、2、3)、对象假设和/或误检对象的经优先排序的第一列表提供给所述第二分析单元(004)，其中，所述第二分析单元(004)基于优先性验证这些对象假设和/或证伪误检对象。

7.根据权利要求1至6中任一项所述的装置，其中，所述第一环境检测传感器(001a、001b、001c)和/或第二环境检测传感器(003a、003b、003c)在多个波长范围内工作。

8.一种识别自动驾驶系统的环境内的对象(1、2、3)的系统，所述系统包括第一环境检测传感器(001a、001b、001c)、第二环境检测传感器(003a、003b、003c)和根据权利要求1至7中任一项所述的装置，其中，所述第一环境检测传感器(001a、001b、001c)与所述装置的第一分析单元(002)以及所述第二环境检测传感器(003a、003b、003c)与所述装置的第二分析单元(004)分别信号传输地连接，所述装置依赖于所述装置的第二运算器(004a)的结果确定调节和/或控制信号并且将所述调节和/或控制信号提供给自动驾驶系统的执行器用于纵向和/或横向引导。

9.一种识别自动驾驶系统的环境内的对象(1、2、3)的方法，其包括步骤：

·识别所述对象的特性(V1),

·形成对象假设(V2)，和

·检验识别出的对象和对象假设(V3)，

其中，根据权利要求1至7中任一项所述的装置或根据权利要求8所述的系统用于执行所述方法。

Images