CN112368707A - 对于车辆的周围环境中的危险的或者受危害的物体的快速识别 - Google Patents

Abstract

本发明涉及一种用于对车辆（1）的周围环境（2）中的可能危险的或者受危害的物体（41‑43）进行识别的方法（100），该方法具有以下步骤：用至少一个基于事件的传感器（3）对所述周围环境（2）的区域（2a）进行检测（110），其中所述基于事件的传感器（3）具有光敏的像素（31），并且其中入射到像素（31）上的光强度的、以至少一个预先给定的百分比为幅度所进行的相对变化促使所述传感器（3）输出为这个像素（31）所指配的事件（31a）；将由所述传感器（3）输出的事件（31a）指配给（120）所述区域（2a）中的物体（41‑43）；为至少一个指配有事件（31a）的物体（41‑43）就所述物体（41‑43）的目前的运动（41a‑43a）对被指配给所述物体（41‑43）的事件（31a）进行分析（130）；从所述目前的运动（41a‑43a）中获取（140）所述物体（41‑43）的即将发生的运动（41b‑43b）和/或所述物体（41‑43）的即将发生的状态变化（41c‑43c）。本发明也涉及一种所属的计算机程序。

Description

对于车辆的周围环境中的危险的或者受危害的物体的快速 识别

技术领域

本发明涉及一种方法，用该方法能够快速地如此对车辆的周围环境中的物体进行分析，看看其是否可能对所述车辆来说变得危险或者相反受到车辆的危害。

背景技术

对于过去的交通事故的分析已经表明，这些事故的大的百分率能够加以避免，如果仅仅稍许多一些的时间供预防所用。一秒钟或者甚至还更少的额外的时间在许多情况中就已经造成差别。

车辆越来越多地配备有辅助系统，所述辅助系统在面临碰撞的情况下自动地作出反应并且比如采取紧急制动。此外，如果车辆应该至少部分自动化地在公共道路交通中运动，则这样的自动的反应是必要的。

为了空出尽可能多的反应时间，US 2016/096 477 A1提出，使用具有基于事件的光敏的像素的传感器。一旦入射到这样的基于事件的像素上的光强度以至少一个预先给定的百分比为幅度产生变化，所述传感器就输出为这个像素指配的事件。与基于摄像机的传感器相比，不必等候完整的图像的拍摄。

发明内容

在本发明的范围内，开发了一种用于对车辆的周围环境中的可能危险的或者受危害的物体进行识别的方法。在这方面，“危险的”尤其应该是指，面临所述物体与车辆的碰撞并且可能对所述车辆来说、对所述车辆的乘员来说和/或对其他交通参与者来说导致损害。“受危害的”尤其应该是指，面临所述物体与车辆的碰撞并且可能对物体本身来说导致损害。

用至少一个基于事件的传感器对周围环境的区域进行检测，其中所述基于事件的传感器具有光敏的像素，并且其中入射到像素上的光强度的、以至少一个预先给定的百分比为幅度所进行的相对变化促使所述传感器输出为这个像素指配的事件。所检测的区域比如能够是以下区域，所述车辆当前朝所述区域行驶。尤其所述车辆的周围环境能够通过多个基于事件的传感器来覆盖，在每个时刻在所述传感器中要利用对当前的行驶方向（尤其是向前行驶和倒车）来说密切相关的传感器。但是，也比如能够对侧面的区域进行监控。对于停在路肩上的车辆来说，也比如能够随后对后方的交通空间进行监控，看看是否有车辆即将朝路肩的方向离开右边的车道。

由传感器输出的事件被指配给区域中的至少一个物体。尤其能够从事件本身的数据流中获取物体。比如能够首先抽象地对能彼此区分的并且彼此独立地运动的物体本身进行探测，以用于而后在下一个步骤中根据物体类型（比如行人、骑车人或者其他机动车）来分类。但是作为替代方案或者也在组合中能够考虑每种其他的、用于关于在所述车辆的周围环境中存在哪些物体的信息的来源。比如也能够将事件指配给以前在使用摄像机传感器的情况下所探测并且所分类的物体。此外，可能的是，将同一个事件指配给多个物体，比如如果所述物体从基于事件的传感器的视向看彼此重叠。但是，同时并非强制必需的是，将每个由传感器所输出的事件指配给至少一个物体。事件也能够保持无指配的状态。

对于至少一个指配有事件的物体来说，就所述物体的目前的运动对被指配给所述物体的事件进行分析。这些目前的运动比如能够是物体的内在运动（Insichbewegung）或者也能够是其他的、在比摄像机传感器的典型的帧率短的时间刻度上进行的运动。在这方面，内在运动这个概念尤其包括以下运动，所述运动使物体作为整体的在空间中的位置无变化。这尤其是以下运动，在所述运动中所述物体的至少一个点在空间中保持固定。

由目前的运动来获取所述物体的即将发生的运动和/或所述物体的即将发生的状态变化。即将发生的运动尤其比如能够是物体作为整体的向前运动。但是，比如也能够由第一内在运动来首先获取即将发生的第二内在运动并且仅仅由第二内在运动来推断出所述物体作为整体的即将发生的向前运动。所述状态变化这个概念比如包括物体的每种变化，所述变化不是物体作为整体的向前运动，但是从车辆的角度看同样有重大关系。比如前行的客车上的行李箱盖的活动可能预示着，负载会从行李箱掉到车行道上。同样比如用来将顶篷箱或者其他行李固定在前行的客车上的支架的弯曲或断裂可能预示着这个行李即将掉落。

已经发现，物体的许多运动或者状态变化仅仅看起来完全令人惊讶，但是在实际上预示着这些物体的相应的内在运动或者也预示着其他的在比摄像机传感器的帧率短的时间刻度上进行的运动。因此，比如对于行走的人来说，在人的速度明显提高之前，步伐长度发生变化或者手臂的摆动运动的频率也发生变化。骑车人在其将自已的自行车制动之前会停止踩踏并且在自行车作为整体明显加速之前会加快其踩踏速度。此外，人为了能够朝其他方向行走而通常必须转动其自身的轴线，以用于对准所期望的方向并且而后能够朝这个方向继续其行程。有利的是，由此作为物体的目前的运动来选择至少一种内在运动。

这种认识不局限于有生命的物体。因此，比如车辆部件或者负载在高速公路上的掉落对后面的交通来说非常危险，这在详细观察时经常不是突发的事件。更确切地说，相应的固定结构在所述固定结构最终完全失灵之前通常逐渐松开，使得车辆部件或者负载首先具有间隙，而后通过行驶动力被激励进行相对于车辆的其余部分的运动或振动。

此外，所述识别也不局限于意外地产生的危险情况。因此，比如也能够识别以下内在运动，人用所述内在运动来挥动手臂，以用于将石头投掷到行驶的车辆上。

由此，对于即将发生的运动或者即将发生的状态变化的获取尤其能够包括对于物体的分别所基于的意图的获取，而不局限于此。

所提到的内在运动能够是非常细微的并且同时快速的运动。因此，特别有利的是，用基于事件的传感器以物理的方式来检测这些运动。所述基于事件的传感器提供连续的数据流：每个事件在刚好其发生的瞬间也被报告出来。不是像摄像机传感器那样以帧率的形式固定地预先给定时间的离散化。这一方面引起以下结果，即：能够显著更加详细地跟踪所述内在运动。另一方面，能够在总体上明显更快地、也就是也在比对于摄像机传感器来说在两张完整的图像（帧）的拍摄之间所经过的时间少的时间里作出反应。除了更快地报告事件之外，所述事件从一开始仅仅涉及当前情况的变化也为此作贡献。不必将时间用在比如由两张图像的比较首先就什么已经发生变化进行测评这个方面。

与摄像机传感器的视频数据流相比，由基于事件的传感器所提供的事件的数据流被大为压缩。因此，在车辆内部传输数据时并且在进一步处理时相应需要的带宽更小。如果作为传输信道比如使用具有1Mbit/s的最大带度的CAN总线，则该CAN总线就已经满负荷地以HD质量传输视频数据流。

比如建立在内在运动的预先给定规则的基元的基础上的规定集合（Regelwerk）能够建立内在运动与所预测的运动或状态变化之间的联系。这种规定集合能够明确地加以表达，但是也比如能够用机器学习来训练。这样的规则比如能够包含：对于在人行道上行走的行人来说由变化的步伐频率与朝车行道的转身构成的组合可以以高的概率来预料，该行人将要过行车道。

有利的是，在对物体的即将发生的运动与车辆的目前的或所计划的轨迹冲突这一情况所作的响应中，将所述物体评估为危险的或者受危害。这方面的标准比如能够是，所述物体的即将发生的运动与车辆的目前的或所计划的轨迹相交或者比预先给定的安全间距更靠近所述轨迹。如果即将发生的运动不是以这种方式影响到所述车辆，则能够将所述即将发生的运动分级为不危急。而后比如能够空出另外的用于跟踪这种运动的资源，以用于将这些资源集中于另外的物体的密切相关的运动。

有利的是，物体在对该物体的即将发生的状态变化具有使该物体的至少一个部分与车辆的目前的或者所计划的轨迹冲突的可能性这一情况的响应中被评估为危险的或者受危害的。比如前行的客车上的所提到的打开的行李箱盖或者断裂的支架属于这种情况，因为而后这个客车的负载可能进入自身的车辆的轨迹。

在另一种特别有利的设计方案中，将固定式（rigid）物体从就内在运动所作的分析以及随后对于内在运动的测评中排除在外。在此，固定式物体尤其能够是以下物体，对于所述物体来说内在运动在正常情况下不会出现或者从车辆的角度看并非密切相关，因为所述内在运动不适合于危害车辆。因此，比如除了负载的即将发生的掉落的所描述的特殊情况之外客车通常应该视为固定式物体。如果比如前行的客车的后窗刮水器在运动，那么这并不适合于对自身的车辆的安全性产生不好的影响，因而没有必要将资源绑定用于跟踪这种运动。

尤其将固定式物体从就内在运动所作的分析以及随后的对于内在运动的测评中排除出去这一点能够根据当前由车辆所通行的道路的道路类别来激活。通过这种方式，能够给予可供使用的处理资源以优先权。

因此，比如在城市交通中，负载丢失并且严重地损坏后面的车辆的风险较小。而更加经常出现的是，行人紧挨着在车辆前面奔跑，其中对行人的损伤可能是严重的。因此，比如能够有利的是，在城市交通中激活对于固定式物体的所提到的排除。

而在高速公路上很少见到行人。而在那里经常出现的是，在速度高时负载掉落。因此在高速公路上能够有利的是，也在正常情况下对固定式物体、比如客车或者载货车的内在运动进行监控。

在之前所描述的实施例的概括中，有利地将人或动物选择作为物体，要获取其的内在运动。从人或动物的至少一个身体部位的周期性运动的幅度和/或频率的变化中和/或从人或动物或其身体部位的转动中，作为内在运动来获取人或动物的即将发生的运动和/或状态变化。尤其对于周期性运动的分析具有以下优点，即：能够将这些运动与噪声较好地区分开来。

在另一种有利的设计方案中，将人选择作为物体，要对其内在运动进行分析。从表明人的朝特定的空间方向的沟通性行为（Kommunikation）中作为内在运动来获取人的、朝这个空间方向的即将发生的运动。

对于作为物体的分析尤其在以下情况中可能密切相关，在所述情况中应该预见在人行道上朝车行道的方向运动的人是停留在车行道边缘处还是准备横穿道路。在这个方面，比如也能够不仅将特定的内在运动的存在而且也明确地将特定的内在运动的缺席用作是否面临碰撞的标准。如果行人比如朝车行道边缘运动并且他此前已经将头朝驶近的车辆的方向转动，那么他已经看到所述车辆并且会停止不动的可能性是高的，从而不需要紧急制动。但是，如果行人没有转头并且比如能够看出另外的表明对于智能手机的操作的内在运动，则应该认为，行人根本没有察觉到交通活动。在这种情况中显示出紧急制动。

对于作为物体的动物的分析尤其在以下情况中可能密切相关，在所述情况中动物经常出没。车行道边缘处的动物可能在车辆到达之前的瞬间才进入到行驶灯的光锥中，因而仅仅留下少许时间对动物对灯光的反应进行测评。灯光能够警告动物不要进入车行道，但是也能够同样好地触发逃跑反应（Fluchtreflex），所述逃跑反应一下子使得动物进入到车行道上。

根据前面所作的描述，有利地从物体的内在运动中作为物体的即将发生的状态变化来获取一个部分从物体上的松脱，其中所述物体的内在运动包括物体的部分相对于该物体的其余部分的运动或振动。尤其通过行驶动力所触发的振动经常在明显比摄像机传感器的典型的帧率快的时间刻度上进行。借助于由摄像机传感器所提供的图像，由此可以无疑地确定所述振动。此外，不仅能够识别车辆部件或者负载的所面临的松脱。比如也能够识别在前行的载货车的遮蓬上所积聚的冰的运动，并且能够从中推断出所述载货车可能很快丢失这种冰的结块。

在一种特别有利的设计方案中，在对物体被评估为危险的或者受危害的这一情况的响应中，激活对车辆的驾驶员来说能够在物理上察觉到的警告装置，和/或用干预来操控车辆的驱动系统、转向系统和/或制动系统，以用于避免碰撞或者减轻碰撞的后果。比如，能够采取制动机动操作和/或避让机动操作。如果前行的车辆丢失负载，那也比如首先能够足以扩大相对于这辆前行的车辆的间距。但是，如果交通状况允许，那么也比如可能有意义的是，超过所述前行的车辆，以用于不被可能掉落的负载碰到。

在另一种特别有利的设计方案中，为了识别处于由基于事件的传感器所检测的区域中的物体和/或为了将物体划分为各个部分，额外地考虑所述区域的摄像机图像。通过这种方式，能够将所述两种数据记录的长处彼此组合起来。因此，虽然原则上能够将所述物体仅仅根据事件的数据流划分为多个分段，但是这由于以下情况而变复杂，即：这种数据流总是仅仅显示所述物体的刚好在运动的区域。而在摄像机图像上则能够看出整个物体，并且比如能够利用物体的不同部分之间的色彩对比。此外，摄像机传感器由于系统原因而具有比基于事件的传感器高的位置分辨率。

在这方面要说明的是，对于物体的特征的更加精确的提取以及可能的将物体划分为各个部分的做法不必强制先行于对于目前的运动的分析。所述分析比如已经能够在特征提取或者分段还没有结束的时刻在对于物体类型的最坏情况估计的基础上进行并且在后来、在更加精确地对物体进行了分类或者分段时被修正。通过这种方式，也能够有意义地加入后来才可用的、来自摄像机图像的额外信息。

原则上，基于事件的传感器与基于摄像机的传感器的组合刚好对于道路交通中的与安全相关的要求来说提供了在数据采集和数据处理时引入多样性的优点。尤其相应所采集的或者所测评的信息能够相互验证。因此，比如可能出现已经在摄像机图像的基础上将一棵树错误地分类为行人的情况。如果现在比如确定，目前的运动的模式对树来说是典型的并且对行人来说不是典型的，那就能够相应地对所述分类进行校正。

就目前的运动对事件所作的分析和/或就即将发生的运动或状态变化对目前的运动所作的测评尤其能够用人工神经网络来执行。在这里，尤其能够使用卷积神经网络、CNN或者递归神经网络、RNN。但是，所述分析和测评也比如能够在模型基础上来执行。

用于对物体的即将发生的运动或者状态变化进行预测的时间跨度比如能够在1与3秒之间。对此必需的计算功率能够由常见的控制器来施加。

附图说明

下面与对于本发明的优选的实施例的描述一起借助于附图对另外的改进本发明的措施进行详细描述。其中示出：

图1示出了方法100的一种实施例；

图2示出了车辆1的周围环境2中的一种示范性的交通情况，在所述示范性的交通情况中所述方法100有利地起作用。

具体实施方式

根据图1，在所述方法100的步骤110中首先用基于事件的传感器3对在图1中未绘示的车辆1的周围环境2的区域2a进行检测。将由所述传感器3所报告的事件31a在步骤120中指配给所述区域2a中的物体41-43，其中为了对物体41-43进行识别和/或分类在可选的步骤115中也能够考虑所述区域2a的摄像机图像。

在步骤130中，由相应地被指配给物体41-43的事件31a对所述物体41-43的目前的运动41a-43a进行测评。这尤其能够根据步骤135用人工神经网络、KNN来进行。

在步骤140中由所述目前的运动41a-43a、像比如内在运动来对所述物体41-43的即将发生的运动41b-43b和/或即将发生的状态变化41c-43c进行测评。在此，比如能够根据步骤141将人或者动物42的至少一个身体部位的周期性运动和/或人或动物42或者其身体部位的转动用作内在运动42a。作为替代方案或者在组合中，比如能够根据步骤142来利用人42的涉及沟通性行为的内在运动42a。作为替代方案或者在组合中，比如能够根据步骤143将物体41的在图1中未绘示的部分41d的、相对于该物体41的其余部分的运动或振动用作内在运动41a。

根据可选的步骤125，能够将固定式物体从所述内在运动41a-43a的确定130以及其随后的测评140中排除出去，其中这种排除根据可选的步骤126能够根据由所辆1通行的道路的道路类别来激活。

根据步骤150将物体41-43评估为危险，如果其即将发生的运动41b-43b与所述车辆1的目前的或者所计划的在图1中未绘示的轨迹1a冲突。根据步骤160，将物体41-43评估为危险，如果其即将发生的状态变化41c-43c具有使所述物体41-43的至少一个部分与所述车辆1的目前的或者所计划的轨迹1a冲突的可能性。

在对确定物体41-43是危险的或者受危害的这一结果的响应中，根据步骤170能够激活车辆的警告装置11，和/或根据步骤180能够用干预180a来操控所述车辆1的驱动系统12、转向系统13和/或制动系统14。

图2示出了车辆1的周围环境2中的一种示范性的交通情况。所述车辆1沿着轨迹1a在两边镶有人行道22和23的道路21上运动。所述周围环境2的区域2a用被划分为光敏的像素31的基于事件的传感器3来检测。在示范性地示出的情况中三个物体41-43是密切相关的。

前行的车辆41拥有保险杠41d，该保险杠的下端部从其支架上折断。通过行驶动力，所述保险杠41d执行过份夸大地绘示的振动运动，所述振动运动应该视为车辆41作为整体的内在运动41a。由这种内在运动41a作为车辆1的即将发生的状态变化41c来推断出，所述保险杠41d马上会完全从车辆41上松开并且会掉落到道路21上（在图2中用虚线示出）。

人行道23上的第一人42作为内在运动42a来执行来围绕着其自身轴线的转身。由此作为此人42的即将发生的运动42b能够推断出，此人马上会跑到道路21上。

人行道22上的第二人43作为内在运动43a用石头43d来执行挥摆运动。由此作为此人43的即将发生的状态变化43c能够推断出，他会甩出石头43d，使得所述石头43d落在道路21上或者甚至碰到所述车辆1（在图2中用虚线绘示）。

Claims (13)

1.用于对车辆（1）的周围环境（2）中的可能危险的或者受危害的物体（41-43）进行识别的方法（100），该方法具有以下步骤：

·用至少一个基于事件的传感器（3）对所述周围环境（2）的区域（2a）进行检测（110），其中所述基于事件的传感器（3）具有光敏的像素（31），并且其中入射到像素（31）上的光强度的、以至少一个预先给定的百分比为幅度所进行的相对变化促使所述传感器（3）输出为所述像素（31）所指配的事件（31a）；

·将由所述传感器（3）输出的事件（31a）指配给（120）所述区域（2a）中的物体（41-43）；

·针对至少一个指配有事件（31a）的物体（41-43），就所述物体（41-43）的目前的运动（41a-43a）对为所述物体（41-43）所指配的事件（31a）进行分析（130）；

·从所述目前的运动（41a-43a）中获取（140）所述物体（41-43）的即将发生的运动（41b-43b）和/或所述物体（41-43）的即将发生的状态变化（41c-43c）。

2.根据权利要求1所述的方法（100），其中在对所述物体（41-43）的即将发生的运动（41b-43b）与所述车辆（1）的目前的或所计划的轨迹（1a）冲突这一情况所作的响应中，将物体（41-43）评估为（150）危险的或者受危害。

3.根据权利要求1到2中任一项所述的方法（100），其中在对所述物体（41-43）的即将发生的状态变化（41c-43c）具有使该物体（41-43）的至少一个部分与所述车辆（1）的目前的或者所计划的轨迹（1a）冲突的可能性这一情况的响应中将物体（41-43）被评估为（160）危险的或者受危害。

4.根据权利要求1到3中任一项所述的方法（100），其中作为所述物体（41-43）的目前的运动（41a-43a）选择至少一种内在运动。

5.根据权利要求4所述的方法（100），其中将固定式物体（41）从就内在运动（41a）所作的分析（130）以及随后的对于所述内在运动（41a）的测评（140）中排除之外（125）。

6.根据权利要求5所述的方法（100），其中将固定式物体（41）从就内在运动（41a）所作的分析（130）以及随后的对于所述内在运动（41a）的测评（140）中排除在外这一点（125）根据由所述车辆（1）通行的道路的道路类别来激活（126）。

7.根据权利要求4到6中任一项所述的方法（100），其中将人或动物选择作为物体（42），要获取（130）其内在运动（42a），并且其中从人或动物（42）的至少一个身体部位的周期性运动的幅度和/或频率的变化中和/或从人或动物（42）或其身体部位的转动中作为内在运动（42a）来获取（141）所述人或动物（42）的即将发生的运动（42b）和/或状态变化。

8.根据权利要求4到7中任一项所述的方法（100），其中将人选择作为物体（42），要对其内在运动（42a）进行分析，并且其中从表明人（42）的朝特定的空间方向的沟通性行为的运动中作为内在运动（42a）来获取（142）人（42）的、朝这个空间方向的即将发生的运动（42b）。

9.根据权利要求4到8中任一项所述的方法（100），其中从所述物体（41）的内在运动（41a）中作为所述物体（41）的即将发生的状态变化（41c）来获取（143）部分（41d）从所述物体（41）上的松脱，其中所述物体（41）的内在运动（41a）包括该物体（41）的部分（41d）的、相对于该物体（41）的其余部分的运动或振动。

10.根据权利要求1到9中任一项所述的方法（100），其中在对物体（41-43）被评估为（150、160）危险或者受危害的这一情况的响应中，激活（170）对所述车辆（1）的驾驶员来说能够在物理上察觉到的警告装置（11），和/或用干预（180a）来操控（180）所述车辆的驱动系统（12）、转向系统（13）和/或制动系统（14），以用于避免碰撞或者减轻碰撞的后果。

11.根据权利要求1到10中任一项所述的方法（100），其中为了识别处于所述区域（2a）中的物体（41-43）和/或为了将物体（41-43）划分为各个部分而额外地考虑（115）所述区域（2a）的摄像机图像。

12.根据权利要求1到11中任一项所述的方法（100），其中就目前的运动（41-43a）对事件（41-43）所作的分析（130）和/或就即将发生的运动（41b-43b）或状态变化（41c-43）对目前的运动（41a-43a）所作的测评用人工神经网络来执行（135）。

13.计算机程序，包含能够机读的指令，所述指令在其在计算机上和/或在控制器上被实施时促使所述计算机和/或所述控制器实施根据权1到12中任一项所述的方法（100）。

Images