CN111936376A

CN111936376A - 障碍物识别方法

Info

Publication number: CN111936376A
Application number: CN201980024122.5A
Authority: CN
Inventors: P·拉森
Original assignee: IEE International Electronics and Engineering SA
Current assignee: IEE International Electronics and Engineering SA
Priority date: 2018-04-03
Filing date: 2019-04-02
Publication date: 2020-11-13
Anticipated expiration: 2039-04-02
Also published as: EP3774500A1; US20210097312A1; WO2019193009A1; CN111936376B; EP3774500B1; LU100761B1; US11836986B2

Abstract

本发明涉及一种用于车辆(2)的障碍物识别方法。为了提供用于车辆的可靠障碍物识别的装置，本发明提供了如下方法，该方法包括：‑通过雷达传感器(4、6)使用无线电频率信号执行第一障碍物搜索；‑通过夜视摄像机(5、7)执行第二障碍物搜索；以及，‑如果第一障碍物搜索的第一检测与第二障碍物搜索的第二检测相对应，则识别障碍物(20‑22)；其中，评估第一检测的可靠性，并且如果该可靠性高于第一阈值，则独立于第二障碍物搜索来识别障碍物(20‑22)。

Description

障碍物识别方法

技术领域

本发明涉及一种障碍物识别方法。本发明还涉及一种障碍物识别系统。

背景技术

在现代车辆中，高级传感器系统通常用于识别潜在危险，并向驾驶员提供警告或自主采取行动，以避免或最小化对驾驶员和车辆的任何危险。一个重要的方面是障碍物识别，即识别车辆可能与之碰撞的任何物体。这指的是静止的物体以及诸如汽车、摩托车、行人和动物之类的移动的物体。通常可以使用雷达传感器可靠地检测出这些物体中的一些。其他物件(例如行人或动物)的雷达信号通常较弱，这可能使得他们难以被识别。不能识别障碍物可能会导致事故，从而造成重大的财产和/或人身伤害。另一方面，任何错误的识别都可能严重损害车辆的正常操作，特别是在触发了自主控制车辆的系统(例如通过防止变道或通过自动制动)时。错误识别障碍物可能惹恼驾驶员，最终使驾驶员停用安全系统，或导致不必要的紧急行动(制动、回避操纵)，从而危及车辆和/或其他道路使用者。

发明内容

发明目的

因此，本发明的目的是提供一种用于车辆的障碍物识别的可靠装置。

该问题通过根据权利要求1的方法和根据权利要求12的系统解决。

发明概述

本发明提供了一种用于车辆的障碍物识别方法。在本文中，术语“车辆”尤其是指机动道路车辆(例如乘用汽车或卡车)。至少在某种程度上，本发明可适用于其他车辆(例如摩托车或火车)。“障碍物识别”是指识别车辆可能与之碰撞(或可能与车辆碰撞)的任何物体。其不一定意味着该物体被识别为属于特定的物体组。

在该方法的第一步骤中，通过雷达传感器使用无线电频率信号执行第一障碍物搜索。雷达传感器可以包括一个或多个发射器天线以及一个或多个接收器天线。每个天线可以被用作发射器天线和被用作接收器天线。雷达传感器发射雷达信号(该雷达信号可以是连续波或脉冲信号)，并接收反射信号。发射信号用于搜索障碍物。如果障碍物位于发射信号覆盖的区域内，则它会影响反射信号，因此可以通过分析反射信号来检测到障碍物。如通过术语“雷达”应该理解的，雷达传感器使用无线电频率信号，即，发射信号以及反射信号都是具有至少一个无线电频率的无线电频率信号。该至少一个无线电频率可以最大为300GHz(对应于至少1mm的波长)，或者最大为100GHz。换句话说，在此上下文中的术语“无线电”还包括电磁波，其也被称为“微波”。该至少一个频率的较低的频率边界可以是例如1GHz或10GHz。

在第二步骤中(其可以在第一步骤之前、之后或与其同时执行)，通过夜视摄像机执行第二障碍物搜索。夜视摄像机适合在弱光水平下操作。它可以使用可见光的放大、(近)IR光的检测或两者的组合来生成图像。通常，它是无源摄像机，然而，夜视摄像机使用其自身的IR光源来照亮特定区域也在本发明的范围内。虽然夜视摄像机适合在夜间操作，但它也能够在白天(即，在更高的光水平下)进行操作。应当注意，虽然提及“图像”或“图像框”，但是该图像通常不会显示给用户(例如，车辆的驾驶员)，相反，其是指对应于图像的图像信号或图像数据。通过图像识别，可以在图像内识别一个或若干个物体。该图像识别是第二障碍物搜索的基础。检测到的每个物体，或者通常每个满足特定标准的物体，都可以被视为潜在障碍物。

在第三步骤中，如果第一障碍物搜索的第一检测与第二障碍物搜索的第二检测相对应，则识别障碍物。第一障碍物搜索的第一检测对应于与(潜在)障碍物相关联的反射信号。第一检测可以基于反射信号的幅值以及可选的其他参数(例如频率，相位，波形等)。如果反射信号满足特定标准，则将其视为第一检测。第二障碍物搜索的第二检测对应于在由夜视摄像机记录的图像框内识别的(潜在)障碍物。根据本发明，如果第一检测与第二检测相对应，则识别障碍物。换句话说，如果根据某些预定标准，第一检测和第二检测可以被归因于同一物体，则识别障碍物。这些标准几乎是细化的。在最简单的情况下，如果第一检测和第二检测在某个小的时间间隔内、即(几乎)同时发生，则它们被视为彼此对应。可以理解，雷达传感器和夜视摄像机需要具有公共的检测区域，在该区域中可以通过雷达和夜视摄像机检测障碍物。在该公共检测区域之外，雷达传感器可以具有夜视摄像机未覆盖的检测区域，反之亦然。

本发明的思想是组合两种不同的搜索和检测技术，以便以高可靠性识别任何实际障碍物，同时避免错误检测(即使在减小的光水平下)。尽管可以通过降低单个检测方法的灵敏度(或增加检测阈值)来减少错误检测，但这也将增加实际障碍物未被检测到的风险。另一方面，虽然可以增加单个检测方法的灵敏度(或降低检测阈值)以确保检测到任何实际障碍物，但这也将导致错误检测的数量增加。利用本发明的方法，雷达检测和夜视检测都可以以相当低的检测阈值进行操作，但是避免了错误检测或至少大大减少了错误检测，因为在识别障碍物之前，第一检测和第二检测中的每一个都必须被另一检测确认或验证。

如上所述，通过组合两个独立的检测，即使第一检测和第二检测中的每一个单独都具有相当大的错误检测风险，也可以避免错误检测。但是，在某些情况下，单独的第一检测可能足够清晰，因此无需通过第二检测进行验证。因此，根据本发明，评估第一检测的可靠性，并且如果该可靠性高于第一阈值，则独立于第二障碍物搜索来识别障碍物。可靠性可以例如取决于反射的雷达信号的幅值。如果幅值相当高，则可以认为可靠性高，因此可以独立于第二障碍物搜索来识别障碍物。“独立于第二障碍物搜索”是指可以根本不执行第二障碍物搜索，或者可以执行第二障碍物搜索，但是不将其结果考虑在内。另一方面，如果可靠性低，则这可能表示例如小障碍物(或者严格来说是横截面比雷达横截面小的障碍物)，或者可能表示根本没有障碍物。为了确定是哪种情况，执行第二障碍物搜索并将其结果(即第二检测)考虑在内是有意义的。可以在执行第二障碍物搜索之前评估可靠性。而且，如上所述，一个选择是仅在可靠性低于(或等于)第一阈值的情况下才执行第二障碍物搜索。严格来说，至少在可靠性低于第一阈值的情况下执行第二障碍物搜索。

根据一个实施例，针对车辆前方的前向区域执行第一障碍物搜索和第二障碍物搜索。“车辆前方”是指车辆的正常行驶方向。这对于避免与行人、动物或固定障碍物发生事故尤其重要。附加地或替代地，可以针对车辆后面的后向区域执行第一障碍物搜索和第二障碍物搜索。一方面，如果车辆向后行驶，这可能很重要。另一方面，如果另一车辆(例如，汽车或摩托车)正在从后方接近并且有可能会超车，这也可能很重要。在这种情况下，车辆的变道可能导致与超车的车辆发生碰撞。可以理解，如果前向区域和后向区域都需要被覆盖，则通常每个区域都需要专用的雷达传感器和专用的夜视摄像机。

通常，相对于车辆不具有明显的相对速度的任何物体都不构成危险，因此可以不被视为障碍物。在优选实施例中，第一检测包括检测物体接近速度，并且如果物体接近速度低于第二阈值，则独立于第二障碍物搜索而忽略第一检测。物体接近速度是由第一检测检测到的物体接近车辆的速度，其中，如果物体正在远离(或者车辆远离物体移动)，则该接近速度可以为零或甚至为负值。如果物体接近速度低于第二阈值，则这可以被认为是至少不存在即刻碰撞危险的指示，因此不需要通过第二检测来验证第一检测。因此，可以忽略第一检测，并且可以根本不执行第二搜索，或者可以不将其结果考虑在内。在该实施例和先前描述的实施例中，不将第二搜索考虑在内或者甚至不执行第二搜索可以是节省处理资源并改善该方法的整体性能的措施。应当注意，“接近速度”可以被解释为向量，其使得能够评估物体是否被预测为将发生碰撞。如果预测物体会发生碰撞，则可以采取行动以防止碰撞。

此外，物体是从前面还是从后面接近车辆可能有所不同。例如，可以忽略另一辆从后面缓慢接近的车辆，如果可以预期它要么在碰撞前会减速，要么会超车的话。另一方面，如果另一车辆正在从前面接近(或者更确切地说，该车辆在接近前面的另一车辆)，则该车辆的驾驶员或某个安全系统需要避免碰撞。因此，可以取决于是针对前向区域还是针对后向区域执行第一障碍物搜索和第二障碍物搜索来确定第二阈值。

可以基于各种标准来确定第一检测是否与第二检测相对应。根据一个实施例，基于第一检测来确定潜在障碍物位置。该潜在障碍物位置通常是3D位置或至少是车辆周围的平面上的2D位置。它可以被表征为例如相对于车辆的纵向轴线的一维或二维角度以及距离。当确定了该潜在障碍物位置时，在由摄像机记录的图像框内确定与潜在障碍物位置相对应的图像区域。如上所述，该图像框不必显示在任何地方。通过已知的夜视摄像机的位置和光学特性，可以确定与潜在障碍物位置相对应的图像区域。该图像区域对应于至少一个像素(通常对应于多个像素)。接下来，如果在该图像区域内检测到与障碍物相对应的图像，则识别障碍物。在这种情况下，图像可能仅部分地位于该图像区域内。换句话说，针对图像框执行图像识别，如果检测到与障碍物相对应的图像并且该图像(至少部分地)位于与潜在障碍物位置相对应的图像区域中，则识别障碍物。图像区域可以具有各种形状(例如矩形或椭圆形)。而且，其大小可以不同地选择，例如以考虑图像框内图像的预期大小或潜在障碍物位置的不确定性。例如，如果潜在障碍物位置更近和/或如果潜在障碍物位置的不确定性较高，则图像区域可以更大。尽管本文中提及“一个”图像框，但是可以理解，可以使用若干个(通常是连续的)图像框。

在一些实施例中，第二障碍物搜索可以在图像区域处局部地执行。“在图像区域处”是指图像区域本身以及可选地其附近。换句话说，不对整个图像框执行图像识别，而是仅对图像区域本身以及可能对其周围的区域执行图像识别。由于无论如何在远离图像区域的区域中的任何第二检测都将被忽略，并且不被视为对第一检测的确认，因此该方法是有意义的。因此，可以通过以上述方式限制第二障碍物搜索来减少处理时间。

通常，第二障碍物搜索可以搜索一定大小的任何不同物体，而不管它们的类型如何。但是，优选地，基于由摄像机记录的图像框执行物体分类。换句话说，物体不仅被检测到而且还被分类(即被归类)。物体类别可以包括行人、动物、汽车、摩托车及其他。这种分类可以帮助评估与物体相关联的潜在危险，以及确定可以采取的避免碰撞的任何安全措施。例如，可以期望动物以比例如行人的速度更快的速度以不可预测的方式改变其位置，因此，如果物体被分类为动物，则有必要采取特殊的安全预防措施。

此外，第二检测可以基于物体分类。换句话说，可以检测到物体但是将其分类为无害的，因此该物体被忽略并且不会导致第二检测。一个示例可以是漂浮的叶子或飞过道路的鸟。这些可能导致雷达传感器的第一检测，并且也可能在图像框中被识别出来，但可能不会被视为能够或需要避免的障碍物。

优选的是，如果识别出障碍物，则激活至少一个安全系统。安全系统可以为驾驶员对车辆的特定操作(例如，转向，制动等)提供支持，或者其可以自主地执行一些动作。但是，如果确定可能或不可避免发生与障碍物的碰撞，则激活的安全系统可以是诸如安全带张紧器、安全气囊等的保护系统。替代地或附加地，可以激活用于车辆驾驶员的某种可见或可听信号。

特别地，可以激活自主紧急制动(AEB)系统或车道保持辅助系统(LKAS)。如果识别出车辆前方的障碍物，则通常会激活AEB系统。该制动系统无需驾驶员进行任何动作即可执行制动动作(可选地与转向动作进行组合)。例如，如果有物体正在从后方以一定速度接近车辆使得可以预期超车操纵，则LKAS可以被激活。在这种情况下，LKAS可以主动防止车辆变道以避免碰撞。替代地或同时地，主动转向系统可以在适当和可能的情况下以及如果认为必要的情况下自主地执行规避操纵。

本发明还提供了一种用于车辆的障碍物识别的系统，该系统至少包括雷达传感器和夜视摄像机。该系统被配置为：通过雷达传感器使用无线电频率信号执行第一障碍物搜索；通过夜视摄像机执行第二障碍物搜索；以及如果第一障碍物搜索的第一检测与第二障碍物搜索的第二检测相对应，则识别障碍物。该系统还被配置为：评估第一检测的可靠性，以及如果该可靠性高于第一阈值，则独立于第二障碍物搜索来识别障碍物。上面已经相对于本发明的方法提及了所有这些术语，因此不再赘述。该系统优选地包括联接到雷达传感器和夜视摄像机的控制单元。该控制单元被配置为在第一障碍物搜索期间操作雷达传感器，以及在第二障碍物搜索期间操作夜视摄像机。此外，控制单元被配置为执行第一检测和第二检测以及识别障碍物。控制单元可以包括若干个间隔开的组件，所述组件无线或有线地通信。控制单元的至少一些功能可以是软件实现的。本发明系统的优选实施例对应于本发明方法的那些实施例。控制单元可以适于执行相应的方法步骤。

附图说明

通过以下参考附图对非限制性实施例的详细描述，本发明的其他细节和优点将变得显而易见，其中：

图1是道路、具有本发明的用于障碍物识别的系统的车辆和若干个障碍物的示意性俯视图；

图2是图1的车辆的示意性俯视图；

图3是第一图像框的示意图；以及

图4是第二图像框的示意图。

具体实施方式

图1示意性地示出了道路与车辆(例如乘用汽车)的俯视图，该车辆包括本发明的用于障碍物识别的系统3，该系统3适于执行本发明的方法。在图2中单独地示出了车辆2。系统3包括前雷达传感器4、前夜视摄像机5、后雷达传感器6和后夜视摄像机7。前雷达传感器4和前夜视摄像机5覆盖车辆2前方的前向区域9。通常，前雷达传感器4和夜视摄像机5的覆盖范围可能有所不同，但是为了简单起见，示出了单个前向区域9。以类似的方式，后雷达传感器6和后夜视摄像机7覆盖车辆2后面的后向区域10。雷达传感器4、6中的每一个适于将雷达信号发射到相应的区域9、10，以及接收来自一定范围内的任何物体20、21、22的反射信号。夜视摄像机5、7中的每一个适于记录与一系列图像框30、31相对应的光学数据，其中夜视摄像机5、7中的每一个均适于在白天以及弱光水平下操作。雷达传感器4、6和夜视摄像机5、7连接到控制单元8。

在操作期间，控制单元8可以激活前雷达传感器4以在前向区域9内执行第一障碍物搜索，即前雷达传感器4发射雷达信号并接收反射信号，例如从前向区域9内的正在穿过道路1的第一野猪20接收反射信号，这导致了第一检测。通过分析反射信号，可以确定野猪20的3D位置以及物体接近速度。根据反射信号的特性，可以立即将野猪20识别为障碍物。然而，如果野猪20的雷达横截面相当低，则可以将第一检测的可靠性评估为低于第一阈值。在这些情况下，控制单元8使用前夜视摄像机5在前向区域9内执行第二障碍物搜索。换句话说，对应于第一图像框30(图3所示)的图像数据例如由控制单元8本身通过图像识别来处理。如果第一检测的可靠性高于第一阈值，则可以省略第二障碍物搜索或者可以执行第二障碍物搜索，但是可以独立于第二障碍物搜索而将野猪20识别为障碍物。

由于前夜视摄像机5的位置和光学特性是已知的，因此可以确定与野猪20的3D位置相对应的第一图像区域32。在该示例中，第一图像区域是圆形的，但其也可以是例如长方形。除了道路1的图像35之外，还可以看到野猪20的图像36，其可以通过图像识别来识别，从而导致第二检测。可选地，可以仅针对第一图像区域32及其附近执行第二障碍物搜索(即图像识别处理)。由于图像36位于第一图像区域32内，因此第二检测与第一检测相对应。而且，物体接近速度差不多对应于车辆2的速度，因此高于第二预定阈值。因此，将野猪20检测为障碍物，并且控制单元8激活安全系统(例如自主地制动车辆2以避免碰撞的AEB系统)。可选地，可以执行物体分类，将野猪20识别为动物，因此与例如行人相比，可以预期快速且不可预测的移动。

控制单元8以类似的方式操作后雷达传感器6和后夜视摄像机7，以对后向区域10执行第一障碍物搜索和第二障碍物搜索。在后向区域10中，存在第二野猪21和摩托车22，它们从后面接近车辆2并即将超车。在后雷达传感器6进行第一障碍物搜索之后，可以在由后夜视摄像机7记录的第二图像框31内确定第二图像区域33和第三图像区域34。然而，对应于第二野猪21的3D位置的第二图像区域33可以可选地不被确定，因为第二野猪21的物体接近速度是负值并且因此低于第二阈值。然而，摩托车22的物体接近速度高于第二阈值。可选地，第二阈值可取决于检测到的物体的距离以及是针对前向区域9还是针对后向区域10执行第一障碍物搜索。通过第二障碍物搜索，摩托车22的图像38被发现在第三图像区域34内(此外，可选地，第二野猪21的图像37在第二图像区域33内)，从而导致与第一检测相对应的第二检测。因此，摩托车22被识别为障碍物。同样，可以执行物体分类以这样地识别摩托车22。当已经识别出摩托车22时，控制单元8可以激活LKAS系统，该LKAS系统防止车辆变道，直到摩托车22已经超车为止。

附图标记列表

1 道路

2 车辆

3 系统

4、6 雷达传感器

5、7 夜视摄像机

8 控制单元

9 前向区域

10 后向区域

20、21 野猪

22 摩托车

30、31 图像框

32-34 图像区域

35-38 图像

Claims

1.一种用于车辆(2)的障碍物识别方法，其包括：

-通过雷达传感器(4、6)使用无线电频率信号执行第一障碍物搜索；

-通过夜视摄像机(5、7)执行第二障碍物搜索；以及

-如果所述第一障碍物搜索的第一检测与所述第二障碍物搜索的第二检测相对应，则识别障碍物(20-22)，其中，评估所述第一检测的可靠性，并且如果所述可靠性高于第一阈值，则独立于所述第二障碍物搜索来识别所述障碍物(20-22)。

2.根据权利要求1所述的方法，其特征在于，对所述车辆(2)前方的前向区域(9)和/或所述车辆(2)后面的后向区域(10)执行所述第一障碍物搜索和所述第二障碍物搜索。

3.根据前述权利要求中任一项所述的方法，其特征在于，所述第一检测包括检测物体接近速度，并且如果所述物体接近速度低于第二阈值，则独立于所述第二障碍物搜索而忽略所述第一检测。

4.根据权利要求3所述的方法，其特征在于，所述第二阈值根据物体距离来确定。

5.根据权利要求3或4所述的方法，其特征在于，所述第二阈值根据对所述前向区域(9)还是对所述后向区域(10)执行所述第一障碍物搜索和所述第二障碍物搜索来确定。

6.根据前述权利要求中任一项所述的方法，其特征在于：

-基于所述第一检测，确定潜在障碍物位置；

-在由所述摄像机(5、7)记录的图像框(30、31)内，确定与所述潜在障碍物位置相对应的图像区域(32-34)；以及

-如果在所述图像区域(32-34)内检测到与障碍物(20-22)相对应的图像(36-38)，则识别障碍物(20-22)。

7.根据权利要求6所述的方法，其特征在于，所述第二障碍物搜索在所述图像区域(32-34)处局部地执行。

8.根据前述权利要求中任一项所述的方法，其特征在于，基于由所述摄像机(5、7)记录的图像框(30、31)，执行物体分类。

9.根据权利要求8所述的方法，其特征在于，所述第二检测基于所述物体分类。

10.根据前述权利要求中任一项所述的方法，其特征在于，如果识别出障碍物(20-22)，则激活至少一个安全系统。

11.根据前述权利要求中任一项所述的方法，其特征在于，激活自主紧急制动系统或车道保持辅助系统。

12.一种用于车辆(2)的障碍物识别的系统(3)，所述系统(3)至少包括雷达传感器(4、6)和夜视摄像机(5、7)，并且被配置为：

-通过所述雷达传感器(4、6)使用无线电频率信号执行第一障碍物搜索；

-通过所述夜视摄像机(5、7)执行第二障碍物搜索；

-如果所述第一障碍物搜索的第一检测与所述第二障碍物搜索的第二检测相对应，则识别障碍物(20-22)；以及

-评估所述第一检测的可靠性，并且如果所述可靠性高于第一阈值，则独立于所述第二障碍物搜索来识别所述障碍物(20-22)。