CN110175620B - 基于多个传感器的融合的检测 - Google Patents

Abstract

一种基于传感器融合执行检测的系统和方法包括从不同类型的两个或更多个传感器获得数据。该方法还包括从来自两个或更多个传感器的数据中提取特征，以及处理特征以获得与两个或更多个传感器中的每一个相关联的矢量。该方法进一步包括将从两个或更多个传感器获得的两个或更多个矢量联系起来，以获得融合矢量，以及基于融合矢量执行检测。

Description

基于多个传感器的融合的检测

背景技术

本公开涉及基于多个传感器的融合的检测。

车辆(例如，汽车、卡车、农用设备、建筑设备、自动化工厂设备)越来越多地配备有传感器以便于增强或自动操作。示例性传感器包括那些捕获关于车辆周围环境的数据的传感器以及那些捕获关于车辆的数据。例如，照相机、音频检测器(例如，麦克风)以及雷达或激光雷达系统获得关于车辆周围环境(例如，车辆附近的其它物体)的数据。作为另一示例，加速度计、速度计等等获得关于车辆及其操作的数据。在现有技术系统中，出于检测目的对来自不同传感器的信息的融合涉及所检测结果的融合。也就是说，每个单独的传感器确定与检测相关联的置信水平，并且组合来自两个或更多个传感器的结果以做出检测判定。然而，此种检测架构无法完全地利用来自每个传感器的信息。因此，期望提供基于多个传感器的融合的检测。

发明内容

在一个示例性实施例中，基于传感器融合执行检测的方法包括从不同类型的两个或更多个传感器获得数据。该方法还包括从来自两个或更多个传感器的数据中提取特征，以及处理这些特征以获得与两个或更多个传感器中的每一个相关联的矢量。该方法进一步包括将从两个或更多个传感器获得的两个或更多个矢量联系起来，以获得融合矢量，以及基于融合矢量执行检测。

除了这里描述的一个或多个特征以外，该方法还包括在联系之前将与两个或更多个传感器相关联的两个或更多个矢量中的每一个归一化。

除了这里描述的一个或多个特征以外，该方法还包括在执行检测之前将融合矢量归一化。

除了这里描述的一个或多个特征以外，执行检测包括实施机器学习算法。

除了这里描述的一个或多个特征以外，执行检测包括实施基于规则的算法。

除了这里描述的一个或多个特征以外，从两个或更多个传感器获得数据包括从麦克风和照相机获得数据。

除了这里描述的一个或多个特征以外，从两个或更多个传感器获得数据包括在车辆中获得数据。

除了这里描述的一个或多个特征以外，执行检测包括基于车辆中的两个或更多个传感器使用融合矢量来检测停车振动带。

在另一示例性实施例中，基于传感器融合执行检测的系统包括不同类型的两个或更多个传感器来获得数据。该系统还包括处理器以从来自两个或更多个传感器的数据中提取特征，处理这些特征以获得与两个或更多个传感器中的每一个相关联的矢量，将从两个或更多个传感器获得的两个或更多个矢量联系起来以获得融合矢量，以及基于融合矢量执行检测。

除了这里描述的一个或多个特征以外，该处理器在联系之前将与两个或更多个传感器相关联的两个或更多个矢量中的每一个归一化。

除了这里描述的一个或多个特征以外，该处理器在执行检测之前将融合矢量归一化。

除了这里描述的一个或多个特征以外，处理器构造成通过实施机器学习算法执行检测。

除了这里描述的一个或多个特征以外，该处理器实施基于规则的算法。

除了这里描述的一个或多个特征以外，两个或更多个传感器包括麦克风和照相机。

除了这里描述的一个或多个特征以外，两个或更多个传感器处于车辆中。

除了这里描述的一个或多个特征以外，处理器检测停车振动带。

在另一示例性实施例中，车辆中的车道偏离系统包括照相机以获得图像，以及麦克风以获得音频数据。该系统还包括控制器以从图像中提取视觉特征，从音频数据中提取音频特征，将视觉特征和音频特征组合成组合特征，基于组合特征执行检测，以及基于检测来指示车道偏离。

除了这里描述的一个或多个特征以外，该系统还包括惯性测量单元(IMU)，该惯性测量单元构造成获得振动数据。组合特征包括从振动数据提取的特征。

除了这里描述的一个或多个特征以外，检测在于检测指示道路的肩部区域的停车振动带。

除了这里描述的一个或多个特征以外，该控制器基于检测来执行增强或自动车辆动作。

从结合附图获取的以下详细描述中，本公开的上述特征和优点以及其它特征和优点会显而易见。

附图说明

仅仅借助示例，其它特征、优点以及细节出现在以下详细描述中，该详细描述参照附图，附图中：

图1是根据一个或多个实施例的基于多个传感器的融合来执行检测的系统的框图；

图2说明可根据一个或多个实施例检测的若干停车振动带；

图3是根据一个或多个实施例的基于多个传感器的融合来执行检测的方法的过程流；以及

图4是根据一个或多个实施例的基于多个传感器的融合来执行停车振动带检测的示例性方法的过程流。

具体实施方式

以下描述在本质上仅仅是示例性的，并且并不旨在限制本公开、其应用或使用。应理解的是，在整个附图中，对应的附图标记指示类似或对应的部件和特征。

如前所述，车辆包括多个传感器，且传感器融合通常组合来自多个传感器的信息。当前，基于传感器融合的检测指代组合来自多个传感器的检测结果。也就是说，检测结果和对应的概率或置信区间由各个传感器提供。总体检测结果则可通过基于规则的组合或者所检测结果的平均来获得。

系统和方法的实施例在执行检测之前融合来自各个传感器的信息。确切地说，在实施检测算法之前将来自每个传感器的数据联系起来。检测算法可例如作为机器学习算法实施。该学习考虑来自每个传感器的数据，以使得该系统基于来自每个传感器的信息而非如同现有技术系统那样作为来自每个传感器的检测结果而提供的信息来执行检测。

这里讨论特定的检测场景。三种类型的传感器(照相机、麦克风、惯性测量单元(IMU))用于检测停车振动带并且识别其位置。此种检测可以是完全或部分自主车辆操作的一部分。停车振动带可位于肩部上，以指示车辆离开道路。停车振动带也可沿着将沿不同方向行驶的车道分开的线路定位。横向停车振动带可位于各区域(例如，在停车标志或交通信号灯之前的高速公路匝道)中，以指示车辆应减速或停止。虽然出于解释的目的而讨论了停车振动带检测场景，但这里详述的检测前融合架构能适用于其他融合检测或识别场景，并且并不旨在限制该架构的适用性。

根据示例性实施例，图1是基于多个传感器105的融合来执行检测的系统的框图。图1中的示例性车辆100是汽车101。指示三个示例性传感器105。一种类型的传感器105是照相机110。四个照相机110示作处于车辆100周围的不同位置处。另一类型的传感器105是麦克风120。在图1中示出四个麦克风120。图1中示出的第三种类型的传感器105是IMU130。IMU130可包括陀螺仪和加速度计并且测量车辆100的振动。这些类型的传感器105的每种均是已知的并且这里不作进一步详述。

控制器140基于来自不同传感器105的信息执行检测。例如进一步讨论的是，控制器140可实施机器学习算法。控制器140包括处理电路，该处理电路可包括专用集成电路(ASIC)、电子电路、处理器(共享、专用或群组)和执行一个或多个软件或固件程序的存储器、组合逻辑电路和/或提供所描述的功能性的其它合适部件。控制器140可与车辆100的电子控制单元(ECU)150通信，该电子控制单元控制各个车辆系统170(例如，碰撞规避、自适应巡航控制、自主驾驶)。在替代实施例中，控制器140可以是ECU150的一部分。除了ECU150和传感器105以外，控制器140可与诸如全球定位传感器(GPS)系统或测绘系统之类的其它系统160通信。其它系统160还可包括信息娱乐系统，该信息娱乐系统获得来自驾驶员的输入并且将输出提供给驾驶员。

图2说明可根据一个或多个实施例检测的若干停车振动带210。停车振动带210可以是道路中的凸起条或凹槽。图2示出在道路的车道220中行驶的车辆100a和沿与车辆100a相反的方向在另一车辆225中行驶的另一车辆100b。两组停车振动带210a可用于描绘其中交通沿相反方向行驶的车道220和225。一组停车振动带210b描述道路的从肩部230开始的车道220。示出在车辆100a前方的横向停车振动带210c。例如，这些停车振动带210c通常设置成周期性组，并且可指示即将到来的停止或者减慢速度的区域。根据图2中示出的周期性布置，车辆100a遇到三组四个停车振动带210c。车辆100a、100b的一个或两个可包括参照图1讨论的传感器105和控制器140，以基于多个传感器105的融合执行检测。

图3示出根据一个或多个示例性实施例的基于多个传感器105的融合执行检测的方法的过程流。示例性实施例涉及基于传感器105的融合来检测停车振动带210，这些传感器包括照相机110、麦克风120以及IMU130。如前所述，虽然出于解释的目的详述了示例性实施例，但参照图3讨论的融合架构可适用于附加或替代传感器105的融合以及替代或附加特征对停车振动带210的检测。

在框310a、310b、310c处，这些过程分别包括从照相机110获得照相机数据，从麦克风120获得麦克风数据，以及从IMU130获得IMU数据。在框320a、320b、320c处，这些过程包括特征提取。

在框320a处，从来自照相机110获得的数据中提取视觉特征是已知的过程，并且可包括一系列过程来细化所提取的特征。这一系列过程可包括执行低级特征提取，对低级特征执行中间级特征提取，以及然后对中间级特征执行高级特征提取。例如，多层卷积神经网络可用于从由照相机110捕获的图像中提取特征。例如，在框320b处，从来自麦克风120获得的数据中提取音频特征也是已知的，并且指代获得麦克风级别的矢量。在框320c处，从来自IMU130获得的数据中提取加速度特征还指代根据已知过程来获得数值的矢量。

在框330a、330b、330c处，这些过程包括将分别在框320a、320b和320c处提取的特征归一化。归一化可指代许多不同的操作，例如重新缩放、重新调整矢量长度和其他已建立的技术。例如，在框330a、330b、330c中的每一个处归一化所提取的特征可产生数值从-1至1的矢量。因此，来自框320a处的特征提取的图像特征归一化成数值从-1至1的矢量，而在框320b和320c处获得的特征矢量也归一化成从-1至1的数值。这些过程对于这里详述的架构是特定的。在现有技术的融合系统中，从利用每个传感器105获得的数据中所提取的特征用于单独地执行检测。根据架构的各实施例，例如所详述的是，在框330a、330b、330c处获得的矢量在执行检测之前组合。

在框340处联系指代将通过框330a、330b和330c处归一化获得的矢量联系起来。联系的结果是具有在-1和1之间的数值的矢量，该矢量是在框330a、330b和330c处获得中的每一个矢量的组合长度。在框350处的归一化指代将在框340处获得的所联系矢量的归一化。如前所述，归一化可指代重新缩放、重新调整尺寸或者以其它方式操纵所联系矢量(例如，参数归一化、分位数归一化)。框350处的归一化可以是与框330a、330b、330c处归一化不同类型的归一化。在框360处执行检测指代确定所联系数据是否指示存在停车振动带210，以及确定检测的置信水平。检测可包括实施机器学习算法以及基于来自所有三种类型的传感器105的数据来训练该算法。如前所述，根据替代的实施例，不同组的传感器105可融合，以检测不同的特征。

图4是根据一个或多个实施例的基于多个传感器105的融合来执行停车振动带210检测的示例性方法的过程流。如前所述，在框410处，检测停车振动带210指代控制器140获得在框360处处理的结果。然后，在框420处做出这样的判定，即停车振动带210是否与车道分隔器相关(即，停车振动带210a或210b)，而非横向停车振动带210c。

此种判定可根据不同的实施例做出。例如，停车振动带210c的周期性可用于将他们与车道偏离警报停车振动带210a、210b区分开来。例如前文并且在图2中说明的是，这是由于横向停车振动带210c并非类似于停车振动带210a、210b是连续的，而替代地是周期性的。作为另一示例，停车振动带210c的长度可用于在框420处做出判定。横向停车振动带210c致使振动声音能被车辆100的两侧上的麦克风120拾取，并且在车辆100的两侧上的照相机110上可见。

如果在框420处确定停车振动带210并不与车道分隔器相关联，则将其假定为横向停车振动带210c。在此种情形中，例如，在框430处，执行校正或提供消息指代控制器140直接地或者通过ECU150来指令车辆系统170减慢或停止车辆100，或者通过其它系统160(例如，信息娱乐屏幕)向驾驶员提供警报。如果在框420处确定停车振动带210与车道分隔器相关联，则实施一组过程来做出校正动作。

在框440处，检测每个停车振动带210a、210b指代使用相关联的照相机110。在框450处，评估航向和距停车振动带210的边缘的距离指代确定航向和距停车振动带210的最近边缘的距离。基于在框450处的评估，在框460处评估转向校正角度指代将车辆100放回到正确车道中的角度(例如，220)。在框460处评估转向校正角度包括在框465处确定道路曲率。例如，在框465处确定道路曲率可包括使用其它系统160中类似于测绘系统的一个。在框460处评估的转向校正角度可在框470处用于执行自动动作，以向驾驶员提供信息。在框470处，执行校正指代控制器140直接地或通过ECU150控制车辆系统170。在框470处，提供消息指代控制器140警示驾驶员进行所需的校正。

虽然上文公开已参照示例性实施例进行了描述，但本领域技术人员会理解的是，可做出各种改变且等同物可替代其元件，而不会偏离其范围。此外，可做出许多修改，以使得特定的情况或材料适应于本公开的教示，而不会偏离本公开的基本范围。因此，本公开旨在并不局限于所公开的特定实施例，而是会包括落在本公开范围内的所有实施例。

Claims (8)

1.一种基于传感器融合执行检测的方法，所述方法包括：

从不同类型的两个或更多个传感器获得数据，所述两个或更多个传感器包括麦克风和照相机；

从来自所述两个或更多个传感器的数据中提取特征，以及处理所述特征以获得与所述两个或更多个传感器中的每一个相关联的矢量；

使用处理器将从所述两个或更多个传感器获得的所述两个或更多个矢量联系起来，以获得融合矢量；以及

使用所述处理器基于所述融合矢量执行所述检测，从所述两个或更多个传感器获得数据包括在车辆中获得所述数据，并且执行所述检测包括基于所述车辆中的所述两个或更多个传感器而使用所述融合矢量检测停车振动带。

2.根据权利要求1所述的方法，进一步包括在所述联系之前将与所述两个或更多个传感器相关联的所述两个或更多个矢量中的每一个归一化。

3.根据权利要求1所述的方法，进一步包括在执行所述检测之前将所述融合矢量归一化。

4.根据权利要求1所述的方法，其中，执行所述检测包括实施机器学习算法或者实施基于规则的算法。

5.一种基于传感器融合执行检测的系统，所述系统包括：

不同类型的两个或更多个传感器，所述两个或更多个传感器构造成获得数据，所述两个或更多个传感器包括麦克风和照相机；以及

处理器，所述处理器构造成从来自所述两个或更多个传感器的数据中提取特征，处理所述特征以获得与所述两个或更多个传感器中的每一个相关联的矢量，将从所述两个或更多个传感器获得的所述两个或更多个矢量联系起来以获得融合矢量，以及基于所述融合矢量执行所述检测，从所述两个或更多个传感器获得数据包括在车辆中获得所述数据，并且执行所述检测包括基于所述车辆中的所述两个或更多个传感器而使用所述融合矢量检测停车振动带。

6.根据权利要求5所述的系统，其中，所述处理器进一步构造成在所述联系之前将与所述两个或更多个传感器相关联的所述两个或更多个矢量中的每一个归一化。

7.根据权利要求5所述的系统，其中，所述处理器进一步构造成在执行所述检测之前将所述融合矢量归一化。

8.根据权利要求5所述的系统，其中，所述处理器构造成通过实施机器学习算法或者通过实施基于规则的算法来执行所述检测。