CN106842188A - 一种基于多传感器的目标物探测融合装置及方法 - Google Patents

Abstract

本发明涉及一种基于多传感器的目标物探测融合装置及方法，所述融合装置包括至少两个传感器单元、车载驾驶辅助域控制器、显示屏和电源，各所述传感器单元均包括传感器和与该传感器连接的电子控制器，所述电子控制器与车载驾驶辅助域控制器连接，形成分布式结构，所述车载驾驶辅助域控制器与显示屏连接，所述电源分别连接传感器单元、车载驾驶辅助域控制器和显示屏；所述方法包括：确定目标对：获得互为距离最近的目标对，该目标对则可能是不同传感器发现的同一目标；确定是否为同一目标物。与现有技术相比，本发明具有获取目标物更多属性、架构简洁、可扩展等优点。

Description

一种基于多传感器的目标物探测融合装置及方法

技术领域

本发明涉及先进驾驶辅助技术领域，尤其是涉及一种基于多传感器的目标物探测融合装置及方法，特别适用于车载雷达与车载机器视觉所识别的目标物、目标物属性之间的融合与区分。

背景技术

先进驾驶辅助系统(Advanced Driver Assistant System，以下简称ADAS)，是利用安装于车上的各式各样的传感器，在第一时间收集车内外的环境数据，进行静态、动态物体的辨识、侦测与追踪等技术上的处理，从而能够让驾驶者在最快的时间察觉可能发生的危险，以引起注意和提高安全性的主动安全技术。驾驶辅助系统采用的传感器主要有摄像头、毫米波雷达、激光雷达和超声波雷达等。

每种传感器都有其自身的适用范围和局限条件，例如：

1)微波雷达无法感知行人或目标物的体状特征，对塑料、低密度目标位的探测性能较差；但是在雨、雪、黑夜等复杂天气环境下，识别效果衰减较小，受光线条件影响极小。

2)摄像头受限于环境、光照、天气的影响较大，尤其是黑夜、全逆光、大雾、雨雪天气环境下，摄像头的功能发挥都会受到限制；但是，摄像头能够识别，长宽高，颜色等物体的基本状态属性。

因此，单独的传感器无法完成在复杂环境、复杂工况下对车辆周边环境的精准认知，从而影响驾驶辅助系统的正常使用。

发明内容

本发明的目的就是为了克服现有技术中仅仅依靠单独类型的传感器受限自身性能的不足而无法精准识别车辆周边环境的问题而提供一种基于多传感器的目标物探测融合装置及方法。

本发明的目的可以通过以下技术方案来实现：

一种基于多传感器的目标物探测融合装置，包括至少两个传感器单元、车载驾驶辅助域控制器、显示屏和电源，各所述传感器单元均包括传感器和与该传感器连接的电子控制器，所述电子控制器与车载驾驶辅助域控制器连接，形成分布式结构，所述车载驾驶辅助域控制器与显示屏连接，所述电源分别连接传感器单元、车载驾驶辅助域控制器和显示屏。

所述传感器单元包括雷达单元、机器视觉单元和超声传感器单元。

所述车载驾驶辅助域控制器包括MCU内核、存储模块和CAN收发器，所述MCU内核分别连接存储模块和CAN收发器，所述CAN收发器与电子控制器连接。

所述存储模块包括存储器芯片和Flash芯片。

所述CAN收发器为可扩展式多路收发器。

所述机器视觉单元包括摄像头，所述摄像头采用LED摄像头、微光摄像头、红外夜视摄像头及激光红外摄像头中的一个或多个。

一种利用上述基于多传感器的目标物探测融合装置实现目标物探测的方法，包括以下步骤：

1)各传感器单元的传感器进行传感信息采集；

2)各传感器单元的电子控制器分别根据对应的传感信息获取该传感器单元的目标物列表，发送给车载驾驶辅助域控制器；

3)车载驾驶辅助域控制器根据接收到的目标物列表对目标物进行识别，在显示屏中显示各目标物的传感信息，在所述显示屏中，将识别为由不同传感器单元采集的同一目标物的传感信息进行融合显示。

所述车载驾驶辅助域控制器根据接收到的目标物列表对目标物进行识别具体为：

301)从所有目标物列表中获取目标对，所述目标对由分别来自不同传感器单元输出的目标物列表的多个目标物组成，且各目标物间两两互为距离最近；

302)对步骤301)中获取的所有目标对，根据所述目标对中各目标物的运动参数判断目标对中各目标物是否为同一目标，若是，则将各目标物列表中该目标的传感信息进行融合，若否，则不动作。

所述目标对通过以下步骤获取：

1a)将含有目标物最多一张目标物列表定义为列表A，从所述列表A中选取一个目标物

1b)将其余目标物列表中的一张定义为列表B，计算列表B中与距离最近的目标物

其中，分别为目标物和目标物的目标坐标，

1c)计算列表A中与所述步骤1b)中获得的目标物距离最近的另一目标物

1d)若k＝n，则和加入同一目标对；

若k≠n，则在列表B中不存在与相对应的目标物；

1e)重复步骤1b)～1d)，遍历所有目标物列表，获得与相应的目标对或无法构成目标对；

1f)重复步骤1b)～1e)，遍历列表A中的所有目标物，获得p对目标对。

所述判断目标对中各目标物是否为同一目标时，依次对目标对中的两两目标物进行判断，若两两目标物均为同一目标，则该目标对中各目标物为同一目标，判断两个目标物是否为同一目标具体为：

2a)判断两个目标物是否满足若是，则执行步骤2b)，若否，则执行步骤2c)，其中，ΔE_s是速度误差可接受最大值，分别为两个目标物的速度；

2b)判断两个目标物是否满足若是，则判定为是同一目标物，若否，则执行步骤2c)，其中，ΔE为设定误差范围，分别为两个目标物的目标坐标，为车速，Δt为两张目标物列表的最接近输出时间戳，分别为两张目标物列表的目标物识别时间戳；

2c)判定为不是同一目标物。

与现有技术相比，本发明具有以下有益效果：

(1)本发明实现了多传感器来源的多目标归并与区分，从而获取了多传感器的不同优势的并集，能够获取目标物更多的属性，特别适用于车载雷达所识别的目标物与车载机器视觉所识别的目标物、目标物属性之间的融合与区分。

(2)本发明使得驾驶辅助系统能够在更加复杂的环境(天气、光线等)，更多行驶工况下，更加精准的识别目标，获取更多的目标物属性，提高了驾驶辅助系统的适应性、可靠性、鲁棒性和稳定性。

(3)本发明车载驾驶辅助域控制器通过multi-can收发器连接传感器，支持多路不同传感器，并具有可扩展性。

(4)本发明采用分布式架构，架构简洁便于实现，成本可接受。

附图说明

图1为本发明装置的结构示意图；

图2为本发明方法的流程示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示，本实施例提供一种基于多传感器的目标物探测融合装置，包括至少两个传感器单元1、车载驾驶辅助域控制器2、显示屏3和电源4，各传感器单元1均包括传感器11和与该传感器11连接的电子控制器12，电子控制器12与车载驾驶辅助域控制器2连接，形成分布式结构，车载驾驶辅助域控制器2与显示屏3连接，电源4分别连接传感器单元1、车载驾驶辅助域控制器2和显示屏3。上述融合装置中，各传感器单元1负责处理外部信号，生成外部目标物列表，并向车载驾驶辅助域控制器2传送已经被单个传感器识别的目标物列表，车载驾驶辅助域控制器2负责实现目标物的融合与归并。

传感器单元1可以包括雷达单元、机器视觉单元和超声传感器单元等。其中，机器视觉单元包括摄像头，摄像头采用LED摄像头、微光摄像头、红外夜视摄像头及激光红外摄像头中的一个或多个。

车载驾驶辅助域控制器2包括MCU内核21、存储模块和CAN收发器22，MCU内核21分别连接存储模块和CAN收发器22，CAN收发器22与电子控制器连接12。存储模块包括存储器芯片23和Flash芯片24。CAN收发器22为可扩展式多路收发器，支持多路不同传感器，并具有可扩展性。

为了能够将多传感器捕获的目标物融合在一起，使得辅助驾驶能够在更为复杂的天气、光线、工况下更加稳定、可靠的运行。本发明从硬件拓扑方式、目标物融合归并方法两个方面实现了车载多传感器的数据融合。

如图2所示，利用上述基于多传感器的目标物探测融合装置实现目标物探测的方法，包括以下步骤：

1)各传感器单元的传感器进行传感信息采集；

2)各传感器单元的电子控制器分别根据对应的传感信息获取该传感器单元的目标物列表，发送给车载驾驶辅助域控制器；

3)车载驾驶辅助域控制器根据接收到的目标物列表对目标物进行识别，在显示屏中显示各目标物的传感信息，在所述显示屏中，将识别为由不同传感器单元采集的同一目标物的传感信息进行融合显示。所述车载驾驶辅助域控制器根据接收到的目标物列表对目标物进行识别具体为：

301)从所有目标物列表中获取目标对，所述目标对由分别来自不同传感器单元输出的目标物列表的多个目标物组成，且各目标物间两两互为距离最近；

302)对步骤301)中获取的所有目标对，根据所述目标对中各目标物的运动参数判断目标对中各目标物是否为同一目标，若是，则将各目标物列表中该目标的传感信息进行融合，若否，则不动作。

以车载微波雷达与机器视觉的融合来举例说明上述步骤。

一、传感器输出内容

(一)本车属性：

●本车坐标：(long^l,lat^l,alt^l)

●本车车速：S^l

●本车行进方向：H^l

(二)微波雷达

微波雷达可以同时识别N个目标物，并获得这些目标物的部分属性。

●目标：

●目标物长度：

●目标坐标：

●速度值：

●加速度值：

●速度方向：

●加速度方向：

●目标物识别时间戳：

其中：

R代表雷达；

n代表时刻雷达识别到的第n个目标物；

目标坐标，为目标物到本车距离，为目标物与本车行进方向夹角；坐标i代表雷达第i次目标物输出。

时刻雷达目标物输出如下表：

(三)机器视觉

机器视觉可以同时识别M个目标物，并获得这些目标的部分属性。

●目标：

●目标物长度：

●目标物高度：

●目标物类型：

●目标坐标：

●速度值：

●加速度值：

●速度方向：

●加速度方向：

●目标物识别时间戳：

其中：

v代表机器视觉；

m代表时刻机器视觉识别到的第m个目标物；

目标坐标，为目标物到本车距离，为目标物与本车行进方向夹角；

目标物类型可以取值：客车、卡车、骑行车、行人、其他等；

j代表雷达第j次目标物输出。

时刻雷达目标物输出如下表：

二、判别是否为同一目标物的方法

(一)基本原理

确定雷达目标物与机器视觉识别的目标为同一目标物的方法原理是：

A、确定目标对：雷达目标物与机器视觉识别的目标物，互为距离最近的目标对，该目标对则可能是不同传感器发现的同一目标。

B、确定是否为同一目标物：步骤A中获得的目标对的速度、距离和方向差可以用物理运动解释，即该目标对的坐标差距可以用目标物与车辆之间的相对运动解释。

(二)具体算法：

A、确定目标对：

1.令雷达目标物输出时间戳与机器视觉目标物输出时间戳最为接近，即：

2.如果N≤M，则从雷达输出作为计算起始，如果N≥M，则从机器视觉输出目标物作为运算起始。主要不目的是优化计算时间。本列以雷达输出作为计算起始。

3.顺序取第n个雷达输出目标物计算与其距离最近的机器视觉输出目标物

4.取步骤2中第m个机器视觉输出目标物计算与其距离最近的雷达输出目标物

5.

A)如果：k＝n,则(m,n)分别是机器视觉与微波雷达捕捉到/识别的同一目标物。

B)如果：k≠n，则雷达输出目标物没有对应的机器视觉识别的同一目标物；

同时再取第k个雷达输出目标物计算与其距离最近的机器视觉输出目标物

C)如果：f＝k,则(k,f)分别是机器视觉与微波雷达捕捉到/识别的同一目标物。

D)如果：f≠k，则雷达输出目标物没有对应的机器视觉识别的同一目标物；

重复第5步，直到寻找到目标对，或者遍历各传感器输出的所有尚未配对的目标物。

6.重复步骤2-5，遍历所有n，获得所有目标对，记为p对，且有(p≤n)&&(p≤m)。

B、确定是否为同一目标

通过方法一获取的目标对，得到的是两个(多个)传感器输出的目标之间相互最接近的一组，并不能保证目标对表述的是同一个目标物。因此，本步骤将会利用物理上的可能性确定这两个物体是否是不同传感器发现的同一目标。

其原理可以解释为：同一目标对里的两个目标之间的距离，应当小于该物体在时间差中可能运动过的距离加上可以承受的误差范围。

1.基本假设：

假设：极短时间内物体是匀速直线运动的。

雷达每批次目标物输出时间间隔：现有市面产品Δt^R≈50ms。

机器视觉目标物在每帧视频的时间间隔中传出，市场主流刷新频率为50-60hz，约合20ms，即：Δt^v≈20ms。

因此，两个传感器最相邻的目标物输出时间差：不会大于50ms。

所以，在50ms内，我们假设物体是匀速直线运动的。

2.判断方法：

步骤一：

对于目标对(n,m)如果满足：

则：(n，m)需要进入下一步骤，以进一步判断目标对(n，m)是否为不同传感器发现的同一目标物。

否则，目标对(n，m)不是同一目标物。

其中：ΔE_s是速度误差可接受最大值。

解释：目标对(n，m)如果是不同传感器发现的同一目标，则：分别获得的目标物的速度应当足够的接近。

步骤二：

当：

满足：

则：目标对(n，m)是不同传感器发现的同一目标物。

否则，目标对(n，m)是不同传感器发现的不同目标物。

其中：ΔE为误差范围。

解释：目标对(n，m)如果是不同传感器发现的同一目标，则：((本车速度矢量)加上(目标物速度矢量))乘以(时间差)应当等于(该目标物被不同传感器识别后分别获得的坐标差)。考虑到传感器误差等因素，加入系统误差ΔE。该式中目标物的速度总以雷达获取的速度为准。

在判定为同一目标物后，可以把该目标物分别从雷达和机器视觉获取的属性归并到一起，获得更多属性，从而使得辅助驾驶系统获得更加丰富全面地目标物信息，使得辅助驾驶能够在更为复杂的天气、光线、工况下更加稳定、可靠的运行。

Claims (10)

1.一种基于多传感器的目标物探测融合装置，其特征在于，包括至少两个传感器单元、车载驾驶辅助域控制器、显示屏和电源，各所述传感器单元均包括传感器和与该传感器连接的电子控制器，所述电子控制器与车载驾驶辅助域控制器连接，形成分布式结构，所述车载驾驶辅助域控制器与显示屏连接，所述电源分别连接传感器单元、车载驾驶辅助域控制器和显示屏。

2.根据权利要求1所述的基于多传感器的目标物探测融合装置，其特征在于，所述传感器单元包括雷达单元、机器视觉单元和超声传感器单元。

3.根据权利要求1所述的基于多传感器的目标物探测融合装置，其特征在于，所述车载驾驶辅助域控制器包括MCU内核、存储模块和CAN收发器，所述MCU内核分别连接存储模块和CAN收发器，所述CAN收发器与电子控制器连接。

4.根据权利要求3所述的基于多传感器的目标物探测融合装置，其特征在于，所述存储模块包括存储器芯片和Flash芯片。

5.根据权利要求3所述的基于多传感器的目标物探测融合装置，其特征在于，所述CAN收发器为可扩展式多路收发器。

6.根据权利要求2所述的基于多传感器的目标物探测融合装置，其特征在于，所述机器视觉单元包括摄像头，所述摄像头采用LED摄像头、微光摄像头、红外夜视摄像头及激光红外摄像头中的一个或多个。

7.一种利用权利要求1所述的基于多传感器的目标物探测融合装置实现目标物探测的方法，其特征在于，包括以下步骤：

1)各传感器单元的传感器进行传感信息采集；

2)各传感器单元的电子控制器分别根据对应的传感信息获取该传感器单元的目标物列表，发送给车载驾驶辅助域控制器；

3)车载驾驶辅助域控制器根据接收到的目标物列表对目标物进行识别，在显示屏中显示各目标物的传感信息，在所述显示屏中，将识别为由不同传感器单元采集的同一目标物的传感信息进行融合显示。

8.根据权利要求7所述的方法，其特征在于，所述车载驾驶辅助域控制器根据接收到的目标物列表对目标物进行识别具体为：

301)从所有目标物列表中获取目标对，所述目标对由分别来自不同传感器单元输出的目标物列表的多个目标物组成，且各目标物间两两互为距离最近；

302)对步骤301)中获取的所有目标对，根据所述目标对中各目标物的运动参数判断目标对中各目标物是否为同一目标，若是，则将各目标物列表中该目标的传感信息进行融合，若否，则不动作。

9.根据权利要求8所述的方法，其特征在于，所述目标对通过以下步骤获取：

1a)将含有目标物最多一张目标物列表定义为列表A，从所述列表A中选取一个目标物

1b)将其余目标物列表中的一张定义为列表B，计算列表B中与距离最近的目标物

$m=\underset{m,n}{\min }Dis\tan ce\left(P_n^R,P_m^v\right)=\underset{m,n}{\min }\sqrt{{\left(D_m^v\right)}^2+{\left(D_n^R\right)}^2-2\cos \left({\mathrm{Ag}}_m^v-{\mathrm{Ag}}_n^R\right)D_m^v{D}_n^R}$

其中，分别为目标物和目标物的目标坐标，

1c)计算列表A中与所述步骤1b)中获得的目标物距离最近的另一目标物

1d)若k＝n，则和加入同一目标对；

若k≠n，则在列表B中不存在与相对应的目标物；

1e)重复步骤1b)～1d)，遍历所有目标物列表，获得与相应的目标对或无法构成目标对；

1f)重复步骤1b)～1e)，遍历列表A中的所有目标物，获得p对目标对。

10.根据权利要求8所述的方法，其特征在于，所述判断目标对中各目标物是否为同一目标时，依次对目标对中的两两目标物进行判断，若两两目标物均为同一目标，则该目标对中各目标物为同一目标，判断两个目标物是否为同一目标具体为：

2a)判断两个目标物是否满足若是，则执行步骤2b)，若否，则执行步骤2c)，其中，ΔE_s是速度误差可接受最大值，分别为两个目标物的速度；

2b)判断两个目标物是否满足若是，则判定为是同一目标物，若否，则执行步骤2c)，其中，ΔE为设定误差范围，分别为两个目标物的目标坐标，为车速，Δt为两张目标物列表的最接近输出时间戳， 分别为两张目标物列表的目标物识别时间戳；

2c)判定为不是同一目标物。