CN109490890B - 一种面向智能车的毫米波雷达与单目相机信息融合方法 - Google Patents

Abstract

本发明请求保护一种面向智能车的毫米波雷达与单目相机信息融合方法，主要包括三个阶段：第一阶段，首先在智能车上安装并调整相机与毫米波雷达位置，然后用张正友标定法获取相机内部参数，最后将相机成像平面投影到俯视图，以满足两个传感器识别的目标信息在同一车辆坐标系下；第二阶段，在线下用深度学习方法训练基于图像的多目标识别模型，线上在智能车行驶的过程中雷达与相机实时采集数据，把识别的目标信息转化到统一的车辆坐标系下并排除无效目标；第三阶段，用全局最近邻匹配算法判断目标是否一致，通过扩展卡尔曼滤波跟踪匹配目标和未匹配目标，实现多目标识别。本发明目标识别率高，安全性可靠，可有效提高智能汽车对环境感知的实用性。

Description

一种面向智能车的毫米波雷达与单目相机信息融合方法

技术领域

本发明属于多传感器信息融合领域，具体涉及一种毫米波雷达与相机信息融合方法。

背景技术

智能汽车是在普通汽车的基础上增加了先进的传感器(雷达，相机)、控制器、执行器等装置，通过车载传感系统和信息终端实现与人、车、路等的智能信息交换，使汽车具备智能的环境感知能力，能够自动分析汽车行驶的安全及危险状态，并使汽车按照人的意愿到达目的地，最终实现替代人来操作的目的。目前可识别智能车周围障碍物的传感器有相机，热成像仪，毫米波雷达，激光雷达，超声波雷达等。相机是实际生活中应用最广泛的传感器，通过摄像头感知环境并识别目标是当前最普遍的途径。然而，采用相机的算法会受到复杂环境如天气、路况信息、光照等因素的影响，常常会存在检测不到目标或者遗漏目标的情况。车载毫米波雷达能克服环境带来的不利因素，并能测出目标的位置和与雷达的距离，但识别的范围较窄，不能识别交通标识与交通信号。

虽然现在的汽车上或多或少的会安装摄像头或者毫米波雷达，但都是单独使用，没能充分利用不同传感器的优势。由于环境复杂性，无法通过单一传感器实现所有环境信息的感知和目标的识别，对于智能汽车，同质信号融合已形成较成熟的理论方法，同一目标融合不同传感器信号提高准确性是一方面，更重要的是如何利用不同传感器的优势，弥补其它传感器的不足。

当前基于毫米波雷达与相机信息融合方法中，通常将其中一个传感器作为主传感器，将它检测的目标位置信息生成可供其它传感器识别的感兴趣区域(Region ofInterest,ROI)，然后用其它传感器来验证ROI内是否包含目标，如专利申请号CN201710100068.0，CN107336724A，CN201710970932.2等。然而，这种方法本质上只是对单一传感器目标的一种验证，对于未检测到的目标无法判断，无法充分发挥传感器的作用。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种，提升目标识别的精度和减小环境对目标识别的影响、减少对目标的重复利用的面向智能车的毫米波雷达与单目相机信息融合方法。本发明的技术方案如下：

一种面向智能车的毫米波雷达与单目相机信息融合方法，假定地面是平坦的，毫米波雷达安装在智能车前保险杠，相机安装在车顶或后视镜，雷达与相机在同一车轴线上，其包括以下步骤：

标定阶段：安装并调整相机与毫米波雷达位置，利用张正友标定法获取相机内部参数，然后将相机成像平面投影到俯视图，以满足毫米波雷达与单目相机目标信息在同一车辆坐标系下；

识别阶段：在线下用深度学习方法训练基于图像的多目标识别模型，线上在智能车行驶的过程中雷达与相机实时采集数据，把识别的目标信息转化到同一车辆坐标系下并排除无效目标；

融合阶段：用全局最近邻匹配算法判断目标是否一致，通过扩展卡尔曼滤波跟踪匹配目标和未匹配目标。

进一步的，所述标定阶段利用张正友标定法获取相机内部参数，具体过程包括：

1)、当相机安装位置固定后，在相机前方拍摄不同角度的若干张棋盘格标定板的图像；

2)、检测出棋盘格标定板的图像中的特征点；

3)、根据检测的特征点位置信息，在不考虑畸变的情况下用直接法求出相机内部参数初值；

4)、用非线性方法优化包括畸变系数在内的所有相机内部参数。

进一步的，所述将相机成像平面投影到俯视图，以满足两个传感器识别的目标信息在同一车辆坐标系下，其具体步骤包括：

1)、测出相机光心到地面的投影点。

2)、在地面平铺四张棋盘格标定图案的标定纸，分别测出棋盘格黑白块交叉点在车辆坐标系下的坐标(x,y)以及在图像中的坐标(u,v)；

3)、利用最小二乘法求出相机成像平面到俯视图的转移矩阵P，其表达式为：

进一步的，所述识别阶段的具体步骤为：

1)、线下采集用于目标识别的训练样本，标注出真实目标的位置和类别信息；

2)、将样本图像作为深度神经网络的输入，标注信息作为网络的输出，经过多次迭代得到多目标识别模型参数；

3)、线上实时采集图像，并根据深度神经网络模型和参数获取图像中各个目标的位置和类别信息；

4)、根据转移矩阵P，将相机目标在图像上的位置信息转化到车辆坐标系；根据前后两幅图像的时间差求出目标的速度；

5)、根据雷达数据协议，对毫米波雷达的数据进行解算，排除虚假目标，返回多个目标的距离信息和速度信息。

进一步的，所述步骤4)根据转移矩阵P，将相机目标在图像上的位置信息转化到车辆坐标系；根据前后两幅图像的时间差求出目标的速度，具体包括：根据所得转移矩阵P，将目标位置信息转化为到相机的水平距离和垂直距离；根据前后两幅图像的时间差求出目标的速度，计算公式为：

t_k和t_k-1分别表示在k和k-1时刻的时间戳，x_k和y_k分别表示目标在k时刻到相机的水平距离和垂直距离，

和/>

分别表示目标在k时刻相对于相机的水平方向速度和垂直方向速度。

进一步的，所述用全局最邻域匹配算法判断目标是否一致，通过扩展卡尔曼滤波跟踪匹配的目标和未匹配的目标，步骤具体为：

1)、将毫米波雷达有效目标序列信息R＝{r₁ r₂…r_m}与相机识别的有效目标序列信息C＝{c₁ c₂…c_n}进行全局最近邻匹配，r_m表示第m个雷达目标，c_n表示第n个相机目标，得到匹配的目标、未匹配的雷达目标与未匹配的相机目标；

2)、分别跟踪匹配的目标、未匹配的雷达目标与未匹配的相机目标；

3)、判断跟踪的目标是否为有效目标，如果连续跟踪到匹配的目标，则该目标为有效目标，否则为无效目标；如果连续跟踪到未匹配的相机目标或未匹配的雷达目标，这在下一时刻回归到相应有效目标序列中等待重新匹配，否则视为无效目标。

进一步的，所述用全局最邻域匹配算法判断目标是否一致，其算法实现过程为：

目标函数：

约束条件：

其中

m表示雷达目标个数，n表示相机目标个数，c_ij表示雷达目标与相机目标距离的代价矩阵的元素。

第i个雷达目标与第j个相机目标距离d_ij的阈值G是它们匹配的必要条件，ξ_ij表示是否是必要条件，ξ_ij＝1表示是，ξ_ij＝0表示否。

进一步的，所述通过扩展卡尔曼滤波跟踪匹配的目标和未匹配的目标,具体为：当完成目标匹配后，匹配的目标将会被跟踪以保证目标在时间上的连续性，对于没有匹配的目标，同样需要进行跟踪；首先确定目标的状态向量，对于未匹配的雷达目标，它的状态包括目标在水平面两个方向的距离和速度，即：

表示第i个未匹配雷达目标在第k时刻的状态向量；x_r和y_r分别表示雷达目标到相机的水平距离和垂直距离，/>

和/>

分别表示雷达目标的水平方向速度和垂直方向速度。

对于未匹配相机目标，其状态向量为：

表示第i个未匹配相机目标在第k时刻的状态向量，x_c和y_c分别表示相机目标到相机的水平距离和垂直距离，/>

和/>

分别表示相机目标的水平方向速度和垂直方向速度。class表示目标类别，相机目标不能直接提供速度信息，只有位置信息和类别信息，相机目标的速度计算公式为：

t^k和t^k-1分别表示在k和k-1时刻的时间戳；

对于匹配的目标，根据传感器的平均误差对每个测量值分配权值，当δ_rx＜δ_cx，δ_ry＜δ_cy时

其中δ_rx和δ_ry分别表示雷达目标在x和y方向的平均误差，δ_cx和δ_cy分别表示相机目标在x和y方向上的平均误差；

定义其状态向量为

利用扩展卡尔曼滤波分别跟踪这些目标，在目标跟踪的过程中，如果连续跟踪到匹配的目标，则该目标为有效目标，否则为无效目标；如果连续跟踪到未匹配的相机目标或未匹配的雷达目标，则在下一时刻回归到相应有效目标序列中等待重新匹配，否则视为无效目标。

本发明的优点及有益效果如下：

1)、本发明相机部分采用基于深度学习的多目标识别方法，考虑到在不同场景和不同天气情况下对图像识别的影响，前期采集大量的样本训练网络模型，提升目标识别的精度和减小环境对目标识别的影响。

2)、本发明运用全局最近邻匹配方法判断雷达目标与相机目标是否一致，然后根据传感器各自的误差对匹配的目标采用加权平均，进一步的提升目标识别的精度，减少对目标的重复利用。

3)、本发明最后对匹配的目标和未匹配的目标都进行跟踪，一方面能将有效目标的位置信息趋于真实值，另一方面进一步验证匹配的结果，防止对目标的误判和漏检。

附图说明

图1是本发明提供优选实施例系统流程图。

图2为坐标系转换及统一实验图。

图3为相机与毫米波雷达融合流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

本发明提出了面向智能车的毫米波雷达与相机信息融合方法，旨在弥补单一传感器的不足。

如图1所示，毫米波雷达与相机信息融合方法包括以下步骤：

步骤1、利用张正友标定法对单目相机进行标定，获取相机参数。

步骤1.1、在相机安装位置固定后，在相机前方拍摄不同角度的若干张棋盘格标定板的图像。

步骤1.2、检测出图像中的特征点。

步骤1.3、根据检测的特征点位置信息，在不考虑畸变的情况下用直接法求出相机内部参数初值。

步骤1.4、用非线性方法优化包括畸变系数在内的所有相机内部参数。

步骤2、将相机成像平面投影到俯视图，以满足两个传感器识别的目标信息在同一车辆坐标系下，如图2，具体包括以下步骤：

步骤2.1、测出相机光心到地面的投影点

步骤2.2、在地面平铺四张棋盘格标定图案的标定纸，分别测出棋盘格黑白块交叉点在车辆坐标系下的坐标(x,y)以及在图像中的坐标(u,v)。

步骤2.3、利用最小二乘法求出相机平面到俯视图的转移矩阵P，其表达式为：

步骤3、采集并处理相机信息，具体步骤为：

步骤3.1、线下采集用于目标识别的训练样本，标注出真实目标的位置和类别信息。

步骤3.2、将样本图像作为深度神经网络的输入，标注信息作为网络的输出，经过多次迭代得到多目标识别模型参数。

步骤3.3、线上实时采集图像并根据网络模型和参数获取图像中各个目标的位置和类别信息。

步骤3.4、根据步骤2.3所得转移矩阵P，将目标位置信息转化为到相机的水平距离和垂直距离；根据前后两幅图像的时间差求出目标的速度，计算公式为：

t_k和t_k-1分别表示在k和k-1时刻的时间戳。

步骤4、对毫米波雷达的数据进行解算，排除虚假目标，返回多目标的距离，方向角和速度信息。

步骤5、用全局最邻域匹配算法判断目标是否一致，通过扩展卡尔曼滤波跟踪匹配的目标和未匹配的目标，实现多目标识别，如图3所示，具体步骤为：

步骤5.1、将毫米波雷达有效目标序列信息R＝{r₁ r₂…r_m}与相机识别的有效目标序列信息C＝{c₁ c₂…c_n}进行全局最近邻匹配，可以得到匹配的目标、未匹配的雷达目标与未匹配的相机目标。

步骤5.2、分别跟踪步骤5.1所述的三类目标，如果连续跟踪到匹配的目标，则该目标为有效目标，否则为无效目标；如果连续跟踪到未匹配的相机目标或未匹配的雷达目标，则在下一时刻回归到相应有效目标序列中等待重新匹配，否则视为无效目标。

当完成目标匹配后，匹配的目标将会被传入融合中心以保证目标在时间上的连续性，对于没有匹配的目标，同样需要进行跟踪，例如，当相机检测到某个目标而雷达没检测到时，只能说明雷达此时漏检或者相机误判，需要跟踪它的状态直到确定该目标是否真的存在。首先确定目标的状态向量，对于未匹配的雷达目标，它的状态包括目标在水平面两个方向的距离和速度，即：

表示第i个未匹配雷达目标在第k时刻的状态向量。

对于为匹配相机目标，其状态向量为：

表示第i个未匹配相机目标在第k时刻的状态向量，相机目标不能直接提供速度信息，只有位置信息和类别信息。相机目标的速度计算公式为：

t_k和t_k-1分别表示在k和k-1时刻的时间戳。

对于匹配的目标，根据传感器的平均误差对每个测量值分配权值，当δ_rx＜δ_cx，δ_ry＜δ_cy时

其中δ_rx和δ_ry分别表示雷达目标在x和y方向的平均误差，δ_cx和δ_cy分别表示相机目标在x和y方向上的平均误差。

定义其状态向量为

因此，跟踪系统的状态矢量包括三种不同的类型，这些观测是独立处理的，但状态跟新方式相同。利用扩展卡尔曼滤波分别跟踪这些目标，在目标跟踪的过程中，如果连续跟踪到匹配的目标，则该目标为有效目标，否则为无效目标；如果连续跟踪到未匹配的相机目标或未匹配的雷达目标，则在下一时刻回归到相应有效目标序列中等待重新匹配，否则视为无效目标。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (5)

1.一种面向智能车的毫米波雷达与单目相机信息融合方法，假定地面是平坦的，毫米波雷达安装在智能车前保险杠，相机安装在车顶或后视镜，雷达与相机在同一车轴线上，其特征在于，包括以下步骤：

标定阶段：安装并调整相机与毫米波雷达位置，利用张正友标定法获取相机内部参数，然后将相机成像平面投影到俯视图，以满足毫米波雷达与单目相机目标信息在同一车辆坐标系下；

识别阶段：在线下用深度学习方法训练基于图像的多目标识别模型，线上在智能车行驶的过程中雷达与相机实时采集数据，把识别的目标信息转化到同一车辆坐标系下并排除无效目标；

融合阶段：用全局最近邻匹配算法判断目标是否一致，通过扩展卡尔曼滤波跟踪匹配目标和未匹配目标；

所述用全局最近邻匹配算法判断目标是否一致，通过扩展卡尔曼滤波跟踪匹配的目标和未匹配的目标，步骤具体为：

1)、将毫米波雷达有效目标序列信息R＝{r₁ r₂ … r_m}与相机识别的有效目标序列信息C＝{c₁ c₂ … c_n}进行全局最近邻匹配，r_m表示第m个雷达目标，c_n表示第n个相机目标，得到匹配的目标、未匹配的雷达目标与未匹配的相机目标；

2)、分别跟踪匹配的目标、未匹配的雷达目标与未匹配的相机目标；

3)、判断跟踪的目标是否为有效目标，如果连续跟踪到匹配的目标，则该目标为有效目标，否则为无效目标；如果连续跟踪到未匹配的相机目标或未匹配的雷达目标，这在下一时刻回归到相应有效目标序列中等待重新匹配，否则视为无效目标；

所述用全局最近邻匹配算法法判断目标是否一致，其算法实现过程为：

目标函数：

约束条件：

其中

m表示雷达目标个数，n表示相机目标个数，c_ij表示雷达目标与相机目标距离的代价矩阵的元素；

第i个雷达目标与第j个相机目标距离d_ij的阈值G是它们匹配的必要条件，ξ_ij表示是否是必要条件，ξ_ij＝1表示是，ξ_ij＝0表示否；

所述通过扩展卡尔曼滤波跟踪匹配的目标和未匹配的目标,具体为：当完成目标匹配后，匹配的目标将会被跟踪以保证目标在时间上的连续性，对于没有匹配的目标，同样需要进行跟踪；首先确定目标的状态向量，对于未匹配的雷达目标，它的状态包括目标在水平面两个方向的距离和速度，即：

表示第i个未匹配雷达目标在第k时刻的状态向量；x_r和y_r分别表示雷达目标到相机的水平距离和垂直距离，/>

和/>

分别表示雷达目标的水平方向速度和垂直方向速度；

对于未匹配相机目标，其状态向量为：

V_k ⁽ⁱ⁾表示第i个未匹配相机目标在第k时刻的状态向量，x_c和y_c分别表示相机目标到相机的水平距离和垂直距离，

和/>

分别表示相机目标的水平方向速度和垂直方向速度，class表示目标类别，相机目标不能直接提供速度信息，只有位置信息和类别信息，相机目标的速度计算公式为：

t^k和t^k-1分别表示在k和k-1时刻的时间戳；

对于匹配的目标，根据传感器的平均误差对每个测量值分配权值，当δ_rx＜δ_cx，δ_ry＜δ_cy时

其中δ_rx和δ_ry分别表示雷达目标在x和y方向的平均误差，δ_cx和δ_cy分别表示相机目标在x和y方向上的平均误差；

定义其状态向量为F_k ⁽ⁱ⁾：

利用扩展卡尔曼滤波分别跟踪这些目标，在目标跟踪的过程中，如果连续跟踪到匹配的目标，则该目标为有效目标，否则为无效目标；如果连续跟踪到未匹配的相机目标或未匹配的雷达目标，则在下一时刻回归到相应有效目标序列中等待重新匹配，否则视为无效目标。

2.根据权利要求1所述的面向智能车的毫米波雷达与单目相机信息融合方法，其特征在于，所述标定阶段利用张正友标定法获取相机内部参数，具体过程包括：

1)、当相机安装位置固定后，在相机前方拍摄不同角度的若干张棋盘格标定板的图像；

2)、检测出棋盘格标定板的图像中的特征点；

3)、根据检测的特征点位置信息，在不考虑畸变的情况下用直接法求出相机内部参数初值；

4)、用非线性方法优化包括畸变系数在内的所有相机内部参数。

3.根据权利要求2所述的面向智能车的毫米波雷达与单目相机信息融合方法，其特征在于，所述将相机成像平面投影到俯视图，以满足两个传感器识别的目标信息在同一车辆坐标系下，其具体步骤包括：

1)、测出相机光心到地面的投影点；

2)、在地面平铺四张棋盘格标定图案的标定纸，分别测出棋盘格黑白块交叉点在车辆坐标系下的坐标(x,y)以及在图像中的坐标(u,v)；

3)、利用最小二乘法求出相机成像平面到俯视图的转移矩阵P，其表达式为：

4.根据权利要求3所述的面向智能车的毫米波雷达与单目相机信息融合方法，其特征在于，所述识别阶段的具体步骤为：

1)、线下采集用于目标识别的训练样本，标注出真实目标的位置和类别信息；

2)、将样本图像作为深度神经网络的输入，标注信息作为网络的输出，经过多次迭代得到多目标识别模型参数；

3)、线上实时采集图像，并根据深度神经网络模型和参数获取图像中各个目标的位置和类别信息；

4)、根据转移矩阵P，将相机目标在图像上的位置信息转化到车辆坐标系；根据前后两幅图像的时间差求出目标的速度；

5)、根据雷达数据协议，对毫米波雷达的数据进行解算，排除虚假目标，返回多个目标的距离信息和速度信息。

5.根据权利要求4所述的面向智能车的毫米波雷达与单目相机信息融合方法，其特征在于，所述步骤4)根据转移矩阵P，将相机目标在图像上的位置信息转化到车辆坐标系；根据前后两幅图像的时间差求出目标的速度，具体包括：根据所得转移矩阵P，将目标位置信息转化为到相机的水平距离和垂直距离；根据前后两幅图像的时间差求出目标的速度，计算公式为：

t_k和t_k-1分别表示在k和k-1时刻的时间戳，x_k和y_k分别表示目标在k时刻到相机的水平距离和垂直距离，

和/>

分别表示目标在k时刻相对于相机的水平方向速度和垂直方向速度。/>

Images