CN106951879A - 基于摄像头与毫米波雷达的多特征融合车辆检测方法 - Google Patents

Abstract

本发明提供的一种基于摄像头与毫米波雷达的多特征融合车辆检测方法，通过毫米波雷达获取前方障碍的位置信息，通过联合标定的方法将前方障碍从雷达坐标系转换到图像坐标系上，在图像上建立车辆兴趣区域，分别采用车辆水平直线特征、车辆底部阴影特征和灰度熵特征对兴趣区域进行车辆特征识别，然后采用证据理论算法对此三特征进行融合计算，最终实现车辆的检测。通过毫米波雷达兴趣区域投影减小了图像处理时间，提高了检测的实时性，通过多特征融合方法提高了车辆检测的鲁棒性。

Description

基于摄像头与毫米波雷达的多特征融合车辆检测方法

技术领域

本发明涉及智能车辆技术领域，具体涉及基于摄像头与毫米波雷达的多特征融合车辆检测方法。

背景技术

作为智能交通的重要组成部分，智能车辆的发展成为了全球关注的热点，作为智能车辆的“眼睛”，智能车辆环境感知技术是智能车辆发展的重要基础和先决条件，而前方车辆检测技术对智能车辆路径规划、自主寻迹及碰撞规避都有很重要的意义。目前主要用于车辆检测的传感器有雷达和摄像头，雷达能够获取精确的障碍物的相对位置信息，而无法判断障碍物具体形状和大小，而摄像头如人眼一样，能够获取图像信息，经过特征算法处理能够得到障碍物的形状信息。但单一特征算法受天气、光照等因素影响较大，捡漏率较高。所有如何利用多传感器的不同数据对车辆进行更精确的检测，提高检测的鲁棒性，成为了亟待解决的关键问题。

发明内容

针对现有技术中的缺陷，本发明提供一种基于特征融合的前方车辆检测方法，提高车辆检测时的鲁棒性和实时性。

本发明提供的一种基于摄像头与毫米波雷达的多特征融合车辆检测方法，包括以下步骤：

S1：将摄像头和毫米波雷达进行时间和空间的联合标定，将毫米波雷达数据进行滤波和有效目标提取，实现毫米波雷达和摄像头的空间、时间对准；

S2：将毫米波雷达采集到的数据投影至像素坐标，提取车辆兴趣区域；

S3：在车辆兴趣区域内，提取车辆水平直线特征和车辆宽度范围；

S4：在车辆兴趣区域内，将兴趣区域图像灰度化，提取自适应阈值，并根据阈值将兴趣区域图像二值化，从下至上索引寻找车辆底部阴影线，提取车辆底部阴影特征；

S5：在车辆兴趣区域内，根据图像对称轴对兴趣区域灰度图像进行对称度计算，同时计算兴趣区域灰度熵值，并归一类聚为灰度熵特征；

S6：将S3、S4和S5中所得的车辆水平直线特征、车辆底部阴影特征和灰度熵特征进行融合计算，以实现车辆判断。

进一步的，S1中时间和空间的联合标定的方法为：设[X,Y,Z]为雷达探测到障碍物在雷达坐标系下的坐标，其对应在像素坐标系下的坐标为[U,V]，通过转换关系式将雷达探测到的障碍物位置信息投影到像素坐标系下，完成摄像头和雷达的联合标定，其中，矩阵A为摄像头内参数矩阵，[r₁ r₂ r₃ t]为外参数矩阵。

进一步的，S2中，提取车辆兴趣区域的方法为：设[X,Y,Z]为雷达探测到障碍物在雷达坐标系下的坐标，其中X为障碍物纵向距离，Y为障碍物侧向距离，Z为障碍物高度，定义[X,Y,Z]为兴趣区域中心点，建立矩形兴趣区域，确定矩形的四个端点以确定车辆兴趣区域。

进一步的，S3中，提取车辆水平直线特征和车辆宽度范围的具体方法为：

(1)采用Sobel算子将兴趣区域图像进行横向边缘检测，Sobel算子核如下式所示：

(2)将边缘化后的兴趣区域图像逐列检测水平边缘像素点数并基于兴趣区域宽度创建水平边缘直方图，确立阈值，根据阈值确定车辆宽度，水平边缘直方图阈值如下式所示：其中Width为车辆宽度，P_l为像素点数，Th为计算得出的直方等级；

(3)分别对图像从上而下，从下往上搜索检测横向直线，提取车辆顶部、底部直线特征，确立车辆上下边界，并与车辆宽度结合形成车辆区域。

进一步的，S4中，提取车辆底部阴影特征的具体方法为：

(1)将兴趣区域图像灰度化，并创建图像灰度直方图，图像灰度直方图如下式所示：其中p_k为灰度直方图前k级对应像素点个数占图像整体像素百分比，n_j为直方图第j级的bin值，N为图像像素点数，L为灰度等级；

(2)确定灰度阈值比例threshold，检索灰度直方图，若p_k-1<threshold且p_k>threshold，则设定灰度分割阈值为k；

(3)将灰度图按照灰度分割阈值进行二值化分割，分割规则如下式所示：其中I_grayscale(x,y)为像素灰度，I_shadow(x,y)为二值化后灰度等级；

(4)从下往上，从左往右搜索二值图像，提取最长线段作为车底阴影线长度。

进一步的，S5中，提取灰度熵特征的具体方法为：

(1)计算兴趣区域灰度图像对称性：

其中w为区域宽度，E²(k,x_s)为对称度偶函数，O²(k,x_s)为对称度奇函数，S(x_s)为对称性测度；

(2)计算兴趣区域灰度熵值：

其中，p(l_i)为像素等级，I(l_i)为像素点出现次数，E(l)为灰度熵值；

(3)计算图像对称度熵归一化测度：

其中，S(x_s)为对称性测度，E(l)为灰度熵值，E_m为灰度归一化 系数，为对称度熵归一化测度。

进一步的，S6中，融合计算的方法如下：

(1)计算车辆水平直线特征、车辆底部阴影特征和灰度熵特征的置信度归一化测度：

其中Bel_sym为对称度熵特征，Bel_line为车底阴影特征，Bel_area为车辆直线特征的置信度函数，width_line和width_ROI分别为车底阴影宽度和兴趣区域宽度，area_vehicle和area_ROI分别为车辆检测面积和兴趣区域面积；

(2)将车辆水平直线特征、车辆底部阴影特征和灰度熵特征的置信度进行融合计算，融合规则如下：

其中m_sys、m_shadow、m_line分别为车辆对称度熵，水平直线和车底阴影特征的置信度函数，对于符号运算满足：

进一步的，设置阈值T，如融合结果m_fusion({V})大于阈值T，则判定所述兴趣区域内存在车辆，如融合结果小于阈值T，则判定所述兴趣区域内不存在车辆。

由上述技术方案可知，本发明的有益效果：

本发明提供一种基于摄像头与毫米波雷达的多特征融合车辆检测方法，通过毫米波雷达获取前方障碍的位置信息，通过联合标定的方法将前方障碍从雷达坐标系转换到图像坐标系上，在图像上建立车辆兴趣区域，分别采用车辆水平直线特征、车辆底部阴影特征和灰度熵特征对兴趣区域进行车辆特征识别，然后采用证据理论算法对此三特征进行融合计算，最终实现车辆的检测。通过毫米波雷达兴趣区域投影减小了图像处理时间，提高了检测的实时性，通过多特征融合方法提高了车辆检测的鲁棒性。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。

图1为本发明标定坐标转换示意图。

附图标记：

1-摄像头的坐标平面，2-毫米波雷达坐标平面，3-联合标定后的坐标平面。

具体实施方式

下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。

需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。

请参阅图1，本实施例提供的一种基于摄像头与毫米波雷达的多特征融合车辆检测方法，包括以下步骤：

步骤一：将摄像头和毫米波雷达进行时间和空间的联合标定，将雷达探测到的目标位置信息投影到摄像头像素坐标系中。设[X,Y,Z]为雷达探测到障碍物在雷达坐标系下的坐标，其对应在像素坐标系下的坐标为[U,V]，通过转换关系公式(1)将雷达探测到的障碍物位置信息投影到像素坐标系下，完成摄像头和雷达的联合标定。

其中公式(1)中，矩阵A为摄像头内参数矩阵，通过摄像头标定工具箱获得。[r₁ r₂r₃ t]为外参数矩阵，通过摄像头、雷达安装位置关系确定。

步骤二：将毫米波雷达采集到的数据投影至像素坐标，提取车辆兴趣区域。提取车辆兴趣区域的方法为：设[X,Y,Z]为雷达探测的障碍物位置信息，则定义此点为兴趣区域中心点，并建立宽为5米，高 为4米的矩形兴趣区域，矩形四个端点坐标分别为[X,Y+2.5,Z+2]，[X,Y-2.5,Z+2]，[X,Y-2.5,Z-2]，[X,Y+2.5,Z-2]。并根据公式(1)投影至像素坐标系，在后续特征识别过程中，仅对兴趣区域像素进行操作，节省图像处理时间。

步骤三：在车辆兴趣区域内，提取车辆水平直线特征和车辆宽度范围。由于车辆尾部保险杠、车牌等结构存在大量水平直线，故采用水平直线特征检测方法能够获取车辆大致外形信息，具体方法如下：

(1)采用Sobel算子将兴趣区域图像进行横向边缘检测，Sobel算子核如下式所示：

(2)将边缘化后的兴趣区域图像逐列检测水平边缘像素点数并基于兴趣区域宽度创建水平边缘直方图，确立阈值，根据阈值确定车辆宽度，水平边缘直方图阈值如下式所示：

公式(3)中Width为车辆宽度，P_l为像素点数，Th为计算得出的直方等级；

(3)分别对图像从上而下，从下往上搜索检测横向直线，提取车辆顶部、底部直线特征，确立车辆上下边界，获取车辆高度信息，并与车辆宽度结合形成车辆区域。

步骤四：在车辆兴趣区域内，将兴趣区域图像灰度化，提取自适应阈值，并根据阈值将兴趣区域图像二值化，从下至上索引寻找车辆 底部阴影线，提取车辆底部阴影特征，具体方法为：

(1)将兴趣区域图像灰度化，并创建图像灰度直方图，如下式

所示：

公式(4)中p_k为灰度直方图前k级对应像素点个数占图像整体像素百分比，n_j为直方图第j级的bin值，N为图像像素点数，L为灰度等级。

(2)确定灰度阈值比例threshold，检索灰度直方图，若p_k-1<threshold且p_k>threshold，则设定灰度分割阈值为k。

(3)将灰度图按照灰度分割阈值进行二值化分割，分割规则如下式所示：

公式(5)中I_grayscale(x,y)为像素灰度，I_shadow(x,y)为二值化后灰度等级。

(4)从下往上，从左往右搜索二值图像，提取最长线段作为车底阴影线长度。

步骤五：在车辆兴趣区域内，根据图像对称轴对兴趣区域灰度图像进行对称度计算。由于车辆存在左右对称关系，故对称度也是车辆主要特征之一，另外相较于图像其他部分(如路面、天空)，车辆位置像素更为丰富，故其熵值更高，采用对称度熵特征对车辆进行检测，具体步骤如下：

(1)计算兴趣区域灰度图像对称性：

公式(6)中w为区域宽度，E²(k,x_s)为对称度偶函数，O²(k,x_s)为对称度奇函数，S(x_s)为对称性测度；

(2)计算兴趣区域灰度熵值：

公式(7)中p(l_i)为像素等级，I(l_i)为像素点出现次数，E(l)为灰度熵值；

(3)计算图像对称度熵归一化测度：

公式(8)中S(x_s)为对称性测度，E(l)为灰度熵值，E_m为灰度归一化系数，为对称度熵归一化测度。

步骤六：将步骤三、步骤四和步骤五中所得的车辆水平直线特征、车辆底部阴影特征和灰度熵特征检测结果进行置信测度归一化，对归一化结果进行融合计算，以提高检测的准确度。具体方法如下：

(1)根据公式(9)，计算三个特征的置信度归一化测度：

公式(9)中，Bel_sym为对称度熵特征，Bel_line为车底阴影特征，Bel_area为车辆直线特征的置信度函数，width_line和width_ROI分别为车底阴影宽度和兴趣区域宽度，area_vehicle和area_ROI分别为车辆检测面积和兴趣区域面积。

对称性熵归一化测度为对称性熵值，车底阴影特征归一化测度为阴影线长度和兴趣区域宽度比值。水平直线特征归一化测度值为疑似车辆区域与兴趣区域面积比值。

(2)将三个车辆特征的置信度进行融合计算，融合规则如下：

公式(10)中，m_sys、m_shadow、m_line分别为车辆对称度熵，水平直线和车底阴影特征的置信度函数。

对于符号运算满足：

通过毫米波雷达兴趣区域投影减小了图像处理时间，提高了检测的实时性，通过多特征融合方法提高了车辆检测的鲁棒性。

设置阈值T，如融合结果m_fusion({V})大于阈值T，则判定所述兴趣区域内存在车辆，如融合结果小于阈值T，则判定所述兴趣区域内不存在车辆。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技 术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (8)

1.一种基于摄像头与毫米波雷达的多特征融合车辆检测方法，其特征在于，包括以下步骤：

S1：将摄像头和毫米波雷达进行时间和空间的联合标定，将毫米波雷达数据进行滤波和有效目标提取，实现毫米波雷达和摄像头的空间、时间对准；

S2：将毫米波雷达采集到的数据投影至像素坐标，提取车辆兴趣区域；

S3：在车辆兴趣区域内，提取车辆水平直线特征和车辆宽度范围；

S4：在车辆兴趣区域内，将兴趣区域图像灰度化，提取自适应阈值，并根据阈值将兴趣区域图像二值化，从下至上索引寻找车辆底部阴影线，提取车辆底部阴影特征；

S5：在车辆兴趣区域内，根据图像对称轴对兴趣区域灰度图像进行对称度计算，同时计算兴趣区域灰度熵值，并归一类聚为灰度熵特征；

S6：将S3、S4和S5中所得的车辆水平直线特征、车辆底部阴影特征和灰度熵特征进行融合计算，以实现车辆判断。

2.根据权利要求1所述的基于摄像头与毫米波雷达的多特征融合车辆检测方法，其特征在于：所述S1中，时间和空间的联合标定的方法为：设[X,Y,Z]为雷达探测到障碍物在雷达坐标系下的坐标，其对应在像素坐标系下的坐标为[U,V]，通过转换关系式将雷达探测到的障碍物位置信息投影到像素坐标系下，完成摄像头和雷达的联合标定，其中，矩阵A为摄像头内参数矩阵，[r₁ r₂ r₃ t]为外参数矩阵。

3.根据权利要求1所述的基于摄像头与毫米波雷达的多特征融合车辆检测方法，其特征在于：所述S2中，提取车辆兴趣区域的方法为：设[X,Y,Z]为雷达探测到障碍物在雷达坐标系下的坐标，其中X为障碍物纵向距离，Y为障碍物侧向距离，Z为障碍物高度，定义[X,Y,Z]为兴趣区域中心点，建立矩形兴趣区域，确定矩形的四个端点以确定车辆兴趣区域。

4.根据权利要求1所述的基于摄像头与毫米波雷达的多特征融合车辆检测方法，其特征在于：所述S3中，提取车辆水平直线特征和车辆宽度范围的具体方法为：

(1)采用Sobel算子将兴趣区域图像进行横向边缘检测，Sobel算子核如下式所示：

(2)将边缘化后的兴趣区域图像逐列检测水平边缘像素点数并基于兴趣区域宽度创建水平边缘直方图，确立阈值，根据阈值确定车辆宽度，水平边缘直方图阈值如下式所示：其中Width为车辆宽度，P_l为像素点数，Th为计算得出的直方等级；

(3)分别对图像从上而下，从下往上搜索检测横向直线，提取车辆顶部、底部直线特征，确立车辆上下边界，并与车辆宽度结合形成车辆区域。

5.根据权利要求1所述的基于摄像头与毫米波雷达的多特征融合车辆检测方法，其特征在于：所述S4中，提取车辆底部阴影特征的具体方法为：

(1)将兴趣区域图像灰度化，并创建图像灰度直方图，图像灰度直方图如下式所示：其中p_k为灰度直方图前k级对应像素点个数占图像整体像素百分比，n_j为直方图第j级的bin值，N为图像像素点数，L为灰度等级；

(2)确定灰度阈值比例threshold，检索灰度直方图，若p_k-1＜threshold且p_k＞threshold，则设定灰度分割阈值为k；

(3)将灰度图按照灰度分割阈值进行二值化分割，分割规则如下式所示：其中I_grayscale(x,y)为像素灰度，I_shadow(x,y)为二值化后灰度等级；

(4)从下往上，从左往右搜索二值图像，提取最长线段作为车底阴影线长度。

6.根据权利要求1所述的基于摄像头与毫米波雷达的多特征融合车辆检测方法，其特征在于：所述S5中，提取灰度熵特征的具体方法为：

(1)计算兴趣区域灰度图像对称性：

$S\left(x_s\right)=\frac{\underset{k=-w/2}{\overset{w/2}{\&Sigma;}}{E}^2(k,x_s)-\underset{k=-w/2}{\overset{w/2}{\&Sigma;}}{O}^2(k,x_s)}{\underset{k=-w/2}{\overset{w/2}{\&Sigma;}}{E}^2(k,x_s)+\underset{k=-w/2}{\overset{w/2}{\&Sigma;}}{O}^2(k,x_s)}$

其中w为区域宽度，E²(k,x_s)为对称度偶函数，O²(k,x_s)为对称度奇函数，S(x_s)为对称性测度；

(2)计算兴趣区域灰度熵值：

$E\left(l\right)=\underset{i=1}{\overset{n}{\&Sigma;}}p\left(l_i\right)I\left(l_i\right)=\underset{i=1}{\overset{n}{\&Sigma;}}p\left(l_i\right)\lg I\left(l_i\right)$

其中，p(l_i)为像素等级，I(l_i)为像素点出现次数，E(l)为灰度熵值；

(3)计算图像对称度熵归一化测度：

${\stackrel{\&OverBar;}{s}}_g=\&lsqb;\frac{S\left(x_s\right)+1}{2}+\frac{E\left(l\right)}{E_m}\&rsqb;/2,$

其中，S(x_s)为对称性测度，E(l)为灰度熵值，E_m为灰度归一化系数，为对称度熵归一化测度。

7.根据权利要求1所述的基于摄像头与毫米波雷达的多特征融合车辆检测方法，其特征在于：所述S6中，融合计算的方法如下：

(1)计算车辆水平直线特征、车辆底部阴影特征和灰度熵特征的置信度归一化测度：

${\mathrm{Bel}}_{sym}=\left\{\begin{array}{c}{\stackrel{\&OverBar;}{s}}_g,0\&le;{\stackrel{\&OverBar;}{s}}_g\&le;1\\ 1,{\stackrel{\&OverBar;}{s}}_g>1\end{array}\right.$

${\mathrm{Bel}}_{line}=\frac{width\_line}{width\_ROI}$

${\mathrm{Bel}}_{line}=\frac{area\_vehicle}{area\_ROI}$

其中Bel_sym为对称度熵特征，Bel_line为车底阴影特征，Bel_area为车辆直线特征的置信度函数，width_line和width_ROI分别为车底阴影宽度和兴趣区域宽度，area_vehicle和area_ROI分别为车辆检测面积和兴趣区域面积；

(2)将车辆水平直线特征、车辆底部阴影特征和灰度熵特征的置信度进行融合计算，融合规则如下：

$m_{fusion}\left(\right\{V\left\}\right)=m_{sys}\&CirclePlus;m_{shadow}\&CirclePlus;m_{line}\left(\right\{V\left\}\right)=m_{sys}\&CirclePlus;(m_{shadow}\&CirclePlus;m_{line})\left(\right\{V\left\}\right),$

其中m_sys、m_shadow、m_line分别为车辆对称度熵，水平直线和车底阴影特征的置信度函数，对于符号运算满足：

8.根据权利要求7所述的基于摄像头与毫米波雷达的多特征融合车辆检测方法，其特征在于：设置阈值T，如融合结果m_fusion({V})大于阈值T，则判定所述兴趣区域内存在车辆，如融合结果小于阈值T，则判定所述兴趣区域内不存在车辆。