CN105574542A - 基于多传感器融合的多视觉特征车辆检测方法 - Google Patents

Abstract

本发明涉及一种基于多传感器融合的多视觉特征车辆检测方法，属于无人车技术领域。本发明首先通过毫米波雷达和摄像头获取前方车辆的图像和数据信息，并通过毫米波雷达坐标系和图像坐标系的转换关系得到车辆在图像中的位置，进而在图像中得到车辆感兴趣区域，减小了图像处理时间以及非车辆感兴趣区域对图像处理的干扰。然后，融合车辆的车辆底部阴影、车辆对称性和车辆左右边缘三个属性特征，实现车辆检测，克服了利用单一属性特征检测车辆时鲁棒性低的缺点。

Description

基于多传感器融合的多视觉特征车辆检测方法

技术领域

本发明涉及无人车技术领域，具体涉及一种基于多传感器融合的多视觉特征车辆检测方法。

背景技术

无人车是一种集环境感知、动态决策与规划、行为控制与执行等多功能为一体的智能化程度很高的装置。其中，环境感知技术是重要的基础保证，而动态目标车辆的检测是环境感知中的重要研究内容，对无人车自主导航具有重要意义。基于视觉的车辆检测方法能够提供丰富的图像信息，可以获得车辆的尺寸和轮廓信息，但单一视觉特征对车辆检测的鲁棒性较低；基于雷达的车辆检测方法能够提供丰富的纵向信息，可以获得车辆的位置和相对速度信息，但无法识别车辆的形状和大小；两种检测方法各有利弊。

为了提高车辆检测信息描述的完整性与可靠性，基于多传感器融合的车辆检测方法逐渐成为国内外一个重要的研究内容和发展趋势。因此，如何充分利用各传感器提供的信息进行车辆检测并克服两种方法的局限性，提高车辆检测鲁棒性成为亟待解决的技术问题。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是：如何利用各传感器提供的信息进行车辆检测，克服利用单一属性特征检测车辆时鲁棒性低的缺点。

(二)技术方案

为了解决上述技术问题，本发明提供了一种基于多传感器融合的多视觉特征车辆检测方法，包括以下步骤：

S1、在动态场景下，将摄像头和毫米波雷达同时观测到的图像信息和车辆数据信息进行空间对准；

S2、在图像中，根据空间对准结果，提取车辆感兴趣区域；

S3、在所述车辆感兴趣区域内，提取车辆底部阴影；

S4、在步骤S3提取的车辆底部阴影范围内，提取HSI彩色空间S分量的车辆对称轴；

S5、在车辆底部阴影范围内，统计水平差分投影图，并在车辆对称轴左、右两侧寻找水平差分投影图最大值的索引值eL和eR，确定车辆左右边缘；

S6、融合步骤S3、步骤S4与步骤S5得到的车辆底部阴影、车辆对称轴与车辆左右边缘三个视觉特征结果，实现车辆检测。

(三)有益效果

本发明首先通过毫米波雷达和摄像头获取前方车辆的图像和数据信息，并通过毫米波雷达坐标系和图像坐标系的转换关系得到车辆在图像中的位置，进而在图像中得到车辆感兴趣区域，减小了图像处理时间以及非车辆感兴趣区域对图像处理的干扰。然后，融合车辆的车辆底部阴影、车辆对称性和车辆左右边缘三个属性特征，实现车辆检测，克服了利用单一属性特征检测车辆时鲁棒性低的缺点。

附图说明

图1为本发明实施例的方法提供的摄像头图像坐标系和毫米波雷达坐标系几何关系图。

具体实施方式

为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。

本发明实施例提供的一种基于多传感器融合的多视觉特征车辆检测方法，包括以下步骤：

步骤S1：在动态场景下，将摄像头和毫米波雷达同时观测到的图像信息和车辆数据信息进行空间对准。如图1所示，Oρθ为毫米波雷达坐标系，O’mn为摄像头图像坐标系，P’、P分别表示在坐标系O’mn与坐标系Oρθ下，摄像头和毫米波雷达分别观测到的图像信息和车辆数据信息。因此，通过坐标转换关系式(1)将毫米波雷达观测到的车辆数据信息投影到摄像头观测到的图像信息中，完成毫米波雷达和摄像头空间对准。矩阵T为空间变换矩阵，通过采集A(A≥4)个对应的毫米波雷达和摄像头的观测数据集(m,n,ρ,θ)，利用最小二乘法求解得到。

$\left[\begin{array}{c}m\\ n\\ 1\end{array}\right]=T\left[\begin{array}{c}\mathrm{\ρ}sin\mathrm{\θ}\\ \mathrm{\ρ}\cos \mathrm{\θ}\\ 1\end{array}\right]---\left(1\right)$

步骤S2：在图像中，根据空间对准结果，提取车辆感兴趣区域。

假定动态场景中只存在一辆车辆，(m,n)是步骤1得到的空间对准结果，车辆感兴趣区域可通过式(2)获得。其中，ROI表示车辆感兴趣区域；M与N表示摄像头获得的场景图像宽度和高度；M’与N’表示区域ROI的宽度与高度。通过车辆感兴趣区域的提取，可以减小图像处理时间以及非车辆感兴趣区域干扰。

$ROI=\left\{\begin{array}{cc}{M}^{\′}\∈\[1,m+M/2\],N^{\′}\∈\[1,n+N/2\]& \begin{array}{cc}if& m\≤M/2,n\≤N/2\end{array}\\ M^{\′}\∈\[1,m+M/2\],N^{\′}\∈\[n-N/2,N\]& \begin{array}{cc}if& m\≤M/2,n>N/2\end{array}\\ M^{\′}\∈\[m-M/2,M\],N^{\′}\∈\[1,n+N/2\]& \begin{array}{cc}if& m>M/2,n\≤N/2\end{array}\\ M^{\′}\∈\[m-M/2,M\],N^{\′}\∈\[n-N/2,N\]& \begin{array}{cc}if& m>M/2,n>N/2\end{array}\end{array}\right.---\left(2\right)$

步骤S3：在车辆感兴趣区域内，提取车辆底部阴影。车辆底部阴影是车辆的一个重要属性特征，因此，该特征可以作为车辆检测的重要判定依据之一。最大类间方差双阈值算法是基于阈值图像分割算法中最重要的方法之一，但阈值计算的方式的是穷尽搜索，运算效率较低。而遗传算法是一种基于群体的优化算法，全局寻优能力强，简化了阈值计算过程，提高了最大类间方差双阈值算法效率。因此，结合以上两种算法，提取车辆底部阴影的具体步骤如下：

S30、假定u_T为图像平均灰度值；t₁和t₂表示算法的二个阈值；w₁、w₂与w₃分别表示被阈值t₁和t₂分成的三个不同区域的概率；u₁、u₂与u₃分别表示三个不同区域的灰度均值。则为三个不同区域间的类间方差σ²可表示为式(3)：

${\mathrm{\σ}}^2=\underset{c=1}{\overset{3}{\Σ}}{w}_c{(u_c-u_T)}^2---\left(3\right)$

S31、在遗传算法中，假定t为初始进化代数；t_m为最大进化代数；Q为群体大小；针对阈值t₁和t₂，按二进制码编码，随机生成Q个初始群体p(t)。

S32、对p(t)进行解码，并根据适应度函数如式(4)所示对p(t)中的个体进行个体适应度评价。

$f=\frac{1}{{\mathrm{\σ}}^2+1}---\left(4\right)$

S33、利用遗传算子对当前群体进行选择、交叉、变异操作，产生下一代群体，同时保留当前群体中适应度最小的个体到下一代群体中。

S34、判断条件t≤tm是否成立，若条件符合，则t+1，返回到步骤S32继续执行；否则，将当前群体中适应度最小的个体中的阈值作为最优阈值t1*和t2*。

S35、根据最优阈值t1*和t2*，提取车辆底部阴影。假定车辆底部阴影区域颜色用黑色表示，根据两个最优阈值得到的黑色区域作为车辆底部阴影位置。

步骤S4：在步骤S3提取的车辆底部阴影范围内，利用式(5)提取HSI彩色空间S分量的车辆对称轴。

$v\_sym=\mathrm{argmin}\left(\underset{m=m_{s1}}{\overset{m_{s2}}{\Σ}}\underset{n=1}{\overset{n_s}{\Σ}}\underset{\mathrm{\Δ}x=1}{\overset{w_s/2}{\Σ}}\right|S\left(m+\mathrm{\Δ}x,n\right)-S\left(m-\mathrm{\Δ}x,n\right)\left|\right)---\left(5\right)$

其中，m_s1、m_s2表示车辆底部阴影区域列边界位置；n_s表示车辆底部阴影上行边界位置；w_s表示车辆底部阴影宽度，arg表示取对称轴。

步骤S5：在车辆底部阴影范围内，统计水平差分投影图，并在车辆对称轴两侧寻找水平差分投影图最大值的索引值eL(左侧索引值)和eR(右侧索引值)，根据式(6)确定车辆左右边缘。

$\left\{\begin{array}{cc}eL=v\_sym-(eR-v\_sym)& \begin{array}{cc}if& v\_sym-eL\≤eR-v\_sym\end{array}\\ eR=v\_sym+(v\_sym-eL)& else\end{array}\right.---\left(6\right)$

步骤S6：融合步骤S3、步骤S4与步骤S5得到的车辆底部阴影、车辆对称轴与车辆左右边缘三个视觉特征结果，实现车辆检测。

通过以上步骤，不仅可以检测到车辆的形状和大小，而且可以得到车辆的位置和相对速度信息，检测的车辆信息描述更加全面和可靠，为无人车自主导航提供了可靠保障。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (6)

1.一种基于多传感器融合的多视觉特征车辆检测方法，其特征在于，包括以下步骤：

S1、在动态场景下，将摄像头和毫米波雷达同时观测到的图像信息和车辆数据信息进行空间对准；

S2、在图像中，根据空间对准结果，提取车辆感兴趣区域；

S3、在所述车辆感兴趣区域内，提取车辆底部阴影；

S4、在步骤S3提取的车辆底部阴影范围内，提取HSI彩色空间S分量的车辆对称轴；

S5、在车辆底部阴影范围内，统计水平差分投影图，并在车辆对称轴左、右两侧寻找水平差分投影图最大值的索引值eL和eR，确定车辆左右边缘；

S6、融合步骤S3、步骤S4与步骤S5得到的车辆底部阴影、车辆对称轴与车辆左右边缘三个视觉特征结果，实现车辆检测。

2.如权利要求1所述的方法，其特征在于，步骤S1中，设Oρθ为毫米波雷达坐标系，O’mn为摄像头图像坐标系，P’、P分别表示在坐标系O’mn与坐标系Oρθ下，摄像头和毫米波雷达分别观测到的图像信息和车辆数据信息，通过坐标转换关系式(1)将毫米波雷达观测到的车辆数据信息投影到摄像头观测到的图像信息中，完成毫米波雷达和摄像头空间对准：

$\left[\begin{array}{c}m\\ n\\ 1\end{array}\right]=T\left[\begin{array}{c}\mathrm{\ρ}sin\mathrm{\θ}\\ \mathrm{\ρ}\cos \mathrm{\θ}\\ 1\end{array}\right]---\left(1\right)$

其中，矩阵T为空间变换矩阵，通过采集A个对应的毫米波雷达和摄像头的观测数据集(m,n,ρ,θ)，利用最小二乘法求解得到，A≥4。

3.如权利要求2所述的方法，其特征在于，设(m,n)是步骤S1得到的空间对准结果，则步骤S2中通过式(2)获得车辆感兴趣区域：

$ROI=\left\{\begin{array}{cc}{M}^{\′}\∈\[1,m+M/2\],N^{\′}\∈\[1,n+N/2\]& ifm\≤M/2,n\≤N\mathrm{/2}\\ M^{\′}\∈\[1,m+M/2\],N^{\′}\∈\[n-N/2,N\]& ifm\≤M/2,n>N\mathrm{/2}\\ M^{\′}\∈\[m-M/2,M\],N^{\′}\∈\[1,n+N/2\]& ifm>M/2,n\≤N/2\\ M^{\′}\∈\[m-M/2,M\],N^{\′}\∈\[n-N/2,N\]& ifm>M/2,n>N/2\end{array}\right.---\left(2\right)$

其中，ROI表示所提取的车辆感兴趣区域；M与N表示摄像头获得的场景图像宽度和高度；M’与N’表示区域ROI的宽度与高度。

4.如权利要求3所述的方法，其特征在于，步骤S3具体包括：

S30、假定u_T为图像平均灰度值；t₁和t₂表示预设的两个阈值，t₁<t₂；w₁、w₂与w₃分别表示被阈值t₁和t₂分成的三个不同区域的概率；u₁、u₂与u₃分别表示三个不同区域的灰度均值，则三个不同区域间的类间方差σ²表示为式(3)：

${\mathrm{\&sigma;}}^2=\underset{c=1}{\overset{3}{\&Sigma;}}{w}_c{(u_c-u_T)}^2---\left(3\right)$

S31、在遗传算法中，假定t为初始进化代数；t_m为最大进化代数；Q为群体大小；针对阈值t₁和t₂，按二进制码编码，随机生成Q个初始群体p(t)；

S32、对p(t)进行解码，并根据适应度函数式(4)对p(t)中的个体进行个体适应度评价：

$f=\frac{1}{{\mathrm{\&sigma;}}^2+1}---\left(4\right)$

S33、利用遗传算子对当前群体进行选择、交叉、变异操作，产生下一代群体，同时保留当前群体中适应度最小的个体到下一代群体中；

S34、判断条件t≤tm是否成立，若成立，则t+1，返回到步骤S32继续执行；否则，将当前群体中适应度最小的个体中的阈值作为最优阈值t1*和t2*；

S35、根据最优阈值t1*和t2*，提取车辆底部阴影，假定车辆底部阴影区域颜色用一种颜色表示，根据两个最优阈值得到的该种颜色区域作为车辆底部阴影位置。

5.如权利要求4所述的方法，其特征在于，步骤S4中，利用式(5)提取车辆对称轴：

$v\_sym=argmin\left(\underset{m=m_{s1}}{\overset{m_{s2}}{\&Sigma;}}\underset{n=1}{\overset{n_s}{\&Sigma;}}\underset{\mathrm{\&Delta;}x=1}{\overset{w_s/2}{\&Sigma;}}\right|S\left(m+\mathrm{\&Delta;}x,n\right)-S\left(m-\mathrm{\&Delta;}x,n\right)\left|\right)---\left(5\right)$

其中，m_s1、m_s2表示车辆底部阴影区域列边界位置；n_s表示车辆底部阴影上行边界位置；w_s表示车辆底部阴影宽度，arg表示取对称轴。

6.如权利要求5所述的方法，其特征在于，步骤S5中，根据式(6)确定车辆左右边缘。

$\left\{\begin{array}{cc}eL=v\_sym-(eR-v\_sym)& ifv\_sym-eL\&le;eR-v\_sym\\ eR=v\_sym+(v\_sym-eL)& else\end{array}\right.---\left(6\right).$