CN106153000A - 一种前方车辆距离检测方法 - Google Patents

Abstract

本发明公开了一种前方测量距离检测方法，包括以下步骤：S1、利用视觉传感器采集自车辆行进方向上的图像信息，并利用机器视觉对上述采集的图像信息进行检测以获取图像信息中的目标区域；S2、在机器视觉获取的图像信息中的目标区域中，利用边缘特征提取前方车辆在图像信息中的具体位置，再利用角点检测方法确定前方车辆在图像信息中像素点的位置；S3、采用单目视觉测距几何模型计算出前方车辆与自车辆的实际距离；本发明可用于结构化道路上不同行驶速度、不同的光照条件环境下对前方车辆距离进行检测，且本发明通用性高、鲁棒性好、计算速度快、实施简单。

Description

一种前方车辆距离检测方法

技术领域

本发明涉及汽车距离检测技术领域，尤其涉及一种前方车辆距离检测方法。

背景技术

基于单目视觉的前方车辆距离检测是智能车辆的关键技术之一，对于保持车辆间距和车道变换以及车辆碰撞预警具有重要意义。相对于其他车辆距离测量方法，基于单目视觉的前方车辆距离检测具有成本低、信息丰富等优势。这些年对于单目视觉检测前方车辆距离的研究有很多，可以通过图像中像素距离与实际距离之间的统计关系估算前方车辆的距离，但没有确切的计算模型来保证其通用性；可以利用车辆位置和车辆宽度估计前方车辆的距离，但不能计算出前方车辆的确切距离；可以利用前方车辆模型，将图像中的前方车辆与主车在道路中的行驶位置联系起来，进而估算前方车辆距离，但没有实际路况下的实车实验验证其有效性；可以基于前方车辆阴影特征进行车辆距离的计算，但此方法并没有确定前方车辆的具体位置，不能满足精度要求。

发明内容

基于背景技术存在的技术问题，本发明提出了一种前方车辆距离检测方法。本发明提出的前方车辆距离检测方法，包括以下步骤：

S1、采集自车辆行进方向上的图像信息，并对上述采集的图像信息进行检测，以获取采集的图像信息中的目标区域；

S2、在获取的目标区域中，提取出前方车辆在图像信息中的具体位置，再计算出前方车辆在图像信息中像素点的位置；

S3、通过前方车辆在图像信息中像素点的位置，计算出前方车辆与自车辆的实际距离。

优选地，S1中利用视觉传感器采集自车辆行进方向上的图像信息，且该视觉传感器为CCD摄像机。

优选地，令CCD摄像机采集的图像信息中前方车辆的具体位置以世界坐标系表示，计算出的前方车辆在图像信息中像素点的位置以像素坐标系表示，则CCD摄像机内部参数标定公式，即世界坐标系转化为像素坐标系的公式为：

$\begin{array}{c}{Z}_c\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}\frac{1}{dx}& 0& u_0\\ 0& \frac{1}{dy}& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& T\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]\\ =\left[\begin{array}{cccc}{a}_x& 0& u_0& 0\\ 0& a_y& v_0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& T\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]=M_1{M}_2{M}_w={\mathrm{MX}}_w\end{array}$

其中：

dx,dy为单位像素的物理大小；

u₀,v₀为像素坐标原点；

f为CCD摄像机焦距；

R是一个3×3的单位正交矩阵；

T是3×1的平移向量；

a_x＝f/dx，a_y＝f/dy；

为CCD摄像机内部参数矩阵。

优选地，S3中采用单目视觉测距几何模型计算出前方车辆与自车辆的实际距离，计算公式为：

d＝h/tan{α+arctan[(y₀-y)/f]}

其中：

f为CCD摄像机的有效焦距；

α为CCD摄像机的俯仰角度；

h为CCD摄像机的安装高度，即CCD摄像机的镜头中心与地面的距离；

y₀为光轴与像平面交点的y轴坐标；

y为路面上一点p在像平面上的投影坐标；上述点p即为机器视觉检测出的前方车辆的角点位置在像平面中的像素点。

优选地，S1中利用机器视觉对采集的图像信息进行检测，以获取采集的图像信息中的目标区域。

优选地，S2中利用边缘特征提取方法在获取的目标区域中提取出前方车辆在图像信息中的具体位置，并利用角点检测方法计算出前方车辆在图像信息中像素点的位置。

优选地，角点检测方法的角点判定公式为：

令窗口W发生位置偏移(u,v)，比较偏移前后窗口中每一个像素点的灰度变化值，使用误差平方和定义误差函数E(u,v)：

$E(u,v)=\underset{(x,y)\∈W}{\Σ}\mathrm{\ω}(x,y){\[I(x+u,y+v)-I(x,y)\]}^2$

其中：

ω(x,y)为窗口函数；

I(x+u,y+v)为平移后的图像灰度；

I(x,y)为图像灰度；

将I(x+u,y+v)进行Taylor展开：

$I(x+u,y+v)=I(x,y)+\frac{\∂I}{\∂x}u+\frac{\∂I}{\∂y}v+O(u^2+v^2)$

舍去高阶小量得：

$I(x+u,y+v)\≈I(x,y)+\frac{\∂I}{\∂x}u+\frac{\∂I}{\∂y}v\≈I(x,y)+\[\begin{array}{cc}{I}_x& I_y\end{array}\]\left[\begin{array}{c}u\\ v\end{array}\right]$

$E(u,v)=\underset{(x,y)\∈W}{\Σ}\mathrm{\ω}(x,y){\left[\begin{array}{cc}\left[\begin{array}{cc}{I}_x& I_y\end{array}\right]& \left[\begin{array}{c}u\\ v\end{array}\right]\end{array}\right]}^2=\[\begin{array}{cc}u& v\end{array}\]\left(\underset{(x,y)\∈W}{\Σ}\mathrm{\ω}\right(x,y\left)\left[\begin{array}{cc}{I_x}^2& I_x{I}_y\\ I_y{I}_x& {I_y}^2\end{array}\right]\right)$

令

$H=\underset{(x,y)\∈W}{\Σ}\mathrm{\ω}(x,y)\left[\begin{array}{cc}{I_x}^2& I_x{I}_y\\ I_y{I}_x& {I_y}^2\end{array}\right]=\mathrm{\ω}(x,y)*\left[\begin{array}{cc}{I_x}^2& I_x{I}_y\\ I_y{I}_x& {I_y}^2\end{array}\right]$

H为自相关矩阵，λ₁和λ₂是H的2个特征值；当λ₁和λ₂均很小时，图像窗口在所有方向上移动均没有明显灰度变化，此时判别此区域为平面；当λ₁＞＞λ₂或λ₂＞＞λ₁时，图像窗口沿着边缘移动，没有灰度变化；当λ₁和λ₂均较大且数值相当λ₁～λ₂时，此时图像窗口沿任意方向移动均有明显灰度变化，则判别此时检测到的为角点；角点应满足的基本性质：最小特征值应尽量大，角点响应为R＝λ_min，即对应特征值为λ_min的点为角点。

本发明通过采用角点检测方法确定前方车辆在图像信息中像素点的具体位置，再利用单目视觉测距几何模型计算出前方车辆与自车辆的实际距离，采用本发明提出的方法，在计算出前方车辆与自车辆间的确切距离的同时，保证了该计算模型的通用性；本发明提出的方法适用于结构化道路上不同行驶速度、不同的光照条件下对前方车辆进行距离检测，在实际路况下保证了本方法有效性的同时，满足了对前方车辆具体位置测量的精度要求。本发明通用性高、鲁棒性好、计算速度快、实施简单，适合广泛推广以测量前方车辆距离，对于车辆在行驶过程中保持车距、变换车道、以及车辆碰撞预警等方面具有重要意义。

附图说明

图1为一种前方车辆距离检测方法的步骤示意图；

图2为一种前方车辆距离检测方法的单目视觉测距几何模型；

图3为一种前方车辆距离检测方法的点特征检测窗口图；

图4为一种前方车辆距离检测方法的CCD摄像机内部参数标定模型；

图5为光照充足、车速为30km/h时检测距离与实际距离对比图；

图6为光照充足、车速为60km/h时检测距离与实际距离对比图；

图7为光照不足、车速为30km/h时检测距离与实际距离对比图；

图8为光照不足、车速为60km/h时检测距离与实际距离对比图。

具体实施方式

如图1-图8所示，图1-图8为本发明提出的一种前方车辆距离检测方法。

参照图1-图8，本发明提出的前方车辆距离检测方法，包括以下步骤：

S1、采集自车辆行进方向上的图像信息，并对上述采集的图像信息进行检测，以获取采集的图像信息中的目标区域；

S2、在获取的目标区域中，提取出前方车辆在图像信息中的具体位置，再计算出前方车辆在图像信息中像素点的位置；

S3、通过前方车辆在图像信息中像素点的位置，计算出前方车辆与自车辆的实际距离。

在结构化道路中利用视觉传感器采集自车辆行进方向上的图像信息，且利用机器视觉检测图像信息中可能存在目标区域，上述目标区域指的是图像信息中有车辆的区域，该目标区域表明自身车辆前方有车辆，再通过边缘特征确定目标车辆的具体位置；对于确定位置的前方车辆进行角点检测确定前方车辆在图像信息中的像素点位置；在视觉传感器参数确定的基础上根据透视几何投影关系的单目视觉测距几何模型计算出前方车辆在现实三维世界中的距离。

本实施方式中，视觉传感器采用CCD摄像机。令CCD摄像机采集的图像信息中前方车辆的具体位置以世界坐标系表示，计算出的前方车辆在图像信息中像素点的位置以像素坐标系表示，则CCD摄像机内部参数标定公式，即世界坐标系转化为像素坐标系的公式为：

$\begin{array}{c}{Z}_c\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}\frac{1}{dx}& 0& u_0\\ 0& \frac{1}{dy}& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& T\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]\\ =\left[\begin{array}{cccc}{a}_x& 0& u_0& 0\\ 0& a_y& v_0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& T\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]=M_1{M}_2{M}_w={\mathrm{MX}}_w\end{array}$

其中：

dx,dy为单位像素的物理大小；

u₀,v₀为像素坐标原点；

f为CCD摄像机焦距；

R是一个3×3的单位正交矩阵；

T是3×1的平移向量；

a_x＝f/dx，a_y＝f/dy；

为CCD摄像机内部参数矩阵。

采用单目视觉测距几何模型计算出前方车辆与自车辆的实际距离，计算公式为：

d＝h/tan{α+arctan[(y₀-y)/f]}

其中：

f为CCD摄像机的有效焦距；

α为CCD摄像机的俯仰角度；

h为CCD摄像机的安装高度，即CCD摄像机的镜头中心与地面的距离；

y₀为光轴与像平面交点的y轴坐标；

y为路面上一点p在像平面上的投影坐标；上述点p即为机器视觉检测出的前方车辆的角点位置在像平面中的像素点。

角点检测方法的角点判定公式为：

令窗口W发生位置偏移(u,v)，比较偏移前后窗口中每一个像素点的灰度变化值，使用误差平方和定义误差函数E(u,v)：

$E(u,v)=\underset{(x,y)\∈W}{\Σ}\mathrm{\ω}(x,y){\[I(x+u,y+v)-I(x,y)\]}^2$

其中：

ω(x,y)为窗口函数；

I(x+u,y+v)为平移后的图像灰度；

I(x,y)为图像灰度；

将I(x+u,y+v)进行Taylor展开：

$I(x+u,y+v)=I(x,y)+\frac{\∂I}{\∂x}u+\frac{\∂I}{\∂y}v+O(u^2+v^2)$

舍去高阶小量得：

$I(x+u,y+v)\≈I(x,y)+\frac{\∂I}{\∂x}u+\frac{\∂I}{\∂y}v\≈I(x,y)+\[\begin{array}{cc}{I}_x& I_y\end{array}\]\left[\begin{array}{c}u\\ v\end{array}\right]$

$E(u,v)=\underset{(x,y)\∈W}{\Σ}\mathrm{\ω}(x,y){\left[\begin{array}{cc}\left[\begin{array}{cc}{I}_x& I_y\end{array}\right]& \left[\begin{array}{c}u\\ v\end{array}\right]\end{array}\right]}^2=\[\begin{array}{cc}u& v\end{array}\]\left(\underset{(x,y)\∈W}{\Σ}\mathrm{\ω}\right(x,y\left)\left[\begin{array}{cc}{I_x}^2& I_x{I}_y\\ I_y{I}_x& {I_y}^2\end{array}\right]\right)$

令

$H=\underset{(x,y)\∈W}{\Σ}\mathrm{\ω}(x,y)\left[\begin{array}{cc}{I_x}^2& I_x{I}_y\\ I_y{I}_x& {I_y}^2\end{array}\right]=\mathrm{\ω}(x,y)*\left[\begin{array}{cc}{I_x}^2& I_x{I}_y\\ I_y{I}_x& {I_y}^2\end{array}\right]$

H为自相关矩阵，λ₁和λ₂是H的2个特征值；当λ₁和λ₂均很小时，图像窗口在所有方向上移动均没有明显灰度变化，此时判别此区域为平面；当λ₁＞＞λ₂或λ₂＞＞λ₁时，图像窗口沿着边缘移动，没有灰度变化；当λ₁和λ₂均较大且数值相当λ₁～λ₂时，此时图像窗口沿任意方向移动均有明显灰度变化，则判别此时检测到的为角点；角点应满足的基本性质：最小特征值应尽量大，角点响应为R＝λ_min，即对应特征值为λ_min的点为角点。

结合上述方法，且根据不同的天气情况、不同的光照条件以及自车辆不同的行驶速度，本实施方式给出了4个实施例及4个实验结果检验上述方法的可行性和准确性：

实施例1：

在结构化道路上，天气晴朗、光照充足的情况下，自车以30km/h时速行进时对前方不同距离车辆进行检测。前方车辆的实际距离分别为10m、20m、30m、40m、50m；根据本方法测得的距离与实际距离进行对比，如图5；图中距离测量值分别为9.50m、19.25m、31.45m、41.80m、52.00m；根据上述实验结果可知，利用本方法获得的测量值与实际值之间的误差均控制在5％之内。

实施例2：

在结构化道路上，天气晴朗、光照充足的情况下，自车以60km/h时速行进时对前方不同距离车辆进行检测。前方车辆的实际距离分别为10m、20m、30m、40m、50m；根据本方法测得的距离与实际距离进行对比，如图6；图中距离测量值分别为10.25m、20.85m、31.30m、42.00m、52.50m；根据上述实验结果可知，利用本方法获取的测量值与实际值之间的误差均控制在5％之内。

实施例3：

在结构化道路上，天气有雾、光照不足的情况下，自车以30km/h时速行进时对前方不同距离车辆进行检测。前方车辆的实际距离分别为10m、20m、30m、40m、50m；根据本方法测得的距离与实际距离进行对比，如图7；图中距离测量值分别为9.65m、20.50m、31.35m、38.85m、51.50m；根据上述实验结果可知，利用本方法获得的测量值与实际值之间的误差均控制在5％之内。

实施例4：

在结构化道路上，天气有雾、光照不足的情况下，自车以60km/h时速行进时对前方不同距离车辆进行检测。前方车辆的实际距离分别为10m、20m、30m、40m、50m；根据本方法测得的距离与实际距离进行对比，如图8；图中距离测量值分别为10.50m、21.00m、31.50m、42.00m、49.50m；根据上述实验结果可知，利用本方法获得的测量值与实际值之间的误差均控制在5％之内。

结合实施例1、2、3、4的实验结果，表明利用本方法测量的前方车辆与自车辆的距离值与实际距离值的误差小，满足实际需求，在实际的使用过程中，能准确的测量出前方车辆与自车辆的实际距离，为车辆采取应急措施等举措提供有力的数据，进一步保证车辆在行驶过程中的安全性，避免危险事故的发生。

本实施方式中，采用角点检测方法确定前方车辆在图像信息中像素点具体位置来检测前方车辆的距离，与传统方法相比，具有通用性高、鲁棒性好、计算速度快、实施简单等优点；采用单目视觉测距几何模型对前方车辆与自车辆间的距离进行计算，其算法简单稳定，不需要进行任何的算法转换；且该方法可用于结构化道路上不同行驶速度、不同的光照条件环境下的前方车辆距离检测，保证了该方法的有效性和广泛实用性。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种前方车辆距离检测方法，其特征在于，包括以下步骤：

S1、采集自车辆行进方向上的图像信息，并对上述采集的图像信息进行检测，以获取采集的图像信息中的目标区域；

S2、在获取的目标区域中，提取出前方车辆在图像信息中的具体位置，再计算出前方车辆在图像信息中像素点的位置；

S3、通过前方车辆在图像信息中像素点的位置，计算出前方车辆与自车辆的实际距离。

2.根据权利要求1所述的前方车辆距离检测方法，其特征在于，S1中利用视觉传感器采集自车辆行进方向上的图像信息，且该视觉传感器为CCD摄像机。

3.根据权利要求2所述的前方车辆距离检测方法，其特征在于，令CCD摄像机采集的图像信息中前方车辆的具体位置以世界坐标系表示，计算出的前方车辆在图像信息中像素点的位置以像素坐标系表示，则CCD摄像机内部参数标定公式，即世界坐标系转化为像素坐标系的公式为：

$\begin{array}{c}{Z}_c\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}\frac{1}{dx}& 0& u_0\\ 0& \frac{1}{dy}& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& T\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]\\ =\left[\begin{array}{cccc}{a}_x& 0& u_0& 0\\ 0& a_y& v_0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& T\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]=M_1{M}_2{M}_w={\mathrm{MX}}_w\end{array}$

其中：

dx,dy为单位像素的物理大小；

u₀,v₀为像素坐标原点；

f为CCD摄像机焦距；

R是一个3×3的单位正交矩阵；

T是3×1的平移向量；

a_x＝f/dx，a_y＝f/dy；

为CCD摄像机内部参数矩阵。

4.根据权利要求2所述的前方车辆距离检测方法，其特征在于，S3中采用单目视觉测距几何模型计算出前方车辆与自车辆的实际距离，计算公式为：

d＝h/tan{α+arctan[(y₀-y)/f]}

其中：

f为CCD摄像机的有效焦距；

α为CCD摄像机的俯仰角度；

h为CCD摄像机的安装高度，即CCD摄像机的镜头中心与地面的距离；

y₀为光轴与像平面交点的y轴坐标；

y为路面上一点p在像平面上的投影坐标；上述点p即为机器视觉检测出的前方车辆的角点位置在像平面中的像素点。

5.根据权利要求1所述的前方车辆距离检测方法，其特征在于，S1中利用机器视觉对采集的图像信息进行检测，以获取采集的图像信息中的目标区域。

6.根据权利要求1所述的前方车辆距离检测方法，其特征在于，S2中利用边缘特征提取方法在获取的目标区域中提取出前方车辆在图像信息中的具体位置，并利用角点检测方法计算出前方车辆在图像信息中像素点的位置。

7.根据权利要求6所述的前方车辆距离检测方法，其特征在于，角点检测方法的角点判定公式为：

令窗口W发生位置偏移(u,v)，比较偏移前后窗口中每一个像素点的灰度变化值，使用误差平方和定义误差函数E(u,v)：

$E(u,v)=\underset{(x,y)\∈W}{\Σ}\mathrm{\ω}(x,y){\[I(x+u,y+v)-I(x,y)\]}^2$

其中：

ω(x,y)为窗口函数；

I(x+u,y+v)为平移后的图像灰度；

I(x,y)为图像灰度；

将I(x+u,y+v)进行Taylor展开：

$I(x+u,y+v)=I(x,y)+\frac{\∂I}{\∂x}u+\frac{\∂I}{\∂y}v+O(u^2+v^2)$

舍去高阶小量得：

$I(x+u,y+v)\≈I(x,y)+\frac{\∂I}{\∂x}u+\frac{\∂I}{\∂y}v\≈I(x,y)+\[\begin{array}{cc}{I}_x& I_y\end{array}\]\left[\begin{array}{c}u\\ v\end{array}\right]$

$E(u,v)=\underset{(x,y)\∈W}{\Σ}\mathrm{\ω}(x,y){\left[\begin{array}{cc}\left[\begin{array}{cc}{I}_x& I_y\end{array}\right]& \left[\begin{array}{c}u\\ v\end{array}\right]\end{array}\right]}^2=\[\begin{array}{cc}u& v\end{array}\]\left(\underset{(x,y)\∈W}{\Σ}\mathrm{\ω}\right(x,y\left)\left[\begin{array}{cc}{I_x}^2& I_x{I}_y\\ I_y{I}_x& {I_y}^2\end{array}\right]\right)$

令

$H=\underset{(x,y)\∈W}{\Σ}\mathrm{\ω}(x,y)\left[\begin{array}{cc}{I_x}^2& I_x{I}_y\\ I_y{I}_x& {I_y}^2\end{array}\right]=\mathrm{\ω}(x,y)*\left[\begin{array}{cc}{I_x}^2& I_x{I}_y\\ I_y{I}_x& {I_y}^2\end{array}\right]$

H为自相关矩阵，λ₁和λ₂是H的2个特征值；当λ₁和λ₂均很小时，图像窗口在所有方向上移动均没有明显灰度变化，此时判别此区域为平面；当λ₁＞＞λ₂或λ₂＞＞λ₁时，图像窗口沿着边缘移动，没有灰度变化；当λ₁和λ₂均较大且数值相当λ₁～λ₂时，此时图像窗口沿任意方向移动均有明显灰度变化，则判别此时检测到的为角点；角点应满足的基本性质：最小特征值应尽量大，角点响应为R＝λ_min，即对应特征值为λ_min的点为角点。