CN102642510B - 一种基于图像的车辆防撞预警方法 - Google Patents

Abstract

本发明公开了一种基于图像的车辆防撞预警方法，其利用图像传感器采集前方路面图像，在车辆成功检测并跟踪后，根据帧间图像中车辆宽度的变化，结合相对车速与相对加速度的影响，计算目标车辆与本车的碰撞时间(TTC)，分析危险等级并向驾驶员发出警报，同时，还可以判定目标车辆与己车间的相对行驶状态。本发明的方法，应用于车辆主动安全技术领域，可以有效预防与前方车辆的追尾，并且不受起伏地形的影响，安全性能高。

Description

一种基于图像的车辆防撞预警方法

技术领域

本发明涉及汽车自动安全驾驶技术，尤其涉及利用图像分析技术，并通过对车辆自身碰撞时间的计算和对目标车辆相对状态的判定，以实现车辆防撞预警的方法。

背景技术

随着汽车保有量的快速增长，道路交通安全问题已经成为各国政府和社会关注的重要问题。汽车在给人们带来方便的同时，随之而来的问题也显而易见，那就是随着车辆数量的增多，交通事故的频繁发生，由此导致的人员伤亡和财产损失数目惊人。公路交通事故分析表明，80％以上的车祸是由于驾驶员反应不及所引起的，超过65％的车辆相撞属于追尾相撞，其余则属于侧面相撞。依奔驰汽车公司对各类交通事故的统计和研究结果表明：若驾驶员能够提早1秒意识到有事故危险并采取相应的正确措施，则绝大多数的交通事故都可以避免。

因此，大力研究开发如汽车避撞装置等主动式汽车辅助安全装置，减少驾驶员的负担和判断错误，对于提高交通安全将起到重要作用。显然，此类技术和系统的研究开发具有极大的现实意义和广阔的应用前景。

目前国内外已有多家研究机构从事于汽车防撞预警方面的工作，在已知的专利技术中，申请号为CN200910003247.8、名称为“用于碰撞预测的系统”的发明申请，其采用的是一批能够感知车身周边车辆的传感设备，通过计算目标车辆的行为轨迹，判定是否有接触危险，采用的是雷达传感技术。而申请号为CN200910078631.4、名称为“一种防后车追尾预警方法及其预警系统”的发明申请，其采用雷达技术实现对车辆目标的检测，根据车距变化计算车辆碰撞时间(TTC，Time To Collision)，并以之为危险判定基准，给出了一套预警方案。还有申请号为CN200710077381.3、名称为“一种基于机器视觉的汽车防撞预警方法及装置”的发明申请，其采用车牌测距，根据距离的变化计算TTC。

就现有技术而言，实现对盲区的危险预警，不论采用红外传感器、雷达传感器的方式，都存在着受环境因素影响的问题，例如红外传感器容易受热源、光源的干扰，雷达传感器容易受天候影响，图像传感器受光照影响，但就设备成本而言，视觉传感器更符合普及化的需要。

对于现有TTC计算方案主要依据车距变化来推导，而车辆测距现有的技术主要为车牌测距或者车底测距。就车牌测距而言，使用面太狭隘，无法对中远距离的车辆测距，而且在小雨天等图像模糊的情况下无法胜任。而车底测距，又主要针对水平路面而言，无法适用于上坡等起伏路面。

就驾驶安全而言，考虑并分析目标车辆的行驶状态，特别是相对加速度的影响的分析，有助于减少误警，以及更准确地给出适当的危险预警，从而更适应于复杂的道路环境下的安全需要。

发明内容

有鉴于此，本发明的主要目的在于提供一种基于图像的车辆防撞预警方法，利用图像分析技术，通过对车辆碰撞时间(TTC)进行计算和对目标车辆相对状态的判定，以实现车辆防撞预警。

为达到上述目的，本发明的技术方案是这样实现的：

一种基于图像的车辆防撞预警方法，包括如下步骤：

A、图像采集，利用车载视觉传感器采集前方路面图像；

B、车辆检测与跟踪，结合车辆的一系列显著特征，在图像中对车辆目标进行检测与提取，并且在之后图像内跟踪该车辆目标；

C、车辆跟踪Nc帧以上后，开始提取图像中车辆宽度的像素变化；

D、计算目标车辆与本车之间的碰撞时间TTC，并分析目标车辆相对行驶状态；

E、结合预设阈值TTC1，TTC2，0<TTC2<TTC1；对TTC进行安全警报等级分析，当TTC大于TTC1时，认为车辆行驶安全；当TTC介于TTC1与TTC2之间时，认为车辆有与前车接触的危险，发出一声警报；当TTC小于TTC2时，认为接触危险非常紧迫，发出急促的警报。

其中，在图像采集过程中，所采用的视觉传感器安装在车辆内部面向前方，并以固定频率Δf＝1/Δt采集前方道路数据图像，或采用计时器对所采集图像进一步筛选使得帧间时差为Δt。

其中，确定图像中车辆宽度像素W与车距Z成反比关系，并满足如下条件：

W*Z＝fcam*Wcar*Aw/Wcam＝常数G

其中：fcam为视觉传感器的焦距，单位为毫米mm；Wcar为目标车辆的实际宽度，单位为mm；Aw为图像水平分辨率，单位为像素pixel；Wcam为视觉传感器的靶面尺寸，单位为mm；当在跟踪同一辆车时，上述公式右边的值固定为一个常数G；该帧间图像中车辆宽度的像素变化量能够有效反映两车之间距离的变化。

其中，步骤C所述目标车辆与本车之间碰撞时间TTC的计算方法过程包括如下步骤：

C1、获取三帧连续图像中目标车辆跟踪结果，其中：设定0为当前帧图像，1为上帧图像，2为上上帧图像，帧间时间为视觉传感器采集周期Δt，单位为毫秒ms；

C2、在三帧连续图像中，已知图像中车宽分别为W1、W2、W3，单位为pixel；设定相对车距分别为Z0、Z1、Z2，单位为mm；设定相对车速为V0、V1、V2，单位mm/ms；设定相对加速度为α，单位为mm/ms²；

C3、在当前帧有对距离变化的预测公式：

$Z=Z_0+V_{0}T+\frac{1}{2}a{T}^2;$

表示在T时间后的两车的车距，当车辆即将碰撞时，取Z＝0，则计算得碰撞时间为：

$\mathrm{TTC}=\frac{-V_0-\sqrt{V_0^2-2a{Z}_0}}{a}$     ①

C4、由于车速是距离变化的反映量，即可表示为距离Z的微分形式，因此当前相对车速推导为：

$V_0=\frac{\mathrm{\&Delta;Z}}{\mathrm{\&Delta;t}}=\frac{Z_0-Z_1}{\mathrm{\&Delta;t}}=\frac{\frac{G}{W_0}-\frac{G}{W_1}}{\mathrm{\&Delta;t}}=\frac{G}{\mathrm{\&Delta;t}}*\frac{W_1-W_0}{W_1*W_0}$     ②

C5、由于加速度是车速变化的反映量，即可表示为车速的微分形式，因此当前相对加速度推导为：

$\begin{array}{c}a=\frac{\mathrm{\&Delta;V}}{\mathrm{\&Delta;t}}=\frac{V_0-V_1}{\mathrm{\&Delta;t}}=\frac{\frac{\frac{G}{W_0}-\frac{G}{W_1}}{\mathrm{\&Delta;t}}-\frac{\frac{G}{W_1}-\frac{G}{W_2}}{\mathrm{\&Delta;t}}}{\mathrm{\&Delta;t}}\\ =\frac{G}{{\mathrm{\&Delta;t}}^2}*\frac{W_0*W_1+W_1*W_2-2*W_1*W_2}{W_0*W_1*W_2}\end{array}$     ③

C6、将公式②③代入公式①，则得出碰撞时间的具体公式：

$\mathrm{TTC}=\frac{-V_0-\sqrt{V_0^2-2a{Z}_0}}{a}=\mathrm{\&Delta;t}*\frac{P-\sqrt{Q}}{R}$     ④

其中，P＝W₀*W₂-W₁*W₂，

$Q={W_0}^2*W_2^2+2*W_0*W_1*W_2^2-{W_1}^2*W_2^2-2*W_0*{W_1}^2*W_2$

R＝W₁*W₂+W₀*W₁-2*W₀W₂。

其中，利用碰撞时间TTC公式实现对车辆相对行驶状态的判定，其判定过程包括：

情况1、当P≤0时，此时判定目标车辆远离己车，或暂时保持同速行驶，公式④的结果TTC＜0，因此两车不会接触；否则，进入情况2；

情况2、当P＞0时，此时判定目标车辆处于接近状态，在此若R＝0，则进入情况3；若R＜0，进入情况4；若R＞0，进入情况5；

情况3、判定两车间处于相对，此时相对加速度α＝0，公式④不适用，只需计算当前相对车距与当前相对车速的关系：

$\mathrm{TTC}=\frac{Z_0}{-V_0}=\frac{G/W_0}{-\frac{G}{\mathrm{\&Delta;t}}*\frac{W_1-W_0}{W_1*W_0}}=\mathrm{\&Delta;t}*\frac{W_0}{W_0-W_1}$     ⑤

情况4、判定车辆处于加速接近状态，例如目标车辆急刹车或己车误踩油门，此时相对加速度α<0，公式④适用，且比情况3的匀速接近状态下的TTC结果小；

情况5、判定两车间处于相对制动状态，例如己车进行制动或目标车辆开始加速，此时α>0，在此继续分析，当Q≥0时，进入情况6；否则进入情况7；

情况6、判定车辆制动力不足，己车车速在减小到与目标车辆同速前就已相撞，此时公式④适用，且比情况3的匀速接近状态下的TTC结果大；

情况7、判定制动力充足，车辆将安全地减速至安全相对速度，此时公式④的结果为负数，即不存在TTC。

本发明所提供的基于图像的车辆防撞预警方法与现有技术相比，具有如下显著优点：

(1)采用图像处理技术，较之雷达技术而言成本更低，功耗更小；(2)在计算碰撞时间方面，结合多帧信息，考虑了当前车辆相对速度与相对加速度，使得结果更加准确；(3)采用图像中车宽来实现碰撞时间的计算，从而避免了起伏路面上对图像中车辆距离估算不准的影响；(4)可以同时获得目标车辆的相对行驶状态信息；(5)时间开销少，完全能满足实时性的需要。

附图说明

图1是本发明基于图像的车辆防撞预警方法的流程图；

图2是本发明基于图像的车辆防撞预警方法的图像采集过程示意图；

图3是本发明基于图像的车辆防撞预警方法的目标车辆相对状态判定流程图。

具体实施方式

下面结合附图及本发明的实施例对本发明的方法作进一步详细的说明。

步骤1：准备阶段，包括如下步骤：

首先，确定车辆宽度与车距的关系，如图2所示。

设在本车1前有一个标定目标3，使得该标定目标通过视觉传感器4在图像中的成像正好占据全宽，此时与实际目标车辆2成像结果5的关系有：

$\frac{\mathrm{Wcar}}{\mathrm{Wb}}=\frac{W}{\mathrm{Aw}},$

其中：Wcar目标车辆的实际宽度，单位为毫米(mm)；Aw为图像水平分辨率，单位为像素(pixel)；Wb为标定目标的实际宽度，单位为mm；W为图像中车辆像素宽度，单位为pixel；

对于视觉投影成像，又有：

$\frac{\mathrm{fcam}}{\mathrm{Wcam}}=\frac{Z}{\mathrm{Wb}},$

其中：fcam为视觉传感器的焦距，单位为mm；Wcam为视觉传感器的靶面尺寸，单位为mm；Z为目标相对距离，单位为mm；则有：

$\mathrm{fcam}=\mathrm{Wcam}*\frac{Z}{\mathrm{Wb}}=\mathrm{Wcam}*\frac{Z}{\mathrm{Wcar}*\mathrm{Aw}/W}$

车辆宽度像素W与车距Z成反比，并满足如下关系：

W*Z＝fcam*Wcar*Aw/Wcam＝常数G

由于在跟踪同一辆车时，显然公式右边的值为一固定常数值G，因此帧间图像中车辆宽度的像素变化量可以有效反映两车之间距离的变化。

步骤2：图像采集过程，包括如下步骤：

步骤21、打开安装在车内面向前方的视觉传感器，并以固定频率(Δf＝1/Δt)采集前方道路数据图像，并交由嵌入式处理设备进行图像分析；如果所使用的视觉传感器不能达到固定频率，则采用计时器对所采集图像进一步筛选，使得筛选后的图像的帧间时差为Δt；

步骤3：车辆检测与跟踪过程，包括如下步骤：

步骤31、结合车辆在图像中的一系列显著特征，在图像中对车辆目标进行初定位、检测与精确定位，以矩形框圈定车辆目标；

步骤32、打开跟踪模块，对上帧图像中已检测成功的车辆目标进行跟踪，并对跟踪成功结果精确定位；若跟踪失败，返回步骤31重新检测车辆；

步骤33、当车辆成功跟踪三帧以上后，开始提取图像中车辆宽度的像素变化计算TTC，返回步骤3；若不够三帧，则继续跟踪车辆；

步骤4：计算目标车辆与本车间的碰撞时间TTC，其过程包括如下步骤：

步骤41、获取三帧连续图像中目标车辆跟踪结果，其中，设定0为当前帧图像，1为上帧图像，2为上上帧图像，帧间时间为视觉传感器采集周期Δt，单位为毫秒(ms)；

步骤42、在三帧连续图像中，已知图像中车宽分别为W1、W2、W3，单位为pixel；设定相对车距分别为Z0、Z1、Z2，单位为mm；设定相对车速为V0、V1、V2，单位为mm/ms；设定相对加速度为α，单位mm/ms²；

步骤43、在当前帧有距离预测公式：

$Z=Z_0+V_{0}T+\frac{1}{2}a{T}^2,$

表示在T时间后的两车的车距，当车辆即将碰撞时，取Z＝0，则计算得碰撞时间为：

$\mathrm{TTC}=\frac{-V_0-\sqrt{V_0^2-2a{Z}_0}}{a}$     ①

步骤44、由于车速是距离变化的反映量，即可表示为距离Z的微分形式，因此当前相对车速推导为：

$V_0=\frac{\mathrm{\&Delta;Z}}{\mathrm{\&Delta;t}}=\frac{Z_0-Z_1}{\mathrm{\&Delta;t}}=\frac{\frac{G}{W_0}-\frac{G}{W_1}}{\mathrm{\&Delta;t}}=\frac{G}{\mathrm{\&Delta;t}}*\frac{W_1-W_0}{W_1*W_0}$     ②

步骤45、由于加速度是车速变化的反映量，即可表示为车速的微分形式，因此当前相对加速度推导为：

$\begin{array}{c}a=\frac{\mathrm{\&Delta;V}}{\mathrm{\&Delta;t}}=\frac{V_0-V_1}{\mathrm{\&Delta;t}}=\frac{\frac{\frac{G}{W_0}-\frac{G}{W_1}}{\mathrm{\&Delta;t}}-\frac{\frac{G}{W_1}-\frac{G}{W_2}}{\mathrm{\&Delta;t}}}{\mathrm{\&Delta;t}}\\ =\frac{G}{{\mathrm{\&Delta;t}}^2}*\frac{W_0*W_1+W_1*W_2-2W_0*W_2}{W_0*W_1*W_2}\end{array}$     ③

步骤46、将公式②③代入①，则得出碰撞时间的具体公式：

$\mathrm{TTC}=\frac{-V_0-\sqrt{V_0^2-2a{Z}_0}}{a}=\mathrm{\&Delta;t}*\frac{P-\sqrt{Q}}{R}$     ④

其中，P＝W₀*W₂-W₁*W₂，

$Q={W_0}^2*W_2^2+2*W_0*W_1*W_2^2-{W_1}^2*W_2^2-2*W_0*{W_1}^2*W_2,$

R＝W₁*W₂+W₀*W₁-2*W₀W₂。

步骤5：分析目标车辆相对行驶状态；如图3所示，根据上述公式④对车辆相对行驶状态进行判定，包括：

步骤51、当P≤0时，此时判定目标车辆远离己车，或暂时保持同速行驶，公式④的结果TTC＜0，因此两车不会接触；否则，进入步骤52；

步骤52、当P＞0时，此时判定目标车辆处于接近状态。在此若R＝0，则进入步骤53；若R＜0，进入步骤54；若R＞0，进入步骤55；

步骤53、判定两车间处于相对匀速接近状态，此时相对加速度α＝0，公式④不适用，只需计算当前相对车距与当前相对车速的关系

$\mathrm{TTC}=\frac{Z_0}{-V_0}=\frac{G/W_0}{-\frac{G}{\mathrm{\&Delta;t}}*\frac{W_1-W_0}{W_1*W_0}}=\mathrm{\&Delta;t}*\frac{W_0}{W_0-W_1}$     ⑤

步骤54、判定车辆处于加速接近状态，例如目标车辆急刹车或己车误踩油门，此时相对加速度α<0，公式④适用，且比匀速状态(见步骤53)的结果小；

步骤55、判定两车间处于相对制动状态，例如己车进行制动或目标车辆开始加速，此时α>0，在此继续分析，当Q≥0时，进入步骤56；否则进入步骤57；

步骤56、判定车辆制动力不足，己车车速在减小到与目标车辆同速前就已相撞，此时公式④适用，且比匀速状态(见步骤53)的结果大；

步骤57、判定制动力充足，车辆将安全地减速至安全相对速度。此时公式④的结果为负数，即不存在TTC；

步骤6：危险预警，包括如下步骤：

在取得当前帧碰撞时间TTC后，判定危险状态，步骤如下：

步骤61、预设两个时间阈值TTC1，TTC2(0<TTC2<TTC1)，分别表示较危险情况与非常危险情况；

步骤62、对所求得的当前帧碰撞时间TTC进行安全警报等级分析。

当TTC大于TTC1时，认为车辆行驶安全；当TTC介于TTC1与TTC2之间时，认为车辆有与前车接触的危险，发出一声警报；当TTC小于TTC2时，认为接触危险非常紧迫，发出急促的警报。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (2)

1.一种基于图像的车辆防撞预警方法，其特征在于，包括如下步骤：

A、图像采集，利用车载视觉传感器采集前方路面图像；在图像采集过程中，所采用的视觉传感器安装在车辆内部面向前方，并以固定频率Δf＝1/Δt采集前方道路数据图像，或采用计时器对所采集图像进一步筛选使得帧间时差为Δt；

B、车辆检测与跟踪，结合车辆的一系列显著特征，在图像中对车辆目标进行检测与提取，并且在之后图像内跟踪该车辆目标；确定图像中车辆宽度像素W与车距Z成反比关系，并满足如下条件：

W*Z＝fcam*Wcar*Aw/Wcam＝常数G

其中：fcam为视觉传感器的焦距，单位为毫米mm；Wcar为目标车辆的实际宽度，单位为mm；Aw为图像水平分辨率，单位为像素pixel；Wcam为视觉传感器的靶面尺寸，单位为mm；当在跟踪同一辆车时，上述公式右边的值固定为一个常数G；该帧间图像中车辆宽度的像素变化量能够有效反映两车之间距离的变化；

C、车辆跟踪Nc帧以上后，开始提取图像中车辆宽度的像素变化；

D、计算目标车辆与本车之间的碰撞时间TTC，并分析目标车辆相对行驶状态；其中，目标车辆与本车之间碰撞时间TTC的计算过程包括：

D1、获取三帧连续图像中目标车辆跟踪结果，其中：设定0为当前帧图像，1为上帧图像，2为上上帧图像，帧间时间为视觉传感器采集周期Δt，单位为毫秒ms；

D2、在三帧连续图像中，已知图像中车宽分别为W1、W2、W3，单位为pixel；设定相对车距分别为Z0、Z1、Z2，单位为mm；设定相对车速为V0、V1、V2，单位mm/ms；设定相对加速度为α，单位为mm/ms²；

D3、在当前帧有对距离变化的预测公式：

$Z=Z_0+V_{0}T+\frac{1}{2}a{T}^2;$

表示在T时间后的两车的车距，当车辆即将碰撞时，取Z＝0，则计算得碰撞时间为：

$\mathrm{TTC}=\frac{-V_0-\sqrt{V_0^2-2a{Z}_0}}{a}$    ①；

D4、由于车速是距离变化的反映量，即可表示为距离Z的微分形式，因此当前相对车速推导为：

$V_0=\frac{\mathrm{\&Delta;Z}}{\mathrm{\&Delta;t}}=\frac{Z_0-Z_1}{\mathrm{\&Delta;t}}=\frac{\frac{G}{W_0}-\frac{G}{W_1}}{\mathrm{\&Delta;t}}=\frac{G}{\mathrm{\&Delta;t}}*\frac{W_1-W_0}{W_1*W_0}$    ②；

D5、由于加速度是车速变化的反映量，即可表示为车速的微分形式，因此当前相对加速度推导为：

$\begin{array}{c}a=\frac{\mathrm{\&Delta;V}}{\mathrm{\&Delta;t}}=\frac{V_0-V_1}{\mathrm{\&Delta;t}}=\frac{\frac{\frac{G}{W_0}-\frac{G}{W_1}}{\mathrm{\&Delta;t}}-\frac{\frac{G}{W_1}-\frac{G}{W_2}}{\mathrm{\&Delta;t}}}{\mathrm{\&Delta;t}}\\ =\frac{G}{\mathrm{\&Delta;}{t}^2}*\frac{W_0*W_1+W_1*W_2-2W_0*W_2}{W_0*W_1*W_2}\end{array}$    ③；

D6、将公式②③代入公式①，则得出碰撞时间的具体公式：

$\mathrm{TTC}=\frac{-V_0-\sqrt{V_0^2-2a{Z}_0}}{a}=\mathrm{\&Delta;t}*\frac{P-\sqrt{Q}}{R}$    ④

其中，P＝W₀*W₂-W₁*W₂，

$Q={W_0}^2*W_2^2+2*W_0*W_1*W_2^2-{W_1}^2*W_2^2-2*W_0*{W_1}^2*W_2$

R＝W₁*W₂+W₀*W₁-2*W₀W₂；

E、结合预设阈值TTC1，TTC2，0<TTC2<TTC1；对TTC进行安全警报等级分析，当TTC大于TTC1时，认为车辆行驶安全；当TTC介于TTC1与TTC2之间时，认为车辆有与前车接触的危险，发出一声警报；当TTC小于TTC2时，认为接触危险非常紧迫，发出急促的警报。

2.根据权利要求1所述的基于图像的车辆防撞预警方法，其特征在于，利用碰撞时间TTC公式实现对车辆相对行驶状态的判定，其判定过程包括：

情况1、当P≤0时，此时判定目标车辆远离己车，或暂时保持同速行驶，公式④的结果TTC＜0，因此两车不会接触；否则，进入情况2；

情况2、当P＞0时，此时判定目标车辆处于接近状态，在此若R＝0，则进入情况3；若R＜0，进入情况4；若R＞0，进入情况5；

情况3、判定两车间处于相对，此时相对加速度α＝0，公式④不适用，只需计算当前相对车距与当前相对车速的关系：

$\mathrm{TTC}=\frac{Z_0}{-V_0}=\frac{G/W_0}{-\frac{G}{\mathrm{\&Delta;t}}*\frac{W_1-W_0}{W_1*W_0}}=\mathrm{\&Delta;t}*\frac{W_0}{W_0-W_1}$    ⑤

情况4、判定车辆处于加速接近状态，目标车辆急刹车或己车误踩油门，此时相对加速度α<0，公式④适用，且比情况3的匀速接近状态下的TTC结果小；

情况5、判定两车间处于相对制动状态，己车进行制动或目标车辆开始加速，此时α>0，在此继续分析，当Q≥0时，进入情况6；否则进入情况7；

情况6、判定车辆制动力不足，己车车速在减小到与目标车辆同速前就已相撞，此时公式④适用，且比情况3的匀速接近状态下的TTC结果大；

情况7、判定制动力充足，车辆将安全地减速至安全相对速度，此时公式④的结果为负数，即不存在TTC。