CN100595792C - 基于视频技术的车辆检测与跟踪方法 - Google Patents

Abstract

本发明提供一种通过对交通场景的视频图像进行处理来进行车辆检测与跟踪的方法，该方法为：采集交通场景的图像，将交通图像按8×8像素进行分块，初始化背景图像并不断进行背景图像更新，在车道入口处设置与车道方向垂直的宽度为8像素的虚拟检测线，通过计算虚拟检测线上的块相对于背景图像的灰度变化来检测车辆，利用车辆到达检测线的次序对属于车辆区域的块进行标号，得到车辆标号的初始位置，之后结合三步法及全搜索法计算车辆的运动矢量并利用运动矢量对车辆标号的位置不断进行更新，实现了车辆的跟踪。本发明还针对复杂交通场景内可能出现的车辆间遮挡现象进行了检测和分割，因此具有检测和跟踪精度高、实时性好的优点。

Description

基于视频技术的车辆检测与跟踪方法

技术领域

本发明涉及一种基于视频技术的车辆检测与跟踪方法，其目的在于检测交通场景内存在的车辆，并对车辆的位置不断地进行跟踪，属于交通监控技术领域。

背景技术

随着经济的不断发展和城市化进程的快速进行，我国的机动车保有数量急剧增加，交通问题越来越突出，比如交通事故发生不断增长、交通拥堵频繁发生。为了解决这些问题，20世纪90年代以来，世界各国开始进行智能运输系统(ITS)的建设。ITS通过利用先进的信息技术将人车路有机地结合起来。

ITS中一个重要的子系统就是交通信息采集系统，车辆检测是该系统的重要功能之一。传统的车辆检测方法是环形线圈检测，它存在容易损坏、维修困难等缺点。近些年来，利用视频技术进行车辆检测成为车辆检测技术中的一个热点，它可模仿人的视觉功能进行车辆检测和跟踪，具备可检测多个车道、安装维修简单等优点。它从复杂的交通场景图像中检测和跟踪车辆，必须要处理光照的变化、车辆的遮挡等因素。

通过对现有技术文献的检索发现现有的车辆跟踪方法主要有以下几种：基于3D模型的车辆跟踪方法、基于特征点的车辆跟踪方法和基于Snake主动轮廓模型的车辆跟踪方法等。基于特征点和基于Snake主动轮廓模型的车辆跟踪方法对车辆间的遮挡现象很敏感，而基于3D模型的车辆跟踪方法需要针对大量的车辆建立3D模型，过于复杂且不实用。本发明将提供一种能够解决车辆遮挡现象且简单实用的视频车辆跟踪方法。

发明内容

技术问题

本发明提供一种可以在复杂环境下进行车辆检测与跟踪的基于视频技术的车辆检测与跟踪方法，该方法具有跟踪精度高、实时性好的优点。

技术方案

一种基于视频技术的车辆检测与方法，其特征在于：

①交通场景背景图像的不断更新

设背景初始化之后得到的背景图像为B₀，每当重新采集到第i帧图像P_i时，计算对应于第i-1帧图像P_i-1的背景图像B_i-1，

设当i＝2时不需对背景进行更新，即B₁＝B₀，B₁为第1帧图像P₁的背景图像；而当i＞2时，首先利用连续三帧图像P_i-2、P_i-1和P_i计算对称帧差图像|P_i-1-P_i-2|和|P_i-P_i-1|，并利用这两幅对称帧差图像进行二值化计算，得到与所采集第i帧图像P_i大小相等的第1标号图L₁，

$L_1(x,y)=\left\{\begin{array}{cc}1& \mathrm{if}|P_{i-1}(x,y)-P_{i-2}(x,y)|>t_1\mathrm{and}|P_i(x,y)-P_{i-1}(x,y)|>t_1\\ 0& \mathrm{else}\end{array}\right.$

式中，P_i(x，y)表示第i帧图像P_i中坐标为(x，y)的像素的灰度，L₁(x，y)表示第1标号图L₁中坐标为(x，y)的点的标号，L₁(x，y)取1时表示点(x，y)在连续三帧图像P_i-2、P_i-1和P_i中是运动的，L₁(x，y)取0时表示点(x，y)在连续三帧图像P_i-2、P_i-1和P_i中是静止的，t₁表示二值化计算时的阈值，预先设定为5～10，

在得到第1标号图L₁之后，接着对第1标号图L₁进行种子填充，得到新的第1标号图L₁′。

其次，对第i-1帧图像P_i-1中所有像素的灰度P_i-1(x，y)进行四邻域平均计算，得到图像P_i-1′，即：

P_i-1′(x，y)＝(P_i-1(x-1，y)+P_i-1(x，y-1)+P_i-1(x，y)+P_i-1(x，y+1)+P_i-1(x+1，y))/5

接着，利用图像P_i-1′和背景图像B_i-2计算背景差图像|P_i-1′-B_i-2|，并对该背景差图像进行二值化计算，得到第2标号图L₂，

$L_2(x,y)=\left\{\begin{array}{cc}1& \mathrm{if}|{P_{i-1}}^{\′}(x,y)-B_{i-2}(x,y)|>t_2\\ 0& \mathrm{else}\end{array}\right.$

其中B_i-2为第i-2帧图像的背景图像，t₂为二值化计算时的阈值，通过车辆检测过程中的阈值计算方法计算得到，

最后，根据新的第1标号图L₁′和第2标号图L₂中对应点之间的4种逻辑关系，将第i-2帧图像的背景图像B_i-2分为4个区域，并对该4个区域采用下列灰度更新方法进行更新，得到更新后的背景图像B_i-1：

$B_{i-1}(x,y)=\left\{\begin{array}{cc}{P}_{i-1}(x,y)& \mathrm{if}{L_1}^{\&prime;}(x,y)=0\mathrm{and}{L}_2(x,y)=0\\ B_{i-2}(x,y)+M& \mathrm{if}{L_1}^{\&prime;}(x,y)=0\mathrm{and}{L}_2(x,y)=1\mathrm{and}{P}_{i-1}(x,y)>B_{i-2}(x,y)\\ B_{i-2}(x,y)-M& \mathrm{if}{L_1}^{\&prime;}(x,y)=0\mathrm{and}{L}_2(x,y)=1\mathrm{and}{P}_{i-1}(x,y)<B_{i-2}(x,y)\\ B_{i-2}(x,y)& \mathrm{else}\end{array}\right.$

其中，M取值决定背景更新的速度，取1或2；

②设置虚拟检测线，当车辆通过检测线时对其进行检测，得到车辆的初始标号

在背景初始化完成之后，重新开始采集图像，设重新采集的第i帧图像为P_i，在图像P_i-1上的车道入口处设置与车道垂直的虚拟检测线Line，其宽度为8像素，

设图像矩阵P_i的大小为M×N，以8×8像素为块，得到块的矩阵D_i，其大小为m×n，其中m＝M/8，n＝N/8，块矩阵D_i中的每个元素都表示一个大小为8×8的块D_i(x，y)，定义大小为m×n的块标号矩阵Label_i，其中块标号矩阵Label_i中的元素Label_i(x，y)表示块D_i(x，y)的标号，将背景区域的块D_i(x，y)的标号Label_i(x，y)设为0，将第h辆车区域的块D_i(x，y)的标号Label_i(x，y)设为h，h为自然数，

Label_i中的所有元素初始化为0，设检测线Line在块矩阵D_i(x，y)中的x方向坐标为l，则它在图像P_i-1中上边缘线的x坐标为(l-1)×8+1，下边缘线的x坐标为l×8，

将当前帧图像P_i-1与背景图像B_i-1进行相减，并取绝对值，得到背景差图像BP_i-1：

BP_i-1＝|P_i-1-B_i-1|

BP_i-1中检测线区域的图像设为Line_i-1，其大小为8×N，可以分成为1×n个块。

车辆检测的步骤如下：

步骤一：计算检测线图像Line_i-1的分割阈值T，该分割阈值T采用迭代法得到，

步骤二：分别计算检测线图像Line_i-1中n个块的平均灰度值，对第j个块而言，其平均灰度值K_j为：

$K_j=\left(\underset{x=1}{\overset{8}{\mathrm{\&Sigma;}}}\underset{y=(j-1)\&times;8+1}{\overset{j\&times;8}{\mathrm{\&Sigma;}}}{\mathrm{Line}}_{i-1}(x,y)\right)/64$

其中，Line_i-1(x，y)是检测线图像Line_i-1中坐标为(x，y)的像素的灰度，

步骤三：分别对检测线图像Line_i-1中n个块的平均灰度值和阈值T进行比较，如果第j个块的平均灰度值K_j大于或等于阈值T，则说明检测线图像Line_i-1上检测到了车辆，并给该块赋予标号h，表示该块属于第h次到达检测线的车辆，如果第j个块的平均灰度值K_j小于阈值T，则第j个块的标号仍然为0，表示该块属于背景区域，

即，如果K_j≥T，则Label_i-1(l，j)＝h；如果K_j＜T，则Label_i-1(l，j)＝0

其中，Label_i-1(l，j)是块标号矩阵Label_i-1中坐标为(l，j)的块的标号，h表示该车到达检测线的次序，且当前两帧检测线图像Line_i-3和Line_i-2中没有检测到车辆，而当前帧检测线图像Line_i-1中检测到车辆时，对h进行一次更新，即h＝h+1。

③检测到车辆之后，计算车辆的运动矢量，利用运动矢量进行标号移位

在对第i-1帧图像P_i-1进行车辆检测之后，如果第i-2帧图像P_i-2中存在第h次到达的车辆，则首先确定所有属于该车辆的块的集合Block_i-2＝{D_i-2(m，n)|Label_i-2(m，n)＝h}，然后分别计算块集合Block_i-2中每个块D_i-2(m，n)在第i-2帧图像P_i-2和第i-1帧图像P_i-1之间的运动矢量，记为(v_mx，v_ny)，这些运动矢量的集合为

计算集合V中出现频率最大的运动矢量作为车辆的运动矢量(vt_x，vt_y)，并利用运动矢量(vt_x，vt_y)对车辆标号的位置进行更新，即，对于任意的块

而言，块D_i-2(m，n)的位置从第i-2帧图像P_i-2中的坐标(m，n)运动到第i-1帧图像P_i-1中的坐标(m+vt_x，n+vt_y)，故令Label_i-1(m+vt_x，n+vt_y)＝h，完成车辆标号位置的更新，

所述车辆的运动矢量(vt_x，vt_y)的计算方法为：选择车辆后部分的运动矢量代表整辆车的运动矢量，即对车辆后部分(最后两行)的所有块进行运动矢量计算，并从这些运动矢量中找出出现频率最大的矢量，以之作为车辆的运动矢量；

所述运动矢量(v_mx，v_ny)的计算方法为：首先采用三步法，然后，在运动矢量长度小于2个像素时，采用全搜索法。

④车辆标号的校正

车辆标号的校正只需在包含车辆标号h的最小矩阵框[x_min x_max y_min y_max]中进行，其中x_min、y_min分别是块标号矩阵Label_i-1中所有标号为h的块的最小横纵坐标，x_max、y_max分别是块标号矩阵Label_i-1中所有标号为h的块的最大横纵坐标，首先利用在车辆检测中用到的阈值计算方法计算背景差图像BP_i-1的分割阈值T2，再分别计算最小矩阵框中的所有块的平均灰度，如果块的平均灰度大于阈值T2，则给该块标上车辆的标号h；否则将该块的标号设置为0，即：

对于任意的块D(x，y)，x_min≤x≤x_max且y_min≤y≤y_max，其平均灰度为：

$K(x,y)=\left(\underset{m=(x-1)\&times;8+1}{\overset{x\&times;8}{\mathrm{\&Sigma;}}}\underset{n=(y-1)\&times;8+1}{\overset{y\&times;8}{\mathrm{\&Sigma;}}}{\mathrm{BP}}_{i-1}(m,n)\right)/64$

如果K(x，y)≥T2，则Label_i-1(x，y)＝h；如果K(x，y)＜T2，则Label_i-1(x，y)＝0。

⑤检测车辆间的遮挡现象并进行分割

(1)遮挡现象的检测

对单辆车而言，以包含所有标号的最小矩形框[x_min x_max y_min y_max]作为该车的位置，则当前图像P_i-1中的所有车辆分别由各自的最小矩形框来表示，且矩形框的标号与框内块的标号一致，对所有的矩形框进行两两比较和判断，若两个矩形框存在重叠部分，则表明矩形框所代表的车辆间存在遮挡现象，并将重叠部分定义为遮挡区域；反之，若两个矩形框不存在重叠部分，则表明矩形框所代表的车辆间不存在遮挡现象，

(2)遮挡区域的分割

检测到遮挡现象并得到遮挡区域之后，针对遮挡区域建立Markov模型，模型中标号的个数即为遮挡区域中块的个数，给遮挡区域中所有块的标号都设定一个确定值便得到一组标号组合，每组标号组合都对应一个能量函数。在所有可能的标号组合的范围内，对能量函数进行最小优化，得到的最小能量函数所对应的标号组合即为遮挡区域的分割结果。

本发明还可以进一步采取以下技术措施，即：在使用全搜索法计算运动矢量(v_mx，v_ny)中，运动矢量长度小于1个像素时，对与运动矢量计算的目标块N的距离为0.5像素的8个块进行灰度插值。

有益效果

1.由于摄像机的拍摄范围可以覆盖多条车道，因此能够对相同行车方向的多条道路上的车辆进行检测和跟踪，得到车辆运动轨迹信息。

2.车辆跟踪的精度高，实时性好。根据车辆在远离摄像机向前行驶的过程中车辆运动矢量会逐渐变小这一规律，采用三步法、全搜索法以及0.5像素精度的搜索法相结合计算车辆的运动矢量，在保证车辆运动矢量的准确性的同时，减少了计算量，从而保证了车辆跟踪的精度和实时性。

3.在交通拥挤的情况下能够进行车辆跟踪。对车辆间的相互遮挡进行了优化处理，避免了遮挡车辆间的相互混淆，从而提高了交通拥挤情况下车辆跟踪的精度。

附图说明

图1是车辆检测与跟踪过程流程图。

图2是初始背景图像B₀。

图3是第一辆车刚刚到达检测线时的图像P₇₈。

图4是图像P₇₈的背景差图像BP₇₈。

图5是图像P₇₈经过车辆检测后的标号结果Label₇₈。

图6是全搜索法的原理。

图7是三步法的搜索过程。

图8是0.5像素全搜索法中的块灰度插值方法。

图9是第一辆车即将离开检测线时的图像P₈₆。

图10是图像P₈₆的标号结果Label₈₆。

图11是图像P₈₇。

图12是第一辆车在图像P₈₆和图像P₈₇之间的运动矢量。

图13是按运动矢量对图P₈₆中的标号进行移位后的标号结果Label₈₇。

图14是进行标号校正之后的图像P₈₇的标号结果Label₈₇。

图15是遮挡处理之前的图像P₁₀₈的标号图Label₁₀₈。

图16是遮挡处理之后的图像P₁₀₈的标号图Label₁₀₈。

具体实施方式

本发明的具体实例结合图5-16说明如下：

具体实例一

①背景初始化

架设摄像机，针对一具体的交通场景采集15分钟的连续序列图像，采集频率为30帧/s，图像大小为240×320像素。对所有采集来的图像进行平均计算，即：

$B_0(x,y)=\frac{1}{450}\underset{i=1}{\overset{450}{\mathrm{\&Sigma;}}}{Q}_i(x,y)$

其中，B₀表示初始背景图像，B₀(x，y)表示B₀中坐标为(x，y)的像素的灰度，Q_i表示采集的第i帧图像，Q_i(x，y)表示Q_i中坐标为(x，y)的像素的灰度，最终得到如图2所示的初始背景图像B₀。

②背景更新

得到初始背景图像B₀之后，重新采集序列图像，每当重新采集到第i帧图像P_i时，计算对应于第i-1帧图像P_i-1的背景图像B_i-1，设当i＝2时不需对背景进行更新，即B₁＝B₀，B₁为第1帧图像P₁的背景图像；而当i＞2时，首先利用连续三帧图像P_i-2、P_i-1和P_i计算对称帧差图像|P_i-1-P_i-2|和|P_i-P_i-1|，并利用这两幅对称帧差图像进行二值化计算，得到与所采集第i帧图像P_i大小相等的第1标号图L₁，

$L_1(x,y)=\left\{\begin{array}{cc}1& \mathrm{if}|P_{i-1}(x,y)-P_{i-2}(x,y)|>t_1\mathrm{and}|P_i(x,y)-P_{i-1}(x,y)|>t_1\\ 0& \mathrm{else}\end{array}\right.$

式中，P_i(x，y)表示第i帧图像P_i中坐标为(x，y)的像素的灰度，L₁(x，y)表示第1标号图L₁中坐标为(x，y)的点的标号，L₁(x，y)取1时表示点(x，y)在连续三帧图像P_i-2、P_i-1和P_i中是运动的，L₁(x，y)取0时表示点(x，y)在连续三帧图像P_i-2、P_i-1和P_i中是静止的，t₁表示二值化计算时的阈值，预先设定为8，

在得到第1标号图L₁后对第1标号图L₁进行种子填充，即从第1标号图L₁中车辆区域内的任一像素L₁(x，y)出发，按照“左上右下”的顺序判断相邻像素，若相邻像素不是车辆区域的边界像素且其标号为0，则对其填充，给该像素标号为1，重复上述过程直到所有像素填充完毕。这样便可以消除标号图中的孔洞现象，得到新的第1标号图L₁′，

其次，对第i-1帧图像P_i-1中所有像素的灰度P_i-1(x，y)进行四邻域平均计算，得到图像P_i-1′，即：

P_i-1′(x，y)＝(P_i-1(x-1，y)+P_i-1(x，y-1)+P_i-1(x，y)+P_i-1(x，y+1)+P_i-1(x+1，y))/5

接着，利用图像P_i-1′和背景图像B_i-2计算背景差图像|P_i-1′-B_i-2|，并对该背景差图像进行二值化计算，得到第2标号图L₂，B_i-2为第i-2帧图像的背景图像，

$L_2(x,y)=\left\{\begin{array}{cc}1& \mathrm{if}|{P_{i-1}}^{\&prime;}(x,y)-B_{i-2}(x,y)|>t_2\\ 0& \mathrm{else}\end{array}\right.$

其中t₂为二值化计算时的阈值，通过车辆检测过程中的阈值计算方法计算得到，

最后，根据新的第1标号图L₁′和第2标号图L₂中对应点之间4种逻辑关系，将当前背景图像B_i-2分为4个区域，并对该4个区域采用下列灰度更新方法进行更新，得到更新后的背景图像B_i-1：

$B_{i-1}(x,y)=\left\{\begin{array}{cc}{P}_{i-1}(x,y)& \mathrm{if}{L_1}^{\&prime;}(x,y)=0\mathrm{and}{L}_2(x,y)=0\\ B_{i-2}(x,y)+M& \mathrm{if}{L_1}^{\&prime;}(x,y)=0\mathrm{and}{L}_2(x,y)=1\mathrm{and}{P}_{i-1}(x,y)>B_{i-2}(x,y)\\ B_{i-2}(x,y)-M& \mathrm{if}{L_1}^{\&prime;}(x,y)=0\mathrm{and}{L}_2(x,y)=1\mathrm{and}{P}_{i-1}(x,y)<B_{i-2}(x,y)\\ B_{i-2}(x,y)& \mathrm{else}\end{array}\right.$

其中M取1。

③车辆检测

第i帧图像P_i的大小为240×320像素，以8×8像素为块，得到块的矩阵D_i，其大小为30×40，块矩阵D_i中的每个元素都表示一个大小为8×8的块D_i(x，y)，定义大小为30×40的块标号矩阵Label_i，其中块标号矩阵Label_i中的元素Label_i(x，y)表示块D_i(x，y)的标号，将背景区域的块D_i(x，y)的标号Label_i(x，y)设为0，将第h辆车区域的块D_i(x，y)的标号Label_i(x，y)设为h，h为自然数。

经过背景更新得到第i-1帧背景图像B_i-1之后，在第i-1帧图像P_i-1中的车道入口处与车道垂直的方向设置宽度为8像素的虚拟检测线Line₇₈，如图6中的白线所示，设检测线Line₇₈在块矩阵D中的x方向坐标为l。

当i＝79时，即采集到图像P₇₉时，背景更新得到对应于P₇₈的背景图像B₇₈。如图3所示第一辆车在P₇₈中刚好到达检测线Line₇₈，对P₇₈和背景图像B₇₈进行背景差计算，得到如图4所示的背景差图像BP₇₈，即BP₇₈＝|P₇₈-B₇₈|。利用迭代法计算背景差图像BP₇₈中检测线Line₇₈的分割阈值，迭代法的计算步骤如下：

(1)求出检测线Line₇₈中最小和最大的灰度Z₁，Z₂，设初始阈值T₀为：

(2)根据T₀对检测线Line₇₈进行分割，设灰度大于等于T₀的区域为目标，灰度小于T₀的区域为背景，计算出目标区域的平均灰度Z₁₁和背景区域的平均灰度Z₁₂，得到新的阈值

(3)得到新的阈值T₂后重复第(2)步，设迭代次数为k+1时得到的阈值为

(4)当T_k+1＝T_k时结束迭代，并设最终阈值T＝T_k+1否则继续第(2)步；

经迭代法计算得到检测线Line₇₈的分割阈值T＝20，之后对检测线Line₇₈上的块进行判断，若块的平均灰度大于等于T则表明该块属于第一辆车，给该块标上标号1；若块的平均灰度小于T，则表明该块属于背景，给该块标上标号0，即对检测线Line₇₈上第j个块而言，其平均灰度值K_j为：

$K_j=\left(\underset{x=1}{\overset{8}{\mathrm{\&Sigma;}}}\underset{y=(j-1)\&times;8+1}{\overset{j\&times;8}{\mathrm{\&Sigma;}}}{\mathrm{Line}}_{i-1}(x,y)\right)/64$

如果K_j≥T，则Label_i-1(l，j)＝1；如果K_j＜T，则Label_i-1(l，j)＝0

得到的块标号矩阵Label₇₈如图5所示，其中白色的块标号为1，属于第1辆车，黑色的块标号为0，属于背景区域，

④车辆跟踪

车辆跟踪包括两个部分：车辆标号位置的更新与校正，

(1)车辆标号位置的更新

在对第i-1帧图像P_i-1进行车辆检测之后，如果第i-2帧图像P_i-2中存在第h次到达的车辆，则首先确定所有属于该车辆的块的集合Block_i-2＝{D_i-2(m，n)|Label_i-2(m，n)＝h}，然后分别计算块集合Block_i-2中每个块D_i-2(m，n)在第i-2帧图像P_i-2和第i-1帧图像P_i-1之间的运动矢量，记为(v_mx，v_ny)，这些运动矢量的集合为

计算集合V中出现频率最大的运动矢量作为车辆的运动矢量(vt_x，vt_y)，并利用运动矢量(vt_x，vt_y)对车辆标号的位置进行更新，即，对于任意的块而言，块D_i-2(m，n)的位置从第i-2帧图像P_i-2中的坐标(m，n)运动到第i-1帧图像P_i-1中的坐标(m+vt_x，n+vt_y)，故令Label_i-1(m+vt_x，n+vt_y)＝h，完成车辆标号位置的更新，

所述车辆的运动矢量(vt_x，vt_y)的计算方法为：选择车辆后部分的运动矢量代表整辆车的运动矢量，即对车辆后部分(最后两行)的所有块进行运动矢量计算，并从这些运动矢量中找出出现频率最大的矢量，以之作为车辆的运动矢量；

所述块的运动矢量(v_mx，v_ny)的计算方法为：首先采用三步法，然后在运动矢量长度小于2个像素时，采用全搜索法，全搜索法的搜索方法如图6所示，它是对搜索范围内的所有块进行块匹配计算，并选取具有最小匹配值的块作为目标块。三步法的搜索方法如图7所示，它是一种快速搜索方法。两者所采用的匹配准则都为MAD(平均绝对差值函数最小准则)即：

$\mathrm{MAD}(x,y)=\frac{1}{64}\underset{(n_1,n_2)\&Element;B}{\mathrm{\&Sigma;}}|P_{i-2}(n_1,n_2)-P_{i-1}(n_1+x,n_2+y)|$

式中：B表示图像P_i-2中需要进行运动矢量计算的块，(n₁，n₂)表示块B中的像素在图像P_i-2中的坐标，P_i-2(n₁，n₂)表示图像P_i-2中坐标为(n₁，n₂)的像素的灰度，P_i-1(n₁+x，n₂+y)表示图像P_i-1中坐标为(n₁+x，n₂+y)的像素的灰度，

根据MAD最小准则，运动矢量估算由下式得出：

${[x^{\&prime;},y^{\&prime;}]}^T=\arg \underset{(x,y)}{\min }\mathrm{MAD}(x,y)$

式中：x′，y′分别表示横纵方向的位移。

车辆在离摄像机较远处可能出现运动矢量不够1个像素的情况，此时整像素搜索法无法检测到车辆的位移，从而造成误差。这种误差的逐渐累计会使车辆的标号丢失，降低跟踪率。为此，可采用以0.5像素为单位的全搜索法进行搜索，即首先对需要进行运动矢量计算的目标块B(设(i，j)是该块左上角像素的坐标)附近的8个0.5像素距离的块进行灰度插值，具体方法为：

b1(m，n)＝(N(i+m-2，j+n-2)+N(i+m-2，j+n-1)+N(i+m-1，j+n-2)+N(i+m-1，j+n-1))/4；

b2(m，n)＝(N(i+m-2，j+n-1)+N(i+m-1，j+n-1))/2；

b3(m，n)＝(N(i+m-2，j+n-1)+N(i+m-2，j+n)+N(i+m-1，j+n-1)+N(i+m-1，j+n))/4；

b4(m，n)＝(N(i+m-1，j+n-2)+N(i+m-1，j+n-1))/2；

b5(m，n)＝(N(i+m-1，j+n-1)+N(i+m-1，j+n))/2；

b6(m，n)＝(N(i+m-1，j+n-2)+N(i+m-1，j+n-1)+N(i+m，j+n-2)+N(i+m，j+n-1))/4；

b7(m，n)＝(N(i+m-1，j+n-1)+N(i+m，j+n-1))/2；

b8(m，n)＝(N(i+m-1，j+n-1)+N(i+m-1，j+n)+N(i+m，j+n-1)+N(i+m，j+n))/4；

其中b1、b2、b3、b4、b5、b6、b7、b8表示目标块B周围与之相距0.5像素的块，m、n＝1，2，3......8，图8是上述灰度插值的示意图，

得到上述8个块之后，分别计算每个块与块P_i-2(i：i+7，j：j+7)的MAD值，选取具有最小MAD值的块计算运动矢量。

(2)车辆标号位置的校正

由于运动矢量计算中不可避免的误差和车辆自身的形变，经过移位之后的标号可能存在误差。而标号的误差会进一步导致车辆运动矢量的误差，这两种误差相互影响、不断累计会极大地降低跟踪率，因此必须在移位之后对车辆标号进行校正，

车辆标号的校正只需在包含车辆标号h的最小矩阵框[x_min x_max y_min y_max]中进行，其中x_min、y_min分别是块标号矩阵Label_i-1中所有标号为h的块的最小横纵坐标，x_max、y_max分别是块标号矩阵Label_i-1中所有标号为h的块的最大横纵坐标，首先利用在车辆检测中用到的的阈值计算方法计算背景差图像BP_i-1的分割阈值T2，再分别计算最小矩阵框中的所有块的平均灰度，如果块的平均灰度大于阈值T2，则给该块标上车辆的标号h；否则将该块的标号设置为0，即：

对于任意的块D(x，y)，x_min≤x≤x_max且y_min≤y≤y_max，其平均灰度为：

$K(x,y)=\left(\underset{m=(x-1)\&times;8+1}{\overset{x\&times;8}{\mathrm{\&Sigma;}}}\underset{n=(y-1)\&times;8+1}{\overset{y\&times;8}{\mathrm{\&Sigma;}}}{\mathrm{BP}}_{i-1}(m,n)\right)/64$

如果K(x，y)≥T2，则Label_i-1(x，y)＝h；如果K(x，y)＜T2，则Label_i-1(x，y)＝0。

图9所示的图像为P₈₆，在P₈₆中车辆即将离开检测线，其标号结果如图10所示。当采集到图像P₈₈时，对P₈₇(图12)进行车辆检测，未检测到车辆，计算P₈₆所对应块标号矩阵Lable₈₆中所有标号为1的块在图像P₈₆和图像P₈₇之间的运动矢量，运动矢量结果如图11所示。选取其中出现频率最大者(-11，1)(矢量单位为像素)作为车辆的运动矢量，利用矢量(-11，1)对车辆标号的位置进行更新得到如图13所示的标号结果，对该标号结果进行标号校正，最终得到图像P₈₇所对应的块标号矩阵Lable₈₇，如图14所示。

具体实例二

车辆间遮挡现象的检测和处理

在实例一中交通场景内的车辆较少，本实例拍摄了另外一组交通量较大的序列图像，当交通量较大时车辆间将有可能会发生，而车辆间的遮挡现象会造成标号的错误，进而会降低车辆检测与跟踪精度，因此必须对遮挡现象进行检测和分割，

(1)车辆间遮挡现象的检测

对单辆车而言，以包含所有标号的最小矩形框[x_min x_max y_min y_max]作为该车的位置，则当前图像P_i-1中的所有车辆分别由各自的最小矩形框来表示，且矩形框的标号与框内块的标号一致，对所有的矩形框进行两两比较和判断，若两个矩形框存在重叠部分，则表明矩形框所代表的车辆间存在遮挡现象，并将重叠部分定义为遮挡区域；反之，若两个矩形框不存在重叠部分，则表明矩形框所代表的车辆间不存在遮挡现象，

在对图像P₁₀₈进行车辆检测和车辆跟踪之后，得到如图15所示的车辆标号结果，对图像P₁₀₈的块标号矩阵Lable₁₀₈中的所有块按标号进行分组，标号为0的块代表背景区域，其他两组具有相同标号的块分别代表车辆5和车辆6，分别计算包含两个组所有块的最小方框，车辆5的位置用白色的方框表示，车辆6的位置用灰色的方框表示。方框坐标确定之后，对两个方框之间的关系进行判断，发现方框之间出现重叠，则表明车辆5和车辆6之间存在着遮挡现象，方框重叠部分即为遮挡区域，至此便完成了图像P₁₀₈中遮挡现象的检测。

(2)车辆间遮挡现象的检测

在检测到遮挡现象并得到遮挡区域之后，针对遮挡区域建立Markov模型，模型中标号的个数即为遮挡区域中块的个数，给遮挡区域中所有块的标号都设定一个确定值便得到一组标号组合，每组标号组合都对应一个能量函数，在所有可能的标号组合的范围内，对能量函数进行最小优化，得到的最小能量函数所对应的标号组合即为遮挡区域的分割结果，具体步骤如下：

1)根据矩形框的标号确定发生遮挡现象的车辆，假设存在重叠部分的两个矩形框的标号分别为v1和车辆v2，则表示车辆v1和车辆v2之间发生了遮挡现象。车辆v1在相邻两帧P_i-2和P_i-1间的运动矢量为(v1_x，v1_y)，车辆v2在相邻两帧P_i-2和P_i-1间对应的运动矢量为(v2_x，v2_y)，对遮挡区域的所有块进行排序block＝(1，2，3...K)，K为遮挡区域内块的数量；

2)任意假定一组标号组合lable＝(v₁，v₂，v₃...v_k...v_K)，对于第k个块而言，它的标号为v_k(v_k＝v1或v_k＝v2)，该块能量函数的第一项为U1_k＝a(N_k-8)²

式中a为系数，N_k为该块的八邻域内标号为v_k的块的数目；

3)对于第k个块而言，能量函数的第二项为U2_k＝b(M_k-64)²

将第k个块按标号v_k对应的负矢量(-v_x，-v_y)从当前帧移动到前一帧，M_k为移动之后的块中与前一帧相同位置标号相同的像素的数目；

4)对于第k个块而言，能量函数第三项为U3_k＝cD_k ²

将第k个块按标号v_k对应的负矢量(-vk_x，-vk_y)从当前帧移动到前一帧，得到块k′。对块k′和块k中的64对对应像素进行灰度差计算，取绝对值之后进行相加，即得到D_k；

5)标号组合lable总的能量函数为

6)在所有可能标号组合的能量函数值中进行最小寻优计算，将所得到的标号组合lable赋予遮挡区域中相应的块，

在检测到图像P₁₀₈中存在遮挡现象之后，利用车辆5的运动矢量[-6 4]和车辆6的运动矢量[-4 3]计算遮挡区域中所有标号组合的能量函数，寻找出具有最小能量的标号组合，得到如图16所示的车辆标号结果，对比图15和图16可以看出，遮挡区域已经得到了准确的分割。

Claims (2)

1.一种基于视频技术的车辆检测与跟踪方法，其特征在于：

①交通场景背景图像的不断更新

设背景初始化之后得到的背景图像为B₀，每当重新采集到第i帧图像P_i时，计算对应于第i-1帧图像P_i-1的背景图像B_i-1，

设当i＝2时不需对背景进行更新，即B₁＝B₀，B₁为第1帧图像P₁的背景图像；而当i＞2时，首先利用连续三帧图像P_i-2、P_i-1和P_i计算对称帧差图像|P_i-1-P_i-2|和|P_i-P_i-1|，并利用这两幅对称帧差图像进行二值化计算，得到与所采集第i帧图像P_i大小相等的第1标号图L₁，

$L_1(x,y)=\left\{\begin{array}{cc}1& \mathrm{if}|P_{i-1}(x,y)-P_{i-2}(x,y)|>t_1\mathrm{and}|P_i(x,y)-P_{i-1}(x,y)|>t_1\\ 0& \mathrm{else}\end{array}\right.$

式中，P_i(x，y)表示第i帧图像P_i中坐标为(x，y)的像素的灰度，L₁(x，y)表示第1标号图L₁中坐标为(x，y)的点的标号，L₁(x，y)取1时表示点(x，y)在连续三帧图像P_i-2、P_i-1和P_i中是运动的，L₁(x，y)取0时表示点(x，y)在连续三帧图像P_i-2、P_i-1和P_i中是静止的，t₁表示二值化计算时的阈值，预先设定为5～10，

在得到第1标号图L₁之后，接着对第1标号图L₁进行种子填充，得到新的第1标号图L₁′，

其次，对第i-1帧图像P_i-1中所有像素的灰度P_i-1(x，y)进行四邻域平均计算，得到图像P_i-1′，即：

P_i-1′(x，y)＝(P_i-1(x-1，y)+P_i-1(x，y-1)+P_i-1(x，y)+P_i-1(x，y+1)+P_i-1(x+1，y))/5

接着，利用图像P_i-1′和背景图像B_i-2计算背景差图像|P_i-1′-B_i-2|，并对该背景差图像进行二值化计算，得到第2标号图L₂，

$L_2(x,y)=\left\{\begin{array}{cc}1& \mathrm{if}|{P_{i-1}}^{\&prime;}(x,y)-B_{i-2}(x,y)|>t_2\\ 0& \mathrm{else}\end{array}\right.$

其中B_i-2为第i-2帧图像的背景图像，t₂为二值化计算时的阈值，通过车辆检测过程中的阈值计算方法计算得到，

最后，根据新的第1标号图L₁′和第2标号图L₂中对应点之间的4种逻辑关系，将第i-2帧图像的背景图像B_i-2分为4个区域，并对该4个区域采用下列灰度更新方法进行更新，得到更新后的背景图像B_i-1：

$B_{i-1}(x,y)=\left\{\begin{array}{cc}{P}_{i-1}(x,y)& \mathrm{if}{L_1}^{\&prime;}(x,y)=0{\mathrm{andL}}_2(x,y)=0\\ B_{i-2}(x,y)+M& \mathrm{if}{L_1}^{\&prime;}(x,y)=0{\mathrm{andL}}_2(x,y)=1\mathrm{and}{P}_{i-1}(x,y)>B_{i-2(x,y)}\\ B_{i-2}(x,y)-M& \mathrm{if}{L_1}^{\&prime;}(x,y)=0\mathrm{and}{L}_2(x,y)=1\mathrm{and}{P}_{i-1}(x,y)<B_{i-2}(x,y)\\ B_{i-2}(x,y)& \mathrm{else}\end{array}\right.$

其中，M取值决定背景更新的速度，取1或2；

②设置虚拟检测线，当车辆通过检测线时对其进行检测，得到车辆的初始标号

在背景初始化完成之后，重新开始采集图像，设重新采集的第i帧图像为P_i，在图像P_i-1上的车道入口处设置与车道垂直的虚拟检测线Line，其宽度为8像素，

设图像矩阵P_i的大小为M×N，以8×8像素为块，得到块的矩阵D_i，其大小为m×n，其中m＝M/8，n＝N/8，块矩阵D_i中的每个元素都表示一个大小为8×8的块D_i(x，y)，定义大小为m×n的块标号矩阵Label_i，其中块标号矩阵Label_i中的元素Label_i(x，y)表示块D_i(x，y)的标号，将背景区域的块D_i(x，y)的标号Label_i(x，y)设为0，将第h辆车区域的块D_i(x，y)的标号Label_i(x，y)设为h，h为自然数，

Label_i中的所有元素初始化为0，设检测线Line在块矩阵D_i中的x方向坐标为l，则它在图像P_i-1中上边缘线的x坐标为(l-1)×8+1，下边缘线的x坐标为l×8，

将当前帧图像P_i-1与背景图像B_i-1进行相减，并取绝对值，得到背景差图像BP_i-1：

BP_i-1＝|P_i-1-B_i-1|

BP_i-1中检测线区域的图像设为Line_i-1，其大小为8×N，可以分成为1×n个块，车辆检测的步骤如下：

步骤一：计算检测线图像Line_i-1的分割阈值T，该分割阈值T采用迭代法得到，

步骤二：分别计算检测线图像Line_i-1中n个块的平均灰度值，对第j个块而言，其平均灰度值K_j为：

$K_j=\left(\underset{x=1}{\overset{8}{\mathrm{\&Sigma;}}}\underset{y=(j-1)\&times;8+1}{\overset{j\&times;8}{\mathrm{\&Sigma;}}}{\mathrm{Line}}_{i-1}(x,y)\right)/64$

其中，Line_i-1(x，y)是检测线图像Line_i-1中坐标为(x，y)的像素的灰度，

步骤三：分别对检测线图像Line_i-1中n个块的平均灰度值和阈值T进行比较，如果第j个块的平均灰度值K_j大于或等于阈值T，则说明检测线图像Line_i-1上检测到了车辆，并给该块赋予标号h，表示该块属于第h次到达检测线的车辆，如果第j个块的平均灰度值K_j小于阈值T，则第j个块的标号仍然为0，表示该块属于背景区域，

即，如果K_j≥T，则Label_i-1(l，j)＝h；如果K_j＜T，则Label_i-1(l，j)＝0

其中，Label_i-1(l，j)是块标号矩阵Label_i-1中坐标为(l，j)的块的标号，h表示该车到达检测线的次序，且当前两帧检测线图像Line_i-3和Line_i-2中没有检测到车辆，而当前帧检测线图像Line_i-1中检测到车辆时，对h进行一次更新，即h＝h+1；

③检测到车辆之后，计算车辆的运动矢量，利用运动矢量进行标号移位

在对第i-1帧图像P_i-1进行车辆检测之后，如果第i-2帧图像P_i-2中存在第h次到达的车辆，则首先确定所有属于该车辆的块的集合Block_i-2＝{D_i-2(m，n)|Label_i-2(m，n)＝h}，然后分别计算块集合Block_i-2中每个块D_i-2(m，n)在第i-2帧图像P_i-2和第i-1帧图像P_i-1之间的运动矢量，记为(v_mx，v_ny)，这些运动矢量的集合为

计算集合V中出现频率最大的运动矢量作为车辆的运动矢量(vt_x，vt_y)，并利用运动矢量(vt_x，vt_y)对车辆标号的位置进行更新，即，对于任意的块

而言，块D_i-2(m，n)的位置从第i-2帧图像P_i-2中的坐标(m，n)运动到第i-1帧图像P_i-1中的坐标(m+vt_x，n+vt_y)，故令Label_i-1(m+vt_x，n+vt_y)＝h，完成车辆标号位置的更新，

所述车辆的运动矢量(vt_x，vt_y)的计算方法为：选择车辆后部分的运动矢量代表整辆车的运动矢量，即对车辆最后两行的所有块进行运动矢量计算，并从这些运动矢量中找出出现频率最大的矢量，以之作为车辆的运动矢量，

所述运动矢量(v_mx，v_ny)的计算方法为：首先采用三步法，然后，在运动矢量长度小于2个像素时，采用全搜索法；

④车辆标号的校正

车辆标号的校正只需在包含车辆标号h的最小矩阵框[x_min x_max y_min y_max]中进行，其中x_min、y_min分别是块标号矩阵Label_i-1中所有标号为h的块的最小横纵坐标，x_max、y_max分别是块标号矩阵Label_i-1中所有标号为h的块的最大横纵坐标，首先利用在车辆检测中用到的阈值计算方法计算背景差图像BP_i-1的分割阈值T2，再分别计算最小矩阵框中的所有块的平均灰度，如果块的平均灰度大于阈值T2，则给该块标上车辆的标号h；否则将该块的标号设置为0，即：

对于任意的块D(x，y)，x_min≤x≤x_max且y_min≤y≤y_max，其平均灰度为：

$K(x,y)=\left(\underset{m=(x-1)\&times;8+1}{\overset{x\&times;8}{\mathrm{\&Sigma;}}}\underset{n=(j-1)\&times;8+1}{\overset{y\&times;8}{\mathrm{\&Sigma;}}}{\mathrm{BP}}_{i-1}(m,n)\right)/64$

如果K(x，y)≥T2，则Label_i-1(x，y)＝h；如果K(x，y)＜T2，则Label_i-1(x，y)＝0；

⑤检测车辆间的遮挡现象并进行分割

(1)遮挡现象的检测

对单辆车而言，以包含所有标号的最小矩形框[x_min x_max y_min y_max]作为该车的位置，则当前图像P_i-1中的所有车辆分别由各自的最小矩形框来表示，且矩形框的标号与框内块的标号一致，对所有的矩形框进行两两比较和判断，若两个矩形框存在重叠部分，则表明矩形框所代表的车辆间存在遮挡现象，并将重叠部分定义为遮挡区域；反之，若两个矩形框不存在重叠部分，则表明矩形框所代表的车辆间不存在遮挡现象，

(2)遮挡区域的分割

检测到遮挡现象并得到遮挡区域之后，针对遮挡区域建立Markov模型，模型中标号的个数即为遮挡区域中块的个数，给遮挡区域中所有块的标号都设定一个确定值便得到一组标号组合，每组标号组合都对应一个能量函数，在所有可能的标号组合的范围内，对能量函数进行最小优化，得到的最小能量函数所对应的标号组合即为遮挡区域的分割结果。

2.根据权利要求1所述的基于视频技术的车辆检测与跟踪方法，其特征在于在使用全搜索法计算运动矢量(v_mx，v_ny)中，运动矢量长度小于1个像素时，对与运动矢量计算的目标块N的距离为0.5像素的8个块进行灰度插值。

Images