CN103136935B - 在有遮挡情况下跟踪车辆的方法 - Google Patents

Abstract

本发明公开了一种在有遮挡情况下跟踪车辆的方法，它包括如下步骤：采集图像并设置检测线圈，通过判断检测线圈内块的运动矢量的大小来检测属于车辆的块；通过查找前一帧图像中每一个属于车辆的块在当前帧图像中的对应的块，来跟踪每一辆车；通过当前帧图像中属于某一辆车的块与其它车辆的掩码区域的重叠程度来检测发生遮挡的块，查找发生遮挡的块在前一帧图像中的对应块，通过该对应块与前一帧图像中车辆掩码区域的重叠程度来对发生遮挡的块进行归属判决，从而完成对车辆遮挡的处理。本发明在有遮挡情况下跟踪车辆的方法具有跟踪准确度高和稳定性强的优点。

Description

在有遮挡情况下跟踪车辆的方法

技术领域

本发明涉及一种在有遮挡情况下跟踪车辆的方法，属于图像处理领域、计算机视觉领域和智能交通领域。

背景技术

近年来，利用视频技术进行车辆检测与跟踪成为智能交通领域中的一个热点，它可模仿人的视觉功能进行车辆检测和跟踪，具备可检测多个车道、安装维修简单等优点。相对于跟踪普通的运动目标来说，跟踪交通监控录像中的车辆有一些特殊之处。一方面，交通流中的存在多种不同型号的车辆，难以提取相对稳定且对所有车辆都适用的特征，这给车辆检测带来一定挑战；另一方面，当视野中同时出现多辆车时，车辆之间容易发生遮挡，遮挡很容易导致车辆跟错或者跟丢。目前，利用视频技术进行运动目标检测的方法大致为背景差分法、帧间差分法、灰度特征法、光流法等方法，运动目标跟踪的方法主要有以下几种：基于特征点的跟踪方法、基于轮廓的跟踪方法、基于三维模型的跟踪方法、基于光流的跟踪方法等。以上这些方法在车辆跟踪中的应用效果仍有待提高，针对车辆跟踪的特殊性，尤其是遮挡引发的难题，还需要一种简单实用的处理方法，总的来说，遮挡导致的检测或跟踪准确度问题是视频车辆跟踪技术的面临的挑战。

发明内容

本发明针对现有的视频车辆跟踪技术所面对的车辆遮挡现象造成的车辆定位不准、车辆跟丢的问题，提出一种在有遮挡情况下跟踪车辆的方法。

为了实现上述目的，本发明可采用的技术方案是：

一种在有遮挡情况下跟踪车辆的方法，它包括以下步骤：

S1、采集图像并设置检测线圈；

S2、从第二帧图像开始，采用运动矢量法查找每帧图像中的新块；

S3、查找由所述新块组成的连通区域；

S4、判断该连通区域属于已检测到的现有车辆还是属于新车辆；

S5、将所有前一帧中已检测到的车辆跟踪到当前帧；

S6、对当前帧中所有的车辆做遮挡处理，如果当前帧图像中的属于某辆车的某块与另一辆车在当前帧图像中的掩码区域发生重叠的像素个数大于阈值，则将该块记为发生遮挡的块，并将所述某辆车记为该块的当前归属车辆，所述另一辆车记为该块的备选归属车辆；

对当前帧图像中的某一个发生遮挡的块进行归属判断：查找前一帧图像中是否存在与该块对应的块，若不存在，则将该块判决为不属于任何车辆的块；否则，分别计算该块在前一帧图像中对应的块与该块的当前归属车辆在前一帧图像中的掩码区域、该块的备选归属车辆在前一帧图像中的掩码区域发生重叠的像素个数，并将该块判决给重叠像素个数较多的车辆。

根据本发明所述的在有遮挡情况下跟踪车辆的方法，所述S6进一步包括：如果该块在前一帧图像中对应的块和该块的当前归属车辆在前一帧图像中的掩码区域发生重叠的像素个数与该块的备选归属车辆在前一帧图像中的掩码区域发生重叠的像素个数的差值小于临界值，则判断该块不属于任何车辆；否则，将该块判决给重叠像素个数较多的车辆。

根据本发明所述的在有遮挡情况下跟踪车辆的方法，所述检测线圈包括多个块，每个块为行像素和列像素相等的像素矩阵。

根据本发明所述的在有遮挡情况下跟踪车辆的方法，所述S2进一步为：从第二帧图像开始，对前一帧图像中检测线圈内的每个块而言：查找当前帧图像中是否存在与该块对应的块，若存在，则计算该块的运动矢量，如果该块的运动矢量超过设定值，则将该块标记为新块，所述块的运动矢量是指以该块的中心位置为起点，以下一帧图像中与该块对应的块的中心位置为终点的矢量，某帧图像中与某块对应的块是指所述某帧图像中与所述某块的匹配程度最大且大于设定值的块。

根据本发明所述的在有遮挡情况下跟踪车辆的方法，所述S4进一步为：对前一帧图像中的每一个由新块组成的连通区域而言：如果该连通区域与已检测到的某辆车在前一帧图像中的掩码区域有重叠，则将该连通区域中的每一个新块均记为属于该辆车的块；如果该连通区域与已检测到的所有车辆在前一帧图像中掩码区域均不重叠，且该连通区域中新块的个数超过预定值，则新增加一辆已检测到的车辆，并将该连通区域中的每一个新块均记为属于该新增加的车辆的块；某辆车在某帧图像中的掩码区域是指在该帧图像中由属于该辆车的所有块的所有像素所组成的区域。

根据本发明所述的在有遮挡情况下跟踪车辆的方法，所述S5进一步为：对前一帧图像中已记为属于某辆车的每一个块而言：查找当前帧图像中是否存在与该块对应的块，如果存在，则将当前帧图像中与该块对应的块记为属于该块所属于的车辆的块。

本发明具有跟踪准确度高的优点：由于前一帧中属于车辆的块在当前帧中的对应块构成了当前帧属于车辆的块，所以当前帧的车辆掩码区域会适应车辆整体大小和形状相对于前一帧的变化，准确地检测出当前帧中属于车辆的像素。

本发明进一步具有的优点是：能够在交通拥挤的情况下进行车辆跟踪。本发明通过查找发生遮挡的块在前一帧图像中的对应块，并根据该对应块与车辆掩码区域的重叠程度来对发生遮挡的块进行归属判决，避免了发生遮挡的车辆的块的相互混淆，从而提高了交通拥挤情况下车辆跟踪的稳定性。

应当认识到，本发明以上各方面中的特征可以在本发明的范围内自由组合，而并不受其顺序的限制——只要组合后的技术方案落在本发明的实质精神内。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明在有遮挡情况下跟踪车辆的方法的流程图；

图2是实施例中的检测线圈内的互不重叠的块及由新块组成的两个连通区域；

图3是实施例中属于已检测到的一辆车的所有块；

图4是实施例中车辆的掩码区域示意图，其中白色像素组成的区域表示图3中的车辆的掩码区域；

图5a至图5c是实施例中分别属于发生遮挡的两辆车的块，其中图5a是遮挡处理之前，所有属于这两辆车的块，图5b是属于这两辆车的发生遮挡的块，图5c是对发生遮挡的块进行归属判决后的所有属于这两辆车的块；

图6是实施例中对某一块进行归属判决的流程图。

具体实施方式

下面结合附图和具体实施方式，进一步阐明本发明，应理解这些实施方式仅用于说明本发明而不用于限制本发明的范围，在阅读本发明之后，本领域的技术人员对本发明的各种等价形式的修改均落于本申请的权利要求所限定的范围。

结合图1说明本发明的在有遮挡情况下跟踪车辆的方法的基本过程：采集视频，在图像上的视场区域设置检测线圈。标记前一帧图像中检测线圈内运动矢量较大的块为新块，找出前一帧图像中新块连通区域。判断新块连通区域与已检测车辆是否有重叠，如果有重叠则新块连通区域中所有块属于与其有重叠的车辆；如果没有重叠且新块连通区域中块的个数大于阈值，则新块连通区域中所有块为新车的块。将前一帧图像中的所有车辆跟踪到当前帧。对当前帧的每一辆车做遮挡处理。

结合图2至图6说明一个实际实施方案：

S1、用一个固定视场的摄像机对公路或隧道进行拍摄，每隔固定时间从摄像机采集一帧图像，在采集的图像上车辆进入视场的区域设置矩形检测线圈，令检测线圈的宽度为λ*k个像素、长度为μ*k个像素，其中μ、λ和k都是大于零的整数，采集的每一帧图像中行和列均为k个像素的像素矩阵称为块，用n表示已检测出来的车辆的总数、S_t表示在采集的第t帧图像中所检测出来的车辆的集合，将n初始化为0、S₁初始化为空集；

S2、设当前帧图像为第t帧图像P_t，前一帧图像为第t-1帧图像P_t-1，对图像P_t-1的检测线圈内互不重叠的λ*μ个块中的每一个块进行如下处理：

设该块为b1_t-1，查找在图像P_t中与块b1_t-1最匹配的块b1_t，如果块b1_t与块b1_t-1的匹配程度大于阈值T₁，则将块b1_t记为在图像P_t中与块b1_t-1对应的块，若块b1_t-1的运动矢量的大小超过阈值T₂，则标记块b1_t-1为新块，块b1_t-1的运动矢量是指以块b1_t-1的中心点位置为起点、以块b1_t的中心点位置为终点的矢量；实施例中，采用公知的三步搜索算法查找某个块的匹配块，采用255减去两个块之间MAD值的差作为两个块之间的匹配程度，两个块之间MAD值是两个块之间对应像素灰度值的平均绝对误差，T₁取值为240，T₂取值为k的0.8倍。

S3、利用公知的区域生长法查找图像P_t-1中由新块组成的所有的连通区域；实施例中，λ为26、μ为3，检测线圈及由新块组成的连通区域见图2；

S4、对图像P_t-1中每一个由新块组成的连通区域进行如下处理：

如果该连通区域与车辆集合S_t-1中的所有车辆在图像P_t-1中的掩码区域都无重叠，且该新块连通区域中新块的个数超过阈值T₃，实施例中，T₃取值为5；则令已检测出来的车辆的总数n自增1，并在车辆集合S_t-1中增加一个编号为n的车辆C_n，令车辆C_n在图像P_t-1中的块集合B_t-1,n为该连通区域中所有新块，其中，车辆集合S_t-1表示在图像P_t-1中所检测出来的车辆的集合；车辆在图像中的掩码区域是指车辆在图像中的块集合中的所有像素所形成的区域；实施例中属于已检测到的一辆车的所有块见图3，图3中车辆的掩码区域见图4；如果该新块连通区域与车辆集合S_t-1中编号为i的车辆C_i在图像P_t-1中的掩码区域M_t-1,i有重叠，则将该新块连通区域中的所有新块加入到车辆C_i在图像P_t-1中的块集合B_t-1,i中；

S5、跟踪车辆：

令车辆集合S_t为空集，对车辆集合S_t-1中的每一辆车的进行如下处理：

S5.1、设该车为编号为i的车辆C_i，在车辆集合S_t中添加车辆C_i，令车辆C_i在图像P_t中的块集合B_t,i为空集；

S5.2、对车辆C_i在图像P_t-1中的块集合B_t-1,i中的每一个块进行如下处理：设该块为b2_t-1，查找在图像P_t中是否存在与块b2_t-1对应的块b2_t，若存在，则将块b2_t添加到块集合B_t,i中；

S5.3、如果块集合B_t,i为空集，则从车辆集合S_t中删除车辆C_i；

S6、遮挡处理：

S6.1、检测当前帧图像中的每个属于车辆的块是否发生遮挡：设车辆集合S_t中的车辆C_i的块集合B_t,i中的某块为b3_t，如果块b3_t与车辆C_j在图像P_t中的掩码区域M_t,j发生重叠的像素个数大于阈值T₄，则将块b3_t记为发生遮挡的块，并将车辆C_i记为块b3_t的当前归属车辆，车辆C_j记为该块的备选归属车辆；其中，C_j表示车辆集合S_t中除了车辆C_i之外的任一辆车。实例中，将阈值T₄取为k²的0.2倍，图5a显示了两辆发生遮挡的车，白色方框代表属于下方车辆的块，黑色方框代表属于上方车辆的块，这两辆车之间发生遮挡的块见图5b所示。

S6.2、对当前帧图像中的每一个发生遮挡的块进行归属判决：设当前帧图像中某个发生遮挡的块为b4_t，块b4_t的当前归属车辆为C_i，备选归属车辆为C_j，对块b4_t进行归属判决的流程见图6；查找在图像P_t-1中是否存在与块b4_t对应的块b4_t-1，若不存在，则将块b4_t判决为不属于任何车辆的块，并从块集合B_t,i中删除块b4_t；否则将块b4_t-1记为在图像P_t-1中与块b4_t对应的块，计算图像P_t-1中块b4_t-1与车辆C_i在图像P_t-1中的掩码区域M_t-1,i发生重叠的像素个数O_i，计算图像P_t-1中块b4_t-1与车辆C_j在图像P_t-1中的掩码区域M_t-1,j发生重叠的像素个数O_j，如果表达式|O_i-O_j|/k²的值小于阈值T₅，则将块b4_t判决为不属于任何车辆的块，并从块集合B_t,i中删除块b4_t；否则，如果O_i大于O_j，将块b4_t判决为属于车辆C_i的块，如果O_i不大于O_j，将块b4_t判决为属于车辆C_j的块，并从块集合B_t,i中删除块b4_t，向块集合B_t,j中添加块b4_t。实例中将T₅取值为0.5，对图5a的车辆进行遮挡处理后的结果见图5c所示。

Claims (5)

1.一种处理遮挡的车辆跟踪方法，其特征是它包括以下步骤：

S1、采集图像并设置检测线圈；

S2、从第二帧图像开始，采用运动矢量法查找每帧图像中的新块；

S3、查找由所述新块组成的连通区域；

S4、判断该连通区域属于已检测到的现有车辆还是属于新车辆；

S5、将所有前一帧中已检测到的车辆跟踪到当前帧；

S6、对当前帧中所有的车辆做遮挡处理，如果当前帧图像中的属于某辆车的某块与另一辆车在当前帧图像中的掩码区域发生重叠的像素个数大于阈值，则将该块记为发生遮挡的块，并将所述某辆车记为该块的当前归属车辆，所述另一辆车记为该块的备选归属车辆；

对当前帧图像中的某一个发生遮挡的块进行归属判断：查找前一帧图像中是否存在与该块对应的块，若不存在，则将该块判决为不属于任何车辆的块；否则，分别计算该块在前一帧图像中对应的块与该块的当前归属车辆在前一帧图像中的掩码区域、该块的备选归属车辆在前一帧图像中的掩码区域发生重叠的像素个数，并将该块判决给重叠像素个数较多的车辆；

所述S2进一步为：

从第二帧图像开始，对前一帧图像中检测线圈内的每个块而言：查找当前帧图像中是否存在与该块对应的块，若存在，则计算该块的运动矢量，如果该块的运动矢量超过设定值，则将该块标记为新块，所述块的运动矢量是指以该块的中心位置为起点，以下一帧图像中与该块对应的块的中心位置为终点的矢量，某帧图像中与某块对应的块是指所述某帧图像中与所述某块的匹配程度最大且大于设定值的块。

2.根据权利要求1所述的处理遮挡的车辆跟踪方法，其特征在于，

所述S6进一步包括：如果该块在前一帧图像中对应的块和该块的当前归属车辆在前一帧图像中的掩码区域发生重叠的像素个数与该块的备选归属车辆在前一帧图像中的掩码区域发生重叠的像素个数的差值小于临界值，则判断该块不属于任何车辆；否则，将该块判决给重叠像素个数较多的车辆。

3.根据权利要求1或2所述的处理遮挡的车辆跟踪方法，其特征在于，

所述检测线圈包括多个块，每个块为行像素和列像素相等的像素矩阵。

4.根据权利要求1或2所述的处理遮挡的车辆跟踪方法，其特征在于，

所述S4进一步为：

对前一帧图像中的每一个由新块组成的连通区域而言：如果该连通区域与已检测到的某辆车在前一帧图像中的掩码区域有重叠，则将该连通区域中的每一个新块均记为属于该辆车的块；如果该连通区域与已检测到的所有车辆在前一帧图像中掩码区域均不重叠，且该连通区域中新块的个数超过预定值，则新增加一辆已检测到的车辆，并将该连通区域中的每一个新块均记为属于新增加的已检测到的车辆的块；某辆车在某帧图像中的掩码区域是指在该帧图像中由属于该辆车的所有块的所有像素所组成的区域。

5.根据权利要求1或2所述的处理遮挡的车辆跟踪方法，其特征在于，所述S5进一步为：对前一帧图像中已记为属于某辆车的每一个块而言：查找当前帧图像中是否存在与该块对应的块，如果存在，则将当前帧图像中与该块对应的块记为属于该块所属于的车辆的块。