CN101840507A

CN101840507A - 基于角点特征不变量和图论聚类的目标跟踪方法

Info

Publication number: CN101840507A
Application number: CN 201010145467
Authority: CN
Inventors: 骞森
Original assignee: JIANGSU WISCOM SYSTEM CO Ltd
Current assignee: WISCOM SYSTEM CO., LTD.
Priority date: 2010-04-09
Filing date: 2010-04-09
Publication date: 2010-09-22
Anticipated expiration: 2030-04-09
Also published as: CN101840507B

Abstract

基于角点特征不变量和图论聚类的目标跟踪方法，克服现有的目标跟踪方法的不足，可以处理场景中目标尺度变化、旋转、噪声、昼夜变化、遮挡、粘连、摄像机抖动等难题，形成稳定的目标轨迹及其精确的运动信息。该跟踪方法包括：摄像机标定；图像预处理；角点检测；不变量特征提取，在角点上计算不变量特征；特征匹配，上帧的每个角点与本帧邻域内的所有角点进行不变量特征匹配；形成角点轨迹，把帧间匹配的角点连接起来形成该角点的轨迹；基于图论进行轨迹聚类，聚类后形成若干个临时目标；目标合并与分裂，确定目标与聚类得到的临时目标做合并或分裂，并作合理性检验，来更新当前的确定目标；合理性检验，判断轨迹和目标尺寸的合理性；提取高斯背景和角点背景。

Description

基于角点特征不变量和图论聚类的目标跟踪方法

技术领域

本发明涉及一种目标跟踪方法，尤其涉及一种基于角点特征不变量和图论聚类的目标跟踪方法。

背景技术

目标跟踪在视觉导航、行为识别、智能交通等领域有非常广泛的研究和应用。当前大多数的运动检测和目标跟踪算法都是基于混合高斯背景模型，但其难以解决光照变化、遮挡、粘连、摄像机抖动等问题；其它跟踪算法如光流法跟踪、基于边缘模型的跟踪、基于特征的跟踪、CamShift跟踪等，也都不能很好解决上述问题；事实上，在目标跟踪领域有更多的问题，比如尺度变化、旋转、噪声、阴影等也一直没有很好的解决方案。随着图像不变量特征的研究和图论在图像领域的应用，为本发明提供了灵感和技术支持，可以很好解决以上所有问题。

发明内容

技术问题：本发明所要解决的技术问题是：克服现有的目标跟踪方法的不足，提供一种基于角点特征不变量和图论聚类的目标跟踪方法，可以处理场景中目标尺度变化(由近及远或由远及近)、旋转、噪声、昼夜变化、遮挡、粘连、摄像机抖动等难题，形成稳定的目标轨迹及其精确的运动信息。

技术方案：本发明基于角点特征不变量和图论聚类的目标跟踪方法，提取特征点进行跟踪，然后对这些点的轨迹做图论聚类，把轨迹归类到各自的目标，具体包括：

1)摄像机标定，根据平面模型确立世界坐标与图像坐标的变换关系矩阵，并据此建立目标尺寸图，根据变换矩阵计算每个像素点目标尺寸的范围，其大小作为目标尺寸图的像素值，标定只需一次进行即可；这里假定场景中目标的实际尺寸基本一致，比如公路上的轿车，或广场上的行人，对于场景中有不同尺寸的目标的跟踪，可融合其它算法综合处理。

2)图像预处理，把视频流的帧图像转换为灰度图像，计算灰度图像整体亮度和对比度，判断图像场景属于白天、傍晚或晚上；若属白天则不作预处理，若为傍晚可对图像作对比度拉伸或直方图均衡化处理，若属晚上，先检测是否有大片高亮区域，若有则应用Tophat形态学处理求出车灯造成的高亮区域，只留下目标包括车灯等区域，然后求Canny边缘图像，然后再做形态学开运算，这样保证步骤(3)角点检测时，不论白天或晚上都有大量的角点。

3)角点检测，对预处理后的灰度图像，检测其Harris角点，Harris的特性可使多数角点都在运动目标上，其参数根据图像尺寸和场景自动调节。

4)不变量特征提取，在灰度图像的每个角点上计算特征不变量，这里选取Lowe的SIFT(尺度不变量特征变换)特征描述符，即计算梯度直方图作为特征向量；可根据场景对SIFT算法作精简，比如只考虑尺度或旋转的情况，或者尺度和旋转都不考虑。

5)特征匹配，每帧都求出角点及其不变量特征后，上一帧的每个角点与本帧邻域内的所有角点进行匹配，邻域根据角点上一帧的位置和速度做线性插值估计或kalman估计得到，匹配方法为计算角点与邻域内所有角点SIFT特征向量的欧氏距离，最小距离小于阈值且与次小距离的比率小于一定阈值时则为匹配。

6)形成角点轨迹，把帧间匹配的角点连接起来形成该角点的轨迹链表，若当前帧没有匹配到，则用估计点代替；当前帧没有被匹配的角点则作为新的轨迹插入轨迹链表；连续若干帧没有匹配到的轨迹则删除；实时计算每帧所有轨迹的速度、方向等信息。

7)基于图论进行轨迹聚类，把每条轨迹作为图的一个节点，节点之间的边的连接权重为两轨迹的相似度，相似度的计算为轨迹的坐标距离、速度和方向之差的加权；聚类后形成若干个临时目标，每个临时目标包含若干轨迹，目标的质心、速度和方向根据其所含轨迹平均值求得，目标尺寸为所含轨迹的外接凸多边形或外接矩形。

8)目标合并与分裂，首次出现的临时目标直接作为确定目标，否则根据已有的确定目标与当前帧聚类形成的临时目标做合并，并作合理性检验，来更新当前的确定目标；确定目标(经过了一段时间的更新)若判断为不合理，则把一部分轨迹分裂出去，直到满足合理性条件。

9)合理性检验，若轨迹速度接近为0且在背景帧差得到的运动区域时，则认为轨迹不合理，予以删除；若轨迹不断反复或者剧烈跳变，不符合实际运动情形则也认为轨迹不合理，予以删除；根据目标尺寸是否满足对应位置的目标尺寸图的像素值，以及目标内轨迹间的历史一致性综合判断目标是否合理；对于总的运动位移小于一定阈值的目标，可以标记为可疑目标，暂时不作为最终的目标，等到位移达到一定阈值时再去除可疑标记。

10)背景提取，根据混合高斯背景模型提取背景，通过背景差分可以计算运动区域，以辅助合理性检验；同一位置的角点出现的次数和时间满足一定条件时作为背景角点，这里同一位置的角点还要满足特征匹配的要求，否则可能是静止目标在同一位置的角点；背景角点的记录通过建立背景角点图的方式，背景角点图中每点记录了角点出现次数、时间及其不变量特征；背景角点所在轨迹不参与聚类。

通过以上步骤，目标合并与分裂之后保留下来的为确定目标，每帧随着目标轨迹会不断更新，基本上经过3帧左右即可达到稳定，认为是稳定的目标，其中的信息包括所属特征点的轨迹、目标尺寸、质心、速度、方向等，可以用来作视觉导航、行为分析、违章监测、流量统计等高级应用。

有益效果：基于角点特征不变量和图论聚类的目标跟踪方法，是一个完整的目标跟踪解决方案，在实际的视频监控、行为分析、智能交通、电子警察等领域有广阔的应用；与现有技术相比，使用本跟踪方法，用户可以很好的解决当前跟踪算法中的经典难题，实现对多目标的稳定精确跟踪，比如场景中目标尺度变化、旋转、光照、遮挡、粘连等问题；特别对于晚上低照度、多噪点和车灯影响也能很好的处理；并且由于是基于稳定特征点的像素级跟踪，目标的尺寸、速度、方向都可以准确计算。

附图说明

图1为本发明算法的流程图。

具体实施方式

下面将结合附图和实施例对本发明作进一步的详细描述：

图1是本发明的算法流程图，以跟踪公路上的过往车辆为例，跟踪算法按以下步骤进行：

(1)系统初始化，根据视频的分辨率设置参数，分配必须的变量和内存；

(2)摄像机标定，在图像中标出一个矩形，给出其实际宽高为多少米，据此建立世界坐标与图像坐标的变换关系矩阵；根据此变换矩阵，可以把轨迹在图像坐标中的位移变换到世界坐标，进而得到轨迹的实际运动速度和运动方向；

(3)根据标定结果得到的变换矩阵建立目标尺寸图，该图每点的像素值为以该点为中心的车辆在图像中所占据的图像大小，用以约束后面的聚类和合理性检验，这里假定场景中目标以普通轿车尺寸为准，对于一个场景，步骤(1)(2)(3)只需一次性完成；

(4)图像预处理，视频流的每帧图像或隔几帧的图像送入跟踪系统，对输入的图像作预处理；首先计算图像整体亮度和对比度，判断图像场景属于白天、傍晚或晚上；若属白天则不作预处理，若属傍晚可对图像作对比度拉伸或直方图均衡化处理；若属晚上，先检测是否有大片高亮区域，若有则应用Tophat形态学处理去除车灯造成的高亮区域，只留下目标包括车灯等区域，然后求Canny边缘图像，然后再做形态学开运算，这样保证后续的角点检测时，不论白天或晚上都有大量的角点；

(5)角点检测，基于图像预处理，提取出Harris角点，Harris角点定义为两个方向梯度剧烈变化的点，因此多数都集中在目标边缘和目标内部，而路面等平滑处则不会出现，阴影区域的内部也不会出现，根据场景和实际需要可以调整Harris参数以得到最佳的角点；这里还可以设定图像的有效道路区域，以排除栏杆等干扰区域，也可由设置排除区域以去除字幕等干扰区域，在角点这一层进行过滤；

(6)不变量特征提取，在灰度图像的每个角点上提取不变量特征，这里选取Lowe的SIFT(尺度不变量特征变换)特征描述符，SIFT特征对尺度、旋转、亮度、噪声等具有不变性，可以保证后续得到稳定匹配点对；若场景中车辆没有旋转情况，则可以去掉SIFT的旋转模块，若场景中车辆尺寸变化不大，则可以去掉SIFT的尺度模块，或者简单的以图像缩放来近似模拟尺度效果，这些精简都可以在保持SIFT特征稳定的前提下提高计算速度，最后的特征向量为128维的整数；

(7)特征匹配，每帧都求出角点及其不变量特征后，上一帧的每个角点与本帧邻域内的所有角点进行匹配，邻域根据角点上一帧的位置和速度做线性插值估计或kalman估计得到，匹配方法为计算角点与邻域内所有角点SIFT特征向量的欧氏距离，最小距离小于阈值且与次小距离的比率小于一定阈值时则为匹配；为检测误匹配或重复匹配，可采取反向匹配或其它检验算法进行校正；

(8)形成角点轨迹，把帧间匹配的角点连接起来形成该角点的轨迹链表，若当前帧没有匹配到，则用估计点代替，当前帧没有被匹配的角点则作为新的轨迹插入轨迹链表，连续若干帧没有匹配到的轨迹则删除，实时计算每帧所有轨迹的速度、方向等信息；

(9)基于图论进行轨迹聚类，把每条轨迹作为图的一个节点，节点之间的边的连接权重为两轨迹的相似度，相似度的计算为轨迹的坐标距离、速度和方向之差的加权；聚类后形成若干个临时车辆，每个临时车辆包含若干轨迹，目标的质心、速度和方向根据其所含轨迹平均值求得，车辆尺寸为所含轨迹的外接凸多边形或外接矩形；

(10)目标合并与分裂，首次出现的临时车辆直接作为确定车辆，否则根据已有的确定车辆与当前帧聚类形成的临时车辆做合并，并作合理性检验，来更新当前的确定车辆；确定车辆(经过了一段时间的更新)若判断为不合理，则把一部分轨迹分裂出去，直到满足合理性条件；

(11)合理性检验，若轨迹速度接近为0且在背景帧差得到的运动区域时，则认为轨迹不合理，予以删除；若轨迹不断反复或者剧烈跳变，不符合实际运动情形则也认为轨迹不合理，予以删除；根据车辆尺寸是否满足对应位置的目标尺寸图的像素值，以及车辆内轨迹间的历史一致性综合判断目标是否合理；对于总的运动位移小于一定阈值的车辆，可以标记为可疑车辆，暂时不作为最终的车辆，等到位移达到一定阈值时再去除可疑标记；

(12)背景提取，根据混合高斯背景模型提取背景，通过背景差分可以计算运动区域，以辅助合理性检验；同一位置的角点出现的次数和时间满足一定条件时作为背景角点，这里同一位置的角点还要满足特征匹配的要求，否则可能是静止目标在同一位置的角点；背景角点的记录通过建立背景角点图的方式，背景角点图中每点记录了角点出现次数、时间及其不变量特征；背景角点所在轨迹不参与聚类。

通过以上步骤，目标合并与分裂之后保留下来的为确定车辆，每帧随着目标轨迹会不断更新，基本上经过3帧左右即可达到稳定，认为是稳定的车辆，其中的信息包括所属特征点的轨迹、车辆尺寸、质心、速度、方向等，可以用来作交通违章监测、流量统计等高级应用。

本发明还可以有其它实施方法，凡采用同等替换或等效变换形成的技术方案，均落在本发明要求保护的范围之内。

Claims

1.一种基于角点特征不变量和图论聚类的目标跟踪方法，其特征在于该跟踪方法包括：

1).摄像机标定，确立世界坐标与图像坐标的变换关系，并建立目标尺寸图；

2).图像预处理；

3).角点检测；

4).不变量特征提取，在角点上计算不变量特征；

5).特征匹配，上帧的每个角点与本帧邻域内的所有角点进行不变量特征匹配；

6).形成角点轨迹，把帧间匹配的角点连接起来形成该角点的轨迹；

7).基于图论进行轨迹聚类，聚类后形成若干个临时目标；

8).目标合并与分裂，确定目标与聚类得到的临时目标做合并或分裂，并作合理性检验，来更新当前的确定目标；

9).合理性检验，判断轨迹和目标尺寸的合理性；

10).背景提取，提取高斯背景和角点背景。

2.如权利要求1所述的基于角点特征不变量和图论聚类的目标跟踪方法，其特征在于：所述的摄像机标定，根据平面模型确立世界坐标与图像坐标的变换关系矩阵，并据此建立目标尺寸图，根据变换矩阵计算每个像素点目标尺寸的范围，其大小作为目标尺寸图的像素值，这里假定场景中目标的实际尺寸基本一致。

3.如权利要求1所述的基于角点特征不变量和图论聚类的目标跟踪方法，其特征在于所述的图像预处理为：计算图像整体亮度和对比度，判断图像场景属于白天、傍晚或晚上；若属白天则不作预处理，若为傍晚可对图像作对比度拉伸或直方图均衡化处理，若属晚上，先检测是否有大片高亮区域，若有则应用高帽变换理求出车灯造成的高亮区域，只留下目标包括车灯等区域，然后求边缘图像，然后再做形态学开运算。

4.如权利要求1所述的基于角点特征不变量和图论聚类的目标跟踪方法，其特征在于所述的不变量特征提取，在灰度图像的每个角点上计算特征不变量，这里选取尺度不变量特征变换SIFT特征描述符，即计算梯度直方图作为特征向量；根据场景对描述符的计算作精简，即只考虑尺度或旋转的情况，或尺度和旋转都不考虑。

5.如权利要求1所述的基于角点特征不变量和图论聚类的目标跟踪方法，其特征在于：所述的形成角点轨迹，把帧间匹配的角点连接起来形成该角点的轨迹链表，若当前帧没有匹配到，则用估计点代替；当前帧没有被匹配的角点则作为新的轨迹插入轨迹链表；连续若干帧没有匹配到的轨迹则删除；实时计算每帧所有轨迹的速度、方向的信息。

6.如权利要求1所述的基于角点特征不变量和图论聚类的目标跟踪方法，其特征在于：所述的基于图论进行轨迹聚类，把每条轨迹作为图的一个节点，节点之间的边的连接权重为两轨迹的相似度，相似度的计算为轨迹的坐标距离、速度和方向之差的加权；聚类后形成若干个临时目标，每个临时目标包含若干轨迹，目标的质心、速度和方向根据其所含轨迹平均值求得，目标尺寸为所含轨迹的外接凸多边形或外接矩形。

7.如权利要求1所述的基于角点特征不变量和图论聚类的目标跟踪方法，其特征在于：所述的目标合并与分裂，首次出现的临时目标直接作为确定目标，否则根据已有的确定目标与当前帧聚类形成的临时目标做合并，并作合理性检验，来更新当前的确定目标；经过了一段时间更新的确定目标若判断为不合理，则把一部分轨迹分裂出去，直到满足合理性条件。

8.如权利要求1所述的基于角点特征不变量和图论聚类的目标跟踪方法，其特征在于：所述的合理性检验，若轨迹速度接近为0且在背景帧差得到的运动区域时，则认为轨迹不合理，予以删除；若轨迹不断反复或者剧烈跳变，不符合实际运动情形则也认为轨迹不合理，予以删除；根据目标尺寸是否满足对应位置的目标尺寸图的像素值，以及目标内轨迹间的历史一致性综合判断目标是否合理；对于总的运动位移小于一定阈值的目标，可以标记为可疑目标，暂时不作为最终的目标，等到位移达到一定阈值时再去除可疑标记。

9.如权利要求1所述的基于角点特征不变量和图论聚类的目标跟踪方法，其特征在于：所述的背景提取，根据混合高斯背景模型提取背景，通过背景差分可以计算运动区域，以辅助合理性检验；同一位置的角点出现的次数和时间满足一定条件时作为背景角点，建立背景角点图，这里同一位置的角点还要满足特征匹配的要求，背景角点所在轨迹不参与聚类。