CN103268480A

CN103268480A - 一种视觉跟踪系统及方法

Info

Publication number: CN103268480A
Application number: CN2013102093044A
Authority: CN
Inventors: 尹宏鹏; 柴毅; 范曲; 彭超; 周康乐
Original assignee: Chongqing University
Current assignee: Chongqing University
Priority date: 2013-05-30
Filing date: 2013-05-30
Publication date: 2013-08-28
Anticipated expiration: 2033-05-30
Also published as: CN103268480B

Abstract

本发明公开了一种视觉跟踪系统及方法，属于视觉监控技术领域。本方法包括以下步骤：一：采集与输入实时监控图像和目标图像；二：对采集图像与目标图像的局部特征点进行匹配；三：利用聚类分类算法找出特征点密集区域，并计算出目标所在形心的坐标；四：截取形心附近图像，乘以二维高斯模板，预处理待匹配图像；五：使待匹配图像与目标图像在RGB三色通道下进行全局颜色匹配；六：分析形心的运动轨迹，预测形心下一时刻可能出现的位置，实时输出目标相对于监控摄像画面中心的偏移坐标，控制摄像头跟踪可疑目标的运动轨迹。本方法能够准确找到可疑目标形心，减小目标检测的时间复杂度和空间复杂度，同时，预测下一时刻目标潜在位置，做到实时跟踪可疑目标。

Description

一种视觉跟踪系统及方法

技术领域

本发明属于视觉监控技术领域，涉及一种视觉跟踪系统及方法。

背景技术

对于重要监控场所，如银行、商店、停车场、军事基地等，出于管理和安全的需要，人们往往需要对场景中出现的可疑目标进行检测与跟踪。基于视频的智能监控系统是当前图像处理领域备受关注前沿技术，拥有巨大的监控市场需求。一种实时检测、跟踪的监控装置，能自动地分析和抽取视频源的关键信息，而非简单的把监控摄像当做存储和调用监控信息的电子设备，其核心处理模块能借助计算机强大的数据处理功能，对视频画面中的海量信息进行高速分析，过滤用户不关心的信息，提供对监控者有用的关键信息。它与以往的监控设备的本质区别在于，在几乎不需人为干预的情况下，通过对摄像机采集的实时图像序列进行自动分析，可对动态场景中的目标进行定位、识别和跟踪，进而为分析和判断目标的行为提供了数据支持。

现行的视觉跟踪系统的目标检测方法主要是基于物体形状的模板匹配算法和以特征为基础的基于不变量的特征匹配算法。模板匹配算法的主要思想是提取模板图像中的形状、轮廓等特征，采用约定准则，按照某种相似性度量方法对监控图像进行比较搜索，以实现图像匹配；特征匹配算法则是指通过分别提取两个或多个图像的特征（点、线、面等特征），对特征进行参数描述，然后运用所描述的参数来进行匹配的一种算法。虽然基于上述思想的监控系统在实际中的应用越来越广泛，但是仍存在一些尚未解决的问题。

问题一:三维到二维投影的病态问题。人看到一张静态图像去理解它的3D结构是一件很容易的事，因为人有图像里面这些物体的先验知识。但对于计算机来说，由于投射投影，3D场景投射到2D空间里面，就损失了很多的信息，例如深度信息，同时诸如光照，材料特性、朝向、距离等信息都信息。对于常规模板匹配算法来说，摄像头至于检测目标的角度直接制约了目标检测的精度。当摄像头视野朝向与模板图片拍摄角度相异时，目标的轮廓信息发生畸变，采用此方法的监控系统就不能检测到可疑目标。问题二：光照变化、阴影、遮挡、尺度变化等的影响。在相当多的应用场合下，必须考虑图像之间的空间坐标变换，诸如旋转变换，比例变换，投影变换等等，从而导致了图像和模板发生旋转和扭曲等变形，使得匹配问题变得更加复杂，同时还有图像会附带各种各样的噪声，噪声会影响匹配效果，降低匹配精度，此外还有光照变化、目标之间的遮挡、摄像头抖动带来的图像模糊、尺度缩放、旋转变化等都对图像匹配带来了严重的挑战。如何在复杂场景下提高检测精度，可以考虑多种检测手法结合的方式。问题三：监控算法复杂度高，不能实时跟踪目标。目前监控手段的不断提升，监控设备更新也越来越快，如何在海量视频数据中挖掘出可以目标，并对其进行实时跟踪是改进新型视频监控系统要考虑的难题。降低检测流程的时间复杂度和空间复杂度就必须要求监控系统改进算法的结构，使其更加合理。而在实际的应用之中，这需要更加苛刻的技术方案。

发明内容

有鉴于此，本发明的目的在于提供一种视觉跟踪系统及方法，通过对常规的跟踪监控系统进行改进，达到对可疑目标进行更快更精确的进行跟踪的目的。

为达到上述目的，本发明提供如下技术方案：

一种视觉跟踪方法，包括以下步骤：步骤一：采集与输入实时监控图像和目标图像；步骤二：利用SURF算法对采集图像与目标图像的局部特征点进行匹配；步骤三：利用聚类分类算法找出特征点密集区域，并计算出目标所在形心的坐标；步骤四：截取形心附近200*200像素的图像，然后给该图像乘以二维高斯模板，预处理待匹配图像，减小截图产生背景带来的干扰；步骤五：使步骤四中的待匹配图像与目标图像在RGB三色通道下进行全局颜色匹配；步骤六：若匹配成功，则分析形心的运动轨迹，预测形心下一时刻可能出现的位置，实时输出目标相对于监控摄像画面中心的偏移坐标，控制摄像头跟踪可疑目标的运动轨迹。

进一步，在步骤一中，通过摄像头实时采集视频帧图像并输入到X86工控机；目标图像由用户通过人机交互界面直接上传。

进一步，步骤二具体包括：构建Hessian矩阵提取目标图像与采集图像的关键点；对关键点附加详细的局部特征信息；通过对两张图像中附加了局部特征信息的关键点的两两比较找出相互匹配的若干关键点，建立起采集图像与目标图像的对应关系。

进一步，在步骤三中采用欧式距离设置阀值的聚类分类算法，具体包括：设置采集图像的中心为坐标原点（0,0），求取匹配点集的坐标平均值，即目标形心（x₀,y₀）；然后计算匹配点到目标形心的欧氏距离，设置阈值δ来排除距离较远的点，得到新的匹配点集；计算新的目标形心（x₁,y₁），通过阈值再次排除疏远的误匹配点；反复迭代n次，直至形心（x_n,y_n）相对于（x_n-1,y_n-1）的漂移量小于预设值β，从而得到匹配点密集区域，该区域可能是目标所在区域；如果最终匹配点集中的点数大于7个，则进入下一步骤，否则将重新回到步骤一采集实时图像进行匹配，直到找到目标可能存在的区域和该区域形心（x_c,y_c）。

进一步，步骤四具体包括：截取已得形心（x_c,y_c）附近200*200像素的图像；对截取图像乘以二维高斯模板，增大形心附近像素的权重，减小截取图像时引入的背景误差。

进一步，步骤五具体为：分别计算两幅图像在RGB三色通道下的不同颜色直方图，得到两幅图像的颜色直方图在全局分布上的拟合程度；计算颜色直方图的方法如下：对图像中的颜色进行颜色量化，将颜色空间划分为多个小的颜色空间，每个小的颜色空间为一个颜色直方图的bin；对图像中的每个像素进行遍历，统计图像中颜色落入bin中的数量；当RGB三通道下的颜色直方图的拟合度均小于阈值δ_c，就视为目标匹配成功；否则判定全局匹配失败，系统返回步骤一采集下一帧图像，重复步骤二、三、四、五的过程，直到颜色直方图全局匹配成功，进入步骤六。

进一步，步骤六具体为：首先采用卡尔曼滤波分析目标形心的运动轨迹，预测下一时刻形心可能出现的位置坐标；计算潜在位置坐标相对于出当前帧图像中心的偏移量（Δx,Δy），根据变换后的坐标偏移量转动摄像头以跟踪动态目标。

本发明还提供了一种视觉跟踪系统，技术方案如下：

一种视觉跟踪系统，包括图像采集模块、人机交互模块、运动目标检测模块、快速跟踪模块和云台控制模块；图像采集模块实时采集视频图像并传送至运动目标检测模块；用户通过人机交互模块将目标图像输入至运动目标检测模块；运动目标检测模块根据接收到的信息进行提取并精确定位图像中的运动物体；快速跟踪模块根据运动目标检测模块的检测结果进行运动目标跟踪，并预测运动目标下一帧位置，同时通过云台控制模块控制摄像头转动对目标进行跟踪。图3为本系统的结构示意图。

进一步，运动目标检测模块通过以下步骤实现目标检测：1）利用SURF算法对采集图像与目标图像的局部特征点进行匹配；2）利用聚类分类算法找出特征点密集区域，并计算出目标所在形心的坐标；3）截取形心附近200*200像素的图像，然后给该图像乘以二维高斯模板，预处理待匹配图像，减小截图产生背景带来的干扰；4）使步骤四中的待匹配图像与目标图像在RGB三色通道下进行全局颜色匹配。

进一步，快速跟踪模块采用卡尔曼滤波分析目标形心的运动轨迹，预测下一时刻形心可能出现的位置坐标；计算潜在位置坐标相对于出当前帧图像中心的偏移量（Δx,Δy），根据变换后的坐标偏移量转动摄像头以跟踪动态目标。

本发明的有益效果在于：该视觉跟踪系统和方法结合了局部特征检测和全局特征检测，提高了目标检测的精度；采用欧式距离设置阈值反复迭代的方法，能够准确找到可疑目标形心；截取形心所在位置的小图，减小了目标检测的时间复杂度和空间复杂度；采用卡尔曼滤波预测下一时刻目标潜在位置，可以做到实时跟踪可疑目标。

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：

图1为本发明所述方法的流程图；

图2为本发明所述方法的微观控制流程图；

图3为本发明所述系统的结构图；

图4为本发明中所用到的高斯模板示意图。

具体实施方式

下面将结合附图，对本发明的优选实施例进行详细的描述。

图1为本发明所述方法的流程图，图2为本发明所述方法的微观控制流程图，如图所示，本方法主要包括以下步骤：

1）采集与输入实时监控图像和目标图像，通过摄像头实时采集视频帧图像并输入到X86工控机；目标图像由用户通过人机交互界面直接上传。

2）利用SURF算法对采集图像与目标图像的局部特征点进行匹配。具体包括：构建Hessian矩阵提取目标图像与采集图像的关键点；对关键点附加详细的信息（局部特征）；通过两张图像中特征点（附带上特征向量的关键点）的两两比较找出相互匹配的若干对特征点，建立起采集图像与目标图像的对应关系。提取关键点和对关键点附加详细的信息（局部特征），即从多幅图像中提取对尺度缩放、旋转、亮度变化无关的特征向量。由于SURF算法过分依赖局部区域像素的梯度方向，步骤2）在进行匹配时无疑将引入误匹配点。

3）利用聚类分类算法找出特征点密集区域，并计算出目标所在形心的坐标。步骤3）的主要目的在于去除误匹配点，其具体实现方法是：设置采集图像的中心为坐标原点（0,0），求取匹配点集的坐标平均值，即目标形心（x₀,y₀）；然后计算匹配点到目标形心的欧氏距离，设置阈值δ来排除距离较远的点，得到新的匹配点集；计算新的目标形心（x₁,y₁），通过阈值再次排除疏远的误匹配点；反复迭代n次，直至形心（x_n,y_n）相对于（x_n-1,y_n-1）的漂移量小于预设值β，从而得到匹配点密集区域，该区域可能是目标所在区域。如果最终匹配点集中的点数大于7个，则装置将进入步骤进行全局颜色匹配，否则装置将重新回到步骤一采集实时图像进行匹配，直到找到目标可能存在的感兴趣区域和该区域形心（x_c,y_c）。

步骤2）所进行的目标检测是将采集图像和目标图像转换成灰度图像后进行的，所以步骤3）所提取到的感兴趣区域可能仅包含目标相似局部特征的其他物体，而非是目标所在。故需要在此后的步骤中采用颜色直方图匹配法比对采集图像和目标图像的全局图像颜色信息。

4）截取形心附近200*200像素的图像，然后给该图像乘以二维高斯模板，预处理待匹配图像，减小截图产生背景带来的干扰。为减小采集图像中背景对颜色直方图的影响，步骤4）对待匹配图像进行了一系列预处理：截取已得形心（x_c,y_c）附近200*200像素的图像，在截取时，图像匹配模块对形心位于边界情况进行了分类处理；对截取图像乘以二维高斯模板，增大形心附近像素的权重，减小截取图像时引入的背景误差，高斯模板如图4所示，图中权重ω₁＞ω₂＞ω₃，权重分布符合二维高斯分布，系统选取的是3*3的高斯模板，该模板将截取图像分成9个区域，越靠近中心区域的像素的权重越大。

5）使步骤四中的待匹配图像与目标图像在RGB三色通道下进行全局颜色匹配。具体为：分别计算两幅图像在RGB三色通道下的不同颜色直方图，得到两幅图像的颜色直方图在全局分布上的拟合程度；计算颜色直方图的方法如下：对图像中的颜色进行颜色量化，将颜色空间划分为多个小的颜色空间，每个小的颜色空间为一个颜色直方图的bin；对图像中的每个像素进行遍历，统计图像中颜色落入bin中的数量；当RGB三通道下的颜色直方图的拟合度均小于阈值δ_c，就视为目标匹配成功；否则判定全局匹配失败，系统返回步骤一采集下一帧图像，重复步骤二、三、四、五的过程，直到颜色直方图全局匹配成功，进入步骤六。

6）若匹配成功，则分析形心的运动轨迹，预测形心下一时刻可能出现的位置，实时输出目标相对于监控摄像画面中心的偏移坐标，控制摄像头跟踪可疑目标的运动轨迹。本步骤中运动目标的跟踪方式采用以下方法：首先采用卡尔曼滤波分析目标形心的运动轨迹，预测下一时刻形心可能出现的位置坐标；计算潜在位置坐标相对于出当前帧图像中心的偏移量（Δx,Δy），输出该变量给云台控制。摄像头的水平移动调整量和垂直移动调整量通过坐标变换得出，系统根据变换后的坐标偏移量转动摄像头以跟踪动态目标，摄像头的转动方式有以下几种：

a.摄像头左转：如果目标图像中心点水平方向向左移动，Δx小于0，此时云台带动摄像头左转。

b.摄像头右转：如果目标图像中心点水平方向向右移动，Δx大于0，此时云台带动摄像头右转。

c.摄像头上转：如果目标图像中心点垂直方向向上移动，Δy大于0，此时云台带动摄像头上转。

d.摄像头下转：如果目标图像中心点垂直方向向下移动，Δy大于0，此时云台带动摄像头下转。

摄像头在输出数据的驱动下跟踪监控可疑目标，在跟踪目标转动之后输入下一帧监控画面，此时系统截取目标潜在位置附近200*200像素的图像，作为采集图像，重复开始步骤2。根据上述工作流程，该新型视觉跟踪系统可做到快速跟踪可疑目标。

最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims

1.一种视觉跟踪方法，其特征在于：包括以下步骤：

步骤一：采集与输入实时监控图像和目标图像；

步骤二：利用SURF算法对采集图像与目标图像的局部特征点进行匹配；

步骤三：利用聚类分类算法找出特征点密集区域，并计算出目标所在形心的坐标；

步骤四：截取形心附近200*200像素的图像，然后给该图像乘以二维高斯模板，预处理待匹配图像，减小截图产生背景带来的干扰；

步骤五：使步骤四中的待匹配图像与目标图像在RGB三色通道下进行全局颜色匹配；

步骤六：若匹配成功，则分析形心的运动轨迹，预测形心下一时刻可能出现的位置，实时输出目标相对于监控摄像画面中心的偏移坐标，控制摄像头跟踪可疑目标的运动轨迹。

2.根据权利要求1所述的视觉跟踪方法，其特征在于：在步骤一中，通过摄像头实时采集视频帧图像并输入到X86工控机；目标图像由用户通过人机交互界面直接上传。

3.根据权利要求1所述的视觉跟踪方法，其特征在于：步骤二具体包括：构建Hessian矩阵提取目标图像与采集图像的关键点；对关键点附加详细的局部特征信息；通过对两张图像中附加了局部特征信息的关键点的两两比较找出相互匹配的若干关键点，建立起采集图像与目标图像的对应关系。

4.根据权利要求1所述的视觉跟踪方法，其特征在于：在步骤三中采用欧式距离设置阀值的聚类分类算法，具体包括：设置采集图像的中心为坐标原点（0,0），求取匹配点集的坐标平均值，即目标形心（x₀,y₀）；然后计算匹配点到目标形心的欧氏距离，设置阈值δ来排除距离较远的点，得到新的匹配点集；计算新的目标形心（x₁,y₁），通过阈值再次排除疏远的误匹配点；反复迭代n次，直至形心（x_n,y_n）相对于（x_n-1,y_n-1）的漂移量小于预设值β，从而得到匹配点密集区域，该区域可能是目标所在区域；如果最终匹配点集中的点数大于7个，则进入下一步骤，否则将重新回到步骤一采集实时图像进行匹配，直到找到目标可能存在的区域和该区域形心（x_c,y_c）。

5.根据权利要求1所述的视觉跟踪方法，其特征在于：步骤四具体包括：截取已得形心（x_c,y_c）附近200*200像素的图像；对截取图像乘以二维高斯模板，增大形心附近像素的权重，减小截取图像时引入的背景误差。

6.根据权利要求1所述的视觉跟踪方法，其特征在于：步骤五具体为：分别计算两幅图像在RGB三色通道下的不同颜色直方图，得到两幅图像的颜色直方图在全局分布上的拟合程度；计算颜色直方图的方法如下：对图像中的颜色进行颜色量化，将颜色空间划分为多个小的颜色空间，每个小的颜色空间为一个颜色直方图的bin；对图像中的每个像素进行遍历，统计图像中颜色落入bin中的数量；当RGB三通道下的颜色直方图的拟合度均小于阈值δ_c，就视为目标匹配成功；否则判定全局匹配失败，系统返回步骤一采集下一帧图像，重复步骤二、三、四、五的过程，直到颜色直方图全局匹配成功，进入步骤六。

7.根据权利要求1所述的视觉跟踪方法，其特征在于：步骤六具体为：首先采用卡尔曼滤波分析目标形心的运动轨迹，预测下一时刻形心可能出现的位置坐标；计算潜在位置坐标相对于出当前帧图像中心的偏移量（Δx,Δy），根据变换后的坐标偏移量转动摄像头以跟踪动态目标。

8.一种视觉跟踪系统，其特征在于：包括图像采集模块、人机交互模块、运动目标检测模块、快速跟踪模块和云台控制模块；图像采集模块实时采集视频图像并传送至运动目标检测模块；用户通过人机交互模块将目标图像输入至运动目标检测模块；运动目标检测模块根据接收到的信息进行提取并精确定位图像中的运动物体；快速跟踪模块根据运动目标检测模块的检测结果进行运动目标跟踪，并预测运动目标下一帧位置，同时通过云台控制模块控制摄像头转动对目标进行跟踪。

9.根据权利要求8所述的视觉跟踪系统，其特征在于：运动目标检测模块通过以下步骤实现目标检测：1）利用SURF算法对采集图像与目标图像的局部特征点进行匹配；2）利用聚类分类算法找出特征点密集区域，并计算出目标所在形心的坐标；3）截取形心附近200*200像素的图像，然后给该图像乘以二维高斯模板，预处理待匹配图像，减小截图产生背景带来的干扰；4）使步骤四中的待匹配图像与目标图像在RGB三色通道下进行全局颜色匹配。

10.根据权利要求8所述的视觉跟踪系统，其特征在于：快速跟踪模块采用卡尔曼滤波分析目标形心的运动轨迹，预测下一时刻形心可能出现的位置坐标；计算潜在位置坐标相对于出当前帧图像中心的偏移量（Δx,Δy），根据变换后的坐标偏移量转动摄像头以跟踪动态目标。