CN103426183B - 运动物体跟踪方法以及装置 - Google Patents

Abstract

本发明提供了一种运动物体跟踪方法和装置，基于图像来跟踪运动物体，其特征在于，选取出兴趣目标后，对其进行跟踪，并获取兴趣目标的颜色直方图。当兴趣目标消失后，会对图片中所有其他运动物体计算颜色直方图，当计算得到的颜色直方图与之前存储的消失时前一次所获取的颜色直方图的相似度达到了某一阈值时，可寻回兴趣目标，并对寻回后的兴趣目标继续跟踪，在兴趣目标消失时还设置了敏感区域，以增强丢失目标找回的几率。运动物体跟踪方法可自动的找回丢失的目标，并对其重新进行跟踪。运动物体跟踪装置结构简单，可在光照条件不均匀的场合工作，具有较强的适应能力和鲁棒性。

Description

运动物体跟踪方法以及装置

技术领域

本发明涉及一种基于视频监控的物体跟踪方法以及装置，特别涉及一种具有找寻功能的运动物体跟踪方法以及装置。

背景技术

运动目标检测与跟踪作为计算机视觉研究的重要课题之一，在战场侦察、视频监控、图像压缩、图像检索、人机交互等研究领域都有着重要的应用。

经过几十年发展，运动目标检测与跟踪技术已经取得了长足的进步，目前，目标检测与跟踪算法主要有基于背景的团块跟踪、基于图像运动物体跟踪算法（CamShift算法）的目标跟踪、基于纹理特征的目标跟踪等。但是，实践表明现有的运动目标检测与跟踪系统还远未成熟，要开发出真正稳定实用的系统还需要设计更为鲁棒的核心算法，并且，上述的这些目标检测与跟踪算法要么是鲁棒性不强，要么就是计算量较大，而且大多不具备目标丢失后的目标找寻功能。

发明内容

本发明的目的在于提供一种鲁棒性强、计算量小、具有目标丢失后的目标找寻功能的运动物体跟踪方法以及装置。

本发明提供的一种运动物体跟踪方法，基于图像来跟踪运动物体，具有这样的特征，具有以下步骤:第1步、对视频进行背景建模，获取到前景图像；第2步、计算视频中的前景图像，得到该前景图像的彩色前景；第3步、手动框选出进行跟踪的兴趣目标A；第4步、对兴趣目标A内的所有像素点进行灰度直方图运算，该获取得到该兴趣目标A的第1颜色直方图a1；第5步、用视频的前景图像修正第1颜色直方图a1的反向投影；第6步、调用图像运动物体跟踪算法，对兴趣目标A进行跟踪；第7步、每间隔若干帧图像来进行一次计算，分别在每间隔诺干帧图像中获取到兴趣目标An的颜色直方图an；第8步、将第n颜色直方图an与前一次的第n-1颜色直方图an-1进行匹配，计算得出第n次相似度Tan，并且将第n次相似度Tan和阈值相似度T进行比较；第9步、当第n次相似度Tan大于阈值相似度T时，则用第n颜色直方图an来替换第n-1颜色直方图an-1，保留至下一帧进行相似度匹配时使用，返回第7步的每间隔若干帧图像来对当前目标进行一次计算获取其颜色直方图；第10步、当第n次相似度Tan小于阈值相似度T时，则保存兴趣目标A丢失时的敏感区域M和丢失时上一次的第m-1颜色直方图am-1，再计算彩色前景的所有颜色直方图，并分别同第m-1颜色直方图am-1进行匹配，选取在所有颜色直方图中相似度最高且相似度大于阈值相似度T的匹配前景目标B为所要跟踪的目标，计算出匹配前景目标B的匹配颜色直方图b1、第m-1颜色直方图am-1的匹配相似度Tb1，若敏感区域M内没有出现优先前景目标Q，返回第7步的每间隔若干帧图像来对当前目标进行一次计算获取其颜色直方图；第11步、若敏感区域M内出现优先前景目标Q，计算该优先前景目标Q的优先颜色直方图q1，计算优先颜色直方图q1、第m-1颜色直方图am-1的优先相似度Tq1，若优先相似度Tq1小于匹配相似度Tb1，则继续对当前的匹配而出的匹配前景目标B进行跟踪，返回第7步的每间隔若干帧图像来对当前目标进行一次计算获取其颜色直方图；第12步、若优先相似度Tq1大于匹配相似度Tb1，则放弃对当前的匹配前景目标B的跟踪，转而开始对优先前景目标Q进行跟踪，返回第7步的每间隔若干帧图像来对当前目标进行一次计算获取其颜色直方图。

另外，本发明还提供了一种运动物体跟踪装置，基于图像来跟踪运动物体，具有这样的特征：包括运动图像拍摄单元，固定保持一定的拍摄角度来获取一定范围内，且包含兴趣目标A的视频模拟信号；采集存储单元，与运动图像拍摄单元连接，将采集到的视频模拟信号转换为视频数字信号，并存储视频数字信号；控制处理单元，与采集存储单元连接，包含：一个用于框选出跟踪的兴趣目标的目标获取模块，一个用于让用户设定阈值相似度T和间隔帧数的设定模块，一个基于间隔的若干帧图像的颜色直方图进行相似度比较运算的运算模块，以及一个基于相似度比较运算的结果来进行跟踪寻回目标的跟踪处理模块。

本发明的作用和效果

根据本发明所提供的运动物体跟踪方法以及装置，因为基于图像运动物体跟踪算法（CamShift算法），每间隔一定帧的图像对兴趣目标A的颜色直方图计算一次，并与上一次计算的颜色直方图进行匹配，若相似度超过设定的阈值相似度T，那么认为所跟踪的兴趣目标A没有跟丢，若相似度低于阈值相似度T，则认为兴趣目标A丢失，可以对兴趣目标A进行跟踪，并且，根据工作场合中光照强度的不同，可以调节设定的阈值相似度T来适应不同光照条件，具有较强的适应能力。另外，兴趣目标A丢失后，保存兴趣目标A丢失时的敏感区域M、丢失时上一次的第m-1颜色直方图am-1，对所有前景目标的彩色影像计算其颜色直方图，分别同丢失前一次的第m-1颜色直方图am-1进行匹配，得出匹配相似度Tb1。那么，当敏感区域M内没有出现优先前景目标Q时，可暂且认为匹配所得出的匹配前景目标B替代兴趣目标A，而在某一时刻，当敏感区域M内出现了优先前景目标Q时，通过比较优先相似度Tq1和匹配相似度Tb1其中的哪一个更加相似匹配，那么就选择更加相似匹配的一个替代作为兴趣目标A继续跟踪，因此，实现了目标找寻的功能，提高了跟踪的准确率。通过不间断的每隔一定帧的图像进行直方图计算、相似度匹配、目标寻回这样的循环过程，计算量小、和鲁棒性强。

所以，本发明提供的运动物体跟踪方法以及装置鲁棒性强、计算量小、具有目标丢失后的目标找寻功能。

附图说明

图1是本发明的实施例中运动物体跟踪装置的结构示意图；

图2是本发明的实施例中运动物体跟踪方法的逻辑示意图；以及

图3是本发明的实施例中运动物体跟踪方法的流程示意图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

图1是本发明的实施例中运动物体跟踪装置的结构示意图。

如图1所示，本发明的运动物体跟踪装置10具有运动图像拍摄单元、采集存储单元、控制处理单元。在本实施例中，运动图像拍摄单元采用为摄像头11，采集存储单元采用为图像采集卡12，控制处理单元采用为上位机13。

摄像头11被固定保持一定的拍摄角度，用于获取一定区域范围内的视频模拟信号，在该区域范围内包含有一个可以运动的兴趣目标A。在该摄像头11监控的区域范围内，用户100都能够对该兴趣目标A的运动情况进行跟踪和寻回。

图像采集卡12通过一根视频信号线12a与摄像头11进行连接，将拍摄到的视频模拟信号转换为视频数字信号，并对视频数字信号进行存储。

上位机13与图像采集卡12的输出端连接，上位机13包含：一个目标获取模块13a、一个设定模块13b、一个运算模块13c以及一个跟踪处理模块13d。在本实施例中，采用上位机13来实现目标获取模块13a、运算模块13c以及跟踪处理模块13d的功能。目标获取模块13a、设定模块13b以及运算模块13c分别与跟踪处理模块13d相连接。

用户100可以通过目标获取模块13a来框选出进行跟踪的目标，来作为兴趣目标A。根据监控的区域范围的光线情况，用户100可通过设定模块13b来设定阈值相似度T、进行跟踪时在视频流中获取图像的间隔帧数，使得运动物体跟踪装置10的适合场地选择更灵活、跟踪结果更准确。运算模块13c基于间隔的若干帧图像的颜色直方图进行相似度比较运算。基于相似度比较运算的结果，跟踪处理模块13d会选择继续跟进或者替代更换，以跟踪目标或者寻回丢失的目标。

图2是本发明的实施例中运动物体跟踪方法的逻辑示意图。

如图2所示，给出了运动物体跟踪方法的逻辑流程。

14：首先选择进行跟踪的目标；

15：在跟踪目标的过程中定时地对目标进行颜色直方图计算；

16：将目标进行相似度比较、匹配验证，以判断当前所跟踪的物体是否是我们原本想要跟踪的物体；

17：若符合跟踪条件，那么，18：继续跟踪；

19：若不符合跟踪条件，那么，20：找最符合跟踪条件的目标，21：继而让新目标替代原有目标，对新目标进行跟踪，再来循环每隔一定的帧图像去验证当前目标符不符合跟踪条件。

图3是本发明的实施例中运动物体跟踪方法的流程示意图。

在本实施例中，在上位机13中运动物体跟踪方法1应用到了多种算法，包括图像运动物体跟踪算法（CamShift算法）、背景建模、彩色前景提取、图像滤波、团块的形态学处理、颜色直方图计算与匹配、团块跟踪等。

运动物体跟踪方法1具有以下步骤：

第S1步:

利用摄像头11获取到监控的区域范围内的视频流，对视频流进行背景建模，获取到前景图像。

第S2步:

通过背景模型、图片帧来计算视频中的所述前景图像，得到该前景图像的彩色前景图片。

第S3步：

用户可手动框选出进行跟踪的兴趣目标A。

第S4步：

获取得到该兴趣目标A的第1颜色直方图a1。

第S5步：

用视频的前景图像修正第1颜色直方图a1的反向投影（back project）。

第S6步：

调用图像运动物体跟踪算法（CamShift算法），对兴趣目标A进行跟踪。

第S7步：

每间隔10帧图像来进行一次计算，分别在间隔10帧图像中，获取到兴趣目标An的颜色直方图an。第1次图像获取的第1颜色直方图a1，间隔10帧图像即第2次图像获取的第2颜色直方图a2，又间隔10帧图像即第3次图像获取的第3颜色直方图a3，直至第n次图像获取的第n颜色直方图an。

第S8步：

将所述第2颜色直方图a2与所述第1颜色直方图a1进行匹配，计算得出第2次相似度Ta2，并且将所述第2次相似度Ta2和由用户100设定的阈值相似度T进行比较。

第S9步：

当第2次相似度Ta2大于阈值相似度T时（Ta2>T时），说明兴趣目标A没有跟踪丢失，则用第2颜色直方图a2来替换第1颜色直方图a1，保留至下一帧进行相似度匹配时使用，继续采用第7步中的间隔10帧图片计算一次当前跟踪目标A的颜色直方图。

第S10步：

间隔了10帧图像计算一次兴趣目标A的颜色直方图，即第3颜色直方图a3。

第S11步：

将所述第3颜色直方图a3与所述第2颜色直方图a2进行匹配，计算得出第3次相似度Ta3，并且将所述第3次相似度Ta3和由用户100设定的阈值相似度T进行比较。

再来判断第3次相似度Ta3和阈值相似度T，来得知兴趣目标A有没有跟踪丢失。

第S12步：

在本实施例中，用第m-1颜色直方图am-1来表示兴趣目标A丢失之前最后一次即最接近一次所计算的颜色直方图。

当第2次相似度Ta2小于阈值相似度T时（Ta2<T时），说明兴趣目标A已丢失。在本S12步骤中，保存兴趣目标A丢失时的敏感区域M、以及丢失时上一次计算的第m-1颜色直方图am-1，其中，m为每间隔10帧的次数，例如，在间隔10帧的第2次图像时兴趣目标A丢失，则保存丢失时的敏感区域M、以及第1颜色直方图a1。又例如，在又间隔10帧的第3次图像时兴趣目标A丢失，则保存丢失时的敏感区域M、以及第2颜色直方图a2。

保存好丢失时的敏感区域M和a1后，再来计算所述彩色前景的所有颜色直方图，并分别同第1颜色直方图a1进行匹配，选取在所述所有颜色直方图中相似度最高且相似度大于阈值相似度T的匹配前景目标B为所要跟踪的目标，匹配前景目标B与在敏感区域M中丢失的兴趣目标A由匹配处理可以得知是最接近的，计算出匹配前景目标B的匹配颜色直方图b1、第1颜色直方图a1的匹配相似度Tb1。

第S13步：

若敏感区域M内没有出现优先前景目标Q，继续采用第7步中的间隔10帧图片计算一次当前跟踪目标B的颜色直方图B2。

第S14步：

在某一时刻，若敏感区域M内出现优先前景目标Q，计算该优先前景目标Q的优先颜色直方图q1，计算优先颜色直方图q1、第1颜色直方图a1的优先相似度Tq1。因为，匹配前景目标B是在敏感区域M内没有出现优先前景目标Q的情况下匹配获得的暂定为要进行跟踪的目标，那么，当在某一时刻，若敏感区域M内出现优先前景目标Q时，需要对匹配前景目标B、优先前景目标Q进行计算比较，程序会自动计算这个优先前景目标Q的优先颜色直方图q1，得出优先相似度Tq1。

第S15步：

若优先相似度Tq1小于匹配相似度Tb1（Tq1<Tb1），说明优先前景目标Q相似程度不高，还不及由匹配得出的匹配前景目标B的相似程度。则继续对当前的匹配而出的匹配前景目标B进行跟踪，继续采用第7步中的间隔10帧图片计算一次当前跟踪目标B的颜色直方图b2,即、到第S13步；

第S16步：

若优先相似度Tq1大于匹配相似度Tb1（Tq1>Tb1），说明优先前景目标Q相似程度更高，更加可能是原有的兴趣目标A的出现。则放弃对当前的匹配前景目标B的跟踪，转而开始对优先前景目标Q进行跟踪，继续采用第7步中的间隔10帧图片计算一次当前跟踪目标Q的颜色直方图。

依此匹配判断，循环下去，以实现对兴趣目标的跟踪以及寻回。

实施例的作用与效果

根据本实施例所提供的运动物体跟踪方法以及装置，因为基于图像运动物体跟踪算法（CamShift算法），每间隔一定的图像对兴趣目标A的颜色直方图计算一次，并与上一次计算的颜色直方图进行匹配，若相似度超过设定的阈值相似度T，那么认为所跟踪的兴趣目标A没有跟丢，若相似度低于阈值相似度T，则认为兴趣目标A丢失，可以对兴趣目标A进行跟踪，并且，根据工作场合中光照强度的不同，可以调节设定的阈值相似度T来适应不同光照条件，具有较强的适应能力。另外，兴趣目标A丢失后，保存兴趣目标A丢失时的敏感区域M、丢失时上一次的第m-1颜色直方图am-1，对所有前景目标的彩色影像计算其颜色直方图，分别同丢失前一次的第m-1颜色直方图am-1进行匹配，得出匹配相似度Tb1。那么，当敏感区域M内没有出现优先前景目标Q时，可暂且认为匹配所得出的匹配前景目标B替代兴趣目标A，而在某一时刻，当敏感区域M内出现了优先前景目标Q时，通过比较优先相似度Tq1和匹配相似度Tb1其中的哪一个更加相似匹配，那么就选择更加相似匹配的一个替代作为兴趣目标A继续跟踪，因此，实现了目标找寻的功能，提高了跟踪的准确率。通过不间断的每隔一定帧的图像进行直方图计算、相似度匹配、目标寻回这样的循环过程，计算量小、和鲁棒性强。

所以，本实施例所提供的运动物体跟踪方法以及装置鲁棒性强、计算量小、具有目标丢失后的目标找寻功能，运动物体跟踪装置结构简单、容易布置。

上述实施方式为本发明的优选案例，并不用来限制本发明的保护范围。

Claims (1)

1.一种运动物体跟踪方法，基于图像来跟踪运动物体，其特征在于，

具有以下步骤：

第1步、对视频进行背景建模，获取到前景图像；

第2步、计算视频中的所述前景图像，得到该前景图像的彩色前景；

第3步、手动框选出进行跟踪的兴趣目标A；

第4步、对兴趣目标A内的所有像素点进行灰度直方图运算，获取得到该兴趣目标A的第1颜色直方图a1；

第5步、用视频的前景图像修正第1颜色直方图a1的反向投影；

第6步、调用图像运动物体跟踪算法，对兴趣目标A进行跟踪；

第7步、每间隔若干帧图像来进行一次计算，分别在每间隔若干帧图像中获取到兴趣目标A_n的颜色直方图a_n；

第8步、将第n颜色直方图an与前一次的第n-1颜色直方图an-1进行匹配，计算得出第n次相似度Tan，并且将所述第n次相似度Tan和阈值相似度T进行比较；

第9步、当第n次相似度Tan大于阈值相似度T时，则用第n颜色直方图an来替换第n-1颜色直方图an-1，保留至下一帧进行相似度匹配时使用，返回第7步的每间隔若干帧图像来对当前目标进行一次计算获取其颜色直方图；

第10步、当第n次相似度Tan小于阈值相似度T时，则保存兴趣目标A丢失时的敏感区域M和丢失时上一次的第m-1颜色直方图am-1，再计算所述彩色前景的所有颜色直方图，并分别同第m-1颜色直方图am-1进行匹配，选取在所述所有颜色直方图中相似度最高且相似度大于阈值相似度T的匹配前景目标B为所要跟踪的目标，计算出匹配前景目标B的匹配颜色直方图b1、第m-1颜色直方图am-1的匹配相似度Tb1，若敏感区域M内没有出现优先前景目标Q，返回第7步的每间隔若干帧图像来对当前目标进行一次计算获取其颜色直方图；

第11步、若敏感区域M内出现优先前景目标Q，计算该优先前景目标Q的优先颜色直方图q1，计算优先颜色直方图q1、第m-1颜色直方图am-1的优先相似度Tq1，若优先相似度Tq1小于匹配相似度Tb1，则继续对当前的匹配前景目标B进行跟踪，返回第7步的每间隔若干帧图像来对当前目标进行一次计算获取其颜色直方图；

第12步、若优先相似度Tq1大于匹配相似度Tb1，则放弃对当前的匹配前景目标B的跟踪，转而开始对优先前景目标Q进行跟踪，返回第7步的每间隔若干帧图像来对当前目标进行一次计算获取其颜色直方图。