CN103489199A - 视频图像目标跟踪处理方法和系统 - Google Patents

Abstract

本发明提供了一种视频图像目标跟踪处理方法和系统。其方法包括如下步骤：对当前视频图像的背景进行建模，对当前视频图像中的前景进行前景目标检测，得到当前视频图像中的前景团块，确定被跟踪目标，并提取被跟踪目标所在的前景团块所在位置的颜色直方图；当被跟踪目标确认后，利用当前视频图像的被跟踪目标的前景团块的尺度信息、历史位置信息对该被跟踪目标所对应的卡尔曼预测器进行初始训练，并且在视频图像中更新该目标的颜色直方图；根据当前视频图像所检测到的跟踪目标数量，在当前视频图像的后继连续视频中对被跟踪目标进行跟踪。其简单高效、适应能力强，能够准确对视频目标进行跟踪处理。

Description

视频图像目标跟踪处理方法和系统

技术领域

本发明涉及图像视频行为分析处理技术领域，特别是涉及一种视频图像目标跟踪处理方法和系统。

背景技术

视频行为分析是从视频序列中通过一定的图像处理，提取视频中感兴趣目标行为的一种技术。

随着世界反恐、公共安全以及平安城市等的需要，安防领域则成为视频行为分析的广阔应用舞台，但是目前视频监控设施的智能化水平较低，大部分只是进行视频数据记录，以供事后查询，目前的视频行为分析如逗留检测、奔跑检测等不能满足现实需要。

而为了更好地适应实际应用需求，人们提出多种视频行为分析方法，一种方法如粒子滤波算法（Okuma1 K.,Taleghani1 A.,Freitas1 N.D.,Little1 J.J.,Lowe1D.G.A Boosted Particle Filter:Multitarget Detection and Tracking[M].Lecture Notesin Computer Science,Springer Berlin,2004,28-39.），其采用多假设机制进行多目标跟踪，完成视频行为分析。另一种方法是Kyriakides提出利用运动目标的运动信息约束和一些随机约束对多目标跟踪处理的方法（Kyriakides I.,Morrell D.Antonia P.S.Sequential Monte Carlo methods for tracking multiple targets withdeterministic and stochastic constraints[J].IEEE Transactions on Signal Processing.2008,56(3):937-948.）。再一种方法是Xue提出的采用动态马尔可夫随机场来处理多目标跟踪处理方法（Xue J.R.,Zheng N.N.,Geng J.Zhong X.P.Trackingmultiple visual targets via particle-based belief propagation[J].IEEE Transactions onSystems,Man,and Cybernetics.2008,38(1):196-209.）。Rafael等人采用两个摄像机利用深度信息和颜色信息对运动物体进行跟踪处理的方法（Rafael M.S.,Eugenio A.,Miguel G.S.Antonio G.A multiple object tracking approach thatcombines colour and depth information using a confidence measure[J].PatternRecognition Letters.29(10)2008:1504-1514）。以及Cheng等提出了多种改进的聚类分析的视频跟踪处理方法（CHENG Y.Z.Mean shift,mode seeking,andclustering[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1995,17(8):790-799.）。

但是在视频实际目标跟踪中，由于不可避免地存在背景颜色干扰、目标快速运动、光照变化等因素的影响，现有的视频目标跟踪处理方法中，并没有很好解决空间类似颜色干扰而造成的视频目标跟踪误差甚至错误的问题，导致跟踪精度下降，甚至丢失跟踪目标的情况。

发明内容

基于此，有必要针对现有技术的问题，提供一种视频图像目标跟踪处理方法和系统，其简单高效、适应能力强，能够准确对视频目标进行跟踪处理。

为实现本发明目的而提供的一种视频图像目标跟踪处理方法，包括如下步骤：

步骤A，对当前视频图像的背景进行建模，利用背景减除方法对当前视频图像中的前景进行前景目标检测，得到当前视频图像中的前景团块，确定被跟踪目标，并提取被跟踪目标所在的前景团块所在位置的颜色直方图；

步骤B，当被跟踪目标确认后，利用当前视频图像的被跟踪目标的前景团块的尺度信息、历史位置信息对该被跟踪目标所对应的卡尔曼预测器进行初始训练，并且在视频图像中更新该目标的颜色直方图；

步骤C，根据当前视频图像所检测到的跟踪目标数量，采用不同的跟踪方法，利用初始训练后的卡尔曼预测器，在当前视频图像的后继连续视频中对被跟踪目标进行跟踪。

优选的，所述步骤A包括如下步骤：

步骤A1，读取当前视频图像中的T帧图像利用混合高斯模型对背景进行建模，区分图像的前景和背景，其中，T为整数；

步骤A2，利用背景减除方法和帧间差分法对当前视频图像中的前景进行前景目标检测，进行形态学处理，得到当前视频图像中的前景团块；

步骤A3，采用修正时间印法，对步骤A2中得到的前景团块进行滤波，确认被跟踪目标，提取前景团块所在位置的颜色直方图。

优选的，所述步骤C包括如下步骤：

步骤C1，利用步骤B初始化后的卡尔曼预测器对被跟踪目标进行预测；

步骤C2，如果检测到的当前视频中所包含的被跟踪目标为单目标时，则采用最近邻方法对目标进行跟踪，更新目标颜色直方图，对目标进行跟踪，确定被跟踪目标在后继连续视频中的目标位置；

步骤C3，如果检测到的当前视频中所包含的被跟踪目标为多目标时，分别采用均值移动方法，对每个被跟踪目标分别进行跟踪，分别得到多个被跟踪目标在后继连续视频中的目标位置。

为实现本发明目的还提供一种视频图像目标跟踪处理系统，包括前景团块检测模块，跟踪初始化模块和混合跟踪处理模块，其中：

所述前景团块检测模块，用于对当前视频图像的背景进行建模，利用背景减除方法对当前视频图像中的前景进行前景目标检测，得到当前视频图像中的前景团块，确定被跟踪目标，并提取被跟踪目标所在的前景团块所在位置的颜色直方图；

所述跟踪初始化模块，用于当被跟踪目标确认后，利用当前视频图像的被跟踪目标的前景团块的尺度信息、历史位置信息对该被跟踪目标所对应的卡尔曼预测器进行初始训练，并且在视频图像中更新该目标的颜色直方图；

所述混合跟踪处理模块，用于根据当前视频图像所检测到的跟踪目标数量，采用不同的跟踪方法，利用初始训练后的卡尔曼预测器，在当前视频图像的后继连续视频中对被跟踪目标进行跟踪正确。

本发明的有益效果：本发明的一种视频图像目标跟踪处理方法和系统，通过在前景检测所对应的图像空间进行目标跟踪，使得在目标快速运动、有场景相似颜色干扰等情况下具有很好的视频目标跟踪处理性能，并且计算量小，能够满足实时性要求，简单高效、适应能力强，能够准确对视频目标进行跟踪处理。

附图说明

以下结合具体附图及具体实施例，对本发明进行进一步详细说明。

图1为本发明实施例一种视频图像目标跟踪处理方法流程图；

图2为本发明实施例一种视频图像目标跟踪处理方法的一种可实施方式流程图；

图3为本发明实施例一种视频图像目标跟踪处理系统结构示意图；

图4为本发明实施例的视频图像目标跟踪处理方法在弱颜色下对目标跟踪的效果示意图；

图5为本发明实施例的视频图像目标跟踪处理方法在双目标下对目标跟踪的效果示意图；

图6为本发明实施例的视频图像目标跟踪处理方法在双目标下对目标跟踪的效果示意图。

具体实施方式

参见图1、图2，作为一种可实施方式，本发明实施例一种视频图像目标跟踪处理方法，包括如下步骤：

步骤S100，对当前视频图像的背景进行建模，利用背景减除方法对当前视频图像中的前景进行前景目标检测，得到当前视频图像中的前景团块，确定被跟踪目标，并提取被跟踪目标所在的前景团块所在位置的颜色直方图；

较佳地，作为一种可实施方式，所述步骤S100包括以下步骤：

步骤S110，读取当前视频图像中的T帧图像利用混合高斯模型对背景进行建模，区分图像的前景和背景；

其中，T为整数。

作为一种可实施方式，所述步骤S110中，利用混合高斯模型对背景进行建模，区分图像的前景和背景，包括如下步骤：

步骤S111，设一像素在一段时间t内的样本值为：x₁，x₂，L，x_N，其中，N为整数，采用M个高斯函数对其进行背景建模，如式（1）所示：

$\mathrm{Pr}\left(x_t\right)=\frac{1}{M}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\frac{1}{{\left(2\mathrm{\π}\right)}^{\frac{d}{2}}{\left|\mathrm{\Σ}\right|}^{\frac{1}{2}}}{e}^{-\frac{1}{2}{(x_t-x_i)}^T{\mathrm{\Σ}}^{-1}(x_t-x_i)}---\left(1\right)$

其中，d代表的是数据的维数，如对于灰度图d＝1；对于rgb彩色图，d＝3；步骤S112，计算t时刻像素属于背景的概率密度Pr(x_t)，如式（2）所示，为：

$\mathrm{Pr}\left(x_t\right)=\frac{1}{M}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{d}{\mathrm{\Π}}}\frac{1}{\sqrt{2\mathrm{\π}{\mathrm{\σ}}_j^2}}{e}^{-\frac{1}{2}\frac{{(x_{t_j}-x_{i_j})}^2}{{\mathrm{\σ}}_j^2}}---\left(2\right)$

其中，σ为该颜色通道的标准方差；

步骤S113，根据Pr(x_t)大小来区分前景、背景。

步骤S120，利用背景减除方法和帧间差分法对当前视频图像中的前景进行前景目标检测，进行形态学处理，得到当前视频图像中的前景团块；

在步骤S110背景建模方法对当前视频图像中的前景，对于背景比较稳定的情况具有很好的前景效果。但是其对光照变化、场景中物体发生位置变化等情况缺乏适应能力。此时需要进一步对步骤S110中得到的背景进行前景目标检测，以识别出当前视频图像中的前景团块，本发明实施例中，利用背景减除方法对图像进行前景目标检测，并进行形态学处理，得到前景团块。

较佳地，作为一种可实施方式，所述步骤S120包括如下步骤：

步骤S121，利用背景减除方法对当前视频图像得到的前景进行前景目标检测；

设B_t为t时刻的步骤S110得到的当前视频图像的背景，I_t为当前时刻t图像帧，本发明实施例中，利用式（3）对当前视频图像的背景进行更新，从而得到下一帧所需要的背景；

B_t+1＝αI_t+(1-α)B_t                （3）

其中α为更新速度，较佳地，作为一种可实施方式α取值范围：0.0001－0.001。

步骤S122，对当前视频图像的当前帧和前一帧进行帧差计算，获取帧差模型；

步骤S123，利用当前帧和背景进行前景检测，获取前景模型；

步骤S124，在当前帧，利用帧差模板和前景模板，获取被跟踪目标所在区域的前景图像，提取有效的前景团块；

本发明步骤S122、S123、S124中，进行帧差计算，前景检测，提取有效的前景团块，是一种现有技术。作为一种可实施方式，可以采用本发明人申请的“一种目标跟踪方法和装置”（申请号：201210160834.X；申请日期：2012.5.22；）的方法而实现，本发明实施例中，作为一可实施例而全文引用，请参见。本发明实施例中，不再重复描述。

步骤S125，采用形态学方法，对识别得到的包含被跟踪目标的前景团块进行膨胀腐蚀运算，并且计算相近团块之间的距离，如果团块之间的距离小于阈值，则进行合并，对检测得到的前景团块进行优化。

所述阈值要根据现场条件进行调整。较佳地，作为一种可实施方式，所述阈值为10个像素。即团块之间的距离小于10个像素。

由于目标颜色与背景颜色可能存在相近性，导致所检测出来的前景团块可能存在断裂和漏洞，为了弥补前景检测的这些缺陷，作为一种可实施方式，采用形态学方法，对识别出的前景团块进行膨胀腐蚀运算，并且计算相近团块之间的距离，如果团块之间的距离小于10个像素，则进行合并，进一步对检测得到的前景团块进行优化。

采用形态学方法，对识别出的前景团块进行膨胀腐蚀运算，是一种现有技术，因此，在本发明实施例中，不再一一详细描述。

步骤S130，采用修正时间印法，对步骤S120中得到的前景团块进行滤波，确认被跟踪目标，提取前景团块所在位置的颜色直方图；

为了区分场景临时噪声和初始跟踪目标，本发明实施例中，采用修正时间印方法进行目标确认。

优化后的前景团块中可以分成三类前景团块：第一类是由于光照等外界因素的影响，可能产生的一些误报；第二类是由单个前景运动目标产生的前景团块；第三类是由于多个前景目标运动产生的团块。针对第一类情况，为了减少误报，本发明实施例中，在步骤S130中，采用修正时间印方法，对检测得到的前景团块进行滤波，确认被跟踪目标，。

作为一种可实施方式，在步骤S130中，采用修正时间印方法，对优化后的前景团块进行滤波，确认被跟踪目标，包括如下步骤：

步骤S131，首先利用时间印方法，对优化后的当前视频图像中的前M帧连续图像的前景团块进行滤波，提取被跟踪目标所在的前景团块所在位置的颜色直方图，其中，M为大于2的整数；

所述时间印方法是一种现有技术，作为一种可实施方式，可采用如“胡银焕,安国成,张凤军,戴国忠.在线修正的人脸姿态跟踪算法及交互应用.软件学报,2010,21(zk):1-11”的方法实现。

较佳地，作为一种可实施方式，所述步骤S131中，利用时间印方法进行滤波，包括如下步骤：

在当前视频图像的前M帧连续图像的前景团块的分别检测得到的前景团块中，计算并判断每一帧检测得到的前景团块位置的距离相似度即两次检测的窗口小于一定的阈值Q，如Q等于10个像素；如果该距离相似度在设定的阈值范围内，则计算所有多帧连续图像的检测窗口的平均窗口（即将所有窗口的重心位置相加求平均），将平均窗口所在的前景团块中的目标作为被跟踪目标，提取被跟踪目标所在的前景团块所在位置的颜色直方图。

较佳地，作为一种可实施方式，所述相似度阈值为0.8。

步骤S132，对被跟踪目标所在的前景团块所在位置的颜色直方图进行修正，得到当前视频中包含被跟踪目标的前景团块的颜色直方图，确认并标识被跟踪目标。

所述在得到被跟踪目标所在的前M帧连续图像的前景团块所在位置的颜色直方图后，在该前M帧连续图像的前景团块的后继连续图像帧M+L（其中，L为≥1的整数）中，如果在预设范围内可检测得到的包含所述被跟踪目标的前景团块（较佳地，作为一种可实施方式，所述预设范围为小于30个像素），则进一步计算M+L帧图像中包含被跟踪目标的前景团块的颜色直方图与前M帧连续图像的包含被跟踪目标的前景团块的颜色直方图相似度；

判断所检测到M+L帧图像中包含被跟踪目标的前景团块的颜色直方图与前M帧连续图像的包含被跟踪目标的前景团块的颜色直方图相似度是否超过预设阈值（较佳地，作为一种可实施方式，所述预设阈值为0.5），则认为检测到的前景团块是由相同被跟踪目标所产生的，则增加计数L。

当计数L超过预设阈值（较佳地，作为一种可实施方式，所述预设阈值为15帧）时，则确认该前景团块中的被跟踪目标是一个稳定的被跟踪目标所产生的，从而分配给其一个目标身份标号，此时就增加得到一个跟踪目标，确认被跟踪目标。

作为一种可实施方式，本发明实施例中，采用直方图交集来比较两个给定直方图q、p的相似度s，如式（4）所示：

$s=\underset{u=1}{\overset{m}{\mathrm{\Σ}}}\min (q_u,p_u)---\left(4\right)$

其中m为颜色分量总数（本发明实施例中，作为一种可实施方式，m=4096）。当相似度s大于0.8，并且累积时间超过15帧的时候，此时的前景团块中的被跟踪目标即认为是一个被跟踪目标所产生的。

步骤S200，当被跟踪目标确认后，利用当前视频图像的被跟踪目标的前景团块的尺度信息、历史位置信息对该被跟踪目标所对应的卡尔曼（Kalman）预测器进行初始训练，并且在视频图像中更新该目标的颜色直方图；

卡尔曼（Kalman）预测器是一种现有技术，基于最小均方误差准则的线性系统最优估计方法，是在观测噪声和过程噪声的作用下，利用预测值和输出值估计出系统的真实值的一种方法。

当前景团块被确认为是一个被跟踪目标后，利用当前视频图像的被跟踪目标的前景团块的尺度信息、历史位置信息对该被跟踪目标所对应的卡尔曼（Kalman）预测器进行初始训练，并且更新该目标的颜色直方图。

利用当前团块尺度信息、历史位置信息对该新目标所对应的卡尔曼（Kalman）预测器进行初始训练，是一种现有技术，因此，在本发明实施例中，不再一一详细描述。

本发明实施例中，在前景检测所对应的图像空间进行目标跟踪，首先对背景进行建模，利用背景减除法和帧间差分法对前景团块进行有效提取，然后在根据提取的前景团块进行均值移动目标跟踪，提取有效的前景团块。该方法有效的融合了基于像素级别的背景减除与帧间差分法和基于块级别的均值移动法各自具有的优点，通过该方法，在目标快速运动、有场景相似颜色干扰等情况下具有很好的跟踪性能，并且计算量小，能够满足实时性要求。其剔除了大部分背景干扰，从而使跟踪在有效的区域内进行，从而使均值移动陷入局部极值点的机会变小，从而提高跟踪性能。

步骤S300，根据当前视频图像所检测到的跟踪目标数量，采用不同的跟踪方法，利用初始训练后的卡尔曼（Kalman）预测器，在当前视频图像的后继连续视频中对被跟踪目标进行跟踪。

为了解决目标快速运动问题，采用卡尔曼（Kalman）预测器对被跟踪的目标进行预测跟踪，从而扩大均值移动方法的作用范围和提高最近邻方法的精确度。另外，为了提高跟踪性能，本发明实施例中，利用前景检测的结果相应的前景检测的颜色直方图对当前视频图像的后继连续视频进行目标跟踪。

较佳地，作为一种可实施方式，所述步骤S300包括如下步骤：

步骤S310，利用步骤S200初始化后的卡尔曼（Kalman）预测器对被跟踪目标进行预测；

利用卡尔曼（Kalman）预测器对被跟踪目标进行预测，是一种现有技术，因此，在本发明实施例中，不再一一详细描述。

步骤S320，如果检测到的当前视频中所包含的被跟踪目标为单目标时，则采用最近邻方法对目标进行跟踪，更新目标颜色直方图，对目标进行跟踪，确定被跟踪目标在后继连续视频中的目标位置；

当检测到的当前视频只包含一个跟踪目标时，在采用卡尔曼（Kalman）预测器进行目标位置预测后，采用最近邻匹配方法进行目标精确位置定位，然后对目标进行跟踪，更新目标颜色直方图，对目标进行跟踪，确定被跟踪目标在后继连续视频中的目标位置。

如果被检测到的目标为单目标，利用前景检测信息，采用最近邻匹配方法，更新目标颜色直方图，对目标进行跟踪，将目标精确位置定位，对被跟踪目标的前景团块的位置信息进行更新，如被跟踪目标的前景团块的长度、宽度以及目标颜色，并且利用被跟踪目标的前景团块的位置信息对卡尔曼（Kalman）预测器进行修正，采用均值移动方法，对目标进行跟踪，确定被跟踪目标在后继连续视频中的目标位置

步骤S330，如果检测到的当前视频中所包含的被跟踪目标为多目标时，分别采用均值移动方法，对每个被跟踪目标分别进行跟踪，分别得到多个被跟踪目标在后继连续视频中的目标位置。

当前景团块包含多个跟踪目标时，采用各个目标所对应的卡尔曼（Kalman）预测器进行目标位置预测，然后在整个的后继连续视频图像中采用均值移动方法进行跟踪，将各个目标精确位置定位，对各个被跟踪目标的前景团块的位置信息进行更新，如被跟踪目标的前景团块的长度、宽度以及目标颜色，并且利用各个被跟踪目标的前景团块的位置信息对卡尔曼（Kalman）预测器进行修正，确定各个被跟踪目标在后继视频中的目标位置。

本发明的视频图像目标跟踪处理方法，有效地进行了目标检测和跟踪，并且根据团块对应目标多少的不同，采用不同的处理方法，从而降低了图像目标跟踪处理的复杂度，在多目标、长时间运动、目标之间存在遮挡等情况下具有很好的目标区分能力，跟踪性能优良，并且其计算量小，能够满足实时性要求。

较佳地，所述步骤S330中，采用均值移动方法对目标跟踪，包括如下步骤：

步骤S331，在跟踪之前，对被跟踪目标的初始位置y₀进行参考模板的核直方图建模，如式（5）所示：

$\begin{array}{cc}{\stackrel{)}{q}}_u=C\underset{k=1}{\overset{n}{\mathrm{\Σ}}}K\left({\left|\right|\frac{x_0-x_k}{h}\left|\right|}^2\right)\mathrm{\δ}[b\left(x_k\right)-u]& u=\mathrm{1,2},\mathrm{L\; m}\end{array}---\left(5\right)$

其中x₀、x_k分别表示跟踪目标的中心像素坐标和第k个像素的坐标；n为目标像素总数目；m为量化颜色分量数目；K(||x||²)是核函数；h表示核函数的带宽；δ(·)是克罗内克（Kronecker delta）函数；函数b:R²→{1,2Lm}的作用是计算位置在x_k处的像素所属颜色分量；C为归一化常数，使得

步骤S332，再利用式（5），对后继跟踪过程得到的位置y的候选模板建立核概率密度

步骤S333，采用巴氏（Bhattacharyya）相似度度量两者之间的距离，如式（6）所示：

然后对

进行泰勒展开，根据式（7）得到权值w_k：

步骤S334，根据初始位置y₀按照式（8）计算新位置y₁，然后将y₀←y₁，经过迭代，直到得到目标的最终跟踪位置。

$y_1=\frac{{\∑}_{k=1}^n{x}_k{\mathrm{\ω}}_k{K}^{\′}\left({\left|\right|\frac{y_0-x_k}{h}\left|\right|}^2\right)}{{\∑}_{k=1}^n{\mathrm{\ω}}_k{K}^{\′}\left({\left|\right|\frac{y_0-x_k}{h}\left|\right|}^2\right)}---\left(8\right)$

其中，迭代终止条件为：|y₀-y₁|<ε，其中阈值ε等于0.5。

相应地，本发明实施例还提供一种视频图像目标跟踪处理系统，如图3所示，包括前景团块检测模块10，跟踪初始化模块20和混合跟踪处理模块30，其中：

所述前景团块检测模块10，用于对当前视频图像的背景进行建模，利用背景减除方法对当前视频图像中的前景进行前景目标检测，得到当前视频图像中的前景团块，确定被跟踪目标，并提取被跟踪目标所在的前景团块所在位置的颜色直方图。

所述跟踪初始化模块20，用于当被跟踪目标确认后，利用当前视频图像的被跟踪目标的前景团块的尺度信息、历史位置信息对该被跟踪目标所对应的卡尔曼（Kalman）预测器进行初始训练，并且在视频图像中更新该目标的颜色直方图。

前景团块检测模块10通过确认视频图像中的前景团块，这些被标记好的团块可能是场景临时噪声、单个被跟踪目标、多个目标由于遮挡造成的大团块区域。为了区分场景临时噪声和初始跟踪目标，并修正时间印方法进行目标确认。如果被检测到的目标为单目标，利用前景检测信息进行目标信息更新，如目标的长度、宽度以及目标颜色参考模板，并且利用目标位置信息对卡尔曼（Kalman）预测器进行初始化训练。

所述混合跟踪处理模块30，用于根据当前视频图像所检测到的跟踪目标数量，采用不同的跟踪方法，利用初始训练后的卡尔曼（Kalman）预测器，在当前视频图像的后继连续视频中对被跟踪目标进行跟踪正确。

采用卡尔曼（Kalman）预测器对被跟踪目标位置、尺度进行预测，提高目标跟踪的精确度。

当发生多目标遮挡时，不同目标身份标识确认。当多个目标存在于一个前景团块之中，采用均值移动算法对目标位置进行精确定位，并且根据前景检测结果对均值移动方法得到的目标位置、尺度进行修正。

本发明实施例的一种视频图像目标跟踪处理系统，采用与本发明实施例的视频图像目标跟踪处理方法相同的过程对视频图像跟踪处理，因此，在本发明实施例中，不再一一详细描述。

为了验证本发明实施例的视频图像目标跟踪处理方法和系统在弱目标跟踪的跟踪性能，使用了一段吊牌快速旋转的视频，其吊牌的颜色与背景颜色较为接近，吊牌的分辨率大小为17×17，其中，如阈值ε等于0.5；相似度s阈值0.8；其他阈值参数可由本领域技术人员根据本发明实施例的条件设置。具体跟踪效果如图4所示。吊牌的主要颜色分布包括黑色和淡粉色两种成分，从第285帧的跟踪效果可以看出，吊牌的跟踪窗口被背景中的黑色和淡粉色区域所吸引，即此时该区域的颜色空间分布与吊牌的颜色空间分布不同，但是由于均值移动算法对颜色分布的空间位置不是十分敏感，所以导致它们的核颜色直方图比较接近，所以致使跟踪算法陷入局部极值点，而本发明的视频图像目标跟踪处理方法和系统，有效的利用了背景减除、帧间差分方法，所以整个跟踪方法对像素的空间位置分布更加敏感，使整个跟踪过程具有更好的抗干扰特性。

为进一步检测其有益效果，将本发明实施例的视频图像目标跟踪处理方法和系统进行测试，如表1所示，为总体跟踪性能比较。跟踪目标的真实位置由手工标注，具体方法是，两个人分别独立在每帧中对目标区域标注三次，然后求其平均值作为真实目标位置。但是如果连续两次标注的误差超过某个阈值（如2个像素），则重新标注图像中的目标位置。X轴误差和Y轴误差分别表示在X轴、Y轴方向上的误差。在每帧中，如果跟踪的目标中心落在手工标注的目标区域内，则认为跟踪成功，并且计算相应的误差，否则认为跟踪失败。

整段视频的跟踪成功率定义为全部成功跟踪的帧数除以该序列的总视频帧数，如式（9）所示，即：

表1跟踪性能比较

注：X轴和Y轴误差表示为均值±标准差。

为了验证本发明方法系统所具有的优良性能，使用的视频场景是室外一段监控录像，视频分辨率是320×240，视频一共包含4300帧图像。背景建模使用视频的前100帧，混合高斯的个数为4。背景建模采用灰度空间。均值移动方法使用RGB颜色空间,并且对三个颜色分量采用16×16×16=4096(m)划分,均值移动最大迭代次数为5次，迭代终止条件是ε=0.9。从图5的视频可以看出跟踪的目标运动速度较快。从跟踪效果可以看出，本发明通过背景建模很好的抑制了背景颜色在跟踪过程中的作用，从而提高了整个算法的跟踪精度。

从图5可以看到，当场景中只有一个目标的时候，输出稳定、精确的目标跟踪位置，当有另外一个目标进入场景，经过时间印的确认之后，确定该目标是一个稳定、长期存在的目标，为此也分配给她一个身份标识。当两个目标发生交错而产生互相遮挡的时候，启动基于均值移动的精确定位，从而保证了目标身份标识的稳定性。从最后一张图可以看出，两个目标发生交错之后，依然保持了各自的身份标识。从而可以看出本文算法具有很强的实用性。

为了进一步验证本发明，使用了图5中相同场景的另外一段监控视频，视频的场景包括单个目标的逗留，车辆的驶入，及其司机下车，其他运动目标进入场景等多个场景模式。视频长度约为4分钟，其它参数跟图5的实验参数相同，具体跟踪效果如图6所示。从中可以看出当车辆驶入之后，由于其引起了背景的改变，所以也被检测出来，但是通过时间的累积，发现该目标长时间处于静止，通过背景学习方法，该目标逐渐被学到背景之中。之后发生了双目标的交错现象，并且均保持了各自目标身份标识的稳定性，随之又有其他目标进入场景，但是由于采用了单目标多目标分别处理的方法，其并不影响跟踪性能。

本发明视频图像目标跟踪处理方法和系统，利用背景建模的方法提取前景图像,然后在融合的前景图像中进行多目标跟踪，分别处理单个目标和多个目标情况，针对单个目标，采用最近邻匹配进行目标跟踪，对于多个目标，在融合颜色空间中，采用卡尔曼（Kalman）均值移动方法进行目标跟踪。通过该方法，在目标快速运动、有场景相似颜色干扰等情况下具有很好的适用能力，从而提高了目标跟踪的长期稳定性以及跟踪精度。通过多组实验也可以看出，本发明具有很强地抑制背景干扰的能力，从而提高了均值移动跟踪的鲁棒性。另外，其计算量小，可以满足实时性的需求。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种视频图像目标跟踪处理方法，其特征在于，包括如下步骤：

步骤A，对当前视频图像的背景进行建模，利用背景减除方法对当前视频图像中的前景进行前景目标检测，得到当前视频图像中的前景团块，确定被跟踪目标，并提取被跟踪目标所在的前景团块所在位置的颜色直方图；

步骤B，当被跟踪目标确认后，利用当前视频图像的被跟踪目标的前景团块的尺度信息、历史位置信息对该被跟踪目标所对应的卡尔曼预测器进行初始训练，并且在视频图像中更新该目标的颜色直方图；

步骤C，根据当前视频图像所检测到的跟踪目标数量，采用不同的跟踪方法，利用初始训练后的卡尔曼预测器，在当前视频图像的后继连续视频中对被跟踪目标进行跟踪。

2.根据权利要求1所述的视频图像目标跟踪处理方法，其特征在于，所述步骤A包括如下步骤：

步骤A1，读取当前视频图像中的T帧图像利用混合高斯模型对背景进行建模，区分图像的前景和背景，其中，T为整数；

步骤A2，利用背景减除方法和帧间差分法对当前视频图像中的前景进行前景目标检测，进行形态学处理，得到当前视频图像中的前景团块；

步骤A3，采用修正时间印法，对步骤A2中得到的前景团块进行滤波，确认被跟踪目标，提取前景团块所在位置的颜色直方图。

3.根据权利要求2所述的视频图像目标跟踪处理方法，其特征在于，所述步骤A1中，利用混合高斯模型对背景进行建模，区分图像的前景和背景，包括如下步骤：

步骤A11，设一像素在一段时间t内的样本值为：x₁，x₂，…，x_N，其中，N为整数，采用M个高斯函数对其进行背景建模：

$\mathrm{Pr}\left(x_t\right)=\frac{1}{M}\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}\frac{1}{{\left(2\mathrm{\&pi;}\right)}^{\frac{d}{2}}{\left|\mathrm{\&Sigma;}\right|}^{\frac{1}{2}}}{e}^{-\frac{1}{2}{(x_t-x_i)}^T{\mathrm{\&Sigma;}}^{-1}(x_t-x_i)}$

其中，d代表的是数据的维数；

步骤A12，计算t时刻像素属于背景的概率密度为：

$\mathrm{Pr}\left(x_t\right)=\frac{1}{M}\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{d}{\mathrm{\&Pi;}}}\frac{1}{\sqrt{2\mathrm{\&pi;}{\mathrm{\&sigma;}}_j^2}}{e}^{-\frac{1}{2}\frac{{(x_{t_j}-x_{i_j})}^2}{{\mathrm{\&sigma;}}_j^2}}$

其中，σ为该颜色通道的标准方差；

步骤A13，根据Pr(x_t)大小来区分前景、背景。

4.根据权利要求2所述的视频图像目标跟踪处理方法，其特征在于，所述步骤A2包括如下步骤：

步骤A21，利用背景减除方法对当前视频图像得到的前景进行前景目标检测；

步骤A22，对当前视频图像的当前帧和前一帧进行帧差计算，获取帧差模型；

步骤A23，利用当前帧和背景进行前景检测，获取前景模型；

步骤A24，在当前帧，利用帧差模板和前景模板，获取被跟踪目标所在区域的前景图像，提取有效的前景团块；

步骤A25，采用形态学方法，对识别得到的包含被跟踪目标的前景团块进行膨胀腐蚀运算，并且计算相近团块之间的距离，如果团块之间的距离小于阈值，则进行合并，对检测得到的前景团块进行优化。

5.根据权利要求4所述的视频图像目标跟踪处理方法，其特征在于，所述步骤A21包括如下步骤：

设B_t为t时刻的步骤A1得到的当前视频图像的背景，I_t为当前时刻t图像帧，利用下式对当前视频图像的背景进行更新，从而得到下一帧所需要的背景；

B_t+1＝αI_t+(1-α)B_t

其中α为更新速度。

6.根据权利要求2所述的视频图像目标跟踪处理方法，其特征在于，在步骤A3中，采用修正时间印方法，对优化后的前景团块进行滤波，确认被跟踪目标，包括如下步骤：

步骤A31，首先利用时间印方法，对优化后的当前视频图像中的前M帧连续图像的前景团块进行滤波，提取被跟踪目标所在的前景团块所在位置的颜色直方图，其中，M为大于2的整数；

步骤A32，对被跟踪目标所在的前景团块所在位置的颜色直方图进行修正，得到当前视频中包含被跟踪目标的前景团块的颜色直方图，确认并标识被跟踪目标。

7.根据权利要求1所述的视频图像目标跟踪处理方法，其特征在于，所述步骤C包括如下步骤：

步骤C1，利用步骤B初始化后的卡尔曼预测器对被跟踪目标进行预测；

步骤C2，如果检测到的当前视频中所包含的被跟踪目标为单目标时，则采用最近邻方法对目标进行跟踪，更新目标颜色直方图，对目标进行跟踪，确定被跟踪目标在后继连续视频中的目标位置；

步骤C3，如果检测到的当前视频中所包含的被跟踪目标为多目标时，分别采用均值移动方法，对每个被跟踪目标分别进行跟踪，分别得到多个被跟踪目标在后继连续视频中的目标位置。

8.根据权利要求7所述的视频图像目标跟踪处理方法，其特征在于，所述步骤C3中，采用均值移动方法对目标跟踪，包括如下步骤：

步骤C31，在跟踪之前，对被跟踪目标的初始位置y₀进行参考模板的核直方图建模，如下式所示：

其中x₀、x_k分别表示跟踪目标的中心像素坐标和第k个像素的坐标；n为目标像素总数目；m为量化颜色分量数目；K(||x||²)是核函数；h表示核函数的带宽；δ(·)是克罗内克函数；函数b:R²→{1,2…m}的作用是计算位置在x_k处的像素所属颜色分量；C为归一化常数，使得

步骤C32，再利用步骤C31中的公式，对后继跟踪过程得到的位置y的候选模板建立核概率密度

步骤C33，采用巴氏相似度度量两者之间的距离，如下式所示：

然后对

进行泰勒展开，根据下式得到权值w_k：

步骤C34，根据初始位置y₀按照下式计算新位置y₁，然后将y₀←y₁，经过迭代，直到得到目标的最终跟踪位置；

$y_1=\frac{{\&Sum;}_{k=1}^n{x}_k{\mathrm{\&omega;}}_k{K}^{\&prime;}\left({\left|\right|\frac{y_0-x_k}{h}\left|\right|}^2\right)}{{\&Sum;}_{k=1}^n{\mathrm{\&omega;}}_k{K}^{\&prime;}\left({\left|\right|\frac{y_0-x_k}{h}\left|\right|}^2\right)}$

其中，迭代终止条件为：|y₀-y₁|＜ε，其中阈值ε等于0.5。

9.一种视频图像目标跟踪处理系统，其特征在于，包括前景团块检测模块，跟踪初始化模块和混合跟踪处理模块，其中：

所述前景团块检测模块，用于对当前视频图像的背景进行建模，利用背景减除方法对当前视频图像中的前景进行前景目标检测，得到当前视频图像中的前景团块，确定被跟踪目标，并提取被跟踪目标所在的前景团块所在位置的颜色直方图；

所述跟踪初始化模块，用于当被跟踪目标确认后，利用当前视频图像的被跟踪目标的前景团块的尺度信息、历史位置信息对该被跟踪目标所对应的卡尔曼预测器进行初始训练，并且在视频图像中更新该目标的颜色直方图；

所述混合跟踪处理模块，用于根据当前视频图像所检测到的跟踪目标数量，采用不同的跟踪方法，利用初始训练后的卡尔曼预测器，在当前视频图像的后继连续视频中对被跟踪目标进行跟踪正确。

Images