CN103325126A - 一种在尺度变化和遮挡情况下的视频目标跟踪方法 - Google Patents

Abstract

一种在尺度变化和遮挡情况下的视频目标跟踪方法，属于图像处理领域，本发明为解决LBP跟踪算法在尺度变化和遮挡情况下跟踪效果不理想的问题。本发明提出了基于LBP算法、归一化转动惯量NMI特征和卡尔曼滤波相结合的优化目标跟踪方法。NMI特征用于判断模板的更新策略，解决目标旋转、尺度变化等导致目标丢失的问题。卡尔曼滤波用于克服遮挡情况下目标容易丢失的缺陷。

Description

一种在尺度变化和遮挡情况下的视频目标跟踪方法

技术领域

本发明涉及一种在尺度变化和遮挡情况下的视频目标跟踪方法，属于图像处理领域。

背景技术

基于视频的目标跟踪就是利用数字图像处理的方法对摄像机等视频信息采集设备得到的视频进行处理、锁定指定的目标位置。图像目标跟踪算法涉及图像数据的预处理、目标检测、图像分割、特征提取、运动分析和目标跟踪等多种过程，其中图像分割、特征提取和目标跟踪是关键过程。当前流行的目标算法主要有MeanShift算法、Camshift算法、SURF算法和粒子滤波算法等。

描述局部图像纹理特征的局部二值模式(LBP，Local Binary Pattern)算法是由T.Ojala等人提出，相对于基于边缘特征、角点特征、几何特征、矩特征的算法，LBP算法具有计算速度快（实时性好）、亮度不变性、旋转不变性、适用性强和稳定等优点。LBP算法已经广泛的应用于纹理分析、图像检索、人脸识别等领域。

基本的LBP的目标跟踪算法虽然对图像亮度变化、目标旋转具有鲁棒性，然而当目标大小发生改变以及目标被遮挡情况等情况下，很容易丢失目标。对此，许多研究者提出了一些解决方法。文献《一种基于纹理模型的Mean Shift目标跟踪算法》(作者：宁纪锋,吴成柯.模式识别与人工智能,2007,20（5）:612-618)对基本的LBP算法做了改进，提出了FLBP算子，并且嵌入到Mean-shift算法中实现目标跟踪。文献《一种基于纹理特征的红外成像目标跟踪方法》(作者：王永忠、赵春晖等.光子学报,2007,36(11):2163-2167)将LBP纹理特征集成到了核跟踪方法中，完成红外成像的目标跟踪方法。文献《Robustobject tracking using joint color–texture histogram》（基于节点彩色纹理直方图的强健目标跟踪算法）（作者：J.Ning,L.Zhang,D.Zhang,W.Chengke,InternationalJournal of Pattern Recognition and Artificial Intelligence,2009,23(7):1245–1263.)提出一种融合颜色和LBP纹理的直方图跟踪方法。但是，当目标的运动状态或者背景比较复杂时，目前解决目标更新问题和轨迹预测的方法仍然不够完备。而且LBP纹理特征目标跟踪算法的目标模型更新和轨迹预测的研究也有很多不足，特别是当目标尺寸发生较大改变或者被遮挡时，目标很容易丢失。并且目标模型的建立、更新以及轨迹预测的计算复杂度很高，算法很难满足目标跟踪的实时性要求。

发明内容

本发明目的是为了解决LBP跟踪算法在尺度变化和遮挡情况下跟踪效果不理想的问题，提供了一种在尺度变化和遮挡情况下的视频目标跟踪方法。

本发明所述一种在尺度变化和遮挡情况下的视频目标跟踪方法，是利用图像归一化转动惯量的尺寸不变性和Kalman滤波的预测功能，进行目标尺寸变化和被遮挡时的跟踪，该方法包括以下步骤：

步骤一、对视频的当前帧图像进行预处理；设定目标模板大小、搜索区域的大小和Kalman滤波初始状态；

步骤二、判断在当前帧图像里是否需要重新选取目标模板；

如果不需要重新选择目标模板，执行步骤三；如果需要重新选取目标模板，则选择新的目标模板，并对目标模板进行重新初始化，得到目标模版的LBP算子和NMI算子NMI₀，然后返回执行步骤一，进行下一帧处理；

步骤三、以前一帧图像中目标模板的中心位置为中心建立当前帧图像的搜索区域，在所述搜索区域内遍历搜索，定义LBP模块为搜索区域中LBP算子与目标模板LBP算子相似度最接近的模块，NMI模块为搜索区域中NMI算子与目标模板NMI算子相似度最接近的模块，保存LBP模块的LBP算子

NMI特征值NMI₁和NMI模块的NMI算子nMinG；

步骤四、判断LBP模块是否满足条件nMinCha≤LBPTHreshold；

其中：LBPTHreshold为LBP相似度阈值，LBPTHreshold为目标模板的LBP算子的5%-8%；

为当前帧图像中LBP模板与目标模板的LBP算子相似度；

当满足条件时，认为该LBP模块为目标模块，执行步骤五，当不满足条件时，LBP算子失效，比如尺寸发生变化，执行步骤八，进行NMI算子尺寸不变性的判定；

步骤五、是否进行目标模板更新的判断，判断是否满足条件nLBPMinG≤GLBPTHreshold，

其中：GLBPTHreshold为转动惯量相似度阈值，GLBPTHreshold=2%-5%；

为当前帧中LBP模块与目标模板的转动惯量相似度；

当满足条件时，执行步骤六，进行模板更新；当不满足条件时，执行步骤七；

步骤六、目标模板更新，保存当前LBP模块为目标模版，对目标模板进行重新初始化，得到目标模版的LBP算子

和NMI算子NMI₀；然后执行步骤七；

步骤七、将目标位置更新为当前LBP模块的位置或者当前NMI模块的位置；由于跟踪到目标，进行Kalmant滤波更新，计算得到当前时刻的状态估计和协方差矩阵，用于下一时刻的状态估计和预测，然后执行步骤十；

步骤八、进行NMI算子尺寸不变性判定，判断是否满足条件nMinG≤GTHreshold，

GTHreshold为最小转动惯量相似度阈值，GTHreshold为目标模板NMI算子NMI₀的5%-10%；

当满足条件时，认为目标的NMI特征变化小，保证了尺寸不变性，可以搜索到目标，执行步骤七，当不满足条件时，认为跟踪目标丢失或被遮挡，执行步骤九；

步骤九、利用上一时刻Kalman滤波状态，预测来确定目标的位置，实现遮挡目标的跟踪，然后执行步骤十；

步骤十、计算目标脱靶量，即当前时刻预测目标位置与目标最后出现位置的变化量，用于Kalman滤波的下次预测，返回执行步骤一，进行下一时刻帧图像的处理。

本发明的优点：

本发明是基于LBP算法、归一化转动惯量（NMI）特征和卡尔曼滤波相结合的优化目标跟踪算法，NMI特征用于判断模板的更新策略，解决目标旋转、尺度变化等导致目标丢失的问题。卡尔曼滤波用于克服遮挡情况下目标容易丢失的缺陷。本发明的算法具有很好的实时性，在主频1GHz的达芬奇平台上运行时间小于20ms；能够较好的处理跟踪目标尺寸变化的问题，在目标丢失或被部分遮挡时，能准确而稳定的跟踪目标。

附图说明

图1是本发明所述一种在尺度变化和遮挡情况下的视频目标跟踪方法的流程图；

图2是在搜索区域内搜索LBP模块和NMI模块的原理示意图。

具体实施方式

具体实施方式一：下面结合图1说明本实施方式，本实施方式所述一种在尺度变化和遮挡情况下的视频目标跟踪方法，是利用图像归一化转动惯量的尺寸不变性和Kalman滤波的预测功能，进行目标尺寸变化和被遮挡时的跟踪，该方法包括以下步骤：

步骤一、对视频的当前帧图像进行预处理，如平滑滤波等；设定目标模板大小、搜索区域的大小和Kalman滤波初始状态；

步骤二、判断在当前帧图像里是否需要重新选取目标模板；

如果不需要重新选择目标模板，执行步骤三；如果需要重新选取目标模板，则选择新的目标模板，并对目标模板进行重新初始化，得到目标模版的LBP算子

和NMI算子NMI₀，然后返回执行步骤一，进行下一帧处理；

步骤三、以前一帧图像中目标模板的中心位置为中心建立当前帧图像的搜索区域，在所述搜索区域内遍历搜索，定义LBP模块为搜索区域中LBP算子与目标模板LBP算子相似度最接近的模块（即差值最小的位置），NMI模块为搜索区域中NMI算子与目标模板NMI算子相似度最接近的模块，保存LBP模块的LBP算子

NMI特征值NMI₁和NMI模块的NMI算子nMinG；

步骤四、判断LBP模块是否满足条件nMinCha≤LBPTHreshold；

其中：LBPTHreshold为LBP相似度阈值，LBPTHreshold为目标模板的LBP算子的5%-8%；

为当前帧图像中LBP模板与目标模板的LBP算子相似度，其值越小，相似度越高；

当满足条件时，说明LBP模块与目标模块的LBP算子相似度很高，认为该LBP模块为目标模块，执行步骤五，当不满足条件时，LBP算子失效，比如尺寸发生变化，执行步骤八，进行NMI算子尺寸不变性的判定；

步骤五、是否进行目标模板更新的判断，判断是否满足条件nLBPMinG≤GLBPTHreshold，

其中：GLBPTHreshold为转动惯量相似度阈值，GLBPTHreshold=2%-5%；

为当前帧中LBP模块与目标模板的转动惯量相似度；

当满足条件时，执行步骤六，进行模板更新；当不满足条件时，执行步骤七；

步骤六、目标模板更新，保存当前LBP模块为目标模版，对目标模板进行重新初始化，得到目标模版的LBP算子

和NMI算子NMI₀；然后执行步骤七；

步骤七、将目标位置更新为当前LBP模块的位置或者当前NMI模块的位置；由于跟踪到目标，进行Kalmant滤波更新，计算得到当前时刻的状态估计和协方差矩阵，用于下一时刻的状态估计和预测，然后执行步骤十；

步骤八、进行NMI算子尺寸不变性判定，判断是否满足条件nMinG≤GTHreshold，

GTHreshold为最小转动惯量相似度阈值，GTHreshold为目标模板NMI算子NMI₀的5%-10%；

当满足条件时，认为目标的NMI特征变化小，保证了尺寸不变性，可以搜索到目标，执行步骤七，当不满足条件时，认为跟踪目标丢失或被遮挡，执行步骤九；

步骤九、利用上一时刻Kalman滤波状态，预测来确定目标的位置，实现遮挡目标的跟踪，然后执行步骤十；

步骤十、计算目标脱靶量，即当前时刻预测目标位置与目标最后出现位置的变化量，用于Kalman滤波的下次预测，返回执行步骤一，进行下一时刻帧图像的处理。

判断是否设定目标模板。如果是的话，对目标模板进行初始化,计算并保存模板LBP算子和目标模板的NMI特征值；否则,进行后续的目标匹配过程。

进行局部区域匹配过程。根据当前目标中心位置确定扫描区域，利用LBP算子进行模板匹配，找到扫描区域中LBP算子与模板LBP算子相似度最接近的模块（判断因子为nMinCha，当nMinCha值越小，说明搜索的模块与目标相似度越高）。并和模板NMI特征值进行相似度匹配（判断因子为G，当G越小，表示相似度越高），用于模板更新的判定。同时在后续帧处理的过程中计算每个被匹配模块的NMI特征值和模板NMI特征值的相似度G，记录最小的G值nMinG以及此时的模块位置坐标，用于后面的尺度不变性的判断。

当nMinCha小于等于设定阈值时，认为搜索的模块为目标移动后的位置，继续判断该模块与目标模板的NMI特征相似度nLBPMinG，当nLBPMinG小于等于一定阈值时，进行目标的更新和初始化。对目标位置更新，同时也对Kalman状态参数更新，之后进入下一帧运算。当nMinCha大于设定阈值时，则认为目标丢失或发生变形，进行目标尺寸不变性的判断。

目标尺寸不变性的判断。在第三步过程中,已经计算出与模板NMI特征最相近的匹配值nMinG和区域的坐标。当nMinG大于设定阈值时，认为目标丢失或隐藏，进行Kalman轨迹预测，直到重新搜索到目标的位置或者重新选定目标；否则，认为目标尺寸变化，目标没有丢失，进行模板位置更新和Kalman状态更新，然后进入下一帧运算。

具体实施方式二：下面结合图2说明本实施方式，本实施方式对实施方式一作进一步说明，步骤三中以前一帧图像中目标模板的中心位置为中心建立当前帧图像的搜索区域，在所述搜索区域内遍历搜索，找到搜索区域中LBP模块和NMI模块的过程为：

以前一帧图像中的目标模板的中心位置为中心建立当前帧图像的搜索区域，

前一帧图像中的目标模板的中心位置坐标为（TemplateCenterX，TemplateCenterY），目标模板的长为TemplateHeight，宽为TemplateWidth，

则建立当前帧图像的搜索区域的中心位置坐标为（TemplateCenterX，TemplateCenterY），长为2×TemplateHeight，宽为2×TemplateWidth，

在搜索区域内的搜索框的大小与目标模板大小相同，在搜索区域内遍历，并计算每个位置的模板的LBP算子和NMI算子，分别找到LBP算子、NMI算子与目标模板相似度最接近的模块，即为相应的LBP模块和NMI模块。

图2中：白色区域为当前帧图像、黑色区域为当前帧目标位置、灰色区域为下一帧扫描区域、虚线区域为下一帧的搜索框。选定的扫描区域只是整帧图像的一个区域，缩小了搜索候选目标的区域范围，减少了模板匹配的次数，从而降低了跟踪匹配算法的计算量。

利用这种局部扫描方法的另一个优点是对背景变化的鲁棒性明显提高，因为它是对前一帧目标周围的区域进行扫描，对其他区域的背景变化不敏感，在目标模板含有背景噪声很少的情况下，有很好的鲁棒性。然而这种方法也存在不足，局部区域扫描限制了搜索的范围，在跟踪目标过程中，如果在两帧之间的目标脱靶量比较大时，很容易丢失目标，目标的轨迹预测，在一定程度上弥补了这一缺点。

由于相邻几帧之间，目标位置移动很小，因此可以将匹配搜索的范围减少，在当前帧目标位置的局部范围搜索，搜索的范围一般设定为跟踪窗口的宽度和高度的一倍。

具体实施方式三：本实施方式对实施方式一作进一步说明，步骤三中LBP模块的LBP算子按公式

${\mathrm{LBP}}_{P,R}^{\mathrm{riu}2}=\left\{\begin{array}{cc}\underset{i=0}{\overset{P-1}{\mathrm{\Σ}}}S(g_i-g_c)& \mathrm{ifU}\left({\mathrm{LBP}}_{P,R}\right)\≤2\\ P+1& \mathrm{otherwise}\end{array}\right.$ 获取，

其中： $S\left(x\right)=\left\{\begin{array}{cc}1& x\&GreaterEqual;0\\ 0& x<0\end{array}\right.,$ 此式中，x=g_i-g_c，

g_c对应于LBP模块中心像素点P_c的灰度值，

在以中心像素点为圆心，以R为半径的圆周上取P个距离相等的点作为中心点的邻域点，g_i对应于邻域中第i(i=0,…,P-1)个像素点的灰度值；

$U\left({\mathrm{LBP}}_{P,R}\right)=|S(g_{P-1}-g_c)-S(g_0-g_c)|+\underset{i=1}{\overset{P-1}{\mathrm{\&Sigma;}}}|S(g_i-g_c)-S(g_{i-1}-g_c)|.$

目标模版的LBP算子

的获取方法与

的获取过程相同。

具体实施方式四：本实施方式对实施方式一作进一步说明，步骤三中所述NMI模块的NMI特征值NMI₁按公式

${\mathrm{NMI}}_1=\frac{\sqrt{\underset{x=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{N}{\mathrm{\&Sigma;}}}[{(x-\stackrel{\&OverBar;}{x})}^2+{(y-\stackrel{\&OverBar;}{y})}^2]f(x,y)}}{\underset{x=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{N}{\mathrm{\&Sigma;}}}f(x,y)}$ 获取，

f(x,y)表示NMI模块坐标为(x,y)像素灰度值，

表示NMI模块的质心，

NMI模块的尺寸为M×N。

目标模版的NMI算子NMI₀的获取过程与NMI₁的获取过程相同。

NMI特征是指图像的归一化转动惯量，其具有较好的缩放、旋转和平移不变性，而且计算量小，速度快，将NMI特征引入到LBP算法中解决了目标形状、尺寸变化目标容易丢失的模板更新问题。但是对于目标被遮挡，仍然容易丢失，这就需要在目标被遮挡时，对目标进行轨迹预测，推算目标后续出现的位置。

具体实施方式五：本实施方式对实施方式一作进一步说明，步骤九利用上一时刻Kalman滤波状态，预测来确定目标的位置，实现遮挡目标的跟踪，

利用状态方程：

$X\left(k\right|k-1)=\left[\begin{array}{c}{X}_k\\ V_k\end{array}\right]=\left[\begin{array}{cc}1& T\\ 0& 1\end{array}\right]\left[\begin{array}{c}{X}_{k-1}\\ V_{k-1}\end{array}\right]$ 进行轨迹预测；

X(k)表示k时刻的系统状态，X(k-1)表示k-1时刻的系统状态，

V(k)分别表示k时刻的测量噪声，V(k-1)分别表示k-1时刻的测量噪声，

T表示视频相邻两帧的时间间隔。

跟踪目标尺寸逐渐变小，同时目标运行，算法能够较好地跟踪到目标。在尺寸变化较大或进入复杂背景下时，跟踪效果会明显下降，原因是匹配区域大小与模板大小相同，在目标变小时，会把更多的背景噪声加入到NMI特征里面，匹配区域的NMI特征值会产生很大的变化，导致跟踪目标匹配失败，进入Kalman轨迹预测阶段。

在目标丢失或被遮挡情况时，采用卡尔曼滤波对目标运动轨迹进行预测。对动态系统的状态序列进行线性最小方差误差估计，以动态的状态方程和观测方程来描述系统，使系统具有无偏、稳定和最优的特点，并且算法计算量小。

跟踪目标选用拳头来检验目标被遮挡时Kalman轨迹预测效果好，目标在运动的过程中被遮挡，启动Kalman算法对轨迹预测，目标重新出现后，能够重新找到目标。

由于Kalman设置的是匀速直线运动模型，因此在匀速直线运动中会得到较好的跟踪效果，但当目标沿着曲线变速运动时，预测效果会很差。目标被遮挡后，目标做曲线变速运动，当目标出现后，由于目标的位置距离轨迹预测的位置较远，经过局部区域搜索，系统不能重新跟踪到目标。

Claims (5)

1.一种在尺度变化和遮挡情况下的视频目标跟踪方法，其特征在于，该方法包括以下步骤：

步骤一、对视频的当前帧图像进行预处理；设定目标模板大小、搜索区域的大小和Kalman滤波初始状态；

步骤二、判断在当前帧图像里是否需要重新选取目标模板；

如果不需要重新选择目标模板，执行步骤三；如果需要重新选取目标模板，则选择新的目标模板，并对目标模板进行重新初始化，得到目标模版的LBP算子和NMI算子NMI₀，然后返回执行步骤一，进行下一帧处理；

步骤三、以前一帧图像中目标模板的中心位置为中心建立当前帧图像的搜索区域，在所述搜索区域内遍历搜索，定义LBP模块为搜索区域中LBP算子与目标模板LBP算子相似度最接近的模块，NMI模块为搜索区域中NMI算子与目标模板NMI算子相似度最接近的模块，保存LBP模块的LBP算子

NMI特征值NMI₁和NMI模块的NMI算子nMinG；

步骤四、判断LBP模块是否满足条件nMinCha≤LBPTHreshold；

其中：LBPTHreshold为LBP相似度阈值，LBPTHreshold为目标模板的LBP算子的5%-8%；

为当前帧图像中LBP模板与目标模板的LBP算子相似度；

当满足条件时，认为该LBP模块为目标模块，执行步骤五，当不满足条件时，LBP算子失效，比如尺寸发生变化，执行步骤八，进行NMI算子尺寸不变性的判定；

步骤五、是否进行目标模板更新的判断，判断是否满足条件nLBPMinG≤GLBPTHreshold，

其中：GLBPTHreshold为转动惯量相似度阈值，GLBPTHreshold=2%-5%；

为当前帧中LBP模块与目标模板的转动惯量相似度；

当满足条件时，执行步骤六，进行模板更新；当不满足条件时，执行步骤七；

步骤六、目标模板更新，保存当前LBP模块为目标模版，对目标模板进行重新初始化，得到目标模版的LBP算子

和NMI算子NMI₀；然后执行步骤七；

步骤七、将目标位置更新为当前LBP模块的位置或者当前NMI模块的位置；由于跟踪到目标，进行Kalmant滤波更新，计算得到当前时刻的状态估计和协方差矩阵，用于下一时刻的状态估计和预测，然后执行步骤十；

步骤八、进行NMI算子尺寸不变性判定，判断是否满足条件nMinG≤GTHreshold，

GTHreshold为最小转动惯量相似度阈值，GTHreshold为目标模板NMI算子NMI₀的5%-10%；

当满足条件时，认为目标的NMI特征变化小，保证了尺寸不变性，可以搜索到目标，执行步骤七，当不满足条件时，认为跟踪目标丢失或被遮挡，执行步骤九；

步骤九、利用上一时刻Kalman滤波状态，预测来确定目标的位置，实现遮挡目标的跟踪，然后执行步骤十；

步骤十、计算目标脱靶量，即当前时刻预测目标位置与目标最后出现位置的变化量，用于Kalman滤波的下次预测，返回执行步骤一，进行下一时刻帧图像的处理。

2.根据权利要求1所述一种在尺度变化和遮挡情况下的视频目标跟踪方法，其特征在于，步骤三中以前一帧图像中目标模板的中心位置为中心建立当前帧图像的搜索区域，在所述搜索区域内遍历搜索，找到搜索区域中LBP模块和NMI模块的过程为：

以前一帧图像中的目标模板的中心位置为中心建立当前帧图像的搜索区域，

前一帧图像中的目标模板的中心位置坐标为（TemplateCenterX，TemplateCenterY），目标模板的长为TemplateHeight，宽为TemplateWidth，

则建立当前帧图像的搜索区域的中心位置坐标为（TemplateCenterX，TemplateCenterY），长为2×TemplateHeight，宽为2×TemplateWidth，

在搜索区域内的搜索框的大小与目标模板大小相同，在搜索区域内遍历，并计算每个位置的模板的LBP算子和NMI算子，分别找到LBP算子、NMI算子与目标模板相似度最接近的模块，即为相应的LBP模块和NMI模块。

3.根据权利要求1或2所述一种在尺度变化和遮挡情况下的视频目标跟踪方法，其特征在于，步骤三中LBP模块的LBP算子

按公式

${\mathrm{LBP}}_{P,R}^{\mathrm{riu}2}=\left\{\begin{array}{cc}\underset{i=0}{\overset{P-1}{\mathrm{\&Sigma;}}}S(g_i-g_c)& \mathrm{ifU}\left({\mathrm{LBP}}_{P,R}\right)\&le;2\\ P+1& \mathrm{otherwise}\end{array}\right.$ 获取，

其中： $S\left(x\right)=\left\{\begin{array}{cc}1& x\&GreaterEqual;0\\ 0& x<0\end{array}\right.,$ 此式中，x=g_i-g_c，

g_c对应于LBP模块中心像素点P_c的灰度值，

在以中心像素点为圆心，以R为半径的圆周上取P个距离相等的点作为中心点的邻域点，g_i对应于邻域中第i(i=0,…,P-1)个像素点的灰度值；

$U\left({\mathrm{LBP}}_{P,R}\right)=|S(g_{P-1}-g_c)-S(g_0-g_c)|+\underset{i=1}{\overset{P-1}{\mathrm{\&Sigma;}}}|S(g_i-g_c)-S(g_{i-1}-g_c)|.$

4.根据权利要求1所述一种在尺度变化和遮挡情况下的视频目标跟踪方法，其特征在于，步骤三中所述NMI模块的NMI特征值NMI₁按公式

${\mathrm{NMI}}_1=\frac{\sqrt{\underset{x=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{N}{\mathrm{\&Sigma;}}}[{(x-\stackrel{\&OverBar;}{x})}^2+{(y-\stackrel{\&OverBar;}{y})}^2]f(x,y)}}{\underset{x=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{N}{\mathrm{\&Sigma;}}}f(x,y)}$ 获取，

f(x,y)表示NMI模块坐标为(x,y)像素灰度值，

表示NMI模块的质心，

NMI模块的尺寸为M×N。

5.根据权利要求1所述一种在尺度变化和遮挡情况下的视频目标跟踪方法，其特征在于，步骤九利用上一时刻Kalman滤波状态，预测来确定目标的位置，实现遮挡目标的跟踪，

利用状态方程：

$X\left(k\right|k-1)=\left[\begin{array}{c}{X}_k\\ V_k\end{array}\right]=\left[\begin{array}{cc}1& T\\ 0& 1\end{array}\right]\left[\begin{array}{c}{X}_{k-1}\\ V_{k-1}\end{array}\right]$ 进行轨迹预测；

X(k)表示k时刻的系统状态，X(k-1)表示k-1时刻的系统状态，

V(k)分别表示k时刻的测量噪声，V(k-1)分别表示k-1时刻的测量噪声，

T表示视频相邻两帧的时间间隔。

Images