CN101404086B - 基于视频的目标跟踪方法及装置 - Google Patents

Abstract

本发明公开了一种基于多线索融合和粒子滤波的视频目标跟踪方法及其装置，该方法根据颜色、边缘、特征点三个线索进行自适应融合得到目标的观测信息，然后用粒子滤波技术对目标状态进行更新，具体步骤包括：A、提取目标模板并初始化目标参数；B、根据运动模型，对粒子集合进行动态预测；C、根据多线索融合信息更新粒子权重；D、更新目标的运动状态。本发明能提高对复杂环境下运动目标的跟踪效果及跟踪的稳定性，其跟踪目标可以包括人的头部、行人和汽车等。

Description

基于视频的目标跟踪方法及装置

技术领域

本发明属于信号处理中计算机视觉与模式分析技术领域，具体涉及一种基于多线索融合的视频中目标跟踪的方法及装置。

背景技术

目标跟踪最早应用于军事方面，近来随着视频技术的发展，视频中的目标跟踪成为热门的研究课题。它是计算机视觉研究领域的核心课题之一，是行为识别、视频检索等更高级视频应用的基础，也是智能视频监控的重要组成部分。

目标跟踪中一个关键步骤是数据关联，如何使用最有效的线索来表达和描述目标是关键。目前主要的线索有加权颜色直方图，颜色的小波特征，特征点特征和二值形状模板等。但传统的跟踪方法多数是基于单线索的方法，当环境和场景变化时，目标的单一特征或线索容易丢失，使跟踪失败或变得非常困难，也就是只利用目标某一方面的特征不能进一步的提高跟踪算法的可靠性和准确性。

为了解决这一问题，最根本的方法是同时利用目标的多种线索进行跟踪，由于目标多种线索同时丢失的可能性不大，只要跟踪算法能够适应环境的变化，选择合适而可靠的线索作为跟踪依据，那么就能得到较为可靠和准确的跟踪结果。另外，根据经验和研究发现，人眼利用单线索进行目标跟踪的情况远远少于利用多线索的情况，这也给基于多线索的目标跟踪方法提供了生物学上的依据。如公开号为CN1619593的中国专利公开了一种“基于多特征信息融合的视频运动目标自适应跟踪方法”，该专利依据模糊逻辑自适应融合颜色和形状线索信息来描述目标的观测信息，并用遗传算法来进行目标搜索，提高了跟踪的可靠性。但其仅指定跟踪目标为人的头部，有一定的局限性，而且基于遗传算法的搜索方式只寻找与目标最相似的候选目标，往往不能有效处理图像中“多峰”的情况，如暂时遮挡等，造成跟踪不稳定。

发明内容

本发明的目的是为了克服现有技术中的不足，提供一种基于多线索融合和粒子滤波的视频目标跟踪方法及其装置，提高对复杂环境下运动目标的跟踪效果。

为了实现上述目的，本发明的基于视频的目标跟踪方法是通过以下技术方案实现的：

该方法根据颜色、边缘、特征点三个线索进行自适应融合得到目标的观测信息，然后用粒子滤波技术对目标状态进行更新，具体内容包括：

A、提取目标模板并初始化目标参数；

B、根据运动模型，对粒子集合进行动态预测；

C、根据多线索融合信息更新粒子权重；

D、更新目标的运动状态。

在上述技术方案中，在所述的步骤A中，所述的提取目标模板并初始化目标参数的具体实现步骤如下：

A1、建立目标的加权颜色直方图模板；

A2、建立目标的特征点模板；

A3、建立目标的边缘模板；

A4、初始化目标运动状态和粒子集合。

在上述技术方案中，在所述的步骤B中，所述的运动模型包括静止、匀速和加速三种情况。

在上述技术方案中，在所述的步骤C中，所述的根据多线索融合信息更新粒子权重的具体步骤包括：

C1、提取粒子集合中每个粒子各个线索的信息，并分别计算与目标模板之间的相似性；

其中颜色线索采用Bhattacharyya距离衡量相似性，边缘和特征点线索采用改进的Hausdorff距离衡量相似性。

C2、第一帧粒子集合中每个线索最小的相似度来确定相应线索的观测噪声，确定后就保持不变，每个线索的观测噪声是由跟踪第一帧时粒子集合中每个线索对应最小的相似度确定，确定后就保持不变；

C3、计算每个粒子的各个线索对应的观测似然函数；

C4、计算每个粒子的各个线索的可信度，粒子集合中各个线索的可信度是由各个线索相应最大的观测似然确定；

C5、对各个线索进行加权和融合，得到最终的观测似然；

C6、根据最终的观测似然更新粒子的权重。

在上述技术方案中，在所述的步骤D中，更新目标运动状态包括：

D1、用加权准则确定目标的位置；

D2、判断是否要对粒子集合重采样；

D3、判断是否跟踪结束，如果是则结束跟踪，如果否则进行下一帧的处理。

本发明的另一目的在于公开了一种基于视频的目标跟踪装置，它包括目标获取装置，目标初始化装置，目标状态预测装置，多线索融合装置，目标状态更新装置。

本发明与背景技术相比，具有如下有益效果：

1、采用颜色、边缘和特征点三种线索来描述目标的观测信息，并根据三个线索的似然函数自适应调整融合的权重，比采用单一线索的方法更能有效的描述目标信息。

2、采用粒子滤波技术对目标状态进行估计，比基于遗传算法的搜索策略能有效处理图像中的“多峰”现象，如暂时遮挡等，从而提高了跟踪的稳定性。本发明的跟踪目标可以包括人的头部，行人，汽车等。

附图说明

图1是本发明方法的流程图；

图2是图1流程图中步骤10的具体流程图；

图3是图1流程图中步骤30的具体流程图；

图4是本发明装置的原理框图。

具体实施方式

下面，结合附图和具体实施例对本发明做进一步说明。

本发明的基于视频的目标跟踪方法主要包含以下实现步骤：

步骤10、建立目标的特征模板并初始化特征集合

跟踪目标可以采用人机交互的方式在视频中指定区域，也可以根据视频的运动目标检测自动获取跟踪区域。假设目标是一个中心为(x₀，y₀)，长宽分别为m，n的矩形区域，但不限定是矩形区域，可以是任意的形状。根据这些先验知识建立目标的特征模板并初始化目标粒子集合，具体的实现步骤如下：

步骤11、建立目标的加权直方图模板

由于远离目标中心的区域可能被遮挡或受到背景影响，是相对不可靠的，对目标区域内不同坐标位置赋予不同的权重，坐标与区域中心的距离越近，其相应的权值就越大，可信度越高。因此，本发明对目标区域建立二维高斯核密度分布，体现区域内每一个坐标的距离权重。

$K(x_i,y_i)=G(\frac{|x_i-x_0|}{m},\frac{|y_i-y_0|}{n})---\left(1\right)$

其中G(x，y)表示标准的二维高斯分布函数。

为了减少视频信号各通道间的耦合关系，在目标的HSV颜色空间建立直方图。将H和S通道量化N_hs级，V通道量化为N_v级，通常为了降低光线强度变化的敏感度，使N_v<N_hs，因此直方图共有m＝2_Nhs+N_v级，定义函数b(x_i，y_i)→{1，…m}表示图像在坐标(x_i，y_i)处的像素值对于上述m级的映射。定义其加权颜色直方图模板q＝{q_u}_n＝1,2,…m，其中q_u表示级号为u的颜色量的概率，定义如下：

$q_u=C_H\underset{y_i=1}{\overset{m}{\mathrm{\&Sigma;}}}\underset{x_i=1}{\overset{n}{\mathrm{\&Sigma;}}}K(x_i,y_i)\mathrm{\&delta;}[b(x_i,y_i)-u]---\left(2\right)$

其中δ为Kronecker函数，K(x_i，y_i)K(x_i)为像素点对应的二维高斯分布概率，C_H是归化一因子。

步骤12、建立目标的特征点模板

特征点提取方法如下：

$E(x,y)=\underset{u,v}{\mathrm{\&Sigma;}}w(u,v){[I(x+u,x+v)-I(x,y)]}^2$

                                   (3)

$=[u,v]M\left[\frac{u}{v}\right]$

$M=\underset{u,v}{\mathrm{\&Sigma;}}w(u,v)\left[\begin{array}{cc}{I}_x^2& I_x{I}_y\\ I_x{I}_y& I_y^2\end{array}\right]---\left(4\right)$

式(3)，式(4)为特征点检测使用的像素相关函数，其中I为图像像素矩阵，w是用来进行降噪处理的平滑窗，I(x，y)为(x，y)点的像素值，I_x、I_y分别为图像像素在水平方向和垂直方向的1阶偏微商，

，

分别为图像像素在水平方向和垂直方向的2阶偏微商，(u，v)为偏移坐标。最后通过计算特征点的响应函数就可以得出图像中的特征点

R＝det(M)-ktr²(M)    k∈[0，0.04]    (5)

设定一个合理的阈值，当R大于阈值的时候，则判断为特征点。目标检测到的特征点集合记为E。

步骤13、建立目标的边缘模板

提取目标的边缘特征，基本步骤为：平滑、增强和检测。方法如下：

1)用高斯滤波器对待处理图像进行平滑处理，即选取合适的Gauss滤波器函数的标准方差σ和邻域大小对图像f(x，y)进行卷积运算，得到平滑图像，以达到抑制噪声的作用。

2)计算滤波后图像中每个像素梯度的幅值M和方向θ。采用以下2×2大小的模板P和Q分别对x和y方向的一阶偏导数近似：

$P=\frac{1}{2}\&times;\left[\begin{array}{cc}-1& 1\\ -1& 1\end{array}\right]$ $Q=\frac{1}{2}\&times;\left[\begin{array}{cc}1& 1\\ -1& -1\end{array}\right]---\left(6\right)$

$M(i,j)=\sqrt{P^2(i,j)+Q^2(i,j)}---\left(7\right)$

θ(i，j)＝arctan[Q(i，j)/P(i，j)]       (8)

3)对梯度幅值进行非极大值抑制，图像上(i，j)点处幅值M(i，j)的大小不能确定该点是否为边缘点，需要采用非极大值抑制确定边缘点，即细化幅值图像中的屋脊带，保留幅值局部变化最大的点。

4)用双阈值算法检测和连接边缘。设定高阈值为T1，低阈值为T2。像素点对应的幅值只要大于T1，则指定其为边缘点，而连接此点的象素，只要其值大于T2也被指定为边缘点。

目标检测到的边缘点集记为F。

步骤14、初始化目标跟踪参数和粒子集合

定义目标的初始运动参数X₀＝{x₀，y₀}，粒子集合为 $\{X_t^{\left(i\right)},w_t^{\left(i\right)},i=1,\&CenterDot;\&CenterDot;\&CenterDot;N\}$ 并且 $\mathrm{\&Sigma;}{w}_t^{\left(i\right)}=1,$ 其中N为粒子个数。每个粒子代表目标的一个可能的运动状态，只考虑平移运动来说，也就是目标一个可能的位置。每个粒子跟目标具有相同的参数， $X_t^{\left(i\right)}=\{x_t^{\left(i\right)},y_t^{\left(i\right)}\}.$ 初始化粒子集合参数为：

$X_0^{\left(i\right)}=X_0+\left[\begin{array}{c}{b}_x\\ b_y\end{array}\right]\mathrm{\&xi;}---\left(9\right)$

其中，ξ为[-1，1]内的随机数，b_x，b_y分别为粒子在x轴和y轴方向上的传播范围。

步骤20、粒子集合动态预测

t-1时刻第i个粒子状态

到t时刻第i个粒子状态的动态模型是采用一阶AR模型的模式，即

可由

经过下式确定性漂移和随机扩散得到

$X_t^{\left(i\right)}={\mathrm{AX}}_{t-1}^{\left(i\right)}+{\mathrm{BN}}_{t-1}^n---\left(10\right)$

式中A表示确定性部分，由目标的运动模型来确定。B为随机部分，表示t-1时刻的噪声矩阵。这些参数的确定可以通过对图像序列的学习得到，也可以根据经验设定。

步骤30、根据多线索融合信息更新粒子权重

步骤31、计算线索的相似性

对于每一个粒子状态，分别提取每个线索并计算其与线索模板的相似性。

步骤311、计算颜色线索相似性

提取当前时刻每个粒子

对应的加权颜色直方图模板

采用Bhattacharyya距离衡量真实目标颜色分布q和候选目标颜色分布

之间的相似性，

$D(q,q\left(X_t^{\left(\text{i}\right)}\right)={(1-\underset{u=1}{\overset{m}{\mathrm{\&Sigma;}}}\sqrt{q_u{q}_u\left(X_1^{\left(i\right)}\right)})}^{1/2}---\left(11\right)$

D越小，则分布的相似度越高，对于两个同样的加权颜色直方图模板，D＝0表示一个完美的匹配。

步骤312、计算特征点线索相似性

提取当前时刻每个粒子

对应的特征点模板

采用改进的Hausdorff距离(Modified Hausdorff Distance，MHD)衡量目标特征点模板E和目标特征点模板

的之间的相似性。

Hausdorff距离用来衡量两个点集的匹配程度，假设空间中存在两个点集A＝{a₁，…a_p}，B＝{b₁，…b_q}，则集合A，B间的Hausdorff距离定义为：

H(A，B)＝max(h(A，B)，h(B，A))               (12)

(12)中的h(A，B)和h(B，A)分别为A集合到B集合和B集合到A集合的单向Hausdorff距离，两者定义如下：

$h(A,B)=\underset{a\&Element;A}{\max }\underset{b\&Element;B}{\min }\left|\right|a-b\left|\right|---\left(13\right)$

$h(B,A)=\underset{b\&Element;B}{\max }\underset{a\&Element;A}{\min }||a-b||---\left(14\right)$

‖·‖表示距离范数，这里取L₂(欧式范数)。如果在待度量的集合中存在噪声点，就可能导致度量结果很大的误差。而实际应用当中，噪声点的混入是相当普遍甚至不可避免的现象，因此，使得Hausdorff距离的实用性、有效性大大降低。本发明采用改进型Haudorff距离(MHD)，将单向Hausdorff距离定义为(N_A为集合A元素的个数)：

$h(A,B)=\frac{1}{N_A}\underset{a\&Element;A}{\mathrm{\&Sigma;}}\underset{b\&Element;B}{\min }||a-b||---\left(15\right)$

MHD将单个元素代表整个集合的思想扩展为集合内所有元素的平均作用，从而很大程度上提高了算法对噪声的适应性。

步骤313、计算边缘线索相似性

提取当前时刻每个粒子

对应的边缘点集

同步骤312，利用改进Hausdorff距离来衡量目标边缘模板F和目标特征点模板

的之间的相似性。

步骤32、计算线索的观测噪声

如果跟踪帧为第一帧，则执行步骤32。由于每个线索的观测噪声不一样，其相应的相似性物理意义也是不一样的，不好直接比较，需考虑观测噪声的影响，才有比较的意义。这里用第一帧粒子集合中每个线索最小的相似度来确定相应线索的观测噪声，确定后就保持不变。公式如下：

${\mathrm{\&sigma;}}_{\mathrm{edge}}=\min \{D(q,q\left(X_t^{\left(i\right)}\right),i=1\&CenterDot;\&CenterDot;\&CenterDot;N\}---\left(16\right)$

${\mathrm{\&sigma;}}_{\mathrm{corner}}=\min \{H(E,E\left(X_t^{\left(i\right)}\right),i=1\&CenterDot;\&CenterDot;\&CenterDot;N\}---\left(17\right)$

${\mathrm{\&sigma;}}_{\mathrm{edge}}=\min \{H(F,F\left(X_t^{\left(i\right)}\right),i=1\&CenterDot;\&CenterDot;\&CenterDot;N\}---\left(18\right)$

步骤33、计算线索的观测似然

计算每个粒子的每个线索对应的观测似然函数，计算公式如下所示：

$p_{\mathrm{color}}\left(Z_{\mathrm{color},t}\right|X_t^{\left(i\right)})=\frac{1}{\sqrt{2\mathrm{\&pi;}}{\mathrm{\&sigma;}}_{\mathrm{color}}}\exp (-\frac{D^2(q,q\left(X_t^{\left(i\right)}\right)}{{2\mathrm{\&sigma;}}_{\mathrm{color}}^2})---\left(19\right)$

$p_{\mathrm{corner}}\left(Z_{\mathrm{corner},t}{X}_t^{\left(i\right)}\right)=\frac{1}{\sqrt{2\mathrm{\&pi;}}{\mathrm{\&sigma;}}_{\mathrm{corner}}}\exp (-\frac{H^{2(E,E(X_t^{\left(i\right)})}}{2{\mathrm{\&sigma;}}_{\mathrm{corner}}^2})---\left(20\right)$

$p_{\mathrm{edge}}\left(Z_{\mathrm{edge},t}\right|X_t^{\left(i\right)})=\frac{1}{\sqrt{2\mathrm{\&pi;}}{\mathrm{\&sigma;}}_{\mathrm{edge}}}\exp (-\frac{H^2(F,F\left(X_t^{\left(i\right)}\right)}{{2\mathrm{\&sigma;}}_{\mathrm{edge}}^2})---\left(21\right)$

其中Z_color，t，Z_corner，t，Z_edgc，t分别为t时刻各个线索对应的观测值。

步骤34、计算线索的可信度

根据线索的质量来确定加权和中线索对应的可信度。当线索质量好的时候，加大相对应的可信度，以突出质量好的线索。一般来说，可以用线索观测似然来评价线索的质量，如果线索的观测似然越高，则此时线索质量越好。因此，线索l的可信度由粒子集合中相对应最大的观测似然来决定，定义如下：

${\widehat{\mathrm{\&alpha;}}}_l=\max \{p_l\left(Z_l\right|X_t^{\left(i\right)}),i=1\&CenterDot;\&CenterDot;\&CenterDot;N\}---\left(22\right)$

其中l为相对应的线索。对这些权重做归一化得：

${\mathrm{\&alpha;}}_l=\frac{{\widehat{\mathrm{\&alpha;}}}_l}{\underset{l=1}{\overset{L}{\mathrm{\&Sigma;}}}{\widehat{\mathrm{\&alpha;}}}_l},l=1,\&CenterDot;\&CenterDot;\&CenterDot;L---\left(23\right)$

步骤35、计算总的观测似然

根据自适应调整后的权重，使用加权和公式，得到每个粒子最终的似然函数：

$p\left(Z_k\right|X_t^{\left(i\right)})={\mathrm{\&alpha;}}_{\mathrm{color}}{p}_{\mathrm{color}}\left(Z_{\mathrm{color}}\right|X_t^{\left(i\right)})+{\mathrm{\&alpha;}}_{\mathrm{edge}}{p}_{\mathrm{edge}}\left(Z_{\mathrm{edge}}\right|X_t^{\left(i\right)})+{\mathrm{\&alpha;}}_{\mathrm{corner}}{p}_{\mathrm{corner}}\left(Z_{\mathrm{corner}}\right|X_t^{\left(i\right)})---\left(24\right)$

根据似然函数可以更新粒子的权重并归一化：

$w_t^{\left(i\right)}=\frac{w_{t-1}^{\left(i\right)}p\left(Z_t\right|X_t^{\left(i\right)})}{\mathrm{\&Sigma;}{w}_{t-1}^{\left(i\right)}p\left(z_t\right|X_t^{\left(i\right)})}---\left(25\right)$

步骤40、估计目标的位置

根据步骤35得到的各个粒子的概率权重，估计得到当前时刻目标的位置：

$X_t={\mathrm{\&Sigma;}}_{n=1}^N{w}_t^{\left(i\right)}{X}_t^{\left(i\right)}---\left(26\right)$

步骤50、粒子集合重采样

为了防止粒子由于权重过小而产生退化现象，对粒子进行重采样。先通过公式(27)计算目标的有效采样大小N_eff的估计值

${\hat{N}}_{\mathrm{eff}}=\frac{1}{\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{\left(w_t^i\right)}^2}---\left(27\right)$

如果

越小，则说明粒子集合退化现象越严重。设定一个合理的阈值N_T，如果 ${\hat{N}}_{\mathrm{eff}}<N_T,$ 则对粒子集合进行重新采样。重新采样步骤如下：

1)根据公式(28)计算累积概率分布

$c_t^{\left(0\right)}=0$

$c_t^{\left(i\right)}=c_t^{(i-1)}+w_t^{(i-1)}---\left(28\right)$

$c_{t-1}^{\&prime;\left(n\right)}=\frac{c_{t-1}^{\left(n\right)}}{c_{t-1}^{\left(N\right)}}$

2)产生N个服从均匀分布的随机数u_n∈[0，1]

3)在集合

中选择满足条件 $c_{t-1}^{\&prime;\left(j\right)}\&GreaterEqual;r_n$ 的最小j，令 $X_t^{\left(n\right)}=X_t^j,$ $w_t^{\left(n\right)}=N^{-1},$ 0≤n≤N。

步骤60、判断跟踪是否结束

如果运动目标出了边框，可判断跟踪结束，开始下个目标新的跟踪。如果没有出边框，则继续跟踪。

如图4，本发明的基于视频的目标跟踪装置主要包含以下部分：

1)目标获取装置。根据实际情况可以有两种方法，一是通过人机交互获取要跟踪的目标，二是通过目标检测自动获取要跟踪的目标，通过对背景进行混合高斯建模，然后利用背景差的方法得到运动目标。

2)目标初始化装置。分别建立目标的加权颜色直方图模板，边缘模板和特征点模板，初始化目标的运动状态和粒子集合。

3)目标状态预测装置。根据目标的运动模型，对粒子集合进行动态预测。

4)多线索融合装置。分别计算颜色、边缘和特征点三个线索的相似性，由相似性确定相应线索的观测噪声、观测似然以及可信度，用加权和融合的方式确定总的观测似然，更新并归一化粒子集合的权重。

5)目标状态更新装置。用加权准则确定目标的位置，对粒子集合进行重采样，并判断跟踪是否结束。如果跟踪结束则退出，如果没还没有结束则对下一帧进行处理。

Claims (3)

1.一种基于视频的目标跟踪方法，其特征在于根据颜色、边缘、特征点三个线索进行自适应融合得到目标的观测信息，然后用粒子滤波技术对目标状态进行更新，具体步骤如下：

A、提取视频中目标模板并初始化目标参数；

B、根据运动模型，对粒子集合进行动态预测；

C、根据多线索融合信息更新粒子权重；

D、更新目标的运动状态；

所述步骤A中提取目标模板并初始化目标参数的具体步骤如下：

A1、建立目标的加权颜色直方图模板：目标是一个中心为(x₀，y₀)，长宽分别为m1，n1的矩形区域，在目标的HSV颜色空间建立直方图，将H和S通道量化N_hs级，V通道量化为N_v级，因此直方图共有m2＝2N_hs+N_v级，定义函数b(x_i，y_i)→{1，…m2}表示图像在坐标(x_i，y_i)处的像素值对于上述m2级的映射，定义加权颜色直方图模板q＝{q_u1}_{u1＝1，2，…m2}，其中q_u1表示级号为u1的颜色量的概率，

K(x_i，y_i)为像素点对应的二维高斯分布概率，

G(x，y)表示标准的二维高斯分布函数，δ为Kronecker函数，C_H是归一化因子；

A2、建立目标的特征点模板：

特征点提取方法如下：

k∈[0，0.04]，

其中，I为图像像素矩阵，w是用来进行降噪处理的平滑窗，I(x，y)为(x，y)点的像素值，I_x、I_y分别为图像像素在水平方向和垂直方向的1阶偏微商，

分别为图像像素在水平方向和垂直方向的2阶偏微商，(u2，v2)为偏移坐标；通过计算特征点的响应函数R就可以得出图像中的特征点，R＝det(M1)-ktr²(M1)，设定一个合理的阈值，将R大于阈值的点作为特征点，目标检测到的特征点集合记为E；

A3、建立目标的边缘模板，包括：A31、对待处理得图像进行高斯滤波；A32、计算滤波后图像中每个像素梯度的幅值M2和方向θ；A33、对梯度幅值进行非极大值抑制；A34、用双阈值算法检测和连接边缘，目标检测到的边缘点集记为F；

A4、初始化目标运动状态和粒子集合；初始化粒子集合参数为：

初始运动参数X₀＝{x₀，y₀}，粒子集合为

并且

其中N为粒子个数，ξ为[-1，1]内的随机数，b_x，b_y分别为粒子在x轴和y轴方向上的传播范围；

步骤B中对粒子集合进行动态预测包括：t-1时刻第i个粒子状态到t时刻第i个粒子状态

的动态模型是采用一阶AR模型的模式；

所述步骤C的根据多线索融合信息更新粒子权重包括：

C1、提取粒子集合中每个粒子各个线索的信息，并分别计算与目标模板之间的相似性：1)提取当前时刻每个粒子

对应的加权颜色直方图模板

采用Bhattacharyya距离衡量真实目标颜色分布q和

之间的相似性，

$D(q,q\left(X_t^{\left(i\right)}\right)={(1-\underset{u1=1}{\overset{m2}{\mathrm{\&Sigma;}}}\sqrt{q_{u1}{q}_{u1}(X_t^{\left(i\right)}})}^{1/2};$

2)提取当前时刻每个粒子

对应的特征点模板采用改进的Hausdorff距离衡量目标特征点模板E和

的之间的相似性，其中，改进的Hausdorff距离定义为H(A，B)＝max(h(A，B)，h(B，A))，A、B为空间中存在两个点集，A＝{a₁，…a_p}，B＝{b₁，…b_q}，

N_A为集合A元素的个数；

3)提取当前时刻每个粒子

对应的边缘点集

利用所述改进Hausdorff距离来衡量目标边缘模板F和

的之间的相似性；

C2、计算每个线索的观测噪声；其中按照下式计算每个线索的观测噪声：

${\mathrm{\&sigma;}}_{\mathrm{color}}=\min \{D(q,q\left(X_t^{\left(i\right)}\right),i=1...N\};$

${\mathrm{\&sigma;}}_{\mathrm{corner}}=\min \{H(E,E\left(X_t^{\left(i\right)}\right),i=1...N\};$

${\mathrm{\&sigma;}}_{\mathrm{edge}}=\min \{H(F,F\left(X_t^{\left(i\right)}\right),i=1...N\};$

为当前时刻对应的目标特征点模板

和目标特征点模板E之间的改进的Hausdorff距离；

为当前时刻的目标边缘模板

和目标边缘模板F之间的改进的Hausdorff距离；

C3、计算每个粒子的各个线索对应的观测似然；其中按照下式计算每个粒子的各个线索对应的观测似然：

$p_{\mathrm{color}}\left(Z_{\mathrm{color},t}\right|X_t^{\left(i\right)})=\frac{1}{\sqrt{2\mathrm{\&pi;}}{\mathrm{\&sigma;}}_{\mathrm{color}}}\exp (-\frac{D^2(q,q(X_t^{\left(i\right)})}{{2\mathrm{\&sigma;}}_{\mathrm{color}}^2});$

$p_{\mathrm{corner}}\left(Z_{\mathrm{corner},t}{X}_t^{\left(i\right)}\right)=\frac{1}{\sqrt{2\mathrm{\&pi;}}{\mathrm{\&sigma;}}_{\mathrm{corner}}}\exp (-\frac{H^2(E,E\left(X_t^{\left(i\right)}\right)}{{2\mathrm{\&sigma;}}_{\mathrm{corner}}^2});$

$p_{\mathrm{edge}}\left(Z_{\mathrm{edge},t}\right|X_t^{\left(i\right)})=\frac{1}{\sqrt{2\mathrm{\&pi;}}{\mathrm{\&sigma;}}_{\mathrm{edge}}}\exp (-\frac{H^2(F,F(X_t^{\left(i\right)})}{{2\mathrm{\&sigma;}}_{\mathrm{edge}}^2});$

其中Z_color，t，Z_corner，t，Z_edge，t分别为t时刻各个线索对应的观测值；

C4、计算相应的可信度；其中，按照下式计算相应的可信度：

线索l的可信度

l＝1，…L，

C5、对各个线索进行加权和融合，得到最终的观测似然

C6、根据最终的观测似然更新粒子的权重，其中权重

在所述的步骤D中，更新目标运动状态包括：

D1、根据更新的各个粒子的权重，估计得到当前时刻目标的位置：

$X_t={\mathrm{\&Sigma;}}_{i=1}^N{w}_t^{\left(i\right)}{X}_t^{\left(i\right)};$

D2、判断是否要对粒子集合重采样，其中按照下式计算目标的有效采样大小N_eff的估计值

设定一个合理的阈值N_T，如果

则对粒子集合进行重新采样；

D3、判断是否跟踪结束，如果是则结束跟踪，如果否则进行下一帧的处理；其中如果运动目标出了边框，则跟踪结束。

2.根据权利要求1所述的基于视频的目标跟踪方法，其特征在于，在所述的步骤C2中，每个线索的观测噪声是由跟踪第一帧时粒子集合中每个线索对应最小的相似度确定，确定后就保持不变。

3.根据权利要求1所述的基于视频的目标跟踪方法，其特征在于，在所述的步骤B中，所述的运动模型包括静止、匀速和加速三种情况。

Images