CN103903280A - 一种改进水平集目标提取的子块权重Mean-Shift跟踪方法 - Google Patents

Abstract

本发明属于图像处理技术领域，具体涉及一种改进水平集目标提取的子块权重Mean-Shift跟踪方法。本发明包括：对跟踪目标区域进行分块；计算每个子块的权重和最终权重；计算每个子块目标区域与候选区域的相似度以及整体目标区域与候选区域的相似度；更新模板，跟踪结果的确定。本发明根据算法过程和视频图像的特点，为了提高提取精度和运行效率，提出结合惩罚项的窄带水平集方法得到目标的边缘轮廓，确定目标边缘位置。

Description

一种改进水平集目标提取的子块权重Mean-Shift跟踪方法

技术领域

本发明属于图像处理技术领域，具体涉及一种改进水平集目标提取的子块权重Mean-Shift跟踪方法。

背景技术

动态场景中运动目标跟踪是计算机视觉领域中的一个重要课题，其跟踪效果直接影响整个跟踪系统性能的优劣。基于Mean-Shift算法的跟踪方法是一种最优的寻找概率密度极大值的梯度上升法，因此，国内外学者对Mean-Shift算法在动态场景中的运动目标跟踪进行了深入的研究，取得了重要成果。

在已有的文献中效果较好的方法主要包括：1.分层Mean-Shift目标跟踪算法：2009年许海霞,王耀南,袁小芳,周维,朱江.一种分层Mean Shift目标跟踪算法.自动化学报,2009,35(4):401-409.提出通过建立目标模型与目标候选模型的聚类，以进行聚类块匹配，完成运动目标跟踪；2.根据候选目标与模块相似度匹配程度进行分块跟踪：Fanglin Wang,ShengyangYu,Jie Yang.A novel fragments-based tracking algorithm using mean shift.Control,Automation,Robotics and Vision,2008,694-698.提出对目标进行分块跟踪，根据候选目标与模块相似度匹配程度来动态的调整子块的权重，达到跟踪目的；3.自适应金字塔建模的实时视觉跟踪：Shu-Xiao Li,Hong-Xing Chang,Cheng-Fei Zhu.Adaptive pyramidmean shift for global real-time visual tracking.Image and Vision Computing,2010,28(3):424-437.提出一种自适应金字塔建模的实时视觉跟踪，取得了良好的效果；4.提取出每块的核函数加权的梯度方向直方图特征完成运动目标跟踪：贾慧星,章毓晋.基于梯度直方图特征的多核跟踪.自动化学报,2009,35(10):1283-1289.提出将目标分块，分别提取出每块的核函数加权的梯度方向直方图特征完成运动目标跟踪，减弱被背景遮挡的子块对目标跟踪的影响，提高算法的鲁棒性；5.空间金字塔技术对目标分块，完成跟踪：Lazebnik S,SchmidC,Ponce J.Beyond bags of features:spatial pyramid matching for recognizing naturalscene categories.Proceedings of the IEEE Computer Society Conference on ComputerVision and Pattern Recognition,New York,NY,United states,2006(2):2169-2178.提出利用空间金字塔技术对目标进行分块，完成目标跟踪。6.高斯建模得到面积比例作为权重进行分块跟踪：李铁骑，卢章平.基于前景分块meanshift跟踪.制造业自动化学报,2011,33(7):91-94.提出利用高斯建模得到面积比例作为权重，减弱背景遮挡的子块对目标跟踪的影响，提高算法的鲁棒性。

在Mean-Shift跟踪过程中，本发明每个子块内的目标面积提取对子块权重的计算起到重要的作用，水平集用隐含的方式来描述平面闭合曲线，将曲线的演化转化成求解数值偏微分方程的问题，避免了曲线演化时参数化的过程，比较容易处理闭合曲线的拓扑结构变化（即分裂或合并），提高目标提取精度。所以，国内外学者对水平集算法在目标的提取中进行了深入研究，取得了重要成果。

在已有的文献中效果较好的方法主要包括：1.利用贝叶斯风险将边缘检测问题转化为像素分类问题：Yao-Tien Chen.A level set method based on the Bayesian risk for medicalimage segmentation.Pattern Recognition,2010,43(2010):3699-3711.提出在边缘检测中对像素进行分类后，采用贝叶斯风险值来决策控制目标提取精度，达到医学图像的目标提取；2.粗边缘检测（Sobel算子）和水平集算法的结合：Pin Zhang,Rong Li,Jun Li.Segmentationof holographic images using the level set method.Optik,2012,123(2012):132-136.提出了粗边缘检测（Sobel算子）和水平集算法的结合，解决了全息干涉（全息图像）的目标提取问题；3.结合高帽变换、低帽变换与水平集算法相结合的提取方法：Guang Liu,HongyuBian,Hong Shi.Sonar Image Segmentation based on an Improved Level Set Method,International Conference on Medical Physics and BiomedicalEngineering,2012,22(2012):1168-1175.通过结合高帽变换、低帽变换与水平集算法相结合的提取方法，得到了良好的目标提取效果；4.基于区域融合和窄带能量图分割的多模式图像分割算法：Xiaojing Yuan,Ning Situ,George Zouridakis.A narrow band graphpartitioning method for skin lesion segmentation.PatternRecognition,2009,42(2009):1017-1028.提出基于区域融合和窄带能量图分割的多模式图像分割算法，达到准确的皮肤病灶图像分割；5.形态闭运算对水平集函数进行光滑处理：QiangZheng,Enqing Dong.Narrow Band Active Contour Model for Local Segmentation of Medicaland Texture Images.Acta Automatica Sinica,2013,39(1):21-30.提出利用形态闭运算对水平集函数进行光滑处理，保证了水平集函数演化的有效性，完成了高精度的目标边缘提取。

发明内容

本发明的目的在于提供一种对背景的变化和遮挡不敏感，具有更好的跟踪性能的改进水平集目标提取的子块权重Mean-Shift跟踪方法。

本发明的目的是这样实现的：

（1）对跟踪目标区域进行分块，描述各个子块中目标及候选区域的特征模型：将跟踪目标区域划分成J个子块，在各个子块中目标及候选区域的特征模型描述考虑目标区域的RGB颜色信息和像素空间位置信息，

每个子块中心位置

的目标区域颜色概率分布为 $q_u=\{q_u^{\left(J\right)}\left(x_0\right),u=1,2,\·\·\·,m^{\left(J\right)}\},$ 为：

$q_u^{\left(J\right)}=C^{\left(J\right)}\underset{i=1}{\overset{n^{\left(J\right)}}{\mathrm{\Σ}}}k\left({\left|\right|\frac{x_0^{\left(J\right)}-x_i^{\left(J\right)}}{h^{\left(J\right)}}\left|\right|}^2\right)\mathrm{\δ}[b\left(x_i\right)-u],$

式中，n^(J)为子块区域内总像素数，

表示目标区域子块的大小；δ是Kronecker Delta函数；是核函数的轮廓函数，C^(J)为归一化函数，

$C^{\left(J\right)}=\frac{1}{\underset{i=1}{\overset{n^{\left(J\right)}}{\mathrm{\Σ}}}k\left(\right|\left|\frac{x_0^{\left(J\right)}-x_i^{\left(J\right)}}{h^{\left(J\right)}}\right|\left|\right)};$

每个子块中心位置的候选区域颜色概率分布表示为 $p_u=\{p_u^{\left(J\right)}\left(y_0\right),u=\mathrm{1,2},\·\·\·,m^{\left(J\right)}\},$

为：

$p_u^{\left(J\right)}=C^{\left(J\right)}\underset{i=1}{\overset{n^{\left(J\right)}}{\mathrm{\Σ}}}k\left({\left|\right|\frac{y_0^{\left(J\right)}-y_i^{\left(J\right)}}{h^{\left(J\right)}}\left|\right|}^2\right)\mathrm{\δ}[b\left(y_i\right)-u],$

式中，n^(J)为子块区域内总像素数，

表示候选区域子块的大小；δ是Kronecker Delta函数，

有 $C^{\left(J\right)}=\frac{1}{\underset{i=1}{\overset{n^{\left(J\right)}}{\mathrm{\Σ}}}k\left(\right|\left|\frac{y_0^{\left(J\right)}-y_i^{\left(J\right)}}{h^{\left(J\right)}}\right|\left|\right)};$

（2）计算每个子块的权重和最终权重：利用子块的目标区域与候选区域的相似度计算每个子块的权重

利用每个子块内的目标面积与整体目标面积之比计算每个子块的权重

计算每个子块最终的权重

其中α和β是系数；

${\mathrm{\λ}}_1^{\left(J\right)}=\frac{{\mathrm{\ρ}}^{\left(J\right)}\left[p_u^{\left(J\right)}\left(y_0^{\left(J\right)}\right),q_u^{\left(J\right)}\right]}{\underset{J=1}{\overset{J}{\mathrm{\Σ}}}{\mathrm{\ρ}}^{\left(J\right)}\left[p_u^{\left(J\right)}{\left(y_0^{\left(J\right)}\right),q}_u^{\left(J\right)}\right]},$

是每个子块的目标区域与候选区域的相似度；

S^(J)是每个目标子块内的目标面积；

$\begin{array}{c}E\left(\mathrm{\φ}\right)=P\left(\mathrm{\φ}\right)+E_{\mathrm{smooth}}\left(\mathrm{\φ}\right)+E_{\mathrm{nb}}\left(\mathrm{\φ}\right)\\ ={\∫}_{\mathrm{\Ω}}\frac{1}{2}{\left(\right|\▿\mathrm{\φ}\left|\right)}^2\mathrm{du}+\mathrm{\μ}{\∫}_{\mathrm{\Ω}}\mathrm{g\δ}\left(\mathrm{\φ}\right)|\▿\mathrm{\φ}|\mathrm{du}+v{\∫}_{\mathrm{\Ω}}\mathrm{gH}\left(\mathrm{\φ}\right)\mathrm{du}\\ +{\∫}_{\mathrm{\Ω}}{\∫}_0^{B}g{(I(\stackrel{\→}{c}+b\stackrel{\→}{n})-k_{\mathrm{in}})}^{2}l(1-\mathrm{b\κ})\mathrm{dbdu}\\ +{\∫}_{\mathrm{\Ω}}{\∫}_0^{B}g{(I(\stackrel{\→}{c}-b\stackrel{\→}{n})-k_{\mathrm{out}})}^{2}l(1+\mathrm{b\κ})\mathrm{dbdu}\end{array},$

$P\left(\mathrm{\φ}\right)={\∫}_{\mathrm{\Ω}}\frac{1}{2}{\left(\right|\▿\mathrm{\φ}\left|\right)}^2\mathrm{du}$ 是惩罚项，

$E_{\mathrm{smooth}}\left(\mathrm{\&phi;}\right)=\mathrm{\&mu;Length}\left(\mathrm{\&phi;}\right)+\mathrm{vArea}\left(\mathrm{\&phi;}\right)=\mathrm{\&mu;}{\&Integral;}_{\mathrm{\&Omega;}}\mathrm{\&delta;}\left(\mathrm{\&phi;}\right)|\&dtri;\mathrm{\&phi;}|\mathrm{dxdy}+v{\&Integral;}_{\mathrm{\&Omega;}}H\left(\mathrm{\&phi;}\right)\mathrm{dxdy}$ 为平滑项，其中， $H\left(\mathrm{\&phi;}\right)=\left\{\begin{array}{cc}1& \mathrm{\&phi;}\&GreaterEqual;0\\ 0& \mathrm{\&phi;}<0\end{array}\right.,$ δ(·)是狄拉克函数； $\begin{array}{c}{E}_{\mathrm{nb}}\left(\mathrm{\&phi;}\right)={\&Integral;}_{\mathrm{\&Omega;}}{\&Integral;}_0^B{(I(\stackrel{\&RightArrow;}{c}+b\stackrel{\&RightArrow;}{n})-k_{\mathrm{in}})}^{2}l(1-\mathrm{b\&kappa;})\mathrm{dbdu}\\ +{\&Integral;}_{\mathrm{\&Omega;}}{\&Integral;}_0^B{(I(\stackrel{\&RightArrow;}{c}-b\stackrel{\&RightArrow;}{n})-k_{\mathrm{out}})}^{2}l(1+\mathrm{b\&kappa;})\mathrm{dbdu}\end{array}$ 为窄带项，κ为曲率，

为位置向量，为法向量，

为长度元素，k_in与k_out为内外窄带平均灰度值，

$k_{\mathrm{in}}=\frac{1}{\left|B_{\mathrm{in}}\right|}{\&Integral;}_{\mathrm{\&Omega;}}{\&Integral;}_0^B(I(\stackrel{\&RightArrow;}{c}+b\stackrel{\&RightArrow;}{n})l(1-\mathrm{b\&kappa;})\mathrm{dbdu}$ 和 $k_{\mathrm{out}}=\frac{1}{\left|B_{\mathrm{out}}\right|}{\&Integral;}_{\mathrm{\&Omega;}}{\&Integral;}_0^B(I(\stackrel{\&RightArrow;}{c}+b\stackrel{\&RightArrow;}{n})l(1-\mathrm{b\&kappa;})\mathrm{dbdu},$

$B_{\mathrm{in}}={\&Integral;}_{\mathrm{\&Omega;}}l(B-\frac{B^2}{2}\mathrm{\&kappa;})\mathrm{du},$ $B_{\mathrm{out}}={\&Integral;}_{\mathrm{\&Omega;}}l(B+\frac{B^2}{2}\mathrm{\&kappa;})\mathrm{du},$

g为图像边缘指数， $g=\frac{1}{1+|\&dtri;G_{\mathrm{\&sigma;}}*I_0|};$

结合惩罚项的窄带水平集方法的偏微分方程为：

$\begin{array}{c}\frac{\&PartialD;\mathrm{\&phi;}}{\&PartialD;t}=[\mathrm{\&Delta;\&phi;}-\mathrm{div}\left(\frac{\&dtri;\mathrm{\&phi;}}{|\&dtri;\mathrm{\&phi;}|}\right)]+{\mathrm{\&delta;}}_{\mathrm{\&epsiv;}}\left(\mathrm{\&phi;}\right)[\mathrm{\&mu;}\mathrm{div}\left(g\frac{\&dtri;\mathrm{\&phi;}}{|\&dtri;\mathrm{\&phi;}|}\right)-\mathrm{gv}]\\ +\mathrm{gl}[-{(I(x,y)-k_{\mathrm{in}})}^2+(1-\mathrm{B\&kappa;}){(I{(x,y)}_{\left[B\right]}-k_{\mathrm{in}})}^2-(1+\mathrm{B\&kappa;}){(I{(x,y)}_{[-B]}-k_{\mathrm{out}})}^2+{(I(x,y)-k_{\mathrm{out}})}^2]\stackrel{\&RightArrow;}{n}\end{array}$

式中， ${\mathrm{\&delta;}}_{\mathrm{\&epsiv;}}\left(\mathrm{\&phi;}\right)=\frac{1}{\mathrm{\&pi;}}\&CenterDot;\frac{\mathrm{\&epsiv;}}{{\mathrm{\&epsiv;}}^2+{\mathrm{\&phi;}}^2};$

${\mathrm{\&phi;}}_{i,j}^{n+1}={\mathrm{\&phi;}}_{i,j}^n+\mathrm{\&Delta;t}\&CenterDot;[\max (E,0)\&CenterDot;{\&dtri;}^{+}+\min (E,0)\&CenterDot;{\&dtri;}^{-}+\mathrm{\&mu;}\&CenterDot;K_{i,j}\&CenterDot;{({\left(D_{i,j}^{0x}\right)}^2+{\left(D_{i,j}^{0y}\right)}^2)}^{1/2}]$

式中， $\left\{\begin{array}{c}{\&dtri;}^{+}={[\max {(D_{i,j}^x,0)}^2+\min {(D_{i,j}^{+x},0)}^2+{\max (D_{i,j}^y,0)}^2+\min {(D_{i,j}^{+y},0)}^2]}^{1/2}\\ \&dtri;={[\min {(D_{i,j}^x,0)}^2+\max {(D_{i,j}^{+x},0)}^2+\min {(D_{i,j}^y,0)}^2+\max {(D_{i,j}^{+y},0)}^2]}^{1/2}\\ E=-\mathrm{gv}+\mathrm{gl}[-{(I(x,y)-k_{\mathrm{in}})}^2+(1-\mathrm{B\&kappa;}){(I{(x,y)}_{\left[B\right]}-k_{\mathrm{in}})}^2-(1+\mathrm{B\&kappa;}){(I{(x,y)}_{\left[B\right]}-k_{\mathrm{out}})}^2+{(I(x,y)-k_{\mathrm{out}})}^2]\end{array}\right.,$ K_i,j是水平集函数在(i,j)处的曲率， $K_{i,j}=\&dtri;\&CenterDot;\frac{\&dtri;\mathrm{\&phi;}}{|\&dtri;\mathrm{\&phi;}|}=\frac{{\mathrm{\&phi;}}_{\mathrm{xx}}\&CenterDot;{\mathrm{\&phi;}}_y^2-2\&CenterDot;{\mathrm{\&phi;}}_x\&CenterDot;{\mathrm{\&phi;}}_y\&CenterDot;{\mathrm{\&phi;}}_{\mathrm{xy}}+{\mathrm{\&phi;}}_{\mathrm{yy}}\&CenterDot;{\mathrm{\&phi;}}_x^2}{{({\mathrm{\&phi;}}_x^2+{\mathrm{\&phi;}}_y^2)}^{3/2}};$

（3）计算每个子块目标区域与候选区域的相似度以及整体目标区域与候选区域的相似度：每个子块的目标区域与候选区域的相似度为：

${\mathrm{\&rho;}}^{\left(J\right)}\left[p_u^{\left(J\right)}(y_0^{\left(J\right)},q_u^{\left(J\right)})\right]\&ap;\frac{1}{2}\&CenterDot;\underset{u=1}{\overset{m^{\left(J\right)}}{\mathrm{\&Sigma;}}}\sqrt{p_u\left(y_0^{\left(J\right)}\right)\&CenterDot;q_u}+\frac{C_h}{2}\&CenterDot;\underset{i=1}{\overset{n^{\left(J\right)}}{\mathrm{\&Sigma;}}}{w}_i^{\left(J\right)}\&CenterDot;k\left({\left|\right|\frac{y_0^{\left(J\right)}-y_i^{\left(J\right)}}{h^{\left(J\right)}}\left|\right|}^2\right),$

式中，

为加权因子，有：

$w_i^{\left(J\right)}=\underset{u=1}{\overset{m^{\left(J\right)}}{\mathrm{\&Sigma;}}}\mathrm{\&delta;}[b\left(y_i^{\left(J\right)}\right)-u]\&CenterDot;\sqrt{\frac{q_u^{\left(J\right)}}{p_u^{\left(J\right)}\left(y_0^{\left(J\right)}\right)}},$

整体目标区域与候选区域的相似度：

$\mathrm{\&rho;}\left(y\right)=\underset{J=1}{\overset{J}{\mathrm{\&Sigma;}}}{\mathrm{\&rho;}}^{\left(J\right)}\&CenterDot;{\mathrm{\&lambda;}}^{\left(J\right)}\&ap;\frac{1}{2}\underset{J=1}{\overset{J}{\mathrm{\&Sigma;}}}{\mathrm{\&lambda;}}^{\left(J\right)}\underset{u=1}{\overset{m^{\left(J\right)}}{\mathrm{\&Sigma;}}}\sqrt{p_u\left(y_0^{\left(J\right)}\right)\&CenterDot;q_u}+\frac{C_h}{2}\underset{J=1}{\overset{J}{\mathrm{\&Sigma;}}}{\mathrm{\&lambda;}}^{\left(J\right)}\underset{i=1}{\overset{n^{\left(J\right)}}{\mathrm{\&Sigma;}}}{w}_i^{\left(J\right)}\&CenterDot;k\left({\left|\right|\frac{y_0^{\left(J\right)}-y_i^{\left(J\right)}}{h^{\left(J\right)}}\left|\right|}^2\right),$

式中，λ^(J)为第J个子块的权重，保证

（4）更新模板，跟踪结果的确定：目标区域最相似的候选目标区域的中心坐标为

如果||y-y₀||＜ε，则更新模版，输出运动目标跟踪结果；否则y₀←y，转到（2）。

在步骤（1）中采用十字分块，把区域按照从1到4的序号进行编号，分别统计RGB颜色信息，最后按空间位置顺序合成一个完整的颜色特征描述模型。

在步骤（2）中每一个子块的权重是结合目标子块与候选子块的相似度以及子块内的目标面积与整体目标面积之比作为尺度进行衡量。

步骤（2）在每个子块内的目标面积提取过程中，为了提高提取精度和运行效率，提出结合惩罚项的窄带水平集方法得到目标的边缘轮廓，确定目标边缘位置。根据分块的坐标，利用结合惩罚项的窄带水平集方法进行图像的边缘提取，从而计算出每个子块内包含的像素个数，以表示目标每个子块的面积。

步骤（2）中每个子块最终的权重是通过α和β进行调节权重各自所承担的重要程度，保证α+β＝1。

在步骤（3）中每个子块的目标区域与候选区域的相似度为

${\mathrm{\&rho;}}^{\left(J\right)}\left[p_u^{\left(J\right)}(y_0^{\left(J\right)},q_u^{\left(J\right)})\right]\&ap;\frac{1}{2}\&CenterDot;\underset{u=1}{\overset{m^{\left(J\right)}}{\mathrm{\&Sigma;}}}\sqrt{p_u\left(y_0^{\left(J\right)}\right)\&CenterDot;q_u}+\frac{C_h}{2}\&CenterDot;\underset{i=1}{\overset{n^{\left(J\right)}}{\mathrm{\&Sigma;}}}{w}_i^{\left(J\right)}\&CenterDot;k\left({\left|\right|\frac{y_0^{\left(J\right)}-y_i^{\left(J\right)}}{h^{\left(J\right)}}\left|\right|}^2\right).$

步骤（3）中

整体的目标与候选的相似度为

$\mathrm{\&rho;}\left(y\right)=\underset{J=1}{\overset{J}{\mathrm{\&Sigma;}}}{\mathrm{\&rho;}}^{\left(J\right)}\&CenterDot;{\mathrm{\&lambda;}}^{\left(J\right)}\&ap;\frac{1}{2}\underset{J=1}{\overset{J}{\mathrm{\&Sigma;}}}{\mathrm{\&lambda;}}^{\left(J\right)}\underset{u=1}{\overset{m^{\left(J\right)}}{\mathrm{\&Sigma;}}}\sqrt{p_u\left(y_0^{\left(J\right)}\right)\&CenterDot;q_u}+\frac{C_h}{2}\underset{J=1}{\overset{J}{\mathrm{\&Sigma;}}}{\mathrm{\&lambda;}}^{\left(J\right)}\underset{i=1}{\overset{n^{\left(J\right)}}{\mathrm{\&Sigma;}}}{w}_i^{\left(J\right)}\&CenterDot;k\left({\left|\right|\frac{y_0^{\left(J\right)}-y_i^{\left(J\right)}}{h^{\left(J\right)}}\left|\right|}^2\right).$

本发明的有益效果在于：已有的Mean-Shift的运动目标跟踪算法在目标及候选区域的特征模型描述时只考虑了目标区域的RGB颜色信息，而忽略了像素位置信息，影响跟踪的精度，因此本发明在各个子块目标及候选区域的特征模型描述中采用十字分块，把区域按照从1到4的序号进行编号，分别统计RGB颜色信息，最后按空间位置顺序合成一个完整的颜色特征描述模型。已有Mean-Shift算法为解决目标跟踪过程背景的变化和遮挡带来的跟踪误差问题，采用对目标区域进行分块处理，但对于每一个子块只考虑目标子块与候选子块的相似度或者子块内的目标面积与整体目标面积来计算Mean-Shift算法的整体相似度，计算的目标跟踪精度不是很高，因此，本发明针对已有Mean-Shift算法在动态场景中的运动目标跟踪精度相对低问题，提出对每一个子块的权重利用目标子块与候选子块的相似度和子块内的目标面积与整体目标面积之比表示。通过两个系数α和β进行调节它们各自所承担的重要程度，保证α+β＝1，完成精确的运动目标跟踪。在Mean-Shift跟踪过程中，每个子块内的目标面积提取对子块权重的计算起到重要的作用，针对已有的边缘检测算法，水平集比较容易处理闭合曲线的拓扑结构变化（即分裂或合并），提高目标提取精度，因此本发明根据算法过程和视频图像的特点，为了提高提取精度和运行效率，提出结合惩罚项的窄带水平集方法得到目标的边缘轮廓，确定目标边缘位置。根据分块的坐标，利用结合惩罚项的窄带水平集方法进行图像的边缘提取，从而计算出每个子块内包含的像素个数，以表示目标每个子块的面积。

附图说明

图1是本发明方法的流程图；

图2是十字分块方法图；

图3是曲线的水平集表达形式图；

图4是标准图像序列Coastguard中第120帧图像的目标初始位置和提取的目标面积图；

图5是本发明125帧跟踪结果和提取的目标面积图；

图6是本发明130帧的跟踪结果和提取的目标面积图；

图7是本发明135帧的跟踪结果和提取的目标面积图；

图8是本发明140帧的跟踪结果和提取的目标面积图；

图9是本发明145帧的跟踪结果和提取的目标面积图；

图10是以图4为初始模板的第120帧图像的目标初始位置和sobel算子提取的目标面积图；

图11是sobel算子提取目标面积的子块权重Mean-Shift跟踪方法跟踪125帧的跟踪结果和sobel算子提取的目标面积图；

图12是sobel算子提取目标面积的子块权重Mean-Shift跟踪方法跟踪130帧的跟踪结果和sobel算子提取的目标面积图；

图13是sobel算子提取目标面积的子块权重Mean-Shift跟踪方法跟踪135帧的跟踪结果和sobel算子提取的目标面积图；

图14是sobel算子提取目标面积的子块权重Mean-Shift跟踪方法跟踪140帧的跟踪结果和sobel算子提取的目标面积图；

图15是sobel算子提取目标面积的子块权重Mean-Shift跟踪方法跟踪145帧的跟踪结果和sobel算子提取的目标面积图；

图16是以图4为初始模板的第120帧图像图；

图17是原始Mean-Shift的运动目标跟踪方法跟踪125帧跟踪的结果图；

图18是原始Mean-Shift的运动目标跟踪方法跟踪130帧跟踪的结果图；

图19是原始Mean-Shift的运动目标跟踪方法跟踪135帧跟踪的结果图；

图20是原始Mean-Shift的运动目标跟踪方法跟踪140帧跟踪的结果图；

图21是原始Mean-Shift的运动目标跟踪方法跟踪145帧跟踪的结果图；

图22是跟踪评价结果图；

图23是实际拍摄的动场景图像序列鼠标的第10帧图像的目标初始位置和提取的目标面积图；

图24是本发明17帧跟踪结果和提取的目标面积图；

图25是本发明23帧跟踪结果和提取的目标面积图；

图26是本发明25帧跟踪结果和提取的目标面积图；

图27是本发明27帧跟踪结果和提取的目标面积图；

图28是本发明35帧跟踪结果和提取的目标面积图；

图29是实际拍摄的动场景图像序列人的第47帧图像的目标初始位置和提取的目标面积图；

图30是本发明53帧跟踪结果和提取的目标面积图；

图31是本发明57帧跟踪结果和提取的目标面积图；

图32是本发明62帧跟踪结果和提取的目标面积图；

图33是本发明66帧跟踪结果和提取的目标面积图；

图34是本发明69帧跟踪结果和提取的目标面积图。

具体实施方式

下面结合附图举例对本发明做更详细地描述：

（1）对跟踪目标区域进行分块，描述各个子块中目标及候选区域的特征模型：根据视频图像的特点将跟踪目标区域划分成J个子块，在各个子块中目标及候选区域的特征模型描述考虑目标区域的RGB颜色信息和像素空间位置信息；

（2）计算每个子块的权重和最终权重：①利用子块的目标区域与候选区域的相似度计算每个子块的权重

②利用每个子块内的目标面积与整体目标面积之比计算每个子块的权重

③计算每个子块最终的权重

其中α和β是系数；

（3）计算每个子块目标区域与候选区域的相似度以及整体目标区域与候选区域的相似度：①计算每个子块的目标区域与候选区域的相似度

②计算整体目标区域与候选区域的相似度ρ(y)；

（4）更新模板，跟踪结果的确定：目标区域最相似的候选目标区域的中心坐标为

如果||y-y₀||＜ε，则更新模版，输出运动目标跟踪结果；否则y₀←y，转到（2）。

结合图1，本发明的具体步骤如下：

（1）对跟踪目标区域进行分块，描述各个子块中目标及候选区域的特征模型：

根据视频图像的特点将跟踪目标区域划分成J个子块，在各个子块中目标及候选区域的特征模型描述采用如图2所示的十字分块，把区域按照从1到4的序号进行编号，分别统计RGB颜色信息，最后按空间位置顺序合成一个完整的颜色特征描述模型。但此方法使特征空间的bin区间数目增加为原来的4倍，这是一种资源上的消耗。对此，本发明提出改动原始的RGB统计方法。即RGB统计方法是把每个维度256个区间平均分成16份，所以bin区间共为16×16×16=4096个。但是在实际应用中，如此多的bin区间真正有意义的区间只在少数，因为一般跟踪的目标不可能颜色跨度太大，大部分的颜色区间都是空值。本发明把原来平均划分成16份，缩小到划分为8份，共产生8×8×8=512个bin区间。只有原来的bin区间数的1/8。用分块处理后，也只有512×4=2048个bin区间，甚至比不分块前的原始统计方法产生更少的区间数。此方法的代价是原来相邻的8个区间被合并到了一起，而这样做产生的误差在建模时完全可以忽略。

①目标区域子块概率分布

每个子块中心位置的目标区域颜色概率分布表示为 $q_u=\{q_u^{\left(J\right)}\left(x_0\right),u=1,2,\&CenterDot;\&CenterDot;\&CenterDot;,m^{\left(J\right)}\},$

为：

$q_u^{\left(J\right)}=C^{\left(J\right)}\underset{i=1}{\overset{n^{\left(J\right)}}{\mathrm{\&Sigma;}}}k\left({\left|\right|\frac{x_0^{\left(J\right)}-x_i^{\left(J\right)}}{h^{\left(J\right)}}\left|\right|}^2\right)\mathrm{\&delta;}[b\left(x_i\right)-u]$

式中，n^(J)为子块区域内总像素数，

表示目标区域子块的大小；δ是Kronecker Delta函数，δ[b(x_i)-u]总的作用是判断目标区域子块中像素

的颜色值是否属于第u个bin，u＝1，2，…m；

是核函数的轮廓函数，是一个凸的单调递减函数，用来给目标区域子块内的像素分配权值系数，由于跟踪的目标子块会受到背景或遮挡等因素的影响，像素随着离中心距离增大而可靠性变低，因此离中心越远的像素分配的权值越小。函数

中的作用是消除计算不同大小目标子块时的影响，将目标子块区域归一化到单位圆内。C^(J)为归一化函数，保证有

②候选区域子块概率分布

在后续帧中，每个子块中心位置

的候选区域颜色概率分布表示为

$p_u=\{p_u^{\left(J\right)}\left(y_0\right),u=\mathrm{1,2},\&CenterDot;\&CenterDot;\&CenterDot;,m^{\left(J\right)}\},$

为：

$p_u^{\left(J\right)}=C^{\left(J\right)}\underset{i=1}{\overset{n^{\left(J\right)}}{\mathrm{\&Sigma;}}}k\left({\left|\right|\frac{y_0^{\left(J\right)}-y_i^{\left(J\right)}}{h^{\left(J\right)}}\left|\right|}^2\right)\mathrm{\&delta;}[b\left(y_i\right)-u]$

式中，n^(J)为子块区域内总像素数，

表示候选区域子块的大小；δ是Kronecker Delta函数，δ[b(y_i)-u]总的作用是判断候选区域子块中像素的颜色值是否属于第u个bin，

是核函数的轮廓函数，是一个凸的单调递减函数，用来给候选区域子块内的像素分配权值系数，由于跟踪的候选子块会受到背景或遮挡等因素的影响，像素随着离中心距离增大而可靠性变低，因此离中心越远的像素分配的权值越小。函数

中

的作用是消除计算不同大小候选子块时的影响，将候选子块区域归一化到单位圆内。C^(J)为归一化函数，保证

有

（2）计算每个子块的权重和最终权重：

①每个子块的权重

用候选子块与目标子块的相似程度表示为

其中，

是每个子块的目标区域与候选区域的相似度。

②每个子块的权重

用每个子块内的目标面积与整体目标面积之比表示为

其中，S^(J)是每个目标子块内的目标面积，利用改进水平集的目标提取算法求得目标所在区域含有的像素个数来描述的。为了提高提取精度和运行效率，利用结合惩罚项的窄带水平集方法提取目标边缘，从而计算出每个子块内包含的像素个数，以表示目标每个子块的面积。

基本水平集的曲线水平集表达形式如图3所示，在此基础上结合惩罚项的窄带水平集方法的能量函数为：

$\begin{array}{c}E\left(\mathrm{\&phi;}\right)=P\left(\mathrm{\&phi;}\right)+E_{\mathrm{smooth}}\left(\mathrm{\&phi;}\right)+E_{\mathrm{nb}}\left(\mathrm{\&phi;}\right)\\ ={\&Integral;}_{\mathrm{\&Omega;}}\frac{1}{2}{\left(\right|\&dtri;\mathrm{\&phi;}\left|\right)}^2\mathrm{du}+\mathrm{\&mu;}{\&Integral;}_{\mathrm{\&Omega;}}\mathrm{g\&delta;}\left(\mathrm{\&phi;}\right)|\&dtri;\mathrm{\&phi;}|\mathrm{du}+v{\&Integral;}_{\mathrm{\&Omega;}}\mathrm{gH}\left(\mathrm{\&phi;}\right)\mathrm{du}\\ +{\&Integral;}_{\mathrm{\&Omega;}}{\&Integral;}_0^{B}g{(I(\stackrel{\&RightArrow;}{c}+b\stackrel{\&RightArrow;}{n})-k_{\mathrm{in}})}^{2}l(1-\mathrm{b\&kappa;})\mathrm{dbdu}\\ +{\&Integral;}_{\mathrm{\&Omega;}}{\&Integral;}_0^{B}g{(I(\stackrel{\&RightArrow;}{c}-b\stackrel{\&RightArrow;}{n})-k_{\mathrm{out}})}^{2}l(1+\mathrm{b\&kappa;})\mathrm{dbdu}\end{array}$

式中， $P\left(\mathrm{\&phi;}\right)={\&Integral;}_{\mathrm{\&Omega;}}\frac{1}{2}{\left(\right|{\text{\&dtri;}}_{\mathrm{\&phi;}}\left|\right)}^2\mathrm{du}$ 是惩罚项， $E_{\mathrm{smooth}}\left(\mathrm{\&phi;}\right)=\mathrm{\&mu;Length}\left(\mathrm{\&phi;}\right)+\mathrm{vArea}\left(\mathrm{\&phi;}\right)$ $=\mathrm{\&mu;}{\&Integral;}_{\mathrm{\&Omega;}}\mathrm{\&delta;}\left(\mathrm{\&phi;}\right)|\&dtri;\mathrm{\&phi;}|\mathrm{dxdy}+v{\&Integral;}_{\mathrm{\&Omega;}}H\left(\mathrm{\&phi;}\right)\mathrm{dxdy}$ 为平滑项，其中， $H\left(\mathrm{\&phi;}\right)=\left\{\begin{array}{cc}1& \mathrm{\&phi;}\&GreaterEqual;0\\ 0& \mathrm{\&phi;}<0\end{array}\right.,$ δ(·)是狄拉克（Dirac）函数； $\begin{array}{c}{E}_{\mathrm{nb}}\left(\mathrm{\&phi;}\right)={\&Integral;}_{\mathrm{\&Omega;}}{\&Integral;}_0^B{(I(\stackrel{\&RightArrow;}{c}+b\stackrel{\&RightArrow;}{n})-k_{\mathrm{in}})}^{2}l(1-\mathrm{b\&kappa;})\mathrm{dbdu}\\ +{\&Integral;}_{\mathrm{\&Omega;}}{\&Integral;}_0^B{(I(\stackrel{\&RightArrow;}{c}-b\stackrel{\&RightArrow;}{n})-k_{\mathrm{out}})}^{2}l(1+\mathrm{b\&kappa;})\mathrm{dbdu}\end{array}$ 为窄带项，其中，κ为曲率，

为位置向量，

为法向量，

为长度元素（或者速度），k_in与k_out为内外窄带平均灰度值， $k_{\mathrm{in}}=\frac{1}{\left|B_{\mathrm{in}}\right|}{\&Integral;}_{\mathrm{\&Omega;}}{\&Integral;}_0^B(I(\stackrel{\&RightArrow;}{c}+b\stackrel{\&RightArrow;}{n})l(1-\mathrm{b\&kappa;})\mathrm{dbdu}$ 和 $k_{\mathrm{out}}=\frac{1}{\left|B_{\mathrm{out}}\right|}{\&Integral;}_{\mathrm{\&Omega;}}{\&Integral;}_0^B(I(\stackrel{\&RightArrow;}{c}-b\stackrel{\&RightArrow;}{n})l(1+\mathrm{b\&kappa;})\mathrm{dbdu},$ $B_{\mathrm{in}}={\&Integral;}_{\mathrm{\&Omega;}}l(B-\frac{B^2}{2}\mathrm{\&kappa;})\mathrm{du},$ $B_{\mathrm{out}}={\&Integral;}_{\mathrm{\&Omega;}}l(B+\frac{B^2}{2}\mathrm{\&kappa;})\mathrm{du}.$ g为图像边缘指数， $g=\frac{1}{1+|\&dtri;G_{\mathrm{\&sigma;}}*I_0|}.$

结合惩罚项的窄带水平集方法的偏微分方程为：

$\begin{array}{c}\frac{\&PartialD;\mathrm{\&phi;}}{\&PartialD;t}=[\mathrm{\&Delta;\&phi;}-\mathrm{div}\left(\frac{\&dtri;\mathrm{\&phi;}}{|\&dtri;\mathrm{\&phi;}|}\right)]+{\mathrm{\&delta;}}_{\mathrm{\&epsiv;}}\left(\mathrm{\&phi;}\right)[\mathrm{\&mu;}\mathrm{div}\left(g\frac{\&dtri;\mathrm{\&phi;}}{|\&dtri;\mathrm{\&phi;}|}\right)-\mathrm{gv}]\\ +\mathrm{gl}[-{(I(x,y)-k_{\mathrm{in}})}^2+(1-\mathrm{B\&kappa;}){(I{(x,y)}_{\left[B\right]}-k_{\mathrm{in}})}^2-(1+\mathrm{B\&kappa;}){(I{(x,y)}_{[-B]}-k_{\mathrm{out}})}^2+{(I(x,y)-k_{\mathrm{out}})}^2]\stackrel{\&RightArrow;}{n}\end{array}$

式中， ${\mathrm{\&delta;}}_{\mathrm{\&epsiv;}}\left(\mathrm{\&phi;}\right)=\frac{1}{\mathrm{\&pi;}}\&CenterDot;\frac{\mathrm{\&epsiv;}}{{\mathrm{\&epsiv;}}^2+{\mathrm{\&phi;}}^2}.$

其数值解法为：

${\mathrm{\&phi;}}_{i,j}^{n+1}={\mathrm{\&phi;}}_{i,j}^n+\mathrm{\&Delta;t}\&CenterDot;[\max (E,0)\&CenterDot;{\&dtri;}^{+}+\min (E,0)\&CenterDot;{\&dtri;}^{-}+\mathrm{\&mu;}\&CenterDot;K_{i,j}\&CenterDot;{({\left(D_{i,j}^{0x}\right)}^2+{\left(D_{i,j}^{0y}\right)}^2)}^{1/2}]$

式中， $\left\{\begin{array}{c}{\&dtri;}^{+}={[\max {(D_{i,j}^x,0)}^2+\min {(D_{i,j}^{+x},0)}^2+{\max (D_{i,j}^y,0)}^2+\min {(D_{i,j}^{+y},0)}^2]}^{1/2}\\ \&dtri;={[\min {(D_{i,j}^x,0)}^2+\max {(D_{i,j}^{+x},0)}^2+\min {(D_{i,j}^y,0)}^2+\max {(D_{i,j}^{+y},0)}^2]}^{1/2}\\ E=-\mathrm{gv}+\mathrm{gl}[-{(I(x,y)-k_{\mathrm{in}})}^2+(1-\mathrm{B\&kappa;}){(I{(x,y)}_{\left[B\right]}-k_{\mathrm{in}})}^2-(1+\mathrm{B\&kappa;}){(I{(x,y)}_{\left[B\right]}-k_{\mathrm{out}})}^2+{(I(x,y)-k_{\mathrm{out}})}^2]\end{array}\right.,$ K_i,j是水平集函数在(i,j)处的曲率， $K_{i,j}=\&dtri;\&CenterDot;\frac{\&dtri;\mathrm{\&phi;}}{|\&dtri;\mathrm{\&phi;}|}=\frac{{\mathrm{\&phi;}}_{\mathrm{xx}}\&CenterDot;{\mathrm{\&phi;}}_y^2-2\&CenterDot;{\mathrm{\&phi;}}_x\&CenterDot;{\mathrm{\&phi;}}_y\&CenterDot;{\mathrm{\&phi;}}_{\mathrm{xy}}+{\mathrm{\&phi;}}_{\mathrm{yy}}\&CenterDot;{\mathrm{\&phi;}}_x^2}{{({\mathrm{\&phi;}}_x^2+{\mathrm{\&phi;}}_y^2)}^{3/2}}.$

③每个子块最终的权重

每个子块的权重λ^(J)提出表示为

每个子块最终的权重是通过α和β进行调节权重各自所承担的重要程度，保证α+β＝1。

（3）计算每个子块目标区域与候选区域的相似度以及整体目标区域与候选区域的相似度：

①每个子块的目标区域与候选区域的相似度

每个子块的目标区域与候选区域的相似度为：

${\mathrm{\&rho;}}^{\left(J\right)}\left[p_u^{\left(J\right)}(y_0^{\left(J\right)},q_u^{\left(J\right)})\right]\&ap;\frac{1}{2}\&CenterDot;\underset{u=1}{\overset{m^{\left(J\right)}}{\mathrm{\&Sigma;}}}\sqrt{p_u\left(y_0^{\left(J\right)}\right)\&CenterDot;q_u}+\frac{C_h}{2}\&CenterDot;\underset{i=1}{\overset{n^{\left(J\right)}}{\mathrm{\&Sigma;}}}{w}_i^{\left(J\right)}\&CenterDot;k\left({\left|\right|\frac{y_0^{\left(J\right)}-y_i^{\left(J\right)}}{h^{\left(J\right)}}\left|\right|}^2\right)$

式中，为加权因子，有：

$w_i^{\left(J\right)}=\underset{u=1}{\overset{m^{\left(J\right)}}{\mathrm{\&Sigma;}}}\mathrm{\&delta;}[b\left(y_i^{\left(J\right)}\right)-u]\&CenterDot;\sqrt{\frac{q_u^{\left(J\right)}}{p_u^{\left(J\right)}\left(y_0^{\left(J\right)}\right)}}$

②整体目标区域与候选区域的相似度

整体的目标与候选的相似度为：

$\mathrm{\&rho;}\left(y\right)=\underset{J=1}{\overset{J}{\mathrm{\&Sigma;}}}{\mathrm{\&rho;}}^{\left(J\right)}\&CenterDot;{\mathrm{\&lambda;}}^{\left(J\right)}\&ap;\frac{1}{2}\underset{J=1}{\overset{J}{\mathrm{\&Sigma;}}}{\mathrm{\&lambda;}}^{\left(J\right)}\underset{u=1}{\overset{m^{\left(J\right)}}{\mathrm{\&Sigma;}}}\sqrt{p_u\left(y_0^{\left(J\right)}\right)\&CenterDot;q_u}+\frac{C_h}{2}\underset{J=1}{\overset{J}{\mathrm{\&Sigma;}}}{\mathrm{\&lambda;}}^{\left(J\right)}\underset{i=1}{\overset{n^{\left(J\right)}}{\mathrm{\&Sigma;}}}{w}_i^{\left(J\right)}\&CenterDot;k\left({\left|\right|\frac{y_0^{\left(J\right)}-y_i^{\left(J\right)}}{h^{\left(J\right)}}\left|\right|}^2\right)$

式中，λ^(J)为第J个子块的权重，保证

（4）更新模板，跟踪结果的确定：目标区域最相似的候选目标区域的中心坐标为

如果||y-y₀||＜ε，则更新模版，输出运动目标跟踪结果；否则y₀←y，转到（2）。

其中，g(x)＝-k'(x)（k(x)是核函数的轮廓函数），相当于是一次迭代之后的目标新位置，一次迭代结束后，令y₀＝y，开始新一次迭代，重复这个过程直到y₀和y之间的距离足够小或者达到规定的迭代次数为止。这样就找到了当前帧目标所在的位置，从而确定运动目标的位置。

第1组实验是对标准图像序列Coastguard中给出的部分跟踪结果(图像尺寸为352×288)，图4是标准图像序列Coastguard中第120帧图像的目标初始位置和提取的目标面积，其中，初始目标区域的矩阵为[60,113,221,71]，即矩阵左上角在图像整体中的位置是(60,113)，宽221像素，高71像素，同时根据图像的特点跟踪目标被划分为两个子块，每个子块的α和β分别是0.38和0.62以及0.43和0.57，以此为运动目标的初始运动模板，在后续帧跟踪中不断更新目标模板得到图5是本发明125帧跟踪结果和提取的目标面积图，图6是本发明130帧的跟踪结果和提取的目标面积图，图7是本发明135帧的跟踪结果和提取的目标面积图，图8是本发明140帧的跟踪结果和提取的目标面积图，图9是本发明145帧的跟踪结果和提取的目标面积图。

为了比较，给出了sobel算子提取目标面积的子块权重Mean-Shift跟踪方法和原始Mean-Shift的运动目标跟踪方法的实验结果图。

图10是以图4为初始模板的第120帧图像的目标初始位置和sobel算子提取的目标面积，每个子块的α和β分别是0.515和0.495以及0.51和0.49，以此为运动目标的初始运动模板，在后续帧跟踪中不断更新目标模板得到图11是125帧跟踪结果和sobel算子提取的目标面积图，图12是130帧的跟踪结果和sobel算子提取的目标面积图，图13是135帧的跟踪结果和sobel算子提取的目标面积图，图14是140帧的跟踪结果和sobel算子提取的目标面积图，图15是145帧的跟踪结果和sobel算子提取的目标面积图。

图16是以图4为初始模板的第120帧图像，图17是第125帧跟踪结果图，图18是130帧的跟踪结果图，图19是135帧的跟踪结果图，图20是140帧的跟踪结果图，图21是145帧的跟踪结果图。

为客观地评价本发明的运动目标跟踪效果，采用覆盖比率(Overlap ratio)的方法来对标准图像序列Coastguard中的第121-140共20帧图像进行定量分析。覆盖比率的定义为：

$\mathrm{\&Omega;}=2\&CenterDot;\frac{|R_{\mathrm{object}}\&cap;R_{\mathrm{tracked}}|}{\left|R_{\mathrm{object}}\right|+\left|R_{\mathrm{tracked}}\right|}$

式中，R_object表示目标的真实位置，通常由手工预先标定；R_tracked表示跟踪算法跟踪得到的目标区域位置；|·|表示给定区域的面积。显然Ω∈[0,1]，Ω越大表明跟踪结果越准确。平均覆盖比率Ω表明一个算法在该序列上的平均性能。

具体跟踪评价结果如图22所示。从图中可以看出，本发明的跟踪算法在跟踪过程中跟踪精度较高，能相对较精确的确定目标位置。

通过标准图像序列Coastguard的主观效果和客观评价表明，本发明改进水平集目标提取的子块权重Mean-Shift跟踪方法具有一定的有效性和适应性，能够更准确地完成后续帧的跟踪处理。

为验证本发明的适应性和对遮挡问题的处理，给出第2组实验和第3组实验。

第2组实验是针对实际拍摄的一组动态场景图像序列进行的实验结果(图像尺寸为256×256)，图23是第10帧图像的目标初始位置和提取的目标面积，其中，初始目标区域的矩阵为[75,88,133,90]，即矩阵左上角在图像整体中的位置是(75,88)，宽133像素，高90像素。以此为运动目标的初始运动模板，在后续帧跟踪中不断更新目标模板得到图24是本发明17帧跟踪结果和提取的目标面积图，图25是本发明23帧的跟踪结果和提取的目标面积图，图26是本发明25帧的跟踪结果和提取的目标面积图，图27是本发明27帧的跟踪结果和提取的目标面积图，图28是本发明35帧的跟踪结果和提取的目标面积图。

第3组实验是针对实际拍摄的另一组动态场景图像序列进行的实验结果(图像尺寸为255×256)，图29是第47帧图像的目标初始位置和提取的目标面积，其中，初始目标区域的矩阵为[60,68,54,129]，即矩阵左上角在图像整体中的位置是(60,68)，宽54像素，高129像素。以此为运动目标的初始运动模板，在后续帧跟踪中不断更新目标模板得到图30是本发明53帧跟踪结果和提取的目标面积图，图31是本发明57帧的跟踪结果和提取的目标面积图，图32是本发明62帧跟踪结果和提取的目标面积图，图33是本发明66帧的跟踪结果和提取的目标面积图，图34是本发明69帧的跟踪结果和提取的目标面积图。

表1给出了第2组实验和第3组实验根据视频图像的特点跟踪目标被划分的子块数目和每个子块的α和β值。

表1目标被划分的子块数目和每个子块的α和β值

对于实际拍摄的动态场景视频图像序列的实验可以看出，针对出现遮挡问题本发明仍然能跟踪上运动目标。

通过对标准图像序列Coastguard和实际拍摄的动态场景视频图像序列的实验分析可以得出，本发明基于改进水平集提取的子块权重Mean-Shift跟踪方法，对背景的变化和遮挡不敏感，目标轮廓的定位相对精准，具有较高的跟踪精度和有效性。

Claims (8)

1.一种改进水平集目标提取的子块权重Mean-Shift跟踪方法，其特征是：

（1）对跟踪目标区域进行分块，描述各个子块中目标及候选区域的特征模型：将跟踪目标区域划分成J个子块，在各个子块中目标及候选区域的特征模型描述考虑目标区域的RGB颜色信息和像素空间位置信息

每个子块中心位置

的目标区域颜色概率分布为 $q_u=\{q_u^{\left(J\right)}\left(x_0\right),u=1,2,\&CenterDot;\&CenterDot;\&CenterDot;,m^{\left(J\right)}\},$

为：

$q_u^{\left(J\right)}=C^{\left(J\right)}\underset{i=1}{\overset{n^{\left(J\right)}}{\mathrm{\&Sigma;}}}k\left({\left|\right|\frac{x_0^{\left(J\right)}-x_i^{\left(J\right)}}{h^{\left(J\right)}}\left|\right|}^2\right)\mathrm{\&delta;}[b\left(x_i\right)-u]$

式中，n^(J)为子块区域内总像素数，

表示目标区域子块的大小；δ是Kronecker Delta函数；是核函数的轮廓函数，C^(J)为归一化函数，

$C^{\left(J\right)}=\frac{1}{\underset{i=1}{\overset{n^{\left(J\right)}}{\mathrm{\&Sigma;}}}k\left(\right|\left|\frac{x_0^{\left(J\right)}-x_i^{\left(J\right)}}{h^{\left(J\right)}}\right|\left|\right)};$

每个子块中心位置

的候选区域颜色概率分布表示为 $p_u=\{p_u^{\left(J\right)}\left(y_0\right),u=\mathrm{1,2},\&CenterDot;\&CenterDot;\&CenterDot;,m^{\left(J\right)}\},$

为：

$p_u^{\left(J\right)}=C^{\left(J\right)}\underset{i=1}{\overset{n^{\left(J\right)}}{\mathrm{\&Sigma;}}}k\left({\left|\right|\frac{y_0^{\left(J\right)}-y_i^{\left(J\right)}}{h^{\left(J\right)}}\left|\right|}^2\right)\mathrm{\&delta;}[b\left(y_i\right)-u]$

式中，n^(J)为子块区域内总像素数，

表示候选区域子块的大小；δ是Kronecker Delta函数，

有 $C^{\left(J\right)}=\frac{1}{\underset{i=1}{\overset{n^{\left(J\right)}}{\mathrm{\&Sigma;}}}k\left(\right|\left|\frac{y_0^{\left(J\right)}-y_i^{\left(J\right)}}{h^{\left(J\right)}}\right|\left|\right)};$

（2）计算每个子块的权重和最终权重：利用子块的目标区域与候选区域的相似度计算每个子块的权重利用每个子块内的目标面积与整体目标面积之比计算每个子块的权重

计算每个子块最终的权重

其中α和β是系数；

${\mathrm{\&lambda;}}_1^{\left(J\right)}=\frac{{\mathrm{\&rho;}}^{\left(J\right)}\left[p_u^{\left(J\right)}\left(y_0^{\left(J\right)}\right),q_u^{\left(J\right)}\right]}{\underset{J=1}{\overset{J}{\mathrm{\&Sigma;}}}{\mathrm{\&rho;}}^{\left(J\right)}\left[p_u^{\left(J\right)}{\left(y_0^{\left(J\right)}\right),q}_u^{\left(J\right)}\right]},$

是每个子块的目标区域与候选区域的相似度；

S^(J)是每个目标子块内的目标面积；

$\begin{array}{c}E\left(\mathrm{\&phi;}\right)=P\left(\mathrm{\&phi;}\right)+E_{\mathrm{smooth}}\left(\mathrm{\&phi;}\right)+E_{\mathrm{nb}}\left(\mathrm{\&phi;}\right)\\ ={\&Integral;}_{\mathrm{\&Omega;}}\frac{1}{2}{\left(\right|\&dtri;\mathrm{\&phi;}\left|\right)}^2\mathrm{du}+\mathrm{\&mu;}{\&Integral;}_{\mathrm{\&Omega;}}\mathrm{g\&delta;}\left(\mathrm{\&phi;}\right)|\&dtri;\mathrm{\&phi;}|\mathrm{du}+v{\&Integral;}_{\mathrm{\&Omega;}}\mathrm{gH}\left(\mathrm{\&phi;}\right)\mathrm{du}\\ +{\&Integral;}_{\mathrm{\&Omega;}}{\&Integral;}_0^{B}g{(I(\stackrel{\&RightArrow;}{c}+b\stackrel{\&RightArrow;}{n})-k_{\mathrm{in}})}^{2}l(1-\mathrm{b\&kappa;})\mathrm{dbdu}\\ +{\&Integral;}_{\mathrm{\&Omega;}}{\&Integral;}_0^{B}g{(I(\stackrel{\&RightArrow;}{c}-b\stackrel{\&RightArrow;}{n})-k_{\mathrm{out}})}^{2}l(1+\mathrm{b\&kappa;})\mathrm{dbdu}\end{array}$

$P\left(\mathrm{\&phi;}\right)={\&Integral;}_{\mathrm{\&Omega;}}\frac{1}{2}{\left(\right|\&dtri;\mathrm{\&phi;}\left|\right)}^2\mathrm{du}$ 是惩罚项，

$E_{\mathrm{smooth}}\left(\mathrm{\&phi;}\right)=\mathrm{\&mu;Length}\left(\mathrm{\&phi;}\right)+\mathrm{vArea}\left(\mathrm{\&phi;}\right)=\mathrm{\&mu;}{\&Integral;}_{\mathrm{\&Omega;}}\mathrm{\&delta;}\left(\mathrm{\&phi;}\right)|\&dtri;\mathrm{\&phi;}|\mathrm{dxdy}+v{\&Integral;}_{\mathrm{\&Omega;}}H\left(\mathrm{\&phi;}\right)\mathrm{dxdy}$ 为平滑项，其中， $H\left(\mathrm{\&phi;}\right)=\left\{\begin{array}{cc}1& \mathrm{\&phi;}\&GreaterEqual;0\\ 0& \mathrm{\&phi;}<0\end{array}\right.,$ δ(·)是狄拉克函数； $\begin{array}{c}{E}_{\mathrm{nb}}\left(\mathrm{\&phi;}\right)={\&Integral;}_{\mathrm{\&Omega;}}{\&Integral;}_0^B{(I(\stackrel{\&RightArrow;}{c}+b\stackrel{\&RightArrow;}{n})-k_{\mathrm{in}})}^{2}l(1-\mathrm{b\&kappa;})\mathrm{dbdu}\\ +{\&Integral;}_{\mathrm{\&Omega;}}{\&Integral;}_0^B{(I(\stackrel{\&RightArrow;}{c}-b\stackrel{\&RightArrow;}{n})-k_{\mathrm{out}})}^{2}l(1+\mathrm{b\&kappa;})\mathrm{dbdu}\end{array}$ 为窄带项，κ为曲率，

为位置向量，

为法向量，

为长度元素，k_in与k_out为内外窄带平均灰度值，

$k_{\mathrm{in}}=\frac{1}{\left|B_{\mathrm{in}}\right|}{\&Integral;}_{\mathrm{\&Omega;}}{\&Integral;}_0^B(I(\stackrel{\&RightArrow;}{c}+b\stackrel{\&RightArrow;}{n})l(1-\mathrm{b\&kappa;})\mathrm{dbdu}$ 和 $k_{\mathrm{out}}=\frac{1}{\left|B_{\mathrm{out}}\right|}{\&Integral;}_{\mathrm{\&Omega;}}{\&Integral;}_0^B(I(\stackrel{\&RightArrow;}{c}+b\stackrel{\&RightArrow;}{n})l(1-\mathrm{b\&kappa;})\mathrm{dbdu},$

$B_{\mathrm{in}}={\&Integral;}_{\mathrm{\&Omega;}}l(B-\frac{B^2}{2}\mathrm{\&kappa;})\mathrm{du},$ $B_{\mathrm{out}}={\&Integral;}_{\mathrm{\&Omega;}}l(B+\frac{B^2}{2}\mathrm{\&kappa;})\mathrm{du},$

g为图像边缘指数， $g=\frac{1}{1+|\&dtri;G_{\mathrm{\&sigma;}}*I_0|};$

结合惩罚项的窄带水平集方法的偏微分方程为：

$\begin{array}{c}\frac{\&PartialD;\mathrm{\&phi;}}{\&PartialD;t}=[\mathrm{\&Delta;\&phi;}-\mathrm{div}\left(\frac{\&dtri;\mathrm{\&phi;}}{|\&dtri;\mathrm{\&phi;}|}\right)]+{\mathrm{\&delta;}}_{\mathrm{\&epsiv;}}\left(\mathrm{\&phi;}\right)[\mathrm{\&mu;}\mathrm{div}\left(g\frac{\&dtri;\mathrm{\&phi;}}{|\&dtri;\mathrm{\&phi;}|}\right)-\mathrm{gv}]\\ +\mathrm{gl}[-{(I(x,y)-k_{\mathrm{in}})}^2+(1-\mathrm{B\&kappa;}){(I{(x,y)}_{\left[B\right]}-k_{\mathrm{in}})}^2-(1+\mathrm{B\&kappa;}){(I{(x,y)}_{[-B]}-k_{\mathrm{out}})}^2+{(I(x,y)-k_{\mathrm{out}})}^2]\stackrel{\&RightArrow;}{n}\end{array}$

式中， ${\mathrm{\&delta;}}_{\mathrm{\&epsiv;}}\left(\mathrm{\&phi;}\right)=\frac{1}{\mathrm{\&pi;}}\&CenterDot;\frac{\mathrm{\&epsiv;}}{{\mathrm{\&epsiv;}}^2+{\mathrm{\&phi;}}^2};$

${\mathrm{\&phi;}}_{i,j}^{n+1}={\mathrm{\&phi;}}_{i,j}^n+\mathrm{\&Delta;t}\&CenterDot;[\max (E,0)\&CenterDot;{\&dtri;}^{+}+\min (E,0)\&CenterDot;{\&dtri;}^{-}+\mathrm{\&mu;}\&CenterDot;K_{i,j}\&CenterDot;{({\left(D_{i,j}^{0x}\right)}^2+{\left(D_{i,j}^{0y}\right)}^2)}^{1/2}]$

式中， $\left\{\begin{array}{c}{\&dtri;}^{+}={[\max {(D_{i,j}^x,0)}^2+\min {(D_{i,j}^{+x},0)}^2+{\max (D_{i,j}^y,0)}^2+\min {(D_{i,j}^{+y},0)}^2]}^{1/2}\\ \&dtri;={[\min {(D_{i,j}^x,0)}^2+\max {(D_{i,j}^{+x},0)}^2+\min {(D_{i,j}^y,0)}^2+\max {(D_{i,j}^{+y},0)}^2]}^{1/2}\\ E=-\mathrm{gv}+\mathrm{gl}[-{(I(x,y)-k_{\mathrm{in}})}^2+(1-\mathrm{B\&kappa;}){(I{(x,y)}_{\left[B\right]}-k_{\mathrm{in}})}^2-(1+\mathrm{B\&kappa;}){(I{(x,y)}_{\left[B\right]}-k_{\mathrm{out}})}^2+{(I(x,y)-k_{\mathrm{out}})}^2]\end{array}\right.,$ K_i,j是水平集函数在(i,j)处的曲率， $K_{i,j}=\&dtri;\&CenterDot;\frac{\&dtri;\mathrm{\&phi;}}{|\&dtri;\mathrm{\&phi;}|}=\frac{{\mathrm{\&phi;}}_{\mathrm{xx}}\&CenterDot;{\mathrm{\&phi;}}_y^2-2\&CenterDot;{\mathrm{\&phi;}}_x\&CenterDot;{\mathrm{\&phi;}}_y\&CenterDot;{\mathrm{\&phi;}}_{\mathrm{xy}}+{\mathrm{\&phi;}}_{\mathrm{yy}}\&CenterDot;{\mathrm{\&phi;}}_x^2}{{({\mathrm{\&phi;}}_x^2+{\mathrm{\&phi;}}_y^2)}^{3/2}};$

（3）计算每个子块目标区域与候选区域的相似度以及整体目标区域与候选区域的相似度：每个子块的目标区域与候选区域的相似度为：

${\mathrm{\&rho;}}^{\left(J\right)}\left[p_u^{\left(J\right)}(y_0^{\left(J\right)},q_u^{\left(J\right)})\right]\&ap;\frac{1}{2}\&CenterDot;\underset{u=1}{\overset{m^{\left(J\right)}}{\mathrm{\&Sigma;}}}\sqrt{p_u\left(y_0^{\left(J\right)}\right)\&CenterDot;q_u}+\frac{C_h}{2}\&CenterDot;\underset{i=1}{\overset{n^{\left(J\right)}}{\mathrm{\&Sigma;}}}{w}_i^{\left(J\right)}\&CenterDot;k\left({\left|\right|\frac{y_0^{\left(J\right)}-y_i^{\left(J\right)}}{h^{\left(J\right)}}\left|\right|}^2\right)$

式中，

为加权因子，有：

$w_i^{\left(J\right)}=\underset{u=1}{\overset{m^{\left(J\right)}}{\mathrm{\&Sigma;}}}\mathrm{\&delta;}[b\left(y_i^{\left(J\right)}\right)-u]\&CenterDot;\sqrt{\frac{q_u^{\left(J\right)}}{p_u^{\left(J\right)}\left(y_0^{\left(J\right)}\right)}}$

整体目标区域与候选区域的相似度：

$\mathrm{\&rho;}\left(y\right)=\underset{J=1}{\overset{J}{\mathrm{\&Sigma;}}}{\mathrm{\&rho;}}^{\left(J\right)}\&CenterDot;{\mathrm{\&lambda;}}^{\left(J\right)}\&ap;\frac{1}{2}\underset{J=1}{\overset{J}{\mathrm{\&Sigma;}}}{\mathrm{\&lambda;}}^{\left(J\right)}\underset{u=1}{\overset{m^{\left(J\right)}}{\mathrm{\&Sigma;}}}\sqrt{p_u\left(y_0^{\left(J\right)}\right)\&CenterDot;q_u}+\frac{C_h}{2}\underset{J=1}{\overset{J}{\mathrm{\&Sigma;}}}{\mathrm{\&lambda;}}^{\left(J\right)}\underset{i=1}{\overset{n^{\left(J\right)}}{\mathrm{\&Sigma;}}}{w}_i^{\left(J\right)}\&CenterDot;k\left({\left|\right|\frac{y_0^{\left(J\right)}-y_i^{\left(J\right)}}{h^{\left(J\right)}}\left|\right|}^2\right)$

式中，λ^(J)为第J个子块的权重，保证

（4）更新模板，跟踪结果的确定：目标区域最相似的候选目标区域的中心坐标为

如果||y-y₀||＜ε，则更新模版，输出运动目标跟踪结果；否则y₀←y，转到（2）。

2.根据权利要求1所述的一种改进水平集目标提取的子块权重Mean-Shift跟踪方法，其特征是：在步骤（1）中采用十字分块，把区域按照从1到4的序号进行编号，分别统计RGB颜色信息，最后按空间位置顺序合成一个完整的颜色特征描述模型。

3.根据权利要求1所述的一种改进水平集目标提取的子块权重Mean-Shift跟踪方法，其特征是：在步骤（2）中每一个子块的权重是结合目标子块与候选子块的相似度以及子块内的目标面积与整体目标面积之比作为尺度进行衡量。

4.根据权利要求1或3所述的一种改进水平集目标提取的子块权重Mean-Shift跟踪方法，其特征是：步骤（2）在每个子块内的目标面积提取过程中，为了提高提取精度和运行效率，提出结合惩罚项的窄带水平集方法得到目标的边缘轮廓，确定目标边缘位置。

5.根据权利要求1所述的一种改进水平集目标提取的子块权重Mean-Shift跟踪方法，其特征是：所述步骤（2）中每个子块最终的权重是通过α和β进行调节权重各自所承担的重要程度，保证α+β＝1。

6.根据权利要求4所述的一种改进水平集目标提取的子块权重Mean-Shift跟踪方法，其特征是：步骤（2）每个子块内目标的面积可以通过边缘检测获得，根据分块的坐标，利用结合惩罚项的窄带水平集方法进行图像的边缘提取，从而计算出每个子块内包含的像素个数，以表示目标每个子块的面积。

7.根据权利要求1所述的一种改进水平集目标提取的子块权重Mean-Shift跟踪方法，其特征是：所述步骤（3）中每个子块的目标区域与候选区域的相似度为 ${\mathrm{\&rho;}}^{\left(J\right)}\left[p_u^{\left(J\right)}(y_0^{\left(J\right)},q_u^{\left(J\right)})\right]\&ap;\frac{1}{2}\&CenterDot;\underset{u=1}{\overset{m^{\left(J\right)}}{\mathrm{\&Sigma;}}}\sqrt{p_u\left(y_0^{\left(J\right)}\right)\&CenterDot;q_u}+\frac{C_h}{2}\&CenterDot;\underset{i=1}{\overset{n^{\left(J\right)}}{\mathrm{\&Sigma;}}}{w}_i^{\left(J\right)}\&CenterDot;k\left({\left|\right|\frac{y_0^{\left(J\right)}-y_i^{\left(J\right)}}{h^{\left(J\right)}}\left|\right|}^2\right).$

8.根据权利要求1所述的一种改进水平集目标提取的子块权重Mean-Shift跟踪方法，其特征是：所述步骤（3）中

整体的目标与候选的相似度为 $\mathrm{\&rho;}\left(y\right)=\underset{J=1}{\overset{J}{\mathrm{\&Sigma;}}}{\mathrm{\&rho;}}^{\left(J\right)}\&CenterDot;{\mathrm{\&lambda;}}^{\left(J\right)}\&ap;\frac{1}{2}\underset{J=1}{\overset{J}{\mathrm{\&Sigma;}}}{\mathrm{\&lambda;}}^{\left(J\right)}\underset{u=1}{\overset{m^{\left(J\right)}}{\mathrm{\&Sigma;}}}\sqrt{p_u\left(y_0^{\left(J\right)}\right)\&CenterDot;q_u}+\frac{C_h}{2}\underset{J=1}{\overset{J}{\mathrm{\&Sigma;}}}{\mathrm{\&lambda;}}^{\left(J\right)}\underset{i=1}{\overset{n^{\left(J\right)}}{\mathrm{\&Sigma;}}}{w}_i^{\left(J\right)}\&CenterDot;k\left({\left|\right|\frac{y_0^{\left(J\right)}-y_i^{\left(J\right)}}{h^{\left(J\right)}}\left|\right|}^2\right).$

Images