CN102074000B - 一种利用方差率最优解自适应调整窗宽的跟踪方法 - Google Patents

Abstract

本发明涉及一种利用方差率最优解自适应调整窗宽的跟踪方法，其中创新之处有：在已有的多特征空间选择mean shift框架下，提出一种新的目标象素权重分配公式来取代传统的EpanechnikovKernel核窗，有效降低背景干扰象素的权重，解决了传统方法中易受背景干扰的缺点，并提出运用方差率与巴氏系数共同控制目标窗口缩放，解决了传统mean shift方法中长期存在的目标大小标定问题。将本发明应用在多组视频上实验，结果表明在窗口调整上相对传统mean shift方法有明显提高，即使在摄像机变倍下仍然能够准确地调整窗口大小，跟踪精度明显提高。

Description

一种利用方差率最优解自适应调整窗宽的跟踪方法

技术领域

本发明属于安全防范视频监控领域，尤其是一种利用方差率最优解自适应调整窗宽的跟踪方法。

背景技术

目标跟踪一直是计算机视觉研究领域的热点问题，其应用领域包括视频监控、人机用户接口、虚拟现实等等。如何对视频序列中的目标进行稳健、有效的跟踪是目标跟踪的研究重点。因此，一个实用的跟踪系统要求能够实时适应复杂场景的变化并适应目标因各种运动导致的外观变化。

对于当前监控市场比较流行的双摄像头监控设备，其主要工作原理是：一个定点摄像机通过基于运动检测方法检测出运动目标，另一个云台摄像机根据定点摄像机检测出的运动目标在图像中的具体位置来实现跟踪。但是大多定点摄像机使用的是广角镜头，存在监测距离近，并且存在监控角度受限的弱点，不能充分发挥云台摄像机的功能，因此单摄像机跟踪一直是监控领域关注的热点。由于在镜头连续转动的时候，采集的图像背景是不断变化的，继续采用稳定背景的运动检测方法就不太适合了，而基于目标特征的跟踪方法可以只关注要跟踪目标的特征而不考虑背景信息，因此采用基于目标特征的跟踪方法势在必行。

Mean shift是一种寻找局部极值分布的鲁棒的统计方法。它是在一个事先分配好可能性分布的搜索窗口中进行搜索。在搜索窗范围内由一个简单的取平均运算值计算出该窗口的颜色概率分布趋势，然后将搜索窗口中心重新定位到新的重心位置并反复执行，直至找到局部极值点为止。因mean shift在特征空间搜索中所具有的高效性，近年来已较好地应用在实时目标跟踪领域中。

传统mean shift跟踪方法是一种基于颜色空间进行模式匹配的方法，当满足如下条件时该方法的跟踪效果最优：(1)目标物体主要只存在一种颜色分布；(2)目标物体的颜色是恒定的；(3)光源亮度变化比较稳定；(4)没有其他的相似物体；(5)背景颜色与目标颜色容易区分；(6)没有全遮挡情况发生。因此当背景颜色分布与目标物体颜色接近或者有相似物体接近时，方法效果就变得很敏感。针对这种弱点，国内外学者提出不同的解决方式，像Allan et al.提出的Weight histogram、Ratio histogram方法，分别通过对目标物体加核窗和对背景区域颜色进行削弱的方法来抑制外界的干扰，但是效果也并不十分显著而且伴随其他的弱点。

适应物体形变也是目前mean shift跟踪方法的难点。Mean shift方法中最原始的确定窗口大小是利用核窗宽作正负10％增量修正后的跟踪窗口进行跟踪，并选择较大Bhattacharyya系数对应的核窗宽作为最佳核窗宽。实验发现，该方法只能对尺寸逐渐缩小的目标有较好的跟踪效果。其他文献也有利用视频前后两帧中目标的角点匹配估计刚性物体的仿射模型参数，并由此来更新窗宽，但是因为依赖角点匹配，不适合非刚性物体的跟踪。还有的文献采用不对称核函数来扩展mean shift方法获得目标的大小和方向，但该方法仅适用与轮廓特征不变的目标。

通过检索，尚未发现与本专利申请相同的公开专利文件。

发明内容

本发明的目的在于克服现有技术的不足之处，提供一种利用方差率最优解自适应调整窗宽的mean shift跟踪方法，利用mean shift方法在选定最优特征空间上按照目标新权重迭代搜索，然后再用空间灰度直方图进行mean shift迭代来重新矫正目标位置，在尺寸控制上利用方差率(方差率指的是目标区域直方图与周围背景环形区域直方图的一个指标特性，其计算方式来自于文献Robert T.Collins and Yanxi Liu，“On-line Selection ofDiscriminative TrackingFeatures”，后面提到的方差率都是按照该计算方式得出的)约束与巴氏系数结合的方法确定目标大小，解决了利用mean shift方法进行目标跟踪中存在的窗口难以调控的难题，即使在摄像机变倍的情况下仍能准确的调整窗口大小，实现复杂环境下的有效跟踪。

本发明的目的是通过如下技术方案实现的。

一种利用方差率最优解自适应调整窗宽的mean shift跟踪方法，包括以下步骤：

(1)读取第一帧视频，选定要跟踪的目标，保存目标初始模板，依据方差率计算出第一帧的最优特征空间，并保存该当前帧最优特征空间索引号和当前帧最优特征空间的方差率值，计算新的权重分配模型并保存其对应的新权重下的直方图模板，第一帧处理完毕，读取下一帧视频；

(2)处理读取的视频，若前一帧计算的最优特征空间方差率值大于设定阈值，则将前一帧保存的特征空间索引号延续到当前帧，依据前一帧保存的新权重分配模型和新权重模板在该索引号下的当前帧特征空间中用mean shift迭代，然后在该特征空间下以空间灰度直方图模板和EpanechnikovKernel核窗用mean shift迭代出目标坐标，若前一帧计算的最优特征空间方差率小于设定阈值，则在彩色RGB空间中用mean shift迭代出目标坐标；

(3)根据当前帧特征空间下的方差率大小约束与巴氏系数调整目标窗尺寸；

(4)模板更新，并计算当前帧的最优特征空间，保存该最优特征空间索引号和最优特征空间的方差率值，计算并保存新权重模型和其对应的目标直方图模板；

(5)返回目标位置与大小，当前帧视频处理完毕，若视频流未结束，读取下一帧视频，转到步骤(2)。

而且，所述步骤(2)中的目标新权重分配模型是在前一帧计算最优特征空间的过程中，根据目标直方图与背景区域直方图的对数似然度函数结果计算出来的，其权重值的计算过程是将似然度比值大于零的直方图分量按比值大小分配权重，将似然度比值小于等于零的直方图分量权重值赋零，这样分配的目的是加强前景与背景差异较大的直方图分量的权重，降低前景与背景差异较小的直方图分量的权重。

而且，所述步骤(3)中提到的方差率是在当前帧使用的特征空间中，目标与周围背景区域依据似然度函数求得的反投影图的方差率大小；提出的方差率大小约束是指当最优特征空间的方差率大于某一个阈值时进行窗口尺寸调整，窗口从缩小到放大的阶段的所有方差率中存在一个方差率极大值处；若极大值处对应的窗口大小的直方图模板与目标模板满足一定的巴氏系数阈值，则调整窗口大小。

而且，所述窗口从缩小到放大的阶段设定5级窗口缩放幅度，分别求出每级满足方差率极大值的窗口尺寸，以巴氏系数最大为标准，选出最好的窗口尺寸。

而且，所述窗口尺寸调整增加对角线四方向斜向缩放寻找极大值，以巴氏系数最大为标准输出。

而且，所述将窗口缩放后的巴氏系数小于原窗口巴氏系数一定阈值情况下的缩放结果还原，将次情况判定为错误解，不进行窗口更新。

本发明的有益效果在于：

1、本发明通过采用新权重来建立目标直方图进行mean shift迭代，可以极大降低目标周围背景象素对迭代产生的不利影响，并降低了mean shift迭代次数，提高效率。

2、本发明通过采用方差率大小约束与巴氏系数共同调节窗口尺寸，可以准确地获得当前帧的目标大小，克服传统mean shift方法的弱点，对目标变倍大小没有绝对限制，对目标形变适应性强，可以实现更准确持久的跟踪。

3、本发明在已有的自适应最优特征空间选择方法基础上进行改进，首先建立新权重直方图和空间直方图依次进行mean shift迭代，解决传统方法中易受背景干扰的缺点。然后依据方差率最优解与巴氏系数结合进行窗口大小调整，并实时进行模板更新，解决了传统meanshift方法中长期存在的目标大小标定问题。将本发明应用在多组视频上实验，结果表明在窗口调整上相对传统mean shift方法有明显提高，即使在摄像机变倍下仍然能够准确地调整窗口大小，跟踪精度明显提高。

附图说明

图1为本发明的流程框图；

图2为本发明流程图的具体实例；

图3为本发明调整窗口尺寸流程图；

图4为本发明沿对角线搜索方差率极大值示意图；其中图4(a)为矩形中心坐标不变示意图；图4(b)为四种斜方向调整尺寸大小示意图。

具体实施方式

下面结合附图并通过具体实施例对本发明作进一步详述，以下实施例只是描述性的，不是限定性的，不能以此限定本发明的保护范围。

一种利用方差率最优解自适应调整窗宽的跟踪方法，如图二所示，包括以下步骤：

步骤1，输入第一帧图象并进行初始化设置(保存初始目标模板，选择第一帧的最优特征空间，保存最优特征空间索引和方差率值，保存计算的新权重)。

初始化目标模板并计算第一帧的最优特征空间：通过手动选择感兴趣目标，保存目标彩色直方图RGB模板，直方图维数R(8bins)*G(8bins)*B(8bins)＝512bins。存储各个特征空间的灰度直方图模板，直方图维数取32bins。保存彩色直方图的原因是当最优特征空间并不满足实际需求，即方差率低于一定阈值时，在彩色直方图空间上进行mean shift迭代。

本方法使用到的特征空间均为颜色空间，分别是：R、G、B、(R+G+B)/3、H、S、r、g、b，其中H为色调、S为饱和度、r＝R/(R+G+B)、G＝G/(R+G+B)、B＝B/(R+G+B)，依据公开文献介绍的方法依次计算每一个特征空间的辨别力度，然后找出方差率最大的特征空间为最优特征空间，并依据其中间步骤生成新权重。

最优特征空间下目标直方图各子模型分量的新权重分配按(1)、(2)式

$w_{L\left(i\right)}=\left\{\begin{array}{cc}1& L\left(i\right)=L_{\max }\\ L\left(i\right)/L_{\max }& 0<L\left(i\right)<L_{\max }\\ 0& L\left(i\right)<0\end{array}\right.---\left(1\right)$

L_max＝max(L(i))        (2)

$L\left(i\right)=\max (-2,\min (2,\log \frac{\max \{p\left(i\right),\mathrm{\&delta;}\}}{\max \{q\left(i\right),\mathrm{\&delta;}\}}))---\left(3\right)$

其中公式(3)取自文献“On-line Selection of Discriminative Tracking Features”，是计算方差率过程中的中间步骤，L_max为L(i)最大值。p(i)、q(i)分别代表前景目标与背景区的分布密度，δ设定为0.001，防止分母为零的情况。

步骤2，若前一帧计算的最优特征空间方差率大于设定阈值，按照新权重在最优特征空间mean shift迭代，然后再在该最优特征空间上用空间灰度直方图mean shift矫正位置，若前一帧计算的最优特征空间方差率小于设定阈值，则在彩色空间中迭代目标位置。

若前一帧计算的最优特征空间方差率值大于设定阈值，则将前一帧计算的特征空间索引号延续到当前帧，按照前一帧计算的新权重分配和目标新权重模板在当前帧该索引号下的特征空间中进行mean shift迭代：与传统mean shift不同在于目标模型与候选目标模型权重的改动，将EpanechnikovKernel核用新权重W_L(i)代替，虽然使用的核窗不在是传统对称核窗，但是经过实验验证一样会产生收敛：

$q_u=C\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{w}_{L\left(i\right)}\mathrm{\&delta;}[b\left(X_i\right)-u],u\&Element;[1,...,m],i\&Element;[1,...,n]---\left(4\right)$

$p_u=C\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{w}_{L\left(i\right)}\mathrm{\&delta;}[b\left(X_i\right)-u],u\&Element;[1,...,m],i\&Element;[1,...,n]---\left(5\right)$

其它过程与标准mean shift一致。

利用空间灰度直方图进行mean shift来矫正目标位置：实现过程完全按照公开文献所述的方法执行，只不过该文献中用到的直方图是HSV空间中形成的彩色空间直方图。而这里使用的是最优特征空间对应的灰度空间直方图，灰度划分为32级，空间层数取2层。利用空间灰度直方图由于包涵空间信息，所以可以得到理想的效果，输出值为目标的图像位置坐标。

步骤3，利用方差率大小约束与巴氏系数调整目标窗尺寸。

依据相邻两帧之间特征空间辨别力度的延续性，利用方差率对目标物体状态进行判定。判定过程：设z¹、z²、z³分别代表当前目标窗、缩小目标窗和放大目标窗的尺寸大小(长或宽)。比例关系为：z²＝z¹*(100-d)％，z³＝z¹*(100+d)％，分别计算它们与相应大小背景区域的方差率，分别记为AVR¹、AVR²、AVR³。按以下窗口判定规则进行：

(1)若AVR¹＞AVR²&&AVR¹＞AVR³&&AVR¹＞thd，则已找到极大值处，更新窗口尺寸为z¹，跳出判断；

(2)若AVR¹＞AVR²&&AVR¹＜AVR³&&AVR³＞thd，则令z¹＝z³，继续进行判断；

(3)若AVR¹＜AVR²&&AVR¹＞AVR³&&AVR²＞thd，则令z¹＝z²，继续进行判断；

(4)若以上三种条件都不满足，不更新窗口尺寸，跳出判断；

上述规则中，d为窗口增减幅度，thd为方差率限定阈值，本实施例中thd取160。

依据窗口判定规则，如图3所示，本步骤的处理过程如下：

(1)如图4(a)所示，颜色由浅到深分别代表缩小窗口、原始窗口、放大窗口，目标窗口中心位置不变，缩放窗口尺寸，取四组增减幅度，本实施例中d分别取5、10、15、20。分别寻找四种缩放幅度下的方差率极大值，最后保留与目标模板巴氏系数最大的极大值下的窗口尺寸。

(2)如图4(b)所示，颜色由浅到深分别代表缩小窗口、原始窗口、放大窗口，若前一步骤没有找到极大值处，那么分别沿斜对角线四个方向缩放寻找极大值，本实施例中d取10、20，按四方向顺序依次缩放搜索，若找到极大值，则保留窗口尺寸，停止其余方向的搜索。

(3)进一步筛选结果，若更新窗口尺寸与模板巴氏系数小于原窗口尺寸与模板巴氏系数一定阈值(阈值本实施例中取0.02)或更新窗口尺寸与模板巴氏系数小于0.9。则取消窗口尺寸更新。

步骤4，模板更新。

模板更新：模板更新采用Collins和Liu的更新原则，即以初试模板分布为主要分布，当前模板为辅，更新公式如下：

$H_m^i=(1-s_{\mathrm{ic}})H_i+s_{\mathrm{ic}}{H}_c^i---\left(6\right)$

$H_c^i=(1-s_{\mathrm{ma}})H_m^{i-1}+s_{\mathrm{ma}}{H}_a---\left(7\right)$

式中为更新后的模板，H_i、H_m、H_a分别为初始模板、前一帧模板、当前帧模板，s_ic为H_i与的巴氏系数，s_ma为H_m与H_a的巴氏系数。

参与更新的有各个特征空间下的直方图模板、RGB彩色空间直方图模板、各个特征空间下的空间直方图模板。若当前帧是依据彩色直方图迭代，若窗口尺寸没有找到最优解，则不进行模板更新。

步骤5，计算当前位置下的最优特征空间并更新索引以及方差率值，计算目标新权重并更新新权重直方图模板：其方法与步骤1相同。

本发明的局限性在于只有在背景环境能够使控制窗口缩放的方差率高于阈值的情况下才有效，若背景环境恶劣，则不进行做缩放控制，这也是未来的一个研究重点。

Claims (5)

1.一种利用方差率最优解自适应调整窗宽的meanshift跟踪方法，其特征在于：包括以下步骤：

⑴读取第一帧视频，选定要跟踪的目标，保存目标初始模板，依据方差率计算出第一帧的最优特征空间，并保存该当前帧最优特征空间索引号和当前帧最优特征空间的方差率值，计算新权重模型并保存其对应的新权重模板，第一帧处理完毕，读取下一帧视频；

⑵处理读取的视频，若前一帧计算的最优特征空间方差率值大于设定阈值，则将前一帧保留的特征空间索引号延续到当前帧，依据前一帧保存的新权重模型和新权重模板在该索引号下的当前帧特征空间中用meanshift迭代，然后在该特征空间下以空间灰度直方图模板和EpanechnikovKernel核窗用meanshift迭代出目标坐标，若前一帧计算的最优特征空间方差率小于设定阈值，则在彩色RGB空间中用meanshift迭代出目标坐标；

⑶根据当前帧特征空间下的方差率大小约束与巴氏系数调整目标窗尺寸；

⑷模板更新，并计算当前帧的最优特征空间，保存该最优特征空间索引号和最优特征空间的方差率值，计算并保存新权重模型和其对应的新权重模板；

⑸返回目标位置与大小，当前帧视频处理完毕，若视频流未结束，读取下一帧视频，转到步骤⑵；

所述步骤⑶中提到的方差率是在当前帧使用的特征空间中，目标与周围背景区域依据似然度函数求得的反投影图的方差率大小；提出的方差率大小约束是指当最优特征空间的方差率大于某一个阈值时进行窗口尺寸调整，窗口从缩小到放大的阶段的所有方差率中存在一个方差率极大值处；若极大值处对应的窗口大小的直方图模板与目标模板满足一定的巴氏系数阈值，则调整窗口大小。

2.根据权利要求1所述的利用方差率最优解自适应调整窗宽的meanshift跟踪方法，其特征在于：所述步骤⑵中的目标新权重模型是在前一帧计算最优特征空间的过程中，根据目标直方图与背景区域直方图的对数似然度函数结果计算出来的，其权重值的计算过程是将似然度比值大于零的直方图分量按比值大小分配权重，将似然度比值小于等于零的直方图分量权重值赋零，这样分配的目的是加强前景与背景差异较大的直方图分量的权重，降低前景与背景差异较小的直方图分量的权重。

3.根据权利要求1所述的利用方差率最优解自适应调整窗宽的meanshift跟踪方法，其特征在于：所述窗口从缩小到放大的阶段设定5级窗口缩放幅度，分别求出每级满足方差率极大值的窗口尺寸，以巴氏系数最大为标准，选出最好的窗口尺寸。

4.根据权利要求1所述的利用方差率最优解自适应调整窗宽的meanshift跟踪方法，其特征在于：所述窗口尺寸调整增加对角线四方向斜向缩放寻找极大值，以巴氏系数最大为标准输出。

5.根据权利要求1所述的利用方差率最优解自适应调整窗宽的meanshift跟踪方法，其特征在于：所述将窗口缩放后的巴氏系数小于原窗口巴氏系数一定阈值情况下的缩放结果还原，将此情况判定为错误解，不进行窗口更新。

Images