CN101320472A - 一种基于背景抑制的后验概率图像跟踪方法 - Google Patents

Abstract

本发明涉及一种图像跟踪方法，公开了一种基于背景抑制的后验概率图像跟踪方法。该方法基于后验概率的像素级计算，首先计算搜索区域内像素的相似度贡献值：其次，进行快速平移目标搜索：最后，进行目标区域尺寸自适应搜索。该方法定位精度高，能够有效得避免背景特征的影响，跟踪速度快。

Description

一种基于背景抑制的后验概率图像跟踪方法

技术领域

本发明涉及一种图像跟踪方法，特别涉及一种基于背景抑制的后验概率图像跟踪方法。

背景技术

视觉跟踪在机器人、安全监控、人机交互等领域有着广泛的应用，近年来吸引了众多研究者的注意，成为当前计算机视觉领域中的研究热点之一。目前存在的视觉跟踪方法主要分为两类，基于运动信息的方法和基于模型的方法。其中，基于运动信息的方法是利用目标的运动信息对目标进行跟踪，它把一段时间内具有运动一致性的点归为一类，如光流法和特征点法，这种方法的缺点是计算量太大。基于模型的方法主要是通过模板匹配的方式实现，根据其匹配特征的不同，分为基于目标边界特征的方法和基于目标区域特征的方法。其中，基于目标边界的方法主要利用图像中的边缘信息进行图像匹配，包括基于Hausdorff距离的边缘匹配方法，基于Chamfer距离的边缘匹配方法，基于边界方向直方图的匹配方法等。而基于目标区域的方法通过对目标整个区域颜色、纹理等特征信息的分析，能够得到目标本身更多的信息，有利于排除背景的干扰，在背景复杂的环境下，其匹配效果要优于基于边界的匹配方法。

基于模板匹配的方法得到了广泛的应用。然而，无论是基于边界特征的匹配方法，还是基于区域特征的匹配方法，都存在着一个非常关键的问题，即通过什么指标来衡量两个待匹配对象之间的相似程度，即相似性判据问题。到目前为止，相似性判据主要分为两类，即距离相似性判据和相关性判据。前者主要包括绝对差别(Absolute Difference)、平均绝对差别(MAD)、平方距离(Sum of Squared Distance)、Hausdorff距离、Chamfer距离等指标，后者包括乘积相关性(Product Correlation)、归一化的乘积相关性、Kullback-Leiber散度(Kullback-Leiber Divergence)、巴氏系数等指标。

在当前的图像匹配领域中，基于巴氏系数指标的模板匹配方法是应用最为广泛的方法之一。备受关注的Mean Shift跟踪算法，就是以巴氏指标作为模板与待匹配区域之间相似度衡量的依据。但对于一些背景区域存在干扰的匹配问题，例如背景中存在与目标类似的像素，或者目标模板中存在背景像素的时候，应用巴氏指标计算所得的目标最优值位置与目标对象的真实位置之间有明显偏差，甚至会出现错误匹配的情况。

发明内容

本申请的发明人分析了该现象出现的原因在于目标模板中存在的背景像素在匹配过程中也会对相似度值有所贡献，这种贡献有时候甚至大于真正的目标特征类像素的贡献，从而造成目标定位偏差或者错误。

为了解决上述问题，本发明提出了一种基于背景抑制的后验概率图像跟踪方法，能够克服当前基于模板匹配的图像跟踪算法中存在定位偏差的缺陷，提供一套有效的系统的实时图像跟踪算法。

本发明的理论根据源于发明人发表在《自动化学报》2007年第一期文章——“基于最大后验概率的图像匹配相似性指标研究”。文中后验概率相似度指标是一种新的图像匹配相似性度量指标，通过寻找具有后验概率最大值的候选目标区域来确定目标所在位置。该指标的定位精度、峰值特性和模板尺寸的容许度都要优于Bhattacharyya系数、Kullback-Leibler距离、归一化的交叉相关等指标。

为了给出后验概率相似度指标，首先介绍以下概念。搜索区域指一个包含目标区域及其周围背景的较大区域，属于一帧图像的子区域。对每帧图像而言，在搜索区域中寻找与目标模板最为相似的区域作为目标区域，该过程就是图像跟踪中的目标定位过程。搜索区域的特征向量记为s， $s\∈R^{m_u},$ 其中m_u为特征的维数，

为m_u维的实数空间。所跟踪的目标模板的特征向量记为q， $q\∈R^{m_u},$ 待匹配目标区域的特征记为p， $p\∈R^{m_u}.$ 用搜索区域特征向量的分量s_u除第u个特征对应的目标模板特征和待匹配区域特征的相关积p_uq_u(当s_u＝0时，表示第u特征在搜索区中缺失，定义商p_u/s_u＝0)。于是可以得到如公式(一)所示的后验概率相似度指标函数：

$\mathrm{\φ}(p,q)=\frac{1}{m}\underset{u=1}{\overset{m_u}{\mathrm{\Σ}}}\frac{p_u{q}_u}{s_u};$         公式(一)

其中，p_u为待匹配目标区域的第u个特征值，q_u为目标模板的第u个特征值，m为目标模板中的像素总数。该指标具有明确的物理意义，即该指标的值衡量了待匹配区域是真实的目标区域的后验概率。搜索区域中包含了大量的背景像素，因此，如果第u个特征属于背景特征，则s_u的值相对较大，相关积将受到较大的抑制；如果第u个特征属于目标特征，s_u的值相对较小，相关积将受到较小的抑制，相当于提升了该特征相对的相关积的权重。

上述公式(一)所示的后验概率指标不仅能够通过特征维数求和得到，还能够通过像素求和得到。在该指标能够按照像素求和得到的计算特性的基础上，本发明可以实现新的待匹配区域相似度的快速计算，即加上新包含进当前待匹配目标区域的像素的相似度贡献值，减去已不再包含在当前待匹配目标区域的像素的相似度贡献值。不断重复该计算过程，求得具有最大相似度值的候选目标区域作为最终的目标区域。即可以通过平移待匹配区域来进行快速搜索目标区域。

本发明提出的目标区域尺寸自适应算法也是基于后验概率指标的像素级计算特性的。通过比较当前帧图像中目标区域的边界层像素、边界内层像素和边界外层像素的相似度贡献平均值，来确定扩大、缩小还是维持下一帧图像的目标区域尺寸，从而实现目标区域尺寸自适应变化。

本发明采用以下技术方案予以实现：一种基于背景抑制的后验概率图像跟踪方法，其特征在于，包括以下步骤：

步骤一，计算搜索区域内像素的相似度贡献值：确定目标模板，其特征向量为q， $q\∈R^{m_u},$ 实时获取视频图像，以上一帧图像中的目标区域的位置为中心，确定当前帧图像的搜索区域，统计该搜索区域的特征向量s， $s\∈R^{m_u},$ 其中m_u为特征的维数，

为m_u维的实数空间；根据目标模板的特征向量q和搜索区域的特征向量s，计算搜索区域内每个像素的相似度贡献值

其中q_u(j)表示搜索区域中的第j个像素所对应的目标模板向量中的第u个特征值，s_u(j)表示搜索区域中的第j个像素所对应的搜索区域向量中的第u个特征值；

步骤二，进行快速平移目标搜索：根据当前帧图像中的目标区域尺寸，确定当前帧图像中待匹配目标区域尺寸；平移待匹配目标区域得到新的待匹配目标区域，按照像素计算所有待匹配目标区域相对目标模板的相似度指标函数φ(p，q)， $\mathrm{\φ}(p,q)=\frac{1}{m}\underset{j=1}{\overset{m}{\mathrm{\Σ}}}\frac{q_u\left(j\right)}{s_u\left(j\right)},$ 其中m表示待匹配目标区域中的像素总数，搜索得到函数值最大的待匹配目标区域为当前帧目标区域；

步骤三，进行目标区域尺寸自适应搜索：按照像素计算当前帧图像中的目标区域的边界层像素的相似度贡献平均值φ、边界内第一层像素的相似度贡献平均值φ_-1和边界外第一层像素的相似度贡献平均值φ₁，其中边界层由目标区域边界上的像素组成，边界内第一层由边界层向内最邻近的像素组成，边界外第一层由边界层向外最邻近的像素组成；

根据如下公式对下一帧图像的目标区域尺寸进行自适应确定：

其中：w(l)表示当前帧图像中的目标区域尺寸，w(l+1)表示下一帧图像中的目标区域尺寸。

所述快速平移目标搜索中，待匹配目标区域相对目标模板的相似度指标函数值通过对其中的每个像素的相似度贡献值求和的方式得到，新的待匹配目标区域相对目标模板的相似度指标函数值可以通过加上新包含进的像素的相似度贡献值，减去已不再包含的像素的相似度贡献值来计算。

本发明具有明显的创造性和有益效果：

本发明利用了新的图像相似性度量指标，即后验概率指标。该指标利用搜索区域的统计特征来抑制匹配区域特征中背景成分的影响，根据待匹配目标区域与目标模板之间匹配程度的后验概率值来实现相似性度量。无论指标函数的峰值特性分布图，还是序列图像的匹配结果，所提出的指标都明显优于巴氏指标。

由于后验概率指标能够进行像素级计算，本发明利用该计算特性，提出了快速平移目标搜索算法和目标区域尺寸自适应算法，使得本发明的跟踪精度高，速度快。

附图说明

下面结合附图和具体实施方式对本发明的内容作进一步详细说明。

图1是快速平移目标搜索算法示意图；

图2是目标区域尺寸自适应算法示意图；

图3是目标区域尺寸自适应算法规则图；

图4a是Mean Shift跟踪算法的跟踪结果图；

图4b是本发明的快速平移目标搜索算法的跟踪结果图；

图5是本发明的目标区域尺寸自适应算法的跟踪结果图。

具体实施方式

首先，介绍图像特征的表示方法。

在图像处理方面，颜色特征的应用非常广泛。颜色特征对于图像的朝向、分辨率以及噪声等都不敏感。在颜色表示方法中，直方图则是最受欢迎的图像颜色统计特征，它简单易行，计算效率高。因此，本实施例使用颜色直方图作为图像特征来描述目标模板、搜索区域和候选目标区域。

在使用颜色直方图来描述图像时，需要考虑两个问题，色彩空间的选择和直方图的量化。在此，选择RGB空间进行分析，颜色特征量化为4096级。假定某个像素的各个色彩分量值分别为(R，G，B)，它相应的量化特征按下式计算：

u＝[r×256+g×16+b]；        公式(二)

其中， $r=\left[\frac{R}{16}\right],$ $g=\left[\frac{G}{16}\right],$ $b=\left[\frac{B}{16}\right],$ 运算符[n]表示取整运算。由此，目标模板的特征用{q_u|u＝1，2，...，4096}来表示。类似地，搜索区域的特征表示为{s_u|u＝1，2，...，4096}，候选目标区域的特征表示为{p_u|u＝1，2，...，4096}。

其次，介绍后验概率相似度指标的像素级计算特性。

后验概率指标不仅可以按照特征维数进行计算，还可以按照像素进行计算。如公式(一)所示，m_u是图像统计特征的维数，最大后验概率指标正是对每维特征计算其

值，求和得到。这种方式就是按照维数计算，下面将分析该指标还能够按照像素计算。

采用直方图作为图像的统计特征。假定要统计第u个特征的值，即

以像素的形式来求就是将该候选目标区域中所有特征为u的像素对应的

求和。如果有n个这样的像素，则其和为

$\mathrm{\ρ}=\frac{q_u}{s_u}+\frac{q_u}{s_u}+\·\·\·+\frac{q_u}{s_u}=n\×\frac{q_u}{s_u}.$           公式(三)

显然，n是该候选目标区域中特征为u的像素数目，而且它正是该候选目标区域第u个特征的统计值，也就是说p_u＝n。此处所用的直方图特征是未归一化的。对每维特征，其对应的值都可以通过像素对应的

值求和得到。这样转换后，就可以对候选区域的每个像素计算其对应的

然后全部相加得到相似度值，而每个像素对应的

值则表示了该像素的相似度贡献。从而，公式(一)可以改写为如下的形式：

$\mathrm{\φ}(p,q)=\frac{1}{m}\underset{j=1}{\overset{m}{\mathrm{\Σ}}}\frac{q_u\left(j\right)}{s_u\left(j\right)};$                 公式(四)

其中，m是候选目标区域中的像素数。设候选目标区域中的像素j所对应的颜色特征是直方图向量的第u维，q_u(j)和s_u(j)分别表示目标模板直方图向量和搜索区域直方图向量的第u维的值。

其它的相似性度量指标由于包含开方或者对数运算，只能按照特征维数进行计算，无法按照像素进行计算。我们正是根据后验概率指标的这一计算特性，提出了快速平移目标搜索算法和目标尺寸自适应算法。

第三，介绍本发明的具体实施示例。

假设已经获得目标模板的统计特征向量{q_u|u＝1，2，...，4096}；目标在上一帧图像中的位置为r_o＝{x_o，y_o}；目标模板的高度和宽度分别为mdl_h和mdl_w；候选目标区域的高度和宽度分别为obj_h和obj_w；搜索区域与候选目标区域的高度比和宽度比分别为sca_h和sca_w；搜索区域的高度和宽度分别为sea_h和sea_w，其中：

$\left\{\begin{array}{c}\mathrm{sea}\_h=\mathrm{obj}\_h\×\mathrm{sca}\_h\\ \mathrm{sea}\_w=\mathrm{obj}\_w\×\mathrm{sca}\_w\end{array}\right..$             公式(五)

本发明所处理的图像是通过摄像头实时捕捉的连续图像，假定目标在两帧图像中的相对位移不是很大，则可以将上帧图像中目标的位置作为当前帧图像的搜索区域的中心。

对于每一帧捕捉到的图像主要通过如下7个步骤来确定跟踪目标的位置：

Step1：根据上一帧图像中跟踪目标的位置r_o＝{x_o，y_o}来初始化当前帧搜索区域的中心位置，并根据上一帧目标区域的大小通过公式(五)来计算搜索区域的大小。

Step2：计算搜索区域的颜色特征{s_u|u＝1，2，...，4096}。

Step3：针对搜索区域中的每个像素通过

$\mathrm{\ω}(i,j)=\left\{\frac{q_u(i,j)}{s_u(i,j)}\right\},$ 其中i＝1，...，sea_h，j＝1...，sea_w公式(六)

计算各个像素点的相似度权重。其中，ω(i，j)表示第(i，j)个像素的相似度贡献，q_u(i，j)表示第(i，j)个像素对应的颜色特征在模板图像中的统计值，s_u(i，j)表示第(i，j)个像素对应的颜色特征在搜索区域中的统计值。与公式(四)不同的是，此处用像素的二维坐标来标识，而公式(四)用一个序号来标识，两者可以互相转换。

Step4：快速平移候选目标区域，对每一个可能的候选目标区域根据公式(四)计算φ(p，q)。

Step5：找到φ(p，q)的最大值，表示为 ${\mathrm{\φ}}_{\max }(p,q)={\mathrm{\φ}}_{(i^{*},j^{*})}(p,q),$ 其中(i^*，j^*)为取得该最大值的候选区域的中心，即当前帧的目标区域位置。

Step6：目标位置平滑。为了获得一个更为可靠的目标位置，我们设计了一个目标位置平滑过程。在最优位置(i^*，j^*)的适当邻域中，通过

$x_o=\left[\frac{\underset{i=1}{\overset{\mathrm{num}}{\mathrm{\Σ}}}i}{\mathrm{num}}\right],$ $y_o=\left[\frac{\underset{j=1}{\overset{\mathrm{num}}{\mathrm{\Σ}}}j}{\mathrm{num}}\right]$            公式(七)

来计算平滑后的目标最优位置，其中(i，j)满足|φ_(i，j)(p，q)-φ_max(p，q)|≤ε，ε是一个正常数，此处设ε＝0.1。num是用来做平滑运算的侯选目标区域的数目，(x_o，y_o)为最终获得的目标的位置。

Step7：自适应调整目标区域尺寸，获取更加合适的目标区域尺寸obj_h和obj_w。

第四，详细介绍快速平移目标搜索算法，即Step4和Step5。

在上述的跟踪过程中有一个求解相似性指标最大值的过程，通常的做法是采用穷举搜索或者某种优化算法，如mean-shift和trust-region。本发明文根据后验概率指标的像素级线性求和特点，提出了一种快速平移目标搜索算法。

假定搜索区域内每个像素的相似度权重ω(i，j)已经求得，为了得到每个待匹配目标区域的相似度值φ(p，q)，需要在其区域内求得所有像素的相似度权重之和。如果在每个待匹配目标区域进行该计算，时间耗费非常大。由上述分析可以看到，采用后验概率作为相似性度量指标可以按照像素求和得到待匹配目标区域的相似值，在求得一个待匹配目标区域的相似值后，其相邻待匹配目标区域的相似度值可以在前者的相似度值的基础上，通过加上新包含进的像素对应的相似度值，减去已不再包含的像素对应的相似度值来得到。应用该方法可以大大减少计算量，即使采用遍历搜索，也可以达到实时要求。如图1所示，图中的黑点表示像素点，在求得第i个候选目标区域的相似度值后，第j个候选目标区域的相似度值可以通过加上第8列中属于第j个候选目标区域的像素对应的相似度值，减去第2列中属于第i个候选目标区域的像素的相似度值来得到。在行方向上移动的计算方法与列方向上移动的计算方法是类似的。通过这种方式，每个待匹配目标区域的相似值计算不需要对区域内的每个像素的权重求和，只需要少量的加减运算就可以求得各个待匹配目标区域的相似值，从而大大提高了计算效率。实验表明，该方法可以满足实时跟踪的需求。

第五，详细介绍目标尺寸自适应算法，即Step7。

根据后验概率指标的像素级计算特性，本发明提出了一种新的目标尺寸自适应方法。每个待匹配目标区域的后验概率指标值给出了该待匹配目标区域为真正的目标区域的后验概率值。通过公式(六)计算每个像素的后验概率指标值后，得到了与搜索区域相对应的相似值矩阵ω，它的每个元素给出了其所对应的像素是来自目标区域的概率值，也可以说是该像素对其所在的待匹配目标区域为目标区域的贡献值。对某帧图像而言，在求得了后验概率指标最大值 ${\mathrm{\φ}}_{\max }(p,q)={\mathrm{\φ}}_{(i^{*},j^{*})}(p,q)$ 后，就得到了该帧图像中的目标位置(i^*，j^*)。根据ω的物理意义，可以通过比较目标区域边界内层、边界层和边界外层上像素的平均贡献值来确定目标尺寸的变换趋势。又因为相邻帧间目标物体的运动具有连续性，在对当前帧中的目标对象的尺寸变化趋势判定后，就可以确定下一帧图像中的目标区域尺寸变大还是变小，从而完成目标区域尺寸的自适应变化。

如图2所示，其中的3个矩形框由外到里分别是目标区域边界外层A、边界层B和边界内层C。通过将每个矩形上的像素对应的贡献值分别求和，进而可以求得其3个矩形上的像素的相似度贡献平均值，表示为：

φ_k，k＝-a，…，0，…，a；公式(八)

其中，当k＜0时，表示目标区域边界内的第k层，k＞0表示目标区域边界外的第k层，k＝0表示目标区域边界层，相应的φ_k表示该层上的像素的相似度平均贡献值。为简便起见，取a＝1。

根据上述思想，申请人通过视频跟踪实验，得到具有良好效果的目标区域尺寸自适应变化经验公式如下：

    公式(九)

其中，w(l)表示第l帧图像的尺寸。图3给出了该调整方法的说明，其中横坐标表示层数，纵坐标为平均贡献值，曲线1和曲线2将整个坐标平面分成了3个区域。如果计算所得的平均贡献值落在区域1，由其物理意义可知3层上的像素平均贡献值都比较大，而且稳定，因而目标区域外仍应当属于目标对象，因而目标尺寸应当增大。相应的，如果所计算的平均贡献值落在区域3，则表示目标区域边界上的像素的平均贡献值已经比较小了，而且在目标区域的外部该值减小很快。这说明目标边界及其外部区域属于目标对象的可能性很小，因而应当减小目标尺寸。区域2是介于区域1及区域3的情况，此时目标尺寸保持不变。曲线3给出了一个比较特殊的示例，在这种情况下如果只计算目标区域外层的像素的相似度贡献平均值，则有可能做出错误的尺寸调整，因而计算3层的贡献平均值是比较好的选择。

图4a是Mean Shift跟踪算法的跟踪结果图，图4b是本发明的快速平移目标搜索算法的跟踪结果图，经过对比可以看出，本发明的跟踪精度高，目标定位准确。图5是本发明的目标区域尺寸自适应算法的跟踪结果图，明显可以看出，目标定位准确，目标尺寸合适。综合上述，形成了一套完整的后验概率图像跟踪方法，该方法跟踪精度高，速度快，为视觉跟踪领域提供了一套有效的解决方案。

Claims (2)

1.一种基于背景抑制的后验概率图像跟踪方法，其特征在于，包括以下步骤：

步骤一，计算搜索区域内像素的相似度贡献值：确定目标模板，其特征向量为q， $q\∈R^{m_u},$ 实时获取视频图像，以上一帧图像中的目标区域的位置为中心，确定当前帧图像的搜索区域，统计该搜索区域的特征向量s， $s\∈R^{m_u},$ 其中m_u为特征的维数，

为m_u维的实数空间；根据目标模板的特征向量q和搜索区域的特征向量s，计算搜索区域内每个像素的相似度贡献值

其中q_u(j)表示搜索区域中的第j个像素所对应的目标模板向量中的第u个特征值，s_u(j)表示搜索区域中的第j个像素所对应的搜索区域向量中的第u个特征值；

步骤二，进行快速平移目标搜索：根据当前帧图像中的目标区域尺寸，确定当前帧图像中待匹配目标区域尺寸；平移待匹配目标区域得到新的待匹配目标区域，按照像素计算所有待匹配目标区域相对目标模板的相似度指标函数φ(p，q)， $\mathrm{\φ}(p,q)=\frac{1}{m}\underset{j=1}{\overset{m}{\mathrm{\Σ}}}\frac{q_u\left(j\right)}{s_u\left(j\right)},$ 其中m表示待匹配目标区域中的像素总数，搜索得到函数值最大的待匹配目标区域为当前帧目标区域；

步骤三，进行目标区域尺寸自适应搜索：按照像素计算当前帧图像中的目标区域的边界层像素的相似度贡献平均值φ、边界内第一层像素的相似度贡献平均值φ_-1和边界外第一层像素的相似度贡献平均值φ₁，其中边界层由目标区域边界上的像素组成，边界内第一层由边界层向内最邻近的像素组成，边界外第一层由边界层向外最邻近的像素组成；

根据如下公式对下一帧图像的目标区域尺寸进行自适应确定：

其中：w(l)表示当前帧图像中的目标区域尺寸，w(l+1)表示下一帧图像中的目标区域尺寸。

2、根据权利要求1所述的一种基于背景抑制的后验概率图像跟踪方法，其特征在于，所述快速平移目标搜索中，待匹配目标区域相对目标模板的相似度指标函数值通过对其中的每个像素的相似度贡献值求和的方式得到，新的待匹配目标区域相对目标模板的相似度指标函数值可以通过加上新包含进的像素的相似度贡献值，减去已不再包含的像素的相似度贡献值来计算。

Images