CN102903119A - 一种目标跟踪方法和装置 - Google Patents

Abstract

本发明涉及图像处理技术领域，特别是涉及一种目标跟踪方法和装置，所述方法包括:在进行目标跟踪时，获取当前帧图像，将所述当前帧图像与上一帧图像进行比较，获取帧差模板；利用所述当前帧图像与预先建立的背景模板进行前景检测处理，获取前景模板；对所述帧差模板和所述前景模板进行融合、处理，获取融合后的候选区域前景图像；在所述候选区域的前景图像中对确定的跟踪目标进行跟踪。由于在本发明实施例中，提取的融合后的候选目标前景区域剔除了大部分背景干扰，从而使得目标跟踪能够在有效区域内进行，使得进行目标跟踪时陷入局部极值点的机会大大变小，进一步提高了目标跟踪方法的抗干扰能力，增强了算法的准确度和鲁棒性。

Description

一种目标跟踪方法和装置

技术领域

本发明涉及图像处理技术领域，特别是涉及一种目标跟踪方法和装置。

背景技术

目标检测与跟踪是动态图像处理技术的主要研究方向，具有广泛的应用前景，尤其是在智能监控、人机交互以及辅助医疗诊断等领域。通过目标跟踪，系统可以自动地获取跟踪目标在视频或图像中的位置、大小等信息。在一般的视频目标跟踪方法中，会预先建立一个标识跟踪目标或待检测物体的参考模板作为识别和确定跟踪目标位置的依据，然后使用参考模板与实时图像中的各个子区域进行比较，以找出实时图像中与参考模板中的跟踪目标最接近的子区域图像的位置，作为跟踪目标在实时图像中的当前位置。

现有技术中，均值移动算法以其原理简单、收敛速度快、实时性能优越等特性在视频目标跟踪中得到了广泛的应用。均值移动算法是通过计算参考模板与候选模板之间的相似度确定跟踪目标在实时图像中的位置的。其中，基于核颜色直方图的均值移动算法以颜色为跟踪特征，通过对图像块内的颜色进行加权统计，来确定跟踪目标的位置。

在实现本发明的过程中，发明人发现现有技术中至少存在如下问题：现有技术中，均值移动算法虽然采用了核颜色直方图来对跟踪目标进行建模，但是当跟踪目标较为弱小、目标颜色与背景颜色接近时，均值移动算法容易被背景颜色干扰，从而陷入局部极值点，进而丢失跟踪目标，算法的鲁棒性不强。

发明内容

为解决上述技术问题，本发明实施例提供了一种目标跟踪方法和装置，可以在跟踪目标小、目标颜色与背景颜色接近的情况下，有效抑制背景干扰，提高跟踪算法的鲁棒性。

技术方案如下：

一方面，本发明实施例公开了一种目标跟踪方法，所述方法包括:

在进行目标跟踪时，获取当前帧图像，将所述当前帧图像与上一帧图像进行比较，获取帧差模板；

利用所述当前帧图像与预先建立的背景模板进行前景检测处理，获取前景模板；

对所述帧差模板和所述前景模板进行融合、处理，获取融合后的候选区域前景图像；

在所述候选区域的前景图像中对确定的跟踪目标进行跟踪。

优选地，所述方法还包括：

获取多帧图像，对所述多帧图像进行多高斯背景建模处理，获取背景模板。

优选地，在对所述多帧图像进行多高斯背景建模处理之前，所述方法还包括：

将所述多帧图像从彩色图像转换成灰度图像。

优选地，所述对所述帧差模板和所述前景模板进行融合、处理，获取融合后的候选区域前景图像具体包括：

对所述帧差模板和所述前景模板中的像素进行或运算，获取融合后的第一图像；

利用当前帧图像对所述融合后的第一图像进行处理，获取融合后的候选区域前景图像。

优选地，所述在所述候选区域的前景图像中对待识别目标进行跟踪具体包括：

获取跟踪目标的初始位置作为第一位置，以所述第一位置为中心，建立参考目标的核直方图；

在所述候选区域的前景图像中，在与所述第一位置对应的区域建立候选目标的核直方图，并获取各个颜色分量的权值；

利用所述第一位置以及所述各个颜色分量的权值获取与所述候选目标对应的第二位置；

判断所述第二位置的值与所述第一位置的值之间的差值的模是否小于设定阈值；

如果否，将所述第二位置的值作为第一位置的值，进入在所述候选区域的前景图像中在与所述第一位置对应的区域建立候选目标的核直方图的步骤，直至判断所述第二位置的值与所述第一位置的值之间的差值的模小于设定阈值时，停止迭代。

优选地，所述方法还包括：

当通过迭代计算，判断所述第一位置的值与第二位置的值之间的差值的模小于设定阈值时，输出目标位置，将所述第二位置的值作为第一位置的值，获取下一帧图像，将下一帧图像作为当前帧图像，进入获取帧差模板的步骤。

另一方面，本发明实施例还公开了一种目标跟踪装置，所述装置包括:

帧差获取单元，用于在进行目标跟踪时，获取当前帧图像，将所述当前帧图像与上一帧图像进行比较，获取帧差模板；

前景获取单元，用于利用所述当前帧图像与预先建立的背景模板进行前景检测处理，获取前景模板；

融合单元，用于对所述帧差模板和所述前景模板进行融合、处理，获取融合后的候选区域前景图像；

跟踪单元，用于在所述候选区域的前景图像中对待识别目标进行跟踪。

优选地，所述装置还包括：

背景建模单元，用于获取多帧图像，对所述多帧图像进行多高斯背景建模处理，获取背景模板。

优选地，所述装置还包括：

转换单元，用于将所述多帧图像从彩色图像转换成灰度图像。

优选地，所述融合单元具体包括：

第一获取单元，用于对所述帧差模板和所述前景模板中的像素进行或运算，获取融合后的第一图像；

处理单元，用于利用当前帧图像对所述融合后的第一图像进行处理，获取融合后的候选区域前景图像。

优选地，所述跟踪单元具体包括：

第一建立单元，用于获取跟踪目标的初始位置作为第一位置，以所述第一位置为中心，建立参考目标的核直方图；

第二建立单元，用于在所述候选区域的前景图像中，在与所述第一位置对应的区域建立候选目标的核直方图，并获取各个颜色分量的权值；

位置获取单元，用于利用所述第一位置以及所述各个颜色分量的权值获取与所述候选目标的对应的第二位置；

判断单元，用于判断所述第二位置的值与所述第一位置的值之间的差值的模是否小于设定阈值；如果否，进入迭代单元；

迭代单元，用于如果当判断所述第二位置的值与所述第一位置的值之间的差值的模大于设定阈值时，将所述第二位置的值作为第一位置的值，进入第二建立单元，直至所述判断单元的判断结果表明所述第二位置的值与所述第一位置的值之间的差值的模小于设定阈值时，停止迭代。

优选地，所述装置还包括：

输出单元，用于当通过迭代计算，判断所述第一位置的值与第二位置的值之间的差值的模小于设定阈值时，输出目标位置；将所述第二位置的值作为第一位置的值，获取下一帧图像，将下一帧图像作为当前帧图像，进入帧差获取单元。

本发明实施例能够达到的有益效果为：本发明提供了一种目标跟踪算法，将实时检测结果融合到目标跟踪方法中，具体的，是通过获取当前帧图像与上一帧图像的帧差模板，以提取目标由于运动而产生的变化像素；并利用预先建立的背景模板获取前景图像，并将获取的帧差模板与前景图像进行融合，对候选目标的前景区域进行有效提取，然后在提取的前景区域内进行移动目标跟踪。由于提取的融合后的候选目标前景区域剔除了大部分背景干扰，从而使得目标跟踪能够在有效区域内进行，使得进行目标跟踪时陷入局部极值点的机会大大变小，进一步提高了目标跟踪方法的抗干扰能力，增强了算法的准确度和鲁棒性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的目标跟踪方法第一实施例流程图；

图2为本发明实施例提供的目标跟踪方法第二实施例流程图；

图3a-图3d为本发明一实施例获取融合后的候选区域前景图像效果示意图；

图4a-图4d为现有技术跟踪效果示意图；

图5a-图5d为本发明跟踪效果示意图；

图6a-图6d为本发明另一实施例获取融合后的候选区域前景图像效果示意图；

图7为本发明实施例提供的目标跟踪处理装置示意图。

具体实施方式

目标检测与跟踪在动态图像处理技术中得到了广泛的应用。现有技术中，目标检测与目标跟踪处于系统的两个不同模块之中，其中，目标检测为目标跟踪提供初始条件，而在后继的目标跟踪中则很少再利用目标检测结果。除非发生目标丢失，需要重新初始化系统。而在一般的目标跟踪算法中，一般利用颜色特征进行目标跟踪，当背景颜色与目标颜色比较相近时，跟踪算法容易被背景颜色吸引，这样会导致目标丢失情况的出现。

发明人在实现本发明的过程中发现，当跟踪目标的颜色与背景颜色较为接近时，使用现有技术提供的方法容易出现目标丢失的现象。因此，如何抑制背景像素的干扰成为解决问题的关键。发明人发现，如果对当前帧图像进行处理，剔除与目标颜色相近的背景像素，提取候选目标的有效前景区域，再在前景区域中进行目标跟踪则能够有效的抑制背景干扰，从而克服现有技术容易出现目标丢失的问题。具体的，在本发明实施中，视频或图像像素级别的变化是通过背景减除、帧间差分来确定的，而像素的隶属关系则是通过块级别的均值移动算法来完成。因此将二者进行有机的结合，利用它们各自的优点来提高跟踪算法的鲁棒性、抗干扰性将成为可行途径。

为了解决现有技术的上述问题，本发明实施例提供了一种目标跟踪方法和装置，可以在跟踪目标小、目标颜色与背景颜色接近的情况下，有效抑制背景干扰，提高跟踪算法的鲁棒性。具体的，本发明实施例提出了一种融合检测结果的视频目标跟踪方法，即在跟踪的同时，采用背景减除、帧间差分方法进行变化像素提取，这样可以将背景中与目标颜色相似的静止干扰像素剔除。最后将得到的前景图像和对应的视频区域进行“与”操作，从而得到目标的有效候选区域，在候选区域内使用均值移动算法对目标进行进一步跟踪。本发明提出的方法融合了像素级别的检测算法和块级别的跟踪算法各自的优点，并且算法操作简单、计算量小、跟踪精度高，鲁棒性强，不易发生丢失目标的现象。

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

参见图1，为本发明提供的目标跟踪方法第一实施例流程图，包括：

S101，在进行目标跟踪时，获取当前帧图像，将所述当前帧图像与上一帧图像进行比较，获取帧差模板。

具体的，使用帧间差分算法获取当前帧图像与上一帧图像的帧差模板，以提取由于背景变化、目标移动而发生变化的像素。

S102，利用所述当前帧图像与预先建立的背景模板进行前景检测处理，获取前景模板。

具体的，可以通过多高斯背景建模，获取背景模板。再利用当前帧图像与背景模板进行前景检测，也就是通过背景减除获取前景模板。这里通过多高斯背景建模、背景减除可以获取较为明显的前景区域，这些区域可能包括跟踪目标，也可能包括其他前景目标。

本领域技术人员可以理解的是，步骤S101和步骤S102的执行顺序可以颠倒，或者可以并行的执行。

S103，对所述帧差模板和所述前景模板进行融合处理，获取融合后的候选区域前景图像。

具体的，是将帧差模板和前景模板中的像素进行或运算，获取融合后的第一图像。然后利用当前帧图像对所述融合后的第一图像进行处理，获取融合后的候选区域前景图像。

S104，在所述候选区域的前景图像中对确定的跟踪目标进行跟踪。

具体的，可以使用均值移动算法对确定的目标进行跟踪。确定跟踪目标时，可以在初始图像中，通过手工标定或者检测的方法确定需要跟踪的目标。这里，当采用手工标定的方法确定跟踪的目标时，初始图像是有感兴趣的跟踪目标的图像，可以是首次出现感兴趣目标的图像帧。当采用检测的方法确定跟踪目标时，初始图像是检测到感兴趣目标的首个图像帧。当然，也可以使用其他跟踪算法在所述候选区域的前景对象中对确定的跟踪目标进行跟踪，例如模板匹配算法、粒子滤波算法或者多窗口的目标跟踪算法等。其中，模板匹配算法是通过参考模板与目标模板进行匹配进行跟踪的。在获取跟踪目标的参考模板后，即在获取的所述候选区域的前景图像中，利用穷尽搜索机制，找到所述候选区域内的目标候选位置作为跟踪目标的最终跟踪位置。由于在本发明中，提取了前景的有效区域，剔除了背景因素的影响，因此也有效的降低了模板匹配算法进行穷举搜索的时间。本领域技术人员可以理解的是，本发明不限定具体的跟踪算法，本领域技术人员在不付出创造性劳动下获取的其他实施方式均属于本发明的保护范围。

在本发明第一实施例中，是通过获取当前帧图像与上一帧图像的帧差模板，以提取目标由于运动而产生的变化像素；并利用预先建立的背景模板获取前景图像，并将获取的帧差模板与前景图像进行融合，对候选目标的前景区域进行有效提取，然后在提取的前景区域内进行移动目标跟踪。由于提取的融合后的候选目标前景区域剔除了大部分背景干扰，从而使得目标跟踪能够在有效区域内进行，使得进行目标跟踪时陷入局部极值点的机会大大变小，进一步提高了目标跟踪方法的抗干扰能力，增强了算法的准确度和鲁棒性。

参见图2，为本发明提供的目标跟踪方法第二实施例流程图。

S201，获取多帧图像，对所述多帧图像进行多高斯背景建模处理，获取背景模板。

具体的，可以读入T帧图像，对读入的T帧图像进行多高斯背景建模处理。T为系统预先设定或自定义的参数，为大于1的整数。优选的，在对读入的T帧图像进行多高斯背景建模处理之前，可以现将所述T帧图像从彩色图像转换成灰度图像。这是因为随着时间的变化，背景可能随着光线发生变化，为了抑制光照变化的影响，可以在背景建模前将彩色图像转换成灰度图像。这样可以进一步降低系统的运算量，提高系统的实时处理能力。

具体的，在本发明实施例中，采用混合高斯模型对初始帧图像进行背景建模。

混合高斯模型建模的具体方式为采用k个高斯函数，计算图像中坐标为(x,y)的像素X_t属于背景的概率密度，计算公式为：

$\mathrm{Pr}\left(x_t\right)=\frac{1}{K}\underset{i=1}{\overset{K}{\mathrm{\Σ}}}\underset{j=1}{\overset{d}{\mathrm{\Π}}}\frac{1}{\sqrt{2\mathrm{\π}{\mathrm{\σ}}_j^2}}{e}^{-\frac{1}{2}\frac{{(x_{t_j}-x_{i_j})}^2}{{\mathrm{\σ}}_j^2}}---\left(1\right)$

其中，d表示所采用颜色空间的维数，如采用三通道RGB颜色空间，d等于3；如采用单通道灰度图像，d等于1；σ表示每个通道的标准差；X_tj为像素X_t在第j个通道中的灰度值；X_ij为像素X_t在第i个高斯函数中第j个通道中的灰度值。

S202，获取当前帧图像。

读入一帧图像作为当前帧图像。当前帧图像的来源可以来自前端监控设备、图形图像处理设备等，获取当前帧图像后，保存当前帧图像。

S203，利用所述当前帧图像与所述背景模板进行前景检测处理，获取前景模板。

在通过多帧图像建立背景模板后，则利用获取的当前帧图像与背景模板进行背景减除处理，以提取前景模板。通过前景检测的处理，可以提取去除背景的前景图像。这时，获取的前景模板可能包括跟踪目标，也可能包括其他前景目标。当跟踪目标与背景颜色相近时，检测到的前景可能会存在漏洞或残缺。为了进一步提高跟踪性能，可以使用帧间差分提取变化的像素。

具体的，可以采用如下公式计算前景模板F：

$F_t(x,y)=\left\{\begin{array}{ccc}1& \mathrm{if}& \mathrm{Pr}\left(x_t\right)<G\\ 0& \mathrm{else}& \end{array}\right.---\left(2\right)$

其中，Pr(x_t)是公式（1）获取的像素X_t属于背景的概率密度；像素X_t的图像坐标为(x,y)即X_t=(x,y)；G是设定的阈值。

S204，将所述当前帧图像与上一帧图像进行比较，获取帧差模板。

帧间差分可以抑制场景渐变的影响，并可以增加跟踪目标由于运动而产生的像素，这样可以克服目标移动速度较快而产生的跟踪目标丢失的问题。具体的，在本发明实施例中，使用帧间差分算法将当前帧图像与上一帧图像进行比较，获取帧差模板，以提取由于背景变化、目标移动而发生变化的像素。

具体的，可以采用公式（3）计算帧差模板D：

$D_t(x,y)=\left\{\begin{array}{ccc}1& \mathrm{if}& |I_t(x,y)-I_{t-1}(x,y)|>T\\ 0& \mathrm{else}& \end{array}\right.---\left(3\right)$

其中I_t(x,y)是当前图像帧；I_t-1(x,y)是前一图像帧；图像坐标为(x,y)，即X_t＝(x,y)；T是设定的阈值。

本领域技术人员可以理解的是，在具体执行时，步骤S203和步骤S204可以颠倒地或并行地执行。

S205，对所述帧差模板和所述前景模板进行融合处理，获取融合后的候选区域前景图像。

具体的，是将帧差模板和前景模板中的像素进行或运算，获取融合后的第一图像。这时，获取的是融合后的前景图像，即融合模板。

具体的，可以公式（4）获取融合模板M：

$M_t(x,y)=\left\{\begin{array}{ccccc}1& \mathrm{if}& F_t(x,y)==1& \mathrm{or}& D_t(x,y)==1\\ 0& \mathrm{else}& & & \end{array}\right.---\left(4\right)$

其中，F_t(x,y)是当前时刻前景模板；D_t(x,y)是当前时刻帧差模板；(x,y)为像素位置。

以图3b和图3c为例进行说明，图中背景像素为黑色，假设取值为0;前景像素为白色，假设取值为1。当将图3b所示的前景模板和图3c所示的帧差模板中的像素进行或运算后，则会获取完整的前景图像即第一图像。

由于这时前景图像均被赋予为白色，如果图像中存在多个前景目标，则无法正确的对前景目标进行区分，这时，需要对第一图像进行处理。具体的，是利用当前帧图像和所述融合后的第一图像（融合模板）进行逻辑运算，获取融合后的候选区域前景图像。

具体的，可以公式（5）获取融合前景图L，即融合后的候选区域前景图像：

$L_t(x,y)=\left\{\begin{array}{ccc}{I}_t(x,y)& \mathrm{if}& M_t(x,y)=1\\ 255& \mathrm{else}& \end{array}\right.$

其中M_t(x,y)是时刻t的融合模板；I_t(x,y)是时刻t、位置(x,y)处的像素值。

以图3所示为例进行说明，在图3b和图3c中，背景像素为黑色，假设取值为0;前景像素为白色，假设取值为1。这时，我们需要将所有的背景像素从黑色变为白色，即将所有值为0的像素赋值变为255。然后，获取当前帧图像像素的值，将第一图像中像素值为1的像素的赋值变为与当前帧图像对应位置的像素相同的值。这时，相当于对第一图像和当前帧图像进行了或运算，这时，前景图像即从白色变为了真实图像中的颜色，这样可以通过颜色对不同前景目标进行区分。又由于背景像素都赋值为255即变为白色，这时即获取了真实的融合前景图像，而且剔除了原图像中与目标颜色相同的静止像素的干扰。

S206，获取跟踪目标的初始位置作为第一位置，以所述第一位置为中心，建立参考目标的核直方图。

在本发明第二实施例中，是利用均值移动算法进行目标跟踪的。确定跟踪目标时，可以在初始图像中手动选取或者通过自动检测获取待跟踪的目标。这里，初始图像是指首次出现感兴趣的目标所对应的图像帧。具体的，当采用自动检测获取待跟踪目标时，那么首次检测到感兴趣的目标所对应的图像帧即为初始图像帧。这时，系统将跟踪目标在初始图像中的初始位置y₀作为第一位置，以y₀为中心，建参考目标的核直方图。这时，参考目标的核直方图又可以称为参考模型，后继的跟踪都是以参考模型为依据进行的。

采用均值移动算法对目标跟踪，需要确定跟踪线索，其可以是目标的颜色、纹理或者梯度信息等。由于基于颜色信息的目标跟踪具有很好的鲁棒性，并且实现简单，系统运行效率高，因此在本发明实施例中是采用颜色特征作为跟踪线索的。在跟踪之前，系统对被跟踪目标进行参考目标的核直方图建模（即建立参考模型）：

u＝1,2,…m        （6）

其中x₀、x_k分别表示跟踪目标的中心像素坐标和第k个像素的坐标；n为目标像素总数目；u为量化颜色分量数目，m为量化颜色分量总数目；K(||x||²)是核函数；h表示核函数的带宽；δ(·)是Kronecker delta函数；函数b:R²→{1,2…m}的作用是计算位置在x_k处的像素所属颜色分量；C为归一化常数，使得

在后继的跟踪过程也采用类似的方法对位置y的候选模板建立核概率密度

S207，在所述候选区域的前景图像中，在与所述第一位置对应的区域建立候选目标的核直方图，并获取各个颜色分量的权值。

具体的，通过以下公式建立候选目标的核直方图：

u＝1,2,…m       （7）

其中x₀、x_k分别表示跟踪目标的中心像素坐标和第k个像素的坐标；n为目标像素总数目；u为量化颜色分量数目，m为量化颜色分量总数目；K(||x||²)是核函数；h表示核函数的带宽；δ(·)是Kronecker delta函数；函数b:R²→{1,2…m}的作用是计算位置在x_k处的像素所属颜色分量；C为归一化常数，使得

这里，建立候选目标的核直方图所采用的方法与步骤S206建立参考目标的核直方图相同。如果对应两个不同的目标对象，其所建出来的模型相同，就可以认为两个目标对象是同一个目标，从而也就达到跟踪目标的目的。

进一步的，通过以下公式获取各个颜色分量的权值：

其中，ω_k表示颜色分量的权值，u为量化颜色分量数目,其中u=1,2......m,

为参考目标的核直方图，

为候选目标的核直方图，δ(·)是Kroneckerdelta函数；函数b:R²→{1,2…m}的作用是计算位置在x_k处的像素所属颜色分量。

S208，利用所述第一位置以及所述各个颜色分量的权值获取与所述候选目标对应的第二位置。

根据初始位置y₀通过公式（5）计算候选目标的第二位置y₁。

$y_1=\frac{{\mathrm{\&Sigma;}}_{k=1}^n{x}_k{\mathrm{\&omega;}}_k{K}^{\&prime;}\left({\left|\right|\frac{y_0-x_k}{h}\left|\right|}^2\right)}{{\mathrm{\&Sigma;}}_{k=1}^n{\mathrm{\&omega;}}_k{K}^{\&prime;}\left({\left|\right|\frac{y_0-x_k}{h}\left|\right|}^2\right)}---\left(9\right)$

其中x_k表示跟踪目标的第k个像素的坐标；n为目标像素总数目；K′是对核函数进行求导，h表示核函数的带宽，ω_k表示颜色分量的权值。

S209，判断所述第二位置的值与所述第一位置的值之间的差值的模是否小于设定阈值。

判断‖y₁－y₀‖是否小于设定的阈值ε。如果是，进入步骤S211；如果否，进入步骤S210。

S210，如果否，将所述第二位置的值作为第一位置的值，进入步骤S207，继续迭代跟踪。即赋值y₀＝y₁，返回到步骤S207，继续迭代跟踪。

S211，如果是，停止迭代，输出目标位置。

S212，更新背景模型，读入下一帧，将下一帧图像作为当前帧图像，开始新的跟踪，进入步骤S202。如此循环处理，直至处理完最后一帧图像，结束程序。

下面以具体的实施例说明本发明提供的方法所能达到的效果。以图3所示为例。图3a是一个打架的视频，使用的视频场景是室内的一段监控录像，视频分辨率是320×240，视频序列的总帧数为430帧。背景建模使用视频的前10帧，混合高斯的个数为2。均值移动算法使用RGB颜色空间,并且对三个颜色分量采用16×16×16=4096(m)划分,均值移动最大迭代次数为10次，迭代终止条件是ε=0.5，初始跟踪目标是人体上半身，手动选择，目标尺寸大小为20×20。从图3a可以看出跟踪的人体颜色与背景较为相似，尤其是在打架过程中，由于目标的运动过快，导致视频帧目标比较模糊，其颜色特征出现了一定的扭曲。为了获取较好的跟踪效果，我们首先对当前帧图像进行帧间差分和背景减除处理，获取融合后的前景图像。图3a为跟踪过程中某一帧图像，跟踪目标为穿浅色衣服的上半身。从图3b我们可以看出,通过背景建模、前景检测可以得到具有孔洞，残缺的前景图像。之所以存在空洞和残缺，是因为目标的颜色跟背景较为接近，背景中其它与目标颜色相近的像素已经被剔除，从而降低了跟踪算法陷入局部极值点的可能性。另外，由于跟踪目标处于运动状态，可以看到帧间差分算法具有很好的运动检测效果，如图3c所示，这样我们利用了场景先验知识和帧间的运动信息，得到融合的真实图像，如图3d，可以看出，融合的真实图像已经剔除了很多与目标跟踪无关的背景颜色干扰，我们在新的图像空间中进行目标跟踪，即在图3d中进行目标跟踪，这样跟踪算法陷入局部极值点的可能性大大降低，算法性能得到提高。从跟踪效果可以看出，本发明提供的方法通过背景建模很好的抑制了背景颜色在跟踪过程中的作用，从而提高了整个算法的跟踪精度。

为了验证算法在弱目标跟踪的跟踪性能，我们使用了一段吊牌快速旋转的视频，其吊牌的颜色与背景颜色较为接近，吊牌的分辨率大小为17×17，系统的其它参数同上面的实验。图4为现有技术跟踪结果，图像的帧号分别是259、169、185、293。吊牌的主要颜色分布包括黑色和淡粉色两种成分，从第285帧的跟踪效果可以看出，吊牌的跟踪窗口被背景中的黑色和淡粉色区域所吸引，即此时该区域的颜色空间分布与吊牌的颜色空间分布不同，但是由于均值移动算法对颜色分布的空间位置不是十分敏感，所以导致它们的核颜色直方图比较接近，所以致使跟踪算法陷入局部极值点，而本文有效的利用了背景减除、帧间差分算法，所以整个跟踪算法对像素的空间位置分布更加敏感，使整个跟踪过程具有更好的抗干扰特性。如图5所示，为本发明提供的方法跟踪效果示意图。图6a-图6d为获取融合的前景图像示意图。如图所示，在经过图6b的背景减除以及图6c的帧间差分处理后，获取的融合前景图像图6d已经剔除了大部分背景干扰，此时进行跟踪，获取了很好的跟踪效果。

我们将本发明提供的方法在上述两段视频中进行测试，表1给出了总体跟踪性能比较。跟踪目标的真实位置由手工标注，具体方法是，两个人分别独立在每帧中对目标区域标注三次，然后求其平均值作为真实目标位置。但是如果连续两次标注的误差超过某个阈值（如2个像素），则重新标注图像中的目标位置。X轴误差和Y轴误差分别表示在X轴、Y轴方向上的误差。在每帧中，如果跟踪的目标中心落在手工标注的目标区域内，则认为跟踪成功，并且计算相应的误差，否则认为跟踪失败。整段视频的跟踪成功率定义为全部成功跟踪的帧数除以该序列的总视频帧数即：

表1算法跟踪性能比较

注：X轴和Y轴误差表示为均值±标准差。

在本发明实施例中，利用背景减除和帧间差分的方法提取融合的前景图像,然后在融合的前景图像中进行目标跟踪。本发明提供的方法结合了前景检测与目标跟踪各自具有的优点，利用了帧间差分对帧间变化的敏感性以及背景建模的先验知识，解决了影响跟踪性能的相似像素干扰的问题，同时，本发明提供的也利用了均值移动的局部寻优特性，从而使整个跟踪方法具有优良的特性。本发明提供的方法在目标快速运动、有场景相似颜色干扰等情况下具有很好的适用能力，从而提高了目标跟踪的长期稳定性以及跟踪精度。通过多组对比实验也可以看出，本发明提供的方法具有很强地抑制背景干扰的能力，从而提高了均值移动跟踪算法的鲁棒性。另外，算法的计算量小，可以满足实时性的需求。

参见图7，为本发明实施例一种目标跟踪装置示意图。

所述装置包括:

帧差获取单元701，用于在进行目标跟踪时，获取当前帧图像，将所述当前帧图像与上一帧图像进行比较，获取帧差模板。

前景获取单元702，用于利用所述当前帧图像与预先建立的背景模板进行前景检测处理，获取前景模板。

融合单元703，用于对所述帧差模板和所述前景模板进行融合处理，获取融合后的候选区域前景图像。

跟踪单元704，用于在所述候选区域的前景图像中对待识别目标进行跟踪。

优选的，所述装置还包括：

背景建模单元，用于获取多帧图像，对所述多帧图像进行多高斯背景建模处理，获取背景模板。

优选的，所述装置还包括：

转换单元，用于将所述多帧图像从彩色图像转换成灰度图像。

优选的，所述融合单元具体包括：

第一获取单元，用于对所述帧差模板和所述前景模板中的像素进行或运算，获取融合后的第一图像。

处理单元，用于利用当前帧图像对所述融合后的第一图像进行处理，获取融合后的候选区域前景图像。

优选的，所述跟踪单元具体包括：

第一建立单元，用于获取跟踪目标的初始位置作为第一位置，以所述第一位置为中心，建立参考目标的核直方图；

第二建立单元，用于在所述候选区域的前景图像中，在与所述第一位置对应的区域建立候选目标的核直方图，并获取各个颜色分量的权值；

位置获取单元，用于利用所述第一位置以及所述各个颜色分量的权值获取与所述候选目标的对应的第二位置；

判断单元，用于判断所述第二位置的值与所述第一位置的值之间的差值的模是否小于设定阈值；如果否，进入迭代单元；

迭代单元，用于如果当判断所述第二位置的值与所述第一位置的值之间的差值的模大于设定阈值时，将所述第二位置的值作为第一位置的值，进入第二建立单元，直至所述判断单元的判断结果表明所述第二位置的值与所述第一位置的值之间的差值的模小于设定阈值时，停止迭代，输出目标位置。

优选的，所述装置还包括：

输出单元，用于当通过迭代计算，判断所述第一位置的值与第二位置的值之间的差值的模小于设定阈值时，输出目标位置；将所述第二位置的值作为第一位置的值，获取下一帧图像，将下一帧图像作为当前帧图像，进入帧差获取单元。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

以上所述仅是本发明的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (12)

1.一种目标跟踪方法，其特征在于，所述方法包括:

在进行目标跟踪时，获取当前帧图像，将所述当前帧图像与上一帧图像进行比较，获取帧差模板；

利用所述当前帧图像与预先建立的背景模板进行前景检测处理，获取前景模板；

对所述帧差模板和所述前景模板进行融合、处理，获取融合后的候选区域前景图像；

在所述候选区域的前景图像中对确定的跟踪目标进行跟踪。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取多帧图像，对所述多帧图像进行多高斯背景建模处理，获取背景模板。

3.根据权利要求1或2所述的方法，其特征在于，在对所述多帧图像进行多高斯背景建模处理之前，所述方法还包括：

将所述多帧图像从彩色图像转换成灰度图像。

4.根据权利要求1所述的方法，其特征在于，所述对所述帧差模板和所述前景模板进行融合、处理，获取融合后的候选区域前景图像具体包括：

对所述帧差模板和所述前景模板中的像素进行或运算，获取融合后的第一图像；

利用当前帧图像对所述融合后的第一图像进行处理，获取融合后的候选区域前景图像。

5.根据权利要求1所述的方法，其特征在于，所述在所述候选区域的前景图像中对待识别目标进行跟踪具体包括：

获取跟踪目标的初始位置作为第一位置，以所述第一位置为中心，建立参考目标的核直方图；

在所述候选区域的前景图像中，在与所述第一位置对应的区域建立候选目标的核直方图，并获取各个颜色分量的权值；

利用所述第一位置以及所述各个颜色分量的权值获取与所述候选目标对应的第二位置；

判断所述第二位置的值与所述第一位置的值之间的差值的模是否小于设定阈值；

如果否，将所述第二位置的值作为第一位置的值，进入在所述候选区域的前景图像中在与所述第一位置对应的区域建立候选目标的核直方图的步骤，直至判断所述第二位置的值与所述第一位置的值之间的差值的模小于设定阈值时，停止迭代。

6.根据权利要求1或5所述的方法，其特征在于，所述方法还包括：

当通过迭代计算，判断所述第一位置的值与第二位置的值之间的差值的模小于设定阈值时，输出目标位置，将所述第二位置的值作为第一位置的值，获取下一帧图像，将下一帧图像作为当前帧图像，进入获取帧差模板的步骤。

7.一种目标跟踪装置，其特征在于，所述装置包括:

帧差获取单元，用于在进行目标跟踪时，获取当前帧图像，将所述当前帧图像与上一帧图像进行比较，获取帧差模板；

前景获取单元，用于利用所述当前帧图像与预先建立的背景模板进行前景检测处理，获取前景模板；

融合单元，用于对所述帧差模板和所述前景模板进行融合、处理，获取融合后的候选区域前景图像；

跟踪单元，用于在所述候选区域的前景图像中对待识别目标进行跟踪。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

背景建模单元，用于获取多帧图像，对所述多帧图像进行多高斯背景建模处理，获取背景模板。

9.根据权利要求7或8所述的装置，其特征在于，所述装置还包括：

转换单元，用于将所述多帧图像从彩色图像转换成灰度图像。

10.根据权利要求7所述的装置，其特征在于，所述融合单元具体包括：

第一获取单元，用于对所述帧差模板和所述前景模板中的像素进行或运算，获取融合后的第一图像；

处理单元，用于利用当前帧图像对所述融合后的第一图像进行处理，获取融合后的候选区域前景图像。

11.根据权利要求7所述的装置，其特征在于，所述跟踪单元具体包括：

第一建立单元，用于获取跟踪目标的初始位置作为第一位置，以所述第一位置为中心，建立参考目标的核直方图；

第二建立单元，用于在所述候选区域的前景图像中，在与所述第一位置对应的区域建立候选目标的核直方图，并获取各个颜色分量的权值；

位置获取单元，用于利用所述第一位置以及所述各个颜色分量的权值获取与所述候选目标的对应的第二位置；

判断单元，用于判断所述第二位置的值与所述第一位置的值之间的差值的模是否小于设定阈值；如果否，进入迭代单元；

迭代单元，用于如果当判断所述第二位置的值与所述第一位置的值之间的差值的模大于设定阈值时，将所述第二位置的值作为第一位置的值，进入第二建立单元，直至所述判断单元的判断结果表明所述第二位置的值与所述第一位置的值之间的差值的模小于设定阈值时，停止迭代。

12.根据权利要求7或11所述的装置，其特征在于，所述装置还包括：

输出单元，用于当通过迭代计算，判断所述第一位置的值与第二位置的值之间的差值的模小于设定阈值时，输出目标位置；将所述第二位置的值作为第一位置的值，获取下一帧图像，将下一帧图像作为当前帧图像，进入帧差获取单元。

Images