CN102129687B - 动态场景下基于局部背景剪除的自适应目标跟踪方法 - Google Patents

Abstract

本发明为一种动态场景下基于局部背景剪除的自适应目标跟踪方法，包括步骤：对于每一帧输入图像，根据当前时刻目标模型的特征分量的可分性评价函数计算输入图像的每一个像素属于目标的概率值，并生成一个输入图像对应的概率图；根据输入图像对应的概率图，利用局部背景剪除提取图像中的目标区域和目标周围的局部背景区域，并确定目标在输入图像中的位置和目标尺寸；分别建立目标的观测模型和局部背景的观测模型；根据目标的观测模型和局部背景的观测模型，对目标模型和局部背景模型进行更新；对更新后的目标模型的每一个特征分量进行可分性评价，得到一个新的目标模型的特征分量可分性评价函数，用于下一帧输入图像中目标的跟踪。

Description

动态场景下基于局部背景剪除的自适应目标跟踪方法

技术领域

本发明属于图像处理技术领域的，具体涉及一种动态场景下基于局部背景剪除的自适应目标跟踪方法。

背景技术

视觉信息是人类从客观世界获得信息的主要来源之一，随着计算机技术的不断发展，利用计算机实现人类的视觉功能吸引了众多的研究者。目标跟踪是当前计算机视觉领域中的热点问题之一，并被广泛地应用到视频监控、智能交通、图像压缩、视频检索、机器人导航、人机交互、虚拟现实以及军事等众多领域中。

背景剪除是常用的目标检测和跟踪方法，这类方法往往先建立背景的高斯或混合高斯模型(Stauffer，C.，and Grimson，W.，“Learning patterns ofactivity using real-time tracking，”IEEE Trans.Pattern Anal.Mach.Intell.，Aug.2000.22，(8)，pp.747-757；Haritaoglu，I.，Harwood D.，and Dacis L.S.，“W4：Real-Time Surveillance of People and Their Activities，”IEEE Trans.Pattern Anal.Mach.Intell.，2000，22，(8)，pp.809-830)，继而通过检测图像中像素值的变化来实现对目标的检测和跟踪。这类方法具有实时性好、可靠性高的特点，或得了广泛的应用。但这类方法往往基于背景不变或变化较为缓慢的假设，因而只适用于静态场景或场景变化较慢的情况。

对于动态场景下的目标跟踪，如移动机器人视觉跟踪系统，由于背景随时间存在较大的变化，传统的背景剪除方法不再适用。对于动态场景下的目标跟踪，目前常用的方法有均值漂移(Comaniciu，D.，Ramesh，V.，andMeer，P.，“Kernel-based object tracking，”IEEE Trans.Pattern Anal.Mach.Intell.，May 2003，25，(5)，pp.564-577)、粒子滤波跟踪(Wang，H.，Suter，D.，，Schindler，K.，and Shen，C.，“Adaptive Object Tracking Based on anEffective Appearance Filter，”IEEE Trans.Pattern Anal.Mach.Intell.，2007，29，(9)，pp.1661-1667；Y.Lao，J.Zhu and Y.F.Zheng，“Sequential ParticleGeneration for Visual Tracking，”IEEE Trans.Circuits Syst.Video Technol.，vol.19，no.9，pp.1365-1378，Sep.2009)等，这些方法容易受到背景的干扰，如当目标周围存在和目标相似的物体时，跟踪精度往往会下降，甚至错误地跟踪到其他物体。

动态场景下的目标跟踪的难点可以归结为以下因素：

(1)内在目标外观变化，包括：目标姿态变化、尺度变化、复杂运动、形变，以及部分或全部遮挡等；

(2)外在环境因素造成的干扰，包括：光线变化、杂乱背景、背景中存在和目标特征相似的物体、噪声、摄像机运动和振动等。

发明内容

(一)要解决的技术问题

有鉴于此，本发明的目的在于克服现有技术的不足，提供一种动态场景下基于局部背景剪除的自适应目标跟踪方法，该发明能够在动态场景下，将目标完整地从背景中提取出来，实现动态场景下对目标自适应提取和跟踪。

(二)技术方案

为达到上述目的，本发明提供动态场景下基于局部背景剪除的自适应目标跟踪方法，该方法包括步骤如下：

步骤S1：对于第t帧输入图像，根据当前时刻目标模型的特征分量的可分性评价函数计算输入图像的每一个像素属于目标的概率值，并生成一个输入图像对应的概率图；

步骤S2：根据输入图像对应的概率图，利用局部背景剪除提取图像中的目标区域和目标周围的局部背景区域，并确定输入图像中的目标状态，包括目标在输入图像中的位置和目标尺寸，从而实现在当前输入图像中对目标进行提取和跟踪，并输出目标在当前输入图像中的位置和目标尺寸；

步骤S3：根据目标区域和局部背景区域，分别建立目标的观测模型和局部背景的观测模型；

步骤S4：根据目标的观测模型和局部背景的观测模型，对目标模型和局部背景模型进行更新，得到新的目标模型和局部背景模型；

步骤S5：对更新后的目标模型的每一个特征分量的进行可分性评价，得到一个新的目标模型特征分量可分性评价函数，用于下一帧输入图像中目标的跟踪。

(三)有益效果：

本发明的有益效果在于：传统的背景剪除方法只适用于静态场景或场景变化较慢的情况下，对于动态场景下的目标跟踪，传统的背景剪除方法往往难以获得好的效果。本发明针对动态场景下，背景随时间变化较快的特点，在跟踪过程中除了建立和更新目标模型，同时在线建立并实时更新目标周围的局部背景模型。对于新输入的视频图像，利用目标运动的连续性和上一帧得到的目标模型和局部背景模型，通过对局部背景的剪除实现对当前图像中目标的提取和跟踪。该发明能够在动态场景下，将目标完整地从背景中提取出来，实现动态场景下对目标自适应提取和跟踪。大量实验证明了本发明的有效性。本发明(1)解决了传统背景剪除方法在动态场景下难以获得好的效果的缺陷，通过建立和更新局部背景模型来应对背景的快速变化；(2)能够快速适应环境和目标外观测变化；(3)实时性好，准确性和稳定性高。

附图说明

图1为本发明所提供方法的流程图。

图2为动态场景下基于局部背景剪除的自适应视觉跟踪实例。

具体实施方式

下面结合附图对本发明的实施例作详细的说明：本实施例在以本发明技术方案为前提下进行实施，结合详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述实施例。

如图1示出本发明所提供方法的流程图，在跟踪过程中除了建立和更新目标模型，同时在线建立并实时更新目标周围的局部背景模型，对于每一帧输入图像，通过对局部背景的剪除实现动态场景下对运动目标的提取和自适应跟踪，本发明包括以下步骤：

第一步：对于第t帧输入图像，根据当前时刻目标模型的特征分量的可分性评价函数计算输入图像的每一个像素属于目标的概率值，并生成一个输入图像对应的概率图；

第二步：根据输入图像对应的概率图，通过局部背景剪除提取图像中的目标区域和目标周围的局部背景区域，并确定输入图像中的目标状态，包括目标在输入图像中的位置和目标尺寸，从而实现在当前输入图像中对目标进行提取和跟踪，并输出目标在当前输入图像中的位置和目标尺寸；

第三步：根据目标区域和局部背景区域，分别建立目标的观测模型和局部背景的观测模型；

第四步：根据目标的观测模型和局部背景的观测模型，对目标模型和局部背景模型进行更新，得到新的目标模型和局部背景模型；

第五步：对更新后的目标模型的每一个特征分量的进行可分性评价，得到一个新的目标模型特征分量可分性评价函数，用于下一帧输入图像中目标的跟踪。

所述第一步，具体如下：

对于第t帧输入图像，目标模型和目标周围的局部背景模型采用具有H个区间的颜色直方图表示，分别表示为{f_t[h]}_{h＝1，...，H}和{B_t[h]}_{h＝1，...，H}，且分别满足

和

每一个特征分量h对目标和局部背景的可分性利用评价函数D_t(h)来评价。

设{X_i}_{i＝1，...，N}表示输入图像所包含的像素，N为输入图像包含的像素的个数，我们首先将第i像素X_i通过映射函数b(X_i)转化到直方图的不同区间上，然后通过下式计算像素X_i属于目标的概率为：

其中，S_t(X_i)表示第t帧输入图像中第i个像素X_i属于目标的概率；D_t(·)表示目标模型中特征分量的可分性评价函数；目标模型采用直方图来表示；像素X_i通过映射函数b(X_i)转化到直方图的不同区间上；ε₁和ε₂表示设定的阈值，且ε₁＜ε₂。

用H_R，H_G，H_B分别为R，G，B颜色分量直方图的区间个数，且H＝H_R·H_G·H_B，用R(X_i)，G(X_i)，B(X_i)分别表示像素X_i的R，G，B颜色分量的值，则映射函数b(X_i)表示如下：

b(X_i)＝R_ID(X_i)·H_G·H_B+G_ID(X_i)·H_B+B_ID(X_i)，

其中，

R_ID(X_i)＝(R(X_i)-R(X_i)％(256/H_R))/(256/H_R)

G_ID(X_i)＝(G(X_i)-G(X_i)％(256/H_G))/(256/H_G)

B_ID(X_i)＝(B(X_i)-B(X_i)％(256/H_B))/(256/H_B)，

上式中，％表示求余操作。

所述第二步，具体如下：

根据上一步得到的输入图像的第i个像素属于目标的概率值S_t(X_i)，如果S_t(X_i)＝1，则表示像素Xi属于目标，如果S_t(X_i)＝0，则表示像素X_i属于背景，如果S_t(X_i)介于0和1之间，则表示像素X_i可能属于目标也可能属于背景。对于介于0和1之间的S_t(X_i)，如果S_t(X_i)小于一个介于0和1之间的常数，则令S_t(X_i)＝0，否则令S_t(X_i)＝1。从而可以将输入图像的像素分为目标和背景两类，得到目标区域和目标周围的局部背景区域。为了提高目标的跟踪精度，这里采用均值漂移算法在生成的概率图上搜索目标在输入图像中的最优位置和目标尺寸。

所述第三步，具体如下：

根据第二步得到的目标区域和局部背景区域，分别建立目标的观测模型和局部背景的观测模型，表示如下：

$f_t^o\left[h\right]=C_f\underset{i\∈R_f}{\mathrm{\Σ}}{S}_t\left(b\left(X_i\right)\right)\mathrm{\δ}(b\left(X_i\right)-h)---\left(2\right)$

$B_t^o\left[h\right]=C_B\underset{i\∈R_B}{\mathrm{\Σ}}(1-S_t\left(b\left(X_i\right)\right))\mathrm{\δ}(b\left(X_i\right)-h)---\left(3\right)$

其中，{f_t ^o[h]}_{h＝1，...，H}和{B_t ^o[h]}_{h＝1，...，H}分别表示目标观测模型和局部背景的观测模型，目标观测模型和局部背景的观测模型采用具有H个区间的直方图来表示，h表示特征分量，且h＝1，...，H；参数C_f和C_B是归一化参数，分别用来满足

和

R_f和R_B分别表示目标区域和目标周围的局部背景区域；δ(·)为狄拉克函数，当b(X_i)-h＝0时，函数δ(b(X_i)-h)＝1，反之当b(X_i)-h≠0时，则δ(b(X_i)-h)＝0。

所述第四步，具体如下：

根据第三步得到的目标和局部背景的观测模型，对目标模型和局部背景模型进行更新。更新后的目标模型和局部背景模型表示如下：

$f_{t+1}\left[h\right]=\mathrm{\α}{f}_t\left[h\right]+(1-\mathrm{\α})f_t^o\left[h\right]---\left(4\right)$

$B_{t+1}\left[h\right]=\mathrm{\α}{B}_t\left[h\right]+(1-\mathrm{\α})B_t^o\left[h\right]---\left(5\right)$

其中，α∈[0，1]表示模型的学习因子，{f_t+1[h]}_{h＝1，...，H}表示更新后的目标模型，{B_t+1[h]}_{i＝1，...，H}表示更新后的局部背景模型，目标模型和局部背景模型采用具有H个区间的直方图来表示。

所述第五步，具体如下：

对更新后的目标模型和局部背景模型的每一个特征分量进行可分性评价，得到一个新的目标模型特征分量的可分性评价函数，用于下一帧输入图像中目标的跟踪。新的目标模型特征分量的可分性评价函数表示如下：

$D_{t+1}\left(h\right)=\frac{\max \left\{B_{t+1}\right[h],\mathrm{\η}\}}{\max \left\{f_{t+1}\right[h],\mathrm{\η}\}}---\left(6\right)$

其中，D_t+1(h)表示特征分量h对目标和背景的可分性评价函数，设定的常数η用来去掉较小的B_t+1[h]和f_t+1[h]，以提高算法的稳定性。

图2示出为动态场景下基于局部背景剪除的自适应视觉跟踪实例，本实施例具体实施过程如下：

步骤1：在第一帧图像上手动选取目标区域，目标区域采用矩形框表示，然后在目标框(表示目标的矩形框)的周围自动生成一个长和宽为目标框1.75倍的矩形框，两个矩形框间的区域作为局部背景区域。

步骤2：分别建立目标区域和局部背景区域的颜色直方图模型，颜色直方图模型采用RGB颜色空间，区间个数为16×16×16。

步骤3：对于新输入的图像，根据前一帧建立的目标模型和局部背景模型，利用公式(6)对每一个特征分量h∈[1，16×16×16]进行可分性评价，公式(6)中，设定的常数η取0.001。然后，利用公式(1)建立输入图像对应的概率图，概率图中每个像素的值被转换到[0，255]之间，概率图中像素值大于100的像素点属于目标，反之则属于背景，从而将目标从局部背景中提取出来，公式(1)中，阈值ε₁的取值范围是0.001到0.01的任意值，阈值ε₂的取值范围是0.1到0.6的任意值。

步骤4：为了精确定位目标，采用均值漂移算法在概率图上计算目标在输入图像中的最优位置和目标尺寸。

步骤5：目标在输入图像中的位置和目标尺寸确定后，利用公式(2)建立目标观测的颜色直方图模型，利用公式(3)建立局部背景观测的颜色直方图模型。

步骤6：利用公式(4)和(5)分别对目标模型和局部背景模型进行更新，并用于下一帧图像的跟踪。

本实例在配置为P4-3.0G CPU，1.5G内存的计算机上采用VC++6.0实施，在图像分辨率为320×240像素下，处理速度为25帧每秒，能够满足实时性要求。从实施例可以看出采用基于局部背景剪除的自适应跟踪方法能够在动态场景下，完整地将目标从局部背景中提取出来，能够获得稳定、准确的跟踪效果，且能适应由于目标姿态变化引起的目标外观变化，能够有效抑制背景中存在和目标相似物体的干扰。

图2示出动态场景下基于局部背景剪除的自适应视觉跟踪实例中：

(a)是动态场景中的第51，187和237帧的跟踪结果，白色框为跟踪框，黑色框和白色框之间的区域为选取的局部背景。

(b)是输入图像黑色框内部区域对应的概率图。

(c)是从局部背景中提取的目标。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (2)

1.一种动态场景下基于局部背景剪除的自适应目标跟踪方法，其特征是，在跟踪过程中除了建立和更新目标模型，同时在线建立并实时更新目标周围的局部背景模型，对于每一帧输入图像，通过对局部背景的剪除实现动态场景下对运动目标的提取和自适应跟踪，包括如下步骤：

步骤S1：对于第t帧输入图像，根据当前时刻目标模型的特征分量的可分性评价函数计算输入图像的每一个像素属于目标的概率值，并生成一个输入图像对应的概率图；

所述输入图像的每一个像素属于目标的概率值是由下式来计算：

其中，S_t(X_i)表示第t帧输入图像中第i个像素X_i属于目标的概率；D_t(·)表示目标模型中特征分量的可分性评价函数；目标模型采用直方图来表示；像素X_i通过映射函数b(X_i)转化到直方图的不同区间上，用H_R，H_G，H_B分别表示为R，G，B颜色分量直方图的区间个数，且H＝H_R·H_G·H_B，用R(X_i)，G(X_i)，B(X_i)分别表示像素X_i的R，G，B颜色分量的值，则映射函数b(X_i)表示如下：

b(X_i)＝R_ID(X_i)·H_G·H_B+G_ID(X_i)·H_B+B_ID(X_i)，

其中，

R_ID(X_i)＝(R(X_i)-R(X_i)％(256/H_R))/(256/H_R)

G_ID(X_i)＝(G(X_i)-G(X_i)％(256/H_G))/(256/H_G)

B_ID(X_i)＝(B(X_i)-B(X_i)％(256/H_B))/(256/H_B)，

上式中，％表示求余操作；ε₁和ε₂表示设定的阈值，且ε₁＜ε₂；

步骤S2：根据输入图像对应的概率图，利用局部背景剪除提取图像中的目标区域和目标周围的局部背景区域，并确定输入图像中的目标状态，包括目标在输入图像中的位置和目标尺寸，从而实现在当前输入图像中对目标进行提取和跟踪，并输出目标在当前输入图像中的位置和目标尺寸，包括：

根据步骤S1得到的输入图像的第i个像素属于目标的概率值S_t(X_i)，如果S_t(X_i)＝1，则表示像素X_i属于目标，如果S_t(X_i)＝0，则表示像素X_i属于背景，对于介于0和1之间的S_t(X_i)，如果S_t(X_i)小于一个介于0和1之间的常数，则令S_t(X_i)＝0，否则令S_t(X_i)＝1，从而可以将输入图像的像素分为目标和背景两类，得到目标区域和目标周围的局部背景区域；

步骤S3：根据目标区域和局部背景区域，分别建立目标的观测模型和局部背景的观测模型；

所述目标的观测模型和局部背景的观测模型表示如下：

${f_t}^O\left[h\right]=C_f\underset{i\∈R_f}{\mathrm{\Σ}}{S}_t\left(b\left(X_i\right)\right)\mathrm{\δ}(b\left(X_i\right)-h)$

$B_t^O\left[h\right]=C_B\underset{i\∈R_B}{\mathrm{\Σ}}(1-S_t\left(b\left(X_i\right)\right))\mathrm{\δ}(b\left(X_i\right)-h),$

其中，

和分别表示目标观测模型和局部背景的观测模型，目标观测模型和局部背景的观测模型采用具有H个区间的直方图来表示，h表示特征分量，且h＝1，...，H；参数C_f和C_B是归一化参数，分别用来满足

和

R_f和R_B分别表示目标区域和目标周围的局部背景区域；δ(·)为狄拉克函数，当b(X_i)-h＝0时，函数δ(b(X_i)-h)＝1，反之当b(X_i)-h≠0时，则δ(b(X_i)-h)＝0；

步骤S4：根据目标的观测模型和局部背景的观测模型，对目标模型和局部背景模型进行更新，得到更新后的目标模型和局部背景模型；

所述更新后的目标模型和局部背景模型表示如下：

$f_{t+1}\left[h\right]=\mathrm{\α}{f}_t\left[h\right]+(1-\mathrm{\α}){f_t}^O\left[h\right]$

$B_{t+1}\left[h\right]=\mathrm{\α}{B}_t\left[h\right]+(1-\mathrm{\α})B_t^O\left[h\right],$

其中，α∈[0，1]表示模型的学习因子，{f_t+1[h]}_{h＝1，...，H}表示更新后的目标模型，{B_i+1[h]}_{i＝1，...，H}表示更新后的局部背景模型，目标模型和局部背景模型采用具有H个区间的直方图来表示；f_t[h]，B_t[h]分别表示第t帧输入图像对应的目标模型和目标周围的局部背景模型；

步骤S5：对更新后的目标模型的每一个特征分量进行可分性评价，得到一个新的目标模型的特征分量可分性评价函数，用于下一帧输入图像中目标的跟踪；

所述新的目标模型特征分量的可分性评价函数表示如下：

$D_{t+1}\left(h\right)=\frac{\max \left\{B_{t+1}\right[h],\mathrm{\η}\}}{\max \left\{f_{t+1}\right[h],\mathrm{\η}\}},$

其中，D_t+1(h)表示特征分量h对目标和背景的可分性评价函数，设定的常数η用来去掉较小的B_t+1[h]和f_t+1[h]，以提高算法的稳定性。

2.根据权利要求1所述的动态场景下基于局部背景剪除的自适应目标跟踪方法，其特征在于，所述阈值ε₁取值在0.001到0.01之间，所述阈值ε₂取值在0.1到0.6之间。

Images