CN103871081A - 一种自适应鲁棒在线目标跟踪方法 - Google Patents

Abstract

本发明公开一种自适应鲁棒在线目标跟踪方法。其步骤为：（1）标定第一帧图像中待跟踪目标和跟踪窗，提取跟踪窗及八个邻域窗的图像特征作为标记样本；（2）采用半监督在线boosting算法对当前帧的跟踪窗区域分类决策，获得跟踪窗中各像素点的置信值，置信值最大的点作为目标新位置；（3）每隔L帧对跟踪窗信息量进行分析计算，并按尺度变化比例系数K增大(减小)跟踪窗尺寸；（4）根据新的目标位置和跟踪窗尺寸，再次提取图像特征样本作为非标记样本，重复第（2）～（3）步的处理，实现目标实时跟踪。本发明算法对照明、背景、目标外观的变化具有良好的适应性，解决了目标尺度变化和遮挡造成的目标漂移丢失问题，算法具有良好的自适应性及鲁棒性。

Description

一种自适应鲁棒在线目标跟踪方法

技术领域

本发明涉及一种在线目标跟踪的方法，特别涉及一种基于半监督学习的具有跟踪窗口自适应调整的鲁棒在线目标跟踪。

背景技术

目标跟踪技术随着计算机发展而逐渐引起学者的关注。近年来，特别是9.11事件以后，目标跟踪技术研究进入了一个蓬勃发展的时期。目标跟踪是计算机视觉领域中最热门的课题之一，也是模式识别领域的一个难点问题，主要应用领域有战场侦察、智能视频监控、交通控制、人机交互等。

目前目标跟踪的方法大致可以分为以下几类：

1、基于特征的跟踪方法。此种方法的特点是通过跟踪目标上的特征点来实现对整个目标的跟踪。

2、基于模型的跟踪方法。此种方法需要预先建立目标的模型，然后通过模型来检测和跟踪目标的运动，其前提是假设目标随时间的变化满足一定的数学模型。

3、基于区域的跟踪方法。此种方法利用运动滤波技术精确估计了区域的几何形状和速度的特点，并依赖于两个相互影响的动态系统使得跟踪算法捕捉场景中运动目标投影到图像平面的随时间变化的形状和运动，从而检测出运动目标，实现目标跟踪。

4、基于光流的方法。光流指的是目标在图像平面内的表观运动，利用像素的表观速度或表观位移可以实现目标位置跟踪。

尽管目标跟踪的研究已有很多的文献报道，但是上述方法对目标跟踪过程中外观、照明和背景的变化难以具有良好的适应性，因此近年来，基于在线学习的跟踪技术逐渐引起相关学者的关注，并取得了很好的跟踪效果。在线学习跟踪把跟踪看成目标和背景的分类问题，它不需建立复杂的模型来描述目标，而是找到决策边界来区分目标和背景，当目标外观（形状、姿态）、照明、背景变化时，通过在线学习，只需要更新决策边界即可实现目标检测与跟踪，因此可以获得良好的鲁棒跟踪性能。但是其局限性在于被跟踪物体信息不能有剧烈变化，例如由于目标观测距离的大范围变化造成目标成像后尺寸大幅度变化、遮挡造成的目标信息大幅损失，导致当快速自适应产生的跟踪误差累积到一定程度时，则目标跟踪发生漂移丢失。因此如何避免目标尺度大幅度变化及遮挡后发生的目标漂移丢失，是在线学习目标跟踪技术亟需解决的问题。

发明内容

为了解决目标跟踪存在的上述技术问题，本发明提供一种基于图像视觉特征的跟踪窗口自适应调整的目标跟踪方法。本发明同时结合在线半监督学习策略解决目标跟踪过程中的漂移丢失问题，使目标跟踪算法具有良好的自适应性和鲁棒性，极大地提升了目标跟踪效果。

本发明解决上述技术问题的技术方案包括以下步骤：

(1)标定视频序列中的第一帧图像目标及其跟踪窗口区域，并提取跟踪窗及其八个邻域窗的图像特征，其中跟踪窗和上下左右四个邻域窗特征作为正样本，四个对角邻域窗特征为负样本，同时计算跟踪窗的信息量；

(2)基于半监督学习在线boosting算法对当前帧图片的跟踪窗区域进行分类决策，获得跟踪窗中各像素点属于目标的置信值，根据置信值构建置信图，其中置信值最大的像素点作为视频图像中目标新位置；

（3）根据第一帧跟踪窗口的高度H和宽度W，统计其信息量I，

I=Q₁+Q₂+Q₃+Q₄；

其中Q₁、Q₂、Q₃、Q₄分别是图像的边缘特征点、角点、极大值点和极小值点数目；

如果第n帧不是L的整数倍，则窗口尺度变化比例系数K=0，否则对跟踪窗口对应区域及缩放1±ε倍的窗口对应的区域也统计信息量，0≤ε≤0.5，分别记作I₁,I₂,I₃，类似地，对第n+L帧统计的信息量分别记作I₄，I₅，I₆；

当I₅-I₂≥0时，目标尺度增加，按下式更新尺度变化比例系数K

否则，目标尺度减小，按下式更新尺度变化比例系数K

其中，参数η的作用是消除背景对信息量的影响，取值范围是0.5≤η≤1.5；

根据上式计算得到的尺度变化比例系数K调整跟踪窗口的高度H和宽度W：

H=Hg(1+K)，W=Wg(1+K)；

（4）根据新的目标位置和跟踪窗尺寸，再次提取图像特征样本，并将其作为非标记样本，重复上述第（2）～（3）步，实现目标的实时跟踪。

上述所述的自适应鲁棒在线目标跟踪方法，所述步骤(1)的具体步骤为：

①人工标定第一帧图像中待跟踪目标及其跟踪窗口(高度为H和宽度为W)，同时在两倍跟踪窗口区域确定八个邻域窗口，领域窗口尺寸大小与跟踪窗一致，分别提取九个窗口中的Harri-like特征，LBP特征和HOG特征，并由这些特征构成特征池。其中跟踪窗和上下左右四个邻域窗提取的特征作为训练正样本，四个对角邻域窗提取的特征作为负样本。

②提取边缘特征点，角点，局部极大值点，局部极小值点等视觉特征点，通过统计相关特征点数量来衡量跟踪窗口中的信息量：

上述所述的自适应鲁棒在线目标跟踪方法，所述步骤(2)的具体步骤为：

①首先根据第一帧中提取的特征样本作为标记样本，训练得到初始分类器H^p，然后逐步添加后续帧提取的非标记在线样本训练N个子分类器H_n,n=1,...,N，初始在线样本的选择权值均设为λ_n=1。

②在后续训练过程中，如果样本属于标记样本，则输出标记y(y∈{-1,+1})不变，其下一轮的选择权值修改为λ_n=exp(-yH_n-1(x))，如果样本为非标记样本，则其输出标记为y_n=sign(p_n(x)-q_n(x))，且其下一轮的选择权值修改为λ_n=|p_n(x)-q_n(x)|，其中sign是符号函数，p_n(x),q_n(x)分别表示该非标记样本属于目标类和非目标类的置信度，由下式计算，

$p_n\left(x\right)=\frac{e^{-H_{n-1}\left(x\right)}{e}^{H^P\left(x\right)}}{e^{H^P\left(x\right)}+e^{-H^P\left(x\right)}},q_n\left(x\right)=\frac{e^{H_{n-1}\left(x\right)}{e}^{-H^P\left(x\right)}}{e^{H^P\left(x\right)}+e^{-H^P\left(x\right)}};$

③采用在线boosting算法，更新集成中的子分类器，并根据子分类器的决策结果更新样本权值，如果决策结果和给定标记值一致，则

否则

其中

分别是子分类器H_n,n=1,...,N决策正确和决策错误的统计值，最后分类器H_n,n=1,...,N的错误率e_n和投票权重α_n由下式计算，

$e_n=\frac{{\mathrm{\λ}}_n^w}{{\mathrm{\λ}}_n^w+{\mathrm{\λ}}_n^c},{\mathrm{\α}}_n=\frac{1}{2}\ln \left(\frac{1-e_n}{e_n}\right);$

最后分类器集成输出为

$H\left(x\right)=\mathrm{sign}\left(\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\α}}_n{H}_n\left(x\right)\right);$

④利用学习得到的集成分类器对跟踪窗区域内逐点进行测试，以计算的

值作为各点属于跟踪目标的置信值，根据置信值构建置信图，其中置信值最大的像素点作为视频图像中目标新位置。

本发明的有益效果在于：

1.本发明利用了不同尺度空间下图像信息量的变化规律，通过能够反映信息量变化的图像跟踪区域的关键特征点如：边缘、角点、极大值点和极小值点等的数目来评价区域内信息量的变化，从而实现跟踪窗口的自适应调整。

2.本发明采用了半监督在线boosting学习算法实现目标跟踪，算法结合标记样本训练的预分类器Hp和融合非标记样本训练的boosting个体分类器H_n,n=1,...,N，使得跟踪算法不仅继承了在线学习目标跟踪算法对外观、照明和背景的良好适应性优点，同时很好地解决了跟踪过程中因为漂移造成的目标丢失问题。

附图说明

图1是本发明的流程图。

图2是本发明中跟踪窗和其八个邻域窗示意图。

图3是本发明中原四类信息量特征点提取示意图。

图4是本发明中基于信息量调整窗口大小原理示意图。

图5是本发明在遮挡环境下目标尺寸逐渐缩小的跟踪效果图。

图6是本发明在遮挡环境下目标尺寸逐渐增大的跟踪效果图。

具体实施方式

下面将结合附图和实施例对本发明做进一步的详细说明。本发明的流程图如图1所示，其具体流程为：

1.特征提取和样本选取。人工标定第一帧图像中待跟踪目标及其跟踪窗口(高度为H和宽度为W)，以跟踪窗口为中心将搜索邻域扩大一倍，即将跟踪窗扩大一倍变为2H×2W，然后在搜索邻域划分八个子邻域窗口（上，左，下，右(x₂～x₅)，和左上，左下，右上，右下(x₆～x₉)，每个子邻域窗口高度和宽度都是H×W，如图2所示。分别提取九个窗口中的Harri-like特征，LBP特征和HOG特征，并由这些特征构成特征池。其中跟踪窗（x₁）和上下左右四个邻域窗（x₂～x₅）提取的特征作为训练正样本，四个对角邻域窗(x₆～x₉)提取的特征作为负样本。

2.信息量计算。Marr视觉理论认为，视觉处理得到的初始简图中要素的数量可以作为图像信息度量的标准，而图像的观察尺度和图像中的信息量多少有直接关系，基于这一思想，我们通过统计边缘特征点，角点，极大值点和极小值点等视觉特征点的数量来衡量跟踪窗口中的信息量I：

I=Q₁+Q₂+Q₃+Q₄    (1)

其中Q₁、Q₂、Q₃、Q₄分别是图像的边缘特征点，角点、极大值点和极小值点数目。图3(b)～(e)是某示例图像提取的边缘特征点，角点、极大值点和极小值点结果。

在提取视觉特征点时，sobel算子检测方法对灰度渐变和噪声较多的图像处理效果较好，因此边缘特征点提取采用sobel算子。角点能够反映对象的一些重要的外观特征，而且其数量对尺度变化不敏感，角点采用优化的harris算子提取。极大值点和极小值点能够反映图像中大量的细节点，它们和图像观测尺度关系密切，通常可以通过和周围八邻域像素点进行比较来判断，如果当前像素点灰度均大于八邻域像素点灰度值，则这点为极大值点，相反，如果当前像素点灰度小于周围八邻域像素点灰度值，则这点为极小值点。

3.基于半监督学习在线boosting算法对当前帧图片的跟踪窗区域进行分类决策。其具体实现过程如下：

①首先根据第一帧中提取的特征样本作为标记样本，训练得到初始分类器H^p，然后逐步添加后续帧提取的非标记在线样本训练N个子分类器H_n,n=1,...,N，初始时，在线样本的选择权值均设为λ_n=1。

②在后续训练过程中，如果样本属于标记样本，则输出标记y(y∈{-1,+1})不变，其下一轮的选择权值λ_n按公式(2)修改

λ_n=exp(-yH_n-1(x))    (2)

如果样本为非标记样本，则为输出y_n赋予伪标记，如公式(3)所示

y_n=sign(p_n(x)-q_n(x))    (3)

其中sign是符号函数，其定义为：

$\left\{\begin{array}{cc}\mathrm{sign}\left(t\right)=1& t\&GreaterEqual;0\\ \mathrm{sign}\left(t\right)=-1& t<0\end{array}\right.---\left(4\right)$

同时其下一轮的选择权值λ_n按公式（5）修改

λ_n=|p_n(x)-q_n(x)|    (5)

其中p_n(x),q_n(x)分别表示该非标记样本属于目标类和非目标类的置信度，由下式计算：

$p_n\left(x\right)=\frac{e^{-H_{n-1}\left(x\right)}{e}^{H^P\left(x\right)}}{e^{H^P\left(x\right)}+e^{-H^P\left(x\right)}}---\left(6\right)$

$q_n\left(x\right)=\frac{e^{H_{n-1}\left(x\right)}{e}^{-H^P\left(x\right)}}{e^{H^P\left(x\right)}+e^{-H^P\left(x\right)}}---\left(7\right)$

③采用在线boosting算法，更新集成中的子分类器，并根据子分类器的决策结果更新样本权值，如果决策结果和给定标记值一致，则按公式（8）修改

否则按公式（9）修改

${\mathrm{\&lambda;}}_n^c={\mathrm{\&lambda;}}_n^c+{\mathrm{\&lambda;}}_n---\left(8\right)$

${\mathrm{\&lambda;}}_n^w={\mathrm{\&lambda;}}_n^w+{\mathrm{\&lambda;}}_n---\left(9\right)$

其中

分别是子分类器H_n,n=1,...,N决策正确和决策错误的统计值。最后分类器H_n,n=1,...,N的错误率e_n和投票权重α_n由下式计算：

$e_n=\frac{{\mathrm{\&lambda;}}_n^w}{{\mathrm{\&lambda;}}_n^w+{\mathrm{\&lambda;}}_n^c}---\left(10\right)$

${\mathrm{\&alpha;}}_n=\frac{1}{2}\ln \left(\frac{1-e_n}{e_n}\right)---\left(11\right)$

最后分类器集成输出为

$H\left(x\right)=\mathrm{sign}\left(\underset{n=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_n{H}_n\left(x\right)\right)---\left(12\right)$

④利用学习得到的集成分类器对跟踪窗区域内逐点进行测试，由公式(13)计算conf(x)值作为各点属于跟踪目标的置信值，根据置信值构建置信图，其中置信值最大的像素点作为视频图像中目标新位置。

$\mathrm{conf}\left(x\right)=\underset{n=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_n{H}_n\left(x\right)---\left(13\right)$

4.每隔L帧（用户指定的间隔参数）对跟踪窗的信息量进行分析计算，如果信息量有明显变化，则调整跟踪窗尺寸，否则跟踪窗口尺寸不变。跟踪窗口尺度更新算法的主要思想是根据实际视频中目标的尺度变化速度，每隔L帧统计一次被跟踪目标信息量，然后根据信息量的变化对跟踪窗口尺寸做相应更新。

假设第n帧视频对应的跟踪窗口内图像的信息量为I₁（图4（a）），对跟踪窗口乘以1±ε(0≤ε≤0.5)后的区域的信息量为I₂、I₃（图4（a），前者对应“+”，后者对应“-”），类似地，对第n+L帧统计的信息量分别为I₄、I₅、I₆，图4(b)对应尺寸缩小，图4(c)对应尺寸增大,此时的跟踪窗与第n帧的跟踪窗尺寸相等）；图4给出基于信息量调整窗口大小原理示意图。由图可见，通过判断最外层矩形框内信息量的变化可以进一步判断目标尺寸的增大或减小。其具体实现过程如下：

①根据第一帧中标定的高度为H和宽度为W的跟踪窗口统计信息量I。

I=Q₁+Q₂+Q₃+Q₄    (1)

其中Q₁、Q₂、Q₃、Q₄分别是图像的边缘特征点，角点、极大值点和极小值点数目。

②如果第n帧不是L的整数倍，则窗口尺度变化比例系数K=0，否则对跟踪窗口对应区域及缩放1±ε(0≤ε≤0.5)倍的窗口对应的区域也统计信息量，分别记作I₁,I₂,I₃，类似地，对第n+L帧统计的信息量分别记作I₄，I₅，I₆，如图4所示。

③当I₅-I₂≥0时，目标尺度增加，按式（14）更新尺度变化比例系数K

否则，目标尺度减小，按式（15）更新尺度变化比例系数K

其中，参数η的作用是消除背景对信息量的影响，取值范围是0.5≤η≤1.5。

④根据步骤③计算得到的尺度变化比例系数K调整跟踪窗口的高度H和宽度W

H=Hg(1+K)    (16)

W=Wg(1+K)    (17)

4：根据新的目标位置和跟踪窗尺寸，再次提取图像特征样本，并将其作为非标记样本，重复上述各步的处理，实现目标的实时跟踪。

本实施例对遮挡环境下同时目标尺度发生变化的两个视频图像进行了测试，如图5和图6所示，测试时选取的参数ε=0.5，η=1，帧间隔参数L=5。白色方框为本发明方法的目标跟踪窗口，视频分辨率为640×480，帧率30fps，帧数分别为994和835。实验结果表明，本发明在遮挡环境下对尺寸逐渐增大和逐渐减小的目标有良好的适应性，体现了鲁棒的跟踪效果。

Claims (3)

1.一种自适应鲁棒在线目标跟踪方法，包括以下步骤：

(1)标定视频序列中的第一帧图像目标及其跟踪窗口区域，并提取跟踪窗及其八个邻域窗的图像特征，其中跟踪窗和上下左右四个邻域窗特征作为正样本，四个对角邻域窗特征为负样本，同时计算跟踪窗的信息量；

(2)基于半监督学习在线boosting算法对当前帧图片的跟踪窗区域进行分类决策，获得跟踪窗中各像素点属于目标的置信值，根据置信值构建置信图，其中置信值最大的像素点作为视频图像中目标新位置；

（3）根据第一帧跟踪窗口的高度H和宽度W，统计其信息量I，

I=Q₁+Q₂+Q₃+Q₄；

其中Q₁、Q₂、Q₃、Q₄分别是图像的边缘特征点、角点、极大值点和极小值点数目；

如果第n帧不是L的整数倍，则窗口尺度变化比例系数K=0，否则对跟踪窗口对应区域及缩放1±ε倍的窗口对应的区域也统计信息量，0≤ε≤0.5，分别记作I₁,I₂,I₃，类似地，对第n+L帧统计的信息量分别记作I₄，I₅，I₆；

当I₅-I₂≥0时，目标尺度增加，按下式更新尺度变化比例系数K

否则，目标尺度减小，按下式更新尺度变化比例系数K

其中，参数η的作用是消除背景对信息量的影响，取值范围是0.5≤η≤1.5；

根据上式计算得到的尺度变化比例系数K调整跟踪窗口的高度H和宽度W：

H=Hg(1+K)，W=Wg(1+K)；

（4）根据新的目标位置和跟踪窗尺寸，再次提取图像特征样本，并将其作为非标记样本，重复上述第（2）～（3）步，实现目标的实时跟踪。

2.根据权利要求1所述的自适应鲁棒在线目标跟踪方法，所述步骤(1)的具体步骤为：

①标定第一帧图像中待跟踪目标及其跟踪窗口，同时在两倍跟踪窗口区域确定八个邻域窗口，邻域窗口尺寸大小与跟踪窗一致，分别提取九个窗口中的Harri-like特征、LBP特征和HOG特征，并由这些特征构成特征池，其中跟踪窗和上下左右四个邻域窗特征作为正样本，四个对角邻域窗特征为负样本。

②提取边缘特征点、角点、局部极大值点、局部极小值点4类视觉特征点，通过统计相关特征点数量来衡量跟踪窗口中的信息量。

3.根据权利要求1所述的自适应鲁棒在线目标跟踪方法，所述步骤(2)的具体步骤为：

①首先根据第一帧中提取的特征样本作为标记样本，训练得到初始分类器H^p，然后逐步添加后续帧提取的非标记在线样本训练N个子分类器H_n,n=1,...,N，初始在线样本的选择权值均设为λ_n=1；

②在后续训练过程中，如果样本属于标记样本，则输出标记y(y∈{-1,+1})不变，其下一轮的选择权值修改为λ_n=exp(-y□H_n-1(x))，如果样本为非标记样本，则其输出标记为y_n=sign(p_n(x)-q_n(x))，且其下一轮的选择权值修改为λ_n=|p_n(x)-q_n(x)|，其中sign是符号函数，p_n(x),q_n(x)分别表示该非标记样本属于目标类和非目标类的置信度，由下式计算，

$p_n\left(x\right)=\frac{e^{-H_{n-1}\left(x\right)}{e}^{H^P\left(x\right)}}{e^{H^P\left(x\right)}+e^{-H^P\left(x\right)}},q_n\left(x\right)=\frac{e^{H_{n-1}\left(x\right)}{e}^{-H^P\left(x\right)}}{e^{H^P\left(x\right)}+e^{-H^P\left(x\right)}};$

③采用在线boosting算法，更新集成中的子分类器，并根据子分类器的决策结果更新样本权值，如果决策结果和给定标记值一致，则

否则

其中

分别是子分类器H_n,n=1,...,N决策正确和决策错误的统计值，最后分类器H_n,n=1,...,N的错误率e_n和投票权重α_n由下式计算：

$e_n=\frac{{\mathrm{\&lambda;}}_n^w}{{\mathrm{\&lambda;}}_n^w+{\mathrm{\&lambda;}}_n^c},{\mathrm{\&alpha;}}_n=\frac{1}{2}\ln \left(\frac{1-e_n}{e_n}\right);$

最后分类器集成输出为

$H\left(x\right)=\mathrm{sign}\left(\underset{n=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_n{H}_n\left(x\right)\right);$

④利用学习得到的集成分类器对跟踪窗区域内逐点进行测试，以计算的值作为各点属于跟踪目标的置信值，根据置信值构建置信图，其中置信值最大的像素点作为视频图像中目标新位置。

Images