CN104537689A - 基于局部对比显著性联合特征的目标跟踪方法 - Google Patents

Abstract

本发明为一种基于局部对比显著性联合特征的目标跟踪方法。包括步骤：(1)目标跟踪开始初始化选取目标区域和背景区域；(2)提取目标区域和局部背景区域的颜色、纹理、梯度方向直方图特征，进行自下而上显著特征提取；(3)自上而下的特征评估，修正显著性模型；本发明利用显著性特征强区分性、稳健性，作为单一的特征的补充，能够较好的表述目标，可以提高系统在目标与背景具有相似特征分布、局部遮挡、目标自身变化等复杂场景下的跟踪性能，具有较强的鲁棒性。

Description

基于局部对比显著性联合特征的目标跟踪方法

技术领域

本发明属于计算机视觉与图像处理技术领域，具体涉及基于局部对比显著性联合特征的目标跟踪方法。

背景

目标跟踪尤其是复杂场景下目标跟踪是计算机视觉面临的极具挑战性的难点。能够在复杂场景下利用较少的先验知识对目标进行跟踪，已经成为军事侦查、移动机器人、智能视频监控等迫切的要求。在复杂背景下各种环境因素：目标类内变化、姿态、光照条件等使得很难进行目标的有效跟踪。因此，广大研究者试图寻求先进的技术手段，提出高效、实时的复杂环境下的目标跟踪算法。

均值漂移(Comaniciu,D.,Ramesh,V.,and Meer,P.,“Kernel–based object tracking)是常用的跟踪方法，这类方法首先利用颜色直方图建立目标和候选目标模型，利用巴氏系数计算相似性系数，通过Mean Shift找到最相似候选区域实现对目标的跟踪。具有实时性好、框架优美和简单的优点，获得广泛的应用。然而，由于仅采用颜色特征，只适用于目标和背景颜色区分度较好的场合，使得该方法具有一定的局限性。

自Itti于1998年提出基于特征整合的视觉注意显著性可计算模型，并应用于计算机视觉领域的场景分析以后，针对显著性的目标跟踪方法发展起来。Su等人于2014年提出利用先验知识计算加权集自适应构建Itti模型，用于突然运动跟踪。但这类方法并没有考虑背景的信息，且Itti模型本身需要调节的参数比较多，计算耗时，选用目标模型作为先验难免会有误差，很难得到客观公正的结果。Mahadevan等人认为视觉跟踪是时序判别中心显著性自上而下的调解过程，于2009年提出利用统计分类学习中心周边判别显著特征，进行目标初始化、特征选择和检测确定目标在下一帧的位置实现目标跟踪。但是，利用统计学习方法计算量较大，且仅仅模拟了跟踪过程，在面对复杂场景时对于目标特征的变化具有明显的不足。

复杂场景目标跟踪方法存在的难点在于：

(1)复杂场景，包括光线剧烈变化、目标周围存在相似分布的背景、非跟踪的物体等干扰因素；

(2)目标自身的改变，包括姿态变化、突然运动及被遮挡等；

(3)传统的特征表述框架。选择的特征不能很好的区分目标和背景，会使跟踪漂移；融合多特征缺乏有效的方法，很难获得鲁棒的跟踪结果。

(4)显著性特征具有极强的判别力，现有方法获得的特征不仅计算方法复杂，而且特征分布仅仅是零散的，跟踪过程中的区分力比较弱；同时，仅仅利用显著特征，目标特征信息不完整，目标如何从复杂背景完整有效突显出来是显著性在目标跟踪应用的难点。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于局部对比显著性联合特征的目标跟踪方法，通过提取目标模型的局部对比显著特征，采取自下而上和自上而下联合调节的方法处理目标自身变化和复杂背景问题，获得更好的目标跟踪效果。

本发明的基于局部对比显著性联合特征的目标跟踪方法，包括以下步骤：

步骤S1:选取动态场景下视频的第t帧输入含有跟踪目标和常用背景环境的视频帧，手动选取目标区域，并用矩形框表示目标区域的边界；

步骤S2：根据目标区域选取背景区域，并用矩形框表示背景区域的边界；

步骤S3：分别提取目标区域和背景区域的颜色直方图特征、纹理直方图特征、梯度直方图特征，计算每个特征的概率值，并生成对应的概率图；

步骤S4：依据提取的颜色直方图特征、纹理直方图特征、梯度直方图特征，分别计算每个特征的对比度值，定义为显著性特征，并生成对应的特征向量f₁、f₂、f₃；

步骤S5：基于特征向量f₁、f₂、f₃，堆栈构造样本特征向量

F＝[f₁，f₂,f₃]^T

步骤S6：依据每个特征图对目标显著性的贡献度，利用学习算法估计最优特征权，选出最显著特征；

步骤S7：利用最显著特征分别建立目标和背景观测模型，利用MeanShift算法找到目标下一帧的位置；

步骤S8：判断显著性特征确定的跟踪框和目标位置的相似性，检测跟踪目标是否失败；

步骤S9：当检测出跟踪目标正常，执行步骤13；若检测出跟踪目标失败，执行步骤10；

步骤10：构建可分性评价函数D_t，公式为

$D_t=\underset{r}{\max }\underset{\mathrm{\ω}}{\max }\frac{\max \{f_{t\arg \mathrm{et},h}^{\mathrm{\ω},t},\mathrm{\ϵ}\}}{\max \{f_{\mathrm{background}}^{r,t},\mathrm{\ϵ}\}}$

其中，为目标观测；为背景观测；ε为设定常数，用于去掉较小的目标观测和背景观测，以提高算法的稳定性；r为背景特征分布；ω为前景特征分布；目标观测和背景观测采用具有H个区间的直方图来表示，h表示特征分量，h＝1,2,……,H；t为选取图像的帧数；

通过可分性评价函数D_t将显著性目标模型与背景共有的特征映射为零值，存在于背景特征分布映射为负值，只保留目标最能区分的特征分量构成目标的显著性模型；

步骤S11：构建目标观测的连续性模型

$f_{t\arg \mathrm{et},h}^{C,t,\mathrm{Sal}}=\frac{1}{C_2}(\underset{K=0}{\overset{k}{\mathrm{\Σ}}}{\mathrm{\γ}}_k{f}_{t\arg \mathrm{et},h}^{t-k}+f_{t\arg \mathrm{et},h}^{t,\mathrm{Sal}})$

其中为显著性目标连续模型；为t-k时刻目标模型；为t时刻显著性目标模型；γ_k为遗忘因子；C₂为归一化常数；t为选取图像的帧数；k为选取图像的第k帧视频；

步骤S12：利用可分性评价函数D_t及目标观测的连续性模型对目标模型进行修正，得到目标合作模型；

步骤S13：利用均值漂移算法实现的定位。

优选的，步骤S4中计算对比度值的方法如下：

提取目标区域的颜色直方图特征、纹理直方图特征、梯度直方图特征，分别生成的概率图，其向量均可表示为

$f_{t\arg \mathrm{et}}^t={\left\{f_{t\arg \mathrm{et},h}^t\right\}}_{h=1...H,}f\∈(C,\mathrm{LBP},\mathrm{HOG})$

${\mathrm{\Σ}}_{h=1}^H{f}_{t\arg \mathrm{et},h}^t=1;$

提取背景区域的颜色直方图特征、纹理直方图特征、梯度直方图特征，分别生成的概率图，其向量均可表示为

$f_{\mathrm{background}}^t={\left\{f_{\mathrm{background},h}^t\right\}}_{h=1...H,}f\∈(C,\mathrm{LBP},\mathrm{HOG})$

${\mathrm{\Σ}}_{h=1}^H{f}_{\mathrm{backgroung},h}^t=1$

步骤S4中计算对比度值的公式为

$\begin{array}{c}{\mathrm{Sal}}_{\mathrm{local}}=f_{t\arg \mathrm{et}}^t/f_{\mathrm{backgroun}}^t={\left\{f_{t\arg \mathrm{et},h}^t\right\}}_{h=1...H}/{\left\{f_{\mathrm{backgroun},h}^t\right\}}_{h=1...H}\\ ,f\∈\{C,\mathrm{LBP},\mathrm{HOG}\}\end{array}$

其中目标区域和背景区域采用具有H个区间的直方图来表示，h表示特征分量，h＝1,2,……,H，f∈{C，LBP,HOG}表示特征向量，C为颜色、LBP为纹理、HOG为梯度方向直方图。

优选的，步骤2中所述背景区域与目标区域形状相同且具有相同中心点。

优选的，步骤S6中所述的学习算法为AdaBoost算法。

优选的，步骤S10中参数ε通过中位数估算得到，其取值范围为(0，1)。

本发明的有益效果在于：本发明通过引入局部对比显著特征构建目标外观，并通过自上而下的修正指导形成合作模型，通过均值漂移算法定位实现跟踪，解决了现有技术在跟踪过程中只通过建立简单目标模型并更新的方法，往往难以获得好的处理结果的问题。大量实验表明本发明具有以下优点：

(1)解决传统目标跟踪方法难以处理目标处于相似背景分布和运动物体存在的问题；

(2)可靠性高，改进了传统方法缺乏完整目标信息的不确定因素；

(3)显著性特征能够较完整的突显目标。

附图说明

图1为本发明所提供显著性特征提取方法的框图。

图2为本发明目标跟踪框图。

具体实施方式

下面结合图1、图2对本发明的具体实施方法进一步详细描述，以下实例用于说明本发明，但不限于限制本发明的范围。

本实施例的方法包括三部分：

(1)目标跟踪开始初始化手动选取目标区域，用矩形框表示，然后在目标区域周围自动生成固定值倍数的矩形框，两个矩形框的区域作为局部背景区域；

(2)自下而上显著特征提取：提取目标区域和局部背景区域的颜色、纹理、梯度方向直方图特征；分别计算每个特征的对比度定义特征显著图，并生成对应的概率图；堆栈几个特征组成样本向量；按照每个特征图对目标显著性的贡献度，利用学习算法估计最优特征权，选出最显著特征；利用显著特征表示目标和候补目标模型，利用Mean Shift算法找到目标下一帧的位置；

(3)自上而下的特征评估，修正显著性模型：判断显著性特征确定的跟踪框和目标位置的相似性，检测跟踪目标是否失败；当检测出跟踪目标正常，选择颜色特征就足够了；若检测出跟踪目标性能变差，引入显著性特征评估模型，修正目标模型提高跟踪目标的稳定性；自下而上的特征与自上而下的特征评估联合实现目标可靠跟踪。

具体步骤包括：

步骤S1:选取动态场景下视频的第t帧输入含有跟踪目标和常用背景环境的视频帧，手动选取目标区域，并用矩形框表示目标区域的边界；

步骤S2：根据目标区域选取背景区域，并用矩形框表示背景区域的边界；

步骤S3：提取目标区域的颜色直方图特征、纹理直方图特征、梯度直方图特征，分别生成的概率图，其向量均可表示为

$f_{t\arg \mathrm{et}}^t={\left\{f_{t\arg \mathrm{et},h}^t\right\}}_{h=1...H,}f\∈(C,\mathrm{LBP},\mathrm{HOG})$

${\mathrm{\Σ}}_{h=1}^H{f}_{t\arg \mathrm{et},h}^t=1;$

提取背景区域的颜色直方图特征、纹理直方图特征、梯度直方图特征，分别生成的概率图，其向量均可表示为

$f_{\mathrm{background}}^t={\left\{f_{\mathrm{background},h}^t\right\}}_{h=1...H,}f\∈(C,\mathrm{LBP},\mathrm{HOG})$

${\mathrm{\Σ}}_{h=1}^H{f}_{\mathrm{backgroung},h}^t=1;$

其中目标区域和背景区域采用具有H个区间的直方图来表示，h表示特征分量，h＝1,2,……,H，f∈{C，LBP,HOG}表示特征向量，C为颜色、LBP为纹理、HOG为梯度方向直方图；

步骤S4：依据提取的颜色直方图特征、纹理直方图特征、梯度直方图特征，分别计算每个特征的对比度值，定义为显著性特征，并生成对应的特征向量f₁、f₂、f₃；

计算对比度值的公式为

$\begin{array}{c}{\mathrm{Sal}}_{\mathrm{local}}=f_{t\arg \mathrm{et}}^t/f_{\mathrm{backgroun}}^t={\left\{f_{t\arg \mathrm{et},h}^t\right\}}_{h=1...H}/{\left\{f_{\mathrm{backgroun},h}^t\right\}}_{h=1...H}\\ ,f\∈\{C,\mathrm{LBP},\mathrm{HOG}\}\end{array}$

步骤S5：基于特征向量f₁、f₂、f₃，堆栈构造样本特征向量

F＝[f₁，f₂,f₃]^T

步骤S6：依据每个特征图对目标显著性的贡献度，利用AdaBoost算法算最终学习得到最显著特征

$G\left(f\right)={\mathrm{\Σ}}_{t=1}^T{\mathrm{\α}}_t{g}_t\left(f\right)$

其中G(f)为最显著特征；g_t(f)为特征分量的显著性；α_t为个特征分量的权值；t为弱分类器的个数；

步骤S7：利用最显著特征分别建立目标和背景观测模型，

$f_{t\arg \mathrm{et},h}^{m,\mathrm{Sal}}={\left\{f_{\mathrm{tt}\arg \mathrm{et},h}^{m,\mathrm{Sal}}\right\}}_{m=1...M,}{f}_{t\arg \mathrm{et},h}^{m,\mathrm{Sal}}={\left\{f_{\mathrm{background},h}^{m,\mathrm{Sal}}\right\}}_{m=1...M}$

其中m为图像块数量；

利用Mean Shift算法找到目标下一帧的位置；

步骤S8：判断显著性特征确定的跟踪框和目标位置的相似性，检测跟踪目标是否失败；

步骤S9：当检测出跟踪目标正常，执行步骤13；若检测出跟踪目标失败，执行步骤10；

步骤10：构建可分性评价函数D_t，公式为

$D_t=\underset{r}{\max }\underset{\mathrm{\ω}}{\max }\frac{\max \{f_{t\arg \mathrm{et},h}^{\mathrm{\ω},t},\mathrm{\ϵ}\}}{\max \{f_{\mathrm{background}}^{r,t},\mathrm{\ϵ}\}}$

其中，为目标观测；为背景观测；ε为设定常数，用于去掉较小的目标观测和背景观测，以提高算法的稳定性；r为背景特征；ω为前景特征；目标观测和背景观测采用具有H个区间的直方图来表示，h表示特征分量，h＝1,2,……,H；t为选取图像的帧数；

通过可分性评价函数D_t将显著性目标模型与背景共有的特征映射为零值，存在于背景特征分布映射为负值，只保留目标最能区分的特征分量构成目标的显著性模型；

$f_{t\arg \mathrm{et},h}^{D,\mathrm{Sal}}=\frac{1}{c_1}{f}_{t\arg \mathrm{et},h}^{D,\mathrm{Sal}}$

表示目标区域最显著特征模型；c₁表示归一化常数，保证 ${\mathrm{\Σ}}_{h=1}^H{f}_{t\arg \mathrm{et},h}^{D,\mathrm{Sal}}=1;$

步骤S11：构建目标观测的连续性模型

$f_{t\arg \mathrm{et},h}^{C,t,\mathrm{Sal}}=\frac{1}{C_2}(\underset{K=0}{\overset{k}{\mathrm{\Σ}}}{\mathrm{\γ}}_k{f}_{t\arg \mathrm{et},h}^{t-k}+f_{t\arg \mathrm{et},h}^{t,\mathrm{Sal}})$

其中为显著性目标连续模型；为t-k时刻目标模型；为t时刻显著性目标模型；γ_k为遗忘因子；C₂为归一化常数；t为选取图像的帧数；k为选取图像的第k帧视频；

步骤S12：利用可分性评价函数D_t及目标观测的连续性模型对目标模型进行修正，得到目标合作模型；

步骤S13：利用均值漂移算法实现的定位。

其中，步骤2中所述背景区域与目标区域形状相同且具有相同中心点，步骤S10中参数ε通过中位数估算得到，其取值范围为(0，1)。

本实施例通过提取目标模型的局部对比显著特征，采取自下而上局部对比显著特征提取(如步骤S2-S7)和自上而下的显著性特征模型修正(如步骤S8-S13)联合调节的方法处理目标自身变化和复杂背景问题，解决了现有技术在跟踪过程中只通过建立简单目标模型并更新的方法，往往难以获得好的处理结果的问题。大量实验表明本发明具有以下优点：

(1)解决传统目标跟踪方法难以处理目标处于相似背景分布和运动物体存在的问题；

(2)可靠性高，改进了传统方法缺乏完整目标信息的不确定因素；

(3)显著性特征能够较完整的突显目标。以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，应理解的是，以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.基于局部对比显著性联合特征的目标跟踪方法，其特征在于：包括以下步骤：

步骤S1:选取动态场景下视频的第t帧输入含有跟踪目标和常用背景环境的视频帧，手动选取目标区域，并用矩形框表示目标区域的边界；

步骤S2：根据目标区域选取背景区域，并用矩形框表示背景区域的边界；

步骤S3：分别提取目标区域和背景区域的颜色直方图特征、纹理直方图特征、梯度直方图特征，计算每个特征的概率值，并生成对应的概率图；

步骤S4：依据提取的颜色直方图特征、纹理直方图特征、梯度直方图特征，分别计算每个特征的对比度值，定义为显著性特征，并生成对应的特征向量f₁、f₂、f₃；

步骤S5：基于特征向量f₁、f₂、f₃，堆栈构造样本特征向量

F＝[f₁，f₂,f₃]^T

步骤S6：依据每个特征图对目标显著性的贡献度，利用学习算法估计最优特征权，选出最显著特征；

步骤S7：利用最显著特征分别建立目标和背景观测模型，利用Mean Shift算法找到目标下一帧的位置；

步骤S8：判断显著性特征确定的跟踪框和目标位置的相似性，检测跟踪目标是否失败；

步骤S9：当检测出跟踪目标正常，执行步骤13；若检测出跟踪目标失败，执行步骤10；

步骤10：构建可分性评价函数D_t，公式为

其中，为目标观测；为背景观测；ε为设定常数，用于去掉较小的目标观测和背景观测，以提高算法的稳定性；r为背景特征分布；ω为前景特征分布；目标观测和背景观测采用具有H个区间的直方图来表示，h表示特征分量，h＝1,2,……,H；t为选取图像的帧数；

通过可分性评价函数D_t将显著性目标模型与背景共有的特征映射为零值，存在于背景特征分布映射为负值，只保留目标最能区分的特征分量构成目标的显著性模型；

步骤S11：构建目标观测的连续性模型

其中为显著性目标连续模型；为t-k时刻目标模型； 为t时刻显著性目标模型；γ_k为遗忘因子；C₂为归一化常数；t为选取图像的帧数；k为选取图像的第k帧视频；

步骤S12：利用可分性评价函数D_t及目标观测的连续性模型对目标模型进行修正，得到目标合作模型；

步骤S13：利用均值漂移算法实现的定位。

2.根据权利要求1所述的方法，其特征在于：

提取目标区域的颜色直方图特征、纹理直方图特征、梯度直方图特征，分别生成的概率图，其向量均可表示为

提取背景区域的颜色直方图特征、纹理直方图特征、梯度直方图特征，分别生成的概率图，其向量均可表示为

步骤S4中计算对比度值的公式为

其中目标区域和背景区域采用具有H个区间的直方图来表示，h表示特征分量，h＝1,2,……,H，f∈{C，LBP,HOG}表示特征向量，C为颜色、LBP为纹理、HOG为梯度方向直方图。

3.根据权利要求2所述的方法，其特征在于：步骤2中所述背景区域与目标区域形状相同且具有相同中心点。

4.根据权利要求3所述的方法，其特征在于：步骤S6中所述的学习算法为AdaBoost算法。

5.根据权利要求4所述的方法，其特征在于：步骤S10中参数ε通过中位数估算得到，其取值范围为(0，1)。