CN110660079A - 一种基于时空上下文的单目标跟踪方法 - Google Patents

Abstract

本发明涉及一种基于时空上下文的单目标跟踪方法，属于视频目标跟踪技术领域。本发明首先从目标和背景区域提取方向梯度直方图特征和颜色直方图特征，通过固定权重策略融合两种特征的相关滤波响应，然后利用PCA算法降维目标周围提取的背景颜色特征，基于贝叶斯框架通过最大化似然函数得到时空上下文响应。采用自适应权重融合策略融合两种模型响应，基于融合后的响应图得到估计目标位置并采用尺度估计方法解决目标尺度变化问题；本发明能够有效缓解跟踪目标由于遮挡、尺度变化、光照等因素造成的跟踪漂移状况的发生，实现鲁棒的目标跟踪。

Description

一种基于时空上下文的单目标跟踪方法

技术领域

本发明涉及一种基于时空上下文的单目标跟踪方法，属于视频目标跟踪技术领域。

背景技术

目标跟踪技术目前广泛应用于智能交通、视频监控、人机交互、和军事制导等领域。近几十年来目标跟踪领域取得了很大进展，但是由于物体运动过程中视频场景和目标外观的复杂变化，设计一个鲁棒高效的目标跟踪算法,仍是一个极具挑战的难题。

根据目标模型的建模方式差异，可将目标跟踪模型分成两类：生成式模型和判别式模型。基于生成式模型的目标跟踪算法，使用生成式模型描述目标的表观特征，通过采样搜索出来的候选目标实现重构误差最小化，再对比候选目标和模型的相似程度，找到最大相似目标作为跟踪结果。这类算法通常从目标前景区域学习目标外观，忽略了更有效的背景信息，所以在跟踪过程中算法很容易受到背景中相似物体的影响而产生漂移。判别式表观模型则是通过训练各种各样的分类器来区分被跟踪的目标物体和背景区域，将目标跟踪看作一个二分类问题，把图像分为前景图像和背景图像，利用最适合实际场景的图像特征和最佳的分类方法，将目标从背景区域中区分出来，期间不断的在线更新分类器来估计目标的位置。其中最具代表的是基于相关滤波的Staple算法，该算法采用两种互补特征建立目标外观模型，分别转化为两个独立的岭回归问题求解。该算法在更好的适应目标外观变化以及光照的不连续性的同时保持较高的执行速率。但是当跟踪目标发生部分遮挡或者完全遮挡时，算法容易丢失目标，出现模型漂移的情况。

因此发明一种基于时空上下文的单目标跟踪方法，在相关滤波基础上引入时空上下文模型以减少在跟踪过程中因遮挡和姿态变化等因素产生的对跟踪模型的干扰，同时避免了单个跟踪模型在描述跟踪目标时的不足。能够有效面对各种复杂挑战因素，实现鲁棒的目标跟踪。

发明内容

本发明提供了一种基于时空上下文的单目标跟踪方法，以用于解决在视觉目标跟踪过程中，目标因受到复杂视频场景干扰和目标本身变化带来的跟踪效果低下，准确率不高等问题。

本发明的技术方案是：一种基于时空上下文的单目标跟踪方法，所述基于时空上下文的单目标跟踪方法的具体步骤如下：

Step1、获取目标的初始位置信息以及尺度信息。

Step2、根据Step1获取的初始信息提取目标的HOG特征和颜色直方图特征以及目标周围的CN特征，并利用主成分分析将11维的CN特征降至3维。

Step3、根据Step2提取的HOG特征和颜色直方图特征分别建立相关滤波模型，

并采用固定系数融合的方式得到相关滤波响应。

Step4、基于Step2中降维后的CN特征建立目标时空上下文模型，得到目标时空上下文响应。

Step5、采用自适应融合的方法融合Step3得到的相关滤波响应和Step4得到的时空上下文响应，并预测目标位置。

Step6、利用step5得到的目标位置信息，添加尺度滤波器预测目标的尺度变化。

Step7、得到目标的位置信息和尺度信息后，更新相关滤波模型以及时空上下文模型，进行跟踪，直到最后一帧。

所述步骤Step2中利用主成分分析方法降维CN特征的具体步骤如下：通过计算最小代价函数

为当前帧p寻找一个D₁×D₂的正交列向量投影矩阵B_p，

满足

最小代价函数由下式计算得到。

式中：α_p是权重函数，M×N指上下文领域大小，(m,n)∈{0,...,M-1}{0，...，N-1}，是B_j中的各向量且其权值由

决定，

然后通过线性投影

进行降维，将D₁维的局部上下文颜色特征x^p(m,n)将至D₂维的颜色特征x^p(m_,n)。

所述步骤Step3中利用提取的特征建立相关滤波模型的具体步骤如下：定义提取跟踪目标x的第d个通道的HOG特征表示为x^d，d∈{1,2,...D}。由D个单通道滤波器w^d组成的滤波器w可通过最小化目标函数ε求解，即：

其中，λ为正则化系数，*代表循环相关操作，y为样本x对应标签。在傅里叶域中可快速求解得到相关滤波器为：

式中，大写字母为对应变量的频域形式，为Y的复共轭，

表示对应元素相乘。

本发明的有益效果在于：

(1)该目标跟踪方法高效整合了不同模型在目标跟踪过程中的优点，形成优势互补，有效提升了跟踪精度。

(2)该目标跟踪方法利用目标时空上下文信息，能够有效减少在跟踪过程中因部分遮挡导致的模型漂移现象的发生。

(3)该目标跟踪方法在准确追踪目标位置和尺度变化的同时，能够以较高的执行速度跟踪目标。

附图说明

图1为本发明中的流程示意图。

图2为本发明中的具体流程示意图。

具体实施方式

实施例1：如图1和图2所示，一种基于时空上下文的单目标跟踪方法，所述基于时空上下文的单目标跟踪方法的具体步骤如下：

Step1、获取目标的初始位置信息以及尺度信息。

所述Step1中由于本发明是在公开测试集OTB-2013上验证发明有效性，所以跟踪目标第一帧的位置信息和尺度信息在测试集中都有标注。通过读取测试集的标注文件，就可以得到目标初始信息。

Step2、根据Step1获取的初始信息提取目标的HOG特征和颜色直方图特征以及目标周围的CN特征，并利用主成分分析将11维的CN特征降至3维。

所述Step2中利用主成分分析方法降维CN特征的具体步骤如下：通过计算最小代价函数

为当前帧p寻找一个D₁×D₂的正交列向量投影矩阵B_p，

满足

最小代价函数由下式计算得到。

式中：

α₁，…，α_p是权重函数，M×N指上下文领域大小，(m,n)∈{0,...,M-1}{0，...，N-1}，是B_j中的各向量且其权值由决定，

然后通过线性投影进行降维，将D₁维的局部上下文颜色特征x^p(m,n)将至D₂维的颜色特征x^p(m_,n)。

Step3、根据Step2提取的HOG特征和颜色直方图特征分别建立相关滤波模型，并采用固定系数融合的方式得到相关滤波响应。定义提取跟踪目标x的第d个通道的HOG特征表示为x^d，d∈{1,2,...D}。由D个单通道滤波器w^d组成的滤波器w可通过最小化目标函数ε求解，即：

其中，λ为正则化系数，*代表循环相关操作，y为样本x对应标签。在傅里叶域中可快速求解得到相关滤波器为：

式中，大写字母为对应变量的频域形式，

为Y的复共轭，

表示对应元素相乘。

Step4、基于Step2中降维后的CN特征建立目标时空上下文模型，得到目标时空上下文响应。时空上下文模型的置信图定义如下：

其中x是跟踪目标，o表示目标在场景内，物体坐标X^*代表跟踪目标中心的坐标。上下文特征集定义集X^c＝{c(z)＝(I(z),z)|z∈Ω_c(x^*)}，I(z)表示坐标z的图像灰度值。目标坐标x^*的置信图定义如下：

α是尺度参数，β是形状参数，b是归一化常数，P(c(z),o)是上下文先验概率，用于建模局部上下文的表观：

P(c(z)|o)＝I(z)ω_σ(z-x^*)

条件概率P(x|c(z),o)建模目标和其上下文信息的空间关系。通过计算置信图函数m(x)和上下文先验模型P(c(z),o),求得空间上下文模型P(x|c(z),o)并转换到频域，用快速傅里叶算法快速卷积，再进行傅里叶逆变换得到空间上下文模型h^sc(x)。

Step5、采用自适应融合的方法融合Step3得到的相关滤波响应和Step4得到的时空上下文响应，并预测目标位置。利用视频帧的峰值旁瓣比来衡量各模型对跟踪模型的贡献度，动态分配模型响应图融合权重。

Step6、利用step5得到的目标位置信息，添加尺度滤波器预测目标的尺度变化。

在之前预测到的跟踪位置进行尺度“金字塔”采样。用于尺度评估的目标样本尺寸选择原则为：

其中，P、R分别为目标在上一帧的宽、高，a是尺度因子，S为尺度总级数。然后将得到的不同尺度的目标样本统一缩放为P×R的大小，再和一维尺度相关滤波器进行相关操作获得尺度响应图，其最大响应值位置即为对应目标最佳尺度。

Step7、得到目标的位置信息和尺度信息后，更新相关滤波模型以及时空上下文模型，进行跟踪，直到最后一帧。

上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (3)

1.一种基于时空上下文的单目标跟踪方法，其特征在于：所述基于时空上下文的单目标跟踪方法的具体步骤如下：

Step1、获取目标的初始位置信息以及尺度信息。

Step2、根据Step1获取的初始信息提取目标的HOG特征和颜色直方图特征以及目标周围的CN特征，并利用主成分分析将11维的CN特征降至3维。

Step3、根据Step2提取的HOG特征和颜色直方图特征分别建立相关滤波模型，

并采用固定系数融合的方式得到相关滤波响应。

Step4、基于Step2降维后的CN特征建立目标时空上下文模型，得到目标时空上下文响应。

Step5、采用自适应融合的方法融合Step3得到的相关滤波响应和Step4得到的时空上下文响应，并预测目标位置。

Step6、利用step5得到的目标位置信息，添加尺度滤波器预测目标的尺度变化。

Step7、得到目标的位置信息和尺度信息后，更新相关滤波模型以及时空上下文

模型，进行跟踪，直到最后一帧。

2.根据权利要求1所述的基于时空上下文的单目标跟踪方法，其特征在于：所述步骤Step2中利用主成分分析方法，降维CN特征的具体步骤如下：通过计算最小代价函数为当前帧p寻找一个D₁×D₂的正交列向量投影矩阵B_p，

满足最小代价函数由下式计算得到。

式中：

α₁，…，α_p是权重函数，M×N指上下文领域大小，(m,n)∈{0,...,M-1}{0，...，N-1}，

是B_j中的各向量且其权值由决定，然后通过线性投影

进行降维，将D₁维的局部上下文颜色特征x^p(m,n)将至D₂维的颜色特征x^p(m,n)。

3.根据权利要求1所述的基于时空上下文的单目标跟踪方法，其特征在于：所述步骤Step3中利用提取的特征建立相关滤波模型的具体步骤如下：定义提取跟踪目标x的第d个通道的HOG特征表示为x^d，d∈{1，2，...D}。由D个单通道滤波器w^d组成的滤波器w可通过最小化目标函数ε求解，即：

其中，λ为正则化系数，*代表循环相关操作，y为样本x对应标签。在傅里叶域中可快速求解得到相关滤波器为：

式中，大写字母为对应变量的频域形式，

为Y的复共轭，

表示对应元素相乘。

Images