CN109754424B - 基于融合特征和自适应更新策略的相关滤波跟踪算法 - Google Patents

Abstract

本发明涉及一种基于融合特征和自适应更新策略的相关滤波跟踪算法，采用了基于相关滤波的跟踪方法，并通过使用分通道融合特征构建鲁棒的目标模型来预测目标的中心位置。针对目标被严重遮挡的问题，本发明引入自适应的模型更新机制来解决该问题：首先根据置信度阈值判断当前响应图的可靠程度，可靠程度越高，图像中目标被遮挡的可能性越小。在此基础上构造自适应更新函数，按照此函数对跟踪模型进行更新，保证目标被严重遮挡时，以非常低的学习率更新模型，尽可能少的引入噪声；而当目标外观清晰，没有遮挡形变等干扰因素存在时，则以非常高的学习率更新模型，保证模型能捕获到最新的目标特征。得益于以上措施，本发明可以在不同的具有挑战性的场景下取得非常鲁棒的跟踪结果。

Description

基于融合特征和自适应更新策略的相关滤波跟踪算法

技术领域

本发明涉及一种目标跟踪方法，属计算机视觉领域。

背景技术

目前，航拍视频跟踪技术已经在军事领域和民事领域得到广泛的应用。相对于固定平台或者手持设备拍摄的视频，航拍视频具有自身特有的性质。首先，摄像机随无人机一同做高速运动，航拍视频序列图像间存在平移、旋转等变换，且视频中场景复杂多变，目标极易受到遮挡、噪声等干扰；另外，由于无人机有时在几千米甚至上万米的高空飞行，运动目标在图像中占的比例很小，这些都对航拍视频处理带来了巨大的挑战。近年来，基于相关滤波的跟踪方法大量涌现，并展现了良好的跟踪性能，尤其是该类方法所具有的实时性，可以在一定程度上满足航拍视频跟踪问题的要求。但是，当视频中的目标被严重遮挡时，基于相关滤波的现有方法会产生漂移，容易导致跟踪失败，因此无法对航拍视频进行长时跟踪。

发明内容

要解决的技术问题

针对航拍视频中由于运动目标被严重遮挡而造成外观模型漂移，从而易导致跟踪失败的问题，设计一种鲁棒、高效的目标跟踪方法。

技术方案

一种基于融合特征和自适应更新策略的相关滤波跟踪算法，其特征在于步骤如下：

步骤1：读取视频中第一帧图像数据以及目标所在的初始位置信息[x₁,y₁,w,h]，其中x₁,y₁表示第一帧目标中心P₁的横坐标和纵坐标，w,h表示目标的宽和高；

步骤2：根据目标初始位置中心点x₁,y₁确定一个目标区域R，R的大小为M×N，其中M＝3×w,N＝3×h；在R的区域内提取CN特征，维度为11维；再将原图从原有颜色空间转化到HSV颜色空间，在区域R的三个颜色通道内分别提取27维方向梯度直方图特征；最后把所得CN特征和三个颜色通道上分别提取到的3个梯度直方图特征进行连接，构成92维的融合特征f₁；

步骤3：读取第k帧图像，k≥2且起始值为2，在第t帧图像中以(x_t-1,y_t-1)为中心提取S个不同尺度的图像子块，S设定为33，每个子块的大小为[M,N]×s，变量s为图像子块的尺度因子，s∈[0.7,1.4]，然后经过尺度缩放到[M,N]的大小；

步骤4：按照步骤2的方法分别提取每个子块的融合特征f_t ⁱ，其中i＝1,2,…,S，然后合并将S个融合特征矩阵连接之后成为一个大小为S×M×N的特征图，这里将其命名为尺度特征图，记为f_t，再根据f_t训练相关滤波器模型w_k，在训练过程中，对于第t帧图像，要使w_k满足以下约束关系：

这里用y∈R^T代表期望的相关滤波器输出，其中T＝length(f_k)；K＝92表示滤波器的通道数；λ是归一化参数，其值为10^-3，Px_k[Δτ_j]则表示通过j＝[0,...,T-1]步的循环移位从原图片中生成的图像块；

步骤5：通过离散傅里叶变换，可以把以上公式转换到频域来提高计算效率；利用ADMM优化方法优化N次可逼近满足此公式的最优解W_k；

步骤6：用滤波器W_k与提取的图像子块特征f_k进行卷积运算，得到M×N×S维代表不同尺度下的响应图，在每一个尺度上，对响应图进行傅里叶逆变换，可以得到时域上的置信图responce，获取最大响应值所在位置最大响应值对应的坐标(x',y')即为目标位置，该响应值所在尺度即为当前帧目标的尺度

步骤7：用rp_target表示置信图中所有值的集合，则rp_target(a,b)表示置信图中某一点的置信度，所以根据时域上的置信图responce，可以按照如下方式计算得到置信图的置信度阈值C：

步骤8：根据置信度阈值C，在第t帧可以把W_t按照如下公式更新：

W_t＝(1-η)W_t-1+ηW_t (4)

在这里η表示学习率，LR＝0.013，W是w在频域的表示；

步骤9：判断是否处理完所有图像，如果是则结束；否则转回步骤4。

步骤5中的N＝50。

有益效果

本发明提出的一种基于融合特征和自适应更新策略的相关滤波跟踪算法，采用了基于相关滤波的跟踪方法，并通过使用分通道融合特征构建鲁棒的目标模型来预测目标的中心位置。针对目标被严重遮挡的问题，本发明引入自适应的模型更新机制来解决该问题：首先根据置信度阈值判断当前响应图的可靠程度，可靠程度越高，图像中目标被遮挡的可能性越小。在此基础上构造自适应更新函数，按照此函数对跟踪模型进行更新，保证目标被严重遮挡时，以非常低的学习率更新模型，尽可能少的引入噪声；而当目标外观清晰，没有遮挡形变等干扰因素存在时，则以非常高的学习率更新模型，保证模型能捕获到最新的目标特征。得益于以上措施，本发明可以在不同的具有挑战性的场景下取得非常鲁棒的跟踪结果。

附图说明

图1基于融合特征和自适应更新策略的相关滤波跟踪算法

具体实施方式

现结合实施例、附图对本发明作进一步描述：

步骤1读取视频中第一帧图像数据以及目标所在的初始位置信息[x₁,y₁,w,h]，其中x₁,y₁表示第一帧目标中心P₁的横坐标和纵坐标，w,h表示目标的宽和高。

步骤2根据目标初始位置中心点x₁,y₁确定一个目标区域R，R的大小为M×N，其中M＝3×w,N＝3×h。在R的区域内提取CN(Color Name)特征，维度为11维。再将原图从原有颜色空间转化到HSV颜色空间。在区域R的三个颜色通道内分别提取27维方向梯度直方图(HOG)特征。最后把所得CN特征和三个颜色通道上分别提取到的3个梯度直方图特征进行连接，构成92维的融合特征f₁。

步骤3读取第k帧图像(k≥2且起始值为2)，在第t帧图像中以(x_t-1,y_t-1)为中心提取S个不同尺度的图像子块，S设定为33，每个子块的大小为[M,N]×s，变量s为图像子块的尺度因子，s∈[0.7,1.4]，然后经过尺度缩放到[M,N]的大小。

步骤4并且按照步骤2的方法分别提取每个子块的融合特征f_t ⁱ其中(i＝1,2,…,S)，然后合并将S个融合特征矩阵连接之后成为一个大小为S×M×N的特征图，这里将其命名为尺度特征图，记为f_t，再根据f_t训练相关滤波器模型w_k，在训练过程中，对于第t帧图像，要使w_k满足以下约束关系：

这里用y∈R^T代表期望的相关滤波器输出，其中T＝length(f_k)。K＝92表示滤波器的通道数。λ是归一化参数，其值为10^-3，Px_k[Δτ_j]则表示通过j＝[0,...,T-1]步的循环移位从原图片中生成的图像块。

步骤5通过离散傅里叶变换，可以把以上公式转换到频域来提高计算效率。利用ADMM(Alternating Direction Method of Multipliers)优化方法优化N次(N＝50)可逼近满足此公式的最优解W_k。

步骤6用滤波器W_k与提取的图像子块特征f_k进行卷积运算，得到M×N×S维代表不同尺度下的响应图，在每一个尺度上，对响应图进行傅里叶逆变换，可以得到时域上的置信图responce，获取最大响应值所在位置最大响应值对应的坐标(x',y')即为目标位置，该响应值所在尺度即为当前帧目标的尺度

步骤7用rp_target表示置信图中所有值的集合，则rp_target(a,b)表示置信图中某一点的置信度，所以根据时域上的置信图responce，可以按照如下方式计算得到置信图的置信度阈值C：

步骤8根据置信度阈值C，在第t帧可以把W_t按照如下公式更新：

W_t＝(1-η)W_t-1+ηW_t (4)

在这里η表示学习率，LR＝0.013，W是w在频域的表示。

步骤9判断是否处理完所有图像，如果是则结束；否则转回步骤4。

Claims (2)

1.一种基于融合特征和自适应更新策略的相关滤波跟踪方法，其特征在于步骤如下：

步骤1：读取视频中第一帧图像数据以及目标所在的初始位置信息[x₁,y₁,w,h]，其中x₁,y₁表示第一帧目标中心P₁的横坐标和纵坐标，w,h表示目标的宽和高；

步骤2：根据目标初始位置中心点(x₁,y₁)确定一个目标区域R，R的大小为M×N，其中M＝3×w,N＝3×h；在R的区域内提取Color Name特征，维度为11维；再将原图从原有颜色空间转化到HSV颜色空间，在区域R的三个颜色通道内分别提取27维方向梯度直方图特征；最后把所得Color Name特征和三个颜色通道上分别提取到的3个梯度直方图特征进行连接，构成92维的融合特征f₁；

步骤3：读取第k帧图像，k≥2且起始值为2，在第t帧图像中以(x_t-1,y_t-1)为中心提取S个不同尺度的图像子块，S设定为33，每个子块的大小为M×N×s，变量s为图像子块的尺度因子，s∈[0.7,1.4]，然后经过尺度缩放到M×N的大小；

步骤4：按照步骤2的方法分别提取每个子块的融合特征f_t ⁱ，其中i＝1,2,…,S，然后合并将S个融合特征矩阵连接之后成为一个大小为S×M×N的特征图，这里将其命名为尺度特征图，记为f_t，再根据f_t训练相关滤波器模型w_k，在训练过程中，对于第t帧图像，要使w_k满足以下约束关系：

这里用y∈R^T代表期望的相关滤波器输出，其中T＝length(f_k)；K＝92表示滤波器的通道数；λ是归一化参数，其值为10^-3，Pf_t ^k[Δτ_j]则表示通过j＝[0,...,T-1]步的循环移位从原图片中生成的图像块；

步骤5：通过离散傅里叶变换，可以把以上公式转换到频域来提高计算效率；利用ADMM优化方法优化N次可逼近满足此公式的最优解W_k；

步骤6：用滤波器W_k与提取的图像子块特征f_k进行卷积运算，得到M×N×S维代表不同尺度下的响应图，在每一个尺度上，对响应图进行傅里叶逆变换，可以得到时域上的置信图responce，获取最大响应值所在位置最大响应值对应的坐标(x',y')即为目标位置，该响应值所在尺度即为当前帧目标的尺度

步骤7：用rp_target表示置信图中所有值的集合，则rp_target(a,b)表示置信图中某一点的置信度，所以根据时域上的置信图responce，可以按照如下方式计算得到置信图的置信度阈值C：

步骤8：根据置信度阈值C，在第t帧可以把W_t按照如下公式更新：

W_t＝(1-η)W_t-1+ηW_t (4)

在这里η表示学习率，LR＝0.013，W是w在频域的表示；

步骤9：判断是否处理完所有图像，如果是则结束；否则转回步骤4。

2.根据权利要求1所述的一种基于融合特征和自适应更新策略的相关滤波跟踪方法，其特征在于步骤5中的N＝50。

Images