CN109886996B - 一种视觉追踪优化方法 - Google Patents

Abstract

本发明涉及一种视觉追踪优化方法，本发明采用初始模板保留了目标的原始信息，逐帧更新的模板获取了目标的实时信息，将两个模板估计的位置进行加权融合，可以得到最佳的目标位置。目标丢失因子的提出使得在追踪失败情况下不会对逐帧更新模板造成损坏，当追踪目标重新出现在搜索区域时，使用逐帧更新模板仍然能够产生较大的响应值，进而准确的确定目标位置。

Description

一种视觉追踪优化方法

技术领域

本发明涉及一种相关滤波追踪方法，属于深度学习视觉追踪技术领域。

背景技术

视觉目标追踪技术是计算机视觉的一个重要组成部分，涉及到众多的研究领域，如图像处理、人机交互等。而我们通常认为的计算机视觉，可以称为是一门教会计算机(或其他图像设备)如何“看”的学科，或者说是研究如何从复杂的场景和图像数据中感知设备所处环境的学科。其中涉及到目标的识别及识别后的持续跟踪、目标行为理解和说明、摄像头采集的图像进行数据融合及图像处理等。

推动视觉技术发展的最主要的原因是现今监控摄像头、手机等电子设备的高度普及，照片及视频的数据量(或者称样本量)急剧增加，而且这些都是与人们的生产与生活活动密切相关的方面。面对数量如此巨大的图片和视频内容，急需学者们理解这些内容并在其中找出运动的模式，来揭示那些我们忽略的细节，挖掘其中的隐藏价值。

发明内容

本发明的目的是：提高视觉追踪的精度和速度。

为了达到上述目的，本发明的技术方案是提供了一种视觉追踪优化方法，其特征在于，包括以下步骤：

步骤1、获取当前帧的追踪图片；

步骤2、对追踪图片进行预处理后，圈定感兴趣区域；

步骤3、使用VGG-Net网络提取感兴趣区域的深度卷积特征，记为X，X∈R^P×Q×D，式中，R表示特征空间，P、Q、D分别表示特征空间的宽度、高度和维数；

步骤4、若当前帧为初始帧，则使用相关滤波算法将从VGG-Net网络中提取到的深度卷积特征X进行训练得到滤波器后，得到滤波器的初始模板，将下一帧作为当前帧，返回步骤1，否则进入步骤5；

步骤5、获得当前帧的滤波器更新模板，其中，滤波器模板的更新公式为：

式中，

表示算法学习到的滤波器，算法第t帧学习到的滤波器定义为

Y为高斯标签矩阵，Y∈R^P×Q，高斯标签矩阵Y中元素大小服从以目标尺寸中心为峰值位置，标准差大小与目标尺寸成正比的二维高斯分布，

表示离散傅里叶变换；

表示

的第d个维度，

λ表示一个正则化参数，λ≥0；

表示更新后的第t帧追踪图片所对应的滤波器模板；η表示更新速率；

表示第t-1帧追踪图片所对应的滤波器模板；⊙表示哈达马积；

步骤6、将滤波器的初始模板和当前帧的深度卷积特征进行点乘得到相关滤波响应矩阵一，相关滤波响应矩阵一最大响应值为估计得到的追踪目标位置一；

将滤波器更新模板和当前帧的深度卷积特征进行点乘得到相关滤波响应矩阵二，相关滤波响应矩阵二最大响应值为估计得到的追踪目标位置二；

步骤7、对追踪目标位置一及追踪目标位置二加权融合得到最终目标位置，将下一帧作为当前帧，返回步骤1。

优选地，步骤2中的所述预处理包括以下步骤：

读入追踪图片的目标尺寸和目标位置坐标，圈定感兴趣区域。

优选地，步骤3中，提取深度卷积特征包括以下步骤：

首先将追踪图片输入到VGG-Net的数据输入层，经过卷积计算层，Relu激励层，池化层，全连接层，最终通过输出层输出所述深度卷积特征。

优选地，步骤6中，第k帧追踪图片的所述追踪目标位置一为(x₀,y₀)，则有：

式中，S⁰表示所述相关滤波响应矩阵一，x₀'表示相关响应矩阵一中的元素所在的行数，y₀'表示相关响应矩阵一中的元素所在的列数；

第k帧追踪图片的所述追踪目标位置二为(x₁,y₁)，则有：

式中，S¹表示所述相关滤波响应矩阵二，x₁'表示相关响应矩阵中二的元素所在的行数，y₁'表示相关响应矩阵二中的元素所在的列数；

步骤7中，第k帧追踪图片的最终目标位置为(x_k,y_k)，则有：

(x_k,y_k)＝l₀(x₀,y₀)+l₁(x₁,y₁)，式中，

γ⁰和γ¹分别表示S⁰和S¹的最大值。

优选地，步骤6中，计算得到所述相关滤波响应矩阵二后，计算相关滤波响应矩阵二的最大值，将第t帧追踪图片所对应的相关滤波响应矩阵二的最大值定义为γ^t，并定义第t帧追踪图片所对应的目标丢失因子m_t，则有：

式中，γ_t+i表示与第t帧追踪图片相邻的第t+i帧追踪图片对应的相关滤波响应矩阵二的最大值，k表示与第t帧追踪图片相邻的k帧追踪图片；

若目标丢失因子m_t，则停止滤波器模板的更新。

优选地，步骤6中，定义第t帧追踪图片所对应的更新系数为α_t，则有：

式中，ε是预先设定的阈值，则第t帧追踪图片之后所对应的滤波器更新模板更新策略为：

由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：初始模板保留了目标的原始信息，逐帧更新的模板获取了目标的实时信息，将两个模板估计的位置进行加权融合，可以得到最佳的目标位置。目标丢失因子的提出使得在追踪失败情况下不会对逐帧更新模板造成损坏，当追踪目标重新出现在搜索区域时，使用逐帧更新模板仍然能够产生较大的响应值，进而准确的确定目标位置。

附图说明

图1为本发明提供的一种视觉追踪优化方法的流程图。

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

结合图1，本发明提供的一种视觉追踪优化方法，包括以下步骤：

步骤1、获取追踪图片序列，将追踪图片序列中的第一帧作为当前帧；

步骤2、对当前帧的追踪图片进行预处理，获得目标尺寸和目标位置坐标，圈定感兴趣区域；

步骤3、使用VGG-Net网络提取感兴趣区域的深度卷积特征，记为X，X∈R^P×Q×D，式中，R表示特征空间，P、Q、D分别表示特征空间的宽度、高度和维数。

提取深度卷积特征X时，首先将当前帧的追踪图片输入到VGG-Net的数据输入层，经过卷积计算层，Relu激励层，池化层，全连接层，最终通过输出层输出深度卷积特征。

步骤4、若当前帧为初始帧，即若当前帧为第一帧，则使用相关滤波算法将从VGG-Net网络中提取到的深度卷积特征X进行训练得到滤波器后，得到滤波器的初始模板，将下一帧作为当前帧，返回步骤1，否则进入步骤5。

记有高斯标签矩阵记Y，Y∈R^P×Q，该高斯标签矩阵Y中元素大小服从以目标尺寸中心为峰值位置，标准差大小与目标尺寸成正比的二维高斯分布。令：

其中，

表示离散傅里叶变换。则滤波器在傅里叶变换后的频域中可以表示为

则有：

式中，λ为一个正则化参数，λ≥0，||·||_F为标准欧几里德范数。

可计算如下：

式中，

表示

的第d个维度，

表示

的第d个维度，⊙表示哈达马积；。

公式中的优化问题有闭式解，

的第d个维度可以求解如下：

步骤5、逐帧更新滤波器的模板，获得当前帧的滤波器更新模板，其中，滤波器模板的更新公式为：

式中，

表示算法学习到的滤波器，算法第t帧学习到的滤波器定义为

Y为高斯标签矩阵，Y∈R^P×Q，高斯标签矩阵Y中元素大小服从以目标尺寸中心为峰值位置，标准差大小与目标尺寸成正比的二维高斯分布，

表示离散傅里叶变换；

表示

的第d个维度，

λ表示一个正则化参数，λ≥0；

表示更新后的第t帧追踪图片所对应的滤波器模板；η表示更新速率；

表示第t-1帧追踪图片所对应的滤波器模板。

步骤6、将滤波器的初始模板和当前帧的深度卷积特征进行点乘得到相关滤波响应矩阵一，相关滤波响应矩阵一最大响应值为估计得到的追踪目标位置一。

令处理第t帧追踪图片时，由VGG-Net网络得到的深度卷积特征为T，令

则有：

S⁰表示相关滤波响应矩阵一。

第t帧追踪图片的所述追踪目标位置一为(x₀,y₀)，则有：

x₀'表示相关响应矩阵一中的元素所在的行数，y₀'表示相关响应矩阵一中的元素所在的列数。

将滤波器更新模板和当前帧的深度卷积特征进行点乘得到相关滤波响应矩阵二，相关滤波响应矩阵二最大响应值为估计得到的追踪目标位置二。

第t帧追踪图片的所述追踪目标位置一为(x₁,y₁)，则有：

式中，S¹表示所述相关滤波响应矩阵二，x₁'表示相关响应矩阵二中的元素所在的行数，y₁'表示相关响应矩阵二中的元素所在的列数。

计算得到相关滤波响应矩阵二后，计算相关滤波响应矩阵二的最大值，将第t帧追踪图片所对应的相关滤波响应矩阵二的最大值定义为γ^t，并定义第t帧追踪图片所对应的目标丢失因子m_t，则有：

式中，γ_t+i表示与第t帧追踪图片相邻的第t+i帧追踪图片对应的相关滤波响应矩阵二的最大值，k表示与第t帧追踪图片相邻的k帧追踪图片；

若目标丢失因子m_t，则停止滤波器模板的更新，定义第t帧追踪图片所对应的更新系数为α_t，则有：

式中，ε是预先设定的阈值，则第t帧追踪图片之后的所对应的滤波器更新模板更新策略为：

步骤7、对追踪目标位置一及追踪目标位置二加权融合得到最终目标位置，将下一帧作为当前帧，返回步骤1。

设第t帧追踪图片的最终目标位置为(x_t,y_t)，则有：

(x_t,y_t)＝l₀(x₀,y₀)+l₁(x₁,y₁)，式中，

γ⁰和γ¹分别表示S⁰和S¹的最大值。

Claims (6)

1.一种视觉追踪优化方法，其特征在于，包括以下步骤：

步骤1、获取当前帧的追踪图片；

步骤2、对追踪图片进行预处理后，圈定感兴趣区域；

步骤3、使用VGG-Net网络提取感兴趣区域的深度卷积特征，记为X，X∈R^P×Q×D，式中，R表示特征空间，P、Q、D分别表示特征空间的宽度、高度和维数；

步骤4、若当前帧为初始帧，则使用相关滤波算法将从VGG-Net网络中提取到的深度卷积特征X进行训练得到滤波器后，得到滤波器的初始模板，将下一帧作为当前帧，返回步骤1，否则进入步骤5；

步骤5、获得当前帧的滤波器更新模板，其中，滤波器模板的更新公式为：

式中，

表示算法学习到的滤波器，算法第t帧学习到的滤波器定义为

Y为高斯标签矩阵，Y∈R^P×Q，高斯标签矩阵Y中元素大小服从以目标尺寸中心为峰值位置，标准差大小与目标尺寸成正比的二维高斯分布，

表示离散傅里叶变换；

表示

的第d个维度，

λ表示一个正则化参数，λ≥0；

表示更新后的第t帧追踪图片所对应的滤波器模板；η表示更新速率；

表示第t-1帧追踪图片所对应的滤波器模板；⊙表示哈达马积；

步骤6、将滤波器的初始模板和当前帧的深度卷积特征进行点乘得到相关滤波响应矩阵一，相关滤波响应矩阵一最大响应值为估计得到的追踪目标位置一；

将滤波器更新模板和当前帧的深度卷积特征进行点乘得到相关滤波响应矩阵二，相关滤波响应矩阵二最大响应值为估计得到的追踪目标位置二；

步骤7、对追踪目标位置一及追踪目标位置二加权融合得到最终目标位置，将下一帧作为当前帧，返回步骤1。

2.如权利要求1所述的一种视觉追踪优化方法，其特征在于，步骤2中的所述预处理包括以下步骤：

读入追踪图片的目标尺寸和目标位置坐标，圈定感兴趣区域。

3.如权利要求1所述的一种视觉追踪优化方法，其特征在于，步骤3中，提取深度卷积特征包括以下步骤：

首先将追踪图片输入到VGG-Net的数据输入层，经过卷积计算层，Relu激励层，池化层，全连接层，最终通过输出层输出所述深度卷积特征。

4.如权利要求1所述的一种视觉追踪优化方法，其特征在于，步骤6中，第k帧追踪图片的所述追踪目标位置一为(x₀,y₀)，则有：

式中，S⁰表示所述相关滤波响应矩阵一，x₀'表示相关响应矩阵一中的元素所在的行数，y₀'表示相关响应矩阵一中的元素所在的列数；

第k帧追踪图片的所述追踪目标位置二为(x₁,y₁)，则有：

式中，S¹表示所述相关滤波响应矩阵二，x₁'表示相关响应矩阵中二的元素所在的行数，y₁'表示相关响应矩阵二中的元素所在的列数；

步骤7中，第k帧追踪图片的最终目标位置为(x_k,y_k)，则有：

(x_k,y_k)＝l₀(x₀,y₀)+l₁(x₁,y₁)，式中，

γ⁰和γ¹分别表示S⁰和S¹的最大值。

5.如权利要求1所述的一种视觉追踪优化方法，其特征在于，步骤6中，计算得到所述相关滤波响应矩阵二后，计算相关滤波响应矩阵二的最大值，将第t帧追踪图片所对应的相关滤波响应矩阵二的最大值定义为γ^t，并定义第t帧追踪图片所对应的目标丢失因子m_t，则有：

式中，γ_t+i表示与第t帧追踪图片相邻的第t+i帧追踪图片对应的相关滤波响应矩阵二的最大值，k表示与第t帧追踪图片相邻的k帧追踪图片；

若目标丢失因子m_t，则停止滤波器模板的更新。

6.如权利要求5所述的一种视觉追踪优化方法，其特征在于，步骤6中，定义第t帧追踪图片所对应的更新系数为α_t，则有：

式中，ε是预先设定的阈值，则第t帧追踪图片之后所对应的滤波器更新模板更新策略为：

Images