CN109858454B - 一种基于双模型自适应核相关滤波追踪方法 - Google Patents

Abstract

本发明提供一种基于双模型自适应核相关滤波追踪方法，包括：初始化预估计目标的位置，计算高斯标签，建立主特征模型和辅助特征模型；提取HOG特征作为主特征模型的特征，提取深度卷积特征作为辅助特征模型的特征，设置初始化参数；利用主特征模型计算预估计目标的响应层，将所述响应层经过牛顿迭代法得到预估计目标的最优位置和最优尺度；若最优尺度对应的响应层的最大置信响应值max大于经验阈值u，则确定预估计目标位置，更新主特征模型；若max小于等于经验阈值u，则停止对主特征模型更新，扩大搜索区域，提取目标预选区域的CNN特征，并且用PCA技术对深度CNN特征降维，使用降维的CNN特征，预估新的目标位置，并更新辅助特征模型；直到视频序列结束。

Description

一种基于双模型自适应核相关滤波追踪方法

技术领域

本发明涉及计算视觉技术领域，具体而言，尤其涉及一种基于双模型自适应核相关滤波追踪方法。

背景技术

目标跟踪是计算机视觉领域的基本组成，在许多实际应用中充当很重要的角色，例如智能交通，智能监控等。目标跟踪就是在几乎没有任何先验知识的情况下进行跟踪，初始状态下，在视频图像序列第一帧给定目标尺寸与目标位置，在后续图像序列中预测给定目标的运行轨迹与目标尺寸。跟踪算法分为生成式跟踪算法和判别式跟踪算法。生成式跟踪算法就是通过一定的统计手段(稀疏表达、CN、颜色直方图等)，提取当前帧目标外观模型的有效信息，在下一帧的目标候选区域中寻找出与目标相关性最高的区域。判别式跟踪算法简单点说就是将目标信息与背景信息划分为两个显著的类，进而训练一个可以区分背景和目标的分类器。生成式跟踪算法只是通过提取目标外观模型的有效信息，而忽略了背景信息，判别式跟踪算法充分利用目标信息与背景信息的差异性，因此判别方法比生成方法更加鲁棒。

目标跟踪问题之所以复杂，就是在跟踪过程中可能发生快速移动，背景复杂，运动模糊，形变，光照改变，平面内外旋转，低分辨率，遮挡，超出视角，尺度变化等干扰因素下造成目标外观模型较大的改变，所以目标跟踪在目前仍然是极具挑战的问题。

发明内容

根据上述提出判别式跟踪算法的技术问题，而提供一种基于双模型自适应核相关滤波追踪方法。本发明主要利用双模型自适应机制，区别现在的流行单模型追踪算法，双模型包括主特征模型与辅助特征模型，二者协同作用，主特征采用的浅层纹理信息特征(HOG)，辅助特征模型采用携带高级语义信息的深层卷积特征，两个模型相互促进，提高算法的精度与使用效率。从而起到既保证了目标跟踪算法的高准确性又要保证了算法的实时性。

本发明采用的技术手段如下：

一种基于双模型自适应核相关滤波追踪方法，包括以下步骤：

步骤S1：初始化预估计目标的位置，计算高斯标签，建立主特征模型和辅助特征模型；

步骤S2：在初始化帧，提取预估计目标的HOG特征作为主特征模型的特征，提取预估计目标的深度卷积特征作为辅助特征模型的特征，设置主特征模型初始化参数，设置辅助特征模型的初始化参数；

步骤S3：利用所述主特征模型计算预估计目标的响应层，将所述响应层经过牛顿迭代法得到预估计目标的最优位置和最优尺度；其中，所述最优尺度对应的响应层的最大置信响应值为max；所述最优尺度即为预估计目标的预估尺度；

步骤S4：若所述最大置信响应值max大于经验阈值u，则可以确定预估计目标位置，更新所述主特征模型；若所述最大置信响应值max小于等于经验阈值u，则停止对主特征模型更新，扩大搜索区域，提取目标预选区域的CNN特征，并且用PCA技术对深度CNN特征降维，使用降维的CNN特征，预估新的目标位置，并更新辅助特征模型；

步骤S5：重复上述步骤S3、步骤S4，直到视频序列结束。

进一步地，所述步骤S1中计算高斯标签的过程是使用高斯分布的软标签，负样本通过目标位置的循环位移获得，根据生成的循环样本距离正样本位置远近，生成高斯分布的标签，即高斯分布的峰值位置对应着原始目标块。

进一步地，所述步骤S2中主特征模型初始化参数包括第一核函数、第一学习速率、第一正则化系数、尺度因子以及原始核带宽；所述辅助特征模型初始化参数包括第二核函数、第二学习速率以及第二正则化系数。

进一步地，所述步骤S3具体包括：

步骤S31：所述主特征模型对预估计目标进行裁剪后，将裁剪后的预估计目标送入滤波器中，采用5个不同尺度的模板对预估计目标送进行缩放处理，通过主特征滤波器计算5个不同尺度的置信响应，比较5个不同尺度下预估计目标的响应值，将响应值最大的模板对应的尺度作为所述预估计目标的预估尺度；

步骤S32：通过牛顿迭代法对步骤S31中主特征模型得出的5个不同尺度的置信响应，行50次迭代，求解响应值最优解，确定预估计目标位置。

进一步地，所述主特征模型通过求解脊回归的高维空间系数来求解最大置信响应值max，第一滤波器的核空间采用高斯核函数训练基于HOG主特征模型；所述辅助特征模型通过求解线性空间的系数来求解最大置信响应值，第二滤波器的核空间采用线性核函数训练基于CNN辅助特征模型。

进一步地，所述步骤S4中更新辅助特征模型的具体过程如下：

步骤S41：将预估计目标的深度卷积特征的原始图像尺寸M×N，特征通道数512维，转换成尺寸为S×512单通道图像，且S＝M×N；其中S表示转换成的单通道图像的宽度，M，N分别表示原始图像的的宽度和高度；再对高维原始特征降维进行特征归一化处理，量化后的特征z分布在[-1,1]区间；

步骤S42：计算特征z的协方差矩阵C，利用奇异值分解的算法计算C矩阵的特征值和特征向量矩阵U,特征向量矩阵U的尺寸为512*512，选取特征向量矩阵U的前k列生成一个新的矩阵U_k，U_k表示降维矩阵，U_k的尺寸为512*k；

步骤S43：重构特征数据：X＝z*U_k，其中x表示最终的降维特征，z表示经过转换和归一化的原始特征，U_k表示降维矩阵；将X转成尺寸为M×N，通道数为40的降维特征，采用所述降维特征训练辅助特征模型的相关滤波器，更新辅助特征模型。

较现有技术相比，本发明具有以下优点：

1、本发明采用自适应双特征模型机制，添加了辅助特征模型及时纠正主特征模型的漂移，实现了追踪算法的高准确性，又保证了算法的实时性。

2、本发明采用主成分分析技术对高维度的辅助特征进行特征降维，既保留了深度卷积神经网络特征高级语义信息的有效性，又保证了算法的速度。

3、本发明在基于KCF算法的基础上增加了尺度优化，并通过牛顿迭代的方法求解最优响应位置。

综上，应用本发明的技术方案，克服了现有追踪算法的只采用单模型的导致模型漂移的问题，同时解决了由于引入卷积神经网络深层语义特征的导致的计算速率降低的问题，并且本发明还引入了尺度优化与最优解求解的技巧。因此，本发明的技术方案解决了现有技术中不能同时兼顾追踪算法准确性与实时性的问题。

基于上述理由本发明可在计算机视觉目标追踪技术等领域广泛推广。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明方法流程图。

图2为本发明CNN特征主成分分布。

图3为本发明Freeman4、Shaking数据集中心位置误差。

图4为本发明Freeman4数据集跟踪实况。

图5为本发明Shaking数据集跟踪实况。

图6为本发明不同卷积层特征准确率、成功率。

图7为本发明总体准确率、成功率。

图8为本发明方法针对快速移动属性的定量分析。

图9为本发明方法针对背景复杂属性的定量分析。

图10为本发明方法针对运动模糊属性的定量分析。

图11为本发明方法针对形变属性的定量分析。

图12为本发明方法针对光照改变属性的定量分析。

图13为本发明方法针对平面内旋转属性的定量分析。

图14为本发明方法针对平面外旋转属性的定量分析。

图15为本发明方法针对低分辨值属性的定量分析。

图16为本发明方法针对遮挡属性的定量分析。

图17为本发明方法针对超出视角属性的定量分析。

图18为本发明方法针对尺度变化属性的定量分析。

图19为本发明方法的定性分析。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

实施例

如图1所示，本发明提供了一种基于双模型自适应核相关滤波追踪方法，本发明方法主线采用包含浅层纹理信息的HOG特征，核相关滤波器的核函数采用高斯核函数，尽可能保证主线算法的准确性。如果主线算法的置信响应的值过低，扩大搜索区域，辅助线采用包含高级语义信息深层卷积特征(VGG-19的conv5_4)，核相关滤波器的核函数采用线性核函数，尽可能保证辅助线算法的快速性；本发明方法具体包括以下步骤：

步骤S1：初始化预估计目标的位置，计算高斯标签，建立主特征模型和辅助特征模型；计算高斯标签的过程是使用高斯分布的软标签，负样本通过目标位置的循环位移获得，根据生成的循环样本距离正样本位置远近，生成高斯分布的标签，即高斯分布的峰值位置对应着原始目标块。

步骤S2：在初始化帧，提取预估计目标的HOG特征作为主特征模型的特征，进一步增加搜索区域，提取预估计目标的深度卷积特征作为辅助特征模型的特征，辅助特征模型采用VGG-19网络的conv5-4深层卷积特征，利用汉宁窗口去除样本的边界干扰，设置主特征模型初始化参数，主特征模型初始化参数包括第一核函数、第一学习速率、第一正则化系数、尺度因子以及原始核带宽；第一核函数采用高斯核函数、第一学习速率为0.02、第一正则化系数为0.0001、尺度因子采用1.015、原始核带宽为0.5；设置辅助特征模型的初始化参数；所述辅助特征模型初始化参数包括第二核函数、第二学习速率以及第二正则化系数，第二核函数采用线性核函数、第二学习速率为0.005、第二正则化系数为0.0001。

步骤S3：利用所述主特征模型计算预估计目标的响应层，将所述响应层经过牛顿迭代法得到预估计目标的最优位置和最优尺度；其中，所述最优尺度对应的响应层的最大置信响应值为max；所述最优尺度即为预估计目标的预估尺度；

步骤S31：所述主特征模型对预估计目标进行裁剪后，将裁剪后的预估计目标送入第一滤波器中，采用5个不同尺度的模板对预估计目标送进行缩放处理，五张不同尺度的目标缩放比例分别是1.015^{{-2,-1,0,1,2}}，通过第一滤波器比较不同尺度下目标的响应值，将响应值最大的模板对应的尺度作为所述预估计目标的预估尺度；

步骤S32：通过牛顿迭代法对步骤S31中主特征模型得出的5个不同尺度的置信响应，行50次迭代，求解响应值最优解，确定预估计目标位置。

步骤S4：主特征模型通过求解脊回归的高维空间系数来求解最大置信响应值max，第一滤波器的核空间采用高斯核函数训练基于HOG主特征模型；所述辅助特征模型通过求解线性空间的系数来求解最大置信响应值max，第二滤波器的核空间采用线性核函数训练基于CNN辅助特征模型。若所述最大置信响应值max大于经验阈值u，则可以确定预估计目标位置，更新所述主特征模型；若所述最大置信响应值max小于等于经验阈值u，为了防止主特征模型发生漂移，则停止对主特征模型更新，并调用辅助特征模型纠正错误定位，扩大搜索区域，提取目标预选区域的CNN特征，并且用PCA技术对深度CNN特征降维，使用降维的CNN特征，如图2所示，CNN特征主成分分布，前40个主成分贡献率累计和达到96％，即前40个主成分包含原始特征96％的有效信息。通过特征值分析，可以确定出需要保留的40个主成分，将原始特征由512维度降低到40维，保证了PCA降维的合理性；预估新的目标位置，并更新辅助特征模型；

更新辅助特征模型的具体过程如下：

步骤S41：将预估计目标的深度卷积特征的原始图像尺寸M×N，特征通道数512维，转换成尺寸为S×512的单通道图像，且S＝M×N；其中S表示转换成的单通道图像的宽度，M，N分别表示原始图像的的宽度和高度；再对高维原始特征降维进行特征归一化处理，量化后的特征z分布在[-1,1]区间；

步骤S42：计算特征z的协方差矩阵C，利用奇异值分解的算法计算协方差矩阵C的特征值和特征向量矩阵U,特征向量矩阵U的尺寸为512*512，选取特征向量矩阵U的前k列生成一个新的矩阵U_k，U_k表示降维矩阵，U_k的尺寸为512*k；

步骤S43：重构特征数据：X＝z*U_k，其中x表示最终的降维特征，z表示经过转换和归一化的原始特征，U_k表示降维矩阵；将X转成尺寸为M×N，通道数为40的降维特征，采用所述降维特征训练辅助特征模型的相关滤波器，更新辅助特征模型。

步骤S5：重复上述步骤S3、步骤S4，直到视频序列结束。

作为本发明优选的实施方式，如图3所示，本发明的Freeman4、Shaking数据集中心位置误差，在数据集Freeman4的第51帧目标发生严重遮挡，本发明采用双模型跟踪算法的中心位置误差仍然很小且很稳定，在数据集Shaking的第23帧目标发生严重的光照改变，本发明采用双模型跟踪算法的中心位置误差仍然很小且很稳定；如图4所示，本发明的Freeman4数据集跟踪实况，目标发生严重的遮挡，本发明仍然能保持很好的追踪效果；如图5所示，本发明的Shaking数据集跟踪实况，目标环境发生了严重的光照改变，本发明仍然能保持很好的追踪效果；

作为本发明优选的实施方式，如图6所示，本发明方法分别采用VGG-19网络conv5-4，conv4-4，conv3-4，conv2-4，conv1-2特征层，作为辅助特征进行了效果对比，采用OTB-2013的OPE验证结果，实验结果显示，conv5_4在距离精准度与重叠成功率两方面获得更优的性能指标，因此最终采用VGG-19网络的conv5-4特征层作为辅助特征更优，获得更高的准确率与成功率；如图7所示，当阈值为20，像素的距离精度为82.3％，重叠率为50％时的成功率为68.2％；

作为本发明优选的实施方式，如图8-18所示，本发明针对不同视频属性的定量分析，利用OPE的十个主要视频属性快速移动、背景复杂、运动模糊、形变、光照改变、平面内外旋转、低分辨率、遮挡、超出视角、尺度变化，对本发明进行定量分析，结果显示本发明获得很好的效果；如图19所示，通过10个具有挑战性的视频序列(数据集从上到下依次是Basketball、Football、Freeman4、Jumping、MountainBike、Shaking、Skiing、Soccer、Bolt、CarScale)进行对比，对本发明实施方式进行定性分析，结果显示本发明在快速移动，背景复杂，运动模糊，形变，光照改变，平面内外旋转，遮挡表现良好。

以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (5)

1.一种基于双模型自适应核相关滤波追踪方法，包括以下步骤：

步骤S1：初始化预估计目标的位置，计算高斯标签，建立主特征模型和辅助特征模型；

步骤S2：在初始化帧，提取预估计目标的HOG特征作为主特征模型的特征，提取预估计目标的深度卷积特征作为辅助特征模型的特征，设置主特征模型初始化参数，设置辅助特征模型的初始化参数；

步骤S3：利用所述主特征模型计算预估计目标的响应层，将所述响应层经过牛顿迭代法得到预估计目标的最优位置和最优尺度；其中，所述最优尺度对应的响应层的最大置信响应值为max；所述最优尺度即为预估计目标的预估尺度；所述步骤S3具体包括：

步骤S31：所述主特征模型对预估计目标进行裁剪后，将裁剪后的预估计目标送入第一滤波器中，采用5个不同尺度的模板对预估计目标进行缩放处理，通过第一滤波器计算5个不同尺度的置信响应，比较5个不同尺度下预估计目标的响应值，将响应值最大的模板对应的尺度作为所述预估计目标的预估尺度；

步骤S32：通过牛顿迭代法对步骤S31中主特征模型得出的5个不同尺度的置信响应，行50次迭代，求解响应值最优解，确定预估计目标位置；

步骤S4：若所述最大置信响应值max大于经验阈值u，则可以确定预估计目标位置，更新所述主特征模型；若所述最大置信响应值max小于等于经验阈值u，则停止对主特征模型更新，扩大搜索区域，提取目标预选区域的CNN特征，并且用PCA技术对深度CNN特征降维，使用降维的CNN特征，预估新的目标位置，并更新辅助特征模型；

步骤S5：重复上述步骤S3、步骤S4，直到视频序列结束。

2.根据权利要求1所述的基于双模型自适应核相关滤波追踪方法，所述步骤S1中计算高斯标签的过程是使用高斯分布的软标签，负样本通过目标位置的循环位移获得，根据生成的循环样本距离正样本位置远近，生成高斯分布的标签，即高斯分布的峰值位置对应着原始目标块。

3.根据权利要求1所述的基于双模型自适应核相关滤波追踪方法，其特征在于，所述步骤S2中主特征模型初始化参数包括第一核函数、第一学习速率、第一正则化系数、尺度因子以及原始核带宽；所述辅助特征模型初始化参数包括第二核函数、第二学习速率以及第二正则化系数。

4.根据权利要求1所述的基于双模型自适应核相关滤波追踪方法，其特征在于，所述主特征模型通过求解脊回归的高维空间系数来求解最大置信响应值max，第一滤波器的核空间采用高斯核函数训练基于HOG主特征模型；所述辅助特征模型通过求解线性空间的系数来求解最大置信响应值，第二滤波器的核空间采用线性核函数训练基于CNN辅助特征模型。

5.根据权利要求1所述的基于双模型自适应核相关滤波追踪方法，其特征在于，所述步骤S4中更新辅助特征模型的具体过程如下：

步骤S41：将预估计目标的深度卷积特征的原始图像尺寸M×N，特征通道数512维，转换成尺寸为S×512单通道图像，且S＝M×N；其中S表示转换成的单通道图像的宽度，M，N分别表示原始图像的宽度和高度；再对高维原始特征降维进行特征归一化处理，量化后的特征z分布在[-1,1]区间；

步骤S42：计算特征z的协方差矩阵C，利用奇异值分解的算法计算C矩阵的特征值和特征向量矩阵U,特征向量矩阵U的尺寸为512*512，选取特征向量矩阵U的前k列生成一个新的矩阵U_k，U_k表示降维矩阵，U_k的尺寸为512*k；

步骤S43：重构特征数据：X＝z*U_k，其中X表示最终的降维特征，z表示经过转换和归一化的原始特征，U_k表示降维矩阵；将X转成尺寸为M×N，通道数为40的降维特征，采用所述降维特征训练辅助特征模型的相关滤波器，更新辅助特征模型。

Images