CN112053386B - 基于深度卷积特征自适应集成的目标跟踪方法 - Google Patents

Abstract

本发明公开一种基于深度卷积特征自适应集成的目标跟踪方法，其步骤如下：提取深度卷积特征；计算核相关滤波器；使用集成矢量更新公式更新当前帧的集成矢量；利用自适应集成计算公式预测当前帧图像的目标位置；使用深度卷积特征更新公式，更新当前帧的深度卷积特征；将选完含有待跟踪目标视频图像序列迭代终止时当前帧的目标中心位置作为待跟踪目标的中心位置。本发明通过集成特征，克服了现有技术存在的跟踪器不能充分利用不同通道目标特征包含的信息，使得本发明在目标跟踪过程中更加准确地获取待跟踪目标位置，增强了目标跟踪的准确性和可靠性。

Description

基于深度卷积特征自适应集成的目标跟踪方法

技术领域

本发明属于图像处理技术领域，更进一步涉及计算机视觉图像处理技术领域中的一种基于深度卷积特征和自适应集成的目标跟踪方法。本发明采用一种基于深度卷积特征自适应集成相关滤波器的方法，实现视频监控、医疗保健、智能交通、机器人导航、人机交互、虚拟现实等领域的运动目标跟踪。

背景技术

目标跟踪的主要任务是估计视频中目标的轨迹，即从视频图像序列中检测出待跟踪的运动目标，进而在每一帧图像中确定出运动目标的位置。目标跟踪最流行的方法之一是检测跟踪，检测跟踪通常根据判别式学习模型，在线学习一个二进制分类器将目标和背景分离。这类方法的目标是设计一个鲁棒的分类器，动态捕捉目标和背景的差异性特征，适应跟踪过程中的视角、光照、姿态等变化。

西安电子科技大学在其拥有的专利技术“基于深度卷积特征分层响应融合的目标跟踪方法”(专利申请号201910341675.5，授权公告号CN 110084836 A)中公开了一种基于深度卷积特征分层响应融合的目标跟踪方法。该方法的步骤是，使用卷积神经网络提取多通道的目标特征，分别将不同通道的目标特征通过滤波器得到目标响应矩阵，使用所有通道响应矩阵两两点乘相加的方法融合响应矩阵，融合后响应矩阵最大元素的位置为目标中心位置，一定程度上缓解了当目标严重遮挡时跟踪失败的问题。但是，该方法仍然存在的不足在于，人为给定融合权重，导致相关滤波器不能充分利用不同通道目标特征包含的信息进行跟踪，从而当目标周围出现相似干扰物的时候很难做到稳定跟踪。

西安电子科技大学在其拥有的专利技术“基于深度特征自适应相关滤波的目标跟踪方法”(专利申请号201910473963.6，授权公告号CN 110223323 A)中公开一种基于深度特征自适应相关滤波的目标跟踪方法。该方法的步骤是，使用卷积神经网络提取目标区域不同通道的特征，分别在不同通道的目标特征上训练相关滤波器，将所有通道的跟踪器线性组合得到一个强跟踪器，得到效果更好的输出结果，防止目标丢失的发生。但是，该方法仍然存在的不足在于，跟踪器线性组合时的权重容易受到初始设置值的影响，同时该方法是根据上一帧的跟踪结果进行权重计算，未体现当前帧的目标特性，导致权重计算存在时间上的歧义，使构建的跟踪器在预测目标位置时产生一定的偏差。

发明内容

本发明的目的是针对上述现有技术的不足，提出一种基于深度卷积特征自适应集成的目标跟踪方法，用于解决当目标周围出现相似干扰物时跟踪器不能充分利用不同通道目标特征包含的信息导致跟踪不够稳定，而且得到的目标位置不够准确的问题。

实现本发明目的的思路是，利用卷积神经网络VGG-19，提取目标区域多通道的深度卷积特征，通过核相关滤波器和集成矢量计算公式得到核相关滤波器和集成矢量，使用集成矢量对深度卷积特征加权求和，得到一个集成特征，并计算核相关滤波器在该集成特征上产生的响应矩阵，最后，响应矩阵最大元素的位置为目标的中心位置。

为实现上述目的，本发明的具体步骤如下：

(1)提取深度卷积特征：

(1a)从含有待跟踪目标视频图像序列中选取一帧未选过的图像作为当前帧；

(1b)将当前帧中含有目标的区域内所有像素输入到卷积神经网络VGG-19中，将该网络的第10层、第28层、第37层输出的3个通道特征拼接为一个目标区域多通道的深度卷积特征；

(2)计算核相关滤波器：

(2a)计算当前帧当前迭代的核相关滤波器；

(2b)按照下式，计算当前帧当前迭代的集成矢量；

其中，d_j表示当前帧第j次迭代的集成矢量，

表示求平方根操作，p表示当前帧的深度卷积特征，*表示复共轭操作，⊙表示点乘操作，α_j表示当前帧第j次迭代的核相关滤波器，T表示转置操作，v表示含有目标区域的标签，λ表示正则系数；

(2c)计算当前帧当前迭代的最小二乘目标损失差值；

(2d)判断当前迭代的最小二乘目标损失差值是否满足终止条件，若是，则执行步骤(2e)，否则，将j+1作为当前帧当前迭代次数后执行步骤(2a)；

(2e)使用核相关滤波器更新公式更新当前帧的核相关滤波器；

(3)使用下述集成矢量更新公式，更新当前帧的集成矢量；

其中，d_t'表示当前帧更新后的集成矢量，ε表示取值0.01集成矢量学习率，k表示深度卷积特征点乘复共轭的深度卷积特征操作，α_t-1表示前一帧的核相关滤波器，α_t表示当前帧的核相关滤波器；

(4)利用自适应集成计算公式预测当前帧图像的目标位置：

(4a)使用自适应集成计算公式，分别计算当前帧以及前一帧的深度卷积特征加权集成后得到的目标集成特征；

(4b)使用响应矩阵计算公式，计算核相关滤波器在当前帧目标集成特征上产生的响应矩阵；

(4c)将响应矩阵中最大元素的位置作为当前帧待跟踪目标的中心位置；

(5)使用深度卷积特征更新公式更新当前帧的深度卷积特征；

(6)判断是否选完含有待跟踪目标视频图像序列中的所有帧图像，若是，则执行步骤(7)，否则，执行步骤(1)；

(7)将迭代终止时当前帧的目标中心位置作为待跟踪目标的中心位置。

本发明与现有的技术相比具有以下优点：

第一，由于本发明利用自适应集成计算公式，将目标特征的所有通道特征进行自适应集成得到集成特征，集成特征具有不同通道特征的互补特性，保留了不同通道特征的语义信息和细节信息，使得深度卷积特征对跟踪目标的表达更加充分，采用集成特征描述目标，克服了现有技术存在的跟踪器不能充分利用不同通道目标特征包含的信息，使得本发明在目标跟踪过程中更加准确地获取待跟踪目标位置。

第二，由于本发明利用集成矢量更新公式，在视频序列每一帧上更新集成矢量，使得集成矢量在线根据视频序列每一帧面临的，在线更新集成矢量，而不是直接使用第一帧的集成矢量，一定程度上避免了特征表达在时间上的歧义，使集成特征能够根据当前帧图像特性对目标特征集成，增强了目标跟踪的准确性和可靠性。

附图说明

图1为本发明的流程图；

图2为本发明的仿真图。

具体实施方式

下面结合附图对本发明实施例和效果做进一步的描述。

参照图1，对本发明实现步骤做进一步的描述。

步骤1，提取深度卷积特征。

从含有待跟踪目标视频图像序列中选取一帧未选过的图像作为当前帧。

将当前帧中含有目标的区域内所有像素输入到卷积神经网络VGG-19中，将该网络的第10层、第28层、第37层输出的3个通道特征拼接为一个目标区域多通道的深度卷积特征。

步骤2，计算核相关滤波器。

第1步，按照下式，计算当前帧当前迭代的核相关滤波器：

其中，α_j表示当前帧第j次迭代的核相关滤波器，d_j-1表示当前帧第j-1次迭代的集成矢量，T表示转置操作，p表示当前帧的深度卷积特征，*表示复共轭操作，⊙表示点乘操作，d₀表示当前帧第j＝1次迭代时的前一帧集成矢量，v表示含有目标区域的标签，λ表示正则系数。

第2步，按照下式，计算当前帧当前迭代的集成矢量：

其中，d_j表示当前帧第j次迭代的集成矢量，

表示求平方根操作。

第3步，按照下式，计算当前帧当前迭代的最小二乘目标损失差值：

L＝L'-L”＝||α'(d'^Tp^*⊙pd')-v||²-||α”(d”^Tp^*⊙pd”)-v||²

其中，L表示当前帧当前迭代的最小二乘目标损失差值，L'表示当前帧当前迭代的最小二乘目标损失值，L”表示当前帧前一次迭代的最小二乘目标损失值，|| ||²表示L2范数操作，α'表示当前帧当前迭代的核相关滤波器，d'表示当前帧当前迭代的集成矢量，α”表示当前帧前一次迭代的核相关滤波器，d”表示当前帧前一次迭代的集成矢量。

第4步，判断当前迭代的最小二乘目标损失差值是否满足终止条件，若是，则执行本步骤的第5步，否则，将j+1作为当前帧当前迭代次数后执行本步骤的第1步。

所述终止条件是指满足下述条件之一的情形：

条件1，当前迭代次数是否达到最大迭代次数100；

条件2，最小二乘目标损失差值是否小于取值0.005的阈值。

第5步，使用下述核相关滤波器更新公式更新当前帧的核相关滤波器：

其中，α_t表示当前帧的核相关滤波器，

表示取值0.01的核相关滤波器学习率，d_t-1表示前一帧的集成矢量，d_t表示当前帧的集成矢量。

步骤3，使用下述集成矢量更新公式，更新当前帧的集成矢量：

其中，d_t'表示当前帧更新后的集成矢量，ε表示取值0.01集成矢量学习率，k表示深度卷积特征点乘复共轭的深度卷积特征操作，α_t-1表示前一帧的核相关滤波器。

步骤4，利用自适应集成计算公式预测当前帧图像的目标位置。

使用下述自适应集成计算公式，分别计算当前帧以及前一帧的深度卷积特征加权集成后得到的目标集成特征：

其中，G表示当前帧或者前一帧的深度卷积特征加权集成后得到的目标集成特征，∑表示求和操作，n表示深度卷积特征的通道总数，d_i'表示前一帧集成矢量的第i'个系数，g_i表示深度卷积特征中的第i个通道的深度卷积特征，i与i'的取值对应相等。

使用下述响应矩阵计算公式，计算核相关滤波器在当前帧目标集成特征上产生的响应矩阵：

其中，R表示响应矩阵，

表示傅立叶逆变换操作，u表示前一帧的目标集成特征，z表示当前帧的目标集成特征，α表示前一帧的核相关滤波器，^表示傅立叶变换操作。

将响应矩阵中最大元素的位置作为当前帧待跟踪目标的中心位置。

步骤5，使用下述深度卷积特征更新公式，更新当前帧的深度卷积特征：

p_t＝η*p_t-1+(1-η)*p_t'

其中，p_t表示当前帧更新后的深度卷积特征，η表示取值0.01的深度卷积特征学习率，*表示乘法操作，p_t-1表示前一帧的深度卷积特征，p_t'表示当前帧更新前的深度卷积特征。

步骤6，判断是否选完含有待跟踪目标视频图像序列中的所有帧图像，若是，则执行步骤7，否则，执行步骤1。

步骤7，将迭代终止时当前帧的目标中心位置作为待跟踪目标的中心位置。

下面结合仿真实验对本发明的效果做进一步说明。

1.仿真实验条件：

本发明仿真实验的硬件测试平台是：处理器为CPU intel Core i5-6500，主频为3.2GHz，内存8GB；

本发明仿真实验的软件平台为：Windows 7旗舰版，64位操作系统，MATLABR2017b。

仿真实验所用数据来自Object tracking benchmark 2015数据库中的一段行人在街道上走动的视频图像序列，该视频图像序列共有199帧视频图像。

2.仿真内容仿真结果分析：

本发明仿真实验是从由199帧图像组成的视频序列中选取了第一帧和第32帧图像，将第一帧和第32帧图像合成一个小视频序列进行仿真实验。首先，将第一帧中行人所在的位置作为待跟踪目标的位置，利用本发明步骤2中计算得到的核相关滤波器，分别在未自适应集成的目标特征和自适应集成的目标特征上，自动跟踪第32帧中行人的位置，将两次结果进行对比。

下面结合图2的仿真图对本发明的效果做进一步的描述。

图2(a)为仿真实验所用数据中的199帧图像组成的视频序列中选取的第一帧图像，图2(b)为仅使用本发明步骤2中计算得到的核相关滤波器在未自适应集成的目标特征上，自动跟踪第32帧图像中跟踪目标位置的结果图，图2(c)为利用本发明仿真实验的结果图。

图2(a)中白色的矩形框表示的是第一帧图像中待跟踪目标的位置。图2(b)中的白色矩形框表示使用步骤2中计算得到的核相关滤波器和未自适应集成的目标特征，对第32帧中行人位置的跟踪结果图。图2(c)中的白色矩形框表示使用本发明步骤2中计算得到的核相关滤波器和本发明步骤4中自适应集成得到的集成特征，对第32帧中行人位置的跟踪结果图。

由图2(b)可以看出，使用未自适应集成的目标特征和核相关滤波器对第32帧的图像进行跟踪的结果，该行人的头部已经不在白色矩形框内，目标周围的相似干扰物严重影响了核相关滤波器的判断能力，跟踪器将相似干扰物误认为待跟踪目标，而把真实目标的一部分误判为背景。由此可见，使用未自适应集成的目标特征得到的跟踪结果严重偏离真实目标。

由图2(c)可以看出，使用集成特征和核相关滤波器对第32帧的图像进行跟踪的结果，该行人的头部包含在白色矩形框内，核相关滤波器能自动调整对目标特征细节信息的关注，更好的区分目标和相似干扰物。由此可见，使用集成特征得到的跟踪结果比较准确。

以上仿真实验表明：引入目标的集成特征，能够让核相关滤波器更好的利用不同通道的目标特征包含的信息进行跟踪，使预测的位置更加准确，增强了目标跟踪的准确性和可靠性。

Claims (5)

1.一种基于深度卷积特征自适应集成的目标跟踪方法，其特征在于，利用集成矢量对目标区域多通道的深度卷积特征进行自适应集成，对集成矢量在线更新，使特征表达符合当前帧的目标特性，该方法具体步骤包括如下：

(1)提取深度卷积特征：

(1a)从含有待跟踪目标视频图像序列中选取一帧未选过的图像作为当前帧；

(1b)将当前帧中含有目标的区域内所有像素输入到卷积神经网络VGG-19中，将该网络的第10层、第28层、第37层输出的3个通道特征拼接为一个目标区域多通道的深度卷积特征；

(2)计算核相关滤波器：

(2a)按照下式，计算当前帧当前迭代的核相关滤波器：

其中，d_j-1表示当前帧第j-1次迭代的集成矢量，d₀表示当前帧第j＝1次迭代时的前一帧集成矢量；

(2b)按照下式，计算当前帧当前迭代的集成矢量；

其中，d_j表示当前帧第j次迭代的集成矢量，

表示求平方根操作，p表示当前帧的深度卷积特征，*表示复共轭操作，⊙表示点乘操作，α_j表示当前帧第j次迭代的核相关滤波器，T表示转置操作，v表示含有目标区域的标签，λ表示正则系数；

(2c)按照下式，计算当前帧当前迭代的最小二乘目标损失差值：

L＝L'-L”＝α'(d'^Tp^*⊙pd')-v²-α”(d”^Tp^*⊙pd”)-v²

其中，L表示当前帧当前迭代的最小二乘目标损失差值，L'表示当前帧当前迭代的最小二乘目标损失值，L”表示当前帧前一次迭代的最小二乘目标损失值，²表示L2范数操作，α'表示当前帧当前迭代的核相关滤波器，d'表示当前帧当前迭代的集成矢量，α”表示当前帧前一次迭代的核相关滤波器，d”表示当前帧前一次迭代的集成矢量；

(2d)判断当前迭代的最小二乘目标损失差值是否满足终止条件，若是，则执行步骤(2e)，否则，将j+1作为当前帧当前迭代次数后执行步骤(2a)；

(2e)使用下述核相关滤波器更新公式，更新当前帧的核相关滤波器：

其中，

表示取值0.01的核相关滤波器学习率，d_t-1表示前一帧的集成矢量，d_t表示当前帧的集成矢量；

(3)使用下述集成矢量更新公式，更新当前帧的集成矢量；

其中，d_t'表示当前帧更新后的集成矢量，ε表示取值0.01集成矢量学习率，k表示深度卷积特征点乘复共轭的深度卷积特征操作，α_t-1表示前一帧的核相关滤波器，α_t表示当前帧的核相关滤波器；

(4)利用自适应集成计算公式预测当前帧图像的目标位置：

(4a)使用自适应集成计算公式，分别计算当前帧以及前一帧的深度卷积特征加权集成后得到的目标集成特征；

(4b)使用响应矩阵计算公式，计算核相关滤波器在当前帧目标集成特征上产生的响应矩阵；

(4c)将响应矩阵中最大元素的位置作为当前帧待跟踪目标的中心位置；

(5)使用深度卷积特征更新公式更新当前帧的深度卷积特征；

(6)判断是否选完含有待跟踪目标视频图像序列中的所有帧图像，若是，则执行步骤(7)，否则，执行步骤(1)；

(7)将迭代终止时当前帧的目标中心位置作为待跟踪目标的中心位置。

2.根据权利要求1所述的基于深度卷积特征自适应集成的目标跟踪方法，其特征在于，步骤(2d)中所述终止条件是指满足下述条件之一的情形：

条件1，当前迭代次数是否达到最大迭代次数100；

条件2，最小二乘目标损失差值是否小于取值0.005的阈值。

3.根据权利要求1所述的基于深度卷积特征自适应集成的目标跟踪方法，其特征在于，步骤(4a)中所述的自适应集成计算公式如下：

其中，G表示当前帧或者前一帧的深度卷积特征加权集成后得到的目标集成特征，∑表示求和操作，n表示深度卷积特征的通道总数，d_i'表示前一帧集成矢量的第i'个系数，g_i表示深度卷积特征中的第i个通道的深度卷积特征，i与i'的取值对应相等。

4.根据权利要求1所述的基于深度卷积特征自适应集成的目标跟踪方法，其特征在于，步骤(4b)中所述的响应矩阵计算公式如下：

其中，R表示响应矩阵，

表示傅立叶逆变换操作，u表示前一帧的目标集成特征，z表示当前帧的目标集成特征，α表示前一帧的核相关滤波器，表示傅立叶变换操作。

5.根据权利要求1所述的基于深度卷积特征自适应集成的目标跟踪方法，其特征在于，步骤(5)中所述的深度卷积特征更新公式如下：

p_t＝η*p_t-1+(1-η)*p_t'

其中，p_t表示当前帧更新后的深度卷积特征，η表示取值0.01的深度卷积特征学习率，*表示乘法操作，p_t-1表示前一帧的深度卷积特征，p_t'表示当前帧更新前的深度卷积特征。

Images