CN109711431A - 一处局部分块卷积的目标跟踪方法、系统及存储介质 - Google Patents

一处局部分块卷积的目标跟踪方法、系统及存储介质 Download PDF

Info

Publication number
CN109711431A
CN109711431A CN201811425819.7A CN201811425819A CN109711431A CN 109711431 A CN109711431 A CN 109711431A CN 201811425819 A CN201811425819 A CN 201811425819A CN 109711431 A CN109711431 A CN 109711431A
Authority
CN
China
Prior art keywords
target
convolutional layer
response
weight
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811425819.7A
Other languages
English (en)
Inventor
何震宇
路书伟
张晓峰
邵卢娇
万周诚
柯瀚林
祝清麟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Graduate School Harbin Institute of Technology
Original Assignee
Shenzhen Graduate School Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Graduate School Harbin Institute of Technology filed Critical Shenzhen Graduate School Harbin Institute of Technology
Priority to CN201811425819.7A priority Critical patent/CN109711431A/zh
Publication of CN109711431A publication Critical patent/CN109711431A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明提供了一种局部分块卷积的跟踪方法、系统及存储介质，该跟踪方法包括步骤S1：给定一个带有目标的初始帧，提取候选样本；步骤S2：将候选样本送入网络进行特征提取；步骤S3：将特征图分别送入基层卷积层和M个并行的分块卷积层，对于每一个局部分块目标使用一层卷积层来计算响应输出；步骤S4：融合各个分块响应输出后与基层卷积层的响应输出叠加作为最终的响应输出；步骤S5：通过在线检测得到当前帧目标中心位置后，根据当前中心点在当前帧提取不同尺度大小的搜索块；步骤S6：对不同尺度大小的候选对象进行尺度归一化。本发明的有益效果是：本发明能更好的适应目标在运动过程中的发生的变化，具有更强的鲁棒性。

Description

一处局部分块卷积的目标跟踪方法、系统及存储介质
技术领域
本发明涉及实时的目标跟踪技术领域，尤其涉及一种局部分块卷积的跟踪方法、系统及存储介质。
背景技术
在计算机视觉领域中，目标跟踪(Object Tracking)一般是指对单目标进行跟踪：在第一帧图像给定目标的状态，一般是目标的bounding box信息，然后预测之后每帧图像中目标的状态，对应的也是目标bounding box 信息。机器学习类方法出现广泛应用以前，目标跟踪领域大部分采用一些经典的跟踪方法，比如均值漂移算法、粒子滤波和卡尔曼滤波，以及基于特征点的光流算法等。均值漂流算法是一种利用直方图定义物体外观的有效跟踪方法。采用目标的颜色直方图作为搜索特征，通过不断迭代均值漂流向量使得算法能够收敛于目标的真实位置，从而实现目标跟踪。
目标跟踪算法在2010年以前的算法大多数是基于生成式模型的方法，在2010年左右，目标跟踪算法的研究热点转换到基于判别式模型的方法上。判别式模型主要是基于机器学习算法利用分类器来做实现跟踪的目的。即在把跟踪的目标作为前景，在目标周围采样生成正负样本，利用在线学习的方式或者离线训练出检测器来对正负样本分类，从而能在下一帧中对目标分类，得到目标的位置。基于判别式模型的方法主要是基于手动设计的特征，但是通过更新分类器模型和各种表现良好的特征的提出，判别类方法适应目标跟踪状况变化的能力更强。
最早将相关滤波器运用在目标跟踪任务上的是MOOSE，这个方法是从信号处理的角度来进行推导的，该方法最大的优势是可以采用快速傅里叶变换进行计算，在目前主流的CPU上运行速度可以超过1000帧每秒。之后ECCV2012的论文KCF从机器学习的角度，利用循环矩阵进行分析推导，利用快速傅里叶变换进行快速求解分类。
目前基于深度学习的目标跟踪算法采用了几种思路来解决这个问题。
一类是利用卷积神经网络来提取特征，和相关滤波类方法结合。一类用辅助图片数据预训练深度模型，在线跟踪时微调。一类是通过离线训练模型，采取不更新模型的策略来解决模型更新带来的时间开销过大的问题。还一类是结合相关滤波进行在线更新。一个预训练的深层卷积神经网络通常能比传统特征得到更好的特征表达。但是极其有限的训练样本和大量的参数更新为深度卷积网络使用目标在视频序列中变化带来了困难。一个可选的策略是使用相关滤波操作作为在线学习算法，相关滤波操作通过高效的解决岭回归问题，可以将目标从背景中区分出来。并且由于相关率波操作使用了傅里叶变化和点乘操作，比随机梯度下降速度更快。
发明内容
本发明提供了一种局部分块卷积的跟踪方法，包括依次执行如下步骤：
步骤S1：给定一个带有目标的初始帧，提取候选样本；
步骤S2：将候选样本送入网络进行特征提取；
步骤S3：将特征图分别送入基层卷积层和M个并行的分块卷积层，对于每一个局部分块目标使用一层卷积层来计算响应输出；
步骤S4：融合各个分块响应输出后与基层卷积层的响应输出叠加作为最终的响应输出；
步骤S5：通过在线检测得到当前帧目标中心位置后，根据当前中心点在当前帧提取不同尺度大小的搜索块；
步骤S6：对不同尺度大小的候选对象进行尺度归一化。
作为本发明的进一步改进，在所述步骤S2中，特征提取使用的是 VGG16网络的特征提取层，特征提取层的参数使用VGG16在ImageNet 分类网上的预训练模型初始化，固定网络参数。
作为本发明的进一步改进，在所述步骤S4中，卷积层的权重为：
Wt＝ht+vt
其中ht表示当前帧基层卷积层的权值，vt对应于将目标分解后各个局部目标的权值融合后的权值。
作为本发明的进一步改进，在所述步骤S4中，目标在基层卷积层和M个局部目标卷积层加权叠加后的权值为：
其中ht表示当前帧基层卷积层的权值，其中表示在第t帧每一个局部响应图的峰值-旁瓣比，表示对分块卷积层的抑制值，表示在当前帧第m个局部分块的权重。
作为本发明的进一步改进，在所述步骤S6中，将搜索块固定成与训练块大小相同的宽高，从而完成候选对象尺度归一化。
作为本发明的进一步改进，当新的一帧到来时，根据上一帧预测的目标中心位置来提取搜索块，搜索块的大小与训练快的大小相同，将搜索块输入到网络中生成响应映射，获得响应图。
作为本发明的进一步改进，响应图中拥有最大响应值的位置即为目标新的中心位置。
本发明还提供了一种局部分块卷积的跟踪系统，包括：存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序配置为由所述处理器调用时实现本发明所述的方法的步骤。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现本发明所述的方法的步骤。
本发明的有益效果是：本发明分析了目标跟踪算法CREST将特征提取、响应图生成、尺度变化以及模型更新统一到深度学习框架上来所具有的优势的基础上，指出在解决目标发生局部遮挡时该算法性能的不足。在此基础上，提出将目标分块进行卷积输出M个响应输出，对M个响应输出自适应的加权融合。自适应的权值系数由两部分组成：峰值-旁瓣比的锐利程度可以很大程度上确定响应输出的峰值点包含目标中心点可能性；目标在两帧之间的运动符合某种分布，结合GOTURN在扩增样本时提出的拉普拉斯分布，我们可以通过响应图峰值点距离上一帧峰值点的距离来抑制局部遮挡带来的多峰现象。通过权值自适应策略达到根据当前帧目标的位置增强目标区域响应输出，抑制非目标区域的响应。能更好的适应目标在运动过程中的发生的变化，具有更强的鲁棒性。
附图说明
图1是本发明的方法流程图。
图2是本发明的原理框图。
具体实施方式
如图1所示，本发明公开了一种局部分块卷积的跟踪方法，包括依次执行如下步骤：
步骤S1：给定一个带有目标的初始帧，提取候选样本；
步骤S2：将候选样本送入网络进行特征提取；
步骤S3：将特征图分别送入基层卷积层和M个并行的分块卷积层，对于每一个局部分块目标使用一层卷积层来计算响应输出；
步骤S4：融合各个分块响应输出后与基层卷积层的响应输出叠加作为最终的响应输出；
步骤S5：通过在线检测得到当前帧目标中心位置后，根据当前中心点在当前帧提取不同尺度大小的搜索块；
步骤S6：对不同尺度大小的候选对象进行尺度归一化。
在所述步骤S2中，特征提取使用的是VGG16网络的特征提取层，特征提取层的参数使用VGG16在ImageNet分类网上的预训练模型初始化，固定网络参数。
在所述步骤S4中，卷积层的权重为：
Wt＝ht+vt
其中ht表示当前帧基层卷积层的权值，vt对应于将目标分解后各个局部目标的权值融合后的权值。
在所述步骤S4中，目标在基层卷积层和M个局部目标卷积层加权叠加后的权值为：
其中ht表示当前帧基层卷积层的权值，其中表示在第t帧每一个局部响应图的峰值-旁瓣比，表示对分块卷积层的抑制值，表示在当前帧第m个局部分块的权重。
在所述步骤S6中，将搜索块固定成与训练块大小相同的宽高，从而完成候选对象尺度归一化。
当新的一帧到来时，根据上一帧预测的目标中心位置来提取搜索块，搜索块的大小与训练快的大小相同，将搜索块输入到网络中生成响应映射，获得响应图，响应图中拥有最大响应值的位置即为目标新的中心位置。
由于卷积神经网络对特征的强大的表达能力，卷积神经网络在目标跟踪领域得到了较为广泛的应用，但是基于卷积神经网络的目标跟踪算法还不能很好的解决局部遮挡问题，因此本发明在CREST(基于卷积残差学习的目标跟踪算法)提出的将DCF(判别式相关滤波跟踪算法)作为CNN (卷积神经网络)中的一个卷积层，将特征提取，响应图产生以及模型更新整合到CNN中进行端对端训练的基础上提出了通过将目标分块进行卷积，叠加到卷积层的响应输出来增强特征表达，解决目标局部遮挡问题。
在CREST中重新讨论了基于DCF的目标追踪框架，并对其进行了阐述作为一层卷积层。DCF类相关滤波方法学习一个判别分类器，通过搜索最大响应值来预测目标中心点。因此，CREST将DCF重定义为带有L2 损失的卷积层，作为目标函数。并将其作为网络中的基层。该卷积层卷积核大小等同于目标的大小，卷积层的权重可以通过使用梯度下降计算。
本发明在利用一层卷积层重定义DCF层的基础上，将目标分解成M 个局部目标，增加M层并行的卷积层来提高追踪效果的鲁棒性。具体来讲，我们需要根据目标在第一帧中的位置，来追踪目标在第二帧以后的位置(预测包含目标的边界框)。我们在特征提取层后，将特征图分别送入基层卷积层和M个并行的分块卷积层。对于每一个局部分块目标使用一层卷积层来计算响应输出。然后融合各个分块响应输出后与基层卷积层的响应输出叠加作为我们最终的响应输出。因此卷积层的权重为：
Wt＝ht+vt (I)
其中ht表示当前帧基层卷积层的权值，vt对应于将目标分解后各个局部目标的权值融合后的权值。
对于基于相关滤波类的分类器，峰值-旁瓣比(参考文献)可以用来量化相关峰值的锐利程度。在目标未发生遮挡时，目标的响应图通常是单峰的。但当目标发生局部遮挡时，目标响应图就会出现多峰情况，此时，仅仅依靠峰值-旁瓣比并不能有效的加强真实目标区域的响应值。而目标在两帧之间的运动距离符合某种分布。基于上述策略，我们的权值系数γ在第 t帧时由两部分组成：
其中表示在第t帧每一个局部响应图的峰值-旁瓣比，表示对分块卷积层的抑制值，假设当前局部区域响应值输出是峰值旁瓣比的具体形式为：
psr＝(gmax-μs1)/σs1 (3)
其中，gmax表示响应图的峰值，μs1、σs1分别表示响应图的均值和标准差。
对于我们定义为：
其中表示当前帧的局部响应值的最大值与上一帧的响应值的最大值的距离差值，这里的距离使用的是欧式距离。综合公式(1)，(2)，(3)，(4)，我们可以得出经过特征提取后，目标在基础卷积层和M个局部目标卷积层加权叠加后的权值为：
其中ht表示当前帧基层卷积层的权值，其中表示在第t帧每一个局部响应图的峰值-旁瓣比，表示对分块卷积层的抑制值，表示在当前帧第m个局部分块的权重。
在我们的局部加权自适应的权重系数，只需要学习一个参数α，大大降低了学习成本，经过大量实验，我们最后学习到的参数α＝0.75。
综上，在本发明中，给定一个带有目标的初始帧，我们以目标所在位置为中心来提取训练样本。将训练样本送入我们的网络进行特征提取和响应映射。特征提取阶段使用的是VGG16网络的特征提取层，特征提取层的参数使用VGG16在ImageNet分类网上的预训练模型初始化，固定网络参数，与此同时，在零均值高斯分布下，对基层和分块卷积层的所有参数进行随机初始化。
当新的一帧到来时，根据上一帧预测的目标中心位置来提取搜索块。搜索块的大小与训练快的大小相同，将搜索块输入到我们的网络中生成响应映射，获得响应图。响应图中拥有最大响应值的位置即为目标新的中心位置。
通过在线检测我们得到当前帧目标中心位置后，根据当前中心点在当前帧提取不同尺度大小的搜索块。然后将这些搜索块固定成与训练块大小相同的宽高。即对不同尺度大小的候选对象进行尺度归一化。然后将这些候选对象输入到我们的网络中获得相应映射，得到响应图。
本发明还公开了一种局部分块卷积的跟踪系统，包括：存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序配置为由所述处理器调用时实现本发明所述的方法的步骤。
本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现本发明所述的方法的步骤。
本发明的有益效果是：本发明首先验证了我们提出的局部加权策略相对单层卷积层的CREST的性能对比，为了更好的体现我们的算法的性能，我们在OTB数据集上挑选了50个较难的序列进行对比实验，实验结果显示我们的算法的AUC相对单层卷积层的CREST提高了十个百分点，并且对于遮挡，尺度变化等情况都取得了十个百分点及以上的提升。然后我们又将算法和CREST加上残差层后在OTB-2015上进行实验对比，实验结果表明我们的算法相对CREST有了更好的表现，从CREST残差层的提出的意义来说，我们的算法能更好的拟合单层卷积层和真实响应图之间的差值。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (9)

1.一种局部分块卷积的跟踪方法，其特征在于，包括依次执行如下步骤：
步骤S1：给定一个带有目标的初始帧，提取候选样本；
步骤S2：将候选样本送入网络进行特征提取；
步骤S3：将特征图分别送入基层卷积层和M个并行的分块卷积层，对于每一个局部分块目标使用一层卷积层来计算响应输出；
步骤S4：融合各个分块响应输出后与基层卷积层的响应输出叠加作为最终的响应输出；
步骤S5：通过在线检测得到当前帧目标中心位置后，根据当前中心点在当前帧提取不同尺度大小的搜索块；
步骤S6：对不同尺度大小的候选对象进行尺度归一化。
2.根据权利要求1所述的跟踪方法，其特征在于，在所述步骤S2中，特征提取使用的是VGG16网络的特征提取层，特征提取层的参数使用VGG16在ImageNet分类网上的预训练模型初始化，固定网络参数。
3.根据权利要求1所述的跟踪方法，其特征在于，在所述步骤S4中，卷积层的权重为：
Wt＝ht+vt
其中ht表示当前帧基层卷积层的权值，vt对应于将目标分解后各个局部目标的权值融合后的权值。
4.根据权利要求1所述的跟踪方法，其特征在于，在所述步骤S4中，目标在基层卷积层和M个局部目标卷积层加权叠加后的权值为：
其中ht表示当前帧基层卷积层的权值，其中表示在第t帧每一个局部响应图的峰值-旁瓣比，表示对分块卷积层的抑制值，表示在当前帧第m个局部分块的权重。
5.根据权利要求1所述的跟踪方法，其特征在于，在所述步骤S6中，将搜索块固定成与训练块大小相同的宽高，从而完成候选对象尺度归一化。
6.根据权利要求1所述的跟踪方法，其特征在于，当新的一帧到来时，根据上一帧预测的目标中心位置来提取搜索块，搜索块的大小与训练快的大小相同，将搜索块输入到网络中生成响应映射，获得响应图。
7.根据权利要求6所述的跟踪方法，其特征在于，响应图中拥有最大响应值的位置即为目标新的中心位置。
8.一种局部分块卷积的跟踪系统，其特征在于，包括：存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序配置为由所述处理器调用时实现权利要求1-7中任一项所述的方法的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现权利要求1-7中任一项所述的方法的步骤。
CN201811425819.7A 2018-11-27 2018-11-27 一处局部分块卷积的目标跟踪方法、系统及存储介质 Pending CN109711431A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811425819.7A CN109711431A (zh) 2018-11-27 2018-11-27 一处局部分块卷积的目标跟踪方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811425819.7A CN109711431A (zh) 2018-11-27 2018-11-27 一处局部分块卷积的目标跟踪方法、系统及存储介质

Publications (1)

Publication Number Publication Date
CN109711431A true CN109711431A (zh) 2019-05-03

Family

ID=66255213

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811425819.7A Pending CN109711431A (zh) 2018-11-27 2018-11-27 一处局部分块卷积的目标跟踪方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN109711431A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112348847A (zh) * 2020-10-26 2021-02-09 南京邮电大学 一种目标尺度自适应跟踪方法
CN112949656A (zh) * 2021-03-03 2021-06-11 哈尔滨工程大学 水下地形匹配定位方法、设备及计算机存储介质
CN112947419A (zh) * 2021-01-27 2021-06-11 河北工业职业技术学院 避障方法、装置及设备
CN113159984A (zh) * 2021-03-19 2021-07-23 云南电网有限责任公司西双版纳供电局 一种变电站工作人员工作路径追踪方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106898015A (zh) * 2017-01-17 2017-06-27 华中科技大学 一种基于自适应子块筛选的多线索视觉跟踪方法
CN107016689A (zh) * 2017-02-04 2017-08-04 中国人民解放军理工大学 一种尺度自适应的相关滤波对冲目标跟踪方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106898015A (zh) * 2017-01-17 2017-06-27 华中科技大学 一种基于自适应子块筛选的多线索视觉跟踪方法
CN107016689A (zh) * 2017-02-04 2017-08-04 中国人民解放军理工大学 一种尺度自适应的相关滤波对冲目标跟踪方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112348847A (zh) * 2020-10-26 2021-02-09 南京邮电大学 一种目标尺度自适应跟踪方法
CN112348847B (zh) * 2020-10-26 2023-08-15 南京邮电大学 一种目标尺度自适应跟踪方法
CN112947419A (zh) * 2021-01-27 2021-06-11 河北工业职业技术学院 避障方法、装置及设备
CN112949656A (zh) * 2021-03-03 2021-06-11 哈尔滨工程大学 水下地形匹配定位方法、设备及计算机存储介质
CN113159984A (zh) * 2021-03-19 2021-07-23 云南电网有限责任公司西双版纳供电局 一种变电站工作人员工作路径追踪方法

Similar Documents

Publication Publication Date Title
CN112733749B (zh) 融合注意力机制的实时行人检测方法
CN110929578B (zh) 一种基于注意力机制的抗遮挡行人检测方法
CN109711431A (zh) 一处局部分块卷积的目标跟踪方法、系统及存储介质
CN110503112A (zh) 一种增强特征学习的小目标检测及识别方法
CN103198493B (zh) 一种基于多特征自适应融合和在线学习的目标跟踪方法
CN107609512A (zh) 一种基于神经网络的视频人脸捕捉方法
CN111460968B (zh) 基于视频的无人机识别与跟踪方法及装置
CN108596211B (zh) 一种基于集中学习与深度网络学习的遮挡行人再识别方法
CN108665481A (zh) 多层深度特征融合的自适应抗遮挡红外目标跟踪方法
CN108304798A (zh) 基于深度学习及运动一致性的街面秩序事件视频检测方法
CN107133569A (zh) 基于泛化多标记学习的监控视频多粒度标注方法
CN111460881A (zh) 基于近邻判别的交通标志对抗样本检测方法和分类装置
CN110991257B (zh) 基于特征融合与svm的极化sar溢油检测方法
CN113963032A (zh) 一种融合目标重识别的孪生网络结构目标跟踪方法
CN103886325A (zh) 一种分块的循环矩阵视频跟踪方法
CN110175597A (zh) 一种融合特征传播与聚合的视频目标检测方法
CN109993061A (zh) 一种人脸检测与识别方法、系统以及终端设备
Xiao et al. Traffic sign detection based on histograms of oriented gradients and boolean convolutional neural networks
Chen et al. Robust vehicle detection and viewpoint estimation with soft discriminative mixture model
CN111027586A (zh) 一种基于新型响应图融合的目标跟踪方法
Wang et al. Vehicle type classification via adaptive feature clustering for traffic surveillance video
CN110097067A (zh) 一种基于层进式特征变换的弱监督细粒度图像分类方法
Wu et al. Moving Object Classification Method Based on SOM and K-means.
Liu et al. IL-YOLOv5: A Ship Detection Method Based on Incremental Learning
Li et al. Pedestrian Motion Path Detection Method Based on Deep Learning and Foreground Detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190503