CN112270696B - 一种基于融合元分类器的判别性目标跟踪方法 - Google Patents

一种基于融合元分类器的判别性目标跟踪方法 Download PDF

Info

Publication number
CN112270696B
CN112270696B CN202011221216.2A CN202011221216A CN112270696B CN 112270696 B CN112270696 B CN 112270696B CN 202011221216 A CN202011221216 A CN 202011221216A CN 112270696 B CN112270696 B CN 112270696B
Authority
CN
China
Prior art keywords
network
classifier
target
meta
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011221216.2A
Other languages
English (en)
Other versions
CN112270696A (zh
Inventor
范保杰
朱益
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202011221216.2A priority Critical patent/CN112270696B/zh
Publication of CN112270696A publication Critical patent/CN112270696A/zh
Application granted granted Critical
Publication of CN112270696B publication Critical patent/CN112270696B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于融合元分类器的判别性目标跟踪方法，包括：步骤S1、在初始帧中确定跟踪目标；步骤S2、初始化锚框以及特征提取网络、在线分类器网络和元分类器网络；步骤S3、确定当前帧中的搜索区域位置和大小，并且对其进行特征提取；步骤S4‑S6、计算第一分类得分矩阵
Figure DDA0002762086430000011
第二分类得分矩阵
Figure DDA0002762086430000012
和第三分类得分矩阵
Figure DDA0002762086430000013
步骤S7、融合上述三类得分矩阵，并且找出最大响应点，求出最终的目标尺度和位置的估计；步骤S8、设置短期记忆网络，确定下次训练的正样本，对元分类器与在线分类器进行参数更新。本发明通过加权三个分类器的结果作为最终的得分矩阵，得到预测的目标的位置信息，最后通过偏移量矩阵来得到目标的最终位置和大小信息。

Description

一种基于融合元分类器的判别性目标跟踪方法
技术领域
本发明涉及目标跟踪技术领域，尤其涉及一种基于融合元分类器的判别性目标跟踪方法。
背景技术
目标跟踪是计算机视觉中一个比较热门的研究领域，被广泛地应用于视频监控、自动驾驶、人机交互、机器人应用等方面。目标跟踪旨在通过给定目标在第一帧中位置和大小来预测目标在接下来帧中的位置和大小信息。近年来目标跟踪领域取得和一系列重要的研究成果，尽管如此，由于视频中存在的光照变化、抖动、尺度变化、遮挡等问题还是会严重影响算法的性能。因此对于目标跟踪算法的研究还是有待深入。
近年来，基于相关滤波的目标跟踪算法以其优秀的跟踪性能和良好的跟踪速度受到了研究人员广泛的关注。基于相关滤波的算法就是将滤波器求解问题转化为如何将输入特征转化为目标的高斯分布的问题，并在求解过程中利用快速傅里叶转换将计算从时域映射到了频域，从而提高了计算效率加快了跟踪的速度。而基于深度学习的目标跟踪算法在这几年也发展迅速。各种特征提取网络层出不穷，基于深度学习的目标跟踪算法凭借深度网络强大的特征表达能力，将模型精度推向了新的高度。
但是，目前的基于相关滤波的跟踪算法由于暴力估计目标尺度的方法影响算法的速度，而基于深度学习的算法由于采用离线训练的方式，未能充分利用视频的上下文信息，因而缺乏判别性，并且由于训练过程的计算量大，需要花费较大的时间成本。
发明内容
有鉴于此，本发明的目的在于提供一种基于融合元分类器的判别性目标跟踪方法，本发明能够充分利用视频中的上下文信息，提升跟踪器的鲁棒性和判别性，并且只需少量数据集，充分利用了现有的技术，加快了训练速度。
为实现上述的目的，本发明提供一种基于融合元分类器的判别性目标跟踪方法，包括如下步骤：
步骤S1、在视频的初始帧中确定跟踪目标的位置和大小；
步骤S2、初始化锚框以及特征提取网络、在线分类器网络和元分类器网络的网络参数，并且通过所述特征提取网络对初始帧中的目标区域做特征提取；
步骤S3、根据上一帧中的目标位置和大小确定当前帧中的搜索区域位置和大小，并且对其进行特征提取；
步骤S4、将步骤S3中得到的特征送入区域候选网络，计算第一分类得分矩阵
Figure BDA0002762086410000011
和偏移量矩阵
Figure BDA0002762086410000012
步骤S5、将步骤S3中得到的特征送入在线分类器网络，计算第二分类得分矩阵
Figure BDA0002762086410000013
步骤S6、将步骤S3中得到的特征送入元分类器网络，计算第三分类得分矩阵
Figure BDA0002762086410000014
步骤S7、融合第一分类得分矩阵
Figure BDA0002762086410000015
第二分类得分矩阵
Figure BDA0002762086410000016
和第三分类得分矩阵
Figure BDA0002762086410000017
并且找出最大响应点，然后再根据步骤S4中的偏移量矩阵
Figure BDA0002762086410000018
来得到最终的目标尺度和位置的估计；
步骤S8、设置短期记忆网络，每5帧添加分类得分最高的预测样本作为下次训练的正样本，并判断是否满足元分类器的更新条件和在线分类器的更新条件，若满足，则进行元分类器与在线分类器的参数更新。
进一步的，在所述步骤S1中，确定所述跟踪目标的位置和大小，具体为，通过手动标记目标位置和大小的方法来确定跟踪目标的信息。
进一步的，在所述步骤S2中，所述初始化锚框，具体为：
通过在搜索区域中，每隔8个像素点设置一个中心点的方式，设置一个25×25的点阵，并且对每个中心点设置3个尺度不一样的锚框；
所述初始化特征提取网络的网络参数，具体为：
加载训练好的SiamRPN++模型权重，并且以所述SiamRPN++模型作为基本的特征提取网络；
所述初始化在线分类器网络的网络参数，具体为：
所述初始化在线分类器网络的操作视为最小化输出结果和标签之间的距离，损失函数的表达式为：
Figure BDA0002762086410000021
公式(1)，
Figure BDA0002762086410000022
γj表示为通道间权重，
Figure BDA0002762086410000023
ξ表示一个常数数值，ηj表示为特征图上的峰值点，yj表示为高斯标签，f(xj；w)表示为网络输出值，wk表示为正则项，λk为wk的权重，xj表示训练样本的特征图，w表示在线分类器的网络参数。
最后通过高斯-牛顿法优化方法最小化损失函数来初始化在线分类器参数。
进一步的，在所述步骤S2中，初始化元分类器网络的网络参数，具体为：
步骤S201、随机初始化滤波器参数θ0和α；
步骤S202、随机选取训练集中的一个视频，在该视频中，随机选择带有目标位置信息并且10帧以内的图片对，该图片对记为xi和xj；
步骤S203、通过高斯函数设置目标的标签记为yi；
步骤S204、将xi送入特征提取网络，得到输出：
Figure BDA0002762086410000024
公式(2)中，xi表示为步骤S202选择的图片对中的一张图片，
Figure BDA0002762086410000025
表示元分类器的网络参数。
Figure BDA0002762086410000026
表示预测的输出；
步骤S205、计算：
Figure BDA0002762086410000027
公式(3)中，
Figure BDA0002762086410000028
表示元分类器的网络参数，α表示为滤波器的参数，
Figure BDA0002762086410000029
表示预测的输出。yi表示真实值，
Figure BDA00027620864100000210
表示一次梯度下降之后元分类器的网络参数，⊙表示为点乘符号，
Figure BDA00027620864100000211
为预测的目标的位置和真实值之间的差值的导数；
步骤S206、令θ1＝θ0 T，计算：
Figure BDA00027620864100000212
公式(4)中，xj表示为步骤S202选择的图片对中的另一张图片，θ1为θ0的转置；
步骤S207、计算θ0和α的梯度，并进行迭代优化，所述θ0和α的梯度更新公式的表达式如下：
Figure BDA00027620864100000213
Figure BDA0002762086410000031
公式(5)和公式(6)中，
Figure BDA0002762086410000032
分别表示对θ0和α求偏导数；
步骤S208、经过多次的迭代优化，将加载训练好的参数作为跟踪时的初始化参数。
进一步的，所述步骤S3，具体为：
通过比例因子将搜索区域固定为一个255×255的区域，其中计算公式如下：
s(w+ 2p)×s(h+ 2p) ＝A (7)
公式(7)中，s为比例因子，w为目标的长，h为目标的宽，p＝(w+h)/4，A固定为255×255；
再通过公式(7)联合目标在上一帧的位置得到搜索区域之后，使用ResNet50提取特征。
进一步的，所述步骤S4，具体为：
在步骤S3提取到特征网络之后，将该特征网络送入区域候选网络进行前向传播，输出第一分类得分矩阵
Figure BDA0002762086410000033
和偏移量矩阵
Figure BDA0002762086410000034
进一步的，所述步骤S5，具体为：
在步骤S3提取到特征图之后，将该特征图送入在线分类器网络中计算第二分类得分矩阵
Figure BDA0002762086410000035
所述在线分类器网络为两层分类器网络；其中第一层为降维层，第二层为分类器输出层。
进一步的，所述步骤S6，具体为：
在步骤S3提取到特征图之后，将该特征图的最后一层特征送入具有2层卷积网络的元分类器网络，然后输入第三分类得分矩阵
Figure BDA0002762086410000036
所述元学习分类器网络的第一层为特征压缩层，所述特征压缩层用于对输入的特征做压缩操作来提升算法速度，所述元学习分类器网络的第二层为计算分类得分网络。
进一步的，所述步骤S7，具体为：
通过对第一分类得分矩阵
Figure BDA0002762086410000037
第二分类得分矩阵
Figure BDA0002762086410000038
和第三分类得分矩阵
Figure BDA0002762086410000039
进行加权合并的方式，得到第四分类得分矩阵
Figure BDA00027620864100000310
所述第四分类得分矩阵
Figure BDA00027620864100000311
的表达式为：
Figure BDA00027620864100000312
公式(8)中，β+γ+η＝1。
进一步的，所述步骤S8，具体为：
每隔5帧，将分类得分最高的搜索区域中的图片存入队列中，若超过50张则丢弃队头的图片，使得整个队列保持为50张图片，并判断当前元学习分类器是否满足已经间隔5帧，若满足则调用梯度更新，梯度更新公式的表达式：
Figure BDA00027620864100000313
公式(9)中，
Figure BDA00027620864100000314
表示为更新完之后的卷积网络参数，
Figure BDA00027620864100000315
表示为更新前卷积网络的参数，α表示为滤波器的参数，⊙表示为点乘符号，
Figure BDA00027620864100000316
为预测的目标的位置和真实值之间的差值的导数；
判断在线分类器的分数是否低于阈值或者间隔10帧，若低于阀值或者满足间隔10帧，就通过高斯-牛顿法优化在线分类器目标函数。
本发明的有益效果是：
本发明通过使用训练好的SiamRPN++算法，通过在线训练在线分类器和离线训练元分类器，并加权三个分类器的结果作为最终的得分矩阵，得到预测的目标的位置信息，通过偏移量矩阵来得到目标的最终位置和大小信息。本发明充分利用视频的时序信息使跟踪算法的判别性有了明显的提升，并且少量数据集训练的方式可以在一定程度上减小计算资源的损耗。
附图说明
图1是本发明的流程框图。
图2是本发明的整体网络框架图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
参见图1和图2，本实施例提供一种基于融合元分类器的判别性目标跟踪方法，包括如下步骤：
步骤S1、在视频的初始帧中确定跟踪目标的位置和大小。
具体的说，在本实施例中，在步骤S1中，通过手动标记目标位置和大小的方法来确定跟踪目标的信息。
步骤S2、初始化锚框以及特征提取网络、在线分类器网络和元分类器网络的网络参数，并且通过所述特征提取网络对初始帧中的目标区域做特征提取。
具体的说，
初始化锚框的操作，具体为：
通过在搜索区域中，每隔8个像素点设置一个中心点的方式，设置一个25×25的点阵，并且对每个中心点设置3个尺度不一样的锚框。
初始化特征提取网络的网络参数，具体为：
加载训练好的SiamRPN++模型权重，并且以所述SiamRPN++模型作为基本的特征提取网络。
初始化在线分类器网络的网络参数，具体为：
所述初始化在线分类器网络的操作视为最小化输出结果和标签之间的距离，损失函数的表达式为：
Figure BDA0002762086410000041
公式(1)，
Figure BDA0002762086410000042
γj表示为通道间权重，
Figure BDA0002762086410000043
ξ表示一个常数数值，ηj表示为特征图上的峰值点，yj表示为高斯标签，f(xj；w)表示为网络输出值，wk表示为正则项，λk为wk的权重，xj表示训练样本的特征图，w表示在线分类器的网络参数，最后通过高斯-牛顿法优化方法最小化损失函数来初始化在线分类器参数。
初始化元分类器网络的网络参数，具体为：
步骤S201、随机初始化滤波器参数θ0和α；
步骤S202、随机选取训练集中的一个视频，在该视频中，随机选择带有目标位置信息并且10帧以内的图片对，该图片对记为xi和xj；
步骤S203、通过高斯函数设置目标的标签记为yi；
步骤S204、将xi送入特征提取网络，得到输出：
Figure BDA0002762086410000044
公式(2)中，xi表示为步骤S202选择的图片对中的一张图片，
Figure BDA0002762086410000051
表示元分类器的网络参数。
Figure BDA0002762086410000052
表示预测的输出。
步骤S205、计算：
Figure BDA0002762086410000053
公式(3)中，
Figure BDA0002762086410000054
表示元分类器的网络参数。α表示为滤波器的参数，
Figure BDA0002762086410000055
表示预测的输出，yi表示真实值，
Figure BDA0002762086410000056
表示一次梯度下降之后元分类器的网络参数，⊙表示为点乘符号，
Figure BDA0002762086410000057
为预测的目标的位置和真实值之间的差值的导数；
步骤S206、令θ1＝θ0 T，计算：
Figure BDA0002762086410000058
公式(4)中，xj表示为步骤S202选择的图片对中的另一张图片，θ1为θ0的转置。
步骤S207、计算θ0和α的梯度，并进行迭代优化，所述θ0和α的梯度更新公式的表达式如下：
Figure BDA0002762086410000059
Figure BDA00027620864100000510
公式(5)和公式(6)中，
Figure BDA00027620864100000511
分别表示对θ0和α求偏导数。
步骤S208、经过多次的迭代优化，将加载训练好的参数作为跟踪时的初始化参数。
步骤S3、根据上一帧中的目标位置和大小确定当前帧中的搜索区域位置和大小，并且对其进行特征提取。
具体为：
通过比例因子将搜索区域固定为一个255×255的区域，其中计算公式如下：
s(w+2p)×s(h+2p)＝A (7)
公式(7)中，s为比例因子，w为目标的长，h为目标的宽，p＝(w+h)/4，A固定为255×255；
再通过公式(7)联合目标在上一帧的位置得到搜索区域之后，使用ResNet50提取特征。
步骤S4、将步骤S3中得到的特征送入区域候选网络，计算第一分类得分矩阵
Figure BDA00027620864100000512
和偏移量矩阵
Figure BDA00027620864100000513
具体为：
在步骤S3提取到特征网络之后，将该特征网络送入区域候选网络进行前向传播，输出第一分类得分矩阵
Figure BDA00027620864100000514
和偏移量矩阵
Figure BDA00027620864100000515
步骤S5、将步骤S3中得到的特征送入在线分类器网络，计算第二分类得分矩阵
Figure BDA00027620864100000516
具体为：
在步骤S3提取到特征图之后，将该特征图送入在线分类器网络中计算第二分类得分矩阵
Figure BDA00027620864100000517
所述在线分类器网络为两层分类器网络；其中第一层为降维层，第二层为分类器输出层。
步骤S6、将步骤S3中得到的特征送入元分类器网络，计算第三分类得分矩阵
Figure BDA00027620864100000518
具体为：
在步骤S3提取到特征图之后，将该特征图的最后一层特征送入具有2层卷积网络的元分类器网络，然后输入第三分类得分矩阵
Figure BDA00027620864100000519
所述元学习分类器网络的第一层为特征压缩层，所述特征压缩层用于对输入的特征做压缩操作来提升算法速度，所述元学习分类器网络的第二层为计算分类得分网络。
步骤S7、融合第一分类得分矩阵
Figure BDA0002762086410000061
第二分类得分矩阵
Figure BDA0002762086410000062
和第三分类得分矩阵
Figure BDA0002762086410000063
并且找出最大响应点，然后再根据步骤S4中的偏移量矩阵
Figure BDA0002762086410000064
来得到最终的目标尺度和位置的估计。
具体为：
通过对第一分类得分矩阵
Figure BDA0002762086410000065
第二分类得分矩阵
Figure BDA0002762086410000066
和第三分类得分矩阵
Figure BDA0002762086410000067
进行加权合并的方式，得到第四分类得分矩阵
Figure BDA0002762086410000068
所述第四分类得分矩阵
Figure BDA0002762086410000069
的表达式为：
Figure BDA00027620864100000610
公式(8)中，β+γ+η＝1。
步骤S8、设置短期记忆网络，每5帧添加分类得分最高的预测样本作为下次训练的正样本，并判断是否满足元分类器的更新条件和在线分类器的更新条件，若满足，则进行元分类器与在线分类器的参数更新。
具体为：
每隔5帧，将分类得分最高的搜索区域中的图片存入队列中，若超过50张则丢弃队头的图片，使得整个队列保持为50张图片，并判断当前元学习分类器是否满足已经间隔5帧，若满足则调用梯度更新，梯度更新公式的表达式：
Figure BDA00027620864100000611
公式(9)中，
Figure BDA00027620864100000612
表示为更新完之后的卷积网络参数，
Figure BDA00027620864100000613
表示为更新前卷积网络的参数，α表示为滤波器的参数，⊙表示为点乘符号，
Figure BDA00027620864100000614
为预测的目标的位置和真实值之间的差值的导数；判断在线分类器的分数是否低于阈值或者间隔10帧，若低于阀值或者满足间隔10帧，就通过高斯-牛顿法优化在线分类器目标函数。
本发明通过使用训练好的SiamRPN++算法，通过在线训练在线分类器和离线训练元分类器，并加权三个分类器的结果作为最终的得分矩阵，得到预测的目标的位置信息，通过偏移量矩阵来得到目标的最终位置和大小信息。实现了充分利用视频的时序信息使跟踪算法的判别性有了明显的提升。并且少量数据集训练的方式可以在一定程度上减小计算资源的损耗。
需要指出的是，以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化和替换，都应涵盖在本发明的保护范围内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于融合元分类器的判别性目标跟踪方法，其特征在于，包括如下步骤：
步骤S1、在视频的初始帧中确定跟踪目标的位置和大小；
步骤S2、初始化锚框以及特征提取网络、在线分类器网络和元分类器网络的网络参数，并且通过所述特征提取网络对初始帧中的目标区域做特征提取；
步骤S3、根据上一帧中的目标位置和大小确定当前帧中的搜索区域位置和大小，并且对其进行特征提取；
步骤S4、将步骤S3中得到的特征送入区域候选网络，计算第一分类得分矩阵
Figure FDA0003732225580000011
和偏移量矩阵
Figure FDA0003732225580000012
步骤S5、将步骤S3中得到的特征送入在线分类器网络，计算第二分类得分矩阵
Figure FDA0003732225580000013
步骤S6、将步骤S3中得到的特征送入元分类器网络，计算第三分类得分矩阵
Figure FDA0003732225580000014
步骤S7、融合第一分类得分矩阵
Figure FDA0003732225580000015
第二分类得分矩阵
Figure FDA0003732225580000016
和第三分类得分矩阵
Figure FDA0003732225580000017
并且找出最大响应点，然后再根据步骤S4中的偏移量矩阵
Figure FDA0003732225580000018
来得到最终的目标尺度和位置的估计；
步骤S8、设置短期记忆网络，每5帧添加分类得分最高的预测样本作为下次训练的正样本，并判断是否满足元分类器的更新条件和在线分类器的更新条件，若满足，则进行元分类器与在线分类器的参数更新。
2.根据权利要求1所述的一种基于融合元分类器的判别性目标跟踪方法，其特征在于，在所述步骤S1中，确定所述跟踪目标的位置和大小，具体为，通过手动标记目标位置和大小的方法来确定跟踪目标的信息。
3.根据权利要求1所述的一种基于融合元分类器的判别性目标跟踪方法，其特征在于，在所述步骤S2中，所述初始化锚框，具体为：
通过在搜索区域中，每隔8个像素点设置一个中心点的方式，设置一个25×25的点阵，并且对每个中心点设置3个尺度不一样的锚框；
所述初始化特征提取网络的网络参数，具体为：
加载训练好的SiamRPN++模型权重，并且以所述SiamRPN++模型作为基本的特征提取网络；
所述初始化在线分类器网络的网络参数，具体为：
所述初始化在线分类器网络的操作视为最小化输出结果和标签之间的距离，损失函数的表达式为：
Figure FDA0003732225580000019
公式(1)中，
Figure FDA00037322255800000110
γj表示为通道间权重，
Figure FDA00037322255800000111
其中ξ是一个常数数值，ηj表示为特征图上的峰值点，yj表示为高斯标签，f(xj；w)表示为网络输出值，wk表示为正则项，λk为wk的权重，xj表示训练样本的特征图，w表示在线分类器的网络参数；
最后通过高斯-牛顿法优化方法最小化损失函数来初始化在线分类器参数。
4.根据权利要求3所述的一种基于融合元分类器的判别性目标跟踪方法，其特征在于，在所述步骤S2中，初始化元分类器网络的网络参数，具体为：
步骤S201、随机初始化滤波器参数θ0和α；
步骤S202、随机选取训练集中的一个视频，在该视频中，随机选择带有目标位置信息并且10帧以内的图片对，该图片对记为xi和xj；
步骤S203、通过高斯函数设置目标的标签记为yi；
步骤S204、将xi送入特征提取网络，得到输出：
Figure FDA0003732225580000021
公式(2)中，xi表示为步骤S202选择的图片对中的一张图片，
Figure FDA0003732225580000022
表示元分类器的网络参数，
Figure FDA0003732225580000023
表示预测的输出；
步骤S205、计算：
Figure FDA0003732225580000024
公式(3)中，
Figure FDA0003732225580000025
表示元分类器的网络的参数，α表示为滤波器的参数，
Figure FDA0003732225580000026
表示预测的输出，yi表示真实值，
Figure FDA0003732225580000027
表示一次梯度下降之后元分类器的网络参数，⊙表示为点乘符号，
Figure FDA0003732225580000028
为预测的目标的位置和真实值之间的差值的导数；
步骤S206、令θ1＝θ0 T，计算：
Figure FDA0003732225580000029
公式(4)中，xj表示为步骤S202选择的图片对中的另一张图片，其中θ1为θ0的转置；
步骤S207、计算θ0和α的梯度，并进行迭代优化，所述θ0和α的梯度更新公式的表达式如下：
Figure FDA00037322255800000210
Figure FDA00037322255800000211
公式(5)和公式(6)中，
Figure FDA00037322255800000212
分别表示对θ0和α求偏导数；
步骤S208、经过多次的迭代优化，将加载训练好的参数作为跟踪时的初始化参数。
5.根据权利要求1所述的一种基于融合元分类器的判别性目标跟踪方法，其特征在于，所述步骤S3，具体为：
通过比例因子将搜索区域固定为一个255×255的区域，其中计算公式如下：
s(w+2p)×s(h+2p)＝A (7)
公式(7)中，s为比例因子，w为目标的长，h为目标的宽，p＝(w+h)/4，A固定为255×255；
再通过公式(7)联合目标在上一帧的位置得到搜索区域之后，使用ResNet50提取特征。
6.根据权利要求1所述的一种基于融合元分类器的判别性目标跟踪方法，其特征在于，所述步骤S4，具体为：
在步骤S3提取到特征网络之后，将该特征网络送入区域候选网络进行前向传播，输出第一分类得分矩阵
Figure FDA00037322255800000213
和偏移量矩阵
Figure FDA00037322255800000214
7.根据权利要求1所述的一种基于融合元分类器的判别性目标跟踪方法，其特征在于，所述步骤S5，具体为：
在步骤S3提取到特征图之后，将该特征图送入在线分类器网络中计算第二分类得分矩阵
Figure FDA0003732225580000031
所述在线分类器网络为两层分类器网络；其中第一层为降维层，第二层为分类器输出层。
8.根据权利要求1所述的一种基于融合元分类器的判别性目标跟踪方法，其特征在于，所述步骤S6，具体为：
在步骤S3提取到特征图之后，将该特征图的最后一层特征送入具有2层卷积网络的元分类器网络，然后输入第三分类得分矩阵
Figure FDA0003732225580000032
所述元分类器网络的第一层为特征压缩层，所述特征压缩层用于对输入的特征做压缩操作来提升算法速度，所述元分类器网络的第二层为计算分类得分网络。
9.根据权利要求1所述的一种基于融合元分类器的判别性目标跟踪方法，其特征在于，所述步骤S7，具体为：
通过对第一分类得分矩阵
Figure FDA0003732225580000033
第二分类得分矩阵
Figure FDA0003732225580000034
和第三分类得分矩阵
Figure FDA0003732225580000035
进行加权合并的方式，得到第四分类得分矩阵
Figure FDA0003732225580000036
所述第四分类得分矩阵
Figure FDA0003732225580000037
的表达式为：
Figure FDA0003732225580000038
公式(8)中，β+γ+η＝1。
10.根据权利要求1所述的一种基于融合元分类器的判别性目标跟踪方法，其特征在于，所述步骤S8，具体为：
每隔5帧，将分类得分最高的搜索区域中的图片存入队列中，若超过50张则丢弃队头的图片，使得整个队列保持为50张图片，并判断当前元分类器是否满足已经间隔5帧，若满足则调用梯度更新，梯度更新公式的表达式：
Figure FDA0003732225580000039
公式(9)中，
Figure FDA00037322255800000310
表示为更新完之后的卷积网络参数，
Figure FDA00037322255800000311
表示为更新前卷积网络的参数，α表示为滤波器的参数，⊙表示为点乘符号，
Figure FDA00037322255800000312
为预测的目标的位置和真实值之间的差值的导数；
判断在线分类器的分数是否低于阈值或者间隔10帧，若低于阀值或者满足间隔10帧，就通过高斯-牛顿法优化在线分类器目标函数。
CN202011221216.2A 2020-11-05 2020-11-05 一种基于融合元分类器的判别性目标跟踪方法 Active CN112270696B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011221216.2A CN112270696B (zh) 2020-11-05 2020-11-05 一种基于融合元分类器的判别性目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011221216.2A CN112270696B (zh) 2020-11-05 2020-11-05 一种基于融合元分类器的判别性目标跟踪方法

Publications (2)

Publication Number Publication Date
CN112270696A CN112270696A (zh) 2021-01-26
CN112270696B true CN112270696B (zh) 2022-09-06

Family

ID=74344836

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011221216.2A Active CN112270696B (zh) 2020-11-05 2020-11-05 一种基于融合元分类器的判别性目标跟踪方法

Country Status (1)

Country Link
CN (1) CN112270696B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114926650A (zh) * 2022-04-11 2022-08-19 华南农业大学 基于多特征的滤波器降帧更新方法
CN116977905B (zh) * 2023-09-22 2024-01-30 杭州爱芯元智科技有限公司 目标跟踪方法、装置、电子设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797716A (zh) * 2020-06-16 2020-10-20 电子科技大学 一种基于Siamese网络的单目标跟踪方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797716A (zh) * 2020-06-16 2020-10-20 电子科技大学 一种基于Siamese网络的单目标跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Multi-classifier Guided Discriminative Siamese Tracking Network;Yi Zhu等;《PRCV 2020: Pattern Recognition and Computer Vision》;20201015;第102~113页 *

Also Published As

Publication number Publication date
CN112270696A (zh) 2021-01-26

Similar Documents

Publication Publication Date Title
CN111199242B (zh) 一种基于动态修正向量的图像增量学习方法
CN110120064B (zh) 一种基于互强化与多注意机制学习的深度相关目标跟踪算法
CN108681752B (zh) 一种基于深度学习的图像场景标注方法
CN113221905B (zh) 基于均匀聚类的语义分割的无监督域适应方法、装置、系统和存储介质
CN112270696B (zh) 一种基于融合元分类器的判别性目标跟踪方法
CN108573246B (zh) 一种基于深度学习的时序动作识别方法
CN108416370A (zh) 基于半监督深度学习的图像分类方法、装置和存储介质
CN110941734B (zh) 基于稀疏图结构的深度无监督图像检索方法
CN110929848B (zh) 基于多挑战感知学习模型的训练、跟踪方法
CN111784595B (zh) 一种基于历史记录的动态标签平滑加权损失方法及装置
CN114333027B (zh) 基于联合和交替学习框架的跨域新类人脸表情识别方法
CN111126132A (zh) 一种基于孪生网络的学习目标跟踪算法
CN108427713A (zh) 一种用于自制视频的视频摘要方法及系统
CN115424177A (zh) 一种基于增量学习的孪生网络目标跟踪的方法
CN112164077A (zh) 基于自下而上路径增强的细胞实例分割方法
CN113591978A (zh) 一种基于置信惩罚正则化的自我知识蒸馏的图像分类方法、设备及存储介质
CN112767450A (zh) 一种基于多损失学习的相关滤波目标跟踪方法及系统
CN115861595A (zh) 一种基于深度学习的多尺度域自适应异源图像匹配方法
CN113327227B (zh) 一种基于MobilenetV3的小麦头快速检测方法
CN112560760B (zh) 一种注意力辅助的无监督视频摘要系统
CN113837220A (zh) 基于在线持续学习的机器人目标识别方法、系统及设备
CN114973350A (zh) 一种源域数据无关的跨域人脸表情识别方法
CN114241470A (zh) 一种基于注意力机制的自然场景文字检测方法
CN114298160A (zh) 一种基于孪生知识蒸馏与自监督学习的小样本分类方法
CN115222945B (zh) 基于多尺度自适应课程学习的深度语义分割网络训练方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant