CN111028265A - 一种基于迭代法构建相关滤波响应的目标跟踪方法 - Google Patents

一种基于迭代法构建相关滤波响应的目标跟踪方法 Download PDF

Info

Publication number
CN111028265A
CN111028265A CN201911091780.4A CN201911091780A CN111028265A CN 111028265 A CN111028265 A CN 111028265A CN 201911091780 A CN201911091780 A CN 201911091780A CN 111028265 A CN111028265 A CN 111028265A
Authority
CN
China
Prior art keywords
target
response
matrix
feature
formula
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911091780.4A
Other languages
English (en)
Other versions
CN111028265B (zh
Inventor
赵运基
范存良
周梦林
张楠楠
孔军伟
魏胜强
刘晓光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan University of Technology
Original Assignee
Henan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University of Technology filed Critical Henan University of Technology
Priority to CN201911091780.4A priority Critical patent/CN111028265B/zh
Publication of CN111028265A publication Critical patent/CN111028265A/zh
Application granted granted Critical
Publication of CN111028265B publication Critical patent/CN111028265B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于迭代法构建相关滤波响应的目标跟踪方法，包括以下步骤：S1、确定跟踪目标参数，提取融合特征并加窗处理；S2、通过频域隐式插值构建多分辨率特征图；S3、PCA方法构建特征降维矩阵；S4、应用共轭梯度法构建特征滤波器；S5、提取候选区域多尺度的融合特征并降维加窗；S6、频域隐式插值构建多分辨率特征图；S7、滤波处理获得各个通道的响应矩阵；S8、构建响应矩阵，确定跟踪结果；S9、更新GMM模型，更新滤波器；S10、循环执行S5、S6、S7、S8、S9。本发明可以有效降低特征冗余，限制较大误差的相关滤波响应对最终响应图的影响，提高跟踪方法效率。

Description

一种基于迭代法构建相关滤波响应的目标跟踪方法
技术领域
本发明涉及基于深度学习的目标跟踪领域，具体为一种基于迭代法构建相关滤波响应的目标跟踪方法。
背景技术
目标跟踪是计算机视觉领域中的研究热点之一。目前，在目标跟踪领域基于深度学习和相关滤波融合的方法占据主导地位。此类方法应用深度网络对跟踪目标进行特征提取，应用相关滤波的方法确定跟踪目标的位置。DeepSRDCF将SRDCF中的HOG特征替换为CNN中单层卷积层的深度特征(也就是卷积网络的激活值)，效果有了极大提升，在VOT2015中排名第二。HCF则结合多层卷积特征提升效果，用了VGG19的Conv5-4,Conv4-4和Conv3-4的激活值作为特征，所有特征都缩放到图像块分辨率，虽然按照论文应该是由粗到细确定目标，但代码中比较直接，三种卷积层的响应以固定权值1,0.5,0.02线性加权作为最终响应。虽然用了多层卷积特征，但没有关注边界效应而且线性加权的方式过于简单。C-COT是VOT2016的第一名，综合了SRDCF的空域正则化和SRDCFdecon的自适应样本权重，还将DeepSRDCF的单层卷积的深度特征扩展为多层卷积的深度特征(VGG第3和14层)，为了应对不同卷积层分辨率不同的问题，提出了连续空间域插值转换操作，在训练之前通过频域隐式插值将特征图插值到连续空域，方便集成多分辨率特征图，并且保持定位的高精度。目标函数通过共轭梯度下降方法迭代优化，比高斯-塞德尔方法要快，自适应样本权值直接采用先验权值，没有交替凸优化过程，检测中用牛顿法迭代优化目标位置。ECO是C-COT的加速版，从模型大小、样本集大小和更新策略三个方便加速，速度比C-COT提升了20倍。尽管如此，深度特征和相关滤波相结合的方法处理的结果均为将各个通道的响应图像直接求和，在求和的响应图像中确定最大值位置，最大值位置即为当前帧中跟踪目标相对于上一帧中目标的移动量，最大值所在的尺度即为跟踪目标对应的尺度。这种跟踪目标位置的处理方式中，直接求和的方式没有考虑不同通道响应图像对最终响应图像构建的贡献度，没有考虑不同通道响应图像的背景区域的响应结果对最终确定最大值的影响(虽然ECO算法中，在最终的响应图像中确定最大值的过程中引入了梯度下降法迭代和黑森矩阵)，如果最终构建的响应图像存在多峰值，背景区域出现峰值等都会影响当前帧的跟踪结果，经过算方法中的模型更新，最终引起模型漂移，导致跟踪结果的效率较低，甚至丢失跟踪目标。
发明内容
为了克服基于深度特征和相关滤波类算法中，应用多通道响应图像直接线性叠加构建最终响应图像类方法的缺陷，本发明的目的在于提供一种基于AdaBoost算法的多通道响应图像的拟合机制。在ECO算法的框架下，在实现候选目标区域特征滤波完成构建出多通道的响应图像后，引入AdaBoost算法，计算每一帧响应图像的前景目标区域和背景目标区域的误差，确定误差最小的响应通道为第一次迭代选择的最优响应通道图像，并计算该通道对应的权重，更新响应图像中每一个像素位置对应的权重，然后进行二次迭代，确定第二次迭代结果的通道，依次进行，最终的响应结果图像为每一次迭代结果中最优的响应图像与其对应权重的线性求和，这种处理机制，有效的实现了选择多个互补通道最终构建出响应图像，相对于直接求和的方式，降低了响应图像的背景干扰在跟踪算法中的影响，能够有效的减少多峰值的出现几率。
为实现上述目的，本发明提供如下技术方案：
一种基于迭代法构建相关滤波响应的目标跟踪方法一种基于迭代法构建相关滤波响应的目标跟踪方法，包括以下步骤：
S1、确定初始帧中跟踪目标的位置及区域大小，提取跟踪目标区域的CNN特征、CN特征、FHOG特征并进行加窗处理；
S2、将加窗处理后的特征进行傅里叶变换，通过频域隐式插值将特征图插值到连续空域，构建多分辨率特征图；
S3、应用PCA方法构建CNN特征、CN特征、FHOG特征的降维矩阵；
S4、构建基于GMM模型的样本特征集合，应用共轭梯度法进行迭代构建特征滤波器；
S5、依据前一帧确定的跟踪目标的位置及大小确定候选目标区域，提取候选目标区域的多尺度的CNN、CN、FHOG特征，并应用投影矩阵进行降维并加窗处理；
S6、将加窗处理后的特征进行傅里叶变换，通过频域隐式插值将特征图插值到连续空域，构建多分辨率特征图；
S7、对多分辨率特征图应用滤波器进行滤波处理，最终获得各个通道特征对应的响应矩阵；
S8、应用AdaBoost算法的思想对响应矩阵进行处理，构建最终的响应矩阵，确定最终跟踪结果；
S9、提取跟踪结果区域的深度特征并做相应的处理，处理结果特征添加入GMM高斯模型的样本集合，更新样本集相关参数，更新滤波器；
S10、循环执行S5、S6、S7、S8、S9。
进一步地，步骤2中，通过频域隐式插值将特征图插值到连续空域，构建多分辨率特征图，包括：
为了处理连续空间域内的学习问题，引入了训练样本的内插模型。将区间
Figure BDA0002267057630000032
视作特征图的空间支持，T为坐标系缩放比，对于每一个特征通道d。内插操作
Figure BDA0002267057630000031
如公式(1)所示：
Figure BDA0002267057630000041
插值样本Jd{xd}(t)由一个内插函数bd∈L2(T)的各个平移形式的叠加构造。特征值xd[n]为每个平移后的函数加权值，与传统的离散DCF方程的周期假设类似，特征图的周期扩展被应用到公式1中。
进一步地，步骤4中，构建基于GMM模型的样本特征集合，应用共轭梯度法进行迭代构建特征滤波器，包括：
插值的目的是为了获得连续卷积算子：Sf:x→L2(T)，该算子将样本x∈x映射到一个定义在连续区间[0,T)中的目标置信函数s(t)＝Sf{x}(t)，
Figure BDA0002267057630000047
Figure BDA0002267057630000048
为目标在图像中的位置t∈[0,T)处的置信分数。与DCF方式类似，目标通过寻找图片区域中的最大置信分确定目标的相对平移量。由于置信分是在连续域上定义的，因此，可以具有更高的定位精度。
在连续域方程中，算子Sf是由一系列卷积滤波器f＝(f1,…,fD)∈L2(T)D参数化的。fd∈L2(T)是针对特征通道d的连续滤波器，卷积算子如式(2)所示：
Figure BDA0002267057630000042
每个特征通道首先依据公式(2)插值，然后和对应的滤波器进行卷积，所有滤波器的卷积响应求和产生最终的置信函数。
在标准的DCF中，每一个训练样本由一个代表期望卷积输出的离散函数标定。与之不同的是，样本xj∈χ由定义在连续空间域内的置信函数yj∈L2(T)标定，其中，yj是卷积算子Sf{xj}应用到训练样本xj上的设计输出，这使得亚像素精度信息在学习中合并了。滤波器f在给定的m个训练样本对
Figure BDA0002267057630000043
Figure BDA0002267057630000044
下训练，即最小化泛函，如式(3)所示：
Figure BDA0002267057630000045
其中，权重αj≥0为每个训练样本的影响力，
Figure BDA0002267057630000051
为空间正则化项，它由惩罚函数ω决定。空间正则化可以确保滤波器能够通过控制滤波器的空间长度在任意大的区域上学习。通常对目标背景的空间区域在ω中被分配更大的惩罚值，而目标区域则对应较小的惩罚值。因此，ω代表着依赖于其空间位置的特征先验知识，惩罚函数ω定义在整个连续区域[0,T)中，并周期性拓展到了ω∈L2(T)。公式(3)要求||ωfd||<∞，即ω含有有限个非零傅里叶系数
Figure BDA0002267057630000052
为了训练滤波器f，需要在傅里叶域中最小化泛函公式(3)。插值后特征图的傅里叶系数可以由
Figure BDA0002267057630000053
表示，其中，
Figure BDA0002267057630000054
Figure BDA0002267057630000055
是xd的离散傅里叶变换。通过线性和卷积性质，输出置信函数式(2)的傅里叶系数推导可得到式(4)。
Figure BDA0002267057630000056
通过应用帕斯瓦尔公式和式(3)，式(4)可以得到式(5)。
Figure BDA0002267057630000057
泛函E(f)最小化等价于其相对每个滤波器fd的傅里叶系数
Figure BDA0002267057630000058
的最小化。利用傅里叶域的式(5)去最小化原始的代价函数式(3)。滤波器f需要由一个有限参数集合表示，通过最小化由有限维子空间
Figure BDA0002267057630000059
Figure BDA00022670576300000510
表示的式(5)来获得有限描述。相对于系数
Figure BDA00022670576300000511
最小化式(5)，同时假设当|k|>Kd时，
Figure BDA00022670576300000512
Kd决定了学习过程中对于特征通道d中被计算的滤波器系数
Figure BDA00022670576300000513
的数目。增加Kd可以获得更好的滤波器估计，但是需要增加了计算量和存储消耗。设置
Figure BDA00022670576300000514
使得d通道存储的滤波器系数的数目和训练样本xd的空间分辨率Nd相等。
为了推导满足f∈V的最小化问题式(5)的解，引入了非零傅里叶系数的组成的向量
Figure BDA0002267057630000061
并且定义系数向量
Figure BDA0002267057630000062
Figure BDA0002267057630000063
进一步定义
Figure BDA0002267057630000064
是yj的前
Figure BDA0002267057630000065
个傅里叶系数的向量形式。为了简化式(5)中的正则化形式，令L表示
Figure BDA0002267057630000066
中非零系数的数量，因此对所有|k|>L，有
Figure BDA0002267057630000067
进一步定义Wd为(2Kd+2L+1)×(2Kd+1)的托普利兹矩阵，其对应着卷积算子
Figure BDA0002267057630000068
记W为块对角阵
Figure BDA0002267057630000069
使得f∈V且泛函式(5)的最小化等价于求解式(6)的最小平方问题。
Figure BDA00022670576300000610
其中，矩阵
Figure BDA00022670576300000611
有2K+1行并且每个2Kd+1列的特征通道d包含一个对角块
Figure BDA00022670576300000612
其对角线元素为
Figure BDA00022670576300000613
式(6)中‖·‖2表示在
Figure BDA00022670576300000614
中标准的欧几里得范数。为获得正规方程的简化表达形式，定义样本矩阵
Figure BDA00022670576300000615
Figure BDA00022670576300000616
对角权重矩阵
Figure BDA00022670576300000617
和标志向量
Figure BDA00022670576300000618
公式(6)的极小值可以通过求解公式(7)的正规方程获得。
Figure BDA00022670576300000619
其中，H矩阵的共轭转置，如果ω的非零傅里叶系数数目较小，公式(7)则为一个稀疏线性方程。
通过对定义在实线上的函数周期性重复构造yj和bd，函数g的周期T循环定义为
Figure BDA00022670576300000620
在推导得到的傅里叶域式(5)中，函数yj和bd由各自的傅里叶系数表示，周期重复gT的傅里叶系数由g(t)的连续傅里叶变换
Figure BDA00022670576300000621
表示为
Figure BDA00022670576300000622
构造期望的卷积输出yj，uj∈[0,T)表示目标点的估计位置，定义yj为以uj为中心的高斯函数
Figure BDA00022670576300000623
的周期重复。式(8)给出了对应的傅里叶系数。
Figure BDA0002267057630000071
变量σ2设置为一个较小的数以获得一个尖锐的峰值。进一步，这保证了空间混淆可以被忽略，函数bd的构造基于三次样条核b(t)，内插函数bd被设置成核
Figure BDA0002267057630000072
经缩放和平移后的周期性重复，以保持特征金字塔的空间排列。bd的傅里叶级数表示为
Figure BDA0002267057630000073
将上述过程扩展到二维空间，对于图像我们使用含两个变量的平方可积的周期函数g(t1,t2)形成空间L2(T1,T2)，而复数指数由
Figure BDA0002267057630000074
对于期望卷积输出yj，采用二维高斯函数。此外，插值函数是以可分离的形式获得的三次样条内核的组合，例如b(t1,t2)＝b(t1)b(t2)。通过共轭梯度法实现对应通道连续空间的滤波器的构建。
针对经过一系列处理后的跟踪目标区域的特征集，CNN特征的浅层特征为M*N*16，深层特征为
Figure BDA0002267057630000075
FHOG特征为M*N*10，CN特征为M*N*3；经过处理后的特征样本x和目标输出y的联合概率分布可以表示为p(x,y)，公式(3)的目标函数可以进一步的转化为式(9)所示；由于目标输出的y的形状是一致的，均为峰值为中心的高斯函数，只是峰值的位置不一致，在频域中通过平移确保输出的一致性；因此，p(x,y)可以简化为p(x)，应用GMM对p(x)进行建模，模型如公式(10)所示，其中L为样本的组数；每组的更新过程中，当获得新的样本时xj，初始化一个分组m，表示为πm＝γ，μm＝xj，如果分组的数目超过L时，丢弃全组中权重最小的分组，否则合并两个最近的分组，分组之间的距离通过帕斯瓦尔斯公式计算获得，如式(11)所示，对于分组中最相近的k组和l组，合并后的分组n的参数计算如式(12)所示；最终，公式(9)可以由公式(13)近似给出。
Figure BDA0002267057630000081
Figure BDA0002267057630000082
Dkl＝‖μk-μl‖ (11)
Figure BDA0002267057630000083
Figure BDA0002267057630000084
进一步地，步骤7中，对多分辨率特征图应用滤波器进行滤波处理，最终获得各个通道特征对应的响应矩阵，包括：
通过对式(13)进行的共轭梯度法迭代，最终获得最优的滤波器f，对于候选目标区域的不同尺度的特征
Figure BDA0002267057630000085
对应于第i的尺度si，与尺度i对应的响应图像的计算如式(14)所示，滤波器f与经过插值处理的特征
Figure BDA0002267057630000086
进行相关，获得相应的响应矩阵，响应的结果Ri为D个通道。
Figure BDA0002267057630000087
8.根据权利要求1所述的一种基于迭代法构建相关滤波响应的目标跟踪方法，其特征在于，应用AdaBoost算法的思想对响应矩阵进行处理，构建最终的响应矩阵，确定跟踪目标的尺度及位置，包括：
为了应用AdaBoost算法，首先对响应结果矩阵
Figure BDA0002267057630000088
中每一个通道进行处理。针对
Figure BDA0002267057630000089
中的第d通道的响应结果矩阵
Figure BDA00022670576300000810
响应结果的高斯标签为y0，应用公式(15)将第d通道的响应结果矩阵
Figure BDA00022670576300000811
进行转换，转换的结果为二值矩阵
Figure BDA00022670576300000812
元素由1和-1组成，其中，(v1,v2)表示矩阵中的坐标，D为响应的通道数，与跟踪目标的特征的通道数相同，经过式(15)处理后的响应矩阵用
Figure BDA0002267057630000091
表示。跟踪目标区域的标签y0经过公式(15)处理后的结果为Y0。
Figure BDA0002267057630000092
矩阵中的像素点数为Q＝M*N。
Figure BDA0002267057630000093
矩阵中每个元素对应的权重ω＝1/Q。响应图像描述中，误差产生的原因为：理想情况下，目标区域的标签应该符合高斯分布，超过目标的区域的部分的标签的值应该为零，实际的响应矩阵中，目标区域很可能包含零值的元素，而目标之外的部分可能存在非零的值，这些值在构建最终的响应图像时都会造成影响，产生相应的误差，可以理解为在目标最终响应的确定过程中，背景区域的非零值对最终的响应结果影响最大，可以认为是背景中包含了前景的响应值，因此，为了构建理想的响应图像，计算每一帧的响应矩阵的误差值，然后第一次迭代选择最小误差值的响应矩阵为初始矩阵。采用循环迭代的方式实现最终拟合的响应矩阵的背景区域中误差值最小，从而构建最终的响应矩阵。
Figure BDA0002267057630000094
在响应矩阵中，目标区域为-1的部分和目标区域以外的背景区域中为1的部分都是对最终的响应矩阵产生误差影响的元素。因此，通过公式(16)统计目标区域中-1的部分和背景区域的投影图像的值为1的部分。统计结果的误差最小的响应矩阵为最优的响应矩阵，设定第α次迭代时，
Figure BDA0002267057630000095
响应矩阵中的元素的权重表示为。
Figure BDA0002267057630000096
式(16)中，[·]为克罗内克函数，在尺为si的响应通道集合中，通过式(16)确定通道中误差最小的响应矩阵
Figure BDA0002267057630000097
为第α次迭代获得的最优的响应矩阵。同时，通过式(17)确定该通道的响应矩阵在最终响应矩阵构建中的贡献度βα。确定最优响应矩阵后，通过公式(18)更新其余响应矩阵中的元素的权重值，然后循环执行迭代过程，最终通过公式(19)确定最终的响应结果矩阵，其中，
Figure BDA0002267057630000101
表示在si尺度下的响应图像矩阵，Res(si)表示应用AdaBoost算法处理后获得的与尺度si对应的最终的响应结果矩阵。
Figure BDA0002267057630000102
Figure BDA0002267057630000103
Figure BDA0002267057630000104
Figure BDA0002267057630000105
通过公式(19)获得最终的不同尺度的响应图像，应用牛顿法和黑森矩阵确定连续空间响应图像中的最大值的位置和对应的尺度。最大值位置的坐标即为当前帧中的目标相对于上一帧中目标位置的偏移量。通过线性叠加确定最终的跟踪目标的位置和大小。
附图说明
图1为基于AdaBoost算法构建相关滤波响应图像跟踪方法的流程图；
图2为标准跟踪视频经过变换后的Padding区域和目标区域示例；
图3为对应的通道的特征连续空间插值与重新采样后多分辨率的特征图示例；
图4为插值特征、滤波器与滤波器结果示例；
具体实施方式
下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
实施例一
针对基于相关滤波和融合特征的目标跟踪算法中通过多通道响应图像的求和确定最终响应图像，进而确定跟踪目标偏移位置和尺度的方法中存在的缺陷，本发明提出了一种基于迭代法构建相关滤波响应的目标跟踪方法，该方法以ECO跟踪算法为基本框架，在获得多通道响应图像的基础上，引入AdaBoost算法，应用AdaBoost算法实现多通道响应图像的互补性的线性叠加，从而替代传统的求和方式，在选择较少的响应图像的前提下可以构造有效的响应图像矩阵，降低最终的响应图像中多峰值出现的概率，降低了不敏感通道对最终响应图像构建的影响。系统整体流程如图1所示，包括以下步骤：
110、确定初始帧中跟踪目标的位置及区域大小，提取跟踪目标区域的CNN特征、CN特征、FHOG特征并进行加窗处理。
依据标准跟踪视频提供的groundtruth.txt文件确定跟踪目标的初始位置及矩形区域的大小，为了便于进行跟踪目标区域的尺度确定，设定搜索区域的大小为4倍的目标区域大小，同时设定搜索区域的大小为200*200至250*250之间的正方形区域，如果搜索目标区域不在此范围则通过图像的缩放方式将原始图像缩放至此范围，图2给出标准跟踪视频经过变换后的Padding区域和目标区域。跟踪目标的矩形区域的大小也按照相同的比例进行缩放。然后通过VGG-Net的网络结构提取跟踪目标区域的深度特征，提取网络结构中的第三层和第十四层的特征作为跟踪目标区域的深度特征，分别为96通道和512通道。提取目标区域的FHOG特征，提取目标区域的CN特征。依据跟踪目标实际区域和Padding区域的大小构建高斯标签，创建对应的余弦窗，应用构建的余弦窗对提取到的特征进行加窗处理。
120、将加窗处理后的特征进行傅里叶变换，通过频域隐式插值将特征图插值到连续空域，构建多分辨率特征图。
为了处理连续空间域内的学习问题，引入了训练样本的内插模型。将区间
Figure BDA0002267057630000123
视作特征图的空间支持，T为坐标系缩放比，对于每一个特征通道d。内插操作
Figure BDA0002267057630000121
如公式(1)所示：
Figure BDA0002267057630000122
插值样本Jd{xd}(t)由一个内插函数bd∈L2(T)的各个平移形式的叠加构造。特征值xd[n]为每个平移后的函数加权值，与传统的离散DCF方程的周期假设类似，特征图的周期扩展被应用到公式(1)中。图3给出了对应的通道的特征连续空间插值与重新采样后多分辨率的特征图。
130、应用PCA方法构建CNN特征、CN特征、FHOG特征的降维矩阵。确定特征降维的结果通道数，深度网络特征中的96个通道的浅层特征，512个通道的深层语义特征，分别降维为16个通道和64个通道，将31个通道的FHOG特征降维为10个通道，10通道的多颜色特征降维为3个通道。深度特征提取采用的是VGG-Net网络的第三层和第十四层。将经过尺度校正的跟踪目标区域的图像输入VGG-Net网络，然后提取到第三层的96通道的特征和512个通道的第十四层特征。提取目标区域的FHOG特征，
CN特征。对提取到的特征通过PCA的方式进行降维处理，最终获得16个通道的浅层特征，64个通道的较深层特征，10个通道的FHOG特征和3个通道的CN特征，最终获得特征降维的投影矩阵，用投影矩阵对特征进行降维处理，获得最终的降维特征。
140、构建基于GMM模型的样本特征集合，应用共轭梯度法进行迭代构建特征滤波器。
插值的目的是为了获得连续卷积算子：Sf:x→L2(T)，该算子将样本x∈x映射到一个定义在连续区间[0,T)中的目标置信函数s(t)＝Sf{x}(t)，
Figure BDA0002267057630000137
Figure BDA0002267057630000136
为目标在图像中的位置t∈[0,T)处的置信分数。与DCF方式类似，目标通过寻找图片区域中的最大置信分确定目标的相对平移量。由于置信分是在连续域上定义的，因此，可以具有更高的定位精度。
在连续域方程中，算子Sf是由一系列卷积滤波器f＝(f1,…,fD)∈L2(T)D参数化的。fd∈L2(T)是针对特征通道d的连续滤波器，卷积算子如式(2)所示：
Figure BDA0002267057630000131
每个特征通道首先依据公式(2)插值，然后和对应的滤波器进行卷积，所有滤波器的卷积响应求和产生最终的置信函数。
在标准的DCF中，每一个训练样本由一个代表期望卷积输出的离散函数标定。与之不同的是，样本xj∈x由定义在连续空间域内的置信函数yj∈L2(T)标定，其中，yj是卷积算子Sf{xj}应用到训练样本xj上的设计输出，这使得亚像素精度信息在学习中合并了。滤波器f在给定的m个训练样本对
Figure BDA0002267057630000132
Figure BDA0002267057630000133
下训练，即最小化泛函，如式(3)所示：
Figure BDA0002267057630000134
其中，权重αj≥0为每个训练样本的影响力，
Figure BDA0002267057630000135
为空间正则化项，它由惩罚函数ω决定。空间正则化可以确保滤波器能够通过控制滤波器的空间长度在任意大的区域上学习。通常对目标背景的空间区域在ω中被分配更大的惩罚值，而目标区域则对应较小的惩罚值。因此，ω代表着依赖于其空间位置的特征先验知识，惩罚函数ω定义在整个连续区域[0,T)中，并周期性拓展到了ω∈L2(T)。公式(3)要求||ωfd||<∞，即ω含有有限个非零傅里叶系数
Figure BDA0002267057630000141
为了训练滤波器f，需要在傅里叶域中最小化泛函公式(3)。插值后特征图的傅里叶系数可以由
Figure BDA0002267057630000142
表示，其中，
Figure BDA0002267057630000143
Figure BDA0002267057630000144
是xd的离散傅里叶变换。通过线性和卷积性质，输出置信函数式(2)的傅里叶系数推导可得到式(4)。
Figure BDA0002267057630000145
通过应用帕斯瓦尔公式和式(3)，式(4)可以得到式(5)。
Figure BDA0002267057630000146
泛函E(f)最小化等价于其相对每个滤波器fd的傅里叶系数
Figure BDA0002267057630000147
的最小化。利用傅里叶域的式(5)去最小化原始的代价函数式(3)。滤波器f需要由一个有限参数集合表示，通过最小化由有限维子空间
Figure BDA0002267057630000148
Figure BDA0002267057630000149
表示的式(5)来获得有限描述。相对于系数
Figure BDA00022670576300001410
最小化式(5)，同时假设当|k|>Kd时，
Figure BDA00022670576300001411
Kd决定了学习过程中对于特征通道d中被计算的滤波器系数
Figure BDA00022670576300001412
的数目。增加Kd可以获得更好的滤波器估计，但是需要增加了计算量和存储消耗。设置
Figure BDA00022670576300001413
使得d通道存储的滤波器系数的数目和训练样本xd的空间分辨率Nd相等。
为了推导满足f∈V的最小化问题式(5)的解，引入了非零傅里叶系数的组成的向量
Figure BDA00022670576300001414
并且定义系数向量
Figure BDA00022670576300001415
Figure BDA00022670576300001416
进一步定义
Figure BDA00022670576300001417
是yj的前
Figure BDA00022670576300001418
个傅里叶系数的向量形式。为了简化式(5)中的正则化形式，令L表示
Figure BDA00022670576300001419
中非零系数的数量，因此对所有|k|>L，有
Figure BDA00022670576300001420
进一步定义Wd为(2Kd+2L+1)×(2Kd+1)的托普利兹矩阵，其对应着卷积算子
Figure BDA0002267057630000151
记W为块对角阵
Figure BDA0002267057630000152
使得f∈V且泛函式(5)的最小化等价于求解式(6)的最小平方问题。
Figure BDA0002267057630000153
其中，矩阵
Figure BDA0002267057630000154
有2K+1行并且每个2Kd+1列的特征通道d包含一个对角块
Figure BDA0002267057630000155
其对角线元素为
Figure BDA0002267057630000156
式(6)中‖·‖2表示在
Figure BDA0002267057630000157
中标准的欧几里得范数。为获得正规方程的简化表达形式，定义样本矩阵
Figure BDA0002267057630000158
Figure BDA0002267057630000159
对角权重矩阵
Figure BDA00022670576300001510
和标志向量
Figure BDA00022670576300001511
公式(6)的极小值可以通过求解公式(7)的正规方程获得。
Figure BDA00022670576300001512
其中，H矩阵的共轭转置，如果ω的非零傅里叶系数数目较小，公式(7)则为一个稀疏线性方程。
通过对定义在实线上的函数周期性重复构造yj和bd，函数g的周期T循环定义为
Figure BDA00022670576300001513
在推导得到的傅里叶域式(5)中，函数yj和bd由各自的傅里叶系数表示，周期重复gT的傅里叶系数由g(t)的连续傅里叶变换
Figure BDA00022670576300001514
表示为
Figure BDA00022670576300001515
构造期望的卷积输出yj，uj∈[0,T)表示目标点的估计位置，定义yj为以uj为中心的高斯函数
Figure BDA00022670576300001516
的周期重复。式(8)给出了对应的傅里叶系数。
Figure BDA00022670576300001517
变量σ2设置为一个较小的数以获得一个尖锐的峰值。进一步，这保证了空间混淆可以被忽略，函数bd的构造基于三次样条核b(t)，内插函数bd被设置成核
Figure BDA00022670576300001518
经缩放和平移后的周期性重复，以保持特征金字塔的空间排列。bd的傅里叶级数表示为
Figure BDA0002267057630000161
将上述过程扩展到二维空间，对于图像我们使用含两个变量的平方可积的周期函数g(t1,t2)形成空间L2(T1,T2)，而复数指数由
Figure BDA0002267057630000162
对于期望卷积输出yj，采用二维高斯函数。此外，插值函数是以可分离的形式获得的三次样条内核的组合，例如b(t1,t2)＝b(t1)b(t2)。通过共轭梯度法实现对应通道连续空间的滤波器的构建。
针对经过一系列处理后的跟踪目标区域的特征集，CNN特征的浅层特征为M*N*16，深层特征为
Figure BDA0002267057630000163
FHOG特征为M*N*10，CN特征为M*N*3；经过处理后的特征样本x和目标输出y的联合概率分布可以表示为p(x,y)，公式(3)的目标函数可以进一步的转化为式(9)所示；由于目标输出的y的形状是一致的，均为峰值为中心的高斯函数，只是峰值的位置不一致，在频域中通过平移确保输出的一致性；因此，p(x,y)可以简化为p(x)，应用GMM对p(x)进行建模，模型如公式(10)所示，其中L为样本的组数；每组的更新过程中，当获得新的样本时xj，初始化一个分组m，表示为πm＝γ，μm＝xj，如果分组的数目超过L时，丢弃全组中权重最小的分组，否则合并两个最近的分组，分组之间的距离通过帕斯瓦尔斯公式计算获得，如式(11)所示，对于分组中最相近的k组和l组，合并后的分组n的参数计算如式(12)所示；最终，公式(9)可以由公式(13)近似给出。图4给出通道的插值特征与对应的滤波器的示例。
Figure BDA0002267057630000164
Figure BDA0002267057630000165
Dkl＝‖μk-μl‖ (11)
Figure BDA0002267057630000171
Figure BDA0002267057630000172
150、依据前一帧确定的跟踪目标的位置及大小确定候选目标区域，提取候选目标区域的多尺度的CNN、CN、FHOG特征，并应用投影矩阵进行降维并加窗处理。
上一帧中跟踪目标的实际位置和大小，首先构建一个7个元素的尺度集合，尺度变化的步长为1.01。通过第一帧中跟踪目标的大小确定搜索区域，搜索区域的大小为目标大小的4倍，如果4倍的大小超过200*200而小于250*250，则原始图像的尺度变换值为1，当不在200*200～250*250的范围时，对原始图像采用尺度变换的方式对原始图像进行变换，变换的结果确保跟踪目标的搜索区域在设定的范围之内。在转换后的原始图像中提取候选目标搜索区域的深度特征，CN特征，FHOG特征等。以Bascatball标准跟踪视频为例，应用VGGNet网络提取到单一尺度的53*53*96维的浅层的深度特征，13*13*512维的深层的深度特征，53*53*31维的FHOG特征，53*53*10维的CN特征，针对7个不同尺度的所获得的特征维数不一致的情况，通过双线性插值最终获得多尺度的特征集合为深度特征53*53*96*7，13*13*512*7，FHOG特征53*53*31*7，CN特征53*53*10*7。应用通过PCA算法获得的投影矩阵96*16，512*64，30*10，10*3分别对CNN特征和FHOG特征，CN特征进行降维并加窗处理，最终获得的多尺度的原始特征集合为深度特征53*53*16*7，13*13*64*7，FHOG特征53*53*10*7，CN特征53*53*3*7。
160、将加窗处理后的特征进行傅里叶变换，通过频域隐式插值将特征图插值到连续空域，构建多分辨率特征图。
将处理后的特征集合中的深度特征53*53*16*7，13*13*64*7，FHOG特征53*53*10*7，CN特征53*53*3*7进行傅里叶变换，对变换的结果进行插值到连续的空间，最终构建多分辨率的与原始特征对应的特征图集合53*53*16*7，13*13*64*7，53*53*10*7，53*53*3*7。
170、对多分率特征图应用滤波器进行滤波处理，最终获得各个通道特征对应的响应矩阵；
对于候选目标区域的不同尺度的特征
Figure BDA00022670576300001810
对应于第i的尺度si，与尺度i对应的响应图像的计算如式(14)所示，滤波器f与经过插值处理的特征
Figure BDA00022670576300001811
进行相关，获得相应的响应矩阵，响应的结果Ri为D个通道。通过滤波器f对经过插值的特征集合53*53*16*7，13*13*64*7，53*53*10*7，53*53*3*7进行滤波处理，最终获得尺度相同的滤波结果集合，滤波的结果集合包括53*53*16*7，13*13*64*7，53*53*10*7，53*53*3*7。
Figure BDA0002267057630000181
180、应用AdaBoost算法的思想对响应矩阵进行处理，构建最终的响应矩阵，确定跟踪结果。
为了应用AdaBoost算法，首先对响应结果矩阵
Figure BDA0002267057630000182
中每一个通道进行处理。针对
Figure BDA0002267057630000183
中的第d通道的响应结果矩阵
Figure BDA0002267057630000184
响应结果的高斯标签为y0，应用公式(15)将第d通道的响应结果矩阵
Figure BDA0002267057630000185
进行转换，转换的结果为二值矩阵
Figure BDA0002267057630000186
元素由1和-1组成，其中，(v1,v2)表示矩阵中的坐标，D为响应的通道数，与跟踪目标的特征的通道数相同，经过式(15)处理后的响应矩阵用
Figure BDA0002267057630000187
表示。跟踪目标区域的标签y0经过公式(15)处理后的结果为Y0。
Figure BDA0002267057630000188
矩阵中的像素点数为Q＝M*N。
Figure BDA0002267057630000189
矩阵中每个元素对应的权重ω＝1/Q。响应图像描述中，误差产生的原因为：理想情况下，目标区域的标签应该符合高斯分布，超过目标的区域的部分的标签的值应该为零，实际的响应矩阵中，目标区域很可能包含零值的元素，而目标之外的部分可能存在非零的值，这些值在构建最终的响应图像时都会造成影响，产生相应的误差，可以理解为在目标最终响应的确定过程中，背景区域的非零值对最终的响应结果影响最大，可以认为是背景中包含了前景的响应值，因此，为了构建理想的响应图像，计算每一帧的响应矩阵的误差值，然后第一次迭代选择最小误差值的响应矩阵为初始矩阵。采用循环迭代的方式实现最终拟合的响应矩阵的背景区域中误差值最小，从而构建最终的响应矩阵。
Figure BDA0002267057630000191
在响应矩阵中，目标区域为-1的部分和目标区域以外的背景区域中为1的部分都是对最终的响应矩阵产生误差影响的元素。因此，通过公式(16)统计目标区域中-1的部分和背景区域的投影图像的值为1的部分。统计结果的误差最小的响应矩阵为最优的响应矩阵，设定第α次迭代时，
Figure BDA0002267057630000192
响应矩阵中的元素的权重表示为。
Figure BDA0002267057630000193
式(16)中，[·]为克罗内克函数，在尺为si的响应通道集合中，通过式(16)确定通道中误差最小的响应矩阵
Figure BDA0002267057630000194
为第α次迭代获得的最优的响应矩阵。同时，通过式(17)确定该通道的响应矩阵在最终响应矩阵构建中的贡献度βα。确定最优响应矩阵后，通过公式(18)更新其余响应矩阵中的元素的权重值，然后循环执行迭代过程，最终通过公式(19)确定最终的响应结果矩阵，其中，
Figure BDA0002267057630000195
表示在si尺度下的响应图像矩阵，Res(si)表示应用AdaBoost算法处理后获得的与尺度si对应的最终的响应结果矩阵。
Figure BDA0002267057630000201
Figure BDA0002267057630000202
Figure BDA0002267057630000203
Figure BDA0002267057630000204
通过公式(19)获得最终的不同尺度的响应图像，应用牛顿法和黑森矩阵确定连续空间响应图像中的最大值的位置和对应的尺度。最大值位置的坐标即为当前帧中的目标相对于上一帧中目标位置的偏移量。通过线性叠加确定最终的跟踪目标的位置和大小。
190、提取跟踪结果区域的深度特征并做相应的处理，处理结果特征添加入GMM高斯模型的样本集合，更新样本集相关参数，更新滤波器。
在跟踪过程中，确定跟踪结果后，提取跟踪结果区域的跟踪目标特征，投影加窗处理，傅里叶变换并进行插值，将最终获得的特征添加入GMM模型。依据公式(11)和公式(12)对GMM模型中的样本进行更新，并更新相关的参数。在跟踪过程中，当经过的帧数等于设定更新的阈值时，启动滤波器更新策略，应用更新的GMM模型中的样本数据对滤波器进行更新，确定更新后的滤波器。为下一次的特征滤波做准备。
200、循环执行150、160、170、180、190。
为了实现对标准视频的连续跟踪，循环执行步骤150，步骤160，步骤170，步骤180，步骤190最终实现对目标的连续跟踪。
上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims (9)

1.一种基于迭代法构建相关滤波响应的目标跟踪方法，其特征在于，包括以下步骤：
S1、确定初始帧中跟踪目标的位置及区域大小，提取跟踪目标区域的CNN(Convolutional Neural Networks)特征、CN(Color Names)特征、FHOG(Fused Histogramof oriented gradients)特征并进行加窗处理；
S2、将步骤S1加窗处理后的特征进行傅里叶变换，通过频域隐式插值将特征图插值到连续空域，构建多分辨率特征图；
S3、应用PCA方法构建CNN特征、CN特征、FHOG特征的降维矩阵；
S4、构建基于GMM模型的样本特征集合，应用共轭梯度法进行迭代构建特征滤波器；
S5、依据前一帧确定的跟踪目标的位置及大小确定候选目标区域，提取候选目标区域的多尺度的CNN、CN、FHOG特征，降维并应用余弦窗做加窗处理；
S6、将步骤S5加窗处理后的特征进行傅里叶变换，通过频域隐式插值将特征图插值到连续空域，构建多分辨率特征图；
S7、对多分率特征图应用滤波器进行滤波处理，最终获得各个通道特征对应的响应矩阵；
S8、应用AdaBoost算法对响应矩阵进行处理，构建最终的响应矩阵，确定最终的跟踪结果；
S9、提取跟踪结果区域的深度特征并做相应的处理，处理结果特征添加入GMM高斯模型的样本集合，更新样本集相关参数，更新特征滤波器；
S10、循环执行S5、S6、S7、S8、S9。
2.根据权利要求1所述的一种基于迭代法构建相关滤波响应的目标跟踪方法，其特征在于，所述的提取跟踪目标区域的CNN特征、CN特征、FHOG特征并进行加窗处理，包括：
依据标准跟踪视频提供的groundtruth.txt文件确定跟踪目标的初始位置及矩形区域的大小，设定搜索区域的大小为4倍的目标区域大小，同时设定搜索区域的大小为200*200至250*250之间的正方形区域，如果搜索目标区域不在此范围则通过图像的缩放方式将原始图像缩放至此范围；跟踪目标的矩形区域的大小也按照相同的比例进行缩放；然后通过VGG-Net的网络结构提取跟踪目标区域的CNN特征，提取网络结构中的第三层和第十四层的特征作为跟踪目标区域的深度特征，分别为96通道和512通道；提取目标区域的FHOG特征，提取目标区域的CN特征；依据跟踪目标实际区域和Padding区域的大小构建高斯标签，创建对应的余弦窗，应用构建的余弦窗对提取到的特征进行加窗处理。
3.根据权利要求1所述的一种基于迭代法构建相关滤波响应的目标跟踪方法，其特征在于，通过频域隐式插值将特征图插值到连续空域，构建多分辨率特征图包括：
应用CCOT算法中提出的新型学习方式，目标在于训练一个基于训练样本xj的连续卷积算子，这些样本为目标区域提取的D个通道的特征
Figure FDA0002267057620000021
传统的DCF方程中均假设每个特征通道有着相同的空间分辨率，而CCOT中减少了这个限制并且让Nd指代
Figure FDA0002267057620000022
中的采样数，特征通道
Figure FDA0002267057620000023
被看作是由离散空间变量n∈{0,…,Nd}索引的函数
Figure FDA0002267057620000024
采样空间表达成
Figure FDA0002267057620000025
Figure FDA0002267057620000026
为了处理连续空间域内的学习问题，引入了训练样本的内插模型，将区间
Figure FDA0002267057620000027
视作特征图的空间支持，T为坐标系缩放比，对于每一个特征通道d，内插操作
Figure FDA0002267057620000031
如公式(1)所示：
Figure FDA0002267057620000032
插值样本Jd{xd}(t)由一个内插函数bd∈L2(T)的各个平移形式的叠加构造，特征值xd[n]为每个平移后的函数加权值，与传统的离散DCF方程的周期假设类似，特征图的周期扩展被应用到公式(1)中；
插值的目的是为了获得连续卷积算子：
Figure FDA0002267057620000033
该算子将样本
Figure FDA0002267057620000034
Figure FDA0002267057620000035
映射到一个定义在连续区间[0,T)中的目标置信函数s(t)＝Sf{x}(t)，
Figure FDA0002267057620000036
Figure FDA0002267057620000037
为目标在图像中的位置t∈[0,T)处的置信分数，与DCF方式类似，目标通过寻找图片区域中的最大置信分确定目标的相对平移量，由于置信分是在连续域上定义的，因此，可以具有更高的定位精度；
在连续域方程中，算子Sf是由一系列卷积滤波器f＝(f1,…,fD)∈L2(T)D参数化的，fd∈L2(T)是针对特征通道d的连续滤波器，卷积算子如式(2)所示：
Figure FDA0002267057620000038
每个特征通道首先依据公式(2)插值，然后和对应的滤波器进行卷积，所有滤波器的卷积响应求和产生最终的置信函数；
在标准的DCF中，每一个训练样本由一个代表期望卷积输出的离散函数标定，与之不同的是，样本
Figure FDA0002267057620000039
由定义在连续空间域内的置信函数yj∈L2(T)标定，其中，yj是卷积算子Sf{xj}应用到训练样本xj上的设计输出，这使得亚像素精度信息在学习中合并了，滤波器f在给定的m个训练样本对
Figure FDA00022670576200000310
Figure FDA00022670576200000311
下训练，即最小化泛函，如式(3)所示：
Figure FDA00022670576200000312
其中，权重αj≥0为每个训练样本的影响力，
Figure FDA00022670576200000313
为空间正则化项，它由惩罚函数ω决定，空间正则化可以确保滤波器能够通过控制滤波器的空间长度在任意大的区域上学习，通常对目标背景的空间区域在ω中被分配更大的惩罚值，而目标区域则对应较小的惩罚值，因此，ω代表着依赖于其空间位置的特征先验知识，惩罚函数ω定义在整个连续区域[0,T)中，并周期性拓展到了ω∈L2(T)，公式(3)要求||ωfd||<∞，即ω含有有限个非零傅里叶系数
Figure FDA0002267057620000041
为了训练滤波器f，需要在傅里叶域中最小化泛函公式(3)，插值后特征图的傅里叶系数可以由
Figure FDA0002267057620000042
表示，其中，
Figure FDA0002267057620000043
Figure FDA0002267057620000044
是xd的离散傅里叶变换；通过线性和卷积性质，输出置信函数式(2)的傅里叶系数推导可得到式(4)；
Figure FDA0002267057620000045
通过应用帕斯瓦尔公式和式(3)，式(4)可以得到式(5)；
Figure FDA0002267057620000046
泛函E(f)最小化等价于其相对每个滤波器fd的傅里叶系数
Figure FDA0002267057620000047
的最小化；利用傅里叶域的式(5)去最小化原始的代价函数式(3)；滤波器f需要由一个有限参数集合表示，通过最小化由有限维子空间
Figure FDA0002267057620000048
Figure FDA0002267057620000049
表示的式(5)来获得有限描述；相对于系数
Figure FDA00022670576200000410
最小化式(5)，同时假设当|k|>Kd时,
Figure FDA00022670576200000411
Kd决定了学习过程中对于特征通道d中被计算的滤波器系数
Figure FDA00022670576200000412
的数目，增加Kd可以获得更好的滤波器估计，但是需要增加了计算量和存储消耗，设置
Figure FDA00022670576200000413
使得d通道存储的滤波器系数的数目和训练样本xd的空间分辨率Nd相等；
为了推导满足f∈V的最小化问题式(5)的解，引入了非零傅里叶系数的组成的向量
Figure FDA0002267057620000051
并且定义系数向量
Figure FDA0002267057620000052
Figure FDA0002267057620000053
进一步定义
Figure FDA0002267057620000054
是yj的前
Figure FDA0002267057620000055
个傅里叶系数的向量形式；为了简化式(5)中的正则化形式，令L表示
Figure FDA0002267057620000056
中非零系数的数量，因此对所有|k|>L，有
Figure FDA0002267057620000057
进一步定义Wd为(2Kd+2L+1)×(2Kd+1)的托普利兹矩阵，其对应着卷积算子
Figure FDA0002267057620000058
记W为块对角阵
Figure FDA0002267057620000059
使得f∈V且泛函式(5)的最小化等价于求解式(6)的最小平方问题；
Figure FDA00022670576200000510
其中，矩阵
Figure FDA00022670576200000511
有2K+1行并且每个2Kd+1列的特征通道d包含一个对角块
Figure FDA00022670576200000512
其对角线元素为
Figure FDA00022670576200000513
式(6)中‖·‖2表示在
Figure FDA00022670576200000514
中标准的欧几里得范数；为获得正规方程的简化表达形式，定义样本矩阵
Figure FDA00022670576200000515
Figure FDA00022670576200000516
对角权重矩阵
Figure FDA00022670576200000517
和标志向量
Figure FDA00022670576200000518
公式(6)的极小值可以通过求解以下正规方程获得：
Figure FDA00022670576200000519
其中，AH和WH分别为矩阵A和矩阵W的共轭转置，如果ω的非零傅里叶系数数目较小，公式(7)则为一个稀疏线性方程；
通过对定义在实线上的函数周期性重复构造yj和bd，函数g的周期T循环定义为
Figure FDA00022670576200000520
在推导得到的傅里叶域式(5)中，函数yj和bd由各自的傅里叶系数表示，周期重复gT的傅里叶系数由g(t)的连续傅里叶变换
Figure FDA00022670576200000521
表示为
Figure FDA00022670576200000522
构造期望的卷积输出yj，uj∈[0,T)表示目标点的估计位置，定义yj为以uj为中心的高斯函数
Figure FDA00022670576200000523
的周期重复，式(8)给出了对应的傅里叶系数；
Figure FDA0002267057620000061
变量σ2设置为一个较小的数以获得一个尖锐的峰值，进一步，这保证了空间混淆可以被忽略，函数bd的构造基于三次样条核b(t)，内插函数bd被设置成核
Figure FDA0002267057620000062
经缩放和平移后的周期性重复，以保持特征金字塔的空间排列，bd的傅里叶级数表示为
Figure FDA0002267057620000063
将上述过程扩展到二维空间，对于图像我们使用含两个变量的平方可积的周期函数g(t1,t2)形成空间L2(T1,T2)，而复数指数由
Figure FDA0002267057620000064
对于期望卷积输出yj，采用二维高斯函数，此外，插值函数是以可分离的形式获得的三次样条内核的组合，例如b(t1,t2)＝b(t1)b(t2)；通过共轭梯度法实现对应通道连续空间的滤波器的构建。
4.根据权利要求1所述的一种基于迭代法构建相关滤波响应的目标跟踪方法，其特征在于，应用PCA方法构建CNN特征、CN特征、FHOG特征的降维矩阵，包括：
确定特征降维的结果通道数，深度网络特征中的96个通道的浅层特征，512个通道的深层语义特征，分别降维为16个通道和64个通道，将31个通道的FHOG特征降维为10个通道，10通道的多颜色特征降维为3个通道；深度特征提取采用的是VGG-Net网络的第三层和第十四层；将经过尺度校正的跟踪目标区域的图像输入VGG-Net网络，然后提取到第三层的96通道的特征和512个通道的第十四层特征；提取目标区域的FHOG特征，CN特征；对提取到的特征通过PCA的方式进行降维处理，最终获得16个通道的浅层特征，64个通道的较深层特征，10个通道的FHOG特征和3个通道的CN特征，最终获得特征降维的投影矩阵和降维特征集合。
5.根据权利要求2所述的一种基于迭代法构建相关滤波响应的目标跟踪方法，其特征在于，构建基于GMM模型的样本特征集合，应用共轭梯度法进行迭代构建特征滤波器，包括：
针对经过一系列处理后的跟踪目标区域的特征集，CNN特征的浅层特征为M*N*16，深层特征为
Figure FDA0002267057620000071
FHOG特征为M*N*10，CN特征为M*N*3；经过处理后的特征样本x和目标输出y的联合概率分布可以表示为p(x，y)，公式(3)的目标函数可以进一步的转化为式(9)所示；由于目标输出的y的形状是一致的，均为峰值为中心的高斯函数，只是峰值的位置不一致，在频域中通过平移确保输出的一致性；因此，p(x，y)可以简化为p(x)，应用GMM对p(x)进行建模，模型如公式(10)所示，其中L为样本的组数；每组的更新过程中，当获得新的样本时xj，初始化一个分组m，表示为πm＝γ，μm＝xj，如果分组的数目超过L时，丢弃全组中权重最小的分组，否则合并两个最近的分组，分组之间的距离通过帕斯瓦尔斯公式计算获得，如式(11)所示，对于分组中最相近的k组和l组，合并后的分组n的参数计算如式(12)所示；最终，公式(9)可以由公式(13)近似给出；
Figure FDA0002267057620000072
Figure FDA0002267057620000073
Dkl＝‖μk-μl‖ (11)
Figure FDA0002267057620000074
Figure FDA0002267057620000075
6.根据权利要求1所述的一种基于迭代法构建相关滤波响应的目标跟踪方法，其特征在于，提取候选目标区域的多尺度的CNN、CN、FHOG特征，投影降维并应用余弦窗做加窗处理，包括：
以上一帧中确定的跟踪目标的位置及尺度构建当前帧中的跟踪目标的Padding区域，Padding区域对应于不同的尺度，由于跟踪目标的尺度不同，Padding区域的大小也不同，最终提取到的特征的尺度也不同，为了保持一致性，对不同尺度下的跟踪目标区域的特征进行线性插值或双线性插值，使得插值后的特征的尺度与上一帧中跟踪目标的特征尺度一致；然后将提取到的特征降维并应用余弦窗进行加窗处理。
7.根据权利要求5所述的一种基于迭代法构建相关滤波响应的目标跟踪方法，其特征在于，对多分率特征图应用滤波器进行滤波处理，最终获得各个通道特征对应的响应矩阵，包括：
通过对式(13)进行的共轭梯度法迭代，最终获得最优的滤波器f，对于候选目标区域的不同尺度的特征
Figure FDA0002267057620000081
对应于第i的尺度si，与尺度i对应的响应图像的计算如式(14)所示，滤波器f与经过插值处理的特征
Figure FDA0002267057620000082
进行相关，获得相应的响应矩阵，响应的结果Ri为D个通道；
Figure FDA0002267057620000083
8.根据权利要求1所述的一种基于迭代法构建相关滤波响应的目标跟踪方法，其特征在于，应用AdaBoost算法的思想对响应矩阵进行处理，构建最终的响应矩阵，确定跟踪目标的尺度及位置，包括：
为了应用AdaBoost算法，首先对响应结果矩阵
Figure FDA0002267057620000084
中每一个通道进行处理，针对
Figure FDA0002267057620000091
中的第d通道的响应结果矩阵
Figure FDA0002267057620000092
响应结果的高斯标签为y0，应用公式(15)将第d通道的响应结果矩阵
Figure FDA0002267057620000093
进行转换，转换的结果为二值矩阵
Figure FDA0002267057620000094
元素由1和-1组成，其中，(v1,v2)表示矩阵中的坐标，D为响应的通道数，与跟踪目标的特征的通道数相同，经过式(15)处理后的响应矩阵用
Figure FDA0002267057620000095
表示，跟踪目标区域的标签y0经过公式(15)处理后的结果为Y0；
Figure FDA0002267057620000096
矩阵中的像素点数为Q＝M*N，
Figure FDA0002267057620000097
矩阵中每个元素对应的权重ω＝1/Q；响应图像描述中，误差产生的原因为：理想情况下，目标区域的标签应该符合高斯分布，超过目标的区域的部分的标签的值应该为零，实际的响应矩阵中，目标区域很可能包含零值的元素，而目标之外的部分可能存在非零的值，这些值在构建最终的响应图像时都会造成影响，产生相应的误差，可以理解为在目标最终响应的确定过程中，背景区域的非零值对最终的响应结果影响最大，可以认为是背景中包含了前景的响应值，因此，为了构建理想的响应图像，计算每一帧的响应矩阵的误差值，然后第一次迭代选择最小误差值的响应矩阵为初始矩阵，采用循环迭代的方式实现最终拟合的响应矩阵的背景区域中误差值最小，从而构建最终的响应矩阵；
Figure FDA0002267057620000098
在响应矩阵中，目标区域为-1的部分和目标区域以外的背景区域中为1的部分都是对最终的响应矩阵产生误差影响的元素，因此，通过公式(16)统计目标区域中-1的部分和背景区域的投影图像的值为1的部分，统计结果的误差最小的响应矩阵为最优的响应矩阵，设定第α次迭代时,
Figure FDA0002267057620000099
响应矩阵中的元素的权重表示为；
Figure FDA00022670576200000910
式()16中，[·]为克罗内克函数，在尺为si的响应通道集合中，通过式(16)确定通道中误差最小的响应矩阵
Figure FDA0002267057620000101
为第α次迭代获得的最优的响应矩阵；同时，通过式(17)确定该通道的响应矩阵在最终响应矩阵构建中的贡献度βα；确定最优响应矩阵后，通过公式(18)更新其余响应矩阵中的元素的权重值，然后循环执行迭代过程，最终通过公式(19)确定最终的响应结果矩阵，其中，
Figure FDA0002267057620000102
表示在si尺度下的响应图像矩阵，Res(si)表示应用AdaBoost算法处理后获得的与尺度si对应的最终的响应结果矩阵；
Figure FDA0002267057620000103
Figure FDA0002267057620000104
Figure FDA0002267057620000105
Figure FDA0002267057620000106
通过公式(19)获得最终的不同尺度的响应图像，应用牛顿法和黑森矩阵确定连续空间响应图像中的最大值的位置和对应的尺度；最大值位置的坐标即为当前帧中的目标相对于上一帧中目标位置的偏移量；通过线性叠加确定最终的跟踪目标的位置和大小。
9.根据权利要求1所述的一种基于迭代法构建相关滤波响应的目标跟踪方法，其特征在于，GMM高斯模型的更新，更新滤波器，更新投影矩阵，包括：
在跟踪目标帧中确定了目标位置和大小后，通过特征提取、特征降维，加窗处理，傅里叶变换，转换至连续空间并重新采样，傅里叶域内的参数整合，最终的特征整合结果为最终的跟踪目标区域的特征描述，将此特征描述添加至样本数据集合；更新GMM模型及相关的参数，同时更新滤波器。
CN201911091780.4A 2019-11-11 2019-11-11 一种基于迭代法构建相关滤波响应的目标跟踪方法 Active CN111028265B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911091780.4A CN111028265B (zh) 2019-11-11 2019-11-11 一种基于迭代法构建相关滤波响应的目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911091780.4A CN111028265B (zh) 2019-11-11 2019-11-11 一种基于迭代法构建相关滤波响应的目标跟踪方法

Publications (2)

Publication Number Publication Date
CN111028265A true CN111028265A (zh) 2020-04-17
CN111028265B CN111028265B (zh) 2023-03-31

Family

ID=70205183

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911091780.4A Active CN111028265B (zh) 2019-11-11 2019-11-11 一种基于迭代法构建相关滤波响应的目标跟踪方法

Country Status (1)

Country Link
CN (1) CN111028265B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112330719A (zh) * 2020-12-02 2021-02-05 东北大学 基于特征图分割和自适应融合的深度学习目标跟踪方法
CN113177970A (zh) * 2021-04-29 2021-07-27 燕山大学 基于自适应特征融合的多尺度滤波目标跟踪方法
CN113184767A (zh) * 2021-04-21 2021-07-30 湖南中联重科智能高空作业机械有限公司 高空作业平台导航方法、装置、设备及高空作业平台
CN113989329A (zh) * 2021-11-01 2022-01-28 上海电力大学 一种基于相关滤波的在线目标跟踪方法
CN114926650A (zh) * 2022-04-11 2022-08-19 华南农业大学 基于多特征的滤波器降帧更新方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016026370A1 (en) * 2014-08-22 2016-02-25 Zhejiang Shenghui Lighting Co., Ltd. High-speed automatic multi-object tracking method and system with kernelized correlation filters
US9373036B1 (en) * 2015-01-16 2016-06-21 Toyota Motor Engineering & Manufacturing North America, Inc. Collaborative distance metric learning for method and apparatus visual tracking
CN109685073A (zh) * 2018-12-28 2019-04-26 南京工程学院 一种基于核相关滤波的尺度自适应目标跟踪算法
CN109741366A (zh) * 2018-11-27 2019-05-10 昆明理工大学 一种融合多层卷积特征的相关滤波目标跟踪方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016026370A1 (en) * 2014-08-22 2016-02-25 Zhejiang Shenghui Lighting Co., Ltd. High-speed automatic multi-object tracking method and system with kernelized correlation filters
US9373036B1 (en) * 2015-01-16 2016-06-21 Toyota Motor Engineering & Manufacturing North America, Inc. Collaborative distance metric learning for method and apparatus visual tracking
CN109741366A (zh) * 2018-11-27 2019-05-10 昆明理工大学 一种融合多层卷积特征的相关滤波目标跟踪方法
CN109685073A (zh) * 2018-12-28 2019-04-26 南京工程学院 一种基于核相关滤波的尺度自适应目标跟踪算法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李凯等: "基于分块的多特征融合变尺度目标跟踪算法", 《电视技术》 *
翁静文等: "基于ECO-HC的无人机指定行人稳定实时跟踪", 《传感器与微系统》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112330719A (zh) * 2020-12-02 2021-02-05 东北大学 基于特征图分割和自适应融合的深度学习目标跟踪方法
CN112330719B (zh) * 2020-12-02 2024-02-27 东北大学 基于特征图分割和自适应融合的深度学习目标跟踪方法
CN113184767A (zh) * 2021-04-21 2021-07-30 湖南中联重科智能高空作业机械有限公司 高空作业平台导航方法、装置、设备及高空作业平台
CN113177970A (zh) * 2021-04-29 2021-07-27 燕山大学 基于自适应特征融合的多尺度滤波目标跟踪方法
CN113989329A (zh) * 2021-11-01 2022-01-28 上海电力大学 一种基于相关滤波的在线目标跟踪方法
CN113989329B (zh) * 2021-11-01 2024-10-08 上海电力大学 一种基于相关滤波的在线目标跟踪方法
CN114926650A (zh) * 2022-04-11 2022-08-19 华南农业大学 基于多特征的滤波器降帧更新方法
CN114926650B (zh) * 2022-04-11 2024-08-02 华南农业大学 基于多特征的滤波器降帧更新方法

Also Published As

Publication number Publication date
CN111028265B (zh) 2023-03-31

Similar Documents

Publication Publication Date Title
CN111028265B (zh) 一种基于迭代法构建相关滤波响应的目标跟踪方法
CN108734659B (zh) 一种基于多尺度标签的亚像素卷积图像超分辨率重建方法
CN110119780B (zh) 基于生成对抗网络的高光谱图像超分辨重建方法
CN108986140B (zh) 基于相关滤波和颜色检测的目标尺度自适应跟踪方法
CN106952288B (zh) 基于卷积特征和全局搜索检测的长时遮挡鲁棒跟踪方法
CN106127688B (zh) 一种超分辨率图像重建方法及其系统
Molina et al. Bayesian multichannel image restoration using compound Gauss-Markov random fields
CN112529776B (zh) 图像处理模型的训练方法、图像处理方法及装置
CN105513033B (zh) 一种非局部联合稀疏表示的超分辨率重建方法
CN111008936A (zh) 一种多光谱图像全色锐化方法
CN115358953B (zh) 一种基于图像配准和动态目标融合的去湍流方法
CN112184549B (zh) 基于时空变换技术的超分辨图像重建方法
CN116664451B (zh) 基于多图像处理的测量机器人测量优化方法
CN113538374A (zh) 一种面向高速运动物体的红外图像模糊校正方法
Shangguan et al. Learning cross-video neural representations for high-quality frame interpolation
Liu et al. Video frame interpolation via optical flow estimation with image inpainting
CN115578255A (zh) 一种基于帧间亚像素块匹配的超分辨率重建方法
CN113344941A (zh) 一种基于聚焦图像的深度估计方法及图像处理装置
CN112017113B (zh) 图像处理方法及装置、模型训练方法及装置、设备及介质
Amiri et al. A fast video super resolution for facial image
CN113822823B (zh) 气动光学效应图像空变模糊核的点近邻复原方法及系统
CN115564688A (zh) 一种结合矩阵低秩分解和动态目标提取去湍流的方法
Chen et al. Single satellite imagery superresolution based on hybrid nonlocal similarity constrained convolution sparse coding
CN106033595A (zh) 一种基于局部约束的图像盲去模糊方法
CN114170087A (zh) 一种基于跨尺度低秩约束的图像盲超分辨率方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant