CN111028265B - 一种基于迭代法构建相关滤波响应的目标跟踪方法 - Google Patents

一种基于迭代法构建相关滤波响应的目标跟踪方法 Download PDF

Info

Publication number
CN111028265B
CN111028265B CN201911091780.4A CN201911091780A CN111028265B CN 111028265 B CN111028265 B CN 111028265B CN 201911091780 A CN201911091780 A CN 201911091780A CN 111028265 B CN111028265 B CN 111028265B
Authority
CN
China
Prior art keywords
target
response
matrix
feature
equation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911091780.4A
Other languages
English (en)
Other versions
CN111028265A (zh
Inventor
赵运基
范存良
周梦林
张楠楠
孔军伟
魏胜强
刘晓光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan University of Technology
Original Assignee
Henan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University of Technology filed Critical Henan University of Technology
Priority to CN201911091780.4A priority Critical patent/CN111028265B/zh
Publication of CN111028265A publication Critical patent/CN111028265A/zh
Application granted granted Critical
Publication of CN111028265B publication Critical patent/CN111028265B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于迭代法构建相关滤波响应的目标跟踪方法，包括以下步骤：S1、确定跟踪目标参数，提取融合特征并加窗处理；S2、通过频域隐式插值构建多分辨率特征图；S3、PCA方法构建特征降维矩阵；S4、应用共轭梯度法构建特征滤波器；S5、提取候选区域多尺度的融合特征并降维加窗；S6、频域隐式插值构建多分辨率特征图；S7、滤波处理获得各个通道的响应矩阵；S8、构建响应矩阵，确定跟踪结果；S9、更新GMM模型，更新滤波器；S10、循环执行S5、S6、S7、S8、S9。本发明可以有效降低特征冗余，限制较大误差的相关滤波响应对最终响应图的影响，提高跟踪方法效率。

Description

一种基于迭代法构建相关滤波响应的目标跟踪方法
技术领域
本发明涉及基于深度学习的目标跟踪领域，具体为一种基于迭代法构建相关滤波响应的目标跟踪方法。
背景技术
目标跟踪是计算机视觉领域中的研究热点之一。目前，在目标跟踪领域基于深度学习和相关滤波融合的方法占据主导地位。此类方法应用深度网络对跟踪目标进行特征提取，应用相关滤波的方法确定跟踪目标的位置。DeepSRDCF将SRDCF中的HOG特征替换为CNN中单层卷积层的深度特征(也就是卷积网络的激活值)，效果有了极大提升，在VOT2015中排名第二。HCF则结合多层卷积特征提升效果，用了VGG19的Conv5-4,Conv4-4和Conv3-4的激活值作为特征，所有特征都缩放到图像块分辨率，虽然按照论文应该是由粗到细确定目标，但代码中比较直接，三种卷积层的响应以固定权值1,0.5,0.02线性加权作为最终响应。虽然用了多层卷积特征，但没有关注边界效应而且线性加权的方式过于简单。C-COT是VOT2016的第一名，综合了SRDCF的空域正则化和SRDCFdecon的自适应样本权重，还将DeepSRDCF的单层卷积的深度特征扩展为多层卷积的深度特征(VGG第3和14层)，为了应对不同卷积层分辨率不同的问题，提出了连续空间域插值转换操作，在训练之前通过频域隐式插值将特征图插值到连续空域，方便集成多分辨率特征图，并且保持定位的高精度。目标函数通过共轭梯度下降方法迭代优化，比高斯-塞德尔方法要快，自适应样本权值直接采用先验权值，没有交替凸优化过程，检测中用牛顿法迭代优化目标位置。ECO是C-COT的加速版，从模型大小、样本集大小和更新策略三个方便加速，速度比C-COT提升了20倍。尽管如此，深度特征和相关滤波相结合的方法处理的结果均为将各个通道的响应图像直接求和，在求和的响应图像中确定最大值位置，最大值位置即为当前帧中跟踪目标相对于上一帧中目标的移动量，最大值所在的尺度即为跟踪目标对应的尺度。这种跟踪目标位置的处理方式中，直接求和的方式没有考虑不同通道响应图像对最终响应图像构建的贡献度，没有考虑不同通道响应图像的背景区域的响应结果对最终确定最大值的影响(虽然ECO算法中，在最终的响应图像中确定最大值的过程中引入了梯度下降法迭代和黑森矩阵)，如果最终构建的响应图像存在多峰值，背景区域出现峰值等都会影响当前帧的跟踪结果，经过算方法中的模型更新，最终引起模型漂移，导致跟踪结果的效率较低，甚至丢失跟踪目标。
发明内容
为了克服基于深度特征和相关滤波类算法中，应用多通道响应图像直接线性叠加构建最终响应图像类方法的缺陷，本发明的目的在于提供一种基于AdaBoost算法的多通道响应图像的拟合机制。在ECO算法的框架下，在实现候选目标区域特征滤波完成构建出多通道的响应图像后，引入AdaBoost算法，计算每一帧响应图像的前景目标区域和背景目标区域的误差，确定误差最小的响应通道为第一次迭代选择的最优响应通道图像，并计算该通道对应的权重，更新响应图像中每一个像素位置对应的权重，然后进行二次迭代，确定第二次迭代结果的通道，依次进行，最终的响应结果图像为每一次迭代结果中最优的响应图像与其对应权重的线性求和，这种处理机制，有效的实现了选择多个互补通道最终构建出响应图像，相对于直接求和的方式，降低了响应图像的背景干扰在跟踪算法中的影响，能够有效的减少多峰值的出现几率。
为实现上述目的，本发明提供如下技术方案：
一种基于迭代法构建相关滤波响应的目标跟踪方法一种基于迭代法构建相关滤波响应的目标跟踪方法，包括以下步骤：
S1、确定初始帧中跟踪目标的位置及区域大小，提取跟踪目标区域的CNN特征、CN特征、FHOG特征并进行加窗处理；
S2、将加窗处理后的特征进行傅里叶变换，通过频域隐式插值将特征图插值到连续空域，构建多分辨率特征图；
S3、应用PCA方法构建CNN特征、CN特征、FHOG特征的降维矩阵；
S4、构建基于GMM模型的样本特征集合，应用共轭梯度法进行迭代构建特征滤波器；
S5、依据前一帧确定的跟踪目标的位置及大小确定候选目标区域，提取候选目标区域的多尺度的CNN、CN、FHOG特征，并应用投影矩阵进行降维并加窗处理；
S6、将加窗处理后的特征进行傅里叶变换，通过频域隐式插值将特征图插值到连续空域，构建多分辨率特征图；
S7、对多分辨率特征图应用滤波器进行滤波处理，最终获得各个通道特征对应的响应矩阵；
S8、应用AdaBoost算法的思想对响应矩阵进行处理，构建最终的响应矩阵，确定最终跟踪结果；
S9、提取跟踪结果区域的深度特征并做相应的处理，处理结果特征添加入GMM高斯模型的样本集合，更新样本集相关参数，更新滤波器；
S10、循环执行S5、S6、S7、S8、S9。
进一步地，步骤2中，通过频域隐式插值将特征图插值到连续空域，构建多分辨率特征图，包括：
为了处理连续空间域内的学习问题，引入了训练样本的内插模型。将区间
Figure GDA0002407375310000031
视作特征图的空间支持，T为坐标系缩放比，对于每一个特征通道d。内插操作
Figure GDA0002407375310000032
如公式(1)所示：
Figure GDA0002407375310000041
插值样本Jd{xd}(t)由一个内插函数bd∈L2(T)的各个平移形式的叠加构造。特征值xd[n]为每个平移后的函数加权值，与传统的离散DCF方程的周期假设类似，特征图的周期扩展被应用到公式1中。
进一步地，步骤4中，构建基于GMM模型的样本特征集合，应用共轭梯度法进行迭代构建特征滤波器，包括：
插值的目的是为了获得连续卷积算子：
Figure GDA0002407375310000042
该算子将样本/>
Figure GDA0002407375310000043
映射到一个定义在连续区间[0，T)中的目标置信函数s(t)＝Sf{x}(t)，/>
Figure GDA0002407375310000044
为目标在图像中的位置t∈[0，T)处的置信分数。与DCF方式类似，目标通过寻找图片区域中的最大置信分确定目标的相对平移量。由于置信分是在连续域上定义的，因此，可以具有更高的定位精度。
在连续域方程中，算子Sf是由一系列卷积滤波器f＝(f1，...，fD)∈L2(T)D参数化的。fd∈L2(T)是针对特征通道d的连续滤波器，卷积算子如式(2)所示：
Figure GDA0002407375310000045
每个特征通道首先依据公式(2)插值，然后和对应的滤波器进行卷积，所有滤波器的卷积响应求和产生最终的置信函数。
在标准的DCF中，每一个训练样本由一个代表期望卷积输出的离散函数标定。与之不同的是，样本
Figure GDA0002407375310000046
由定义在连续空间域内的置信函数yj∈L2(T)标定，其中，yj是卷积算子Sf{xj}应用到训练样本xj上的设计输出，这使得亚像素精度信息在学习中合并了。滤波器f在给定的m个训练样本对/>
Figure GDA0002407375310000047
Figure GDA0002407375310000048
下训练，即最小化泛函，如式(3)所示：
Figure GDA0002407375310000049
其中，权重αj≥0为每个训练样本的影响力，
Figure GDA0002407375310000051
为空间正则化项，它由惩罚函数ω决定。空间正则化可以确保滤波器能够通过控制滤波器的空间长度在任意大的区域上学习。通常对目标背景的空间区域在ω中被分配更大的惩罚值，而目标区域则对应较小的惩罚值。因此，ω代表着依赖于其空间位置的特征先验知识，惩罚函数ω定义在整个连续区域[0，T)中，并周期性拓展到了ω∈L2(T)。公式(3)要求||ωfd||＜∞，即ω含有有限个非零傅里叶系数/>
Figure GDA0002407375310000052
为了训练滤波器f，需要在傅里叶域中最小化泛函公式(3)。插值后特征图的傅里叶系数可以由
Figure GDA0002407375310000053
表示，其中，/>
Figure GDA0002407375310000054
Figure GDA0002407375310000055
是xd的离散傅里叶变换。通过线性和卷积性质，输出置信函数式(2)的傅里叶系数推导可得到式(4)。
Figure GDA0002407375310000056
通过应用帕斯瓦尔公式和式(3)，式(4)可以得到式(5)。
Figure GDA0002407375310000057
泛函E(f)最小化等价于其相对每个滤波器fd的傅里叶系数
Figure GDA0002407375310000058
的最小化。利用傅里叶域的式(5)去最小化原始的代价函数式(3)。滤波器f需要由一个有限参数集合表示，通过最小化由有限维子空间/>
Figure GDA0002407375310000059
Figure GDA00024073753100000510
表示的式(5)来获得有限描述。相对于系数/>
Figure GDA00024073753100000511
最小化式(5)，同时假设当|k|＞Kd时，/>
Figure GDA00024073753100000512
Kd决定了学习过程中对于特征通道d中被计算的滤波器系数/>
Figure GDA00024073753100000513
的数目。增加Kd可以获得更好的滤波器估计，但是需要增加了计算量和存储消耗。设置/>
Figure GDA00024073753100000514
使得d通道存储的滤波器系数的数目和训练样本xd的空间分辨率Nd相等。
为了推导满足f∈V的最小化问题式(5)的解，引入了非零傅里叶系数的组成的向量
Figure GDA0002407375310000061
并且定义系数向量
Figure GDA0002407375310000062
进一步定义/>
Figure GDA0002407375310000063
是yj的前K：＝maxdKd个傅里叶系数的向量形式。为了简化式(5)中的正则化形式，令L表示/>
Figure GDA0002407375310000064
中非零系数的数量，因此对所有|k|＞L，有/>
Figure GDA0002407375310000065
进一步定义Wd为(2Kd+2L+1)×(2Kd+1)的托普利兹矩阵，其对应着卷积算子/>
Figure GDA0002407375310000066
记W为块对角阵/>
Figure GDA0002407375310000067
使得f∈V且泛函式(5)的最小化等价于求解式(6)的最小平方问题。
Figure GDA0002407375310000068
其中，矩阵
Figure GDA0002407375310000069
有2K+1行并且每个2Kd+1列的特征通道d包含一个对角块/>
Figure GDA00024073753100000621
其对角线元素为/>
Figure GDA00024073753100000611
式(6)中||·||2表示在/>
Figure GDA00024073753100000612
中标准的欧几里得范数。为获得正规方程的简化表达形式，定义样本矩阵/>
Figure GDA00024073753100000613
对角权重矩阵
Figure GDA00024073753100000614
和标志向量/>
Figure GDA00024073753100000615
公式(6)的极小值可以通过求解公式(7)的正规方程获得。
Figure GDA00024073753100000616
其中，H矩阵的共轭转置，如果ω的非零傅里叶系数数目较小，公式(7)则为一个稀疏线性方程。
通过对定义在实线上的函数周期性重复构造yj和bd，函数g的周期T循环定义为
Figure GDA00024073753100000617
在推导得到的傅里叶域式(5)中，函数yj和bd由各自的傅里叶系数表示，周期重复gT的傅里叶系数由g(t)的连续傅里叶变换/>
Figure GDA00024073753100000618
表示为
Figure GDA00024073753100000619
构造期望的卷积输出yj，uj∈[0，T)表示目标点的估计位置，定义yj为以uj为中心的高斯函数/>
Figure GDA00024073753100000620
的周期重复。式(8)给出了对应的傅里叶系数。
Figure GDA0002407375310000071
变量σ2设置为一个较小的数以获得一个尖锐的峰值。进一步，这保证了空间混淆可以被忽略，函数bd的构造基于三次样条核b(t)，内插函数bd被设置成核
Figure GDA0002407375310000072
经缩放和平移后的周期性重复，以保持特征金字塔的空间排列。bd的傅里叶级数表示为
Figure GDA0002407375310000073
将上述过程扩展到二维空间，对于图像我们使用含两个变量的平方可积的周期函数g(t1，t2)形成空间L2(T1，T2)，而复数指数由/>
Figure GDA0002407375310000074
对于期望卷积输出yj，采用二维高斯函数。此外，插值函数是以可分离的形式获得的三次样条内核的组合，例如b(t1，t2)＝b(t1)b(t2)。通过共轭梯度法实现对应通道连续空间的滤波器的构建。
针对经过一系列处理后的跟踪目标区域的特征集，CNN特征的浅层特征为M*N*16，深层特征为
Figure GDA0002407375310000075
FHOG特征为M*N*10，CN特征为M*N*3；经过处理后的特征样本x和目标输出y的联合概率分布可以表示为p(x，y)，公式(3)的目标函数可以进一步的转化为式(9)所示；由于目标输出的y的形状是一致的，均为峰值为中心的高斯函数，只是峰值的位置不一致，在频域中通过平移确保输出的一致性；因此，p(x，y)可以简化为p(x)，应用GMM对p(x)进行建模，模型如公式(10)所示，其中L为样本的组数；每组的更新过程中，当获得新的样本时xj，初始化一个分组m，表示为πm＝γ，μm＝xj，如果分组的数目超过L时，丢弃全组中权重最小的分组，否则合并两个最近的分组，分组之间的距离通过帕斯瓦尔斯公式计算获得，如式(11)所示，对于分组中最相近的k组和l组，合并后的分组n的参数计算如式(12)所示；最终，公式(9)可以由公式(13)近似给出。
Figure GDA0002407375310000081
Figure GDA0002407375310000082
Dkl＝||μk-μl|| (11)
Figure GDA0002407375310000083
Figure GDA0002407375310000084
进一步地，步骤7中，对多分辨率特征图应用滤波器进行滤波处理，最终获得各个通道特征对应的响应矩阵，包括：
通过对式(13)进行的共轭梯度法迭代，最终获得最优的滤波器f，对于候选目标区域的不同尺度的特征
Figure GDA0002407375310000085
对应于第i的尺度si，与尺度i对应的响应图像的计算如式(14)所示，滤波器f与经过插值处理的特征/>
Figure GDA0002407375310000086
进行相关，获得相应的响应矩阵，响应的结果Ri为D个通道。
Figure GDA0002407375310000087
8.根据权利要求1所述的一种基于迭代法构建相关滤波响应的目标跟踪方法，其特征在于，应用AdaBoost算法的思想对响应矩阵进行处理，构建最终的响应矩阵，确定跟踪目标的尺度及位置，包括：
为了应用AdaBoost算法，首先对响应结果矩阵
Figure GDA0002407375310000088
中每一个通道进行处理。针对
Figure GDA0002407375310000089
中的第d通道的响应结果矩阵/>
Figure GDA00024073753100000810
响应结果的高斯标签为y0，应用公式(15)将第d通道的响应结果矩阵/>
Figure GDA00024073753100000811
进行转换，转换的结果为二值矩阵/>
Figure GDA00024073753100000812
元素由1和-1组成，其中，(v1，v2)表示矩阵中的坐标，D为响应的通道数，与跟踪目标的特征的通道数相同，经过式(15)处理后的响应矩阵用/>
Figure GDA0002407375310000091
表示。跟踪目标区域的标签y0经过公式(15)处理后的结果为Y0。/>
Figure GDA0002407375310000092
矩阵中的像素点数为Q＝M*N。/>
Figure GDA0002407375310000093
矩阵中每个元素对应的权重ω＝1/Q。响应图像描述中，误差产生的原因为：理想情况下，目标区域的标签应该符合高斯分布，超过目标的区域的部分的标签的值应该为零，实际的响应矩阵中，目标区域很可能包含零值的元素，而目标之外的部分可能存在非零的值，这些值在构建最终的响应图像时都会造成影响，产生相应的误差，可以理解为在目标最终响应的确定过程中，背景区域的非零值对最终的响应结果影响最大，可以认为是背景中包含了前景的响应值，因此，为了构建理想的响应图像，计算每一帧的响应矩阵的误差值，然后第一次迭代选择最小误差值的响应矩阵为初始矩阵。采用循环迭代的方式实现最终拟合的响应矩阵的背景区域中误差值最小，从而构建最终的响应矩阵。
Figure GDA0002407375310000094
在响应矩阵中，目标区域为-1的部分和目标区域以外的背景区域中为1的部分都是对最终的响应矩阵产生误差影响的元素。因此，通过公式(16)统计目标区域中-1的部分和背景区域的投影图像的值为1的部分。统计结果的误差最小的响应矩阵为最优的响应矩阵，设定第α次迭代时，
Figure GDA0002407375310000095
响应矩阵中的元素的权重表示为。/>
Figure GDA0002407375310000096
式(16)中，[·]为克罗内克函数，在尺为si的响应通道集合中，通过式(16)确定通道中误差最小的响应矩阵/>
Figure GDA0002407375310000097
为第α次迭代获得的最优的响应矩阵。同时，通过式(17)确定该通道的响应矩阵在最终响应矩阵构建中的贡献度βα。确定最优响应矩阵后，通过公式(18)更新其余响应矩阵中的元素的权重值，然后循环执行迭代过程，最终通过公式(19)确定最终的响应结果矩阵，其中，/>
Figure GDA0002407375310000101
表示在si尺度下的响应图像矩阵，Res(si)表示应用AdaBoost算法处理后获得的与尺度si对应的最终的响应结果矩阵。
Figure GDA0002407375310000102
Figure GDA0002407375310000103
Figure GDA0002407375310000104
Figure GDA0002407375310000105
通过公式(19)获得最终的不同尺度的响应图像，应用牛顿法和黑森矩阵确定连续空间响应图像中的最大值的位置和对应的尺度。最大值位置的坐标即为当前帧中的目标相对于上一帧中目标位置的偏移量。通过线性叠加确定最终的跟踪目标的位置和大小。
附图说明
图1为基于AdaBoost算法构建相关滤波响应图像跟踪方法的流程图；
图2为标准跟踪视频经过变换后的Padding区域和目标区域示例；
图3为对应的通道的特征连续空间插值与重新采样后多分辨率的特征图示例；
图4为插值特征、滤波器与滤波器结果示例。
具体实施方式
下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
实施例一
针对基于相关滤波和融合特征的目标跟踪算法中通过多通道响应图像的求和确定最终响应图像，进而确定跟踪目标偏移位置和尺度的方法中存在的缺陷，本发明提出了一种基于迭代法构建相关滤波响应的目标跟踪方法，该方法以ECO跟踪算法为基本框架，在获得多通道响应图像的基础上，引入AdaBoost算法，应用AdaBoost算法实现多通道响应图像的互补性的线性叠加，从而替代传统的求和方式，在选择较少的响应图像的前提下可以构造有效的响应图像矩阵，降低最终的响应图像中多峰值出现的概率，降低了不敏感通道对最终响应图像构建的影响。系统整体流程如图1所示，包括以下步骤：
110、确定初始帧中跟踪目标的位置及区域大小，提取跟踪目标区域的CNN特征、CN特征、FHOG特征并进行加窗处理。
依据标准跟踪视频提供的groundtruth.txt文件确定跟踪目标的初始位置及矩形区域的大小，为了便于进行跟踪目标区域的尺度确定，设定搜索区域的大小为4倍的目标区域大小，同时设定搜索区域的大小为200*200至250*250之间的正方形区域，如果搜索目标区域不在此范围则通过图像的缩放方式将原始图像缩放至此范围，图2给出标准跟踪视频经过变换后的Padding区域和目标区域。跟踪目标的矩形区域的大小也按照相同的比例进行缩放。然后通过VGG-Net的网络结构提取跟踪目标区域的深度特征，提取网络结构中的第三层和第十四层的特征作为跟踪目标区域的深度特征，分别为96通道和512通道。提取目标区域的FHOG特征，提取目标区域的CN特征。依据跟踪目标实际区域和Padding区域的大小构建高斯标签，创建对应的余弦窗，应用构建的余弦窗对提取到的特征进行加窗处理。
120、将加窗处理后的特征进行傅里叶变换，通过频域隐式插值将特征图插值到连续空域，构建多分辨率特征图。
为了处理连续空间域内的学习问题，引入了训练样本的内插模型。将区间
Figure GDA0002407375310000121
视作特征图的空间支持，T为坐标系缩放比，对于每一个特征通道d。内插操作
Figure GDA0002407375310000122
如公式(1)所示：
Figure GDA0002407375310000123
插值样本Jd{xd}(t)由一个内插函数bd∈L2(T)的各个平移形式的叠加构造。特征值xd[n]为每个平移后的函数加权值，与传统的离散DCF方程的周期假设类似，特征图的周期扩展被应用到公式(1)中。图3给出了对应的通道的特征连续空间插值与重新采样后多分辨率的特征图。
130、应用PCA方法构建CNN特征、CN特征、FHOG特征的降维矩阵。确定特征降维的结果通道数，深度网络特征中的96个通道的浅层特征，512个通道的深层语义特征，分别降维为16个通道和64个通道，将31个通道的FHOG特征降维为10个通道，10通道的多颜色特征降维为3个通道。深度特征提取采用的是VGG-Net网络的第三层和第十四层。将经过尺度校正的跟踪目标区域的图像输入VGG-Net网络，然后提取到第三层的96通道的特征和512个通道的第十四层特征。提取目标区域的FHOG特征，CN特征。对提取到的特征通过PCA的方式进行降维处理，最终获得16个通道的浅层特征，64个通道的较深层特征，10个通道的FHOG特征和3个通道的CN特征，最终获得特征降维的投影矩阵，用投影矩阵对特征进行降维处理，获得最终的降维特征。
140、构建基于GMM模型的样本特征集合，应用共轭梯度法进行迭代构建特征滤波器。
插值的目的是为了获得连续卷积算子：
Figure GDA0002407375310000131
该算子将样本/>
Figure GDA0002407375310000132
映射到一个定义在连续区间[0，T)中的目标置信函数s(t)＝Sf{x}(t)，/>
Figure GDA0002407375310000133
为目标在图像中的位置t∈[0，T)处的置信分数。与DCF方式类似，目标通过寻找图片区域中的最大置信分确定目标的相对平移量。由于置信分是在连续域上定义的，因此，可以具有更高的定位精度。
在连续域方程中，算子Sf是由一系列卷积滤波器f＝(f1，...，fD)∈L2(T)D参数化的。fd∈L2(T)是针对特征通道d的连续滤波器，卷积算子如式(2)所示：
Figure GDA0002407375310000134
每个特征通道首先依据公式(2)插值，然后和对应的滤波器进行卷积，所有滤波器的卷积响应求和产生最终的置信函数。
在标准的DCF中，每一个训练样本由一个代表期望卷积输出的离散函数标定。与之不同的是，样本
Figure GDA0002407375310000135
由定义在连续空间域内的置信函数yj∈L2(T)标定，其中，yj是卷积算子Sf{xj}应用到训练样本xj上的设计输出，这使得亚像素精度信息在学习中合并了。滤波器f在给定的m个训练样本对/>
Figure GDA0002407375310000136
Figure GDA0002407375310000137
下训练，即最小化泛函，如式(3)所示：
Figure GDA0002407375310000138
其中，权重αj≥0为每个训练样本的影响力，
Figure GDA0002407375310000139
为空间正则化项，它由惩罚函数ω决定。空间正则化可以确保滤波器能够通过控制滤波器的空间长度在任意大的区域上学习。通常对目标背景的空间区域在ω中被分配更大的惩罚值，而目标区域则对应较小的惩罚值。因此，ω代表着依赖于其空间位置的特征先验知识，惩罚函数ω定义在整个连续区域[0，T)中，并周期性拓展到了ω∈L2(T)。公式(3)要求||ωfd||＜∞，即ω含有有限个非零傅里叶系数/>
Figure GDA0002407375310000141
为了训练滤波器f，需要在傅里叶域中最小化泛函公式(3)。插值后特征图的傅里叶系数可以由
Figure GDA0002407375310000142
表示，其中，/>
Figure GDA0002407375310000143
Figure GDA0002407375310000144
是xd的离散傅里叶变换。通过线性和卷积性质，输出置信函数式(2)的傅里叶系数推导可得到式(4)。
Figure GDA0002407375310000145
通过应用帕斯瓦尔公式和式(3)，式(4)可以得到式(5)。
Figure GDA0002407375310000146
泛函E(f)最小化等价于其相对每个滤波器fd的傅里叶系数
Figure GDA0002407375310000147
的最小化。利用傅里叶域的式(5)去最小化原始的代价函数式(3)。滤波器f需要由一个有限参数集合表示，通过最小化由有限维子空间/>
Figure GDA0002407375310000148
Figure GDA0002407375310000149
表示的式(5)来获得有限描述。相对于系数/>
Figure GDA00024073753100001410
最小化式(5)，同时假设当|k|＞Kd时，/>
Figure GDA00024073753100001411
Kd决定了学习过程中对于特征通道d中被计算的滤波器系数/>
Figure GDA00024073753100001412
的数目。增加Kd可以获得更好的滤波器估计，但是需要增加了计算量和存储消耗。设置/>
Figure GDA00024073753100001413
使得d通道存储的滤波器系数的数目和训练样本xd的空间分辨率Nd相等。
为了推导满足f∈V的最小化问题式(5)的解，引入了非零傅里叶系数的组成的向量
Figure GDA00024073753100001414
并且定义系数向量/>
Figure GDA00024073753100001415
进一步定义/>
Figure GDA00024073753100001416
是yj的前K：＝maxd Kd个傅里叶系数的向量形式。为了简化式(5)中的正则化形式，令L表示/>
Figure GDA00024073753100001417
中非零系数的数量，因此对所有|k|＞L，有
Figure GDA00024073753100001418
进一步定义Wd为(2Kd+2L+1)×(2Kd+1)的托普利兹矩阵，其对应着卷积算子
Figure GDA0002407375310000151
记W为块对角阵/>
Figure GDA0002407375310000152
使得f∈V且泛函式(5)的最小化等价于求解式(6)的最小平方问题。
Figure GDA0002407375310000153
其中，矩阵
Figure GDA0002407375310000154
有2K+1行并且每个2Kd+1列的特征通道d包含一个对角块/>
Figure GDA0002407375310000155
其对角线元素为/>
Figure GDA0002407375310000156
式(6)中||·||2表示在/>
Figure GDA0002407375310000157
中标准的欧几里得范数。为获得正规方程的简化表达形式，定义样本矩阵/>
Figure GDA0002407375310000158
对角权重矩阵
Figure GDA0002407375310000159
和标志向量/>
Figure GDA00024073753100001510
公式(6)的极小值可以通过求解公式(7)的正规方程获得。
Figure GDA00024073753100001511
其中，H矩阵的共轭转置，如果ω的非零傅里叶系数数目较小，公式(7)则为一个稀疏线性方程。
通过对定义在实线上的函数周期性重复构造yj和bd，函数g的周期T循环定义为
Figure GDA00024073753100001512
在推导得到的傅里叶域式(5)中，函数yj和bd由各自的傅里叶系数表示，周期重复gT的傅里叶系数由g(t)的连续傅里叶变换/>
Figure GDA00024073753100001513
表示为
Figure GDA00024073753100001514
构造期望的卷积输出yj，uj∈[0，T)表示目标点的估计位置，定义yj为以uj为中心的高斯函数/>
Figure GDA00024073753100001515
的周期重复。式(8)给出了对应的傅里叶系数。/>
Figure GDA00024073753100001516
变量σ2设置为一个较小的数以获得一个尖锐的峰值。进一步，这保证了空间混淆可以被忽略，函数bd的构造基于三次样条核b(t)，内插函数bd被设置成核
Figure GDA00024073753100001517
经缩放和平移后的周期性重复，以保持特征金字塔的空间排列。bd的傅里叶级数表示为
Figure GDA0002407375310000161
将上述过程扩展到二维空间，对于图像我们使用含两个变量的平方可积的周期函数g(t1，t2)形成空间L2(T1，T2)，而复数指数由/>
Figure GDA0002407375310000162
对于期望卷积输出yj，采用二维高斯函数。此外，插值函数是以可分离的形式获得的三次样条内核的组合，例如b(t1，t2)＝b(t1)b(t2)。通过共轭梯度法实现对应通道连续空间的滤波器的构建。
针对经过一系列处理后的跟踪目标区域的特征集，CNN特征的浅层特征为M*N*16，深层特征为
Figure GDA0002407375310000163
FHOG特征为M*N*10，CN特征为M*N*3；经过处理后的特征样本x和目标输出y的联合概率分布可以表示为p(x，y)，公式(3)的目标函数可以进一步的转化为式(9)所示；由于目标输出的y的形状是一致的，均为峰值为中心的高斯函数，只是峰值的位置不一致，在频域中通过平移确保输出的一致性；因此，p(x，y)可以简化为p(x)，应用GMM对p(x)进行建模，模型如公式(10)所示，其中L为样本的组数；每组的更新过程中，当获得新的样本时xj，初始化一个分组m，表示为πm＝γ，μm＝xj，如果分组的数目超过L时，丢弃全组中权重最小的分组，否则合并两个最近的分组，分组之间的距离通过帕斯瓦尔斯公式计算获得，如式(11)所示，对于分组中最相近的k组和l组，合并后的分组n的参数计算如式(12)所示；最终，公式(9)可以由公式(13)近似给出。图4给出通道的插值特征与对应的滤波器的示例。
Figure GDA0002407375310000164
Figure GDA0002407375310000165
Dkl＝||μk-μl|| (11)
Figure GDA0002407375310000171
Figure GDA0002407375310000172
150、依据前一帧确定的跟踪目标的位置及大小确定候选目标区域，提取候选目标区域的多尺度的CNN、CN、FHOG特征，并应用投影矩阵进行降维并加窗处理。
上一帧中跟踪目标的实际位置和大小，首先构建一个7个元素的尺度集合，尺度变化的步长为1.01。通过第一帧中跟踪目标的大小确定搜索区域，搜索区域的大小为目标大小的4倍，如果4倍的大小超过200*200而小于250*250，则原始图像的尺度变换值为1，当不在200*200～250*250的范围时，对原始图像采用尺度变换的方式对原始图像进行变换，变换的结果确保跟踪目标的搜索区域在设定的范围之内。在转换后的原始图像中提取候选目标搜索区域的深度特征，CN特征，FHOG特征等。以Bascatball标准跟踪视频为例，应用VGGNet网络提取到单一尺度的53*53*96维的浅层的深度特征，13*13*512维的深层的深度特征，53*53*31维的FHOG特征，53*53*10维的CN特征，针对7个不同尺度的所获得的特征维数不一致的情况，通过双线性插值最终获得多尺度的特征集合为深度特征53*53*96*7，13*13*512*7，FHOG特征53*53*31*7，CN特征53*53*10*7。应用通过PCA算法获得的投影矩阵96*16，512*64，30*10，10*3分别对CNN特征和FHOG特征，CN特征进行降维并加窗处理，最终获得的多尺度的原始特征集合为深度特征53*53*16*7，13*13*64*7，FHOG特征53*53*10*7，CN特征53*53*3*7。
160、将加窗处理后的特征进行傅里叶变换，通过频域隐式插值将特征图插值到连续空域，构建多分辨率特征图。
将处理后的特征集合中的深度特征53*53*16*7，13*13*64*7，FHOG特征53*53*10*7，CN特征53*53*3*7进行傅里叶变换，对变换的结果进行插值到连续的空间，最终构建多分辨率的与原始特征对应的特征图集合53*53*16*7，13*13*64*7，53*53*10*7，53*53*3*7。
170、对多分率特征图应用滤波器进行滤波处理，最终获得各个通道特征对应的响应矩阵；
对于候选目标区域的不同尺度的特征
Figure GDA00024073753100001810
对应于第i的尺度si，与尺度i对应的响应图像的计算如式(14)所示，滤波器f与经过插值处理的特征/>
Figure GDA00024073753100001811
进行相关，获得相应的响应矩阵，响应的结果Ri为D个通道。通过滤波器f对经过插值的特征集合53*53*16*7，13*13*64*7，53*53*10*7，53*53*3*7进行滤波处理，最终获得尺度相同的滤波结果集合，滤波的结果集合包括53*53*16*7，13*13*64*7，53*53*10*7，53*53*3*7。
Figure GDA0002407375310000181
180、应用AdaBoost算法的思想对响应矩阵进行处理，构建最终的响应矩阵，确定跟踪结果。
为了应用AdaBoost算法，首先对响应结果矩阵
Figure GDA0002407375310000182
中每一个通道进行处理。针对
Figure GDA0002407375310000183
中的第d通道的响应结果矩阵/>
Figure GDA0002407375310000184
响应结果的高斯标签为y0，应用公式(15)将第d通道的响应结果矩阵/>
Figure GDA0002407375310000185
进行转换，转换的结果为二值矩阵/>
Figure GDA0002407375310000186
元素由1和-1组成，其中，(v1，v2)表示矩阵中的坐标，D为响应的通道数，与跟踪目标的特征的通道数相同，经过式(15)处理后的响应矩阵用/>
Figure GDA0002407375310000187
表示。跟踪目标区域的标签y0经过公式(15)处理后的结果为Y0。/>
Figure GDA0002407375310000188
矩阵中的像素点数为Q＝M*N。/>
Figure GDA0002407375310000189
矩阵中每个元素对应的权重ω＝1/Q。响应图像描述中，误差产生的原因为：理想情况下，目标区域的标签应该符合高斯分布，超过目标的区域的部分的标签的值应该为零，实际的响应矩阵中，目标区域很可能包含零值的元素，而目标之外的部分可能存在非零的值，这些值在构建最终的响应图像时都会造成影响，产生相应的误差，可以理解为在目标最终响应的确定过程中，背景区域的非零值对最终的响应结果影响最大，可以认为是背景中包含了前景的响应值，因此，为了构建理想的响应图像，计算每一帧的响应矩阵的误差值，然后第一次迭代选择最小误差值的响应矩阵为初始矩阵。采用循环迭代的方式实现最终拟合的响应矩阵的背景区域中误差值最小，从而构建最终的响应矩阵。/>
Figure GDA0002407375310000191
在响应矩阵中，目标区域为-1的部分和目标区域以外的背景区域中为1的部分都是对最终的响应矩阵产生误差影响的元素。因此，通过公式(16)统计目标区域中-1的部分和背景区域的投影图像的值为1的部分。统计结果的误差最小的响应矩阵为最优的响应矩阵，设定第α次迭代时，
Figure GDA0002407375310000192
响应矩阵中的元素的权重表示为。/>
Figure GDA0002407375310000193
式(16)中，[·]为克罗内克函数，在尺为si的响应通道集合中，通过式(16)确定通道中误差最小的响应矩阵/>
Figure GDA0002407375310000194
为第α次迭代获得的最优的响应矩阵。同时，通过式(17)确定该通道的响应矩阵在最终响应矩阵构建中的贡献度βα。确定最优响应矩阵后，通过公式(18)更新其余响应矩阵中的元素的权重值，然后循环执行迭代过程，最终通过公式(19)确定最终的响应结果矩阵，其中，/>
Figure GDA0002407375310000195
表示在si尺度下的响应图像矩阵，Res(si)表示应用AdaBoost算法处理后获得的与尺度si对应的最终的响应结果矩阵。
Figure GDA0002407375310000201
Figure GDA0002407375310000202
Figure GDA0002407375310000203
Figure GDA0002407375310000204
通过公式(19)获得最终的不同尺度的响应图像，应用牛顿法和黑森矩阵确定连续空间响应图像中的最大值的位置和对应的尺度。最大值位置的坐标即为当前帧中的目标相对于上一帧中目标位置的偏移量。通过线性叠加确定最终的跟踪目标的位置和大小。
190、提取跟踪结果区域的深度特征并做相应的处理，处理结果特征添加入GMM高斯模型的样本集合，更新样本集相关参数，更新滤波器。
在跟踪过程中，确定跟踪结果后，提取跟踪结果区域的跟踪目标特征，投影加窗处理，傅里叶变换并进行插值，将最终获得的特征添加入GMM模型。依据公式(11)和公式(12)对GMM模型中的样本进行更新，并更新相关的参数。在跟踪过程中，当经过的帧数等于设定更新的阈值时，启动滤波器更新策略，应用更新的GMM模型中的样本数据对滤波器进行更新，确定更新后的滤波器。为下一次的特征滤波做准备。
200、循环执行150、160、170、180、190。
为了实现对标准视频的连续跟踪，循环执行步骤150，步骤160，步骤170，步骤180，步骤190最终实现对目标的连续跟踪。
上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims (9)

1.一种基于迭代法构建相关滤波响应的目标跟踪方法，其特征在于，包括以下步骤：
S1、确定初始帧中跟踪目标的位置及区域大小，提取跟踪目标区域的CNN(Convolutional Neural Networks)特征、CN(Color Names)特征、FHOG(Fused Histogramof oriented gradients)特征并进行加窗处理；
S2、将步骤S1加窗处理后的特征进行傅里叶变换，通过频域隐式插值将特征图插值到连续空域，构建多分辨率特征图；
S3、应用PCA方法构建CNN特征、CN特征、FHOG特征的降维矩阵；
S4、构建基于GMM模型的样本特征集合，应用共轭梯度法进行迭代构建特征滤波器；
S5、依据前一帧确定的跟踪目标的位置及大小确定候选目标区域，提取候选目标区域的多尺度的CNN、CN、FHOG特征，降维并应用余弦窗做加窗处理；
S6、将步骤S5加窗处理后的特征进行傅里叶变换，通过频域隐式插值将特征图插值到连续空域，构建多分辨率特征图；
S7、对多分率特征图应用滤波器进行滤波处理，最终获得各个通道特征对应的响应矩阵；
S8、应用AdaBoost算法对响应矩阵进行处理，构建最终的响应矩阵，确定最终的跟踪结果；
S9、提取跟踪结果区域的深度特征并做相应的处理，处理结果特征添加入GMM高斯模型的样本集合，更新样本集相关参数，更新特征滤波器；
S10、循环执行S5、S6、S7、S8、S9。
2.根据权利要求1所述的一种基于迭代法构建相关滤波响应的目标跟踪方法，其特征在于，所述的提取跟踪目标区域的CNN特征、CN特征、FHOG特征并进行加窗处理，包括：
依据标准跟踪视频提供的groundtruth.txt文件确定跟踪目标的初始位置及矩形区域的大小，设定搜索区域的大小为4倍的目标区域大小，同时设定搜索区域的大小为200*200至250*250之间的正方形区域，如果搜索目标区域不在此范围则通过图像的缩放方式将原始图像缩放至此范围；跟踪目标的矩形区域的大小也按照相同的比例进行缩放；然后通过VGG-Net的网络结构提取跟踪目标区域的CNN特征，提取网络结构中的第三层和第十四层的特征作为跟踪目标区域的深度特征，分别为96通道和512通道；提取目标区域的FHOG特征，提取目标区域的CN特征；依据跟踪目标实际区域和Padding区域的大小构建高斯标签，创建对应的余弦窗，应用构建的余弦窗对提取到的特征进行加窗处理。
3.根据权利要求1所述的一种基于迭代法构建相关滤波响应的目标跟踪方法，其特征在于，通过频域隐式插值将特征图插值到连续空域，构建多分辨率特征图包括：
应用CCOT算法中提出的新型学习方式，目标在于训练一个基于训练样本xj的连续卷积算子，这些样本为目标区域提取的D个通道的特征
Figure FDA0002267057620000021
传统的DCF方程中均假设每个特征通道有着相同的空间分辨率，而CCOT中减少了这个限制并且让Nd指代/>
Figure FDA0002267057620000022
中的采样数，特征通道/>
Figure FDA0002267057620000023
被看作是由离散空间变量n∈{0,…,Nd}索引的函数/>
Figure FDA0002267057620000024
采样空间表达成/>
Figure FDA0002267057620000025
Figure FDA0002267057620000026
/>
为了处理连续空间域内的学习问题，引入了训练样本的内插模型，将区间
Figure FDA0002267057620000027
视作特征图的空间支持，T为坐标系缩放比，对于每一个特征通道d，内插操作
Figure FDA0002267057620000031
如公式(1)所示：
Figure FDA0002267057620000032
插值样本Jd{xd}(t)由一个内插函数bd∈L2(T)的各个平移形式的叠加构造，特征值xd[n]为每个平移后的函数加权值，与传统的离散DCF方程的周期假设类似，特征图的周期扩展被应用到公式(1)中；
插值的目的是为了获得连续卷积算子：
Figure FDA0002267057620000033
该算子将样本/>
Figure FDA0002267057620000034
Figure FDA0002267057620000035
映射到一个定义在连续区间[0,T)中的目标置信函数s(t)＝Sf{x}(t)，/>
Figure FDA0002267057620000036
Figure FDA0002267057620000037
为目标在图像中的位置t∈[0,T)处的置信分数，与DCF方式类似，目标通过寻找图片区域中的最大置信分确定目标的相对平移量，由于置信分是在连续域上定义的，因此，可以具有更高的定位精度；
在连续域方程中，算子Sf是由一系列卷积滤波器f＝(f1,…,fD)∈L2(T)D参数化的，fd∈L2(T)是针对特征通道d的连续滤波器，卷积算子如式(2)所示：
Figure FDA0002267057620000038
每个特征通道首先依据公式(2)插值，然后和对应的滤波器进行卷积，所有滤波器的卷积响应求和产生最终的置信函数；
在标准的DCF中，每一个训练样本由一个代表期望卷积输出的离散函数标定，与之不同的是，样本
Figure FDA0002267057620000039
由定义在连续空间域内的置信函数yj∈L2(T)标定，其中，yj是卷积算子Sf{xj}应用到训练样本xj上的设计输出，这使得亚像素精度信息在学习中合并了，滤波器f在给定的m个训练样本对/>
Figure FDA00022670576200000310
Figure FDA00022670576200000311
下训练，即最小化泛函，如式(3)所示：
Figure FDA00022670576200000312
其中，权重αj≥0为每个训练样本的影响力，
Figure FDA00022670576200000313
为空间正则化项，它由惩罚函数ω决定，空间正则化可以确保滤波器能够通过控制滤波器的空间长度在任意大的区域上学习，通常对目标背景的空间区域在ω中被分配更大的惩罚值，而目标区域则对应较小的惩罚值，因此，ω代表着依赖于其空间位置的特征先验知识，惩罚函数ω定义在整个连续区域[0,T)中，并周期性拓展到了ω∈L2(T)，公式(3)要求||ωfd||<∞，即ω含有有限个非零傅里叶系数/>
Figure FDA0002267057620000041
为了训练滤波器f，需要在傅里叶域中最小化泛函公式(3)，插值后特征图的傅里叶系数可以由
Figure FDA0002267057620000042
表示，其中，/>
Figure FDA0002267057620000043
Figure FDA0002267057620000044
是xd的离散傅里叶变换；通过线性和卷积性质，输出置信函数式(2)的傅里叶系数推导可得到式(4)；/>
Figure FDA0002267057620000045
通过应用帕斯瓦尔公式和式(3)，式(4)可以得到式(5)；
Figure FDA0002267057620000046
泛函E(f)最小化等价于其相对每个滤波器fd的傅里叶系数
Figure FDA0002267057620000047
的最小化；利用傅里叶域的式(5)去最小化原始的代价函数式(3)；滤波器f需要由一个有限参数集合表示，通过最小化由有限维子空间/>
Figure FDA0002267057620000048
Figure FDA0002267057620000049
表示的式(5)来获得有限描述；相对于系数/>
Figure FDA00022670576200000410
最小化式(5)，同时假设当|k|>Kd时,/>
Figure FDA00022670576200000411
Kd决定了学习过程中对于特征通道d中被计算的滤波器系数/>
Figure FDA00022670576200000412
的数目，增加Kd可以获得更好的滤波器估计，但是需要增加了计算量和存储消耗，设置/>
Figure FDA00022670576200000413
使得d通道存储的滤波器系数的数目和训练样本xd的空间分辨率Nd相等；
为了推导满足f∈V的最小化问题式(5)的解，引入了非零傅里叶系数的组成的向量
Figure FDA0002267057620000051
并且定义系数向量/>
Figure FDA0002267057620000052
Figure FDA0002267057620000053
进一步定义/>
Figure FDA0002267057620000054
是yj的前/>
Figure FDA0002267057620000055
个傅里叶系数的向量形式；为了简化式(5)中的正则化形式，令L表示/>
Figure FDA0002267057620000056
中非零系数的数量，因此对所有|k|>L，有
Figure FDA0002267057620000057
进一步定义Wd为(2Kd+2L+1)×(2Kd+1)的托普利兹矩阵，其对应着卷积算子
Figure FDA0002267057620000058
记W为块对角阵/>
Figure FDA0002267057620000059
使得f∈V且泛函式(5)的最小化等价于求解式(6)的最小平方问题；
Figure FDA00022670576200000510
其中，矩阵
Figure FDA00022670576200000511
有2K+1行并且每个2Kd+1列的特征通道d包含一个对角块
Figure FDA00022670576200000512
其对角线元素为/>
Figure FDA00022670576200000513
式(6)中‖·‖2表示在/>
Figure FDA00022670576200000514
中标准的欧几里得范数；为获得正规方程的简化表达形式，定义样本矩阵/>
Figure FDA00022670576200000515
Figure FDA00022670576200000516
对角权重矩阵
Figure FDA00022670576200000517
和标志向量/>
Figure FDA00022670576200000518
公式(6)的极小值可以通过求解以下正规方程获得：
Figure FDA00022670576200000519
其中，AH和WH分别为矩阵A和矩阵W的共轭转置，如果ω的非零傅里叶系数数目较小，公式(7)则为一个稀疏线性方程；
通过对定义在实线上的函数周期性重复构造yj和bd，函数g的周期T循环定义为
Figure FDA00022670576200000520
在推导得到的傅里叶域式(5)中，函数yj和bd由各自的傅里叶系数表示，周期重复gT的傅里叶系数由g(t)的连续傅里叶变换/>
Figure FDA00022670576200000521
表示为
Figure FDA00022670576200000522
构造期望的卷积输出yj，uj∈[0,T)表示目标点的估计位置，定义yj为以uj为中心的高斯函数/>
Figure FDA00022670576200000523
的周期重复，式(8)给出了对应的傅里叶系数；
Figure FDA0002267057620000061
变量σ2设置为一个较小的数以获得一个尖锐的峰值，进一步，这保证了空间混淆可以被忽略，函数bd的构造基于三次样条核b(t)，内插函数bd被设置成核
Figure FDA0002267057620000062
经缩放和平移后的周期性重复，以保持特征金字塔的空间排列，bd的傅里叶级数表示为
Figure FDA0002267057620000063
将上述过程扩展到二维空间，对于图像我们使用含两个变量的平方可积的周期函数g(t1,t2)形成空间L2(T1,T2)，而复数指数由/>
Figure FDA0002267057620000064
对于期望卷积输出yj，采用二维高斯函数，此外，插值函数是以可分离的形式获得的三次样条内核的组合，例如b(t1,t2)＝b(t1)b(t2)；通过共轭梯度法实现对应通道连续空间的滤波器的构建。
4.根据权利要求1所述的一种基于迭代法构建相关滤波响应的目标跟踪方法，其特征在于，应用PCA方法构建CNN特征、CN特征、FHOG特征的降维矩阵，包括：
确定特征降维的结果通道数，深度网络特征中的96个通道的浅层特征，512个通道的深层语义特征，分别降维为16个通道和64个通道，将31个通道的FHOG特征降维为10个通道，10通道的多颜色特征降维为3个通道；深度特征提取采用的是VGG-Net网络的第三层和第十四层；将经过尺度校正的跟踪目标区域的图像输入VGG-Net网络，然后提取到第三层的96通道的特征和512个通道的第十四层特征；提取目标区域的FHOG特征，CN特征；对提取到的特征通过PCA的方式进行降维处理，最终获得16个通道的浅层特征，64个通道的较深层特征，10个通道的FHOG特征和3个通道的CN特征，最终获得特征降维的投影矩阵和降维特征集合。
5.根据权利要求2所述的一种基于迭代法构建相关滤波响应的目标跟踪方法，其特征在于，构建基于GMM模型的样本特征集合，应用共轭梯度法进行迭代构建特征滤波器，包括：
针对经过一系列处理后的跟踪目标区域的特征集，CNN特征的浅层特征为M*N*16，深层特征为
Figure FDA0002267057620000071
FHOG特征为M*N*10，CN特征为M*N*3；经过处理后的特征样本x和目标输出y的联合概率分布可以表示为p(x，y)，公式(3)的目标函数可以进一步的转化为式(9)所示；由于目标输出的y的形状是一致的，均为峰值为中心的高斯函数，只是峰值的位置不一致，在频域中通过平移确保输出的一致性；因此，p(x，y)可以简化为p(x)，应用GMM对p(x)进行建模，模型如公式(10)所示，其中L为样本的组数；每组的更新过程中，当获得新的样本时xj，初始化一个分组m，表示为πm＝γ，μm＝xj，如果分组的数目超过L时，丢弃全组中权重最小的分组，否则合并两个最近的分组，分组之间的距离通过帕斯瓦尔斯公式计算获得，如式(11)所示，对于分组中最相近的k组和l组，合并后的分组n的参数计算如式(12)所示；最终，公式(9)可以由公式(13)近似给出；
Figure FDA0002267057620000072
Figure FDA0002267057620000073
Dkl＝‖μk-μl‖ (11)
Figure FDA0002267057620000074
Figure FDA0002267057620000075
6.根据权利要求1所述的一种基于迭代法构建相关滤波响应的目标跟踪方法，其特征在于，提取候选目标区域的多尺度的CNN、CN、FHOG特征，投影降维并应用余弦窗做加窗处理，包括：
以上一帧中确定的跟踪目标的位置及尺度构建当前帧中的跟踪目标的Padding区域，Padding区域对应于不同的尺度，由于跟踪目标的尺度不同，Padding区域的大小也不同，最终提取到的特征的尺度也不同，为了保持一致性，对不同尺度下的跟踪目标区域的特征进行线性插值或双线性插值，使得插值后的特征的尺度与上一帧中跟踪目标的特征尺度一致；然后将提取到的特征降维并应用余弦窗进行加窗处理。
7.根据权利要求5所述的一种基于迭代法构建相关滤波响应的目标跟踪方法，其特征在于，对多分率特征图应用滤波器进行滤波处理，最终获得各个通道特征对应的响应矩阵，包括：
通过对式(13)进行的共轭梯度法迭代，最终获得最优的滤波器f，对于候选目标区域的不同尺度的特征
Figure FDA0002267057620000081
对应于第i的尺度si，与尺度i对应的响应图像的计算如式(14)所示，滤波器f与经过插值处理的特征/>
Figure FDA0002267057620000082
进行相关，获得相应的响应矩阵，响应的结果Ri为D个通道；
Figure FDA0002267057620000083
8.根据权利要求1所述的一种基于迭代法构建相关滤波响应的目标跟踪方法，其特征在于，应用AdaBoost算法的思想对响应矩阵进行处理，构建最终的响应矩阵，确定跟踪目标的尺度及位置，包括：
为了应用AdaBoost算法，首先对响应结果矩阵
Figure FDA0002267057620000084
中每一个通道进行处理，针对/>
Figure FDA0002267057620000091
中的第d通道的响应结果矩阵/>
Figure FDA0002267057620000092
响应结果的高斯标签为y0，应用公式(15)将第d通道的响应结果矩阵/>
Figure FDA0002267057620000093
进行转换，转换的结果为二值矩阵/>
Figure FDA0002267057620000094
元素由1和-1组成，其中，(v1,v2)表示矩阵中的坐标，D为响应的通道数，与跟踪目标的特征的通道数相同，经过式(15)处理后的响应矩阵用/>
Figure FDA0002267057620000095
表示，跟踪目标区域的标签y0经过公式(15)处理后的结果为Y0；/>
Figure FDA0002267057620000096
矩阵中的像素点数为Q＝M*N，/>
Figure FDA0002267057620000097
矩阵中每个元素对应的权重ω＝1/Q；响应图像描述中，误差产生的原因为：理想情况下，目标区域的标签应该符合高斯分布，超过目标的区域的部分的标签的值应该为零，实际的响应矩阵中，目标区域很可能包含零值的元素，而目标之外的部分可能存在非零的值，这些值在构建最终的响应图像时都会造成影响，产生相应的误差，可以理解为在目标最终响应的确定过程中，背景区域的非零值对最终的响应结果影响最大，可以认为是背景中包含了前景的响应值，因此，为了构建理想的响应图像，计算每一帧的响应矩阵的误差值，然后第一次迭代选择最小误差值的响应矩阵为初始矩阵，采用循环迭代的方式实现最终拟合的响应矩阵的背景区域中误差值最小，从而构建最终的响应矩阵；
Figure FDA0002267057620000098
在响应矩阵中，目标区域为-1的部分和目标区域以外的背景区域中为1的部分都是对最终的响应矩阵产生误差影响的元素，因此，通过公式(16)统计目标区域中-1的部分和背景区域的投影图像的值为1的部分，统计结果的误差最小的响应矩阵为最优的响应矩阵，设定第α次迭代时,
Figure FDA0002267057620000099
响应矩阵中的元素的权重表示为；/>
Figure FDA00022670576200000910
式()16中，[·]为克罗内克函数，在尺为si的响应通道集合中，通过式(16)确定通道中误差最小的响应矩阵/>
Figure FDA0002267057620000101
为第α次迭代获得的最优的响应矩阵；同时，通过式(17)确定该通道的响应矩阵在最终响应矩阵构建中的贡献度βα；确定最优响应矩阵后，通过公式(18)更新其余响应矩阵中的元素的权重值，然后循环执行迭代过程，最终通过公式(19)确定最终的响应结果矩阵，其中，/>
Figure FDA0002267057620000102
表示在si尺度下的响应图像矩阵，Res(si)表示应用AdaBoost算法处理后获得的与尺度si对应的最终的响应结果矩阵；
Figure FDA0002267057620000103
Figure FDA0002267057620000104
Figure FDA0002267057620000105
Figure FDA0002267057620000106
通过公式(19)获得最终的不同尺度的响应图像，应用牛顿法和黑森矩阵确定连续空间响应图像中的最大值的位置和对应的尺度；最大值位置的坐标即为当前帧中的目标相对于上一帧中目标位置的偏移量；通过线性叠加确定最终的跟踪目标的位置和大小。
9.根据权利要求1所述的一种基于迭代法构建相关滤波响应的目标跟踪方法，其特征在于，GMM高斯模型的更新，更新滤波器，更新投影矩阵，包括：
在跟踪目标帧中确定了目标位置和大小后，通过特征提取、特征降维，加窗处理，傅里叶变换，转换至连续空间并重新采样，傅里叶域内的参数整合，最终的特征整合结果为最终的跟踪目标区域的特征描述，将此特征描述添加至样本数据集合；更新GMM模型及相关的参数，同时更新滤波器。
CN201911091780.4A 2019-11-11 2019-11-11 一种基于迭代法构建相关滤波响应的目标跟踪方法 Active CN111028265B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911091780.4A CN111028265B (zh) 2019-11-11 2019-11-11 一种基于迭代法构建相关滤波响应的目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911091780.4A CN111028265B (zh) 2019-11-11 2019-11-11 一种基于迭代法构建相关滤波响应的目标跟踪方法

Publications (2)

Publication Number Publication Date
CN111028265A CN111028265A (zh) 2020-04-17
CN111028265B true CN111028265B (zh) 2023-03-31

Family

ID=70205183

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911091780.4A Active CN111028265B (zh) 2019-11-11 2019-11-11 一种基于迭代法构建相关滤波响应的目标跟踪方法

Country Status (1)

Country Link
CN (1) CN111028265B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112330719B (zh) * 2020-12-02 2024-02-27 东北大学 基于特征图分割和自适应融合的深度学习目标跟踪方法
CN113184767B (zh) * 2021-04-21 2023-04-07 湖南中联重科智能高空作业机械有限公司 高空作业平台导航方法、装置、设备及高空作业平台
CN113177970B (zh) * 2021-04-29 2022-07-19 燕山大学 基于自适应特征融合的多尺度滤波目标跟踪方法
CN114926650A (zh) * 2022-04-11 2022-08-19 华南农业大学 基于多特征的滤波器降帧更新方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016026370A1 (en) * 2014-08-22 2016-02-25 Zhejiang Shenghui Lighting Co., Ltd. High-speed automatic multi-object tracking method and system with kernelized correlation filters
US9373036B1 (en) * 2015-01-16 2016-06-21 Toyota Motor Engineering & Manufacturing North America, Inc. Collaborative distance metric learning for method and apparatus visual tracking
CN109685073A (zh) * 2018-12-28 2019-04-26 南京工程学院 一种基于核相关滤波的尺度自适应目标跟踪算法
CN109741366A (zh) * 2018-11-27 2019-05-10 昆明理工大学 一种融合多层卷积特征的相关滤波目标跟踪方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016026370A1 (en) * 2014-08-22 2016-02-25 Zhejiang Shenghui Lighting Co., Ltd. High-speed automatic multi-object tracking method and system with kernelized correlation filters
US9373036B1 (en) * 2015-01-16 2016-06-21 Toyota Motor Engineering & Manufacturing North America, Inc. Collaborative distance metric learning for method and apparatus visual tracking
CN109741366A (zh) * 2018-11-27 2019-05-10 昆明理工大学 一种融合多层卷积特征的相关滤波目标跟踪方法
CN109685073A (zh) * 2018-12-28 2019-04-26 南京工程学院 一种基于核相关滤波的尺度自适应目标跟踪算法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于ECO-HC的无人机指定行人稳定实时跟踪;翁静文等;《传感器与微系统》;20180920(第09期);全文 *
基于分块的多特征融合变尺度目标跟踪算法;李凯等;《电视技术》;20170117(第01期);全文 *

Also Published As

Publication number Publication date
CN111028265A (zh) 2020-04-17

Similar Documents

Publication Publication Date Title
CN111028265B (zh) 一种基于迭代法构建相关滤波响应的目标跟踪方法
CN110033003B (zh) 图像分割方法和图像处理装置
US10593021B1 (en) Motion deblurring using neural network architectures
Zhang et al. Image super-resolution based on structure-modulated sparse representation
Zhang et al. Learning multiple linear mappings for efficient single image super-resolution
Liu et al. Image interpolation via regularized local linear regression
Cao et al. Image Super-Resolution via Adaptive $\ell _ {p}(0< p< 1) $ Regularization and Sparse Representation
Molina et al. Bayesian multichannel image restoration using compound Gauss-Markov random fields
Micheli et al. A linear systems approach to imaging through turbulence
CN107730536B (zh) 一种基于深度特征的高速相关滤波物体追踪方法
CN106408550A (zh) 一种改进的自适应多字典学习的图像超分辨率重建方法
CN110969105B (zh) 一种人体姿态估计方法
CN114820739B (zh) 一种面向多光谱相机的图像快速配准方法及装置
CN112802197A (zh) 动态场景下基于全卷积神经网络的视觉slam方法及系统
Grogan et al. L2 registration for colour transfer
Shangguan et al. Learning cross-video neural representations for high-quality frame interpolation
Zhou et al. PADENet: An efficient and robust panoramic monocular depth estimation network for outdoor scenes
Thai et al. Riesz-Quincunx-UNet Variational Auto-Encoder for Unsupervised Satellite Image Denoising
CN113327205B (zh) 基于卷积神经网络的相位去噪方法
CN106033595B (zh) 一种基于局部约束的图像盲去模糊方法
KR102051597B1 (ko) 내용 기반 영상 크기 조절 장치 및 방법
Gou et al. Image super‐resolution based on the pairwise dictionary selected learning and improved bilateral regularisation
CN114494065A (zh) 图像去模糊方法、装置、设备及可读存储介质
Lu et al. Multi-Supervised Recursive-CNN for Hyperspectral and Multispectral Image Fusion
Chen et al. Single satellite imagery superresolution based on hybrid nonlocal similarity constrained convolution sparse coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant