CN107067410B - 一种基于增广样本的流形正则化相关滤波目标跟踪方法 - Google Patents

一种基于增广样本的流形正则化相关滤波目标跟踪方法 Download PDF

Info

Publication number
CN107067410B
CN107067410B CN201610365909.6A CN201610365909A CN107067410B CN 107067410 B CN107067410 B CN 107067410B CN 201610365909 A CN201610365909 A CN 201610365909A CN 107067410 B CN107067410 B CN 107067410B
Authority
CN
China
Prior art keywords
samples
matrix
base
sample
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610365909.6A
Other languages
English (en)
Other versions
CN107067410A (zh
Inventor
马波
胡宏伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN201610365909.6A priority Critical patent/CN107067410B/zh
Publication of CN107067410A publication Critical patent/CN107067410A/zh
Application granted granted Critical
Publication of CN107067410B publication Critical patent/CN107067410B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20056Discrete and fast Fourier transform, [DFT, FFT]

Landscapes

  • Image Analysis (AREA)

Abstract

一种基于增广样本的流形正则化相关滤波目标跟踪方法,包括:S1分别在上一帧中目标区域及非目标区域提取正负基样本及提取出无标记基样本,组成增广基样本集合;S2根据S1输出生成标记矩阵;S3、利用S1及S2的输出,结合核矩阵和拉普拉斯矩阵的块循环结构,学习一个流形正则的最小二乘相关滤波分类模型;S4、判断当前帧是否为第二帧并进行相应操作;S5、利用S4对S1中无标记基样本产生所有样本采用快速分块检测算法确定其标记,确定当前目标位置;S6、判断当前帧是否最后一帧,并决定跳至S1还是S7输出每一帧目标状态。本发明采用半监督方式预测无标记样本,显著提升了相关滤波分类模型的分类准确度,可应用到实时系统中。

Description

一种基于增广样本的流形正则化相关滤波目标跟踪方法
技术领域
本发明涉及一种基于增广样本的流形正则化相关滤波目标跟踪方法,属于计算机视觉、模式识别、人机交互、视频监控以及图像压缩技术领域。
背景技术
目标跟踪是计算机视觉领域重要的前沿课题,是学术界和工业界关注的焦点之一。它旨在从视频或图像序列中定位场景中的感兴趣目标,并估计目标的运动状态,包括位置、尺度、旋转角度等。鲁棒而精确的目标跟踪可以为人体运动分析、事件检测、行为和场景理解等计算机视觉高层任务提供支撑和输入,因而可以促进计算机视觉自身的发展。同时,在实际应用方面,由于软件硬件技术的飞跃发展,目标跟踪在智能监控、人机交互、图像压缩等领域的巨大应用价值也日益突显。
近年来,基于相关滤波的目标跟踪方法取得了巨大成功,但是也存在一些缺陷:
(1)在2012年European Conference on Computer Vision会议论文集第702至715页,题目为:“Exploiting the circulant structure of tracking-by-detection withkernels”文章中,探索了核矩阵的循环结构,使用潜在的大量训练样本学习一个判别式的回归模型,不仅提升了目标跟踪算法的运算效率而且提升了算法的跟踪准确度。但是,这种方法没有考虑样本的空间流形结构,导致在空间结构中相邻的样本之间的分类标记相差较大。
(2)在2015年IEEETransactions on Pattern Analysis and MachineIntelligence第37卷第3号第583页至596页,题目为:“High-speed tracking withkernelized correlation filters”文章中,通过引入更加有效的矩阵对角化技术对(1)中文章的算法进行重新推导,使得算法在目标跟踪上的准确度进一步提升。然而,此方法同样没有空滤到样本的空间结构,同样导致在空间结构中相邻的样本的标记不同,而且无法解决目标的尺度变化和旋转问题。
(3)在2014年European Conference on Computer Vision会议论文集第254至265页,题目为:“A scale adaptive kernel correlation filter tracker with featureintegration”文章中,通过利用尺度自适应的机制来估计目标的尺度大小,在一定程度上解决了目标在运动过程中的尺度变化问题。它还提出一种特征集成的策略进一步提升了目标跟踪的准确性。然而,该方法只考虑到了有目标所生产的样本,而没有考虑到其周围的负样本以及新的图像帧中的无标记样本,容易导致学习到的分类模型过拟合。
(4)在2015年IEEE International Conference on Digital Signal Processing会议论文集第1035至1038页,题目为:“A rotation adaptive correlation filter forrobust tracking”文章中,提出用由目标旋转得到的多个不同的具有特定旋转角度的目标模板学习多个相关滤波模型来估计目标的旋转角度,有效的解决了目标的选择问题。但是,该算法无法给流形空间中相近的样本赋予相同的标记,而且算法训练多个滤波模型的计算量也会成倍提升。
(5)在2015年IEEE International Conference on Computer Vision会议论文集第4310至4318页,题目为:“Learning spatially regularized correlation filters forvisual tracking”文章中,考虑的相关滤波器分类模型的内部的空间位置信息,提出一种空间正则的判别式相关滤波目标跟踪算法,有效的提升分类模型的准确度。然而,该方法仍然没有考虑更多的样本,包括有标记样本和无标记样本,因此,容易导致分类模型过拟合。
(6)在2012年IEEE Conference on Computer Vision and Pattern Recognition会议论文集第1854至1861页,题目为:“Robust tracking via weakly supervisedranking svm”文章中,提出一种在线拉普拉斯排序的支持向量跟踪算法,考虑了样本的空间结构信息,在目标跟踪上取得好的结构。但是,该算法只通过采样得到训练样本,无法产生丰富的训练样本集合,严重影响学习到的分类模型的准确度。
上述已有的基于流形及相关滤波的跟踪方法已经能够进行有效的目标跟踪,但是通过对这些相关工作进行研究,两个主要的发现促使提出本发明的目标跟踪方法:
第一,大多数基于相关滤波的目标跟踪方法仅采用有标记的样本来学习核化岭回归模型。而事实上,高维样本特征空间的内在流形几何结构是由有标记样本和无标记样本共同构成的。在目标跟踪中特征空间位于流形的假设基础之上,我们认为一个良好的分类器不仅能够考虑到无标记的样本,还应该具有给流形空间中相近的样本赋予相同的标记的能力。因此,利用由有标记和无标记样本所构成的流形空间来训练一个高性能的分类模型是目标跟踪的一个关键问题。
第二,几乎所有基于相关滤波的目标跟踪算法都只采用由目标区域提取的单个基样本循环移位所产生的数据来训练分类模型。但是,由于训练样本的个数相对较少,所以只用这些训练数据所学习到的分类模型的性能可能是次优的。而且,分类器不仅可能对这些数据过拟合,还容易受到背景复杂、快速运动或相似目标所导致的目标表观变化的影响。我们注意到,目标区域周围几乎无穷无尽的负的基样本都被忽略了,而这些负样本可能有助于训练一个更具判别力的分类模型。因此,引入有效利用这些负样本的方法对增强模型的分类能力具有重要意义。
发明内容
本发明的目的是针对现有基于相关滤波的跟踪方法未考虑流形空间结构导致分类不准确的问题以及未考虑到目标区域周围负基样本而导致的跟踪漂移问题,提出了一种基于增广样本的流形正则化相关滤波目标跟踪方法。
一种基于增广样本的流形正则化相关滤波目标跟踪方法,包括如下步骤:
S1、分别在上一帧图像中目标区域提取正的基样本、在非目标区域提取负的基样本以及在当前帧图像中上一帧图像目标所在区域提取出无标记的基样本;这三类基样本组成增广基样本集合;
其中,所述的上一帧图像中目标区域提取正的基样本、在非目标区域提取负的基样本是有标记基样本;所述的提取的基样本可以是梯度直方图特征、灰度特征或深度特征;
S2、根据S1中有标记和无标记基样本大小,生成由有标记基样本循环移位得到的所有样本对应的标记矩阵;
S3、利用S1生成的增广基样本集合及S2生成的标记矩阵,结合核矩阵和拉普拉斯矩阵的块循环结构,使用分块学习策略学习一个流形正则的最小二乘相关滤波分类模型;
S4、判断当前视频的帧数是大于还是等于第二帧,并分别进行相应操作,具体为:
S4.1如果当前帧数等于视频的第二帧,则保存当前分类模型;
S4.2如果当前帧数大于第二帧,则利用当前帧的分类模型对保存的上一帧分类模型按照一定的学习率进行更新;
其中,S4.2所述的学习率取值范围为0到1;
S5、利用S4保存的分类模型对S1中无标记基样本循环移位所产生的所有无标记样本采用快速分块检测的算法确定其标记,再根据此标记信息确定当前目标位置;
S6、判断当前帧数是否是最后一帧,并进行相应操作,具体为:
S6.1如果当前帧数是最后一帧,表明跟踪结束,跳至S7;
S6.2如果当前帧数不是最后一帧,表明还需要继续跟踪,跳至S1,继续下一帧图像的目标跟踪;
S7、输出每一帧图像的目标状态;
至此,从S1到S7完成了一种基于增广样本的流形正则化相关滤波目标跟踪方法。
有益效果
本发明一种基于增广样本的流形正则化相关滤波目标跟踪方法用于定位视频或图像序列中的感兴趣目标,与已有目标跟踪方法相比,具有以下有益效果:
1、本发明采用一种半监督的方式在特征空间服从流形假设的基础上预测无标记样本的标记,显著的提升了基于相关滤波的分类模型的分类准确度性能;
2、本发明通过利用从目标区域和非目标区域分别提取正负基样本生成增广基样本集,极大的丰富了训练样本数量,有助于进一步提升分类模型的判别能力;
3、本发明提出一种求解优化问题的分块快速算法,能够提到目标跟踪的预算效率,使其可以应用到实时的系统中。
附图说明
图1是本发明一种基于增广样本的流形正则化相关滤波目标跟踪方法的流程图;
图2是本发明一种基于增广样本的流形正则化相关滤波目标跟踪方法的由增广基样本生成增广样本的示意图以及不同增广样本排列所形成的核矩阵示意图;
其中,(a)由增广基样本生成增广样本的图,第一行为增广基样本,(b)是由增广基样本生成增广样本循环移位生成的样本组织形式为X=[P1x1,...,P1xm,...,Psx1,...,Psxm]T时的核矩阵K示意图,(c)是由增广基样本生成增广样本循环移位生成的样本组织形式为X=[P1x1,...,Psx1,...,P1xm,...,Psxm]T时的核矩阵K′示意图;其中{x1,...,xm}表示m个基样本,Pt表示矩阵P的t次幂,
Figure GDA0002263962470000041
其中0s-1是一个具有s-1个零元素的列向量,Is-1是一个大小为(s-1)×(s-1)的单位矩阵,s表每个基样本的维度;
图3是本发明一种基于增广样本的流形正则化相关滤波目标跟踪方法的示意图。
具体实施方式
本发明的一种基于增广样本的流形正则化相关滤波目标跟踪方法提出将目标跟踪任务看作是一个半监督的分类问题,在假设样本特征空间位于流形的基础之上,结合样本的循环结构,建立一个基于流形正则的相关滤波分类模型。与已有方法不同的是,本发明充分考虑到了无标记样本和有标记样本之间的空间位置关系,使得无标记样本的标记预测更加准确。同时,为了使得算法更具判别力,本发明提出一种扩充训练样本集合的方法,避免了分类模型对小样本集合的过拟合问题。此外,本发明建立了该目标跟踪方法的优化模型,并利用矩阵的块循环结构,提出一种基于分块的快速求解算法,使得该方法能够应用于实时的目标跟踪任务中去。
以下通过具体实施例详细描述本发明的实施方式,实施例不作为对本发明的保护范围的限制。
实施例1
S1、分别在上一帧图像中目标区域提取正的基样本、在非目标区域提取负的基样本以及在当前帧图像中上一帧图像目标所在区域提取出无标记的基样本;这三类基样本组成增广基样本集合;
其中,所述的上一帧图像中目标区域提取正的基样本、在非目标区域提取负的基样本是有标记基样本;所述的提取的基样本可以是梯度直方图特征、灰度特征、深度特征;
具体实施时,图像帧来源于视频监控采集的RGB图像;可以提取上一帧图像中目标区域的1个图像块以及目标区域左右两边与目标相邻并具有同样大小的2个图像块,以及在当前帧图像中上一帧图像目标所在区域提取出一个图像块;图像块归一化宽高为32×32;
然后在这些图像块上分片提取每个图像块的梯度直方图特征,每片图像宽高大小为4×4,得到3个基样本,维度为8×8×31;
S2、根据S1中有标记和无标记基样本大小,生成由有标记基样本循环移位得到的所有样本对应的标记矩阵;
对于由正的基样本循环移位生成的每个样本的标记服从高斯函数,位于目标中的样标记为1,其他样本标记则根据其与目标中心的距离逐渐衰减到0;对于所有由负的基样本循环移位生成的样本其标记均为0;只保留3个基样本对应的3标记矩阵即可,无需生成循环移位后的样本;
S3、利用S1生成的增广基样本基集合及S2生成的标记矩阵,结合核矩阵和拉普拉斯矩阵的块循环结构,使用分块学习策略学习一个流形正则的最小二乘相关滤波分类模型;
给定由有标记基样本循环移位生成的l个有标记的样本集合
Figure GDA0002263962470000051
xi表示第i个样本,yi是xi的标记;以及由无标记基样本循环移位生成的u个无标记的样本集合
Figure GDA0002263962470000052
本发明通过极小化下面的优化函数寻找再生核Hilbert空间上的最优分类函数f*,Mercer核κ为RHHS上的再生核:
Figure GDA0002263962470000053
其中,再生核Hilbert空间,即Reproducing Kernel Hilbert Space,RKHS,记为
Figure GDA0002263962470000054
f*表示最优的分类函数,
Figure GDA0002263962470000055
表示使后面的式子达到小值时f的取值,
Figure GDA0002263962470000056
表示f属于再生核Hilbert空间
Figure GDA0002263962470000057
∈表示属于,∑表示求和符号,f(xi)表示将样本xi代入函数f中的值,||·||κ是由RKHS
Figure GDA0002263962470000058
上Mercer核κ诱导的范数,n=l+u表示所有样本的个数,λ和γ表示一个预定的常数,W是一个相似性度量矩阵其每个元素Wij表示样本xi和样本xj的相似性度量权重,f=[f(x1),f(x2),…,f(xn))]T,[...]T表示中括号内向量或矩阵的转置,L=D-W是拉普拉斯矩阵其中对角矩阵D的每个对角元素
Figure GDA0002263962470000059
给定样本v,其回归值可以表示为:
Figure GDA0002263962470000061
其中αi是n维拉格朗日乘子α的第i个元素;α的解析形式为:
Figure GDA0002263962470000062
其中对角矩阵
Figure GDA0002263962470000063
的前l个对角元素为1,diag是一个向量对角化算子,表示将其后的向量转换一个对角矩阵,
Figure GDA0002263962470000064
表示n×n维的实数空间,
Figure GDA0002263962470000065
是一个单位矩阵,
Figure GDA0002263962470000066
是S2中所有基样本移位得到的样本对应样本的标记矩阵展开组成的向量,
Figure GDA0002263962470000067
表示n维的实数空间,核矩阵K的每个元素为Kij=κ(xi,xj),(·)-1表示括号里矩阵的逆;
训练该分类模型的样本是S1中所提取的增广基样本循环移位生成的,核矩阵K可以分解为
Figure GDA0002263962470000068
其中,
Figure GDA0002263962470000069
是矩阵
Figure GDA00022639624700000610
的第t块,每块的每个元素
Figure GDA00022639624700000611
t=1,...,s,s表示基样本的维度,Diag(·)是一个块对角算子,即将其后的元素转换成块对角矩阵;
Figure GDA00022639624700000612
其中
Figure GDA00022639624700000613
是Kronecker积,In是一个n×n的单位矩阵,Fs是一个大小为s×s的离散傅里叶变换矩阵;向量x的傅里叶变换
Figure GDA00022639624700000614
核矩阵
Figure GDA00022639624700000615
每块的每个元素
Figure GDA00022639624700000616
其中
Figure GDA00022639624700000617
是向量
Figure GDA00022639624700000618
的第f个元素;令k(i,j)=[k1(i,j),k2(i,j),...ks(i,j)]T表示由第i个和第j个基样本所生成的所有样本的核向量,则向量
Figure GDA00022639624700000619
Figure GDA00022639624700000620
是向量
Figure GDA00022639624700000621
的第t个元素;Γ(k(i,j))表示k(i,j)的傅里叶变换;假设存在m基样本{x1,x2,...,xm}用于循环移位的转移矩阵为:
Figure GDA00022639624700000622
其中0s-1是一个具有s-1个零元素的列向量,Is-1是一个大小为(s-1)×(s-1)的单位矩阵。图2(b)是由增广基样本生成增广样本循环移位生成的样本组织形式为X=[P1x1,...,P1xm,...,Psx1,...,Psxm]T时的核矩阵K示意图,(c)是由增广基样本生成增广样本循环移位生成的样本组织形式为X=[P1x1,...,Psx1,...,P1xm,...,Psxm]T时的核矩阵K′示意图;
同理,拉普拉斯矩阵L可以分解为
Figure GDA0002263962470000071
其中,
Figure GDA0002263962470000072
是矩阵
Figure GDA0002263962470000073
的第t块,每块的每个元素
Figure GDA0002263962470000074
t=1,...,s,s表示基样本的维度,其中,令l(i,j)=[l1(i,j),l2(i,j),...,ls(i,j)]T表示由第i个和第j个基样本所生成的所有样本的核向量,
Figure GDA0002263962470000075
是向量l(i,j)的第t个元素;l(i,j)=Γ(l(i,j));Γ(l(i,j))表示l(i,j)的傅里叶变换;
为了便于阐述,令δ=λl,
Figure GDA0002263962470000076
α的解析形式写为:
α=(JK+δI+ηLK)-1Y,
其中,块对角矩阵
Figure GDA0002263962470000077
式中单位矩阵
Figure GDA0002263962470000078
零矩阵
Figure GDA0002263962470000079
可以验证,J=U-1JU;标记向量
Figure GDA00022639624700000710
其每个组成成分
Figure GDA00022639624700000711
f=1,...,s表示所有基样本在转移矩阵Pf下产生的样本的标记;因此,α的解可以写为
Figure GDA00022639624700000712
其中,
Figure GDA00022639624700000713
f=1,...,s;
根据线性矩阵的卷积定理,UY的计算可以通过对每个基样本的所有循环移位样本的标记向量执行傅里叶变换得到;也就是说,如果我们令
Figure GDA00022639624700000714
则有
Figure GDA00022639624700000715
Figure GDA00022639624700000716
表示
Figure GDA00022639624700000717
中第f块的第i个元素,
Figure GDA00022639624700000718
表示对y(f)进行傅里叶变换后的第i个元素;所以,
Figure GDA00022639624700000719
因此,本发明中分类模型α的学习可以转换成求解
Figure GDA00022639624700000720
Figure GDA00022639624700000721
的求解可以转换成分块求解s个子问题,而且每个子问题都是可以独立计算;
具体实施时,基样本的个数n=3,子问题的个数s=8×8=64,由有标记的基样本循环移位可以生成的有标记样本个数l=3×8×8=192,由无标记的基样本循环移位可以生成的无标记样本个数u=1×8×8=64,常数λ=10-9,γ=10-7,核函数使用高斯核函数;
S4、判断当前视频的帧数是大于还是等于第二帧,并分别进行如下操作:
S4.1如果当前帧数等于视频的第二帧,则保存当前分类模型;
S4.2如果当前帧数大于第二帧,则利用当前帧的分类模型对保存的上一帧分类模型按照一定的学习率进行更新;
其中,所述的学习率取值范围为0到1;
具体实施时,步骤S4.2采用一个学习率c=0.01对模型进行更新;假设在第m-1帧中确定目标时采用的模型参数为
Figure GDA0002263962470000081
我们根据第m-1帧目标的位置采取正负基样本在第m帧中上一帧目标所在位置区域选取无标记基样本,重新学习一个模型参数
Figure GDA0002263962470000082
那么,如果m=2,则进入步骤S4.1,即使用
Figure GDA0002263962470000083
进行后续步骤;如果,m>2,在第m帧跟踪时模型的参数更新准则为
Figure GDA0002263962470000084
跟踪第m帧中目标的模型参数为
Figure GDA0002263962470000085
S5、利用S4保存的分类模型对S1中无标记基样本循环移位所产生的所有无标记样本采用快速分块检测的算法确定其标记,再根据此标记信息确定当前目标位置;
给定一个测试基样本z,具体实施中的测试基样本z即S1所述无标记基样本,所有循环移位样本的标记可以由下式计算得到:
f(z)=(Kz)Tα,
其中,Kz表示基样本z的所有循环移位样本与由增广基样本循环移位生成的全部的增广样本集合的核矩阵;矩阵Kz也是一个块循环的矩阵,它的对角化形式可以写为
Figure GDA0002263962470000086
其中,
Figure GDA0002263962470000087
因此,
Figure GDA0002263962470000088
测试基样本的所有循环移位样本的标记向量f(z)可以通过对
Figure GDA0002263962470000089
进行反傅里叶快速计算,而不需要计算大矩阵的逆问题;然后利用f(z)计算出一个无标记基样本的置信图,然后根据置信图确定当前目标的中心位置;图3最右边两图分别展示了本发明的一种基于增广样本的流形正则化相关滤波目标跟踪方法中置信图和与之对应测试基样本;
S6、判断当前帧数是否是最后一帧,并进行如下操作:
S6.1如果当前帧数是最后一帧,表明跟踪结束,跳至S7;
S6.2如果当前帧数不是最后一帧,表明还需要继续跟踪,跳至S1,继续下一帧图像的目标跟踪;
S7、输出每一帧目标的状态;
具体实施中,目标的状态为目标的中心位置坐标[x,y]以及目标的宽高[w,h]。
至此,从S1到S7完成了一种基于增广样本的流形正则化相关滤波目标跟踪方法。
实施例2
将实施例1中的由视频监控采集的RGB图像改成由红外设备采集的红外图像,或者其他具体视频采集设备或者连续图像生成设备获取的图像数据,该目标跟踪方法依然有效。
实施例3
将实施例1中的梯度直方图特征改为灰度特征、Lab颜色特征、HSV颜色特征、神经卷积网络过程中的特征图以及其他的全局图像特征,本发明依然有效。
实施例4
将实施例1中高斯核函数改为线性核函数、多项式核函数以及其他可以使得核矩阵具有块循环结构的核函数,本算法依然有效。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明。应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、局部改进等,均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于增广样本的流形正则化相关滤波目标跟踪方法,其特征在于:包括如下步骤:
S1、分别在上一帧图像中目标区域提取正的基样本、在非目标区域提取负的基样本以及在当前帧图像中上一帧图像目标所在区域提取出无标记的基样本;这三类基样本组成增广基样本集合;
其中,所述在上一帧图像中目标区域提取正的基样本、在非目标区域提取负的基样本是有标记基样本;
S2、根据S1中有标记和无标记基样本大小,生成由有标记基样本循环移位得到的所有样本对应的标记矩阵;
S3、利用S1生成的增广基样本集合及S2生成的标记矩阵,结合核矩阵和拉普拉斯矩阵的块循环结构,使用分块学习策略学习一个流形正则的最小二乘相关滤波分类模型,具体为:
给定由有标记基样本循环移位生成的l个有标记的样本集合
Figure FDA0002457792750000011
xi表示第i个样本,yi是xi的标记;以及由无标记基样本循环移位生成的u个无标记的样本集合
Figure FDA0002457792750000012
通过极小化下面的优化函数寻找再生核Hilbert空间上的最优分类函数f*,Mercer核κ为再生核Hilbert空间上的再生核:
Figure FDA0002457792750000013
其中,再生核Hilbert空间,全称Reproducing Kernel Hilbert Space,简写为RKHS,记为
Figure FDA0002457792750000014
f*表示最优的分类函数,
Figure FDA0002457792750000015
表示使后面的式子达到最小值时f的取值,
Figure FDA0002457792750000016
表示f属于
Figure FDA0002457792750000017
∈表示属于,∑表示求和符号,f(xi)表示将样本xi代入函数f中的值,||·||κ是由
Figure FDA0002457792750000018
上Mercer核κ诱导的范数,n=l+u表示所有样本的个数,λ和γ表示一个预定的常数,W是一个相似性度量矩阵其每个元素Wij表示样本xi和样本xj的相似性度量权重,f=[f(x1),f(x2),…,f(xn)]T,[...]T表示中括号内向量或矩阵的转置,L=D-W是拉普拉斯矩阵,其中对角矩阵D的每个对角元素
Figure FDA0002457792750000019
给定样本v,其回归值表示为:
Figure FDA0002457792750000021
其中,αi是n维拉格朗日乘子α的第i个元素;α的解析形式为:
Figure FDA0002457792750000022
其中对角矩阵
Figure FDA0002457792750000023
的前l个对角元素为1,diag是一个向量对角化算子,表示将其后的向量转换一个对角矩阵,
Figure FDA0002457792750000024
表示n×n维的实数空间,
Figure FDA0002457792750000025
是一个单位矩阵,
Figure FDA0002457792750000026
Y是S2中所有循环移位基样本得到的对应样本的标记矩阵展开组成的向量,
Figure FDA0002457792750000027
表示n维的实数空间,核矩阵K的每个元素为Kij=κ(xi,xj),(·)-1表示括号里矩阵的逆;
训练该分类模型的样本是S1中所提取的增广基样本循环移位生成的,核矩阵K可以分解为
Figure FDA0002457792750000028
其中,
Figure FDA0002457792750000029
是矩阵
Figure FDA00024577927500000210
的第t块,每块的每个元素
Figure FDA00024577927500000211
t=1,...,s,s表示基样本的维度,其中,令k(i,j)=[k1(i,j),k2(i,j),...,ks(i,j)]T表示由第i个和第j个基样本所生成的所有样本的计算的核向量,
Figure FDA00024577927500000212
是向量
Figure FDA00024577927500000213
的第t个元素;
Figure FDA00024577927500000214
其中,Γ(k(i,j))表示k(i,j)的傅里叶变换;
Diag(·)是一个块对角算子,即将其后的元素转换成块对角矩阵;
Figure FDA00024577927500000215
其中
Figure FDA00024577927500000216
是Kronecker积,In是一个n×n的单位矩阵,Fs是一个大小为s×s的离散傅里叶变换矩阵;假设存在b基样本{x1,x2,…,xb},用于循环移位的转移矩阵为:
Figure FDA00024577927500000217
其中,Os-1是一个具有s-1个零元素的列向量,Is-1是一个大小(s-1)×(s-1)的单位矩阵;
拉普拉斯矩阵L可以分解为:
Figure FDA00024577927500000218
其中,
Figure FDA00024577927500000219
是矩阵
Figure FDA00024577927500000220
的第t块,每块的每个元素
Figure FDA00024577927500000221
t=1,...,s,s表示基样本的维度,令l(i,j)=[l1(i,j),l2(i,j),...,ls(i,j)]T表示由第i个和第j个基样本所生成的所有样本的核向量,
Figure FDA0002457792750000031
是向量
Figure FDA0002457792750000032
的第t个元素;
Figure FDA0002457792750000033
其中,Γ(l(i,j))表示l(i,j)的傅里叶变换;
令δ=λl,
Figure FDA0002457792750000034
α的解析形式写为:
α=(JK+δI+ηLK)-1Y,
其中,块对角矩阵
Figure FDA0002457792750000035
式中,单位矩阵
Figure FDA0002457792750000036
零矩阵
Figure FDA0002457792750000037
可以验证,J=U-1JU;标记向量
Figure FDA0002457792750000038
其中,
Figure FDA0002457792750000039
t=1,...,s表示所有基样本在转移矩阵下产生的样本的标记;因此,α的解可以写为:
Figure FDA00024577927500000310
其中,
Figure FDA00024577927500000311
t=1,...,s;
根据线性矩阵的卷积定理,UY的计算可以通过对每个基样本的所有循环移位样本的标记向量执行傅里叶变换得到;
Figure FDA00024577927500000312
则有
Figure FDA00024577927500000313
Figure FDA00024577927500000314
表示
Figure FDA00024577927500000315
中第t块的第i个元素,F(y(t))i表示对y(t)进行傅里叶变换后的第i个元素;所以,
Figure FDA00024577927500000316
因此,分类模型α的学习能够转换成求解
Figure FDA00024577927500000317
Figure FDA00024577927500000318
的求解能够转换成分块求解s个子问题,而且每个子问题都能够独立计算;
S4、判断当前视频的帧数是大于还是等于第二帧,并分别进行相应操作,具体为:
S4.1如果当前帧数等于视频的第二帧,则保存当前分类模型;
S4.2如果当前帧数大于第二帧,则利用当前帧的分类模型对保存的上一帧分类模型按照一定的学习率进行更新;
其中,采用一个学习率为c对模型进行更新;假设在第m-1帧中确定目标时采用的模型参数为
Figure FDA0002457792750000041
根据第m-1帧目标的位置选取正负基样本,在第m帧中上一帧目标所在位置区域选取无标记基样本,重新学习一个模型参数
Figure FDA0002457792750000042
那么,如果m=2,则进入步骤S4.1,即使用
Figure FDA0002457792750000043
进行后续步骤;如果,m>2,在第m帧跟踪时模型的参数更新准则为:
Figure FDA0002457792750000044
则跟踪第m帧中目标的模型参数为
Figure FDA0002457792750000045
S5、利用S4保存的分类模型对S1中无标记基样本循环移位所产生的所有无标记样本采用快速分块检测的算法确定其标记,再根据此标记信息确定当前目标位置,具体为:
给定一个测试基样本z,具体实施中的测试基样本z即S1所述无标记基样本,所有循环移位样本的标记可以由下式计算得到:
f(z)=(Kz)Tα,
其中,Kz表示基样本z的所有循环移位样本与由增广基样本循环移位生成的增广样本集合的核矩阵;矩阵Kz也是一个块循环的矩阵,它的对角化形式可以写为
Figure FDA0002457792750000046
其中,
Figure FDA0002457792750000047
因此,
Figure FDA0002457792750000048
测试基样本的所有循环移位样本的标记向量f(z)可以通过对
Figure FDA0002457792750000049
进行反傅里叶快速计算,而不需要计算大矩阵的逆问题;然后利用f(z)计算出一个无标记基样本的置信图,然后根据置信图确定当前目标的中心位置;
S6、判断当前帧数是否是最后一帧,并进行相应操作,具体为:
S6.1如果当前帧数是最后一帧,表明跟踪结束,跳至S7;
S6.2如果当前帧数不是最后一帧,表明还需要继续跟踪,跳至S1,继续下一帧图像的目标跟踪;
S7、输出每一帧图像的目标状态;
其中,目标的状态为目标的中心位置坐标[x,y]以及目标的宽高[w,h]。
2.如权利要求1所述的一种基于增广样本的流形正则化相关滤波目标跟踪方法,其特征还在于:S1中提取的基样本可以是梯度直方图特征、灰度特征或深度特征。
3.如权利要求1所述的一种基于增广样本的流形正则化相关滤波目标跟踪方法,其特征还在于:S1中所述的图像是由视频监控采集的RGB图像或由红外设备采集的红外图像。
4.如权利要求3所述的一种基于增广样本的流形正则化相关滤波目标跟踪方法,其特征还在于:S4.2中所述的学习率取值范围为0到1。
5.如权利要求1或2所述的一种基于增广样本的流形正则化相关滤波目标跟踪方法,其特征还在于:S1中提取的基样本还可以为Lab颜色特征、HSV颜色特征以及神经卷积网络过程中的特征图。
CN201610365909.6A 2016-05-27 2016-05-27 一种基于增广样本的流形正则化相关滤波目标跟踪方法 Expired - Fee Related CN107067410B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610365909.6A CN107067410B (zh) 2016-05-27 2016-05-27 一种基于增广样本的流形正则化相关滤波目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610365909.6A CN107067410B (zh) 2016-05-27 2016-05-27 一种基于增广样本的流形正则化相关滤波目标跟踪方法

Publications (2)

Publication Number Publication Date
CN107067410A CN107067410A (zh) 2017-08-18
CN107067410B true CN107067410B (zh) 2020-06-26

Family

ID=59616843

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610365909.6A Expired - Fee Related CN107067410B (zh) 2016-05-27 2016-05-27 一种基于增广样本的流形正则化相关滤波目标跟踪方法

Country Status (1)

Country Link
CN (1) CN107067410B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108470355B (zh) * 2018-04-04 2022-08-09 中山大学 融合卷积网络特征和判别式相关滤波器的目标跟踪方法
CN108710834B (zh) * 2018-04-28 2022-01-14 哈尔滨工业大学深圳研究生院 滤波区域的相关滤波目标跟踪方法
CN108776975B (zh) * 2018-05-29 2021-11-05 安徽大学 一种基于半监督特征和滤波器联合学习的视觉跟踪方法
CN109064492B (zh) * 2018-07-25 2022-04-01 南京信息工程大学 一种基于流形正则化的上下文相关滤波视频跟踪方法
CN109697727A (zh) * 2018-11-27 2019-04-30 哈尔滨工业大学(深圳) 基于相关滤波和度量学习的目标跟踪方法、系统及存储介质
CN109858454B (zh) * 2019-02-15 2023-04-07 东北大学 一种基于双模型自适应核相关滤波追踪方法
CN111161323B (zh) * 2019-12-31 2023-11-28 北京理工大学重庆创新中心 一种基于相关滤波的复杂场景目标跟踪方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102129570A (zh) * 2010-01-19 2011-07-20 中国科学院自动化研究所 用于动态视觉的基于流形正则化的半监督分类器设计方法
CN102831161A (zh) * 2012-07-18 2012-12-19 天津大学 用于图像检索的基于流形正则化的半监督排序学习方法
CN104751191A (zh) * 2015-04-23 2015-07-01 重庆大学 一种稀疏自适应半监督多流形学习的高光谱影像分类方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102129570A (zh) * 2010-01-19 2011-07-20 中国科学院自动化研究所 用于动态视觉的基于流形正则化的半监督分类器设计方法
CN102831161A (zh) * 2012-07-18 2012-12-19 天津大学 用于图像检索的基于流形正则化的半监督排序学习方法
CN102831161B (zh) * 2012-07-18 2015-09-30 天津大学 用于图像检索的基于流形正则化的半监督排序学习方法
CN104751191A (zh) * 2015-04-23 2015-07-01 重庆大学 一种稀疏自适应半监督多流形学习的高光谱影像分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于Laplacian正则化最小二乘的半监督SAR目标识别;张向荣 等;《软件学报》;20100430;第21卷(第04期);第586-594页 *
基于快速傅里叶变换的局部分块视觉跟踪算法;侯志强 等;《电子与信息学报》;20151031;第37卷(第10期);第2397-2403页 *

Also Published As

Publication number Publication date
CN107067410A (zh) 2017-08-18

Similar Documents

Publication Publication Date Title
CN107067410B (zh) 一种基于增广样本的流形正则化相关滤波目标跟踪方法
Yuan et al. Robust visual tracking with correlation filters and metric learning
CN108171133B (zh) 一种基于特征协方差矩阵的动态手势识别方法
CN106981071B (zh) 一种基于无人艇应用的目标跟踪方法
CN111311647B (zh) 一种基于全局-局部及卡尔曼滤波的目标跟踪方法及装置
CN108280808B (zh) 基于结构化输出相关滤波器的目标跟踪方法
CN103886325A (zh) 一种分块的循环矩阵视频跟踪方法
Yang et al. Visual tracking with long-short term based correlation filter
CN113160275B (zh) 一种基于多个视频的自动目标跟踪和轨迹计算的方法
Xu et al. Task-aware meta-learning paradigm for universal structural damage segmentation using limited images
CN111368733B (zh) 一种基于标签分布学习的三维手部姿态估计方法、存储介质及终端
Zhuang et al. Instance segmentation based 6D pose estimation of industrial objects using point clouds for robotic bin-picking
Teng et al. Generative robotic grasping using depthwise separable convolution
Dhingra Headposr: End-to-end trainable head pose estimation using transformer encoders
Wu et al. Multi-component group sparse RPCA model for motion object detection under complex dynamic background
Raju et al. Detection based long term tracking in correlation filter trackers
Ikram et al. Real time hand gesture recognition using leap motion controller based on CNN-SVM architechture
CN111242003B (zh) 一种基于多尺度受约束自注意机制的视频显著性物体检测的方法
Lin et al. Target recognition and optimal grasping based on deep learning
Hu et al. Siamese network object tracking algorithm combining attention mechanism and correlation filter theory
CN115345902A (zh) 基于机器学习的红外图像弱小目标检测跟踪方法及系统
Gao et al. Coarse TRVO: A robust visual odometry with detector-free local feature
CN111951298A (zh) 一种融合时间序列信息的目标跟踪方法
Huang et al. An anti-occlusion and scale adaptive kernel correlation filter for visual object tracking
Cao et al. Deformable convolutional networks tracker

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200626

Termination date: 20210527

CF01 Termination of patent right due to non-payment of annual fee