CN103955951A - 基于正则化模板与重建误差分解的快速目标跟踪方法 - Google Patents

基于正则化模板与重建误差分解的快速目标跟踪方法 Download PDF

Info

Publication number
CN103955951A
CN103955951A CN201410196605.2A CN201410196605A CN103955951A CN 103955951 A CN103955951 A CN 103955951A CN 201410196605 A CN201410196605 A CN 201410196605A CN 103955951 A CN103955951 A CN 103955951A
Authority
CN
China
Prior art keywords
vector
target
regularization
tracking
formula
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410196605.2A
Other languages
English (en)
Other versions
CN103955951B (zh
Inventor
汪萌
齐美彬
李炳南
洪日昌
蒋建国
杨勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN201410196605.2A priority Critical patent/CN103955951B/zh
Publication of CN103955951A publication Critical patent/CN103955951A/zh
Application granted granted Critical
Publication of CN103955951B publication Critical patent/CN103955951B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于正则化模板和重建误差分解的快速目标跟踪方法,其特征是如下步骤进行:将常用的目标模板集合进行正则化,消除模板之间冗余性,提升模板的抗干扰能力和对目标的重建能力;并将重建误差进行分解,分别使用L2范数和L0范数对两个不同性质的重建误差分量进行建模,构建目标与正则化模板集合的距离作为选择最佳目标的依据,提升了跟踪方法的鲁棒性和准确度;同时,采用增量PCA学习方法对正则化模板集合进行更新。本发明提高了线性目标表示模型对目标的重建能力,且将跟踪速度提升到接近实时水平,从而能够适用于工程应用。

Description

基于正则化模板与重建误差分解的快速目标跟踪方法
技术领域
本发明属于图像处理、模式识别技术领域,主要涉及一种基于正则化模板与重建误差分解的快速单目标视觉跟踪方法。 
背景技术
视觉目标跟踪是一种智能视频分析方法,其目的就是要对用户感兴趣的目标进行持续不间断地跟踪,是计算机视觉领域热门研究课题之一。目标跟踪可以应用于智能视频监控、异常行为分析、运动事件检测等方面。公安技术人员利用目标跟踪方法可以对摄像头中出现的可疑人员进行跟踪和识别,协助侦破案件。 
视觉目标跟踪的研究已超过二十年,然而目标在跟踪过程中经常面临的尺度变化、光照变化、遮挡以及形变等复杂问题一直困扰着目标跟踪研究者们,研究者们通常会设计复杂的数学方法去解决上述干扰问题,但是复杂的数学方法通常又增加了目标跟踪方法的计算复杂度,导致目标跟踪方法在跟踪目标时速度很慢,不利于目标跟踪方法的工程推广。例如,2011年,Mei Xue等研究者在顶级国际期刊IEEE Transaction on Pattern Analysis and Machine Intelligence上发表的文章《Robust Visual Tracking and Vehicle Classification via Sparse Representation》中提出一种目标跟踪方法,该方法采用目标模板集和琐碎模板对目标进行稀疏表示,利用L1正则化对目标表示模型进行求解,并假设重建误差服从高斯分布,使用重建误差均方最小准则作为选择跟踪目标的依据。但是这种方法的不足之处有: 
(1)、该方法所用目标模板集合中目标模板之间是互相相关的,包含大量冗余信息,无法很有效地对跟踪目标进行重建; 
(2)、在视频的每一帧,该方法都需要求解数百次的L1正则化,求解L1正则化耗费了大量的时间; 
(3)、在现实跟踪场景中,当目标受到遮挡等干扰时,重建误差并不服从高斯分布,所以该方法在跟踪时往往会出现跟踪“漂移”等问题。实际上,重建误差中包含两种分量:一种为类似弱光线变化等引起的高斯噪声,这种噪声是一直存在的,且幅值一般较小;另一种是由遮挡等较严重干扰造成的残差分量,这部分分量往往包含一些幅值较大的异常点。两种分量需要区别对待,分别建模。 
Mei Xue所提出的这种目标跟踪方法是近几年来目标跟踪代表性方法之一,受到广泛关注。但是,从工程应用的角度来看,Mei Xue所提出的目标跟踪方法实用性较低。到目前为止,目标跟踪研究领域内依然没有出现一种跟踪准确度高、运算速度快、可以工程应用的目 标跟踪方法。 
发明内容
本发明旨在解决当前多数目标跟踪方法对目标重建能力低,而且时效性低下的问题,提出了一种基于正则化模板和重建误差分解的快速目标跟踪方法,提高了线性目标表示模型对目标的重建能力,且将跟踪速度提升到接近实时水平,从而能够适用于工程应用。 
本发明为解决技术问题采用如下技术方案: 
本发明一种基于正则化模板和重建误差分解的快速目标跟踪方法的特点是如下步骤进行: 
步骤1、初始化阶段: 
步骤1.1、对输入的视频图像的第1帧图像进行人工标记,获得跟踪目标的状态向量x1和观测向量y1; 
所述状态向量x1=(x1,y11,s111),x1和y1分别表示所述跟踪目标在第1帧图像中的水平方向的坐标和竖直方向的坐标;θ1、s1、α1和φ1分别表示所述跟踪目标在第1帧图像中的旋转角度、尺度、高宽比率和斜切方向;所述观测向量y1=(y1,y2,…,yd)T为所述跟踪目标的图像特征向量;d表示所述观测向量的维数; 
步骤1.2、利用经典粒子滤波跟踪方法对所述第2帧图像到第F帧图像进行目标跟踪,F≥3;获得前F帧图像的跟踪目标的状态向量集合X=[x1,x2,…,xF]和目标模板集合Y=[y1,y2,…,yF]; 
步骤1.3、利用奇异值分解方法对所述目标模板集合Y进行正则化处理,获得初始正则化模板集合UF=[u1,u2,…,uk,uF],UF中任一个基向量uk=(u1,u1,…,ud)T,k=1,2,…,F;并获得均值向量为 u ‾ F = 1 F Σ k = 1 F u k ;
步骤2、跟踪阶段:输入所述第t-1帧中的跟踪目标的状态向量xt-1、正则化模板集合Ut-1和均值向量对所述输入视频的第t帧图像中的目标进行跟踪; 
步骤2.1、利用式(1)所示的动态模型进行高斯采样,获得第t帧图像中的N个粒子集合 并在所述第t帧图像中抽取任一个粒子所对应的候选目标图像特征向量
p ( x t i | x t - 1 ) = N ( x t i ; x t - 1 , ψ ) - - - ( 1 )
式(1)中:Ψ为对角协方差矩阵,Ψ对角线上的元素分别为6个仿射参数的方差 所述粒子集合中任一个粒子所述任一个粒子所对应的权重为i=1,2,…,N;t≥F+1,F为正整数; 
步骤2.2、利用式(2)所示的线性目标表示模型对所述候选目标特征向量进行线性重建: 
y t i = U t - 1 z + e = z 1 u 1 + z 2 u 2 + · · · + z F u F + e - - - ( 2 )
式(2)中:z为重建系数向量,z=(z1,z2,…,zF);e为重建误差向量,e=(e1,e2,…,ed)T; 
步骤2.3、利用式(3)的岭回归分析方法获得所述重建系数向量z: 
z = ( U t - 1 T U t - 1 + λI ) - 1 U t - 1 T y t i - - - ( 3 )
式(3)中:λ为正则化参数,I为单位矩阵; 
利用式(4)获得所述重建误差向量e: 
e = y t i - U t - 1 z - - - ( 4 )
步骤2.4利用式(5)和(6)将所述重建误差向量e分解成第一分量e#和第二分量e*: 
e j # = e j | e j | ≤ δ 0 | e j | > δ - - - ( 5 )
e j * = e j | e j | > δ 0 | e j | ≤ δ - - - ( 6 )
式(5)和式(6)中,δ为阈值参数; e # = ( e 1 # , e 2 # , . . . , e d # ) T ; e * = ( e 1 * , e 2 * , . . . , e d * ) T ; j=1,2,…,d; 
步骤2.5、利用式(7)获得候选目标特征向量与正则化模板集合Ut-1的距离
d ( y t i ; U t - 1 ) = | | e # | | 2 2 + β | | e * | | 0 - - - ( 7 )
式(7)中:||·||2表示L2范数,||·||0表示L0范数;β为惩罚参数; 
步骤2.6、利用式(8)更新所述任一个粒子的权值
w t i = 1 / d ( y t i ; U t - 1 ) - - - ( 8 )
式(8)中,权值最大的粒子作为第t帧图像中所要跟踪的目标的状态向量xt;并在所述第t 帧图像中抽取所述目标的状态向量xt所对应的第t帧目标图像特征向量yt;若所述第t帧为所述视频图像的最后一帧,则结束目标跟踪,否则,继续进行步骤3; 
步骤3、更新阶段: 
步骤3.1、计算遮挡度ρ=||e*||0/d,并对所述第t帧目标图像特征向量yt进行遮挡判定; 
(a)、若ρ小于所设定的低阈值threlow,则判定为跟踪目标未被遮挡,对所述目标图像特征向量yt不作处理,令(yt)*=yt,进行步骤3.2; 
(b)、若ρ大于所设定的高阈值threhigh,则判定跟踪目标被严重遮挡,第t帧正则化模板集合Ut和均值向量的取值延续第t-1帧的正则化模板集合Ut-1和均值向量的取值,即Ut=Ut-1并直接进入步骤4; 
(c)、若ρ大于等于低阈值threlow且小于等于高阈值threhigh,则判定跟踪目标被部分遮挡,目标图像特征向量yt中被遮挡部分的像素用均值向量对应位置的像素进行替换后获得新的目标图像特征向量(yt)*并进入步骤3.2; 
步骤3.2、采用增量PCA学习算法将步骤3.1所得目标图像特征向量(yt)*更新正则化模板集合,获得第t帧的正则化模板空间Ut以及均值向量
步骤4:输出所述第t帧图像中的跟踪目标的状态向量xt、正则化模板集合Ut和均值向量 返回步骤2,输入第t帧中的跟踪目标的状态向量xt、正则化模板集合Ut和均值向量对输入视频的第t+1帧图像中的目标进行跟踪。 
与已有技术相比,本发明有益效果体现在: 
1、本发明将传统目标跟踪方法常用的目标模板集合进行正则化,获得正则化模板集合,去除了原目标模板集合中存在的冗余性和噪声,提高了对目标表示模型对目标的重建能力。 
2、针对重建误差不服从高斯分布并且包含两种分量这一特点,本发明将重建误差进行分解,并分别用L2范数和L0范数对分解出来的两种分量进行建模,然后构建候选目标与正则化模板空间的距离,提高了目标跟踪方法的鲁棒性和跟踪准确度。 
3、本发明所使用的正则化模板集合中特征向量之间是互相正交的,不再需要使用耗时的L1正则化对目标重建系数进行求解,在本发明中,可以使用快捷的岭回归分析方法对目标表 示系数和重建误差进行求解。本发明运算简单,降低了目标跟踪方法的计算复杂度,在实验室环境下,跟踪速度可以达到每秒25帧的效果;同时将本发明的跟踪方法移植到DSP芯片上运行,借助于DSP芯片优秀的计算能力,本发明完全可以达到实时的运行效果。 
附图说明
图1为本发明的跟踪方法工作流程图; 
图2为本发明中目标模板正则化的视觉效果图; 
图3a为本发明的跟踪方法进行车辆跟踪时的视频第26帧的跟踪效果图; 
图3b为本发明的跟踪方法进行车辆跟踪时的视频第184帧的跟踪效果图; 
图3c为本发明的跟踪方法进行车辆跟踪时的视频第204帧的跟踪效果图; 
图3d为本发明的跟踪方法进行车辆跟踪时的视频第616帧的跟踪效果图。 
具体实施方式
本实施例中,一种基于正则化模板和重建误差分解的快速目标跟踪方法,流程图如图1所示,是按照如下步骤进行: 
步骤1、初始化阶段:该阶段主要为了获得初始目标模板集合,并进行正则化,获得初始正则化模板集合以及均值向量。 
步骤1.1、对输入的视频图像的第1帧图像进行人工标记,获得跟踪目标的状态向量x1和观测向量y1; 
状态向量x1=(x1,y11,s111),是由6个仿射参数组成,x1和y1分别表示跟踪目标在第1帧图像中的水平方向的坐标和竖直方向的坐标;θ1、s1、α1和φ1分别表示跟踪目标在第1帧图像中的旋转角度、尺度、高宽比率和斜切方向;观测向量y1=(y1,y2,…,yd)T为跟踪目标的图像特征向量,d表示观测向量的维数;状态向量x1对应的灰度图像首先归一化到统一大小,通常归一化为32×32大小的灰度图像块,并将32×32的灰度图像矩阵经过首尾相连拉伸为列向量,构建成观测向量y1,d=32×32=1024; 
步骤1.2、利用经典的粒子滤波跟踪方法对第2帧图像到第F帧图像进行目标跟踪,F≥3;获得前F帧图像的跟踪目标的状态向量集合X=[x1,x2,…,xF]和目标模板集合Y=[y1,y2,…,yF];F一般取值为10; 
以第2帧图像的目标跟踪为例,介绍经典粒子滤波跟踪方法: 
(1)首先,以第1帧所标记的目标状态x1为中心,利用式(1)的动态模型进行高斯采样,采样后获取第2帧图像中N个粒子N通常取200。将每个粒子所对应的灰度图像按照步骤1.1中所用方式转换成d维的图像特征向量
p ( x 2 i | x 1 ) = N ( x 2 i ; x 1 , ψ ) - - - ( 1 )
式(1)中:Ψ为对角协方差矩阵,Ψ对角线上的元素分别为6个仿射参数的方差 
是由6个仿射参数组成的候选目标状态向量,每个粒子对应的权值为i=1,2,…,N; 
(2)按照式(2)对每个粒子的权值进行更新 
w 2 i = exp { - | | y 2 i - y 1 | | 2 2 } - - - ( 2 )
(3)选取权值最大的粒子所对应的候选目标作为跟踪目标,获得目标的状态向量x2和图像特征向量y2。 
粒子滤波跟踪方法的优势在于可以有效地解决目标尺度变化和旋转等干扰问题。步骤1.2采用经典粒子滤波跟踪方法,而本发明步骤2中的跟踪框架也是来源于粒子滤波跟踪方法。 
步骤1.3、利用奇异值分解方法对目标模板集合Y进行正则化处理,获得初始正则化模板集合UF=[u1,u2,…,uF],UF中任一个基向量uk=(u1,u1,…,ud)T,k=1,2,…,F;并获得均值向量为正则化模板集合UF包含的特征向量个数始终为F,特征向量会随着每一帧更新而改变。正则化模板集合UF中的特征向量之间是正交不相关的,去除了传统目标模板集合Y中包含的冗余性,增强了对目标的重建能力; 
奇异值分解方法的作用在于将目标模板集合Y转化为由一组正交基向量张成的子空间,即正则化模板集合UF。 
步骤2、跟踪阶段:输入第t-1帧图像中的跟踪目标的状态向量xt-1、正则化模板集合Ut-1和均值向量对输入视频的第t帧图像中的目标进行跟踪; 
步骤2.1、利用式(3)所示的动态模型进行高斯采样,获得第t帧图像中的N个粒子集合 并在第t帧图像中抽取任一个粒子所对应的候选目标图像特征向量
式(3)中:中任一个粒子任一个粒子所对应的权重为 i=1,2,…,N;t=F+1,F+2,F+3,; 
高斯采样实际上就是指以第t-1帧图像中目标状态向量xt-1为中心,在xt-1的周围采集N个粒子,粒子的分布呈现高斯分布的规律,离xt-1越近分布越密集,离xt-1越远分布越松散。第t-1帧图像中的跟踪目标的状态向量xt-1、正则化模板集合Ut-1和均值向量是由前一帧图像的目标跟踪输出的,逐渐往前递推。 
步骤2.2、利用式(4)所示的线性目标表示模型对候选目标特征向量进行线性重建: 
y t i = U t - 1 z + e = z 1 u 1 + z 2 u 2 + · · · + z F u F + e - - - ( 4 )
式(4)中:z为重建系数向量,z=(z1,z2,…,zF);e为重建误差向量,e=(e1,e2,…,ed)T;正则化模板集合Ut-1又可以称为正则化子空间,式(2)成立的前提是假设候选目标存在于正则化子空间Ut-1中。 
步骤2.3、利用式(5)的岭回归分析方法获得重建系数向量z: 
z = ( U t - 1 T U t - 1 + λI ) - 1 U t - 1 T y t i - - - ( 5 )
式(5)中:λ为正则化参数,I为单位矩阵,单位矩阵I主要是为了保证矩阵可逆; 
利用式(6)获得重建误差向量e: 
e = y t i - U t - 1 z - - - ( 6 )
在具体计算过程中,令矩阵P独立于候选目标特征向量在每一帧图像的跟踪中矩阵P只需要计算一次;将N个候选目标特征向量集中在一个矩阵中,即可通过两次矩阵计算,直接获得N个候选目标的重建系数向量和重建误差向量,即Z=PYt和E=Yt-Ut-1Z;Z表示N个候选目标的重建系数向量所组成的矩阵,E表示N个候选目标的重建误差向量所组成的矩阵; 
步骤2.4利用式(7)和(8)将重建误差向量e分解成第一分量e#和第二分量e*: 
e j # = e j | e j | ≤ δ 0 | e j | > δ - - - ( 7 )
e j * = e j | e j | > δ 0 | e j | ≤ δ - - - ( 8 )
式(7)和式(8)中,δ为阈值参数; e # = ( e 1 # , e 2 # , . . . , e d # ) T ; e * = ( e 1 * , e 2 * , . . . , e d * ) T ; j=1,2,…,d;阈值参数δ为一个较小的正数,例如,可设置为0.12;第一分量e#主要由于微弱光线变化、人脸表情变化等较弱干扰导致,e#中元素的数值的绝对值一般分布在0~0.1之间,e#属于正常存在的噪声;第二分量e*主要由于较强干扰引起的噪声,如遮挡、光线剧变等;e*中的元素大多数为一些数值较大的异常点;当目标被遮挡时,e*中的元素近似对应被遮挡像素的位置; 
步骤2.5、利用式(9)获得候选目标特征向量与正则化模板集合Ut-1的距离
d ( y t i ; U t - 1 ) = | | e # | | 2 2 + β | | e * | | 0 - - - ( 9 )
式(9)中:||·||2表示L2范数,||·||0表示L0范数;β为惩罚参数;惩罚参数β可设置为一个很小的正数,比如0.05; 
步骤2.6、利用式(10)更新任一个粒子的权值
w t i = 1 / d ( y t i ; U t - 1 ) - - - ( 10 )
式(10)中,权值最大的粒子作为第t帧图像中所要跟踪的目标的状态向量xt;并在第t帧图像中抽取状态向量xt所对应的第t帧目标图像特征向量yt;若第t帧为视频图像的最后一帧,则结束目标跟踪,否则,继续进行步骤3; 
步骤3、更新阶段: 
步骤3.1、计算遮挡度ρ=||e*||0/d,并对第t帧目标图像特征向量yt进行遮挡判定; 
(a)、若ρ小于所设定的低阈值threlow,则判定为跟踪目标未被遮挡,对目标图像特征向量yt不作处理,令(yt)*=yt,进行步骤3.2; 
(b)、若ρ大于所设定的高阈值threhigh,则判定跟踪目标被严重遮挡,第t帧正则化模板集合Ut和均值向量的取值延续第t-1帧的正则化模板集合Ut-1和均值向量的取值,即Ut=Ut-1并直接进入步骤4; 
(c)、若ρ大于等于低阈值threlow且小于等于高阈值threhigh,则判定跟踪目标被部分遮挡,目标图像特征向量yt中被遮挡部分的像素用均值向量对应位置的像素进行替换后获得新的目标图像特征向量(yt)*并进入步骤3.2; 
步骤3.2、采用增量PCA学习算法将步骤3.1所得目标图像特征向量(yt)*更新进正则化模板集合中,获得第t帧的正则化模板空间Ut以及均值向量
虽然步骤3.1是在假设目标被遮挡的情形下进行更新处理的,但本发明方法同样适用于尺度变化、光线剧变、运动模糊等情形下的模型更新; 
在具体计算时,在步骤3.2中,本发明也可以每隔m帧进行一次增量PCA学习,便于提升跟踪速度;m通常可以取5;增量PCA学习算法的优势在于,算法进行学习的时候,可以在前面学习的结果上结合新的样本进行学习,这样避免了将所有样本集中在一起再一次学习,有效地加快了PCA子空间学习的速度;增量PCA学习算法的具体流程可以参见文献《Incremental learning for robust visual tracking》中的介绍; 
步骤4:输出第t帧图像中的跟踪目标的状态向量xt、正则化模板集合Ut和均值向量返回步骤2,输入第t帧中的跟踪目标的状态向量xt、正则化模板集合Ut和均值向量对输入视频的第t+1帧图像中的目标进行跟踪。 
图3a、图3b、图3c、图3d是本发明跟踪方法在动态背景下,对运动车辆进行跟踪,克服了尺度变化、光线剧变等干扰,取得了很好的跟踪效果。 
以上,仅为本发明较佳的一种实施方式,其他研究人员根据上面,完全可以在其他跟踪场景下,比如行人跟踪、人脸跟踪等,取得相同的效果。必须说明的是,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或相关参数改变,都应涵盖在本发明的保护范围之内。 

Claims (1)

1.一种基于正则化模板和重建误差分解的快速目标跟踪方法,其特征是如下步骤进行:
步骤1、初始化阶段:
步骤1.1、对输入的视频图像的第1帧图像进行人工标记,获得跟踪目标的状态向量x1和观测向量y1
所述状态向量x1=(x1,y11,s111),x1和y1分别表示所述跟踪目标在第1帧图像中的水平方向的坐标和竖直方向的坐标;θ1、s1、α1和φ1分别表示所述跟踪目标在第1帧图像中的旋转角度、尺度、高宽比率和斜切方向;所述观测向量y1=(y1,y2,…,yd)T为所述跟踪目标的图像特征向量;d表示所述观测向量的维数;
步骤1.2、利用经典粒子滤波跟踪方法对所述第2帧图像到第F帧图像进行目标跟踪,F≥3;获得前F帧图像的跟踪目标的状态向量集合X=[x1,x2,…,xF]和目标模板集合Y=[y1,y2,…,yF];
步骤1.3、利用奇异值分解方法对所述目标模板集合Y进行正则化处理,获得初始正则化模板集合UF=[u1,u2,,uk,uF],UF中任一个基向量uk=(u1,u1,…,ud)T,k=1,2,…,F;并获得均值向量为 u ‾ F = 1 F Σ k = 1 F u k ;
步骤2、跟踪阶段:输入所述第t-1帧中的跟踪目标的状态向量xt-1、正则化模板集合Ut-1和均值向量对所述输入视频的第t帧图像中的目标进行跟踪;
步骤2.1、利用式(1)所示的动态模型进行高斯采样,获得第t帧图像中的N个粒子集合并在所述第t帧图像中抽取任一个粒子所对应的候选目标图像特征向量
p ( x t i | x t - 1 ) = N ( x t i ; x t - 1 , ψ ) - - - ( 1 )
式(1)中:Ψ为对角协方差矩阵,Ψ对角线上的元素分别为6个仿射参数的方差所述粒子集合中任一个粒子所述任一个粒子所对应的权重为i=1,2,…,N;t≥F+1,F为正整数;
步骤2.2、利用式(2)所示的线性目标表示模型对所述候选目标特征向量进行线性重建:
y t i = U t - 1 z + e = z 1 u 1 + z 2 u 2 + · · · + z F u F + e - - - ( 2 )
式(2)中:z为重建系数向量,z=(z1,z2,…,zF);e为重建误差向量,e=(e1,e2,…,ed)T
步骤2.3、利用式(3)的岭回归分析方法获得所述重建系数向量z:
z = ( U t - 1 T U t - 1 + λI ) - 1 U t - 1 T y t i - - - ( 3 )
式(3)中:λ为正则化参数,I为单位矩阵;
利用式(4)获得所述重建误差向量e:
e = y t i - U t - 1 z - - - ( 4 )
步骤2.4利用式(5)和(6)将所述重建误差向量e分解成第一分量e#和第二分量e*
e j # = e j | e j | ≤ δ 0 | e j | > δ - - - ( 5 )
e j * = e j | e j | > δ 0 | e j | ≤ δ - - - ( 6 )
式(5)和式(6)中,δ为阈值参数; e # = ( e 1 # , e 2 # , . . . , e d # ) T ; e * = ( e 1 * , e 2 * , . . . , e d * ) T ; j=1,2,…,d;
步骤2.5、利用式(7)获得候选目标特征向量与正则化模板集合Ut-1的距离
d ( y t i ; U t - 1 ) = | | e # | | 2 2 + β | | e * | | 0 - - - ( 7 )
式(7)中:||·||2表示L2范数,||·||0表示L0范数;β为惩罚参数;
步骤2.6、利用式(8)更新所述任一个粒子的权值
w t i = 1 / d ( y t i ; U t - 1 ) - - - ( 8 )
式(8)中,权值最大的粒子作为第t帧图像中所要跟踪的目标的状态向量xt;并在所述第t帧图像中抽取所述目标的状态向量xt所对应的第t帧目标图像特征向量yt;若所述第t帧为所述视频图像的最后一帧,则结束目标跟踪,否则,继续进行步骤3;
步骤3、更新阶段:
步骤3.1、计算遮挡度ρ=||e*||0/d,并对所述第t帧目标图像特征向量yt进行遮挡判定;
(a)、若ρ小于所设定的低阈值threlow,则判定为跟踪目标未被遮挡,对所述目标图像特征向量yt不作处理,令(yt)*=yt,进行步骤3.2;
(b)、若ρ大于所设定的高阈值threhigh,则判定跟踪目标被严重遮挡,第t帧正则化模板集合Ut和均值向量的取值延续第t-1帧的正则化模板集合Ut-1和均值向量的取值,即Ut=Ut-1并直接进入步骤4;
(c)、若ρ大于等于低阈值threlow且小于等于高阈值threhigh,则判定跟踪目标被部分遮挡,目标图像特征向量yt中被遮挡部分的像素用均值向量对应位置的像素进行替换后获得新的目标图像特征向量(yt)*并进入步骤3.2;
步骤3.2、采用增量PCA学习算法将步骤3.1所得目标图像特征向量(yt)*更新正则化模板集合,获得第t帧的正则化模板空间Ut以及均值向量
步骤4:输出所述第t帧图像中的跟踪目标的状态向量xt、正则化模板集合Ut和均值向量返回步骤2,输入第t帧中的跟踪目标的状态向量xt、正则化模板集合Ut和均值向量对输入视频的第t+1帧图像中的目标进行跟踪。
CN201410196605.2A 2014-05-09 2014-05-09 基于正则化模板与重建误差分解的快速目标跟踪方法 Active CN103955951B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410196605.2A CN103955951B (zh) 2014-05-09 2014-05-09 基于正则化模板与重建误差分解的快速目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410196605.2A CN103955951B (zh) 2014-05-09 2014-05-09 基于正则化模板与重建误差分解的快速目标跟踪方法

Publications (2)

Publication Number Publication Date
CN103955951A true CN103955951A (zh) 2014-07-30
CN103955951B CN103955951B (zh) 2016-08-24

Family

ID=51333220

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410196605.2A Active CN103955951B (zh) 2014-05-09 2014-05-09 基于正则化模板与重建误差分解的快速目标跟踪方法

Country Status (1)

Country Link
CN (1) CN103955951B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104361609A (zh) * 2014-11-18 2015-02-18 电子科技大学 一种基于稀疏表示的目标跟踪方法
CN105023000A (zh) * 2015-07-13 2015-11-04 中南民族大学 基于人脑视觉记忆原理的人体动作识别方法及系统
CN106821380A (zh) * 2017-02-23 2017-06-13 清华大学 基于乘性正则化的生物医学电阻抗成像方法和装置
CN106934338A (zh) * 2017-01-09 2017-07-07 浙江汉凡软件科技有限公司 一种基于相关滤波器的长期行人跟踪方法
CN107894189A (zh) * 2017-10-31 2018-04-10 北京艾克利特光电科技有限公司 一种目标点自动追踪的光电瞄准系统及其自动追踪方法
CN114140501A (zh) * 2022-01-30 2022-03-04 南昌工程学院 目标跟踪方法、装置及可读存储介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
HUAPING LIU等: "《Visual Tracking using Sparsity Induced Similarity》", 《2010 INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION》 *
PEISHU QU: "《Visual Tracking with Fragments-Based PCA Sparse Representation》", 《INTERNATIONAL JOURNAL OF SIGNAL PROCESSING, IMAGE PROCESSING AND PATTERN RECOGNITION》 *
TIANXIANG BAI等: "《Structured Sparse Representation Appearance Model for Robust》", 《2011 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION》 *
Z. WU等: "《Coupling detection and data association for multiple object tracking》", 《2012 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
邵洁等: "《多模块稀疏投影在密集场景目标跟踪中的应用》", 《应用科学学报》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104361609A (zh) * 2014-11-18 2015-02-18 电子科技大学 一种基于稀疏表示的目标跟踪方法
CN104361609B (zh) * 2014-11-18 2017-12-01 电子科技大学 一种基于稀疏表示的目标跟踪方法
CN105023000A (zh) * 2015-07-13 2015-11-04 中南民族大学 基于人脑视觉记忆原理的人体动作识别方法及系统
CN105023000B (zh) * 2015-07-13 2018-05-01 中南民族大学 基于人脑视觉记忆原理的人体动作识别方法及系统
CN106934338A (zh) * 2017-01-09 2017-07-07 浙江汉凡软件科技有限公司 一种基于相关滤波器的长期行人跟踪方法
CN106821380A (zh) * 2017-02-23 2017-06-13 清华大学 基于乘性正则化的生物医学电阻抗成像方法和装置
CN106821380B (zh) * 2017-02-23 2019-06-28 清华大学 基于乘性正则化的生物医学电阻抗成像方法和装置
CN107894189A (zh) * 2017-10-31 2018-04-10 北京艾克利特光电科技有限公司 一种目标点自动追踪的光电瞄准系统及其自动追踪方法
CN107894189B (zh) * 2017-10-31 2019-08-23 北京艾克利特光电科技有限公司 一种目标点自动追踪的光电瞄准系统及其自动追踪方法
CN114140501A (zh) * 2022-01-30 2022-03-04 南昌工程学院 目标跟踪方法、装置及可读存储介质

Also Published As

Publication number Publication date
CN103955951B (zh) 2016-08-24

Similar Documents

Publication Publication Date Title
CN105488815B (zh) 一种支持目标尺寸变化的实时对象跟踪方法
CN103955951A (zh) 基于正则化模板与重建误差分解的快速目标跟踪方法
CN106204638B (zh) 一种基于尺度自适应和遮挡处理的航拍目标跟踪方法
CN103218605B (zh) 一种基于积分投影与边缘检测的快速人眼定位方法
CN105046717B (zh) 一种鲁棒性的视频目标对象跟踪方法
CN101770568A (zh) 基于仿射不变点及光流计算的目标自动识别和跟踪方法
CN104050685B (zh) 基于粒子滤波视觉注意力模型的运动目标检测方法
Fang et al. Gait neural network for human-exoskeleton interaction
CN102508547A (zh) 基于计算机视觉的手势输入法构建方法及系统
Chunli et al. A behavior classification based on enhanced gait energy image
CN104484890A (zh) 基于复合稀疏模型的视频目标跟踪方法
Li et al. Detection of typical obstacles in orchards based on deep convolutional neural network
CN103077537A (zh) 基于l1正则化的实时运动目标跟踪的新方法
Rao et al. Neural network classifier for continuous sign language recognition with selfie video
CN105809713A (zh) 基于在线Fisher判别机制增强特征选择的目标跟踪方法
CN103473790A (zh) 基于增量Bi-2DPCA学习和稀疏表示的在线目标跟踪方法
CN104899896A (zh) 一种基于子空间特征的多任务学习目标跟踪方法
CN105894008A (zh) 结合特征点匹配及深度神经网络检测的目标运动跟踪方法
CN104637052A (zh) 基于目标引导显著性检测的对象跟踪方法
CN104036528A (zh) 一种基于全局搜索的实时分布场目标跟踪方法
CN103310463A (zh) 基于概率主成分分析和压缩感知的在线目标跟踪方法
CN103996207A (zh) 一种物体跟踪方法
Kang et al. Ego-motion-compensated object recognition using type-2 fuzzy set for a moving robot
Zhang et al. Visual tracking with convolutional neural network
CN109146861A (zh) 一种改进的orb特征匹配方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant