CN104820997B - 一种基于分块稀疏表达与hsv特征融合的目标跟踪方法 - Google Patents

一种基于分块稀疏表达与hsv特征融合的目标跟踪方法 Download PDF

Info

Publication number
CN104820997B
CN104820997B CN201510246602.XA CN201510246602A CN104820997B CN 104820997 B CN104820997 B CN 104820997B CN 201510246602 A CN201510246602 A CN 201510246602A CN 104820997 B CN104820997 B CN 104820997B
Authority
CN
China
Prior art keywords
target
sparse
hsv
template
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510246602.XA
Other languages
English (en)
Other versions
CN104820997A (zh
Inventor
陈文颉
肖驰
窦丽华
陈杰
邓方
高惠琳
黄欣宇
张利民
郝克
吴小文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN201510246602.XA priority Critical patent/CN104820997B/zh
Publication of CN104820997A publication Critical patent/CN104820997A/zh
Application granted granted Critical
Publication of CN104820997B publication Critical patent/CN104820997B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/285Analysis of motion using a sequence of stereo image pairs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30221Sports video; Sports image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于分块稀疏表达与HSV模型的目标跟踪方法,基于稀疏表达与HSV直方图的融合跟踪算法不但保持稀疏表达对光照变化与遮挡的强鲁棒性的优点,还增加了对物体色彩的分辨度且不易受相似颜色干扰,有利于对算法姿态变化目标的鲁棒跟踪;同时,遮挡判断处理可降低算法受到严重遮挡的影响,而更新策略能保证跟踪过程中适应复杂的背景与形态变化的目标,提高了跟踪算法的可靠性;本发明在目标分块中减少分块个数,比一般稀疏跟踪算法有更快的运算效率。

Description

一种基于分块稀疏表达与HSV特征融合的目标跟踪方法
技术领域
本发明涉及计算机视觉领域与智能监控领域,尤其涉及及一种基于分块稀疏表达与HSV特征融合的目标跟踪方法。
背景技术
现有的目标跟踪算法主要有四类:一是中心加权的区域匹配的跟踪算法,典型方法为Mean-shift,该方法搜索速度快,在一定程度上能克服物体的旋转和扭曲,但目标遇到相似颜色物体时,算法会失效;第二类是基于子块匹配的跟踪算法,将目标区域分成若干子块,分别对子块进行跟踪,可较好解决遮挡情况下刚性目标跟踪问题,但是过于依赖子块划分,稳定性不够好;第三类是基于轨迹预测的跟踪算法,典型方法为卡尔曼滤波,该方法通过目标的运动信息,如位置、速度、加速度等信息来预测目标在下一帧的位置,对于线性运动的目标具有较好的跟踪效果,对非线性运动往往会失效;最后一类是基于贝叶斯理论的跟踪算法,典型方法为粒子滤波算法,可适用于任何非线性非高斯的运动系统,但在长时间跟踪时,粒子群不同程度的退化会影响算法的稳定性和可靠性。
基于稀疏表达的目标跟踪算法是近些年发展较快的一种新型跟踪算法,由于具有表示方式简单,能够挖掘出图像数据内部的信息,鲁棒性强以及对光照变化与遮挡情况较好的处理等优点,因而有着广阔的应用前景,如文献“W.Zhong,H.Lu,and M.-H.Yang.Robust Object Tracking via Sparsity-based Collaborative Model.In CVPR,2012.”但是,由于稀疏跟踪算法通常处理的是灰度图像,对颜色信息不够敏感,对于姿态变化的运动物体跟踪效果不佳,同时,在获取稀疏字典与求解稀疏线性方程时会消耗大量时间,影响了算法的实时性。
发明内容
有鉴于此,本发明提供了一种基于分块稀疏表达与HSV特征融合的目标跟踪方法,可在光照、尺度变换、严重遮挡、物体姿态变换等的恶劣条件下实现目标跟踪的鲁棒性与精准性。
为了解决上述技术问题,本发明是这样实现的:
本发明的一种基于分块稀疏表达与HSV特征融合的目标跟踪方法,包括如下步骤:
步骤1、根据第一帧的目标模板信息建立目标的稀疏字典,具体为:
针对输入的视频图像,当只接收到一帧视频时,在第一帧视频中人工标记出待跟踪的目标区域,并将第一帧的目标区域暂时选定为目标模板;获得目标模板向量,采用在线字典学习的方法构造字典D,使得在该字典D下目标区域向量的表示最稀疏;
步骤2、针对选定的目标模板,根据稀疏表达理论,对于目标模板向量Y0,基于字典D,通过求解l1优化问题得到其稀疏系数β0,并构建该目标模板的稀疏直方图η0
然后,将目标模板的RGB图像转为HSV图像,并将H,S,V量级化,并将各颜色分量合成为一维特征矢量L,然后获取目标模板256bin的HSV直方图L0
步骤3、从接收第2帧视频图像开始,在当前帧图像上以选定的目标模板的位置为参照中心,在搜索区域范围U0内根据目标运动模型确定N个候选目标;对于任意一个候选目标向量Yi,得到候选目标稀疏直方图ηi,利用巴氏距离计算目标模板直方图η0与各个候选目标直方图的距离,即得到各目标对应的稀疏观测相似度;
获取各个候选目标的HSV直方图Li,利用相交法计算目标模板HSV直方图L0与各个候选目标直方图的距离,即得到各目标对应的HSV观测相似度;其中i=1,2,...,N;
步骤4、针对当前帧图像中的任意候选目标,将候选目标的稀疏观测相似度与HSV观测相似度加权相乘,即求所述候选目标的稀疏观测相似度与HSV观测相似度平方的乘积,作为该候选目标最终观测相似度;则各候选目标中最终观测相似度最大的为可能目标;
步骤5、判断当前帧的各个候选目标对应的稀疏观测相似度中最大值是否大于或等于设定的阈值:
如果否,表示当前帧图像被严重遮挡,接收下一帧图像后执行步骤6;
如果是,表示当前帧图像未被严重遮挡,则步骤4确定的可能目标为最终的目标,执行步骤8;
步骤6、以步骤4确定的可能目标的位置为参照中心,将上一帧图像对应的搜索区域范围扩大后,在当前接收的图像上根据目标运动模型确定N个候选目标;根据步骤3的方法获得本步骤中确定各个候选目标对应的稀疏观测相似度;然后判断其中最大稀疏观测相似度是否大于所述设定的阈值:
如果大于或等于,先根据步骤3的方法得到本步骤中确定的各候选目标对应的HSV观测相似度,然后执行步骤7;
如果小于,接收下一帧图像后,返回并重新执行本步骤;
步骤7、根据步骤4的方法获得当前帧图像中各候选目标最终观测相似度;观测相似度最大值的候选目标即为跟踪得到的最终目标,执行步骤8;
步骤8、首先判断是否需要更换目标模板:
如果不需要,接收下一帧图像后,返回步骤3;
如果需要,先根据步骤2的方法计算所述最终目标的稀疏直方图与HSV直方图;然后通过加权的方式与当前所选定的目标模板直方图η0与L0分别融合,作为下一帧的目标跟踪中目标模板稀疏直方图和HSV直方图;最后,接收下一帧图像,返回步骤3,继续进行下一帧的目标跟踪。
较佳的,所述步骤6中,将所述上一帧图像对应的搜索区域范围扩大1.5倍后,作为当前帧图像的搜索范围区域。
较佳的,所述步骤1中,通过滑动的窗口将目标模板图像分为K个子块,利用结构信息串联法得到各子块向量yi∈Rm×1,最后将其结合成目标模板向量Y0∈Rm×K,其中m为子块的维度。
较佳的,所述K的取值为49。
较佳的,判断是否需要更换目标模板的条件为:判断当前帧的序号是否为5的倍数,如果是,更换目标模板;如果否,不更换目标模板。
较佳的,所述步骤8中的融合方法为:将当前帧的最终目标对应的稀疏直方图ηl和HSV直方图Ll通过加权的方式与上一帧目标模板直方图η0与L0相融合,即:
ηn=μη0+(1-μ)ηl Ln=μL0+(1-μ)Ll
得到下一帧的目标跟踪中目标模板稀疏直方图ηn和HSV直方图Ln,其中μ为学习因子,设定为0.8。
较佳的,所述步骤2中,其中H量化为16级,S和V分别量化为4级。
较佳的,所述步骤4中,将所述候选目标的稀疏观测相似度与HSV观测相似度归一化后再进行加权相乘得到最终观测相似度。
本发明具有如下有益效果:
(1)本发明公开的一种基于分块稀疏表达与HSV模型的目标跟踪方法,基于稀疏表达与HSV直方图的融合跟踪算法不但保持稀疏表达对光照变化与遮挡的强鲁棒性的优点,还增加了对物体色彩的分辨度且不易受相似颜色干扰,有利于对算法姿态变化目标的鲁棒跟踪;同时,遮挡判断处理可降低算法受到严重遮挡的影响,而更新策略能保证跟踪过程中适应复杂的背景与形态变化的目标,提高了跟踪算法的可靠性。
(2)本发明在目标分块中减少分块个数,比一般稀疏跟踪算法有更快的运算效率。
附图说明
图1为本发明的方法流程图;
图2为本发明跟踪目标分块示意图;
图3为本发明与其他算法的中心误差比较图(单位:像素)。
图4为本发明与其他算法在视频序列中跟踪效果图。
具体实施方式
下面结合附图并举实施例,对本发明进行详细描述。
本发明的一种基于分块稀疏表达与HSV模型的目标跟踪方法,如图1所示,包括以下具体步骤:
步骤1、初始化系统框架并建立目标的稀疏字典,具体为:
S11、首先输入视频序列的第一帧,人工标记出待跟踪的目标。如图2所示,本实例输入的一段视频,在视频第一帧用鼠标选取玩具老虎作为待跟踪目标,建立目标模板。
S12、确定稀疏字典生成形式
根据Online dictionary learning的理论,采用以下的字典生成模型:
min D ∈ C , α ∈ R k * n 1 n Σ i = 1 n ( 1 2 | | y i - D α i | | 2 2 + λ | | α i | | 1 )
其中字典D聚类中心数为50,迭代次数100次,λ为0.01。
S13、建立目标运动模型
在视觉跟踪中,二阶自回归模型是应用最为广泛的状态转移模型,其利用第k-1时刻和第k-2时刻视觉目标的状态估计第k时刻的目标状况。如果假设视觉目标的状态向量X表示其在二维图像域上的位置,即X=[x,y]T,且k-1时刻目标状态为Xk-1,那么k时刻视觉目标的状态Xk为:
Xk-Xk-1=Xk-1-Xk-2+Uk
上式中Uk为二维零均值高斯噪声,即Uk=[ux,k,uy,k]T,一般都假设随机成分比较大(即噪声Uk的方差较大)。Uk的大小决定了目标搜索范围的大小。该模型假设视觉目标(二维图像域上的位置)Xk和Xk-1之间的差异与Xk-1和Xk-2之间的差异相同,或者说,视觉目标的速度除了一个随机扰动因素外是在相邻帧之间近似恒定的,对于线性运动、非线性运动有较高的预测精确度与较低的算法复杂度,适用于本发明的实例。本发明中候选目标的个数设置为50。
S14、目标分块
通过双线性插值法将目标模板转化为32*32大小的图像,再通过8*8的滑动子块每隔4个像素对矩形块进行重叠采样,从而目标模板图像分为49个子块,且每个子块可用向量yi∈R64×1表示,64为子块样本的维度,目标模板向量可表示为Y0∈R64*49。同理,各候选目标向量可表示为Yi∈R64*49,具体过程由图2所示。
S15、生成稀疏字典
因为初始时字典D未知,通过步骤3获得了第一帧的目标模板Y0={yi},构造D使得在这字典下的Y0最稀疏,该优化问题可以表示为:
min D ∈ C , β ∈ R k * n 1 n Σ i = 1 n ( 1 2 | | y i - D β i | | 2 2 + λ | | β i | | 1 )
步骤2.计算当前选定的模板的稀疏直方图及HSV直方图,具体为:
S21、根据稀疏原理,对于目标向量Y0,通过求解l1优化问题可得到它的稀疏系数β0,使得β0为Y0最稀疏的线性表示,l1优化问题定义如下:
min β 0 | | Y 0 - Dβ 0 | | 2 2 + λ | | β 0 | | 1 st : β 0 ≥ 0
其中,D表示字典,对于分块的稀疏表达问题,获取每一个子块的稀疏系数,并将其按照结构信息串联组合起来,就可以获得目标模板的结构稀疏直方图η0,也称目标模板稀疏直方图。
S22、计算HSV直方图
根据步骤1中用鼠标选取出的目标模板,将其由RGB图转成HSV图,由于一幅图像的颜色一般非常多,相应HSV直方图矢量的维数也会很多。通过对HSV空间进行适当量化后再计算其直方图可以提高算法效率。根据人体时间对颜色的感知特性,本发明将H,S,V这三个分类按照人的颜色感知进行非等间隔的量化:
按照人的视觉分辨能力,将色调H空间分成16份,饱和度S和亮度V空间分别分成4份,同时根据色彩的不同范围和主观颜色感知进行量化,量化公式如下:
H = 0 H ∈ [ 345,360 ] ∪ [ 0.15 ) 1 H ∈ [ 15,25 ) 2 H ∈ [ 25,45 ) 3 H ∈ [ 45,55 ) 4 H ∈ [ 55,80 ) 5 H ∈ [ 80,108 ) 6 H ∈ [ 108,140 ) 7 H ∈ [ 140,165 ) 8 H ∈ [ 165,190 ) 9 H ∈ [ 190,220 ) 10 H ∈ [ 220,255 ) 11 H ∈ [ 255,275 ) 12 H ∈ [ 275,290 ) 13 H ∈ [ 290,316 ) 14 H ∈ [ 316,330 ) 15 H ∈ [ 330,345 )
S = 0 S ∈ [ 0,0.15 ] 1 S ∈ ( 0.15,0.4 ] 2 S ∈ ( 0.4,0.75 ] 3 S ∈ ( 0.75,1 ]
S = 0 V ∈ [ 0,0.15 ] 1 V ∈ ( 0.15,0.4 ] 2 V ∈ ( 0.4,0.75 ] 3 V ∈ ( 0.75,1 ]
接下来构造一维特征矢量,按照以上的量化级,把颜色分量分成一维特征矢量,获取目标模板的256bin的一维HSV直方图L0
L0=16H0+4S0+V0
步骤3、计算候选目标的稀疏观测相似度和HSV观测相似度,具体为:
S31、依据步骤2的处理目标模板的方法,从下一帧图像开始,通过目标的运动模型对该帧(第t帧,t≥2)的候选目标进行粒状态转移,获取候选目标i,通过求解L1优化问题可得到它的稀疏系数βi
min β i | | Y i - Dβ i | | 2 2 + λ | | β i | | 1 st : β i ≥ 0
将其按照结构信息串联组合起来,就可以获得第t帧候选目标i的结构稀疏直方图
计算当前帧候选目标的稀疏观测相似度,是实现目标鲁棒跟踪的前提,本发明定义第t帧候选目标i的稀疏观测似然函数为:
sim t i = exp ( - d c ( η 0 , η t i ) 2 σ c 2 )
上式中σc为标准差,为第t帧候选目标i的稀疏观测似然值,dc(·,·)表示用来度量直方图相似性的Bhattacharyya距离:
d c ( η t i , η 0 ) = 1 - 1 η 0 ‾ η t i ‾ N 2 Σ I η 0 ( I ) η t i ( I )
S32、对于状态转移后第t帧候选目标i的图像区域,将其RGB图转成HSV图,并生成256bin的一维HSV直方图计算当前目标状态下HSV观测相似度,可与稀疏观测相似度相辅相成,提高跟踪精度,本发明使用相交法来进行模板匹配,定义第t帧候选目标i的HSV观测似然函数为:
cor t i = Σ I min ( L 0 ( I ) , L t i ( I ) )
上式中为第t帧候选目标i的HSV观测似然值。
步骤4、分块稀疏表达与HSV特征融合,得到候选目标最终观测相似度,确定可能目标,具体为:
本发明中,基于分块稀疏表达的方法与基于HSV直方图的融合方法有互补的效果,不但可以保持分块稀疏表达对光照变化与遮挡的强鲁棒性的优点,还增加了对物体色彩的分辨度,有利于提高跟踪算法的有效性和鲁棒性。由以上步骤,已获取第t帧候选目标i的稀疏观测似然值与HSV观测似然值由于的量级不同,先对其进行归一化处理,使之在指定的[0,1]范围之内,本发明采用更加方便快捷的线性归一化方法,公式如下:
sim t i * = sim t i - sim t min sim t max - sim t min cor t i * = cor t i - cor t min cor t max - cor t min
其中分别表示数据归一化后的值,分别表示第t帧中稀疏观测似然值与HSV观测似然值的最小、最大值。
本发明以分块稀疏表达为主,HSV直方图为辅,因此HSV颜色似然值的权值要略小于稀疏似然值,由于本发明对HSV颜色似然值进行平方处理,使得它相对于稀疏似然值占的比重小一些,可以在增加了对物体色彩的分辨度的前提下减少目标受相似颜色干扰。基于分块稀疏表达的方法与基于HSV直方图的融合公式为:
likehood t i = sim t i * × ( cor t i * ) 2
表示第t帧候选目标i的最终似然观测值,值最大的候选目标即为第t帧的目标。
步骤5、遮挡判断:
在跟踪过程中,遮挡容易导致对目标错误的跟踪,即将错误的区域当成目标区域,最终导致跟踪漂移和失败;当目标发生严重遮挡时,此时以被遮挡的目标信息为模板进行更新,就会将非目标的信息引入,导致目标模板的失效,因此跟踪过程中对遮挡的正确判断与处理对精确跟踪起着举足轻重的作用。因为稀疏跟踪本身对目标遮挡有较好的鲁棒性,本发明着重于从分块稀疏表达出发来解决遮挡判断问题,由于目标区域的稀疏直方图是由各子块的稀疏系数按照结构信息串联组合起来,这种方法对部分遮挡有较好的处理,而当目标出现完全遮挡或长时间遮挡时就容易跟踪失败。
本发明提出一种判断与处理严重遮挡的方法,如果步骤4中确定的当前帧可能目标的稀疏观测值小于预定阈值,则认为当前目标发生了严重遮挡,此时不能进行目标模板更新,只在当前帧的目标信息基础上增大搜索距离,接下来读取新的一帧,并进行步骤6;只有当可能目标的大于或等于预定阈值时,才认为当前目标未发生严重遮挡,继而进行步骤7。
步骤6、以步骤4确定的可能目标的位置为参照中心,将上一帧图像对应的搜索区域范围扩大后,在当前接收的图像上根据目标运动模型确定N个候选目标;由于Uk的大小决定搜索范围,因此,通过将Uk的值扩大,即可扩大目标搜索范围,本实施例中,每次搜索时,将搜索范围扩大为上一次的1.5倍,如果下一帧仍严重遮挡,则按次倍数继续增大搜索范围,直到搜索到可能目标位置。根据步骤3的方法获得本步骤中确定各个候选目标对应的稀疏观测相似度;然后判断其中最大稀疏观测相似度是否大于所述设定的阈值:
如果大于,先根据步骤3的方法得到本步骤中确定的各候选目标对应的HSV观测相似度,然后执行步骤7;
如果小于,接收下一帧图像后,返回并重新执行本步骤;
步骤7、根据步骤4的方法获得当前帧图像中各候选目标最终观测相似度;观测相似度最大值的候选目标即为跟踪得到的最终目标,执行步骤8;
步骤8、在目标跟踪过程中,为了节省时间提高效率,字典D不需要更新,而目标模板的稀疏直方图η0与HSV直方图L0需要不断地更新,以适应不同的背景与形态发生变化的目标,因此,本步骤中首先判断是否需要更换目标模板:
如果不需要,接收下一帧图像后,返回步骤3;
如果需要,先根据步骤2的方法计算所述最终目标的稀疏直方图与HSV直方图;然后通过加权的方式与当前所选定的目标模板直方图η0与L0分别融合,作为下一帧的目标跟踪中目标模板稀疏直方图和HSV直方图;公式如下:
ηn=μη0+(1-μ)ηl Ln=μL0+(1-μ)Ll
其中ηn和Ln分别表示新的目标模板稀疏直方图和HSV直方图,η0和L0表示第一帧目标模板稀疏直方图和HSV直方图,ηl和Ll表示当前帧的目标状态稀疏直方图和HSV直方图,μ是学习因子,设定为0.8。
最后,接收下一帧图像,由于已经计算得到下一帧目标模板的稀疏直方图η0与HSV直方图L0,不需要再进行计算获得,因此直接返回步骤3,继续进行下一帧的目标跟踪。
本发明中,如果需要更换模板,通常目标模板每隔5帧进行一次更新判断,因此需要判断当前帧的序号是否为5的倍数,如果是,更换模板;如果否,不更换目标模板。
本发明在仿真实验中与STC,CPF,Frag,CXT,SCM等国外优秀跟踪方法进行比对,并给出了相应的中心误差对比图与实际跟踪效果图,如图3,图4所示。从图中可看出,基于分块稀疏表达与HSV的目标跟踪算法相对于其他方法跟踪效果更加优异。
综上所述,以上仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于分块稀疏表达与HSV特征融合的目标跟踪方法,其特征在于,包括如下步骤:
步骤1、根据第一帧的目标模板信息建立目标的稀疏字典,具体为:
针对输入的视频图像,当只接收到一帧视频时,在第一帧视频中人工标记出待跟踪的目标区域,并将第一帧的目标区域暂时选定为目标模板;获得目标模板向量,采用在线字典学习的方法构造字典D,使得在该字典D下目标区域向量的表示最稀疏;
步骤2、针对选定的目标模板,根据稀疏表达理论,对于目标模板向量Y0,基于字典D,通过求解l1优化问题得到其稀疏系数β0,并构建该目标模板的稀疏直方图η0
然后,将目标模板的RGB图像转为HSV图像,并将H,S,V量级化,并将各颜色分量合成为一维特征矢量L,然后获取目标模板256bin的HSV直方图L0
步骤3、从接收第2帧视频图像开始,在当前帧图像上以选定的目标模板的位置为参照中心,在搜索区域范围U0内根据目标运动模型确定N个候选目标;对于任意一个候选目标向量Yi,得到候选目标稀疏直方图ηi,利用巴氏距离计算目标模板直方图η0与各个候选目标直方图的距离,即得到各目标对应的稀疏观测相似度;
获取各个候选目标的HSV直方图Li,利用相交法计算目标模板HSV直方图L0与各个候选目标直方图的距离,即得到各目标对应的HSV观测相似度;其中i=1,2,...,N;
步骤4、针对当前帧图像中的任意候选目标,将候选目标的稀疏观测相似度与HSV观测相似度加权相乘,即求所述候选目标的稀疏观测相似度与HSV观测相似度平方的乘积,作为该候选目标最终观测相似度;则各候选目标中最终观测相似度最大的为可能目标;
步骤5、判断当前帧的各个候选目标对应的稀疏观测相似度中最大值是否大于或等于设定的阈值:
如果否,表示当前帧图像被严重遮挡,接收下一帧图像后执行步骤6;
如果是,表示当前帧图像未被严重遮挡,则步骤4确定的可能目标为最终的目标,执行步骤8;
步骤6、以步骤4确定的可能目标的位置为参照中心,将上一帧图像对应的搜索区域范围扩大后,在当前接收的图像上根据目标运动模型确定N个候选目标;根据步骤3的方法获得本步骤中确定各个候选目标对应的稀疏观测相似度;然后判断其中最大稀疏观测相似度是否大于所述设定的阈值:
如果大于或等于,先根据步骤3的方法得到本步骤中确定的各候选目标对应的HSV观测相似度,然后执行步骤7;
如果小于,接收下一帧图像后,返回并重新执行本步骤;
步骤7、根据步骤4的方法获得当前帧图像中各候选目标最终观测相似度;观测相似度最大值的候选目标即为跟踪得到的最终目标,执行步骤8;
步骤8、首先判断是否需要更换目标模板:
如果不需要,接收下一帧图像后,返回步骤3;
如果需要,先根据步骤2的方法计算所述最终目标的稀疏直方图与HSV直方图;然后通过加权的方式与当前所选定的目标模板直方图η0与L0分别融合,作为下一帧的目标跟踪中目标模板稀疏直方图和HSV直方图;最后,接收下一帧图像,返回步骤3,继续进行下一帧的目标跟踪。
2.如权利要求1所述的一种基于分块稀疏表达与HSV特征融合的目标跟踪方法,其特征在于,所述步骤6中,将所述上一帧图像对应的搜索区域范围扩大1.5倍后,作为当前帧图像的搜索范围区域。
3.如权利要求1所述的一种基于分块稀疏表达与HSV特征融合的目标跟踪方法,其特征在于,所述步骤1中,通过滑动的窗口将目标模板图像分为K个子块,利用结构信息串联法得到各子块向量yi∈Rm×1,最后将其结合成目标模板向量Y0∈Rm×K,其中m为子块的维度。
4.如权利要求3所述的一种基于分块稀疏表达与HSV特征融合的目标跟踪方法,其特征在于,所述K的取值为49。
5.如权利要求1所述的一种基于分块稀疏表达与HSV特征融合的目标跟踪方法,其特征在于,判断是否需要更换目标模板的条件为:判断当前帧的序号是否为5的倍数,如果是,更换目标模板;如果否,不更换目标模板。
6.如权利要求1所述的一种基于分块稀疏表达与HSV特征融合的目标跟踪方法,其特征在于,所述步骤8中的融合方法为:将当前帧的最终目标对应的稀疏直方图ηl和HSV直方图Ll通过加权的方式与上一帧目标模板直方图η0与L0相融合,即:
ηn=μη0+(1-μ)ηl Ln=μL0+(1-μ)Ll
得到下一帧的目标跟踪中目标模板稀疏直方图ηn和HSV直方图Ln,其中μ为学习因子,设定为0.8。
7.如权利要求1所述的一种基于分块稀疏表达与HSV特征融合的目标跟踪方法,其特征在于,所述步骤2中,其中H量化为16级,S和V分别量化为4级。
8.如权利要求1所述的一种基于分块稀疏表达与HSV特征融合的目标跟踪方法,其特征在于,所述步骤4中,将所述候选目标的稀疏观测相似度与HSV观测相似度归一化后再进行加权相乘得到最终观测相似度。
CN201510246602.XA 2015-05-14 2015-05-14 一种基于分块稀疏表达与hsv特征融合的目标跟踪方法 Active CN104820997B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510246602.XA CN104820997B (zh) 2015-05-14 2015-05-14 一种基于分块稀疏表达与hsv特征融合的目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510246602.XA CN104820997B (zh) 2015-05-14 2015-05-14 一种基于分块稀疏表达与hsv特征融合的目标跟踪方法

Publications (2)

Publication Number Publication Date
CN104820997A CN104820997A (zh) 2015-08-05
CN104820997B true CN104820997B (zh) 2016-12-21

Family

ID=53731282

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510246602.XA Active CN104820997B (zh) 2015-05-14 2015-05-14 一种基于分块稀疏表达与hsv特征融合的目标跟踪方法

Country Status (1)

Country Link
CN (1) CN104820997B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105096343B (zh) * 2015-08-14 2018-10-30 中国联合网络通信集团有限公司 一种移动目标跟踪方法及装置
CN105590328B (zh) * 2015-12-07 2018-04-03 天津大学 基于稀疏表示选择性外观模型的帧自适应目标跟踪算法
CN106940891B (zh) * 2016-12-12 2020-01-03 首都师范大学 基于hsv的目标跟踪方法及系统
CN108205646A (zh) * 2016-12-19 2018-06-26 北京数码视讯科技股份有限公司 一种手部姿态检测方法及装置
CN107590134A (zh) * 2017-10-26 2018-01-16 福建亿榕信息技术有限公司 文本情感分类方法、存储介质及计算机
CN109493367B (zh) * 2018-10-29 2020-10-30 浙江大华技术股份有限公司 一种对目标对象进行跟踪的方法和设备
CN109886994B (zh) * 2019-01-11 2021-07-20 上海交通大学 视频跟踪中自适应遮挡检测系统及方法
CN109829936B (zh) * 2019-01-29 2021-12-24 青岛海信网络科技股份有限公司 一种目标追踪的方法及设备
CN109931920A (zh) * 2019-04-02 2019-06-25 北京理工大学 基于运动状态识别的瞬时角度感知与测量方法
CN110288634A (zh) * 2019-06-05 2019-09-27 成都启泰智联信息科技有限公司 一种基于改进粒子群优化算法的目标跟踪方法
CN110632941B (zh) * 2019-09-25 2020-12-15 北京理工大学 一种复杂环境下无人机目标跟踪的轨迹生成方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4521747B2 (ja) * 2002-12-13 2010-08-11 シャープ株式会社 物体情報処理装置、画像処理システム、ゲーム装置および画像処理方法
CN101980284B (zh) * 2010-10-26 2012-05-23 北京理工大学 基于两尺度稀疏表示的彩色图像降噪方法
CN102110296A (zh) * 2011-02-24 2011-06-29 上海大学 一种复杂场景下的运动目标跟踪方法
CN102510438B (zh) * 2011-11-21 2014-05-14 四川虹微技术有限公司 一种用于视频图像恢复增强的稀疏系数向量的获取方法
CN102750708B (zh) * 2012-05-11 2014-10-15 天津大学 基于快速鲁棒特征匹配的仿射运动目标跟踪算法
CN103927540B (zh) * 2014-04-03 2019-01-29 华中科技大学 一种基于生物视觉分层模型的不变特征提取方法

Also Published As

Publication number Publication date
CN104820997A (zh) 2015-08-05

Similar Documents

Publication Publication Date Title
CN104820997B (zh) 一种基于分块稀疏表达与hsv特征融合的目标跟踪方法
CN106778712B (zh) 一种多目标检测与跟踪方法
CN106204638A (zh) 一种基于尺度自适应和遮挡处理的航拍目标跟踪方法
CN104574439A (zh) 一种融合卡尔曼滤波与tld算法的目标跟踪方法
CN107886067B (zh) 一种基于hiksvm分类器的多特征融合的行人检测方法
CN104616318A (zh) 一种视频序列图像中的运动目标跟踪方法
CN103793926B (zh) 基于样本重选择的目标跟踪方法
CN101324956A (zh) 基于均值漂移的抗遮挡运动目标跟踪方法
CN104200495A (zh) 一种视频监控中的多目标跟踪方法
CN103456030B (zh) 基于散射描述子的目标跟踪方法
CN107833239B (zh) 一种基于加权模型约束的寻优匹配目标跟踪方法
CN110009060B (zh) 一种基于相关滤波与目标检测的鲁棒性长期跟踪方法
CN100531405C (zh) 体育视频目标跟踪方法
CN107301657A (zh) 一种考虑目标运动信息的视频目标跟踪方法
Zhang Detection and tracking of human motion targets in video images based on camshift algorithms
CN104683802A (zh) 一种基于h.264/avc压缩域的运动目标跟踪的方法
CN111178261A (zh) 一种基于视频编码技术的人脸检测加速方法
CN103473560B (zh) 基于上下文约束编码的目标跟踪方法
CN104091352A (zh) 基于结构相似度的视觉跟踪方法
CN104331700B (zh) 基于轨迹能量扩散图的组行为识别方法
CN110570450B (zh) 一种基于级联的上下文感知框架的目标跟踪方法
Bradler et al. Joint Epipolar Tracking (JET): Simultaneous optimization of epipolar geometry and feature correspondences
CN110781803B (zh) 一种基于扩展卡尔曼滤波器的人体姿态识别方法
CN114897939A (zh) 基于深度路径聚合网络的多目标跟踪方法及系统
CN110827324B (zh) 一种视频目标跟踪方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant