CN100472564C - 一种图像跟踪方法及系统 - Google Patents

一种图像跟踪方法及系统 Download PDF

Info

Publication number
CN100472564C
CN100472564C CNB200710098970XA CN200710098970A CN100472564C CN 100472564 C CN100472564 C CN 100472564C CN B200710098970X A CNB200710098970X A CN B200710098970XA CN 200710098970 A CN200710098970 A CN 200710098970A CN 100472564 C CN100472564 C CN 100472564C
Authority
CN
China
Prior art keywords
histogram
search window
target
matching
degree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CNB200710098970XA
Other languages
English (en)
Other versions
CN101038672A (zh
Inventor
曾志
王耀辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanxi Vimicro Technology Co Ltd
Original Assignee
Vimicro Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vimicro Corp filed Critical Vimicro Corp
Priority to CNB200710098970XA priority Critical patent/CN100472564C/zh
Publication of CN101038672A publication Critical patent/CN101038672A/zh
Application granted granted Critical
Publication of CN100472564C publication Critical patent/CN100472564C/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种图像跟踪方法,包括:通过积分运算,计算整个跟踪区域内以整个跟踪区域预先设定的一角为起始点的所有区域的直方图,得到区域积分直方图;利用区域积分直方图,计算整个跟踪区域中目标可能出现的每个搜索窗口的直方图,将计算得到的每个搜索窗口的直方图与目标的标准直方图进行匹配,得到匹配结果,根据匹配结果确定目标的跟踪位置。此外,本发明还公开了一种图像跟踪系统。本发明所提供的图像跟踪方法及系统能够保证跟踪效果,并提高跟踪速度。

Description

一种图像跟踪方法及系统
技术领域
本发明涉及图像跟踪技术,尤其涉及一种图像跟踪方法及系统。
背景技术
目前的图像跟踪技术中,通常采用基于直方图匹配的目标跟踪算法实现对目标的跟踪,即在新一帧图像中目标可能出现的区域搜索最匹配的对应目标,作为目标的新位置。其中,考虑到每一帧图像在拍摄过程中,由于目标的远近移动,而可能使目标在每帧图像中的尺寸大小不一样,即目标在每帧图像中的尺度有可能不同,因此,在新一帧图像中目标可能出现的区域除了包括跟踪区域中不同位置的区域外,还包括对相同位置进行不同尺度缩放所形成的区域。
在基于直方图匹配的目标跟踪算法中,有一种算法为Meanshift目标跟踪算法,该算法中采用迭代搜索的策略,能够在较短的时间内跟踪到目标,但由于迭代算法是基于匹配度梯度下降的原理,因此搜索过程中只能找到匹配度的局部最优位置,而不能找到全局最优位置,使得在有相近颜色的物体存在的情况下,容易出现目标跟踪失败的情况,无法保证跟踪效果。
此外,在基于直方图匹配的目标跟踪算法中,还有一种算法为基于全局搜索的目标跟踪算法,该算法中采用穷举搜索的策略,将目标可能出现的每一个位置和尺度区域的目标图像都与待跟踪目标图像进行匹配,根据匹配结果得到目标在下一帧图像中的跟踪位置。
可见,基于全局搜索的目标跟踪算法能够保证跟踪效果,但是该算法中,在对目标可能出现的每个位置和尺度区域的目标图像与待跟踪目标图像进行匹配的过程中,需要计算每个区域,即每个搜索窗口的目标图像的直方图,现有技术中,在计算搜索窗口的直方图时,确定了直方图的色阶组数后,需要根据该搜索窗口中每一个像素点的亮度色阶,逐次计算每个像素点所属的直方图组别,统计每个直方图组别的像素点个数,得到该搜索窗口的直方图。由于每搜索一个窗口区域,都要重复一次上述计算直方图的过程,又因为在穷举搜索中,有很多像素点的计算都是重复进行的,因此计算量较大,如在100×100大小的搜索窗口中搜索20×20的目标时,若考虑有三种尺度变化的话,则至少约需计算3×80×80×20×20=7680000次,可见计算量较大,因此现有技术中,基于全局搜索的目标跟踪算法的实时跟踪性较差。
发明内容
有鉴于此,本发明一方面提供一种图像跟踪方法;另一方面提供一种图像跟踪系统,能够保证跟踪效果,并提高跟踪速度。
本发明所提供的图像跟踪方法,包括:通过积分运算,计算整个跟踪区域内以整个跟踪区域预先设定的一角为起始点的所有区域的直方图,得到区域积分直方图;
利用区域积分直方图,计算整个跟踪区域中目标可能出现的每个搜索窗口的直方图,将计算得到的每个搜索窗口的直方图与目标的标准直方图进行匹配,得到匹配结果,根据匹配结果确定目标的跟踪位置。
其中,所述积分直方图包括:颜色积分直方图,和/或,梯度方向积分直方图。
上述方案中,所述利用区域积分直方图,计算目标可能出现的每个搜索窗口的直方图为:对目标可能出现的每个搜索窗口,用该搜索窗口四个角对应的区域积分直方图进行加减运算,得到该搜索窗口的直方图。
其中,若预先设定的一角为左上角,则所述用搜索窗口四个角对应的区域积分直方图进行加减运算具体为:将该搜索窗口右下角对应的区域积分直方图与该搜索窗口左上角对应的区域积分直方图相加之后,减去该搜索窗口右上角对应的区域积分直方图和左下角对应的区域积分直方图,得到该搜索窗口的直方图。
上述方案中,所述通过计算得到区域积分直方图包括:
确定直方图组数;
计算整个跟踪区域中每个像素点所属的直方图组别;
统计整个跟踪区域中以预先设定的一角O作为起始点的所有区域Ci,j中属于每个直方图组别的区域积分像素个数;
根据直方图组数和每个Ci,j中每个直方图组别的区域积分像素个数,得到每个区域积分直方图。
其中,所述统计整个跟踪区域中所有Ci,j中属于每个直方图组别的区域积分像素个数具体为:
根据每个像素点所属的直方图组别信息,在整个跟踪区域中起始点O所属的一条边的方向上,对每个组别中的像素点个数进行加法递推计算,得到每个组别在该方向上的方向积分像素个数;
对得到的每个组别的所述方向积分像素个数,在整个跟踪区域中起始点O所属的另一条边的方向上进行加法递推计算,得到每个Ci,j中每个组别的区域积分像素个数。
上述方案中,当积分直方图包括梯度方向积分直方图时,所述计算每个像素点所属的直方图组别包括:
按照直方图组数确定梯度方向的角度区间;
计算每个像素点的梯度方向所属的角度区间,得到该像素点所属的直方图组别。
其中,所述计算每个像素点的梯度方向所属的角度区间包括:
计算角度区间的边界点的正切值,得到正切值区间;
计算每个像素点在坐标轴的y方向的梯度值与x方向的梯度值的比值,根据该比值所处的正切值区间,得到每个像素点的梯度方向所属的角度区间。
上述方案中,所述目标的标准直方图包括:目标的全局直方图;则所述将所计算的每个搜索窗口的直方图与目标的标准直方图进行匹配,得到匹配结果包括:
将所计算的每个搜索窗口的全局直方图与目标的全局直方图进行匹配,得到搜索窗口的全局匹配度,将所得到的搜索窗口的全局匹配度作为匹配结果。
较佳地,所述目标的标准直方图还包括:将目标分块后的分块直方图;则得到搜索窗口的全局匹配度之后,将该搜索窗口的全局匹配度作为匹配结果之前,进一步包括:
根据搜索窗口的全局匹配度,得到多个全局匹配度满足预设条件的搜索窗口;
将所述多个搜索窗口分别按照与目标对应的分块方式进行分块,得到每个搜索窗口的子窗口;
利用区域积分直方图,计算每个子窗口的直方图,将得到的每个子窗口的直方图与目标对应块的分块直方图进行匹配,得到每个子窗口的分块匹配度;
根据每个搜索窗口的全局匹配度和该搜索窗口中每个子窗口的分块匹配度,得到每个搜索窗口的匹配结果。
较佳地,计算整个跟踪区域的积分直方图之前,进一步包括:
利用分类器对整个跟踪区域中目标可能出现的每个搜索窗口进行置信度描述,若没有置信度满足跟踪要求的搜索窗口,则执行所述计算整个跟踪区域的积分直方图的操作。
较佳地,该方法进一步包括:若存在置信度满足跟踪要求的搜索窗口,则对置信度满足跟踪要求的搜索窗口进行直方图匹配,若直方图匹配失败,则执行所述计算整个跟踪区域的积分直方图的操作;若直方图匹配成功,则将匹配成功的搜索窗口作为目标的跟踪位置。
较佳地,该方法进一步包括:将匹配成功的搜索窗口进行存储,根据存储的预定个数的搜索窗口的直方图,计算每个特征通道中直方图所包括的各组别的权重;
则所述将搜索窗口的直方图与目标的标准直方图进行匹配为:根据每个特征通道中各组别的权重,对搜索窗口的直方图与目标的标准直方图进行匹配。
本发明所提供的图像跟踪系统,包括:跟踪区域设置单元、区域积分计算单元和直方图匹配跟踪单元,其中,
跟踪区域设置单元,用于在当前帧图像中设置目标的跟踪区域,将所设置的跟踪区域通知给区域积分计算单元和直方图匹配跟踪单元;
区域积分计算单元,用于通过积分运算,计算整个跟踪区域内以整个跟踪区域预先设定的一角为起始点的所有区域的直方图,得到区域积分直方图,并将得到的区域积分直方图提供给直方图匹配跟踪单元;
直方图匹配跟踪单元,用于利用区域积分计算单元提供的区域积分直方图,计算整个跟踪区域中目标可能出现的每个搜索窗口的直方图,将计算得到的每个搜索窗口的直方图与目标的标准直方图进行匹配,根据匹配结果得到目标的跟踪位置。
较佳地,该系统进一步包括:目标分类器跟踪单元,用于利用分类器对整个跟踪区域中目标可能出现的每个搜索窗口进行置信度描述,若没有置信度满足跟踪要求的搜索窗口,则向所述区域积分计算单元发送跟踪失败的通知;
所述区域积分计算单元,根据来自目标分类器跟踪单元的跟踪失败的通知,执行所述区域积分直方图计算的操作。
较佳地,该系统进一步包括:直方图匹配单元;
则目标分类器跟踪单元进一步用于:若存在置信度满足跟踪要求的搜索窗口,则将所述置信度满足跟踪要求的搜索窗口提供给直方图匹配单元;
直方图匹配单元,用于计算目标分类器跟踪单元提供的置信度满足跟踪要求的搜索窗口的直方图,将计算的搜索窗口直方图与目标的标准直方图进行匹配,根据匹配结果,确定目标的跟踪位置。
较佳地,该系统进一步包括:直方图权重更新单元;
则直方图匹配单元进一步用于:将匹配成功的搜索窗口提供给直方图权重更新单元;
直方图权重更新单元,用于根据存储的预定个数的搜索窗口的直方图,计算每个特征通道中直方图各组别的权重,将计算的每个特征通道中各组别的权重提供给直方图匹配跟踪单元;
直方图匹配跟踪单元进一步用于:根据直方图权重更新单元提供的每个特征通道中各组别的权重,执行所述对搜索窗口的直方图与目标的标准直方图进行匹配的操作。
上述方案中,所述直方图匹配跟踪单元包括:搜索窗口确定模块、直方图计算模块、直方图匹配模块和跟踪位置确定模块,其中,
搜索窗口确定模块,用于从跟踪区域设置单元提供的跟踪区域中确定当前的搜索窗口,并将所确定的当前搜索窗口通知给直方图计算模块;
直方图计算模块,用于利用区域积分计算单元提供的区域积分直方图计算当前搜索窗口的直方图,将计算得到的当前搜索窗口的直方图提供给直方图匹配模块;通知搜索窗口确定模块提供下一个当前搜索窗口;
直方图匹配模块,用于将直方图计算模块提供的当前搜索窗口的直方图与预先计算的目标的标准直方图进行匹配,将匹配结果提供给跟踪位置确定模块;
跟踪位置确定模块,用于根据直方图匹配模块提供的目标可能出现的所有搜索窗口的匹配结果,将匹配最好的搜索窗口区域作为目标的跟踪位置。
其中,所述跟踪位置确定模块包括:搜索窗口选取子模块、搜索窗口确定子模块、块直方图计算匹配子模块、搜索窗口综合匹配计算子模块和跟踪位置确定子模块,其中,
搜索窗口选取子模块,用于根据直方图匹配模块提供的所有搜索窗口的匹配结果,从中选取满足预设条件的多个搜索窗口,提供给搜索窗口确定子模块;
搜索窗口确定子模块,用于从搜索窗口选取子模块提供的搜索窗口中确定当前的搜索窗口,并将所确定的当前搜索窗口通知给块直方图计算匹配子模块;
块直方图计算匹配子模块,用于将搜索窗口确定子模块提供的当前搜索窗口按照与目标对应的分块方法进行分块,得到子窗口;对每个的子窗口,利用积分直方图计算子窗口直方图,将所计算的子窗口直方图与目标对应块的分块直方图进行匹配,得到每个子窗口的分块匹配度,将所得到的分块匹配度提供给搜索窗口综合匹配计算子模块;通知搜索窗口确定子模块提供下一个当前搜索窗口;
搜索窗口综合匹配计算子模块,用于根据块直方图计算匹配子模块提供的当前搜索窗口的所有子窗口的分块匹配度,计算当前搜索窗口的综合匹配度,并将计算得到的当前搜索窗口的综合匹配度提供给跟踪位置确定子模块;
跟踪位置确定子模块,用于根据搜索窗口综合匹配计算子模块提供的所有搜索窗口的综合匹配度,将匹配最好的搜索窗口区域作为目标的跟踪位置。
从上述方法及系统方案可以看出,本发明中首先计算整个跟踪区域的区域积分直方图,然后利用区域积分直方图,通过加减运算,逐次计算目标可能出现的每个区域,即搜索窗口的直方图。即本发明中对每个像素点所属的直方图组别只在计算积分直方图时计算一次,之后对目标可能出现的每个搜索窗口的直方图的计算只需根据区域积分直方图的结果,进行三次加减运算,如用搜索窗口右下角对应的区域积分直方图与搜索窗口左上角对应的区域积分直方图相加之后,减去搜索窗口右上角对应的区域积分直方图和左下角对应的区域积分直方图,得到搜索窗口的直方图,在对大量窗口进行匹配的情况下,该算法大大降低了运算量,如仍以在100×100大小的搜索窗口中搜索20×20的目标为例,若同样考虑有三种尺度变化的话,则只约需计算3×80×80×3+100×100×2=77600,可见大大缩减了计算次数,提高了运算速度,保证了跟踪的实时性;又因为本发明中是将计算的目标可能出现的每个搜索窗口的直方图与目标的直方图进行匹配,根据匹配结果得到目标的预测位置,因此保证了跟踪效果。
此外,本发明中在进行直方图匹配时,除了包括颜色直方图,还包括梯度方向直方图,从而在跟踪区域内存在与目标颜色相似的物体时,不会受到该物体的干扰,进一步保证了跟踪效果。
另外,本发明中在进行直方图匹配时,通过采用分块直方图匹配,从而避免了由于在统计过程中丢失各像素的空间位置信息而造成跟踪失败的情况,进一步保证了跟踪效果。
最后,本发明中在进行直方图匹配时,进一步采用与目标分类器相结合的方法,从而由目标分类器实现粗略跟踪,进一步提高了跟踪实时性,之后由直方图匹配实现精细跟踪,保证了跟踪效果。
附图说明
图1为本发明实施例一中图像跟踪方法的流程图;
图2(a)为大小为7×7的跟踪区域像素矩阵示意图;
图2(b)为图2(a)所示像素矩阵中每个像素点所属直方图组别信息的矩阵图;
图3为每个直方图组别的行积分像素个数矩阵图;
图4为每个直方图组别的区域积分像素个数矩阵图;
图5(a)为图2(a)所示像素矩阵的一种区域窗口划分示意图;
图5(b)为在图4所示区域积分像素个数矩阵中计算搜索窗口像素个数的示意图;
图6(a)为本发明实施例一中图像跟踪系统的结构示意图;
图6(b)为图6(a)所示系统中直方图匹配跟踪单元的一种内部结构示意图;
图7为本发明实施例三中目标的标准直方图构成示意图;
图8为本发明实施例三中图像跟踪方法步骤107中具体实现的流程图;
图9为本发明实施例三中图像跟踪系统中跟踪位置确定模块的内部结构示意图;
图10为本发明实施例四中图像跟踪方法的流程图;
图11为本发明实施例四中图像跟踪系统的结构示意图;
图12为本发明实施例四中图像跟踪系统的又一个结构示意图。
具体实施方式
本发明的基本思想是:计算整个跟踪区域的区域积分直方图;利用区域积分直方图,通过加减运算,计算目标可能出现的每个搜索窗口的直方图,将所计算的直方图与目标的直方图进行匹配,根据匹配结果得到目标的跟踪位置。
为使本发明的目的、技术方案和优点更加清楚明白,下面结合实施例和附图,对本发明进一步详细说明。
实施例一:
参见图1,图1为本发明实施例一中图像跟踪方法的流程图。如图1所示,该流程包括如下步骤:
步骤101,在当前帧图像中设置跟踪区域。
本步骤中,跟踪区域的设置方法可以有很多种。其中一种可以为:先通过位置预测得到目标的预测位置,然后在目标的预测位置基础上,根据目标的最大运动速度来设置目标的整个跟踪区域。
例如:可采用如下的位置预测方法,得到目标的预测位置:
若跟踪到目标在时刻t的位置为(xt,yt),在时刻t-Δt的位置为(xt-1,yt-1),则可以简单的估计当前目标的速度为vx=(xt-xt-1)/Δt,vy=(yt-yt-1)/Δt
考虑到目标的不规则运动或者跟踪过程中的偏差,为了避免上述估计不够稳定,可采用滤波器通过多帧图像来平滑速度向量,并得到如下的速度向量:
v x ( t ) = k × ( x t - x t - 1 ) / Δ t + Σ n = 1 k - 1 ( k - n ) × v x ( t - n ) Σ n = 1 k n ,
v y ( t ) = k × ( y t - y t - 1 ) / Δ t + Σ n = 1 k - 1 ( k - n ) × v y ( t - n ) Σ n = 1 k n ,
其中,k为进行平滑所需的总图像帧数。
根据目标的速度向量估计,可以预测目标在下一时刻的位置为: x ^ t + 1 = x t + v x ( t ) , y ^ t + 1 = y t + v y ( t ) .
其中,在对不只一个像素点的目标的位置进行预测时,(xt,yt)和
Figure C200710098970D00175
都为目标的位置中心点,因此,得到目标在下一时刻的预测位置中心点
Figure C200710098970D00176
之后,根据该中心点确定目标在下一时刻的预测位置(xp,yp,wp,hp),其中,(xp,yp)为目标在下一时刻位置的左上角点的坐标,(wp,hp)为目标在下一时刻位置的宽度和高度。
得到上述预测位置之后,可按照如下方法,根据目标的最大运动速度来设置目标的整个跟踪区域:
设最大预测误差Δmax=(Δxmax,Δymax),则目标可能出现的矩形区域为(xs,ys,ws,hs),其中,xs=xpxmax,ys=ypymax,ws=wp+2Δxmax,hs=hp+2Δymax
将矩形区域(xs,ys,ws,hs)设置为整个跟踪区域。
步骤102,通过积分运算,计算整个跟踪区域内以整个跟踪区域预先设定的一角为起始点的所有区域的直方图,得到区域积分直方图。
本步骤中,计算区域积分直方图时,具体可以为:确定积分直方图的组数K,即位数,或称长度;然后计算整个跟踪区域中每个像素点所属直方图组别k的组别信息fk(i,j),k∈(0,1,...,K-1),即计算每个像素点属于直方图的第几位。为统一起见,本文中凡涉及起始点的地方,都按起始点为0点进行处理;预先设定整个跟踪区域的一角O作为起始点,统计整个跟踪区域中以O作为起始点的所有区域Ci,j中属于每个组别k的像素个数,将每个Ci,j中属于每个组别k的像素个数统称为每个Ci,j中属于每个组别k的区域积分像素个数IIk(i,j);根据直方图组数和每个以O作为起始点的区域Ci,j中每个组别k的区域积分像素个数IIk(i,j),得到每个区域Ci,j的直方图,并将每个Ci,j的直方图统称为区域积分直方图。其中,对于步骤101中所设置的跟踪区域,Ci,j中i,j的取值为0≤i<ws,0≤j<hs,且 II k ( i , j ) = &Sigma; m < i , n < j f k ( i , j ) .
具体实现时,为了快速统计每个Ci,j中每个直方图组别中的像素个数,可以采用加法递推运算,根据每个像素点所属的直方图组别信息,在整个跟踪区域起始点O所属的一条边的方向上,对每个组别中的像素点个数进行加法递推计算,得到每个组别在该方向上的方向积分像素个数,对得到的每个组别的方向积分像素个数,在整个跟踪区域中起始点O所属的另一条边的方向上进行加法递推计算,得到每个Ci,j中每个组别的区域积分像素个数。
其中,O可以为左上角,或右上角,或左下角,或右下角,O所属的一条边的方向可以是行方向,也可以是列方向,若是行方向,则O所属的另一条边的方向为列方向;若是列方向,则O所属的另一条边的方向为行方向。
为方面描述,下文中均以O为左上角,O所属的一条边的方向为行方向的情况为例。
一般情况下,直方图都为颜色直方图,因此本实施例中也采用颜色直方图,下面对上述区域积分直方图的计算过程进行详细描述。
颜色标准一般包括红绿蓝(RGB)图像标准,或YUV图像标准等。计算颜色直方图时,可以将整个颜色作为一个特征通道,计算该特征通道的直方图,或者,为了描述目标的颜色特征,也可以将其中每一个颜色通道作为一个特征通道,计算每个特征通道的直方图。如:若采用RGB图像标准,则特征通道可以为红(R)、绿(G)、蓝(B)三个颜色通道;若采用YUV图像标准,则特征通道可以为Y、U、V三个颜色通道。
因为像素的亮度色阶分布为0~255,总数为256,若以其中的一个特征通道为例,用I(i,j)表示(i,j)处像素点在该特征通道中的色阶值,并用fk(i,j),k∈(0,1,...,K-1)表示(i,j)处像素点所属的组别信息,则(i,j)处像素点在该特征通道中所属的直方图组别计算可以为: f k ( i , j ) = 1 , I ( i , j ) 256 / K = k 0 , 其中,为1表示属于第k组,为0表示不属于第k组。当然,也可以采用区间计算法,即分别计算各组别的边界值,根据组别的边界值,判断I(i,j)所属的组别区间,从而得到I(i,j)所属的组别。计算出所有fk(i,j)后,得到K个组别矩阵Fk,k∈(0,1,...,K-1)。
参见图2,图2给出了一组计算得到的每个像素点所属直方图组别的示意图。如图2(a)所示,图2(a)为大小为7×7的跟踪区域像素矩阵示意图。为方便描述,图2中以整个跟踪区域大小为7×7的情况为例,并假设直方图组数K=8,起始点O的坐标(xs,ys)为(0,0),则在7×7的像素矩阵跟踪区域中,每个像素点所属直方图组别的情况分别如图2(b)中所示的8个组别矩阵Fk,k∈(0,1,...,7),图2(b)为图2(a)所示像素矩阵中每个像素点所属直方图组别信息的矩阵图。如图2(b)所示,F0示出了像素点在直方图中第0组的分布,......,F7示出了像素点在直方图中第7组的分布,Fk中的1表示属于直方图中的k组,0表示不属于直方图中的k组。如:F0中(1,2)位置处的值为1,即f0(1,2)的值为1,而其它Fk,k∈(1,...,7)中相应位置处的值都为0,即fk(i,j),k∈(1,...,7)为0,表示图2(a)中(1,2)位置处的像素点属于直方图的第0组,依次类推,图2(b)中的组别矩阵Fk示出了每个像素点所属直方图的组别信息。
在得出了每个像素点所属的直方图组别信息后,下面对每个直方图组别中的像素个数的统计进行详细描述。
若用RIk表示第k组的行积分像素个数矩阵,用RIk(i,j)表示第k组的行积分像素个数矩阵中从像素矩阵第x行起始点(i,0)到点(i,j)处的行积分像素个数,则RIk(i,j)的计算公式可以为: &Sigma; 0 &le; j &le; h s - 1 &Sigma; 0 &le; i &le; w s - 1 RI k ( i - 1 , j ) + f k ( i , j ) , 其中,RIk(0,j)=fk(0,j)。
具体实现时,计算过程可以为:
for j=0→hs-1
    { RIk(0,j)=fk(0,j)
      for i=1→ws-1
          RIk(i,j)=RIk(i-1,j)+fk(i,j)
    }
上述计算过程表示:从组别矩阵Fk的第0行到第hs-1行,即j=0→hs-1,对每一行都进行加法递推计算,其中加法递推计算为:将该行的第一个值作为该行积分像素个数的初始值,即RIk(0,j)=fk(0,j),将初始值与该行的第二个值相加得到第二个行积分像素个数值,将第二个行积分像素个数值与第三个值相加得到第三个行积分像素个数值,依次递推,直到得到该行最后一个行积分像素个数值,即i=1→ws-1,RIk(i,j)=RIk(i-1,j)+fk(i,j)。
对于图2(a)中所示的7×7的像素矩阵来说,hs=7,ws=7,则可得到如图3所示的8个7×7的行积分像素个数矩阵RIk
以计算第0组的行积分像素个数矩阵RI0为例,从第一行开始计算,赋初值,即RI0(0,0)=f0(0,0)=0,之后递推计算,RI0(1,0)=RI0(0,0)+f0(1,0)=0+1=1,RI0(2,0)=RI0(1,0)+f0(2,0)=1+0=1,......,RI0(6,0)=RI0(5,0)+f0(6,0)=3+0=3,然后开始计算第二行,过程与第一行相同,直到计算完第6行,第0组的行积分像素个数计算完毕。
对于其它组别的行积分像素个数按照与第0组的行积分像素个数相同的计算过程进行计算,最后得到每个组别的行积分像素个数,即得到每个组别在行方向上的方向积分像素个数。
对得到的每个组别的行积分像素个数RIk(i,j),在整个跟踪区域起始点O所属的另一条边的方向上即列方向上进行加法递推计算,若用IIk表示第k组的区域积分像素个数矩阵,用IIk(i,j)表示第k组的区域积分像素个数矩阵中从像素矩阵起始点(0,0)到点(i,j)的区域Ci,j的像素个数,将IIk(i,j)称为点(i,j)对应的区域积分像素个数,则IIk(i,j)的计算公式可以为: &Sigma; 0 &le; j &le; w s - 1 &Sigma; 0 &le; i &le; h s - 1 II k ( i , j - 1 ) + RI k ( i , j ) , 其中,IIk(i,0)=RIk(i,0)。
具体实现时,计算过程可以为:
for i=0→ws-1
    {  IIk(i,0)=RIk(i,0)
       for   j=1→hs-1
             IIk(i,j)=IIk(i,j-1)+RIk(i,j)
    }
上述计算过程表示:从行积分像素个数RIk第0列到第ws-1列,即i=0→ws-1,对每一列都进行加法递推计算,其中加法递推计算为:将该列的第一个值作为该列元素对应的区域积分像素个数的初始值,即IIk(i,0)=RIk(i,0),将初始值与该列的第二个值相加得到第二个区域积分像素个数值,将第二个区域积分像素个数值与第三个值相加得到第三个区域积分像素个数值,依次递推,直到得到该列元素对应的最后一个区域积分像素个数值,即j=1→hs-1,IIk(i,j)=IIk(i,j-1)+RIk(i,j)。
其中,元素对应的区域积分像素个数值为:以起始点O与该元素作为对角线的矩形区域的区域积分像素个数值。其中,极端情况下,起始点与该元素位于同一行或同一列,则以起始点O与该元素为对角线的矩形区域为i×1或1×j的区域。
对于图2(a)中所示的7×7的像素矩阵来说,hs=7,ws=7,则可得到如图4所示的8个7×7的区域积分像素个数矩阵IIk
以计算第0组的区域积分像素个数矩阵II0为例,从第一列开始计算,首先赋初值,即II0(0,0)=RI0(0,0)=0,之后进行递推计算,II0(0,1)=II0(0,0)+RI0(0,1)=0+0=0,II0(0,2)=II0(0,1)+RI0(0,2)=0+0=0,......,II0(0,6)=II0(0,5)+RI0(0,6)=0+0=0,然后开始计算第二列,过程同第一列相同,直到计算完第6列,第0组的区域积分像素个数计算完毕。
对于其它组别的区域积分像素个数按照与第0组的区域积分像素个数相同的计算过程进行计算,最后得到每个组别的区域积分像素个数,即得到每个Ci,j中每个组别的区域积分像素个数。
参见图5(a),图5(a)为图2(a)所示像素矩阵的一种区域划分示意图。其中,H点对应的区域积分像素个数IIk(1,1)为图中OAHG表示的区域I中的像素个数,C点对应的区域积分像素个数IIk(5,1)为图中OBCG表示的区域II中的像素个数,D点对应的区域积分像素个数IIk(5,4)为图中OBDF表示的区域IV中的像素个数,E点对应的区域积分像素个数IIk(1,4)为图中OAEF表示的区域III中的像素个数。其中,区域I可表示为C1,1,区域II可表示为C5,1,区域IV可表示为C5,4,区域III可表示为C1,4
根据直方图组数和每个区域Ci,j中各组别的像素个数,可得到每个区域Ci,j的直方图,即区域积分直方图hi,j。其中,若采用将颜色的每个颜色通道都作为特征通道计算直方图,则每个区域Ci,j的直方图hi,j包括每个颜色通道的直方图,即hi,j=[hr,hg,hb]i,j,或hi,j=[hy,hu,hv]i,j。其中,hr,hg,hb分别为R、G、B特征通道的直方图;同理,hy,hu,hv分别为Y、U、V特征通道的直方图。
步骤103,在整个跟踪区域中确定当前搜索窗口。
本实施例中,可采用穷尽搜索法,在整个跟踪区域中逐次搜索目标可能出现的区域,即搜索窗口。其中,目标可能出现的搜索窗口还包括可能尺度下的区域窗口,假设目标区域为w×h,可能的尺度c为0.9倍、1.0倍、1.1倍等,则目标可能出现的搜索窗口包括0.9w×0.9h、w×h、1.1w×1.1h等大小的区域窗口。
本步骤中,在确定当前搜索窗口时,可在每个尺度下,按照一定的方向,如由左向右,由上向下的方向,或由上向下,由左向右的方向等依次确定当前搜索窗口。
具体实现过程可以为:在每个可能的尺度c下,计算尺度c所对应目标区域的宽度wc=c×w和高度hc=c×h,之后按照一定的方向确定每个可能的搜索窗口左上角位置(x,y),得到当前搜索窗口(x,y,wc,hc)。其中c∈C,C为所有可能尺度的集合,如C={0.8,0.9,1.0,1.1,1.2}等。
步骤104,利用区域积分直方图,计算当前搜索窗口的直方图。
本步骤中,计算当前搜索窗口的直方图时,将该搜索窗口右下角对应的区域积分直方图与该搜索窗口左上角对应的区域积分直方图相加之后,减去该搜索窗口右上角对应的区域积分直方图和左下角对应的区域积分直方图,得到该搜索窗口的直方图。如:对于当前搜索窗口为(x,y,wc,hc)时,则该搜索窗口为 C x + w c , y + h c + C x , y - C x + w c , y - C x , y + h c , 该搜索窗口的直方图为 h x + w c , y + h c + h x , y - h x + w c , y - h x , y + h c .
参见图5,假设当前搜索窗口为图5(a)所示的HCDE表示的区域窗口,则计算区域窗口HCDE的直方图时,需要计算该区域窗口中属于直方图各组别的像素个数,即可利用步骤102中计算得到的区域积分像素个数进行加减运算,具体为:IIk(5,4)+IIk(1,1)-IIk(5,1)-IIk(1,4)。
如图5(b)所示,HCDE表示的区域窗口中属于直方图第0组的像素个数为:II0(5,4)+II0(1,1)-II0(5,1)-II0(1,4)=9+1-5-2=3;属于直方图第1组的像素个数为II1(5,4)+II1(1,1)-II1(5,1)-II1(1,4)=8+2-4-4=2;......;属于直方图第7组的像素个数为II7(5,4)+II7(1,1)-II7(5,1)-II7(1,4)=4+0-0-0=4。
根据直方图组数和该搜索窗口中每个直方图组别中的像素个数,得到该搜索窗口的直方图hwin。其中,若采用将颜色的每个颜色通道都作为特征通道计算直方图,则搜索窗口的直方图hwin包括每个颜色通道的直方图,即hwin=[hr,hg,hb],或hwin=[hy,hu,hv]。其中,hr,hg,hb分别为R、G、B特征通道的直方图;同理,hy,hu,hv分别为Y、U、V特征通道的直方图。
步骤105,将计算得到的当前搜索窗口的直方图与目标的标准直方图进行匹配,记录匹配结果。
本步骤中,将计算得到的当前搜索窗口的直方图与目标的标准直方图进行匹配之前,首先将不同尺度搜索窗口的直方图转换为标准尺度搜索窗口的直方图,以便能够与目标的标准直方图进行匹配。具体转换过程为:将不同尺度搜索窗口直方图中各组别像素点个数除以该尺度值,得到标准尺度直方图各组别的像素点个数,从而得到标准尺度搜索窗口的直方图。如步骤103中,当尺度值c为0.9时,则此时转换为标准尺度时,只需将各组别中像素点个数除以0.9,从而得到标准尺度直方图各组别的像素点个数。
具体实现时,也可将不同尺度搜索窗口的直方图和目标的标准直方图都进行归一化,其中进行归一化的过程可以为:将直方图中的所有像素点作为基数,将直方图各组别中的像素点作为除数去除基数,得到归一化后的直方图。
具体进行匹配时,可采用欧式距离作为直方图匹配的标准,若用hstd表示目标的标准直方图,用M(hwin,hstd)表示hwin与hstd的匹配度,假设其中hwin、hstd=[hr,hg,hb](或hwin、hstd=[hy,hu,hv]),则M(hwin,hstd)的计算过程可以为: M ( h win , h std ) = &Sigma; d D ( h win . d , h std . d ) , 其中,d∈D,D={r,g,b}(或D={y,u,v}); D ( h win . d , h std . d ) = &Sigma; k = 0 K - 1 ( h win . d ( k ) - h std . d ( k ) ) 2 . 其中,K为直方图的组数,k为直方图的组别,D(hwin.d,hstd.d)为d特征通道中搜索窗口直方图与目标的标准直方图之间的偏差大小,M(hwin,hstd)为hwin与hstd的综合偏差。
较佳地,上述计算过程中,为了使计算更加准确,可以在计算公式中添加权重,如D(hwin.d,hstd.d)可以为: D ( h win . d , h std . d ) = &Sigma; k = 0 K - 1 w ( d , k ) ( h win . d ( k ) - h std . d ( k ) ) 2 , 其中,w(d,k)为d特征通道中直方图第k组的权重;M(hwin,hstd)也可以为: M ( h win , h std ) = &Sigma; d w d D ( h win . d , h std . d ) , 其中,wd为d特征通道的权重。
其中,权重w(d,k)和wd可以由经验值或实际需要得到。
最后,将得到的搜索窗口匹配度M(hwin,hstd)进行记录。
步骤106,判断是否整个跟踪区域中目标可能出现的所有搜索窗口都已匹配完毕,如果是,则执行步骤107;否则,返回执行步骤103。
步骤107,根据记录的匹配结果,得到目标的跟踪位置。
本实施例中,步骤105中记录的匹配结果为hwin与hstd之间的匹配度M(hwin,hstd),而M(hwin,hstd)实际上得到的是hwin与hstd之间的偏差大小,因此,M(hwin,hstd)的值越小,表示hwin与hstd越匹配。根据步骤105中记录下来的整个跟踪区域中目标可能出现的所有搜索窗口的M(hwin,hstd),从中选取M(hwin,hstd)值最小的搜索窗口区域作为目标的跟踪位置。
若需继续跟踪目标,则提取下一帧图像,返回执行步骤101。
上述对本发明实施例一中的图像跟踪方法进行了详细描述,下面再对本发明实施例一中图像跟踪系统进行详细描述。
参见图6(a),图6(a)为本发明实施例一中图像跟踪系统的结构示意图。如图6(a)所示,该系统包括:跟踪区域设置单元610、区域积分计算单元620和直方图匹配跟踪单元630。
其中,跟踪区域设置单元610,用于在当前帧图像中设置目标的跟踪区域,将所设置的跟踪区域通知给区域积分计算单元620和直方图匹配跟踪单元630。
区域积分计算单元620,用于通过积分运算,计算整个跟踪区域内以整个跟踪区域预先设定的一角为起始点的所有区域的直方图,得到区域积分直方图,并将得到的区域积分直方图提供给直方图匹配跟踪单元630。
直方图匹配跟踪单元630,用于利用区域积分计算单元610提供的区域积分直方图,计算整个跟踪区域中目标可能出现的每个搜索窗口的直方图,将计算得到的每个搜索窗口的直方图与目标的标准直方图进行匹配,根据匹配结果得到目标的跟踪位置。
具体实现时,直方图匹配跟踪单元630可有多种实现形式,可以是一个单独的模块,也可以是由几个模块构成。下面仅以其中一种实现形式为例,对直方图匹配跟踪单元630的具体实现进行详细描述,参见图6(b),图6(b)为图6(a)所示系统中直方图匹配跟踪单元的一种内部结构示意图。如图6(b)所示,直方图匹配跟踪单元630可包括:搜索窗口确定模块631、直方图计算模块632、直方图匹配模块633和跟踪位置确定模块634。
其中,搜索窗口确定模块631,用于从跟踪区域设置单元610提供的跟踪区域中确定当前的搜索窗口,并将所确定的当前搜索窗口通知给直方图计算模块632。
直方图计算模块632,用于利用区域积分计算单元620提供的区域积分直方图计算当前搜索窗口的直方图,将计算得到的当前搜索窗口的直方图提供给直方图匹配模块633,同时通知搜索窗口确定模块631提供下一个当前搜索窗口。
直方图匹配模块633,用于将直方图计算模块622提供的当前搜索窗口的直方图与预先计算的目标的标准直方图进行匹配,将匹配结果提供给跟踪位置确定模块634。
跟踪位置确定模块634,用于根据直方图匹配模块633提供的目标可能出现的所有搜索窗口的匹配结果,将匹配最好的搜索窗口区域作为目标的跟踪位置。
其中,图6所示系统中每个功能单元和模块的详细实现过程可以与图1所示方法流程中的描述一致。
实施例二:
本实施例中的图像跟踪方法与实施例一中的图像跟踪方法大致相同,其区别在于:
在图1所示方法流程的步骤102中,实施例一采用的是颜色直方图,但这种情况下,当在跟踪区域内存在与目标颜色相似的物体时,由于颜色直方图只是对颜色的一种描述,因此容易受到与目标颜色相似的物体的干扰,使跟踪不准确,为此,本实施例的步骤102中,在采用颜色直方图的基础上,又添加了一种直方图,即梯度方向直方图。
梯度方向直方图是指:按照直方图组数确定梯度方向的角度区间;计算每个像素点的梯度方向所属的角度区间,得到该像素点所属的直方图组别。具体计算过程如下:
假设用I(i,j)表示(i,j)处像素点的灰度值,用Gx(i,j)表示x方向上的梯度值,Gy(i,j)表示y方向上的梯度值,Gdir(i,j)表示梯度方向,则有:
Gx(i,j)=I(i+1,j)-I(i-1,j),Gy(i,j)=I(i,j+1)-I(i,j-1), G dir ( i , j ) = arctan G y ( i , j ) G x ( i , j ) .
因为 - &pi; 2 < arctan G y ( i , j ) G x ( i , j ) < &pi; 2 , 因此可将梯度方向在
Figure C200710098970D00273
范围内对直方图分组,若直方图组数为K,则将分为K个角度区间。如可进行如下区间划分:
R 0 = [ - &pi; 2 , - ( 2 K - 1 ) &pi; 2 K ] &cup; [ ( 2 K - 1 ) &pi; 2 K , &pi; 2 ) R i = [ - &pi; 2 + i&pi; K - &pi; 2 K , - &pi; 2 + i&pi; K + &pi; 2 K ) , i = 1,2 . . . . . . , K - 1
计算出每个像素点的Gdir(i,j),根据Gdir(i,j)所处区间的范围,得到该像素点所属直方图的组别。
实际应用中,为了避免进行反正切运算,可以首先计算区间边界上点的正切值bi,然后计算(i,j)处像素点的梯度比Gy(i,j)/Gx(i,j)所处的区间(bi-1,bt),然后得到该像素点所属的直方图组别。若仍用fk(i,j),k∈(0,1,...,K-1)表示(i,j)处像素点所属的组别信息,则具体计算过程可以为:
f k ( i , j ) = 1 , b i - 1 < G y ( i , j ) / G x ( i , j ) < b i 0 .
之后对每个梯度方向直方图组别中的像素个数的统计与颜色直方图的统计方法相同,此处不再赘述。
最后根据梯度方向直方图组数和每个区域Ci,j中每个组别中的像素个数,得到每个区域Ci,j的梯度方向直方图hdir。若计算颜色直方图时采用的是对颜色的每个颜色通道都计算直方图,则每个区域Ci,j的总直方图hi,j为:hi,j=[hr,hg,hb,hdir]i,j,或hi,j=[hy,hu,hv,hdir]i,j,即此时特征通道还包括梯度方向通道。
相应地,在步骤104中,计算得到的搜索窗口直方图hwin为:hwin=[hr,hg,hb,hdir],(或hwin=[hy,hu,hv,hdir]),同样预先计算的目标的标准直方图hstd为:hstd=[hr,hg,hb,hdir],(或hstd=[hy,hu,hv,hdir])。在步骤105中,D={r,g,b,Gdir}(或D={y,u,v,Gdir})。
本实施例中图像跟踪系统的结构和连接关系与实施例一中的图像跟踪系统相同,功能也类似,区别仅在于每个功能单元和模块的详细实现过程与本实施例中的图像跟踪方法中的描述一致。
上述实施例二中所描述的梯度方向直方图也可单独使用,即图1所示步骤102中只采用梯度方向直方图,则此时hi,j=hdir,相应地,步骤104中,hwin=hdir,hstd=hdir,步骤105中,D=Gdir
实施例三:
本实施例中的图像跟踪方法可采用实施例一中的步骤101至步骤106,也可采用实施例二中的步骤101至步骤106。本实施例与实施例一或实施例二的区别在于:
第一点:为了体现目标的边缘特征和空间位置特征,预先将目标按照预设的块数进行分块,并计算目标的分块直方图。则目标的标准直方图中还包括分块直方图。
其中,实施例一、实施例二中目标的标准直方图为目标的全局直方图,本实施例中目标的标准直方图中不仅包括目标的全局直方图,还包括目标的分块直方图。假设将目标分为M×N块,且直方图包括颜色中每个颜色通道的直方图和梯度方向直方图,则目标的标准直方图构成如图7所示,其中b1,......,bK为直方图中每个组别的直方图部分。其中块(m,n)的分块直方图可用hstmn表示。
第二点:步骤107中的具体实现过程不同,参见图8,图8为本实施例中步骤107中的具体实现过程,包括:
步骤107.a,根据记录的匹配结果,按照预设的条件,选取符合条件的多个搜索窗口。
本步骤中,根据步骤105中记录的匹配结果M(hwin,hstd),按照预设的条件,选取符合条件的M(hwin,hstd)值较小的多个搜索窗口。其中预设条件可以为选择的搜索窗口个数N,则根据该预设条件选取N个M(hwin,hstd)值较小的搜索窗口;或者预设条件可以为M(hwin,hstd)值门限,则根据该预设条件选取M(hwin,hstd)值小于该门限的搜索窗口。
本步骤中可对选取的多个搜索窗口进行编号,假设选取了N个搜索窗口,则可将N个搜索窗口依次编号为1,2,......,N。
步骤107.b,从选取的多个搜索窗口中确定当前搜索窗口。
假设步骤107.a中所选取的搜索窗口为N个,则本步骤中,可确定N个中的一个作为当前搜索窗口,若步骤107.a中对N个搜索窗口编了号,则本步骤中可按照编号次序,确定当前搜索窗口。
步骤107.c,将当前搜索窗口按照与目标相同的分块方法进行分块,得到多个子窗口。
本步骤中,假设目标分为M×N块,则也将当前搜索窗口分为大小对应的M×N块。
步骤107.d,利用积分直方图计算每个子窗口的直方图,并将所计算的子窗口直方图与目标对应块的分块直方图进行匹配,得到每个子窗口匹配结果。
本步骤中,为了与实施例一、实施例二中所计算的搜索窗口的直方图进行区分,可将实施例一、实施例二中所计算的搜索窗口的直方图称为搜索窗口的全局直方图,将搜索窗口的全局直方图与目标的全局直方图的匹配结果(匹配度),称为搜索窗口的全局匹配结果(匹配度)。
子窗口匹配结果的具体计算过程可以为:
for  m=1→M
     { for n=1→N
           {利用积分直方图计算第(m,n)块的子窗口直方图;
            将所计算的第(m,n)块子窗口直方图与目标的第(m,n)块分块直
            方图进行匹配,记录匹配结果;
         }
     }
上述计算过程表示,按照从上到下,从左到右的方向逐次选取当前块,并计算当前块的子窗口直方图,将所计算的当前块的子窗口直方图与目标对应块的分块直方图进行匹配,并记录匹配结果(匹配度),之后选取当前块的下一块作为当前块,继续上述过程,直到匹配完所有子窗口。
其中,利用积分直方图计算第(m,n)块的子窗口直方图时,计算方法与计算未分块的搜索窗口直方图的方法相同,如:假设第(m,n)块的窗口区域为(mx,ny,wMN,hMN)时,则该子窗口为 C mx + w MN , ny + h MN + C mx , ny - C mx + w MN , ny - C mx , ny + h MN , 该子窗口的直方图为 h mx + w MN , ny + h MN + h mx , ny - h mx + w MN , ny - h mx , ny + h MN .
将所计算的第(m,n)块子窗口直方图与目标的第(m,n)块分块直方图进行匹配时,同样可采用欧式距离作为直方图匹配的标准,若用hmn表示第(m,n)块的子窗口直方图,用M(hmn,hstmn)表示hmn与hstmn的匹配度,则 M ( h mn , h stmn ) = &Sigma; d D ( h mn . d , h stmn . d ) , D ( h mn . d , h stmn . d ) = &Sigma; k = 0 K - 1 ( h mn . d ( k ) - h stmn . d ( k ) ) 2 . 其中,若采用实施例二中的步骤101至步骤106,则d∈D,D={r,g,b,Gdir}(或D={y,u,v,Gdir}),或d∈D,D=Gdir;若采用实施例一中的步骤101至步骤106,则d∈D,D={r,g,b}(或D={y,u,v})。其中,K为直方图的组数,k为直方图的组别,D(hmn.d,hstm.d)为d特征通道中第(m,n)块子窗口直方图与目标的第(m,n)块分块直方图之间的偏差大小,M(hmn,hstmn)为第(m,n)块子窗口直方图与目标的第(m,n)块分块直方图的综合偏差。
较佳地,上述计算过程中,为了使计算更加准确,也可以在计算公式中添加权重,如D(hmn.d,hstmn.d)可以为: D ( h mn . d , h stmn . d ) = &Sigma; k = 0 K - 1 w ( d , k ) ( h mn . d ( k ) - h stmn . d ( k ) ) 2 , 其中,w(d,k)为d特征通道中直方图第k组的权重;而M(hmn,hstmn)也可以为: M ( h mn , h stmn ) = &Sigma; d w d D ( h mn . d , h stmn . d ) , 其中,wd为d特征通道的权重。
最后,将得到的分块匹配度M(hmn,hstmn)进行记录。
步骤107.e,根据当前搜索窗口匹配结果和子窗口匹配结果,计算当前搜索窗口与目标的综合匹配结果。
其中,若用Mz表示当前搜索窗口与目标的综合匹配结果,则综合匹配结果Mz可以为: M z = w 1 M ( h win , h std ) + &Sigma; 1 &le; m &le; M , 1 &le; n &le; N w mn M ( h mn , h stmn ) , 其中,w1为搜索窗口全局匹配结果M(hwin,hstd)的权重,wmn为搜索窗口分块匹配结果M(hmn,hstmn)的权重。权重w1和wmn可以根据经验值设置,也可以根据实际需要设置。
此外,本步骤中,也可只根据当前搜索窗口中的所有子窗口匹配结果,计算当前搜索窗口与目标的综合匹配结果,即若用Mz表示当前搜索窗口与目标的综合匹配结果,则综合匹配结果Mz可以为: M z = &Sigma; 1 &le; m &le; M , 1 &le; n &le; N w mn M ( h mn , h stmn ) , 其中,wmn为搜索窗口分块匹配结果M(hmn,hstmn)的权重。权重wmn可以根据经验值设置,也可以根据实际需要设置。
步骤107.f,判断是否所选取的搜索窗口都已分块匹配完毕,如果是,则执行步骤107.g;否则,返回执行步骤107.b。
步骤107.g,根据综合匹配结果,得到目标的跟踪位置。
本步骤中,根据综合匹配结果Mz,从中选取Mz值最小的搜索窗口区域作为目标的跟踪位置。
若需继续跟踪目标,则提取下一帧图像,返回执行步骤101。
本实施例中图像跟踪系统的结构和连接关系与实施例一或实施例二中的图像跟踪系统类似,功能也类似,区别仅在于直方图匹配跟踪单元630中的跟踪位置确定模块634的详细实现过程与本实施例中步骤107中的描述一致。
此时,如图9所示,跟踪位置确定模块634中可包括:搜索窗口选取子模块、搜索窗口确定子模块、块直方图计算匹配子模块、搜索窗口综合匹配计算子模块和跟踪位置确定子模块。
其中,搜索窗口选取子模块,用于根据直方图匹配模块633提供的搜索窗口匹配结果,按照预设条件,从中选取符合条件的多个搜索窗口,提供给搜索窗口确定子模块。
搜索窗口确定子模块,用于从搜索窗口选取子模块提供的搜索窗口中确定当前的搜索窗口,并将所确定的当前搜索窗口通知给块直方图计算匹配子模块,将当前搜索窗口的全局匹配度提供给搜索窗口综合匹配计算子模块。
块直方图计算匹配子模块,用于将搜索窗口确定子模块提供的当前搜索窗口按照与目标对应的分块方法进行分块,得到子窗口;对每个的子窗口,利用积分直方图计算子窗口直方图,将所计算的子窗口直方图与目标对应块的分块直方图进行匹配,得到每个子窗口的分块匹配度,将所得到的分块匹配度提供给搜索窗口综合匹配计算子模块。所有子窗口匹配完成后,通知搜索窗口确定子模块提供下一个当前搜索窗口。
搜索窗口综合匹配计算子模块,用于根据搜索窗口确定子模块提供的当前搜索窗口的全局匹配度和块直方图计算匹配子模块提供的当前搜索窗口的所有子窗口的分块匹配度,计算当前搜索窗口与目标的综合匹配度,并将计算得到的当前搜索窗口的综合匹配度提供给跟踪位置确定子模块。
其中,搜索窗口综合匹配计算子模块可只根据块直方图计算匹配子模块提供的当前搜索窗口中的所有子窗口的分块匹配度,计算当前搜索窗口与目标的综合匹配结果。此时,搜索窗口确定子模块可无需向搜索窗口综合匹配计算子模块提供当前搜索窗口的全局匹配度。
跟踪位置确定子模块,用于根据搜索窗口综合匹配计算子模块提供的所有搜索窗口的综合匹配度,将匹配最好的搜索窗口区域作为目标的跟踪位置。
实施例四:
本实施例中,在实施例一、实施例二或实施例三的基础上,结合目标分类器进行目标的位置跟踪。由目标分类器对目标进行粗略跟踪,以进一步提高跟踪实时性,降低运算量,之后由直方图匹配对目标进行精细跟踪,以保证跟踪效果。
参见图10,图10为本发明实施例四中图像跟踪方法的流程图。如图10所示,该流程包括如下步骤:
步骤1001,在当前帧图像中设置跟踪区域。
本实施例中,设置跟踪区域的方法可以和实施例一中步骤101中的描述一致。
步骤1002,利用分类器对整个跟踪区域中目标可能出现的每个搜索窗口进行置信度描述,若存在置信度满足跟踪要求的搜索窗口,则执行步骤1003;若不存在置信度满足跟踪要求的搜索窗口,则执行步骤1005。
其中,假设目标的大小为wp×hp,则每个可能的尺度c下,尺度c所对应搜索窗口的宽度为:wc=c×wp,高度为hc=c×hp,其中c∈C,C为所有可能尺度的集合,如C={0.8,0.9,1.0,1.1,1.2}等。
又假设目标分类器的标准窗口大小为wstd×hstd,则进行目标分类器跟踪时,首先需要将跟踪区域中目标可能出现的每个搜索窗口放缩到目标分类器的标准窗口大小,判断该搜索窗口是否可能为目标,对可能为目标的搜索窗口进行存储,然后对所存储的搜索窗口利用目标分类器进行置信度描述,若置信度大于预先设置的阈值,则存在置信度满足要求的搜索窗口,并可选出置信度最大的窗口,此时跟踪成功;若没有可能目标存在,若置信度小于预设的阈值,则不存在置信度满足要求的搜索窗口,此时跟踪失败。
步骤1003,对置信度满足跟踪要求的搜索窗口进行直方图匹配,若直方图匹配成功,则执行步骤1004;否则,进一步地,可执行步骤1005。
本步骤中,可以是对所有置信度满足跟踪要求的搜索窗口进行直方图匹配,也可以是对部分置信度满足跟踪要求的搜索窗口进行直方图匹配,如选取置信度较大的若干个置信度满足跟踪要求的搜索窗口进行直方图匹配,或选取置信度最大的一个置信度满足跟踪要求的搜索窗口进行直方图匹配。
其中,对置信度满足要求的搜索窗口进行直方图匹配时,可采用分块直方图匹配,也可采用全局直方图匹配,还可采用全局直方图与分块直方图结合的方法进行匹配。例如采用全局直方图匹配时,可以为:确定直方图组数后,对置信度满足跟踪要求的搜索窗口,计算该搜索窗口中像素点所属的直方图组别,统计每个组别中的像素个数,根据直方图组数和每个组别中的像素个数,得到该搜索窗口的直方图,将计算得到的搜索窗口直方图与目标的标准直方图进行匹配,若存在直方图匹配结果满足要求的搜索窗口,则直方图匹配成功,将其中匹配最好的搜索窗口称为匹配成功的搜索窗口,否则,匹配失败。
其中,搜索窗口直方图和目标的标准直方图可以是颜色直方图,也可以是颜色直方图加梯度方向直方图,还可以是梯度方向直方图。具体采用哪种直方图,根据实际情况而定。
步骤1004,将匹配成功的搜索窗口作为目标的跟踪位置,之后执行步骤1006。
步骤1005,进行积分直方图计算和直方图匹配跟踪计算,得到目标的跟踪位置。
本步骤中的具体实现过程可以与实施例一中的步骤101至步骤107相同,也可以与实施例二中的步骤101至步骤107相同,还可以与实施例三中的步骤101至步骤107相同。
步骤1006,判断是否需要继续跟踪目标,如果是,则提取下一帧图像,并返回执行步骤1001,否则,结束本流程。
至此,实施例四中的图像跟踪方法流程结束。
上述流程中,步骤1003和步骤1004也可以省略,则步骤1002中若分类器跟踪成功,则直接将置信度满足跟踪要求的搜索窗口中置信度最高的搜索窗口作为目标的跟踪位置,然后执行步骤1006。
上述对本发明实施例四中的图像跟踪方法进行了详细描述,下面再对本发明实施例四中图像跟踪系统进行详细描述。
参见图11,图11为本发明实施例四中图像跟踪系统的结构示意图。如图11所示,该系统在图6(a)所示系统的基础上,添加了目标分类器跟踪单元1101和直方图匹配单元1102。
此时,跟踪区域设置单元610,进一步用于将所设置的跟踪区域通知给目标分类器跟踪单元1101。
目标分类器跟踪单元1101,用于利用分类器对整个跟踪区域中目标可能出现的每个搜索窗口进行置信度描述,若存在置信度满足跟踪要求的搜索窗口,则跟踪成功,将该置信度满足跟踪要求的搜索窗口提供给直方图匹配单元1102;若不存在置信度满足跟踪要求的搜索窗口,则跟踪失败,向区域积分计算单元620发送跟踪失败的通知。
其中,目标分类器跟踪模块将置信度满足跟踪要求的搜索窗口提供给直方图匹配模块时,可将所有置信度满足跟踪要求的搜索窗口提供给直方图匹配模块,也可以将部分置信度满足跟踪要求的搜索窗口提供给直方图匹配模块,如选取置信度较大的若干个置信度满足跟踪要求的搜索窗口,或选取置信度最大的一个置信度满足跟踪要求的搜索窗口提供给直方图匹配模块。
直方图匹配单元1102,用于计算目标分类器跟踪单元1101提供的置信度满足跟踪要求的搜索窗口的直方图,将计算的搜索窗口直方图与目标的标准直方图进行匹配,根据匹配结果,确定目标的跟踪位置。
区域积分计算单元620进一步用于:根据来自目标分类器跟踪单元的跟踪失败的通知,执行所述区域积分直方图计算的操作。
其中,该系统中也可以无需直方图匹配单元1102,则目标分类器跟踪单元1101在跟踪成功时,直接将置信度满足跟踪要求的搜索窗口中置信度最大的搜索窗口作为目标的跟踪位置。
上述实施例四中,图10所示方法流程的步骤1004中,可进一步包括:将匹配成功的搜索窗口进行存储。
则本实施例中的方法可进一步包括:当存储的搜索窗口的个数达到预设条件时,利用这些搜索窗口的全局直方图,计算每个特征通道中直方图各组别的权重w(d,k),d∈D,其中,若采用颜色直方图,则特征通道D={r,g,b}(或D={y,u,v});若采用颜色直方图加梯度方向直方图,则特征通道D={r,g,b,Gdir}(或D={y,u,v,Gdir});若只采用梯度方向直方图,则特征通道D=Gdir
假设所存储的搜索窗口的个数为N0,所确定的直方图的组数为K,则具体计算权重的过程如下:
1、计算所存储的N个搜索窗口在每个特征通道中每个组别的全局直方图hdkn,n∈(0,1,...,N0-1),k∈(0,1,...,K-1)。
2、计算每个特征通道中的每个组别的全局直方图的均差Mhdk、方差Varhdk
若N个搜索窗口包括不同尺度的搜索窗口,则计算均差和方差之前,首先将各自每个组别的直方图转换为标准尺度每个组别的直方图。然后再进行均差及方差计算。
具体计算过程如下:
M hdk = &Sigma; n = 0 N - 1 h dkn N , Var hdk = &Sigma; n = 0 N - 1 ( h dkn - M hdk ) 2 N ;
3、利用上述均差和方差,计算w(d,k)。
w ( d , k ) 1 = M hdk 2 Var hdk + &sigma; 2 , 其中,σ2为方差调整参数,用于避免Varhdk为0的情况,σ2的取值很小,如可以为10-5等。
为了使各组别的权重相加为1,需要对各组别的权重进行归一化,即: W ( d , K ) = &Sigma; k = 0 K - 1 w ( d , k ) 1 , w ( d , k ) = w ( d , k ) 1 W ( d , K ) , k∈(0,1,...,K-1)。
进一步地,若步骤1005与实施例三中的步骤101至步骤107相同,则还可以利用所存储的搜索窗口的分块直方图,计算图8所示流程步骤107.e中的全局匹配结果的权重w1和分块匹配结果的权重wmn
同样,假设所存储的搜索窗口的个数为N0,所确定的直方图的组数为K,又假设每个搜索窗口被分为M×N块,则具体计算权重的过程如下:
1、计算所存储的N个搜索窗口在每个特征通道中每个组别的分块直方图hdkn(m,n),1≤m≤M,1≤n≤N。
2、计算每个特征通道中的每个组别的分块直方图的均差Mhdk(m,n)、方差Varhdk(m,n)。
若N个搜索窗口包括不同尺度的搜索窗口,则计算均差和方差之前,首先将各自每个组别的直方图转换为标准尺度每个组别的直方图。然后再进行均差及方差计算。
具体计算过程如下:
M hdk ( m , n ) = &Sigma; n = 0 N - 1 h dkn ( m , n ) N , Var hdk ( m , n ) = &Sigma; n = 0 N - 1 ( h dkn ( m , n ) - M hdk ( m , n ) ) 2 N .
3、利用上述均差和方差,计算w1和wmn
3.1 计算w1
计算全局直方图各个特征通道方差的加权和: Var = &Sigma; d &Element; D w c &Sigma; k = 0 K - 1 Var hdk ;
计算 w 1 = 1 / Var + &sigma; 2 , 其中,σ2为方差调整参数,用于避免Var为0的情况,同样,σ2的取值很小,如可以为10-5等。
3.2计算wmn
计算分块直方图各个特征通道方差的加权和: Var ( m , n ) = &Sigma; d &Element; D w c &Sigma; k = 0 K - 1 Var hdk ( m , n ) ;
计算 w mn , 1 = 1 / Var ( m , n ) + &sigma; 2 , 同样,σ2为方差调整参数。
为了使各分块的权重相加为1,需要对各分块的权重进行归一化,即: W mn = &Sigma; k = 0 K - 1 w mn . 1 , w mn = w mn . 1 W mn , k∈(0,1,...,K-1),1≤m≤M,1≤n≤N。
相应地,图11所示系统中,还可进一步包括:直方图权重更新单元1103,如图12所示,图12为本发明实施例四中图像跟踪系统的又一个结构示意图。如图12所示,直方图匹配单元1102进一步用于将匹配成功的搜索窗口提供给直方图权重更新单元1103,直方图权重更新单元1103用于根据存储的预定个数的搜索窗口的直方图,计算每个特征通道中直方图各组别的权重,将计算的每个特征通道中各组别的权重提供给直方图匹配跟踪单元630,直方图匹配跟踪单元630进一步用于根据直方图权重更新单元1103提供的每个特征通道中各组别的权重,执行对搜索窗口的直方图与目标的标准直方图进行匹配的操作。
具体实现时,直方图权重更新单元1103可将计算的每个特征通道中各组别的权重提供给直方图匹配跟踪单元630中的直方图匹配模块633,由直方图匹配模块633根据每个特征通道中各组别的权重,执行对搜索窗口的直方图与目标的标准直方图进行匹配的操作。
此外,进一步地,直方图权重更新单元1103还用于根据存储的预定个数的搜索窗口的分块直方图,计算搜索窗口全局匹配结果的权重和分块匹配结果的权重,将计算的搜索窗口全局匹配结果的权重和分块匹配结果的权重提供给直方图匹配跟踪单元630,由直方图匹配跟踪单元630根据直方图权重更新单元1103提供的搜索窗口全局匹配结果的权重和分块匹配结果的权重,执行计算搜索窗口综合匹配结果的操作。
具体实现时,直方图权重更新单元1103可将所计算的全局匹配结果的权重和分块匹配结果的权重提供给跟踪位置确定模块634中的搜索窗口综合匹配计算子模块,由搜索窗口综合匹配计算子模块根据搜索窗口全局匹配结果的权重和分块匹配结果的权重,执行计算搜索窗口综合匹配结果的操作。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (19)

1、一种图像跟踪方法,其特征在于,该方法包括:
通过积分运算,计算整个跟踪区域内以整个跟踪区域预先设定的一角为起始点的所有区域的直方图,得到区域积分直方图;
利用区域积分直方图,计算整个跟踪区域中目标可能出现的每个搜索窗口的直方图,将计算得到的每个搜索窗口的直方图与目标的标准直方图进行匹配,得到匹配结果,根据匹配结果确定目标的跟踪位置。
2、根据权利要求1所述的方法,其特征在于,所述积分直方图包括:颜色积分直方图,和/或,梯度方向积分直方图。
3、根据权利要求1或2所述的方法,其特征在于,所述利用区域积分直方图,计算目标可能出现的每个搜索窗口的直方图为:对目标可能出现的每个搜索窗口,用该搜索窗口四个角对应的区域积分直方图进行加减运算,得到该搜索窗口的直方图。
4、如权利要求3所述的方法,其特征在于,若预先设定的一角为左上角,则所述用搜索窗口四个角对应的区域积分直方图进行加减运算具体为:将该搜索窗口右下角对应的区域积分直方图与该搜索窗口左上角对应的区域积分直方图相加之后,减去该搜索窗口右上角对应的区域积分直方图和左下角对应的区域积分直方图,得到该搜索窗口的直方图。
5、根据权利要求1或2所述的方法,其特征在于,所述通过计算得到区域积分直方图包括:
确定直方图组数;
计算整个跟踪区域中每个像素点所属的直方图组别;
统计整个跟踪区域中以预先设定的一角O作为起始点的所有区域Ci,j中属于每个直方图组别的区域积分像素个数;
根据直方图组数和每个Ci,j中每个直方图组别的区域积分像素个数,得到每个区域积分直方图。
6、如权利要求5所述的方法,其特征在于,所述统计整个跟踪区域中所有Ci,j中属于每个直方图组别的区域积分像素个数具体为:
根据每个像素点所属的直方图组别信息,在整个跟踪区域中起始点O所属的一条边的方向上,对每个组别中的像素点个数进行加法递推计算,得到每个组别在该方向上的方向积分像素个数;
对得到的每个组别的所述方向积分像素个数,在整个跟踪区域中起始点O所属的另一条边的方向上进行加法递推计算,得到每个Ci,j中每个组别的区域积分像素个数。
7、根据权利要求5所述的方法,其特征在于,当积分直方图包括梯度方向积分直方图时,所述计算每个像素点所属的直方图组别包括:
按照直方图组数确定梯度方向的角度区间;
计算每个像素点的梯度方向所属的角度区间,得到该像素点所属的直方图组别。
8、根据权利要求7所述的方法,其特征在于,所述计算每个像素点的梯度方向所属的角度区间包括:
计算角度区间的边界点的正切值,得到正切值区间;
计算每个像素点在坐标轴的y方向的梯度值与x方向的梯度值的比值,根据该比值所处的正切值区间,得到每个像素点的梯度方向所属的角度区间。
9、根据权利要求1或2所述的方法,其特征在于,所述目标的标准直方图包括:目标的全局直方图;则所述将所计算的每个搜索窗口的直方图与目标的标准直方图进行匹配,得到匹配结果包括:
将所计算的每个搜索窗口的全局直方图与目标的全局直方图进行匹配,得到搜索窗口的全局匹配度,将所得到的搜索窗口的全局匹配度作为匹配结果。
10、根据权利要求9所述的方法,其特征在于,所述目标的标准直方图还包括:将目标分块后的分块直方图;则得到搜索窗口的全局匹配度之后,将该搜索窗口的全局匹配度作为匹配结果之前,进一步包括:
根据搜索窗口的全局匹配度,得到多个全局匹配度满足预设条件的搜索窗口;
将所述多个搜索窗口分别按照与目标对应的分块方式进行分块,得到每个搜索窗口的子窗口;
利用区域积分直方图,计算每个子窗口的直方图,将得到的每个子窗口的直方图与目标对应块的分块直方图进行匹配,得到每个子窗口的分块匹配度;
根据每个搜索窗口的全局匹配度和该搜索窗口中每个子窗口的分块匹配度,得到每个搜索窗口的匹配结果。
11、根据权利要求1或2所述的方法,其特征在于,计算整个跟踪区域的积分直方图之前,进一步包括:
利用分类器对整个跟踪区域中目标可能出现的每个搜索窗口进行置信度描述,若不存在置信度满足跟踪要求的搜索窗口,则执行所述计算整个跟踪区域的积分直方图的操作。
12、根据权利要求11所述的方法,其特征在于,该方法进一步包括:若存在置信度满足跟踪要求的搜索窗口,则对置信度满足跟踪要求的搜索窗口进行直方图匹配,若直方图匹配失败,则执行所述计算整个跟踪区域的积分直方图的操作;若直方图匹配成功,则将匹配成功的搜索窗口作为目标的跟踪位置。
13、根据权利要求12所述的方法,其特征在于,该方法进一步包括:将匹配成功的搜索窗口进行存储,根据存储的预定个数的搜索窗口的直方图,计算每个特征通道中直方图所包括的各组别的权重;
则所述将搜索窗口的直方图与目标的标准直方图进行匹配为:根据每个特征通道中各组别的权重,对搜索窗口的直方图与目标的标准直方图进行匹配。
14、一种图像跟踪系统,其特征在于,该系统包括:跟踪区域设置单元、区域积分计算单元和直方图匹配跟踪单元,其中,
跟踪区域设置单元,用于在当前帧图像中设置目标的跟踪区域,将所设置的跟踪区域通知给区域积分计算单元和直方图匹配跟踪单元;
区域积分计算单元,用于通过积分运算,计算整个跟踪区域内以整个跟踪区域预先设定的一角为起始点的所有区域的直方图,得到区域积分直方图,并将得到的区域积分直方图提供给直方图匹配跟踪单元;
直方图匹配跟踪单元,用于利用区域积分计算单元提供的区域积分直方图,计算整个跟踪区域中目标可能出现的每个搜索窗口的直方图,将计算得到的每个搜索窗口的直方图与目标的标准直方图进行匹配,根据匹配结果得到目标的跟踪位置。
15、根据权利要求14所述的系统,其特征在于,该系统进一步包括:目标分类器跟踪单元,用于利用分类器对整个跟踪区域中目标可能出现的每个搜索窗口进行置信度描述,若不存在置信度满足跟踪要求的搜索窗口,则向所述区域积分计算单元发送跟踪失败的通知;
所述区域积分计算单元,根据来自目标分类器跟踪单元的跟踪失败的通知,执行所述区域积分直方图计算的操作。
16、根据权利要求15所述的系统,其特征在于,该系统进一步包括:直方图匹配单元;
则目标分类器跟踪单元进一步用于:若存在置信度满足跟踪要求的搜索窗口,则将所述置信度满足跟踪要求的搜索窗口提供给直方图匹配单元;
直方图匹配单元,用于计算目标分类器跟踪单元提供的置信度满足跟踪要求的搜索窗口的直方图,将计算的搜索窗口直方图与目标的标准直方图进行匹配,根据匹配结果,确定目标的跟踪位置。
17、根据权利要求16所述的系统,其特征在于,该系统进一步包括:直方图权重更新单元;
则直方图匹配单元进一步用于:将直方图匹配成功的搜索窗口提供给直方图权重更新单元;
直方图权重更新单元,用于根据存储的预定个数的搜索窗口的直方图,计算每个特征通道中直方图各组别的权重,将计算的每个特征通道中各组别的权重提供给直方图匹配跟踪单元;
直方图匹配跟踪单元进一步用于:根据直方图权重更新单元提供的每个特征通道中各组别的权重,执行所述对搜索窗口的直方图与目标的标准直方图进行匹配的操作。
18、根据权利要求14至17中任一项所述的系统,其特征在于,所述直方图匹配跟踪单元包括:搜索窗口确定模块、直方图计算模块、直方图匹配模块和跟踪位置确定模块,其中,
搜索窗口确定模块,用于从跟踪区域设置单元提供的跟踪区域中确定当前的搜索窗口,并将所确定的当前搜索窗口通知给直方图计算模块;
直方图计算模块,用于利用区域积分计算单元提供的区域积分直方图计算当前搜索窗口的直方图,将计算得到的当前搜索窗口的直方图提供给直方图匹配模块;通知搜索窗口确定模块提供下一个当前搜索窗口;
直方图匹配模块,用于将直方图计算模块提供的当前搜索窗口的直方图与预先计算的目标的标准直方图进行匹配,将匹配结果提供给跟踪位置确定模块;
跟踪位置确定模块,用于根据直方图匹配模块提供的目标可能出现的所有搜索窗口的匹配结果,将匹配最好的搜索窗口区域作为目标的跟踪位置。
19、如权利要求18所述的系统,其特征在于,所述跟踪位置确定模块包括:搜索窗口选取子模块、搜索窗口确定子模块、块直方图计算匹配子模块、搜索窗口综合匹配计算子模块和跟踪位置确定子模块,其中,
搜索窗口选取子模块,用于根据直方图匹配模块提供的所有搜索窗口的匹配结果,从中选取满足预设条件的多个搜索窗口,提供给搜索窗口确定子模块;
搜索窗口确定子模块,用于从搜索窗口选取子模块提供的搜索窗口中确定当前的搜索窗口,并将所确定的当前搜索窗口通知给块直方图计算匹配子模块;
块直方图计算匹配子模块,用于将搜索窗口确定子模块提供的当前搜索窗口按照与目标对应的分块方法进行分块,得到子窗口;对每个子窗口,利用积分直方图计算子窗口直方图,将所计算的子窗口直方图与目标对应块的分块直方图进行匹配,得到每个子窗口的分块匹配度,将所得到的分块匹配度提供给搜索窗口综合匹配计算子模块;通知搜索窗口确定子模块提供下一个当前搜索窗口;
搜索窗口综合匹配计算子模块,用于根据块直方图计算匹配子模块提供的当前搜索窗口的所有子窗口的分块匹配度,计算当前搜索窗口的综合匹配度,并将计算得到的当前搜索窗口的综合匹配度提供给跟踪位置确定子模块;
跟踪位置确定子模块,用于根据搜索窗口综合匹配计算子模块提供的所有搜索窗口的综合匹配度,将匹配最好的搜索窗口区域作为目标的跟踪位置。
CNB200710098970XA 2007-04-30 2007-04-30 一种图像跟踪方法及系统 Active CN100472564C (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CNB200710098970XA CN100472564C (zh) 2007-04-30 2007-04-30 一种图像跟踪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNB200710098970XA CN100472564C (zh) 2007-04-30 2007-04-30 一种图像跟踪方法及系统

Publications (2)

Publication Number Publication Date
CN101038672A CN101038672A (zh) 2007-09-19
CN100472564C true CN100472564C (zh) 2009-03-25

Family

ID=38889555

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB200710098970XA Active CN100472564C (zh) 2007-04-30 2007-04-30 一种图像跟踪方法及系统

Country Status (1)

Country Link
CN (1) CN100472564C (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101458169B (zh) * 2007-12-14 2010-09-15 中国科学院沈阳自动化研究所 实时图像跟踪系统跟踪速度测量方法
CN101383007B (zh) * 2008-09-28 2010-10-13 腾讯科技(深圳)有限公司 基于积分直方图的图像处理方法及系统
CN102663778B (zh) * 2012-04-26 2015-12-02 安科智慧城市技术(中国)有限公司 一种基于多视点视频的目标跟踪方法和系统
US9292751B2 (en) * 2012-09-14 2016-03-22 Honda Motor Co., Ltd. Object identifier
CN103593856A (zh) * 2013-11-20 2014-02-19 中国科学院深圳先进技术研究院 单目标跟踪方法及系统
JP6380523B2 (ja) 2014-02-26 2018-08-29 株式会社ソシオネクスト 画像認識システムおよび半導体集積回路
CN106408592B (zh) * 2016-09-09 2019-04-05 南京航空航天大学 一种基于目标模板更新的目标跟踪方法
US10421452B2 (en) * 2017-03-06 2019-09-24 GM Global Technology Operations LLC Soft track maintenance
CN108734180B (zh) * 2018-05-22 2020-09-11 东南大学 一种基于计算方式优化的sift特征点梯度生成方法
CN109033204B (zh) * 2018-06-29 2021-10-08 浙江大学 一种基于万维网的层次积分直方图可视查询方法
CN111210461B (zh) * 2019-12-30 2023-06-02 成都慧视光电技术有限公司 一种自适应尺度变化的实时相关滤波跟踪算法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
人脸图像分析算法研究. 乔宇,第24-26页,中国学术期刊(光盘版)电子杂志社. 2003 *

Also Published As

Publication number Publication date
CN101038672A (zh) 2007-09-19

Similar Documents

Publication Publication Date Title
CN100472564C (zh) 一种图像跟踪方法及系统
CN100507948C (zh) 一种图像跟踪方法及系统
Zhou et al. Efficient road detection and tracking for unmanned aerial vehicle
CN101883209B (zh) 一种背景模型与三帧差分相结合进行视频背景检测的方法
CN102881024B (zh) 一种基于tld的视频目标跟踪方法
CN103106667B (zh) 一种面向遮挡和场景变换的运动对象追踪方法
CN105335986A (zh) 基于特征匹配和MeanShift算法的目标跟踪方法
CN106023244A (zh) 基于最小二乘法轨迹预测及智能避障模型的行人跟踪方法
CN113108771B (zh) 一种基于闭环直接稀疏视觉里程计的移动位姿估计方法
Wang et al. A unified framework for mutual improvement of SLAM and semantic segmentation
CN101867798A (zh) 基于压缩域分析的Mean shift运动目标跟踪方法
CN110531618B (zh) 基于有效关键帧的闭环检测机器人自定位误差消除方法
CN100472565C (zh) 一种图像跟踪方法及系统
Bae et al. A novel real time video tracking framework using adaptive discrete swarm optimization
CN117252904B (zh) 基于长程空间感知与通道增强的目标跟踪方法与系统
Ambrosch et al. SAD-based stereo matching using FPGAs
CN106296729A (zh) 一种鲁棒的实时红外成像地面运动目标跟踪方法和系统
Chen et al. Deep Kalman filter with optical flow for multiple object tracking
CN116645396A (zh) 轨迹确定方法、装置、计算机可读存储介质及电子设备
CN101833760A (zh) 一种基于图像块的背景建模方法及背景建模装置
Qu et al. DSOL: A fast direct sparse odometry scheme
CN113689459A (zh) 动态环境下基于gmm结合yolo实时跟踪与建图方法
CN113902862A (zh) 一种基于一致性集群的视觉slam回环验证系统
CN112902981A (zh) 机器人导航方法和装置
CN110580712B (zh) 一种使用运动信息与时序信息的改进CFNet视频目标追踪方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: SHANXI ZHONGTIANXIN TECHNOLOGY CO., LTD.

Free format text: FORMER OWNER: BEIJING VIMICRO ELECTRONICS CO., LTD.

Effective date: 20121211

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: 100083 HAIDIAN, BEIJING TO: 030032 TAIYUAN, SHAANXI PROVINCE

TR01 Transfer of patent right

Effective date of registration: 20121211

Address after: 105, room 3, building 6, Kaiyuan street, Taiyuan economic and Technological Development Zone, Shanxi 030032, China

Patentee after: SHANXI VIMICRO TECHNOLOGY CO., LTD.

Address before: 100083, Haidian District, Xueyuan Road, Beijing No. 35, Nanjing Ning building, 15 Floor

Patentee before: Beijing Vimicro Corporation