CN103440669A - 一种基于压缩域融合的Mean shift核窗宽动态更新方法 - Google Patents

一种基于压缩域融合的Mean shift核窗宽动态更新方法 Download PDF

Info

Publication number
CN103440669A
CN103440669A CN2013104098540A CN201310409854A CN103440669A CN 103440669 A CN103440669 A CN 103440669A CN 2013104098540 A CN2013104098540 A CN 2013104098540A CN 201310409854 A CN201310409854 A CN 201310409854A CN 103440669 A CN103440669 A CN 103440669A
Authority
CN
China
Prior art keywords
target
tracked
window width
size
core window
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2013104098540A
Other languages
English (en)
Inventor
田纲
李明
刘欢欢
于欢
何豫航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI EGOO NETWORKS Co Ltd
State Grid Corp of China SGCC
Wuhan University WHU
State Grid Information and Telecommunication Co Ltd
North China Grid Co Ltd
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN2013104098540A priority Critical patent/CN103440669A/zh
Publication of CN103440669A publication Critical patent/CN103440669A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于压缩域融合的Meanshift核窗宽动态更新方法,该方法将压缩域分析与Meanshift跟踪算法相结合,即首先对视频编码过程中产生的运动矢量进行概率统计分析,以获取目标运动的尺寸大小,据此动态更新目标的颜色概率模型及核窗宽大小,使得目标模型更加真实。本发明的技术方案不仅提高了目标尺寸明显变化下的运动跟踪精度,而且提高了运算效率。该方案尤其适用于智能视频监控设备中的视频编码与目标跟踪同时进行的情况。

Description

一种基于压缩域融合的Mean shift核窗宽动态更新方法
技术领域
本发明属于视频智能分析技术领域,特别涉及一种基于压缩域融合的Mean shift核窗宽动态更新方法。 
背景技术
Mean shift算法(均值偏移算法)是一种非参数密度估计算法,由Fukunaga于1975年首先提出。其作为一种高效的模式匹配算法,己被成功地应用于实时性要求较高的目标跟踪系统中。Dorm Comaniciu首先将Mean Shift算法应用于图像滤波、分割与目标跟踪等领域。Bradski提出以颜色直方图为目标模式的Mean shift目标跟踪算法。该算法先利用颜色直方图得到每帧图像的颜色投影图,然后自适应调整搜索窗口的位置和大小,并通过不断收敛将得到的最优中心位置作为目标的中心。 
相比较其他的运动目标跟踪算法,Mean shift算法具有如下特点: 
(1)计算量不大,可以满足实时跟踪的要求; 
(2)对运动目标变形、旋转,背景变化不敏感; 
(3)对于部分遮挡情况下的目标跟踪具有一定的鲁棒性; 
(4)Mean shift作为一个无参数密度估计算法,容易与其他算法进行融合与集成。 
但是,Mean shift算法也存在一些缺陷: 
(1)跟踪过程中核窗宽的大小保持不变,当目标有明显尺度变化时,可能导致跟踪失败; 
(2)颜色直方图是一种比较弱的对目标特征的描述,当有相似颜色干扰(遮挡)时,算法效果欠佳; 
(3)Mean shift算法进行局部搜索,当场景中目标的运动速度很快时,目标区域在相邻两帧间会出现没有重叠的区域的情况,目标此时往往收敛于背景中与目标颜色分布比较相似的物体,而不是场景中的目标,从而跟踪丢失; 
另外,Mean shift算法跟踪效果的提升主要依赖于单一颜色特征描述被跟踪目标的准确性,如果继续延续这一思路,基于颜色特征的Mean shift目标跟踪效果很难有更大的提升空间。 
发明内容
本发明针对Mean shift算法跟踪尺度变化的目标易丢失的问题,提出了基于压缩域融合的Mean shift核窗宽动态更新方法,通过压缩域运动矢量的分析,提取运动目标的尺寸大小,据此动态更新目标的颜色概率模型及核窗宽大小,使得目标模型更加真实,从而提高目标跟踪的准确性。 
本发明所采用的技术方案是:一种基于压缩域融合的Mean shift核窗宽动态更新方法,其特征在于,包括以下步骤: 
步骤1:在首帧图像中采用人机交互方式手动获取待跟踪目标的区域信息,通过在首帧图像上采用矩形框直接标注待跟踪目标的区域,矩形框中心作为待跟踪目标的中心位置,其中心坐标为(x,y),矩形框宽度和长度为(W0,H0),在此基础上建立待跟踪目标颜色概率的目标模型
Figure BDA00003800990800011
步骤2:从第二帧图像开始,在压缩域中根据运动矢量分析提取所述的待跟踪目标在当前帧 中的尺寸(W,H); 
步骤3:待跟踪目标在当前帧中的尺寸(W,H)与待跟踪目标的尺寸(W0,H0)进行比较,判断待跟踪目标的尺寸变化比率是否超过预设阀值K? 
若是,则更新待跟踪目标的核窗宽大小,得到新的跟踪目标核窗宽,然后计算所述的新的跟踪目标核窗宽的颜色概率密度; 
若否,则计算所述的待跟踪目标核窗宽的颜色概率密度; 
步骤5:计算当前候选区域的颜色概率密度;其中所述的候选区域为所述的跟踪目标核窗宽所在帧的以后的每帧中,可能包含跟踪目标的区域; 
步骤6:计算所述的候选区域与跟踪目标核窗宽的相似性系数; 
步骤7:计算Mean Shift向量定位所述的跟踪目标核窗宽中心位置; 
步骤8:判断:所述的跟踪目标核窗宽的颜色概率密度是否收敛? 
如果否,则搜索当前候选区域的后一帧,回转执行所述的步骤5,计算后一帧的候选区域的颜色概率密度; 
如果是,则完成搜索,定位所述的跟踪目标核窗宽的中心位置。 
作为优选,步骤2所述的从第二帧图像开始,在压缩域中根据运动矢量分析提取所述的待跟踪目标在当前帧中的尺寸(W,H),其具体实现包括以下子步骤: 
步骤2.1:对压缩域的运动矢量进行预处理,即直接在编码过程中获取压缩域的运动矢量,并对所述的运动矢量进行噪声滤波处理; 
步骤2.2:对预处理后所得的运动矢量进行稠密化处理,将缺失的运动矢量补上; 
步骤2.3:用区域生长的方法解决所述的待跟踪目标在当前帧中的目标中心出现的中空现象; 
步骤2.4:得到能够很好地反映所述的待跟踪目标在当前帧中的目标运动状况的运动矢量场,通过标定相应的宏块来检测出运动区域,通过计算待跟踪目标在当前帧中的目标的外接矩形来提取出所述的待跟踪目标在当前帧中的尺寸大小。 
作为优选,步骤3所述的待跟踪目标在当前帧中的尺寸(W,H)与待跟踪目标的尺寸(W0,H0)进行比较,判断待跟踪目标的尺寸变化比率是否超过预设阀值K?其判断标准为:如果(W,H)与(W0,H0)的差别大于预设阀值K,则计算待跟踪目标在当前帧中的尺寸与待跟踪目标的尺寸大小的比较值Dsize: 
D size = ( W - W 0 ) 2 + ( H - H 0 ) 2
计算所述的当前帧的前3帧的待跟踪目标的核窗宽在帧间的变化情况,即待跟踪目标的核窗宽在每一帧间的尺寸变化趋势Pn: 
Pn=Sn-Sn-1=(Wn×Hn)-(Wn-1×Hn-1
其中Pn表示待跟踪目标的核窗宽在第n帧图像中的面积Sn与待跟踪目标的核窗宽在第n-1帧图像中的面积的差值Sn-1,如果大于0,则待跟踪目标的核窗宽尺寸在放大,如果小于0, 则待跟踪目标的核窗宽尺寸在缩小。 
作为优选,步骤3所述的更新待跟踪目标的核窗宽大小,得到新的跟踪目标核窗宽,其具体实现包括以下子步骤: 
步骤4.1:判断:若Dsize大于所述的预设阈值k,且所述的待跟踪目标的核窗宽在当前帧的前3帧图像的尺寸变化趋势Pn,Pn-1,Pn-2同时大于0或同时小于0,则进行当前帧的待跟踪目标的核窗宽模板更新; 
步骤4.2:获取待跟踪目标的核窗宽在当前帧中的更新模板的尺寸; 
采用待跟踪目标的核窗宽在当前帧与前一帧图像中的核窗宽尺寸的平均,来获取待跟踪目标的核窗宽在当前帧中更新模板的目标尺寸,更新模板的目标尺寸为: 
宽度:Wnew=(Wn+Wn-1)/2,长度:Hnew=(Hn+Hn-1)/2; 
步骤4.3:生成新的跟踪目标核窗宽模板; 
根据Mean shift算法找到的当前帧的跟踪目标核窗宽的目标中心(x′,y′)作为中心坐标,跟踪目标核窗宽的矩形宽度和长度为(Wnew,Hnew),在此基础上建立新的跟踪目标核窗宽颜色概率的目标模型
Figure BDA00003800990800031
此后视频帧的颜色概率的目标模型更新为
Figure BDA00003800990800032
本发明提出的算法是在压缩域中提取运动目标的尺寸,并结合Mean shift算法进行核窗宽模型的自动更新。这种利用视频编码压缩域分析与Mean shift相结合的跟踪方案,可以减少传统Mean shift算法运动目标的跟踪丢失问题,提高目标跟踪的准确性。 
附图说明
图1:本发明的算法流程图。 
图2:本发明的实施例在目标缩小场景下目标跟踪中心误差对比图。 
图3:本发明的实施例在目标放大场景下目标跟踪中心误差对比图。 
具体实施方式
以下将结合附图和具体实施方式对本发明做进一步的说明。 
根据目前的压缩域检测与跟踪的研究成果可知,在视频压缩域可提取出多种有用的目标特征,同时压缩域提取目标特征的运算复杂度低,可以快速提取。因此选择压缩域特征作为引入的新的特征。通过压缩域运动矢量的分析,提取待跟踪目标的尺寸大小(几何特征),据此动态更新目标的颜色概率模型及核窗宽大小,使得目标模型更加真实,算法有效的提高了目标尺寸变化下的运动跟踪准确度。 
为了便于理解本发明技术,首先介绍Mean shift算法: 
Mean shift算法是一种非参数概率密度估计算法,可以通过迭代快速的收敛于概率密度函数的局部极大值。算法的跟踪过程就是不断寻找概率密度局部最大值的过程,步骤如下: 
(1)目标模型的描述: 
首先是目标的初始化,在首帧图像中确定待跟踪目标的目标区域,可以通过手工选择的方式来确定目标区域,也可以根据运动检测的结果自动选取目标区域。设目标区域的中心为 x0,那么,对目标模型可以描述为在目标区域上的所有特征值的概率值,该特征值一般采用HSV颜色特征或其它特征。目标模型的特征值u=1,…,m,作为颜色特征,m表示颜色特征值区间划分的个数,如m=256表示将颜色区间划分为256个等分,也可以进行更粗的划分,如m=100,则表示将颜色特征值划分为100个等分。估计的概率密度为: 
q ^ u = C Σ i = 1 n K ( | | x 0 - x i h | | 2 ) δ [ b ( x i ) - u ] …(式壹) 
式中,x0是搜索窗(n个像素)的中心像素坐标,xi是第i个像素的坐标;K(||x||2)是核函数,h表示核函数的带宽,一般等于搜索窗口宽度的一半函数。b(xi)函数的作用是判断目标区域中象素xi的颜色值是否属于特征值u;δ(x)是Delta函数,如果b(xi)==u,则δ[b(xi)-u]值为1,否则为0。C是一个标准化的常量系数,使得
Figure BDA00003800990800042
由于目标模型中心附近的象素比外围象素更可靠,因此K(||x||2)对中心的象素给一个大的权值,而远离中心的象素给一个小的权值。 
(2)候选模型的描述: 
运动目标在第二帧及以后的每帧中,可能包含目标的区域称为候选区域,其中心坐标为y,候选模型的特征值u=1,…,m的概率密度为: 
p ^ u ( y ) = C h Σ i = 1 n h K ( | | y - x i h | | 2 ) δ [ b ( x i ) - u ] …(式贰) 
式中,Ch是一个标准化的常量系数,使得所有特征值的概率和为1;nh为候选区域中像素的个数。 
(3)相似性函数: 
相似性函数描述目标模型和候选模型之间的相似程度,使用Bhattacharyya系数作为相似性函数: 
ρ ^ ( y ) ≡ ρ ( p ^ ( y ) , q ^ ) = Σ u = 1 m p ^ u ( y ) q ^ u …(式叁) 
其值在0~1之间,的值越大,表示两个模型越相似。 
(4)目标定位 
为使
Figure BDA00003800990800046
最大,在当前帧的目标中心先定位为前一帧中目标中心的位置y0,从这一点开始寻找最优匹配的目标,其中心为y1。先对函数式叁在
Figure BDA00003800990800047
处进行泰勒展开,相似性函数可近似为: 
ρ ( p ^ ( y ) , q ^ ) = 1 2 Σ u = 1 m p ^ u ( y 0 ) q ^ u + C h 2 Σ i = 1 n h w i k ( | | y - x i h | | 2 ) …(式肆) 
其中
Figure BDA00003800990800052
…(式伍) 
令: f n , k = Σ i = 1 n h C h 2 w i k ( | | y - x i h | | 2 ) …(式陆) 
就是在有权值wi时的核密度估计,通过对相似性函数求最大值,可计算Mean Shift向量y1-y0,在每次的Mean Shift迭代中,若||y1-y0||<ε,ε表示上一次收敛的中心和本次收敛的中心位置偏差的预设阈值,以便提供迭代停止条件。一般情况下,可设定前后两次收敛的位置相同,即ε=1,那么当y1=y0时则停止迭代,目标区域的中心位置都会由y0移动到新的位置y1。 
y 1 - y 0 = &Sigma; i = 1 n h x i w i g ( | | y - x i h | | 2 ) &Sigma; i = 1 n h w i g ( | | y - x i h | | 2 ) - y 0 …(式柒) 
其中:g(x)=-k′(x); 
这样,目标区域由初始位置逐步移动到真实的目标位置。 
本发明提出的算法是在压缩域中提取运动目标的尺寸,并结合Mean shift算法进行核窗宽模型的自动更新。压缩域提取运动目标的尺寸通过以下步骤获取: 
(1)运动矢量去噪: 
运动目标区域的宏块的运动矢量并不全部表示目标的真实运动,只有通过区域性的运动矢量场的统计分析后,在某种程度上才能代表运动目标的整体运动情况。这些与运动目标真实运动不一致的运动矢量属于运动矢量噪声,需要通过滤波器去除。 
根据运动矢量与噪声运动矢量的特点,考虑到有效运动矢量具有一定的一致性特点,可采用八邻域判决法对宏块的运动矢量进行一致性判断来去除运动矢量场的噪声。该方法主要思想是对帧中任意具有非零运动矢量的宏块,判断其周围八个宏块的运动矢量与其的相似性,即判断宏块之间运动矢量的幅值A和角度α之差的大小,若超出一定的范围,则认为中心宏块的运动矢量与周围宏块的运动矢量不一致,属于运动矢量场噪声。 
(2)运动矢量稠密化: 
进行去噪后,目标区域中的大部分宏块都有运动矢量,且大多数相似,但是在目标区域中仍然有部分宏块没有运动矢量,这部分宏块在编码后可能没有运动矢量,为了不丢失这些运动目标的宏块,需要对运动矢量进行稠密化处理,将这些缺失的运动矢量补上。可以利用前一帧检测的结果来稠密运动矢量场,即如果当前帧宏块运动矢量为(0,0),则检查前一帧相同位置的运动矢量如果属于检测目标内宏块,则当前帧当前宏块的运动矢量等于前一帧相 应位置宏块的运动矢量值,如果前一帧相同位置的运动矢量不属于检测目标内宏块,则当前帧当前宏块的运动矢量等于(0,0)。 
(3)区域生长: 
经过以上方法进行处理后,理论上运动目标的区域通过宏块最小单元被标定出来了,但是由于运动目标中心的一些宏块没有运动矢量,导致运动目标的中心有时会出现中空现象,用区域生长的方法可以解决这个问题。采用目标区域中的宏块与周边宏块的相似性进行判断,如果相似性条件满足预先设定的阈值,则认为该宏块属于目标区域,并合并到该区域中。这样区域不断生长扩大,直到所有满足条件的宏块被合并为止。 
(4)提取运动目标尺寸: 
经过运动目标的去噪、稠密、区域生长处理后,可以得到能够很好地反映运动目标运动状况的运动矢量场,此时可以通过标定相应的宏块来检测出运动区域。通过计算外接矩形来提取出图像运动目标的尺寸的估计值。 
请见图1,本发明所采用的技术方案是:一种基于压缩域融合的Mean shift核窗宽动态更新方法,包括以下步骤: 
步骤1:在首帧图像中采用人机交互方式手动获取待跟踪目标的区域信息,通过在首帧图像上采用矩形框直接标注待跟踪目标的区域,矩形框中心作为待跟踪目标的中心位置,其中心坐标为(x,y),矩形框宽度和长度为(W0,H0),在此基础上建立待跟踪目标颜色概率的目标模型
Figure BDA00003800990800061
步骤2:从第二帧图像开始,在压缩域中根据运动矢量分析提取所述的待跟踪目标在当前帧中的尺寸(W,H);,其具体实现包括以下子步骤: 
步骤2.1:对压缩域的运动矢量进行预处理,即直接在编码过程中获取压缩域的运动矢量,并对所述的运动矢量进行噪声滤波处理; 
步骤2.2:对预处理后所得的运动矢量进行稠密化处理,将缺失的运动矢量补上; 
步骤2.3:用区域生长的方法解决所述的待跟踪目标在当前帧中的目标中心出现的中空现象; 
步骤2.4:得到能够很好地反映所述的待跟踪目标在当前帧中的目标运动状况的运动矢量场,通过标定相应的宏块来检测出运动区域,通过计算待跟踪目标在当前帧中的目标的外接矩形来提取出所述的待跟踪目标在当前帧中的尺寸大小。 
步骤3:待跟踪目标在当前帧中的尺寸(W,H)与待跟踪目标的尺寸(W0,H0)进行比较,判断待跟踪目标的尺寸变化比率是否超过预设阀值K? 
若是,则更新待跟踪目标的核窗宽大小,得到新的跟踪目标核窗宽,然后计算所述的新的跟踪目标核窗宽的颜色概率密度; 
若否,则计算所述的待跟踪目标核窗宽的颜色概率密度; 
其中,所述的待跟踪目标在当前帧中的尺寸(W,H)与待跟踪目标的尺寸(W0,H0)进行比较,判断待跟踪目标的尺寸变化比率是否超过预设阀值K?其判断标准为: 
如果(W,H)与(W0,H0)的差别大于预设阀值K,则计算待跟踪目标在当前帧中的尺寸与待跟踪目标的尺寸大小的比较值Dsize: 
D size = ( W - W 0 ) 2 + ( H - H 0 ) 2
计算所述的当前帧的前3帧的待跟踪目标的核窗宽在帧间的变化情况,即待跟踪目标的核窗宽在每一帧间的尺寸变化趋势Pn: 
Pn=Sn-Sn-1=(Wn×Hn)-(Wn-1×Hn-1
其中Pn表示待跟踪目标的核窗宽在第n帧图像中的面积Sn与待跟踪目标的核窗宽在第n-1帧图像中的面积的差值Sn-1,如果大于0,则待跟踪目标的核窗宽尺寸在放大,如果小于0,则待跟踪目标的核窗宽尺寸在缩小; 
其中,所述的更新待跟踪目标的核窗宽大小,得到新的跟踪目标核窗宽,其具体实现包括以下子步骤: 
步骤4.1:判断:若Dsize大于所述的预设阈值k,且所述的待跟踪目标的核窗宽在当前帧的前3帧图像的尺寸变化趋势Pn,Pn-1,Pn-2同时大于0或同时小于0,即满足: 
则进行当前帧的待跟踪目标的核窗宽模板更新; 
步骤4.2:获取待跟踪目标的核窗宽在当前帧中的更新模板的尺寸; 
采用待跟踪目标的核窗宽在当前帧与前一帧图像中的核窗宽尺寸的平均,来获取待跟踪目标的核窗宽在当前帧中更新模板的目标尺寸,更新模板的目标尺寸为: 
宽度:Wnew=(Wn+Wn-1)/2,长度:Hnew=(Hn+Hn-1)/2; 
步骤4.3:生成新的跟踪目标核窗宽模板; 
根据Mean shift算法找到的当前帧的跟踪目标核窗宽的目标中心(x′,y′)作为中心坐标,跟踪目标核窗宽的矩形宽度和长度为(Wnew,Hnew),在此基础上建立新的跟踪目标核窗宽颜色概率的目标模型
Figure BDA00003800990800073
此后视频帧的颜色概率的目标模型更新为
Figure BDA00003800990800074
步骤5:计算当前候选区域的颜色概率密度;其中所述的候选区域为所述的跟踪目标核窗宽所在帧的以后的每帧中,可能包含跟踪目标的区域。 
步骤6:计算所述的候选区域与跟踪目标核窗宽的相似性系数。 
步骤7:计算Mean Shift向量定位所述的跟踪目标核窗宽中心位置。 
步骤8:判断:所述的跟踪目标核窗宽的颜色概率密度是否收敛? 
如果否,则搜索当前候选区域的后一帧,回转执行所述的步骤5,计算后一帧的候选区域的颜色概率密度; 
如果是,则完成搜索,定位所述的跟踪目标核窗宽的中心位置。 
为了验证本发明的技术效果,本发明进行了相关实验。 
实验原理:本实验针对核窗宽更新的测试方法是测量进行本算法的核窗宽动态更新后跟踪结果中心坐标的准确性,取中心坐标偏离实质目标中心的距离作为准确性的评判,假设真实目标中心坐标为(x0,y0),跟踪算法获取的目标中心为(x,y),则距离计算公式如下: 
DIS = ( x - x 0 ) 2 + ( y - y 0 ) 2
实验方法:本实验设计了图像中目标尺寸放大和目标尺寸缩小两种视频场景下的跟踪精确度测试。具体的实验方法是:首先搭建测试环境,在同一组视频测试序列中选择待跟踪目标,并确定统一大小的跟踪窗口,然后规定采用HSV颜色空间作为Mean shift算法的颜色特征模型,再然后分别采用固定核窗宽Mean shift算法、增量试探法(±10%增量)、本文算法三种算法对场景中目标进行跟踪,最后根据公式计算中心误差距离DIS值,记录计算结果并输出DIS值对比图,同时输出核窗宽大小与实际尺寸差别对比图。 
实验结果:请见图2,为本发明的实施例在目标缩小场景下目标跟踪中心误差对比图;请见图3,为本发明的实施例在目标放大场景下目标跟踪中心误差对比图。实验证明,本发明算法具有对目标尺寸明显变化场景下的跟踪具有良好特性;通过对固定带宽Mean shift跟踪算法和增量试探法的实验结果比较可以看出,固定带宽Mean shift跟踪算法和增量试探法方法存在尺度和空间定位不准确的缺陷,固定带宽Mean shift跟踪算法在目标缩小情况下容易导致运动跟踪丢失,在目标放大情况下,只能收缩到目标的局部区域,且搜索窗口与目标实际尺寸相差变大,跟踪在尺寸定位上不准确。增量试探法(±10%增量)虽然可以弥补跟踪丢失的问题,但是由于选定的核窗宽不是很准确,导致跟踪窗口与实际尺寸偏差较大。本算法相比前面两种算法,提高了整体的跟踪精确度,与增量试探法(±10%增量)相比提高了8%以上,并且在核窗宽的更新上更加准确,跟踪窗口与实际尺寸偏差较小,与增量试探法(±10%增量)相比偏差减少了2%左右。 
本说明书没有详细阐述的部分均为现有技术,故不在此累述。 
以上仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围,因此,凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。 

Claims (4)

1.一种基于压缩域融合的Mean shift核窗宽动态更新方法,其特征在于,包括以下步骤:
步骤1:在首帧图像中采用人机交互方式手动获取待跟踪目标的区域信息,通过在首帧图像上采用矩形框直接标注待跟踪目标的区域,矩形框中心作为待跟踪目标的中心位置,其中心坐标为(x,y),矩形框宽度和长度为(W0,H0),在此基础上建立待跟踪目标颜色概率的目标模型
Figure FDA00003800990700011
步骤2:从第二帧图像开始,在压缩域中根据运动矢量分析提取所述的待跟踪目标在当前帧中的尺寸(W,H);
步骤3:待跟踪目标在当前帧中的尺寸(W,H)与待跟踪目标的尺寸(W0,H0)进行比较,判断待跟踪目标的尺寸变化比率是否超过预设阀值K?
若是,则更新待跟踪目标的核窗宽大小,得到新的跟踪目标核窗宽,然后计算所述的新的跟踪目标核窗宽的颜色概率密度;
若否,则计算所述的待跟踪目标核窗宽的颜色概率密度;
步骤5:计算当前候选区域的颜色概率密度;其中所述的候选区域为所述的跟踪目标核窗宽所在帧的以后的每帧中,可能包含跟踪目标的区域;
步骤6:计算所述的候选区域与跟踪目标核窗宽的相似性系数;
步骤7:计算Mean Shift向量定位所述的跟踪目标核窗宽中心位置;
步骤8:判断:所述的跟踪目标核窗宽的颜色概率密度是否收敛?
如果否,则搜索当前候选区域的后一帧,回转执行所述的步骤5,计算后一帧的候选区域的颜色概率密度;
如果是,则完成搜索,定位所述的跟踪目标核窗宽的中心位置。
2.根据权利要求1所述的基于压缩域融合的Mean shift核窗宽动态更新方法,其特征在于:步骤2所述的从第二帧图像开始,在压缩域中根据运动矢量分析提取所述的待跟踪目标在当前帧中的尺寸(W,H),其具体实现包括以下子步骤:
步骤2.1:对压缩域的运动矢量进行预处理,即直接在编码过程中获取压缩域的运动矢量,并对所述的运动矢量进行噪声滤波处理;
步骤2.2:对预处理后所得的运动矢量进行稠密化处理,将缺失的运动矢量补上;
步骤2.3:用区域生长的方法解决所述的待跟踪目标在当前帧中的目标中心出现的中空现象;步骤2.4:得到能够很好地反映所述的待跟踪目标在当前帧中的目标运动状况的运动矢量场,通过标定相应的宏块来检测出运动区域,通过计算待跟踪目标在当前帧中的目标的外接矩形来提取出所述的待跟踪目标在当前帧中的尺寸大小。
3.根据权利要求1所述的基于压缩域融合的Mean shift核窗宽动态更新方法,其特征在于:步骤3所述的待跟踪目标在当前帧中的尺寸(W,H)与待跟踪目标的尺寸(W0,H0)进行比较,判断待跟踪目标的尺寸变化比率是否超过预设阀值K?其判断标准为:
如果(W,H)与(W0,H0)的差别大于预设阀值K,则计算待跟踪目标在当前帧中的尺寸与待跟踪目标的尺寸大小的比较值Dsize
D size = ( W - W 0 ) 2 + ( H - H 0 ) 2
计算所述的当前帧的前3帧的待跟踪目标的核窗宽在帧间的变化情况,即待跟踪目标的核窗宽在每一帧间的尺寸变化趋势Pn
Pn=Sn-Sn-1=(Wn×Hn)-(Wn-1×Hn-1)
其中Pn表示待跟踪目标的核窗宽在第n帧图像中的面积Sn与待跟踪目标的核窗宽在第n-1帧图像中的面积的差值Sn-1,如果大于0,则待跟踪目标的核窗宽尺寸在放大,如果小于0,则待跟踪目标的核窗宽尺寸在缩小。
4.根据权利要求3所述的基于压缩域融合的Mean shift核窗宽动态更新方法,其特征在于:步骤3所述的更新待跟踪目标的核窗宽大小,得到新的跟踪目标核窗宽,其具体实现包括以下子步骤:
步骤4.1:判断:若Dsize大于所述的预设阈值k,且所述的待跟踪目标的核窗宽在当前帧的前3帧图像的尺寸变化趋势Pn,Pn-1,Pn-2同时大于0或同时小于0,则进行当前帧的待跟踪目标的核窗宽模板更新;
步骤4.2:获取待跟踪目标的核窗宽在当前帧中的更新模板的尺寸;
采用待跟踪目标的核窗宽在当前帧与前一帧图像中的核窗宽尺寸的平均,来获取待跟踪目标的核窗宽在当前帧中更新模板的目标尺寸,更新模板的目标尺寸为:
宽度:Wnew=(Wn+Wn-1)/2,长度:Hnew=(Hn+Hn-1)/2;
步骤4.3:生成新的跟踪目标核窗宽模板;
根据Mean shift算法找到的当前帧的跟踪目标核窗宽的目标中心(x′,y′)作为中心坐标,跟踪目标核窗宽的矩形宽度和长度为(Wnew,Hnew),在此基础上建立新的跟踪目标核窗宽颜色概率的目标模型
Figure FDA00003800990700022
此后视频帧的颜色概率的目标模型更新为
Figure FDA00003800990700023
CN2013104098540A 2013-09-10 2013-09-10 一种基于压缩域融合的Mean shift核窗宽动态更新方法 Pending CN103440669A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2013104098540A CN103440669A (zh) 2013-09-10 2013-09-10 一种基于压缩域融合的Mean shift核窗宽动态更新方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2013104098540A CN103440669A (zh) 2013-09-10 2013-09-10 一种基于压缩域融合的Mean shift核窗宽动态更新方法

Publications (1)

Publication Number Publication Date
CN103440669A true CN103440669A (zh) 2013-12-11

Family

ID=49694362

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2013104098540A Pending CN103440669A (zh) 2013-09-10 2013-09-10 一种基于压缩域融合的Mean shift核窗宽动态更新方法

Country Status (1)

Country Link
CN (1) CN103440669A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104680553A (zh) * 2014-11-26 2015-06-03 沈阳工业大学 基于双边滤波的可变核函数目标跟踪方法
CN105184822A (zh) * 2015-09-29 2015-12-23 中国兵器工业计算机应用技术研究所 一种目标跟踪模板更新方法
CN106909934A (zh) * 2017-01-19 2017-06-30 博康智能信息技术有限公司上海分公司 一种基于自适应搜索的目标跟踪方法及装置
CN106909935A (zh) * 2017-01-19 2017-06-30 博康智能信息技术有限公司上海分公司 一种目标跟踪方法及装置
CN108024113A (zh) * 2017-12-15 2018-05-11 东华大学 一种目标占比自适应的压缩域小目标跟踪方法
CN108200432A (zh) * 2018-02-03 2018-06-22 王灏 一种基于视频压缩域的目标跟踪技术
CN111046767A (zh) * 2019-12-04 2020-04-21 武汉大学 一种基于单目图像的3d目标检测方法
CN111479062A (zh) * 2020-04-15 2020-07-31 上海摩象网络科技有限公司 目标对象的跟踪框显示方法、设备及手持相机

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100166260A1 (en) * 2008-12-25 2010-07-01 Ching-Chun Huang Method for automatic detection and tracking of multiple targets with multiple cameras and system therefor
CN101867798A (zh) * 2010-05-18 2010-10-20 武汉大学 基于压缩域分析的Mean shift运动目标跟踪方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100166260A1 (en) * 2008-12-25 2010-07-01 Ching-Chun Huang Method for automatic detection and tracking of multiple targets with multiple cameras and system therefor
CN101867798A (zh) * 2010-05-18 2010-10-20 武汉大学 基于压缩域分析的Mean shift运动目标跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
田纲 等: "一种基于运动矢量分析的Mean shift目标跟踪算法", 《中国图象图形学报》, vol. 15, no. 1, 31 January 2010 (2010-01-31), pages 85 - 90 *
田纲: "基于多特征融合的Mean shift目标跟踪技术研究", 《中国博士学位论文全文数据库(信息科技辑)》, no. 7, 15 July 2012 (2012-07-15), pages 138 - 105 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104680553A (zh) * 2014-11-26 2015-06-03 沈阳工业大学 基于双边滤波的可变核函数目标跟踪方法
CN104680553B (zh) * 2014-11-26 2019-08-02 沈阳工业大学 基于双边滤波的可变核函数目标跟踪方法
CN105184822A (zh) * 2015-09-29 2015-12-23 中国兵器工业计算机应用技术研究所 一种目标跟踪模板更新方法
CN105184822B (zh) * 2015-09-29 2017-12-29 中国兵器工业计算机应用技术研究所 一种目标跟踪模板更新方法
CN106909934A (zh) * 2017-01-19 2017-06-30 博康智能信息技术有限公司上海分公司 一种基于自适应搜索的目标跟踪方法及装置
CN106909935A (zh) * 2017-01-19 2017-06-30 博康智能信息技术有限公司上海分公司 一种目标跟踪方法及装置
CN108024113B (zh) * 2017-12-15 2021-05-11 东华大学 一种目标占比自适应的压缩域小目标跟踪方法
CN108024113A (zh) * 2017-12-15 2018-05-11 东华大学 一种目标占比自适应的压缩域小目标跟踪方法
CN108200432A (zh) * 2018-02-03 2018-06-22 王灏 一种基于视频压缩域的目标跟踪技术
CN111046767A (zh) * 2019-12-04 2020-04-21 武汉大学 一种基于单目图像的3d目标检测方法
CN111046767B (zh) * 2019-12-04 2022-06-07 武汉大学 一种基于单目图像的3d目标检测方法
CN111479062A (zh) * 2020-04-15 2020-07-31 上海摩象网络科技有限公司 目标对象的跟踪框显示方法、设备及手持相机
CN111479062B (zh) * 2020-04-15 2021-09-28 上海摩象网络科技有限公司 目标对象的跟踪框显示方法、设备及手持相机

Similar Documents

Publication Publication Date Title
CN103440669A (zh) 一种基于压缩域融合的Mean shift核窗宽动态更新方法
CN102222346B (zh) 一种车辆检测和跟踪方法
CN110517288B (zh) 基于全景多路4k视频图像的实时目标检测跟踪方法
CN103489199B (zh) 视频图像目标跟踪处理方法和系统
CN101324956A (zh) 基于均值漂移的抗遮挡运动目标跟踪方法
CN103106667B (zh) 一种面向遮挡和场景变换的运动对象追踪方法
CN102903119B (zh) 一种目标跟踪方法和装置
CN103871076A (zh) 基于光流法和超像素分割的运动目标提取方法
CN104200485A (zh) 一种面向视频监控的人体跟踪方法
CN103077539A (zh) 一种复杂背景及遮挡条件下的运动目标跟踪方法
CN103164858A (zh) 基于超像素和图模型的粘连人群分割与跟踪方法
CN104820996A (zh) 一种基于视频的自适应分块的目标跟踪方法
CN108876820B (zh) 一种基于均值漂移的遮挡条件下移动目标追踪方法
CN101996410A (zh) 动态背景下的运动目标检测方法及系统
CN101957997A (zh) 一种动态场景中基于区域均值核密度估计的运动目标检测方法
CN103514608B (zh) 基于运动注意力融合模型的运动目标检测与提取方法
CN105374049B (zh) 一种基于稀疏光流法的多角点跟踪方法及装置
CN107315095A (zh) 基于视频处理的具有光照适应性的多车辆自动测速方法
Lian et al. A novel method on moving-objects detection based on background subtraction and three frames differencing
CN104168444B (zh) 一种跟踪球机的目标跟踪方法及跟踪球机
CN104680553A (zh) 基于双边滤波的可变核函数目标跟踪方法
CN104200492A (zh) 基于轨迹约束的航拍视频目标自动检测跟踪方法
CN103077532A (zh) 一种实时视频目标快速跟踪方法
CN105354863A (zh) 基于特征滤波和快速运动检测模板预测的自适应尺度图像序列目标跟踪方法
CN105869109A (zh) 基于不同高度逆投影面的停车和抛落物区分方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: STATE GRID INFORMATION + TELECOMMUNICATION BRANCH

Effective date: 20140212

Owner name: STATE GRID CORPORATION OF CHINA

Free format text: FORMER OWNER: WUHAN UNIVERSITY

Effective date: 20140212

CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Shen Liang

Inventor after: Gao Chao

Inventor after: Xu Cuan

Inventor after: Li Fan

Inventor after: Tian Gang

Inventor after: Li Ming

Inventor after: Liu Huanhuan

Inventor after: Yu Huan

Inventor after: He Yuhang

Inventor after: Yang Hong

Inventor after: Xiong Fei

Inventor after: Zhao Ziyan

Inventor after: Zhao Lixin

Inventor after: Zhang Wei

Inventor after: Cai Libo

Inventor after: Wang Hongbing

Inventor after: Yue Xin

Inventor before: Tian Gang

Inventor before: Li Ming

Inventor before: Liu Huanhuan

Inventor before: Yu Huan

Inventor before: He Yuhang

COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: 430072 WUHAN, HUBEI PROVINCE TO: 100031 XICHENG, BEIJING

Free format text: CORRECT: INVENTOR; FROM: HUANG BO ZHOU ZHENGXIAN LI DAPENG LIU NANJIE ZHAO LU TO: ZHAO HAITAO HUANG BO LI DAPENG CHEN POSHAN YANG KAIMING CHEN MEI LI SENMAN CHEN BAOSHAN YANG QIMING CHEN MEI LI QIANWEN ZHOU ZHENGXIAN LIU LIANG ZHOU ZHENGXIAN LI DAPENG LIU NANJIE ZHAO LU

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20140212

Address after: 100031 Xicheng District West Chang'an Avenue, No. 86, Beijing

Applicant after: State Grid Corporation of China

Applicant after: STATE GRID INFORMATION & TELECOMMUNICATION BRANCH

Applicant after: North China Branch of State Grid Corporation

Applicant after: Shanghai Egoo Networks Co., Ltd.

Applicant after: Wuhan University

Address before: 430072 Hubei Province, Wuhan city Wuchang District of Wuhan University Luojiashan

Applicant before: Wuhan University

C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20131211