CN103955950B - 一种利用关键点特征匹配的图像跟踪方法 - Google Patents

一种利用关键点特征匹配的图像跟踪方法 Download PDF

Info

Publication number
CN103955950B
CN103955950B CN201410160273.2A CN201410160273A CN103955950B CN 103955950 B CN103955950 B CN 103955950B CN 201410160273 A CN201410160273 A CN 201410160273A CN 103955950 B CN103955950 B CN 103955950B
Authority
CN
China
Prior art keywords
point
key point
vector
dimension
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410160273.2A
Other languages
English (en)
Other versions
CN103955950A (zh
Inventor
蒋寓文
王守觉
李卫军
谭乐怡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongke Shangyi Health Technology Beijing Co ltd
Original Assignee
Institute of Semiconductors of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Semiconductors of CAS filed Critical Institute of Semiconductors of CAS
Priority to CN201410160273.2A priority Critical patent/CN103955950B/zh
Publication of CN103955950A publication Critical patent/CN103955950A/zh
Application granted granted Critical
Publication of CN103955950B publication Critical patent/CN103955950B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明提供了一种利用关键点特征匹配的图像跟踪方法。该图像跟踪方法中定义了比传统的颜色或纹理特征包含了更多信息量的高维联合向量,依照该高维联合向量对目标进行追踪,对物体的表达更为准确全面,从而跟踪精度更高,鲁棒性更强。

Description

一种利用关键点特征匹配的图像跟踪方法
技术领域
本发明涉及图像识别技术领域,尤其涉及一种利用关键点特征匹配的图像跟踪方法。
背景技术
图像跟踪主要是通过图像处理技术在图像中搜索运动目标的位置,通过对目标的检测定位而实现跟踪的技术,在实际中有着非常广泛的应用前景,包括安全监控、军事应用、医疗诊断、智能导航、人机交互等。
典型的视频跟踪技术主要有基于轮廓的算法、基于特征的算法、基于区域统计的算法和基于模型匹配的算法。前应用最为广泛的是利用加权颜色直方图作为搜索特征的Mean-shift算法,这是一种基于区域统计的算法,具有计算简便、实时性强的优点。但是颜色直方图对光照变化、噪声都很敏感,并且当背景中存在颜色比较相似的物体时,容易出现跟踪错误而导致算法失效。
对此,部分学者提出用Kalman滤波、粒子滤波等与Mean-shift进行融合,通过预测目标位置来提高鲁棒性。但是额外的滤波步骤增加了大量的采样和计算,同时面临着样本退化的缺陷,而且这些方法使用单一的颜色信息,并不能很好地解决相似颜色的干扰问题。
相比颜色特征,纹理特征不依赖于物体的色彩和亮度,对光照变化和噪声的鲁棒性更强。如将其应用到视频跟踪中,则需要比使用颜色信息多一个步骤:生成合适的纹理描述子。以往的Gabor小波模型、灰度共生矩阵等纹理模型都因太过复杂而无法满足图像跟踪的实时性要求。局部二值模式(Local Binary Patterns,简称LBP)具有旋转不变性、尺度不变性等优点,很容易融入直方图框架,在现今的图像跟踪领域经常与颜色信息相结合。
然而,现有技术图像跟踪方法中,LBP描述子的缺点在于经常会产生过长的统计直方图,增加计算复杂度。如果对其降维,虽能减少LBP模式的种类,相应地减少直方图区间数,但这种处理方式会牺牲LBP算子的精确度。此外,LBP模式对平滑区域的表征也欠佳。
发明内容
(一)要解决的技术问题
鉴于上述技术问题,本发明提供了一种利用关键点特征匹配的图像跟踪方法,以提供一种跟踪精度更高,鲁棒性更强的图像跟踪方法。
(二)技术方案
本发明利用关键点特征匹配的图像跟踪方法包括:步骤A,接收用户在首帧图像中输入的初始目标区域,将首帧图像作为当前帧图像,将初始目标区域作为目标区域;步骤B,在当前帧图像G(0)的目标区域内随机选取N个像素点作为关键点,N个关键点组成原始关键点集I1;步骤C,对于当前帧图像G(0)目标区域内N个关键点中的每一个关键点,提取其纹理特征和颜色特征,并依照该纹理特征和颜色特征建立关于该关键点的高维联合向量;步骤D,对当前帧图像G(0)进行多尺度处理,得到关于其的j个尺度图像G(1),G(2),...,G(j),求取N个关键点在该j个尺度图像G(1),G(2),...,G(j)对应点的高维联合向量;步骤E,对后续帧图像G′(0)进行多尺度处理,得到关于其的j个尺度图像G′(1),G′(2),...,G′(j);步骤F,搜索当前帧图像N个关键点在后续帧图像G′(0)中对应匹配点,搜索的依据为该关键点的高维联合向量与匹配点的高维联合向量之间的欧氏距离之和ρ由小到大的顺序,对于每一关键点,匹配点包括一最近邻匹配点及若干个近邻匹配点,N个关键点分别的最近邻匹配点构成目标点集I2;步骤G,对于N个关键点中的每一个关键点,验证其与匹配点的匹配结果的有效性,只要有一个匹配结果有效,则在关键点集i1中保留该关键点,在目标点集I2中保留匹配点;否则,将该关键点从关键点集I1删除,将匹配点从目标点集I2中删除;步骤H,判断关键点集I1中剩下的有效点数在N是否高于特定比例,如果是,执行I;否则将后续帧的下一帧作为后续帧,执行步骤E;以及步骤I,根据目标点集I2的剩余点的空间分布在后续帧图像中确定新目标区域,将后续帧作为当前帧,重新执行步骤B。
(三)有益效果
从上述技术方案可以看出,本发明一种利用关键点特征匹配的图像跟踪方法具有以下有益效果:
(1)定义了比传统的颜色或纹理特征包含了更多信息量的局部特征,对物体的表达更为准确全面,在目标微小、相似物体干扰等情况下跟踪结果更为稳定,对噪声、光照变化等的鲁棒性更强;
(2)在搜索目标区域的步骤中,采用点匹配的方式进行定位,避免了同类特征的直方图运算,能更好地适应目标的尺度变化;
(3)在对跟踪结果进行验证的步骤中,以方差分析模型滤除无效点,不需要预先提取稳定关键点,也不需要在匹配后使用聚类处理,对比传统的点匹配算法,步骤更为简化,适合实现并行计算以提高速率。
附图说明
图1为根据本发明实施例利用关键点特征匹配的图像跟踪方法的流程图;
图2为图1所示图像跟踪方法中实际应用的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。需要说明的是,在附图或说明书描述中,相似或相同的部分都使用相同的图号。附图中未绘示或描述的实现方式,为所属技术领域中普通技术人员所知的形式。另外,虽然本文可提供包含特定值的参数的示范,但应了解,参数无需确切等于相应的值,而是可在可接受的误差容限或设计约束内近似于相应的值。实施例中提到的方向用语,例如“上”、“下”、“前”、“后”、“左”、“右”等,仅是参考附图的方向。因此,使用的方向用语是用来说明并非用来限制本发明的保护范围。
本发明定义了一种能更有效地描述图像中每个点的局部特征,并提出与该特征相对应的点对点匹配跟踪方法。
在本发明的一个示例性实施例中,提供了一种利用关键点特征匹配的图像跟踪方法。图1为根据本发明实施例利用关键点特征匹配的图像跟踪方法的流程图。图2为图1所示图像跟踪方法中实际应用的示意图。请参照图1和图2,本实施例利用关键点特征匹配的图像跟踪方法包括:
预处理步骤P0,对视频中首帧图像及后续帧图像均做大小归一化处理;
归一化处理帧图像是为了缩小图片体积,减少计算量,提高处理效率。经测试约400px×225px的图像大小便可以保留本跟踪算法所需的有效信息。本实施例中,将预设的帧图像归一化至400px×225px。
步骤A,接收用户在首帧图像中输入的初始目标区域,将首帧图像作为当前帧图像,将初始目标区域作为目标区域;
步骤B,在当前帧图像G(0)的目标区域内随机选取N个像素点作为关键点,N个关键点组成原始关键点集I1,如图2中a部分所示;
关键点的选取尽可能覆盖到目标区域内的各个部分,因此选点方式为使用随机函数rand(),或10×10网格均匀取点,最终结果不会产生明显的区别。此外,N的取值一般为100至200,本实施例中,N=100。
如果目标区域包含的像素点总数多于100个,则选取关键点的数量不少于100个,否则选取目标区域范围内所有的点作为关键点。
步骤C,对于当前帧图像G(0)目标区域内N个关键点中的每一个关键点,提取其纹理特征和颜色特征,并依照该纹理特征和颜色特征建立关于该关键点的高维联合向量;
其中,对于每一个关键点,建立关于该关键点的高维联合向量的步骤具体包括:
子步骤C1,以当前关键点为中心,取一个5×5像素的邻域;
本发明中,上述邻域的取值根据需要而定。一般来说,应当取t×t像素的邻域,其中t取奇数,且3≤t≤9,本实施例中,t5。
子步骤C2,对于邻域内的每一个像素(包括边界上的点),生成k维的Smin向量,其中k为外延方向的个数;
对于某一像素而言,生成其对应k维的Smin向量的步骤如下:
子分步骤C2a,以该像素为中心,每隔角度向外延伸出一个方向,顺时针依次编号1至k,沿每个方向自中心点向外等间距取M个采样点,间距优选为1像素,定义符号代表着选定常数k的、第n个方向上的第m个采样点的灰度,其中,l≤n≤k,灰度通过该采样点的RGB值计算得到,对于不在网格上的采样点采用双线性插值获得其灰度值。
其中,k的取值介于4~12之间;M的取值介于2~10之间。
子分步骤C2b,采用距离加权求和的方式带权累加每一个方向上所有采样点以及该像素的灰度值,在每一方向上得到一纹理信息其中,距离该像素越近的采样点其所占的权重越大,n=1,2,……,k;
本子分步骤中,离中心越近的采样点,其参数在特征描述过程中更有效,因而采用距离加权,使越靠近中心的像素点信息贡献越大,求其总和
P k n = Σ m = 1 M ( const - m ) P m , k n , const > m - - - ( 1 )
式中,常数const决定了距离对权重的影响力大小,本实施例中,const=2M。本发明中M≤const≤3M。
子分步骤C2c,由当前像素的k个纹理信息得到对应当前像素的k维向量S;
实现本子分步骤B2c的具体方法如下:将当前像素的k个纹理信息由小到大进行排序,对应的序号记为Sn,按照的排列顺序用Sn对其进行编码,构成一个k维向量S:
S=(S1,S2,...,Sk) (2)
需要说明的是,本子分步骤C2c中,按k个的值由小到大进行排序的过程中,设定阈值th,如果两纹理信息之差小于该阈值th,将将两者对应的序号设为相同,即:
S i = S j , if | P k i - P k j | ≤ th - - - ( 3 )
其中0<i≤n,0<j≤n,为k个的中的任意两个,Si和Sj为它们对应的序号。th的存在使得该特征对噪声有一定容差。在这样的定义下,最小的Sn值为1,最大的可能取值为k。
子分步骤C2d,将k维向量S按位循环右移k次,得到k个k维向量;
子步骤C2e,计算k个k维向量分别对应的Ssum值,当前k维向量的Ssum值按照下式计算:
S sum = &Sigma; n = 1 k S n &CenterDot; k n - - - ( 4 )
其中,Sn为当前k维向量的第n个元素。该计算Ssum的过程就是看作是k进制数的一位,并赋予二项式系数kn,使k维向量S成为一个k进制数Ssum
子步骤C2f,,将最小的Ssum值所对应的特征向量Smin作为描述当前像素的向量;
例如S=(4,1,6,3,5,2),则对应的Smin=(1,6,3,5,2,4)。
子步骤C2g,将灰度值0~255量化至8个区间,分别对应1-8的8个数值,将当前像素灰度值所在区间对应的数值乘以Smin中的每一个元素。
其中,灰度值区间的个数l可以根据需要进行调整,一般情况下,5≤l≤20。
子步骤C3,将25个像素分别对应的k维的Smin向量顺序排列,组成总维数为25k的高维联合向量,由该高维联合向量共同描述当前关键点的特征。
通过上述步骤生成的高维联合向量比起单个的向量能够进一步增强匹配的稳定性,体现了更好的容错能力。
步骤D,对当前帧图像G(0)进行多尺度处理,得到关于其的j个尺度图像G(1),G(2),...,G(j),求取N个关键点在该j个尺度图像G(1),G(2),...,G(j)对应点的高维联合向量;
该多尺度处理步骤:
子步骤D1,以高斯函数平滑当前帧图像;
本子步骤是使用高斯核函数对当前帧图像执行高斯卷积,从而实现平滑图像的目的,其中,所使用的高斯核函数为:
g ( x , y ; t ) = 1 2 &pi;t e - ( x 2 + y 2 ) / 2 t , t &GreaterEqual; 0 - - - ( 5 )
其中,x,y表示像素点的横纵坐标,t表示尺度大小。
子步骤D2,对高斯平滑后的当前帧图像进行降采样,得到若干个尺度图像,记原始的当前帧图像为G(0),G(0)的尺度图像为G(1),G(2),...,G(j)。
设当前帧图像G(0)中的关键点之一为R0,其在G(0)中的坐标为(Rx,Ry),在当前帧图像的第i个尺度图像G(i)中,R0的对应点为Ri。根据定义易知Ri在第i幅尺度图像G(i)中的坐标为其中,i=1、2,……,j。例如,在第一个尺度图像G(1)中,R0的对应点为R1,R1坐标为
一般情况下,j≤5,为计算简便起见,尺度图像的数目可以为1个或2个,即j=1或2。
本步骤中,求取对应点的高维联合向量的步骤与步骤B相同,此处不再详细说明。
步骤E,对后续帧图像G′(0)进行多尺度处理,得到关于其的j个尺度图像G′(1),G′(2),...,G′(j);
后续帧图像的多尺度处理步骤与当前帧图像相同,此处不再重述。
设后续帧图像G′(0)中的某一点为Q0,其在G′(0)中的坐标为(Qx,Qy),在后续帧图像的第i个尺度图像G′(i)中,Q0的对应点为Qi。根据定义易知Qi在第i个尺度图像G′(i)中的坐标为其中,i=1、2,……,j。
步骤F,搜索当前帧图像N个关键点在后续帧图像G′(0)中对应匹配点,对于每一关键点,对应匹配点有三个,分别为:ρ值最小的最近邻匹配点,和两个ρ值次小的次近邻匹配点,其中,ρ值为该关键点的高维联合向量与匹配点的高维联合向量之间的欧氏距离之和,如图2中(b)部分所示,其中,N个最近邻匹配点构成目标点集I2
对于在后续帧图像中确定搜索区域的方法,在此处不做约束,包括但不限于遍历搜索、邻域搜索、k-d tree搜素和Best-Bin-First(BFF)等。
在确定搜索范围后,计算该后续帧图像G′(0)的搜索范围内的候选点及该候选点在后续帧图像的尺度图像G′(1),G′(2),...,G′(j)中对应点的高维联合向量,根据欧氏距离之和ρ由小到大的原则确定若干个匹配点。
对于关键点和搜索区域内的候选点,获取两者高维联合向量之间的欧氏距离之和ρ的步骤包括:
子步骤F1,计算当前帧图像G(0)(原始尺度)中关键点R0的高维联合向量和后续帧图像G′(0)(原始尺度)中候选点Q0的高维联合向量之间的欧氏距离ρ0
&rho; 0 = &rho; ( R 0 , Q 0 ) = sqrt ( &Sigma; h = 1 25 k ( r 0 , h - q 0 , h ) 2 ) - - - ( 6 )
式中,R0=(r0,1,r0,2,…r0,25k),为当前帧图像G(0)中关键点R0的高维联合向量;Q0=(q0,1,q0,2,…q0,25k),为后续帧图像G′(0)中候选点Q0的高维联合矢量;
子步骤F2,计算关键点R0在当前帧图像的第i幅尺度图像中的对应点Ri的高维联合向量,与候选点Q0在后续帧图像的第i幅尺度图像中的对应点Qi的高维联合向量的欧氏距离ρi,其中,i=1,2,……,j;
&rho; i = &rho; ( R i , Q i ) = sqrt ( &Sigma; h = 1 25 k ( r i , h - q i , h ) 2 ) - - - ( 7 )
式中,Ri=(ri,1,ri,2,…ri,25k),为关键点R0在当前帧图像的第i幅尺度图像中的对应点的高维联合向量;Qi=(qi,1,qi,2,…qi,25k),为候选点Q0在后续帧图像G′(0)中的第i幅尺度图像中的对应点的高维联合矢量;
子步骤F3,按照下式计算关键点R0和候选点Q0的欧氏距离之和:
&rho; = &Sigma; h = 0 j &rho; h - - - ( 8 )
需要说明的是,本发明中,匹配点的个数也可以根据需要进行调整,一般情况下小于5个。
步骤G,对于N个关键点中的每一个关键点,利用方差分析模型验证其与3个匹配点的匹配结果的有效性,如果其中之一的匹配结果有效,则在关键点集I1中保留该关键点,在目标点集I2中保留匹配点,如果所有匹配结果均无效,则将该关键点从关键点集I1删除,将匹配点从目标点集I2中删除;
其中,N个关键点组成关键点集I1,该N个关键点分别的最近邻匹配点组成目标点集I2
使用的方差分析模型如下:对于原始关键点集I1中的某一关键点I1(x),其在目标点集I2中的最近邻匹配点为I2(x),定义其在后续帧图像中最近邻匹配点的可信度函数T(x):
T ( x ) = ( I 1 ( x ) - I &OverBar; 1 ( x ) - ( I 2 ( x ) - I &OverBar; 2 ( x ) ) ) 2 1 N &Sigma; j &Element; W ( I 1 ( j ) - I &OverBar; 1 ( j ) - ( I 2 ( j ) - I &OverBar; 2 ( j ) ) ) 2 - - - ( 9 )
其中,W为I1和I2限定的区域;I1(j)表示是点集i1的第j个点的坐标,为该点坐标的期望;I2(j)表示I1(j)最近邻匹配点的坐标,为该点坐标的期望;分别为关键点I1(x)和最近邻匹配点为I2(x)的期望。
具体来讲,对于一关键点,验证匹配结果的有效性的步骤进一步包括:
子步骤G1,设定阈值ε;
子步骤G2,按照公式9计算T(x);
子步骤G3,若T(x)<ε,则判定I2(x)有效,则匹配结果有效,执行子步骤G9;否则,执行子步骤G4;
子步骤G4,将最近邻匹配点I2(x)替换成储存的第一次近邻匹配点,重新计算对应的T(x);
子步骤G5,若T(x)<ε,则判定第一次近邻匹配点为有效匹配点,匹配结果有效,执行步骤G9,否则,执行子步骤G6;
子步骤G6,将第一次近邻匹配点替换成第二次近邻匹配点,重新计算对应的T(x);
子步骤G7,若T(x)<ε,则判定第二次近邻匹配点为有效匹配点,执行步骤G9,否则,执行子步骤G8;
子步骤G8,将I1(x)和I2(x)一同从所属的点集中滤除,如图2中(c)部分所示,执行步骤G9;
子步骤G9,判断关键点是否验证完毕,如果验证完毕,结束;否则,对下一关键点执行子步骤G2。
需要说明的是,该方差分析模型在相应的统计分析的教材中均有介绍,同时也为图像跟踪领域通用的方法,此处不再进行详细说明。
步骤H,判断关键点集I1中剩下的有效点数在关键点总数N中是否高于特定比例,例如:50%或75%,如果是,则视为跟踪成功,执行I;否则便视为目标丢失,将后续帧的下一帧作为后续帧,执行步骤E;
目标丢失,意味着在后续帧中没有找到目标,在这种情况下,只能在后续帧的下一帧图像中重新搜寻目标。
步骤I,根据目标点集的有效点的空间分布在后续帧图像中确定新目标区域,如图2中(d)部分所示,将后续帧作为当前帧,重新执行步骤B。
经由实验对比,本实施例利用关键点特征匹配的图像跟踪方法相比于传统方法体现出更高的精确度,跟踪结果的中心位置与真实位置的平均偏移量更小,因此应用价值更高。
至此,已经结合附图对本实施例进行了详细描述。依据以上描述,本领域技术人员应当对本发明利用关键点特征匹配的图像跟踪方法有了清楚的认识。
此外,上述对各元件和方法的定义并不仅限于实施例中提到的各种具体结构、形状或方式,本领域普通技术人员可对其进行简单地更改或替换,例如:
(1)子步骤C1中,对原始图像进行平滑处理还可以使用均值模糊(box blur)的形式;
(2)步骤E中,两个次近邻距离的匹配点可以用更多数量的次近邻匹配点来代替。
综上所述,本发明定义了比传统的颜色或纹理特征包含了更多信息量的局部特征,对物体的表达更为准确全面,此外,采用点匹配的方式,以方差分析模型滤除无效点,计算大大简化,运算效率得到提高。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (11)

1.一种利用关键点特征匹配的图像跟踪方法,其特征在于,包括:
步骤A,接收用户在首帧图像中输入的初始目标区域,将首帧图像作为当前帧图像,将初始目标区域作为目标区域;
步骤B,在当前帧图像G(0)的目标区域内随机选取N个像素点作为关键点,N个关键点组成原始关键点集I1
步骤C,对于当前帧图像G(0)目标区域内N个关键点中的每一个关键点,提取其纹理特征和颜色特征,并依照该纹理特征和颜色特征建立关于该关键点的高维联合向量,其中,建立关于该关键点的高维联合向量包括:子步骤C1,以当前关键点为中心,取一个t×t像素的邻域;子步骤C2,对于邻域内的每一个像素,生成k维的Smin向量,其中k为外延方向的个数;以及子步骤C3,将t×t个像素分别对应的k维Smin向量顺序排列,组成总维数为t×t×k的高维联合向量,由该高维联合向量共同描述当前关键点的特征;
步骤D,对当前帧图像G(0)进行多尺度处理,得到关于其的j个尺度图像G(1),G(2),…,G(j),求取N个关键点在该j个尺度图像G(1),G(2),…,G(j)对应点的高维联合向量;
步骤E,对后续帧图像G'(0)进行多尺度处理,得到关于其的j个尺度图像G'(1),G'(2),…,G'(j);
步骤F,搜索当前帧图像N个关键点在后续帧图像G'(0)中对应匹配点,搜索的依据为该关键点的高维联合向量与匹配点的高维联合向量之间的欧氏距离之和ρ由小到大的顺序,对于每一关键点,匹配点包括一最近邻匹配点及若干个近邻匹配点,N个关键点分别的最近邻匹配点构成目标点集I2
步骤G,对于N个关键点中的每一个关键点,验证其与匹配点的匹配结果的有效性,只要有一个匹配结果有效,则在关键点集I1中保留该关键点,在目标点集I2中保留匹配点;否则,将该关键点从关键点集I1删除,将匹配点从目标点集I2中删除;
步骤H,判断关键点集I1中剩下的有效点数在N是否高于特定比例, 如果是,执行步骤I;否则将后续帧的下一帧作为后续帧,执行步骤E;以及
步骤I,根据目标点集I2的剩余点的空间分布在后续帧图像中确定新目标区域,将后续帧作为当前帧,重新执行步骤B。
2.根据权利要求1所述的图像跟踪方法,其特征在于,所述子步骤C2中,对于一当前像素生成k维的Smin向量的步骤具体包括:
子分步骤C2a,以当前像素为中心,每隔角度向外延伸出一个方向,顺时针依次编号1至k,沿每个方向自中心点向外等间距取M个采样点,定义符号代表着选定常数k的、第n个方向上的第m个采样点的灰度;
子分步骤C2b,采用距离加权求和的方式带权累加每一个方向上所有采样点以及该像素的灰度值,在每一方向上得到一灰度信息其中,距离该像素越近的采样点其所占的权重越大,n=1,2,……,k;
子分步骤C2c,由当前像素的k个灰度信息得到对应当前像素的k维向量S,具体方法如下:将当前像素的k个灰度信息由小到大进行排序,对应的序号记为Sn,按照的排列顺序用Sn对其进行编码,构成一个k维向量S:S=(S1,S2,…,Sk);
子分步骤C2d,将k维向量S按位循环右移k次,得到k个k维向量;
子步骤C2e,计算k个k维向量分别对应的Ssum值,当前k维向量的Ssum值按照下式计算:其中,Sn为当前k维向量的第n个元素;
子步骤C2f,将最小的Ssum值所对应的特征向量Smin作为描述当前像素的向量;以及
子步骤C2g,将灰度值0~255量化至p个区间,分别对应从大到小的p个数值,将当前像素灰度值所在区间对应的数值乘以Smin中的每一个元素,得到k维的Smin向量。
3.根据权利要求2所述的图像跟踪方法,其特征在于,所述子分步 骤C2c中,设定阈值th,如果两纹理信息之差小于该阈值th,将两者对应的序号设为相同。
4.根据权利要求2所述的图像跟踪方法,其特征在于,所述子分步骤C2b中,依照下式得到相应方向的纹理信息
式中,const为常数,M≤const≤3M。
5.根据权利要求2所述的图像跟踪方法,其特征在于,k的取值介于4~12之间;M的取值介于2~10之间。
6.根据权利要求1所述的图像跟踪方法,其特征在于,所述步骤F中,采用遍历搜索、邻域搜索、k-d tree搜索或Best-Bin-First方式在后续帧图像中确定搜索区域;并在该搜索区域内根据欧氏距离之和ρ由小到大的原则确定若干个匹配点。
7.根据权利要求6所述的图像跟踪方法,其特征在于,所述步骤F中,对于关键点和后续帧图像中对应的匹配点,获取两者高维联合向量之间的欧氏距离之和ρ的步骤:
子步骤F1,计算当前帧图像G(0)中关键点R0的高维联合向量和后续帧图像G'(0)中候选点Q0的高维联合向量之间的欧氏距离ρ0
式中,R0=(r0,1,r0,2,…r0,25k),为当前帧图像G(0)中关键点R0的高维联合向量;Q0=(q0,1,q0,2,…q0,25k),为后续帧图像G'(0)中候选点Q0的高维联合矢量;
子步骤F2,计算关键点R0在当前帧图像的第i幅尺度图像中的对应点Ri的高维联合向量,与候选点Q0在后续帧图像的第i幅尺度图像中的对应点Qi的高维联合向量的欧氏距离ρi,其中,i=1,2,……,j;
式中,Ri=(ri,1,ri,2,…ri,25k),为关键点R0在当前帧图像的第i幅尺度图像中的对应点的高维联合向量;Qi=(qi,1,qi,2,…qi,25k),为候选点Q0在后续帧图 像G'(0)中的第i幅尺度图像中的对应点的高维联合矢量;
子步骤F3,按照下式计算关键点R0和候选点Q0的欧氏距离之和:
8.根据权利要求1所述的图像跟踪方法,其特征在于,所述步骤G中,利用方差分析模型验证关键点与匹配点的匹配结果的有效性。
9.根据权利要求1至8中任一项所述的图像跟踪方法,其特征在于,所述步骤B中,采用随机函数rand()或网格均匀取点方式在目标区域内选取关键点。
10.根据权利要求1至8中任一项所述的方法,其特征在于,j≤5。
11.根据权利要求1至8中任一项所述的图像跟踪方法,其特征在于,所述首帧图像、当前帧图像及后续帧图像均为归一化处理后的图像。
CN201410160273.2A 2014-04-21 2014-04-21 一种利用关键点特征匹配的图像跟踪方法 Active CN103955950B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410160273.2A CN103955950B (zh) 2014-04-21 2014-04-21 一种利用关键点特征匹配的图像跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410160273.2A CN103955950B (zh) 2014-04-21 2014-04-21 一种利用关键点特征匹配的图像跟踪方法

Publications (2)

Publication Number Publication Date
CN103955950A CN103955950A (zh) 2014-07-30
CN103955950B true CN103955950B (zh) 2017-02-08

Family

ID=51333219

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410160273.2A Active CN103955950B (zh) 2014-04-21 2014-04-21 一种利用关键点特征匹配的图像跟踪方法

Country Status (1)

Country Link
CN (1) CN103955950B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104537692B (zh) * 2014-12-30 2016-02-17 中国人民解放军国防科学技术大学 基于时空上下文信息辅助的关键点稳定跟踪方法
CN105718909A (zh) * 2016-01-22 2016-06-29 孟玲 一种可增强对比度的地质采样装置
CN106803880A (zh) * 2017-02-14 2017-06-06 扬州奚仲科技有限公司 轨道摄像机器人的自主跟拍行进控制方法
CN107122751B (zh) * 2017-05-03 2020-12-29 电子科技大学 一种基于人脸对齐的人脸跟踪和人脸图像捕获方法
CN108596250B (zh) * 2018-04-24 2019-05-14 深圳大学 图像特征编码方法、终端设备及计算机可读存储介质
CN110879950A (zh) * 2018-09-06 2020-03-13 北京市商汤科技开发有限公司 多级目标分类及交通标志检测方法和装置、设备、介质
CN110322254B (zh) * 2019-07-04 2022-12-16 同盾控股有限公司 在线欺诈识别方法、装置、介质及电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103325108A (zh) * 2013-05-27 2013-09-25 浙江大学 一种融合光流与特征点匹配的单目视觉里程计的设计方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103325108A (zh) * 2013-05-27 2013-09-25 浙江大学 一种融合光流与特征点匹配的单目视觉里程计的设计方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A Face Tracking Algorithm Based on LBP Histograms and Particle Filtering;J.Ye等;《2010 Sixth International Conference on Natural Computation》;20100812;第7卷;3550-3553 *
基于颜色纹理直方图的带权分块均值漂移目标跟踪算法;李冠彬等;《计算机辅助设计与图形学学报》;20111231;第23卷(第12期);2059-2066 *

Also Published As

Publication number Publication date
CN103955950A (zh) 2014-07-30

Similar Documents

Publication Publication Date Title
CN103955950B (zh) 一种利用关键点特征匹配的图像跟踪方法
CN110363122B (zh) 一种基于多层特征对齐的跨域目标检测方法
Kong et al. Vanishing point detection for road detection
CN103310453B (zh) 一种基于子图像角点特征的快速图像配准方法
CN107633226B (zh) 一种人体动作跟踪特征处理方法
Zhang et al. When Dijkstra meets vanishing point: a stereo vision approach for road detection
CN102270308B (zh) 一种基于五官相关aam模型的面部特征定位方法
Wang et al. Traffic sign detection using a cascade method with fast feature extraction and saliency test
CN112084869A (zh) 一种基于紧致四边形表示的建筑物目标检测方法
CN114972418A (zh) 基于核自适应滤波与yolox检测结合的机动多目标跟踪方法
Zhao et al. Accurate pedestrian detection by human pose regression
CN103235929B (zh) 基于手背静脉图像的身份识别方法和装置
CN107180436A (zh) 一种改进的kaze图像匹配算法
CN104021559A (zh) 基于互信息和Harris角点检测的图像配准方法
CN107944354A (zh) 一种基于深度学习的车辆检测方法
CN109271848A (zh) 一种人脸检测方法及人脸检测装置、存储介质
CN110287847A (zh) 基于Alexnet-CLbpSurf多特征融合的车辆分级检索方法
Zhan et al. FA-ResNet: Feature affine residual network for large-scale point cloud segmentation
Song et al. A joint siamese attention-aware network for vehicle object tracking in satellite videos
CN114529581A (zh) 基于深度学习及多任务联合训练的多目标跟踪方法
Li et al. Visual slam in dynamic scenes based on object tracking and static points detection
CN105631405A (zh) 基于多级分块的交通视频智能识别背景建模方法
Hamid et al. Stereo matching algorithm based on hybrid convolutional neural network and directional intensity difference
CN110570450B (zh) 一种基于级联的上下文感知框架的目标跟踪方法
Li et al. Efficient properties-based learning for mismatch removal

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230116

Address after: Room 302, Floor 3, Building 20, No. 2, Jingyuan North Street, Daxing Economic and Technological Development Zone, Beijing, 100176 (Yizhuang Cluster, High-end Industrial Zone, Beijing Pilot Free Trade Zone)

Patentee after: Zhongke Shangyi Health Technology (Beijing) Co.,Ltd.

Address before: 100083 No. 35, Qinghua East Road, Beijing, Haidian District

Patentee before: INSTITUTE OF SEMICONDUCTORS, CHINESE ACADEMY OF SCIENCES