CN106934395B - 一种采用surf特征和颜色特征相融合的刚体目标跟踪方法 - Google Patents

Abstract

本发明涉及一种采用SURF特征和颜色特征相融合的刚体目标跟踪方法。该方法包括：1)在初始图像中选定目标区域，在目标区域内提取SURF特征并建立SURF特征描述；2)在每一个以SURF特征点为中心的局部邻域内构建颜色特征；3)在当前图像到来时，首先利用颜色特征寻找初步的目标区域，之后提取SURF特征并与初始图像建立基于特征的匹配，形成匹配点对；4)根据得到的匹配点对计算得出运动参数，从而确定当前图像的目标区域，实现目标跟踪。本发明能够对目标区域的局部特征实现准确的描述和匹配，进而保证目标跟踪效果的鲁棒性、稳定性。

Description

一种采用SURF特征和颜色特征相融合的刚体目标跟踪方法

技术领域

本发明属于计算机视觉技术领域，具体涉及一种采用SURF特征和颜色特征相融合的刚体目标跟踪方法。

背景技术

刚体目标表面任意一点的运动都可以代表整体的运动，使得利用目标区域内的特征来描述目标运动成为可能。已有的刚体目标跟踪方法致力于提取参考图像目标区域内具有不变性的某些特征，并对提取的特征进行量化和描述，如颜色特征、纹理特征、光流特征。局部特征是指在图像区域内检测到的局部具有不变性、可重现性和特异性的特征，能够在一定程度上抵抗遮挡、尺度、旋转等复杂变化，并提供对特征的定量描述。目前，相比其他特征，局部特征在不变性和特异性方面优势愈发明显，使其更加深入的应用在目标跟踪中。在当前帧到来时，首先对整个区域提取局部特征并描述。进而，通过局部特征的匹配找到同上一目标内局部特征的候选对应集。借助随机采样一致性算法(RANSAC)，去除不正确的对应特征集，估计出运动变换参数，实现目标跟踪。图1给出了基于特征的跟踪方法框图，其主要思路在于将跟踪看成是局部特征匹配问题。

目前，SURF(Speed-up Robust Feature，加速鲁棒特征)特征是应用较多且效果较为理想的局部特征之一，主要引入积分图像快速算法，并通过执行加减法运算近似得到高斯二阶微分的响应值。SURF算法主要包括特征检测和特征描述两方面。特征检测通过快速计算每个特征的尺度和主方向，并且圈定以检测点为中心的尺度旋转不变对称邻域；特征描述在该不变性邻域内进行Haar特征计算，并最终形成64维特征向量。不同图像之间的SURF特征匹配主要是通过比较特征向量之间的距离实现的。

运动模型构建是通过SURF特征匹配完成的。假设x和

分别代表不同图像之间的对应SURF特征点，则二者之间有如下的关系：

其中，W(x,h)是透视变换函数，h＝(h₁,...h₈)^T是运动参数。具体表示如下：

得出运动参数后，将初始帧的目标区域边界进行相应的透视变换，得到当前帧的目标区域。

在视频中，场景经常会出现光照、遮挡、视角、仿射等一种或多种变化，对局部特征的匹配造成了严重的干扰。现有技术沿用和静态图像相同的局部特征匹配方法，无法适应发生剧烈变化的场景，也没有体现与场景连续性变化相对应的自适应性。

发明内容

视频序列中，场景经常会出现复杂变化，如尺度、旋转、光照、遮挡等，对刚体目标跟踪提出了挑战，通过什么策略能够对目标区域的局部特征实现准确的描述和匹配，进而保证目标跟踪效果的鲁棒性、稳定性，是本发明要解决的技术问题。

本发明采用的技术方案如下：

一种采用SURF特征和颜色特征相融合的刚体目标跟踪方法，其步骤包括：

1)在初始图像中选定目标区域，在目标区域内提取SURF特征并建立SURF特征描述；

2)在每一个以SURF特征点为中心的局部邻域内构建颜色特征；

3)在当前图像到来时，首先利用颜色特征寻找初步的目标区域，之后提取SURF特征并与初始图像建立基于特征的匹配，形成匹配点对；

4)根据得到的匹配点对计算得出运动参数，从而确定当前图像的目标区域，实现目标跟踪。

进一步地，在完成对当前帧的跟踪后，对SURF特征和颜色特征进行在线更新，以便于后续帧的处理，提高后续跟踪的自适应性。

进一步地，步骤1)提取SURF特征时，利用积分图像计算Hessian矩阵行列式，再通过选取极值来定位SURF特征点，并通过调整方格滤波器的尺寸来建立尺度空间；在建立SURF特征描述时，SURF特征的旋转不变性通过求取主方向实现，并利用积分图像进行Haar小波响应计算。

进一步地，步骤2)通过构建颜色特征为每个SURF特征b_r在当前帧建立一个局部区域，使b_r仅与该区域内的SURF特征建立匹配关系。

进一步地，步骤2)通过构建颜色特征来选取局部区域的方法是：对每一个SURF特征b_r，通过对比其N×N和2N×2N邻域构建颜色特征，筛选出两部分区域中具有鉴别力的颜色，建立目标颜色数据库C_f和背景颜色数据库C_b；在当前帧到来时选取局部区域进行特征匹配；如果当前帧的颜色重复性较强，可能会找到多处局部区域，此时特征匹配覆盖所有选取的局部区域；如果选取的局部区域占图像整体不足设定的阈值，则放弃选取的区域，改为选取图像整体区域进行处理。

进一步地，步骤3)进行特征匹配的方法是：假设初始帧目标区域SURF特征点集合为B＝{b₁,b₂,...,b_R}，对应特征向量描述子{U₁,U₂,...,U_R}；第t帧到来时，首先进行SURF特征检测，得到特征点集合

对应特征向量描述子V_t＝{V_t,1,V_t,2,...,V_t,Q}；然后利用特征向量V_t,r找到特征b_r的候选对应点ψ_t,r，之后按照描述子匹配的可靠性将候选对应点对进行排序，形成基于描述子向量匹配的对应点对。

进一步地，步骤4)通过随机采样一致性算法即RANSAC计算出运动参数，实现对目标的定位。

本发明的关键点包括：

1)基于局部特征匹配解决刚体目标跟踪问题；

2)在初始帧和当前帧之间对刚体目标构建运动模型；

3)基于SURF特征的检测、描述和匹配在刚体目标跟踪中的应用；

4)构建颜色特征，在不牺牲跟踪效果的前提下降低了计算量；

5)在线更新使跟踪保持自适应性，保证了方案的系统性和完备性。

本发明的有益效果如下：

本发明提出了融合SURF特征和颜色特征的刚体目标跟踪方案，通过在初始帧和当前帧之间对刚体目标构建运动模型，使跟踪误差无法累积，避免了漂移的出现；利用复杂变化下SURF特征的可重复性提出基于特征的匹配方案；构建颜色特征，在不牺牲跟踪效果的前提下降低了计算量；在线更新使跟踪保持自适应性，保证了算法的系统性和完备性。最终使跟踪保持对复杂变化的自适应性，达到鲁棒和稳定的效果。

附图说明

图1是基于特征的跟踪方法框图。

图2是采用SURF和颜色特征结合的跟踪方案流程图。

图3是基于扇形滑动窗口的主方向求解示意图。

图4是特征描述子表示图。。

图5是利用积分图像进行Haar小波响应计算示意图。

图6是利用颜色特征选取局部匹配区域示意图。

图7是目标跟踪示意图。

具体实施方式

下面通过具体实施例和附图，对本发明做进一步说明。

本发明提出了一种新的刚体目标跟踪方案，并根据初始帧和当前帧之间的目标变化建立联系。由于刚体的内部结构具有运动一致性，该方案利用SURF特征匹配来确定目标区域，将跟踪看作特征点匹配问题。通过构建颜色特征，在当前帧圈定待匹配的区域，将颜色特征和SURF特征相结合，实现精细化匹配。在完成对当前帧的跟踪后，对SURF特征和颜色特征做进一步更新，提高后续跟踪的自适应性。最终使跟踪保持对复杂变化的自适应性，达到鲁棒和稳定的效果。

本发明工作流程如图2。在初始图像中，选定目标区域，并在区域内提取SURF特征和建立特征描述，同时在每一个以SURF特征点为中心的局部邻域内构建颜色特征。在新的图像到来之时，首先利用颜色特征寻找初步的目标区域，之后提取SURF特征，再与初始图像建立基于特征的匹配，形成最终匹配点对。通过RANSAC计算出运动参数，实现对目标的定位。最后，对SURF特征和颜色特征进行在线更新，便于后续帧的处理。

具体实现方案描述如下：

步骤一：SURF特征提取

SURF特征提取利用积分图像计算Hessian矩阵行列式，再通过选取极值来定位。具体地，对图像I上点x＝(x,y)处，尺度s的Hessian矩阵H(x,s)表示为：

以L_xx(x,s)为例，代表高斯函数二阶导数在x＝(x,y)处与图形I的卷积，具体用方格滤波器(box filter)D_xx来近似。通过引入相关权重w，实现对Hessian矩阵行列式的平衡：

det(H_approx)＝D_xxD_yy-(wD_xy)² (4)

对于SURF特征检测，建立尺度空间不需要改变原图像尺寸，而是通过调整方格滤波器的尺寸来实现，与原图像再进行卷积计算，将方格滤波器的近似表示和积分图像结合提升计算效率，计算滤波器模板尺寸归一化det(H_approx)。

通过不同尺寸方格滤波器形成的层(octave)就是对尺度空间的表达。兴趣点的定位是以候选点为中心的图像和包括尺度空间在内的3×3×3邻域内执行非极大值抑制策略，将具有最大或最小值的对应点作为特征点，同时得到尺度s。

步骤二：SURF特征描述

SURF特征的旋转不变性是通过求取主方向(dominant orientation)实现的，求解过程仍然利用了积分图像的计算优势。在以特征点为圆心、6σ为半径的圆内，按步长σ计算相应像素的Haar小波响应，同时进行尺度归一化和高斯平滑，得到x方向的响应d_x和y方向的响应d_y，再映射到极坐标当中，如图3所示。在π/3的扇形滑动区域内对d_x和d_y进行统计，记录当前窗口i的矢量(w_i,θ_i)：

将区域内最长向量的角度θ作为主方向：

以特征点为中心，沿主方向取一个尺寸为20s的矩形窗口，如图4所示。将20s的窗口划分成4×4子窗口，每个子窗口中有5s×5s个像元。使用尺寸为2s的Haar小波对子窗口图像进行其响应值计算，共进行25次采样，分别得到沿主方向的dy和垂直于主方向的dx。然后，以特征点为中心，对dy和dx进行高斯加权计算，其σ＝3.3s。最后，分别对每个子块的响应值进行统计，得到每个子块的矢量：

V_子块＝[∑dx,∑|dx|,∑dy,∑|dy|]。

由于共有4×4个子块，特征描述子共由4×4×4＝64维特征向量组成。在积分图像上先使用水平和垂直的Haar模板求得响应值dx和dy，然后根据主方向旋转dx和dy与主方向保持一致，如图5所示。为了求得旋转后Haar小波响应值，首先要得到旋转前图像的位置。旋转前后图像的位置关系，可以通过点的旋转公式得到

x＝x₀-j×s×sin(θ)+i×s×cos(θ)， (9)

y＝y₀+j×s×cos(θ)+i×s×sin(θ)。 (10)

其中，x₀,y₀表示对应特征点的位置，s表示对应特征点的尺度，在得到点(j,i)在旋转前对应积分图像的位置(x,y)后，利用积分图像与水平、垂直Haar小波，求得水平和垂直两个方向的响应值dx和dy。对dx和dy进行高斯加权处理，并根据主方向的角度，对dx和dy进行旋转变换，从而，得到旋转后的dx'和dy'。其计算公式如下：

dx'＝w(-dx×sin(θ)+dy×cos(θ))， (11)

dy'＝w(dx×cos(θ)+dy×sin(θ))。 (12)

步骤三：颜色特征构建

为每个SURF特征b_r在当前帧建立一个局部区域，使b_r仅与该区域内的SURF特征建立匹配关系。从直观上来看，因为匹配范围的缩小，计算量会大幅下降。在此过程中，局部区域的选取是关键，既不能太大，太大没有起到降低计算量的目的；也不能太小，太小则正确的对应点有可能不在区域中。如何在减小计算量的同时不降低匹配效果，需要进一步研究。

本方案通过构建颜色特征来选取局部区域，对每一个SURF特征b_r，通过对比其N×N和2N×2N(N＝40，N也可以是其它数值)邻域构建颜色特征，筛选出两部分区域中具有鉴别力的颜色，建立目标颜色数据库C_f和背景颜色数据库C_b，在当前帧到来时选取局部区域进行特征匹配，如图6所示。如果当前帧的颜色重复性较强，可能会找到多处局部区域，此时特征匹配覆盖所有选取的局部区域。如果选取的局部区域占图像整体不足设定的阈值(如30％)，则放弃选取的区域，改为选取图像整体区域进行处理。

步骤四：特征匹配

假设初始帧目标区域SURF特征点集合为B＝{b₁,b₂,...,b_R}，对应特征向量描述子{U₁,U₂,...,U_R}。第t帧到来时，首先进行SURF特征检测，得到特征点集合

对应特征向量描述子V_t＝{V_t,1,V_t,2,...,V_t,Q}。然后利用特征向量V_t,r找到特征b_r的候选对应点ψ_t,r，之后按照描述子匹配的可靠性将候选对应点对进行排序，形成基于描述子向量匹配的对应点对，利用RANSAC得到初始帧I₁和第t帧I_t目标区域之间的运动参数初始值

步骤五：目标跟踪

目标跟踪示意图如图7所示，初始帧I₁和第t帧I_t目标区域之间的最终运动参数h_t,1是基于上述对应点对计算得到的，最终确定了当前帧的目标区域。

步骤六：在线更新

完成目标跟踪后，需要对SURF特征、颜色进行更新，更新流程如表1所示。如果匹配点对是正确的，利用匹配点作为正样本，更新SURF特征、颜色特征；对于错误的匹配点，不做任何更新。

表1在线更新流程

关于颜色特征的更新，在当前帧，围绕SURF特征中心的N×N和2N×2N邻域，分别统计目标颜色数据库

和周围2N×2N邻域的背景颜色数据库

对目标颜色数据库C_f和背景颜色数据库C_b进行如下更新：

(1)如果

同C_f存在相近的颜色，则在C_f去掉该颜色；

(2)如果

的某种颜色是C_f和

都没有的，则将该颜色增加到C_f中。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求书所述为准。

Claims (5)

1.一种采用SURF特征和颜色特征相融合的刚体目标跟踪方法，其步骤包括：

1)在初始图像中选定目标区域，在目标区域内提取SURF特征并建立SURF特征描述；

2)在每一个以SURF特征点为中心的局部邻域内构建颜色特征；通过构建颜色特征为每个SURF特征b_r在当前帧建立一个局部区域，使b_r仅与该区域内的SURF特征建立匹配关系；对每一个SURF特征b_r，通过对比其N×N和2N×2N邻域构建颜色特征，筛选出两部分区域中具有鉴别力的颜色，建立目标颜色数据库C_f和背景颜色数据库C_b；

3)在当前图像到来时，利用颜色特征寻找初步的目标区域，之后提取SURF特征并与初始图像建立基于特征的匹配，形成匹配点对；在当前帧到来时选取局部区域进行特征匹配；如果当前帧的颜色重复性较强，可能会找到多处局部区域，此时特征匹配覆盖所有选取的局部区域；如果选取的局部区域占图像整体不足设定的阈值，则放弃选取的区域，改为选取图像整体区域进行处理；

4)根据得到的匹配点对计算得出运动参数，从而确定当前图像的目标区域，实现目标跟踪；

5)在完成对当前帧的跟踪后，对SURF特征和颜色特征进行在线更新，以便于后续帧的处理，提高后续跟踪的自适应性；

对SURF特征和颜色特征进行更新时，在当前帧，围绕SURF特征中心的N×N和2N×2N邻域，分别统计目标颜色数据库

和周围2N×2N邻域的背景颜色数据库

对目标颜色数据库C_f和背景颜色数据库C_b进行如下更新：

(1)如果

同C_f存在相近的颜色，则在C_f去掉该颜色；

(2)如果

的某种颜色是C_f和

都没有的，则将该颜色增加到C_f中。

2.如权利要求1所述的方法，其特征在于：步骤1)提取SURF特征时，利用积分图像计算Hessian矩阵行列式，再通过选取极值来定位SURF特征点，并通过调整方格滤波器的尺寸来建立尺度空间；在建立SURF特征描述时，SURF特征的旋转不变性通过求取主方向实现，并利用积分图像进行Haar小波响应计算。

3.如权利要求1所述的方法，其特征在于：步骤1)建立SURF特征描述时，特征描述子共由64维特征向量组成，即：以特征点为中心，沿主方向取一个尺寸为20s的矩形窗口，将20s的窗口划分成4×4子窗口，每个子窗口中有5s×5s个像元；使用尺寸为2s的Haar小波对子窗口图像进行其响应值计算，共进行25次采样，分别得到沿主方向的dy和垂直于主方向的dx；然后，以特征点为中心，对dy和dx进行高斯加权计算；最后，分别对每个子块的响应值进行统计，得到每个子块的矢量：

V_子块＝[∑dx,∑|dx|,∑dy,∑|dy|]，

由于共有4×4个子块，故特征描述子共由4×4×4＝64维特征向量组成。

4.如权利要求1所述的方法，其特征在于，步骤3)进行特征匹配的方法是：假设初始帧目标区域SURF特征点集合为B＝{b₁,b₂,...,b_R}，对应特征向量描述子{U₁,U₂,...,U_R}；第t帧到来时，首先进行SURF特征检测，得到特征点集合Υ_t＝{γ_t,1,γ_t,2,...,γ_t,Q}，对应特征向量描述子V_t＝{V_t,1,V_t,2,...,V_t,Q}；然后利用特征向量V_t,r找到特征b_r的候选对应点ψ_t,r，之后按照描述子匹配的可靠性将候选对应点对进行排序，形成基于描述子向量匹配的对应点对。

5.如权利要求1所述的方法，其特征在于：步骤4)通过随机采样一致性算法即RANSAC计算出运动参数，实现对目标的定位。

Images