CN108596950B - 一种基于主动漂移矫正的刚体目标跟踪方法 - Google Patents

Abstract

本发明提供一种基于主动漂移矫正的刚体目标跟踪方法，其步骤包括：提取原始图像目标区域的SURF特征点；当前图像到来时，提取当前图像目标区域的SURF特征点，利用强分类器对该SURF特征点与上述原始图像目标区域的SURF特征点进行匹配；估计原始图像的目标区域至当前图像的目标区域的运动模型，并找到已被成功定位的且距离当前最近的一帧图像，基于所述运动模型估计该最近的一帧图像至当前图像的运动参数；基于所述最近的一帧图像的SURF特征点，利用强分类器找出当前图像的对应点，为该对应点分配辐射区域，通过模板匹配求解所述运动参数，实现对当前图像的目标区域进行精细化定位。

Description

一种基于主动漂移矫正的刚体目标跟踪方法

技术领域

本发明涉及一种图像处理技术，具体涉及一种基于主动漂移矫正的刚体目标跟踪方法。

背景技术

现有技术的基于特征的跟踪方法如图1所示，刚体目标表面任意一点的运动都可以代表整体的运动，使得利用目标区域内的特征来描述目标运动成为可能。已有的刚体目标跟踪方法致力于提取参考图像目标区域内具有不变性的某些特征，并对提取的特征进行量化和描述，如颜色特征、纹理特征、光流特征。局部特征是指在图像区域内检测到的局部具有不变性、可重现性和特异性的特征，能够在一定程度上抵抗遮挡、尺度、旋转等复杂变化，并提供对特征的定量描述。目前，相比其他特征，局部特征在不变性和特异性方面优势愈发明显，使其更加深入地应用在目标跟踪中。在当前帧到来时，首先对整个区域提取局部特征并描述。进而，通过局部特征的匹配找到同上一目标内局部特征的候选对应集。借助随机采样一致性算法(RANSAC)，去除不正确的对应特征集，估计出运动变换参数，实现目标跟踪。图2给出了基于特征的跟踪方法框图，其主要思路在于将跟踪看成是局部特征匹配问题。

目前，SURF特征是应用较多且效果较为理想的局部特征之一，主要引入积分图像快速算法，并通过执行加减法运算近似得到高斯二阶微分的响应值。SURF算法主要包括特征检测和特征描述两方面。特征检测通过快速计算每个特征的尺度和主方向，并且圈定以检测点为中心的尺度旋转不变对称邻域；特征描述在该不变性邻域内进行Haar特征计算，并最终形成64维特征向量。不同图像之间的SURF特征匹配主要是通过比较特征向量之间的距离实现的。

运动模型构建是通过SURF特征匹配完成的。假设x和x分别代表不同图像之间的对应SURF特征点，则二者之间有如下的关系：

其中，W(x,h)是透视变换函数，h＝(h₁,K h₈)^T是运动参数。具体表示如下：

得出运动参数后，将初始帧的目标区域边界进行相应的透视变换，得了当前帧的目标区域。

现有技术的缺点在于：在视频中，场景经常会出现光照、遮挡、视角、仿射等一种或多种变化，对局部特征的匹配造成了严重的干扰。现有技术沿用和静态图像相同的局部特征匹配方法，无法适应发生剧烈变化的场景，也没有体现与场景连续性变化相对应的自适应性。

第一，基于特征的跟踪方法，局部特征定位的不准确，影响了运动参数的准确估计。在包含SURF在内的多数常用局部特征的检测过程中，点的定位都是通过在尺度空间中寻找极值点确定的。在尺度较大的层面上，对图像区域本身的抽样间隔也就越大，因此忽略了更多的像素信息；在寻找到极值点后，还要通过三维子像元插值的方法，进一步迭代求解水平、竖直和尺度的偏移量，对点的位置和尺度信息进行进一步的更新。在图像内容发生较大变化时，点的位置很难完全对应。

第二，当目标或背景发生复杂变化时，受跟踪器自身性能的制约，对目标本身的跟踪不准确，也会造成误差累积。对于基于特征的跟踪来讲，性能主要体现在对特征点的描述上，因为后者与特征匹配密切相关。随着观测视角的变化，产生的高度差使跟踪点逐渐上移，影响了目标定位的精度，出现了跟踪误差。

与静态图像的处理方式不同，虽然视频中目标的运动具备连续性，为人们进一步研究目标跟踪提供了切入点，但也同时带来了一个新的问题：漂移。在目标的运动过程中，由于环境、目标的各种复杂变化，可能会导致对当前目标定位的偏移，产生跟踪误差。随着跟踪过程的延续，这种误差累积会使系统无法正常跟踪目标，最终发生漂移。在实际生活中，准确、鲁棒的跟踪无一例外的要求系统必须具备稳定性。因此，抑制漂移是跟踪具备实际应用价值的重要前提和条件，是此项发明要解决的技术问题。

发明内容

本发明提出一种基于主动漂移矫正的刚体目标跟踪方法，综合局部特征匹配和区域模板匹配，将基本视觉表达和扩展视觉表达有机结合，对目标运动进行精细化估计，在有效抑制漂移的同时保持对目标定位的准确性。

为达到上述目的，本发明采用如下技术方案：

一种基于主动漂移矫正的刚体目标跟踪方法，其步骤包括：

提取原始图像目标区域的SURF特征点；

当前图像到来时，提取当前图像目标区域的SURF特征点，利用强分类器对该SURF特征点与上述原始图像目标区域的SURF特征点进行匹配；

估计原始图像的目标区域至当前图像的目标区域的运动模型，并找到已被成功定位的且距离当前最近的一帧图像，基于所述运动模型估计该最近的一帧图像至当前图像的运动参数；

基于所述最近的一帧图像的SURF特征点，利用强分类器找出当前图像的对应点，为该对应点分配辐射区域，通过模板匹配求解所述运动参数，实现对当前图像的目标区域进行精细化定位。

上述方法中，获取SURF特征点的方法是：

利用积分图像计算Hessian矩阵行列式，式中的每个元素为图像上一点的高斯函数二阶导数与积分图像的卷积；

所述元素用方格滤波器表示，计算滤波器模板尺寸归一化；

通过调整方格滤波器的不同尺寸形成多个层，建立尺度空间；

以像素点为中心，在包括所述尺度空间在内的3×3×3邻域内抑制非极大值，将具有最大值或最小值的像素点视为SURF特征点。

上述方法中，引入相关权重0.92计算滤波器模板尺寸归一化。

上述方法中，通过利用原图像的积分图像求取主方向，来保证SURF特征点的旋转不变性。

上述方法中，所述求取主方向的方法是：在以SURF特征点为圆心、6σ为半径的圆内，按步长σ计算相应像素的Haar小波响应，同时进行尺度归一化和高斯平滑，得到x方向的响应d_x和y方向的响应d_y，再映射到极坐标当中；在π/3的扇形滑动区域内对d_x和d_y进行统计，记录当前窗口i的矢量(w_i,θ_i)，将区域内最长向量的角度θ作为主方向。

上述方法中，所述强分类器由若干个弱分类器与其对应的权重构成。

上述方法中，利用基于非均衡采样的RANSAC算法估计所述运动模型。

上述方法中，所述辐射区域为以γ为圆心、2.5s为半径的圆形区域，其中s为特征尺度。

上述方法中，模板匹配时引入高斯核函数进行求解，增加重复性SURF特征点的权重。

上述方法中，对当前图像的目标区域进行精细化定位后，将当前图像的目标区域同原始图像的目标区域建立联系，利用homography参数更新强分类器；基于更新的强分类器更新辐射区域，为下一帧图像的模板匹配提供输入。

基于上述技术方案，可假设一目标模型，该目标模型主要包含三个方面：目标描述、视觉表达和运动估计。

对于目标描述，首先，采用原始图像目标区域内的SURF特征点对目标进行描述，称为“基本目标描述”，其中目标是指原始图像和当前图像的目标区域。如图2所示，在当前图像到来时，通过与目标模型中的基本目标描述建立联系，就可以初步估计当前目标的运动信息。随着目标的不断运动，其姿态与原始状态相比可能会有较大变化。此时，如果单纯使用基本目标描述，可能无法适应目标当前的运动。在此基础上，提出了“扩展目标描述”，用来表述连续两帧成功跟踪上的目标的联系，对目标运动的连续性加以利用。如图3所示，扩展目标描述利用连续目标表面上的感兴趣区域进行表达。

视觉表达则包含基本视觉表达和扩展视觉表达两部分，分别对应了基本目标描述和扩展目标描述。在基本视觉表达方面，利用强分类器对SURF特征点进行描述，并与当前图像的SURF特征点进行模型匹配；对于扩展视觉表达，与SURF特征点结合，利用模板匹配算法实现扩展目标描述。

对于运动估计，采用homography变换模型。

如图4所示，目标描述、视觉表达和运动估计有机组合，共同构成了本节提出的跟踪方法的主要元素，其中，第t帧图像表示为当前图像，第t-1帧图像表示为距离当前图像最近的且被定位的图像。

本方法综合局部特征匹配和区域模板匹配，将基本视觉表达和扩展视觉表达有机结合，对目标运动进行精细化估计，在有效抑制漂移的同时保持对目标定位的准确性。

附图说明

图1是基于特征的跟踪方法框图。

图2是基本目标描述下区域定位图。

图3是扩展目标描述下区域定位图。

图4是目标模型的有机组成图。

图5是基于主动漂移矫正的刚体目标跟踪方法流程图。

图6是基于扇形滑动窗口的主方向求解图。

图7是尺度和旋转不变的分类器构建图。

图8是辐射区域示意图。

具体实施方式

为使本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图作详细说明如下。

承接图4列举一实施例，本实施例提供一种基于主动漂移矫正的刚体目标跟踪方法，其工作流程如图5所示。其步骤包括：明确原始图像的目标区域并提取SURF特征，对目标模型进行初始化；在第t帧图像到来时，首先利用基本视觉表达中的强分类器对当前帧提取的SURF特征进行模型匹配、粗略估计运动参数；将该运动参数作为输入参数建立与第t-1帧的联系，利用扩展视觉表达实现基于局部特征与模板匹配结合的运动估计，实现对当前目标区域的精细化定位；对模型进行更新，便于后续帧的处理。具体实现方案描述如下：

1、SURF特征提取

SURF特征提取是利用积分图像计算Hessian矩阵行列式，再通过选取极值来定位。具体地，对积分图像I上点x＝(x,y)处，尺度s的Hessian矩阵H(x,s)表示为：

以L_xx(x,s)为例，其代表高斯函数二阶导数在x＝(x,y)处与整个积分图形I的卷积，具体用方格滤波器(box filter)D_xx来近似表示(s＝1.2)。通过引入相关权重w，实现对Hessian矩阵行列式的平衡：

det(H_approx)＝D_xxD_yy-(wD_xy)² (4)

对于SURF特征检测，建立尺度空间不需要改变原图像尺寸，而是通过调整方格滤波器的尺寸来实现，其中包括与原图像进行的卷积计算。将方格滤波器的近似表示和积分图像结合提升计算效率，计算滤波器模板尺寸归一化det(H_approx)，便于后续在不同图像之间作比较。

通过调整不同尺寸的方格滤波器，形成多个层(octave)，来表达尺度空间。兴趣点的定位是以候选点(每个像素点)为中心的图像和包括尺度空间在内的3×3×3邻域内执行非极大值抑制策略，将具有最大或最小值的对应点作为特征点，同时得到尺度s。

SURF特征的旋转不变性是通过求取主方向(dominant orientation)实现的，求解过程仍然利用了积分图像的计算优势。在以特征点为圆心、6σ为半径的圆内，按步长σ计算相应像素的Haar小波响应，同时进行尺度归一化和高斯平滑，得到x方向的响应d_x和y方向的响应d_y，再映射到极坐标当中，如图6所示。在π/3的扇形滑动区域内对d_x和d_y进行统计，记录当前窗口i的矢量(w_i,θ_i)：

将区域内最长向量的角度θ作为主方向：

2、SURF特征的强分类器构建

在初始帧的原始图像上，对于目标区域内的每个SURF特征点γ构建不变性辐射区域P_γ，定义是以γ为圆心、2.5s为半径的圆形区域，s为特征的尺度。

每个强分类器C对应一个SURF特征，特征匹配用强分类器在每一个新的SURF检测点(特征点)x的匹配分数C(x)来比较，值越大，表示当前检测点作为对应点的可能性越大。每个强分类器包括若干弱分类器，按照可靠性筛选后得到的若干弱分类器(selectors)与其对应的权重一起构成了强分类器：

表示对样本点x属性的判断，即干弱分类器，与该SURF特征尺度和旋转不变邻域内的1个Haar特征对应，Haar特征同时做了尺度和主方向的归一化，如图7所示。由弱分类器构成的强分类器，同时具备了尺度和旋转的不变性，能够满足图像匹配的需求。

3、基于基本视觉表达的运动参数粗略估计

基于基本视觉表达的运动参数粗略估计致力于建立原始图像同第t帧图像目标区域的大致几何关系，为后续的精细化定位提供基础。基本视觉表达是基于高鉴别力的强分类器实现的。在人为确定原始图像的目标区域后，首先初始化M个强分类器{C₁,C₂,K,C_M}，每个对应一个目标区域内的SURF特征{k₁,k₂,K,k_M}。在第t帧到来时，首先利用基于连续帧进行SURF特征检测，利用步骤1的特征提取方法提取特征γ＝{γ₁,γ₂,K,γ_Q}，然后利用强分类器C_i找到特征k_i的对应点γ_i。同样地，将其他强分类器作用在γ上，就能够得到所有候选对应点集合Σ＝{ε₁,ε₂,K,ε_P}。

接下来，利用基于非均衡采样的RANSAC算法估计原始图像目标区域与当前图像目标区域的运动模型h_t,ref，并找到在此之前目标被成功定位并且在时间上离当前图像最近的一帧，假设是第t-1帧。通过如下公式粗略估计第t-1帧和第t帧目标之间的运动关系h_t,t-1：

W(x；h_t,ref)＝W(W(x；h_t-1,ref)；h_t,t-1) (10)

式子中W为透视变换，将h_t,t-1作为基于局部特征和模板匹配结合的运动估计的初始化运动参数。

4、基于局部特征和模板匹配相结合的精细化运动估计

基于局部特征(如SURF特征)和模板匹配相结合的方法主要目的是精确求解运动参数h_t,t-1，进而实现对当前目标的精细化定位。在此，定义运动参数的偏移量△h_t,t-1，采用Lucas-Kanade的方法来表达：

I_t-1(x)≈I_t(W(x；h_t,t-1+Δh_t,t-1)) (11)

式子中I代表灰度图像。如果再对x的取值范围进行合适的定义，就能够通过计算保持对h_t,t-1的持续更新。

具体地，统计第t-1帧的目标区域用于强分类器更新的正样本(即能够找到对应点特征的样本)特征点，对于每个特征γ，同时利用基本视觉描述找到γ在第t帧的对应点

对每个γ分配一个辐射区域(如图8所示)，其定义是以特征点为圆心、2.5s为半径的圆形区域，其中s为特征的尺度。将所有正样本辐射区域的集合看成模板，以反向合成的方法实现下面的模板匹配：

在实际研究的过程中，在当前特定目标变化的作用下，并不是所有的正样本都具备良好的特异性能。局部特征定位的不准确，会影响运动参数估计的准确性。为了更好地利用SURF特征的可重复性(是指SURF特征在图像运动时可在不同帧的图像上都能找到)，尽可能地使用对当前变化不敏感的特征的辐射区域作为模板，进一步引入了核函数，将其与公式(10)结合，同时进行泰勒展开：

用来强调当前重复性较好的特征。

本方案采用二维高斯核函数，表达形式如下：

可以看出，高斯核函数在实际图像处理中具备了如下几个重要的性质：一是旋转对称性，即高斯核函数向x方向和y方向的平滑趋势抑制；二是高斯核函数具有单峰，即在原点处取值最大；三是高斯核函数的平滑程度由参数σ表征。基于以上几点，将高斯核函数融入到SURF特征的对应关系中，可以更好地用距离度量当前变化下特征点的可重复性，对相对可靠的对应点赋予更高的权重，使运动参数的估计更为准确。

接下来，借鉴反向合成算法，对公式(12)进行求解，得到如下运算结果：

其中，

具体实现过程如表1所示。利用最终得到的运动参数确定当前帧的目标区域的SURF特征点，实现目标跟踪。

表1运动估计算法流程

5、目标模型更新

提出的目标模型中，目标描述包含了基本目标描述和扩展目标描述两方面。相应地，目标模型更新也包含基本更新和扩展更新，分别对应目标描述的两个方面进行在线更新。

基本更新的主要目的是对基本目标描述中使用的SURF特征对应的强分类器进行更新，使其能够适应当前目标的变化，为后续跟踪提供必要准备。虽然分类器只用在了基本视觉表达中，但此时得到的运动参数还比较粗糙，无法为挑选正样本提供保证。在通过基于扩展视觉表达对目标实现精细化定位后，将当前目标区域同原始目标区域建立联系，利用homography参数找到强分类器的正样本，进行更新。扩展更新主要是对用这些新的正样本的辐射区域替换之前的辐射区域，为下一帧扩展视觉表达的模板匹配提供输入。表2给出了模型更新流程。

表2模型更新流程

以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求书所述为准。

Claims (10)

1.一种基于主动漂移矫正的刚体目标跟踪方法，其步骤包括：

提取原始图像目标区域的SURF特征点；

当前图像到来时，提取当前图像目标区域的SURF特征点，利用强分类器对该SURF特征点与上述原始图像目标区域的SURF特征点进行匹配；

估计原始图像的目标区域至当前图像的目标区域的运动模型，并找到已被成功定位的且距离当前最近的一帧图像，基于所述运动模型估计该最近的一帧图像至当前图像的运动参数；

基于所述最近的一帧图像的SURF特征点，利用强分类器找出当前图像的对应点，为该对应点分配辐射区域，通过模板匹配求解所述运动参数，实现对当前图像的目标区域进行精细化定位；通过模板匹配求解所述运动参数的方法为：

计算最近的一帧图像的灰度图像I_t-1的灰度梯度

并利用雅克比矩阵计算

其中

为雅克比矩阵，W为透视变换，h_t,t-1为估计的最近一帧图像至当前图像的运动参数；

利用当前透视变换W(x；h_t,t-1)计算各个正样本SURF特征点的权重

其中正样本为最近一帧图像的目标区域用于强分类器更新的正样本，γ为最近一帧图像的目标区域用于强分类器更新的正样本特征点，

为利用强分类器找出当前图像的对应点；

利用W(x；h_t,t-1)对I_t做透视变换得到I_t(W(x；h_t,t-1))，并计算误差图像I_t(W(x；h_t,t-1))-I_t-1(x)，其中x表示SURF特征检测点；

计算

其中P_γ表示对于目标区域内的每个SURF特征点γ构建的不变性辐射区域；

计算海森矩阵

根据

计算运动参数的偏移量Δh_t,t-1，根据该运动参数的偏移量Δh_t,t-1更新W(x；h_t,t-1)，得到精确的运动参数。

2.根据权利要求1所述的方法，其特征在于，获取SURF特征点的方法是：

利用积分图像计算Hessian矩阵行列式，式中的每个元素为图像上一点的高斯函数二阶导数与积分图像的卷积；

所述元素用方格滤波器表示，计算滤波器模板尺寸归一化；

通过调整方格滤波器的不同尺寸形成多个层，建立尺度空间；

以像素点为中心，在包括所述尺度空间在内的3×3×3邻域内抑制非极大值，将具有最大值或最小值的像素点视为SURF特征点。

3.根据权利要求2所述的方法，其特征在于，引入相关权重0.92计算滤波器模板尺寸归一化。

4.根据权利要求1所述的方法，其特征在于，通过利用原图像的积分图像求取主方向，来保证SURF特征点的旋转不变性。

5.根据权利要求4所述的方法，其特征在于，所述求取主方向的方法是：在以SURF特征点为圆心、6σ为半径的圆内，按步长σ计算相应像素的Haar小波响应，同时进行尺度归一化和高斯平滑，得到x方向的响应d_x和y方向的响应d_y，再映射到极坐标当中；在π/3的扇形滑动区域内对d_x和d_y进行统计，记录当前窗口i的矢量(w_i,θ_i)，将区域内最长向量的角度θ作为主方向。

6.根据权利要求1所述的方法，其特征在于，所述强分类器由若干个弱分类器与其对应的权重构成。

7.根据权利要求1所述的方法，其特征在于，利用基于非均衡采样的RANSAC算法估计所述运动模型。

8.根据权利要求1所述的方法，其特征在于，所述辐射区域为以γ为圆心、2.5s为半径的圆形区域，其中s为特征尺度。

9.根据权利要求1所述的方法，其特征在于，模板匹配时引入高斯核函数进行求解，增加重复性SURF特征点的权重。

10.根据权利要求1所述的方法，其特征在于，利用homography参数更新强分类器，基于更新的强分类器更新辐射区域。

Images