CN106897721A - 一种局部特征与词袋模型相结合的刚体目标跟踪方法 - Google Patents

Abstract

本发明涉及一种局部特征与词袋模型相结合的刚体目标跟踪方法。该方法包括：1)在初始图像中选定感兴趣的目标区域，并在目标区域检测SURF特征；2)为SURF特征构建分类器；3)将词袋模型与局部特征结合，对每个SURF特征点用视觉单词来表达，形成2维尺度旋转不变空间；4)在当前图像到来时，基于SURF特征实现分类器的自适应匹配，并使用2维尺度旋转不变空间内的视觉单词进行协同匹配，形成匹配点对；5)根据得到的匹配点对计算得出运动参数，从而确定当前图像的目标区域，实现目标跟踪。本发明能够对目标区域的局部特征实现准确的描述和匹配，进而保证目标跟踪效果的鲁棒性、稳定性。

Description

一种局部特征与词袋模型相结合的刚体目标跟踪方法

技术领域

本发明属于计算机视觉技术领域，具体涉及一种局部特征与词袋模型相结合的刚体目标跟踪方法。

背景技术

刚体目标表面任意一点的运动都可以代表整体的运动，使得利用目标区域内的特征来描述目标运动成为可能。已有的刚体目标跟踪方法致力于提取参考图像目标区域内具有不变性的某些特征，并对提取的特征进行量化和描述，如颜色特征、纹理特征、光流特征。局部特征是指在图像区域内检测到的局部具有不变性、可重现性和特异性的特征，能够在一定程度上抵抗遮挡、尺度、旋转等复杂变化，并提供对特征的定量描述。目前，相比其他特征，局部特征在不变性和特异性方面优势愈发明显，使其更加深入的应用在目标跟踪中。在当前帧到来时，首先对整个区域提取局部特征并描述。进而，通过局部特征的匹配找到同上一目标内局部特征的候选对应集。借助随机采样一致性算法(RANSAC)，去除不正确的对应特征集，估计出运动变换参数，实现目标跟踪。图1给出了基于特征的跟踪方法框图，其主要思路在于将跟踪看成是局部特征匹配问题。

目前，SURF(Speed-up Robust Feature，加速鲁棒特征)特征是应用较多且效果较为理想的局部特征之一，主要引入积分图像快速算法，并通过执行加减法运算近似得到高斯二阶微分的响应值。SURF算法主要包括特征检测和特征描述两方面。特征检测通过快速计算每个特征的尺度和主方向，并且圈定以检测点为中心的尺度旋转不变对称邻域；特征描述在该不变性邻域内进行Haar特征计算，并最终形成64维特征向量。不同图像之间的SURF特征匹配主要是通过比较特征向量之间的距离实现的。

运动模型构建是通过SURF特征匹配完成的。假设x和分别代表不同图像之间的对应SURF特征点，则二者之间有如下的关系：

其中，W(x,h)是透视变换函数，h＝(h₁,...h₈)^T是运动参数。具体表示如下：

得出运动参数后，将初始帧的目标区域边界进行相应的透视变换，得到当前帧的目标区域。

视频中常见的复杂场景变化主要包括以下3种：

(1)几何变化。在视频的感兴趣区域内，物体的自身轴转，会引起视角发生变化；物体发生旋转或摄像机存在转动时，视觉中就会产生旋转变化；当场景和摄像机之间的相对距离发生变化时，场景中就会产生尺度变化；当上述的变化同时发生时，就会产生仿射或者透视变化。图2给出了几何变化的示例。

(2)灰度变化。当光源或者拍摄物体表面反射条件发生变化时，会引起光照的变化，相关的图像区域灰度也会相应变化，对特征匹配造成影响。此外，当感兴趣区域被其他物体遮挡时，阴影区域也会产生灰度变化。

(3)其他变化。当物体突然快速运动或摄像机剧烈抖动时，场景会出现模糊现象，会影响特征检测和描述。此外，在区分目标和背景的视频中，如果背景中包含与目标相似的区域，也会影响特征的匹配。

在视频中，场景经常会出现以上的一种或多种变化，对局部特征的匹配造成了严重的干扰。现有技术沿用和静态图像相同的局部特征匹配方法，无法适应发生剧烈变化的场景，也没有体现与场景连续性变化相对应的自适应性。

发明内容

视频序列中，场景经常会出现复杂变化，如尺度、旋转、光照、遮挡等，对刚体目标跟踪提出了挑战，通过什么策略能够对目标区域的局部特征实现准确的描述和匹配，进而保证目标跟踪效果的鲁棒性、稳定性，是本发明要解决的技术问题。

本发明采用的技术方案如下：

一种局部特征与词袋模型相结合的刚体目标跟踪方法，包括以下步骤：

1)在初始图像中选定感兴趣的目标区域，并在目标区域检测SURF特征；

2)为SURF特征构建分类器，其中每个强分类器对应一个SURF特征，每个强分类器包括若干弱分类器；

3)将词袋模型与局部特征结合，对每个SURF特征点用视觉单词来表达，形成2维尺度旋转不变空间；

4)在当前图像到来时，基于SURF特征实现分类器的自适应匹配，并使用2维尺度旋转不变空间内的视觉单词进行协同匹配，形成匹配点对；

5)根据得到的匹配点对计算得出运动参数，从而确定当前图像的目标区域，实现目标跟踪。

进一步地，还包括在线更新步骤：在对目标区域完成定位后，对目标模型进行自适应更新，以便于后续帧的处理。

进一步地，步骤1)检测SURF特征时，利用积分图像计算Hessian矩阵行列式，再通过选取极值来定位SURF特征点，并通过调整方格滤波器的尺寸来建立尺度空间；SURF特征的旋转不变性通过求取主方向实现。

进一步地，步骤2)中，每个强分类器C对应一个SURF特征，特征匹配用分类器在每一个新的SURF检测点x的匹配分数C(x)来比较，值越大，表示当前检测点作为对应点的可能性越大。

进一步地，步骤3)建立基于SURF特征的2维尺度旋转不变空间的方法是：以每个SURF特征点为中心，在初始图像中提取图像块邻域，并按照不同层对其实现基于尺度空间的表达，各个层上的图像块具有相同尺寸，相同层上的图像块具有旋转变化；每个图像块对应一个视觉单词，所有视觉单词组成2维尺度旋转不变空间。

进一步地，步骤4)使用分类器与视觉单词进行协同匹配的方法是：假设目标模型中所有SURF特征点集合为B＝{b₁,b₂,...,b_M}，对应的分类器集合为{C₁,C₂,...,C_M}，对当前帧提取的SURF特征集合为首先利用分类器C_m找到特征b_m的候选对应点ψ_m，其中1≤m≤M，之后按照匹配可靠性将候选对应点集进行排序Ψ＝{ψ₁,ψ₂,...,ψ_M}，从中挑选出能够适应当前目标变化的子集。

进一步地，步骤4)将匹配分数C_m(ψ_m)同预设门限λ进行比较，认为只有匹配分数大于门限的点能够适应当前变化，并将其作为候选点对；反之，则弃掉ψ_m，再利用词袋中尺度和旋转不变的视觉单词补充匹配。

本发明的关键点包括：1)基于局部特征匹配解决刚体目标跟踪问题；2)在初始帧和当前帧之间对刚体目标构建运动模型；3)利用分类器来实现局部特征匹配；4)基于SU RF特征的2维尺度旋转不变空间描述；5)分类器与视觉单词协同匹配；6)在线更新使跟踪保持自适应性，保证了算法的系统性和完备性。

本发明的有益效果如下：

本发明提出了一种局部特征与词袋模型相结合的刚体目标跟踪方案。首先，用分类的理念对SURF特征进行匹配，并引入可在线学习的分类器；同时，对局部特征构建动态2维尺度-旋转不变空间，进行协同匹配；最后求解运动参数，进行在线更新，便于后续帧的处理；最终使跟踪在复杂的场景变化下具有较好的鲁棒性和准确性。

附图说明

图1.现有技术中基于特征的跟踪方法框图。

图2.几何变形类别示意图。

图3.本发明方法的工作流程图。

图4.基于扇形滑动窗口的主方向求解示意图。

图5.尺度和旋转不变的分类器构建示意图。

图6.基于SURF特征的2维尺度旋转不变空间描述示例图。

图7.SURF特征和视觉单词协同匹配示例图。

图8.2维空间中视觉单词更新过程描述示意图。

具体实施方式

下面通过具体实施例和附图，对本发明做进一步说明。

本发明提出了一种局部特征与词袋模型相结合的刚体目标跟踪方案。首先，用分类的理念对SURF特征进行匹配，并引入可在线学习的分类器；同时，对局部特征构建动态2维尺度-旋转不变空间，进行协同匹配；最后求解运动参数，进行在线更新；最终使跟踪在复杂的场景变化下具有较好的鲁棒性和准确性。

本发明工作流程如图3所示。在初始图像中，选定感兴趣的目标区域，并在目标区域检测SURF特征，同时构建智能化目标模型。在当前帧图像到来时，我们首先基于SURF特征实现分类器自适应匹配，再使用2维尺度旋转不变空间内的视觉单词协同匹配，增强匹配可靠性。最后，根据匹配点对计算运动参数，对目标进行定位，对目标模型进行自适应更新，便于后续帧的处理。

具体实现方案描述如下：

步骤一：SURF特征提取

SURF特征提取利用积分图像计算Hessian矩阵行列式，再通过选取极值来定位。具体地,对图像I上点x＝(x,y)处，尺度s的Hessian矩阵H(x,s)表示为：

以L_xx(x,s)为例，代表高斯函数二阶导数在x＝(x,y)处与图形I的卷积，具体用方格滤波器(box filter)D_xx来近似。通过引入相关权重w，实现对Hessian矩阵行列式的平衡：

det(H_approx)＝D_xxD_yy-(wD_xy)² (4)

对于SURF特征检测，建立尺度空间不需要改变原图像尺寸，而是通过调整方格滤波器的尺寸来实现，与原图像在进行卷积计算。将方格滤波器的近似表示和积分图像结合提升计算效率，计算滤波器模板尺寸归一化det(H_approx)。

通过不同尺寸方格滤波器形成的层(octave)就是对尺度空间的表达。兴趣点的定位是以候选点为中心的图像和包括尺度空间在内的3×3×3邻域内执行非极大值抑制策略，将具有最大或最小值的对应点作为特征点，同时得到尺度s。

SURF特征的旋转不变性是通过求取主方向(dominant orientation)实现的，求解过程仍然利用了积分图像的计算优势。在以特征点为圆心、6σ为半径的圆内，按步长σ计算相应像素的Haar小波响应，同时进行尺度归一化和高斯平滑，得到x方向的响应d_x和y方向的响应d_y，再映射到极坐标当中，如图4所示。在π/3的扇形滑动区域内对d_x和d_y进行统计，记录当前窗口i的矢量(w_i,θ_i)：

将区域内最长向量的角度θ作为主方向：

步骤二：SURF特征的分类器构建

每个强分类器C对应一个SURF特征，特征匹配用分类器在每一个新的SURF检测点x的匹配分数C(x)来比较，值越大，表示当前检测点作为对应点的可能性越大。每个强分类器包括若干弱分类器，按照可靠性筛选后得到的若干弱分类器(selectors)与其对应的权重一起构成了强分类器：

其中，J表示弱分类器的个数；α_j表示每个弱分类器所占的权重；表示对样本点x属性的判断，与该SURF特征尺度和旋转不变邻域内的1个Haar特征对应，Haar特征同时做了尺度和主方向的归一化，如图5所示。由弱分类器构成的强分类器，同时具备了尺度和旋转的不变性，能够满足图像匹配的需求。

步骤三：基于SURF特征的2维尺度旋转不变空间描述

将词袋模型与局部特征结合，对目标模型中每个SURF特征点用一些视觉单词来表达，同时为视觉单词赋予尺度和旋转不变性。具体地，以每个SURF特征点为中心，在初始图像中提取图像块邻域，并按照不同层(octave)对其实现基于尺度空间的表达。各个octave上的图像块具有相同尺寸N×N，是在初始图像的基础上进行插值或降采样之后再提取得到的。相同octave上的图像块具有旋转变化。每个图像块对应一个视觉单词，所有视觉单词组成了尺度和旋转不变的2维空间，即本算法中的词袋。

图6描述了对某个SURF特征构建2维空间的过程，是从该特征在2维空间的初始对应位置(依据尺度和主方向得到的)出发，共采用了4个尺度空间，每个octave各个图像块主方向的取值范围是(0,π/2)，(π/2,π)，(π,3π/2)，(3π/2,2π)。

步骤四：分类器与视觉单词协同匹配

假设目标模型中所有SURF特征点集合为B＝{b₁,b₂,...,b_M}，对应的分类器集合为{C₁,C₂,...,C_M}，对当前帧提取的SURF特征集合为首先利用分类器C_m找到特征b_m的候选对应点ψ_m，其中1≤m≤M，之后按照匹配可靠性将候选对应点集进行排序Ψ＝{ψ₁,ψ₂,...,ψ_M}，从中挑选出能够适应当前目标变化的子集。具体地，将匹配分数C_m(ψ_m)同预设门限λ进行比较，认为只有匹配分数大于门限的点能够适应当前变化，并将其作为候选点对；反之，则弃掉ψ_m，再利用词袋中尺度和旋转不变的视觉单词补充匹配。

在补充匹配中，将目标模型中的特征点b_M对应的2维尺度和旋转不变空间的每一个视觉单词作为模板，并利用图像相关技术在当前图像的搜索区域内找到与模板最相近的图像块，同时记录匹配分数。对所有视觉单词进行相同的操作后，比较各个匹配分数的大小，并从中选出对应最大匹配分数的视觉单词和当前帧的图像块。我们将此图像块称为“准SURF特征”，并将图像块的中心点作为候选对应点ψ_M，尺度和主方向与对应的视觉单词相同。图7显示了SURF特征和视觉单词协同匹配的示意图。

步骤五：目标跟踪

初始帧I₁和第t帧I_t目标区域之间的最终运动参数h_t,1是利用步骤三和步骤四匹配得到的，最终确定了当前帧的目标区域。

步骤六：在线更新

在对目标区域完成定位后，需要对目标模型进行更新，整个流程如表1所示。如果正确的匹配点对是通过基于分类器匹配得到的，我们利用匹配点作为正样本，更新对应的分类器和2维尺度旋转不变空间；如果正确的匹配点是通过准特征点匹配得到的，我们只更新准特征点的尺度旋转不变空间；对于错误的匹配点，不做任何更新。

表1 智能化目标模型更新流程

最后，无论当前对应点来自特征点匹配还是准特征点匹配，都需要对其2维尺度和旋转空间的视觉单词进行更新。对于当前帧中的正样本点，围绕此点的邻域提取N×N图像块Y，并将Y置于与其匹配的视觉单词P_i在2维空间中所处的位置。假设P_i已经包含了L_i个N×N的图像块，对P_i做出如下的顺序更新：

L_i＝L_i+1 (10)

其中，公式(11)依照现有观测分量的数量对Y和P_i进行了加权和的操作，过程如图8所示，其中ω₁和ω₂表示相应图像块的权重。类似地，我们通过对Y在当前图像范围进行尺度和旋转的处理，更新当前2维空间的其他视觉单词表达。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求书所述为准。

Claims (9)

1.一种局部特征与词袋模型相结合的刚体目标跟踪方法，其特征在于，包括以下步骤：

1)在初始图像中选定感兴趣的目标区域，并在目标区域检测SURF特征；

2)为SURF特征构建分类器，其中每个强分类器对应一个SURF特征，每个强分类器包括若干弱分类器；

3)将词袋模型与局部特征结合，对每个SURF特征点用视觉单词来表达，形成2维尺度旋转不变空间；

4)在当前图像到来时，基于SURF特征实现分类器的自适应匹配，并使用2维尺度旋转不变空间内的视觉单词进行协同匹配，形成匹配点对；

5)根据得到的匹配点对计算得出运动参数，从而确定当前图像的目标区域，实现目标跟踪。

2.如权利要求1所述的方法，其特征在于，还包括在线更新步骤：在对目标区域完成定位后，对目标模型进行自适应更新，以便于后续帧的处理。

3.如权利要求1或2所述的方法，其特征在于：步骤1)检测SURF特征时，利用积分图像计算Hessian矩阵行列式，再通过选取极值来定位SURF特征点，并通过调整方格滤波器的尺寸来建立尺度空间；SURF特征的旋转不变性通过求取主方向实现。

4.如权利要求1或2所述的方法，其特征在于，步骤2)中，每个强分类器C对应一个SURF特征，特征匹配用分类器在每一个新的SURF检测点x的匹配分数C(x)来比较，值越大，表示当前检测点作为对应点的可能性越大；C(x)的计算公式为：

$C\left(x\right)=\underset{j=1}{\overset{J}{\Σ}}{\mathrm{\α}}_j\·h_j^{sel}\left(x\right)/\underset{j=1}{\overset{J}{\Σ}}{\mathrm{\α}}_j$

其中，J表示弱分类器的个数；α_j表示每个弱分类器所占的权重；表示对样本点x属性的判断，与该SURF特征尺度和旋转不变邻域内的1个Haar特征对应；由弱分类器构成的强分类器，同时具备尺度和旋转的不变性。

5.如权利要求1或2所述的方法，其特征在于，步骤3)建立基于SURF特征的2维尺度旋转不变空间的方法是：以每个SURF特征点为中心，在初始图像中提取图像块邻域，并按照不同层对其实现基于尺度空间的表达，各个层上的图像块具有相同尺寸，相同层上的图像块具有旋转变化；每个图像块对应一个视觉单词，所有视觉单词组成2维尺度旋转不变空间。

6.如权利要求1或2所述的方法，其特征在于，步骤4)使用分类器与视觉单词进行协同匹配的方法是：假设目标模型中所有SURF特征点集合为B＝{b₁,b₂,...,b_M}，对应的分类器集合为{C₁,C₂,...,C_M}，对当前帧提取的SURF特征集合为Υ＝{γ₁,γ₂,...,γ_Q}；首先利用分类器C_m找到特征b_m的候选对应点ψ_m，其中1≤m≤M，之后按照匹配可靠性将候选对应点集进行排序Ψ＝{ψ₁,ψ₂,...,ψ_M}，从中挑选出能够适应当前目标变化的子集。

7.如权利要求6所述的方法，其特征在于，步骤4)将匹配分数C_m(ψ_m)同预设门限λ进行比较，认为只有匹配分数大于门限的点能够适应当前变化，并将其作为候选点对；反之，则弃掉ψ_m，再利用词袋中尺度和旋转不变的视觉单词补充匹配。

8.如权利要求7所述的方法，其特征在于，在所述补充匹配中，将目标模型中的特征点b_M对应的2维尺度和旋转空间的每一个视觉单词作为模板，并利用图像相关技术在当前图像的搜索区域内找到与模板最相近的图像块，同时记录匹配分数；对所有视觉单词进行相同的操作后，比较各个匹配分数的大小，并从中选出对应最大匹配分数的视觉单词和当前帧的图像块；将此图像块称为准SURF特征，并将图像块的中心点作为候选对应点ψ_M，尺度和主方向与对应的视觉单词相同。

9.如权利要求8所述的方法，其特征在于，在进行在线更新时，如果正确的匹配点对是通过基于分类器匹配得到的，则利用匹配点作为正样本，更新对应的分类器和2维尺度旋转不变空间；如果正确的匹配点是通过准特征点匹配得到的，则只更新准特征点的尺度旋转不变空间；对于错误的匹配点，不做任何更新。