CN107194310A - 基于场景变化分类和在线局部特征匹配的刚体目标跟踪方法 - Google Patents

Abstract

本发明涉及一种基于场景变化分类和在线局部特征匹配的刚体目标跟踪方法，其步骤包括：在初始图像中选定感兴趣的目标区域，在目标区域检测SURF特征；对每个SURF特征建立场景描述向量，通过随机的场景变化实现离线学习，得到每个SURF特征最能够适应的场景分类信息；为每个SURF特征创建分类器；在当前图像到来时，判断当前图像的场景分类，从初始图像中选取最能够适应当前场景的SURF特征，并将其与当前图像检测到的SURF特征进行基于分类器的匹配，形成匹配点对；根据得到的匹配点对计算得出运动参数，从而确定当前图像的目标区域，实现目标跟踪。本发明使跟踪能够保持对视频中感兴趣区域出现连续复杂变化的自适应性。

Description

基于场景变化分类和在线局部特征匹配的刚体目标跟踪方法

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于场景变化分类和在线局部特征匹配的刚体目标跟踪方法。

背景技术

刚体目标表面任意一点的运动都可以代表整体的运动，使得利用目标区域内的特征来描述目标运动成为可能。已有的刚体目标跟踪方法致力于提取参考图像目标区域内具有不变性的某些特征，并对提取的特征进行量化和描述，如颜色特征、纹理特征、光流特征。局部特征是指在图像区域内检测到的局部具有不变性、可重现性和特异性的特征，能够在一定程度上抵抗遮挡、尺度、旋转等复杂变化，并提供对特征的定量描述。目前，相比其他特征，局部特征在不变性和特异性方面优势愈发明显，使其更加深入的应用在目标跟踪中。在当前帧到来时，首先对整个区域提取局部特征并描述。进而，通过局部特征的匹配找到同上一目标内局部特征的候选对应集。借助随机采样一致性算法(RANSAC，Random SampleConsensus)，去除不正确的对应特征集，估计出运动变换参数，实现目标跟踪。图1给出了基于特征的跟踪方法框图，其主要思路在于将跟踪看成是局部特征匹配问题。

目前，SURF(Speed-up Robust Feature，加速鲁棒特征)特征是应用较多且效果较为理想的局部特征之一，主要引入积分图像快速算法，并通过执行加减法运算近似得到高斯二阶微分的响应值。SURF算法主要包括特征检测和特征描述两方面。特征检测通过快速计算每个特征的尺度和主方向，并且圈定以检测点为中心的尺度旋转不变对称邻域；特征描述在该不变性邻域内进行Haar特征计算，并最终形成64维特征向量。不同图像之间的SURF特征匹配主要是通过比较特征向量之间的距离实现的。

运动模型构建是通过SURF特征匹配完成的。假设x和分别代表不同图像之间的对应SURF特征点，则二者之间有如下的关系：

其中，W(x,h)是透视变换函数，h＝(h₁,...h₈)^T是运动参数。具体表示如下：

得出运动参数后，将初始帧的目标区域边界进行相应的透视变换，得到当前帧的目标区域。

视频中常见的复杂场景变化主要包括以下3种。

(1)几何变化。在视频的感兴趣区域内，物体的自身轴转，会引起视角发生变化；物体发生旋转或摄像机存在转动时，视觉中就会产生旋转变化；当场景和摄像机之间的相对距离发生变化时，场景中就会产生尺度变化；当上述的变化同时发生时，就会产生仿射或者透视变化。图2给出了几何变化的示例。

(2)灰度变化。当光源或者拍摄物体表面反射条件发生变化时，会引起光照的变化，相关的图像区域灰度也会相应变化，对特征匹配造成影响。此外，当感兴趣区域被其他物体遮挡时，阴影区域也会产生灰度变化。

(3)其他变化。当物体突然快速运动或摄像机剧烈抖动时，场景会出现模糊现象，会影响特征检测和描述。此外，在区分目标和背景的视频中，如果背景中包含与目标相似的区域，也会影响特征的匹配。

在视频中，场景经常会出现以上的一种或多种变化，对局部特征的匹配造成了严重的干扰。现有技术沿用和静态图像相同的局部特征匹配方法，无法适应发生剧烈变化的场景，也没有体现与场景连续性变化相对应的自适应性。

发明内容

视频序列中，场景经常会出现复杂变化，如尺度、旋转、光照、遮挡等，对刚体目标跟踪提出了挑战，通过什么策略能够对目标区域的局部特征实现准确的描述和匹配，进而保证目标跟踪效果的鲁棒性、稳定性，是本发明要解决的技术问题。

本发明采用的技术方案如下：

一种基于场景变化分类和在线局部特征匹配的刚体目标跟踪方法，其步骤包括：

1)在初始图像中选定感兴趣的目标区域，并在目标区域检测SURF特征；

2)对步骤1)检测到的每个SURF特征建立场景描述向量，通过随机的场景变化实现对场景描述向量的离线学习，得到每个SURF特征最能够适应的场景分类信息；

3)为步骤1)检测到的每个SURF特征创建分类器；

4)在当前图像到来时，判断当前图像的场景分类，从初始图像中选取最能够适应当前场景的SURF特征，并将其与当前图像检测到的SURF特征进行基于分类器的匹配，形成匹配点对；

5)根据得到的匹配点对计算得出运动参数，从而确定当前图像的目标区域，实现目标跟踪。

进一步地，上述方法还包括在线更新步骤，即利用正确的匹配点对信息，更新初始图像的SURF特征相应的场景描述向量和分类器，以便于后续帧的处理。

进一步地，步骤1)检测SURF特征时，利用积分图像计算Hessian矩阵行列式，再通过选取极值来定位SURF特征点，并通过调整方格滤波器的尺寸来建立尺度空间；SURF特征的旋转不变性通过求取主方向实现。

进一步地，步骤2)所述场景变化包括几何变化、灰度变化和其他变化，所述其他变化包括当物体突然快速运动或摄像机剧烈抖动时，场景出现模糊的现象。

进一步地，步骤2)在视频的初始图像将SURF特征点按照对几何变化、灰度变化和其他变化的适应程度分为三类，步骤4)在当前图像到来时，采用能够适应当前场景变化的一类SURF特征进行匹配；在完成匹配后，再利用自组织的方式对SURF特征进行动态聚类更新。

进一步地，当前图像的SURF特征最适合的场景种类，由场景描述向量中的最大值决定。

进一步地，步骤5)采用非均衡采样的RANSAC算法计算出运动参数，实现对目标的定位。

本发明的关键点主要包括：a)基于局部特征匹配解决刚体目标跟踪问题；b)在初始帧和当前帧之间对刚体目标构建运动模型；c)复杂变化下SURF特征的可重复性；d)利用分类器来实现局部特征匹配；e)对SURF特征按照适应不同场景变化进行分类；f)对每个SURF特征的场景描述向量进行动态聚类更新；g)在线更新使跟踪保持自适应性，保证了算法的系统性和完备性。

与现有技术相比，本发明的有益效果如下：

本发明基于场景变化提出了一种自适应的刚体目标跟踪方案，以应对视频中复杂的场景变化。该方案将感兴趣区域内的SURF特征按照适应几何变化、灰度变化和其他变化分为3类。在当前帧到来时，尽量选择最能够适应当前场景变化的SURF特征进行基于分类器的匹配，再通过非均衡采样RANSAC算法更多的选取自适应特征匹配对，求解运动参数。根据运动参数对特征点匹配对的验证结果在线更新分类器，通过对SURF特征的场景描述向量进行更新实现特征的动态聚类，使跟踪能够保持对视频中感兴趣区域出现连续复杂变化的自适应性。

附图说明

图1.现有技术中基于特征的跟踪方法框图。

图2.几何变形类别示意图。

图3.本发明方法的工作流程图。

图4.不同场景变化下的SURF特征检测示例图。

图5.基于扇形滑动窗口的主方向求解示意图。

图6.尺度和旋转不变的分类器构建示意图。

图7.基于场景变化的SURF特征动态聚类示意图。

图8.面向分类SURF特征的非均衡采样RANSAC的示意图。

图9.目标跟踪示意图。

具体实施方式

下面通过具体实施例和附图，对本发明做进一步说明。

本发明提出了一种自适应复杂场景变化的在线局部特征匹配方案。首先，用分类的理念对SURF特征进行匹配，并引入可在线学习的分类器；同时，对复杂场景进行分类，并对SURF特征在特定场景变化下的不变性进行研究，实现动态聚类；最后结合聚类的权重进行非均衡采样的RANSAC，求解运动参数，进行在线更新。最终使跟踪在复杂的场景变化下具有较好的鲁棒性和准确性。

本发明的工作流程如图3所示。在初始图像中，选定感兴趣的目标区域，并在目标区域检测SURF特征。对每个SURF特征做如下操作：第一，建立场景描述向量，再通过对感兴趣的区域进行随机的几何变化、灰度变化和其他变化，实现对向量的离线学习，获取每个SURF特征最能够适应的场景分类信息；第二，为每个SURF特征创建一个分类器并作更新。在新的图像到来时，判断当前图像的场景分类，从初始图像中选取最能够适应当前场景的SURF特征，并将其与新图像检测到的SURF特征进行基于分类器的匹配，形成匹配点对。通过非均衡采样RANSAC计算出运动参数，实现对目标的定位。同时，利用正确的匹配点对信息，更新初始帧SURF特征相应的描述向量和分类器，便于后续帧的处理。

SURF特征可以在一定程度上抵抗复杂的场景变化，但并不是每个SURF特征对几何变化、灰度变化和其他变化都具有不变性和可重复性。特别是场景发生剧烈变化时，SURF特征的可重复性不尽相同，且呈现一定规律。如图4所示，对场景发生几何变化、光照变化和模糊变化分别进行SURF特征检测(在基准图像的圈定区域内)，圆心代表SURF特征检测点，半径与尺度成正比。可以看出，一部分特征对于几何变化具有明显的可重复性，此类特征的周围区域相对平坦；一部分特征对于光照变化具有抵抗性，此类特征的上下或左右两侧具有鲜明对比，光照变化无法掩盖对比度；此外，还有一些特征对模糊变化鲁棒。SURF特征对于特定场景变化呈现的规律性为本方案提出动态聚类的分类模式奠定了理论基础。

具体实现方案描述如下：

步骤一：SURF特征提取

SURF特征提取利用积分图像计算Hessian矩阵行列式,再通过选取极值来定位。具体地,对图像I上点x＝(x,y)处，尺度s的Hessian矩阵H(x,s)表示为：

以L_xx(x,s)为例，代表高斯函数二阶导数在x＝(x,y)处与图形I的卷积，具体用方格滤波器(box filter)D_xx来近似。通过引入相关权重w，实现对Hessian矩阵行列式的平衡：

det(H_approx)＝D_xxD_yy-(wD_xy)² (4)

对于SURF特征检测，建立尺度空间不需要改变原图像尺寸，而是通过调整方格滤波器的尺寸来实现，与原图像在进行卷积计算。将方格滤波器的近似表示和积分图像结合提升计算效率,计算滤波器模板尺寸归一化det(H_approx)。

通过不同尺寸方格滤波器形成的层(octave)就是对尺度空间的表达。兴趣点的定位是以候选点为中心的图像和包括尺度空间在内的3×3×3邻域内执行非极大值抑制策略，将具有最大或最小值的对应点作为特征点，同时得到尺度s。

SURF特征的旋转不变性是通过求取主方向(dominant orientation)实现的，求解过程仍然利用了积分图像的计算优势。在以特征点为圆心、6σ为半径的圆内，按步长σ计算相应像素的Haar小波响应，同时进行尺度归一化和高斯平滑，得到x方向的响应d_x和y方向的响应d_y，再映射到极坐标当中，如图5所示。在π/3的扇形滑动区域内对d_x和d_y进行统计，记录当前窗口i的矢量(w_i,θ_i)：

将区域内最长向量的角度θ作为主方向：

步骤二：SURF特征的分类器构建

每个强分类器C对应一个SURF特征，特征匹配用分类器在每一个新的SURF检测点x的匹配分数C(x)来比较，值越大，表示当前检测点作为对应点的可能性越大。每个强分类器包括若干弱分类器，按照可靠性筛选后得到的若干弱分类器(selectors)与其对应的权重一起构成了强分类器：

其中，J表示弱分类器的个数；α_j表示每个弱分类器所占的权重；表示对样本点x属性的判断，与该SURF特征尺度和旋转不变邻域内的1个Haar特征对应，Haar特征同时做了尺度和主方向的归一化，如图6所示。由弱分类器构成的强分类器，同时具备了尺度和旋转的不变性，能够满足图像匹配的需求。

步骤三：基于场景变化分类的在线SURF特征匹配

在视频的初始帧将SURF特征点按照对几何变化、灰度变化和其他变化的适应程度分为3类，在当前帧到来时，更多的采用能够适应当前场景变化的一类SURF特征进行匹配。在完成匹配后，再利用自组织的方式对SURF特征进行动态聚类更新，如图7所示。所述自组织的方式是指能够根据SURF特征当前的状态，通过算法自动将其划分类别，不用人为加以判断或描述。

在视频的初始帧I₁选取感兴趣区域Γ，在Γ内进行SURF特征检测得到R个特征点X＝{x₁,x₂,...,x_R}，为每个特征点x_r建立1×3场景描述向量C(x_r)＝(c_几何(x_r),c_灰度(x_r),c_其他(x_r))，初始值为零向量。在初始帧，对场景描述向量进行离线学习。通过对感兴趣区域进行随机的几何变化、灰度变化和其他变化，得到30个样本数量(每种变化10个样本，带标签)，并与初始感兴趣区域建立匹配，更新C(x_r)。比如，如果特征x_r在与某个发生了几何变化的图像中找到了对应点，则c_几何(x_r)的值加1，以此类推。当前SURF特征最适合的场景种类S(x_r)是由场景描述向量中的最大值决定的。如果C(x_r)向量中的最大值是c_几何(x_r)，则特征x_r对几何变化最鲁棒：S(x_r)＝{几何变化}。当视频的初始帧I₁与当前帧I_t的感兴趣区域进行特征匹配时，将I_t的场景变化S_t用正确的SURF特征匹配中最大百分比所适合的场景来代表。假设适合几何变化的SURF特征占最多数，则S_t＝{几何变化}。当I_t+1到来时，则在I₁选取所有S(x_r)＝{几何变化}的特征点和50％适应其他场景的SURF特征，用这些特征建立匹配关系。

步骤四：非均衡采样RANSAC

在建立了对应关系后，采用基于非均衡采样RANSAC算法来计算透视运动参数。传统的RANSAC算法每次随机选取4组对应点对来计算运动参数，然而，并不是所有的候选对应点对都同样可靠。如果继续沿用随机抽样，可能会因为少数点对不可靠影响最优解，也会增加抽样次数来追求相对准确结果。在非均衡采样RANSAC方案中，每组候选SURF特征对应一个抽样的权重，权重越大采样的概率越大。如图8所示，如果当前场景变化为几何变化，则赋予S(x_r)＝{几何变化}的SURF特征更大的权重，因为适应当前场景的特征点相关更加可靠。

步骤五：目标跟踪

目标跟踪示意图如图9所示，初始帧I₁和第t帧I_t目标区域之间的最终运动参数h_t,1是利用分类器匹配得到的，最终确定了当前帧的目标区域。

步骤六：在线更新

在求解得到运动参数后，对建立对应关系的特征点对进行验证，对正确的特征点x_r的场景描述向量C(x_r)进行更新：c_几何(x_r)＝c_几何(x_r)+1，再更新正确SURF特征对应的分类器。

在某一帧，可能会出现场景变化是几何、灰度或其他变化的综合表现，本方案选取的SURF特征种类同时兼顾了各种变化的情况，能够抵抗此类变化。同时，通过RANSAC得到的运动参数会反馈验证匹配对，在更新场景描述向量的同时对当前场景最主要的变化给出结论。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求书所述为准。

Claims (8)

1.一种基于场景变化分类和在线局部特征匹配的刚体目标跟踪方法，其步骤包括：

1)在初始图像中选定感兴趣的目标区域，并在目标区域检测SURF特征；

2)对步骤1)检测到的每个SURF特征建立场景描述向量，通过随机的场景变化实现对场景描述向量的离线学习，得到每个SURF特征最能够适应的场景分类信息；

3)为步骤1)检测到的每个SURF特征创建分类器；

4)在当前图像到来时，判断当前图像的场景分类，从初始图像中选取最能够适应当前场景的SURF特征，并将其与当前图像检测到的SURF特征进行基于分类器的匹配，形成匹配点对；

5)根据得到的匹配点对计算得出运动参数，从而确定当前图像的目标区域，实现目标跟踪。

2.如权利要求1所述的方法，其特征在于，还包括在线更新步骤，即利用正确的匹配点对信息，更新初始图像的SURF特征相应的场景描述向量和分类器，以便于后续帧的处理。

3.如权利要求1所述的方法，其特征在于，步骤1)检测SURF特征时，利用积分图像计算Hessian矩阵行列式，再通过选取极值来定位SURF特征点，并通过调整方格滤波器的尺寸来建立尺度空间；SURF特征的旋转不变性通过求取主方向实现。

4.如权利要求1所述的方法，其特征在于，步骤3)中，每个强分类器C对应一个SURF特征，特征匹配用分类器在每一个新的SURF检测点x的匹配分数C(x)来比较，值越大，表示当前检测点作为对应点的可能性越大；C(x)的计算公式为：

<mrow> <mi>C</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>J</mi> </munderover> <msub> <mi>&amp;alpha;</mi> <mi>j</mi> </msub> <mo>&amp;CenterDot;</mo> <msubsup> <mi>h</mi> <mi>j</mi> <mrow> <mi>s</mi> <mi>e</mi> <mi>l</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>/</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>J</mi> </munderover> <msub> <mi>&amp;alpha;</mi> <mi>j</mi> </msub> <mo>,</mo> </mrow>

其中，J表示弱分类器的个数；α_j表示每个弱分类器所占的权重；表示对样本点x属性的判断，与该SURF特征尺度和旋转不变邻域内的1个Haar特征对应；由弱分类器构成的强分类器，同时具备尺度和旋转的不变性。

5.如权利要求1所述的方法，其特征在于，步骤2)所述场景变化包括几何变化、灰度变化和其他变化，所述其他变化包括当物体突然快速运动或摄像机剧烈抖动时，场景出现模糊的现象。

6.如权利要求5所述的方法，其特征在于，步骤2)在视频的初始图像将SURF特征点按照对几何变化、灰度变化和其他变化的适应程度分为三类，步骤4)在当前图像到来时，采用能够适应当前场景变化的一类SURF特征进行匹配；在完成匹配后，再利用自组织的方式对SURF特征进行动态聚类更新。

7.如权利要求6所述的方法，其特征在于，当前图像的SURF特征最适合的场景种类，由场景描述向量中的最大值决定。

8.如权利要求1所述的方法，其特征在于，步骤5)采用非均衡采样的RANSAC算法计算出运动参数，实现对目标的定位。