CN106778831B - 基于高斯混合模型的刚体目标在线特征分类与跟踪方法 - Google Patents

Abstract

本发明涉及一种基于高斯混合模型的刚体目标在线特征分类与跟踪方法。该方法包括以下步骤：1)在初始图像中选定感兴趣的目标区域，并在目标区域检测SURF特征；2)为每个SURF特征创建分类器；3)在新图像到来时，利用分类器对初始图像中的SURF特征与新图像检测到的SURF特征进行匹配，形成匹配点对；在分类器的匹配过程中，采用基于高斯混合模型的在线分类机制判别正样本和负样本；4)根据匹配点对，采用随机采样一致性算法计算得出运动参数，从而确定当前图像的目标区域，实现目标跟踪。本发明能够应对视频中复杂的场景变化，保证跟踪的自适应能力，实现稳定连续、现实可用的目标跟踪。

Description

基于高斯混合模型的刚体目标在线特征分类与跟踪方法

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于高斯混合模型的在线特征分类与跟踪方法。

背景技术

刚体目标表面任意一点的运动都可以代表整体的运动，使得利用目标区域内的特征来描述目标运动成为可能。已有的刚体目标跟踪方法致力于提取参考图像目标区域内具有不变性的某些特征，并对提取的特征进行量化和描述，如颜色特征、纹理特征、光流特征。局部特征是指在图像区域内检测到的局部具有不变性、可重现性和特异性的特征，能够在一定程度上抵抗遮挡、尺度、旋转等复杂变化，并提供对特征的定量描述。目前，相比其他特征，局部特征在不变性和特异性方面优势愈发明显，使其更加深入的应用在目标跟踪中。在当前帧到来时，首先对整个区域提取局部特征并描述。进而，通过局部特征的匹配找到同上一目标内局部特征的候选对应集。借助随机采样一致性算法(RANSAC)，去除不正确的对应特征集，估计出运动变换参数，实现目标跟踪。图1给出了基于特征的跟踪方法框图，其主要思路在于将跟踪看成是局部特征匹配问题。

目前，SURF(Speed-up Robust Feature，加速鲁棒特征)特征是应用较多且效果较为理想的局部特征之一，主要引入积分图像快速算法，并通过执行加减法运算近似得到高斯二阶微分的响应值。SURF算法主要包括特征检测和特征描述两方面。特征检测通过快速计算每个特征的尺度和主方向，并且圈定以检测点为中心的尺度旋转不变对称邻域；特征描述在该不变性邻域内进行Haar特征计算，并最终形成64维特征向量。不同图像之间的SURF特征匹配主要是通过比较特征向量之间的距离实现的。运动模型构建是通过SURF特征匹配完成的。假设x和x分别代表不同图像之间的对应SURF特征点，则二者之间有如下的关系：

其中，W(x,h)是透视变换函数，h＝(h₁,...h₈)^T是运动参数。具体表示如下：

得出运动参数后，将初始帧的目标区域边界进行相应的透视变换，得到当前帧的目标区域。

视频中常见的复杂场景变化主要包括以下3种：

(1)几何变化。在视频的感兴趣区域内，物体的自身轴转，会引起视角发生变化；物体发生旋转或摄像机存在转动时，视觉中就会产生旋转变化；当场景和摄像机之间的相对距离发生变化时，场景中就会产生尺度变化；当上述的变化同时发生时，就会产生仿射或者透视变化。图2给出了几何变化的示例。

(2)灰度变化。当光源或者拍摄物体表面反射条件发生变化时，会引起光照的变化，相关的图像区域灰度也会相应变化，对特征匹配造成影响。此外，当感兴趣区域被其他物体遮挡时，阴影区域也会产生灰度变化。

(3)其他变化。当物体突然快速运动或摄像机剧烈抖动时，场景会出现模糊现象，会影响特征检测和描述。此外，在区分目标和背景的视频中，如果背景中包含与目标相似的区域，也会影响特征的匹配。

在视频中，场景经常会出现以上的一种或多种变化，对局部特征的匹配造成了严重的干扰。现有技术沿用和静态图像相同的局部特征匹配方法，无法适应发生剧烈变化的场景，也没有体现与场景连续性变化相对应的自适应性。

运动目标跟踪是计算机视觉领域极富挑战的研究课题，它不但具有广阔的研究意义，而且对整个视觉领域有着重要的推动作用。目前，刚体目标跟踪技术已经成为热点研究课题，在军事、民用等很多领域都存在十分广泛的应用，具有深远的经济、社会价值。在现实生活中，由于一些不利因素的存在，目标跟踪系统的设计仍然面临很大的困难和挑战，鲁棒性和稳定性需要进一步提升。如何在视频中对感兴趣的刚体目标进行准确和有效的定位，特别是在目标或背景发生复杂变化时，仍然能够保证跟踪的自适应能力，实现稳定连续、现实可用的跟踪系统，成为目标跟踪的关键问题，也是本发明要解决的技术问题。

发明内容

本发明针对上述问题，提出一种基于高斯混合模型的在线特征分类与跟踪方法，能够应对视频中复杂的场景变化，保证跟踪的自适应能力，实现稳定连续、现实可用的目标跟踪。

本发明采用的技术方案如下：

一种基于高斯混合模型的刚体目标在线特征分类与跟踪方法，包括以下步骤：

1)在初始图像中选定感兴趣的目标区域，并在目标区域检测SURF特征；

2)为每个SURF特征创建分类器，其中每个强分类器对应一个SURF特征，每个强分类器包括若干弱分类器；

3)在新图像到来时，利用分类器对初始图像中的SURF特征与新图像检测到的SURF特征进行匹配，形成匹配点对；在分类器的匹配过程中，采用基于高斯混合模型的在线分类机制判别正样本和负样本；

4)根据得到的匹配点对，采用随机采样一致性算法计算得出运动参数，从而确定当前图像的目标区域，实现目标跟踪。

进一步地，还包括在线更新步骤：在对目标区域完成定位后，对建立对应关系的特征点对进行验证，对每个分类器进行在线更新。

本发明的关键点包括：1)基于局部特征匹配解决刚体目标跟踪问题；2)在连续帧之间对刚体目标构建运动模型；3)利用分类器来实现局部特征匹配；4)基于高斯混合模型的在线分类机制；5)对高斯混合模型的自组织学习；6)在线更新使跟踪保持自适应性，保证了算法的系统性和完备性。

与现有技术相比，本发明的有益效果如下：

本发明提出了一种基于高斯混合模型的在线特征分类与跟踪方案，以应对视频中复杂的场景变化。首先，用分类的理念对SURF特征进行匹配，并引入可在线学习的分类器；利用适应当前目标变化的分类器实现同目标模型的匹配，并在目标模型内对局部特征构建动态2维尺度-旋转不变空间协同匹配；提出基于高斯混合模型的在线更新机制，并对混合模型的相关参数进行在线顺序更新(Sequential Updating)、自组织学习样本特征，最终从本质提高了分类器的精度和自适应性。

附图说明

图1是现有技术中基于特征的跟踪方法框图。

图2是几何变形类别示意图。

图3是本发明方法的工作流程图。

图4是基于扇形滑动窗口的主方向求解示意图。

图5是尺度和旋转不变的分类器构建示意图。

图6是基于简单二分决策分类机制的不足示意图。

图7是高斯混合模型示意图(K＝3)。

图8是目标跟踪示意图。

图9是对高斯混合模型的自组织学习示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面通过具体实施例和附图，对本发明做进一步说明。

本发明提出了一种基于高斯混合模型的在线特征分类与跟踪方案，其工作流程如图3所示。在初始图像中，选定感兴趣的目标区域，并在目标区域检测SURF特征，为每个SURF特征创建一个分类器并作更新。在新的图像到来时，利用分类器对初始图像中的SURF特征与新图像检测到的SURF特征进行匹配，形成匹配点对。RANSAC过后，对目标进行定位，最后对分类器进行自适应更新，便于后续帧的处理。

具体实现方案描述如下：

步骤一：SURF特征提取

SURF特征提取利用积分图像计算Hessian矩阵行列式，再通过选取极值来定位SURF特征点。具体地,对图像I上点x＝(x,y)处，尺度s的Hessian矩阵H(x,s)表示为：

以L_xx(x,s)为例，代表高斯函数二阶导数在x＝(x,y)处与图形I的卷积，具体用方格滤波器(box filter)D_xx来近似。通过引入相关权重w(约等于0.9)，实现对Hessian矩阵行列式的平衡:

det(Η_approx)＝D_xxD_yy-(wD_xy)² (4)

对于SURF特征检测，建立尺度空间不需要改变原图像尺寸，而是通过调整方格滤波器的尺寸来实现，与原图像在进行卷积计算。将方格滤波器的近似表示和积分图像结合提升计算效率，计算滤波器模板尺寸归一化det(Η_approx)。

通过不同尺寸方格滤波器形成的层(octave)就是对尺度空间的表达。兴趣点的定位是以候选点为中心的图像和包括尺度空间在内的3×3×3邻域内执行非极大值抑制策略，将具有最大或最小值的对应点作为特征点，同时得到尺度s。

SURF特征的旋转不变性是通过求取主方向(dominant orientation)实现的，求解过程仍然利用了积分图像的计算优势。在以特征点为圆心、6σ为半径的圆内，按步长σ计算相应像素的Haar小波响应，同时进行尺度归一化和高斯平滑，得到x方向的响应d_x和y方向的响应d_y，再映射到极坐标当中，如图4所示。在π/3的扇形滑动区域内对d_x和d_y进行统计，记录当前窗口i的矢量(w_i,θ_i)：

将区域内最长向量的角度θ作为主方向：

步骤二：SURF特征的分类器构建

在初始帧，对于目标区域内的每个SURF特征点γ构建不变性区域P_γ，定义是以γ为圆心、2.5s为半径的圆形区域，s为特征的尺度。

每个强分类器C对应一个SURF特征，特征匹配用分类器在每一个新的SURF检测点x的匹配分数C(x)来比较，值越大，表示当前检测点作为对应点的可能性越大。每个强分类器包括若干弱分类器，按照可靠性筛选后得到的若干弱分类器(selectors)与其对应的权重一起构成了强分类器：

其中，J表示弱分类器的个数；α_j表示每个弱分类器所占的权重；

表示对样本点x属性的判断，与该SURF特征尺度和旋转不变邻域内的1个Haar特征对应，Haar特征同时做了尺度和主方向的归一化，如图5所示。由弱分类器构成的强分类器，同时具备了尺度和旋转的不变性，能够满足图像匹配的需求。

步骤三：基于高斯混合模型的在线分类机制

在分类器的匹配过程中，每个强分类器的鲁棒性是由其对应的若干弱分类器的性能决定的。在以往的跟踪方法中，弱分类器的分类机制是建立在简单的二分决策规则上的，即输出的Haar特征在决策线一侧为正样本，在另一侧为负样本。然而，这样的分类方式并不能很好地反映实际情况。对于正样本，其邻域内的Haar特征在分类空间的分布也许是趋向集中的；每帧的负样本却是随机挑选的，对应的Haar特征值也就多种多样，在分类空间的分布也是完全随机的。如图6所示，五角星代表正样本的某个Haar特征在对应弱分类器决策线中的位置，圆圈代表随机选取的负样本邻域内的同一个Haar特征。如果负样本的数量比较少，分类器比较容易训练，也许能够完全区分正负样本特征。然而，跟踪方法对分类器的学习是一个在线的过程。随着负样本的不断涌入，分类平面会左右摇摆，直到最后无法区分。分类器的匹配性能具有进一步提升的可能。

在本方案中，每个弱分类器对应了SURF特征邻域内的一个Haar特征。由于SURF特征本身具有一定的可重复性，对应的Haar特征也是经过尺度和旋转归一化的，因此，在同一类目标变化下，不同帧中相同SURF特征的同一个Haar特征值的分布会相对集中。对于不同种类的目标变化，特征值的分布也容易聚成不同的类。基于上述分析，本方案聚焦正样本的Haar特征分布，而忽略负样本对弱分类器的判决影响，提出如下基于高斯混合模型p(x)的在线分类机制。具体地，对于每个弱分类器，利用K高斯混合模型(如图7所示)对其建模：

其中，x表示输入变量，K表示高斯分量的个数，每个高斯密度N(x|μ_k,σ_k)表示混合模型中的一个成分，用均值μ_k和方差σ_k来衡量，参数π_k称为混合系数。在分类器判别过程中，首先计算当前SURF特征点对应的Haar特征值，如果该特征值处于高斯混合模型的任意一个成分对应的区间范围(μ_k-ωσ_k,μ_k+ωσ_k)，其中ω为常量，则认为该特征是正样本并输出“+1”，反之将其划为负样本并输出“-1”。

对样本的在线学习与行人检测中常用的样本训练方法本质上是不同的。对于行人检测，成千上万个样本被用来训练分类器。受行人着装和姿势的影响，不同正样本在分类超平面上的分布可能距离很远，因此需要大量的负样本来确保每个分类器至少要比随机猜测(random guess)的准确率高。相比之下，本方案将每个强分类器对应一个SURF特征。每个弱分类器对应的Haar特征也是经过尺度和旋转归一化的。因此，利用高斯混合模型描述正样本弱特征的分布，忽略负样本，在节省计算量的同时提高分类精度。

步骤四：目标跟踪

目标跟踪示意图如图8所示，当前帧I_t-1和第t帧I_t目标区域之间的最终运动参数h_t,t-1是利用分类器匹配得到的，在运用RANSAC后计算得出运动参数，最终确定了当前帧的目标区域。

步骤五：在线更新

在对目标区域完成定位后，对建立对应关系的特征点对进行验证，对每个分类器进行在线更新。对强分类器的更新是基于对弱分类器更新完成的。对于每个弱分类器，首先根据正样本计算出当前弱分类器对应的Haar特征响应值x，并判断x距离高斯混合模型的哪个分量的均值最近，假设是第k个分量。采用顺序更新(sequential learning)的方式对模型进行更新。如果该分量已经包含了N_k个观测分量，则相关参数调整为：

N_k＝N_k+1 (10)

接下来，本方案关注高斯混合模型中每个分量中的样本分布情况。当开始进行跟踪时，正样本数量较少，样本的聚类比较容易判断，不同分量中的样本分布也容易区分。随着样本的不断积累，各个分量内样本间的差异开始显现，类内距离较大。此时，采取自组织学习的方法，重新抽取各个分量中样本内在的特征并形成数据分布拓扑，自动对当前的样本进行聚类，减小类内距离、增大类间距离，实现优化K高斯分量的目的。由于算法事先对混合模型高斯分量的个数K进行了设定，接下来采取K均值聚类的方式对样本分布进行自组织学习。具体地，定义当前第k个分量的第n个样本点为x_kn，并致力于最小化各个分量类内误差的平方和：

通过迭代求解上式，进而确定每个分量中的样本分布。其中，各个分量目前的均值参数μ_k作为初始化输入。在第j次迭代中，得到：

再根据各个分量的均值按照最小欧式距离的原则确定当前分量中的样本分布。如此反复，直到各分量的均值完全收敛。对高斯混合模型的自组织学习过程如图9所示。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求书所述为准。

Claims (9)

1.一种基于高斯混合模型的刚体目标在线特征分类与跟踪方法，其特征在于，包括以下步骤：

1)在初始图像中选定感兴趣的目标区域，并在目标区域检测SURF特征；

2)为每个SURF特征创建分类器，其中每个强分类器对应一个SURF特征，每个强分类器包括若干弱分类器；

3)在新图像到来时，利用分类器对初始图像中的SURF特征与新图像检测到的SURF特征进行匹配，形成匹配点对；在分类器的匹配过程中，采用基于高斯混合模型的在线分类机制判别正样本和负样本；所述基于高斯混合模型的在线分类机制，对于每个弱分类器利用K高斯混合模型对其建模；当样本不断积累使得所述高斯混合模型中各个分量内样本间的差异开始显现且类内距离较大时，采取自组织学习的方法，重新抽取各个分量中样本内在的特征并形成数据分布拓扑，自动对当前的样本进行聚类，减小类内距离、增大类间距离，实现优化K高斯分量的目的；

4)根据得到的匹配点对，采用随机采样一致性算法计算得出运动参数，从而确定当前图像的目标区域，实现目标跟踪。

2.如权利要求1所述的方法，其特征在于，还包括在线更新步骤：在对目标区域完成定位后，对建立对应关系的特征点对进行验证，对每个分类器进行在线更新。

3.如权利要求1或2所述的方法，其特征在于：步骤1)检测SURF特征时，利用积分图像计算Hessian矩阵行列式，再通过选取极值来定位SURF特征点，并通过调整方格滤波器的尺寸来建立尺度空间；SURF特征的旋转不变性通过求取主方向实现。

4.如权利要求1或2所述的方法，其特征在于：步骤2)中，每个弱分类器对应SURF特征邻域内的一个Haar特征，Haar特征经过尺度和主方向的归一化，由弱分类器构成的强分类器同时具备尺度和旋转的不变性。

5.如权利要求1或2所述的方法，其特征在于：步骤3)进行特征匹配时，用分类器在每一个新的SURF检测点的匹配分数来比较，匹配分数的值越大，表示当前检测点作为对应点的可能性越大。

6.如权利要求1或2所述的方法，其特征在于：步骤3)所述基于高斯混合模型的在线分类机制，聚焦正样本的Haar特征分布，而忽略负样本对弱分类器的判决影响。

7.如权利要求6所述的方法，其特征在于：所述基于高斯混合模型的在线分类机制，对于每个弱分类器利用K高斯混合模型对其建模的公式为：

其中，x表示输入变量，K表示高斯分量的个数，每个高斯密度N(x|μ_k,σ_k)表示混合模型中的一个成分，用均值μ_k和方差σ_k来衡量，参数π_k称为混合系数；在分类器判别过程中，首先计算当前SURF特征点对应的Haar特征值，如果该特征值处于高斯混合模型的任意一个成分对应的区间范围(μ_k-ωσ_k,μ_k+ωσ_k)，其中w为常量，则认为该特征是正样本，反之将其划为负样本。

8.如权利要求1所述的方法，其特征在于：基于高斯分量的个数K，采取K均值聚类的方式对样本分布进行自组织学习。

9.如权利要求2所述的方法，其特征在于：进行在线更新时，对强分类器的更新是基于对弱分类器更新完成的，对于每个弱分类器，首先根据正样本计算出当前弱分类器对应的Haar特征响应值x，并判断x距离高斯混合模型的哪个分量的均值最近，然后采用顺序更新的方式对模型进行更新。

Images