CN102004910A - 基于surf特征点图匹配和运动生成模型的视频目标跟踪方法 - Google Patents

Abstract

一种计算机视觉技术领域的基于SURF特征点图匹配和运动生成模型的视频目标跟踪方法，包括以下步骤：使用局部特征点集描述目标物体；通过将新帧图像中检测得到的特征点集与目标特征点集进行图匹配得到目标局部特征点的运动信息；使用生成模型来刻画局部特征点的运动与目标整体的运动之间的关系；利用最大似然估计在局部特征点运动信息上计算出目标整体运动参数；利用在线最大期望方法更新目标特征点的混合概率系数；通过监视背景特征点是否进入目标区域内来判断。本发明能有效地适用于一般目标的实时跟踪，并且克服现有跟踪方法在光照变化、形态变化、背景纷杂和目标遮挡等情况下的失效。有效地跟踪视频目标，给出正确和实际有效的运动信息。

Description

基于SURF特征点图匹配和运动生成模型的视频目标跟踪方法

技术领域

本发明涉及的是一种计算机视觉技术领域的目标跟踪方法，特别是一种基于SURF特征点图匹配和运动生成模型的视频目标跟踪方法。

背景技术

计算机视觉的研究是为了让计算机具有如同人类一样强大的视觉能力，其中目标跟踪是该领域中一个极具吸引力又极富挑战性的课题。目标跟踪技术在民用和军事上都有着巨大应用前景，如对银行、停车场、重要公共场合等进行实时监控，在交通系统中对车牌自动识别，智能汽车自动驾驶等，战争环境中对敌方快速移动目标进行准确定位和跟踪；其在人机交互、虚拟现实中也有重要的应用价值，如视觉焦点追踪、头部追踪等。目标跟踪技术在研究工作者们的推动下有着长足进步，产生了一些经典的跟踪方法，如Mean-Shift跟踪、Particle filter跟踪、Ensemble跟踪等，但离实际应用还有较大差距，特别是光照变化、形态变化、背景纷杂和遮挡等情况发生时。

SURF特征作为一种新兴的特征提取技术，在图像匹配、目标识别、视频数据挖掘等问题中已经获得了广泛应用，并取得了巨大的成功。它具有对图像的旋转、缩放、三维观测视角变化等的不变性，在实际应用中表现出很好的鲁棒性和高重复性，同时其描述子具有高维特征分布的独特性。区别于通常的局部特征技术，SURF特征通过对特征点位置检测过程使用的DOG算子进行近似优化处理，同时利用经典的积分图技术等，在特征检测和计算速度上有很大突破，使实时的图像特征提取成为现实。

发明内容

本发明的目的是克服现有目标跟踪方法的不足，提供一种基于SURF特征点图匹配和运动生成模型的视频目标跟踪方法。本发明从运动估计的角度出发，结合SURF特征提取技术，有效地跟踪视频目标，给出正确和实际有效的运动信息。本发明能够有效地适用于现实环境下一般目标的实时跟踪，并且克服现有跟踪方法在光照变化、形态变化、背景纷杂和目标遮挡等情况下的失效。

本发明通过以下技术方案实现：

本发明包括以下步骤：

①使用局部特征点集描述目标物体；

②通过将新帧图像中检测得到的特征点集与目标特征点集进行图匹配得到目标局部特征点的运动信息；

③使用生成模型来刻画局部特征点的运动与目标整体的运动之间的关系；

④利用最大似然估计在局部特征点运动信息上计算出目标整体运动参数；

⑤利用在线最大期望(Expectation-Maximization，简称EM)方法更新目标特征点的混合概率系数；

⑥通过监视背景特征点是否进入目标区域内来判断。

所述的局部特征点，其运动与目标整体的运动之间的关系则是通过一个生成模型来刻画的。

所述的生成模型包含两部分：一致模态和游走模态。某特征点的运动若由一致模态生成，则暗示着此特征点的运动与目标整体保持一致，反之，则表明此特征点的运动与目标整体无关。而生成模型的参数则是利用在线最大期望方法实时有效地学习得到的。

所述的目标是通过一个SURF特征点集来进行描述的。这样一种描述方式的优点在于它能够允许目标的不同部分进行不同的运动，因此能够更加灵活地处理目标的形态变化。而这些特征点的运动信息则通过一个特征点图匹配的过程获得。目标的结构信息在匹配过程中被考虑进来，以加强匹配的可靠性。

所述的在线最大期望方法，通过最大化特征点的运动信息的似然估计出目标整体的运动参数，然后目标整体的运动信息用于更新和调整对目标的描述。与目标运动保持一致的特征点将赋以更高的权重，同时，新检测到的目标上的特征点也被吸收进入对目标的表达中，以此来学习目标的形态变化。

本发明的方法能够有效地跟踪视频目标，给出正确性和实际有效性的运动信息。本发明不依赖于对目标物体进行刚体运动的假设，因此在处理目标形态变化等情景更加稳定有效。特征点运动生成模型精确刻画了局部特征点的运动与目标整体的运动的关系，大量的试验结果证明了模型的理论正确性和实际有效性。

附图说明

图1本发明对跟踪对象所取得的跟踪结果示意图。

具体实施方式

以下结合附图对本发明的实施例作详细说明：以下实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和过程，但本发明的保护范围不限于下述的实施例。

实施例

本实施例详细的实施方式和过程如下：

①使用局部特征点集描述目标物体；

②通过将新帧图像中检测得到的特征点集与目标特征点集进行图匹配得到目标局部特征点的运动信息；

所述的图匹配，在连续的几帧图像中观察特征点的运动可以视为在两个特征点集中进行匹配，本实施例使用生成SURF特征点描述子的欧氏距离形成初始匹配候选，然后利用特征点的空间结构信息通过图匹配的方法寻找最优匹配，得到特征点的运动信息。

③使用生成模型来刻画局部特征点的运动与目标整体的运动之间的关系；

所述的生成模型，模型包含两部分，第一部分是一致性模型，它用来捕捉局部特征点的运动和目标整体的运动之间的一致性关联。若某特征点运动观测量v_t是从一致模态中生成所得，本实施例将它的概率密度函数视为高斯分布：

这里c_t表示时间节点t时刻目标整体的运动参数，∑_c是一个固定的经验性的协方差矩阵。生成模型的第二部分是为了描述部分特征点运动观察量与目标整体运动的不相关性。将这一部分视为随机游走模态，若某特征点运动观测量v_t是从该模态中生成，则其概率密度函数p_r(v_t)定义为在观测空间上的均匀分布。这两种模态通过概率混合模型结合起来组成了对观测量v_t生成模型：p(v_t|c_t，m_t)＝m_c，tp_c(v_t|c_t)+m_r，tp_r(v_t)；这里m_t＝(m_c，t，m_r，t)是此特征在时间节点t时刻的模态混合系数。

④利用最大似然估计在局部特征点运动信息上计算出目标整体运动参数；

⑤利用在线最大期望方法更新目标特征点的混合概率系数；

模型参数是通过在线最大期望方法计算得到，其中：

E步：计算每个特征点运动观测量v_k对于混合的各模态的归属程度，

M步：更新模态混合系数，m_i，t＝αo_i，t(v_t)+(1-α)m_i，t-1；其中i ∈{c，r}，α为学习率。

目标整体的运动参数是在局部特征点的运动信息上进行最大似然估计得到的。本实施例将目标整体的运动建模为一个二维平面上的仿射变化，

这里u_x，u_y是空间上的平移参数，

和ρ则表示方向和尺度上的变化。给定仿射变化c，位置p_f处特征点f的运动期望则为向量：

其方向是从原来的位置指向现在的新位置。这里，w是一个变形函数。在一致模态中观察到此特征运动v_f，t的概率密度为一高斯函数，其均值为

方差为∑_c。为找到最优的变化c_t，需最大化特征运动观测量的对数似然度之和：

L({v_f，t}_(f，e)∈M)＝∑_(f，e)∈M log p(v_f，t|c_t，m_f，t-1)；

求解通过迭代地计算Δc_t得到：这里U是w(c_t，p)对c_t的偏导，C等

所述的更新目标特征点，描述目标的特征点的更新分四步进行：1.如果新帧中特征点被观测到，则用新观测到的特征点描述子替代原来的，同时更新混合模态参数；2.如果新帧中特征点未被观测到，则根据目标整体的运动参数推算其新位置，并以一固定比率降低其一致模态的混合概率系数；3.如果新帧中目标区域内检测到新的特征点，将其加入目标描述；4.复查目标描述内所有的特征点，如果其一致混合系数低于指定阈值，则抛弃此特征点。

⑥通过监视背景特征点是否进入目标区域内来判断。

本实施例在监测目标特征点的同时，也同样监测背景特征点。更准确的说，本实施例从目标区域的附近周围提取特征点集合来对背景进行建模。同目标特征点集一样，此背景特征点集也参与特征点匹配过程，也在处理完每一帧之后进行更新。因此，当目标被遮挡时，目标区域内检测到的属于背景的特征点将会与背景特征点集中的特征配对，因为它们在前几帧时已经被添加进入背景特征点集合。这种策略能够帮助处理短时间的遮挡，同时也为提供了一种主动检测遮挡的方法：当新提取出来的SURF特征点与之前的背景特征点匹配上，但是却出现在目标区域内，此时肯定发生了遮挡。

如图1所示，为本实施例中对跟踪对象(日历卡片)应用该方法所取得的跟踪结果。通过监视日历卡片的SURF特征点集，该方法准确的捕捉到了日历卡片的平移、旋转和缩放等运动，并给出了跟踪结果。内部圆圈代表SURF特征点，外部深色和浅色椭圆框分别代表了目标物体在前一帧和当前帧的位置。

Claims (8)

1.一种基于SURF特征点图匹配和运动生成模型的视频目标跟踪方法，其特征在于，包括以下步骤：

①使用局部特征点集描述目标物体；

②通过将新帧图像中检测得到的特征点集与目标特征点集进行图匹配得到目标局部特征点的运动信息；

③使用生成模型来刻画局部特征点的运动与目标整体的运动之间的关系；

④利用最大似然估计在局部特征点运动信息上计算出目标整体运动参数；

⑤利用在线最大期望方法更新目标特征点的混合概率系数；

⑥通过监视背景特征点是否进入目标区域内来判断。

2.根据权利要求1所述的基于SURF特征点图匹配和运动生成模型的视频目标跟踪方法，其特征是，所述的局部特征点，其运动与目标整体的运动之间的关系则是通过一个生成模型来刻画的；生成模型包含两部分：一致模态和游走模态；某特征点的运动若由一致模态生成，则暗示着此特征点的运动与目标整体保持一致，反之，则表明此特征点的运动与目标整体无关。

3.根据权利要求1所述的基于SURF特征点图匹配和运动生成模型的视频目标跟踪方法，其特征是，所述的目标是通过一个SURF特征点集来进行描述的，这些特征点的运动信息则通过一个特征点图匹配的过程获得。

4.根据权利要求1所述的基于SURF特征点图匹配和运动生成模型的视频目标跟踪方法，其特征是，所述的图匹配，在连续的几帧图像中观察特征点的运动可以视为在两个特征点集中进行匹配，本实施例使用生成SURF特征点描述子的欧氏距离形成初始匹配候选，然后利用特征点的空间结构信息通过图匹配的方法寻找最优匹配，得到特征点的运动信息。

5.根据权利要求1所述的基于SURF特征点图匹配和运动生成模型的视频目标跟踪方法，其特征是，所述的在线最大期望方法，通过最大化特征点的运动信息的似然估计出目标整体的运动参数，然后目标整体的运动信息用于更新和调整对目标的描述。

6.根据权利要求5所述的基于SURF特征点图匹配和运动生成模型的视频目标跟踪方法，其特征是，模型参数是通过在线最大期望方法计算得到，其中：

E步：计算每个特征点运动观测量v_k对于混合的各模态的归属程度，

M步：更新模态混合系数，m_i，t＝αo_i，t(v_t)+(1-α)m_i，t-1；其中i ∈{c，r}，α为学习率。

7.根据权利要求1所述的基于SURF特征点图匹配和运动生成模型的视频目标跟踪方法，其特征是，目标整体的运动参数是在局部特征点的运动信息上进行最大似然估计得到的：将目标整体的运动建模为一个二维平面上的仿射变化，

这里u_x，u_y是空间上的平移参数，和ρ则表示方向和尺度上的变化。给定仿射变化c，位置p_f处特征点f的运动期望则为向量：

其方向是从原来的位置指向现在的新位置，这里，w是一个变形函数；在一致模态中观察到此特征运动v_f，t的概率密度为一高斯函数，其均值为

方差为∑_c；为找到最优的变化c_t，需最大化特征运动观测量的对数似然度之和：

L({v_f，t}_(f，e)∈M)＝Σ_(f，e)∈Mlogp(v_f，t|c_t，m_f，t-1)；

求解通过迭代地计算Δc_t得到：

这里U是w(c_t，p)对c_t的偏导，C等

8.根据权利要求1所述的基于SURF特征点图匹配和运动生成模型的视频目标跟踪方法，其特征是，所述的更新目标特征点，描述目标的特征点的更新分四步进行：

①.如果新帧中特征点被观测到，则用新观测到的特征点描述子替代原来的，同时更新混合模态参数；

②.如果新帧中特征点未被观测到，则根据目标整体的运动参数推算其新位置，并以一固定比率降低其一致模态的混合概率系数；

③.如果新帧中目标区域内检测到新的特征点，将其加入目标描述；

④.复查目标描述内所有的特征点，如果其一致混合系数低于指定阈值，则抛弃此特征点。

Images