CN108492328A - 视频帧间目标匹配方法、装置和实现装置 - Google Patents

Abstract

本发明提供了一种视频帧间目标匹配方法、装置和实现装置，其中，该方法包括：检测相邻视频帧中，目标对象的初始特征点；确定初始特征点的特征信息；其中，该特征信息至少包括特征描述信息、尺度特征信息、灰度分布信息和局部能量信息中的多种；根据相邻视频帧之间的，初始特征点的位置变化程度筛选初始特征点，获得筛选后的待匹配特征点；根据待匹配特征点的特征信息的波动程度，确定特征信息的权值；根据待匹配特征点的特征信息，和特征信息对应的权值，匹配相邻视频帧之间的目标对象。本发明通过多种特征信息进行视频帧间匹配，并合理设置各个特征信息的匹配权值，实现了多种特征信息的互补，提高了视频帧间目标匹配方式准确性和鲁棒性。

Description

视频帧间目标匹配方法、装置和实现装置

技术领域

本发明涉及视频帧图像匹配技术领域，尤其是涉及一种视频帧间目标匹配方法、装置和实现装置。

背景技术

分析两幅具有重合区域的图像间的对应关系，可在两幅图像中分别检测出定位精确的特征点，通过匹配特征点的坐标值直接计算出图像间的空间变换关系。基于特征点的图像匹配不仅能够适用于重合度较低的图像之间的配准，也能够应用于运动场景图像以及具有被遮挡目标图像之间的配准，在实际之中具有广泛的应用。

基于特征点的图像匹配包括了三个步骤：(1)特征点检测，在图像中检测出在局部区域内图像灰度有很大变化的局部点特征，一般而言，检测出的特征点应具备对光照变化、图像或目标旋转以及尺度变换的不变性。(2)特征点描述，用特征向量描述每个特征点的邻域信息，描述特征点邻域图像信息的特征向量应具备对噪声、光照、视角等因素的鲁棒性。(3)特征向量间匹配，两幅图像之间，通过计算两幅图像特征向量之间的相似性寻找特征点的一一对应关系，通常通过计算特征向量间的距离度量它们的相似性。

并非两图像之间所有的特征点都可以建立起对应关系，一个好的特征点匹配应是在建立尽可能多的对应关系下，包含尽可能多的正确特征点配对和较少的错误特征点配对。目前，特征点检测算法已经有广泛的研究，提出了不少特征点检测方法，比较经典的有：Harris角点检测、SUSAN算法、SIFT特征点检测以及SURF特征点检测等方法，评价特征点检测方法优劣的指标通常是特征点定位的准确性，特征点检测算法的鲁棒性以及计算复杂度。

对于视频帧间的目标对象匹配过程中，由于存在复杂的背景条件、低信噪比和低信杂比、遮挡等诸多因素，可能存在提取得到的目标某些特征向量与背景区域的对应特征向量具有相似性，从而产生错误的匹配关系。因此仅仅利用单一特征信息建立目标模型常常难以实现鲁棒的目标匹配。例如当匹配的对象是刚体目标以及目标没有旋转的情况下，利用目标稳定的局部特征信息可准确地将目标与背景区分开，然而，如果需要进行帧间匹配的是非刚体目标或刚体目标发生非平面旋转的情况下，目标的局部特征点常常由于位置变化，从而导致局部特征点的某些相关信息发生很大的变化，这个时候利用目标的局部特征点的单一信息进行匹配就不可靠了。

针对上述现有的视频帧间目标匹配方式准确性和鲁棒性较差的问题，尚未提出有效的解决方案。

发明内容

有鉴于此，本发明的目的在于提供一种视频帧间目标匹配方法、装置和实现装置，以提高视频帧间目标匹配方式准确性和鲁棒性。

第一方面，本发明实施例提供了一种视频帧间目标匹配方法，方法包括：检测相邻视频帧中，目标对象的初始特征点；确定初始特征点的特征信息；其中，特征信息至少包括特征描述信息、尺度特征信息、灰度分布信息和局部能量信息中的多种；根据相邻视频帧之间初始特征点的位置变化程度筛选初始特征点，获得筛选后的待匹配特征点；根据待匹配特征点的特征信息的波动程度，确定特征信息的权值；根据待匹配特征点的特征信息，和特征信息对应的权值，匹配相邻视频帧之间的目标对象。

第二方面，本发明实施例提供了一种视频帧间目标匹配装置，装置包括：检测模块，用于检测相邻视频帧中，目标对象的初始特征点；信息确定模块，用于确定初始特征点的特征信息；其中，特征信息至少包括特征描述信息、尺度特征信息、灰度分布信息和局部能量信息中的多种；筛选模块，用于根据相邻视频帧之间初始特征点的位置变化程度筛选初始特征点，获得筛选后的待匹配特征点；权值确定模块，用于根据待匹配特征点的特征信息的波动程度，确定特征信息的权值；匹配模块，用于根据待匹配特征点的特征信息，和特征信息对应的权值，匹配相邻视频帧之间的目标对象。

第三方面，本发明实施例提供了一种视频帧间目标匹配实现装置，包括处理器和机器可读存储介质，机器可读存储介质存储有能够被处理器执行的机器可执行指令，处理器执行机器可执行指令以实现上述视频帧间目标匹配实现方法。

本发明实施例带来了以下有益效果：

本发明实施例提供的一种视频帧间目标匹配方法、装置和实现装置，获取到相邻视频帧中目标对象的初始特征点，以及对应的多种特征信息后，首先根据初始特征点的位置变化程度筛选获得待匹配特征点；再根据待匹配特征点的特征信息的波动程度，确定特征信息的权值；进而根据待匹配特征点的特征信息，和特征信息对应的权值，匹配相邻视频帧之间的目标对象；该方式通过多种特征信息进行视频帧间匹配，并合理设置各个特征信息的匹配权值，实现了多种特征信息的互补，提高了视频帧间目标匹配方式准确性和鲁棒性。

本发明的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本发明的上述技术即可得知。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施方式，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种视频帧间目标匹配方法的流程图；

图2为本发明实施例提供的一种视频帧间目标匹配方法中，根据相邻视频帧之间初始特征点的位置变化程度筛选初始特征点，获得筛选后的待匹配特征点的流程图；

图3为本发明实施例提供的一种视频帧间目标匹配装置的结构示意图；

图4为本发明实施例提供的一种视频帧间目标匹配实现装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

现有图像间特征点匹配通常仅仅考虑在两幅图像间进行匹配，而并没有考虑在连续帧图像间的特征点匹配问题，因此现有的特征点匹配并不能完全适应对连续帧中特定目标的匹配。现有的图像特征点帧间匹配包含三个方面的核心技术，其具体缺点如下：

(1)特征点描述的缺点

传统的特征点匹配仅仅考虑的是两幅图像之间的匹配，并没有考虑特征点在连续视频帧中的变化，因此也无需考虑特征向量的变化。在特征点检测算法提取特征点后，现有的特征点描述方法通常是利用特征检测算法计算得到相应的特征向量，将其作为对特征点的描述以及特征点匹配时的依据，在连续帧匹配定位特定目标的应用情况下，这样的特征向量通常是具有局限性的，比如，SURF特征点检测出来后，以该点为中心，计算一定邻域内的Haar小波响应，产生的向量就作为该特征点的特征向量描述，两个特征点之间的相似性通过计算两点的特征描述向量的欧式距离而得到。在连续帧中，当目标在场景中运动时，目标邻域的背景区域也常常会发生变化，因而目标上的特征点因其邻域的背景区域变化而导致特征描述向量改变，容易造成特征点匹配错误。

(2)特征向量选择的缺点

传统的特征点匹配方法依据的是单一的特征信息，在特征点检测阶段就计算出相应的特征向量，并不存在选择多种信息描述特征点的问题。而特征点之间的误匹配是由于不应被匹配的特征点具有某种相似特征信息，比如人的左右眼睛在图像上常常具有相似的局部特征，因而也具有了相似的特征向量，容易发生误匹配，因此选择多种互补的特征信息作为匹配的依据将能够提高特征点匹配的成功率。

(3)特征向量融合的缺点

传统的特征点匹配方法依据的是单一的信息建立特征向量，因此并不存在多特征融合的问题。选用多种信息来对反映特征点的相关信息，显然比单一的特征描述更能全面描述特征点，然而如何将多种特征信息融合使得多种不同的信息能够发挥互补的作用，使得对特征点的描述更具鲁棒性，从而提高特征点匹配的效率，降低误匹配的比率，并不是一件容易的事情，融合方法不恰当，特征点匹配效果甚至不如仅仅依据单一特性信息进行匹配的效果。

考虑到现有的视频帧间目标匹配方式准确性和鲁棒性较差的问题，本发明实施例提供了一种视频帧间目标匹配方法、装置和实现装置；该技术可以应用于视频帧之间的图像匹配过程中；该技术可以采用相关的软件或硬件实现，下面通过实施例进行描述。

参见图1所示的一种视频帧间目标匹配方法的流程图；该方法包括如下步骤：

步骤S102，检测相邻视频帧中，目标对象的初始特征点；

可以采用SURF(Speeded-Up Robust Features，加速鲁棒特征)特征点检测算法检测视频帧中的特征点，后续特征信息的种类选取，也在该SURF特征点检测的基础上进行。

步骤S104，确定初始特征点的特征信息；其中，该特征信息至少包括特征描述信息、尺度特征信息、灰度分布信息和局部能量信息中的多种；

在实际实现时，用户可以根据视频帧的特性，灵活选取特征信息的具体种类；上述各种特征信息可以通过下述方式计算获得：

(1)当特征信息包括特征描述信息时，以初始特征点为中心，计算设定范围内，各个子区域的Haar小波响应，生成多维特征描述向量，将多维特征描述向量确定为特征描述信息；

具体地，当检测到的图像中特征点P(x，y)(相当于上述初始特征点)后，以该P点为中心，根据该点尺度系数s，将20s×20s的邻域分为4×4的方形子区域，计算每个子区域的Haar小波响应，生成一个四维向量v＝(∑d_x,∑d_y,∑|d_x|,∑|d_y|)，这样每个子区域的四维向量都计算出来后，就得到一组64维的特征描述子向量Feat_d(x,y)，该向量即为特征点P的特征描述信息。

(2)当特征信息包括尺度特征信息时，检测初始特征点的尺度系数，将尺度系数确定为尺度特征信息；

具体可以通过上述SURF特征点检测尺度系数s，该尺度系数s可以反映SURF算法检测到稳定的局部极值点(即特征点)时，该局部极值点所属的局部区域的大小；局部区域的大小也是特征点的重要信息，因此将尺度系数Feat_s(x_,y)＝s作为特征信息之一。

(3)当特征信息包括灰度分布信息时，以初始特征点为中心，计算局部范围内像素的灰度直方图，根据灰度直方图确定灰度分布信息；

特征点周围邻域的灰度分布情况也是反映该特征点的重要信息。为保证所提取的信息具有尺度不变性和方向不变性，在检测到位置为(x,y)的特征点P后，设像素点(x_n,y_n)位于以Orient_P为方向，以P为中心的6s×6s邻域范围内，其灰度值在直方图灰度等级上的索引映像为b(x_n,y_n)，计算直方图，u为直方图的索引值，则目标区域内的灰度分布可表示为：

其中PixelN为该范围内的像素点总数，δ为Delta函数，f_gray为归一化因子，权重函数h规定了以P为中心，方向为Orient_P的方形框中不同的位置像素的权重系数，可选择为高斯核的函数：

(4)当特征信息包括局部能量信息时，以初始特征点为中心，计算局部范围内像素的灰度值之和，将灰度值之和确定为局部能量信息。

在正常的连续视频帧中，特定目标灰度值在短时间内不会发生大的变化(不考虑光照突变的情况)，因而图像中目标的灰度值之和不会突变，目标特征点的局部灰度值之和也可作为目标匹配中的一个重要特征。同样在以特征点P为中心，Orient_P为方向，6s×6s邻域范围内，特征点的局部能量作为特征点的特征信息：

其中，f为图像的灰度值。

步骤S106，根据相邻视频帧之间初始特征点的位置变化程度筛选初始特征点，获得筛选后的待匹配特征点；

一般情况下，目标对象在相邻视频帧之间运动不会发生突变，特别是刚性的目标对象；另外，探测器本身在帧间的运动也不会发生突变，因此由于探测器运动而导致的背景变化也应限制在一定范围内，这样目标对象及其邻域背景上的特征点的帧间位置变化应是连贯的。因此，如果已知上一帧的特征点i的位置为(x_i,t-1,y_i,t-1)，则在当前帧中，与此相匹配的特征点必定在位置(x_i,t-1,y_i,t-1)的某个邻域内，邻域的大小及范围可根据目标或背景区域的运动先验知识进行估计。基于此，参见图2所示的一种视频帧间目标匹配方法中，根据相邻视频帧之间初始特征点的位置变化程度筛选初始特征点，获得筛选后的待匹配特征点的流程图；该方法具体包括如下步骤：

步骤S202，计算初始特征点在相邻视频帧中的位置变化距离；

例如，设当前帧中特征点j的位置为(x_j,t,y_j,t)，如果特征点i与j要能够相匹配，则它们之间的距离Dist_mij必定小于某个阈值；该距离Dist_mij即上述初始特征点在相邻视频帧中的位置变化距离；该距离Dist_mij可以通过下述公式计算：

步骤S204，判断该位置变化距离是否小于预设的阈值范围；其中，该阈值范围根据目标对象的大小确定；如果是，执行步骤S206；如果否，执行步骤S208；

步骤S206，保留初始特征点，将初始特征点确定为待匹配特征点；

步骤S208，删除初始特征点。

在实际实现时，可以对每个初始特征点执行上述步骤S202-S208，直至每个初始特征点均被筛选。

在相邻视频帧中对目标对象进行定位匹配，可以认为在相邻视频帧中目标对象的位置以及范围不会发生突变，因此对前后帧中的特征点计算它们之间的距离Dist_mij，剔除那些距离Dist_mij大于阈值的配对，分析剩余的候选配对的特征向量之间的距离。例如，可以将阈值设置为目标对象的2倍大小。即若目标对象的高和宽为{h_,w}，则阈值设置为即仅仅保留的特征点作为待匹配特征点。

步骤S108，根据待匹配特征点的特征信息的波动程度，确定特征信息的权值；

通常，该特征信息的波动程度可以通过计算特征信息的方差获得；特征信息的波动程度越低，该特征信息的可靠性越高，可靠性高的特征信息，其对应的权值也较高；反之，可靠性低的特征信息，其对应的权值也较低；通常，目标对象及其邻域背景区域的多种特征信息部不会发生帧间的突变，即它们的变化应当是平滑连续的，因此可以通过在线学习的方式，求取以上四种特征信息的方差，分别为{σ_d,σ_s,σ_p,σ_h}，方差较大的特征信息，表明在匹配过程中，此种特征信息变化很大，并不稳定，我们给它赋予较小的融合权值；反之，方差小的特征信息，在匹配过程中变化较小，比较稳健，赋予较大的融合权值。基于此，该步骤S108具体可以通过下述方式实现：

计算特征信息的权值其中，

σ为方差；d为特征描述信息；s为尺度特征信息；h为灰度分布信息；p为局部能量信息；t为第t帧；n∈{d，s，h，p}；μ为均值；为第t帧的特征描述信息；为第t帧的尺度特征信息；为第t帧的灰度分布信息；为第t帧的局部能量信息；i为特征点的序号；N为特征点的总数；η_σ为方差的更新因子。

上述和为所有特征点相应特征信息的平均方差；进一步地，可以通过下述方式获得上述公式中的和

其中，η_μ为均值的学习因子；η_σ和η_μ通常是在0到1之间分布，η_σ和η_μ决定了高斯分布的均值和方差随时间常数变化的速度，这样高斯分布的均值及方差的更新过程可认为是对以往参数的因果低通滤波的结果。通常在模型建立初始时候，此时通常选择一个较大的学习因子，让模型能够很快建立并收敛。在此以后，模型应该能够比较稳定，保证以往的图像数据对模型具有一定的影响，这样建立的模型就能够反映一定时间内的“特征向量”变化的历史，这时应当选择一个小一些学习因子，以提高模型对的噪声的鲁棒性。

上述均值的学习因子η_μ按如下方式进行设置：

上述方差的学习因子η_σ设置为：

其中，Ck_μ为每个特征点被匹配的次数计数，而Ck_σ为存在特征点被匹配的图像帧的计数。在模型初始化阶段，Ck_μ或Ck_σ比较小，模型收敛速度比较快。第一次匹配后，参数η_μ的设置使得模型均值被设置为当前的观测值，而在第二次匹配后，参数η_σ的设置说明，模型的方差就设置为第一次匹配和第二次匹配时特征向量的差。随着时间的推移，Ck_μ与Ck_σ越来越大，当前观测值对模型更新的贡献逐步减少，但如果学习因子趋于零的话，会使得模型异常稳定，不能及时反映图像信息的正常变化，因而设置了权值更新系数的最小值thrdμ和thrdσ，该thrdμ和thrdσ可以分别设置为0.1。

另外，如果高斯分量的方差太小，容易造成在特征点帧间匹配过程中，由于对噪声过于敏感，应该匹配的特征点不能够被正确匹配。因此需要对所有高斯分量的方差规定下限T_σ以增强系统的鲁棒性，该T_σ可以设置为0.02。

步骤S110，根据待匹配特征点的特征信息，和特征信息对应的权值，匹配相邻视频帧之间的目标对象。

该步骤S110具体可以通过下述方式实现：

(1)计算相邻视频帧之间对应特征点的欧氏距离：

其中，n∈{d，s，h，p}；d为特征描述信息；s为尺度特征信息；h为灰度分布信息；p为局部能量信息；i、j为特征点的序号；Dist为欧式距离；

(2)判断欧氏距离是否满足设定的匹配阈值，如果是，确定特征点i和特征点j匹配。

具体地，上述Dist_dij、Dist_sij、Dist_hij和Dist_pij可以通过下述公式实现：

(a)两特征点i和j之间的特征描述信息(即上述64维的特征描述子向量)的相似性，用特征描述信息的欧式距离Dist_dij来描述为：

上式中，表示第i个特征描述子Feat_d的第k维向量，而表示第j个特征描述子Feat_d的第k维向量。

(b)两个特征点i和j的尺度特征信息Feat_s(x,y)间的相似性用它们之间的欧式距离来描述为：

Dist_sij＝|Feat_si-Feat_sj|

其中，Feat_si为特征点i对应的尺度系数s；Feat_sj为特征点j对应的尺度系数s。

(c)两个特征点i和j的灰度分布信息(即局部灰度分布特征向量Feat_h(x_,y))间的相似性用它们之间的Battacharryya距离来表示：

其中，ρ为Battacharryya系数：

ρ越大，则两个分布之间就越相似；对于两个归一化后的直方图，它们之间的Battacharryya系数ρ总是在0到1之间分布。

(d)两个特征点i和j的局部能量信息Feat_p(x,y)间的相似性用它们之间的欧式距离来描述：

Dist_pij＝|Feat_pi-Feat_pj|

在视频帧中对特征点进行帧间匹配时，可以在上述方法基础上对正确匹配特征点的对应的特征信息和对应的权值进行更新，可以采用基于自回归滤波的在线EM近似方法来训练模型。具体地，在第t帧，未匹配的特征点其对应的特征向量的均值及方差保持不变，而匹配的特征点特征向量的均值和方差根据当前第t帧的观测值进行更新。

本发明实施例提供的一种视频帧间目标匹配方法，获取到相邻视频帧中目标对象的初始特征点，以及对应的多种特征信息后，首先根据初始特征点的位置变化程度筛选获得待匹配特征点；再根据待匹配特征点的特征信息的波动程度，确定特征信息的权值；进而根据待匹配特征点的特征信息，和特征信息对应的权值，匹配相邻视频帧之间的目标对象；该方式通过多种特征信息进行视频帧间匹配，并合理设置各个特征信息的匹配权值，实现了多种特征信息的互补，提高了视频帧间目标匹配方式准确性和鲁棒性。

对应于上述方法实施例，参见图3所示的一种视频帧间目标匹配装置的结构示意图；该装置包括：

检测模块30，用于检测相邻视频帧中，目标对象的初始特征点；

信息确定模块31，用于确定初始特征点的特征信息；其中，特征信息至少包括特征描述信息、尺度特征信息、灰度分布信息和局部能量信息中的多种；

筛选模块32，用于根据相邻视频帧之间初始特征点的位置变化程度筛选初始特征点，获得筛选后的待匹配特征点；

权值确定模块33，用于根据待匹配特征点的特征信息的波动程度，确定特征信息的权值；

匹配模块34，用于根据待匹配特征点的特征信息，和特征信息对应的权值，匹配相邻视频帧之间的目标对象。

上述信息确定模块，还用于：当特征信息包括特征描述信息时，以初始特征点为中心，计算设定范围内，各个子区域的Haar小波响应，生成多维特征描述向量，将多维特征描述向量确定为特征描述信息；当特征信息包括尺度特征信息时，检测初始特征点的尺度系数，将尺度系数确定为尺度特征信息；当特征信息包括灰度分布信息时，以初始特征点为中心，计算局部范围内像素的灰度直方图，根据灰度直方图确定灰度分布信息；当特征信息包括局部能量信息时，以初始特征点为中心，计算局部范围内像素的灰度值之和，将灰度值之和确定为局部能量信息。

上述筛选模块，还用于：计算初始特征点在相邻视频帧中的位置变化距离；判断位置变化距离是否小于预设的阈值范围；其中，阈值范围根据目标对象的大小确定；如果是，保留初始特征点，将初始特征点确定为待匹配特征点；如果否，删除初始特征点。

上述权值确定模块，还用于：计算特征信息的权值其中，

σ为方差；d为特征描述信息；s为尺度特征信息；h为灰度分布信息；p为局部能量信息；t为第t帧；n∈{d，s，h，p}；μ为均值；为第t帧的特征描述信息；为第t帧的尺度特征信息；为第t帧的灰度分布信息；为第t帧的局部能量信息；i为特征点的序号；N为特征点的总数；η_σ为方差的更新因子。

本发明实施方式所提供的视频帧间目标匹配装置，其实现原理及产生的技术效果和前述方法实施方式相同，为简要描述，装置实施方式部分未提及之处，可参考前述方法实施方式中相应内容。

本发明实施方式所提供的视频帧间目标匹配方法、装置和实现装置，考虑到复杂场景下连续帧图像容易受到噪声及杂波的干扰，采用多种互补的特征信息对目标进行描述将有利于提高目标匹配的鲁棒性，基于此，本发明实施例提供了一种基于多特征融合的视频帧间特定目标匹配方式，属于视频帧图像匹配的研究领域，通过匹配可以准确定位目标在连续视频帧中的位置和范围。具体地，由于在视频中，相邻帧中的同一物体往往由于运动模糊，目标发生形变、目标被遮挡以及低信噪比等挑战性的因素严重影响目标帧间匹配的鲁棒性。图像间特定物体的匹配往往是根据两幅图像间的对应特征点进行匹配，传统的特征点匹配方法往往针对的是两幅图像间的匹配，匹配目的常常是对两幅图像进行配准或图像拼接，常常只依据单一的特性信息进行帧间特征点配对，使得配对的成功率不高，误匹配的情况较多。

本发明的目的在于针对连续帧图像匹配应用中，克服只依据单一特征值进行匹配的现有特征点配对方法其配对成功率不高，提出对多种互补的特性信息进行自适应融合，在此基础上根据融合后的特征向量进行帧间特征点配对，与传统方法相比该方法具有以下优势：(1)通过使用多种互补的特征提取技术，全面反映目标的特征信息，具有较强的抗噪能力(2)通过自适应特征融合算法，使得融合后的特征信息能够有效地用于特征点匹配，有效提高匹配的成功率。(3)通过特征向量的自适应更新方法，使得描述目标的特征向量能够适应场景中的噪声、背景变化等因素的影响，使得匹配更具有稳定性和鲁棒性。

本发明包含三个核心技术(多特征信息提取及自适应融合技术、特征信息更新技术)，与其对应的现有技术相比，具体优势描述如下：

(1)多特征选取技术

本发明针对连续视频帧间特定目标匹配问题，选取了多种特征信息对目标进行描述，特征信息相互之间具有较强的互补性，可以全面地反映目标对象，在此基础上进行特征点匹配，并具有较好的抗干扰能力。而现有的特征点匹配方法大多针对两幅静态图像之间的匹配，特征点匹配的依据通常仅仅为单一的特征信息。

(2)特征向量自适应融合技术

本发明公布的自适应融合技术通过分析各特征向量在当前帧中的可靠性，计算各类特征信息随时间变化的归一化方差，对于归一化方差较小的特征向量，认为其可靠性较高，分配其较大的融合权值，反之，认为其可靠性较差，分配其较小的融合权值，根据各特征信息的可靠性进行多特征加权融合，依据融合后的特征向量对特征点进行匹配，得到了更准确的特征点匹配结果，这是现有的依据单一特征信息的特征点匹配方法所不具备的。

(3)特征向量自适应更新技术

本发明公布的特征向量自适应更新技术是在图像中目标的特征不会发生帧间突变的假设下，认为由于噪声、光照变化等因素的影响，所有特征点对应的特征信息并非一成不变，特征信息随时间的变化满足单高斯分布，因而，本发明采用了EM算法来描述特征信息的变化，在此基础上进行的特征点帧间匹配，与现有方法项比提高了特征点匹配的稳定性。

为说明不同的信息对特征点配对的效果，对同样的图像进行SURF特征检测，提取特征点的特征描述子信息(相当于上述特征描述信息)，尺度系数(相当于上述尺度特征信息)，局部灰度分布信息(相当于上述灰度分布信息)以及局部能量信息，进一步基于不同的信息进行特征点匹配，选择具有最小特征信息间距离的特征点配对作为候选匹配特征点。进而，再基于自适应多特征信息融合算法进行特征点帧间匹配，把具有最小自适应融合特征向量间距离Dist_intergralij的匹配作为候选配对。之后，再统计了候选配对中正确匹配的比例，以此衡量不同特征信息对图像匹配的有效性。

参见图4所示的一种视频帧间目标匹配实现装置的结构示意图；该实现装置包括存储器100和处理器101；其中，存储器100用于存储一条或多条计算机指令，一条或多条计算机指令被处理器执行，以实现上述视频帧间目标匹配方法，该方法可以包括以上方法中的一种或多种。

进一步，图4所示的实现装置还包括总线102和通信接口103，处理器101、通信接口103和存储器100通过总线102连接。

其中，存储器100可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口103(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线102可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

处理器101可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processing，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施方式中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施方式所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器100，处理器101读取存储器100中的信息，结合其硬件完成前述实施方式的方法的步骤。

进一步，本发明实施方式还提供了一种机器可读存储介质，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现上述视频帧间目标匹配方法，该方法可以包括以上方法中的一种或多种。

在本申请所提供的几个实施方式中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施方式仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施方式的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施方式中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施方式，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施方式对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施方式所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施方式技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种视频帧间目标匹配方法，其特征在于，所述方法包括：

检测相邻视频帧中，目标对象的初始特征点；

确定所述初始特征点的特征信息；其中，所述特征信息至少包括特征描述信息、尺度特征信息、灰度分布信息和局部能量信息中的多种；

根据相邻视频帧之间所述初始特征点的位置变化程度筛选所述初始特征点，获得筛选后的待匹配特征点；

根据所述待匹配特征点的所述特征信息的波动程度，确定所述特征信息的权值；

根据所述待匹配特征点的特征信息，和所述特征信息对应的权值，匹配相邻视频帧之间的目标对象。

2.根据权利要求1所述的方法，其特征在于，所述确定所述初始特征点的特征信息的步骤，包括：

当所述特征信息包括所述特征描述信息时，以所述初始特征点为中心，计算设定范围内，各个子区域的Haar小波响应，生成多维特征描述向量，将所述多维特征描述向量确定为所述特征描述信息；

当所述特征信息包括所述尺度特征信息时，检测所述初始特征点的尺度系数，将所述尺度系数确定为所述尺度特征信息；

当所述特征信息包括所述灰度分布信息时，以所述初始特征点为中心，计算局部范围内像素的灰度直方图，根据所述灰度直方图确定所述灰度分布信息；

当所述特征信息包括所述局部能量信息时，以所述初始特征点为中心，计算局部范围内像素的灰度值之和，将所述灰度值之和确定为所述局部能量信息。

3.根据权利要求1所述的方法，其特征在于，所述根据相邻视频帧之间所述初始特征点的位置变化程度筛选所述初始特征点，获得筛选后的待匹配特征点的步骤，包括：

计算所述初始特征点在相邻视频帧中的位置变化距离；

判断所述位置变化距离是否小于预设的阈值范围；其中，所述阈值范围根据所述目标对象的大小确定；

如果是，保留所述初始特征点，将所述初始特征点确定为待匹配特征点；

如果否，删除所述初始特征点。

4.根据权利要求1所述的方法，其特征在于，所述根据所述待匹配特征点的所述特征信息的波动程度，确定所述特征信息的权值的步骤，包括：

计算所述特征信息的权值其中，

σ为方差；d为特征描述信息；s为尺度特征信息；h为灰度分布信息；p为局部能量信息；t为第t帧；n∈{d，s，h，p}；μ为均值；为第t帧的特征描述信息；为第t帧的尺度特征信息；为第t帧的灰度分布信息；为第t帧的局部能量信息；i为特征点的序号；N为特征点的总数；η_σ为方差的更新因子。

5.根据权利要求1所述的方法，其特征在于，所述根据所述待匹配特征点的特征信息，和所述特征信息对应的权值，匹配相邻视频帧之间的目标对象的步骤，包括：

计算相邻视频帧之间对应特征点的欧氏距离：

其中，n∈{d，s，h，p}；d为特征描述信息；s为尺度特征信息；h为灰度分布信息；p为局部能量信息i、j为特征点的序号；Dist为欧式距离；

判断所述欧氏距离是否满足设定的匹配阈值，如果是，确定特征点i和特征点j匹配。

6.一种视频帧间目标匹配装置，其特征在于，所述装置包括：

检测模块，用于检测相邻视频帧中，目标对象的初始特征点；

信息确定模块，用于确定所述初始特征点的特征信息；其中，所述特征信息至少包括特征描述信息、尺度特征信息、灰度分布信息和局部能量信息中的多种；

筛选模块，用于根据相邻视频帧之间所述初始特征点的位置变化程度筛选所述初始特征点，获得筛选后的待匹配特征点；

权值确定模块，用于根据所述待匹配特征点的所述特征信息的波动程度，确定所述特征信息的权值；

匹配模块，用于根据所述待匹配特征点的特征信息，和所述特征信息对应的权值，匹配相邻视频帧之间的目标对象。

7.根据权利要求6所述的装置，其特征在于，所述信息确定模块，还用于：

当所述特征信息包括所述特征描述信息时，以所述初始特征点为中心，计算设定范围内，各个子区域的Haar小波响应，生成多维特征描述向量，将所述多维特征描述向量确定为所述特征描述信息；

当所述特征信息包括所述尺度特征信息时，检测所述初始特征点的尺度系数，将所述尺度系数确定为所述尺度特征信息；

当所述特征信息包括所述灰度分布信息时，以所述初始特征点为中心，计算局部范围内像素的灰度直方图，根据所述灰度直方图确定所述灰度分布信息；

当所述特征信息包括所述局部能量信息时，以所述初始特征点为中心，计算局部范围内像素的灰度值之和，将所述灰度值之和确定为所述局部能量信息。

8.根据权利要求6所述的装置，其特征在于，所述筛选模块，还用于：

计算所述初始特征点在相邻视频帧中的位置变化距离；

判断所述位置变化距离是否小于预设的阈值范围；其中，所述阈值范围根据所述目标对象的大小确定；

如果是，保留所述初始特征点，将所述初始特征点确定为待匹配特征点；

如果否，删除所述初始特征点。

9.根据权利要求6所述的装置，其特征在于，所述权值确定模块，还用于：

计算所述特征信息的权值其中，

σ为方差；d为特征描述信息；s为尺度特征信息；h为灰度分布信息；p为局部能量信息；t为第t帧；n∈{d，s，h，p}；μ为均值；为第t帧的特征描述信息；为第t帧的尺度特征信息；为第t帧的灰度分布信息；为第t帧的局部能量信息；i为特征点的序号；N为特征点的总数；η_σ为方差的更新因子。

10.一种视频帧间目标匹配实现装置，其特征在于，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现权利要求1至5任一项所述的方法。