CN108399627A - 视频帧间目标运动估计方法、装置和实现装置 - Google Patents

Abstract

本发明提供了一种视频帧间目标运动估计方法、装置和实现装置；其中，该方法包括：获取当前视频帧中，目标对象的特征点集；特征点集包括特征点和特征点对应的特征向量；根据特征向量的波动程度，筛选特征点，获得一级待匹配特征点；根据一级待匹配特征点与前一帧视频帧对应特征点之间的位置关系，筛选获得二级待匹配特征点；根据二级待匹配特征点与前一帧视频帧的特征点之间的匹配唯一性约束条件，筛选获得三级待匹配特征点；根据三级待匹配特征点，对目标对象进行运动估计。本发明通过多级筛选匹配特征点，可以剔除较多的误匹配特征点，使得最终的匹配特征点具有较高的准确性和鲁棒性，进而提高了后续的视频帧间目标运动估计的精度和稳定性。

Description

视频帧间目标运动估计方法、装置和实现装置

技术领域

本发明涉及视频图像匹配的技术领域，尤其是涉及一种视频帧间目标运动估计方法、装置和实现装置。

背景技术

通过分析两幅图像中能够精确定位的特征点之间的对应关系，可以准确估算出两幅图像之间的空间变化的相关参数。现有的图像特征点匹配方法主要应用于图像配准领域；例如，通过对不同视角获取的图像进行配准，进而通过图像拼接，获取更大视野的图像或3D场景重建，比如遥感图像的拼接等；通过对不同时间获取的图像进行配准，以对特定场景的变化进行检测，比如利用医学图像进行康复治疗或肿瘤生长的监测等；通过对不同传感器采集的图像进行配准，以整合多种传感器信息，比如遥感全色图像的获取等；通过对特定场景图像及模型进行配准，以对场景图像进行定位，比如图像中目标模板的匹配，自动质量监测等。

在进行特征点检测后，对两幅图像中的特征点进行匹配，并依据匹配关系估算出两幅图像间的空间变化关系，包括了以下三个步骤：

(1)特征点相似性度量，在两幅图像中通过特征点检测技术获得每幅图像中的一个特征点集，通过分析两幅图像特征点对应特征向量之间的相似性寻找特征点的对应关系，通常利用特征向量间的距离度量它们的相似性。

(2)剔除错误匹配特征点，由于噪声、不属于同一物体的局部区域之间可能存在图像特征的相似性、两幅图像间光照、视角的变化等因素，使得仅仅依据特征向量的相似性建立的特征点间的对应关系不可避免存在误匹配，需要从中进一步挑选出正确的特征点配对。

(3)依据遴选出的配对特征点，计算两幅图像间的空间变化的相应参数。

准确估算出两幅图像间空间变化关系的相关参数必须具备的前提是所依据的配对特征点没有错误匹配。虽然SURF特征向量对特征点的描述是有效的，依据特征向量的相似性建立的特征点配对仍难以避免存在误匹配，而误匹配将会严重影响对图像间空间变化参数的估算。

针对上述现有的视频帧间目标运动估计方式估计精度和稳定性较差的问题，尚未提出有效的解决方案。

发明内容

有鉴于此，本发明的目的在于提供一种视频帧间目标运动估计方法、装置和实现装置，以提高视频帧间目标运动估计的精度和稳定性。

第一方面，本发明实施例提供了一种视频帧间目标运动估计方法，包括：获取当前视频帧中，目标对象的特征点集；其中，特征点集包括特征点和特征点对应的特征向量；特征向量至少包括特征描述子向量、尺度系数、灰度分布特征、局部能量特征和位置变化特征中的多种；根据特征向量的波动程度，筛选特征点，获得一级待匹配特征点；根据一级待匹配特征点与前一帧视频帧对应特征点之间的位置关系，筛选一级待匹配特征点，获得二级待匹配特征点；根据二级待匹配特征点与前一帧视频帧的特征点之间的匹配唯一性约束条件，筛选二级待匹配特征点，获得三级待匹配特征点；根据三级待匹配特征点，对目标对象进行运动估计。

第二方面，本发明实施例提供了一种视频帧间目标运动估计装置，包括：获取模块，用于获取当前视频帧中，目标对象的特征点集；其中，特征点集包括特征点和特征点对应的特征向量；特征向量至少包括特征描述子向量、尺度系数、灰度分布特征、局部能量特征和位置变化特征中的多种；第一筛选模块，用于根据特征向量的波动程度，筛选特征点，获得一级待匹配特征点；第二筛选模块，用于根据一级待匹配特征点与前一帧视频帧对应特征点之间的位置关系，筛选一级待匹配特征点，获得二级待匹配特征点；第三筛选模块，用于根据二级待匹配特征点与前一帧视频帧的特征点之间的匹配唯一性约束条件，筛选二级待匹配特征点，获得三级待匹配特征点；运动估计模块，用于根据三级待匹配特征点，对目标对象进行运动估计。

第三方面，本发明实施例提供了一种视频帧间目标运动估计实现装置，包括处理器和机器可读存储介质，机器可读存储介质存储有能够被处理器执行的机器可执行指令，处理器执行机器可执行指令以实现上述视频帧间目标运动估计方法。

本发明实施例带来了以下有益效果：

本发明实施例提供的一种视频帧间目标运动估计方法、装置和实现装置，获取到当前视频帧中，目标对象的特征点集后，首先根据该特征点集中特征向量的波动程度，筛选特征点，获得一级待匹配特征点；再根据一级待匹配特征点与前一帧视频帧对应特征点之间的位置关系，筛选获得二级待匹配特征点；再根据二级待匹配特征点与前一帧视频帧的特征点之间的匹配唯一性约束条件，筛选获得三级待匹配特征点；最后再根据三级待匹配特征点，对目标对象进行运动估计；该方式通过多级筛选匹配特征点，可以剔除较多的误匹配特征点，使得最终的匹配特征点具有较高的准确性和鲁棒性，进而提高了后续的视频帧间目标运动估计的精度和稳定性。

本发明的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本发明的上述技术即可得知。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施方式，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种视频帧间目标运动估计方法的流程图；

图2为本发明实施例提供的一种视频帧间目标运动估计方法中，特征点匹配的流程示意图；

图3为本发明实施例提供的一种视频帧间目标运动估计装置的结构示意图；

图4为本发明实施例提供的一种视频帧间目标运动估计实现装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

基于特征点的图像配准算法通常包括了三个关键步骤：特征点检测、特征点匹配、图像变换参数估计。

在获得输入图像后，对待配准图像进行特征点检测，获得待匹配图像的特征点集，特征点检测方法应具有较强的鲁棒性以及旋转不变性，目前，比较经典的特征点检测方法有：Harris角点检测、SUSAN算法、SIFT特征点检测以及SURF特征点检测等方法。SIFT特征是图像的一种局部特征，对尺度变化，旋转变化以及灰度的变化具有较好的鲁棒性，通过SIFT特征提取可以得到图像中稳定的局部特征点。SURF特征点通过对SIFT特征检测中的高斯微分计算进行近似优化而极大提高了计算速度，同时保留了SIFT特征定位准确，对光照变化不敏感，具有旋转不变性的优点，使得在实时性要求高的应用中利用SURF特征点成为可能。

检测出待匹配图像的特征点后，需要评估待配准图像与参考图像的特征点对应特征向量之间的相似性，排除不可能匹配的特征点对应，建立两幅图像特征点集合间的初始配对特征点集，通常是计算特征向量间的距离作为特征点相似性度量的依据，好的初始特征点配对集，应尽可能多地包含正确的配对和较少的错误匹配。

为剔除初始特征点配对集中的误匹配，以便能够准确第估算出图像间的变化模型参数，常用的算法有：最近邻/次近邻比率法、双向匹配法、M-估计法、最小中值平方(LMS)估计等。

现有的一般图像配准技术在图像匹配的特征点相似性度量、误匹配特征点剔除、空间变换模型参数估计方面的方法并不能完全适应于帧间特征目标匹配的应用。其具体缺点如下：

(1)误匹配特征点去除的缺点

虽然最小中值法得到的效果不错，但当初始匹配特征点集合中错误匹配多于50％时，最小中值的误差很大，且对于存在高斯噪声的情况，该方法并不理想。M-估计算法计算速度较快，对于存在高斯噪声干扰的情况得到的结果较好，当错误点率超过50％时,误差比最小中值法小。但它们对初始值依赖较大,而初始值由线性方法估计得到,受错误数据影响大,估计精度不高,稳定性不好。一些方法提出不仅仅依据最小特征向量间距离判断配对的特征点，而采用基于KNN最近邻规则的匹配方法，设置K＝2，对每个待匹配特征点返回两个具有最小特征距离的候选配对，当且仅当最优配对的特征距离比次优配对的特征距离足够小时，才认为最优配对为正确匹配，否则认为这个特征点没有匹配成功。基于KNN的配对策略固然提高了配对的成功率，减少了错误的匹配，但也使得部分应该匹配的特征点没有能够配对成功。

(2)空间变换模型的缺点

对于两幅图像中局部特征点的配对，目前还常用的方法还有基于RANSAC方法对错误匹配的特征点进行剔除，RANSAC方法认为能够正确匹配的特征点都应该满足相同的空间变化模型，在图像匹配中RRANSAC算法剔除误匹配所依据的图像变换模型为图像间透视变换模型或者对极几何约束，比如RANSAC认为正确的配对特征点都应该满足可由8个参数定义的投影变换模型，在所有可能的配对结果中，找到数量最多的能够满足相同投影变换模型的配对作为内点，即正确的配对，而不满足这个投影变换模型的配对则认为是外点，即不匹配的特征点。然而，这两种空间变换模型是针对两幅图像配准的问题而设置的，考虑的是在不同条件下，摄像机对有交叠区域场景进行拍摄时，摄像机视野、焦距、视场角等因素发生变化时两幅图像的配准问题。但这两个模型并不特定针对帧间图像匹配的情况，由于并没有施加无帧间突变约束条件，利用这两个模型计算帧间的变换参数显得过于繁复。

考虑到现有的视频帧间目标运动估计方式估计精度和稳定性较差的问题，本发明实施例提供了一种视频帧间目标运动估计方法、装置和实现装置；该技术可以应用于视频帧之间的目标运动估计过程中；该技术可以采用相关的软件或硬件实现，下面通过实施例进行描述。

在本发明针对的是连续视频帧间的基于特征点的图像匹配，在连续帧的条件下，图像场景在帧间应不会发生突变，可以认为无论是视频帧的背景区域或运动的目标在帧间的空间变化都应该是连续的。在连续两帧之间检测到的特征点可能产生的对应关系可分为三种：在上一帧中检测到的特征点，如果在当前帧中也被检测到，则应该将它们匹配起来；在上一帧中检测到的特征点，如果在当前帧中没有被检测到，则不应该将它与当前帧任何特征点相匹配；在当前帧中检测到的特征点，但在上一帧中没有出现，则该特征点也不应该与上一帧的任何特征点相匹配。好的匹配策略应该使得尽可能增加正确的配对，减少错误匹配。

根据基于特征点图像配准的一般步骤，综合考虑特征点定位精度、算法运算复杂度以及特征点检测的鲁棒性，本发明提取SURF特征点，在此基础上，选择多种信息自适应加权融合作为特征点相应的特征向量，选择具有最小融合特征间距离作为候选配对的特征点集合。

然而在候选特征点配对集合中，不可避免地总会有在前后帧中均出现的特征点没有被匹配上，而另有一些特征点却被错误匹配。考虑到连续帧特征点匹配的特点，在初始匹配的特征点对集合中，采用符合连续帧图像空间变化的的约束条件对其中的误匹配点进行去除。找到匹配点对后，根据连续视频帧间图像空间的变化连续性的特点，可以根据匹配点对来估算图像间的空间变换模型的参数。

参见图1所示的一种视频帧间目标运动估计方法的流程图；该方法包括如下步骤：

步骤S102，获取当前视频帧中，目标对象的特征点集；其中，该特征点集包括特征点和特征点对应的特征向量；特征向量至少包括特征描述子向量、尺度系数、灰度分布特征、局部能量特征和位置变化特征中的多种；

具体地，可以采用SURF(Speeded-Up Robust Features，加速鲁棒特征)特征点检测算法检测视频帧中的特征点，其中，设置当前视频帧为t时刻的视频帧，对应的特征点集为前一帧视频帧为t-1时刻的视频帧，对应的特征点集为其中，Xⁱ＝{x,y}为特征点i在图像中的位置，Featⁱ为特征点i对应的特征向量，N(t)表示t时刻所检测到的特征点个数；在每个特征点提取64维的特征描述子向量Feat_d，将特征点的尺度系数s作为特征Feat_s，以描述特征点局部区域的大小，在以特征点为中心的邻域图像中提取灰度分布特征Feat_h，同样在以特征点为中心的邻域图像中提取其局部能量特征Fea_pt，组成特征点的特征向量{Feat_d,Feat_s,Feat_h,Feat_p}。

参见图2所示的一种视频帧间目标运动估计方法中，特征点匹配的流程示意图；该方法中分三个步骤对视频帧间特征点进行匹配：(1)基于特征向量的匹配算法，在满足特征信息向量不发生突变的条件下，选择出一级待匹配特征点；(2)基于位移关系的匹配算法，进一步遴选出二级待匹配特征点，剔除不满足帧间位移一致性约束条件的误匹配；(3)配对唯一性处理，在二级待匹配特征点中选择具有最小融合特征距离的配对作为三级待匹配特征点。

目标对象在帧间的运动由目标对象本身的运动与探测器的运动两个方面的因素决定，而其邻域背景区域的帧间运动仅仅取决于探测器的运动，在一般情况下，视频中目标对象与背景是按照不同的运动方程发生帧间的位移的。此外目标与其邻域背景在灰度值、形状、等表观信息方面有明显的区别，因此目标及背景上特征点的特征向量也应有显著不同。故将特征点集Pg_t-1分为两类：位于目标对象区域的特征点集位于背景区域的特征点集当新的视频帧来到后，通过SURF特征检测算法检测到当前帧的特征点集Pg_t，那么帧间特征点匹配算法就是要通过匹配找到当前特征点集Pg_t中属于目标的点集与属于背景的点集

前后帧间目标特征点的配对可以看作是的特点集与在配对空间的搜索最佳匹配问题，这里TN(t-1)为t-1时刻目标特征点集的个数，同理背景特征点的帧间配对也可以看作是的特点集与在配对空间的最佳搜索匹配问题，BN(t-1)为t-1时刻背景特征点集的个数。特征点集间的匹配结果可用配对空间中的一个二值向量来表示,Matched＝{0,1}^M，向量Matched中每个入口matched_ij代表一个配对响应，若matched_ij＝1表示配对成功，否则表示特征点i与j配对失败，M表示前后帧特征点集组成的配对空间，M可用一二维矩阵描述，矩阵的大小为N(t-1)×N(t)，N(t-1)与N(t)分别表示前后帧参与配对的特征点个数。在这里，配对应当满足约束条件Rstr：

即前一帧中的特征点要么与当前帧的某一个特征点配对成功，要么没有匹配上任何的特征点。

步骤S104，根据特征向量的波动程度，筛选特征点，获得一级待匹配特征点；

该步骤S104可以通过下述方式实现：

(1)分别计算特征点与前一帧视频帧内特征点的Hessian矩阵迹；

(2)判断特征点的Hessian矩阵迹与前一帧视频帧内特征点的Hessian矩阵迹是否同号；

通常，按照特征点中心灰度值与其周围邻域灰度值的关系，所检测到的特征点可分为两类，分别为特征点中心灰度值为邻域内灰度极小值和极大值，显然这两类特征点之间不应当发生匹配。因此首先计算特征点的Hessian矩阵迹(即Hessian矩阵对角元素之和)，令特征点的Hessian矩阵迹用Trace表示。若Hessian矩阵迹为正，表明特征点中心亮度比邻域像素亮度大；若Hessian矩阵迹为负，则表明特征点中心亮度比邻域像素亮度暗。比较两个待匹配特征点i与j的Hessian矩阵迹，如果它们同号，则进行下一步的匹配计算，否则认为该待匹配点对并不匹配：如下述公式所示：

(3)如果是，通过在线学习的方式，分别计算特征点对应的多种特征向量对应的方差；

如前所述，目标及背景的帧间变化应具有连续性，因而可近似认为特征点在帧间的位置变化是满足在某一均值下的高斯分布。另一方面，由于温度变化、光照等原因，相邻两帧对应特征点的表观特征值并不相同，但在运动与光照无突变的情况下，表观特征值也不会发生突变。对于在连续帧间能够匹配的特征点对，其特征向量也可认为满足在某一均值下的高斯分布。也就是说，能够配对的特征点其运动特征以及特征向量在帧间的变化应当是平滑连续的。通过在线学习的方式，分别计算得到配对特征点的描述子向量Feat_d、尺度系数Feat_s、灰度分布特征Feat_h、局部能量特征Feat_p随时间变化的方差分别为σ_d,σ_s,σ_p,σ_h，以及位置变化特征对应的运动特征信息。

(4)计算特征点与前一帧视频帧内特征点，对应特征向量的欧式距离；

(5)通过下述公式，计算特征点的匹配结果matched_ij：

matched_ij＝match_d&match_s&match_p&match_h&match_m；

其中，i为前一帧视频帧内的特征点；j当前帧内的特征点；Dist_dij、Dist_sij、Dist_pij、Dist_hij和Dist_mij分别为特征描述子向量、尺度系数、灰度分布特征、局部能量特征和位置变化特征对应的欧氏距离；threσ为方差的阈值系数，取值范围通常在2～3之间；σ_d、σ_s、σ_p、σ_h和σ_m分别为特征描述子向量、尺度系数、灰度分布特征、局部能量特征和位置变化特征对应的方差；

(6)保留matched_ij＝1的特征点，作为一级待匹配特征点。该步骤具体可以通过下述公式表示：

candidate_matchpair1＝{(i,j)|matched_ij＝1}；

上式表明只有各特征向量间的欧式距离都小于threσ倍的相应方差的特征点对才是潜在的可匹配的特征点对，这样就在配对空间中剔除了那些特征向量相差太大的配对。

步骤S106，根据一级待匹配特征点与前一帧视频帧对应特征点之间的位置关系，筛选一级待匹配特征点，获得二级待匹配特征点；

由于噪声、重复性的纹理等因素的影响，不同位置的特征点可能具有相似的局部特征，因而上述一级待匹配特征点，仍难于完全避免误匹配的产生，而误匹配对将会极大地影响到后续的目标运动参数估计的准确性。

视频帧中，背景区域在图像中的运动是由于探测器运动引起的，而目标在图像中的运动则是由目标本身的运动叠加上探测器的运动所决定的。在实际中无论是探测器的运动，还是目标的运动都不会发生突变，因而，在视频中目标及背景区域的运动也不会发生突变。基于此，目标对象的特征点集和背景特征点集的帧间位移也一定和目标及背景的运动紧密关联，因此也就相应地约束了能够正确匹配的特征点对的可能的帧间位移。能够正确匹配的特征点对的帧间位移向量由两个方面的因素决定：(1)目标及背景区域整体的运动；(2)图像噪声、目标非平面旋转等因素对局部极值点位置变化的影响。在这两个因素中，而前一个因素是影响特征点帧间位移的主要原因。

因而，可以从以下几个方面对特征点帧间位移矢量进行约束：(1)由于特征点的帧间位移主要由目标或背景区域本身在图像中的移动而造成，而在应用中跟踪的目标应会发生形状突变，能正确配对的特征点的帧间位移矢量长度应具有一致性；(2)能正确配对的特征点的帧间位移矢量方向也应具有一致性；(3)能正确配对的特征点帧间位移前后，相互间位置关系应基本保持不变；最后在满足这三个约束条件下，寻找到最多的配对特征点。

基于上述分析，该步骤S106可以通过下述方式实现：

设置时刻t1与t2分别表示前一帧视频帧与当前视频帧发生的时间，i1及i2表示t1时刻检测到的位于目标对象上候选配对特征点序号，t1时刻有N(t1)个候选的配对特征点，则i1≤N(t1)且i2≤N(t1)，j1及j2表示t2时刻检测到的一级待匹配特征点，t2时刻的一级待匹配特征点为N(t2)，那么有j1≤N(t2)，j2≤N(t2)；

(1)计算向量a＝＜i1,j1＞与向量b＝＜i2,j2＞长度差Δu1＝u_i1j1-u_i2j2；

(2)计算向量a＝＜i1,j1＞与向量b＝＜i2,j2＞的夹角

(3)计算向量c＝＜i1,i2＞与向量d＝＜j1,j2＞长度差Δu2＝u_i1i2-u_j1j2；

其中，i2和j2为一级待匹配特征点；i1为前一帧视频帧中，与i2匹配的特征点；j1为前一帧视频帧中，与j2匹配的特征点；

(4)将长度差Δu1、夹角∠θ_ab和长度差Δu2分别满足对应阈值的一级待匹配特征点，作为二级待匹配特征点。

具体地，如果时刻t1的特征点i1及i2分别与t2时的特征点j1及j2能正确匹配，则上述长度差Δu1小于对应的阈值，上述夹角∠θ_ab小于对应的阈值，上述长度差Δu2也小于对应的阈值

由于造成背景和目标对象上特征点在视频中运动的原因并不一样，因此依照上述约束条件选择正确配对特征点时，背景特征点集和目标对象的特征点集的匹配应分别进行计算。

在满足这些约束条件下，在配对空间及中搜寻集合candidate_matchpair1中正确的匹配特征点对。最直观的寻找最佳配对的方法是通过遍历所有可能的匹配情况，最终找到满足约束的最多配对，但该方法计算复杂度很高。

在实际实现时，可以采用RANSAC算法的思想，根据之前所述的三个约束条件建立模型，计算出匹配特征点对的前后帧间位移的均值和方差以及前一帧和当前帧中特征点的距离均值和方差即：

基于RANSAC算法思想的误匹配特征点对剔除算法步骤如下：

(1)随机选取匹配特征点对，建立候选模型；

根据之前特征信息的匹配的计算，得到一级待匹配特征点candidate_matchpair1，显然特征信息融合距离值Dist_intergralij小的匹配特征点对更有可能是正确的配对点，相比融合距离值大的配对点，应能够以较大的概率被选中来建立模型，因此采用基于轮盘赌的随机采样策略来进行采样。对每个潜在的配对点都赋予对应的归一化权值ω_ij作为其被选中的概率：

计算累积权值：

Cumuω_ij＝∑ω_ij

随机产生在[0,1]期间均匀分布的随机数r，则选取的配对特征点为：

ij＝argmin(Cumuω_ij＞r)

按照以上方法，随机选择两对匹配特征点观测数据作为样本点，计算两对特征点帧间位移的方差和均值的比值：

计算前一帧内特征点之间的距离以及后一帧内特征点间距离，并进一步计算帧内特征点距离的方差和均值的比值：

若Par1、Par2以及向量a＝＜i1,j1＞与向量b＝＜i2,j2＞间的夹角∠θ_ab小于规定阈值，则以以及向量a的相位角和b的相位角的均值作为模型参数，继续下述步骤(2)，否则重新选取特征点对；

(2)对每个候选的匹配特征点对＜in,jn＞，计算帧间位移的长度u_injn及方向θ_injn，并计算其到建立模型所选择的两对特征点的帧内平均距离差Std_injn，将它们分别与模型参数以及进行比较，若均小于预定阈值，则认为该配对特征点为内点，否则为外点，记下内点数量，若满足当前模型的内点数量是历次建模所获得的内点数量中最多的，则记最多内点数量为K，设候选特征点集合candidate_matchpair1中特征点配对个数为candidate_number1，计算内点个数K与候选特征点的个数比值；

(3)若比值fracinliers大于规定阈值，或检测内点的次数大于规定阈值，则其所对应的最大内点个数K的配对即为候选匹配特征点集合candidate_matchpair2；否则，重复上述步骤，若M次后仍未能找到正确的配对特征点，则认为算法失败。

可见候选匹配特征点集合candidate_matchpair2是从集合candidate_matchpair1中剔除了那些不满足帧间位移一致性的配对特征点集合。

步骤S108，根据二级待匹配特征点与前一帧视频帧的特征点之间的匹配唯一性约束条件，筛选二级待匹配特征点，获得三级待匹配特征点；

由上述可知，正确的帧间配对应当是一一对应的，即当前帧中的某个特征点只能与下一帧中的一个特征点配对，反之亦然。在根据特征信息匹配和帧间位移一致性匹配后得到的二级待匹配特征点candidate_matchpair2中，仍然可能存在同一帧中空间上相邻的两个特征点，如果它们的特征信息也是相似的，则它们有可能与相邻帧的某个特征点同时匹配，也就是说，之前的配对计算并不能够保证帧间特征点配对都必然为一一匹配；基于此，对于二级待匹配特征点中，不满足匹配唯一性约束的配对，选择特征向量间融合距离Dist_intergralij最小的那些配对点作为三级待匹配特征点candidate_matchpair3，该三级待匹配特征点candidate_matchpair3是对二级待匹配特征点candidate_matchpair2进行配对唯一性检查后得到的匹配特征点集合。

上述步骤S108具体可以通过下述方式实现：

(1)判断二级待匹配特征点与前一帧视频帧的特征点是否为一一对应的匹配关系；如果是，执行步骤(2)；如果否，执行(3)；

(2)将该二级待匹配特征点确定为三级待匹配特征点；

(3)将欧氏距离最小的二级待匹配特征点，作为三级待匹配特征点；

其中，二级待匹配特征点与前一帧视频帧的特征点的欧氏距离，通过下述公式计算：

其中，n∈{d，s，h，p}；d为特征描述子向量；s为尺度系数；h为灰度分布特征；p为局部能量特征；i、j为特征点的序号；weight为对应特征向量的权值；Dist为欧式距离。

计算特征向量的权值其中，

σ为方差；d为特征描述向量；s为尺度特征向量；h为灰度分布信息；p为局部能量信息；t为第t帧；n∈{d，s，h，p}；μ为均值；为第t帧的特征描述子向量；为第t帧的尺度系数；为第t帧的灰度分布特征；为第t帧的局部能量特征；i为特征点的序号；N为特征点的总数；η_σ为方差的更新因子。

步骤S110，根据三级待匹配特征点，对目标对象进行运动估计。

该步骤S110，具体可以通过下述方式实现：

目标对象在成像过程中的运动可以有平移或旋转，其中因目标远离或靠近探测器的平移会造成目标对象在图像中成像面积的缩小或放大，因而视频中目标对象的运动可以用水平和垂直方向的平移、缩放和在成像平面内的旋转来描述，相应地，位于目标上的特征点的运动也应服从同样的平移、缩放以及旋转变化。然而由于噪声等因素的影响，检测到的配对特征点并不能够完全无误地满足相同的平移、缩放以及旋转的变换参数。

通常用矩形框来表示目标对象的跟踪区域，设前一帧视频帧中，目标对象的状态向量为coord_x_t-1与coord_y_t-1表示目标对象中心位置，而h_t-1和w_t-1表示的宽和高。目标的运动可描述为帧间目标区域参数化的图像变换，设t-1时刻有一特征点i，其坐标位置为根据参数化的图像变换方程，其在时刻t对应的像素为

(1)计算目标对象在t时刻的位置估计值

其中，Motion表示反映目标对象在视频帧间运动的变换方程；为特征点i的坐标位置；Par_t＝(u_t,ρ_t,θ_t)为变换参数，u_t＝(ux_t,uy_t)为平移参数，ρ_t为缩放参数，θ_t为旋转参数；xc_t-1＝(center_x_t-1,center_y_t-1)为所述目标对象的中心位置；该公式说明目标区域的帧间位置变化可以用平移、围绕目标中心的缩放以及旋转的运动方程来描述。

(2)计算观测误差i＝1,…,N；其中，X_t ⁱ为目标对象在t时刻的观测值；为t时刻特征点i的权值；

(3)采用最小二乘法更新Par_t＝(u_t,ρ_t,θ_t)，以使的值为最小。

理想情况下，目标对象上的特征点应跟随目标对象做与其一致的运动。若根据之前的帧间特征点配对计算，t-1时刻的特征点与t时刻位置为的特征点匹配，而在t时刻的位置估计值为理想情况下，估计值与观测值应当相等。然而在实际应用中，由于噪声及观测角度变化等因素的影响，目标上的特征点在帧间的运动并不完全与目标整体的运动一致。

在实际应用中，可以认为目标本身的帧间形变很小，因而目标上特征点的帧间运动应基本与目标整体运动的不一致是很小的，这种运动的不一致主要是由于噪声，目标邻域背景变化等造成的。因此可将目标上各个特征点的运动v_t视作满足高斯分布的概率函数p(v_t)＝N(v_t|Gmov_t,σ_t)，Gmov_t为目标整体的运动参数，σ_t为一方差矩阵。

可以采用非线性最小二乘曲线拟合的方法来得到目标运动方程的最优估计。在检测得到观测数据集以及后，则上述位置估计值的计算公式，其观测误差r计算为：

如果误差很小，则说明特征点的帧间移动与位置估计值相同，如果计算所有匹配特征点对的观测误差r都很小，则说明此时运动方程的系数Par_t＝(u_t,ρ_t,θ_t)是准确的。

在视频连续帧中对特征点进行匹配，有的特征点对能够多次在连续帧中都被匹配，而有的特征点对只能被匹配成功很少几次，之后就再也没有被匹配成功。某个特征点在连续帧中被匹配成功的次数反映了这个特征点在视频中的稳健性和鲁棒性，说明该特征点是图像中固有的局部极值点，且不容易受到噪声、杂波等因素的干扰，反之，在连续视频中特征点的被匹配次数较少说明这些特征点是不稳健，容易受到噪声、杂波或其它因素干扰的，不能够在视频中被持续地检测到。因此特征点在视频中被匹配成功的次数也是反映了特征点的稳健性以及可靠性的指标。配对成功次数较多的特征点相对于配对成功次数少的特征点，其帧间的位移变化更可靠地反映了目标的帧间变化。

将所有匹配成功的特征点同等地看待，并通过上述观测误差r的计算公式计算观测误差r以寻找最优的变换参数Par_t＝(u_t,ρ_t,θ_t)，显然并不十分合理。因此我们改进了上述观测误差r的计算公式，依据成功配对次数以及特征向量的融合距离Dist_intergralij赋予在t时刻配对成功的特征点i权值观测误差r为：

因此采用最小二乘法寻找变换参数Par_t＝(u_t,ρ_t,θ_t)，使得函数f(X_t)最小：

本发明实施例提供的一种视频帧间目标运动估计方法，获取到当前视频帧中，目标对象的特征点集后，首先根据该特征点集中特征向量的波动程度，筛选特征点，获得一级待匹配特征点；再根据一级待匹配特征点与前一帧视频帧对应特征点之间的位置关系，筛选获得二级待匹配特征点；再根据二级待匹配特征点与前一帧视频帧的特征点之间的匹配关系，筛选获得三级待匹配特征点；最后再根据三级待匹配特征点，对目标对象进行运动估计；该方式通过多级筛选匹配特征点，可以剔除较多的误匹配特征点，使得最终的匹配特征点具有较高的准确性和鲁棒性，进而提高了后续的视频帧间目标运动估计的精度和稳定性。

对应于上述方法实施例，参见图3所示的一种视频帧间目标运动估计装置的结构示意图；该装置包括：

获取模块30，用于获取当前视频帧中，目标对象的特征点集；其中，特征点集包括特征点和特征点对应的特征向量；特征向量至少包括特征描述子向量、尺度系数、灰度分布特征、局部能量特征和位置变化特征中的多种；

第一筛选模块31，用于根据特征向量的波动程度，筛选特征点，获得一级待匹配特征点；

第二筛选模块32，用于根据一级待匹配特征点与前一帧视频帧对应特征点之间的位置关系，筛选一级待匹配特征点，获得二级待匹配特征点；

第三筛选模块33，用于根据二级待匹配特征点与前一帧视频帧的特征点之间的匹配唯一性约束条件，筛选二级待匹配特征点，获得三级待匹配特征点；

运动估计模块34，用于根据三级待匹配特征点，对目标对象进行运动估计。

上述第一筛选模块，还用于：通过在线学习的方式，分别计算特征点对应的多种特征向量对应的方差；计算特征点与前一帧视频帧内特征点，对应特征向量的欧式距离；通过下述公式，计算特征点的匹配结果matched_ij：

matched_ij＝match_d&match_s&match_p&match_h&match_m；

其中，i为前一帧视频帧内的特征点；j当前帧内的特征点；Dist_dij、Dist_sij、Dist_pij、Dist_hij和Dist_mij分别为特征描述子向量、尺度系数、灰度分布特征、局部能量特征和位置变化特征对应的欧氏距离；threσ为方差的阈值系数；σ_d、σ_s、σ_p、σ_h和σ_m分别为特征描述子向量、尺度系数、灰度分布特征、局部能量特征和位置变化特征对应的方差；

保留matched_ij＝1的特征点，作为一级待匹配特征点。

上述第二筛选模块，还用于：计算向量a＝＜i1,j1＞与向量b＝＜i2,j2＞长度差Δu1＝u_i1j1-u_i2j2；

计算向量a＝＜i1,j1＞与向量b＝＜i2,j2＞的夹角

计算向量c＝＜i1,i2＞与向量d＝＜j1,j2＞长度差Δu2＝u_i1i2-u_j1j2；

其中，i2和j2为一级待匹配特征点；i1为前一帧视频帧中，与i2匹配的特征点；j1为前一帧视频帧中，与j2匹配的特征点；

将长度差Δu1、夹角∠θ_ab和长度差Δu2分别满足对应阈值的一级待匹配特征点，作为二级待匹配特征点。

本发明实施例提供的视频帧间目标匹配装置，与上述实施例提供的视频帧间目标匹配方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。

参见图4所示的一种视频帧间目标运动估计实现装置的结构示意图；该实现装置包括存储器100和处理器101；其中，存储器100用于存储一条或多条计算机指令，一条或多条计算机指令被处理器执行，以实现上述视频帧间目标运动估计方法，该方法可以包括以上方法中的一种或多种。

进一步，图4所示的实现装置还包括总线102和通信接口103，处理器101、通信接口103和存储器100通过总线102连接。

其中，存储器100可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口103(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线102可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

处理器101可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processing，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施方式中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施方式所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器100，处理器101读取存储器100中的信息，结合其硬件完成前述实施方式的方法的步骤。

进一步，本发明实施方式还提供了一种机器可读存储介质，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现上述视频帧间目标运动估计方法，该方法可以包括以上方法中的一种或多种。

本发明实施例提供的一种视频帧间目标运动估计方法、装置和实现装置，提供了一种基于帧间SURF特征点匹配的帧间位移参数估计方式，通过分步骤地对相邻帧间SURF特征点匹配加予限制条件，寻找出前后帧中正确匹配的SURF特征点。在视频中，常常不可避免地存在噪声、遮挡、场景中存在局部相似的区域等原因而严重影响特征点的帧间匹配的鲁棒性。仅仅依据特征点检测时提取的特征向量进行匹配得到的候选特征点配对，难于避免存在大量的误匹配，需要在此基础上进一步剔除其中的误匹配的特征点对，以便能准确计算两幅图像间的空间变换关系的相关参数。

本发明在依据最小融合特性向量间距离作为候选配对的基础上，针对连续帧图像匹配的问题，假设目标及其邻域背景帧间位移不会发生突变，且位于目标上的特征点的帧间位移应与目标整体的运动保持一致，同样位移背景上的特征点其帧间位移也应与背景的运动保持一致，依据此约束条件从候选配对特征点集合中剔除不满足运动一致性约束的配对，之后根据特征点的配对应满足的一一对应关系，最终确定正确的匹配特征点对，并据此估算出两帧间的目标及背景的位置变化的相关参数。与传统方法相比该方法具有以下优势：(1)针对连续帧图像间空间位置变化应具有连续性的特点，通过施加特征点位移变化约束，从候选配对特征点集合中遴选出符合约束条件的配对，具有较强的抗噪能力，能够在存在大量的错误数据的集合中快速寻找出符合约束模型的数据集；(2)根据最终得到的配对特征点，估算出帧间的位移变化的相关参数，能够有效描述视频帧中特定目标在图像中的帧间空间位置变化。

在本申请所提供的几个实施方式中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施方式仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施方式的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施方式中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施方式，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施方式对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施方式所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施方式技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种视频帧间目标运动估计方法，其特征在于，包括：

获取当前视频帧中，目标对象的特征点集；其中，所述特征点集包括特征点和所述特征点对应的特征向量；所述特征向量至少包括特征描述子向量、尺度系数、灰度分布特征、局部能量特征和位置变化特征中的多种；

根据所述特征向量的波动程度，筛选所述特征点，获得一级待匹配特征点；

根据所述一级待匹配特征点与前一帧视频帧对应特征点之间的位置关系，筛选所述一级待匹配特征点，获得二级待匹配特征点；

根据所述二级待匹配特征点与前一帧视频帧的特征点之间的匹配唯一性约束条件，筛选所述二级待匹配特征点，获得三级待匹配特征点；

根据所述三级待匹配特征点，对所述目标对象进行运动估计。

2.根据权利要求1所述的方法，其特征在于，所述根据所述特征向量的波动程度，筛选所述特征点，获得一级待匹配特征点的步骤，包括：

通过在线学习的方式，分别计算所述特征点对应的多种所述特征向量对应的方差；

计算所述特征点与前一帧视频帧内特征点，对应特征向量的欧式距离；

通过下述公式，计算所述特征点的匹配结果matched_ij：

matched_ij＝match_d&match_s&match_p&match_h&match_m；

其中，i为前一帧视频帧内的特征点；j当前帧内的特征点；Dist_dij、Dist_sij、Dist_pij、Dist_hij和Dist_mij分别为特征描述子向量、尺度系数、灰度分布特征、局部能量特征和位置变化特征对应的欧氏距离；threσ为方差的阈值系数；σ_d、σ_s、σ_p、σ_h和σ_m分别为特征描述子向量、尺度系数、灰度分布特征、局部能量特征和位置变化特征对应的方差；

保留matched_ij＝1的特征点，作为一级待匹配特征点。

3.根据权利要求2所述的方法，其特征在于，所述计算所述特征点与前一帧视频帧内特征点，对应特征向量的欧式距离的步骤之前，所述方法还包括：

分别计算所述特征点与前一帧视频帧内特征点的Hessian矩阵迹；

判断所述特征点的Hessian矩阵迹与前一帧视频帧内特征点的Hessian矩阵迹是否同号；

如果是，执行权利要求2所述的方法。

4.根据权利要求1所述的方法，其特征在于，所述根据所述一级待匹配特征点与前一帧视频帧对应特征点之间的位置关系，筛选所述一级待匹配特征点，获得二级待匹配特征点的步骤，包括：

计算向量a＝<i1,j1>与向量b＝<i2,j2>长度差Δu1＝u_i1j1-u_i2j2；

计算向量a＝<i1,j1>与向量b＝<i2,j2>的夹角

计算向量c＝＜i1,i2＞与向量d＝＜j1,j2＞长度差Δu2＝u_i1i2-u_j1j2；

其中，i2和j2为一级待匹配特征点；i1为前一帧视频帧中，与i2匹配的特征点；j1为前一帧视频帧中，与j2匹配的特征点；

将所述长度差Δu1、所述夹角∠θ_ab和所述长度差Δu2分别满足对应阈值的一级待匹配特征点，作为所述二级待匹配特征点。

5.根据权利要求1所述的方法，其特征在于，所述根据所述二级待匹配特征点与前一帧视频帧的特征点之间的匹配关系，筛选所述二级待匹配特征点，获得三级待匹配特征点的步骤，包括：

判断所述二级待匹配特征点与前一帧视频帧的特征点是否为一一对应的匹配关系；

如果否，将欧氏距离最小的二级待匹配特征点，作为三级待匹配特征点；

其中，所述二级待匹配特征点与前一帧视频帧的特征点的欧氏距离，通过下述公式计算：

其中，n∈{d，s，h，p；d为特征描述子向量；s为尺度系数；h为灰度分布特征；p为局部能量特征；i、j为特征点的序号；weight_n为对应特征向量的权值；Dist为欧式距离。

6.根据权利要求1所述的方法，其特征在于，所述根据所述三级待匹配特征点，对所述目标对象进行运动估计的步骤，包括：

计算所述目标对象在t时刻的位置估计值

其中，Motion表示反映目标对象在视频帧间运动的变换方程；为特征点i的坐标位置；Par_t＝(u_t,ρ_t,θ_t)为变换参数，u_t＝(ux_t,uy_t)为平移参数，ρ_t为缩放参数，θ_t为旋转参数；xc_t-1＝(center_x_t-1,center_y_t-1)为所述目标对象的中心位置；

计算观测误差其中，为目标对象在t时刻的观测值；为t时刻特征点i的权值；

采用最小二乘法更新Par_t＝(u_t,ρ_t,θ_t)，以使的值为最小。

7.一种视频帧间目标运动估计装置，其特征在于，包括：

获取模块，用于获取当前视频帧中，目标对象的特征点集；其中，所述特征点集包括特征点和所述特征点对应的特征向量；所述特征向量至少包括特征描述子向量、尺度系数、灰度分布特征、局部能量特征和位置变化特征中的多种；

第一筛选模块，用于根据所述特征向量的波动程度，筛选所述特征点，获得一级待匹配特征点；

第二筛选模块，用于根据所述一级待匹配特征点与前一帧视频帧对应特征点之间的位置关系，筛选所述一级待匹配特征点，获得二级待匹配特征点；

第三筛选模块，用于根据所述二级待匹配特征点与前一帧视频帧的特征点之间的匹配唯一性约束条件，筛选所述二级待匹配特征点，获得三级待匹配特征点；

运动估计模块，用于根据所述三级待匹配特征点，对所述目标对象进行运动估计。

8.根据权利要求7所述的装置，其特征在于，所述第一筛选模块，还用于：

通过在线学习的方式，分别计算所述特征点对应的多种所述特征向量对应的方差；

计算所述特征点与前一帧视频帧内特征点，对应特征向量的欧式距离；

通过下述公式，计算所述特征点的匹配结果matched_ij：

matched_ij＝match_d&match_s&match_p&match_h&match_m；

其中，i为前一帧视频帧内的特征点；j当前帧内的特征点；Dist_dij、Dist_sij、Dist_pij、Dist_hij和Dist_mij分别为特征描述子向量、尺度系数、灰度分布特征、局部能量特征和位置变化特征对应的欧氏距离；threσ为方差的阈值系数；σ_d、σ_s、σ_p、σ_h和σ_m分别为特征描述子向量、尺度系数、灰度分布特征、局部能量特征和位置变化特征对应的方差；

保留matched_ij＝1的特征点，作为一级待匹配特征点。

9.根据权利要求7所述的装置，其特征在于，所述第二筛选模块，还用于：

计算向量a＝<i1,j1>与向量b＝<i2,j2>长度差Δu1＝u_i1j1-u_i2j2；

计算向量a＝<i1,j1>与向量b＝<i2,j2>的夹角

计算向量c＝<i1,i2>与向量d＝<j1,j2>长度差Δu2＝u_i1i2-u_j1j2；

其中，i2和j2为一级待匹配特征点；i1为前一帧视频帧中，与i2匹配的特征点；j1为前一帧视频帧中，与j2匹配的特征点；

将所述长度差Δu1、所述夹角∠θ_ab和所述长度差Δu2分别满足对应阈值的一级待匹配特征点，作为所述二级待匹配特征点。

10.一种视频帧间目标运动估计实现装置，其特征在于，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现权利要求1至6任一项所述的方法。