CN105427333A - 视频序列图像的实时配准方法、系统及拍摄终端 - Google Patents

Abstract

本发明公开了一种视频序列图像的实时配准方法、系统及拍摄终端，其对待处理的序列图像进行特征点检测并计算各个特征点的harris响应值，根据该harris响应值对所述的特征点进行堆排序和特征点筛选，得到关键特征点，根据所述的特征点属性得到所述的关键特征点的位置信息，并根据该位置信息构建所述的关键特征点邻域位置的蒙版图，然后根据所述的蒙版图在所述序列图像中提取所述关键特征点的特征点描述子，最后根据所述的特征点描述子的相似性对所述的序列图像的进行配准，不仅大大的提高了特征点检测的实时性和鲁棒性，而且能够获得准确且快速的匹配结果，特别适用于一些对实时性要求较高的应用场景，例如实时防抖、场景匹配、抽帧算法中。

Description

视频序列图像的实时配准方法、系统及拍摄终端

技术领域

本发明涉及图像处理技术领域，特别是一种视频序列图像的实时配准方法及其应用该方法的系统、拍摄终端。

背景技术

人们在手持摄像设备过程中，不可避免会遇到因运动抖动而引起的视频画面抖动问题，因此视频防抖技术使用得越来越广泛。对于各种防抖处理技术，其中需要解决的首要问题是视频序列图像的配准问题。

现有的视频序列图像的配准算法一般分为两大类，一类是基于稠密点集的配准方法，如光流法及其衍生的方法。另一类是基于稀疏特征点集的配准方法，如SIFT，SURF和ORB等各类利用特征点配准的方法。其中基于稠密点集的屁配准方法，其对齐效果较好，然而计算量大，实时性较差，一般很难应用一般手持设备处理中。基于稀疏特征点集的配准方法具有实用性高的特点成为了今年来国内外的研究热点，其中快速特征点搜索更是一个重点研究方向。当中ORB特征检测在特征点鲁棒性和计算量上有一个很好的折衷，但对于手持设备的实时检测匹配处理仍没有一个比较好的解决方法。

发明内容

本发明为解决上述问题，提供了一种视频序列图像的实时配准方法、系统及拍摄终端，其通过使用简化去噪和小根堆响应排序方法对传统的ORB特征点搜索方法进行改进，大大提高了特征点检测的实时性和鲁棒性，适用范围更广。

为实现上述目的，本发明采用的技术方案为：

首先，本发明提供一种视频序列图像的实时配准方法，其特征在于，包括以下步骤：

10.对待处理的序列图像进行特征点检测，得到特征点属性；

20.根据所述的特征点属性进行计算各个特征点的harris响应值，并根据该harris响应值对所述的特征点进行堆排序；

30.根据所述的堆排序结果进行特征点筛选，得到关键特征点；

40.根据所述的特征点属性得到所述的关键特征点的位置信息，并根据该位置信息构建所述的关键特征点邻域位置的蒙版图；

50.根据所述的蒙版图在所述序列图像中提取所述关键特征点的特征点描述子；

60.根据所述的特征点描述子的相似性对所述的序列图像的进行配准。

优选的，所述的步骤10中，进一步包括：

11.对所述的序列图像进行灰度化处理，生成灰度图；

12.对灰度图像进行降采样，得到一组不同尺度下的灰度图，组成一个灰度图金字塔；

13.对不同尺度的灰度图进行FAST特征点检测，得到特征点的位置属性和尺度属性。

优选的，所述的步骤20中，根据harris响应值对所述的特征点进行堆排序,是通过构建小根堆，并计算不同尺度灰度图中的对应特征点的harris响应值，在计算harris响应值的过程的同时对小根堆进行更新。

优选的，所述的步骤30中根据所述的堆排序结果进行特征点筛选，是根据预设的期望特征点的数量K，提取堆排序后的前K个harris响应值较大的特征点，得到关键特征点。

优选的，所述的步骤40中，构建所述的关键特征点邻域位置的蒙版图，进一步包括：

41：设置特征点描述子的邻域检测尺寸的宽度W和高度H；

42：根据所述的关键特征点所在尺度空间下的尺度灰度图中的位置信息，换算出对应在该尺度空间下的关键特征点的蒙版位置信息；

43：遍历所有的关键特征点，重复步骤42，形成最终一组不同尺度空间下的检测蒙版图，组成相应的蒙版图金字塔。

优选的，所述的步骤50中，根据所述的蒙版图在所述序列图像中提取所述关键特征点的特征点描述子，进一步包括：

51.根据所述的关键特征点的蒙版图对所述的序列图像进行局部的快速高斯模糊处理，得到局部模糊图像；

52.根据灰度质心法计算出所述的关键特征点的响应主方向；

53.根据所述的关键特征点的响应主方向在所述的局部模糊图像中提取该关键特征点所对应的特征点描述子。

优选的，所述的步骤60中，根据所述的特征点描述子的相似性对所述的序列图像的进行配准，是通过计算所述的序列图像中对应的关键特征点的特征点描述子之间的汉明距离或者欧式距离，并对该距离与预设阈值进行比较计算来判断所述的特征点描述子的相似程度。

并且，本发明还根据以上方法相应的提供了一种视频序列图像的实时配准系统，其包括：

特征点检测模块，用于对待处理的序列图像进行特征点检测，得到特征点属性；

特征点排序模块，其根据所述的特征点属性进行计算各个特征点的harris响应值，并根据该harris响应值对所述的特征点进行堆排序；

特征点筛选模块，其根据所述的堆排序结果进行特征点筛选，得到关键特征点；

蒙版图构建模块，根据所述的特征点属性得到所述的关键特征点的位置信息，并根据该位置信息构建所述的关键特征点邻域位置的蒙版图；

描述子提取模块，其根据所述的蒙版图在所述序列图像中提取所述关键特征点的特征点描述子；

图像配准模块，其根据所述的特征点描述子的相似性对所述的序列图像的进行配准。

优选的，所述的描述子提取模块进一步包括：

模糊处理单元，其根据所述的关键特征点的蒙版图对所述的序列图像进行局部的快速高斯模糊处理，得到局部模糊图像；

响应方向计算单元，其根据灰度质心法计算出所述的关键特征点的响应主方向；

描述子提取单元，其根据所述的关键特征点的响应主方向在所述的局部模糊图像中提取该关键特征点所对应的特征点描述子。

另外，本发明还提供了一种拍摄终端，其包括上述任一项所述的视频序列图像的实时配准系统。

本发明的有益效果是：

本发明的一种视频序列图像的实时配准方法、系统及拍摄终端，其通过对待处理的序列图像进行特征点检测并计算各个特征点的harris响应值，根据该harris响应值对所述的特征点进行堆排序和特征点筛选，得到关键特征点，根据所述的特征点属性得到所述的关键特征点的位置信息，并根据该位置信息构建所述的关键特征点邻域位置的蒙版图，然后根据所述的蒙版图在所述序列图像中提取所述关键特征点的特征点描述子，最后根据所述的特征点描述子的相似性对所述的序列图像的进行配准，不仅大大的提高了特征点检测的实时性和鲁棒性，而且能够获得准确且快速的匹配结果，特别适用于一些对实时性要求较高的应用场景，例如实时防抖、场景匹配、抽帧算法中。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明视频序列图像的实时配准方法的流程简图；

图2为本发明视频序列图像的实时配准系统的结构示意图；

图3为本发明拍摄终端的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明的一种视频序列图像的实时配准方法，其包括以下步骤：

10.对待处理的序列图像进行特征点检测，得到特征点属性；

20.根据所述的特征点属性进行计算各个特征点的harris响应值，并根据该harris响应值对所述的特征点进行堆排序；

30.根据所述的堆排序结果进行特征点筛选，得到关键特征点；

40.根据所述的特征点属性得到所述的关键特征点的位置信息，并根据该位置信息构建所述的关键特征点邻域位置的蒙版图；

50.根据所述的蒙版图在所述序列图像中提取所述关键特征点的特征点描述子；

60.根据所述的特征点描述子的相似性对所述的序列图像的进行配准。

所述的步骤10中，进一步包括：

11.对所述的序列图像进行灰度化处理，生成灰度图；

12.对灰度图像进行降采样，得到一组不同尺度下的灰度图，组成一个灰度图金字塔；

13.对不同尺度的灰度图进行FAST特征点检测，得到特征点的位置属性和尺度属性。

其中，FAST即FeaturesfromAcceleratedSegmentTest。很多传统的算法都很耗时，而且特征点检测算法只是很多复杂图像处理里中的第一步，得不偿失。FAST特征点检测是公认的比较快速的特征点检测方法，只利用周围像素比较的信息就可以得到特征点，简单，有效。如果候选点周围领域内有足够多的像素点与该候选点的灰度值差别够大，则认为该候选点为一个特征点。

所述的步骤12中的不同尺度下的灰度图金字塔的生成方法为，金字塔每一层图像以缩放因子δ的进行图像缩小图像获得上一层数据，金字塔底层为原始的待处理序列图像，从而得到不同尺度灰度图金字塔。本发明中缩放因子δ取值在1.0至1.5的范围之间，金字塔层数为5层。这组参数在实验中可以获得比较好的效果。本发明在对不同尺度的灰度图进行FAST特征点检测后，记录其对应所在检测尺度作为其特征点尺度属性，其目的是在后续进行特征点筛选的计算过程中确定该特征点是否为所在尺度空间下的有效角点。

所述的步骤20中，根据harris响应值对所述的特征点进行堆排序,是通过构建小根堆，并计算不同尺度灰度图中的对应特征点的harris响应值，在计算harris响应值的过程的同时对小根堆进行更新。

其中，特征点的harris响应值的计算方法为：

step1:对于每一个特征点计算以特征点位置为中心，加权累加其长度为7的图像块范围内每一点的x和y方向的sobel卷积值，分别记为I_x和I_y，权值分布为半径为3，标准差为1的二维高斯分布权值表。

step2：通过I_x和I_y构建其响应矩阵M，M的具体表达式为：

$M=\left[\begin{array}{cc}{I}_x^2& I_x{I}_y\\ I_x{I}_y& I_y^2\end{array}\right];$

step3：计算M的行列式值det(M)及其迹trace(M)；

step4：计算出角点响应R:

R＝det(M)-k(trace(M))²；

实验中系数k的取值在0.03至0.08的范围之间可以获得比较理想的效果；

step5：对候选点按特征点响应值构建小根堆，在计算角点响应量的同时对小根堆进行更新，从而筛选出前K个响应量最大的特征点。

所述的步骤30中根据所述的堆排序结果进行特征点筛选，是根据预设的期望特征点的数量K，提取堆排序后的前K个harris响应值较大的特征点，得到关键特征点。

所述的步骤40中，构建所述的关键特征点邻域位置的蒙版图，是根据特征点检测位置构造检测点位置的蒙版图detectionmask，只对detectionmask中区域进行局部滤波处理，减少对全局金字塔图像处理的时间，其进一步包括：

41：设置特征点描述子的邻域检测尺寸的宽度W和高度H；

42：根据所述的关键特征点所在尺度空间下的尺度灰度图中的位置信息，换算出对应在该尺度空间下的关键特征点的蒙版位置信息；

43：遍历所有的关键特征点，重复步骤42，形成最终一组不同尺度空间下的检测蒙版图，组成相应的蒙版图金字塔。

其中蒙版图金字塔中每一层中形成不同尺度空间下的二值蒙版图，本实施例中，检测块的宽度W在30至40的范围之间，检测块的高度H也在30至40的范围之间，可以得到比较好特征点描述子。

所述的步骤50中，根据所述的蒙版图在所述序列图像中提取所述关键特征点的特征点描述子，即Brief描述子，其进一步包括：

51.根据所述的关键特征点的蒙版图对所述的序列图像进行局部的快速高斯模糊处理，得到局部模糊图像；

52.根据灰度质心法计算出所述的关键特征点的响应主方向；

53.根据所述的关键特征点的响应主方向在所述的局部模糊图像中提取该关键特征点所对应的特征点描述子。

所述的步骤51中，对所述的序列图像进行局部的快速高斯模糊处理，从而增加描述子对于局部噪声的抑制作用，增加描述子的鲁棒性，且提高了描述子的生成速度；其具体处理步骤包括：

step-a：指定模糊半径r和标准差s。构建一维高斯算子k，长度为2*r-1；

step-b：对step-a中一维高斯算子k进行像素值为p的0-255相乘的表格；由于一维高斯算子是对称的，所以只需要计算出1到r位置的r张表即可；

step-c：分别对x和y方向进行一维高斯滤波，这样相当于对图像进行了二维的高斯滤波，且降低了一维计算复杂度；其中卷积计算可以使用step-a中的表格进行查表计算，快速计算出蒙版图mask对应像素位置的高斯模糊结果。

实验中发现r在3至6范围之间时，且s在1至3范围之间时可以获得比较理想的去噪结果。

所述的步骤52中，特征点响应主方向计算是为了保证特征点描述子的旋转不变性，在描述子生成过程中，需要通过主方向来确定区域的插值位置，从而使得描述子具有旋转不变性。图像中某特征点点邻域的p+q阶矩的定义式为：

$m_{pq}=\underset{x,y}{\Σ}{x}^p{y}^{q}I(x,y);$

特征点邻域的质心坐标C为：

$C=(C_x,C_y)=(\frac{m_{10}}{m_{00}},\frac{m_{01}}{m_{00}});$

则质心的方向定义为：

$\mathrm{\θ}=arctan\left(\frac{C_y}{C_x}\right)=arctan\left(\frac{m_{10}}{m_{01}}\right);$

将θ定为该特征点的主方向，则可根据此方向来提取BRIEF描述子。

所述的步骤60中，根据所述的特征点描述子的相似性对所述的序列图像的进行配准，是通过计算所述的序列图像中对应的关键特征点的特征点描述子之间的汉明距离或者欧式距离，并对该距离与预设阈值进行比较计算来判断所述的特征点描述子的相似程度。

所述的步骤60中对所述的序列图像的进行配准，还包括：

61.根据特征点位置，限定其匹配范围，从而减少层次聚类的分支数；

62.对结果进行层次聚类，得到特征点匹配对；

63.利用RANSAC算法得到单应性矩阵，配准完毕。

其中，所述的步骤61中，由于前后两帧的序列图像之间的位移通常会比较小，可以通过限定当前帧匹配到的特征点相对于前一帧对应特征点的偏移，使其范围在图像宽高的20％以内，可以获得准确且快速的匹配结果。

如图2所示，本发明还根据以上方法相应的提供了一种视频序列图像的实时配准系统100，其包括：

特征点检测模块101，用于对待处理的序列图像进行特征点检测，得到特征点属性；

特征点排序模块102，其根据所述的特征点属性进行计算各个特征点的harris响应值，并根据该harris响应值对所述的特征点进行堆排序；

特征点筛选模块103，其根据所述的堆排序结果进行特征点筛选，得到关键特征点；

蒙版图构建模块104，根据所述的特征点属性得到所述的关键特征点的位置信息，并根据该位置信息构建所述的关键特征点邻域位置的蒙版图；

描述子提取模块105，其根据所述的蒙版图在所述序列图像中提取所述关键特征点的特征点描述子；

图像配准模块106，其根据所述的特征点描述子的相似性对所述的序列图像的进行配准。

其中，所述的描述子提取模块105进一步包括：

模糊处理单元1051，其根据所述的关键特征点的蒙版图对所述的序列图像进行局部的快速高斯模糊处理，得到局部模糊图像；

响应方向计算单元1052，其根据灰度质心法计算出所述的关键特征点的响应主方向；

描述子提取单元1053，其根据所述的关键特征点的响应主方向在所述的局部模糊图像中提取该关键特征点所对应的特征点描述子。

如图3所示，本发明还提供一种拍摄终端200，该拍摄终端200包括如上所述的视频序列图像的实时配准系统100，其中，视频序列图像的实时配准系统100可以采用图2实施例的结构，其对应地，可以执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，详细可以参见上述实施例中的相关记载，此处不再赘述。

所述拍摄终端包括：手机、数码相机或平板电脑等配置有摄像头的设备。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于系统实施例和终端实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

并且，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。另外，本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

上述说明示出并描述了本发明的优选实施例，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (10)

1.一种视频序列图像的实时配准方法，其特征在于，包括以下步骤：

10.对待处理的序列图像进行特征点检测，得到特征点属性；

20.根据所述的特征点属性进行计算各个特征点的harris响应值，并根据该harris响应值对所述的特征点进行堆排序；

30.根据所述的堆排序结果进行特征点筛选，得到关键特征点；

40.根据所述的特征点属性得到所述的关键特征点的位置信息，并根据该位置信息构建所述的关键特征点邻域位置的蒙版图；

50.根据所述的蒙版图在所述序列图像中提取所述关键特征点的特征点描述子；

60.根据所述的特征点描述子的相似性对所述的序列图像的进行配准。

2.根据权利要求1所述的一种视频序列图像的实时配准方法，其特征在于：所述的步骤10中，进一步包括：

11.对所述的序列图像进行灰度化处理，生成灰度图；

12.对灰度图像进行降采样，得到一组不同尺度下的灰度图，组成一个灰度图金字塔；

13.对不同尺度的灰度图进行FAST特征点检测，得到特征点的位置属性和尺度属性。

3.根据权利要求2所述的一种视频序列图像的实时配准方法，其特征在于：所述的步骤20中，根据harris响应值对所述的特征点进行堆排序,是通过构建小根堆，并计算不同尺度灰度图中的对应特征点的harris响应值，在计算harris响应值的过程的同时对小根堆进行更新。

4.根据权利要求1所述的一种视频序列图像的实时配准方法，其特征在于：所述的步骤30中根据所述的堆排序结果进行特征点筛选，是根据预设的期望特征点的数量K，提取堆排序后的前K个harris响应值较大的特征点，得到关键特征点。

5.根据权利要求2或3或4所述的一种视频序列图像的实时配准方法，其特征在于：所述的步骤40中，构建所述的关键特征点邻域位置的蒙版图，进一步包括：

41：设置特征点描述子的邻域检测尺寸的宽度W和高度H；

42：根据所述的关键特征点所在尺度空间下的尺度灰度图中的位置信息，换算出对应在该尺度空间下的关键特征点的蒙版位置信息；

43：遍历所有的关键特征点，重复步骤42，形成最终一组不同尺度空间下的检测蒙版图，组成相应的蒙版图金字塔。

6.根据权利要求1或2或3或4所述的一种视频序列图像的实时配准方法，其特征在于：所述的步骤50中，根据所述的蒙版图在所述序列图像中提取所述关键特征点的特征点描述子，进一步包括：

51.根据所述的关键特征点的蒙版图对所述的序列图像进行局部的快速高斯模糊处理，得到局部模糊图像；

52.根据灰度质心法计算出所述的关键特征点的响应主方向；

53.根据所述的关键特征点的响应主方向在所述的局部模糊图像中提取该关键特征点所对应的特征点描述子。

7.根据权利要求1所述的一种视频序列图像的实时配准方法，其特征在于：所述的步骤60中，根据所述的特征点描述子的相似性对所述的序列图像的进行配准，是通过计算所述的序列图像中对应的关键特征点的特征点描述子之间的汉明距离或者欧式距离，并对该距离与预设阈值进行比较计算来判断所述的特征点描述子的相似程度。

8.一种视频序列图像的实时配准系统，其特征在于，包括：

特征点检测模块，用于对待处理的序列图像进行特征点检测，得到特征点属性；

特征点排序模块，其根据所述的特征点属性进行计算各个特征点的harris响应值，并根据该harris响应值对所述的特征点进行堆排序；

特征点筛选模块，其根据所述的堆排序结果进行特征点筛选，得到关键特征点；

蒙版图构建模块，根据所述的特征点属性得到所述的关键特征点的位置信息，并根据该位置信息构建所述的关键特征点邻域位置的蒙版图；

描述子提取模块，其根据所述的蒙版图在所述序列图像中提取所述关键特征点的特征点描述子；

图像配准模块，其根据所述的特征点描述子的相似性对所述的序列图像的进行配准。

9.根据权利要求8所述的一种视频序列图像的实时配准系统，其特征在于，所述的描述子提取模块进一步包括：

模糊处理单元，其根据所述的关键特征点的蒙版图对所述的序列图像进行局部的快速高斯模糊处理，得到局部模糊图像；

响应方向计算单元，其根据灰度质心法计算出所述的关键特征点的响应主方向；

描述子提取单元，其根据所述的关键特征点的响应主方向在所述的局部模糊图像中提取该关键特征点所对应的特征点描述子。

10.一种拍摄终端，其特征在于，包括权利要求8至9任一项所述的视频序列图像的实时配准系统。