CN106534616B - 一种基于特征匹配与运动补偿的视频稳像方法及系统 - Google Patents

Abstract

本发明公开了一种基于特征匹配与运动补偿的视频稳像方法及系统，方法包括：选取视频帧图像的局部特征匹配区域；在视频帧图像的局部特征匹配区域中采用SURF算法提取视频帧图像特征点，并计算相应的SURF特征点描述符；采用改进的快速近似最邻近匹配算法对视频帧图像进行局部特征点匹配；根据匹配的结果采用最小二乘法来求解视频帧图像的仿射变换参数，然后根据求解出的仿射变换参数采用双线性插值法对视频帧图像进行全局运动补偿。本发明将局部特征匹配与运动补偿相结合，有效加快了算法的处理速度，增设了采用权值筛选法、双向匹配法以及K‑近邻算法筛选出最终的匹配点过程，提高了特征匹配的正确率。本发明可广泛应用于图像处理领域。

Description

一种基于特征匹配与运动补偿的视频稳像方法及系统

技术领域

本发明涉及图像处理领域，尤其是一种基于特征匹配与运动补偿的视频稳像方法及系统。

背景技术

视频作为一种重要的载体，里面包含有丰富的信息，在很多场合被加以广泛运用，发挥着越来越重要的作用。为了能够提取有效的区域信息，获取的视频需要具有一定的稳定性和清晰度。

伴随着摄像设备的广泛应用，摄像平台也越来越多样化，其可主要划分为固定平台和移动平台这两种。摄像平台中各种手持摄像设备、航拍器、车载摄像系统等由于受姿态变化和摄像机抖动等因素的影响，使得视频信息发生旋转或平移等随机运动，造成同一背景下存在有多种运动矢量和相邻帧间图像的坐标系不一致，使得输出的图像没有很好的稳定性，容易导致摄像平台因输出图像不稳定所带来的误差而无法提取有效正确的信息。因此，如何将这些抖动模糊的视频信号转化为稳定清晰的视频信号，就显得尤为重要。

目前国内外防抖方法主要包括机械稳像法、光学稳像法以及电子防抖法等。光学稳像法存在成本高、结构较为精密复杂等缺点。而机械稳像法的精度较低，同时其对一些较为明显的噪声处理效果不佳。电子稳像法能直接从视频序列中消除设想载体带来的抖动，不依赖与任何支撑体系。相比前两种方法而言，电子防抖技术具有成本低、灵活精确、能耗小等优点，具有广阔的应用前景，逐渐取代机械稳像法和光学稳像法成为防抖技术的主流。

近年来，针对电子防抖算法的研究有很多，其中既有基于Harris角点、SUSAN角点进行运动估计的方法，也有基于尺度不变性(如SIFT算法、SURF算法)的征匹配方法。Harris角点和SUSAN角点对较为稳定视频图像进行匹配的效果好，但该算法的特征检测和匹配速度较慢。SIFT算法具有尺度不变性，能够适应图像的多种变化情况，因此得到了广泛的使用，但该算法的计算量大，处理速度慢，不适用于实时处理。SURF算法，是一种对SIFT改进的算法，其性能超过了SIFT且在处理速度上有了提高，但它同样存在计算量大，不适用于实时处理的缺点，而且其进行特征匹配的正确率不高，需要进行进一步改进。

发明内容

为解决上述技术问题，本发明的目的在于：提供一种处理速度快和正确率高的，基于特征匹配与运动补偿的视频稳像方法。

本发明的另一目的在于：提供一种处理速度快和正确率高的，基于特征匹配与运动补偿的视频稳像系统。

本发明所采取的技术方案是：

一种基于特征匹配与运动补偿的视频稳像方法，包括以下步骤：

选取视频帧图像的局部特征匹配区域，所述视频帧图像的局部特征匹配区域包括四个矩形框区域，所述四个矩形框区域由视频帧图像的四个边角区域分别向内缩进设定的距离得到；

在视频帧图像的局部特征匹配区域中采用SURF算法提取视频帧图像特征点，并计算相应的SURF特征点描述符；

采用改进的快速近似最邻近匹配算法对视频帧图像进行局部特征点匹配，所述改进的快速近似最邻近匹配算法先训练好匹配器，再选取最优索引类型来为SURF特征点描述符构建索引树，最后根据匹配器和索引树采用权值筛选法、双向匹配法以及K-近邻算法筛选出最终的匹配点；

根据匹配的结果采用最小二乘法来求解视频帧图像的仿射变换参数，然后根据求解出的仿射变换参数采用双线性插值法对视频帧图像进行全局运动补偿。

进一步，所述在视频帧图像的局部特征匹配区域中采用SURF算法提取视频帧图像特征点，并计算相应的SURF特征描述符这一步骤，其包括：

为视频帧图像的局部特征匹配区域中的图像点构建海森矩阵；

构造高斯金字塔尺度空间；

在高斯金字塔尺度空间中根据设定的海森矩阵判别式采用非极大值抑制的方式初步确定视频帧图像特征点；

构造视频帧图像的SURF特征描述符；

选取视频帧图像特征点的主方向；

根据SURF特征描述符和选取的主方向从初步确定的视频帧图像特征点中精确定位出极值点，并以定位出的极值点作为提取出的视频帧图像特征点。

进一步，所述采用改进的快速近似最邻近匹配算法对视频帧图像进行局部特征点匹配这一步骤，其包括：

根据视频帧图像特征点训练好相应的匹配器；

根据视频帧图像特征点数据选取最优的索引类型随机KD-tree树和层次K-meanstree为SURF特征描述子建立索引树；

根据匹配器和索引树采用权值筛选法、双向匹配法以及K-近邻算法筛选出最终的匹配点。

进一步，所述根据匹配器和索引树采用权值筛选法、双向匹配法以及K-近邻算法筛选出最终的匹配点这一步骤，其包括：

S1、从视频帧图像中选取基准帧图像和当前帧图像，并得到基准帧图像与当前帧图像的对应特征点，其中，当前帧图像为视频帧图像中除了基准帧图像外的任一帧图像；

S2、计算基准帧图像与当前帧图像的对应特征点的欧氏距离和最小欧氏距离，然后根据计算的最小欧氏距离设定距离阈值，并将基准帧图像与当前帧图像的对应特征点中欧氏距离小于设定距离阈值的对应特征点作为匹配点对保留而将其余对应特征点剔除，其中，设定距离阈值为最小欧氏距离阈值的若干倍；

S3、将基准帧图像与当前帧图像进行双向匹配，从而将基准帧图像与当前帧图像的对应特征点中不符合双向匹配原则的对应特征点从步骤S2保留的匹配点对中剔除；

S4、采用K-近邻算法从步骤S3得到的匹配点对中筛选出最终的匹配点。

进一步，所述步骤S4，其包括：

S41、根据对应特征点的欧氏距离为当前帧图像的每个SURF特征描述子寻找最优匹配点和次最优匹配点，其中，最优匹配点是对应特征点的最小欧氏距离对应的点，次最优匹配点是对应特征点的次最小欧氏距离对应的点；

S42、判断最优匹配点的欧氏距离与次最优匹配点的欧氏距离的比值是否趋于0，若是，则将对应特征点保留在步骤S3得到的匹配点对中，反之，则将对应特征点从步骤S3得到的匹配点对中剔除，从而得到最终的匹配点。

进一步，所述基准帧图像的选取间隔为10帧。

进一步，所述根据匹配的结果采用最小二乘法来求解视频帧图像的仿射变换参数，然后根据求解出的仿射变换参数采用双线性插值法对视频帧图像进行全局运动补偿这一步骤，其包括：

根据仿射变换模型和视频帧图像中相邻两帧图像匹配的结果采用最小二乘法来求解视频帧图像的仿射变换参数；

根据求解出的仿射变换参数采用双线性插值法对视频帧图像进行全局运动补偿。

本发明解决其技术问题所采取的另一技术方案是：

一种基于特征匹配与运动补偿的视频稳像系统，包括：

局部特征匹配区域选取模块，用于选取视频帧图像的局部特征匹配区域，所述视频帧图像的局部特征匹配区域包括四个矩形框区域，所述四个矩形框区域由视频帧图像的四个边角区域分别向内缩进设定的距离得到；

特征点提取模块，用于在视频帧图像的局部特征匹配区域中采用SURF算法提取视频帧图像特征点，并计算相应的SURF特征点描述符；

局部特征点匹配模块，用于采用改进的快速近似最邻近匹配算法对视频帧图像进行局部特征点匹配，所述改进的快速近似最邻近匹配算法先训练好匹配器，再选取最优索引类型来为SURF特征点描述符构建索引树，最后根据匹配器和索引树采用权值筛选法、双向匹配法以及K-近邻算法筛选出最终的匹配点；

仿射变换与全局运动补偿模块，用于根据匹配的结果采用最小二乘法来求解视频帧图像的仿射变换参数，然后根据求解出的仿射变换参数采用双线性插值法对视频帧图像进行全局运动补偿。

进一步，所述局部特征点匹配模块包括：

训练单元，用于根据视频帧图像特征点训练好相应的匹配器；

索引树建立单元，用于根据视频帧图像特征点数据选取最优的索引类型随机KD-tree树和层次K-means tree为SURF特征描述子建立索引树；

匹配点筛选单元，用于根据匹配器和索引树采用权值筛选法、双向匹配法以及K-近邻算法筛选出最终的匹配点。

进一步，所述匹配点筛选单元包括：

初始化子单元，用于从视频帧图像中选取基准帧图像和当前帧图像，并得到基准帧图像与当前帧图像的对应特征点，其中，当前帧图像为视频帧图像中除了基准帧图像外的任一帧图像；

权值法筛选子单元，用于计算基准帧图像与当前帧图像的对应特征点的欧氏距离和最小欧氏距离，然后根据计算的最小欧氏距离设定距离阈值，并将基准帧图像与当前帧图像的对应特征点中欧氏距离小于设定距离阈值的对应特征点作为匹配点对保留而将其余对应特征点剔除，其中，设定距离阈值为最小欧氏距离阈值的若干倍；

双向匹配子单元，用于将基准帧图像与当前帧图像进行双向匹配，从而将基准帧图像与当前帧图像的对应特征点中不符合双向匹配原则的对应特征点从权值法筛选子单元保留的匹配点对中剔除；

K-近邻算法筛选子单元，用于采用K-近邻算法从双向匹配子单元得到的匹配点对中筛选出最终的匹配点。

本发明的方法的有益效果是：包括选取视频帧图像的局部特征匹配区域，采用SURF算法提取视频帧图像特征点，采用改进的快速近似最邻近匹配算法对视频帧图像进行局部特征点匹配以及对视频帧图像进行全局运动补偿的步骤，将局部特征匹配与运动补偿相结合，有效加快了算法的处理速度，并对现有特征点匹配步骤所采用的快速近似最邻近匹配算法进行了改进，增设了采用权值筛选法、双向匹配法以及K-近邻算法筛选出最终的匹配点过程，大大提高了特征匹配的正确率。

本发明的系统的有益效果是：包括用于选取视频帧图像的局部特征匹配区域的局部特征匹配区域选取模块，用于采用SURF算法提取视频帧图像特征点的特征点提取模块，用于采用改进的快速近似最邻近匹配算法对视频帧图像进行局部特征点匹配的局部特征点匹配模块以及用于对视频帧图像进行全局运动补偿的仿射变换与全局运动补偿模块，将局部特征匹配与运动补偿相结合，有效加快了算法的处理速度，并对现有特征点匹配过程所采用的快速近似最邻近匹配算法进行了改进，在局部特征点匹配模块中增设了采用权值筛选法、双向匹配法以及K-近邻算法筛选出最终的匹配点过程，大大提高了特征匹配的正确率。

附图说明

图1为本发明一种基于特征匹配与运动补偿的视频稳像方法的整体流程图；

图2为本发明所选取的局部特征匹配区域示意图；

图3为本发明SURF算法的流程图；

图4为本发明实施例一的一个优选实施流程图。

具体实施方式

参照图1和2，一种基于特征匹配与运动补偿的视频稳像方法，包括以下步骤：

选取视频帧图像的局部特征匹配区域，所述视频帧图像的局部特征匹配区域包括四个矩形框区域，所述四个矩形框区域由视频帧图像的四个边角区域分别向内缩进设定的距离得到；

在视频帧图像的局部特征匹配区域中采用SURF算法提取视频帧图像特征点，并计算相应的SURF特征点描述符；

采用改进的快速近似最邻近匹配算法对视频帧图像进行局部特征点匹配，所述改进的快速近似最邻近匹配算法先训练好匹配器，再选取最优索引类型来为SURF特征点描述符构建索引树，最后根据匹配器和索引树采用权值筛选法、双向匹配法以及K-近邻算法筛选出最终的匹配点；

根据匹配的结果采用最小二乘法来求解视频帧图像的仿射变换参数，然后根据求解出的仿射变换参数采用双线性插值法对视频帧图像进行全局运动补偿。

参照图3，进一步作为优选的实施方式，所述在视频帧图像的局部特征匹配区域中采用SURF算法提取视频帧图像特征点，并计算相应的SURF特征描述符这一步骤，其包括：

为视频帧图像的局部特征匹配区域中的图像点构建海森矩阵；

构造高斯金字塔尺度空间；

在高斯金字塔尺度空间中根据设定的海森矩阵判别式采用非极大值抑制的方式初步确定视频帧图像特征点；

构造视频帧图像的SURF特征描述符；

选取视频帧图像特征点的主方向；

根据SURF特征描述符和选取的主方向从初步确定的视频帧图像特征点中精确定位出极值点，并以定位出的极值点作为提取出的视频帧图像特征点。

进一步作为优选的实施方式，所述采用改进的快速近似最邻近匹配算法对视频帧图像进行局部特征点匹配这一步骤，其包括：

根据视频帧图像特征点训练好相应的匹配器；

根据视频帧图像特征点数据选取最优的索引类型随机KD-tree树和层次K-meanstree为SURF特征描述子建立索引树；

根据匹配器和索引树采用权值筛选法、双向匹配法以及K-近邻算法筛选出最终的匹配点。

进一步作为优选的实施方式，所述根据匹配器和索引树采用权值筛选法、双向匹配法以及K-近邻算法筛选出最终的匹配点这一步骤，其包括：

S1、从视频帧图像中选取基准帧图像和当前帧图像，并得到基准帧图像与当前帧图像的对应特征点，其中，当前帧图像为视频帧图像中除了基准帧图像外的任一帧图像；

S2、计算基准帧图像与当前帧图像的对应特征点的欧氏距离和最小欧氏距离，然后根据计算的最小欧氏距离设定距离阈值，并将基准帧图像与当前帧图像的对应特征点中欧氏距离小于设定距离阈值的对应特征点作为匹配点对保留而将其余对应特征点剔除，其中，设定距离阈值为最小欧氏距离阈值的若干倍；

S3、将基准帧图像与当前帧图像进行双向匹配，从而将基准帧图像与当前帧图像的对应特征点中不符合双向匹配原则的对应特征点从步骤S2保留的匹配点对中剔除；

S4、采用K-近邻算法从步骤S3得到的匹配点对中筛选出最终的匹配点。

进一步作为优选的实施方式，所述步骤S4，其包括：

S41、根据对应特征点的欧氏距离为当前帧图像的每个SURF特征描述子寻找最优匹配点和次最优匹配点，其中，最优匹配点是对应特征点的最小欧氏距离对应的点，次最优匹配点是对应特征点的次最小欧氏距离对应的点；

S42、判断最优匹配点的欧氏距离与次最优匹配点的欧氏距离的比值是否趋于0，若是，则将对应特征点保留在步骤S3得到的匹配点对中，反之，则将对应特征点从步骤S3得到的匹配点对中剔除，从而得到最终的匹配点。

进一步作为优选的实施方式，所述基准帧图像的选取间隔为10帧。

进一步作为优选的实施方式，所述根据匹配的结果采用最小二乘法来求解视频帧图像的仿射变换参数，然后根据求解出的仿射变换参数采用双线性插值法对视频帧图像进行全局运动补偿这一步骤，其包括：

根据仿射变换模型和视频帧图像中相邻两帧图像匹配的结果采用最小二乘法来求解视频帧图像的仿射变换参数；

根据求解出的仿射变换参数采用双线性插值法对视频帧图像进行全局运动补偿。

参照图1和2，一种基于特征匹配与运动补偿的视频稳像系统，包括：

局部特征匹配区域选取模块，用于选取视频帧图像的局部特征匹配区域，所述视频帧图像的局部特征匹配区域包括四个矩形框区域，所述四个矩形框区域由视频帧图像的四个边角区域分别向内缩进设定的距离得到；

特征点提取模块，用于在视频帧图像的局部特征匹配区域中采用SURF算法提取视频帧图像特征点，并计算相应的SURF特征点描述符；

局部特征点匹配模块，用于采用改进的快速近似最邻近匹配算法对视频帧图像进行局部特征点匹配，所述改进的快速近似最邻近匹配算法先训练好匹配器，再选取最优索引类型来为SURF特征点描述符构建索引树，最后根据匹配器和索引树采用权值筛选法、双向匹配法以及K-近邻算法筛选出最终的匹配点；

仿射变换与全局运动补偿模块，用于根据匹配的结果采用最小二乘法来求解视频帧图像的仿射变换参数，然后根据求解出的仿射变换参数采用双线性插值法对视频帧图像进行全局运动补偿。

进一步作为优选的实施方式，所述局部特征点匹配模块包括：

训练单元，用于根据视频帧图像特征点训练好相应的匹配器；

索引树建立单元，用于根据视频帧图像特征点数据选取最优的索引类型随机KD-tree树和层次K-means tree为SURF特征描述子建立索引树；

匹配点筛选单元，用于根据匹配器和索引树采用权值筛选法、双向匹配法以及K-近邻算法筛选出最终的匹配点。

进一步作为优选的实施方式，所述匹配点筛选单元包括：

初始化子单元，用于从视频帧图像中选取基准帧图像和当前帧图像，并得到基准帧图像与当前帧图像的对应特征点，其中，当前帧图像为视频帧图像中除了基准帧图像外的任一帧图像；

权值法筛选子单元，用于计算基准帧图像与当前帧图像的对应特征点的欧氏距离和最小欧氏距离，然后根据计算的最小欧氏距离设定距离阈值，并将基准帧图像与当前帧图像的对应特征点中欧氏距离小于设定距离阈值的对应特征点作为匹配点对保留而将其余对应特征点剔除，其中，设定距离阈值为最小欧氏距离阈值的若干倍；

双向匹配子单元，用于将基准帧图像与当前帧图像进行双向匹配，从而将基准帧图像与当前帧图像的对应特征点中不符合双向匹配原则的对应特征点从权值法筛选子单元保留的匹配点对中剔除；

K-近邻算法筛选子单元，用于采用K-近邻算法从双向匹配子单元得到的匹配点对中筛选出最终的匹配点。

下面结合说明书附图和具体实施例对本发明作进一步解释和说明。

实施例一

针对于现有的电子稳像方法处理速度慢和特征匹配的正确率低的问题，本发明提出了一种改进的基于局部特征匹配与运动补偿相结合的视频稳像方法，有效地提高了算法的处理速度以及匹配的正确度。本发明所提出的方法能对视频帧图像进行正确的运动补偿，最终能获得良好的稳像效果。如图1所示，该方法主要包括：首先选取局部特征匹配区域来提高算法处理速度，并减少场景内运动目标对稳像效果的影响；接着，通过SURF算法提取图像特征点并计算描述符；结合改进的快速近似最邻近匹配算法对特征点进行匹配，其中，为尽可能消除下一步对稳像效果的影响，改进的快速近似最邻近匹配算法通过权值筛选、双向匹配以及K-近邻算法来筛选最终的匹配点(即优秀匹配点)；最后，建立仿射变换模型，通过最小二乘法求解视频帧图像的仿射变换参数，进而对视频帧图像进行全局运动补偿。下面对本发明主要的稳像过程进行具体说明。

(一)选取局部特征匹配区域

对全局的特征点进行提取，存在着计算量大的缺点，而且由于拍摄的场景内有大量的运动物体，如果进行全局特征点匹配将会导致对摄像机移动参数的错误估计，无法求取正确的变换参数，使得无法进行后续的运动补偿。针对这一问题，本发明提出了基于局部区域特征的匹配方法。大部分情况下，运动物体出现在中间区域，为避免选取到运动物体，需将特征匹配区域定在视频帧图像的四个角落区域；而摄像机的抖动，会导致在视频帧图像的四个边角地方信息发生变化。为此，本发明选取了视频帧图像内的四个边角区域向内缩进一定距离的四个矩形框区域作为局部特征匹配区域，如图2中的斜线部分所示。

(二)通过SURF算法提取视频帧图像的特征点并计算相应的特征描述符

(1)SURF算法理论

海森矩阵(即Hessian矩阵)是SURF算法的核心，设某图像点为I(x,y)，则其在尺度σ的海森矩阵H(x,y,σ)为：

式中，L_xx(x,y,σ)、L_xy(x,y,σ)和L_yy(x,y,σ)为图像在点(x，y)处分别与高斯函数二阶偏导和的卷积，G(x,y,σ)为图像在点(x，y)处的高斯滤波函数。

在构建出海森矩阵前，考虑到特征点应该具备尺度不变性，因此，本发明先采用高斯函数G(t)对图像点I(x,t)进行高斯滤波则有：

L(x,t)＝G(t)·I(x,t)

L(x,t)是在不同解析度下图像的表示。

Bay等人提出了用方框滤波的近似值代替L(x,t)，并引入了权值系数来减小近似值与实际值的误差。设图像I(x,y)和方框滤波卷积后的结果分别为Dxx、Dyy、Dxy(这3个参数的定义可类比L_xx(x,y,σ)、L_xy(x,y,σ)和L_yy(x,y,σ)的定义)，则根据相关理论，可以将海森的判别式表示为：

det(H)＝D_xxD_yy-(0.9D_xy)²

det(H)为海森矩阵H的特征值的乘积。

通过上述判别式可以确定极值点，然后利用非极大值抑制的方式确定特征点，接着选取特征点的方向，最后根据特征点的方向构造SURF特征点描述符。

此外，为使提取的SURF特征具有尺度不变性，本发明在构造SURF特征点描述符的同时还需要构造尺度空间，并在各个尺度下通过海森矩阵的判别式得到最终的极值点。本发明的尺度空间可选择高斯金字塔尺度空间。

(2)SURF算法流程

如图3所示，本发明SURF算法的包含的步骤有：构建海森矩阵，构造高斯金字塔尺度空间，非极大值抑制初步确定特征点，构造SURF特征描述符，选取特征点的主方向，精确定位极值点(即提取出的视频帧图像特征点)。

(三)结合改进的快速近似最邻近匹配算法对特征点进行匹配。

当前提出了许多近似最近邻搜索算法，它们都是以牺牲一定精度为代价，来提高速度。而在FLANN算法中分析了大量的近似最近邻搜索算法，并提出了对于高维空间中的最邻近搜索问题，选出了性能最好的K-means tree分层和随机KD-tree来进行近似搜索。FLANN算法能根据使用者输入的数据情况自动确定最佳算法和最优参数值。本发明引入了FLANN算法结合SURF算法来进行特征点的快速高效匹配。出于匹配正确度的考虑，本发明还对快速近似最邻近匹配算法进行了改进。

本发明的特征点匹配流程为：

(1)训练一个匹配器，并根据视频帧图像特征点数据选取最优的索引类型随机KD-tree树和层次K-means tree为特征描述子建立特征点的索引树，以提高匹配的速度。

(2)计算相邻两帧图像对应特征点的欧氏距离，然后选取最小的欧氏距离d，设定一个阈值D＝u*d，这里可取u＝2。当对应特征点的欧氏距离小于D时，保留该对应特征点为匹配点，否则将该对应特征点剔除。

(3)将相邻两帧图像进行双向匹配，通过重复(2)的步骤进行匹配，当匹配得到的特征点对与步骤(2)得到的结果一样时，才是匹配点。

(4)通过K-邻近算法筛选优秀匹配点。

K-近邻算法即对每个SURF特征描述子寻找K个最邻近的匹配点，当查询的特征描述子的总数量少于K个的时候，则取总数量。这里可取K＝2，此时，根据欧氏距离确定的两个最邻近的点中一个是最优匹配点，另一个则是次最优匹配点。只有当最优匹配点的欧氏距离非常小，远远小于次最优匹配点的欧氏距离时(即最优匹配点的欧氏距离与次最优匹配点的欧氏距离的比值趋于0，也就是说该比值无限接近0)，保留最优匹配点；当这两个匹配点的欧氏距离较为相近时，则该最优匹配点有可能出错，因此需要将其剔除。

本发明的特征匹配流程通过权值筛选步骤(2)、双向匹配步骤(3)和K-近邻算法筛选步骤来对匹配点进行多次筛选，保证了匹配的精度。

(四)仿射变换模型及全局运动补偿

根据仿射变换模型，假设前一帧图像和后一帧图像对应的像素点位置分别为和若用2*3的矩阵来表示仿射变换，设定和则X_n和X_n+1可以表示为：

X_n+1＝A·X_n+B

其中，A表示水平和垂直尺度，B为平移参数，则X_n+1可表示为：

根据上述方法，本发明可以通过相邻帧图像来求解变换参数。由于存在多个特征匹配点，本发明采用最小二乘法来求解仿射变换的最优解，再采用双线性插值法对当前帧图像进行全局运动补偿。

如图4所示，本发明的视频稳像方法的一个优选实施流程为：在输入视频中每10帧提取一帧图像作为基准帧，其余帧向基准帧进行配准：首先选取基准帧局部匹配区域，然后提取特征点，并计算相应的描述符；接着读入下一帧图像作为当前帧，采用同样的方法选取局部匹配区域，提取特征点，并计算描述符；再接着采用快速近似最邻近匹配算法对基准帧和当前帧这两帧图像进行匹配，并通过权值筛选、双向匹配以及K-近邻算法这三个步骤来筛选出优秀匹配点；然后通过最小二乘法来求解仿射变换的变换参数；最后使用双线性插值法对当前帧图像进行全局运动补偿。基于相邻帧之间的变化较小这一特性，该优选实施流程每隔10帧选取一帧图像作为基准帧，其余帧向该基准帧配准，测试结果表明这种方法不但没有影响图像配准的精度，而且使得匹配的速度大大加快。

与现有技术相比，本发明具有以下优点：

(1)在局部特征匹配区域内进行特征匹配，采用了局部区域特征匹配法来取代全局区域特征匹配法，使得计算量大大减少，加快了处理速度，实时性好，并降低了运动物体位置的变化对后续运动参数估计的影响，鲁棒性更好。

(2)在采用快速近似最邻近搜索算法进行特征点匹配时，先训练一个匹配器，再根据视频帧图像特征点数据选取最优的索引类型随机KD-tree树和层次K-means tree为特征描述子建立索引树，加快了匹配的速度。

(3)在进行特征点匹配时通过权值筛选、双向匹配以及K-近邻算法这三个步骤来确保匹配正确率：第一步先求取特征匹配点最小欧氏距离，再通过设定最小欧氏距离的若干倍，来筛选匹配点；第二步通过双向匹配来确保匹配点的一一对应；第三步存储两个最优匹配点，只有当最优匹配点的欧氏距离远远小于次最优匹配点的欧氏距离时，才保留匹配点。

(4)基于相邻帧之间的变化较小这一特性，每隔10帧选取一帧图像作为基准帧，其余帧向该基准帧配准，在不影响图像配准精度的同时大大加快了匹配的速度。

以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (6)

1.一种基于特征匹配与运动补偿的视频稳像方法，其特征在于：包括以下步骤：

选取视频帧图像的局部特征匹配区域，所述视频帧图像的局部特征匹配区域包括四个矩形框区域，所述四个矩形框区域由视频帧图像的四个边角区域分别向内缩进设定的距离得到；

在视频帧图像的局部特征匹配区域中采用SURF算法提取视频帧图像特征点，并计算相应的SURF特征点描述符；

采用改进的快速近似最邻近匹配算法对视频帧图像进行局部特征点匹配，所述改进的快速近似最邻近匹配算法先训练好匹配器，再选取最优索引类型来为SURF特征点描述符构建索引树，最后根据匹配器和索引树采用权值筛选法、双向匹配法以及K-近邻算法筛选出最终的匹配点；

根据匹配的结果采用最小二乘法来求解视频帧图像的仿射变换参数，然后根据求解出的仿射变换参数采用双线性插值法对视频帧图像进行全局运动补偿；

所述采用改进的快速近似最邻近匹配算法对视频帧图像进行局部特征点匹配这一步骤，其包括：

根据视频帧图像特征点训练好相应的匹配器；

根据视频帧图像特征点数据选取最优的索引类型随机KD-tree树和层次K-means tree为SURF特征点描述符建立索引树；

根据匹配器和索引树采用权值筛选法、双向匹配法以及K-近邻算法筛选出最终的匹配点；

所述根据匹配器和索引树采用权值筛选法、双向匹配法以及K-近邻算法筛选出最终的匹配点这一步骤，其包括：

S1、从视频帧图像中选取基准帧图像和当前帧图像，并得到基准帧图像与当前帧图像的对应特征点，其中，当前帧图像为视频帧图像中除了基准帧图像外的任一帧图像；

S2、计算基准帧图像与当前帧图像的对应特征点的欧氏距离和最小欧氏距离，然后根据计算的最小欧氏距离设定距离阈值，并将基准帧图像与当前帧图像的对应特征点中欧氏距离小于设定距离阈值的对应特征点作为匹配点对保留而将其余对应特征点剔除，其中，设定距离阈值为最小欧氏距离阈值的若干倍；

S3、将基准帧图像与当前帧图像进行双向匹配，从而将基准帧图像与当前帧图像的对应特征点中不符合双向匹配原则的对应特征点从步骤S2保留的匹配点对中剔除；

S4、采用K-近邻算法从步骤S3得到的匹配点对中筛选出最终的匹配点。

2.根据权利要求1所述的一种基于特征匹配与运动补偿的视频稳像方法，其特征在于：所述在视频帧图像的局部特征匹配区域中采用SURF算法提取视频帧图像特征点，并计算相应的SURF特征点描述符这一步骤，其包括：

为视频帧图像的局部特征匹配区域中的图像点构建海森矩阵；

构造高斯金字塔尺度空间；

在高斯金字塔尺度空间中根据设定的海森矩阵判别式采用非极大值抑制的方式初步确定视频帧图像特征点；

构造视频帧图像的SURF特征点描述符；

选取视频帧图像特征点的主方向；

根据SURF特征点描述符和选取的主方向从初步确定的视频帧图像特征点中精确定位出极值点，并以定位出的极值点作为提取出的视频帧图像特征点。

3.根据权利要求1所述的一种基于特征匹配与运动补偿的视频稳像方法，其特征在于：所述步骤S4，其包括：

S41、根据对应特征点的欧氏距离为当前帧图像的每个SURF特征点描述符寻找最优匹配点和次最优匹配点，其中，最优匹配点是对应特征点的最小欧氏距离对应的点，次最优匹配点是对应特征点的次最小欧氏距离对应的点；

S42、判断最优匹配点的欧氏距离与次最优匹配点的欧氏距离的比值是否趋于0，若是，则将对应特征点保留在步骤S3得到的匹配点对中，反之，则将对应特征点从步骤S3得到的匹配点对中剔除，从而得到最终的匹配点。

4.根据权利要求1或3所述的一种基于特征匹配与运动补偿的视频稳像方法，其特征在于：所述基准帧图像的选取间隔为10帧。

5.根据权利要求1-3任一项所述的一种基于特征匹配与运动补偿的视频稳像方法，其特征在于：所述根据匹配的结果采用最小二乘法来求解视频帧图像的仿射变换参数，然后根据求解出的仿射变换参数采用双线性插值法对视频帧图像进行全局运动补偿这一步骤，其包括：

根据仿射变换模型和视频帧图像中相邻两帧图像匹配的结果采用最小二乘法来求解视频帧图像的仿射变换参数；

根据求解出的仿射变换参数采用双线性插值法对视频帧图像进行全局运动补偿。

6.一种基于特征匹配与运动补偿的视频稳像系统，其特征在于：包括：

局部特征匹配区域选取模块，用于选取视频帧图像的局部特征匹配区域，所述视频帧图像的局部特征匹配区域包括四个矩形框区域，所述四个矩形框区域由视频帧图像的四个边角区域分别向内缩进设定的距离得到；

特征点提取模块，用于在视频帧图像的局部特征匹配区域中采用SURF算法提取视频帧图像特征点，并计算相应的SURF特征点描述符；

局部特征点匹配模块，用于采用改进的快速近似最邻近匹配算法对视频帧图像进行局部特征点匹配，所述改进的快速近似最邻近匹配算法先训练好匹配器，再选取最优索引类型来为SURF特征点描述符构建索引树，最后根据匹配器和索引树采用权值筛选法、双向匹配法以及K-近邻算法筛选出最终的匹配点；

仿射变换与全局运动补偿模块，用于根据匹配的结果采用最小二乘法来求解视频帧图像的仿射变换参数，然后根据求解出的仿射变换参数采用双线性插值法对视频帧图像进行全局运动补偿；

所述局部特征点匹配模块包括：

训练单元，用于根据视频帧图像特征点训练好相应的匹配器；

索引树建立单元，用于根据视频帧图像特征点数据选取最优的索引类型随机KD-tree树和层次K-means tree为SURF特征点描述符建立索引树；

匹配点筛选单元，用于根据匹配器和索引树采用权值筛选法、双向匹配法以及K-近邻算法筛选出最终的匹配点；

所述匹配点筛选单元包括：

初始化子单元，用于从视频帧图像中选取基准帧图像和当前帧图像，并得到基准帧图像与当前帧图像的对应特征点，其中，当前帧图像为视频帧图像中除了基准帧图像外的任一帧图像；

权值法筛选子单元，用于计算基准帧图像与当前帧图像的对应特征点的欧氏距离和最小欧氏距离，然后根据计算的最小欧氏距离设定距离阈值，并将基准帧图像与当前帧图像的对应特征点中欧氏距离小于设定距离阈值的对应特征点作为匹配点对保留而将其余对应特征点剔除，其中，设定距离阈值为最小欧氏距离阈值的若干倍；

双向匹配子单元，用于将基准帧图像与当前帧图像进行双向匹配，从而将基准帧图像与当前帧图像的对应特征点中不符合双向匹配原则的对应特征点从权值法筛选子单元保留的匹配点对中剔除；

K-近邻算法筛选子单元，用于采用K-近邻算法从双向匹配子单元得到的匹配点对中筛选出最终的匹配点。