CN110738695B - 一种基于局部变换模型的图像特征点误匹配剔除方法 - Google Patents

Abstract

一种基于局部变换模型的图像特征点误匹配剔除方法，本发明涉及图像特征点误匹配剔除方法。本发明的目的是为了解决基于特征点匹配的图像配准过程中，特征点出现误匹配率高，现有剔除误匹配特征点方法准确率低的问题。过程为：一、对不同视角下拍摄相同场景的两张图像检测并描述特征点；二、得到初始特征点对集合；三、对初始特征点对集合进行分类和初步筛选；四、计算特征点集中每个特征点与所有特征点的欧式距离；五、如果类别号与特征点的类别号相同，则确定点对为内点，否则进行六判断是否为误匹配点；六、若误差大于10，则确定点对为误匹配点，并将其从点对集合中剔除，剔除后得到特征点对集合。本发明用于图像特征点匹配领域。

Description

一种基于局部变换模型的图像特征点误匹配剔除方法

技术领域

本发明涉及图像特征点误匹配剔除方法。

背景技术

图像配准技术是图像处理和计算机视觉领域的研究热点，应用于图像拼接，视频监控，三维重建等场合。基于特征的图像配准技术由于计算效率高被广泛使用，特征点匹配过程是其关键步骤。特征点匹配的准确度决定了图像间变换模型预测的准确性，而根据特征描述匹配特征点往往会出现误匹配的情况。所以，研究一种剔除误匹配特征点的方法很重要。

目前对特征点匹配的筛选方法主要是RANSAC算法。该算法通过多次随机采样和计算一个全局单应性矩阵，并根据内点的个数来确定变换模型并删除误匹配点。该算法当图像满足全局单应性矩阵变换时结果准确，但是在图像变换关系更加复杂时，会造成局部区域点对筛选不准确。所以图像的局部变换模型准确估计有很大的必要性。

发明内容

本发明的目的是为了解决基于特征点匹配的图像配准过程中，特征点出现误匹配率高，现有剔除误匹配特征点方法准确率低的问题，而提出一种基于局部变换模型的图像特征点误匹配剔除方法。

一种基于局部变换模型的图像特征点误匹配剔除方法具体过程为：

步骤一、用SIFT(Scale Invariant Feature Transform，尺度不变特征变换)特征点提取算法对不同视角下拍摄相同场景的两张图像I_p和I_q检测并描述特征点；

步骤二、基于FLANN(Fast Libraryfor Approximate Nearest Neighbors，快速最近邻逼近搜索函数库)快速最近邻逼近搜索函数库对图像I_p的每个特征点在图像I_q的特征点集中搜索得到图像I_p中每个特征点在图像I_q中最近邻和次近邻的特征点；

当图像I_p中特征点在图像I_q中最近邻特征点的距离的A倍小于图像I_p中特征点在图像I_q中次近邻特征点的距离时，选取图像I_p中每个特征点在图像I_q中最近邻特征点组成特征点对，得到初始特征点对集合

其中，p_i为图像I_p的特征点，q_i为图像I_p中特征点p_i在图像I_q中最近邻特征点，N为特征点对个数；

所述距离为欧式距离；

当图像I_p中特征点在图像I_q中最近邻特征点的距离的A倍大于等于图像I_p中特征点在图像I_q中次近邻特征点的距离时，图像I_p中每个特征点与图像I_q中最近邻特征点不为特征点对；

步骤三、采用RANSAC算法对步骤二中得到的初始特征点对集合进行分类和初步筛选，初步筛选后得到点对集合

并得到S₁中每个点对的类别号，第i′个点对类别号为c_i′，c_i′＝1,...,n，n为类别个数；如果筛选后类别个数n等于5，那么集合S1中点对类别号为1到5；

其中，N₁为初步筛选后特征点对个数；p_i′为初步筛选后点对集合S₁中图像I_p的特征点，q_i′为初步筛选后点对集合S₁中图像I_q的特征点；

步骤四、对步骤三中初步筛选后的点对集合S₁中图像I_p的特征点集

计算特征点集P₁中每个特征点p_i′与特征点集P₁中所有特征点的欧式距离(包括它自身)，即特征点p_i′与特征点p_j′的欧式距离为d_i′j′＝||p_i′-p_j′||₂；

步骤五、对集合S₁中图像I_p的特征点集P₁中每个特征点p_i′，根据步骤四中计算的欧式距离，计算特征点集P₁中所有特征点与特征点p_i′的欧式距离中较小的20个特征点

的所属类别最多的类别号

(在步骤三中每个点获得了它的类别号，计算这20个点中出现次数最多的类别号)，公式如下：

其中Mo(·)为众数函数；

如果有多个类别个数相同，则选取类别号较小(2和3选2，c_i′的值是类别号)的类别；

如果类别号

与特征点p_i′的类别号相同，即

则确定点对(p_i′,q_i′)为内点，否则进行步骤六判断是否为误匹配点；

步骤六、对特征点集P₁中每个特征点p_i′，若

则计算特征点p_i′处的局部单应性矩阵变换模型，并计算点对(p_i′,q_i′)在模型估计的误差e_i′，若e_i′＞10，则确定点对(p_i′,q_i′)为误匹配点，并将其从点对集合S₁中剔除；剔除误匹配点后得到的特征点对集合为

N₂为最终筛选后点对个数。

本发明的有益效果为：

本发明一种基于局部变换模型的图像特征点误匹配剔除方法，主要用于解决在基于特征点匹配的图像配准过程中，特征点出现误匹配率高，现有剔除误匹配特征点方法准确率低的问题。特征点匹配的准确度对图像变换关系模型的预测影响很大。

本方法通过

1.用快速最近邻搜索方法对特征点进行初始匹配；

2.对特征点对进行分类和初步筛选；

3.比较特征点与其邻近点的类别，区分是否为内点；

4.估计每个特征点处的局部变换模型，根据点对在模型估计中的误差来判断是否为误匹配点；

提高了现有剔除误匹配特征点方法准确率。

SIFT算法是常用的特征点提取方法，其检测的特征点质量较高而且稳定，且特征描述方便特征点匹配，所以本发明采用SIFT算法进行特征点提取，提高了现有剔除误匹配特征点方法准确；

FLANN快速最近邻搜索库对大数据集和高维特征能够快速实现最近邻搜索，所以本发明采用FLANN库进行特征点初步匹配，提高了现有剔除误匹配特征点方法准确。

本发明方法剔除误匹配特征点的准确率高于现有的基于全局变换的RANSAC算法。例如，在一个寺庙场景拍摄两幅图像，初始匹配的特征点对共有494个，其中正确匹配的点对395个，错误匹配的点对99个。本方法准确地将正确匹配的点对全部保留，将错误匹配的点对全部剔除；而基于全局变换的RANSAC算法只剔除了72个误匹配点对。

附图说明

图1为本发明两幅图像特征点初始匹配结果图；

图2为本发明两幅图像剔除误匹配点后的结果图。

具体实施方式

具体实施方式一：本实施方式一种基于局部变换模型的图像特征点误匹配剔除方法具体过程为：

步骤一、用SIFT(Scale Invariant Feature Transform，尺度不变特征变换)特征点提取算法对不同视角下拍摄相同场景的两张图像I_p和I_q检测并描述特征点；

步骤二、基于FLANN(Fast Libraryfor Approximate Nearest Neighbors，快速最近邻逼近搜索函数库)快速最近邻逼近搜索函数库对图像I_p的每个特征点在图像I_q的特征点集中搜索得到图像I_p中每个特征点在图像I_q中最近邻和次近邻的特征点；

当图像I_p中特征点在图像I_q中最近邻特征点的距离的A倍小于图像I_p中特征点在图像I_q中次近邻特征点的距离时，选取图像I_p中每个特征点在图像I_q中最近邻特征点组成特征点对，得到初始特征点对集合

其中，p_i为图像I_p的特征点，q_i为图像I_p中特征点p_i在图像I_q中最近邻特征点，N为特征点对个数；

所述距离为欧式距离；

当图像I_p中特征点在图像I_q中最近邻特征点的距离的A倍大于等于图像I_p中特征点在图像I_q中次近邻特征点的距离时，图像I_p中每个特征点与图像I_q中最近邻特征点不为特征点对；

步骤三、采用RANSAC算法对步骤二中得到的初始特征点对集合进行分类和初步筛选，初步筛选后得到点对集合

并得到S₁中每个点对的类别号，第i′个点对类别号为c_i′，c_i′＝1,...,n，n为类别个数；如果筛选后类别个数n等于5，那么集合S1中点对类别号为1到5；

其中，N₁为初步筛选后特征点对个数；p_i′为初步筛选后点对集合S₁中图像I_p的特征点，q_i′为初步筛选后点对集合S₁中图像I_q的特征点；

步骤四、对步骤三中初步筛选后的点对集合S₁中图像I_p的特征点集

计算特征点集P₁中每个特征点p_i′与特征点集P₁中所有特征点的欧式距离(包括它自身)，即特征点p_i′与特征点p_j′的欧式距离为d_i′j′＝||p_i′-p_j′||₂；

步骤五、对集合S₁中图像I_p的特征点集P₁中每个特征点p_i′，根据步骤四中计算的欧式距离，计算特征点集P₁中所有特征点与特征点p_i′的欧式距离中较小的20个特征点

的所属类别最多的类别号

(在步骤三中每个点获得了它的类别号，计算这20个点中出现次数最多的类别号)，公式如下：

其中Mo(·)为众数函数；

如果有多个类别个数相同，则选取类别号较小(2和3选2，c_i′的值是类别号)的类别；

如果类别号

与特征点p_i′的类别号相同，即

则确定点对(p_i′,q_i′)为内点，否则进行步骤六判断是否为误匹配点；

步骤六、对特征点集P₁中每个特征点p_i′，若

则计算特征点p_i′处的局部单应性矩阵变换模型，并计算点对(p_i′,q_i′)在模型估计的误差e_i′，若e_i′＞10，则确定点对(p_i′,q_i′)为误匹配点，并将其从点对集合S₁中剔除；剔除误匹配点后得到的特征点对集合为

N₂为最终筛选后点对个数。

具体实施方式二：本实施方式与具体实施方式一不同的是，所述步骤二中A倍为1.2倍。

其它步骤及参数与具体实施方式一相同。

具体实施方式三：本实施方式与具体实施方式一或二不同的是，所述步骤三中采用RANSAC算法对步骤二中得到的初始特征点对集合进行分类和初步筛选；具体过程为：

步骤三一、设初步筛选剩余的点对集合为S′，并将其初始化为步骤二中得到的初始特征点对集合S，将类别个数n初始化为0；

步骤三二、采用RANSAC(random sample consensus，随机抽样一致性方法)算法对点对集合S′提取内点，内点特征点对集合为s_n+1，并将S′更新为排除s_n+1后的剩余点对集合；

步骤三与具体实施方式二是一个循环筛选点对的过程，每次进行到步骤三二提取出一些内点，即s_n+1，如果内点个数满足大于等于15，则s_n+1中的点为同一类别，这些点的类别序号为n+1；换句话说，第一次进行到步骤三三时，提取的内点类别号为n+1＝1，以后每次循环n逐渐累加，直到结束。最后得到n的值即为所有内点类别总数。

步骤三三、令集合S₁是初步筛选后的点对集合，集合S₁初始为空；

如果内点特征点对集合s_n+1中点对个数大于等于B，则s_n+1中的点为同一类别，s_n+1中点对类别号为n+1(类别号取值为1到n，n为类别的个数)，然后将内点特征点对集合s_n+1加入集合S₁中，即S₁＝S₁+s_n+1，并将类别个数n加1；

步骤三四、重复步骤三二到步骤三三，直到步骤三三中内点集合s_n+1中点对个数小于B，得到初步筛选后的点对集合S₁和每个点对的类别号。

其它步骤及参数与具体实施方式一或二相同。

具体实施方式四：本实施方式与具体实施方式一至三之一不同的是，所述步骤三二中RANSAC算法选取的模型是单应性矩阵变换模型，内点距离阈值为3，迭代次数为500。

其它步骤及参数与具体实施方式一至三之一相同。

具体实施方式五：本实施方式与具体实施方式一至四之一不同的是，所述步骤三三中B取值为15。

其它步骤及参数与具体实施方式一至三之一相同。

具体实施方式六：本实施方式与具体实施方式一至五之一不同的是，所述步骤六中对特征点集P₁中每个点p_i′，若

则计算特征点p_i′处的局部单应性矩阵变换模型，并计算点对(p_i′,q_i′)在模型估计的误差e_i′，具体过程为：

步骤六一、根据步骤四中计算的特征点集P₁中特征点p_i′与特征点集P₁中所有特征点的欧式距离，计算点集P₁中的点在局部单应性矩阵变换模型估计中的权重，其中点p_j′的权重w_i′j′计算公式如下：

w_i′j′＝exp(-d_i′j′/σ)

其中，σ为参数，参数σ随点集密集程度自适应变化；

步骤六二、特征点p_i′处的局部单应性矩阵变换模型参数

的计算公式为：

其中，a_j′为矩阵；h_i′为变量(未知的)；

意思是计算使得

最小的h_i′；

计算得到的参数

为9×1的矩阵，表示为

h_i′1，h_i′2，h_i′3均为3×1的矩阵，则特征点p_i′处的局部单应性矩阵变换模型H_i′为

其中，T为转置；

步骤六三、根据步骤六二估计的特征点p_i′处的局部单应性矩阵变换模型，计算特征点对(p_i′,q_i′)在局部单应性矩阵变换模型估计的误差e_i′。

其它步骤及参数与具体实施方式一至五之一相同。

具体实施方式七：本实施方式与具体实施方式一至六之一不同的是，所述步骤六一中参数σ计算公式为：

其中，

为特征点p_i′与其距离最近的第20个特征点的欧式距离。

其它步骤及参数与具体实施方式一至六之一相同。

具体实施方式八：本实施方式与具体实施方式一至七之一不同的是，所述步骤六二中矩阵a_j′为

其中，

为特征点p_j′的坐标，

为特征点q_j′的坐标。

其它步骤及参数与具体实施方式一至七之一相同。

具体实施方式九：本实施方式与具体实施方式一至八之一不同的是，所述步骤六三中特征点对(p_i′,q_i′)在局部单应性矩阵变换模型估计的误差e_i′计算公式为：

e_i′＝||p_i′-q_′i′||₂+||q_i′-p′_i′||₂

其中，q′_i′和p′_i′分别为特征点p_i′和特征点q_i′在估计的局部单应性矩阵变换模型下投影和反投影的点。

其它步骤及参数与具体实施方式一至八之一相同。

采用以下实施例验证本发明的有益效果：

实施例一：

如附图1中圆圈和连线为初始特征点匹配对；图2中圆圈加连线为筛选后的特征点对，单独圆圈为剔除的误匹配点。

本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (8)

1.一种基于局部变换模型的图像特征点误匹配剔除方法，其特征在于：所述方法具体过程为：

步骤一、用SIFT特征点提取算法对不同视角下拍摄相同场景的两张图像I_p和I_q检测并描述特征点；

步骤二、基于FLANN快速最近邻逼近搜索函数库对图像I_p的每个特征点在图像I_q的特征点集中搜索得到图像I_p中每个特征点在图像I_q中最近邻和次近邻的特征点；

当图像I_p中特征点在图像I_q中最近邻特征点的距离的A倍小于图像I_p中特征点在图像I_q中次近邻特征点的距离时，选取图像I_p中每个特征点在图像I_q中最近邻特征点组成特征点对，得到初始特征点对集合

其中，p_i为图像I_p的特征点，q_i为图像I_p中特征点p_i在图像I_q中最近邻特征点，N为特征点对个数；

所述距离为欧式距离；

当图像I_p中特征点在图像I_q中最近邻特征点的距离的A倍大于等于图像I_p中特征点在图像I_q中次近邻特征点的距离时，图像I_p中每个特征点与图像I_q中最近邻特征点不为特征点对；

步骤三、采用RANSAC算法对步骤二中得到的初始特征点对集合进行分类和初步筛选，初步筛选后得到点对集合

并得到S₁中每个点对的类别号，第i′个点对类别号为c_i′，c_i′＝1,...,n，n为类别个数；

其中，N₁为初步筛选后特征点对个数；p_i′为初步筛选后点对集合S₁中图像I_p的特征点，q_i′为初步筛选后点对集合S₁中图像I_q的特征点；

步骤四、对步骤三中初步筛选后的点对集合S₁中图像I_p的特征点集

计算特征点集P₁中每个特征点p_i′与特征点集P₁中所有特征点的欧式距离，即特征点p_i′与特征点p_j′的欧式距离为d_i′j′＝||p_i′-p_j′||₂；

步骤五、对集合S₁中图像I_p的特征点集P₁中每个特征点p_i′，根据步骤四中计算的欧式距离，计算特征点集P₁中所有特征点与特征点p_i′的欧式距离中较小的20个特征点

的所属类别最多的类别号

公式如下：

其中Mo(·)为众数函数；

如果有多个类别个数相同，则选取类别号较小的类别；

如果类别号

与特征点p_i′的类别号相同，即

则确定点对(p_i′,q_i′)为内点，否则进行步骤六判断是否为误匹配点；

步骤六、对特征点集P₁中每个特征点p_i′，若

则计算特征点p_i′处的局部单应性矩阵变换模型，并计算点对(p_i′,q_i′)在模型估计的误差e_i′，若e_i′＞10，则确定点对(p_i′,q_i′)为误匹配点，并将其从点对集合S₁中剔除；剔除误匹配点后得到的特征点对集合为

N₂为最终筛选后点对个数；

所述误差e_i′计算公式为：

e_i′＝||p_i′-q′_i′||₂+||q_i′-p′_i′||₂

其中，q′_i′和p′_i′分别为特征点p_i′和特征点q_i′在估计的局部单应性矩阵变换模型下投影和反投影的点。

2.根据权利要求1所述一种基于局部变换模型的图像特征点误匹配剔除方法，其特征在于：所述步骤二中A倍为1.2倍。

3.根据权利要求1或2所述一种基于局部变换模型的图像特征点误匹配剔除方法，其特征在于：所述步骤三中采用RANSAC算法对步骤二中得到的初始特征点对集合进行分类和初步筛选；具体过程为：

步骤三一、设初步筛选剩余的点对集合为S′，并将其初始化为步骤二中得到的初始特征点对集合S，将类别个数n初始化为0；

步骤三二、采用RANSAC算法对点对集合S′提取内点，内点特征点对集合为s_n+1，并将S′更新为排除s_n+1后的剩余点对集合；

步骤三三、令集合S₁是初步筛选后的点对集合，集合S₁初始为空；

如果内点特征点对集合s_n+1中点对个数大于等于B，s_n+1中点对类别号为n+1，然后将内点特征点对集合s_n+1加入集合S₁中，即S₁＝S₁+s_n+1，并将类别个数n加1；

步骤三四、重复步骤三二到步骤三三，直到步骤三三中内点集合s_n+1中点对个数小于B，得到初步筛选后的点对集合S₁和每个点对的类别号。

4.根据权利要求3所述一种基于局部变换模型的图像特征点误匹配剔除方法，其特征在于：所述步骤三二中RANSAC算法选取的模型是单应性矩阵变换模型，内点距离阈值为3，迭代次数为500。

5.根据权利要求4所述一种基于局部变换模型的图像特征点误匹配剔除方法，其特征在于：所述步骤三三中B取值为15。

6.根据权利要求5所述一种基于局部变换模型的图像特征点误匹配剔除方法，其特征在于：所述步骤六中对特征点集P₁中每个点p_i′，若

则计算特征点p_i′处的局部单应性矩阵变换模型，并计算点对(p_i′,q_i′)在模型估计的误差e_i′，具体过程为：

步骤六一、根据步骤四中计算的特征点集P₁中特征点p_i′与特征点集P₁中所有特征点的欧式距离，计算点集P₁中的点在局部单应性矩阵变换模型估计中的权重，其中点p_j′的权重w_i′j′计算公式如下：

w_i′j′＝exp(-d_i′j′/σ)

其中，σ为参数；

步骤六二、特征点p_i′处的局部单应性矩阵变换模型参数

的计算公式为：

其中，a_j′为矩阵；h_i′为变量；

计算得到的参数

为9×1的矩阵，表示为

h_i′1，h_i′2，h_i′3均为3×1的矩阵，则特征点p_i′处的局部单应性矩阵变换模型H_i′为

其中，T为转置；

步骤六三、根据步骤六二估计的特征点p_i′处的局部单应性矩阵变换模型，计算特征点对(p_i′,q_i′)在局部单应性矩阵变换模型估计的误差e_i′。

7.根据权利要求6所述一种基于局部变换模型的图像特征点误匹配剔除方法，其特征在于：所述步骤六一中参数σ计算公式为：

其中，

为特征点p_i′与其距离最近的第20个特征点的欧式距离。

8.根据权利要求7所述一种基于局部变换模型的图像特征点误匹配剔除方法，其特征在于：所述步骤六二中矩阵a_j′为

其中，

为特征点p_j′的坐标，

为特征点q_j′的坐标。

Images