CN106651756B - 一种基于sift和验证机制的图像配准方法 - Google Patents

Abstract

一种基于SIFT和验证机制的图像配准方法，首先，通过改进后的SIFT算法从参考图像和待匹配图像中提取特征；其次，利用Harris算法提取出可以作为匹配过程中基准点的角点，以两个角点的连接线作为基准方向；然后，对于SIFT算法匹配出来的特征点对，分别与各自图像中的基准点连线，并计算其与基准方向之间的夹角，通过计算夹角之间的差值来判断是否满足所设定的阈值条件，若符合，则视其为匹配点对，反之，则为误匹配。本发明提供一种有效去除误匹配且同时避免正确匹配点、准确性较高的基于SIFT和验证机制的图像配准方法。

Description

一种基于SIFT和验证机制的图像配准方法

技术领域

本发明属于图像处理技术领域，涉及到图像配准方法。

背景技术

图像配准是针对不同摄像机在不同时间、不同视角下拍摄的两张或多张同一场景的图像进行对齐处理的过程，覆盖了从图像融合到图像拼接的许多实际应用领域以及医学图像处理、计算机视觉、模式识别等科研领域。目前，图像配准方法大致可以分为三类：基于灰度信息的配准方法、基于变换域的配准方法和基于特征的配准方法。基于特征的配准方法，图像配准的鲁棒性和稳定性较高，特征点数量丰富，应用范围较广，因此受到广泛关注和研究，如SIFT，SURF，ORB，BRIEF。

Lowe首次提出了尺度不变特征变换的基本思想，并于2004年进行了完善，进而提出了SIFT配准算法。SIFT算法获得的特征描述符具有完全的旋转不变性、完全的尺度不变性、基本完全的光照不变性以及部分的仿射不变性。在一般情况下，SIFT算法能够得到较好的配准结果，但当图像中存在着大量的相似结构时，通过SIFT算法得到的匹配结果中会出现大量的误匹配。因此，SIFT提取特征点后，如何剔除误匹配点对是当前图像配准算法研究的重点和难点。

最近几年又出现了许多新思路、新方法或改进算法，对一些经典方法和新出现的方法作了概述，并将去除误匹配方法分为以下几类：

1.目前常用的方法是利用对极几何约束去除误匹配，如随机取样一致性算法(RANSAC)。然而，RANSAC算法迭代次数较多，运行耗时，而且受初始点集的影响很大，而且在去除误匹配的同时又使得大量正确匹配点对被误删。

2.基于特征点的中值滤波算法，然后采用两次改进的RANSAC算法删除误配,提高正确匹配角点的数量,最后对仿射变换模型参数进行非线性优化以进一步降低图像的配准误差.但该算法不能彻底消除匹配特征点的误差，且耗时。

缺点：SIFT算法配准是以特征点结构的最优相似程度为依据的，而在特征点集中存在大量的具有相似结构的特征点，这些特征点之间可能并没有对应关系，因此导致了误匹配的发生，而忽略真正的正确匹配点对。RANSAC方法受初始点集的影响很大，而且在去除误匹配的同时又使得大量正确匹配点对被误删。

发明内容

为了克服现有的图像配准方法的匹配准确性较差的不足，本发明提供一种有效去除误匹配且同时避免正确匹配点、准确性较高的基于SIFT和验证机制的图像配准方法。

本发明解决其技术问题所采用的技术方案是：

一种基于SIFT和验证机制的图像配准方法，所述配准方法包括以下步骤：

1)利用SIFT算法从参考图像和待匹配图像中提取特征点；

2)从图像中提取角点集，得到初步的对应角点集合，过程如下：

2.1)利用Harris角点算法提取角点，计算原始图像中每个像素点对应的角点响应函数CRF，响应函数CRF所对应的极大值点就是图像的角点位置；

2.2)在角点集中任意选取4点集X＝{a,b,c,d}，确定了两个独立的比值，每一个比值是有三个共线的点计算得到的，ab和cd在一个中间点相交与e，以下式(1)和(2)得到两个比值:

对于给出的n个点的集合Q，两个仿射不变的比值r₁和r₂，在O(n²+k)时间内有效地提取所有的根据两个不变量所确定的4点集，k代表所记录的4点集的个数，如下：对于Q中的每一对q₁,q₂，计算两个交点：

e₁＝q₁+r₁(q₂-q₁) (3)

e₂＝q₁+r₂(q₂-q₁) (4)

任意两对点对的中间交点是一致的，一个根据r₁产生，一个根据r₂产生，可能对应于一个4点集，它是B的仿射变换的副本；因为点e₁和e₂在同一坐标系，利用邻域搜索结构来搜索重合点还是较快的；

首先，根据上述所描述的，对于给出的B，计算在这个平面上的两个仿射不变量；然后从点集Q中，提取了所有的通过仿射变换与B相近的点集；虽然这种方式产生了所需要的4点集的超集，对于刚性变换得到的误匹配对是有限的；

为了移除不一致的4点集，寻找它们在图像中原始的位置，验证对应点集是否满足基准点集B的在刚性变化下的约束；

2.3)验证机制，过程如下：

对于S1中的4点集{a,b,c,d}分别构成了两个三角形Δabc,Δabd，设a(x₁,y₁),b(x₂,y₂),c(x₃,y₃)，S为这三个点组成的三角形的面积，则S通过下式计算

那么对于S2中的对应的{a',b',c',d'}，对应的两个三角形Δa'b'c',Δa'b'd'，分别求出它们的面积，若满足下式：

就认为两个4点集是匹配的，否则，认为这是一对误匹配对，根据确定的正确角点对a和a'、b和b'，将a和a'作为后续匹配的基准点，而向量

作为基准方向；

3)匹配点对的角度约束，过程如下：

首先，利用SIFT算法得到初始匹配的特征点集，即第一幅图像中的特征点集X和第二幅图像的特征点集Y，对于X中的任一特征点X_i，SIFT采用关键点特征向量的欧氏距离作为两幅图像中关键点的相似性判定度量；取参考图像中的某个关键点，并找出其与待匹配图像中欧式距离最近的前两个关键点，在这两个关键点中，如果最近的距离除以次近的距离少于某个比例阈值，加入如下判断机制：

在参考图像中的待匹配的点X_i与基准点连线，并计算它与基准方向的夹角θ₁，同时对待匹配图像做同样的处理，得到它与基准方向的夹角为θ₂，计算θ₂与θ₁的差的绝对值θ_ddangle，若满足下面的式子(7)，就认为它们为一对匹配点；

θ_ddangle＝|θ₁-θ₂|≤μ_{angleThreshold} (7)

其中，μ_{angleThreshold}是角度之差的阈值，因为考虑到每一幅图像间的仿射存在的差异可能不同，不能统一的确定一个阈值，通过大量实验，得出μ_{angleThreshold}在[0,20]之间匹配的效果最好。

本发明的技术构思为：本发明提出的基于SIFT和验证机制的图像配准方法。首先，通过改进后的SIFT算法从参考图像和待匹配图像中提取特征。其次，利用Harris算法提取出可以作为匹配过程中基准点的角点，以两个角点的连接线作为基准方向。然后，对于SIFT算法匹配出来的特征点对，分别与各自图像中的基准点连线，并计算其与基准方向之间的夹角，通过计算夹角之间的差值来判断是否满足所设定的阈值条件，若符合，则视其为匹配点对，反之，则为误匹配

本发明的有益效果为：克服了现有SIFT算法所存在的不足，在其基础上利用特征点之间的空间位置信息，根据仿射变换的不变性，利用角度约束，增添验证机制模块，对配准算法进行优化；有效去除误匹配且同时避免正确匹配点、准确性较高。

附图说明

图1是基于SIFT和验证机制的图像配准算法的流程图。

图2是提取的角点集示意图，其中，(a)为参考图像，(b)为待匹配图像。

图3是匹配方法的消除误匹配点对的示意图，包含与其他算法的比较，(a)为RANSAC算法的匹配结果的局部示意图，图中对误匹配点对进行了标记；(b)为利用基于SIFT和验证机制的图像配准算法消除误匹配点对的结果图。

图4是匹配算法的匹配结果图，其中，(a)为尺度改变及视角变换下的匹配效果图，(b)为光照变化下的匹配结果图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图4，一种基于SIFT和验证机制的图像配准方法，所述配准方法包括以下步骤：

1)利用SIFT算法从参考图像和待匹配图像中提取特征点集T1,T2；

2)从图像中提取角点集，得到初步的对应角点集合P，Q，过程如下：

2.1)利用Harris角点算法提取角点，计算原始图像中每个像素点对应的角点响应函数CRF，响应函数CRF所对应的极大值点就是图像的角点位置；

2.2)在角点集中任意选取4点集X＝{a,b,c,d}，确定了两个独立的比值，每一个比值是有三个共线的点计算得到的，ab和cd在一个中间点相交与e，注意可能经常选具有交叉点的点对，以下式(1)和(2)得到两个比值:

对于给出的n个点的集合Q，两个仿射不变的比值r₁和r₂，可以在O(n²+k)时间内有效地提取所有的根据两个不变量所确定的4点集，k代表所记录的4点集的个数，如下：对于Q中的每一对q₁,q₂，计算两个交点：

e₁＝q₁+r₁(q₂-q₁) (3)

e₂＝q₁+r₂(q₂-q₁) (4)

任意两对点对的中间交点是一致的，一个根据r₁产生，一个根据r₂产生，可能对应于一个4点集，它是B的仿射变换的副本。因为点e₁和e₂在同一坐标系，利用邻域搜索结构来搜索重合点还是较快的；

首先，根据上述所描述的，对于给出的B，计算在这个平面上的两个仿射不变量；然后，从点集Q中，提取了所有的通过仿射变换与B相近的点集；虽然这种方式产生了所需要的4点集的超集，对于刚性变换得到的误匹配对是有限的；

为了移除不一致的4点集，寻找它们在图像中原始的位置，验证对应点集是否满足基准点集B的在刚性变化下的约束；

2.3)验证机制，过程如下：

对于S1中的4点集{a,b,c,d}分别构成了两个三角形Δabc,Δabd，设a(x₁,y₁),b(x₂,y₂),c(x₃,y₃)，S为这三个点组成的三角形的面积，则S通过下式计算

那么对于S2中的对应的{a',b',c',d'}，对应的两个三角形Δa'b'c',Δa'b'd'，分别求出它们的面积，若满足下式：

就认为两个4点集是匹配的，否则，认为这是一对误匹配对，该方法可有效地删除不一致点对；根据确定的正确角点对a和a'、b和b'，将a和a'作为后续匹配的基准点，而向量

作为基准方向；

3)匹配点对的角度约束，过程如下：

首先利用SIFT算法得到初始匹配的特征点集，即第一幅图像中的特征点集X和第二幅图像的特征点集Y；对于X中的任一特征点X_i，SIFT采用关键点特征向量的欧氏距离来作为两幅图像中关键点的相似性判定度量；取参考图像中的某个关键点，并找出其与待匹配图像中欧式距离最近的前两个关键点，在这两个关键点中，如果最近的距离除以次近的距离少于预设比例阈值，加入一个判断机制：

在参考图像中的待匹配的点X_i与基准点连线，并计算它与基准方向的夹角θ₁，同时对待匹配图像做同样的处理，得到它与基准方向的夹角为θ₂，计算θ₂与θ₁的差的绝对值θ_ddangle，若满足下面的式子(7)，就认为它们为一对匹配点。

θ_ddangle＝|θ₁-θ₂|≤μ_{angleThreshold} (7)

其中，μ_angleThresho_ld是角度之差的阈值。因为考虑到每一幅图像间的仿射存在的差异可能不同，不能统一的确定一个阈值，通过大量实验，得出μ_{angleThreshold}在[0,20]之间匹配的效果最好。本实施例的基于SIFT和验证机制的图像配准方法，包括以下步骤：

1)利用SIFT算法从参考图像和待匹配图像中提取特征点；

2)利用Harris角点算法提取角点作为基准点，用验证机制确保正确的角点对，如图2所示，连接两个角点，作为基准方向；

3)对于SIFT算法匹配出来的特征点对，分别与各自图像中的基准点连线，并计算其与基准方向之间的夹角，计算夹角之间的差值是否满足所设定的阈值条件，若符合，则视其为匹配点对，如图3所示。

Claims (1)

1.一种基于SIFT和验证机制的图像配准方法，其特征在于：所述配准方法包括以下步骤：

1)利用SIFT算法从参考图像和待匹配图像中提取特征点；

2)从图像中提取角点集，得到初步的对应角点集合，过程如下：

2.1)利用Harris角点算法提取角点，计算原始图像中每个像素点对应的角点响应函数CRF，响应函数CRF所对应的极大值点就是图像的角点位置；

2.2)在角点集中任意选取4点集X＝{a,b,c,d}，确定了两个独立的比值，每一个比值是有三个共线的点计算得到的，ab和cd在一个中间点相交与e，以下式(1)和(2)得到两个比值:

对于给出的n个点的集合Q，两个仿射不变的比值r₁和r₂，在O(n²+k)时间内有效地提取所有的根据两个不变量所确定的4点集，k代表所记录的4点集的个数，如下：对于Q中的每一对q₁,q₂，计算两个交点：

e₁＝q₁+r₁(q₂-q₁)(3)

e₂＝q₁+r₂(q₂-q₁)(4)

任意两对点对的中间交点是一致的，一个根据r₁产生，一个根据r₂产生，可能对应于一个4点集，它是B的仿射变换的副本；

首先，根据上述所描述的，对于给出的B，计算在这个平面上的两个仿射不变量；然后从点集Q中，提取了所有的通过仿射变换与B相近的点集；

为了移除不一致的4点集，寻找它们在图像中原始的位置，验证对应点集是否满足基准点集B的在刚性变化下的约束；

2.3)验证机制，过程如下：

对于S1中的4点集{a,b,c,d}分别构成了两个三角形Δabc,Δabd，设a(x₁,y₁),b(x₂,y₂),c(x₃,y₃)，S为这三个点组成的三角形的面积，则S通过下式计算

那么对于S2中的对应的{a',b'，c',d'}，对应的两个三角形Δa'b'c',Δa'b'd'，分别求出它们的面积，若满足下式：

就认为两个4点集是匹配的，否则，认为这是一对误匹配对，根据确定的正确角点对a和a'、b和b'，将a和a'作为后续匹配的基准点，而向量

作为基准方向；

3)匹配点对的角度约束，过程如下：

首先，利用SIFT算法得到初始匹配的特征点集，即第一幅图像中的特征点集X和第二幅图像的特征点集Y，对于X中的任一特征点X_i，SIFT采用关键点特征向量的欧氏距离来作为两幅图像中关键点的相似性判定度量；取参考图像中的某个关键点，并找出其与待匹配图像中欧式距离最近的前两个关键点，在这两个关键点中，如果最近的距离除以次近的距离少于预设比例阈值，加入如下判断机制：

在参考图像中的待匹配的点X_i与基准点连线，并计算它与基准方向的夹角θ₁，同时对待匹配图像做同样的处理，得到它与基准方向的夹角为θ₂，计算θ₂与θ₁的差的绝对值θ_ddangle，若满足下面的式子(7)，就认为它们为一对匹配点；

θ_ddangle＝|θ₁-θ₂|≤μ_{angleThreshold} (7)

其中，μ_{angleThreshold}是角度之差的阈值。

Images