CN102663733B - 基于特征组对的特征点匹配方法 - Google Patents

Abstract

本发明涉及一种基于特征组对的特征点匹配方法，包括步骤：采集图像并输入计算机，利用已有技术进行图像特征点检测，对图像特征点进行特征组对处理，确定特征对的主方向、尺度及支撑区域，对支撑区域进行子区域划分，计算支撑区域内各点的特征向量，计算特征对支撑区域的匹配描述子，利用匹配描述子进行特征对匹配，由特征对匹配建立特征点匹配。相比于已有基于单个特征点构造匹配描述子的方法，本发明提供的方法构造的匹配描述子能够克服尺度、主方向与边界误差，具有更优的匹配性能。

Description

基于特征组对的特征点匹配方法

技术领域

本发明涉及计算机视觉中的图像特征自动匹配领域，特别是数字图像中特征点的自动匹配方法。

背景技术

特征匹配技术在图像检索、物体识别、视频跟踪以及增强现实等领域有重要应用。目前已有图像特征点匹配方法主要有以下两类：

第一类是基于局部纹理信息构造匹配描述子的方法，主要代表有SIFT、SURF、GLOH等匹配描述子(详见文献K.Mikolajczyk and C.Schmid，Aperformance evaluation of local descriptors.IEEE Transaction on Pattern Analysisand Machine Intelligence，2005，27(10)：1615-1630.)，该类方法主要利用特征局部纹理信息进行特征匹配，首先为特征确定支撑区域，然后将支撑区域划分为一系列固定形状的子区域，最后将每个子区域内包含的图像纹理信息表示为向量并组成匹配描述子。在图像形变存在时，该类方法构造的匹配描述子分辨力下降较大，获得的匹配数量较少。

第二类是基于几何一致性优化的匹配方法(如文献J.H.Lee and C.H.Won.Topology Preserving Relaxation Labeling for Non-rigid Point Matching.IEEE Transactions on Pattern Analysis and Machine Intelligence.2011，33(2)：427-432.)，这类方法利用特征点之间的几何约束整体构造匹配目标优化函数，从而将匹配问题转化为一个目标函数优化问题。该类方法利用的特征之间的几何约束信息相对于第一类方法种使用的特征局部纹理信息在图像形变下更为稳定，图像形变下该类方法也能获得较好匹配结果。但是，该类方法需要解决的几何优化问题运算十分复杂，且运算量随着特征点数量的增加呈几何级数增长，导致该类方法运算效率很低。

第一类方法由于简单且易于实现，在实际应用中使用较多。但是，该类法均存在共性的误差问题：为实现尺度不变性而进行尺度选择产生尺度误差；为实现旋转不变性而估计主方向产生主方向误差；固定位置的子区域划分产生边界误差。三种误差的存在影响了描述子的分辨能力，特别是在图像中存在形变的情况下匹配效果不好。

发明内容

本发明针对第一类特征点匹配方法存在的共性误差问题，提供一种能够克服三种误差的基于特征描述子的特征点匹配方法。为了实现本目的，本发明提供的基于特征组对的特征点匹配方法，包括以下步骤：

步骤S1：从不同角度拍摄同一场景两幅不同图像并输入计算机；

步骤S2：利用已有特征点检测算子提取图像中特征点，如使用Harris算子；

步骤S3：对图像中的特征点进行组对处理；

步骤S4：确定每个特征对的主方向、尺度及支撑区域；

步骤S5：基于灰度序对特征对的支撑区域进行子区域划分；

步骤S6：计算特征对支撑区域内各点的旋转不变特征向量；

步骤S7：计算特征对支撑区域的匹配描述子；

步骤S8：利用匹配描述子进行特征对匹配；

步骤S9：由每组匹配特征对获得两组匹配特征点；

本发明提出的基于特征组对的特征点匹配方法的主要特点是将单个特征点与其邻域内的其它特征点组合为特征对代替单个特征点作为基本匹配单位，相比于基于单个特征点构造匹配描述子，基于特征对构造匹配描述子具有如下优势：(1)特征对之间的距离可以直接用于确定尺度信息，避免了尺度选择环节；(2)特征对包含的两个特征点之间的连线可用于确定主方向信息，避免了主方向估计环节。此外，由于区域形状在图像形变下将会变形，而区域内像素灰度大小的排序几乎不变，本发明提供的方法通过采用基于灰度序进行子区域划分而不是采用传统基于固定位置的子区域划分，消除了边界误差。相比于已有基于单个特征点构造匹配描述子的方法，本发明提供的方法能够克服尺度、主方向与边界误差，具有更优的匹配性能。

附图说明

图1所示为本发明基于特征组对的特征点匹配方法的流程图。

图2所示为本发明进行特征组对示意图。

具体实施方式

如图1所示为本发明基于特征组对的特征点匹配方法流程图，包括：采集图像并输入计算机，利用已有特征点检测算子提取图像特征点，对图像特征点进行特征组对处理，确定特征对的主方向、尺度及支撑区域，对支撑区域进行子区域划分，计算支撑区域内各点的特征向量，计算特征对支撑区域的匹配描述子，利用匹配描述子进行特征对匹配，由匹配特征对获得匹配特征点。各步骤的具体实施细节如下：

步骤S1：从不同角度拍摄同一场景两幅不同图像并输入计算机；

步骤S2：利用已有技术进行特征点检测，如使用Harris算子；

步骤S3：对图像中的特征点进行特征组对处理，具体方式为，对于图像中任一特征点X_i，将它与区域SubR(X_i)内的特征点分别组成特征对，其中SubR(X_i)＝{Y：σ₁≤||Y-X_i||≤σ₂}是以X_i为中心σ₁、σ₂为半径的一个环形区域，给定一幅图像中的特征点集合{X_i，i＝1，2，...，m}，可以得到一个特征点对集合{M_k(X_k1，X_k2)，k＝1，2，...n}，其中m表示特征点个数，n表示特征对个数；

步骤S4：确定每个特征对的主方向、尺度及支撑区域，具体方式为，对于步骤S3获得的任一特征对M_k(X_k1，X_k2)，在直线X_k1X_k2的两个垂直方向中将与线段X_k1X_k2上各点平均梯度指向接近的方向确定为特征对M_k(X_k1，X_k2)的主方向；将线段X_k1X_k2长度d＝||X_k1-X_k2||的一半确定为特征对M_k(X_k1，X_k2)的尺度，记为σ(M_k)；记X_l，l＝1，2，...Num为线段X_k1X_k2上的任意点，其中Num表示线段上点数，G_σ(X_l)表示以X_l为圆心σ(M_k)为半径的圆形区域，将线段上各点对应的圆形区域覆盖的区域确定为特征对M_k(X_k1，X_k2)的支撑区域G(M_k)＝G_σ(X₁)∪G_σ(X₂)∪...∪G_σ(X_Num)；

步骤S5：基于灰度序对特征对的支撑区域进行子区域划分，具体划分方式为：首先将特征支撑区域G(M_k)内包含像素的灰度值升序排列，然后根据像素灰度大小选取一系列阈值t_i将区域G(M_k)划分为K个子区域G_i＝{x_j：t_i-1≤I(x_j)＜t_i}，1≤i≤K，其中划分阈值t_i的确定原则是使每个子区域中包含相等的像素数；

步骤S6：计算特征对支撑区域内各点的旋转不变特征向量，具体方式为，对于特征对M_k(X_k1，X_k2)，记其主方向及主方向顺时针旋转90度方向对应的单位向量分别为d_main＝[d_m1，d_m2]与d′_main＝[d′_m1，d′_m2]，计算特征对的支撑区域内任一点X的高斯梯度将分别投影到d_main、d′_main方向上获得点X的旋转不变特征向量V(X)＝[V₁(X)，V₂(X)]，其中V₁(X)＝f_x(X)·d_m1+f_y(X)·d_m2、V₂(X)＝f_x(X)·d′_m1+f_y(X)·d′_m2；

步骤S7：计算特征对支撑区域的匹配描述子，具体步骤为，步骤S5将支撑区域G(M_k)按所述方式划分为K个子区域后，记每个子区域包含的像素个数为s，对于其中任一子区域G_i，计算G_i内各像素X₁，X₂，...，X_s对应特征向量的均值与标准差，获得子区域G_i的两个描述向量：M_i＝Mean{V(X₁)，V(X₂)，...，V(X_s)}，S_i＝Std{V(X₁)，V(X₂)，...，V(X_s)}；将K个子区域的均值描述向量与标准差描述向量分别组成一个向量，可获得区域G(M_k)的均值描述向量与标准差描述向量：M＝[M₁，M₂，...M_K]，S＝[S₁，S₂，...S_K]，分别对均值描述向量与标准差描述向量进行归一化，获得区域G(M_k)的均值标准差描述向量MS＝[M/||M||，S/||S||]，最后再次进行归一化处理获得特征对M_k的匹配描述子Des＝MS/||MS||∈R^16K；

步骤S8：利用匹配描述子进行特征对匹配，具体方式为，记第1幅图像中待匹配特征对M₁，M₂，...，M_n1的匹配描述子分别为D₁，D₂，...，D_n1，第2幅图像中的待匹配特征对M′₁，M′₂、...，M′_n2的匹配描述子分别为D′₁，D′₂，...，D′_n2，对于D₁，D₂，...，D_n1中的任一描述子D_i，找到D′₁，D′₂，...，D′_n2中与D_i欧氏距离最小的匹配描述子D′_j，如果D_i同时也是D₁，D₂，...，D_n1中与D′_j欧氏距离最小的匹配描述子，则M_iM′_j为一组特征对匹配；

步骤S9：由特征对匹配建立特征点匹配，具体方式为，对于步骤S8获得的分别位于两幅图像中的两个相互匹配的特征对，指定每个特征对主方向顺时针旋转90度指向的特征点为其第一个特征点，由两个特征对的第一个特征点获得第一组特征点匹配，由另外两个特征点获得第二组特征点匹配。

本发明提出的基于特征组对的特征点匹配方法的主要特点是将单个特征点与其邻域内的其它特征点组合为特征对代替单个特征点作为基本匹配单位，相比于基于单个特征点构造匹配描述子，基于特征对构造匹配描述子具有如下优势：(1)特征对之间的距离可以直接用于确定尺度信息，避免了尺度选择环节；(2)特征对包含的两个特征点之间的连线可用于确定主方向信息，避免了主方向估计环节。此外，由于区域形状在图像形变下将会变形，而区域内像素灰度大小的排序几乎不变，本发明提供的方法通过采用基于灰度序进行子区域划分而不是采用传统基于固定位置的子区域划分，消除了边界误差。相比于已有基于单个特征点构造匹配描述子的方法，本发明提供的方法能够克服尺度、主方向与边界误差，具有更优的匹配性能。

Claims (1)

1.一种数字图像中基于特征组对的特征点匹配方法，其特征在于，包括步骤： 

步骤S1：从不同角度拍摄同一场景两幅不同图像并输入计算机； 

步骤S2：利用已有技术进行特征点检测； 

步骤S3：对图像中的特征点进行特征组对处理，具体方式为，对于图像中任一特征点X_i，将它与区域SubR(X_i)内的特征点分别组成特征对，其中SubR(X_i)＝{Y：σ₁≤||Y-X_i||≤σ₂}是以X_i为中心σ₁、σ₂为半径的一个环形区域，给定一幅图像中的特征点集合{X_i，i=1，2，...，m}，可以得到一个特征点对集合{M_k(X_k1，X_k2)，k＝1，2，...n}，其中m表示特征点个数，n表示特征对个数； 

步骤S4：确定每个特征对的主方向、尺度及支撑区域，具体方式为，对于步骤S3获得的任一特征对M_k(X_k1，X_k2)，在直线X_k1X_k2的两个垂直方向中将与线段X_k1X_k2上各点平均梯度指向接近的方向确定为特征对M_k(X_k1，X_k2)的主方向；将线段X_k1X_k2长度d＝||X_k1-X_k2||的一半确定为特征对M_k(X_k1，X_k2)的尺度，记为σ(M_k)；记X_l，l=1，2，...Num为线段X_k1X_k2上的任意点，其中Num表示线段上点数，G_σ(X_l)表示以X_l为圆心σ(M_k)为半径的圆形区域，将线段上各点对应的圆形区域覆盖的区域确定为特征对M_k(X_k1，X_k2)的支撑区域G(M_k)=G_σ(X₁)∪G_σ(X₂)∪...∪G_σ(X_Num)； 

步骤S5：基于灰度序对特征对的支撑区域进行子区域划分，具体划分方式为：首先将特征支撑区域G(M_k)内包含像素的灰度值升序排列，然后根据像素灰度大小选取一系列阈值t_i将区域G(M_k)划分为K个子区域G_i＝{x_j：t_i-1≤I(x_j)<t_i}，1≤i≤K，其中划分阈值t_i的确定原则是使每个子区域中包含相等的像素数； 

步骤S6：计算特征对支撑区域内各点的旋转不变特征向量，具体方式为， 对于特征对M_k(X_k1，X_k2)，记其主方向及主方向顺时针旋转90度方向对应的单位向量分别为d_main＝[d_m1，d_m2]与d′_main=[d′_m1，d′_m2]，计算特征对的支撑区域内任一点X的高斯梯度将分别投影到d_main、d′_main方向上获得点X的旋转不变特征向量V(X)=[V₁(X)，V₂(X)]，其中V₁(X)=f_x(X)·d_m1+f_y(X)·d_m2、V₂(X)＝f_x(X)·d′_m1+f_y(X)·d′_m2； 

步骤S7：计算特征对支撑区域的匹配描述子，具体步骤为，步骤S5将支撑区域G(M_k)按所述方式划分为K个子区域后，记每个子区域包含的像素个数为s，对于其中任一子区域G_i，计算G_i内各像素X₁，X₂，...，X_s对应特征向量的均值与标准差，获得子区域G_i的两个描述向量：M_i=Mean{V(X₁)，V(X₂)，...，V(X_s)}，S_i=Std{V(X₁)，V(X₂)，...，V(X_s)}；将K个子区域的均值描述向量与标准差描述向量分别组成一个向量，可获得区域G(M_k)的均值描述向量与标准差描述向量：M=[M₁，M₂，...M_K]，S=[S₁，S₂，...S_K]，分别对均值描述向量与标准差描述向量进行归一化，获得区域G(M_k)的均值标准差描述向量MS＝[M/||M||，S/||S||]，最后再次进行归一化处理获得特征对M_k的匹配描述子Des＝MS/||MS||∈R^16K； 

步骤S8：利用匹配描述子进行特征对匹配，具体方式为，记第1幅图像中待匹配特征对M₁,M₂，...，M_n1的匹配描述子分别为D₁，D₂，...，D_n1，第2幅图像中的待匹配特征对M′₁，M′₂、...，M′_n2的匹配描述子分别为D′₁，D′₂，...，D′_n2，对于D₁，D₂，...，D_n1中的任一描述子D_i，找到D′₁，D′₂，...，D′_n2中与D_i欧氏距离最小的匹配描述子D′_j，如果D_i同时也是D₁，D₂，...，D_nl中与D′_j欧氏距离最小的匹配描述子，则M_iM′_j为一组特征对匹配； 

步骤S9：由特征对匹配建立特征点匹配，具体方式为，对于步骤S8获得的分别位于两幅图像中的两个相互匹配的特征对，指定每个特征对主方向顺时针旋转90度指向的特征点为其第一个特征点，由两个特征对的第一个特征点获得第一组特征点匹配，由另外两个特征点获得第二组特征点匹配。