CN102629382A - 基于几何兼容性的特征点匹配方法 - Google Patents

Abstract

本发明涉及一种数字图像中基于几何兼容性的特征点匹配方法，包括：采集图像并输入计算机；使用SIFT技术进行图像特征点检测与描述；对图像特征点进行组对处理；计算任意两个特征对之间的匹配置信度；挑选初始匹配建立已确立匹配集合；利用几何兼容性建立新匹配并添加到已确立匹配集合，然后重复执行该步骤直到不能产生新匹配；由特征对匹配建立特征点匹配。相比于已有的基于几何一致性优化的匹配方法，本发明提供的方法不需要进行整体优化，大大减少了运算量，具有更高的计算效率。

Description

基于几何兼容性的特征点匹配方法

技术领域

本发明涉及一种图像处理与计算机视觉领域图像特征点自动匹配方法。

背景技术

特征匹配技术在图像检索、物体识别、视频跟踪以及增强现实等领域有重要应用。目前已有图像特征点匹配方法主要有以下两类：

第一类是基于局部纹理信息构造匹配描述子的方法，主要代表有SIFT、SURF、GLOH等匹配描述子(详见文献K.Mikolajczyk and C.Schmid，Aperformance evaluation of local descriptors.IEEE Transaction on Pattern Analysisand Machine Intelligence，2005，27(10)：1615-1630.)，该类方法主要利用特征局部纹理信息进行特征匹配，首先为特征确定支撑区域，然后将支撑区域划分为一系列固定形状的子区域，最后将每个子区域内包含的图像纹理信息表示为向量并组成匹配描述子。在图像形变存在时，该类方法构造的匹配描述子分辨力下降较大，获得的匹配数量较少。

第二类是基于几何一致性优化的匹配方法(如文献J.H.Lee and C.H.Won.Topology Preserving Relaxation Labeling for Non-rigid Point Matching.IEEE Transactions on Pattern Analysis and Machine Intelligence.2011，33(2)：427-432.)，这类方法利用特征点之间的几何约束整体构造匹配目标优化函数，从而将匹配问题转化为一个目标函数优化问题。该类方法利用的特征之间的几何约束信息相对于第一类方法种使用的特征局部纹理信息在图像形变下更为稳定，图像形变下该类方法也能获得较好匹配结果。但是，该类方法需要解决的几何优化问题运算十分复杂，且运算量随着特征点数量的增加呈几何级数增长，导致该类方法运算效率很低。

发明内容

本发明主要目的是针对图像形变下特征自动匹配问题，提供一种利用特征之间的几何关系但不需要进行整体优化的特征点匹配方法。为了实现本目的，本发明提供的基于几何兼容性的特征点匹配方法包括以下步骤：

步骤S1：从不同角度拍摄同一场景两幅不同图像并输入计算机；

步骤S2：使用SIFT技术进行特征点检测并计算特征点描述子；

步骤S3：对图像特征点进行组对处理；

步骤S4：计算任意两个特征对之间的匹配置信度；

步骤S5：挑选匹配置信度较高的特征对组合作为初始匹配建立已确立特征对匹配集合；

步骤S6：在已确立特征对匹配集合的基础上利用几何兼容性建立新特征对匹配；

步骤S61：利用连接兼容性获得潜在特征对匹配集合；

步骤S62：验证潜在特征对匹配集合中的匹配是否尺度兼容性条件；

步骤S63：验证潜在特征对匹配集合中的匹配是否角度兼容性条件；

步骤S64：确定新特征对匹配并添加到已确立特征对匹配集合，重新执行S6直至不能获得新特征对匹配；

步骤S7：由特征对匹配建立特征点匹配。

本发明提供的基于几何兼容性的特征点匹配方法，通过将单个特征点组合成特征对作为基本匹配单位，并利用特征对之间的连接性定义几何兼容性，实现了利用特征之间的几何关系由已确立匹配不断引导约束建立后续匹配。相比于已有的基于几何一致性优化的匹配方法，本发明提供的方法不需要进行整体优化，大大减少了运算量，具有更高的计算效率。

附图说明

图1为本发明基于几何兼容性的特征点匹配方法流程图。

具体实施方式

如图1所示为本发明基于几何兼容性的特征点匹配方法流程图，包括步骤：采集图像并输入计算机；进行特征点检测与特征描述；对图像特征点进行组对处理；计算特征对之间的匹配置信度；挑选初始匹配建立已确立特征对匹配集合；利用几何兼容性不断循环建立新特征对匹配；由特征对匹配建立特征点匹配。各步骤的具体实施细节如下：

步骤S1：从不同角度拍摄同一场景两幅不同图像并输入计算机；

步骤S2：使用SIFT技术进行图像特征点检测并计算特征点描述子；

步骤S3：对图像特征点进行组对处理，具体方式为，对于图像中任一特征点X_i，将它与区域SubR(X_i)内的特征点分别组成特征对，其中SubR(X_i)＝{Y：σ₁≤||Y-X_i||≤σ₂}是以X_i为中心的一个环形区域，给定一幅图像中的特征点集合{X_i，i＝1，2，...，m}，可以得到一个特征点对集合{M_k(X_k1，X_k2，D_k1，D_k2)，k＝1，2，...n}，其中m表示特征点个数，n表示特征对个数，D_k1、D_k2分别表示步骤S2获得的特征点X_k1、X_k2的描述子，σ(M_k)＝||X_k1-X_k2||/2称为特征M_k的尺度；

步骤S4：计算任意两个特征对之间的匹配置信度，具体方式如下：对于分别位于两幅图像中的任意两个特征对M(X₁₁，X₁₂，D₁₁，D₁₂)，M′(X′₁₁，X′₁₂，D′₁₁，D′₁₂)，利用S(M，M′)＝min(|D₁₁-D′₁₁|+|D₁₂-D′₁₂|，|D₁₁-D′₁₂|+|D₁₂-D′₁₁|)计算它们之间的相似性；对于位于某一图像中的特征对M，记另外一幅图像上的各个特征对中与M相似性的最小值、次小值分别为s₁(M)、s₂(M)，利用NNDR(M)＝s₁(M)/s₂(M)计算特征M的NNDR值；获得两幅图像上任一特征对的NNDR值后，使用方式R(M，M′)＝e^{-max(NNDR(M)，NNDR(M′))}计算分别位于两幅图像中的两个特征对M，M′之间的匹配置信度值；

步骤S5：挑选匹配置信度较高的特征对组合作为初始匹配建立已确立特征对匹配集合F，一般取匹配置信度最大的10-20个匹配作为初始匹配；

步骤S6：在已确立特征对匹配集合F的基础上利用几何兼容性建立新特征对匹配；

步骤S6由S61、S62、S63、S64四个子步骤组成，下面先定义该步骤需要使用的连接兼容性、尺度兼容性与角度兼容性：

连接兼容性对于同一图像中两个特征对M₁，M₂，如果它们具有共同的特征点X，则称M₁，M₂具有连接关系；对于两组特征对匹配G₁(M₁，M′₁)，G₂(M₂，M′₂)，如果M₁，M₂、M′₁，M′₂中至少一组具有连接关系则称G₁，G₂具有连接关系，如果M₁，M₂、M′₁，M′₂同时满足连接关系则称G₁，G₂连接兼容；

尺度兼容性对于相互连接兼容的两组特征对匹配G₁(M₁，M′₁)、G₂(M₂，M′₂)，记s_σ(M₁，M′₁)＝σ(M′₁)/σ(M₁)、s_σ(M₂，M′₂)＝σ(M′₂)/σ(M₂)分别表示匹配G(M₁，M′₁)、G(M₂，M′₂)的尺度变化，其中σ(M₁)、σ(M′₁)、σ(M₂)、σ(M′₂)分别表示M₁、M′₁、M₂、M′₂的尺度，给定一个形变尺度参数T_σ，如果s_σ(M₁，M′₁)与s_σ(M₂，M′₂)满足以下条件则称G₁，G₂尺度兼容： $E_{\mathrm{\&sigma;}}(G_1,G_2)=\frac{|s_{\mathrm{\&sigma;}}(M_1,M_1^{\&prime;})-s_{\mathrm{\&sigma;}}(M_2,M_2^{\&prime;})|}{\max (s_{\mathrm{\&sigma;}}(M_1,M_1^{\&prime;}),s_{\mathrm{\&sigma;}}(M_2,M_2^{\&prime;}))}<T_{\mathrm{\&sigma;}},$ 一般T_σ取0.1-0.2；

角度兼容性对于相互连接兼容的两组特征对匹配G₁(M₁，M′₁)，G₂(M₂，M′₂)，记θ(M₁，M′₁)、θ(M₂，M′₂)分别表示M₁，M′₁、M₂，M′₂之间的夹角，给定一个形变角度参数T_θ，如果θ(M₁，M′₁)与θ(M₂，M′₂)满足以下条件则称G₁，G₂角度兼容： $E_{\mathrm{\&theta;}}(G_1,G_2)=\frac{|\mathrm{\&theta;}(M_1,M_2)-\mathrm{\&theta;}(M_1,M_2)|}{\max (\mathrm{\&theta;}(M_1,M_2),\mathrm{\&theta;}(M_1,M_2))}<T_{\mathrm{\&theta;}},$ 一般T_θ取0.1-0.2；

步骤S61：在已确立特征对匹配集合F的基础上，利用连接兼容性获得潜在特征对匹配集合，具体方式为，记两幅图像中所有可能的特征对匹配组成的集合为P，对于已确立特征对匹配集合F中的任一特征对匹配G_i，记集合P中所有与G_i连接兼容的特征对匹配组成集合记为S(G_i)，则按照如下方式由集合F各点确定潜在特征对匹配集合S(F)＝S(G₁)∪S(G₂)，..∪S(G_i)，..∪S(G_#F)，其中G₁，G₂，...，G_#F表示集合F中的所有特征对匹配，#F为个数；

步骤S62：验证潜在特征对匹配集合中的匹配是否满足尺度兼容性条件，具体方式为，对于潜在特征对匹配集合S(F)中任一特征对匹配G_i，记集合F中与G_i连接兼容、尺度兼容的匹配个数分别为n_A、n_σ，如果比值n_σ/n_A＞L_σ，则称G_i满足尺度兼容性条件，其中L_σ一般取0.8-0.9；

步骤S63：验证潜在特征对匹配集合中的匹配是否满足角度兼容性条件，具体方式为，对于潜在特征对匹配集合S(F)中任一特征对匹配G_i，记集合F中与G_i连接兼容、角度兼容的匹配个数分别为n_A，n_θ，如果比值n_θ/n_A＞L_θ，则称G_i满足尺度兼容性条件，其中L_θ一般取0.8-0.9；

步骤S64：将潜在匹配特征对集合S(F)中同时满足获得尺度兼容性条件与角度兼容性条件的匹配确定为新特征对匹配，如果获得的新特征对匹配数量大于0，则将新特征对匹配添加到已确立特征对匹配集合S(F)，重新执行步骤S6，直到不能获得新特征对匹配为止；

步骤S7：由特征对匹配建立特征点匹配，具体方式为，对于获得的分别位于两幅图像中的一组特征对匹配M(X₁₁，X₁₂，D₁₁，D₁₂)，M′(X′₁₁，X′₁₂，D′₁₁，D′₁₂)，分别计算T₁＝|D₁₁-D′₁₁|+|D₁₂-D′₁₂|与T₂＝|D₁₁-D′₁₂|+|D₁₂-D′₁₁|，如果T₁＜T₂则建立两组特征点匹配(X₁，X′₁)、(X₂，X′₂)，否则建立两组特征点匹配(X₁，X′₂)、(X₂，X′₁)。

本发明提供的基于几何兼容性的特征点匹配方法，通过将单个特征点组合成特征对作为基本匹配单位，并利用特征对之间的连接性定义几何兼容性，实现了利用特征之间的几何关系由已确立匹配不断引导约束建立后续匹配。相比于已有的基于几何一致性优化的匹配方法，本发明提供的方法不需要进行整体优化，大大减少了运算量，具有更高的计算效率。

Claims (1)

1.一种数字图像中基于几何兼容性的特征点匹配方法，其特征在于，包括步骤：

步骤S1：从不同角度拍摄同一场景两幅不同图像并输入计算机；

步骤S2：使用SIFT技术进行图像特征点检测并计算特征点描述子；

步骤S3：对图像特征点进行组对处理，具体方式为，对于图像中任一特征点X_i，将它与区域SubR(X_i)内的特征点分别组成特征对，其中SubR(X_i)＝{Y：σ₁≤||Y-X_i||≤σ₂}是以X_i为中心的一个环形区域，给定一幅图像中的特征点集合{X_i，i＝1，2，...，m}，可以得到一个特征点对集合{M_k(X_k1，X_k2，D_k1，D_k2)，k＝1，2，...n}，其中m表示特征点个数，n表示特征对个数，D_k1、D_k2分别表示步骤S2获得的特征点X_k1、X_k2的描述子，σ(M_k)＝||X_k1-X_k2||/2称为特征M_k的尺度；

步骤S4：计算任意两个特征对之间的匹配置信度，具体方式如下：对于分别位于两幅图像中的任意两个特征对M(X₁₁，X₁₂，D₁₁，D₁₂)，M′(X′₁₁，X′₁₂，D′₁₁，D′₁₂)，利用S(M，M′)＝min(|D₁₁-D′₁₁|+|D₁₂-D′₁₂|，|D₁₁-D′₁₂|+|D₁₂-D′₁₁|)计算它们之间的相似性；对于位于某一图像中的特征对M，记另外一幅图像上的各个特征对中与M相似性的最小值、次小值分别为s₁(M)、s₂(M)，利用NNDR(M)＝s₁(M)/s₂(M)计算特征M的NNDR值；获得两幅图像上任一特征对的NNDR值后，使用方式R(M，M′)＝e^{-max(NNDR(M)，NNDR(M′))}计算分别位于两幅图像中的两个特征对M，M′之间的匹配置信度值；

步骤S5：挑选匹配置信度较高的特征对组合作为初始匹配建立已确立特征对匹配集合F，一般取匹配置信度最大的10-20个匹配作为初始匹配；

步骤S6：在已确立特征对匹配集合F的基础上利用几何兼容性建立新特征对匹配；

步骤S6由S61、S62、S63、S64四个子步骤组成，下面先定义该步骤需要使用的连接兼容性、尺度兼容性与角度兼容性：

连接兼容性对于同一图像中两个特征对M₁，M₂，如果它们具有共同的特征点X，则称M₁，M₂具有连接关系；对于两组特征对匹配G₁(M₁，M′₁)，G₂(M₂，M′₂)，如果M₁，M₂、M′₁，M′₂中至少一组具有连接关系则称G₁，G₂具有连接关系，如果M₁，M₂、M′₁，M′₂同时满足连接关系则称G₁，G₂连接兼容；

尺度兼容性对于相互连接兼容的两组特征对匹配G₁(M₁，M′₁)、G₂(M₂，M′₂)，记s_σ(M₁，M′₁)＝σ(M′₁)/σ(M₁)、s_σ(M₂，M′₂)＝σ(M′₂)/σ(M₂)分别表示匹配G(M₁，M′₁)、G(M₂，M′₂)的尺度变化，其中σ(M₁)、σ(M′₁)、σ(M₂)、σ(M′₂)分别表示M₁、M′₁、M₂、M′₂的尺度，给定一个形变尺度参数T_σ，如果s_σ(M₁，M′₁)与s_σ(M₂，M′₂)满足以下条件则称G₁，G₂尺度兼容： $E_{\mathrm{\&sigma;}}(G_1,G_2)=\frac{|s_{\mathrm{\&sigma;}}(M_1,M_1^{\&prime;})-s_{\mathrm{\&sigma;}}(M_2,M_2^{\&prime;})|}{\max (s_{\mathrm{\&sigma;}}(M_1,M_1^{\&prime;}),s_{\mathrm{\&sigma;}}(M_2,M_2^{\&prime;}))}<T_{\mathrm{\&sigma;}},$ 一般T_σ取0.1-0.2；

角度兼容性对于相互连接兼容的两组特征对匹配G₁(M₁，M′₁)，G₂(M₂，M′₂)，记θ(M₁，M′₁)、θ(M₂，M′₂)分别表示M₁，M′₁、M₂，M′₂之间的夹角，给定一个形变角度参数T_θ，如果θ(M₁，M′₁)与θ(M₂，M′₂)满足以下条件则称G₁，G₂角度兼容： $E_{\mathrm{\&theta;}}(G_1,G_2)=\frac{|\mathrm{\&theta;}(M_1,M_2)-\mathrm{\&theta;}(M_1,M_2)|}{\max (\mathrm{\&theta;}(M_1,M_2),\mathrm{\&theta;}(M_1,M_2))}<T_{\mathrm{\&theta;}},$ 一般T_θ取0.1-0.2；

步骤S61：在已确立特征对匹配集合F的基础上，利用连接兼容性获得潜在特征对匹配集合，具体方式为，记两幅图像中所有可能的特征对匹配组成的集合为P，对于已确立特征对匹配集合F中的任一特征对匹配G_i，记集合P中所有与G_i连接兼容的特征对匹配组成集合记为S(G_i)，则按照如下方式由集合F各点确定潜在特征对匹配集合S(F)＝S(G₁)∪S(G₂)，..∪S(G_i)，..∪S(G_#F)，其中G₁，G₂，...，G_#F表示集合F中的所有特征对匹配，#F为个数；

步骤S62：验证潜在特征对匹配集合中的匹配是否满足尺度兼容性条件，具体方式为，对于潜在特征对匹配集合S(F)中任一特征对匹配G_i，记集合F中与G_i连接兼容、尺度兼容的匹配个数分别为n_A、n_σ，如果比值n_σ/n_A＞L_σ，则称G_i满足尺度兼容性条件，其中L_σ一般取0.8-0.9；

步骤S63：验证潜在特征对匹配集合中的匹配是否满足角度兼容性条件，具体方式为，对于潜在特征对匹配集合S(F)中任一特征对匹配G_i，记集合F中与G_i连接兼容、角度兼容的匹配个数分别为n_A，n_θ，如果比值n_θ/n_A＞L_θ，则称G_i满足尺度兼容性条件，其中L_θ一般取0.8-0.9；

步骤S64：将潜在匹配特征对集合S(F)中同时满足获得尺度兼容性条件与角度兼容性条件的匹配确定为新特征对匹配，如果获得的新特征对匹配数量大于0，则将新特征对匹配添加到已确立特征对匹配集合S(F)，重新执行步骤S6，直到不能获得新特征对匹配为止；

步骤S7：由特征对匹配建立特征点匹配，具体方式为，对于获得的分别位于两幅图像中的一组特征对匹配M(X₁₁，X₁₂，D₁₁，D₁₂)，M′(X′₁₁，X′₁₂，D′₁₁，D′₁₂)，分别计算T₁＝|D₁₁-D′₁₁|+|D₁₂-D′₁₂|与T₂＝|D₁₁-D′₁₂|+|D₁₂-D′₁₁|，如果T₁＜T₂则建立两组特征点匹配(X₁，X′₁)、(X₂，X′₂)，否则建立两组特征点匹配(X₁，X′₂)、(X₂，X′₁)。

Images