CN103279955B - 图像匹配方法和系统 - Google Patents

图像匹配方法和系统 Download PDF

Info

Publication number
CN103279955B
CN103279955B CN201310196228.8A CN201310196228A CN103279955B CN 103279955 B CN103279955 B CN 103279955B CN 201310196228 A CN201310196228 A CN 201310196228A CN 103279955 B CN103279955 B CN 103279955B
Authority
CN
China
Prior art keywords
point
sift feature
feature point
sift
matches
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310196228.8A
Other languages
English (en)
Other versions
CN103279955A (zh
Inventor
王兴
冯良炳
赵永刚
陈前
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201310196228.8A priority Critical patent/CN103279955B/zh
Publication of CN103279955A publication Critical patent/CN103279955A/zh
Application granted granted Critical
Publication of CN103279955B publication Critical patent/CN103279955B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

一种图像匹配方法,在对第一图像和第二图像进行匹配时,不但比较SIFT特征点本身,同时考虑到对应邻域集中构成潜在匹配对的邻域特征点的匹配状况。得到更新潜在匹配集后,判断更新潜在匹配集的平均匹配质量值是否大于初始潜在匹配集的平均匹配质量值,若是则对初始潜在匹配集合及其平均匹配质量值进行更新,然后再次构建更新潜在匹配集进行比较,直至更新潜在匹配集的平均匹配质量值小于初始潜在匹配集的平均匹配质量值,然后去除初始潜在匹配集中的错误匹配对,得到最终匹配对。当第一图像和第二图像存在大量重复特征点时,也可进行有效匹配。此外,本发明还提供了一种图像匹配系统。

Description

图像匹配方法和系统
技术领域
本发明涉及一种计算机图像处理技术,特别是涉及一种图像匹配方法和系统。
背景技术
图像匹配在计算机视觉、模式识别等领域有着非常广泛的应用,如三维重建、物体识别、运动跟踪和全景图创建等。实现图像匹配的一般步骤是:首先检测图像中的特征点,其次给检测出的特征点定义相应的描述子,再通过比较这些特征描述子实现图像特征点的匹配,最后利用一定的几何信息约束(极线几何、仿射变换、单应变换等)去除错误的匹配对,最终得到正确的匹配对,从而实现图像的匹配。
传统的图像匹配方法通常利用SIFT算法对图像进行匹配。SIFT算法对平移、旋转、尺度缩放保持不变性,并且对亮度变化、视角变换、仿射变换、噪声也保持一定的稳定性,具有很强的匹配能力。SIFT特征点又叫SIFT描述子,是一个128维的向量,对其进行归一化处理便可得到归一化SIFT描述子。
如果匹配的图像中存在着大量重复的特征,例如建筑物表面存在着完全相同的窗户或者图案等,传统的图像匹配方法不能够有效区分各个特征,最终导致了不能有效将两幅图像进行匹配。
发明内容
基于此,有必要提供一种存在大量重复特征时,也能对图像进行有效匹配的图像匹配方法和系统。
一种图像匹配方法,包括以下步骤:分别获取第一图像和第二图像的SIFT特征点,并分别提取各所述SIFT特征点的邻域特征点和候选匹配特征点,得到各所述SIFT特征点对应的邻域集和候选匹配集;所述邻域特征点为与对应SIFT特征点位于同一图像,且与对应SIFT特征点的欧氏距离小于第一阈值的SIFT特征点;所述候选匹配特征点为与对应SIFT特征点位于不同的图像,与对应SIFT特征点的欧氏距离小于第二阈值,且两者的归一化SIFT描述子的向量点积大于第三阈值的SIFT特征点;计算各所述SIFT特征点与对应候选匹配集中候选匹配特征点的匹配质量值,并提取互为最佳匹配点的两SIFT特征点作为潜在匹配对,得到初始潜在匹配集;所述匹配质量值表示两个SIFT特征点为正确匹配对的度量函数,所述最佳匹配点为所述候选匹配集中与对应SIFT特征点的所述匹配质量值最大的候选匹配特征点;根据所述初始潜在匹配集,及SIFT特征点与对应的各候选匹配特征点的对应邻域集中构成所述潜在匹配对的邻域特征点,计算各所述SIFT特征点与对应候选匹配集中各候选匹配特征点的更新匹配质量值,并提取互为更新最佳匹配点的两SIFT特征点作为更新潜在匹配对,得到更新潜在匹配集;所述更新匹配质量值表示两个SIFT特征点为正确匹配对的度量函数,所述更新最佳匹配点为所述候选匹配集中与对应SIFT特征点的所述更新匹配质量值最大的候选匹配特征点;判断所述更新潜在匹配集的平均匹配质量值是否大于所述初始潜在匹配集的平均匹配质量值,若是,则更新所述初始潜在匹配集及对应的平均匹配质量值,并返回所述根据所述初始潜在匹配集,及SIFT特征点与各候选匹配特征点的对应邻域集中构成所述潜在匹配对的邻域特征点,计算各所述SIFT特征点与对应候选匹配集中各候选匹配特征点的更新匹配质量值,并提取互为更新最佳匹配点的两SIFT特征点作为更新潜在匹配对,得到更新潜在匹配集的步骤;若否,则去除所述初始潜在匹配集中的错误匹配对,得到最终匹配对。
在其中一个实施例中,所述分别获取第一图像和第二图像的SIFT特征点,并分别提取各所述SIFT特征点的邻域特征点和候选匹配特征点,得到各所述SIFT特征点对应的邻域集和候选匹配集的步骤包括以下步骤:
分别获取所述第一图像和第二图像的SIFT特征点,得到第一特征集合和第二特征集合;
分别对所述第一特征集合和第二特征集合建立k-d树,得到第一k-d树和第二k-d树;
对所述第一特征集合中各SIFT特征点,提取所述第一k-d树中满足第一条件的SIFT特征点作为邻域特征点,得到所述第一特征集合中各SIFT特征点对应的邻域集;
对所述第二特征集合中各SIFT特征点,提取所述第二k-d树中满足所述第一条件的SIFT特征点作为邻域特征点,得到所述第二特征集合中各SIFT特征点对应的邻域集;
对所述第一特征集合中各SIFT特征点,提取所述第二k-d树中满足第二条件的SIFT特征点作为候选匹配特征点,得到所述第一特征集合中各SIFT特征点对应的候选匹配集;
对所述第二特征集合中各SIFT特征点,提取所述第一k-d树中满足所述第二条件的SIFT特征点作为候选匹配特征点,得到所述第二特征集合中各SIFT特征点对应的候选匹配集;
所述第一条件为:
||m–n||<Tn
其中,m、n为同一特征集合中的SIFT特征点,||m–n||表示SIFT特征点m与n的欧氏距离,Tn为预设的第一阈值;
所述第二条件为:
||m1–m2||<Td且sift(m1)·sift(m2)>Tc
其中,m1为一特征集合中的SIFT特征点,m2为另一特征集合中的SIFT特征点,||m1–m2||表示SIFT特征点m1与m2的欧氏距离,sift(m1)、sift(m2)分别为特征点m1和m2的归一化SIFT描述子,·表示向量点积,Td、Tc为预设的第二阈值和第三阈值。
在其中一个实施例中,所述计算各所述SIFT特征点与对应候选匹配集中候选匹配特征点的匹配质量值,并提取互为最佳匹配点的两SIFT特征点作为潜在匹配对,得到初始潜在匹配集的步骤包括:
对所述第一特征集合中各SIFT特征点,根据s(m1,m2)=sift(m1)·sift(m2)计算SIFT特征点与对应候选匹配集中各候选匹配特征点的匹配质量值,获取各SIFT特征点的最佳匹配点;
对所述第二特征集合中各SIFT特征点,根据s(m1,m2)=sift(m1)·sift(m2)计算SIFT特征点与对应候选匹配集中各候选匹配特征点的匹配质量值,获取各SIFT特征点的最佳匹配点;其中,s(m1,m2)表示SIFT特征点m1与SIFT特征点m2的匹配质量值,m1为一特征集合中的SIFT特征点,m2为另一特征集合中的SIFT特征点,且SIFT特征点m1为SIFT特征点m2的候选匹配特征点,sift(m1)、sift(m2)分别为SIFT特征点m1和m2的归一化SIFT描述子,·表示向量点积;SIFT特征点m1为SIFT特征点m2的最佳匹配点是指SIFT特征点m1为SIFT特征点m2的候选匹配集合中,与SIFT特征点m2的匹配质量值最大的候选匹配特征点;
提取互为最佳匹配点的匹配对作为潜在匹配对,得到所述初始潜在匹配集。
在其中一个实施例中,所述根据所述初始潜在匹配集,及SIFT特征点与各候选匹配特征点的对应邻域集中构成所述潜在匹配对的邻域特征点,计算各所述SIFT特征点与对应候选匹配集中各候选匹配特征点的更新匹配质量值,并提取互为更新最佳匹配点的两SIFT特征点作为更新潜在匹配对,得到更新潜在匹配集的步骤包括以下步骤:
根据所述初始潜在匹配集计算欧式变换矩阵A;
A = R T 0 1 = c o s ( &theta; ) - s i n ( &theta; ) t x s i n ( &theta; ) c o s ( &theta; ) t y 0 0 1
其中,A为所述欧式变换矩阵,R与T分别为根据所述初始潜在匹配集中各潜在匹配对计算得到的旋转矩阵和平移向量,即旋转矩阵R与平移向量T构成所述第一图像和第二图像之间的欧式变换;旋转角度θ为与所述旋转矩阵R对应的角度值,表征所述第一图像与第二图像之间的旋转角度;tx和ty分别表示所述第一图像和第二图像沿水平方向与竖直方向的平移;
对所述第一特征集合中各SIFT特征点,根据 s , ( m 1 , m 2 ) = s i f t ( m 1 ) &CenterDot; s i f t ( m 2 ) + &lambda; &Sigma; j s i f t ( m 1 j ) &CenterDot; s i f t ( m 2 j ) exp ( - d i f f / &sigma; ) 计算各SIFT特征点与对应候选匹配集中各候选匹配特征点的更新匹配质量值,获取各SIFT特征点的更新最佳匹配点;
对所述第二特征集合中各SIFT特征点,根据 s , ( m 1 , m 2 ) = s i f t ( m 1 ) &CenterDot; s i f t ( m 2 ) + &lambda; &Sigma; j s i f t ( m 1 j ) &CenterDot; s i f t ( m 2 j ) exp ( - d i f f / &sigma; ) 计算各SIFT特征点与对应候选匹配集中各候选匹配特征点的更新匹配质量值,获取各SIFT特征点的更新最佳匹配点;
diff=||A(m1j-m1)-(m2j-m2)||
其中,s’(m1,m2)表示SIFT特征点m1与SIFT特征点m2的更新匹配质量值,m1为一特征集合中的SIFT特征点,m2为另一特征集合中的SIFT特征点,且SIFT特征点m1为SIFT特征点m2的候选匹配特征点,m1j为SIFT特征点m1的邻域特征点,m2j为SIFT特征点m2的邻域特征点,且m1j与m2j构成所述潜在匹配对;sift(m1)、sift(m2)分别为SIFT特征点m1和m2的归一化SIFT描述子,sift(m1j)、sift(m2j)分别为邻域特征点m1j和m2j的归一化SIFT描述子,匹配权值λ为正数,用于权衡SIFT特征点m1和m2的匹配好坏与其邻域集中潜在匹配对的匹配好坏之间的权重,j为对应邻域集中构成所述潜在匹配对的邻域特征点序号,·表示向量点积,(m1j-m1)表示邻域特征点m1j与SIFT特征点m1的坐标相减,(m2j-m2)表示邻域特征点m2j与SIFT特征点m2的坐标相减,A为所述欧式变换矩阵,diff表示A(m1j-m1)与(m2j-m2)的欧式距离,σ用于将diff归一化;SIFT特征点m1为SIFT特征点m2的更新最佳匹配点是指SIFT特征点m1为SIFT特征点m2的候选匹配集合中,与SIFT特征点m2的更新匹配质量值最大的候选匹配特征点;
提取互为更新最佳匹配点的匹配对作为更新潜在匹配对,得到所述更新潜在匹配集。
在其中一个实施例中,更新所述初始潜在匹配集及对应的平均匹配质量值之后,返回所述根据所述初始潜在匹配集,及SIFT特征点与各候选匹配特征点的对应邻域集中构成所述潜在匹配对的邻域特征点,计算各所述SIFT特征点与对应候选匹配集中各候选匹配特征点的更新匹配质量值,并提取互为更新最佳匹配点的两SIFT特征点作为更新潜在匹配对,得到更新潜在匹配集的步骤之前,还包括迭代更新所述匹配权值的步骤,具体为:
&lambda; ( t + 1 ) = &lambda; ( t ) + &dtri; &lambda;
其中,λ(t+1)为第t+1次更新所述初始潜在匹配集及对应的平均匹配质量值前的匹配权值,且当t=0时λ(t)为0,为更新阈值。
一种图像匹配系统,包括:
获取模块,用于分别获取第一图像和第二图像的SIFT特征点,并分别提取各所述SIFT特征点的邻域特征点和候选匹配特征点,得到各所述SIFT特征点对应的邻域集和候选匹配集;所述邻域特征点为与对应SIFT特征点位于同一图像,且与对应SIFT特征点的欧氏距离小于第一阈值的SIFT特征点;所述候选匹配特征点为与对应SIFT特征点位于不同的图像,与对应SIFT特征点的欧氏距离小于第二阈值,且两者的归一化SIFT描述子的向量点积大于第三阈值的SIFT特征点;
计算模块,用于计算各所述SIFT特征点与对应候选匹配集中候选匹配特征点的匹配质量值,并提取互为最佳匹配点的两SIFT特征点作为潜在匹配对,得到初始潜在匹配集;所述匹配质量值表示两个SIFT特征点为正确匹配对的度量函数,所述最佳匹配点为所述候选匹配集中与对应SIFT特征点的所述匹配质量值最大的候选匹配特征点;
更新模块,用于根据所述初始潜在匹配集,及SIFT特征点与对应的各候选匹配特征点的对应邻域集中构成所述潜在匹配对的邻域特征点,计算各所述SIFT特征点与对应候选匹配集中各候选匹配特征点的更新匹配质量值,并提取互为更新最佳匹配点的两SIFT特征点作为更新潜在匹配对,得到更新潜在匹配集;所述更新匹配质量值表示两个SIFT特征点为正确匹配对的度量函数,所述更新最佳匹配点为所述候选匹配集中与对应SIFT特征点的所述更新匹配质量值最大的候选匹配特征点;
判断模块,用于判断所述更新潜在匹配集的平均匹配质量值是否大于所述初始潜在匹配集的平均匹配质量值,若是,则更新所述初始潜在匹配集及对应的平均匹配质量值,并控制所述更新模块再次根据所述初始潜在匹配集,及SIFT特征点与各候选匹配特征点的对应邻域集中构成所述潜在匹配对的邻域特征点,计算各所述SIFT特征点与对应候选匹配集中各候选匹配特征点的更新匹配质量值,并提取互为更新最佳匹配点的两SIFT特征点作为更新潜在匹配对,得到更新潜在匹配集;
去除模块,用于当所述判断模块判断所述更新潜在匹配集的平均匹配质量值小于所述初始潜在匹配集的平均匹配质量值时,去除所述初始潜在匹配集中的错误匹配对,得到最终匹配对。
在其中一个实施例中,所述获取模块包括:
SIFT特征点获取单元,用于分别获取所述第一图像和第二图像的SIFT特征点,得到第一特征集合和第二特征集合;
k-d树建立单元,用于分别对所述第一特征集合和第二特征集合建立k-d树,得到第一k-d树和第二k-d树;
第一邻域集建立单元,用于对所述第一特征集合中各SIFT特征点,提取所述第一k-d树中满足第一条件的SIFT特征点作为邻域特征点,得到所述第一特征集合中各SIFT特征点对应的邻域集;
第二邻域集建立单元,用于对所述第二特征集合中各SIFT特征点,提取所述第二k-d树中满足所述第一条件的SIFT特征点作为邻域特征点,得到所述第二特征集合中各SIFT特征点对应的邻域集;
第一候选匹配集建立单元,用于对所述第一特征集合中各SIFT特征点,提取所述第二k-d树中满足第二条件的SIFT特征点作为候选匹配特征点,得到所述第一特征集合中各SIFT特征点对应的候选匹配集;
第二候选匹配集建立单元,用于对所述第二特征集合中各SIFT特征点,提取所述第一k-d树中满足所述第二条件的SIFT特征点作为候选匹配特征点,得到所述第二特征集合中各SIFT特征点对应的候选匹配集;
所述第一条件为:
||m–n||<Tn
其中,m、n为同一特征集合中的SIFT特征点,||m–n||表示SIFT特征点m与n的欧氏距离,Tn为预设的第一阈值;
所述第二条件为:
||m1–m2||<Td且sift(m1)·sift(m2)>Tc
其中,m1为一特征集合中的SIFT特征点,m2为另一特征集合中的SIFT特征点,||m1–m2||表示SIFT特征点m1与m2的欧氏距离,sift(m1)、sift(m2)分别为特征点m1和m2的归一化SIFT描述子,·表示向量点积,Td、Tc为预设的第二阈值和第三阈值。
在其中一个实施例中,所述计算模块包括:
第一匹配质量值计算单元,用于对所述第一特征集合中各SIFT特征点,根据s(m1,m2)=sift(m1)·sift(m2)计算SIFT特征点与对应候选匹配集中各候选匹配特征点的匹配质量值,获取各SIFT特征点的最佳匹配点;
第二匹配质量值计算单元,用于对所述第二特征集合中各SIFT特征点,根据s(m1,m2)=sift(m1)·sift(m2)计算SIFT特征点与对应候选匹配集中各候选匹配特征点的匹配质量值,获取各SIFT特征点的最佳匹配点;其中,s(m1,m2)表示SIFT特征点m1与SIFT特征点m2的匹配质量值,m1为一特征集合中的SIFT特征点,m2为另一特征集合中的SIFT特征点,且SIFT特征点m1为SIFT特征点m2的候选匹配特征点,sift(m1)、sift(m2)分别为SIFT特征点m1和m2的归一化SIFT描述子,·表示向量点积;SIFT特征点m1为SIFT特征点m2的最佳匹配点是指SIFT特征点m1为SIFT特征点m2的候选匹配集合中,与SIFT特征点m2的匹配质量值最大的候选匹配特征点;
潜在匹配对提取单元,用于提取互为最佳匹配点的匹配对作为潜在匹配对,得到所述初始潜在匹配集。
在其中一个实施例中,所述更新模块包括:
欧式变换单元,用于根据所述初始潜在匹配集计算欧式变换矩阵A;
A = R T 0 1 = c o s ( &theta; ) - s i n ( &theta; ) t x s i n ( &theta; ) c o s ( &theta; ) t y 0 0 1
其中,A为所述欧式变换矩阵,R与T分别为根据所述初始潜在匹配集中各潜在匹配对计算得到的旋转矩阵和平移向量,即旋转矩阵R与平移向量T构成所述第一图像和第二图像之间的欧式变换;旋转角度θ为与所述旋转矩阵R对应的角度值,表征所述第一图像与第二图像之间的旋转角度;tx和ty分别表示所述第一图像和第二图像沿水平方向与竖直方向的平移;
第一更新匹配质量值计算单元,用于对所述第一特征集合中各SIFT特征点,根据 s , ( m 1 , m 2 ) = s i f t ( m 1 ) &CenterDot; s i f t ( m 2 ) + &lambda; &Sigma; j s i f t ( m 1 j ) &CenterDot; s i f t ( m 2 j ) exp ( - d i f f / &sigma; ) 计算各SIFT特征点与对应候选匹配集中各候选匹配特征点的更新匹配质量值,获取各SIFT特征点的更新最佳匹配点;
第二更新匹配质量值计算单元,用于对所述第二特征集合中各SIFT特征点,根据 s , ( m 1 , m 2 ) = s i f t ( m 1 ) &CenterDot; s i f t ( m 2 ) + &lambda; &Sigma; j s i f t ( m 1 j ) &CenterDot; s i f t ( m 2 j ) exp ( - d i f f / &sigma; ) 计算各SIFT特征点与对应候选匹配集中各候选匹配特征点的更新匹配质量值,获取各SIFT特征点的更新最佳匹配点;
diff=||A(m1j-m1)-(m2j-m2)||
其中,s’(m1,m2)表示SIFT特征点m1与SIFT特征点m2的更新匹配质量值,m1为一特征集合中的SIFT特征点,m2为另一特征集合中的SIFT特征点,且SIFT特征点m1为SIFT特征点m2的候选匹配特征点,m1j为SIFT特征点m1的邻域特征点,m2j为SIFT特征点m2的邻域特征点,且m1j与m2j构成所述潜在匹配对;sift(m1)、sift(m2)分别为SIFT特征点m1和m2的归一化SIFT描述子,sift(m1j)、sift(m2j)分别为邻域特征点m1j和m2j的归一化SIFT描述子,匹配权值λ为正数,用于权衡SIFT特征点m1和m2的匹配好坏与其邻域集中潜在匹配对的匹配好坏之间的权重,j为对应邻域集中构成所述潜在匹配对的邻域特征点序号,·表示向量点积,(m1j-m1)表示邻域特征点m1j与SIFT特征点m1的坐标相减,(m2j-m2)表示邻域特征点m2j与SIFT特征点m2的坐标相减,A为所述欧式变换矩阵,diff表示A(m1j-m1)与(m2j-m2)的欧式距离,σ用于将diff归一化;SIFT特征点m1为SIFT特征点m2的更新最佳匹配点是指SIFT特征点m1为SIFT特征点m2的候选匹配集合中,与SIFT特征点m2的更新匹配质量值最大的候选匹配特征点;
更新潜在匹配对提取单元,用于提取互为更新最佳匹配点的匹配对作为更新潜在匹配对,得到所述更新潜在匹配集。
在其中一个实施例中,包括迭代更新模块,所述迭代更新模块用于在所述判断模块更新所述初始潜在匹配集及对应的平均匹配质量值之后,控制所述更新模块再次根据所述初始潜在匹配集,及SIFT特征点与各候选匹配特征点的对应邻域集中构成所述潜在匹配对的邻域特征点,计算各所述SIFT特征点与对应候选匹配集中各候选匹配特征点的更新匹配质量值,并提取互为更新最佳匹配点的两SIFT特征点作为更新潜在匹配对,得到更新潜在匹配集之前,迭代更新所述匹配权值,具体为:
&lambda; ( t + 1 ) = &lambda; ( t ) + &dtri; &lambda;
其中,λ(t+1)为所述更新模块第t+1次更新所述初始潜在匹配集及对应的平均匹配质量值前的匹配权值,且当t=0时λ(t)为0,为更新阈值。
上述图像匹配方法及系统,通过获取模块和计算模块得到第一图像和第二图像各SIFT特征点的邻域集、候选匹配集,以及初始潜在匹配集。在对第一图像和第二图像进行匹配时,不但比较SIFT特征点本身,同时考虑到对应邻域集中构成潜在匹配对的邻域特征点的匹配状况。得到更新潜在匹配集后,判断模块判断更新潜在匹配集的平均匹配质量值是否大于初始潜在匹配集的平均匹配质量值,若是则对初始潜在匹配集合及其平均匹配质量值进行更新,然后控制更新模块再次构建更新潜在匹配集进行比较,直至更新潜在匹配集的平均匹配质量值小于初始潜在匹配集的平均匹配质量值,使得最终得到的初始潜在匹配集中所有潜在匹配对为正确匹配对的概率最大,然后通过去除模块去除初始潜在匹配集中的错误匹配对,得到最终匹配对。当第一图像和第二图像存在大量重复特征点时,也可进行有效匹配。
附图说明
图1为一实施例中图像匹配方法的流程图;
图2为图1中分别获取第一图像和第二图像的SIFT特征点,并分别提取各SIFT特征点的邻域特征点和候选匹配特征点,得到各SIFT特征点对应的邻域集和候选匹配集的流程图;
图3为图1中计算各SIFT特征点与对应候选匹配集中候选匹配特征点的匹配质量值,并提取互为最佳匹配点的两SIFT特征点作为潜在匹配对,得到初始潜在匹配集的流程图;
图4为图1中根据初始潜在匹配集,及SIFT特征点与对应的各候选匹配特征点的对应邻域集中构成潜在匹配对的邻域特征点,计算各SIFT特征点与对应候选匹配集中各候选匹配特征点的更新匹配质量值,并提取互为更新最佳匹配点的两SIFT特征点作为更新潜在匹配对,得到更新潜在匹配集的流程图;
图5A、图5B分别为一实施例中第一图像和第二图像的示意图;
图6为对图5A、图5B利用传统的图像匹配方法进行图像匹配得到匹配对的示意图;
图7为对图5A、图5B利用本图像匹配方法进行图像匹配,去除错误匹配对之前匹配对的示意图;
图8A、图8B分别为图7中去除错误匹配对之后的全部匹配对和部分匹配对的示意图;
图9为根据单应变换矩阵对图5A变换后得到图像的示意图。
具体实施方式
图像匹配在计算机视觉、模式识别等领域有着非常广泛的应用,如三维重建、物体识别、运动跟踪和全景图创建等。本发明提供的图像匹配方法及系统,在对第一图像和第二图像进行匹配时,不但比较SIFT特征点本身,同时考虑到对应邻域集中构成潜在匹配对的邻域特征点的匹配状况,得到更新潜在匹配集后,判断更新潜在匹配集的平均匹配质量值是否大于初始潜在匹配集的平均匹配质量值,若是则对初始潜在匹配集合及其平均匹配质量值进行更新,然后再次构建更新潜在匹配集进行比较,直至更新潜在匹配集的平均匹配质量值小于初始潜在匹配集的平均匹配质量值,即使得最终得到的初始潜在匹配集中所有潜在匹配对为正确匹配对的概率最大,然后去除初始潜在匹配集中的错误匹配对,得到最终匹配对。当第一图像和第二图像存在大量重复特征点时,也可进行有效匹配。
下面结合附图对图像匹配方法的具体实施方式进行详细说明。
一种图像匹配方法,如图1所示,包括以下步骤:
步骤S110:分别获取第一图像和第二图像的SIFT特征点,并分别提取各SIFT特征点的邻域特征点和候选匹配特征点,得到各SIFT特征点对应的邻域集和候选匹配集。
邻域特征点为与对应SIFT特征点位于同一图像,且与对应SIFT特征点的欧氏距离小于第一阈值的SIFT特征点;候选匹配特征点为与对应SIFT特征点位于不同的图像,与对应SIFT特征点的欧氏距离小于第二阈值,且两者的归一化SIFT描述子的向量点积大于第三阈值的SIFT特征点。本实施例中获取第一图像和第二图像的SIFT特征点,基于SIFT特征点对第一图像和第二图像进行匹配。在其他实施例中,也可以是获取SIFT、PCA-SIFT、CSIFT、SURF、ASIF等特征点。
如图2所示,步骤S110可包括以下步骤:
步骤S111:分别获取第一图像和第二图像的SIFT特征点,得到第一特征集合和第二特征集合。
获取第一图像中的SIFT特征点,建立第一特征集合,获取第二图像的SIFT特征点,建立第二特征集合。
步骤S112:分别对第一特征集合和第二特征集合建立k-d树,得到第一k-d树和第二k-d树。
k-d树是在k维欧几里德空间组织点的数据结构,是二叉树的一种特殊情况,每个节点都为k维点。k-d树可以使用在多种应用场合,如多维键值搜索等。与其他树结构相比,k-d树在邻域查找上比较有优势,因此常用于数据划分存储,邻域查找等。对第一特征集合和第二特征集合建立第一k-d树和第二k-d树,在后续步骤中,通过第一k-d树和第二k-d树分别对第一特征集合和第二特征集合中各SIFT特征点寻找邻域特征点,更加方便、快捷。
步骤S113:对第一特征集合中各SIFT特征点,提取第一k-d树中满足第一条件的SIFT特征点作为邻域特征点,得到第一特征集合中各SIFT特征点对应的邻域集。
步骤S114:对第二特征集合中各SIFT特征点,提取第二k-d树中满足第一条件的SIFT特征点作为邻域特征点,得到第二特征集合中各SIFT特征点对应的邻域集。
步骤S115:对第一特征集合中各SIFT特征点,提取第二k-d树中满足第二条件的SIFT特征点作为候选匹配特征点,得到第一特征集合中各SIFT特征点对应的候选匹配集。
步骤S116:对第二特征集合中各SIFT特征点,提取第一k-d树中满足第二条件的SIFT特征点作为候选匹配特征点,得到第二特征集合中各SIFT特征点对应的候选匹配集。
具体地,第一条件为:
||m–n||<Tn
其中,m、n为同一特征集合中的SIFT特征点,||m–n||表示SIFT特征点m与n的欧氏距离,Tn为预设的第一阈值。
第二条件为:
||m1–m2||<Td且sift(m1)·sift(m2)>Tc
其中,m1为一特征集合中的SIFT特征点,m2为另一特征集合中的SIFT特征点,||m1–m2||表示SIFT特征点m1与m2的欧氏距离,sift(m1)、sift(m2)分别为特征点m1和m2的归一化SIFT描述子,·表示向量点积,Td、Tc为预设的第二阈值和第三阈值。可以理解,若SIFT特征点m1为SIFT特征点m2的候选匹配特征点,则SIFT特征点m2也必定为SIFT特征点m1的候选匹配特征点,即SIFT特征点m1和m2互为候选匹配特征点。因此,本实施例中,在找到m1的候选匹配特征点m2后,可直接将m1作为m2的候选匹配特征点,可加快图像匹配速度,节省时间。
步骤S120:计算各SIFT特征点与对应候选匹配集中候选匹配特征点的匹配质量值,并提取互为最佳匹配点的两SIFT特征点作为潜在匹配对,得到初始潜在匹配集。
匹配质量值表示两个SIFT特征点为正确匹配对的度量函数,更新匹配质量值越大,两个SIFT特征点为正确匹配对的概率越大。最佳匹配点为候选匹配集中与对应SIFT特征点的匹配质量值最大的候选匹配特征点。
如图3所示,步骤S120可包括以下步骤:
步骤S121:对第一特征集合中各SIFT特征点,计算SIFT特征点与对应候选匹配集中各候选匹配特征点的匹配质量值,获取各SIFT特征点的最佳匹配点。
具体为根据s(m1,m2)=sift(m1)·sift(m2)计算SIFT特征点与对应候选匹配集中各候选匹配特征点的匹配质量值,获取各SIFT特征点的最佳匹配点。
步骤S122:对第二特征集合中各SIFT特征点,计算SIFT特征点与对应候选匹配集中各候选匹配特征点的匹配质量值,获取各SIFT特征点的最佳匹配点。
具体为根据s(m1,m2)=sift(m1)·sift(m2)计算SIFT特征点与对应候选匹配集中各候选匹配特征点的匹配质量值,获取各SIFT特征点的最佳匹配点。
其中,s(m1,m2)表示SIFT特征点m1与SIFT特征点m2的匹配质量值,m1为一特征集合中的SIFT特征点,m2为另一特征集合中的SIFT特征点,且SIFT特征点m1为SIFT特征点m2的候选匹配特征点,sift(m1)、sift(m2)分别为SIFT特征点m1和m2的归一化SIFT描述子,·表示向量点积;SIFT特征点m1为SIFT特征点m2的最佳匹配点是指SIFT特征点m1为SIFT特征点m2的候选匹配集合中,与SIFT特征点m2的匹配质量值最大的候选匹配特征点。
步骤S123:提取互为最佳匹配点的匹配对作为潜在匹配对,得到初始潜在匹配集。
步骤S130:根据初始潜在匹配集,及SIFT特征点与对应的各候选匹配特征点的对应邻域集中构成潜在匹配对的邻域特征点,计算各SIFT特征点与对应候选匹配集中各候选匹配特征点的更新匹配质量值,并提取互为更新最佳匹配点的两SIFT特征点作为更新潜在匹配对,得到更新潜在匹配集。
更新匹配质量值表示两个SIFT特征点为正确匹配对的度量函数,更新匹配质量值越大,两个SIFT特征点为正确匹配对的概率越大。更新最佳匹配点为候选匹配集中与对应SIFT特征点的更新匹配质量值最大的候选匹配特征点。
如图4所示,步骤S130可包括以下步骤:
步骤S131:根据初始潜在匹配集计算欧式变换矩阵A。
A = R T 0 1 = c o s ( &theta; ) - s i n ( &theta; ) t x s i n ( &theta; ) c o s ( &theta; ) t y 0 0 1
其中,A为欧式变换矩阵,R与T分别为根据初始潜在匹配集中各潜在匹配对计算得到的旋转矩阵和平移向量,即旋转矩阵R与平移向量T构成第一图像和第二图像之间的欧式变换;旋转角度θ为与旋转矩阵R对应的角度值,表征第一图像与第二图像之间的旋转角度;tx和ty分别表示第一图像和第二图像沿水平方向与竖直方向的平移。
欧式变换矩阵A的具体计算过程如下:
初始潜在匹配集中各潜在匹配对的坐标分别为(x1i,y1i),(x2i,y2i),i=1,2..n,进行如下计算:
pi=(x1i,y1i,0)T,pi′=(x2i,y2i,0)T
p = 1 n &Sigma; i = 1 n p i , p &prime; = 1 n &Sigma; i = 1 n p i &prime; ;
qi=pi-p,qi′=pi′-p′;
w = &Sigma; i = 1 n q i q i &prime; T ;
对矩阵w进行SVD(Singularvaluedecomposition,奇异值分解)得到w=uΛvT
假定矩阵w为m×n阶矩阵,则矩阵u和v的列分别为wwT和wTw的特征向量,矩阵u为m×m阶酉矩阵;矩阵Λ为m×n阶对角矩阵,沿对角线包含矩阵w的奇异值,vT是矩阵v的转置矩阵,为n×n阶酉矩阵。
若矩阵vuT的行列式det(vuT)=1,则令R′=vuT
若矩阵vuT的行列式det(vuT)=-1,则令v′=[v1v2-v3],其中vi为v的第i列;
此时R′=v′uT,令T′=p′-R′p,矩阵R和T可通过如下形式分块得到,
R &prime; = R 0 0 1 , T &prime; = T 0
最终得到:
A = R T 0 1
步骤S132:对第一特征集合中各SIFT特征点,计算各SIFT特征点与对应候选匹配集中各候选匹配特征点的更新匹配质量值,获取各SIFT特征点的更新最佳匹配点。
具体为根据 s , ( m 1 , m 2 ) = s i f t ( m 1 ) &CenterDot; s i f t ( m 2 ) + &lambda; &Sigma; j s i f t ( m 1 j ) &CenterDot; s i f t ( m 2 j ) exp ( - d i f f / &sigma; ) 计算各SIFT特征点与对应候选匹配集中各候选匹配特征点的更新匹配质量值,获取各SIFT特征点的更新最佳匹配点。
步骤S133:对第二特征集合中各SIFT特征点,计算各SIFT特征点与对应候选匹配集中各候选匹配特征点的更新匹配质量值,获取各SIFT特征点的更新最佳匹配点。
具体为根据 s , ( m 1 , m 2 ) = s i f t ( m 1 ) &CenterDot; s i f t ( m 2 ) + &lambda; &Sigma; j s i f t ( m 1 j ) &CenterDot; s i f t ( m 2 j ) exp ( - d i f f / &sigma; ) 计算各SIFT特征点与对应候选匹配集中各候选匹配特征点的更新匹配质量值,获取各SIFT特征点的更新最佳匹配点。
diff=||A(m1j-m1)-(m2j-m2)||
其中,s’(m1,m2)表示SIFT特征点m1与SIFT特征点m2的更新匹配质量值,m1为一特征集合中的SIFT特征点,m2为另一特征集合中的SIFT特征点,且SIFT特征点m1为SIFT特征点m2的候选匹配特征点,m1j为SIFT特征点m1的邻域特征点,m2j为SIFT特征点m2的邻域特征点,且m1j与m2j构成潜在匹配对;sift(m1)、sift(m2)分别为SIFT特征点m1和m2的归一化SIFT描述子,sift(m1j)、sift(m2j)分别为邻域特征点m1j和m2j的归一化SIFT描述子,匹配权值λ为正数,用于权衡SIFT特征点m1和m2的匹配好坏与其邻域集中潜在匹配对的匹配好坏之间的权重,j为对应邻域集中构成潜在匹配对的邻域特征点序号,与邻域集中构成潜在匹配对的个数对应,例如,若SIFT特征点m1和m2对应邻域集中构成潜在匹配对的个数为n,则序号j的取值依次为1,2,…,n。·表示向量点积,(m1j-m1)表示邻域特征点m1j与SIFT特征点m1的坐标相减,(m2j-m2)表示邻域特征点m2j与SIFT特征点m2的坐标相减,A为欧式变换矩阵,diff表示A(m1j-m1)与(m2j-m2)的欧式距离,σ用于将diff归一化;SIFT特征点m1为SIFT特征点m2的更新最佳匹配点是指SIFT特征点m1为SIFT特征点m2的候选匹配集合中,与SIFT特征点m2的更新匹配质量值最大的候选匹配特征点。
步骤S134:提取互为更新最佳匹配点的匹配对作为更新潜在匹配对,得到更新潜在匹配集。
步骤S140:判断更新潜在匹配集的平均匹配质量值是否大于初始潜在匹配集的平均匹配质量值。
更新潜在匹配集的平均匹配质量值即指更新潜在匹配集中所有更新潜在匹配对的匹配质量值的平均值,初始潜在匹配集的平均匹配质量值即指初始潜在匹配集中潜在匹配对的匹配质量值的平均值。本实施例中可将初始潜在匹配集的平均匹配质量值设置为0。
若更新潜在匹配集的平均匹配质量值大于初始潜在匹配集的平均匹配质量值,则更新初始潜在匹配集及对应的平均匹配质量值,即将初始潜在匹配集及其平均匹配质量值更新为步骤S130中得到的更新初始潜在匹配集及其平均匹配质量值,并返回步骤S130,根据更新后的初始潜在匹配集,及SIFT特征点与各候选匹配特征点的对应邻域集中构成更新后的初始潜在匹配对的邻域特征点,再次计算各SIFT特征点与对应候选匹配集中各候选匹配特征点的更新匹配质量值,并提取互为更新最佳匹配点的两SIFT特征点作为更新潜在匹配对,再次得到更新潜在匹配集。若否,则进行步骤S150。
在其中一个实施例中,步骤S140中更新初始潜在匹配集及对应的平均匹配质量值后,返回步骤S130之前,还可包括对匹配权值进行迭代更新的步骤,具体为:
&lambda; ( t + 1 ) = &lambda; ( t ) + &dtri; &lambda;
其中,λ(t+1)为第t+1次更新初始潜在匹配集及对应的平均匹配质量值前的匹配权值,为更新阈值,且当t=0时λ(t)为0,即匹配权值的初始值λ(1)为因为匹配权值λ是用于权衡两SIFT特征点的匹配好坏与其邻域集中潜在匹配对的匹配好坏之间的权重,其取值需根据实际匹配的图像来决定,因此需要对其进行更新并进行测试,以获取理想的匹配权值。本实施例中可只对匹配权值进行前k次迭代更新,即第k次之后更新阈值为0,以避免匹配权值过大,和k的取值可根据实际情况进行调整。可以理解,若匹配权值的初始值便为较为理想的值,也可不对匹配权值进行迭代更新。
步骤S150:去除初始潜在匹配集中的错误匹配对,得到最终匹配对。
本实施例中可利用第一图像和第二图像的几何约束(如极线几何、仿射变换、单应变换等),通过RANSAC(RANdomSAmpleConsensus,随机抽样一致性)算法去除初始潜在匹配集中的错误匹配对,以几何约束为单应变换为例,利用RANASC算法可以求得一个单应变换矩阵,计算得到的“外点”为错误匹配对,“内点”为正确的匹配对。去除错误匹配对便可得到最终匹配对。
上述图像匹配方法,得到第一图像和第二图像各SIFT特征点的邻域集、候选匹配集,以及初始潜在匹配集后,在对第一图像和第二图像进行匹配时,不但比较SIFT特征点本身,同时考虑到对应邻域集中构成潜在匹配对的邻域特征点的匹配状况,得到更新潜在匹配集后,判断更新潜在匹配集的平均匹配质量值是否大于初始潜在匹配集的平均匹配质量值,若是则对初始潜在匹配集合及其平均匹配质量值进行更新,然后再次构建更新潜在匹配集进行比较,直至更新潜在匹配集的平均匹配质量值小于初始潜在匹配集的平均匹配质量值,使得最终得到的初始潜在匹配集中所有潜在匹配对为正确匹配对的概率最大,然后去除初始潜在匹配集中的错误匹配对,得到最终匹配对。当第一图像和第二图像存在大量重复特征点时,也可进行有效匹配。在解决存在大量重复特征的图像匹配时,不需要求解复杂的非线性优化问题,因而不会带来特别大的计算消耗。
以分辨率均为640×480的第一图像图5A和第二图像图5B为例,第一图像图5A和第二图像图5B包含大量重复特征(例如窗户、墙面上的格框等),提取图像的SIFT特征点,将上述图像匹配方法与传统的图像匹配方法进行比较。
利用传统的图像匹配方法对第一图像图5A和第二图像图5B进行匹配,如图6所示,总共匹配个数为116,并且基本不存在正确的匹配对。
下面利用上述图像匹配方法对第一图像图5A和第二图像图5B进行匹配。
首先分别提取第一图像图5A和第二图像图5B的SIFT特征点,得到第一图像图5A中SIFT特征点个数为1629,第二图像图5B中SIFT特征点个数为2058。
进行参数设置,第一阈值Tn=80,第二阈值Td=80,第三阈值Tc=0.8,利用公式 s , ( m 1 , m 2 ) = s i f t ( m 1 ) &CenterDot; s i f t ( m 2 ) + &lambda; &Sigma; j s i f t ( m 1 j ) &CenterDot; s i f t ( m 2 j ) exp ( - d i f f / &sigma; ) 构建初始潜在匹配集和更新潜在匹配集。
具体为:构建初始潜在匹配集时,取λ为0,计算两SIFT特征点的匹配质量值;构建更新潜在匹配集时,对λ进行迭代更新,计算两SIFT特征点的更新匹配质量值。σ=8,更新阈值且匹配权值λ只在前2次迭代增加。如图7所示,最终得到的PMS(初始潜在匹配集)的潜在匹配对个数为596,迭代过程见表1(迭代次数0表示初始值),可以看到PMS的平均匹配质量值不断增大。
表1
假定第一图像图5A和第二图像图5B之间为单应变换,用RANSAC算法去除错误匹配对后得到的最终匹配对个数为356,如图8A所示,图8B为图8A中部分匹配对的示意图,由图8B可以清楚的观察到匹配的正确性。最终计算出的将第一图像图5A变换到第二图像图5B的单应变换矩阵H为:
H = 0.997043 - 0.027745 - 82.165030 - 0.220594 0.918756 37.892098 - 0.000351 - 0.000075 1.000000
利用求出的单应变换矩阵H对第一图像图5A进行变换,得到的变化图像如图9所示,将图9与第二图像图5B比较,可以看出两者十分相似,说明得到的最终匹配对其匹配正确率非常高。
以上数据证明,相对于传统的图像匹配方法,本发明提供的图像匹配方法及系统不但可以实现重复特征的正确匹配,而且可以得到较多的正确匹配对。
在2.93GHz2-coreCPU和2GBRAM的计算机上运行,本发明提供的图像匹配方法对应C++程序的耗时为5.8441秒,传统图像匹配方法对应C++程序耗时为2.4223秒,比较两个时间可知本发明提供的图像匹配方法并没有带来非常大的额外时间消耗。此外,本发明提供的图像匹配方法得到的正确匹配数目(356个)比传统方法得到的总共匹配数目(116个,并且这116个匹配对中基本没有正确的匹配对)多很多。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像匹配方法,其特征在于,包括以下步骤:
分别获取第一图像和第二图像的SIFT特征点,并分别提取各所述SIFT特征点的邻域特征点和候选匹配特征点,得到各所述SIFT特征点对应的邻域集和候选匹配集;所述邻域特征点为与对应SIFT特征点位于同一图像,且与对应SIFT特征点的欧氏距离小于第一阈值的SIFT特征点;所述候选匹配特征点为与对应SIFT特征点位于不同的图像,与对应SIFT特征点的欧氏距离小于第二阈值,且与对应SIFT特征点的归一化SIFT描述子的向量点积大于第三阈值的SIFT特征点;
计算各所述SIFT特征点与对应候选匹配集中候选匹配特征点的匹配质量值,并提取互为最佳匹配点的两SIFT特征点作为潜在匹配对,得到初始潜在匹配集;所述匹配质量值表示两个SIFT特征点为正确匹配对的度量函数,所述最佳匹配点为所述候选匹配集中与对应SIFT特征点的所述匹配质量值最大的候选匹配特征点;
根据所述初始潜在匹配集,及SIFT特征点与对应的各候选匹配特征点的对应邻域集中构成所述潜在匹配对的邻域特征点,计算各所述SIFT特征点与对应的各候选匹配特征点的更新匹配质量值,并提取互为更新最佳匹配点的两SIFT特征点作为更新潜在匹配对,得到更新潜在匹配集;所述更新匹配质量值表示两个SIFT特征点为正确匹配对的度量函数,所述更新最佳匹配点为所述候选匹配集中与对应SIFT特征点的所述更新匹配质量值最大的候选匹配特征点;
判断所述更新潜在匹配集的平均匹配质量值是否大于所述初始潜在匹配集的平均匹配质量值,若是,则更新所述初始潜在匹配集及对应的平均匹配质量值,并返回所述根据所述初始潜在匹配集,及SIFT特征点与各候选匹配特征点的对应邻域集中构成所述潜在匹配对的邻域特征点,计算各所述SIFT特征点与对应候选匹配集中各候选匹配特征点的更新匹配质量值,并提取互为更新最佳匹配点的两SIFT特征点作为更新潜在匹配对,得到更新潜在匹配集的步骤;
若否,则去除所述初始潜在匹配集中的错误匹配对,得到最终匹配对。
2.根据权利要求1所述的图像匹配方法,其特征在于,所述分别获取第一图像和第二图像的SIFT特征点,并分别提取各所述SIFT特征点的邻域特征点和候选匹配特征点,得到各所述SIFT特征点对应的邻域集和候选匹配集的步骤包括以下步骤:
分别获取所述第一图像和第二图像的SIFT特征点,得到第一特征集合和第二特征集合;
分别对所述第一特征集合和第二特征集合建立k-d树,得到第一k-d树和第二k-d树;
对所述第一特征集合中各SIFT特征点,提取所述第一k-d树中满足第一条件的SIFT特征点作为邻域特征点,得到所述第一特征集合中各SIFT特征点对应的邻域集;
对所述第二特征集合中各SIFT特征点,提取所述第二k-d树中满足所述第一条件的SIFT特征点作为邻域特征点,得到所述第二特征集合中各SIFT特征点对应的邻域集;
对所述第一特征集合中各SIFT特征点,提取所述第二k-d树中满足第二条件的SIFT特征点作为候选匹配特征点,得到所述第一特征集合中各SIFT特征点对应的候选匹配集;
对所述第二特征集合中各SIFT特征点,提取所述第一k-d树中满足所述第二条件的SIFT特征点作为候选匹配特征点,得到所述第二特征集合中各SIFT特征点对应的候选匹配集;
所述第一条件为:
||m–n||<Tn
其中,m、n为同一特征集合中的SIFT特征点,||m–n||表示SIFT特征点m与n的欧氏距离,Tn为预设的第一阈值;
所述第二条件为:
||m1–m2||<Td且sift(m1)·sift(m2)>Tc
其中,m1为一特征集合中的SIFT特征点,m2为另一特征集合中的SIFT特征点,||m1–m2||表示SIFT特征点m1与m2的欧氏距离,sift(m1)、sift(m2)分别为特征点m1和m2的归一化SIFT描述子,·表示向量点积,Td、Tc为预设的第二阈值和第三阈值。
3.根据权利要求2所述的图像匹配方法,其特征在于,所述计算各所述SIFT特征点与对应候选匹配集中候选匹配特征点的匹配质量值,并提取互为最佳匹配点的两SIFT特征点作为潜在匹配对,得到初始潜在匹配集的步骤包括:
对所述第一特征集合中各SIFT特征点,根据s(m1,m2)=sift(m1)·sift(m2)计算SIFT特征点与对应候选匹配集中各候选匹配特征点的匹配质量值,获取各SIFT特征点的最佳匹配点;
对所述第二特征集合中各SIFT特征点,根据s(m1,m2)=sift(m1)·sift(m2)计算SIFT特征点与对应候选匹配集中各候选匹配特征点的匹配质量值,获取各SIFT特征点的最佳匹配点;其中,s(m1,m2)表示SIFT特征点m1与SIFT特征点m2的匹配质量值,m1为一特征集合中的SIFT特征点,m2为另一特征集合中的SIFT特征点,且SIFT特征点m1为SIFT特征点m2的候选匹配特征点,sift(m1)、sift(m2)分别为SIFT特征点m1和m2的归一化SIFT描述子,·表示向量点积;SIFT特征点m1为SIFT特征点m2的最佳匹配点是指SIFT特征点m1为SIFT特征点m2的候选匹配集合中,与SIFT特征点m2的匹配质量值最大的候选匹配特征点;
提取互为最佳匹配点的匹配对作为潜在匹配对,得到所述初始潜在匹配集。
4.根据权利要求2所述的图像匹配方法,其特征在于,所述根据所述初始潜在匹配集,及SIFT特征点与各候选匹配特征点的对应邻域集中构成所述潜在匹配对的邻域特征点,计算各所述SIFT特征点与对应候选匹配集中各候选匹配特征点的更新匹配质量值,并提取互为更新最佳匹配点的两SIFT特征点作为更新潜在匹配对,得到更新潜在匹配集的步骤包括以下步骤:
根据所述初始潜在匹配集计算欧式变换矩阵A;
A = R T 0 1 = c o s ( &theta; ) - s i n ( &theta; ) t x s i n ( &theta; ) cos ( &theta; ) t y 0 0 1
其中,A为所述欧式变换矩阵,R与T分别为根据所述初始潜在匹配集中各潜在匹配对计算得到的旋转矩阵和平移向量,即旋转矩阵R与平移向量T构成所述第一图像和第二图像之间的欧式变换;旋转角度θ为与所述旋转矩阵R对应的角度值,表征所述第一图像与第二图像之间的旋转角度;tx和ty分别表示所述第一图像和第二图像沿水平方向与竖直方向的平移;
对所述第一特征集合中各SIFT特征点,根据 s , ( m 1 , m 2 ) = s i f t ( m 1 ) &CenterDot; s i f t ( m 2 ) + &lambda; &Sigma; j s i f t ( m 1 j ) &CenterDot; s i f t ( m 2 j ) exp ( - d i f f / &sigma; ) 计算各SIFT特征点与对应候选匹配集中各候选匹配特征点的更新匹配质量值,获取各SIFT特征点的更新最佳匹配点;
对所述第二特征集合中各SIFT特征点,根据 s , ( m 1 , m 2 ) = s i f t ( m 1 ) &CenterDot; s i f t ( m 2 ) + &lambda; &Sigma; j s i f t ( m 1 j ) &CenterDot; s i f t ( m 2 j ) exp ( - d i f f / &sigma; ) 计算各SIFT特征点与对应候选匹配集中各候选匹配特征点的更新匹配质量值,获取各SIFT特征点的更新最佳匹配点;
diff||A(m1j-m1)-(m2j-m2)||
其中,s’(m1,m2)表示SIFT特征点m1与SIFT特征点m2的更新匹配质量值,m1为一特征集合中的SIFT特征点,m2为另一特征集合中的SIFT特征点,且SIFT特征点m1为SIFT特征点m2的候选匹配特征点,m1j为SIFT特征点m1的邻域特征点,m2j为SIFT特征点m2的邻域特征点,且m1j与m2j构成所述潜在匹配对;sift(m1)、sift(m2)分别为SIFT特征点m1和m2的归一化SIFT描述子,sift(m1j)、sift(m2j)分别为邻域特征点m1j和m2j的归一化SIFT描述子,匹配权值λ为正数,用于权衡SIFT特征点m1和m2的匹配好坏与其邻域集中潜在匹配对的匹配好坏之间的权重,j为对应邻域集中构成所述潜在匹配对的邻域特征点序号,·表示向量点积,(m1j-m1)表示邻域特征点m1j与SIFT特征点m1的坐标相减,(m2j-m2)表示邻域特征点m2j与SIFT特征点m2的坐标相减,A为所述欧式变换矩阵,diff表示A(m1j-m1)与(m2j-m2)的欧式距离,σ用于将diff归一化;SIFT特征点m1为SIFT特征点m2的更新最佳匹配点是指SIFT特征点m1为SIFT特征点m2的候选匹配集合中,与SIFT特征点m2的更新匹配质量值最大的候选匹配特征点;
提取互为更新最佳匹配点的匹配对作为更新潜在匹配对,得到所述更新潜在匹配集。
5.根据权利要求4所述的图像匹配方法,其特征在于,更新所述初始潜在匹配集及对应的平均匹配质量值之后,返回所述根据所述初始潜在匹配集,及SIFT特征点与各候选匹配特征点的对应邻域集中构成所述潜在匹配对的邻域特征点,计算各所述SIFT特征点与对应候选匹配集中各候选匹配特征点的更新匹配质量值,并提取互为更新最佳匹配点的两SIFT特征点作为更新潜在匹配对,得到更新潜在匹配集的步骤之前,还包括迭代更新所述匹配权值的步骤,具体为:
&lambda; ( t + 1 ) = &lambda; ( t ) + &dtri; &lambda;
其中,λ(t+1)为第t+1次更新所述初始潜在匹配集及对应的平均匹配质量值前的匹配权值,且当t=0时λ(t)为0,为更新阈值。
6.一种图像匹配系统,其特征在于,包括:
获取模块,用于分别获取第一图像和第二图像的SIFT特征点,并分别提取各所述SIFT特征点的邻域特征点和候选匹配特征点,得到各所述SIFT特征点对应的邻域集和候选匹配集;所述邻域特征点为与对应SIFT特征点位于同一图像,且与对应SIFT特征点的欧氏距离小于第一阈值的SIFT特征点;所述候选匹配特征点为与对应SIFT特征点位于不同的图像,与对应SIFT特征点的欧氏距离小于第二阈值,且与对应SIFT特征点的归一化SIFT描述子的向量点积大于第三阈值的SIFT特征点;
计算模块,用于计算各所述SIFT特征点与对应候选匹配集中候选匹配特征点的匹配质量值,并提取互为最佳匹配点的两SIFT特征点作为潜在匹配对,得到初始潜在匹配集;所述匹配质量值表示两个SIFT特征点为正确匹配对的度量函数,所述最佳匹配点为所述候选匹配集中与对应SIFT特征点的所述匹配质量值最大的候选匹配特征点;
更新模块,用于根据所述初始潜在匹配集,及SIFT特征点与对应的各候选匹配特征点的对应邻域集中构成所述潜在匹配对的邻域特征点,计算各所述SIFT特征点与对应候选匹配集中各候选匹配特征点的更新匹配质量值,并提取互为更新最佳匹配点的两SIFT特征点作为更新潜在匹配对,得到更新潜在匹配集;所述更新匹配质量值表示两个SIFT特征点为正确匹配对的度量函数,所述更新最佳匹配点为所述候选匹配集中与对应SIFT特征点的所述更新匹配质量值最大的候选匹配特征点;
判断模块,用于判断所述更新潜在匹配集的平均匹配质量值是否大于所述初始潜在匹配集的平均匹配质量值,若是,则更新所述初始潜在匹配集及对应的平均匹配质量值,并控制所述更新模块再次根据所述初始潜在匹配集,及SIFT特征点与各候选匹配特征点的对应邻域集中构成所述潜在匹配对的邻域特征点,计算各所述SIFT特征点与对应候选匹配集中各候选匹配特征点的更新匹配质量值,并提取互为更新最佳匹配点的两SIFT特征点作为更新潜在匹配对,得到更新潜在匹配集;
去除模块,用于当所述判断模块判断所述更新潜在匹配集的平均匹配质量值小于所述初始潜在匹配集的平均匹配质量值时,去除所述初始潜在匹配集中的错误匹配对,得到最终匹配对。
7.根据权利要求6所述的图像匹配系统,其特征在于,所述获取模块包括:
SIFT特征点获取单元,用于分别获取所述第一图像和第二图像的SIFT特征点,得到第一特征集合和第二特征集合;
k-d树建立单元,用于分别对所述第一特征集合和第二特征集合建立k-d树,得到第一k-d树和第二k-d树;
第一邻域集建立单元,用于对所述第一特征集合中各SIFT特征点,提取所述第一k-d树中满足第一条件的SIFT特征点作为邻域特征点,得到所述第一特征集合中各SIFT特征点对应的邻域集;
第二邻域集建立单元,用于对所述第二特征集合中各SIFT特征点,提取所述第二k-d树中满足所述第一条件的SIFT特征点作为邻域特征点,得到所述第二特征集合中各SIFT特征点对应的邻域集;
第一候选匹配集建立单元,用于对所述第一特征集合中各SIFT特征点,提取所述第二k-d树中满足第二条件的SIFT特征点作为候选匹配特征点,得到所述第一特征集合中各SIFT特征点对应的候选匹配集;
第二候选匹配集建立单元,用于对所述第二特征集合中各SIFT特征点,提取所述第一k-d树中满足所述第二条件的SIFT特征点作为候选匹配特征点,得到所述第二特征集合中各SIFT特征点对应的候选匹配集;
所述第一条件为:
||m–n||<Tn
其中,m、n为同一特征集合中的SIFT特征点,||m–n||表示SIFT特征点m与n的欧氏距离,Tn为预设的第一阈值;
所述第二条件为:
||m1–m2||<Td且sift(m1)·sift(m2)>Tc
其中,m1为一特征集合中的SIFT特征点,m2为另一特征集合中的SIFT特征点,||m1–m2||表示SIFT特征点m1与m2的欧氏距离,sift(m1)、sift(m2)分别为特征点m1和m2的归一化SIFT描述子,·表示向量点积,Td、Tc为预设的第二阈值和第三阈值。
8.根据权利要求7所述的图像匹配系统,其特征在于,所述计算模块包括:
第一匹配质量值计算单元,用于对所述第一特征集合中各SIFT特征点,根据s(m1,m2)=sift(m1)·sift(m2)计算SIFT特征点与对应候选匹配集中各候选匹配特征点的匹配质量值,获取各SIFT特征点的最佳匹配点;
第二匹配质量值计算单元,用于对所述第二特征集合中各SIFT特征点,根据s(m1,m2)=sift(m1)·sift(m2)计算SIFT特征点与对应候选匹配集中各候选匹配特征点的匹配质量值,获取各SIFT特征点的最佳匹配点;其中,s(m1,m2)表示SIFT特征点m1与SIFT特征点m2的匹配质量值,m1为一特征集合中的SIFT特征点,m2为另一特征集合中的SIFT特征点,且SIFT特征点m1为SIFT特征点m2的候选匹配特征点,sift(m1)、sift(m2)分别为SIFT特征点m1和m2的归一化SIFT描述子,·表示向量点积;SIFT特征点m1为SIFT特征点m2的最佳匹配点是指SIFT特征点m1为SIFT特征点m2的候选匹配集合中,与SIFT特征点m2的匹配质量值最大的候选匹配特征点;
潜在匹配对提取单元,用于提取互为最佳匹配点的匹配对作为潜在匹配对,得到所述初始潜在匹配集。
9.根据权利要求7所述的图像匹配系统,其特征在于,所述更新模块包括:
欧式变换单元,用于根据所述初始潜在匹配集计算欧式变换矩阵A;
A = R T 0 1 = c o s ( &theta; ) - s i n ( &theta; ) t x s i n ( &theta; ) c o s ( &theta; ) t y 0 0 1
其中,A为所述欧式变换矩阵,R与T分别为根据所述初始潜在匹配集中各潜在匹配对计算得到的旋转矩阵和平移向量,即旋转矩阵R与平移向量T构成所述第一图像和第二图像之间的欧式变换;旋转角度θ为与所述旋转矩阵R对应的角度值,表征所述第一图像与第二图像之间的旋转角度;tx和ty分别表示所述第一图像和第二图像沿水平方向与竖直方向的平移;
第一更新匹配质量值计算单元,用于对所述第一特征集合中各SIFT特征点,根据 s , ( m 1 , m 2 ) = s i f t ( m 1 ) &CenterDot; s i f t ( m 2 ) + &lambda; &Sigma; j s i f t ( m 1 j ) &CenterDot; s i f t ( m 2 j ) exp ( - d i f f / &sigma; ) 计算各SIFT特征点与对应候选匹配集中各候选匹配特征点的更新匹配质量值,获取各SIFT特征点的更新最佳匹配点;
第二更新匹配质量值计算单元,用于对所述第二特征集合中各SIFT特征点,根据 s , ( m 1 , m 2 ) = s i f t ( m 1 ) &CenterDot; s i f t ( m 2 ) + &lambda; &Sigma; j s i f t ( m 1 j ) &CenterDot; s i f t ( m 2 j ) exp ( - d i f f / &sigma; ) 计算各SIFT特征点与对应候选匹配集中各候选匹配特征点的更新匹配质量值,获取各SIFT特征点的更新最佳匹配点;
diff=||A(m1j-m1)-(m2j-m2)||
其中,s’(m1,m2)表示SIFT特征点m1与SIFT特征点m2的更新匹配质量值,m1为一特征集合中的SIFT特征点,m2为另一特征集合中的SIFT特征点,且SIFT特征点m1为SIFT特征点m2的候选匹配特征点,m1j为SIFT特征点m1的邻域特征点,m2j为SIFT特征点m2的邻域特征点,且m1j与m2j构成所述潜在匹配对;sift(m1)、sift(m2)分别为SIFT特征点m1和m2的归一化SIFT描述子,sift(m1j)、sift(m2j)分别为邻域特征点m1j和m2j的归一化SIFT描述子,匹配权值λ为正数,用于权衡SIFT特征点m1和m2的匹配好坏与其邻域集中潜在匹配对的匹配好坏之间的权重,j为对应邻域集中构成所述潜在匹配对的邻域特征点序号,·表示向量点积,(m1j-m1)表示邻域特征点m1j与SIFT特征点m1的坐标相减,(m2j-m2)表示邻域特征点m2j与SIFT特征点m2的坐标相减,A为所述欧式变换矩阵,diff表示A(m1j-m1)与(m2j-m2)的欧式距离,σ用于将diff归一化;SIFT特征点m1为SIFT特征点m2的更新最佳匹配点是指SIFT特征点m1为SIFT特征点m2的候选匹配集合中,与SIFT特征点m2的更新匹配质量值最大的候选匹配特征点;
更新潜在匹配对提取单元,用于提取互为更新最佳匹配点的匹配对作为更新潜在匹配对,得到所述更新潜在匹配集。
10.根据权利要求9所述的图像匹配系统,其特征在于,包括迭代更新模块,所述迭代更新模块用于在所述判断模块更新所述初始潜在匹配集及对应的平均匹配质量值之后,控制所述更新模块再次根据所述初始潜在匹配集,及SIFT特征点与各候选匹配特征点的对应邻域集中构成所述潜在匹配对的邻域特征点,计算各所述SIFT特征点与对应候选匹配集中各候选匹配特征点的更新匹配质量值,并提取互为更新最佳匹配点的两SIFT特征点作为更新潜在匹配对,得到更新潜在匹配集之前,迭代更新所述匹配权值,具体为:
&lambda; ( t + 1 ) = &lambda; ( t ) + &dtri; &lambda;
其中,λ(t+1)为所述更新模块第t+1次更新所述初始潜在匹配集及对应的平均匹配质量值前的匹配权值,且当t=0时λ(t)为0,为更新阈值。
CN201310196228.8A 2013-05-23 2013-05-23 图像匹配方法和系统 Active CN103279955B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310196228.8A CN103279955B (zh) 2013-05-23 2013-05-23 图像匹配方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310196228.8A CN103279955B (zh) 2013-05-23 2013-05-23 图像匹配方法和系统

Publications (2)

Publication Number Publication Date
CN103279955A CN103279955A (zh) 2013-09-04
CN103279955B true CN103279955B (zh) 2016-03-09

Family

ID=49062462

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310196228.8A Active CN103279955B (zh) 2013-05-23 2013-05-23 图像匹配方法和系统

Country Status (1)

Country Link
CN (1) CN103279955B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102149274B1 (ko) * 2013-11-29 2020-08-28 한화테크윈 주식회사 특징점 매칭을 이용한 영상매칭 방법
CN105719272B (zh) * 2014-12-05 2020-07-10 航天信息股份有限公司 保持空间结构的图像特征点匹配方法
CN105184327B (zh) * 2015-10-30 2018-10-23 上海海事大学 一种基于顶点三分策略的遥感图像特征点匹配方法
CN106127755A (zh) * 2016-06-21 2016-11-16 奇瑞汽车股份有限公司 基于特征的图像匹配方法和装置
CN106910210B (zh) * 2017-03-03 2018-09-11 百度在线网络技术(北京)有限公司 用于生成图像信息的方法和装置
CN107610120B (zh) * 2017-09-27 2019-08-20 武汉大学 一种多尺度建筑物面实体匹配方法及系统
CN110728296B (zh) * 2019-09-03 2022-04-05 华东师范大学 一种加速特征点匹配的两步随机抽样一致性方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101388115A (zh) * 2008-10-24 2009-03-18 北京航空航天大学 一种结合纹理信息的深度图像自动配准方法
CN101916445A (zh) * 2010-08-25 2010-12-15 天津大学 一种基于仿射参数估计的图像配准方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101388115A (zh) * 2008-10-24 2009-03-18 北京航空航天大学 一种结合纹理信息的深度图像自动配准方法
CN101916445A (zh) * 2010-08-25 2010-12-15 天津大学 一种基于仿射参数估计的图像配准方法

Also Published As

Publication number Publication date
CN103279955A (zh) 2013-09-04

Similar Documents

Publication Publication Date Title
CN103279955B (zh) 图像匹配方法和系统
Ma et al. Robust feature matching for remote sensing image registration via locally linear transforming
Arrigoni et al. Robust synchronization in SO (3) and SE (3) via low-rank and sparse matrix decomposition
CN102254154B (zh) 一种基于三维模型重建的人脸身份认证方法
CN104182973A (zh) 基于圆形描述算子csift的图像复制粘贴检测方法
CN102661708B (zh) 一种基于surf的高密度封装元器件定位方法
CN103606170B (zh) 基于彩色尺度不变的街景影像特征检测与匹配方法
CN103727930A (zh) 一种基于边缘匹配的激光测距仪与相机相对位姿标定方法
CN104167000B (zh) 一种仿射不变的宽基线图像密集匹配方法
CN112070832B (zh) 基于点云dca特征的非合作目标位姿跟踪方法及装置
Ma et al. Mismatch removal via coherent spatial mapping
Beksi et al. Object classification using dictionary learning and rgb-d covariance descriptors
Probst et al. Unsupervised learning of consensus maximization for 3D vision problems
CN105760879A (zh) 基于傅里叶梅林变换的图像几何匹配方法
CN103729882A (zh) 一种基于三维曲线匹配的点云相对位姿估计方法
CN111664845B (zh) 交通标志定位、视觉地图制作方法及装置、定位系统
CN117132630A (zh) 一种基于二阶空间兼容性度量的点云配准方法
Zhao et al. Probabilistic spatial distribution prior based attentional keypoints matching network
CN114648445B (zh) 一种基于特征点提取及精配准优化的多视角高分辨率点云拼接方法
CN105654479A (zh) 多光谱图像配准方法和装置
CN106651756B (zh) 一种基于sift和验证机制的图像配准方法
CN109447172A (zh) 一种激光芯片缺陷图像的特征提取技术
CN111127667B (zh) 基于区域曲率二进制描述符的点云初始配准方法
Trottier et al. Sparse dictionary learning for identifying grasp locations
CN104361573A (zh) 融合颜色信息和全局信息的sift特征匹配算法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant