CN101976256A - 点特征图像配准中的双重最近邻优先搜索方法 - Google Patents

Abstract

本发明提供一种点特征图像配准中的双重最近邻优先搜索方法，其特征在于：该方法包括：A、读取基图，提取基图的尺度不变特征变换(SIFT)点特征，组成基图的特征向量空间Θ_Left；B、读取待匹配图，提取待匹配图的尺度不变特征变换(SIFT)点特征，组成待匹配图的特征向量空间Θ_Right；C、利用基图的特征向量空间Θ_Left建立标准的k-d树kdTree_Left，利用待匹配图的特征向量空间Θ_Right建立标准的k-d树kdTree_Right；D、在待匹配图的特征向量空间Θ_Right中取出特征向量T_Right；E、利用最邻近优先搜索算法，本发明可广泛的应用在图像特征匹配领域。

Description

点特征图像配准中的双重最近邻优先搜索方法

技术领域

本发明涉及图像特征匹配领域，尤其涉及点特征图像配准中的双重最近邻优先搜索方法。

背景技术

基于特征的图像匹配方法是图像配准中很重要的一类方法，此类方法的主要流程如下：首先对两幅图像进行特征提取得到特征点；通过进行相似性度量找到匹配的特征点对；然后通过匹配的特征点对得到图像空间坐标变换参数；最后由坐标变换参数进行图像配准。

特征提取和匹配是图像配准技术中的关键。基于尺度不变特征变换(Scale Invariant Features Transform，SIFT)点特征的图像配准方法是近年来研究得较广泛的一种基于特征的图像配准方法。SIFT算法是David Lowe于2004年正式完整提出的一种图像局部特征描述算法，SIFT点特征是基于图像金字塔的多尺度极值点检测并采用极值点邻域的梯度方向直方图进行描述的一种图像局部特征。它对于图像的尺度缩放、旋转、平移以及一定程度的仿射和光照变化具有良好的不变性，其建议SIFT特征向量为128维。在特征匹配中，一般采用欧式距离、马氏距离以及标准k-d树搜索等相似性度量方法。最近邻优先(Best Bin First，BBF)搜索算法是Jeffrey S.Beis和David Lowe于1997年提出的一种针对标准k-d树搜索算法回溯次多、耗时长等缺点而改进的算法，它保证在接近标准k-d树搜索算法的配准率的基础上大幅度减少匹配耗时。

在k-d树中，每一节点都有一个超矩形，且节点在超矩形里面。超矩形是一个向量空间，其维数与特征空间的维数相同，空间里的每一维分量都在一个区间范围内。兄弟节点的超矩形中只有某一维的分量区间不同，但却是相邻的，比如左兄弟节点的某一维向量区间为(0，100]，右兄弟节点的相同维的向量区间为(100，200]，其余所有维的分量区间都相同。父亲节点的超矩形是两个儿子的超矩形所组合而成的。

标准k-d树搜索算法(作者：Jon Louis Bentley.文章名：Multidimensional binary search trees used for associativesearching.杂志：Communications of the ACM(Association forComputing Machinery)，18(9)：509517，1975.)在算法回溯时，需要在兄弟节点所在的相邻超矩形里检查是否含有离目标更近特征向量，这大大增加算法时间。BBF搜索算法(作者：Jeffrey S.Beis andDavid G.Lowe.文章名：Shape indexing using approximatenearest-neighbor search in high dimensional spaces；期刊：Proceedings of the IEEE Conference on Computer Vision andPattern Recognition，pages 1000-1006，1997)是在标准k-d树搜索算法在算法回溯前，先计算目标向量与相邻超矩形的距离，而且按从近到远的顺序将这些超矩形排序，然后在算法回溯时，则依次从最近超矩形起搜索比较。另外，BBF搜索算法限制相邻超矩形的数目(SearchStep)。BBF搜索算法图像配准率，随着SearchStep增加而提高，当SearchStep大到一定数时，BBF的配准率与标准k-d树搜索算法的配准率相等。虽然BBF搜索算法效率有很大提高，但配准率没有提高。

双重最近邻优先(Double Best Bin First，DBBF)搜索方法是BBF搜索算法上增加匹配验证功能。在特征匹配过程中，分别建立基图和待配准图的k-d树，特征匹配在这两棵k-d树上进行。DBBF搜索方法的配准率比BBF搜索算法有较大的提高，原因是它在BBF搜索算法匹配结果中再次利用BBF搜索算法去除一些不正确的匹配对。DBBF搜索方法与标准k-d树搜索算法相比，匹配率和效率都有很大的提高。

发明内容

本发明所解决的技术问题是提供匹配率高和效率高的点特征图像配准中的双重最近邻优先搜索方法。

本发明所采用的技术方案是：点特征图像配准中的双重最近邻优先搜索方法，其特征在于：该方法包括：

A、读取基图，提取基图的尺度不变特征变换(SIFT)点特征，组成基图的特征向量空间Θ_Left；

B、读取待匹配图，提取待匹配图的尺度不变特征变换(SIFT)点特征，组成待匹配图的特征向量空间Θ_Right；

采用SIFT点特征，其匹配性能明显高于同类型的局部特征；

C、利用基图的特征向量空间Θ_Left建立标准的k-d树kdTree_Left，利用待匹配图的特征向量空间Θ_Right建立标准的k-d树kdTree_Right；

D、在待匹配图的特征向量空间Θ_Right中取出一特征向量T_Right；

E、利用最邻近优先搜索算法，在基图的k-d树kdTree_Left中分别找出与特征向量T_Right距离最近的特征向量T-Left_Nearest和与特征向量T-Right距离次近的特征向量T-Left_Nearer；

F、判断

的比值，若比值大于0.8，则认为在基图的特征向量空间Θ_Left中没有与特征向量T_Right相匹配的特征向量，转至步骤I；若比值小于0.8，转至步骤G；

其中：

T_Right[k]表示特征向量T_Right中的第k维分量；

T_Left_Nearest[k]表示特征向量T_Left_Nearest中的第k维分量；

T_Left_Nearer[k]表示特征向量T_Left_Nearer中的第k维分量；

k＝0，1，...，127；

G、利用最邻近优先搜索算法，在待匹配图的特征向量空间Θ_Right建立的标准的k-d树kdTree_Right中找出与特征向量T_Left_Nearest最近距离的特征向量T_Right’；

H、判断特征向量T_Right与特征向量T_Right’是否相同，若特征向量T_Right与特征向量T_Right’不同，则认为在基图的特征向量空间Θ_Left中没有与特征向量T_Right相匹配的特征向量，转至步骤I；若特征向量T_Right与特征向量T_Right’相同，则特征向量T_Right和特征向量T_Left_Nearest成为一对匹配；

I、判断待匹配图的特征向量空间Θ_Right中的特征向量是否取完，若待匹配图的特征向量空间Θ_Right中的特征向量取完，则方法停止，否则转至步骤D。

根据本发明所述的点特征图像配准中的双重最近邻优先搜索方法的优选方案，所述利用基图的特征向量空间Θ_Left建立标准的k-d树的方法包括：

C1、制定k-d树节点分辨器的原则

利用基图的特征向量空间Θ_Left，Θ_Left＝{T₁，T₂，...，T_N}，其中，每个特征向量T_i的维数为128，i＝1，2，...，N；遍历特征向量空间Θ_Left，找出每一维的最大值max(T_i[k])＝max_k和最小值min(T_i[k])＝min_k，其中k＝0，1，...，127；计算每一维的最大值max_k与最小值min_k的差值

Dist_k＝max_k-min_k，(1)

然后找出其中最大的差值

Dist_max＝max(Dist₀，Dist₁，...，Dist₁₂₇)，(2)

根据(2)式得出Dist_max所对应的k，其中，k叫做分辨维；然后在基图的特征向量空间Θ_Left中找出特征向量T_i，特征向量T_i必须满足条件：

min(|T_i[k]-(max_k+min_k)/2|)，(3)

其中，T_i[k]表示特征向量T_i在分辨维k的分量值；i＝1，2，...，N；C2、构造k-d树

C21、将在基图的特征向量空间Θ_Left中找出符合分辨器原则的特征向量T_i作为k-d树的根节点，然后在基图的特征向量空间Θ_Left中去掉T_i，并遍历基图的特征向量空间Θ_Left：

如果特征向量T_j在分辨维k的分量值T_j[k]小于等于特征向量Ti在分辨维k的分量值T_i[k]，即T_j[k]≤T_i[k]，其中，j＝1，2，...，N，k＝0，1，...，127，且j≠i，则把特征向量T_j放在根节点左边，进入步骤C22；如果特征向量T_j在分辨维k的分量值T_j[k]大于特征向量T_i在分辨维k的分量值T_i[k]，则把特征向量T_j放在根节点右边，进入步骤C23；

C22、将放在根节点左边的特征向量T_j组成一个新的特征向量空间，利用上述比较分辨维对应特征向量的分量方法，找出新根节点作为k-d树根节点的左子根节点，再建立一个新k-d树，新k-d树是当前根节点的子树，进入步骤C24；

C23、将放在根节点右边的特征向量T_j组成一个新的特征向量空间，利用上述比较分辨维对应特征向量的分量方法，找出新根节点作为k-d树根节点的右子根节点，再建立一个新k-d树，新k-d树是当前根节点的子树；

C24、判断基图的特征向量空间Θ_Left中的特征向量是否都被包含到k-d树中，当特征向量空间Θ_Left中的特征向量还没有全部都被包含到k-d树中时，返回步骤C21；当特征向量空间Θ_Left中的特征向量全部都被包含到k-d树中时，结束构造k-d树。

一个好的分辨器有助于生成平衡的k-d树，平衡的k-d树可明显提高搜索效率。

本发明所述的点特征图像配准中的双重最近邻优先搜索方法的有益效果是：双重最近邻优先搜索方法DBBF在BBF搜索算法上增加匹配验证功能，在特征匹配过程中，分别建立基图和待配准图的k-d树，特征匹配在这两棵k-d树上进行，同时，由于在BBF搜索算法匹配结果中再次利用BBF搜索算法去除一些不正确的匹配对，使双重最近邻优先搜索方法DBBF的配准率比BBF搜索算法有较大的提高，并且双重最近邻优先搜索方法DBBF与标准k-d树搜索算法相比，匹配率和效率都有很大的提高；可广泛的应用在图像特征匹配领域。

附图说明

以下将结合附图对本发明的实施例作进一步的说明。

图1是图像配准算法部分流程图。

图2是提取图像SIFT特征的算法流程图。

图3是DBBF搜索方法流程图。

图4是将基图旋转15度作为待配准图的配准率比较图。

图5是将基图旋转45度作为待配准图的配准率比较图。

图6是将基图旋转75度作为待配准图的配准率比较图。

图7是将基图旋转15度作为待配准图的耗时比较图。

图8是将基图旋转45度作为待配准图的耗时比较图。

图9是将基图旋转75度作为待配准图的耗时比较图。

具体实施方式

参见图1，点特征图像配准中的双重最近邻优先搜索方法，其特征在于：该方法包括：

A、读取基图，提取基图的尺度不变特征变换(SIFT)点特征，组成基图的特征向量空间Θ_Left；

B、读取待匹配图，提取待匹配图的尺度不变特征变换(SIFT)点特征，组成待匹配图的特征向量空间Θ_Right；

其中，在步骤A、B中，提取图像的SIFT点特征的主要流程如图2所示；

C、利用基图的特征向量空间Θ_Left建立标准的k-d树kdTree_Left，利用待匹配图的特征向量空间Θ_Right建立标准的k-d树kdTree_Right；

其中，所述利用基图的特征向量空间Θ_Left建立标准的k-d树的方法包括：

C1、制定k-d树节点分辨器的原则

利用基图的特征向量空间Θ_Left，ΘLeft＝{T₁，T₂，...，T_N}，其中，每个特征向量T_i的维数为128，i＝1，2，...，N；遍历特征向量空间Θ_Left，找出每一维的最大值max(T_i[k])＝max_k和最小值min(T_i[k])＝min_k，其中k＝0，1，...，127；计算每一维的最大值max_k与最小值min_k的差值

Dist_k＝max_k-min_k，(1)

然后找出其中最大的差值

Dist_max＝max(Dist₀，Dist₁，...，Dist₁₂₇)，(2)

根据(2)式得出Dist_max所对应的k，其中，k叫做分辨维；然后在基图的特征向量空间Θ_Left中找出特征向量T_i，特征向量T_i必须满足条件：

min(|T_i[k]-(max_k+min_k)/2|)，(3)

其中，T_i[k]表示特征向量T_i在分辨维k的分量值；i＝1，2，...，N；C2、构造k-d树：

C21、将在基图的特征向量空间Θ_Left中找出符合分辨器原则的特征向量T_i作为k-d树的根节点，然后在基图的特征向量空间Θ_Left中去掉T_i，并遍历基图的特征向量空间Θ_Left：

如果特征向量T_j在分辨维k的分量值T_j[k]小于等于特征向量T_i在分辨维k的分量值T_i[k]，即T_j[k]≤T_i[k]，其中，j＝1，2，...，N，k＝0，1，...，127，且j≠i，则把特征向量T_j放在根节点左边，进入步骤C22；如果特征向量T_j在分辨维k的分量值T_j[k]大于特征向量T_i在分辨维k的分量值T_i[k]，则把特征向量T_j放在根节点右边，进入步骤C23；

C22、将放在根节点左边的特征向量T_j组成一个新的特征向量空间，利用上述比较分辨维对应特征向量的分量方法，找出新根节点作为k-d树根节点的左子根节点，再建立一个新k-d树，新k-d树是当前根节点的子树，进入步骤C24；

C23、将放在根节点右边的特征向量T_j组成一个新的特征向量空间，利用上述比较分辨维对应特征向量的分量方法，找出新根节点作为k-d树根节点的右子根节点，再建立一个新k-d树，新k-d树是当前根节点的子树；

C24、判断基图的特征向量空间Θ_Left中的特征向量是否都被包含到k-d树中，当特征向量空间Θ_Left中的特征向量还没有全部都被包含到k-d树中时，返回步骤C21；当基图的特征向量空间Θ_Left中的特征向量全部都被包含到k-d树中时，结束构造k-d树。

利用待匹配图的特征向量空间Θ_Right建立标准的k-d树kdTree_Right的方法同利用基图的特征向量空间Θ_Left建立标准的k-d树的方法，在此不累述；

D、在待匹配图的特征向量空间Θ_Right中取出一特征向量T_Right；

E、利用最邻近优先搜索算法BBF，在基图的k-d树kdTree_Left中分别找出与特征向量T_Right距离最近的特征向量T_Left_Nearest和与特征向量T_Right距离次近的特征向量T_Left_Nearer；

F、判断

的比值，若比值大于0.8，则认为在基图的特征向量空间Θ_Left中没有与特征向量T_Right相匹配的特征向量，转至步骤I；若比值小于0.8，转至步骤G；

其中：

T_Right[k]表示特征向量T_Right中的第k维分量；

T_Left_Nearest[k]表示特征向量T_Left_Nearest中的第k维分量；

T_Left_Nearer[k]表示特征向量T_Left_Nearer中的第k维分量；

k＝0，1，...，127；

G、利用最邻近优先搜索算法BBF，在待匹配图的特征向量空间Θ_Right建立的标准的k-d树kdTree_Right中找出与特征向量T_Left_Nearest最近距离的特征向量T_Right’；

H、判断特征向量T_Right与特征向量T_Right’是否相同，若特征向量T_Right与特征向量T_Right’不同，则认为在基图的特征向量空间Θ_Left中没有与特征向量T_Right相匹配的特征向量，转至步骤I；若特征向量T_Right与特征向量T_Right’相同，则特征向量T_Right和特征向量T_Left_Nearest成为一对匹配；

I、判断待匹配图的特征向量空间Θ_Right中的特征向量是否取完，若待匹配图的特征向量空间Θ_Right中的特征向量取完，则方法停止，否则转至步骤D；其中，步骤D至步骤I的方法流程如图3所示；

J、显示匹配结果。

本发明所述的点特征图像配准中的双重最近邻优先搜索方法DBBF在BBF搜索算法上增加匹配验证功能，在BBF搜索算法匹配结果中去除一些不正确的匹配，使匹配率有较大的提高，本发明所述的双重最近邻优先搜索方法DBBF与标准的k-d树搜索算法相比，匹配率和效率都有很大的提高。

下面结合图4至图9具体说明采用不同算法进行图像配准的实验结果：

实验将一幅256*256大小的灰度图像作为基图，在基图的(50，50)位置截取大小为151*201，并分别旋转15、45、75度的图作为待配准图，将所得到的三张待配准图分别和基图做配准实验，每次实验中，采用BBF搜索算法和采用DBBF搜索方法中的相邻超矩形的数目SearchStep从1到20依次取值，分别做20次配准。另外再采用遍历搜索算法和标准k-d树搜索算法做配准，比较配准所用的时间和配准率，并显示其结果。图4、5、6是三个配准实验的配准率比较图，图7、8、9是三个配准实验的耗时比较图，从三个实验结果中可以得出以下结论：

1、DBBF搜索方法的配准率最高，标准k-d树搜索算法次之，BBF和遍历搜索算法最低；

2、在相同的相邻超矩形的数目SearchSteps的情况下，DBBF搜索方法比BBF搜索算法的配准率高出10-30％；

3、随着相邻超矩形的数目SearchSteps的增大，BBF搜索算法的配准率越来越接近标准k-d树搜索算法；

4、在相同的相邻超矩形的数目SearchSteps的情况下，DBBF搜索方法比BBF搜索算法的耗时约多，但是与标准k-d树和遍历搜索算法耗时相比，依然很少。

Claims (2)

1.点特征图像配准中的双重最近邻优先搜索方法，其特征在于：该方法包括：

A、读取基图，提取基图的尺度不变特征变换(SIFT)点特征，组成基图的特征向量空间Θ_Left；

B、读取待匹配图，提取待匹配图的尺度不变特征变换(SIFT)点特征，组成待匹配图的特征向量空间Θ_Right；

C、利用基图的特征向量空间Θ_Left建立标准的k-d树kdTree_Left，利用待匹配图的特征向量空间Θ_Right建立标准的k-d树kdTree_Right；

D、在待匹配图的特征向量空间Θ_Right中取出特征向量T_Right；

E、利用最邻近优先搜索算法，在基图的k-d树kdTree_Left中分别找出与特征向量T_Right距离最近的特征向量T_Left_Nearest和与特征向量T_Right距离第二近的特征向量T_Left_Nearer；

F、判断的比值，若比值大于0.8，则认为在基图的特征向量空间Θ_Left中没有与特征向量T_Right相匹配的特征向量，转至步骤I；若比值小于0.8，转至步骤G；

其中：

T_Right[k]表示特征向量T_Right中的第k维分量；

T_Left_Nearest[k]表示特征向量T_Left_Nearest中的第k维分量；

T_Left_Nearer[k]表示特征向量T_Left_Nearer中的第k维分量；

k＝0，1，...，127；

G、利用最邻近优先搜索算法，在待匹配图的特征向量空间Θ_Right建立的标准的k-d树kdTree_Right中找出与特征向量T_Left_Nearest最近距离的特征向量T_Right’；

H、判断特征向量T_Right与特征向量T_Right’是否相同，若特征向量T_Right与特征向量T_Right’不同，则认为在基图的特征向量空间Θ_Left中没有与特征向量T_Right相匹配的特征向量，转至步骤I；若特征向量T_Right与特征向量T_Right’相同，则特征向量T_Right和特征向量T_Left_Nearest成为一对匹配；

I、判断待匹配图的特征向量空间Θ_Right中的特征向量是否取完，若待匹配图的特征向量空间Θ_Right中的特征向量取完，则方法停止，否则转至步骤D。

2.根据权利要求1所述的点特征图像配准中的双重最近邻优先搜索方法，其特征在于：所述利用基图的特征向量空间Θ_Left建立标准的k-d树的方法包括：

C1、制定k-d树节点分辨器的原则

利用基图的特征向量空间Θ_Left，Θ_Left＝{T₁，T₂，...，T_N}，其中，每个特征向量T_i的维数为128，i＝1，2，...，N；遍历特征向量空间Θ_Left，找出每一维的最大值max(T_i[k])＝max_k和最小值min(T_i[k])＝min_k，其中k＝0，1，...，127；计算每一维的最大值max_k与最小值min_k的差值

Dist_k＝max_k-min_k，     (1)

然后找出其中最大的差值

Dist_max＝max(Dist₀，Dist₁，...，Dist₁₂₇)，  (2)

根据(2)式得出Dist_max所对应的k，其中，k叫做分辨维；然后在基图的特征向量空间Θ_Left中找出特征向量T_i，特征向量T_i必须满足条件：

min(|T_i[k]-(max_k+min_k)/2|)，(3)

其中，T_i[k]表示特征向量T_i在分辨维k的分量值；i＝1，2，...，N；C2、构造k-d树

C21、将在基图的特征向量空间Θ_Left中找出符合分辨器原则的特征向量T_i作为k-d树的根节点，然后在基图的特征向量空间Θ_Left中去掉T_i，并遍历基图的特征向量空间Θ_Left：

如果特征向量T_i在分辨维k的分量值T_i[k]小于等于特征向量T_i在分辨维k的分量值T_i[k]，即T_j[k]≤T_i[k]，其中，j＝1，2，...，N，k＝0，1，...，127，且j≠i，则把特征向量T_j放在根节点左边，进入步骤C22；如果特征向量T_j在分辨维k的分量值T_j[k]大于特征向量T_i在分辨维k的分量值T_i[k]，则把特征向量T_j放在根节点右边，进入步骤C23；

C22、将放在根节点左边的特征向量T_j组成一个新的特征向量空间，利用上述比较分辨维对应特征向量的分量方法，找出新根节点作为k-d树根节点的左子根节点，再建立一个新k-d树，新k-d树是当前根节点的子树，进入步骤C24；

C23、将放在根节点右边的特征向量T_j组成一个新的特征向量空间，利用上述比较分辨维对应特征向量的分量方法，找出新根节点作为k-d树根节点的右子根节点，再建立一个新k-d树，新k-d树是当前根节点的子树；

C24、判断基图的特征向量空间Θ_Left中的特征向量是否都被包含到k-d树中，当特征向量空间Θ_Left中的特征向量还没有全部都被包含到k-d树中时，返回步骤C21；当基图的特征向量空间Θ_Left中的特征向量全部都被包含到k-d树中时，结束构造k-d树。

Images