CN107169999A - 基于融合特征的sift配准算法 - Google Patents

Abstract

SIFT(Scale Invariant Feature Transform)即为尺度不变特征变换，它是一种鲁棒性良好的配准算法，但其丢失了图像的颜色特征，因此对于彩色图像的配准效果不佳。为此，提出了一种基于融合特征的SIFT配准算法。该算法首先利用彩色图像的颜色不变量和DLBP(Double Local Binary Pattern)纹理特征构造融合特征灰度图，并提出了一种基于彩色图像颜色直方图的自适应方法来调节融合特征的权重；然后，利用SIFT算法在融合特征灰度图上进行特征点的提取与匹配；最后，使用改进的RANSAC(Random Sample Consensus)算法去除误匹配点。实验结果表明：对于彩色图像，此算法有效地增加了提取的特征点数，并加快了配准速率。

Description

基于融合特征的SIFT配准算法

技术领域

本发明涉及的是一种图像处理技术领域的方法，具体是一种基于融合特征的SIFT配准算法。

背景技术

图像配准是图像处理和计算机视觉领域中的热点问题，稳定、准确的图像配准有利于图像信息的后续研究。图像匹配方法大致可以分三类：基于图像灰度的匹配、基于特征的匹配和基于变换域的匹配。由于局部特征匹配不直接依赖于灰度，具有较强的抗干扰性，计算量小，速度快，尺度不变，成为近些年研究的重点。通过实验对几种代表性的局部特征算法进行了性能评估，结果表明：SIFT算法为相对性能较好的局部特征算法。

SIFT算法主要包括特征点提取、特征点描述和利用特征点描述向量进行配准三个部分。SIFT算法首先在尺度空间进行特征检测，并确定特征点的位置和特征点所处的尺度，然后使用特征点邻域梯度的主方向作为该特征点的方向特征，以实现算子对尺度和方向的无关性。

由于传统SIFT算法的特征点是在灰度图像上提取的，丢失了图像的颜色特征，因此对于彩色图像的配准效果不佳。由于颜色不变量保留了彩色图像的颜色信息，图像的配准效果显著增强。但是，对于颜色比较单一的彩色图像，颜色不变量特征变化不明显，从而导致提取的特征点数量减少，影响配准效果。

发明内容

针对现有技术存在的不足，本发明在颜色不变量的基础上，增加了彩色图像的DLBP纹理特征，构造融合特征灰度图，并提出了一种基于彩色图像颜色直方图的自适应方法来调节融合特征的权重。同时，针对RANSAC算法计算量大的缺点，提出了一种改进的RANSAC算法，在一定程度上减少了程序计算量，提高了算法的配准效率。发明内容流程图如图1所示，本发明主要包括以下几个步骤：

第一步，输入参考图像和待匹配图像。

第二步，分别计算两幅图像的颜色不变量和DLBP纹理特征，并进行归一化。

第三步，通过彩色图像颜色直方图的标准差计算自适应权重值，并构建融合特征灰度图。

第四步，计算融合特征灰度图的积分图像。

第五步，用SIFT算法进行特征点提取与配准。

第六步，使用改进的RANSAC算法去除误匹配点。

附图说明

图1发明内容流程图；

图2匹配结果图；

图3不同光照亮度下的σ值。

具体实施方式

下面对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和过程，但本发明的保护范围不限于下述的实施例。

本实施例选取颜色较为单一的齿轮图像。首先求得图像的颜色不变量和DLBP纹理特征以后，就可以构造融合特征灰度图，灰度值由以下公式给出：

I(x,y)＝(1-σ)H(x,y)+σDLBP(x_c,y_c)

I(x,y)表示融合特征灰度值，σ表示取值在[0,1]的数。通过调节参数σ就可以改变两种特征对融合特征灰度值的影响程度。

此外，针对不同彩色图像的特点，提出了一种自适应的方法，自动调节σ的值。以下为自适应方法的具体流程：分别将彩色图像的R、G、B三个通道分量平均分为8个区间，每个区间可以存放32个数，即0-31，32-63，…，224-255；每个R、G、B值除以32映射到相应的区间，即0-31为第1区间，32-63为第2区间等等；则彩色图像转化为一维总共8*8*8＝512个区间。σ的值可以通过以下公式计算：

式中，N为图像的像素总数，X_i为各个区间的像素点数目，S为标准差，S_max为最大标准差。S_max在图像为单色图像时取得，此时所有像素点都集中在一个区间，其它区间像素点个数为0，标准差取得最大值。标准差S越小，则图像的颜色变化越明显，σ值也越小。

计算得出融合特征灰度图的积分图像后，用SIFT算法进行特征点提取与配准，最后采用改进的RANSAC算法去除误匹配点。传统的RANSAC算法计算变换矩阵H的步骤总结如下：

第一步，确定最大循环次数k和残差阈值θ，特征点的匹配对数记作m。

第二步，从匹配点集中随机选取4对特征点，计算变换矩阵H。

第三步，待匹配图像上剩余的配对点，记作(x_b,y_b)(b＝1,2,...,m-4)；计算待匹配图像上的剩余配对点在变换矩阵H下的映射，记作(x_b',y_b')(b＝1,2,...,m-4)。

第四步，计算(x_b',y_b')到实际配对点(x_i,y_i)的距离，记作S_i(i＝1,2,...,m-4)，若S_i<θ，则该点为内点，计算所有内点的总数，记作n_i(i＝1,2,...,k)。

第五步，重复第二步到第四步，直到达到迭代上限k，找出第四步中最大的n_i，则取得最大的n_i时的变换矩阵H为最优估计模型。

传统的RANSAC算法在每个循环中，都需要计算待匹配图像上所有配对点在变换矩阵H下的映射(x_b',y_b')，以及(x_b',y_b')到参考图像上实际配对点(x_i,y_i)的距离S_i，这个过程需要很大的计算量。为改进这一缺点，本发明提出了一种改进的RNASAC算法。针对原算法的第二步进行如下的改进：随机选择6对匹配点，并用其中4对计算变换矩阵H；然后检测余下2对是否在变换矩阵H上，如果这2对匹配点都不在变换矩阵H上，则重新执行第二步，直至余下2对中至少有1对在变换矩阵H上，程序才继续往下执行。改进的RANSAC算法直接排除大概率不符合要求的模型，节省了模型不好时第三步和第四步的计算量。

最终的匹配结果图如图2所示。本实施在对颜色单一的图像进行配准时，可以得到最多的匹配点数，匹配效果良好。如图3所示，在不同光照亮度下，通过σ值的自动调节，使本文算法具有最好的稳定性，配准效果受环境的影响最小。

本实施分别使用改进和未改进的RANSAC算法去除误匹配点。实验结果表明：RANSAC算法可以有效地去除误匹配点，并且改进后的RNASAC算法去除误匹配的效果和改进前相当，但是匹配时间有了明显的缩短。由于本发明的算法需要计算颜色不变量、DLBP纹理特征和σ值，故在SIFT配准时速度稍慢，但是改进的RANSAC算法有效地减少了运算量，使得算法总体的效率得到了提高。

Claims (3)

1.一种基于融合特征的SIFT配准算法，主要包括以下几个步骤：

第一步，输入参考图像和待匹配图像。

第二步，分别计算两幅图像的颜色不变量和DLBP纹理特征，并进行归一化。

第三步，通过彩色图像颜色直方图的标准差计算自适应权重值，并构建融合特征灰度图。

第四步，计算融合特征灰度图的积分图像。

第五步，用SIFT算法进行特征点提取与配准。

第六步，使用改进的RANSAC算法去除误匹配点。

2.根据权利要求1中所述的融合特征灰度图，其特征在于，得到了颜色不变量和DLBP纹理特征以后，就可以构造融合特征灰度图，灰度值由以下公式给出：

I(x,y)＝(1-σ)H(x,y)+σDLBP(x_c,y_c)

I(x,y)表示融合特征灰度值，σ表示取值在[0,1]的数。通过调节参数σ就可以改变两种特征对融合特征灰度值的影响程度。

此外，针对不同彩色图像的特点，提出了一种自适应的方法，自动调节σ的值。以下为自适应方法的具体流程：分别将彩色图像的R、G、B三个通道分量平均分为8个区间，每个区间可以存放32个数，即0-31，32-63，…，224-255；每个R、G、B值除以32映射到相应的区间，即0-31为第1区间，32-63为第2区间等等；则彩色图像转化为一维总共8*8*8＝512个区间。σ的值可以通过以下公式计算：

<mrow> <mi>S</mi> <mo>=</mo> <msqrt> <mrow> <mfrac> <mn>1</mn> <mn>512</mn> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mn>512</mn> </munderover> <msup> <mrow> <mo>(</mo> <msub> <mi>X</mi> <mi>i</mi> </msub> <mo>-</mo> <mfrac> <mi>N</mi> <mn>512</mn> </mfrac> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mrow>

<mrow> <mi>&amp;sigma;</mi> <mo>=</mo> <mfrac> <mi>S</mi> <msub> <mi>S</mi> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> </msub> </mfrac> </mrow>

上述公式中，N为图像的像素总数，X_i为各个区间的像素点数目，S为标准差，S_max为最大标准差。S_max在图像为单色图像时取得，此时所有像素点都集中在一个区间，其它区间像素点个数为0，标准差取得最大值。标准差S越小，则图像的颜色变化越明显，σ值也越小。

3.根据权利要求1中所述的改进的RANSAC算法去除误匹配点，其特征在于，传统的RANSAC算法计算变换矩阵H的步骤总结如下：

第一步，确定最大循环次数k和残差阈值θ，特征点的匹配对数记作m。

第二步，从匹配点集中随机选取4对特征点，计算变换矩阵H。

第三步，待匹配图像上剩余的配对点，记作(x_b,y_b)(b＝1,2,...,m-4)；计算待匹配图像上的剩余配对点在变换矩阵H下的映射，记作(x_b',y_b')(b＝1,2,...,m-4)。

第四步，计算(x_b',y_b')到实际配对点(x_i,y_i)的距离，记作S_i(i＝1,2,...,m-4)，若S_i<θ，则该点为内点，计算所有内点的总数，记作n_i(i＝1,2,...,k)。

第五步，重复第二步到第四步，直到达到迭代上限k，找出第四步中最大的n_i，则取得最大的n_i时的变换矩阵H为最优估计模型。

传统的RANSAC算法在每个循环中，都需要计算待匹配图像上所有配对点在变换矩阵H下的映射(x_b',y_b')，以及(x_b',y_b')到参考图像上实际配对点(x_i,y_i)的距离S_i，这个过程需要很大的计算量。为改进这一缺点，本发明提出了一种改进的RNASAC算法。针对原算法的第二步进行如下的改进：随机选择6对匹配点，并用其中4对计算变换矩阵H；然后检测余下2对是否在变换矩阵H上，如果这2对匹配点都不在变换矩阵H上，则重新执行第二步，直至余下2对中至少有1对在变换矩阵H上，程序才继续往下执行。改进的RANSAC算法直接排除大概率不符合要求的模型，节省了模型不好时第三步和第四步的计算量。