CN104361573A - 融合颜色信息和全局信息的sift特征匹配算法 - Google Patents

Abstract

本发明公开了一种基于SIFT(Scale Invariant Feature Transform)的图像匹配算法——SCARF(Shape-Color Alliance Robust Feature)算法。该方法首先对图像进行特征点的提取，然后建立相应的坐标系，构造三种不同的描述子，从而进行图像匹配。特征点的提取继续沿用SIFT的特征点的提取方法，然后以每个特征点为圆心建立同心圆坐标系，最后根据图像的局部信息、全局信息和颜色信息来构造相应的描述子，根据权重参数的选择构造不同的坐标系，从而得到全新的描述子。由于本方法所提取的特征点具有很好的旋转和尺度不变性，在构造描述子又考虑了图像的全局形状信息和局部信息以及颜色信息，且采用的同心圆坐标系简化了算法的计算量，提高了匹配的鲁棒性，使得匹配的效果更为出色。

Description

融合颜色信息和全局信息的SIFT特征匹配算法

技术领域

本发明涉及到一种基于SIFT的改进图像匹配算法——SCARF(Shape-Color Alliance Robust Feature)算法。此方法主要是对两幅相同场景的图像进行匹配，且具有丰富的全局形状信息和颜色信息，增强了匹配的效果，运算量适中，能够应用于要求匹配精度较高的图像处理设备。本方法能够广泛应用于医学图像处理、遥感图像、模式识别、3D重建等领域。 

背景技术

图像匹配是计算机视觉和图像处理领域中一项非常重要的工作。主要用于将不同时间、不同传感器、不同视角及不同拍摄条件下获取的两幅或多幅图像进行匹配。图像匹配是多种图像处理及应用的基础，匹配的效果直接影响到其后续图像的处理工作。 

在对图像进行匹配的过程中，检测适于图像匹配的关键点(Interest Point Detection)是一个不可或缺的重要环节。在检测图像的关键点过程中，为了减少图像匹配的复杂度，通常利用一些不变性特征来进行图像关键点的提取和选择。另外，由于视角、尺度等变换，在图像间通常存在差异，因此，通常选取具有旋转、灰度、平移和尺度不变的图像特征来提取图像关键点，进而描述关键点附近的图像子块。 

在目前的图像匹配方法中，由David Lowe提出的尺度不变特征变换(Scale Invariant Feature Transform，SIFT)描绘算子较为常用。在该方法中，通过在关键点为中心的邻域窗口内采样，并用直方图统计邻域像素的梯度方向，直方图的峰值代表该关键点处邻域梯度的主方向，即作为该关键点的方向，然后根据主方向进行调整来消除仿射变换中的旋转造成的差异。然而由于是为灰度图像而设计的局部算子，SIFT匹配会出现匹配模糊等问题。 

发明内容

鉴于SIFT匹配是为灰度图像而设计的局部算子，在处理彩色或局部有相似形状的图像时会出现匹配模糊等问题，本发明提供了一种结合全局形状信息和颜色信息的SIFT匹配算法，具体步骤如下： 

1)首先对匹配图像进行特征点的提取。本方法采用SIFT检测子来进行特征点的提取，这样我们所提取的特征点具有很好的尺度不变性和旋转不变性。 

2)构造合适的坐标系。本方法构造一个简单的同心圆坐标系，对提取到的每个特征点，以它为圆心，以k×σ为半径，建立同心圆坐标。其中，k是实验参数，σ是特征点所对应的尺度。 

3)对特征点进行描述。本方法从局部信息、全局信息、颜色信息三个方面分别对特征点 进行描述，从而得到一个综合性的描述子。SIFT本身即是一种鲁棒性很强的局部描述子，因此在对特征点进行局部信息提取时本方法采用SIFT描述子；同时，对每个特征点分别计算它的主曲率信息和颜色不变量，并统计它们在同心圆坐标系中的分布，可以分别得到32维全局描述子G，32维颜色信息描述子C和128维局部信息描述子S，组合上述三种描述子可得到如式(1)所示的192维SCARF(Shape-Color Alliance Robust Feature)特征描述子。 

$\mathrm{SCARF}=\left[\begin{array}{c}\mathrm{\αS}\\ \mathrm{\βG}\\ (1-\mathrm{\α}-\mathrm{\β})C\end{array}\right]$

其中，α和β是相对应的权重参数。 

4)对特征点的描述子进行匹配，计算匹配代价函数。对两幅图像所计算得到的特征点描述子分别计算它们的欧式距离，设立相应的阈值参数，低于阈值的即为对应的正确匹配点。 

与现有的算法相比，本发明所获得的技术效果，通过融入了全局信息和颜色信息这两个分量，形成了全新的特征点描述子框架，从而提高了匹配算法的鲁棒性和稳定性。尤其是利用同心圆坐标系融入了全局信息，既很好的保持了特征点的旋转不变性，又拓展了形状信息，在处理有大量相似区域的图像匹配时，很好的解决了图像匹配中易出现的匹配模糊问题。 

附图说明

图1为本发明优化的算法流程； 

图2为本发明仿真实验的第一组图像序列：wall； 

图3为本发明仿真实验的第二组图像序列：graffiti； 

图4为本发明仿真实验的第三组图像序列：boat； 

图5为本发明仿真实验的第四组图像序列：bark； 

图6为本发明仿真实验的第五组图像序列：bikes； 

图7为本发明仿真实验的第六组图像序列：trees； 

图8为本发明仿真实验的第七组图像序列：leuven； 

图9为本发明仿真实验wall和graffiti的结果； 

图10为本发明仿真实验boat和bark的结果； 

图11为本发明仿真实验trees和leuven的结果； 

图12为本发明仿真实验leuven的结果。 

具体实施方式

如图1，本发明创建了一种全新的形状颜色联合鲁棒图像匹配描述子——Shape-Color Alliance Robust Feature(SCARF)。由三个部分构成：SIFT描述子，全局描述子，颜色描述子。 

整个实现过程如下： 

1)对输入的图像进行特征点的提取：本方法采用了SIFT检测子对目标图像和待匹配图像进行处理，采集各自的特征点集，进行存储。 

2)构造同心圆坐标系。分别针对两幅图像中提取到的特征点集，以每一个特征点为圆心，以k×σ为半径，建立同心圆坐标。其中，k是实验参数，σ是特征点所对应的尺度。这样，所对应的区域与特征点所在的尺度相关，使得全局描述子具有更好的尺度不变性。本方法同心圆取32个，所以圆的半径以k×scale/32等量递增。 

3)对两幅图像分别构造特征点的描述子集合。 

3.1)128维局部信息描述子S：采用标准SIFT的描述子算法，保留了原始128维特征描述子。 

3.2)32维全局描述子G：对于全局描述子，首先计算特征点的主曲率信息，它可以通过2*2的hessian矩阵来来计算： 

$H(x,y)=\left(\begin{array}{cc}{L}_{\mathrm{xx}}& L_{\mathrm{xy}}\\ L_{\mathrm{xy}}& L_{\mathrm{yy}}\end{array}\right)=I(x,y)*\left(\begin{array}{cc}{g}_{\mathrm{xx}}& g_{\mathrm{xy}}\\ g_{\mathrm{xy}}& g_{\mathrm{yy}}\end{array}\right)$

上式中L_xx、L_yy和L_xy是图像和高斯函数二阶偏导数g_xx、g_yy和g_xy卷积得到的。通过求解上述矩阵，可以得到矩阵的两个特征值。假设e(x,y)是矩阵H(x,y)两个特征值中绝对值较大的那个，就将它的绝对值定义为特征点的主曲率： 

c(x,y)＝|e(x,y)| 

在同心圆坐标轴下统计每个圆环子区域内特征点的个数，并对每个子区域内特征点的主曲率进行累加，并利用下面的公式对特征点进行反向的高斯距离加权，形成32维的全局信息描述子。反向距离加权是为了使邻域外的特征点在描述子中的贡献更大。其中尺度σ_k即为坐标原点所在的尺度值。 

$\mathrm{\ω}(x,y)=1-e^{-({(x_e-x_k)}^2+{(y_e-y_k)}^2)/2{\mathrm{\σ}}_k}$

其中，(x_k,y_k)是特征点的坐标，σ_k是相对应的尺度值。对每个特征点，32维的描述子G＝[G₁,G₂….G_i,…G₃₂]中的G_i在相对应的圆环i中构造。 

设在第i圆环中包含J_i个特征点，则G_i可被定义为如下所示： 

$G_i=\underset{j=1}{\overset{J_i}{\mathrm{\Σ}}}c(x_{\mathrm{ij}},y_{\mathrm{ij}})\mathrm{\ω}(x_{\mathrm{ij}},y_{\mathrm{ij}})$

其中，(x_ij,y_ij)是圆环i中第j个特征点。 

3.3)32维颜色信息描述子C：对于本发明中的颜色信息描述子，首先需要计算颜色不变量。Kubelka—Munk理论描述了物体的光潜辐射特性，其模型表达为 

E(λ,x)＝e(λ,x)[1-ρ_f(x)]²R_∞(λ,x)+e(λ,x)ρ_f(x)   (6) 

式中λ表示波长，x为二维矢量，表示观测位置，e(λ,x)表示光谱强度，ρ_f(x)表示x处的Fresnel反射系数，R_∞(λ,x)表示材料反射率，E(λ,x)为观测处的反射谱。多数情况下，e(λ,x)在各波长上保持不变而与位置有关，将e(λ,x)改写成i(x)形式，则式(6)变为 

E(λ,x)＝i(x){[1-ρ_f(x)]²R_∞(λ,x)+ρ_f(x)}   (7) 

对λ分别求一阶导数和二阶导数，然后相除得 

$K=\frac{E_{\mathrm{\λ}}}{E_{\mathrm{\λ\λ}}}=\frac{\∂E/\∂\mathrm{\λ}}{{\∂}^{2}E/{\∂}^2\mathrm{\λ}}=\frac{{\∂R}_{\∞}(\mathrm{\λ},x)/\∂\mathrm{\λ}}{{\∂}^2{R}_{\∞}(\mathrm{\λ},x)/{\∂\mathrm{\λ}}^2}=f\left[R_{\∞}(\mathrm{\λ},x)\right]---\left(8\right)$

K为颜色不变量的一种表述，同观察位置、表面朝向、光强大小、反射系数均无关。在符合人眼视觉系统和CIE-1964-XYZ标准的条件下，彩色图像的RGB分量和(E,E_λ,E_λλ)的关系近似为： 

$\left(\begin{array}{c}E\\ E_{\mathrm{\λ}}\\ E_{\mathrm{\λ\λ}}\end{array}\right)=\left(\begin{array}{ccc}0.06& 0.63& 0.27\\ 0.30& 0.04& -0.35\\ 0.34& -0.60& 0.17\end{array}\right)\×\left(\begin{array}{c}R\\ G\\ B\end{array}\right),---\left(9\right)$

计算出彩色图像的颜色不变量K。 

在所创建的同心圆坐标系中，统计每个圆环区域内特征点的颜色不变量K，与全局描述子类似，我们也利用公式(5)对特征点进行反向的高斯距离加权，形成32维的颜色描述子。 

对每个特征点，32维的描述子C＝[C₁,C₂….C_i,…C₃₂]中的C_i在相对应的圆环i中构造。因此C_i可以被定义为如下所示： 

$C_i=\underset{j=1}{\overset{J_i}{\mathrm{\Σ}}}K(x_{\mathrm{ij}},y_{\mathrm{ij}})\mathrm{\ω}(x_{\mathrm{ij}},y_{\mathrm{ij}})---\left(10\right)$

其中K(x_ij,y_ij)是第i个圆环内第j个特征点的颜色不变量。最后我们得到了32维颜色描述向量，对其进行归一化处理，保持对光照的不变性。 

3.4)将3.1，3.2，3.3中所创建的描述子组合起来可得到： 

$\mathrm{SCARF}=\left[\begin{array}{c}\mathrm{\αS}\\ \mathrm{\βG}\\ (1-\mathrm{\α}-\mathrm{\β})C\end{array}\right]---\left(11\right)$

其中S是128维局部特征描述子，G是32维全局信息描述子，C是32维颜色信息描述子，α和β是相对应的权重参数。以式(11)的方式组合上述三种描述子，这样就可得到192维形状颜色联合鲁棒图像匹配描述子SCARF。 

4.特征点的匹配。当两幅图像的特征描述子生成后，利用下列的匹配代价函数： 

d＝αd_H+βd_S+(1-α-β)d_G    (12)作为特征点之间的相似性判定度量。其中，α和β与公式(11)中定义相同的权重参数。 

SIFT的描述子S的匹配代价函数d_S通过欧式距离计算，具体公式如下： 

$d_s=|S_i-S_j|=\sqrt{\underset{k=1}{\overset{128}{\mathrm{\Σ}}}{[S_i\left(k\right)-S_j\left(k\right)]}^2}---\left(13\right)$

全局信息描述子G的匹配代价函数d_G与d_S相似，都是通过欧式距计算而得，具体如下： 

$d_G=|G_i-G_j|=\sqrt{\underset{k=1}{\overset{32}{\mathrm{\Σ}}}{[G_i\left(k\right)-G_j\left(k\right)]}^2}---\left(14\right)$

同理，对颜色描述子C，它的匹配代价函数d_C如下所示： 

$d_C=|C_i-C_j|\sqrt{\underset{k=1}{\overset{32}{\mathrm{\Σ}}}{[C_i\left(k\right)-C_j\left(k\right)]}^2}---\left(15\right)$

设立阈值T，对于其中的某个特征点A，再另一幅图像中找出与之描述向量距离的关键点B，若他们的匹配代价函数小于T，则认为特征点A与距离最近的特征点B匹配。依此，图像依此匹配所有特征点集，跟据最后的结果输出所有匹配点。 

本发明所提取的特征点具有很好的旋转和尺度不变性，在构造描述子又考虑了图像的全局形状信息和局部信息以及颜色信息，解决了图像在处理彩色图像和局部相似图像时的匹配模糊问题，提高了匹配的准确性。所采用的同心圆坐标系既简化了算法的计算量，又没有破坏算法本身的旋转不变性和尺度不变性，提高了匹配的鲁棒性。在处理视场角变化(图2和图3)，尺度旋转变化(图4和图5)，图像模糊(图6和图7)，光照变化(图8)等方面都有很好的匹配效果，对比经典的SIFT等算法，准确率有了明显的提高(图9-12)。 

Claims (5)

1.本发明公开了一种基于SIFT(Scale Invariant Feature Transform)的图像匹配算法——SCARF(Shape-Color Alliance Robust Feature)算法，主要由原SIFT特征描述子、全局信息描述子和颜色描述子组合而成。

2.基于权利要求1，本发明的特征点都是由SIFT检测子提取出来的。

3.基于权利要求1，三种描述子都是基于构造的32个同心圆坐标系来进行描述的。

4.基于权利要求1和2，在权利要求3所构造的同心圆坐标系上，本发明计算权利要求2提取出来的特征点的主曲率值，并进行加权，得到全局信息描述子。

5.基于权利要求1和2，在权利要求3所构造的同心圆坐标系上，本发明计算权利要求2提取出来的特征点的颜色不变量的值，并进行加权，得到颜色描述子。