CN102915540A

CN102915540A - 基于改进的Harris-Laplace和SIFT描述符的影像匹配方法

Info

Publication number: CN102915540A
Application number: CN2012103805287A
Authority: CN
Inventors: 佘江峰; 徐秋辉; 宋晓群
Original assignee: Nanjing University
Current assignee: Nanjing University
Priority date: 2012-10-10
Filing date: 2012-10-10
Publication date: 2013-02-06

Abstract

本发明公开了一种基于改进的Harris-Laplace和SIFT描述符的影像匹配方法，包含如下步骤：1、采用改进的Harris-Laplace提取影像上关键点，确定关键点的主方向，生成特征点；2、采用SIFT描述符对特征点进行描述；3、分别采用（BBF最近邻搜索算法）和RANSAC（随机取样一致性算法）对特征点进行粗匹配和精匹配。本发明中改进的Harris-Laplace提取的关键点不仅对光照变化、旋转变化以及尺度变化具有不变性，而且可以更有效地克服噪声影响，这使得本方法拥有高精度的匹配结果。

Description

基于改进的Harris-Laplace和SIFT描述符的影像匹配方法

技术领域

本发明涉及一种图像处理方法，特别涉及基于改进的Harris-Laplace和SIFT描述符的影像匹配方法。

背景技术

目前的影像配准方法主要是靠人工提取同名点，对于大幅影像，势必会消耗大量的人力资源，同时由于感知偏差，提取的同名点之间会存在一定的偏差，这将直接影响影像配准的精度。影像匹配可以为实现影像自动配准的提供底层基础，因此，对于影像自动配准来说，一种准确性高的影像匹配方法就显得尤为重要。

影像匹配是自动寻找同名目标的过程，它可以分为基于区域灰度的匹配和基于特征的匹配。相对于基于区域灰度的匹配，基于特征的匹配可以获得更令人满意的匹配结果。SIFT是著名的基于特征的匹配算法，被广泛地应用于影像匹配，可以获得良好的匹配结果。SIFT描述符具有尺度、旋转和平移的不变性，同时对光照变化、仿射变化和三维投影变换也具有一定的鲁棒性，是获得良好匹配结果的关键。

但是SIFT在特征检测阶段提取的部分特征点可能会位于亮度只在一个方向变化的边缘上，这样的特征点容易受图像噪声和细碎纹理变化的影响，如果采用上述特征点对影像进行匹配，势必会对匹配精度造成一定的影响。

发明内容

发明目的：针对上述现有技术存在的问题和不足，本发明的目的是提供一种基于改进的Harris-Laplace和SIFT描述符的影像匹配方法，在特征检测阶段改进的Harris-Laplace提取的特征点不仅对光照变化、旋转变化以及尺度变化具有不变性，而且可以更有效地克服噪声的影响，使本发明获得高精度的匹配结果。

技术方案：为实现上述发明目的，本发明采用的技术方案为一种基于改进的Harris-Laplace和SIFT描述符的影像匹配方法，其特征在于包括如下步骤：

（1）建立影像尺度空间，计算每一层尺度影像的Harris二阶矩阵，将Harris二阶矩阵特征值的最小值作为响应函数提取每一层尺度影像上的角点，采用LoG算子对提取的角点进行筛选得到稳定的关键点，利用所述关键点的特征尺度、8×8邻域的梯度及梯度方向确定关键点的主方向，生成特征点；

（2）利用所述特征点的主方向、8×8邻域的梯度及梯度方向构造具有标准128维特征向量的SIFT描述符对特征点进行描述；

（3）分别采用最近邻搜索算法（BBF）和随机取样一致性算法（RANSAC）对特征点进行粗匹配和精匹配。

所述步骤（1）中，改进的多尺度Harris角点检测算子采用Harris二阶矩阵特征值的最小值作为角点响应函数，可以更有效地抑制噪声。

所述步骤（2）为了消除光照变化的影响，对特征向量作标准化处理。对于线性的光照变化，将特征向量标准化为单位长度；对于非线性光照变化，先设置阈值，使单位特征向量的值不超过0.2，然后再将特征向量标准化为单位长度。

所述步骤（3）中BBF算法粗匹配是以待匹配点和最近邻点的距离与待匹配点和次近邻点的距离之比是否小于某一阈值（经验取值为0.8）为准则来判断该最近邻点是否是待匹配点的候选匹配点，其中距离采用的是欧式距离；RANSAC算法精匹配则是通过估计影像间的单应变换矩阵，并以此为几何约束条件判别匹配特征点对之间的像素距离是否大于容差（这里取5个像素）来剔除误匹配。

有益效果：本发明中改进的Harris-Laplace在特征检测阶段提取的特征点不仅对光照变化、旋转变化和尺度变化具有不变性，而且可以更有效地克服噪声的影响，这使得本发明拥有高精度的匹配结果。

附图说明

图1是本发明的流程图；

图2(a)是左影像的特征点检测结果图，图2(b)是右影像的特征点检测结果图；

图3(a)是左影像的特征点匹配结果图，图3(b)是右影像的特征点匹配结果图。

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

本发明的基本思路为：特征检测阶段采用改进的Harris-Laplace提取关键点，确定关键点主方向，生成特征点；特征描述阶段采用SIFT描述符描述特征点；特征匹配阶段分别采用BBF算法和RANSAC算法粗匹配和精匹配特征点。

为使关键点具有尺度属性，建立影像的尺度空间，它是由不同尺度的尺度影像构成，尺度影像

Figure 2012103805287100002DEST_PATH_IMAGE001

是由影像I(x)与高斯核

卷积生成的，定义为：

其中， I(x)为像素点x的灰度，σ _n为n层的尺度，σ _n=s ₀ k ⁿ，s ₀为常数（经验取值为1.5），k为常数（经验取值为1.4）。高斯核G(σ)的表达式为：

其中，σ为影像尺度，(x ²+y ²)表示卷积模板内像素与模板中心像素的距离。

计算每一层尺度影像的Harris二阶矩阵

Figure 2012103805287100002DEST_PATH_IMAGE005

，Harris二阶矩阵的计算公式为：

其中，σ _I为积分尺度，σ _D为差分尺度，σ _D = sσ _I ，s为常数（经验取值为0.7），L _x(x,σ _D)和L _y(x,σ _D)分别是尺度影像L(x,σ _D)在x和y方向上的偏导数，L _x ²(x,σ _D)= L _x(x,σ _D)×L _x(x,σ _D)，L _y ²(x,σ _D)= L _y(x,σ _D)×L _y(x,σ _D)，L _x L _y(x,σ _D)=L _x(x,σ _D)×

L _y(x,σ _D)。

令λ ₁，λ ₂为矩阵μ的特征值，则Harris角点的响应函数

可以定义为：

设λ ₁≥λ ₂，则cornerness=λ ₂，利用如下公式：

Figure 2012103805287100002DEST_PATH_IMAGE009

可以解算出cornerness，其中Tr()为矩阵的迹，Det()为矩阵的行列式。

逐像元在其3×3邻域内判断该像元的cornerness是否为最大，同时判断该像元的cornerness是否大于某一阈值（经验取值为130），如果满足上述两个条件，则认为该像元为角点。

对于部分检测出的角点容易受尺度变化的影响，采用LoG算子对容易受尺度变化影响的角点进行筛选。LoG算子的定义为：

其中，σ _n为n层的尺度，L _xx(x,σ _n)和L _yy(x,σ _n)分别是尺度影像L( x,σ _n)在x和y方向上的二阶偏导数。以某角点x为例，LoG算子筛选该角点的具体过程为：该角点所在尺度为σ，分别计算LoG算子在尺度0.7σ、σ、1.4σ处的值。如果LoG算子在σ处取得极大值，同时该值大于某一阈值（经验取值为10），则提取该角点为稳定的关键点，此时的σ则为该关键点的特征尺度。

对于关键点主方向的确定，首先利用关键点的特征尺度选择对应的尺度影像，对于该尺度影像L(x,y)（对应上述L(x,σ)）,，计算它的梯度值m(x,y)和梯度方向θ(x,y)：

Figure 2012103805287100002DEST_PATH_IMAGE011

然后由关键点的8×8邻域的梯度方向形成梯度方向直方图，该直方图将360°以10°为间隔分成36个区间，再将邻域高斯加权后的梯度值在方向区间上进行累加得到方向直方图的值。其中高斯加权的目的是当邻域点远离关键点时，可以消除该邻域点的梯度值对确定关键点主方向的干扰。高斯加权核的大小为该关键点特征尺度的1.5倍；最后寻找方向直方图的极大值用于生成特征点，同时大于80％极大值的局部极值也用于生成特征点，也就是说在同一位置和同一尺度上可以生成不同主方向的特征点。由于极值处在方向区间，为了精确地确定特征点的主方向，对上述极值附近的三个直方图值进行插值，拟合抛物线方程，确定极值方向，从而确定特征点主方向。

构造SIFT描述符对特征点进行描述：根据特征点的主方向，将特征点描述器中的坐标横轴旋转至该方向，同时描述器中取样点的坐标和梯度方向也旋转同样的角度；对描述器中取样点的梯度值进行高斯加权，其中高斯加权核的大小是描述器窗口宽度大小的一半；在4×4区域内，将360°分成8个方向，根据区域内取样点的梯度方向，将取样点的梯度值分配到这八个方向上，最后生成种子点；由4×4个种子点构成最佳的SIFT描述符，即最佳的SIFT描述符应具有4×4×8=128维特征向量。

针对线性的光照变化，将特征向量标准化为单位长度；针对非线性光照变化，先设置阈值，使单位特征向量的值不超过0.2，然后再将特征向量标准化为单位长度。

构造好特征描述符以后，使用BBF（Best Bin First）算法进行特征点粗匹配。如果待匹配点和最近邻点的距离与待匹配点和次近邻点的距离之比小于0.8，则认为该最近邻点为待匹配点的候选匹配点。其中两点之间的距离指的是欧式距离，它由两点的特征向量计算所得，欧式距离d表示为：

Figure 2012103805287100002DEST_PATH_IMAGE013

其中Des _p[i]、Des _q[i]分别为特征点p、q的第i维特征向量。

对特征点进行粗匹配后，使用RANSAC算法估计两幅影像之间的单应变换矩阵，并将其作为几何约束条件，当匹配特征点对之间的距离大于5个像素时，则该匹配为误匹配，去除该误匹配点对，从而达到精匹配的目的。

本发明的一个实例是在PC平台上利用计算机编程语言实现，经实验验证，在0.1个容差像素下，本发明的匹配精度可达到100%。如附图所示，图2(a)是左影像的特征点检测结果，图2(b)是右影像的特征点检测结果，特征点在边角区域分布相对集中，而在边缘和平坦区域则分布相对分散，图3(a)是左影像的特征点匹配结果，图3(b)是右影像的特征点匹配结果。

Claims

1.一种基于改进的Harris-Laplace和SIFT描述符的影像匹配方法，其特征在于包括如下步骤：

（1）建立影像尺度空间，计算每一层尺度影像的Harris二阶矩阵，将Harris二阶矩阵特征值的最小值作为响应函数提取每一层尺度影像上的角点，采用LoG算子对提取的角点进行筛选得到稳定的关键点，利用上述关键点的特征尺度、8×8邻域的梯度及梯度方向确定关键点的主方向，生成特征点；

（3）分别采用最近邻搜索算法和随机取样一致性算法对特征点进行粗匹配和精匹配。

2.据权利要求1所述基于改进的Harris-Laplace和SIFT描述符的影像匹配方法，其特征在于：所述步骤（1）中改进的多尺度Harris角点检测算子采用Harris二阶矩阵特征值的最小值作为角点响应函数，可以更有效地抑制噪声。

3.根据权利要求1所述基于改进的Harris-Laplace和SIFT描述符的影像匹配方法，其特征在于：所述步骤（2）中对特征向量进行标准化处理。

4.根据权利要求1所述基于改进的Harris-Laplace和SIFT描述符的影像匹配方法，其特征在于：所述步骤（3）中最近邻搜索算法粗匹配是以待匹配点和最近邻点的距离与待匹配点和次近邻点的距离之比是否小于某一阈值为准则来判断该最近邻点是否为待匹配点的候选匹配点；随机取样一致性算法精匹配则是通过估计影像间的单应变换矩阵，并以此为几何约束条件判别匹配特征点对之间的像素距离是否大于容差来剔除误匹配。

5.根据权利要求3所述基于改进的Harris-Laplace和SIFT描述符的影像匹配方法，其特征在于：所述阈值为0.8。