CN106023187A - 一种基于sift特征和角度相对距离的图像配准方法 - Google Patents

Abstract

本发明涉及一种基于SIFT(scale invariant feature transform)特征和角度相对距离的图像配准算法。技术特征在于：首先使用SIFT特征点提取算法提取参考图像和待配准图像中的特征点和特征点描述子。然后通过特征点之间的欧式距离得到图像特征点之间的粗匹配结果，并以上述粗匹配结果为输入，通过计算特征点的角度关系，通过相减得到角度差异筛选出正确匹配的特征点对。本发明能够充分利用粗匹配的特征点对集合自身存在的对应角度不变特性进行正确匹配特征点的筛选，极大提高了筛选正确匹配特征点对的能力，提高了图像配准的准确性。

Description

一种基于SIFT特征和角度相对距离的图像配准方法

技术领域

本发明属于计算机图像配准方法，涉及一种基于SIFT(scale invariant feature transform)特征和角度相对距离的图像配准方法，广泛应用于图像配准、图像拼接领域。

背景技术

图像配准是对有共同场景而在不同时刻或不同角度拍摄的两幅或多幅图像的处理，通常只针对两幅图像。图像配准是一个非常有意义和挑战的工作，是许多应用如图像拼接至关重要的前期处理，而其中异源图像配准更是在军事和医疗方面有着广泛的应用场景，其融合结果可以用于自动目标伪装识别和病变部位的诊断。

目前图像配准方法研究主要分为两个部分：基于区域的图像配准算法和基于特征的图像配准算法。基于区域的配准算法虽然精度和鲁棒性很高，但对图像的灰度、旋转和缩放变化等敏感，且算法复杂度很高。基于特征的配准方法主要利用参考图像和待配准图像中存在的角点、直线、边缘等特征求解彼此间的图像变换模型，对图像平移、旋转、缩放以及灰度变化都具有更强的鲁棒性，且算法计算量小，在近年的研究中得到了快速发展。以往对于图像配准中特征点的筛选已有不少研究，如RANSAC(Random Sample Consensus)算法，利用最大似然估计的贝叶斯模型等，但都存在不能完全筛选出正确匹配点的情况。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于SIFT(scale invariant feature transform)特征和角度相对距离的图像配准方法，使用图像粗匹配特征点集自身存在的相关角度不变的特性进行正确匹配特征点筛选，并最终得到图像仿射变换参数并进行图像变换和重采样。实验证明，该算法能在存在仿射变换的参考图像和待配准图像中 有效的筛选出正确匹配的特征点对，有效提高图像配准的准确性。

技术方案

一种基于SIFT特征和角度相对距离的图像配准方法，其特征在于步骤如下：

步骤1：提取参考图像img_ref和待配准图像img_src中的尺度不变特征SIFT特征点，得到参考图像img_ref的特征向量P和待配准图像img_src的特征向量Q，其中特征向量P有M个特征点，特征向量Q有N个特征点；

步骤2：利用欧式距离对参考图像img_ref和待配准图像img_src进行图像特征点粗匹配，得到特征向量P和Q之间粗匹配的特征点对集合PQ，集合中有L个匹配的特征点对，且p_i与q_i为对应的特征点；

步骤3、采用角度相对距离进行特征点精匹配：

步骤3.1从PQ中取出p_i、q_i,i＝1,2,…,L；

步骤3.2从PQ中取出p_j,q_j,j＝1,2,…,L且j≠i；

步骤3.3从PQ中取出p_k,q_k,k＝j+1，若k＝L+1,k＝1，若k＝i,k＝i+1；

步骤3.4计算∠p_ip_jp_k,∠q_iq_jq_k,保存在矩阵M_{angle_P}和M_{angle_Q}中，这样每个矩阵均为L×(L-1)维；

步骤3.5计算矩阵M_{angle_P}和M_{angle_Q}对应角度值的差，得到矩阵M_{angle_out}，且M_{angle_out}＝M_{angle_P}-M_{angle_Q}；

步骤3.6统计M_{angle_out}每一行中角度误差小于参数c_angle的个数(角度相对距离)，即统计每行中M_{angle_outi ·}＜c_angle的个数，存入矩阵N_num中；

步骤3.7取出N_num中的最大值N_max，然后找出N_{num_i}中大于N_max*T_angle，对应特征点对集合PQ中的特征点p_i,q_i，放入矩阵PQ_out中；

步骤4：随机从PQ_out中选出三个正确的匹配点对，采用仿射变换模型计算参考图像img_ref和待配准图像img_src之间的仿射矩阵A和平移矩阵[t_x,t_y]^T，重复本步骤的计算多 次，得到其中最优的一组参数

步骤5：对待配准图像img_src用步骤4得到的最优的一组参数进行仿射变换，与参考图像img_ref进行加权融合，得到配准结果图像img_des。

所述步骤4的计算次数为2000次。

有益效果

本发明提出的一种基于SIFT特征和角度相对距离的图像配准方法，基本思想是：首先利用SIFT特征点检测算法提取参考图像和待配准图像中的特征点，并使用欧式距离对提取的SIFT特征进行粗匹配。然后利用粗匹配后的特征点自身存在的相关角度不变的特性进行正确匹配特征点的筛选，并最终得到图像仿射变换参数并进行图像变换和重采样。实现了准确筛选正确匹配的特征点的功能，提高了图像配准的准确性。

优点在于：首先使用SIFT特征作为特征点，对图像平移、旋转、缩放、光照等具有鲁棒性，且独特性好，信息量丰富；然后使用欧式距离对特征点进行粗匹配，可以减少原始特征点中的无效特征点；再使用图像粗匹配特征点集合自身存在的对应角度不变的特性进行正确匹配特征点筛选，基本可以完全剔除其中的误匹配点对，极大提高了筛选正确匹配特征点对的能力，有效增强了图像配准精度。

附图说明

图1：本发明方法的流程图

图2：DOG空间建立及极值点检测示意图

(a)DOG空间建立示意图；(b)极值点检测示意图

图3：实验所选取的参考图像与待配准图像及精匹配结果图

(a)SIFT特征点欧式距离粗匹配结果图；(b)RANSAC精匹配结果图(c)角度相对距离精匹配结果图；

图4：部分图像变换和重采样结果图

(a)参考图像；(b)待配准图像；(c)图像变换和重采样结果图像。

具体实施方式

现结合实施例、附图对本发明作进一步描述：

本发明方法的特征在于步骤如下：

步骤1提取参考图像img_ref和待配准图像img_src中的尺度不变特征(SIFT)特征点：对参考图像img_ref和待配准图像img_src使用不同尺度(σ)的高斯核函数G(x,y,σ)连续滤波和下采样，形成高斯金字塔图像，然后再对相邻尺度的高斯图像相减得到高斯差分(DOG)多尺度空间表示。将样本点和它相邻的26个像素点进行比较，得到DOG(Difference of Gaussian)图像中的极值点(即关键点)的位置和对应的尺度；关键点所在16×16邻域像素内梯度方向直方图最大值所对应的方向作为关键点的方向；在此基础上，将邻域的16×16像素划为4×4共16个子区域，分别统计各个区域的8个梯度方向就可以得到SIFT的128维特征描述子，得到参考图像img_ref和待配准图像img_src中的特征点集合P和Q(分别有M和N个特征点)。

具体流程如下：

a)高斯查分图像DOG生成

将输入图像img_ref和img_src通过不同尺度(σ)的高斯核函数(式1)连续滤波和下采样，形成高斯金字塔图像，然后再对相邻尺度的两个高斯图像相减得到高斯差分(DOG)多尺度空间表示。

σ代表了高斯正态分布的方差，(x,y)是图像像素空间坐标。

b)极值点检测

为了得到高斯差分图像中的极值点，样本像素点需要和它相邻的8个像素点进行比较，同时还要分别和金字塔分层图像中上下相邻图像层中的9个像素点进行比较，共需要与26个像素进行比较。如果样本点是这些点中的灰度极值点(极大值或极小值)，则把这个点当作特征点，即关键点。

c)指定关键点方向

关键点(x,y)邻域的梯度的模值和方向计算公式如式(2)：

m(x,y)为模值，θ(x,y)为方向。其中L所用的尺度为每个关键点各自所在的尺度。

在以关键点为中心的邻域窗口内采样，并用直方图统计邻域像素的梯度方向。梯度直方图的范围是0～360度，其中每10度一个柱，总共36个柱。直方图的峰值则代表了关键点处邻域梯度的主方向。

d)构造SIFT特征描述子

首先将坐标轴旋转为关键点的方向，以确保旋转不变性。接下来以关键点为中心取16×16的邻域，再将此邻域均匀地分为4×4个子区域(每个子区域大小为4像素×4像素)，对4×4每个子区域按高斯加权的方式进行梯度方向直方图的统计(直方图均匀分为8个方向)。对4×4个子区域的8方向梯度直方图根据位置依次排序，绘制每个梯度方向的累加值，这样就构成了一个4×4×8＝128维的SIFT特征向量,将获得的特征向量分别存入P和Q。

步骤2利用欧式距离进行图像特征点粗匹配：在步骤1中得到了参考图像img_ref和待配准图像img_src中的SIFT特征点集P和Q，对于P中的任何一个特征p_i,在Q中与p_i特征向量的欧式距离最小的两个特征点为q_j和q_k，对应的距离为d_ij和d_ik，且d_ij＜d_ik，如果d_ij＜d_ik*T，则认为p_i与q_j为对应的匹配点对(T是一个预定阈值)，通常T＝0.8。通过计算P和Q中SIFT特征点之间的欧式距离，满足d_ij＜d_ik*T的特征点p_i与q_j即为正确匹配的特征点对，得到P和Q之间粗匹配特征点对集合PQ(其中有着L个匹配的特征点对，且p_i与q_i为对应的特征点)。

步骤3使用角度相对距离进行特征点精匹配：假设步骤2得到的特征点对集合PQ中有着S个正确匹配的特征点。和为对应特征点对的坐标。那么，图像特征点坐标之间存在的仿射变换关系为：

其中θ为旋转角度，[t_x,t_y]^T为平移量,s为缩放尺度，A为仿射矩阵。

平面空间中任意三点p_i、p_j、p_k之间的夹角为：

∠p_jp_ip_k＝arccos((p_jp_k)²+(p_ip_j)²-(p_ip_k)²)/(2*(p_ip_j)*(p_jp_k))

式中p_ip_j代表点p_i、p_j之间的距离。

这里采用如下的几步完成自相关角度的计算：

a)从PQ中取出p_i、q_i,i＝1,2,…,L；

b)从PQ中取出p_j,q_j,j＝1,2,…,L且j≠i；

c)从PQ中取出p_k,q_k,k＝j+1，若k＝L+1,k＝1，若k＝i,k＝i+1；

d)计算∠p_ip_jp_k,∠q_iq_jq_k,保存在矩阵M_{angle_P}和M_{angle_Q}中，这样每个矩阵均为L×(L-1)维。

e)计算矩阵M_{angle_P}和M_{angle_Q}对应角度值的差，得到矩阵M_{angle_out}，且M_{angle_out}＝M_{angle_P}-M_{angle_Q}；

f)统计M_{angle_out}每一行中角度误差小于参数c_angle的个数(角度相对距离)，即统计每行中M_{angle_outi ·}＜c_angle的个数，存入矩阵N_num中；

g)取出N_num中的最大值N_max，然后找出N_{num_i}中大于N_max*T_angle，对应特征点对集合PQ中的特征点p_i,q_i，放入矩阵PQ_out中。

步骤4使用仿射变换模型计算参考图像img_ref和待配准图像img_src之间的仿射矩阵A和平移矩阵[t_x,t_y]^T：随机从PQ_out中选出三个正确的匹配点对，计算矩阵A和[t_x,t_y]^T，重复上述操作2000次，得到其中最优的一组参数

步骤5对待配准图像img_src用参数进行仿射变换，与参考图img_ref像进行最简单的加权融合，得到配准结果图像img_des。

具体实施例：

用于实施的硬件环境是：Intel(R)Core(TM)2Duo CPU,E7500,4GB RAM,2.94GHz，运行的软件环境是：Mat1ab2014a和Win7。我们用Matlab语言与C++语言混合编程实现了本发明提出的新算法。采用包括可见光图像、近红外与可见光图像、遥感图像进行实验，图像尺寸从384×288到3086×2865大小不等。

步骤1、提取参考图像img_ref和待配准图像img_src中的尺度不变特征(SIFT)特征点：对参考图像img_ref和待配准图像img_src使用不同尺度(σ)的高斯核函数G(x,y,σ)连续滤波和下采样，形成高斯金字塔图像，然后再对相邻尺度的高斯图像相减得到高斯差分(DOG)尺度空间表示。将样本点和它相邻的26个像素点进行比较，得到DOG图像中的极值点(即关键点)的位置和对应的尺度；关键点所在16×16邻域像素内梯度方向直方图最大值所对应的方向作为关键点的方向；在此基础上，将邻域的16×16像素划为4×4共16个子区域，分别统计各个区域的8个梯度方向就可以得到SIFT的128维特征描述子，得到参考图像img_ref和待配准图像img_src中的特征向量P和Q(分别有M和N个特征点)。

步骤2、利用欧式距离进行图像特征点粗匹配：在步骤1中得到了参考图像img_ref和待配准图像img_src中的SIFT特征向量P和Q，对于P中的任何一个特征p_i,在Q中与p_i特征向量的欧式距离最小的两个特征点为q_j和q_k，对应的距离为d_ij和d_ik，且d_ij＜d_ik，如果d_ij＜d_ik*T，则认为p_i与q_j为对应的匹配点对(T是一个预定阈值)，通常T＝0.8。通过计算特征向量P和Q中SIFT特征点之间的欧式距离，满足d_ij＜d_ik*T的特征点p_i与q_j即为正确匹配的特征点对，得到特征向量P和Q之间粗匹配的特征点对集合PQ(其中有着L个匹配的特征点对，且p_i与q_i为对应的特征点)。

步骤3、使用角度相对距离进行特征点精匹配：假设步骤2得到的特征点对集合PQ中有着S个正确匹配的特征点。和为对应特征点对的坐标。那么，图像特征点坐标之间存在的仿射变换关系为：

其中θ为旋转角度，[t_x,t_y]^T为平移量,s为缩放尺度，A为仿射矩阵。

平面空间中任意三点p_i、p_j、p_k之间的夹角为：

∠p_jp_ip_k＝arccos((p_jp_k)²+(p_ip_j)²-(p_ip_k)²)/(2*(p_ip_j)*(p_jp_k))

式中p_ip_j代表点p_i、p_j之间的距离。

采用如下的几步完成自相关角度的计算：

步骤3.1从PQ中取出p_i、q_i,i＝1,2,…,L；

步骤3.2从PQ中取出p_j,q_j,j＝1,2,…,L且j≠i；

步骤3.3从PQ中取出p_k,q_k,k＝j+1，若k＝L+1,k＝1，若k＝i,k＝i+1；

步骤3.4计算∠p_ip_jp_k,∠q_iq_jq_k,保存在矩阵M_{angle_P}和M_{angle_Q}中，这样每个矩阵均为L×(L-1)维。

步骤3.5计算矩阵M_{angle_P}和M_{angle_Q}对应角度值的差，得到矩阵M_{angle_out}，且M_{angle_out}＝M_{angle_P}-M_{angle_Q}；

步骤3.6统计M_{angle_out}每一行中角度误差小于参数c_angle的个数(角度相对距离)，存入矩阵N_num中，即统计每行中M_{angle_outi ·}＜c_angle的个数；

步骤3.7取出N_num中的最大值N_max，然后找出N_{num_i}中大于N_max*T_angle，对应特征点对集合PQ中的特征点p_i,q_i，放入矩阵PQ_out中。

步骤4使用仿射变换模型计算参考图像和待配准图像之间的仿射矩阵A和平移矩阵[t_x,t_y]^T：随机从PQ_out中选出三个正确的匹配点对，计算矩阵A和[t_x,t_y]^T，重复上述操作2000次，得到其中最优的一组参数

步骤5对待配准图像img_src用参数进行仿射变换，与参考图img_ref像进行最简单的加权融合，得到配准结果图像img_des。

为进一步说明本发明在图像配准应用中的有效性，本发明与基于RANSAC方法的精匹配结果进行对比分析。其对比结果如下表1所示。可以看出，本方法虽然方法简单，但是显著提高了筛选正确匹配点对的数目。

表1特征点精匹配过程中本方法与RANSAC算法对比

Claims (2)

1.一种基于SIFT特征和角度相对距离的图像配准方法，其特征在于步骤如下：

步骤1：提取参考图像img_ref和待配准图像img_src中的尺度不变特征SIFT特征点，得到参考图像img_ref的特征向量P和待配准图像img_src的特征向量Q，其中特征向量P有M个特征点，特征向量Q有N个特征点；

步骤2：利用欧式距离对参考图像img_ref和待配准图像img_src进行图像特征点粗匹配，得到特征向量P和Q之间粗匹配的特征点对集合PQ，集合中有L个匹配的特征点对，且p_i与q_i为对应的特征点；

步骤3、采用角度相对距离进行特征点精匹配：

步骤3.1从PQ中取出p_i、q_i,i＝1,2,…,L；

步骤3.2从PQ中取出p_j,q_j,j＝1,2,…,L且j≠i；

步骤3.3从PQ中取出p_k,q_k,k＝j+1，若k＝L+1,k＝1，若k＝i,k＝i+1；

步骤3.4计算∠p_ip_jp_k,∠q_iq_jq_k,保存在矩阵M_{angle_P}和M_{angle_Q}中，这样每个矩阵均为L×(L-1)维；

步骤3.5计算矩阵M_{angle_P}和M_{angle_Q}对应角度值的差，得到矩阵M_{angl_eou，t}且M_{angle_out}＝M_{angle_P}-M_{angle_Q}；

步骤3.6统计M_{angle_out}每一行中角度误差小于参数c_angle的个数(角度相对距离)，即统计每行中M_{angle_outi·}＜c_angle的个数，存入矩阵N_num中；

步骤3.7取出N_num中的最大值N_max，然后找出N_{num_i}中大于N_max*T_angle，对应特征点对集合PQ中的特征点p_i,q_i，放入矩阵PQ_out中；

步骤4：随机从PQ_out中选出三个正确的匹配点对，采用仿射变换模型计算参考图像img_ref和待配准图像img_src之间的仿射矩阵A和平移矩阵[t_x,t_y]^T，重复本步骤的计算多次，得到其中最优的一组参数

步骤5：对待配准图像img_src用步骤4得到的最优的一组参数进行仿射变换，与参考图像img_ref进行加权融合，得到配准结果图像img_des。

2.根据权利要求1所述基于SIFT特征和角度相对距离的图像配准方法，其特征在于：所述步骤4的计算次数为2000次。