CN103745463A - 基于梯度信息的新颖多源图像快速配准方法 - Google Patents

Abstract

本发明涉及基于梯度信息的新颖多源图像快速配准方法，属于图像处理技术领域。本发明实现包括第一步特征点检测和定位，第二步主方向确定，第三步描述符生成，第四步特征点匹配。

Description

基于梯度信息的新颖多源图像快速配准方法

技术领域

本发明涉及基于梯度信息的新颖多源图像快速配准方法，属于图像处理技术领域。

背景技术

最近几年，随着大量配准算法的提出，图像配准技术得到了快速地发展，但是仍然存在许多不足。尤其在多源图像配准方面上，现有算法很少能够同时达到快速和精确。作为多源图像算法的代表，对称尺度不变特征变换算法能够很好地完成匹配任务，但无论时间还是精度方面，该方法都无法运用到需要实时处理的情况。而单源配准算法中，作为尺度不变特征变换算法(SIFT算法)的加速版，快速鲁棒特征(SURF)算法能够快速地匹配可见光图像，但对多源图像束手无策。

发明内容

本发明针对上面的问题，而研制多源快速鲁棒特征(MM-SURF)算法。该算法继承了SURF算法的良好性能，同时充分利用多源图像的灰度信息，达到快速并高效地匹配多源图像的目的。

本发明包括四步：特征点检测和定位，主方向确定，描述符生成和特征点匹配。

第一步：特征点检测和定位.

第二步：主方向确定。

第三步：描述符生成。

第四步：建立特征描述符之后，就可以利用这些描述符进行特征点的匹配。两个特征向量的相似性采用欧式距离进行度量。对于第一幅图像特征点的特征向量，计算它与第二幅图像所有特征点的特征向量的欧氏距离，可以得到最近距离与次近距离，将它们的比值作为该特征点的差异度。第一幅图像所有特征点按照该差异度进行排序，最后根据所需将前N个选为匹配。

本发明原理及有益效果：多源图像之间存在大量梯度反转现象，而且梯度反转的像素点往往存在于结构信息丰富的区域。我们结合这个现象，提出了多源快速鲁棒特征算法。与SURF算法相比，该方法不仅能够配准单源图像，还能配准多源图像。与已有的多源配准算法相比，该方法具有更高的精确度，而且消耗更少的时间，能够满足实时的需求。

附图说明

图1快速鲁棒特征算法所统计采样点。

图2多源快速鲁棒特征算法所统计采样点。

具体实施方式

本发明包括四步：特征点检测和定位，主方向确定，描述符生成和特征点匹配。

第一步：特征点检测和定位.

对图像不断地做高斯平滑处理，建立高斯尺度空间。然后计算每个像素点的海森矩阵，通过海森矩阵行列式值来检测特征点。为了加快计算速度，通过积分图像和块状滤波的结合来加速尺度空间滤波的速度。计算得到海森矩阵的行列式值后，在尺度空间中的3×3×3邻域内寻找海森矩阵行列式值最大的点作为候选特征点。然后用尺度不变特征变换算法中提到的方法再将局部最大值在尺度和图像空间中进行插值删除不稳定的候选点。

第二步：主方向确定。

首先计算以特征点为圆心，6s(s为特征点所在的尺度)为半径的圆形区域内的所有像素在x和y方向上的哈尔小波响应d_x，d_y。然后计算每个像素点的梯度幅值m(x，y)，即

$m(x,y)=\sqrt{d_x^2+d_y^2}---\left(1\right)$

为了增加鲁棒性，再进行高斯平滑(σ=2s)。最后，使用角度为π/3的扇形沿逆时针的方向以特定的步长转动，依次计算扇形区域内所有像素平滑后的梯度幅值和。注意这里的统计对象与快速鲁棒特征算法有所不同，快速鲁棒特征算法的统计对象是所有梯度方向在扇形区域内的像素，其空间位置不一定在扇形区域内，如图1，而我们的方法的统计对象是空间位置在扇形区域内的像素，如图2。选取幅值和最大的扇形区域作为主方向区域，其角平分线定为主方向。显然，这样得到的主方向是离散的，而且其数量跟转动的步长有关，数量大小直接影响着主方向的可重复性与鲁棒性。通过实验测试发现，步长为π/18时，效果较好，此时可以得到2π÷π/18=36个主方向。

第三步：描述符生成。

按照快速鲁棒特征算法描述符的构建过程，得到每一个子区域内5×5个空间采样点的水平和垂直方向上的哈尔小波响应d_x和d_y。再把梯度向量(d_x，d_y)的方向通过梯度反转限制在(0，π)之间，即

(d_x，d_y)=sgn(d_y)(d_x，d_y)  (2)

其中，

$\mathrm{sgn}\left(x\right)=\left\{\begin{array}{cc}1& x\&GreaterEqual;0\\ -1& x<0\end{array}---\left(3\right)\right.$

然后再进行高斯平滑(σ=3.3s)。由于d_y被限制在大于等于0的范围内，故此时子区域内垂直方向上的哈尔小波响应和∑d_y与其绝对值的和∑|d_y|是一样的。如果去除一个则形成一个三维向量，则会降低描述符特征向量的显著性。为了保持其显著性，我们赋予d_y不同的符号，此符号由其对应的梯度向量中的d_x符号决定，即

d_y=sgn(d_x)d_y  (4)

这样，对于每个子区域，我们可以获得一个全新的梯度。这个变化过程总地可以描述为：

$({\stackrel{\&OverBar;}{d}}_x,{\stackrel{\&OverBar;}{d}}_y)=\left\{\begin{array}{cc}(d_x,d_y)& \mathrm{if}{d}_x\&GreaterEqual;0,d_y\&GreaterEqual;0\\ (d_x,-d_y)& \mathrm{if}{d}_x<0,d_y\&GreaterEqual;0\\ ({-d}_x,{-d}_y)& \mathrm{if}{d}_x<0,d_y<0\\ ({-d}_x,d_y)& \mathrm{if}{d}_x\&GreaterEqual;0,d_y<0\end{array}\right.---\left(5\right)$

其中，

表示新得到的梯度，(d_x，d_y)表示原始梯度。这样对每个区域我们可以得到一个适用于多源配准的特征向量(∑d_x，∑d_y，∑｜d_x|，∑|d_y|)。最后将各区域的特征向量结合一起即可得到多源快速鲁棒特征算法(MM-SURF)的描述符。

第四步：建立特征描述符之后，就可以利用这些描述符进行特征点的匹配。两个特征向量的相似性采用欧式距离进行度量。对于第一幅图像特征点的特征向量，计算它与第二幅图像所有特征点的特征向量的欧氏距离，可以得到最近距离与次近距离，将它们的比值作为该特征点的差异度。第一幅图像所有特征点按照该差异度进行排序，最后根据所需将前N个选为匹配。

本发明原理及有益效果：多源图像之间存在大量梯度反转现象，而且梯度反转的像素点往往存在于结构信息丰富的区域。我们结合这个现象，提出了多源快速鲁棒特征算法。与SURF算法相比，该方法不仅能够配准单源图像，还能配准多源图像。与已有的多源配准算法相比，该方法具有更高的精确度，而且消耗更少的时间，能够满足实时的需求。

我们从两个方面对实验结果进行分析，首先是算法的运行速度，其次是算法的精确度。我们提出了使用CorrectN度量方法来评价算法的速度和性能。所谓CorrectN，就是将最近与次近距离比由小到大排列，在前N个匹配中正确的匹配个数。该方法能够有效地评价整个算法的性能。

就算法速度方面，我们对八组多源图像进行实验，选取著名的对称尺度不变算子(Symmetric-SIFT)以及多光谱算子(Multispectral detector)作为对照，取前20个匹配的运行时间，结果如表1所示。可见我们MM-SURF算法消耗更少的时间。

表1

methods	Mauna LOa	City	Tree Branch	Brain3	EO-IR-2	Bay	Streets	EO-IR-1
									Symmetric-SIFT	15112	3579	7766	6728	18243	10641	2385.9	2834
Multispectral detector	17603	4002	8427	7456.4	22305.5	10771	2538	2906.9
									MM-SURF	1514	479	502	847	951	1442	327	427

就性能方面，我们选取2幅多源图像，同样选取对称尺度不变算子以及多光谱算子作为对照，通过不断的改变N值，来获取不同的CorrectN值。正如如表2和表3所显示的，我们的方法能够在不同N下提供更多的正确匹配数。

表2

methods	10	20	30	40	50	60	70	80	90	100
											Symmetric-SIFT	l	4	6	6	7	9	9	ll	11	12
Multispectral detector	2	6	7	9	9	12	13	16	18	19
											MM-SURF	7	13	15	18	20	22	23	26	27	27

表3

methods	10	20	30	40	50	60	70	80	90	100
											Symmetric-SIFT	5	7	8	8	10	11	13	13	14	14
Multispectral detector	3	5	6	8	9	11	13	14	16	17
											MM-SURF	8	12	16	17	21	22	25	26	28	29

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (5)

1.基于梯度信息的新颖多源图像快速配准方法，其特征在于：

第一步特征点检测和定位，

第二步主方向确定，

第三步描述符生成，

第四步特征点匹配。

2.根据权利要求1所述的基于梯度信息的新颖多源图像快速配准方法，其特征在于：第一步的特征点检测和定位方法为：

对图像不断地做高斯平滑处理，建立高斯尺度空间，然后计算每个像素点的海森矩阵，通过海森矩阵行列式值来检测特征点，为了加快计算速度，通过积分图像和块状滤波的结合来加速尺度空间滤波的速度，计算得到海森矩阵的行列式值后，在尺度空间中的3×3×3邻域内寻找海森矩阵行列式值最大的点作为候选特征点，然后用尺度不变特征变换算法中提到的方法再将局部最大值在尺度和图像空间中进行插值删除不稳定的候选点。

3.根据权利要求1所述的基于梯度信息的新颖多源图像快速配准方法，其特征在于：第二步的主方向确定方法为：

首先计算以特征点为圆心，6s(s为特征点所在的尺度)为半径的圆形区域内的所有像素在x和y方向上的哈尔小波响应d_x，d_y，然后计算每个像素点的梯度幅值m(x，y)，即

$m(x,y)=\sqrt{d_x^2+d_y^2}---\left(1\right)$

为了增加鲁棒性，再进行高斯平滑，σ=2s，最后，使用角度为π/3的扇形沿逆时针的方向以特定的步长转动，依次计算扇形区域内所有像素平滑后的梯度幅值和，注意这里的统计对象与快速鲁棒特征算法有所不同，快速鲁棒特征算法的统计对象是所有梯度方向在扇形区域内的像素，其空间位置不一定在扇形区域内，选取幅值和最大的扇形区域作为主方向区域，其角平分线定为主方向，显然，这样得到的主方向是离散的，而且其数量跟转动的步长有关，数量大小直接影响着主方向的可重复性与鲁棒性，通过实验测试发现，步长为π/18时，效果较好，此时可以得到2π÷π/18=36个主方向。

4.根据权利要求1所述的基于梯度信息的新颖多源图像快速配准方法，其特征在于：第三步的描述符生成方法为：

按照快速鲁棒特征算法描述符的构建过程，得到每一个子区域内5×5个空间采样点的水平和垂直方向上的哈尔小波响应d_x和d_y，再把梯度向量(d_x，d_y)的方向通过梯度反转限制在(0，π)之间，即

(d_x，d_y)=sgn(d_y)(d_x，d_y)  (2)

其中，

$\mathrm{sgn}\left(x\right)=\begin{array}{c}\left\{\begin{array}{cc}1& x\&GreaterEqual;0\\ -1& x<0\end{array}---\left(3\right)\right.\end{array}\begin{array}{}\end{array}$

然后再进行高斯平滑，σ=3.3s，由于d_y被限制在大于等于0的范围内，故此时子区域内垂直方向上的哈尔小波响应和∑d_y与其绝对值的和∑|d_y|是一样的，如果去除一个则形成一个三维向量，则会降低描述符特征向量的显著性，为了保持其显著性，我们赋予d_y不同的符号，此符号由其对应的梯度向量中的d_x符号决定，即

d_y=sgn(d_x)d_y  (4)

这样，对于每个子区域，我们可以获得一个全新的梯度，这个变化过程总地可以描述为：

$({\stackrel{\&OverBar;}{d}}_x,{\stackrel{\&OverBar;}{d}}_y)=\left\{\begin{array}{cc}(d_x,d_y)& \mathrm{if}{d}_x\&GreaterEqual;0,d_y\&GreaterEqual;0\\ (d_x,-d_y)& \mathrm{if}{d}_x<0,d_y\&GreaterEqual;0\\ ({-d}_x,{-d}_y)& \mathrm{if}{d}_x<0,d_y<0\\ ({-d}_x,d_y)& \mathrm{if}{d}_x\&GreaterEqual;0,d_y<0\end{array}\right.---\left(5\right)$

其中，

表示新得到的梯度，(d_x，d_y)表示原始梯度，这样对每个区域我们可以得到一个适用于多源配准的特征向量(∑d_x，∑d_y，∑|d_x|，∑|d_y|)，最后将各区域的特征向量结合一起即可得到多源快速鲁棒特征算法的描述符。

5.根据权利要求1所述的基于梯度信息的新颖多源图像快速配准方法，其特征在于：第四步的特征点匹配方法为：建立特征描述符之后，就可以利用这些描述符进行特征点的匹配，两个特征向量的相似性采用欧式距离进行度量，对于第一幅图像特征点的特征向量，计算它与第二幅图像所有特征点的特征向量的欧氏距离，可以得到最近距离与次近距离，将它们的比值作为该特征点的差异度，第一幅图像所有特征点按照该差异度进行排序，最后根据所需将前N个选为匹配。

Images