CN104504723A - 基于视觉显著特征的图像配准方法 - Google Patents

Abstract

基于视觉显著特征的图像配准方法：输入基准图像和待配准图像；提取基准图像的视觉显著特征点集和待配准图像的视觉显著特征点集；计算基准图像的各视觉显著特征点和待配准图像的各视觉显著特征点的方向，根据视觉显著特征点的方向计算各个特征点的描述向量，获得基准图像的特征描述向量集和待配准图像的特征描述向量集；计算基准图像的各特征描述向量与待配准图像的各特征描述向量间的距离，对待配准图像特征点和基准图像特征点进行匹配；去除误匹配对，获得基准图像和待配准图像中的正确匹配对，根据两图像之间的正确匹配对的坐标计算出基准图像和待配准图像之间的仿射变换矩阵，根据仿射变换矩阵将待配准图像进行相应的变换，实现图像配准。

Description

基于视觉显著特征的图像配准方法

技术领域

本发明属于图像处理技术领域，尤其涉及一种基于视觉显著特征的图像配准方法，通过模拟人眼视觉注意机制提取图像的显著特征信息，实现图像配准。

背景技术

图像配准就是对取自不同时间、不同视角、不同传感器的具有相同场景的两幅或者多幅图像进行空间位置对齐的过程，是许多图像处理应用必须的预处理步骤。在军事、遥感、医学、计算机视觉等诸多领域，图像配准的应用都较为广泛。

目前对于不同类型的图像和数据存在很多种图像配准的方法，也相应地形成了很多种对方法进行分类的准则。常见图像配准方法主要有两类：基于图像灰度的配准方法和基于图像特征的配准方法。

基于图像灰度的配准方法是利用整幅图像的灰度信息建立两幅图像之间的相似性度量来对图像进行配准。该方法要求基准图和待配准图的灰度分布必须具有一定的相关性，仅能适应平移变换和较小的旋转变换，计算量较大，效率低，适合于细节较少、纹理不丰富的图像，主要应用于医学图像配准领域。

基于图像特征的配准方法通过提取两幅图像中受图像变换、亮度变换、噪声等影响较小的稳定特征，如图像中物体的边缘、角点、闭合区域中心等来对图像进行配准，因此应用更为广泛。但现有的基于图像特征的图像配准方法中利用的特征信息较少，如仅利用角点特征或仅利用轮廓线特征，图像中的信息很大程度上被压缩，仅有一小部分信息被利用，这种方法对特征提取和特征匹配的错误较为敏感，因此图像配准的质量不高。

发明内容

针对现有技术中图像配准质量不高的问题，本发明的目的在于提供一种可以提高图像配准的质量的图像配准方法，通过模拟人眼视觉注意机制，利用图像的亮度和方向信息，提取图像中稳定的显著特征点，采用这些特征点实现图像的精确配准。

为了实现上述目的，本发明采取如下的技术解决方案：

基于视觉显著特征的图像配准方法，包括以下步骤：

步骤1、输入基准图像I₀和待配准图像I₀’；

步骤2、提取基准图像的视觉显著特征点集FP₁和待配准图像的视觉显著特征点集FP₂；

步骤3、计算基准图像的视觉显著特征点集FP₁和待配准图像的视觉显著特征点集FP₂中各个特征点的方向，根据视觉显著特征点的方向计算各个特征点的描述向量，获得相应的基准图像的特征描述向量集DSCR₁和待配准图像的特征描述向量集DSCR₂；

步骤4、计算基准图像的特征描述向量集DSCR₁中各个描述向量与待配准图像的特征描述向量集DSCR₂中各个描述向量之间的距离，采用最近邻距离比法对待配准图像特征点和基准图像特征点进行匹配，获得基准图像和待配准图像中的匹配对；

步骤5、去除误匹配对，获得基准图像和待配准图像中的正确匹配对，根据两图像之间的正确匹配对的坐标计算出基准图像和待配准图像之间的仿射变换矩阵，根据仿射变换矩阵将待配准图像进行相应的变换，实现图像配准。

更进一步的，本发明方法的步骤2中视觉显著特征点集的提取步骤如下：

步骤2-1、分别将基准图像I₀和待配准图像I₀’转换为灰度图像，获得的基准图像的亮度图I₁和待配准图像的亮度图I₂；

步骤2-2、分别对基准图像的亮度图I₁和待配准图像的亮度图I₂进行不同高斯尺度的平滑和降采样操作，建立基准图像的亮度尺度空间I₁(σ)和待配准图像的亮度尺度空间I₂(σ)，σ表示高斯平滑尺度；

步骤2-3、使用Gabor方向滤波器分别对基准图像的亮度尺度空间I₁(σ)中的每幅图像和待配准图像的亮度尺度空间I₂(σ)中的每幅图像进行m个方向的滤波，分别获得m个基准图像的方向尺度空间O₁(σ,θ)和m个待配准图像的方向尺度空间O₂(σ,θ)；

所述m个方向为：θ＝{0,π/m,2π/m,…,(m-1)π/m}，

Gabor方向滤波器的形式为： $\begin{array}{c}G(x,y,\mathrm{\θ},\mathrm{\ω})=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}_g^2}\exp (-\frac{x_r^2+y_r^2}{{2\mathrm{\σ}}_g^2})\×\exp \left({\mathrm{j\ωx}}_r\right)\\ x_r=x\cos \mathrm{\θ}+y\sin \mathrm{\θ}\\ y_r=-x\sin \mathrm{\θ}+y\cos \mathrm{\θ}\end{array},$

其中，x、y为空间域像素的位置坐标，ω为滤波器的中心频率，θ为Gabor滤波的方向，σ_g为高斯函数沿两个坐标轴的标准方差，j为虚数单位；

步骤2-4、分别对基准图像的亮度尺度空间I₁(σ)及其方向尺度空间O₁(σ,θ)、待配准图像的亮度尺度空间I₂(σ)及其方向尺度空间O₂(σ,θ)进行中央周边差操作，得到基准图像的亮度特征尺度空间IF₁(σ)和m个基准图像的方向特征尺度空间OF₁(σ,θ)，以及待配准图像的亮度特征尺度空间IF₂(σ)和m个待配准图像的方向特征尺度空间OF₂(σ,θ)；

步骤2-5、将m个基准图像的方向特征尺度空间OF₁(σ,θ)和m个待配准图像的方向特征尺度空间OF₂(σ,θ)分别进行合并，得到基准图像总的方向特征尺度空间OF₁(σ)以及待配准图像总的方向特征尺度空间OF₂(σ)；

步骤2-6、采用迭代特征竞争方法对基准图像的亮度特征尺度空间IF₁(σ)、基准图像总的方向特征尺度空间OF₁(σ)、待配准图像的亮度特征尺度空间IF₂(σ)和待配准图像总的方向特征尺度空间OF₂(σ)进行迭代计算，获得基准图像的亮度显著图IS₁(σ)及其方向显著图OS₂(σ)，以及待配准图像的亮度显著图IS₁(σ)及其方向显著图OS₂(σ)；

步骤2-7、采用9邻域极大值法提取基准图像的亮度显著图IS₁(σ)、基准图像的方向显著图OS₂(σ)、待配准图像的亮度显著图IS₁(σ)及待配准图像的方向显著图OS₂(σ)中的显著区域中心作为特征点，获得基准图像的特征点集FP₁’和待配准图像的特征点集FP₂’；

步骤2-8、去除每幅图像的特征点集中边缘响应过强的特征点，获得最终的基准图像的视觉显著特征点集FP₁和待配准图像的视觉显著特征点集FP₂。

更进一步的，本发明方法的步骤2-2中的亮度尺度空间包括O组、每组S层图像，从下往上依次为 第(1,1)图像的高斯平滑尺度为初始平滑尺度σ₀，第(o,s)图像的高斯平滑尺度为2^{o-1+(s-1)/(S-1)}σ₀，o＝1,…,O，s＝1,…,S。

更进一步的，本发明方法的步骤2-4中中央周边差操作的方法为：对一个尺度空间中同一组内相邻层的图像进行相减，每个尺度空间获得O×(S-1)幅位于不同尺度的特征图，得到的特征图组成特征尺度空间。

更进一步的，本发明方法的步骤2-5中方向特征尺度空间的合并方法为：将不同的方向特征尺度空间的位于相同尺度上的m幅方向特征图相乘，形成总的方向特征图，得到的特征图组成总的方向特征尺度空间。

更进一步的，本发明方法的步骤2-8中去除边缘响应较强的特征点采用的方法为：计算特征点在相应特征图上2×2的Hessian矩阵： $H=\left[\begin{array}{cc}{D}_{\mathrm{xx}}& D_{\mathrm{xy}}\\ D_{\mathrm{xy}}& D_{\mathrm{yy}}\end{array}\right],$ 式中的D_xx表示特征点所在图像位置x方向的二阶偏微分，D_xy表示特征点所在图像位置x和y方向混合偏微分，D_yy表示特征点所在图像位置y方向二阶偏微分，当该特征点的Hessian矩阵中的元素满足时，则将该特征点保留，r为设定的阈值。

更进一步的，本发明方法的步骤3中特征点方向的计算方法如下：统计视觉显著特征点所在邻域像素的梯度方向直方图，直方图的区间数为36，每10°为一个区间；直方图的峰值所在的角度代表该特征点的主方向，在梯度方向直方图中，若存在另一个相当于主峰值80％能量的峰值时，则将该这个方向看作该特征点的辅方向。

更进一步的，本发明方法的步骤3中特征点描述向量的计算方法如下：将坐标轴旋转至视觉显著特征点的方向，以特征点为中心取16×16像素的区域作为采样窗口，将采样窗口分成16个4×4像素大小的小块，对每个小块统计8个方向的梯度方向直方图，得到一个8维的向量，将前述16个8维的向量组成一个128维的向量，该向量为该特征点的特征描述向量。

本发明模拟人眼视觉注意机制，利用图像的亮度和方向信息分别提取基准图像和待配准图像的多尺度显著特征点集，对各个特征点进行特征描述，分别获得两幅图像的特征描述向量集，采用欧氏距离法计算基准图像各个描述向量与待配准图像各个描述向量之间的距离，对待配准图像各个特征点和基准图像各个特征点进行匹配，采用随机抽样一致算法去除误匹配对，获得基准图像和待配准图像中的正确匹配对，根据两图像之间的正确匹配对获得图像之间的变换参数，最后通过变换参数对图像进行变换，实现图像的精确配准。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中需要使用的附图做简单介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明方法的流程图；

图2a为本发明实施例中输入的基准图像；

图2b为本发明实施例中输入的待配准图像；

图3为视觉显著特征点提取步骤的流程图；

图4是本发明实施例的9层亮度尺度空间示意图；

图5a为本发明实施例中某一尺度基准图像的亮度特征图；

图5b为本发明实施例中某一尺度待配准图像的亮度特征图；

图6a为本发明实施例中某一尺度基准图像的方向特征图；

图6b为本发明实施例中某一尺度待配准图像的方向特征图；

图7a为本发明实施例中某一尺度基准图像的亮度显著图；

图7b为本发明实施例中某一尺度待配准图像的亮度显著图；

图8a为本发明实施例中某一尺度基准图像的方向显著图；

图8b为本发明实施例中某一尺度待配准图像的方向显著图；

图9a为本发明实施例中基准图像的视觉显著特征点；

图9b为本发明实施例中待配准图像的视觉显著特征点；

图10为本发明实施例视觉显著特征点匹配后的结果图；

图11为本发明实施例中图像配准后的结果图；

图12a至12c为图像之间存在模糊变化的基准图像、待配准图像和配准结果图；

图13a至13c为图像之间存在噪声变化的的基准图像、待配准图像和配准结果图；

图14a至图14c为图像之间发生JPEG压缩变化的的基准图像、待配准图像和配准结果图；

图15a至15c为图像之间存在亮度变化的的基准图像、待配准图像和配准结果图；

图16a至图16c为图像之间存在视角变化的的基准图像、待配准图像和配准结果图；

图17a至图17c为红外图像的的基准图像、待配准图像和配准结果图。

以上实施例图像中的部分输入基准图和待配准图来自于Mikolajczyk等人提供的标准评估数据库。

具体实施方式

视觉注意最主要的功能是将目光迅速指向环境中“感兴趣”的显著特征，将有限资源集中于有用的信息点并对其进行深入地分析，忽略其他不相关的部分。本发明方法通过模拟视觉注意机制，提取图像中的人眼“感兴趣”的显著特征作为图像上的稳定特征点，然后对特征点进行描述，最后进行匹配实现图像的精确配准。

图1为本发明方法的流程图，本发明图像配准方法的步骤如下：

步骤1、输入基准图像I₀和待配准图像I₀’；

步骤2、提取基准图像I₀的视觉显著特征点集FP₁和待配准图像的视觉显著特征点集FP₂；

步骤3、计算基准图像的视觉显著特征点集FP₁和待配准图像的视觉显著特征点集FP₂中各个特征点的方向，根据视觉显著特征点的方向计算各个特征点的描述向量，获得相应的基准图像的特征描述向量集DSCR₁和待配准图像的特征描述向量集DSCR₂；

本步骤采用如下方法计算图像的特征点的方向：统计视觉显著特征点所在邻域像素的梯度方向直方图，直方图的区间数为36，每10°为一个区间，直方图的峰值所在的角度就代表该特征点的主方向，在梯度方向直方图中，若存在另一个相当于主峰值80％能量的峰值时，则将该这个方向看作该特征点的辅方向，一个特征点可具有多个方向(一个主方向，一个以上辅方向)；

本步骤采用如下方法计算特征点的描述向量：为了确保旋转不变性，首先将坐标轴旋转至视觉显著特征点的方向，然后以特征点为中心取16×16像素的区域作为采样窗口(每个区域的大小与特征所在的尺度有关)，将采样窗口分成16个4×4像素大小的小块，对每个小块统计8个方向的梯度方向直方图，得到一个8维的向量，最后将前述16个8维的向量组成一个128维的向量，该向量即为该特征点的SIFT特征描述向量；

步骤4、计算基准图像的特征描述向量集DSCR₁中各个描述向量与待配准图像的特征描述向量集DSCR₂中各个描述向量之间的距离，对待配准图像特征点和基准图像特征点进行匹配，获得基准图像和待配准图像中的匹配对；

采用最近邻距离比法(NNDR)获得匹配对：对于基准图像中的某一个特征点的描述向量a，在待配准图像的特征点描述向量中找到与之最近邻(距离为d1)和次最近邻(距离为d2)的描述向量b和c之后，若d1/d2<k，则将a和b这两个匹配向量所代表的点作为匹配点，k取值为1/1.2；

步骤5、去除误匹配对，获得基准图像和待配准图像中的正确匹配对，根据两图像之间的正确匹配对的坐标计算出基准图像和待配准图像之间的仿射变换矩阵，根据仿射变换矩阵将待配准图像进行相应的变换，实现图像配准。

本发明方法步骤2的图像的视觉显著特征点的提取步骤如下：

步骤2-1、分别将基准图像I₀和待配准图像I₀’转换为灰度图像，获得的基准图像的亮度图I₁和待配准图像的亮度图I₂；

步骤2-2、分别对基准图像的亮度图I₁和待配准图像的亮度图I₂进行不同高斯尺度的平滑和降采样操作，建立基准图像的亮度尺度空间I₁(σ)和待配准图像的亮度尺度空间I₂(σ)，σ表示高斯平滑尺度；

所构造得到的亮度尺度空间包括O组、每组S层图像，即O×S幅图像，从下往上依次为[(1,1)(1,2)…(1,S)]，[(2,1)(2,2)…(2,S)],…,[(O,1)(O,2)…(O,S)]，第1组第1层的图像，即第(1,1)图像的高斯平滑尺度为初始平滑尺度σ₀，第(o,s)图像的高斯平滑尺度为2^{o-1+(s-1)/(S-1)}σ₀，o＝1,…,O，s＝1,…,S，为保持尺度的连续性，第(2,1)图像通过将第(1,S)图像的长和宽降为原来1/2得到，以此类推；

步骤2-3、使用Gabor方向滤波器分别对基准图像的亮度尺度空间I₁(σ)中的每幅图像和待配准图像的亮度尺度空间I₂(σ)中的每幅图像进行m个方向的滤波，分别获得m个基准图像的方向尺度空间O₁(σ,θ)和m个待配准图像的方向尺度空间O₂(σ,θ)；

所述m个方向为：θ＝{0,π/m,2π/m,…,(m-1)π/m}，

Gabor方向滤波器的形式为： $\begin{array}{c}G(x,y,\mathrm{\&theta;},\mathrm{\&omega;})=\frac{1}{2\mathrm{\&pi;}{\mathrm{\&sigma;}}_g^2}\exp (-\frac{x_r^2+y_r^2}{{2\mathrm{\&sigma;}}_g^2})\&times;\exp \left({\mathrm{j\&omega;x}}_r\right)\\ x_r=x\cos \mathrm{\&theta;}+y\sin \mathrm{\&theta;}\\ y_r=-x\sin \mathrm{\&theta;}+y\cos \mathrm{\&theta;}\end{array},$

其中，x，y为空间域像素的位置坐标，ω为滤波器的中心频率，θ为Gabor滤波的方向，σ_g为高斯函数沿两个坐标轴的标准方差，j为虚数单位；

步骤2-4、分别对基准图像的亮度尺度空间I₁(σ)及其方向尺度空间O₁(σ,θ)、待配准图像的亮度尺度空间I₂(σ)及其方向尺度空间O₂(σ,θ)进行中央周边差操作，得到基准图像的亮度特征尺度空间IF₁(σ)和m个基准图像的方向特征尺度空间OF₁(σ,θ)，以及待配准图像的亮度特征尺度空间IF₂(σ)和m个待配准图像的方向特征尺度空间OF₂(σ,θ)；

中央周边差操作的方法是对一个尺度空间中同一组内相邻层的图像进行相减，每个尺度空间获得O×(S-1)幅位于不同尺度的特征图，得到的特征图组成特征尺度空间；

步骤2-5、将m个基准图像的方向特征尺度空间OF₁(σ,θ)和m个待配准图像的方向特征尺度空间OF₂(σ,θ)分别进行合并，得到基准图像总的方向特征尺度空间OF₁(σ)以及待配准图像总的方向特征尺度空间OF₂(σ)；

合并的方法为：将不同的方向特征尺度空间的位于相同尺度上的m幅方向特征图相乘，形成总的方向特征图，得到的特征图组成总的方向特征尺度空间；

步骤2-6、采用迭代特征竞争方法对基准图像的亮度特征尺度空间IF₁(σ)、基准图像总的方向特征尺度空间OF₁(σ)、待配准图像的亮度特征尺度空间IF₂(σ)和待配准图像总的方向特征尺度空间OF₂(σ)进行迭代计算，获得基准图像的亮度显著图IS₁(σ)及其方向显著图OS₂(σ)，以及待配准图像的亮度显著图IS₁(σ)及其方向显著图OS₂(σ)；

Itti视觉注意模型中的迭代特征竞争的方法为：将特征尺度空间的每幅特征图归一化到(0,1)之间；然后将其与一个高斯差分(DoG)函数进行卷积；将卷积前后的特征图相加，且负值为0，得到第一次计算结果图；将结果图作为输入图像进行第二次计算，如此反复迭代多次得到显著图；

迭代计算表达式为：M←|M+M*DoG-C|，

其中，*表示卷积，M为特征图，C为常数抑制项，一般取值为0.02，DoG函数为： $\mathrm{DoG}(x,y)=\frac{c_{\mathrm{ex}}^2}{2\mathrm{\&pi;}{\mathrm{\&sigma;}}_{\mathrm{ex}}^2}\exp (-\frac{x^2+y^2}{{2\mathrm{\&sigma;}}_{\mathrm{ex}}^2})-\frac{c_{\mathrm{inh}}^2}{2\mathrm{\&pi;}{\mathrm{\&sigma;}}_{\mathrm{inh}}^2}-\frac{c_{\mathrm{inh}}^2}{2\mathrm{\&pi;}{\mathrm{\&sigma;}}_{\mathrm{inh}}^2}\exp (-\frac{x^2+y^2}{2{\mathrm{\&sigma;}}_{\mathrm{inh}}^2}),$ 式中的x，y为空间域像素的位置坐标，σ_ex为兴奋带宽，σ_inh为抑制带宽，c_ex为兴奋常数，c_inh为抑制常数；

步骤2-7、提取基准图像的亮度显著图IS₁(σ)、基准图像的方向显著图OS₂(σ)、待配准图像的亮度显著图IS₁(σ)及待配准图像的方向显著图OS₂(σ)中的显著区域中心作为特征点，获得基准图像的特征点集FP₁’和待配准图像的特征点集FP₂’；

采用9邻域极大值法提取显著图中的显著区域中心，分别提取基准图像和待配准图像的亮度显著图和方向显著图上的9邻域极大值点作为基准图像和待配准图像的特征点，9邻域极大值(局部极大值法)可获得多个点，将该多个点都作为基准图像和待配准图像的特征点，并记录这些特征点的位置和尺度；

步骤2-8、去除每幅图像的特征点集中边缘响应过强的特征点，获得最终的基准图像的视觉显著特征点集FP₁和待配准图像的视觉显著特征点集FP₂；

去除边缘响应较强的特征点采用的方法为：计算特征点在相应特征图上2×2的Hessian矩阵： $H=\left[\begin{array}{cc}{D}_{\mathrm{xx}}& D_{\mathrm{xy}}\\ D_{\mathrm{xy}}& D_{\mathrm{yy}}\end{array}\right],$ 式中的D_xx表示特征点所在图像位置x方向的二阶偏微分，D_xy表示特征点所在图像位置x和y方向混合偏微分，D_yy表示特征点所在图像位置y方向二阶偏微分，偏微分根据特征点邻域像素的差计算，当该特征点的Hessian矩阵中的元素满足时，则将该特征点保留，r为设定的阈值，其为Hessian矩阵的较大特征值α与较小特征值β之间的比值，一般r的取值大于1即可；当α＝β时，(r+1)²/r值最小，α、β相差越大，(r+1)²/r越大。

下面结合图2a至图11，以一个具体实施例对本发明进行说明。

步骤1、输入基准图像和待配准图像，如图2a和图2b所示，图2a为基准图像，图2b为待配准图像，待配准图像相对基准图像发生了旋转和缩放变化；

步骤2、提取基准图像和待配准图像的视觉显著特征点集，图3为视觉显著特征点提取步骤的流程图；

步骤2-1、将基准图像和待配准图像转换为灰度图像，获得的基准图像的亮度图和待配准图像的亮度图；

步骤2-2、利用不同的高斯平滑尺度分别对基准图像的亮度图和待配准图像的亮度图进行平滑和降采样，初始平滑尺度σ₀为1.5，得到基准图像的亮度尺度空间和待配准图像的亮度尺度空间，本实施例的亮度尺度空间为9层亮度尺度空间，即O＝3，S＝3，共3×3幅图像，图4所示为待配准图像的9层亮度尺度空间；

步骤2-3、使用Gabor方向滤波器分别对步骤2-2得到的基准图像的9层亮度尺度空间的每幅图像和待配准图像的9层亮度尺度空间中的每幅图像进行4个方向的滤波，该4个方向为θ＝{0°,45°,90°,135°}，获得4个基准图像的方向尺度空间和4个待配准像的方向尺度空间；

步骤2-4、对步骤2-2得到的基准图像的亮度尺度空间和待配准图像的亮度尺度空间以及步骤2-3得到4个基准图像的方向尺度空间和4个待配准像的方向尺度空间分别进行中央周边差操作，即对每个尺度空间的每一组的相邻层图像进行相减，获得每个尺度空间位于不同尺度的特征图，得到的特征图组成特征尺度空间；例如，第一组的3层图像进行相邻层相减后得到2幅特征图，第二、三组同样操作后也分别获得2幅特征图，一个9层的尺度空间通过中央周边差操作后获得6幅位于不同尺度的特征图，得到的6幅特征图组成一个特征尺度空间；图5a为基准图像的9层亮度尺度空间中(1,2)的图像减去(1,3)的图像后得到的一副亮度特征图，图5b为待配准图像的9层亮度尺度空间中(1,2)的图像减去(1,3)的图像后得到的一副亮度特征图；

步骤2-5、将步骤2-4得到的4个不同方向的基准图像的6层方向特征尺度空间合并，将不同方向的方向特征尺度空间内位于相同尺度上的4幅方向特征图相乘，得到6层的总的方向特征尺度空间，对4个不同方向的待配准图像的6层方向特征尺度空间合并，得到6层的总的方向特征尺度空间；图6a为基准图像的总的方向特征尺度空间中的一副方向特征图，图6b为待配准图像的总的方向特征尺度空间的一副方向特征图；

步骤2-6、采用Itti视觉注意模型中的迭代特征竞争方法对步骤2-4得到的基准图像的亮度特征尺度空间、待配准图像的亮度特征尺度空间、步骤2-5得到的基准图像的总的方向特征尺度空间和待配准图像的总的方向特征尺度空间进行迭代计算，本实施例中σ_ex和σ_inh取值分别为输入图像的宽度的2％和25％，c_ex＝0.5，c_inh＝1.5，C＝0.02，迭代次数为4次，用迭代特征竞争方法分别对基准图像和待配准图像的总的方向特征尺度空间中的每幅图像进行操作后，获得基准图像和待配准图像的方向显著图各6幅；在对亮度特征尺度空间进行迭代特征竞争操作时要分别针对图像中的正负值进行操作：先将亮度特征尺度空间的特征图中的负值取0做一次迭代特征竞争操作，然后将特征图乘以-1后将负值取0，再做一次迭代特征竞争操作，将两次获得的结果合并作为亮度特征图的显著图；此步骤最终得到基准图像的亮度显著图和方向显著图各6幅，待配准图像的亮度显著图和方向显著图各6幅。图7a为对图5a进行迭代特征竞争操作后的基准图像的亮度显著图，图7b为对图5b进行迭代特征竞争操作后的待配准图像的亮度显著图，图8a为对图6a进行迭代特征竞争操作后的基准图像的方向显著图，图8b为对图6b进行迭代特征竞争操作后的待配准图像的方向显著图；

步骤2-7、提取基准图像的亮度显著图、基准图像的方向显著图、待配准图像的亮度显著图及待配准图像的方向显著图中的显著区域中心作为特征点，获得基准图像的特征点集和待配准图像的特征点集；

步骤2-8、去除每幅图像的特征点集中边缘响应过强的特征点，获得最终的基准图像的视觉显著特征点集和待配准图像的视觉显著特征点集；图9a为基准图像的视觉显著特征点，图9b为待配准图像的视觉显著特征点，其中圆的圆心为特征点的位置，半径代表其所在的特征尺度；

步骤3、采用经典SIFT算法分别计算基准图像各个特征点和待配准图像各个特征点的方向，根据特征点的方向计算各个特征点的描述向量，获得基准图像特征描述向量集和待配准图像特征描述向量集；

步骤4、计算基准图像各个特征描述向量与待配准图像各个特征描述向量之间的距离，对待配准图像特征点和基准图像特征点进行匹配，获得匹配对；

步骤5、采用随机抽样一致算法去除误匹配对，根据两图像之间的正确匹配对的坐标计算出基准图像和待配准图像之间的仿射变换矩阵，根据仿射变换矩阵将待配准图像进行相应的变换，实现图像配准。采用随机抽样一致算法后获得的正确匹配结果如图10所示，根据这些匹配对的坐标计算出基准和待配准图像之间的仿射变换矩阵，然后根据仿射变换矩阵将待配准图像进行相应的变换，实现图像配准，配准结果如图11所示，为了便于观察匹配结果，图11中提取了变换后待配准图像的边缘，并将其覆盖在待配准图中。

图12a至图12c显示了输入图像之间存在模糊变化的原图、待配准图像和配准结果的示意图。

图13a至图13c显示了输入图像之间存在噪声变化的原图、待配准图像和配准结果的示意图。

图14a至图14c显示了输入图像之间存在JPEG压缩变化的原图、待配准图像和配准结果的示意图。

图15a至图15c显示了输入图像之间存在亮度变化的原图、待配准图像和配准结果的示意图。

图16a至图16c显示了输入图像之间存在视角变化的原图、待配准图像和配准结果的示意图。

图17a至图17c显示了输入图像为两幅红外图像的配准结果的示意图。

由以上附图可以看出，本发明在对存在旋转、尺度缩放、模糊、噪声、压缩、亮度、视角等变化的图像以及红外图像进行配准时均可取得较好的效果，实现图像间的精确配准。

现有技术的Itti视觉注意模型中获得的是显著区域，本发明的图像配准方法在图像的视觉显著特征点集的提取步骤中对现有技术的Itti视觉注意模型加以改进，以获得的图像的视觉显著特征点集，与现有技术相比，本发明方法的改进点及有益效果主要包括以下几个方面：

1、建立的尺度空间结构不同；Itti模型尺度空间为高斯金字塔结构，本发明的亮度尺度空间并非严格的金字塔结构，而是O组×S层结构，每组构成金字塔，同一组层间图像大小相同，此操作可减少图像降采样操作，有利于保留图像细节信息；

2、不同方向特征图合并方法不同；不同于Itti模型中的相加操作，本发明的不同方向特征图合并时采用的是相乘操作，特征图相乘可以有效的保留对各个方向响应均较强的局部区域，而抑制仅对部分方向具有响应的区域，最终保留下来的区域被认为特征性较强，其中心被选作特征点；

3、中央周边差操作不同；Itti视觉注意模型中相减的两图像之间的尺度相差较大，需要插值操作，不利于保留图像的细节信息，本发明采用的是组内相邻层相减策略，层间尺度相差较小，且由于本发明相同组内图像大小相同，不需要插值，因此可以较好地保留图像上的细节信息，有利于图像特征点的提取。

本发明中的视觉显著特征检测子相比于现有的特征检测子(如SIFT)具有较高的重复率，其所提取的特征主要其中在图像的边缘，角点，闭合区域中心等位置，具有较好的鲁棒性，将该特征检测子运用到图像配准的实例中，对各种图像变换均具有较好的配准效果。

以上所述，仅是本发明的较佳实施例而已，并非对本发明做任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (8)

1.基于视觉显著特征的图像配准方法，其特征在于，包括以下步骤：

步骤1、输入基准图像I₀和待配准图像I₀’；

步骤2、提取基准图像的视觉显著特征点集FP₁和待配准图像的视觉显著特征点集FP₂；

步骤3、计算基准图像的视觉显著特征点集FP₁和待配准图像的视觉显著特征点集FP₂中各个特征点的方向，根据视觉显著特征点的方向计算各个特征点的描述向量，获得相应的基准图像的特征描述向量集DSCR₁和待配准图像的特征描述向量集DSCR₂；

步骤4、计算基准图像的特征描述向量DSCR₁中各个描述向量与待配准图像的特征描述向量DSCR₂中各个描述向量之间的距离，采用最近邻距离比法对待配准图像特征点和基准图像特征点进行匹配，获得基准图像和待配准图像中的匹配对；

步骤5、去除误匹配对，获得基准图像和待配准图像中的正确匹配对，根据两图像之间的正确匹配对的坐标计算出基准图像和待配准图像之间的仿射变换矩阵，根据仿射变换矩阵将待配准图像进行相应的变换，实现图像配准。

2.根据权利要求1所述的基于视觉显著特征的图像配准方法，其特征在于：步骤2中视觉显著特征点集的提取步骤如下：

步骤2-1、分别将基准图像I₀和待配准图像I₀’转换为灰度图像，获得的基准图像的亮度图I₁和待配准图像的亮度图I₂；

步骤2-2、分别对基准图像的亮度图I₁和待配准图像的亮度图I₂进行不同高斯尺度的平滑和降采样操作，建立基准图像的亮度尺度空间I₁(σ)和待配准图像的亮度尺度空间I₂(σ)，σ表示高斯平滑尺度；

步骤2-3、使用Gabor方向滤波器分别对基准图像的亮度尺度空间I₁(σ)中的每幅图像和待配准图像的亮度尺度空间I₂(σ)中的每幅图像进行m个方向的滤波，分别获得m个基准图像的方向尺度空间O₁(σ,θ)和m个待配准图像的方向尺度空间O₂(σ,θ)；

所述m个方向为：θ＝{0,π/m,2π/m,…,(m-1)π/m}，

Gabor方向滤波器的形式为： $\begin{array}{c}G(x,y,\mathrm{\&theta;},\mathrm{\&omega;})=\frac{1}{{2\mathrm{\&pi;\&sigma;}}_g^2}\exp (-\frac{x_r^2+y_r^2}{{2\mathrm{\&sigma;}}_g^2})\&times;\exp \left({\mathrm{j\&omega;x}}_r\right)\\ x_r=x\cos \mathrm{\&theta;}+y\sin \mathrm{\&theta;}\\ y_r=-x\sin \mathrm{\&theta;}+y\cos \mathrm{\&theta;}\end{array},$

其中，x、y为空间域像素的位置坐标，ω为滤波器的中心频率，θ为Gabor滤波的方向，σ_g为高斯函数沿两个坐标轴的标准方差，j为虚数单位；

步骤2-4、分别对基准图像的亮度尺度空间I₁(σ)及其方向尺度空间O₁(σ,θ)、待配准图像的亮度尺度空间I₂(σ)及其方向尺度空间O₂(σ,θ)进行中央周边差操作，得到基准图像的亮度特征尺度空间IF₁(σ)和m个基准图像的方向特征尺度空间OF₁(σ,θ)，以及待配准图像的亮度特征尺度空间IF₂(σ)和m个待配准图像的方向特征尺度空间OF₂(σ,θ)；

步骤2-5、将m个基准图像的方向特征尺度空间OF₁(σ,θ)和m个待配准图像的方向特征尺度空间OF₂(σ,θ)分别进行合并，得到基准图像总的方向特征尺度空间OF₁(σ)以及待配准图像总的方向特征尺度空间OF₂(σ)；

步骤2-6、采用迭代特征竞争方法对基准图像的亮度特征尺度空间IF₁(σ)、基准图像总的方向特征尺度空间OF₁(σ)、待配准图像的亮度特征尺度空间IF₂(σ)和待配准图像总的方向特征尺度空间OF₂(σ)进行迭代计算，获得基准图像的亮度显著图IS₁(σ)及其方向显著图OS₂(σ)，以及待配准图像的亮度显著图IS₁(σ)及其方向显著图OS₂(σ)；

步骤2-7、采用9邻域极大值法提取基准图像的亮度显著图IS₁(σ)、基准图像的方向显著图OS₂(σ)、待配准图像的亮度显著图IS₁(σ)及待配准图像的方向显著图OS₂(σ)中的显著区域中心作为特征点，获得基准图像的特征点集FP₁’和待配准图像的特征点集FP₂’；

步骤2-8、去除每幅图像的特征点集中边缘响应过强的特征点，获得最终的基准图像的视觉显著特征点集FP₁和待配准图像的视觉显著特征点集FP₂。

3.根据权利要求2所述的基于视觉显著特征的图像配准方法，其特征在于：步骤2-2中的亮度尺度空间包括O组、每组S层图像，从下往上依次为[(1,1)(1,2)…(1,S)],[(2,1)(2,2)…(2,S)],…,[(O,1)(O,2)…(O,S)]，第(1,1)图像的高斯平滑尺度为初始平滑尺度σ₀，第(o,s)图像的高斯平滑尺度为2^{o-1+(s-1)/(S-1)}σ₀，o＝1,…,O，s＝1,…,S。

4.根据权利要求3所述的基于视觉显著特征的图像配准方法，其特征在于：步骤2-4中中央周边差操作的方法为：对一个尺度空间中同一组内相邻层的图像进行相减，每个尺度空间获得O×(S-1)幅位于不同尺度的特征图，得到的特征图组成特征尺度空间。

5.根据权利要求2所述的基于视觉显著特征的图像配准方法，其特征在于：步骤2-5中方向特征尺度空间的合并方法为：将不同的方向特征尺度空间的位于相同尺度上的m幅方向特征图相乘，形成总的方向特征图，得到的特征图组成总的方向特征尺度空间。

6.根据权利要求2所述的基于视觉显著特征的图像配准方法，其特征在于：步骤2-8中去除边缘响应较强的特征点采用的方法为：计算特征点在相应特征图上2×2的Hessian矩阵： $H=\left[\begin{array}{cc}{D}_{\mathrm{xx}}& D_{\mathrm{xy}}\\ D_{\mathrm{xy}}& D_{\mathrm{yy}}\end{array}\right],$ 式中的D_xx表示特征点所在图像位置x方向的二阶偏微分，D_xy表示特征点所在图像位置x和y方向混合偏微分，D_yy表示特征点所在图像位置y方向二阶偏微分，当该特征点的Hessian矩阵中的元素满足时，则将该特征点保留，r为设定的阈值。

7.根据权利要求1所述的基于视觉显著特征的图像配准方法，其特征在于：步骤3中特征点方向的计算方法如下：统计视觉显著特征点所在邻域像素的梯度方向直方图，直方图的区间数为36，每10°为一个区间；直方图的峰值所在的角度代表该特征点的主方向，在梯度方向直方图中，若存在另一个相当于主峰值80％能量的峰值时，则将该这个方向看作该特征点的辅方向。

8.根据权利要求1或7所述的基于视觉显著特征的图像配准方法，其特征在于：步骤3中特征点描述向量的计算方法如下：将坐标轴旋转至视觉显著特征点的方向，以特征点为中心取16×16像素的区域作为采样窗口，将采样窗口分成16个4×4像素大小的小块，对每个小块统计8个方向的梯度方向直方图，得到一个8维的向量，将前述16个8维的向量组成一个128维的向量，该向量为该特征点的特征描述向量。