CN109300148A - 基于方法协同的多源图像配准方法 - Google Patents

Abstract

本发明提供了一种基于方法协同的多源图像配准方法，采用直接求解类方法和优化求解类方法进行协同求解。首先，利用不同的直接求解类配准方法对待配准图像进行配准处理，分别得到不同的配准参数估计矩阵；然后，构造协同评估值，用于选择得到最优的配准参数估计矩阵；最后，基于图像边缘度和梯度向量信息建立三维联合直方图，构建相似性度量函数，以得到的最优配准参数估计矩阵为初始值，采用改进的下降单纯形法进行优化求解，得到最终的配准参数矩阵，并利用配准参数矩阵完成图像配准。本发明方法协同利用了两类多源图像配准方法的优点，能够显著提升多源图像配准的精度和鲁棒性。

Description

基于方法协同的多源图像配准方法

技术领域

本发明属图像处理技术领域，具体涉及一种基于方法协同的多源图像配准方法。

背景技术

多源图像配准是指将不同类型传感器针对同一场景、不同时间、从不同角度所获得的两幅或多幅图像数据进行预处理后，采用一定的算法、模型将它们变换到同一坐标系下的过程。

多源图像配准为多源图像提供了统一的空间基准，是多源图像融合的基础，同时也可用于图像拼接、目标检测、运动估计、特征匹配等应用，具有非常重要的研究和实用价值。根据现有多源图像配准方法的特性，可将这些方法分为直接求解类和评价优化类。其中，直接求解类方法在处理数据时均不同程度地存在鲁棒性不足的问题，常常一种方法仅对某些多源图像数据有效，比如文献“Dellinger F et al.SAR-SIFT:A SIFT-likealgorithm for applications on SAR images[J].2012,88(8):3478-3481.”提出了一种针对SAR图像的SIFT方法(SAR-SIFT)，其为更好地处理SAR图像中的乘性噪声，通过阈值抑制掉边缘和低对比度的点，获得最终的关键点。但该方法针对其他数据源的配准，如近红外、热红外图像等，效果不佳。又如文献“Zhao D et al.Rapid multimodalityregistration based on MM-SURF[J].Neurocomputing.2014,131(131):87-97.”提出了一种多模SURF方法(Multimodal-SURF,MM-SURF)，相比于SURF方法，该方法分别对主方向选择和描述子的构建方面进行了改进，从而适用于不同模态的图像数据。但该方法仍存在对于对比度较低图像及边缘特征不丰富的图像不能精确配准的问题。

优化求解类配准方法依赖于初始值，当初始值选择不好时，难以获得精确的配准结果。例如，文献“Lee J H,Yong S K,Lee D,et al.Robust CCD and IR ImageRegistration Using Gradient-Based Statistical Information[J].IEEE SignalProcessing Letters,2010,17(4):347-350”提出了一种基于梯度统计信息的可见光和热红外图像配准方法，该方法改进了传统梯度求解方式，使得可见光图像和热红外图像的梯度差异相对较小，利用三维直方图构建了图像梯度统计信息的相似性度量并进行优化求解，该方法在使用单位矩阵作为初始配准参数时，对求解尺度、旋转和平移变换均不大的两幅图像的配准参数时较为有效，但对于平移、尺度和旋转变换较大的两幅图像时，容易陷入局部最优，难以获得较好的配准结果，也即依赖于初始配准参数。

发明内容

为了克服现有多源图像配准方法的不足，本发明提出了一种基于方法协同的多源图像配准方法，采用直接求解类方法和优化求解类方法进行协同求解。首先，利用不同的直接求解类配准方法对待配准图像进行配准处理，分别得到不同的配准参数估计矩阵；然后，构造协同评估值，用于选择得到最优的配准参数估计矩阵；最后，基于图像边缘度和梯度向量信息建立三维联合直方图，构建相似性度量函数，以得到的最优配准参数估计矩阵为初始值，采用改进的下降单纯形法进行优化求解，得到最终的配准参数矩阵，并利用配准参数矩阵完成图像配准。由于该方法协同利用了两类多源图像配准方法的优点，克服现有方法不够鲁棒的问题，能够显著提升多源图像配准的精度和鲁棒性。

一种基于方法协同的多源图像配准方法，其特征在于步骤如下：

步骤一：给定基准图像X和待配准图像Y，分别采用不同的直接求解类图像配准方法对这两幅图像进行配准处理，得到不同的配准参数估计矩阵所述的直接求解类图像配准方法包括SR-SIFT方法、SAR-SIFT方法、MM-SURF方法、GDB-ICP方法和Harris-NCC方法。

步骤二：对于不同的配准参数估计矩阵分别按照计算得到其协同评估值E，并选择使得协同评估值最小的配准参数估计矩阵为最优配准参数估计矩阵

其中，NMI(X,Y′)为图像X和图像Y′的归一化互信息评价指标，按照计算，图像Y′为按照变换后得到的配准图像，H(X)为图像X的香农熵，H(Y′)为图像Y′的香农熵，H(X,Y′)为图像X和图像Y′的联合熵；RSNCC(X,Y′)为图像X和图像Y′的RSNCC指标，其计算公式为：

其中，p是图像X中的像素，q'是图像Y'中与像素p相同空间位置上的像素，Φ_I(p,q′)表示图像X中以像素p为中心的图像块与图像Y'中以像素q'为中心的图像块之间的归一化互相关值，Φ_▽I(p,q′)表示图像X的梯度图像中以像素p为中心的图像块与图像Y'的梯度图像中以像素q'为中心的图像块之间的归一化互相关值，所述的图像块的大小为9像素×9像素，τ为调节参数，设置为τ＝1，ρ(·)是用于剔除外点的鲁棒函数，其计算公式为：

其中，m为代变量，β为函数ρ(·)的调节参数，设置为β＝1。

步骤三：以步骤二得到的最优配准参数估计矩阵为配准参数矩阵T的初始值，采用改进的下降单纯形法求解得到最终的配准参数矩阵T^*。

其中，F(X,Y′)为相似性度量函数，其计算公式为：

F(X,Y′)＝H(C_X)+H(C_Y′)-H(C_X,C_Y′,D) (3)

其中，C_X为图像X的边缘度图像，C_Y′为图像Y'的边缘度图像，D为图像X和Y'之间的梯度方向差异矩阵，H(C_X)为C_X的香农熵，H(C_Y′)为C_Y′的香农熵，H(C_X,C_Y′,D)为图像C_X、C_Y′和D的联合熵。

所述的边缘度图像的计算过程为：

首先，对于图像中(x,y)处的像素点，先计算其结构矩阵Q_ψ如下：

其中，*表示卷积，K_ψ为标准差为ψ的二维高斯核，I_x、I_y分别为(x,y)处像素点梯度值的x和y方向的分量，ψ取值0.1。

然后，计算结构矩阵Q_ψ的特征值μ₁和μ₂，满足μ₁≥μ₂≥0，并按照以下公式计算得到(x,y)处像素点的边缘度C：

其中，ε为阈值，其确定方式为：将图像中所有像素的结构矩阵的特征值μ₁按由大到小进行排序，将排在60％位序的值设置为ε阈值。

对于图像中的每一个像素，均按照以上过程计算得到其边缘度，所有像素的边缘度值即构成边缘度图像。

所述的梯度方向差异矩阵的计算过程如下：

首先，对于图像中(x,y)处像素点，通过求解能量函数最小值得到其梯度向量流为所述的能量函数为：

其中，E(u,v)表示能量函数，为(x,y)处像素点的梯度值，g(C)＝e^-C/K，K为梯度场平滑程度的正则化因子，K取1，C为(x,y)处像素点的边缘度，u_x和u_y分别是u在x和y方向上的导数；v_x和v_y分别是v在x和y方向上的导数。

然后，按下式计算两幅图像中相同位置处像素点之间的梯度方向差异d：

其中，表示图像X中的像素p的梯度向量流，表示图像Y'中与像素p空间位置上对应的像素q'的梯度向量流；

对图像X和Y'中对应的每一对像素，均按照以上过程计算得到其梯度方向差异，所有像素点对间的梯度方向差异值即构成图像X和Y'相应像素之间的梯度方向差异矩阵。

步骤四：按照Y′＝T^*×Y将待配准图像Y变换到基准图像X的坐标系下，完成图像配准。

本发明的有益效果是：由于采用了多种直接求解类多源图像配准算法，同时设计了协同评估量用于评价不同配准算法结果的好坏，并基于协同评估量选择最优的初始配准参数，本发明从一定程度上克服了直接求解类多源图像配准算法鲁棒性不足的问题。在最优初始配准参数的基础上，本发明基于图像边缘度和梯度向量信息构建相似性度量函数，进行优化求解，从而进一步提升多源图像配准的精度。

具体实施方式

下面结合实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。

本发明的一种基于方法协同的多源配准方法的基本实现过程如下：

1、基于直接求解类方法的初始配准参数求解

对于给定的待配准图像对X和Y(记图像X为基准图像，图像Y为待配准图像)，分别采用不同的直接求解类图像配准方法对其进行配准处理，求得配准参数初始解。本发明采用以下5种方法：SR-SIFT方法、SAR-SIFT方法、MM-SURF方法、GDB-ICP方法、Harris-NCC方法。

其中，SR-SIFT方法记载在Yi Z等人2008年的工作“Yi Z,Zhiguo C,YangX.Multi-spectral remote image registration based on SIFT[J].ElectronicsLetters.2008,44(2):107-108.”中，该方法通过增加尺度约束对SIFT方法进行改进；SAR-SIFT方法记载在Dellinger F等人2012年的工作“Dellinger F et al.SAR-SIFT:A SIFT-like algorithm for applications on SAR images[J].2012,88(8):3478-3481.”中，该方法解决了SIFT方法难以处理SAR图像中乘性噪声的问题；MM-SURF方法记载在Zhao D等人2014年的工作“Zhao D et al.Rapid multimodality registration based on MM-SURF[J].Neurocomputing.2014,131(131):87-97.”中，该方法以梯度值变化最强烈方向为主方向，减小描述子对于梯度方向的依赖；GDB-ICP方法记载在Yang G等人2007年的工作“YangG et al.Registration of challenging image pairs:initialization,estimation,anddecision[J].IEEE Transactions on Pattern Analysis&Machine Intelligence.2007,29(11):1973-1989.”中，该方法通过联合使用角点(corners)和边缘点(face points)，进一步利用了更多的信息进行匹配；Harris-NCC方法记载在Lewis JP等人1995年的工作“Lewis JP.Fast Normalized Cross-Correlation[J].Circuits Systems&SignalProcessing.1995,82(2):144–156.”中，该方法采用模板匹配的方法，能在一定程度上解决光照敏感问题，在图像相似度较高时能获得更精确的结果。这五种方法各有各的优点，协同使用会提高算法的鲁棒性。本发明也可不局限于上述五种配准方法，在实际应用中还可采用不同的多源图像配准方法进行协同，以增加方法整体的鲁棒性。

分别采用以上这5种方法，对输入图像对进行配准，得到5个配准参数估计矩阵i＝1,…,5。

2、构建协同评估量，并选择最优初始解

由于上一步骤中的多个方法针对不同图像各有优劣，因此方法协同的主要问题在于如何构建评价模型进行初始解选择。

本发明采用归一化互信息NMI(Normalized Mutual Information)和鲁棒选择性归一化互相关RSNCC(Robust Selective Normalized Cross Correlation,RSNCC)两种评价优化类方法构建评价模型，以NMI和RSNCC的计算值为协同评价指标。NMI从信息论的角度对图像配准问题进行求解，当两幅图像配准时，NMI达到最大值；RSNCC能较好的处理具有较大平移变换和明显不连续结构的多源图像，当两幅图像配准时，RSNCC达到最小值。由于这两种评价指标均具有一定的不确定性，因此本方法构造了协同评估值E，选择E值最小的解(即配准参数估计矩阵)作为下一步的初始值。

根据配准参数估计矩阵可获得经过空间变换后的图像则图像X和图像Y'就分别是经过变换后的两个已配准的图像。NMI评价指标的计算公式为：

其中，H(X)为图像X的香农熵，H(Y′)为图像Y′的香农熵，H(X,Y′)为图像X和图像Y′的联合熵，在计算的过程中，仅考虑X和Y'有重叠区域的部分。

RSNCC评价指标的计算公式为：

其中，p是图像X中的像素，q'是图像Y'中与像素p空间位置上对应的像素，Φ_I(p,q′)表示图像X中以像素p为中心的图像块与图像Y'中以像素q'为中心的图像块之间的归一化互相关值，表示图像X的梯度图像中以像素p为中心的图像块与图像Y'的梯度图像中以像素q'为中心的图像块之间的归一化互相关值，所述的图像块的大小为9像素×9像素，τ为调节参数，设置为τ＝1，ρ(·)是用于剔除外点的鲁棒函数，其计算公式为：

其中，m表示函数的代变量，β为函数ρ(·)的调节参数，设置为β＝1。

在计算整幅图像X和Y′的RSNCC指标时，是计算X和Y′中每个对应像素RSNCC值的累加和。

协同评估值E的计算公式为：

按照公式(11)分别针对由步骤1得到的5个配准参数估计矩阵进行评估，获得不同的E值，选择E值最小的为最优配准参数估计矩阵，记为作为下面步骤3的输入。

3、基于评价优化类方法的最优配准参数求解

首先，通过图像边缘度和梯度向量信息建立三维联合直方图，构建基于信息熵的相似性度量，然后采用改进的下降单纯形法进行求解，得到最终的配准参数矩阵。具体过程如下：

(1)计算X和Y'的边缘度图像

对于图像中(x,y)处的像素点，先计算其结构矩阵Q_ψ如下：

其中，*表示卷积，K_ψ为标准差为ψ的二维高斯核，I_x、I_y分别为(x,y)处像素点梯度值的x和y方向的分量，ψ取值0.1。

然后，计算Q_ψ的特征值μ₁和μ₂(μ₁≥μ₂≥0)，按照以下公式计算得到(x,y)处像素点的边缘度C：

对于图像X和Y'中的每一个像素，均按照以上过程计算得到其边缘度，所有像素的边缘度值即分别构成图像X和Y'的边缘度图像C_X和C_Y′。

其中，ε的具体值是根据μ₁的分布来确定的，其目标是使得输入图像中60％以下的像素的边缘度值为非零值，具体确定方式为：将图像所有像素结构矩阵的特征值μ₁按由大到小进行排序，将排在60％位序的值设置为ε阈值。因此，对不同源图像进行边缘描述时，图像边缘度比常规边缘检测方法具有更好的相似性，减弱了多源图像边缘的差异性。

(2)计算梯度方向差异矩阵

设图像中(x,y)处像素点的梯度向量流为该梯度向量流通过求解以下能量函数最小值得到：

其中，E(u,v)表示能量函数，为(x,y)处像素点的梯度值，g(C)＝e^-C/K，K为梯度场平滑程度的正则化因子，K取1，C为当前像素点的边缘度，u_x和u_y分别是u在x和y方向上的导数；v_x和v_y分别是v在x和y方向上的导数。

图像X和Y'中相同位置处像素点之间的梯度方向差异d为：

其中，表示图像X中的像素p的梯度向量流，表示图像Y'中与像素p空间位置上对应的像素q'的梯度向量流。

对图像X和Y'中对应的每一对像素，均按照以上过程计算得到其梯度方向差异，所有像素点对间的梯度方向差异值即构成图像X和Y'相应像素之间的梯度方向差异矩阵D。

(3)构建三维直方图及图像相似性度量

利用C_X、C_Y′和D构建三维直方图，并构建两幅图像的相似性度量函数为：

其中，M(·)和H(·)分别表示互信息和香农熵。当图像配准成功时，函数值F达到最大。因此，基准图像X和待配准图像Y的配准问题即转换为求解公式的最优解问题。

优化类方法较依赖于初始值，单独使用的情况下，当初始值与真值差异较大时，需要较长的计算时间，同时也难以收敛到最小值；但若初始值与真值差异小，则能在较短时间内得到全局最优解。

因此，本发明以步骤2得到的最优配准参数估计矩阵作为配准参数矩阵T的初始值，采用改进的下降单纯形法对公式进行求解，从而得到的最优解T*，即最优解T*即为最终的配准参数矩阵。所述的改进的下降单纯形法记载在Huang Y等人2002年的工作“Huang Y,Mccoll W F.An improved simplex method forfunction minimization[C].IEEE International Conference on Systems,Man,andCybernetics.IEEE,2002:1702-1705”中。

4、图像配准

按照Y′＝T*×Y得到新图像Y′，即将待配准图像Y变换到基准图像X的坐标系下，完成图像配准。

本发明方法协同利用了直接求解类和评价优化类两类多源图像配准方法，利用多种评价因子构建了协同评估量，并基于该协同评估量从五种直接求解类方法的结果中选取了最优的配准参数估计矩阵，然后通过优化类算法收敛到全局极值得到最优变换解。通过在近百幅可见光-热红外图像对、可见光-高光谱单波段图像对和可见光-近红外图像对上进行实验对比分析，本发明方法在图像配准精度和鲁棒性方面均优于现有的多源图像配准算法，目标配准误差(Target Registration Error)平均降低了3像素以上。

Claims (1)

1.一种基于方法协同的多源图像配准方法，其特征在于步骤如下：

步骤一：给定基准图像X和待配准图像Y，分别采用不同的直接求解类图像配准方法对这两幅图像进行配准处理，得到不同的配准参数估计矩阵所述的直接求解类图像配准方法包括SR-SIFT方法、SAR-SIFT方法、MM-SURF方法、GDB-ICP方法和Harris-NCC方法；

步骤二：对于不同的配准参数估计矩阵分别按照计算得到其协同评估值E，并选择使得协同评估值最小的配准参数估计矩阵为最优配准参数估计矩阵

其中，NMI(X,Y′)为图像X和图像Y′的归一化互信息评价指标，按照计算，图像Y′为按照变换后得到的配准图像，H(X)为图像X的香农熵，H(Y′)为图像Y′的香农熵，H(X,Y′)为图像X和图像Y′的联合熵；RSNCC(X,Y′)为图像X和图像Y′的RSNCC指标，其计算公式为：

其中，p是图像X中的像素，q'是图像Y'中与像素p相同空间位置上的像素，Φ_I(p,q′)表示图像X中以像素p为中心的图像块与图像Y'中以像素q'为中心的图像块之间的归一化互相关值，Φ_▽I(p,q′)表示图像X的梯度图像中以像素p为中心的图像块与图像Y'的梯度图像中以像素q'为中心的图像块之间的归一化互相关值，所述的图像块的大小为9像素×9像素，τ为调节参数，设置为τ＝1，ρ(·)是用于剔除外点的鲁棒函数，其计算公式为：

其中，m为代变量，β为函数ρ(·)的调节参数，设置为β＝1；

步骤三：以步骤二得到的最优配准参数估计矩阵为配准参数矩阵T的初始值，采用改进的下降单纯形法求解得到最终的配准参数矩阵T^*；

其中，F(X,Y′)为相似性度量函数，其计算公式为：

F(X,Y′)＝H(C_X)+H(C_Y′)-H(C_X,C_Y′,D) (3)

其中，C_X为图像X的边缘度图像，C_Y′为图像Y'的边缘度图像，D为图像X和Y'相应像素之间的梯度方向差异矩阵，H(C_X)为C_X的香农熵，H(C_Y′)为C_Y′的香农熵，H(C_X,C_Y′,D)为图像C_X、C_Y′和D的联合熵；

所述的边缘度图像的计算过程为：

首先，对于图像中(x,y)处的像素点，先计算其结构矩阵Q_ψ如下：

其中，*表示卷积，K_ψ为标准差为ψ的二维高斯核，I_x、I_y分别为(x,y)处像素点梯度值的x和y方向的分量，ψ取值0.1；

然后，计算结构矩阵Q_ψ的特征值μ₁和μ₂，满足μ₁≥μ₂≥0，并按照以下公式计算得到(x,y)处像素点的边缘度C：

其中，ε为阈值，其确定方式为：将图像中所有像素的结构矩阵的特征值μ₁按由大到小进行排序，将排在60％位序的值设置为ε阈值；

对于图像中的每一个像素，均按照以上过程计算得到其边缘度，所有像素的边缘度值即构成边缘度图像；

所述的梯度方向差异矩阵的计算过程如下：

首先，对于图像中(x,y)处像素点，通过求解能量函数最小值得到其梯度向量流为所述的能量函数为：

其中，E(u,v)表示能量函数，▽f为(x,y)处像素点的梯度值，g(C)＝e^-C/K，K为梯度场平滑程度的正则化因子，K取1，C为(x,y)处像素点的边缘度，u_x和u_y分别是u在x和y方向上的导数；v_x和v_y分别是v在x和y方向上的导数；

然后，按下式计算两幅图像中相同位置处像素点之间的梯度方向差异d：

其中，表示图像X中的像素p的梯度向量流，表示图像Y'中与像素p空间位置上对应的像素q'的梯度向量流；

对图像X和Y'中对应的每一对像素，均按照以上过程计算得到其梯度方向差异，所有像素点对间的梯度方向差异值即构成图像X和Y'相应像素之间的梯度方向差异矩阵；

步骤四：按照Y′＝T^*×Y将待配准图像Y变换到基准图像X的坐标系下，完成图像配准。