CN103632353A - 基于nsct的多聚焦图像融合算法 - Google Patents

Abstract

本发明公开了一种基于NSCT的图像融合算法，该方法的处理过程是：首先非采样的轮廓波变换(NSCT)对经过均值滤波器滤波(mean)的源图像进行分解，再分别采用平均值和绝对值最大为低频子带和高频方向子带的融合规则，以NSCT的逆运算(inverse NSCT)进行图像重构，获得初始融合图像；其次，应用均方根误差(RMSE)提取初始融合图像的融合区域(fusion region)；根据融合区域的特性设计融合规则，最后采用inverseNSCT进行图像融合。实验结果表明，本发明方法是非常有效，并且融合后的图像符合人眼视觉效果。

Description

基于NSCT的多聚焦图像融合算法

技术领域

本发明属于图像处理领域，尤其涉及一种基于NSCT的多聚焦图像融合算法。

背景技术

图像融合是指将众多源信道所采集到的关于同一目标的图像数据经过图像处理和计算机技术等，最大限度的提取各自信道中的有利信息，最后综合成高质量的图像，以提高图像信息的利用率、改善计算机解译度和可靠性、提升原始图像的空间分辨率和光谱分辨率，利于监测。

多聚焦图像融合算法是最常用的图像融合算法之一，传统的多聚焦图像融合算法主要分为两种。一种是基于空间领域的方法，该方法通过从众多图像中选择较为清晰的像素点或区域进行融合；另一种则是在频域中进行图像融合。这两种方法中，最为简单的算法为基于空间领域的融合算法，但是这类方法产生的不良后果比较多，例如对比度不明显、块状效应等等。另一种方法是在频域中进行图像融合，该方法主要通过多尺度变换见空域变为频域，并通过相应的融合规则，最后通过拟多尺度变换重构图像，这个重构图像即为融合图像。基于多尺度变换的图像融合算法越来越受到广泛关注，研究表明该类方法的融合效果更接近人类视觉感知。常用的多尺度变换包括拉普拉斯金字塔、曲波、轮廓波、非采样轮廓波变换等，通过大量的实验结果表明，基于多尺度变换的图像融合效果较基于空间的图像融合算法的效果更好，这是因为通过多尺度变换可将图像分为系数子带，而不是空间区域中的像素或块，能够较好地保留图像的细节。

基于多尺度图像融合算法需要考虑两种问题，其一是如何选择多尺度变换算法，其二是系数子带的融合规则。大量的研究结果表明：不同的多尺度变换和融合规则直接影响到多聚焦图像融合的效果。

文献[1]表明，在多尺度分析中，轮廓波变换(CT)能够最优化的表示图像轮廓，并且已广泛应用到图像融合中，但是文献[2]研究表明轮廓波变换不具备平移不变性，这将导致伪吉布斯现象出现。为了弥补轮廓波的不足，文献[2]提出了非采样的轮廓波变换(NSCT)，文献[3]将NSCT成功应用到图像融合中，并取得了较好的效果。但文献[3]中以平均值和绝对值最大为融合规则，导致了图像融合后的对比度不明显，融合后的图像比较模糊。

相关参考文献：

[1]L.Yang，B.L.Guo，W.Li，Multimodality medical image fusion based on multiscalegeometric analysis of contourlet transform，Neurocomputing72(1)(2008)203-211。

[2]A.L.da Cunha，J.P.Zhou，M.N.Do，.The non-subsampled contourlet transform：theory，design，and applications，IEEE Transaction on Image Processing15(12)(2006)3089-3101.

[3]Q.Zhang，B.L.Guo，Multi-focus image fusion using the non-subsampled contourlettransform，Signal Processing89(2009)1334-1346.

[4]M.Li，W.Cai，Z.Tan，A region-based multi-sensor image fusion scheme usingpulse-coupled neural network，Patter Recognition Letters 27(16)(2006)1948-1956.

[5]V Aslantas，R.Kurban，A comparison of criterion functions for fusion of multi-focusnoisy images，Optics Communications 282(16)(2009)3231-3242.

发明内容

本发明的目的是设计一种对比度明显的图像融合算法。

为了实现上述目的，本发明提出了一种基于NSCT的多聚焦图像融合算法。该算法的具体步骤如下：

步骤1：初始融合图像的获得

步骤1.1：图像预处理

考虑到图像受到噪声等影响，需要对多聚焦图像进行预处理，本发明采用均值滤波器对图像A和B进行滤波处理，得到滤波后的图像A′和B′。

步骤1.2：图像分解

应用NSCT变换将图像A′和图像B′进行分解，得到两图像分解后的低频系数为

和高频系数为

和

其中l为尺度分解数，k为方向分解级数。

步骤1.3：图像重构

采用均值法和绝对值最大法分别作为低频子带和高频方向子带的融合规则，具体见公式(1)和公式(2)。

$I_F^L(i,j)=\frac{I_l^{A^{\′}}(i,j)+I_l^{B^{\′}}(i,j)}{2}---\left(1\right)$

$I_{l,k}^F(i,j)=\left\{\begin{array}{c}{I}_{l,k}^{A^{\&prime;}}(i,j),\mathrm{if}\left|I_{l,k}^{A^{\&prime;}}(i,j)\right|\&GreaterEqual;\left|I_{l,k}^{B^{\&prime;}}(i,j)\right|\\ I_{l,k}^{B^{\&prime;}}(i,j),\mathrm{if}\left|I_{l,k}^{A^{\&prime;}}(i,j)\right|<\left|I_{l,k}^{B^{\&prime;}}(i,j)\right|\end{array}\right.---\left(2\right)$

根据上述融合策略，经过NSCT逆变换重构图像，即为初始融合图像F。通过大量的实验表明，初始融合图像F的对比度比较差，其原因在于均值化法和绝对值最大法减弱了对比度，尤其是初始融合图像中某些区域介于图像A′和图像B′之间，这些区域的对比度更差。基于此，通过下面方法提取初始融合图像F中的融合区域。

步骤2：融合区域的提取

应用公式(3)计算初始融合图像F和多聚焦图像A′、B′之间在像素点(x，y)的均方根误差，分别记为RMSE_A′(i，j)和RMSE_B′(i，j)。

${\mathrm{RMSE}}_{A^{\&prime;}}(i,j)={\left(\frac{\underset{a=-M}{\overset{M}{\mathrm{\&Sigma;}}}\underset{b=-N}{\overset{N}{\mathrm{\&Sigma;}}}{(I_F(i+a,j+b)-I_{A^{\&prime;}}(i+a,j+b))}^2}{(2M+1)(2N+1)}\right)}^{1/2}$ (3)

${\mathrm{RMSE}}_{B^{\&prime;}}(i,j)={\left(\frac{\underset{a=-M}{\overset{M}{\mathrm{\&Sigma;}}}\underset{b=-N}{\overset{N}{\mathrm{\&Sigma;}}}{(I_F(i+a,j+b)-I_{B^{\&prime;}}(i+a,j+b))}^2}{(2M+1)(2N+1)}\right)}^{1/2}$

显然，当RMSE_A′(i，j)＜RMSE_B′(i，j)时，初始融合图像F的像素点(i，j)来自多聚焦图像A′(i，j)；反之，表明初始融合图像F的像素点(i，j)来自多聚焦图像B′(i，j)。据此可获得初始融合图像F的融合区域，并构造标识矩阵Z，其中Z的维数与初始融合图像F的维数大小相等，且有

$z(i,j)=\left\{\begin{array}{cc}1,& \mathrm{if}{\mathrm{RMSE}}_{A^{\&prime;}}(i,j)<{\mathrm{RMSE}}_{B^{\&prime;}}(i,j)\\ 0,& \mathrm{if}{\mathrm{RMSE}}_{A^{\&prime;}}(i,j)\&GreaterEqual;{\mathrm{RMSE}}_{B^{\&prime;}}(i,j)\end{array}\right..$

步骤3：融合图像的获得

考虑到对比度是以区域为对象的，本发明在窗口大小为m₁×n₁上确定低频子带和高频方向子带的融合规则。具体如下：

1.低频子带的融合策略

文献[4]提出了基于VI的图像融合算法，其中VI用于表征图像的对比度，计算公式见公式(4)。

$\mathrm{VI}=\frac{1}{M_1{N}_1}\underset{i=1}{\overset{M_1}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{N_1}{\mathrm{\&Sigma;}}}{\left(\frac{1}{m_k}\right)}^{\mathrm{\&alpha;}}\frac{|I(i,j)-m_k|}{m_k}---\left(4\right)$

其中， $m_k=\frac{1}{M_1{N}_1}\underset{i=1}{\overset{M_1}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{N_1}{\mathrm{\&Sigma;}}}I(i,j),$ α∈[0.6，0.7]。

因此，本发明关于低频系数的融合策略为公式(5)

$I_L^F(i,j)=\left\{\begin{array}{cc}{I}_L^{A^{\&prime;}}(i,j),& \mathrm{if\; Z}(i,j)=1\mathrm{and\; e}(i,j)=m_1{n}_1;\\ I_L^{B^{\&prime;}}(i,j),& \mathrm{ifZ}(i,j)=1\mathrm{ande}(i,j)=m_1{n}_1;\\ I_L^{A^{\&prime;}}(i,j),& \mathrm{if}0<e(i,j)<m_1{n}_1\mathrm{and}{\mathrm{VI}}_l^A(i,j)\&GreaterEqual;{\mathrm{VI}}_l^B(i,j);\\ I_L^{B^{\&prime;}}(i,j),& \mathrm{if}0<e(i,j)<m_1{n}_1\mathrm{and}{\mathrm{VI}}_l^A(i,j)<{\mathrm{VI}}_l^B(i,j).\end{array}\right.---\left(5\right)$

其中， $e(i,j)=\underset{k_1=-(m_1-1)/2}{\overset{(m_1-1)/2}{\mathrm{\&Sigma;}}}\underset{k_2=-(n_1-1)/2}{\overset{(n_1-1)/2}{\mathrm{\&Sigma;}}}Z(i+k_1,j+k_2);$

${\mathrm{VI}}_l^{A^{\&prime;}}=\frac{1}{(2m_1+1)(2n_1+1)}\underset{k_1=-(m_1-1)/2}{\overset{(m_1-1)/2}{\mathrm{\&Sigma;}}}\underset{k_2=-(n_1-1)/2}{\overset{(n_1-1)/2}{\mathrm{\&Sigma;}}}\frac{|I_l^{A^{\&prime;}}(i+k_1,j+k_2)-\stackrel{\&OverBar;}{I_l^{A^{\&prime;}}}(i,j)|}{\stackrel{\&OverBar;}{I_l^{A^{\&prime;}}}{(i,j)}^{\mathrm{\&alpha;}+1}};$

${\mathrm{VI}}_l^{B^{\&prime;}}=\frac{1}{(2m_1+1)(2n_1+1)}\underset{k_1=-(m_1-1)/2}{\overset{(m_1-1)/2}{\mathrm{\&Sigma;}}}\underset{k_2=-(n_1-1)/2}{\overset{(n_1-1)/2}{\mathrm{\&Sigma;}}}\frac{|I_l^{B^{\&prime;}}(i+k_1,j+k_2)-\stackrel{\&OverBar;}{I_l^{B^{\&prime;}}}(i,j)|}{\stackrel{\&OverBar;}{I_l^{B^{\&prime;}}}{(i,j)}^{\mathrm{\&alpha;}+1}}.$

2.高频方向子带的融合策略

文献[5]提出了基于空间概率的对比度算法，计算公式见公式(6)。

$\mathrm{SF}=\frac{1}{M_1{N}_1}\sqrt{\underset{i=1}{\overset{M_1}{\mathrm{\&Sigma;}}}\underset{j=2}{\overset{N_1}{\mathrm{\&Sigma;}}}{(I(i,j)-I(i,j-1))}^2}+\underset{i=2}{\overset{M_1}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{N_1}{\mathrm{\&Sigma;}}}{(I(i,j)-I(i-1,j))}^2---\left(6\right)$

基于此，本发明提出的高频方向子带融合策略为公式(7)

$I_{l,k}^F(i,j)=\left\{\begin{array}{cc}{I}_{l,k}^{A^{\&prime;}}(i,j),& \mathrm{if\; Z}(i,j)=1\mathrm{and\; e}(i,j)=m_1{n}_1;\\ I_{l,k}^{B^{\&prime;}}(i,j),& \mathrm{ifZ}(i,j)=1\mathrm{ande}(i,j)=m_1{n}_1;\\ I_{l,k}^{A^{\&prime;}}(i,j),& \mathrm{if}0<e(i,j)<m_1{n}_1\mathrm{and}{\mathrm{SF}}_l^A(i,j)\&GreaterEqual;{\mathrm{SF}}_l^B(i,j);\\ I_{l,k}^{B^{\&prime;}}(i,j),& \mathrm{if}0<e(i,j)<m_1{n}_1\mathrm{and}{\mathrm{SF}}_l^A(i,j)<{\mathrm{SF}}_l^B(i,j).\end{array}\right.---\left(7\right)$

其中， $e(i,j)=\underset{k_1=-(m_1-1)/2}{\overset{(m_1-1)/2}{\mathrm{\&Sigma;}}}\underset{k_2=-(n_1-1)/2}{\overset{(n_1-1)/2}{\mathrm{\&Sigma;}}}Z(i+k_1,j+k),$

${\mathrm{SF}}_l^A(i,j)=\frac{\sqrt{\underset{k_1=-(m_1-1)/2}{\overset{(m_1-1)/2}{\mathrm{\&Sigma;}}}\underset{k_2=-(n_1-1)/2}{\overset{(n_1-1)/2}{\mathrm{\&Sigma;}}}(I_{l,k}^{A^{\&prime;}}(i,j)-I_{l,k}^{A^{\&prime;}}(i,j-1))+\underset{k_1=-(m_1-1)/2}{\overset{(m_1-1)/2}{\mathrm{\&Sigma;}}}\underset{k_2=-(n_1-1)/2}{\overset{(n_1-1)/2}{\mathrm{\&Sigma;}}}(I_{l,k}^{A^{\&prime;}}(i,j)-I_{l,k}^{A^{\&prime;}}(i-1,j))}}{(2M_1+1)2(N_1+1)}$

${\mathrm{SF}}_l^B(i,j)=\frac{\sqrt{\underset{k_1=-(m_1-1)/2}{\overset{(m_1-1)/2}{\mathrm{\&Sigma;}}}\underset{k_2=-(n_1-1)/2}{\overset{(n_1-1)/2}{\mathrm{\&Sigma;}}}(I_{l,k}^{B^{\&prime;}}(i,j)-I_{l,k}^{B^{\&prime;}}(i,j-1))+\underset{k_1=-(m_1-1)/2}{\overset{(m_1-1)/2}{\mathrm{\&Sigma;}}}\underset{k_2=-(n_1-1)/2}{\overset{(n_1-1)/2}{\mathrm{\&Sigma;}}}(I_{l,k}^{B^{\&prime;}}(i,j)-I_{l,k}^{B^{\&prime;}}(i-1,j))}}{(2M_1+1)2(N_1+1)}$

根据上述融合策略，经过NSCT逆变换得到图像即为融合图像。

本发明首先应用NSCT变换确定初始融合图像，并采用均方根误差法对多聚焦图像进行融合区域划分，在此基础上设计了低频子带和高频方向子带的融合规则，最后通过拟NSCT变换得到最终的融合图像。实验结果表明，本发明方法是非常有效，并且融合后的图像符合人眼视觉效果。

附图说明

图1是本发明的流程图；

图2是本发明中初始融合图像的获取流程图；

图3是不同融合方法下多聚焦图像融合效果图，其中：图3(a)为左聚焦图像；图3(b)为右聚焦图像；图3(c)为基于DWT的图像融合效果图；图3(d)为基于Contourlet的图像融合效果图；图3(e)为基于LSWT的图像融合效果图；图3(f)为基于NSCT的图像融合效果图；图3(g)为本发明的图像融合效果图。

具体实施方式

参照图1，本发明的具体过程包括：

步骤1：对图像A和图像B进行均值滤波，分别得到滤波后的图像A′和B′；

步骤2：分别采用NSCT变换将图像A′和B′进行分解，得到图像A′的低频子带和高频方向子带

同时得到图像B′的低频自带和高频方向子带

并应用公式(1)和公式(2)确定初始融合图像的低频子带和高频方向子带的融合规则，并应用拟NSCT建立初始融合图像F(具体流程图见图2)；

步骤3：应用均方根误差提取初始融合图像F的融合区域；

步骤4：应用公式(5)和公式(7)分别建立低频子带和高频方向子带的融合规则；

步骤5：采用拟NSCT变换重构图像，该图像为融合图像。

为了验证本发明算法的性能，对多聚焦图像进行融合实验。实验中，除了视觉效果以外，还采用互信息(MI)和Q^AB/F作为客观评价指标，其中MI用来度量源图像有多少信息转移到融合结果中，Q^AB/F是利用Sobel边缘检测来衡量有多少边缘细节信息从源图像转移到融合图像。二者的值越大，说明融合的效果越好。

本实验分别采用基于DWT的图像融合算法、基于Contourlet的图像融合算法、基于LSWT的图像融合算法、基于NSCT的图像融合算法和本发明进行多聚焦图像融合，融合结果见图3和表1所示。

表1不同融合方法性能评价比较

不论从图3还是表1可以看出，本发明算法的融合效果非常有效，并与视觉上所得出的结论是一致的。

Claims (1)

1.一种基于NSCT的多聚焦图像融合算法，包括如下过程：

步骤1：初始融合图像的获得

1)采用均值滤波器对两幅多聚焦图像A和B进行滤波处理，得到滤波后的多聚焦图像，分别记为A′和B′；

2)应用NSCT变换将图像A′和图像B′进行分解，得到两图像分解后的低频系数为

和

高频系数为

和其中l为尺度分解数，k为方向分解级数；

3)采用均值法和绝对值最大法分别作为低频子带和高频方向子带的融合规则，具体见公式(1)和公式(2)；

$I_F^L(i,j)=\frac{I_l^{A^{\&prime;}}(i,j)+I_l^{B^{\&prime;}}(i,j)}{2}---\left(1\right)$

$I_{l,k}^F(i,j)=\left\{\begin{array}{c}{I}_{l,k}^{A^{\&prime;}}(i,j),\mathrm{if}\left|I_{l,k}^{A^{\&prime;}}(i,j)\right|\&GreaterEqual;\left|I_{l,k}^{B^{\&prime;}}(i,j)\right|\\ I_{l,k}^{B^{\&prime;}}(i,j),\mathrm{if}\left|I_{l,k}^{A^{\&prime;}}(i,j)\right|<\left|I_{l,k}^{B^{\&prime;}}(i,j)\right|\end{array}\right.---\left(2\right)$

4)根据上述融合策略，经过NSCT逆变换重构图像，即为初始融合图像F。

步骤2：融合区域的提取

应用公式(3)计算初始融合图像F和多聚焦图像A′、B′之间在像素点(x，y)的均方根误差，分别记为RMSE_A′(i，j)和RMSE_B′(i，j)，由此应用公式(4)确定标识矩阵Z，提取初始融合图像的融合区域。

${\mathrm{RMSE}}_{A^{\&prime;}}(i,j)={\left(\frac{\underset{a=-M}{\overset{M}{\mathrm{\&Sigma;}}}\underset{b=-N}{\overset{N}{\mathrm{\&Sigma;}}}{(I_F(i+a,j+b)-I_{A^{\&prime;}}(i+a,j+b))}^2}{(2M+1)(2N+1)}\right)}^{1/2}$ (3)

${\mathrm{RMSE}}_{B^{\&prime;}}(i,j)={\left(\frac{\underset{a=-M}{\overset{M}{\mathrm{\&Sigma;}}}\underset{b=-N}{\overset{N}{\mathrm{\&Sigma;}}}{(I_F(i+a,j+b)-I_{B^{\&prime;}}(i+a,j+b))}^2}{(2M+1)(2N+1)}\right)}^{1/2}$

$z(i,j)=\left\{\begin{array}{cc}1,& \mathrm{if}{\mathrm{RMSE}}_{A^{\&prime;}}(i,j)<{\mathrm{RMSE}}_{B^{\&prime;}}(i,j)\\ 0,& \mathrm{if}{\mathrm{RMSE}}_{A^{\&prime;}}(i,j)\&GreaterEqual;{\mathrm{RMSE}}_{B^{\&prime;}}(i,j)\end{array}\right.---\left(4\right)$

步骤3：建立融合规则

本发明在窗口大小为m₁×n₁上确定低频子带和高频方向子带的融合规则。具体如下：

1)低频子带的融合策略

$I_L^F(i,j)=\left\{\begin{array}{cc}{I}_L^{A^{\&prime;}}(i,j),& \mathrm{if\; Z}(i,j)=1\mathrm{and\; e}(i,j)=m_1{n}_1;\\ I_L^{B^{\&prime;}}(i,j),& \mathrm{ifZ}(i,j)=1\mathrm{ande}(i,j)=m_1{n}_1;\\ I_L^{A^{\&prime;}}(i,j),& \mathrm{if}0<e(i,j)<m_1{n}_1\mathrm{and}{\mathrm{VI}}_l^A(i,j)\&GreaterEqual;{\mathrm{VI}}_l^B(i,j);\\ I_L^{B^{\&prime;}}(i,j),& \mathrm{if}0<e(i,j)<m_1{n}_1\mathrm{and}{\mathrm{VI}}_l^A(i,j)<{\mathrm{VI}}_l^B(i,j).\end{array}\right.$

其中， $e(i,j)=\underset{k_1=-(m_1-1)/2}{\overset{(m_1-1)/2}{\mathrm{\&Sigma;}}}\underset{k_2=-(n_1-1)/2}{\overset{(n_1-1)/2}{\mathrm{\&Sigma;}}}Z(i+k_1,j+k_2);$

${\mathrm{VI}}_l^{A^{\&prime;}}=\frac{1}{(2m_1+1)(2n_1+1)}\underset{k_1=-(m_1-1)/2}{\overset{(m_1-1)/2}{\mathrm{\&Sigma;}}}\underset{k_2=-(n_1-1)/2}{\overset{(n_1-1)/2}{\mathrm{\&Sigma;}}}\frac{|I_l^{A^{\&prime;}}(i+k_1,j+k_2)-\stackrel{\&OverBar;}{I_l^{A^{\&prime;}}}(i,j)|}{\stackrel{\&OverBar;}{I_l^{A^{\&prime;}}}{(i,j)}^{\mathrm{\&alpha;}+1}};$

${\mathrm{VI}}_l^{B^{\&prime;}}=\frac{1}{(2m_1+1)(2n_1+1)}\underset{k_1=-(m_1-1)/2}{\overset{(m_1-1)/2}{\mathrm{\&Sigma;}}}\underset{k_2=-(n_1-1)/2}{\overset{(n_1-1)/2}{\mathrm{\&Sigma;}}}\frac{|I_l^{B^{\&prime;}}(i+k_1,j+k_2)-\stackrel{\&OverBar;}{I_l^{B^{\&prime;}}}(i,j)|}{\stackrel{\&OverBar;}{I_l^{B^{\&prime;}}}{(i,j)}^{\mathrm{\&alpha;}+1}}.$

2)高频方向子带的融合策略

$I_{l,k}^F(i,j)=\left\{\begin{array}{cc}{I}_{l,k}^{A^{\&prime;}}(i,j),& \mathrm{if\; Z}(i,j)=1\mathrm{and\; e}(i,j)=m_1{n}_1;\\ I_{l,k}^{B^{\&prime;}}(i,j),& \mathrm{ifZ}(i,j)=1\mathrm{ande}(i,j)=m_1{n}_1;\\ I_{l,k}^{A^{\&prime;}}(i,j),& \mathrm{if}0<e(i,j)<m_1{n}_1\mathrm{and}{\mathrm{SF}}_l^A(i,j)\&GreaterEqual;{\mathrm{SF}}_l^B(i,j);\\ I_{l,k}^{B^{\&prime;}}(i,j),& \mathrm{if}0<e(i,j)<m_1{n}_1\mathrm{and}{\mathrm{SF}}_l^A(i,j)<{\mathrm{SF}}_l^B(i,j).\end{array}\right.$

其中， $e(i,j)=\underset{k_1=-(m_1-1)/2}{\overset{(m_1-1)/2}{\mathrm{\&Sigma;}}}\underset{k_2=-(n_1-1)/2}{\overset{(n_1-1)/2}{\mathrm{\&Sigma;}}}Z(i+k_1,j+k),$

${\mathrm{SF}}_l^A(i,j)=\frac{\sqrt{\underset{k_1=-(m_1-1)/2}{\overset{(m_1-1)/2}{\mathrm{\&Sigma;}}}\underset{k_2=-(n_1-1)/2}{\overset{(n_1-1)/2}{\mathrm{\&Sigma;}}}(I_{l,k}^{A^{\&prime;}}(i,j)-I_{l,k}^{A^{\&prime;}}(i,j-1))+\underset{k_1=-(m_1-1)/2}{\overset{(m_1-1)/2}{\mathrm{\&Sigma;}}}\underset{k_2=-(n_1-1)/2}{\overset{(n_1-1)/2}{\mathrm{\&Sigma;}}}(I_{l,k}^{A^{\&prime;}}(i,j)-I_{l,k}^{A^{\&prime;}}(i-1,j))}}{(2M_1+1)2(N_1+1)}$

${\mathrm{SF}}_l^B(i,j)=\frac{\sqrt{\underset{k_1=-(m_1-1)/2}{\overset{(m_1-1)/2}{\mathrm{\&Sigma;}}}\underset{k_2=-(n_1-1)/2}{\overset{(n_1-1)/2}{\mathrm{\&Sigma;}}}(I_{l,k}^{B^{\&prime;}}(i,j)-I_{l,k}^{B^{\&prime;}}(i,j-1))+\underset{k_1=-(m_1-1)/2}{\overset{(m_1-1)/2}{\mathrm{\&Sigma;}}}\underset{k_2=-(n_1-1)/2}{\overset{(n_1-1)/2}{\mathrm{\&Sigma;}}}(I_{l,k}^{B^{\&prime;}}(i,j)-I_{l,k}^{B^{\&prime;}}(i-1,j))}}{(2M_1+1)2(N_1+1)}$

步骤4：融合图像的获得

根据上述融合策略，经过NSCT逆变换得到图像即为融合图像。

Images