CN104268847A - 一种基于交互非局部均值滤波的红外与可见光图像融合方法 - Google Patents

Abstract

本发明涉及一种基于交互非局部均值滤波的红外与可见光图像融合方法，主要解决现有红外与可见光图像融合方法获得融合图像的清晰度、对比度、空间分辨率低等问题。其实现步骤为：(1)对输入的红外与可见光图像进行交互非局部均值滤波获得基层图像；(2)对红外与可见光图像与其基层图像相减得到红外与可见光图像的细节图像；(3)计算细节图像的邻域窗口统计特性得到红外与可见光图像的融合权重图；(4)将红外与可见光图像的融合权重图分别作用于红外与可见光图像，并对经融合权重图作用的红外图像与可见光图像进行加权融合便获得融合图像。本发明采用的基于交互非局部均值滤波的红外与可见光图像融合方法能获得清晰度、对比度、空间分辨率高的融合图像，融合效果好，可用于人类视觉和机器认知等领域。

Description

一种基于交互非局部均值滤波的红外与可见光图像融合方法

技术领域

本发明属于图像融合处理技术领域，具体涉及一种基于交互非局部均值滤波的红外与可见光图像融合方法。

背景技术

图像融合是将两个或多个传感器获得的同一场景的图像信息有机整合的技术，融合图像更有利于人类与机器视觉感知和其它图像处理任务，如：图像增强、人脸识别、特征提取和目标检测等。由于图像融合技术可以丰富图像的信息及视觉效果，因此，图像融合被广泛应用于计算机视觉、医学成像、遥感测量等领域。

从二十世纪八十年代开始，多传感器图像融合已引起了广泛的兴趣和研究热潮，其在机器学习、遥感、计算机视觉、医学图像处理以及军事应用中有着广泛的应用前景。经过近三十年的发展，图像融合技术已形成了一定的规模，国内外也都开发出许多用于不同领域的融合系统，但是，这并不意味着图像融合技术已相当成熟了。从国内外目前的研究情况来看，图像融合技术在理论和技术方面均存在有待解决的问题。与国外相比，国内开展图像融合研究工作起步较晚，尽管国内近几年在图像融合方面的研究取得了较大的成就；但是，相比国外仍处于较落后的状态。因此，急需我们对图像融合进行广泛深入的基础理论和基础技术的研究。

随着新的信息理论的不断发展及国外内学者对图像融合不断深入全面地研究，图像融合研究取得了较大的进步。近年来，国内外学者提出了许多图像融合方法，其中，基于多尺度变换的图像融合方法是目前被广泛采用的方法，如文章《Image sequence fusion using a shift-invariant wavelet transform》，ImageProcessing，1997.Proceedings.，International Conference on.IEEE，1997，3：288-291，因为小波变换不能很好地捕捉图像的边缘和纹理信息，而且，该方法用简单的系数绝对值取大的融合规则，得到的融合图像效果不理想。此后，Kor S等人便提出了基于提升小波变换的特征级图像融合方法，参见文章《Feature levelfusion of multimodal medical images in lifting wavelet transform domain》，Engineering in Medicine and Biology Society，2004.IEMBS′04.26th AnnualInternational Conference ofthe IEEE.IEEE，2004，1：1479-1482，该方法通过计算小波变换系数的梯度，并通过比较两幅图像的小波变换系数梯度之差与设定的阈值的大小来确定融合系数，该方法所得到的融合图像尽管效果有所改善，但是，还是难以满足要求。随着非下采样轮廓波变换(NSCT)的兴起，学者们已将NSCT应用于图像融合中，参见《Image fusion based on nonsubsampled contourlettransform for infrared and visible light image》，Infrared Physics & Technology，2013，61：94-100.该方法获得的融合图像细节较丰富，纹理较清晰，视觉效果优于前两种方法，这是由于NSCT具有：(1)高度冗余性，与有用信息有关的NSCT系数在各个细节子带内呈现稀疏性分布；(2)NSCT采用的是具有各向异性的Contourlet基，是的各个细节子带“描述”的是源图像在不同方向上的细节信息，因此具有多方向选择性；而且，这种基于NSCT的图像融合方法对低频子带系数和带通方向子带系数分别采用基于区域视觉特性和交互梯度融合规则。但NSCT也有自身的不足：由于NSCT采用的方向滤波器为扇形滤波器的非下采样滤波器组，通过此滤波器获得带通方向子带系数；从而使得基于NSCT的图像融合方法的计算量较大，不利于实际应用；而且融合图像的清晰度、空间分辨率等依然相对较低，整体效果还是不尽如人意。

发明内容

本发明的目的在于针对上述现有方法的不足，提出一种基于交互非局部均值滤波的红外与可见光图像融合方法，以实现融合权重的自适应性、融合图像的清晰度与空间分辨率等，以得到图像质量更好的融合图像。

实现本发明的技术关键在于直接红外图像与可见光图像进行融合，节省了存储空间，通过计算红外图像与可见光图像的细节图像邻域窗口统计特性得到具有自适应性的红外与可见光图像融合权重图，整个过程分为四大部分。首先，对红外图像与可见光图像分别进行交互非局部均值滤波获取红外图像与可见光图像的基层图像；其次，将红外图像与可见光图像与其基层图像相减获得对应的细节图像；再次，分别计算红外图像与可见光图像的细节图像邻域窗口统计特性得到具有自适应性的红外图像与可见光图像的融合权重图；最后，将红外图像与可见光图像的融合权重图分别作用于红外图像与可见光图像，并对经融合权重作用的红外图像与可见光图像进行加权融合便得到融合图像。本发明方法的具体实现步骤如下：

(1)对输入的红外图像A和可见光图像B分别进行交互非局部均值滤波处理，得到基层图像B_A和B_B：

$B_A\left(p\right)=\underset{q\∈I}{\mathrm{\Σ}}{\mathrm{\ω}}_A(p,q)A\left(q\right)$

$B_B\left(p\right)=\underset{q\∈I}{\mathrm{\Σ}}{\mathrm{\ω}}_B(p,q)B\left(q\right)$

其中，

其中，为高斯核的标准差，k为滤波器参数，N_p与N_q分别表示图像A中位置为p和q的相似窗口，M_p与M_q分别表示图像B中位置为p和q的相似窗口，I(N_p)与I(N_q)分别表示图像A中的邻域N_p与N_q的灰度值，I(M_p)与I(M_q)分别表示图像B中的邻域M_p与M_q的灰度值。

(2)将红外图像A与可见光图像B分别与其基层图像B_A和B_B相减获得红外图像与可见光图像的细节图像D_A与D_B：

D_A＝A-B_A

D_B＝B-B_B

(3)计算细节图像D_A和D_B的邻域窗口统计特性获得对应红外图像A与可见光图像B的融合权重图ξ_A与ξ_B；

(3a)确定红外图像A和可见光图像B的像素位置(m，n)以及邻域窗口的大小ψ×ψ，构造矩阵M，其中，矩阵M中对应位置的元素为红外图像A(或可见光图像B)像素位置(m，n)的大小为ψ×ψ的邻域窗口图像块中像素值。

(3b)将矩阵M的行与列对应的数值分别记为观测值与变量值，计算矩阵M的协方差矩阵行的无偏估计值U_H，通过如下公式计算：

$U_H=\frac{\underset{i=1}{\overset{\mathrm{\ψ}}{\mathrm{\Σ}}}(a_i-\stackrel{\‾}{a}){(a_i-\stackrel{\‾}{a})}^T}{\mathrm{\ψ}-1}$

cov(M)＝E((M-E(M))(M-E(M))^T)

其中，a_i为ψ空间变量的第i个观测值，是观测值的均值，cov(M)为矩阵M的协方差矩阵。

(3c)确定矩阵U_H的特征值，由于矩阵M的大小为ψ×ψ，所以矩阵M有ψ个特征值，这些特征值的和正比于邻域窗口图像块的水平细节强度，将这些特征值的和记为DST_H，是通过如下公式计算：

${\mathrm{DST}}_H(m,n)=\underset{i}{\overset{\mathrm{\ψ}}{\mathrm{\Σ}}}{\mathrm{\λ}}_i$

其中，λ_i是矩阵U_H的第i个特征值。

(3d)同理有，将矩阵M的每一列与每一行分别看作一个观测值和一个变量，从而由矩阵M的协方差矩阵列的无偏估计值U_V的特征值的和获得垂直细节强度DST_V，是通过如下公式计算：

${\mathrm{DST}}_V(m,n)=\underset{i}{\overset{\mathrm{\ψ}}{\mathrm{\Σ}}}{\mathrm{\ζ}}_i$

其中，ζ_i是矩阵U_V的第i个特征值。

(3e)通过DST_H和DST_V计算红外图像A与可见光图像B的融合权重图ξ_A与ξ_B，是通过如下公式计算：

ξ_A(m，n)＝DST_H[A](m，n)+DST_V[A](m，n)

ξ_B(m，n)＝DST_H[B](m，n)+DST_V[B](m，n)

其中，A、B分别为红外图像与可见光图像，(m，n)为图像的空间位置。

(4)将融合权重图ξ_A与ξ_B分别作用于红外图像A与可见光图像B，并对这两幅经融合权重图作用的图像进行加权融合，获得最终的融合图像F，是通过如下公式计算：

$F(m,n)=\frac{{\mathrm{\ξ}}_A(m,n)A(m,n)+{\mathrm{\ξ}}_B(m,n)B(m,n)}{{\mathrm{\ξ}}_A(m,n)+{\mathrm{\ξ}}_B(m,n)}$

其中，(m，n)为图像的空间位置。

本发明由于采用了交互非局部均值滤波理论来获取红外图像与可见光图像的细节图像，并通过计算细节图像的邻域窗口统计特性来获得具有自适应性的红外与可见光图像的融合权重图，所以与传统的图像融合方法相比，本发明具有以下优点：

1.不需要对红外图像与可见光图像进行多尺度分解，节省存储空间；

2.通过计算红外图像与可见光图像的细节图像邻域窗口统计特性来获得具有自适应性的红外与可见光图像的融合权重图；

3.利用红外图像的特性来确定对可见光图像进行非局部均值滤波的滤波核、利用可见光图像的特性来确定对红外图像进行非局部均值滤波的滤波核，这样能获得更好的细节图像，从而获得更优的自适应融合权重，以便有效地提升融合图像的清晰度、空间分辨率等，得到融合效果更好的图像。

仿真实验证明，本发明对红外图像与可见光图像融合问题，融合图像较清晰，视觉效果较好，客观评价指标较优，是一种有效可行的图像融合方法。

附图说明

图1为本发明的整体流程图。

图2为本发明使用的两组红外图像与可见光图像的源图像。

图3为本发明与现有三种图像融合方法对红外与可见光UNcamp图像进行融合的结果图。

图4为本发明与现有三种图像融合方法对红外与可见光City图像进行融合结果图。

具体实施方式

下面结合具体实施方式对本发明进行详细的说明。

本发明所涉及的基于交互非局部均值滤波的红外与可见光图像融合方法，是利用交互非局部均值分别对红外图像与可见光图像进行滤波，并将红外图像与可见光图像分别与其滤波后的图像相减获得细节图像，以减少内存空间；通过分别计算红外图像与可见光图像的细节图像领域窗口统计特性来获得红外与可见光图像融合权重图来实现图像融合的自适应性和融合图像的质量，整个过程分为四大部分。

首先，对红外图像A与可见光图像B分别进行交互非局部均值(C-NLM)滤波，获得红外像图A与可见光图像B的基层图像B_A与B_B；其次，将红外图像A与可见光图像B与基层图像B_A与B_B相减获得红外图像A与可见光图像B的细节图像D_A和D_B；再次，计算细节图像D_A和D_B的邻域窗口统计特性图，即得到红外图像A与可见光图像B的融合权重图ξ_A与ξ_B；最后，将融合权重图ξ_A与ξ_B分别作用于红外图像A与可见光图像B，并对经融合权重作用的红外图像与可见光图像进行加权融合，便得到融合图像F，具体由以下步骤实现：

步骤一：对输入的红外图像A和可见光图像B分别进行交互非局部均值滤波处理，得到红外图像A与可见光图像B的基层图像B_A与B_B：

$B_A\left(p\right)=\underset{q\∈I}{\mathrm{\Σ}}{\mathrm{\ω}}_A(p,q)A\left(q\right)$

$B_B\left(p\right)=\underset{q\∈I}{\mathrm{\Σ}}{\mathrm{\ω}}_B(p,q)B\left(q\right)$

其中，

其中，为高斯核的标准差，k为滤波器参数，N_p与N_q分别表示图像A中位置为p和q的相似窗口，M_p与M_q分别表示图像B中位置为p和q的相似窗口，I(N_p)与I(N_q)分别表示图像A中的邻域N_p与N_q的灰度值，I(M_p)与I(M_q)分别表示图像B中的邻域M_p与M_q的灰度值。

交互非局部均值滤波是利用自然图像冗余度较高的特点，鉴于自然图像中的每个小窗口都有许多与其相似的窗口，交互非局部均值滤波通过从相似窗口中预测当前位置的像素值，在平滑图像的同时能够保持图像中景物重要特征和细微结构。因此，对图像进行交互非局部均值滤波得到滤波图像，并通过原图像与滤波后的图像相减得到细节图像，能够很好地表达对应原图像的显著特征。

步骤二：将红外图像A与可见光图像B分别与基层图B_A与B_B相减，便获得红外图像A与可见光图像B的细节图像D_A与D_B：

D_A＝A-B_A

D_B＝B-B_B

步骤三：计算细节图像D_A与D_B的邻域窗口统计特性得到红外图像A与可见光图像B的融合权重图ξ_A与ξ_B，具体过程如下：

(1)确定红外图像A与可见光图像B的像素位置(m，n)以及邻域窗口的大小ψ×ψ，构造矩阵M，其中，矩阵M中对应位置的元素为红外图像A(或可见光图像B)的像素位置(m，n)的大小为ψ×ψ的邻域窗口的图像块中像素值。

(2)将矩阵M行与列对应的数值分别记为观测值与变量值，计算矩阵M的协方差矩阵的行的无偏估计值U_H，通过如下公式计算：

$U_H=\frac{\underset{i=1}{\overset{\mathrm{\ψ}}{\mathrm{\Σ}}}(a_i-\stackrel{\‾}{a}){(a_i-\stackrel{\‾}{a})}^T}{\mathrm{\ψ}-1}$

cov(M)＝E((M-E(M))(M-E(M))^T)

其中，a_i为ψ空间变量的第i个观测值，是观测值的均值，cov(M)为矩阵M的协方差矩阵。

(3)确定矩阵U_H的特征值，由于矩阵M的大小为ψ×ψ，所以矩阵M有ψ个特征值，这些特征值的和正比于邻域窗口图像块的水平细节强度，将这些特征值的和记为DST_H，其通过如下计算：

${\mathrm{DST}}_H(m,n)=\underset{i}{\overset{\mathrm{\ψ}}{\mathrm{\Σ}}}{\mathrm{\λ}}_i$

其中，λ_i是矩阵U_H的第i个特征值。

(4)同理有，把矩阵M的每一列与每一行分别看作一个观测值和一个变量，从而由矩阵M的协方差矩阵列的无偏估计值U_V的特征值的和获得垂直细节强度DST_V，是通过如下公式计算：

${\mathrm{DST}}_V(m,n)=\underset{i}{\overset{\mathrm{\ψ}}{\mathrm{\Σ}}}{\mathrm{\ζ}}_i$

其中，ζ_i是矩阵U_V的第i个特征值。

(5)利用DST_H和DST_V计算红外图像A与可见光图像B的融合图像的权重图ξ_A与ξ_B，是通过如下公式计算：

ξ_A(m，n)＝DST_H[A](m，n)+DST_V[A](m，n)

ξ_B(m，n)＝DST_H[B](m，n)+DST_V[B](m，n)

其中，A、B分别为红外图像与可见光图像，(m，n)为图像的空间位置。

步骤四：对红外图像A与可见光图像B进行融合。将步骤3所获得的红外图像A与可见光图像B的融合权重图ξ_A与ξ_B分别作用于红外图像A与可见光图像B，便得到融合图像F，是通过如下公式计算：

$F(m,n)=\frac{{\mathrm{\ξ}}_A(m,n)A(m,n)+{\mathrm{\ξ}}_B(m,n)B(m,n)}{{\mathrm{\ξ}}_A(m,n)+{\mathrm{\ξ}}_B(m,n)}$

其中，(m，n)图像的空间位置。

本发明的效果可以通过仿真实验具体说明：

1.实验条件

实验中采用的图像数据是两组已配准的红外与可见光图像，大小分别320×240与320×320，两组红外与可见光图像均来源于http：//www.imagefusion.org，第一组为UNcamp图像，如图2(a)和图2(b)分别为红外与可见光图像；第二组为City图像，如图2(c)和图2(d)分别为红外与可见光图像。

2.实验内容

实验1，用本发明的方法和现有的三种融合方法对UNcamp图像进行融合实验，融合结果如图3，其中图3(a)为文章《Image sequence fusion using ashift-invariant wavelet transform》，Image Processing，1997.Proceedings.，International Conference on.IEEE，1997，3：288-291.图3(b)为文章《Feature levelfusion of multimodal medical images in lifting wavelet transform domain》，Engineering in Medicine and Biology Society，2004.IEMBS′04.26th AnnualInternational Conference of the IEEE.IEEE，2004，1：1479-1482.图3(c)为文章《Image fusion based on nonsubsampled contourlet transform for infrared and visiblelight image》，Infrared Physics & Technology，2013，61：94-100.图3(d)为本发明的图像融合结果图。

从图3可见，本发明的融合方法和现有的三种融合方法相比，视觉效果更高、目标和场景都更清晰，文章《Image sequence fusion using a shift-invariant wavelettransform》，Image Processing，1997.Proceedings.，International Conference on.IEEE，1997，3：288-291与文章《Feature level fusion ofmultimodal medical images in liftingwavelet transform domain》，Engineering in Medicine and Biology Society，2004.IEMBS′04.26th Annual International Conference of the IEEE.IEEE，2004，1：1479-1482的融合方法的融合结果中的目标和场景均比较模糊，文章《Imagefusion based on nonsubsampled contourlet transform for infrared and visible lightimage》，Infrared Physics&Technology，2013，61：94-100的融合方法的融合结果中场景较模糊，且与本发明方法相比对比度较低，视觉效果较差。

实验2，用本发明的方法和现有的三种融合方法对City图像进行融合实验，融合结果如图4，其中图4(a)为文章《Image sequence fusion using a shift-invariantwavelet transform》，Image Processing，1997.Proceedings.International Conferenceon.IEEE，1997，3：288-291.图4(b)为文章《Feature level fusion ofmultimodalmedical images in lifting wavelet transform domain》，Engineering in Medicine andBiology Society，2004.IEMBS′04.26th Annual International Conference ofthe IEEE.IEEE，2004，1：1479-1482.图4(c)为文章《Image fusion based on nonsubsampledcontourlet transform for infrared and visible light image》，Infrared Physics &Technology，2013，61：94-100.图4(d)为本发明的图像融合结果图。

从图4可见，本发明的融合方法和现有的三种融合方法相比，视觉效果更高、目标(车、人等)和场景都较清晰，文章《Image sequence fusion using ashift-invariant wavelet transform》，Image Processing，1997.Proceedings.，International Conference on.IEEE，1997，3：288-291与文章《Feature level fusion ofmultimodal medical images in lifting wavelet transform domain》，Engineering inMedicine and Biology Society，2004.IEMBS′04.26th Annual InternationalConference ofthe IEEE.IEEE，2004，1：1479-1482的融合方法的融合结果中目标(车、人等)和场景均较模糊、融合结果的对比度较低，文章《Image fusionbasedon nonsubsampled contourlet transform for infrared and visible light image》，InfraredPhysics & Technology，2013，61：94-100的融合方法的融合结果目标较清晰且与本发明方法相比，场景较模糊，视觉效果较差。

将本发明的融合方法与文章《Image sequence fusion using a shift-invariantwavelet transform》，Image Processing，1997.Proceedings.，International Conferenceon.IEEE，1997，3：288-291.的融合方法、文章《Feature level fusion ofmultimodalmedical images in lifting wavelet transform domain》，Engineering in Medicine andBiology Society，2004.IEMBS′04.26th Annual International Conference ofthe IEEE.IEEE，2004，1：1479-1482.的融合方法、文章《Image fusion based on nonsubsampledcontourlet transform for infrared and visible light image》，Infrared Physics &Technology，2013，61：94-100.的融合方法在五种图像质量评价指标上进行比较，来客观评价本发明的效果。四种融合方法在第一组UNcamp、第二组City红外图像与可见光图像上的融合客观评价指标如表1与表2：

表1 第一组红外图像与可见光图像融合客观评价指标

Method	SP	AG	Entropy	SF	QAB/F
						SWT	4.4690	6.6165	6.2542	7.9955	0.6094
LWT	4.7051	6.8247	6.2534	8.3068	0.6167
						NSCT	4.9635	7.3290	6.5355	8.9559	0.5767
Propose	6.7913	9.8390	6.4889	12.6753	0.6951

表2 第二组红外图像与可见光图像融合客观评价指标

Method	SP	AG	Entropy	SF	QAB/F
						LWT	4.9095	7.1925	6.8089	9.9120	0.6837
SWT	5.1218	7.5051	6.8079	10.4724	0.6900
						NSCT	6.5166	9.5320	7.1770	13.3889	0.6854
Propose	8.7335	12.6387	7.1285	17.1907	0.8275

表1与表2中：

SWT表示文章Rockinger O，“Image sequence fusion using a shift-invariantwavelet transform，”Image Processing，1997.Proceedings.，International Conferenceon.IEEE，1997，3：288-291.的融合方法。

LWT表示文章Kor S，Tiwary U，“Feature level fusion of multimodal medicalimages in lifting wavelet transform domain，”Engineering in Medicine and BiologySociety，2004.IEMBS′04.26th Annual International Conference of the IEEE.IEEE，2004，1：1479-1482.的融合方法。

NSCT表示文章Adu J，Gan J，Wang Y，et a1.Image fusion based onnonsubsampled contourlet transform for infrared and visible light image[J].InfraredPhysics & Technology，2013，61：94-100.的融合方法。

SP表示图像清晰度，AG表示平均梯度，Entropy表示信息熵，SF表示空间频率，Q^AB/F表示边缘保持度。

由表1可见，本发明的方法在四项指标上均明显优于上述的三篇文章的方法，另外一项指标也比较接近。

由表2可见，本发明的方法在四项指标上明显优于上述三篇文章的方法，另外一项项指标也差异较小。

上述实验证明，本发明提出的基于交互非局部均值滤波的红外与可见光图像融合方法对红外与可见光图像融合问题能取得较好的视觉效果。

本发明的内容不限于实施例所列举，本领域普通技术人员通过阅读本发明说明书而对本发明技术方案采取的任何等效的变换，均为本发明的权利要求所涵盖。

Claims (3)

1.一种基于交互非局部均值滤波的红外与可见光图像融合方法，其特征在于：

所述方法包括如下步骤：

(1)对输入的红外图像A和可见光图像B分别进行交互非局部均值滤波，获得红外与可见光图像的基层图像B_A与B_B；

(2)将红外图像A与可见光图像B分别与基层图像B_A与B_B相减，得到红外与可见光图像的细节图像D_A与D_B；

(3)计算细节图像的邻域窗口的统计特性获得红外与可见光图像的融合权重图ξ_A与ξ_B；

(4)将融合权重图ξ_A与ξ_B分别作用于红外图像A和可见光图像B，并对经融合权重图作用的红外图像与可见光图像进行加权融合，得到最终的融合图像F。

2.如权利要求1所述的一种基于交互非局部均值滤波的红外与可见光图像融合方法，其步骤(1)所述的采用交互非局部均值滤波对红外图像A和可见光图像B进行滤波处理，获得基层图像B_A与B_B，按如下步骤进行：

(2a)构造交互非局部均值滤波核：

其中，A与B分别为红外图像与可见光图像，为高斯核的标准差，k为滤波器参数，N_p与N_q分别表示红外图像A中位置为p和q的相似窗口，M_p与M_q分别表示可见光图像B中位置为p和q的相似窗口，I(N_p)与I(N_q)分别表示红外图像A中的邻域N_p与N_q的灰度值，I(M_p)与I(M_q)分别表示可见光图像B中的邻域M_p与M_q的灰度值；

(2b)计算红外图像A与可见光图像B的基层图像B_A与B_B，按如下公式计算：

$B_A\left(p\right)=\underset{q\∈I}{\mathrm{\Σ}}{\mathrm{\ω}}_A(p,q)A\left(q\right)$

$B_B\left(p\right)=\underset{q\∈I}{\mathrm{\Σ}}{\mathrm{\ω}}_B(p,q)B\left(q\right)$

3.如权利要求1所述的基于交互非局部均值滤波的红外与可见光图像融合方法，其中步骤(3)所述的通过计算红外A与可见光图像B的细节图像邻域窗口的统计特性获得源红外图像A与可见光图像B的融合权重图ξ_A与ξ_B，按照如下步骤进行：

(3a)确定红外图像A和可见光图像B的像素位置(m，n)以及其邻域窗口的大小ψ×ψ，构造矩阵M，其中，矩阵M中对应位置的元素为红外图像A(或可见光图像B)像素位置(m，n)的大小为ψ×ψ的邻域窗口图像块中像素值；

(3b)将矩阵M的行与列对应的数值分别记为观测值与变量值，计算矩阵M的协方差矩阵的行的无偏估计值U_H；

(3c)确定矩阵U_H的特征值，由于矩阵M的大小为ψ×ψ，所以矩阵M有ψ个特征值，这些特征值的和正比于邻域窗口图像块的水平细节强度，将这些特征值的和记为DST_H；

(3d)同理有，将矩阵M的每一列与每一行分别看作一个观测值和一个变量，从而由矩阵M的协方差矩阵列的无偏估计值U_V的特征值的和获得垂直细节强度DST_V；

(3e)通过DST_H和DST_V计算红外图像A与可见光图像B的融合权重ξ_A与ξ_B，是通过如下公式进行；

ξ_A(m，n)＝DST_H[A](m，n)+DST_V[A](m，n)

ξ_B(m，n)＝DST_H[B](m，n)+DST_V[B](m，n)

其中，A、B分别为红外图像与可见光图像，(m，n)为图像的空间位置。