CN110490914A - 一种基于亮度自适应和显著性检测的图像融合方法 - Google Patents

Abstract

本发明公开了一种基于亮度自适应和显著性检测的图像融合方法，包括以下步骤：采集红外图像和可见光图像并分别进行图像预处理和图像配准；利用灰度化处理后红外图像和可见光图像的直方图，确定亮度等级，图像像素显著性值统计并计算亮度权值；利用滚动引导滤波方法进行图像分解；定义像素显著性值，若干像素显著性值组合成显著性图；进行基层图像的融合和细节层图像的融合；将基层融合图像与细节层融合图像进行叠加得到最终图像融合结果。本发明通过对图像亮度进行分级，基于滚动引导滤波将待融合图像分解实现了对图像全局目标和细节的分别处理，利用亮度权值和显著性图融合基层图像，利用最小二乘法融合细节层图像，提高了图像的融合效果。

Description

一种基于亮度自适应和显著性检测的图像融合方法

技术领域

本发明涉及图像融合领域，更具体地，涉及一种基于亮度自适应和显著性检测的图像融合方法。

背景技术

随着人工智能的兴起，视觉图像处理在机器人技术中具有广泛的应用，可以通过匹配和距离计算进行场景识别和定位，再将图像数据的处理结果用于机器人控制。然而，由于可见光摄像头的成像原理，视觉传感器往往有一定的应用限制：(1)不能适应复杂环境应用，例如强曝光场景或复杂背景，通常只用于简单明亮的场景；(2)传统的图像处理无法判断图像灰度值的变化是由于场景变化还是由于同一场景中光变化引起的差异，因此不能适应光线突变的情况。当前的机器人在夜间工作中，可见光相机几乎完全失效。在昏暗的条件下，比如傍晚的办公室、居室等场景，图像灰度值偏暗，相机容易出现测量错误或识别失败。在复杂的背景环境中，若背景过于繁杂，目标物容易与背景混杂在一起，加大了目标提取的难度，更是难以保证视觉系统的稳定性。

针对上述情况，由于可见光摄像头和红外摄像头获取的图像信息存在一定的互补性，融合图像可以提高图像的理解能力和场景识别效果。近年来，在采用视觉显著性原理的图像融合研究中，有研究人员针对弱光环境，提出一种红外特征提取与背景重建和去除技术，在较快的时间内提取红外图像的重要亮部特征进行图像融合，但依然缺乏对两种图像特征差异的分析和图像细节的处理。还有研究者将潜在低秩表示(LatLRR)引入图像融合领域，将源图像分解为低秩部分和显着部分，分别融合后获得最终的融合图像。然而，针对复杂亮度的场景，当前的研究仍没有全面考虑到光照对图像特征的影响。

发明内容

本发明为克服上述现有技术中复杂亮度环境中红外图像和可见光图像的融合图像特征和图像细节处理不理想，融合效果不佳的缺陷，提供一种基于亮度自适应和显著性检测的图像融合方法用于提高在复杂亮度下图像的融合效果。

本发明的首要目的是为解决上述技术问题，本发明的技术方案如下：

一种基于亮度自适应和显著性检测的图像融合方法，包括以下步骤：

S1：采集红外图像和可见光图像并分别进行图像预处理，所述图像预处理流程依次包括：图像灰度化处理、图像增强处理、滤波去噪处理；

S2：将预处理后的红外图像和可见光图像进行图像配准；

S3：利用灰度化处理后红外图像和可见光图像的直方图，获取图像中设定比例的像素数目的像素值范围边界，记为thr值，利用thr值和预设的阈值规则确定亮度等级，根据图像像素显著性值统计，计算亮度权值Bw；

S4：利用滚动引导滤波方法分别对配准后的红外图像和可见光图像进行多尺度图像分解得到对应的基层图像和若干个细节层图像；

S5：分别利用红外图像的基层图像及可见光图像的基层图像中的像素对比度定义像素显著性值，若干像素显著性值组合成显著性图；

S6：基于红外图像的显著性图及亮度权值和可见光图像的显著性图及亮度权值进行红外图像和可见光图像的基层融合，基层融合图像记为BF；

S7：利用最小二乘法将红外图像的若干细节层与可见光图像的若干细节层融合,细节层融合图像记为D_j，其中，j表示细节层层数，红外图像的细节层层数与可见光细节层层数相等；

S8：将基层融合图像BF与细节层融合图像D_j进行叠加得到最终图像融合结果，记为F。

进一步地，步骤S2所述的图像配准具体为：将预处理后的红外图像和可见光图像通过平移、旋转和仿射变化，将红外和可见光图像调整到统一视角和尺寸。

进一步地，步骤S3利用灰度化处理后红外图像和可见光图像的直方图，获取图像中设定比例的像素数目的像素值范围边界，记为thr值，利用thr值和预设的阈值规则确定亮度等级，具体为：

设定图像总的像素数为N_pixel，从灰度值0开始往上计数，统计达到图像当前灰度值累积的像素数目，当像素数目达到图像中总像素数目的80％时，此时图像灰度值即为像素值范围边界，即为thr；

所述亮度等级分为三种，包括：明亮环境、昏暗环境、黑暗环境，当thr<20，定义为黑暗环境；当20≤thr＜180，定义为昏暗环境；当thr>180，定义为明亮环境。

进一步地，亮度权值Bw的表达式如下：

其中，v(i)表示像素值i的像素数目。

进一步地，所述滚动引导滤波方法包括高斯滤波和引导滤波，所述高斯滤波用于去除图像的小区域，实现图像去噪、去干扰；引导滤波用于进行迭代边缘修复，在去除图像中复杂小区域时，保证大区域边界的准确性。

进一步地，所述像素显著性值V(i)的定义公式如下：

其中，I_i和I_j分别表示像素i和j的像素值，P_j是j像素值的像素数目。

进一步地，基层融合图像BF的表达式如下：

BF＝Bw[1+(v₁-v₂)]·B₁+(1-BW)[1+(v₂-v₁)]·B₂

其中，Bw为亮度权值参数，B₁、B₂分别表示可见光图像和红外图像的基层图，v₁、v₂则分别表示可见光图像和红外图像的显著性图。

进一步地，利用最小二乘法将红外图像的若干细节层与可见光图像的若干细节层融合具体过程为：

设定红外图像细节层的融合系数DW，所述DW由红外图像细节层中像素值最大的一个像素决定，融合系数DW的计算公式如下：

其中，对于第j级细节层，d₁、d₂分别为可见光和红外图像的细节层像素值；可见光图像的融合系数为(1-DW)，对第j级的细节层进行融合得到细节层粗融合R的表达式如下：

获得粗融合结果R后，根据最小二乘法原理，设置loss函数，得到每级的最优细节层融合图像D_j，对于第j层细节层图像，loss函数如下所示：

其中，表示使得到的融合图像D接近粗融合的结果，为保留可见光图像的细节信息，λ是平衡参数，a_p表示第j层红外细节层图像像素和的逆，表达式如下：

其中，win为7x7的滑动窗口，ε为常量；最终图像融合结果F由基层融合图像BF和细节层融合图像D_j的叠加，表达式如下：

F＝BF+D₁+D₂+…+D_N

其中，D_j表示第j细节层图像，j表示细节层层数，j的取值1至N。

与现有技术相比，本发明技术方案的有益效果是：

本发明通过对图像亮度进行分级，基于滚动引导滤波将待融合图像分解实现了对图像全局目标和细节的分别处理，利用亮度权值和显著性图融合基层图像，利用最小二乘法融合细节层图像，提高了图像的融合效果。

附图说明

图1为本发明方法流程示意图。

图2为不同亮度环境下相机采集的可见光图像。

图3为不同亮度环境下相机采集的可见光图像对应直方图。

图4为基于滚动引导滤波的图像分解的流程图。

图5为图像融合效果对比图。

图6为图像客观质量评价结果对比柱状图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

实施例1

本发明基于亮度信息对场景识别的影响，定义了图像亮度等级，将图像分级处理，在不需要进行图像融合时节省计算时间；基于图像特性与环境亮度的关系，设计亮度权值函数优化基层融合，同时利用图像的显著性特征图，对图像基层整体对比度信息进行保留，并通过最小二乘法优化图像细节层的融合。

如图1所示，一种基于亮度自适应和显著性检测的图像融合方法，包括以下步骤：

S1：采集红外图像和可见光图像并分别进行图像预处理，所述图像预处理流程依次包括：图像灰度化处理、图像增强处理、滤波去噪处理；

需要说明的是，基于深度相机Kinect可以获取红外图像或可见光图像，利用可见光图像对机器人进行场景识别受到复杂亮度环境影响较大，而利用红外图像进行场景识别噪点较多，基于深度相机Kinect采集的图像需进行图像预处理。

对于可见光图像进行灰度处理后进行均衡化增强，使灰暗的可见光图像恢复出目标前景，有利于改善黑暗背景中的物体识别效果，可见光图像增强后再通过高斯滤波进行去噪处理。

对于红外图像的预处理流程与可见光图像的流程相同，不在赘述。

S2：将预处理后的红外图像和可见光图像进行图像配准；

需要说明的是，在进行图像融合之前进行图像配准势利眼图像的平移旋转和仿射变换将预处理后的红外图像和可见光图像调整为同一视角和尺寸。

S3：利用灰度化处理后红外图像和可见光图像的直方图，获取图像中设定比例的像素数目的像素值范围边界，记为thr值，利用thr值和预设的阈值规则确定亮度等级，根据图像像素显著性值统计，计算亮度权值Bw；

需要说明的是，针对复杂光线的亮度差异，通过直方图分布和像素值数目统计的方法，对环境光线进行评估。在较为黑暗的场景下，随着光线越弱，图像整体颜色越接近黑色，图像绝大多数像素的灰度值偏小，直方图分布集中于左侧适合直接使用红外图像进行识别；相对的，在明亮的场景下，图像像素的灰度值整体偏大，此时由于可见光图像拥有更为丰富的图像细节信息和对比度信息，可以直接使用可见光图像进行识别；在亮度一般或昏暗的情况下，使用本发明进行图像融合。

本发明通过对灰度化处理后红外图像和可见光图像的直方图统计，分析不同亮度下的灰度值分布并记录每个灰度值的像素数目，获取图像中设定比例的像素数目的像素值范围边界，记为thr值，利用thr值和预设的阈值规则确定亮度等级，更具体就是定义出需要进行融合的亮度条件与可见光图像像素值分布的关系，从而将Kinect相机获取的图像分为三个等级，分别进行相应处理。

本发明中，设定图像总的像素数为N_pixel，从灰度值0开始计数，统计达到当前灰度值累积的像素数目。设定图像80％以上的像素灰度值分布代表了图像像素值的综合分布，当像素累计达到总像素数目的80％阈值点时，此时图像灰度值即为像素值范围边界，记录此时的灰度值为thr，如下式(1)所示：

thr＝80％·N_{_pixel}

所述亮度等级分为三种，包括：明亮环境、昏暗环境、黑暗环境，当thr<20，定义为黑暗环境；当20≤thr<180，定义为昏暗环境；当thr>180，定义为明亮环境。

另一方面，本发明针对不同亮度图像的特性，提出了根据图像像素显著性的亮度统计方法，以自适应调整亮度融合权值。设定亮度权值Bw亮度权值为可见光图像和红外基层图像融合的权重参数，设计loss函数作为亮度参数函数，

亮度权值Bw的表达式如下：

其中，v(i)表示像素值i的像素数目。

需要说明的是，在同一室内场景，当可见光图像的整体像素值较大时，等价于此时场景光线较强，处于明亮环境中，则可见光图像的融合比重变大。当亮度一般时，Bw在0.5附近小幅度波动，保证融合权值在0.5左右，能在保留可见光信息的同时融入红外图像的显著性信息。

如图2所示，(a)表示明亮环境下相机采集的可见光图像、(b)表示昏暗环境下相机采集的可见光图像、(c)表示黑暗环境下相机采集的可见光图像；

如图3所示，(d)表示明亮环境下相机采集的可见光图像的直方图、(e)表示昏暗环境下相机采集的可见光图像的直方图、(f)表示黑暗环境下相机采集的可见光图像的直方图。

图4示出了基于滚动引导滤波的图像分解的流程图。

S4：利用滚动引导滤波方法分别对配准后的红外图像和可见光图像进行多尺度图像分解得到对应的基层图像和若干个细节层图像；

需要说明的是，所述滚动引导滤波方法包括高斯滤波和引导滤波，所述高斯滤波用于去除图像的小区域，实现图像去噪、去干扰；引导滤波用于进行迭代边缘修复，在去除图像中复杂小区域时，保证大区域边界的准确性。

其中，分解后的基层图像主要保留整幅图像的全局目标和对比度信息；细节层图像保留细节和纹理，能反映出图像的轮廓细节，去除繁杂的背景。本发明可在较好地保留图像信息的同时，对图像的边缘信息进行保留，能克服边缘附近的光晕问题。

S5：分别利用红外图像的基层图像及可见光图像的基层图像中的像素对比度定义像素显著性值，若干像素显著性值组合成显著性图；

所述像素显著性值V(i)的定义公式如下：

其中，I_i和I_j分别表示像素i和j的像素值，P_j是j像素值的像素数目。

S6：基于红外图像的显著性图及亮度权值和可见光图像的显著性图及亮度权值进行红外图像和可见光图像的基层融合，基层融合图像记为BF；

更具体地，基层融合图像BF的表达式如下：

BF＝Bw[1+(v₁-v₂)]·B₁+(1-BW)[1+(v₂-v₁)]·B₂

其中，Bw为亮度权值参数，B₁、B₂分别表示可见光图像和红外图像的基层图，v₁、v₂则分别表示可见光图像和红外图像的显著性图。

需要说明的是，基层图像的融合结果BF是由可见光图像的亮度和可见光、红外图像的显著性值共同决定的。在图像亮度方面，若可见光图像的亮度权值较大，则B₁的融合权重增大；否则，红外基层图像B₂的融合权重会增大。另一方面，如果v₁大于v₂，可见光图像像素显著性值更大，基层融合权重增加，BF将融合更多来自B₁的图像信息；否则，说明红外图像的显著性特征在融合图像中占比更大，BF将融合更多来自B₂的图像信息。

S7：利用最小二乘法将红外图像的若干细节层与可见光图像的若干细节层融合,细节层融合图像记为D_j，其中，j表示细节层层数，红外图像的细节层层数与可见光细节层层数相等；

更具体地，本发明中图像细节层去除了复杂的背景干扰，保留图像的轮廓信息，其有效融合能够将图像的前景物体突出显示，有利于目标识别的实现。细节层的融合可以采用传统的绝对最大法则，即：对比两张图像每级的细节层图像，本发明定义红外图像细节层的融合系数DW，所述DW由红外图像细节层中像素值最大的一个像素决定。

融合系数DW计算公式如下：

其中，对于第j级细节层，d₁、d₂分别为可见光和红外图像的细节层像素值；若红外图像细节层轮廓信息多的地方，融合系数DW取1，否则取0。相对应的，可见光图像融合系数为(1-DW)，对第j级的细节层进行融合得到细节层粗融合R的表达式如下：

需要说明的是，基于红外摄像头的成像原理，红外图像提出只能显示粗糙的外轮廓信息，细节信息较为缺乏，且存在比较严重的斑点噪声。若不考可见光图像和红外图像之间的特征差异，单纯采用绝对最大法则获得细节层融合图像，会导致融合图像中包含大量的红外噪声或其他无关的信息，而缺少可见光图像中的细节信息。

为了克服细节层粗融合存在的缺陷，本发明在获得粗融合结果R后，根据最小二乘法原理，设置loss函数，得到每级的最优细节层融合图像D_j。对于第j层细节层图像，loss函数如下式：

其中，表示使得到的融合图像D接近粗融合的结果，为保留可见光图像的细节信息，λ是平衡参数，a_p表示第j层红外细节层图像像素和的逆，表达式如下：

其中，win为7x7的滑动窗口，ε为一个极小的常量；窗口太大导致计算量的增大和滤波过度，图像模糊；过小则无法消除红外图像的噪声和无关细节信息。

S8：将基层融合图像BF与细节层融合图像D_j进行叠加得到最终图像融合结果，记为F。

图像融合结果F由基层融合图像BF和细节层融合图像D_j的叠加，表达式如下：

F＝BF+D₁+D₂+…+D_N

其中，D_j表示第j细节层图像，j表示细节层层数，j的取值1至N。

本实施中，对不同亮度的环境下的多组室内场景图片进行测试，进行基于亮度自适应的图像融合算法实验。

(1)图像融合效果图

在多种亮度场景下进行针对多组可见光和红外图像融合测试，选取各亮度等级的一张图像为例，按每一列来看，从上到下分别代表亮度等级由暗到亮，效果图如下图5所示：(I)为Kinect相机采集的可见光原图像，(II)为去噪后的红外图像，(III)为本发明的融合结果图像。

从上述结果可以反映出，在亮度较暗的时候，由于光线不足导致前景目标不清晰或完全看不见前景目标，无法直接利用可见光图像进行场景识别；但由于红外图像缺乏细节信息，直接采用红外图像进行识别也不现实；图像融合后，图像能在保留细节信息的同时，更加突出目标前景，有利于图像的观测和场景识别。另外，当前景目标和背景相近时，融合图像前景更为突出，能达到更好地识别效果。

(2)客观评价指标

为了客观地评价融合图像的性能，采用熵(Entropy，E)、均方根误差(Root MeanSquare Error，RMSE)、边缘保持系数(Edge Protection Index，EPI)、等效视数(Equivalent Number of Looks，ENL)、峰值信噪比(Peak Signal to Noise Ratio,PSNR)这5项图像评价指标。其中，熵(E)的大小表示图像所包含的平均信息量的多少，值越大，融合图像所含的信息越丰富，融合质量越好；均方根误差RMSE表明了两幅图像的总体差异，越大表明差异也越明显；边缘保持系数(EPI)处理后滤波器对图像水平或垂直方向边缘的保持能力，值越高，意味着保持能力越高；等效视数(ENL)衡量均匀区域的光滑性的指标；峰值信噪比(PSNR)通过均方差(MSE)定义，是一种参考图像和融合图像的相似度评价指标，可度量结果图像中的噪声情况，数值越大说明融合效果好。

将本发明方法(BA-IF法)的融合图像结果与3种现有算法——VSM_WIS算法(基于显著性图和最小二乘法优化图像融合算法)，LatLRR算法(基于低秩表示的图像融合算法)，VI_IF算法(基于红外特征提取和视觉信息保留的红外图像与可见光图像融合算法)——进行对比，图像客观质量评价的对比结果如图6所示。由融合图像的各项客观评价指标结果可以看出，本发明提出的算法具有最佳的融合效果，能在尽量还原可见光图像整体信息的情况下，得到综合看来均优于其他比较算法。

此外，本发明结果优于VSM_WIS算法的结果，说明了本发明的改进对于红外与可见光图像融合是有效的。针对多组像素尺寸为1373x1026的可见光和红外图像融合测试，进行多种算法的运算时间比较，平均运算时间对比结果如下表2所示：

表2

融合方法	本发明方法	VSM_WIS法	LatLRR法	VI_IF法
					平均时间(s)	14.2734	14.2701	1037.7360	0.2066

表2可以反映出，在运算时间方面，本发明方法有较快的速度，与VSM_WIS算法差别不大，虽然比VI+IF算法慢，但比latlrr算法快很多，能够满足一般室内场景识别的需求。

综上所述，由于本发明融合了红外摄像头在目标物体上的显著性特征和轮廓细节，因此能在突出场景图像中目标区域信息的情况下，保留更多图像细节轮廓信息，增强图像可视性，便于人眼观察和计算机进一步处理，并减少复杂的亮度背景下的误识别。在亮度不足的情况下，原本靠单一可见光摄像头不能工作的时候，有比较明显的效果，优势更为突出。同时，能在较少的计算时间下完成图像融合。

附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (8)

1.一种基于亮度自适应和显著性检测的图像融合方法，其特征在于，包括以下步骤：

S1：采集红外图像和可见光图像并分别进行图像预处理，所述图像预处理流程依次包括：图像灰度化处理、图像增强处理、滤波去噪处理；

S2：将预处理后的红外图像和可见光图像进行图像配准；

S3：利用灰度化处理后红外图像和可见光图像的直方图，获取图像中设定比例的像素数目的像素值范围边界，记为thr值，利用thr值和预设的阈值规则确定亮度等级，根据图像像素显著性值统计，计算亮度权值Bw；

S4：利用滚动引导滤波方法分别对配准后的红外图像和可见光图像进行多尺度图像分解得到对应的基层图像和若干个细节层图像；

S5：分别利用红外图像的基层图像及可见光图像的基层图像中的像素对比度定义像素显著性值，若干像素显著性值组合成显著性图；

S6：基于红外图像的显著性图及亮度权值和可见光图像的显著性图及亮度权值进行红外图像和可见光图像的基层融合，基层融合图像记为BF；

S7：利用最小二乘法将红外图像的若干细节层与可见光图像的若干细节层融合,细节层融合图像记为D_j，其中，j表示细节层层数，红外图像的细节层层数与可见光细节层层数相等；

S8：将基层融合图像BF与细节层融合图像D_j进行叠加得到最终图像融合结果，记为F。

2.根据权利要求1所述的一种基于亮度自适应和显著性检测的图像融合方法，其特征在于，步骤S2所述的图像配准具体为：将预处理后的红外图像和可见光图像通过平移、旋转和仿射变化，将红外和可见光图像调整到统一视角和尺寸。

3.根据权利要求1所述的一种基于亮度自适应和显著性检测的图像融合方法，其特征在于，步骤S3利用灰度化处理后红外图像和可见光图像的直方图，获取图像中设定比例的像素数目的像素值范围边界，记为thr值，利用thr值和预设的阈值规则确定亮度等级，具体为：

设定图像总的像素数为N_pixel，从灰度值0开始往上计数，统计达到图像当前灰度值累积的像素数目，当像素数目达到图像中总像素数目的80％时，此时图像灰度值即为像素值范围边界，即为thr；

所述亮度等级分为三种，包括：明亮、昏暗、黑暗，当thr<20，定义为黑暗环境；当20≤thr<180，定义为昏暗环境；当thr>180，定义为明亮环境。

4.根据权利要求1所述的一种基于亮度自适应和显著性检测的图像融合方法，其特征在于，亮度权值Bw的表达式如下：

其中，v(i)表示像素值i的像素数目。

5.根据权利要求1所述的一种基于亮度自适应和显著性检测的图像融合方法，其特征在于，所述滚动引导滤波方法包括高斯滤波和引导滤波，所述高斯滤波用于去除图像的小区域，实现图像去噪、去干扰；引导滤波用于进行迭代边缘修复，在去除图像中复杂小区域时，保证大区域边界的准确性。

6.根据权利要求1所述的一种基于亮度自适应和显著性检测的图像融合方法，其特征在于，所述像素显著性值V(i)的定义公式如下：

其中，I_i和I_j分别表示像素i和j的像素值，P_j是j像素值的像素数目。

7.根据权利要求1所述的一种基于亮度自适应和显著性检测的图像融合方法，其特征在于，基层融合图像BF的表达式如下：

BF＝Bw[1+(v₁-v₂)]·B₁+(1-BW)[1+(v₂-v₁)]·B₂

其中，Bw为亮度权值，B₁、B₂分别表示可见光图像的基层图和红外图像的基层图，v₁、v₂则分别表示可见光图像显著性图和红外图像的显著性图。

8.根据权利要求1所述的一种基于亮度自适应和显著性检测的图像融合方法，其特征在于，利用最小二乘法将红外图像的若干细节层与可见光图像的若干细节层融合具体过程为：

设定红外图像细节层的融合系数DW，所述DW由红外图像细节层中像素值最大的一个像素决定，融合系数DW的计算公式如下：

其中，对于第j级细节层，d₁、d₂分别为可见光和红外图像的细节层像素值；可见光图像的融合系数为(1-DW)，对第j级的细节层进行融合得到细节层粗融合R的表达式如下：

获得粗融合结果R后，根据最小二乘法原理，设置loss函数，得到每级的最优细节层融合图像D_j，对于第j层细节层图像，loss函数如下所示：

其中，表示使得到的融合图像D接近粗融合的结果，为保留可见光图像的细节信息，λ是平衡参数，a_p表示第j层红外细节层图像像素和的逆，表达式如下：

其中，win为7x7的滑动窗口，ε为常量；最终图像融合结果F由基层融合图像BF和细节层融合图像D_j的叠加，表达式如下：

F＝BF+D₁+D₂+…+D_N

其中，D_j表示第j细节层图像，j表示细节层层数，j的取值1至N。