CN113706407B - 基于分离表征的红外可见光图像融合方法 - Google Patents

Abstract

本发明提出了一种基于分离表征的红外可见光图像融合方法。本发明设计了基于神经网络的分离表征以将源图像客观地分解为共有信息和特有信息，对分解出的两部分分别使用特定的融合策略；设计了权重编码器以分解出特有信息为输入，以融合图像的客观定量指标为损失函数优化编码器的参数，依据特有信息自适应地生成对应的通道权级。本发明提出的方法域领先水平的红外与可见光算法相比，具有更丰富的场景信息、更强的对比度，视觉效果也更好。

Description

基于分离表征的红外可见光图像融合方法

技术领域

本发明涉及图像增强技术领域，具体地说，本发明涉及一种基于分离表征的红外可见光图像融合算法的技术方案。

背景技术

为实现红外与可见光图像融合，业界提出了多种融合算法，根据原理及算法类型，这些融合算法可以分为传统算法和基于深度学习的算法。传统融合算法主要包括基于多尺度变换的融合算法、基于稀疏表达的融合算法、基于子空间的融合算法、混合融合方法以及其他的融合算法，这些算法都旨在将源图像分解为多维特征或将源图像映射到其他空间，然后在分解结果上运用融合策略进行融合。但对多模图像采用相同的分解方式是不恰当的，人工设计的分解方式导致了融合效率的减退；基于深度学习的融合算法缺乏真值融合图像，算法往往依赖自监督对网络进行训练。通过人为观察来定义源图像中的特有属性，让融合图像尽可能保留源图像的人为定义的属性，以此作为约束来训练融合网络。例如FusionGAN、ResNetFusion、DDcGAN和AttentionFGAN以像素强度作为红外图像的特有属性并以梯度作为可见光图像的特有属性。然而对于红外图像中热辐射属性多变(纹理丰富)而可见光图像中平滑的区域，此类约束会导致融合图像中场景信息的丢失。在另一些方法中，损失函数约束融合图像与源图像保留更高的结构相似性，或者约束融合图像保留源图像中更高频率的信息。然而，以结构或者高频信息作为源图像的特征信息会降低融合图像中目标的显著性，不利于人眼对目标的快速定位于捕捉。此外，在传统融合算法或者非端到端的深度学习融合算法中分解结果的多样性和特征的难解释性，导致目前融合策略仍停留于平均、相加、最大值等几种简单的方法，融合策略的局限性也限制了融合性能的提升。

发明内容

针对现有的技术缺陷，本发明提出了一种基于分离表征红外与可见光图像融合的技术方案。经本发明增强得到的红外图像，可以在更低的自由度上实现更多的信息保留及呈现较高的对比度及视觉效果。

本发明的技术方案包括以下步骤：

步骤1，建立红外和可见光图像的分离表征网络模型，所述分离表征网络模型包括分离表征子模型和信息融合子模型，其中分离表征子模型包括信息编码器和生成器；

首先，红外和可见光图像通过分离表征子模型中的信息编码器分解为红外图像共有信息、可见光图像共有信息、红外与图像特有信息及可见光图像特有信息；其次，通过信息融合子模型将红外与可见光图像的共有信息生成融合后的共有信息，将红外与图像特有信息和可见光图像特有信息生成融合后的特有信息；最后，将融合后的共有信息和融合后的特有信息输入分离表征子模型的生成器，得到融合图像；

步骤2，分别对分离表征子模型和信息融合子模型建立损失函数，训练分离表征网络模型，得到优化后的分离表征子模型和信息融合子模型；最后将待融合的红外和可见光图像输入到优化后的分离表征子模型和信息融合子模型中得到最终的融合图像。

进一步的，所述信息编码器包括红外图像域R的共有信息编码器可见光图像域V的共有信息编码器/>红外图像域R的红外特有信息编码器/>和可见光图像域V的可见光特有信息编码器/>信息编码器的具体处理过程如下；

步骤a1.1，建立红外图像域R的共有信息编码器和可见光图像域V的共有信息编码器/>所述的共有信息编码器/>和/>为伪孪生网络，均使用5层卷积层和2个残差模块从红外图像域R和可见光图像域V中提取特征，卷积层的输出特征图的通道数为k，卷积核尺寸均为3×3，stride均设为1，最终生成k个通道的共有信息特征图；共有信息编码器/>和/>的第1层使用LReLU作为激活函数；第2到4层使用批归一化的LReLU作为激活函数；/>和/>共享最后一层的参数，使用tanh作为激活函数，将红外图像域R和可见光图像域V的共有信息嵌入到同一空间，残差模块在第3层和第5层后；

通过共有信息编码器和/>从红外图像域R和可见光图像域V中提取红外和可见光图像的共有信息c_r和c_v，c_r和c_v属于共有信息域C，其数学表达式如下：

其中，i_r为红外图像域R中对应的图像，i_v为可见光图像域V中对应的图像；

步骤a1.2，建立红外图像域R的红外特有信息编码器和可见光图像域V的可见光特有信息编码器/>所述的特有信息编码器/>和/>为伪孪生网络，均使用5层卷积层和1个残差模块从红外图像域R和可见光图像域V中提取特征，卷积层的输出特征图的通道数为k，卷积核尺寸均为3×3，stride均设为1，最终生成k个通道的特有信息特征图，特有信息编码器/>和/>的第1层使用LReLU作为激活函数；第2到4层使用批归一化的LReLU作为激活函数；最后一层使用tanh作为激活函数；其中残差模块在第3层卷积层后；

通过红外特有信息编码器和可见光特有信息编码器/>从红外图像域R和可见光图像域V中提取红外特有信息u_r和可见光特有信息u_v，u_r属于红外特有信息域U_r，u_v属于可见光特有信息域U_v，其数学表达式如下：

进一步的，所述分离表征子模型中生成器的具体处理过程如下；

将经过信息融合子模型处理后的红外共有信息c_r、可见光共有信息c_v、红外特有信息u_r和可见光特有信息u_v通过生成器G处理，映射回图像域；所述的生成器G首先沿着通道维度将共有信息特征图和特有信息特征图串联，再使用6层卷积层融合图像，卷积层的输出特征图的通道数为k，卷积核尺寸均为3×3，stride均设为1，最终生成融合图像；生成器G的卷积层的第1层使用LReLU作为激活函数；第2到5层使用批归一化的LReLU作为激活函数；最后一层使用tanh作为激活函数。

进一步的，步骤2中建立分离表征子模型的损失函数，所述的损失函数由源图像的重建损失、虚假图像的转换损失和特有信息损失组成；

设计重建损失函数L_recon：为了分离表征子模型具备重建源图像的能力，重建的源图像应与原始源图像保持尽可能高的相似性；当输入生成器G的共有及特有特征图来自同一源图像时，生成器输出重建的红外图像和重建的可见光图像/>重建的红外图像/>和重建的可见光图像/>的数学表达式如下：

重建损失L_recon的数学表达如下：

其中，||·||_F表示Frobenius范数；

设计转换损失函数L_trans：为使场景空间提取源图像对中的共有信息，图像表征形式应由特有信息决定，交换从两幅图像中提取的共有信息，重建的虚假图像仍应与源图像保持一定的相似性；当输入的共有及特有特征图来自不同源图像时，生成器G输出虚假的红外图像和虚假的可见光图像/>虚假红外图像/>和虚假可见光图像/>的数学表达如下：

转换损失L_trans的计算公式如下：

为避免出现特有信息中包含源图像全部信息导致共有信息c_r和c_v失去物理意义甚至产生零解，让共有信息和特有信息尽可能分离，约束特有信息中包含的信息量，设计特有信息损失函数L_U，其计算公式如下：

其中，表示梯度算子，该式表示u_r和u_v中尽可能少包含共有信息，使得共有信息和特有信息更好的分离；

总损失函数L_E&G的计算公式如下：

L_E&G＝L_recon+αL_trans+βL_U

其中，α和β为超参数，用来控制三项损失函数间的平衡。

进一步的，步骤1中所述的信息融合子模型的具体处理过程如下；

步骤b1.1，通过传统的最大值融合策略，得到融合的共有信息c_f，其数学表达式如下：

c_f＝max(c_r,c_v)

其中，max(·)表示对应元素逐个取最大值；

步骤b1.2，建立权重编码器E_w，其为伪孪生网络，输入为红外特有信息编码器和可见光特有信息编码器/>输出的第k个通道的红外特有信息u_r ^k和可见光特有信息u_v ^k，首先沿着通道维度将红外特有信息u_r ^k和可见光特有信息u_v ^k串联，再被重采样为固定大小，通过四层卷积层输出单通道特征图，并对单通道特征图采取池化操作，池化后的结果经过全连接层FCN()和tanh激活函数生成第k个通道的红外光特有信息特征图的融合权重w_r ^k和可见光特有信息特征图的融合权重/>且/>和/>满足/>且/>

第k个通道的红外光特有信息特征图的融合权重w_r ^k的数学表达式如下：

其中，E_w ^k为第k个通道的权重编码器；

对应地，可见光特有信息特征图的融合权重w_v ^k的数学表达式如下：

对红外图像的特有信息u_r和可见光图像的特有信息u_v采用通道维度的自适应加权策略，即对红外和可见光特有信息特征图的每个通道进行融合，融合后的第k个通道的特有信息特征图的数学表达式如下：

联合所有通道的特有信息特征图即可得到融合后的特有信息u_f。

进一步的，将融合后的共有信息c_f和融合后的特有信息u_f输入生成器G，可得融合图像f，其数学表达如下：

f＝G(c_f,u_f)

其中，G为分离表征子模型中的生成器。

进一步的，步骤2中对信息融合子模型建立损失函数，即为建立权重编码器E_w的损失函数L_w，约束权重编码器E_w，损失函数L_w的数学表达式如下：

L_w＝-SD(f)-λMG(f)

其中，SD(f)为融合图像f的标准差，MG(f)为融合图像f的平均梯度，λ为平衡两项指标的超参数；

SD(f)的数学表达式如下：

其中，f_m,n表示融合图像中第m行、第n列的像素点，M和N分表表示融合图像的总行数和总列数，v_f表示融合图像f的均值；

MG(f)的数学表达式如下：

其中，表示梯度算子，|·|表示对梯度取绝对值。

本发明与现有技术相比具有以下优点和有益效果：(1)本发明提出了基于神经网络的分离表征，相比于人为定义的源图像的特征属性，分离表征客观地将源图像分解为共有信息和特有信息，对两部分分别使用特定的融合策略可以提升算法的融合性能；(2)本发明设计了权重编码器以分解出特有信息为输入，以融合图像的客观定量指标为损失函数优化编码器的参数，依据特有信息自适应地生成对应的通道权级。相比于传统融合策略，本发明提出的融合策略可以使融合图像包含更多的场景信息，在更低的自由度上实现更多的信息保留及呈现较高的对比度及视觉效果。

附图说明

图1为本发明算法的整体流程图；

图2为本发明的共有信息编码器的网络结构示意图；

图3为本发明的特有信息编码器的网络结构示意图；

图4为本发明的生成器的网络结构示意图；

图5为本发明实施例特征融合重建模块结构示意图。

图6为本发明方法与其他现有方法的效果对比。

具体实施方式

下面结合附图和实施例对本发明技术方案进一步详细说明。

如图1所示，本发明提供的一种基于分离表征的红外可见光图像融合方法，具体包括如下步骤：

步骤1：建立红外和可见光图像(源图像)的分离表征网络模型，所述的分离表征网络模型包括分离表征子模型和信息融合子模型，，其中分离表征子模型包括信息编码器和生成器；

首先，源图像通过分离表征子模型中的信息编码器分解为红外图像共有信息、可见光图像共有信息、红外与图像特有信息及可见光图像特有信息；其次，通过信息融合子模型将红外与可见光图像的共有信息生成融合后的共有信息，将红外与图像特有信息和可见光图像特有信息生成融合后的特有信息；最后，将融合后的共有信息和融合后的特有信息输入分离表征子模型的生成器，得到融合图像。

步骤2：分别对分离表征子模型和信息融合子模型建立损失函数，训练分离表征网络模型，得到优化后的分离表征子模型和信息融合子模型；最后将待融合的红外和可见光图像输入到优化后的分离表征子模型和信息融合子模型中得到最终的融合图像。

进一步的，步骤1包括如下步骤：

步骤1.1：建立分离表征子模型，所述的分离表征子模型包括信息编码器和生成器两部分，通过损失函数对分离表征子模型进行约束。

进一步的，所述信息编码器包括红外图像域R的共有信息编码器可见光图像域V的共有信息编码器/>红外图像域R的红外特有信息编码器/>和可见光图像域V的可见光特有信息编码器/>信息编码器的具体处理过程如下；

步骤a1.1，建立红外图像域R的共有信息编码器和可见光图像域V的共有信息编码器/>所述的共有信息编码器/>和/>为伪孪生网络，均使用5层卷积层和2个残差模块从源图像R和V中提取特征，卷积层的输出特征图的通道数为k(k为自然数)，卷积核尺寸均为3×3，stride均设为1，最终生成k个通道的共有信息特征图。共有信息编码器/>和/>的第1层使用LReLU作为激活函数；第2到4层使用批归一化的LReLU作为激活函数；/>和/>共享最后一层的参数，使用tanh作为激活函数，将红外图像域R和可见光图像域V的共有信息嵌入到同一空间。残差模块在第3层和第5层后。

通过共有信息编码器和/>从红外图像域R和可见光图像域V中提取红外和可见光图像的共有信息c_r和c_v，c_r和c_v属于共有信息域C，其数学表达式如下：

其中，i_r为红外图像域R中对应的图像，i_v为可见光图像域V中对应的图像。

步骤a1.2，建立红外图像域R的红外特有信息编码器和可见光图像域V的可见光特有信息编码器/>所述的特有信息编码器/>和/>为伪孪生网络，均使用5层卷积层和1个残差模块从源图像R和V中提取特征，卷积层的输出特征图的通道数为k，卷积核尺寸均为3×3，stride均设为1，最终生成k个通道的特有信息特征图。特有信息编码器/>和/>的第1层使用LReLU作为激活函数；第2到4层使用批归一化的LReLU作为激活函数；最后一层使用tanh作为激活函数；其中残差模块在第3层卷积层后；

通过红外特有信息编码器和可见光特有信息编码器/>从红外图像域R和可见光图像域V中提取红外特有信息u_r和可见光特有信息u_v，u_r属于红外特有信息域U_r，u_v属于可见光特有信息域U_v，其数学表达式如下：

进一步的，所述分离表征子模型中生成器的具体处理过程如下；

建立分离表征子模型的生成器G，将经过信息融合子模型处理后的红外共有信息c_r、可见光共有信息c_v、红外特有信息u_r和可见光特有信息u_v通过生成器G处理，映射回图像域。所述的生成器G首先沿着通道维度将共有信息特征图和特有信息特征图串联，再使用6层卷积层融合图像，卷积层的输出特征图的通道数为k，卷积核尺寸均为3×3，stride均设为1，最终生成融合图像。生成器G的卷积层的第1层使用LReLU作为激活函数；第2到5层使用批归一化的LReLU作为激活函数；最后一层使用tanh作为激活函数。最终生成12个通道的特有信息特征图。

进一步的，步骤2中建立分离表征子模型的损失函数，所述的损失函数由源图像的重建损失、虚假图像的转换损失和特有信息损失组成。

(1)设计重建损失函数L_recon：为了分离表征子模型具备重建源图像的能力，重建的源图像应与原始源图像保持尽可能高的相似性。当输入生成器G的共有及特有特征图来自同一源图像时，生成器输出重建的红外图像和重建的可见光图像/>重建的红外图像/>和重建的可见光图像/>的数学表达式如下：

重建损失L_recon的数学表达如下：

其中，||·||_F表示Frobenius范数。

(2)设计转换损失函数L_trans：为使场景空间提取源图像对中的共有信息，图像额表征形式应由特有信息决定，交换从两幅图像中提取的共有信息，重建的虚假图像仍应与源图像保持一定的相似性。当输入的共有及特有特征图来自不同源图像时，生成器G输出虚假的红外图像和虚假的可见光图像/>虚假红外图像/>和虚假可见光图像/>的数学表达如下：

转换损失L_trans的计算公式如下：

(3)为避免出现特有信息中包含源图像全部信息导致共有信息c_r和c_v失去物理意义甚至产生零解，让共有信息和特有信息尽可能分离，约束特有信息中包含的信息量，设计特有信息损失函数L_U，其计算公式如下：

其中，表示梯度算子。该式表示u_r和u_v中尽可能少包含共有信息，使得共有信息和特有信息更好的分离。

(4)由(1)-(3)得到编码器和生成器的总损失函数L_E&G，其计算公式如下：

L_E&G＝L_recon+αL_trans+βL_U

其中，α和β为超参数，α＝1，β＝1e-5，用来控制三项损失函数间的平衡。

进一步的，步骤1中所述的信息融合子模型的具体处理过程如下；

步骤b1.1，通过传统的最大值融合策略，得到融合的共有信息c_f，其数学表达式如下：

c_f＝max(c_r,c_v)

其中，max(·)表示对应元素逐个取最大值。

步骤b1.2，建立权重编码器E_w，其为伪孪生网络。输入为红外特有信息编码器和可见光特有信息编码器/>输出的第k个通道的红外特有信息u_r ^k和可见光特有信息u_v ^k，首先沿着通道维度将红外特有信息u_r ^k和可见光特有信息u_v ^k串联，再被重采样(resize)为固定大小，通过四层卷积层(LReLU作为激活函数，卷积核尺寸均为3×3，stride均设为1)输出单通道特征图，并对单通道特征图采取池化操作，池化后的结果经过全连接层FCN()和tanh激活函数生成第k个通道的红外光特有信息特征图的融合权重w_r ^k和可见光特有信息特征图的融合权重/>且/>和/>满足/>且/>

第k个通道的红外光特有信息特征图的融合权重w_r ^k的数学表达式如下：

其中，E_w ^k为第k个通道的权重编码器。

对应地，可见光特有信息特征图的融合权重w_v ^k的数学表达式如下：

对红外图像的特有信息u_r和可见光图像的特有信息u_v采用通道维度的自适应加权策略，即对红外和可见光特有信息特征图的每个通道进行融合。融合后的第k个通道的特有信息特征图的数学表达式如下：

联合所有通道的特有信息特征图即可得到融合后的特有信息u_f。

进一步的，将融合后的共有信息c_f和融合后的特有信息u_f输入生成器G，可得融合图像f，其数学表达如下：

f＝G(c_f,u_f)

其中，G为分离表征子模型中的生成器。

进一步，步骤2中对信息融合子模型建立损失函数，即为建立权重编码器E_w的损失函数L_w，约束权重编码器E_w。损失函数L_w的数学表达式如下：

L_w＝-SD(f)-λMG(f)

其中，SD(f)为融合图像f的标准差，MG(f)为融合图像f的平均梯度，λ为平衡两项指标的超参数。

SD(f)的数学表达式如下：

其中，f_m,n表示融合图像中第m行、第n列的像素点，M和N分表表示融合图像的总行数和总列数，v_f表示融合图像f的均值；

MG(f)的数学表达式如下：

其中，表示梯度算子，|·|表示对梯度取绝对值。

进一步的，步骤2中迭代训练具体包括如下步骤：

步骤2.1：迭代训练分离表征子模型和信息融合子模型。训练的数据集来自U2Fusion公开的红外可见光融合数据集RoadScene。训练集中由该数据集中的150对图像对构成，这些图像对被有重叠地裁剪成3200对大小为128×128的图像块，来训练分离表征子模型。以RMSProp优化器最小化式更新分离表征子模型中的参数。Batch size设为12，训练4个epoch，训练时，学习率设为0.00015，学习率随着训练过程进行指数衰减。通过训练，得到优化的分离表征子模型。

步骤2.2：迭代训练信息融合子模型。训练的数据集来自U2Fusion公开的红外可见光融合数据集RoadScene。训练集中由该数据集中的150对图像对构成，这些图像对被有重叠地裁剪成3200对大小为128×128的图像块，来训练权重编码器E_w，以RMSProp优化器最小化式更新权重编码器E_w中的参数。Batch size设为12，训练1个epoch，训练时，学习率设为0.00015，学习率随着训练过程进行指数衰减。通过训练，得到优化的信息融合子模型。

具体实施时，可采用软件方式实现基于分离表征的红外可见光图像融合算法。为了客观地衡量本发明所提方法的融合性能，如图6所示，选取了6组典型的红外可见光图像对，包括了行人、车辆、建筑等场景。从整体来看，GTF和FusionGan通过保留红外图像的像素强度来凸显热目标，但其融合图像未能保留可见光图像的丰富纹理信息，导致融合图像的边缘模糊；FPDE、VSMWLS、DenseFuse和MDLatLRR基本保留了来自两张源图像中的信息，但融合图像对比度交底，热目标不易识别。在所有结果中，本发明的方法生成的融合结果具有最高的对比度和丰富的纹理，更容易抓住人眼的注意力，在所有的方法中呈现出最好的视觉效果。

Claims (7)

1.基于分离表征的红外可见光图像融合方法，其特征在于，包括如下步骤：

步骤1，建立红外和可见光图像的分离表征网络模型，所述分离表征网络模型包括分离表征子模型和信息融合子模型，其中分离表征子模型包括信息编码器和生成器；

首先，红外和可见光图像通过分离表征子模型中的信息编码器分解为红外图像共有信息、可见光图像共有信息、红外与图像特有信息及可见光图像特有信息；其次，通过信息融合子模型将红外与可见光图像的共有信息生成融合后的共有信息，将红外与图像特有信息和可见光图像特有信息生成融合后的特有信息；最后，将融合后的共有信息和融合后的特有信息输入分离表征子模型的生成器，得到融合图像；

步骤2，分别对分离表征子模型和信息融合子模型建立损失函数，训练分离表征网络模型，得到优化后的分离表征子模型和信息融合子模型；最后将待融合的红外和可见光图像输入到优化后的分离表征子模型和信息融合子模型中得到最终的融合图像。

2.如权利要求1所述的基于分离表征的红外可见光图像融合方法，其特征在于：所述信息编码器包括红外图像域R的共有信息编码器可见光图像域V的共有信息编码器/>红外图像域R的红外特有信息编码器/>和可见光图像域V的可见光特有信息编码器/>信息编码器的具体处理过程如下；

步骤a1.1，建立红外图像域R的共有信息编码器和可见光图像域V的共有信息编码器所述的共有信息编码器/>和/>为伪孪生网络，均使用5层卷积层和2个残差模块从红外图像域R和可见光图像域V中提取特征，卷积层的输出特征图的通道数为k，卷积核尺寸均为3×3，stride均设为1，最终生成k个通道的共有信息特征图；共有信息编码器/>和/>的第1层使用LReLU作为激活函数；第2到4层使用批归一化的LReLU作为激活函数；/>和/>共享最后一层的参数，使用tanh作为激活函数，将红外图像域R和可见光图像域V的共有信息嵌入到同一空间，残差模块在第3层和第5层后；

通过共有信息编码器和/>从红外图像域R和可见光图像域V中提取红外和可见光图像的共有信息c_r和c_v，c_r和c_v属于共有信息域C，其数学表达式如下：

其中，i_r为红外图像域R中对应的图像，i_v为可见光图像域V中对应的图像；

步骤a1.2，建立红外图像域R的红外特有信息编码器和可见光图像域V的可见光特有信息编码器/>所述的特有信息编码器/>和/>为伪孪生网络，均使用5层卷积层和1个残差模块从红外图像域R和可见光图像域V中提取特征，卷积层的输出特征图的通道数为k，卷积核尺寸均为3×3，stride均设为1，最终生成k个通道的特有信息特征图，特有信息编码器和/>的第1层使用LReLU作为激活函数；第2到4层使用批归一化的LReLU作为激活函数；最后一层使用tanh作为激活函数；其中残差模块在第3层卷积层后；

通过红外特有信息编码器和可见光特有信息编码器/>从红外图像域R和可见光图像域V中提取红外特有信息u_r和可见光特有信息u_v，u_r属于红外特有信息域U_r，u_v属于可见光特有信息域U_v，其数学表达式如下：

3.如权利要求2所述的基于分离表征的红外可见光图像融合方法，其特征在于：所述分离表征子模型中生成器的具体处理过程如下；

将经过信息融合子模型处理后的红外共有信息c_r、可见光共有信息c_v、红外特有信息u_r和可见光特有信息u_v通过生成器G处理，映射回图像域；所述的生成器G首先沿着通道维度将共有信息特征图和特有信息特征图串联，再使用6层卷积层融合图像，卷积层的输出特征图的通道数为k，卷积核尺寸均为3×3，stride均设为1，最终生成融合图像；生成器G的卷积层的第1层使用LReLU作为激活函数；第2到5层使用批归一化的LReLU作为激活函数；最后一层使用tanh作为激活函数。

4.如权利要求2所述的基于分离表征的红外可见光图像融合方法，其特征在于：步骤2中建立分离表征子模型的损失函数，所述的损失函数由源图像的重建损失、虚假图像的转换损失和特有信息损失组成；

设计重建损失函数L_recon：为了分离表征子模型具备重建源图像的能力，重建的源图像应与原始源图像保持尽可能高的相似性；当输入生成器G的共有及特有特征图来自同一源图像时，生成器输出重建的红外图像和重建的可见光图像/>重建的红外图像/>和重建的可见光图像/>的数学表达式如下：

重建损失L_recon的数学表达如下：

其中，||·||_F表示Frobenius范数；

设计转换损失函数L_trans：为使场景空间提取源图像对中的共有信息，图像表征形式应由特有信息决定，交换从两幅图像中提取的共有信息，重建的虚假图像仍应与源图像保持一定的相似性；当输入的共有及特有特征图来自不同源图像时，生成器G输出虚假的红外图像和虚假的可见光图像/>虚假红外图像/>和虚假可见光图像/>的数学表达如下：

转换损失L_trans的计算公式如下：

为避免出现特有信息中包含源图像全部信息导致共有信息c_r和c_v失去物理意义甚至产生零解，让共有信息和特有信息尽可能分离，约束特有信息中包含的信息量，设计特有信息损失函数L_U，其计算公式如下：

其中，表示梯度算子，该式表示u_r和u_v中尽可能少包含共有信息，使得共有信息和特有信息更好的分离；

总损失函数L_E&G的计算公式如下：

L_E&G＝L_recon+αL_trans+βL_U

其中，α和β为超参数，用来控制三项损失函数间的平衡。

5.如权利要求4所述的基于分离表征的红外可见光图像融合方法，其特征在于：步骤1中所述的信息融合子模型的具体处理过程如下；

步骤b1.1，通过传统的最大值融合策略，得到融合的共有信息c_f，其数学表达式如下：

c_f＝max(c_r,c_v)

其中，max(·)表示对应元素逐个取最大值；

步骤b1.2，建立权重编码器E_w，其为伪孪生网络，输入为红外特有信息编码器和可见光特有信息编码器/>输出的第k个通道的红外特有信息u_r ^k和可见光特有信息u_v ^k，首先沿着通道维度将红外特有信息u_r ^k和可见光特有信息u_v ^k串联，再被重采样为固定大小，通过四层卷积层输出单通道特征图，并对单通道特征图采取池化操作，池化后的结果经过全连接层FCN()和tanh激活函数生成第k个通道的红外光特有信息特征图的融合权重w_r ^k和可见光特有信息特征图的融合权重/>且/>和/>满足/> 且/>

第k个通道的红外光特有信息特征图的融合权重w_r ^k的数学表达式如下：

其中，E_w ^k为第k个通道的权重编码器；

对应地，可见光特有信息特征图的融合权重w_v ^k的数学表达式如下：

对红外图像的特有信息u_r和可见光图像的特有信息u_v采用通道维度的自适应加权策略，即对红外和可见光特有信息特征图的每个通道进行融合，融合后的第k个通道的特有信息特征图的数学表达式如下：

联合所有通道的特有信息特征图即可得到融合后的特有信息u_f。

6.如权利要求5所述的基于分离表征的红外可见光图像融合方法，其特征在于：将融合后的共有信息c_f和融合后的特有信息u_f输入生成器G，可得融合图像f，其数学表达如下：

f＝G(c_f,u_f)

其中，G为分离表征子模型中的生成器。

7.如权利要求6所述的基于分离表征的红外可见光图像融合方法，其特征在于：步骤2中对信息融合子模型建立损失函数，即为建立权重编码器E_w的损失函数L_w，约束权重编码器E_w，损失函数L_w的数学表达式如下：

L_w＝-SD(f)-λMG(f)

其中，SD(f)为融合图像f的标准差，MG(f)为融合图像f的平均梯度，λ为平衡两项指标的超参数；

SD(f)的数学表达式如下：

其中，f_m,n表示融合图像中第m行、第n列的像素点，M和N分表表示融合图像的总行数和总列数，v_f表示融合图像f的均值；

MG(f)的数学表达式如下：

其中，表示梯度算子，|·|表示对梯度取绝对值。