CN113706407A - 基于分离表征的红外可见光图像融合方法 - Google Patents

基于分离表征的红外可见光图像融合方法 Download PDF

Info

Publication number
CN113706407A
CN113706407A CN202110921055.6A CN202110921055A CN113706407A CN 113706407 A CN113706407 A CN 113706407A CN 202110921055 A CN202110921055 A CN 202110921055A CN 113706407 A CN113706407 A CN 113706407A
Authority
CN
China
Prior art keywords
information
image
infrared
visible light
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110921055.6A
Other languages
English (en)
Other versions
CN113706407B (zh
Inventor
马佳义
马泳
梅晓光
张灿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202110921055.6A priority Critical patent/CN113706407B/zh
Publication of CN113706407A publication Critical patent/CN113706407A/zh
Application granted granted Critical
Publication of CN113706407B publication Critical patent/CN113706407B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于分离表征的红外可见光图像融合方法。本发明设计了基于神经网络的分离表征以将源图像客观地分解为共有信息和特有信息，对分解出的两部分分别使用特定的融合策略；设计了权重编码器以分解出特有信息为输入，以融合图像的客观定量指标为损失函数优化编码器的参数，依据特有信息自适应地生成对应的通道权级。本发明提出的方法域领先水平的红外与可见光算法相比，具有更丰富的场景信息、更强的对比度，视觉效果也更好。

Description

基于分离表征的红外可见光图像融合方法
技术领域
本发明涉及图像增强技术领域，具体地说，本发明涉及一种基于分离表征的红外可见光图像融合算法的技术方案。
背景技术
为实现红外与可见光图像融合，业界提出了多种融合算法，根据原理及算法类型，这些融合算法可以分为传统算法和基于深度学习的算法。传统融合算法主要包括基于多尺度变换的融合算法、基于稀疏表达的融合算法、基于子空间的融合算法、混合融合方法以及其他的融合算法，这些算法都旨在将源图像分解为多维特征或将源图像映射到其他空间，然后在分解结果上运用融合策略进行融合。但对多模图像采用相同的分解方式是不恰当的，人工设计的分解方式导致了融合效率的减退；基于深度学习的融合算法缺乏真值融合图像，算法往往依赖自监督对网络进行训练。通过人为观察来定义源图像中的特有属性，让融合图像尽可能保留源图像的人为定义的属性，以此作为约束来训练融合网络。例如FusionGAN、ResNetFusion、DDcGAN和AttentionFGAN以像素强度作为红外图像的特有属性并以梯度作为可见光图像的特有属性。然而对于红外图像中热辐射属性多变(纹理丰富)而可见光图像中平滑的区域，此类约束会导致融合图像中场景信息的丢失。在另一些方法中，损失函数约束融合图像与源图像保留更高的结构相似性，或者约束融合图像保留源图像中更高频率的信息。然而，以结构或者高频信息作为源图像的特征信息会降低融合图像中目标的显著性，不利于人眼对目标的快速定位于捕捉。此外，在传统融合算法或者非端到端的深度学习融合算法中分解结果的多样性和特征的难解释性，导致目前融合策略仍停留于平均、相加、最大值等几种简单的方法，融合策略的局限性也限制了融合性能的提升。
发明内容
针对现有的技术缺陷，本发明提出了一种基于分离表征红外与可见光图像融合的技术方案。经本发明增强得到的红外图像，可以在更低的自由度上实现更多的信息保留及呈现较高的对比度及视觉效果。
本发明的技术方案包括以下步骤：
步骤1，建立红外和可见光图像的分离表征网络模型，所述分离表征网络模型包括分离表征子模型和信息融合子模型，其中分离表征子模型包括信息编码器和生成器；
首先，红外和可见光图像通过分离表征子模型中的信息编码器分解为红外图像共有信息、可见光图像共有信息、红外与图像特有信息及可见光图像特有信息；其次，通过信息融合子模型将红外与可见光图像的共有信息生成融合后的共有信息，将红外与图像特有信息和可见光图像特有信息生成融合后的特有信息；最后，将融合后的共有信息和融合后的特有信息输入分离表征子模型的生成器，得到融合图像；
步骤2，分别对分离表征子模型和信息融合子模型建立损失函数，训练分离表征网络模型，得到优化后的分离表征子模型和信息融合子模型；最后将待融合的红外和可见光图像输入到优化后的分离表征子模型和信息融合子模型中得到最终的融合图像。
进一步的，所述信息编码器包括红外图像域R的共有信息编码器
Figure BDA0003207460410000021
可见光图像域V的共有信息编码器
Figure BDA0003207460410000022
红外图像域R的红外特有信息编码器
Figure BDA0003207460410000023
和可见光图像域V的可见光特有信息编码器
Figure BDA0003207460410000024
信息编码器的具体处理过程如下；
步骤a1.1，建立红外图像域R的共有信息编码器
Figure BDA0003207460410000025
和可见光图像域V的共有信息编码器
Figure BDA0003207460410000026
所述的共有信息编码器
Figure BDA0003207460410000027
和
Figure BDA0003207460410000028
为伪孪生网络，均使用5层卷积层和2个残差模块从红外图像域R和可见光图像域V中提取特征，卷积层的输出特征图的通道数为k，卷积核尺寸均为3×3，stride均设为1，最终生成k个通道的共有信息特征图；共有信息编码器
Figure BDA0003207460410000029
和
Figure BDA00032074604100000210
的第1层使用LReLU作为激活函数；第2到4层使用批归一化的LReLU作为激活函数；
Figure BDA00032074604100000211
和
Figure BDA00032074604100000212
共享最后一层的参数，使用tanh作为激活函数，将红外图像域R和可见光图像域V的共有信息嵌入到同一空间，残差模块在第3层和第5层后；
通过共有信息编码器
Figure BDA0003207460410000031
和
Figure BDA0003207460410000032
从红外图像域R和可见光图像域V中提取红外和可见光图像的共有信息cr和cv，cr和cv属于共有信息域C，其数学表达式如下：
Figure BDA0003207460410000033
其中，ir为红外图像域R中对应的图像，iv为可见光图像域V中对应的图像；
步骤a1.2，建立红外图像域R的红外特有信息编码器
Figure BDA0003207460410000034
和可见光图像域V的可见光特有信息编码器
Figure BDA0003207460410000035
所述的特有信息编码器
Figure BDA0003207460410000036
和
Figure BDA0003207460410000037
为伪孪生网络，均使用5层卷积层和1个残差模块从红外图像域R和可见光图像域V中提取特征，卷积层的输出特征图的通道数为k，卷积核尺寸均为3×3，stride均设为1，最终生成k个通道的特有信息特征图，特有信息编码器
Figure BDA0003207460410000038
和
Figure BDA0003207460410000039
的第1层使用LReLU作为激活函数；第2到4层使用批归一化的LReLU作为激活函数；最后一层使用tanh作为激活函数；其中残差模块在第3层卷积层后；
通过红外特有信息编码器
Figure BDA00032074604100000310
和可见光特有信息编码器
Figure BDA00032074604100000311
从红外图像域R和可见光图像域V中提取红外特有信息ur和可见光特有信息uv，ur属于红外特有信息域Ur，uv属于可见光特有信息域Uv，其数学表达式如下：
Figure BDA00032074604100000312
进一步的，所述分离表征子模型中生成器的具体处理过程如下；
将经过信息融合子模型处理后的红外共有信息cr、可见光共有信息cv、红外特有信息ur和可见光特有信息uv通过生成器G处理，映射回图像域；所述的生成器G首先沿着通道维度将共有信息特征图和特有信息特征图串联，再使用6层卷积层融合图像，卷积层的输出特征图的通道数为k，卷积核尺寸均为3×3，stride均设为1，最终生成融合图像；生成器G的卷积层的第1层使用LReLU作为激活函数；第2到5层使用批归一化的LReLU作为激活函数；最后一层使用tanh作为激活函数。
进一步的，步骤2中建立分离表征子模型的损失函数，所述的损失函数由源图像的重建损失、虚假图像的转换损失和特有信息损失组成；
设计重建损失函数Lrecon：为了分离表征子模型具备重建源图像的能力，重建的源图像应与原始源图像保持尽可能高的相似性；当输入生成器G的共有及特有特征图来自同一源图像时，生成器输出重建的红外图像
Figure BDA0003207460410000041
和重建的可见光图像
Figure BDA0003207460410000042
重建的红外图像
Figure BDA0003207460410000043
和重建的可见光图像
Figure BDA0003207460410000044
的数学表达式如下：
Figure BDA0003207460410000045
重建损失Lrecon的数学表达如下：
Figure BDA0003207460410000046
其中，||·||F表示Frobenius范数；
设计转换损失函数Ltrans：为使场景空间提取源图像对中的共有信息，图像表征形式应由特有信息决定，交换从两幅图像中提取的共有信息，重建的虚假图像仍应与源图像保持一定的相似性；当输入的共有及特有特征图来自不同源图像时，生成器G输出虚假的红外图像
Figure BDA0003207460410000047
和虚假的可见光图像
Figure BDA0003207460410000048
虚假红外图像
Figure BDA0003207460410000049
和虚假可见光图像
Figure BDA00032074604100000410
的数学表达如下：
Figure BDA00032074604100000411
转换损失Ltrans的计算公式如下：
Figure BDA00032074604100000412
为避免出现特有信息中包含源图像全部信息导致共有信息cr和cv失去物理意义甚至产生零解，让共有信息和特有信息尽可能分离，约束特有信息中包含的信息量，设计特有信息损失函数LU，其计算公式如下：
Figure BDA00032074604100000413
其中，
Figure BDA00032074604100000414
表示梯度算子，该式表示ur和uv中尽可能少包含共有信息，使得共有信息和特有信息更好的分离；
总损失函数LE&G的计算公式如下：
LE&G＝Lrecon+αLtrans+βLU
其中，α和β为超参数，用来控制三项损失函数间的平衡。
进一步的，步骤1中所述的信息融合子模型的具体处理过程如下；
步骤b1.1，通过传统的最大值融合策略，得到融合的共有信息cf，其数学表达式如下：
cf＝max(cr,cv)
其中，max(·)表示对应元素逐个取最大值；
步骤b1.2，建立权重编码器Ew，其为伪孪生网络，输入为红外特有信息编码器
Figure BDA0003207460410000051
和可见光特有信息编码器
Figure BDA0003207460410000052
输出的第k个通道的红外特有信息ur k和可见光特有信息uv k，首先沿着通道维度将红外特有信息ur k和可见光特有信息uv k串联，再被重采样为固定大小，通过四层卷积层输出单通道特征图，并对单通道特征图采取池化操作，池化后的结果经过全连接层FCN()和tanh激活函数生成第k个通道的红外光特有信息特征图的融合权重wr k和可见光特有信息特征图的融合权重
Figure BDA0003207460410000053
且
Figure BDA0003207460410000054
和
Figure BDA0003207460410000055
满足
Figure BDA0003207460410000056
且
Figure BDA0003207460410000057
第k个通道的红外光特有信息特征图的融合权重wr k的数学表达式如下：
Figure BDA0003207460410000058
其中，Ew k为第k个通道的权重编码器；
对应地，可见光特有信息特征图的融合权重wv k的数学表达式如下：
Figure BDA0003207460410000059
对红外图像的特有信息ur和可见光图像的特有信息uv采用通道维度的自适应加权策略，即对红外和可见光特有信息特征图的每个通道进行融合，融合后的第k个通道的特有信息特征图的数学表达式如下：
Figure BDA00032074604100000510
联合所有通道的特有信息特征图即可得到融合后的特有信息uf。
进一步的，将融合后的共有信息cf和融合后的特有信息uf输入生成器G，可得融合图像f，其数学表达如下：
f＝G(cf,uf)
其中，G为分离表征子模型中的生成器。
进一步的，步骤2中对信息融合子模型建立损失函数，即为建立权重编码器Ew的损失函数Lw，约束权重编码器Ew，损失函数Lw的数学表达式如下：
Lw＝-SD(f)-λMG(f)
其中，SD(f)为融合图像f的标准差，MG(f)为融合图像f的平均梯度，λ为平衡两项指标的超参数；
SD(f)的数学表达式如下：
Figure BDA0003207460410000061
其中，fm,n表示融合图像中第m行、第n列的像素点，M和N分表表示融合图像的总行数和总列数，vf表示融合图像f的均值；
MG(f)的数学表达式如下：
Figure BDA0003207460410000062
其中，
Figure BDA0003207460410000063
表示梯度算子，|·|表示对梯度取绝对值。
本发明与现有技术相比具有以下优点和有益效果：(1)本发明提出了基于神经网络的分离表征，相比于人为定义的源图像的特征属性，分离表征客观地将源图像分解为共有信息和特有信息，对两部分分别使用特定的融合策略可以提升算法的融合性能；(2)本发明设计了权重编码器以分解出特有信息为输入，以融合图像的客观定量指标为损失函数优化编码器的参数，依据特有信息自适应地生成对应的通道权级。相比于传统融合策略，本发明提出的融合策略可以使融合图像包含更多的场景信息，在更低的自由度上实现更多的信息保留及呈现较高的对比度及视觉效果。
附图说明
图1为本发明算法的整体流程图；
图2为本发明的共有信息编码器的网络结构示意图；
图3为本发明的特有信息编码器的网络结构示意图；
图4为本发明的生成器的网络结构示意图；
图5为本发明实施例特征融合重建模块结构示意图。
图6为本发明方法与其他现有方法的效果对比。
具体实施方式
下面结合附图和实施例对本发明技术方案进一步详细说明。
如图1所示，本发明提供的一种基于分离表征的红外可见光图像融合方法，具体包括如下步骤：
步骤1：建立红外和可见光图像(源图像)的分离表征网络模型，所述的分离表征网络模型包括分离表征子模型和信息融合子模型，，其中分离表征子模型包括信息编码器和生成器；
首先，源图像通过分离表征子模型中的信息编码器分解为红外图像共有信息、可见光图像共有信息、红外与图像特有信息及可见光图像特有信息；其次，通过信息融合子模型将红外与可见光图像的共有信息生成融合后的共有信息，将红外与图像特有信息和可见光图像特有信息生成融合后的特有信息；最后，将融合后的共有信息和融合后的特有信息输入分离表征子模型的生成器，得到融合图像。
步骤2：分别对分离表征子模型和信息融合子模型建立损失函数，训练分离表征网络模型，得到优化后的分离表征子模型和信息融合子模型；最后将待融合的红外和可见光图像输入到优化后的分离表征子模型和信息融合子模型中得到最终的融合图像。
进一步的，步骤1包括如下步骤：
步骤1.1：建立分离表征子模型，所述的分离表征子模型包括信息编码器和生成器两部分，通过损失函数对分离表征子模型进行约束。
进一步的，所述信息编码器包括红外图像域R的共有信息编码器
Figure BDA0003207460410000071
可见光图像域V的共有信息编码器
Figure BDA0003207460410000072
红外图像域R的红外特有信息编码器
Figure BDA0003207460410000073
和可见光图像域V的可见光特有信息编码器
Figure BDA0003207460410000074
信息编码器的具体处理过程如下；
步骤a1.1，建立红外图像域R的共有信息编码器
Figure BDA0003207460410000075
和可见光图像域V的共有信息编码器
Figure BDA0003207460410000076
所述的共有信息编码器
Figure BDA0003207460410000077
和
Figure BDA0003207460410000078
为伪孪生网络，均使用5层卷积层和2个残差模块从源图像R和V中提取特征，卷积层的输出特征图的通道数为k(k为自然数)，卷积核尺寸均为3×3，stride均设为1，最终生成k个通道的共有信息特征图。共有信息编码器
Figure BDA0003207460410000079
和
Figure BDA00032074604100000710
的第1层使用LReLU作为激活函数；第2到4层使用批归一化的LReLU作为激活函数；
Figure BDA00032074604100000711
和
Figure BDA00032074604100000712
共享最后一层的参数，使用tanh作为激活函数，将红外图像域R和可见光图像域V的共有信息嵌入到同一空间。残差模块在第3层和第5层后。
通过共有信息编码器
Figure BDA0003207460410000081
和
Figure BDA0003207460410000082
从红外图像域R和可见光图像域V中提取红外和可见光图像的共有信息cr和cv，cr和cv属于共有信息域C，其数学表达式如下：
Figure BDA0003207460410000083
其中，ir为红外图像域R中对应的图像，iv为可见光图像域V中对应的图像。
步骤a1.2，建立红外图像域R的红外特有信息编码器
Figure BDA0003207460410000084
和可见光图像域V的可见光特有信息编码器
Figure BDA0003207460410000085
所述的特有信息编码器
Figure BDA0003207460410000086
和
Figure BDA0003207460410000087
为伪孪生网络，均使用5层卷积层和1个残差模块从源图像R和V中提取特征，卷积层的输出特征图的通道数为k，卷积核尺寸均为3×3，stride均设为1，最终生成k个通道的特有信息特征图。特有信息编码器
Figure BDA0003207460410000088
和
Figure BDA0003207460410000089
的第1层使用LReLU作为激活函数；第2到4层使用批归一化的LReLU作为激活函数；最后一层使用tanh作为激活函数；其中残差模块在第3层卷积层后；
通过红外特有信息编码器
Figure BDA00032074604100000810
和可见光特有信息编码器
Figure BDA00032074604100000811
从红外图像域R和可见光图像域V中提取红外特有信息ur和可见光特有信息uv，ur属于红外特有信息域Ur，uv属于可见光特有信息域Uv，其数学表达式如下：
Figure BDA00032074604100000812
进一步的，所述分离表征子模型中生成器的具体处理过程如下；
建立分离表征子模型的生成器G，将经过信息融合子模型处理后的红外共有信息cr、可见光共有信息cv、红外特有信息ur和可见光特有信息uv通过生成器G处理，映射回图像域。所述的生成器G首先沿着通道维度将共有信息特征图和特有信息特征图串联，再使用6层卷积层融合图像，卷积层的输出特征图的通道数为k，卷积核尺寸均为3×3，stride均设为1，最终生成融合图像。生成器G的卷积层的第1层使用LReLU作为激活函数；第2到5层使用批归一化的LReLU作为激活函数；最后一层使用tanh作为激活函数。最终生成12个通道的特有信息特征图。
进一步的，步骤2中建立分离表征子模型的损失函数，所述的损失函数由源图像的重建损失、虚假图像的转换损失和特有信息损失组成。
(1)设计重建损失函数Lrecon：为了分离表征子模型具备重建源图像的能力，重建的源图像应与原始源图像保持尽可能高的相似性。当输入生成器G的共有及特有特征图来自同一源图像时，生成器输出重建的红外图像
Figure BDA0003207460410000091
和重建的可见光图像
Figure BDA0003207460410000092
重建的红外图像
Figure BDA0003207460410000093
和重建的可见光图像
Figure BDA0003207460410000094
的数学表达式如下：
Figure BDA0003207460410000095
重建损失Lrecon的数学表达如下：
Figure BDA0003207460410000096
其中，||·||F表示Frobenius范数。
(2)设计转换损失函数Ltrans：为使场景空间提取源图像对中的共有信息，图像额表征形式应由特有信息决定，交换从两幅图像中提取的共有信息，重建的虚假图像仍应与源图像保持一定的相似性。当输入的共有及特有特征图来自不同源图像时，生成器G输出虚假的红外图像
Figure BDA0003207460410000097
和虚假的可见光图像
Figure BDA0003207460410000098
虚假红外图像
Figure BDA0003207460410000099
和虚假可见光图像
Figure BDA00032074604100000910
的数学表达如下：
Figure BDA00032074604100000911
转换损失Ltrans的计算公式如下：
Figure BDA00032074604100000912
(3)为避免出现特有信息中包含源图像全部信息导致共有信息cr和cv失去物理意义甚至产生零解，让共有信息和特有信息尽可能分离，约束特有信息中包含的信息量，设计特有信息损失函数LU，其计算公式如下：
Figure BDA00032074604100000913
其中，
Figure BDA00032074604100000914
表示梯度算子。该式表示ur和uv中尽可能少包含共有信息，使得共有信息和特有信息更好的分离。
(4)由(1)-(3)得到编码器和生成器的总损失函数LE&G，其计算公式如下：
LE&G＝Lrecon+αLtrans+βLU
其中，α和β为超参数，α＝1，β＝1e-5，用来控制三项损失函数间的平衡。
进一步的，步骤1中所述的信息融合子模型的具体处理过程如下；
步骤b1.1，通过传统的最大值融合策略，得到融合的共有信息cf，其数学表达式如下：
cf＝max(cr,cv)
其中，max(·)表示对应元素逐个取最大值。
步骤b1.2，建立权重编码器Ew，其为伪孪生网络。输入为红外特有信息编码器
Figure BDA0003207460410000101
和可见光特有信息编码器
Figure BDA0003207460410000102
输出的第k个通道的红外特有信息ur k和可见光特有信息uv k，首先沿着通道维度将红外特有信息ur k和可见光特有信息uv k串联，再被重采样(resize)为固定大小，通过四层卷积层(LReLU作为激活函数，卷积核尺寸均为3×3，stride均设为1)输出单通道特征图，并对单通道特征图采取池化操作，池化后的结果经过全连接层FCN()和tanh激活函数生成第k个通道的红外光特有信息特征图的融合权重wr k和可见光特有信息特征图的融合权重
Figure BDA0003207460410000104
且
Figure BDA0003207460410000105
和
Figure BDA0003207460410000106
满足
Figure BDA0003207460410000107
且
Figure BDA0003207460410000108
第k个通道的红外光特有信息特征图的融合权重wr k的数学表达式如下：
Figure BDA0003207460410000109
其中，Ew k为第k个通道的权重编码器。
对应地，可见光特有信息特征图的融合权重wv k的数学表达式如下：
Figure BDA00032074604100001010
对红外图像的特有信息ur和可见光图像的特有信息uv采用通道维度的自适应加权策略，即对红外和可见光特有信息特征图的每个通道进行融合。融合后的第k个通道的特有信息特征图的数学表达式如下：
Figure BDA00032074604100001011
联合所有通道的特有信息特征图即可得到融合后的特有信息uf。
进一步的，将融合后的共有信息cf和融合后的特有信息uf输入生成器G，可得融合图像f，其数学表达如下：
f＝G(cf,uf)
其中，G为分离表征子模型中的生成器。
进一步，步骤2中对信息融合子模型建立损失函数，即为建立权重编码器Ew的损失函数Lw，约束权重编码器Ew。损失函数Lw的数学表达式如下：
Lw＝-SD(f)-λMG(f)
其中，SD(f)为融合图像f的标准差，MG(f)为融合图像f的平均梯度，λ为平衡两项指标的超参数。
SD(f)的数学表达式如下：
Figure BDA0003207460410000111
其中，fm,n表示融合图像中第m行、第n列的像素点，M和N分表表示融合图像的总行数和总列数，vf表示融合图像f的均值；
MG(f)的数学表达式如下：
Figure BDA0003207460410000112
其中，
Figure BDA0003207460410000113
表示梯度算子，|·|表示对梯度取绝对值。
进一步的，步骤2中迭代训练具体包括如下步骤：
步骤2.1：迭代训练分离表征子模型和信息融合子模型。训练的数据集来自U2Fusion公开的红外可见光融合数据集RoadScene。训练集中由该数据集中的150对图像对构成，这些图像对被有重叠地裁剪成3200对大小为128×128的图像块，来训练分离表征子模型。以RMSProp优化器最小化式更新分离表征子模型中的参数。Batch size设为12，训练4个epoch，训练时，学习率设为0.00015，学习率随着训练过程进行指数衰减。通过训练，得到优化的分离表征子模型。
步骤2.2：迭代训练信息融合子模型。训练的数据集来自U2Fusion公开的红外可见光融合数据集RoadScene。训练集中由该数据集中的150对图像对构成，这些图像对被有重叠地裁剪成3200对大小为128×128的图像块，来训练权重编码器Ew，以RMSProp优化器最小化式更新权重编码器Ew中的参数。Batch size设为12，训练1个epoch，训练时，学习率设为0.00015，学习率随着训练过程进行指数衰减。通过训练，得到优化的信息融合子模型。
具体实施时，可采用软件方式实现基于分离表征的红外可见光图像融合算法。为了客观地衡量本发明所提方法的融合性能，如图6所示，选取了6组典型的红外可见光图像对，包括了行人、车辆、建筑等场景。从整体来看，GTF和FusionGan通过保留红外图像的像素强度来凸显热目标，但其融合图像未能保留可见光图像的丰富纹理信息，导致融合图像的边缘模糊；FPDE、VSMWLS、DenseFuse和MDLatLRR基本保留了来自两张源图像中的信息，但融合图像对比度交底，热目标不易识别。在所有结果中，本发明的方法生成的融合结果具有最高的对比度和丰富的纹理，更容易抓住人眼的注意力，在所有的方法中呈现出最好的视觉效果。

Claims (7)

1.基于分离表征的红外可见光图像融合方法，其特征在于，包括如下步骤：
步骤1，建立红外和可见光图像的分离表征网络模型，所述分离表征网络模型包括分离表征子模型和信息融合子模型，其中分离表征子模型包括信息编码器和生成器；
首先，红外和可见光图像通过分离表征子模型中的信息编码器分解为红外图像共有信息、可见光图像共有信息、红外与图像特有信息及可见光图像特有信息；其次，通过信息融合子模型将红外与可见光图像的共有信息生成融合后的共有信息，将红外与图像特有信息和可见光图像特有信息生成融合后的特有信息；最后，将融合后的共有信息和融合后的特有信息输入分离表征子模型的生成器，得到融合图像；
步骤2，分别对分离表征子模型和信息融合子模型建立损失函数，训练分离表征网络模型，得到优化后的分离表征子模型和信息融合子模型；最后将待融合的红外和可见光图像输入到优化后的分离表征子模型和信息融合子模型中得到最终的融合图像。
2.如权利要求1所述的基于分离表征的红外可见光图像融合方法，其特征在于：所述信息编码器包括红外图像域R的共有信息编码器
Figure FDA0003207460400000011
可见光图像域V的共有信息编码器
Figure FDA0003207460400000012
红外图像域R的红外特有信息编码器
Figure FDA0003207460400000013
和可见光图像域V的可见光特有信息编码器
Figure FDA0003207460400000014
信息编码器的具体处理过程如下；
步骤a1.1，建立红外图像域R的共有信息编码器
Figure FDA0003207460400000015
和可见光图像域V的共有信息编码器
Figure FDA0003207460400000016
所述的共有信息编码器
Figure FDA0003207460400000017
和
Figure FDA0003207460400000018
为伪孪生网络，均使用5层卷积层和2个残差模块从红外图像域R和可见光图像域V中提取特征，卷积层的输出特征图的通道数为k，卷积核尺寸均为3×3，stride均设为1，最终生成k个通道的共有信息特征图；共有信息编码器
Figure FDA0003207460400000019
和
Figure FDA00032074604000000110
的第1层使用LReLU作为激活函数；第2到4层使用批归一化的LReLU作为激活函数；
Figure FDA00032074604000000111
和
Figure FDA00032074604000000112
共享最后一层的参数，使用tanh作为激活函数，将红外图像域R和可见光图像域V的共有信息嵌入到同一空间，残差模块在第3层和第5层后；
通过共有信息编码器
Figure FDA00032074604000000113
和
Figure FDA00032074604000000114
从红外图像域R和可见光图像域V中提取红外和可见光图像的共有信息cr和cv，cr和cv属于共有信息域C，其数学表达式如下：
Figure FDA00032074604000000115
其中，ir为红外图像域R中对应的图像，iv为可见光图像域V中对应的图像；
步骤a1.2，建立红外图像域R的红外特有信息编码器
Figure FDA0003207460400000021
和可见光图像域V的可见光特有信息编码器
Figure FDA0003207460400000022
所述的特有信息编码器
Figure FDA0003207460400000023
和
Figure FDA0003207460400000024
为伪孪生网络，均使用5层卷积层和1个残差模块从红外图像域R和可见光图像域V中提取特征，卷积层的输出特征图的通道数为k，卷积核尺寸均为3×3，stride均设为1，最终生成k个通道的特有信息特征图，特有信息编码器
Figure FDA0003207460400000025
和
Figure FDA0003207460400000026
的第1层使用LReLU作为激活函数；第2到4层使用批归一化的LReLU作为激活函数；最后一层使用tanh作为激活函数；其中残差模块在第3层卷积层后；
通过红外特有信息编码器
Figure FDA0003207460400000027
和可见光特有信息编码器
Figure FDA0003207460400000028
从红外图像域R和可见光图像域V中提取红外特有信息ur和可见光特有信息uv，ur属于红外特有信息域Ur，uv属于可见光特有信息域Uv，其数学表达式如下：
Figure FDA0003207460400000029
3.如权利要求2所述的基于分离表征的红外可见光图像融合方法，其特征在于：所述分离表征子模型中生成器的具体处理过程如下；
将经过信息融合子模型处理后的红外共有信息cr、可见光共有信息cv、红外特有信息ur和可见光特有信息uv通过生成器G处理，映射回图像域；所述的生成器G首先沿着通道维度将共有信息特征图和特有信息特征图串联，再使用6层卷积层融合图像，卷积层的输出特征图的通道数为k，卷积核尺寸均为3×3，stride均设为1，最终生成融合图像；生成器G的卷积层的第1层使用LReLU作为激活函数；第2到5层使用批归一化的LReLU作为激活函数；最后一层使用tanh作为激活函数。
4.如权利要求2所述的基于分离表征的红外可见光图像融合方法，其特征在于：步骤2中建立分离表征子模型的损失函数，所述的损失函数由源图像的重建损失、虚假图像的转换损失和特有信息损失组成；
设计重建损失函数Lrecon：为了分离表征子模型具备重建源图像的能力，重建的源图像应与原始源图像保持尽可能高的相似性；当输入生成器G的共有及特有特征图来自同一源图像时，生成器输出重建的红外图像
Figure FDA0003207460400000031
和重建的可见光图像
Figure FDA0003207460400000032
重建的红外图像
Figure FDA0003207460400000033
和重建的可见光图像
Figure FDA0003207460400000034
的数学表达式如下：
Figure FDA0003207460400000035
重建损失Lrecon的数学表达如下：
Figure FDA0003207460400000036
其中，||·||F表示Frobenius范数；
设计转换损失函数Ltrans：为使场景空间提取源图像对中的共有信息，图像表征形式应由特有信息决定，交换从两幅图像中提取的共有信息，重建的虚假图像仍应与源图像保持一定的相似性；当输入的共有及特有特征图来自不同源图像时，生成器G输出虚假的红外图像
Figure FDA0003207460400000037
和虚假的可见光图像
Figure FDA0003207460400000038
虚假红外图像
Figure FDA0003207460400000039
和虚假可见光图像
Figure FDA00032074604000000310
的数学表达如下：
Figure FDA00032074604000000311
转换损失Ltrans的计算公式如下：
Figure FDA00032074604000000312
为避免出现特有信息中包含源图像全部信息导致共有信息cr和cv失去物理意义甚至产生零解，让共有信息和特有信息尽可能分离，约束特有信息中包含的信息量，设计特有信息损失函数LU，其计算公式如下：
Figure FDA00032074604000000313
其中，
Figure FDA00032074604000000314
表示梯度算子，该式表示ur和uv中尽可能少包含共有信息，使得共有信息和特有信息更好的分离；
总损失函数LE&G的计算公式如下：
LE&G＝Lrecon+αLtrans+βLU
其中，α和β为超参数，用来控制三项损失函数间的平衡。
5.如权利要求4所述的基于分离表征的红外可见光图像融合方法，其特征在于：步骤1中所述的信息融合子模型的具体处理过程如下；
步骤b1.1，通过传统的最大值融合策略，得到融合的共有信息cf，其数学表达式如下：
cf＝max(cr,cv)
其中，max(·)表示对应元素逐个取最大值；
步骤b1.2，建立权重编码器Ew，其为伪孪生网络，输入为红外特有信息编码器
Figure FDA0003207460400000041
和可见光特有信息编码器
Figure FDA0003207460400000042
输出的第k个通道的红外特有信息ur k和可见光特有信息uv k，首先沿着通道维度将红外特有信息ur k和可见光特有信息uv k串联，再被重采样为固定大小，通过四层卷积层输出单通道特征图，并对单通道特征图采取池化操作，池化后的结果经过全连接层FCN()和tanh激活函数生成第k个通道的红外光特有信息特征图的融合权重wr k和可见光特有信息特征图的融合权重
Figure FDA0003207460400000043
且
Figure FDA0003207460400000044
和
Figure FDA0003207460400000045
满足
Figure FDA0003207460400000046
Figure FDA0003207460400000047
且
Figure FDA0003207460400000048
第k个通道的红外光特有信息特征图的融合权重wr k的数学表达式如下：
Figure FDA0003207460400000049
其中，Ew k为第k个通道的权重编码器；
对应地，可见光特有信息特征图的融合权重wv k的数学表达式如下：
Figure FDA00032074604000000410
对红外图像的特有信息ur和可见光图像的特有信息uv采用通道维度的自适应加权策略，即对红外和可见光特有信息特征图的每个通道进行融合，融合后的第k个通道的特有信息特征图的数学表达式如下：
Figure FDA00032074604000000411
联合所有通道的特有信息特征图即可得到融合后的特有信息uf。
6.如权利要求5所述的基于分离表征的红外可见光图像融合方法，其特征在于：将融合后的共有信息cf和融合后的特有信息uf输入生成器G，可得融合图像f，其数学表达如下：
f＝G(cf,uf)
其中，G为分离表征子模型中的生成器。
7.如权利要求6所述的基于分离表征的红外可见光图像融合方法，其特征在于：步骤2中对信息融合子模型建立损失函数，即为建立权重编码器Ew的损失函数Lw，约束权重编码器Ew，损失函数Lw的数学表达式如下：
Lw＝-SD(f)-λMG(f)
其中，SD(f)为融合图像f的标准差，MG(f)为融合图像f的平均梯度，λ为平衡两项指标的超参数；
SD(f)的数学表达式如下：
Figure FDA0003207460400000051
其中，fm,n表示融合图像中第m行、第n列的像素点，M和N分表表示融合图像的总行数和总列数，vf表示融合图像f的均值；
MG(f)的数学表达式如下：
Figure FDA0003207460400000052
其中，
Figure FDA0003207460400000053
表示梯度算子，|·|表示对梯度取绝对值。
CN202110921055.6A 2021-08-11 2021-08-11 基于分离表征的红外可见光图像融合方法 Active CN113706407B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110921055.6A CN113706407B (zh) 2021-08-11 2021-08-11 基于分离表征的红外可见光图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110921055.6A CN113706407B (zh) 2021-08-11 2021-08-11 基于分离表征的红外可见光图像融合方法

Publications (2)

Publication Number Publication Date
CN113706407A true CN113706407A (zh) 2021-11-26
CN113706407B CN113706407B (zh) 2023-07-18

Family

ID=78652348

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110921055.6A Active CN113706407B (zh) 2021-08-11 2021-08-11 基于分离表征的红外可见光图像融合方法

Country Status (1)

Country Link
CN (1) CN113706407B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116912649A (zh) * 2023-09-14 2023-10-20 武汉大学 基于相关注意力引导的红外与可见光图像融合方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140281945A1 (en) * 2013-03-14 2014-09-18 Yossi Avni System and method of encoding content and an image
CN111145131A (zh) * 2019-11-28 2020-05-12 中国矿业大学 一种基于多尺度生成式对抗网络的红外和可见光图像融合方法
CN111709903A (zh) * 2020-05-26 2020-09-25 中国科学院长春光学精密机械与物理研究所 一种红外与可见光图像融合方法
CN111784619A (zh) * 2020-07-03 2020-10-16 电子科技大学 一种红外和可见光图像的融合方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140281945A1 (en) * 2013-03-14 2014-09-18 Yossi Avni System and method of encoding content and an image
CN111145131A (zh) * 2019-11-28 2020-05-12 中国矿业大学 一种基于多尺度生成式对抗网络的红外和可见光图像融合方法
CN111709903A (zh) * 2020-05-26 2020-09-25 中国科学院长春光学精密机械与物理研究所 一种红外与可见光图像融合方法
CN111784619A (zh) * 2020-07-03 2020-10-16 电子科技大学 一种红外和可见光图像的融合方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116912649A (zh) * 2023-09-14 2023-10-20 武汉大学 基于相关注意力引导的红外与可见光图像融合方法及系统
CN116912649B (zh) * 2023-09-14 2023-11-28 武汉大学 基于相关注意力引导的红外与可见光图像融合方法及系统

Also Published As

Publication number Publication date
CN113706407B (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
JP7379787B2 (ja) フィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法
CN111091045B (zh) 一种基于时空注意力机制的手语识别方法
CN112634137B (zh) 基于ae提取多尺度空谱特征的高光谱和全色图像融合方法
Huang et al. Underwater image enhancement via adaptive group attention-based multiscale cascade transformer
CN112967178B (zh) 一种图像转换方法、装置、设备及存储介质
CN109614874B (zh) 一种基于注意力感知和树形骨架点结构的人体行为识别方法和系统
CN103020933B (zh) 一种基于仿生视觉机理的多源图像融合方法
CN113052814B (zh) 基于Retinex和注意力机制的暗光图像增强方法
Wang et al. Joint iterative color correction and dehazing for underwater image enhancement
CN111986132A (zh) 一种基于DLatLRR与VGG·Net的红外与可见光图像融合方法
CN113379661B (zh) 红外与可见光图像融合的双分支卷积神经网络装置
CN111179208B (zh) 基于显著图与卷积神经网络的红外-可见光图像融合方法
CN113870124B (zh) 基于弱监督的双网络互激励学习阴影去除方法
CN110060225B (zh) 一种基于快速有限剪切波变换与稀疏表示的医学图像融合法
CN112614070B (zh) 一种基于DefogNet的单幅图像去雾方法
CN113420794A (zh) 一种基于深度学习的二值化Faster R-CNN柑橘病虫害识别方法
CN113706407B (zh) 基于分离表征的红外可见光图像融合方法
CN114821259A (zh) 一种基于孪生卷积神经网络的零学习医学图像融合方法
CN112686830B (zh) 基于图像分解的单一深度图的超分辨率方法
CN117314808A (zh) 一种结合Transformer与CNN双编码器的红外与可见光图像融合方法
CN112541856A (zh) 一种结合马尔科夫场和格拉姆矩阵特征的医学类图像风格迁移方法
Weligampola et al. A retinex based gan pipeline to utilize paired and unpaired datasets for enhancing low light images
CN116258936A (zh) 一种基于多尺度特征的红外与可见光图像融合方法
CN114022371B (zh) 基于空间和通道注意力残差网络的去雾装置及其去雾方法
CN114331894A (zh) 一种基于潜在特征重构和掩模感知的人脸图像修复方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant