CN114463235A - 一种红外与可见光图像融合方法、装置及存储介质 - Google Patents

一种红外与可见光图像融合方法、装置及存储介质 Download PDF

Info

Publication number
CN114463235A
CN114463235A CN202210099836.6A CN202210099836A CN114463235A CN 114463235 A CN114463235 A CN 114463235A CN 202210099836 A CN202210099836 A CN 202210099836A CN 114463235 A CN114463235 A CN 114463235A
Authority
CN
China
Prior art keywords
image
fusion
base layer
infrared
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210099836.6A
Other languages
English (en)
Inventor
刘刚
唐丽丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Electric Power University
Original Assignee
Shanghai Electric Power University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Electric Power University filed Critical Shanghai Electric Power University
Priority to CN202210099836.6A priority Critical patent/CN114463235A/zh
Publication of CN114463235A publication Critical patent/CN114463235A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种红外与可见光图像融合方法，该方法包括：对红外图像与可见光图像分别进行图像分解得到基础层图像和细节层图像，所述的基础层图像包含源图像主要的背景信息，细节层图像包含源图像主要的边缘和目标信息；对基础层图像采用深度学习方法进行融合得到基础层融合图像，对细节层图像采用绝对值最大融合方法进行融合得到细节层融合图像；基于基础层融合图像和细节层融合图像进行图像重构得到最终的融合图像。与现有技术相比，本发明最终的融合图像既包含可见光图像更多的细节信息，又具有红外图像的热辐射信息。

Description

一种红外与可见光图像融合方法、装置及存储介质
技术领域
本发明涉及图像融合技术领域，尤其是涉及一种红外与可见光图像融合方法、装置及存储介质。
背景技术
红外传感器能够捕捉场景中的热目标信息，并将其信息显示在红外图像中。红外图像可以根据热辐射信息将目标与背景区域分开，但是图像缺少背景区域的细节信息。可见光图像可以提供具有人类视觉感知的大背景细节信息，但是抗干扰能力差，易受环境影响。图像融合的目的是整合来自同一目标场景的多个源图像，提取源图像中的显著特征生成最终的融合图像。目前，融合算法在视频监视、电力设备巡检和军事应用等领域有广泛的应用前景。
在过去的几十年里，已经发展了许多图像融合算法。图像融合方法大多由两个主要步骤组成：一个是编码、解码或者分解、重构步骤；另一个是融合决策步骤。通常，融合决策步骤需要采用局部融合算子进行全局统一。但这些融合方法忽视了了输入图像的部分细节特征，导致目标特征的可见度降低。目前基于多尺度变换的图像融合算法被广泛应用，其整体思想可以总结为先对源图像进行分解，再用合适的融合规则对分解后的子图像进行融合，最后将子图像重新构建，从而获得最终的融合图像。然而在融合规则部分需要手工的设计融合规则，计算复杂。近年来，深度学习在许多图像处理任务中均能取得较好的性能效果。由于其良好的特征提取和表示能力而被广泛应用于图像融合领域中。学者通过设计网络损失函数，利用其约束条件在训练层通过自学习经过多次训练与优化，最终输出理想的结果。虽然这些方法都能取得很好的融合结果，但这些方法仍然有缺点：由于深度学习的方法属于一种无监督学习且缺少真实图像，有些网络只使用最后一层计算的结果，中间层获得的大量有用信息丢失。因此，与传统的方法相比，深度学习方法仅依靠设计网络架构和损失函数很难获得高效的融合结果。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种红外与可见光图像融合方法、装置及存储介质，使得融合图像既包含可见光图像更多的细节信息，又具有红外图像的热辐射信息。
本发明的目的可以通过以下技术方案来实现：
一种红外与可见光图像融合方法，该方法包括：
对红外图像与可见光图像分别进行图像分解得到基础层图像和细节层图像，所述的基础层图像包含源图像主要的背景信息，细节层图像包含源图像主要的边缘和目标信息；
对基础层图像采用深度学习方法进行融合得到基础层融合图像，对细节层图像采用绝对值最大融合方法进行融合得到细节层融合图像；
基于基础层融合图像和细节层融合图像进行图像重构得到最终的融合图像。
优选地，所述的图像分解采用潜在低秩分解方法。
优选地，所述的深度学习方法采用基于改进的生成对抗网络的融合方法。
优选地，所述的改进的生成对抗网络包含生成器模型和判别器模型，所述的生成器模型根据红外基础层图像和可见光基础层图像生成基础层融合图像，所述的判别器模型对基础层融合图像进行分类判别。
优选地，所述的判别器模型包括两个判别器，分别为用于判别图像是否为红外图像第一判别器以及用于判别图像是否为可见光图像的第二判别器。
优选地，所述的生成器模型的损失函数表示为：
LG＝Ladv+αLgrad
Figure BDA0003491877510000021
Figure BDA0003491877510000022
其中，LG为生成器模型的总损失，Ladv为对抗性损失函数，Lgrad为梯度损失函数，α为平衡系数，下标i表示第i个判别器，
Figure BDA0003491877510000023
表示采用第i个判别器对第n个基础层融合图像的分类的结果，
Figure BDA0003491877510000024
表示第n个基础层融合图像，N表示输出的基础层融合图像的数量，a为生成器模型希望判别器模型能相信的虚假数据值，h表示生成器模型输入图像的高，w表示生成器模型输入图像的宽，||·||F表示范数，▽表示梯度计算，Ifused为基础层融合图像，Iir为红外基础层图像，Ivis为的可见光基础层图像，λ1、λ2为平衡系数。
优选地，所述的判别器模型的损失函数表示为：
Figure BDA0003491877510000031
Figure BDA0003491877510000032
其中，LD1为红外基础层图像的损失，
Figure BDA0003491877510000033
为可见光基础层图像的损失，D1(Iir)为红外基础层图像的分类结果，D2(Ivis)为可见光基础层图像的分类结果，Di(Ifused)为基础层融合图像的分类结果，下标i表示第i个判别器，i＝1，2，b、c、d分别表示可见光基础层图像、红外基础层图像与基础层融合图像的真值标签。
优选地，所述的最终的融合图像通过基础层融合图像和细节层融合图像进行线性叠加得到，表示为：
IF＝IF_B+IF_D
其中，IF表示最终的融合图像，IF_B表示基础层融合图像，IF_D表示细节层融合图像。
一种红外与可见光图像融合装置，包括存储器和处理器，所述存储器用于存储计算机程序，所述处理器用于当执行所述计算机程序时实现所述的一种红外与可见光图像融合方法。
一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的一种红外与可见光图像融合方法。
与现有技术相比，本发明具有如下优点：
(1)本发明将可见光图像和红外图像分解为基础层和细节层，并将深度学习和传统的绝对值最大融合方法进行结合，使得融合图像既包含可见光图像更多的细节信息，又具有红外图像的热辐射信息，有效的提高融合图像的质量。
(2)本发明采用的改进的生成对抗网络方法，通过设计网络损失函数，利用其约束条件在训练层通过自学习经过多次训练与优化，最终输出理想的结果。避免手工设计复杂的融合规则，是一种端到端的模型，独立完成图像处理任务，得到最终的融合图像，改进单一判别器获取的图像信息，通过双判别器迫使融合图像获取更丰富的源图像信息，提高基础层融合图像的质量，进一步提高最终的融合图像的质量。
附图说明
图1为本发明一种红外与可见光图像融合方法的技术流程图；
图2为本发明生成器网络的结构示意图；
图3为本发明判别器网络的结构示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。注意，以下的实施方式的说明只是实质上的例示，本发明并不意在对其适用物或其用途进行限定，且本发明并不限定于以下的实施方式。
实施例1
如图1所示，本实施例提供一种红外与可见光图像融合方法，该方法包括：
对红外图像与可见光图像分别进行图像分解得到基础层图像和细节层图像，基础层图像包含源图像主要的背景信息，细节层图像包含源图像主要的边缘和目标信息；
对基础层图像采用深度学习方法进行融合得到基础层融合图像，对细节层图像采用绝对值最大融合方法进行融合得到细节层融合图像；
基于基础层融合图像和细节层融合图像进行图像重构得到最终的融合图像。
其中，图像分解采用潜在低秩分解方法，潜在低秩分解即求如下优化问题：
Figure BDA0003491877510000041
式中，||·||*表示核范数，||·||1表示l1范数，λ表示平衡系数，X表示输入图像，E表示噪声。
式(1)求解最优化，采用增广拉格朗日乘数法(Augmented LagrangianMultiplier，ALM)进行求解。其表达式为
X＝BX+DX+E (2)
式中BX和DX可分别表示为图像的基础层和细节层。
本实施例中深度学习方法采用基于改进的生成对抗网络的融合方法。改进的生成对抗网络包含生成器模型和判别器模型，生成器模型根据红外基础层图像和可见光基础层图像生成基础层融合图像，判别器模型对基础层融合图像进行分类判别。判别器模型包括两个判别器，分别为用于判别图像是否为红外图像第一判别器以及用于判别图像是否为可见光图像的第二判别器。
生成器模型包含5层卷积神经网络，前四层的每一个卷积层使用3×3的卷积核，第五层与前四层不同，输出使用1×1的卷积核。以上每层卷积核的步长设置为1。在设计网络结构过程中，同时为避免梯度弥散等问题，在前4层卷积核后使用BatchNorm将数据归一化，之后通过一个LRelu激活函数来提高网络效果，最后一层使用Tanh激活函数。
所述判别器模型的卷积层均使用3×3的卷积核。为了不引入噪声，以步长为2的卷积层代替池化层，使得判别器的分类效果更好。相同的在判别器的输入层为防止图像的分布被破坏，因此在输入层不使用数据归一化，判别器所有层使用激活函数，最后一层则是线性层分类。判别器的训练步骤设置为2。
生成器模型的损失函数表示为：
LG＝Ladv+αLgrad (3)
Figure BDA0003491877510000051
Figure BDA0003491877510000052
其中，LG为生成器模型的总损失，Ladv为对抗性损失函数，Lgrad为梯度损失函数，α为平衡系数，下标i表示第i个判别器，
Figure BDA0003491877510000053
表示采用第i个判别器对第n个基础层融合图像的分类的结果，
Figure BDA0003491877510000054
表示第n个基础层融合图像，N表示输出的基础层融合图像的数量，a为生成器模型希望判别器模型能相信的虚假数据值，h表示生成器模型输入图像的高，w表示生成器模型输入图像的宽，||·||F表示范数，▽表示梯度计算，Ifused为基础层融合图像，Iir为红外基础层图像，Ivis为的可见光基础层图像，λ1、λ2为平衡系数。
判别器模型的损失函数表示为：
Figure BDA0003491877510000055
Figure BDA0003491877510000056
其中，
Figure BDA0003491877510000057
为红外基础层图像的损失，
Figure BDA0003491877510000058
为可见光基础层图像的损失，D1(Iir)为红外基础层图像的分类结果，D2(Ivis)为可见光基础层图像的分类结果，Di(Ifused)为基础层融合图像的分类结果，下标i表示第i个判别器，i＝1，2，b、c、d分别表示可见光基础层图像、红外基础层图像与基础层融合图像的真值标签。
上述的生成对抗网络在训练时的数据集包括训练集和测试集两部分。其中，训练集主要用来做网络训练，每次迭代输入训练样本，得到对应的输出结果，最小化损失函数使得训练模型最优。测试集用来测试最终训练好的模型，一般来说测试集与训练集是不重合的，从而得到的最优的融合效果。因此本申请在实验过程中采用不同的数据集进行验证，并证实了模型的可行性。
本发明通过设计网络损失函数，利用其约束条件在训练层通过自学习经过多次训练与优化，最终输出理想的结果。改进的生成对抗网络的方法是一种端到端的模型，独立完成图像处理任务，得到最终的融合图像。并且在判别器模型中，通过双判别器迫使融合图像获取更丰富的源图像信息。
最终的融合图像通过基础层融合图像和细节层融合图像进行线性叠加得到，表示为：
IF＝IF_B+IF_D
其中，IF表示最终的融合图像，IF_B表示基础层融合图像，IF_D表示细节层融合图像。
实施例2
本实施例提供一种红外与可见光图像融合装置，包括存储器和处理器，所述存储器用于存储计算机程序，所述处理器用于当执行所述计算机程序时实现实施例1中所述的一种红外与可见光图像融合方法，该方法在实施例1中已具体说明，本实施例不再赘述。
实施例3
本实施例提供一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现实施例1中所述的一种红外与可见光图像融合方法，该方法在实施例1中已具体说明，本实施例不再赘述。
上述实施方式仅为例举，不表示对本发明范围的限定。这些实施方式还能以其它各种方式来实施，且能在不脱离本发明技术思想的范围内作各种省略、置换、变更。

Claims (10)

1.一种红外与可见光图像融合方法，其特征在于，该方法包括：
对红外图像与可见光图像分别进行图像分解得到基础层图像和细节层图像，所述的基础层图像包含源图像主要的背景信息，细节层图像包含源图像主要的边缘和目标信息；
对基础层图像采用深度学习方法进行融合得到基础层融合图像，对细节层图像采用绝对值最大融合方法进行融合得到细节层融合图像；
基于基础层融合图像和细节层融合图像进行图像重构得到最终的融合图像。
2.根据权利要求1所述的一种红外与可见光图像融合方法，其特征在于，所述的图像分解采用潜在低秩分解方法。
3.根据权利要求1所述的一种红外与可见光图像融合方法，其特征在于，所述的深度学习方法采用基于改进的生成对抗网络的融合方法。
4.根据权利要求3所述的一种红外与可见光图像融合方法，其特征在于，所述的改进的生成对抗网络包含生成器模型和判别器模型，所述的生成器模型根据红外基础层图像和可见光基础层图像生成基础层融合图像，所述的判别器模型对基础层融合图像进行分类判别。
5.根据权利要求4所述的一种红外与可见光图像融合方法，其特征在于，所述的判别器模型包括两个判别器，分别为用于判别图像是否为红外图像第一判别器以及用于判别图像是否为可见光图像的第二判别器。
6.根据权利要求5所述的一种红外与可见光图像融合方法，其特征在于，所述的生成器模型的损失函数表示为：
LG＝Ladv+αLgrad
Figure FDA0003491877500000011
Figure FDA0003491877500000012
其中，LG为生成器模型的总损失，Ladv为对抗性损失函数，Lgrad为梯度损失函数，α为平衡系数，下标i表示第i个判别器，
Figure FDA0003491877500000013
表示采用第i个判别器对第n个基础层融合图像的分类的结果，
Figure FDA0003491877500000014
表示第n个基础层融合图像，N表示输出的基础层融合图像的数量，a为生成器模型希望判别器模型能相信的虚假数据值，h表示生成器模型输入图像的高，w表示生成器模型输入图像的宽，||·||F表示范数，
Figure FDA0003491877500000021
表示梯度计算，Ifused为基础层融合图像，Iir为红外基础层图像，Ivis为的可见光基础层图像，λ1、λ2为平衡系数。
7.根据权利要求5所述的一种红外与可见光图像融合方法，其特征在于，所述的判别器模型的损失函数表示为：
Figure FDA0003491877500000022
Figure FDA0003491877500000023
其中，
Figure FDA0003491877500000024
为红外基础层图像的损失，
Figure FDA0003491877500000025
为可见光基础层图像的损失，D1(Iir)为红外基础层图像的分类结果，D2(Ivis)为可见光基础层图像的分类结果，Di(Ifused)为基础层融合图像的分类结果，下标i表示第i个判别器，i＝1，2，b、c、d分别表示可见光基础层图像、红外基础层图像与基础层融合图像的真值标签。
8.根据权利要求1所述的一种红外与可见光图像融合方法，其特征在于，所述的最终的融合图像通过基础层融合图像和细节层融合图像进行线性叠加得到，表示为：
IF＝IF_B+IF_D
其中，IF表示最终的融合图像，IF_B表示基础层融合图像，IF_D表示细节层融合图像。
9.一种红外与可见光图像融合装置，其特征在于，包括存储器和处理器，所述存储器用于存储计算机程序，所述处理器用于当执行所述计算机程序时实现如权利要求1～8任意一项所述的一种红外与可见光图像融合方法。
10.一种存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1～8任意一项所述的一种红外与可见光图像融合方法。
CN202210099836.6A 2022-01-27 2022-01-27 一种红外与可见光图像融合方法、装置及存储介质 Pending CN114463235A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210099836.6A CN114463235A (zh) 2022-01-27 2022-01-27 一种红外与可见光图像融合方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210099836.6A CN114463235A (zh) 2022-01-27 2022-01-27 一种红外与可见光图像融合方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN114463235A true CN114463235A (zh) 2022-05-10

Family

ID=81411914

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210099836.6A Pending CN114463235A (zh) 2022-01-27 2022-01-27 一种红外与可见光图像融合方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN114463235A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116109539A (zh) * 2023-03-21 2023-05-12 智洋创新科技股份有限公司 基于生成对抗网络的红外图像纹理信息增强方法和系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116109539A (zh) * 2023-03-21 2023-05-12 智洋创新科技股份有限公司 基于生成对抗网络的红外图像纹理信息增强方法和系统

Similar Documents

Publication Publication Date Title
CN111709902B (zh) 基于自注意力机制的红外和可见光图像融合方法
Lu et al. Co-attending free-form regions and detections with multi-modal multiplicative feature embedding for visual question answering
Zhang et al. EMS-GCN: An end-to-end mixhop superpixel-based graph convolutional network for hyperspectral image classification
Chen et al. Sca-cnn: Spatial and channel-wise attention in convolutional networks for image captioning
Huang et al. Instance-aware image and sentence matching with selective multimodal lstm
Yang et al. PGCN-TCA: Pseudo graph convolutional network with temporal and channel-wise attention for skeleton-based action recognition
CN109087375B (zh) 基于深度学习的图像空洞填充方法
He et al. Multimodal remote sensing image segmentation with intuition-inspired hypergraph modeling
Cheng et al. Cascaded non-local neural network for point cloud semantic segmentation
Bai et al. Coordinate CNNs and LSTMs to categorize scene images with multi-views and multi-levels of abstraction
Liu Improved generative adversarial network and its application in image oil painting style transfer
Ning et al. Conditional generative adversarial networks based on the principle of homologycontinuity for face aging
Zhang et al. MultiResolution attention extractor for small object detection
Wang et al. STCD: efficient Siamese transformers-based change detection method for remote sensing images
Zhao et al. High resolution remote sensing bitemporal image change detection based on feature interaction and multi-task learning
CN113888399B (zh) 一种基于风格融合与域选结构的人脸年龄合成方法
Huang et al. An evidential combination method with multi-color spaces for remote sensing image scene classification
CN111680579A (zh) 一种自适应权重多视角度量学习的遥感图像分类方法
CN114463235A (zh) 一种红外与可见光图像融合方法、装置及存储介质
Yang et al. Research on digital camouflage pattern generation algorithm based on adversarial autoencoder network
CN113343966B (zh) 一种红外与可见光图像文本描述生成方法
Jie et al. Photovoltaic power station identification using refined encoder–decoder network with channel attention and chained residual dilated convolutions
Patil Image recognition using machine learning
CN111489405A (zh) 基于条件增强生成对抗网络的人脸草图合成系统
Zhang et al. Outdoor illumination estimation via all convolutional neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination