CN111145131B - 一种基于多尺度生成式对抗网络的红外和可见光图像融合方法 - Google Patents

一种基于多尺度生成式对抗网络的红外和可见光图像融合方法 Download PDF

Info

Publication number
CN111145131B
CN111145131B CN201911187619.7A CN201911187619A CN111145131B CN 111145131 B CN111145131 B CN 111145131B CN 201911187619 A CN201911187619 A CN 201911187619A CN 111145131 B CN111145131 B CN 111145131B
Authority
CN
China
Prior art keywords
image
visible light
infrared
generator
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911187619.7A
Other languages
English (en)
Other versions
CN111145131A (zh
Inventor
周勇
张迪
赵佳琦
夏士雄
周子渊
姚睿
刘兵
杜文亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology CUMT
Original Assignee
China University of Mining and Technology CUMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology CUMT filed Critical China University of Mining and Technology CUMT
Priority to CN201911187619.7A priority Critical patent/CN111145131B/zh
Publication of CN111145131A publication Critical patent/CN111145131A/zh
Application granted granted Critical
Publication of CN111145131B publication Critical patent/CN111145131B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于多尺度生成式对抗网络的红外和可见光图像融合方法，解决由光谱分辨率和空间分辨率制约以及物理条件的限制，红外图像具有很高的光谱分辨率而其空间分辨率却较低的问题。包括：第一阶段，构造生成式对抗网络模型，利用高分辨率可见光图像生成高质量红外图像，一方面红外图像数据得到了增强扩充，另一方面提高了红外图像的分辨率；第二阶段，通过高分辨率可见光图像与其低通版本的差乘以增益因子获得空间细节信息，然后将提取到的空间细节信息注入到第一阶段生成后的高分辨率红外图像中，最终得到融合后的高分辨率图像，使得融合图像可以同时保持红外图像中的热辐射信息和可见图像中的纹理信息。

Description

一种基于多尺度生成式对抗网络的红外和可见光图像融合 方法
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于多尺度生成式对抗网络的红外和可见光图像融合方法，可用于图像生成和图像融合领域。
背景技术
红外成像技术已经发展成为对国家经济利益和安全有重大影响的高新技术。多领域的应用为红外成像技术带来了广大的市场，从而带动了其蓬勃发展。尽管红外成像技术的发展非常迅速，但是整体的红外成像技术依然存在着空间分辨率低、立体感差等限制，从而导致红外成像技术并不适用于高质量红外图像要求的领域。
高质量的红外图像既可以增强对微弱目标观测的能力，又有利于人眼对图像内容和关键细节信息的有效获取，能为后续进一步进行目标识别和机器视觉应用提供良好的图像预处理功能。然而，由于红外成像系统所面对的应用场景往往处在较大的温度变化(如地面与天空、局部高温目标等)中，而目标与背景或目标局部的温差却相对较小，同时受红外目标的固有特性及外界大气环境因素的干扰影响，因此，与可见光图像相比，红外图像普遍存在着空间相关性强、对比度低、信噪比低、边缘易模糊等问题，这严重影响了红外图像的目标探测和目标识别能力。
因此，如何提高红外图像质量是目前红外领域的一个重要问题。图像分辨率是对图像细节分辨能力的一种度量，是对成像系统图像质量评价的关键性指标，也是成像系统在实际应用中应该考虑到的至关重要的参数。理论上，若要提高红外图像分辨率，就要增加探测器阵列数目或者减小感应单元尺寸，以增加抽样频率，从而减小混频。但在很多领域如遥感、医疗、安防等，图像分辨率的提升往往受到成像传感器的硬件成本、制造工艺和信息传输条件的限制。特别是对体积、功耗、重量要求苛刻的卫星遥感领域，加大光学系统设计所带来体积和重量的增加是无法忽视的。
随着传感器技术的发展，红外和可见光图像传感器在军事和安全监控领域得到了广泛应用。红外和可见光图像传感器的成像特点及局限性，使其在不同的成像条件、环境和背景下，利用单一传感器难以完成探测、侦察、跟踪等任务。因此，如何利用红外和可见光图像传感器间信息互补的特性，有效地综合和发掘红外和可见光图像的特征信息，突出红外目标，增强场景理解，一直是提高红外图像质量的研究热点。
发明内容
发明目的：针对以上问题，本发明提出一种基于多尺度生成式对抗网络的红外和可见光图像融合方法，通过构造多尺度生成式对抗网络，使生成红外图像数据得到了增强扩充，并提高了生成红外图像的分辨率，通过融合策略将获取到的空间细节信息与生成的红外图像进行融合，既保持了可见光图像的纹理细节信息又具备了热辐射信息。
技术方案：为实现本发明的目的，本发明所采用的技术方案是：
一种基于多尺度生成式对抗网络的红外和可见光图像融合方法，包括以下步骤：
S1，获取成对的原始红外图像和可见光图像，构建训练数据集，构造多尺度生成式对抗网络图像转化模型，学习红外图像的热辐射信息和可见光图像的纹理信息的映射关系，利用数据集中的可见光图像得到生成的红外图像；
S2，利用下采样后的可见光图像与原始红外图像之间的线性模型，计算可见光图像每一个通道的权重值，获得初步的融合源；根据广义拉普拉斯融合方式，获得图像空间细节信息；
S3，使用基于l1范数和块平均操作的融合策略，将获得的空间细节信息注入生成的红外图像中，得到最终的融合图像。
进一步，所述步骤S1中，获取成对的红外图像和可见光图像，构建训练数据集，构造多尺度生成式对抗网络图像转化模型，所述模型由生成器G和判别器D组成；利用数据集中的可见光图像得到生成的红外图像；步骤如下：
S1.1，所述生成器包括全局生成器GA、局部增强生成器GB，所述判别器包括全局判别器DA、多尺度判别器DB，随机初始化生成器GA、GB和判别器DA、DB的参数；
S1.2，设计多尺度生成式对抗网络的生成器和判别器的网络结构，生成器网络用于从可见光图像生成红外图像，判别器网络用于区分真实红外图像和生成的红外图像；
S1.3，以最小化生成误差和特征匹配误差为优化目标，构造多尺度生成式对抗网络的损失函数；
S1.4，将训练数据集输入训练网络，训练生成式对抗网络，学习红外图像的热辐射信息和可见光图像的纹理信息的映射关系，利用数据集中的可见光图像得到生成的红外图像；
S1.5，计算生成的红外图像与数据集中真实的红外图像之间的差异，使用随机梯度下降法进行网络参数优化，实现生成器和判别器网络参数的更新。
进一步，所述步骤S1.2中，设计生成器的网络结构，步骤如下：
(1)全局生成器网络包含卷积模块、残差模块和反卷积模块，通过卷积模块对输入图像进行特征提取，所述卷积模块包含5个卷积层；
(2)将步骤(1)得到的特征图传入残差模块，全局生成器通过残差块学习输出与输入之间的差别，即维度一样的卷积输出结果与输入结果相减；所述残差模块包含9个残差块；
(3)将步骤(2)得到的特征图传入反卷积模块，所述反卷积模块包含5个反卷积层，输入图像经过全局生成器的三个模块处理后，生成一个大小保持一致的特征图像；
(4)将步骤(3)中由全局生成器生成的特征图传入局部增强生成器，局部增强生成器也包含卷积模块、残差模块和反卷积模块；
(5)局部增强生成器对传入的特征图进行两次不同尺度的下采样操作，得到两个不同尺度特征图；对传入的特征图和下采样得到的两个不同尺度特征图进行平均池化操作，保留特征图的全局基本信息；
(6)通过局部增强生成器的卷积模块的卷积操作提取不同尺度特征图的特征，并将提取到的特征与全局基本信息进行上采样操作，最大限度提取、保留特征信息；
(7)将局部增强生成器的卷积模块输出的特征图与全局生成器的反卷积模块最后一层输出的特征图相应元素相加得到整体生成器生成的图像。对于图像生成任务，使用这种生成器的设计可以有效整合全局信息和局部信息。
进一步，所述步骤S1.2中，设计判别器的网络结构，步骤如下：
(1)为了能够准确区分生成图像与真实图像，借鉴补丁生成式对抗网络的判别器结构，实现对不同尺寸生成图像的操作。单个判别器的结构相同，由三层卷积网络组成，区别是处理的输入尺寸不同；尺寸不超过阈值的判别器增强图像全局的生成，尺寸大于阈值的判别器增强图像纹理信息的生成；
(2)使用平均池化的方法对生成图像进行两次不同尺度的下采样，输出的结果和真实图像共同组成三层图像金字塔；判别器对真实图像和两个不同尺度的图像进行训练，输出一个为真或假的标签。
进一步，所述步骤S1.3中，构造多尺度生成式对抗网络的损失函数，具体如下：
生成式对抗网络的对抗损失函数定义如下：
Figure BDA0002292773700000031
其中LGAN(G,Dk)表示生成式对抗网络中生成器和判别器的对抗损失约束，s表示待处理图像，x表示根据输入图像生成的输出图像；(s,x)～pdata(s,x)表示变量(s,x)服从真实数据分布pdata(s,x)；s～pdata(s)表示输入图像s服从数据分布pdata(s)；D(s,x)和D(s,G(s))分别表示判别器D对图像对(s,x)和由生成器G生成的(s,G(s))图像对的预测结果；对抗损失约束期望判别器正确区分出真实图像和合成图像中的假图像；
通过公式(1)对抗损失函数迭代计算生成器与判别器的对抗损失；
引入特征匹配损失函数以满足生成器输出不同尺度生成图像的要求，使训练更加稳定；所述特征匹配损失函数定义如下：
Figure BDA0002292773700000032
其中LFM(G,Dk)表示判别器的特征匹配损失，
Figure BDA0002292773700000033
表示第k个判别器所获得的第i层特征，T是判别器所包含的层数，Ni是判别器中第i个特征元素；||*||1表示一范数，计算的是真实图像与生成图像之间的差异；
结合对抗损失函数和特征匹配损失函数，生成式对抗网络整体目标函数的定义如下：
Figure BDA0002292773700000041
其中β是平衡因子，用于调节生成式对抗损失和特征匹配损失的比重；D1,D2,D3分别代表多尺度判别器，用于处理不同尺度的图像；目标函数的第一项表示k个判别器的对抗损失之和，第二项表示k个判别器的特征匹配损失之和；
通过公式(3)最小化生成误差和特征匹配误差来优化整体目标函数，更新生成器参数，完成对生成器的整体优化。
进一步，所述步骤S2中，获得图像空间细节信息，步骤如下：
根据广义拉普拉斯融合方式，定义空间细节信息De如下：
Figure BDA0002292773700000042
其中X表示有效融合源，X经低通滤波与下采样后的图像记为
Figure BDA0002292773700000043
是
Figure BDA0002292773700000044
上采样后的图像，
Figure BDA0002292773700000045
表示获得的初始细节信息；g为增益因子，调节细节信息与生成的红外图像融合的比重；
增益因子g由全局计算获得，定义如下：
Figure BDA0002292773700000046
其中ir表示原始红外图像，irexp表示原始红外图像上采样后的图像；
根据可见光图像的光谱和空间特性，可见光图像与有效融合源X之间有如下线性关系：
Figure BDA0002292773700000047
其中CO表示可见光图像，COj表示可见光图像第j个通道图，由于可见光图像包含3个通道，因此j∈{1,2,3}，wj表示可见光图像第j个通道权重，b表示偏置项；
权重wj由irexp和
Figure BDA0002292773700000048
的相关性决定，通过线性回归算法估计wj和b，通过公式(6)得到有效融合源X，结合公式(4)和(5)获得空间细节信息。
进一步，所述步骤S3中，由于传统的红外图像与获得的细节信息融合策略为相加策略，该策略是一种非常粗糙的特征选择融合策略，为了提高融合效果，本发明方法使用一种基于l1范数和块平均操作的融合策略，具体如下：
卷积自动编码器是一种卷积神经网络，可在输出处重建输入，并可用作输入图像的特征提取器；其包括两个部分：用于特征表示的编码部分，以及用于从压缩版本中重建输入的解码部分。
利用卷积自动编码器对输入的待融合图像的结构特征进行提取，所述待融合图像是指获得的空间细节信息以及生成的红外图像，计算方法如下：
Figure BDA0002292773700000051
其中φm(x,y)表示待融合图像的特征图，s表示sigmoid激活函数，
Figure BDA0002292773700000052
表示编码器中第m个特征图的偏置，F(1)表示编码器的卷积核，K表示待融合图像；
待融合图像特征图经过l1范数操作，得到初始的特征映射图，表示如下：
Cm(x,y)＝||φm(x,y)||1 (8)
其中Cm(x,y)表示初始的特征映射图；
利用基于块的平均算子计算最终的特征映射图，公式如下：
Figure BDA0002292773700000053
其中C′m(x,y)表示最终的特征映射图，r表示块的大小，a,b分别表示在横轴和纵轴上移动的长度；
将待融合图像的特征映射图进行融合，获得融合特征图f(x,y)，其计算方法如下：
Figure BDA0002292773700000054
最终，利用卷积自动编码器将融合特征图解码，重构获得可见光和红外图像的融合图像，方法如下：
Figure BDA0002292773700000055
其中ffinal表示最终的融合图像，s表示sigmoid激活函数，f(x,y)表示融合特征图，F(2)表示解码器的卷积核，
Figure BDA0002292773700000056
表示解码器中第m个特征图的偏置。
有益效果：与现有技术相比，本发明的技术方案具有以下有益的技术效果：
本发明提供的一种基于多尺度生成式对抗网络的红外和可见光图像融合方法，能够实现将可见光图像转化为红外图像，生成的红外图像在纹理、光谱等方面与真实图像非常接近，从而有效解决了红外数据集获取困难以及红外图像空间分辨率较低的问题。此外，通过有效的融合策略，将可见光图像的细节信息注入生成的红外图像中，进一步提升了红外图像的质量，其包含的细节纹理信息得到加强。融合图像不仅保持了可见光图像的纹理细节信息，而且具备了热辐射信息。
附图说明
图1为本发明方法的实施流程图；
图2为多尺度循环生成式对抗网络框架示意图；
图3为可见光图像细节信息提取示意图；
图4为基于l1范数和块平均操作融合策略示意图。
具体实施方式
下面结合附图以及具体实例对本发明的技术方案作更进一步的说明。
如图1所示，基于多尺度生成式对抗网络的红外和可见光图像融合方法，包括如下步骤：
S1，获取成对的原始红外图像和可见光图像，构建训练数据集，构建多尺度生成式对抗网络图像转化模型，学习红外图像的热辐射信息和可见光图像的纹理信息的映射关系，利用数据集中的可见光图像得到生成的红外图像。该网络模型由生成器网络和判别器网络组成，生成器网络包含GA和GB两个子网络，GA是全局生成器网络，GB是局部增强生成器网络。判别器网络包含DA和DB两个子网络，DA是全局判别器网络，DB是多尺度判别器网络。多尺度生成式对抗网络图像转化模型框架示意图如2图所示。具体构建步骤如下：
S1.1，全局生成器网络GA由三个部分组成：卷积模块、残差模块和反卷积模块。卷积模块包含五层卷积，残差模块包含九个残差块，反卷积模块包含五层反卷积。卷积模块与反卷积模块的卷积核大小相反，卷积模块第一层卷积的卷积核大小为7×7，后四层为3×3，每一层的卷积核个数分别是64、64、128、256和512。反卷积模块前四层卷积的卷积核大小为3×3，最后一层为7×7。残差模块卷积核大小为3×3。
局部增强生成器网络GB由三个部分组成：卷积模块、残差模块和反卷积模块。卷积模块包含两层卷积，残差模块包含八个残差块，反卷积模块包含五层反卷积。卷积层和残差块中所有的卷积核大小均为3×3，反卷积块中前面四层卷积核的大小为3×3，最后一层卷积核的大小为7×7。
和全局生成器网络不同，局部增强生成器网络中残差模块输出的特征图是局部生成器网络卷积模块输出特征图与全局生成器网络反卷积模块最后一层特征图相应元素相加获得的。对于图像生成任务，使用这种生成器的设计可以有效整合全局信息和局部信息。
S1.2，为了能够准确区分生成图像与真实图像，借鉴补丁生成式对抗网络的判别器结构，实现对不同尺寸生成图像的操作。
使用平均池化的方法对生成图像进行2倍下采样和4倍下采样，输出结果和真实图像共同组成三层图像金字塔，判别器对这三个不同尺度的图像进行训练，输出一个为真或假的标签。
单个判别器的结构是一样的，由三层卷积网络组成，只是处理的输入尺寸不同。如此设计的目的是希望尺寸小的判别器能够增强图像全局的生成，尺寸大的判别器增强图像纹理信息的生成。
S1.3，多尺度生成式对抗网络中的生成器网络用于从可见光图像生成红外图像，而判别器网络用于区分真实红外图像和生成的红外图像，生成式对抗网络的对抗损失函数定义如下：
Figure BDA0002292773700000071
其中LGAN(G,Dk)表示生成式对抗网络中生成器和判别器的对抗损失约束，s表示待处理图像，x表示根据输入图像生成的输出图像；(s,x)～pdata(s,x)表示变量(s,x)服从真实数据分布pdata(s,x)；s～pdata(s)表示输入图像s服从数据分布pdata(s)；D(s,x)和D(s,G(s))分别表示判别器D对图像对(s,x)和由生成器G生成的(s,G(s))图像对的预测结果；对抗损失约束期望判别器正确区分出真实图像和合成图像中的假图像；
通过公式(1)对抗损失函数迭代计算生成器与判别器的对抗损失；
由于生成器要产生不同尺度的图像，为使训练更加稳定，引入特征匹配损失函数，定义如下：
Figure BDA0002292773700000072
其中LFM(G,Dk)表示判别器的特征匹配损失，
Figure BDA0002292773700000073
表示第k个判别器所获得的第i层特征，T是判别器所包含的层数，Ni是判别器中第i个特征元素；||*||1表示一范数，计算的是真实图像与生成图像之间的差异；
结合对抗损失函数和特征匹配损失函数，生成式对抗网络整体目标函数的定义如下：
Figure BDA0002292773700000074
其中β是平衡因子，用于调节生成式对抗损失和特征匹配损失的比重；D1,D2,D3分别代表多尺度判别器，用于处理不同尺度的图像；目标函数的第一项表示k个判别器的对抗损失之和，第二项表示k个判别器的特征匹配损失之和；
通过公式(3)最小化生成误差和特征匹配误差来优化整体目标函数，更新生成器参数，完成对生成器的整体优化。
S2，利用下采样后的可见光图像与原始红外图像之间的线性模型，计算可见光图像每一个通道的权重值，获得初步的融合源；根据广义拉普拉斯融合方式，获得图像空间细节信息；具体步骤如下：
根据广义拉普拉斯融合方式，定义空间细节信息De如下：
Figure BDA0002292773700000075
其中X表示有效融合源，X经低通滤波与下采样后的图像记为
Figure BDA0002292773700000081
是
Figure BDA0002292773700000082
上采样后的图像，
Figure BDA0002292773700000083
表示获得的初始细节信息；g为增益因子，调节细节信息与生成的红外图像融合的比重；
增益因子g由全局计算获得，定义如下：
Figure BDA0002292773700000084
其中ir表示原始红外图像，irexp表示原始红外图像上采样后的图像；
根据可见光图像的光谱和空间特性，可见光图像与有效融合源X之间有如下线性关系：
Figure BDA0002292773700000085
其中CO表示可见光图像，COj表示可见光图像第j个通道图，由于可见光图像包含3个通道，因此j∈{1,2,3}，wj表示可见光图像第j个通道权重，b表示偏置项。
权重wj由irexp和
Figure BDA0002292773700000086
的相关性决定，通过线性回归算法估计wj和b，通过公式(6)得到有效融合源X，结合公式(4)和(5)获得空间细节信息。
S3，将步骤S2提取到图像空间细节信息通过l1范数和块平均操作融合策略注入到步骤S1生成的红外图像中。具体如下：
由于传统的红外图像与从可见光图像获得的细节信息融合策略是相加策略，该策略是一种非常粗糙的特征选择融合策略。为了提高融合效果，本发明方法应用了一种基于l1范数和块平均操作的融合策略。具体流程图如图4所示，具体包括：
卷积自动编码器是一种卷积神经网络，可在输出处重建输入，并可用作输入图像的特征提取器；其包括两个部分：用于特征表示的编码部分，以及用于从压缩版本中重建输入的解码部分。
利用卷积自动编码器对输入的待融合图像的结构特征进行提取，所述待融合图像是指获得的空间细节信息以及生成的红外图像，计算方法如下：
Figure BDA0002292773700000087
其中φm(x,y)表示待融合图像的特征图，s表示sigmoid激活函数，
Figure BDA0002292773700000088
表示编码器中第m个特征图的偏置，F(1)表示编码器的卷积核，K表示待融合图像；
待融合图像特征图经过l1范数操作，得到初始的特征映射图，表示如下：
Cm(x,y)＝||φm(x,y)||1 (8)
其中Cm(x,y)表示初始的特征映射图；
利用基于块的平均算子计算最终的特征映射图，公式如下：
Figure BDA0002292773700000091
其中C′m(x,y)表示最终的特征映射图，r表示块的大小，a,b分别表示在横轴和纵轴上移动的长度；
将待融合图像的特征映射图进行融合，获得融合特征图f(x,y)，其计算方法如下：
Figure BDA0002292773700000092
最终，利用卷积自动编码器将融合特征图解码，重构获得可见光和红外图像的融合图像，方法如下：
Figure BDA0002292773700000093
其中ffinal表示最终的融合图像，s表示sigmoid激活函数，f(x,y)表示融合特征图，F(2)表示解码器的卷积核，
Figure BDA0002292773700000094
表示解码器中第m个特征图的偏置。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种基于多尺度生成式对抗网络的红外和可见光图像融合方法，其特征在于：包括以下步骤：
S1，获取成对的原始红外图像和可见光图像，构建训练数据集，构造多尺度生成式对抗网络图像转化模型，学习红外图像的热辐射信息和可见光图像的纹理信息的映射关系，利用数据集中的可见光图像得到生成的红外图像；
S2，利用下采样后的可见光图像与原始红外图像之间的线性模型，计算可见光图像每一个通道的权重值，获得初步的融合源；根据广义拉普拉斯融合方式，获得图像空间细节信息，步骤如下：
根据广义拉普拉斯融合方式，定义空间细节信息De如下：
Figure FDA0004120960770000011
其中X表示有效融合源，X经低通滤波与下采样后的图像记为
Figure FDA0004120960770000012
是
Figure FDA0004120960770000013
上采样后的图像，
Figure FDA0004120960770000014
表示获得的初始细节信息；g为增益因子，调节细节信息与生成的红外图像融合的比重；增益因子g定义如下：
Figure FDA0004120960770000015
其中ir表示原始红外图像，irexp表示原始红外图像上采样后的图像；根据可见光图像的光谱和空间特性，可见光图像与有效融合源X之间有如下线性关系：
Figure FDA0004120960770000016
其中CO表示可见光图像，COj表示可见光图像第j个通道图，j∈{1,2,3}，wj表示可见光图像第j个通道权重，b表示偏置项；
权重wj由irexp和
Figure FDA0004120960770000017
的相关性决定，通过线性回归算法估计wj和b，通过公式(6)得到有效融合源X，结合公式(4)和(5)获得空间细节信息；
S3，使用基于l1范数和块平均操作的融合策略，将获得的空间细节信息注入生成的红外图像中，得到最终的融合图像，具体如下：
利用卷积自动编码器对输入的待融合图像的结构特征进行提取，所述待融合图像是指获得的空间细节信息以及生成的红外图像，计算方法如下：
Figure FDA0004120960770000018
其中φm(x,y)表示待融合图像的特征图，s表示sigmoid激活函数，
Figure FDA0004120960770000019
表示编码器中第m个特征图的偏置，
Figure FDA00041209607700000110
表示编码器的卷积核，K表示待融合图像；
待融合图像特征图经过l1范数操作，得到初始的特征映射图，表示如下：
Cm(x,y)＝||φm(x,y)||1 (8)
其中Cm(x,y)表示初始的特征映射图；
利用基于块的平均算子计算最终的特征映射图，公式如下：
Figure FDA0004120960770000021
其中C'm(x,y)表示最终的特征映射图，r表示块的大小，a,b分别表示在横轴和纵轴上移动的长度；
将待融合图像的特征映射图进行融合，获得融合特征图f(x,y)，其计算方法如下：
Figure FDA0004120960770000022
最终，利用卷积自动编码器将融合特征图解码，重构获得可见光和红外图像的融合图像，方法如下：
Figure FDA0004120960770000023
其中ffinal表示最终的融合图像，s表示sigmoid激活函数，f(x,y)表示融合特征图，
Figure FDA0004120960770000024
表示解码器的卷积核，
Figure FDA0004120960770000025
表示解码器中第m个特征图的偏置。
2.根据权利要求1所述的一种基于多尺度生成式对抗网络的红外和可见光图像融合方法，其特征在于：所述步骤S1中，获取成对的红外图像和可见光图像，构建训练数据集，构造多尺度生成式对抗网络图像转化模型，所述模型由生成器G和判别器D组成；利用数据集中的可见光图像得到生成的红外图像；步骤如下：
S1.1，所述生成器包括全局生成器GA、局部增强生成器GB，所述判别器包括全局判别器DA、多尺度判别器DB，随机初始化生成器GA、GB和判别器DA、DB的参数；
S1.2，设计多尺度生成式对抗网络的生成器和判别器的网络结构，生成器网络用于从可见光图像生成红外图像，判别器网络用于区分真实红外图像和生成的红外图像；
S1.3，以最小化生成误差和特征匹配误差为优化目标，构造多尺度生成式对抗网络的损失函数；
S1.4，将训练数据集输入训练网络，训练生成式对抗网络，学习红外图像的热辐射信息和可见光图像的纹理信息的映射关系，利用数据集中的可见光图像得到生成的红外图像；
S1.5，计算生成的红外图像与数据集中真实的红外图像之间的差异，使用随机梯度下降法进行网络参数优化，实现生成器和判别器网络参数的更新。
3.根据权利要求2所述的一种基于多尺度生成式对抗网络的红外和可见光图像融合方法，其特征在于：所述步骤S1.2中，设计生成器的网络结构，步骤如下：
(1)全局生成器网络包含卷积模块、残差模块和反卷积模块，通过卷积模块对输入图像进行特征提取；
(2)将步骤(1)得到的特征图传入残差模块，全局生成器通过残差块学习输出与输入之间的差别，即维度一样的卷积输出结果与输入结果相减；
(3)将步骤(2)得到的特征图传入反卷积模块，输入图像经过全局生成器的三个模块处理后，生成一个大小保持一致的特征图像；
(4)将步骤(3)中由全局生成器生成的特征图传入局部增强生成器，局部增强生成器也包含卷积模块、残差模块和反卷积模块；
(5)局部增强生成器对传入的特征图进行两次不同尺度的下采样操作，得到两个不同尺度特征图；对传入的特征图和下采样得到的两个不同尺度特征图进行平均池化操作，保留特征图的全局基本信息；
(6)通过局部增强生成器的卷积模块的卷积操作提取不同尺度特征图的特征，并将提取到的特征与全局基本信息进行上采样操作，提取特征信息；
(7)将局部增强生成器的卷积模块输出的特征图与全局生成器的反卷积模块最后一层输出的特征图相应元素相加得到整体生成器生成的图像。
4.根据权利要求2所述的一种基于多尺度生成式对抗网络的红外和可见光图像融合方法，其特征在于：所述步骤S1.2中，设计判别器的网络结构，步骤如下：
(1)单个判别器的结构相同，由三层卷积网络组成；尺寸不超过阈值的判别器增强图像全局的生成，尺寸大于阈值的判别器增强图像纹理信息的生成；
(2)使用平均池化的方法对生成图像进行两次不同尺度的下采样，输出的结果和真实图像共同组成三层图像金字塔；判别器对真实图像和两个不同尺度的图像进行训练，输出一个为真或假的标签。
5.根据权利要求2所述的一种基于多尺度生成式对抗网络的红外和可见光图像融合方法，其特征在于：所述步骤S1.3中，构造多尺度生成式对抗网络的损失函数，具体如下：
生成式对抗网络的对抗损失函数定义如下：
Figure FDA0004120960770000031
其中LGAN(G,Dk)表示生成式对抗网络中生成器和判别器的对抗损失约束，s表示待处理图像，x表示根据输入图像生成的输出图像；(s,x)～pdata(s,x)表示变量(s,x)服从真实数据分布pdata(s,x)；s～pdata(s)表示输入图像s服从数据分布pdata(s)；D(s,x)和D(s,G(s))分别表示判别器D对图像对(s,x)和由生成器G生成的(s,G(s))图像对的预测结果；
通过公式(1)对抗损失函数迭代计算生成器与判别器的对抗损失；
引入特征匹配损失函数以满足生成器输出不同尺度生成图像的要求；
所述特征匹配损失函数定义如下：
Figure FDA0004120960770000041
其中LFM(G,Dk)表示判别器的特征匹配损失，
Figure FDA0004120960770000042
表示第k个判别器所获得的第i层特征，T是判别器所包含的层数，Ni是判别器中第i个特征元素；||*||1表示一范数，计算的是真实图像与生成图像之间的差异；
结合对抗损失函数和特征匹配损失函数，生成式对抗网络整体目标函数的定义如下：
Figure FDA0004120960770000043
其中β是平衡因子，用于调节生成式对抗损失和特征匹配损失的比重；D1,D2,D3分别代表多尺度判别器，用于处理不同尺度的图像；目标函数的第一项表示k个判别器的对抗损失之和，第二项表示k个判别器的特征匹配损失之和；
通过公式(3)最小化生成误差和特征匹配误差来优化整体目标函数，更新生成器参数，完成对生成器的整体优化。
CN201911187619.7A 2019-11-28 2019-11-28 一种基于多尺度生成式对抗网络的红外和可见光图像融合方法 Active CN111145131B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911187619.7A CN111145131B (zh) 2019-11-28 2019-11-28 一种基于多尺度生成式对抗网络的红外和可见光图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911187619.7A CN111145131B (zh) 2019-11-28 2019-11-28 一种基于多尺度生成式对抗网络的红外和可见光图像融合方法

Publications (2)

Publication Number Publication Date
CN111145131A CN111145131A (zh) 2020-05-12
CN111145131B true CN111145131B (zh) 2023-05-26

Family

ID=70517380

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911187619.7A Active CN111145131B (zh) 2019-11-28 2019-11-28 一种基于多尺度生成式对抗网络的红外和可见光图像融合方法

Country Status (1)

Country Link
CN (1) CN111145131B (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275057B (zh) * 2020-02-13 2023-06-20 腾讯科技（深圳）有限公司 图像处理方法、装置及设备
CN111833282B (zh) * 2020-06-11 2023-08-04 毛雅淇 一种基于改进的DDcGAN模型的图像融合方法
CN111784619B (zh) * 2020-07-03 2023-04-28 电子科技大学 一种红外和可见光图像的融合方法
CN111915566B (zh) * 2020-07-03 2022-03-15 天津大学 基于循环一致对抗网络的红外样本目标检测方法
CN112232403A (zh) * 2020-10-13 2021-01-15 四川轻化工大学 一种红外图像与可见光图像的融合方法
CN112712486B (zh) * 2020-11-26 2024-04-26 贵州大学 一种基于激活函数的射电天文图像重建方法
CN112561838B (zh) * 2020-12-02 2024-01-30 西安电子科技大学 基于残差自注意力和生成对抗网络的图像增强方法
CN112862737B (zh) * 2021-02-07 2024-05-14 西北工业大学 一种基于自监督纹理特征指导的红外图像质量增强方法
CN113095358A (zh) * 2021-03-05 2021-07-09 北京中电联达信息技术有限公司 一种图像融合方法及系统
CN113191213B (zh) * 2021-04-12 2023-01-03 桂林电子科技大学 一种高分辨率遥感影像新增建筑物检测方法
CN113222824B (zh) * 2021-06-03 2022-08-30 北京理工大学 一种红外图像超分辨率及小目标检测方法
CN113222879B (zh) * 2021-07-08 2021-09-21 中国工程物理研究院流体物理研究所 一种用于红外与可见光图像融合的生成对抗网络
CN113627504B (zh) * 2021-08-02 2022-06-14 南京邮电大学 基于生成对抗网络的多模态多尺度特征融合目标检测方法
CN113706406B (zh) * 2021-08-11 2023-08-04 武汉大学 基于特征空间多分类对抗机制的红外可见光图像融合方法
CN113706407B (zh) * 2021-08-11 2023-07-18 武汉大学 基于分离表征的红外可见光图像融合方法
CN113792723B (zh) * 2021-09-08 2024-01-16 浙江力石科技股份有限公司 一种石刻文字识别的优化方法及系统
CN113902947B (zh) * 2021-10-09 2023-08-25 南京航空航天大学 一种自然图像的对空目标红外图像生成式对抗网络构建方法
CN113781377B (zh) * 2021-11-03 2024-08-13 南京理工大学 基于对抗性语义引导与感知的红外和可见光图像融合方法
CN115311186B (zh) * 2022-10-09 2023-02-03 济南和普威视光电技术有限公司 一种红外与可见光图像跨尺度注意力对抗融合方法及终端
CN115439573B (zh) * 2022-10-27 2023-03-24 北京航空航天大学 一种基于温度信息编码的可见光转红外图像的生成方法
CN116246138A (zh) * 2023-02-24 2023-06-09 云南电网有限责任公司玉溪供电局 基于全卷积神经网络的红外-可见光图像目标级融合方法
CN117788532B (zh) * 2023-12-26 2024-07-19 四川新视创伟超高清科技有限公司 一种安防领域基于fpga的超高清双光融合配准方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018053340A1 (en) * 2016-09-15 2018-03-22 Twitter, Inc. Super resolution using a generative adversarial network
CN109118467B (zh) * 2018-08-31 2021-11-16 武汉大学 基于生成对抗网络的红外与可见光图像融合方法
CN109472837A (zh) * 2018-10-24 2019-03-15 西安电子科技大学 基于条件生成对抗网络的光电图像转换方法
CN109614996B (zh) * 2018-11-28 2022-05-17 桂林电子科技大学 基于生成对抗网络的弱可见光与红外图像融合的识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Hui,Li ; Xiao-Jun,Wu.DenseFuse: A Fusion Approach to Infrared and Visible Images..2018, *

Also Published As

Publication number Publication date
CN111145131A (zh) 2020-05-12

Similar Documents

Publication Publication Date Title
CN111145131B (zh) 一种基于多尺度生成式对抗网络的红外和可见光图像融合方法
Zhang et al. Remote sensing image spatiotemporal fusion using a generative adversarial network
CN109636742B (zh) 基于对抗生成网络的sar图像和可见光图像的模式转换方法
Qu et al. A dual-branch detail extraction network for hyperspectral pansharpening
CN114119444B (zh) 一种基于深度神经网络的多源遥感图像融合方法
Xu et al. Low-rank decomposition and total variation regularization of hyperspectral video sequences
CN112967178B (zh) 一种图像转换方法、装置、设备及存储介质
CN115423734B (zh) 一种基于多尺度注意机制的红外与可见光图像融合方法
Zhang et al. Transformer based conditional GAN for multimodal image fusion
Song et al. Triple-discriminator generative adversarial network for infrared and visible image fusion
Long et al. Dual self-attention Swin transformer for hyperspectral image super-resolution
Wang et al. Latent representation learning model for multi-band images fusion via low-rank and sparse embedding
Rajini et al. A review on recent improved image fusion techniques
CN104820967B (zh) 在轨计算成像方法
CN114998167A (zh) 一种基于空间-光谱联合低秩的高光谱与多光谱图像融合方法
Jin et al. Semisupervised remote sensing image fusion using multiscale conditional generative adversarial network with siamese structure
CN110060226B (zh) 基于人类视觉梯度转化和全变差参数自适应图像融合方法
Wang et al. A self-supervised deep denoiser for hyperspectral and multispectral image fusion
Ye et al. An unsupervised SAR and optical image fusion network based on structure-texture decomposition
CN113034371B (zh) 一种基于特征嵌入的红外与可见光图像融合方法
Li et al. Transformer meets GAN: Cloud-free multispectral image reconstruction via multi-sensor data fusion in satellite images
Bai et al. Joint Sparse Representations and Coupled Dictionary Learning in Multi-Source Heterogeneous Image Pseudo-color Fusion
CN106530389B (zh) 基于中波红外人脸图像的立体重构方法
Liu et al. SI-SA GAN: A generative adversarial network combined with spatial information and self-attention for removing thin cloud in optical remote sensing images
Xie et al. Hyperspectral intrinsic image decomposition based on physical prior-driven unsupervised learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant