CN111709903A - 一种红外与可见光图像融合方法 - Google Patents

一种红外与可见光图像融合方法 Download PDF

Info

Publication number
CN111709903A
CN111709903A CN202010457106.XA CN202010457106A CN111709903A CN 111709903 A CN111709903 A CN 111709903A CN 202010457106 A CN202010457106 A CN 202010457106A CN 111709903 A CN111709903 A CN 111709903A
Authority
CN
China
Prior art keywords
image
visible light
generator
fusion
discriminator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010457106.XA
Other languages
English (en)
Other versions
CN111709903B (zh
Inventor
徐东东
张宁
张欣
王永成
肖辉
贲广利
胡雪岩
钱进
罗佺佺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Original Assignee
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun Institute of Optics Fine Mechanics and Physics of CAS filed Critical Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority to CN202010457106.XA priority Critical patent/CN111709903B/zh
Publication of CN111709903A publication Critical patent/CN111709903A/zh
Application granted granted Critical
Publication of CN111709903B publication Critical patent/CN111709903B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种红外与可见光图像融合方法，将多对红外、可见光源图像对裁剪处理得到多组对应图像对；将生成器输出的初步融合图像及裁剪后的可见光图像分别输入至判别器中，输出对应的单一可能性判别值；将融合图像与输入源图像间生成器损失及融合图像与可见光图像间的判别器损失相结合优化生成器，并通过反向传播调整生成器网络权重值及偏置值；利用融合图像及可见光图像间判别器损失优化判别器，将可见光图像的其他细节信息添加到融合图像中；经多次迭代训练得到性能稳定的网络模型；将多对未裁剪的源图像对分别输入至训练后的生成器网络可得到对应融合图像。本发明能有效提升融合图像质量及视觉信息保真度。

Description

一种红外与可见光图像融合方法
技术领域
本发明属于图像融合技术领域，具体涉及一种红外与可见光图像融合的方法，其基于生成对抗网络(GAN)及残差网络(ResNet)实现。
背景技术
红外图像的灰度由目标与背景的温差决定，可以穿透烟雾、尘埃及大气，在环境条件较差时，仍具有较强的探测能力，但图像的对比度及空间分辨率较低。可见光图像空间分辨率较高，目标纹理细节清晰，但光照条件较差时无法保证成像质量。若将红外与可见光图像融合可综合利用红外图像的目标指示特性及可见光图像的场景细节信息，有利于探测隐藏目标、增加对图像的理解力、实现全天候监测。因此，许多学者致力于红外与可见光图像融合方面的研究。
传统的红外与可见光图像融合方法包括空间域方法、多尺度变换方法、稀疏表示方法以及显著性方法等。上述传统方法虽较为成熟，应用广泛，但实现时需要人为手动设计活动水平测量及融合规则，同时大部分方法涉及复杂的分解变换，以上问题极大地制约了传统红外与可见光图像融合方法的发展。
近几年，深度学习的研究逐步深入，并在计算机视觉、模式识别及图像处理等领域取得重要突破。目前，生成对抗网络及残差网络已成功应用于图像分类、检测及重构中，均取得较好成果。但是，迄今为止未见将生成对抗网络及残差网络相结合实现红外与可见光图像融合的相关研究。
发明内容
本发明的目的在于提供一种红外与可见光图像融合方法，其基于深度学习中的生成对抗网络及残差网络实现，能有效提升融合图像质量及视觉信息保真度，克服了传统需要手动设计复杂的活动水平测量及融合规则，且涉及复杂的变换及分解操作等缺点。
本发明的目的是通过以下技术方案实现的：
一种红外与可见光图像融合方法，包括以下步骤：
S1、将多对红外、可见光源图像对分别进行裁剪处理，裁剪后得到的多组对应图像作为生成器的输入，生成器输出为单通道、同尺寸的融合图像；
S2、将步骤S1得到的融合图像及裁剪后的可见光图像输入判别器中，输出单一可能性判别值；
S3、使用步骤S1中融合图像与源图像间的生成器损失结合步骤S2 中得到的融合图像与可见光图像间的判别器损失优化生成器，并通过反向传播调整生成器网络权重值及偏置值，使用步骤S2中得到的融合图像判别值及可见光图像判别值优化判别器，将可见光图像的其他细节信息添加到融合图像中，经过多次迭代，生成器和判别器网络不断更新，直至得到性能稳定的网络模型；
S4、将多对未裁剪的源图像对分别输入步骤S3中优化好的生成器网络，得到最终的融合图像。
作为本发明更优的技术方案，所述的步骤S1中红外、可见光源图像对分别进行裁剪处理具体为：从TNO数据集中选择多对红外、可见光源图像，每对源图像均对应同一场景，将多对源图像逐个裁剪成小图像对，得到多组对应图像。
作为本发明更优的技术方案，所述的步骤S1中裁剪后得到的多组对应图像作为生成器的输入，生成器输出为单通道、同尺寸的融合图像具体为：首先采用卷积层提取多组对应图像，并将其作为后续第一个残差块和跳跃连接的输入；然后采用残差块提取与保留特征并跟随一个卷积块将特征进一步提取；接着将第一个卷积块提取的初步特征进行叠加，作为第二个残差块及跳跃连接的输入；重复一次上述残差及卷积提取操作，并将结果输出至下一卷积块；最后采用卷积层，输出单通道、同尺寸的融合图像。
作为本发明更优的技术方案，所述的步骤2具体为：首先采用卷积层对输入的融合图像或者可见光图像提取初步特征，接着连续采用多个卷积层不断缩小特征图尺寸同时增加特征图通道数；然后将输出特征图的所有点变换成单一矢量；最后通过线性相乘，输出单一可能性判别值。
作为本发明更优的技术方案，所述的步骤S3中的优化生成器是通过优化生成器损失函数完成的，所述生成器损失函数(LG)如下所示：
LG＝LAdv+δLCon
Figure BDA0002509762100000031
Figure BDA0002509762100000032
其中，LAdv为对抗损失，LCon为内容损失，D(F)为判别器对融合图像的判别输出，δ为权重参数，a为趋近1的数值，H和W分别为图像的高度和宽度，||～||F为F范数，
Figure BDA0002509762100000042
为梯度计算，γ1,γ2,γ3,和γ4为各项系数。
作为本发明更优的技术方案，所述的步骤S3中的优化判别器损失是通过优化判别器损失函数完成的，所述判别器损失(LD)函数如下所示：
Figure BDA0002509762100000041
其中，D(V)为判别器对可见光图像的判别输出，D(F)为判别器对融合图像的判别输出，b趋近于1，c趋近于0。
与现有技术相比，本发明有益效果在于：
1、在高性能GPU服务器上进行训练与测试，大幅提高运算效率；
2、生成器中加入残差网络及跳跃连接，可获取并保留更多源图像信息，生成的融合图像与源图像相似度更高；
3、在损失函数设计时，将生成器损失细化为对抗损失及内容损失，内容损失的引入保证红外图像强度、梯度信息及可见光图像的强度、梯度信息更好地被添加到融合图像中；
4、在测试时，输入源图像对可以为任意大小，网络泛化能力较强。
本发明基于深度学习的方法，无需人工手动设计复杂的活动水平测量方法及融合规则，通过训练多层网络自动提取图像特征并融合，融合过程更为简洁与智能化，能有效提升融合图像质量及视觉信息保真度。
附图说明
图1是本发明的具体实施步骤的流程图；
图2是本发明实施例1中生成器网络结构模型图；
图3是本发明实施例1中判别器网络结构模型图；
图4是本发明实施例1中残差块的结构介绍示意图；
图5是本发明实施例1中训练及测试过程示意图；
图6a-图6k是本发明实施例1中对数据集中“Marne_04”图像对的融合结果与其他方法的结果比较图。
具体实施方式
下面结合附图和实施例对本发明做进一步详细说明。
如图1所示，本发明通过设计合适的网络结构及损失函数，将生成对抗网络及残差网络相结合实现红外与可见光图像融合，包括以下步骤：
S1、将多对红外、可见光源图像对分别进行裁剪处理，裁剪后得到的多组对应图像作为生成器的输入，生成器输出为单通道、同尺寸的融合图像；
S2、将步骤S1得到的融合图像及裁剪后的可见光图像输入判别器中，输出单一可能性判别值；
S3、使用步骤S1中融合图像与源图像间的生成器损失结合步骤S2 中得到的融合图像与可见光图像间的判别器损失优化生成器，并通过反向传播调整生成器网络权重值及偏置值，使用步骤S2中得到的融合图像判别值及可见光图像判别值优化判别器，将可见光图像的其他细节信息添加到融合图像中，经过多次迭代，生成器和判别器网络不断更新，直至得到性能稳定的网络模型；
S4、将多对未裁剪的源图像对分别输入步骤S3中优化好的生成器网络，得到最终的融合图像。
在一些实施例中，所述的步骤S1中红外、可见光源图像对分别进行裁剪处理具体为：从TNO数据集中选择多对红外、可见光源图像，每对源图像均对应同一场景，将多对源图像逐个裁剪成小图像对，得到多组对应图像。
在一些实施例中，所述的步骤S1中裁剪后得到的多组对应图像作为生成器的输入，生成器输出为单通道、同尺寸的融合图像具体为：首先采用卷积层提取多组对应图像，并将其作为后续第一个残差块和跳跃连接的输入；然后采用残差块提取与保留特征并跟随一个卷积块将特征进一步提取；接着将第一个卷积块提取的初步特征进行叠加，作为第二个残差块及跳跃连接的输入；重复一次上述残差及卷积提取操作，并将结果输出至下一卷积块；最后采用卷积层，输出单通道、同尺寸的融合图像。
在一些实施例中，所述的步骤2具体为：首先采用卷积层对输入的融合图像或者可见光图像提取初步特征，接着连续采用多个卷积层不断缩小特征图尺寸同时增加特征图通道数；然后将输出特征图的所有点变换成单一矢量；最后通过线性相乘，输出单一可能性判别值。
在一些实施例中，所述的步骤S3中的优化生成器是通过优化生成器损失函数完成的，所述生成器损失函数(LG)如下所示：
LG＝LAdv+δLCon
Figure BDA0002509762100000061
Figure BDA0002509762100000062
其中，LAdv为对抗损失，LCon为内容损失，D(F)为判别器对融合图像的判别输出，δ为权重参数，a为趋近1的数值，H和W分别为图像的高度和宽度，||～||F为F范数，
Figure BDA0002509762100000072
为梯度计算，γ1,γ2,γ3,和γ4为各项系数。
在一些实施例中，所述的步骤S3中的优化判别器损失是通过优化判别器损失函数完成的，所述判别器损失(LD)函数如下所示：
Figure BDA0002509762100000071
其中，D(V)为判别器对可见光图像的判别输出，D(F)为判别器对融合图像的判别输出，b趋近于1，c趋近于0。
实施例1
本发明提供的一种红外与可见光图像融合方法，在GPU上搭建基于 TensorFlow的开发环境，硬件计算平台采用Intel E5-2690 V3处理器， TITAN V GPU，64G内存；软件平台基于Ubantu系统，版本为16.04，采用CUDA 9.0、CUDNN 7以及TensorFlow1.12.0搭建软件环境，具体步骤如下：
S1、将多对红外、可见光源图像对分别进行裁剪处理，再将裁剪后得到的多组对应图像作为生成器的输入，生成器输出为单通道、同尺寸的融合图像，具体如下：
S1.1、红外与可见光图像数据集的收集、裁剪与格式化保存
从TNO数据集中搜集到41对红外(I)与可见光(V)图像，每对图像均对应同一场景，其中红外图像包含更多的强度信息，可见光图像包含较多的细节信息。为提高网络模型的鲁棒性及泛化能力，通过裁剪的方式将数据集扩增。考虑到GPU内存大小及实际的训练效果，裁剪尺寸设置为128*128像素点，移动步长设置为13，最后得到37696对小图像用于训练。裁剪后的图像对被格式化为h5py格式，方便保存与读取。中，可见光图像将作为标签图像用于损失函数的计算。
S1.2、生成器网络(G)模型的构建
所述的生成器网络中包含多个卷积层、批归一化层、激活层，另外还有两个残差网络模块及跳跃连接。生成器以红外与可见光图像组成的两通道灰度图作为输入，单通道、同尺寸的融合图像(F)作为输出。卷积层用于提取图像特征，得到各层特征图；批归一化层用于克服模型训练过程中的梯度消失问题；激活层将非线性特性引入到网络中，使得网络可以学习、理解较为复杂、非线性数据关系；残差网络的加入可以学习并保留更多源图像的细节信息，这将有效提高融合图像的视觉信息保真度及其与源图像之间的相关性；跳跃连接可将网络前端浅层特征叠加到后面的特征图中，进一步保证融合图像包含更多的源图像信息。通过上述方式搭建的生成器网络，经过不断训练与优化，能够生成较好的融合图像。
S2、将步骤S1得到的融合图像及裁剪后的可见光图像输入判别器中，输出单一可能性判别值；本发明中判别器分别以生成器输出的融合图像及裁剪后的可见光标签图像作为输入，输出其判定后的结果值。该值表明判别器认为输入的图像为真正标签的可能性(0-1)。判别器希望输入为融合图像时，该值较小；输入为可见光标签图像时，该值较大。这样才能保证其具有较强的判别能力。判别器网络结构较生成器模型简单，包括多个卷积层、批归一化层、激活层及最后的线性层。判别器网络工作类似于一个分类器，对单次的输入图像进行可能性判别。
S3、使用步骤S1中融合图像与源图像间的生成器损失结合步骤S2 中得到的融合图像与可见光图像间的判别器损失优化生成器，并通过反向传播调整生成器网络权重值及偏置值，使用步骤S2中得到的融合图像判别值及可见光图像判别值优化判别器，将可见光图像的其他细节信息添加到融合图像中，经过多次迭代，生成器和判别器网络不断更新，直至得到性能稳定的网络模型。
损失函数设计的好坏将影响融合图像中所包含源图像信息的种类与多少。本发明中分别设计了生成器损失及判别器损失用于网络模型参数的调整。通过优化损失函数并通过反向传播调整生成器网络和判别器网络权重值及偏置值，使得生成器能够产生包含红外强度及可见光梯度信息的融合图像，判别器将可见光图像的其他细节信息补充到融合图像中。
生成器损失(LG)函数如下所示：
LG＝LAdv+δLCon (1)
Figure BDA0002509762100000091
Figure BDA0002509762100000092
其中，LAdv为对抗损失，LCon为内容损失，D(F)为判别器对融合图像的判别输出，δ为权重参数，a为趋近1的数值，H和W分别为图像的高度和宽度，||～||F为F范数，
Figure BDA0002509762100000094
为梯度计算，γ1,γ2,γ3,和γ4为各项系数；
可见光图像除梯度信息外，还包含其他细节内容，通过优化判别器损失可将其他信息逐步添加到融合图像中，判别器损失(LD)函数如下所示。
Figure BDA0002509762100000093
其中，D(V)为判别器对可见光图像的判别输出，D(F)为判别器对融合图像的判别输出，b趋近于1，c趋近于0。
本发明使用基于mini-batch的批量处理方式进行训练，生成器每次输入为32对裁剪后的小批量源图像，输出为32个融合后的单通道图像；判别器分别以生成器输出的多个图像、裁剪好的可见光图像标签作为输入，输出每一个小批量融合图像及可见光标签的判别值矢量，用于生成器和判别器损失函数值的计算。采用Adam优化算法根据损失函数变化进行梯度下降操作对网络参数进行更新。生成器和判别器网络参数交替更新、迭代，达到设定训练次数即止。
S4、将41对未裁剪的源图像对分别输入训练好的生成器网络，得到最终的融合图像。因为生成器在卷积时均采用了填充的方式，为避免生成的融合图像边缘出现灰度块，在测试时首先将两个源图像边缘填充，生成的图像尺寸与填充后的源图像一致。最后，将生成后的图像进行裁剪，去掉灰度块的同时，保证其尺寸与数据集中源图像尺寸一致。
结果分析：
采用多种图像融合评价指标综合对实施例1得到的融合图像及其他对比方法输出的融合图像进行对比评估。利用空间频率(SF)和标准差 (SD)评价融合图像本身细节及对比度特性；采用平均相似度(MSSIM)、相关系数(CC)及差异相关性(SCD)评价融合图像与两个源图像间的相关性；利用视觉信息保真度(VIFF)评价融合图像人眼视觉效果。各种方法名称如表1所示，具体比较结果列与表2中。由表1和表2中数据可以看出，本发明综合结果最好，在SF、CC、SCD及VIFF四项指标中表现较为突出，融合图像与源图像相关性较高，同时视觉效果十分突出。
表1
Figure BDA0002509762100000111
表2
Methods CVT DTCWT LP NSCT TSIFVS GTF GFF CNN Proposed Ranking
SF 11.639 11.5691 11.8508 11.6472 11 9.7324 11.1043 11.8958 12.2079 1
SD 29.6285 29.2046 32.7525 29.6933 32.23 38.0893 40.147 <u>48.1136</u> 42.7397 2
MSSIM 0.5494 0.5579 0.5665 <u>0.5761</u> 0.5749 0.5356 0.5653 0.5673 0.5708 3
CC 0.5225 0.5265 0.5214 0.5312 0.5286 0.3711 0.42 0.4956 0.5693 1
SCD 1.5916 1.5957 1.612 1.614 1.6278 1.0479 1.3317 1.622 1.7701 1
VIFF 0.3693 0.3589 0.4518 0.4084 0.4718 0.2367 0.2913 0.5067 0.6086 1
如图2所示，生成器网络总体上包含5个常规卷积层块、2个残差块、2个外部跳跃连接。卷积块中包含有批归一化层及激活函数层。生成器的输入为128×128×2的两通道灰度图，首先采用3×3的卷积层提取图像初步特征图数量为64个，并将其作为后续第一个残差块和跳跃连接的输入；然后采用残差块提取与保留特征并跟随一个卷积块将特征进一步提取；接着将第一个卷积块提取的初步特征进行叠加，作为第二个残差块及跳跃连接的输入；重复一次上述残差及卷积提取操作，并将结果输出至下一卷积块，输出特征图通道数为32；最后采用1×1卷积，将32通道输入转换成单通道融合图像输出。
如图3所示，判别器网络包含四个卷积块及一个线性层。卷积块中包含有批归一化层及激活函数层。判别器相当于一个分类器，所有卷积均带有步长且无填充，设计中步长为2。首先采用5×5的卷积层对输入的融合图像或者可见光图像提取初步特征，特征图数量为64；接着连续采用三个卷积块不断缩小特征图尺寸同时增加特征图通道数，第四个卷积块输出的图像特征图尺寸为7×7，通道数为512；然后将输出特征图的所有点变换成单一矢量；最后，通过线性相乘，输出单一可能性判别值。
如图4所示，本发明采用的是两层结构的残差块，通过使用2个3 ×3卷积核及一个跳跃连接实现特征图的提取与叠加。残差块的引入不仅能够提高训练效果，并且当模型的层数加深时，这个简单的结构能够很好的解决退化问题。
如图5所示，训练过程中，生成器和判别器全部参与其中，测试过程中只需要生成器产生融合图像。训练时，通过优化损失函数，调整网络参数，使得生成器网络产生具有红外强度和可见梯度信息的初步融合图像，判别器不断将可见光图像的其他细节信息添加到融合图像中。经过多次迭代，生成器和判别器网络不断更新，最后得到性能稳定的网络模型。
如图6所示，图6a是红外图像，图6b是可见光图像，图6c是CVT，图6d是DTCWT，图6e是LP，图6f是NSCT，图6g是TSIFVS,图6h 是GTF，图6i是GFF，图6j是CNN，图6k是本发明方法。从图中可以看出，融合后的图像与源图像的相关程度较高，同时视觉效果明显好于其他方法。
由以上可知，将深度学习方法应用于红外与可见光图像融合时，可避免手动设计复杂的测量及融合规则，通过多层网络实现图像特征的自动提取，且无需进行复杂的变换操作。
本发明通过设计适合的生成器和判别器网络结构及损失函数实现红外与可见光图像融合，以避免传统方法需要手动设计复杂的活动水平测量及融合规则，且涉及复杂的变换及分解操作等问题，并且在网络结构设计时加入残差网络及跳跃连接，同时损失函数设计时在原有基础上增加内容损失项，尽可能多的获取与保留源图像中红外图像的强度信息及可见光图像的纹理细节信息。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所作出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。

Claims (6)

1.一种红外与可见光图像融合方法，其特征在于，包括以下步骤：
S1、将多对红外、可见光源图像对分别进行裁剪处理，裁剪后得到的多组对应图像作为生成器的输入，生成器输出为单通道、同尺寸的融合图像；
S2、将步骤S1得到的融合图像及裁剪后的可见光图像输入判别器中，输出单一可能性判别值；
S3、使用步骤S1中融合图像与源图像间的生成器损失结合步骤S2中得到的融合图像与可见光图像间的判别器损失优化生成器，并通过反向传播调整生成器网络权重值及偏置值，使用步骤S2中得到的融合图像判别值及可见光图像判别值优化判别器，将可见光图像的其他细节信息添加到融合图像中，经过多次迭代，生成器和判别器网络不断更新，直至得到性能稳定的网络模型；
S4、将多对未裁剪的源图像对分别输入步骤S3中优化好的生成器网络，得到最终的融合图像。
2.如权利要求1所述的一种红外与可见光图像融合方法，其特征在于，所述的步骤S1中红外、可见光源图像对分别进行裁剪处理具体为：从TNO数据集中选择多对红外、可见光源图像，每对源图像均对应同一场景，将多对源图像逐个裁剪成小图像对，得到多组对应图像，实现数据扩增。
3.如权利要求1所述的一种红外与可见光图像融合方法，其特征在于，所述的步骤S1中裁剪后得到的多组对应图像作为生成器的输入，生成器输出为单通道、同尺寸的融合图像具体为：首先采用卷积层提取多组对应图像，并将其作为后续第一个残差块和跳跃连接的输入；然后采用残差块提取与保留特征并跟随一个卷积块将特征进一步提取；接着将第一个卷积块提取的初步特征进行叠加，作为第二个残差块及跳跃连接的输入；重复一次上述残差及卷积提取操作，并将结果输出至下一卷积块；最后采用卷积层，输出单通道、同尺寸的融合图像。
4.如权利要求1所述的一种红外与可见光图像融合方法，其特征在于，所述的步骤2具体为：首先采用卷积层对输入的融合图像或者可见光图像提取初步特征，接着连续采用多个卷积层不断缩小特征图尺寸同时增加特征图通道数；然后将输出特征图的所有点变换成单一矢量；最后通过线性相乘，输出单一可能性判别值。
5.如权利要求1所述的一种红外与可见光图像融合方法，其特征在于，所述的步骤S3中的优化生成器是通过优化生成器损失函数完成的，所述生成器损失函数(LG)如下所示：
LG＝LAdv+δLCon
Figure FDA0002509762090000021
Figure FDA0002509762090000022
其中，LAdv为对抗损失，LCon为内容损失，D(F)为判别器对融合图像的判别输出，δ为权重参数，a为趋近1的数值，H和W分别为图像的高度和宽度，||～||F为F范数，
Figure FDA0002509762090000023
为梯度计算，γ1,γ2,γ3,和γ4为各项系数。
6.如权利要求1所述的一种红外与可见光图像融合方法，其特征在于，所述的步骤S3中的优化判别器损失是通过优化判别器损失函数完成的，所述判别器损失(LD)函数如下所示：
Figure FDA0002509762090000031
其中，D(V)为判别器对可见光图像的判别输出，D(F)为判别器对融合图像的判别输出，b趋近于1，c趋近于0。
CN202010457106.XA 2020-05-26 2020-05-26 一种红外与可见光图像融合方法 Active CN111709903B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010457106.XA CN111709903B (zh) 2020-05-26 2020-05-26 一种红外与可见光图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010457106.XA CN111709903B (zh) 2020-05-26 2020-05-26 一种红外与可见光图像融合方法

Publications (2)

Publication Number Publication Date
CN111709903A true CN111709903A (zh) 2020-09-25
CN111709903B CN111709903B (zh) 2022-08-19

Family

ID=72537775

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010457106.XA Active CN111709903B (zh) 2020-05-26 2020-05-26 一种红外与可见光图像融合方法

Country Status (1)

Country Link
CN (1) CN111709903B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113034371A (zh) * 2021-05-27 2021-06-25 四川轻化工大学 一种基于特征嵌入的红外与可见光图像融合方法
CN113160286A (zh) * 2021-01-06 2021-07-23 中国地质大学（武汉） 一种基于卷积神经网络的近红外和可见光图像融合方法
CN113159143A (zh) * 2021-04-06 2021-07-23 中国人民解放军国防科技大学 基于跳跃连接卷积层的红外与可见光图像融合方法和装置
CN113191991A (zh) * 2021-04-07 2021-07-30 山东师范大学 基于信息瓶颈的多模态图像融合方法、系统、设备和介质
CN113393410A (zh) * 2021-07-26 2021-09-14 浙江大华技术股份有限公司 一种图像融合方法、装置、电子设备及存储介质
CN113674190A (zh) * 2021-08-20 2021-11-19 中国人民解放军国防科技大学 基于密集连接生成对抗网络的图像融合方法和装置
CN113706407A (zh) * 2021-08-11 2021-11-26 武汉大学 基于分离表征的红外可见光图像融合方法
CN113781377A (zh) * 2021-11-03 2021-12-10 南京理工大学 基于对抗性语义引导与感知的红外和可见光图像融合方法
CN114022742A (zh) * 2021-10-22 2022-02-08 中国科学院长春光学精密机械与物理研究所 红外与可见光图像融合方法、装置及计算机存储介质
CN115100089A (zh) * 2022-06-08 2022-09-23 上海复瞰科技有限公司 可见光和红外图像融合方法及系统、存储介质及终端
CN116091372A (zh) * 2023-01-03 2023-05-09 江南大学 基于层分离和重参数的红外和可见光图像融合方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107563412A (zh) * 2017-08-09 2018-01-09 浙江大学 一种基于深度学习的红外图像电力设备实时检测方法
CN108596071A (zh) * 2018-04-18 2018-09-28 华中科技大学 基于梯度约束生成对抗网络的异谱段红外图像变换方法
CN108830819A (zh) * 2018-05-23 2018-11-16 青柠优视科技（北京）有限公司 一种深度图像与红外图像的图像融合方法及装置
WO2018215066A1 (en) * 2017-05-24 2018-11-29 HELLA GmbH & Co. KGaA Method and system for automatically colorizing night-vision images
CN109118467A (zh) * 2018-08-31 2019-01-01 武汉大学 基于生成对抗网络的红外与可见光图像融合方法
CN109325931A (zh) * 2018-08-22 2019-02-12 中北大学 基于生成对抗网络和超分辨率网络的多模态图像融合方法
CN109447936A (zh) * 2018-12-21 2019-03-08 江苏师范大学 一种红外和可见光图像融合方法
CN109614996A (zh) * 2018-11-28 2019-04-12 桂林电子科技大学 基于生成对抗网络的弱可见光与红外图像融合的识别方法
CN110189286A (zh) * 2019-05-30 2019-08-30 兰州交通大学 一种基于ResNet的红外与可见光图像融合方法
CN110210419A (zh) * 2019-06-05 2019-09-06 中国科学院长春光学精密机械与物理研究所 高分辨率遥感图像的场景识别系统及模型生成方法
US20200089967A1 (en) * 2018-09-17 2020-03-19 Syracuse University Low power and privacy preserving sensor platform for occupancy detection
CN111161201A (zh) * 2019-12-06 2020-05-15 北京理工大学 基于细节增强通道注意力的红外与可见光图像融合方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018215066A1 (en) * 2017-05-24 2018-11-29 HELLA GmbH & Co. KGaA Method and system for automatically colorizing night-vision images
CN107563412A (zh) * 2017-08-09 2018-01-09 浙江大学 一种基于深度学习的红外图像电力设备实时检测方法
CN108596071A (zh) * 2018-04-18 2018-09-28 华中科技大学 基于梯度约束生成对抗网络的异谱段红外图像变换方法
CN108830819A (zh) * 2018-05-23 2018-11-16 青柠优视科技（北京）有限公司 一种深度图像与红外图像的图像融合方法及装置
CN109325931A (zh) * 2018-08-22 2019-02-12 中北大学 基于生成对抗网络和超分辨率网络的多模态图像融合方法
CN109118467A (zh) * 2018-08-31 2019-01-01 武汉大学 基于生成对抗网络的红外与可见光图像融合方法
US20200089967A1 (en) * 2018-09-17 2020-03-19 Syracuse University Low power and privacy preserving sensor platform for occupancy detection
CN109614996A (zh) * 2018-11-28 2019-04-12 桂林电子科技大学 基于生成对抗网络的弱可见光与红外图像融合的识别方法
CN109447936A (zh) * 2018-12-21 2019-03-08 江苏师范大学 一种红外和可见光图像融合方法
CN110189286A (zh) * 2019-05-30 2019-08-30 兰州交通大学 一种基于ResNet的红外与可见光图像融合方法
CN110210419A (zh) * 2019-06-05 2019-09-06 中国科学院长春光学精密机械与物理研究所 高分辨率遥感图像的场景识别系统及模型生成方法
CN111161201A (zh) * 2019-12-06 2020-05-15 北京理工大学 基于细节增强通道注意力的红外与可见光图像融合方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
XIANGYU LIU: "Psgan: A Generative Adversarial Network for Remote Sensing Image Pan-Sharpening", 《2018 25TH IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP)》 *
严利雄等: "基于生成对抗网络的红外图像电力设备超分辨算法研究", 《通信电源技术》 *
冯玉芳等: "基于改进全卷积神经网络的红外与可见光图像融合方法", 《计算机工程》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113160286A (zh) * 2021-01-06 2021-07-23 中国地质大学（武汉） 一种基于卷积神经网络的近红外和可见光图像融合方法
CN113159143B (zh) * 2021-04-06 2022-06-07 中国人民解放军国防科技大学 基于跳跃连接卷积层的红外与可见光图像融合方法和装置
CN113159143A (zh) * 2021-04-06 2021-07-23 中国人民解放军国防科技大学 基于跳跃连接卷积层的红外与可见光图像融合方法和装置
CN113191991A (zh) * 2021-04-07 2021-07-30 山东师范大学 基于信息瓶颈的多模态图像融合方法、系统、设备和介质
CN113191991B (zh) * 2021-04-07 2024-04-12 山东师范大学 基于信息瓶颈的多模态图像融合方法、系统、设备和介质
CN113034371B (zh) * 2021-05-27 2021-08-17 四川轻化工大学 一种基于特征嵌入的红外与可见光图像融合方法
CN113034371A (zh) * 2021-05-27 2021-06-25 四川轻化工大学 一种基于特征嵌入的红外与可见光图像融合方法
CN113393410A (zh) * 2021-07-26 2021-09-14 浙江大华技术股份有限公司 一种图像融合方法、装置、电子设备及存储介质
CN113706407B (zh) * 2021-08-11 2023-07-18 武汉大学 基于分离表征的红外可见光图像融合方法
CN113706407A (zh) * 2021-08-11 2021-11-26 武汉大学 基于分离表征的红外可见光图像融合方法
CN113674190A (zh) * 2021-08-20 2021-11-19 中国人民解放军国防科技大学 基于密集连接生成对抗网络的图像融合方法和装置
CN114022742B (zh) * 2021-10-22 2024-05-17 中国科学院长春光学精密机械与物理研究所 红外与可见光图像融合方法、装置及计算机存储介质
CN114022742A (zh) * 2021-10-22 2022-02-08 中国科学院长春光学精密机械与物理研究所 红外与可见光图像融合方法、装置及计算机存储介质
CN113781377A (zh) * 2021-11-03 2021-12-10 南京理工大学 基于对抗性语义引导与感知的红外和可见光图像融合方法
CN115100089A (zh) * 2022-06-08 2022-09-23 上海复瞰科技有限公司 可见光和红外图像融合方法及系统、存储介质及终端
CN116091372B (zh) * 2023-01-03 2023-08-15 江南大学 基于层分离和重参数的红外和可见光图像融合方法
CN116091372A (zh) * 2023-01-03 2023-05-09 江南大学 基于层分离和重参数的红外和可见光图像融合方法

Also Published As

Publication number Publication date
CN111709903B (zh) 2022-08-19

Similar Documents

Publication Publication Date Title
CN111709903B (zh) 一种红外与可见光图像融合方法
Chen et al. Identification of tomato leaf diseases based on combination of ABCK-BWTR and B-ARNet
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
Ghaderizadeh et al. Hyperspectral image classification using a hybrid 3D-2D convolutional neural networks
CN108985317B (zh) 一种基于可分离卷积和注意力机制的图像分类方法
CN111882002B (zh) 一种基于msf-am的低照度目标检测方法
CN110298321B (zh) 基于深度学习图像分类的道路阻断信息提取方法
CN109784283A (zh) 基于场景识别任务下的遥感图像目标提取方法
CN112598643B (zh) 深度伪造图像检测及模型训练方法、装置、设备、介质
CN110929029A (zh) 一种基于图卷积神经网络的文本分类方法及系统
CN112183501B (zh) 深度伪造图像检测方法及装置
CN112613350A (zh) 一种基于深度神经网络的高分辨率光学遥感图像飞机目标检测方法
CN113673697A (zh) 基于相邻卷积的模型剪枝方法、装置及存储介质
CN111524140B (zh) 基于cnn和随机森林法的医学图像语义分割方法
CN110111365B (zh) 基于深度学习的训练方法和装置以及目标跟踪方法和装置
CN111415323A (zh) 图像的检测方法及装置，神经网络的训练方法及装置
Raj et al. Object detection in live streaming video using deep learning approach
CN112270289A (zh) 一种基于图卷积注意力网络的智能监测方法
CN112132207A (zh) 基于多分支特征映射目标检测神经网络构建方法
Sahu et al. Color image segmentation using genetic algorithm
CN115830384A (zh) 一种基于双判别器生成对抗网络的图像融合方法和系统
Tian et al. A multitask convolutional neural network for artwork appreciation
CN117011219A (zh) 物品质量检测方法、装置、设备、存储介质和程序产品
CN113344110B (zh) 一种基于超分辨率重建的模糊图像分类方法
CN114758231A (zh) 一种基于监督对比学习的遥感影像遮挡处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant