CN113222879A - 一种用于红外与可见光图像融合的生成对抗网络 - Google Patents

一种用于红外与可见光图像融合的生成对抗网络 Download PDF

Info

Publication number
CN113222879A
CN113222879A CN202110771089.1A CN202110771089A CN113222879A CN 113222879 A CN113222879 A CN 113222879A CN 202110771089 A CN202110771089 A CN 202110771089A CN 113222879 A CN113222879 A CN 113222879A
Authority
CN
China
Prior art keywords
image
fusion
infrared
visible light
discriminator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110771089.1A
Other languages
English (en)
Other versions
CN113222879B (zh
Inventor
吴小龑
刘国栋
胡流森
袁红
朱嘉辉
杨晓敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Institute of Fluid Physics of CAEP
Original Assignee
Sichuan University
Institute of Fluid Physics of CAEP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University, Institute of Fluid Physics of CAEP filed Critical Sichuan University
Priority to CN202110771089.1A priority Critical patent/CN113222879B/zh
Publication of CN113222879A publication Critical patent/CN113222879A/zh
Application granted granted Critical
Publication of CN113222879B publication Critical patent/CN113222879B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种用于红外与可见光图像融合的生成对抗网络，生成对抗网络包括生成器、第一判别器以及第二判别器；生成器，用于将红外图像和可见光图像进行图像融合，得到融合图像；所述第一判别器，用于获取所述融合图像为所述可见光图像的概率Pa；所述第二判别器，用于获取所述融合图像为所述红外图像的概率Pb；所述生成器，还用于在所述概率Pa或/和所述概率Pb小于阈值概率时，再次对所述红外图像和所述可见光图像进行图像融合；以及在所述概率Pa和所述概率Pb均大于阈值概率时，输出所述融合图像。本发明的目的在于提供一种基于生成对抗网络的红外与可见光图像融合方法，有效利用了图像的中间特征，降低了不理想伪影。

Description

一种用于红外与可见光图像融合的生成对抗网络
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种用于红外与可见光图像融合的生成对抗网络。
背景技术
红外图像和可见光图像在交通运输系统中起着重要作用，红外图像是根据物体发射的热辐射获得的，它们受天气和光条件的影响较小，但是，红外图像中的背景信息往往是缺失的。相比之下，可见光的图像包含更多的纹理信息，然而它非常容易受到成像环境和照明条件的影响。红外图像和可见光图像融合技术可以将红外图像和可见光图像对融合成一幅图像。 融合图像包含来自可见图像的纹理信息和来自红外图像的热辐射细节，从而更有利于人类的观察和计算机分析。
根据处理领域的不同，目前主要的红外图像和可见光图像融合方法可分为两类：空间域方法和转换域方法。空间域方法通过融合规则直接融合红外对和可见光图像对。典型的融合方法是对红外图像和可见光图像进行平均。遗憾的是，这种方法得到的融合图像往往不能令人满意。为了解决这一问题，人们利用引导滤波器将红外图像和可见光图像对分解为基础层和细节层，然后使用引导滤波器将它们融合。然而，这种方法的活动水平测量不够准确。根据图像梯度测量了活动水平。有人将高斯滤波器与双边滤波器相结合，提出融合混合多尺度分解图像的方法，然而这种方法分解过程将消耗大量时间。
最近，一些基于深度学习的图像融合方法被提出，即使用卷积神经网络进行图像融合。为了提高性能，采用拉普拉斯金字塔进行多尺度分解，并利用图像自相似性对网络模型进行优化，遵循不同的方向，有人提出了一种基于生成对抗网络的红外和可见光图像融合模型。虽然这些空间域方法可以达到很好的融合效果，但它们也会产生许多负面影响。它们会导致融合图像边缘过度平滑的转变，减少对比度，以及图像的光谱失真。对于变换域方法，多尺度分解是一种使用相对广泛的强大工具，包括梯度金字塔、拉普拉斯金字塔、离散小波变换，双树复小波变换以及低通金字塔。此外，还广泛应用了几种几何分析工具进行图像融合，如曲线变换融合多模态图像，利用非下采样轮廓变换对源图像进行分解。由于图像融合缺乏标注数据，基于无监督学习的方法是当前深度学习图像融合研究的重要方向。典型的深度学习融合方法如DeepFuse和DenseFuse，通过训练得到的编码器和解码器对进行图像特征提取和重建图像，其中的特征融合过程仍然需要设计融合规则，没有实现特征的自适应融合。此外，现有的方法仅仅将网络的最后一层用于图像融合，忽略了中间特征的重要性而丢失了大量的有用信息，因此，这类方法遭受了严重的不理想伪影。
发明内容
本发明的目的在于提供一种用于红外与可见光图像融合的生成对抗网络，有效利用了图像的中间特征，降低了不理想伪影。
本发明通过下述技术方案实现：
一种用于红外与可见光图像融合的生成对抗网络，所述生成对抗网络包括生成器、第一判别器以及第二判别器；
所述生成器，用于将红外图像和可见光图像进行图像融合，得到融合图像；
所述第一判别器，用于获取所述融合图像为所述可见光图像的概率Pa；
所述第二判别器，用于获取所述融合图像为所述红外图像的概率Pb；
所述生成器，还用于在所述概率Pa或/和所述概率Pb小于阈值概率时，再次对所述红外图像和所述可见光图像进行图像融合；以及在所述概率Pa和所述概率Pb均大于阈值概率时，输出所述融合图像。
优选地，所述生成器包括边缘增强模块和融合模块；
所述边缘增强模块，用于获取所述红外图像和所述可见光图像的边缘增强图像；
所述融合模块，用于对源图像和边缘增强图像进行融合，得到所述融合图像；
其中，所述源图像为所述红外图像和所述可见光图像，所述边缘增强图像为所述红外图像的边缘增强图像和所述可见光图像的边缘增强图像。
优选地，所述融合模块包括维度连接模块、特征提取单元、第一融合单元、第二融合单元、第三融合单元以及重建单元；
所述维度连接模块，用于获取第一连接图片；
所述第一连接图片由第二连接图片和第三连接图片在维度上连接获取；第一连接图片由所述可见光图像和对应的边缘增强图像在维度上连接获取；所述第一连接图片由所述红外光图像和对应的边缘增强图像在维度上连接获取；
所述特征提取单元为卷积层，用于提取所述第一连接图片中的浅层特征；
所述第一融合单元为扩张因子为1的空洞卷积，用于对所述浅层特征进行特征提取；
所述第二融合单元为扩张因子为3的空洞卷积，用于对所述浅层特征进行特征提取；
所述第三融合单元为扩张因子为5的空洞卷积，用于对所述浅层特征进行特征提取；
所述重建单元，用于将所述第一融合单元、所述第二融合单元以及所述第三融合单元提取的特征进行重建，得到所述融合图像。
优选地，所述融合模块还包括参数生成单元，所述参数生成单元用于根据所述融合图像获取所述第一融合单元、所述第二融合单元以及所述第三融合单元的网络参数。
优选地，所述参数生成单元包括生成器损失函数，所述生成器损失函数为：
Figure 965389DEST_PATH_IMAGE001
其中，
Figure 492317DEST_PATH_IMAGE002
表示生成器损失函数，
Figure 708272DEST_PATH_IMAGE003
表示对抗损失，
Figure 41165DEST_PATH_IMAGE004
表示内容损失；
Figure 324378DEST_PATH_IMAGE005
、
Figure 350103DEST_PATH_IMAGE006
、
Figure 725459DEST_PATH_IMAGE007
和
Figure 862042DEST_PATH_IMAGE008
均表示权重系数，
Figure 734183DEST_PATH_IMAGE009
表示像素损失，
Figure 239464DEST_PATH_IMAGE010
表示结构相似性损失，
Figure 633274DEST_PATH_IMAGE011
表示边缘损失，
Figure 980073DEST_PATH_IMAGE012
表示融合图像，
Figure 441141DEST_PATH_IMAGE013
表示红外图像，
Figure 103941DEST_PATH_IMAGE014
表示可见光图像，
Figure 424195DEST_PATH_IMAGE015
表示融合图像和红外图像在亮度、对比度以及结构信息三个方面的相似程度，
Figure 637002DEST_PATH_IMAGE016
表示融合图像和可见光图像在亮度、对比度以及结构信息三个方面的相似程度，
Figure 513429DEST_PATH_IMAGE017
表示融合图像的边缘图，
Figure 786278DEST_PATH_IMAGE018
表示红外图像的边缘图，
Figure 859408DEST_PATH_IMAGE019
表示可见光图像的边缘图，
Figure 640020DEST_PATH_IMAGE020
表示第一判别器的判别值，
Figure 341259DEST_PATH_IMAGE021
表示生成器生成的融合图像，F表示范数，
Figure 50589DEST_PATH_IMAGE022
表示第二判别器的判别值。
优选地，所述第一判别器和所述第二判别器均包括网络层，所述网络层用于获取所述融合图像为所述可见光图像/所述红外光图像的概率。
优选地，所述第一判别器和所述第二判别器的所述网络层结构相同，均包括四个卷积块，其中，第一个卷积块包卷积层和ReLU激活层；第二个卷积块和第三个卷积块相同，均包括卷积层、批归一化层和ReLU激活层；第四个卷积块包括全连接层和Tanh激活函数。
优选地，所述第一判别器和所述第二判别器还均包括判别器损失函数，所述判别器损失函数用于获取所述网络层的网络参数。
优选地，所述第二判别器的判别器损失函数为：
Figure 375129DEST_PATH_IMAGE023
；
其中，
Figure 929739DEST_PATH_IMAGE024
表示第二判别器的判别器损失函数，
Figure 626430DEST_PATH_IMAGE025
表示以红外图像作为输入的第二判别器的判别值，
Figure 677301DEST_PATH_IMAGE026
表示以融合图像作为输入的第二判别器的判别值。
优选地，所述第一判别器的判别器损失函数为：
Figure 466019DEST_PATH_IMAGE027
；
其中，
Figure 89899DEST_PATH_IMAGE028
表示第一判别器的判别器损失函数，
Figure 936370DEST_PATH_IMAGE029
表示以可见光图像作为输入第一判别器的判别值，
Figure 659606DEST_PATH_IMAGE030
表示以融合图像作为输入的第一判别器的判别值。
本发明与现有技术相比，具有如下的优点和有益效果：
1、生成器采用了多尺度特征提取模块，通过三个路径不同扩张因子的空洞卷积获取大量的多尺度特征，然后将三条路径的输出连接在一起获取更加重要的特征，最后在使用融合的中间特征进行重建，有效利用了图像的中间特征；
2、采用了两个判别器，它们分别被用来区分输入图像与红外图像/可见光图像之间的差异，使得融合图像能够同时保留源图像的代表性特征（如亮度信息和纹理信息），可以避免由于单一对抗结构造成的信息损失，进而使得生成的融合结果更加准确可靠；
3、改进了生成器损失函数，增加了结构相似损失和边缘损失，分别计算融合图像与源图像在结构和边缘图上的差异，保留了更加丰富的纹理细节。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：
图1是本发明生成对抗网络的总体框架图；
图2是本发明生成对抗网络中融合模块的部分结构示意图；
图3是本发明生成对抗网络中融合模块的部分结构示意图；
图4是本发明生成对抗网络中判别器的结构示意图；
图5是本发明实施例中测试样本Walker图像对的融合结果；
图6是本发明实施例中测试样本House图像对的融合结果；
图7是本发明实施例中测试样本Ship图像对的融合结果；
图8是本发明实施例中测试样本道路场景A图像对的融合结果；
图9是本发明实施例中测试样本道路场景B图像对的融合结果。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例
一种用于红外与可见光图像融合的生成对抗网络，本实施例中的生成对抗网络如图1所示，包括生成器、第一判别器以及第二判别器；
其中，生成器，用于将红外图像和可见光图像进行图像融合，得到融合图像；
第一判别器，用于获取融合图像为可见光图像的概率Pa；
第二判别器，用于获取融合图像为红外图像的概率Pb；
生成器，还用于在概率Pa或/和概率Pb小于阈值概率时，再次对红外图像和可见光图像进行图像融合；以及在概率Pa和概率Pb均大于阈值概率时，输出融合图像。
在本方案中，采用了双判别器结构，双判别器被分别用来区分输入图像与红外图像、输入图像与可见光图像之间的差异，使得融合图像能够同时保留源图像（红外图像和可见光图像）的代表性特征（如亮度信息和纹理信息），从而使得生成的融合图像结果更加准确可靠。
具体地，在本实施例中，生成器包括边缘增强模块和融合模块；
边缘增强模块，用于获取红外图像和可见光图像的边缘增强图像；
首先获取红外图像和可见光图像的边缘图，边缘图通过计算图像的梯度而得到：
Figure 53679DEST_PATH_IMAGE031
其中，
Figure 714205DEST_PATH_IMAGE032
表示水平梯度，
Figure 447806DEST_PATH_IMAGE033
表示图像中坐标为
Figure 341943DEST_PATH_IMAGE034
的像素值，
Figure 721847DEST_PATH_IMAGE035
表示图像中坐标为
Figure 687529DEST_PATH_IMAGE036
的像素值，
Figure 541215DEST_PATH_IMAGE037
表示垂直梯度，
Figure 402992DEST_PATH_IMAGE038
表示图像中坐标为
Figure 739033DEST_PATH_IMAGE039
的像素值，
Figure 242827DEST_PATH_IMAGE040
表示图像中坐标为
Figure 419861DEST_PATH_IMAGE041
的像素值，
Figure 216654DEST_PATH_IMAGE042
表示综合梯度，
Figure 400511DEST_PATH_IMAGE043
表示边缘图。
边缘图通过计算图像的相邻元素的差值可以得到，先求出水平方向上梯度，在求出垂直方向上的梯度，在坐标（x,y）上对应的具体梯度值通过求二范数得到，然后将获取的初始边缘图输入增强网络，从而得到最终的增强边缘图。
融合模块，用于对源图像和边缘增强图像进行融合，得到融合图像；
具体地，在本实施例中，融合模块如图2和图3所示，包括维度连接模块、特征提取单元、第一融合单元、第二融合单元、第三融合单元以及重建单元；
维度连接模块，用于获取第一连接图片；
其中，第一连接图片由第二连接图片和第三连接图片在维度上连接获取；第一连接图片由可见光图像和对应的边缘增强图像在维度上连接获取；第一连接图片由红外光图像和对应的边缘增强图像在维度上连接获取；
特征提取单元为卷积层，用于提取所述第一连接图片中的浅层特征；
第一融合单元为扩张因子为1的空洞卷积，用于对浅层特征进行特征提取；
第二融合单元为扩张因子为3的空洞卷积，用于对浅层特征进行特征提取；
第三融合单元为扩张因子为5的空洞卷积，用于对浅层特征进行特征提取；
重建单元，用于将第一融合单元、第二融合单元以及第三融合单元提取的特征进行重建，得到融合图像。
在本方案中，融合模块采用了三组空洞卷积做多尺度特征提取，空洞卷积能在不牺牲分辨率的情况下增加感受野，大的感受野有利于提取更多的上下文信息，减少融合结果中的伪影。具体来说，采用了扩张因子分别为1、3、5的三种空洞卷积在三条不同的支路上对浅层特征进行特征提取，然后三条支路以相加的方式汇聚在一起从而获取更加重要的特征，最后三个卷积层在将特征重建为图像，有效利用了图像的中间特征。
第一判别器和第二判别器均包括网络层，网络层用于获取融合图像为可见光图像/红外光图像的概率。
具体地，本实施例中的网络层如图4所示，包括四个卷积块；其中，第一个块由一个卷积层和一个ReLU激活层组成；之后的两个卷积块结构相同，比第一个增加了批归一化层，卷积核的大小都设为
Figure 707995DEST_PATH_IMAGE044
，步长设为2，所以特征的尺寸在不断减少；最后一层是全连接层，并采用Tanh作为激活函数得到最后的输出，输出的是一个数值，表示输入图像是源图像的概率。
值得说明的是，第一判别器和第二判别器虽然有着相同的结构和相同的处理流程，但是它们的参数是相独立的。当融合图像和可见光图像/红外图像输入判别器（第一判别器和第二判别器）时，输入图像先经过3层卷积获得特征，然后特征经过全连接层和Tanh来获得一个数值，这个数值表示输入图像是源图像的概率（概率Pa和概率Pb）。通过将获取的概率与事先设置的概率进行对比，当概率Pa和概率Pb均大于阈值概率时则可得到最终的输出图像。
在本方案中，判别器放弃使用池化层，而设置卷积核步长为2来减少特征尺寸，在减少特征尺寸的同时保留了一定的特征空间相关性，最大限度减小了精度损失。
此外，本方案设置有第一判别器和第二判别器，第一判别器用以区分融合图像与可见光图像，能够使得融合图像保留更多可见光图像中的细节信息；第二判别器用以区分融合图像与红外图像，能够使得融合图像中保留重要的红外强度信息。在生成器和判别器不断博弈之后，当生成器能够成功欺骗两个判别器，即生成的图像让判别器难以区分时，生成的图像与红外图像与可见光图像都很接近，也就是说保留了两者的重要信息。
进一步，为了便于后续可以直接使用该生成对抗网络，生成器中还设置有用于获取第一融合单元、第二融合单元以及第三融合单元网络参数的参数生成单元，其中，参数生成单元包括生成器损失函数和优化器；第一判别器和第二判别器还均设置有用于获取网络层网络参数的判别器损失函数。在初次使用该生成对抗网络时，首先对该生成对抗网络进行训练，以获取各个网络层的网络参数，具体地，包括以下处理过程：
（1）随机选取若干个已经配对好的红外与可见光像素块对，将每一对像素块在图像通道维度上拼接起来作为生成器的输入，经过生成器后，得到对应像素块对的融合图像，计算生成器的损失函数，并利用优化器对网络参数进行更新，得到生成器网络参数；
（2）将（1）中所得像素块对的融合图像和对应的可见光像素块输入到第一判别器中进行分类，将（1）中所得像素块对的融合图像和对应的红外像素块输入到第二判别器中进行分类，并计算第一判别器和第二判别器的判别器损失函数 并利用优化器对网络参数进行更新，得到判决器（第一判别器和第二判别器）网络参数；
（3）判别迭代结束条件，包括当迭代次数H达到预设的最大迭代次数I时，终止迭代，最后一次迭代过程求得的生成器和判决器的网络参数作为最终的网络参数；否则返回执行步骤1。
本实施例生成器损失函数的目的使得生成器能学习源图像的热辐射信息和纹理信息，它由内容损失和对抗损失两部分组成，其定义如下：
Figure 536274DEST_PATH_IMAGE045
；
其中，
Figure 5432DEST_PATH_IMAGE046
表示生成器损失函数，
Figure 784907DEST_PATH_IMAGE047
表示对抗损失，
Figure 896083DEST_PATH_IMAGE048
表示内容损失。
其中，内容损失包括像素损失、结构相似性损失以及边缘损失，其数学定义如下：
Figure 578868DEST_PATH_IMAGE049
；
其中，
Figure 484507DEST_PATH_IMAGE050
表示像素损失，
Figure 377377DEST_PATH_IMAGE051
表示结构相似性损失，
Figure 259620DEST_PATH_IMAGE052
表示边缘损失，
Figure 796912DEST_PATH_IMAGE053
和
Figure 873452DEST_PATH_IMAGE054
是权重系数。
红外图像主要反映了物体的热辐射能量，可以由红外传感器获得，红外的整体亮度要高于可见光图像，但是可见光图像中也包含有一部分亮度信息，因此像素损失要考虑所有源图像，其定义如下：
Figure 128984DEST_PATH_IMAGE055
；
其中，
Figure 175437DEST_PATH_IMAGE056
表示融合图像，
Figure 596929DEST_PATH_IMAGE057
表示红外图像，
Figure 313213DEST_PATH_IMAGE058
表示可见光图像，F表示范数，
Figure 321620DEST_PATH_IMAGE059
和
Figure 578289DEST_PATH_IMAGE060
是权重系数。
结构相似性指标SSIM用以衡量两幅图像在亮度，对比度，结构信息等三个方面的相似程度，结构相似性损失也应考虑所有源图像，其数学表达式如下：
Figure 588708DEST_PATH_IMAGE061
；
其中，
Figure 741472DEST_PATH_IMAGE062
表示融合图像和红外图像在亮度、对比度以及结构信息三个方面的相似程度，
Figure 971596DEST_PATH_IMAGE063
表示融合图像和可见光图像在亮度、对比度以及结构信息三个方面的相似程度。
边缘损失通过计算生成图像与源图像在边缘信息上的差异得到，其数学定义如下:
Figure 625431DEST_PATH_IMAGE064
；
其中，
Figure 991821DEST_PATH_IMAGE065
表示融合图像的边缘图，
Figure 79601DEST_PATH_IMAGE066
表示红外图像的边缘图，
Figure 797021DEST_PATH_IMAGE067
表示可见光图像的边缘图，
Figure 129914DEST_PATH_IMAGE068
和
Figure 616390DEST_PATH_IMAGE069
是权重系数。
对抗损失来自于生成器与判别器之间的博弈，本方案中采用了两个判别器，因此对抗损失由两部分组成：
Figure 140650DEST_PATH_IMAGE070
；
其中，
Figure 79787DEST_PATH_IMAGE071
表示对抗损失，
Figure 216370DEST_PATH_IMAGE072
表示以融合图像作为输入的第一判别器的判别值，
Figure 557353DEST_PATH_IMAGE073
表示生成器生成的融合图像，
Figure 613033DEST_PATH_IMAGE074
表示以融合图像作为输入的第二判别器的判别值。
两个判别器用以减少融合结果的信息丢失，判别器损失函数的作用是让生成器学习红外图像与可见光图像的结构与纹理信息。损失函数的数学定义如下：
Figure 803581DEST_PATH_IMAGE075
其中，
Figure 212697DEST_PATH_IMAGE076
表示第二判别器的判别器损失函数，
Figure 408186DEST_PATH_IMAGE077
表示以红外图像作为输入的第二判别器的判别值，
Figure 884035DEST_PATH_IMAGE078
表示以融合图像作为输入的第二判别器的判别器损失函数，
Figure 797765DEST_PATH_IMAGE079
表示以可见光图像作为输入第一判别器的判别值，
Figure 135205DEST_PATH_IMAGE080
表示以融合图像作为输入的第一判别器的判别值。
为了对本方案的生成对抗网络进行验证，将5组测试图像采用不同的融合方法进行融合对比，如图5-9所示，可以看出采用本方案的生成对抗网络进行红外与可见光图像融合的图像具有更多的细节。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种用于红外与可见光图像融合的生成对抗网络，其特征在于，所述生成对抗网络包括生成器、第一判别器以及第二判别器；
所述生成器，用于将红外图像和可见光图像进行图像融合，得到融合图像；
所述第一判别器，用于获取所述融合图像为所述可见光图像的概率Pa；
所述第二判别器，用于获取所述融合图像为所述红外图像的概率Pb；
所述生成器，还用于在所述概率Pa或/和所述概率Pb小于阈值概率时，再次对所述红外图像和所述可见光图像进行图像融合；以及在所述概率Pa和所述概率Pb均大于阈值概率时，输出所述融合图像。
2.根据权利要求1所述的一种用于红外与可见光图像融合的生成对抗网络，其特征在于，所述生成器包括边缘增强模块和融合模块；
所述边缘增强模块，用于获取所述红外图像和所述可见光图像的边缘增强图像；
所述融合模块，用于对源图像和边缘增强图像进行融合，得到所述融合图像；
其中，所述源图像为所述红外图像和所述可见光图像，所述边缘增强图像为所述红外图像的边缘增强图像和所述可见光图像的边缘增强图像。
3.根据权利要求2所述的一种用于红外与可见光图像融合的生成对抗网络，其特征在于，所述融合模块包括维度连接模块、特征提取单元、第一融合单元、第二融合单元、第三融合单元以及重建单元；
所述维度连接模块，用于获取第一连接图片；
所述第一连接图片由第二连接图片和第三连接图片在维度上连接获取；第一连接图片由所述可见光图像和对应的边缘增强图像在维度上连接获取；所述第一连接图片由所述红外光图像和对应的边缘增强图像在维度上连接获取；
所述特征提取单元为卷积层，用于提取所述第一连接图片中的浅层特征；
所述第一融合单元为扩张因子为1的空洞卷积，用于对所述浅层特征进行特征提取；
所述第二融合单元为扩张因子为3的空洞卷积，用于对所述浅层特征进行特征提取；
所述第三融合单元为扩张因子为5的空洞卷积，用于对所述浅层特征进行特征提取；
所述重建单元，用于将所述第一融合单元、所述第二融合单元以及所述第三融合单元提取的特征进行重建，得到所述融合图像。
4.根据权利要求3所述的一种用于红外与可见光图像融合的生成对抗网络，其特征在于，所述融合模块还包括参数生成单元，所述参数生成单元用于根据所述融合图像获取所述第一融合单元、所述第二融合单元以及所述第三融合单元的网络参数。
5.根据权利要求4所述的一种用于红外与可见光图像融合的生成对抗网络，其特征在于，所述参数生成单元包括生成器损失函数，所述生成器损失函数为：
Figure 657635DEST_PATH_IMAGE002
其中，
Figure 840355DEST_PATH_IMAGE004
表示生成器损失函数，
Figure 823354DEST_PATH_IMAGE006
表示对抗损失，
Figure 484143DEST_PATH_IMAGE008
表示内容损失；
Figure 501777DEST_PATH_IMAGE010
、
Figure 793081DEST_PATH_IMAGE012
、
Figure 325694DEST_PATH_IMAGE014
和
Figure 727856DEST_PATH_IMAGE016
均表示权重系数，
Figure 662314DEST_PATH_IMAGE018
表示像素损失，
Figure 858940DEST_PATH_IMAGE020
表示结构相似性损失，
Figure 878849DEST_PATH_IMAGE022
表示边缘损失，
Figure 819123DEST_PATH_IMAGE024
表示融合图像，
Figure 608087DEST_PATH_IMAGE026
表示红外图像，
Figure 739729DEST_PATH_IMAGE028
表示可见光图像，
Figure 246934DEST_PATH_IMAGE030
表示融合图像和红外图像在亮度、对比度以及结构信息三个方面的相似程度，
Figure 725320DEST_PATH_IMAGE032
表示融合图像和可见光图像在亮度、对比度以及结构信息三个方面的相似程度，
Figure 634370DEST_PATH_IMAGE034
表示融合图像的边缘图，
Figure 172799DEST_PATH_IMAGE036
表示红外图像的边缘图，
Figure 167300DEST_PATH_IMAGE038
表示可见光图像的边缘图，
Figure 449376DEST_PATH_IMAGE040
表示第一判别器的判别值，
Figure 212933DEST_PATH_IMAGE042
表示生成器生成的融合图像，F表示范数，
Figure 187842DEST_PATH_IMAGE044
表示第二判别器的判别值。
6.根据权利要求1所述的一种用于红外与可见光图像融合的生成对抗网络，其特征在于，所述第一判别器和所述第二判别器均包括网络层，所述网络层用于获取所述融合图像为所述可见光图像/所述红外光图像的概率。
7.根据权利要求6所述的一种用于红外与可见光图像融合的生成对抗网络，其特征在于，所述第一判别器和所述第二判别器的所述网络层结构相同，均包括四个卷积块，其中，第一个卷积块包卷积层和ReLU激活层；第二个卷积块和第三个卷积块相同，均包括卷积层、批归一化层和ReLU激活层；第四个卷积块包括全连接层和Tanh激活函数。
8.根据权利要求6或7所述的一种用于红外与可见光图像融合的生成对抗网络，其特征在于，所述第一判别器和所述第二判别器还均包括判别器损失函数，所述判别器损失函数用于获取所述网络层的网络参数。
9.根据权利要求8所述的一种用于红外与可见光图像融合的生成对抗网络，其特征在于，所述第二判别器的判别器损失函数为：
Figure 404060DEST_PATH_IMAGE046
；
其中，
Figure 489828DEST_PATH_IMAGE048
表示第二判别器的判别器损失函数，
Figure 107891DEST_PATH_IMAGE050
表示以红外图像作为输入的第二判别器的判别值，
Figure 253701DEST_PATH_IMAGE052
表示以融合图像作为输入的第二判别器的判别值。
10.根据权利要求8所述的一种用于红外与可见光图像融合的生成对抗网络，其特征在于，所述第一判别器的判别器损失函数为：
Figure 957215DEST_PATH_IMAGE054
；
其中，
Figure 581095DEST_PATH_IMAGE056
表示第一判别器的判别器损失函数，
Figure 319243DEST_PATH_IMAGE058
表示以可见光图像作为输入第一判别器的判别值，
Figure 140350DEST_PATH_IMAGE060
表示以融合图像作为输入的第一判别器的判别值。
CN202110771089.1A 2021-07-08 2021-07-08 一种用于红外与可见光图像融合的生成对抗网络 Active CN113222879B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110771089.1A CN113222879B (zh) 2021-07-08 2021-07-08 一种用于红外与可见光图像融合的生成对抗网络

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110771089.1A CN113222879B (zh) 2021-07-08 2021-07-08 一种用于红外与可见光图像融合的生成对抗网络

Publications (2)

Publication Number Publication Date
CN113222879A true CN113222879A (zh) 2021-08-06
CN113222879B CN113222879B (zh) 2021-09-21

Family

ID=77081165

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110771089.1A Active CN113222879B (zh) 2021-07-08 2021-07-08 一种用于红外与可见光图像融合的生成对抗网络

Country Status (1)

Country Link
CN (1) CN113222879B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115423734A (zh) * 2022-11-02 2022-12-02 国网浙江省电力有限公司金华供电公司 一种基于多尺度注意机制的红外与可见光图像融合方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106960428A (zh) * 2016-01-12 2017-07-18 浙江大立科技股份有限公司 可见光和红外双波段图像融合增强方法
KR101841939B1 (ko) * 2016-12-12 2018-03-27 인천대학교 산학협력단 가시 및 적외선 데이터 결합을 이용한 이미지 처리 방법
CN109118467A (zh) * 2018-08-31 2019-01-01 武汉大学 基于生成对抗网络的红外与可见光图像融合方法
CN110869976A (zh) * 2018-12-04 2020-03-06 深圳市大疆创新科技有限公司 一种图像处理方法、设备、无人机、系统及存储介质
CN111145131A (zh) * 2019-11-28 2020-05-12 中国矿业大学 一种基于多尺度生成式对抗网络的红外和可见光图像融合方法
CN111161201A (zh) * 2019-12-06 2020-05-15 北京理工大学 基于细节增强通道注意力的红外与可见光图像融合方法
CN111833282A (zh) * 2020-06-11 2020-10-27 毛雅淇 一种基于改进的DDcGAN模型的图像融合方法
CN111915546A (zh) * 2020-08-04 2020-11-10 西安科技大学 红外和可见光图像融合方法、系统、计算机设备及应用
CN112001868A (zh) * 2020-07-30 2020-11-27 山东师范大学 基于生成对抗性网络的红外和可见光图像融合方法及系统
CN112488970A (zh) * 2019-09-12 2021-03-12 四川大学 基于耦合生成对抗网络的红外和可见光图像融合方法
US20210110585A1 (en) * 2019-09-25 2021-04-15 Pictometry International Corp. Systems and methods for creating automated faux-manual markings on digital images imitating manual inspection results

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106960428A (zh) * 2016-01-12 2017-07-18 浙江大立科技股份有限公司 可见光和红外双波段图像融合增强方法
KR101841939B1 (ko) * 2016-12-12 2018-03-27 인천대학교 산학협력단 가시 및 적외선 데이터 결합을 이용한 이미지 처리 방법
CN109118467A (zh) * 2018-08-31 2019-01-01 武汉大学 基于生成对抗网络的红外与可见光图像融合方法
CN110869976A (zh) * 2018-12-04 2020-03-06 深圳市大疆创新科技有限公司 一种图像处理方法、设备、无人机、系统及存储介质
CN112488970A (zh) * 2019-09-12 2021-03-12 四川大学 基于耦合生成对抗网络的红外和可见光图像融合方法
US20210110585A1 (en) * 2019-09-25 2021-04-15 Pictometry International Corp. Systems and methods for creating automated faux-manual markings on digital images imitating manual inspection results
CN111145131A (zh) * 2019-11-28 2020-05-12 中国矿业大学 一种基于多尺度生成式对抗网络的红外和可见光图像融合方法
CN111161201A (zh) * 2019-12-06 2020-05-15 北京理工大学 基于细节增强通道注意力的红外与可见光图像融合方法
CN111833282A (zh) * 2020-06-11 2020-10-27 毛雅淇 一种基于改进的DDcGAN模型的图像融合方法
CN112001868A (zh) * 2020-07-30 2020-11-27 山东师范大学 基于生成对抗性网络的红外和可见光图像融合方法及系统
CN111915546A (zh) * 2020-08-04 2020-11-10 西安科技大学 红外和可见光图像融合方法、系统、计算机设备及应用

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LIHUA JIAN 等: "SEDRFuse: A Symmetric Encoder–Decoder With Residual Block Network for Infrared and Visible Image Fusion", 《IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT》 *
QILEI LI 等: "Coupled GAN With Relativistic Discriminators for Infrared and Visible Images Fusion", 《IEEE SENSORS JOURNAL》 *
张蕾 等: "采用非采样Contourlet变换与区域分类的红外和可见光图像融合", 《光学精密工程》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115423734A (zh) * 2022-11-02 2022-12-02 国网浙江省电力有限公司金华供电公司 一种基于多尺度注意机制的红外与可见光图像融合方法

Also Published As

Publication number Publication date
CN113222879B (zh) 2021-09-21

Similar Documents

Publication Publication Date Title
CN111062880B (zh) 一种基于条件生成对抗网络的水下图像实时增强方法
CN106529447B (zh) 一种小样本人脸识别方法
CN110348330B (zh) 基于vae-acgan的人脸姿态虚拟视图生成方法
CN111915530B (zh) 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法
CN111046964B (zh) 一种基于卷积神经网络的人和车辆红外热图像识别方法
CN112766160A (zh) 基于多级属性编码器和注意力机制的人脸替换方法
CN112184577B (zh) 基于多尺度自注意生成对抗网络的单幅图像去雾方法
CN109035172B (zh) 一种基于深度学习的非局部均值超声图像去噪方法
CN110473142B (zh) 基于深度学习的单幅图像超分辨率重建方法
Tang et al. Single image dehazing via lightweight multi-scale networks
Wang et al. MAGAN: Unsupervised low-light image enhancement guided by mixed-attention
CN113837974B (zh) 一种基于改进beeps滤波算法的nsst域电力设备红外图像增强方法
CN113066025B (zh) 一种基于增量学习与特征、注意力传递的图像去雾方法
CN116596792B (zh) 一种面向智能船舶的内河雾天场景恢复方法、系统及设备
CN113011253B (zh) 基于ResNeXt网络的人脸表情识别方法、装置、设备及存储介质
CN111681180A (zh) 先验驱动的深度学习图像去雾方法
CN113222879B (zh) 一种用于红外与可见光图像融合的生成对抗网络
Babu et al. An efficient image dahazing using Googlenet based convolution neural networks
CN117495718A (zh) 一种多尺度自适应的遥感图像去雾方法
CN112232403A (zh) 一种红外图像与可见光图像的融合方法
CN117291850A (zh) 一种基于可学习低秩表示的红外偏振图像融合增强方法
CN116309221A (zh) 一种多光谱图像融合模型的构建方法
Honnutagi et al. Underwater video enhancement using manta ray foraging lion optimization-based fusion convolutional neural network
CN111553860A (zh) 水色遥感影像的深度学习非邻域均值化处理方法及系统
Chen et al. SFCFusion: Spatial-Frequency Collaborative Infrared and Visible Image Fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant