CN112488970A

CN112488970A - 基于耦合生成对抗网络的红外和可见光图像融合方法

Info

Publication number: CN112488970A
Application number: CN201910861991.5A
Authority: CN
Inventors: 李启磊; 朱佳辉; 杨晓敏
Original assignee: Sichuan University
Current assignee: Sichuan University
Priority date: 2019-09-12
Filing date: 2019-09-12
Publication date: 2021-03-12

Abstract

本发明公开了一种基于耦合生成对抗网络的红外和可见光图像融合方法，包括以下步骤：(1)分别读取红外图像和可见光图像，在颜色通道上连接后馈入并联耦合的生成器。(2)第一个生成器尝试基于预融合图像生成具有红外图像结构信息的图像，判别器测量所生成图像与可见光图像的相对偏移。(3)第二个生成器专用于增强预融合图像上的可见光图像的梯度信息，其判别器专用于测量第二个生成图像相对于红外图像的偏移。(4)对两个生成的图像进行平均以获得最终的融合图像。通过本发明进行红外图像和可见光图像融合，能够有效地保持红外图像的热辐射信息和可见光图像的纹理信息。

Description

基于耦合生成对抗网络的红外和可见光图像融合方法

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于耦合生成对抗网络的红外和可见光图像融合方法。

背景技术

许多相机都配备了可见光成像传感器和红外成像传感器，这两种类型传感器可以分别捕获可见光图像和红外图像。可见光图像包含丰富的纹理信息，但是可见光成像传感器易受环境影响。例如在可见光图像中，一些重要的目标在黑暗或浓雾的情况下可能是不可见的。相反地，红外成像传感器根据热辐射捕获红外图像，因此可以在所有条件下稳定地工作。然而，红外图像通常缺乏纹理信息。为了充分利用互补信息，红外和可见光图像融合技术旨在将红外图像和可见光图像整合为具有丰富的纹理和热辐射分布的一幅图像。

通常来说，现有的红外和可见光图像融合方法可以大致分为两类：传统的融合方法和基于深度学习的融合方法。传统的融合方法在空间域或变换域中处理源图像。对于空间域方法，通过分析红外图像和可见光图像之间的空间关系来获得融合图像。例如，将源图像分解为两个尺度，并计算两个尺度的权重图，可以通过权重图重建两个尺度来获得融合图像。这是一种代表性的空间域融合方法，它推动了其他融合方法的发展。对于变换域方法，源图像通常通过一些数学方法转换为系数，接下来是测量活动水平并融合变换系数的过程。最后，通过相应的逆变换来获得融合图像。在这方面，一些典型的变换方法，如拉普拉斯金字塔(LP)，离散小波变换(DWT)，非下采样小波变换(NSCT)，稀疏表示(SR)得到了广泛的应用。然而，上述传统的融合方法可能需要很长时间来进行分解，并且这些传统方法需要复杂的手工设计融合规则。因此，这些方法难以在实际应用中使用。

发明内容

本发明的目的在于解决上述提出的问题，提供一种基于耦合生成对抗网络的红外和可见光图像融合方法。

本发明通过以下技术方案来实现上述目的：

1、本发明包括以下步骤：

(1)分别读取红外图像和可见光图像，在颜色通道上连接后馈入并联耦合的生成器。

(2)第一个生成器尝试基于预融合图像生成具有红外图像结构信息的图像，判别器测量所生成图像与可见光图像的相对偏移。

(3)第二个生成器专用于增强预融合图像上的可见光图像的梯度信息，其判别器专用于测量第二个生成图像相对于红外图像的偏移。

(4)对两个生成的图像进行平均以获得最终的融合图像。

上述方法的基本原理如下：

为了解决上述问题，本文提出了一种用于红外和可见光图像融合的相对耦合对抗生成网络，其被简称为“RCGAN”。我们使用耦合对抗生成网络来进行两队比赛，每个队伍包含一个生成器和一个判别器。对于生成器，红外和可见光图像在第一层共享相同的高级概念，并利用不同的低级细节来融合最后一层的有意义信息。然后将由生成器获得的一对融合图像馈送到相应的判别器中以区分它们之间的高级表示。为了解决先前工作中存在的“无向”问题，采用预融合图像作为生成器的指导。我们使用相对判别器来测量融合图像和红外/可见光图像之间的相对差异。与传统的融合方法相比，我们的方法成功地避免了复杂的手工设计融合规则，并且能够以端到端的方式融合源图像。同时，提出的RCGAN需要更少的计算量和存储资源，采用耦合对抗生成网络以不同的方式处理多域图像。通过使用预融合图像，我们的网络能够有目的地合成准确可靠的融合结果。

具体地，在所述步骤(2)中，第一个生成器G₁基于预融合图像学习红外图像的热辐射信息。所以损失函数设置为

其中Φ(G₁)和L_content1表示第一个生成器的对抗生成网络损失和内容损失，可以表示为

其中D_Ra1(I_real,I_fake)是表示第一个相对判别器的函数，其中I_real趋于真实的数据被标记为a。相应地，I_fake是数据趋于假，I_g1代表G₁获得的第一个生成图像，L_content1表示第一个生成器的内容损失。α和β是控制内容和红外图像I_ir的比例的两个因素。借助于该损失函数，第一个生成图像I_g1可以同时保持来自预融合图像I_pf的细节并且学习红外图像I_ir的热辐射信息。

耦合相对判别器的作用是计算生成的图像如何相对接近另一图像。这样，通过反向传播，生成的图像可以同时包含相应的相反图像的信息。详细地，对于第一个生成器，红外图像用作损失函数的一部分以优化结果，因此在相应的第一个判别器中，我们计算第一个生成图像与可见光图像的接近程度。因此，第一个相对判别器D_Ra1的损失函数被设置为

L_Ra1＝D_Ra1(I_vis,I_g1)

具体地，在所述步骤(3)中，基于预融合图像I_pf将可见光图像I_vis的梯度信息注入到第二个生成图像中。因此，第二个生成器的损失函数被设置为

其中Φ(G₂)和L_content2表示为

其中D_Ra2(I_real,I_fake)是第二个相对判别器的函数，其中真实数据被标记为a。I_g2是第二个生成器的生成图像，

是梯度操作。因此，I_g2可以基于预融合图像学习可见光图像的梯度细节。

第二个相对判别器D_Ra2旨在测量第二个生成图像I_g2如何相对接近红外图像。因此，其损失函数可以表示为

L_Ra2＝D_Ra2(I_ir,I_g2)

具体地，在所述步骤(4)中，耦合的相对判别器允许单个生成的图像具有相反图像的信息。但是得到的图像仍然存在一定程度的偏差，因此对两个生成的图像进行平均以获得最终的融合结果F

F＝0.5×(I_g1+I_g2)

本发明的有益效果在于：

1)开创了用于多域图像融合的耦合对抗生成网络。从源图像共享共同场景的几个生成器和判别器用于以不同方式处理红外图像中的突出显示的目标和可见图像中的丰富纹理。

2)创造性地使用预融合图像作为训练阶段中耦合生成器的指导。通过这样做，生成器的目标是优化预融合图像，而不是凭空产生。换句话说，它使融合图像从“存在”变为“优秀”。

3)引入相对判别器来评估融合图像和红外/可见光图像之间的相对差异。通过使用相对判别器，收敛过程在训练期间可以更加稳定，融合结果可以更加准确可靠。

附图说明

图1本发明基于耦合生成对抗网络的红外和可见光图像融合方法框图；

图2是本发明耦合生成器的网络结构图；

图3是本发明耦合相对判别器的网络结构图；

图4是本发明源图像，预融合图像，生成器生成的图像和融合结果图。

具体实施方式

下面结合具体实施例和附图对本发明作进一步说明：

图1示出了一种基于耦合生成对抗网络的红外和可见光图像融合方法，图2是本发明耦合生成器的网络结构图，图3是本发明耦合相对判别器的网络结构图，图4是本发明源图像，预融合图像，生成器生成的图像和融合结果图，图4(a)为可见光图像，图4(b)为红外图像，图4(c)为预融合图像，图4(d)为第一个生成器生成的图像，图4(e)为第二个生成器生成的图像，图4(f)为融合结果图，结合附图对本发明具体实施方式作进一步详细说明，包括以下主要步骤：

1)读取对应的红外图像I_ir与可见光图像I_vis，将两者在颜色通道上连接；

I_input＝concat(I_ir,I_vis)

2)输入的图像送入耦合对抗生成网络，第一个生成器G₁使得输入的图像学习预融合图像I_pf的纹理细节，同时保持红外图像的热辐射信息，它的损失函数设置如下

Φ(G₁)是第一个生成器的对抗生成网络损失：

D_Ra1(I_real,I_fake)是表示第一个相对判别器的函数，I_real是真实的数据，它的标签标记为a,I_fake则是趋于假的数据。

L_content1是第一个生成器的内容损失：

经过第一个生成器可以得到生成的图像，记为I_g1；

3)经过与第一个生成器并联的第二个生成器G₂，输入的图像基于预融合图像学习可见光图像的梯度信息，它的损失函数如下：

它的对抗生成网络损失：

它的内容损失：

是梯度操作，用于计算生成图像I_g2和可见光图像I_vis的梯度信息。

经过第二个生成器可以得到另一个生成的图像，记为I_g2；

4)两个生成的图像经过加权平均得到最后的融合图像

F＝0.5×(I_g1+I_g2)

源图像以及最终的融合图像在图4中展示，生成的图像具有可见光图像的丰富纹理细节，并保持了红外图像的热辐射信息。

上述实施例只是本发明的较佳实施例，并不是对本发明技术方案的限制，只要是不经过创造性劳动即可在上述实施例的基础上实现的技术方案，均应视为落入本发明专利的权利保护范围内。

Claims

1.基于耦合生成对抗网络的红外和可见光图像融合方法，其特征在于：包括以下步骤：

(1)分别读取红外图像和可见光图像，在颜色通道上连接后馈入并联耦合的生成器；

(2)第一个生成器尝试基于预融合图像生成具有红外图像结构信息的图像，其判别器计量所生成图像与可见光图像的相对偏移；

(3)第二个生成器专用于增强预融合图像上的可见光图像的梯度信息，其判别器专用于计量第二个生成图像相对于红外图像的偏移；

(4)对两个生成的图像进行平均以获得最终的融合图像。

2.根据权利要求1所述的基于耦合生成对抗网络的红外和可见光图像融合方法，其特征在于：

采用了耦合对抗生成网络，由耦合生成器和耦合判别器组成；将耦合生成对抗网络用于图像融合，可以充分利用红外图像和可见光图像中的表示信息；

所述步骤(2)中，第一个生成器G₁基于预融合图像学习红外图像的热辐射信息，所以损失函数设置为

其中Φ(G₁)和L_content1表示第一个生成器的生成对抗网络损失和内容损失，可以表示为

其中D_Ra1(I_real,I_fake)是第一个相对判别器的函数，其中I_real趋于真实的数据被标记为a；相应地，I_fake是数据趋于假，I_g1代表G₁获得的第一个生成图像，L_content1表示第一个生成器的内容损失；α和β是控制内容和红外图像I_ir的比例的两个因素；借助于该损失函数，第一个生成图像I_g1可以同时保持来自预融合图像I_pf的细节并且学习红外图像I_ir的辐射信息；

采用了相对判别器而不是绝对判别器，是因为使用相对判别器的RCGAN的损失可以稳定地减少，有利于训练进度，此外，相对判别器有助于网络更快地收敛；

耦合相对判别器的作用是计算生成的图像如何相对接近另一图像；这样，通过反向传播，生成的图像可以同时包含相应的相反图像的信息；详细地，对于第一个生成器，红外图像用作损失函数的一部分以优化结果，因此在相应的第一个判别器中，我们计算第一个生成图像与可见光图像的接近程度，因此第一个相对判别器D_Ra1的损失函数被设置为

L_Ra1＝D_Ra1(I_vis,I_g1)

所述步骤(3)中，基于预融合图像I_pf将可见光图像I_vis的梯度信息注入到第二个生成图像中，因此第二个生成器的损失函数被设置为

其中Φ(G₂)和L_content2表示为

其中D_Ra2(I_real,I_fake)是第二个相对判别器的函数，其中真实数据被标记为a；I_g2是第二个生成器的生成图像，

是梯度操作；因此，I_g2可以基于预融合图像学习可见光图像的梯度细节；

第二个相对判别器D_Ra2旨在计量第二个生成图像I_g2如何相对接近红外图像，因此其损失函数可以表示为

L_Ra2＝D_Ra2(I_ir,I_g2)

所述步骤(4)中，耦合的相对判别器允许单个生成的图像具有相反图像的信息；但是得到的图像仍然存在一定程度的偏差，因此对两个生成的图像进行平均以获得最终的融合结果F表示为

F＝0.5×(I_g1+I_g2)

I_g1是第一个生成器生成的图像，I_g2是第二个生成器的生成图像，F即为最终的融合结果。