CN110889813A - 基于红外信息的低光图像增强方法 - Google Patents

Abstract

为了克服背景技术的不足，本发明提出一种端到端的两阶段的神经网络模型来融合低光和红外信息增强图像，以到达增强低光图片的目的。首先，我们发现低光图片，由于光线较低造成局部信息丢失，单纯的增强低光图片，无法补充丢失的信息。受此问题的启发，我们考虑结合低光下红外图像，两个状态下的信息相互补充。整个模型中，我们在第一阶段对图像像素不为零区域，进行亮度和对比度提升。在网络的第二部分运用前景关注模块，重建缺失区域的图像，以此最终获得完整的亮图像。有益的技术效果：相比其他算法，本发明的算法引入了红外信息，在局部低光的情况下，恢复出了更多的细节，增强的图像整体更加的自然，且算法能处理更暗的图像。

Description

基于红外信息的低光图像增强方法

技术领域

本发明属于图像处理技术领域，基于红外信息的低光图像增强方法。

背景技术

高质量的图像在物体识别，场景检测等计算机视觉任务中起到至关重要的作用。但在实际情况下，拍摄的图像质量常常由于天气，光照影响通常会降级。例如，当在低光条件下拍摄图片时，图像的对比度和亮度非常低，这在很大程度上增加了后续高级任务的难度，同时也降低了可见光下的算法性能。图1提供了三个这样的例子，从图片可以明显发现，许多细节都隐藏到了深色背景中。为了是这些细节再现，需要低光图像增强。

低光增强一个典型的选择是直方图均衡策略.该方法是将整个图像的直方图尽可能平衡，本质上，该方法专注于对比度增强，没有考虑真实情况，具有过度增强和欠增强的风险，并且容易产生不希望的伪影。为了解决这个问题，提出了动态直方图均衡和亮度保持动态直方图均衡等方法，但是，在很多情况下，它们会导致颜色失真。另一种广泛使用的技术是Gamma校正方法，该方法是通过增加暗区域亮度同时压缩亮区来增强对比度和亮度，该方法的缺点是每个像素被单独处理，，使得结果看起来与真实图像不一致，而本发明提出的方法加入了红外信息，使低光增强得结果更符合实际，且整个算法对缺失区域也有很好的恢复，而其他算法并不能做到这一点，而且选择深度学习方法使用GPU加速，使得整个算法速度更快。

Retinex理论由Land和McCann提出。该理论说明了人类视觉系统的色觉特性。它假设图像是照明和反射的相互作用，图像可以分解为反射和照明，通过消除照明效果，可以增强低光图像。基于Retinex理论，后续提出了几种方法。单尺度Retinex(SSR)，多尺度Retinex(MSR)，以及具有颜色恢复的多尺度Retinex(MSRCR)[11]。最近Gan等人提出照明图估计方法，该方法首先通过找到R，G和B通道中每个像素的最大强度来构建照明图，然后利用照明的结构并执行结构感知平滑以细化照明图，最终实现低光增强。然而，这些方法通常假设图像已经包含场景内容的良好表示，而对于存在缺失区域，算法并不能起到很好的效果，而本发明的算法引入红外信息使得算法鲁棒性更高。

关于对低光增强任务，目前使用深度学习方法的不在少数，但这些方法还为考虑到红外信息的引入，并且这些方法也无法解决图像中存在缺失区域的情况，而我们的方法其特点就是解决这个问题，并且通过实际证明了这个方法的有效性。

最近，深度神经网络的强大功能促使目标检查，目标识别，语义分割等效果得到巨大提升。除了这些高级视觉任务，深度学习在低级视觉任务也有非常好的效果，以此深度学习方法非常适用我们的低光增强任务。

发明内容

为了克服背景技术的不足，提出一种端到端的两阶段的神经网络模型来融合低光和红外信息增强图像，以到达增强低光图片的目的。首先，我们发现低光图片，由于光线较低造成局部信息丢失，单纯的增强低光图片，无法补充丢失的信息。受此问题的启发，我们考虑结合低光下红外图像，两个状态下的信息相互补充。整个模型中，我们在第一阶段对图像像素不为零区域，进行亮度和对比度提升。在网络的第二部分运用前景关注模块，重建缺失区域的图像，以此最终获得完整的亮图像。本发明的方案如下：

基于红外信息的低光图像增强方法，采用计算机并按如下步骤进行：

步骤1：向计算机输入低光图像和红外图像，低光图像和红外图像一一对应。

步骤2：对步骤1的进行低光图像4次对数log变换，每进行/计算一次对数log变换就获得一个log变换图像。每进行一次对数log变换即使用一个对数参数，4个对数参数互不相同。其中对数log变换是常见的图像增强方法，我们对同一张低光图像采用4种不同的参数生成4张增强的图像，掩码图像均是和步骤1所输入的低光图像相同尺寸的单通道图像，用1表示步骤1中低光图像中像素为0的点，0表示步骤1中低光图像非零的点。进一步说，一张低光图像通过log变换会生成四张不同的预增强图像，log变换并不会产生亲的掩码图像，掩码图像只是标记低光图像像素为0区域(掩码图像对应位置为1)与非0区域(掩码图像对应位置为0)。

步骤3：将步骤1中的红外图像，步骤2中4张log变换图像、1张掩码图像按通道合并作为U-net网络输入，通过优化损失函数训练U-net网络，利用训练完成的U-net网络得到预增强图像。所述U-net网络带有指导分支。所述指导分支是指对公用网络做的修改。迭代优化损失函数，是指迭代训练U-net网络。

步骤4：基于步骤3获得的预增强图像，结合步骤1中红外图像和步骤2中掩码图像，输入到带有情景关注层的网络中，此步骤中，带前景关注层的网络是一个双分支网络，其中一个分支带有情景关注层，另一分支为扩张卷积层。其中，情景关注层是结合红外信息和低光信息重建低光图像像素为0的点。随后再通过对抗网络训练模式，获得最终的增强图像，并输出。所述对抗网络训练是指GAN网络对抗训练模式。

进一步说，在步骤2中，在低光图像的基础下，通过对数log变换对低光图像进行提高亮度，经过4次不同的log变换获得初始的增强图像。其中低光图像是指在在低光环境下拍摄得到的图像，图像特点为亮度低，对比度低，以至于在图像中存在局部信息丢失的情况。局部信息丢失，是指像素为0。log变换为传统的图像增强算法，采用1、10、100和300，这4种不同的参数获得原低光图像的4张增强图像，其中的掩码图像是与原低光图像同宽高的单通道二值图像，其中1表示原图像像素为0的点，0表示原图像像素非0的点。

进一步说，在步骤3中，将分别由步骤1和步骤2中4张log变换图像、红外图像、掩码图像按通道合并作为U-net网络输入，通过优化损失函数进行训练U-net网络，利用训练完成的U-net网络得到预增强图像。其中红外图像是摄像机在红外模式下获得的，并与低光图像像素对应。U-net网络是公共网络，我们对其做了一定的修改，并如图2所示，相比与原始的U-net网络，添加了一个输出原始低光图像灰度图像的分支。详细的损失函数我们将在下一部分介绍。

进一步说，步骤4中，将步骤3中获得的预增强图像，结合步骤1中红外图像和步骤2中掩码图像，输入到新的双分支网络中(如图3)，其中一个分支将红外图像进行卷积池化操作，获得红外特征图，另一个分支将输入的预增强图像进行卷积池化操作，获得预增强图像特征。将红外特征图，预增强图像特征以及掩码图像一同输入到前景关注层中，以此获得重建后的特征。预增强图像特征再经过四层不同的扩张卷积层，扩张率分别为2，4，8，16。最终将重建后的特征和最后一层扩张卷积层特征进行级联，经过反卷积输出最终的增强结果。，最终实现基于红外信息的低光图像增强，该双分支网络采用对抗模式进行训练，为了让网络训练更稳定，采用具有梯度惩罚项的WGAN-GP损失形式。补充地说：只有一个最终的增强结果，就是经前景关注层重建的特征与扩张卷积层特征级联，经反卷积输出的结果。

更进一步说，步骤2的具体步骤为：

对输入数据的处理分为对数log变换。

其中计算低光图像的对数log变换公式如下：

其中，X表示低光图像，v_j+1表示对数基数，M_j表示对数变换的结果，n表示对数变换函数的数量，在本方法中n为4，v_j分别取1，10，100，300，分别对应了4张log变换增强图像。补充地说：j是什么？j＝1、10、100和300？是用来区分不同的变换，是v取不同的值，v_j取值分别是1，10，100，300，如v₁＝1，v₂＝10，v₃＝100等。

更进一步说，步骤3的具体步骤为：

对于利用带指导分支的U-net网络获得预增强图像其中主要包括两部分：输入图像和损失函数设计。

整个带指导分支的U-net网络结构由输入层、卷积层、激活函数、池化层、反卷积、级联及输出层组成。该网络的输入层是多张图像通道叠加产生，每一层输入通过卷积核的卷积后通过激活函数得到特征图，同一个特征图是由相同的权重卷积得到。每层卷积核的个数决定了该层的特征图个数。池化层利用图像局部相关性原理，对图片进行缩小，可以在减少数据的处理量的同时保留有用的信息。所以对前一层的特征图进行池化操作，得到的特征图个数不变，但尺寸变小。

其中U-net网络是公用的深度学习框架，此处使用的带指导分支的U-net网络，相比公共U-net网络我们添加了一个分支，如图2。

本步骤中的网络输入是：四张log变换图像、红外图像、掩码图像，经过通道合并，所以数据纬度是256*256*14。

第一次卷积时是用32个3*3*14的卷积核，卷积两次，得到32个与原始数据同样大小的特征图，即256*256*32，接着是池化层，用2*2的池化核将前面得到的特征图缩小了一半，即128*128*32。

第二次卷积是64个3*3*32的卷积核，卷积两次，得到64个缩小后的特征图，即128*128*64，接着是池化层，又将上述的特征图缩小了一半，即64*64*64。

第三次卷积是128个3*3*64的卷积核，卷积两次，得到128个特征图，即64*64*128，接着是池化层，又将上述的特征图缩小了一半，即32*32*128。

第四次卷积是256个3*3*128的卷积核，卷积两次，得到256个特征图，即64*64*256，接着是池化层，又将上述的特征图缩小了一半，即16*16*256。

第五次卷积是512个3*3*256的卷积核，卷积两次，得到512个特征图，即16*16*512。

到此模型的编码过程结束，接下来网络分成两个分支：第一分支、第二分支。

第一分支，为带级联的分支，此分支输出预增强图像，具体步骤如下：

首先将第五次卷积的特征16*16*512经反卷积变换到32*32*256，并与第四次池化前特征进行级联生成32*32*512特征图，接着用256个3*3*512卷积核卷积两次，获得32*32*256特征。

接着将上面32*32*256特征经反卷积变换到64*64*128，并与第三次池化前特征进行级联生成64*64*256特征图，接着用128个3*3*256卷积核卷积两次，获得64*64*128特征。

接着将上面64*64*128特征经反卷积变换到128*128*64，并与第三次池化前特征进行级联生成128*128*128特征图，接着用64个3*3*128卷积核卷积两次，获得128*128*64特征。

接着将上面128*128*64特征经反卷积变换到256*256*32，并与第三次池化后特征进行级联生成256*256*64特征图，接着用32个3*3*64卷积核卷积两次，获得256*256*32特征，在经过16个3*3*64卷积进行卷积，获得256*256*16特征图。

最终通过3个3*3*16卷积核获得256*256*3尺寸的预增强图片。

第二分支具体步骤如下：

首先将第五次卷积的特征16*16*512经反卷积变换到32*32*256，接着用256个3*3*256卷积核卷积，获得32*32*256特征。

接着将上面32*32*256特征经反卷积变换到64*64*128，接着用128个3*3*128卷积核卷积，获得64*64*128特征。

接着将上面64*64*128特征经反卷积变换到128*128*64，接着用64个3*3*64卷积核卷积两次，获得128*128*64特征。

接着将上面128*128*64特征经反卷积变换到256*256*32。

最终通过一个3*3*32卷积核卷积得到256*256*1的灰度图像。

以上就是整个带指导分支的U-net网络，输出为预增强图像和灰度图像。

带指导分支的U-net网络输入：4次对数变换图像、红外图像和掩码图像。

构建带指导分支的U-net网络的模型损失函数，补充地说，上面公式是对输入图像的，下面的描述的损失是对网络输出结果的，由三部分损失组成：第一部分损失为低光图像与对应标签图像的像素损失，第二部分损失是内容损失，第三部分损失是指导网络输出灰度图像与真实图像灰度图像的像素损失。

第一部分损失/像素损失：

即第一部分低光图像与对应自然光下图像的像素损失，具体定义如下：

L_hole和L_valid分别指什么？

其中，M表示和256*256单通道掩码图像，M由0或1组成，其中0的位置表示低光图像像素值不为0的位置，1的位置表示低光图像像素值为0的位置。L_hole表示输出图像与标签图像在低光图像像素值为0的位置处的像素差的均值。L_valid表示输出图像与标签图像在低光图像像素值不为0的位置处的像素差的均值。WHC分别表示标签图像的宽、高和通道数，I_out表示带分支U-net网络输出的预增强图像，I_gt表示输入的原低光图像对应的自然光下的图像。

将第一部分低光图像与对应标签图像的像素损失分成两部分：通过在总损失中适当的增减L_hole的权重，来平衡低光图像像素值为0的位置和非0位置的损失比例。

第二部分损失/内容损失：

将带指导分支U-net网络输出的预增强图像输入vgg-19网络，计算产生的特征图来定义内容损失，这种损失不是度量图像之间的像素差异，而是鼓励他们具有相似的特征表示。通过反复的实验，发现内容损失能有效的提高低光图像像素值为零的区域恢复的质量，故在本发明中，将内容损失定义为带指导分支的U-net网络输出和目标图像的特征表示之间的欧几里德距离：

其中，

表示在vgg-19 CNN的第n个卷积层之后获得的特征图，WHC表示特征图的宽，高和通道数，而Pre()表示带指导分支U-net网络，I_in表示带指导分支U-net网络输入，L_content表示内容损失。。

第三部分损失/输出与标签的损失：

即关于带指导分支的U-net网络的指导分支损失，为输出的灰度图像和真实图像的灰度图像的像素值损失L_guide：

其中G(I_in)表示带指导分支U-net网络预测的灰度图像，I_in表示带指导分支U-net网络的输入，I_{gt_gray}表示真实图像的灰度图像，WHC表示图像的宽，高和通道数。

综上，带指导分支的U-net网络总损失可表示为：

通过迭代优化最小化目标函数

训练带指导分支的U-net网络，α，β，γ，δ表示常量值，控制各部分损失在总损失中的比例，实际中分别取1，6，0.1，1。

进一步说，步骤4作用在于修复低光图像像素为0的位置。在步骤4中，采用生成对抗网络为主体结构，其中，生成器采用带有情景关注层的卷积神经网络。判别器的输出是对输入的真假判断，并使用WGAN-GP损失稳定训练。使用新的双分支网络，如图3，作为生成器，其详细结构描述如下：

本步骤，图3所示的网络结构由红外图像和预增强图像分别进入各自的分支，最终级联后进行反卷积输出最终增强结果。

由于有前景关注层的分支需要预增强图像的特征，所以构建带扩张卷积的分支。此处对应的是预增强图像分支。

带扩张卷积分支的输入为带指导分支U-net网络输出的预增强图像，数据纬度是256*256*3，首先用32个5*5*3卷积核进行卷积，得到256*256*32特征图，接着进行池化，将特征图缩小一半，特征图变为128*128*32。

随后用64个3*3*32卷积核进行卷积，得到128*128*64特征图，接着进行池化，将特征图缩小一半，特征图变为64*64*64。

接着用128个3*3*64卷积核进行2次卷积，得到64*64*128特征图。

接下来将进行扩张卷积操作。

随后将64*64*128进行4次扩张卷积操作，其中扩张率分别为2，4，8，16，扩张卷积不会改变特征图的大小，至此特征图为64*64*128。

随后，构建带前景关注层的分支，此处对应的是红外图像分支。

带前景关注层的分支的输入为红外图像，数据纬度是256*256*1，首先用32个5*5*1卷积核进行卷积，得到256*256*32特征图，接着进行池化，将特征图缩小一半，特征图变为128*128*32。

随后用64个3*3*32卷积核进行卷积，得到128*128*64特征图，接着进行池化，将特征图缩小一半，特征图变为64*64*64。

接着用128个3*3*64卷积核进行2次卷积，得到64*64*128特征图。

随后，进行前景关注层操作，将由前序步骤得到的扩张卷积前的64*64*128特征图和前景关注层前一层特征64*64*128，以及掩码图像，这里掩码图像大小将从256*256*1缩小到64*64*1，按如下步骤操作：构建前景关注层内的细节操作如图4。

首先，将前景关注层前一层特征64*64*128变换到2*2*128*1024，因为此特征是由红外图像卷积得到的，在实际中红外成像不会受到光线昏暗的影响，红外图像不会有缺失。此层的主要思想是：通过低光图像确定掩码图像，掩码图像目的是标记处低光图像像素为0的位置，掩码图像确定前景关注层需要关注的区域，这些区域将会对应到红外特征上，在红外图像上计算这些区域与其他区域的余弦距离，通过softmax函数对余弦距离进行归一化，获得关注度评分，大小为64*64*1024，接着将扩张卷积前的特征64*64*128变换到2*2*128*1024，此特征由预增强图像获得，然后再获得的关注度评分64*64*1024上，利用扩张卷积前的特征2*2*128*1024，进行反卷积，获得前景关注层输出特征64*64*128，此反卷积目的是利用关注度评分将为缺失部分的特征拷贝到缺失部分，以此达到恢复缺失部分的特征。

构建带前景关注层的分支，最后再利用128个3*3*128的卷积核卷积两次，得到64*64*128特征。

接着带前景关注层的分支得到的64*64*128特征和扩张卷积后的特征64*64*128，进行级联得到64*64*256特征，然后用128个3*3*256个卷积核进行两次卷积，得到64*64*128特征。

再通过一次反卷积，得到128*128*64特征。

接着利用64个3*3*64卷积核，得到128*128*64特征。

再通过一次反卷积，得到256*256*32特征。

接着利用16个3*3*32卷积核，得到256*256*16特征。

最后再通过3个3*3*16得到最终增强图，所述最终增强图为256*256*3。

本发明中的生成器，采用的是带有情景关注层的卷积神经网络。所述情景关注层的作用是修复图像中缺失区域。相比较传统的图像缺失方法，本步骤所采用的是改进后的，区别在于：虽然同样要修复图像缺失的部分，但是传统方法是在完全不知道缺失区域位置有什么的情况下需要网络给出预测，因此缺失部分已经和真实情况没有关联，而本发明修复的缺失部分，是在红外图像的基础上给出预测。在未缺失的部分，需要对未缺失部分进行提亮和增强对比度，这正是步骤3的作用。此外，通过步骤3，将红外图像的信息和低光图像进行了融合，情景关注层可以利用周围的图像特征作为参考，换言之，利用缺失区域红外特征信息，在其他未缺失区域寻找一块近似区域进行填补，使其更接近真实情况。

关于前景关注层，结合了红外特征和预增强图像特征进行如下的处理：利用缺失部分红外特征信息，去匹配未缺失部分，得到最近似的块，以此来获得关注度评分图。然后再通过预训练图像的特征，结合关注度评分图，重建缺失区域的特征。

关于生成器的结构，卷积神经网络中情景关注层使用卷积计算缺失区域和非缺失区域的匹配分数，然后通过通用的softmax函数对计算的匹配分数进行归一化。此处，区域和非缺失区域通过卷积计算的匹配分数，最后通过注意力分数和预增强图像特征，利用反卷积来重建缺失部分。而其中的带有跨步卷积的分支得到的预增强图像特征与带有前景关注层的分支得到的特征进行级联，从而限制前景关注层对未缺失区域不合理的修改。

关于判别器，判别器输入是带情景关注层的网络(生成器)输出的最终增强图像或者是对应的实际自然光下的图像。

其中判别器的整体结构如图5，详细的描述如下：

判别器输入是带情景关注层的网络(生成器)输出的最终增强图像或者是对应的自然光下的图像，数据纬度为256*256*3，判别器中每次卷积都会使用Relu激活函数，下面不再重复。

首先使用32个5*5*3卷积核进行步幅为2的卷积，步幅为2会将卷积的数据宽高缩小一半，所有得到128*128*32特征图。

接着使用64个5*5*32卷积核进行步幅为2的卷积，得到64*64*64特征图。

再使用128个5*5*64卷积核进行步幅为2的卷积，得到32*32*128特征图。

再使用128个5*5*128卷积核进行步幅为2的卷积，得到16*16*128特征图。

最后接一个全连接层，最终获得1*1数据。

以WGAN-GP提出的损失形式作为判别器的损失，其中损失为：

L_D＝D(I_gt)-D(I_output)+10*GP (4-1)

其中L_D表示判别器总损失，D表示判别网络，I_gt表示实际自然光图像，，D(I_gt)表示输入实际自然光图像时判别器网络的输出，I_output表示生成器网络的输出图像，D(I_output)，表示输入生成器网络的输出图像时判别器网络的输出，GP表示惩罚项。GP是公共的惩罚项。

生成器总损失函数由对抗损失、像素损失，内容损失和风格损失组成，其中：

对抗损失定义为：

其中

表示生成器总损失中对抗损失，D表示判别网络，I_output表示生成器网络的输出图像，D(I_output)表示将判别器输入生成器网络的输出图像时产生的输出。WGAN-GP是一个公用的GAN网络变体，它定义了自己的对抗损失，本发明沿用了WGAN-GP中损失的定义。风格损失：该损失使生成器网络对缺失部分产生符合实际的结果，具体形式如下：

其中

表示在vgg-19 CNN的第n个卷积层之后获得的特征图，W_nH_nC_n表示对应第n个卷积特征的宽，高和通道数。I_output表示最终增强图像，I_gt表示与最终增强图像相对应的自然光下图像。

像素损失：

其中，M表示和256*256单通道掩码图像，M由0或1组成，其中0的位置表示低光图像像素值不为0的位置，1的位置表示低光图像像素值为0的位置。L_hole表示输出图像与标签图像在低光图像像素值为0的位置处的像素差的均值。L_valid表示输出图像与标签图像在低光图像像素值不为0的位置处的像素差的均值。WHC分别表示标签图像的宽、高和通道数，I_out表示生成器网络输出的最终增强图像，I_gt表示输入的原低光图像对应的自然光下的图像。

内容损失定义为生成器模型输出和目标图像的特征表示之间的欧几里德距离：

其中，

表示在vgg-19 CNN的第n个卷积层之后获得的特征图，WHC表示特征图的宽，高和通道数，I_out表示生成器网络的输出，L_content表示内容损失。

所以，生成器的总损失为：

缺参数的定义，请补充。

L_G表示生成器总损失，

L_valid，L_hole，L_content，L_style，由上面定义的各部分损失，α，β，γ，δ，ε表示常量值，控制各部分损失在总损失中的比例，实际中分别取0.1，50，6，0.001，0.0001。

有益的技术效果

本方法通过深度学习的方法将红外信息与情景关注模块引入到低光增强任务中，通过与GBLIE，PIE，RetinexNet进行对比可以看到，本方法相比其他算法，我们的算法引入了红外信息，在局部低光的情况下，恢复出了更多的细节，增强的图像整体更加的自然，且算法能处理更暗的图像，这也是目前其他算法无法做到的，因此，这也直接的证明了在低光图像恢复的任务中，引入红外信息的必要性，并且模型经过训练后，在硬件的支持下，速度更快。下图中的消融实验，也直接的证明了情景关注模块的有效性。

附图说明

图1是本发明的流程图。

图2是带指导分支的U-net。

图3是带情景关注层的神经网络。

图4是情景关注层细节示意图。

图5是判别网络示意图。

图6是室外测试集对比实验的示意图。

图7是带有缺失区域的室内/外测试集对比实验的示意图。

图8是实际测试集对比实验的示意图。

图9是消融实验示意图。

具体实施方式

现结合附图详细说明本发明的特点。

参见图1，基于红外信息的低光图像增强方法，采用计算机并按如下步骤进行：

步骤1：向计算机输入低光图像和对应的红外图像。

步骤2：计算低光图像4次不同的对数log变换，及像素值为零的掩码图像。

步骤3：将步骤1红外图像，步骤2中4次对数变换图像和掩码图像输入到带指导分支的U-net网络中，通过迭代优化损失函数进行训练，得到预增强图像。

步骤4：基于步骤3获得的预增强图像，结合步骤1中红外图像和步骤二中掩码图像，输入到带有情景关注层的网络中，通过对抗训练，获得最终的增强图像。

进一步说，在步骤2中，在低光图像的基础下，通过对数log变换对低光图像进行提高亮度，经过4次不同的log变换获得初始的增强图像。

进一步说，在步骤3中，将步骤1红外图像，步骤2中4次对数变换图像和掩码图像输入到带指导分支的U-net网络中，通过迭代优化损失函数进行训练，得到预增强图像，。

进一步说，步骤4中，结合步骤1中红外图像和步骤2中掩码图像，输入到带有情景关注层的卷积神经网络中，通过对抗训练，获得最终的增强图像，最终实现基于红外信息的低光图像增强。

更进一步说，步骤2的具体步骤为：

对输入数据的处理分为对数log变换。

其中计算低光图像的对数log变换公式如下：

其中，X表示低光图像，v_j+1表示对数基数，M_j表示对数变换的结果，在本方法中v_j选1，10，100，300。

更进一步说，步骤3的具体步骤为：

对于利用带指导分支的U-net网络获得预增强图像其中主要包括两部分：输入图像和损失函数设计。

对于带指导分支的U-net网络输入是4次对数变换图像，红外图像和掩码图像。根据我们的目标，带指导分支的U-net网络模型损失函数由三部分组成：输入低光图像与对应标签图像的像素损失、第二部分损失是内容损失、最后一部分是指导网络输出灰度图像与真实图像灰度图像的像素损失。

对于输出与标签的损失我们定义如下：

其中，M表示和256*256单通道掩码图像，M由0或1组成，其中0的位置表示低光图像像素值不为0的位置，1的位置表示低光图像像素值为0的位置。因此L_hole表示输出图像与标签图像在低光图像像素值为0的位置处的像素差的均值，而L_valid表示输出图像与标签图像在低光图像像素值不为0的位置处的像素差的均值。W，H，C表示标签图像的宽，高和通道数，这里要解释的是，为什么要将像素损失分成两部分的原因是：这样我们在总损失中可以适当的增加L_hole的权重，为了让网络更加关注低光图像像素值为0位置的恢复。

我们根据预训练的vgg-19网络的ReLU层产生的特征图来定义我们的内容损失，这种损失不是度量图像之间的像素差异，而是鼓励他们具有相似的特征表示，其中包括内容和感知质量的各个方面。在我们的任务中，发现内容损失能有效的提高低光图像像素值为零的区域恢复的质量，我们的内容损失定义为预增强模型输出和目标图像的特征表示之间的欧几里德距离：

其中，

表示在vgg-19 CNN的第n个卷积层之后获得的特征图，W，H，C表示特征图的宽，高和通道数，而Pre(I_in)表示预增强模型的输出。

关于带指导分支的U-net网络的指导分支损失，我们计算输出的灰度图像和真实图像的灰度图像的像素值损失：

其中G(I_in)表示指导网络预测得灰度图像，I_{gt_gray}表示真实图像的灰度图像：

综上，我们预增强模型总损失可表示为：

通过迭代优化最小化目标函数

训练带指导分支的U-net网络。

更进一步说，步骤4的具体步骤为：

在此阶段我们的目的是希望网络着重修复低光图像像素为0的位置。因此，我们采用生成对抗网络为主体结构，其中生成器我们采用带有情景关注层的卷积神经网络。判别器的输出是对输入的真假判断，并使用WGAN-GP损失稳定训练。

关于生成器，我们采用带有情景关注层的卷积神经网络。情景关注层主要工作是修复图像中大量缺失区域。相比较我们的任务，两者之间有区别也有联系。首先，区别在于，我们虽然同样要修复图像缺失的部分，但是在完全不知道缺失区域位置有什么的情况下需要网络给出预测，因此缺失部分已经和真实情况没有关联，而我们修复的缺失部分，必须要在红外图像的基础上给出预测。在未缺失的部分，而我们需要对未缺失部分进行提亮和增强对比度，这正是步骤3的作用。联系在于，我们的任务通过步骤3，已经将红外图像的信息和低光图像进行了融合，情景关注层可以利用周围的图像特征作为参考，所以我们利用缺失区域红外特征信息，在其他未缺失区域寻找一块近似区域进行填补，使其更接近真实情况。

关于前景关注层的细节描述。我们结合了红外特征和预增强图像特征。其中，我们利用缺失部分红外特征信息，去匹配未缺失部分，得到最近似的块，以此来获得关注度评分图，然后再通过预训练图像的特征，结合关注度评分图，重建缺失区域的特征。

关于生成器结构，除了卷积，池化操作以外，网络中情景关注层可以使用卷积计算缺失区域和非缺失区域的匹配分数，然后通过softmax进行比较并获得每个像素的注意力分数，最后通过注意力分数和预增强图像特征，利用反卷积来重建缺失部分。而其中的带有跨步卷积的分支得到的特征，最后会与带有前景关注层的分支得到的特征进行级联，这样可以限制前景关注层对未缺失区域不合理的修改。

关于判别器，我们采用WGAN-GP损失来稳定训练。判别器输入是第一阶段预增强图片像或者是对应的实际图像。

在损失函数上相比步骤3，我们增加了对抗损失、风格损失，其主要形式下面给出。

我们使用WGAN-GP损失作为对抗损失，其中判别器损失为：

L_D＝D(I_gt)-D(I_output)+10*GP (4-1)

其中D表示判别器，I_gt表示标签图像，I_output表示第二阶段网络的输出图像，GP表示惩罚项。

生成器对抗损失为：

关于分风格损失，类似于内容损失，该损失可以使网络对缺失部分产生更符合实际的结果，具体形式如下：

其中

表示在vgg-19 CNN的第n个卷积层之后获得的特征图，W_n，H_n，C_n表示对应第n个卷积特征的宽，高和通道数。I_output和I_gt表示最终增强图像和对应标签图像。

所以，生成器的总损失为：

为了训练网络，我们构建了一个新的图像数据集，其中包含大量高质量，低光和对应的红外图像。我们最初的选取的都是真实场景中的图像。我们选用RGB-NIR SceneDataset。该数据集由以RGB和红外(NIR)捕获的9个类别中的477个图像组成。使用可见光和近红外滤光片，使用改进的SLR相机的单独曝光拍摄图像，其中场景类别包括：国家，田野，森林，室内，山地，旧建筑，城市，水等。首先，我们选取RGB-NIR场景数据集中RGB图像，对于每张图像我们使用随机参数降低亮度和对比度生成10个低光图片。因此，我们获得了4770张低光图片，随后，我们再对每一张低光图片的随机位置裁剪256*256*3的小块，并对每个256*256*3的小块的随机位置生成大小为70-90像素宽度的正方形像素值为零的黑块，以此来模拟黑夜中无光的位置和低光的位置，相应的我们要对RGB图像和NIR图像做相同的裁剪，以保证低光图片，RGB图片，NIR图片，三者之间是像素对齐，最后删除部分不合理的图像。经过这些处理后，我们最终获得低光，红外，RGB图像9748对。其中随机挑选266张作为测试数据，最终训练数据为9482张。

为了更好的验证我们算法的有效性，我们还选用了Semantic SegmentationDataset室内图片部分作为我们的测试集，并使用海康威视出品的型号DS-2CD2125F-IS网络摄像头，对实际低光场景进行取景，验证我们算法的鲁棒性。考虑到目前低光增强的文章，并未对缺失部分过多的关注，所有对室外测试集，室内测试集，我们都分为有缺失块和没有缺失块。以下我们会简称这三个测试集为：室外测试集，室内测试集，实际测试集。

本文方法在unbuntu环境下，训练配有NVIDIA TITAN Xp GPU，16G内存的台式机上实施。使用tensorflow对带指导分支的U-net网络进行两天的训练，带情景关注层的网络进行一天的训练。为了评估我们的方法的性能，我们使用综合测试数据，实际拍摄数据，并与最新的深度学习方法：RetinexNet，两个传统方法：GBLIE，PIE进行比较。为了保证实验的公平性，对于深度学习的方法，我们都利用我们的数据集，在作者公布的模型参数下，进行微调，以此来消除训练数据不同而造成的不公平性。

实施例1：

图6展示的是对比算法与我们的算法在室外测试集上的表现，从图中可以清晰的显示出，相比其他算法，我们的算法在局部低光的情况下，恢复出了更多的细节。而其他算法在光线过低的区域并没有很好的起到作用。因此，这也直接的证明了在低光图像恢复的任务中，引入红外信息的必要性

实施例2：

如图7所示，目前的低光图像增强算法都还为考虑过极度低光的情况，而我们的算法由于引入红外的信息，很好的解决了在极低光线下，获得的图像局部缺失的问题。为了更好的展示这一点，我们对测试集不仅进行降低亮度和对比度操作，而且随机的在图像上选取2到3个位置，使其产生一个50到70像素长度的正方形缺失块(令像素值为0)，以此来模拟极度低光的情况。由于对比算法并不能很好的对缺失区域产生很好的恢复，因此我们将不再展示对比算法在带有缺失区域的图像效果图。

实施例3：

图8展示了我们的消融实验。如图3带有情景关注层的网络中，我们设计了双分支结构：其中一支为带有前景关注层，其主要功能是重建缺失区域的特征。第二支带有多层的扩张卷积，其功能是增加网络的感受野。为了更好的展示前景关注层的工作情况，我们分别在第一阶段网络不变的情况下，删除第二阶段网络一支，以此来观察输出结果的变化。

实施例4：

图9展示了我们方法在实际图像中的效果。上面的实验部分，都是在模拟数据上的结果，并不能确定在实际使用中算法的性能，这部分我们将使用海康威视出品的型号DS-2CD2125F-IS网络摄像头，拍摄实际图片和对应的红外图像来验证算法的性能。

定量分析

关于定量实验，我们在户外测试集和室内测试集上进行比较，两个测试集都是模拟数据，其中两个测试集，我们都分为带缺失块和不带缺失块。由于实际低光图像，采集对应的自然光图像比较困难，无法定量比较，所以我们只在模拟数据上进行定量比较。

运用模拟数据的优势就是有对应的标签图像，我们将室内测试集分为带缺失块和不带缺失块两部分，分别计算SSIM和PSNR，来评判图像增强的质量。

表1各对比算法在室内测试集上SSIM/PSNR统计值

表1中我们呈现各对比算法在室内测试集上的SSIM和PSNR数值，传统方法相比深度学习方法没有优势。在无缺失数据上，我们的算法和其他深度学习算法差距不大，而在数据中存在缺失块时，我们的算法提现出了巨大的优势

表2各对比算法在室外测试集上SSIM/PSNR统计值

通过对户外测试集的比较，同意体现出了我们算法在带有缺失区域的强大恢复能力。

本文提出一种端到端的两阶段的神经网络模型来融合低光和红外信息增强图像，以到达增强低光图片的目的。首先，我们发现低光图片，由于光线较低造成局部信息丢失，单纯的增强低光图片，无法补充丢失的信息。受此问题的启发，我们考虑结合低光下红外图像，两个状态下的信息相互补充。整个模型中，我们在第一阶段对图像像素不为零区域，进行亮度和对比度提升。在网络的第二部分运用前景关注模块，重建缺失区域的图像，以此最终获得完整的亮图像。

Claims (7)

1.基于红外信息的低光图像增强方法，其特征在于，采用计算机并按如下步骤进行：

步骤1：向计算机输入低光图像和红外图像，低光图像和红外图像一一对应；

步骤2：对步骤1的进行低光图像4次对数log变换，每进行/计算一次对数log变换就获得一个log变换图像；掩码图像是和步骤1所输入的低光图像相同尺寸的单通道图像，用1表示步骤1中低光图像中像素为0的点，0表示步骤1中低光图像非零的点；

步骤3：将步骤1中的红外图像，步骤2中4张log变换图像、1张掩码图像按通道合并作为U-net网络输入，通过优化损失函数训练U-net网络，利用训练完成的U-net网络得到预增强图像；所述U-net网络带有指导分支；所述指导分支是指对公用网络做的修改；迭代优化损失函数，是指迭代训练U-net网络；

步骤4：基于步骤3获得的预增强图像，结合步骤1中红外图像和步骤2中掩码图像，输入到带有情景关注层的网络中，此步骤中，带前景关注层的网络是一个双分支网络，其中一个分支带有情景关注层，另一分支为扩张卷积层；其中，情景关注层是结合红外信息和低光信息重建低光图像像素为0的点；随后再通过对抗网络训练模式，获得最终的增强图像，并输出；所述对抗网络训练是指GAN网络对抗训练模式。

2.根据权利要求1所述的基于红外信息的低光图像增强方法，其特征在于，在步骤2中，在低光图像的基础下，通过对数log变换对低光图像进行提高亮度，经过4次不同的log变换获得初始的增强图像；其中低光图像是指在在低光环境下拍摄得到的图像，图像特点为亮度低，对比度低，以至于在图像中存在局部信息丢失的情况；局部信息丢失，是指像素为0；log变换为传统的图像增强算法，采用1、10、100和300，这4种不同的参数获得原低光图像的4张增强图像，其中的掩码图像是与原低光图像同宽高的单通道二值图像，其中1表示原图像像素为0的点，0表示原图像像素非0的点。

3.根据权利要求1所述的基于红外信息的低光图像增强方法，其特征在于，在步骤3中，将分别由步骤1和步骤2中4张log变换图像、红外图像、掩码图像按通道合并作为U-net网络输入，通过优化损失函数进行训练U-net网络，利用训练完成的U-net网络得到预增强图像；其中红外图像是摄像机在红外模式下获得的，并与低光图像像素对应。

4.根据权利要求1所述的基于红外信息的低光图像增强方法，其特征在于，步骤4中，将步骤3中获得的预增强图像，结合步骤1中红外图像和步骤2中掩码图像，输入到新的双分支网络中，其中一个分支将红外图像进行卷积池化操作，获得红外特征图，另一个分支将输入的预增强图像进行卷积池化操作，获得预增强图像特征；将红外特征图，预增强图像特征以及掩码图像一同输入到前景关注层中，以此获得重建后的特征；预增强图像特征再经过四层不同的扩张卷积层，扩张率分别为2，4，8，16；最终将重建后的特征和最后一层扩张卷积层特征进行级联，经过反卷积输出最终的增强结果；，最终实现基于红外信息的低光图像增强，该双分支网络采用对抗模式进行训练，为了让网络训练更稳定，采用具有梯度惩罚项的WGAN-GP损失形式。

5.根据权利要求1至4任一所述的基于红外信息的低光图像增强方法，其特征在于，步骤2的具体步骤为：

对输入数据的处理分为对数log变换；

其中计算低光图像的对数log变换公式如下：

其中，X表示低光图像，v_j+1表示对数基数，M_j表示对数变换的结果，n表示对数变换函数的数量，在本方法中n为4，v_j分别取1，10，100，300，分别对应了4张log变换增强图像。

6.根据权利要求1至4任一所述的基于红外信息的低光图像增强方法，其特征在于，步骤3的具体步骤为：

对于利用带指导分支的U-net网络获得预增强图像其中主要包括两部分：输入图像和损失函数设计；

整个带指导分支的U-net网络结构由输入层、卷积层、激活函数、池化层、反卷积、级联及输出层组成；该网络的输入层是多张图像通道叠加产生，每一层输入通过卷积核的卷积后通过激活函数得到特征图，同一个特征图是由相同的权重卷积得到；每层卷积核的个数决定了该层的特征图个数；池化层利用图像局部相关性原理，对图片进行缩小，可以在减少数据的处理量的同时保留有用的信息；所以对前一层的特征图进行池化操作，得到的特征图个数不变，但尺寸变小；

其中U-net网络是深度学习框架，此处使用的带指导分支的U-net网络，相比公共U-net网络我们添加了一个分支；

本步骤中的网络输入是：四张log变换图像、红外图像、掩码图像，经过通道合并，所以数据纬度是256*256*14；

第一次卷积时是用32个3*3*14的卷积核，卷积两次，得到32个与原始数据同样大小的特征图，即256*256*32，接着是池化层，用2*2的池化核将前面得到的特征图缩小了一半，即128*128*32；

第二次卷积是64个3*3*32的卷积核，卷积两次，得到64个缩小后的特征图，即128*128*64，接着是池化层，又将上述的特征图缩小了一半，即64*64*64；

第三次卷积是128个3*3*64的卷积核，卷积两次，得到128个特征图，即64*64*128，接着是池化层，又将上述的特征图缩小了一半，即32*32*128；

第四次卷积是256个3*3*128的卷积核，卷积两次，得到256个特征图，即64*64*256，接着是池化层，又将上述的特征图缩小了一半，即16*16*256；

第五次卷积是512个3*3*256的卷积核，卷积两次，得到512个特征图，即16*16*512；

到此模型的编码过程结束，接下来网络分成两个分支：第一分支、第二分支；

第一分支，为带级联的分支，此分支输出预增强图像，具体步骤如下：

首先将第五次卷积的特征16*16*512经反卷积变换到32*32*256，并与第四次池化前特征进行级联生成32*32*512特征图，接着用256个3*3*512卷积核卷积两次，获得32*32*256特征；

接着将上面32*32*256特征经反卷积变换到64*64*128，并与第三次池化前特征进行级联生成64*64*256特征图，接着用128个3*3*256卷积核卷积两次，获得64*64*128特征；

接着将上面64*64*128特征经反卷积变换到128*128*64，并与第三次池化前特征进行级联生成128*128*128特征图，接着用64个3*3*128卷积核卷积两次，获得128*128*64特征；

接着将上面128*128*64特征经反卷积变换到256*256*32，并与第三次池化后特征进行级联生成256*256*64特征图，接着用32个3*3*64卷积核卷积两次，获得256*256*32特征，在经过16个3*3*64卷积进行卷积，获得256*256*16特征图；

最终通过3个3*3*16卷积核获得256*256*3尺寸的预增强图片；

第二分支具体步骤如下：

首先将第五次卷积的特征16*16*512经反卷积变换到32*32*256，接着用256个3*3*256卷积核卷积，获得32*32*256特征；

接着将上面32*32*256特征经反卷积变换到64*64*128，接着用128个3*3*128卷积核卷积，获得64*64*128特征；

接着将上面64*64*128特征经反卷积变换到128*128*64，接着用64个3*3*64卷积核卷积两次，获得128*128*64特征；

接着将上面128*128*64特征经反卷积变换到256*256*32；

最终通过一个3*3*32卷积核卷积得到256*256*1的灰度图像；

以上就是整个带指导分支的U-net网络，输出为预增强图像和灰度图像；

构建带指导分支的U-net网络的模型损失函数，由三部分损失组成：第一部分损失为低光图像与对应标签图像的像素损失，第二部分损失是内容损失，第三部分损失是指导网络输出灰度图像与真实图像灰度图像的像素损失；

第一部分损失/像素损失：

即第一部分低光图像与对应自然光下图像的像素损失，，具体定义如下：

L_hole和L_valid分别指什么？

其中，M表示和256*256单通道掩码图像，M由0或1组成，其中0的位置表示低光图像像素值不为0的位置，1的位置表示低光图像像素值为0的位置；L_hole表示输出图像与标签图像在低光图像像素值为0的位置处的像素差的均值；L_valid表示输出图像与标签图像在低光图像像素值不为0的位置处的像素差的均值；WHC分别表示标签图像的宽、高和通道数，I_out表示带分支U-net网络输出的预增强图像，I_gt表示输入的原低光图像对应的自然光下的图像；

将第一部分低光图像与对应标签图像的像素损失分成两部分：通过在总损失中适当的增减L_hole的权重，平衡低光图像像素值为0的位置和非0位置的损失比例；

第二部分损失/内容损失：

将带指导分支U-net网络输出的预增强图像输入vgg-19网络，计算产生的特征图来定义内容损失，这种损失不是度量图像之间的像素差异，而是鼓励他们具有相似的特征表示；将内容损失定义为带指导分支的U-net网络输出和目标图像的特征表示之间的欧几里德距离：

其中，

表示在vgg-19CNN的第n个卷积层之后获得的特征图，WHC表示特征图的宽，高和通道数，而Pre()表示带指导分支U-net网络，I_in表示带指导分支U-net网络输入，L_content表示内容损失；；

第三部分损失/输出与标签的损失：

即关于带指导分支的U-net网络的指导分支损失，为输出的灰度图像和真实图像的灰度图像的像素值损失L_guide：

其中G(I_in)表示带指导分支U-net网络预测的灰度图像，I_in表示带指导分支U-net网络的输入，I_{gt_gray}表示真实图像的灰度图像，WHC表示图像的宽，高和通道数；

综上，带指导分支的U-net网络总损失可表示为：

通过迭代优化最小化目标函数

训练带指导分支的U-net网络，α，β，γ，δ表示常量值，控制各部分损失在总损失中的比例，实际中分别取1，6，0.1，1。

7.根据权利要求1至4任一所述的基于红外信息的低光图像增强方法，其特征在于，步骤4作用在于修复低光图像像素为0的位置；在步骤4中使用双分支网络作为生成器，其详细结构描述如下：

本步骤网络结构由红外图像和预增强图像分别进入各自的分支，最终级联后进行反卷积输出最终增强结果；

由于有前景关注层的分支需要预增强图像的特征，所以构建带扩张卷积的分支；

带扩张卷积分支的输入为带指导分支U-net网络输出的预增强图像，数据纬度是256*256*3，首先用32个5*5*3卷积核进行卷积，得到256*256*32特征图，接着进行池化，将特征图缩小一半，特征图变为128*128*32；

随后用64个3*3*32卷积核进行卷积，得到128*128*64特征图，接着进行池化，将特征图缩小一半，特征图变为64*64*64；

接着用128个3*3*64卷积核进行2次卷积，得到64*64*128特征图；

接下来将进行扩张卷积操作；

随后将64*64*128进行4次扩张卷积操作，其中扩张率分别为2，4，8，16，扩张卷积不会改变特征图的大小，至此特征图为64*64*128；

随后，构建带前景关注层的分支；

带前景关注层的分支的输入为红外图像，数据纬度是256*256*1，首先用32个5*5*1卷积核进行卷积，得到256*256*32特征图，接着进行池化，将特征图缩小一半，特征图变为128*128*32；

随后用64个3*3*32卷积核进行卷积，得到128*128*64特征图，接着进行池化，将特征图缩小一半，特征图变为64*64*64；

接着用128个3*3*64卷积核进行2次卷积，得到64*64*128特征图；

随后，进行前景关注层操作，将由前序步骤得到的扩张卷积前的64*64*128特征图和前景关注层前一层特征64*64*128，以及掩码图像，这里掩码图像大小将从256*256*1缩小到64*64*1，按如下步骤操作：

首先，将前景关注层前一层特征64*64*128变换到2*2*128*1024，因为此特征是由红外图像卷积得到的，在实际中红外成像不会受到光线昏暗的影响，红外图像不会有缺失；此层的主要思想是：通过低光图像确定掩码图像，掩码图像目的是标记处低光图像像素为0的位置，掩码图像确定前景关注层需要关注的区域，这些区域将会对应到红外特征上，在红外图像上计算这些区域与其他区域的余弦距离，通过softmax函数对余弦距离进行归一化，获得关注度评分，大小为64*64*1024，接着将扩张卷积前的特征64*64*128变换到2*2*128*1024，此特征由预增强图像获得，然后再获得的关注度评分64*64*1024上，利用扩张卷积前的特征2*2*128*1024，进行反卷积，获得前景关注层输出特征64*64*128，此反卷积目的是利用关注度评分将为缺失部分的特征拷贝到缺失部分，以此达到恢复缺失部分的特征；

构建带前景关注层的分支，最后再利用128个3*3*128的卷积核卷积两次，得到64*64*128特征；

接着带前景关注层的分支得到的64*64*128特征和扩张卷积后的特征64*64*128，进行级联得到64*64*256特征，然后用128个3*3*256个卷积核进行两次卷积，得到64*64*128特征；

再通过一次反卷积，得到128*128*64特征；

接着利用64个3*3*64卷积核，得到128*128*64特征；

再通过一次反卷积，得到256*256*32特征；

接着利用16个3*3*32卷积核，得到256*256*16特征；

最后再通过3个3*3*16得到最终增强图，所述最终增强图为256*256*3；本发明中的生成器，采用的是带有情景关注层的卷积神经网络；所述情景关注层的作用是修复图像中缺失区域；

关于前景关注层，结合了红外特征和预增强图像特征进行如下的处理：利用缺失部分红外特征信息，去匹配未缺失部分，得到最近似的块，以此来获得关注度评分图；然后再通过预训练图像的特征，结合关注度评分图，重建缺失区域的特征；

关于生成器的结构，卷积神经网络中情景关注层使用卷积计算缺失区域和非缺失区域的匹配分数，然后通过softmax函数对计算的匹配分数进行归一化，最后通过注意力分数和预增强图像特征，利用反卷积来重建缺失部分；而其中的带有跨步卷积的分支得到的预增强图像特征与带有前景关注层的分支得到的特征进行级联，从而限制前景关注层对未缺失区域不合理的修改；

关于判别器，；判别器输入是带情景关注层的网络(生成器)输出的最终增强图像或者是对应的实际自然光下的图像；

其中判别器的描述如下：

判别器输入是带情景关注层的网络/生成器输出的最终增强图像或者是对应的自然光下的图像，数据纬度为256*256*3，判别器中每次卷积都会使用Relu激活函数，下面不再重复；

首先使用32个5*5*3卷积核进行步幅为2的卷积，步幅为2会将卷积的数据宽高缩小一半，所有得到128*128*32特征图；

接着使用64个5*5*32卷积核进行步幅为2的卷积，得到64*64*64特征图；

再使用128个5*5*64卷积核进行步幅为2的卷积，得到32*32*128特征图；

再使用128个5*5*128卷积核进行步幅为2的卷积，得到16*16*128特征图；

最后接一个全连接层，最终获得1*1数据；

以WGAN-GP提出的损失形式作为判别器的损失，其中损失为：

L_D＝D(I_gt)-D(I_output)+10*GP (4-1)

其中L_D表示判别器总损失，D表示判别网络，I_gt表示实际自然光图像，，D(I_gt)表示输入实际自然光图像时判别器网络的输出，I_output表示生成器网络的输出图像，D(I_output)，表示输入生成器网络的输出图像时判别器网络的输出，GP表示惩罚项；

生成器总损失函数由对抗损失、像素损失，内容损失和风格损失组成，其中：

对抗损失定义为：

其中

表示生成器总损失中对抗损失，D表示判别网络，I_output表示生成器网络的输出图像，D(I_output)表示将判别器输入生成器网络的输出图像时产生的输出；风格损失：该损失使生成器网络对缺失部分产生符合实际的结果，具体形式如下：

其中

表示在vgg-19 CNN的第n个卷积层之后获得的特征图，W_nH_nC_n表示对应第n个卷积特征的宽，高和通道数；I_output表示最终增强图像，I_gt表示与最终增强图像相对应的自然光下图像；

像素损失：

其中，M表示和256*256单通道掩码图像，M由0或1组成，其中0的位置表示低光图像像素值不为0的位置，1的位置表示低光图像像素值为0的位置；L_hole表示输出图像与标签图像在低光图像像素值为0的位置处的像素差的均值；L_valid表示输出图像与标签图像在低光图像像素值不为0的位置处的像素差的均值；WHC分别表示标签图像的宽、高和通道数，I_out表示生成器网络输出的最终增强图像，I_gt表示输入的原低光图像对应的自然光下的图像；

内容损失定义为生成器模型输出和目标图像的特征表示之间的欧几里德距离：

其中，

表示在vgg-19CNN的第n个卷积层之后获得的特征图，WHC表示特征图的宽，高和通道数，I_out表示生成器网络的输出，L_content表示内容损失；

所以，生成器的总损失为：

缺参数的定义，请补充；

L_G表示生成器总损失，

L_valid，L_hole，L_content，L_style，由上面定义的各部分损失，α，β，γ，δ，ε表示常量值，控制各部分损失在总损失中的比例，实际中分别取0.1，50，6，0.001，0.0001。

Images