CN116128768A - 一种带有去噪模块的无监督图像低照度增强方法 - Google Patents

Abstract

本发明公开了一种带有去噪模块的无监督图像低照度增强方法，属于数字图像低光照增强领域和机器视觉领域，包括以下步骤：步骤1、将原始低照度图像输入到亮度信息处理模块中进行处理，得到原始低照度图像的亮度特征；步骤2、将原始低照度图像转换为Tensor格式，再和步骤1中所得到的亮度特征进行融合，得到混合特征；步骤3、将混合特征作为输入，同步送入低光恢复模块、去噪模块进行处理，低光恢复模块处理后得到阶段性结果X，去噪模块处理后得到阶段性结果Y；步骤4、将阶段性结果X和阶段性结果Y进行融合，得到最终的图像输出结果。本发明在不需要任何额外样本或伪样本的前提下，能够同时达到图像低光恢复和去除噪声的目的。

Description

一种带有去噪模块的无监督图像低照度增强方法

技术领域

本发明属于数字图像低光照增强领域和机器视觉领域，具体涉及一种带有去噪模块的无监督图像低照度增强方法。

背景技术

在低光条件下采集到的图像通常会呈现低信噪比和低对比度等特点，图像中所含的物体信息就会大大减少，导致后续诸如目标检测、实例分割、目标追踪等一系列任务的效果下降。随着夜间自动驾驶等任务的不断推进，低照度图像增强技术也逐渐的成为了当前的热点和难点。对于低照度增强方面的研究，人们的关注点从最开始的直方图均衡化方法和传统的Retinex方法，已经转向了基于深度学习的低照度增强方法，在基于深度学习的方法中，又按照其训练方式分为监督学习和无监督学习两大类。

在LLNet、LightenNet等监督学习方法的训练过程中，往往都需要低光和正常光照的配对图像进行训练，这种训练方式有两个难以避免的弊端，一方面，很难甚至不可能在某一个场景下，同时获得低光照和正常光照两种图像，这就导致训练所需要的数据采集困难；另一方面，即使采集到了一些配对数据集，基于这种固定映射学习出来的模型泛化性也比较差。

近年来，陆续提出了一系列的无监督学习方法，有针对于图像增强的方法，诸如CycleGAN和UNIT等，该方法利用对抗生成的思想进行设计，能够使用非配对数据集进行训练，但针对低照度问题的效果不佳。EnlightenGAN是首个提出的针对于低照度增强问题的无监督学习方法，虽然在某些情况下，这类方法能够一定程度上完成低光增强任务。但它们都存在着共同的局限性，其中最主要的就是噪声去除问题，目前主流的去噪网络大多需要按照噪声样本和干净样本的数据对方式进行学习，虽然目前已经提出了部分不需要干净样本的去噪网络，诸如Noise2Noise，Noiser2Noise等，但总体上无监督去噪方法效果较差，同样的问题也存在于低照度增强网络之中。

发明内容

为了解决上述问题，本发明提出了一种带有去噪模块的无监督图像低照度增强方法，该方法基于Swin-Transformer结构实现，采用了一种通过非配对数据集进行训练的无监督学习网络，在不需要任何额外样本或伪样本的前提下，就能够同时达到图像低光恢复和去除噪声的目的。

本发明的技术方案如下：

一种带有去噪模块的无监督图像低照度增强方法，基于Swin-Transformer网络结构实现，具体包括以下步骤：

步骤1、将原始低照度图像输入到亮度信息处理模块中进行处理，得到原始低照度图像的亮度特征；

步骤2、将原始低照度图像转换为Tensor格式，再和步骤1中所得到的亮度特征进行融合，得到混合特征；

步骤3、将混合特征作为输入，同步送入低光恢复模块、去噪模块进行处理，低光恢复模块处理后得到阶段性结果X，去噪模块处理后得到阶段性结果Y；

步骤4、将阶段性结果X和阶段性结果Y进行融合，得到最终的图像输出结果。

进一步地，步骤1的亮度信息处理模块中对图像进行的操作如下：

步骤1.1、根据图像中每个像素的R、G、B三个通道的值，计算出每个像素的灰度值，灰度值计算公式如下：

 (1)；

其中，代表在图像矩阵中第行第列的灰度值，、、分别代表在图像矩阵第行第列的R、G、B各通道的值；

步骤1.2、用255减去步骤1.1中得到的图中每个像素的灰度值，得到该图像的反灰度图；

步骤1.3、将步骤1.2中得到的反灰度图使用pytorch框架中的view方法将图像矩阵按照行进行拆分，拆分后将所有的行进行横向依次连接，转换到一维形式，再将其采用Swin-Transformer网络结构中Patch Merging方法的下采样操作进行特征提取，得到新特征；

步骤1.4、将步骤1.3中得到的新特征再次使用view方法将一维特征按照原始低照度图像宽度大小进行截断，再将所有行在纵向进行拼接，转换到二维形式，得到所需要的亮度特征。

进一步地，步骤2中，Tensor格式通过pytorch框架中的方法转换，方法将图片格式的数据从[0,255]的数值范围转换到 [0,1]范围，具体做法是将原始低照度图像数据除以255，另外原始低照度图像数据的形状是H×W×C，其中C是原始低照度图像矩阵的通道数，H是原始低照度图像矩阵的高，W是原始低照度图像矩阵的宽，原始低照度图像通过方法后形状会变为C×H×W，也就是pytorch框架中处理所需要的Tensor格式；将亮度特征进行融合的方式为pytorch框架中的cat方法，cat方法为将尺寸相同的特征图中相同位置的数值相加。

进一步地，步骤3中，低光恢复模块结构包括编码器和解码器两个部分；

编码器部分采用Swin-Transformer网络结构，首先利用Swin-Transformer网络结构中的Patch Embedding模块将原始低照度图像和亮度信息融合得到的特征，按照预先设定的块尺寸展平为一维，其中的块尺寸为Patch Embedding模块每次处理的正方形区域的边长；然后将一维结果使用5次连续的Swin-Transformer网络结构进行处理，每次处理后特征图的尺寸缩小为上一层结果的四分之一，处理过程中将每层的阶段性结果输出以供解码器部分使用；

解码器部分，首先将编码器中得到的所有阶段性结果使用view方法处理，处理后各尺寸的结果全都转换为二维形式；然后从最小尺寸的特征图开始，使用卷积神经网络进行处理，将得到的结果进行上采样，之后与编码器中对应尺寸的二维形式的结果采用cat方法进行融合，共重复进行5次处理，最后将解码器部分中得到的结果使用卷积神经网络降到3维。

进一步地，步骤3中，去噪模块的具体工作过程如下：

首先，将原始低照度图像和亮度信息融合得到的特征作为输入，利用带残差和特征融合的U-Net网络作为去噪模块的主干，所述U-Net网络的具体结构为：U-Net网络共包含五次卷积、激活、下采样过程和五次卷积、激活、上采样过程，其中的下采样方法为最大池化下采样，上采样方法为反卷积，激活函数在最后一次上采样后，使用LeakyReLU函数进行激活，其它激活函数采用ReLu函数进行激活；经过上述的图像去噪处理得到结果一；

然后，将原始低照度图像转换为Tensor格式作为输入，利用pytorch框架中的傅里叶卷积对输入进行处理，去除其高频部分的噪声后，再对它进行傅里叶逆变换得到噪声去除后的Tensor格式，然后取它的实数部分作为输出，得到结果二；

最后，将结果一和结果二进行平均绝对误差计算，优化U-Net网络的去噪效果，使用的平均绝对误差计算公式如下：

(2)；

式中，代表原始的低光图像，代表傅里叶变换，代表傅里叶逆变换，代表取值的实数部分，代表去噪分支的处理过程，代表取两者的平均绝对误差。

进一步地，步骤4中，将阶段性结果X和阶段性结果Y进行融合的方法使用pytorch框架中的cat方法，将结果X和结果Y的Tensor格式的矩阵相同位置的值进行加和，得到最终的图像输出结果，此时的输出图像为经过低光恢复与去噪后的图像。

本发明所带来的有益技术效果如下。

本发明方法有效解决了低照度增强方法在实际应用时训练数据集难以获取的问题；通过采用Swin-Transformer结构，从原数据中的图像信息中充分提取低照度图像的可用信息，进而达到更好的低光恢复效果；本发明方法采用的是一个端到端的模型，在不需要任何额外的伪噪声样本的前提下，仅对整个网络进行一个阶段的训练就能同时学习去噪和低光恢复能力。

附图说明

图1为本发明带有去噪模块的无监督图像低照度增强方法的整体流程图。

图2为本发明带有去噪模块的无监督图像低照度增强方法的总体网络结构示意图。

图3为本发明中去噪模块的结构示意图。

具体实施方式

下面结合附图以及具体实施方式对本发明作进一步详细说明：

如图1所示，一种带有去噪模块的无监督图像低照度增强方法，基于Swin-Transformer网络结构实现，具体包括以下步骤：

步骤1、将原始低照度图像输入到亮度信息处理模块中进行处理，得到原始低照度图像的亮度特征。亮度信息处理模块，利用Patch Merging方法下采样思想（其中的PatchMerging方法的核心思想为：在特征矩阵的行方向和列方向上，按位置间隔2选取元素，拼成新的矩阵，共拼成4个新矩阵，每个新矩阵的尺寸为原矩阵的四分之一，再把所有新矩阵按行展开成一维，然后把横向展开的矩阵在纵向上进行拼接，此时通道维度会变成原先的4倍，再通过一个全连接层调整通道维度为原来的2倍），对原始低照度图像的亮度信息进行处理，充分提取亮度特征，之后将其结果和原始低照度图像进行融合，一同输入到低光恢复网络当中。

具体的，步骤1的亮度信息处理模块中对图像进行的操作如下：

步骤1.1、图像中每个像素均由R、G、B三个通道叠加而成，每个像素都会计算得到一个灰度值，根据图像中每个像素的R、G、B三个通道的值，计算出每个像素的灰度值，灰度值计算公式如下：

 (1)；

其中，代表在图像矩阵中第行第列的灰度值，、、分别代表在图像矩阵第行第列的R、G、B各通道的值；

步骤1.2、用255减去步骤1.1中得到的图中每个像素的灰度值，得到该图像的反灰度图；

步骤1.3、将步骤1.2中得到的反灰度图使用pytorch框架（pytorch框架是使用python语言编写的方法集合，主要针对于GPU加速的深度神经网络编程，是深度学习领域常用的算法框架）中的view方法（view方法思想为：在矩阵元素个数不变的前提下，改变元素的排列形式，例如原始矩阵为3×3形式，共9个元素，可以使用view方法将其转变为1×9的表示形式），将图像矩阵按照行进行拆分，拆分后将所有的行进行横向依次连接，转换到一维形式，再将其采用Patch Merging方法进行特征提取，得到新特征；其中的Patch Merging方法为Swin-Transformer网络结构中的下采样操作；

步骤1.4、将步骤1.3中得到的新特征再次使用view方法将一维特征按照原始低照度图像宽度大小进行截断，再将所有行在纵向进行拼接，转换到二维形式，得到所需要的亮度特征，以供特征融合时使用。

步骤2、将原始低照度图像通过pytorch框架中的方法（方法可以将图片格式的数据从[0,255]的数值范围转换到 [0,1]范围，具体做法是将原始低照度图像数据除以255，另外原始低照度图像数据的形状是H×W×C，其中C是原始低照度图像矩阵的通道数，H是原始低照度图像矩阵的高，W是原始低照度图像矩阵的宽，原始低照度图像通过方法后形状会变为C×H×W，也就是pytorch框架中处理所需要的Tensor格式）转换为Tensor格式，再和步骤1中所得到的亮度特征进行融合，得到混合特征，其中将亮度特征进行融合的方式为pytorch框架中的cat方法。cat方法为将尺寸相同的特征图中相同位置的数值相加，要求输入的两个特征图的尺寸相同。

步骤3、将步骤2中得到的混合特征作为输入，同步送入低光恢复模块、去噪模块进行处理，低光恢复模块处理后得到阶段性结果X，去噪模块处理后得到阶段性结果Y。

图2为本发明总体网络结构示意图，其中原始低照度图像为原始的低光图片，亮度特征处理模块对原始低照度图像进行操作，得到不同尺寸的反灰度图；view方法用于将Swin-Transformer网络结构到的一维特征转换为二维特征，代表特征矩阵之间的矩阵乘法，⊕代表特征矩阵之间的矩阵加法，上采样是指将图像的宽高均扩大到原来的2倍。

低光恢复模块结构包括编码器和解码器两个部分。

在编码器部分，采用Swin-Transformer网络结构，首先利用Swin-Transformer网络结构中的Patch Embedding模块（Patch Embedding模块是将矩阵按照块尺寸分割成具有固定大小和位置的矩阵块，然后再将二维矩阵转换为Swin-Transformer网络结构处理所需要的一维矩阵），将原始低照度图像和亮度信息融合得到的特征，按照预先设定的块尺寸展平为一维，其中的块尺寸为Patch Embedding模块每次处理的正方形区域的边长，本发明选取4×4大小；然后将一维结果使用5次连续的Swin-Transformer网络结构进行处理，每次处理后特征图的尺寸缩小为上一层结果的四分之一，处理过程中将每层的阶段性结果输出以供解码器部分使用。

在解码器部分，首先将编码器中得到的所有阶段性结果使用view方法处理，处理后各尺寸的结果全都转换为二维形式；然后从最小尺寸的特征图开始，使用卷积神经网络进行处理，将得到的结果进行上采样，之后与编码器中对应尺寸的二维形式的结果采用cat方法进行融合，共重复进行5次处理。最后将解码器部分中得到的结果使用卷积神经网络降到3维，以供后续处理使用。

去噪模块的具体结构如图3所示，其中亮度特征为原始低照度图像的反灰度值图像， 傅里叶卷积和逆傅里叶卷积均为pytorch框架中的操作， U-Net网络（其中的U-Net网络是一种深度学习中常用的网络结构，用于对图像进行特征提取，并根据提取的特征进行重建，包含上采样和下采样过程）使用的是带有残差边（即将输入与网络结果的输出进行加和）的五层结构，⊕代表特征矩阵之间的矩阵加法。在去噪模块中，将原始低照度图像与它的反灰度图像作为原始输入，处理过程包括一个U-Net类的残差网络（简称U-Net网络），一次傅里叶卷积操作，一次逆傅里叶卷积操作，以及一次平均绝对误差计算。去噪模块对原始低照度图片进行多次迭代处理，其中包含了五次下采样过程和五次上采样过程，以达到低照度增强的目的。

去噪模块的具体工作过程如下：

首先，将原始低照度图像和亮度信息融合得到的特征作为输入，利用带残差和特征融合的U-Net网络作为去噪模块的主干，所述U-Net网络的具体结构为：U-Net网络共包含五次卷积、激活、下采样过程和五次卷积、激活、上采样过程，其中的下采样方法为最大池化下采样，上采样方法为反卷积，激活函数在最后一次上采样后，使用LeakyReLU函数进行激活，其它激活函数采用ReLu函数进行激活；经过上述的图像去噪处理得到结果一。

然后，将原始低照度图像转换为Tensor格式作为输入，利用pytorch框架中的傅里叶卷积对输入进行处理，去除其高频部分的噪声后，再对它进行傅里叶逆变换得到噪声去除后的Tensor格式，然后取它的实数部分作为输出，得到结果二；

最后，将结果一和结果二进行平均绝对误差计算，优化U-Net网络的去噪效果，使用的平均绝对误差计算公式如下：

(2)；

式中，代表原始的低光图像，代表傅里叶变换，代表傅里叶逆变换，代表取值的实数部分，代表去噪分支的处理过程，代表取两者的平均绝对误差。

本发明的去噪功能使用傅里叶卷积的去噪思想，去除图像的高频噪声部分来实现去噪，然后用U-net网络对傅里叶卷积的结果进行拟合，使图像更加平滑，这种去噪方法不需要任何的伪造声样本，仅通过自身的图像信息就能够实现去噪，在减少了工作量的前提下，能够很好的同时达到低光恢复和去除噪声的目的。

步骤4、将阶段性结果X和阶段性结果Y进行融合，这里的融合方法使用的是pytorch框架中的cat方法，将结果X和结果Y的Tensor格式的矩阵相同位置的值进行加和，得到最终的图像输出结果，此时的输出图像为经过低光恢复与去噪后的图像。

为了证明本发明的可行性与优越性，进行了相关实验。

实验1：图像评价指标实验。在LOL数据集（ 指Low-Light Enhancement数据集，LOL是第一个包含来自真实场景的用于弱光增强的图像对的数据集，其中有500对低光和正常光的配对图像，包含485对训练集图像和15对测试集图像）上与多个主流的无监督的低照度增强方法进行了比较，本次的图像评价指标实验使用LOL中的15对测试集图像进行实验，实验结果数据内容如下：

原始低照度图像与真实图像计算所得的峰值信噪比为9.9389，结构相似度为0.2922，均方误差为0.1321；

直方图均衡化方法处理后的图像与真实图像计算所得的峰值信噪比为15.0837，结构相似度为0.5803，均方误差为0.0361；

ExCNet方法处理后的图像（ExCNet方法是一种不需要预先训练就能使用的基于卷积神经网络的低照度增强方法，它可以根据原始的低照度图像进行有限的迭代时间内，估计出输入图像的最佳亮度恢复曲线函数，然后利用曲线对图像进行光照恢复）与真实图像计算所得的峰值信噪比为16.4689，结构相似度为0.7013，均方误差为0.0279；

RRDNet方法处理后的图像（RRDNet方法具有三个卷积神经网络分支，能够同时对图像的噪声、光照和反射率进行评估，从三个方面对图像进行恢复，进行曝光度恢复的同时，还能在一定程度上进行图像去噪）与真实图像计算所得的峰值信噪比为12.9682，结构相似度为0.6192，均方误差为0.0695；

Zero-DCE方法处理后的图像（Zero-DCE方法设计了四个无参考的损失函数以满足无参考训练，利用卷积神经网络和损失函数估计图像中每个像素的高阶映射方程，使用该方程对低照度图像的各像素值进行映射计算，得到最终的恢复结果）与真实图像计算所得的峰值信噪比为18.5772，结构相似度为0.7681，均方误差为0.0217；

EnlightenGAN方法处理后的图像（EnlightenGAN方法总体上是一种基于对抗生成网络的低照度增强方法，它在传统的对抗生成网络的基础上，增加了局部判别器和全局判别器来对生成器生成的图像进行鉴别，一定程度上降低了图像过曝光现象的发生）与真实图像计算所得的峰值信噪比为17.5658，结构相似度为0.8025，均方误差为0.0245；

本发明方法处理后的图像与真实图像计算所得的峰值信噪比为19.2349，结构相似度为0.8179，均方误差为0.0174；

其中峰值信噪比是最普遍和使用最为广泛的一种图像客观评价指标，它是基于对应像素点间的误差，即基于误差敏感的图像质量评价，它的值越大说明增强后的图像和原图像的差距越小，保留细节越多；结构相似度分别从亮度、对比度、结构三方面度量图像相似性，它是一个0到1之间的数，它的值越大，代表增强后的图像与原图像的差距越小，图像质量越好；均方误差是计算增强后的图像与真实图像每个像素上的差值的平方，然后再将所有像素差值的平方求和再取平均，它的值越小说明生成的图像与真实图像越相近。从上述数据中可以看出，本发明所提出的方法在三项指标上都要优于对比的其它方法。

实验2：视觉实验。视觉实验中采用的是384×384尺寸的低照度图像，原始低照度图像的受低光照的影响，整体亮度较暗，很多背景信息难以察觉。经过本发明的提出的方法处理后，得到的恢复图像可以明显的观察到原始低照度图像中丢失的背景细节，如：在原始低照度图像中，左上方窗户后面的两个人丢失，人物背后木墙上悬挂的绳索、相框等也丢失；而在恢复图像中可以很明显观察到。由此证明，本方法对于低照度图像恢复具有较好的效果。采用本发明方法对该低照度图像进行处理后，得到的图像能够更加准确的还原出正常光照下的细节，还原低光照导致的颜色失真，使场景中的低照度图像的质量得到明显的提升。最终结果显示本发明方法能够有效的改善图像因为低光问题导致的信息丢失。

当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。

Claims (6)

1.一种带有去噪模块的无监督图像低照度增强方法，其特征在于，基于Swin-Transformer网络结构实现，具体包括以下步骤：

步骤1、将原始低照度图像输入到亮度信息处理模块中进行处理，得到原始低照度图像的亮度特征；

步骤2、将原始低照度图像转换为Tensor格式，再和步骤1中所得到的亮度特征进行融合，得到混合特征；

步骤3、将混合特征作为输入，同步送入低光恢复模块、去噪模块进行处理，低光恢复模块处理后得到阶段性结果X，去噪模块处理后得到阶段性结果Y；

步骤4、将阶段性结果X和阶段性结果Y进行融合，得到最终的图像输出结果。

2.根据权利要求1所述带有去噪模块的无监督图像低照度增强方法，其特征在于，所述步骤1的亮度信息处理模块中对图像进行的操作如下：

步骤1.1、根据图像中每个像素的R、G、B三个通道的值，计算出每个像素的灰度值，灰度值计算公式如下：

 (1)；

其中，代表在图像矩阵中第行第列的灰度值，、、分别代表在图像矩阵第行第列的R、G、B各通道的值；

步骤1.2、用255减去步骤1.1中得到的图中每个像素的灰度值，得到该图像的反灰度图；

步骤1.3、将步骤1.2中得到的反灰度图使用pytorch框架中的view方法将图像矩阵按照行进行拆分，拆分后将所有的行进行横向依次连接，转换到一维形式，再将其采用Swin-Transformer网络结构中Patch Merging方法的下采样操作进行特征提取，得到新特征；

步骤1.4、将步骤1.3中得到的新特征再次使用view方法将一维特征按照原始低照度图像宽度大小进行截断，再将所有行在纵向进行拼接，转换到二维形式，得到所需要的亮度特征。

3.根据权利要求1所述带有去噪模块的无监督图像低照度增强方法，其特征在于，所述步骤2中，Tensor格式通过pytorch框架中的方法转换，方法将图片格式的数据从[0,255]的数值范围转换到 [0,1]范围，具体做法是将原始低照度图像数据除以255，另外原始低照度图像数据的形状是H×W×C，其中C是原始低照度图像矩阵的通道数，H是原始低照度图像矩阵的高，W是原始低照度图像矩阵的宽，原始低照度图像通过方法后形状会变为C×H×W，也就是pytorch框架中处理所需要的Tensor格式；将亮度特征进行融合的方式为pytorch框架中的cat方法，cat方法为将尺寸相同的特征图中相同位置的数值相加。

4.根据权利要求1所述带有去噪模块的无监督图像低照度增强方法，其特征在于，所述步骤3中，低光恢复模块结构包括编码器和解码器两个部分；

编码器部分采用Swin-Transformer网络结构，首先利用Swin-Transformer网络结构中的Patch Embedding模块将原始低照度图像和亮度信息融合得到的特征，按照预先设定的块尺寸展平为一维，其中的块尺寸为Patch Embedding模块每次处理的正方形区域的边长；然后将一维结果使用5次连续的Swin-Transformer网络结构进行处理，每次处理后特征图的尺寸缩小为上一层结果的四分之一，处理过程中将每层的阶段性结果输出以供解码器部分使用；

解码器部分，首先将编码器中得到的所有阶段性结果使用view方法处理，处理后各尺寸的结果全都转换为二维形式；然后从最小尺寸的特征图开始，使用卷积神经网络进行处理，将得到的结果进行上采样，之后与编码器中对应尺寸的二维形式的结果采用cat方法进行融合，共重复进行5次处理，最后将解码器部分中得到的结果使用卷积神经网络降到3维。

5.根据权利要求1所述带有去噪模块的无监督图像低照度增强方法，其特征在于，所述步骤3中，去噪模块的具体工作过程如下：

首先，将原始低照度图像和亮度信息融合得到的特征作为输入，利用带残差和特征融合的U-Net网络作为去噪模块的主干，所述U-Net网络的具体结构为：U-Net网络共包含五次卷积、激活、下采样过程和五次卷积、激活、上采样过程，其中的下采样方法为最大池化下采样，上采样方法为反卷积，激活函数在最后一次上采样后，使用LeakyReLU函数进行激活，其它激活函数采用ReLu函数进行激活；经过上述的图像去噪处理得到结果一；

然后，将原始低照度图像转换为Tensor格式作为输入，利用pytorch框架中的傅里叶卷积对输入进行处理，去除其高频部分的噪声后，再对它进行傅里叶逆变换得到噪声去除后的Tensor格式，然后取它的实数部分作为输出，得到结果二；

最后，将结果一和结果二进行平均绝对误差计算，优化U-Net网络的去噪效果，使用的平均绝对误差计算公式如下：

(2)；

式中，代表原始的低光图像，代表傅里叶变换，代表傅里叶逆变换，代表取值的实数部分，代表去噪分支的处理过程，代表取两者的平均绝对误差。

6.根据权利要求1所述带有去噪模块的无监督图像低照度增强方法，其特征在于，所述步骤4中，将阶段性结果X和阶段性结果Y进行融合的方法使用pytorch中的cat方法，将结果X和结果Y的Tensor格式的矩阵相同位置的值进行加和，得到最终的图像输出结果，此时的输出图像为经过低光恢复与去噪后的图像。

Images