CN112927160B - 一种基于深度Retinex的单张低光图像增强方法 - Google Patents

Abstract

本发明提出了一种基于深度Retinex的单张低光图像增强方法，其步骤为：首先，根据Retinex理论获得低光图像的照度分量、反射分量和正常图像的照度分量、反射分量；其次，采用照度估计网络学习低光图像的照度分量到正常图像的照度分量的映射，得到低光图像的预测照度分量；然后，采用图像重构方法将预测照度分量与正常图像的反射分量进行融合得到低分辨率图像；最后，采用拉普拉斯超分辨率网络对低分辨率图像进行处理得到低分辨率特征图；并将低分辨率图像与低分辨率特征图进行融合得到最终的高质量增强图像。本发明能够在较少图像输入的情况下实现低光图像的增强，提高了增强的效率，且增强效果更好，亮度更均匀，不会产生伪影和光晕。

Description

一种基于深度Retinex的单张低光图像增强方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于深度Retinex的单张低光图像增强方法。

背景技术

在光照条件较差的情况下获取的图像往往具有亮度低、对比度低、灰度范围窄、颜色失真、噪声大等特点，严重影响人眼的主观视觉效果，大大限制了各种机器视觉系统的性能。采用数码相机捕捉图像的基本目标是从最初捕获的原始数据中生成最真实的场景图像，并使其包含更小的噪声和清晰的细节。在大多数情况下，图像处理在正常的光照条件下可以取得显著的性能。高质量的图像可以用于许多高级视觉任务，如图像分割、目标跟踪、目标检测、图像分类。而低光图像往往存在能见度低、噪声强、动态范围小、信噪比低、颜色失真等问题，阻碍了上述视觉任务的完成。

传统的单张图像增强技术包括直方图均衡(Histogram Equalization,HE)方法、Retinex方法和高动态范围(High dynamic range,HDR)方法。HE方法通过扩大图像的动态范围增强图像，但不可避免地会带来不理想的光照，使得增强结果达不到人们的要求。此外，由于HE在增强过程中不考虑图像亮度的退化，从而放大了图像的噪声，该方法不适合用于复杂的微光场景。基于Retinex理论的方法将图像分解为光照分量和反射分量，并对这两个分量分别处理，但是该方法可能会导致增强的图像失真，使图像看起来不自然。HDR通过扩大图像的动态范围提高图像的亮度，达到增强图像的目的，但是，该方法在饱和区域易出现伪影，不能满足高质量的计算机视觉任务。

与传统方法相比，卷积神经网络具有更好的特征表示能力，这得益于其庞大的数据集和强大的计算能力。目前也有很多基于深度学习的图像增强方法，但是对单张极端低光图像增强仍然具有挑战性，生成的图像总是存在模糊且有噪声。结合深度学习的优点，以及现有低光图像增强方法存在的缺陷，研究一种高效的，既含有丰富纹理细节和高清晰度，又无光晕现象的单张低光图像增强方法非常重要。

发明内容

针对上述背景技术中存在的不足，本发明提出了一种基于深度Retinex模型的单张低光图像增强方法，使得增强后的图像不存在光晕现象，且含有丰富的纹理细节和良好的视觉效果。

本发明的技术方案是这样实现的：

一种基于深度Retinex的单张低光图像增强方法，其步骤如下：

S1、根据Retinex理论分别对输入的低光图像和低光图像对应的正常图像进行分解，分别得到低光图像的照度分量、反射分量和正常图像的照度分量、反射分量；

S2、采用照度估计网络学习低光图像的照度分量到正常图像的照度分量的映射，得到低光图像的预测照度分量；

S3、采用图像重构方法将步骤S2中预测照度分量与正常图像的反射分量进行融合得到低分辨率图像；

S4、采用拉普拉斯超分辨率网络对步骤S3中的低分辨率图像进行处理得到低分辨率特征图；

S5、对步骤S3中的低分辨率图像进行图像上采样后与步骤S4中的低分辨率特征图进行融合得到最终的高质量增强图像。

优选地，Retinex理论是通过分解网络分别对输入的低光图像和低光图像对应的正常图像进行分解的，分解网络的网络结构为卷积层I—卷积层II—ReLU激活函数层I—卷积层III—ReLU激活函数层II—卷积层IV—ReLU激活函数层III—卷积层V—Sigmoid层；Sigmoid层将分解的反射分量和照度分量均约束到[0,1]范围；

输入的低光图像记为I_low，低光图像对应的正常图像记为I_normal，Retinex理论分解图像表达式为：

其中，(x,y)表示像素点的坐标，I(x,y)表示输入图像，R(x,y)表示输入图像的反射分量，L(x,y)表示输入图像的照度分量，

表示像素相乘操作；输入的低光图像I_low的照度分量和反射分量分别记为

和

正常图像I_normal的照度分量和反射分量分别记为

和

优选地，所述照度估计网络的网络结构为第一卷积层—第二卷积层—…—第九卷积层—全连接层；低光图像的预测照度分量的计算公式为：

其中，

表示预测照度分量，

表示输入的低光图像的照度分量，

表示低光图像对应的正常图像的照度分量，F(·)表示映射函数。

优选地，所述采用图像重构方法将预测照度分量与正常图像的反射分量进行融合的方法是将步骤S2中预测照度分量

与正常图像的反射分量

采用像素级的方法进行融合，初步得到增强的图像，即低分辨率图像。

优选地，所述拉普拉斯超分辨率网络的网络结构为卷积层VI-I—上采样层I—卷积层VI-II—上采样层II—卷积层VI-III；步骤S3中的低分辨率图像通过拉普拉斯超分辨率网络得到四倍低分辨率特征图；步骤S3中的低分辨率图像通过拉普拉斯超分辨率网络后再进行特征上采样得到八倍低分辨率特征图。

优选地，所述最终的高质量增强图像包括四倍高质量增强图像和八倍高质量增强图像；四倍高质量增强图像是通过对低分辨率图像进行四倍图像上采样后与四倍低分辨率特征图进行融合获得的；八倍高质量增强图像是通过对低分辨率图像进行八倍图像上采样后与八倍低分辨率特征图进行融合获得的。

优选地，所述照度估计网络对应的多任务损失函数为：

其中，

为多任务损失函数，

为重构损失函数，

为低光图像的图像感知损失函数，

为颜色损失函数，λ_p表示低光图像的图像感知损失函数

的权重，

表示颜色损失函数

的权重。

优选地，所述重构损失函数

的计算公式为：

其中，R_i表示图像i的发射分量，S_j表示输入的源图像j，λ_i,j表示重构系数，

表示像素相乘操作。

优选地，所述图像感知损失函数

的计算公式为：

其中，W表示输入的低光图像的宽度，H表示输入的低光图像的高度，(x,y)表示像素点的坐标。

优选地，所述颜色损失函数

的计算公式为：

其中，(I_output)_p表示输出的低分辨率图像中的一个像素，(I_normal)_p表示输入的正常图像中的一个像素，∠(,)表示将RGB颜色作为三维矢量计算两种颜色夹角的运算符。

本发明产生的有益效果为：相比于传统的低光图像图像方法和多曝光图像图像融合方法，本发明能够在较少图像输入的情况下实现低光图像的增强，提高了增强的效率，且增强效果更好，亮度更均匀，不会产生伪影和光晕。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的流程图；

图2为本发明方法提出的数据集样例图；

图3为本发明方法基于图2对应的数据集与现有方法增强结果对比图，其中，(a)为低光图像，(b)为HE方法得到的增强图像，(c)为GA方法得到的增强图像，(d)为GWA方法得到的增强图像，(e)为AWB方法得到的增强图像，(f)为文献[1]方法得到的增强图像，(g)为文献[2]方法得到的增强图像，(h)为文献[3]方法得到的增强图像，(i)为文献[4]方法得到的增强图像，(j)为本发明方法的增强图像；

图4为本发明方法基于图2对应的数据集与现有方法增强结果另一组对比图，其中，(a)为低光图像，(b)为HE方法得到的增强图像，(c)为GA方法得到的增强图像，(d)为GWA方法得到的增强图像，(e)为AWB方法得到的增强图像，(f)为文献[1]方法得到的增强图像，(g)为文献[2]方法得到的增强图像，(h)为文献[3]方法得到的增强图像，(i)为文献[4]方法得到的增强图像，(j)为本发明方法的增强图像；

图5为本发明方法基于合成数据集与现有方法增强结果对比图，其中，(a)为低光图像，(b)为HE方法得到的增强图像，(c)为GA方法得到的增强图像，(d)为GWA方法得到的增强图像，(e)为AWB方法得到的增强图像，(f)为文献[1]方法得到的增强图像，(g)为文献[2]方法得到的增强图像，(h)为文献[3]方法得到的增强图像，(i)为文献[4]方法得到的增强图像，(j)为本发明方法的增强图像；

图6为本发明方法基于合成数据集与现有方法增强结果另一组对比图，其中，(a)为低光图像，(b)为HE方法得到的增强图像，(c)为GA方法得到的增强图像，(d)为GWA方法得到的增强图像，(e)为AWB方法得到的增强图像，(f)为文献[1]方法得到的增强图像，(g)为文献[2]方法得到的增强图像，(h)为文献[3]方法得到的增强图像，(i)为文献[4]方法得到的增强图像，(j)为本发明方法的增强图像；

图7为本发明方法基于图2对应的数据集和合成数据集与现有方法的运行时间对比图。

其中，文献[1]为[Guo,X.,Y.Li,and H.Ling,LIME:Low-Light ImageEnhancement via Illumination Map Estimation.IEEE Trans Image Process,2017.]；文献[2]为[Wei,C.,et al.,Deep retinex decomposition for low-lightenhancement.arXiv preprint arXiv:1808.04560,2018.]；文献[3]为[Dong,X.,Y.A.Pang,and J.G.Wen.Fast efficient algorithm for enhancement of low lightingvideo.in IEEE International Conference on Multimedia&Expo.2011.]；文献[4]为[Zhang,Y.,J.Zhang,and X.Guo,Kindling the Darkness:A Practical Low-light ImageEnhancer.2019.]。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供了一种基于深度Retinex的单张低光图像增强方法，具体步骤如下：

S1、根据Retinex理论分别对输入的低光图像和低光图像对应的正常图像进行分解，分别得到低光图像的照度分量、反射分量和正常图像的照度分量、反射分量；

在步骤S1中，Retinex理论是通过分解网络分别对输入的低光图像和低光图像对应的正常图像进行分解的，分解网络可以从输入的低光图像以及对应的正常曝光图像中学习分解，分解网络的网络结构为卷积层I—卷积层II—ReLU激活函数层I—卷积层III—ReLU激活函数层II—卷积层IV—ReLU激活函数层III—卷积层V—Sigmoid层；分解网络由5个3×3的卷积层和一个ReLU激活函数层从输入图像中提取特征，Sigmoid层将分解的反射分量和照度分量均约束到[0,1]范围。

输入的低光图像记为I_low，低光图像对应的正常图像记为I_normal，Retinex理论分解图像表达式为：

其中，(x,y)表示像素点的坐标，I(x,y)表示输入图像，R(x,y)表示输入图像的反射分量，L(x,y)表示输入图像的照度分量，

表示像素相乘操作；输入的低光图像I_low的照度分量和反射分量分别记为

和

正常图像I_normal的照度分量和反射分量分别记为

和

S2、采用照度估计网络学习低光图像的照度分量到正常图像的照度分量的映射，得到低光图像的预测照度分量；所述照度估计网络的网络结构为第一卷积层—第二卷积层—…—第九卷积层—全连接层；照度估计网络包括9个3×3的卷积层和一个全连接层，卷积层的激活函数是ReLU。低光图像的预测照度分量的计算公式为：

其中，

表示预测照度分量，

表示输入的低光图像的照度分量，

表示低光图像对应的正常图像的照度分量，F(·)表示映射函数。

在照度估计网络的训练过程中，本发明方法设计了一个多任务损失函数

该损失函数包含三个分量：重构损失函数

图像感知损失函数

和颜色损失函数

照度估计网络对应的多任务损失函数为：

其中，

为多任务损失函数，

为重构损失函数，

为低光图像的图像感知损失函数，

为颜色损失函数，λ_p表示低光图像的图像感知损失函数

的权重，

表示颜色损失函数

的权重。

所述重构损失函数

的计算公式为：

其中，R_i表示图像i的发射分量，S_j表示输入的源图像j，λ_i,j表示重构系数，

表示预测照度分量，

表示像素相乘操作。

自然图像中的照度通常是局部平滑的，重构损失函数

可能会使生成的图像缺乏高频信息，出现过度平滑问题。因此，本发明方法在网络中引入了一个图像感知损失函数

通过比较输入低光图像的照度分量与对应正常光图像的照度分量之间的差异预测的照度分量进行优化。

可以使预测的照度分量

更加接近于正常曝光图像的照度分量

从而有效的重构生成图像的高频信息，使生成的图像包含更多的细节信息。所述图像感知损失函数

的计算公式为：

其中，W表示低光图像的宽度，H表示低光图像的高度，(x,y)表示像素点的坐标。

为了使输出的图像I_output在颜色空间更加生动，本发明方法需要计算输出图像I_output和正常图像I_normal之间的颜色损失，颜色损失函数

的计算公式为：

其中，(I_output)_p表示输出的低分辨率图像中的一个像素，(I_normal)_p表示输入的正常图像中的一个像素，∠(,)表示将RGB颜色作为三维矢量计算两种颜色夹角的运算符。

S3、采用图像重构方法将步骤S2中预测照度分量与正常图像的反射分量进行融合得到低分辨率图像；将步骤S2中预测照度分量

与正常图像的反射分量

采用像素级的方法进行融合，初步得到增强的图像，即低分辨率图像，便于图像的进一步处理。

S4、采用拉普拉斯超分辨率网络对步骤S3中的低分辨率图像进行处理得到低分辨率特征图；所述拉普拉斯超分辨率网络的网络结构为卷积层VI-I—上采样层I—卷积层VI-II—上采样层II—卷积层VI-III；步骤S3中的低分辨率图像通过拉普拉斯超分辨率网络得到四倍低分辨率特征图；步骤S3中的低分辨率图像通过拉普拉斯超分辨率网络后再进行特征上采样(通过拉普拉斯超分辨率网络进行2次特征上采样后在进行1次特征上采样，1次特征上采样实现图像2倍上采样，2次特征上采样实现图像4倍上采样，3次特征上采样实现图像8倍上采样)得到八倍低分辨率特征图。

S5、对步骤S3中的低分辨率图像进行图像上采样后与步骤S4中的低分辨率特征图进行融合得到最终的高质量的无伪影的增强图像。所述最终的高质量增强图像包括四倍高质量增强图像和八倍高质量增强图像；四倍高质量增强图像是通过对低分辨率图像进行四倍图像上采样(通过2次反卷积实现图像4倍上采样)后与四倍低分辨率特征图以对应位置像素求和的方式进行融合获得的；八倍高质量增强图像是通过对低分辨率图像进行八倍图像上采样(通过3次反卷积实现图像8倍上采样)后与八倍低分辨率特征图以对应位置像素求和的方式进行融合获得的。

为进一步试验本发明方法的可行性和有效性，对本发明方法进行实验。

利用无参考图像质量评价方法和全参考图像质量评价方法来评价本发明方法及现有图像增强方法在本发明方法提供的数据集和合成数据集上的实验结果。无参考图像质量评价方法包括信息熵(Entropy)、NIQE和PIQE。图像的信息熵是一种平均包含多少信息的度量，熵值越大图像含有的信息量越大；NIQE利用待评价图像特征模型参数与预先建立的模型参数之间的距离来确定图像质量，NIQE的值越低，图像特征模型参数与预先建立的模型参数之间的距离越小，图像恢复质量越好；PIQE是基于感知特征的盲图像质量评价方法，它是利用图像的局部块的质量分数得到整体质量分数，PIQE反应的图像局部块的失真程度，PIQE值越低，图像失真越小，图像质量越高。

全参考图像质量评价方法包括峰值信噪比(PSNR)和结构相似性(SSIM)。PSNR用于比较所需信号强度与背景噪声的强度，其值越大图像噪音越小，图像质量越高；SSIM反应的是两幅图像间的相似度，SSIM值越高，说明两幅图像越相似。

现有的低光图像增强方法分别为：文献[1]—[Guo,X.,Y.Li,and H.Ling,LIME:Low-Light Image Enhancement via Illumination Map Estimation.IEEE Trans ImageProcess,2017.]、文献[2]—[Wei,C.,et al.,Deep retinex decomposition for low-light enhancement.arXiv preprint arXiv:1808.04560,2018.]、文献[3]—[Dong,X.,Y.A.Pang,and J.G.Wen.Fast efficient algorithm for enhancement of low lightingvideo.in IEEE International Conference on Multimedia&Expo.2011.]、文献[4]—[Zhang,Y.,J.Zhang,and X.Guo,Kindling the Darkness:A Practical Low-light ImageEnhancer.2019.]。

表1和表2分别给出了利用本发明方法与现有的图像增强方法在数据集和合成数据集上的实验结果得到的增强图像的Entropy、NIQE、PIQE、PSNR和SSIM的评价值。

表1本发明提供数据集不同增强算法增强结果评价值

表2合成数据集不同增强算法增强结果评价值

从表1和表2所列的数据中可以看出，利用本发明方法得到的增强图像的图像PSNR、SSIM、信息熵、NIQE和PIQE都高于其余方法，这表明本发明所得融合图像具有丰富的图像信息量，含有噪音少以及具有较高清晰度和纹理特征。实验结果以及数据分析充分表明了本发明方法的优点，有效的提高了图像的质量和对比度。

如图3和图4所示，本发明方法利用上述图像增强方法在本发明方法提供的数据集上对低光图像进行了测试，图3和图4中(a)为低光图像，(b)为HE方法得到的增强图像，(c)为GA方法得到的增强图像，(d)为GWA方法得到的增强图像，(e)为AWB方法得到的增强图像，(f)为文献[1]方法得到的增强图像，(g)为文献[2]方法得到的增强图像，(h)为文献[3]方法得到的增强图像，(i)为文献[4]方法得到的增强图像，(j)为本发明方法的增强图像。由上述实验结果可以看出，图3(b)HE方法增强结果中含有很大的噪声；图3(d)和图3(e)中，方法GWA和AWB对低光图像的增强效果极差，图像对比度较低；图3(f)中，文献[1]虽然在亮度上对低光图像恢复效果较好，但是在图像细方面效果还不太满意；图3(g)中，文献[2]增强图像出现严重的锐化，严重失真；图3(h)和(j)中，文献[3]和文献[4]增强结果比较模糊，且有光晕；图3(j)中本发明方法对天空中的白云恢复效果较好，且图像的色彩更加接近真实场景的图像。图4(b)-(i)中存在与图2同样的问题，而本发明方法克服了上述增强结果中存在的问题，使增强的结果拥有更高的质量和对比度。

如图5和图6所示，本发明方法利用上述图像增强方法在合成数据集上对低光图像做了试验。从图5和图6中可以看出，本发明方法增强了图像的亮度和色彩、恢复了图像的细节信息，使增强的结果图像更加接近真实世界的场景。图5(f)和图6(f)中，文献[1]使图像在某些区域过度增强，而本发明方法在细节、色彩、亮度和对比度方面都有较佳的恢复效果。

为了证明本发明方法具有强壮的鲁棒性，本发明方法与典型的多曝光图像融合算法进行了对比，测试的曝光图像如表3所示，该曝光图像序列的场景为教堂，该曝光图像序列包括16张不同曝光时间(s)的图像，曝光时间从大到小依次为：32、16、8、4、2、1、1/2、1/4、1/8、1/16、1/32、1/64、1/128、1/256、1/512和1/1024。在实验中，利用曝光时间为1/4的低光图像作为输入可以得到不同增强算法的增强结果，融合结果是通过对以上16张不同曝光时间的图像进行融合得到的。通过计算单张低光图像增强结果与融合结果的差分图来判断增强结果与融合结果的差异，差分图是通过计算融合结果与增强图像像素差的绝对值得到的，差分图Diff的计算公式如下：

Diff＝|(R_enhancement)_p-(R_fusion)_p|，

其中，R_enhancement表示单张低光图像增强结果，R_fusion表示多曝光图像融合结果，()_p表示图像中的一个像素。

图像的差分图以及其对应的网格图表3所示，差分图越暗，说明增强结果越接近融合结果，而对于网格图，网格图表面的峰面越低，增强结果越接近融合结果。网格图清晰的显示了增强结果与融合结果差异的变化值，网格图的峰面越低说明差分图越暗，也就说明图像的差异越小。从表3中可以看出，与其他算法相比，本发明方法保留了更多的细节，这说明本发明方法在使用单一低光图像作为输入时，可以达到多曝光图像融合的效果。因此，与多曝光图像融合方法相比，本发明方法可以在最少数量输入图像的情况下获得最好的结果，提高了算法的效率。

表3单张低光图像增强结果与融合结果对比分析

综上所述，本发明方法减少了图像细节的丢失，提高了图像的对比度。相比于多曝光图像融合方法，本发明提供的方法能够使用简单的算法实现高质量的结果，具有操作简单，计算复杂度低等优点，且增强的结果无伪影和光晕现象。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于深度Retinex的单张低光图像增强方法，其特征在于，其步骤如下：

S1、根据Retinex理论分别对输入的低光图像和低光图像对应的正常图像进行分解，分别得到低光图像的照度分量、反射分量和正常图像的照度分量、反射分量；

S2、采用照度估计网络学习低光图像的照度分量到正常图像的照度分量的映射，得到低光图像的预测照度分量；

所述照度估计网络对应的多任务损失函数为：

其中，

为多任务损失函数，

为重构损失函数，

为低光图像的图像感知损失函数，

为颜色损失函数，λ_p表示低光图像的图像感知损失函数

的权重，λ_c表示颜色损失函数

的权重；

所述图像感知损失函数

的计算公式为：

其中，W表示输入的低光图像的宽度，H表示输入的低光图像的高度，(x,y)表示像素点的坐标；

表示输入的低光图像的照度分量，

表示低光图像对应的正常图像的照度分量；

S3、采用图像重构方法将步骤S2中预测照度分量与正常图像的反射分量进行融合得到低分辨率图像；

S4、采用拉普拉斯超分辨率网络对步骤S3中的低分辨率图像进行处理得到低分辨率特征图；

S5、对步骤S3中的低分辨率图像进行图像上采样后与步骤S4中的低分辨率特征图进行融合得到最终的高质量增强图像。

2.根据权利要求1所述的基于深度Retinex的单张低光图像增强方法，其特征在于，在步骤S1中，Retinex理论是通过分解网络分别对输入的低光图像和低光图像对应的正常图像进行分解的，分解网络的网络结构为卷积层I—卷积层II—ReLU激活函数层I—卷积层III—ReLU激活函数层II—卷积层IV—ReLU激活函数层III—卷积层V—Sigmoid层；Sigmoid层将分解的反射分量和照度分量均约束到[0,1]范围；

输入的低光图像记为I_low，低光图像对应的正常图像记为I_normal，Retinex理论分解图像表达式为：

其中，(x,y)表示像素点的坐标，I(x,y)表示输入图像，R(x,y)表示输入图像的反射分量，L(x,y)表示输入图像的照度分量，

表示像素相乘操作；输入的低光图像I_low的照度分量和反射分量分别记为

和

正常图像I_normal的照度分量和反射分量分别记为

和

3.根据权利要求1所述的基于深度Retinex的单张低光图像增强方法，其特征在于，所述照度估计网络的网络结构为第一卷积层—第二卷积层—…—第九卷积层—全连接层；低光图像的预测照度分量的计算公式为：

其中，

表示预测照度分量，

表示输入的低光图像的照度分量，

表示低光图像对应的正常图像的照度分量，F(·)表示映射函数。

4.根据权利要求3所述的基于深度Retinex的单张低光图像增强方法，其特征在于，所述采用图像重构方法将预测照度分量与正常图像的反射分量进行融合的方法是将步骤S2中预测照度分量

与正常图像的反射分量

采用像素级的方法进行融合，初步得到增强的图像，即低分辨率图像。

5.根据权利要求1-4中任意一项所述的基于深度Retinex的单张低光图像增强方法，其特征在于，所述拉普拉斯超分辨率网络的网络结构为卷积层VI-I—上采样层I—卷积层VI-II—上采样层II—卷积层VI-III；步骤S3中的低分辨率图像通过拉普拉斯超分辨率网络得到四倍低分辨率特征图；步骤S3中的低分辨率图像通过拉普拉斯超分辨率网络后再进行特征上采样得到八倍低分辨率特征图。

6.根据权利要求5所述的基于深度Retinex的单张低光图像增强方法，其特征在于，所述最终的高质量增强图像包括四倍高质量增强图像和八倍高质量增强图像；四倍高质量增强图像是通过对低分辨率图像进行四倍图像上采样后与四倍低分辨率特征图进行融合获得的；八倍高质量增强图像是通过对低分辨率图像进行八倍图像上采样后与八倍低分辨率特征图进行融合获得的。

7.根据权利要求1所述的基于深度Retinex的单张低光图像增强方法，其特征在于，所述重构损失函数

的计算公式为：

其中，R_i表示图像i的发射分量，S_j表示输入的源图像j，λ_i,j表示重构系数，

表示像素相乘操作。

8.根据权利要求1所述的基于深度Retinex的单张低光图像增强方法，其特征在于，所述颜色损失函数

的计算公式为：

其中，(I_output)_p表示输出的低分辨率图像中的一个像素，(I_normal)_p表示输入的正常图像中的一个像素，∠(,)表示将RGB颜色作为三维矢量计算两种颜色夹角的运算符。

Images