CN112001863B - 一种基于深度学习的欠曝光图像恢复方法 - Google Patents

Abstract

本发明基于深度学习的欠曝光图像恢复方法属于图像质量增强领域，解决了摄影摄像过程中光源不适导致的拍摄对比度低、亮度低和噪声多以及主流图像恢复算法高复杂度和高计算成本问题，本发明的主要步骤包括：首先，面向不同照度拍摄图像的多尺度分解网络的输入是一幅低照度图像，经过下采样卷积，得到一系列比原先图像更小的特征图。其次，在上采样解码端通过分解得到不同分辨率图像的反射率和照明度，在该分解基础之上，通过使用面向图像照明不均衡的多尺度亮度调整网络进行图像亮度增强，然后使用图像重建网络进行重建恢复。最后，将反射率图像和增强后的照明度图像进行整合，得到最终的恢复光照图像。

Description

一种基于深度学习的欠曝光图像恢复方法

技术领域

本发明属于图像质量增强领域，具体涉及一种基于深度学习的欠曝光图像亮度恢复方法。

背景技术

在实际生活场景中，拍摄环境的不同会导致拍摄到的图像出现许多的亮度问题。进行专业摄影拍照时，光源在摄影师和被拍摄者之间，由于光照良好，可以达到很好的拍摄效果。然而，在很多情况下光源的位置是不可控的，这经常会导致拍摄的人像出现“大黑脸”情形，这种照片上曝光不足的区域几乎看不到细节，视觉体验往往很差，对图像的进一步处理也提出了极大的挑战，专业摄影师往往会使用反光板、闪光灯等光源来增加光照，但人工光源极易造成图像的局部过度曝光，使图像出现新的视觉问题。因此，有必要研究逆光下欠曝光图像的恢复技术，该技术能给人们的生产和生活带来极大的便利。在过去的几十年中，许多研究人员致力于解决弱光图像增强问题，已经开发了许多技术来改善低光图像的主客观质量。

空间域图像增强算法是早期最主要的欠曝光图像增强方法，它主要包含灰度拉伸变换和直方图处理两种方法。其中，灰度拉伸变换可以调整图片整体灰度值的范围，进而突出图片的目标区域，但该方法存在一个问题：调整后的图片极易出现白化区域，丢失区域的细节信息。1968年，MR Schroeder等人提出了直方图均衡化方法，该方法不仅可以很好的增强图像，而且可以极大程度地保留图像的细节信息。不过该方法处理后图像的直方图分布相似度较高，所以该方法不适用于一些特定场合的图像。例如：拍摄的日出、日落图像。其次是频率域中的图像增强方法，其核心思想是将数字图片各个像素的值从原来的空间域变换到频率域，然后再利用频率域中高低频信息的固有特性，对图像进行增强处理。2010年，Yang等人提出了一种图像增强的新方法，首次在医学图像的增强处理中加入了小波变换，该方法在高效调整图像对比度的同时可以极大地保留了图像的边缘细节信息。

接下来介绍近些年出现的一些图像增强方法。早期的基于Retinex理论方法，单尺度Retinex(SSR)通过高斯滤波器将照明图约束为平滑后进行处理，该方法可以很好地保留图像的边界细节信息，但由于SSR算法中所选用的高斯函数特点，对于动态范围大幅度压缩和对比度增强两个要求，增强后的图像不能同时保证。针对这一问题，多尺度Retinex(MSR)在原有基础上发展而来，其优势在于恢复图像的大幅度动态范围压缩和亮度增强可以同时满足，不过，SSR方法和MSR方法增强后的图像都有较大程度的偏色现象。为解决这一明显缺陷，Daniel J.Jobson等人提出了带颜色恢复的多尺度Retinex(MSRCR)，在原有MSR算法的基础上引入了颜色调节因子C，较好地解决了对比度调整带来的色彩失真问题。

随着深度神经网络的迅速发展，强化学习也被用于欠曝光图像的增强过程，2019年Wang等人提出了一种端到端的欠曝光图像恢复网络，该网络中引入了中间照明，将输入与预期的增强结果相关联，使得网络对于复杂的摄影调整具有更强的学习能力。

本发明针对刘家瑛等人提出的弱光图像恢复网络RetinexNet进行了改进，提出了一种基于U-Net结构的多分辨率欠曝光图像恢复网络。该网络不仅能够很好地实现图像分解，而且在弱光图像增强上取得了令人满意的效果。

发明内容

本发明能够使原始欠曝光图像恢复后具有真实的颜色、清晰的细节和更少的噪声。本发明使用分解网络在不同分辨率下将输入图像分解为反射/照明图像对，并逐个定义损失函数给予更多的约束，极大地提高网络在训练过程中的优化效果，使得训练后的图像恢复网络可以很好的处理弱光图像。

为实现上述要求，本发明采用的技术方案为：

一种基于深度学习的欠曝光图像恢复方法，该图像恢复方法按以下步骤进行:

(1)训练数据构建

在网络训练前，我们选择了公开的包含大量从真实场景中捕获的低/正常光照图像对的“低光配对”数据集LOL作为训练样本，本数据集由真实摄影对和原始图像的合成对组成，真实摄影对采集在实际情况下的图像的降级特征和特性，原始图像的合成对在场景和对象多样化方面有突出的优势。具体说来，LOL数据集包含500个低/正常光照图像对，其中的弱光图像主要是通过更改相机的ISO和曝光时间进行采集；

(2)使用面向不同照度拍摄图像的多尺度分解网络进行特征提取和多分辨率特征图分解

分解网络的核心部分是子网络Multiscale-Decom-Net，其模型是基于标准的U-Net而构建的，首先进行卷积网络参数的设置，然后将训练数据集输入网络后通过编码路径下采样自动提取图像特征，解码端使用最近邻插值扩大图像尺寸以输出多种分辨率的特征图，然后逐个分解为反射分量与照明分量；

(3)使用面向图像照明不均衡的多尺度亮度调整网络进行亮度增强

面向图像照明不均衡的多尺度亮度调整网络Multiscale-Enhance-Net的整体结构是基于标准的U-Net模型，该模型将前一网络输出的成对反射图和光照图经多次下采样处理提取特征，然后使用上采样调整特征后输出多分辨率的照明调整特征图；

(4)卷积网络重建光照图像

将调整后的多分辨照明图输入卷积网络进行重建，得到原图尺度的正常光照图像；

(5)图像恢复网络中损失函数的定义

网络中的损失函数包括正常光照图像和欠曝光图像的多尺度反射率损失、恢复图像的多尺度照明平滑损失、多尺度重建损失，其中，多尺度反射率损失保证在多个尺度上图像反射率的一致性，多尺度照明平滑损失用以保证在多个尺度上恢复图像的平滑度，多尺度重建损失保证在多个尺度上图像重建图像和正常图像的内容一致性。

进一步的，步骤(1)中，网络训练开始之前，除了对训练样本进行分类处理，还需要进行网络训练参数和优化器的配置。这里设置网络更新迭代次数为1000次，初始学习率为0.001，并在网络训练到20代后，学习率减小10倍。选择Adam优化器进行本发明的算法优化，它是一种优于传统随机梯度下降(SGD)的一阶网络优化算法，能够使用训练数据迭代地更新网络的权重。

进一步的，步骤(2)中，基于编码器-解码器结构的Multiscale-Decom-Net对输入图像进行特征提取和重建，网络主要由卷积层、最大池化层(下采样)、反卷积层(上采样)以及ReLU非线性激活函数组成。分解网络的训练过程中，除了根据输入迭代更新网络的参数，在Multiscale-Decom-Net解码端每进行一次上采样操作就输出一幅特征图，并根据Retinex理论分解为照明图I-low和反射图R-low，多次上采样后即可得到多分辨率照明/反射图像对，输入调整网络进行后续处理。

分解网络中还引入了跳跃连接，将上采样路径上卷积后的图像与U型网络下采样路径上对应尺寸的特征图进行相加求和，再进行后续的卷积操作。跳跃连接将深层的全局整体信息和浅层的局部细节信息结合起来，更能反映图像的原始信息。

进一步的，步骤(3)中，调整网络Multiscale-Enhance-Net的结构与分解网络的Multiscale-Decom-Net的结构基本相同，主要区别在于其输入变量有三对，分别是DecomNet输出端不同分辨率的反射图像和照明图像对，然后将其分别拼接后输入增强网络开始处理。经过上采样的特征提取和下采样的特征融合完成输入图像的亮度增强。随后，在Multiscale-Enhance-Net的解码端将输出三副不同分辨率的特征图。

进一步的，步骤(4)中，Multiscale-Enhance-Net输出的三种分辨率的特征图，将其输入进以ReLU为激活函数的卷积网络中进行融合处理，最后输出正常光照的结果图像。

进一步的，步骤(5)中，将输入的低/正常光照图像与分解网络和增强网络输出的多分辨率特征图作为损失函数的输入，使用各种损失函数来约束网络权值的更新。本发明分解网络和增强网络在输出层都会输出多分辨率图像，这使得损失函数对不同尺度的特征图都能给予约束，不仅让网络的训练速度得到了提供，而且使网络训练效果快速到达期望值，从而让训练的网络具有更加优秀的性能。

本发明在Multiscale-Decom-Net和Multiscale-Enhance-Net两个子网络中都使了类似于编码器-解码器体系的网络结构，其网络结构中没有涉及到任何的全连接层，并通过跳跃连接在上采样过程中用到了下采样的结果，使得在深层的卷积中能够使用浅层低级特征，自然得到的结果也更加能够反映图像的原始信息。

附图说明

下面结合附图对本发明做进一步详细的说明。

图1为本发明的基于深度学习的欠曝光图像恢复方法的网络结构示意图。

图2为本发明的基于深度学习的欠曝光图像恢复方法的网络训练中间环节及结果对比示意图。其中(a)、(b)、(c)三列分别是3张图像通过分解网络输出的反射图和照明图，(d)、(e)、(f)三列分别是3张图像通过调整网络输出的最终结果图和照明调整图。

图3为本发明的基于深度学习的欠曝光图像恢复方法与Retinex-Net方法的处理结果对比示意图。

图4为本发明的基于深度学习的欠曝光图像恢复方法与Retinex-Net方法的PSNR指标对比图。

具体实施方式

为使本发明的目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。

为了更好的理解本发明的图像恢复方法，下面先对本发明图像恢复网络做详细介绍。

1、欠曝光图像恢复网络的具体实现

如图1所示，图像增强过程分为三个步骤：分解、调整和重建，在分解步骤中，基于编码器-解码器结构的Multiscale-Decom-Net将输入的原图分别输出为不同分辨率的特征图，以图中结构为例，原图经过Multiscale-Decom-Net网络处理后，变为三种分辨率的特征图，然后在对应分辨率下逐个分解为反射率R和照明度I。在下面的调整步骤中，同样是基于编解码器结构的Multiscale-Enhance-Net进行图像的亮度增强。最后，在重建步骤中通过卷积网络融合特征图后输出增强的结果图。其算法实现步骤为：

a、训练数据构建

网络训练前，我们选择了刘等人公开的包含大量从真实场景中捕获的低/正常光照图像对的“低光配对”数据集(LOL)作为训练样本，该数据集由真实摄影对和原始图像的合成对组成，真实摄影对采集在实际情况下的图像的降级特征和特性，原始图像的合成对在场景和对象多样化方面有突出的优势。LOL数据集包含500个低/正常光照图像对，其中的弱光图像通过更改相机的ISO和曝光时间进行采集；

b、多尺度分解

分解网络是基于标准的U-Net而构建的，其输出将会有三组，每组输出分别对应于同一输入原图的不同分辨率特征图的反射分量R和光照分量I。

本网络所有的代码都是使用Python编程语言进行编写。程序中首先定义了网络的名称(Multiscale-Decom-Net)和输入参数(channel表示卷积层通道数默认为128，kernel_size表示卷积核大小默认为3)。输入图像首先通过卷积网络变为多通道的特征图，然后是Multiscale-Decom-Net左边的二层、三层和四层对应的三次下采样卷积，因为卷积步长设置为2，相较于普通的卷积增加了下采样操作，使得图像尺寸变小的同时有更深层的图像特征能够被挖掘出来。

接下来将是Multiscale-Decom-Net的右半部分，对应于程序中的三个上采样模块，这里的上采样模块与下采样模块的数量是相同的，保证了输出图像的尺寸大小与原图相同。上采样模块是由最近邻插值、普通卷积和对应像素加法等操作组成，上采样过程首先通过最近邻插值将低分辨率的图像特征变大(尺寸翻倍)得到新的特征图(a)，接下来通过跳跃连接将(a)卷积后的图像与Multiscale-Decom-Net下采样路径上对应尺寸的特征图(b)进行相加求和，得到新的特征图(c)，然后再进行两次普通的卷积操作。需要注意的是，后面的两次卷积操作是很有必要的，因为特征图(a)卷积后的结果如果和特征图(b)直接相加求和，很可能会出现特征不匹配的情况，而类似于自编码器结构的两次卷积操作，使得图像特征能够做一个很好的自适应调整。

最后是输出层，输出包含三种分辨率的特征图，然后通过简单分解后得到不同特征图的反射率图像R和照明度图像I，再将其输入调整网络进行后续处理。

c、多尺度调整

调整网络的主要作用是对分解网络输出的特征图进行亮度增强处理，代码中首先定义了增强网络的函数名(Relight-Net)，然后是输入变量和参数的设置。与分解网络类似，卷积层通道数设置为128，卷积核大小设置为3，不过这里的输入变量有三对，分别是Multiscale-Decom-Net输出端不同分辨率的反射图像和照明图像对，然后将其分别拼接后输入增强网络开始处理。

首先是Multiscale-Enhance-Net的输入层，将原图尺寸的输入图像卷积后输出多通道特征图，然后是三个下采样层(步长设置为2进行下采样)，对应于图2中Multiscale-Enhance-Net的三个向下的红色箭头。需要注意的是，在进行第二次和第三次下采样操作时，我们会把对应尺寸的输入特征图(例如前一个网络输出的反射/照明图像对)和本网络下采样后的同尺寸特征图拼接起来，作为下一次下采样的输入。三次下采样处理后会得到低分辨率的特征图。然后是与分解网络类似的三个上采样模块，即三次上采样操作。最后，网络的输出层将输出通道为1的三种分辨率特征图。

d、图像重建

将增强网络调整后的多尺度照明图输入卷积网络进行融合，得到原图尺度的正常光照图像；

e、损失函数的定义

定义损失函数的代码中，主要包括正常光照图像和欠曝光图像的多尺度反射率损失、多尺度照明平滑损失、多尺度重建损失。

2.本发明图像恢复网络的训练

a、网络训练参数配置

在训练网络时，本发明选用Adam优化器进行训练网络，设置网络的训练迭代次数为1000次，初始学习率设置为0.001，在训练到20代后，学习率减小10倍变为0.0001。

b、网络训练中间环节及结果对比

在训练过程中，对分解网络和调整网络的输出结果进行了记录和分析，如图2所示为低照度原图通过分解网络和增强网络后的输出结果(包括分解网络输出的反射图R_low和照明图I_low，以及调整网络输出的结果图S和照明调整图I_delta)，网络训练时数据集会更新迭代1000次，我们这里选择了在网络训练20、260、500、740、1000代的输出图像进行展示。分解网络输出的反射图和照明图，对应图2中(a)、(b)、(c)列的Decom_1、Decom_2、Decom_3三组图，调整网络输出的最终结果图和照明调整图，对应于图2中(d)、(e)、(f)列的Relight_1、Relight_2、Relight_3三组图。

通过对比图不难发现，网络对输入原图的训练效果不断提高，在整个训练数据集上更新20个迭代后，Adam优化器的学习率会减小10倍，分解网络输出的反射分量图和光照分量图都比较昏暗，还看不到明显的增强效果，而随着训练次数的不断增加，当总迭代达到260次时，反射分量图可以看到较好的增强效果，其图像上可以看到更多的细节信息。对比图2中的上下两部分图像可以发现，分解网络主要是对反射图像进行增强处理，而亮度调整网络和图像重建网络主要是对亮度图像进行增强处理。

3.本发明图像恢复网络的测试

a、网络测试结果图视觉对比

在测试部分，我们将本发明提出的欠曝光图像恢复算法与基于深度Retinex分解的增强算法(Retinex-Net)进行了比较。在测试数据上，我们选择了其他数据集中的街道图像和生活图像，并分别对结果图的局部信息进行了放大，比较各方法在图像细节方面的处理效果。图3展示了在两个自然图像上两种算法处理后图像的视觉对比图。如图3矩形框区域所示，本发明的方法可以充分保持暗处的物体而不会过度曝光，这得益于基于深度学习的图像分解算法在多分辨率下进行照明增强。与Retinex-Net方法比较，我们的网络恢复出来的图像效果更加自然(请参见图3中街道图像)。

b、网络测试结果图PSNR指标对比

为了客观描述增强网络的恢复效果，我们选用了PSNR指标(Peak Signal-to-Noise Ratio)来对图像质量作定量分析。PSNR表示图像峰值信噪比(其单位是dB)，它是评价算法去噪性能的主要指标，数值越大表示失真越小。我们从LOL数据集中选择了15张自然图像，分别输入进我们的网络和Retinex-Net进行处理，并使用折线图绘制输出图像的PSNR指标数据，如图4所示，其中横坐标表示图像编号，纵坐标表示PSNR值。两种方面虽然在不同图像上的处理效果各有高低，但在计算均值后发现，我们的方法(28.5)比Retinex-Net方法(28.4)在峰值信噪比上平均提高0.1，这充分地说明了本发明的方法在图像恢复上具有优越性。

上面结合附图对本发明方案的实施例作了详细说明，但是本发明并不限于上述实施例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (3)

1.一种基于深度学习的欠曝光图像恢复方法，其特征在于，该欠曝光图像恢复方法按以下步骤进行：

（1）训练数据构建

网络训练前，选择公开的包含大量从真实场景中捕获的低/正常光照图像对的“低光配对”数据集LOL作为训练样本，该数据集由真实摄影对和原始图像的合成对组成，真实摄影对采集在实际情况下的图像的降级特征和特性，原始图像的合成对在场景和对象多样化方面有突出的优势，LOL数据集包含500个低/正常光照图像对，其中的低光照图像主要是通过更改相机的ISO和曝光时间进行采集；

（2）使用多尺度分解网络进行多分辨率特征提取和特征图分解

面向不同照度拍摄图像的多尺度分解网络Multiscale-Decom-Net的整体结构是基于标准的U-Net而构建的，首先进行卷积网络参数的设置，然后将训练数据集输入网络后通过编码路径下采样自动提取图像特征，解码端使用最近邻插值扩大图像尺寸以输出多种分辨率的特征图，然后逐个分解为反射图与照明图；

多尺度分解网络主要由卷积层、最大池化层、反卷积层以及ReLU非线性激活函数组成；分解网络的训练过程中，除了迭代地更新网络的参数，在Multiscale-Decom-Net解码端每进行一次上采样操作就输出一幅特征图，并根据Retinex理论分解为照明图I-low和反射图R-low，多次上采样后即可输出多分辨率照明/反射图像对，然后将其输入到调整网络进行后续处理；

分解网络中还引入了跳跃连接，将上采样路径上卷积后的图像与U型网络下采样路径上对应尺寸的特征图进行相加求和，再进行后续的卷积操作，跳跃连接将深层的高级语义信息和浅层的局部细节信息结合起来，从而充分地利用低照度图像的原始信息；

（3）使用面向图像照明不均衡的多尺度亮度调整网络进行多尺度亮度增强

面向图像照明不均衡的多尺度亮度调整网络Multiscale-Enhance-Net的整体结构是基于标准的U-Net模型，其将前一网络输出的成对反射图和光照图经多次下采样处理提取特征，然后使用上采样调整特征后输出多分辨率的照明调整特征图；

调整网络Multiscale-Enhance-Net的网络结构与分解网络Multiscale-Decom-Net的网络结构是相似的，这里的主要区别在于前者的输入变量有三对，分别是Multiscale-Decom-Net输出端不同分辨率的反射图像和照明图像对，然后将其分别拼接后输入增强网络开始处理，经过上采样的特征提取和下采样的特征融合完成输入图像的亮度增强，后者的输出端将得到三副不同分辨率的特征图；

（4）图像重建网络恢复光照图像

将调整后的多分辨照明图输入到图像重建网络进行恢复，得到和原图尺度一样的正常光照图像；Multiscale-Enhance-Net输出的三种分辨率的特征图，将其输入进以ReLU为激活函数的卷积网络中进行融合处理，最后输出正常光照的图像；

（5）图像恢复网络中损失函数的定义

网络中的损失函数包括正常光照图像和欠曝光图像的多尺度反射率损失、恢复图像的多尺度照明平滑损失、多尺度重建损失；这里多尺度反射率损失保证在多个尺度上图像反射率的一致性；多尺度照明平滑损失用以保证在多个尺度上恢复图像的平滑度，这是由于一幅正常光照图像不仅需要在纹理细节上保持平滑，而且需要保留整个图像的结构边界信息；多尺度重建损失保证在多个尺度上图像重建图像和正常图像的内容一致性。

2.根据权利要求1所述的一种基于深度学习的欠曝光图像恢复方法，其特征在于：

步骤（1）中，网络训练开始之前，除了对训练样本进行分类处理，还需要进行网络训练参数和优化器的配置，选择Adam优化器进行算法优化，设置网络更新迭代次数为1000次，初始学习率为0.001，并在网络训练到20代后，学习率减小10倍。

3.根据权利要求1所述的一种基于深度学习的欠曝光图像恢复方法，其特征在于：

步骤（5）中，将输入的低/正常光照图像与分解网络和增强网络输出的多分辨率特征图分别进行比较并定义损失函数，本发明的多尺度分解网络和多尺度增强网络在输出层都会输出多分辨率图像，这使得损失函数对不同尺度的特征图都能给予约束，不仅让网络的训练速度得到了提高，而且让训练的网络具有更加优秀的性能。

Images