CN112907570A - 一种轻量级无监督暗光图像增强方法及装置 - Google Patents

Abstract

本发明公开了一种轻量级无监督暗光图像增强方法及装置，其中方法包括：S1：建立无监督图像分解网络，所述图像分解网络用于将输入的原始暗光图像分解为光照图像和反射图像；S2：建立无监督图像增强网络，所述图像增强网络用于增强所述光照图像的亮度以得到对应的增强光照图像，同时，根据所述增强光照图像得到对应的含噪声增强图像；S3：建立无监督图像去噪网络，所述图像去噪网络用于对所述含噪增强图像去除噪声，输出增强图像；本发明可使最终的增强图像具有更好的增强效果。

Description

一种轻量级无监督暗光图像增强方法及装置

技术领域

本发明涉及图像处理技术领域，更具体的说是涉及一种轻量级无监督暗光图像增强方法及装置。

背景技术

近年来，近年来，智能手机的高速发展让人们可以随时随地拍摄照片。然而，在日常生活中常会遇到较差的光照环境。例如，在弱光源不足以照亮整个场景的情况下，得到的图像整体通常非常暗，且黑暗区域可能隐藏了较多的成像噪声，其视觉质量通常不令人满意。即使通过图像处理技术将图像整体光照进行增强，原本隐藏在暗处的噪声也很容易随之显著放大，依旧严重影响了输出图像的视觉质量。因此，暗光图像处理主要包含两方面目标：一方面是增强图像亮度，另一方面是去除图像噪声。

目前，现有技术中暗光图像增强方法主要可分为基于模型驱动的传统方法和基于数据驱动的深度学习方法，其中模型驱动方法中，最具代表性的是基于Retinex图像分解框架的暗光图像增强模型，但此类方法往往存在如下问题：(1)建立Retinex图像分解目标函数，其分解结果会因正则化项不同而各有差异；(2)对Retinex图像分解所得的光照图进行伽马矫正来增强图像光照，其中的伽马校正参数数值只能依据经验设定为定值1/2.2，对图像亮度改善能力有限，对不同图像场景和内容的泛化能力不强；(3)在去噪问题上，可通过在目标函数添加正则化项、或直接后处理进行，但是这样的做法都是基于全局处理，容易导致原本光线较好的图像区域细节丢失。

对于数据驱动下的暗光图像增强方法，一般是构建含有大量参数的深度神经网络，以全监督的方式在大规模训练数据集拟合出复杂的函数映射，使低质量的暗光图片转变为高质量的正常光照图片，进而完成暗光增强。但是此类方法仍然存在一些缺点。首先，随着移动设备的发展，更多的深度模型开始在移动端部署，然而现有的深度学习方法大多模型庞大，参数较多，部署到移动端比较困难。第二，很多基于深度学习的暗光图像增强算法属于全监督学习的范式，即训练模型时须有大量成对的数据(即同一场景下的一张暗光图片和一张正常光照图片，且两张图片之间须在像素级一一对应)来拟合暗光到正常光照的映射函数。此类成对图像数据集的大规模采集和构建通常非常困难，现有若干公开数据集并不能很好地模拟真实的暗光环境，容易使得模型出现过拟合情况，进而造成模型的泛化能力不足。第三，一些基于深度学习的暗光增强方法也对图像的噪声进行去除，但是这些方法的去噪步骤通常忽略了噪声分布与光照分布的高度联系，因此也常出现将图像原本细节错误抹除的问题。综上，暗光图像处理方法中，更广泛场景对比度增强、针对性的去噪、模型轻量化、以及不依赖于成对数据集的的无监督学习都是需要暗光增强任务中亟需解决的问题。

因此，如何提供一种能够解决上述问题的暗光图像增强方法是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种轻量级无监督暗光图像增强方法及装置，构建了光照引导的去噪模型，在此模型下可以针对性地去除暗处的噪声而保留亮处的细节，从而使得最终的增强图像具有更好的增强效果。

为了实现上述目的，本发明采用如下技术方案：

一种轻量级无监督暗光图像增强方法，包括：

S1：建立无监督图像分解网络，所述图像分解网络用于将输入的原始暗光图像分解为光照图像和反射图像；

S2：建立无监督图像增强网络，所述图像增强网络用于增强所述光照图像的亮度以得到对应的增强光照图像，同时，根据所述增强光照图像得到对应的含噪声增强图像；

S3：建立无监督图像去噪网络，所述图像去噪网络用于对所述含噪增强图像去除噪声，输出增强图像。

优选的，所述步骤S1还包括：

步骤S11：采用L1损失最小化函数降低所述原始暗光图像与所述光照图像及所述反射图像的差距；

步骤S12：采用第一平滑损失函数保证所述光照图像线性平滑；

步骤S13：采用预训练VGG-19模型加强所述原始暗光图像与所述光照图像及所述反射图像的联系。

优选的，所述步骤S1中，所述无监督图像分解网络包括：光照图分支网络及反射图分支网络，所述光照图分支网络包括依次连接的第一卷积+LReLU层、第二卷积+LReLU层及第一卷积+Sigmoid层，所述反射图分支网络包括依次连接的五层第一U-Net结构、第三卷积+LReLU层、第二卷积+Sigmoid层，且所述第二卷积+LReLU层与所述第三卷积+LReLU层串联。

优选的，所述步骤S2还包括：

步骤S21：将所述步骤S1得到的所述光照图像采用光照矫正曲线对所述光照图像进行增强，得到第一光照图像，其中光照矫正曲线的表达式为：

LE(I(p),α)＝I(p)+αI(p)(1-I(p))

式中，LE(I(p),α)是I(p)的增强结果，α是用于训练的增强参数；

将α转换成像素级A_n的形式，具体为：

LE_n(p)＝LE_n-1(p)+A_nLE_n-1(p)(1-LE_n-1(p))

步骤S22：对所述第一光照图像采用曝光损失函数控制曝光水平，得到第二光照图像，其中曝光损失函数的表达式为：

式中，Y表示尺寸为16*16的不重叠局部块亮度强度的平均值，E为曝光级别；

步骤S23：对所述第二光照图像采用第二平滑损失函数进行平滑迭代，得到最终的增强光照图像，其中第二平滑损失函数的表达式为：

式中，L_TV表示平滑损失；

步骤S24：将所述增强光照图像与所述反射图像逐像素相乘得到含噪声增强图像。

优选的，所述步骤S2中，所述无监督图像增强网络包括依次连接的四层卷积+LReLU层、第一卷积+Tanh层，所述四层卷积+LReLU层依次两两串联。

优选的，所述步骤S3还包括：采用去噪损失函数对所述含噪声增强图像进行处理，输出增强图像。

优选的，所述步骤S3中，所述无监督图像去噪网络包括依次连接的五层第二U-Net结构。

进一步，本发明还提供一种无监督暗光图像增强装置，包括：

第一网络构建模块，所述第一网络构建模块用于构建所述无监督图像分解网络；

第一图像处理模块，所述第一图像处理模块用于利用所述无监督图像分解网络对原始暗光图像进行分解处理，得到对应的光照图像及反射图像；

第二网络构建模块，所述第二网络构建模块用于构建所述无监督图像增强网络；

第二图像处理模块，所述第二图像处理模块用于利用所述无监督图像增强网络对所述光照图像进行处理，以得到对应的增强光照图像，同时根据所述增强光照图像得到对应的含噪声增强图像；

第三网络构建模块，所述第三网络构建模块用于构建所述无监督图像去噪网络；

第三图像处理模块，所述第三图像处理模块用于利用所述无监督图像去噪网络用于对所述含噪增强图像去除噪声，输出增强图像。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种轻量级无监督暗光图像增强方法及装置，通过无监督的Retinex模型分解网络、无监督的光照增强网络、以及无监督去噪网络对暗光图像进行增强。本发明的模型总参数量仅有0.51M，相比较于现有方法，大大减少了参数量，更有利于部署在移动设备上；本发明在训练过程中不需要成对的数据集，仅需要暗光数据即可完成训练；本发明可以通过定义不同的曝光值来使得模型胜任不同的暗光环境，以实现更好的效果。尤其是本发明在去噪网络中构建了光照引导的去噪方法，在仅使用暗光数据集的情况下，自适应地去除暗处的噪声和保留亮处的细节，使得增强效果更好。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1附图为本发明提供的一种轻量级无监督暗光图像增强方法的整体流程图；

图2附图为本发明实施例1提供的一种轻量级无监督暗光图像增强方法的网络结构示意图；

图3附图为本发明提供的一种无监督暗光图像增强装置的结构原理框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

参见附图1-2所示，本发明实施例1公开了一种轻量级无监督暗光图像增强方法，包括：

S1：建立无监督图像分解网络，图像分解网络用于将输入的原始暗光图像分解为光照图像和反射图像；

其中该无监督图像分解网络可以采用Retinex模型进行分解，即输入的原始暗光图像S可表示成光照图I和反射图R逐像素乘积的形式，具体如式(1)所示：

S＝I⊙R (1)

S2：建立无监督图像增强网络，图像增强网络用于增强光照图像的亮度以得到对应的增强光照图像，同时，根据增强光照图像得到对应的含噪声增强图像；

S3：建立无监督图像去噪网络，图像去噪网络用于对含噪增强图像去除噪声，输出增强图像。

在一个具体的实施例中，步骤S1还包括：

假设初始光照图S_max如式(2)所示：

式中，c表示颜色通道，p表示初始光照图中的每一个像素。

此时本发明实施例1将原始暗光图像S与初始光照图S_max串联起来作为反射图分支的输入，将初始光照图S_max作为光照图分支的输入，接下来的处理过程包括：

步骤S11：反射图R和光照图I的分解需符合公式(1)的定义，因此采用L1损失最小化函数最小化分解结果与原图像之间差距，即降低原始暗光图像与光照图像及反射图像的差距，具体表达式如式(3)所示：

L_rec1＝||S-I⊙R||₁ (3)

步骤S12：在Retinex模型分解中，光照图I通常是分段线性平滑的，一方面这有助于减少过拟合提升网络的泛化能力，另一方面可以保证像素之间的关系，使得分解效果很好因此采用第一平滑损失函数保证光照图像线性平滑，第一损失函数的具体表达式如式(4)所示：

式中，λ_x＝λ_y＝1.5，▽_x、▽_y表示x、y方向的梯度算子，θ用于控制图像梯度的灵敏度且θ＝1.2,L＝log(gray(S))，gray(S)表示输入暗光图像的灰度图像，ε＝0.0001用于避免分母为0。

步骤S13：为了进一步加强光照图I和反射图R和与原始暗光图像S之间的关系，采用预训练VGG-19模型加强原始暗光图像与光照图像及反射图像的联系，该模型的具体表达式如式(5)所示：

式中，Ψ_i(S)表示VGG-19模型第i层卷积得到的特征映射，C_i、H_i、W_i表示特征映射的维度。

具体的，步骤S1还包括：

步骤S14：由于本发明拟采用无监督学习的范式来进行图像分解，光照图和反射图没有足够的监督信息，因此上述几个损失函数不能很好地完成Retinex模型分解任务。根据有雾图像的暗通道先验假设可知，暗通道先验是图像的固有属性，又因为去反的暗光图像类似于雾图，因此衍生出了暗光图像的亮通道先验假设。因此，本发明引入了亮通道先验损失函数来提升Retinex模型分解效果，根据暗通道先验假设，亮通道先验的表达式如式(6)所示：

式中，GF()表示表示Guided Filter，用于细化

S_max为引导图像，

为输入图像，

表示最大值滤波，Ω表示局部滤波块，r为滤波半径，ξ为正则化参数。在本发明中的上述参数取值可以为：

Ω＝3*3

r＝60

∈＝10^-7

因此，亮通道先验损失函数可以如式(7)所示：

综合上述四个损失函数项，步骤S1提供的无监督图像分解网络的总损失函数可以如式(8)所示：

L_decom＝L_rec1+L_VGG1+L_B+0.5L_S (8)。

在一个具体的实施例中，步骤S1中，无监督图像分解网络包括：光照图分支网络及反射图分支网络，光照图分支网络包括依次连接的第一卷积+LReLU层、第二卷积+LReLU层及第一卷积+Sigmoid层，反射图分支网络包括依次连接的五层第一U-Net结构、第三卷积+LReLU层、第二卷积+Sigmoid层，且第二卷积+LReLU层与第三卷积+LReLU层串联。采用网络结构训练后的模型参数约为0.227M，符合轻量级的设计要求。

在一个具体的实施例中，步骤S2还包括：

步骤S21：将步骤S1得到的光照图像采用光照矫正曲线对光照图像进行增强，得到第一光照图像，其中光照矫正曲线的表达式如式(9)所示：

LE(I(p),α)＝I(p)+αI(p)(1-I(p)) (9)

式中，LE(I(p),α)是I(p)的增强结果，α∈[-1,1]是用于训练的增强参数，p是每一个像素；

为了获得更好的增强效果，光照矫正曲线可以通过重复利用并写成高阶曲线的形式，如式(10)所示：

LE_n(p)＝LE_n-1(p)+α_nLE_n-1(p)(1-LE_n-1(p)) (10)

此时定义重复使用次数n为8，即重复使用增强曲线8次将α转换成像素级A(p)的形式，最终形成第一光照图像，具体式(11)所示：

LE_n(p)＝LE_n-1(p)+A_nLE_n-1(p)(1-LE_n-1(p)) (11)

步骤S22：对第一光照图像采用曝光损失函数控制曝光水平，得到第二光照图像，曝光的目的最小化增强图像局部区域的亮度强度的平均值与曝光级别之间的距离，其中曝光损失函数的表达式如式(12)所示：

式中，Y表示尺寸为16*16的不重叠局部块亮度强度的平均值，E为曝光级别；

步骤S23：对第二光照图像采用第二平滑损失函数进行平滑迭代，得到最终的增强光照图像，其中第二平滑损失函数的表达式如式(13)所示：

式中，L_TV表示平滑损失；

此时，无监督图像增强网络的总损失函数如式(14)所示：

L_illumination＝L_exp+40L_TV (14)。

步骤S24：将增强光照图像与反射图像逐像素相乘得到含噪声增强图像。

在一个具体的实施例中，步骤S2中，无监督图像增强网络包括依次连接的四层卷积+LReLU层、第一卷积+Tanh层，且四层卷积+LReLU层两两串联。该模型训练后的模型参数约为0.058M，符合轻量级的设计要求。

在一个具体的实施例中，步骤S3还包括：采用去噪损失函数对含噪声增强图像进行处理，输出增强图像。

具体的，设增强光照图像为I_e，那么初始含有含有噪声的增强结果可以表示为S'＝I_e⊙R，那么含有噪声的增强结果可以如式(15)所示：

S'＝S_clear+N (15)

式中，S′_clear表示真值图像，N表示噪声；

通过融合的方式将训练数据构造如式(16)所示：

S'_N＝(S'+N(m,σ))⊙(1-I)+S'⊙I＝S'+N(m,σ)⊙(1-I) (16)

式中，N(m,σ)为均值为m，标准差σ为的高斯噪声，本实施例1可以选取m＝0，σ＝0.05。

将S'_N作为输入图像输入到网络中，令输出的无噪图像为

在训练时，因为S'_N与初始的增强结果S'在原图像光线较好的部分是一致的，那么可以通过网络计算

与S'的损失，进而使得网络学会保持原图像光线较好的部分不变、而针对原图像的暗处进行去噪。在推理时，因为S'_N与S'有相同的噪声建模形式，因此训练好模型后，这里训练好的模型已经可以针对性的去噪，那么在推理时只需要将作为输入图像，模型就可以对S'上的噪声进行针对性去除并且保持亮处的细节不受去噪的平滑影响，具体过程如下：

首先获取无噪图像

与S'的L1损失，具体表达式如式(17)所示：

其次，仅用式(17)L1损失不能够很好的恢复细节，继续采用预训练VGG-19网络来进一步减小与之间的距离以促进内容和细节的恢复，进而提升图像的恢复质量和网络的去噪效果，具体表达式如式(18)所示：

故无监督图像去噪网络的总损失函数如式(19)所示：

L_denoising＝L_rec2+L_VGG2 (19)

将上述的三大模块构建的模型通过非成对数据集训练后，可以得到训练好的模型用于推理测试。

在一个具体的实施例中，步骤S3中，无监督图像去噪网络包括依次连接的五层第二U-Net结构；该模型训练后的模型参数约为0.227M，符合轻量级的设计要求。

具体的，本实施例1涉及的卷积+LReLU层、卷积+Tanh层、卷积+LReLU层、卷积+Tanh层及卷积+Sigmoid层均为现有网络结构。

实施例2

参见附图3所示，本发明实施例2提供一种无监督暗光图像增强装置，包括：

第一网络构建模块1，第一网络构建模块1用于构建无监督图像分解网络；

第一图像处理模块2，第一图像处理模块2用于利用无监督图像分解网络对原始暗光图像进行分解处理，得到对应的光照图像及反射图像；

第二网络构建模块3，第二网络构建模块3用于构建无监督图像增强网络；

第二图像处理模块4，第二图像处理模块4用于利用无监督图像增强网络对光照图像进行处理，以得到对应的增强光照图像，同时根据增强光照图像得到对应的含噪声增强图像；

第三网络构建模块5，第三网络构建模块5用于构建无监督图像去噪网络；

第三图像处理模块6，第三图像处理模块6用于利用无监督图像去噪网络用于对含噪增强图像去除噪声，输出增强图像。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种轻量级无监督暗光图像增强方法，其特征在于，包括：

S1：建立无监督图像分解网络，所述图像分解网络用于将输入的原始暗光图像分解为光照图像和反射图像；

S2：建立无监督图像增强网络，所述图像增强网络用于增强所述光照图像的亮度以得到对应的增强光照图像，同时，根据所述增强光照图像得到对应的含噪声增强图像；

S3：建立无监督图像去噪网络，所述图像去噪网络用于对所述含噪增强图像去除噪声，输出增强图像。

2.根据权利要求1所述的一种轻量级无监督暗光图像增强方法，其特征在于，所述步骤S1还包括：

步骤S11：采用L1损失最小化函数降低所述原始暗光图像与所述光照图像及所述反射图像的差距；

步骤S12：采用第一平滑损失函数保证所述光照图像线性平滑；

步骤S13：采用预训练VGG-19模型加强所述原始暗光图像与所述光照图像及所述反射图像的联系。

3.根据权利要求2所述的一种轻量级无监督暗光图像增强方法，其特征在于，所述步骤S1中，所述无监督图像分解网络包括：光照图分支网络及反射图分支网络，所述光照图分支网络包括依次连接的第一卷积+LReLU层、第二卷积+LReLU层及第一卷积+Sigmoid层，所述反射图分支网络包括依次连接的五层第一U-Net结构、第三卷积+LReLU层、第二卷积+Sigmoid层，且所述第二卷积+LReLU层与所述第三卷积+LReLU层串联。

4.根据权利要求1所述的一种轻量级无监督暗光图像增强方法，其特征在于，所述步骤S2还包括：

步骤S21：将所述步骤S1得到的所述光照图像采用光照矫正曲线对所述光照图像进行增强，得到第一光照图像，其中光照矫正曲线的表达式为：

LE(I(p),α)＝I(p)+αI(p)(1-I(p))

式中，LE(I(p),α)是I(p)的增强结果，α是用于训练的增强参数，p是每一个像素；

将α转换成像素级A_n的形式，具体为：

LE_n(p)＝LE_n-1(p)+A_nLE_n-1(p)(1-LE_n-1(p))

步骤S22：对所述第一光照图像采用曝光损失函数控制曝光水平，得到第二光照图像，其中曝光损失函数的表达式为：

式中，Y表示尺寸为16*16的不重叠局部块亮度强度的平均值，E为曝光级别；

步骤S23：对所述第二光照图像采用第二平滑损失函数进行平滑迭代，得到最终的增强光照图像，其中第二平滑损失函数的表达式为：

式中，L_TV表示平滑损失；

步骤S24：将所述增强光照图像与所述反射图像逐像素相乘得到含噪声增强图像。

5.根据权利要求4所述的一种轻量级无监督暗光图像增强方法，其特征在于，所述步骤S2中，所述无监督图像增强网络包括依次连接的四层卷积+LReLU层、第一卷积+Tanh层，所述四层卷积+LReLU层两两进行串联。

6.根据权利要求1所述的一种轻量级无监督暗光图像增强方法，其特征在于，所述步骤S3还包括：采用去噪损失函数对所述含噪声增强图像进行处理，输出增强图像。

7.根据权利要求6所述的一种轻量级无监督暗光图像增强方法，其特征在于，所述步骤S3中，所述无监督图像去噪网络包括依次连接的五层第二U-Net结构。

8.一种无监督暗光图像增强装置，其特征在于，包括：

第一网络构建模块(1)，所述第一网络构建模块(1)用于构建所述无监督图像分解网络；

第一图像处理模块(2)，所述第一图像处理模块(2)用于利用所述无监督图像分解网络对原始暗光图像进行分解处理，得到对应的光照图像及反射图像；

第二网络构建模块(3)，所述第二网络构建模块(3)用于构建所述无监督图像增强网络；

第二图像处理模块(4)，所述第二图像处理模块(4)用于利用所述无监督图像增强网络对所述光照图像进行处理，以得到对应的增强光照图像，同时根据所述增强光照图像得到对应的含噪声增强图像；

第三网络构建模块(5)，所述第三网络构建模块(5)用于构建所述无监督图像去噪网络；

第三图像处理模块(6)，所述第三图像处理模块(6)用于利用所述无监督图像去噪网络用于对所述含噪增强图像去除噪声，输出增强图像。

Images