CN111932471A - 用于低照度图像增强的双路曝光度融合网络模型及方法 - Google Patents

用于低照度图像增强的双路曝光度融合网络模型及方法 Download PDF

Info

Publication number
CN111932471A
CN111932471A CN202010724379.6A CN202010724379A CN111932471A CN 111932471 A CN111932471 A CN 111932471A CN 202010724379 A CN202010724379 A CN 202010724379A CN 111932471 A CN111932471 A CN 111932471A
Authority
CN
China
Prior art keywords
enhancement
image
low
enhanced
illumination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010724379.6A
Other languages
English (en)
Other versions
CN111932471B (zh
Inventor
卢锟
张丽红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanxi University
Original Assignee
Shanxi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanxi University filed Critical Shanxi University
Priority to CN202010724379.6A priority Critical patent/CN111932471B/zh
Publication of CN111932471A publication Critical patent/CN111932471A/zh
Application granted granted Critical
Publication of CN111932471B publication Critical patent/CN111932471B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种用于低照度图像增强的双路曝光度融合网络模型及方法，该网络模型包括第一增强支路、第二增强支路和融合模块；其中，第一增强支路和第二增强支路用于分别对待增强的低照度图像使用预设的不同增强策略进行处理；融合模块包括注意力单元和细调单元，用于将第一增强支路和第二增强支路得到的增强结果加权融合，得到增强图像。此外，本发明还提供了一种分为两步的去噪策略，以对增强过程中的噪声进行高效的自适应抑制。本发明提出的模型具有明确的物理解释，是轻量而有效的。该网络模型可用于在各种弱光环境，尤其是考虑到成像环境的变化和对处理实时性要求较高时的低照增强任务。

Description

用于低照度图像增强的双路曝光度融合网络模型及方法
技术领域
本发明涉及低照度图像增强技术领域，特别涉及一种用于低照度图像增强的双路曝光度融合网络模型及方法。
背景技术
相较于光线充足的成像条件，弱光拍摄得到的图像往往会伴随着较暗的区域，难以预知的噪声以及模糊的细节特征，具有较低的对比度和动态范围。弱光拍摄通常发生在环境相对较暗时(例如，在夜间或亮度受限的情况下)，或者可能是由于摄影者未能正确地调整成像设备(例如，不合适的感光度、光圈大小或曝光时间设定)。由于弱光图像的增强在诸如夜间成像，监控和安防设备、无人驾驶技术等低级或高级语义的图像处理任务中都具有重要意义，因此，如何对于低照度图像进行有效的增强在近几年吸引了许多研究人员的注意，并成为了一个研究热点。但弱光条件下拍摄的图像通常会伴随有多样且难以预测的图像质量退化。成像环境的不确定性使低照度图像的增强任务更具挑战性。
根据输入的多曝光图像数量，增强算法可以分为多重曝光融合策略和单幅图像的对比度增强。前一类别的方法通常对输入图像的质量退化有较好的鲁棒性，但需要用户提供大量的多重曝光样本作为输入，并且多幅图像的处理使得该类方法需要付出较高的计算代价。由于现实世界中的图像通常仅仅在给定位置进行一次拍摄(如手机用户)，成像环境的不确定性以及单张输入图像信息的不足使得增强任务更加困难，但也更具有实际研究价值。
为了增加低照度图像的对比度和动态范围，早期的增强方法尝试使用非线性映射策略，在像素级别对于单个像素的值进行重新分配。其中一种最常用的方法是直方图均匀化。由于该方法和其他变体基于的均衡直方图假设在现实场景下很难得到满足，因此，该种方法的效果往往受到很多限制，也有一些缺陷。另一种常用方法是伽马矫正，该方法旨在通过利用对数函数的压缩特性，将单个像素进行对数运算后，得到图像扩宽的动态范围。但是，这种方法不可避免地忽略了图像通道内部像素的相邻性，以及不同通道之间像素的相关性，从而导致了伴随而来的图像伪影和噪声放大问题。
更为先进的方法大多基于一些物理的先验。其中，最为广泛应用的是Retinex理论。该理论认为图像可以分解为其照明分量L和反射分量R。遵循早期的Retinex增强方法，本领域技术人员已经提出了很多其他的改进策略。现有的增强方法虽然提供了直观的解决方案，但算法的参数选择和优化过程要求用户拥有大量知识和经验。此外，面对极暗的区域时，直接将这些方法应用于各种场景通常无法达到理想的效果，亦或导致图像的过度增强。由于这些方法很少考虑到低照环境下专用的降噪算法，增强后的图像中依然可以观察到较为明显的噪声。
近年来，基于卷积神经网络(Convolutional Neural Network,CNN)和基于生成对抗网络(Generative Adversarial Network，GAN)的方法显示出了较好的结果和巨大开发潜能。尽管神经网络的设计和训练一直吸引着研究人员的注意，但现有的框架仍有很大的改进空间。例如，训练于特定数据集上的方法很可能会在某一范围的亮度和场景中有所偏好，因此会受到泛化能力的限制。尽管GAN可使用未匹配的数据集进行训练，但它们有时会生成一些不合适的色彩，使得增强结果不自然或过饱和。此外，直接进行图像到图像的转变比结合物理先验的增强策略实现起来相对困难，尤其是当弱光条件下的噪声也被考虑进来时。
发明内容
本发明提供了一种用于低照度图像增强的双路曝光度融合网络模型及方法，以至少部分解决上述现有的低照度图像增强方法所存在的技术问题。
为解决上述技术问题，本发明提供了如下技术方案：
一方面，本发明提供了一种用于低照度图像增强的双路曝光度融合网络模型，其包括第一增强支路、第二增强支路和融合模块；其中，
所述第一增强支路和所述第二增强支路用于分别对待增强的低照度图像使用预设的不同增强策略进行处理，得到对应低照度图像的增强结果；
所述融合模块包括注意力单元和细调单元，所述注意力单元用于将所述第一增强支路和第二增强支路得到的增强结果加权融合；所述细调单元用于对加权后的图像进行去噪处理，得到低照度图像对应的增强图像。
进一步地，所述第一增强支路包括增强模块，所述第一增强支路通过所述增强模块对待增强图像进行增强；所述第二增强支路包括预处理模块和增强模块，所述第二增强支路首先通过所述预处理模块对待增强图像进行降噪处理，然后通过所述增强模块对降噪处理后的图像进行图像增强处理。
进一步地，所述增强模块利用下式对待增强图像进行增强：
Figure BDA0002601143600000031
其中，
Figure BDA0002601143600000032
表示增强后的图像，
Figure BDA0002601143600000033
表示输入的待增强图像，
Figure BDA0002601143600000034
代表逐元素的点乘，
Figure BDA0002601143600000035
表示对不同照度水平之间的转移函数的估计；
Figure BDA0002601143600000036
的表达式为：
Figure BDA0002601143600000037
其中，L表示增强后的图像的照明分量，L′表示待增强图像的照明分量，“＾”表示估计值。
进一步地，所述增强模块采用单层的轻量级模型；
所述增强模块首先使用四个卷积层以产生用于帮助网络学习的辅助特征，然后将辅助特征与待增强图像进行通道维度上的拼接。
进一步地，所述预处理模块引入了五个卷积层；其中，每层的特征图都与所有前层输出的特征图相加；除最后一层之外，所述预处理模块不使用任何激活函数，在最后一层，使用预设的激活函数将输入特征约束到[0,1]之间。
进一步地，当输入图像的曝光值不小于预设曝光值时，所述注意力单元为所述第一增强支路所得的增强图像分配更大权重；当输入图像的曝光值小于预设曝光值时，所述注意力单元为所述第二增强支路所得的增强图像分配更大权重。进一步地，所述双路曝光度融合网络模型的损失函数
Figure BDA0002601143600000038
表示为：
Figure BDA0002601143600000039
其中，
Figure BDA00026011436000000310
表示预定义的SSIM损失函数计算结果，
Figure BDA00026011436000000311
表示预定义的VGG损失函数计算结果，
Figure BDA00026011436000000312
表示全变分损失函数计算结果，λvl和λsl分别表示预设权重。
进一步地，所述双路曝光度融合网络模型的训练过程包括：
第一阶段，将增强模块训练至收敛，得到所述第一增强支路；
第二阶段，使用第一阶段得到的参数初始化所述第二增强支路中的增强模块，并将该部分参数冻结以单独训练所述预处理模块，此后将所述第二增强支路中的增强模块和预处理模块进行联合训练，得到所述第二增强支路；
第三阶段，基于冻结部分参数和联合训练的方式，将融合模块训练至收敛；
其中，在训练所述第一增强支路和所述第二增强支路时，λvl的值设置为0，λsl的值设置为0.01；在训练所述融合模块时，λvl设置为0.1，λsl设置为0.01。
另一方面，本发明还提供了一种用于低照度图像增强的双路曝光度融合方法，所述双路曝光度融合方法包括以下步骤：
对待增强的低照度图像使用预设的不同增强策略进行处理，以得到待增强的低照度图像所对应的双路增强结果；
将采用不同增强策略得到的待增强的低照度图像所对应的双路增强结果进行加权融合，以得到待增强的低照度图像所对应的增强图像；
对加权融合得到的图像进行去噪处理及细节优化，得到优化的图像。
再一方面，本发明还提供了一种电子设备，其包括处理器和存储器；其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。
又一方面，本发明还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。
本发明提供的技术方案带来的有益效果至少包括：
1、本发明为有关Retinex理论的争议提供了可能的解释，并论述了保留图像照度分量的必要性。此外，本发明将Retinex理论扩展到考虑到噪声的情况，并提出了一种具有良好噪声抑制能力的自适应解决方案；
2、本发明提出了一种双路曝光度融合网络模型，可为不同光照条件和场景下拍摄的图像提供高度自适应的广域增强；
3、本发明使用结构相似度(Structural Similarity，SSIM)损失来补偿L1和L2损失对于图像结构的欠敏感性；预训练的VGG网络生成的特征图的距离是对抗数据集缺陷并帮助区分图像特征的补充指标；
4、本发明特别考虑到了低照环境下伴随的噪声，这使得本发明所提出的方案更加鲁棒并且更适合于未知照度和广域照度下的盲增强任务。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为各种低照度图像增强方法之间的关系示意图；
图2为本发明第一实施例提供的用于低照度图像增强的双路曝光度融合网络模型的系统框图；
图3为本发明第一实施例提供的用于低照度图像增强的双路曝光度融合网络模型的具体网络结构示意图；
图4为本发明第二实施例提供的用于低照度图像增强的双路曝光度融合方法的流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
第一实施例
为了解决现有方法中存在的问题，本实施例提出了一种基于卷积神经网络的用于低照度图像增强的双路曝光度融合结构模型。该网络模型的灵感来自于对于人类创作过程的模仿，也即好的作品可以从多次的尝试(生成)中获得经验性的指导(融合)。本实施例认为低照度图像的增强也可以采用这种生成和融合的策略。由于亮度是成像过程中最主要最容易发生变化的因素之一，本实施例的增强策略定位在如何对于各种未知照度的图像开展所期望的增强。
为此，在图像的生成阶段，本实施例所提方法使用了两分支的结构，分别对极低和较低照度这两种情况使用不同的增强策略进行处理，得到可能的增强尝试；考虑到不同照度环境的特殊性，本实施例进一步引入了预处理模块以增强极低照度下网络噪声的处理能力。在两路分支的融合阶段，将前面两路分支得到的增强结果作为“候选竞争者”送入融合模块并得到最终的处理结果。
下面对本实施例方案的研究过程进行详细的阐述。
一、基于Retinex理论的图像重构
图像分解是图像低级语义处理领域中一种直观而有效的方法。通常，当任务需要特别关注图像的某些属性或组成部分，并且可以进一步利用它们来实现特定功能时，会用到这一方法。例如在除雾、去噪和超分辨率重建等场景下，图像的分解都取得了良好的效果。在本发明所关注的研究领域内，Retinex理论是最具代表性，也被广泛使用的方法。该理论将图像分解为其照明分量L和反射分量R，如式(1)：
Figure BDA0002601143600000066
其中，
Figure BDA0002601143600000067
代表逐元素的点乘。通常，照度分量L被认为是分段平滑的，由图像的结构决定；而反射分量R是分段常数，代表了物体的反射属性。
下面，本实施例使用I′表示观察到的低照图像，I代表预期的无退化正常照度图像。对于L′表示I′的照明分量，L表示I的照明分量。
在Retinex理论下，观察到的低照图像I′和预期图像I可做如式(2)的分解：
Figure BDA0002601143600000061
如式2所示，早期的增强方案认为，一旦估计出照明分量L′，反射分量R即可充当最后增强的结果，它可用一个简单的除法算出，也即R＝I′/L′。基于此，许多研究对于如何找到照明分量L′的精确估计进行了长期的探索。例如，在单尺度Retinex方法(Single ScaleRetinex，SSR)和带颜色恢复的多尺度Retinex方法(Multi Scale Retinex with ColorRestoration，MSRCR)的早期尝试中，照明分量的平滑估计由一个或多个高斯滤波器生成，其运算的本质为相邻像素的加权平均。但是这些方法处理后的结果通常看起来不自然或有过分增强的倾向。随后的许多研究人员发现，照度分量本身仍然是人类感知系统中的重要因素，因此将反射分量R视为最终结果是不合适的。
除了去除照度分量以外，许多其他基于Retinex的方法都使用分解的反射分量和重构的照度
Figure BDA0002601143600000062
来生成最终的增强图像，也即
Figure BDA0002601143600000063
其中
Figure BDA0002601143600000064
表示估计值，Ψ(·)表示照度的重构函数。这样的重构方式给图像的增强过程添加了更为严格的约束，同时也带来了相对较大的计算量。
二、Retinex方法研究
尽管基于Retinex的方法可以带来令人鼓舞的结果，但是在反射是否可以用作期望的结果方面仍然存在一些分歧。
假设已经从弱光图像I′中分解了反射分量R。则可以使用反证法表明，在重建过程中也应同时考虑照明分量。
假设反射分量R，作为代表物体反射的本质属性，确实可以表示最终的增强图像I。再次将此“图像”分解为其反射和照明分量，如式(3)所示：
Figure BDA0002601143600000065
从式(3)可轻易地看出，此时的照明分量将成为全为1的矩阵。但是，该结论与照度分量部分取决于物体的结构这一先验相矛盾，因此其照度分量应取与像素大小有关的数值，但不为一常数矩阵。需要强调的是，将L视为全为1的矩阵在现实情况下很难得到满足，因此仅仅保留R的方法很难产生较好的结果。
下面讨论为什么在引入基于Retinex理论的照度平滑约束时，深度学习方法会取得令人满意的结果。使用式(2)，理想图像
Figure BDA0002601143600000071
的重建公式如式(4)所示：
Figure BDA0002601143600000072
恢复照度良好图像的一种方法是使用显式的分解重建策略，如许多经典方法所做的那样，首先计算出分解的反射分量，再将其乘以重建的照度。作为一种替代方法，当直接估算传递函数L/L'时，实际上估算了这两个照明水平之间的传递函数。根据Retinex理论，L和L'都是分段光滑的，从这个角度出发，可以证明传递函数L/L'也是分段光滑的。如此，可以发现应用于原始Retinex分解的平滑度约束也可以在传递函数上采用，而无需任何额外的计算开销。本实施例使用以下等式来表达上述方法之间的关系。
Figure BDA0002601143600000073
其中，
Figure BDA0002601143600000074
代表了基于经典Retinex理论的分解-重构方法，而
Figure BDA0002601143600000075
代表了基于传递函数估计的增强方法。
本实施例在图1中总结了各种增强方法之间的关系，其中，(a)表示单纯的深度学习方法，(b)表示基于Retinex理论的学习方法，(c)-(d)表示基于Retinex的经典方法(分别为分解和重构)。通过引入审美域和物理域，本实施例表明：
1)照明分量是形成令人满意图像的重要部分，因此增强必须从审美域开始和结束；L＝1的情况在审美域上一般不成立；
2)基于Retinex理论(基于Retinex的经典方法)的显式分解实际上是具有完备物理解释的先验策略；
3)估计传递函数同样为基于数据的学习方法提供了Retinex理论的先验。
在本实施例中，考虑到分解-重建过程不仅拥有着较大的计算量，而且本身也是一项较为困难的任务，其分解结果很大程度上取决于不同算法的实现细节，本实施例估计了传递函数而不是执行显式的分解步骤。由于估计传递函数不会增加额外的计算成本，因此本实施例采用了这种方法。
下面，对传递函数L/L'也是分段光滑的证明过程进行说明：
分段光滑的定义：
给定两个变量的函数f(x,y)，我们使用fx (k)表示x方向上的k阶偏导数。如果f(x,y)可以分解为不同的区域{V1，V2，V3，...}并且在每个区域上其k阶偏导数是连续的，如式(6)所示：
Figure BDA0002601143600000081
其中，k∈{0，1，2，...}，(x0，y0)是该区域中的一个点，我们说此函数是分段光滑的。
L/L'光滑性质的证明：
考虑两个变量f1(x,y)和f2(x,y)的两个分段光滑函数。本实施例证明当f2(x,y)不等于零时，g(x,y)＝f1(x,y)/f2(x,y)也是分段光滑的。假设f1(x,y)和f2(x,y)在定义域中均具有有限数量的平滑子区域，尽管被这两个函数划分的分段光滑区域可能不相同，但g(x,y)必然拥有有限个互不重叠的子区域。对于这些子区域中的任何非边界点(x0,y0)，计算g(x,y)在x方向上的一阶偏导数，如式(7)所示：
Figure BDA0002601143600000082
由于当f1(x,y)和f2(x,y)分段光滑时式(6)成立，我们知道在每个子区域中
Figure BDA0002601143600000083
也成立。这同样适用于方向y。于是，函数g(x)在此子区域中具有一阶连续偏导数。
同样，对于任何k∈{0，1，2，...}，以下等式成立：
Figure BDA0002601143600000084
因此，g(x,y)＝f1(x,y)/f2(x,y)在任何子区域中都有k阶连续偏导数。它是分段光滑的。特别地，当f2(x,y)等于零时(即，某些区域的亮度L′为零)，考虑到
Figure BDA0002601143600000085
所有的图像细节都将被淹没在黑暗中，无法从观察到的弱光图像中获得任何有用的信息。请注意，这种情况在实际中较为少见，并且本身也是一个不适定问题，此时的增强结果将取决于各个算法的偏好。
三、双路融合网络
在上述讨论中，观察到的低照图像I′没有考虑到噪声的影响。但是实际上低照图像往往伴随着大量的噪声，这种与实际情况的差异是导致许多现有方法无法产生预期效果的主要原因之一。而现有的降噪技术直接在弱光场景下使用时仍缺乏一定的适应性和针对性。
使用含降噪步骤的单个分支所带来的另一个问题是，这种结构往往难以提供广谱的低照增强效果。在实验中发现，尽管在理论上，良好的自适应降噪步骤可以应用于任意噪声和低照水平，但实际中这样的结果很难得到保证。为解决这一问题，如图2所示，本实施例引入了两个增强分支来分别处理轻微和严重退化的图像，并采用从数据中学习的自适应融合策略来进一步处理盲增强问题。两个增强分支如图3所示。由于噪声E通常被认为是加性的，可得到下列公式:
Figure BDA0002601143600000091
第二行的公式表明，适当的预去噪将有助于消除低噪图像中包含的噪声。但实际上，对低照噪声的建模本身并不容易；一些文献采取了一种折中的措施，将去噪任务作为低照图像增强之后的一个独立环节，但这也同时加大了增强任务的难度，并使整个过程更缺乏解释性。此外，配对的图像数据集和理论先验的缺乏使得设计适用于弱光条件的去噪方案更加困难。为了更好的解决上述矛盾，本实施例提出了一种分为两阶段的降噪方案。利用整体损失函数的监督，该方案在低照图像的输入和输出端都进行了自适应的噪声抑制。通过将极具挑战性的去噪任务分解成两项要求较低的子任务，提出的网络不仅更易于训练，而且与其他最新方法相比，达到了极具竞争性的降噪效果。
在构造这两个分支之后，本实施例使用了一种自适应的融合策略以得到最后的结果。首先采用了简单的加权平均策略对两个分支的增强结果开展了粗略的融合，在这种方案下，网络将自适应地为极低照度条件下拍摄的图像分配更大的增强水平；而对于略有退化的图像分配较低的增强水平。在第二阶段中，经过注意力图合并后的图像将被继续修剪以提高图像的细节特征。
本实施例在图3中展示了所提出模型的整体结构。
其中，图3中的上半部分的分支可以称为-1E分支，因为这一分支对数据集中曝光水平为-1E的图像显示出更好的增强效果，同理另一分支被称为-2E分支。尽管将估计的转移函数与输入图像相乘的操作不会改变卷积的本质(即加法和乘法)，但实验显示，它确是帮助模型根据Retinex理论开展增强的重要引导。作为对比，当去掉这一相乘操作，也即训练一个全卷积网络时，模型将更倾向于-2E图像的增强。这可能与1)数据集大部分由极低照度图像构成，以及2)弱监督的网络会针对低照输入自动生成相应的降噪方案有关。值得注意的是，这两个分支都可能对某一照明水平显示出特定的偏好。-1E分支通常提供有关细节和高亮区域的更多信息，而-2E分支则较好地处理了伴随而来的大量噪声。
四、网络结构
1、增强模块
本实施例使用增强模块来估计如式(4)所示的不同照度水平之间的转移函数(也就是
Figure BDA0002601143600000101
)。该增强模块构成了上述网络模型的-1E支路，以及-2E支路的主体部分。增强后的图像可以表示为:
Figure BDA0002601143600000102
其中，branch包含于集合{-1E，-2E}；Iin和Iout分别表示输入和增强后的图像。
直观地说，增强模块应具备足够的学习和映射能力，同时需要保留原始图像的细节和整体风格。正如许多研究人员所观察到的，U-net结构已在许多图像到图像的转换任务中显示出了出色的性能。编码-解码器结构和跳跃式的连接使该框架能够学习不同照度水平的多尺度特征和它们多样的转移函数。本实施例采用了一种单层的轻量级模型，并将其特征图的通道从16逐渐增加到128，因为更大的参数设置没有带来显著的性能提升。此外，在将图像输入到增强模块之前，本实施例首先使用了四个卷积层以产生用于帮助网络学习的辅助特征，然后将其与输入的低照度图像进行了通道维度上的拼接。
2、预处理模块
在-2E分支中，本实施例训练该预处理模块以使之学习轻微低照图像与严重低照图像之间的差异，其中主要的退化因素为自然噪声。本实施例将其命名为预处理模块，因为严格来说，它还可以提供其他一些细微变化，而不仅仅是降噪。在本实施例中，共引入了五个卷积层，其内核大小均为3×3，其中，每层的特征图都与所有前层输出的特征图相加。这种结构与现有技术提出的密集块非常相似，但由于本实施例使用加法代替卷积，仅仅需要较少的参数和时间消耗。值得注意的是，除了最后一层之外，该模块不使用任何激活函数。我们在最后一层使用修改后的ReLU函数将输入特征约束到[0,1]之间。
Out(x)＝ReLU(x)-ReLU(x-1) (11)
本实施例将噪声范围设置为(-∞,+∞)，以模拟弱光情况下复杂的噪声模式。
3、融合模块
在此融合模块中，两路分支网络增强的结果首先输入到注意力单元中，经注意模板加权后得到简单融合后的图像；再经过细调单元生成最终的增强结果。后去噪步骤在细调单元中完成。
在注意力单元中，本实施例使用类似的四层卷积在-1E支路的增强图像上生成注意力图
Figure BDA0002601143600000111
以及用于-2E支路的互补分量1-S，其中S(x,y)∈[0,1]。通过调整权重模板，该机制可以学习到合适的自适应融合策略。在本实施例中，R，G和B通道具有相同的权重(由注意力图给出)。注意力单元的输出Iatten由下式给出:
Figure BDA0002601143600000112
尽管上述融合方法很直观，但其主要缺点在于，来自-1E和-2E分支的增强图像互相独立，因此在融合过程中，两条支路中的某些关键特征可能会丢失。同样地，使用这样的融合策略可能会放大图像的噪声。为进一步解决该问题，本实施例将融合后的图像Iatten与其低照度输入图像一同输入到细调单元中
Figure BDA0002601143600000113
开展去噪和细节优化工作。最后，增强后的图像可以表示为:
Figure BDA0002601143600000114
同样，本实施例将这一单元命名为细调单元，而不是后去噪单元，因为此步骤可能还会提供其他一些细微变化。另外请注意，此处的细调单元不是必需的，而是用于微调前一步得到的结果，使增强的图像更加真实。在本实施例的实验中，发现仅使用注意力单元也足以产生令人满意的结果。因此，本实施例将仅含有注意力单元的模型称为TBEFN-A(TBEFN-Attention)，将具有细调单元的整个模型称为TBEFN。若未加特殊说明，在本实施例中将TBEFN用作默认模型。
4、损失函数
1)SSIM损失
在实施例的实验中，发现L1和L2损失在直接用作损失函数时都无法获得较好的结果。由于弱光图像的退化受与其结构相关的多种因素(如不同的物体、区域照明条件和噪声模式等)的影响，图像中的物体通常会遭受不同程度的失真，这也意味着图像结构的差异也应被纳入损失函数中。尽管L1和L2损失得到了广泛的运用，在所有像素的上的全局平均运算使这些指标变得对于图像不同的结构特征并不敏感，易于在物体边缘和细节周围引起伪影和光晕。由于SSIM同时评估了亮度，对比度和结构差异，因此其与L1和L2损失相比，更适合用作损失函数，因此，本实施例使用SSIM损失函数用作主体的损失函数，即：
Figure BDA0002601143600000121
2)VGG损失
本实施例将VGG损失用作损失函数的补充项。一方面，尽管像素级的距离为训练提供了有力的指导，它忽略了某些无法通过像素距离测量的属性。例如，当像素A(x,y,z)和B(x0,y0,z0)受像素级距离限制时，A将取得误差半径内的任何像素值，而这种限制实际上将会容忍色调和饱和度的可能变化。另一方面，本实施例发现Cai等人中的训练样本和参考的正常照度图像并不完全匹配。由于该数据集上的参考图像是通过几种现有的增强方法的组合得到，而非实际拍摄所得，仅仅靠像素级损失函数无法较好地描述生成图像的质量。为了处理这一问题，本实施例借用了图像超分辨率、图像去雨等场合下用到的预训练VGG网络来计算网络输出与参考的理想图像间的感知得分，如式15所示。
Figure BDA0002601143600000122
其中，W，H和C分别表示图像的三个维度。本实施例使用均方误差来测量这些特征之间的距离。
3)平滑损失
本实施例已经证明，传递函数L/L′也是分段光滑的矩阵，因此也可以使用全变分损失来刻画照度分量分段平滑的特性。
Figure BDA0002601143600000123
其中，
Figure BDA0002601143600000124
表示在x和y方向上的逐像素差分。
最终的损失函数可以表示为:
Figure BDA0002601143600000125
五、模型训练
模型的训练分为三个阶段，本实施例将λvl在-1E和-2E分支训练期间设置为0，而在最后的融合网络训练阶段将其设置为0.1；λsl则全程设置为常数0.01。本实施例首先将增强模块训练至收敛，该增强模块单独构成图3中所示的-1E分支。在第二阶段，本实施例用之前得到的参数初始化-2E支路中的增强模块，并将该部分参数冻结以单独训练预处理模块，此后本实施例将-2E支路的两个模块进行联合训练。在两条支路的训练期间，本实施例对Cai等人数据集中-1E和-2E图像在每个迭代周期进行评估，并取其中得分最高的迭代周期所得参数作为各支路最后的模型参数。在第三阶段，本实施例对融合模块开展了与-2E分支相似的训练方法(即冻结部分参数和联合训练)，唯一的区别是此处添加了VGG损失以改善模型最后的输出结果。本实施例所有的实验均在Tensorflow中使用Xavier初始化和Adam优化器进行，训练批量大小为16。除联合训练阶段模型的学习率为1e-5外，其余的学习率均设置为1e-4。
六、实验
1、训练数据
本实施例采用Cai等人提出的数据集。该数据集为589个场景提供了具有不同曝光水平的图像序列以及通过最新算法合成的相应参考图像。由于此数据集包含相对较少的室内场景，本实施例使用了LOL数据集用作补充。并且本实施例剔除了Cai等人测试集中内容高度相似(如同一场景的不同角度)的图像。将Cai等人数据集中的图像缩放到原始大小的五分之一，以减轻样本和真值间轻微的对齐误差，并为每个场景中曝光不足图像随机裁剪10个256×256的训练样本。对于LOL数据集中的图像，本实施例为每个图像裁剪出3个同样大小的样本。最终本实施例所有实验采用的数据集均由Cai数据集中的14,531个样本和LOL数据集中的1,449个样本构成。
2、测试数据测试和评估准则
本实施例使用来自Cai等人和LOL数据集中含有真值参考的配对图像进行定量评估。来自DICM，Fusion，LIME，MEF，NPE和VV数据集的无参考低照图像被用来进行主观的视觉评估。这些测试图像直接从现有文献提供的测试集中下载得到。其中值得注意的是，该测试集未对某些照度较为良好的图像进行评估。同样地，本实施例将Cai数据集中的图像缩放到原始大小的五分之一。
遵循前人的研究工作，本实施例使用PSNR和SSIM来测量增强图像与其真值参考图像之间的距离。对于所有测试图像，本实施例都采用了最常用的非参考度量指标:图像质量评价(Naturalness Image Quality Evaluator，NIQE)。
3、定量结果分析
为了与其他方法进行比较，本实施例选择了八个最具代表性的前沿方法，包括基于Retinex的经典方法：LIME和Li，基于先验的方法：BIMEF和Ying，基于Retinex理论的深度学习方法：RetinexNet和Cai，以及完全的深度学习方法：GLADNet和EnlightenGAN。实验中，所有代码由原作者提供，并使用默认的推荐参数。
4、Cai数据集
由于Cai数据集包含了在不同的曝光度水平下拍摄所得的图像，本实施例对最常见的-1E和-2E两种弱光图像均进行了评估。本实施例方法展示出对于颜色和结构细节最佳的恢复能力；相比之下，GLADNet，BIMEF和EnlightenGAN对暗区的增强并不敏感，而Cai，LIME，Li和RetinexNet在某种程度上容易引起过度的增强和颜色失真。尽管Ying的方法取得了相对令人满意的结果，它不能很好地处理增强过程中大量的噪声。类似地，在较暗的情况下(-2E)，本实施例方法仍然拥有足够的增强能力来处恢复暗区域的细节，同时还保留了对高亮区域的鲁棒性。
5、LOL数据集
LOL数据集由在室内拍摄的较暗图像组成。此数据集黑暗区域中含有的严重噪音和零星的色彩信息使修复工作更具挑战性。大多数现有方法易受测试环境变化的影响，有些甚至在高对比度区域周围会产生某些光晕，或者只会产生不足的增强效果。此外，现有方法处理的图像比本实施例的增强结果伴有更多的噪声，这进一步证明了本实施例的两阶段去噪策略的有效性。
表1中给出了对上述三个数据集的定量评估，最优和次优结果由粗体和下划线分别标示。尽管本实施例方法并未在所有指标上都取得最高得分，但其仍能产生令人满意的结果，并且在大多数指标上都大大优于使用相同数据集训练的参考方法。特别地，本实施例的方法在平衡场景的变化方面显示了出色的适应能力。此外，本实施例计算了像素级的距离差异，显示本实施例的方法比其他方法产生的严重误差更少，并获得了有竞争力的结果。
表1三种测试数据集的平均PSNR/SSIM/NIQE
Figure BDA0002601143600000141
6、主观视觉评估
对非参考数据集的评估是一种验证本实施例所提出模型泛化能力的重要方法。该测试的主要挑战在于如何克服输入图像在各种亮度和噪声条件下拍摄时伴有的未知性和多样性。本实施例评估了所有六个无参考数据集的NIQE得分，并将平均值记录在表2中。本实施例的模型在以下方面总体上表现更好：1)能够对退化的颜色和纹理进行恰当的还原；2)拥有足够的噪声抑制能力；3)对于各种场景具有良好的鲁棒性和出色的泛化能力。
表2六个无参考数据集上的NIQE指标
Figure BDA0002601143600000151
七、讨论
1、消融实验
由于上述模型构建在两路分支结构上，因此，本实施例对模型结构和损失函数进行了消融实验。实验的定量结果和视觉效果分别在展示在表3和表4中。
表3结构和损失函数的消融实验，结果以PSNR/SSIM/NIQE显示
Figure BDA0002601143600000152
表4在泊松(P)和高斯(G)噪声下，使用预去噪和后去噪带来的性能改变；其中，高斯噪声的标准偏差为0.02(对应图像的像素值5)。结果以PSNR/SSIM/NIQE退化的百分比显示。
Figure BDA0002601143600000161
2、结构与损失函数
在表3中，实验(b),(c)和(d)证明了引入这种两分支的曝光度融合结构的优势。可以直观地看到，使用单个分支训练的模型往往会对某些照度的图像产生增强结果的偏好，或者不能在所有三个测试环境下的表现都表现出较为理想的效果。这个观察结果与表1中的Cai和Ying的结果非常相似，并且有力地证明了使用两个分支的必要性。进一步地，本实施例对于模型的两条支路和注意力单元的工作模式进行了分析。在-1E分支中增强的图像大体上提供了更多的颜色信息和区域细节特征，而-2E分支对于含有严重噪声的输入图像和暗区更为灵敏，并为整个增强过程提供了整体的照明水平估计。尽管两个分支都不完美地泛化到所有可能的输入照度等级，但通过将两侧的优点结合起来，双分支结构具备了更大的灵活性。
实验(a),(b)和(d)-(f)用于研究不同损失函数的影响。经过L1或L2损失(较差，因此未列出)训练的模型在纹理上具有严重的变形，无法获得视觉上令人满意的结果。另一方面，VGG损失以及平滑损失则表现出较好的作用。这些结果与本实施例之前的讨论一致。此外，本实施例还尝试使用对抗损失，将其权重设置为0.02和0.1，并使用TTUR进行训练。这种结构在本实施例的实验中增加了一定的不稳定性，并且没有带来明显的改善，因此这里没有使用对抗性损失。
3、两步去噪策略
本实施例在预处理模块中采用了预去噪步骤，在细调单元中采用了后去噪步骤，分别处理自然噪声和人工噪声。值得一提的是，除了降噪以外，这两个模块还可以通过基于学习的方式稍微调整亮度，颜色和细节。这一降噪效果是通过上述冻结训练(freezingtraining)来保证的。由于亮度和细节在这一环节中可能会改变，参考常用的度量标准(例如输入的低光图像和去噪的后图像的PSNR)会有失偏颇。在这里，通过研究在有无降噪步骤下性能如何下降进行了更公平的测试。本实施例计算退化的百分比，其中较小的值表示较好的降噪能力。
从表4中可以看出，当图像中混有大量噪声时，所有这些模型都面临不同程度的退化。但是，与没有此过程的网络相比，本实施例的预去噪步骤使网络具有出色的噪声抑制能力。当进一步引入后去噪步骤时，并未观察到PSNR值的显著提高，但后去噪过程确实为SSIM值和NIQE带来了一些改善，这一结果指出，细调单元使融合结果更加自然和真实。由此，本实施例认为仅带有注意单元的两分支结构(TBEFN-A)也可能是一种可接受的解决方案，该模型在含有较少图像缺陷的代价下提高了模型的计算效率。
八、鲁棒性研究
1、应用场景研究
在这一节中，本实施例对多重曝光样本和另外两个极具挑战性的场景(即高动态范围(High Dynamic Range，HDR)场景和正常照度图像)进行比较，以测试所提出方法的鲁棒性。本实施例的方法与文献中四个表现较好的方法进行了比较：LIME，Ying，Cai和EnlightenGAN)。
所提出的方法在这些多重曝光的弱光条件下显示出极好的适应性。它不仅可以恢复出更多的细节，而且更忠于图像的原始色彩。对于HDR场景，本实施例的方法对高光和低光区域均进行了恰当的处理，表现出其出色的性能。尽管本方法并非为处理照度良好的图像而设计，但以此类图像为输入时，本方法依然能够取得可接受的效果。
2、抗噪性能研究
在前面的部分中，本实施例讨论了在实际场景中本方法的去噪能力。但是，为了充分体现所提出方法的鲁棒性，同样需要定量地测定方法在处理极噪输入样本时是否仍然具有较为可靠的效果。为此，与表4的实验相似，本实施例对加入了重度高斯和泊松噪声的输入样本性能进行了更多的比较。值得注意的是，本实施例加噪的测试样本同样取自与文献相同的评估数据集，在人为加入噪声后，真实低光图像的自然噪声和人为噪声同时存在，这仅仅是一种实验测定的方法，如此苛刻的测试环境在实际中极少出现。与前面的测试准则一致，本实施例在表5及表6给出用于定量评估的PSNR/SSIM值。在这个具有挑战性的实验中，本实施例的方法与现有的方法相比，仍可以取得很有竞争力的结果。
表5不同模型在泊松噪声下的效果(PSNR/SSIM)
Figure BDA0002601143600000181
表6不同模型在标准差为0.02的高斯噪声下的效果(PSNR/SSIM)
Figure BDA0002601143600000182
3、效率研究
这里所有的测试均使用100张分辨率为600×400的图像进行。请注意，对于深度学习方法，本实施例规定一个批次只处理一张图像。此外，为公平起见，花费在读取图像上的时间没有被记入耗时统计。本实施例计算出深度学习方法模型的参数量，以及传统方法的运行时间。表7中提供了所提方法的处理速度，参数量和内存消耗以作为参考。由于本实施例方法的网络结构采用了许多轻量级的设计方案，相对于其他深度学习方法，本方法更为快速，对计算环境的要求亦较小。在GPU模式下运行时，所提方法达到了约20帧/秒的处理速度。
表7.100幅图像上的效率研究
Figure BDA0002601143600000183
4、限制因素
与其他端到端的训练策略不同，本实施例的模型需要采用三阶段的策略进行训练，这使得本方法的训练过程较为繁琐。但应该强调的是，模型的训练过程耗时较短，并且在每个阶段都能够较快地收敛。
综上，本实施例提出了一种用于增强弱光图像的两路分支照度融合网络模型。为了应对输入图像照度不确定性所带来的挑战，本实施例提出了一种新的图像生成-融合策略。首先在两个增强支路中分别对轻微失真和严重失真两种情况下的低照度图像进行照度上的增强，随后引入自适应注意力单元将该两路分支所得结果进行融合。此外，本实施例还提出了一种分为两步的去噪方法。该法从输入数据中学习去噪网络参数，从而对增强过程中产生的噪声进行了高效的自适应抑制。本实施例提出的结构具有明确的物理解释，并且在与许多最新方法的对比中，被证明是轻量而有效的。本实施例的网络模型可用于在各种弱光环境，尤其是考虑到成像环境的变化和对处理实时性要求较高时的低照增强任务。
第二实施例
本实施例提供一种用于低照度图像增强的双路曝光度融合方法，该方法可以由电子设备实现。该方法的执行流程如图4所示，包括以下步骤：
S101，对待增强的低照度图像使用预设的不同增强策略进行处理，以得到待增强的低照度图像所对应的双路增强结果；
S102，将采用不同增强策略得到的待增强的低照度图像所对应的双路增强结果进行加权融合，以得到待增强的低照度图像所对应的增强图像；
其中，上述S101中利用下式对待增强图像进行增强：
Figure BDA0002601143600000191
其中，
Figure BDA0002601143600000192
表示增强后的图像，
Figure BDA0002601143600000193
表示输入的待增强图像，
Figure BDA0002601143600000194
代表逐元素的点乘，
Figure BDA0002601143600000195
表示对不同照度水平之间的转移函数的估计；
Figure BDA0002601143600000196
的表达式为：
Figure BDA0002601143600000197
其中，L表示增强后的图像的照明分量，L′表示待增强图像的照明分量，“＾”表示估计值。
进一步地，所述增强模块采用单层的轻量级模型；
所述增强模块首先使用四个卷积层以产生用于帮助网络学习的辅助特征，然后将辅助特征与待增强图像进行通道维度上的拼接。
上述S102中对增强结果进行加权融合时，在轻微弱光照度拍摄下，所述注意力单元为所述第一增强支路所得的增强图像分配更大的权重；而在严重弱光照度拍摄下，所述注意力单元为所述第二增强支路所得的增强图像分配更大的权重。具体地，在本实施例中，轻微弱光照度指-1EV(Exposure Value，曝光值)及以上，至0EV间；而严重弱光照度指的是-1EV以下。
进一步地，在对增强结果进行加权融合后，本实施例的方法还可以包括：
S103，对加权融合得到的图像进行去噪处理及细节优化，得到优化的图像。
本实施例的方法通过分别对待增强的低照度图像使用不同的增强策略进行处理，以得到待增强的低照度图像所对应的双路增强结果；将采用不同的增强策略得到的待增强的低照度图像所对应的双路增强结果进行加权融合以及细节微调，以得到待增强的低照度图像所对应的最终增强图像。本方法可用于各种弱光环境下，尤其是考虑到成像环境变化和对处理实时性要求较高的低照增强任务。
第三实施例
本实施例提供一种电子设备，其包括处理器和存储器；其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行，以实现第二实施例的方法。
该电子设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)和一个或一个以上的存储器，其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行以下步骤：
S101，对待增强的低照度图像使用预设的不同增强策略进行处理，以得到待增强的低照度图像所对应的双路增强结果；
S102，将采用不同增强策略得到的待增强的低照度图像所对应的双路增强结果进行加权融合，以得到待增强的低照度图像所对应的增强图像；
S103，对加权融合得到的图像进行去噪处理及细节优化，得到优化的图像。
第四实施例
本实施例提供一种计算机可读存储介质，该存储介质中存储有至少一条指令，所述指令由处理器加载并执行，以实现上述方法。其中，该计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。其内存储的指令可由终端中的处理器加载并执行以下步骤：
S101，对待增强的低照度图像使用预设的不同增强策略进行处理，以得到待增强的低照度图像所对应的双路增强结果；
S102，将采用不同增强策略得到的待增强的低照度图像所对应的双路增强结果进行加权融合，以得到待增强的低照度图像所对应的增强图像；
S103，对加权融合得到的图像进行去噪处理及细节优化，得到优化的图像。
此外，需要说明的是，本发明可提供为方法、装置或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
最后需要说明的是，以上所述是本发明优选实施方式，应当指出，尽管已描述了本发明优选实施例，但对于本技术领域的技术人员来说，一旦得知了本发明的基本创造性概念，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

Claims (9)

1.一种用于低照度图像增强的双路曝光度融合网络模型，其特征在于，所述双路曝光度融合网络模型包括第一增强支路、第二增强支路和融合模块；其中，
所述第一增强支路和所述第二增强支路用于分别对待增强的低照度图像使用预设的不同增强策略进行处理，得到对应低照度图像的增强结果；
所述融合模块包括注意力单元和细调单元，所述注意力单元用于将所述第一增强支路和第二增强支路得到的增强结果加权融合；所述细调单元用于对加权后的图像进行去噪处理，得到低照度图像对应的增强图像。
2.如权利要求1所述的用于低照度图像增强的双路曝光度融合网络模型，其特征在于，所述第一增强支路包括增强模块，所述第一增强支路通过所述增强模块对待增强图像进行增强；所述第二增强支路包括预处理模块和增强模块，所述第二增强支路首先通过所述预处理模块对待增强图像进行降噪处理，然后通过所述增强模块对降噪处理后的图像进行图像增强处理。
3.如权利要求2所述的用于低照度图像增强的双路曝光度融合网络模型，其特征在于，所述增强模块利用下式对待增强图像进行增强：
Figure FDA0002601143590000011
其中，
Figure FDA0002601143590000012
表示增强后的图像，
Figure FDA0002601143590000013
表示输入的待增强图像，
Figure FDA0002601143590000014
代表逐元素的点乘，
Figure FDA0002601143590000015
表示对不同照度水平之间的转移函数的估计；
Figure FDA0002601143590000016
的表达式为：
Figure FDA0002601143590000017
其中，L表示增强后的图像的照明分量，L′表示待增强图像的照明分量，“＾”表示估计值。
4.如权利要求2或3所述的用于低照度图像增强的双路曝光度融合网络模型，其特征在于，所述增强模块采用单层的轻量级模型；
所述增强模块首先使用四个卷积层以产生用于帮助网络学习的辅助特征，然后将辅助特征与待增强图像进行通道维度上的拼接。
5.如权利要求3所述的用于低照度图像增强的双路曝光度融合网络模型，其特征在于，所述预处理模块引入了五个卷积层；其中，每层的特征图都与所有前层输出的特征图相加；除最后一层之外，所述预处理模块不使用任何激活函数，在最后一层，使用预设的激活函数将输入特征约束到[0,1]之间。
6.如权利要求1所述的用于低照度图像增强的双路曝光度融合网络模型，其特征在于，当输入图像的曝光值不小于预设曝光值时，所述注意力单元为所述第一增强支路所得的增强图像分配更大权重；当输入图像的曝光值小于预设曝光值时，所述注意力单元为所述第二增强支路所得的增强图像分配更大权重。
7.如权利要求1所述的用于低照度图像增强的双路曝光度融合网络模型，其特征在于，所述双路曝光度融合网络模型的损失函数
Figure FDA0002601143590000021
表示为：
Figure FDA0002601143590000022
其中，
Figure FDA0002601143590000023
表示预定义的SSIM损失函数计算结果，
Figure FDA0002601143590000024
表示预定义的VGG损失函数计算结果，
Figure FDA0002601143590000025
表示全变分损失函数计算结果，λvl和λsl分别表示预设权重。
8.如权利要求7所述的用于低照度图像增强的双路曝光度融合网络模型，其特征在于，所述双路曝光度融合网络模型的训练过程包括：
第一阶段，将增强模块训练至收敛，得到所述第一增强支路；
第二阶段，使用第一阶段得到的参数初始化所述第二增强支路中的增强模块，并将该部分参数冻结以单独训练所述预处理模块，此后将所述第二增强支路中的增强模块和预处理模块进行联合训练，得到所述第二增强支路；
第三阶段，基于冻结部分参数和联合训练的方式，将融合模块训练至收敛；
其中，在训练所述第一增强支路和所述第二增强支路时，λvl的值设置为0，λsl的值设置为0.01；在训练所述融合模块时，λvl设置为0.1，λsl设置为0.01。
9.一种用于低照度图像增强的双路曝光度融合方法，其特征在于，所述双路曝光度融合方法包括以下步骤：
对待增强的低照度图像使用预设的不同增强策略进行处理，以得到待增强的低照度图像所对应的双路增强结果；
将采用不同增强策略得到的待增强的低照度图像所对应的双路增强结果进行加权融合，以得到待增强的低照度图像所对应的增强图像；
对加权融合得到的图像进行去噪处理及细节优化，得到优化的图像。
CN202010724379.6A 2020-07-24 2020-07-24 用于低照度图像增强的双路曝光度融合网络模型及方法 Active CN111932471B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010724379.6A CN111932471B (zh) 2020-07-24 2020-07-24 用于低照度图像增强的双路曝光度融合网络模型及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010724379.6A CN111932471B (zh) 2020-07-24 2020-07-24 用于低照度图像增强的双路曝光度融合网络模型及方法

Publications (2)

Publication Number Publication Date
CN111932471A true CN111932471A (zh) 2020-11-13
CN111932471B CN111932471B (zh) 2022-07-19

Family

ID=73315496

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010724379.6A Active CN111932471B (zh) 2020-07-24 2020-07-24 用于低照度图像增强的双路曝光度融合网络模型及方法

Country Status (1)

Country Link
CN (1) CN111932471B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381897A (zh) * 2020-11-16 2021-02-19 西安电子科技大学 基于自编码网络结构的低照度图像增强方法
CN112862713A (zh) * 2021-02-02 2021-05-28 山东师范大学 一种基于注意力机制的低光图像增强方法及系统
CN113450366A (zh) * 2021-07-16 2021-09-28 桂林电子科技大学 基于AdaptGAN的低照度语义分割方法
CN113449811A (zh) * 2021-07-16 2021-09-28 桂林电子科技大学 一种基于ms-wsda的低照度目标检测方法
CN113643202A (zh) * 2021-07-29 2021-11-12 西安理工大学 一种基于噪声注意力图指导的微光图像增强方法
CN114254715A (zh) * 2022-03-02 2022-03-29 自然资源部第一海洋研究所 一种gf-1 wfv卫星影像超分辨率方法、系统及应用
CN115393227A (zh) * 2022-09-23 2022-11-25 南京大学 基于深度学习的微光全彩视频图像自适应增强方法及系统
WO2024078668A1 (de) * 2022-10-14 2024-04-18 Continental Autonomous Mobility Germany GmbH Konfidenzabhängige bildaufhellung

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150104100A1 (en) * 2013-01-07 2015-04-16 Huawei Device Co., Ltd. Image Processing Method and Apparatus, and Shooting Terminal
CN106875352A (zh) * 2017-01-17 2017-06-20 北京大学深圳研究生院 一种低照度图像增强方法
CN108447036A (zh) * 2018-03-23 2018-08-24 北京大学 一种基于卷积神经网络的低光照图像增强方法
CN109902750A (zh) * 2019-03-04 2019-06-18 山西大学 基于双向单注意力机制图像描述方法
CN110210608A (zh) * 2019-06-05 2019-09-06 国家广播电视总局广播电视科学研究院 基于注意力机制和多层次特征融合的低照度图像增强方法
CN110930341A (zh) * 2019-10-17 2020-03-27 杭州电子科技大学 一种基于图像融合的低光照图像增强方法
CN111028163A (zh) * 2019-11-28 2020-04-17 湖北工业大学 一种基于卷积神经网络的联合图像去噪与弱光增强方法
CN111105376A (zh) * 2019-12-19 2020-05-05 电子科技大学 基于双分支神经网络的单曝光高动态范围图像生成方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150104100A1 (en) * 2013-01-07 2015-04-16 Huawei Device Co., Ltd. Image Processing Method and Apparatus, and Shooting Terminal
CN106875352A (zh) * 2017-01-17 2017-06-20 北京大学深圳研究生院 一种低照度图像增强方法
CN108447036A (zh) * 2018-03-23 2018-08-24 北京大学 一种基于卷积神经网络的低光照图像增强方法
CN109902750A (zh) * 2019-03-04 2019-06-18 山西大学 基于双向单注意力机制图像描述方法
CN110210608A (zh) * 2019-06-05 2019-09-06 国家广播电视总局广播电视科学研究院 基于注意力机制和多层次特征融合的低照度图像增强方法
CN110930341A (zh) * 2019-10-17 2020-03-27 杭州电子科技大学 一种基于图像融合的低光照图像增强方法
CN111028163A (zh) * 2019-11-28 2020-04-17 湖北工业大学 一种基于卷积神经网络的联合图像去噪与弱光增强方法
CN111105376A (zh) * 2019-12-19 2020-05-05 电子科技大学 基于双分支神经网络的单曝光高动态范围图像生成方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MING-CHIH HSU,等: "Retinex image enhancement based on exposure fusion", 《2018 3RD INTERNATIONAL CONFERENCE ON INTELLIGENT GREEN BUILDING AND SMART GRID (IGBSG)》 *
YUMA KINOSHITA,等: "Scene Segmentation-Based Luminance Adjustment for Multi-Exposure Image Fusion", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381897A (zh) * 2020-11-16 2021-02-19 西安电子科技大学 基于自编码网络结构的低照度图像增强方法
CN112381897B (zh) * 2020-11-16 2023-04-07 西安电子科技大学 基于自编码网络结构的低照度图像增强方法
CN112862713A (zh) * 2021-02-02 2021-05-28 山东师范大学 一种基于注意力机制的低光图像增强方法及系统
CN113450366A (zh) * 2021-07-16 2021-09-28 桂林电子科技大学 基于AdaptGAN的低照度语义分割方法
CN113449811A (zh) * 2021-07-16 2021-09-28 桂林电子科技大学 一种基于ms-wsda的低照度目标检测方法
CN113450366B (zh) * 2021-07-16 2022-08-30 桂林电子科技大学 基于AdaptGAN的低照度语义分割方法
CN113643202A (zh) * 2021-07-29 2021-11-12 西安理工大学 一种基于噪声注意力图指导的微光图像增强方法
CN114254715A (zh) * 2022-03-02 2022-03-29 自然资源部第一海洋研究所 一种gf-1 wfv卫星影像超分辨率方法、系统及应用
CN114254715B (zh) * 2022-03-02 2022-06-03 自然资源部第一海洋研究所 一种gf-1 wfv卫星影像超分辨率方法、系统及应用
CN115393227A (zh) * 2022-09-23 2022-11-25 南京大学 基于深度学习的微光全彩视频图像自适应增强方法及系统
WO2024078668A1 (de) * 2022-10-14 2024-04-18 Continental Autonomous Mobility Germany GmbH Konfidenzabhängige bildaufhellung

Also Published As

Publication number Publication date
CN111932471B (zh) 2022-07-19

Similar Documents

Publication Publication Date Title
CN111932471B (zh) 用于低照度图像增强的双路曝光度融合网络模型及方法
CN112614077B (zh) 一种基于生成对抗网络的非监督低照度图像增强方法
Jian et al. Multi-scale image fusion through rolling guidance filter
WO2022000397A1 (zh) 低照度图像增强方法、装置及计算机设备
Wang et al. MAGAN: Unsupervised low-light image enhancement guided by mixed-attention
CN113096029A (zh) 基于多分支编解码器神经网络的高动态范围图像生成方法
CN113284061A (zh) 一种基于梯度网络的水下图像增强方法
US11948278B2 (en) Image quality improvement method and image processing apparatus using the same
CN113344804B (zh) 一种弱光图像增强模型的训练方法和弱光图像增强方法
Huang et al. Underwater image enhancement based on color restoration and dual image wavelet fusion
Saleem et al. A non-reference evaluation of underwater image enhancement methods using a new underwater image dataset
CN117670687A (zh) 一种基于CNN和Transformer混合结构的水下图像增强方法
CN117372272A (zh) 一种基于注意力机制的多曝光的图像融合方法及系统
CN112734649A (zh) 一种基于轻量级神经网络的图像退化方法及退化系统
Du et al. Low-light image enhancement and denoising via dual-constrained Retinex model
Guan et al. DiffWater: Underwater image enhancement based on conditional denoising diffusion probabilistic model
CN116452431A (zh) 基于多分支渐进式深度网络的弱光图像增强方法
Piriyatharawet et al. Image denoising with deep convolutional and multi-directional LSTM networks under Poisson noise environments
CN115908176A (zh) 基于事件流和彩色图像融合的不均匀照明图像增强方法
CN114463274A (zh) 一种图像质量评价方法、装置以及计算机可读存储介质
Wei et al. BLNET: A fast deep learning framework for low-light image enhancement with noise removal and color restoration
CN111932514A (zh) 一种图像噪声水平估计、抑制方法、装置及电子设备
Wang et al. Three-channel cascade network for underwater image enhancement
KR102543272B1 (ko) 영역 기반 안개 제거 방법 및 그 장치
He et al. Underwater image enhancement based on light attenuation prior and dual-image multi-scale fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant