CN111915526B - 一种基于亮度注意力机制低照度图像增强算法的摄影方法 - Google Patents

一种基于亮度注意力机制低照度图像增强算法的摄影方法 Download PDF

Info

Publication number
CN111915526B
CN111915526B CN202010778450.9A CN202010778450A CN111915526B CN 111915526 B CN111915526 B CN 111915526B CN 202010778450 A CN202010778450 A CN 202010778450A CN 111915526 B CN111915526 B CN 111915526B
Authority
CN
China
Prior art keywords
network
low
attention
image
illumination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010778450.9A
Other languages
English (en)
Other versions
CN111915526A (zh
Inventor
严灵毓
王春枝
胡记伟
胡翔
叶志伟
苏军
郑威
李画
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei University of Technology
Fiberhome Telecommunication Technologies Co Ltd
Wuhan Fiberhome Technical Services Co Ltd
Original Assignee
Hubei University of Technology
Fiberhome Telecommunication Technologies Co Ltd
Wuhan Fiberhome Technical Services Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei University of Technology, Fiberhome Telecommunication Technologies Co Ltd, Wuhan Fiberhome Technical Services Co Ltd filed Critical Hubei University of Technology
Priority to CN202010778450.9A priority Critical patent/CN111915526B/zh
Publication of CN111915526A publication Critical patent/CN111915526A/zh
Application granted granted Critical
Publication of CN111915526B publication Critical patent/CN111915526B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Processing (AREA)

Abstract

本发明属于图像处理技术领域，公开了一种基于亮度注意力机制低照度图像增强算法的摄影方法，将低照度图像增强算法嵌入摄像设备中，在摄像机的程序中编入低照度图像增强模式，利用摄像设备的低照度图像增强模式进行摄影，直接应用基于亮度注意力生成对抗网络的低照度图像增强网络增强图像结果；或者，利用摄像设备摄影进行低照度图像获取，利用基于亮度注意力生成对抗网络的低照度图像增强网络对获取的图像进行增强，得到增强后的摄影图像。本发明引入亮度注意力机制，提升了增强图像的图片感知质量，提高了增强效率，进而引入科学摄影领域，形成能够解决科学摄影中问题的应用。

Description

一种基于亮度注意力机制低照度图像增强算法的摄影方法
技术领域
本发明属于图像处理技术领域，尤其涉及一种基于亮度注意力机制低照度图像增强算法的摄影方法。
背景技术
目前，随着电子拍摄的发展和智能设备的普及，智能拍摄大量用于智慧城市、公共交通建设等方面。然而受现实弱光，夜间以及遮挡等光线不足的低照度环境影响，或低精度图像成像设备的硬件限制，拍摄出的图像往往存在亮度过低，噪声严重，细节信息丢失或模糊化等问题，从而造成图片内容信息损失，阻碍了进一步的理解和分析。而这样的问题并非个例，科学摄影等领域对于在夜间等低亮度环境中通过拍摄获取信息的需求度反而高于高亮度环境。
随着人工智能技术的高速发展，越来越多的科学领域开始利用人工智能技术来解决人工不好处理的研究部分。科学摄影是一个存在时间十分长久的专业领域，泛指许多需要利用摄影技术来解决科学研究中取材等方面问题的技术。而如今科学摄影技术领域开始引入人工智能领域的图像处理技术来解决先前科学摄影领域不好完成的拍摄，其中最具代表性的是医学领域。对于在2019年发表的多篇医学领域科学摄影方面文章的总结，其包括的2领域已经包括病变检测，图像分割，图像分割，图像融合等多个领域。
现有技术利用科学摄影来进行病变检测。由于检测方向的特殊性，医学领域的科学摄影对于低光照环境的摄影需求反而高于高光照环境。并且低光环境拍出的低照度图像其检测难度会提高，并且阴影的相似性很容易造成检测的失误。与此相似的还有生物学领域，天文学领域等。生物学领域经常需要在黑夜或深海等环境进行科学摄影。而天文学所处宇宙中的环境更不用多说。他们都更需要在低光照环境进行科学摄影。
受现实弱光，夜间以及遮挡等光线不足的低照度环境影响，或低精度图像成像设备的硬件限制，拍摄出的图像往往存在亮度过低，噪声严重，细节信息丢失或模糊化等问题，从而造成图片内容信息损失，阻碍了进一步的理解和分析。
但在现行研究结果中，对于上述问题的处理并没有十分完善的手段。因此，研究低照度图像的增强具有重要的理论意义和实际应用价值。
通过上述分析，现有技术存在的问题及缺陷为：
(1)科学摄影方法得到图像亮度过低，噪声严重，细节信息丢失或模糊化、造成图片内容信息损失。
(2)现有图像增强方法增强的图像质量不佳，且细节处理不好。
(3)现有低照度图像增强方法鲁棒性并不很强，难以适应不同光照环境下的低照度图像。
(4)目前低照度图像增强方法的计算复杂度和时间消耗大。
解决以上问题及缺陷的难度为：
(1)科学摄影方式要求的图像内容相对于其他摄影内容要求更加精细，但对于亮度过低照片的增强很难达到精细的要求。
(2)对于亮度过低所造成的内容信息损失更加难以复原。
解决以上问题及缺陷的意义为：
(1)可以解决科学摄影对于低亮度环境实现高精度摄影的迫切需求。
(2)可以使科学摄影推广至更加广泛的光线环境中进行使用。
(3)可以使低照度图像增强方法解决更多领域中的问题。
发明内容
针对现有技术存在的问题，本发明提供了一种基于亮度注意力机制低照度图像增强算法的摄影方法。
本发明是这样实现的，一种基于亮度注意力机制低照度图像增强算法的摄影方法，所述基于亮度注意力机制低照度图像增强算法的摄影方法包括：
将低照度图像增强算法嵌入摄像设备中，在摄像机的程序中编入低照度图像增强模式，利用摄像设备的低照度图像增强模式进行摄影，直接应用基于亮度注意力生成对抗网络的低照度图像增强网络增强图像结果；
或者，
利用摄像设备摄影进行低照度图像获取，利用基于亮度注意力生成对抗网络的低照度图像增强网络对获取的图像进行增强，得到增强后的摄影图像。
进一步，所述基于亮度注意力生成对抗网络的低照度图像增强网络包括生成器、判别器以及损失函数；
所述生成器包括增强网络以及注意力分支网络；
所述增强网络，用于将输入图像作为一个整体转换成一个在新空间中类似的图片；
所述注意力网络，用于预测弱光照的位置掩码；
所述生成器还用于组合输入图像，将注意力图和转换后的输入构成最终增强后的图像；
所述判别器，用于时接收生成器生成的图片和真实图片，产生真假的预测值；
所述损失函数为：
Loss＝ωaLa+ωadvLadv+ωconLcon+ωtvLtv+ωcolLcol；
其中La,Ladv,Lcon,Ltv,Lcol分别表示注意力损失，对抗损失，内容损失，总变差损失，颜色损失，ωa,ωadv,ωcon,ωtv,ωcol分别表示其损失对应权重。
进一步，所述生成器包括：
所述生成器增强网络包括：
所述生成器增强网络基于完全卷积网络，并利用卷积神经网络的属性；所述生成器增强网络由多个残差块和卷积块2部分组成；所述生成器网络开始是1个卷积块；中间部分包含4个残差块，用于保持高度或宽度恒定，且每次卷积之后进行实例正则化和ReLU激活；最后是2个卷积块；
所述生成器网络除残差块外，最后一个卷积层是tanh激活，且每个卷积层之后只有ReLU激活；
所述注意力分支网络包括：
所述注意力分支网络的网络结构为类U-net的全卷积网络结构；包括一个用于获取多尺度上下文信息的收缩路径、一个对称的用于恢复多级特征图的扩张路径以及2个用于恢复和输入相同大小的注意力图的卷积层；
所述收缩路径有4个下采样卷积块，每个卷积块包含步长为1的2层卷积层，步长为2的1层池化层；
所述扩张路径有4个上采样反卷积块，每个反卷积块包含步长为1的2层卷积层，1个反卷积层和1层特征拼接；
所述2个卷积层中1个是反卷积层，1个是普通卷积；最后一个卷积层的激活函数为tanh；所述卷积层卷积核大小为3x3，除最后一层外，卷积之后使用lrelu函数激活。
进一步，所述注意力分支网络还包括：
所述注意力分支网络即亮度注意力分支网络，包括上采样层以及下采样层；用于预测低光照图像中弱光区域的分布；
所述亮度注意力分支网络通过获取输入图像到U-net最底部是光照信息下采样层，从底部到U-net右侧是融合多尺度光照信息，对低照度图片中的光照信息充分建模，生成亮度注意力图；同时将训练得到的亮度注意力图与主干网络的输出相结合，加大低照度图片中弱光区域的增强效果；
所述亮度注意力分支网络的注意力损失函数为：
La＝||Fa(Ix)-A||；
其中，Ix表示输入图片，A表示期望的亮度注意力图，Fa(Ix)表示预测的亮度注意力；
所述期望的亮度注意力图A计算公式如下：
其中Ix表示低照度图片，Iy表示真实照度图片，maxc()表示取图片RGB通道上最大像素值。
进一步，所述增强网络还包括：
所述增强网络依次包括一层普通卷积层、4层残差模块以及2层普通卷积层；
所述第一层普通卷积层，用于特征提取，实现从rgb通道到多个特征；
所述残差模块通过连接多个残差单元进行复杂的特征变换，提高网络增强低照度图片的建模能力；所述残差模块作为所述增强网络的特征变换层，包含2层3x3普通卷积，每次卷积之后进行实例归一化和Relu激活，最后和输入相加得到最终输出结果；
所述最后两层普通卷积层，用于恢复rgb图片，实现多特征转换为rgb图片；
所述增强网络损失函数如下：
1)内容损失即增强图片和目标图片的特征表示之间的欧式距离，用于保存图片语义；
其中φi为VGG-19网络在第i个卷积层之后获得的特征图；
2)总变差损失，用于增强图像的空间平滑度，对生成的组合图像的像素进行操作，促使生成图像具有空间连续性；
其中，C，H，W分别是增强图片Ie的通道数，高度，宽度，分别是增强图片在x，y反向的梯度；
3)颜色损失：
Lcolor＝||δ(G(Ix))-δ(Iy)||2；
其中，δ表示高斯模糊函数，用于移除图片的局部细节，但保留其全局信息；
4)对抗损失，用于鼓励生成网络转换低照度图片到自然图片，促进生成器学习自然图像的特性；
其中，D代表判别网络，G代表生成网络，Ix,Iy分别表示低照度图片，自然照度图片。
进一步，所述判别器包括：
所述判别器网络包含5个卷积层，1个全连接层和1个softmax层；
所述卷积层用于逐步抽取输入特征，卷积核的尺寸从11缩小到3，特征通道数从3增大到192；
所述全连接层和softmax层，用于根据提取的特征图预测其来源于生成器或真实图片的可能，结果是一个(Batch,Ptrue,Pfalse)3元组，Ptrue,Pfalse值都在[0,1]范围。
本发明的另一目的在于提供一种构建所述基于亮度注意力生成对抗网络的低照度图像增强网络的基于亮度注意力生成对抗网络的低照度图像增强网络构建方法，所述基于亮度注意力生成对抗网络的低照度图像增强网络构建方法包括：
步骤一，确定基于亮度注意力生成对抗网络的低照度图像增强网络的网络结构，构建基于亮度注意力生成对抗网络的低照度图像增强网络的网络架构；
步骤二，获取训练数据，并利用训练数据对构建的基于亮度注意力生成对抗网络的低照度图像增强网络进行训练；即得所述基于亮度注意力生成对抗网络的低照度图像增强网络。
进一步，步骤二中，所述利用训练数据对构建的基于亮度注意力生成对抗网络的低照度图像增强网络进行训练包括：
(1)通过获取训练数据，从训练数据集随机采样m个低照度图片对固定判别网络的输入为Iadv＝{0,0,…,0}，长度为m；最小化生成器网络总体损失:Lossgen＝ωaLa+ωadvLadv+ωconLcon+ωtvLtv+ωcolLcol，对生成器网络进行训练；
(2)通过将一个批次的生成样本和一个批次的真实样本随机混淆，生成一个批次的混淆样本重新作为判别器输入，即随机初始化判别网络的输入为Iadv＝{1,0,…,0}，长度为m；从训练数据集随机采样m个低照度图片最大化判别器网络总体损失：/>进行判别器训练。
本发明另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
将低照度图像增强算法嵌入摄像设备中，利用摄像设备的低照度图像增强模式进行摄影，直接应用基于亮度注意力生成对抗网络的低照度图像增强网络增强图像结果；
或利用摄像设备摄影进行低照度图像获取，利用基于亮度注意力生成对抗网络的低照度图像增强网络对获取的图像进行增强，得到增强后的摄影图像。
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
将低照度图像增强算法嵌入摄像设备中，利用摄像设备的低照度图像增强模式进行摄影，直接应用基于亮度注意力生成对抗网络的低照度图像增强网络增强图像结果；
或利用摄像设备摄影进行低照度图像获取，利用基于亮度注意力生成对抗网络的低照度图像增强网络对获取的图像进行增强，得到增强后的摄影图像
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明引入亮度注意力机制，提升了增强图像的图片感知质量，提高了增强效率，进而引入科学摄影领域，形成能够解决科学摄影中问题的应用。
本发明解决了科学摄影领域受现实弱光，夜间以及遮挡等光线不足的低照度环境影响，或低精度图像成像设备的硬件限制，拍摄出的图像往往存在亮度过低，噪声严重，细节信息丢失或模糊化等问题。得出了高质量的低亮度环境拍摄图片。
本发明鲁棒性相对较强，可以很好的适应适应不同光照环境下的低照度图像。本发明的计算复杂度和时间消耗相比其他算法相对较低。
对比的技术效果或者实验效果包括：
直方图均衡化(HE)是用于增强给定图像的对比度的众所周知的方法之一，通过对图像进行非线性拉伸，使变换后的图像直方图分布均匀，局部对比度增强，该方法历史悠久，实现简单，计算效率高，因而获得了广泛应用。但是由于低照度图像存在噪声严重，亮度极低等各种问题，该方法通常无法兼顾亮度，纹理细节和色彩，所以仍然存在一些局部过曝光等问题。
反射光照估计(SRIE)，可以实现调整亮度和改善图片色彩。该方法模拟人体视网膜皮层的成像原理，将图片分解成光照分量和反射分量，进而建立相应的模型。反射分量表示图像内容，光照分量表示图像的亮度估计.
深度学习方法(DSLR)，该方法可以通过将原始的手机相片转换为高质量的单反相机拍出来的图片。该方法提出通过应用残差卷积神经网络来提升图片的颜色呈现和图像的锐度。并且引入了一个由内容误差、颜色误差与纹理误差合成的感知误差函数。头两个误差通过分析得出，纹理误差则通过一种对抗式的方式学习得。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于亮度注意力机制低照度图像增强算法的摄影方法一种模式流程图。
图2是本发明实施例提供的基于亮度注意力机制低照度图像增强算法的摄影方法另一种模式原理图。
图3是本发明实施例提供的生成器网络结构示意图。
图4是本发明实施例提供的判别器网络结构示意图。
图5是本发明实施例提供的亮度注意力分支网络结构图。
图6是本发明实施例提供的残差模块网络结构图。
图7是本发明实施例提供的增强分支网络结构图。
图8是本发明实施例提供的空间转换器应用示例图。
图9是本发明实施例提供的空间转换器网络结构图。
图10是本发明实施例提供的通道注意力模块网络结构图。
图11是本发明实施例提供的部分Div2k数据集图。
图12是本发明实施例提供的部分合成的Div2k低照度图。
图13是本发明实施例提供的本发明方法同HE，SRIE，DSLR在合成数据集视觉效果对比图。
图14是本发明实施例提供的本发明方法在合成数据集的注意力图。
图15是本发明实施例提供的本发明方法同HE，SRIE，DSLR在LOL数据集视觉效果对比图。
图16是本发明实施例提供的本发明方法在LOL数据集的注意力图。
图17是本发明实施例提供的本发明方法同HE，SRIE，DSLR在DPED数据集视觉效果对比图。
图18是本发明实施例提供的本发明方法在DPED数据集注意力图。
图19是本发明实施例提供的基于亮度注意力生成对抗网络的低照度图像增强网络构建方法流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种基于亮度注意力机制低照度图像增强算法的摄影方法，下面结合附图对本发明作详细的描述。
如图1至图2所示，本发明实施例提供的基于亮度注意力机制低照度图像增强算法的摄影方法包括：
将低照度图像增强算法嵌入摄像设备中，在摄像机的程序中编入低照度图像增强模式，利用摄像设备的低照度图像增强模式进行摄影，直接应用基于亮度注意力生成对抗网络的低照度图像增强网络增强图像结果；
或者，
利用摄像设备摄影进行低照度图像获取，利用基于亮度注意力生成对抗网络的低照度图像增强网络对获取的图像进行增强，得到增强后的摄影图像。
如图3至图4所示，本发明实施例提供的基于亮度注意力生成对抗网络的低照度图像增强网络包括生成器、判别器以及损失函数；
所述生成器包括增强网络以及注意力分支网络；
所述增强网络，用于将输入图像作为一个整体转换成一个在新空间中类似的图片；
所述注意力网络，用于预测弱光照的位置掩码；
所述生成器还用于组合输入图像，将注意力图和转换后的输入构成最终增强后的图像；
所述判别器，用于时接收生成器生成的图片和真实图片，产生真假的预测值；
所述损失函数为：
Loss＝ωaLa+ωadvLadv+ωconLcon+ωtvLtv+ωcolLcol；
其中La,Ladv,Lcon,Ltv,Lcol分别表示注意力损失，对抗损失，内容损失，总变差损失，颜色损失，ωa,ωadv,ωcon,ωtv,ωcol分别表示其损失对应权重。
本发明实施例提供的生成器包括：
所述生成器增强网络包括：
所述生成器增强网络基于完全卷积网络，并利用卷积神经网络的属性；所述生成器增强网络由多个残差块和卷积块2部分组成；所述生成器网络开始是1个卷积块；中间部分包含4个残差块，用于保持高度或宽度恒定，且每次卷积之后进行实例正则化和ReLU激活；最后是2个卷积块；
所述生成器网络除残差块外，最后一个卷积层是tanh激活，且每个卷积层之后只有ReLU激活；
所述注意力分支网络包括：
所述注意力分支网络的网络结构为类U-net的全卷积网络结构；包括一个用于获取多尺度上下文信息的收缩路径、一个对称的用于恢复多级特征图的扩张路径以及2个用于恢复和输入相同大小的注意力图的卷积层；
所述收缩路径有4个下采样卷积块，每个卷积块包含步长为1的2层卷积层，步长为2的1层池化层；
所述扩张路径有4个上采样反卷积块，每个反卷积块包含步长为1的2层卷积层，1个反卷积层和1层特征拼接；
所述2个卷积层中1个是反卷积层，1个是普通卷积；最后一个卷积层的激活函数为tanh；所述卷积层卷积核大小为3x3，除最后一层外，卷积之后使用lrelu函数激活。
如图5所示，本发明实施例提供的注意力分支网络还包括：
所述注意力分支网络即亮度注意力分支网络，包括上采样层以及下采样层；用于预测低光照图像中弱光区域的分布；
所述亮度注意力分支网络通过获取输入图像到U-net最底部是光照信息下采样层，从底部到U-net右侧是融合多尺度光照信息，对低照度图片中的光照信息充分建模，生成亮度注意力图；同时将训练得到的亮度注意力图与主干网络的输出相结合，加大低照度图片中弱光区域的增强效果；
所述亮度注意力分支网络的注意力损失函数为：
La＝||Fa(Ix)-A||；
其中，Ix表示输入图片，A表示期望的亮度注意力图，Fa(Ix)表示预测的亮度注意力；
所述期望的亮度注意力图A计算公式如下：
其中Ix表示低照度图片，Iy表示真实照度图片，maxc()表示取图片RGB通道上最大像素值。
如图6至图7所示，本发明实施例提供的增强网络还包括：
所述增强网络依次包括一层普通卷积层、4层残差模块以及2层普通卷积层；
所述第一层普通卷积层，用于特征提取，实现从rgb通道到多个特征；
所述残差模块通过连接多个残差单元进行复杂的特征变换，提高网络增强低照度图片的建模能力；所述残差模块作为所述增强网络的特征变换层，包含2层3x3普通卷积，每次卷积之后进行实例归一化和Relu激活，最后和输入相加得到最终输出结果；
所述最后两层普通卷积层，用于恢复rgb图片，实现多特征转换为rgb图片；
所述增强网络损失函数如下：
1)内容损失即增强图片和目标图片的特征表示之间的欧式距离，用于保存图片语义；
其中φi为VGG-19网络在第i个卷积层之后获得的特征图；
2)总变差损失，用于增强图像的空间平滑度，对生成的组合图像的像素进行操作，促使生成图像具有空间连续性；
其中，C，H，W分别是增强图片Ie的通道数，高度，宽度，分别是增强图片在x，y反向的梯度；
3)颜色损失：
Lcolor＝||δ(G(Ix))-δ(Iy)||2；
其中，δ表示高斯模糊函数，用于移除图片的局部细节，但保留其全局信息；
4)对抗损失，用于鼓励生成网络转换低照度图片到自然图片，促进生成器学习自然图像的特性；
其中，D代表判别网络，G代表生成网络，Ix,Iy分别表示低照度图片，自然照度图片。
本发明实施例提供的判别器包括：
所述判别器网络包含5个卷积层，1个全连接层和1个softmax层；
所述卷积层用于逐步抽取输入特征，卷积核的尺寸从11缩小到3，特征通道数从3增大到192；
所述全连接层和softmax层，用于根据提取的特征图预测其来源于生成器或真实图片的可能，结果是一个(Batch,Ptrue,Pfalse)3元组，Ptrue,Pfalse值都在[0,1]范围。
如图19所示，本发明实施例提供的基于亮度注意力生成对抗网络的低照度图像增强网络构建方法包括：
S101，确定基于亮度注意力生成对抗网络的低照度图像增强网络的网络结构，构建基于亮度注意力生成对抗网络的低照度图像增强网络的网络架构；
S102，获取训练数据，并利用训练数据对构建的基于亮度注意力生成对抗网络的低照度图像增强网络进行训练；即得所述基于亮度注意力生成对抗网络的低照度图像增强网络。
步骤S102中，本发明实施例提供的利用训练数据对构建的基于亮度注意力生成对抗网络的低照度图像增强网络进行训练包括：
(1)通过获取训练数据，从训练数据集随机采样m个低照度图片对固定判别网络的输入为Iadv＝{0,0,…,0}，长度为m；最小化生成器网络总体损失:Lossgen＝ωaLa+ωadvLadv+ωconLcon+ωtvLtv+ωcolLcol，对生成器网络进行训练；
(2)通过将一个批次的生成样本和一个批次的真实样本随机混淆，生成一个批次的混淆样本重新作为判别器输入，即随机初始化判别网络的输入为Iadv＝{1,0,…,0}，长度为m；从训练数据集随机采样m个低照度图片最大化判别器网络总体损失：/>进行判别器训练。
下面结合具体实施例对本发明的技术方案作进一步说明。
实施例1：
2.1生成对抗网络的发展现状
自原始的GAN(generative adversarial nets生成对抗网络)提出以来，后人提出了很多基于GAN的变体，用于解决GAN存在训练不稳定性，生成样本丰富性等问题以及在无监督学习方面的应用。
针对原始GAN对于生成器几乎没有任何约束，使得生成过程过于自由，这在较大图片的情形中模型变得难以控制的问题，CGAN(Conditional GAN条件生成对抗网络)在原始GAN的基础上分别在生成器和判别器的输入多了一个约束项y，使网络朝着既定的方向生成样本，CGAN的目标函数变成如下式
CGAN的缺点在于其模型训练不稳定，从损失函数可以看到，CGAN只是为了生成指定的图像而增加了额外约束，并没有解决训练不稳定的问题。
LAPGAN(Laplacian pyramid of adversarial networks拉普拉斯式对抗网络金字塔)基于CGAN进行改进，它能够生成高品质的图片，LAPGAN的创新点是将图像处理领域中的高斯金字塔和拉普拉斯金字塔的概念引入GAN中，高斯金字塔用于对图像进行下采样，拉普拉斯金字塔用于上采样以此重建图像，LAPGAN实际是学习样本和生成样本之间的残差。
DCGAN(Deep convolutional generative adversarial networks深度卷积生成对抗网络)的提出对GAN的发展有着极大的推动作用，它将卷积神经网络(CNN)和GAN结合起来，使得生成的图片质量和多样性得到了保证，DCGAN使用了一系列的训练技巧，如使用批量归一化(Batch normalization)稳定训练，使用ReLU激活函数降低梯度消失风险，同时取消了池化层，使用步幅卷积和微步幅卷积有效地保留了特征信息。DCGAN虽然能生成多样性丰富，但是生成的图像质量并不高，而且也没有解决训练不稳定的问题，在训练的时候仍需要小心地平衡G和D的训练进程。
GAN强大的学习能力最终可以学习到真实样本的分布，但对输入噪声信号zz和数据的语义特征之间的对应关系不清楚。一个理想的情况是清楚它们之间的对应关系，这样就能通过控制对应的维度变量来达到相应的变化。比如对于MNIST手写数字识别项目，在知道其对应关系的情况下，可以控制输出图像的光照、笔画粗细、字体倾斜度等。InfoGAN(information maximizing generative adversarual nets信息最大化生成对抗网络)解决了这个问题，它将输入噪声z分成两部分：一部分是噪声信号z，另一部分是可解释的有隐含意义的信号c。
原始GAN训练出现梯度消失和模式崩溃的主要原因是使用JS距离来衡量两个分布，WGAN(Wasserstein Gan瓦瑟斯坦距离生成对抗网络)使用Wasserstein距离(又称Earth-Mover(EM)距离)代替JS距离对真实样本和生成样本之间的距离进行度量。Wasserstein距离在两个分布没有重叠或者重叠部分可以忽略的情况下仍然能够很好的度量它们之间的距离，同时Wasserstein距离是平滑的，这在理论上能解决梯度消失/爆炸的问题，但在实验过程中发现WGAN往往存在梯度消失/爆炸的情况，其主要原因是为了满足Lipschitz限制条件，直接用weight clipping方式将参数clip回[-c，c]范围内，在最优策略下，参数往往会走极端，这意味着拟合能力差，同时参数c很难确定，稍有不慎就会引起梯度消失/爆炸。
2.2低照度图像增强的发展现状
近两年来，低照度图像增强基本都关注于利用cnn来实现算法结构。
现有技术1要关注于极端低光条件和短时间曝光条件下的图像成像系统，它用卷积神经网络去完成Raw图像到RGB图像的处理，实验效果非常惊艳。网络结构基于全卷积网络FCN，直接通过端到端训练，损失函数采用L1 loss。此外，还提出了See-in-the-Dark数据集，由短曝光图像及对应的长曝光参考图像组成。
对于Bayer原始图片，他们将输入分解成四个通道，在每个维度上减少1/2以降低空间分辨率；输出为12通道具有1/2空间分辨率的图像；再由子像素层处理以恢复原始分辨率。
现有技术2提出了低光照增强任务存在的三个难点：(1)如何有效的从单张图像中估计出光照图成分，并且可以灵活调整光照level？(2)在提升图像亮度后，如何移除诸如噪声和颜色失真之类的退化？(3)在没有ground-truth的情况下，样本数目有限的情况下，如何训练模型？这篇文章的增强思路还是沿用了Retinex-Net的decomposition->enhance的两阶段方式，网络总共分为三个模块：Decomposition-Net、Restoration-Net和Adjustment-Net，分别执行图像分解、反射图恢复、光照图调整。一些创新点如下：(a)对于Decomposition-Net，其损失函数除了沿用Retinex-Net的重构损失和反射图一致损失外，针对光照图的区域平滑性和相互一致性，还增加了两个新的损失函数。(b)对于Restoration-Net，考虑到了低光照情况下反射图往往存在着退化效应，因此使用了良好光照情况下的反射图作为参考。反射图中的退化效应的分布很复杂，高度依赖于光照分布，因此引入光照图信息。(c)对于Adjustment-Net，实现了一个能够连续调节光照强度的机制(将增强比率作为特征图和光照图合并后作为输入)。通过和伽马校正进行对比，证明它们的调节方法更符合实际情况。
KinD网络包含两个分支，分别对应于反射图和照明图。从功能的角度来看，它也可以分为三个模块，包括层分解，反射图恢复和照明图调节。
4.1注意力机制
视觉注意力机制是人类视觉所特有的大脑信号处理机制。人类视觉通过快速扫描全局图像，获得需要重点关注的目标区域，而后对这一区域投入更多的注意力资源，以获取更多所关注目标的细节信息，抑制其他无用信息。这是人类利用有限的注意力资源从大量信息中快速筛选出高价值信息的手段，是人类在长期进化中形成的一种生存机制，人类视觉注意力机制极大地提高了视觉信息处理的效率与准确性。深度学习中的注意力机制从本质上讲与人类的选择性视觉注意力机制相似，目标也是从众多信息中选择出对当前任务目标更关键的信息。
注意力机制可以分为四类：基于输入项的柔性注意力(Item-wise SoftAttention)、基于输入项的硬性注意力(Item-wise Hard Attention)、基于位置的柔性注意力(Location-wise Soft Attention)、基于位置的硬性注意力(Location-wise HardAttention)。
对于基于项的注意力和基于位置的注意力，它们的输入形式是不同的。基于项的注意力的输入需要是包含明确的项的序列，或者需要额外的预处理步骤来生成包含明确的项的序列(这里的项可以是一个向量、矩阵，甚至一个特征图)。而基于位置的注意力则是针对输入为一个单独的特征图设计的，所有的目标可以通过位置指定。
总的来说，一种是软注意力(soft attention)，另一种则是强注意力(hardattention)。软注意力的关键点在于，这种注意力更关注区域或者通道，而且软注意力是确定性的注意力，学习完成后直接可以通过网络生成，最关键的地方是软注意力是可微的，这是一个非常重要的地方。可以微分的注意力就可以通过神经网络算出梯度并且前向传播和后向反馈来学习得到注意力的权重。强注意力与软注意力不同点在于，首先强注意力是更加关注点，也就是图像中的每个点都有可能延伸出注意力，同时强注意力是一个随机的预测过程，更强调动态变化。当然，最关键是强注意力是一个不可微的注意力，训练过程往往是通过增强学习(reinforcement learning)来完成的。
本发明主要关注于软注意力下的三种注意力域，空间域(spatial domain)，通道域(channel domain)，混合域(mixed domain)。
空间域将原始图片中的空间信息变换到另一个空间中并保留了关键信息。普通的卷积神经网络中的池化层(pooling layer)直接用一些max pooling或者average pooling的方法，将图片信息压缩，减少运算量提升准确率。
发明者认为之前pooling的方法太过于暴力，直接将信息合并会导致关键信息无法识别出来，所以提出了一个叫空间转换器(spatial transformer)的模块，将图片中的的空间域信息做对应的空间变换，从而能将关键的信息提取出来。
(a)列是原始的图片信息，其中第一个手写数字7没有做任何变换，第二个手写数字5，做了一定的旋转变化，而第三个手写数字6，加上了一些噪声信号；
(b)列中的彩色边框是学习到的spatial transformer的框盒(bounding box)，每一个框盒其实就是对应图片学习出来的一个spatial transformer；
(c)列中是通过spatial transformer转换之后的特征图，可以看出7的关键区域被选择出来，5被旋转成为了正向的图片，6的噪声信息没有被识别进入。
spatial transformer其实就是注意力机制的实现，因为训练出的spatialtransformer能够找出图片信息中需要被关注的区域，同时这个transformer又能够具有旋转、缩放变换的功能，这样图片局部的重要信息能够通过变换而被框盒提取出来。
在卷积神经网络中，每一张图片初始会由(R，G，B)三通道表示出来，之后经过不同的卷积核之后，每一个通道又会生成新的信号，比如图片特征的每个通道使用64核卷积，就会产生64个新通道的矩阵(H，W，64)，H，W分别表示图片特征的高度和宽度。
每个通道的特征其实就表示该图片在不同卷积核上的分量，类似于时频变换，而这里面用卷积核的卷积类似于信号做了傅里叶变换，从而能够将这个特征一个通道的信息给分解成64个卷积核上的信号分量。
既然每个信号都可以被分解成核函数上的分量，产生的新的64个通道对于关键信息的贡献肯定有多有少，如果给每个通道上的信号都增加一个权重，来代表该通道与关键信息的相关度的话，这个权重越大，则表示相关度越高，也就是越需要去注意的通道了。
给定一个输入x，其特征通道数为c1，通过一系列卷积等一般变换后得到一个特征通道数为c2的特征。与传统的CNN不一样的是，接下来通过三个操作来重标定前面得到的特征。
首先是Squeeze操作，顺着空间维度来进行特征压缩，将每个二维的特征通道变成一个实数，这个实数某种程度上具有全局的感受野，并且输出的维度和输入的特征通道数相匹配。它表征着在特征通道上响应的全局分布，而且使得靠近输入的层也可以获得全局的感受野，这一点在很多任务中都是非常有用的。
其次是Excitation操作，它是一个类似于循环神经网络中门的机制。通过参数w来为每个特征通道生成权重，其中参数w被学习用来显式地建模特征通道间的相关性。
最后是一个Reweight的操作，将Excitation的输出的权重看做是进过特征选择后的每个特征通道的重要性，然后通过乘法逐通道加权到先前的特征上，完成在通道维度上的对原始特征的重标定。
4.2算法框架
(1)网络结构
低照度图像增强的网络结构如图3，图4所示，为了增强低照度图像中弱光照位置信息在网络流中的传递，生成器有两个分支：增强网络、注意力分支网络。增强网络将输入图像作为一个整体转换成一个在新空间中类似的图片，注意力网络预测弱光照的位置掩码，它和输入图像尺寸一样，每个像素点是0到1之间的概率值。最后本发明组合输入图像，注意力图和转换后的输入构成最终增强后的图像。判别器可以同时接收生成器生成的图片和真实图片，最后产生真假的预测值。
(i)增强网络的网络结构细节如表1所示，基于完全卷积网络(FCN)，并利用卷积神经网络的属性，例如翻译不变性和参数共享。网络由多个残差块和卷积块2部分组成。最开始是1个卷积块。中间部分包含4个残差块，保持高度/宽度恒定，每次卷积之后进行实例正则化和ReLU激活。最后是2个卷积块。除残差块外，最后一个卷积层是tanh激活，此外每个卷积层之后只有ReLU激活。
表1增强网络的网络结构细节
卷积层 输入 卷积核/步长 输出
Conv0 I(100x 100x 3) 9x 9x 64/1 100x 100x 64
Res1 Conv0 3x 3x 64/1 100x 100x 64
Res2 Res1 3x 3x 64/1 100x 100x 64
Res3 Res2 3x 3x 64/1 100x 100x 64
Res4 Res3 3x 3x 64/1 100x 100x 64
Conv1 Res4 3x 3x 64/1 100x 100x 64
Conv2 Conv1 9x 9x 64/1 100x 100x 3
(ii)注意力分支网络的网络结构细节如表2所示，是一种类U-net的全卷积网络结构，这种网络结构设计的特点就是将低层特征和高层特征相融合，能够充分利用图像的所有层次的特征。网络由3部分组成：一个收缩路径来获取多尺度上下文信息，一个对称的扩张路径来恢复多级特征图，以及最后2个卷积层恢复和输入相同大小的注意力图。收缩路径有4个下采样卷积块，每个卷积块包含步长为1的2层卷积层，步长为2的1层“池化层”。扩张路径有4个上采样反卷积块，每个反卷积块包含步长为1的2层卷积层，1个反卷积层和1层特征拼接。最后2个卷积层，1个是反卷积层，1个是普通卷积，但最后一个卷积层的激活函数为tanh。所有卷积核大小为3x3，除最后一层外，卷积之后使用lrelu函数激活。
表2注意力分支网络的网络结构细节
/>
(iii)判别器网络的网络结构细节如表3所示，包含5个卷积层，1个全连接层和1个softmax层。多个卷积层用于逐步抽取输入特征，卷积核的尺寸从11缩小到3，特征通道数从3增大到192，对于低照度图片而言，由于光照分布不均以及噪声等影响，图像呈现出大面积暗黑，弱光等，导致局部特征单一，一开始大感受野有利于局部特征图获取更多信息，随着通道数的增加，特征逐渐丰富，此时小感受野有利于提取图片更多细节特征。全连接层和softmax层用于根据提取的特征图预测其来源于生成器或真实图片的可能，结果是一个(Batch,Ptrue,Pfalse)3元组，Ptrue,Pfalse值都在[0,1]范围。
表3判别器网络的网络结构细节
卷积层 输入 卷积核/步长 输出
Conv0 I(100x 100x 3) 11x 11x 48/4 25x 25x 48
Conv1 Conv0 5x 5x 128/2 13x 13x 128
Conv2 Conv1 3x 3x 192/1 13x 13x 192
Conv3 Conv2 3x 3x 192/1 13x 13x 192
Conv4 Conv3 3x 3x 128/2 7x 7x 128
Fc Conv4 6272x 1024 batch x 1024
softmax Fc 1024x 2 batch x 2
(2)损失函数
由于输入和目标照片无法紧密匹配(即像素到像素)，即不同的光学元件和传感器会导致特定的局部非线性失真和像差，即使精确对齐后，每个图像对之间的像素数也会存在非恒定偏移。因此，标准的每像素损失，除了感知质量指标，不适用于本发明的情况。为了定性和定量地提高图像整体质量，本发明通过进一步提出新的损失函数：
Loss＝ωaLa+ωadvLadv+ωconLcon+ωtvLtv+ωcolLcol (4-1)
其中La,Ladv,Lcon,Ltv,Lcol分别表示注意力损失，对抗损失，内容损失，总变差损失，颜色损失，ωa,ωadv,ωcon,ωtv,ωcol分别表示其损失对应权重。
(3)算法流程图
训练数据生成后，本发明使用了高质量的图像对来反复训练本发明的GAN网络。在训练判别器阶段，本发明将一个批次的生成样本和一个批次的真实样本随机混淆，生成一个批次的混淆样本重新作为判别器输入。判别器试图识别真实和伪造的图像，因此对判别器进行了训练，其等价于最大化判别损失的过程。训练生成器网络的过程是使公式3-1最小化，以保证生成图片相较真实图片各方面损失最小，生成效果逼真。
为更简洁明了地表示整个算法流程，G,D分别表示为生成器网络，判别器网络，训练时一个批次的大小为m。具体细节参照以下算法流程：
4.3亮度注意力机制模块
为解决低照度图像中亮度分布不均匀，传统图像增强方法一般针对图片整体进行增强，而忽略了照片中各个区域亮度不一致的情况，进而容易造成高亮度区域过曝光，低亮度区域相对欠曝光的问题，设计了一个类U-net的亮度注意力分支网络，用来预测低光照图像中弱光区域的分布，从而促进网络对图片中弱光区域给予更多的关注。
亮度注意力分支网络作为辅助网络，其训练得到的亮度注意力图与主干网络的输出相结合，加大低照度图片中弱光区域的增强效果。图3为亮度注意力分支网络，图中输出图像的白色区域代表输入图像的低照度区域，黑色区域代表输入图像较亮区域。输入图像到U-net最底部是光照信息下采样过程，从底部到U-net右侧是融合多尺度光照信息，以此对低照度图片中的光照信息充分建模，最后生成亮度注意力图。
为了更好地约束该模块对光照分布建模，本发明使用了如下注意力损失函数：
La＝||Fa(Ix)-A|| (4-2)
这里Ix表示输入图片，A表示期望的亮度注意力图，Fa(Ix)表示预测的亮度注意力。其中期望的亮度注意力图A通过公式3-3计算获得。
/>
其中Ix表示低照度图片，Iy表示真实照度图片，maxc()表示取图片RGB通道上最大像素值。
4.3增强网络模块
该模块作为主干网络，用于克服图片低对比度的缺点并改善细节，实现增强图片的效果。考虑到低照度图片中弱光区域特征信息较少，且可能存在噪声干扰，
本发明使用残差连接构建基础残差模块，用于加深网络层数，提高网络对低照度图片增强的建模能力，避免由于网络加深造成特征损失。因此，本发明采用了残差模块作为该增强网络中的特征变换层，如图6所示。
如图6所示，该模块包含2层3x3普通卷积，每次卷积之后接着进行实例归一化和Relu激活，最后和输入相加得到最终输出结果。残差网络己经在多个领域证实了其在像素级任务中的有效性，如目标检测、语义及图像分割。该操作使用残差连接，可以训练更深的网络，并避免特征损失。
通过引入残差摸块，增强网络结构如图7所示：
如图7所示，图中蓝色块，第一层用于特征提取，实现从rgb通道到多个特征，最后两层用于恢复rgb图片，实现多特征转换为rgb图片；图中橙色块表示残差单元，通过连接多个残差单元进行复杂的特征变换，提高网络增强低照度图片的建模能力。
为了约束增强网络提高图片整体感知质量，设计了如下4种损失函数：
(i)内容损失
本发明根据预先训练VGG-19网络的ReLU层产生的激活图来定义内容损失。这种损失鼓励它们具有相似的特征表示，而不是测量图像之间的每像素差异，而是包含内容和感知质量的各个方面。在本发明的情况下，它用于保存图片语义，因为其他损失都没有考虑。令φi为VGG-19网络在第i个卷积层之后获得的特征图，则本发明的内容损失定义为增强图片和目标图片的特征表示之间的欧式距离
(ii)总变差损失
这个损失可以增强图像的空间平滑度，对生成的组合图像的像素进行操作，促使生成图像具有空间连续性，从而避免相邻像素之间的重大差异，防止图像中出现棋盘图案。
这里的C，H，W分别是增强图片Ie的通道数，高度，宽度，分别是增强图片在x，y反向的梯度。由于他的权重相对较低，在消除噪声的同时也能不损害图片高频部分。
(iii)颜色损失
为了避免颜色失真，同时评估增强后图片和目标图片间的色彩差异，本发明引入颜色损失。它是先对图片应用高斯模糊，再计算他们的欧式距离。颜色损失定义如下：
Lcolor＝||δ(G(Ix))-δ(Iy)||2 (4-6)
这里δ表示高斯模糊函数，用于移除图片的局部细节，但保留其全局信息，例如色彩。
(v)对抗损失
该损失鼓励生成网络转换低照度图片到自然图片，促进生成器学习自然图像的特性，包括纹理，对比度等。同时本发明使用梯度惩罚来稳定判别器的训练的，对抗损失定义如下：
这里D代表判别网络，G代表生成网络，Ix,Iy分别表示低照度图片，自然照度图片。
4.4实验设置
对于本发明的实验，本发明使用DIVerse 2K(div2k)分辨率高质量图像数据集，其中包含800张图片为训练集，100张图片为验证集。该数据集曾被用于NTIRE(CVPR 2017和CVPR 2018)和@PIRM(ECCV2018)比赛中。
由于低照度数据集获取较为困难，本发明利用div2k合成低照度数据集。低照度图像具有两个显着特征：低亮度和噪音，本发明采用伽玛校正和随机参数为图片添加低亮度，公式如下：
IL＝rand·(IH)γ (4-1)
其中，IL为低照度图片，rand为(0,1)之间的随机数，IH为高分辨率图片，γ为gamma系数，服从[1.1,2]之间的均匀分布。同时也考虑到了低光照给图片带来的噪声问题，这里采用方差服从[0.01,0.05]均匀分布的高斯噪声，这样在div2k数据集上制作了含30744张图片的训练集，1080张图片的测试集，图片大小为100*100，如图11所示。
本发明通过Tensorflow完成的本发明实验。本发明提出的网络可以迅速收敛，使用合成的数据集在NVIDIA GeForce GTX1080上训练了20000代。为了防止过度拟合，本发明使用翻转和旋转以进行数据增强。本发明将批处理大小设置为32，输入图像值被缩放至[0，1]。本发明使用在VGG-19网络第5个卷积模块的第4层作为感知损失提取层。
在实验中，使用Adam优化器进行训练，本发明还使用学习率衰减策略，当损失指标停止改善时本发明降低50％的学习率。同时为了稳定Gan训练，本发明采用谱归一化和梯度惩罚来约束判别器。
4.5在合成数据集实验
为验证本发明提出的图像增强算法的性能，实验同如下具有代表性的图像增强算法进行了比较：直方图均衡(HE)、反射光照估计(SRIE)、以及深度学习方法DSLR。
在合成数据集上，本发明对比了HE，SRIE，DSLR这3种方法，由于有些方法无法实现去噪功能，本发明联合BM3D方法进行去噪，进而产生最终的结果。定量的结果如表4所示，定性的结果如图13所示。
表4本发明的方法同HE，SRIE，DSLR在合成数据集实验结果
从表4可知，本发明的方法在2个指标上均超过了其他方法，说明了该方法的优越性。相比传统的方法HE，SRIE，本发明在PSNR上分别提高了60.2％，52.8％，，在SSIM上分别提高了177.5％，72.2％，这表明本发明方法在合成数据集上性能远超于传统算法，尤其是HE算法；对比当前的深度学习方法DSLR，本发明在PSNR上也提升了16.1％，SSIM上略有提升，说明本发明方法有效减少了图片噪声。由此可见，本发明的方法较传统方法效果有很大提升，较深度学习的方法也有一定优势。
对比图13中各算法的主观视觉效果可以看出，本章算法有效地增强了图片的亮度，并提高了图片整体感知质量。例如，第一行图片中，HE，DSLR算法增强的图片存在明显色差，SRIE的图片又亮度较暗，只有本发明方法增强后的图片亮度恢复较高，同时图片的对比度较适中，基本没有色差，整体视觉效果几乎和真实图片一致。
对于图14的亮度注意力图，较白色区域即对应原图的低照度部分，较黑色区域即对应原图高亮度部分，可以发现，白色和黑色区域在亮度注意力图中的分布与原图中亮度的分布基本一致，说明本发明算法生成的亮度注意力图比较有效；从图3的第3行效果图进一步可以看出，低照度图片中的右边白色背心亮度相对较高，但仍存在部分区域较暗，同时左边灰色背心整体亮度极低，细节丢失严重，通过本发明网络预测的亮度注意力图，增强后的图片灰色背心对应低照度的部分得到较大地亮度提高和细节增强，同时白色背心较暗区域有一定地亮度提高，但也避免了高亮度部分过度增强，说明亮度注意力图能较好地针对图片中不同程度亮度的区域进行相应的恢复。
4.6在真实数据集实验
低光配对数据集(LOL)包含500张低/正常光图像对，是一个在真实场景中用于低照度增强拍摄的图像对的数据集，大多数弱光图像是通过更改曝光时间和ISO来收集的，并使用了三步法对齐了图像对。该数据集包含从各种场景中捕获的图像，例如房屋，校园，俱乐部，街道。基于该数据集，本发明制作了11592张训练集照片，360张测试集照片。
在LOL数据集上，本发明对比了HE，SRIE，DSLR这3种方法，由于有些方法无法实现去噪功能，本发明联合BM3D方法进行去噪，进而产生最终的结果。定量的结果如表2所示，定性的结果如图14所示。
对比图15中各算法的主观视觉效果可以看出，HE算法在LOL数据集上出现了较多的内容失真和颜色失真，例如增强第一张图片时，HE的图片中墙壁上了出现了明显背景无关的伪影，并且整体图像颜色偏灰，增强的第二张图片时，深色的地板和真实照片淡木色地板明显不符；SRIE算法增强后的图片则出现较多亮度失真，从第一张和第二张图片可以看出，其对低照度图片亮度的提升还不足以辨别图像内容；DSLR算法能改善图片亮度和保留一定内容，但仍存在过曝光和局部噪声问题，如增强的两张图片中，第一张白色的纳衣柜门明显偏亮，第二张图片的地板和墙壁亮度过高，同时放大图片后可以发现，其局部存在一定的噪声和细节不够平滑；而本发明的方法增强后的图片亮度适中，避免了过曝光问题，同时内容保留完整，细节信息丢失较少。
表5本发明的方法同HE，SRIE，DSLR在LOL数据集实验结果
从表5可知，本发明的方法在2个指标上均超过了其他方法，表明在真实数据集上，本发明的方法性能也较优秀，鲁棒性较好。相比传统的方法HE，SRIE，本发明在PSNR上分别提高了36.11％，77.27％，在SSIM上分别提高了74.06％，86.76％；对比当前的深度学习方法DSLR，本发明在PSNR上也提升了9.69％，SSIM提升了0.04％。由此可见，本发明的方法较传统方法效果有很大提升，较深度学习的方法也有一定优势。
对于图16的亮度注意力图，本发明注意到整体图像比较清晰，基本没有噪点，主要原因是由于LOL数据集里面的低照度图片更多的是亮度较低，且噪声非常少。可以发现，白色和黑色区域在亮度注意力图中的分布与原图中亮度的分布吻合程度较高，说明本发明算法生成的亮度注意力图比较准确，符合真实低照度图片中亮度的分布。
DSLR算法的低照度图片增强数据集(DPED)包含由三部智能手机和一台DSLR相机采集的大规模现实世界数据集。为了确保所有相机同时拍摄照片，将设备安装在三脚架上并通过无线控制系统远程激活。照片是白天在各种各样的地方，在各种光照和天气条件下拍摄。这些照片是在自动模式下拍摄的，所有照片均使用默认设置。最终数据集包含Sony智能手机的4549张照片，iPhone的5727张照片和黑莓相机的6015张照片。本发明选择了作者提供的iPhone对齐图片数据集，包含约16万张图片。
在DPED数据集上，本发明对比了HE，SRIE，DSLR这3种方法，由于有些方法无法实现去噪功能，本发明联合BM3D方法进行去噪，进而产生最终的结果。定量的结果如表5所示，定性的结果如图17所示。
特别说明的是，由于DPED数据集并非严格对齐(即低照度图片和真实图片像素级一一对应)，所以这里并未展示出真实图片，仅为各方法增强后图片和原始低照度图片对比。
对比图15中各算法的主观视觉效果可以看出，本发明方法增强后的图片整体亮度适中，视觉效果更好更自然。反观HE方法的图像色彩差异过于鲜明，出现了对比度过饱和现象；SRIE方法的图像整体偏绿色，存在较多的颜色失真；而DSLR方法的图像相比本发明方法，整体亮度偏暗。说明本发明的方法在低照度图像方面更为有效。
表6本发明的方法同HE，SRIE，DSLR在DPED数据集视觉效果
在表6中，本发明的方法在2个指标上均超过了其他方法，说明了该方法的优越性。相比传统的方法HE，SRIE，本发明在PSNR上分别提高了43.08％，34.61％，在SSIM上分别提高了69.56％，43.06％；对比当前的深度学习方法DSLR，本发明在PSNR上也提升了0.20％，SSIM提升了0.29％，提升幅度相比LOL数据集在PNSR上下降了97.9％，主要原因在于DSLR方法是针对DPED数据专门提出的，所以表现比较好，从而导致了提升幅度相对减少。由此可见，在DPED数据集上本发明的方法较传统方法效果有很大提升，较深度学习的方法也有一定优势。
对于亮度注意力图，可以发现图像整体比较细腻和清晰，如第一张图片天空区域亮度有高有底，所以其注意力图中出现了明显的灰度变化，以表示不同的亮度分布，同时第二张图片的天空区域亮度极高，对应其注意力图则基本呈黑色，以表明该区域属于非低照度区域，由此可见，本发明的亮度注意力分支网络对低照度图片中的亮度分布建模的高效性。
4.7应用于科学摄影
本发明的算法实现的理论基础于现实实验中结果的优越性，经过对比不难得出在现行对于低照度图像进行增强的算法中，本发明的算法具有独特的优越性。本发明将本算与科学摄影进行结合，进而解决本发明旨在解决的科学摄影面对低光照环境时的困难。
本发明根据摄影设备的不同，将结合模式设计成为两种不同的类型。
本发明根据硬件设备能否将算法直接应用于摄影镜头，分别设计两种不同的结合模式。
算法可以直接应用于摄影镜头。
算法不能直接应用于摄影镜头。
首先来看第一种情况，本发明直接将算法设计成为摄影镜头可以选取的一种模式，详细如图所示。
在摄像机的程序中编入低照度图像增强模式，直接应用基于亮度注意力生成对抗网络的低照度图像增强算法增强图像结果，直接生成效果优秀的照片。
第二种情况，由于摄像机硬件原因或者拍摄条件不允许，本发明设置后置增强模式来解决科学摄影中的问题。
本发明在拍摄获取图片后，将其交由后端应用算法进行增强，之后产出增强过后的高质量图片呈现给研究者，进而解决科学摄影中的问题。
在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上；术语“上”、“下”、“左”、“右”、“内”、“外”、“前端”、“后端”、“头部”、“尾部”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种基于亮度注意力机制低照度图像增强算法的摄影方法，其特征在于，所述基于亮度注意力机制低照度图像增强算法的摄影方法包括：
利用摄像设备中嵌入的低照度图像增强算法进行摄影，并利用基于亮度注意力生成对抗网络的低照度图像增强网络增强图像；
或利用摄像设备进行低照度图像获取，利用基于亮度注意力生成对抗网络的低照度图像增强网络对获取的图像进行增强，得到增强后的摄影图像；
所述基于亮度注意力生成对抗网络的低照度图像增强网络包括生成器、判别器以及损失函数；
所述生成器包括增强网络以及注意力分支网络；
所述增强网络，用于将输入图像作为一个整体转换成一个在新空间中类似的图片；
所述注意力网络，用于预测弱光照的位置掩码；
所述生成器还用于组合输入图像，将注意力图和转换后的输入构成最终增强后的图像；
所述判别器，用于时接收生成器生成的图片和真实图片，产生真假的预测值；
所述损失函数为：
Loss＝ωaLa+ωadvLadv+ωconLcon+ωtvLtv+ωcolLcol；
其中La,Ladv,Lcon,Ltv,Lcol分别表示注意力损失，对抗损失，内容损失，总变差损失，颜色损失，ωa,ωadv,ωcon,ωtv,ωcol分别表示其损失对应权重；
所述生成器包括：
所述生成器增强网络包括：
所述生成器增强网络基于完全卷积网络，并利用卷积神经网络的属性；所述生成器增强网络由多个残差块和卷积块2部分组成；所述生成器网络开始是1个卷积块；中间部分包含4个残差块，用于保持高度或宽度恒定，且每次卷积之后进行实例正则化和ReLU激活；最后是2个卷积块；
所述生成器网络除残差块外，最后一个卷积层是tanh激活，且每个卷积层之后只有ReLU激活；
所述注意力分支网络包括：
所述注意力分支网络的网络结构为类U-net的全卷积网络结构；包括一个用于获取多尺度上下文信息的收缩路径、一个对称的用于恢复多级特征图的扩张路径以及2个用于恢复和输入相同大小的注意力图的卷积层；
所述收缩路径有4个下采样卷积块，每个卷积块包含步长为1的2层卷积层，步长为2的1层池化层；
所述扩张路径有4个上采样反卷积块，每个反卷积块包含步长为1的2层卷积层，1个反卷积层和1层特征拼接；
所述2个卷积层中1个是反卷积层，1个是普通卷积；最后一个卷积层的激活函数为tanh；所述卷积层卷积核大小为3x3，除最后一层外，卷积之后使用lrelu函数激活；
所述注意力分支网络还包括：
所述注意力分支网络即亮度注意力分支网络，包括上采样层以及下采样层；用于预测低光照图像中弱光区域的分布；
所述亮度注意力分支网络通过获取输入图像到U-net最底部是光照信息下采样层，从底部到U-net右侧是融合多尺度光照信息，对低照度图片中的光照信息充分建模，生成亮度注意力图；同时将训练得到的亮度注意力图与主干网络的输出相结合，加大低照度图片中弱光区域的增强效果；
所述亮度注意力分支网络的注意力损失函数为：
La＝||Fa(Ix)-A||；
其中，Ix表示输入图片，A表示期望的亮度注意力图，Fa(Ix)表示预测的亮度注意力；
所述期望的亮度注意力图A计算公式如下：
其中Ix表示低照度图片，Iy表示真实照度图片，maxc()表示取图片RGB通道上最大像素值。
2.如权利要求1所述基于亮度注意力机制低照度图像增强算法的摄影方法，其特征在于，所述增强网络还包括：
所述增强网络依次包括一层普通卷积层、4层残差模块以及2层普通卷积层；
所述第一层普通卷积层，用于特征提取，实现从rgb通道到多个特征；
所述残差模块通过连接多个残差单元进行复杂的特征变换，提高网络增强低照度图片的建模能力；所述残差模块作为所述增强网络的特征变换层，包含2层3x3普通卷积，每次卷积之后进行实例归一化和Relu激活，最后和输入相加得到最终输出结果；
所述最后两层普通卷积层，用于恢复rgb图片，实现多特征转换为rgb图片；
所述增强网络损失函数如下：
1)内容损失即增强图片和目标图片的特征表示之间的欧式距离，用于保存图片语义；
其中φi为VGG-19网络在第i个卷积层之后获得的特征图；
2)总变差损失，用于增强图像的空间平滑度，对生成的组合图像的像素进行操作，促使生成图像具有空间连续性；
其中，C，H，W分别是增强图片Ie的通道数，高度，宽度，分别是增强图片在x，y反向的梯度；
3)颜色损失：
Lcolor＝||δ(G(Ix))-δ(Iy)||2；
其中，δ表示高斯模糊函数，用于移除图片的局部细节，但保留其全局信息；
4)对抗损失，用于鼓励生成网络转换低照度图片到自然图片，促进生成器学习自然图像的特性；
其中，D代表判别网络，G代表生成网络，Ix,Iy分别表示低照度图片，自然照度图片。
3.如权利要求1所述基于亮度注意力机制低照度图像增强算法的摄影方法，其特征在于，所述判别器包括：
所述判别器网络包含5个卷积层，1个全连接层和1个softmax层；
所述卷积层用于逐步抽取输入特征，卷积核的尺寸从11缩小到3，特征通道数从3增大到192；
所述全连接层和softmax层，用于根据提取的特征图预测其来源于生成器或真实图片的可能，结果是一个(Batch,Ptrue,Pfalse)3元组，Ptrue,Pfalse值都在[0,1]范围。
4.一种用于权利要求1-3任意一项所述基于亮度注意力机制低照度图像增强算法的摄影方法的基于亮度注意力生成对抗网络的低照度图像增强网络构建方法，其特征在于，所述基于亮度注意力生成对抗网络的低照度图像增强网络构建方法包括：
步骤一，确定基于亮度注意力生成对抗网络的低照度图像增强网络的网络结构，构建基于亮度注意力生成对抗网络的低照度图像增强网络的网络架构；
步骤二，获取训练数据，并利用训练数据对构建的基于亮度注意力生成对抗网络的低照度图像增强网络进行训练；即得所述基于亮度注意力生成对抗网络的低照度图像增强网络。
5.如权利要求4所述基于亮度注意力生成对抗网络的低照度图像增强网络构建方法，其特征在于，步骤二中，所述利用训练数据对构建的基于亮度注意力生成对抗网络的低照度图像增强网络进行训练包括：
(1)通过获取训练数据，从训练数据集随机采样m个低照度图片对固定判别网络的输入为Iadv＝{0,0,…,0}，长度为m；最小化生成器网络总体损失:Lossgen＝ωaLa+ωadvLadv+ωconLcon+ωtvLtv+ωcolLcol，对生成器网络进行训练；
(2)通过将一个批次的生成样本和一个批次的真实样本随机混淆，生成一个批次的混淆样本重新作为判别器输入，即随机初始化判别网络的输入为Iadv＝{1,0,…,0}，长度为m；从训练数据集随机采样m个低照度图片最大化判别器网络总体损失：/>进行判别器训练。
6.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1-3任意一项所述基于亮度注意力机制低照度图像增强算法的摄影方法，包括如下步骤：
将低照度图像增强算法嵌入摄像设备中，利用摄像设备的低照度图像增强模式进行摄影，直接应用基于亮度注意力生成对抗网络的低照度图像增强网络增强图像结果；
或利用摄像设备摄影进行低照度图像获取，利用基于亮度注意力生成对抗网络的低照度图像增强网络对获取的图像进行增强，得到增强后的摄影图像。
7.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行权利要求1-3任意一项所述基于亮度注意力机制低照度图像增强算法的摄影方法，包括如下步骤：
将低照度图像增强算法嵌入摄像设备中，利用摄像设备的低照度图像增强模式进行摄影，直接应用基于亮度注意力生成对抗网络的低照度图像增强网络增强图像结果；
或利用摄像设备摄影进行低照度图像获取，利用基于亮度注意力生成对抗网络的低照度图像增强网络对获取的图像进行增强，得到增强后的摄影图像。
CN202010778450.9A 2020-08-05 2020-08-05 一种基于亮度注意力机制低照度图像增强算法的摄影方法 Active CN111915526B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010778450.9A CN111915526B (zh) 2020-08-05 2020-08-05 一种基于亮度注意力机制低照度图像增强算法的摄影方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010778450.9A CN111915526B (zh) 2020-08-05 2020-08-05 一种基于亮度注意力机制低照度图像增强算法的摄影方法

Publications (2)

Publication Number Publication Date
CN111915526A CN111915526A (zh) 2020-11-10
CN111915526B true CN111915526B (zh) 2024-05-31

Family

ID=73287220

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010778450.9A Active CN111915526B (zh) 2020-08-05 2020-08-05 一种基于亮度注意力机制低照度图像增强算法的摄影方法

Country Status (1)

Country Link
CN (1) CN111915526B (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111695633B (zh) * 2020-06-12 2022-04-05 桂林电子科技大学 基于rpf-cam的低照度目标检测方法
CN112381897B (zh) * 2020-11-16 2023-04-07 西安电子科技大学 基于自编码网络结构的低照度图像增强方法
CN112435191B (zh) * 2020-11-25 2024-04-16 西安交通大学 一种基于多个神经网络结构融合的低照度图像增强方法
CN112651917A (zh) * 2020-12-28 2021-04-13 北京信息科技大学 一种基于生成对抗网络的空间卫星低照度图像增强方法
CN112634168A (zh) * 2020-12-30 2021-04-09 哈尔滨工业大学（威海） 一种结合边缘信息的图像修复方法
CN112927160B (zh) * 2021-03-12 2022-11-18 郑州轻工业大学 一种基于深度Retinex的单张低光图像增强方法
CN113052931A (zh) * 2021-03-15 2021-06-29 沈阳航空航天大学 基于多约束gan的dce-mri图像生成方法
CN113034413B (zh) * 2021-03-22 2024-03-05 西安邮电大学 一种基于多尺度融合残差编解码器的低照度图像增强方法
CN113128413A (zh) * 2021-04-22 2021-07-16 广州织点智能科技有限公司 一种人脸检测模型训练方法、人脸检测方法及其相关装置
CN113379616B (zh) * 2021-04-28 2023-09-05 北京航空航天大学 一种生成钆造影剂增强磁共振图像的方法
CN113191995B (zh) * 2021-04-30 2023-12-22 东北大学 一种基于深度学习的视频图像自动曝光校正方法
CN113112441B (zh) * 2021-04-30 2022-04-26 中北大学 基于密集网络和局部亮度遍历算子的多波段低分辨率图像同步融合方法
CN113222846B (zh) * 2021-05-18 2024-05-10 北京达佳互联信息技术有限公司 图像处理方法和图像处理装置
CN113222953B (zh) * 2021-05-21 2023-10-20 西安电子科技大学 基于深度伽马变换的自然图像增强方法
CN113284064B (zh) * 2021-05-24 2023-04-07 西安理工大学 一种基于注意力机制跨尺度上下文低照度图像增强方法
CN113177523A (zh) * 2021-05-27 2021-07-27 青岛杰瑞工控技术有限公司 一种基于改进AlexNet的鱼类行为图像识别方法
CN113256528B (zh) * 2021-06-03 2022-05-27 中国人民解放军国防科技大学 基于多尺度级联深度残差网络的低照度视频增强方法
CN113393446B (zh) * 2021-06-21 2022-04-15 湖南大学 基于注意力机制的卷积神经网络医学图像关键点检测方法
CN113531426A (zh) * 2021-07-14 2021-10-22 深圳思悦创新有限公司 具有坐姿提醒、自关闭和亮度调节功能的嵌入式ai台灯
CN113673340B (zh) * 2021-07-16 2024-05-10 北京农业信息技术研究中心 一种害虫种类图像识别方法及系统
CN113313657B (zh) * 2021-07-29 2021-12-21 北京航空航天大学杭州创新研究院 一种用于低光照图像增强的非监督学习方法和系统
CN113610725A (zh) * 2021-08-05 2021-11-05 深圳市慧鲤科技有限公司 图片处理方法、装置、电子设备及存储介质
CN114049732B (zh) * 2021-09-29 2023-07-21 国网山东省电力公司郓城县供电公司 一种变电站视频监控方法、系统及存储介质
CN113744265B (zh) * 2021-11-02 2022-02-01 成都东方天呈智能科技有限公司 一种基于生成对抗网络的异常检测系统、方法和存储介质
CN114129801A (zh) * 2021-12-08 2022-03-04 郑州大学第一附属医院 一种血液透析用导管护理支架及安装方法
CN114926348B (zh) * 2021-12-22 2024-03-01 天翼数字生活科技有限公司 一种去除低照度视频噪声的装置和方法
CN114283288B (zh) * 2021-12-24 2022-07-12 合肥工业大学智能制造技术研究院 一种夜间车辆图像增强的方法、系统、设备及存储介质
CN114494258B (zh) * 2022-04-15 2022-08-30 清华大学 镜头的像差预测和图像重建方法及装置
CN115240022A (zh) * 2022-06-09 2022-10-25 北京大学 一种使用长曝光补偿的低光照图像增强方法
CN115496744A (zh) * 2022-10-17 2022-12-20 上海生物芯片有限公司 基于混合注意力的肺癌图像分割方法、装置、终端及介质
CN116723412B (zh) * 2023-08-10 2023-11-10 四川玉米星球科技有限公司 一种照片中背景光影均化方法及文本拍摄扫描系统
CN117152025B (zh) * 2023-10-30 2024-03-01 硕橙（厦门）科技有限公司 基于复合尺度特征的过亮图像增强方法、装置及设备
CN117333403B (zh) * 2023-12-01 2024-03-29 合肥金星智控科技股份有限公司 图像增强方法、存储介质和图像处理系统
CN117893413B (zh) * 2024-03-15 2024-06-11 博创联动科技股份有限公司 基于图像增强的车载终端人机交互方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109636754A (zh) * 2018-12-11 2019-04-16 山西大学 基于生成对抗网络的极低照度图像增强方法
CN109712203A (zh) * 2018-12-29 2019-05-03 福建帝视信息科技有限公司 一种基于自注意力生成对抗网络的图像着色方法
CN110415184A (zh) * 2019-06-28 2019-11-05 南开大学 一种基于正交元空间的多模态图像增强方法
CN110634101A (zh) * 2019-09-06 2019-12-31 温州大学 一种基于随机重构的无监督图像到图像的转换方法
CN110675328A (zh) * 2019-08-02 2020-01-10 北京巨数数字技术开发有限公司 基于条件生成对抗网络的低照度图像增强方法及装置
CN111260545A (zh) * 2020-01-20 2020-06-09 北京百度网讯科技有限公司 生成图像的方法和装置
CN111275642A (zh) * 2020-01-16 2020-06-12 西安交通大学 一种基于显著性前景内容的低光照图像增强方法
KR102134405B1 (ko) * 2019-06-27 2020-07-15 중앙대학교 산학협력단 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106875352B (zh) * 2017-01-17 2019-08-30 北京大学深圳研究生院 一种低照度图像增强方法
US10783622B2 (en) * 2018-04-25 2020-09-22 Adobe Inc. Training and utilizing an image exposure transformation neural network to generate a long-exposure image from a single short-exposure image

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109636754A (zh) * 2018-12-11 2019-04-16 山西大学 基于生成对抗网络的极低照度图像增强方法
CN109712203A (zh) * 2018-12-29 2019-05-03 福建帝视信息科技有限公司 一种基于自注意力生成对抗网络的图像着色方法
KR102134405B1 (ko) * 2019-06-27 2020-07-15 중앙대학교 산학협력단 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치 및 방법
CN110415184A (zh) * 2019-06-28 2019-11-05 南开大学 一种基于正交元空间的多模态图像增强方法
CN110675328A (zh) * 2019-08-02 2020-01-10 北京巨数数字技术开发有限公司 基于条件生成对抗网络的低照度图像增强方法及装置
CN110634101A (zh) * 2019-09-06 2019-12-31 温州大学 一种基于随机重构的无监督图像到图像的转换方法
CN111275642A (zh) * 2020-01-16 2020-06-12 西安交通大学 一种基于显著性前景内容的低光照图像增强方法
CN111260545A (zh) * 2020-01-20 2020-06-09 北京百度网讯科技有限公司 生成图像的方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
一种基于自注意力机制的文本图像生成对抗网络;黄宏宇;谷子丰;;重庆大学学报(第03期);全文 *
条件生成对抗网络的低照度图像增强方法;黄鐄;陶海军;王海峰;;中国图象图形学报(第12期);全文 *

Also Published As

Publication number Publication date
CN111915526A (zh) 2020-11-10

Similar Documents

Publication Publication Date Title
CN111915526B (zh) 一种基于亮度注意力机制低照度图像增强算法的摄影方法
Chen et al. Real-world single image super-resolution: A brief review
Yan et al. Attention-guided network for ghost-free high dynamic range imaging
CN115442515B (zh) 图像处理方法和设备
CN111402146B (zh) 图像处理方法以及图像处理装置
US20230080693A1 (en) Image processing method, electronic device and readable storage medium
US9344638B2 (en) Constant bracket high dynamic range (cHDR) operations
CN111915525B (zh) 基于改进深度可分离生成对抗网络的低照度图像增强方法
WO2020152521A1 (en) Systems and methods for transforming raw sensor data captured in low-light conditions to well-exposed images using neural network architectures
CN113284054A (zh) 图像增强方法以及图像增强装置
CN111127336A (zh) 一种基于自适应选择模块的图像信号处理方法
Wang et al. MAGAN: Unsupervised low-light image enhancement guided by mixed-attention
CN111899193B (zh) 一种基于低照度图像增强算法的刑侦摄影系统及方法
CN110674759A (zh) 一种基于深度图的单目人脸活体检测方法、装置及设备
US11887218B2 (en) Image optimization method, apparatus, device and storage medium
Zhang et al. Deep motion blur removal using noisy/blurry image pairs
Lv et al. Low-light image enhancement via deep Retinex decomposition and bilateral learning
Zheng et al. Low-light image and video enhancement: A comprehensive survey and beyond
Meng et al. Gia-net: Global information aware network for low-light imaging
Chen et al. End-to-end single image enhancement based on a dual network cascade model
CN114638764B (zh) 基于人工智能的多曝光图像融合方法及系统
CN111161189A (zh) 一种基于细节弥补网络的单幅图像再增强方法
CN116664435A (zh) 一种基于多尺度人脸解析图融入的人脸复原方法
US20230186446A1 (en) Image processing methods and systems for low-light image enhancement using machine learning models
Ko et al. IceNet for interactive contrast enhancement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant