CN112381897A - 基于自编码网络结构的低照度图像增强方法 - Google Patents

基于自编码网络结构的低照度图像增强方法 Download PDF

Info

Publication number
CN112381897A
CN112381897A CN202011276556.5A CN202011276556A CN112381897A CN 112381897 A CN112381897 A CN 112381897A CN 202011276556 A CN202011276556 A CN 202011276556A CN 112381897 A CN112381897 A CN 112381897A
Authority
CN
China
Prior art keywords
image
low
illumination image
illumination
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011276556.5A
Other languages
English (en)
Other versions
CN112381897B (zh
Inventor
刘丹华
姜嵩
高大化
秦建瑞
石光明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202011276556.5A priority Critical patent/CN112381897B/zh
Publication of CN112381897A publication Critical patent/CN112381897A/zh
Application granted granted Critical
Publication of CN112381897B publication Critical patent/CN112381897B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明提出一种基于自编码网络结构的低照度图像增强方法，用于解决现有低照度图像增强方法中存在的偏色问题；其实现步骤为：1)构建训练样本集和测试样本集；2)构建低照度图像增强网络；3)对低照度图像增强网络模型进行训练；4)保存训练好的低照度图像增强网络模型；5)将测试样本集中的低照度图像输入保存好的低照度图像增强网络模型，得到增强图像并保存,本发明通过将通道注意力残差模块和空间注意力残差模块引入网络结构中，有效地解决了低照度图像增强过程中出现的偏色问题，提高了增强效果，可用于相机摄影的后期处理。

Description

基于自编码网络结构的低照度图像增强方法
技术领域
本发明属于数字图像处理技术领域，特别涉及到一种图像增强方法，可以用于相机摄影的后期处理。
背景技术
数字图像处理任务可以分为低级数字图像处理任务和高级数字图像处理任务两大类，其中后者包含图像检测、图像分割和图像理解任务，前者包含图像去噪、图像去模糊、图像超分辨和图像增强任务。低照度图像增强可以认为是一种图像增强任务，即在有监督数据的情况下，完成从低照度图像到正常照度图像的转换。
低照度图像增强可以大致分为传统方法和基于深度学习的方法两类，其中：
传统方法，包含基于直方图均衡化的方法、基于伽马变换的方法和基于Retinex理论的方法。其中基于直方图均衡化的方法和基于伽马变换的方法由于只考虑了低照度图像光照不足的因素，没有考虑其他的退化因素，会使得增强出的图像有不连续的情况。基于Retinex理论的一类方法是将一张彩色图像分解成反射图和光照图，而对低照度图像进行增强则是通过对低照度图像所分解出的反射图和光照图分别进行处理，最终得到一个增强后的图像。其典型方式有：a)单尺度SSR和多尺度MSR，该方式存在过度增强和自然性不足的问题。b)基于光照估计的图像增强方法LIME及其拓展方法，其存在偏色和噪音问题。
基于深度学习的方法主要有以下三种：
一是K.G.Lore等人在《Pattern Recognition》期刊上发表的一种基于自编码器的自然图像增强网络，该网络包含一种可以同时解决对比度不足问题和噪音问题的网络模块，完成低照度图像增强任务。
二是Shen等人认为多尺度的Retinex方法等价于一个有很多高斯卷积核的前向传播卷积神经网络，提出了一种基于深度卷积神经网络的暗光图像增强方法，完成低照度图像增强任务。
三是Wei等人提出了一种基于Retinex理论的低照度图像增强网络RetinexNet，这种方法把Retinex理论中的分解过程集成进端到端的神经网络中。对于光照图，是通过学习一个从低照度到正常照度的非线性映射完成光照图的增强。对于反射图，是利用BM3D算法来对反射图的噪音进行去除。结合对光照图和反射图的增强，最终完成低照度图像增强任务。
以上三种典型的基于深度学习的增强方法，由于均未完整考虑在低照度的图像退化条件下，图像存在的偏色、噪音和对比度不足的问题，因而增强结果的色彩保真度和细节恢复程度均较差。
发明内容
本发明的目的在于针对上述现有技术的不足，提出了一种基于自编码网络结构的低照度图像增强方法，以提高增强结果的色彩保真度，保障细节恢复程度。
为实现上述目的，本发明的技术包括如下：
(1)构建训练样本集和测试样本集：即从公开的包含低照度图像和正常照度图像对的暗光数据集中，选取15对场景有代表性的图片作为测试样集，其余的图片对作为训练样本集；
(2)构建低照度图像增强网络：
(2a)构建由下采样网络和反卷积网络级联组成的低照度图像增强网络模型；
(2b)根据训练样本集中的低照度图像和正常照度图像，获得引导图像F:
Figure BDA0002779244860000021
其中，IHM为正常照度图像最大值，ILM为低照度图像最大值，A为调整权重；
(2c)将训练样本集中的低照度图像与(2b)中获得的引导图像F的乘积输入(2a)构建的低照度图像增强网络模型中，得到初始输出图像；
(2d)根据训练样本集中的正常照度图像、低照度图像和(2c)中得到的初始输出图像,获得正常照度图像的光照图NL、正常照度图像的反射图NR、低照度图像的光照图UL、低照度图像的反射图UR、输出图像的光照图OL、输出图像的反射图OR：
Figure BDA0002779244860000022
Figure BDA0002779244860000031
其中，Ni为正常照度图像的第i个通道，Ui为低照度图像的第i个通道,Oi为输出图像的第i个通道。i∈{1,2,3}，i＝1、i＝2和i＝3分别代表图像的红色、绿色和蓝色通道；
(2e)定义低照度图像增强网络的总损失函数Lt：
Lt＝wp×Lp+ws×Ls+wg×Lg+wr×Lr，
其中，Lp为像素间损失函数，Ls为结构相似度损失函数，Lg梯度距离损失函数，Lr为反射图损失函数；wp、ws、wg和wr分别是Lp、Ls、Lg和Lr的权重；
(3)训练(2a)所构建的网络模型：
(3a)初始化下采样网络和反卷积网络的参数，设置迭代次数为e＝1，最大迭代次数为K，K≥1000；
(3b)计算训练样本集中的低照度图像与(2b)获得的引导图像F的乘积；
(3c)将(3b)中获得的乘积输入(2a)所构建的网络模型中，得到迭代输出图像；
(3d)基于(2e)所定义的总损失函数Lt，并根据(3c)中获得的迭代输出图像和训练样本集中的正常照度图像，计算出损失函数值；
(3e)利用随机梯度下降算法最小化(3d)计算出的损失函数值；
(3f)判断e是否等于最大迭代次数K，如果是，则保存训练好的低照度图像增强网络模型，并结束训练，否则，令e加1,并返回(3b)；
(3e)将测试样本集中的低照度图像输入(3f)中保存的低照度图像增强网络模型中，得到增强图像并保存；
本发明与现有技术相比，具有以下优点：
1.本发明由于构建了包含通道注意力机制残差模块和空间注意力机制残差模块的低照度图像增强网络模型，因而可在训练过程中，使通道注意力机制残差模块能通过对网络特征图在通道维度上进行加权来对低照度图像的偏色问题进行纠正；使空间注意力机制残差模块能通过对网络特征图在空间维度上进行加权来对低照度图像偏色问题的空间区域性进行约束，解决了现有方法在低照度图像增强过程中所忽视的偏色问题。
2.本发明由于构建了注意力引导图像，通过引导图像来对网络特征图进行空间加权使得网络模型能对低照度图像在空间域进行惩罚修正，进一步提升了空间注意力残差模块所起到的效果。
3.本发明由于构建了一种分解反射图和光照图的分解算法，并基于这种分解算法定义了反射图损失函数，通过最小化反射图损失函数，提高了图像的增强效果。
4.本发明构建了一种反射图损失函数内部项加权系数的确定方法，通过计算训练样本集的正常照度图像和训练样本集低照度图像的红、绿、蓝三个通道的方差，得到训练样本集的正常照度图像和训练样本集低照度图像的红、绿、蓝三个通道的方差的归一化距离，并将这三个通道的归一化距离作为加权系数，相对于现有技术采用的平均权重，本发明能够更加合理的对低照度图像进行惩罚，进一步提升了图像的增强质量。
附图说明
图1为本发明的实现流程图；
图2为本发明中构建的低照度图像增强网络结构的示意图；
图3为本发明与现有技术的增强结果对比图。
具体实施方式
以下结合附图对本发明的具体实施案例和效果作进一步详细描述。
参照图1，本发明的实现步骤如下：
步骤1，构建训练样本集和测试样本集。
从公开的包含低照度图像和正常照度图像对的暗光数据集中，选取15对场景有代表性的图片作为测试样本集，数据集中其余的图片对作为训练样本集。
步骤2，构建低照度图像增强网络。
(2a)构建低照度图像增强网络模型：
参照图2，构建本实例构建的低照度图像增强网络模型包括下采样网络和反卷积网络，其中：
所述下采样网络包括一个输入层、九个卷积层、九个批归一化层、四个通道注意力残差模块、四个空间注意力残差模块、十三个Relu非线性单元、四个最大池化层，用于提取低照度图像的高层特征图，具体的网络结构为：
输入层→第一卷积层→第一批归一化层→第一Relu非线性单元→第二卷积层→第二批归一化层→第二Relu非线性单元→第一通道注意力残差模块→第一空间注意力残差模块→第三Relu非线性单元→第一最大池化层→第三卷积层→第三批归一化层→第四Relu非线性单元→第四卷积层→第四批归一化层→第五Relu非线性单元→第二通道注意力残差模块→第二第一空间注意力残差模块→第六Relu非线性单元→第二最大池化层→第五卷积层→第五批归一化层→第七Relu非线性单元→第六卷积层→第六归一化层→第八Relu非线性单元→第三通道注意力残差模块→第三第一空间注意力残差模块→第九Relu非线性单元→第三最大池化层→第七卷积层→第七批归一化层→第十Relu非线性单元→第八卷积层→第八批归一化层→第十一Relu非线性单元→第四通道注意力残差模块→第四第一空间注意力残差模块→第十二Relu非线性单元→第四最大池化层→第九卷积层→第九批归一化层→第十三Relu非线性单元；
其中，每个卷积层的卷积核尺寸为3，步长为1，补零数为1；每个通道注意力残差模块的平均池化窗口尺寸为1；每个空间注意力残差模块的卷积核尺寸为3，步长为1，补零数为1；每个最大池化层的其池化核尺寸为2，池化步长为2；
所述反卷积网络，包括一个输入层、四个反卷积层、四个通道拼接层、九个卷积层、八个批归一化层、四个通道注意力残差模块、四个空间注意力残差模块、十二个Relu非线性单元、一个Sigmoid非线性单元，用于得到增强图像，具体的网络结构为：
输入层→第1反卷积层→第1通道拼接层→第1卷积层→第1批归一化层→第1Relu非线性单元→第2卷积层→第2批归一化层→第2Relu非线性单元→第1通道注意力残差模块→第1空间注意力残差模块→第3Relu非线性单元→第2反卷积层→第2通道拼接层→第3卷积层→第3批归一化层→第4Relu非线性单元→第4卷积层→第4批归一化层→第5Relu非线性单元→第2通道注意力残差模块→第2空间注意力残差模块→第6Relu非线性单元→第3反卷积层→第3通道拼接层→第5卷积层→第5批归一化层→第7Relu非线性单元→第6卷积层→第6批归一化层→第8Relu非线性单元→第3通道注意力残差模块→第3空间注意力残差模块→第9Relu非线性单元→第4反卷积层→第4通道拼接层→第7卷积层→第7批归一化层→第10Relu非线性单元→第8卷积层→第8批归一化层→第11Relu非线性单元→第4通道注意力残差模块→第4空间注意力残差模块→第12Relu非线性单元→第9卷积层→第1Sigomid非线性单元；
其中，每个反卷积层，其卷积核尺寸为4，步长为2，补零数为1；每个卷积层，其卷积核尺寸为3，步长为1，补零数为1；每个通道注意力残差模块，其平均池化窗口尺寸为1；每个空间注意力残差模块，其卷积核尺寸为3，步长为1，补零数为1；
(2b)根据训练样本集中的低照度图像和正常照度图像，获得引导图像F:
Figure BDA0002779244860000061
其中，IHM为正常照度图像最大值，ILM为低照度图像最大值，A为调整权重；
低照度图像具有区域性的退化不均的性质：有些区域退化比较严重，有些区域退化程度稍好；考虑到这种区域性的退化不均的性质，因此需要通过引导图像在网络模型训练过程中对低照度图像进行空间加权，从而避免出现过度增强或者增强不足的问题；
(2c)将训练样本集中的低照度图像与(2b)中获得的引导图像F的乘积输入(2a)构建的低照度图像增强网络模型中，得到初始输出图像；
(2d)根据训练样本集中的正常照度图像、低照度图像和(2c)中得到的初始输出图像,计算得到正常照度图像的光照图NL、正常照度图像的反射图NR、低照度图像的光照图UL、低照度图像的反射图UR、初始输出图像的光照图OL、初始输出图像的反射图OR：
Figure BDA0002779244860000062
Figure BDA0002779244860000063
其中，Ni为正常照度图像的第i个通道，Ui为低照度图像的第i个通道,Oi为输出图像的第i个通道；i∈{1,2,3}，i＝1、i＝2和i＝3分别代表图像的红色、绿色和蓝色通道；
由上述计算公式可知，对于图像中的某一像素点，它的光照信息，被认为是这个点在颜色空间上的模长，它的反射信息，被认为是这个点在颜色空间上的单位向量；
(2e)定义低照度图像增强网络的总损失函数Lt：
Lt＝wp×Lp+ws×Ls+wg×Lg+wr×Lr，
其中，Lp为像素间损失函数，Ls为结构相似度损失函数，Lg梯度距离损失函数，Lr为反射图损失函数，wp、ws、wg和wr分别是Lp、Ls、Lg和Lr的权重；
其中，Lp的计算公式为：
Figure BDA0002779244860000071
MSE为图像均方误差，IH是训练样本集中的正常照度图像，
Figure BDA0002779244860000072
为2(d)中获得的初始输出图像，Lp对初始输出图像与正常照度图像的每个像素点的距离进行了约束；
其中，Ls的计算公式为：
Figure BDA0002779244860000073
SSIM为图像结构相似度，Ls对初始输出图像与正常照度图像的结构信息进行了约束；其中，Lg的计算公式为：
Figure BDA0002779244860000074
Figure BDA0002779244860000076
为图像梯度，Lg对初始输出图像与正常照度图像的纹理细节信息进行了约束；
其中，Lr的计算公式为：
Figure BDA0002779244860000075
i∈{1,2,3}，i＝1、i＝2和i＝3，分别代表图像的红色、绿色和蓝色通道；IHi、ILi和
Figure BDA0002779244860000081
分别(2c)中得到的NR、UR和OR的第i个通道；std为图像方差，wi为每个通道的方差的权重；Lr对初始输出图像的反射图与正常照度图像的反射图的像素距离进行了约束；
步骤3，对低照度图像增强网络模型进行训练。
(3a)初始化下采样网络和反卷积网络的参数，设置迭代次数为e＝1，最大迭代次数为K，K≥1000；
(3b)计算训练样本集中的低照度图像与(2b)获得的引导图像F的乘积；
(3c)将(3b)中获得的乘积输入(2a)所构建的网络模型中，得到迭代输出图像；
(3d)基于(2d)所定义的总损失函数Lt，并根据(3c)中获得的迭代输出图像和训练样本集中的正常照度图像，计算出总损失函数值；
(3e)利用随机梯度下降算法最小化(3d)计算出的总损失函数值；
(3f)判断e是否等于最大迭代次数K；如果是，则保存训练好的低照度图像增强网络模型，并结束训练；否则，令e加1,并返回(3b)；
(3g)将测试样本集中的低照度图像输入(3f)中保存的低照度图像增强网络模型中，得到增强图像并保存，完成低照度图像的增强任务。
本发明的效果可以通过以下仿真实验进一步说明：
一、实验条件：
硬件平台：主频为2.20GHz的Intel Xeon E5-2650 CPU，128GB的内存；
软件仿真平台为：Ubuntu 16.04 64位操作系统，Pycharm开发平台；
软件仿真语言：Python；
使用的深度学习框架：Pytorch；
二、实验内容：
使用本发明和现有四种方法对测试样本集中的低照度图像进行增强，四种现有方法分别为：基于直方图均衡化的方法HE、基于MSR的方法MSR、基于光照估计的方法LIME和基于视网膜成像理论的方法RetinexNet，增强的结果如图3，其中：
图3(a)为测试样本集中的低照度图像，
图3(b)为HE方法的增强图像，
图3(c)为MSR方法的增强图像，
图3(d)为LIME方法的增强图像，
图3(e)为RetinexNet方法的增强图像，
图3(f)为本发明的增强图像；
对本发明的增强图像和现有方法的增强图像进行主观视觉对比：
将图3(f)和图3(d)对比，本发明由于引导图像参与训练，所以增强图像在反光处细节保持的较好；
将图3(f)和图3(e)对比，本发明由于包含通道注意力残差模块、空间注意力残差模块和反射图损失函数，所以增强图像在某些色彩丰富区域有很好的色彩保真度；
将图3(f)和图3(c)对比，本发明由于包含梯度距离损失函数，所以增强图像的纹理上有很好的保持效果；
对本发明的增强图像和现有方法的增强图像进行图像质量评价，评价指标为：峰值信噪比PSNR、结构相似度SSIM、亮度顺序误差LOE、自然图像质量NIQE和无参考图像质量PIQE；图像质量评价的对比结果如表1：
表1
PSNR SSIM LOE NIQE PIQE
HE 14.8006 0.4112 250.61 8.4763 51.7788
MSR 13.1728 0.4787 1414.38 8.1136 45.9488
LIME 16.7586 0.5644 695.50 8.3777 49.9709
RetinexNet 16.7740 0.5594 993.29 8.8792 57.6731
本发明 21.76 0.7924 288.52 3.2587 25.8274
从表1的图像质量评价对比结果可知，本发明在主要的图像质量评价指标上，均超越现有方法；
综上，本发明所提出的低照度图像增强算法，能够很好的保持图像的色彩信息，非均匀地对图像照度进行提升，相对于现有方法有效的提升了图像增强效果；
以上描述仅是本发明的一个具体实例，并不构成对本发明的任何限制。显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可在不背离本发明原理、结构的情况下，进行形式和细节上的各种修正和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (6)

1.一种基于自编码网络结构的低照度图像增强方法，其特征在于，包括如下：
(1)构建训练样本集和测试样本集：即从公开的包含低照度图像和正常照度图像对的暗光数据集中，选取15对场景有代表性的图片作为测试样集，其余的图片对作为训练样本集；
(2)构建低照度图像增强网络：
(2a)构建由下采样网络和反卷积网络级联组成的低照度图像增强网络模型；
(2b)根据训练样本集中的低照度图像和正常照度图像，获得引导图像F:
Figure FDA0002779244850000011
其中，IHM为正常照度图像最大值，ILM为低照度图像最大值，A为调整权重；
(2c)将训练样本集中的低照度图像与(2b)中获得的引导图像F的乘积输入(2a)构建的低照度图像增强网络模型中，得到初始输出图像；
(2d)根据训练样本集中的正常照度图像、低照度图像和(2c)中得到的初始输出图像,获得正常照度图像的光照图NL、正常照度图像的反射图NR、低照度图像的光照图UL、低照度图像的反射图UR、输出图像的光照图OL、输出图像的反射图OR：
Figure FDA0002779244850000012
Figure FDA0002779244850000013
其中，Ni为正常照度图像的第i个通道，Ui为低照度图像的第i个通道,Oi为输出图像的第i个通道。i∈{1,2,3}，i＝1、i＝2和i＝3分别代表图像的红色、绿色和蓝色通道；
(2e)定义低照度图像增强网络的总损失函数Lt：
Lt＝wp×Lp+ws×Ls+wg×Lg+wr×Lr，
其中，Lp为像素间损失函数，Ls为结构相似度损失函数，Lg梯度距离损失函数，Lr为反射图损失函数；wp、ws、wg和wr分别是Lp、Ls、Lg和Lr的权重；
(3)训练(2a)所构建的网络模型：
(3a)初始化下采样网络和反卷积网络的参数，设置迭代次数为e＝1，最大迭代次数为K，K≥1000；
(3b)计算训练样本集中的低照度图像与(2b)获得的引导图像F的乘积；
(3c)将(3b)中获得的乘积输入(2a)所构建的网络模型中，得到迭代输出图像；
(3d)基于(2e)所定义的总损失函数Lt，并根据(3c)中获得的迭代输出图像和训练样本集中的正常照度图像，计算出损失函数值；
(3e)利用随机梯度下降算法最小化(3d)计算出的损失函数值；
(3f)判断e是否等于最大迭代次数K，如果是，则保存训练好的低照度图像增强网络模型，并结束训练，否则，令e加1,并返回(3b)；
(3g)将测试样本集中的低照度图像输入(3f)中保存的低照度图像增强网络模型中，得到增强图像并保存；
2.根据权利要求1所述的方法，其特征在于，(2a)中的下采样网络，依次由一个输入层、九个卷积层、九个批归一化层、十三个Relu非线性单元、四个通道注意力残差模块、四个空间注意力残差模块和四个最大池化层级联组成；
所述卷积层，其卷积核尺寸为3，步长为1，补零数为1；
所述通道注意力残差模块，其平均池化窗口尺寸为1；
所述空间注意力残差模块，其卷积核尺寸为3，步长为1，补零数为1；
所述最大池化层，其池化核尺寸为2，池化步长为2。
3.根据权利要求1所述的方法，其特征在于，(2a)中的反卷积网络，依次由一个输入层、四个反卷积层、四个通道拼接层、九个卷积层、八个批归一化层、四个通道注意力残差模块、四个空间注意力残差模块、十二个Relu非线性单元和一个Sigmoid非线性单元级联组成；
所述反卷积层，其卷积核尺寸为4，步长为2，补零数为1；
所述卷积层，其卷积核尺寸为3，步长为1，补零数为1；
所述通道注意力残差模块，其平均池化窗口尺寸为1；
所述空间注意力残差模块，其卷积核尺寸为3，步长为1，补零数为1。
4.根据权利要求1所述的方法，其特征在于，(2d)中所述的像素间损失函数Lp、结构相似度损失函数Ls，梯度距离损失函数Lg和反射图损失函数Lr，其具体的计算公式为：
Figure FDA0002779244850000031
Figure FDA0002779244850000032
wi＝|std(IHi)-std(ILi)|，
其中，MSE为图像均方误差，SSIM为图像结构相似度，▽为图像梯度，IH是训练样本集中的正常照度图像，
Figure FDA0002779244850000033
为2(c)中获得的初始输出图像；IHi、ILi和
Figure FDA0002779244850000034
分别为(2d)中得到NR、UR和OR的第i个通道，i∈{1,2,3}，i＝1、i＝2和i＝3分别代表图像的红色、绿色和蓝色通道；std为图像方差，wi为每个通道的方差权重。
5.根据权利要求1所述的方法，其特征在于，(3d)中计算损失函数值，实现如下：
(3d1)根据(3c)中已经得到的迭代输出图像与训练样本集中的正常照度图像，计算(2e)中总损失函数Lt的每一项的具体数值；
(3d2)通过(2e)中总损失函数的每项权重wp、ws、wg和wr对(3d1)中计算出的每一项的具体数值进行加权；
(3d3)对(3d2)中加权后的数值进行求和，得到损失函数值。
6.根据权利要求1所述的方法，其特征在于，(3e)中利用随机梯度下降算法最小化(3d)计算出的损失函数值，实现如下：
(3e1)初始化学习率α；
(3e2)根据(3d)中得到的损失函数值对网络模型的参数求梯度；
(3e3)根据(3e1)的学习率α和(3e2)中求得的梯度更新网络模型的参数，得到最小化的损失函数值。
CN202011276556.5A 2020-11-16 2020-11-16 基于自编码网络结构的低照度图像增强方法 Active CN112381897B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011276556.5A CN112381897B (zh) 2020-11-16 2020-11-16 基于自编码网络结构的低照度图像增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011276556.5A CN112381897B (zh) 2020-11-16 2020-11-16 基于自编码网络结构的低照度图像增强方法

Publications (2)

Publication Number Publication Date
CN112381897A true CN112381897A (zh) 2021-02-19
CN112381897B CN112381897B (zh) 2023-04-07

Family

ID=74584648

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011276556.5A Active CN112381897B (zh) 2020-11-16 2020-11-16 基于自编码网络结构的低照度图像增强方法

Country Status (1)

Country Link
CN (1) CN112381897B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112927164A (zh) * 2021-03-22 2021-06-08 重庆邮电大学 一种基于深度卷积神经网络的无参考低照度图像增强方法
CN113256528A (zh) * 2021-06-03 2021-08-13 中国人民解放军国防科技大学 基于多尺度级联深度残差网络的低照度视频增强方法
CN113284064A (zh) * 2021-05-24 2021-08-20 西安理工大学 一种基于注意力机制跨尺度上下文低照度图像增强方法
CN113436112A (zh) * 2021-07-21 2021-09-24 杭州海康威视数字技术股份有限公司 一种图像增强方法、装置及设备
CN113658057A (zh) * 2021-07-16 2021-11-16 西安理工大学 一种Swin Transformer微光图像增强方法
CN113744284A (zh) * 2021-09-06 2021-12-03 浙大城市学院 脑肿瘤图像区域分割方法、装置、神经网络及电子设备
CN114581318A (zh) * 2022-01-24 2022-06-03 广东省科学院智能制造研究所 一种低照明度图像增强方法及系统
CN116503260A (zh) * 2023-06-29 2023-07-28 北京建筑大学 一种图像超分辨率重建方法、装置和设备

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109523474A (zh) * 2018-10-19 2019-03-26 福州大学 一种基于雾天退化模型的低照度图像增强方法
CN109636754A (zh) * 2018-12-11 2019-04-16 山西大学 基于生成对抗网络的极低照度图像增强方法
CN110111269A (zh) * 2019-04-22 2019-08-09 深圳久凌软件技术有限公司 基于多尺度上下文聚合网络的低照度成像算法及装置
CN110163815A (zh) * 2019-04-22 2019-08-23 桂林电子科技大学 基于多阶段变分自编码器的低照度还原方法
CN110210608A (zh) * 2019-06-05 2019-09-06 国家广播电视总局广播电视科学研究院 基于注意力机制和多层次特征融合的低照度图像增强方法
CN110675336A (zh) * 2019-08-29 2020-01-10 苏州千视通视觉科技股份有限公司 一种低照度图像增强方法及装置
AU2020100175A4 (en) * 2020-02-04 2020-04-09 Hu, Wei MR Retinex-based progressive image enhancement method
KR102134405B1 (ko) * 2019-06-27 2020-07-15 중앙대학교 산학협력단 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치 및 방법
CN111899193A (zh) * 2020-07-30 2020-11-06 湖北工业大学 一种基于低照度图像增强算法的刑侦摄影系统及方法
CN111915526A (zh) * 2020-08-05 2020-11-10 湖北工业大学 一种基于亮度注意力机制低照度图像增强算法的摄影方法
CN111915525A (zh) * 2020-08-05 2020-11-10 湖北工业大学 基于改进深度可分离生成对抗网络的低照度图像增强方法
CN111932471A (zh) * 2020-07-24 2020-11-13 山西大学 用于低照度图像增强的双路曝光度融合网络模型及方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109523474A (zh) * 2018-10-19 2019-03-26 福州大学 一种基于雾天退化模型的低照度图像增强方法
CN109636754A (zh) * 2018-12-11 2019-04-16 山西大学 基于生成对抗网络的极低照度图像增强方法
CN110111269A (zh) * 2019-04-22 2019-08-09 深圳久凌软件技术有限公司 基于多尺度上下文聚合网络的低照度成像算法及装置
CN110163815A (zh) * 2019-04-22 2019-08-23 桂林电子科技大学 基于多阶段变分自编码器的低照度还原方法
CN110210608A (zh) * 2019-06-05 2019-09-06 国家广播电视总局广播电视科学研究院 基于注意力机制和多层次特征融合的低照度图像增强方法
KR102134405B1 (ko) * 2019-06-27 2020-07-15 중앙대학교 산학협력단 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치 및 방법
CN110675336A (zh) * 2019-08-29 2020-01-10 苏州千视通视觉科技股份有限公司 一种低照度图像增强方法及装置
AU2020100175A4 (en) * 2020-02-04 2020-04-09 Hu, Wei MR Retinex-based progressive image enhancement method
CN111932471A (zh) * 2020-07-24 2020-11-13 山西大学 用于低照度图像增强的双路曝光度融合网络模型及方法
CN111899193A (zh) * 2020-07-30 2020-11-06 湖北工业大学 一种基于低照度图像增强算法的刑侦摄影系统及方法
CN111915526A (zh) * 2020-08-05 2020-11-10 湖北工业大学 一种基于亮度注意力机制低照度图像增强算法的摄影方法
CN111915525A (zh) * 2020-08-05 2020-11-10 湖北工业大学 基于改进深度可分离生成对抗网络的低照度图像增强方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHEN WEI ET AL: "Deep Retinex Decomposition for Low-Light Enhancement", 《ARXIV》 *
CHENG ZHANG ET AL: "ATTENTION-BASED NETWORK FOR LOW-LIGHT IMAGE ENHANCEMENT", 《ARXIV》 *
吴若有 等: "基于注意力机制和卷积神经网络的低照度图像增强", 《激光与光电子学进展》 *
陈榆琅 等: "基于生成对抗网络的空间卫星低照度图像增强", 《中国空间科学技术》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112927164A (zh) * 2021-03-22 2021-06-08 重庆邮电大学 一种基于深度卷积神经网络的无参考低照度图像增强方法
CN113284064A (zh) * 2021-05-24 2021-08-20 西安理工大学 一种基于注意力机制跨尺度上下文低照度图像增强方法
CN113256528A (zh) * 2021-06-03 2021-08-13 中国人民解放军国防科技大学 基于多尺度级联深度残差网络的低照度视频增强方法
CN113256528B (zh) * 2021-06-03 2022-05-27 中国人民解放军国防科技大学 基于多尺度级联深度残差网络的低照度视频增强方法
CN113658057A (zh) * 2021-07-16 2021-11-16 西安理工大学 一种Swin Transformer微光图像增强方法
CN113436112A (zh) * 2021-07-21 2021-09-24 杭州海康威视数字技术股份有限公司 一种图像增强方法、装置及设备
CN113436112B (zh) * 2021-07-21 2022-08-26 杭州海康威视数字技术股份有限公司 一种图像增强方法、装置及设备
CN113744284A (zh) * 2021-09-06 2021-12-03 浙大城市学院 脑肿瘤图像区域分割方法、装置、神经网络及电子设备
CN113744284B (zh) * 2021-09-06 2023-08-29 浙大城市学院 脑肿瘤图像区域分割方法、装置、神经网络及电子设备
CN114581318A (zh) * 2022-01-24 2022-06-03 广东省科学院智能制造研究所 一种低照明度图像增强方法及系统
CN116503260A (zh) * 2023-06-29 2023-07-28 北京建筑大学 一种图像超分辨率重建方法、装置和设备
CN116503260B (zh) * 2023-06-29 2023-09-19 北京建筑大学 一种图像超分辨率重建方法、装置和设备

Also Published As

Publication number Publication date
CN112381897B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN112381897B (zh) 基于自编码网络结构的低照度图像增强方法
CN112233038B (zh) 基于多尺度融合及边缘增强的真实图像去噪方法
CN111784602B (zh) 一种生成对抗网络用于图像修复的方法
CN110136060B (zh) 基于浅层密集连接网络的图像超分辨率重建方法
CN110717868B (zh) 视频高动态范围反色调映射模型构建、映射方法及装置
CN105046653B (zh) 一种视频雨滴去除方法及系统
CN111861939B (zh) 一种基于无监督学习的单张图像去雾方法
CN112801904B (zh) 一种基于卷积神经网络的混合退化图像增强方法
CN113284061B (zh) 一种基于梯度网络的水下图像增强方法
CN112884668A (zh) 基于多尺度的轻量级低光图像增强方法
Wu et al. FW-GAN: Underwater image enhancement using generative adversarial network with multi-scale fusion
CN111415304A (zh) 基于级联深度网络的水下视觉增强方法和装置
Huang et al. Color correction and restoration based on multi-scale recursive network for underwater optical image
CN115063318A (zh) 自适应频率分解的低光照图像增强方法与相关设备
CN113344804A (zh) 一种弱光图像增强模型的训练方法和弱光图像增强方法
CN116523794A (zh) 一种基于卷积神经网络的低光照图像增强方法
CN116385264A (zh) 一种超分辨率遥感数据重构方法
CN115272072A (zh) 一种基于多特征图像融合的水下图像超分辨率方法
CN115797205A (zh) 基于Retinex分数阶变分网络的无监督单张图像增强方法及系统
CN116664446A (zh) 基于残差密集块的轻量级暗光图像增强方法
Song et al. Dual-model: Revised imaging network and visual perception correction for underwater image enhancement
CN113240581A (zh) 一种针对未知模糊核的真实世界图像超分辨率方法
CN116843559A (zh) 一种基于图像处理与深度学习的水下图像增强方法
CN116433509A (zh) 一种基于cnn和卷积lstm网络的递进式图像去雾方法及系统
CN115760630A (zh) 一种低照度图像增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant