CN111968044B - 基于Retinex和深度学习的低照度图像增强方法 - Google Patents
基于Retinex和深度学习的低照度图像增强方法 Download PDFInfo
- Publication number
- CN111968044B CN111968044B CN202010684480.3A CN202010684480A CN111968044B CN 111968044 B CN111968044 B CN 111968044B CN 202010684480 A CN202010684480 A CN 202010684480A CN 111968044 B CN111968044 B CN 111968044B
- Authority
- CN
- China
- Prior art keywords
- image
- illumination
- low
- loss
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 138
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000013135 deep learning Methods 0.000 title claims abstract description 23
- 230000006870 function Effects 0.000 claims abstract description 54
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 22
- 238000012549 training Methods 0.000 claims abstract description 16
- 239000013598 vector Substances 0.000 claims description 22
- 238000010606 normalization Methods 0.000 claims description 20
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 16
- 230000004913 activation Effects 0.000 claims description 16
- 238000013507 mapping Methods 0.000 claims description 13
- 230000003044 adaptive effect Effects 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000013459 approach Methods 0.000 claims description 6
- 230000003068 static effect Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 4
- 239000003086 colorant Substances 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 2
- 238000011084 recovery Methods 0.000 abstract description 8
- 230000001965 increasing effect Effects 0.000 abstract description 5
- 238000004422 calculation algorithm Methods 0.000 description 38
- 238000013461 design Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000015556 catabolic process Effects 0.000 description 5
- 238000006731 degradation reaction Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000002708 enhancing effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 206010034972 Photosensitivity reaction Diseases 0.000 description 1
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000036211 photosensitivity Effects 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明涉及基于Retinex和深度学习的低照度图像增强方法。对已有低照度数据集进行分析，通过多台相机、多种拍摄手段同时收集低照度图像RAW数据和RGB数据，增加数据集在真实场景下图像的多样性。提出一种端到端的改进的卷积自编码网络结构，其由编码器和解码器组成，包括图像分解、照度调整和图像重建三个模块。通过图像分解模块对图像进行编码得到反射特征编码及照度隐藏编码。照度调整模块对图像照度自动调整，图像重建模块实现图像内容的恢复和重建。设计了联合损失函数约束网络训练，分别是重构损失、颜色损失和反射损失。该方法解决了低光环境下增强图像的噪声去除、色彩失真及图像细节恢复等问题，并实验验证了有效性和先进性。
Description
技术领域
本发明涉及一种图像增强方法，具体说是一种基于Retinex理论和深度学 习的低照度图像增强方法。
背景技术
近年来，随着计算机视觉技术的广泛应用，图像增强作为计算机视觉领域 中的基础研究工作变得越来越重要，其中的低照度图像增强又是图像增强领域 中的重要研究课题之一。低照度图像增强指的是通过图像处理、模式识别等技 术对视觉传感器在低照度环境下产生的退化图像进行恢复。现阶段，基于不同 的理论方法，低照度图像增强问题已经被很多研究者所研究，各种去模糊、去 噪和亮度调整技术已被提出，但图像增强技术还面临着很多挑战。此外，低照 度图像往往伴随着图像的退化和细节的缺失，这也给图像恢复工作带来了很多 困难。
发明内容
针对上述技术不足，本发明的目的提供一种基于Retinex理论和深度学习 的低照度图像增强方法。1.建立一种室外多重曝光低照度图像数据集。对已有 低照度数据集进行了分析，提出了通过多台相机，多种拍摄手段来同时收集低 照度图像RAW数据和RGB数据，增加了数据集在真实场景下图像的多样性，也 保证了后续算法的鲁棒性，本发明提出的数据集为后续类似问题的研究提供了 可靠的保证和支撑。2.结合Retinex理论，提出了一种端到端的改进的卷积自 编码网络结构，其由编码器和解码器组成。考虑到目前低照度图像增强所面临 的噪声去除、颜色失真和局部细节恢复等挑战，分别设计了图像分解、照度调整和图像重建三个网络模块。网络通过图像分解模块对图像进行编码，得到反 射特征编码及照度隐藏编码。网络的照度调整模块可以对图像照度进行自动调 整，图像重建模块可以实现图像内容的恢复和重建。3.设计了一种联合损失函 数来约束网络的训练。本发明损失函数分为三个部分，分别是重构损失、颜色 损失和反射损失。首先，基于低照度图像和正常曝光图像的反射特征应有相同 结构和细节的先验知识，设计了反射损失约束，其中包括了细节约束和结构相 似性约束。然后，为了确保重建图像的内容并校正颜色偏差，设计了重建损失 和颜色损失。该方法可以解决低光环境下增强图像的噪声去除、色彩失真及图 像细节恢复等问题。
本发明解决其技术问题所采用的技术方案是：一种基于Retinex理论和深 度学习的低照度图像增强方法，包括以下步骤：
基于Retinex和深度学习的低照度图像增强方法，包括：
采集多场景图像，对同一场景分别采集正常照度静态图像、低照度动态多 帧图像，并建立图像配对集合；
基于Retinex方法结合联合损失函数建立图像增强网络模型，包括三个模 块：图像分解模块对图像进行编码得到反射特征编码及照度隐藏编码，照度调 整模块对图像照度自动调整，图像重建模块实现图像内容的恢复和重建；输入 采集的图像迭代训练网络模型的参数、优化网络模型；所述该模型能自动调节 照度实现对低照度图像的重建使其逼近正常照度图像，从而克服低光环境下增 强图像的噪声、色彩失真及图像细节恢复失效。
是通过更改曝光时间和设置不同的补偿曝光完成对同一场景下正常照度静 态图像、低照度低速动态多帧图像的采集。
所述图像分解模块包括：
反射编码器，包括下采样层和残差层，用于提取低照度图像的特征图；
照度编码器，包括下采样层、池化层和全连接层，用于获取低照度图像的 照度编码向量。
所述反射编码器的下采样层包括三层卷积层，每个卷积层包括卷积核、实 例归一化、激活函数；所述残差层包括若干个残差块，每个残差块中包括第一 卷积核、实例归一化、Relu激活函数和第二卷积核，其中的两个卷积核的参数 相同；
所述照度编码器的下采样层包括三层卷积层，每个卷积层包括卷积核，激 活函数；所述池化层采用自适应均值池化。
所述反射编码器、照度编码器的映射关系如下公式：
h＝E(x)＝σe(Wx+be)
其中，h表示编码器生成的隐藏向量或者特征图，x表示网络的输入图像， σe表示非线性映射关系，采用Relu激活函数；W表示权重矩阵，be表示偏置。
所述照度调整模块为三个全连接层组成的多层感知机；
多层感知机的输入为照度编码向量，输出为亮度参数，用于对照度编码维 度进行非线性变换，将照度编码向量映射到图像重建模块中的自适应实例归一 化参数中去，并通过反向传播对照度调整模块进行反馈优化。
所述图像重建模块包括残差层、上采样层；
残差层中残差块的数量与反射编码器中的残差块数量相同，残差块中采用 自适应归一化层用于接收亮度参数，对低照度图像的特征图进行亮度的自适应 调节；
上采样包括3层上采样层，每个上采样层包括2倍上采样、卷积核和Relu 激活函数，用于图像恢复重建。
所述当每次图像重建后需要计算联合损失函数，从而判断图像重建的质量、 优化网络参数；若联合损失函数的计算值未达到预设阈值则重新输入另一场景 的配对图像继续迭代计算；
所述联合损失函数为反射损失、重构损失、颜色损失的加权，总损失为：
其中，N为输入图像的数量，λ1,λ2,λ3分别为重构损失、颜色损失、反射损失 的权重；通过三个损失的约束，实现重建图像中的去除噪声、恢复局部细节和 纠正颜色偏差；
反射分量的细节和结构损失的计算公式如下：
其中，分别为第i张正常曝光图像N和低照度图像的L的反射特征， ||·||1表示L1范数，对两者进行L1正则化约束，结构相似性SSIM损失函数；
重构损失的计算公式如下：
其中，表示第i张正常曝光图像，D表示解码器的非线性映射关系，/>表 示第i张低照度图像的反射特征，||·||2表示L2范数；
颜色损失的计算公式如下：
其中，(·)p表示第p个像素点，∠(,)表示以RGB颜色为三维向量，像素点之间 的颜色损失为两种颜色向量之间的夹角，总的颜色损失为所有像素点的颜色损 失之和，两幅图像间颜色偏差越大损失函数越大。
本发明具有以下有益效果及优点：
1.本发明方法建立了室外多重曝光低照度图像数据集，同时采集了不同场 景下的多曝光低照度图像，并且同时收集了原始数据和RGB数据。这使得我们 的数据集有更多的应用领域，增加了方法的性能，也为后续相关研究提供了支 持。
2.本发明方法提出了一种端到端的改进的卷积自编码网络框架，该框架通 过图像分解模块将图像进行分解，并经过照度调整模块和图像重建模块对亮度 进行调整和图像重建，而且设计了一种结合重构损失、颜色损失和反射损失的 联合损失函数来保证训练的准确性，确保了算法的稳定性，一定程度上解决了 低照度图像增强算法所面临的挑战。
3.本发明方法在对低照度图像增强方面要优于现有的算法，且表现稳定， 在自适应增强图像亮度、颜色校正和噪声去除方面效果尤为突出。
附图说明
图1是同一场景下多种曝光图像序列；
图2是不同补偿曝光生成的图像序列；
图3是物体成像过程示意图；
图4是Retinex算法流程图；
图5是卷积自编码器算法流程；
图6是网络架构概述图；
图7是残差块示意图；
图8是训练过程中损失函数收敛性图；
图9是多种算法LOL数据集室内场景下图像增强处理后的可视化效果对比 图；
图10是多种算法低照度图像的图像增强处理后的可视化效果对比图；
具体实施方式
下面结合实施例对本发明做进一步的详细说明。结合附图对方法步骤进行 说明。
1.数据集采集：通过更改曝光时间和设置不同的补偿曝光完成对静态和低 速动态场景情况下的低照度和正常照度图像对，并对其进行整理和匹配。拍摄 的设备包括佳能的两台单反相机(Canon EOS-5D Mark II、Canon EOS-60D)， 两支三脚架，云台一块，智能拍摄设备久柏一台(用于远程设置单反相机曝光， 防止在拍摄时误触到三脚架使场景发生偏移)。
方式一：通过调整快门时间，首先在室外场景下找到一个静态场景，固定 好三脚架，将相机设置为自动拍照模式，然后获取相应的快门时间。然后，在 此基础之上远程减少快门时间拍摄不同曝光的图像，其中设置的挡位分别为 1/100，1/250，1/500，1/1000，1/2000，1/3200，1/5000，1/6400，1/8000， 拍摄效果如图1所示。
方式二：通过设置不同的补偿曝光，连续拍摄三张不同补偿曝光的图像， 该方式同时改变了光圈、快门、感光度等影响图像成像质量的条件，通过设置 -5，-2，1(针对环境光较低的场景下，需要提高正常曝光的亮度)和-6，-3， 0两种补偿曝光模式，同时设置高速连续拍摄三张的方式来拍摄图像序列，拍摄 效果如图2所示。
经过人工的筛选和整理之后，我们采集的数据集中包含了200组不同的场 景，共计约1000幅低照度曝光图像，每张图像都有相应的正常曝光图像，并且 每个场景下都包含着多曝光图像序列。值得注意的是，在数据集中同场景下多 个曝光图像可以对应于一个正常曝光参考图像。由于这些不同的曝光图像之间 有着近乎一致的内容和细节，这有利于之后提出的深度学习算法能够学习出不 同曝光之间的映射关系，从而学习出照度的模型，这对于提升算法的性能有着 很大的帮助
2.低照度图像增强网络模型
2.1.模型理论基础
Retinex理论的物理基础是物体对不同谱段的光有着不同的反射率，而不是 由反射光强的绝对值所决定，因此，物体的色彩不被非均匀性光照所影响，具 有一致性。
物体一般成像过程如图3所示，入射光照射到物体表面，通过该物体的反 射特性对光进行反射，然后视觉系统同时接收到入射光和物体的反射光，所以 根据Retinex理论，假设图像可以被表示为S(x,y)，那么可以将图像分解为反射 分量R(x,y)和照度分量L(x,y)(也叫做光照分量)。通常来说，照度L(x,y)是随着 光照环境的变化而变化的，决定了图像的亮度范围，反射分量R(x,y)表示的是物 体对光反射率图。如果将Retinex理论应用在图像增强领域，实际就相当于将 增强问题转化成了对照度(光照)估计的问题。不同于以往的图像增强方法， Retinex方法可以达到动态值域压缩、颜色恒定和边缘特征增强三个方面的平衡。 单尺度的Retinex算法流程如图4所示。根据上述的算法流程图，其相关算法 公式如下：
(1)首先算法的输入图像为S(x,y)的灰度图，其与反射分量R(x,y),照度分 量L(x,y)关系如下公式所示，其中是点乘的关系。
(2)由于这个公式的计算量比较大，所以一般在计算时会转化到对数域， 这样可以大大减少计算的复杂度，得到如下公式。
S'(x,y)＝log(S(x,y))＝log(R(x,y))+log(L(x,y)) (2)
(3)然后利用高斯核原始图像进行卷积，得到滤波后的低频分量D(x,y)， 如下公式所示，其中F(x,y)是高斯核。
D(x,y)＝S(x,y)*F(x,y) (3)
(4)并将各分量转换到对数域中，接下来将对数域下的原图像减去对数域 的低频分量得到对数域的重建图像G(x,y)。公式如下所示。
G(x,y)＝S'(x,y)-log(D(x,y)) (4)
(5)最后将得到的对数重建图像取反，获得重建的图像R(x,y)，公式如下。
R(x,y)＝exp(G(x,y)) (5)
通过上述单尺度Retinex的操作，可以对图像进行增强。但是由于算法的 局限性，很难在提升动态范围的同时保护颜色不失真，在此基础上，后人又提 出了多尺度的Retinex算法，但仍然是采用固定参数的滤波器(比如高斯滤波 器)进行特征(照度分量)提取。由于数据的复杂性，基于单一理论的方法往 往不能够很好的应对低照度图像增强，并且固定参数的滤波器也无法提取复杂 数据中所包含的多样性特征。一个可行的方式是利用具有较强特征提取能力的 深度学习网络代替传统的高斯核进行照度特征和反射特征的提取，由于其参数 可以经过网络的反向传播进行更新，所以可以自适应的增强图像。通过这种方 式，将卷积核设计问题转变为如何设计网络的设计和约束的问题，利用网络能 够自适应的从大数据中学习到有用的特征，可以在一定程度上弥补了传统 Retinex方法的不足。
本发明采用网络结构是基于卷积自编码器。卷积自编码器一种经典的深度 学习模型，也是现在在深度学习领域应用较多的自编码器类型，它通过卷积网 络对图像进行压缩，生成隐藏变量或者特征图，然后通过反卷积对图像进行恢 复。卷积自编码网络从训练数据中学习如何分解图像特征，具有强大的非线性 的拟合能力，可以代替Retinex方法对图像进行分解。其损失函数是最基础的 重构损失，即重构图像与输入图像之误差函数，具体的算法流程图如5所示。
2.2.基于卷积自编码的低照度图像增强网络模型
基于Retinex理论的图像增强可以分为图像分解、照度调整、图像重建三 个部分，以此为基础，结合自编码网络，本发明提出一种改进卷积自编码网络 的低照度图像增强模型，具体结构如图6所示。该网络框架由编码器和解码器 组成，编码器用于图像的分解，解码器用于照度的调整和重建。模型主要有两 条支路，分别是反射分量支路和照度分量支路。基于Retinex理论的思想，从 功能上可以将网络分为图像分解、照度调整和图像重建三个模块。反射分量支 路由反射编码器和图像重建模块组成，照度分量支路由照度编码器和照度调整 模块组成。模型的输入为低照度图像和正常曝光图像，输出为重建图像。为了 让模型更精确的对图像进行分解和重建，提出了一种联合损失函数。训练时分 别通过反射损失、重构损失、颜色损失对反射分量和重建图像进行约束。
2.2.1图像分解模块设计
类似于图4所示的Retinex算法过程，目前大多数基于Retinex方法还是 采用单独估计照度方式实现图像增强。如果图像增强算法只对反射分量和者照 度分量其中之一进行估计，那么并不能在整体上对图像分解进行约束，这会对 之后照度调整和图像重建的准确度造成影响，以至于这些方法的噪声去除能力 较差，不能够很好地自适应的提升图像亮度。
基于上述描述，在本发明提出的网络结构中设计了一种同时对反射分量和 照度分量分解的网络模块。该网络模块分别由照度编码器和反射编码器构成。 与大多数基于深度学习的方法采用的自编码器结构不同的是，传统的自编码器 只是有下采样层和上采样组成，而本发明提出框架中图像分解模块中，反射编 码器结构由下采样层和特征提取层组成，特征提取层可以对反射特征进行进一 步的提取，从而使得网络可以获得更丰富内容和结构信息。特征提取层由残差 结构组成(如图7所示)，这种结构可以使得网络的层数更深，同时减少梯度消 失的情况。
已有的方法虽然取得了不错的成果，但是这些算法在处理低照度图像增强 问题时还面临着对噪声抑制较差的问题，这是因为没有对反射分量进行约束的 结果。这些噪声主要是由于受到环境光较为昏暗的影响，拍摄的图像发生退化 所产生的。当在图像分解的过程当中，一个退化的低照度图像可以被表示为：
其中E代表退化(噪声)的部分，IL、RL、L分别为低照度图像、反射分 量、照度分量。根据噪声的特性，其属于细节特征，所以上式经过代数运算， 可以表示为：
其中表示包含噪声的反射分量，/>表示退化图像在反射分量上的噪声。 式(7)表明，在分解真实环境下低照度图像时，噪声分量更容易被分解到反射分 量当中。受此启发，如果想要更好的估计反射分量，则需要知道正常曝光图像 的反射分量，以此来指导反射分量的分解。如图6紫色箭头所示，我们利用这 个先验知识在反射编码器中引入了正常曝光图像，对其进行反射分量的提取， 再通过设计合理的损失函数可以对参与图像重建的低照度反射分量进行有效的 约束。
图像分解模块设计的原则是根据Retinex理论对图像进行分解，分解之后 的反射分量主要保留着图像的细节和结构等信息(例如，边缘、角点等信息)， 而照度分量保留着亮度分布信息。为了能更好的对上述特征进行分解，分别设 计了反射分量编码器和照度分量编码器。由于反射分量保留图像信息的特点， 反射分量编码器不能破坏其空间特性，其输出应为二维形式的特征图。照度编 码器提取出照度特征并将其编码为隐藏向量，用其来代表该幅图像的照度，并 在图像重建时用于调整图像的亮度，其特征的大小为16维。值得注意的是在两 个编码器中的下采样层不能够采用相同的结构，因为这两者所包含的信息类型 不同。此外，在整个照度编码器的部分不能采用归一化的方式，因为归一化会 破坏原始图像的均值和方差的信息，这会影响照度特征的提取。
编码器的映射关系如下公式所示：
h＝E(x)＝σe(Wx+be) (8)
其中h表示编码器生成的隐藏向量或者特征图，x表示网络的输入图像，E(·) 表示编码器的非线性映射函数，σe表示非线性映射关系，本发明采用Relu激活 函数，W表示权重矩阵，be表示偏置。
图像分解模块实现细节如表1和表2所示，其中Down_conv表示下采样卷 积层，Res表示残差块结构。反射编码器由下采样层，残差层组成。为了实现特 征降维，下采样部分由3层卷积组成，每个卷积层有4*4卷积(Conv)，实例归 一化(IN)，激活函数(Relu)三部分组成。经过下采样卷积之后，特征的大小 会缩小一倍，通道数量会扩大一倍，以保证信息的总量不变。残差层由5个残 差块组成，每个残差块中由卷积、实例归一化、Relu激活函数和卷积所构成， 其中的两个卷积核的参数相同，且经过残差层后的特征图的大小和通道数量保持不变。在该模块中引入实例归一化层的目的对为了加快模型的收敛，同时起 到正则化的作用，防止模型过拟合。
表1反射分量编码器网络
照度编码器由下采样层、池化层和全连接层所构成，其中下采样层由三层 卷积层构成，每个卷积层由4*4卷积(Conv)，激活函数(Relu)组成，这里不 加入归一化层，因为在图像在归一化的时候，会消除掉数据本身的均值和方差， 这些均值和方差包含着照度分布的信息。采用池化层的目的是为了适应后面的 全连接层的输入尺寸，所以我们采用了自适应均值池化，卷积核大小为1*1。最 后为了得到照度编码，加入了全连接层，具体实现方式是采用1*1的卷积核代 替全连接层的功能，这样可以有效的减少参数量，并且配合自适应池化可以不 受输入特征大小的限制。
表2照度分量编码器网络
我们的每个卷积层中采用的填充操作都为镜像填充，镜像填充指的是卷积 核所处的区域的值与所接触相同大小的图像部分的值是镜像关系。
2.2.2照度调整模块设计
在增强局部和全局低照度图像时，低照度图像增强算法面临的问题不同， 这需要算法本身具有照度调整的自适应性，所以为了自适应的调整图像的照度， 我们提出网络结构中设计了一种照度调整模块。如图6的照度调整模块所示， 照度调整模块由多层感知机构成，多层感知机的输入为照度编码向量，输出为 自适应归一化层的参数。多层感知机的作用是对照度编码维度进行非线性变换， 其输出的维度归一化层中参数数量相同。与以往方法不同的是，不是直接在照 度特征图上进行调整，而是通过将照度编码向量映射到与图像重建模块中的自 适应实例归一化(AdaIN)参数中来实现照度的自适应调整。自适应实例归一化 的缩放、平移参数γ,β是可学习的，这是网络可以实现照度调整的关键。通过这 种方式将照度信息融入到整体网络的训练当中，并通过反向传播对其整个照度 分量支路进行指导，从而实现图像亮度的调整。如表3所示，多层感知机的结 构由三个全连接层组成，其中H为照度编码向量，FN表示全连接层，View表示 维度的转换。
表3照度调整模块
2.2.3图像重建模块设计
图像重建模块是反射分量支路能够恢复重建的图像的关键，其输入为低照 度图像的反射分量和归一化层参数，输出为重建图像。目的是为了根据反射和 照度信息重建图像，重建图像的大小与输入图像分辨率相同。其本质上属于反 射分量的解码器，为了保持自编码器的对称性，结构上与反射编码器近乎相同， 顺序相反。
图像重建模块的映射关系被表示为：
r＝D(h):＝σd(WTh+bd)， (9)
其中r表示重构图像，D(h)表示编码器的非线性映射，σd表示解码器的激活 函数，WT为表示隐藏层与输出之间的权重，bd表示偏置。
如表4所示图像重建模块由残差层、上采样组成，其中Ref为反射分量、 AdaIN为归一化层参数、Up_conv为上采样卷积层。残差层中残差块的数量与反 射编码器中的残差块数量相同，且为了实现亮度的调整，残差块中采用了自适 应归一化层用于接受亮度参数。上采样部分通过3层上采样层来实现，每个上 采样层由2倍上采样、卷积核和Relu激活函数所构成。
表4图像重建模块
2.2.4联合损失函数
在Retinex理论中，图像的分解是一个不适定问题，找到一个合理的先验 来指导损失函数的设计是必要的。假设图像没有产生退化，在同一场景下无论 光照如何变化，拍摄的图像分解出的反射分量应该是相同的，但图像的照度分 量是变化的，所以难以设计一个较好的约束去限制照度分量的分解。在真实环 境下，由于设备的限制，低照度图像经常会发生退化，并且环境光越暗，拍摄 的照片退化得越厉害，会产生大量的噪声。如之前所述，这些退化也属于细节 信息，所以这些噪声也会被分解到反射分量当中。在图像发生退化时，引入正 常曝光的反射分量来抑制噪声。反射分量保存着细节和结构信息，所以分别设 计了细节损失和结构损失。
反射分量的细节和结构损失被设计如下公式所示：
其中 分别为第i张正常曝光图像N和低照度图像的L的反射特征，||·||1表示L1范数，对两者进行L1正则化约束，让两者细节信息保持一致，同时 也限制了低照度反射分量的噪声。即使在图像退化的情况下，两者之间也应该 有着近似的结构，因为一般的噪声对结构的破坏更小，为了让两者保持结构保 持一致，我们加入了结构相似性SSIM损失函数，两者之间的结构相似性越大反 射损失越小。通过有针对性的设计，反射损失函数可以有效的抑制噪声，提高 细节恢复的能力，使恢复的图像边缘等结构信息更加真实。
经过解码器之后，生成重建图像REC，为了能够更好的约束重建图像，让其 能够与正常曝光图像保持一致，应用了L2损失，公式如下所示。
其中表示第i张正常曝光图像，D表示解码器的非线性映射关系，/>表示 第i张低照度图像的反射特征。||·||2表示L2范数。该损失函数是图像能够重建 和提高亮度的关键，在整体上保持与正常曝光图像的一致性。其次，为了解决 常见的色偏问题，还需要以真实图像为引导对重构的图像进行颜色的矫正，颜 色损失函数设计如下：
其中(·)p表示第p个像素点，∠(,)表示以RGB颜色为三维向量，像素点之间的 颜色损失为两种颜色向量之间的夹角，总的颜色损失为所有像素点的颜色损失 之和，两幅图像间颜色偏差越大损失函数越大。因为损失是在颜色空间中计算， 所以合理的衡量了重构图像与正常曝光图像之间的颜色偏差，提高了算法矫正 颜色偏差的能力。
综合各部分的损失函数，模型的总损失为：
其中N为输入图像的数量，λ1,λ2,λ3分别为重构损失，颜色损失，反射损失 的权重，三个权重的值分别λ1＝1,λ2＝0.03,λ3＝0.1。通过三个损失的约束，组成了 一个能够解决重建图像中的噪声、局部细节恢复失败和颜色偏差问题的联合损 失函数。
3实验过程
我们分别在LOL数据集(室内图象低照度数据集)和新建立的室外多重曝 光低照度数据集上进行了测试。同时，将所提出的算法与目前最先进的算法进 行了比较，包括具有色彩恢复功能的MSR的算法MSRCR，自然色保留增强算法 NPE，基于去雾算法的DONG方法，基于融合的方法MF，基于照度估计的方法LIME， 基于照度估计和多曝光融合的BIMEF方法，同时对反射分量和照度分量进行估 计的SRIE方法，基于深度学习的方法Retinex-net和GLAD-net。关于评价指标， 使用峰值信噪比(PSNR)和结构相似性(SSIM)对以上所有算法进行了可视化 对比和量化分析。
3.1实验环境配置
本次实验的硬件平台的配置为CPU处理器Intel(R)Xeon(R)CPU E5-2640v4 @2.40GHz，内存128G，显卡Nvidia GeForce TITAN Xp，显存12G。软件环境 为Ubuntu18.04，深度学习框架Pytorch，版本1.0。CUDA版本为9.0，cuDNN 版本为7.2。实验的软件开发环境为Pycharm2019和Matlab2017。
3.2实验参数设置
模型的输入为低照度图像和正常曝光图像，输出为预测的重建图像。训练 的批次(batchsize)为16，迭代次数为1000次，裁剪图像块的大小为256*256。 本发明采用了自适应动量优化器Adam来代替传统的梯度下降算法，它可以对不 同的参数计算不同的学习率，并且该算法对内存的需求较小，梯度的一阶矩指 数衰减系数β1为0.9，二阶矩指数衰减系数β2为0.999，网络初始学习率为0.001。
3.3训练数据处理
实验采用的是室内场景下的LOL数据集和室外场景下的多重曝光低照度数 据集。LOL数据集为低照度增强算法经常采用的数据集，数据集上有500组低照 度图像对。采用与已有算法相同的数据集划分方式，取数据集中的485对作为 训练集，15对图像作为测试数据。室内低照度数据集有200组低照度图像序列， 将其中的170组作为训练集，30组作为测试集，每一组有多幅低照度图像对。
现阶段，由于深度模型往往有着大量的参数需要训练，最大的模型参数量 可达到百万级，要使得网络能够更好的拟合，则需要足够的样本数据作为支撑。 但普通研究者通常不能够获取大量的数据，一般只能制作或者获取中等规模的 数据进行研究，所以对数据进行增强十分必要。即使对于需求数据量较小的小 型网络，数据增强也有着减少网络过拟合，提高算法的泛化性的作用。常见的 数据增强方法包括图像裁剪、旋转、翻转、平移、缩放等操作。首先，本方法 中采用了裁剪操作，通过该操作将输入随机的裁剪出多幅256*256大小的块。 然后，通过随机的翻转、平移、缩放操作，同时保证输入的低照度图像与正常 曝光图像数据的操作一致。通过数据增强，既对数据进行了扩充，又增加了算 法的鲁棒性。
3.4训练过程分析
为了确定迭代次数和模型的收敛情况，我们在数据集上进行了收敛性分析， 其结果如图8所示，从图中可以看出，红线表示的联合损失函数经过多次迭代 后趋近于稳定，损失在800左右波动变化很小并趋近于0，其他三种损失在迭代 800左右之后也保持平稳，所以本发明提出的低照度算法模型在经过多次迭代后 可以收敛并保持稳定，说明了所提出网络结构的有效性。如果增加迭代次数， 会大大增加训练的过程所耗费时间，损失降低有限，所以在训练的过程当中， 选择800次迭代作为参数。
3.5室内低照度数据集对比实验
图9展示了LOL数据集上不同的算法在室内场景下的可视化对比结果，图 像的PSNR/SSIM值在其右上角给出。图中(a)为输入的低照度图像，(l)为对应 的真实图像(正常曝光图像)，(b)-(j)为其它对比方法的结果，(k)为本发明所 提方法的结果。(b)BIMEF和(c)SRIE方法增强的图像结果偏暗，表明两种方法 在室内大场景下自动增强图像亮度的能力较差，并伴随着少量噪声，这是由于 两种方法没有考虑如何自适应调整图像亮度的问题。(d)-(g)方法恢复的颜色和 亮度比较令人满意，但是它们的结果都有着不小的噪声，并且这几种方法的结 构相似性都较低，这说明它们不能够很好地恢复出图像的主要结构，这是由于 这些方法没有在细节和结构上对其进行约束。(e)MF方法的PSNR指标较高，但 是其恢复的图像较为模糊，这是受到合成方法所存在的问题影响。(h)MSRCR方 法整体亮度被过度增强，并且存在着严重的噪声，这是因为传统方法不能很好 的提升图像亮度，准确度较低等原因造成的。(i)GLAD-net方法存在着严重的色 彩偏差，如图像中红色框中的数字0933已经变为黄色。(j)Retinex-net方法虽 然能够恢复出图像的主要边缘，但整体风格上与真实图像偏差较大，有少量的 噪声。产生上述问题的原因是因为(i)和(j)两种深度学习算法只考虑了亮度的 调整，没有对反射分量进行约束，并且缺少颜色偏差矫正的方法。结合量化指 标可知，本发明方法获得了较好的恢复结果。此外，图像噪声也得到了很好的 抑制，并且图像细节也得到了增强。另外本发明结果颜色偏差较小，这主要得 益于模型中的颜色损失函数。通过在室内场景下的对比，本发明方法整体上表 现得更好。低照度图像的颜色和主要结构都能够得到很好的恢复。表5为在LOL 数据集上平均量化指标的比较。
表5在LOL数据集上的量化比较
3.6室外低照度数据集对比实验
图10展示了不同方法在室外低光照场景下的恢复结果，图像右上角给出了 该幅图像的PSNR/SSIM指标。图中(a)为输入的低照度图像，(l)为对应的真实 图像(正常曝光图像)，(b)-(j)为其它对比方法的结果，(k)为本发明所提方法 的结果。(b)BIMEF方法和(c)SRIE方法峰值信噪比PSNR较低，说明存在较大 的噪声，同时它们恢复结果的暗区域(图像的下半部分)并没有被增强，亮度 提升的效果也不明显。(d)DONG方法增强结果上的字体比较模糊，颜色存在偏差。 另外，(e)融合算法MF的恢复图像中暗部区域也没能被全部增强，还有残余的 低光区域。(f)LIME的恢复效果较好，但是图像的颜色过于饱和，色彩上偏差过大。(g)NPE方法的结果偏暗，同时也存在着噪声。(h)MSRCR方法结果整体上颜 色偏绿。两种深度学习的方法(i)和(j)在颜色都存在着明显的偏差，见图10中 的红框中的蔬菜型图标，且(j)中图像存在着严重的模糊。本发明方法重建的图 像更为清晰，颜色偏差和噪声较小，图像更接近于自然。综合来说，本发明方 法在室外低照度场景下有着很好表现效果，一定程度上解决了增强局部低照度 图像所面临的自适应亮度调整和局部细节恢复的问题。表6为在室外低照度数 据集上平均量化指标的比较。
表6在室外低照度数据集上的量化比较
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技 术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰， 这些改进和润饰应视为本发明的保护范围。
Claims (7)
1.基于Retinex和深度学习的低照度图像增强方法，其特征在于，包括：
采集多场景图像，对同一场景分别采集正常照度静态图像、低照度动态多帧图像，并建立图像配对集合；
基于Retinex方法结合联合损失函数建立图像增强网络模型，包括三个模块：图像分解模块对图像进行编码得到反射特征编码及照度隐藏编码，照度调整模块对图像照度自动调整，图像重建模块实现图像内容的恢复和重建；输入采集的图像迭代训练网络模型的参数、优化网络模型；所述该模型能自动调节照度实现对低照度图像的重建使其逼近正常照度图像，从而克服低光环境下增强图像的噪声、色彩失真及图像细节恢复失效；
每次图像重建后需要计算联合损失函数，从而判断图像重建的质量、优化网络参数；若联合损失函数的计算值未达到预设阈值则重新输入另一场景的配对图像继续迭代计算；
所述联合损失函数为反射损失、重构损失、颜色损失的加权，总损失为：
其中，N为输入图像的数量，λ1,λ2,λ3分别为重构损失、颜色损失、反射损失的权重；通过三个损失的约束，实现重建图像中的去除噪声、恢复局部细节和纠正颜色偏差；
反射分量的细节和结构损失的计算公式如下：
其中，分别为第i张正常曝光图像N和低照度图像的L的反射特征，||·||1表示L1范数，对两者进行L1正则化约束，结构相似性SSIM损失函数；
重构损失的计算公式如下：
其中，表示第i张正常曝光图像，D表示解码器的非线性映射关系，/>表示第i张低照度图像的反射特征，||·||2表示L2范数；
颜色损失的计算公式如下：
其中，(·)p表示第p个像素点，∠(,)表示以RGB颜色为三维向量，像素点之间的颜色损失为两种颜色向量之间的夹角，总的颜色损失为所有像素点的颜色损失之和，两幅图像间颜色偏差越大损失函数越大。
2.根据权利要求1所述的基于Retinex和深度学习的低照度图像增强方法，其特征在于，是通过更改曝光时间和设置不同的补偿曝光完成对同一场景下正常照度静态图像、低照度低速动态多帧图像的采集。
3.根据权利要求1所述的基于Retinex和深度学习的低照度图像增强方法，其特征在于，所述图像分解模块包括：
反射编码器，包括下采样层和残差层，用于提取低照度图像的特征图；
照度编码器，包括下采样层、池化层和全连接层，用于获取低照度图像的照度编码向量。
4.根据权利要求3所述的基于Retinex和深度学习的低照度图像增强方法，其特征在于，
所述反射编码器的下采样层包括三层卷积层，每个卷积层包括卷积核、实例归一化、激活函数；所述残差层包括若干个残差块，每个残差块中包括第一卷积核、实例归一化、Relu激活函数和第二卷积核，其中的两个卷积核的参数相同；
所述照度编码器的下采样层包括三层卷积层，每个卷积层包括卷积核，激活函数；所述池化层采用自适应均值池化。
5.根据权利要求1所述的基于Retinex和深度学习的低照度图像增强方法，其特征在于，所述反射编码器、照度编码器的映射关系如下公式：
h＝E(x)＝σe(Wx+be)
其中，h表示编码器生成的隐藏向量或者特征图，x表示网络的输入图像，σe表示非线性映射关系，采用Relu激活函数；W表示权重矩阵，be表示偏置。
6.根据权利要求1所述的基于Retinex和深度学习的低照度图像增强方法，其特征在于，所述照度调整模块为三个全连接层组成的多层感知机；
多层感知机的输入为照度编码向量，输出为亮度参数，用于对照度编码维度进行非线性变换，将照度编码向量映射到图像重建模块中的自适应实例归一化参数中去，并通过反向传播对照度调整模块进行反馈优化。
7.根据权利要求1所述的基于Retinex和深度学习的低照度图像增强方法，其特征在于，所述图像重建模块包括残差层、上采样层；
残差层中残差块的数量与反射编码器中的残差块数量相同，残差块中采用自适应归一化层用于接收亮度参数，对低照度图像的特征图进行亮度的自适应调节；
上采样包括3层上采样层，每个上采样层包括2倍上采样、卷积核和Relu激活函数，用于图像恢复重建。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010684480.3A CN111968044B (zh) | 2020-07-16 | 2020-07-16 | 基于Retinex和深度学习的低照度图像增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010684480.3A CN111968044B (zh) | 2020-07-16 | 2020-07-16 | 基于Retinex和深度学习的低照度图像增强方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111968044A CN111968044A (zh) | 2020-11-20 |
| CN111968044B true CN111968044B (zh) | 2023-08-11 |
Family
ID=73360671
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010684480.3A Active CN111968044B (zh) | 2020-07-16 | 2020-07-16 | 基于Retinex和深度学习的低照度图像增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111968044B (zh) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112614063B (zh) * | 2020-12-18 | 2022-07-01 | 武汉科技大学 | 用于楼宇内低照度环境的图像增强和噪声自适应去除方法 |
| TWI755212B (zh) * | 2020-12-22 | 2022-02-11 | 鴻海精密工業股份有限公司 | 模型輸入尺寸確定方法及相關設備 |
| CN112712481B (zh) * | 2021-01-11 | 2022-09-02 | 中国科学技术大学 | 一种针对弱光图像增强的结构-纹理感知方法 |
| CN112927160B (zh) * | 2021-03-12 | 2022-11-18 | 郑州轻工业大学 | 一种基于深度Retinex的单张低光图像增强方法 |
| CN113012067B (zh) * | 2021-03-16 | 2022-11-18 | 华南理工大学 | 基于Retinex理论和端到端深度网络的水下图像复原方法 |
| CN115115570A (zh) * | 2021-03-22 | 2022-09-27 | 深圳科亚医疗科技有限公司 | 医学图像分析方法和装置、计算机设备及存储介质 |
| CN113034413B (zh) * | 2021-03-22 | 2024-03-05 | 西安邮电大学 | 一种基于多尺度融合残差编解码器的低照度图像增强方法 |
| CN112991310B (zh) * | 2021-03-27 | 2021-10-01 | 中国人民解放军海军潜艇学院 | 一种暗弱海面图片纹理清晰度提升方法 |
| CN117157680A (zh) * | 2021-04-17 | 2023-12-01 | 浙江大学 | 图像处理、网络训练、编码方法及装置、设备、存储介质 |
| CN113256510A (zh) * | 2021-04-21 | 2021-08-13 | 浙江工业大学 | 基于cnn的带有颜色恢复和边缘锐化效果的低照度图像增强方法 |
| CN113409210B (zh) * | 2021-06-17 | 2023-06-02 | 杭州海康威视数字技术股份有限公司 | 瞳孔亮斑消除方法 |
| CN113658057A (zh) * | 2021-07-16 | 2021-11-16 | 西安理工大学 | 一种Swin Transformer微光图像增强方法 |
| CN113643202A (zh) * | 2021-07-29 | 2021-11-12 | 西安理工大学 | 一种基于噪声注意力图指导的微光图像增强方法 |
| CN113808036B (zh) * | 2021-08-31 | 2023-02-24 | 西安理工大学 | 基于Retinex模型的低照度图像增强与去噪方法 |
| CN113822954B (zh) * | 2021-09-10 | 2024-04-02 | 西安交通大学 | 一种面向资源约束下人机协同场景的深度学习图像编码方法 |
| CN114065838B (zh) * | 2021-10-22 | 2023-07-14 | 中国科学院深圳先进技术研究院 | 一种低光照障碍物检测方法、系统、终端以及存储介质 |
| CN114372941B (zh) * | 2021-12-16 | 2024-04-26 | 佳源科技股份有限公司 | 一种低光照图像增强方法、装置、设备及介质 |
| CN114387582A (zh) * | 2022-01-13 | 2022-04-22 | 福州大学 | 一种在不良光照条件下的车道检测方法 |
| CN114463223A (zh) * | 2022-04-08 | 2022-05-10 | 深圳市瓴鹰智能科技有限公司 | 一种图像增强的处理方法、装置、计算机设备及介质 |
| CN114862711B (zh) * | 2022-04-29 | 2023-03-31 | 西安理工大学 | 基于双重互补先验约束的低照度图像增强与去噪方法 |
| CN116363036B (zh) * | 2023-05-12 | 2023-10-10 | 齐鲁工业大学(山东省科学院) | 基于视觉增强的红外与可见光图像融合方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101942198B1 (ko) * | 2017-12-27 | 2019-04-11 | 중앙대학교 산학협력단 | 레티넥스 모델을 기반으로 하여 영상을 개선하는 단말 장치 및 방법과 이를 수행하는 기록 매체 |
| CN109872285A (zh) * | 2019-01-21 | 2019-06-11 | 电子科技大学 | 一种基于变分约束的Retinex低照度彩色图像增强方法 |
| CN110675328A (zh) * | 2019-08-02 | 2020-01-10 | 北京巨数数字技术开发有限公司 | 基于条件生成对抗网络的低照度图像增强方法及装置 |
| AU2020100175A4 (en) * | 2020-02-04 | 2020-04-09 | Hu, Wei MR | Retinex-based progressive image enhancement method |
| KR102134405B1 (ko) * | 2019-06-27 | 2020-07-15 | 중앙대학교 산학협력단 | 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치 및 방법 |
-
2020
- 2020-07-16 CN CN202010684480.3A patent/CN111968044B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101942198B1 (ko) * | 2017-12-27 | 2019-04-11 | 중앙대학교 산학협력단 | 레티넥스 모델을 기반으로 하여 영상을 개선하는 단말 장치 및 방법과 이를 수행하는 기록 매체 |
| CN109872285A (zh) * | 2019-01-21 | 2019-06-11 | 电子科技大学 | 一种基于变分约束的Retinex低照度彩色图像增强方法 |
| KR102134405B1 (ko) * | 2019-06-27 | 2020-07-15 | 중앙대학교 산학협력단 | 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치 및 방법 |
| CN110675328A (zh) * | 2019-08-02 | 2020-01-10 | 北京巨数数字技术开发有限公司 | 基于条件生成对抗网络的低照度图像增强方法及装置 |
| AU2020100175A4 (en) * | 2020-02-04 | 2020-04-09 | Hu, Wei MR | Retinex-based progressive image enhancement method |
Non-Patent Citations (1)
| Title |
|---|
| 多输入融合对抗网络的水下图像增强;林森;刘世本;唐延东;;红外与激光工程(第05期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111968044A (zh) | 2020-11-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111968044B (zh) | 基于Retinex和深度学习的低照度图像增强方法 | |
| Liu et al. | Survey of natural image enhancement techniques: Classification, evaluation, challenges, and perspectives | |
| CN107798661B (zh) | 一种自适应的图像增强方法 | |
| Wang et al. | Joint iterative color correction and dehazing for underwater image enhancement | |
| CN113658057A (zh) | 一种Swin Transformer微光图像增强方法 | |
| Rahman et al. | Efficient image enhancement model for correcting uneven illumination images | |
| Bi et al. | Haze removal for a single remote sensing image using low-rank and sparse prior | |
| CN113129236A (zh) | 基于Retinex和卷积神经网络的单张低光照图像增强方法及系统 | |
| CN114266707A (zh) | 一种结合注意力机制和Retinex模型的低光图像增强方法 | |
| Wang et al. | Single Underwater Image Enhancement Based on $ L_ {P} $-Norm Decomposition | |
| CN116012243A (zh) | 面向真实场景的暗光图像增强去噪方法、系统和存储介质 | |
| CN115035011A (zh) | 一种融合策略下自适应RetinexNet的低照度图像增强方法 | |
| Zhou et al. | Sparse representation with enhanced nonlocal self-similarity for image denoising | |
| Saleem et al. | A non-reference evaluation of underwater image enhancement methods using a new underwater image dataset | |
| Chen et al. | Retinex low-light image enhancement network based on attention mechanism | |
| CN112614063B (zh) | 用于楼宇内低照度环境的图像增强和噪声自适应去除方法 | |
| US20240020796A1 (en) | Noise reconstruction for image denoising | |
| CN116596799A (zh) | 一种基于通道空间复合注意力的低照度图像增强方法 | |
| CN116229081A (zh) | 基于注意力机制的无人机全景图像去噪方法 | |
| CN115760630A (zh) | 一种低照度图像增强方法 | |
| Kumar et al. | Underwater Image Enhancement using deep learning | |
| CN115272072A (zh) | 一种基于多特征图像融合的水下图像超分辨率方法 | |
| CN115147311A (zh) | 基于HSV与AM-RetinexNet图像增强方法 | |
| CN115018717A (zh) | 一种改进Retinex-Net低照度及暗视觉图像增强方法 | |
| Xu et al. | Deep residual convolutional network for natural image denoising and brightness enhancement |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |