CN114066747A - 一种基于光照和反射互补性的低照度图像增强方法 - Google Patents
一种基于光照和反射互补性的低照度图像增强方法 Download PDFInfo
- Publication number
- CN114066747A CN114066747A CN202111214412.1A CN202111214412A CN114066747A CN 114066747 A CN114066747 A CN 114066747A CN 202111214412 A CN202111214412 A CN 202111214412A CN 114066747 A CN114066747 A CN 114066747A
- Authority
- CN
- China
- Prior art keywords
- illumination
- low
- image
- component
- norm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 119
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000009977 dual effect Effects 0.000 claims abstract description 18
- 238000005282 brightening Methods 0.000 claims abstract description 13
- 238000011084 recovery Methods 0.000 claims abstract description 10
- 239000010410 layer Substances 0.000 claims description 28
- 238000000354 decomposition reaction Methods 0.000 claims description 16
- 230000002776 aggregation Effects 0.000 claims description 6
- 238000004220 aggregation Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 3
- 238000007499 fusion processing Methods 0.000 claims description 3
- 239000002356 single layer Substances 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 8
- 230000000295 complement effect Effects 0.000 abstract description 5
- 238000012545 processing Methods 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 10
- 238000012360 testing method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 238000002679 ablation Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 235000008733 Citrus aurantifolia Nutrition 0.000 description 1
- 235000011941 Tilia x europaea Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000004571 lime Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000010534 mechanism of action Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于光照和反射互补性的低照度图像增强方法，涉及图像处理技术领域。本发明包括：构建配对的数据集；将图像进行分解，得到反射分量光照分量；输入复原网络实现反射分量的复原；输入提亮网络，提亮网络用来提升图像的亮度并输出最终结果。本发明依据分解后的光照分量和反射分量之间存在互补关系，建立了一个新的低光照图像增强框架，充分利用光照反射的关系并有效增强了低光照图像；通过提出一个新的混合双重注意力模块，该模块利用光照分量和反射分量之间的混合关系来对特征进行增强，显著提升了模型的恢复效果；提出了新的提亮网络，巧妙的融合全局信息和嵌入光照系数以得到出色的增强结果。
Description
技术领域
本发明属于图像处理技术领域，特别是涉及一种基于光照和反射互补性的低照度图像增强方法。
背景技术
日常生活中，很多因素都可以直接或间接地影响图像质量，低光照也是其中之一。在光照不足的环境中捕捉到的图像往往出现亮度低、噪声严重等情况，这大大降低了图像的视觉质量，影响后续高等级视觉任务的执行，例如图像识别、图像分割和图像分类等任务。
一些传统图像增强算法被用来恢复低光照图像的内容和细节，但依然存在一些问题。例如灰度变换方法通过函数映射的方式对图像中的较低的灰度值进行拉伸来提升图像整体亮度，能增强低光图像的整体对比度，但该方法没有考虑低光图像灰度分布不均匀的情况，容易丢失细节。直方图均衡化方法利用直方图统计处于各个像素值的像素数量并通过均衡像素数量的分布情况来调整图像的动态范围，却忽略了对噪声的处理同时容易产生过曝的现象。传统基于Retinex理论的方法利用高斯核对原始图像进行卷积以预测图像的光照，能够较好的增强图像亮度并保留图像边缘，但同时也会在部分亮度差异较大的区域出现光晕现象。近年来，随着深度学习在图像处理领域的快速发展，基于深度学习的低光照图像增强方法也大量涌现。其中基于Retinex模型的深度学习算法十分流行，这种方法将低光输入图像分解为光照分量和反射分量，对其分别进行处理后进行融合，有效的提升了低光照图像的整体对比度。
但是，这些方法在对图像进行增强时，没有有效利用光照分量和反射分量的互补关系，限制了图像增强的效果；并且这些方法只对分量进行监督，这可能会导致聚合时分量内容无法较好的匹配，从而进一步扩大差距，出现图像模糊甚至颜色偏移等问题。例如RetinexNet增强后的图像出现了严重的颜色失真。
发明内容
本发明的目的在于提供一种基于光照和反射互补性的低照度图像增强方法，以解决了现有的问题：在对图像进行增强时，没有有效利用光照分量和反射分量的互补关系，限制了图像增强的效果；并且这些方法只对分量进行监督，这可能会导致聚合时分量内容无法较好的匹配，从而进一步扩大差距，出现图像模糊甚至颜色偏移等问题。
为解决上述技术问题，本发明是通过以下技术方案实现的：一种基于光照和反射互补性的低照度图像增强方法，所述方法包括以下步骤：
S1.构建配对的数据集，所述数据集包括低光照图像和正常光照图像，其中每个低光照图像Slow对应同一场景下的正常光照图像Snorm；
S2.将低光照图像Slow进行分解，得到低光照图反射分量Rlow和低光照图光照分量Ilow；将正常光照图像Snorm分解，得到正常光照图反射分量Rnorm和正常光照图光照分量Inorm；
S3.将低光照图像Slow分解出的低光照图反射分量Rlow和低光照图光照分量Ilow输入复原网络实现反射分量的复原；
S4.将复原后的反射分量Renhance和之前分解出的低光照图光照分量Ilow输入提亮网络，提亮网络用来提升图像的亮度并输出最终结果Senhance。
进一步地：S2中，对低光照图光照分量Ilow和正常光照图光照分量Inorm的分解采用三层的U型网络进行分解，包括采样层、池化层、卷积层。
进一步地：S2中，对低光照图反射分量Rlow和正常光照图反射分量Rnorm的分解包括：
将输入进行下采样形成三个分辨率并行的处理；
经由卷积层提取特征后将三个分辨率分支的特征融合；
融合过程由采样和卷积操作组成。
进一步地：S2中，分解结果通过损失函数进行约束，所述损失函数由以下三部分组成：
Lrec＝||Ilow*Rlow-Slow||1+||Inorm*Rnorm-Snorm||1
进一步地：S3中，所述复原网络包括特征提取模块、残差增强模块和特征重建模块。
进一步地：所述特征提取模块使用单层的卷积；
所述残差增强模块包括5个残差特征聚合块和1个混合双重注意力模块；
所述图像重构部分由卷积层构成，使用LRelu作为激活函数。
进一步地：所述混合双重注意力模块主要包括：
利用光照分量和反射分量生成注意力图来对特征进行增强；
通过对注意力图的组合生成多组二重特征；
将多组二重特征进行融合。
进一步地：其中，将多组二重特征进行融合，主要包括：利用差分增强融合模块通过减去两个特征相似部分来提取差异，并使用卷积来进一步增强不同的信息。
进一步地：S3中，反射的复原结果通过损失函数进行约束，所述损失函数由以下三部分组成：
Lrestore＝Lrl2+Lrssim
Lrssim＝1-SSIM(Renhance，Rnorm)。
进一步地：S4中，所述提亮网络的组成包括卷积层、池化层、全连接层，并在其中嵌入了光照因子。
进一步地：S4中，所述提亮网络的损失函数如下：
Lrelight＝Lsl1+LSssim
LSl1＝|Senhance-Snorm||1
LSssim＝1-SSIM(Senance，Snorm)。
本发明具有以下有益效果：
1、本发明通过分解后的光照分量和反射分量之间存在互补关系，建立了一个新的低光照图像增强框架，充分利用光照反射的关系并有效增强了低光照图像。
2、本发明通过提出一个新的混合双重注意力模块，该模块利用光照分量和反射分量之间的混合关系来对特征进行增强，显著提升了模型的恢复效果。
3、本发明提出了新的提亮网络，巧妙的融合全局信息和嵌入光照系数以得到出色的增强结果。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的本发明整体框架和传统Retinex框架对比图；
图2为本发明整体流程图；
图3为本发明的混合双重注意力模型结构图；
图4为本发明的混合双重注意力的融合模块结构图；
图5为本发明的RelightNet模块的基本组件及全局向量的生成过程图；
图6为本发明与其他算法恢复后的图像对比。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
光照和反射分量基于Retinex理论进行分解，这两个分量具有着丰富的相互信息可以用来辅助整体图像的复原过程的进行。图像的退化程度和光照程度息息相关，当目标位于低光照中，噪声水平变高，图像相应产生的颜色失真等退化都会十分明显。这就意味反射复原的过程中，光照的引入十分关键。而在光照分量的增强中，反射中所包含的全局场景信息可以使光照的增强更准确具体，反射的引入会使光照不再是盲的对像素进行提升。现有利用Retinex理论构建的深度学习模型在增强低光图像时未充分利用甚至忽略了这层关系，以致增强后的图像存在一些问题，例如图像噪声扩大、整体和局部亮度低、颜色严重失真等。基于这种发现，我们设计了本发明的一种基于光照和反射互补性的低照度图像增强方法。
具体的参阅图1，为本本发明整体框架和传统Retinex框架对比示意图，其中下部分为本法的整体框架，上部分为传统Retinex框架。可知，本发明建立了一种串行的结构来有效利用二者之间存在的互补关系。其中复原网络(Resotre Net)能够出色的去除图像噪声恢复图像细节，并且我们设计的混合双重注意力模块能进一步提升复原网络的性能。本发明从用户的角度出发，采用亮度可调节系数，方便用户能够根据自身需求灵活调整图像的亮度。我们对结构也做出了合理的消融实验验证了各部分的有效性。充分的实验证明了我们方法的先进性，性能优于最先进的方法。
具体的，请参阅图2，本发明的整体流程如下：
1.构建配对的数据集。数据集应该由低光照图像和正常光照图像组成，其中每个低光照图像Slow对应同一场景下的正常光照图像Snorm。
2.基于Retinex理论将低光照图像Slow进行分解，得到被噪声污染退化的低光照图反射分量Rlow和相应的平滑的低光照图光照分量Ilow。同样的，我们将相对应的正常光照图像Snorm也送入分解，得到正常光照图反射分量Rnorm和正常光照图光照分量Inorm。
其中，我们采用分解网络(Decom Net)进行分解操作。具体的，对光照分量的分解部分是一个三层的U型网络，由上采样层、池化层、卷积层组成；对反射分量的分解包括更多的细节纹理，相较于平滑的光照分量，反射分量的分解部分更加复杂以抽取更丰富的特征，我们将输入进行下采样形成三个分辨率并行的处理，经由卷积层提取特征后将三个分辨率分支的特征融合，融合过程由采样和卷积操作组成。分解结果通过损失函数进行约束，该分解部分损失函数由三部分组成：
Lrec＝||Ilow*Rlow-Slow||1+||Inorm*Rnorm-Snorm||1
3.将低光照图像Slow分解出的低光照图反射分量Rlow和低光照图光照分量Ilow输入复原网络(Restore Net)实现反射分量的复原。由于光照平滑性lossLi_s的约束，低光照图光照分量Ilow的结构平滑不包含图像细节，纹理和噪声被留在低光照图反射分量Rlow中。复原网络的主要功能是去除反射分量中的噪声，移除噪声和低光照下带来的颜色失真，恢复反射的内容，最终得到复原后的反射分量Renhance。为了利用反射和光照信息的互补性，在此中我们引入光照信息来辅助反射的复原过程。
复原网络Restore Net可以分为三块：特征提取模块、残差增强模块和特征重建模块。其中特征提取模块使用单层的卷积；残差增强模块由4个密集残差块堆叠而成，密集残差块由5个残差特征聚合块和1个混合双重注意力模块组成，残差聚合模块之间使用稠密连接进行特征的重用，如图3所示，提出的双重注意力模块利用光照分量和反射分量生成注意力图来对特征进行增强，通过对注意力图的组合生成多组二重特征，最后将多组二重特征进行融合。通过这样的作用机制使模型更鲁棒的增强反射分量。由于Frr和Fir都具有相同的一重注意力图Fr，两者将存在大量冗余信息，如果我们直接将它们合并，冗余信息会阻碍网络学习到更细微和不同的特征，因此，我们利用差分增强融合模块(DEFM)，通过减去两个特征相似部分来提取差异，并使用卷积来进一步增强不同的信息。图4说明了融合的完整实现过程。由此，混合双重注意力模块基于光照反射之间的混合关系进行建模，通过来自反射和光照的信息进行综合加权来对特征进行增强；图像重构部分由卷积层构成，使用LRelu作为激活函数。复原网络Restore Net部分的损失函数如下：
Lrestore＝Lrl2+Lrssim
Lrssim＝1-SSIM(Renhance，Rnorm)
4.将复原后的反射分量Renhance和之前分解出的低光照图光照分量Ilow输入提亮网络(Relight Net)，提亮网络用来提升图像的亮度并输出最终结果Senhance。
我们在提亮网络中继续利用两者的互补性，通过复原后的反射分量Renhance和低光照图光照分量Ilow结合生成全局向量，如图5所示：全局向量的生成模型由卷积层、池化层、全连接层组成，并在其中嵌入了光照因子Luminance factor(低光照图光照分量Ilow/正常光照图光照分量Inorm)。我们后续可以通过光照因子Luminance factor来调节输出的曝光程度。提亮网络Relight Net部分的损失函数如下：
Lrelight＝LSl1+LSssim
LSl1＝||Senhance-Snorm||1
LSssim＝1-SSIM(Senhance，Snorm)
在一具体实施例中：
本发明应用Tensorflow框架在Nvidia 2080GPU上实现，采用ADAM优化器进行训练，其中β1＝0.9，β2＝0.999，ε＝10-8，学习率＝1×10-4，batch size＝10，Decom Net和Restore Net的patch size设置为48×48，RelightNet的patch size设置为384×384。
本发明在LOL、MIT-Adobe FiveK、LIME、MEF和NPE等低光照图像数据集上与现有众多低光图像增强算法进行定性和定量实验比较，并用图像处理领域常用测量指标值(PSNR、SSIM)和感官质量进行测试都取得了最好的效果。
LOL数据集是低光图像增强领域的常用真实数据集，该数据集包含大量的室内外低光场景图片，共有500对低光照/正常光图像。与该领域的先进算法进行比较，在具有代表性的LOL数据集上，本发明取得了最好的峰值信噪比(PSNR)和结构相似性(SSIM)值(PSNR越大越好，SSIM越接近1越好)。如下表1所示，我们的方法在PSNR和SSIM上都取得了最好的成绩。本发明的结果为PSNR＝23.55dB，SSIM＝0.86，PSNR值超过KinD++2.09dB，SSIM值超过0.037。
表1 LOL数据集上的部分定量指标结果
多曝光MIT-Adobe FiveK是一个多曝光校正数据集，对原MIT-Adobe FiveK数据集的图片进行曝光的调整，其中包含17675张训练图像，750张验证图像和5905张测试图像。通过与现有的先进算法进行比较，本发明的实验效果在欠曝光测试图像、过度曝光测试图像以及两者融合的测试图像上都取得了最好的结果，峰值信噪比和结构相似性分别达到21.625dB，0.855、21.827dB，0.864和21.746dB，0.860。
表2 MIT-Adobe FiveK数据集上的部分定量指标结果
参阅图6可知：通过多个定性比较，本发明算法取得更好的视觉效果。LLNet算法增强后图像模糊，看不清图像细节。大多数算法增强后的图像还存在大量噪声，一些算法增强后的图像部分像素值较小的区域仍然是黑暗的。另外，一些算法恢复后的图像存在对比度、饱和度较低的情况。本发明算法能够有效去除黑暗中的噪声，恢复出的图像纹理清晰，饱和度和对比度高。
通过对比实验证明，提出的可调整系数亮度因子能够有效调整算法恢复低光照图像的亮度，在定量指标上取得更好的效果。例如，在LOL数据集上，没有亮度因子测试得到的PSNR＝22.51dB，SSIM＝0.853，增加亮度因子可以更有效的找到理想的曝光等级，在指标上分别提升1.04dB、0.007。
表3有无亮度因子定量指标结果
| PSNR | SSIM | |
| 无亮度因子 | 22.51 | 23.55 |
| 有亮度因子 | 0.853 | 0.860 |
提出一种新的提亮网络，由全局向量生成模块和残差模块两部分组成，且不同数量的残差模块作用于低光图像上的表现力不同，如表4所示。
表4 Relight Net消融实验定量结果
表5显示本发明和当前先进的模型KinD，KinD++的Restore Net在定量指标和参数量上的比较，可以看出，本发明提出的模型在两方面都明显优于基线模型。
表5 Restore Net定量指标和参数量结果
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。
Claims (10)
1.一种基于光照和反射互补性的低照度图像增强方法，其特征在于：所述方法包括以下步骤：
S1.构建配对的数据集，所述数据集包括低光照图像和正常光照图像，其中每个低光照图像Slow对应同一场景下的正常光照图像Snorm；
S2.将低光照图像Slow进行分解，得到低光照图反射分量Rlow和低光照图光照分量Ilow；将正常光照图像Snorm分解，得到正常光照图反射分量Rnorm和正常光照图光照分量Inorm；
S3.将低光照图像Slow分解出的低光照图反射分量Rlow和低光照图光照分量Ilow输入复原网络实现反射分量的复原；
S4.将复原后的反射分量Renhance和之前分解出的低光照图光照分量Ilow输入提亮网络，提亮网络用来提升图像的亮度并输出最终结果Senhance。
2.根据权利要求1所述的一种基于光照和反射互补性的低照度图像增强方法，其特征在于：S2中，对低光照图光照分量Ilow和正常光照图光照分量Inorm的分解采用三层的U型网络进行分解，U型网络的设计包括采样层、池化层、卷积层。
3.根据权利要求1所述的一种基于光照和反射互补性的低照度图像增强方法，其特征在于：S2中，对低光照图反射分量Rlow和正常光照图反射分量Rnorm的分解包括：
将输入进行下采样形成三个分辨率并行的处理；
经由卷积层提取特征后将三个分辨率分支的特征融合；
融合过程由采样和卷积操作组成。
4.根据权利要求1所述的一种基于光照和反射互补性的低照度图像增强方法，其特征在于：S2中，分解结果通过损失函数进行约束，所述损失函数由以下三部分组成：
Lrec＝||Ilow*Rlow-Slow||1+||Inorm*Rnorm-Snorm||1
5.根据权利要求1所述的一种基于光照和反射互补性的低照度图像增强方法，其特征在于：S3中，所述复原网络包括特征提取模块、残差增强模块和特征重建模块；
所述特征提取模块使用单层的卷积；
所述残差增强模块包括5个残差特征聚合块和1个混合双重注意力模块；
所述图像重构部分由卷积层构成，使用LRelu作为激活函数。
6.根据权利要求5所述的一种基于光照和反射互补性的低照度图像增强方法，其特征在于：所述混合双重注意力模块主要包括：
利用光照分量和反射分量生成注意力图来对特征进行增强；
通过对注意力图的组合生成多组二重特征；
将多组二重特征进行融合。
7.根据权利要求6所述的一种基于光照和反射互补性的低照度图像增强方法，其特征在于：其中，将多组二重特征进行融合，主要包括：利用差分增强融合模块通过减去两个特征相似部分来提取差异，并使用卷积来进一步增强不同的信息。
8.根据权利要求1所述的一种基于光照和反射互补性的低照度图像增强方法，其特征在于：S3中，反射的复原结果通过损失函数进行约束，所述损失函数由以下三部分组成：
Lrestore＝Lrl2+Lrssim
Lrssim＝1-SSIM(Renhance，Rnorm)。
9.根据权利要求1所述的一种基于光照和反射互补性的低照度图像增强方法，其特征在于：S4中，所述提亮网络包括卷积层、池化层、全连接层，并在其中嵌入了光照因子。
10.根据权利要求1所述的一种基于光照和反射互补性的低照度图像增强方法，其特征在于：S4中，所述提亮网络的损失函数如下：
Lrelight＝LSl1+LSssim
LSl1＝||Senhance-Snorm||1
LSssim＝1-SSIM(Senhance，Snorm)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111214412.1A CN114066747B (zh) | 2021-10-19 | 一种基于光照和反射互补性的低照度图像增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111214412.1A CN114066747B (zh) | 2021-10-19 | 一种基于光照和反射互补性的低照度图像增强方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114066747A true CN114066747A (zh) | 2022-02-18 |
| CN114066747B CN114066747B (zh) | 2024-05-31 |
Family
ID=
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114897718A (zh) * | 2022-04-29 | 2022-08-12 | 重庆理工大学 | 一种能同时平衡上下文信息和空间细节的低光图像增强方法 |
| CN114972134A (zh) * | 2022-05-11 | 2022-08-30 | 重庆理工大学 | 一种提取并融合局部和全局特征的低光图像增强方法 |
| CN115205166A (zh) * | 2022-09-16 | 2022-10-18 | 南京信息工程大学 | 基于环境光与传输图并行估计网络的水下图像恢复方法 |
| CN116664463A (zh) * | 2023-05-29 | 2023-08-29 | 中兴协力(山东)数字科技集团有限公司 | 两阶段的低照度图像增强方法 |
| CN116664452A (zh) * | 2023-07-28 | 2023-08-29 | 吉林省星博医疗器械有限公司 | 一种多通道荧光图像多尺度增强方法和系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109886885A (zh) * | 2019-01-23 | 2019-06-14 | 齐鲁工业大学 | 一种基于Lab色彩空间和Retinex的图像增强方法及系统 |
| CN110232661A (zh) * | 2019-05-03 | 2019-09-13 | 天津大学 | 基于Retinex和卷积神经网络的低光照彩色图像增强方法 |
| AU2020100175A4 (en) * | 2020-02-04 | 2020-04-09 | Hu, Wei MR | Retinex-based progressive image enhancement method |
| KR102134405B1 (ko) * | 2019-06-27 | 2020-07-15 | 중앙대학교 산학협력단 | 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치 및 방법 |
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109886885A (zh) * | 2019-01-23 | 2019-06-14 | 齐鲁工业大学 | 一种基于Lab色彩空间和Retinex的图像增强方法及系统 |
| CN110232661A (zh) * | 2019-05-03 | 2019-09-13 | 天津大学 | 基于Retinex和卷积神经网络的低光照彩色图像增强方法 |
| KR102134405B1 (ko) * | 2019-06-27 | 2020-07-15 | 중앙대학교 산학협력단 | 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치 및 방법 |
| AU2020100175A4 (en) * | 2020-02-04 | 2020-04-09 | Hu, Wei MR | Retinex-based progressive image enhancement method |
Non-Patent Citations (1)
| Title |
|---|
| 方明;李洪娜;雷立宏;梁铭;: "低照度视频图像增强算法综述", 长春理工大学学报(自然科学版), no. 03, 15 June 2016 (2016-06-15) * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114897718A (zh) * | 2022-04-29 | 2022-08-12 | 重庆理工大学 | 一种能同时平衡上下文信息和空间细节的低光图像增强方法 |
| CN114897718B (zh) * | 2022-04-29 | 2023-09-19 | 重庆理工大学 | 一种能同时平衡上下文信息和空间细节的低光图像增强方法 |
| CN114972134A (zh) * | 2022-05-11 | 2022-08-30 | 重庆理工大学 | 一种提取并融合局部和全局特征的低光图像增强方法 |
| CN114972134B (zh) * | 2022-05-11 | 2023-08-25 | 即刻分享信息技术(北京)有限公司 | 一种提取并融合局部和全局特征的低光图像增强方法 |
| CN115205166A (zh) * | 2022-09-16 | 2022-10-18 | 南京信息工程大学 | 基于环境光与传输图并行估计网络的水下图像恢复方法 |
| CN116664463A (zh) * | 2023-05-29 | 2023-08-29 | 中兴协力(山东)数字科技集团有限公司 | 两阶段的低照度图像增强方法 |
| CN116664463B (zh) * | 2023-05-29 | 2024-01-30 | 中兴协力(山东)数字科技集团有限公司 | 两阶段的低照度图像增强方法 |
| CN116664452A (zh) * | 2023-07-28 | 2023-08-29 | 吉林省星博医疗器械有限公司 | 一种多通道荧光图像多尺度增强方法和系统 |
| CN116664452B (zh) * | 2023-07-28 | 2023-09-29 | 吉林省星博医疗器械有限公司 | 一种多通道荧光图像多尺度增强方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112233038B (zh) | 基于多尺度融合及边缘增强的真实图像去噪方法 | |
| CN111161360B (zh) | 基于Retinex理论的端到端网络的图像去雾方法 | |
| CN111028177A (zh) | 一种基于边缘的深度学习图像去运动模糊方法 | |
| Shen et al. | Convolutional neural pyramid for image processing | |
| Liu et al. | Survey of natural image enhancement techniques: Classification, evaluation, challenges, and perspectives | |
| CN113222875B (zh) | 一种基于色彩恒常性的图像和谐化合成方法 | |
| CN113658057A (zh) | 一种Swin Transformer微光图像增强方法 | |
| CN114972134A (zh) | 一种提取并融合局部和全局特征的低光图像增强方法 | |
| CN114219722A (zh) | 一种利用时频域层级处理的低光照图像增强方法 | |
| CN112767286A (zh) | 一种基于密集深度学习的暗光图像自适应增强方法 | |
| CN115457249A (zh) | 红外图像与可见光图像融合匹配的方法及系统 | |
| CN113344804B (zh) | 一种弱光图像增强模型的训练方法和弱光图像增强方法 | |
| Tan et al. | Low-light image enhancement with geometrical sparse representation | |
| CN113554568A (zh) | 一种基于自监督约束和不成对数据的无监督循环去雨网络方法 | |
| CN117078553A (zh) | 一种基于多尺度深度学习的图像去雾方法 | |
| CN116563133A (zh) | 基于模拟曝光和多尺度融合的低照度彩色图像增强方法 | |
| CN116523794A (zh) | 一种基于卷积神经网络的低光照图像增强方法 | |
| CN115760640A (zh) | 基于含噪Retinex模型的煤矿低光照图像增强方法 | |
| CN116703750A (zh) | 基于边缘注意力和多阶微分损失的图像去雾方法及系统 | |
| CN116109510A (zh) | 一种基于结构和纹理对偶生成的人脸图像修复方法 | |
| CN114066747B (zh) | 一种基于光照和反射互补性的低照度图像增强方法 | |
| CN114066747A (zh) | 一种基于光照和反射互补性的低照度图像增强方法 | |
| CN114549343A (zh) | 基于双支残差特征融合去雾方法 | |
| CN113870162A (zh) | 一种融合光照和反射的低光图像增强方法 | |
| Xie et al. | DHD-Net: A novel deep-learning-based dehazing network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |