CN113450290B - 基于图像修补技术的低照度图像增强方法及系统 - Google Patents
基于图像修补技术的低照度图像增强方法及系统 Download PDFInfo
- Publication number
- CN113450290B CN113450290B CN202111017628.9A CN202111017628A CN113450290B CN 113450290 B CN113450290 B CN 113450290B CN 202111017628 A CN202111017628 A CN 202111017628A CN 113450290 B CN113450290 B CN 113450290B
- Authority
- CN
- China
- Prior art keywords
- image
- noise
- representing
- illumination
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 53
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000005516 engineering process Methods 0.000 title claims abstract description 12
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 31
- 238000011084 recovery Methods 0.000 claims abstract description 23
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 29
- 150000001875 compounds Chemical class 0.000 claims description 16
- 230000004913 activation Effects 0.000 claims description 10
- 238000010586 diagram Methods 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 230000000452 restraining effect Effects 0.000 claims description 4
- 230000009191 jumping Effects 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 abstract description 5
- 238000004422 calculation algorithm Methods 0.000 description 17
- 238000013135 deep learning Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 235000008733 Citrus aurantifolia Nutrition 0.000 description 3
- 235000011941 Tilia x europaea Nutrition 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000001424 field-emission electron microscopy Methods 0.000 description 3
- 239000004571 lime Substances 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 125000001475 halogen functional group Chemical group 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 210000003618 cortical neuron Anatomy 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明涉及基于图像修补技术的低照度图像增强方法及系统,图像增强方法步骤如下:步骤1、采集图像数据,并对所述图像数据进行预处理;步骤2、构建分解网络模型,将预处理后的图像数据导入至所述分解网络模型中;步骤3、生成噪声图Mask;步骤4、构建恢复网络,对分解后的图像数据进行色彩增强及细节恢复;步骤5、构建选择核增强模块,扩大图像的感受野;步骤6、构建图像修补模块,对图像空洞进行修补,扩充有效信息。本发明将图像修补技术与低照度图像恢复进行了有效融合,解决了由于噪声导致的细节缺失的问题,能够在去除噪声的同时将失去的细节信息修补回来并从而获得更好的视觉效果。
Description
技术领域
本发明涉及图像处理领域,具体涉及一种基于图像修补技术的低照度图像增强方法及系统。
背景技术
暗光环境下的相机成像在日常拍照中,由于光线昏暗,照度不充分和成像设备的进光量不充足通常会导致生成的图像产生大量的噪声,颜色退化,对比度较低和曝光不足等严重的问题。同时这种情况也广泛存在于其他任务中,如目标检测,人脸识别,水下图像成像以及视频监控等。为了提高图像的可见度以及恢复图像中缺失的细节信息,在过去的几十年中传统的图像增强算法对低照度图像的增强与恢复已经初见成效,但是由于传统算法的局限性对于复杂场景中以及极低照度场景中的强噪声以及缺失的细节很难进行增强和恢复。虽然深度学习技术的快速发展,基于深度学习的低照度图像增强算法已经广泛应用在该领域但是当前大多数低照度增强方法仍然不能很好的解决由噪声导致的细节缺失这个问题。
在现有的技术方案中,例如直方图均衡化虽然可以对全局图像进行亮度调整但是无法去除噪声并且可能减低对比度。基于retinex理论的算法则将图像分解为反射图和照度图,但是其容易存在边缘处光晕等问题。
发明内容
发明目的:提出一种基于图像修补技术的低照度图像增强方法,并进一步提出一种用于实现上述方法的系统,以解决现有技术存在的上述问题。
技术方案:第一方面,提供了基于图像修补技术的低照度图像增强方法,该方法包括以下步骤:
步骤1、采集图像数据,并对所述图像数据进行预处理;
步骤2、构建分解网络模型,将预处理后的图像数据导入至所述分解网络模型中;
步骤3、生成噪声图Mask;
步骤4、构建恢复网络,对分解后的图像数据进行色彩增强及细节恢复;
步骤5、构建选择核增强模块,扩大图像的感受野;
步骤6、构建图像修补模块,对图像空洞进行修补,扩充有效信息。
在第一方面的一些可实现方式中,由于图像中丢失的信息被噪声所覆盖,所以需要知道噪声在图像上的分布,为此,本发明设计了一个能够分解出噪声图的分解网络,构建分解网络模型的过程如下:
步骤2-1、分别构建相互并列的反射分支、照度分支、以及噪声分支;所述照度分支与反射分支跳跃连接;
步骤2-2、在所述反射分支和所述照度分支的前段插入编码器网络,将编码器所得到的特征分别输入到对应的解码器网络中;
步骤2-3、将输入图像和groundTrue图像分解得到对应的反射图、照度图、以及噪声图;
步骤2-4、从对比度、亮度、以及结构角度衡量两幅图像的差异;
步骤2-5、对噪声图进行约束。
在第一方面的一些可实现方式中,将输入图像和groundTrue图像分解得到对应的反射图、照度图、以及噪声图的过程进一步包括:
步骤2-3a、约束重构误差:
式中,表示输入图像经过分解网络模型分解得到的照度图,表示groundTruth图像经过分解网络模型分解得到的照度图,表示输入图像经过分解网络模型分解得到的反射图,表示groundTruth图像经过分解网络模型分解得到的反射图,表示输入图像经过分解网络模型分解得到的噪声图,表示groundTruth图像经过分解网络模型分解得到的噪声图,表示感知损失函数,表示输入的低照度图像,表示与低照度图像相对应的正常图像ground;
其中,感知损失函数表达式如下:
式中,表示第i层网络提取出来的特征图,Y和分别表示一阶段网络的输出和低照度图像对应的参照图;相比于普通的VGG的感知损失函数,我们依据低照度图像的特征特点进行了重新设计,由于图像的恢复不仅要考虑其中的高低频信息,其次图像中的语义信息也尤为重要,为此,我们提取了VGG网络中的第1和第2层作为高低频信息的损失计算,我们提取第6和第8层作为图像中的语义信息计算。
步骤2-3b、从对比度、亮度以及结构角度衡量输入图像和groundTrue图像的差异:
式中,表示一阶导数算子,表示L1损失函数,表示一个极小的正常数,表示低照度图像的水平方向算子,表示低照度图像垂直方向算子,表示groundTruth图像的水平方向算子,表示groundTruth图像的垂直方向算子,表示照度平滑损失函数,表示最大值函数;
步骤2-3c、从照度相似性、结构相似性和对比度相似性这三个维度对输入的两张图像进行相似性分析,构建SSIM损失函数,如下:
步骤2-4d、约束groundTrue图像分解出的噪声图,以到达同时约束低照度图像的噪声图的目的:
在第一方面的一些可实现方式中,为了得到噪声图像对应的mask,我们将获得的噪声图首先转换成灰度图去掉杂色,然后再采用阈值化的方法将噪声图像进行二值化处理得到最终的mask。
在第一方面的一些可实现方式中,构建选择核增强模块的过程进一步包括:
输入特征首先经过两个卷积层进行初步特征的提取,然后分别经过三个卷积分支E1,E2和E3用来提取不同尺度的特征,其中E1由一个卷积层和一个激活函数组成,E2则在卷积层的前面加一个了maxpool池化层,为了获得更大的感受野E3添加了2个maxpool池化层。在得到通道数和空间维度各不相同的三个特征后,我们首先通过用卷积核来降低维度,然后受用双边上采样进行空间维度的特征上采样并利用SK模块将他们依次进行融合,得到输出z。
式中,表示第一组SK模块,表示第一组SK模块生成的特征图,表示第二组SK模块,表示第二组SK模块生成的特征图,表示第三组SK模块,表示双线性插值上采样过程,表示采用卷积滤波器降低维度,表示采用卷积滤波器降低维度,表示采用卷积滤波器降低维度,表示采用卷积分支E1提取特征,表示采用卷积分支E2提取特征,表示采用卷积分支E3提取特征。
在第一方面的一些可实现方式中,构建图像修补模块的过程进一步包括:
步骤6-1、使用门控卷积更新mask:
式中,表示经过卷积滤波器之后的特征图结果,表示经过卷积滤波器之后的特征图结果,表示像素在特征图中的横坐标,表示像素在特征图中的纵坐标,和分别表示用于更新mask和计算输入特征的两个不同的卷积滤波器,表示Sigmoid激活函数,表示ELU激活函数,表示得到的输出特征图。
步骤6-2、对每个解码块之前采用最近邻插值进行上采样,在编码块和解码块之间添加跳跃连接为空洞修补提供信息。
第二方面,提供了一种低照度图像增强系统,该系统包括预处理模块、分解网络模块、噪声图生成模块、恢复网络模块、选择核增强模块、图像修补模块。
预处理模块用于采集拟处理的图像数据,将原始图像裁切为预定尺寸,对裁切完成后的图像随机翻转和旋转,对进行归一化操作;分解网络模块用于构建分解网络;噪声图生成模块用于得到噪声图像对应的mask;恢复网络模块用于构建恢复网络,对分解后的图像数据进行色彩增强及细节恢复;选择核增强模块用于扩大图像的感受野;图像修补模块用于对图像空洞进行修补,扩充有效信息。
在第二方面的一些可实现方式中,分解网络分别由反射分支,照度分支以及噪声分支组成。为了更有效的利用图像特征信息,照度分支和反射分支共用一个编码器网络,然后将编码器所得到的特征分别输入到对应的解码器网络中。编码器共包含三个卷积层,为了获得特征中主要的信息并且减少参数量,在每层的卷积的前面加了maxpool层。在反射分支中,为了避免出现网格效应,我们采用上采样因子为2的双边上采样层加在每层解码块的前面,同时解码器与编码器之间使用了跳跃连接。为了加强特征的传递,照度分支与反射分支进行跳跃连接,且在最后一层采用sigmoid激活函数。为了更好的估计噪声图,噪声分支由2个卷积层和3个残差块组成,其中激活函数均为leakyrelu。
第三方面,提供了一种低照度图像增强装置,该装置包括:处理器,以及存储有计算机程序指令的存储器;所述处理器读取并执行计算机程序指令时实现第一方面或第一方面的一些可实现方式中的低照度图像增强方法。
第四方面,提供了一种计算机存储介质,计算机存储介质上存储有计算机程序指令,计算机程序指令被处理器执行时实现第一方面或第一方面的一些可实现方式中的图像增强方法。
有益效果:本发明涉及一种基于图像修补技术的低照度图像增强方法及系统,将图像修补技术与低照度图像恢复进行了有效融合,解决了由于噪声导致的细节缺失的问题,能够在去除噪声的同时将失去的细节信息修补回来并从而获得更好的视觉效果。
附图说明
图1是本发明实施例的光照重渲染网络结构图。
图2是本发明实施例的选择核增强模块结构图。
图3是本发明实施例的修补模块结构图。
图4是本发明实施例的程序流程图。
图5是本发明实施例步骤5中采用编码解码的设计方式得到的图像示意图。
图6是本发明实施例步骤5中选择带有严重噪声的示例图像给出恢复结果的示意图。
具体实施方式
在下文的描述中,给出了大量具体的细节以便提供对本发明更为彻底的理解。然而,对于本领域技术人员而言显而易见的是,本发明可以无需一个或多个这些细节而得以实施。在其他的例子中,为了避免与本发明发生混淆,对于本领域公知的一些技术特征未进行描述。
实施例一:
在现有的技术方案中,例如直方图均衡化虽然可以对全局图像进行亮度调整但是无法去除噪声并且可能减低对比度。基于retinex理论的算法则将图像分解为反射图和照度图,但是其容易存在边缘处光晕等问题。而近年来随着深度学习的迅猛发展,许多基于深度学习的算法相继提出,虽然能够在去噪和亮度调整上能取得良好的效果,但是确很难恢复出由于噪声导致的细节缺失等问题。
为此,实施例一提出一种用于低照度图像增强的噪声图引导的图像修补网络,技术方案如下:
准备好低照度图像的数据集,本发明中使用了LOL数据集和SYN数据集;
对数据集进行预处理,包括像素值归一化,图像块翻转和旋转等操作;
设计整体网络结构,整体网络结构总共包含两个阶段;
设计一阶段分解网络;
进一步地,为一阶段分解网络设计损失函数;
进一步地,选择Adam优化器;
对一阶段网络进行训练同时保存网络参数;
设计噪声图生成算法并将得到的结果进行保存;
设计二阶段恢复网络;
进一步地,将一阶段中得到的反射图和噪声图Mask作为输入送入二阶段网络并对二阶段恢复网络进行训练;
为二阶段网络设计损失函数;
进一步地,为二阶段网络构建优化器,同样选择Adam优化器。
极低照度图像包含了大量噪声,导致图像中应有的细节被噪声所覆盖,本解决了由于噪声导致的细节缺失的问题,能够在去除噪声的同时将失去的细节信息修补回来并从而获得更好的视觉效果。由于本发明分为两个阶段,将低照度图像恢复问题解耦成了两个子问题,这使得算法对问题的求解更加明确和有效。第一个阶段将图像分解为了反射图,照度图和噪声图。这一步中将噪声信息,照度信息以及颜色信息进行了分解。并将本来应当舍弃的噪声信息转而利用并设计算法得到了有用的噪声图Mask给二阶段网络进一步利用。而由于低照度环境导致颜色信息退化的反射图将通过二阶段网络进一步强化处理。所以我们可以对各个子问题进行有效的处理。并解决低照度图像增强后带来的色差的问题,使得图像更加自然。
实施例二:
在实施例一的基础之上,申请人进一步研究发现,由于现大部分低照度图像增强算法无法很好的去除噪声,并且很难恢复由于噪声导致的细节缺失的问题。针对细节丢失和难以恢复这个问题,我们便提出了基于图像修补技术的低照度图像增强算法。
整个网络结构图如图1所示,总共由分解网络和恢复网络组成。其中分解网络由三个分支构成,分别负责生成反射图,照度图和噪声图。而恢复网络则由特征增强组 (FEG)和修补模块(InpaintingModule)组成,如图3所示。其中每个FEG由4个选择核增强模块(SKE)组成,如图2所示。分解网络将输入图像分解为反射图,照度图和噪声图。然后将噪声图经过二值化处理之后得到噪声图mask。将输入图像,反射图和mask三张图一起送入恢复网络并得到最终的结果。本实施例提出的图像增强方法流程见图4,主要包括六个步骤:
步骤一,数据预处理。
为了使得模型得到更加完备的训练,我们先对数据进行预处理,我们将400张原始图像大小为400x600的图像对每一张图像随机切成250个256x256大小的图像,并将得到的图像进行随机翻转和旋转等操作进行数据增强,并进行最终的归一化。
由于图像中丢失的信息被噪声所覆盖,所以我们需要知道噪声在图像上的分布。为此我们设计了一个能够分解出噪声图的分解网络。
一张由相机所拍摄的彩色图像I可以如下所示:
其中,R和L分别表示反射图和照度图。由于暗光环境下不可避免地会产生噪声,且噪声的分布独立于反射图和照度图,所以可以将噪声加入图像的表示当中如下所示:
其中,N表示噪声图。
如图1所示,分解网络分别由反射分支,照度分支以及噪声分支组成。为了更有效的利用图像特征信息,照度分支和反射分支共用一个编码器网络,然后将编码器所得到的特征分别输入到对应的解码器网络中。编码器共包含三个卷积层,为了获得特征中主要的信息并且减少参数量,在每层的卷积的前面加了maxpool层。在反射分支中,为了避免出现网格效应,我们采用上采样因子为2的双边上采样层加在每层解码块的前面,同时解码器与编码器之间使用了跳跃连接。为了加强特征的传递,照度分支与反射分支进行跳跃连接,且在最后一层采用sigmoid激活函数。为了更好的估计噪声图,噪声分支由2个卷积层和3个残差块组成,其中激活函数均为leakyrelu。
采用下式来约束重构的误差:
式中,表示输入图像经过分解网络模型分解得到的照度图,表示groundTruth图像经过分解网络模型分解得到的照度图,表示输入图像经过分解网络模型分解得到的反射图,表示groundTruth图像经过分解网络模型分解得到的反射图,表示输入图像经过分解网络模型分解得到的噪声图,表示groundTruth图像经过分解网络模型分解得到的噪声图,表示感知损失函数,表示输入的低照度图像,表示与低照度图像相对应的正常图像ground;
由于反射图的性质是分段光滑的,所以我们采用下式来最小化误差,从对比度、亮度以及结构角度衡量输入图像和groundTrue图像的差异:
式中,表示一阶导数算子,表示L1损失函数,表示一个极小的正常数,表示低照度图像的水平方向算子,表示低照度图像垂直方向算子,表示groundTruth图像的水平方向算子,表示groundTruth图像的垂直方向算子,表示照度平滑损失函数,表示最大值函数;
其中,感知损失函数表达式如下:
相比于普通的VGG的感知损失函数,我们依据低照度图像的特征特点进行了重新设计,由于图像的恢复不仅要考虑其中的高低频信息,其次图像中的语义信息也尤为重要,为此,我们提取了VGG网络中的第1和第2层作为高低频信息的损失计算,我们提取第6和第8层作为图像中的语义信息计算。
用于约束噪声图的误差,由于groundTrue的图像默认是不含噪声的。所以仅通过约束groundTrue图像分解出的噪声图即可到达同时约束低照度图像的噪声图的目的。表示groundTrue图像的噪声图。
步骤二,生成噪声图Mask
为了得到噪声图像对应的mask,我们将获得的噪声图首先转换成灰度图去掉杂色,然后再采用阈值化的方法将噪声图像进行二值化处理得到最终的mask,公式如下:
步骤三,构架恢复网络
由于分解后的图像存在颜色失真和细节缺失的问题,增强网络旨在对图像进行颜色的增强和细节恢复。正如图1中所示,增强网络由FEG和修补模块组成。
为了更合理的利用图像特征,我们设计了FEG,并将其放置在inpaint模块的左边和右边,这样做有两个原因,一是,对输入的图像特征进行提取且同时为修补模块提供必要的特征信息,二是将修补后的图像特征进行进一步增强,具体的,它由4个FEM组成,其中前两个FEM的输出以残差学习的方式传递到第四个FEM,这样可以将浅层和深层的信息进行结合且有利于训练变得更加稳定。
步骤四,构建选择核增强(Selective kernel Enhance)模块
人类的视觉皮层神经元能够根据刺激物改变其感受野,而CNN则可以通过多尺度去模拟这种自适应调整感受野的机制,通过对不同尺度的特征进行选择和融合,能够在扩大感受野的同时,对图像中不同的特征可以进一步增强表达能力。
如图2所示,输入特征首先经过两个卷积层进行初步特征的提取,然后分别经过三个卷积分支E1,E2和E3用来提取不同尺度的特征,其中E1由一个卷积层和一个激活函数组成,E2则在卷积层的前面加一个了maxpool池化层,为了获得更大的感受野E3添加了2个maxpool池化层。在得到通道数和空间维度各不相同的三个特征后,我们首先通过用卷积核来降低维度,然后受用双边上采样进行空间维度的特征上采样并利用SK模块将他们依次进行融合,得到输出z。
式中,表示,表示,表示第一组SK模块,表示第二组SK模块,表示第三组SK模块,表示,表示采用卷积核降低维度,表示采用卷积核降低维度,表示采用卷积核降低维度,表示采用卷积分支E1提取特征,表示采用卷积分支E2提取特征,表示采用卷积分支E3提取特征。
步骤五,构建图像修补模块(InpaintingModule)
由于噪声图的空洞区域具有无规则的特点普通卷积被证明无法对其有效地进行更新,部分卷积只是启发式地更新mask且所有通道共用相同mask,这限制了对不规则空洞的更新的灵活性,而门控卷积则能够对特征图中每个通道的每个位置学习一种动态的特征选择机制。所以我们选门控卷积更新mask。
式中,表示经过卷积滤波器之后的特征图结果,表示经过卷积滤波器之后的特征图结果,表示像素在特征图中的横坐标,表示像素在特征图中的纵坐标,和分别表示用于更新mask和计算输入特征的两个不同的卷积滤波器,表示Sigmoid激活函数,表示ELU激活函数,表示得到的输出特征图。
如图5所示,由于我们需要从低照度图像中提取低级视觉特征,所以我们采用编码解码的设计方式。其中编码器共包含8个门控卷积,为了在下采样的同时尽可能的利用mask中的信息,我们用kernelsize为3,步长为2的门控卷积代替了maxpool池化层。而解码器中则包含6个kernelsize为3步长为1的门控卷积,在每个解码块的前面我们通过最近邻插值进行上采样。与普通的mask不同的是,由于噪声图是由离散的噪声点与极小的噪声块组成的,在经过二值化之后所产生的mask中的每一个点相当于一个小的空洞区域,且周围存在有效的边界信息,所以我们通过在编码块和解码块之间添加跳跃连接来为空洞修补提供更多有效的信息。
我们评估了所提出的NGI-Net网络,并与Dong、NPE、LIME等3种传统算法以及目前最先进的深度学习方法GLAD、retina exnet、KinD、KinD++在PSNR、SSIM方面进行了比较。
在图6中,我们选择了一些带有严重噪声的示例图像,并给出了恢复结果。显然,传统的方法并不能很好地去除噪声,一些黑暗的区域甚至没有得到改善。基于dl的方法表现更好。视网膜网络增强了极度黑暗的区域,但有严重的噪音。GLAD的输出也存在噪声,但算法消除了一些颜色失真。虽然KinD和KinD++消除了一些噪声,但它们有不同程度的模糊边界和细节损失。相比之下,我们的方法更稳定,同时去噪和恢复细节在极端黑暗的区域。结果表明,传统算法普遍存在曝光不足、色差等问题。在深度学习方法中,GLAD和RetinexNet产生的颜色偏差最为严重,KinD和KinD ++在曝光控制方面表现较好。该方法同时具有良好的曝光和对比度性能,输出结果与地面真实最接近。此外,表1和表2表明,与其他网络相比,我们的网络在LOL和SYN数据集上性能更好。
表1基于LOL数据集下的PSNR/SSIM
Metric | Dong | NPE | LIME | GLAD | RetinexNet | KinD | KinD++ | Ours |
PSNR | 16.72 | 16.97 | 14.22 | 19.72 | 16.57 | 20.38 | 21.80 | 24.01 |
SSIM | 0.4781 | 0.4835 | 0.5203 | 0.6822 | 0.3989 | 0.8240 | 0.8284 | 0.8377 |
表2基于SYN数据集下的PSNR/SSIM
Metric | Dong | NPE | LIME | GLAD | RetinexNet | KinD | KinD++ | Ours |
PSNR | 16.84 | 16.47 | 17.11 | 18.05 | 17.11 | 18.30 | 19.54 | 26.01 |
SSIM | 0.7411 | 0.7770 | 0.7868 | 0.8195 | 0.7617 | 0.8390 | 0.8491 | 0.9366 |
上述实施例所述的技术方案可以应用于专业摄像摄影设备上、各类手机app上、以及交通监控及行车记录仪上。本发明可以为专业摄影者提供在暗光以及极暗光场景下更加便利和优秀的拍摄算法,不需要摄影者自行调整各种参数即可获得良好的摄影图像。可以为普通用户提供更加快捷简单的拍摄方式,并且允许用户在基于本发明的基础上对所拍图像进行进一步的个性化操作,提供更好的用户体验。对于用户的夜间行车以及交通摄像头的夜间监控,提供良好的夜间成像尤为重要,本发明可以使得行车记录仪和交通监控的夜间成像变得更加清晰,车辆更加容易辨识。
如上所述,尽管参照特定的优选实施例已经表示和表述了本实施例,但其不得解释为对本实施例自身的限制。在不脱离所附权利要求定义的本实施例的精神和范围前提下,可对其在形式上和细节上做出各种变化。
Claims (6)
1.基于图像修补技术的低照度图像增强方法,其特征在于,包括如下步骤:
步骤1、采集图像数据,并对所述图像数据进行预处理;
步骤2、构建分解网络模型,将预处理后的图像数据导入至所述分解网络模型中;
步骤2-1、分别构建相互并列的反射分支、照度分支、以及噪声分支;所述照度分支与反射分支跳跃连接;
步骤2-2、在所述反射分支和所述照度分支的前段插入编码器网络,将编码器所得到的特征分别输入到对应的解码器网络中;
步骤2-3、将输入图像和groundTruth图像分解得到对应的反射图、照度图、以及噪声图;
步骤2-4、从对比度、亮度、以及结构角度衡量输入图像和groundTruth图像的差异;
步骤2-5、对噪声图进行约束;
步骤3、生成噪声图掩膜;
步骤4、构建恢复网络,对分解后的图像数据进行色彩增强及细节恢复;
步骤5、构建选择核增强模块,扩大图像的感受野;
步骤6、构建图像修补模块,对图像空洞进行修补,扩充有效信息;
步骤7、将输入图像,反射图和噪声图掩膜三张图一起送入恢复网络并得到最终的结果。
2.根据权利要求1所述的低照度图像增强方法,其特征在于,步骤3进一步包括:
步骤3-1、将获得的噪声图转换成灰度图去掉杂色;
步骤3-2、采用阈值化的方法将噪声图像进行二值化处理得到最终的掩膜。
3.根据权利要求1所述的低照度图像增强方法,其特征在于,步骤5进一步包括:
步骤5-1、输入特征经过两个卷积层进行初步特征的提取,然后分别经过三个卷积分支E1、E2和E3,用来提取不同尺度的特征;
其中,E1包括一个卷积层和一个激活函数;
E2在E1的基础之上,还包括设置在卷积层前部的至少一个maxpool池化层;
E3在E1的基础之上,还包括至少两个maxpool池化层;
步骤5-3、使用双线性插值进行空间维度的特征上采样,并利用选择核模块将特征依次进行融合,得到输出z:
5.低照度图像增强装置,其特征在于,所述装置包括:
处理器以及存储有计算机程序指令的存储器;
所述处理器读取并执行所述计算机程序指令,以实现如权利要求1-4任意一项所述的低照度图像增强方法。
6.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现如权利要求1-4任意一项所述的低照度图像增强方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111017628.9A CN113450290B (zh) | 2021-09-01 | 2021-09-01 | 基于图像修补技术的低照度图像增强方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111017628.9A CN113450290B (zh) | 2021-09-01 | 2021-09-01 | 基于图像修补技术的低照度图像增强方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113450290A CN113450290A (zh) | 2021-09-28 |
CN113450290B true CN113450290B (zh) | 2021-11-26 |
Family
ID=77819207
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111017628.9A Active CN113450290B (zh) | 2021-09-01 | 2021-09-01 | 基于图像修补技术的低照度图像增强方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113450290B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115482169A (zh) * | 2022-09-26 | 2022-12-16 | 深圳信息职业技术学院 | 低照度图像增强方法、装置、电子设备及存储介质 |
CN115358952B (zh) * | 2022-10-20 | 2023-03-17 | 福建亿榕信息技术有限公司 | 一种基于元学习的图像增强方法、系统、设备和存储介质 |
CN115829868B (zh) * | 2022-11-28 | 2023-10-03 | 三亚学院 | 基于光照与噪声残差图的水下暗光图像增强方法 |
CN116012260B (zh) * | 2023-02-23 | 2023-07-04 | 杭州电子科技大学 | 一种基于深度Retinex的低光图像增强方法 |
CN116128768B (zh) * | 2023-04-17 | 2023-07-11 | 中国石油大学(华东) | 一种带有去噪模块的无监督图像低照度增强方法 |
CN116757966A (zh) * | 2023-08-17 | 2023-09-15 | 中科方寸知微(南京)科技有限公司 | 基于多层级曲率监督的图像增强方法及系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102142135A (zh) * | 2010-01-29 | 2011-08-03 | 三星电子株式会社 | 用于基于图像特征强调边缘的图像生成设备和方法 |
CN104063848A (zh) * | 2014-06-19 | 2014-09-24 | 中安消技术有限公司 | 一种低照度图像增强方法和装置 |
CN105205794A (zh) * | 2015-10-27 | 2015-12-30 | 西安电子科技大学 | 一种低照度图像的同步增强去噪方法 |
CN109389556A (zh) * | 2018-09-21 | 2019-02-26 | 五邑大学 | 一种多尺度空洞卷积神经网络超分辨率重构方法及装置 |
CN112183637A (zh) * | 2020-09-29 | 2021-01-05 | 中科方寸知微(南京)科技有限公司 | 一种基于神经网络的单光源场景光照重渲染方法及系统 |
CN112614063A (zh) * | 2020-12-18 | 2021-04-06 | 武汉科技大学 | 用于楼宇内低照度环境的图像增强和噪声自适应去除方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9633274B2 (en) * | 2015-09-15 | 2017-04-25 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for denoising images using deep Gaussian conditional random field network |
US10410330B2 (en) * | 2015-11-12 | 2019-09-10 | University Of Virginia Patent Foundation | System and method for comparison-based image quality assessment |
-
2021
- 2021-09-01 CN CN202111017628.9A patent/CN113450290B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102142135A (zh) * | 2010-01-29 | 2011-08-03 | 三星电子株式会社 | 用于基于图像特征强调边缘的图像生成设备和方法 |
CN104063848A (zh) * | 2014-06-19 | 2014-09-24 | 中安消技术有限公司 | 一种低照度图像增强方法和装置 |
CN105205794A (zh) * | 2015-10-27 | 2015-12-30 | 西安电子科技大学 | 一种低照度图像的同步增强去噪方法 |
CN109389556A (zh) * | 2018-09-21 | 2019-02-26 | 五邑大学 | 一种多尺度空洞卷积神经网络超分辨率重构方法及装置 |
CN112183637A (zh) * | 2020-09-29 | 2021-01-05 | 中科方寸知微(南京)科技有限公司 | 一种基于神经网络的单光源场景光照重渲染方法及系统 |
CN112614063A (zh) * | 2020-12-18 | 2021-04-06 | 武汉科技大学 | 用于楼宇内低照度环境的图像增强和噪声自适应去除方法 |
Non-Patent Citations (2)
Title |
---|
Luminance-aware Pyramid Network for Low-light Image Enhancement;Jiaqian Li 等;《https://junchenglee.com/paper/TMM_2020.pdf》;20200905;第1-13页 * |
低光图像增强学习;lyp19921126;《https://www.cnblogs.com/lyp1010/p/12208627.html》;20200118;第1-10页 * |
Also Published As
Publication number | Publication date |
---|---|
CN113450290A (zh) | 2021-09-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113450290B (zh) | 基于图像修补技术的低照度图像增强方法及系统 | |
CN112233038B (zh) | 基于多尺度融合及边缘增强的真实图像去噪方法 | |
US20230080693A1 (en) | Image processing method, electronic device and readable storage medium | |
Xu et al. | Structure-texture aware network for low-light image enhancement | |
CN111028163A (zh) | 一种基于卷积神经网络的联合图像去噪与弱光增强方法 | |
CN112164011B (zh) | 基于自适应残差与递归交叉注意力的运动图像去模糊方法 | |
CN112257766B (zh) | 一种基于频域滤波处理的自然场景下阴影识别检测方法 | |
Liu et al. | Survey of natural image enhancement techniques: Classification, evaluation, challenges, and perspectives | |
CN111372006B (zh) | 一种面向移动端的高动态范围成像方法及系统 | |
CN114862698B (zh) | 一种基于通道引导的真实过曝光图像校正方法与装置 | |
CN113658057A (zh) | 一种Swin Transformer微光图像增强方法 | |
CN116051428A (zh) | 一种基于深度学习的联合去噪与超分的低光照图像增强方法 | |
CN115035011B (zh) | 一种融合策略下自适应RetinexNet的低照度图像增强方法 | |
CN115641391A (zh) | 一种基于密集残差和双流注意力的红外图像彩色化方法 | |
CN114202460B (zh) | 面对不同损伤图像的超分辨率高清重建方法和系统及设备 | |
CN117333398A (zh) | 一种基于自监督的多尺度图像去噪方法及装置 | |
US11783454B2 (en) | Saliency map generation method and image processing system using the same | |
Liu et al. | X-gans: Image reconstruction made easy for extreme cases | |
Wang et al. | LLDiffusion: Learning degradation representations in diffusion models for low-light image enhancement | |
Zheng et al. | Windowing decomposition convolutional neural network for image enhancement | |
CN116934583A (zh) | 基于深浅特征融合网络的遥感图像超分辨率算法 | |
CN117974459A (zh) | 一种融合物理模型和先验的低照度图像增强方法 | |
Tan et al. | Low-light image enhancement with geometrical sparse representation | |
CN113160056A (zh) | 一种基于深度学习的带噪图像超分辨率重建方法 | |
CN117392036A (zh) | 基于照明幅度的低光图像增强方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |