CN112927160A - 一种基于深度Retinex的单张低光图像增强方法 - Google Patents
一种基于深度Retinex的单张低光图像增强方法 Download PDFInfo
- Publication number
- CN112927160A CN112927160A CN202110270466.3A CN202110270466A CN112927160A CN 112927160 A CN112927160 A CN 112927160A CN 202110270466 A CN202110270466 A CN 202110270466A CN 112927160 A CN112927160 A CN 112927160A
- Authority
- CN
- China
- Prior art keywords
- image
- low
- resolution
- light image
- component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 140
- 238000005286 illumination Methods 0.000 claims abstract description 65
- 238000012545 processing Methods 0.000 claims abstract description 8
- 238000013507 mapping Methods 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 37
- 238000004364 calculation method Methods 0.000 claims description 14
- 230000004927 fusion Effects 0.000 claims description 14
- 238000005070 sampling Methods 0.000 claims description 13
- 238000000354 decomposition reaction Methods 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 11
- 230000008447 perception Effects 0.000 claims description 10
- 239000003086 colorant Substances 0.000 claims description 6
- 239000000126 substance Substances 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 7
- 125000001475 halogen functional group Chemical group 0.000 abstract description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000013441 quality evaluation Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 239000002131 composite material Substances 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000007500 overflow downdraw method Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 235000008733 Citrus aurantifolia Nutrition 0.000 description 2
- 235000011941 Tilia x europaea Nutrition 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000004571 lime Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000003623 enhancer Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G06T5/94—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明提出了一种基于深度Retinex的单张低光图像增强方法,其步骤为:首先,根据Retinex理论获得低光图像的照度分量、反射分量和正常图像的照度分量、反射分量;其次,采用照度估计网络学习低光图像的照度分量到正常图像的照度分量的映射,得到低光图像的预测照度分量;然后,采用图像重构方法将预测照度分量与正常图像的反射分量进行融合得到低分辨率图像;最后,采用拉普拉斯超分辨率网络对低分辨率图像进行处理得到低分辨率特征图;并将低分辨率图像与低分辨率特征图进行融合得到最终的高质量增强图像。本发明能够在较少图像输入的情况下实现低光图像的增强,提高了增强的效率,且增强效果更好,亮度更均匀,不会产生伪影和光晕。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种基于深度Retinex的单张低光图像增强方法。
背景技术
在光照条件较差的情况下获取的图像往往具有亮度低、对比度低、灰度范围窄、颜色失真、噪声大等特点,严重影响人眼的主观视觉效果,大大限制了各种机器视觉系统的性能。采用数码相机捕捉图像的基本目标是从最初捕获的原始数据中生成最真实的场景图像,并使其包含更小的噪声和清晰的细节。在大多数情况下,图像处理在正常的光照条件下可以取得显著的性能。高质量的图像可以用于许多高级视觉任务,如图像分割、目标跟踪、目标检测、图像分类。而低光图像往往存在能见度低、噪声强、动态范围小、信噪比低、颜色失真等问题,阻碍了上述视觉任务的完成。
传统的单张图像增强技术包括直方图均衡(Histogram Equalization,HE)方法、Retinex方法和高动态范围(High dynamic range,HDR)方法。HE方法通过扩大图像的动态范围增强图像,但不可避免地会带来不理想的光照,使得增强结果达不到人们的要求。此外,由于HE在增强过程中不考虑图像亮度的退化,从而放大了图像的噪声,该方法不适合用于复杂的微光场景。基于Retinex理论的方法将图像分解为光照分量和反射分量,并对这两个分量分别处理,但是该方法可能会导致增强的图像失真,使图像看起来不自然。HDR通过扩大图像的动态范围提高图像的亮度,达到增强图像的目的,但是,该方法在饱和区域易出现伪影,不能满足高质量的计算机视觉任务。
与传统方法相比,卷积神经网络具有更好的特征表示能力,这得益于其庞大的数据集和强大的计算能力。目前也有很多基于深度学习的图像增强方法,但是对单张极端低光图像增强仍然具有挑战性,生成的图像总是存在模糊且有噪声。结合深度学习的优点,以及现有低光图像增强方法存在的缺陷,研究一种高效的,既含有丰富纹理细节和高清晰度,又无光晕现象的单张低光图像增强方法非常重要。
发明内容
针对上述背景技术中存在的不足,本发明提出了一种基于深度Retinex模型的单张低光图像增强方法,使得增强后的图像不存在光晕现象,且含有丰富的纹理细节和良好的视觉效果。
本发明的技术方案是这样实现的:
一种基于深度Retinex的单张低光图像增强方法,其步骤如下:
S1、根据Retinex理论分别对输入的低光图像和低光图像对应的正常图像进行分解,分别得到低光图像的照度分量、反射分量和正常图像的照度分量、反射分量;
S2、采用照度估计网络学习低光图像的照度分量到正常图像的照度分量的映射,得到低光图像的预测照度分量;
S3、采用图像重构方法将步骤S2中预测照度分量与正常图像的反射分量进行融合得到低分辨率图像;
S4、采用拉普拉斯超分辨率网络对步骤S3中的低分辨率图像进行处理得到低分辨率特征图;
S5、对步骤S3中的低分辨率图像进行图像上采样后与步骤S4中的低分辨率特征图进行融合得到最终的高质量增强图像。
优选地,Retinex理论是通过分解网络分别对输入的低光图像和低光图像对应的正常图像进行分解的,分解网络的网络结构为卷积层I—卷积层II—ReLU激活函数层I—卷积层III—ReLU激活函数层II—卷积层IV—ReLU激活函数层III—卷积层V—Sigmoid层;Sigmoid层将分解的反射分量和照度分量均约束到[0,1]范围;
输入的低光图像记为Ilow,低光图像对应的正常图像记为Inormal,Retinex理论分解图像表达式为:
其中,(x,y)表示像素点的坐标,I(x,y)表示输入图像,R(x,y)表示输入图像的反射分量,L(x,y)表示输入图像的照度分量,表示像素相乘操作;输入的低光图像Ilow的照度分量和反射分量分别记为和正常图像Inormal的照度分量和反射分量分别记为和
优选地,所述照度估计网络的网络结构为第一卷积层—第二卷积层—…—第九卷积层—全连接层;低光图像的预测照度分量的计算公式为:
优选地,所述拉普拉斯超分辨率网络的网络结构为卷积层VI-I—上采样层I—卷积层VI-II—上采样层II—卷积层VI-III;步骤S3中的低分辨率图像通过拉普拉斯超分辨率网络得到四倍低分辨率特征图;步骤S3中的低分辨率图像通过拉普拉斯超分辨率网络后再进行特征上采样得到八倍低分辨率特征图。
优选地,所述最终的高质量增强图像包括四倍高质量增强图像和八倍高质量增强图像;四倍高质量增强图像是通过对低分辨率图像进行四倍图像上采样后与四倍低分辨率特征图进行融合获得的;八倍高质量增强图像是通过对低分辨率图像进行八倍图像上采样后与八倍低分辨率特征图进行融合获得的。
优选地,所述照度估计网络对应的多任务损失函数为:
其中,W表示输入的低光图像的宽度,H表示输入的低光图像的高度,(x,y)表示像素点的坐标。
其中,(Ioutput)p表示输出的低分辨率图像中的一个像素,(Inormal)p表示输入的正常图像中的一个像素,∠(,)表示将RGB颜色作为三维矢量计算两种颜色夹角的运算符。
本发明产生的有益效果为:相比于传统的低光图像图像方法和多曝光图像图像融合方法,本发明能够在较少图像输入的情况下实现低光图像的增强,提高了增强的效率,且增强效果更好,亮度更均匀,不会产生伪影和光晕。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的流程图;
图2为本发明方法提出的数据集样例图;
图3为本发明方法基于图2对应的数据集与现有方法增强结果对比图,其中,(a)为低光图像,(b)为HE方法得到的增强图像,(c)为GA方法得到的增强图像,(d)为GWA方法得到的增强图像,(e)为AWB方法得到的增强图像,(f)为文献[1]方法得到的增强图像,(g)为文献[2]方法得到的增强图像,(h)为文献[3]方法得到的增强图像,(i)为文献[4]方法得到的增强图像,(j)为本发明方法的增强图像;
图4为本发明方法基于图2对应的数据集与现有方法增强结果另一组对比图,其中,(a)为低光图像,(b)为HE方法得到的增强图像,(c)为GA方法得到的增强图像,(d)为GWA方法得到的增强图像,(e)为AWB方法得到的增强图像,(f)为文献[1]方法得到的增强图像,(g)为文献[2]方法得到的增强图像,(h)为文献[3]方法得到的增强图像,(i)为文献[4]方法得到的增强图像,(j)为本发明方法的增强图像;
图5为本发明方法基于合成数据集与现有方法增强结果对比图,其中,(a)为低光图像,(b)为HE方法得到的增强图像,(c)为GA方法得到的增强图像,(d)为GWA方法得到的增强图像,(e)为AWB方法得到的增强图像,(f)为文献[1]方法得到的增强图像,(g)为文献[2]方法得到的增强图像,(h)为文献[3]方法得到的增强图像,(i)为文献[4]方法得到的增强图像,(j)为本发明方法的增强图像;
图6为本发明方法基于合成数据集与现有方法增强结果另一组对比图,其中,(a)为低光图像,(b)为HE方法得到的增强图像,(c)为GA方法得到的增强图像,(d)为GWA方法得到的增强图像,(e)为AWB方法得到的增强图像,(f)为文献[1]方法得到的增强图像,(g)为文献[2]方法得到的增强图像,(h)为文献[3]方法得到的增强图像,(i)为文献[4]方法得到的增强图像,(j)为本发明方法的增强图像;
图7为本发明方法基于图2对应的数据集和合成数据集与现有方法的运行时间对比图。
其中,文献[1]为[Guo,X.,Y.Li,and H.Ling,LIME:Low-Light ImageEnhancement via Illumination Map Estimation.IEEE Trans Image Process,2017.];文献[2]为[Wei,C.,et al.,Deep retinex decomposition for low-lightenhancement.arXiv preprint arXiv:1808.04560,2018.];文献[3]为[Dong,X.,Y.A.Pang,and J.G.Wen.Fast efficient algorithm for enhancement of low lightingvideo.in IEEE International Conference on Multimedia&Expo.2011.];文献[4]为[Zhang,Y.,J.Zhang,and X.Guo,Kindling the Darkness:A Practical Low-light ImageEnhancer.2019.]。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明实施例提供了一种基于深度Retinex的单张低光图像增强方法,具体步骤如下:
S1、根据Retinex理论分别对输入的低光图像和低光图像对应的正常图像进行分解,分别得到低光图像的照度分量、反射分量和正常图像的照度分量、反射分量;
在步骤S1中,Retinex理论是通过分解网络分别对输入的低光图像和低光图像对应的正常图像进行分解的,分解网络可以从输入的低光图像以及对应的正常曝光图像中学习分解,分解网络的网络结构为卷积层I—卷积层II—ReLU激活函数层I—卷积层III—ReLU激活函数层II—卷积层IV—ReLU激活函数层III—卷积层V—Sigmoid层;分解网络由5个3×3的卷积层和一个ReLU激活函数层从输入图像中提取特征,Sigmoid层将分解的反射分量和照度分量均约束到[0,1]范围。
输入的低光图像记为Ilow,低光图像对应的正常图像记为Inormal,Retinex理论分解图像表达式为:
其中,(x,y)表示像素点的坐标,I(x,y)表示输入图像,R(x,y)表示输入图像的反射分量,L(x,y)表示输入图像的照度分量,表示像素相乘操作;输入的低光图像Ilow的照度分量和反射分量分别记为和正常图像Inormal的照度分量和反射分量分别记为和
S2、采用照度估计网络学习低光图像的照度分量到正常图像的照度分量的映射,得到低光图像的预测照度分量;所述照度估计网络的网络结构为第一卷积层—第二卷积层—…—第九卷积层—全连接层;照度估计网络包括9个3×3的卷积层和一个全连接层,卷积层的激活函数是ReLU。低光图像的预测照度分量的计算公式为:
自然图像中的照度通常是局部平滑的,重构损失函数可能会使生成的图像缺乏高频信息,出现过度平滑问题。因此,本发明方法在网络中引入了一个图像感知损失函数 通过比较输入低光图像的照度分量与对应正常光图像的照度分量之间的差异预测的照度分量进行优化。可以使预测的照度分量更加接近于正常曝光图像的照度分量从而有效的重构生成图像的高频信息,使生成的图像包含更多的细节信息。所述图像感知损失函数的计算公式为:
其中,W表示低光图像的宽度,H表示低光图像的高度,(x,y)表示像素点的坐标。
其中,(Ioutput)p表示输出的低分辨率图像中的一个像素,(Inormal)p表示输入的正常图像中的一个像素,∠(,)表示将RGB颜色作为三维矢量计算两种颜色夹角的运算符。
S3、采用图像重构方法将步骤S2中预测照度分量与正常图像的反射分量进行融合得到低分辨率图像;将步骤S2中预测照度分量与正常图像的反射分量采用像素级的方法进行融合,初步得到增强的图像,即低分辨率图像,便于图像的进一步处理。
S4、采用拉普拉斯超分辨率网络对步骤S3中的低分辨率图像进行处理得到低分辨率特征图;所述拉普拉斯超分辨率网络的网络结构为卷积层VI-I—上采样层I—卷积层VI-II—上采样层II—卷积层VI-III;步骤S3中的低分辨率图像通过拉普拉斯超分辨率网络得到四倍低分辨率特征图;步骤S3中的低分辨率图像通过拉普拉斯超分辨率网络后再进行特征上采样(通过拉普拉斯超分辨率网络进行2次特征上采样后在进行1次特征上采样,1次特征上采样实现图像2倍上采样,2次特征上采样实现图像4倍上采样,3次特征上采样实现图像8倍上采样)得到八倍低分辨率特征图。
S5、对步骤S3中的低分辨率图像进行图像上采样后与步骤S4中的低分辨率特征图进行融合得到最终的高质量的无伪影的增强图像。所述最终的高质量增强图像包括四倍高质量增强图像和八倍高质量增强图像;四倍高质量增强图像是通过对低分辨率图像进行四倍图像上采样(通过2次反卷积实现图像4倍上采样)后与四倍低分辨率特征图以对应位置像素求和的方式进行融合获得的;八倍高质量增强图像是通过对低分辨率图像进行八倍图像上采样(通过3次反卷积实现图像8倍上采样)后与八倍低分辨率特征图以对应位置像素求和的方式进行融合获得的。
为进一步试验本发明方法的可行性和有效性,对本发明方法进行实验。
利用无参考图像质量评价方法和全参考图像质量评价方法来评价本发明方法及现有图像增强方法在本发明方法提供的数据集和合成数据集上的实验结果。无参考图像质量评价方法包括信息熵(Entropy)、NIQE和PIQE。图像的信息熵是一种平均包含多少信息的度量,熵值越大图像含有的信息量越大;NIQE利用待评价图像特征模型参数与预先建立的模型参数之间的距离来确定图像质量,NIQE的值越低,图像特征模型参数与预先建立的模型参数之间的距离越小,图像恢复质量越好;PIQE是基于感知特征的盲图像质量评价方法,它是利用图像的局部块的质量分数得到整体质量分数,PIQE反应的图像局部块的失真程度,PIQE值越低,图像失真越小,图像质量越高。
全参考图像质量评价方法包括峰值信噪比(PSNR)和结构相似性(SSIM)。PSNR用于比较所需信号强度与背景噪声的强度,其值越大图像噪音越小,图像质量越高;SSIM反应的是两幅图像间的相似度,SSIM值越高,说明两幅图像越相似。
现有的低光图像增强方法分别为:文献[1]—[Guo,X.,Y.Li,and H.Ling,LIME:Low-Light Image Enhancement via Illumination Map Estimation.IEEE Trans ImageProcess,2017.]、文献[2]—[Wei,C.,et al.,Deep retinex decomposition for low-light enhancement.arXiv preprint arXiv:1808.04560,2018.]、文献[3]—[Dong,X.,Y.A.Pang,and J.G.Wen.Fast efficient algorithm for enhancement of low lightingvideo.in IEEE International Conference on Multimedia&Expo.2011.]、文献[4]—[Zhang,Y.,J.Zhang,and X.Guo,Kindling the Darkness:A Practical Low-light ImageEnhancer.2019.]。
表1和表2分别给出了利用本发明方法与现有的图像增强方法在数据集和合成数据集上的实验结果得到的增强图像的Entropy、NIQE、PIQE、PSNR和SSIM的评价值。
表1本发明提供数据集不同增强算法增强结果评价值
表2合成数据集不同增强算法增强结果评价值
从表1和表2所列的数据中可以看出,利用本发明方法得到的增强图像的图像PSNR、SSIM、信息熵、NIQE和PIQE都高于其余方法,这表明本发明所得融合图像具有丰富的图像信息量,含有噪音少以及具有较高清晰度和纹理特征。实验结果以及数据分析充分表明了本发明方法的优点,有效的提高了图像的质量和对比度。
如图3和图4所示,本发明方法利用上述图像增强方法在本发明方法提供的数据集上对低光图像进行了测试,图3和图4中(a)为低光图像,(b)为HE方法得到的增强图像,(c)为GA方法得到的增强图像,(d)为GWA方法得到的增强图像,(e)为AWB方法得到的增强图像,(f)为文献[1]方法得到的增强图像,(g)为文献[2]方法得到的增强图像,(h)为文献[3]方法得到的增强图像,(i)为文献[4]方法得到的增强图像,(j)为本发明方法的增强图像。由上述实验结果可以看出,图3(b)HE方法增强结果中含有很大的噪声;图3(d)和图3(e)中,方法GWA和AWB对低光图像的增强效果极差,图像对比度较低;图3(f)中,文献[1]虽然在亮度上对低光图像恢复效果较好,但是在图像细方面效果还不太满意;图3(g)中,文献[2]增强图像出现严重的锐化,严重失真;图3(h)和(j)中,文献[3]和文献[4]增强结果比较模糊,且有光晕;图3(j)中本发明方法对天空中的白云恢复效果较好,且图像的色彩更加接近真实场景的图像。图4(b)-(i)中存在与图2(b)-(i)同样的问题,而本发明方法克服了上述增强结果中存在的问题,使增强的结果拥有更高的质量和对比度。
如图5和图6所示,本发明方法利用上述图像增强方法在合成数据集上对低光图像做了试验。从图5和图6中可以看出,本发明方法增强了图像的亮度和色彩、恢复了图像的细节信息,使增强的结果图像更加接近真实世界的场景。图5(f)和图6(f)中,文献[1]使图像在某些区域过度增强,而本发明方法在细节、色彩、亮度和对比度方面都有较佳的恢复效果。
为了证明本发明方法具有强壮的鲁棒性,本发明方法与典型的多曝光图像融合算法进行了对比,测试的曝光图像如表3所示,该曝光图像序列的场景为教堂,该曝光图像序列包括16张不同曝光时间(s)的图像,曝光时间从大到小依次为:32、16、8、4、2、1、1/2、1/4、1/8、1/16、1/32、1/64、1/128、1/256、1/512和1/1024。在实验中,利用曝光时间为1/4的低光图像作为输入可以得到不同增强算法的增强结果,融合结果是通过对以上16张不同曝光时间的图像进行融合得到的。通过计算单张低光图像增强结果与融合结果的差分图来判断增强结果与融合结果的差异,差分图是通过计算融合结果与增强图像像素差的绝对值得到的,差分图Diff的计算公式如下:
Diff=|(Renhancement)p-(Rfusion)p|,
其中,Renhancement表示单张低光图像增强结果,Rfusion表示多曝光图像融合结果,()p表示图像中的一个像素。
图像的差分图以及其对应的网格图表3所示,差分图越暗,说明增强结果越接近融合结果,而对于网格图,网格图表面的峰面越低,增强结果越接近融合结果。网格图清晰的显示了增强结果与融合结果差异的变化值,网格图的峰面越低说明差分图越暗,也就说明图像的差异越小。从表3中可以看出,与其他算法相比,本发明方法保留了更多的细节,这说明本发明方法在使用单一低光图像作为输入时,可以达到多曝光图像融合的效果。因此,与多曝光图像融合方法相比,本发明方法可以在最少数量输入图像的情况下获得最好的结果,提高了算法的效率。
表3单张低光图像增强结果与融合结果对比分析
综上所述,本发明方法减少了图像细节的丢失,提高了图像的对比度。相比于多曝光图像融合方法,本发明提供的方法能够使用简单的算法实现高质量的结果,具有操作简单,计算复杂度低等优点,且增强的结果无伪影和光晕现象。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于深度Retinex的单张低光图像增强方法,其特征在于,其步骤如下:
S1、根据Retinex理论分别对输入的低光图像和低光图像对应的正常图像进行分解,分别得到低光图像的照度分量、反射分量和正常图像的照度分量、反射分量;
S2、采用照度估计网络学习低光图像的照度分量到正常图像的照度分量的映射,得到低光图像的预测照度分量;
S3、采用图像重构方法将步骤S2中预测照度分量与正常图像的反射分量进行融合得到低分辨率图像;
S4、采用拉普拉斯超分辨率网络对步骤S3中的低分辨率图像进行处理得到低分辨率特征图;
S5、对步骤S3中的低分辨率图像进行图像上采样后与步骤S4中的低分辨率特征图进行融合得到最终的高质量增强图像。
2.根据权利要求1所述的基于深度Retinex的单张低光图像增强方法,其特征在于,在步骤S1中,Retinex理论是通过分解网络分别对输入的低光图像和低光图像对应的正常图像进行分解的,分解网络的网络结构为卷积层I—卷积层II—ReLU激活函数层I—卷积层III—ReLU激活函数层II—卷积层IV—ReLU激活函数层III—卷积层V—Sigmoid层;Sigmoid层将分解的反射分量和照度分量均约束到[0,1]范围;
输入的低光图像记为Ilow,低光图像对应的正常图像记为Inormal,Retinex理论分解图像表达式为:
5.根据权利要求1-4中任意一项所述的基于深度Retinex的单张低光图像增强方法,其特征在于,所述拉普拉斯超分辨率网络的网络结构为卷积层VI-I—上采样层I—卷积层VI-II—上采样层II—卷积层VI-III;步骤S3中的低分辨率图像通过拉普拉斯超分辨率网络得到四倍低分辨率特征图;步骤S3中的低分辨率图像通过拉普拉斯超分辨率网络后再进行特征上采样得到八倍低分辨率特征图。
6.根据权利要求5所述的基于深度Retinex的单张低光图像增强方法,其特征在于,所述最终的高质量增强图像包括四倍高质量增强图像和八倍高质量增强图像;四倍高质量增强图像是通过对低分辨率图像进行四倍图像上采样后与四倍低分辨率特征图进行融合获得的;八倍高质量增强图像是通过对低分辨率图像进行八倍图像上采样后与八倍低分辨率特征图进行融合获得的。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110270466.3A CN112927160B (zh) | 2021-03-12 | 2021-03-12 | 一种基于深度Retinex的单张低光图像增强方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110270466.3A CN112927160B (zh) | 2021-03-12 | 2021-03-12 | 一种基于深度Retinex的单张低光图像增强方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112927160A true CN112927160A (zh) | 2021-06-08 |
CN112927160B CN112927160B (zh) | 2022-11-18 |
Family
ID=76172883
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110270466.3A Active CN112927160B (zh) | 2021-03-12 | 2021-03-12 | 一种基于深度Retinex的单张低光图像增强方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112927160B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116012260A (zh) * | 2023-02-23 | 2023-04-25 | 杭州电子科技大学 | 一种基于深度Retinex的低光图像增强方法 |
CN116152120A (zh) * | 2023-04-20 | 2023-05-23 | 南京大学 | 一种融合高低频特征信息的低光图像增强方法及装置 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040213478A1 (en) * | 2001-05-02 | 2004-10-28 | Vyacheslav Chesnokov | Image enhancement methods and apparatus therefor |
KR20100029647A (ko) * | 2008-09-08 | 2010-03-17 | 현대자동차주식회사 | 차량용 카메라의 야간 영상 개선 방법 |
CN107392879A (zh) * | 2017-07-20 | 2017-11-24 | 武汉大学 | 一种基于参考帧的低照度监控图像增强方法 |
US20180218197A1 (en) * | 2017-01-27 | 2018-08-02 | Signal Processing, Inc. | Method and System for Enhancing Predictive Accuracy of Planet Surface Characteristics from Orbit |
CN110175964A (zh) * | 2019-05-30 | 2019-08-27 | 大连海事大学 | 一种基于拉普拉斯金字塔的Retinex图像增强方法 |
CN110458784A (zh) * | 2019-08-31 | 2019-11-15 | 杭州当虹科技股份有限公司 | 一种基于图像感知质量的去压缩噪声方法 |
CN110473144A (zh) * | 2019-08-07 | 2019-11-19 | 南京信息工程大学 | 一种基于拉普拉斯金字塔网络的图像超分辨率重建方法 |
CN110634108A (zh) * | 2019-08-30 | 2019-12-31 | 北京工业大学 | 一种基于元-循环一致性对抗网络的复合降质网络直播视频增强方法 |
CN110675336A (zh) * | 2019-08-29 | 2020-01-10 | 苏州千视通视觉科技股份有限公司 | 一种低照度图像增强方法及装置 |
CN111028165A (zh) * | 2019-11-29 | 2020-04-17 | 郑州轻工业大学 | 一种基于raw数据抵抗相机抖动的高动态图像恢复方法 |
CN111882504A (zh) * | 2020-08-05 | 2020-11-03 | 展讯通信(上海)有限公司 | 图像中颜色噪声的处理方法、系统、电子设备和存储介质 |
CN111915526A (zh) * | 2020-08-05 | 2020-11-10 | 湖北工业大学 | 一种基于亮度注意力机制低照度图像增强算法的摄影方法 |
CN111968044A (zh) * | 2020-07-16 | 2020-11-20 | 中国科学院沈阳自动化研究所 | 基于Retinex和深度学习的低照度图像增强方法 |
-
2021
- 2021-03-12 CN CN202110270466.3A patent/CN112927160B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040213478A1 (en) * | 2001-05-02 | 2004-10-28 | Vyacheslav Chesnokov | Image enhancement methods and apparatus therefor |
KR20100029647A (ko) * | 2008-09-08 | 2010-03-17 | 현대자동차주식회사 | 차량용 카메라의 야간 영상 개선 방법 |
US20180218197A1 (en) * | 2017-01-27 | 2018-08-02 | Signal Processing, Inc. | Method and System for Enhancing Predictive Accuracy of Planet Surface Characteristics from Orbit |
CN107392879A (zh) * | 2017-07-20 | 2017-11-24 | 武汉大学 | 一种基于参考帧的低照度监控图像增强方法 |
CN110175964A (zh) * | 2019-05-30 | 2019-08-27 | 大连海事大学 | 一种基于拉普拉斯金字塔的Retinex图像增强方法 |
CN110473144A (zh) * | 2019-08-07 | 2019-11-19 | 南京信息工程大学 | 一种基于拉普拉斯金字塔网络的图像超分辨率重建方法 |
CN110675336A (zh) * | 2019-08-29 | 2020-01-10 | 苏州千视通视觉科技股份有限公司 | 一种低照度图像增强方法及装置 |
CN110634108A (zh) * | 2019-08-30 | 2019-12-31 | 北京工业大学 | 一种基于元-循环一致性对抗网络的复合降质网络直播视频增强方法 |
CN110458784A (zh) * | 2019-08-31 | 2019-11-15 | 杭州当虹科技股份有限公司 | 一种基于图像感知质量的去压缩噪声方法 |
CN111028165A (zh) * | 2019-11-29 | 2020-04-17 | 郑州轻工业大学 | 一种基于raw数据抵抗相机抖动的高动态图像恢复方法 |
CN111968044A (zh) * | 2020-07-16 | 2020-11-20 | 中国科学院沈阳自动化研究所 | 基于Retinex和深度学习的低照度图像增强方法 |
CN111882504A (zh) * | 2020-08-05 | 2020-11-03 | 展讯通信(上海)有限公司 | 图像中颜色噪声的处理方法、系统、电子设备和存储介质 |
CN111915526A (zh) * | 2020-08-05 | 2020-11-10 | 湖北工业大学 | 一种基于亮度注意力机制低照度图像增强算法的摄影方法 |
Non-Patent Citations (4)
Title |
---|
CHENWEI ETAL.: "Deep Retinex Decomposition for Low-Light Enhancement", 《HTTP:ARXIV:1808.04560V1》 * |
WEI-SHENG LAI ETAL.: "Fast and Accurate Image Super-Resolution with Deep Laplacian Pyramid Networks", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 * |
欧嘉敏等: "改进 Retinex-Net 的低光照图像增强算法", 《模式识别与人工智能》 * |
涂清华等: "基于域滤波的自适应Retinex图像增强", 《计算机工程与科学》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116012260A (zh) * | 2023-02-23 | 2023-04-25 | 杭州电子科技大学 | 一种基于深度Retinex的低光图像增强方法 |
CN116012260B (zh) * | 2023-02-23 | 2023-07-04 | 杭州电子科技大学 | 一种基于深度Retinex的低光图像增强方法 |
CN116152120A (zh) * | 2023-04-20 | 2023-05-23 | 南京大学 | 一种融合高低频特征信息的低光图像增强方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN112927160B (zh) | 2022-11-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wang et al. | An experiment-based review of low-light image enhancement methods | |
Fan et al. | Integrating semantic segmentation and retinex model for low-light image enhancement | |
Liu et al. | Joint contrast enhancement and exposure fusion for real-world image dehazing | |
Xu et al. | Structure-texture aware network for low-light image enhancement | |
JP2007020176A (ja) | 画像のコントラスト強調方法、画像のコントラスト強調システム、及び画像が局所的コントラスト強調を受けるかどうかを判定する方法 | |
Liu et al. | Survey of natural image enhancement techniques: Classification, evaluation, challenges, and perspectives | |
CN113284064B (zh) | 一种基于注意力机制跨尺度上下文低照度图像增强方法 | |
CN112927160B (zh) | 一种基于深度Retinex的单张低光图像增强方法 | |
CN113096029A (zh) | 基于多分支编解码器神经网络的高动态范围图像生成方法 | |
CN113793275A (zh) | 一种Swin Unet低照度图像增强方法 | |
Feng et al. | Low-light image enhancement based on multi-illumination estimation | |
CN113039576A (zh) | 图像增强系统和方法 | |
CN113658057A (zh) | 一种Swin Transformer微光图像增强方法 | |
Lou et al. | Integrating haze density features for fast nighttime image dehazing | |
Lv et al. | Low-light image enhancement via deep Retinex decomposition and bilateral learning | |
Wang et al. | Single Underwater Image Enhancement Based on $ L_ {P} $-Norm Decomposition | |
Liu et al. | Low-light image enhancement network based on recursive network | |
Kansal et al. | Fusion-based image de-fogging using dual tree complex wavelet transform | |
Wen et al. | A survey of image dehazing algorithm based on retinex theory | |
CN116468636A (zh) | 低照度增强方法、装置、电子设备和可读存储介质 | |
CN113643202A (zh) | 一种基于噪声注意力图指导的微光图像增强方法 | |
CN113822816A (zh) | 气雾散射模型优化的单张遥感图像去霾方法 | |
Kumari et al. | Image fusion techniques based on pyramid decomposition | |
Wang et al. | R2Net: Relight the restored low-light image based on complementarity of illumination and reflection | |
Chen et al. | Back-projection residual low-light image enhancement network with color correction matrix |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |