CN110570381B - 一种基于高斯总变差的半解耦图像分解暗光图像增强方法 - Google Patents
一种基于高斯总变差的半解耦图像分解暗光图像增强方法 Download PDFInfo
- Publication number
- CN110570381B CN110570381B CN201910873717.XA CN201910873717A CN110570381B CN 110570381 B CN110570381 B CN 110570381B CN 201910873717 A CN201910873717 A CN 201910873717A CN 110570381 B CN110570381 B CN 110570381B
- Authority
- CN
- China
- Prior art keywords
- illumination
- image
- layer
- gtv
- decomposition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000000354 decomposition reaction Methods 0.000 title claims abstract description 26
- 238000005286 illumination Methods 0.000 claims abstract description 52
- 239000011159 matrix material Substances 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 10
- 238000012937 correction Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000002939 conjugate gradient method Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 5
- 230000002401 inhibitory effect Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 22
- 238000013461 design Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了提出一种基于高斯总变差的半解耦图像分解暗光图像增强方法,利用GTV作为正则化项建立了Retinex分解模型,以半解耦的方法逐步细化分解光照层和反射层,从而获得更好的暗光图像增强效果。该方法首先不涉及反射层,利用GTV获取细化并且分段平滑的光照层,在此基础上再同时涉及照明图和反射图,对反射层进行细化分解,而且还在反射层的分解上添加一个简单有效的去噪项使得该方法很容易扩展到一个抑制噪声的方法,除此之外,还对初始的光照层进行预处理,这样大大加快了整个方法的收敛和迭代速度。本方法可以获得更好的暗光增强性能。
Description
技术领域
本发明涉及涉及一种基于高斯总变差的半解耦图像分解暗光图像增强方法。
背景技术
近年来,随着智能手机的高速发展,通过手机就可以获得高分辨率的图像,然而,普通的显示设备想要获得和现实世界一样的光照范围,仍然是个非常具有挑战的问题。因此,暗光图像增强对于高质量的图像显示和其他视觉应用非常重要。这是一项重要图像后处理的任务,因为增强有助于提高黑暗区域和光照不足区域的细节,提高图像的可见性,同时保持其视觉自然。
根据暗光增强图像算法的实现,主要可以分为五类:基于直方图的方法,基于去雾的方法,基于融合的方法,基于Retinex模型的方法以及基于深度学习的方法。基于直方图的方法主要是为了优化图像直方图的形状,它只计算像素的强度,而忽略了像素的空间信息。因此,增强模型往往会产生过增强或不足增强效应。其优点是实现速度快。基于去雾的方法通常将暗光图像去反之后的图像看成含有雾的图像,对进行去雾的操作后再去反,从而获得最终的增强结果。由于暗光图像取反后与真正含有雾的图像存在区别,因此,基于去雾的方法通常会在最终的增强图像上留下较为明显的伪影,影响图像质量。基于融合的方法,利用同一场景下不同曝光图像之间的互补信息,合成增强图像,但是由于许多实际应用中缺乏融合源,这个方法可能会受限。基于Retinex模型的方法主要分成简化的Retinex方法和Retinex分解方法。简化的Retinex方法仅估计分段平滑的光照层,该方法通常会在计算过程中将图像噪声放大。基于Retinex分解模型,现有的模型大多同时考虑光照层和反射层,在二者的交替优化中,通常添加额外的正则化项来约束两者之间的关系。基于深度学习的方法,通过在成对的训练数据之间学习内容和亮度感知映射功能的能力,再通过巧妙的网络设计,可以获得很好的增强效果,然而,目前的方法的性能仍然很大程度上依赖于成对训练数据集,很难大规模收集。
发明内容
为了解决上述技术问题,本发明的目的是提供一种基于高斯总变差的半解耦图像分解暗光图像增强方法,可以获得更好的暗光增强性能。
为解决上述技术问题,本发明采用如下技术方案:
一种基于高斯总变差的半解耦图像分解暗光图像增强方法,包括如下步骤:
S1)、基于增强过程中的成像噪声,建立如下Retinex模型:
其中:S表示观测的暗光图像,I表示光照层,R表示无噪声的反射层,N表示叠加在反射层上的噪声;
S2)、根据步骤S1)建立半解耦的Retinex分解模型,损失函数为:
其中:表示原始的光照层,I表示待估计的光照层,R表示待估计的反射层,S表示观测的暗光图像,表示待估计的光照层I与原始光照层之间的相似度,表示观测图像S与之间的相似度,表示I和R的GTV正则化,来获取分段平滑的光照层I和包含细节纹理的反射层R,对应R总变差的稀疏度,通过最小化R的总变差,对反射层进行去噪处理,α,β,δ都是正参数,用来平衡损失函数中的正则化项。
进一步的,所述步骤2)中对于GTV正则化,用其来设计保边缘图像滤波器,即GTV滤波器,用来对Retinex模型的分解,GTV滤波器的损失函数可以表示为:
进一步的,所述步骤2)的过程中,估计光照层时将光照看成是一种与物体本质无关的外在信息,在估计反射层时,又考虑到光照与反射层之间的分解关系,同时考虑二者,以此来完成改进Retinex模型的分解,其中的算法的优化过程如下:
⑴将损失函数中的L1范数形式改写成L2范数形式
对损失函数中的L1范数形式做如下近似:
其中,ζ表示I或R,∈是很小的正数以此来避免分母为0;
则损失函数可以改写为L2范数的形式:
其中:
(2)将损失函数改写成矩阵形式
对于(1)中改写的损失函数,将其改写成矩阵的形式:
(3)求解I,R
对损失函数求关于I和R的一阶导数,并令其为0,对于k次迭代计算,Ik和Rk有:
(4)加速收敛和迭代
首先通过预条件共轭梯度法来求解(3)中的关系式,降低求解的复杂度;然后为了加快收敛和迭代的速度,对初始照明层进行预处理操作,具体来说,就是利用GTV滤波器对进行预滤波处理,获得一个较为精细化的光照层B,其中用表示GTV滤波器,用来替代(3)中的即:
Ik=(1+αMk-1)-1B
(5)光照矫正
采用Gamma变换对光照进行矫正,光照矫正在暗光图像的RGB三个通道进行,用S′表示最终的增强图像,则增强图像:S′c=IγRc,γ=1/2.2,c∈{RGB}。
与现有技术相比,本发明的有益技术效果:
本发明的发明通过对Retinex模型中简化Retinex方法和Retinex分解方法的结合,提出半解耦的Retinex模型分解方法,首先仅考虑光照层,在此基础上,再同时考虑反射层和光照层;为了获得分段平滑的光照图还提出了GTV滤波器,用来优化分解Retinex模型,除此之外还引入去噪操作,消除图像中由于增强而显现的噪声,获得更好的暗光增强效果。
具体实施方式
一种基于高斯总变差的半解耦图像分解暗光图像增强方法,包括如下步骤:
S1)、基于增强过程中的成像噪声,建立如下Retinex模型:
其中:S表示观测的暗光图像,I表示光照层,R表示无噪声的反射层,N表示叠加在反射层上的噪声;
S2)、根据步骤S1)建立半解耦的Retinex分解模型,损失函数为:
其中:表示原始的光照层,I表示待估计的光照层,R表示待估计的反射层,S表示观测的暗光图像,表示待估计的光照层I与原始光照层之间的相似度,表示观测图像S与之间的相似度,表示I和R的GTV正则化,来获取分段平滑的光照层I和包含细节纹理的反射层R,对应R总变差的稀疏度,通过最小化R的总变差,对反射层进行去噪处理,α,β,δ都是正参数,用来平衡损失函数中的正则化项。
而对于GTV正则化,用其来设计保边缘图像滤波器,即GTV滤波器,用来对Retinex模型的分解,GTV滤波器的损失函数可以表示为:
从半解耦分解模型的损失函数可以看出,首先仅仅是利用初始的光照先验信息来估计I,在这过程中不包含S和R,称之为解耦,然后通过S和I来估计R,在此过程中,估计光照层时将光照看成是一种与物体本质无关的外在信息,在估计反射层时,又考虑到光照与反射层之间的分解关系,同时考虑二者,以此来完成改进Retinex模型的分解,其中的算法的优化过程如下:
⑴将损失函数中的L1范数形式改写成L2范数形式
对损失函数中的L1范数形式做如下近似:
其中,ζ表示I或R,∈是很小的正数以此来避免分母为0;
则损失函数可以改写为L2范数的形式:
其中:
(2)将损失函数改写成矩阵形式
对于(1)中改写的损失函数,将其改写成矩阵的形式:
(3)求解I,R
对损失函数求关于I和R的一阶导数,并令其为0,对于k次迭代计算,Ik和Rk有:
(4)加速收敛和迭代
首先通过预条件共轭梯度法来求解(3)中的关系式,降低求解的复杂度;然后为了加快收敛和迭代的速度,对初始照明层进行预处理操作,具体来说,就是利用GTV滤波器对进行预滤波处理,获得一个较为精细化的光照层B,其中用表示GTV滤波器,用来替代(3)中的即:
Ik=(1+αMk-1)-1B
(5)光照矫正
采用Gamma变换对光照进行矫正,光照矫正在暗光图像的RGB三个通道进行,用S′表示最终的增强图像,则增强图像:S′c=IγRc,γ=1/2.2,c∈{RGB}。
以上所述的实施例仅是对本发明的优选方式进行描述,并非对本发明的范围进行限定,在不脱离本发明设计精神的前提下,本领域普通技术人员对本发明的技术方案做出的各种变形和改进,均应落入本发明权利要求书确定的保护范围内。
Claims (1)
1.一种基于高斯总变差的半解耦图像分解暗光图像增强方法,其特征在于,包括如下步骤:
S1)、基于增强过程中的成像噪声,建立如下Retinex模型:
其中:S表示观测的暗光图像,I表示光照层,R表示无噪声的反射层,N表示叠加在反射层上的噪声;
S2)、根据步骤S1)建立半解耦的Retinex分解模型,损失函数为:
其中:表示原始的光照层,I表示待估计的光照层,R表示待估计的反射层,S表示观测的暗光图像,表示待估计的光照层I与原始光照层之间的相似度,表示观测的暗光图像S与之间的相似度,表示I和R的GTV正则化,来获取待估计的光照层I和待估计的反射层R,对应R总变差的稀疏度,通过最小化R的总变差,对反射层进行去噪处理,α,β,δ都是正参数,用来平衡损失函数中的正则化项;
所述步骤S 2)中对于GTV正则化,用其来设计保边缘图像滤波器,即GTV滤波器,用来对Retinex模型的分解,GTV滤波器的损失函数可以表示为:
所述步骤S 2)的过程中,估计光照层时将光照看成是一种与物体本质无关的外在信息,在估计反射层时,又考虑到光照与反射层之间的分解关系,同时考虑二者,以此来完成改进Retinex模型的分解,其中的算法的优化过程如下:
(1)将损失函数中的L1范数形式改写成L2范数形式
对损失函数中的L1范数形式做如下近似:
其中,ζ表示I或R,∈是很小的正数以此来避免分母为0;
则损失函数可以改写为L2范数的形式:
其中:
(2)将损失函数改写成矩阵形式
对于(1)中改写的损失函数,将其改写成矩阵的形式:
其中,
(3)求解I,R
对损失函数求关于I和R的一阶导数,并令其为0,对于k次迭代计算,Ik和Rk有:
(4)加速收敛和迭代
首先通过预条件共轭梯度法来求解(3)中的关系式,降低求解的复杂度;然后为了加快收敛和迭代的速度,对初始照明层进行预处理操作,具体来说,就是利用GTV滤波器对进行预滤波处理,获得一个较为精细化的光照层B,其中用表示GTV滤波器,用来替代(3)中的即:
Ik=(1+αMk-1)-1B
(5)光照矫正
采用Gamma变换对光照进行矫正,光照矫正在暗光图像的RGB三个通道进行,用S′表示最终的增强图像,则增强图像:
S′c=IγRc,γ=1/2.2,c∈{RGB}。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910873717.XA CN110570381B (zh) | 2019-09-17 | 2019-09-17 | 一种基于高斯总变差的半解耦图像分解暗光图像增强方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910873717.XA CN110570381B (zh) | 2019-09-17 | 2019-09-17 | 一种基于高斯总变差的半解耦图像分解暗光图像增强方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110570381A CN110570381A (zh) | 2019-12-13 |
CN110570381B true CN110570381B (zh) | 2022-04-29 |
Family
ID=68780316
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910873717.XA Active CN110570381B (zh) | 2019-09-17 | 2019-09-17 | 一种基于高斯总变差的半解耦图像分解暗光图像增强方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110570381B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111815661B (zh) * | 2020-07-14 | 2024-02-02 | 合肥工业大学 | 基于Retinex分解的铅笔画图像生成方法及装置 |
CN112862713B (zh) * | 2021-02-02 | 2022-08-09 | 山东师范大学 | 一种基于注意力机制的低光图像增强方法及系统 |
CN112907570B (zh) * | 2021-03-24 | 2022-03-22 | 合肥工业大学 | 一种轻量级无监督暗光图像增强方法及装置 |
CN115619659B (zh) * | 2022-09-22 | 2024-01-23 | 北方夜视科技(南京)研究院有限公司 | 基于正则化高斯场模型的低照度图像增强方法与系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101303766A (zh) * | 2008-07-09 | 2008-11-12 | 北京航空航天大学 | 一种基于Retinex理论的快速彩色图像增强方法 |
CN103268598A (zh) * | 2013-06-13 | 2013-08-28 | 武汉大学 | 基于Retinex理论的低照度低空遥感影像增强方法 |
CN105488763A (zh) * | 2015-10-30 | 2016-04-13 | 北京理工大学 | 一种适用于水下激光距离选通图像的图像增强方法 |
CN107292844A (zh) * | 2017-06-20 | 2017-10-24 | 南京理工大学 | 全变差正则化变分随机共振自适应暗图像滤波增强方法 |
CN107527332A (zh) * | 2017-10-12 | 2017-12-29 | 长春理工大学 | 基于改进Retinex的低照度图像色彩保持增强方法 |
CN109523472A (zh) * | 2018-10-12 | 2019-03-26 | 海南大学 | Retinex彩色图像增强方法、计算机视觉处理系统 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090074317A1 (en) * | 2007-09-19 | 2009-03-19 | Samsung Electronics Co., Ltd. | System and method for reducing halo effect in image enhancement |
JP6548403B2 (ja) * | 2015-02-24 | 2019-07-24 | 三星ディスプレイ株式會社Samsung Display Co.,Ltd. | 画像処理装置、画像処理方法、及びプログラム |
CN110175964B (zh) * | 2019-05-30 | 2022-09-30 | 大连海事大学 | 一种基于拉普拉斯金字塔的Retinex图像增强方法 |
-
2019
- 2019-09-17 CN CN201910873717.XA patent/CN110570381B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101303766A (zh) * | 2008-07-09 | 2008-11-12 | 北京航空航天大学 | 一种基于Retinex理论的快速彩色图像增强方法 |
CN103268598A (zh) * | 2013-06-13 | 2013-08-28 | 武汉大学 | 基于Retinex理论的低照度低空遥感影像增强方法 |
CN105488763A (zh) * | 2015-10-30 | 2016-04-13 | 北京理工大学 | 一种适用于水下激光距离选通图像的图像增强方法 |
CN107292844A (zh) * | 2017-06-20 | 2017-10-24 | 南京理工大学 | 全变差正则化变分随机共振自适应暗图像滤波增强方法 |
CN107527332A (zh) * | 2017-10-12 | 2017-12-29 | 长春理工大学 | 基于改进Retinex的低照度图像色彩保持增强方法 |
CN109523472A (zh) * | 2018-10-12 | 2019-03-26 | 海南大学 | Retinex彩色图像增强方法、计算机视觉处理系统 |
Non-Patent Citations (2)
Title |
---|
Low-light image enhancement using variational optimization-based Retinex model;Seonhee P.等;《2017 IEEE International Conference on Consumer Electronics (ICCE)》;20170330;第1-2页 * |
一种改进的图像消噪增强算法研究;宋建辉 等;《沈阳理工大学学报》;20190831;第38卷(第4期);第25-29页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110570381A (zh) | 2019-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110570381B (zh) | 一种基于高斯总变差的半解耦图像分解暗光图像增强方法 | |
CN109859147B (zh) | 一种基于生成对抗网络噪声建模的真实图像去噪方法 | |
Zhuang et al. | Underwater image enhancement with hyper-laplacian reflectance priors | |
Wang et al. | An experimental-based review of image enhancement and image restoration methods for underwater imaging | |
WO2023092813A1 (zh) | 一种基于通道注意力的Swin-Transformer图像去噪方法及系统 | |
CN110097519B (zh) | 基于深度学习的双监督图像去雾方法、系统、介质和设备 | |
CN107527332B (zh) | 基于改进Retinex的低照度图像色彩保持增强方法 | |
Wang et al. | Dehazing for images with large sky region | |
CN108564549B (zh) | 一种基于多尺度稠密连接网络的图像去雾方法 | |
WO2019019695A1 (zh) | 一种基于Retinex模型的水下图像增强方法 | |
CN110706174B (zh) | 一种图像增强方法、终端设备及存储介质 | |
CN107798661B (zh) | 一种自适应的图像增强方法 | |
CN110136075B (zh) | 一种基于边缘锐化循环生成对抗网络的遥感影像去雾方法 | |
CN108648160B (zh) | 一种水下海参图像去雾增强方法及系统 | |
Zhu et al. | Low-light image enhancement network with decomposition and adaptive information fusion | |
Yang et al. | CSDM: A cross-scale decomposition method for low-light image enhancement | |
CN117726545A (zh) | 一种使用非局部雾线和多重曝光融合的图像去雾方法 | |
CN117391987A (zh) | 基于多阶段联合增强机制的暗光图像处理方法 | |
CN111161189A (zh) | 一种基于细节弥补网络的单幅图像再增强方法 | |
CN111489302B (zh) | 一种雾气环境下海事图像增强方法 | |
Liang et al. | An underwater image restoration method based on adaptive brightness improvement and local image descattering | |
CN113240588B (zh) | 一种基于增强大气散射模型的图像去雾和曝光方法 | |
CN113012067A (zh) | 基于Retinex理论和端到端深度网络的水下图像复原方法 | |
CN110796607B (zh) | 一种基于视网膜大脑皮层理论的深度学习低光照图像增强方法 | |
CN113627468B (zh) | 基于无监督学习的非局部神经网络图像处理方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |