CN112465727A - 基于HSV色彩空间和Retinex理论的无正常光照参考的低照度图像增强方法 - Google Patents
基于HSV色彩空间和Retinex理论的无正常光照参考的低照度图像增强方法 Download PDFInfo
- Publication number
- CN112465727A CN112465727A CN202011439065.8A CN202011439065A CN112465727A CN 112465727 A CN112465727 A CN 112465727A CN 202011439065 A CN202011439065 A CN 202011439065A CN 112465727 A CN112465727 A CN 112465727A
- Authority
- CN
- China
- Prior art keywords
- component
- illumination
- image
- module
- decoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 94
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000013527 convolutional neural network Methods 0.000 claims description 17
- 238000010586 diagram Methods 0.000 claims description 16
- 238000005070 sampling Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000005549 size reduction Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 230000002708 enhancing effect Effects 0.000 claims 1
- 238000004321 preservation Methods 0.000 abstract description 3
- 230000014759 maintenance of location Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 12
- 238000012549 training Methods 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 5
- 239000007787 solid Substances 0.000 description 4
- 241000282414 Homo sapiens Species 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 235000008733 Citrus aurantifolia Nutrition 0.000 description 2
- 108091092878 Microsatellite Proteins 0.000 description 2
- 235000011941 Tilia x europaea Nutrition 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 239000004571 lime Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明设计了一种基于HSV色彩空间和Retinex理论的无正常曝光图像参考的低照度图像增强方法，属于计算机视觉图像技术领域。针对于无正常曝光图像参考的低照度增强任务，本发明将其分解为颜色保留任务和亮度增强任务。对于颜色保留任务，本发明通过HSV色彩空间分离出颜色信息，并保留到增强后的图像上。对于亮度增强任务，本发明通过对分离出的亮度信息进行扰动，得到同一场景的不同光照水平的图像对，通过Retinex理论中的反射一致性约束得到反射分量，并将反射分量作为亮度增强的结果。实验表明，本发明可以有效地增强低照度图像，并在各个数据集和不同光照程度的低照度图像上有很强的泛化能力。
Description
技术领域
本发明属于计算机视觉图像技术领域，尤其是一种基于HSV色彩空间和Retinex理论的无正常光照参考的低照度图像增强方法。
背景技术
随着人类物质文化的丰富，人类更乐于使用拍摄照片来记录生活中的场景。然而，由于场景或设备的限制，许多照片都不是在最优的光照条件下拍摄的，其中一个主要的问题就是拍摄照片时处于一个暗光的环境，产生低照度图像。在光线不足的条件下，照片的审美质量下降，人类通过照片可以捕捉到的信息也很少。因此，如何高效地低照度图像进行亮度增强操作，进而提高图像的质量，是计算机视觉领域的一个重要的研究课题。
低照度图像增强技术(Low-Light Image Enhancement)是指将在暗光条件下拍摄到的图像或欠曝光的图像进行亮度增强，得到正常曝光的图像，是从软件角度解决亮度增强问题的重要技术手段。经过增强的低照度图像可以为计算机更好地观察、分析图像提供重要的技术支持，在监控系统等领域具有非常重要的应用价值。
传统的低照度图像增强方法主要有两类：(1)基于直方图均衡化(HistogramEqualization)的方法。直方图均衡化可以扩大图像的动态范围，从而使亮度得到提升，常见的方法如全局直方图均衡化和局部直方图均衡化。(2)基于Retinex理论的方法。Retinex理论是指一张图像可以被分解为反射分量和照明分量，反射分量被认为在不同的光照条件下具有一致性。常见的方法包括对照明分量施加高斯平滑的方法单尺度Retinex(SSR)；对SSR增加多尺度高斯平滑和颜色修复的方法多尺度Retinex(MSRCR)；使用加权变分模型同时估计照明分量和反射分量的方法(SRIE)；使用结构先验知识只估计照明分量，并将反射分量作为最终结果的方法(LIME)。虽然这些方法也可以获得较好的结果，但是受限于模型容量，很难将其应用在更广泛的场景，而且整个过程需要人们精心修改各个参数。
卷积神经网络是一种专门用来处理具有类似网格结构的数据(例如图像即可以被视为二维的像素网格)的神经网络，已经在大量不同类型的计算机视觉处理任务(如图像分类、目标检测等)中取得成功。与传统方法不同，人们通过大量数据训练卷积神经网络，让网络学习到输入—输出的复杂映射函数。针对训练神经网络的数据类型，基于卷积神经网络的低照度图像增强方法可以分为：(1)有监督学习方法。有监督方法是指在训练卷积神经网络过程中需要成对的低照度图像和正常光照图像，计算低照度图像经过网络的输出结果和正常光照图像之间的差距，从而进一步优化神经网络。例如首先将低照度图像和正常光照图像通过神经网络分解为照明分量和反射分量，约束二者的反射分量一致，再将低照度图像的照明分量经过神经网络进行亮度增强，与反射分量重组得到亮度增强后的图像，约束亮度增强后的与正常光照图像一致(Retinex-net)。有监督方法虽然可以获得很好的结果，但是如何获取配对的低照度图像和正常光照图像是一个难点。一种思路是基于正常曝光图像手动调节得到低照度图像，但是这一类的数据集与真实数据还是有一定的差距。另一种思路是通过调整感光度、曝光时间等方式拍摄真实的成对数据集，但是会出现相机抖动、场景变化等问题，需要对拍摄的数据精心筛选。(2)基于生成对抗网络(GAN)的学习方法。生成对抗网络的优点是不需要配对的图像即可完成训练，低照度图像首先通过生成器得到亮度增强的图像，然后通过判别器与真正的正常曝光图像计算损失，由于不是配对图像，判别器往往衡量的是两个图像分布之间的差异。然而，虽然基于生成对抗网路的方法可以有效避免对于配对数据集的需要，但是非配对的数据集同样需要精心挑选，而且训练过程较为繁琐，需要迭代式地训练生成器和判别器。(3)无参考学习方法。无参考学习方法是指在训练神经网络时只使用低照度图像，对神经网络输出的图像进行一些约束，也称为无正常光照图像参考的学习方法。如使用亮度控制约束、空间结构约束、颜色约束、平滑约束等(Zero-DCE)，或与直方图均衡化的结果相比较。例如将低照度图像分解为照明分量和反射分量，通过约束反射分量的最大通道(取每个像素点RGB三个通道值中最大的值重组为一个新的通道)和输入低照度图像的最大通道经过直方图均衡化的结果，得到亮度增强的反射分量作为最终输出。由于不需要正常曝光图像参与训练，因此可以作为训练集的低照度图像数量可以大大增加，该训练方法也成为了最近的研究热点。然而，仍有很多在有监督或基于生成对抗网络的学习方法中使用到的理论尚未被应用在无参考学习方法，并且无参考学习与有监督或基于生成对抗网络的方法仍有许多目标上的不同。
对于无参考学习方法来说，所有的信息来自于低照度图像，因此对于颜色信息要尽可能保留低照度图像中的信息，而不是像有监督学习方法调整到正常曝光图片对应的颜色。因此，本发明将低照度图像增强任务分解为颜色保留任务和亮度增强任务。对于颜色保留任务，通过将图像转换到HSV色彩空间将颜色信息与亮度信息解耦，保留其中的颜色信息。对于亮度信息，本发明通过对其扰动得到一组同一场景的不同光照的图像对，通过使用Retinex理论中的反射一致性，并配合其他损失来实现亮度增强。
发明内容
本发明的目的在于克服现有技术的不足，基于HSV色彩空间和Retinex理论，提出一种设计合理的无正常光照参考图像的低照度图像增强方法。
本发明解决其技术问题是采取以下技术方案实现的：
一种基于HSV色彩空间和Retinex理论的无正常光照参考的低照度图像增强方法，包括以下步骤：
步骤1：在图像输入阶段，将低照度图像从像素值范围[0,255]归一化到[0,1]；
步骤2：将步骤1得到的图像从RGB色彩空间转换到HSV色彩空间，并将三通道分离，得到色相分量(H)、饱和度分量(S)、明度分量(V)；
步骤3：计算步骤2得到的明度分量(V)的平均值，对于平均值≤0.5的图像生成一个指数为[0,1]区间的幂函数，对于平均值＞0.5的图像生成一个指数为[1,5]区间的幂函数。将步骤2得到的明度分量(V)通过生成的幂函数进行调整，得到扰动后的明度分量(Vd)；
步骤4：步骤2得到的明度分量(V)和步骤3得到的扰动后的明度分量(Vd)通过Retinex理论计算得到明度分量的反射分量(R)和扰动后的明度分量的反射分量(Rd)；
步骤5：将步骤2得到的色相分量(H)、饱和度分量(S)与步骤4得到的明度分量的反射分量(R)重组得到HSV色彩空间中的三通道图像；
步骤6：将步骤5得到的HSV色彩空间中的三通道图像转换到RGB色彩空间，并调整其像素值范围从[0,1]到[0,255]，得到增强后的低照度图像。
进一步，所述步骤2的低照度图像从RGB色彩空间转换到HSV色彩空间的具体细节包含以下内容：
(1)根据公式计算最大通道(cmax)、最小通道(cmin)和对比度(Δ)：cmax＝max
(R,G,B)，cmin＝min(R,G,B)，Δ＝cmax-cmin(其中R、G、B表示RGB色彩空间中的三个通道，下同)；
(2)根据公式计算色相(H)：
(3)根据公式计算饱和度(S)：
(4)根据公式计算明度(V)：
V＝cmax。
进一步，所述步骤4的通过Retinex理论获得反射分量的具体细节包含以下内容：
(1)将明度分量明度分量(V)和扰动后的明度分量(Vd)分别送入卷积神经网络，得到明度分量的照明分量的倒数形式(L)和扰动后的明度分量的照明分量的倒数形式(Ld)；
(2)通过公式R＝V·L得到明度分量的反射分量(R)和扰动后的明度分量的反射分量(Rd)；
(3)通过计算反射一致性和其他损失约束R、Rd、L、Ld，优化网络。
进一步，所述步骤(1)的卷积神经网络的具体细节为：
①将明度分量输入卷积神经网络的输入模块，输入模块由2个3×3×32的卷积层组成，对低照度图像的明度分量进行初步特征提取，输出原始特征图；
②将①的输出依次输入4个级联的编码模块，编码模块由下采样、2个卷积层构成。编码模块通过多个卷积层和下采样层对输入的原始特征图进行高层次特征提取，最后输出空间尺寸较小、语义层次较高的特征图；
③将②的输出的高层次特征图输入和编码网络对称的4个由双线性插值上采样、2个卷积层构成的解码模块组成解码网络。该模块使用跳连结构，将前层丰富的空间信息和编码模块输出高层特征信息结合，最后获得兼顾空间信息和语义信息的特征图；
④将解码网络的输出特征图经过输出模块的卷积处理，映射到输出的特征维度，输出最终的增强后的明度分量，卷积核的输出通道数和输入模块输入原始图像的通道数一致。
进一步，所述步骤②的编码模块处理输入特征的具体方法包括以下步骤：
a.在每个编码模块的开头，使用2×2最大值池化将输入特征图的尺寸降低为原来的1/2，进行空间特征融合，提高卷积网络的感受野，提取更多语义信息；
b.使用2个级联的卷积层提取尺寸下降后的特征信息。每个卷积层由1个卷积操作和1个ReLU激活函数组成。对于卷积操作，在级联的4个编码模块中，使用的卷积核尺寸分别依次是3×3×64，3×3×128，3×3×256，3×3×256，并且每个编码模块内部使用相同通道数的卷积核。
进一步，所述步骤③的解码模块处理输入特征的具体方法包括以下步骤：
a.在每个解码模块的起始，对于输入特征图，使用双线性插值法将其尺寸上采样为原来的2倍，通道数量不变，用以逐渐恢复输入原始图像的尺寸；
b.取输入模块以及编码模块中和当前解码模块中双线性插值输出空间尺寸一样的特征输出(即编码模块3和解码模块1，编码模块2和解码模块2，编码模块1和解码模块3，输入模块和解码模块3)，和当前双线性插值的输出在通道维度进行拼接，输入模块和前三个级联的编码模块输出的通道数量依次分别为32，64，128，256，对称的四个级联的解码模块输入的通道数量分别为256，128，64，32，拼接后通道维数变为512，256，128，64，依次分别作为解码网络后续卷积层的输入，综合利用深层特征图的语义信息和浅层特征图的空间信息；
c.在将拼接后的通道数为512，256，128，64的4个特征图依次分别输入4个级联的解码模块的解码卷积层进行特征融合，每个卷积层由1个卷积操作和1个ReLU激活函数级联组成，解码卷积层将浅层特征图的空间信息和深层特征图的语义信息进行融合，解码卷积层由2个不同卷积核的卷积层构成，在4个级联的解码模块中各自使用的卷积核依次分别是3×3×256、3×3×128，3×3×128、3×3×64，3×3×64、3×3×32，3×3×32、3×3×32，因此4个级联的解码模块输出的通道数依次分别是128，64，32，32。
进一步，所述步骤(3)的计算反射一致性和其他约束的具体细节为：
①计算反射分量一致性约束：根据Retinex理论，明度分量的反射分量(R)和扰动后的明度分量的反射分量(Rd)应保持一致；
②计算反射分量亮度约束：明度分量的反射分量(R)的平均亮度保持在0.6；
③计算反射分量结构一致性约束：明度分量(V)和其反射分量(R)应具有相似的空间结构；
④计算照明分量平滑约束：根据Retinex理论，照明分量应是平滑的。
本发明的优点和积极效果是：
1、本发明通过将低照度图像从RGB色彩空间转换到HSV色彩空间，实现亮度与颜色的解耦，从而减小了在亮度增强的过程中的颜色信息丢失；
2、本发明通过对低照度图像的亮度分量进行扰动，实现了从单张低照度图像恢复出标准光照下的图像，完成无监督低照度增强过程；
3、本发明通过恢复标准光照下的图像，实现了对于不同程度光照的低照度图像的泛化能力。
附图说明
图1是本发明的整体网络框架，其中权值共享是指两个卷积神经网络使用同样的参数，一致性是指两个反射分量R和Rd保持一致。
图2是本发明的亮度增强模块的具体结构图，图中方形为特征图，其上方或下方的数字代表其通道数，黑色空心推进箭头表示3×3和ReLU激活函数，黑色实线实心箭头表示2×2最大池化，黑色实线空心箭头表示双线性插值上采样，虚线箭头表示跳连结构，即将箭头左端的特征图直接作用到箭头右端。
具体实施方式
以下结合附图对本发明实施例做进一步详述。
一种基于HSV色彩空间和Retinex理论的无正常光照参考的低照度图像增强方法，如图1至图2所示，包括以下步骤：
步骤S1：在图像输入阶段，将低照度图像从像素值范围[0,255]归一化到[0,1]；
步骤S2：将步骤S1得到的图像从RGB色彩空间转换到HSV色彩空间，并将三通道分离，得到色相分量(H)、饱和度分量(S)、明度分量(V)；
步骤S2的具体实现方法如下：
S2.1根据公式计算最大通道(cmax)、最小通道(cmi)和对比度(Δ)：cmax＝max
(R,G,B)，cmin＝min(R,G,B)，Δ＝cmax-cmib(其中R、G、B表示RGB色彩空
间中的三个通道，下同)；
S2.2根据公式计算色相(H)：
S2.3根据公式计算饱和度(S)：
S2.4根据公式计算明度(V)：
V＝cmax。
步骤S3：计算步骤2得到的明度分量(V)的平均值，对于平均值≤0.5的图像生成一个指数为[0,1]区间的幂函数，对于平均值＞0.5的图像生成一个指数为[1,5]区间的幂函数。将步骤S2得到的明度分量(V)通过生成的幂函数进行调整，得到扰动后的明度分量(Vd)；
步骤S4：步骤S2得到的明度分量(V)和步骤S3得到的扰动后的明度分量(Vd)通过Retinex理论计算得到明度分量的反射分量(R)和扰动后的明度分量的反射分量(Rd)；
步骤S4的具体实现方法如下：
S4.1将明度分量明度分量(V)和扰动后的明度分量(Vd)分别送入卷积神经网络，在图1中表示为权值共享的两个卷积神经网络，得到明度分量的照明分量的倒数形式(L)和扰动后的明度分量的照明分量的倒数形式(Ld)；
步骤S4.1的具体实现方法如下：
S4.1.1将明度分量输入卷积神经网络的输入模块，输入模块由2个3×3×32的卷积层组成，对低照度图像的明度分量进行初步特征提取，输出原始特征图；
S4.1.2将S4.1.1的输出依次输入4个级联的编码模块，编码模块由下采样、2个卷积层构成。编码模块通过多个卷积层和下采样层对输入的原始特征图进行高层次特征提取，最后输出空间尺寸较小、语义层次较高的特征图；
步骤S4.1.2的具体实现方法如下：
S4.1.2.1在每个编码模块的开头，使用2×2最大值池化将输入特征图的尺寸降低为原来的1/2，如图2中的黑色实线实心箭头，进行空间特征融合，提高卷积网络的感受野，提取更多语义信息；
S4.1.2.2使用2个级联的卷积层提取尺寸下降后的特征信息。每个卷积层由1个卷积操作和1个ReLU激活函数组成，如图2中的黑色空心推进箭头。对于卷积操作，在级联的4个编码模块中，使用的卷积核尺寸分别依次是3×3×64，3×3×128，3×3×256，3×3×256，并且每个编码模块内部使用相同通道数的卷积核，特征图通道数标注在图2中每个特征图上方或下方。
S4.1.3将S4.1.2的输出的高层次特征图输入和编码网络对称的4个由双线性插值上采样、2个卷积层构成的解码模块组成解码网络。该模块使用跳连结构，将前层丰富的空间信息和编码模块输出高层特征信息结合，最后获得兼顾空间信息和语义信息的特征图；
步骤S4.1.3的具体实现方法如下：
S4.1.3.1在每个解码模块的起始，对于输入特征图，使用双线性插值法将其尺寸上采样为原来的2倍，通道数量不变，如图2中的黑色实线空心箭头，用以逐渐恢复输入原始图像的尺寸；
S4.1.3.2取输入模块以及编码模块中和当前解码模块中双线性插值输出空间尺寸一样的特征输出(即编码模块3和解码模块1，编码模块2和解码模块2，编码模块1和解码模块3，输入模块和解码模块3)，如图2中的虚线跳连结构，和当前双线性插值的输出在通道维度进行拼接，输入模块和前三个级联的编码模块输出的通道数量依次分别为32，64，128，256，对称的四个级联的解码模块输入的通道数量分别为256，128，64，32，拼接后通道维数变为512，256，128，64，依次分别作为解码网络后续卷积层的输入，综合利用深层特征图的语义信息和浅层特征图的空间信息；
S4.1.3.3在将拼接后的通道数为512，256，128，64的4个特征图依次分别输入4个级联的解码模块的解码卷积层进行特征融合，每个卷积层由1个卷积操作和1个ReLU激活函数级联组成，如图2中的黑色空心推进箭头，解码卷积层将浅层特征图的空间信息和深层特征图的语义信息进行融合，解码卷积层由2个不同卷积核的卷积层构成，在4个级联的解码模块中各自使用的卷积核依次分别是3×3×256、3×3×128，3×3×128、3×3×64，3×3×64、3×3×32，3×3×32、3×3×32，因此4个级联的解码模块输出的通道数依次分别是128，64，32，32，特征图通道数标注在图2中每个特征图上方或下方。
S4.1.4将解码网络的输出特征图经过输出模块的卷积处理，映射到输出的特征维度，输出最终的增强后的明度分量，卷积核的输出通道数和输入模块输入原始图像的通道数一致。
S4.2通过公式R＝V·L得到明度分量的反射分量(R)和扰动后的明度分量的反射分量(Rd)；
S4.3通过计算反射一致性和其他损失约束R、Rd、L、Ld，优化网络。
步骤S4.3的具体实现方法如下：
S4.3.1计算反射分量一致性约束：根据Retinex理论，明度分量的反射分量(R)和扰动后的明度分量的反射分量(Rd)应保持一致，在图1中表示为R和Rd的一致性；
S4.3.2计算反射分量亮度约束：明度分量的反射分量(R)的平均亮度保持在0.6；
S4.3.3计算反射分量结构一致性约束：明度分量(V)和其反射分量(R)应具有相似的空间结构；
S4.3.4计算照明分量结构平滑约束：根据Retinex理论，照明分量应是平滑的。
步骤S5：将步骤S2得到的色相分量(H)、饱和度分量(S)与步骤S4得到的明度分量的反射分量(R)重组得到HSV色彩空间中的三通道图像；
步骤S6：将步骤S5得到的HSV色彩空间中的三通道图像转换到RGB色彩空间，并调整其像素值范围从[0,1]到[0,255]，得到增强后的低照度图像。
通过以上步骤即可得到低照度增强后的图像。
最后，我们通过最小化明度分量的反射分量(R)和扰动后的明度分量的反射分量(Rd)的一致性，明度分量的反射分量(R)的亮度、结构一致性，明度分量的照明分量倒数形式(L)的结构平滑的损失和为目标训练网络，使用PSNR(Peak Signal to Noise Ratio，峰值信噪比)和SSIM(structural similarity index，结构相似性)评价网络性能。
测试环境：Python 3.6；Pytorch深度学习框架；Ubuntu16.04系统；NVIDIA GTX1080ti GPU。
测试序列：所选数据集是从SICE Part2数据集中对每个图像序列随机取前三分之一的一张低照度图像，共得到229张低照度图像及其真值图像。
测试方法：通过训练得到低照度图像增强模型，使用上述数据集进行测试，计算评价指标数据。
测试指标：本发明使用PSNR、SSIM等指标进行评测。对当今流行的不同算法计算这些指标数据然后进行结果对比，证明本发明在低照度图像增强领域能够得到较好的结果。
测试结果：
表1.本发明与其他算法在SICE数据集下的性能比较(PSNR/SSIM)
| 算法 | PSNR | SSIM |
| SRIE | 14.41 | 0.54 |
| LIME | 16.17 | 0.57 |
| Li et al. | 15.19 | 0.54 |
| RetinexNet | 15.99 | 0.53 |
| Wang et al. | 13.52 | 0.49 |
| EnlightenGAN | 16.21 | 0.59 |
| Zero-DCE | 16.60 | 0.62 |
| 本发明 | 18.11 | 0.63 |
本发明未述及之处适用于现有技术。
需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。
Claims (7)
1.基于HSV色彩空间和Retinex理论的无正常光照参考的低照度图像增强方法，其特征在于包括以下步骤：
步骤1：在图像输入阶段，将低照度图像从像素值范围[0,255]归一化到[0,1]；
步骤2：将步骤1得到的图像从RGB色彩空间转换到HSV色彩空间，并将三通道分离，得到色相分量(H)、饱和度分量(S)、明度分量(V)；
步骤3：计算步骤2得到的明度分量(V)的平均值，对于平均值≤0.5的图像生成一个指数为[0,1]区间的幂函数，对于平均值＞0.5的图像生成一个指数为[1,5]区间的幂函数。将步骤2得到的明度分量(V)通过生成的幂函数进行调整，得到扰动后的明度分量(Vd)；
步骤4：步骤2得到的明度分量(V)和步骤3得到的扰动后的明度分量(Vd)通过Retinex理论计算得到明度分量的反射分量(R)和扰动后的明度分量的反射分量(Rd)；
步骤5：将步骤2得到的色相分量(H)、饱和度分量(S)与步骤4得到的明度分量的反射分量(R)重组得到HSV色彩空间中的三通道图像；
步骤6：将步骤5得到的HSV色彩空间中的三通道图像转换到RGB色彩空间，并调整其像素值范围从[0,1]到[0,255]，得到增强后的低照度图像。
2.根据权利要求1所述的基于HSV色彩空间和Retinex理论的无正常光照参考的低照度图像增强方法，其特征在于，所述步骤2的从RGB转换到HSV色彩空间的具体方法包括以下步骤：
(1)根据公式计算最大通道(cmax)、最小通道(cmin)和对比度(Δ)：cmax＝max(R,G,B)，cmin＝min(R,G,B)，Δ＝cmax-cmin(其中R、G、B表示RGB色彩空间中的三个通道，下同)；
(2)根据公式计算色相(H)：
(3)根据公式计算饱和度(S)：
(4)根据公式计算明度(V)：
V＝cmax。
3.根据权利要求1所述的基于HSV色彩空间和Retinex理论的无正常光照参考的低照度图像增强方法，其特征在于，所述步骤4的通过Retinex理论获得反射分量的具体方法包括以下步骤：
(1)将明度分量明度分量(V)和扰动后的明度分量(Vd)分别送入卷积神经网络，得到明度分量的照明分量的倒数形式(L)和扰动后的明度分量的照明分量的倒数形式(Ld)；
(2)通过公式R＝V·L得到明度分量的反射分量(R)和扰动后的明度分量的反射分量(Rd)；
(3)通过计算反射一致性和其他损失约束R、Rd、L、Ld，优化网络。
4.根据权利要求3所述的通过Retinex理论获得反射分量的具体方法，其特征在于，所述步骤(1)的卷积神经网络具体包括以下步骤：
①将明度分量输入卷积神经网络的输入模块，输入模块由2个3×3×32的卷积层组成，对低照度图像的明度分量进行初步特征提取，输出原始特征图；
②将①的输出依次输入4个级联的编码模块，编码模块由下采样、2个卷积层构成。编码模块通过多个卷积层和下采样层对输入的原始特征图进行高层次特征提取，最后输出空间尺寸较小、语义层次较高的特征图；
③将②的输出的高层次特征图输入和编码网络对称的4个由双线性插值上采样、2个卷积层构成的解码模块组成解码网络。该模块使用跳连结构，将前层丰富的空间信息和编码模块输出高层特征信息结合，最后获得兼顾空间信息和语义信息的特征图；
④将解码网络的输出特征图经过输出模块的卷积处理，映射到输出的特征维度，输出最终的增强后的明度分量，卷积核的输出通道数和输入模块输入原始图像的通道数一致。
5.根据权利要求4所述的卷积神经网络，其特征在于，所述步骤②的编码模块具体包括以下步骤：
a.在每个编码模块的开头，使用2×2最大值池化将输入特征图的尺寸降低为原来的1/2，进行空间特征融合，提高卷积网络的感受野，提取更多语义信息；
b.使用2个级联的卷积层提取尺寸下降后的特征信息。每个卷积层由1个卷积操作和1个ReLU激活函数组成。对于卷积操作，在级联的4个编码模块中，使用的卷积核尺寸分别依次是3×3×64，3×3×128，3×3×256，3×3×256，并且每个编码模块内部使用相同通道数的卷积核。
6.根据权利要求4所述的卷积神经网络，其特征在于，所述步骤③的解码模块具体包括以下步骤：
a.在每个解码模块的起始，对于输入特征图，使用双线性插值法将其尺寸上采样为原来的2倍，通道数量不变，用以逐渐恢复输入原始图像的尺寸；
b.取输入模块以及编码模块中和当前解码模块中双线性插值输出空间尺寸一样的特征输出(即编码模块3和解码模块1，编码模块2和解码模块2，编码模块1和解码模块3，输入模块和解码模块3)，和当前双线性插值的输出在通道维度进行拼接，输入模块和前三个级联的编码模块输出的通道数量依次分别为32，64，128，256，对称的四个级联的解码模块输入的通道数量分别为256，128，64，32，拼接后通道维数变为512，256，128，64，依次分别作为解码网络后续卷积层的输入，综合利用深层特征图的语义信息和浅层特征图的空间信息；
c.在将拼接后的通道数为512，256，128，64的4个特征图依次分别输入4个级联的解码模块的解码卷积层进行特征融合，每个卷积层由1个卷积操作和1个ReLU激活函数级联组成，解码卷积层将浅层特征图的空间信息和深层特征图的语义信息进行融合，解码卷积层由2个不同卷积核的卷积层构成，在4个级联的解码模块中各自使用的卷积核依次分别是3×3×256、3×3×128，3×3×128、3×3×64，3×3×64、3×3×32，3×3×32、3×3×32，因此4个级联的解码模块输出的通道数依次分别是128，64，32，32。
7.根据权利要求3所述的通过Retinex理论获得反射分量的具体方法，其特征在于，所述步骤(3)的计算反射一致性和其他约束具体包括以下步骤：
①计算反射分量一致性约束：根据Retinex理论，明度分量的反射分量(R)和扰动后的明度分量的反射分量(Rd)应保持一致；
②计算反射分量亮度约束：明度分量的反射分量(R)的平均亮度保持在0.6；
③计算反射分量结构一致性约束：明度分量(V)和其反射分量(R)应具有相似的空间结构；
④计算照明分量平滑约束：根据Retinex理论，照明分量应是平滑的。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011439065.8A CN112465727A (zh) | 2020-12-07 | 2020-12-07 | 基于HSV色彩空间和Retinex理论的无正常光照参考的低照度图像增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011439065.8A CN112465727A (zh) | 2020-12-07 | 2020-12-07 | 基于HSV色彩空间和Retinex理论的无正常光照参考的低照度图像增强方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112465727A true CN112465727A (zh) | 2021-03-09 |
Family
ID=74800561
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011439065.8A Pending CN112465727A (zh) | 2020-12-07 | 2020-12-07 | 基于HSV色彩空间和Retinex理论的无正常光照参考的低照度图像增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112465727A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112907570A (zh) * | 2021-03-24 | 2021-06-04 | 合肥工业大学 | 一种轻量级无监督暗光图像增强方法及装置 |
| CN112927164A (zh) * | 2021-03-22 | 2021-06-08 | 重庆邮电大学 | 一种基于深度卷积神经网络的无参考低照度图像增强方法 |
| CN113129236A (zh) * | 2021-04-25 | 2021-07-16 | 中国石油大学(华东) | 基于Retinex和卷积神经网络的单张低光照图像增强方法及系统 |
| CN113284064A (zh) * | 2021-05-24 | 2021-08-20 | 西安理工大学 | 一种基于注意力机制跨尺度上下文低照度图像增强方法 |
| CN115511754A (zh) * | 2022-11-22 | 2022-12-23 | 北京理工大学 | 基于改进的Zero-DCE网络的低照度图像增强方法 |
| CN116363009A (zh) * | 2023-03-31 | 2023-06-30 | 哈尔滨工业大学 | 基于有监督学习的快速轻量化低照度图像增强方法及系统 |
| CN116528060A (zh) * | 2023-07-04 | 2023-08-01 | 长春希达电子技术有限公司 | 一种暗光图像增强器件、方法和装置以及电子设备 |
| CN116797490A (zh) * | 2023-07-12 | 2023-09-22 | 青岛理工大学 | 一种轻量级浑浊水体图像增强方法 |
-
2020
- 2020-12-07 CN CN202011439065.8A patent/CN112465727A/zh active Pending
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112927164A (zh) * | 2021-03-22 | 2021-06-08 | 重庆邮电大学 | 一种基于深度卷积神经网络的无参考低照度图像增强方法 |
| CN112907570A (zh) * | 2021-03-24 | 2021-06-04 | 合肥工业大学 | 一种轻量级无监督暗光图像增强方法及装置 |
| CN112907570B (zh) * | 2021-03-24 | 2022-03-22 | 合肥工业大学 | 一种轻量级无监督暗光图像增强方法及装置 |
| CN113129236A (zh) * | 2021-04-25 | 2021-07-16 | 中国石油大学(华东) | 基于Retinex和卷积神经网络的单张低光照图像增强方法及系统 |
| CN113129236B (zh) * | 2021-04-25 | 2022-07-12 | 中国石油大学(华东) | 基于Retinex和卷积神经网络的单张低光照图像增强方法及系统 |
| CN113284064A (zh) * | 2021-05-24 | 2021-08-20 | 西安理工大学 | 一种基于注意力机制跨尺度上下文低照度图像增强方法 |
| CN115511754A (zh) * | 2022-11-22 | 2022-12-23 | 北京理工大学 | 基于改进的Zero-DCE网络的低照度图像增强方法 |
| CN115511754B (zh) * | 2022-11-22 | 2023-09-12 | 北京理工大学 | 基于改进的Zero-DCE网络的低照度图像增强方法 |
| CN116363009A (zh) * | 2023-03-31 | 2023-06-30 | 哈尔滨工业大学 | 基于有监督学习的快速轻量化低照度图像增强方法及系统 |
| CN116363009B (zh) * | 2023-03-31 | 2024-03-12 | 哈尔滨工业大学 | 基于有监督学习的快速轻量化低照度图像增强方法及系统 |
| CN116528060A (zh) * | 2023-07-04 | 2023-08-01 | 长春希达电子技术有限公司 | 一种暗光图像增强器件、方法和装置以及电子设备 |
| CN116528060B (zh) * | 2023-07-04 | 2023-09-19 | 长春希达电子技术有限公司 | 一种暗光图像增强器件、方法和装置以及电子设备 |
| CN116797490A (zh) * | 2023-07-12 | 2023-09-22 | 青岛理工大学 | 一种轻量级浑浊水体图像增强方法 |
| CN116797490B (zh) * | 2023-07-12 | 2024-02-09 | 青岛理工大学 | 一种轻量级浑浊水体图像增强方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112233038B (zh) | 基于多尺度融合及边缘增强的真实图像去噪方法 | |
| CN112465727A (zh) | 基于HSV色彩空间和Retinex理论的无正常光照参考的低照度图像增强方法 | |
| CN112288658B (zh) | 一种基于多残差联合学习的水下图像增强方法 | |
| EP4109392A1 (en) | Image processing method and image processing device | |
| CN111127336B (zh) | 一种基于自适应选择模块的图像信号处理方法 | |
| CN110210608B (zh) | 基于注意力机制和多层次特征融合的低照度图像增强方法 | |
| Ratnasingam | Deep camera: A fully convolutional neural network for image signal processing | |
| CN111986084B (zh) | 一种基于多任务融合的多相机低光照图像质量增强方法 | |
| CN111402145B (zh) | 一种基于深度学习的自监督低照度图像增强方法 | |
| CN112348747A (zh) | 图像增强方法、装置及存储介质 | |
| CN116797488A (zh) | 一种基于特征融合与注意力嵌入的低照度图像增强方法 | |
| CN113781320A (zh) | 一种图像处理方法、装置、终端设备及存储介质 | |
| CN113284061B (zh) | 一种基于梯度网络的水下图像增强方法 | |
| Steffens et al. | Cnn based image restoration: Adjusting ill-exposed srgb images in post-processing | |
| CN116681636B (zh) | 基于卷积神经网络的轻量化红外与可见光图像融合方法 | |
| CN112465726A (zh) | 基于参考亮度指标指导的低照度可调节亮度增强方法 | |
| CN114627034A (zh) | 一种图像增强方法、图像增强模型的训练方法及相关设备 | |
| Zheng et al. | T-net: Deep stacked scale-iteration network for image dehazing | |
| Wang et al. | Image super-resolution via lightweight attention-directed feature aggregation network | |
| CN116912219A (zh) | 一种基于知识蒸馏的无参考图像质量评价方法 | |
| CN116579940A (zh) | 一种基于卷积神经网络的实时低照度图像增强方法 | |
| Omrani et al. | High dynamic range image reconstruction using multi-exposure Wavelet HDRCNN | |
| CN116468625A (zh) | 基于金字塔高效通道注意力机制的单幅图像去雾方法和系统 | |
| Xu et al. | Attention‐based multi‐channel feature fusion enhancement network to process low‐light images | |
| Zhao et al. | Single image dehazing based on enhanced generative adversarial network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |