CN113344798A - 一种基于Retinex的暗图像增强方法 - Google Patents

Abstract

一种基于Retinex的暗图像增强方法，将图像从RGB图像转换成HSV图像，更加符合人眼视觉。将所有层直接连接在一起。在这种新型架构中，每层的输入由所有之前层的特征映射组成，其输出将传输给每个后续层。这些特征映射通过深度级联聚合。提升了神经网络的深度，解决了梯度消失问题。原始网络在网络末端用最近邻的方法上采样达到高分辨率尺寸，与原始网络相比改进EnhanceNet网络采用双线性插值上采样方法，采用这种方法不需要进行学习，运行速度快，操作简单。只需要设置好固定的参数值即可，设置的参数就是中心值需要乘以的系数。并且与原有最近邻算法上采样相比较采用新的上采样方法可以将图像显示更加清晰，网络效果进一步提升。

Description

一种基于Retinex的暗图像增强方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于Retinex的暗图像增强方法。

背景技术

随着科技进步，新的图像技术在逐渐推广，在日常生活中人们对于图像的要求也越来越高，针对阴天或夜晚等弱光条件下拍摄的图像具有亮度低、对比度低和细节模糊等问题，这个时候就需要把目标的亮度提高一点。传统基本做法是对于频域与空域进行处理，这些基本方法都只针对于特定场景下图像增强，对于复杂环境的图像增强效果并不明显，近年来，基于深度学习的图像增强技术取得卓越进展，在高级图像理解任务，比如：图像分类、目标检测等方面取得令人瞩目的成绩。基于深度学习算法的图像增强技术成为研究的热点，常规做法是将图像数据训练集暗图像与亮图像进行直接训练，得到权重参数但是修复完成后视觉效果以及图像质量有待提高。因此技术革新的新型暗图像增强技术是十分有必要的。

发明内容

本发明为了克服以上技术的不足，提供了一种使得暗图像增强，提升图像的细节以及对比度，将图像还原成光照充分的条件下的图像，提升图像的辨识度的暗图像增强方法。

本发明克服其技术问题所采用的技术方案是：

一种基于Retinex的暗图像增强方法，包括如下步骤：

a)将输入计算机的彩色图片进行颜色通道转换，将图片由RGB图像转换到HSV图像，得到H通道图像、S通道图像和V通道图像；

b)将H通道图像、S通道图像和V通道图像输入EnhanceNet网络，EnhanceNet网络为3*3卷积核，EnhanceNet网络对各个通道图像进行L次卷积处理，提取相关特征数据，每次卷积操作得到一层，得到L个层，使用ReLU及3*3的卷积得到深度为64的特征映射图像；

c)将DenseNet残差网络引入步骤b)中的EnhanceNet网络，将步骤b)中的L层使用DenseNet残差网络连接在一起，每个层的输入由所有之前层的特征映射组成；

d)将特征映射图像进行双线性插值上采样，采样后进行两次卷积操作；

e)使用ReLU和3*3卷积核对两次卷积操作后的特征图像进行卷积，得到输出结果I_est，通过公式

计算得到损失函数L_E，其中I_HR为原始高分辨率图像，通过计算损失函数得到优化后的图像；

f)将优化后的图像的H通道、S通道和V通道使用颜色通道合成RGB图像L(x,y)；

g)通过公式r(x,y)＝logR(x,y)＝logS(x,y)L(x,y)计算得到最终图像r(x,y)，R(x,y)为反射图像，将图像L(x,y)与原始图像进行求解卷积得到优化后的增强图像。

进一步的，步骤b)中的EnhanceNet网络采用步长为2的3*3的卷积核对H通道图像、S通道图像和V通道图像进行卷积处理。

进一步的，步骤d)中使用ReLU和3*3卷积核进行卷积操作，卷积长度为特征映射图像深度的2倍，卷积宽度为特征映射图像深度的2倍。

进一步的，步骤d)中通过公式

计算特征映射图像的双线性插值上采样获取的值f(x,y)，其中Q₁₁、Q₁₂、Q₂₁及Q₂₂为点(x,y)周边的任意四个点，Q₁₁＝(x₁,y₁)，Q₁₂＝(x₁,y₂)，Q₂₁＝(x₂,y₁)，Q₂₂＝(x₂,y₂)。

本发明的有益效果是：相比较传统暗图像增强算法，只是将原始图像与标注后的图像放入神经网络中进行训练，新技术将图像从RGB图像转换成HSV图像，更加符合人眼视觉。与原始网络相比较将DenseNet改进残差网络引入。将所有层直接连接在一起。在这种新型架构中，每层的输入由所有之前层的特征映射组成，其输出将传输给每个后续层。这些特征映射通过深度级联聚合。提升了神经网络的深度，解决了梯度消失问题。原始网络在网络末端用最近邻的方法上采样达到高分辨率尺寸，与原始网络相比改进EnhanceNet网络采用双线性插值上采样方法，采用这种方法不需要进行学习，运行速度快，操作简单。只需要设置好固定的参数值即可，设置的参数就是中心值需要乘以的系数。并且与原有最近邻算法上采样相比较采用新的上采样方法可以将图像显示更加清晰，网络效果进一步提升。

附图说明

图1为本发明的原理框图。

具体实施方式

下面结合附图1对本发明做进一步说明。

一种基于Retinex的暗图像增强方法，包括如下步骤：

a)将输入计算机的彩色图片进行颜色通道转换，将图片由RGB图像转换到HSV图像，得到H通道图像、S通道图像和V通道图像。

b)将H通道图像、S通道图像和V通道图像输入EnhanceNet网络，EnhanceNet网络为3*3卷积核，EnhanceNet网络对各个通道图像进行L次卷积处理，提取相关特征数据，每次卷积操作得到一层，得到L个层，使用ReLU及3*3的卷积得到深度为64的特征映射图像。这些特征映射通过深度级联聚合。提升了神经网络的深度，解决了梯度消失问题。

c)将DenseNet残差网络引入步骤b)中的EnhanceNet网络，将步骤b)中的L层使用DenseNet残差网络连接在一起，每个层的输入由所有之前层的特征映射组成。引入改进残差网络DenseNet，原始EnhanceNet网络中，假设有L层网络，但是在DenseNet中，就会有L(L+1)/2个连接，可以理解为每一层输入都来自前面所有层的输出。DenseNet原理公式如下：

X₁＝H₁([x₀,x₁,…,x_l-1])，其中[x₀,x₁,…,x_l-1]表示将0到l-1层的输出featuremap做concatenation。concatenation是做通道的合并，H₁包括BN、ReLU和3*3的卷积。

建立建立Block叠加，Block之间任意两层间建立前向Skip Connection是整个核心思想。一个Block包含多个Dense layer，其又包括三层：BN、ReLU和Conv。

前3层作为一个部分是为了利用1*1Conv减少特征图数量，增加计算量。不同denseblock之间的连接层称为transition layer，每个transition layer包含3层：BN，1*1Conv和2*2AvgPool。

d)将特征映射图像进行双线性插值上采样，采样后进行两次卷积操作。采用这种方法不需要进行学习，运行速度快，操作简单。只需要设置好固定的参数值即可，设置的参数就是中心值需要乘以的系数。并且与原有最近邻算法上采样相比较采用新的上采样方法可以将图像显示更加清晰，网络效果进一步提升。

e)在本网络中参数的初始化采用Xavier网络的学习目标是超分辨率图像与输入的低分辨率图像线性插值的差。其中损失函数部分我们选择pixel-wise loss强调的是两幅图像之间每个对应像素的匹配。通过pixel-wise loss训练的图片通常会较为平滑。即使输出图片具有较高的PSNR，视觉效果也并没有很突出。后期引入图像锐化以解决过于平滑问题。使用ReLU和3*3卷积核对两次卷积操作后的特征图像进行卷积，得到输出结果I_est，通过公式

计算得到损失函数L_E，其中I_HR为原始高分辨率图像，通过计算损失函数得到优化后的图像。损失函数L_E用来估量你模型的预测值f(x)与真实值Y的不一致程度，它是一个非负实值函数，损失函数越小，模型的鲁棒性就越好。

f)将优化后的图像的H通道、S通道和V通道使用颜色通道合成RGB图像L(x,y)，L(x,y)即为模型处理的光照度图；

g)通过公式r(x,y)＝logR(x,y)＝logS(x,y)L(x,y)计算得到最终图像r(x,y)，R(x,y)为反射图像，将图像L(x,y)与原始图像进行求解卷积得到优化后的增强图像。

相比较传统暗图像增强算法，只是将原始图像与标注后的图像放入神经网络中进行训练，新技术将图像从RGB图像转换成HSV图像，更加符合人眼视觉。与原始网络相比较将DenseNet改进残差网络引入。将所有层直接连接在一起。在这种新型架构中，每层的输入由所有之前层的特征映射组成，其输出将传输给每个后续层。这些特征映射通过深度级联聚合。提升了神经网络的深度，解决了梯度消失问题。原始网络在网络末端用最近邻的方法上采样达到高分辨率尺寸，与原始网络相比改进EnhanceNet网络采用双线性插值上采样方法，采用这种方法不需要进行学习，运行速度快，操作简单。只需要设置好固定的参数值即可，设置的参数就是中心值需要乘以的系数。并且与原有最近邻算法上采样相比较采用新的上采样方法可以将图像显示更加清晰，网络效果进一步提升。基于Retinex原理将图像分成为反射图像S与亮度图像L，原理中讲解L与原始图像存在较弱相关性，创新的使用现在深度学习技术，寻找亮度图像与原图像中的关系，进而计算出之间插值，而不是直接采用回归的做法将网络与之进行拟合。

优选的，步骤b)中的EnhanceNet网络采用步长为2的3*3的卷积核对H通道图像、S通道图像和V通道图像进行卷积处理，最终获得深度h为64的特征映射图像。

优选的，步骤d)中使用ReLU和3*3卷积核进行卷积操作，卷积长度为特征映射图像深度的2倍，卷积宽度为特征映射图像深度的2倍。即2w*2h*64，其中w为图像宽度，h为图像长度。

优选的，步骤d)中通过公式

计算特征映射图像的双线性插值上采样获取的值f(x,y)，其中Q₁₁、Q₁₂、Q₂₁及Q₂₂为点(x,y)周边的任意四个点，Q₁₁＝(x₁,y₁)，Q₁₂＝(x₁,y₂)，Q₂₁＝(x₂,y₁)，Q₂₂＝(x₂,y₂)。

以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (4)

1.一种基于Retinex的暗图像增强方法，其特征在于，包括如下步骤：

a)将输入计算机的彩色图片进行颜色通道转换，将图片由RGB图像转换到HSV图像，得到H通道图像、S通道图像和V通道图像；

b)将H通道图像、S通道图像和V通道图像输入EnhanceNet网络，EnhanceNet网络为3*3卷积核，EnhanceNet网络对各个通道图像进行L次卷积处理，提取相关特征数据，每次卷积操作得到一层，得到L个层，使用ReLU及3*3的卷积得到深度为64的特征映射图像；

c)将DenseNet残差网络引入步骤b)中的EnhanceNet网络，将步骤b)中的L层使用DenseNet残差网络连接在一起，每个层的输入由所有之前层的特征映射组成；

d)将特征映射图像进行双线性插值上采样，采样后进行两次卷积操作；

e)使用ReLU和3*3卷积核对两次卷积操作后的特征图像进行卷积，得到输出结果I_est，通过公式

计算得到损失函数L_E，其中I_HR为原始高分辨率图像，通过计算损失函数得到优化后的图像；

f)将优化后的图像的H通道、S通道和V通道使用颜色通道合成RGB图像L(x,y)；

g)通过公式r(x,y)＝logR(x,y)＝logS(x,y)L(x,y)计算得到最终图像r(x,y)，R(x,y)为反射图像，将图像L(x,y)与原始图像进行求解卷积得到优化后的增强图像。

2.根据权利要求1所述的基于Retinex的暗图像增强方法，其特征在于：步骤b)中的EnhanceNet网络采用步长为2的3*3的卷积核对H通道图像、S通道图像和V通道图像进行卷积处理。

3.根据权利要求1所述的基于Retinex的暗图像增强方法，其特征在于：步骤d)中使用ReLU和3*3卷积核进行卷积操作，卷积长度为特征映射图像深度的2倍，卷积宽度为特征映射图像深度的2倍。

4.根据权利要求1所述的基于Retinex的暗图像增强方法，其特征在于：步骤d)中通过公式

计算特征映射图像的双线性插值上采样获取的值f(x,y)，其中Q₁₁、Q₁₂、Q₂₁及Q₂₂为点(x,y)周边的任意四个点，Q₁₁＝(x₁,y₁)，Q₁₂＝(x₁,y₂)，Q₂₁＝(x₂,y₁)，Q₂₂＝(x₂,y₂)。

Images