CN116596809A - 一种基于Residual-Unet网络的低照度图像增强方法 - Google Patents
一种基于Residual-Unet网络的低照度图像增强方法 Download PDFInfo
- Publication number
- CN116596809A CN116596809A CN202310623249.7A CN202310623249A CN116596809A CN 116596809 A CN116596809 A CN 116596809A CN 202310623249 A CN202310623249 A CN 202310623249A CN 116596809 A CN116596809 A CN 116596809A
- Authority
- CN
- China
- Prior art keywords
- layer
- unet
- block
- channel
- convolutional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000012549 training Methods 0.000 claims abstract description 34
- 230000004913 activation Effects 0.000 claims abstract description 27
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 238000000605 extraction Methods 0.000 claims description 59
- 238000011176 pooling Methods 0.000 claims description 58
- 230000006870 function Effects 0.000 claims description 22
- 238000005070 sampling Methods 0.000 claims description 21
- 230000003213 activating effect Effects 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 16
- 238000013527 convolutional neural network Methods 0.000 claims description 14
- 230000007246 mechanism Effects 0.000 claims description 14
- 238000010586 diagram Methods 0.000 claims description 11
- 230000002708 enhancing effect Effects 0.000 claims description 11
- 239000000203 mixture Substances 0.000 claims description 9
- 230000003044 adaptive effect Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 6
- 238000005520 cutting process Methods 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims 1
- 238000013528 artificial neural network Methods 0.000 abstract description 6
- 230000000007 visual effect Effects 0.000 abstract description 5
- 230000008859 change Effects 0.000 abstract description 4
- 238000010606 normalization Methods 0.000 abstract description 2
- 239000010410 layer Substances 0.000 description 278
- 241000282326 Felis catus Species 0.000 description 10
- 230000000052 comparative effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000012733 comparative method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 235000008733 Citrus aurantifolia Nutrition 0.000 description 1
- 235000011941 Tilia x europaea Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 239000004571 lime Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于Residual‑Unet网络的低照度图像增强方法，属于低照度图像增强技术领域；包括以下步骤：数据预处理；获取待增强图像，并对其进行直方图均衡化预处理；构建基于Residual‑Unet的低照度图像增强网络，并完成网络训练；将待增强图像与经过直方图均衡化预处理后的图像进行合并，输入基于Residual‑Unet的低照度图像增强网络，由基于Residual‑Unet的低照度图像增强网络输出增强后的图像。本发明在传统的残差网络结构之上，取消了residual网络中的所有批量归一化操作，将第二权重层由简单的卷积层和激活层替换为整个Unet卷积神经网络，减少光照变化的影响，丰富待增强图像的可视化信息；避免了不相关的信息对增强结果造成影响，加快模型的收敛，同时实现增强视觉效果，显著提升峰值信噪比。
Description
技术领域
本发明属于低照度图像增强技术领域，具体是一种基于Residual-Unet网络的低照度图像增强方法。
背景技术
在照明条件不佳的情况下拍摄的图像被认为是低照度图像，而在良好照明条件下拍摄得到的图像被认为是正常曝光图像。与正常曝光图像相比，低照度图像主要表现出对比度低、可读性差、颜色失真、纹理特征不清晰以及含有大量噪声等问题。由于缺乏光照，该类图像的灰度值总体偏小，像素值分布集中且图像整体偏暗，轮廓等边缘像素的灰度值与非边缘的邻域像素的灰度值差距较小导致了细节信息被弱化。这些问题不仅深刻影响着人们在日常生产生活中对高质量图像的需求，更不利于夜间监控、目标检测、人脸识别等对图像质量要求更高的计算机视觉领域的实际应用。
在传统的弱光照图像增强方法中研究最多的是直方图均衡化方法以及基于Retinex的方法，前者由于只是从数学角度出发，不考虑弱光照图像成像过程的物理模型和去噪问题，导致处理效果往往不能尽如人意，后者由于需要精心设计光照估计模型，对于不同场景下的弱光照图像泛化能力较弱，因此应用十分有限。基于深度学习的方法则主要分为有监督的成对训练和无监督的单图像训练，前者所能使用的数据集有限，但利用简单的损失函数就可以取得较好的效果，后者数据集相对易得，但是对于网络结构以及损失函数的设计要求更高。同时，基于深度学习的方法普遍共存的一个问题是，随着的网络的加深，为了节省计算资源，不得不对图像的尺寸进行缩小，这意味着神经网络在层数加深的同时感受野将越来越小。基于Residual-Unet网络的低照度图像增强方法属于有监督的成对训练方法，但平衡了图像光照增强网络的处理深度和感受野的关系，在此基础上取得良好的增强效果。
发明内容
本发明的目的在于提供一种基于Residual-Unet网络的低照度图像增强方法，以解决深度神经网络在不断加深的过程中缺乏对全局信息的捕获能力。
本发明目的是这样实现的：一种基于Residual-Unet网络的低照度图像增强方法，包括以下步骤：
步骤S1：数据预处理；
获取待增强图像，并对其进行直方图均衡化预处理；
步骤S2：构建基于Residual-Unet的低照度图像增强网络，并完成网络训练；
所述基于Residual-Unet的低照度图像增强网络包括：浅层特征编码块、Residual-Unet深层特征处理块、双通道注意力机制块与上采样块；
步骤S3：将步骤S1中待增强图像与经过直方图均衡化预处理后的图像进行合并，输入步骤S2中基于Residual-Unet的低照度图像增强网络，由基于Residual-Unet的低照度图像增强网络输出增强后的图像。
优选的，所述浅层特征编码块包括卷积层C1、激活层R1、卷积层C2与最大池化层P1，卷积层C1、激活层R1、卷积层C2与最大池化层P1依次连接；所述Residual-Unet深层特征处理块由4个Rs-Unet子块依次连接构成，且在每两个Rs-Unet子块间嵌入结构相同的卷积层C3；
所述双通道注意力机制块由空间注意力机制子块和通道注意力机制子块并联构成，上采样块由依次连接的插值采样层I、卷积层C10与激活层R4构成。
优选的，所述Rs-Unet子块包括第一权重层、Unet卷积神经网络与卷积层C4，第一权重层、Unet卷积神经网络与卷积层C4依次连接，引入残差结构并将第一权重层的输入与Unet卷积神经网络的输出进行合并作为卷积层C4的输入；
所述第一权重层由依次连接的卷积层C5与激活层R2构成，Unet卷积神经网络包括下采样特征提取子块、通道扩展子块E与上采样特征提取子块构成。
优选的，所述下采样特征提取子块包括下采样特征提取子块D1、下采样特征提取子块D2、下采样特征提取子块D3以及下采样特征提取子块D4；
所述上采样特征提取子块包括上采样特征提取子块U1、上采样特征提取子块U2、上采样特征提取子块U3以及上采样特征提取子块U4；
所述Unet卷积神经网络由依次连接的4个下采样特征提取子块、1个通道扩展子块E与4个上采样特征提取子块构成。
优选的，所述下采样特征提取子块D1由依次连接的卷积层CD1-1、激活层RUnet、卷积层CD1-2、激活层RUnet与池化层PUnet构成，下采样特征提取子块D2由依次连接的卷积层CD2-1、激活层RUnet、卷积层CD2-2、激活层RUnet与池化层PUnet构成，下采样特征提取子块D3由依次连接的卷积层CD3-1、激活层RUnet、卷积层CD3-2、激活层RUnet与池化层PUnet构成，下采样特征提取子块D4由依次连接的卷积层CD4-1、激活层RUnet、卷积层CD4-2、激活层RUnet与池化层PUnet构成；
所述通道扩展子块E由依次连接的卷积层CE1-1、激活层RUnet、卷积层CE1-2与激活层RUnet构成；
所述上采样特征提取子块U1由依次连接的转置卷积层T1、卷积层CU1-1、激活层RUnet、卷积层CU1-2与激活层RUnet构成，上采样特征提取子块U2由依次连接的转置卷积层T2、卷积层CU2-1、激活层RUnet、卷积层CU2-2与激活层RUnet构成，上采样特征提取子块U3由依次连接的转置卷积层T3、卷积层CU3-1、激活层RUnet、卷积层CU3-2与激活层RUnet构成，上采样特征提取子块U4由依次连接的转置卷积层T4、卷积层CU4-1、激活层RUnet、卷积层CU4-2与激活层RUnet构成，且转置卷积层T1、T2、T3、T4的输出分别与卷积层CD4-2、CD3-2、CD2-2、CD1-2的输出进行合并分别作为卷积层CU1-1、CU2-1、CU3-1和CU4-1的输入。
优选的，所述空间注意力机制子块由依次连接的双通道池化模块和基础卷积模块构成，双通道池化模块由全局平均池化层P3和全局最大池化层P4并联构成，且P3和P4的输出将被合并后作为双通道池化模块的输出；所述基础卷积模块由卷积层C6和激活层RM构成，通道注意力机制子块由依次连接的自适应平均池化层P2和特征维度变换模块构成；所述特征维度变换模块由卷积层C7、激活层R3、卷积层C8与激活层RM构成；
所述空间注意力机制与通道注意力机制将分别生成空间注意力图和通道注意力图并分别作用于原始输入特征后进行合并，再经过卷积层C9处理与原始特征进行像素和处理，像素和结果作为所述双通道注意力机制块的输出。
优选的，所述卷积层C1的卷积核尺寸为3×3、输入通道为6、输出通道为16、padding为1；激活层R1为LeakyReLU且negative_slope为0.2；卷积层C2的卷积核尺寸为3×3、输入通道为16、输出通道为32、padding为1；最大池化层P1的卷积核大小为2×2，stride为2；卷积层C3的卷积核尺寸为3×3、输入通道为64、输出通道为32、padding为1；卷积层C4与卷积层C3参数相同；卷积层C5的卷积核尺寸为3×3、输入通道为32、输出通道为32、padding为1；激活层R2为ReLU函数。
优选的，所述卷积层CD1-1与卷积层CD1-2的参数相同，均为：卷积核尺寸为3×3、输入通道为32、输出通道为32、padding为1；卷积层CD2-1的输入通道为32、输出通道为64；卷积层CD2-2的输入通道为64、输出通道为64；卷积层CD3-1的输入通道为64、输出通道为128；卷积层CD3-2的输入通道为128、输出通道为128；卷积层CD4-1的输入通道为128、输出通道为256；卷积层CD4-2的输入通道为256、输出通道为256；卷积层CE1-1的输入通道为256、输出通道为512；卷积层CE1-2的输入通道为512、输出通道为512；卷积层CU1-1、CU2-1、CU3-1、CU4-1的输入通道与输出通道分别与卷积层CE1-1、CD4-1、CD3-1和CD2-1相反；卷积层CU1-2、CU2-2、CU3-2与CU4-2的输入通道与输出通道分别与卷积层CD4-2、CD3-2、CD2-2和CD1-2相同；除输入通道与输出通道外，卷积层CD1-1、1-2～CD4-1、4-2，卷积层CE1-1、1-2与卷积层CU1-1、1-2～CU4-1、4-2参数相同，均为：卷积核尺寸为3×3、padding为1；激活层RUnet采用LeakyReLU块；池化层PUnet采用最大池化，卷积核大小为2×2，stride为2；转置卷积层T采用ConvTranspose2d块，卷积核尺寸均为2×2、stride均为2，其中T1的输入通道为512、输出通道为256，T2的输入通道为256、输出通道为128，T3的输入通道为128、输出通道为64，T4的输入通道为64、输出通道为32；全局平均池化层P3和全局最大池化层P4均为通道池化操作，分别沿着特征图的通道维度计算平局值和最大值；卷积层C6的卷积核尺寸为5×5、输入通道为2、输出通道为1、padding为2；激活层RM采用Sigmoid块；自适应平均池化层P2采用AdaptiveAvgPool2d块，且output_size为1；卷积层C7的卷积核尺寸为1×1、输入通道为32、输出通道为4、padding为0；激活层R3采用ReLU块；卷积层C8的卷积核尺寸为1×1、输入通道为4、输出通道为32、padding为0；卷积层C9的卷积核尺寸为1×1、输入通道为64、输出通道为32、padding为0；插值采样层I采用Interpolate块，且scale_factor为2；卷积层C10的卷积核尺寸为1×1、输入通道为32、输出通道为3、padding为0；激活层R4采用Sigmoid块。
优选的，所述Residual-Unet低照度图像增强网络的训练过程为：
采用现有图像数据集作为训练集，在数据加载阶段，对训练集中的低照度待增强图像与作为标签的正常曝光图像进行相同位置的随机剪裁、翻转和旋转，获得尺寸为N×N的用于网络训练的图片，再将原始低照度图像进行直方图均衡化预处理，将低照度图像与直方图均衡化预处理得到的图像作为输入，构成训练样本；设置损失函数与训练参数，采用监督批学习的方法对基于Residual-Unet的低照度图像增强网络进行训练。
优选的，所述损失函数为：
其中，L(x,y)表示损失函数，Ref(x,y)表示标签，G(x,y)表示基于Residual-Unet的低照度图像增强网络生成的输出图像，(x,y)表示像素坐标，N为剪裁的图片大小。
与现有技术相比，本发明具有如下改进及优点：1、通过在传统的Residual结构之上，取消Residual网络中的所有批量归一化操作，将第二权重层由简单的卷积、激活层整体替换为Unet深度神经网络，避免了网络加深的过程中对于全局信息处理不足的问题；并且对低照度图像进行直方图均衡化预处理，减少光照变化的影响，丰富待增强图像的可视化信息，可以帮助网络更好地进行学习。
2、通过引入双通道注意力机制模块对融合的特征进行处理，避免了不相关的信息对增强结果造成影响，加快模型的收敛；同时实现增强视觉效果，显著提升峰值信噪比(PSNR)，使之能够广泛适用于不同场景下的低照度图像增强任务。
附图说明
图1为本发明中基于Residual-Unet网络的低照度图像增强方法的流程示意图。
图2为本发明中Residual-Unet图像增强网络的结构示意图。
图3为图2所示Residual-Unet图像增强网络中浅层特征编码块结构示意图。
图4为图2所示Residual-Unet图像增强网络中Residual-Unet深层特征处理块结构示意图。
图5为图4所示Residual-Unet深层特征处理块中Rs-Unet结构示意图。
图6为图5所示Rs-Unet结构中的Unet卷积神经网络结构示意图。
图7为图2所示Residual-Unet图像增强网络中双通道注意力机制块结构示意图。
图8为图2所示Residual-Unet图像增强网络中上采样块结构示意图。
具体实施方式
以下结合附图对本发明做进一步概述。
如图1所示，一种基于Residual-Unet网络的低照度图像增强方法，具体包括以下步骤：
步骤S1：数据预处理；
获取待增强图像，并对其进行直方图均衡化预处理。本实施例中将获取的RGB待增强图像进行通道分离，分别对R、G、B三个单通道灰度图进行直方图均衡化处理，然后重新合并处理后的通道。该步骤可以显著提升曝光不足图像的细节信息；
步骤S2：构建基于Residual-Unet的低照度图像增强网络，并完成网络训练；
基于Residual-Unet的低照度图像增强网络如图2所示，包括：浅层特征编码块、Residual-Unet深层特征处理块、双通道注意力机制块与上采样块；
浅层特征编码块如图3所示，由依次连接的卷积层C1、激活层R1、卷积层C2与最大池化层P1构成。其中卷积层C1的卷积核尺寸为3×3，输入通道为6、输出通道为16、padding为1；激活层R1为LeakyReLU且negative_slope为0.2；卷积层C2的卷积核尺寸为3×3、输入通道为16、输出通道为32、padding为1；最大池化层P1的卷积核大小为2×2，stride为2。
Residual-Unet深层特征处理块如图4所示，由4个Rs-Unet子块依次连接构成，且在每两个Rs-Unet子块间嵌入结构相同的卷积层C3。其中，卷积层C3的卷积核尺寸为3×3、输入通道为64、输出通道为32、padding为1。上述第二浅层特征LayerS2经过Rs-Unet子块处理后再经过3×3的卷积核卷积，可转化为第一深层特征层Layerd1，为了增强网络对不同尺度和不同层次特征的感知能力，将Rs-Unet的输出与输入进行通道合并，即Layerd1可记作：Layerd1＝Conv3×3(cat(RSU1(LayerS1)，LayerS1))。其中RSU1即图4所示Rs-Unet1子块，cat操作用于将两个尺寸为C×H×W的特征图合并为2C×H×W大小；同样的方法，可以继续得到第二深层特征层Layerd2、第三深层特征层Layerd3以及第四深层特征层Layerd4：
Layerd2＝Conv3×3(cat(RSU2(Layerd1)，Layerd1))+LayerS1；
Layerd3＝Conv3×3(cat(RSU3(Layerd2)，Layerd2))+Layerd1；
Layerd4＝Conv3×3(cat(RSU4(Layerd3)，Layerd3))+Layerd2；
使用跳线连接进行隔层相加目的是为了更好地保留原始图像的细节信息。本实施例中，Layerd1、Layerd2、Layerd3以及Layerd4大小一致，均为32×128×128。
Rs-Unet子块如图5所示，由依次连接的第一权重层、Unet卷积神经网络与卷积层C4构成，引入残差跳线作用于Unet卷积神经网络，且将第一权重层的输入与Unet卷积神经网络的输出进行合并作为卷积层C4的输入。其中，卷积层C4采用与C3相同的参数设置；所述第一权重层由依次连接的卷积层C5与激活层R2构成，卷积层C5的卷积核尺寸为3×3、输入通道为32、输出通道为32、padding为1；激活层R2使用ReLU函数。因此，所述Rs-Unet子块的输出可以记作：RSU＝Conv3×3(cat(Res(Unet(ReLU(Conv3×3(Fin))))，Fin))。其中，Unet(·)表示Unet卷积神经网络运算机制，Res表示残差连接，Fin为输入特征。本实施例中，Rs-Unet子块不改变输入特征的尺寸。
Unet卷积神经网络如图6所示，由依次连接的4个下采样特征提取子块(D1～D4)、1个通道扩展子块E与4个上采样特征提取子块(U1～U4)构成；所述下采样特征提取子块D1由依次连接的卷积层CD1-1、激活层RUnet、卷积层CD1-2、激活层RUnet与池化层PUnet构成。其中，卷积层CD1-1与卷积层CD1-2的参数相同，均为：卷积核尺寸为3×3、输入通道为32、输出通道为32、padding为1；激活层RUnet使用LeakyReLU函数；池化层PUnet采用最大池化，卷积核大小为2×2，stride为2。由此可得第一下采样特征提取层LayerD1为：
LayerD1＝Maxpool(LeReL U(Conv3×3(LeReL U(Conv3×3(Fin)))))。其中，LeReL U(·)函数为：LeReLU(x)＝max(0.2×x，x)。如图6所示，下采样特征提取层子块D2、D3以及D4的结构均与D1相同，不同之处仅在于卷积层CD2-1、CD2-2、CD3-1、CD3-2、CD4-1以及CD4-2的输入输出通道。具体而言，卷积层CD2-1的输入通道为32、输出通道为64；卷积层CD2-2的输入通道为64、输出通道为64；卷积层CD3-1的输入通道为64、输出通道为128；卷积层CD3-2的输入通道为128、输出通道为128；卷积层CD4-1的输入通道为128、输出通道为256；卷积层CD4-2的输入通道为256、输出通道为256。因此，可以使用同样的方法得到第二下采样特征提取层LayerD2、第三下采样特征提取层LayerD3以及第四下采样特征提取层LayerD4为：
LayerD2＝Maxpool(LeReLU(Conv3×3(LeReLU(Conv3×3(LayerD1)))))
LayerD3＝Maxpool(LeReLU(Conv3×3(LeReLU(Conv3×3(LayerD2)))))
LayerD4＝Maxpool(LeReLU(Conv3×3(LeReLU(Conv3×3(LayerD3)))))
经过Maxpool池化处理后的特征图尺寸减半。因此在本实施例中LayerD1、LayerD2、LayerD3与LayerD4的大小分别为32×64×64、64×32×32、128×16×16、256×8×8。如图6所示，所述通道扩展子块E由依次连接的卷积层CE1-1、激活层RUnet、卷积层CE1-2与激活层RUnet构成。其中，卷积层CE1-1的卷积核尺寸为3×3、输入通道为256、输出通道为512、padding为1；卷积层CE1-2的卷积核尺寸为3×3、输入通道为512、输出通道为512、padding为1。从工作原理上讲，通道扩展子块E不再对输入做下采样操作，而只扩展其通道数，以此来增强网络对不同模式和特征的表达能力。本实施例中，通道扩展层LayerE可记作：
LayerE＝LeReLU(Conv3×3(LeReLU(Conv3×3(LayerD4))))，
其大小为512×8×8。
如图6所示，上采样特征提取子块U1由依次连接的转置卷积层T1、卷积层CU1-1、激活层RUnet、卷积层CU1-2与激活层RUnet构成。其中，转置卷积层T1的卷积核尺寸为2×2、输入通道为512、输出通道为256、stride为2；卷积层CU1-1的卷积核尺寸为3×3、输入通道为512、输出通道为256、padding为1；卷积层CU1-2的卷积核尺寸为3×3、输入通道为256、输出通道为256、padding为1。从工作原理上讲，上采样特征提取子块U1用于完成与下采样特征提取子块D4相反的功能，即增大特征图尺寸的同时降低维度，在该过程中，为了获得更好的语义信息并提高网络的特征表达能力，Unet网络还通过跳线的方式将LayerD4与U1进行合并，即第一上采样特征提取层LayerU1可记作：
LayerU1＝LeReLU(Conv3×3(LeReLU(Conv3×3(cat(Conv2×2(LayerE)，LayerD4)))))
其中Conv2×2(·)即为转置卷积函数。
同样，上采样特征提取子块U2、U3以及U4的结构与U1相同，不同之处仅在于转置卷积层T2、T3、T4以及卷积层CU2-1、CU2-2、CU3-1、CU3-2、CU4-1、CU4-2的输入输出通道。具体而言，转置卷积层T2的输入通道为256、输出通道为128；卷积层CU2-1的输入通道为256、输出通道为128；卷积层CU2-2的输入通道为128、输出通道为128；转置卷积层T3的输入通道为128、输出通道为64；卷积层CU3-1的输入通道为128、输出通道为64；卷积层CU3-2的输入通道为64、输出通道为64；转置卷积层T4的输入通道为64、输出通道为32；卷积层CU4-1的输入通道为64、输出通道为32；卷积层CU4-2的输入通道为32、输出通道为32。因此，可以使用同样的方法得到第二上采样特征提取层LayerU2、第三上采样特征提取层LayerU3以及第四上采样特征提取层LayerU4为：
LayerU2＝LeReLU(Conv3×3(LeReLU(Conv3×3(cat(Conv2×2(LayerU1)，LayerD3)))))
LayerU3＝LeReLU(Conv3×3(LeReLU(Conv3×3(cat(Conv2×2(LayerU2)，LayerD2)))))
LayerU4＝LeReLU(Conv3x3(LeReLU(Conv3×3(cat(Conv2×2(LayerU3)，LayerD1)))))
本实施例中，LayerU1、LayerU2、LayerU3以及LayerU4的大小分别为256×16×16、128×32×32、64×64×64、32×128×128。
双通道注意力机制块如图7所示，由空间注意力机制子块和通道注意力机制子块并联构成；空间注意力机制子块由依次连接的双通道池化模块和基础卷积模块构成；双通道池化模块由全局平均池化层P3和全局最大池化层P4并联构成，且P3和P4的输出将被合并后作为双通道池化模块的输出，基础卷积模块由卷积层C6和激活层RM构成。其中，全局平均池化层P3和全局最大池化层P4均为通道池化操作，对于大小为[B，32,128,128]的特征张量输入(其中B为网络训练过程中的Batch Size大小)，P3、P4将分别沿通道维度进行平均池化和最大池化操作，将上述张量转化为[B，1，128,128]大小；卷积层C6的卷积核尺寸为5×5、输入通道为2、输出通道为1、padding为2，使用大的卷积核可以在一定程度上减少参数量，降低过拟合的风险；激活层RM采用Sigmoid函数，其函数表达式为：
经过Sigmoid激活层的特征将被映射至[O,1]区间，进而作为空间注意力图作用于输入特征，即空间注意力机制层Layerspa可记作：
如图7所示，通道注意力机制子块由依次连接的自适应平均池化层P2和特征维度变换模块构成；特征维度变换模块由卷积层C7、激活层R3、卷积层C8与激活层RM构成。具体而言，自适应平均池化层P2采用AdaptiveAvgPool2d块，且output_size为1，与P3、P4不同，P2将大小为[B，32,128,128]的输入张量转换为[B，32,1,1]大小，即计算出每个通道的权重；卷积层C7的卷积核尺寸为1×1、输入通道为32、输出通道为4、padding为0；激活层R3采用ReLU函数；卷积层C8的卷积核尺寸为1×1、输入通道为4、输出通道为32、padding为0。同样地，经过Sigmoid激活后的值作为通道注意力图作用于输入特征，即通道注意力机制层Layercha可记作：
Layercha＝Sig(Conv3×3(ReL U(Conv3×3(AdpPool(Fin)))))。
综上，双通道注意力机制的输出LayerM由Layerspa与Layercha合并后经3×3的卷积核卷积所得：
本实施例中，双通道注意力机制模块不改变输入特征的大小，即输入与输出大小均为32×128×128。
上采样块如图8所示，由依次连接的插值采样层I、卷积层C10与激活层R4构成。其中插值采样层I采用Interpolate块，且scale_factor为2，即将输入特征图大小由32×128×128转换为最初的图像大小：32×256×256；卷积层C10的卷积核尺寸为1×1、输入通道为32、输出通道为3、padding为0；激活层R4采用Sigmoid块。从工作原理上讲，上采样块用于将特征图恢复至三通道的RGB图像，且大小和输入的待增强图像一致。本实施例中，上采样的最终输出大小为3×256×256。
进一步，Residual-Unet低照度图像增强网络的训练过程为：
采用现有图像数据集作为训练集，在数据加载阶段，对训练集中的低照度待增强图像与作为标签的正常曝光图像进行相同位置的随机剪裁、翻转和旋转，获得尺寸为N×N的用于网络训练的图片，再将原始低照度图像进行直方图均衡化预处理，将低照度图像与直方图均衡化预处理得到的图像作为输入，构成训练样本；本实施例中，剪裁的图片尺寸N为256。
设置损失函数与训练参数，采用监督批学习的方法对基于Residual-Unet的低照度图像增强网络进行训练，所述损失函数为：
其中，L(x,y)表示损失函数，Ref(x,y)表示标签，G(x,y)表示基于Residual-Unet的低照度图像增强网络生成的输出图像，(x,y)表示像素坐标，N为剪裁的图片尺寸。该损失函数表示了本发明基于Residual-Unet的低照度图像增强网络输出的光照增强图像与正常曝光的参考图像之间的“差距”。
本实施例中，采用LOL-v2-real数据集中的689对图像作为训练集，剩下的100对图像作为测试集；如图1所示流程图中的示例图像来自LOL-v2-real中的测试集；原始低照度图像尺寸为400×600，为降低计算开销，便于网络训练，将图像剪裁至256×256大小，训练中Batch Size设置为24；通过本发明得到的光照增强模型，在LOL-v2-real数据集上测试的PSNR指标为25.942，已显著超过现有的大部分光照增强方法。
步骤S3：将步骤S1中待增强图像与经过直方图均衡化预处理后的图像进行合并，输入步骤S2中基于Residual-Unet的低照度图像增强网络，由基于Residual-Unet的低照度图像增强网络输出增强后的图像。
仿真实验:
本发明使用的实验数据集为LOL-v2-real，数据集分为训练集和测试集，训练集和测试集的图片数量分别为689、100；通过对比实验使用的评价指标为峰值信噪比(PSNR)。
表1为各个对比方法的对比实验结果表
| 方法 | LIME | GRI | GRIR | CRM | RUAS |
| PSNR | 17.78 | 16.39 | 18.34 | 19.66 | 15.33 |
表2为各个对比方法的对比实验结果表
表3为各个对比方法的对比实验结果表
如表1至表3所示，使用本发明的方法得到的峰值信噪比(PSNR)值最高，实现增强视觉效果；本发明方法平衡了图像光照增强网络的处理深度和感受野的关系，在此基础上取得良好的增强效果，显著提升峰值信噪比(PSNR)，使之能够广泛适用于不同场景下的低照度图像增强任务。
以上所述仅为本发明的实施方式而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理内所作的任何修改、等同替换、改进等，均应包括在本发明的权利要求范围之内。
Claims (10)
1.一种基于Residual-Unet网络的低照度图像增强方法，其特征在于：该方法包括以下步骤：
步骤S1：数据预处理；
获取待增强图像，并对其进行直方图均衡化预处理；
步骤S2：构建基于Residual-Unet的低照度图像增强网络，并完成网络训练；
所述基于Residual-Unet的低照度图像增强网络包括：浅层特征编码块、Residual-Unet深层特征处理块、双通道注意力机制块与上采样块；
步骤S3：将步骤S1中待增强图像与经过直方图均衡化预处理后的图像进行合并，输入步骤S2中基于Residual-Unet的低照度图像增强网络，由基于Residual-Unet的低照度图像增强网络输出增强后的图像。
2.根据权利要求1所述的一种基于Residual-Unet网络的低照度图像增强方法，其特征在于：所述浅层特征编码块包括卷积层C1、激活层R1、卷积层C2与最大池化层P1，卷积层C1、激活层R1、卷积层C2与最大池化层P1依次连接；所述Residual-Unet深层特征处理块由4个Rs-Unet子块依次连接构成，且在每两个Rs-Unet子块间嵌入结构相同的卷积层C3；
所述双通道注意力机制块由空间注意力机制子块和通道注意力机制子块并联构成，上采样块由依次连接的插值采样层I、卷积层C10与激活层R4构成。
3.根据权利要求2所述的一种基于Residual-Unet网络的低照度图像增强方法，其特征在于：所述Rs-Unet子块包括第一权重层、Unet卷积神经网络与卷积层C4，第一权重层、Unet卷积神经网络与卷积层C4依次连接，引入残差结构并将第一权重层的输入与Unet卷积神经网络的输出进行合并作为卷积层C4的输入；
所述第一权重层由依次连接的卷积层C5与激活层R2构成，Unet卷积神经网络包括下采样特征提取子块、通道扩展子块E与上采样特征提取子块构成。
4.根据权利要求3所述的一种基于Residual-Unet网络的低照度图像增强方法，其特征在于：所述下采样特征提取子块包括下采样特征提取子块D1、下采样特征提取子块D2、下采样特征提取子块D3以及下采样特征提取子块D4；
所述上采样特征提取子块包括上采样特征提取子块U1、上采样特征提取子块U2、上采样特征提取子块U3以及上采样特征提取子块U4；
所述Unet卷积神经网络由依次连接的4个下采样特征提取子块、1个通道扩展子块E与4个上采样特征提取子块构成。
5.根据权利要求4所述的一种基于Residual-Unet网络的低照度图像增强方法，其特征在于：所述下采样特征提取子块D1由依次连接的卷积层CD1-1、激活层RUnet、卷积层CD1-2、激活层RUnet与池化层PUner构成，下采样特征提取子块D2由依次连接的卷积层CD2-1、激活层RUnet、卷积层CD2-2、激活层RUnet与池化层PUnet构成，下采样特征提取子块D3由依次连接的卷积层CD3-1、激活层RUnet、卷积层CD3-2、激活层RUnet与池化层PUnet构成，下采样特征提取子块D4由依次连接的卷积层CD4-1、激活层RUnet、卷积层CD4-2、激活层RUnet与池化层PUnet构成；
所述通道扩展子块E由依次连接的卷积层CE1-1、激活层RUnet、卷积层CE1-2与激活层RUnet构成；
所述上采样特征提取子块U1由依次连接的转置卷积层T1、卷积层CU1-1、激活层RUnet、卷积层CU1-2与激活层RUnet构成，上采样特征提取子块U2由依次连接的转置卷积层T2、卷积层CU2-1、激活层RUnet、卷积层CU2-2与激活层RUnet构成，上采样特征提取子块U3由依次连接的转置卷积层T3、卷积层CU3-1、激活层RUnet、卷积层CU3-2与激活层RUnet构成，上采样特征提取子块U4由依次连接的转置卷积层T4、卷积层CU4-1、激活层RUnet、卷积层CU4-2与激活层RUnet构成，且转置卷积层T1、T2、T3、T4的输出分别与卷积层CD4-2、CD3-2、CD2-2、CD1-2的输出进行合并分别作为卷积层CU1-1、CU2-1、CU3-1和CU4-1的输入。
6.根据权利要求2所述的一种基于Residual-Unet网络的低照度图像增强方法，其特征在于：所述空间注意力机制子块由依次连接的双通道池化模块和基础卷积模块构成，双通道池化模块由全局平均池化层P3和全局最大池化层P4并联构成，且P3和P4的输出将被合并后作为双通道池化模块的输出；所述基础卷积模块由卷积层C6和激活层RM构成，通道注意力机制子块由依次连接的自适应平均池化层P2和特征维度变换模块构成；所述特征维度变换模块由卷积层C7、激活层R3、卷积层C8与激活层RM构成；
所述空间注意力机制与通道注意力机制将分别生成空间注意力图和通道注意力图并分别作用于原始输入特征后进行合并，再经过卷积层C9处理与原始特征进行像素和处理，像素和结果作为所述双通道注意力机制块的输出。
7.根据权利要求3所述的一种基于Residual-Unet网络的低照度图像增强方法，其特征在于：所述卷积层C1的卷积核尺寸为3×3、输入通道为6、输出通道为16、padding为1；激活层R1为LeakyReLU且negative_slope为0.2；卷积层C2的卷积核尺寸为3×3、输入通道为16、输出通道为32、padding为1；最大池化层P1的卷积核大小为2×2，stride为2；卷积层C3的卷积核尺寸为3×3、输入通道为64、输出通道为32、padding为1；卷积层C4与卷积层C3参数相同；卷积层C5的卷积核尺寸为3×3、输入通道为32、输出通道为32、padding为1；激活层R2为ReLU函数。
8.根据权利要求5所述的一种基于Residual-Unet网络的低照度图像增强方法，其特征在于：所述卷积层CD1-1与卷积层CD1-2的参数相同，均为：卷积核尺寸为3×3、输入通道为32、输出通道为32、padding为1；卷积层CD2-1的输入通道为32、输出通道为64；卷积层CD2-2的输入通道为64、输出通道为64；卷积层CD3-1的输入通道为64、输出通道为128；卷积层CD3-2的输入通道为128、输出通道为128；卷积层CD4-1的输入通道为128、输出通道为256；卷积层CD4-2的输入通道为256、输出通道为256；卷积层CE1-1的输入通道为256、输出通道为512；卷积层CE1-2的输入通道为512、输出通道为512；卷积层CU1-1、CU2-1、CU3-1、CU4-1的输入通道与输出通道分别与卷积层CE1-1、CD4-1、CD3-1和CD2-1相反；卷积层CU1-2、CU2-2、CU3-2与CU4-2的输入通道与输出通道分别与卷积层CD4-2、CD3-2、CD2-2和CD1-2相同；除输入通道与输出通道外，卷积层CD1-1、1-2～CD4-1、4-2，卷积层CE1-1、1-2与卷积层CU1-1、1-2～CU4-1、4-2参数相同，均为：卷积核尺寸为3×3、padding为1；激活层RUnet采用LeakyReLU块；池化层PUnet采用最大池化，卷积核大小为2×2，stride为2；转置卷积层T采用ConvTranspose2d块，卷积核尺寸均为2×2、stride均为2，其中T1的输入通道为512、输出通道为256，T2的输入通道为256、输出通道为128，T3的输入通道为128、输出通道为64，T4的输入通道为64、输出通道为32；全局平均池化层P3和全局最大池化层P4均为通道池化操作，分别沿着特征图的通道维度计算平局值和最大值；卷积层C6的卷积核尺寸为5×5、输入通道为2、输出通道为1、padding为2；激活层RM采用Sigmoid块；自适应平均池化层P2采用AdaptiveAvgPool2d块，且output_size为1；卷积层C7的卷积核尺寸为1×1、输入通道为32、输出通道为4、padding为0；激活层R3采用ReLU块；卷积层C8的卷积核尺寸为1×1、输入通道为4、输出通道为32、padding为0；卷积层C9的卷积核尺寸为1×1、输入通道为64、输出通道为32、padding为0；插值采样层I采用Interpolate块，且scale_factor为2；卷积层C10的卷积核尺寸为1×1、输入通道为32、输出通道为3、padding为0；激活层R4采用Sigmoid块。
9.根据权利要求1所述的一种基于Residual-Unet网络的低照度图像增强方法，其特征在于：所述Residual-Unet低照度图像增强网络的训练过程为：
采用现有图像数据集作为训练集，在数据加载阶段，对训练集中的低照度待增强图像与作为标签的正常曝光图像进行相同位置的随机剪裁、翻转和旋转，获得尺寸为N×N的用于网络训练的图片，再将原始低照度图像进行直方图均衡化预处理，将低照度图像与直方图均衡化预处理得到的图像作为输入，构成训练样本；设置损失函数与训练参数，采用监督批学习的方法对基于Residual-Unet的低照度图像增强网络进行训练。
10.根据权利要求9所述的一种基于Residual-Unet网络的低照度图像增强方法，其特征在于：所述损失函数为：
其中，L(x,y)表示损失函数，Ref(x,y)表示标签，G(x,y)表示基于Residual-Unet的低照度图像增强网络生成的输出图像，(x,y)表示像素坐标，N为剪裁的图片大小。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310623249.7A CN116596809A (zh) | 2023-05-30 | 2023-05-30 | 一种基于Residual-Unet网络的低照度图像增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310623249.7A CN116596809A (zh) | 2023-05-30 | 2023-05-30 | 一种基于Residual-Unet网络的低照度图像增强方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116596809A true CN116596809A (zh) | 2023-08-15 |
Family
ID=87599016
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310623249.7A Pending CN116596809A (zh) | 2023-05-30 | 2023-05-30 | 一种基于Residual-Unet网络的低照度图像增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116596809A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117011194A (zh) * | 2023-10-07 | 2023-11-07 | 暨南大学 | 一种基于多尺度双通道注意力网络的低光图像增强方法 |
-
2023
- 2023-05-30 CN CN202310623249.7A patent/CN116596809A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117011194A (zh) * | 2023-10-07 | 2023-11-07 | 暨南大学 | 一种基于多尺度双通道注意力网络的低光图像增强方法 |
| CN117011194B (zh) * | 2023-10-07 | 2024-01-30 | 暨南大学 | 一种基于多尺度双通道注意力网络的低光图像增强方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110599409B (zh) | 基于多尺度卷积组与并行的卷积神经网络图像去噪方法 | |
| CN112233038B (zh) | 基于多尺度融合及边缘增强的真实图像去噪方法 | |
| CN112507997B (zh) | 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统 | |
| CN110232653A (zh) | 快速轻型超分辨率重建密集残差网络 | |
| CN110599401A (zh) | 遥感图像超分辨率重建方法、处理装置及可读存储介质 | |
| Liu et al. | Cross-SRN: Structure-preserving super-resolution network with cross convolution | |
| CN110992275A (zh) | 一种基于生成对抗网络的细化单幅图像去雨方法 | |
| CN111275655B (zh) | 一种多聚焦多源图像融合方法 | |
| CN110223304B (zh) | 一种基于多路径聚合的图像分割方法、装置和计算机可读存储介质 | |
| Shen et al. | Convolutional neural pyramid for image processing | |
| CN112001843B (zh) | 一种基于深度学习的红外图像超分辨率重建方法 | |
| CN115953303B (zh) | 结合通道注意力的多尺度图像压缩感知重构方法及系统 | |
| CN111127331A (zh) | 基于像素级全局噪声估计编解码网络的图像去噪方法 | |
| CN113066025B (zh) | 一种基于增量学习与特征、注意力传递的图像去雾方法 | |
| CN116596809A (zh) | 一种基于Residual-Unet网络的低照度图像增强方法 | |
| CN111951164A (zh) | 一种图像超分辨率重建网络结构及图像重建效果分析方法 | |
| CN116188325A (zh) | 一种基于深度学习和图像颜色空间特性的图像去噪方法 | |
| CN116797488A (zh) | 一种基于特征融合与注意力嵌入的低照度图像增强方法 | |
| CN116934592A (zh) | 一种基于深度学习的图像拼接方法、系统、设备及介质 | |
| CN109003247B (zh) | 彩色图像混合噪声的去除方法 | |
| Chen et al. | Attention-based Broad Self-guided Network for Low-light Image Enhancement | |
| Wang et al. | Lightweight feedback convolution neural network for remote sensing images super-resolution | |
| CN111325781B (zh) | 一种基于轻量化网络的位深度提升方法及其系统 | |
| CN117274059A (zh) | 基于图像编码-解码的低分辨率图像重构方法及其系统 | |
| CN113096032A (zh) | 一种基于图像区域划分的非均匀一致模糊去除方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |