CN116452431A - 基于多分支渐进式深度网络的弱光图像增强方法 - Google Patents
基于多分支渐进式深度网络的弱光图像增强方法 Download PDFInfo
- Publication number
- CN116452431A CN116452431A CN202310210922.4A CN202310210922A CN116452431A CN 116452431 A CN116452431 A CN 116452431A CN 202310210922 A CN202310210922 A CN 202310210922A CN 116452431 A CN116452431 A CN 116452431A
- Authority
- CN
- China
- Prior art keywords
- branch
- enhancement
- image
- input
- enhanced
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 99
- 230000000750 progressive effect Effects 0.000 title claims abstract description 59
- 238000012549 training Methods 0.000 claims abstract description 37
- 238000012360 testing method Methods 0.000 claims abstract description 30
- 230000004927 fusion Effects 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 9
- 230000002708 enhancing effect Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 6
- 238000002360 preparation method Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 4
- 239000013598 vector Substances 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000015556 catabolic process Effects 0.000 abstract description 5
- 238000006731 degradation reaction Methods 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 10
- 238000004088 simulation Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000013507 mapping Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- CIWBSHSKHKDKBQ-JLAZNSOCSA-N Ascorbic acid Chemical compound OC[C@H](O)[C@H]1OC(=O)C(O)=C1O CIWBSHSKHKDKBQ-JLAZNSOCSA-N 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012733 comparative method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于多分支渐进式的弱光图像增强方法，包括如下步骤：步骤1，准备数据；步骤2，搭建多分支渐进式增强模型；步骤3，根据步骤2搭建的结构对步骤1准备的数据进行训练，得到训练好的多分支渐进式增强模型；步骤4，基于步骤3得到的训练好的多分支渐进式增强模型进行数据测试。本发明通过不同尺度的多分支增强网络克服了弱光图像退化问题。
Description
技术领域
本发明属于图像处理技术领域，涉及一种基于多分支渐进式深度网络的弱光图像增强方法。
背景技术
针对弱光增强，研究者们已经进行了多个方面的研究，大致可以分为空间域和频域的方法、Retinex理论的方法，融合的方法，以及学习的方法。早期的研究主要是关于空间域与频域的方法，将图像转换到一个特定的空间，修改像素的分布和动态范围来增强图像。后来，由Edwin H Land建立Retinex理论，一些方法通过消除图像中照明光的影响来确定物体的真实特性。除此之外，图像融合的方法使用不同的传感器获取同一场景的许多图像，从每幅图像中提取尽可能多的有用信息，合成高质量的图像。
最近几年，神经网络强大的拟合能力在建立高-低质量图像之间的映射关系中，表现出了卓越的性能，基于深度学习的图像增强方法开始大量出现，它们在学习从低光图像到增强的高质量图像的复杂端到端映射方面具有巨大潜力，在色彩和细节的恢复上表现出卓越的性能。为了完成弱光图像增强的任务，许多现有的方法建立端到端的网络处理这些复杂的退化，还有一些方法以级联的方式逐步处理这些复杂的退化。例如，在深度学习领域，第一种用于弱光图像增强的方法就是以端到端的学习方式产生令人满意的结果。一些方法设计了多个网络使用弱光图像分别预测目标图像的不同分量，最后整合出期望的增强图像，最具有代表性的是基于Retinex理论提出的方法。最近，一些方法集中在设计具有多个分支的模型以增强弱光图像。特别是在复杂的视觉任务上具有强大的灵活性和良好的性能，有文献提出使用多个相同的分支同时增强弱光图像，融合不同分支的输出图像得到较为满意的结果，但这种直接融合图像的方法同时也将大量的噪声和伪影带到了目标图像中。
发明内容
本发明的目的是提供一种基于多分支渐进式深度网络的弱光图像增强方法，该方法通过不同尺度的多分支增强网络克服了弱光图像退化问题。
本发明所采用的技术方案是，基于多分支渐进式深度网络的弱光图像增强方法，具体包括如下步骤：
步骤1，准备数据；
步骤2，搭建多分支渐进式增强模型；
步骤3，根据步骤2搭建的结构对步骤1准备的数据进行训练，得到训练好的多分支渐进式增强模型；
步骤4，基于步骤3得到的训练好的多分支渐进式增强模型进行数据测试。
本发明的特点还在于：
步骤1的具体过程为：
步骤1.1，准备配对的弱光图像对 表示需要增强的弱光图像，/>表示与弱光图像一一对应的正常亮度的高质量图像groundtruth，i表示第i对数据，N表示数据集中数据对的个数；
步骤1.2，将步骤1.1获取的图像对数据划分为两部分，分别是训练集Dtrain和测试集Dtest，其中训练集占全部数据的97％，测试集/>占全部数据的3％；
步骤1.3，对步骤2中划分的训练集Dtrain图片进行随机裁剪，仅保留训练集中原始图像80％的像素数据用于训练，之后使用双三次插值方法将训练图像对{IL,IH}的尺寸调整为256×256，再使用相同的双三次插值方法分别将256×256的标签图像块IH下采样1/2和1/4，分别得到128×128和64×64的标签图像块IH2和IH4。
步骤2中，多分支渐进式增强模型包括多分支增强结构和渐进式增强结构；
多分支增强结构包括编码器模块、多分支模块和解码器模块；
编码器模块包括六个卷积和Relu激活函数层，接收输入的低光图像IL，增强输入由初始弱光图像IL与两个增强图像/>在通道维度中拼接，得到增强的输入数据，初始化时增强图像/>由原始的弱光图像IL替代，因此，模型的输入/>表示为：
将输入编码器，提取不同维度大小和不同尺度的特征表示/>
编码器表示为：
其中，是编码器的输入，/>是第j个分支的特征提取器，/>是第j个编码器输出的深度特征表示，[W,H,C]表示输入弱光图像的尺寸和通道数；
多分支模块包括四个分支，这四个分支表示为：
其中，表示第k个增强分支，/>和/>分别表示第k个增强分支的输入和输出，第四个分支的输出通道是输入的一半，而其余三个分支的输入和输出尺寸完全相同；
解码器模块接收四个分支的输出，将不同分支增强后的特征融合，并压缩到三个通道内，生成最终结果，解码器融合的过程表示为：
其中，Fup表示对特征图进行2X上采样，并将特征图的通道数压缩到其原始大小的一半，Fgz是将融合的特征图压缩到RGB通道的操作，得到与输入弱光图像IL大小相同的增强图像
渐进式增强结构包括四个不同尺度的卷积LSTM模块，四个不同尺度的卷积LSTM模块嵌入到多分支增强结构中，在多分支增强结构中的每个增强分支中，卷积LSTM单元位于卷积层之间，每个卷积LSTM单元由四个组成部分组成，即遗忘门、输入门、输出门和存储单元Ct，遗忘门、输入门、输出门由如下公式(5)～(7)所示：
Ct＝Ct-1×δ(Wf[ht-1,xt]) (5)；
Ct＝Ct+δ(Wi[ht-1,xt])×Tanh(Wg[ht-1,xt]) (6)；
ht＝δ(Wo[ht-1,xt])×Tanh(Ct) (7)；
其中，ht表示LSTM在第t时间步的隐藏状态向量；[ht-1,xt]是第(t-1)个时间步的输出和第t个时间步的输入的连接通道特征图，Wf,Wi,Wg,和Wo是相互独立的卷积；δ和Tanh分别是sigmoid激活函数和Tanh激活函数。
步骤3的具体过程为：
步骤3.1，将预处理之后的数据IL与两个增强图像在通道维度中拼接，得到增强的输入数据；
步骤3.2，将步骤3.1所得的增强的输入数据通过编码器提取不同尺度的特征表示，得到四种尺度的输出
步骤3.3，在不同分支增强特征表示之前，使用通道注意力为不同分支的输入特征在通道维度分配不同的权重参数，通道注意力模块表示为：
其中，是编码器提取的原始特征图，/>是输出加权的特征表示，Fsq表示全局平均池化操作，其中：W1和W2是通道注意力的权重参数；
步骤3.4，在赋予不同通道的特征权重之后，四种尺度的加权特征表示j＝1,2,3,4分别交给四个不同的分支，特征图在相应分支内前向传播，使得四个分支对不同的尺寸的特征表示增强，得到多个分支增强后的特征表示；
步骤3.5，使用解码器融合模块将多个分支的增强特征表示输出融合为三通道RGB图像；
步骤3.6，在多分支增强结构的增强阶段，增强特征表示的同时，渐进式增强结构的卷积LSTM模块单元状态Ct和当前时间步长LSTM的输出ht会被更新；
步骤3.7，当多分支增强模型完成一次的增强任务后，会得到当前时间步长的增强图像
步骤3.8，对多分支增强结构和渐进式增强结构产生的增强结果与标签图像计算损失，计算的方式如下：
L＝λ1LPixel+λ2LMulti+λ3LAdv+λ4LGrad+λ5LColor (9)；
其中，LPixel为像素损失、LMulti为多尺度感知损失、LAdv为对抗损失、LGrad为梯度损失、LColor为颜色损失，其中λ1,λ2,λ3,λ4,和λ5是平衡最终损失函数中每一项的权重参数；
步骤3.9，根据步骤3.8得到的损失，将损失反向传播，迭代完所有epoch后训练完成。
步骤4的具体过程为：
步骤4.1，加载训练好的多分支渐进式增强模型；
步骤4.2，加载数据准备阶段划分的测试数据集Dtest；
步骤4.3，测试的弱光图像的尺寸保持不变，将测试图像逐个输入训练好的多分支渐进式增强模型，增强的目标图像与输入的弱光图像IL尺寸相同；
步骤4.4，对得到的增强图像和标签图像IH计算测试指标PSNR/SSIM计算方式为：
式中，L表示图像中的像素最大值，IH表示真实标签图像，N表示像素个数，表示重建图像；
式中，μx和μy分别为重建图像和真实图像IH的平均值，σx和σy分别为/>和IH的方差，σxy为/>和IH的协方差，参数C1、C2为常数。
本发明的有益效果如下：
1.本发明由于在对弱光图像增强的过程中采用了分而治之的研究思想，将弱光图像的增强过程分解到四种不同的尺度，并且在不同尺度内的增强过程同时进行，避免了级联网络先后增强弱光图像而产生的噪声放大或对比度损失的问题，在极低亮度环境下仍然能够恢复出更多的细节和亮度。
2.本发明提出一种由粗到精的渐进式增强策略，使用卷积LSTM结构将弱光图像增强问题纵向分解，将弱光图像到正常亮度图像的增强过程分为多个阶段，将每一次多分支网络的融合输出结果重新送入到多分支网络，使用LSTM结构联合多个阶段的增强效果，将复杂的弱光图像与高质量图像之间的拟合问题细化。
3.本发明设置了一个丰富的联合损失函数，仿真结果表明，与现有的弱光图像增强算法相比，本发明能恢复更多的图像细节，产生更加清晰的图像边缘和纹理，避免产生明显的图像失真和伪影。
附图说明
图1是本发明基于多分支渐进式深度网络的弱光图像增强方法采用的基于多分支网络的弱光图像增强结构；
图2是本发明基于多分支渐进式深度网络的弱光图像增强方法基于卷积LSTM的渐进式增强策略结构；
图3是本发明基于多分支渐进式深度网络的弱光图像增强方法渐进式增强策略每一阶段的可视化效果；
图4(a)～(j)是本发明基于多分支渐进式深度网络的弱光图像增强方法与已有算法对公共数据集测试后在视觉上进行对比的结果图；
图5(a)～(i)是本发明基于多分支渐进式深度网络的弱光图像增强方法与已有算法对手机拍摄图像测试后在视觉上进行对比的结果图；
图6是本发明基于多分支渐进式深度网络的弱光图像增强方法与已有算法对模型参数量统计和在公共数据集上测试指标的对比图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明基于多分支渐进式深度网络的弱光图像增强方法，实现本发明的技术思路是：使用大量的自然弱光图像或人工合成的弱光图像与标签图像构成训练集，在每一次输入弱光图像时，都将图像裁剪为原来的80％以增广数据集，设计了四个具有不同结构的分支来完成不同尺度和不同级别的特征增强和融合。使用卷积LSTM缓解网络过深造成的训练困难，通过多分支渐进式网络学习弱光图像到目标图像的映射关系。参照图1和图2，基于多分支渐进式的弱光图像增强方法的实施步骤主要包括四个阶段：数据准备阶段、搭建多分支增强结构和渐进式增强模型阶段，训练阶段，测试阶段。
(一)数据准备阶段
步骤1，构造数据集图像对数据，用于多分支增强阶段和渐进式增强阶段的训练过程：首先准备配对的弱光图像对 表示需要增强的弱光图像，/>表示与弱光图像一一对应的正常亮度的高质量图像ground truth，i表示第i对数据，N表示数据集中数据对的个数。
步骤2，划分数据：将步骤1获取的图像对数据划分为两部分，分别是训练集Dtrain和测试集Dtest，其中训练集占全部数据的97％，测试集/>占全部数据的3％。
步骤3，对步骤2中划分的训练集Dtrain数据预处理：对训练集Dtrain中的图片进行随机裁剪，仅保留训练集中原始图像80％的像素数据用于训练，之后使用双三次插值方法将训练图像对{IL,IH}的尺寸调整为256×256，再使用相同的双三次插值方法分别将256×256的标签图像块IH下采样1/2和1/4，分别得到128×128和64×64的标签图像块IH2和IH4。
(二)搭建多分支渐进式增强模型，包括多分支增强结构和渐进式增强结构；
本发明所提出的多分支增强结构如图1所示：包括编码器模块、多分支模块和解码器模块三大部分：
(1)编码器模块由六个卷积和Relu激活函数层组成，接收输入的低光图像IL，增强输入由初始弱光图像IL与两个增强图像/>在通道维度中拼接，得到增强的输入数据，初始化时增强图像/>由原始的弱光图像IL替代，因此：模型的输入/>可表示为：
之后将输入编码器，提取不同维度大小和不同尺度的特征表示/>
编码器可表示为：
其中，是编码器的输入，/>是第j个分支的特征提取器，/>是第j个编码器输出的深度特征表示，[W,H,C]表示输入弱光图像的尺寸和通道数。对于j＝1,2,3,4,/>的尺寸和通道数分别为[W,H,64],/>和/>
(2)多分支模块为图1中的分支1、分支2、分支3、分支4。这四个分支对编码器提取出来的不同深度对应的特征进行增强。受U-Net和Res-Net的启发，本发明设计了四个具有不同接受域的分支来学习不同尺度下的深度表示。更具体地说，第一个分支用于处理相对简单的任务，因此与其他三个分支相比，它具有最简单的结构。而第二分支的结构与U-net相似，但在跳过连接和特征图大小上有独特的区别。相应地，第三分支的结构类似于Res-Net，它去掉了批处理归一化层，只保留了少量的res-block，以减少模型参数的数量。第四个分支负责执行相对复杂的增强任务，其中集成了更深层的常规层和四个空洞卷积层，以学习更多信息的特征表示。在形式上，这四个分支表示为:
其中，表示第k个增强分支，/>和/>分别表示第k个增强分支的输入和输出，第四个分支的输出通道是输入的一半，而其它分支的输入和输出尺寸完全相同。
(3)解码器模块接收四个分支的输出，将不同分支增强后的特征融合，并压缩到三个通道内，生成最终结果。解码器融合的过程可表示为：
其中，Fup表示对特征图进行2X上采样，并将特征图的通道数压缩到其原始大小的一半，Fgz是将融合的特征图压缩到RGB通道的操作，得到与输入弱光图像IL大小相同的增强图像
本发明所提出的渐进式增强结构如图2所示：本发明构造了四个不同尺度的卷积LSTM模块嵌入到分支网络中，在每个增强分支中，卷积LSTM单元位于卷积层之间。每个卷积LSTM单元由四个组成部分组成，即遗忘门(公式(5))、输入门(公式(6))、输出门(公式(7))和存储单元Ct，具体如下：
Ct＝Ct-1×δ(Wf[ht-1,xt]) (5)；
Ct＝Ct+δ(Wi[ht-1,xt])×Tanh(Wg[ht-1,xt]) (6)；
ht＝δ(Wo[ht-1,xt])×Tanh(Ct) (7)；
其中，ht表示LSTM在第t时间步的隐藏状态向量；[ht-1,xt]是第(t-1)个时间步的输出和第t个时间步的输入的连接通道特征图。Wf,Wi,Wg,和Wo是相互独立的卷积；δ和Tanh分别是sigmoid激活函数和Tanh激活函数。在训练开始，Ct和ht的所有元素分别初始化为1和0。G1、G2和G3是结构相同的多分支模型，具有相同的权值，但迭代过程中的时间步长不同，在网络的连续时间步上，相邻两个子网络由卷积LSTM单元连接。如图3所示：不同的时间步长上的渐进式增强结果，最后一个时间步的增强图像为最终增强结果/>
(三)训练阶段
步骤1，首先将数据准备阶段预处理之后的数据IL与两个增强图像在通道维度中拼接/>得到增强的输入数据。
步骤2，之后将增强的输入数据通过编码器提取不同尺度的特征表示。得到四种尺度的输出/>j＝1,2,3,4。
步骤3，在不同分支增强特征表示之前，使用通道注意力为不同的分支的输入特征在通道维度分配不同的权重参数，通道注意力模块表示为：
其中，j＝1,2,3,4是编码器提取的原始特征图，/>j＝1,2,3,4是输出加权的特征表示，Fsq表示全局平均池化操作，其中：W1和W2是通道注意力的权重参数。
步骤4，在赋予不同通道的特征权重之后，四种尺度的加权特征表示j＝1,2,3,4分别交给四个不同的分支，特征图在相应分支内前向传播，使得四个分支对不同的尺寸的特征表示增强，得到多个分支增强后的特征表示。
步骤5，使用解码器融合模块将多个分支的增强特征表示输出融合为三通道RGB图像。
步骤6，在多分支增强结构的增强阶段，增强特征表示的同时，渐进式增强阶段的卷积LSTM模块单元状态Ct和当前时间步长LSTM的输出ht会被更新。
步骤7，当多分支增强模型完成一次的增强任务后，会得到当前时间步长的增强图像使用更新之后的/>Ct、ht重复3次训练阶段的步骤1到步骤5。
步骤8，对多分支网络以及渐进式网络产生的增强结果与标签图像计算损失，计算的方式如下：
L＝λ1LPixel+λ2LMulti+λ3LAdv+λ4LGrad+λ5LColor (9)；
五个损失分别是像素损失LPixel、多尺度感知损失LMulti、对抗损失LAdv、梯度损失LGrad、颜色损失LColor，其中λ1,λ2,λ3,λ4,和λ5是平衡最终损失函数中每一项的权重参数。这里将λ1,λ2,λ3,λ4和λ5设置为1.5,1,0.001,1,和0.5。
各损失函数的计算过程如下：
LPixel损失表示为：
其中，IH是ground truth，是渐进网络的第i个增强图像，LMSE是衡量两幅图像之间的度量，N是渐进增强中的迭代次数；
LMulti损失表示为：
其中，LVGG(·)表示VGG19网络在第二层和第七层关于预测图像及其目标图像的特征图之间的MSE；IH,IH2,IH4分别是原始、1/2和1/4尺度的参考ground truth；分别是原始、1/2和1/4比例的增强图像，权重常数γ2和γ4设置为0.8和0.4；
对抗性损失LAdv表示为：
LAdv＝LMSE(D(IL，G(IL；θ))，[1]) (12)；
LGrad计算过程表示为：
其中，和/>代表沿水平和垂直方向的梯度算子；
LColor计算过程表示为：
其中，∠表示增强图像及其目标图像的像素级颜色向量之间的余弦相似度，p是增强图像或其目标图像的第p个像素。
步骤9，计算得到整体的损失之后，将损失反向传播，这里使用Adam优化器，学习率在前50个epoch设置为0.0004，之后下降为0.0002，迭代200次，迭代完所有epoch后训练完成。
(四)测试阶段
步骤1，加载训练好的多分支渐进式增强模型。
步骤2，加载数据准备阶段划分的测试数据集Dtest。
步骤3，测试的弱光图像的尺寸保持不变，将测试图像逐个输入训练好的多分支渐进式增强模型，增强的目标图像与输入的弱光图像IL尺寸相同。
步骤4，对得到的增强图像和标签图像IH计算测试指标PSNR(质量评价指标)/SSIM(质量评价指标)计算方式为：
式中：L表示图像中的像素最大值，IH表示真实标签图像，N表示像素个数，表示重建图像。两幅图像的像素差别越小，PSNR值越高。
式中：μx和μy分别为重建图像和真实图像IH的平均值，σx和σy分别为/>和IH的方差，σxy为/>和IH的协方差，参数C1,C2为常数，用于防止分母为0。SSIM值在[0，1]范围内取值，一般来说，SSIM值越大，表明两幅图像越相似。
针对无法获取标签图像的弱光图像，允许IH不存在，只产生增强的目标图像不计算测试指标。
以下通过仿真实验验证本发明的有效性。
仿真内容：
(1)在相同的训练集和测试图像上，采用对比实验的形式，选择七个具有代表性的弱光图像增强方法与本发明仿真结果进行比较，以验证本发明的有效性。如图4(a)～(j)所示，七个具有代表性的弱光图像增强方法是Lv等人提出的方法，简称MBLLEN；Wang等人提出的方法，简称DeepUPE；Moran等人提出的方法，简称DeepLPF；Zamir等人提出的方法，简称MIRNet；Zhao等人提出的方法，简称RetinexDIP；Yang等人提出的方法，简称SGM-Net；Wang等人提出的方法，简称LLFlow。
(2)为了进一步验证本发明的通用性，使用智能手机在不同亮度和噪声条件下拍摄低光图像，并比较不同方法获得的增强结果，如图5(a)～(i)所示。
(3)为了对比模型的参数量与弱光图像增强性能，计算了七种模型的参数量和在公共数据集下的测试指标对比结果，如图6所示。
具体仿真条件详见每个实施例的描述。
实施例1
在三个广泛使用的数据库(即LOL、SYS和MIT)上对本发明与其他七种方法训练和测试，其结果如图4所示：图4(a)是输入的弱光图像，图4(b)是MBLLEN方法的增强结果，图4(c)是DeepUPE方法的增强结果，图4(d)是DeepLPF方法的增强结果，图4(e)是MIRNet方法的增强结果，图4(f)是RetinexDIP方法的增强结果，图4(g)是SGM-Net方法的增强结果，图4(h)是LLFlow方法的增强结果，图4(i)是本方法的增强结果，图4(j)是真实的标签图像。
图4的仿真结果可以看出：比较第一行到第二行在MIT数据库上的结果，大多数比较的方法可以产生相对满意的结果，相比之下，本发明在生成更精细的纹理细节方面表现得更好(参见图4中的第一行)，并在天空颜色上显示出更好的校正(参见图4中的第二行)。在SYS数据库中非自然弱光图像上比较，参考第三行和第四行图像，可以发现我们的方法在比较的算法中产生了最令人信服的结果。特别是，本发明生成的第四排夕阳与目标图像最接近，表现出了比其他方法更好的人眼感知特征。相比之下，其他方法产生非常严重的色移(参见图4第三行的(d)、(f)、(g)、(h))和模糊效果(参见图4第三行的(b)、(c)、(e))。LOL数据库中包含的图像是在室内拍摄的，非常暗且噪声多，这对许多弱光图像增强方法来说是非常具有挑战性的。从比较结果可以看出(参见图4的第五行和第六行)，本发明在主要区域产生最少伪影和最小噪声的最逼真的结果。而且，增强结果的亮度、对比度和颜色与目标图像最为逼真。相比之下，其他比较的方法容易在边缘和纹理区域内产生大量意想不到的光晕(参见图4中最后两行的(b)至(e))，一些方法甚至在整个重建结果中产生明显的颜色失真(参见图4中最后两行的(c)、(e)、(h))。由于精心设计的多分支结构以及应用的渐进式增强策略，所提出的方法能够在非常暗的环境和亮度不足的条件下处理各种复杂的退化，在亮度、颜色、对比度和噪声方面表现出足够的增强效果。
实施例2
使用智能手机拍摄不同亮度和噪声条件下的弱光图像，并对不同方法得到的增强结果进行了直观的评估。其结果如图5(a)～(i)所示：图5(a)是输入的弱光图像，图5(b)是MBLLEN方法的增强结果，图5(c)是DeepUPE方法的增强结果，图5(d)是DeepLPF方法的增强结果，图5(e)是MIRNet方法的增强结果，图5(f)是RetinexDIP方法的增强结果，图5(g)是SGM-Net方法的增强结果，图5(h)是LLFlow方法的增强结果，图5(i)是本发明的增强结果。
从图5(a)～(i)中仿真结果可以看出：本发明在各个方面都明显优于其他方法：1)在恢复亮度和颜色方面表现出令人满意的性能，2)完美地保留了更多的细节，3)对各种噪声具有极好的鲁棒性。
实施例3
在性能和计算复杂度之间取得更好的平衡是评估模型效率的关键。按升序对模型参数的数量进行排序来评估不同方法的性能和计算效率，如图6所示，其中横轴表示网络参数(MB)，纵轴表示在三个数据库上的平均PSNR值。
从图6的仿真结果可以看出：本发明在保持中等规模计算成本的同时，在增强性能方面领先其他方法。
上述三个实验的结果表明，本发明与已有的弱光图像增强方法相比，具有更强的图像增强能力，能够得到更多的图像细节，而且恢复的图像在视觉上有较好的感知效果，不存在明显的失真和伪像，更接近于真实图像。
Claims (5)
1.基于多分支渐进式深度网络的弱光图像增强方法，其特征在于：具体包括如下步骤：
步骤1，准备数据；
步骤2，搭建多分支渐进式增强模型；
步骤3，根据步骤2搭建的结构对步骤1准备的数据进行训练，得到训练好的多分支渐进式增强模型；
步骤4，基于步骤3得到的训练好的多分支渐进式增强模型进行数据测试。
2.根据权利要求1所述的基于多分支渐进式深度网络的弱光图像增强方法，其特征在于：所述步骤1的具体过程为：
步骤1.1，准备配对的弱光图像对 表示需要增强的弱光图像，Ii H表示与弱光图像一一对应的正常亮度的高质量图像ground truth，i表示第i对数据，N表示数据集中数据对的个数；
步骤1.2，将步骤1.1获取的图像对数据划分为两部分，分别是训练集Dtrain和测试集Dtest，其中训练集占全部数据的97％，测试集/>占全部数据的3％；
步骤1.3，对步骤2中划分的训练集Dtrain图片进行随机裁剪，仅保留训练集中原始图像80％的像素数据用于训练，之后使用双三次插值方法将训练图像对{IL,IH}的尺寸调整为256×256，再使用相同的双三次插值方法分别将256×256的标签图像块IH下采样1/2和1/4，分别得到128×128和64×64的标签图像块IH2和IH4。
3.根据权利要求2所述的基于多分支渐进式深度网络的弱光图像增强方法，其特征在于：所述步骤2中，多分支渐进式增强模型包括多分支增强结构和渐进式增强结构；
多分支增强结构包括编码器模块、多分支模块和解码器模块；
编码器模块包括六个卷积和Relu激活函数层，接收输入的低光图像IL，增强输入由初始弱光图像IL与两个增强图像/>在通道维度中拼接，得到增强的输入数据，初始化时增强图像/>由原始的弱光图像IL替代，因此，模型的输入/>表示为：
将输入编码器，提取不同维度大小和不同尺度的特征表示/>编码器表示为：
其中，是编码器的输入，/>是第j个分支的特征提取器，/>是第j个编码器输出的深度特征表示，[W,H,C]表示输入弱光图像的尺寸和通道数；
多分支模块包括四个分支，这四个分支表示为：
其中，表示第k个增强分支，/>和/>分别表示第k个增强分支的输入和输出，第四个分支的输出通道是输入的一半，而其余三个分支的输入和输出尺寸完全相同；
解码器模块接收四个分支的输出，将不同分支增强后的特征融合，并压缩到三个通道内，生成最终结果，解码器融合的过程表示为：
其中，Fup表示对特征图进行2X上采样，并将特征图的通道数压缩到其原始大小的一半，Fgz是将融合的特征图压缩到RGB通道的操作，得到与输入弱光图像IL大小相同的增强图像
渐进式增强结构包括四个不同尺度的卷积LSTM模块，四个不同尺度的卷积LSTM模块嵌入到多分支增强结构中，在多分支增强结构中的每个增强分支中，卷积LSTM单元位于卷积层之间，每个卷积LSTM单元由四个组成部分组成，即遗忘门、输入门、输出门和存储单元Ct，遗忘门、输入门、输出门由如下公式(5)～(7)所示：
Ct＝Ct+δ(Wi[ht-1,xt])×Tanh(Wg[ht-1,xt]) (6)；
ht＝δ(Wo[ht-1,xt])×Tanh(Ct) (7)；
其中，ht表示LSTM在第t时间步的隐藏状态向量；[ht-1,xt]是第(t-1)个时间步的输出和第t个时间步的输入的连接通道特征图，Wf,Wi,Wg,和Wo是相互独立的卷积；δ和Tanh分别是sigmoid激活函数和Tanh激活函数。
4.根据权利要求3所述的基于多分支渐进式深度网络的弱光图像增强方法，其特征在于：所述步骤3的具体过程为：
步骤3.1，将预处理之后的数据IL与两个增强图像在通道维度中拼接，得到增强的输入数据；
步骤3.2，将步骤2.1所得的增强的输入数据通过编码器提取不同尺度的特征表示，得到四种尺度的输出
步骤3.3，在不同分支增强特征表示之前，使用通道注意力为不同分支的输入特征在通道维度分配不同的权重参数，通道注意力模块表示为：
其中，是编码器提取的原始特征图，/>是输出加权的特征表示，Fsq表示全局平均池化操作，其中：W1和W2是通道注意力的权重参数；
步骤3.4，在赋予不同通道的特征权重之后，四种尺度的加权特征表示j＝1,2,3,4分别交给四个不同的分支，特征图在相应分支内前向传播，使得四个分支对不同的尺寸的特征表示增强，得到多个分支增强后的特征表示；
步骤3.5，使用解码器融合模块将多个分支的增强特征表示输出融合为三通道RGB图像；
步骤3.6，在多分支增强结构的增强阶段，增强特征表示的同时，渐进式增强结构的卷积LSTM模块单元状态Ct和当前时间步长LSTM的输出ht会被更新；
步骤3.7，当多分支增强模型完成一次的增强任务后，会得到当前时间步长的增强图像
步骤3.8，对多分支增强结构和渐进式增强结构产生的增强结果与标签图像计算损失，计算的方式如下：
L＝λ1LPixel+λ2LMulti+λ3LAdv+λ4LGrad+λ5LColor (9)；
其中，LPixel为像素损失、LMulti为多尺度感知损失、LAdv为对抗损失、LGrad为梯度损失、LColor为颜色损失，其中λ1,λ2,λ3,λ4,和λ5是平衡最终损失函数中每一项的权重参数；
步骤3.9，根据步骤3.8得到的损失，将损失反向传播，迭代完所有epoch后训练完成。
5.根据权利要求4所述的基于多分支渐进式深度网络的弱光图像增强方法，其特征在于：所述步骤4的具体过程为：
步骤4.1，加载训练好的多分支渐进式增强模型；
步骤4.2，加载数据准备阶段划分的测试数据集Dtest；
步骤4.3，测试的弱光图像的尺寸保持不变，将测试图像逐个输入训练好的多分支渐进式增强模型，增强的目标图像与输入的弱光图像IL尺寸相同；
步骤4.4，对得到的增强图像和标签图像IH计算测试指标PSNR/SSIM计算方式为：
式中，L表示图像中的像素最大值，IH表示真实标签图像，N表示像素个数，表示重建图像；
式中，μx和μy分别为重建图像和真实图像IH的平均值，σx和σy分别为/>和IH的方差，σxy为/>和IH的协方差，参数C1、C2为常数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310210922.4A CN116452431A (zh) | 2023-03-07 | 2023-03-07 | 基于多分支渐进式深度网络的弱光图像增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310210922.4A CN116452431A (zh) | 2023-03-07 | 2023-03-07 | 基于多分支渐进式深度网络的弱光图像增强方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116452431A true CN116452431A (zh) | 2023-07-18 |
Family
ID=87119137
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310210922.4A Pending CN116452431A (zh) | 2023-03-07 | 2023-03-07 | 基于多分支渐进式深度网络的弱光图像增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116452431A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117893413A (zh) * | 2024-03-15 | 2024-04-16 | 博创联动科技股份有限公司 | 基于图像增强的车载终端人机交互方法 |
-
2023
- 2023-03-07 CN CN202310210922.4A patent/CN116452431A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117893413A (zh) * | 2024-03-15 | 2024-04-16 | 博创联动科技股份有限公司 | 基于图像增强的车载终端人机交互方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107123089B (zh) | 基于深度卷积网络的遥感图像超分辨重建方法及系统 | |
| CN111539879B (zh) | 基于深度学习的视频盲去噪方法及装置 | |
| CN111028163B (zh) | 一种基于卷积神经网络的联合图像去噪与弱光增强方法 | |
| Liang et al. | Cameranet: A two-stage framework for effective camera isp learning | |
| CN112614077B (zh) | 一种基于生成对抗网络的非监督低照度图像增强方法 | |
| CN110969577A (zh) | 一种基于深度双重注意力网络的视频超分辨率重建方法 | |
| CN111127336A (zh) | 一种基于自适应选择模块的图像信号处理方法 | |
| Wang et al. | Joint iterative color correction and dehazing for underwater image enhancement | |
| CN111738948B (zh) | 一种基于双U-net的水下图像增强方法 | |
| CN111986084A (zh) | 一种基于多任务融合的多相机低光照图像质量增强方法 | |
| Wang et al. | MAGAN: Unsupervised low-light image enhancement guided by mixed-attention | |
| Li et al. | Underwater image high definition display using the multilayer perceptron and color feature-based SRCNN | |
| CN114998141B (zh) | 基于多分支网络的空间环境高动态范围成像方法 | |
| CN114219722A (zh) | 一种利用时频域层级处理的低光照图像增强方法 | |
| Fan et al. | Multiscale cross-connected dehazing network with scene depth fusion | |
| CN111553856B (zh) | 基于深度估计辅助的图像去雾方法 | |
| Zheng et al. | T-net: Deep stacked scale-iteration network for image dehazing | |
| Zhao et al. | Deep pyramid generative adversarial network with local and nonlocal similarity features for natural motion image deblurring | |
| CN113284061A (zh) | 一种基于梯度网络的水下图像增强方法 | |
| CN116645569A (zh) | 一种基于生成对抗网络的红外图像彩色化方法和系统 | |
| CN116452431A (zh) | 基于多分支渐进式深度网络的弱光图像增强方法 | |
| Mostafavi et al. | E2sri: Learning to super-resolve intensity images from events | |
| CN115035011A (zh) | 一种融合策略下自适应RetinexNet的低照度图像增强方法 | |
| CN113344804B (zh) | 一种弱光图像增强模型的训练方法和弱光图像增强方法 | |
| CN117197627B (zh) | 一种基于高阶退化模型的多模态图像融合方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |