CN113962878B - 一种低能见度图像去雾模型方法 - Google Patents
一种低能见度图像去雾模型方法 Download PDFInfo
- Publication number
- CN113962878B CN113962878B CN202110867788.6A CN202110867788A CN113962878B CN 113962878 B CN113962878 B CN 113962878B CN 202110867788 A CN202110867788 A CN 202110867788A CN 113962878 B CN113962878 B CN 113962878B
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- convolution
- module
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000004927 fusion Effects 0.000 claims abstract description 40
- 230000007246 mechanism Effects 0.000 claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 20
- 230000006870 function Effects 0.000 claims abstract description 18
- 239000000284 extract Substances 0.000 claims abstract description 8
- 239000013589 supplement Substances 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims description 37
- 238000010586 diagram Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 13
- 238000010606 normalization Methods 0.000 claims description 11
- 238000011156 evaluation Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 238000013459 approach Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 3
- 238000010200 validation analysis Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims 1
- 238000009499 grossing Methods 0.000 claims 1
- 239000000428 dust Substances 0.000 abstract description 22
- 238000013135 deep learning Methods 0.000 abstract description 13
- 238000013461 design Methods 0.000 abstract description 7
- 230000000694 effects Effects 0.000 description 15
- 239000003245 coal Substances 0.000 description 12
- 238000003707 image sharpening Methods 0.000 description 11
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000011160 research Methods 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种低能见度图像去雾模型方法,是基于深度学习的GCANet模型,结合注意力机制和多尺度融合,将模型分为特征编码、特征融合和特征解码部分,特征编码模块的作用是进行图像特征信息提取,经过注意力机制模块,在提取特征信息时更多的关注目标区域,具有更有效地捕捉全局相关性的能力。在特征融合设计中通过一个并行高分辨率结构提取不同尺度的特征,获得上下文信息,并行高分辨率结构和注意力模块共同补充了尘雾图像的全局和局部信息。最后,利用特征解码得到清晰化处理的图像。本发明充分提取了低能见度图像的上下文信息并参与到图像全局信息和局部信息的获取,提取更多不同的多尺度特征,实现了更有效的清晰化处理。
Description
技术领域
本发明属于图像处理、模式识别和机器视觉技术领域,涉及低能见度图像清晰化网络模型技术,尤其涉及一种低能见度图像去雾网络模型方法,构建在低能见度图像数据集下进行学习的基于注意力机制和特征融合的低能见度图像清晰化网络模型,有效地提升了低能见度图像的清晰化效果。
背景技术
近年来,计算机视觉算法不断发展,各种图像处理算法在环境感知方面产生了大量的研究成果与应用,这些成果与应用大都基于可见光采集到的能见度良好的清晰图像,在低能见度图像上的图像处理算法研究较少。因此利用深度学习的方法解决低能见度尘雾图像清晰化的问题,成为了近年来研究的热点内容。
光在低能见度环境中传播的时候,会发生散射等现象导致图像质量下降严重,图像信息无法充分发挥价值。低能见度图像清晰化是为了去除尘雾影响,提高图像的对比度。如今低能见度图像清晰化技术已有几十年的发展历史。
目前低能见度图像清晰化算法分为三个不同的类别,分别有基于图像增强的低能见度清晰化算法、基于图像复原的低能见度清晰化算法和基于深度学习的低能见度清晰化算法。而随着深度学习的发展,基于深度学习的低能见度清晰化算法为低能见度尘雾图像的清晰化问题提供了另一种解决思路。例如,2016年,Cai等人最早将深度学习引入到低能见度图像清晰化中去,提出了一种基于卷积神经网络(Convolutional Neural Networks,CNN)的模型架构,将低能见度图像作为输入,并输出其介质透射图,随后将其用于通过大气散射模型恢复清晰图像。(Cai B,Xu X,Jia K,et al.DehazeNet:An End-to-End Systemfor Single Image Haze Removal[J].2016.)
2018年,Dudhane等人提出了一种基色(红色,绿色和蓝色)色彩融合网络,对低能见度图像中存在的颜色信息进行处理,并生成多通道深度图,使用多通道多尺度CNN从生成的暗通道中估算场景传输图。(A.Dudhane and S.Murala.C2MSNet:A Novel Approach forSingle Image Haze Removal[C].2018.)
2019年,Chen等人提出的基于深度学习的GCANet,使用平滑空洞卷积解决网格效应,门控卷积层(Gated Convolutional Layer,GCL)提取上下文信息。(Chen D,He M,FanQ,et al. Gated context aggregation network for image dehazing and deraining[C].2019.)
最开始研究的基于深度学习的低能见度图像清晰化方法采用训练模型的形式估算透射图,跟传统低能见度图像清晰化算法相比较,透射图估算的误差有一定的减小,输出的清晰化图像主观效果提高显著。缺点是通过成像模型估算的尘雾相关参数的精确度不高,计算透射图时存在误差累积的现象,会影响最终的清晰化精度。同时,图像太过单一化也会使得最终的精度不高。最近,随着深度学习的不断进步,越来越多的端到端模型出现在计算机视觉领域并取得了较好的效果。
发明内容
针对基于深度学习的低能见度图像清晰化算法存在清晰化不均匀现象和适用性不足等问题,本发明利用多尺度特征融合能够提取上下文信息的特点,再结合自注意力机制实现跨信道信息的高效学习,提出了基于注意力机制和特征融合的低能见度图像清晰化模型。
本发明方法通过在基于深度学习的GCANet模型中引入注意力机制和多尺度融合的方法,实现模型对低能见度尘雾图像进行清晰化处理效果的提升,解决了现有算法清晰化不平均的问题,更好地提升图像对比度,让图像更清晰。本发明基于GCANet网络架构,利用多尺度特征融合能够提取上下文信息的特点,再结合自注意力机制实现跨信道信息的高效学习,提出了基于注意力机制和特征融合的低能见度图像清晰化模型。提出的网络主要由特征编码、特征融合、特征解码三部分组成,第一部分特征编码模块的作用提取特征,将特征编码部分设计为卷积模块、平滑空洞卷积残差模块的形式对图像的特征信息进行提取,其中平滑空洞卷积可以消除原始空洞卷积的网络伪影效应,残差模块采用的是ResNet网络中的结构,可以生成更复杂的特征同时更易于优化训练。第二部分是在特征编码之后进行了特征融合,为了保障图像上下文信息参与到图像全局和局部信息的提取,采用的结构是一个并行高分辨率的多尺度融合模块,在结构内部进行密集的多尺度特征融合。第三部分是网络的特征解码部分,获得清晰化处理后的图像。本发明低能见度图像去雾模型结构图如图1所示。
本发明提供的技术方案如下:
一种低能见度图像去雾模型方法,具体包括如下步骤:
步骤1:数据的预处理
本发明主要是针对低能见度尘雾图像的清晰化处理的,因此数据集在选用的时候可以使已有公共数据集及制作的低能见度尘雾图像数据集。对于选好的数据集需要进行以下的预处理操作:
1.1将RESIDE图像数据集和煤矿低能见度图像数据集分别分成训练集、验证集和测试集,具体操作如下;
将RESIDE数据集分成三个数据集,分别是:训练集(占总数据集的90%左右),测试集 (占总数据集的36%左右)和验证集(占总数据集的14%左右)。图像数据集使用彩色图像。
将井下煤矿图像制作煤矿低能见度图像仿真数据集分成三个数据集,分别是:训练集(占总数据集的72%左右),测试集(占总数据集的28%左右)图像数据集使用彩色图像。
1.2构建低能见度图像去雾模型,低能见度图像去雾模型包括:特征编码部分、特征融合部分和特征解码部分;
步骤2:建立特征编码部分,提取得到训练样本集图像的特征信息;
卷积神经网络具有较强的图像特征提取能力,因而被广泛的应用在深度学习网络中用于图像相关特征的提取任务。因此本发明建立的特征编码部分利用卷积神经网络实现对低能见度尘雾图像特征进行提取。具体实施时,本发明所建立的特征编码部分包括两个卷积模块,一个卷积模块+注意力机制模块,四个平滑空洞卷积残差模块+注意力机制模块。特征编码模块的具体构建步骤如下:
2.1特征编码部分的卷积模块设计
特征编码部分的三个卷积模块中,一个卷积模块均包括一个卷积层。四个卷积模块均包括的操作有卷积层运算,批归一化层,下面将在步骤2.1.1~2.1.4对上述的三种操作进行介绍:
2.1.1卷积层:
第一卷积模块中的卷积层输入是训练样本集图像Ci(i=1,…,c)和训练查询集图像 Cn(n∈i),其中i为样本图像的编号;Cn为i对应样本图像的Ground Truth。训练集数据为彩色图像,则输入特征图通道为3;卷积核(kernel_size)大小设置为3×3,输出的特征图通道数为64,填充(padding)设置为1,步长为1。第二卷积模块的卷积层输入为64通道特征图,卷积核大小设置为3×3,输出的特征图通道数为64,填充设置为1,步长为1。第三卷积模块的卷积层输入为64通道特征图,卷积核大小设置为3×3,输出的特征图通道数为64,填充设置为1,步长为2。
2.1.2利用批归一化(batch normalization)对权重参数进行处理。输出的特征图通道数在三个卷积模块中均为64。
2.1.3对权重参数进行ReLU函数的激活,具体的ReLU函数为
f(y)=max(0,y) (式1)
在式1中,参数y为特征图x中的数值。
2.1.4对于三个卷积模块,均不需要增加最大池化层。
2.2特征编码部分的注意力机制模块设计
在步骤2.1建立的卷积模块所进行的卷积操作处理得到的是局部临近的特征信息,提取出整张图像中的所有信息,无法针对性的提取图像中较为关键的特征信息。为了使得网络可以有针对性的提取图像中较为关键的特征信息,同时弱化无关背景的干扰。本发明引入注意力机制模块,具体的注意力机制模块的结构图如图2所示。
2.2.1注意力机制模块的输入特征图为x∈RC×W×H,其中x1表示的是第三卷积模块输出的特征图,C为特征图的通道数,W×H是特征图的大小;x′为中间特征图。图2是构建的注意力机制网络,conv1表示的是卷积层,该卷积层的卷积核大小为3×3,通道数量与输入的特征图通道数C相同,轻量化注意力结构的操作如式(2),式(2)中,ReLU和Sigmoid都为激活函数,DW1×1是核大小为1×1的深度卷积,PW1代表只有一个卷积核的点卷积;
x′=Sigmoid(PW1(ReLU(DW1×1(x)))) (式2)
2.2.2最终的输出图是通过将x与x′应用式(3),其中是逐像素相乘操作,/>是逐像素相加操作;
经过式(3)得到这一步骤的注意力机制特征图;
2.3特征编码部分平滑空洞卷积残差模块+注意力机制模块设计
平滑空洞卷积残差模块的形式对图像的特征信息进行提取,其中平滑空洞卷积可以消除原始空洞卷积的网络伪影效应,残差模块采用的是ResNet网络中的结构,可以生成更复杂的特征同时更易于优化训练。此部分注意力机制模块的操作如2.2。
2.3.1以平滑空洞卷积残差模块1为例,输入的特征图为部分采用的是空洞卷积,目的是为了扩大卷积核的感受野,卷积核大小为3×3,卷积核膨胀值(dilation)设置为 2,后三个平滑空洞卷积残差模块的卷积核膨胀值分别设置为2,2,4,
2.3.2F∈Rm×h×w为残差模块输出的特征图,其中m为输入特征图的通道数,h和w为输入特征图的空间维度,F′n为中间特征图,轻量化处理过程如2.2.2,得操作如式(3),(4)所示,为保证输入与输出特征图的大小不变,设置填充为2,输出的特征图通道数量与输入的特征图通道数C相同,之后进行批归一化运算,输出得到特征图Fi∈RC×W×H,i=1,2,3,4,则该过程可以表示为:
步骤3:特征融合部分,执行的操作如下:
采用并行结构的目的是为了提取更多不同的多尺度特征。本发明设计了四条并行的网络支路提取深度特征并进行融合,其中每条支路独立的提取特征,四条特征提取支路之间通过多尺度融合模块进行密集的特征融合操作,具体的多尺度融合模块结构图如图3所示。
3.1此部分有三个多尺度融合模块,其中以第1个模块为例,其模块内部的网络结构如图 3显示,两个输入分支分别经过各自的平滑空洞卷积残差模块提取复杂特征F4,进行特征融合操作,每个支路的特征信息都融合了另一条支路的特征信息,在信息融合的时候,会遇到特征图大小不匹配的情况,此时图3中的C1、C2、C3和C4起到了作用,C1和C4不代表任何操作,C2将第2条支路的输出上采样到与第1条支路输出相同的大小,C3将第1条支路的输出下采样到与第2条支路输出相同的大小,后面的多尺度融合模块都是以此类推的网络结构与操作。在最终进行解码阶段之前,要将每个支路提取的特征分别进行相应尺寸的上采样操作,使得特征图分辨率与第一个支路的特征图分辨率大小一致。特征图分辨率相同之后将这些特征图的信息进行融合,从而输入到后面的解码阶段得到最终的输出。
3.2在多尺度融合模块的跨支路特征图相加方面,下采样模块采用步幅为2的3×3卷积,上采样选择最近邻方法,通过1×1卷积使通道数相同。
步骤4:特征解码部分:具体的操作如下:
网络的特征解码部分,获得清晰化处理后的图像。包括三个上采样模块和两个反卷积模块。
4.1三个上采样模块均选择最近邻方法,在原有特征图像像素的基础上在像素点之间采用合适的插值算法插入新的元素;
4.2反卷积模块先按照一定的比例通过补零来扩大输入特准信息图像的尺寸,接着旋转卷积核,再进行正向卷积;两个反卷积模块的输入通道为64,卷积核大小4×4,步长为2,输入的每一条边补充0的层数为1,高宽都增加2,再经过归一化处理;经过最后的反卷积处理得到清晰化处理的图像;
步骤5:建立网络的损失函数
5.1在评价图像质量方面,选择峰值信噪比和结构相似度指数两个值作为评估算法的客观指标:
5.1.1用SSIM描述两幅图像的接近度,SSIM的数值越大意味着图像失真越小,两幅图像相同的时候,SSIM的值是1,计算如公式(5)所示。
式(5)中,x和y分别表示两幅图像;μx表示x的平均;μy为表示y的平均;表示x的方差;/>表示y的方差;δxy表示x与y的协方差;c1和c2表示细微的扰动。
5.1.2PSNR的值越大表示图像失真越小,n为每个像素的比特数。表示为公式(6)
5.2利用类似于均方误差MSE的损失函数L对模型进行训练,表示为公式(7)、(8)、(9):
r=J-I (7)
其中r和分别是基本事实和预测的残差。在运行时,将/>添加到输入模糊图像上以获得最终预测的无雾图像,学习目标是无雾图像和输入模糊图像之间的残差。
网络在训练的过程中,采用Adam学习策略,根据loss值的大小,反向更新步骤2)~4) 中各部分的网络权值参数,设置学习率为λ,网络需要训练迭代的次数为n,当网络迭代n次后结束训练;最终使得网络对清晰化后图像和低能见度图像间的残差值趋近于0;最终得到低能见度尘雾图像的清晰化结果。
与现有技术相比,本发明的有益效果是:
利用本发明提供的方案,通过特征编码部分提取低能见度尘雾图像的特征信息,注意力模块的加入实现跨信道信息的高效学习,在提取特征信息时更多的关注目标区域,然后在特征融合部分采用了并行高分辨率网络结构,在各分支之间对多尺度特征进行深度融合,帮助网络获取上下文背景信息。注意力模块和并行高分辨率结构为低能见度图像清晰化任务共同提供了需要的图像局部信息和全局信息,最终得到了更好的低能见度尘雾图像清晰化效果。该发明在低能见度尘雾图像的清晰化处理上效果更好,且具有良好的通用性。
与现有技术相比,本发明具有以下技术优势:
(1)在编码层的设计中,加入了注意力模块。用于对尘雾图像全局信息的提取,提高网络信息处理的敏感性,通过对神经元之间的跨信道和全局性进行建模,来自适应地重新校准神经元特征响应,有助于特征编码阶段在提取特征信息时将更多的注意力集中在有价值的神经元或特征上面。
(2)引入并行高分辨率结构,也就是多尺度融合模块。对特征信息进行了多次多尺度融合,使得每一个高分辨率到低分辨率的表征都从其他并行子网中反复融合多尺度信息,从而得到丰富的高分辨率表征。充分提取了低能见度图像的上下文信息并参与到图像全局信息和局部信息的获取,提取更多不同的多尺度特征,实现了更有效的清晰化处理。
附图说明
图1为本发明流程示意图;
图2为注意力机制模块的结构示意图;
图3为多尺度融合模块的结构示意图,以多尺度融合模块1为例;
图4为本发明网络结构框图;
图5为本发明在验证集上的去雾效果对比图;
其中,(a)为低能见度图像;(b)为去雾后的GCANet网络得到的清晰化处理结果;(c)为低能见度的标签图像;(d)为本发明低能见度图像去雾算法的结果。
具体实施方式
下面结合附图,通过实施例进一步描述本发明,但不以任何方式限制本发明的范围。
本发明提出了一种低能见度图像去雾模型方法。网络通过在卷积神经网络引入注意力机制和平滑空洞卷积模块对低能见度图像的特征信息进行提取,保留更多细节信息,经过多尺度融合模块进一步的保障图像上下文信息参与到图像全局和局部信息的提取,最后通过特征解码部分获得清晰化处理后的图像,得到更好的清晰化处理效果。图3是本发明的实现整体流程图。
以下实施针对低能见度公开数据集RESIDE图像数据集和井下煤矿图像制作的煤矿低能见度图像仿真数据集,进行本发明所提的低能见度图像去雾方法的清晰化处理;具体包括如下步骤:
步骤1:数据的预处理
1.1RESIDE训练集包含13990个合成低能见度图像,其中13000个用于训练,990个用于验证,RESIDE针对每个清晰图像生成10个低能见度图像,大气光的设置范围为[0.7,1.0],的设置范围为[0.6,1.8]。因此,RESIDE训练集包含成对的低能见度和清晰的图像,其中一张清晰图像可以对应多个低能见度图像,低能见度图像是基于不同的参数和生成的。本发明测试集采用SOTS中的Indoor数据集,为500个室内图像(与训练图像不重叠),采用与训练数据相同的方式生成低能见度图像。
1.2井下煤矿图像制作煤矿低能见度图像仿真数据集有1800幅图像,其中训练集为1300 幅,测试集为500幅。
构建低能见度图像去雾模型,包括步骤2)~5):
步骤2:建立特征编码部分,提出训练图像和查询图像的特征信息
2.1特征编码部分的卷积模块
2.1.1卷积模块1的输入为彩色图像,则输入特征图通道为3,卷积核(kernel_size)大小设置为3X3,输出的特征图通道数为64,填充(padding)设置为0。卷积模块2的输入为64 通道特征图,卷积核大小设置为3×3,输出的特征图通道数为64,填充设置为1,步长为1。卷积模块3的输入为64通道特征图,卷积核大小设置为3×3,输出的特征图通道数为64,填充设置为1,步长为1。卷积模块4的输入为64通道特征图,卷积核大小设置为3×3,输出的特征图通道数为64,填充设置为1,步长为2。
2.1.2利用批归一化(batch normalization)对权重参数进行处理。输出的特征图通道数在三个卷积模块中均为64。
2.1.3对权重参数进行ReLU函数的激活,具体的ReLU函数为
f(y)=max(0,y) (式10)
在式10中,参数y为特征图x中的数值。
2.1.4对于三两个卷积模块,均需要增加最大池化层。
2.2特征编码部分的注意力机制模块和平滑空洞残差模块
如图4所示,本发明在卷积块3之后引入注意力机制模块,具体的注意力机制模块的结构图如图2所示。
2.2.1注意力机制模块的输入特征图为x∈RC×W×H,其中x1表示的是第三卷积模块输出的特征图,C为特征图的通道数,W×H是特征图的大小;x′为中间特征图。轻量化注意力结构的操作如式(11),式(11)中,ReLU和Sigmoid都为激活函数,DW1×1是核大小为1×1的深度卷积,PW1代表只有一个卷积核的点卷积;
x′=Sigmoid(PW1(ReLU(DW1×1(x)))) (式11)
2.2.2最终的输出图是通过将x与x′应用式(12),其中是逐像素相乘操作,/>是逐像素相加操作;
经过式(12)得到这一步骤的注意力特征图;
2.2.3如图1所示后4个编码层均采用的是残差模块,残差模块中采用平滑空洞卷积提取上下文信息,空洞率分别设置为2,2,2,4,通道数均为64,且特征图的分辨率大小不变;
步骤3:特征融合部分,执行的操作如下:
3.1此部分有三个多尺度融合模块,其中以第1个模块为例,其模块内部的网络结构如图 3显示,两个输入分支分别经过各自的平滑空洞卷积残差模块提取复杂特征F4,进行特征融合操作,每个支路的特征信息都融合了另一条支路的特征信息,在信息融合的时候,会遇到特征图大小不匹配的情况,此时图3中的C1、C2、C3和C4起到了作用,C1和C4不代表任何操作,C2将第2条支路的输出上采样到与第1条支路输出相同的大小,C3将第1条支路的输出下采样到与第2条支路输出相同的大小,后面的多尺度融合模块都是以此类推的网络结构与操作。在最终进行解码阶段之前,要将每个支路提取的特征分别进行相应尺寸的上采样操作,使得特征图分辨率与第一个支路的特征图分辨率大小一致。特征图分辨率相同之后将这些特征图的信息进行融合,从而输入到后面的解码阶段得到最终的输出。
3.2在多尺度融合模块的跨支路特征图相加方面,下采样模块采用步幅为2的3×3卷积,上采样选择最近邻方法,通过1×1卷积使通道数相同。
步骤4:特征解码部分:具体的操作如下:
网络的特征解码部分,获得清晰化处理后的图像。包括三个上采样模块和两个反卷积模块。
4.1三个上采样模块均选择最近邻方法,在原有特征图像像素的基础上在像素点之间采用合适的插值算法插入新的元素;
4.2反卷积模块先按照一定的比例通过补零来扩大输入特准信息图像的尺寸,接着旋转卷积核,再进行正向卷积;两个反卷积模块的输入通道为64,卷积核大小4×4,步长为2,输入的每一条边补充0的层数为1,高宽都增加2,再经过归一化处理;经过最后的反卷积处理得到清晰化处理的图像;
步骤5:设计实验评估方法和建立网络的损失函数,包括:
5.1在评价图像质量方面,选择峰值信噪比(Peak Signal to Noise Ratio,PSNR)和结构相似度指数(Structural Similarity Index,SSIM)两个值作为评估算法的客观指标。具体细节如下:
5.1.1用SSIM描述两幅图像的接近度,SSIM的数值越大意味着图像失真越小,两幅图像相同的时候,SSIM的值是1,计算如公式(13)所示。
式(13)中,x和y分别表示两幅图像;μx表示x的平均;μy为表示y的平均;表示x的方差;/>表示y的方差;δxy表示x与y的协方差;c1和c2表示细微的扰动。
5.1.2PSNR的值越大表示图像失真越小,n为每个像素的比特数。表示为公式(14)
5.2利用类似于均方误差MSE的损失函数L对模型进行训练,表示为公式(15)、(16)、 (17):
r=J-I (式15)
其中r和分别是基本事实和预测的残差。在运行时,将/>添加到输入模糊图像上以获得最终预测的无雾图像,学习目标是无雾图像和输入模糊图像之间的残差。
网络在训练的过程中,采用Adam学习策略,根据loss值的大小,反向更新步骤2)~4) 中各部分的网络权值参数,设置学习率为λ,网络需要训练迭代的次数为n,当网络迭代n次后结束训练;最终使得网络对清晰化后图像和低能见度图像间的残差值趋近于0;使用Adam 算法优化网络,损失函数使用均方误差(Mean Square Error,MSE)损失函数。对整个网络进行100个时期的训练,初始学习率默认设置为0.01,每40个周期衰减0.1,所有实验均在 4个GPU上使用默认的批处理大小训练为12;最终得到低能见度尘雾图像的清晰化结果。
通过上述步骤,即通过建立基于注意力机制和多尺度融合的低能见度图像去尘雾网络模型实现低能见度尘雾图像的清晰化处理。
本发明在RESIDE图像数据集上进行实验,实验的结果与基于深度学习的GCANet网络 (Chen D,He M,Fan Q,et a1.Gated context aggregation network for imagedehazing and deraining[C].2019.)进行对比,实验结果如下表1所示。
表1 RESIDE数据集客观指标评价结果
同理,本发明在井下煤矿图像制作煤矿低能见度图像仿真数据集上进行实验,实验结果如下表2所示。
表2煤矿图像数据集客观指标评价结果
从实验结果可以看出,本发明所提方法的实验结果与现有的基于深度学习的GCANet网络的成果相比,在一定程度上提升了在各低能见度尘雾图像数据集上的清晰化处理效果,在去除图像的尘雾影响的同时有效保持原图像的细节结构信息,处理结果与真实无尘雾影响图像接近。
低能见度图像去雾的难点问题就是如何去除分低能见度图像中布不均匀的尘雾并尽可能多的保留图像的细节信息。本发明提出的低能见度图像去雾算法的PSNR和SSIM上都取得了更高的分数,煤矿低能见度图像数据集上的评价结果表明本发明算法具有通用性,不仅在公共数据集上清晰化效果好,在煤矿井下的低能见度清晰化也有一定优势。
为了提升网络对低能见度的去雾效果,本发明对GCANet网络进行了改进,在编码层的设计中,加入了提出的轻量化注意力模块,用于对尘雾图像全局信息的提取;设计一个并行高分辨率结构提取不同尺度的特征,获得上下文信息。并行高分辨率结构和注意力模块共同补充了尘雾图像的全局和局部信息。图5中的是本发明的实验对比图,本发明的主观效果也比GCANet算法要好,解决了现有算法清晰化不平均的问题,更好地提升图像对比度,让图像更清晰。
Claims (4)
1.一种低能见度图像去雾模型方法,其特征在于,低能见度图像去尘雾网络模型包括:特征编码、特征融合、特征解码三部分;具体包括如下步骤:
步骤1:将RESIDE图像数据集分成训练集、测试集和验证集;
步骤2:建立特征编码部分:
2.1特征编码部分的卷积模块:
2.1.1卷积层:
第一卷积模块中的卷积层输入是训练样本集图像Ci(i=1,…,c)和训练查询集图像Cn(n∈i),其中i为样本图像的编号;Cn为i对应样本图像的Ground Truth,训练集数据为彩色图像,则输入特征图通道为3;卷积核大小设置为3×3,输出的特征图通道数为64,填充设置为1,步长为1,第二卷积模块的卷积层输入为64通道特征图,卷积核大小设置为3×3,输出的特征图通道数为64,填充设置为1,步长为1。第三卷积模块的卷积层输入为64通道特征图,卷积核大小设置为3×3,输出的特征图通道数为64,填充设置为1,步长为2;
2.1.2利用批归一化对权重参数进行处理,输出的特征图通道数在三个卷积模块中均为64;
2.1.3对权重参数进行ReLU函数的激活,具体的ReLU函数为
f(y)=max(0,y) (1)
在式(1)中,参数y为特征图x中的数值;
2.1.4对于三个卷积模块,均不需要增加最大池化层;
2.2注意力机制模块:
2.2.1注意力机制模块的输入特征图为x∈RC×W×H,其中x1表示的是第三卷积模块输出的特征图,C为特征图的通道数,W×H是特征图的大小;x′为中间特征图,卷积层的卷积核大小为3×3,通道数量与输入的特征图通道数C相同,轻量化注意力结构的操作如式(2),式(2)中,ReLU和Sigmoid都为激活函数,DW1×1是核大小为1×1的深度卷积,PW1代表只有一个卷积核的点卷积;
x′=Sigmoid(PW1(ReLU(DW1×1(x)))) (2)
2.2.2最终的输出图是通过将x与x′应用式(3),其中是逐像素相乘操作,/>是逐像素相加操作;
经过式(3)得到这一步骤的注意力机制特征图;
2.3平滑空洞卷积残差模块+注意力机制模块:
2.3.1平滑空洞卷积残差模块输入的特征图为部分采用的是空洞卷积,目的是为了扩大卷积核的感受野,卷积核大小为3×3,卷积核膨胀值设置为2,后三个平滑空洞卷积残差模块的卷积核膨胀值分别设置为2,2,4,
2.3.2 F∈Rm×h×w为残差模块输出的特征图,其中m为输入特征图的通道数,h和w为输入特征图的空间维度,F′n为中间特征图,轻量化处理过程如2.2.2,得操作如式(3)、(4)所示,为保证输入与输出特征图的大小不变,设置填充为2,输出的特征图通道数量与输入的特征图通道数C相同,之后进行批归一化运算,输出得到特征图Fi∈RC×W×H,i=1,2,3,4,则该过程表示为:
步骤3:建立特征融合部分:
3.1设有三个多尺度融合模块,两个输入分支分别经过各自的平滑空洞卷积残差模块提取复杂特征F4,进行特征融合操作,每个支路的特征信息都融合了另一条支路的特征信息,在最终进行解码阶段之前,将每个支路提取的特征分别进行相应尺寸的上采样操作,使得特征图分辨率与第一个支路的特征图分辨率大小一致,特征图分辨率相同之后将这些特征图的信息进行融合;
3.2下采样模块采用步幅为2的3×3卷积,上采样选择最近邻方法,通过1×1卷积使通道数相同;
步骤4:建立特征解码部分:
4.1三个上采样模块均选择最近邻方法,在原有特征图像像素的基础上在像素点之间采用合适的插值算法插入新的元素;
4.2反卷积模块先按照一定的比例通过补零来扩大输入特准信息图像的尺寸,接着旋转卷积核,再进行正向卷积;两个反卷积模块的输入通道为64,卷积核大小4×4,步长为2,输入的每一条边补充0的层数为1,高宽都增加2,再经过归一化处理;经过最后的反卷积处理得到清晰化处理的图像。
2.如权利要求1所述的低能见度图像去雾模型方法,其特征在于,进一步建立网络的损失函数:
5.1在评价图像质量方面,选择峰值信噪比和结构相似度指数两个值作为评估算法的客观指标:
5.1.1用SSIM描述两幅图像的接近度,SSIM的数值越大意味着图像失真越小,两幅图像相同的时候,SSIM的值是1,计算如公式(5)所示;
式(5)中,x和y分别表示两幅图像;μx表示x的平均;μy为表示y的平均;表示x的方差;表示y的方差;δxy表示x与y的协方差;c1和c2表示细微的扰动;
5.1.2PSNR的值越大表示图像失真越小,n为每个像素的比特数。表示为公式(6)
5.2利用类似于均方误差MSE的损失函数L对模型进行训练,表示为公式(7)、(8)、(9):
r=J-I (7)
其中r和分别是基本事实和预测的残差,在运行时,将/>添加到输入模糊图像上以获得最终预测的无雾图像,学习目标是无雾图像和输入模糊图像之间的残差。
3.如权利要求1所述低能见度图像去雾模型方法,其特征在于,将图像数据集分成训练集、测试集和验证集,具体为分成的训练集占总数据集的80%左右,测试集占总数据集的13%左右和验证集占总数据集的7%左右;图像数据集使用彩色图像。
4.如权利要求1所述低能见度图像去雾模型方法,其特征在于,网络在训练的过程中,采用Adam学习策略,根据loss值的大小,反向更新步骤2~4中各部分的网络权值参数,网络需要训练迭代的次数为n,当网络迭代n次后结束训练;最终使得网络对清晰化后图像和低能见度图像间的残差值趋近于0。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110867788.6A CN113962878B (zh) | 2021-07-29 | 2021-07-29 | 一种低能见度图像去雾模型方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110867788.6A CN113962878B (zh) | 2021-07-29 | 2021-07-29 | 一种低能见度图像去雾模型方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113962878A CN113962878A (zh) | 2022-01-21 |
CN113962878B true CN113962878B (zh) | 2024-05-28 |
Family
ID=79460455
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110867788.6A Active CN113962878B (zh) | 2021-07-29 | 2021-07-29 | 一种低能见度图像去雾模型方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113962878B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114998145B (zh) * | 2022-06-07 | 2024-09-06 | 湖南大学 | 一种基于多尺度和上下文学习网络的低照度图像增强方法 |
CN115909064A (zh) * | 2022-11-15 | 2023-04-04 | 大连海事大学 | 一种海雾环境下基于深度学习的海上舰船目标检测方法 |
CN117151990B (zh) * | 2023-06-28 | 2024-03-22 | 西南石油大学 | 一种基于自注意力编码解码的图像去雾方法 |
CN117726550B (zh) * | 2024-02-18 | 2024-04-30 | 成都信息工程大学 | 一种多尺度门控注意力遥感图像去雾方法和系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110020682A (zh) * | 2019-03-29 | 2019-07-16 | 北京工商大学 | 一种基于小样本学习的注意力机制关系对比网络模型方法 |
CN111047515A (zh) * | 2019-12-29 | 2020-04-21 | 兰州理工大学 | 一种基于注意力机制的空洞卷积神经网络图像超分辨率重建方法 |
CN111161146A (zh) * | 2019-12-25 | 2020-05-15 | 大连理工大学 | 一种由粗糙到精细的单张图像超分辨率重建方法 |
CN111681180A (zh) * | 2020-05-25 | 2020-09-18 | 厦门大学 | 先验驱动的深度学习图像去雾方法 |
-
2021
- 2021-07-29 CN CN202110867788.6A patent/CN113962878B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110020682A (zh) * | 2019-03-29 | 2019-07-16 | 北京工商大学 | 一种基于小样本学习的注意力机制关系对比网络模型方法 |
CN111161146A (zh) * | 2019-12-25 | 2020-05-15 | 大连理工大学 | 一种由粗糙到精细的单张图像超分辨率重建方法 |
CN111047515A (zh) * | 2019-12-29 | 2020-04-21 | 兰州理工大学 | 一种基于注意力机制的空洞卷积神经网络图像超分辨率重建方法 |
CN111681180A (zh) * | 2020-05-25 | 2020-09-18 | 厦门大学 | 先验驱动的深度学习图像去雾方法 |
Non-Patent Citations (1)
Title |
---|
编码―解码结构的语义分割;韩慧慧;李帷韬;王建平;焦点;孙百顺;;中国图象图形学报;20200216(第02期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113962878A (zh) | 2022-01-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113962878B (zh) | 一种低能见度图像去雾模型方法 | |
CN111784602B (zh) | 一种生成对抗网络用于图像修复的方法 | |
CN108921799B (zh) | 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法 | |
CN110992275B (zh) | 一种基于生成对抗网络的细化单幅图像去雨方法 | |
CN111915530B (zh) | 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法 | |
CN109685072B (zh) | 一种基于生成对抗网络的复合降质图像高质量重建方法 | |
CN110070517B (zh) | 基于退化成像机理和生成对抗机制的模糊图像合成方法 | |
CN111028177A (zh) | 一种基于边缘的深度学习图像去运动模糊方法 | |
Chen et al. | Remote sensing image quality evaluation based on deep support value learning networks | |
CN112489164B (zh) | 基于改进深度可分离卷积神经网络的图像着色方法 | |
CN110751612A (zh) | 多通道多尺度卷积神经网络的单幅图像去雨方法 | |
CN110675462A (zh) | 一种基于卷积神经网络的灰度图像彩色化方法 | |
CN111179196B (zh) | 一种基于分而治之的多分辨率深度网络图像去高光方法 | |
Ahn et al. | EAGNet: Elementwise attentive gating network-based single image de-raining with rain simplification | |
CN112801914A (zh) | 一种基于纹理结构感知的二段式图像修复方法 | |
CN118365543A (zh) | 一种基于改进EnlightenGAN的裂缝图像阴影去除方法 | |
CN112767277B (zh) | 一种基于参考图像的深度特征排序去模糊方法 | |
Zhang et al. | Deep joint neural model for single image haze removal and color correction | |
CN113962905A (zh) | 基于多阶段特征互补网络的单幅图像去雨方法 | |
Kumar et al. | Underwater image enhancement using deep learning | |
CN113763300A (zh) | 一种联合深度上下文与卷积条件随机场的多聚焦图像融合方法 | |
CN113096032A (zh) | 一种基于图像区域划分的非均匀一致模糊去除方法 | |
CN117114984A (zh) | 基于生成对抗网络的遥感图像超分辨率重建方法 | |
Chen et al. | Remote sensing image super-resolution with residual split attention mechanism | |
CN116664421A (zh) | 一种基于多光照角度图像融合的航天器图像去阴影的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |