CN112767283A - 一种基于多图像块划分的非均匀图像去雾方法 - Google Patents

一种基于多图像块划分的非均匀图像去雾方法 Download PDF

Info

Publication number
CN112767283A
CN112767283A CN202110147535.1A CN202110147535A CN112767283A CN 112767283 A CN112767283 A CN 112767283A CN 202110147535 A CN202110147535 A CN 202110147535A CN 112767283 A CN112767283 A CN 112767283A
Authority
CN
China
Prior art keywords
image
layer
module
decoder
encoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110147535.1A
Other languages
English (en)
Inventor
孙帮勇
余喆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN202110147535.1A priority Critical patent/CN112767283A/zh
Publication of CN112767283A publication Critical patent/CN112767283A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于多图像块划分的非均匀图像去雾方法，步骤包括：步骤1、训练数据的预处理；步骤2、构建图像去雾模型；步骤3、获取雾图的数据；步骤4、训练图像去雾模型，训练时信息流是自下而上流动的；步骤5、计算无雾图像和数据集中对应的标签图像之间的均方误差损失函数、感知误差损失函数和总变差损失函数，更新图像去雾模型，即成。本发明的方法，避免了假设雾霾的密度相同所带来的弊端，提高了网络运行的效率，这样能够利用不同层之间的互补作用从雾图中有效地恢复出无雾图像；对于场景中不同密度的雾霾或不同的环境都是非常稳健的，且图像去雾模型是轻量级的。

Description

一种基于多图像块划分的非均匀图像去雾方法
技术领域
本发明属于计算机图像处理与深度学习技术领域，涉及一种基于多图像块划分的非均匀图像去雾方法。
背景技术
当前对于雾霾图像处理的方法主要分为两大类，即基于传统的方法以及基于深度学习的方法。基于传统的方法在早期的图像去雾任务中被大量使用，但这类方法需要在特定的条件下依赖各种先验信息，算法的泛化能力差，很难应用到实际任务中。近年来，随着深度学习在其他计算机图像视觉领域的发展，基于深度学习的去雾方法得到了广泛使用。这类方法分为三种：一是基于Mask层，将雾看做图像的一层，设计算法估计雾层，通过将雾层进行分离从而得到无雾图像，避免了复杂参数的估计，但自适应调整能力低；二是将传统与深度相结合，透射图或大气光的估计由卷积神经网络来估计，但去雾效果的好坏取决于参数估计的精度；三是设计端到端的网络，利用神经网络的特征提取能力学习雾霾的特征，从而达到较好的图像去雾效果，这类方法是目前的主要研究趋势。
近几年提出来的深度去雾网络越来越多，但是，无论是基于端到端的图像去雾方法，还是其他基于深度学习的方法，几乎都很难解决非均匀雾霾图像去除的问题，大多数网络在设计时都假设雾霾的密度是均匀的，而实际获取到的雾图往往是非均匀的，因此使得最终获取到的无雾图像效果不佳。
发明内容
本发明的目的是提供一种基于多图像块划分的非均匀图像去雾方法，解决了现有的去雾方法自适应性差，难以处理非均匀雾霾图像的问题。
本发明所采用的技术方案是，一种基于多图像块划分的非均匀图像去雾方法，按照以下步骤实施：
步骤1、训练数据的预处理；
步骤2、构建图像去雾模型，
该图像去雾模型是一个多层体系结构，最顶层是第一层，中间层是第二层，最底层是第三层；每一层的输入是不同数量的图像块，第一层的输入是一个图像块，第二层的输入是两个图像块，第三层的输入是四个图像块；每一层所采用的编码器和解码器的结构都是相同的，第一层的编码器和解码器分别称为编码器一和解码器一，第二层的编码器和解码器分别称为编码器二和解码器二，第三层的编码器和解码器分别称为编码器三和解码器三；
步骤3、获取雾图的数据，
利用图像去雾模型中的编码器一、编码器二、编码器三分别提取各自层输入的雾图图像块中的特征信息，分别生成对应图像块的特征图，然后将各自层中不同雾图图像块的特征图对应送入解码器一、解码器二、解码器三中，将提取出来的不同雾图图像块的特征图进一步再提取；
步骤4、训练图像去雾模型，
对于整个图像去雾模型，选取一张雾图IH用于第一层的训练，将IH进行纵向划分后得到的两个图像块
Figure BDA0002931192260000021
和
Figure BDA0002931192260000022
用于第二层的训练，再将
Figure BDA0002931192260000023
和
Figure BDA0002931192260000024
进行横向划分后得到的四个图像块
Figure BDA0002931192260000025
用于第三层的训练，训练时信息流是自下而上流动的；
步骤5、计算无雾图像和数据集中对应的标签图像之间的均方误差损失函数、感知误差损失函数和总变差损失函数，更新图像去雾模型，即成。
本发明的有益效果是，包括以下方面：1)本发明采用多图像划分的方法将非均匀的雾图进行分区处理，在不同的分区分别进行特征学习，避免了假设雾霾的密度相同所带来的弊端；2)本发明采用了多层体系结构进行图像去雾模型的训练，整个体系结构分别三层，每一层都整合了前一层的特征信息，提高了网络运行的效率，这样能够利用不同层之间的互补作用从雾图中有效地恢复出无雾图像；3)本发明提出的图像去雾模型对于场景中不同密度的雾霾或不同的环境都是非常稳健的，且图像去雾模型是轻量级的；4)本发明还提出使用均方误差损失函数、感知误差损失函数和总变差损失函数协作指导去雾模型达去雾性能。均方误差损失函数用于测量去雾图像与其对应的地面真实情况之间的重建误差，感知损失函数用于量化恢复图像和地面真实情况之间的视觉差异，总变差损失函数用于促进生成的无雾图像具有空间平滑性，这对于恢复清晰的图像非常有益。
附图说明
图1为本发明方法的流程框图；
图2为本发明方法实施例图像去雾模型的应用场景图；
图3a是本发明方法基于图2实施例中注意力模块的结构示意图；
图3b是图3a中的CA模块(通道注意力模块)框图；
图3c是图3a中的PA模块(像素注意力模块)框图；
图4是本发明方法基于图2中的增强模块的流程框图。
具体实施方式
下面参照附图和具体实施方式对本发明进行详细说明。
参照图1，本发明的方法，按照以下步骤实施：
步骤1、训练数据的预处理，
实施例使用的非均匀雾图数据集只有45张雾图，由于可用数据数量较少，因此将该非均匀雾图数据集中的每张雾图再分成100个不重叠的图像块，得到一个包含了4500张雾图块的训练集；
步骤2、构建图像去雾模型，
该图像去雾模型是一个多层体系结构，实施例包含三层，最顶层是第一层，中间层是第二层，最底层是第三层；每一层的输入是不同数量的图像块，第一层的输入是一个图像块，第二层的输入是两个图像块，第三层的输入是四个图像块；每一层所采用的编码器和解码器的结构都是相同的，第一层的编码器和解码器分别称为编码器一和解码器一，第二层的编码器和解码器分别称为编码器二和解码器二，第三层的编码器和解码器分别称为编码器三和解码器三；
如图2所示，本发明实施例采用Res2Net的一部分作为每一层的编码器，其中，删除了Res2Net的全连接层，并使用16倍下行采样层中预先训练的参数对上述图像去雾模型进行初始化。Res2Net最初是用来训练图像分类的，它通过在单一残差块中对残差连接进行分级，进而达到细粒度层级的多尺度表征，具备很强的多规模特征提取能力，同时能够提高图像去雾模型每一层的感受野大小。
如图2所示，本发明实施例中每一层采用的解码器由上采样模块、注意力模块、增强模块和反卷积+Tanh激活函数组成，本步骤使用PixelShuffler作为上采样模块，PixelShuffler是一种端到端的上采样模块，通过设置上采样比例，由低分辨率图像获取指定倍率的高分辨率图像。上采样能够理解为，在输入图像块中的同一个位置，将原本以1：1的提取信息比例提高到了1：4，这样提取信息的频率变高了，因此能反映更多的细节。
图3a所示是本发明方法实施例中注意力模块的结构示意图，该注意力模块中包含了CA模块(全称为通道注意力模块，见图3b)和PA模块(全称为像素注意力模块，见图3c)，CA模块主要关注不同的通道具有完全不同的加权信息，PA模块主要考虑到不同图像像素上的分布不均匀，需要使网络更加关注浓雾区域和高频区域的像素。
注意力模块的结构及具体操作步骤如下：
注意力模块的层次结构是，包括卷积层—ReLU激活函数(层)—卷积层—CA模块—PA模块，最后将前一个卷积层的输入与PA模块的输出通过逐点元素相加的方式融合在一起，作为整个注意力模块的输出，
其中，CA模块首先采用一个全局平均池化层，将通道全局空间信息转化为通道描述符，全局平均池化操作的表达式如下：
Figure BDA0002931192260000051
其中，Xc(i,j)表示第c个通道Xc在(i,j)位置的值，HP为全局平均池化函数；
然后是两个卷积层，分别用ReLU激活函数和sigmoid激活函数进行激活，分别对每个通道的输出权重进行线性变换，CA模块的表达式如下：CAc＝σ(Conv(δ(Conv(gc))))，用δ表示ReLU激活函数，σ表示sigmoid激活函数，
最后，将CA模块的输入(设为X)通过逐元素点乘的方式连接到sigmoid激活函数后以保留浅层信息，则CA模块的输出Fc表达式如下：
Figure BDA0002931192260000052
该特征图Fc紧接着被送入PA模块。
图3c所示，PA模块的结构是，包括卷积层—ReLU激活函数—卷积层—sigmoid激活函数，经过两个激活函数后分别对同一通道、不同像素位置的输出权重进行线性变换，PA模块的表达式如下：
PA＝σ(Conv(δ(Conv(Fc))))，将输入Fc通过逐元素点乘的方式连接到sigmoid激活函数后，以保存更多的细节信息并将其传递到更深的层，则PA模块的输出Fp的表达式如下：
Figure BDA0002931192260000061
由于上述CA模块和PA模块的作用，使得整个注意力模块能够自适应地将学习到的权重分配给不同的特征，从而赋予重要特征更多的权重，让图像去雾模型更多地关注有效信息，如纹理、颜色和厚雾区域，这为处理非均匀雾霾提供了额外的灵活性。本发明实施例总共使用了3个注意力模块，分别设置在解码器一、解码器二、解码器三的第一层和两个上采样模块之后，
图4所示是本发明方法采用的增强模块的结构示意图。为了扩展图像去雾模型的表示能力，分别在解码器一、解码器二、解码器三的最后一个上采样模块之后引入一个增强模块，以确保不同尺度的特征细节嵌入到最终输出的无雾图像中。首先利用两个新卷积层(这是区别前述描述的卷积层而另外新设置的卷积层，是该增强模块中应用到的卷积层)提取特征图，再利用池化层，将两个新卷积层的输出按4倍、8倍、16倍、32倍的因子下采样，构建一个四尺度的金字塔，则四个不同尺度的特征图具有不同的感受野，这有助于在不同尺度上重建图像；然后，使用1×1卷积对特征图进行降维，并将特征图上采样到原始大小；最后，将降维后的特征图与池化层的输入连接在一起；于是，图像去雾模型就能够根据不同的感受野学习更多的图像上下文信息，从而实现对去雾结果进行细化。
步骤3、获取雾图的数据，
本步骤采用三组编码器-解码器的结构来获取雾图的特征信息，利用图像去雾模型中的编码器一、编码器二、编码器三分别提取各自层输入的雾图图像块中的特征信息，分别生成对应图像块的特征图，然后将各自层中不同雾图图像块的特征图对应送入解码器一、解码器二、解码器三中，将提取出来的不同雾图图像块的特征图进一步再提取；
步骤4、训练图像去雾模型，
以下将编码器一和解码器一分别表示为Enc1,Dec1，将编码器二和解码器二分别表示为Enc2,Dec2，将编码器三和解码器三分别表示为Enc3,Dec3，
对于整个图像去雾模型，选取一张雾图IH用于第一层的训练，将IH进行纵向划分后得到的两个图像块
Figure BDA0002931192260000071
和
Figure BDA0002931192260000072
用于第二层的训练，再将
Figure BDA0002931192260000073
和
Figure BDA0002931192260000074
进行横向划分后得到的四个图像块
Figure BDA0002931192260000075
用于第三层的训练，训练时信息流是自下而上流动的，具体过程是，
4.1)四个图像块
Figure BDA0002931192260000076
被送入Enc3中生成相应的特征图
Figure BDA0002931192260000077
则特征图
Figure BDA0002931192260000078
表示为：
Figure BDA0002931192260000079
将特征图
Figure BDA00029311922600000710
在空间上级联在一起，整合成与
Figure BDA00029311922600000711
相同的形状，获得一个新的特征P3,1,P3,2，表示为：
Figure BDA00029311922600000712
将P3,1,P3,2送入Dec3中进一步特征提取，Dec3的输出Q3,1,Q3,2表示为：Q3,1,Q3,2＝Dec3(P3,1,P3,2)，
完成第三层的训练过程；
4.2)将Dec3的输出Q3,1,Q3,2与Enc2的输入
Figure BDA00029311922600000713
相加，一起送入Enc2中进行第二层的特征提取，生成相应的特征图
Figure BDA00029311922600000714
特征图
Figure BDA00029311922600000715
表示为：
Figure BDA00029311922600000716
为了充分利用训练过程中不同层的特征信息，将Enc3的输出特征P3,1,P3,2与Enc2的输出特征
Figure BDA00029311922600000717
相加，将二者在空间上级联在一起，整合成与IH相同的形状，获得一个新的特征P2表示为：
Figure BDA0002931192260000081
将P2送入Dec2中进一步特征提取，则Dec2的输出Q2表示为：Q2＝Dec2(P2)，
完成第二层的训练过程；
4.3)将Dec2的输出Q2与Enc1的输入IH相加，一起送入Enc1中进行第一层的特征提取，生成相应的特征图F1 H，特征图F1 H表示为：
F1 H＝Enc1(IH+Q2)，
为了充分利用第二层的特征信息，将第二层的中间特征P2与Enc1的输出特征F1 H相加，将二者在空间上级联在一起，获得一个新的特征P1表示为：P1＝[P2+F1 H]，将P1送入Dec1中得到最终的无雾图像J表示为：J＝Dec1(P1)；
完成第一层的训练过程；
步骤5、计算无雾图像和数据集中对应的标签图像之间的均方误差损失函数、感知误差损失函数和总变差损失函数，更新图像去雾模型，
其中，均方误差损失函数指导图像去雾模型学习无雾图像的内容，感知误差损失函数用于量化恢复的图像和对应无雾图像之间的视觉差异，总变差损失函数用来降低相邻像素值之间的差异，使得生成的无雾图像更加平滑；以上三种损失函数协作，实现图像去雾模型的优化，
5.1)均方误差损失函数，均方误差损失函数有助于图像去雾模型生成的无雾图像接近于数据集中对应的标签图像，对无雾图像和对应的标签图像计算的均方误差损失函数的表达式为：
Figure BDA0002931192260000082
其中，N代表每次输入整个去雾网络的雾图数量，
Figure BDA0002931192260000083
代表模型恢复的无雾图像，
Figure BDA0002931192260000084
表示对应的标签图像；
5.2)感知误差损失函数，使用在ImageNet数据集上预训练的VGG16网络(该VGG-16网络具有13个卷积层，分为5个阶段)，利用VGG16网络在每个阶段的最后卷积层提取特征并计算差异，采用的感知误差损失函数的表达式为：
Figure BDA0002931192260000091
其中，Φk(·)表示VGG16网络对应的卷积层(即Conv1-2、Conv2-2和Conv3-3)相对应的特征提取器，Ck、Wk和Hk分别表示Φk(·)的维数，K＝1,2,3；
5.3)总变差损失函数，总变差损失函数是常用的一种正则项，由于在无雾图像复原的过程中会放大噪声，会对复原的结果产生非常大的影响，因此需要在图像去雾模型中添加一些正则项来保持无雾图像的光滑性，本步骤采用总变差损失函数配合上述两种损失函数一起使用，以约束无雾图像的噪声，采用的总变差损失函数的表达式为：
Figure BDA0002931192260000092
其中，
Figure BDA0002931192260000093
表示水平梯度算子，
Figure BDA0002931192260000094
表示垂直梯度算子，J表示无雾图像；
综合上述三种损失函数，整个图像去雾模型的损失函数表达式为：
L＝λMSELMSE+λPerLPer+λTVLTV，
其中，λMSE,λPer,λTV是调节均方误差损失函数、感知误差损失函数和总变差损失函数之间的参数，优选取值λMSE＝1,λPer＝6e-3,λTV＝2e-8，即成。

Claims (6)

1.一种基于多图像块划分的非均匀图像去雾方法，其特征在于，按照以下步骤实施：
步骤1、训练数据的预处理；
步骤2、构建图像去雾模型，
该图像去雾模型是一个多层体系结构，最顶层是第一层，中间层是第二层，最底层是第三层；每一层的输入是不同数量的图像块，第一层的输入是一个图像块，第二层的输入是两个图像块，第三层的输入是四个图像块；每一层所采用的编码器和解码器的结构都是相同的，第一层的编码器和解码器分别称为编码器一和解码器一，第二层的编码器和解码器分别称为编码器二和解码器二，第三层的编码器和解码器分别称为编码器三和解码器三；
步骤3、获取雾图的数据，
利用图像去雾模型中的编码器一、编码器二、编码器三分别提取各自层输入的雾图图像块中的特征信息，分别生成对应图像块的特征图，然后将各自层中不同雾图图像块的特征图对应送入解码器一、解码器二、解码器三中，将提取出来的不同雾图图像块的特征图进一步再提取；
步骤4、训练图像去雾模型，
对于整个图像去雾模型，选取一张雾图IH用于第一层的训练，将IH进行纵向划分后得到的两个图像块
Figure FDA0002931192250000011
和
Figure FDA0002931192250000012
用于第二层的训练，再将
Figure FDA0002931192250000013
和
Figure FDA0002931192250000014
进行横向划分后得到的四个图像块
Figure FDA0002931192250000015
用于第三层的训练，训练时信息流是自下而上流动的；
步骤5、计算无雾图像和数据集中对应的标签图像之间的均方误差损失函数、感知误差损失函数和总变差损失函数，更新图像去雾模型，即成。
2.根据权利要求1所述的基于多图像块划分的非均匀图像去雾方法，其特征在于：所述的步骤2中，具体过程是，
采用Res2Net的一部分作为每一层的编码器，删除了Res2Net的全连接层，并使用16倍下行采样层中预先训练的参数对上述图像去雾模型进行初始化，
每一层采用的解码器由上采样模块、注意力模块、增强模块和反卷积+Tanh激活函数组成，使用PixelShuffler作为上采样模块，
注意力模块中包含了CA模块和PA模块。
3.根据权利要求2所述的基于多图像块划分的非均匀图像去雾方法，其特征在于：所述的步骤2中，注意力模块的层次结构是，包括卷积层—ReLU激活函数—卷积层—CA模块—PA模块，最后将前一个卷积层的输入与PA模块的输出通过逐点元素相加的方式融合在一起，作为整个注意力模块的输出，
其中，CA模块首先采用一个全局平均池化层，将通道全局空间信息转化为通道描述符，全局平均池化操作的表达式如下：
Figure FDA0002931192250000021
其中，Xc(i,j)表示第c个通道Xc在(i,j)位置的值，HP为全局平均池化函数；然后是两个卷积层，分别用ReLU激活函数和sigmoid激活函数进行激活，分别对每个通道的输出权重进行线性变换，CA模块的表达式如下：CAc＝σ(Conv(δ(Conv(gc))))，用δ表示ReLU激活函数，σ表示sigmoid激活函数；最后，将CA模块的输入(设为X)通过逐元素点乘的方式连接到sigmoid激活函数后以保留浅层信息，则CA模块的输出Fc表达式如下：
Figure FDA0002931192250000022
该特征图Fc紧接着被送入PA模块；
PA模块的结构是，包括卷积层—ReLU激活函数—卷积层—sigmoid激活函数，经过两个激活函数后分别对同一通道、不同像素位置的输出权重进行线性变换，PA模块的表达式如下：PA＝σ(Conv(δ(Conv(Fc))))，将输入Fc通过逐元素点乘的方式连接到sigmoid激活函数后，以保存更多的细节信息并将其传递到更深的层，则PA模块的输出Fp的表达式如下：
Figure FDA0002931192250000031
4.根据权利要求3所述的基于多图像块划分的非均匀图像去雾方法，其特征在于：所述的步骤2中，所述的增强模块的结构是，分别在解码器一、解码器二、解码器三的最后一个上采样模块之后引入一个增强模块，
首先利用两个新卷积层提取特征图，再利用池化层，将两个新卷积层的输出按4倍、8倍、16倍、32倍的因子下采样，构建一个四尺度的金字塔，则四个不同尺度的特征图具有不同的感受野；然后，使用1×1卷积对特征图进行降维，并将特征图上采样到原始大小；最后，将降维后的特征图与池化层的输入连接在一起。
5.根据权利要求4所述的基于多图像块划分的非均匀图像去雾方法，其特征在于：所述的步骤4中，将编码器一和解码器一分别表示为Enc1,Dec1，将编码器二和解码器二分别表示为Enc2,Dec2，将编码器三和解码器三分别表示为Enc3,Dec3，具体过程是，
4.1)四个图像块
Figure FDA0002931192250000032
被送入Enc3中生成相应的特征图
Figure FDA0002931192250000033
则特征图
Figure FDA0002931192250000034
表示为：
Figure FDA0002931192250000035
将特征图
Figure FDA0002931192250000036
在空间上级联在一起，整合成与
Figure FDA0002931192250000037
相同的形状，获得一个新的特征P3,1,P3,2，表示为：
Figure FDA0002931192250000038
将P3,1,P3,2送入Dec3中进一步特征提取，Dec3的输出Q3,1,Q3,2表示为：Q3,1,Q3,2＝Dec3(P3,1,P3,2)，完成第三层的训练过程；
4.2)将Dec3的输出Q3,1,Q3,2与Enc2的输入
Figure FDA0002931192250000041
相加，一起送入Enc2中进行第二层的特征提取，生成相应的特征图
Figure FDA0002931192250000042
特征图
Figure FDA0002931192250000043
表示为：
Figure FDA0002931192250000044
将Enc3的输出特征P3,1,P3,2与Enc2的输出特征
Figure FDA0002931192250000045
相加，将二者在空间上级联在一起，整合成与IH相同的形状，获得一个新的特征P2表示为：
Figure FDA0002931192250000046
将P2送入Dec2中进一步特征提取，则Dec2的输出Q2表示为：Q2＝Dec2(P2)，完成第二层的训练过程；
4.3)将Dec2的输出Q2与Enc1的输入IH相加，一起送入Enc1中进行第一层的特征提取，生成相应的特征图F1 H，特征图F1 H表示为：F1 H＝Enc1(IH+Q2)，
将第二层的中间特征P2与Enc1的输出特征F1 H相加，将二者在空间上级联在一起，获得一个新的特征P1表示为：P1＝[P2+F1 H]，将P1送入Dec1中得到最终的无雾图像J表示为：J＝Dec1(P1)；完成第一层的训练过程。
6.根据权利要求5所述的基于多图像块划分的非均匀图像去雾方法，其特征在于：所述的步骤5中，具体过程是，
5.1)均方误差损失函数，对无雾图像和对应的标签图像计算的均方误差损失函数的表达式为：
Figure FDA0002931192250000047
其中，N代表每次输入整个去雾网络的雾图数量，
Figure FDA0002931192250000048
代表模型恢复的无雾图像，
Figure FDA0002931192250000049
表示对应的标签图像；
5.2)感知误差损失函数，使用在ImageNet数据集上预训练的VGG16网络，利用VGG16网络在每个阶段的最后卷积层提取特征并计算差异，采用的感知误差损失函数的表达式为：
Figure FDA00029311922500000410
其中，Φk(·)表示VGG16网络对应的卷积层相对应的特征提取器，Ck、Wk和Hk分别表示Φk(·)的维数，K＝1,2,3；
5.3)总变差损失函数，采用的总变差损失函数的表达式为：
Figure FDA0002931192250000051
其中，
Figure FDA0002931192250000052
表示水平梯度算子，
Figure FDA0002931192250000053
表示垂直梯度算子，J表示无雾图像；
综合上述三种损失函数，整个图像去雾模型的损失函数表达式为：
L＝λMSELMSE+λPerLPer+λTVLTV，
其中，λMSE,λPer,λTV是调节均方误差损失函数、感知误差损失函数和总变差损失函数之间的参数，取值λMSE＝1,λPer＝6e-3,λTV＝2e-8，即成。
CN202110147535.1A 2021-02-03 2021-02-03 一种基于多图像块划分的非均匀图像去雾方法 Pending CN112767283A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110147535.1A CN112767283A (zh) 2021-02-03 2021-02-03 一种基于多图像块划分的非均匀图像去雾方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110147535.1A CN112767283A (zh) 2021-02-03 2021-02-03 一种基于多图像块划分的非均匀图像去雾方法

Publications (1)

Publication Number Publication Date
CN112767283A true CN112767283A (zh) 2021-05-07

Family

ID=75704742

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110147535.1A Pending CN112767283A (zh) 2021-02-03 2021-02-03 一种基于多图像块划分的非均匀图像去雾方法

Country Status (1)

Country Link
CN (1) CN112767283A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113284070A (zh) * 2021-06-16 2021-08-20 河南理工大学 基于传递注意力机制的非均匀雾图去雾算法
CN113313644A (zh) * 2021-05-26 2021-08-27 西安理工大学 一种基于残差双注意力网络的水下图像增强方法
CN114140341A (zh) * 2021-10-29 2022-03-04 厦门大学 一种基于深度学习的磁共振图像非均匀场校正方法
CN114821239A (zh) * 2022-05-10 2022-07-29 安徽农业大学 一种有雾环境下的病虫害检测方法
CN115063304A (zh) * 2022-05-19 2022-09-16 湖南师范大学 一种基于端到端的多尺寸融合的金字塔神经网络图像去雾方法及系统
CN115760641A (zh) * 2022-12-06 2023-03-07 二十一世纪空间技术应用股份有限公司 基于多尺度特征注意力网络的遥感影像去云雾方法和设备
CN114821239B (zh) * 2022-05-10 2024-07-02 安徽农业大学 一种有雾环境下的病虫害检测方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111915530A (zh) * 2020-08-06 2020-11-10 温州大学 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111915530A (zh) * 2020-08-06 2020-11-10 温州大学 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HAIYAN WU等: "Knowledge Transfer Dehazing Network for NonHomogeneous Dehazing", 《2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS》 *
SOURYA DIPTA DAS等: "Fast Deep Multi-patch Hierarchical Network for Nonhomogeneous Image Dehazing", 《2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS》 *
XU QIN等: "FFA-Net: Feature Fusion Attention Network for Single Image Dehazing", 《ARXIV》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113313644A (zh) * 2021-05-26 2021-08-27 西安理工大学 一种基于残差双注意力网络的水下图像增强方法
CN113313644B (zh) * 2021-05-26 2024-03-26 西安理工大学 一种基于残差双注意力网络的水下图像增强方法
CN113284070A (zh) * 2021-06-16 2021-08-20 河南理工大学 基于传递注意力机制的非均匀雾图去雾算法
CN114140341A (zh) * 2021-10-29 2022-03-04 厦门大学 一种基于深度学习的磁共振图像非均匀场校正方法
CN114140341B (zh) * 2021-10-29 2024-06-07 厦门大学 一种基于深度学习的磁共振图像非均匀场校正方法
CN114821239A (zh) * 2022-05-10 2022-07-29 安徽农业大学 一种有雾环境下的病虫害检测方法
CN114821239B (zh) * 2022-05-10 2024-07-02 安徽农业大学 一种有雾环境下的病虫害检测方法
CN115063304A (zh) * 2022-05-19 2022-09-16 湖南师范大学 一种基于端到端的多尺寸融合的金字塔神经网络图像去雾方法及系统
CN115063304B (zh) * 2022-05-19 2023-08-25 湖南师范大学 一种多尺寸融合的金字塔神经网络图像去雾方法及系统
CN115760641A (zh) * 2022-12-06 2023-03-07 二十一世纪空间技术应用股份有限公司 基于多尺度特征注意力网络的遥感影像去云雾方法和设备
CN115760641B (zh) * 2022-12-06 2024-01-23 二十一世纪空间技术应用股份有限公司 基于多尺度特征注意力网络的遥感影像去云雾方法和设备

Similar Documents

Publication Publication Date Title
Lim et al. DSLR: Deep stacked Laplacian restorer for low-light image enhancement
CN112767283A (zh) 一种基于多图像块划分的非均匀图像去雾方法
CN107123089B (zh) 基于深度卷积网络的遥感图像超分辨重建方法及系统
CN111028177B (zh) 一种基于边缘的深度学习图像去运动模糊方法
CN110136062B (zh) 一种联合语义分割的超分辨率重建方法
CN112435191B (zh) 一种基于多个神经网络结构融合的低照度图像增强方法
CN113177882B (zh) 一种基于扩散模型的单帧图像超分辨处理方法
CN111784582B (zh) 一种基于dec_se的低照度图像超分辨率重建方法
CN111681166A (zh) 一种堆叠注意力机制编解码单元的图像超分辨率重建方法
CN110363068B (zh) 一种基于多尺度循环生成式对抗网络的高分辨行人图像生成方法
CN113837946B (zh) 一种基于递进蒸馏网络的轻量化图像超分辨率重建方法
CN112699844B (zh) 一种基于多尺度残差层级密连接网络的图像超分辨率方法
Li et al. Underwater image high definition display using the multilayer perceptron and color feature-based SRCNN
CN112580473B (zh) 一种融合运动特征的视频超分辨率重构方法
CN113362242B (zh) 基于多特征融合网络的图像修复方法
CN114170286B (zh) 一种基于无监督深度学习的单目深度估计方法
CN116152120A (zh) 一种融合高低频特征信息的低光图像增强方法及装置
CN112070668A (zh) 一种基于深度学习和边缘增强的图像超分辨方法
CN115393227A (zh) 基于深度学习的微光全彩视频图像自适应增强方法及系统
CN114638842B (zh) 一种基于mlp的医学图像分割方法
CN115526779A (zh) 一种基于动态注意力机制的红外图像超分辨率重建方法
CN117274059A (zh) 基于图像编码-解码的低分辨率图像重构方法及其系统
CN116563100A (zh) 一种基于内核引导网络的盲超分辨率重建方法
CN113962878B (zh) 一种低能见度图像去雾模型方法
CN117689592A (zh) 一种基于级联自适应网络的水下图像增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210507

RJ01 Rejection of invention patent application after publication