CN112581409A - 一种基于端到端的多重信息蒸馏网络的图像去雾方法 - Google Patents
一种基于端到端的多重信息蒸馏网络的图像去雾方法 Download PDFInfo
- Publication number
- CN112581409A CN112581409A CN202110009454.5A CN202110009454A CN112581409A CN 112581409 A CN112581409 A CN 112581409A CN 202110009454 A CN202110009454 A CN 202110009454A CN 112581409 A CN112581409 A CN 112581409A
- Authority
- CN
- China
- Prior art keywords
- feature
- layer
- module
- information
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004821 distillation Methods 0.000 title claims abstract description 67
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000006870 function Effects 0.000 claims abstract description 51
- 230000004927 fusion Effects 0.000 claims abstract description 49
- 238000010586 diagram Methods 0.000 claims abstract description 20
- 238000011084 recovery Methods 0.000 claims abstract description 18
- 230000008447 perception Effects 0.000 claims abstract description 8
- 230000002708 enhancing effect Effects 0.000 claims abstract description 6
- 230000004913 activation Effects 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000003213 activating effect Effects 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 claims description 2
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 230000015556 catabolic process Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 239000002245 particle Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000000443 aerosol Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于端到端的多重信息蒸馏网络的图像去雾方法，步骤包括：步骤1、构建去雾网络，去雾网络包括多重信息蒸馏模块、多层次特征融合模块和恢复模块，其中，多重信息蒸馏模块中包括增强空间‑通道特征注意力模块；步骤2、获取雾图的数据；步骤3、进行多层次特征融合；步骤4、调整特征图的尺寸，得到无雾图像；步骤5、计算无雾图像和数据集中对应的标签图像之间的均方误差损失函数和感知误差损失函数，使用这两种损失函数协作共同优化整个去雾网络，即成。本发明方法，突出低层相似度的有效性，非常有益于恢复出无雾图像。
Description
技术领域
本发明属于计算机视觉、图像处理与深度学习技术领域，涉及一种基于端到端的多重信息蒸馏网络的图像去雾方法。
背景技术
近年来，智能视觉系统的发展十分迅速，视觉系统所采集图像质量的好坏对系统工作的稳定性有着重要的影响。然而，在雾霾天气的情况下,大气中存在许多遮光性远强于空气分子的悬浮颗粒(如水滴、气溶胶、灰尘颗粒等)，因此场景光线到达摄像系统之前总是有一部分被悬浮颗粒散射或折射掉，导致获取的图像质量退化，对系统的安全性和稳定性造成了严重的负面影响。因此，研究图像去雾方技术对于计算机视觉系统在雾霾环境下的正常工作具有十分重要的现实意义。
当前对于雾霾图像处理的方法主要分为三类，即基于图像增强、基于物理模型复原以及基于深度学习方法。基于图像增强的方法不考虑雾霾天气下图像质量下降的本质原因，仅通过对图像中人眼视觉感兴趣的部分进行增强，以提升图像的主观视觉效果，这类方法存在信息丢失、图像失真等问题。基于物理模型复原的方法通过研究雾天图像降质的原因，建立图像退化的物理模型，利用模型逆向复原图像，这类方法的去雾结果与模型参数的选取有关，同时需要人工总结图像的先验知识，对复杂场景缺乏普适性。基于深度学习的方法通过设计网络，利用神经网络的特征提取能力学习雾霾的特征，从而达到较好的图像去雾效果，这类方法是近几年的主要研究趋势，但存在网络模型复杂，训练参数量大，对计算平台的内存和计算能力要求较高的问题。
近几年提出来的深度去雾网络越来越深且复杂，训练通常是非常困难的，信息蒸馏的提出是为了更好的获取特征，进一步学习有用的特征。然而，大部分的信息蒸馏方法用于图像的超分辨率，很少有人将信息蒸馏用于图像去雾方面的应用。
发明内容
本发明的目的是提供一种基于端到端的多重信息蒸馏网络的图像去雾方法，解决了现有技术的去雾方法适应性差，训练困难和预测精度低的问题。
本发明所采用的技术方案是，一种基于端到端的多重信息蒸馏网络的图像去雾方法，按照以下步骤实施：
步骤1、构建去雾网络，
去雾网络包括多重信息蒸馏模块、多层次特征融合模块和恢复模块，其中，多重信息蒸馏模块中包括增强空间-通道特征注意力模块；
步骤2、获取雾图的数据，
首先通过一个卷积层将雾图转换为64个特征图，然后通过多重信息蒸馏模块从这64个特征图中逐层提取重要的特征；
步骤3、进行多层次特征融合，
利用多层次特征融合模块从上到下共进行两次特征融合，利用逐元素相加的方式融合从不同的信息蒸馏模块中提取到的特征图，将这些特征图在空间维度上进行拼接；将第三个信息蒸馏模块输出的特征看作高层特征，将第二个信息蒸馏模块输出的特征看作中间层次特征，将第一个信息蒸馏模块输出的特征看作低层特征，
第一次特征融合的对象是高层特征和中间层次特征，将融合后生成的特征视为高级特征；第二次特征融合的对象是第一次特征融合得到的高级特征与第一个多重信息蒸馏模块输出的低层特征，第二次特征融合的输出直接作为恢复模块的输入；
步骤4、调整特征图的尺寸，
将多层次特征融合模块生成的特征图作为恢复模块的输入，输出的特征图将与整个去雾网络的原始输入雾图具有相同的尺寸；该恢复模块由两个3×3的卷积层组成，第一个3×3卷积的通道数是64，第二个3×3卷积的通道数是3，最后将原始输入雾图跳跃连接到最后一个3×3卷积的输出，得到无雾图像；
步骤5、计算无雾图像和数据集中对应的标签图像之间的均方误差损失函数和感知误差损失函数，使用这两种损失函数协作共同优化整个去雾网络，即成。
本发明的有益效果是，包括以下方面：1)本发明采用的多重信息蒸馏模块能逐层提取雾图不同层次的特征信息(颜色、边缘、纹理等)，提高网络运行的效率，并利用它们之间的互补作用从雾图中有效地恢复出无雾图像；2)本发明采用了一种增强空间-通道特征注意力模块，使模型专注于更重要的信息；3)本发明还采用特征融合的方式整合不同层次的特征信息，充分利用低层特征去衡量图像与具有相同语义的最近邻像素之间的细节相似性，突出低层相似度的有效性，这对于恢复无雾图像非常有益。
附图说明
图1为本发明方法实施例的去雾流程图；
图2为本发明方法实施例的应用场景图；
图3为图2模型中的多重信息蒸馏模块的应用场景图；
图4为图3模型中的增强空间-通道特征注意力模块的应用场景图。
具体实施方式
下面参见附图和具体实施方式对本发明进行详细说明。
参照图1，本发明基于端到端的多重信息蒸馏网络的图像去雾方法，按照以下步骤实施：
步骤1、构建去雾网络，
去雾网络包括多重信息蒸馏模块(如图3所示)、多层次特征融合模块(如图2所示)和恢复模块(如图2所示)，其中，多重信息蒸馏模块中包括增强空间-通道特征注意力模块(具体分为通道注意力模块和增强空间注意力模块)；
图2实施例中黑色方框所示，是多层次特征融合模块的结构示意图，多重信息蒸馏模块包括功能架构一致的三个信息蒸馏模块，多层次特征融合模块首先将从第二个、第三个信息蒸馏模块中输出的特征进行融合，再将融合后的特征与从第一个信息蒸馏模块中输出的特征进行融合。在此可以将第三个信息蒸馏模块输出的特征看作高层特征，第一个信息蒸馏模块输出的特征看作低层特征，第二个信息蒸馏模块输出的特征看作中间层次特征。
图3所示是其中一个信息蒸馏模块的结构示意图，每个信息蒸馏模块分为逐层信息蒸馏和信息融合两大部分，
图3黑色虚线方框所示，逐层信息蒸馏部分用来逐步提取不同层次的特征，主要原理是一点一点地提取有用的特征，最后将提取出来的所有的信息级联在一起；信息融合部分是在蒸馏出所有的信息后将它们级联在一起，然后根据提取出来特征的重要性进行聚合，并通过增强空间-通道特征注意力模块对聚合后的特征进行评估，以增强收集到的各种精细信息，更好的恢复图像，
图3黑色方框所示，信息融合部分是将逐层信息蒸馏部分中聚合后的特征信息进一步的融合、分配权重；信息融合部分包括两层神经网络，按层顺序对输入特征进行处理，首先对级联特征采用LReLU激活函数，第一层是1×1卷积，第二层是增强空间-通道特征注意力模块，专门用于处理低层次视觉任务，根据提取出来的特征的重要性进行聚合，以增强收集到的各种精细信息，更好的恢复图像。
图2黑色虚线方框所示是本发明方法实施例中恢复模块的结构示意图。该恢复模块由两个3×3卷积组成，得到与输入要素具有相同尺寸的权重图，其中，第一个3×3卷积的通道数是64，第二个3×3卷积的通道数是3。
具体过程如图2所示，本步骤使用RESIDE数据集中的OTS和ITS数据集作为训练样本，并通过随机旋转90、180、270度和水平翻转来增加训练数据集，使用SOTS作为测试样本。
实施例中，每次将雾图裁剪成尺寸为240×240的块作为整个去雾网络的输入，使用PyTorch 1.4.0框架，并预设在OTS数据集上的训练步长为1000000，在ITS数据集上的训练步长为500000。
步骤2、获取雾图的数据，
首先通过一个卷积层将雾图转换为64个特征图，然后通过多重信息蒸馏模块(实施例总共设置有三个信息蒸馏模块)从这64个特征图中逐层提取重要的特征，
其中，每个信息蒸馏模块内部按照功能又分为逐层信息蒸馏和信息融合两大部分，具体包括：
2.1)逐层信息蒸馏部分在像素级进行特征提取，每一步蒸馏时会利用不同的卷积运算对前一步的特征进行分割操作，每种卷积以固定的比例压缩通道的特征，将产生两部分特征：采用1×1卷积层的特征信息都被保留下来，被保留下来的部分看作是精细的特征；采用一个用恒等连接包裹起来的3×3卷积层提取的是粗尺度的特征，紧接着是一个ReLU激活单元，然后被送入下一个蒸馏单元，进行进一步的特征提取；
本发明实施例的步骤进行了三次蒸馏操作，其中，用恒等连接包裹起来的3×3卷积层的好处是，能够从3×3卷积层自身进行残差学习，而不引入任何额外的参数，实现了更深层次的残差连接；
2.2)信息融合部分包括两层神经网络，按层顺序对输入特征进行处理，对级联后的特征采用LReLU激活函数，第一层是1×1卷积，第二层是采用增强空间-通道特征注意力模块，
增强空间-通道特征注意力模块如图4所示，按照功能又细分为通道注意力模块和增强空间注意力模块，通道注意力模块考虑了不同通道像素具有完全不同的加权信息，增强空间注意力模块考虑了同一通道不同位置像素具有完全不同的加权信息，根据提取出来特征的重要性进行聚合，给精细信息分配更多的权重，
增强空间-通道特征注意力模块的具体操作步骤如下：
从信息融合部分中的1×1卷积层输出的特征图被送入通道注意力模块，该通道注意力模块的第一层是全局平均池化层，将通道全局空间信息转化为通道描述符，全局平均池化操作的表达式如下：
其中，Xc(i,j)表示第c个通道Xc在(i,j)位置的值，HP为全局平均池化函数；第二层是卷积层，第三层是ReLU激活函数(用δ表示)，第四层是卷积层，第五层是sigmoid激活函数(用σ表示)，通道注意力模块表达式如下：
CAc＝σ(Conv(δ(Conv(gc))))，
从通道注意力模块输出的特征图紧接着被送入增强空间注意力模块，图4虚线方框所示即是增强空间注意力模块；首先使用1×1的卷积层来针对轻量的问题以减少特征图的数量；然后为了扩大感受野，使用步长为2的卷积层和平均池化操作，卷积组是3个3×3的卷积堆叠；最后用上采样层匹配空间维度，采用sigmoid激活函数；其中，将第一个卷积层的输出连接到上采样层后以增强残差学习，将增强空间注意力模块的输入特征通过逐元素点乘的方式连接到sigmoid激活函数后以保留浅层信息。
步骤3、进行多层次特征融合，
如图2黑色方框所示，是本发明方法实施例中多层次特征融合模块的结构示意图，从上到下共进行两次特征融合，利用逐元素相加的方式融合从不同的信息蒸馏模块中提取到的特征图，将这些特征图在空间维度上进行拼接；将第三个信息蒸馏模块输出的特征看作高层特征，将第二个信息蒸馏模块输出的特征看作中间层次特征，将第一个信息蒸馏模块输出的特征看作低层特征，
第一次特征融合的对象是高层特征和中间层次特征，将融合后生成的特征视为高级特征；第二次特征融合的对象是第一次特征融合得到的高级特征与第一个多重信息蒸馏模块输出的低层特征，第二次特征融合的输出直接作为恢复模块的输入。
本步骤中，对于多层次特征采用融合而不是拼接的方式，是由于直接拼接不能充分利用高层和低层特征的互补性，高层特征不足以描述细节信息，而低层特征则来自背景混乱和语义歧义。如果以直接拼接的方式，特征会受到高层相似度的影响，使得低层相似度在区分细节信息差异方面无法起作用，从而削弱低层特征的相似性。因此本步骤采用逐点元素相加的方式融合不同层次的特征，利用低层特征来衡量雾图与具有相同语义的最近邻像素之间的细节相似性，试图突出低层相似度的有效性，低层特征用于细化高层特征的排序结果，而不是直接连接多个层。
步骤4、调整特征图的尺寸，
将多层次特征融合模块生成的特征图作为恢复模块的输入，输出的特征图将与整个去雾网络的原始输入雾图具有相同的尺寸；该恢复模块由两个3×3的卷积层组成，第一个3×3卷积的通道数是64，第二个3×3卷积的通道数是3，最后将原始输入雾图跳跃连接到最后一个3×3卷积的输出，得到无雾图像；
步骤5、计算无雾图像和数据集中对应的标签图像之间的均方误差损失函数和感知误差损失函数，使用这两种损失函数协作共同优化整个去雾网络，其中，均方误差损失函数用于衡量无雾图像与对应的标签图像之间的差异，感知误差损失函数用于帮助整个去雾网络从更高的维度去感知雾图，指导恢复的无雾图像更加真实自然，
标签图像是数据集里面的，标签图像是清晰无雾的，雾图就是通过给标签图像做一些加雾的处理得到的，等于说数据集里本身存在两种图像：雾图和标签图像。本方法是将数据集里的雾图作为输入进行处理，处理后得到无雾图像；在最后一步计算损失函数的时候需要用到数据集里的标签图像，计算的是无雾图像和标签图像之间的差别，标签图像相当于一个标准，来衡量处理后的图像效果好不好。
第一种为均方误差损失函数，对无雾图像和对应的标签图像计算的均方误差损失函数的表达式为：
其中，N代表每次输入整个去雾网络的雾图数量，
代表模型恢复的无雾图像，
表示对应的标签图像；
第二种为感知误差损失函数，使用在ImageNet数据集上预训练的VGG16网络(该VGG-16网络具有13个卷积层，分为5个阶段)，利用VGG16网络在每个阶段的最后卷积层提取特征并计算差异，采用的感知误差损失函数的表达式为：
其中，Φk(·)表示VGG16网络对应的卷积层(即Conv1-2、Conv2-2和Conv3-3)相对应的特征提取器，Ck、Wk和Hk分别表示Φk(·)的维数，K＝1,2,3；
综合上述两种损失函数，整个去雾网络的损失函数表达式为：
L＝LMSE+λLPer，
其中，λ是调节均方误差损失函数和感知误差损失函数的参数，均方误差损失函数测量去雾后的图像和数据集中对应的标签图像之间的偏差，感知误差损失函数帮助整个去雾网络从更高的维度感知图像，恢复出更加真实的无雾图像，通过这两种损失函数的共同协作，整个去雾网络在训练过程中被逐步优化，即成。
Claims (5)
1.一种基于端到端的多重信息蒸馏网络的图像去雾方法，其特征在于，按照以下步骤实施：
步骤1、构建去雾网络，
去雾网络包括多重信息蒸馏模块、多层次特征融合模块和恢复模块，其中，多重信息蒸馏模块中包括增强空间-通道特征注意力模块；
步骤2、获取雾图的数据，
首先通过一个卷积层将雾图转换为64个特征图，然后通过多重信息蒸馏模块从这64个特征图中逐层提取重要的特征；
步骤3、进行多层次特征融合，
利用多层次特征融合模块从上到下共进行两次特征融合，利用逐元素相加的方式融合从不同的信息蒸馏模块中提取到的特征图，将这些特征图在空间维度上进行拼接；将第三个信息蒸馏模块输出的特征看作高层特征，将第二个信息蒸馏模块输出的特征看作中间层次特征，将第一个信息蒸馏模块输出的特征看作低层特征，
第一次特征融合的对象是高层特征和中间层次特征，将融合后生成的特征视为高级特征；第二次特征融合的对象是第一次特征融合得到的高级特征与第一个多重信息蒸馏模块输出的低层特征，第二次特征融合的输出直接作为恢复模块的输入；
步骤4、调整特征图的尺寸，
将多层次特征融合模块生成的特征图作为恢复模块的输入，输出的特征图将与整个去雾网络的原始输入雾图具有相同的尺寸；该恢复模块由两个3×3的卷积层组成，第一个3×3卷积的通道数是64，第二个3×3卷积的通道数是3，最后将原始输入雾图跳跃连接到最后一个3×3卷积的输出，得到无雾图像；
步骤5、计算无雾图像和数据集中对应的标签图像之间的均方误差损失函数和感知误差损失函数，使用这两种损失函数协作共同优化整个去雾网络，即成。
2.根据权利要求1所述的基于端到端的多重信息蒸馏网络的图像去雾方法，其特征在于：所述的步骤1中，多重信息蒸馏模块包括功能架构一致的三个信息蒸馏模块，
每个信息蒸馏模块分为逐层信息蒸馏和信息融合两大部分，
逐层信息蒸馏部分用来逐步提取不同层次的特征，一点一点地提取有用的特征，最后将提取出来的所有的信息级联在一起；
信息融合部分包括两层神经网络，按层顺序对输入特征进行处理，首先对级联特征采用LReLU激活函数，第一层是1×1卷积，第二层是增强空间-通道特征注意力模块，用于处理低层次视觉任务，根据提取出来的特征的重要性进行聚合，以增强收集到的各种精细信息，更好的恢复图像。
3.根据权利要求2所述的基于端到端的多重信息蒸馏网络的图像去雾方法，其特征在于：所述的步骤1中，恢复模块的结构是，由两个3×3卷积组成，得到与输入要素具有相同尺寸的权重图，其中，第一个3×3卷积的通道数是64，第二个3×3卷积的通道数是3。
4.根据权利要求3所述的基于端到端的多重信息蒸馏网络的图像去雾方法，其特征在于：所述的步骤2中，每个信息蒸馏模块内部按照功能又分为逐层信息蒸馏和信息融合两大部分，具体过程是：
2.1)逐层信息蒸馏部分在像素级进行特征提取，每一步蒸馏时会利用不同的卷积运算对前一步的特征进行分割操作，每种卷积以固定的比例压缩通道的特征，将产生两部分特征：采用1×1卷积层的特征信息都被保留下来，被保留下来的部分看作是精细的特征；采用一个用恒等连接包裹起来的3×3卷积层提取的是粗尺度的特征，紧接着是一个ReLU激活单元，然后被送入下一个蒸馏单元，进行进一步的特征提取；
2.2)信息融合部分包括两层神经网络，按层顺序对输入特征进行处理，对级联后的特征采用LReLU激活函数，第一层是1×1卷积，第二层是采用增强空间-通道特征注意力模块，
增强空间-通道特征注意力模块的具体操作过程是：
从信息融合部分中的1×1卷积层输出的特征图被送入通道注意力模块，该通道注意力模块的第一层是全局平均池化层，将通道全局空间信息转化为通道描述符，全局平均池化操作的表达式如下：
其中，Xc(i,j)表示第c个通道Xc在(i,j)位置的值，HP为全局平均池化函数；第二层是卷积层，第三层是ReLU激活函数用δ表示，第四层是卷积层，第五层是sigmoid激活函数用σ表示，通道注意力模块表达式如下：
CAc＝σ(Conv(δ(Conv(gc))))，
从通道注意力模块输出的特征图紧接着被送入增强空间注意力模块，首先使用1×1的卷积层来针对轻量的问题以减少特征图的数量；然后为了扩大感受野，使用步长为2的卷积层和平均池化操作，卷积组是3个3×3的卷积堆叠；最后用上采样层匹配空间维度，采用sigmoid激活函数；其中，将第一个卷积层的输出连接到上采样层后以增强残差学习，将增强空间注意力模块的输入特征通过逐元素点乘的方式连接到sigmoid激活函数后以保留浅层信息。
5.根据权利要求4所述的基于端到端的多重信息蒸馏网络的图像去雾方法，其特征在于：所述的步骤5中，具体过程是，
第一种为均方误差损失函数，对无雾图像和对应的标签图像计算的均方误差损失函数的表达式为：
其中，N代表每次输入整个去雾网络的雾图数量，
代表模型恢复的无雾图像，
表示对应的标签图像；
第二种为感知误差损失函数，使用在ImageNet数据集上预训练的VGG16网络，利用VGG16网络在每个阶段的最后卷积层提取特征并计算差异，采用的感知误差损失函数的表达式为：
其中，Φk(·)表示VGG16网络对应的卷积层(即Conv1-2、Conv2-2和Conv3-3)相对应的特征提取器，Ck、Wk和Hk分别表示Φk(·)的维数，K＝1,2,3；
综合上述两种损失函数，整个去雾网络的损失函数表达式为：
L＝LMSE+λLPer，
其中，λ是调节均方误差损失函数和感知误差损失函数的参数，均方误差损失函数测量去雾后的图像和数据集中对应的标签图像之间的偏差，感知误差损失函数帮助整个去雾网络从更高的维度感知图像，恢复出更加真实的无雾图像，通过这两种损失函数的共同协作，整个去雾网络在训练过程中被逐步优化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110009454.5A CN112581409B (zh) | 2021-01-05 | 2021-01-05 | 一种基于端到端的多重信息蒸馏网络的图像去雾方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110009454.5A CN112581409B (zh) | 2021-01-05 | 2021-01-05 | 一种基于端到端的多重信息蒸馏网络的图像去雾方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112581409A true CN112581409A (zh) | 2021-03-30 |
| CN112581409B CN112581409B (zh) | 2024-05-07 |
Family
ID=75144681
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110009454.5A Active CN112581409B (zh) | 2021-01-05 | 2021-01-05 | 一种基于端到端的多重信息蒸馏网络的图像去雾方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112581409B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113077389A (zh) * | 2021-04-28 | 2021-07-06 | 广东工业大学 | 一种基于信息蒸馏结构的红外热成像方法 |
| CN113269685A (zh) * | 2021-05-12 | 2021-08-17 | 南通大学 | 一种融合多注意力机制的图像去雾方法 |
| CN113763251A (zh) * | 2021-09-14 | 2021-12-07 | 浙江师范大学 | 一种图像超分辨率放大模型及其方法 |
| CN113762484A (zh) * | 2021-09-22 | 2021-12-07 | 辽宁师范大学 | 深度蒸馏的多聚焦图像融合方法 |
| CN114202481A (zh) * | 2021-12-13 | 2022-03-18 | 贵州大学 | 一种基于图像高频信息融合的多尺度特征去雾网络及方法 |
| CN114627002A (zh) * | 2022-02-07 | 2022-06-14 | 华南理工大学 | 一种基于自适应特征融合的图像去雾方法 |
| CN115238833A (zh) * | 2022-09-22 | 2022-10-25 | 中国民航大学 | 一种空气涡轮起动机轴承性能退化特征提取方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2020100274A4 (en) * | 2020-02-25 | 2020-03-26 | Huang, Shuying DR | A Multi-Scale Feature Fusion Network based on GANs for Haze Removal |
| CN111539887A (zh) * | 2020-04-21 | 2020-08-14 | 温州大学 | 一种基于混合卷积的通道注意力机制和分层学习的神经网络图像去雾方法 |
| CN111539888A (zh) * | 2020-04-21 | 2020-08-14 | 温州大学 | 一种基于金字塔通道特征注意力的神经网络图像去雾方法 |
| CN111915531A (zh) * | 2020-08-06 | 2020-11-10 | 温州大学 | 一种多层次特征融合和注意力引导的神经网络图像去雾方法 |
| CN111915530A (zh) * | 2020-08-06 | 2020-11-10 | 温州大学 | 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法 |
-
2021
- 2021-01-05 CN CN202110009454.5A patent/CN112581409B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2020100274A4 (en) * | 2020-02-25 | 2020-03-26 | Huang, Shuying DR | A Multi-Scale Feature Fusion Network based on GANs for Haze Removal |
| CN111539887A (zh) * | 2020-04-21 | 2020-08-14 | 温州大学 | 一种基于混合卷积的通道注意力机制和分层学习的神经网络图像去雾方法 |
| CN111539888A (zh) * | 2020-04-21 | 2020-08-14 | 温州大学 | 一种基于金字塔通道特征注意力的神经网络图像去雾方法 |
| CN111915531A (zh) * | 2020-08-06 | 2020-11-10 | 温州大学 | 一种多层次特征融合和注意力引导的神经网络图像去雾方法 |
| CN111915530A (zh) * | 2020-08-06 | 2020-11-10 | 温州大学 | 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法 |
Non-Patent Citations (3)
| Title |
|---|
| 吴嘉炜;余兆钗;李佐勇;刘维娜;张祖昌;: "一种基于深度学习的两阶段图像去雾网络", 计算机应用与软件, no. 04 * |
| 谭台哲;柳博;: "基于分组卷积和空间注意力机制的单幅图像去雨方法", 电脑知识与技术, no. 20 * |
| 贾绪仲;文志强;: "一种基于条件生成对抗网络的去雾方法", 信息与电脑(理论版), no. 09 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113077389A (zh) * | 2021-04-28 | 2021-07-06 | 广东工业大学 | 一种基于信息蒸馏结构的红外热成像方法 |
| CN113269685A (zh) * | 2021-05-12 | 2021-08-17 | 南通大学 | 一种融合多注意力机制的图像去雾方法 |
| CN113763251A (zh) * | 2021-09-14 | 2021-12-07 | 浙江师范大学 | 一种图像超分辨率放大模型及其方法 |
| CN113762484A (zh) * | 2021-09-22 | 2021-12-07 | 辽宁师范大学 | 深度蒸馏的多聚焦图像融合方法 |
| CN113762484B (zh) * | 2021-09-22 | 2022-12-13 | 辽宁师范大学 | 深度蒸馏的多聚焦图像融合方法 |
| CN114202481A (zh) * | 2021-12-13 | 2022-03-18 | 贵州大学 | 一种基于图像高频信息融合的多尺度特征去雾网络及方法 |
| CN114627002A (zh) * | 2022-02-07 | 2022-06-14 | 华南理工大学 | 一种基于自适应特征融合的图像去雾方法 |
| CN114627002B (zh) * | 2022-02-07 | 2024-09-27 | 华南理工大学 | 一种基于自适应特征融合的图像去雾方法 |
| CN115238833A (zh) * | 2022-09-22 | 2022-10-25 | 中国民航大学 | 一种空气涡轮起动机轴承性能退化特征提取方法 |
| CN115238833B (zh) * | 2022-09-22 | 2022-11-25 | 中国民航大学 | 一种空气涡轮起动机轴承性能退化特征提取方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112581409B (zh) | 2024-05-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112581409B (zh) | 一种基于端到端的多重信息蒸馏网络的图像去雾方法 | |
| CN110570371B (zh) | 一种基于多尺度残差学习的图像去雾方法 | |
| CN109711463B (zh) | 基于注意力的重要对象检测方法 | |
| CN111915530B (zh) | 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法 | |
| CN108734210B (zh) | 一种基于跨模态多尺度特征融合的对象检测方法 | |
| CN113344806A (zh) | 一种基于全局特征融合注意力网络的图像去雾方法与系统 | |
| CN107239730B (zh) | 智能汽车交通标志识别的四元数深度神经网络模型方法 | |
| CN112541503A (zh) | 基于上下文注意力机制和信息融合的实时语义分割方法 | |
| CN112926396A (zh) | 一种基于双流卷积注意力的动作识别方法 | |
| CN113673590B (zh) | 基于多尺度沙漏密集连接网络的去雨方法、系统和介质 | |
| CN111241963B (zh) | 基于交互建模的第一人称视角视频交互行为识别方法 | |
| CN112365414A (zh) | 一种基于双路残差卷积神经网络的图像去雾方法 | |
| CN114170516B (zh) | 一种基于路侧感知的车辆重识别方法、装置及电子设备 | |
| CN112241939B (zh) | 一种基于多尺度和非局部的轻量去雨方法 | |
| CN116912485A (zh) | 一种基于热感图像和可见光图像特征融合的场景语义分割方法 | |
| Mehra et al. | TheiaNet: Towards fast and inexpensive CNN design choices for image dehazing | |
| CN110852199A (zh) | 一种基于双帧编码解码模型的前景提取方法 | |
| Nie et al. | Stereo refinement dehazing network | |
| CN115577768A (zh) | 半监督模型训练方法和装置 | |
| CN111627055A (zh) | 一种联合语义分割的场景深度补全方法 | |
| CN115527096A (zh) | 一种基于改进YOLOv5的小目标检测方法 | |
| CN114155165A (zh) | 一种基于半监督的图像去雾方法 | |
| CN114596548A (zh) | 目标检测方法、装置、计算机设备及计算机可读存储介质 | |
| Siddiqua et al. | MACGAN: an all-in-one image restoration under adverse conditions using multidomain attention-based conditional GAN | |
| CN112085680B (zh) | 一种图像处理方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240403 Address after: No. 59, Baihe Phase 1 Shop, Baige Road, Buji Street, Longgang District, Shenzhen City, Guangdong Province, 518112 Applicant after: Qiruru Earprint Technology (Shenzhen) Co.,Ltd. Country or region after: China Address before: 710048 Shaanxi province Xi'an Beilin District Jinhua Road No. 5 Applicant before: XI'AN University OF TECHNOLOGY Country or region before: China |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |