CN112581409B - 一种基于端到端的多重信息蒸馏网络的图像去雾方法 - Google Patents

一种基于端到端的多重信息蒸馏网络的图像去雾方法 Download PDF

Info

Publication number
CN112581409B
CN112581409B CN202110009454.5A CN202110009454A CN112581409B CN 112581409 B CN112581409 B CN 112581409B CN 202110009454 A CN202110009454 A CN 202110009454A CN 112581409 B CN112581409 B CN 112581409B
Authority
CN
China
Prior art keywords
layer
module
features
feature
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110009454.5A
Other languages
English (en)
Other versions
CN112581409A (zh
Inventor
孙帮勇
余喆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qiruru Earprint Technology Shenzhen Co ltd
Original Assignee
Qiruru Earprint Technology Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qiruru Earprint Technology Shenzhen Co ltd filed Critical Qiruru Earprint Technology Shenzhen Co ltd
Priority to CN202110009454.5A priority Critical patent/CN112581409B/zh
Publication of CN112581409A publication Critical patent/CN112581409A/zh
Application granted granted Critical
Publication of CN112581409B publication Critical patent/CN112581409B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于端到端的多重信息蒸馏网络的图像去雾方法，步骤包括：步骤1、构建去雾网络，去雾网络包括多重信息蒸馏模块、多层次特征融合模块和恢复模块，其中，多重信息蒸馏模块中包括增强空间‑通道特征注意力模块；步骤2、获取雾图的数据；步骤3、进行多层次特征融合；步骤4、调整特征图的尺寸，得到无雾图像；步骤5、计算无雾图像和数据集中对应的标签图像之间的均方误差损失函数和感知误差损失函数，使用这两种损失函数协作共同优化整个去雾网络，即成。本发明方法，突出低层相似度的有效性，非常有益于恢复出无雾图像。

Description

一种基于端到端的多重信息蒸馏网络的图像去雾方法
技术领域
本发明属于计算机视觉、图像处理与深度学习技术领域，涉及一种基于端到端的多重信息蒸馏网络的图像去雾方法。
背景技术
近年来，智能视觉系统的发展十分迅速，视觉系统所采集图像质量的好坏对系统工作的稳定性有着重要的影响。然而，在雾霾天气的情况下,大气中存在许多遮光性远强于空气分子的悬浮颗粒(如水滴、气溶胶、灰尘颗粒等)，因此场景光线到达摄像系统之前总是有一部分被悬浮颗粒散射或折射掉，导致获取的图像质量退化，对系统的安全性和稳定性造成了严重的负面影响。因此，研究图像去雾方技术对于计算机视觉系统在雾霾环境下的正常工作具有十分重要的现实意义。
当前对于雾霾图像处理的方法主要分为三类，即基于图像增强、基于物理模型复原以及基于深度学习方法。基于图像增强的方法不考虑雾霾天气下图像质量下降的本质原因，仅通过对图像中人眼视觉感兴趣的部分进行增强，以提升图像的主观视觉效果，这类方法存在信息丢失、图像失真等问题。基于物理模型复原的方法通过研究雾天图像降质的原因，建立图像退化的物理模型，利用模型逆向复原图像，这类方法的去雾结果与模型参数的选取有关，同时需要人工总结图像的先验知识，对复杂场景缺乏普适性。基于深度学习的方法通过设计网络，利用神经网络的特征提取能力学习雾霾的特征，从而达到较好的图像去雾效果，这类方法是近几年的主要研究趋势，但存在网络模型复杂，训练参数量大，对计算平台的内存和计算能力要求较高的问题。
近几年提出来的深度去雾网络越来越深且复杂，训练通常是非常困难的，信息蒸馏的提出是为了更好的获取特征，进一步学习有用的特征。然而，大部分的信息蒸馏方法用于图像的超分辨率，很少有人将信息蒸馏用于图像去雾方面的应用。
发明内容
本发明的目的是提供一种基于端到端的多重信息蒸馏网络的图像去雾方法，解决了现有技术的去雾方法适应性差，训练困难和预测精度低的问题。
本发明所采用的技术方案是，一种基于端到端的多重信息蒸馏网络的图像去雾方法，按照以下步骤实施：
步骤1、构建去雾网络，
去雾网络包括多重信息蒸馏模块、多层次特征融合模块和恢复模块，其中，多重信息蒸馏模块中包括增强空间-通道特征注意力模块；
步骤2、获取雾图的数据，
首先通过一个卷积层将雾图转换为64个特征图，然后通过多重信息蒸馏模块从这64个特征图中逐层提取重要的特征；
步骤3、进行多层次特征融合，
利用多层次特征融合模块从上到下共进行两次特征融合，利用逐元素相加的方式融合从不同的信息蒸馏模块中提取到的特征图，将这些特征图在空间维度上进行拼接；将第三个信息蒸馏模块输出的特征看作高层特征，将第二个信息蒸馏模块输出的特征看作中间层次特征，将第一个信息蒸馏模块输出的特征看作低层特征，
第一次特征融合的对象是高层特征和中间层次特征，将融合后生成的特征视为高级特征；第二次特征融合的对象是第一次特征融合得到的高级特征与第一个多重信息蒸馏模块输出的低层特征，第二次特征融合的输出直接作为恢复模块的输入；
步骤4、调整特征图的尺寸，
将多层次特征融合模块生成的特征图作为恢复模块的输入，输出的特征图将与整个去雾网络的原始输入雾图具有相同的尺寸；该恢复模块由两个3×3的卷积层组成，第一个3×3卷积的通道数是64，第二个3×3卷积的通道数是3，最后将原始输入雾图跳跃连接到最后一个3×3卷积的输出，得到无雾图像；
步骤5、计算无雾图像和数据集中对应的标签图像之间的均方误差损失函数和感知误差损失函数，使用这两种损失函数协作共同优化整个去雾网络，即成。
本发明的有益效果是，包括以下方面：1)本发明采用的多重信息蒸馏模块能逐层提取雾图不同层次的特征信息(颜色、边缘、纹理等)，提高网络运行的效率，并利用它们之间的互补作用从雾图中有效地恢复出无雾图像；2)本发明采用了一种增强空间-通道特征注意力模块，使模型专注于更重要的信息；3)本发明还采用特征融合的方式整合不同层次的特征信息，充分利用低层特征去衡量图像与具有相同语义的最近邻像素之间的细节相似性，突出低层相似度的有效性，这对于恢复无雾图像非常有益。
附图说明
图1为本发明方法实施例的去雾流程图；
图2为本发明方法实施例的应用场景图；
图3为图2模型中的多重信息蒸馏模块的应用场景图；
图4为图3模型中的增强空间-通道特征注意力模块的应用场景图。
具体实施方式
下面参见附图和具体实施方式对本发明进行详细说明。
参照图1，本发明基于端到端的多重信息蒸馏网络的图像去雾方法，按照以下步骤实施：
步骤1、构建去雾网络，
去雾网络包括多重信息蒸馏模块(如图3所示)、多层次特征融合模块(如图2所示)和恢复模块(如图2所示)，其中，多重信息蒸馏模块中包括增强空间-通道特征注意力模块(具体分为通道注意力模块和增强空间注意力模块)；
图2实施例中黑色方框所示，是多层次特征融合模块的结构示意图，多重信息蒸馏模块包括功能架构一致的三个信息蒸馏模块，多层次特征融合模块首先将从第二个、第三个信息蒸馏模块中输出的特征进行融合，再将融合后的特征与从第一个信息蒸馏模块中输出的特征进行融合。在此可以将第三个信息蒸馏模块输出的特征看作高层特征，第一个信息蒸馏模块输出的特征看作低层特征，第二个信息蒸馏模块输出的特征看作中间层次特征。
图3所示是其中一个信息蒸馏模块的结构示意图，每个信息蒸馏模块分为逐层信息蒸馏和信息融合两大部分，
图3黑色虚线方框所示，逐层信息蒸馏部分用来逐步提取不同层次的特征，主要原理是一点一点地提取有用的特征，最后将提取出来的所有的信息级联在一起；信息融合部分是在蒸馏出所有的信息后将它们级联在一起，然后根据提取出来特征的重要性进行聚合，并通过增强空间-通道特征注意力模块对聚合后的特征进行评估，以增强收集到的各种精细信息，更好的恢复图像，
图3黑色方框所示，信息融合部分是将逐层信息蒸馏部分中聚合后的特征信息进一步的融合、分配权重；信息融合部分包括两层神经网络，按层顺序对输入特征进行处理，首先对级联特征采用LReLU激活函数，第一层是1×1卷积，第二层是增强空间-通道特征注意力模块，专门用于处理低层次视觉任务，根据提取出来的特征的重要性进行聚合，以增强收集到的各种精细信息，更好的恢复图像。
图2黑色虚线方框所示是本发明方法实施例中恢复模块的结构示意图。该恢复模块由两个3×3卷积组成，得到与输入要素具有相同尺寸的权重图，其中，第一个3×3卷积的通道数是64，第二个3×3卷积的通道数是3。
具体过程如图2所示，本步骤使用RESIDE数据集中的OTS和ITS数据集作为训练样本，并通过随机旋转90、180、270度和水平翻转来增加训练数据集，使用SOTS作为测试样本。
实施例中，每次将雾图裁剪成尺寸为240×240的块作为整个去雾网络的输入，使用PyTorch 1.4.0框架，并预设在OTS数据集上的训练步长为1000000，在ITS数据集上的训练步长为500000。
步骤2、获取雾图的数据，
首先通过一个卷积层将雾图转换为64个特征图，然后通过多重信息蒸馏模块(实施例总共设置有三个信息蒸馏模块)从这64个特征图中逐层提取重要的特征，
其中，每个信息蒸馏模块内部按照功能又分为逐层信息蒸馏和信息融合两大部分，具体包括：
2.1)逐层信息蒸馏部分在像素级进行特征提取，每一步蒸馏时会利用不同的卷积运算对前一步的特征进行分割操作，每种卷积以固定的比例压缩通道的特征，将产生两部分特征：采用1×1卷积层的特征信息都被保留下来，被保留下来的部分看作是精细的特征；采用一个用恒等连接包裹起来的3×3卷积层提取的是粗尺度的特征，紧接着是一个ReLU激活单元，然后被送入下一个蒸馏单元，进行进一步的特征提取；
本发明实施例的步骤进行了三次蒸馏操作，其中，用恒等连接包裹起来的3×3卷积层的好处是，能够从3×3卷积层自身进行残差学习，而不引入任何额外的参数，实现了更深层次的残差连接；
2.2)信息融合部分包括两层神经网络，按层顺序对输入特征进行处理，对级联后的特征采用LReLU激活函数，第一层是1×1卷积，第二层是采用增强空间-通道特征注意力模块，
增强空间-通道特征注意力模块如图4所示，按照功能又细分为通道注意力模块和增强空间注意力模块，通道注意力模块考虑了不同通道像素具有完全不同的加权信息，增强空间注意力模块考虑了同一通道不同位置像素具有完全不同的加权信息，根据提取出来特征的重要性进行聚合，给精细信息分配更多的权重，
增强空间-通道特征注意力模块的具体操作步骤如下：
从信息融合部分中的1×1卷积层输出的特征图被送入通道注意力模块，该通道注意力模块的第一层是全局平均池化层，将通道全局空间信息转化为通道描述符，全局平均池化操作的表达式如下：
其中，Xc(i,j)表示第c个通道Xc在(i,j)位置的值，HP为全局平均池化函数；第二层是卷积层，第三层是ReLU激活函数(用δ表示)，第四层是卷积层，第五层是sigmoid激活函数(用σ表示)，通道注意力模块表达式如下：
CAc＝σ(Conv(δ(Conv(gc))))，
从通道注意力模块输出的特征图紧接着被送入增强空间注意力模块，图4虚线方框所示即是增强空间注意力模块；首先使用1×1的卷积层来针对轻量的问题以减少特征图的数量；然后为了扩大感受野，使用步长为2的卷积层和平均池化操作，卷积组是3个3×3的卷积堆叠；最后用上采样层匹配空间维度，采用sigmoid激活函数；其中，将第一个卷积层的输出连接到上采样层后以增强残差学习，将增强空间注意力模块的输入特征通过逐元素点乘的方式连接到sigmoid激活函数后以保留浅层信息。
步骤3、进行多层次特征融合，
如图2黑色方框所示，是本发明方法实施例中多层次特征融合模块的结构示意图，从上到下共进行两次特征融合，利用逐元素相加的方式融合从不同的信息蒸馏模块中提取到的特征图，将这些特征图在空间维度上进行拼接；将第三个信息蒸馏模块输出的特征看作高层特征，将第二个信息蒸馏模块输出的特征看作中间层次特征，将第一个信息蒸馏模块输出的特征看作低层特征，
第一次特征融合的对象是高层特征和中间层次特征，将融合后生成的特征视为高级特征；第二次特征融合的对象是第一次特征融合得到的高级特征与第一个多重信息蒸馏模块输出的低层特征，第二次特征融合的输出直接作为恢复模块的输入。
本步骤中，对于多层次特征采用融合而不是拼接的方式，是由于直接拼接不能充分利用高层和低层特征的互补性，高层特征不足以描述细节信息，而低层特征则来自背景混乱和语义歧义。如果以直接拼接的方式，特征会受到高层相似度的影响，使得低层相似度在区分细节信息差异方面无法起作用，从而削弱低层特征的相似性。因此本步骤采用逐点元素相加的方式融合不同层次的特征，利用低层特征来衡量雾图与具有相同语义的最近邻像素之间的细节相似性，试图突出低层相似度的有效性，低层特征用于细化高层特征的排序结果，而不是直接连接多个层。
步骤4、调整特征图的尺寸，
将多层次特征融合模块生成的特征图作为恢复模块的输入，输出的特征图将与整个去雾网络的原始输入雾图具有相同的尺寸；该恢复模块由两个3×3的卷积层组成，第一个3×3卷积的通道数是64，第二个3×3卷积的通道数是3，最后将原始输入雾图跳跃连接到最后一个3×3卷积的输出，得到无雾图像；
步骤5、计算无雾图像和数据集中对应的标签图像之间的均方误差损失函数和感知误差损失函数，使用这两种损失函数协作共同优化整个去雾网络，其中，均方误差损失函数用于衡量无雾图像与对应的标签图像之间的差异，感知误差损失函数用于帮助整个去雾网络从更高的维度去感知雾图，指导恢复的无雾图像更加真实自然，
标签图像是数据集里面的，标签图像是清晰无雾的，雾图就是通过给标签图像做一些加雾的处理得到的，等于说数据集里本身存在两种图像：雾图和标签图像。本方法是将数据集里的雾图作为输入进行处理，处理后得到无雾图像；在最后一步计算损失函数的时候需要用到数据集里的标签图像，计算的是无雾图像和标签图像之间的差别，标签图像相当于一个标准，来衡量处理后的图像效果好不好。
第一种为均方误差损失函数，对无雾图像和对应的标签图像计算的均方误差损失函数的表达式为：
其中，N代表每次输入整个去雾网络的雾图数量，代表模型恢复的无雾图像，表示对应的标签图像；
第二种为感知误差损失函数，使用在ImageNet数据集上预训练的VGG16网络(该VGG-16网络具有13个卷积层，分为5个阶段)，利用VGG16网络在每个阶段的最后卷积层提取特征并计算差异，采用的感知误差损失函数的表达式为：
其中，Φk(·)表示VGG16网络对应的卷积层(即Conv1-2、Conv2-2和Conv3-3)相对应的特征提取器，Ck、Wk和Hk分别表示Φk(·)的维数，K＝1,2,3；
综合上述两种损失函数，整个去雾网络的损失函数表达式为：
L＝LMSE+λLPer，
其中，λ是调节均方误差损失函数和感知误差损失函数的参数，均方误差损失函数测量去雾后的图像和数据集中对应的标签图像之间的偏差，感知误差损失函数帮助整个去雾网络从更高的维度感知图像，恢复出更加真实的无雾图像，通过这两种损失函数的共同协作，整个去雾网络在训练过程中被逐步优化，即成。

Claims (2)

1.一种基于端到端的多重信息蒸馏网络的图像去雾方法，其特征在于，按照以下步骤实施：
步骤1、构建去雾网络，
去雾网络包括多重信息蒸馏模块、多层次特征融合模块和恢复模块，其中，多重信息蒸馏模块中包括增强空间-通道特征注意力模块，
多重信息蒸馏模块包括功能架构一致的三个信息蒸馏模块，
每个信息蒸馏模块分为逐层信息蒸馏和信息融合两大部分，
逐层信息蒸馏部分用来逐步提取不同层次的特征，一点一点地提取有用的特征，最后将提取出来的所有的信息级联在一起；
信息融合部分包括两层神经网络，按层顺序对输入特征进行处理，首先对级联特征采用LReLU激活函数，第一层是1×1卷积，第二层是增强空间-通道特征注意力模块，用于处理低层次视觉任务，根据提取出来的特征的重要性进行聚合，以增强收集到的各种精细信息，更好的恢复图像；
恢复模块的结构是，由两个3×3卷积组成，得到与输入要素具有相同尺寸的权重图，其中，第一个3×3卷积的通道数是64，第二个3×3卷积的通道数是3；
步骤2、获取雾图的数据，
首先通过一个卷积层将雾图转换为64个特征图，然后通过多重信息蒸馏模块从这64个特征图中逐层提取重要的特征，
每个信息蒸馏模块内部按照功能又分为逐层信息蒸馏和信息融合两大部分，具体过程是：
2.1)逐层信息蒸馏部分在像素级进行特征提取，每一步蒸馏时会利用不同的卷积运算对前一步的特征进行分割操作，每种卷积以固定的比例压缩通道的特征，将产生两部分特征：采用1×1卷积层的特征信息都被保留下来，被保留下来的部分看作是精细的特征；采用一个用恒等连接包裹起来的3×3卷积层提取的是粗尺度的特征，紧接着是一个ReLU激活单元，然后被送入下一个蒸馏单元，进行进一步的特征提取；
2.2)信息融合部分包括两层神经网络，按层顺序对输入特征进行处理，对级联后的特征采用LReLU激活函数，第一层是1×1卷积，第二层是采用增强空间-通道特征注意力模块，
增强空间-通道特征注意力模块的具体操作过程是：
从信息融合部分中的1×1卷积层输出的特征图被送入通道注意力模块，该通道注意力模块的第一层是全局平均池化层，将通道全局空间信息转化为通道描述符，全局平均池化操作的表达式如下：
其中，Xc(i,j)表示第c个通道Xc在(i,j)位置的值，HP为全局平均池化函数；第二层是卷积层，第三层是ReLU激活函数用δ表示，第四层是卷积层，第五层是sigmoid激活函数用σ表示，通道注意力模块表达式如下：
CAc＝σ(Conv(δ(Conv(gc))))，
从通道注意力模块输出的特征图紧接着被送入增强空间注意力模块，首先使用1×1的卷积层来针对轻量的问题以减少特征图的数量；然后为了扩大感受野，使用步长为2的卷积层和平均池化操作，卷积组是3个3×3的卷积堆叠；最后用上采样层匹配空间维度，采用sigmoid激活函数；其中，将第一个卷积层的输出连接到上采样层后以增强残差学习，将增强空间注意力模块的输入特征通过逐元素点乘的方式连接到sigmoid激活函数后以保留浅层信息；
步骤3、进行多层次特征融合，
利用多层次特征融合模块从上到下共进行两次特征融合，利用逐元素相加的方式融合从不同的信息蒸馏模块中提取到的特征图，将这些特征图在空间维度上进行拼接；将第三个信息蒸馏模块输出的特征看作高层特征，将第二个信息蒸馏模块输出的特征看作中间层次特征，将第一个信息蒸馏模块输出的特征看作低层特征，
第一次特征融合的对象是高层特征和中间层次特征，将融合后生成的特征视为高级特征；第二次特征融合的对象是第一次特征融合得到的高级特征与第一个多重信息蒸馏模块输出的低层特征，第二次特征融合的输出直接作为恢复模块的输入；
步骤4、调整特征图的尺寸，
将多层次特征融合模块生成的特征图作为恢复模块的输入，输出的特征图将与整个去雾网络的原始输入雾图具有相同的尺寸；该恢复模块由两个3×3的卷积层组成，第一个3×3卷积的通道数是64，第二个3×3卷积的通道数是3，最后将原始输入雾图跳跃连接到最后一个3×3卷积的输出，得到无雾图像；
步骤5、计算无雾图像和数据集中对应的标签图像之间的均方误差损失函数和感知误差损失函数，使用这两种损失函数协作共同优化整个去雾网络，即成。
2.根据权利要求1所述的基于端到端的多重信息蒸馏网络的图像去雾方法，其特征在于：所述的步骤5中，具体过程是，
第一种为均方误差损失函数，对无雾图像和对应的标签图像计算的均方误差损失函数的表达式为：
其中，N代表每次输入整个去雾网络的雾图数量，代表模型恢复的无雾图像，/>表示对应的标签图像；
第二种为感知误差损失函数，使用在ImageNet数据集上预训练的VGG16网络，利用VGG16网络在每个阶段的最后卷积层提取特征并计算差异，采用的感知误差损失函数的表达式为：
其中，Φk(·)表示VGG16网络对应的卷积层(即Conv1-2、Conv2-2和Conv3-3)相对应的特征提取器，Ck、Wk和Hk分别表示Φk(·)的维数，K＝1,2,3；
综合上述两种损失函数，整个去雾网络的损失函数表达式为：
L＝LMSE+λLPer，
其中，λ是调节均方误差损失函数和感知误差损失函数的参数，均方误差损失函数测量去雾后的图像和数据集中对应的标签图像之间的偏差，感知误差损失函数帮助整个去雾网络从更高的维度感知图像，恢复出更加真实的无雾图像，通过这两种损失函数的共同协作，整个去雾网络在训练过程中被逐步优化。
CN202110009454.5A 2021-01-05 2021-01-05 一种基于端到端的多重信息蒸馏网络的图像去雾方法 Active CN112581409B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110009454.5A CN112581409B (zh) 2021-01-05 2021-01-05 一种基于端到端的多重信息蒸馏网络的图像去雾方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110009454.5A CN112581409B (zh) 2021-01-05 2021-01-05 一种基于端到端的多重信息蒸馏网络的图像去雾方法

Publications (2)

Publication Number Publication Date
CN112581409A CN112581409A (zh) 2021-03-30
CN112581409B true CN112581409B (zh) 2024-05-07

Family

ID=75144681

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110009454.5A Active CN112581409B (zh) 2021-01-05 2021-01-05 一种基于端到端的多重信息蒸馏网络的图像去雾方法

Country Status (1)

Country Link
CN (1) CN112581409B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113077389B (zh) * 2021-04-28 2023-04-07 广东工业大学 一种基于信息蒸馏结构的红外热成像方法
CN113269685A (zh) * 2021-05-12 2021-08-17 南通大学 一种融合多注意力机制的图像去雾方法
CN113763251B (zh) * 2021-09-14 2023-06-16 浙江师范大学 一种图像超分辨率放大模型及其方法
CN113762484B (zh) * 2021-09-22 2022-12-13 辽宁师范大学 深度蒸馏的多聚焦图像融合方法
CN115238833B (zh) * 2022-09-22 2022-11-25 中国民航大学 一种空气涡轮起动机轴承性能退化特征提取方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2020100274A4 (en) * 2020-02-25 2020-03-26 Huang, Shuying DR A Multi-Scale Feature Fusion Network based on GANs for Haze Removal
CN111539888A (zh) * 2020-04-21 2020-08-14 温州大学 一种基于金字塔通道特征注意力的神经网络图像去雾方法
CN111539887A (zh) * 2020-04-21 2020-08-14 温州大学 一种基于混合卷积的通道注意力机制和分层学习的神经网络图像去雾方法
CN111915531A (zh) * 2020-08-06 2020-11-10 温州大学 一种多层次特征融合和注意力引导的神经网络图像去雾方法
CN111915530A (zh) * 2020-08-06 2020-11-10 温州大学 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2020100274A4 (en) * 2020-02-25 2020-03-26 Huang, Shuying DR A Multi-Scale Feature Fusion Network based on GANs for Haze Removal
CN111539888A (zh) * 2020-04-21 2020-08-14 温州大学 一种基于金字塔通道特征注意力的神经网络图像去雾方法
CN111539887A (zh) * 2020-04-21 2020-08-14 温州大学 一种基于混合卷积的通道注意力机制和分层学习的神经网络图像去雾方法
CN111915531A (zh) * 2020-08-06 2020-11-10 温州大学 一种多层次特征融合和注意力引导的神经网络图像去雾方法
CN111915530A (zh) * 2020-08-06 2020-11-10 温州大学 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
吴嘉炜 ; 余兆钗 ; 李佐勇 ; 刘维娜 ; 张祖昌 ; .一种基于深度学习的两阶段图像去雾网络.计算机应用与软件.2020,(第04期),全文. *
谭台哲 ; 柳博 ; .基于分组卷积和空间注意力机制的单幅图像去雨方法.电脑知识与技术.2020,(第20期),全文. *
贾绪仲 ; 文志强 ; .一种基于条件生成对抗网络的去雾方法.信息与电脑(理论版).2018,(第09期),全文. *

Also Published As

Publication number Publication date
CN112581409A (zh) 2021-03-30

Similar Documents

Publication Publication Date Title
CN112581409B (zh) 一种基于端到端的多重信息蒸馏网络的图像去雾方法
CN111915530B (zh) 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法
CN108960261B (zh) 一种基于注意力机制的显著物体检测方法
CN112396607B (zh) 一种可变形卷积融合增强的街景图像语义分割方法
CN111199522A (zh) 一种基于多尺度残差生成对抗网络的单图像盲去运动模糊方法
CN111932553A (zh) 基于区域描述自注意力机制的遥感图像语义分割方法
CN113673590B (zh) 基于多尺度沙漏密集连接网络的去雨方法、系统和介质
CN109410144B (zh) 一种基于深度学习的端到端图像去雾处理方法
CN112241939B (zh) 一种基于多尺度和非局部的轻量去雨方法
CN110781980B (zh) 目标检测模型的训练方法、目标检测方法及装置
CN112990065B (zh) 一种基于优化的YOLOv5模型的车辆分类检测方法
CN114936605A (zh) 基于知识蒸馏的神经网络训练方法、设备及存储介质
CN113449691A (zh) 一种基于非局部注意力机制的人形识别系统及方法
CN115527096A (zh) 一种基于改进YOLOv5的小目标检测方法
CN115578280A (zh) 一种双分支遥感图像去雾网络的构建方法
CN116205962A (zh) 基于完整上下文信息的单目深度估计方法及系统
CN114155165A (zh) 一种基于半监督的图像去雾方法
CN113628143A (zh) 一种基于多尺度卷积的加权融合图像去雾方法及装置
CN113034404A (zh) 一种基于多尺度对抗学习的交通图像去模糊方法及装置
CN113505640A (zh) 一种基于多尺度特征融合的小尺度行人检测方法
CN116229406B (zh) 车道线检测方法、系统、电子设备及存储介质
CN112861911A (zh) 一种基于深度特征选择融合的rgb-d语义分割方法
He et al. Haze removal using aggregated resolution convolution network
CN115797684A (zh) 一种基于上下文信息的红外小目标检测方法及系统
CN112446292B (zh) 一种2d图像显著目标检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240403

Address after: No. 59, Baihe Phase 1 Shop, Baige Road, Buji Street, Longgang District, Shenzhen City, Guangdong Province, 518112

Applicant after: Qiruru Earprint Technology (Shenzhen) Co.,Ltd.

Country or region after: China

Address before: 710048 Shaanxi province Xi'an Beilin District Jinhua Road No. 5

Applicant before: XI'AN University OF TECHNOLOGY

Country or region before: China

GR01 Patent grant
GR01 Patent grant