CN113450273B - 一种基于多尺度多阶段神经网络的图像去雾方法及系统 - Google Patents
一种基于多尺度多阶段神经网络的图像去雾方法及系统 Download PDFInfo
- Publication number
- CN113450273B CN113450273B CN202110676400.4A CN202110676400A CN113450273B CN 113450273 B CN113450273 B CN 113450273B CN 202110676400 A CN202110676400 A CN 202110676400A CN 113450273 B CN113450273 B CN 113450273B
- Authority
- CN
- China
- Prior art keywords
- defogging
- image
- layer
- block
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 169
- 230000008447 perception Effects 0.000 claims abstract description 23
- 230000004927 fusion Effects 0.000 claims abstract description 19
- 238000005520 cutting process Methods 0.000 claims abstract description 7
- 238000010801 machine learning Methods 0.000 claims abstract description 7
- 230000008569 process Effects 0.000 claims description 36
- 238000012545 processing Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 13
- 230000009191 jumping Effects 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 8
- 238000011478 gradient descent method Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000005096 rolling process Methods 0.000 claims description 4
- 238000003062 neural network model Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 7
- 239000010410 layer Substances 0.000 description 92
- 230000000694 effects Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 239000002356 single layer Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000004821 distillation Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000002969 morbid Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于多尺度多阶段神经网络的图像去雾方法及系统，该方法包括以下步骤：预处理步骤：对获取的原始有雾图像进行裁剪成预设图像尺寸得到待去雾图像；去雾处理步骤：将待去雾图像输入到多尺度去雾模型中进行去雾处理得到去雾图像，其中多尺度去雾模型为使用多组数据通过机器学习训练得出，多组数据中的每组数据包括有雾图像和对应的真实无雾图像；多尺度去雾模型设有残差卷积块、注意力卷积块以及特征解码卷积块，注意力卷积块分别与残差卷积块、特征解码卷积块连接。本发明利用特征融合将不同的分辨率的特征进行关联得全局特征，使得网络学习到更准确的特征，从而提高了图像的感知质量和视觉效果。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于多尺度多阶段神经网络的图像去雾方法及系统。
背景技术
雾霾是日常生活中一种常见的天气现象。在雾霾天气下拍摄的图像，往往有对比度低，色彩偏移，视觉效果差等退化问题。会导致人们无法分辨出图像里面的物体。由于单幅图像去雾没有其他先验知识，同时根据物理模型，去雾也是一个病态问题，因此导致了单幅图像去雾存在很多难点。通过物理公式所得到的去雾图像，与真实情况存在一定的差异，如果将之用作后续的数据，则会造成一定的误差。但是通过深度学习的方法可以从数据中学习到图像去雾过程，能够模拟出图像去雾的模型，因此能获得比较成功的结果，同时也可以减少人为主观的干预。
图像是社会生活中最重要的信息载体之一，图像质量的降低，会导致图像中提供的信息缺失，基本特征被掩盖，影响后续计算机视觉任务的有效性，人们难以从退化的模糊图像获取有效信息，计算机也无法准确地进行目标识别与分析。在军事领域中，为了获得清晰准确的去雾图像，往往采用特殊的硬件设备，但这些设备不便携带且价格昂贵，无法推广到民用领域中。所以，为了使户外视觉系统能够可靠的工作，采用数字图像处理的算法，对低质量的雾霾图像进行快速、有效的去雾处理，提高图像的信息价值，增强户外视觉系统的鲁棒性等各方面具有重要的现实意义。
现有的主流去雾方法主要有两种，一种是通过端到端的直接学习去雾过程的方法，一种是通过蒸馏学习，学习不同的去雾网络模型的优势达到结合优势的效果。对于现有去雾方法，基本能够达到一个不错的视觉效果。
但是现有去雾网络模型仍存在不足，具体地，现有的去雾网络模型使用了编码器解码器对称结构，而且也仅仅用于单层的特征编码和解码，所以会出现以下问题：1、在去雾过程中都只考虑单层的特征，并没有考虑全局的特征，即在训练过程中，往往只能使用前一层的特征，缺少对全局特征的学习。2、编码器-解码器结构几乎都为对称结构，对于编码和解码没有分开考虑。3、训练过程中将去雾过程当做一个训练过程，并没有将去雾任务分解为小任务。
发明内容
为了克服现有技术存在的缺陷与不足，本发明提供了一种基于多尺度多阶段神经网络的图像去雾方法，通过利用由多个分辨率得到的全局特征进行训练，从而达到更好的去雾效果。
本发明的第二目的在提供一种基于多尺度多阶段神经网络的图像去雾系统。
为了达到上述目的，本发明采用以下技术方案：
一种基于多尺度多阶段神经网络的图像去雾方法，包括以下步骤：
预处理步骤：对获取的原始有雾图像进行裁剪成预设图像尺寸得到待去雾图像；
去雾处理步骤：将待去雾图像输入到多尺度去雾模型中进行去雾处理得到去雾图像，其中所述多尺度去雾模型为使用多组数据通过机器学习训练得出，所述多组数据中的每组数据包括有雾图像和对应的真实无雾图像；
所述多尺度去雾模型设有残差卷积块、注意力卷积块以及特征解码卷积块，注意力卷积块分别与残差卷积块、特征解码卷积块连接，所述残差卷积块用于根据待去雾图像进行编码得到特征图，所述注意力卷积块用于将输出的特征图恢复到待去雾图像的原始尺寸，所述特征解码卷积块用于将特征图解码得到去雾图像；
所述多尺度去雾模型具体通过多阶段去雾训练过程得到，所述多阶段去雾训练过程包括以下步骤：
根据三阶去雾训练模型利用不同分辨率的图像去雾从而将去雾学习划分为三个阶段，分别通过三阶去雾训练模型生成不同的去雾图像，所述三阶去雾训练模型包括第一去雾训练模型、第二去雾训练模型和第三去雾训练模型；
利用特征融合将第三去雾训练模型的编码解码特征传递给第二去雾训练模型；
利用特征融合将第二去雾训练模型的编码解码特征传递给第一去雾训练模型，通过逐层传递特征形成全局特征，从而使得原始分辨率图像去雾获得全局特征；
利用VGG19网络模型提取的特征对第一去雾训练模型进行训练得到多尺度去雾模型。
作为优选的技术方案，所述特征融合为直接通过concatenate将不同层次特征结合在一起，使学习的过程中考虑到全局的特征。
作为优选的技术方案，所述利用VGG19网络模型提取的特征对第一去雾训练模型进行训练得到多尺度去雾模型，具体步骤包括：
从训练集中获取多组数据，每组数据包括有雾输入图像和对应的真实无雾图像；
每次训练时，将有雾输入图像输入到第一去雾训练模型中进行图像去雾处理得到去雾生成图像；
根据去雾生成图像和真实无雾图像得到内容损失，具体为：根据去雾生成图像与真实无雾图像相减得到各像素差值，基于各像素差值设置内容损失的函数；
将去雾生成图像与真实无雾图像经过预训练的VGG19网络模型计算得到感知损失，具体为利用经过预训练的VGG19网络模型分别对去雾生成图像与真实无雾图像提取高层信息的特征图，根据高层信息的特征图进行均方差计算感知损失；
以预设比例调整内容损失，进而与感知损失结合得到最终损失；
基于反向传播算法和梯度下降法更新第一去雾训练模型参数；
根据最终损失的数值大小调整训练进程，当最终损失的数值大小达到预设误差阈值，训练完毕，将该训练后的第一去雾训练模型作为多尺度去雾模型。
作为优选的技术方案，所述内容损失具体为：
式中Lm为内容损失值，ImageHazy为有雾输入图像，ImageGT为与ImageHazy对应的真实无雾图像，Net为第一去雾训练模型的去雾处理，W、H分别为真实无雾图像的宽、高，x，y分别为像素处理的横、纵坐标值；
所述感知损失具体为：
式中Lp为感知损失值，ImageHazy为有雾输入图像，ImageGT为与ImageHazy对应的真实无雾图像，Net为第一去雾训练模型的去雾处理，VGG19为VGG19神经网络模型，W、H和C分别为真实无雾图像的宽、高和通道数；
所述最终损失为：
Ltotal＝Lp+λLm
式中Ltotal为最终损失值，λ为预设比例系数。
作为优选的技术方案，所述λ设置的调整范围为0.01至0.2。
作为优选的技术方案，所述基于反向传播算法和梯度下降法更新第一去雾训练模型参数，具体为：
采用反向传播算法计算隐含层的误差，所述隐含层具体为残差卷积块和注意力卷积块包含的卷积层；
采用梯度下降算法更新第一去雾训练模型的参数：
对卷积层的权重参数wi和偏差参数bi每次迭代采用如下更新公式：
式中α为学习率，
和
分别为结合最终损失的权重增量、结合最终损失的偏差增量，wi’为更新后的权重参数，bi’为更新后的偏差参数。
作为优选的技术方案，所述注意力卷积块为每个像素特征生成不同的权重值，基于权重值进行不平等地处理不同的特征和像素区域。
作为优选的技术方案，所述残差卷积块设有第一卷积层、第二卷积层和第三卷积层，第一卷积层在其输出端与第一relu层连接，第二卷积层在其输出端与第二relu层连接，第一relu层的输出端与第二卷积层连接，同时第一relu层的输出端还与第三卷积层的输出端形成跳跃连接；
所述残差卷积块利用第一卷积层与第一relu层对输入图像进行下采样，利用第一relu层与第三卷积层形成的跳跃连接将特征进行叠加，使得原特征增加输入特征和输出特征的差异；
所述注意力卷积块包括第一注意力部分块、第二注意力部分块、第三注意力部分块和第四注意力部分块，其中四个注意力部分块依次连接，第一注意力部分块的输出端还与第四注意力部分块的输出端形成跳跃连接，第二注意力部分块的输出端还与第三注意力部分块的输出端形成跳跃连接，第三注意力部分块的输出端还与第四注意力部分块的输出端形成跳跃连接；
所述第一注意力部分块由依次连接的第四卷积层与第三relu层组成，第二注意力部分块由第五卷积层组成，第三注意力部分块由依次连接的池化层、第六卷积层、第四relu层、第七卷积层以及第一Sigmoid层组成，第四注意力部分块由依次连接的第八卷积层、第五relu层、第九卷积层以及第二Sigmoid层组成；
各relu层均采用relu激活函数，各Sigmoid层均采用Sigmoid激活函数，relu层和Sigmoid层均用于减少参数间互相依存的关系，进而缓解过拟合情况；
所述跳跃连接具体为将两待连接的矩阵进行矩阵点乘后输出结果，通过跳跃连接将数据处理后传给后续的模块，使低层的特征保存到后续的模块，从而使得整体的特征保存下来。
作为优选的技术方案，所述多尺度去雾模型采用基于非对称结构的编码器-解码器结构，即将编码器和解码器分离开，分开设计网络结构，具体为：将残差卷积块作为编码器，将注意力卷积块和特征解码卷积块作为解码器。
为了达到上述第二目的，本发明采用以下技术方案：
一种基于多尺度多阶段神经网络的图像去雾系统，包括：预处理模块、去雾处理模块；
所述预处理模块用于对获取的原始有雾图像进行裁剪成预设图像尺寸得到待去雾图像；
所述去雾处理模块用于将待去雾图像输入到多尺度去雾模型中进行去雾处理得到去雾图像，其中所述多尺度去雾模型为使用多组数据通过机器学习训练得出，多组数据中的每组数据包括有雾图像和对应的真实无雾图像；
所述多尺度去雾模型设有残差卷积块、注意力卷积块以及特征解码卷积块，注意力卷积块分别与残差卷积块、特征解码卷积块连接，所述残差卷积块用于根据待去雾图像进行编码得到特征图，所述注意力卷积块用于将输出的特征图恢复到待去雾图像的原始尺寸，所述特征解码卷积块用于将特征图解码得到去雾图像；
所述多尺度去雾模型采用基于非对称结构的编码器-解码器结构，具体为：将残差卷积块作为编码器，将注意力卷积块和特征解码卷积块作为解码器；
所述多尺度去雾模型具体通过多阶段去雾训练过程得到，所述多阶段去雾训练过程包括以下步骤：
根据三阶去雾训练模型利用不同分辨率的图像去雾从而将去雾学习划分为三个阶段，分别通过三阶去雾训练模型生成不同的去雾图像，所述三阶去雾训练模型包括第一去雾训练模型、第二去雾训练模型和第三去雾训练模型；
利用特征融合将第三去雾训练模型的编码解码特征传递给第二去雾训练模型；
利用特征融合将第二去雾训练模型的编码解码特征传递给第一去雾训练模型，通过逐层传递特征形成全局特征，从而使得原始分辨率图像去雾获得全局特征；
利用VGG19网络模型提取的特征对第一去雾训练模型进行训练得到多尺度去雾模型。
本发明与现有技术相比，具有如下优点和有益效果：
(1)本发明采用残差卷积块，先通过卷积层对输入图像进行下采样，然后通过残差块将特征和卷积之后的特征相加，使得在原来特征基础之上增加输入特征和输出特征的差异，真实无雾图像结合有雾图像经过去雾网络得到的去雾图像，通过VGG19网络计算感知损失，基于预设比例调整内容损失后结合感知损失，将二者一起作用于神经网络，指明了网络优化的方向，保留了特征提取的优势，有效的提高了图像去雾的真实性。
(2)本发明在注意力卷积块中通过关注不同的通道特征和像素具有完全不同的加权信息，注意力卷积块为每个像素特征生成不同的权重值，基于权重值进行不平等地处理不同的特征和像素区域，使得处理不同类型的信息时提供额外的灵活性，进而扩展CNNs的表示能力。
(3)本发明利用三阶去雾训练模型进行训练得到多尺度去雾模型，具体通过对原始分辨率图像进行下采样得到二分之一分辨率和四分之一分辨率的图像，利用特征融合将不同的分辨率的特征进行关联得全局特征，进而通过结合内容损失和感知损失进行多尺度去雾模型的训练，三阶去雾训练模型将去雾划分为三个子任务，使用多阶段学习去雾，达到相辅相成的效果，使得网络学习到更准确的特征，最终提高了图像的感知质量和视觉效果。
(4)本发明采用基于非对称结构的编码器-解码器结构，具体为将残差卷积块作为编码器，将注意力卷积块和特征解码卷积块作为解码器，使多尺度去雾模型在编码过程中学习到更准确的特征，并在解码过程中更加注重通道和像素之间的关系。
附图说明
图1为本发明实施例1中基于多尺度多阶段神经网络的图像去雾方法的步骤流程图；
图2为本发明实施例1中多尺度去雾模型的结构示意图；
图3为本发明实施例1中残差卷积层的结构示意图；
图4为本发明实施例1中注意力卷积层的结构示意图；
图5为本发明实施例1中三阶去雾训练模型的结构示意图；
图6为本发明实施例1中利用经过预训练的VGG19网络模型进行进一步训练的流程示意图；
图7为本发明实施例2中基于多尺度多阶段神经网络的图像去雾方法的去雾效果示意图。
具体实施方式
在本公开的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。同样，“一个”、“一”或者“该”等类似词语也不表示数量限制，而是表示存在至少一个。“包括”或者“包含”等类似的词语意指出现在该词前面的元素或者物件涵盖出现在该词后面列举的元素或者物件及其等同，而不排除其他元素或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。
在本公开的描述中，需要说明的是，除非另有明确的规定和限定，否则术语“安装”、“相连”、“连接”应做广义理解。例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本公开中的具体含义。此外，下面所描述的本公开不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例
实施例1
如图1所示，本实施例提供了一种基于多尺度多阶段神经网络的图像去雾方法，该方法包括以下步骤：
预处理步骤：对获取的原始有雾图像进行裁剪成预设图像尺寸得到待去雾图像。实际应用时，将原始有雾图像裁剪成512*512尺寸大小。
去雾处理步骤：将待去雾图像输入到多尺度去雾模型中进行去雾处理得到去雾图像，其中多尺度去雾模型为使用多组数据通过机器学习训练得出，多组数据中的每组数据包括有雾图像和对应的真实无雾图像；
如图2所示，多尺度去雾模型设有残差卷积块、注意力卷积块以及特征解码卷积块，注意力卷积块分别与残差卷积块、特征解码卷积块连接。残差卷积块用于根据待去雾图像进行编码得到特征图，注意力卷积块用于将输出的特征图恢复到待去雾图像的原始尺寸，特征解码卷积块用于将特征图解码得到去雾图像。
如图3所示，残差卷积块设有第一卷积层、第二卷积层和第三卷积层，第一卷积层在其输出端与第一relu层连接，第二卷积层在其输出端与第二relu层连接，第一relu层的输出端与第二卷积层连接，同时第一relu层的输出端还与第三卷积层的输出端形成跳跃连接；实际应用时，残差卷积块利用第一卷积层与第一relu层对输入图像进行下采样，利用第一relu层与第三卷积层形成的跳跃连接将特征进行叠加，使得原特征增加输入特征和输出特征的差异。
如图4所示，注意力卷积块包括第一注意力部分块、第二注意力部分块、第三注意力部分块和第四注意力部分块。其中四个注意力部分块依次连接，第一注意力部分块的输出端还与第四注意力部分块的输出端形成跳跃连接，第二注意力部分块的输出端还与第三注意力部分块的输出端形成跳跃连接，第三注意力部分块的输出端还与第四注意力部分块的输出端形成跳跃连接。实际应用时，第一注意力部分块由依次连接的第四卷积层与第三relu层组成，第二注意力部分块由第五卷积层组成，第三注意力部分块由依次连接的池化层、第六卷积层、第四relu层、第七卷积层以及第一Sigmoid层组成，第四注意力部分块由依次连接的第八卷积层、第五relu层、第九卷积层以及第二Sigmoid层组成。
在本实施例中，各relu层均采用relu激活函数，各Sigmoid层均采用Sigmoid激活函数，relu层和Sigmoid层均用于减少参数间互相依存的关系，进而缓解过拟合情况。
在本实施例中，特征解码卷积块设有第十卷积层，第十卷积层与第四注意力部分块连接。
实际应用时，跳跃连接具体为将两待连接的矩阵进行矩阵点乘后输出结果，通过跳跃连接将数据处理后传给后续的模块，使低层的特征保存到后续的模块，从而使得整体的特征保存下来，同时跳跃连接也能有效抑制梯度消失和梯度爆炸等情况；
在本实施例中，注意力卷积块为每个像素特征生成不同的权重值，基于权重值进行不平等地处理不同的特征和像素区域，使得处理不同类型的信息时提供额外的灵活性，进而扩展CNNs的表示能力。
在本实施例中，多尺度去雾模型采用基于非对称结构的编码器-解码器结构。该非对称结构与传统的对称结构的区别在于，编码器与解码器分离。实际应用时，将编码器和解码器分离开，分开设计网络结构。具体地，将残差卷积块作为编码器，将注意力卷积块和特征解码卷积块作为解码器；在深度学习中，经常将特征提取部分统称为编码器，特征解码部分称为解码器。常用的编码器和解码器部分采用对称结构，即均以残差卷积块作为编码器、解码器，而本实施例将编码器和解码器分开设计，基于非对称结构使多尺度去雾模型在编码过程中学习到更准确的特征，并在解码过程中更加注重通道和像素之间的关系。
在本实施例中，多尺度去雾模型具体通过多阶段去雾训练过程得到，该多阶段去雾训练过程包括以下步骤：
根据三阶去雾训练模型利用不同分辨率的图像去雾从而将去雾学习划分为三个阶段，分别通过三阶去雾训练模型生成不同的去雾图像，即三阶去雾训练模型将去雾过程分解为三个任务，让任务之间学习相辅相成，达到从粗糙特征到细致特征学习，具体如图5所示。其中三阶去雾训练模型包括第一去雾训练模型、第二去雾训练模型和第三去雾训练模型；
利用特征融合将第三去雾训练模型的编码解码特征传递给第二去雾训练模型；
利用特征融合将第二去雾训练模型的编码解码特征传递给第一去雾训练模型，通过逐层传递特征形成全局特征，从而使得原始分辨率图像去雾获得全局特征；
利用VGG19网络模型提取的特征对第一去雾训练模型进行训练得到多尺度去雾模型。
在本实施例中，特征融合是直接通过concatenate将不同层次特征结合在一起，以使学习的过程中考虑到全局的特征。
实际应用时，三阶去雾训练模型采用了三个结构相似的去雾训练模型，其中各个去雾训练模型进行特征融合的每一层的通道数不同，即第一去雾训练模型、第二去雾训练模型和第三去雾训练模型具体分别对应原始分辨率去雾训练模型、二分之一分辨率去雾训练模型、四分之一分辨率去雾训练模型，其分别生成的去雾图像均为512X512，256X256，128X128大小，各个去雾训练模型输入和输出的分辨率一样。。
如图6所示，利用VGG19网络模型提取的特征对第一去雾训练模型进行训练得到多尺度去雾模型，具体步骤包括：
从训练集中获取多组数据，每组数据包括有雾输入图像和对应的真实无雾图像；
每次训练时，将有雾输入图像输入到第一去雾训练模型中进行图像去雾处理得到去雾生成图像；
根据去雾生成图像和真实无雾图像得到内容损失，具体为：根据去雾生成图像与真实无雾图像相减得到各像素差值，基于各像素差值设置内容损失的函数Lm；
将去雾生成图像与真实无雾图像经过预训练的VGG19网络模型计算得到感知损失，具体为利用经过预训练的VGG19网络模型分别对去雾生成图像与真实无雾图像提取高层信息的特征图，根据高层信息的特征图进行均方差计算感知损失；
以预设比例调整内容损失，进而与感知损失结合得到最终损失。
基于反向传播算法和梯度下降法更新第一去雾训练模型参数。实际应用时，采用反向传播算法计算隐含层的误差，隐含层具体为残差卷积块和注意力卷积块包含的卷积层，采用梯度下降算法更新第一去雾训练模型的参数；
根据最终损失的数值大小调整训练进程，当最终损失的数值大小达到预设误差阈值，训练完毕，将该训练后的第一去雾训练模型作为多尺度去雾模型。
在本实施例中，内容损失具体为：
式中Lm为内容损失值，ImageHazy为有雾输入图像，ImageGT为与ImageHazy对应的真实无雾图像，Net为第一去雾训练模型的去雾处理，W、H分别为真实无雾图像的宽、高，x，y分别为像素处理的横、纵坐标值。
在本实施例中，感知损失具体为：
式中Lp为感知损失值，ImageHazy为有雾输入图像，ImageGT为与ImageHazy对应的真实无雾图像，Net为第一去雾训练模型的去雾处理，VGG19为VGG19神经网络模型，W、H和C分别为真实无雾图像的宽、高和通道数。
在本实施例中，最终损失为：
Ltotal＝Lp+λLm
式中Ltotal为最终损失值，λ为预设比例系数。实际应用时，λ设置为0.04，此外本领域技术人员可根据实际情况进行调整，λ设置的调整范围为0.01至0.2。
在本实施例中，基于反向传播算法和梯度下降法更新第一去雾训练模型参数，具体为：对卷积层的权重参数wi和偏差参数bi每次迭代采用如下更新公式：
式中α为学习率，
和
分别为结合最终损失的权重增量、结合最终损失的偏差增量。
在本实施例中，训练开发环境为：NVIDIA3090 GPU、PyTorch开发框架，操作系统采用Ubuntu18.04，编程语言采用Python3.6，torch＝＝1.3.0，torchvision＝＝0.4.1。本实施例部署运行在装有GPU的计算机中。
此外，本领域技术人员可根据实际情况替换训练开发环境、操作系统、编程语言，本实施例在此不做限定。
实际应用时，训练的准备工作为数据集的预处理，具体选用2020年计算机视觉和模式识别国际会议(CVPR2020)的比赛图集作为训练的数据集，基于数据集划分出训练集。
对于训练集，首先将训练集的图像裁剪为512×512的相同大小的图像。原始的高清图分辨率是1600x1200大小的，如果把原始有雾图像放到去雾重建网络里面进行训练，达到的计算量将会非常大，以至于显存溢出，无法训练。因此将原始有雾图像进行裁剪，得到局部的图像信息。
将训练集中的训练图像输入到三阶去雾训练模型进行训练，批大小(batch_size)设为1，初始学习率设为1×10-4，训练的迭代次数设为30万次损失函数设有内容损失和感知损失，并结合内容损失和感知损失得到最终损失。具体地，在3000次迭代后学习率减半，采用Adam优化函数，并且设置β1＝0.9，β2＝0.999。每经过30000次迭代，进行一次校验并保存一次模型。根据最终损失值的大小是否符合预设误差阈值，若符合则提前终止实验。在多次保存的模型中选择效果最好的模型，即将最终损失值最小的模型作为多尺度去雾模型。
将有雾输入图像经过第一去雾训练模型得到的去雾图像和真实无雾图像共同经过VGG19得到对比特征图，该对比特征图在特征细节上得到的损失能够使第一去雾训练模型更具有对高层特征信息的生成能力。实际应用时，对比特征图具体为与第5个池化层之前的第4个卷积层对比，即与第三注意力部分块中的第六卷积层对比。
此外，本领域技术人员可根据实际情况对三阶去雾训练模型中的各去雾训练模型设置卷积核大小、输入通道数和输出通道数，本实施例在此不做限定。
实施例2
本实施例提供了多尺度去雾模型与单尺度去雾模型的去雾对比实验，具体对比结果如下表1所示：
表1去雾对比结果表
| 去雾方法 | 单尺度去雾模型 | 多尺度去雾模型 |
| PSNR | 18.994 | 19.663 |
| SSIM | 0.623 | 0.639 |
如表1所示，本实施例的基于多尺度多阶段神经网络的图像去雾方法通过结合感知损失和内容损失共同作用网络，在峰值信噪比(PSNR)和结构相似性(SSIM)上均高于单尺度去雾模型。
如图7所示，相比于现有的网络，本实施例在保证图像真实的情况下具有更好的去雾效果。本实施例的基于多尺度多阶段神经网络的图像去雾方法通过对图像进行退化得到一半分辨率和四分之一分辨率的图像得到训练集，采用残差块和注意力块，构建三个结构相似的非对称的编码器-解码器结构的神经网络，对三个分辨率的有雾图像进行分阶段去雾学习，达到从粗糙特征到细致特征学习，将去雾过程分解为三个任务，让任务之间学习相辅相成，使得原始分辨率的去雾图像在训练过程中得到另外两个去雾过程的特征，从而获得全局特征，结合内容损失和感知损失进行训练，得到一个图像去雾过程的网络模型。实际应用时，最终损失的值总体趋势为下降的趋势，证明网络学习到去雾规律，训练后最终得到的多尺度去雾模型在处理时通过特征融合使得模型考虑了全局特征，从而得到更好的感知质量和视觉效果。
实施例3
本实施例提供了一种基于多尺度多阶段神经网络的图像去雾系统，该图像去雾系统与实施例1的基于多尺度多阶段神经网络的图像去雾方法对应。该系统包括：预处理模块、去雾处理模块；
预处理模块用于对获取的原始有雾图像进行裁剪成预设图像尺寸得到待去雾图像。
去雾处理模块用于将待去雾图像输入到多尺度去雾模型中进行去雾处理得到去雾图像，其中多尺度去雾模型为使用多组数据通过机器学习训练得出，多组数据中的每组数据包括有雾图像和对应的真实无雾图像；
在本实施例中，多尺度去雾模型采用基于非对称结构的编码器-解码器结构。该多尺度去雾模型具体通过多阶段去雾训练过程得到，该多阶段去雾训练过程包括以下步骤：
根据三阶去雾训练模型利用不同分辨率的图像去雾从而将去雾学习划分为三个阶段，分别通过三阶去雾训练模型生成不同的去雾图像，即三阶去雾训练模型将去雾过程分解为三个任务，让任务之间学习相辅相成，达到从粗糙特征到细致特征学习。其中三阶去雾训练模型包括第一去雾训练模型、第二去雾训练模型和第三去雾训练模型；
利用特征融合将第三去雾训练模型的编码解码特征传递给第二去雾训练模型；
利用特征融合将第二去雾训练模型的编码解码特征传递给第一去雾训练模型，通过逐层传递特征形成全局特征，从而使得原始分辨率图像去雾获得全局特征；
利用VGG19网络模型提取的特征对第一去雾训练模型进行训练得到多尺度去雾模型。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (9)
1.一种基于多尺度多阶段神经网络的图像去雾方法，其特征在于，包括以下步骤：
预处理步骤：对获取的原始有雾图像进行裁剪成预设图像尺寸得到待去雾图像；
去雾处理步骤：将待去雾图像输入到多尺度去雾模型中进行去雾处理得到去雾图像，其中所述多尺度去雾模型为使用多组数据通过机器学习训练得出，所述多组数据中的每组数据包括有雾图像和对应的真实无雾图像；
所述多尺度去雾模型采用基于非对称结构的编码器-解码器结构；
所述多尺度去雾模型设有残差卷积块、注意力卷积块以及特征解码卷积块，注意力卷积块分别与残差卷积块、特征解码卷积块连接，所述残差卷积块用于根据待去雾图像进行编码得到特征图，所述注意力卷积块用于将输出的特征图恢复到待去雾图像的原始尺寸，所述特征解码卷积块用于将特征图解码得到去雾图像；
所述残差卷积块设有第一卷积层、第二卷积层和第三卷积层，第一卷积层在其输出端与第一relu层连接，第二卷积层在其输出端与第二relu层连接，第一relu层的输出端与第二卷积层连接，同时第一relu层的输出端还与第三卷积层的输出端形成跳跃连接；
所述残差卷积块利用第一卷积层与第一relu层对输入图像进行下采样，利用第一relu层与第三卷积层形成的跳跃连接将特征进行叠加，使得原特征增加输入特征和输出特征的差异；
所述注意力卷积块包括第一注意力部分块、第二注意力部分块、第三注意力部分块和第四注意力部分块，其中四个注意力部分块依次连接，第一注意力部分块的输出端还与第四注意力部分块的输出端形成跳跃连接，第二注意力部分块的输出端还与第三注意力部分块的输出端形成跳跃连接，第三注意力部分块的输出端还与第四注意力部分块的输出端形成跳跃连接；
所述第一注意力部分块由依次连接的第四卷积层与第三relu层组成，第二注意力部分块由第五卷积层组成，第三注意力部分块由依次连接的池化层、第六卷积层、第四relu层、第七卷积层以及第一Sigmoid层组成，第四注意力部分块由依次连接的第八卷积层、第五relu层、第九卷积层以及第二Sigmoid层组成；
各relu层均采用relu激活函数，各Sigmoid层均采用Sigmoid激活函数，relu层和Sigmoid层均用于减少参数间互相依存的关系，进而缓解过拟合情况；
所述特征解码卷积块设有第十卷积层，第十卷积层与第四注意力部分块连接；
所述跳跃连接具体为将两待连接的矩阵进行矩阵点乘后输出结果，通过跳跃连接将数据处理后传给后续的模块，使低层的特征保存到后续的模块，从而使得整体的特征保存下来；
所述多尺度去雾模型具体通过多阶段去雾训练过程得到，所述多阶段去雾训练过程包括以下步骤：
根据三阶去雾训练模型利用不同分辨率的图像去雾从而将去雾学习划分为三个阶段，分别通过三阶去雾训练模型生成不同的去雾图像，所述三阶去雾训练模型包括第一去雾训练模型、第二去雾训练模型和第三去雾训练模型；
利用特征融合将第三去雾训练模型的编码解码特征传递给第二去雾训练模型；
利用特征融合将第二去雾训练模型的编码解码特征传递给第一去雾训练模型，通过逐层传递特征形成全局特征，从而使得原始分辨率图像去雾获得全局特征；
利用VGG19网络模型提取的特征对第一去雾训练模型进行训练得到多尺度去雾模型。
2.根据权利要求1所述的基于多尺度多阶段神经网络的图像去雾方法，其特征在于，所述特征融合为直接通过concatenate将不同层次特征结合在一起，使学习的过程中考虑到全局的特征。
3.根据权利要求1所述的基于多尺度多阶段神经网络的图像去雾方法，其特征在于，所述利用VGG19网络模型提取的特征对第一去雾训练模型进行训练得到多尺度去雾模型，具体步骤包括：
从训练集中获取多组数据，每组数据包括有雾输入图像和对应的真实无雾图像；
每次训练时，将有雾输入图像输入到第一去雾训练模型中进行图像去雾处理得到去雾生成图像；
根据去雾生成图像和真实无雾图像得到内容损失，具体为：根据去雾生成图像与真实无雾图像相减得到各像素差值，基于各像素差值设置内容损失的函数；
将去雾生成图像与真实无雾图像经过预训练的VGG19网络模型计算得到感知损失，具体为利用经过预训练的VGG19网络模型分别对去雾生成图像与真实无雾图像提取高层信息的特征图，根据高层信息的特征图进行均方差计算感知损失；
以预设比例调整内容损失，进而与感知损失结合得到最终损失；
基于反向传播算法和梯度下降法更新第一去雾训练模型参数；
根据最终损失的数值大小调整训练进程，当最终损失的数值大小达到预设误差阈值，训练完毕，将该训练后的第一去雾训练模型作为多尺度去雾模型。
4.根据权利要求3所述的基于多尺度多阶段神经网络的图像去雾方法，其特征在于，所述内容损失具体为：
式中Lm为内容损失值，ImageHazy为有雾输入图像，ImageGT为与ImageHazy对应的真实无雾图像，Net为第一去雾训练模型的去雾处理，W、H分别为真实无雾图像的宽、高，x，y分别为像素处理的横、纵坐标值；
所述感知损失具体为：
式中Lp为感知损失值，ImageHazy为有雾输入图像，ImageGT为与ImageHazy对应的真实无雾图像，Net为第一去雾训练模型的去雾处理，VGG19为VGG19神经网络模型，W、H和C分别为真实无雾图像的宽、高和通道数；
所述最终损失为：
Ltotal＝Lp+λLm
式中Ltotal为最终损失值，λ为预设比例系数。
5.根据权利要求4所述的基于多尺度多阶段神经网络的图像去雾方法，其特征在于，所述λ设置的调整范围为0.01至0.2。
6.根据权利要求3所述的基于多尺度多阶段神经网络的图像去雾方法，其特征在于，所述基于反向传播算法和梯度下降法更新第一去雾训练模型参数，具体为：
采用反向传播算法计算隐含层的误差，所述隐含层具体为残差卷积块和注意力卷积块包含的卷积层；
采用梯度下降算法更新第一去雾训练模型的参数：
对卷积层的权重参数wi和偏差参数bi每次迭代采用如下更新公式：
式中α为学习率，
和
分别为结合最终损失的权重增量、结合最终损失的偏差增量，wi’为更新后的权重参数，bi’为更新后的偏差参数。
7.根据权利要求1所述的基于多尺度多阶段神经网络的图像去雾方法，其特征在于，所述注意力卷积块为每个像素特征生成不同的权重值，基于权重值进行不平等地处理不同的特征和像素区域。
8.根据权利要求1所述的基于多尺度多阶段神经网络的图像去雾方法，其特征在于，所述多尺度去雾模型采用基于非对称结构的编码器-解码器结构，即将编码器和解码器分离开，分开设计网络结构，具体为：将残差卷积块作为编码器，将注意力卷积块和特征解码卷积块作为解码器。
9.一种基于多尺度多阶段神经网络的图像去雾系统，其特征在于，包括：预处理模块、去雾处理模块；
所述预处理模块用于对获取的原始有雾图像进行裁剪成预设图像尺寸得到待去雾图像；
所述去雾处理模块用于将待去雾图像输入到多尺度去雾模型中进行去雾处理得到去雾图像，其中所述多尺度去雾模型为使用多组数据通过机器学习训练得出，多组数据中的每组数据包括有雾图像和对应的真实无雾图像；
所述多尺度去雾模型设有残差卷积块、注意力卷积块以及特征解码卷积块，注意力卷积块分别与残差卷积块、特征解码卷积块连接，所述残差卷积块用于根据待去雾图像进行编码得到特征图，所述注意力卷积块用于将输出的特征图恢复到待去雾图像的原始尺寸，所述特征解码卷积块用于将特征图解码得到去雾图像；
所述多尺度去雾模型采用基于非对称结构的编码器-解码器结构，具体为：将残差卷积块作为编码器，将注意力卷积块和特征解码卷积块作为解码器；
所述残差卷积块设有第一卷积层、第二卷积层和第三卷积层，第一卷积层在其输出端与第一relu层连接，第二卷积层在其输出端与第二relu层连接，第一relu层的输出端与第二卷积层连接，同时第一relu层的输出端还与第三卷积层的输出端形成跳跃连接；
所述残差卷积块利用第一卷积层与第一relu层对输入图像进行下采样，利用第一relu层与第三卷积层形成的跳跃连接将特征进行叠加，使得原特征增加输入特征和输出特征的差异；
所述注意力卷积块包括第一注意力部分块、第二注意力部分块、第三注意力部分块和第四注意力部分块，其中四个注意力部分块依次连接，第一注意力部分块的输出端还与第四注意力部分块的输出端形成跳跃连接，第二注意力部分块的输出端还与第三注意力部分块的输出端形成跳跃连接，第三注意力部分块的输出端还与第四注意力部分块的输出端形成跳跃连接；
所述第一注意力部分块由依次连接的第四卷积层与第三relu层组成，第二注意力部分块由第五卷积层组成，第三注意力部分块由依次连接的池化层、第六卷积层、第四relu层、第七卷积层以及第一Sigmoid层组成，第四注意力部分块由依次连接的第八卷积层、第五relu层、第九卷积层以及第二Sigmoid层组成；
各relu层均采用relu激活函数，各Sigmoid层均采用Sigmoid激活函数，relu层和Sigmoid层均用于减少参数间互相依存的关系，进而缓解过拟合情况；
所述特征解码卷积块设有第十卷积层，第十卷积层与第四注意力部分块连接；
所述跳跃连接具体为将两待连接的矩阵进行矩阵点乘后输出结果，通过跳跃连接将数据处理后传给后续的模块，使低层的特征保存到后续的模块，从而使得整体的特征保存下来；
所述多尺度去雾模型具体通过多阶段去雾训练过程得到，所述多阶段去雾训练过程包括以下步骤：
根据三阶去雾训练模型利用不同分辨率的图像去雾从而将去雾学习划分为三个阶段，分别通过三阶去雾训练模型生成不同的去雾图像，所述三阶去雾训练模型包括第一去雾训练模型、第二去雾训练模型和第三去雾训练模型；
利用特征融合将第三去雾训练模型的编码解码特征传递给第二去雾训练模型；
利用特征融合将第二去雾训练模型的编码解码特征传递给第一去雾训练模型，通过逐层传递特征形成全局特征，从而使得原始分辨率图像去雾获得全局特征；
利用VGG19网络模型提取的特征对第一去雾训练模型进行训练得到多尺度去雾模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110676400.4A CN113450273B (zh) | 2021-06-18 | 2021-06-18 | 一种基于多尺度多阶段神经网络的图像去雾方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110676400.4A CN113450273B (zh) | 2021-06-18 | 2021-06-18 | 一种基于多尺度多阶段神经网络的图像去雾方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113450273A CN113450273A (zh) | 2021-09-28 |
| CN113450273B true CN113450273B (zh) | 2022-10-14 |
Family
ID=77811667
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110676400.4A Active CN113450273B (zh) | 2021-06-18 | 2021-06-18 | 一种基于多尺度多阶段神经网络的图像去雾方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113450273B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114049270B (zh) * | 2021-11-09 | 2024-07-12 | 江苏科技大学 | 基于多阶段锐化图像嵌入融合网络的海洋雪去除方法与系统 |
| CN114742719B (zh) * | 2022-03-14 | 2024-04-16 | 西北大学 | 一种基于多特征融合的端到端图像去雾方法 |
| CN114972076B (zh) * | 2022-05-06 | 2024-04-26 | 华中科技大学 | 一种基于分层多块卷积神经网络的图像去雾方法 |
| CN115205135B (zh) * | 2022-05-20 | 2023-03-17 | 中国人民解放军火箭军工程大学 | 一种基于透射图引导的单幅图像多解码器去雾方法 |
| CN115330631A (zh) * | 2022-08-22 | 2022-11-11 | 南京邮电大学 | 一种基于堆叠沙漏网络的多尺度融合去雾方法 |
| CN117808707B (zh) * | 2023-12-28 | 2024-08-02 | 山东财经大学 | 多尺度图像去雾方法、系统、设备及存储介质 |
| CN117994167B (zh) * | 2024-01-11 | 2024-06-28 | 太原理工大学 | 融合并行多卷积注意力的扩散模型去雾方法 |
| CN117745595B (zh) * | 2024-02-18 | 2024-06-25 | 珠海金山办公软件有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110570371A (zh) * | 2019-08-28 | 2019-12-13 | 天津大学 | 一种基于多尺度残差学习的图像去雾方法 |
| AU2020100274A4 (en) * | 2020-02-25 | 2020-03-26 | Huang, Shuying DR | A Multi-Scale Feature Fusion Network based on GANs for Haze Removal |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108921799B (zh) * | 2018-06-22 | 2021-07-23 | 西北工业大学 | 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法 |
| CN111539887B (zh) * | 2020-04-21 | 2023-07-14 | 温州大学 | 一种基于混合卷积的通道注意力机制和分层学习的神经网络图像去雾方法 |
| CN111915531B (zh) * | 2020-08-06 | 2023-09-29 | 温州大学 | 一种多层次特征融合和注意力引导的神经网络图像去雾方法 |
| CN112785517B (zh) * | 2021-01-08 | 2023-03-14 | 南京邮电大学 | 一种基于高分辨率表征的图像去雾方法和装置 |
| CN112884680A (zh) * | 2021-03-26 | 2021-06-01 | 南通大学 | 一种利用端到端神经网络的单幅图像去雾方法 |
-
2021
- 2021-06-18 CN CN202110676400.4A patent/CN113450273B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110570371A (zh) * | 2019-08-28 | 2019-12-13 | 天津大学 | 一种基于多尺度残差学习的图像去雾方法 |
| AU2020100274A4 (en) * | 2020-02-25 | 2020-03-26 | Huang, Shuying DR | A Multi-Scale Feature Fusion Network based on GANs for Haze Removal |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113450273A (zh) | 2021-09-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113450273B (zh) | 一种基于多尺度多阶段神经网络的图像去雾方法及系统 | |
| CN113658051B (zh) | 一种基于循环生成对抗网络的图像去雾方法及系统 | |
| CN108520503B (zh) | 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法 | |
| CN109035142B (zh) | 一种对抗网络结合航拍图像先验的卫星图像超分辨方法 | |
| CN111784602B (zh) | 一种生成对抗网络用于图像修复的方法 | |
| CN109087273B (zh) | 基于增强的神经网络的图像复原方法、存储介质及系统 | |
| CN111681180B (zh) | 先验驱动的深度学习图像去雾方法 | |
| CN113450290B (zh) | 基于图像修补技术的低照度图像增强方法及系统 | |
| CN113177882A (zh) | 一种基于扩散模型的单帧图像超分辨处理方法 | |
| CN113392711B (zh) | 一种基于高层语义与噪声抑制的烟雾语义分割方法及系统 | |
| CN115565056A (zh) | 基于条件生成对抗网络的水下图像增强方法及系统 | |
| CN114842216A (zh) | 一种基于小波变换的室内rgb-d图像语义分割方法 | |
| CN116596792B (zh) | 一种面向智能船舶的内河雾天场景恢复方法、系统及设备 | |
| CN110458784A (zh) | 一种基于图像感知质量的去压缩噪声方法 | |
| CN117151990B (zh) | 一种基于自注意力编码解码的图像去雾方法 | |
| CN111626134A (zh) | 一种基于隐密度分布的密集人群计数方法、系统及终端 | |
| CN111814693A (zh) | 一种基于深度学习的海上船舶识别方法 | |
| CN112734649A (zh) | 一种基于轻量级神经网络的图像退化方法及退化系统 | |
| CN116542864A (zh) | 一种基于全局和局部双分支网络无人机图像去雾方法 | |
| Banerjee et al. | MXR-U-Nets for real time hyperspectral reconstruction | |
| CN114841890A (zh) | 一种基于生成对抗网络的水下图像去模糊方法 | |
| Li et al. | Single image dehazing via region adaptive two-shot network | |
| CN113744148A (zh) | 一种碑刻书法图像去噪模型建立、去噪方法及系统 | |
| CN116523985B (zh) | 一种结构和纹理特征引导的双编码器图像修复方法 | |
| CN117078553A (zh) | 一种基于多尺度深度学习的图像去雾方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |