CN114820388A - 一种基于编解码器结构的图像去雾方法 - Google Patents
一种基于编解码器结构的图像去雾方法 Download PDFInfo
- Publication number
- CN114820388A CN114820388A CN202210708655.9A CN202210708655A CN114820388A CN 114820388 A CN114820388 A CN 114820388A CN 202210708655 A CN202210708655 A CN 202210708655A CN 114820388 A CN114820388 A CN 114820388A
- Authority
- CN
- China
- Prior art keywords
- convolution
- image
- feature map
- module
- characteristic diagram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000005070 sampling Methods 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 18
- 230000006870 function Effects 0.000 claims description 39
- 238000010586 diagram Methods 0.000 claims description 37
- 230000004913 activation Effects 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 16
- 230000004927 fusion Effects 0.000 claims description 10
- 230000009191 jumping Effects 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 5
- 230000003213 activating effect Effects 0.000 claims description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 8
- 238000012549 training Methods 0.000 description 15
- 230000005540 biological transmission Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于编解码器结构的图像去雾方法，首先对初始图像进行下采样，然后通过动态卷积模块对下采样特征图进行动态卷积得到特征图后，卷积层再对特征图的通道数进行扩充后，依次通过多个空间通道加权注意力模块获取不同通道中雾霾的分布信息，接着通过卷积层将特征图的通道数恢复到初始通道数，再采用多尺度卷积残差模块对特征图经过多尺度卷积并进行残差处理，来提高图像去雾性能；最后进行上采样，将特征图的尺寸大小恢复至初始图像的尺寸大小，并通过动态卷积模块对上采样特征图进行动态卷积得到最终的无雾图像。采用本发明图像去雾方法进行图像处理，图像去雾效果好，接近原清晰图像，从亮度、细节和色彩对比度来说都极其逼真。
Description
技术领域
本发明涉及计算机视觉领域，具体是一种基于编解码器结构的图像去雾方法。
背景技术
在早期，大气散射模型被提出，科研人员开始基于此展开研究提出去雾方法，但由于传输矩阵
和全球大气光A是未知的，因此清晰的图像并不能完全依赖大气散射模型得到。最终求解传输矩阵
和全球大气光A成为研究学者的关注点。这些方法可以大致分为两类：传统的方法和现代的方法。其中传统的方法一般就是基于各种先验条件，比如暗通道先验和颜色衰减先验等，另一种现代的方法一般都是基于深度学习的。
对于传统的方法，他们利用先前不同图像的统计信息作为额外的约束条件来补偿损坏过程中的信息丢失。有文献中提到通过估算朦胧场景中的光传输，消除了散射光以增加场景可见度并恢复无雾的场景对比度。也有文献中提出了基于暗通道先验的方法，以估计传输图，然而，当场景出现类似大气光的区域时，该先验条件就不能被很好的应用于去雾了。还有文献中提出了一个简单但功能强大的颜色衰减，方法是创建一个线性模型来对模糊图像的景深进行建模。尽管这些方法取得了一系列成功，但先验方法并不适用于所有情况，例如野外不受约束的环境。后来基于卷积神经网络的学习方法在各个领域广泛应用并收到显著的效果，因此，基于学习的方法渐渐应用到图像去雾任务中，到目前为止，它在去雾任务中表现了非同一般的效果。
发明内容
本发明要解决的技术问题是提供一种基于编解码器结构的图像去雾方法，解决图像中雾度的不均匀分布，生成的无雾图像像素失真、以及模型对不同雾度图像去雾程度相同的问题。
本发明的技术方案为：
一种基于编解码器结构的图像去雾方法，具体包括有以下步骤：
（1）、首先对初始图像进行下采样，缩减特征图的尺寸大小，然后通过动态卷积模块对下采样特征图进行动态卷积得到特征图，完成图像的编码；
（2）、卷积层对特征图的通道数进行扩充，增加特征图的信息；
（3）、依次通过多个空间通道加权注意力模块获取不同通道中雾霾的分布信息；
（4）、通过卷积层将特征图的通道数恢复到初始通道数；
（5）、采用多尺度卷积残差模块对特征图进行多尺度卷积的残差处理；
（6）、进行上采样，将特征图的尺寸大小恢复至初始图像的尺寸大小，并通过动态卷积模块对上采样特征图进行动态卷积得到最终的无雾图像，完成对图像的解码。
所述的下采样采用两个下采样层对初始图像进行处理；所述的上采样采用两个上采样层进行图像处理。
所述的动态卷积模块在下采样或上采样后进行动态卷积的具体过程为：首先进行动态卷积：输入图像首先进行一次全局平均池化层，得到一维向量，然后一维向量通过了一个路由函数得到一维路由权重，将一维路由权重进行维度扩展，再将扩展后的权重与任意参数相乘得到维度向量，然后维度向量沿维度0进行相加输出卷积核，最后用卷积核对输入图像进行卷积得到输出特征图；然后采用relu激活函数，获得对应的特征图后，再重复进行动态卷积，最后依次经过通道加权注意力层和空间加权注意力层；动态卷积模块的残差公式见下式：
Zl’=Ract(Cconv(Zl))+Zl，
Zl+1=swa(cwa(Cconv(Zl’)))+Zl，
其中，Zl是输入特征图，Cconv是动态卷积，Ract是relu激活函数，cwa是通道加权注意力层，swa是空间加权注意力层，Zl+1为输出特征图。
所述的多个空间通道加权注意力模块中，每个空间通道加权注意力模块的计算步骤均为：首先经过一个空间加权注意力层，获得加权的特征图，接着经过一个卷积层和relu激活函数，再经过一个卷积层和relu激活函数，提取图像的特征，最后经过通道加权注意力层得到不同通道中雾霾的分布信息；所述的多个空间通道加权注意力模块之间采用跳跃连接，即各个空间通道加权注意力模块之间进行残差处理。
所述的动态卷积模块和空间通道加权注意力模块中的空间加权注意力层的处理步骤均为：首先获取三部分特征图[c，w，h]，然后通过PSConv、conv和sigmoid函数获得[1，w，h]的空间权重，最后将[1，w，h]的空间权重乘以三部分特征图[c，w，h]，获得加权的融合特征图。
所述的动态卷积模块和空间通道加权注意力模块中的通道加权注意力层的处理步骤均为：首先获取三部分融合特征图[c，w，h]，然后依次使用全连接层、Relu函数、全连接层和sigmoid函数，获得每个通道的权重分布，即[c，1,1]的通道权重，最后将[c，1,1]的通道权重乘以三部分融合特征图[c，w，h]，得到不同通道中雾霾的分布信息。
所述的空间通道加权注意力模块为六个。
所述的多尺度卷积残差模块为两个，两个多尺度卷积残差模块之间采用跳跃连接；每个多尺度卷积残差模块对特征图进行处理的具体过程为：首先进行多尺度卷积：将特征图采用群卷积法按通道数平均分为4组，每组内通道的扩张率相同，四组对应卷积操作的膨胀率为1、2、1、4，膨胀率为1的一组采用滤波器大小为3*3的卷积核进行卷积，膨胀率为2的一组采用滤波器大小为5*5的卷积核进行卷积，膨胀率为4的一组采用滤波器大小为9*9的卷积核进行卷积，最后将多组的卷积输出叠加在一起，输出多尺度卷积后的特征图；然后再依次采用InstanceNorm函数和relu激活函数进行激活得到去雾后的特征图；两个多尺度卷积残差模块的残差公式见下式：
Xl’=Ract(Inorm(pconv(Xl)))+Xl ,
Xl+1=Ract(Inorm(pconv(Xl’)))+Xl，
其中，Xl是输入的特征，pconv是多尺度卷积，Inorm是InstanceNorm函数，Ract是relu激活函数，Xl+1是输出的特征。
本发明的优点：
（1）、本发明采用动态卷积模块作为平滑过渡层，是因为动态卷积模块的卷积核是对应于输入的特征图产生的，增加内核生成函数的复杂性比添加额外的卷积或扩展现有的卷积更有效，挑战了之前卷积核在所有输入示例之间共享的情况，用来避免因上下采样而产生的伪影。
（2）、本发明的空间通道加权注意力模块在不影响注意力性能的基础上减少卷积层的堆积，可加强网络对难以去雾区域的学习，解决图像中雾度不均匀分布的问题；仅使用6个空间通道加权注意力模块既不会增加过多的计算量，也令空间通道加权注意力模块充分发挥了相应的作用。
（3）、本发明空间通道加权注意力模块中的空间加权注意力层在训练过程中，根据雾霾的不均匀分布，自动生成并调整融合特征图的空间像素权重，以聚焦图像中更模糊、更难去雾霾的部分。
（4）、本发明采用两个多尺度卷积残差模块，通过融合更多的空间结构信息来提高转换能力，并且改善了信息流动性，以获得不同感受野的信息，并跳过不需要太多学习的区域，例如薄雾区域。
附图说明
图1是本发明实施例中图形去雾模型的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
见图1，一种基于编解码器结构的图形去雾模型，包括有两个下采样层1、四个动态卷积模块2、两个卷积层3、六个空间通道加权注意力模块4（S-C模块）、两个多尺度卷积残差模块5（PRB模块）和两个上采样层6，每个下采样层1的后面均添加一个动态卷积模块2作为平滑过渡层，第一个下采样层后面的动态卷积模块与第二个下采样层之间跳跃连接，第二个动态卷积模块后面连接第一个卷积层，第一个卷积层3后面设置六个S-C模块4，六个S-C模块4之间采用跳跃连接，六个S-C模块4后添加第二个卷积层3，第二个卷积层3后为两个多尺度卷积残差模块5，两个多尺度卷积残差模块5之间采用跳跃连接，最后两个PRB模块5后为两个上采样层6，每个上采样层6后面均添加一个动态卷积模块2作为平滑过渡层。
一种基于编解码器结构的图像去雾方法，具体包括有以下步骤：
（1）、首先采用两个下采样层1对初始图像进行下采样，缩减特征图的尺寸大小，然后通过动态卷积模块2对下采样特征图进行动态卷积得到特征图，完成图像的编码；
（2）、卷积层3将特征图的通道数从64扩充到128，增加特征图的信息；
（3）、通过六个S-C模块4获取不同通道中雾霾的分布信息，六个S-C模块4之间采用跳跃连接，即各个S-C模块4之间进行残差处理；
每个S-C模块4的计算步骤均为：首先经过一个空间加权注意力层，获得加权的特征图，接着经过一个卷积层和relu激活函数，再经过一个卷积层和relu激活函数，提取图像的特征，最后经过通道加权注意力层得到不同通道中雾霾的分布信息；
（4）、通过卷积层3将特征图的通道数恢复到初始通道数；
（5）、采用两个PRB模块5对特征图进行多尺度卷积的残差处理，来提高图像去雾性能；
每个PRB模块5对特征图进行处理的具体过程为：首先进行多尺度卷积：将特征图采用群卷积法按通道数平均分为4组，每组内通道的扩张率相同，四组对应卷积操作的膨胀率为1、2、1、4，膨胀率为1的一组采用滤波器大小为3*3的卷积核进行卷积，膨胀率为2的一组采用滤波器大小为5*5的卷积核进行卷积，膨胀率为4的一组采用滤波器大小为9*9的卷积核进行卷积，最后将多组的卷积输出叠加在一起，输出多尺度卷积后的特征图；然后再依次采用InstanceNorm函数和relu激活函数进行激活得到去雾后的特征图；
两个PRB模块5的残差公式见下式：
Xl’=Ract(Inorm(pconv(Xl)))+Xl ,
Xl+1=Ract(Inorm(pconv(Xl’)))+Xl，
其中，Xl是输入的特征，pconv是多尺度卷积，Inorm是InstanceNorm函数，Ract是relu激活函数，Xl+1是输出的特征；
（6）、采用两个上采样层6进行上采样将特征图的尺寸大小恢复至初始图像的尺寸大小，并通过动态卷积模块2对上采样特征图进行动态卷积得到最终的无雾图像，完成对图像的解码。
其中，动态卷积模块2在下采样或上采样后进行动态卷积的具体过程为：首先进行动态卷积：以维度为[1,3,413,550]的输入图像为例，输入图像首先进行一次全局平均池化层，得到维度为[1,3,1,1]的一维向量，然后该一维向量通过了一个路由函数得到一维路由权重[3]，将一维路由权重[3]进行维度扩展得[3,1,1,1,1]，公式
由此完成，其中，
代表输入图像，
代表路由函数，
代表全局平均池化层，R代表矩阵，全局平均池化层乘以矩阵，目的是将维度映射到n个卷积核上,即
。接下来进行公式
的计算（其中，
代表激活函数，
代表n个卷积核的权重， 
分别为任意参数）：将扩展后的权重
与维度为[3,16,3,3,3]的任意参数相乘得到[3,16,3,3,3]的维度向量，然后该维度向量沿维度0进行相加输出[16,3,3,3]的卷积核权值，最后用该卷积核对输入图像进行卷积得到输出特征图[1,16,413,550]，即
；然后采用relu激活函数，获得对应的特征图后，再重复进行动态卷积，最后依次经过通道加权注意力层和空间加权注意力层，防止卷积层的堆积，更好的获得雾霾的特征信息；动态卷积模块的残差公式见下式：
Zl’=Ract(Cconv(Zl))+Zl，
Zl+1=swa(cwa(Cconv(Zl’)))+Zl，
其中，Zl是输入特征图，Cconv是动态卷积，Ract是relu激活函数，cwa是通道加权注意力层，swa是空间加权注意力层，Zl+1为输出特征图。
动态卷积模块2和S-C模块4中的空间加权注意力层的处理步骤均为：首先获取三部分特征图[c，w，h]，然后通过PSConv、conv和sigmoid函数获得[1，w，h]的空间权重，最后将[1，w，h]的空间权重乘以三部分特征图[c，w，h]，获得加权的融合特征图；
动态卷积模块2和S-C模块4中的通道加权注意力层的处理步骤均为：首先获取三部分融合特征图[c，w，h]，然后依次使用全连接层、Relu函数、全连接层和sigmoid函数，获得每个通道的权重分布，即[c，1,1]的通道权重，最后将[c，1,1]的通道权重乘以三部分融合特征图[c，w，h]，得到不同通道中雾霾的分布信息。
训练过程及推理：
在实验中，使用Quadro GV100 GPU，在PyTorch1.6.0和CUDA10.2环境下进行训练。训练过程中，用Adam优化器训练模型，
和
的指数衰减率分别为0.9和0.999，初始学习率lr设置为0.0002，batch_size设置为32，grad_clip_norm设置为0.1，在RESIDE-β和NTIRE2018-Dehazing challenge数据集上进行训练200 epochs。将原输入图像裁剪为240x240。另外，为了验证各种方法对真实世界有雾图像的去雾效果，引入了Dense-Haze和NH-HAZE两个数据集，同样地，在训练过程中将图像裁剪成240x240的尺寸。在训练完成后保存相应的权重文件，再进行推理。
实验评估：
总结了本发明图像去雾模型（Ours）和近几年先进的去雾方法（DCP、AODNet、GCANet、GridDehazeNet、WFN-PSC和AECRNet）在RESIDE数据集SOTS子集上的性能，另外在I-HAZE和O-HAZE数据集上进行了同样的训练和测试。
表 1基于SOTS, I-HAZE和O-HAZE数据集的定量评估比较
见表1所示，本发明图像去雾模型表现出了较为不错的效果：（1）在RESIDE数据集SOTS子集上，本发明图像去雾模型虽然不是效果最好的（PSNR为30.50dB，SSIM为0.970），比不上AECRNet模型的结果，但训练时间却比AECRNet模型快（在RESIDE数据集SOTS子集上：Ours训练速度为20min/epoch，AECRNet训练速度为44min/epoch；在I-HAZE和O-HAZE数据集上：Ours训练速度为30s/epoch，AECRNet训练速度为1min/epoch），且生成的模型文件较小（Ours模型权重文件大小为12.16MB，AECRNet权重文件大小为34.26MB）；（2）无论是WFN-PSC还是本发明图像去雾模型，都在I-HAZE和O-HAZE数据集上展现出优于其它方法的结果。
另外，在HSTS合成数据集上直观地比较了本发明图像去雾模型与几个最先进方法复原图像的情况。HSTS是RESIDE数据集的一部分，里面包括10张真实世界拍摄的图像以及由清晰图像和生成的模糊图像组成的10对成对的合成数据集。由于HSTS合成数据集中的图像和SOTS子集中的类似，都是均匀且浅薄的雾度，因此，使用了训练SOTS子集得到的模型文件测试HSTS合成数据集中的合成图像。图像处理后的结果显示，AODNet和GCANet模型去雾效果较差，生成的图像上还有雾霾的痕迹，而且倾向于输出低亮度的图像，与之相比较而言，GridDehazeNet、WFN-PSC、AECRNet和本发明图像去雾模型生成的图像就明显接近原清晰图像，在颜色信息处理方面较为优异，细看的话，无论是从亮度、细节和色彩对比度来说都极其逼真，达到了令人满意的效果。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (8)
1.一种基于编解码器结构的图像去雾方法，其特征在于：具体包括有以下步骤：
（1）、首先对初始图像进行下采样，缩减特征图的尺寸大小，然后通过动态卷积模块对下采样特征图进行动态卷积得到特征图，完成图像的编码；
（2）、卷积层对特征图的通道数进行扩充，增加特征图的信息；
（3）、依次通过多个空间通道加权注意力模块获取不同通道中雾霾的分布信息；
（4）、通过卷积层将特征图的通道数恢复到初始通道数；
（5）、采用多尺度卷积残差模块对特征图进行多尺度卷积的残差处理；
（6）、进行上采样，将特征图的尺寸大小恢复至初始图像的尺寸大小，并通过动态卷积模块对上采样特征图进行动态卷积得到最终的无雾图像，完成对图像的解码。
2.根据权利要求1所述的一种基于编解码器结构的图像去雾方法，其特征在于：所述的下采样采用两个下采样层对初始图像进行处理；所述的上采样采用两个上采样层进行图像处理。
3.根据权利要求1所述的一种基于编解码器结构的图像去雾方法，其特征在于：所述的动态卷积模块在下采样或上采样后进行动态卷积的具体过程为：首先进行动态卷积：输入图像首先进行一次全局平均池化层，得到一维向量，然后一维向量通过了一个路由函数得到一维路由权重，将一维路由权重进行维度扩展，再将扩展后的权重与任意参数相乘得到维度向量，然后维度向量沿维度0进行相加输出卷积核，最后用卷积核对输入图像进行卷积得到输出特征图；然后采用relu激活函数，获得对应的特征图后，再重复进行动态卷积，最后依次经过通道加权注意力层和空间加权注意力层；动态卷积模块的残差公式见下式：
Zl’=Ract(Cconv(Zl))+Zl ，
Zl+1=swa(cwa(Cconv(Zl’)))+Zl ，
其中，Zl是输入特征图，Cconv是动态卷积，Ract是relu激活函数，cwa是通道加权注意力层，swa是空间加权注意力层，Zl+1为输出特征图。
4.根据权利要求1所述的一种基于编解码器结构的图像去雾方法，其特征在于：所述的多个空间通道加权注意力模块中，每个空间通道加权注意力模块的计算步骤均为：首先经过一个空间加权注意力层，获得加权的特征图，接着经过一个卷积层和relu激活函数，再经过一个卷积层和relu激活函数，提取图像的特征，最后经过通道加权注意力层得到不同通道中雾霾的分布信息；所述的多个空间通道加权注意力模块之间采用跳跃连接，即各个空间通道加权注意力模块之间进行残差处理。
5.根据权利要求3或4所述的一种基于编解码器结构的图像去雾方法，其特征在于：所述的动态卷积模块和空间通道加权注意力模块中的空间加权注意力层的处理步骤均为：首先获取三部分特征图[c，w，h]，然后通过PSConv、conv和sigmoid函数获得[1，w，h]的空间权重，最后将[1，w，h]的空间权重乘以三部分特征图[c，w，h]，获得加权的融合特征图。
6.根据权利要求3或4所述的一种基于编解码器结构的图像去雾方法，其特征在于：所述的动态卷积模块和空间通道加权注意力模块中的通道加权注意力层的处理步骤均为：首先获取三部分融合特征图[c，w，h]，然后依次使用全连接层、Relu函数、全连接层和sigmoid函数，获得每个通道的权重分布，即[c，1,1]的通道权重，最后将[c，1,1]的通道权重乘以三部分融合特征图[c，w，h]，得到不同通道中雾霾的分布信息。
7.根据权利要求1所述的一种基于编解码器结构的图像去雾方法，其特征在于：所述的空间通道加权注意力模块为六个。
8.根据权利要求1所述的一种基于编解码器结构的图像去雾方法，其特征在于：所述的多尺度卷积残差模块为两个，两个多尺度卷积残差模块之间采用跳跃连接；每个多尺度卷积残差模块对特征图进行处理的具体过程为：首先进行多尺度卷积：将特征图采用群卷积法按通道数平均分为4组，每组内通道的扩张率相同，四组对应卷积操作的膨胀率为1、2、1、4，膨胀率为1的一组采用滤波器大小为3*3的卷积核进行卷积，膨胀率为2的一组采用滤波器大小为5*5的卷积核进行卷积，膨胀率为4的一组采用滤波器大小为9*9的卷积核进行卷积，最后将多组的卷积输出叠加在一起，输出多尺度卷积后的特征图；然后再依次采用InstanceNorm函数和relu激活函数进行激活得到去雾后的特征图；两个多尺度卷积残差模块的残差公式见下式：
Xl’=Ract(Inorm(pconv(Xl)))+Xl ,
Xl+1=Ract(Inorm(pconv(Xl’)))+Xl，
其中，Xl是输入的特征，pconv是多尺度卷积，Inorm是InstanceNorm函数，Ract是relu激活函数，Xl+1是输出的特征。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210708655.9A CN114820388B (zh) | 2022-06-22 | 2022-06-22 | 一种基于编解码器结构的图像去雾方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210708655.9A CN114820388B (zh) | 2022-06-22 | 2022-06-22 | 一种基于编解码器结构的图像去雾方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114820388A true CN114820388A (zh) | 2022-07-29 |
| CN114820388B CN114820388B (zh) | 2022-09-06 |
Family
ID=82522111
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210708655.9A Active CN114820388B (zh) | 2022-06-22 | 2022-06-22 | 一种基于编解码器结构的图像去雾方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114820388B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116485728A (zh) * | 2023-04-03 | 2023-07-25 | 东北石油大学 | 抽油杆表面缺陷检测方法及装置、电子设备和存储介质 |
| CN117726550A (zh) * | 2024-02-18 | 2024-03-19 | 成都信息工程大学 | 一种多尺度门控注意力遥感图像去雾方法和系统 |
| WO2024078404A1 (zh) * | 2022-10-14 | 2024-04-18 | 维沃移动通信有限公司 | 特征图处理方法、装置及设备 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103164845A (zh) * | 2011-12-16 | 2013-06-19 | 中国科学院沈阳自动化研究所 | 一种实时图像去雾装置及方法 |
| KR20180050832A (ko) * | 2016-11-07 | 2018-05-16 | 한국과학기술원 | Ｃｎｎ을 이용한 이미지 디헤이징 방법 및 그 시스템 |
| AU2020100274A4 (en) * | 2020-02-25 | 2020-03-26 | Huang, Shuying DR | A Multi-Scale Feature Fusion Network based on GANs for Haze Removal |
| CN111709895A (zh) * | 2020-06-17 | 2020-09-25 | 中国科学院微小卫星创新研究院 | 基于注意力机制的图像盲去模糊方法及系统 |
| CN112365414A (zh) * | 2020-11-04 | 2021-02-12 | 天津大学 | 一种基于双路残差卷积神经网络的图像去雾方法 |
| US20210183020A1 (en) * | 2019-12-11 | 2021-06-17 | Samsung Electronics Co, Ltd. | Method and electronic device for deblurring blurred image |
| CN113628143A (zh) * | 2021-08-24 | 2021-11-09 | 合肥工业大学 | 一种基于多尺度卷积的加权融合图像去雾方法及装置 |
| CN113689346A (zh) * | 2021-08-17 | 2021-11-23 | 华东师范大学 | 一种基于对比学习的紧凑深度学习去雾方法 |
| WO2022095253A1 (zh) * | 2020-11-04 | 2022-05-12 | 常州工学院 | 一种基于深度通道感知的去除云雾方法 |
-
2022
- 2022-06-22 CN CN202210708655.9A patent/CN114820388B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103164845A (zh) * | 2011-12-16 | 2013-06-19 | 中国科学院沈阳自动化研究所 | 一种实时图像去雾装置及方法 |
| KR20180050832A (ko) * | 2016-11-07 | 2018-05-16 | 한국과학기술원 | Ｃｎｎ을 이용한 이미지 디헤이징 방법 및 그 시스템 |
| US20210183020A1 (en) * | 2019-12-11 | 2021-06-17 | Samsung Electronics Co, Ltd. | Method and electronic device for deblurring blurred image |
| AU2020100274A4 (en) * | 2020-02-25 | 2020-03-26 | Huang, Shuying DR | A Multi-Scale Feature Fusion Network based on GANs for Haze Removal |
| CN111709895A (zh) * | 2020-06-17 | 2020-09-25 | 中国科学院微小卫星创新研究院 | 基于注意力机制的图像盲去模糊方法及系统 |
| CN112365414A (zh) * | 2020-11-04 | 2021-02-12 | 天津大学 | 一种基于双路残差卷积神经网络的图像去雾方法 |
| WO2022095253A1 (zh) * | 2020-11-04 | 2022-05-12 | 常州工学院 | 一种基于深度通道感知的去除云雾方法 |
| CN113689346A (zh) * | 2021-08-17 | 2021-11-23 | 华东师范大学 | 一种基于对比学习的紧凑深度学习去雾方法 |
| CN113628143A (zh) * | 2021-08-24 | 2021-11-09 | 合肥工业大学 | 一种基于多尺度卷积的加权融合图像去雾方法及装置 |
Non-Patent Citations (3)
| Title |
|---|
| LEXUAN SUN 等: "WFN-PSC:Weighted-Fusion Network with Poly-Scale Convolution for image dehazing", 《MMASIA ’20》 * |
| WENQI REN 等: "Single Image Dehazing via Multi-scale Convolutional Neural Networks", 《ECCV 2016》 * |
| 查俊伟 等: "动态感受野特征选择去雾网络", 《电子科技》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024078404A1 (zh) * | 2022-10-14 | 2024-04-18 | 维沃移动通信有限公司 | 特征图处理方法、装置及设备 |
| CN116485728A (zh) * | 2023-04-03 | 2023-07-25 | 东北石油大学 | 抽油杆表面缺陷检测方法及装置、电子设备和存储介质 |
| CN117726550A (zh) * | 2024-02-18 | 2024-03-19 | 成都信息工程大学 | 一种多尺度门控注意力遥感图像去雾方法和系统 |
| CN117726550B (zh) * | 2024-02-18 | 2024-04-30 | 成都信息工程大学 | 一种多尺度门控注意力遥感图像去雾方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114820388B (zh) | 2022-09-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112233038B (zh) | 基于多尺度融合及边缘增强的真实图像去噪方法 | |
| CN114820388B (zh) | 一种基于编解码器结构的图像去雾方法 | |
| CN114140353B (zh) | 一种基于通道注意力的Swin-Transformer图像去噪方法及系统 | |
| CN110599409B (zh) | 基于多尺度卷积组与并行的卷积神经网络图像去噪方法 | |
| CN111915530B (zh) | 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法 | |
| CN111275643B (zh) | 基于通道和空间注意力的真实噪声盲去噪网络系统及方法 | |
| CN110599401A (zh) | 遥感图像超分辨率重建方法、处理装置及可读存储介质 | |
| CN111709895A (zh) | 基于注意力机制的图像盲去模糊方法及系统 | |
| CN110766632A (zh) | 基于通道注意力机制和特征金字塔的图像去噪方法 | |
| Raj et al. | Single image haze removal using a generative adversarial network | |
| CN111784602A (zh) | 一种生成对抗网络用于图像修复的方法 | |
| CN113284061B (zh) | 一种基于梯度网络的水下图像增强方法 | |
| CN111508013A (zh) | 立体匹配方法 | |
| CN116343144B (zh) | 一种融合视觉感知自适应去雾的实时目标检测方法 | |
| CN114627002A (zh) | 一种基于自适应特征融合的图像去雾方法 | |
| CN113191983A (zh) | 一种基于深度学习注意力机制的图像去噪方法及装置 | |
| CN114565539B (zh) | 一种基于线上知识蒸馏的图像去雾方法 | |
| CN113744146A (zh) | 一种基于对比学习和知识蒸馏的图像去雾方法 | |
| CN116703752A (zh) | 融合近红外的Transformer结构的图像去雾方法及装置 | |
| CN116563682A (zh) | 一种基于深度霍夫网络的注意力方案和条带卷积语义线检测的方法 | |
| Li et al. | Underwater motion deblurring based on cascaded attention mechanism | |
| CN113096032A (zh) | 一种基于图像区域划分的非均匀一致模糊去除方法 | |
| CN112200752A (zh) | 一种基于er网络多帧图像去模糊系统及其方法 | |
| CN115272131B (zh) | 基于自适应多光谱编码的图像去摩尔纹系统及方法 | |
| CN116703750A (zh) | 基于边缘注意力和多阶微分损失的图像去雾方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |