CN116542872A - 一种基于半监督知识蒸馏的单幅图像去雾方法 - Google Patents
一种基于半监督知识蒸馏的单幅图像去雾方法 Download PDFInfo
- Publication number
- CN116542872A CN116542872A CN202310370749.4A CN202310370749A CN116542872A CN 116542872 A CN116542872 A CN 116542872A CN 202310370749 A CN202310370749 A CN 202310370749A CN 116542872 A CN116542872 A CN 116542872A
- Authority
- CN
- China
- Prior art keywords
- image
- convolution
- feature map
- defogging
- computer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 238000013140 knowledge distillation Methods 0.000 title claims abstract description 15
- 238000012549 training Methods 0.000 claims abstract description 62
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 5
- 238000000605 extraction Methods 0.000 claims description 108
- 238000011176 pooling Methods 0.000 claims description 52
- 230000004913 activation Effects 0.000 claims description 32
- 238000010586 diagram Methods 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 16
- 238000005457 optimization Methods 0.000 claims description 8
- 230000003044 adaptive effect Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 241000282326 Felis catus Species 0.000 claims description 5
- 238000012546 transfer Methods 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 238000003786 synthesis reaction Methods 0.000 claims description 4
- 239000002131 composite material Substances 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 abstract description 39
- 230000008901 benefit Effects 0.000 abstract description 12
- 230000000694 effects Effects 0.000 abstract description 9
- 238000009826 distribution Methods 0.000 abstract description 6
- 238000013461 design Methods 0.000 abstract description 5
- 238000013135 deep learning Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于半监督知识蒸馏的单幅图像去雾方法，包括步骤：一、训练集图像的获取；二、图像去雾半监督网络模型的建立；三、合成有雾图像和真实有雾图像的特征提取；四、监督损失函数和无监督损失函数的建立；五、合成有雾图像和真实有雾图像对图像去雾半监督网络模型的训练；六、利用训练好的图像去雾半监督网络模型对单幅图像去雾。本发明方法步骤简单，设计合理，通过无监督训练和有监督训练，提高图像去雾效果，且半监督学习通过结合监督学习的拟合优势和无监督学习防止过拟合的优势，能够有效提高模型输出特征的分布并提高鲁棒性。
Description
技术领域
本发明属于图像去雾处理技术领域，具体涉及一种基于半监督知识蒸馏的单幅图像去雾方法。
背景技术
随着数字化时代的到来，图像已成为人类生产活动中的重要信息载体。为满足雾霾天气条件下智能视频监控系统图像质量以及目标检测、语义分割等高层计算机视觉任务的需要，开展图像去雾方法研究逐渐成为计算机视觉领域的重要方向。
目前，图像去雾方法大致可分为基于图像增强的去雾方法、基于先验信息的去雾方法和基于深度学习的去雾方法三类。基于图像增强的去雾方法不考虑雾天图像的退化机理，将雾霾作为噪声，利用常规的图像处理来调节图像的灰度等级，从而增加图像的对比度并生成去雾图像。基于先验信息的去雾方法以图像本身为研究对象，通过对无雾图像的颜色、饱和度等信息进行观察和分析，人为制定先验信息来对大气散射模型进行约束，进而求得大气散射模型的未知参数并恢复无雾图像。近年来，随着深度学习的迅速发展和显卡在矩阵计算方面的优异表现，深度学习被广泛应用于计算机视觉任务当中。在图像去雾领域，研究者们深入研究相关工作并提出大量方法，通过深度神经网络的强大特征提取能力来生成去雾图像。相比于上述两类方法，基于深度学习的去雾方法采用知识驱动的方式直接或间接地生成去雾图像，能够有效缓解利用人为先验信息去雾而造成的的伪影、颜色失真等问题。此类方法需要大量匹配的真实有雾图像及其相应的无雾图像作为训练数据集来对网络进行训练。然而在现实世界中，真实有雾训练数据集的收集极其困难且需消耗大量的人力物力，因而基于深度学习的去雾方法大多在合成有雾数据集上进行有监督训练。此外，由于真实有雾图像和合成有雾图像上的雾霾分布存在一定差异，因此此类方法的鲁棒性较差，在真实有雾图像上的去雾效果不够理想。
因此，现如今缺少一种设计合理的基于半监督知识蒸馏的单幅图像去雾方法，通过无监督训练和有监督训练，提高图像去雾效果，且半监督学习通过结合监督学习的拟合优势和无监督学习防止过拟合的优势，能够有效提高模型输出特征的分布并提高鲁棒性。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于半监督知识蒸馏的单幅图像去雾方法，其方法步骤简单，设计合理，通过无监督训练和有监督训练，提高图像去雾效果，且半监督学习通过结合监督学习的拟合优势和无监督学习防止过拟合的优势，能够有效提高模型输出特征的分布并提高鲁棒性。
为解决上述技术问题，本发明采用的技术方案是：一种基于半监督知识蒸馏的单幅图像去雾方法，其特征在于，该方法包括以下步骤：
步骤一、训练集图像的获取：
步骤101、从雾天图像数据库RESIDE中的室内训练集中选择训练集；其中，训练集包括合成有雾图像IS和与所述合成有雾图像对应的无雾训练图像JS；
步骤102、从雾天图像数据库URHI中选择真实有雾数据训练集；其中，所述真实有雾数据训练集包括真实有雾图像IR，且真实有雾图像IR、合成有雾图像IS、无雾训练图像JS的数量均相同且均为N；
步骤二、图像去雾半监督网络模型的建立：
采用计算机建立图像去雾半监督网络模型；其中，所述图像去雾半监督网络模型包括第一卷积Conv+ReLU激活函数层，4个基于PA和CA的特征提取块，第一卷积+Tanh激活函数层；
步骤三、合成有雾图像和真实有雾图像的特征提取：
步骤301、采用计算机将合成有雾图像IS经过图像去雾半监督网络模型进行特征提取，具体过程如下：
步骤3011、采用计算机将合成有雾图像IS输入图像去雾半监督网络模型中，并经过第一卷积Conv+ReLU激活函数层进行特征提取，得到特征图Fin；
步骤3012、采用计算机将特征图Fin依次经过4个基于PA和CA的特征提取块进行特征提取，得到第一特征图；
步骤3013、采用计算机将第一特征图经过进行第一卷积+Tanh激活函数层进行特征提取，得到有监督的去雾图像
步骤302、采用计算机将真实有雾图像IR经过图像去雾半监督网络模型进行特征提取，具体过程如下：
步骤3021、采用计算机将真实有雾图像IR输入图像去雾半监督网络模型中，并经过第一卷积Conv+ReLU激活函数层进行特征提取，得到无监督特征图Fin′；
步骤3022、采用计算机将无监督特征图Fin′依次经过4个基于PA和CA的特征提取块进行特征提取，得到第二特征图；
步骤3023、采用计算机将第二特征图经过进行第一卷积+Tanh激活函数层进行特征提取，得到无监督的真实去雾图像
步骤303、采用计算机利用暗通道先验去雾算法对真实有雾图像IR处理，得到第一去雾图像JDCP；采用计算机利用RefineDNet网络模型对真实有雾图像IR处理，得到第二去雾图像Jdist；
步骤四、监督损失函数和无监督损失函数的建立：
步骤401、采用计算机根据LS＝L1-0.5LSSIM，得到监督损失函数LS；其中，代表有监督的去雾图像/>和其相对应的无雾图像JS之间的曼哈顿距离，代表有监督的去雾图像/>和其相对应的无雾图像JS之间的SSIM损失；
步骤402、采用计算机根据LU＝LDCP+Ldist，得到无监督损失函数LU；其中，代表无监督的真实去雾图像/>和第一去雾图像JDCP之间的曼哈顿距离，代表无监督的真实去雾图像/>和第二去雾图像Jdist之间的曼哈顿距离；
步骤五、合成有雾图像和真实有雾图像对图像去雾半监督网络模型的训练：
步骤501、计算机采用Adam优化算法，利用监督损失函数LS和无监督损失函数LU分别对图像去雾半监督网络模型进行迭代优化，直至训练集全部训练，完成一次迭代训练；
步骤502、重复步骤501迭代训练直至满足迭代训练预设次数，得到训练好的图像去雾半监督网络模型；
步骤六、利用训练好的图像去雾半监督网络模型对单幅图像去雾：
采用计算机将任一张有雾图像输入训练好的图像去雾半监督网络模型中进行去雾处理，得到无雾图像。
上述的一种基于半监督知识蒸馏的单幅图像去雾方法，其特征在于：步骤二中所述第一卷积Conv+ReLU激活函数层包括Conv1卷积层和ReLU激活函数层，所述第一卷积+Tanh激活函数层包括Conv2卷积层和Tanh激活函数层，Conv1卷积层和Conv2卷积层中卷积核的数量为32，卷积核的大小为3×3，滑动步长为1，padding为1；
4个基于PA和CA的特征提取块的结构且均包括第一卷积池化层、第二卷积池化层、第三卷积池化层、Conv3卷积层以及PA和CA模块，所述PA和CA模块包括自适应池化层、Conv4卷积层、Conv5卷积层和Conv6卷积层；
第一卷积池化层中卷积核的数量为32，卷积核的大小为1×1，滑动步长为1，padding为0，第一卷积池化层中池化核的大小为3×3，滑动步长为1，padding为1；
第二卷积池化层中卷积核的数量为32，卷积核的大小为1×1，滑动步长为1，padding为0，第二卷积池化层中池化核的大小为5×5，滑动步长为1，padding为2；
第三卷积池化层中卷积核的数量为32，卷积核的大小为1×1，滑动步长为1，padding为0，第三卷积池化层中池化核的大小为7×7，滑动步长为1，padding为3；
Conv3卷积层中卷积核的数量为32，卷积核的大小为1×1，滑动步长为1，padding为0；
Conv4卷积层中卷积核的数量为32，Conv4卷积层中卷积核的大小为1×1，滑动步长为1，padding为0；
Conv5卷积层中卷积核的数量为1，Conv5卷积层中卷积核的大小为3×3，滑动步长为1，padding为1；
Conv6卷积层中卷积核的数量为32，Conv6卷积层中卷积核的大小为1×1，滑动步长为1，padding为0。
上述的一种基于半监督知识蒸馏的单幅图像去雾方法，其特征在于：步骤3012中采用计算机将特征图Fin依次经过4个基于PA和CA的特征提取块进行特征提取得到第一特征图，具体过程如下：
步骤A、采用计算机将特征图Fin经过第一个基于PA和CA的特征提取块中第一卷积池化层进行特征提取，得到第一中间特征图F1；
步骤B、采用计算机调用拼接cat函数模块将特征图Fin和第一中间特征图F1拼接，得到第二中间特征图F2；
步骤C、采用计算机将第二中间特征图F2经过第一个基于PA和CA的特征提取块中第二卷积池化层进行特征提取，得到第三中间特征图F3；
步骤D、采用计算机调用拼接cat函数模块将第二中间特征图F2和第三中间特征图F3拼接，得到第四中间特征图F4；
步骤E、采用计算机将第四中间特征图F4经过第一个基于PA和CA的特征提取块中第三卷积池化层进行特征提取，得到第五中间特征图F5；
步骤F、采用计算机调用拼接cat函数模块将第四中间特征图F4和第五中间特征图F5拼接，得到第六中间特征图F6；
步骤G、采用计算机将第六中间特征图F6经过第一个基于PA和CA的特征提取块中Conv3卷积层进行特征提取，得到第七中间特征图F7；
步骤H、采用计算机将第七中间特征图F7经过第一个基于PA和CA的特征提取块中PA和CA模块进行特征提取，得到第一输出特征图；
步骤I、按照步骤A至步骤H所述的方法，采用计算机将第一输出特征图经过第二个基于PA和CA的特征提取块进行特征提取，得到第二输出特征图；
步骤J、按照步骤A至步骤H所述的方法，采用计算机将第二输出特征图经过第三个基于PA和CA的特征提取块进行特征提取，得到第三输出特征图；
步骤K、按照步骤A至步骤H所述的方法，采用计算机将第三输出特征图经过第四个基于PA和CA的特征提取块进行特征提取，得到第一特征图；
步骤3022中采用计算机将无监督特征图F′in依次经过4个基于PA和CA的特征提取块进行特征提取，得到第二特征图，具体如下：
按照步骤A至步骤K所述的方法，对无监督特征图F′in进行特征提取，得到第二特征图。
上述的一种基于半监督知识蒸馏的单幅图像去雾方法，其特征在于：步骤H中采用计算机将第七中间特征图F7经过第一个基于PA和CA的特征提取块中PA和CA模块进行特征提取，得到第一输出特征图，具体过程如下：
步骤H01、采用计算机将第七中间特征图F7输入PA和CA模块中自适应池化层和Conv4卷积层经过特征提取，得到第八中间特征图F8；其中，自适应池化层output_size为1；
步骤H02、采用计算机根据得到第九中间特征图F9；其中，/>表示特征图矩阵之间的哈达玛积运算；
步骤H03、采用计算机将第九中间特征图F9输入Conv5卷积层经过特征提取，得到第十中间特征图F10；
步骤H04、采用计算机根据得到第十一中间特征图F11；其中，/>表示特征图矩阵之间的哈达玛积运算；
步骤H05、采用计算机将第十一中间特征图F11输入Conv6卷积层经过特征提取，得到第一输出特征图Fout。
本发明与现有技术相比具有以下优点：
1、本发明方法步骤简单，设计合理，首先是训练集图像的获取；其次是图像去雾半监督网络模型的建立，接着是合成有雾图像和真实有雾图像的特征提取，之后是监督损失函数和无监督损失函数的建立，然后是合成有雾图像和真实有雾图像对图像去雾半监督网络模型的训练，最后利用训练好的图像去雾半监督网络模型对单幅图像去雾，提高图像去雾效果，且鲁棒性好。
2、本发明图像去雾半监督网络模型中包括第一卷积Conv+ReLU激活函数层，4个基于PA和CA的特征提取块，第一卷积+Tanh激活函数层，不仅能融合所有特征，而且能自适应地学习不同层次特征信息，又具有较强的泛化能力。
3、本发明减少了对训练数据集的依赖，并且在训练过程中利用了真实有雾图像包含的信息来增强方法对真实有雾图像的去雾能力。
4、本发明在真实有雾数据集中，通过知识蒸馏的方式将RefineDNet模型中所蕴含的知识进行迁移，同时引入暗通道先验去雾算法对真实有雾图像信息的利用，从而改善其去雾效果。
5、本发明结合了监督学习和无监督学习的优势，在防止网络过拟合的同时能够有效地增强训练后网络的鲁棒性及泛化能力。
综上所述，本发明方法步骤简单，设计合理，通过无监督训练和有监督训练，提高图像去雾效果，且半监督学习通过结合监督学习的拟合优势和无监督学习防止过拟合的优势，能够有效提高模型输出特征的分布并提高鲁棒性。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的方法流程框图。
图2-1为本发明有监督训练的结构示意图。
图2-2为本发明无监督训练的结构示意图。
图3为本发明一个基于PA和CA的特征提取块的结构示意图。
具体实施方式
如图1至图3所示，本发明的一种基于半监督知识蒸馏的单幅图像去雾方法，包括以下步骤：
步骤一、训练集图像的获取：
步骤101、从雾天图像数据库RESIDE中的室内训练集中选择训练集；其中，训练集包括合成有雾图像IS和与所述合成有雾图像对应的无雾训练图像JS；
步骤102、从雾天图像数据库URHI中选择真实有雾数据训练集；其中，所述真实有雾数据训练集包括真实有雾图像IR，且真实有雾图像IR、合成有雾图像IS、无雾训练图像JS的数量均相同且均为N；
步骤二、图像去雾半监督网络模型的建立：
采用计算机建立图像去雾半监督网络模型；其中，所述图像去雾半监督网络模型包括第一卷积Conv+ReLU激活函数层，4个基于PA和CA的特征提取块，第一卷积+Tanh激活函数层；
步骤三、合成有雾图像和真实有雾图像的特征提取：
步骤301、采用计算机将合成有雾图像IS经过图像去雾半监督网络模型进行特征提取，具体过程如下：
步骤3011、采用计算机将合成有雾图像IS输入图像去雾半监督网络模型中，并经过第一卷积Conv+ReLU激活函数层进行特征提取，得到特征图Fin；
步骤3012、采用计算机将特征图Fin依次经过4个基于PA和CA的特征提取块进行特征提取，得到第一特征图；
步骤3013、采用计算机将第一特征图经过进行第一卷积+Tanh激活函数层进行特征提取，得到有监督的去雾图像
步骤302、采用计算机将真实有雾图像IR经过图像去雾半监督网络模型进行特征提取，具体过程如下：
步骤3021、采用计算机将真实有雾图像IR输入图像去雾半监督网络模型中，并经过第一卷积Conv+ReLU激活函数层进行特征提取，得到无监督特征图Fin′；
步骤3022、采用计算机将无监督特征图Fin′依次经过4个基于PA和CA的特征提取块进行特征提取，得到第二特征图；
步骤3023、采用计算机将第二特征图经过进行第一卷积+Tanh激活函数层进行特征提取，得到无监督的真实去雾图像
步骤303、采用计算机利用暗通道先验去雾算法对真实有雾图像IR处理，得到第一去雾图像JDCP；采用计算机利用RefineDNet网络模型对真实有雾图像IR处理，得到第二去雾图像Jdist；
步骤四、监督损失函数和无监督损失函数的建立：
步骤401、采用计算机根据LS＝L1-0.5LSSIM，得到监督损失函数LS；其中，代表有监督的去雾图像/>和其相对应的无雾图像JS之间的曼哈顿距离，代表有监督的去雾图像/>和其相对应的无雾图像JS之间的SSIM损失；
步骤402、采用计算机根据LU＝LDCP+Ldist，得到无监督损失函数LU；其中，代表无监督的真实去雾图像/>和第一去雾图像JDCP之间的曼哈顿距离，代表无监督的真实去雾图像/>和第二去雾图像Jdist之间的曼哈顿距离；
步骤五、合成有雾图像和真实有雾图像对图像去雾半监督网络模型的训练：
步骤501、计算机采用Adam优化算法，利用监督损失函数LS和无监督损失函数LU分别对图像去雾半监督网络模型进行迭代优化，直至训练集全部训练，完成一次迭代训练；
步骤502、重复步骤501迭代训练直至满足迭代训练预设次数，得到训练好的图像去雾半监督网络模型；
步骤六、利用训练好的图像去雾半监督网络模型对单幅图像去雾：
采用计算机将任一张有雾图像输入训练好的图像去雾半监督网络模型中进行去雾处理，得到无雾图像。
本实施例中，步骤二中所述第一卷积Conv+ReLU激活函数层包括Conv1卷积层和ReLU激活函数层，所述第一卷积+Tanh激活函数层包括Conv2卷积层和Tanh激活函数层，Conv1卷积层和Conv2卷积层中卷积核的数量为32，卷积核的大小为3×3，滑动步长为1，padding为1；
4个基于PA和CA的特征提取块的结构且均包括第一卷积池化层、第二卷积池化层、第三卷积池化层、Conv3卷积层以及PA和CA模块，所述PA和CA模块包括自适应池化层、Conv4卷积层、Conv5卷积层和Conv6卷积层；
第一卷积池化层中卷积核的数量为32，卷积核的大小为1×1，滑动步长为1，padding为0，第一卷积池化层中池化核的大小为3×3，滑动步长为1，padding为1；
第二卷积池化层中卷积核的数量为32，卷积核的大小为1×1，滑动步长为1，padding为0，第二卷积池化层中池化核的大小为5×5，滑动步长为1，padding为2；
第三卷积池化层中卷积核的数量为32，卷积核的大小为1×1，滑动步长为1，padding为0，第三卷积池化层中池化核的大小为7×7，滑动步长为1，padding为3；
Conv3卷积层中卷积核的数量为32，卷积核的大小为1×1，滑动步长为1，padding为0；
Conv4卷积层中卷积核的数量为32，Conv4卷积层中卷积核的大小为1×1，滑动步长为1，padding为0；
Conv5卷积层中卷积核的数量为1，Conv5卷积层中卷积核的大小为3×3，滑动步长为1，padding为1；
Conv6卷积层中卷积核的数量为32，Conv6卷积层中卷积核的大小为1×1，滑动步长为1，padding为0。
本实施例中，步骤3012中采用计算机将特征图Fin依次经过4个基于PA和CA的特征提取块进行特征提取得到第一特征图，具体过程如下：
步骤A、采用计算机将特征图Fin经过第一个基于PA和CA的特征提取块中第一卷积池化层进行特征提取，得到第一中间特征图F1；
步骤B、采用计算机调用拼接cat函数模块将特征图Fin和第一中间特征图F1拼接，得到第二中间特征图F2；
步骤C、采用计算机将第二中间特征图F2经过第一个基于PA和CA的特征提取块中第二卷积池化层进行特征提取，得到第三中间特征图F3；
步骤D、采用计算机调用拼接cat函数模块将第二中间特征图F2和第三中间特征图F3拼接，得到第四中间特征图F4；
步骤E、采用计算机将第四中间特征图F4经过第一个基于PA和CA的特征提取块中第三卷积池化层进行特征提取，得到第五中间特征图F5；
步骤F、采用计算机调用拼接cat函数模块将第四中间特征图F4和第五中间特征图F5拼接，得到第六中间特征图F6；
步骤G、采用计算机将第六中间特征图F6经过第一个基于PA和CA的特征提取块中Conv3卷积层进行特征提取，得到第七中间特征图F7；
步骤H、采用计算机将第七中间特征图F7经过第一个基于PA和CA的特征提取块中PA和CA模块进行特征提取，得到第一输出特征图；
步骤I、按照步骤A至步骤H所述的方法，采用计算机将第一输出特征图经过第二个基于PA和CA的特征提取块进行特征提取，得到第二输出特征图；
步骤J、按照步骤A至步骤H所述的方法，采用计算机将第二输出特征图经过第三个基于PA和CA的特征提取块进行特征提取，得到第三输出特征图；
步骤K、按照步骤A至步骤H所述的方法，采用计算机将第三输出特征图经过第四个基于PA和CA的特征提取块进行特征提取，得到第一特征图；
步骤3022中采用计算机将无监督特征图Fin′依次经过4个基于PA和CA的特征提取块进行特征提取，得到第二特征图，具体如下：
按照步骤A至步骤K所述的方法，对无监督特征图Fin′进行特征提取，得到第二特征图。
本实施例中，步骤H中采用计算机将第七中间特征图F7经过第一个基于PA和CA的特征提取块中PA和CA模块进行特征提取，得到第一输出特征图，具体过程如下：
步骤H01、采用计算机将第七中间特征图F7输入PA和CA模块中自适应池化层和Conv4卷积层经过特征提取，得到第八中间特征图F8；其中，自适应池化层output_size为1；
步骤H02、采用计算机根据得到第九中间特征图F9；其中，/>表示特征图矩阵之间的哈达玛积运算；
步骤H03、采用计算机将第九中间特征图F9输入Conv5卷积层经过特征提取，得到第十中间特征图F10；
步骤H04、采用计算机根据得到第十一中间特征图F11；其中，/>表示特征图矩阵之间的哈达玛积运算；
步骤H05、采用计算机将第十一中间特征图F11输入Conv6卷积层经过特征提取，得到第一输出特征图Fout。
本实施例中，所述合成有雾图像IS、无雾训练图像JS、真实有雾图像IR的数量均相同且均为N，且N为2093。
本实施例中，需要说明的是，PA模块即空间注意力机制模块，CA模块即通道注意力机制模块。
本实施例中，需要说明的是，Adam优化算法即Adaptive momentum优化算法。
本实施例中，需要说明的是，实际使用时，是指图像矩阵之间的哈达玛积，例如设定矩阵A中的第i行第j列元素为aij，矩阵B中第i行第j列元素为bij，则/>则C中第i行第j列元素为cij＝aij×bij，且A、B和C是同阶矩阵。
本实施例中，需要说明的是，步骤502中迭代训练预设次数为30。
本实施例中，特征图的大小用通道数×长×宽表示。
本实施例中，真实有雾图像IR、合成有雾图像IS、无雾训练图像JS的均为三通道的RGB彩色图像，即3×256×256。
本实施例中，特征图Fin的大小为256×256，特征图Fin的通道数为32；无监督特征图Fin′的大小为256×256，无监督特征图Fin′的通道数为32。
本实施例中，第一中间特征图F1的大小为32×256×256；第二中间特征图F2的大小为64×256×256；第三中间特征图F3的大小为32×256×256；第四中间特征图F4的大小为96×256×256；第五中间特征图F5的大小为32×256×256；第六中间特征图F6的大小为128×256×256；第七中间特征图F7的大小为32×256×256；第八中间特征图F8的大小为32×1×1，第九中间特征图F9的大小为32×256×256；第十中间特征图F10的大小为1×256×256；第十一中间特征图F11的大小为32×256×256；第一输出特征图Fout的大小为32×256×256。
综上所述，本发明方法步骤简单，设计合理，通过无监督训练和有监督训练，提高图像去雾效果，且半监督学习通过结合监督学习的拟合优势和无监督学习防止过拟合的优势，能够有效提高模型输出特征的分布并提高鲁棒性。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化，均仍属于本发明技术方案的保护范围内。
Claims (4)
1.一种基于半监督知识蒸馏的单幅图像去雾方法，其特征在于，该方法包括以下步骤：
步骤一、训练集图像的获取：
步骤101、从雾天图像数据库RESIDE中的室内训练集中选择训练集；其中，训练集包括合成有雾图像IS和与所述合成有雾图像对应的无雾训练图像JS；
步骤102、从雾天图像数据库URHI中选择真实有雾数据训练集；其中，所述真实有雾数据训练集包括真实有雾图像IR，且真实有雾图像IR、合成有雾图像IS、无雾训练图像JS的数量均相同且均为N；
步骤二、图像去雾半监督网络模型的建立：
采用计算机建立图像去雾半监督网络模型；其中，所述图像去雾半监督网络模型包括第一卷积Conv+ReLU激活函数层，4个基于PA和CA的特征提取块，第一卷积+Tanh激活函数层；
步骤三、合成有雾图像和真实有雾图像的特征提取：
步骤301、采用计算机将合成有雾图像IS经过图像去雾半监督网络模型进行特征提取，具体过程如下：
步骤3011、采用计算机将合成有雾图像IS输入图像去雾半监督网络模型中，并经过第一卷积Conv+ReLU激活函数层进行特征提取，得到特征图Fin；
步骤3012、采用计算机将特征图Fin依次经过4个基于PA和CA的特征提取块进行特征提取，得到第一特征图；
步骤3013、采用计算机将第一特征图经过进行第一卷积+Tanh激活函数层进行特征提取，得到有监督的去雾图像
步骤302、采用计算机将真实有雾图像IR经过图像去雾半监督网络模型进行特征提取，具体过程如下：
步骤3021、采用计算机将真实有雾图像IR输入图像去雾半监督网络模型中，并经过第一卷积Conv+ReLU激活函数层进行特征提取，得到无监督特征图Fin′；
步骤3022、采用计算机将无监督特征图Fin′依次经过4个基于PA和CA的特征提取块进行特征提取，得到第二特征图；
步骤3023、采用计算机将第二特征图经过进行第一卷积+Tanh激活函数层进行特征提取，得到无监督的真实去雾图像
步骤303、采用计算机利用暗通道先验去雾算法对真实有雾图像IR处理，得到第一去雾图像JDCP；采用计算机利用RefineDNet网络模型对真实有雾图像IR处理，得到第二去雾图像Jdist；
步骤四、监督损失函数和无监督损失函数的建立：
步骤401、采用计算机根据LS＝L1-0.5LSSIM，得到监督损失函数LS；其中，代表有监督的去雾图像/>和其相对应的无雾图像JS之间的曼哈顿距离，代表有监督的去雾图像/>和其相对应的无雾图像JS之间的SSIM损失；
步骤402、采用计算机根据LU＝LDCP+Ldist，得到无监督损失函数LU；其中，代表无监督的真实去雾图像/>和第一去雾图像JDCP之间的曼哈顿距离，代表无监督的真实去雾图像/>和第二去雾图像Jdist之间的曼哈顿距离；
步骤五、合成有雾图像和真实有雾图像对图像去雾半监督网络模型的训练：
步骤501、计算机采用Adam优化算法，利用监督损失函数LS和无监督损失函数LU分别对图像去雾半监督网络模型进行迭代优化，直至训练集全部训练，完成一次迭代训练；
步骤502、重复步骤501迭代训练直至满足迭代训练预设次数，得到训练好的图像去雾半监督网络模型；
步骤六、利用训练好的图像去雾半监督网络模型对单幅图像去雾：
采用计算机将任一张有雾图像输入训练好的图像去雾半监督网络模型中进行去雾处理，得到无雾图像。
2.按照权利要求1所述的一种基于半监督知识蒸馏的单幅图像去雾方法，其特征在于：步骤二中所述第一卷积Conv+ReLU激活函数层包括Conv1卷积层和ReLU激活函数层，所述第一卷积+Tanh激活函数层包括Conv2卷积层和Tanh激活函数层，Conv1卷积层和Conv2卷积层中卷积核的数量为32，卷积核的大小为3×3，滑动步长为1，padding为1；
4个基于PA和CA的特征提取块的结构且均包括第一卷积池化层、第二卷积池化层、第三卷积池化层、Conv3卷积层以及PA和CA模块，所述PA和CA模块包括自适应池化层、Conv4卷积层、Conv5卷积层和Conv6卷积层；
第一卷积池化层中卷积核的数量为32，卷积核的大小为1×1，滑动步长为1，padding为0，第一卷积池化层中池化核的大小为3×3，滑动步长为1，padding为1；
第二卷积池化层中卷积核的数量为32，卷积核的大小为1×1，滑动步长为1，padding为0，第二卷积池化层中池化核的大小为5×5，滑动步长为1，padding为2；
第三卷积池化层中卷积核的数量为32，卷积核的大小为1×1，滑动步长为1，padding为0，第三卷积池化层中池化核的大小为7×7，滑动步长为1，padding为3；
Conv3卷积层中卷积核的数量为32，卷积核的大小为1×1，滑动步长为1，padding为0；
Conv4卷积层中卷积核的数量为32，Conv4卷积层中卷积核的大小为1×1，滑动步长为1，padding为0；
Conv5卷积层中卷积核的数量为1，Conv5卷积层中卷积核的大小为3×3，滑动步长为1，padding为1；
Conv6卷积层中卷积核的数量为32，Conv6卷积层中卷积核的大小为1×1，滑动步长为1，padding为0。
3.按照权利要求2所述的一种基于半监督知识蒸馏的单幅图像去雾方法，其特征在于：步骤3012中采用计算机将特征图Fin依次经过4个基于PA和CA的特征提取块进行特征提取得到第一特征图，具体过程如下：
步骤A、采用计算机将特征图Fin经过第一个基于PA和CA的特征提取块中第一卷积池化层进行特征提取，得到第一中间特征图F1；
步骤B、采用计算机调用拼接cat函数模块将特征图Fin和第一中间特征图F1拼接，得到第二中间特征图F2；
步骤C、采用计算机将第二中间特征图F2经过第一个基于PA和CA的特征提取块中第二卷积池化层进行特征提取，得到第三中间特征图F3；
步骤D、采用计算机调用拼接cat函数模块将第二中间特征图F2和第三中间特征图F3拼接，得到第四中间特征图F4；
步骤E、采用计算机将第四中间特征图F4经过第一个基于PA和CA的特征提取块中第三卷积池化层进行特征提取，得到第五中间特征图F5；
步骤F、采用计算机调用拼接cat函数模块将第四中间特征图F4和第五中间特征图F5拼接，得到第六中间特征图F6；
步骤G、采用计算机将第六中间特征图F6经过第一个基于PA和CA的特征提取块中Conv3卷积层进行特征提取，得到第七中间特征图F7；
步骤H、采用计算机将第七中间特征图F7经过第一个基于PA和CA的特征提取块中PA和CA模块进行特征提取，得到第一输出特征图；
步骤I、按照步骤A至步骤H所述的方法，采用计算机将第一输出特征图经过第二个基于PA和CA的特征提取块进行特征提取，得到第二输出特征图；
步骤J、按照步骤A至步骤H所述的方法，采用计算机将第二输出特征图经过第三个基于PA和CA的特征提取块进行特征提取，得到第三输出特征图；
步骤K、按照步骤A至步骤H所述的方法，采用计算机将第三输出特征图经过第四个基于PA和CA的特征提取块进行特征提取，得到第一特征图；
步骤3022中采用计算机将无监督特征图F′in依次经过4个基于PA和CA的特征提取块进行特征提取，得到第二特征图，具体如下：
按照步骤A至步骤K所述的方法，对无监督特征图F′in进行特征提取，得到第二特征图。
4.按照权利要求3所述的一种基于半监督知识蒸馏的单幅图像去雾方法，其特征在于：步骤H中采用计算机将第七中间特征图F7经过第一个基于PA和CA的特征提取块中PA和CA模块进行特征提取，得到第一输出特征图，具体过程如下：
步骤H01、采用计算机将第七中间特征图F7输入PA和CA模块中自适应池化层和Conv4卷积层经过特征提取，得到第八中间特征图F8；其中，自适应池化层output_size为1；
步骤H02、采用计算机根据得到第九中间特征图F9；其中，/>表示特征图矩阵之间的哈达玛积运算；
步骤H03、采用计算机将第九中间特征图F9输入Conv5卷积层经过特征提取，得到第十中间特征图F10；
步骤H04、采用计算机根据得到第十一中间特征图F11；其中，/>表示特征图矩阵之间的哈达玛积运算；
步骤H05、采用计算机将第十一中间特征图F11输入Conv6卷积层经过特征提取，得到第一输出特征图Fout。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310370749.4A CN116542872B (zh) | 2023-04-10 | 2023-04-10 | 一种基于半监督知识蒸馏的单幅图像去雾方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310370749.4A CN116542872B (zh) | 2023-04-10 | 2023-04-10 | 一种基于半监督知识蒸馏的单幅图像去雾方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116542872A true CN116542872A (zh) | 2023-08-04 |
| CN116542872B CN116542872B (zh) | 2024-03-19 |
Family
ID=87444396
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310370749.4A Active CN116542872B (zh) | 2023-04-10 | 2023-04-10 | 一种基于半监督知识蒸馏的单幅图像去雾方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116542872B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110097519A (zh) * | 2019-04-28 | 2019-08-06 | 暨南大学 | 基于深度学习的双监督图像去雾方法、系统、介质和设备 |
| CN111681178A (zh) * | 2020-05-22 | 2020-09-18 | 厦门大学 | 一种基于知识蒸馏的图像去雾方法 |
| CN114155165A (zh) * | 2021-11-29 | 2022-03-08 | 温州大学 | 一种基于半监督的图像去雾方法 |
| CN114565539A (zh) * | 2022-03-17 | 2022-05-31 | 中国人民解放军火箭军工程大学 | 一种基于线上知识蒸馏的图像去雾方法 |
| CN115861113A (zh) * | 2022-12-16 | 2023-03-28 | 重庆邮电大学 | 一种基于融合深度图与特征掩膜的半监督去雾方法 |
-
2023
- 2023-04-10 CN CN202310370749.4A patent/CN116542872B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110097519A (zh) * | 2019-04-28 | 2019-08-06 | 暨南大学 | 基于深度学习的双监督图像去雾方法、系统、介质和设备 |
| CN111681178A (zh) * | 2020-05-22 | 2020-09-18 | 厦门大学 | 一种基于知识蒸馏的图像去雾方法 |
| CN114155165A (zh) * | 2021-11-29 | 2022-03-08 | 温州大学 | 一种基于半监督的图像去雾方法 |
| CN114565539A (zh) * | 2022-03-17 | 2022-05-31 | 中国人民解放军火箭军工程大学 | 一种基于线上知识蒸馏的图像去雾方法 |
| CN115861113A (zh) * | 2022-12-16 | 2023-03-28 | 重庆邮电大学 | 一种基于融合深度图与特征掩膜的半监督去雾方法 |
Non-Patent Citations (6)
| Title |
|---|
| GANG LONG ET AL.: "PHC-GAN: Physical Constraint Generative Adversarial Network for Single Image Dehazing", 《2020 IEEE 32ND INTERNATIONAL CONFERENCE ON TOOLS WITH ARTIFICIAL INTELLIGENCE (ICTAI)》, 24 December 2020 (2020-12-24), pages 545 - 549 * |
| JINBAO WANG ET AL.: "Single Image Dehazing Based on the Physical Model and MSRCR Algorithm", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》, vol. 28, no. 9, 19 July 2017 (2017-07-19), pages 2190 - 2199, XP011690482, DOI: 10.1109/TCSVT.2017.2728822 * |
| NIAN WANG ET AL.: "Multi-priors Guided Dehazing Network Based on Knowledge Distillation", 《PRCV》, 31 December 2022 (2022-12-31), pages 15 * |
| YUNWEI LAN ET AL.: "Physical-model guided self-distillation network for single image dehazing", 《FRONT. NEUROROBOT》, 1 December 2022 (2022-12-01), pages 1 - 12 * |
| 纪连顺等: "基于半监督学习的图像去雾算法", 《青 岛 大 学 学 报 ( 自 然 科 学 版 )》, vol. 35, no. 1, 28 February 2022 (2022-02-28), pages 26 - 33 * |
| 麻文刚等: "基于景深先验引导与环境光优化的图像去雾", 《电子学报》, vol. 50, no. 7, 31 July 2022 (2022-07-31), pages 1708 - 1721 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116542872B (zh) | 2024-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lin et al. | Hyperspectral image denoising via matrix factorization and deep prior regularization | |
| CN107122826B (zh) | 用于卷积神经网络的处理方法和系统、和存储介质 | |
| Zhang et al. | NLDN: Non-local dehazing network for dense haze removal | |
| CN116797488A (zh) | 一种基于特征融合与注意力嵌入的低照度图像增强方法 | |
| CN111639564B (zh) | 一种基于多注意力异构网络的视频行人重识别方法 | |
| CN110163884B (zh) | 一种基于全连接深度学习神经网络的单个图像分割方法 | |
| CN109035267B (zh) | 一种基于深度学习的图像目标抠取方法 | |
| CN110555465A (zh) | 一种基于cnn与多特征融合的天气图像识别方法 | |
| CN110363068B (zh) | 一种基于多尺度循环生成式对抗网络的高分辨行人图像生成方法 | |
| CN110246094B (zh) | 一种用于彩色图像超分辨率重建的6维嵌入的去噪自编码先验信息算法 | |
| CN112465842B (zh) | 基于U-net网络的多通道视网膜血管图像分割方法 | |
| CN111080591A (zh) | 基于编码解码结构结合残差模块的医学图像分割方法 | |
| CN113034408B (zh) | 一种红外热成像深度学习图像去噪方法及装置 | |
| CN112102176A (zh) | 基于多尺度密集混合注意力神经网络的图像去雨方法 | |
| CN110287990A (zh) | 微型藻类图像分类方法、系统、设备及存储介质 | |
| CN116129426A (zh) | 一种宫颈细胞涂片18类别的细粒度分类方法 | |
| CN116664435A (zh) | 一种基于多尺度人脸解析图融入的人脸复原方法 | |
| Hu et al. | Vehicle color recognition based on smooth modulation neural network with multi-scale feature fusion | |
| CN118196629A (zh) | 一种遥感影像植被提取方法和装置 | |
| CN109003247B (zh) | 彩色图像混合噪声的去除方法 | |
| Li et al. | FA-GAN: A feature attention GAN with fusion discriminator for non-homogeneous dehazing | |
| CN116542872B (zh) | 一种基于半监督知识蒸馏的单幅图像去雾方法 | |
| CN110020986B (zh) | 基于欧氏子空间群两重映射的单帧图像超分辨率重建方法 | |
| Yao et al. | Spatial-frequency Dual-Domain Feature Fusion Network for Low-Light Remote Sensing Image Enhancement | |
| Cao et al. | Deep feature interactive aggregation network for single image deraining |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |