CN114565539A - 一种基于线上知识蒸馏的图像去雾方法 - Google Patents

一种基于线上知识蒸馏的图像去雾方法 Download PDF

Info

Publication number
CN114565539A
CN114565539A CN202210264692.5A CN202210264692A CN114565539A CN 114565539 A CN114565539 A CN 114565539A CN 202210264692 A CN202210264692 A CN 202210264692A CN 114565539 A CN114565539 A CN 114565539A
Authority
CN
China
Prior art keywords
image
computer
feature
layer
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210264692.5A
Other languages
English (en)
Other versions
CN114565539B (zh
Inventor
兰云伟
崔智高
李爱华
王念
苏延召
张炜
李庆辉
钟啸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rocket Force University of Engineering of PLA
Original Assignee
Rocket Force University of Engineering of PLA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rocket Force University of Engineering of PLA filed Critical Rocket Force University of Engineering of PLA
Priority to CN202210264692.5A priority Critical patent/CN114565539B/zh
Publication of CN114565539A publication Critical patent/CN114565539A/zh
Application granted granted Critical
Publication of CN114565539B publication Critical patent/CN114565539B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于线上知识蒸馏的图像去雾方法，包括步骤：一、训练集图像的获取；二、图像去雾网络教师模型的建立；三、有雾训练图像的特征提取；四、总损失函数的建立；五、有雾训练图像对图像去雾网络教师模型的训练；六、利用训练好的图像去雾网络教师模型对单幅图像去雾。本发明通过主体网络模型进行特征提取，通过学生分支网络生成两个去雾图像，并通过特征聚合网络模型进行特征聚合，然后利用聚合特征图对主体网络模型和学生分支的网络进行知识蒸馏，提高图像去雾效果，且减少网络参数。

Description

一种基于线上知识蒸馏的图像去雾方法
技术领域
本发明属于图像去雾处理技术领域，具体涉及一种基于线上知识蒸馏的图像去雾方法。
背景技术
随着计算机技术的发展，图像已经成为当前获取信息的主要途径之一。目标检测、语义分割等高级计算机视觉任务也被研究者广泛关注。然而，摄像机在成像过程中，会受到大气中雾霾、沙尘、雨雪等恶劣天气的影响，特别是在雾霾条件下获取的图像亮度低，对比度下降，使得图像质量降低，从而影响其在目标检测、语义分割等高级计算机视觉任务中的应用，因此，开展图像去雾技术研究具有重大意义的。图像去雾就是给定一张有雾图像，对其进行去雾处理得到相应的无雾图像。
目前图像去雾方法包括基于暗通道统计先验的方法、基于颜色先验的方法，这类方法取得了一定的效果，但是由于人为进行统计制定先验信息，并不适用于所有有雾条件，所以方法的泛化能力不好，对天空等图像较亮区域产生偏差，且会造成去雾后的图像色彩发生偏差。随着神经网络对透射率和大气光进行估计，然后使用大气散射模型得到无雾图像。这类方法不依赖先验信息，依靠神经网络进行训练，去雾效果有了一定的改进，但是由于采用大气散射模型进行去雾，而大气散射模型是一个理想方程。因此这类方法仍不能完全地进行去雾。考虑到大气散射模型对去雾结果的影响，开始直接使用端到端的网络来进行去雾，给定的有雾图像通过网络学习直接得到相应的无雾图像，对图像的去雾效果提升，但同时也带来了网络参数的增加，使得网络的计算更加复杂。最近，知识蒸馏经常被应用来进行模型压缩，但是知识蒸馏在目标检测等高级计算机视觉任务中应用较多，而在图像去雾中应用较少。
因此，现如今缺少一种结构简单，设计合理的基于线上知识蒸馏的图像去雾方法，通过主体网络模型进行特征提取，通过学生分支网络生成两个去雾图像，并通过特征聚合网络模型进行特征聚合，然后利用聚合特征图对主体网络模型和学生分支的网络进行知识蒸馏，提高图像去雾效果，且减少网络参数。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于线上知识蒸馏的图像去雾方法，其方法步骤简单，设计合理，通过主体网络模型进行特征提取，通过学生分支网络生成两个去雾图像，并通过特征聚合网络模型进行特征聚合，然后利用聚合特征图对主体网络模型和学生分支的网络进行知识蒸馏，提高图像去雾效果，且减少网络参数。
为解决上述技术问题，本发明采用的技术方案是：一种基于线上知识蒸馏的图像去雾方法，其特征在于，该方法包括以下步骤：
步骤一、训练集图像的获取：
从雾天图像数据库RESIDE中选择训练集；其中，训练集包括有雾训练图像和与所述有雾训练图像对应的无雾训练图像，所述有雾训练图像和所述无雾训练图像的数量均相同；
步骤二、图像去雾网络教师模型的建立：
所述图像去雾网络教师模型包括预处理模型、主体网络模型、学生分支网络模型和特征聚合网络模型，具体过程如下：
步骤201、采用计算机建立预处理模型；其中，所述预处理模型包括第一卷积层和第二卷积层；
步骤202、采用计算机建立主体网络模型；其中，所述主体网络模型包括第一特征提取网络模型、第二特征提取网络模型和第三特征提取网络模型，所述第一特征提取网络模型包括6层基于PA和CA的RDB模块，所述第二特征提取网络模型包括4层基于PA和CA的RDB模块，所述第三特征提取网络模型包括2层基于PA和CA的RDB模块；
步骤203、采用计算机建立学生分支网络模型；其中，所述学生分支网络模型包括第一学生分支网络模型、第二学生分支网络模型和第三学生分支网络模型，所述第一学生分支网络模型包括第三卷积层和第四卷积层；
所述第二学生分支网络模型包括第五卷积层和第六卷积层；
所述第三学生分支网络模型为大气光估计网络模型；
步骤204、采用计算机建立特征聚合网络模型；其中，所述特征聚合网络模型包括第一特征提取模型、第二特征提取模型、第三特征提取模型和增强器模块，所述第一特征提取模型包括第七卷积层和第八卷积层；
所述第二特征提取模型包括第九卷积层和第十卷积层；
所述第三特征提取模型包括第十一卷积层和第十二卷积层；
步骤三、有雾训练图像的特征提取：
步骤301、采用计算机将有雾训练图像I经过预处理模型和主体网络模型进行特征提取，得到特征融合图out；
步骤302、采用计算机将特征融合图out经过学生分支网络模型进行特征提取，具体过程如下：
步骤3021、采用计算机将特征融合图out经过第一学生分支网络模型进行特征提取，得到第一无雾图像J；
步骤3022、采用计算机将特征融合图out经过第二学生分支网络模型进行特征提取，得到透射图t；
步骤3023、采用计算机将特征融合图out经过第三学生分支网络模型进行特征提取，得到大气光特征图A；
步骤3024、采用计算机利用大气散射模型，将有雾训练图像I、透射图t和大气光特征图A输入，得到第二无雾图像Jmod；
步骤303、采用计算机调用拼接cat函数模块将第一无雾图像J、第二无雾图像Jmod和有雾训练图像I拼接，得到拼接后图像；
步骤304、采用计算机将步骤303中拼接后图像经过特征聚合网络模型进行特征聚合提取，得到聚合特征图；
步骤305、采用计算机将聚合特征图经过门控网络模块进行特征提取，得到三个特征图αJ，αJmod和αI；
步骤306、采用计算机根据
Figure BDA0003551191180000041
得到输出去雾图像outEFAB；其中，
Figure BDA0003551191180000042
表示图像矩阵之间的哈达玛积运算，
Figure BDA0003551191180000043
表示图像矩阵之间的加法运算；
步骤四、总损失函数的建立：
步骤401、采用计算机根据Lrec＝(gt,outEFAB)L1-SSIM(gt,outEFAB)，得到重构损失函数Lrec；其中，gt表示有雾训练图像I对应的无雾训练图像，(gt,outFEAB)L1表示无雾训练图像gt和输出去雾图像outEFAB之间的曼哈顿距离，SSIM(gt,outFEAB)表示gt图像和outEFAB图像之间的SSIM损失；
步骤402、采用计算机根据
Figure BDA0003551191180000044
得到感知损失函数Lper；其中，N＝5，且Φi(gt)表示无雾训练图像gt经过VGG19网络模型中Relu i_1层输出的特征图，Φi(outEFAB)表示输出去雾图像outEFAB经过VGG19网络模型中Relu i_1层输出的特征图，1≤i≤5；Ci，Hi和Wi分别代表特征图的通道数、高度和宽度；(Φi(gt),Φi(outEFAB))L1表示VGG19网络模型中Relu i_1层输出的两个特征图之间的曼哈顿距离；
步骤403、采用计算机将特征融合图out经过中间卷积层进行特征提取，得到中间特征融合图out′；
采用计算机根据Ldiss＝(outEFAB,J)L1+(outEFAB,Jmod)L1+(outEFAB,out′)L1，得到蒸馏损失函数Ldiss；其中，(outEFAB,J)L1表示输出去雾图像outEFAB和第一无雾图像J之间的曼哈顿距离，(outEEAB,Jmod)L1表示输出去雾图像outEFAB和第二无雾图像Jmod之间的曼哈顿距离，(outEFAB,out′)L1表示输出去雾图像outEFAB和中间特征融合图out′之间的曼哈顿距离；
步骤404、采用计算机根据Lloss＝Lrec+Lper+λLdiss，得到总损失函数Lloss；其中，λ为常数，且λ＝0.5；
步骤五、有雾训练图像对图像去雾网络教师模型的训练：
步骤501、计算机采用Adam优化算法，利用总损失函数Lloss对图像去雾网络教师模型进行迭代优化，直至训练集全部训练，完成一次迭代训练；
步骤502、重复步骤501迭代训练直至满足迭代训练预设次数，得到训练好的图像去雾网络教师模型；
步骤六、利用训练好的图像去雾网络教师模型对单幅图像去雾：
步骤601、采用摄像机对待监控区域拍摄并发送至计算机，得到有雾图像监测视频；
步骤602、计算机对有雾图像监测视频按照拍摄先后顺序提取多幅有雾监测图像；
步骤603、采用计算机将任一幅有雾监测图像输入训练好的图像去雾网络教师模型中进行去雾处理，得到无雾监测图像。
上述的一种基于线上知识蒸馏的图像去雾方法，其特征在于：步骤201中所述第一卷积层包括Conv1卷积层、批量归一化层和ReLU激活函数层，所述第二卷积层包括Conv2卷积层、批量归一化层和ReLU激活函数层，Conv1卷积层和Conv2卷积层中卷积核的数量为32，卷积核的大小为3×3，滑动步长为1，padding为1；
步骤202中基于PA和CA的RDB模块包括依次相连的第一Conv+ReLU层、3个并列的卷积层、RDB模块、第二Conv+ReLU层、CA模块、PA模块和Sigmoid激活函数层，3个并列的卷积层分别为卷积层1、卷积层2和卷积层3，卷积层1中卷积核大小为1×1，padding为0；卷积层2中卷积核大小为1×1，padding为0；卷积层3中卷积核大小为3×3，padding为1；
步骤203中所述第三卷积层包括Conv3卷积层、批量归一化层和ReLU激活函数层，所述第四卷积层包括Conv4卷积层、批量归一化层和Tanh激活函数层；Conv3卷积层中卷积核的数量为32，Conv4卷积层中卷积核的数量为3，Conv3卷积层和Conv4卷积层中卷积核的大小为3×3，滑动步长为1，padding为1；所述第五卷积层为Conv5卷积层，第六卷积层为Conv6卷积层，Conv5卷积层中卷积核的数量为32，Conv6卷积层中卷积核的数量为1，Conv5卷积层和Conv6卷积层中卷积核的大小为3×3，滑动步长为1，padding为1；
步骤204中所述第七卷积层为Conv7卷积层，第八卷积层为Conv8卷积层，所述第九卷积层为Conv9卷积层，第十卷积层为Conv10卷积层，所述第十一卷积层为Conv11卷积层，第十二卷积层为Conv12卷积层；Conv7卷积层至Conv12卷积层中卷积核的数量均32，Conv7卷积层中卷积核大小为3×3，滑动步长为1，padding为1；Conv8卷积层中卷积核大小为1×1，滑动步长为1，padding为0；Conv9卷积层中卷积核大小为5×5，滑动步长为1，padding为2；Conv10卷积层中卷积核大小为1×1，滑动步长为1，padding为0；Conv11卷积层中卷积核大小为7×7，滑动步长为1，padding为3；Conv12卷积层中卷积核大小为1×1，滑动步长为1，padding为0。
上述的一种基于线上知识蒸馏的图像去雾方法，其特征在于：步骤301中采用计算机将有雾训练图像I经过预处理模型和主体网络模型进行特征提取，得到特征融合图out，具体过程如下：
步骤3011、采用计算机将有雾训练图像I输入预处理模型中，并依次经过第一卷积层和第二卷积层进行特征提取，得到初特征图Fpre；其中，初特征图Fpre的大小为256×256，初特征图Fpre的通道数为32；
步骤3012、采用计算机将初特征图Fpre经过第一特征提取网络模型进行特征提取，得到第一深层特征图；
步骤3013、采用计算机调用第一下采样模块对初特征图Fpre进行下采样，得到第一下采样特征图；
步骤3014、采用计算机将第一下采样特征图经过第二特征提取网络模型进行特征提取，得到第二深层特征图；
步骤3015、采用计算机调用第二下采样模块对第一下采样特征图进行下采样，得到第二下采样特征图；
步骤3016、采用计算机将第二下采样特征图经过第三特征提取网络模型进行特征提取，得到第三深层特征图；
步骤3017、采用计算机调用第一上采样模块对第三深层特征图进行上采样，得到第一上采样特征图；
步骤3018、采用计算机调用拼接cat函数模块将第一上采样特征图和第二深层特征图进行拼接，得到第一拼接后特征图；
步骤3019、采用计算机调用第二上采样模块对第一拼接后特征图进行上采样，得到第二上采样特征图；
步骤301A、采用计算机调用拼接cat函数模块将第二上采样特征图和第一深层特征图进行拼接，得到特征融合图out。
上述的一种基于线上知识蒸馏的图像去雾方法，其特征在于：步骤304中采用计算机将步骤303中拼接后图像经过特征聚合网络模型进行特征提取，得到聚合特征图，具体过程如下：
步骤3041、采用计算机将拼接后图像输入第一特征提取模型中经过特征提取，得到第一特征图；
步骤3042、采用计算机将拼接后图像输入第二特征提取模型中经过特征提取，得到第二特征图；
步骤3043、采用计算机将拼接后图像输入第三特征提取模型中经过特征提取，得到第三特征图；
步骤3044、采用计算机将拼接后图像输入增强器模块经过特征提取，得到第四特征图；
步骤3045、采用计算机调用拼接cat函数模块将第一特征图、第二特征图、第三特征图和第四特征图进行拼接，得到聚合特征图。
上述的一种基于线上知识蒸馏的图像去雾方法，其特征在于：步骤3012中采用计算机将初特征图Fpre经过第一特征提取网络模型进行特征提取、步骤3014中采用计算机将第一下采样特征图经过第二特征提取网络模型进行特征提取、步骤3016中采用计算机将第二下采样特征图经过第三特征提取网络模型进行特征提取的过程中，经过任一个基于PA和CA的RDB模块的特征提取过程均相同，具体过程如下：
步骤A、计算机将输入图像经过第一Conv+ReLU层进行特征提取得到Fin特征图；
步骤B、计算机将Fin特征图分别输入卷积层1、卷积层2和卷积层3进行卷积处理，得到特征图Fin1、特征图Fin2和特征图Fin3，并将特征图Fin2输入RDB模块得到特征图FRDB，特征图Fin3经过Sigmoid激活函数进行归一化得到空间权重图Fs；
步骤C、计算机根据
Figure BDA0003551191180000081
得到中间特征图Fmid；其中，
Figure BDA0003551191180000082
表示特征图矩阵之间的哈达玛积运算，
Figure BDA0003551191180000083
表示特征图矩阵之间的加法运算；
步骤D、计算机将中间特征图Fmid经过第二Conv+ReLU层处理，得到特征图Fmid1，并根据公式
Figure BDA0003551191180000084
得到特征图Fmid2；
步骤E、计算机将特征图Fmid2依次经过CA模块和PA模块提取，得到特征图Fmid3，并根据公式
Figure BDA0003551191180000085
得到特征图Fmid4；并将特征图Fmid4经过Sigmoid激活函数进行归一化得到特征图FPC；
步骤F、计算机根据
Figure BDA0003551191180000086
得到特征图Fout。
上述的一种基于线上知识蒸馏的图像去雾方法，其特征在于：步骤3024中采用计算机利用大气散射模型，将有雾训练图像I经过透射图t和大气光特征图A输入，得到第二无雾图像Jmod，具体过程下：
步骤30241、采用计算机根据大气光特征图A，得到大气光特征图A中第i′个像素位置的大气光值A(i′)；其中，i′为正整数；
采用计算机根据透射图t，得到透射图t中第i′个像素位置的透射率t(i′)；
步骤30242、采用计算机根据公式
Figure BDA0003551191180000091
得到第i′个像素位置的像素值Jmod(i′)，通过第i′个像素位置的像素值Jmod(i′)得到第二无雾图像Jmod；其中，I(i′)表示有雾训练图像I中第i′个像素位置的像素值。
上述的一种基于线上知识蒸馏的图像去雾方法，其特征在于：步骤305中门控网络模块包括3个并列的卷积核，且3个并列的卷积核分别为卷积核1-1、卷积核1-2和卷积核1-3，卷积核1-1、卷积核1-2和卷积核1-3的大小为3×3，滑动步长为1，padding为1。
本发明与现有技术相比具有以下优点：
1、本发明方法步骤简单，设计合理，首先是训练集图像的获取；其次是图像去雾网络教师模型的建立，接着是有雾训练图像的特征提取，之后是总损失函数的建立，然后是有雾训练图像对图像去雾网络教师模型的训练，最后利用训练好的图像去雾网络教师模型对单幅图像去雾，提高图像去雾效果，且减少网络参数。
2、本发明图像去雾网络教师模型中主体网络模型采用基于PA和CA的RDB模块进行多尺度特征提取，生成端到端的去雾图像和利用大气散射模型生成的去雾图像，利用了神经网络的优点，又具有较强的泛化能力。
3、本发明图像去雾网络教师模型中特征聚合网络模型包括第一特征提取模型、第二特征提取模型、第三特征提取模型和增强器模块，通过第一特征提取模型、第二特征提取模型、第三特征提取模型等的平行卷积和增强块进行特征聚合，使聚合的细节特征更加丰富。
4、本发明利用聚合特征图对主体网络模型和学生分支的网络进行知识蒸馏，这样基于线上知识蒸馏进行去雾，大大降低了模型参数和网络复杂性。
综上所述，本发明方法步骤简单，设计合理，通过主体网络模型进行特征提取，通过学生分支网络生成两个去雾图像，并通过特征聚合网络模型进行特征聚合，然后利用聚合特征图对主体网络模型和学生分支的网络进行知识蒸馏，提高图像去雾效果，且减少网络参数。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的方法流程框图。
图2为本发明图像去雾网络教师模型的结构示意图。
图3为本发明特征聚合网络模型的结构示意图。
图4为本发明一个基于PA和CA的RDB模块的结构示意图。
具体实施方式
如图1至图4所示，本发明的一种基于线上知识蒸馏的图像去雾方法，包括以下步骤：
步骤一、训练集图像的获取：
从雾天图像数据库RESIDE中选择训练集；其中，训练集包括有雾训练图像和与所述有雾训练图像对应的无雾训练图像，所述有雾训练图像和所述无雾训练图像的数量均相同；
步骤二、图像去雾网络教师模型的建立：
所述图像去雾网络教师模型包括预处理模型、主体网络模型、学生分支网络模型和特征聚合网络模型，具体过程如下：
步骤201、采用计算机建立预处理模型；其中，所述预处理模型包括第一卷积层和第二卷积层；
步骤202、采用计算机建立主体网络模型；其中，所述主体网络模型包括第一特征提取网络模型、第二特征提取网络模型和第三特征提取网络模型，所述第一特征提取网络模型包括6层基于PA和CA的RDB模块，所述第二特征提取网络模型包括4层基于PA和CA的RDB模块，所述第三特征提取网络模型包括2层基于PA和CA的RDB模块；
步骤203、采用计算机建立学生分支网络模型；其中，所述学生分支网络模型包括第一学生分支网络模型、第二学生分支网络模型和第三学生分支网络模型，所述第一学生分支网络模型包括第三卷积层和第四卷积层；
所述第二学生分支网络模型包括第五卷积层和第六卷积层；
所述第三学生分支网络模型为大气光估计网络模型；
步骤204、采用计算机建立特征聚合网络模型；其中，所述特征聚合网络模型包括第一特征提取模型、第二特征提取模型、第三特征提取模型和增强器模块，所述第一特征提取模型包括第七卷积层和第八卷积层；
所述第二特征提取模型包括第九卷积层和第十卷积层；
所述第三特征提取模型包括第十一卷积层和第十二卷积层；
步骤三、有雾训练图像的特征提取：
步骤301、采用计算机将有雾训练图像I经过预处理模型和主体网络模型进行特征提取，得到特征融合图out；
步骤302、采用计算机将特征融合图out经过学生分支网络模型进行特征提取，具体过程如下：
步骤3021、采用计算机将特征融合图out经过第一学生分支网络模型进行特征提取，得到第一无雾图像J；
步骤3022、采用计算机将特征融合图out经过第二学生分支网络模型进行特征提取，得到透射图t；
步骤3023、采用计算机将特征融合图out经过第三学生分支网络模型进行特征提取，得到大气光特征图A；
步骤3024、采用计算机利用大气散射模型，将有雾训练图像I、透射图t和大气光特征图A输入，得到第二无雾图像Jmod；
步骤303、采用计算机调用拼接cat函数模块将第一无雾图像J、第二无雾图像Jmod和有雾训练图像I拼接，得到拼接后图像；
步骤304、采用计算机将步骤303中拼接后图像经过特征聚合网络模型进行特征聚合提取，得到聚合特征图；
步骤305、采用计算机将聚合特征图经过门控网络模块进行特征提取，得到三个特征图αJ，αJmod和αI；
步骤306、采用计算机根据
Figure BDA0003551191180000121
得到输出去雾图像outEFAB；其中，
Figure BDA0003551191180000122
表示图像矩阵之间的哈达玛积运算，
Figure BDA0003551191180000123
表示图像矩阵之间的加法运算；
步骤四、总损失函数的建立：
步骤401、采用计算机根据Lrec＝(gt,outEFAB)L1-SSIM(gt,outEFAB)，得到重构损失函数Lrec；其中，gt表示有雾训练图像I对应的无雾训练图像，(gt,outFEAB)L1表示无雾训练图像gt和输出去雾图像outEFAB之间的曼哈顿距离，SSIM(gt,outFEAB)表示gt图像和outEFAB图像之间的SSIM损失；
步骤402、采用计算机根据
Figure BDA0003551191180000124
得到感知损失函数Lper；其中，N＝5，且Φi(gt)表示无雾训练图像gt经过VGG19网络模型中Relu i_1层输出的特征图，Φi(outEFAB)表示输出去雾图像outEFAB经过VGG19网络模型中Relu i_1层输出的特征图，1≤i≤5；Ci，Hi和Wi分别代表特征图的通道数、高度和宽度；(Φi(gt),Φi(outEFAB))L1表示VGG19网络模型中Relu i_1层输出的两个特征图之间的曼哈顿距离；
步骤403、采用计算机将特征融合图out经过中间卷积层进行特征提取，得到中间特征融合图out′；
采用计算机根据Ldiss＝(outEFAB,J)L1+(outEFAB,Jmod)L1+(outEFAB,out′)L1，得到蒸馏损失函数Ldiss；其中，(outEFAB,J)L1表示输出去雾图像outEFAB和第一无雾图像J之间的曼哈顿距离，(outEEAB,Jmod)L1表示输出去雾图像outEFAB和第二无雾图像Jmod之间的曼哈顿距离，(outEFAB,out′)L1表示输出去雾图像outEFAB和中间特征融合图out′之间的曼哈顿距离；
步骤404、采用计算机根据Lloss＝Lrec+Lper+λLdiss，得到总损失函数Lloss；其中，λ为常数，且λ＝0.5；
步骤五、有雾训练图像对图像去雾网络教师模型的训练：
步骤501、计算机采用Adam优化算法，利用总损失函数Lloss对图像去雾网络教师模型进行迭代优化，直至训练集全部训练，完成一次迭代训练；
步骤502、重复步骤501迭代训练直至满足迭代训练预设次数，得到训练好的图像去雾网络教师模型；
步骤六、利用训练好的图像去雾网络教师模型对单幅图像去雾：
步骤601、采用摄像机对待监控区域拍摄并发送至计算机，得到有雾图像监测视频；
步骤602、计算机对有雾图像监测视频按照拍摄先后顺序提取多幅有雾监测图像；
步骤603、采用计算机将任一幅有雾监测图像输入训练好的图像去雾网络教师模型中进行去雾处理，得到无雾监测图像。
本实施例中，步骤201中所述第一卷积层包括Conv1卷积层、批量归一化层和ReLU激活函数层，所述第二卷积层包括Conv2卷积层、批量归一化层和ReLU激活函数层，Conv1卷积层和Conv2卷积层中卷积核的数量为32，卷积核的大小为3×3，滑动步长为1，padding为1；
步骤202中基于PA和CA的RDB模块包括依次相连的第一Conv+ReLU层、3个并列的卷积层、RDB模块、第二Conv+ReLU层、CA模块、PA模块和Sigmoid激活函数层，3个并列的卷积层分别为卷积层1、卷积层2和卷积层3，卷积层1中卷积核大小为1×1，padding为0；卷积层2中卷积核大小为1×1，padding为0；卷积层3中卷积核大小为3×3，padding为1；
步骤203中所述第三卷积层包括Conv3卷积层、批量归一化层和ReLU激活函数层，所述第四卷积层包括Conv4卷积层、批量归一化层和Tanh激活函数层；Conv3卷积层中卷积核的数量为32，Conv4卷积层中卷积核的数量为3，Conv3卷积层和Conv4卷积层中卷积核的大小为3×3，滑动步长为1，padding为1；所述第五卷积层为Conv5卷积层，第六卷积层为Conv6卷积层，Conv5卷积层中卷积核的数量为32，Conv6卷积层中卷积核的数量为1，Conv5卷积层和Conv6卷积层中卷积核的大小为3×3，滑动步长为1，padding为1；
步骤204中所述第七卷积层为Conv7卷积层，第八卷积层为Conv8卷积层，所述第九卷积层为Conv9卷积层，第十卷积层为Conv10卷积层，所述第十一卷积层为Conv11卷积层，第十二卷积层为Conv12卷积层；Conv7卷积层至Conv12卷积层中卷积核的数量均32，Conv7卷积层中卷积核大小为3×3，滑动步长为1，padding为1；Conv8卷积层中卷积核大小为1×1，滑动步长为1，padding为0；Conv9卷积层中卷积核大小为5×5，滑动步长为1，padding为2；Conv10卷积层中卷积核大小为1×1，滑动步长为1，padding为0；Conv11卷积层中卷积核大小为7×7，滑动步长为1，padding为3；Conv12卷积层中卷积核大小为1×1，滑动步长为1，padding为0。
本实施例中，步骤301中采用计算机将有雾训练图像I经过预处理模型和主体网络模型进行特征提取，得到特征融合图out，具体过程如下：
步骤3011、采用计算机将有雾训练图像I输入预处理模型中，并依次经过第一卷积层和第二卷积层进行特征提取，得到初特征图Fpre；其中，初特征图Fpre的大小为256×256，初特征图Fpre的通道数为32；
步骤3012、采用计算机将初特征图Fpre经过第一特征提取网络模型进行特征提取，得到第一深层特征图；
步骤3013、采用计算机调用第一下采样模块对初特征图Fpre进行下采样，得到第一下采样特征图；
步骤3014、采用计算机将第一下采样特征图经过第二特征提取网络模型进行特征提取，得到第二深层特征图；
步骤3015、采用计算机调用第二下采样模块对第一下采样特征图进行下采样，得到第二下采样特征图；
步骤3016、采用计算机将第二下采样特征图经过第三特征提取网络模型进行特征提取，得到第三深层特征图；
步骤3017、采用计算机调用第一上采样模块对第三深层特征图进行上采样，得到第一上采样特征图；
步骤3018、采用计算机调用拼接cat函数模块将第一上采样特征图和第二深层特征图进行拼接，得到第一拼接后特征图；
步骤3019、采用计算机调用第二上采样模块对第一拼接后特征图进行上采样，得到第二上采样特征图；
步骤301A、采用计算机调用拼接cat函数模块将第二上采样特征图和第一深层特征图进行拼接，得到特征融合图out。
本实施例中，步骤304中采用计算机将步骤303中拼接后图像经过特征聚合网络模型进行特征提取，得到聚合特征图，具体过程如下：
步骤3041、采用计算机将拼接后图像输入第一特征提取模型中经过特征提取，得到第一特征图；
步骤3042、采用计算机将拼接后图像输入第二特征提取模型中经过特征提取，得到第二特征图；
步骤3043、采用计算机将拼接后图像输入第三特征提取模型中经过特征提取，得到第三特征图；
步骤3044、采用计算机将拼接后图像输入增强器模块经过特征提取，得到第四特征图；
步骤3045、采用计算机调用拼接cat函数模块将第一特征图、第二特征图、第三特征图和第四特征图进行拼接，得到聚合特征图。
本实施例中，步骤3012中采用计算机将初特征图Fpre经过第一特征提取网络模型进行特征提取、步骤3014中采用计算机将第一下采样特征图经过第二特征提取网络模型进行特征提取、步骤3016中采用计算机将第二下采样特征图经过第三特征提取网络模型进行特征提取的过程中，经过任一个基于PA和CA的RDB模块的特征提取过程均相同，具体过程如下：
步骤A、计算机将输入图像经过第一Conv+ReLU层进行特征提取得到Fin特征图；
步骤B、计算机将Fin特征图分别输入卷积层1、卷积层2和卷积层3进行卷积处理，得到特征图Fin1、特征图Fin2和特征图Fin3，并将特征图Fin2输入RDB模块得到特征图FRDB，特征图Fin3经过Sigmoid激活函数进行归一化得到空间权重图Fs；
步骤C、计算机根据
Figure BDA0003551191180000161
得到中间特征图Fmid；其中，
Figure BDA0003551191180000162
表示特征图矩阵之间的哈达玛积运算，
Figure BDA0003551191180000163
表示特征图矩阵之间的加法运算；
步骤D、计算机将中间特征图Fmid经过第二Conv+ReLU层处理，得到特征图Fmid1，并根据公式
Figure BDA0003551191180000164
得到特征图Fmid2；
步骤E、计算机将特征图Fmid2依次经过CA模块和PA模块提取，得到特征图Fmid3，并根据公式
Figure BDA0003551191180000165
得到特征图Fmid4；并将特征图Fmid4经过Sigmoid激活函数进行归一化得到特征图FPC；
步骤F、计算机根据
Figure BDA0003551191180000166
得到特征图Fout。
本实施例中，步骤3024中采用计算机利用大气散射模型，将有雾训练图像I经过透射图t和大气光特征图A输入，得到第二无雾图像Jmod，具体过程下：
步骤30241、采用计算机根据大气光特征图A，得到大气光特征图A中第i′个像素位置的大气光值A(i′)；其中，i′为正整数；
采用计算机根据透射图t，得到透射图t中第i′个像素位置的透射率t(i′)；
步骤30242、采用计算机根据公式
Figure BDA0003551191180000167
得到第i′个像素位置的像素值Jmod(i′)，通过第i′个像素位置的像素值Jmod(i′)得到第二无雾图像Jmod；其中，I(i′)表示有雾训练图像I中第i′个像素位置的像素值。
本实施例中，步骤305中门控网络模块包括3个并列的卷积核，且3个并列的卷积核分别为卷积核1-1、卷积核1-2和卷积核1-3，卷积核1-1、卷积核1-2和卷积核1-3的大小为3×3，滑动步长为1，padding为1。
本实施例中，需要说明的是，第一特征提取网络模型、第二特征提取网络模型和第三特征提取网络模型中基于PA和CA的RDB模块结构相同仅卷积核数量不同。
本实施例中，需要说明的是，PA模块即空间注意力机制模块，CA模块即通道注意力机制模块，RDB即残差密集块(Residual Dense Block)。
本实施例中，需要说明的是，Adam优化算法即Adaptive momentum优化算法，是一种可以替代传统随机梯度下降过程的一阶优化算法，它能基于训练数据迭代地更新网络参数。
本实施例中，步骤203中大气光估计网络模型可参考Densely Connected PyramidDehazing Network(密集连接金字塔去雾网络)即DCPDN中的Atmospheric LightEstimation net。
本实施例中，步骤204中增强器模块可参考Enhanced Pix2pix Dehazing Network中的增强器模块。
本实施例中，所述有雾训练图像和所述无雾训练图像的数量均为13990。
本实施例中，需要说明的是，实际使用时，
Figure BDA0003551191180000171
是指图像矩阵之间的哈达玛积，例如设定矩阵A中的第i行第j列元素为aij，矩阵B中第i行第j列元素为bij，则
Figure BDA0003551191180000172
则C中第i行第j列元素为cij＝aij×bij，且A、B和C是同阶矩阵。
本实施例中，需要说明的是，步骤502中迭代训练预设次数为30。
本实施例中，需要说明的是，i＝1时，则Φ1(gt)表示无雾训练图像gt经过VGG19网络模型中Relu1_1层输出的特征图，Φ1(outEFAB)表示输出去雾图像outEFAB经过VGG19网络模型中Relu1_1层输出的特征图；
i＝2时，则Φ2(gt)表示无雾训练图像gt经过VGG19网络模型中Relu2_1层输出的特征图，Φ2(outEFAB)表示输出去雾图像outEFAB经过VGG19网络模型中Relu2_1层输出的特征图；
i＝3时，则Φ3(gt)表示无雾训练图像gt经过VGG19网络模型中Relu3_1层输出的特征图，Φ3(outEFAB)表示输出去雾图像outEFAB经过VGG19网络模型中Relu3_1层输出的特征图；
i＝4时，则Φ4(gt)表示无雾训练图像gt经过VGG19网络模型中Relu4_1层输出的特征图，Φ4(outEFAB)表示输出去雾图像outEFAB经过VGG19网络模型中Relu4_1层输出的特征图；
i＝5时，则Φ5(gt)表示无雾训练图像gt经过VGG19网络模型中Relu5_1层输出的特征图，Φ5(outEFAB)表示输出去雾图像outEFAB经过VGG19网络模型中Relu5_1层输出的特征图。
本实施例中，需要说明的是，第一下采样模块和第二下采样模块使得图像的通道数变为原来的2倍，图像的大小变为原来的1/2。
本实施例中，需要说明的是，第一上采样模块和第二上采样模块使得图像的通道数变为原来的1/2倍，图像的大小变为原来的2。
本实施例中，特征图的大小用通道数×高×宽表示，初特征图Fpre的大小为32×256×256，第一深层特征图的大小为32×256×256，第一下采样特征图的大小为64×128×128，第二深层特征图的大小为64×128×128，第二下采样特征图的大小为128×64×64，第三深层特征图的大小为128×64×64，第一上采样特征图的大小为64×128×128，第一拼接后特征图的大小为128×128×128，第二上采样特征图的大小为64×256×256，特征融合图out的大小为96×256×256。
本实施例中，中间卷积层中卷积核的数量为3，卷积核的大小为3×3，滑动步长为1，padding为1。
本实施例中，中间特征融合图out′的大小为3×256×256。
本实施例中，有雾训练图像I为三通道的RGB彩色图像，即3×256×256。有雾监测图像的大小为3×256×256。
本实施例中，第一无雾图像J的大小为3×256×256，第二无雾图像Jmod的大小为3×256×256。
本实施例中，步骤303中拼接后图像的大小为9×256×256；第一特征图、第二特征图、第三特征图和第四特征图的大小均为32×256×256，聚合特征图的大小为128×256×256。
本实施例中，三个特征图αJ，αJmod和αI的大小均为1×256×256，输出去雾图像outEFAB的大小为3×256×256。
本实施例中，步骤A中输入图像和步骤F中特征图Fout的大小相同。
综上所述，本发明方法步骤简单，设计合理，通过主体网络模型进行特征提取，通过学生分支网络生成两个去雾图像，并通过特征聚合网络模型进行特征聚合，然后利用聚合特征图对主体网络模型和学生分支的网络进行知识蒸馏，提高图像去雾效果，且减少网络参数。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化，均仍属于本发明技术方案的保护范围内。

Claims (7)

1.一种基于线上知识蒸馏的图像去雾方法，其特征在于，该方法包括以下步骤：
步骤一、训练集图像的获取：
从雾天图像数据库RESIDE中选择训练集；其中，训练集包括有雾训练图像和与所述有雾训练图像对应的无雾训练图像，所述有雾训练图像和所述无雾训练图像的数量均相同；
步骤二、图像去雾网络教师模型的建立：
所述图像去雾网络教师模型包括预处理模型、主体网络模型、学生分支网络模型和特征聚合网络模型，具体过程如下：
步骤201、采用计算机建立预处理模型；其中，所述预处理模型包括第一卷积层和第二卷积层；
步骤202、采用计算机建立主体网络模型；其中，所述主体网络模型包括第一特征提取网络模型、第二特征提取网络模型和第三特征提取网络模型，所述第一特征提取网络模型包括6层基于PA和CA的RDB模块，所述第二特征提取网络模型包括4层基于PA和CA的RDB模块，所述第三特征提取网络模型包括2层基于PA和CA的RDB模块；
步骤203、采用计算机建立学生分支网络模型；其中，所述学生分支网络模型包括第一学生分支网络模型、第二学生分支网络模型和第三学生分支网络模型，所述第一学生分支网络模型包括第三卷积层和第四卷积层；
所述第二学生分支网络模型包括第五卷积层和第六卷积层；
所述第三学生分支网络模型为大气光估计网络模型；
步骤204、采用计算机建立特征聚合网络模型；其中，所述特征聚合网络模型包括第一特征提取模型、第二特征提取模型、第三特征提取模型和增强器模块，所述第一特征提取模型包括第七卷积层和第八卷积层；
所述第二特征提取模型包括第九卷积层和第十卷积层；
所述第三特征提取模型包括第十一卷积层和第十二卷积层；
步骤三、有雾训练图像的特征提取：
步骤301、采用计算机将有雾训练图像I经过预处理模型和主体网络模型进行特征提取，得到特征融合图out；
步骤302、采用计算机将特征融合图out经过学生分支网络模型进行特征提取，具体过程如下：
步骤3021、采用计算机将特征融合图out经过第一学生分支网络模型进行特征提取，得到第一无雾图像J；
步骤3022、采用计算机将特征融合图out经过第二学生分支网络模型进行特征提取，得到透射图t；
步骤3023、采用计算机将特征融合图out经过第三学生分支网络模型进行特征提取，得到大气光特征图A；
步骤3024、采用计算机利用大气散射模型，将有雾训练图像I、透射图t和大气光特征图A输入，得到第二无雾图像Jmod；
步骤303、采用计算机调用拼接cat函数模块将第一无雾图像J、第二无雾图像Jmod和有雾训练图像I拼接，得到拼接后图像；
步骤304、采用计算机将步骤303中拼接后图像经过特征聚合网络模型进行特征聚合提取，得到聚合特征图；
步骤305、采用计算机将聚合特征图经过门控网络模块进行特征提取，得到三个特征图αJ，αJmod和αI；
步骤307、采用计算机根据
Figure FDA0003551191170000021
得到输出去雾图像outEFAB；其中，
Figure FDA0003551191170000022
表示图像矩阵之间的哈达玛积运算，
Figure FDA0003551191170000023
表示图像矩阵之间的加法运算；
步骤四、总损失函数的建立：
步骤401、采用计算机根据Lrec＝(gt,outEFAB)L1-SSIM(gt,outEFAB)，得到重构损失函数Lrec；其中，gt表示有雾训练图像I对应的无雾训练图像，(gt,outFEAB)L1表示无雾训练图像gt和输出去雾图像outEFAB之间的曼哈顿距离，SSIM(gt,outFEAB)表示gt图像和outEFAB图像之间的SSIM损失；
步骤402、采用计算机根据
Figure FDA0003551191170000031
得到感知损失函数Lper；其中，N＝5，且Φi(gt)表示无雾训练图像gt经过VGG19网络模型中Relu i_1层输出的特征图，Φi(outEFAB)表示输出去雾图像outEFAB经过VGG19网络模型中Relu i_1层输出的特征图，1≤i≤5；Ci，Hi和Wi分别代表特征图的通道数、高度和宽度；(Φi(gt),Φi(outEFAB))L1表示VGG19网络模型中Relu i_1层输出的两个特征图之间的曼哈顿距离；
步骤403、采用计算机将特征融合图out经过中间卷积层进行特征提取，得到中间特征融合图out′；
采用计算机根据Ldiss＝(outEFAB,J)L1+(outEFAB,Jmod)L1+(outEFAB,out′)L1，得到蒸馏损失函数Ldiss；其中，(outEFAB,J)L1表示输出去雾图像outEFAB和第一无雾图像J之间的曼哈顿距离，(outEEAB,Jmod)L1表示输出去雾图像outEFAB和第二无雾图像Jmod之间的曼哈顿距离，(outEFAB,out′)L1表示输出去雾图像outEFAB和中间特征融合图out′之间的曼哈顿距离；
步骤404、采用计算机根据Lloss＝Lrec+Lper+λLdiss，得到总损失函数Lloss；其中，λ为常数，且λ＝0.5；
步骤五、有雾训练图像对图像去雾网络教师模型的训练：
步骤501、计算机采用Adam优化算法，利用总损失函数Lloss对图像去雾网络教师模型进行迭代优化，直至训练集全部训练，完成一次迭代训练；
步骤502、重复步骤501迭代训练直至满足迭代训练预设次数，得到训练好的图像去雾网络教师模型；
步骤六、利用训练好的图像去雾网络教师模型对单幅图像去雾：
步骤601、采用摄像机对待监控区域拍摄并发送至计算机，得到有雾图像监测视频；
步骤602、计算机对有雾图像监测视频按照拍摄先后顺序提取多幅有雾监测图像；
步骤603、采用计算机将任一幅有雾监测图像输入训练好的图像去雾网络教师模型中进行去雾处理，得到无雾监测图像。
2.按照权利要求1所述的一种基于线上知识蒸馏的图像去雾方法，其特征在于：步骤201中所述第一卷积层包括Conv1卷积层、批量归一化层和ReLU激活函数层，所述第二卷积层包括Conv2卷积层、批量归一化层和ReLU激活函数层，Conv1卷积层和Conv2卷积层中卷积核的数量为32，卷积核的大小为3×3，滑动步长为1，padding为1；
步骤202中基于PA和CA的RDB模块包括依次相连的第一Conv+ReLU层、3个并列的卷积层、RDB模块、第二Conv+ReLU层、CA模块、PA模块和Sigmoid激活函数层，3个并列的卷积层分别为卷积层1、卷积层2和卷积层3，卷积层1中卷积核大小为1×1，padding为0；卷积层2中卷积核大小为1×1，padding为0；卷积层3中卷积核大小为3×3，padding为1；
步骤203中所述第三卷积层包括Conv3卷积层、批量归一化层和ReLU激活函数层，所述第四卷积层包括Conv4卷积层、批量归一化层和Tanh激活函数层；Conv3卷积层中卷积核的数量为32，Conv4卷积层中卷积核的数量为3，Conv3卷积层和Conv4卷积层中卷积核的大小为3×3，滑动步长为1，padding为1；所述第五卷积层为Conv5卷积层，第六卷积层为Conv6卷积层，Conv5卷积层中卷积核的数量为32，Conv6卷积层中卷积核的数量为1，Conv5卷积层和Conv6卷积层中卷积核的大小为3×3，滑动步长为1，padding为1；
步骤204中所述第七卷积层为Conv7卷积层，第八卷积层为Conv8卷积层，所述第九卷积层为Conv9卷积层，第十卷积层为Conv10卷积层，所述第十一卷积层为Conv11卷积层，第十二卷积层为Conv12卷积层；Conv7卷积层至Conv12卷积层中卷积核的数量均32，Conv7卷积层中卷积核大小为3×3，滑动步长为1，padding为1；Conv8卷积层中卷积核大小为1×1，滑动步长为1，padding为0；Conv9卷积层中卷积核大小为5×5，滑动步长为1，padding为2；Conv10卷积层中卷积核大小为1×1，滑动步长为1，padding为0；Conv11卷积层中卷积核大小为7×7，滑动步长为1，padding为3；Conv12卷积层中卷积核大小为1×1，滑动步长为1，padding为0。
3.按照权利要求2所述的一种基于线上知识蒸馏的图像去雾方法，其特征在于：步骤301中采用计算机将有雾训练图像I经过预处理模型和主体网络模型进行特征提取，得到特征融合图out，具体过程如下：
步骤3011、采用计算机将有雾训练图像I输入预处理模型中，并依次经过第一卷积层和第二卷积层进行特征提取，得到初特征图Fpre；其中，初特征图Fpre的大小为256×256，初特征图Fpre的通道数为32；
步骤3012、采用计算机将初特征图Fpre经过第一特征提取网络模型进行特征提取，得到第一深层特征图；
步骤3013、采用计算机调用第一下采样模块对初特征图Fpre进行下采样，得到第一下采样特征图；
步骤3014、采用计算机将第一下采样特征图经过第二特征提取网络模型进行特征提取，得到第二深层特征图；
步骤3015、采用计算机调用第二下采样模块对第一下采样特征图进行下采样，得到第二下采样特征图；
步骤3016、采用计算机将第二下采样特征图经过第三特征提取网络模型进行特征提取，得到第三深层特征图；
步骤3017、采用计算机调用第一上采样模块对第三深层特征图进行上采样，得到第一上采样特征图；
步骤3018、采用计算机调用拼接cat函数模块将第一上采样特征图和第二深层特征图进行拼接，得到第一拼接后特征图；
步骤3019、采用计算机调用第二上采样模块对第一拼接后特征图进行上采样，得到第二上采样特征图；
步骤301A、采用计算机调用拼接cat函数模块将第二上采样特征图和第一深层特征图进行拼接，得到特征融合图out。
4.按照权利要求2所述的一种基于线上知识蒸馏的图像去雾方法，其特征在于：步骤304中采用计算机将步骤303中拼接后图像经过特征聚合网络模型进行特征提取，得到聚合特征图，具体过程如下：
步骤3041、采用计算机将拼接后图像输入第一特征提取模型中经过特征提取，得到第一特征图；
步骤3042、采用计算机将拼接后图像输入第二特征提取模型中经过特征提取，得到第二特征图；
步骤3043、采用计算机将拼接后图像输入第三特征提取模型中经过特征提取，得到第三特征图；
步骤3044、采用计算机将拼接后图像输入增强器模块经过特征提取，得到第四特征图；
步骤3045、采用计算机调用拼接cat函数模块将第一特征图、第二特征图、第三特征图和第四特征图进行拼接，得到聚合特征图。
5.按照权利要求3所述的一种基于线上知识蒸馏的图像去雾方法，其特征在于：步骤3012中采用计算机将初特征图Fpre经过第一特征提取网络模型进行特征提取、步骤3014中采用计算机将第一下采样特征图经过第二特征提取网络模型进行特征提取、步骤3016中采用计算机将第二下采样特征图经过第三特征提取网络模型进行特征提取的过程中，经过任一个基于PA和CA的RDB模块的特征提取过程均相同，具体过程如下：
步骤A、计算机将输入图像经过第一Conv+ReLU层进行特征提取得到Fin特征图；
步骤B、计算机将Fin特征图分别输入卷积层1、卷积层2和卷积层3进行卷积处理，得到特征图Fin1、特征图Fin2和特征图Fin3，并将特征图Fin2输入RDB模块得到特征图FRDB，特征图Fin3经过Sigmoid激活函数进行归一化得到空间权重图Fs；
步骤C、计算机根据
Figure FDA0003551191170000071
得到中间特征图Fmid；其中，
Figure FDA0003551191170000072
表示特征图矩阵之间的哈达玛积运算，
Figure FDA0003551191170000073
表示特征图矩阵之间的加法运算；
步骤D、计算机将中间特征图Fmid经过第二Conv+ReLU层处理，得到特征图Fmid1，并根据公式
Figure FDA0003551191170000074
得到特征图Fmid2；
步骤E、计算机将特征图Fmid2依次经过CA模块和PA模块提取，得到特征图Fmid3，并根据公式
Figure FDA0003551191170000075
得到特征图Fmid4；并将特征图Fmid4经过Sigmoid激活函数进行归一化得到特征图FPC；
步骤F、计算机根据
Figure FDA0003551191170000076
得到特征图Fout。
6.按照权利要求1所述的一种基于线上知识蒸馏的图像去雾方法，其特征在于：步骤3024中采用计算机利用大气散射模型，将有雾训练图像I经过透射图t和大气光特征图A输入，得到第二无雾图像Jmod，具体过程下：
步骤30241、采用计算机根据大气光特征图A，得到大气光特征图A中第i′个像素位置的大气光值A(i′)；其中，i′为正整数；
采用计算机根据透射图t，得到透射图t中第i′个像素位置的透射率t(i′)；
步骤30242、采用计算机根据公式
Figure FDA0003551191170000077
得到第i′个像素位置的像素值Jmod(i′)，通过第i′个像素位置的像素值Jmod(i′)得到第二无雾图像Jmod；其中，I(i′)表示有雾训练图像I中第i′个像素位置的像素值。
7.按照权利要求1所述的一种基于线上知识蒸馏的图像去雾方法，其特征在于：步骤305中门控网络模块包括3个并列的卷积核，且3个并列的卷积核分别为卷积核1-1、卷积核1-2和卷积核1-3，卷积核1-1、卷积核1-2和卷积核1-3的大小为3×3，滑动步长为1，padding为1。
CN202210264692.5A 2022-03-17 2022-03-17 一种基于线上知识蒸馏的图像去雾方法 Active CN114565539B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210264692.5A CN114565539B (zh) 2022-03-17 2022-03-17 一种基于线上知识蒸馏的图像去雾方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210264692.5A CN114565539B (zh) 2022-03-17 2022-03-17 一种基于线上知识蒸馏的图像去雾方法

Publications (2)

Publication Number Publication Date
CN114565539A true CN114565539A (zh) 2022-05-31
CN114565539B CN114565539B (zh) 2023-04-07

Family

ID=81719010

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210264692.5A Active CN114565539B (zh) 2022-03-17 2022-03-17 一种基于线上知识蒸馏的图像去雾方法

Country Status (1)

Country Link
CN (1) CN114565539B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115456913A (zh) * 2022-11-07 2022-12-09 四川大学 一种夜间雾图去雾方法及装置
CN116542872A (zh) * 2023-04-10 2023-08-04 中国人民解放军火箭军工程大学 一种基于半监督知识蒸馏的单幅图像去雾方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013141210A (ja) * 2011-12-30 2013-07-18 Hitachi Ltd 画像霧除去装置、画像霧除去方法及び画像処理システム
US20160005152A1 (en) * 2014-07-01 2016-01-07 Adobe Systems Incorporated Multi-Feature Image Haze Removal
CN111598793A (zh) * 2020-04-24 2020-08-28 云南电网有限责任公司电力科学研究院 一种用于输电线路图像去雾的方法、系统及存储介质
CN111681178A (zh) * 2020-05-22 2020-09-18 厦门大学 一种基于知识蒸馏的图像去雾方法
US20200394767A1 (en) * 2019-06-17 2020-12-17 China University Of Mining & Technology, Beijing Method for rapidly dehazing underground pipeline image based on dark channel prior
CN113744146A (zh) * 2021-08-23 2021-12-03 山东师范大学 一种基于对比学习和知识蒸馏的图像去雾方法
CN114119420A (zh) * 2021-12-01 2022-03-01 昆明理工大学 一种基于雾迁移和特征聚合的真实场景下有雾图像去雾方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013141210A (ja) * 2011-12-30 2013-07-18 Hitachi Ltd 画像霧除去装置、画像霧除去方法及び画像処理システム
US20160005152A1 (en) * 2014-07-01 2016-01-07 Adobe Systems Incorporated Multi-Feature Image Haze Removal
US20200394767A1 (en) * 2019-06-17 2020-12-17 China University Of Mining & Technology, Beijing Method for rapidly dehazing underground pipeline image based on dark channel prior
CN111598793A (zh) * 2020-04-24 2020-08-28 云南电网有限责任公司电力科学研究院 一种用于输电线路图像去雾的方法、系统及存储介质
CN111681178A (zh) * 2020-05-22 2020-09-18 厦门大学 一种基于知识蒸馏的图像去雾方法
CN113744146A (zh) * 2021-08-23 2021-12-03 山东师范大学 一种基于对比学习和知识蒸馏的图像去雾方法
CN114119420A (zh) * 2021-12-01 2022-03-01 昆明理工大学 一种基于雾迁移和特征聚合的真实场景下有雾图像去雾方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YONG XU: "Review of Video and Image Defogging Algorithms and Related Studies on Image Restoration and Enhancement", 《IEEE ACCESS》 *
何涛 等: "基于知识蒸馏的单幅图像去雾方法", 《计算机工程》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115456913A (zh) * 2022-11-07 2022-12-09 四川大学 一种夜间雾图去雾方法及装置
CN116542872A (zh) * 2023-04-10 2023-08-04 中国人民解放军火箭军工程大学 一种基于半监督知识蒸馏的单幅图像去雾方法
CN116542872B (zh) * 2023-04-10 2024-03-19 中国人民解放军火箭军工程大学 一种基于半监督知识蒸馏的单幅图像去雾方法

Also Published As

Publication number Publication date
CN114565539B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN109360171B (zh) 一种基于神经网络的视频图像实时去模糊方法
CN112233038B (zh) 基于多尺度融合及边缘增强的真实图像去噪方法
CN114565539B (zh) 一种基于线上知识蒸馏的图像去雾方法
CN111080541A (zh) 基于比特分层和注意力融合机制的彩色图像去噪方法
CN111738948B (zh) 一种基于双U-net的水下图像增强方法
CN116309232B (zh) 一种结合物理先验与深度学习的水下图像增强方法
CN117011194B (zh) 一种基于多尺度双通道注意力网络的低光图像增强方法
CN114820388B (zh) 一种基于编解码器结构的图像去雾方法
CN114881879A (zh) 一种基于亮度补偿残差网络的水下图像增强方法
CN107301625B (zh) 基于亮度融合网络的图像去雾方法
CN113628143A (zh) 一种基于多尺度卷积的加权融合图像去雾方法及装置
CN117391987A (zh) 基于多阶段联合增强机制的暗光图像处理方法
CN117408924A (zh) 一种基于多重语义特征融合网络的低光照图像增强方法
CN117422653A (zh) 一种基于权重共享和迭代数据优化的低光照图像增强方法
He et al. Low-light image enhancement with multi-scale attention and frequency-domain optimization
CN114926359B (zh) 联合双颜色空间恢复和多级解码结构的水下图像增强方法
Xu et al. Deep residual convolutional network for natural image denoising and brightness enhancement
CN113240589A (zh) 一种多尺度特征融合的图像去雾方法及系统
Anil et al. A novel approach for underwater image enhancement using style transfer technique
Pradhan et al. Fusion-UWnet: Multi-channel Fusion-based Deep CNN for Underwater Image Enhancement
Takao et al. Severely degraded underwater image enhancement with a wavelet-based network
CN112862698B (zh) 一种基于结构感知和纹理敏感的物理启发学习的水下图像增强方法
CN116152116B (zh) 一种基于视觉自注意力模型的水下图像增强方法
CN116363009B (zh) 基于有监督学习的快速轻量化低照度图像增强方法及系统
CN114511462B (zh) 一种视觉图像增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant