CN115908159A - 图像去雾方法、装置、电子设备及存储介质 - Google Patents
图像去雾方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115908159A CN115908159A CN202211249065.0A CN202211249065A CN115908159A CN 115908159 A CN115908159 A CN 115908159A CN 202211249065 A CN202211249065 A CN 202211249065A CN 115908159 A CN115908159 A CN 115908159A
- Authority
- CN
- China
- Prior art keywords
- image
- haze
- feature
- unit
- deep
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000012549 training Methods 0.000 claims abstract description 26
- 230000004927 fusion Effects 0.000 claims description 153
- 230000006870 function Effects 0.000 claims description 41
- 238000004590 computer program Methods 0.000 claims description 12
- 239000002131 composite material Substances 0.000 claims description 8
- 125000004122 cyclic group Chemical group 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- 238000013461 design Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 abstract description 11
- 230000004913 activation Effects 0.000 description 34
- 238000010586 diagram Methods 0.000 description 15
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 8
- 238000013508 migration Methods 0.000 description 8
- 230000005012 migration Effects 0.000 description 8
- 238000011176 pooling Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013526 transfer learning Methods 0.000 description 2
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 239000013618 particulate matter Substances 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供一种图像去雾方法、装置、电子设备及存储介质，其中方法包括：确定待去雾图像；将所述待去雾图像输入至去雾模型中，得到所述去雾模型输出的去雾后的图像；所述去雾模型包括雾霾图像编码器和语义解码器；所述雾霾图像编码器用于提取并融合所述待去雾图像在两个不同层级的语义特征，得到雾霾图像语义特征；所述语义解码器用于基于所述雾霾图像语义特征得到去雾后的图像；所述去雾模型是基于不成对的雾霾样本图像和清晰样本图像训练得到，实现了对待去雾图像不同层级的语义特征提取，提高了输出的雾霾图像语义特征的特征表达能力，从而提高了去雾模型的雾霾特征提取能力，进而提高去雾模型的去雾质量。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像去雾方法、装置、电子设备及存储介质。
背景技术
雾霾是一种典型的大气现象，当灰尘等细颗粒物积聚在空气中时产生。这些粒子对光有很大的吸收和散射作用，从而减弱了景物反射的景物辐射，使其与散射光混淆。在这种条件下拍摄的图像或视频会产生严重的质量退化，影响后续的智能化分析，制约着系统的性能。
随着深度学习中半监督和无监督迁移学习的发展，目前，已有应用开发域自适应范式，或者利用CycleGAN的循环结构来提高深度模型的泛化能力，在特征域对雾霾图像的语义成分和雾霾成分进行分解/重构，实现域之间的迁移，完成图像去雾得到去雾图像。
但是，在对雾霾图像进行特征解耦时往往采用的是同构的单分支网络结构，对不同特性信息的缺乏区分处理，并且随着网络结构的加深，信息在学习的过程中不可避免会丢失。
发明内容
本发明提供一种图像去雾方法、装置、电子设备及存储介质，用以解决现有技术中采用同构的单分支网络结构对雾霾图像进行解耦导致特征信息缺乏区分并且出现信息丢失的缺陷。
本发明提供一种图像去雾方法，包括：
确定待去雾图像；
将所述待去雾图像输入至去雾模型中，得到所述去雾模型输出的去雾后的图像；
所述去雾模型包括雾霾图像编码器和语义解码器；所述雾霾图像编码器用于提取并融合所述待去雾图像在两个不同层级的语义特征，得到雾霾图像语义特征；所述语义解码器用于基于所述雾霾图像语义特征得到去雾后的图像；所述去雾模型是基于不成对的雾霾样本图像和清晰样本图像训练得到。
根据本发明提供的一种图像去雾方法，所述雾霾图像编码器包括浅层网络分支、深层网络分支和加权融合网络；
所述雾霾图像语义特征的获取步骤如下：
将所述浅层网络分支提取的所述待去雾图像的语义特征和所述深层网络分支提取的所述待去雾图像的语义特征进行融合，得到融合特征；
基于所述加权融合网络，对所述融合特征进行通道级和像素级的加权特征融合，得到所述雾霾图像语义特征。
根据本发明提供的一种图像去雾方法，所述浅层网络分支包括浅层第一卷积单元、浅层第二卷积单元、浅层第三卷积单元和浅层残差单元；所述深层网络分支包括深层第一卷积单元、深层第二卷积单元、深层第三卷积单元、深层第一残差单元、深层第二残差单元和深层第三残差单元；
所述将所述浅层网络分支提取的所述待去雾图像的语义特征和所述深层网络分支提取的所述待去雾图像的语义特征进行融合，得到融合特征，包括：
基于所述待去雾图像，应用所述浅层第一卷积单元，确定第一浅层特征，并应用所述深层第一卷积单元和所述深层第一残差单元，确定第一深层特征；
基于所述第一浅层特征和所述第一深层特征，确定第一融合特征；
基于所述第一融合特征，应用所述浅层第二卷积单元，确定第二浅层特征，并应用所述深层第二卷积单元和所述深层第二残差单元，确定第二深层特征；
基于所述第二浅层特征和所述第二深层特征，确定第二融合特征；
基于所述第二融合特征，应用所述浅层第三卷积单元，确定第三浅层特征，并应用所述深层第三卷积单元，确定第三深层特征；
基于所述第三浅层特征和所述第三深层特征，确定第三融合特征；
基于所述第三融合特征，应用所述浅层残差单元，确定第四浅层特征，并应用所述深层第三残差单元，确定第四深层特征；
基于所述第四浅层特征和所述第四深层特征，确定所述融合特征。
根据本发明提供的一种图像去雾方法，所述加权融合网络包括第一加权融合单元、第二加权融合单元、第三加权融合单元、第一通道级加权单元、第二通道级加权单元、第三通道加级权单元和像素级加权单元；所述第一加权融合单元、所述第二加权融合单元和所述第三加权融合单元均包括通道加权子单元和像素加权子单元；
所述基于所述加权融合网络，对所述融合特征进行通道级和像素级的加权特征融合，得到所述雾霾图像语义特征，包括：
基于所述融合特征，应用所述第一加权融合单元和所述第一通道级加权单元，确定第一通道加权特征；
基于所述第一通道加权特征，应用所述第二加权融合单元，确定第一加权融合特征；
基于所述第一加权融合特征，应用所述第二通道级加权单元，确定第二通道级加权特征；
基于所述第二通道加权特征，应用所述第三加权融合单元，确定第二加权融合特征；
基于所述第二加权融合特征，应用所述第三通道级加权单元，确定第三通道级加权特征；
基于所述第一加权融合特征、第二加权融合特征和所述第三通道加权特征，确定第四通道级加权特征；
基于所述第四通道级加权特征，应用所述像素级加权单元，确定所述雾霾图像语义特征。
根据本发明提供的一种图像去雾方法，所述去雾模型的训练步骤如下：
确定不成对的雾霾样本图像和清晰样本图像，以及初始模型；初始雾霾图像编码器、初始语义解码器、初始清晰图像编码器、初始重构解码器和风格编码器；
基于所述初始清晰图像编码器、风格编码器和初始重构解码器，应用所述雾霾样本图像和所述清晰样本图像，生成所述清晰样本图像对应的合成雾霾图像，并基于所述初始雾霾图像编码器和所述初始语义解码器，应用所述清晰样本图像对应的合成雾霾图像，生成所述清晰样本图像对应的合成清晰图像；同时，基于所述初始雾霾图像编码器和所述初始语义解码器，应用所述雾霾样本图像，生成所述雾霾样本图像对应的合成清晰图像，并基于所述初始清晰图像编码器、风格编码器和初始重构解码器，应用所述清晰样本图像对应的合成雾霾图像和所述雾霾样本图像对应的合成清晰图像，生成所述雾霾样本图像对应的合成雾霾图像；
基于所述雾霾样本图像、所述雾霾样本图像对应的合成清晰图像、所述雾霾样本图像对应的合成雾霾图像、所述清晰样本图像、所述清晰样本图像对应的合成雾霾图像和所述清晰样本图像对应的合成清晰图像，确定损失，并基于所述损失对所述初始模型进行参数迭代，直至所述损失收敛，将训练完成得到的初始雾霾图像编码器作为所述雾霾图像编码器并将初始语义解码器作为所述语义解码器。
根据本发明提供的一种图像去雾方法，所述损失是基于循环一致性损失、语义一致性损失、目标域对抗损失、特征表示对抗性损失、一致性映射损失、自重构损失、暗通道损失和风格特征对比损失加权求和得到；所述风格特征对比损失是基于风格特征对比学习模块计算得到；所述风格特征对比学习模块包括风格编码器，以及预训练得到的VGG19模型的第9层和第13层。
根据本发明提供的一种图像去雾方法，所述风格特征对比损失对应的损失函数的公式如下：
式中，
表示合成清晰图像风格损失；
表示合成雾霾图像风格损失；Gi表示从VGG19模型中提取第i层的隐藏特征，wi是第i层权重系数，βi表示第i层的预设调整系数，i为9或13；d(x,y)是x和y之间的平均绝对误差；
表示所述风格编码器；Jclear表示所述清晰样本图像；Ihaze表示所述雾霾样本图像；Jdehaze表示所述雾霾样本图像对应的合成清晰图像；Ifahaze表示所述清晰样本图像对应的合成雾霾图像。
本发明还提供一种图像去雾装置，包括：
确定模块，用于确定待去雾图像；
去雾模块，用于将所述待去雾图像输入至去雾模型中，得到所述去雾模型输出的去雾后的图像；
所述去雾模型包括雾霾图像编码器和语义解码器；所述雾霾图像编码器用于提取并融合所述待去雾图像在两个不同层级的语义特征，得到雾霾图像语义特征；所述语义解码器用于基于所述雾霾图像语义特征得到去雾后的图像；所述去雾模型是基于不成对的雾霾样本图像和清晰样本图像训练得到。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述图像去雾方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述图像去雾方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述图像去雾方法。
本发明提供的图像去雾方法、装置、电子设备及存储介质，通过在雾霾图像编码器中设置两个不同层级的网络来提取带去雾图像的语义特征，并将得到的两个不同层级的语义特征进行融合，实现了对待去雾图像不同层级的语义特征提取，提高了输出的雾霾图像语义特征的特征表达能力，从而提高了去雾模型的雾霾特征提取能力，进而提高去雾模型的去雾质量。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的图像去雾方法的流程示意图；
图2是本发明提供的雾霾图像语义特征获取方法的流程示意图；
图3是本发明提供的雾霾图像编码器的数据流程示意图；
图4是本发明提供的去雾模型训练方法的流程示意图；
图5是本发明提供的解码器的网络结构图；
图6是本发明提供的风格编码器的网络结构图；
图7是本发明提供的风格特征对比学习模块的数据流程图；
图8是本发明提供的初始模型的网络架构图；
图9是本发明提供的图像去雾装置的结构示意图；
图10是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
随着深度学习和卷积神经网络(CNNs)的发展，许多基于监督学习的方法被应用于图像去雾领域。比如DehazeNet(An end-to-end system for single image hazeremoval)、AOD-Net(An All-in-One Network for Dehazing and Beyond)等。与传统方法相比，这些方法直接通过端到端的网络映射雾霾图像的成像参数或直接求解清晰图像。随着合成的成对数据集的提出，这些方法在相应的数据集上实现了优越的性能。但在真实世界中，成对清晰/雾霾图像的样本对的获取几乎不可能，而基于合成数据训练的模型在处理真实雾霾图像时往往泛化能力不足。最近的一些研究试图探索不需要成对样本的去雾策略。第一种方法是在图像域通过大气散射模型对雾霾图像进行解耦。比如，YOLY(You OnlyLook Yourself)，ZID(Zero-shot Image Dehazing)等，此类方法通常采用多个子网将输入的雾霾图像分离到大气光图A，传输图t(x)和清晰图像J这三个组成层中。再利用大气散射模型重构雾霾图像并与输入雾霾图像建立约束，从而恢复清晰图像。通常，借助大气散射模型在图像域进行解耦会引入误差导致估计不准确，这是因为大气散射模型只是真实世界的粗略近似，其本身就包含了诸多假设。另一种方法是半监督或无监督迁移学习。它们开发域自适应范式，或者利用CycleGAN的循环结构来提高深度模型的泛化能力。在特征域对雾霾图像的语义成分和雾霾成分进行分解/重构，实现域之间的迁移。但是，上述方法在对雾霾图像进行特征解耦时往往采用的是同构的单分支网络结构，对不同特性信息的缺乏区分处理，并且随着网络结构的加深，信息在学习的过程中不可避免会丢失。
因此，如何提高无监督去雾模型的去雾质量是本领域技术人员亟待解决的技术问题。
针对上述技术问题，本发明实施例提供一种图像去雾方法。图1是本发明提供的图像去雾方法的流程示意图。如图1所示，该方法包括：
步骤110，确定待去雾图像；
需要说明的是，去雾图像可以是任意的带有雾气模糊的图像，本发明实施例不限制待去雾图像的图像格式和图像尺寸。
步骤120，将待去雾图像输入至去雾模型中，得到去雾模型输出的去雾后的图像；
去雾模型包括雾霾图像编码器和语义解码器；雾霾图像编码器用于提取并融合待去雾图像在两个不同层级的语义特征，得到雾霾图像语义特征；语义解码器用于基于雾霾图像语义特征得到去雾后的图像；去雾模型是基于不成对的雾霾样本图像和清晰样本图像训练得到。
考虑到不同深度的卷积网络可以提取输入图像不同层级的特征表示，然后将不同层次的特征表示进行融合，可以提高特征表达的能力。因此，本发明实施例通过在图像编码器从两个不同层级去提取待去雾图像的语义特征，以此来雾霾提高特征提取能力，进而提高去雾模型的去雾质量。
具体地，构建一个包含有雾霾图像编码器和语义解码器的循环生成对抗模型，并使用不成对的雾霾样本图像和清晰样本图像对该循环生成对抗模型进行训练，训练完成后固定雾霾图像编码器的参数和语义解码器参数，由雾霾图像编码器和语义解码器组成去雾模型，然后将待去雾图像输入到去雾模型中，得到去雾模型输出的去雾后的图像，其中雾霾图像编码器用于提取并融合待去雾图像在两个不同层级的语义特征，得到雾霾图像语义特征；语义解码器用于将雾霾图像语义特征进行解码得到去雾后的图像。
需要说明的是，雾霾图像编码器通过两个不同层级的网络分别提取待去雾图像的语义特征，得到两个不同层级的语义特征，然后将这两个不同层级的语义特征进行融合，其中，融合可以是两个不同层级的网络中对应节点层进行特征融合，还可以是两个不同层级的网络最终提取的特征进行融合，本发明实施例对此不作限制。此外，在对语义特征进行融合完成之后，还可以在各通道和各像素进行加权融合，本发明实施例对此不作限制。不成对的雾霾样本图像和清晰样本图像表示的是雾霾样本图像是从雾霾样本集中随机选择，清晰样本图像是从清晰样本集中随机选择，雾霾样本图像和清晰样本图像之间不存在映射关系。
本发明实施例提供的图像去雾方法，通过在雾霾图像编码器中设置两个不同层级的网络来提取带去雾图像的语义特征，并将得到的两个不同层级的语义特征进行融合，实现了对待去雾图像不同层级的语义特征提取，提高了输出的雾霾图像语义特征的特征表达能力，从而提高了去雾模型的雾霾特征提取能力，进而提高去雾模型的去雾质量。
基于上述实施例，雾霾图像编码器包括浅层网络分支、深层网络分支和加权融合网络；图2是本发明提供的雾霾图像语义特征获取方法的流程示意图。如图2所示，雾霾图像语义特征的获取步骤如下：
步骤210，将浅层网络分支提取的待去雾图像的语义特征和深层网络分支提取的待去雾图像的语义特征进行融合，得到融合特征；
步骤220，基于加权融合网络，对融合特征进行通道级和像素级的加权特征融合，得到雾霾图像语义特征。
考虑到对两个不同层级的语义特征进行融合后的融合特征是对各通道和各像素都是平等处理，导致去雾效果欠佳。因此，本发明实施例通过对通道级和像素级的加权特征融合，以提高去雾模型的去雾效果。
具体地，将浅层网络分支对待去雾图像进行语义特征提取得到的语义特征和深层网络分支对待去雾图像进行语义特征提取得到的语义特征进行融合，得到融合特征；然后通过加权融合网络，对该融合特征计算通道级的加权权重和像素级的加权权重，然后根据通道级的加权权重和像素级的加权权重对该融合特征进行加权融合，以得到雾霾图像语义特征。
需要说明的是，通道级的加权权重可以将待加权的语义特征依次经过平均池化层、卷积核为1x1的卷积层、ReLU激活函数层、卷积核为1x1的卷积层和Sigmoid激活函数层进行计算得到，像素级的加权权重可以将待加权的语义特征依次经过卷积核为1x1的卷积层、ReLU激活函数层、卷积核为1x1的卷积层和Sigmoid激活函数层进行计算得到。
此外，加权融合为多次通道级加权和像素级加权，可以将融合特征依次进行通道级加权特征融合和像素级加权特征融合，还可以跨层级地进行通道级加权特征融合和像素级加权特征融合，例如，可以将多次通道加权特征融合得到的特征进行再次融合，然后在将融合后得到的特征进行像素级加权特征融合，本发明实施例对此不作限制。
基于上述实施例，本发明提供一优选实施例，该实施例中，浅层网络分支包括浅层第一卷积单元、浅层第二卷积单元、浅层第三卷积单元和浅层残差单元；深层网络分支包括深层第一卷积单元、深层第二卷积单元、深层第三卷积单元、深层第一残差单元、深层第二残差单元和深层第三残差单元；
步骤210，包括：
步骤211，基于待去雾图像，应用浅层第一卷积单元，确定第一浅层特征，并应用深层第一卷积单元和深层第一残差单元，确定第一深层特征；
步骤212，基于第一浅层特征和第一深层特征，确定第一融合特征；
步骤213，基于第一融合特征，应用浅层第二卷积单元，确定第二浅层特征，并应用深层第二卷积单元和深层第二残差单元，确定第二深层特征；
步骤214，基于第二浅层特征和第二深层特征，确定第二融合特征；
步骤215，基于第二融合特征，应用浅层第三卷积单元，确定第三浅层特征，并应用深层第三卷积单元，确定第三深层特征；
步骤216，基于第三浅层特征和第三深层特征，确定第三融合特征；
步骤217，基于第三融合特征，应用浅层残差单元，确定第四浅层特征，并应用深层第三残差单元，确定第四深层特征；
步骤218，基于第四浅层特征和第四深层特征，确定融合特征。
需要说明的是，浅层第一卷积单元包括一个卷积核为7x7且卷积步长为1的卷积层和一个ReLU激活函数层，浅层第二卷积单元和浅层第三卷积单元的网络结构相同，都包括一个卷积核为4x4且卷积补偿为2的卷积层和一个ReLU激活函数层，浅层残差单元包括4个残差块，每个残差块包含两个卷积单元，每个卷积单元包含一个卷积核为3x3且卷积步长为1的卷积层和一个ReLU激活函数层。深层第一卷积单元包括一个卷积核为7x7且卷积步长为1的卷积层和一个ReLU激活函数层，深层第二卷积单元和深层第三卷积单元的网络结构相同，都包括一个卷积核为4x4且卷积补偿为2的卷积层和一个ReLU激活函数层，深层第一残差单元、深层第二残差单元和深层第三残差单元的网络结构相同，都包括4个残差块，每个残差块包含两个卷积单元，每个卷积单元包含一个卷积核为3x3且卷积步长为1的卷积层和一个ReLU激活函数层。
此外，图3是本发明提供的雾霾图像编码器的数据流程示意图。如图3所示，雾霾图像编码器融合浅层网络分支提取的语义特征和深层网络分支的语义特征的流程如下：
S1，将待去雾图像分别输入到浅层网络分支和深层网络分支，浅层第一卷积单元对待去雾图像进行卷积操作，得到第一浅层特征
深层第一卷积单元对待去雾图像进行卷积操作，将卷积操作后得到的特征输入到深层第一残差单元，得到第一深层特征
S2，将
和
进行融合得到第一融合特征，并将第一融合特征进行卷积核大小为1x1的卷积操作得到，第一融合特征对应的浅层第一融合特征
和第一融合特征对应的深层第一融合特征
S3，将
输入至浅层第二卷积单元进行卷积操作，得到第二浅层特征
同时
输入至深层第二卷积单元进行卷积操作，将卷积操作后得到的特征输入到深层第二残差单元，得到第二深层特征
S4，将
和
进行融合得到第二融合特征，并将第二融合特征进行卷积核大小为1x1的卷积操作得到，第二融合特征对应的浅层第二融合特征
和第二融合特征对应的深层第二融合特征
S5，将
输入至浅层第三卷积单元进行卷积操作，得到第三浅层特征
将
输入至深层第三卷积单元进行卷积操作，得到第三深层特征
S6，将
和
进行融合得到第三融合特征，并将第三融合特征进行卷积核大小为1x1的卷积操作得到，第三融合特征对应的浅层第三融合特征
和第三融合特征对应的深层第三融合特征
S7，将
输入至浅层残差单元，得到第四浅层特征
同时将
输入至深层第三残差单元，得到第四浅层特征
S8，将
和
进行融合并进行卷积核大小为1x1的卷积操作得到融合特征
基于上述实施例，本发明提供一优选实施例，该实施例中加权融合网络包括第一加权融合单元、第二加权融合单元、第三加权融合单元、第一通道级加权单元、第二通道级加权单元、第三通道加级权单元和像素级加权单元；第一加权融合单元、第二加权融合单元和第三加权融合单元均包括通道加权子单元和像素加权子单元；
步骤220，包括：
步骤221，基于融合特征，应用第一加权融合单元和第一通道级加权单元，确定第一通道加权特征；
步骤222，基于第一通道加权特征，应用第二加权融合单元，确定第一加权融合特征；
步骤223，基于第一加权融合特征，应用第二通道级加权单元，确定第二通道级加权特征；
步骤224，基于第二通道加权特征，应用第三加权融合单元，确定第二加权融合特征；
步骤225，基于第二加权融合特征，应用第三通道级加权单元，确定第三通道级加权特征；
步骤226，基于第一加权融合特征、第二加权融合特征和第三通道加权特征，确定第四通道级加权特征；
步骤227，基于第四通道级加权特征，应用像素级加权单元，确定雾霾图像语义特征。
需要说明的是，通道加权子单元、第一通道级加权单元、第二通道级加权单元和第三通道级加权单元的网络结构都相同，都包括一个池化核为2x2且步长为2均值池化层，一个包含有一个卷积核大小为1x1的卷积层和一个ReLU激活函数层的卷积单元，以及一个包含有一个卷积核大小为1x1的卷积层和一个Sigmoid激活函数层的卷积单元。像素加权子单元和像素级加权单元的网络结构都相同，都包括一个包含有一个卷积核大小为1x1的卷积层和一个ReLU激活函数层的卷积单元，以及一个包含有一个卷积核大小为1x1的卷积层和一个Sigmoid激活函数层的卷积单元。
此外，如图3所示，第一加权融合单元、第二加权融合单元、第三加权融合单元的数据流程如下：
S1’，将输入的语义特征F输入至通道加权子单元经过平均池化操作、卷积操作和激活操作，得到通道级权重，将通道级权重与语义特征F相乘得到通道加权特征F′。
S2’，将通道加权特征F′输入至像素加权子单元经过卷积操作和激活操作，得到像素级权重，将像素级权重与通道加权特征F′相乘得到像素级加权特征F″。
如图3所示，加权融合网络的数据流程如下：
S9，将融合特征
输入至第一加权融合单元，得到第一加权融合单元输出的第一像素级加权特征，并将第一像素级加权特征输入至第一通道级加权单元经过平均池化操作、卷积操作和激活操作，得到第一通道加权特征。
S10，将第一通道加权特征输入至第二加权融合单元，得到第一加权融合特征，并将第一加权融合特征输入至第二通道级加权单元经过平均池化操作、卷积操作和激活操作，得到第二通道级加权特征。
S11，将第二通道加权特征输入至第三加权融合单元，得到第二加权融合特征，并将第二加权融合特征输入至第三通道级加权单元经过平均池化操作、卷积操作和激活操作，得到第三通道级加权特征。
S12，将第一加权融合特征、第二加权融合特征和第三通道级加权特征求和，得到第四通道级加权特征。
S13，将第四通道级加权特征输入至像素级加权单元经过卷积操作和激活操作，得到雾霾图像语义特征。
基于上述实施例，图4是本发明提供的去雾模型训练方法的流程示意图。如图4所示，去雾模型的训练步骤如下：
步骤410，确定不成对的雾霾样本图像和清晰样本图像，以及初始模型；初始雾霾图像编码器、初始语义解码器、初始清晰图像编码器、初始重构解码器和风格编码器；
具体地，构建一个包含有初始雾霾图像编码器、初始语义解码器、初始清晰图像编码器、初始重构解码器和风格编码器的初始模型，初始模型为循环生成对抗模型。初始雾霾图像编码器和初始语义解码器用于根据雾霾图像生成去雾图像；初始清晰图像编码器、初始重构解码器和风格编码器的初始模型用于根据清晰图像生成雾霾图像，其中风格编辑器用于从雾霾图像中提取雾霾图像风格特征。
需要说明的是，初始雾霾图像编码器和初始清晰图像编码器的网络结构相同，均包括浅层网络分支、深层网络分支和加权融合网络；浅层网络分支包括浅层第一卷积单元、浅层第二卷积单元、浅层第三卷积单元和浅层残差单元；深层网络分支包括深层第一卷积单元、深层第二卷积单元、深层第三卷积单元、深层第一残差单元、深层第二残差单元和深层第三残差单元；浅层第一卷积单元包括一个卷积核为7x7且卷积步长为1的卷积层和一个ReLU激活函数层，浅层第二卷积单元和浅层第三卷积单元的网络结构相同，都包括一个卷积核为4x4且卷积补偿为2的卷积层和一个ReLU激活函数层，浅层残差单元包括4个残差块，每个残差块包含两个卷积单元，每个卷积单元包含一个卷积核为3x3且卷积步长为1的卷积层和一个ReLU激活函数层。深层第一卷积单元包括一个卷积核为7x7且卷积步长为1的卷积层和一个ReLU激活函数层，深层第二卷积单元和深层第三卷积单元的网络结构相同，都包括一个卷积核为4x4且卷积补偿为2的卷积层和一个ReLU激活函数层，深层第一残差单元、深层第二残差单元和深层第三残差单元的网络结构相同，都包括4个残差块，每个残差块包含两个卷积单元，每个卷积单元包含一个卷积核为3x3且卷积步长为1的卷积层和一个ReLU激活函数层。加权融合网络包括第一加权融合单元、第二加权融合单元、第三加权融合单元、第一通道级加权单元、第二通道级加权单元、第三通道加级权单元和像素级加权单元；第一加权融合单元、第二加权融合单元和第三加权融合单元均包括通道加权子单元和像素加权子单元；通道加权子单元、第一通道级加权单元、第二通道级加权单元和第三通道级加权单元的网络结构都相同，都包括一个池化核为2x2且步长为2均值池化层，一个包含有一个卷积核大小为1x1的卷积层和一个ReLU激活函数层的卷积单元，以及一个包含有一个卷积核大小为1x1的卷积层和一个Sigmoid激活函数层的卷积单元。像素加权子单元和像素级加权单元的网络结构都相同，都包括一个包含有一个卷积核大小为1x1的卷积层和一个ReLU激活函数层的卷积单元，以及一个包含有一个卷积核大小为1x1的卷积层和一个Sigmoid激活函数层的卷积单元。
图5是本发明提供的解码器的网络结构图。如图5所示，初始语义解码器和初始重构解码器的网络结构相同，均包括一个残差模块ResBlocks和三个卷积单元。ResBlocks中包含八个卷积核大小为3x3的卷积层Conv5_1至Conv5_8。卷积单元Conv5_9和卷积单元Conv5_10包含一个卷积核大小为5x5的卷积层和一个ReLU激活函数层，卷积单元Conv5_11包含一个卷积核大小为7x7的卷积层和一个Tanh激活函数层。
图6是本发明提供的风格编码器的网络结构图。如图6所示，风格编码器包括四个卷积单元构成。其中，卷积单元Conv4_1包含一个卷积核大小为7x7的卷积层和一个ReLU激活函数层，卷积单元Conv4_2和卷积单元Conv4_3包含一个卷积核大小为4x4的卷积层和一个ReLU激活函数层，卷积单元Conv4_4包含一个卷积核大小为1x1、步长为1的卷积层。
步骤420，基于初始清晰图像编码器、风格编码器和初始重构解码器，应用雾霾样本图像和清晰样本图像，生成清晰样本图像对应的合成雾霾图像，并基于初始雾霾图像编码器和初始语义解码器，应用清晰样本图像对应的合成雾霾图像，生成清晰样本图像对应的合成清晰图像；同时，基于初始雾霾图像编码器和初始语义解码器，应用雾霾样本图像，生成雾霾样本图像对应的合成清晰图像，并基于初始清晰图像编码器、风格编码器和初始重构解码器，应用清晰样本图像对应的合成雾霾图像和雾霾样本图像对应的合成清晰图像，生成雾霾样本图像对应的合成雾霾图像；
具体地，输入不成对的雾霾样本图像和清晰样本图像，在正向迁移时，初始清晰图像编码器提取清晰样本图像的清晰图像语义特征，风格编码器提取雾霾样本图像的雾霾图像风格特征，将清晰图像语义特征和雾霾图像风格特征输入至初始重构解码器，得到清晰样本图像对应的合成雾霾图像，同时初始雾霾图像编码器提取雾霾样本图像的雾霾图像语义特征，然后将雾霾图像语义特征输入至初始语义解码器，得到雾霾样本图像对应的合成清晰图像；在反向迁移时，将清晰样本图像对应的合成雾霾图像输入至初始雾霾图像编码器，得到清晰样本图像对应的合成雾霾图像的雾霾语义特征，然后将该雾霾语义特征输入至初始语义解码器，得到清晰样本图像对应的合成清晰图像，同时，将雾霾样本图像对应的合成清晰图像输入至初始清晰图像编码器，得到雾霾样本图像对应的合成清晰图像的清晰图像语义特征，将清晰样本图像对应的合成雾霾图像输入至风格编码器，得到清晰样本图像对应的合成雾霾图像的雾霾图像风格特征，将雾霾样本图像对应的合成清晰图像的清晰图像语义特征和清晰样本图像对应的合成雾霾图像的雾霾图像风格特征输入至初始重构解码器，得到雾霾样本图像对应的合成雾霾图像。
需要说明的是，一次正向迁移和一次反向迁移完成后通过430计算损失，完成本轮迭代。
步骤430，基于雾霾样本图像、雾霾样本图像对应的合成清晰图像、雾霾样本图像对应的合成雾霾图像、清晰样本图像、清晰样本图像对应的合成雾霾图像和清晰样本图像对应的合成清晰图像，确定损失，并基于损失对初始模型进行参数迭代，直至损失收敛，将训练完成得到的初始雾霾图像编码器作为雾霾图像编码器并将初始语义解码器作为语义解码器。
具体地，根据当前轮正向迁移和反向迁移得到的雾霾样本图像、雾霾样本图像对应的合成清晰图像、雾霾样本图像对应的合成雾霾图像、清晰样本图像、清晰样本图像对应的合成雾霾图像和清晰样本图像对应的合成清晰图像，进行损失计算，得到损失，然后根据损失对初始模型进行参数迭代，直至损失收敛，完成训练，然后将训练完成得到的初始雾霾图像编码器的参数固定作为去雾模型中的雾霾图像编码器，将训练完成得到的初始语义解码器的参数固定作为去雾模型中的语义解码器。
需要说明的是，损失可以包括循环一致性损失、语义一致性损失、目标域对抗损失、特征表示对抗性损失、一致性映射损失、自重构损失、暗通道损失和风格特征对比损失，本发明实施例对此不作限制。
基于上述实施例，本发明提供一优选实施例，根据循环一致性损失、语义一致性损失、目标域对抗损失、特征表示对抗性损失、一致性映射损失、自重构损失、暗通道损失和风格特征对比损失加权求和得到损失。其中风格特征对比损失是根据风格特征对比学习模块计算得到风格特征对比学习模块包括风格编码器，以及预训练得到的VGG19模型的第9层和第13层。
需要说明的是，图7是本发明提供的风格特征对比学习模块的数据流程图。如图7所示，首先通过风格编码器提取图像的风格特征，然后使用预训练的VGG19模型的第9层和第13层提取深层特征作为正负样本，构建对比空间。具体地，输入的去雾图像Jdehaze先经过风格编码器处理得到风格特征，然后经过预训练VGG19模型的卷积单元处理得到特征。最后将该特征作为对比空间的锚点，并分别选取输入清晰图像的风格特征和雾霾图像的风格特征作为正负样本，构建对比损失。类似地，输入的假雾霾图像Ifahaze经过同样处理得到的特征作为锚点构建新的样本空间和对比损失。在本发明中构建了两个对比空间：第一个对比空间CR-1的“锚”是去雾图像的风格特征，“正”和“负”分别是清晰图像风格特征和雾霾图像风格特征；第二个对比空间CR-2的“锚”是重构假雾霾图像的风格特征，“正”和“负”分别是雾霾图像风格特征和清晰图像风格特征。
风格特征对比学习模块的数据处理步骤如下：
步骤一，将输入至模块的去雾图像Jdehaze、重构的假雾霾图像Ifahaze、清晰图像Jclear和雾霾图像Ihaze进行风格特征的提取得到它们的风格特征。
步骤二，将风格输入预训练的VGG网络进行特征提取，得到深层特征。
步骤三，构建两个对比空间优化模型训练。将去雾图像特征作为第一个对比空间的锚点，将清晰图像和雾霾图像的特征分别作为正样本和负样本；将重构的假雾霾图像特征作为第二个对比空间的锚点，将雾霾图像和清晰图像的特征分别作为正样本和负样本，构建对比损失约束模型训练。
此外，循环一致性损失对应的损失函数的公式如下：
LCC＝EI[||Icychaze-Ihaze||1]+EJ[||Jcycclear-Jclear||1]
式中，EI表示用于区分雾霾域，EJ表示用于区分清晰域，Ihaze表示雾霾样本图像，Jclear表示清晰样本图像，Icychaze表示雾霾样本图像对应的合成雾霾图像，Jcycclear表示清晰样本图像对应的合成清晰图像。
语义一致性损失对应的损失函数的公式如下：
式中，
表示来自ImageNet上预训练VGG19模型的conv5-l的特征。
目标域对抗损失对应的损失函数的公式如下：
式中，Ihaze表示雾霾样本图像，Jclear表示清晰样本图像，Ifahaz表示清晰样本图像对应的合成雾霾图像，Jdehaze表示雾霾样本图像对应的合成清晰图像，F代表分布函数的期望值，PI代表雾霾样本分布，PJ代表清晰样本分布。
特征表示对抗性损失对应的损失函数的公式如下：
式中，EI表示用于区分雾霾域，EJ表示用于区分清晰域，DisC表示特征鉴别器，zI表示雾霾图像语义特征，zJ表示清晰图像语义特征。
一致性映射损失对应的损失函数的公式如下：
Lidt＝||DJ(EI(Jclear))-Jclear||1
式中，Jclear表示清晰样本图像，EI表示雾霾图像编码器，DJ表示语义解码器。
自重构损失对应的损失函数的公式如下：
式中，EI表示雾霾图像编码器，DJ表示语义解码器，EJ表示清晰图像编码器，DJ表示重构解码器，
表示风格编码器，Ihaze表示雾霾样本图像，Jclear表示清晰样本图像。
暗通道损失对应的损失函数的公式如下：
Ldcp＝||DC(DJ(EI(Ihaze)))||1
式中，EI表示雾霾图像编码器，DJ表示语义解码器，Ihaze表示雾霾样本图像，DC表示用于计算暗通道，Ldcp用于使得至少一个颜色通道的像素值趋近于0。
本发明实施例提供的图像去雾方法，通过风格特征对比学习模块计算风格特征对比损失，使得生成的合成雾霾图像更加真实，从而进一步提高了去雾模型的去雾质量。
基于上述实施例，本发明提供一优选实施例，该实施例中风格特征对比损失对应的损失函数的公式如下：
式中，
表示合成清晰图像风格损失；
表示合成雾霾图像风格损失；Gi表示从VGG19模型中提取第i层的隐藏特征，wi是第i层权重系数，βi表示第i层的预设调整系数，i为9或13；d(x,y)是x和y之间的平均绝对误差(即计算L1损失，L1损失函数又称为MAE(mean abs error)，即平均绝对误差，也就是预测值和真实值之间差值的绝对值)；
表示风格编码器；Jclear表示清晰样本图像；Ihaze表示雾霾样本图像；Jdehaze表示雾霾样本图像对应的合成清晰图像；Ifahaze表示清晰样本图像对应的合成雾霾图像。优选地，β9＝0.25，β13＝1。
根据上述各损失函数，则总损失函数的公式为：
式中，λCC＝λsr＝λidt＝10，
λdcp＝0.5。其中，
基于上述实施例，本发明提供一优选实施例，图8是本发明提供的初始模型的网络架构图。如图8所示，获取一组不成对的雾霾样本图像Ihaze和清晰样本图像Jclear，在正向迁移中，对雾霾样本图像进行去雾转换为雾霾样本图像对应的合成清晰图像，对清晰样本图像进行加雾转换为清晰样本图像对应的合成雾霾图像。具体来说，分别使用对应的雾霾图像编码器EI和清晰图像编码器EJ对Ihaze和Jclear进行编码得到语义特征，ZI和ZJ，使用风格编码器
提取雾霾样本图像Ihaze中的雾霾图像风格特征Zh；将ZJ和Zh按通道维度进行拼接后，输入到重构解码器DI中，得到清晰样本图像对应的合成雾霾图像Ifahaze；将ZI输入到语义解码器DJ中，得到雾霾样本图像对应的合成清晰图像Jdehaze。完成正向迁移后，再实施回归迁移，同样地，将得到的清晰样本图像的合成雾霾图像Ifahaze和雾霾样本图像对应的合成清晰图像Jdehaze转换回清晰图像和雾霾图像。具体的，分别使用对应的雾霾图像编码器EI和清晰图像编码器EJ对Ifahaze和Jdehaze进行编码得到语义特征，同时使用风格编码器
提取Ifahaze中的雾霾图像风格特征，并进行重构与解码，最后得到雾霾样本图像对应的合成雾霾图像Icychaze和清晰样本图像对应的合成清晰图像Jcycclear。在迭代训练的过程中通过风格特征对比学习模块计算风格特征对比损失。
下面对本发明提供的图像去雾装置进行描述，下文描述的图像去雾装置与上文描述的图像去雾方法可相互对应参照。
图9是本发明提供的图像去雾装置的结构示意图。如图9所示，该装置包括：确定模块910和去雾模块920。
其中，
确定模块910，用于确定待去雾图像；
去雾模块920，用于将待去雾图像输入至去雾模型中，得到去雾模型输出的去雾后的图像；
去雾模型包括雾霾图像编码器和语义解码器；雾霾图像编码器用于提取并融合待去雾图像在两个不同层级的语义特征，得到雾霾图像语义特征；语义解码器用于基于雾霾图像语义特征得到去雾后的图像；去雾模型是基于不成对的雾霾样本图像和清晰样本图像训练得到。
本发明实施例提供的图像去雾装置，通过确定模块，用于确定待去雾图像；去雾模块，用于将待去雾图像输入至去雾模型中，得到去雾模型输出的去雾后的图像；去雾模型包括雾霾图像编码器和语义解码器；雾霾图像编码器用于提取并融合待去雾图像在两个不同层级的语义特征，得到雾霾图像语义特征；语义解码器用于基于雾霾图像语义特征得到去雾后的图像；去雾模型是基于不成对的雾霾样本图像和清晰样本图像训练得到，实现了对待去雾图像不同层级的语义特征提取，提高了输出的雾霾图像语义特征的特征表达能力，从而提高了去雾模型的雾霾特征提取能力，进而提高去雾模型的去雾质量。
基于上述任一实施例，该图像去雾还包括：雾霾图像语义特征获取模块，该模块包括：
融合子模块，用于将浅层网络分支提取的待去雾图像的语义特征和深层网络分支提取的待去雾图像的语义特征进行融合，得到融合特征；
加权子模块，用于基于加权融合网络，对融合特征进行通道级和像素级的加权特征融合，得到雾霾图像语义特征。
基于上述任一实施例，融合子模块包括：
第一层特征子模块，用于基于待去雾图像，应用浅层第一卷积单元，确定第一浅层特征，并应用深层第一卷积单元和深层第一残差单元，确定第一深层特征；
第一层融合特征子模块，用于基于第一浅层特征和第一深层特征，确定第一融合特征；
第二层特征子模块，用于基于第一融合特征，应用浅层第二卷积单元，确定第二浅层特征，并应用深层第二卷积单元和深层第二残差单元，确定第二深层特征；
第二层融合特征子模块，用于基于第二浅层特征和第二深层特征，确定第二融合特征；
第三层特征子模块，用于基于第二融合特征，应用浅层第三卷积单元，确定第三浅层特征，并应用深层第三卷积单元，确定第三深层特征；
第三层融合特征子模块，用于基于第三浅层特征和第三深层特征，确定第三融合特征；
第四层特征子模块，用于基于第三融合特征，应用浅层残差单元，确定第四浅层特征，并应用深层第三残差单元，确定第四深层特征；
融合特征子模块，用于基于第四浅层特征和第四深层特征，确定融合特征。
基于上述任一实施例，加权子模块，包括：
第一通道特征子模块，用于基于融合特征，应用第一加权融合单元和第一通道级加权单元，确定第一通道加权特征；
第一加权融合子模块，用于基于第一通道加权特征，应用第二加权融合单元，确定第一加权融合特征；
第二通道特征子模块，用于基于第一加权融合特征，应用第二通道级加权单元，确定第二通道级加权特征；
第二加权融合子模块，用于基于第二通道加权特征，应用第三加权融合单元，确定第二加权融合特征；
第三通道特征子模块，用于基于第二加权融合特征，应用第三通道级加权单元，确定第三通道级加权特征；
第四通道特征子模块，用于基于第一加权融合特征、第二加权融合特征和第三通道加权特征，确定第四通道级加权特征；
图像语义特征子模块，用于基于第四通道级加权特征，应用像素级加权单元，确定雾霾图像语义特征。
基于上述任一实施例，该图像去雾装置还包括：训练模块，该模块包括：
训练确定子模块，用于确定不成对的雾霾样本图像和清晰样本图像，以及初始模型；初始雾霾图像编码器、初始语义解码器、初始清晰图像编码器、初始重构解码器和风格编码器；
循环签字子模块，用于基于初始清晰图像编码器、风格编码器和初始重构解码器，应用雾霾样本图像和清晰样本图像，生成清晰样本图像对应的合成雾霾图像，并基于初始雾霾图像编码器和初始语义解码器，应用清晰样本图像对应的合成雾霾图像，生成清晰样本图像对应的合成清晰图像；同时，基于初始雾霾图像编码器和初始语义解码器，应用雾霾样本图像，生成雾霾样本图像对应的合成清晰图像，并基于初始清晰图像编码器、风格编码器和初始重构解码器，应用清晰样本图像对应的合成雾霾图像和雾霾样本图像对应的合成清晰图像，生成雾霾样本图像对应的合成雾霾图像；
迭代子模块，用于基于雾霾样本图像、雾霾样本图像对应的合成清晰图像、雾霾样本图像对应的合成雾霾图像、清晰样本图像、清晰样本图像对应的合成雾霾图像和清晰样本图像对应的合成清晰图像，确定损失，并基于损失对初始模型进行参数迭代，直至损失收敛，将训练完成得到的初始雾霾图像编码器作为雾霾图像编码器并将初始语义解码器作为语义解码器。
图10示例了一种电子设备的实体结构示意图，如图10所示，该电子设备可以包括：处理器(processor)1010、通信接口(Communications Interface)1020、存储器(memory)1030和通信总线1040，其中，处理器1010，通信接口1020，存储器1030通过通信总线1040完成相互间的通信。处理器1010可以调用存储器1030中的逻辑指令，以执行图像去雾方法，该方法包括：确定待去雾图像；将待去雾图像输入至去雾模型中，得到去雾模型输出的去雾后的图像；去雾模型包括雾霾图像编码器和语义解码器；雾霾图像编码器用于提取并融合待去雾图像在两个不同层级的语义特征，得到雾霾图像语义特征；语义解码器用于基于雾霾图像语义特征得到去雾后的图像；去雾模型是基于不成对的雾霾样本图像和清晰样本图像训练得到。
此外，上述的存储器1030中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的图像去雾方法，该方法包括：确定待去雾图像；将待去雾图像输入至去雾模型中，得到去雾模型输出的去雾后的图像；去雾模型包括雾霾图像编码器和语义解码器；雾霾图像编码器用于提取并融合待去雾图像在两个不同层级的语义特征，得到雾霾图像语义特征；语义解码器用于基于雾霾图像语义特征得到去雾后的图像；去雾模型是基于不成对的雾霾样本图像和清晰样本图像训练得到。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的图像去雾方法，该方法包括：确定待去雾图像；将待去雾图像输入至去雾模型中，得到去雾模型输出的去雾后的图像；去雾模型包括雾霾图像编码器和语义解码器；雾霾图像编码器用于提取并融合待去雾图像在两个不同层级的语义特征，得到雾霾图像语义特征；语义解码器用于基于雾霾图像语义特征得到去雾后的图像；去雾模型是基于不成对的雾霾样本图像和清晰样本图像训练得到。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种图像去雾方法，其特征在于，包括：
确定待去雾图像；
将所述待去雾图像输入至去雾模型中，得到所述去雾模型输出的去雾后的图像；
所述去雾模型包括雾霾图像编码器和语义解码器；所述雾霾图像编码器用于提取并融合所述待去雾图像在两个不同层级的语义特征，得到雾霾图像语义特征；所述语义解码器用于基于所述雾霾图像语义特征得到去雾后的图像；所述去雾模型是基于不成对的雾霾样本图像和清晰样本图像训练得到。
2.根据权利要求1所述的图像去雾方法，其特征在于，所述雾霾图像编码器包括浅层网络分支、深层网络分支和加权融合网络；
所述雾霾图像语义特征的获取步骤如下：
将所述浅层网络分支提取的所述待去雾图像的语义特征和所述深层网络分支提取的所述待去雾图像的语义特征进行融合，得到融合特征；
基于所述加权融合网络，对所述融合特征进行通道级和像素级的加权特征融合，得到所述雾霾图像语义特征。
3.根据权利要求2所述的图像去雾方法，其特征在于，所述浅层网络分支包括浅层第一卷积单元、浅层第二卷积单元、浅层第三卷积单元和浅层残差单元；所述深层网络分支包括深层第一卷积单元、深层第二卷积单元、深层第三卷积单元、深层第一残差单元、深层第二残差单元和深层第三残差单元；
所述将所述浅层网络分支提取的所述待去雾图像的语义特征和所述深层网络分支提取的所述待去雾图像的语义特征进行融合，得到融合特征，包括：
基于所述待去雾图像，应用所述浅层第一卷积单元，确定第一浅层特征，并应用所述深层第一卷积单元和所述深层第一残差单元，确定第一深层特征；
基于所述第一浅层特征和所述第一深层特征，确定第一融合特征；
基于所述第一融合特征，应用所述浅层第二卷积单元，确定第二浅层特征，并应用所述深层第二卷积单元和所述深层第二残差单元，确定第二深层特征；
基于所述第二浅层特征和所述第二深层特征，确定第二融合特征；
基于所述第二融合特征，应用所述浅层第三卷积单元，确定第三浅层特征，并应用所述深层第三卷积单元，确定第三深层特征；
基于所述第三浅层特征和所述第三深层特征，确定第三融合特征；
基于所述第三融合特征，应用所述浅层残差单元，确定第四浅层特征，并应用所述深层第三残差单元，确定第四深层特征；
基于所述第四浅层特征和所述第四深层特征，确定所述融合特征。
4.根据权利要求2所述的图像去雾方法，其特征在于，所述加权融合网络包括第一加权融合单元、第二加权融合单元、第三加权融合单元、第一通道级加权单元、第二通道级加权单元、第三通道加级权单元和像素级加权单元；所述第一加权融合单元、所述第二加权融合单元和所述第三加权融合单元均包括通道加权子单元和像素加权子单元；
所述基于所述加权融合网络，对所述融合特征进行通道级和像素级的加权特征融合，得到所述雾霾图像语义特征，包括：
基于所述融合特征，应用所述第一加权融合单元和所述第一通道级加权单元，确定第一通道加权特征；
基于所述第一通道加权特征，应用所述第二加权融合单元，确定第一加权融合特征；
基于所述第一加权融合特征，应用所述第二通道级加权单元，确定第二通道级加权特征；
基于所述第二通道加权特征，应用所述第三加权融合单元，确定第二加权融合特征；
基于所述第二加权融合特征，应用所述第三通道级加权单元，确定第三通道级加权特征；
基于所述第一加权融合特征、第二加权融合特征和所述第三通道加权特征，确定第四通道级加权特征；
基于所述第四通道级加权特征，应用所述像素级加权单元，确定所述雾霾图像语义特征。
5.根据权利要求1所述的图像去雾方法，其特征在于，所述去雾模型的训练步骤如下：
确定不成对的雾霾样本图像和清晰样本图像，以及初始模型；初始雾霾图像编码器、初始语义解码器、初始清晰图像编码器、初始重构解码器和风格编码器；
基于所述初始清晰图像编码器、风格编码器和初始重构解码器，应用所述雾霾样本图像和所述清晰样本图像，生成所述清晰样本图像对应的合成雾霾图像，并基于所述初始雾霾图像编码器和所述初始语义解码器，应用所述清晰样本图像对应的合成雾霾图像，生成所述清晰样本图像对应的合成清晰图像；同时，基于所述初始雾霾图像编码器和所述初始语义解码器，应用所述雾霾样本图像，生成所述雾霾样本图像对应的合成清晰图像，并基于所述初始清晰图像编码器、风格编码器和初始重构解码器，应用所述清晰样本图像对应的合成雾霾图像和所述雾霾样本图像对应的合成清晰图像，生成所述雾霾样本图像对应的合成雾霾图像；
基于所述雾霾样本图像、所述雾霾样本图像对应的合成清晰图像、所述雾霾样本图像对应的合成雾霾图像、所述清晰样本图像、所述清晰样本图像对应的合成雾霾图像和所述清晰样本图像对应的合成清晰图像，确定损失，并基于所述损失对所述初始模型进行参数迭代，直至所述损失收敛，将训练完成得到的初始雾霾图像编码器作为所述雾霾图像编码器并将初始语义解码器作为所述语义解码器。
6.根据权利要求5所述的图像去雾方法，其特征在于，所述损失是基于循环一致性损失、语义一致性损失、目标域对抗损失、特征表示对抗性损失、一致性映射损失、自重构损失、暗通道损失和风格特征对比损失加权求和得到；所述风格特征对比损失是基于风格特征对比学习模块计算得到；所述风格特征对比学习模块包括风格编码器，以及预训练得到的VGG19模型的第9层和第13层。
7.根据权利要求6所述的图像去雾方法，其特征在于，所述风格特征对比损失对应的损失函数的公式如下：
式中，
表示合成清晰图像风格损失；
表示合成雾霾图像风格损失；Gi表示从VGG19模型中提取第i层的隐藏特征，wi是第i层权重系数，βi表示第i层的预设调整系数，i为9或13；d(x,y)表示x和y之间的平均绝对误差；
表示所述风格编码器；Jclear表示所述清晰样本图像；Ihaze表示所述雾霾样本图像；Jdehaze表示所述雾霾样本图像对应的合成清晰图像；Ifahaze表示所述清晰样本图像对应的合成雾霾图像。
8.一种图像去雾装置，其特征在于，包括：
确定模块，用于确定待去雾图像；
去雾模块，用于将所述待去雾图像输入至去雾模型中，得到所述去雾模型输出的去雾后的图像；
所述去雾模型包括雾霾图像编码器和语义解码器；所述雾霾图像编码器用于提取并融合所述待去雾图像在两个不同层级的语义特征，得到雾霾图像语义特征；所述语义解码器用于基于所述雾霾图像语义特征得到去雾后的图像；所述去雾模型是基于不成对的雾霾样本图像和清晰样本图像训练得到。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述图像去雾方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述图像去雾方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211249065.0A CN115908159A (zh) | 2022-10-12 | 2022-10-12 | 图像去雾方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211249065.0A CN115908159A (zh) | 2022-10-12 | 2022-10-12 | 图像去雾方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115908159A true CN115908159A (zh) | 2023-04-04 |
Family
ID=86471685
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211249065.0A Pending CN115908159A (zh) | 2022-10-12 | 2022-10-12 | 图像去雾方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115908159A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116935289A (zh) * | 2023-09-13 | 2023-10-24 | 长江信达软件技术（武汉）有限责任公司 | 一种基于视频监控的明渠漫堤检测方法 |
| CN117408891A (zh) * | 2023-12-14 | 2024-01-16 | 暨南大学 | 一种基于Cycle-GAN的图像加雾方法 |
-
2022
- 2022-10-12 CN CN202211249065.0A patent/CN115908159A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116935289A (zh) * | 2023-09-13 | 2023-10-24 | 长江信达软件技术（武汉）有限责任公司 | 一种基于视频监控的明渠漫堤检测方法 |
| CN116935289B (zh) * | 2023-09-13 | 2023-12-19 | 长江信达软件技术（武汉）有限责任公司 | 一种基于视频监控的明渠漫堤检测方法 |
| CN117408891A (zh) * | 2023-12-14 | 2024-01-16 | 暨南大学 | 一种基于Cycle-GAN的图像加雾方法 |
| CN117408891B (zh) * | 2023-12-14 | 2024-03-15 | 暨南大学 | 一种基于Cycle-GAN的图像加雾方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110472483B (zh) | 一种面向sar图像的小样本语义特征增强的方法及装置 | |
| CN115908159A (zh) | 图像去雾方法、装置、电子设备及存储介质 | |
| Li et al. | Emerging from water: Underwater image color correction based on weakly supervised color transfer | |
| CN109859288B (zh) | 基于生成对抗网络的图像上色方法及装置 | |
| CN108090521B (zh) | 一种生成式对抗网络模型的图像融合方法和判别器 | |
| Jiang et al. | Underwater image enhancement with lightweight cascaded network | |
| CN112132959B (zh) | 数字岩心图像处理方法、装置、计算机设备及存储介质 | |
| Wang et al. | Variational-based mixed noise removal with CNN deep learning regularization | |
| CN112396645B (zh) | 一种基于卷积残差学习的单目图像深度估计方法和系统 | |
| CN113450288B (zh) | 基于深度卷积神经网络单图像去雨方法、系统和存储介质 | |
| CN110148088B (zh) | 图像处理方法、图像去雨方法、装置、终端及介质 | |
| CN111696046A (zh) | 一种基于生成式对抗网络的水印去除方法和装置 | |
| CN113724149B (zh) | 一种弱监督的可见光遥感图像薄云去除方法 | |
| CN110557521A (zh) | 视频去雨的方法、装置、设备及计算机可读存储介质 | |
| CN112651894A (zh) | 基于rrdb的生成对抗网络的图像去模糊算法 | |
| CN117114984A (zh) | 基于生成对抗网络的遥感图像超分辨率重建方法 | |
| CN114004760A (zh) | 图像去雾方法、电子设备、存储介质和计算机程序产品 | |
| Zhang et al. | DuGAN: An effective framework for underwater image enhancement | |
| CN114004775B (zh) | 结合潜在低秩表示和卷积神经网络的红外和可见光图像融合方法 | |
| CN114881879A (zh) | 一种基于亮度补偿残差网络的水下图像增强方法 | |
| CN114283082A (zh) | 一种基于注意力机制的红外小目标检测方法 | |
| Mafi et al. | Deep convolutional neural network for mixed random impulse and Gaussian noise reduction in digital images | |
| Deng et al. | UCT‐GAN: underwater image colour transfer generative adversarial network | |
| CN110363288A (zh) | 一种神经网络的输入图像生成方法和系统 | |
| Liu et al. | A Novel Lightweight Model for Underwater Image Enhancement |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |