CN117952865A - 一种基于循环生成对抗网络的单幅图像去雾方法 - Google Patents
一种基于循环生成对抗网络的单幅图像去雾方法 Download PDFInfo
- Publication number
- CN117952865A CN117952865A CN202410338042.XA CN202410338042A CN117952865A CN 117952865 A CN117952865 A CN 117952865A CN 202410338042 A CN202410338042 A CN 202410338042A CN 117952865 A CN117952865 A CN 117952865A
- Authority
- CN
- China
- Prior art keywords
- defogging
- image
- layer
- depth
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 125000004122 cyclic group Chemical group 0.000 title claims description 13
- 230000007246 mechanism Effects 0.000 claims abstract description 15
- 238000000605 extraction Methods 0.000 claims description 45
- 238000012549 training Methods 0.000 claims description 21
- 238000009826 distribution Methods 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 abstract description 30
- 230000000694 effects Effects 0.000 abstract description 12
- 238000013527 convolutional neural network Methods 0.000 abstract description 10
- 230000000007 visual effect Effects 0.000 abstract description 7
- 238000012546 transfer Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 7
- 238000002372 labelling Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 239000003595 mist Substances 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000009827 uniform distribution Methods 0.000 description 2
- 230000003042 antagnostic effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000012633 leachable Substances 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000006386 neutralization reaction Methods 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于循环生成对抗网络的单幅图像去雾方法,该方法包括:步骤1,收集真实场景下的未配对数据集;步骤2,基于循环生成对抗网络,构建去雾模型;步骤3,选择损失函数;步骤4,将真实场景下的待去雾图像输入到去雾模型中,最终得到去雾图像。本发明提供的图像去雾方法,引入Transformer机制,将Transformer与卷积神经网络模块深度融合,利用大气散射模型,提取输入图像的深度信息和散射系数特征值,尽可能地恢复不同场景下真实雾的浓度信息,在提高去雾图像的主观视觉质量的同时,可以获得更为精细的细粒度信息,在保证大规模数据中学习效果的同时,进一步提高模型泛化能力和最终预测图像的真实性。
Description
技术领域
本发明属于图像处理领域,具体而言,涉及一种基于循环生成对抗网络的单幅图像去雾方法。
背景技术
在有雾的特殊天气条件下,场景检测或图像处理过程中会因为成像设备获取图像时光照经过不同介质的漫散射及大气悬浮物的正透射光线的影响而产生各种成像缺陷,例如:动态范围缩小、对比度与饱和度降低、细节信息丢失和颜色偏移等,这些情况的出现不仅会影响图像的观赏价值,更会严重干扰某些视觉处理任务的输入、处理和输出。
根据寇氏定律(Koschmieder Law),可将雾图成像的物理模型转换成为如下数学模型:
;
其中,表示图像中每个像素,/>为捕获系统得到的真实有雾图像,/>为无雾清晰图像,/>为关于透射率的传输函数,/>为全局大气光参数,对各个参数细化之后,引入大气的散射系数/>以及距离信息参数/>,可以得到/>,从图像中估计传输函数/>或者大气光函数/>就可以反推出无雾清晰图像:
;
其中,为对应的波长,/>为无穷远处的大气光的值,/>即所求的无雾图像。
图像去雾算法研究可以大致归结为基于先验思想的去雾方法和基于深度学习的去雾方法,基于先验思想的去雾方法难以满足复杂的真实有雾环境下的去雾任务;基于深度学习的去雾方法没有引入大气散射模型,在生成有雾图像时,通常忽略深度和密度信息的多样性,这些因素的存在导致生成的有雾图像失真,从而影响去雾性能,导致最终的预测结果缺乏真实感。
随着去雾算法的不断发展迭代,以及深度神经网络学习能力的愈发强大,目前通过配对数据集进行监督学习或半监督学习的网络模型已经达到了不错的去雾效果,但这种对数据集要求较为严苛的深度学习算法对于人工合成雾图的使用量较大,很容易出现过拟合问题。此外,人工合成雾图层次感的丢失往往会导致通过卷积神经网络进行特征提取时出现真实度偏离的状况,从而限制真实有雾图像预测结果的真实性,导致神经网络学习所需数据集失去了主动性和多样性。另外,利用不成对数据集并集成对抗神经网络框架进行端到端的学习算法将无法很好地完成真实图像去雾任务,现有的基于循环的去雾方法忽略了真实有雾环境的物理特性,即真实世界的雾气随密度和深度而变化。单纯基于循环对抗神经网络的方法很容易坍塌为具有固定密度的合成雾,导致有雾图像建模偏差过度,不同真实场景下的雾气浓度应该随着场景深度的增加而增加。
发明内容
有鉴于此,本发明提供一种基于循环生成对抗网络的单幅图像去雾方法,通过使用大气散射模型,并且引入Transformer机制,将其与卷积神经网络模块深度融合,提高去雾模型在未配对数据集上的泛化能力。
本发明是这样实现的:
本发明提出了一种基于循环生成对抗网络的单幅图像去雾方法,旨在提高去雾模型在未配对数据集上的泛化能力,该方法通过使用大气散射模型,提取每个图像的深度信息和散射系数特征值,并尽可能地恢复不同场景下的真实雾度厚度信息,在提高去雾图像的主观视觉质量的同时,还可以获得更为精细的细粒度信息;并且引入Transformer机制,将其与卷积神经网络模块深度融合,在保证大规模数据中学习效果的同时,进一步保证最终预测图像的真实性。具体的技术方案如下:
所述的图像去雾方法步骤包括:
步骤1,收集真实场景下的未配对数据集;
步骤2,基于循环生成对抗网络,构建去雾模型;
步骤3,选择损失函数;
步骤4,将真实场景下的待去雾图像输入到去雾模型中,最终得到去雾图像。
在上述技术方案的基础上,本发明的一种基于循环生成对抗网络的单幅图像去雾方法还可以做如下改进:
步骤1所述的未配对数据集,是指输入待去雾图像和真实无雾图像之间没有直接的一一对应关系。
进一步的,真实无雾图集合表示为():
,其中/>为图像中每个像素,/>为真实干净无雾图像中每个像素所对应的真实散射因子,表示/>中在模型训练时输入到网络中的干净无雾并作特征提取的图片集合;
真实有雾图集合表示为():
,其中/>为有雾图像中每个像素,/>为真实雾图中每个像素所对应的真实散射因子,表示/>中在模型训练时输入到网络中的有雾图像并作特征提取的图片集合。
步骤2所述的去雾模型包含“增雾-去雾”、“去雾-增雾”两个生成器,每个生成器都包含深度提取层、去雾层、自增强精化层三个主要模块。
进一步的,“增雾-去雾”生成器的执行流程为:深度提取层-去雾层-自增强精化层。
进一步的,“去雾-增雾”生成器的执行流程为:自增强精化层-深度提取层-去雾层。
所述的深度提取层和去雾层加入大气散射模型,通过去雾网络得到的针对密度系数的散射因子;通过深度估计层的深度参数/>,然后通过公式反推出散射因子/>,得出密度系数的阈值,分别代入大气散射模型公式/>,筛选出最接近于真实图像的预测图像;
进一步的,去雾层表示为(),深度提取层表示为(/>),自增强精化层表示为()。
进一步的,针对“增雾-去雾”生成器,首先将真实无雾图像输入到深度提取层()中可以捕获到当前场景中的深度信息/>:
,其中/>为模型生成的深度图中每个像素,/>为模型自动生成的深度信息;
通过捕获到当前输入真实无雾图像深度信息/>,而/>为非固定阈值,可以通过调整/>的取值来生成不同浓度的雾,结合在均匀分布里随机采样的散射因子,通过传输函数/>得到对应图像的密度信息:
;
引入到得到伪增雾图像,接下来根据大气散射模型/>代入对应的函数,可得出完整增雾公式/>:
,其中/>为/>,即/>;
进一步的,针对“去雾-增雾”生成器,除了三种网络层顺序的差别,算法结构类似“增雾-去雾”循环生成器,首先将真实雾像输入到去雾层,得到初步去雾图像,再将结果输入深度提取层/>中可以捕获到当前伪无雾图像场景中的密度和传输函数信息:
,其中/>表示输入到深度提取层之后获得的对应特征图中的每个像素,/>表示输入到深度提取层之后获得的特征图中的每个像素对应的散射因子(通过网络自动生成的,需要训练来接近真实的值),/>表示输入到深度提取层之后获得的对应特征图中包含的深度信息函数;
通过得到当前伪无雾图像密度和传输函数(/>)参数信息后,同样根据大气散射模型/>得到当前深度信息模型:
;
结合公式可以得到当前图像的深度图,再结合训练得到的散射因子/>,通过/>得到伪无雾图像。从而达到“去雾-增雾”的效果:
,其中/>表示经过网络生成的伪干净图像;
所述的自增强精化层引入Transformer纹理深度还原机制,可以捕获更准确的纹理特征。
进一步的,在经过密度和浓度信息提取之后,分别通过去雾网络层和深度提取层网络得到初步的处理后的图像,加入Transformer的自增强精化层得到更接近真实图像的结果。
进一步的,提取的纹理特征(query)、/>(key)和/>(value)表示transformer内部注意力机制的三个基本元素:
,其中/>表示可学习的纹理提取器的输出/>特征信息/>的集合,/>表示参考图像的像素信息的向量/>的集合,/>表示参考图像的像素信息的向量/>的集合;
进一步的,利用数据集中初始的高分辨率干净无雾输入图像作为此精化层中的参考图像,节省单独训练此网络层的数据集。如,/>、/>和/>分别表示输入图像、4倍“双三次”上采样输入图像和参考图像,/>代表先上采样再提取特征,借助U-Net的多尺度特性,参考图像和LR图像之间包含互补的尺度信息,缓解它们之间的分辨率差距。
进一步的,在训练中引入对应匹配和相似性感知纹理传递,将和/>分成一个个patch,利用内积计算二者的patch之间的相似度,找到/>的块最相似的位置。
进一步的,如,将Ref中对应位置的纹理特征迁移到LR中,计算一个标注值,对于那些对应关系不大的纹理特征,赋值一个小的标注值,对应关系很大的纹理特征,则赋值一个大的标注值,避免了错误的匹配对于性能带来的影响:
,其中,/>表示对应第/>个patch的注意力函数,/>对应第/>个patch中特征量/>,/>表示与对应第/>个patch中特征量/>相关的注意力函数,/>表示从Ref图像中获取的/>个纹理的权重系数,/>表示对应patch中可学习的偏移量系数,/>表示对应第/>个patch的表示特征值的向量,/>表示第/>个patch的/>中对应的空间特征信息/>与/>的差值,/>表示对应patch中可学习的偏移量,/>表示对应patch中可学习掩码;
步骤3所述的选择损失函数,是指针对去雾模型的深度提取层、去雾层、自增强精化层采用不同的循环一致性损失和对抗性训练损失来惩罚内容一致性和数据分布,加入伪散射系数监督损失和伪深度监督损失来从未配对的雾图和无雾的图像中学习密度和深度两组物理特性。
进一步的,周期稳定性损失定义为:
;
进一步的,针对于去雾层(),本文采取对抗性学习损失用来评估生成器所生成的图像是否达所要求真实度。利用最小二乘生成对抗网络(Least Squares GenerativeAdversarial Network,简称:LS-GAN)良好的稳定性和视觉质量,对判别器的损失函数定义为:/>;另外伪散射系数监督损失惩罚了/>(在增雾-去雾循环生成器中产生模糊的随机抽样散射系数)和/>(从生成的有雾图像中估计的散射系数)之间的差异:
,
,其中,/>表示对抗损失生成器损失,没有具体赋值,/>表示分类器,也就是判别器的生成结果,整体为残差损失求和的形式,/>判别为真(“真”设定为1)的损失,表示/>即为假( “假”设为0)的损失,/>表示对抗损失,没有具体赋值,损失函数设定为求两者的残差平方;
进一步的,针对于深度提取层:由于训练集/>中真实有雾图像没有直接输入到深度提取层/>中,导致真实有雾图像中地面真实散射系数是无法直接获取的。因此,交替采用随机抽样的散射系数和相应生成的模糊图像来训练所提出的去雾网络:伪深度监督损失,即采用从增雾后图像预测的深度图/>作为伪地面真实值,深度提取层从离散的图像/>中估计深度图/>对抗性损失可以定义为:
,表示深度提取层的损失函数;
进一步的,针对于自增强精化层(),本文算法利用生成器生成的低分辨率增雾或去雾后图像与初始输入原始图像做作为训练的数据集,与原始图像的纹理分布一致,进而能生成更加清晰、真实的纹理采用重建损失函数:
,分别表示高分辨率图像的通道数、高、宽的尺度信息,/>作为基准真实值的高分辨率图像,/>表示自增强精化层生成的“伪高分辨率”图像;
进一步的,利用和/>平衡不同项的权重,/>表示循环损失的系数权重(超参),/>表示判别器的损失函系数权重(超参),/>表示伪散射系数监督损失的系数权重(超参)。默认设置参数值分别为/>,/>=0.2以达到泛化性较好的效果:
;
步骤4所述的将真实场景下的待去雾图像输入到去雾模型中,是指将真实场景下的待去雾图像输入到去雾模型中的深度提取层、去雾层、自增强精化层,从深度提取层提取到深度信息,通过深度信息和去雾层进行去雾,通过自增强精化层最终得到去雾图像。
通过本发明,可以尽可能多的还原出不同的场景下的真实雾厚度信息,在提高去雾图像观赏性的同时也可以获得更多的细粒度信息,引入Transformer机制,在保证发挥在大规模数据下学习效果的同时进一步保证了最终得到预测图像的真实性。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为一种基于循环生成对抗网络的去雾方法的流程示意图;
图2为一种基于循环生成对抗网络的去雾方法框架流程图;
图3为一种基于循环生成对抗网络的去雾方法的网络结构图;
图4为目前典型算法在真实场景下测试数据集SOT-outdoor上的预测效果对比图。
具体实施方式
为使本发明实施方式的目的、技术方案和优点更加清楚,下面将结合本发明实施方式中的附图,对本发明实施方式中的技术方案进行清楚、完整地描述。
下面结合附图和实施例,对本发明进行进一步详细说明。
如图1所示,是本发明提供的一种基于循环生成对抗网络的去雾方法的第一实施例流程示意图,包括以下步骤:
步骤1,收集真实场景下的未配对数据集;
步骤2,基于循环生成对抗网络,构建去雾模型;
步骤3,选择损失函数;
步骤4,将真实场景下的待去雾图像输入到去雾模型中,最终得到去雾图像。
在本发明的实施例中,步骤1所述的未配对数据集,是指输入待去雾图像和真实无雾图像之间没有直接的一一对应关系。
具体地,真实场景下的未配对数据集使用Google提供的SOT-outdoor,将该数据集分为真实有雾图集合和真实无雾图集合。
具体地,真实无雾图集合表示为():/>,真实有雾图集合表示为(/>):/>。
在本发明的实施例中,步骤2所述的去雾模型包含“增雾-去雾”、“去雾-增雾”两个生成器,每个生成器都包含深度提取层、去雾层、自增强精化层三个主要模块。
具体地,如图2所示,是本发明实施例提供一种去雾模型算法框架流程图,“增雾-去雾”生成器的执行流程为:深度提取层-去雾层-自增强精化层,“去雾-增雾”生成器的执行流程为:自增强精化层-深度提取层-去雾层。
在本发明的实施例中,将大气散射模型加入深度提取层和去雾层,通过去雾网络得到的针对密度系数的散射因子;通过深度估计层的深度参数/>,然后通过公式反推出散射因子/>,得出密度系数的阈值,代入公式(1)大气散射模型公式,可以得到最接近于真实观感的去雾图像;
;
;
其中,公式(1)由公式(2)引入大气的散射系数以及距离信息参数/>,得到的传输函数/>,根据图像中估计传输函数/>或者大气光函数反推得来;
其中,公式(2)的为捕获系统得到的真实有雾图像,/>为无雾清晰图像,为透射率函数,/>为全局大气光参数。
具体地,去雾层表示为(),深度提取层表示为(/>),自增强精化层表示为。
具体地,针对“增雾-去雾”生成器,如图2“增雾-去雾”分支所示,首先将真实无雾图像输入到深度提取层中可以捕获到当前场景中的深度信息:
;
通过公式(3)捕获到当前输入真实无雾图像深度信息,而/>为非固定阈值,可以通过调整/>的取值来生成不同浓度的雾,结合在均匀分布里随机采样的散射因子,通过传输函数(即公式(4))可以得到对应图像的密度信息:
引入到公式(5)得到伪增雾图像(如图2“增雾-去雾”分支 “伪”雾图),接下来根据大气散射模型(公式(1))代入对应的函数,可得出完整增雾公式:
具体地,针对“去雾-增雾”生成器,如图2“去雾-增雾”分支所示,除了三种网络层顺序的差别,算法结构类似“增雾-去雾”循环,首先将真实雾像输入到去雾层,得到初步去雾图像,再将结果输入深度提取层/>中可以捕获到当前伪无雾图像场景中的密度和传输函数信息:
;
通过公式(6)得到当前伪无雾图像密度和传输函数()参数信息后,同样根据大气散射模型 (公式(1))可以得到当前深度信息模型:
;
结合公式(6)(7)可以得到当前图像的深度图,再结合训练得到的散射因子,通过公式(8)得到伪无雾图像(即如图2“去雾-增雾”分支“伪”干净图)。从而达到“去雾-增雾”的效果:
在本发明的实施例中,所述的自增强精化层引入Swin-Transformer纹理深度还原机制,可以捕获更准确的纹理特征。
具体地,本发明实施例提供的一种基于Transformer的自增强精化层,在经过密度和浓度信息提取之后,分别通过去雾网络层和深度提取层网络得到初步的处理后的图像,加入Transformer的自增强精化层得到更接近真实图像的结果。
具体地,使用Swin-Transformer作为深度神经网络的通用主干,利用Swin-Transformer架构通过将注意力限制在局部窗口内,显式地进行局部交互,引入局部特征学习,以建模局部关系。
具体地,每一个特征提取块中包含改进后的批归一化层、填充层、Linear线形层来控制模型的计算复杂度,随后通过卷积层和Transformer进行机理融合。通过Soft-Max函数对特征向量进行筛选和裁剪,之后进行叠加变形和归一化操作。其中,提取的纹理特征Q(query)、K(key)和V(value)表示transformer内部注意力机制的三个基本元素:
;
具体地,利用数据集中初始的高分辨率干净无雾输入图像作为此精化层中的参考图像,节省单独训练此网络层的数据集。如公式,/>分别表示输入图像、4倍“双三次”上采样输入图像和参考图像,/>代表先上采样再提取特征,借助U-Net的多尺度特性,参考图像和LR图像之间包含互补的尺度信息,缓解它们之间的分辨率差距。
具体地,图3是本发明实施例提供的一种带有可学习纹理提取模块的网络结构图,在训练中引入对应匹配和相似性感知纹理传递,将和/>分成一个个patch嵌入层,利用内积计算二者的patch嵌入层之间的相似度,找到/>中和/>的块最相似的位置,即“硬-注意力”模块。
具体地,如公式,将Ref中对应位置的纹理特征迁移到LR中,计算一个标注值,对于那些对应关系不大的纹理特征,赋值一个小的标注值,对应关系很大的纹理特征,则赋值一个大的标注值,即“软-注意力层”模块,避免了错误的匹配对于性能带来的影响:
在本发明的实施例中,步骤3所述的选择损失函数,是指针对去雾模型的深度提取层、去雾层、自增强精化层采用不同的循环一致性损失和对抗性训练损失来惩罚内容一致性和数据分布,加入伪散射系数监督损失和伪深度监督损失来从未配对的雾图和无雾的图像中学习密度和深度两组物理特性。
具体地,周期稳定性损失定义为:
具体地,针对于去雾层,本文采取对抗性学习损失用来评估生成器所生成的图像是否达所要求真实度。利用最小二乘生成对抗网络(Least Squares GenerativeAdversarial Network,简称:LS-GAN)良好的稳定性和视觉质量,对判别器的损失函数定义为:/>;另外伪散射系数监督损失惩罚了/>(在增雾-去雾循环生成器中产生模糊的随机抽样散射系数)和/>(从生成的有雾图像中估计的散射系数)之间的差异:
具体地,针对于深度提取层:由于训练集/>中真实有雾图像没有直接输入到深度提取层/>中,导致真实有雾图像中地面真实散射系数是无法直接获取的。因此,交替采用随机抽样的散射系数和相应生成的模糊图像来训练所提出的去雾网络:伪深度监督损失,即采用从增雾后图像预测的深度图/>作为伪地面真实值,深度提取层从离散的图像/>中估计深度图/>对抗性损失可以定义为:
具体地,针对于自增强精化层(),本文算法利用生成器生成的低分辨率增雾或去雾后图像与初始输入原始图像做作为训练的数据集,与原始图像的纹理分布一致,进而能生成更加清晰、真实的纹理采用重建损失函数:
具体地,利用、/>和/>平衡不同项的权重。默认设置参数值分别为,/>=0.2以达到泛化性较好的效果:
步骤4所述的将真实场景下的待去雾图像输入到去雾模型中,是指将真实场景下的待去雾图像输入到去雾模型中的深度提取层、去雾层、自增强精化层,从深度提取层提取到深度信息,通过深度信息和去雾层进行去雾,通过自增强精化层最终得到去雾图像。
具体地,本发明算法的操作在Ubuntu18.04操作系统下运行,硬件为Intel(R)Core(TM)i7-8750H、16GBRAM、NVIDIA GTX1080GPU,使用的编程语言和深度学习框架分别为python和pytorch。
具体地,目前典型算法Cycle-dehaze算法、算法、无雾图像在真实场景下测试数据集SOT-outdoor上的预测对比效果图如图4所示,本发明算法在细节上的去雾效果比其他算法更彻底、还原度更接近真实场景。
具体地,本方法经过与Cycle-dehaze、Cycle-GAN、、HardGAN、PSD、DCP、Disent-GAN、YOLY、RefineDNET对比实验,在基于真实场景下测试数据集SOTS-Outdoor的目前典型算法实验结果如表1所示:“PAIRED”表示配对数据集训练的基于监督学习的典型的去雾算法,“UNPAIRED”表示基于未配对的数据集的基于自监督学习的典型的去雾算法。本发明使用PSNR、SSIM和色差公式(CIEDE2000)作为去雾算法的定量评估指标。
表1基于真实场景下测试数据集SOTS-Outdoor的目前典型算法实验结果:
具体地,为了充分比较在引入基于Swin-transformer的自增强精化层之后对于模型带来的优化效果,同时使用了EfficientNet的进行对比实验。
具体地,在训练过程中采用完全相同的数据集和硬件平台,设置相同的参数:=0.9、/>=0.999、学习率Learning rate=0.001、迭代次数=1500000,记录各自模型训练的拟合时间,结果如表2所示。
表2 两个模型各自训练所需要的总时间:
具体地,本发明算法中的模型在优化之后,训练时间和算法在训练时间上相比,提高了近3.1%。基于CNN的网络结构在处理视觉任务时需要在整个图像上使用卷积操作,较深的网络结构会影响计算效率,Swin-Transformer自身的分层结构和逐层的局部注意力机制,使其更适用于需要全局信息的视觉任务,可以更好适应大规模数据集的训练,在处理低分辨率图像缩放的任务时,具备更好的拓展性。
具体地,在控制相同变量的条件下,本算法和各自从去雾网络输出的初步小尺度粗糙去雾图像后,分别输入基于EfficientNet的CNN精化层网络和基于Swin-transformer的自增强精化层的尺度效果对比,结果如表3所示。
表3 两个模型在不同评估指标下的性能比较:
具体地,从表3可以看出,通过生成器生成的同尺度雾图像和真实场景下的基准真实值作损失比较,预测结果优于原CNN模型。Swin-Transformer机制将图像划分为若干非重叠的块,并在每个块内执行自注意力操作,这种机制有别于需要较深网络设计的CNN模型,其能够更高效地理解图像中的局部和全局特征,提取多尺度的信息。Swin-Transformer机制易于解决图像处理中的长程依赖性,有效避免输入的小尺度图像中噪声影响。因此,得益于Swin-Transformer机制的全局性优势,本发明算法在与EfficientNet模型接近的计算复杂度下,提升了图像缩放效果。
Claims (7)
1.一种基于循环生成对抗网络的单幅图像去雾方法,其特征在于,所述的图像去雾方法步骤包括:
步骤1,收集真实场景下的未配对数据集;
步骤2,基于循环生成对抗网络,构建去雾模型;
步骤3,选择损失函数;
步骤4,将真实场景下的待去雾图像输入到去雾模型中,最终得到去雾图像。
2.根据权利要求1所述的一种基于循环生成对抗网络的单幅图像去雾方法,其特征在于,步骤1中所述未配对数据集,是指输入待去雾图像和真实无雾图像之间没有直接的一一对应关系。
3.根据权利要求2所述的一种基于循环生成对抗网络的单幅图像去雾方法,其特征在于,步骤2中所述去雾模型包含“增雾-去雾”、“去雾-增雾”两个生成器,每个生成器都包含深度提取层、去雾层、自增强精化层。
4.根据权利要求3所述的一种基于循环生成对抗网络的单幅图像去雾方法,其特征在于,所述深度提取层和所述去雾层加入了大气散射模型,用于筛选出更接近于真实图像的预测图像。
5.根据权利要求4所述的一种基于循环生成对抗网络的单幅图像去雾方法,其特征在于,所述自增强精化层引入Transformer纹理深度还原机制,捕获更准确的纹理特征。
6.根据权利要求5所述的一种基于循环生成对抗网络的单幅图像去雾方法,其特征在于,所述步骤3步骤,具体步骤为:
针对所述去雾模型的深度提取层、去雾层、自增强精化层采用不同的循环一致性损失和对抗性训练损失来惩罚内容一致性和数据分布,加入伪散射系数监督损失和伪深度监督损失来从未配对的雾图和无雾的图像中学习密度和深度两组物理特性。
7.根据权利要求6所述的一种基于循环生成对抗网络的单幅图像去雾方法,其特征在于,所述步骤4的具体步骤包括:将真实场景下的待去雾图像输入到所述去雾模型中的深度提取层、去雾层、自增强精化层,从深度提取层提取到深度信息,通过深度信息和去雾层进行去雾,通过自增强精化层最终得到去雾图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410338042.XA CN117952865A (zh) | 2024-03-25 | 2024-03-25 | 一种基于循环生成对抗网络的单幅图像去雾方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410338042.XA CN117952865A (zh) | 2024-03-25 | 2024-03-25 | 一种基于循环生成对抗网络的单幅图像去雾方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117952865A true CN117952865A (zh) | 2024-04-30 |
Family
ID=90805432
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410338042.XA Pending CN117952865A (zh) | 2024-03-25 | 2024-03-25 | 一种基于循环生成对抗网络的单幅图像去雾方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117952865A (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111986108A (zh) * | 2020-08-07 | 2020-11-24 | 西北工业大学 | 一种基于生成对抗网络的复杂海空场景图像去雾方法 |
CN112529150A (zh) * | 2020-12-01 | 2021-03-19 | 华为技术有限公司 | 一种模型结构、模型训练方法、图像增强方法及设备 |
CN113724156A (zh) * | 2021-08-09 | 2021-11-30 | 浙江工业大学 | 一种结合大气散射模型的生成对抗网络去雾方法和系统 |
CN115601657A (zh) * | 2022-10-17 | 2023-01-13 | 北京理工大学(Cn) | 一种应用于恶劣天气下舰船目标检测与识别的方法 |
CN116228550A (zh) * | 2022-11-25 | 2023-06-06 | 辽宁工程技术大学 | 一种基于生成对抗网络的图像自增强去雾算法 |
CN116703750A (zh) * | 2023-05-10 | 2023-09-05 | 暨南大学 | 基于边缘注意力和多阶微分损失的图像去雾方法及系统 |
-
2024
- 2024-03-25 CN CN202410338042.XA patent/CN117952865A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111986108A (zh) * | 2020-08-07 | 2020-11-24 | 西北工业大学 | 一种基于生成对抗网络的复杂海空场景图像去雾方法 |
CN112529150A (zh) * | 2020-12-01 | 2021-03-19 | 华为技术有限公司 | 一种模型结构、模型训练方法、图像增强方法及设备 |
CN113724156A (zh) * | 2021-08-09 | 2021-11-30 | 浙江工业大学 | 一种结合大气散射模型的生成对抗网络去雾方法和系统 |
CN115601657A (zh) * | 2022-10-17 | 2023-01-13 | 北京理工大学(Cn) | 一种应用于恶劣天气下舰船目标检测与识别的方法 |
CN116228550A (zh) * | 2022-11-25 | 2023-06-06 | 辽宁工程技术大学 | 一种基于生成对抗网络的图像自增强去雾算法 |
CN116703750A (zh) * | 2023-05-10 | 2023-09-05 | 暨南大学 | 基于边缘注意力和多阶微分损失的图像去雾方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113658051B (zh) | 一种基于循环生成对抗网络的图像去雾方法及系统 | |
CN110378844B (zh) | 基于循环多尺度生成对抗网络的图像盲去运动模糊方法 | |
CN111915530B (zh) | 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法 | |
CN110807757B (zh) | 基于人工智能的图像质量评估方法、装置及计算机设备 | |
CN107798661B (zh) | 一种自适应的图像增强方法 | |
CN113762138B (zh) | 伪造人脸图片的识别方法、装置、计算机设备及存储介质 | |
CN112614070B (zh) | 一种基于DefogNet的单幅图像去雾方法 | |
CN113724149B (zh) | 一种弱监督的可见光遥感图像薄云去除方法 | |
CN112767279A (zh) | 一种基于离散小波集成生成对抗网络的水下图像增强方法 | |
Lepcha et al. | A deep journey into image enhancement: A survey of current and emerging trends | |
CN117151990B (zh) | 一种基于自注意力编码解码的图像去雾方法 | |
CN113284061A (zh) | 一种基于梯度网络的水下图像增强方法 | |
CN116033279A (zh) | 一种夜晚监控相机的近红外图像彩色化方法、系统及设备 | |
CN114155165A (zh) | 一种基于半监督的图像去雾方法 | |
CN116703750A (zh) | 基于边缘注意力和多阶微分损失的图像去雾方法及系统 | |
CN116385281A (zh) | 一种基于真实噪声模型与生成对抗网络的遥感图像去噪方法 | |
CN117952865A (zh) | 一种基于循环生成对抗网络的单幅图像去雾方法 | |
CN115953312A (zh) | 一种基于单幅图像的联合去雾检测方法、装置及存储介质 | |
CN116258867A (zh) | 一种基于关键区域低感知性扰动的对抗样本生成方法 | |
CN114973364A (zh) | 一种基于脸部区域注意力机制的深度图片鉴伪方法及系统 | |
CN114119428A (zh) | 一种图像去模糊方法和装置 | |
Lee et al. | SAF-Nets: Shape-Adaptive Filter Networks for 3D point cloud processing | |
CN114764746A (zh) | 激光雷达的超分辨率方法和装置、电子设备及存储介质 | |
Shi et al. | Deep quality assessment toward defogged aerial images | |
Mo et al. | Contrastive adaptive frequency decomposition network guided by haze discrimination for real-world image dehazing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |