CN113936022A - 一种基于多模态特征与极化注意力的图像去雾方法 - Google Patents

一种基于多模态特征与极化注意力的图像去雾方法 Download PDF

Info

Publication number
CN113936022A
CN113936022A CN202111207500.9A CN202111207500A CN113936022A CN 113936022 A CN113936022 A CN 113936022A CN 202111207500 A CN202111207500 A CN 202111207500A CN 113936022 A CN113936022 A CN 113936022A
Authority
CN
China
Prior art keywords
image
defogging
model
network
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111207500.9A
Other languages
English (en)
Inventor
张帅
张正鹏
卜丽静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Liaoning Technical University
Original Assignee
Liaoning Technical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Liaoning Technical University filed Critical Liaoning Technical University
Priority to CN202111207500.9A priority Critical patent/CN113936022A/zh
Publication of CN113936022A publication Critical patent/CN113936022A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06T3/02
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery

Abstract

本发明公开了一种基于多模态特征与极化注意力的图像去雾方法。该方法包括数据集制作、网络搭建、参数设置、模型训练、去雾验证和模型输出。基于单一模态的特征进行图像去雾,可能会导致丢失图像部分退化信息,使得去雾效果不好。针对这些问题,本发明提供了一种结合多模态特征图像去雾的方法,利用多模态融合模块在不添加额外噪声的情况下融合两种模态的信息,并通过极化自注意力机制有效避免了信息的缩减,最后通过特征增强模块对图像的边缘和纹理信息进行提取,实验结果表明,与现有去雾方法相比,提出的去雾方法在合成有雾图像数据集上有较为理想的效果,有效解决了去雾不彻底、色彩退化的问题,为后续高级图像任务提供了支持。

Description

一种基于多模态特征与极化注意力的图像去雾方法
技术领域
本发明属于图像处理技术领域,尤其是涉及一种基于多模态特征与极化注意力的图像去雾方法
背景技术
在有雾、霾的天气条件下,空气中的悬浮颗粒会对大气光线的投射造成影响,导致传感器在捕捉图像时出现对比度下降、细节丢失、色彩失真等图像退化问题,进而影响目标检测、语义分割等高级视觉任务的应用,所以图像去雾是目前计算机视觉领域中较为重要的研究方向。
目前的图像去雾方法主要分为两类,一种是基于先验知识的去雾算法,另一种是基于深度学习的去雾算法。基于先验知识的去雾算法通常需要对大量有雾、无雾的图像进行统计对比来获取相关的先验知识,然后去估计大气散射模型中的透射率与大气光,最后代入大气散射模型达到去雾的效果。He等提出一种暗通道先验去雾方法(参考:He K,JianS,Fellow,et al.Single Image Haze Removal Using Dark Channel Prior[J].IEEETransactions on Pattern Analysis&Machine Intelligence,2011,33(12):2341-2353),该方法提出了暗原色原理,认为绝大多数有雾图像的像素点的三个通道中,R、G、B中至少有一个的值是接近于0的,而这些像素点则为图像的暗原色像素点,并以此来估计大气透射率t(x)来达到去雾效果。Zhu等人经过统计发现有雾图像中像素的亮度和饱和度随着雾浓度的变化而变化明显,而雾的浓度与场景深度成正相关的特性,所以以场景深度、图像亮度、图像饱和度建立线性模型,提出了一种基于颜色衰减先验的去雾方法(参考:Zhu Q S andMai J M and Shao L.A Fast Single Image Haze Removal Algorithm Using ColorAttenuation Prior.[J].IEEE transactions on image processing:a publication ofthe IEEE Signal Processing Society,2015,24(11):3522-33)。Tian等人观察发现有雾图像的对比度要小于无雾图像,且大气光与图像中物体到观察者的距离有关,在全局而言是趋于平滑的。Tian基于这两点建立马尔可夫随机场下的代价方程,通过最大化有雾图像的局部对比度来达到去雾的效果(参考:Tan R T.Visibility in bad weather from asingle image[C]//2008 IEEE Computer Society Conference on Computer Vision andPattern Recognition(CVPR 2008),24-26June 2008,Anchorage,Alaska,USA.IEEE,2008)。基于先验的算法可以在不引入额外参数的条件下达到去雾效果,但是算法非常依赖于统计的先验知识,而先验知识的不稳定性容易对去雾造成误差。
随着近几年深度学习的快速发展,基于深度学习的图像去雾方法不断被提出。早期的深度学习去雾算法主要是借助学习的思想去估计透射率与大气光,这类算法结合了数据驱动和模型驱动,达到了优于传统方法的效果。最具代表性的是Cai等提出的DehazeNet去雾模型(参考:DehazeNet:An End-to-End System for Single Image Haze Removal[J].IEEE Transactions on Image Processing,2016,25(11):5187-5198)。该模型共有四个模块组成,包括特征提取、多尺度映射、局部极值和非线性回归。模型中模拟了暗通道先验、最大对比度以及颜色衰减先验知识来对大气透射率,通过直接估计有雾图像与透射图之间的映射关系来达到去雾的效果。Li等认为在分别估计透射率和大气光的过程中会造成误差的累计,这不利于最后的去雾效果。在此基础上提出了一种AOD-Net去雾模型,通过将透射率t(x)和大气光A合并成一个新的参数来学习,而不是直接估计它们来复原有雾图像(参考:Li B,Peng X,Wang Z,et al.AOD-Net:All-in-One Dehazing Network[C]//2017IEEE International Conference on Computer Vision(ICCV).IEEE,2017)。由于大气散射模型并不适用于现实中复杂的去雾问题,所以后期的深度学习去雾算法选择跳出模型,从图像的特征层去恢复清晰图像。CHEN等提出了GCANet采用平滑扩展卷积代替扩展卷积,并融合了不同层次的特征,解决了网格伪影的问题,提升了去雾效果(参考:D Chen,He M,Fan Q,et al.Gated Context Aggregation Network for Image Dehazing andDeraining[J].2018)。QIN等考虑到不同颜色的光对形成雾的影响不同以及雾在图像上的分布不均匀等提出了一种特征融合注意网络(feature fusion attention network,FFA-Net),该模型通过空间注意力和通道注意力来不平等的处理图像上的像素点,并融合不同层次的特征进一步提升了图像的去雾效果(参考:Qin X,Wang Z,Bai Y,et al.FFA-Net:Feature Fusion Attention Network for Single Image Dehazing[J].2019)。
综上,这些方法无论是数据驱动还是模型驱动,都是在图像的单一特征空间中进行去雾操作,而通过颜色衰减先验可以看出在其他特征空间也有对图像去雾有效的信息,单一模态的特征可能会丢失图像信息,很难达到更优的去雾效果。针对这个问题,本文提出一种基于多模态特征与极化注意力的图像去雾方法。
发明内容
本发明提出了一种结合极化自注意力机制的多模态融合网络,证明了所提出的多模态特征去雾网络的优越性;利用不同模态的互补信息可以显著提高去雾质量,证明了多模态特征的巧妙利用对于图像去雾是有效的,同时结合极化自注意力机制(参考:Liu H,Liu F,Fan X,et al.Polarized Self-Attention:Towards High-quality Pixel-wiseRegression.2021.),证明了其符合图像去雾的需求,能够帮助图像去雾算法提升效果;提出了一种特征增强模块,证明了其有助于图像纹理、边缘信息的恢复。
为实现上述目的,本发明包括以下步骤:
S1:选取合成带雾图像和清晰图像,并对数据进行处理以制作数据集;数据处理包括图像配对,图像裁剪、数据增广;数据处理后将图像划分为训练集、验证集和测试集;
S2:添加极化自注意力机制,组建多模态特征融合模块,基于可变性卷积和差分卷积搭建图像特征增强模块,构建单幅图像去雾网络,损失方面采用内容损失和感知损失来作为网络约束;
S3:调整网络训练参数,利用S1得到的训练数据对S2得到的图像去雾网络进行最后的网络参数调整得到较好的去雾模型;
S4:根据S1得到的测试集、验证集与S3得到的训练网络进行图像去雾模型训练;
S5:根据S1得到的测试集、验证集与S4得到的图像去雾模型进行图像去雾的测试;
S6:根据S5测试结果来判断模型是否输出和进行参数设置继续训练与测试,循环此操作直到得到去雾模型;
S7:根据S6得到的基于多模态特征与极化注意力的图像去雾模型对图像进行去雾。
进一步的,步骤S1中数据处理主要包括:图像配对是将合成带雾图像和清晰图像的名称一一对应起来形成正负样本的配对;数据裁剪使用Python程序将有雾和无雾图像对裁剪到128*128的相同大小;数据增广主要利用Python程序对数据集进行旋转、平移、缩放等操作来增加数据的多样性以及避免过拟合;编程语言为Python3.6。
进一步的,步骤S2中添加基于极化自注意力机制和空间变换特征层的多模态融合模块,在不引入额外噪声的情况下融合两种模态的信息,诱导网络在去雾的过程中可以结合场景深度不平等的处理雾浓度不同的图像区域;其次添加基于可变性卷积和差分卷积的特征增强模块,使得网络在图像恢复过程中保留更多的纹理信息和边缘信息;损失包括内容损失Lc和感知损失Lprep,损失函数采用计算量较小的均方差误差,上述公式可以表示为:
空间变换特征层:SFT(F|d)=γ⊙F+β (1)
训练损失:L=Lc+λLprep (2)
损失函数:
Figure BDA0003307380840000061
其中:☉表示逐元素相乘,γ、β表示仿射变换因子,由深度图分别经过两个卷积层学习得来,λ表示感知损失的权重系数,Ji和Ii分别表示预测图像和相应真实无雾图像在第i个颜色通道的像素值,N代表单个通道中像素的总个数。
进一步的,步骤S3中调整网络参数:最大迭代次数为20000,批次大小设为16(根据计算机性能来设),动量参数β1与β2分别采用默认值0.9和0.999,学习率为0.0002为了使模型尽快收敛,减少过拟合,在迭代次数为10000、15000时调整学习率。
由上,本发明针对无论是基于先验的去雾算法算法还是目前的基于深度学习的去雾算法都只是在图像的单一特征空间中进行去雾操作,而单一模态的特征可能会丢失图像的信息,很难达到更优的去雾效果等问题提出了一种基于多模态特征与极化注意力的图像去雾方法为图像去雾提供了一定支持,且对后续多模态去雾的深入研究有一定的意义。
附图说明
本发明内容的描述与下面附图相结合将变得明显和容易理解,其中:
图1为本发明一种基于多模态特征与极化注意力的图像去雾方法流程图;
图2为整体网络结构图;
图3为多模态融合模块结构图;
图4为空间特征变换层结构图;
图5为特征增强模块结构图;
图6为图像去雾算法对比图。
具体实施方式
按图1所示步骤,对本发明一种基于多模态特征与极化注意力的图像去雾方法进行详细说明。
步骤1:数据集制作包括选用RESIDE公开数据集作为原始数据,图像配对、图像裁剪、数据增广等操作,详细操作如下:
(1)RESIDE数据集包括ITS室内训练集和OTS室外训练集两个主要组成部分。本方法从ITS中选用带有对应深度图原始数据,选择相同大气光参数和大气散射系数的有雾图像,利用Python程序将合成带雾图像和清晰图像的名称一一对应起来形成正负样本的配对;
(2)将得到的有雾图像和无雾图像使用Python程序裁剪为网络训练所需的尺寸(128*128);
(3)数据集增广,使用Python程序进行旋转、平移、缩放等操作,最后将所有数据划分为训练集、验证集、测试集。
步骤2:搭建去雾网络,如图2所示,详细步骤如下:
(1)如图3所示,结合极化自注意力机制构建多模态特征融合模块,采用空间变换特征层在不引入额外噪声的情况下融合两种模态的信息,诱导网络不平等的处理雾浓度不同的图像区域。空间特征变换层如图4所示;极化自注意力可以在空间和通道维度上保持一个高分辨率,减少信息的缩减和计算的复杂度,同时采用Sigmoid和Softmax非线性函数二者结合来对特征进行增强;
(2)如图5所示,添加基于可变性卷积和差分卷积的特征增强模块。可变性卷积在卷积时可以脱离规则网格,在当前位置的周围随机采样,有效提取出更多几何形变特征,恢复边缘信息。差分卷积聚合了领域内的差分信息,能较好地描述细粒度的纹理信息,有较强的纹理特征提取能力。结合两种卷积在纹理和边缘信息的提取中表现出了明显的优越性,达到特征增强的效果。
步骤3:训练参数设置:最大迭代次数为20000,批次大小设为16(根据计算机性能来设),动量参数β1与β2分别采用默认值0.9和0.999,学习率为0.0002为了使模型尽快收敛,减少过拟合,在迭代次数为10000、15000时调整学习率。在调整为合适的参数之后,训练也平稳的收敛。
步骤4:根据步骤1得到的测试集、验证集与步骤3得到的训练网络进行图像去雾模型训练。
步骤5:根据步骤1得到的测试集、验证集与步骤4得到的图像去雾模型进行图像去雾的测试。
步骤6:根据步骤5测试结果来判断模型是否输出和进行参数设置继续训练与测试,循环此操作直到得到去雾模型。
步骤7:根据步骤6得到的基于多模态特征与极化注意力的图像去雾模型对图像进行去雾,如图6所示。
本发明一种基于多模态特征与极化注意力的图像去雾方法,针对目前的图像去雾算法,无论是基于先验知识的算法还是基于深度学习的算法都只是在图像的单一特征空间中进行去雾操作,可能会丢失图像的部分信息,并且缺乏多模态特征信息的互补或者信息之间的约束,降低模型去雾效果和模型的鲁棒性的问题,因此提出将多模态特征融合应用在单幅图像去雾中来提升去雾网络的水平。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于多模态特征与极化注意力的图像去雾方法,其特征在于,包括如下步骤:
S1:选取合成带雾图像和清晰图像,并对数据进行处理以制作数据集;数据处理包括图像配对,图像裁剪、数据增广;数据处理后将图像划分为训练集、验证集和测试集;
S2:添加极化自注意力机制,组建多模态特征融合模块,基于可变性卷积和差分卷积搭建图像特征增强模块,构建单幅图像去雾网络,损失方面采用内容损失和感知损失来作为网络约束;
S3:调整网络训练参数,利用S1得到的训练数据对S2得到的图像去雾网络进行最后的网络参数调整得到较好的去雾模型;
S4:根据S1得到的测试集、验证集与S3得到的训练网络进行图像去雾模型训练;
S5:根据S1得到的测试集、验证集与S4得到的图像去雾模型进行图像去雾的测试;
S6:根据S5测试结果来判断模型是否输出和进行参数设置继续训练与测试,循环此操作直到得到去雾模型;
S7:根据S6得到的基于多模态特征与极化注意力的图像去雾模型对图像进行去雾。
2.根据权利要求1所述的一种基于多模态特征与极化注意力的图像去雾方法,其特征在于,所述的步骤S1中数据处理主要包括:图像配对是将合成带雾图像和清晰图像的名称一一对应起来形成正负样本的配对;数据裁剪使用Python程序将有雾和无雾图像对裁剪到128*128的相同大小;数据增广主要利用Python程序对数据集进行旋转、平移、缩放等操作来增加数据的多样性以及避免过拟合;编程语言为Python3.6。
3.根据权利要求1所述的一种基于多模态特征与极化注意力的图像去雾方法,其特征在于,所述的步骤S2中添加基于极化自注意力机制和空间变换特征层的多模态融合模块,在不引入额外噪声的情况下融合两种模态的信息,诱导网络在去雾的过程中可以结合场景深度不平等的处理雾浓度不同的图像区域;其次添加基于可变性卷积和差分卷积的特征增强模块,使得网络在图像恢复过程中保留更多的纹理信息和边缘信息;损失包括内容损失Lc和感知损失Lprep,损失函数采用计算量较小的均方差误差,上述公式可以表示为:
空间变换特征层:SFT(F|d)=γ⊙F+β (1)
训练损失:L=Lc+λLprep (2)
损失函数:
Figure FDA0003307380830000021
其中:☉表示逐元素相乘,γ、β表示仿射变换因子,由深度图分别经过两个卷积层学习得来,λ表示感知损失的权重系数,Ji和Ii分别表示预测图像和相应真实无雾图像在第i个颜色通道的像素值,N代表单个通道中像素的总个数。
4.根据权利要求1所述的一种基于多模态特征与极化注意力的图像去雾方法,其特征在于,所述的步骤S3中调整网络参数:最大迭代次数为20000,批次大小设为16(根据计算机性能来设),动量参数β1与β2分别采用默认值0.9和0.999,学习率为0.0002为了使模型尽快收敛,减少过拟合,在迭代次数为10000、15000时调整学习率。
5.根据权利要求1所述的一种基于多模态特征与极化注意力的图像去雾方法,其特征在于,所述的步骤S4根据步骤S3得到调整好参数的网络进行图像去雾的模型训练。
6.根据权利要求1所述的一种基于多模态特征与极化注意力的图像去雾方法,其特征在于,所述的步骤S5根据步骤S1得到的测试集、验证集与步骤S4得到的图像去雾模型进行去雾测试。
7.根据权利要求1所述的一种基于多模态特征与极化注意力的图像去雾方法,其特征在于,所述的步骤S6根据步骤S5测试结果来判断模型是否输出和进行参数设置、训练与测试,循环此操作直到得到图像去雾模型。
8.根据权利要求1所述的一种基于多模态特征与极化注意力的图像去雾方法,其特征在于,所述的步骤S7根据步骤S6得到的基于多模态特征与极化注意力的图像去雾模型对图像进行去雾。
CN202111207500.9A 2021-10-18 2021-10-18 一种基于多模态特征与极化注意力的图像去雾方法 Pending CN113936022A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111207500.9A CN113936022A (zh) 2021-10-18 2021-10-18 一种基于多模态特征与极化注意力的图像去雾方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111207500.9A CN113936022A (zh) 2021-10-18 2021-10-18 一种基于多模态特征与极化注意力的图像去雾方法

Publications (1)

Publication Number Publication Date
CN113936022A true CN113936022A (zh) 2022-01-14

Family

ID=79280008

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111207500.9A Pending CN113936022A (zh) 2021-10-18 2021-10-18 一种基于多模态特征与极化注意力的图像去雾方法

Country Status (1)

Country Link
CN (1) CN113936022A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116228608A (zh) * 2023-05-10 2023-06-06 耕宇牧星(北京)空间科技有限公司 一种用于遥感图像去雾的处理网络及遥感图像去雾方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116228608A (zh) * 2023-05-10 2023-06-06 耕宇牧星(北京)空间科技有限公司 一种用于遥感图像去雾的处理网络及遥感图像去雾方法

Similar Documents

Publication Publication Date Title
CN108230264B (zh) 一种基于ResNet神经网络的单幅图像去雾方法
CN106910175B (zh) 一种基于深度学习的单幅图像去雾算法
CN112184577B (zh) 基于多尺度自注意生成对抗网络的单幅图像去雾方法
CN110544213A (zh) 一种基于全局和局部特征融合的图像去雾方法
CN112365414B (zh) 一种基于双路残差卷积神经网络的图像去雾方法
CN112102179B (zh) 一种基于Retinex的深度网络单幅图像去雾方法
CN111582074A (zh) 一种基于场景深度信息感知的监控视频树叶遮挡检测方法
CN112070688A (zh) 一种基于上下文引导生成对抗网络的单幅图像去雾方法
CN112241939A (zh) 一种基于多尺度和非局部的轻量去雨方法
CN114140672A (zh) 一种应用于雨雪天气场景下多传感器数据融合的目标检测网络系统及方法
CN112419163B (zh) 一种基于先验知识和深度学习的单张图像弱监督去雾方法
CN115511759A (zh) 一种基于级联特征交互的点云图像深度补全方法
CN114972748A (zh) 一种可解释边缘注意力和灰度量化网络的红外语义分割方法
CN113936022A (zh) 一种基于多模态特征与极化注意力的图像去雾方法
CN112767267B (zh) 基于仿真偏振带雾场景数据集的图像去雾方法
CN116385293A (zh) 基于卷积神经网络的雾天自适应目标检测方法
CN112164010A (zh) 一种多尺度融合卷积神经网络图像去雾方法
CN111553856A (zh) 基于深度估计辅助的图像去雾方法
CN112215766B (zh) 一种图像复原与图像增强相融合的图像去雾方法及其卷积网络
CN112949389A (zh) 一种基于改进目标检测网络的雾霾图像目标检测方法
CN113052776A (zh) 基于多尺度深度图像先验的无监督图像去雾方法
Shit et al. Encoder and decoder-based feature fusion network for single image dehazing
CN111986109A (zh) 一种基于全卷积网络的遥感影像去雾方法
CN113792793B (zh) 一种不良气象环境下道路视频监测提升方法
Cheng et al. Two-stage image dehazing with depth information and cross-scale non-local attention

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication