CN113269685A - 一种融合多注意力机制的图像去雾方法 - Google Patents

一种融合多注意力机制的图像去雾方法 Download PDF

Info

Publication number
CN113269685A
CN113269685A CN202110516155.0A CN202110516155A CN113269685A CN 113269685 A CN113269685 A CN 113269685A CN 202110516155 A CN202110516155 A CN 202110516155A CN 113269685 A CN113269685 A CN 113269685A
Authority
CN
China
Prior art keywords
attention
image
image defogging
network model
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110516155.0A
Other languages
English (en)
Inventor
胡彬
顾铭岑
岳壮壮
李金航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nantong University
Original Assignee
Nantong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nantong University filed Critical Nantong University
Priority to CN202110516155.0A priority Critical patent/CN113269685A/zh
Publication of CN113269685A publication Critical patent/CN113269685A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G06T5/73—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

本发明提供一种融合多注意力机制的图像去雾方法，首先构建端到端的图像去雾网络模型，网络模型由一个浅层特征提取卷积层、由多注意力融合模块叠加构成的子网络、特征重构部分和全局残差学习结构构成。然后利用有雾与清晰图像对构成的样本库训练该模型得到参数。应用时，网络模型加载训练好的参数后，输入待去雾图像，即可输出清晰的图像。本发明设计了一种融合了空间注意力、通道注意力和像素注意力机制的多注意力融合模块，通过叠加该模块和残差连接构建了基于端到端的图像去雾网络，取得了较好的去雾效果。

Description

一种融合多注意力机制的图像去雾方法
技术领域
本发明属于图像处理技术领域，具体涉及一种融合多注意力机制的图像去雾方法。
背景技术
雾霾是由空气中的灰尘和烟雾等小的漂浮颗粒产生的常见大气现象，这些漂浮的颗粒极大地吸收和散射光，导致图像产生退化，在雾霾影响上，基于视频图像的目标检测和识别等高级计算机视觉任务容易被干扰，因此，图像去雾具有重大的实际应用价值。
发明内容
本发明要解决的技术问题是提供一种融合多注意力机制的图像去雾方法，通过叠加多注意力融合网络模块和残差连接构建了基于端到端的图像去雾网络，取得了较好的去雾效果。
为解决上述技术问题，本发明的实施例提供一种融合多注意力机制的图像去雾方法，包括如下步骤：
S1、构建端到端的图像去雾网络模型；
S2、利用样本库训练样本参数，样本库由若干对有雾-清晰图像对组成，利用样本库训练图像去雾网络模型得到样本参数
S3、将待去雾图像输进图像去雾网络模型，图像去雾网络模型加载训练好的样本参数后，输出清晰的图像。
其中，所述图像去雾网络模型由一个浅层特征提取卷积层、由多注意力融合模块叠加构成的子网络、特征重构部分和全局残差学习结构构成。
其中，所述图像去雾网络模型的concatenate模块中的Multi-Attention Group由若干个多注意力融合模块组成，前一个Group的输出特征作为后一个 Group的输入，定义每个Group的输出为Gi，i表示Group的编号，最后将多个Group级联得到concatenate模块的输出：
C＝[G1，G2，...，Gn]，
其中，n为Group的数量。
其中，所述多注意力融合模块由两个卷积层和注意力单元构成，通过添加局部短连接提高训练收敛速度。
进一步，所述多注意力融合模块中的注意力单元融合了空间注意力、通道注意力和像素注意力，工作步骤如下：
5.1、在注意力单元中，首先对输入特征采用全局平均池化：
Figure RE-GDA0003147048700000021
其中，Hp表示全局平均池化函数，Xc(i，j)表示输入值的c通道位于(i，j)处的值，Fc表示输入特征；
5.2、在通道注意力和像素注意力中，将池化后的特征通过卷积层、ReLU、卷积层和sigmoid激活函数处理之后得到CA，
CA＝σ(Conv(δ(Conv(gc)))) 式(II)，
其中，σ表示sigmoid函数，δ表示ReLU函数；
将输入特征与CA相乘得到通道注意力特征CA*：
Figure RE-GDA0003147048700000031
CA*然后通过卷积层、ReLU、卷积层和sigmoid激活函数得到像素注意力特征：
PA＝σ(Conv(δ(Conv(CA*)))) 式(IV)；
最终融合通道注意力和像素注意力输出：
Figure RE-GDA0003147048700000032
5.3、空间注意力分支中，将池化后的特征通过卷积层和sigmoid激活函数，得到：
Figure RE-GDA0003147048700000033
5.4、融合三种注意力机制：
F＝[F1，SA] 式(VII)；
经过卷积后输出特征：
Fout＝Conv(F) 式(VIII)。
其中，所述图像去雾网络模型采用L1损失函数在数据集RESIDE进行训练， L1损失函数如下式：
Figure RE-GDA0003147048700000041
其中，N指图像像素总数，
Figure RE-GDA0003147048700000042
和Ji(x)指第i个通道上x出的像素值，
Figure RE-GDA0003147048700000043
指经过网络计算得到的值，Ji(x)表示真实值，
Figure RE-GDA0003147048700000044
本发明的上述技术方案的有益效果如下：本发明设计了一种融合了空间注意力、通道注意力和像素注意力机制的多注意力融合模块，通过叠加该模块和残差连接构建了基于端到端的图像去雾网络，取得了较好的去雾效果。
附图说明
图1为本发明中图像去雾网格模型的示意图；
图2为本发明中多注意力融合模块的示意图；
图3为本发明中注意力单元的示意图；
图4为本发明实施例一中图像去雾前后的对比图；
图5为本发明实施例二中图像去雾前后的对比图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明提供了一种融合多注意力机制的图像去雾方法，包括如下步骤：
S1、构建端到端的图像去雾网络模型，如图1所示，由一个浅层特征提取卷积层、由多注意力融合模块叠加构成的子网络、特征重构部分和全局残差学习结构构成。
图1中，Hazy image为输入样本图像；Conv layer为卷积层；Multi-attentionmodule为多注意力融合模块；Clear image为输出清晰图像。
S2、利用样本库训练样本参数，样本库由若干对有雾-清晰图像对组成，利用样本库训练图像去雾网络模型得到样本参数
S3、将待去雾图像输进图像去雾网络模型，图像去雾网络模型加载训练好的样本参数后，输出清晰的图像。
所述图像去雾网络模型的concatenate模块中的Multi-Attention Group由若干个多注意力融合模块(Multi-Attention Module,MAM)组成，前一个Group 的输出特征作为后一个Group的输入，定义每个Group的输出为Gi，i表示Group 的编号，最后将多个Group级联得到concatenate模块的输出：
C＝[G1，G2，...，Gn]，
其中，n为Group的数量。
所述多注意力融合模块(Multi-Attention Module，MAM)由两个卷积层和注意力单元(Attention Module，AM)构成，通过添加局部短连接提高训练收敛速度，如图2所示。
所述多注意力融合模块中的注意力单元(Attention Module，AM)如图3 所示，融合了空间注意力、通道注意力和像素注意力，工作步骤如下：
5.1、在注意力单元中，首先对输入特征采用全局平均池化：
Figure RE-GDA0003147048700000061
其中，Hp表示全局平均池化函数，Xc(i，j)表示输入值的c通道位于(i，j)处的值，Fc表示输入特征；
5.2、在通道注意力和像素注意力中，将池化后的特征通过卷积层、ReLU、卷积层和sigmoid激活函数处理之后得到CA，
CA＝σ(Conv(δ(Conv(gc)))) 式(II)，
其中，σ表示sigmoid函数，δ表示ReLU函数；
将输入特征与CA相乘得到通道注意力特征CA*：
Figure RE-GDA0003147048700000071
CA*然后通过卷积层、ReLU、卷积层和sigmoid激活函数得到像素注意力特征：
PA＝σ(Conv(δ(Conv(CA*)))) 式(IV)；
最终融合通道注意力和像素注意力输出：
Figure RE-GDA0003147048700000072
5.3、空间注意力分支中，将池化后的特征通过卷积层和sigmoid激活函数，得到：
Figure RE-GDA0003147048700000073
5.4、融合三种注意力机制：
F＝[F1，SA] 式(VII)；
经过卷积后输出特征：
Fout＝Conv(F) 式(VIII)。
本发明的图像去雾网络模型采用L1损失函数在数据集RESIDE进行训练， L1损失函数如下式：
Figure RE-GDA0003147048700000081
其中，N指图像像素总数，
Figure RE-GDA0003147048700000082
和Ji(x)指第i个通道上x出的像素值，
Figure RE-GDA0003147048700000083
指经过网络计算得到的值，Ji(x)表示真实值，
Figure RE-GDA0003147048700000084
本发明采用峰值信噪比(PSNR)和结构相似性(SSIM)进行度量，在 RESIDE的室内测试集上PSNR＝36.76，SSIM＝0.9950，室外测试上 PSNR＝33.96，SSIM＝0.9895，结果好于现有方法。部分可视化结果如图4和图 5所示，其中，图4中左图和图5中左图为去雾前图像，图4中右图和图5中右图为去雾后图像。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种融合多注意力机制的图像去雾方法，其特征在于，包括如下步骤：
S1、构建端到端的图像去雾网络模型；
S2、利用样本库训练样本参数，样本库由若干对有雾-清晰图像对组成，利用样本库训练图像去雾网络模型得到样本参数
S3、将待去雾图像输进图像去雾网络模型，图像去雾网络模型加载训练好的样本参数后，输出清晰的图像。
2.根据权利要求1所述的融合多注意力机制的图像去雾方法，其特征在于，所述图像去雾网络模型由一个浅层特征提取卷积层、由多注意力融合模块叠加构成的子网络、特征重构部分和全局残差学习结构构成。
3.根据权利要求1或2所述的融合多注意力机制的图像去雾方法，其特征在于，所述图像去雾网络模型的concatenate模块中的Multi-Attention Group由若干个多注意力融合模块组成，前一个Group的输出特征作为后一个Group的输入，定义每个Group的输出为Gi，i表示Group的编号，最后将多个Group级联得到concatenate模块的输出：
C＝[G1，G2，...，Gn]，
其中，n为Group的数量。
4.根据权利要求3所述的融合多注意力机制的图像去雾方法，其特征在于，所述多注意力融合模块由两个卷积层和注意力单元构成，通过添加局部短连接提高训练收敛速度。
5.根据权利要求3所述的融合多注意力机制的图像去雾方法，其特征在于，所述多注意力融合模块中的注意力单元融合了空间注意力、通道注意力和像素注意力，工作步骤如下：
5.1、在注意力单元中，首先对输入特征采用全局平均池化：
Figure FDA0003062265310000021
其中，Hp表示全局平均池化函数，Xc(i，j)表示输入值的c通道位于(i，j)处的值，Fc表示输入特征；
5.2、在通道注意力和像素注意力中，将池化后的特征通过卷积层、ReLU、卷积层和sigmoid激活函数处理之后得到CA，
CA＝σ(Conv(δ(Conv(gc)))) 式(II)，
其中，σ表示sigmoid函数，δ表示ReLU函数；
将输入特征与CA相乘得到通道注意力特征CA*：
Figure FDA0003062265310000022
CA*然后通过卷积层、ReLU、卷积层和sigmoid激活函数得到像素注意力特征：
PA＝σ(Conv(δ(Conv(CA*)))) 式(IV)；
最终融合通道注意力和像素注意力输出：
Figure FDA0003062265310000031
5.3、空间注意力分支中，将池化后的特征通过卷积层和sigmoid激活函数，得到：
Figure FDA0003062265310000032
5.4、融合三种注意力机制：
F＝[F1，SA] 式(VII)；
经过卷积后输出特征：
Fout＝Conv(F) 式(VIII)。
6.根据权利要求1或2所述的融合多注意力机制的图像去雾方法，其特征在于，所述图像去雾网络模型采用L1损失函数在数据集RESIDE进行训练，L1损失函数如下式：
Figure FDA0003062265310000033
其中，N指图像像素总数，
Figure FDA0003062265310000034
和Ji(x)指第i个通道上x出的像素值，
Figure FDA0003062265310000035
指经过网络计算得到的值，Ji(x)表示真实值，
Figure FDA0003062265310000036
CN202110516155.0A 2021-05-12 2021-05-12 一种融合多注意力机制的图像去雾方法 Pending CN113269685A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110516155.0A CN113269685A (zh) 2021-05-12 2021-05-12 一种融合多注意力机制的图像去雾方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110516155.0A CN113269685A (zh) 2021-05-12 2021-05-12 一种融合多注意力机制的图像去雾方法

Publications (1)

Publication Number Publication Date
CN113269685A true CN113269685A (zh) 2021-08-17

Family

ID=77230653

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110516155.0A Pending CN113269685A (zh) 2021-05-12 2021-05-12 一种融合多注意力机制的图像去雾方法

Country Status (1)

Country Link
CN (1) CN113269685A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114359419A (zh) * 2021-11-02 2022-04-15 上海大学 一种基于注意力机制的图像压缩感知重建方法
CN114648467A (zh) * 2022-05-18 2022-06-21 中山大学深圳研究院 图像的去雾方法、装置、终端设备及计算机可读存储介质
WO2023040462A1 (zh) * 2021-09-17 2023-03-23 南京邮电大学 图像去雾方法、装置及设备
US11663705B2 (en) 2021-09-17 2023-05-30 Nanjing University Of Posts And Telecommunications Image haze removal method and apparatus, and device
CN116824542A (zh) * 2023-06-13 2023-09-29 重庆市荣冠科技有限公司 一种基于深度学习的轻量级雾天车辆检测方法
CN114359419B (zh) * 2021-11-02 2024-05-17 上海大学 一种基于注意力机制的图像压缩感知重建方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112581409A (zh) * 2021-01-05 2021-03-30 西安理工大学 一种基于端到端的多重信息蒸馏网络的图像去雾方法
CN112750082A (zh) * 2021-01-21 2021-05-04 武汉工程大学 基于融合注意力机制的人脸超分辨率方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112581409A (zh) * 2021-01-05 2021-03-30 西安理工大学 一种基于端到端的多重信息蒸馏网络的图像去雾方法
CN112750082A (zh) * 2021-01-21 2021-05-04 武汉工程大学 基于融合注意力机制的人脸超分辨率方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SHUNAN GAO ET AL.: ""CP-Net:Channel Attention and Pixel Attention Network for Single Image Dehazing"", 《ICPCSEE:2020》 *
XU QIN ET AL.: ""FFA-Net: Feature Fusion Attention Network for Single Image Dehazing"", 《ARXIV》, pages 1 - 8 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023040462A1 (zh) * 2021-09-17 2023-03-23 南京邮电大学 图像去雾方法、装置及设备
US11663705B2 (en) 2021-09-17 2023-05-30 Nanjing University Of Posts And Telecommunications Image haze removal method and apparatus, and device
CN114359419A (zh) * 2021-11-02 2022-04-15 上海大学 一种基于注意力机制的图像压缩感知重建方法
CN114359419B (zh) * 2021-11-02 2024-05-17 上海大学 一种基于注意力机制的图像压缩感知重建方法
CN114648467A (zh) * 2022-05-18 2022-06-21 中山大学深圳研究院 图像的去雾方法、装置、终端设备及计算机可读存储介质
CN116824542A (zh) * 2023-06-13 2023-09-29 重庆市荣冠科技有限公司 一种基于深度学习的轻量级雾天车辆检测方法

Similar Documents

Publication Publication Date Title
CN113269685A (zh) 一种融合多注意力机制的图像去雾方法
CN110570371B (zh) 一种基于多尺度残差学习的图像去雾方法
CN111489372B (zh) 基于级联卷积神经网络的视频前背景分离方法
CN110210608B (zh) 基于注意力机制和多层次特征融合的低照度图像增强方法
CN112070690B (zh) 基于卷积神经网络双分支注意力生成的单幅图像去雨方法
CN111861914B (zh) 基于深度神经网络的低照度彩色偏振图像增强方法
CN116760583B (zh) 一种增强图节点行为表征及其异常图节点检测方法
CN111815526B (zh) 基于图像滤波和cnn的有雨图像雨条纹去除方法及系统
CN112784834A (zh) 一种自然场景下的车牌自动识别方法
CN113284070A (zh) 基于传递注意力机制的非均匀雾图去雾算法
CN114627044A (zh) 一种基于深度学习的太阳能光伏组件热斑检测方法
CN114445615A (zh) 基于尺度不变特征金字塔结构的旋转绝缘子目标检测方法
CN112884680A (zh) 一种利用端到端神经网络的单幅图像去雾方法
CN113628143A (zh) 一种基于多尺度卷积的加权融合图像去雾方法及装置
CN116385465A (zh) 图像分割模型的构建及图像分割方法、系统、设备和介质
CN116468625A (zh) 基于金字塔高效通道注意力机制的单幅图像去雾方法和系统
CN112668644B (zh) 一种基于ssd改进算法的无人机航拍目标检测方法
CN116542865A (zh) 一种基于结构重参数化的多尺度实时去雾方法及装置
CN115578256A (zh) 一种无人机航拍绝缘子红外视频全景拼接方法及系统
CN115393822A (zh) 一种雾天行车障碍物检测方法及设备
CN109903343B (zh) 一种基于惯性姿态约束的特征匹配方法
CN114494931A (zh) 一种针对视频图像故障的智能分类处理方法和系统
CN111242053A (zh) 一种输电线路火焰检测方法及系统
CN114387170A (zh) 一种改善修补区域边缘不连贯现象的图像修补方法
CN112750093B (zh) 一种基于时序标签传递的视频图像去雾方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination