CN116563108A - 一种基于残差多谱通道注意力网络水下图像超分辨率方法 - Google Patents

一种基于残差多谱通道注意力网络水下图像超分辨率方法 Download PDF

Info

Publication number
CN116563108A
CN116563108A CN202310513732.XA CN202310513732A CN116563108A CN 116563108 A CN116563108 A CN 116563108A CN 202310513732 A CN202310513732 A CN 202310513732A CN 116563108 A CN116563108 A CN 116563108A
Authority
CN
China
Prior art keywords
residual
channel
attention
channel attention
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310513732.XA
Other languages
English (en)
Inventor
罗笑南
鲁家豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin Huigu Artificial Intelligence Industrial Technology Research Institute
Guilin University of Electronic Technology
Original Assignee
Guilin Huigu Artificial Intelligence Industrial Technology Research Institute
Guilin University of Electronic Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin Huigu Artificial Intelligence Industrial Technology Research Institute, Guilin University of Electronic Technology filed Critical Guilin Huigu Artificial Intelligence Industrial Technology Research Institute
Priority to CN202310513732.XA priority Critical patent/CN116563108A/zh
Publication of CN116563108A publication Critical patent/CN116563108A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像处理和深度学习领域,提出了一种基于残差通道注意力网络的水下图像超分辨率网络方法。本发明通过修改深层图像特征提取模块的通道注意力机制,引入了多谱通道注意力机制,通过离散余弦变换方法替代自适应全局池化层,提高了网络的性能,增强了水下图像超分辨率效果。

Description

一种基于残差多谱通道注意力网络水下图像超分辨率方法
技术领域
本发明涉及图像处理和深度学习领域,更具体的说,本发明面向水下图像的超分辨率重建任务。
背景技术
水下机器人被广泛应用于海洋资源探索等方面,水下退化图像的增强和复原技术由于其对于海洋探索开发利用的重要意义而备受关注。海洋环境复杂度多样,多重不利因素如光在水中传输时又会受到水的吸收、反射和散射等影响而发生严重的衰减,采集到的水下图像难免会出现可见范围有限、模糊不清、低对比度、非均匀光照、色彩不协调以及噪声等问题。
发明内容
本发明的目的在于提出一种新的高效的针对水下图像超分辨率重建模型。
本发明的目的是通过以下技术方案来实现的:一种基于残差多谱通道注意力网络水下图像超分辨率模型,包括以下步骤:
相关工作如下:
残差通道注意力超分辨率网络:其主要由四个部分组成。1.浅层特征提取部分:使用一个卷积层从低分辨率图像中提取浅层特征。2.深度特征提取部分:使用多个残差组合长跳跃连接,每个残差组包含多个具有短跳跃连接的残差通道注意力模块。3.上采样模块部分。4.重建部分:通过一个卷积层重建升级后的特征。
注意力机制:一种通过自学习方式获取权重系数、动态加权方式进行感兴趣区域强调及不相关背景区域抑制的机制。注意力机制可分为两大类:强注意力和软注意力。强注意力是一种随机预测,强调的是动态变化,虽然效果显著,但不可微的性质导致其应用受到极大限制。相反,软注意力是可微的,即可通过神经网络、前向传播及后向反馈计算其权重,因此其应用相对广泛。软注意力按照不同维度(如通道、空间、时间、类别等)出发,可以分为以下三种:通道注意力、空间注意力及自注意力。通道注意力旨在表达不同通道(特征图)之间的相关性,通过自学习的方式建模各个通道的重要程度,对不同通道赋予相应权重系数,实现不同特征的增强与抑制。
S1、建立模型框架:本发明提出一种基于多谱通道注意力方法优化的残差通道注意力图像超分辨率网络架构。网络主要由4个模块组成,分别为提取浅层特征的单层卷积层模块、提取深层特征的双重残差模块、图像上采样模块及图像重建模块。浅层特征提取模块使用一个卷积层从输入的LR图像中提取浅层特征F0
F0=HSF(ILR),
其中,HSF为卷积运算,F0作为后续双重残差模块深度特征提取的输入。
深度特征提取使用包含多个残差组的双重残差(RIR)模块:
FDF=HRIR(F0),
双重饯差结构包含G个饯差组和一个长跳跃连接,每一个饯差组具有B个包含段跳跃连接的残差通道注意模块。残差组表示如下:
Fg=Hg(Fg-1)=Hg(Hg-1(…H1(F0)…)),
其中,Hg表示为第g个残差块,Fg-1和Fg为Hg的输入和输出。长跳跃连接:
FDF=F0+WLSCFg=F0+WLSCHg(Hg-1(…H1(F0)…))
其中,WLSC为与最后一个双重残差模块连接的卷积层权重。
在每个残差块中有多个残差信道注意块。第g个残差块中的第b个残差通道注意力块表示为:
Fg,b=Hg,b(Fg,b-1)=Hg,b(Hg,b-1(…Hg,1(Fg-1)…),
其中,Fg,b-1和Fg,b分别表示为第g个残差块中的第b个残差通道注意力块的输入和输出。残差通道注意力块使用短跳跃连接:
Fg=Fg-1+WgFg,B=Fg-1+WgHg,B(Hg,B-1(…Hg,1(Fg-1)…)),
其中,Wg为第g个残差块的尾部卷积层权重。最后将提取到的特征经过图像上采样模块以及图像重建模块获得最终的超分辨率图像。
S2、添加多谱通道注意力模块替换原有通道注意力模块中自适应全局池化层。在网络通道注意力机制中,通道的全局信息使用离散余弦变换将全局特征信息转换为通道描述子,获取1×1×C的特征图。离散余弦变换:
s.t.k∈{0,1,…,L-1},
二维离散余弦变换的反变换:
s.t.i∈{0,1,…,H-1},j∈{0,1,…,W-1},
全局平均池化为二维离散余弦变换频率为0的分量。全局平均池化(GAP)将通道级的全局空间信息转换成通道描述符,只有最低频率的信息被保留,其他频率的组成部分全部丢弃。但被丢弃部分编码了与通道表示相关的信息模式,合理的保留与使用可显著提升模型的整体性能。将输入X沿通道维度划分,其中n-1个特征图的大小为H×W。分配相应频率分量,将结果用作通道注意力的压缩结果,有:
s.t.i∈{0,1,…,n-1},
其中,[X0,X1,…,Xn-1]表示分割后的部分,ui,vi分别为与Xi对应的频率分量索引,整个压缩向量可以通过拼接获得。
然后将向量下缩放成为的特征图,接着再上缩放成为1×1×C的特征图,缩放间使用Sigmoid和SiLU激活函数增加其非线性,获得通道统计子,使用该通道统计子乘以原始通道数据即为通道注意力。
在基本残差块上引入通道注意力:
Fg,b=Fg,b-1+Rg,b(Xg,b)·Xg,b
其中,Rg,b代表第g个残差块中第b个残差通道注意力块中通道注意力映射关系,Xg,b为残差特征:
其中,f(·)为SiLU激活函数。
基于残差多谱通道注意力网络水下图像超分辨率模型,在通道注意力模块引入多谱注意力机制,使用离散余弦变换替代自适应全局平均池化。
本发明的技术效果和优点:残差通道注意力网络的注意力模块使用的全局平均池化方法,相比使用离散余弦变换能够更好的获取图像特征信息。在公开数据集UFO-120上展现了所提出模型和方法的高质量结果。该方法能够有效提升水下低分辨率图像视觉质量,同时拥有优质的水下图像恢复性能。
附图说明
图1为本发明多谱通道注意力结构示意图。
具体实施方式
下面结合具体实施方式对本发明一种基于残差多谱通道注意力网络水下图像超分辨率方法作进一步的详述。
本发明基于残差通道注意力网络水下图像超分辨率模型,引入了多谱通道注意力模块,具体实现步骤如下:
相关工作如下:
残差通道注意力超分辨率网络:其主要由四个部分组成。1.浅层特征提取部分:使用一个卷积层从低分辨率图像中提取浅层特征。2.深度特征提取部分:使用多个残差组合长跳跃连接,每个残差组包含多个具有短跳跃连接的残差通道注意力模块。3.上采样模块部分。4.重建部分:通过一个卷积层重建升级后的特征。
注意力机制:一种通过网络自主学习出的一组权重系数,并以“动态加权”的方式来强调我们所感兴趣的区域同时抑制不相关背景区域的机制。在计算机视觉领域中,注意力机制可以大致分为两大类:强注意力和软注意力。由于强注意力是一种随机的预测,其强调的是动态变化,虽然效果显著,但由于不可微的性质导致其应用很受限制。与之相反的是,软注意力是处处可微的,即能够通过基于梯度下降法的神经网络训练所获得,因此其应用相对来说也比较广泛。软注意力按照不同维度(如通道、空间、时间、类别等)出发,可以分为以下三种:通道注意力、空间注意力以及自注意力。通道注意力旨在显示的建模出不同通道(特征图)之间的相关性,通过网络学习的方式来自动获取到每个特征通道的重要程度,最后再为每个通道赋予不同的权重系数,从而来强化重要的特征,抑制非重要的特征。
S1、建立模型框架:本发明提出的架构为基于多谱通道注意力方法优化后的残差通道注意力图像超分辨率网络。网络主要由4个模块组成,分别为提取浅层特征的单层卷积层,提取深层特征的双重残差模块,图像上采样模块以及图像重建模块。浅层特征提取模块使用了一个卷积层从输入的LR图像中提取浅层特征F0
F0=HSF(ILR),
其中HSF为卷积运算,将F0用于后续的双重残差模块的深度特征提取中。
深度特征提取使用包含多个残差组的双重残差(RIR)模块:
FDF=HRIR(F0),
双重残差结构包含G个残差组和一个长跳跃连接,每一个残差组具有B个包含段跳跃连接的残差通道注意模块。残差组表示如下:
Fg=Hg(Fg-1)=Hg(Hg-1(…H1(F0)…)),
Hg表示为第g个残差块,Fg-1和Fg为Hg的输入和输出。使用长跳跃连接:
FDF=F0+WLSCFg=F0+WLSCHg(Hg-1(…H1(F0)…))
其中WLSC为最后一个该双重残差模块后所连接的卷积层权重。
在每个残差块中有着多个残差信道注意块。第g个残差块中的第b个残差通道注意力块表示为:
Fg,b=Hg,b(Fg,b-1)=Hg,b(Hg,b-1(…Hg,1(Fg-1)…),
Fg,b-1和Fg,b分别表示为第g个残差块中的第b个残差通道注意力块的输入和输出。残差通道注意力块使用短跳跃连接:
Fg=Fg-1+WgFg,B=Fg-1+WgHg,B(Hg,B-1(…Hg,1(Fg-1)…)),
Wg为第g个残差块的尾部卷积层权重。最后将提取到的特征经过图像上采样模块以及图像重建模块获得最终的超分辨率图像。
S2、添加多谱通道注意力模块替换原有的通道注意力模块中的自适应全局池化层。在网络的通道注意力机制中,通道的全局信息使用离散余弦变换将全局特征信息转换为通道描述子,获取1×1×C的特征图。离散余弦变换定义为:
二维离散余弦变换的反变换为:
s.t.i∈{0,1,…,H-1},j∈{0,1,…,W-1},
全局平均池化即为二维离散余弦变换的频率为0的分量。通过使用全局平均池化(GAP)将通道级的全局空间信息转换成通道描述符,只有最低频率的信息被保留。此外,值得注意的是,所有其他频率的组成部分都被丢弃,尽管它们也编码了与通道表示相关的有用信息模式。因此,不应忽略这些组成部分,它们可以显著地促进模型的整体性能。将输入X沿通道维度分为许多部分,其中n-1个特征图的大小为H×W。对于每个部分,分配相应的频率分量,并将结果用作通道注意力的压缩结果,我们有:
s.t.i∈{0,1,…,n-1},
其中[X0,X1,…,Xn-1]表示分割后的部分,ui,vi分别为与Xi对应的频率分量索引。整个压缩向量可以通过拼接获得。
然后将向量下缩放成为的特征图,接着再上缩放成为1×1×C的特征图,缩放间使用Sigmoid和SiLU激活函数增加其非线性,获得通道统计子,使用该通道统计子乘以原始通道数据即为通道注意力。在基本残差块上引入通道注意力:
Fg,b=Fg,b-1+Rg,b(Xg,b)·Xg,b
其中Rg,b代表第g个残差块中第b个残差通道注意力块中通道注意力映射关系,Xg,b为残差特征:
其中f(·)为SiLU激活函数。
在公开水下图像数据集UFO-120上展现了所提出模型和方法的高质量结果。该方法能够有效对水下低分辨率图像视觉质量进行提升,并拥有优质的恢复性能。

Claims (2)

1.一种基于残差多谱通道注意力网络水下图像超分辨率方法,其特征在于,具体实现步骤如下:
S1、建立模型框架:受FCA-Net启发,本发明提出一种基于多谱通道注意力方法优化的残差通道注意力图像超分辨率网络架构,网络主要由4个模块组成,分别为提取浅层特征的单层卷积层模块、提取深层特征的双重残差模块、图像上采样模块以及图像重建模块;浅层特征提取模块使用了一个卷积层从输入的LR图像中提取浅层特征F0:
F0=HSF(ILR),
其中,HSF为卷积运算,F0作为后续双重残差模块的深度特征提取中的输入;
深度特征提取使用包含多个残差组的双重残差(RIR)模块:
FDF=HRIR(F0),
双重残差结构包含G个残差组和一个长跳跃连接,每一个残差组具有B个包含段跳跃连接的残差通道注意模块;残差组表示如下:
Fg=Hg(Fg-1)=Hg(Hg-1(…H1(F0)…)),
其中,Hg表示为第g个残差块,Fg-1和Fg为Hg的输入和输出;长跳跃连接:
FDF=F0+WLSCFg=F0+WLSCHg(Hg-1(…H1(F0)…)),
其中,WLSC为与最后一个双重残差模块连接的卷积层权重;
在每个残差块中有着多个残差信道注意块;第g个残差块中的第b个残差通道注意力块表示为:
Fg,b=Hg,b(Fg,b-1)=Hg,b(Hg,b-1(…Hg,1(Fg-1)…),
其中,Fg,b-1和Fg,b分别表示为第g个残差块中的第b个残差通道注意力块的输入和输出;残差通道注意力块使用短跳跃连接:
Fg=Fg-1+WgFg,B=Fg-1+WgHg,B(Hg,B-1(…Hg,1(Fg-1)…)),
其中,Wg为第g个残差块的尾部卷积层权重;最后将提取到的特征经过图像上采样模块以及图像重建模块获得最终的超分辨率图像。
S2、添加多谱通道注意力模块替换原有通道注意力模块中自适应全局池化层;在网络通道注意力机制中,通道的全局信息使用离散余弦变换将全局特征信息转换为通道描述子,获取1×1×C的特征图;离散余弦变换为:
s.t.k∈{0,1,…,L-1},
二维离散余弦变换的反变换:
s.t.i∈{0,1,…,H-1},j∈{0,1,…,W-1},
全局平均池化为二维离散余弦变换的频率为0的分量;使用离散余弦变换替代全局平均池化能够更好的获取信息;将输入X沿通道维度划分,其中n-1个特征图的大小为H×W;分配相应频率分量,并将结果用作通道注意力的压缩结果,有:
s.t.i∈{0,1,…,n-1},
其中,[X0,X1,…,Xn-1[表示分割后的部分,ui,vi分别为与Xi对应的频率分量索引;整个压缩向量可以通过拼接获得;然后将向量下缩放成为的特征图,接着再上缩放成为1×1×C的特征图,缩放间使用Sigmod和SiLU激活函数增加其非线性,获得通道统计子,使用该通道统计子乘以原始通道数据即为通道注意力;在基本残差块上引入通道注意力:
Fg,b=Fg,b-1+Rg,b(Xg,b)·Xg,b
其中,Rg,b代表第g个残差块中第b个残差通道注意力块中通道注意力映射关系,Xg,b为残差特征:
2.根据权利要求1所述的一种基于残差多谱通道注意力网络水下图像超分辨率模型,其特征在于:在通道注意力模块引入多谱注意力机制,使用离散余弦变换替代自适应全局平均池化,能够更好的获取图像的特征信息。
CN202310513732.XA 2023-05-09 2023-05-09 一种基于残差多谱通道注意力网络水下图像超分辨率方法 Pending CN116563108A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310513732.XA CN116563108A (zh) 2023-05-09 2023-05-09 一种基于残差多谱通道注意力网络水下图像超分辨率方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310513732.XA CN116563108A (zh) 2023-05-09 2023-05-09 一种基于残差多谱通道注意力网络水下图像超分辨率方法

Publications (1)

Publication Number Publication Date
CN116563108A true CN116563108A (zh) 2023-08-08

Family

ID=87499525

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310513732.XA Pending CN116563108A (zh) 2023-05-09 2023-05-09 一种基于残差多谱通道注意力网络水下图像超分辨率方法

Country Status (1)

Country Link
CN (1) CN116563108A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117422939A (zh) * 2023-12-15 2024-01-19 武汉纺织大学 一种基于超声特征提取的乳腺肿瘤分类方法及系统
CN117635962A (zh) * 2024-01-25 2024-03-01 云南大学 基于多频率融合的通道注意力图像处理方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117422939A (zh) * 2023-12-15 2024-01-19 武汉纺织大学 一种基于超声特征提取的乳腺肿瘤分类方法及系统
CN117422939B (zh) * 2023-12-15 2024-03-08 武汉纺织大学 一种基于超声特征提取的乳腺肿瘤分类方法及系统
CN117635962A (zh) * 2024-01-25 2024-03-01 云南大学 基于多频率融合的通道注意力图像处理方法
CN117635962B (zh) * 2024-01-25 2024-04-12 云南大学 基于多频率融合的通道注意力图像处理方法

Similar Documents

Publication Publication Date Title
CN110992275B (zh) 一种基于生成对抗网络的细化单幅图像去雨方法
Cheng et al. Energy compaction-based image compression using convolutional autoencoder
CN116563108A (zh) 一种基于残差多谱通道注意力网络水下图像超分辨率方法
CN110517329B (zh) 一种基于语义分析的深度学习图像压缩方法
CN111028163A (zh) 一种基于卷积神经网络的联合图像去噪与弱光增强方法
Zhao et al. Invertible image decolorization
CN111275655B (zh) 一种多聚焦多源图像融合方法
CN111630570A (zh) 图像处理方法、设备及计算机可读存储介质
CN111951164B (zh) 一种图像超分辨率重建网络结构及图像重建效果分析方法
CN113808032A (zh) 多阶段渐进式的图像去噪算法
CN113362250A (zh) 一种基于双树四元小波与深度学习的图像去噪方法及系统
CN113506224A (zh) 基于多尺度生成对抗网络的图像修复方法
Hui et al. Two-stage convolutional network for image super-resolution
Löhdefink et al. GAN-vs. JPEG2000 image compression for distributed automotive perception: Higher peak SNR does not mean better semantic segmentation
Löhdefink et al. On low-bitrate image compression for distributed automotive perception: Higher peak snr does not mean better semantic segmentation
CN113902658A (zh) 基于密集多尺度网络的rgb图像到高光谱图像重建方法
CN116012243A (zh) 面向真实场景的暗光图像增强去噪方法、系统和存储介质
CN110838089B (zh) 一种基于OctBlock密集块的快速图像去噪方法
CN113962882B (zh) 一种基于可控金字塔小波网络的jpeg图像压缩伪影消除方法
Nair et al. Deep-learning with context sensitive quantization and interpolation for underwater image compression and quality image restoration
CN112750175B (zh) 基于八度卷积和语义分割的图像压缩方法及系统
Wang et al. Adaptive image compression using GAN based semantic-perceptual residual compensation
CN116977651B (zh) 一种基于双分支和多尺度特征提取的图像去噪方法
CN113450421A (zh) 一种基于增强深度学习的无人机侦察图像压缩与解压方法
CN117351340A (zh) 基于双颜色空间的水下图像增强算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination