CN114820395B - 一种基于多领域信息融合的水下图像增强方法 - Google Patents

一种基于多领域信息融合的水下图像增强方法 Download PDF

Info

Publication number
CN114820395B
CN114820395B CN202210757566.3A CN202210757566A CN114820395B CN 114820395 B CN114820395 B CN 114820395B CN 202210757566 A CN202210757566 A CN 202210757566A CN 114820395 B CN114820395 B CN 114820395B
Authority
CN
China
Prior art keywords
domain
module
gradient
semantic
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210757566.3A
Other languages
English (en)
Other versions
CN114820395A (zh
Inventor
穆攀
钱浩天
白琮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202210757566.3A priority Critical patent/CN114820395B/zh
Publication of CN114820395A publication Critical patent/CN114820395A/zh
Application granted granted Critical
Publication of CN114820395B publication Critical patent/CN114820395B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于多领域信息融合的水下图像增强方法，采用包括语义分支、梯度分支和像素分支的分层增强网络模型来进行图像增强，所述语义分支包括多尺度注意力特征提取模块和语义域特征解码模块，所述梯度分支包括梯度域特征提取模块和梯度域特征解码模块，所述像素分支包括多通道注意力特征编码模块和像素域特征解码模块，将所述语义分支输出图像、像素分支输出图像和梯度分支输出图像进行融合，然后经过一个卷积层，得到增强后的水下清晰图像。本发明实现了水下图像增强，能够捕捉图像中目标的结构特征，并且在真实水下数据集上具有良好的泛化效果。

Description

一种基于多领域信息融合的水下图像增强方法
技术领域
本申请属于基于新一代信息技术的水下场景处理技术领域，尤其涉及一种基于多领域信息融合的水下图像增强方法。
背景技术
水下作业，特别是水下机器人作业等场景，水下图像增强具有广阔的应用前景，水下图像增强在海洋资源勘探、海洋生态研究、深海设施监测和海军军事应用等方面发挥着重要作用。
由于复杂的水下环境以及广在水中传播的影响，会导致水下成像系统捕获的水下图像常出现色偏、雾化和模糊等质量问题。
目前水下图像增强的主要方法有：概率模型方法、数据驱动方法。在概率模型方法中，常用的水下图像增强方法有对数（或幂律）变换、对比度拉伸、直方图均衡化、锐化等，这些方法能有效地拓宽图像的显示范围，但是这些方法忽略了亮度的统计分布与位置信息，导致性能不理想。此外，这些方法局限于具有放大噪声的物理模型，不足以指示图像退化的过程。数据驱动方法利用神经网络直接学习降质图像与清晰图像之间的非线性函数。但是这些方法忽略了水下目标的结构与颜色信息。此外，由于海洋环境的复杂性，这些基于数据驱动的方法所依赖的数据信息在增强真实水下图像时往往有局限性。
发明内容
本申请的目的是提供一种基于多领域信息融合的水下图像增强方法，克服了进行水下图像增强时忽略了水下目标结构和颜色的问题，在真实水下场景应用中快且有效。
为了实现上述目的，本申请技术方案如下：
一种基于多领域信息融合的水下图像增强方法，采用包括语义分支、梯度分支和像素分支的分层增强网络模型来进行图像增强，所述语义分支包括多尺度注意力特征提取模块和语义域特征解码模块，所述梯度分支包括梯度域特征提取模块和梯度域特征解码模块，所述像素分支包括多通道注意力特征编码模块和像素域特征解码模块，所述基于多领域信息融合的水下图像增强方法，包括：
将水下的降质图像输入到预训练好的掩码计算器，得到语义掩码；
将水下的降质图像输入到像素分支的多通道注意力特征提取模块，所述多通道注意力特征编码模块包含六个残差模块和一个多尺寸注意力模块，通过所述六个残差模块获取三种尺度的通道注意力特征，并通过多尺寸注意力模块获取像素域中间特征；
将三种尺度的通道注意力特征输入到语义分支的多尺度注意力特征提取模块，提取语义域中间特征；
将三种尺度的通道注意力特征以及水下的降质图像的梯度特征，输入到梯度域特征提取模块，提取梯度域中间特征；
采用语义分支的语义域特征解码模块对输入的语义域中间特征进行解码操作，所述语义域特征解码模块包括四个残差模块和一个卷积层，并将所述语义域特征解码模块输出的特征与语义掩码相乘，得到语义分支输出图像；
采用梯度域特征解码模块对输入的梯度域中间特征进行解码操作，所述梯度域特征解码模块包括两个u形卷积块和一个卷积层，所述梯度域特征解码模块输出梯度分支输出图像；
所述像素域特征解码模块包括六个残差模块，将所述语义域中间特征与像素域中间特征拼接后输入到像素域特征解码模块，经过两个残差模块后，与所述语义域特征解码模块第二个残差模块输出的特征进行拼接，再经过两个残差模块后，与所述梯度域特征解码模块第二个u形卷积块输出的特征进行拼接，最后再经过两个残差模块，得到像素分支输出图像；
将所述语义分支输出图像、像素分支输出图像和梯度分支输出图像进行融合，然后经过一个卷积层，得到增强后的水下清晰图像。
进一步的，所述掩码计算器包括四个残差模块。
进一步的，所述多尺寸注意力模块包括三个单尺寸特征注意力模块，每个单尺寸特征注意力模块对输入特征做一次全局平均值池化和全局最大值池化操作，并将池化操作得到的结果相加，得到一组一维的通道权重向量，通道权重向量再通过三层的全连接神经网络进一步挖掘特征信息，得到通道注意力，通道注意力再与输入特征进行通道维度上的乘法，得到单尺寸特征注意力模块的输出；
最下层单尺寸注意力模块的输出经过上采样与中层单尺寸注意力模块输出进行特征拼接操作，再次经过上采样与卷积操作与最上层单尺寸注意力模块的输出进行特征拼接操作，最后经过卷积得到多尺寸注意力模块的输出。
进一步的，所述多尺度注意力特征提取模块，包括一个多尺寸注意力模块和六个残差模块。
进一步的，所述梯度域特征提取模块，首先对输入的梯度特征进行一次3 × 3卷积运算扩充维度，再构造三个u形卷积块，将多通道注意力编码模块中的不同尺度的通道注意力特征分别输入到每个u形卷积块中进行特征拼接操作，最后再通过一次3 × 3卷积运算，得到梯度域特征提取模块的编码结果，输出梯度域中间特征。
进一步的，所述采用梯度域特征解码模块对输入的梯度域中间特征进行解码操作，包括：
输入特征经过两个u形卷积块之后与原输入特征相加，然后再输入到卷积层，最后得到梯度分支输出图像。
进一步的，所述u形卷积块，包括五个小块，每小块包含两次连续的“3 × 3卷积、Relu激活函数”，其中，第二个小块的输出特征与多通道注意力编码模块中的不同尺度的通道注意力特征拼接后，再经过三个小块的运算后输出。
进一步的，所述分层增强网络模型为每个分支的输出以及模型最后的输出设置损失函数，通过最小化所述损失函数来训练网络模型。
本申请提出的一种基于多领域信息融合的水下图像增强方法，提出了一种水下图像分层增强网络模型（SIB-Net），该网络能够仅仅在输入真实的水下图像下，输出增强后的清晰的图像。克服了现有的图像增强方法不能够体现水下目标的结构与颜色信息的局限性，在真实水下图像增强上有良好的效果。
附图说明
图1为本申请基于多领域信息融合的水下图像增强方法流程图；
图2为本申请实施例分层增强网络模型结构示意图；
图3为本申请实施例多通道注意力特征编码模块结构示意图；
图4为本申请实施例多尺寸注意力模块结构示意图；
图5为本申请实施例多尺度注意力特征提取模块结构示意图；
图6为本申请实施例梯度域特征提取模块结构示意图；
图7为本申请实施例u形卷积块示意图；
图8为本申请实施例特征解码模块结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本申请，并不用于限定本申请。
在水下场景中，受水中介质对光反射和对不同波长光的吸收的影响，水下图像出 现颜色衰退、对比度低以及细节模糊等现象。水下图像与透射率、大气光存在一定的非线性 关系。本申请将水下场景中采集的图像称为水下的降质图像，记为
Figure 74173DEST_PATH_IMAGE001
，其中
Figure 115947DEST_PATH_IMAGE002
表示 三个颜色通道，增强后的水下清晰图像记为
Figure 364526DEST_PATH_IMAGE003
。
在一个实施例中，如图1所示，提出了一种基于多领域信息融合的水下图像增强方法，采用包括语义分支（Semantic-based Foreground Branch，SFB）、梯度分支（Gradient-based High-frequency Branch，GHB）和像素分支（Underwater Pixel Branch，UPB）的分层增强网络模型（Structure-Inferred Bi-level model with hierarchical enhancingNetwork，SIB-Net）来进行图像增强，所述语义分支包括多尺度注意力特征提取模块和语义域特征解码模块，所述梯度分支包括梯度域特征提取模块和梯度域特征解码模块，所述像素分支包括多通道注意力特征编码模块和像素域特征解码模块。包括：
步骤S1、将水下的降质图像输入到预训练好的掩码计算器，得到语义掩码。
为了避免背景区域带来的不必要干扰，引入语义掩码
Figure 290894DEST_PATH_IMAGE004
，将水下图像分为前景图 像
Figure 495479DEST_PATH_IMAGE005
与背景图像
Figure 849100DEST_PATH_IMAGE006
两个部分。
语义掩码
Figure 522658DEST_PATH_IMAGE004
是通过一个预训练好的掩码计算器计算得到的，其输入是水下的降 质图像
Figure 252717DEST_PATH_IMAGE001
，掩码计算器包括四个残差模块
Figure 123194DEST_PATH_IMAGE007
（附图中标记为Residual Block），每一个残差 模块包含连续的两次“
Figure 788662DEST_PATH_IMAGE008
卷积运算、Relu激活函数”和一次最终的
Figure 808571DEST_PATH_IMAGE008
卷积运算。
掩码计算器可以表示为如下公式：
Figure 201375DEST_PATH_IMAGE009
其中X代表残差模块的输入特征，
Figure 928022DEST_PATH_IMAGE010
表示一个残差模块的操作，
Figure 889025DEST_PATH_IMAGE011
表示卷积 操作。通过对输入特征通过四次残差模块
Figure 520864DEST_PATH_IMAGE007
操作后，进行卷积得到掩码。
通过掩码与图像的点乘操作，可以得到前景图像。
步骤S2、将水下的降质图像输入到像素分支的多通道注意力特征提取模块，所述多通道注意力特征编码模块包含六个残差模块和一个多尺寸注意力模块，通过所述六个残差模块获取三种尺度的通道注意力特征，并通过多尺寸注意力模块获取像素域中间特征。
如图2所示，本实施例像素分支包括多通道注意力特征编码模块和像素域特征解码模块。为了利用语义域与梯度域信息，将由语义域和梯度域产生的特征映射提供给所述像素分支。并且像素分支多通道注意力特征编码模块提取的多尺度通道注意力特征，分别发送给语义分支和梯度分支进行进一步的处理。
如图3所示，多通道注意力特征编码模块包含六个残差模块
Figure 592725DEST_PATH_IMAGE007
（附图中标记为 Residual Block）和一个多尺寸注意力模块。为了挖掘不同尺度下深层纹理特征的分层特 征，采用基于金字塔状的多尺寸注意块来估计初步像素特征
Figure 377141DEST_PATH_IMAGE012
。像素域特征解码模块包含6 个残差模块
Figure 243466DEST_PATH_IMAGE007
。
多通道注意力特征编码模块的输入为降质图像
Figure 628180DEST_PATH_IMAGE001
，输出为第2、4和第6个残差模块 所输出的三个尺度的通道注意力特征，表示为特征A、B和C。
三个尺度的通道注意力特征A、B和C输入到多尺寸注意力模块，输出像素域中间特征。
如图4所示，多尺寸注意力模块包括三个单尺寸特征注意力模块，每个单尺寸特征注意力模块对输入特征做一次全局平均值池化和全局最大值池化操作，并将池化操作得到的结果相加，得到一组一维的通道权重向量，通道权重向量再通过三层的全连接神经网络进一步挖掘特征信息，得到通道注意力，通道注意力再与输入特征进行通道维度上的乘法，得到单尺寸特征注意力模块的输出。
最下层单尺寸注意力模块的输出经过上采样（Upsample）与中层单尺寸注意力模块输出进行特征拼接操作，再次经过上采样与卷积操作与最上层单尺寸注意力模块的输出进行特征拼接操作，最后经过卷积得到多尺寸注意力模块的输出。
多尺寸注意力模块的输出最后通过六个残差模块，获得最终特定的前景特征，即 像素域中间特征。每一个残差模块
Figure 238153DEST_PATH_IMAGE007
包含连续的两次“
Figure 939393DEST_PATH_IMAGE008
卷积运算、Relu激活函数”和一次 最终的
Figure 104182DEST_PATH_IMAGE008
卷积运算，本申请残差模块结构相同，以下不再赘述。
步骤S3、将三种尺度的通道注意力特征输入到语义分支的多尺度注意力特征提取模块，提取语义域中间特征。
本实施例语义分支包括多尺度注意力特征提取模块和语义域特征解码模块。多尺 度注意力特征提取模块如图5所示，包括一个多尺寸注意力模块和六个残差模块
Figure 851558DEST_PATH_IMAGE007
。
其中，多尺寸注意力模块结构同样如图4所示，这里不再赘述。多尺寸注意力模块输出的特征经过六个残差模块输出语义域中间特征。此外，附图中，Residual Block表示残差模块，Upsample表示上采样操作，Conv表示卷积操作，Relu表示激活函数，以下不再赘述。
步骤S4、将三种尺度的通道注意力特征以及水下的降质图像的梯度特征，输入到梯度域特征提取模块，提取梯度域中间特征。
本实施例梯度分支包括梯度域特征提取模块和梯度域特征解码模块。梯度域特征 提取模块如图6所示，首先对输入的梯度特征进行一次3 × 3卷积运算扩充维度，再构造三 个u形卷积块(记为
Figure 875009DEST_PATH_IMAGE013
)，将多通道注意力编码模块中的不同尺度的通道注意力特征，即大尺 寸特征（记为A）、中尺寸特征（记为B）、 小尺寸特征（记为C）分别输入到每个u形卷积块(记 为
Figure 758651DEST_PATH_IMAGE013
)中进行特征拼接操作，最后再通过一次3 × 3卷积运算，得到梯度域特征提取模块的 编码结果，输出梯度域中间特征。
其中，u形卷积块如图7所示，每个u形卷积块中共五小块，每小块包含两次连续的“3 × 3卷积、Relu激活函数”。其中，第二个小块的输出特征与多通道注意力编码模块中的不同尺度的通道注意力特征（图中所示为像素域特征）拼接后，再经过三个小块的运算后输出。
为改善水下图像的纹理结构，本实施例引入梯度分支，梯度分支以水下降质图像的梯度作为输入。
具体的，对于输入的水下降质图像
Figure 356992DEST_PATH_IMAGE001
，梯度
Figure 998189DEST_PATH_IMAGE014
被定义为：
Figure 949964DEST_PATH_IMAGE015
；
其中，
Figure 78326DEST_PATH_IMAGE016
和
Figure 191776DEST_PATH_IMAGE017
表示两个方向上的梯度，这两个梯度可以描述为以下公式：
Figure 320269DEST_PATH_IMAGE018
；
其中，
Figure 200369DEST_PATH_IMAGE001
为所输入的图像，
Figure 58603DEST_PATH_IMAGE019
为像素点的坐标。
图2中，进入所述梯度分支前，
Figure 749479DEST_PATH_IMAGE020
表示利用具有固定核的卷积层来实现所述的梯度 运算。
步骤S5、采用语义分支的语义域特征解码模块对输入的语义域中间特征进行解码操作，所述语义域特征解码模块包括四个残差模块和一个卷积层，并将所述语义域特征解码模块输出的特征与语义掩码相乘，得到语义分支输出图像。
本实施例语义域特征解码模块、梯度域特征解码模块和像素域特征解码模块，如图8所示。
语义域特征解码模块包括四个残差模块和一个3 × 3卷积，用于对输入的语义域 中间特征进行解码操作。语义域特征解码模块的输出特征与语义掩码
Figure 693164DEST_PATH_IMAGE004
进行点乘，得到语 义分支输出图像，本实施例用
Figure 114306DEST_PATH_IMAGE021
表示。
步骤S6、采用梯度域特征解码模块对输入的梯度域中间特征进行解码操作，所述梯度域特征解码模块包括两个u形卷积块和一个卷积层，所述梯度域特征解码模块输出梯度分支输出图像。
本实施例梯度域特征解码模块包括两个u形卷积块(记为
Figure 561468DEST_PATH_IMAGE013
)和一个3 × 3卷积，输 入特征经过两个u形卷积块之后与原输入特征相加，然后再输入到3 × 3卷积，最后得到梯 度分支输出图像，本实施例用
Figure 423244DEST_PATH_IMAGE022
表示。
步骤S7、所述像素域特征解码模块包括六个残差模块，将所述语义域中间特征与像素域中间特征拼接后输入到像素域特征解码模块，经过两个残差模块后，与所述语义域特征解码模块第二个残差模块输出的特征进行拼接，再经过两个残差模块后，与所述梯度域特征解码模块第二个u形卷积块输出的特征进行拼接，最后再经过两个残差模块，得到像素分支输出图像。
本实施例像素域特征解码模块包括六个残差模块，将语义域中间特征与像素域中 间特征拼接后输入到像素域特征解码模块的第一个残差模块，经过第一个和第二个残差模 块后，与所述语义域特征解码模块第二个残差模块输出的特征进行拼接，输入到第三个残 差模块，再经过第三个和第四个残差模块后，与所述梯度域特征解码模块第二个u形卷积块 输出的特征进行拼接，输入到第五个残差模块，最后再经过第五个残差模块和第六个残差 模块，最后得到像素分支输出图像，本实施例用
Figure 854226DEST_PATH_IMAGE023
表示。
需要说明的是，本步骤在进行特征拼接前，还分别对语义域中间特征、所述语义域特征解码模块第二个残差模块输出的特征、所述梯度域特征解码模块第二个u形卷积块输出的特征进行两倍上采样操作，以使得拼接时的特征尺度相同。
步骤S8、将所述语义分支输出图像、像素分支输出图像和梯度分支输出图像进行融合，然后经过一个卷积层，得到增强后的水下清晰图像。
本申请最后将所述语义分支输出图像、像素分支输出图像和梯度分支输出图像进 行连接，然后经过一个卷积层，得到增强后的水下清晰图像，本实施例用
Figure 76128DEST_PATH_IMAGE024
表示。
本申请分层增强网络模型的语义分支通过引入语义掩码，单独优化检测出的前景目标，有目的地增强水下图像的目标区域，隐式地反映图像中的区域是否需要增强，以避免背景区域的不必要干扰。梯度分支通过梯度空间的引导来保留纹理结构，来增强水下降质图像的细节信息，并通过计算相邻像素之间的差值得到水下图像的梯度映射。像素分支是由残差块组成的常规水下图像增强网络，是水下图像增强结构的基本组成部分。
此外，为利用所述分支提取出的特征和利用语义信息与梯度信息进行水下图像增强，本申请引入基于双层优化的超参数优化方案，来学习一个合适的超参数将所述分支信息融合。最后将需要进行增强的水下图像输入到训练好的水下图像分层增强模型，输出增强后的水下图片。
在一个具体的实施例中，本申请还为每个分支的输出以及模型最后的输出设置损失函数，通过最小化所述损失函数来训练网络。
对于语义分支的损失函数，引入
Figure 315480DEST_PATH_IMAGE025
-norm来评估语义分支输出的语义信息
Figure 472792DEST_PATH_IMAGE021
与参考 语义信息
Figure 515703DEST_PATH_IMAGE026
之间的距离，表达方式如下：
Figure 151084DEST_PATH_IMAGE027
其中，所述“∘”指的是点乘，
Figure 713783DEST_PATH_IMAGE028
表示语义分支的损失函数。
对于梯度分支的损失函数，使学习到的特征能够较好的表示细节结构，通过给定 的损失函数强制网络对正确的标签进行分类。在梯度分支中，将
Figure 41996DEST_PATH_IMAGE029
损失作为目标函数，即以 下公式：
Figure 41045DEST_PATH_IMAGE030
其中，
Figure 11275DEST_PATH_IMAGE031
为参考梯度域信息，
Figure 428481DEST_PATH_IMAGE032
为梯度分支的输出。
对于像素分支的损失函数，使用
Figure 927596DEST_PATH_IMAGE025
损失和最常见的SSIM损失(即
Figure 416870DEST_PATH_IMAGE033
)来计算损失， 损失函数如下：
Figure 394054DEST_PATH_IMAGE034
其中
Figure 931345DEST_PATH_IMAGE035
、
Figure 601361DEST_PATH_IMAGE036
是图像块所有像素的平均值，
Figure 840581DEST_PATH_IMAGE037
是图像像素值的方差。
Figure 621456DEST_PATH_IMAGE003
为参考像 素域信息，
Figure 13254DEST_PATH_IMAGE022
是像素分支输出的像素域信息。
对于整体输出的损失函数，使用整体损失来更好的保持融合后图像的强度分布，所述整体损失表示为以下公式：
Figure 854171DEST_PATH_IMAGE038
其中，
Figure 580687DEST_PATH_IMAGE039
表示最终的输出。
本申请通过最小化所述损失函数来训练网络，从而利用图像到图像的转换技术来 学习三种模态之间的映射。其中，
Figure 165252DEST_PATH_IMAGE003
为参考的像素域信息。
需要说明的是，本实施例水下图像分层增强网络模型在训练时，将数据集划分为 训练集、验证集和测试集三部分。本实施例采用了合成的水下图像数据集EUVP和真实的水 下图像数据集UIEB、LUSI、Test-C60、SQUID和RUIE，训练模型时，设定批处理的大小为16，设 定模型的学习率为2
Figure 411557DEST_PATH_IMAGE040
，各层滤波器的权重按照高斯分布进行初始化，偏差初始设置为常 数。所有的网络都被训练为200个批处理大小，图像大小为
Figure 423375DEST_PATH_IMAGE041
。用Adam算法最小化损 失函数，保存最优的模型作为训练好的模型。关于网络模型的训练，在本技术领域已经是比 较成熟的技术，这里不再赘述。
本申请还提供了实验数据，对不同的模型预测结果进行了比较，采用两种不同的评测指标以测算模型整体综合性能。分别是PSNR和SSIM。PSNR（Peak Signal-to-NoiseRatio）是指峰值信噪比，PSNR得分高说明图像质量高。SSIM（Structure SimilarityIndex）是结构相似指标，可以衡量图像的失真程度和两张照片的相似程度。为进一步衡量模型在增强真实水下图像时的性能，采用四种不同的评测指标。分别是UIQM、UCIQE、NIQE和PS。UIQM（Underwater Image Quality Measure）是一种基于人眼视觉系统激励的无参考水下图像质量评价指标，针对水下图像的退化机理与成像特点，采用色彩测量指标（UICM），清晰度测量指标（UISM），对比度测量指标（UIConM）作为评价依据，将三者线性组合。其值越大，表示图像的颜色平衡、清晰度、对比度越佳。UCIQE（Underwater Color Image QualityEvalution）、PS（Perceptual Scores）是无参考图像的图像质量评价指标，值越大，图像质量越高。NIQE（Natural Image Quality Evaluat）是客观的评价指标，提取图像特征，并将特征用于拟合多元的高斯模型，值越小，图像质量越高。本申请模型与其他优秀方法的对比数据如下：
Figure 371609DEST_PATH_IMAGE042
表1
Figure 759865DEST_PATH_IMAGE043
表2
在表1和表2中，Datasets表示所采用的数据集，metrics表示衡量指标，Methods表示相比较的模型，与本申请技术方案（Ours）相比较的不同模型包括UDCP、Fusion、Water-Net、UGAN、Fuine-GAN、Ucolor和USUIR等。
最优结果均使用黑体加粗标注。在EUVP、UIEB、LUSI这三个数据集中，与其他方法相比，本申请模型（SIB-Net）获得了最高的PSNR和SSIM值和最低的均方误差MSE值。在Test-C60、RUIE、SQUID这三个数据集中，与其他方法相比，本申请模型（SIB-Net）获得了最高的PS、UIQM和UCIQE值。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种基于多领域信息融合的水下图像增强方法，其特征在于，采用包括语义分支、梯度分支和像素分支的分层增强网络模型来进行图像增强，所述语义分支包括多尺度注意力特征提取模块和语义域特征解码模块，所述梯度分支包括梯度域特征提取模块和梯度域特征解码模块，所述像素分支包括多通道注意力特征编码模块和像素域特征解码模块，所述基于多领域信息融合的水下图像增强方法，包括：
将水下的降质图像输入到预训练好的掩码计算器，得到语义掩码；
将水下的降质图像输入到像素分支的多通道注意力特征提取模块，所述多通道注意力特征编码模块包含六个残差模块和一个多尺寸注意力模块，通过所述六个残差模块获取三种尺度的通道注意力特征，并通过多尺寸注意力模块获取像素域中间特征；
将三种尺度的通道注意力特征输入到语义分支的多尺度注意力特征提取模块，提取语义域中间特征；
将三种尺度的通道注意力特征以及水下的降质图像的梯度特征，输入到梯度域特征提取模块，提取梯度域中间特征；
采用语义分支的语义域特征解码模块对输入的语义域中间特征进行解码操作，所述语义域特征解码模块包括四个残差模块和一个卷积层，并将所述语义域特征解码模块输出的特征与语义掩码相乘，得到语义分支输出图像；
采用梯度域特征解码模块对输入的梯度域中间特征进行解码操作，所述梯度域特征解码模块包括两个u形卷积块和一个卷积层，所述梯度域特征解码模块输出梯度分支输出图像；
所述像素域特征解码模块包括六个残差模块，将所述语义域中间特征与像素域中间特征拼接后输入到像素域特征解码模块，经过两个残差模块后，与所述语义域特征解码模块第二个残差模块输出的特征进行拼接，再经过两个残差模块后，与所述梯度域特征解码模块第二个u形卷积块输出的特征进行拼接，最后再经过两个残差模块，得到像素分支输出图像；
将所述语义分支输出图像、像素分支输出图像和梯度分支输出图像进行融合，然后经过一个卷积层，得到增强后的水下清晰图像。
2.根据权利要求1所述的基于多领域信息融合的水下图像增强方法，其特征在于，所述掩码计算器包括四个残差模块。
3.根据权利要求1所述的基于多领域信息融合的水下图像增强方法，其特征在于，所述多尺寸注意力模块包括三个单尺寸特征注意力模块，每个单尺寸特征注意力模块对输入特征做一次全局平均值池化和全局最大值池化操作，并将池化操作得到的结果相加，得到一组一维的通道权重向量，通道权重向量再通过三层的全连接神经网络进一步挖掘特征信息，得到通道注意力，通道注意力再与输入特征进行通道维度上的乘法，得到单尺寸特征注意力模块的输出；
最下层单尺寸注意力模块的输出经过上采样与中层单尺寸注意力模块输出进行特征拼接操作，再次经过上采样与卷积操作与最上层单尺寸注意力模块的输出进行特征拼接操作，最后经过卷积得到多尺寸注意力模块的输出。
4.根据权利要求1所述的基于多领域信息融合的水下图像增强方法，其特征在于，所述多尺度注意力特征提取模块，包括一个多尺寸注意力模块和六个残差模块。
5.根据权利要求1所述的基于多领域信息融合的水下图像增强方法，其特征在于，所述梯度域特征提取模块，首先对输入的梯度特征进行一次3 × 3卷积运算扩充维度，再构造三个u形卷积块，将多通道注意力编码模块中的不同尺度的通道注意力特征分别输入到每个u形卷积块中进行特征拼接操作，最后再通过一次3 × 3卷积运算，得到梯度域特征提取模块的编码结果，输出梯度域中间特征。
6.根据权利要求1所述的基于多领域信息融合的水下图像增强方法，其特征在于，所述采用梯度域特征解码模块对输入的梯度域中间特征进行解码操作，包括：
输入特征经过两个u形卷积块之后与原输入特征相加，然后再输入到卷积层，最后得到梯度分支输出图像。
7.根据权利要求5或6所述的基于多领域信息融合的水下图像增强方法，其特征在于，所述u形卷积块，包括五个小块，每小块包含两次连续的“3 × 3卷积、Relu激活函数”，其中，第二个小块的输出特征与多通道注意力编码模块中的不同尺度的通道注意力特征拼接后，再经过三个小块的运算后输出。
8.根据权利要求1所述的基于多领域信息融合的水下图像增强方法，其特征在于，所述分层增强网络模型为每个分支的输出以及模型最后的输出设置损失函数，通过最小化所述损失函数来训练网络模型。
CN202210757566.3A 2022-06-30 2022-06-30 一种基于多领域信息融合的水下图像增强方法 Active CN114820395B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210757566.3A CN114820395B (zh) 2022-06-30 2022-06-30 一种基于多领域信息融合的水下图像增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210757566.3A CN114820395B (zh) 2022-06-30 2022-06-30 一种基于多领域信息融合的水下图像增强方法

Publications (2)

Publication Number Publication Date
CN114820395A CN114820395A (zh) 2022-07-29
CN114820395B true CN114820395B (zh) 2022-09-13

Family

ID=82523393

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210757566.3A Active CN114820395B (zh) 2022-06-30 2022-06-30 一种基于多领域信息融合的水下图像增强方法

Country Status (1)

Country Link
CN (1) CN114820395B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116579918B (zh) * 2023-05-19 2023-12-26 哈尔滨工程大学 基于风格无关判别器的注意力机制多尺度图像转换方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10482603B1 (en) * 2019-06-25 2019-11-19 Artificial Intelligence, Ltd. Medical image segmentation using an integrated edge guidance module and object segmentation network
CN111127493A (zh) * 2019-11-12 2020-05-08 中国矿业大学 基于注意力多尺度特征融合的遥感图像语义分割方法
CN112233038B (zh) * 2020-10-23 2021-06-01 广东启迪图卫科技股份有限公司 基于多尺度融合及边缘增强的真实图像去噪方法
CN113807355B (zh) * 2021-07-29 2023-08-25 北京工商大学 一种基于编解码结构的图像语义分割方法
CN113850824B (zh) * 2021-09-27 2024-03-29 太原理工大学 一种基于多尺度特征融合的遥感图像路网提取方法

Also Published As

Publication number Publication date
CN114820395A (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
CN108986050B (zh) 一种基于多分支卷积神经网络的图像和视频增强方法
CN111275637A (zh) 一种基于注意力模型的非均匀运动模糊图像自适应复原方法
Jiang et al. Underwater image enhancement with lightweight cascaded network
CN112767279B (zh) 一种基于离散小波集成生成对抗网络的水下图像增强方法
CN111275643A (zh) 基于通道和空间注意力的真实噪声盲去噪网络模型及方法
CN113284061B (zh) 一种基于梯度网络的水下图像增强方法
CN116797488A (zh) 一种基于特征融合与注意力嵌入的低照度图像增强方法
Mehra et al. TheiaNet: Towards fast and inexpensive CNN design choices for image dehazing
CN114820395B (zh) 一种基于多领域信息融合的水下图像增强方法
CN115861094A (zh) 一种融合注意力机制的轻量级gan水下图像增强模型
Zhang et al. Hierarchical attention aggregation with multi-resolution feature learning for GAN-based underwater image enhancement
Chen et al. Image denoising via deep network based on edge enhancement
Han et al. UIEGAN: Adversarial Learning-based Photo-realistic Image Enhancement for Intelligent Underwater Environment Perception
Huang et al. Underwater image enhancement based on color restoration and dual image wavelet fusion
CN113810683A (zh) 一种客观评估水下视频质量的无参考评价方法
Huang et al. Underwater image enhancement via LBP‐based attention residual network
Krishnan et al. A novel underwater image enhancement technique using ResNet
Liu et al. Attention-guided lightweight generative adversarial network for low-light image enhancement in maritime video surveillance
Niu et al. Underwater Waste Recognition and Localization Based on Improved YOLOv5.
Zhao et al. Nonuniform illumination correction for underwater images through a pseudo-siamese network
Hong et al. Multi-scale iterative network for underwater image restoration
Somasekar et al. Reduction of Artifacts and Edge Preservation of Underwater Images Using Deep Convolution Neural Network
Guodong et al. Underwater image enhancement and detection based on convolutional DCP and YOLOv5
Huang et al. Unsupervised image dehazing based on improved generative adversarial networks
Feng et al. An underwater image enhancement strategy based on pyramid attention mechanism

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant