CN113313644A - 一种基于残差双注意力网络的水下图像增强方法 - Google Patents
一种基于残差双注意力网络的水下图像增强方法 Download PDFInfo
- Publication number
- CN113313644A CN113313644A CN202110578932.4A CN202110578932A CN113313644A CN 113313644 A CN113313644 A CN 113313644A CN 202110578932 A CN202110578932 A CN 202110578932A CN 113313644 A CN113313644 A CN 113313644A
- Authority
- CN
- China
- Prior art keywords
- image
- attention
- channel
- residual
- underwater
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000012549 training Methods 0.000 claims abstract description 10
- 238000013507 mapping Methods 0.000 claims abstract description 8
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 29
- 238000011084 recovery Methods 0.000 claims description 19
- 230000004927 fusion Effects 0.000 claims description 9
- 230000002708 enhancing effect Effects 0.000 claims description 6
- 230000009191 jumping Effects 0.000 claims description 5
- 230000008719 thickening Effects 0.000 claims description 5
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 abstract description 2
- 239000008186 active pharmaceutical agent Substances 0.000 description 7
- 239000013256 coordination polymer Substances 0.000 description 7
- 230000004913 activation Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004806 packaging method and process Methods 0.000 description 3
- 241000282414 Homo sapiens Species 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 235000004257 Cordia myxa Nutrition 0.000 description 1
- 244000157795 Cordia myxa Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于残差双注意力网络的水下图像增强方法，具体按照以下步骤实施：步骤1、对输入的图像进行预处理；步骤2、将预处理的图像映射到R通道、G通道、B通道，分别对每个颜色通道进行单独的卷积操作；步骤3、使用基于残差双注意力的编解码器的深度网络架构对图像进行处理，编码器用于提取图像特征，减少空间维度，增大感受野；解码器用于逐步恢复恢复图像的细节信息和空间维度；利用预处理的图像对残差双注意力网络模型进行训练，得到训练好的残差双注意力网络模型；步骤4、将模糊的低质量的水下图像输入所述训练好的残差双注意力网络模型中，得到清晰的水下图像。解决了现有技术中存在的水下图像存在的颜色偏差的问题。
Description
技术领域
本发明属于图像处理技术领域，涉及一种基于残差双注意力网络的水下图像增强方法。
背景技术
海洋和人类的生活紧密相连，地球上71％的面积是海洋。其中蕴藏着丰富的矿产资源、生物资源和能源资源，被视为人类可以利用的“第六大洲”，在资源日益短缺的今天，海洋信息的获取、传输和处理对合理开发及利用海洋资源至关重要。因此，水下图像受到越来越多的关注，人们期望通过对水下图像的研究来获取有价值的信息。
水下图像作为人们获取水下信息的重要媒介，在海洋生物研究、水下目标检测、海洋能源勘测、海洋军事和水下考古学等领域均有重要应用。然而，水下图像通常受光的吸收作用导致其存在一定程度的颜色偏差，受光的散射作用导致其存在一定程度的细节模糊和对比度低等现象，为后续人们对水下信息的获取带来了困难。例如：由于水体的特殊特性，使其无法满足水下捕捞机器人的捕捞需求，同时对于精准识别目标物也具有一定的困难。
近年来，随着图像处理技术和计算机视觉的快速发展，越来越多的人利用计算机视觉技术和图像处理技术对水下图像进行一定程度的增强处理和颜色校正处理，用于得到清晰的水下图像，从中获取更多有价值的信息。因此，水下图像增强技术的关注度极高，主要用于增强退化图像的对比度与能见度，校正颜色偏差，提高图像质量。总的来说水下图像增强的任务可以分为以下几类：1.基于水下成像模型的方法。2.基于传统图像处理知识的增强方法和颜色校正方法。3.基于深度卷积神经网络的水下图像增强方法。4.基于生成对抗网络的水下图像增强方法
发明内容
本发明的目的是提供一种基于残差双注意力网络的水下图像增强方法，解决了现有技术中存在的水下图像存在的颜色偏差的问题。
本发明所采用的技术方案是，一种基于残差双注意力网络的水下图像增强方法，具体按照以下步骤实施：
步骤1、对输入的图像进行预处理；
步骤2、将预处理的图像映射到R通道、G通道、B通道，分别对每个颜色通道进行单独的卷积操作；
步骤3、使用基于残差双注意力的编解码器的深度网络架构对步骤2得到的图像进行处理，编码器用于提取图像特征，减少空间维度，增大感受野；解码器用于逐步恢复图像的细节信息和空间维度；利用预处理的图像对残差双注意力网络模型进行训练，得到训练好的残差双注意力网络模型；
步骤4、将模糊的低质量的水下图像输入所述训练好的残差双注意力网络模型中，得到清晰的水下图像。
本发明的特点还在于：
步骤1具体按照以下实施：对低质量的模糊的水下图像进行预处理，将图像的像素值归一化为[0,1]，并裁剪为256×256×3。
步骤2具体按照以下实施：将模糊的低质量的水下图像作为输入，将其分为R通道、G通道和B通道，分别对每个颜色通道进行单独的卷积操作，使深度网络了解应该为每个颜色通道分配的权重，并对其进行特征映射连接，对其进行输出，将其作为整个网络的中间输出，并采用MAE损失函数和SSIM损失函数进行约束，用于提高颜色恢复的质量和细节信息。
步骤3中使用基于残差双注意力的编解码器的深度网络架构对步骤2得到的图像进行处理具体按照以下实施：
将步骤2得到的图像作为图像去雾网络的输入，在编解码部分采用了卷积、深度可分离金字塔模块和残差双注意力模块，使用卷积用于提取图像的特征，使用深度可分离金字塔模块用于提高图像的亮度信息和对比度信息，使用残差双注意力模块用于对图像的细节和高频增厚的一些重要信息进行提取和细节增强，其中，残差双注意力模块采用残差块和通道注意力，像素注意力相结合的方式，通道注意力将更多的注意力集中在更重要的通道信息上，像素注意力将更多的注意力集中在高频和增厚的像素区域，在该模块的中间采用平滑扩张残差块，使用不同的扩张率，扩大感受野，并对平滑扩张残差块进行融合操作，使不同层次的信息充分融合，提取更多有用的信息。最后，将编码部分和解码部分进行跳跃连接，将浅层信息与深层信息进行充分融合，通过该网络模型来得到清晰的水下图像。
步骤3中残差块的公式为：
xl+1＝xl+F(xl+Wl) (1)
其中，xl+1为第l+1层卷积层的卷积结果，xl为第l层卷积层的卷积结果，Wl为第l层卷积层的权重，F(xl+Wl)为残差部分。
本发明的有益效果是：本发明的目的是提供一种基于残差双注意力网络的水下图像增强方法，解决了现有技术中存在的水下图像存在的颜色偏差、背景模糊、对比度和能见度低等问题。
附图说明
图1为本发明一种基于残差双注意力网络的水下图像增强方法的流程示意图；
图2为本发明一种基于残差双注意力网络的水下图像增强方法中深度可分离的金字塔模块结构图；
图3为本发明一种基于残差双注意力网络的水下图像增强方法中残差双注意力基本块模块结构图；
图4为本发明一种基于残差双注意力网络的水下图像增强方法中通道注意力和像素注意力相结合的模块结构图；
图5为本发明一种基于残差双注意力网络的水下图像增强方法中平滑扩张残差块模块；
图6为本发明一种基于残差双注意力网络的水下图像增强方法中平滑扩张残差块的融合模块；
图7为本发明一种基于残差双注意力网络的水下图像增强方法中残差双注意力网络水下图像增强的整体结构示意图；
图8为本发明一种基于残差双注意力网络的水下图像增强方法中水下图像增强结果对比图；
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明一种基于残差双注意力网络的水下图像增强方法，具体按照以下步骤实施：
步骤1、对输入的图像进行预处理；
步骤1具体按照以下实施：对低质量的模糊的水下图像进行预处理，将图像的像素值归一化为[0,1]，并裁剪为256×256×3。
步骤2、将预处理的图像映射到R通道、G通道、B通道，分别对每个颜色通道进行单独的卷积操作；
步骤2具体按照以下实施：将模糊的低质量的水下图像作为输入，将其分为R通道、G通道和B通道，分别对每个颜色通道进行单独的卷积操作，使深度网络了解应该为每个颜色通道分配的权重，并对其进行特征映射连接，对其进行输出，将其作为整个网络的中间输出，并采用MAE损失函数和SSIM损失函数进行约束，用于提高颜色恢复的质量和细节信息。
步骤3、使用基于残差双注意力的编解码器的深度网络架构对步骤2得到的图像进行处理，编码器用于提取图像特征，减少空间维度，增大感受野；解码器用于逐步恢复图像的细节信息和空间维度；利用预处理的图像对残差双注意力网络模型进行训练，得到训练好的残差双注意力网络模型。
步骤3中使用基于残差双注意力的编解码器的深度网络架构对步骤2得到的图像进行处理具体按照以下实施：
将步骤2得到的图像作为图像去雾网络的输入，在编解码部分采用了卷积、深度可分离金字塔模块和残差双注意力模块，使用卷积用于提取图像的特征，使用深度可分离金字塔模块用于提高图像的亮度信息和对比度信息，使用残差双注意力模块用于对图像的细节和高频增厚的一些重要信息进行提取和细节增强，其中，残差双注意力模块采用残差块和通道注意力，像素注意力相结合的方式，通道注意力将更多的注意力集中在更重要的通道信息上，像素注意力将更多的注意力集中在高频和增厚的像素区域，在该模块的中间采用平滑扩张残差块，使用不同的扩张率，扩大感受野，并对平滑扩张残差块进行融合操作，使不同层次的信息充分融合，提取更多有用的信息。最后，将编码部分和解码部分进行跳跃连接，将浅层信息与深层信息进行充分融合，通过该网络模型来得到清晰的水下图像。
步骤3中残差块的公式为：
xl+1＝xl+F(xl+Wl) (2)
其中，xl+1为第l+1层卷积层的卷积结果，xl为第l层卷积层的卷积结果，Wl为第l层卷积层的权重，F(xl+Wl)为残差部分。
步骤4、将模糊的低质量的水下图像输入所述训练好的残差双注意力网络模型中，得到清晰的水下图像。
本发明一种基于残差双注意力网络的水下图像增强方法中残差双注意力网络模型的损失函数公式为：
MAE损失：利用L1损失优化颜色恢复网络模块结果的纹理信息和细节结构，绝对值误差用于测量图像经过颜色恢复网络模块的结果与对应清晰图像之差的绝对值。具体的公式如下所示：
公式中Yi代表输入的清晰的水下图像，xi代表输入的第i张模糊的水下图像，f(xi)代表通过颜色恢复模块预测出来的清晰的水下图像。
SSIM损失函数：因为颜色恢复模块是对每一个颜色通道进行单独的卷积操作并为其分配不同的权重信息，使其产生视觉上令人愉悦的结果。因此，我们使用SSIM损失优化颜色恢复网络模块的输出结果，提高颜色恢复的图像质量。SSIM损失函数考虑了亮度、对比度和结构指标，设x和y分别表示模糊的低质量的水下图像和清晰的水下图像。
表示输入图像x经过颜色恢复网络后输出的图像。因此，
和y之间的SSIM计算公式如下所示：
其中g、c和s分别表示亮度、对比度和结构，α、β和γ是系数。SSIM损失可以定义为：
MSE损失函数：为了使图像去雾后输出的清晰的水下图像与真实的清晰水下图像越接近越好，在图像去雾网络使用L2损失函数。均方误差损失函数是基于逐像素比较图像去雾后的水下图像与清晰的水下图像之间的差异，然后取平方，具体的公式如下所示：
因此本发明一种基于残差双注意力网络的水下图像增强方法的总损失函数为：
Loss＝λ1LossMAE+λ2LossSSIM+λ3LossMSE (7)
其中，λ1、λ2、λ3代表设置的参数。
本发明一种基于残差双注意力网络的水下图像增强方法，分为两个阶段，将其分为颜色恢复网络和图像去雾网络，具体的细节介绍如下所述：
在颜色恢复网络中，将模糊的低质量的水下图像作为输入，将其分为R通道、G通道和B通道，分别对每个颜色通道进行单独的卷积操作，使深度网络了解应该为每个颜色通道分配的权重，并对其进行特征映射连接，使其产生视觉上令人愉悦的颜色。在颜色恢复网络中，对其进行输出，将其作为整个网络的中间输出，并采用MAE损失函数和SSIM损失函数进行约束，用于提高颜色恢复的质量和细节信息。
在图像去雾网络中，将颜色恢复网络的输出作为图像去雾网络的输入，在该网络中，采用编解码的网络架构，在编解码部分采用了卷积、深度可分离金字塔模块和残差双注意力模块，使用卷积用于提取图像的特征，使用深度可分离金字塔模块用于提高图像的亮度信息和对比度信息，使用残差双注意力模块用于对图像的细节和高频增厚的一些重要信息进行提取和细节增强。在该模块的中间采用平滑扩张残差块，使用不同的扩张率，扩大感受野，并对平滑扩张残差块进行融合操作，使不同层次的信息充分融合，提取更加丰富的信息。最后，将编码部分和解码部分进行跳跃连接，将浅层信息与深层信息进行充分融合，通过该网络模型来得到清晰的水下图像。在图像去雾网络中，使用MSE损失函数，用于优化图像去雾后输出的清晰的水下图像与真实的清晰水下图像之间的差异。
采用数据集对所述残差双注意力网络模型进行训练，得到训练好的残差双注意力网络模型。
将模糊的低质量的水下图像输入所述训练好的残差双注意力网络模型中，得到清晰的水下图像。
在图像去雾网络中的深度可分离的金字塔模块采用深度可分离卷积相对于其他卷积而言，所用的参数更少，对输入特征采用不同大小的卷积核进行卷积操作，然后对其做concat操作，最后使用1×1的卷积。
在图像去雾网络中残差双注意力模块采用了残差块、通道注意力和像素注意力相结合的方式，用于对图像的细节和高频增厚的一些重要信息进行提取和细节增强。
在图像去雾网络中平滑扩张残差块采用不同的扩张率，用于扩大图像的感受野，并在平滑扩张残差块的最后对其进行融合操作，使不同层次的信息充分融合，提取更加丰富的信息。
实施例
步骤1、对输入的图像进行预处理，将图像的像素值归一化为[0,1]，并裁剪为256×256×3。
步骤2、将卷积操作、实例归一化和激活函数ReLU组合为一个卷积层。
F＝ReLU(Instance_norm(Conv(x))) (8)
步骤3、构建需要的深度可分离金字塔模块DS_Block，在实验代码的编写中把DS_Block模块封装到函数里，这样在网络编写的时候需要这个模块就直接调用这个函数。如图2所示，在DS_Block模块中，采用深度可分离卷积，深度可分离卷积包括逐深度卷积和逐点卷积，对输入特征分别做1×1，3×3，5×5和7×7的逐深度卷积，然后对它们做1×1的逐点卷积，经过SeLU激活函数，对其进行concat操作后经过Conv1x1、IN、ReLU，最后对特征进行输出。
步骤4、构建需要的残差双注意力基本块CP_Resblock，在实验代码的编写中把CP_Resblock模块封装到函数里，在需要该模块的时候可以直接调用这个函数。图3给出了总的残差双注意力模块的结构，在CP_Resblock模块中，采用残差模块和通道注意力以及像素注意力相结合的方式，图4给出了具体的通道注意力和像素注意力的结构。在残差双注意力模块使用卷积核大小为3×3的残差块提取特征，将其连接到通道注意力模块中，将特征图的大小从C×H×W变成C×1×1，依次经过一个3×3卷积层，ReLU激活函数，3×3卷积层，Sigmoid激活函数，提取通道上的权重信息，用于关注不同通道的权重信息，使网络更加关注通道与通道之间的关系。再将其经过像素注意力模块，将输出特征依次经过1×1卷积层，ReLU激活函数，1×1卷积层和Sigmoid激活函数，使其形状由C×H×W变成1×H×W，使网络更加关注雾度的像素信息，最后将残差块的输入与像素注意力的输出进行相加输出。
步骤5、构建需要的平滑扩张残差块模块SD_Resblock，在实验代码的编写中把SD_Resblock模块封装到函数里，在需要该模块的时候可以直接调用这个函数。如图5所示的是一个平滑扩张残差块的结构，在SD_Resblock模块中，采用可分离和可共享的卷积作为额外的卷积层用SSConv3×3表示，在如图6所示的是本发明的基于融合的六个平滑扩张残差块，标有rate的值代表的是扩张率，Fusion模块是对它们的输出特征与其所对应的权值进行相乘相加的线性组合。
步骤6、将处理后的输入图像分为R通道、G通道和B通道，即用xR,xG,xB表示，分别对每一个颜色通道进行卷积操作，每一个颜色通道经过卷积核大小为7×7和步长为1通道大小为64的卷积层：
OR1＝F1(xR) (9)
OG1＝F2(xG) (10)
OB1＝F3(xB) (11)
步骤7、将输出特征OR1，OG1，OB1分别经过卷积核大小为5×5和步长为1通道大小为64的卷积层：
OR2＝F4(OR1) (12)
OG2＝F5(OG1) (13)
OB2＝F6(OB1) (14)
步骤8、将输出特征OR2，OG2，OB2分别经过卷积核大小为3×3和步长为1通道大小为64的卷积层：
OR3＝F7(OR2) (15)
OG3＝F8(OG2) (16)
OB3＝F9(OB2) (17)
步骤9、将输出特征OR3，OG3，OB3分别经过卷积核大小为7×7和步长为1通道大小为32的卷积层：
OR4＝F10(OR3) (18)
OG4＝F11(OG3) (19)
OB4＝F12(OB3) (20)
步骤10、将输出特征OR4，OG4，OB4分别经过卷积核大小为5×5和步长为1通道大小为32的卷积层：
OR5＝F13(OR4) (21)
OG5＝F14(OG4) (22)
OB5＝F15(OB4) (23)
步骤11、将输出特征OR5，OG5，OB5分别经过卷积核大小为3×3和步长为1通道大小为32的卷积层：
OR6＝F16(OR5) (24)
OG6＝F17(OG5) (25)
OB6＝F18(OB5) (26)
步骤12、将输出特征OR6，OG6，OB6做Concat1连接：
O7＝Concat1(OR6,OG6,OB6) (27)
步骤13、将输出特征O7经过一个卷积核大小3×3和步长为1通道为32的卷积层：
O8＝F19(O7) (28)
步骤14、将输出特征O8经过一个卷积核大小1×1和步长为1通道为3的卷积层，将其作为颜色恢复网络的输出Output1(O9)：
O9＝F20(O8) (29)
步骤6-14为颜色恢复网络，主要是将输入的水下图像映射到R通道、G通道、B通道，分别对每个颜色通道进行单独的卷积操作，使深度网络了解应该为每个颜色通道应该分配的权重，使其产生感知上令人愉悦的颜色。
步骤15、在图像去雾网络中，将Output1作为Input2的输入，即Input2的大小为256×256×3，将输出特征O9经过一个卷积核大小为3×3和步长为1通道为64的卷积层：
O10＝F21(O9) (30)
步骤16、将输出特征O10经过卷积组成的深度可分离金字塔DS_Block1模块中：
O11＝DS_Block1(O10) (31)
步骤17、将输出特征O11经过卷积组成的残差双注意力CP_Resblock1模块中：
O12＝CP_Resblock1(O11) (32)
步骤18、将输出特征O12使用卷积核大小为3×3和步长为2通道为64的卷积层进行下采样处理：
O13＝DownSample1(O12) (33)
步骤19、将输出特征O13经过一个卷积核大小为3×3和步长为1通道为64的卷积层：
O14＝F22(O13) (34)
步骤20、将输出特征O14经过卷积组成的深度可分离金字塔DS_Block2模块中：
O15＝DS_Block2(O14) (35)
步骤21、将输出特征O15经过卷积组成的残差双注意力CP_Resblock2模块中：
步骤22、将输出特征O16使用卷积核大小为3×3和步长为2通道为64的卷积层进行下采样处理：
O17＝DownSample2(O16) (37)
步骤16-22为图像去雾网络的编码器部分，在该部分主要采用了卷积、深度可分离金字塔模块、残差双注意力模块和下采样，主要用于提取图像特征，减少空间维度，增大感受野，对图像的亮度、对比度和细节信息进行提取。
步骤23、将输出特征O17经过通道数为64，扩张率为1的平滑扩张残差块SD_Resblock1模块中：
O18＝SD_Resblock1(O17) (38)
步骤24、将输出特征O18经过通道数为64，扩张率为1的平滑扩张残差块SD_Resblock2模块中：
O19＝SD_Resblock2(O18) (39)
步骤25、将输出特征O19经过通道数为64，扩张率为2的平滑扩张残差块SD_Rseblock3模块中：
O20＝SD_Resblock3(O19) (40)
步骤26、将输出特征O20经过通道数为64，扩张率为2的平滑扩张残差块SD_Resblock4模块中：
O21＝SD_Resblock4(O20) (41)
步骤27、将输出特征O21经过通道数为64，扩张率为4的平滑扩张残差块SD_Resblock5模块中：
O22＝SD_Resblock5(O21) (42)
步骤28、将输出特征O22经过通道数为64，扩张率为4的平滑扩张残差块SD_Resblock6模块中：
O23＝SD_Resblock6(O22) (43)
步骤29、输出特征O19，O21，O23对应的权重为M1,M2,M3，对它们的输出特征与权重进行线性组合：
O24＝O19×M1+O21×M2+O23×M3 (44)
步骤23-29是编解码的中间部分，在该部分采用了扩张率分别为1、1、2、2、4、4的平滑扩张残差块，对其做特征融合操作，使不同层次的信息充分融合，提取更多有用的信息。
步骤30、将输出特征O24使用卷积核大小3×3和步长为2通道为64的转置卷积层进行上采样处理：
O25＝Upsampling1(O24) (45)
步骤31、将输出特征O16与O25进行Concat2跳跃连接：
O26＝Concat2(O16,O25) (46)
步骤32、将输出特征O26经过一个卷积核大小为3×3和步长为1通道为64的卷积层：
O27＝F23(O26) (47)
步骤33、将输出特征O27经过卷积组成的深度可分离金字塔DS_Block3模块中：
O28＝DS_Block3(O27) (48)
步骤34、将输出特征O28经过卷积组成的残差双注意力CP_Resblock3模块中：
O29＝CP_Resblock3(O28) (49)
步骤35、将输出特征O29使用卷积核大小3×3和步长为2通道为64的转置卷积层进行上采样处理：
O30＝UpSampling2(O29) (50)
步骤36、将输出特征O12与O30进行Concat3跳跃连接：
O31＝Concat3(O12,O30) (51)
步骤37、将输出特征O31经过一个卷积核大小为3×3和步长为1通道为64的卷积层：
O32＝F24(O31) (52)
步骤38、将输出特征O32经过卷积组成的深度可分离金字塔DS_Block4模块中：
O33＝DS_Block4(O32) (53)
步骤39、将输出特征O33经过卷积组成的残差双注意力CP_Resblock4模块中：
O34＝CP_Resblock4(O33) (54)
步骤30-39为图像去雾网络的解码器部分，在该部分采用了上采样、卷积、深度可分离金字塔模块和残差双注意力模块，用于恢复图像的细节信息和空间信息，并且对其做了跳跃连接使得编解码器能够更好的恢复图像的细节信息，还原图像的精度。
步骤40、将输出特征O34经过一个卷积核大小为1×1和步长为1通道为3的卷积层，即可得到最后的输出图像结果，此步骤后就构成了卷积神经网络模型(结构如图7)：
O35＝F25(O34) (55)
步骤41、采用预处理好的数据集对残差双注意力网络模型进行训练，得到水下图像增强的网络模型。利用上文提到的损失函数对训练网络得到的结果进行约束，然后反向传播更新参数，通过150次的训练，这里的1次指的是把预处理好的所有图片训练一遍，最后得到训练好的水下图像增强的网络模型。
步骤42、将待处理的低质量的模糊的水下图像放入训练好的模型中进行测试，最终输出增强后的结果，对比结果如图8所示。第一行是低质量的模糊的水下图像，第二行是使用本发明的模型增强后的水下图像，第三行是清晰的水下图像。
Claims (5)
1.一种基于残差双注意力网络的水下图像增强方法，其特征在于，具体按照以下步骤实施：
步骤1、对输入的图像进行预处理；
步骤2、将预处理的图像映射到R通道、G通道、B通道，分别对每个颜色通道进行单独的卷积操作；
步骤3、使用基于残差双注意力的编解码器的深度网络架构对步骤2得到的图像进行处理，编码器用于提取图像特征，减少空间维度，增大感受野；解码器用于逐步恢复图像的细节信息和空间维度；利用预处理的图像对残差双注意力网络模型进行训练，得到训练好的残差双注意力网络模型；
步骤4、将模糊的低质量的水下图像输入所述训练好的残差双注意力网络模型中，得到清晰的水下图像。
2.根据权利要求1所述的一种基于残差双注意力网络的水下图像增强方法，其特征在于，所述步骤1具体按照以下实施：对低质量的模糊的水下图像进行预处理，将图像的像素值归一化为[0,1]，并裁剪为256×256×3。
3.根据权利要求1所述的一种基于残差双注意力网络的水下图像增强方法，其特征在于，所述步骤2具体按照以下实施：将模糊的低质量的水下图像作为输入，将其分为R通道、G通道和B通道，分别对每个颜色通道进行单独的卷积操作，使深度网络了解应该为每个颜色通道分配的权重，并对其进行特征映射连接，对其进行输出，将其作为整个网络的中间输出，并采用MAE损失函数和SSIM损失函数进行约束，用于提高颜色恢复的质量和细节信息。
4.根据权利要求1所述的一种基于残差双注意力网络的水下图像增强方法，其特征在于，所述步骤3中使用基于残差双注意力的编解码器的深度网络架构对步骤2得到的图像进行处理具体按照以下实施：
将步骤2得到的图像作为图像去雾网络的输入，在编解码部分采用了卷积、深度可分离金字塔模块和残差双注意力模块，使用卷积用于提取图像的特征，使用深度可分离金字塔模块用于提高图像的亮度信息和对比度信息，使用残差双注意力模块用于对图像的细节和高频增厚的一些重要信息进行提取和细节增强，其中，残差双注意力模块采用残差块和通道注意力，像素注意力相结合的方式，通道注意力将更多的注意力集中在更重要的通道信息上，像素注意力将更多的注意力集中在高频和增厚的像素区域，在该模块的中间采用平滑扩张残差块，使用不同的扩张率，扩大感受野，并对平滑扩张残差块进行融合操作，使不同层次的信息充分融合，提取更多有用的信息。最后，将编码部分和解码部分进行跳跃连接，将浅层信息与深层信息进行充分融合，通过该网络模型来得到清晰的水下图像。
5.根据权利要求1所述的一种基于残差双注意力网络的水下图像增强方法，其特征在于，所述步骤3中残差块的公式为：
xl+1＝xl+F(xl+Wl) (1)
其中，xl+1为第l+1层卷积层的卷积结果，xl为第l层卷积层的卷积结果，Wl为第l层卷积层的权重，F(xl+Wl)为残差部分。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110578932.4A CN113313644B (zh) | 2021-05-26 | 2021-05-26 | 一种基于残差双注意力网络的水下图像增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110578932.4A CN113313644B (zh) | 2021-05-26 | 2021-05-26 | 一种基于残差双注意力网络的水下图像增强方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113313644A true CN113313644A (zh) | 2021-08-27 |
| CN113313644B CN113313644B (zh) | 2024-03-26 |
Family
ID=77375171
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110578932.4A Active CN113313644B (zh) | 2021-05-26 | 2021-05-26 | 一种基于残差双注意力网络的水下图像增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113313644B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113837963A (zh) * | 2021-09-26 | 2021-12-24 | 大连理工大学 | 基于深度网络在lab颜色空间下的水下图像增强方法 |
| CN114529713A (zh) * | 2022-01-14 | 2022-05-24 | 电子科技大学 | 一种基于深度学习的水下图像增强方法 |
| CN114862713A (zh) * | 2022-04-29 | 2022-08-05 | 西安理工大学 | 基于注意力平滑膨胀卷积的两阶段图像去雨方法 |
| CN114926359A (zh) * | 2022-05-20 | 2022-08-19 | 电子科技大学 | 联合双颜色空间恢复和多级解码结构的水下图像增强方法 |
| WO2023142904A1 (zh) * | 2022-01-30 | 2023-08-03 | 京东方科技集团股份有限公司 | 图像处理方法、电子设备和非瞬态计算机可读介质 |
| CN116563145A (zh) * | 2023-04-26 | 2023-08-08 | 北京交通大学 | 基于颜色特征融合的水下图像增强方法及系统 |
| WO2024077738A1 (en) * | 2022-10-13 | 2024-04-18 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Learned image compression based on fast residual channel attention network |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2020100200A4 (en) * | 2020-02-08 | 2020-06-11 | Huang, Shuying DR | Content-guide Residual Network for Image Super-Resolution |
| CN112288658A (zh) * | 2020-11-23 | 2021-01-29 | 杭州师范大学 | 一种基于多残差联合学习的水下图像增强方法 |
| CN112365476A (zh) * | 2020-11-13 | 2021-02-12 | 南京信息工程大学 | 一种基于双通路深度网络的雾天能见度检测方法 |
| CN112767283A (zh) * | 2021-02-03 | 2021-05-07 | 西安理工大学 | 一种基于多图像块划分的非均匀图像去雾方法 |
-
2021
- 2021-05-26 CN CN202110578932.4A patent/CN113313644B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2020100200A4 (en) * | 2020-02-08 | 2020-06-11 | Huang, Shuying DR | Content-guide Residual Network for Image Super-Resolution |
| CN112365476A (zh) * | 2020-11-13 | 2021-02-12 | 南京信息工程大学 | 一种基于双通路深度网络的雾天能见度检测方法 |
| CN112288658A (zh) * | 2020-11-23 | 2021-01-29 | 杭州师范大学 | 一种基于多残差联合学习的水下图像增强方法 |
| CN112767283A (zh) * | 2021-02-03 | 2021-05-07 | 西安理工大学 | 一种基于多图像块划分的非均匀图像去雾方法 |
Non-Patent Citations (2)
| Title |
|---|
| 李道纪;郭海涛;卢俊;赵传;林雨准;余东行;: "遥感影像地物分类多注意力融和U型网络法", 测绘学报, no. 08 * |
| 董猛;吴戈;曹洪玉;景文博;于洪洋;: "基于注意力残差卷积网络的视频超分辨率重构", 长春理工大学学报(自然科学版), no. 01 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113837963A (zh) * | 2021-09-26 | 2021-12-24 | 大连理工大学 | 基于深度网络在lab颜色空间下的水下图像增强方法 |
| CN113837963B (zh) * | 2021-09-26 | 2024-02-09 | 大连理工大学 | 基于深度网络在lab颜色空间下的水下图像增强方法 |
| CN114529713A (zh) * | 2022-01-14 | 2022-05-24 | 电子科技大学 | 一种基于深度学习的水下图像增强方法 |
| WO2023142904A1 (zh) * | 2022-01-30 | 2023-08-03 | 京东方科技集团股份有限公司 | 图像处理方法、电子设备和非瞬态计算机可读介质 |
| CN114862713A (zh) * | 2022-04-29 | 2022-08-05 | 西安理工大学 | 基于注意力平滑膨胀卷积的两阶段图像去雨方法 |
| CN114862713B (zh) * | 2022-04-29 | 2023-07-25 | 西安理工大学 | 基于注意力平滑膨胀卷积的两阶段图像去雨方法 |
| CN114926359A (zh) * | 2022-05-20 | 2022-08-19 | 电子科技大学 | 联合双颜色空间恢复和多级解码结构的水下图像增强方法 |
| CN114926359B (zh) * | 2022-05-20 | 2023-04-07 | 电子科技大学 | 联合双颜色空间恢复和多级解码结构的水下图像增强方法 |
| WO2024077738A1 (en) * | 2022-10-13 | 2024-04-18 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Learned image compression based on fast residual channel attention network |
| CN116563145A (zh) * | 2023-04-26 | 2023-08-08 | 北京交通大学 | 基于颜色特征融合的水下图像增强方法及系统 |
| CN116563145B (zh) * | 2023-04-26 | 2024-04-05 | 北京交通大学 | 基于颜色特征融合的水下图像增强方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113313644B (zh) | 2024-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113313644B (zh) | 一种基于残差双注意力网络的水下图像增强方法 | |
| CN111833246B (zh) | 基于注意力级联网络的单帧图像超分辨方法 | |
| CN113392711B (zh) | 一种基于高层语义与噪声抑制的烟雾语义分割方法及系统 | |
| CN112184577A (zh) | 基于多尺度自注意生成对抗网络的单幅图像去雾方法 | |
| CN111738948B (zh) | 一种基于双U-net的水下图像增强方法 | |
| CN111754438A (zh) | 基于多分支门控融合的水下图像复原模型及其复原方法 | |
| CN113256520B (zh) | 一种域自适应的水下图像增强方法 | |
| CN116309107A (zh) | 基于Transformer和生成式对抗网络的水下图像增强方法 | |
| CN115578280A (zh) | 一种双分支遥感图像去雾网络的构建方法 | |
| CN115035010A (zh) | 一种由卷积网络引导模型映射的水下图像增强方法 | |
| CN115272072A (zh) | 一种基于多特征图像融合的水下图像超分辨率方法 | |
| CN114639002A (zh) | 一种基于多模式特征的红外与可见光图像融合方法 | |
| CN113807356A (zh) | 一种端到端的低能见度图像语义分割方法 | |
| Liu et al. | Multi-Scale Underwater Image Enhancement in RGB and HSV Color Spaces | |
| CN117351340A (zh) | 基于双颜色空间的水下图像增强算法 | |
| CN116523985A (zh) | 一种结构和纹理特征引导的双编码器图像修复方法 | |
| CN111901610A (zh) | 一种基于多层编码器的并行图像描述方法 | |
| CN116229083A (zh) | 一种基于轻量u型结构网络的图像去噪方法 | |
| CN113837963B (zh) | 基于深度网络在lab颜色空间下的水下图像增强方法 | |
| CN115953311A (zh) | 基于Transformer的多尺度特征表示的图像去雾方法 | |
| CN115578638A (zh) | 一种基于U-Net的多层次特征交互去雾网络的构建方法 | |
| CN114881879A (zh) | 一种基于亮度补偿残差网络的水下图像增强方法 | |
| CN115131414A (zh) | 基于深度学习的无人机图像对齐方法、电子设备和存储介质 | |
| CN115705493A (zh) | 一种基于多特征注意力神经网络的图像去雾建模方法 | |
| Feng et al. | An underwater image enhancement strategy based on pyramid attention mechanism |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |