CN113205468B - 一种基于自注意力机制和gan的水下图像实时复原模型方法 - Google Patents

Abstract

本发明涉及一种基于自注意力机制和GAN的水下图像实时复原模型，属于深度学习技术领域。它将生成对抗网络作为基本架构，生成网络采用编码‑解码结构，通过9个残差块和反卷积运算，以原始分辨率生成合成图像，并引入自注意力模块，可以捕获更丰富的高级特征以提升模型性能，为了同时保持图像内容和去除水下噪声，判别网络采用一种包含对抗分支和批评分支的多分支判别器的结构。本发明通过增加自注意力模块，改进模型结构较为理想地解决了水下图像处理时间效率低的问题，训练有素的基于GAN‑RS的方法可以适应各种水下情况，具有出色的实时处理性能。

Description

一种基于自注意力机制和GAN的水下图像实时复原模型方法

技术领域

本发明涉及图像处理和深度学习技术领域，更具体的说，本发明面向水下退化图像的复原任务。

背景技术

近年来，水下机器人被广泛应用于海洋资源探索等方面，水下退化图像的增强和复原技术由于其对于海洋探索开发利用的重要意义而备受关注。海洋环境复杂度多样，多重不利因素如光在水中传输时又会受到水的吸收、反射和散射等影响而发生严重的衰减,采集到的水下图像难免会出现可见范围有限、模糊不清、低对比度、非均匀光照、色彩不协调以及噪声等问题。水下图像增强与复原技术旨在对退化的水下图像进行修复，以期改善原始水下图像的对比度低、颜色失真、细节模糊等问题，以获得更加清晰的水下图像。水下图像的复原方法依赖具体的物理模型，需考虑图像质量下降的根本原因，并使其恢复降质前的状态。那么如何学习一个真实、合理的水下成像模型，受先验知识和假设条件的约束。

发明内容

本发明的目的在于针对图像处理的实时性要求，提出一种基于自注意力机制和GAN的水下图像实时复原模型方法。

本发明的目的是通过以下技术方案来实现的：一种基于自注意力机制和GAN的水下图像实时复原模型方法，包括以下步骤：

1.一种基于自注意力机制和GAN的水下图像实时复原模型方法，其特征在于：具体实现步骤如下：

S1、相关工作：

S1.1、生成对抗网络模型：GAN是由生成器和判别器两个网络组成的深度神经网络；生成器和判别器均采用博弈论中零和博弈的思想，其中生成器的目标是学习退化水下图像与清晰水下图像间的映射关系，以生成高质量的清晰水下图像；判别器的目标是使网络学会区分生成的虚假图像和真实的参考图。判别器的任务是双重的，即，第一，保存图像内容；第二，去除水下噪音。在对抗的过程中，两者共同制约，共同进步，使生成模型生成的样本更接近真实样本，从而获得所需样本；

S1.2、：自我注意力模块：自注意力机制计算图像中任意两个像素点之间的关系，以获得图像的全局几何特征。它是一种使内部细节与外部感官保持一致的机制，以提高某些区域的观察精度。自注意力机制是对注意力机制的改进，能够快速提取稀疏矩阵数据的重要特征，并且减少了对外部信息的依赖，能够更好地捕捉数据或特征的内部相关性；

S2、提出的模型和学习：

S2.1、建立模型框架：架构包括一个生成网络G和一个多分支的判别网络D，D包含一个对抗分支Adversarial branch和一个批评分支Critic branch。基于正向传播CNN的生成网络G是一种由9个残差块叠加组成的编码器-解码器结构。经过反卷积运算，以原始分辨率生成合成图像。为了同时保持图像内容和去除水下噪声，判别网络D将一组水下原始图像和合成图像作为输入，通过正向传播CNN从两个方面分析图像，然后生成对抗映射和水下索引映射。判别网络D的主干是一层卷积，为了保持图像内容，通过对抗分支识别图像真伪。另一方面，批评分支被精心设计成一种回归，以辨别图像是否属于水下场景。即评估图像中水下特性的强度，促进图像发生器产生无水下噪声的图像；

S2.2、增添自注意力模块：

记自注意力模块输入为前一个隐藏层中的卷积特征图x∈R^C×H×W,将其维度变为x∈R^C×N，其中C为通道数，N＝H×W。首先使用两个1×1卷积对输入x执行W_f∈R^℃×C和W_g∈R^℃×C运算后，f(x)＝W_fx,g(x)＝W_gx表示将具有不同权重矩阵的图像特征相乘而获得的两个特征空间，其中℃＝C/8；将两个张量转换为矩阵形式，然后将f(x)的转置与g(x)相乘得到的结果进行softmax运算，得到注意力图β∈R^N×N：

β_j,i用来表示模型合成区域j的图像内容区域i的相关性，两个位置的特征表示越相似，它们之间的相关性越强。同时，将全局信息和局部信息整合到一起，将x输入到1×1卷积进行线性变换W_h∈R^C×C得到特征图h(x)＝W_hx,然后将注意力图β和h(x)相乘得到自注意力特征图，记为o＝(o₁,o₂,...,o_j,...,o_N)∈R^C×N,并将其形状变为R^C×H×W，得到：

最后，得到注意力层的输出为：

y_i＝γo_i+x_i

为了兼顾领域信息和远距离特征相关性，引入初始化为0参数γ，并能通过逐步的学习来更新其权重参数，让网络首先关注领域信息，之后再关联到全局其他位置的特征。因此自注意力模块具有关联全局信息，建立长远依赖关系能力；

S3、基于自注意力机制和生成对抗网络：

S3.1、生成网络：为了提高网络的鲁棒性，在网络中加入残差块,经过反卷积运算，以原始分辨率生成合成图像；

S3.2、对抗网络：这两个分支是使用单元的堆栈来关注图像特征。作为权衡，使用4个CBR单元构建对抗分支，而批评分支使用6个单元；

3.在一个优选地实施方式中，所述步骤S2.2在生成器和判别器批评分支引入自注意力模块Self-Attention。

4.在一个优选地实施方式中，所述步骤S3由于交叉熵在训练过程中可能出现导致梯度消失问题，使用最小二乘形式损失函数：

其中，L_lsc为对抗损失，GAN_D和GAN_G分别是GAN中的判别网络和生成网络，生成网络输入为原始水下图像x，z为随机采样的噪音，G(x,z)＝y表示通过生成网络生成合成图像y，p_data(x)和p_data(z)分边表示x分布和随机噪音z分布，

是数据x服从x的概率期望值与数据x服从y的概率期望值，

是数据x服从x的概率期望值与数据z服从z的概率期望值；a和b分别是真实数据和合成数据的标签，其中a＝1,b＝0；D_a(x,y)表示判别网络判断原始水下图像x是否与网络生成图像y相似的概率；D_a(x,G(x,z))表示判别网络判断原始水下图像x是否与网络生成图像G(x,z)相似的概率，D_a(x,y)和D_a(x,G(x,z))的值越接近数值1，表示其判别性能越好。

如果使用传统的单一分支判别网络，GAN就会将真实图像作为理想输出，为了进一步提高图像质量，促进判别网络生成去除水下噪音的图像，提出一种新的损失函数来训练批评分支，即水下指数损失函数L_U。

水下指标U:

d_o、d_a、d_b用来区分水下图像和空中图像,a_l表示L通道的平均值

该模型使用L2范式函数进行学习,其中

是数据y服从y分布的概率期望值，

是数据x服从y分布的概率期望值和数据z服从z分布的概率期望值；

与

分别是在判别网络与生成网络中训练的水下指数损失函数；D_c(y)是新判别器分支网络c判断合成图片y是否真实的概率，D_c(G(x,z))是新判别器分支网络c判断合成图片G(x,z)是否真实的概率；U(y)表示水下指标网络判断合成图片y是否真实的概率，U(G(x,z))表示水下指标网络判断合成图片G(x,z)是否真实的概率。

内容感知损失可指导G生成与参考图像内容尽可能形似的合成图像，图像内容函数φ()是通过预先训练完成所提取的高级特征，此高级特征是由牛津大学实验室发明的VGG-19网络的第五个卷积块里面的第二个卷积层conv5_2提取的。定义如下：

L_con＝E_x,y[||φ(y)-φ(G(x))||₂]

其中，E_x,y是数据x与y服从分布的概率期望值，φ(y)和φ(G(x))均为提取的高级特征；

使用多项损失函数进行网络模型的学习，这有利于网络参数的加速收敛，同时可以提高模型的鲁棒性。目标函数通过将对抗损失L_lsc、水下指数损失函数L_U、内容感知损失L_con进行线性叠加，得到：

L_D＝W_GANL_lscGAN_D+W_UL_UD

L_G＝W_GANL_lscGAN_G+W_UL_UG+W_conL_con

其中W_GAN为GAN的权衡参数，W_U是水下指数损失函数的权衡参数，W_con是内容感知损失的权衡参数，GAN_D是GAN网络中的判别器，GAN_G是GAN网络中的生成器；最优模型为D^*＝arg_DminL_D,G^*＝arg_GminL_G,G和D使用各自的具有分别以及同时训练功能的反向传播优化器。

本发明的技术效果和优点：

基于CNN设计的网络架构无法关联全局信息，建立长距离、多层级的依赖关系,在场景几何结构复杂处、边缘细节和远处物体这些地方易丢失纹理细节的信息，为了提高深度学习对图像细节、边缘轮廓的学习能力，将注意力机制结合到深度网络模型中，在公开数据集UIEBD上展现了所提出的模型和方法的高质量结果，能够自适应地实时改善水下视觉质量，并产生整体优越的恢复性能。

附图说明

图1为本发明生成对抗网络工作原理示意图

图2为本发明基于自注意力机制和GAN的水下图像实时复原模型方法框架示意图

具体实施方式

下面结合具体实施方式对本发明一种基于自注意力机制和GAN的水下图像实时复原模型方法作进一步的详述。

本发明提出的基于自注意力机制和GAN的水下图像实时复原模型方法引入了自注意力模块，具体实现步骤如下：

S1、相关工作：

S1.1、生成对抗网络模型：GAN是由生成器和判别器两个网络组成的深度神经网络。生成器和判别器均采用博弈论中零和博弈的思想，其中生成器的目标是学习退化水下图像与清晰水下图像间的映射关系，以生成高质量的清晰水下图像；判别器的目标是使网络学会区分生成的虚假图像和真实的参考图。判别器的任务是双重的，即，第一，保存图像内容；第二，去除水下噪音。在对抗的过程中，两者共同制约，共同进步，使生成模型生成的样本更接近真实样本，从而获得所需样本；

S1.2、：自我注意力模块：自注意力机制计算图像中任意两个像素点之间的关系，以获得图像的全局几何特征。它是一种使内部细节与外部感官保持一致的机制，以提高某些区域的观察精度。自注意力机制是对注意力机制的改进，能够快速提取稀疏矩阵数据的重要特征，并且减少了对外部信息的依赖，能够更好地捕捉数据或特征的内部相关性；

S2、提出的模型和学习：

S2.1、建立模型框架：架构包括一个生成网络G和一个多分支的判别网络D，而D包含一个对抗分支Adversarial branch和一个批评分支Critic branch。基于正向传播CNN的生成网络G是一种由9个残差块叠加组成的编码器-解码器结构。经过反卷积运算，以原始分辨率生成合成图像。为了同时保持图像内容和去除水下噪声，判别网络D将一组水下原始图像和合成图像作为输入，通过正向传播CNN从两个方面分析图像，然后生成对抗映射和水下索引映射。判别网络D的主干是一层卷积，为了保持图像内容，通过对抗分支识别图像真伪。另一方面，批评分支被精心设计成一种回归，以辨别图像是否属于水下场景。即评估图像中水下特性的强度，促进图像发生器产生无水下噪声的图像；

S2.2、增添自注意力模块：基于CNN设计的网络架构无法关联全局信息，建立长距离、多层级的依赖关系,在场景几何结构复杂处、边缘细节和远处物体这些地方易丢失纹理细节的信息，为了提高深度学习对图像细节、边缘轮廓的学习能力，将注意力机制结合到深度网络模型中，在公开数据集UIEBD上展现了所提出的模型和方法的高质量结果，能自适应地实时改善水下视觉质量，并产生整体优越的恢复性能；

记自注意力模块输入为前一个隐藏层中的卷积特征图x∈R^C×H×W,将其维度变为x∈R^C×N，其中C为通道数，N＝H×W。首先使用两个1×1卷积对输入x执行W_f∈R^℃×C和W_g∈R^℃×C运算后，f(x)＝W_fx,g(x)＝W_gx表示将具有不同权重矩阵的图像特征相乘而获得的两个特征空间，其中℃＝C/8；将两个张量转换为矩阵形式，然后将f(x)的转置与g(x)相乘得到的结果进行softmax运算，得到注意力图β∈R^N×N：

β_j,i用来表示模型合成区域j的图像内容区域i的相关性，两个位置的特征表示越相似，它们之间的相关性越强。同时，将全局信息和局部信息整合到一起，将x输入到1×1卷积进行线性变换W_h∈R^C×C得到特征图h(x)＝W_hx,然后将注意力图β和h(x)相乘得到自注意力特征图，记为o＝(o₁,o₂,...,o_j,...,o_N)∈R^C×N,并将其形状变为R^C×H×W，得到：

最后，得到注意力层的输出为：

y_i＝γo_i+x_i

为了兼顾领域信息和远距离特征相关性，引入初始化为0参数γ，并能通过逐步的学习来更新其权重参数，让网络首先关注领域信息，之后再关联到全局其他位置的特征。因此自注意力模块具有关联全局信息，建立长远依赖关系能力；

S3、基于自注意力机制和生成对抗网络：

S3.1、生成网络：为了提高网络的鲁棒性，在网络中加入残差块,经过反卷积运算，以原始分辨率生成合成图像；

S3.2、对抗网络：这两个分支是使用单元的堆栈来关注图像特征。作为权衡，使用4个CBR单元构建对抗分支，而批评分支使用6个单元；

由于交叉熵在训练过程中可能出现导致梯度消失问题，使用最小二乘形式损失函数：

其中，L_lsc为对抗损失，GAN_D和GAN_G分别是GAN中的判别网络和生成网络，生成网络输入为原始水下图像x，z为随机采样的噪音，G(x,z)＝y表示通过生成网络生成合成图像y，p_data(x)和p_data(z)分边表示x分布和随机噪音z分布，

是数据x服从x的概率期望值与数据x服从y的概率期望值，

是数据x服从x的概率期望值与数据z服从z的概率期望值；a和b分别是真实数据和合成数据的标签，其中a＝1,b＝0；D_a(x,y)表示判别网络判断原始水下图像x是否与网络生成图像y相似的概率；D_a(x,G(x,z))表示判别网络判断原始水下图像x是否与网络生成图像G(x,z)相似的概率，D_a(x,y)和D_a(x,G(x,z))的值越接近数值1，表示其判别性能越好。

如果使用传统的单一分支判别网络，GAN就会将真实图像作为理想输出，为了进一步提高图像质量，促进判别网络生成去除水下噪音的图像，提出一种新的损失函数来训练批评分支，即水下指数损失函数L_U。

水下指标U:

d_o、d_a、d_b用来区分水下图像和空中图像,a_l表示L通道的平均值

该模型使用L2范式函数进行学习,其中

是数据y服从y分布的概率期望值，

是数据x服从y分布的概率期望值和数据z服从z分布的概率期望值；

与

分别是在判别网络与生成网络中训练的水下指数损失函数；D_c(y)是新判别器分支网络c判断合成图片y是否真实的概率，D_c(G(x,z))是新判别器分支网络c判断合成图片G(x,z)是否真实的概率；U(y)表示水下指标网络判断合成图片y是否真实的概率，U(G(x,z))表示水下指标网络判断合成图片G(x,z)是否真实的概率。

内容感知损失可指导G生成与参考图像内容尽可能形似的合成图像，图像内容函数φ()是通过预先训练完成所提取的高级特征，此高级特征是由牛津大学实验室发明的VGG-19网络的第五个卷积块里面的第二个卷积层conv5_2提取的；定义如下：

L_con＝E_x,y[||φ(y)-φ(G(x))||₂]

其中，E_x,y是数据x与y服从分布的概率期望值，φ(y)和φ(G(x))均为提取的高级特征；

使用多项损失函数进行网络模型的学习，这有利于网络参数的加速收敛，同时可以提高模型的鲁棒性。目标函数通过将对抗损失L_lsc、水下指数损失函数L_U、内容感知损失L_con进行线性叠加，得到：

L_D＝W_GANL_lscGAN_D+W_UL_UD

L_G＝W_GANL_lscGAN_G+W_UL_UG+W_conL_con

其中W_GAN为GAN的权衡参数，W_U是水下指数损失函数的权衡参数，W_con是内容感知损失的权衡参数，GAN_D是GAN网络中的判别器，GAN_G是GAN网络中的生成器；最优模型为D^*＝arg_DminL_D,G^*＝arg_GminL_G,G和D使用各自的具有分别以及同时训练功能的反向传播优化器。

在公开数据集UIEBD上展现了所提出的模型和方法的高质量结果，能够自适应地实时改善水下视觉质量，并产生整体优越的恢复性能。

Claims (3)

1.一种基于自注意力机制和GAN的水下图像实时复原模型方法，其特征在于：具体实现步骤如下：

S1、相关工作：

S1.1、生成对抗网络模型：GAN是由生成器和判别器两个网络组成的深度神经网络；生成器和判别器均采用博弈论中零和博弈的思想，其中生成器的目标是学习退化水下图像与清晰水下图像间的映射关系，以生成高质量的清晰水下图像；判别器的目标是使网络学会区分生成的虚假图像和真实的参考图；判别器的任务是双重的，即，第一，保存图像内容；第二，去除水下噪音；在对抗的过程中，两者共同制约，共同进步，使生成模型生成的样本更接近真实样本，从而获得所需样本；

S1.2、：自我注意力模块：自注意力机制计算图像中任意两个像素点之间的关系，以获得图像的全局几何特征；它是一种使内部细节与外部感官保持一致的机制，以提高某些区域的观察精度；自注意力机制是对注意力机制的改进，能够快速提取稀疏矩阵数据的重要特征，并且减少了对外部信息的依赖，能够更好地捕捉数据或特征的内部相关性；

S2、提出的模型和学习：

S2.1、建立模型框架：架构包括一个生成网络G和一个多分支的判别网络D，D包含一个对抗分支Adversarial branch和一个批评分支Critic branch；基于正向传播CNN的生成网络G是一种由9个残差块叠加组成的编码器-解码器结构；经过反卷积运算，以原始分辨率生成合成图像；为了同时保持图像内容和去除水下噪声，判别网络D将一组水下原始图像和合成图像作为输入，通过正向传播CNN从两个方面分析图像，然后生成对抗映射和水下索引映射；判别网络D的主干是一层卷积，为了保持图像内容，通过对抗分支识别图像真伪；另一方面，批评分支被精心设计成一种回归，以辨别图像是否属于水下场景；即评估图像中水下特性的强度，促进图像发生器产生无水下噪声的图像；

S2.2、增添自注意力模块：基于CNN设计的网络架构无法关联全局信息，建立长距离、多层级的依赖关系,在场景几何结构复杂处、边缘细节和远处物体这些地方易丢失纹理细节的信息，为了提高深度学习对图像细节、边缘轮廓的学习能力，将注意力机制结合到深度网络模型中，在公开数据集UIEBD上展现了所提出的模型和方法的高质量结果，能自适应地实时改善水下视觉质量，并产生整体优越的恢复性能；

记自注意力模块输入为前一个隐藏层中的卷积特征图x∈R^C×H×W,将其维度变为x∈R^{C ×N}，其中C为通道数，N＝H×W；首先使用两个1×1卷积对输入x执行W_f∈R^℃×C和W_g∈R^℃×C运算后，f(x)＝W_fx,g(x)＝W_gx表示将具有不同权重矩阵的图像特征相乘而获得的两个特征空间，其中℃＝C/8；将两个张量转换为矩阵形式，然后将f(x)的转置与g(x)相乘得到的结果进行softmax运算，得到注意力图β∈R^N×N：

β_j,i用来表示模型合成区域j的图像内容区域i的相关性，两个位置的特征表示越相似，它们之间的相关性越强；同时，将全局信息和局部信息整合到一起，将x输入到1×1卷积进行线性变换W_h∈R^C×C得到特征图h(x)＝W_hx,然后将注意力图β和h(x)相乘得到自注意力特征图，记为o＝(o₁,o₂,...,o_j,...,o_N)∈R^C×N,并将其形状变为R^C×H×W，得到：

最后，得到注意力层的输出为：

y_i＝γo_i+x_i

为了兼顾领域信息和远距离特征相关性，引入初始化为0参数γ，并能通过逐步的学习来更新其权重参数，让网络首先关注领域信息，之后再关联到全局其他位置的特征；因此自注意力模块具有关联全局信息，建立长远依赖关系能力；

S3、基于自注意力机制和生成对抗网络：

S3.1、生成网络：为了提高网络的鲁棒性，在网络中加入残差块,经过反卷积运算，以原始分辨率生成合成图像；

S3.2、对抗网络：这两个分支是使用CBR单元的堆栈来关注图像特征；作为权衡，使用4个CBR单元构建对抗分支，而批评分支使用6个单元。

2.根据权利要求1所述的基于自注意力机制和GAN的水下图像实时复原模型方法，其特征在于：在生成器和判别器批评分支引入自注意力模块Self-Attention。

3.根据权利要求1所述的基于自注意力机制和GAN的水下图像实时复原模型方法，其特征在于：由于交叉熵在训练过程中可能出现导致梯度消失问题，使用最小二乘形式损失函数：

其中，L_lsc为对抗损失，GAN_D和GAN_G分别是GAN中的判别网络和生成网络，生成网络输入为原始水下图像x，z为随机采样的噪音，G(x,z)＝y表示通过生成网络生成合成图像y，p_data(x)和p_data(z)分边表示x分布和随机噪音z分布，

是数据x服从x的概率期望值与数据x服从y的概率期望值，

是数据x服从x的概率期望值与数据z服从z的概率期望值；a和b分别是真实数据和合成数据的标签，其中a＝1,b＝0；D_a(x,y)表示判别网络判断原始水下图像x是否与网络生成图像y相似的概率；D_a(x,G(x,z))表示判别网络判断原始水下图像x是否与网络生成图像G(x,z)相似的概率，D_a(x,y)和D_a(x,G(x,z))的值越接近数值1，表示其判别性能越好；

如果使用传统的单一分支判别网络，GAN就会将真实图像作为理想输出，为了进一步提高图像质量，促进判别网络生成去除水下噪音的图像，提出一种新的损失函数来训练批评分支，即水下指数损失函数L_U；

水下指标U:

d_o、d_a、d_b用来区分水下图像和空中图像,a_l表示L通道的平均值

该模型使用L2范式函数进行学习,其中

是数据y服从y分布的概率期望值，

是数据x服从y分布的概率期望值和数据z服从z分布的概率期望值；

与

分别是在判别网络与生成网络中训练的水下指数损失函数；D_c(y)是新判别器分支网络c判断合成图片y是否真实的概率，D_c(G(x,z))是新判别器分支网络c判断合成图片G(x,z)是否真实的概率；U(y)表示水下指标网络判断合成图片y是否真实的概率，U(G(x,z))表示水下指标网络判断合成图片G(x,z)是否真实的概率；

内容感知损失可指导G生成与参考图像内容尽可能形似的合成图像，图像内容函数φ()是通过预先训练完成所提取的高级特征，此高级特征是由牛津大学实验室发明的VGG-19网络的第五个卷积块里面的第二个卷积层conv5_2提取的；定义如下：

L_con＝E_x,y[||φ(y)-φ(G(x))||₂]

其中，E_x,y是数据x与y服从分布的概率期望值，φ(y)和φ(G(x))均为提取的高级特征；

使用多项损失函数进行网络模型的学习，有利于网络参数的加速收敛，同时可提高模型的鲁棒性； 目标函数通过将对抗损失L_lsc、水下指数损失函数

和

内容感知损失L_con进行线性叠加，得到：

其中W_GAN为GAN的权衡参数，W_U是水下指数损失函数的权衡参数，W_con是内容感知损失的权衡参数，GAN_D是GAN网络中的判别器，GAN_G是GAN网络中的生成器；最优模型为D^*＝arg_DminL_D,G^*＝arg_GminL_G,G和D使用各自的具有分别以及同时训练功能的反向传播优化器。

Images