CN112767279B - 一种基于离散小波集成生成对抗网络的水下图像增强方法 - Google Patents

Abstract

本发明涉及一种基于离散小波集成生成对抗网络的水下图像增强方法。包括：将待训练的数据进行配对处理、数据增强、归一化处理，然后缩放到固定尺寸，将标签图像，即真实的水下图像增强结果，下采样生成不同尺寸图像；设计多层次图像增强生成网络，使用所设计的网络训练可对水下图像进行增强的图像增强模型；设计多层次图像鉴别神经网络，使用所设计的网络训练可预测输入图像为真实图像概率的图像鉴别模型；设计生成网络和鉴别神经网络目标损失函数；使用配对的图像交替训练生成网络和鉴别神经网络收敛到纳什平衡；将水下图像输入训练好的图像增强生成模型，输出增强后的图像。本发明解决了水下图像颜色失真、模糊的问题，能显著提升水下图像质量。

Description

一种基于离散小波集成生成对抗网络的水下图像增强方法

技术领域

本发明涉及图像处理以及计算机视觉领域，特别涉及一种基于离散小波集成生成对抗网络的水下图像增强方法。

背景技术

蕴含大量资源的海洋环境是人类可持续发展的核心组成之一，然而海洋复杂成像环境导致光视觉系统获取到的水下图像通常伴随着多种类型的退化，这给视觉依赖的水下作业，如海底资源勘探、海洋考古、水下目标检测等带来很大的影响。水下图像衰退的主要原因是光在水下传播时的能量衰减和散射现象。光线在水下传播时会伴随着能量衰减,不同光谱区域的光衰减程度不同,红光衰减最严重,绿光次之,蓝光最少。所以水下图像通常呈现伴随着颜色偏差,偏蓝绿色。光在水中的散射分为前向散射和后向散射。前向散射是指水中物体反射的光传输到相机时产生小角度偏差的散射现象，会导致图像细节模糊。后向散射是指光线在照射到水中物体时遇到水中的杂质发生散射从而直接被摄像机接收，会导致图像对比度降低。

目前，一些专门针对水下成像环境设计的成像设备已经能够克服部分水下成像问题，采集到较为清晰的图像。但在实际应用中对水下图像质量的要求远不止于此，仅依靠采集设备依然难以满足这些需求，而且先进的水下成像设备费用极高，将其广泛应用于各类水下任务较为困难。相比于昂贵的水下成像设备，图像处理技术具有成本低和易操作等优点。

现有的水下图像增强方法主要分为两类：一是对水下图像的退化过程进行数学建模，通过估计模型参数，反演退化过程以获得清晰的水下图像,此类方法需要根据水体的光学参数、摄像机参数以及摄像机与目标物体的距离等信息建立模型，这些信息需要通过人工测量或其他方法估测出数值，通常获取的信息较不准确，因此增强后的图像容易出现细节模糊和色彩偏差等问题。同时这些方法虽然在某些固定场景能取得较好的效果，但水下场景复杂多变，水下图像退化类型多样，这些方法很难匹配所有的退化类型，泛化能力较差，场景发生较大变化时，需要重新建立模型。

二是使用基于深度学习的方法，此类方法是一种数据驱动的方法，具有强大的学习特征表示能力，复杂度低于非深度学习方法，被广泛应用在图像处理领域，因此近年来有许多基于深度学习的水下图像增强算法被提出。然而现有的基于深度学习的水下图像增强方法虽然可以有效改善水下图像质量，但是由于水下环境过于复杂，现有的基于深度学习的方法在水下图像的局部和细节增强方面尚有不足之处，恢复出的图像会出现色彩偏差和细节模糊等问题。

综上所述，水下图像成像时环境复杂，成像图像质量较低，现有的方法对水下图像增强的结果容易产生细节模糊和颜色偏差现象。我们提出一种基于离散小波集成生成对抗网络的增强方法，将图像分为高频信息和低频信息并分开进行处理，利用离散小波在信号重建方面的优势能够有效减少信息的损失,并通过生成模型和鉴别模型对抗训练生成更符合人类主观视觉效果的水下图像增强结果，显著提高水下图像质量。

发明内容

本发明的目的在于提供一种基于离散小波集成生成对抗网络的水下图像增强方法，该方法有利于提高水下图像质量。

为实现上述目的，本发明的技术方案是：一种基于离散小波集成生成对抗网络的水下图像增强方法，包括如下步骤：

步骤S1、将待训练的数据进行数据预处理：首先将水下图像与对应的标签图像进行配对处理，接着进行数据增强、归一化处理，然后将归一化图像缩放到固定尺寸，将标签图像，即真实的水下图像增强结果，下采样生成不同尺寸图像；

步骤S2、设计多层次图像增强生成网络，使用所设计的网络训练对水下图像进行增强的图像增强模型；

步骤S3、设计多层次图像鉴别神经网络，使用所设计的网络训练预测输入图像为真实图像概率的图像鉴别模型；

步骤S4、设计生成网络和鉴别神经网络目标损失函数；

步骤S5、使用配对的图像交替训练生成网络和鉴别神经网络收敛到纳什平衡；

步骤S6、将水下图像输入训练好的图像增强生成模型，输出增强后的图像。

在本发明一实施例中，所述步骤S1具体实现步骤如下：

步骤S11、将水下图像与对应的标签图像进行配对处理；

步骤S12、将所有待训练配对图像进行统一的随机翻转操作，对数据进行增强；

步骤S13、将所有待训练增强图像进行归一化处理，给定图像I(i,j)，计算归一化值

的公式如下：

其中，(i,j)表示像素的位置；

步骤S14、将所有归一化图像缩放到固定尺寸H×W；

步骤S15、将标签图像下采样生成不同尺寸图像，给定图像G_(H,W)，表示尺寸为H×W的标签图像G，下采样生成图像G′_k,k＝2,3，其中

下采样使用最邻近插值算法，且G′₁＝G；对于任意标签图像G，得到不同尺寸的标签图像集合{G′₁，G′₂，G′₃}。

在本发明一实施例中，所述步骤S2具体实现步骤如下：

步骤S21、设计一种多层次神经网络结构用于提取图像有效特征，特征提取网络输入为水下图像，网络包括多个卷积块和小波池化层；卷积块由卷积层、归一化层以及激活层组成，特征提取网络共有三个层次，每个层次包括多个卷积块和一个小波池化层，每个层次的卷积块个数可以不同；卷积层使用卷积核为3x3、步长为1的卷积，归一化层使用批量归一化，激活层使用ReLu函数；小波池化层使用离散Haar小波对特征进行分解，使用四个分解核LL^T,LH^T,HL^T,HH^T，其中低频滤波器和高频滤波器分别为

小波池化层将输入特征分解为低频分量和高频分量，ll_k,lh_k,hl_k,hh_k,k＝1,2,3，其中ll_k为低频分量，lh_k,hl_k,hh_k均为高频分量；低频分量传递到网络的下一层次中，每个高频分量经过一个特征细化处理模块后直接传入图像重建网络；特征细化处理模块由多个残差注意力模块组成，每个残差注意力模块由两层卷积核为3x3、步长为1的卷积以及一个通道注意力模块组成；最终特征提取网络的输出为ll₃特征以及三个层次的高频分量lh_k,hl_k,hh_k,k＝1,2,3；

步骤S22、设计一种多层次神经网络结构用于图像重建，图像重建网络输入为步骤S21提取的ll₃特征以及三个层次的高频分量lh_k,hl_k,hh_k,h＝1,2,3；图像重建网络包括多个卷积块、重建块和小波反池化层；卷积块由卷积层、归一化层以及激活层组成，重建块由卷积层和激活层组成；图像重建网络共有三个层次，分别对应特征提取网络的三个层次，每个层次包括卷积块、小波反池化层和重建块，每个层次中卷积块的个数可以不同；卷积块中的卷积层使用卷积核为3x3、步长为1的卷积，归一化层使用批量归一化，激活层使用ReLu函数；重建块中的卷积层使用卷积核为3x3、步长为1的卷积，激活层使用Tanh函数；第一个层次的输入是ll₃特征，经过卷积块后得到低频分量ll₄特征，作为小波反池化层的低频分量；小波反池化层使用离散Haar小波对ll₄特征和高频分量lh_k,hl_k,hh_k,k＝3进行组合，小波反池化层的输出一方面作为重建块的输入，一方面作为第二层的输入特征；第二层经过卷积块后得到低频分量ll₅特征，小波反池化层对ll₅特征高频分量lh_k,hl_k,hh_k,k＝2进行组合；与上一层类似，小波反池化层的输出一方面作为重建块的输入，一方面作为第三层的输入特征；第三层经过卷积块后得到低频分量ll₆特征，小波反池化层对ll₆特征高频分量lh_k,hl_k,hh_k,k＝1进行组合，然后经过卷积块和重建块，生成H×W的水下图像增强图像；此外前两个层次组合后的特征经过一个重建块生成一张当前尺寸的水下图像增强图像；最终输出三个尺寸的增强图像I′_k,k＝1,2,3，尺寸大小依次为H×W,1/2H×1/2W,1/4H×1/4W，分别与G′_k,k＝1,2,3尺寸相同。

在本发明一实施例中，所述步骤S3具体实现如下：

设计一种多层次神经网络结构用于图像鉴别，图像鉴别网络输入为生成网络生成的三个尺寸的增强图像I′_k,k＝1,2,3或标签图像G′_k,k＝1,2,3，网络每次输入需为同一类型图像，即同为增强图像或同为标签图像；图像鉴别网络包括多个卷积块、拼接层和池化层；卷积块由卷积层和激活层组成，卷积层使用卷积核为3x3、步长为1的卷积，激活层使用LeakyReLu函数，池化层使用卷积核为4x4、步长为2的卷积；图像鉴别网络输入I′₁或G′₁，分别代表水下图像和标签图像，首先经过一个池化层与两个卷积块得到尺寸为1/2H×1/2W的特征向量d₂，再使用一个卷积块将图像I′₂或G′₂提取出对应尺寸特征f₂，将两个特征使用特征拼接层进行融合，融合方式为

其中

表示拼接操作；融合后的特征经过一个池化层与两个卷积块得到尺寸为1/4H×1/4W的特征向量d₃，再使用一个卷积块将图像I′₃或G′₃提取出对应尺寸特征f₃，将两个特征使用特征拼接层进行融合，融合方式与上一层一致；融合后的特征向量经过一个池化层与两个卷积块得到尺寸为1/8H×1/8W的特征向量，最后经过一个1个通道的卷积层以预测为真实图像的概率。

在本发明一实施例中，所述步骤S4具体实现步骤如下：

步骤S41、设计生成网络目标损失函数，生成网络总目标损失函数如下：

其中，

和

分别是L1损失和生成对抗损失，λ₁和λ₂是各项损失平衡系数，·为实数的点乘操作；其中各项损失具体的计算公式如下：

生成网络输出三个尺寸的增强图像，L1损失只计算最大尺寸生成图像和参考标签图像之间的损失；I′₁是生成网络增强结果中最大尺寸图像，G′₁是参考标签图像中最大尺寸图像，||.||₁是取绝对值操作；

其中，z表示水下图像，P_z(z)表示水下图像概率分布，G表示生成网络，D表示鉴别网络，G(z)表示生成网络对水下图像的增强结果，D(G(z))表示鉴别网络对生成网络的输出的鉴别结果，常数c是鉴别网络用来判定生成图像和标签图像差距的数值，此处取值为c＝1，生成网络共输出三个尺寸的增强图像，都需送入鉴别网络计算损失；

步骤S42、设计鉴别神经网络目标损失函数，鉴别网络目标损失函数如下：

其中，x表示参考标签图像，P_data(x)表示参考标签图像概率分布，z表示水下图像，P_z(z)表示水下图像概率分布，G表示生成网络，D表示鉴别网络，D(x)表示鉴别神经网络对标签图像的鉴别结果，G(z)表示生成网络对水下图像的增强结果，D(G(z))表示鉴别神经网络对生成网络的输出的鉴别结果，常数a，b分别表示标签图像和生成图像的标记，此处取值为a＝1,b＝0，生成网络共输出三个尺寸的增强图像，都需送入鉴别神经网络计算损失，对应参考标签图像的三个尺寸图像，也需全部送入鉴别神经网络中计算损失。

在本发明一实施例中，所述步骤S5具体实现步骤如下：

步骤S51、将配对的水下图像和标签图像随机划分为多个批次，每个批次包含N对图像；

步骤S52、将水下图像输入到生成网络中，得到三个尺寸的增强图像I′_k,k＝1,2,3，尺寸大小依次为H×W,1/2H×1/2W,1/4H×1/4W，其中H×W为步骤S1中规定尺寸；

步骤S53、将生成的增强图像与标签图像输入到鉴别神经网络得到判别结果；

步骤S54、根据生成网络的总目标损失函数，使用反向传播方法计算生成网络中各参数的梯度，并利用随机梯度下降方法更新生成网络的参数；

步骤S55、根据鉴别神经网络的目标损失函数，使用反向传播方法计算鉴别神经网络中各参数的梯度，并利用随机梯度下降方法更新鉴别神经网络的参数；

步骤S56、以批次为单位重复进行步骤S51至步骤S54生成网络和鉴别神经网络训练步骤，直至生成网络的目标损失函数数值和鉴别神经网络的目标损失函数数值收敛到纳什平衡，保存网络参数，完成生成网络和鉴别神经网络的训练过程。

相较于现有技术，本发明具有以下有益效果：

本发明适用于多种复杂环境下的水下图像增强，能够有效的恢复图像失真颜色，去除图像模糊，提升图像对比度与亮度。增强的图像符合人类主观视觉感知。现有的水系图像增强方法增强后的图像常会出现细节模糊现象，本发明提出了一种基于离散小波的水下图像增强网络，能够有效减少图像传递过程中的信息损失，保留图像细节信息，避免细节模糊，同时可以适用于多数的复杂场景。

附图说明

图1是本发明方法的实现流程图。

图2是本发明实施例中网络模型结构图。

图3是本发明实施例中特征细化模块结构图。

图4是本发明实施例特征细化模块中残差注意力模块结构图。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

本发明一种基于离散小波集成生成对抗网络的水下图像增强方法，包括如下步骤：

步骤S1、将待训练的数据进行数据预处理：首先将水下图像与对应的标签图像进行配对处理，接着进行数据增强、归一化处理，然后将归一化图像缩放到固定尺寸，将标签图像，即真实的水下图像增强结果，下采样生成不同尺寸图像；

步骤S2、设计多层次图像增强生成网络，使用所设计的网络训练对水下图像进行增强的图像增强模型；

步骤S3、设计多层次图像鉴别神经网络，使用所设计的网络训练预测输入图像为真实图像概率的图像鉴别模型；

步骤S4、设计生成网络和鉴别神经网络目标损失函数；

步骤S5、使用配对的图像交替训练生成网络和鉴别神经网络收敛到纳什平衡；

步骤S6、将水下图像输入训练好的图像增强生成模型，输出增强后的图像。

以下为本发明的具体实现过程。

如图1所示，一种基于离散小波集成生成对抗网络的水下图像增强方法，包括以下步骤：

步骤S1、将待训练的数据进行数据预处理，首先将数据进行配对处理，接着对其做数据增强、归一化处理，然后将归一化图像缩放到固定尺寸，将标签图像，即真实的水下图像增强结果，下采样生成不同尺寸图像；

步骤S2、设计多层次图像增强生成网络，使用所设计的网络训练可对水下图像进行增强的图像增强模型；

步骤S3、设计多层次图像鉴别神经网络，使用所设计的网络训练可预测输入图像为真实图像概率的图像鉴别模型；

步骤S4、设计生成网络和鉴别网络目标损失函数；

步骤S5、使用配对的图像交替训练生成网络和鉴别网络收敛到纳什平衡；

步骤S6、将水下图像输入训练好的图像增强生成模型，输出增强后的图像。

进一步地，步骤S1包括以下步骤：

步骤S11：将水下图像与对应的标签图像进行配对处理。

步骤S12：将所有待训练配对图像进行统一的随机翻转操作，对数据进行增强。

步骤S13：将所有待训练图像进行归一化处理，给定图像I(i,j)，计算归一化值

的公式如下：

其中，(i,j)表示像素的位置。

步骤S14、将所有归一化图像缩放到固定尺寸H×W。

步骤S15、将标签图像下采样生成不同尺寸图像，给定图像G_(H,W)，表示尺寸为H×W的标签图像G，下采样生成图像G′_k,k＝2,3,其中

下采样使用最邻近插值算法。且G′₁＝G。对于任意标签图像G，得到不同尺寸的标签图像集合{G′₁，G′₂，G′₃}。

进一步地，步骤S2包括以下步骤：

步骤S21、设计一种多层次神经网络结构用于提取图像有效特征，特征提取网络输入为水下图像，网络包括多个卷积块和小波池化层。卷积块由卷积层、归一化层以及激活层组成，特征提取网络共有三个层次，每个层次包含多个卷积块和一个小波池化层，每个层次的卷积块个数可以不同。卷积层使用卷积核为3x3、步长为1的卷积，归一化层使用批量归一化，激活层使用ReLu函数。小波池化层使用离散Haar小波对特征进行分解，使用四个分解核LL^T,LH^T,HL^T,HH^T,其中高频滤波器分别为

小波池化层将输入特征分解为低频分量和高频分量，ll_k,lh_k,hl_k,hh_k,k＝1,2,3,其中ll_k为低频分量，lh_k,hl_k,hh_k均为高频分量。低频分量传递到网络的下一层次中，每个高频分量经过一个特征细化处理模块后直接传入图像重建网络。特征细化处理模块由多个残差注意力模块组成，每个残差注意力模块由两层卷积核为3x3、步长为1的卷积以及一个通道注意力模块组成。最终特征提取网络的输出为ll₃特征以及三个层次的高频分量lh_k,hl_k,hh_k,k＝1,2,3。

步骤S22、设计一种多层次神经网络结构用于图像重建，图像重建网络输入为步骤S21提取的ll₃特征以及三个层次的高频分量lh_k,hl_k,hh_k,k＝1,2,3。图像重建网络包含多个卷积块、重建块和小波反池化层。卷积块由卷积层、归一化层以及激活层组成，重建块由卷积层和激活层组成。图像重建网络共有三个层次，分别对应特征提取网络的三个层次，每个层次包含卷积块、小波反池化层和重建块，每个层次中卷积块的个数可以不同。卷积块中的卷积层使用卷积核为3x3、步长为1的卷积，归一化层使用批量归一化，激活层使用ReLu函数。重建块中的卷积层使用卷积核为3x3、步长为1的卷积，激活层使用Tanh函数。第一个层次的输入是ll₃特征，经过几个卷积块后得到低频分量ll₄特征，作为小波反池化层的低频分量。小波反池化层使用离散Haar小波对ll₄特征和高频分量lh_k,hl_k,hh_k,k＝3进行组合，使用的反池化核参数与步骤S21中相同，小波反池化层的输出一方面作为重建块的输入，一方面作为第二层的输入特征。第二层经过卷积块后得到低频分量ll₅特征，小波反池化层对ll₅特征高频分量lh_k,hl_k,hh_k,k＝2进行组合。与上一层类似，小波反池化层的输出一方面作为重建块的输入，一方面作为第三层的输入特征。第三层经过卷积块后得到低频分量ll₆特征，小波反池化层对ll₆特征高频分量lh_k,hl_k,hh_k,k＝1进行组合，然后经过几个卷积块和一个重建块，生成H×W的水下图像增强图像。此外前两个层次组合后的特征经过一个重建块生成一张当前尺寸的水下图像增强图像。最终输出三个尺寸的增强图像I′_k,k＝1,2,3，尺寸大小依次为H×W,1/2H×1/2W,1/4H×1/4W，分别与G′_k,k＝1,2,3尺寸相同，其中H×W为步骤S1中规定尺寸。

进一步地，步骤S3实现如下：

设计一种多层次神经网络结构用于图像鉴别，图像鉴别网络输入为生成网络生成的三个尺寸的增强图像I′_k,k＝1,2,3或标签图像G′_k,k＝1,2,3，网络每次输入需为同一类型图像，即同为增强图像或同为标签图像，图像尺寸为步骤S1中与步骤S2中规定尺寸。图像鉴别网络包含多个卷积块、拼接层和池化层。卷积块由卷积层和激活层组成，卷积层使用卷积核为3x3、步长为1的卷积，激活层使用LeakyReLu函数，池化层使用卷积核为4x4、步长为2的卷积。网络首先输入I′₁或G′₁，分别代表水下图像和标签图像，首先经过一个池化层与两个卷积块得到尺寸为1/2H×1/2W的特征向量d₂，再使用一个卷积块将图像I′₂或G′₂提取出对应尺寸特征f₂，将两个特征使用特征拼接层进行融合，融合方式为

其中

表示拼接操作。融合后的特征经过一个池化层与两个卷积块得到尺寸为1/4H×1/4W的特征向量d₃，再使用一个卷积块将图像I′₃或G′₃提取出对应尺寸特征f₃，将两个特征使用特征拼接层进行融合，融合方式与上一层一致。融合后的特征向量经过一个池化层与两个卷积块得到尺寸为1/8H×1/8W的特征向量，最后经过一个1个通道的卷积层以预测为真实图像的概率。

进一步地，步骤S4包括以下步骤：

步骤S41、设计生成网络目标损失函数，生成网络总目标损失函数如下：

其中，

和

分别是L1损失和生成对抗损失，λ₁和λ₂是各项损失平衡系数，·为实数的点乘操作；其中各项损失具体的计算公式如下：

生成网络输出三个尺寸的增强图像，L1损失只计算最大尺寸生成图像和参考标签图像之间的损失。I′₁是生成网络增强结果中最大尺寸图像，G′₁是参考标签图像中最大尺寸图像，||.||₁是取绝对值操作；

其中z表示水下图像，P_z(z)表示水下图像概率分布，G表示生成网络，D表示鉴别网络，G(z)表示生成网络对水下图像的增强结果，D(G(z))表示鉴别网络对生成网络的输出的鉴别结果，常数c是鉴别网络用来判定生成图像和标签图像差距的数值，此处取值为c＝1，生成网络共输出三个尺寸的增强图像，都需送入鉴别网络计算损失。

步骤S42、设计鉴别网络目标损失函数，鉴别网络目标损失函数如下：

其中x表示参考标签图像，P_data(x)表示参考标签图像概率分布，z表示水下图像，P_z(z)

表示水下图像概率分布，G表示生成网络，D表示鉴别网络，D(x)表示鉴别网络对标签图像的鉴别结果，G(z)表示生成网络对水下图像的增强结果，D(G(z))表示鉴别网络对生成网络的输出的鉴别结果，常数a，b分别表示标签图像和生成图像的标记，此处取值为a＝1,b＝0，生成网络共输出三个尺寸的增强图像，都需送入鉴别网络计算损失，对应参考标签图像的三个尺寸图像，也需全部送入鉴别网络中计算损失。

进一步地，步骤S5包括以下步骤：

步骤S51、将配对的水下图像和标签图像随机划分为多个批次，每个批次包含N对图像；

步骤S52、将水下图像输入到步骤S2所述生成网络中，得到三个尺寸的增强图像I′_k,k＝1,2,3，尺寸大小依次为H×W,1/2H×1/2W,1/4H×1/4W，其中H×W为步骤S1中规定尺寸。

步骤S53、将生成的增强图像与标签图像输入到S3所述鉴别网络得到判别结果。

步骤S54、根据生成网络的总目标损失函数，使用反向传播方法计算生成网络中各参数的梯度，并利用随机梯度下降方法更新生成网络的参数；

步骤S55、根据鉴别网络的目标损失函数，使用反向传播方法计算鉴别网络中各参数的梯度，并利用随机梯度下降方法更新鉴别网络的参数；

步骤S56、以批次为单位重复进行上述步骤S51至步骤S54生成网络和鉴别网络训练步骤，直至生成网络的目标损失函数数值和鉴别网络的目标损失函数数值收敛到纳什平衡，保存网络参数，完成生成网络和鉴别网络的训练过程。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (4)

1.一种基于离散小波集成生成对抗网络的水下图像增强方法，其特征在于，包括如下步骤：

步骤S1、将待训练的数据进行数据预处理：首先将水下图像与对应的标签图像进行配对处理，接着进行数据增强、归一化处理，然后将归一化图像缩放到固定尺寸，将标签图像，即真实的水下图像增强结果，下采样生成不同尺寸图像；

步骤S2、设计多层次图像增强生成网络，使用所设计的网络训练对水下图像进行增强的图像增强模型；

步骤S3、设计多层次图像鉴别神经网络，使用所设计的网络训练预测输入图像为真实图像概率的图像鉴别模型；

步骤S4、设计生成网络和鉴别神经网络目标损失函数；

步骤S5、使用配对的图像交替训练生成网络和鉴别神经网络收敛到纳什平衡；

步骤S6、将水下图像输入训练好的图像增强模型，输出增强后的图像；

所述步骤S2具体实现步骤如下：

步骤S21、设计一种多层次神经网络结构用于提取图像有效特征，特征提取网络输入为水下图像，网络包括多个卷积块和小波池化层；卷积块由卷积层、归一化层以及激活层组成，特征提取网络共有三个层次，每个层次包括多个卷积块和一个小波池化层，每个层次的卷积块个数可以不同；卷积层使用卷积核为3x3、步长为1的卷积，归一化层使用批量归一化，激活层使用ReLu函数；小波池化层使用离散Haar小波对特征进行分解，使用四个分解核LL^T，LH^T，HL^T，HH^T，其中低频滤波器和高频滤波器分别为

小波池化层将输入特征分解为低频分量和高频分量，ll_k，lh_k，hl_k，hh_k，k＝1，2，3，其中ll_k为低频分量，lh_k，hl_k，hh_k均为高频分量；低频分量传递到网络的下一层次中，每个高频分量经过一个特征细化处理模块后直接传入图像重建网络；特征细化处理模块由多个残差注意力模块组成，每个残差注意力模块由两层卷积核为3x3、步长为1的卷积以及一个通道注意力模块组成；最终特征提取网络的输出为ll₃特征以及三个层次的高频分量lh_k，hl_k，hh_k，k＝1，2，3；

步骤S22、设计一种多层次神经网络结构用于图像重建，图像重建网络输入为步骤S21提取的ll₃特征以及三个层次的高频分量lh_k，hl_k，hh_k，k＝1，2，3；图像重建网络包括多个卷积块、重建块和小波反池化层；卷积块由卷积层、归一化层以及激活层组成，重建块由卷积层和激活层组成；图像重建网络共有三个层次，分别对应特征提取网络的三个层次，每个层次包括卷积块、小波反池化层和重建块，每个层次中卷积块的个数可以不同；卷积块中的卷积层使用卷积核为3x3、步长为1的卷积，归一化层使用批量归一化，激活层使用ReLu函数；重建块中的卷积层使用卷积核为3x3、步长为1的卷积，激活层使用Tanh函数；第一个层次的输入是ll₃特征，经过卷积块后得到低频分量ll₄特征，作为小波反池化层的低频分量；小波反池化层使用离散Haar小波对ll₄特征和高频分量lh_k，hl_k，hh_k，k＝3进行组合，小波反池化层的输出一方面作为重建块的输入，一方面作为第二层的输入特征；第二层经过卷积块后得到低频分量ll₅特征，小波反池化层对ll₅特征高频分量lh_k，hl_k，hh_k，k＝2进行组合；与上一层类似，小波反池化层的输出一方面作为重建块的输入，一方面作为第三层的输入特征；第三层经过卷积块后得到低频分量ll₆特征，小波反池化层对ll₆特征高频分量lh_k，hl_k，hh_k，k＝1进行组合，然后经过卷积块和重建块，生成H×W的水下图像增强图像；此外前两个层次组合后的特征经过一个重建块生成一张当前尺寸的水下图像增强图像；最终输出三个尺寸的增强图像I′_k，k＝1，2，3，尺寸大小依次为H×W，1/2H×1/2W，1/4H×1/4W，分别与G′_k，k＝1，2，3尺寸相同；

所述步骤S3具体实现如下：

设计一种多层次神经网络结构用于图像鉴别，图像鉴别神经网络输入为生成网络生成的三个尺寸的增强图像I′_k，k＝1，2，3或标签图像G′_k，k＝1，2，3，网络每次输入需为同一类型图像，即同为增强图像或同为标签图像；图像鉴别神经网络包括多个卷积块、拼接层和池化层；卷积块由卷积层和激活层组成，卷积层使用卷积核为3x3、步长为1的卷积，激活层使用Leaky ReLu函数，池化层使用卷积核为4x4、步长为2的卷积；图像鉴别神经网络输入I′₁或G′₁，分别代表水下图像和标签图像，首先经过一个池化层与两个卷积块得到尺寸为1/2H×1/2W的特征向量d₂，再使用一个卷积块将图像I′₂或G′₂提取出对应尺寸特征f₂，将两个特征使用特征拼接层进行融合，融合方式为

其中

表示拼接操作；融合后的特征经过一个池化层与两个卷积块得到尺寸为1/4H×1/4W的特征向量d₃，再使用一个卷积块将图像I′₃或G′₃提取出对应尺寸特征f₃，将两个特征使用特征拼接层进行融合，融合方式与上一层一致；融合后的特征向量经过一个池化层与两个卷积块得到尺寸为1/8H×1/8W的特征向量，最后经过一个1个通道的卷积层以预测为真实图像的概率。

2.根据权利要求1所述的一种基于离散小波集成生成对抗网络的水下图像增强方法，其特征在于，所述步骤S1具体实现步骤如下：

步骤S11、将水下图像与对应的标签图像进行配对处理；

步骤S12、将所有待训练配对图像进行统一的随机翻转操作，对数据进行增强；

步骤S13、将所有待训练增强图像进行归一化处理，给定图像I(i，j)，计算归一化值

的公式如下：

其中，(i，j)表示像素的位置；

步骤S14、将所有归一化图像缩放到固定尺寸H×W；

步骤S15、将标签图像下采样生成不同尺寸图像，给定图像G_(H，W)，表示尺寸为H×W的标签图像G，下采样生成图像G′_k，k＝2，3，其中

下采样使用最邻近插值算法，且G′₁＝G；对于任意标签图像G，得到不同尺寸的标签图像集合{G′₁，G′₂，G′₃}。

3.根据权利要求1所述的一种基于离散小波集成生成对抗网络的水下图像增强方法，其特征在于，所述步骤S4具体实现步骤如下：

步骤S41、设计生成网络目标损失函数，生成网络总目标损失函数如下：

其中，

和

分别是L1损失和生成对抗损失，λ₁和λ₂是各项损失平衡系数，·为实数的点乘操作；其中各项损失具体的计算公式如下：

生成网络输出三个尺寸的增强图像，L1损失只计算最大尺寸生成图像和参考标签图像之间的损失；I′₁是生成网络增强结果中最大尺寸图像，G′₁是参考标签图像中最大尺寸图像，||·||₁是取绝对值操作；

其中，z表示水下图像，P_z(z)表示水下图像概率分布，G表示生成网络，D表示鉴别神经网络，G(z)表示生成网络对水下图像的增强结果，D(G(z))表示鉴别神经网络对生成网络的输出的鉴别结果，常数c是鉴别神经网络用来判定生成图像和标签图像差距的数值，此处取值为c＝1，生成网络共输出三个尺寸的增强图像，都需送入鉴别神经 网络计算损失；

步骤S42、设计鉴别神经网络目标损失函数，鉴别神经 网络目标损失函数如下：

其中，x表示参考标签图像，P_data(x)表示参考标签图像概率分布，z表示水下图像，P_z(z)表示水下图像概率分布，G表示生成网络，D表示鉴别神经网络，D(x)表示鉴别神经网络对标签图像的鉴别结果，G(z)表示生成网络对水下图像的增强结果，D(G(z))表示鉴别神经网络对生成网络的输出的鉴别结果，常数a，b分别表示标签图像和生成图像的标记，此处取值为a＝1，b＝0，生成网络共输出三个尺寸的增强图像，都需送入鉴别神经网络计算损失，对应参考标签图像的三个尺寸图像，也需全部送入鉴别神经网络中计算损失。

4.根据权利要求3所述的一种基于离散小波集成生成对抗网络的水下图像增强方法，其特征在于，所述步骤S5具体实现步骤如下：

步骤S51、将配对的水下图像和标签图像随机划分为多个批次，每个批次包含N对图像；

步骤S52、将水下图像输入到生成网络中，得到三个尺寸的增强图像I′_k，k＝1，2，3，尺寸大小依次为H×W，1/2H×1/2W，1/4H×1/4W，其中H×W为步骤S1中规定尺寸；

步骤S53、将生成的增强图像与标签图像输入到鉴别神经网络得到判别结果；

步骤S54、根据生成网络的总目标损失函数，使用反向传播方法计算生成网络中各参数的梯度，并利用随机梯度下降方法更新生成网络的参数；

步骤S55、根据鉴别神经网络的目标损失函数，使用反向传播方法计算鉴别神经网络中各参数的梯度，并利用随机梯度下降方法更新鉴别神经网络的参数；

步骤S56、以批次为单位重复进行步骤S51至步骤S54生成网络和鉴别神经网络训练步骤，直至生成网络的目标损失函数数值和鉴别神经网络的目标损失函数数值收敛到纳什平衡，保存网络参数，完成生成网络和鉴别神经网络的训练过程。

Images