CN115880176A - 多尺度非成对水下图像增强方法 - Google Patents

Abstract

本发明提出一种多尺度非成对水下图像增强方法，包括以下步骤：步骤S1：将待训练的非成对数据进行数据预处理、数据增强和归一化处理；步骤S2：设计多尺度水下图像增强网络；步骤S3：搭建循环生成对抗网络结构，与多尺度水下图像质量增强网络结合得到多尺度非成对水下图像增强网络；步骤S4：设计用于训练非成对水下图像增强网络的目标损失函数；步骤S5：使用非成对的图像训练多尺度非成对水下图像增强网络收敛到纳什平衡；步骤S6：将待增强水下图像进行归一化处理，然后输入训练好的水下图像增强模型，输出增强图像。本发明能对水下图像进行增强，运用非成对水下图像进行模型训练，解决水下图像失真问题。

Description

多尺度非成对水下图像增强方法

技术领域

本发明属于图像处理以及计算机视觉技术领域，尤其涉及一种多尺度非成对水下图像增强方法。

背景技术

水下图像时常运用于水下生物发现，海底地形观测，海底考古等水下作业中。往往，这些水下作业对水下图像的质量要求较高。然而，因为水下环境较为复杂，导致水下图像质量较低。由于水下图像失真类型较为复杂，使得水下图像增强变成一个极具有挑战性的问题。光在水下传播时的散射和能量衰减是水下图像质量降低的主要原因。在水下传播时，光波有不同的衰减系数。一般，红光衰减比蓝光和绿光快，因此水下图像较多呈蓝绿色。此外，水下图像也会受到光的前向散射和后向散射的影响。其中，前向散射是指水中物体反射的光在传输到相机时发生小角度偏移的散射现象，前向散射通常导致图像细节模糊。后向散射是指当照射水中物体时，水中的杂质被散射并直接被相机接收，后向散射通常导致图像对比度低。并且，水中的许多浮游生物、颗粒物等给水下图像引入了噪音。这些不利的影响降低了水下图像的能见度，色彩对比度，甚至给图像引入了色彩偏差，导致了水下图像质量严重下降。上述退化问题使得水下图像增强成为一项具有挑战性的任务。

现有的水下图像增强方法主要分为两类：一是基于物理模型的方法，这类方法需要先对水下图像退化过程进行数学建模，通过对水下图像退化过程的进行反演得到高质量的水下图像，此类方法需要对模型参数进行精确估计。然而，水下环境复杂多变，造成对参数的估计困难且参数的精度较低，导致增强后的图像质量较低，同时不同的水下环境考虑的退化因素不同，所需要建立的数学模型也不同，使得这些基于物理模型的方法具有较大的局限性。二是基于深度学习的方法，这类方法将水下图像到高质量图像的转化看成映射关系，利用深度学习神经网络学习这种映射变化，从而实现水下图像到高质量图像的迁移，但是这类方法需要大量的成对的水下图像；并且许多网络在学习的过程中会导致水下图像的细节丢失造成无法生成高质量的水下图像。

现有基于深度学习的水下图像质量增强方法大部分需要大量的成对图像，但是现实中成对的水下图像数据集较难获取，并且在图像增强的过程中因为网络学习不充分通常会伴随着信息损失，导致增强后的图像容易出现颜色不均匀，色彩对比度不高，细节模糊的现象。

发明内容

针对现有技术存在的缺陷和不足，本发明的目的在于提供一种多尺度非成对水下图像增强方法，该方法将图像特征通过多尺度的网络进行充分学习,有利于提高水下图像质量。该方案包括以下步骤：步骤S1：将待训练的非成对数据进行数据预处理、数据增强和归一化处理；步骤S2：设计多尺度水下图像增强网络，网络设计为编码器解码器结构，在编码器部分使用细节保持模块对特征进行细节保持，并为编码器多个不同尺度的输出特征使用注意力增强子网络对其进行增强处理后与解码器进行连接；步骤S3：搭建循环生成对抗网络结构，与多尺度水下图像质量增强网络结合得到多尺度非成对水下图像增强网络；步骤S4：设计用于训练非成对水下图像增强网络的目标损失函数；步骤S5：使用非成对的图像训练多尺度非成对水下图像增强网络收敛到纳什平衡；步骤S6：将待增强水下图像进行归一化处理，然后输入训练好的水下图像增强模型，输出增强图像。本发明能对水下图像进行增强，运用非成对水下图像进行模型训练，解决水下图像失真问题。

本发明解决其技术问题采用的技术方案是：

一种多尺度非成对水下图像增强方法，其特征在于：

步骤S1：将待训练的非成对数据进行数据预处理、数据增强和归一化处理；

步骤S2：设计多尺度水下图像增强网络，采用编码器解码器结构，在编码器部分使用细节保持模块对特征进行细节保持，并为编码器多个不同尺度的输出特征使用注意力增强子网络对其进行增强处理后与解码器进行连接；

步骤S3：搭建循环生成对抗网络结构，与多尺度水下图像质量增强网络结合得到多尺度非成对水下图像增强网络；

步骤S4：设计用于训练非成对水下图像增强网络的目标损失函数；

步骤S5：使用非成对的图像训练多尺度非成对水下图像增强网络收敛到纳什平衡；

步骤S6：将待增强水下图像进行归一化处理，然后输入训练好的水下图像增强模型，输出增强图像。

进一步地，步骤S1具体包括以下步骤：

步骤S11：将所有待训练非成对图像分为水下图像以及高质量图像；

步骤S12：将所有待训练非成对图像进行放大处理，长宽放大至原图像的1.12倍，对放大后的图像通过随机切割操作、随机翻转操作，进行数据增强；

步骤S13：将所有待训练图像进行归一化处理，给定待处理图像I(i,j)，其归一化处理后的图像为

在像素位置(i,j)处，计算归一化值/>

的公式如下：

其中，(i,j)表示像素的位置；

步骤S14：将归一化后的水下图像作为输入后续步骤的水下图像，归一化后的高质量图像作为输入后续步骤的高质量图像。

进一步地，步骤S2具体包括以下步骤：

步骤S21：设计多尺度水下图像增强网络：多尺度水下图像质量增强网络由一个编码器网络和一个解码器网络组成，并为编码器多个不同尺度的输出特征使用注意力增强子网络对其进行增强后与解码器连接，并其他不使用注意力增强子网络的编码器输出特征直接与解码器进行连接；

编码器由7个降采样层和2个细节保持模块组成，细节保持模块分别位于第3和6层降采样层之后，并对编码器的第2、4、6层降采样层输出特征使用注意力增强子网络以进行增强处理，之后与解码器中的对应层进行连接，编码器第1、3、5、7层的降采样层输出特征直接与解码器中的对应层进行连接；每个降采样层由一个激活函数、一个归一化层、一个2×2的卷积串联组成；计算公式如下：

X_eo＝ReLU(Conv(Norm(X_ei)))

其中，X_eo表示降采样层的输出特征，X_ei表示降采样层的输入特征，ReLU()表示激活函数，Conv()表示卷积，Norm()表示归一化层；

解码器由7个上采样层组成；每个上采样层由一个激活函数、一个归一化层、一个2×2的反卷积串联组成；计算公式如下：

X_do＝ReLU(TranConv(Norm(X_di)))

其中，X_do表示上采样层的输出特征，X_di表示上采样层的输入特征，ReLU()表示激活函数，TranConv()表示反卷积，Norm()表示归一化层；

多尺度水下图像增强网络计算公式如下：

X_down1＝Down(X_ni)

X_down2＝Down(X_down1)

X_down3＝Down(X_down2)

X_down4＝Down(DRM(X_down3))

X_down5＝Down(X_down4)

X_down6＝Down(X_down5)

X_down7＝Down(DRM(X_down6))

X_down8＝Down(X_down7)

X_up1＝ADD(Up(X_down8),XX_down7)

X_up2＝ADD(Up(X_up1),AEN(X_down6))

X_up3＝ADD(Up(X_up2),X_down5)

X_up4＝ADD(Up(X_up3),AEN(X_down4))

X_up5＝ADD(Up(X_up4),X_down3)

X_up6＝ADD(Up(X_up5),AEN(X_down2))

X_no＝ADD(Up(X_up6),X_down1))

其中X_ni表示多尺度水下图像增强网络的输入图像，X_no表示多尺度水下图像增强网络的输出图像，X_down1、X_down2、X_down3、X_down4、X_down5、X_down6、X_down7、X_down8分别表示第1至第8层的降采样层相应层数的输出特征，X_up1、X_up2、X_up3、X_up4、X_up5、X_up6、X_up7分别表示第1至第7层的上采样层相应层数的输出特征，Down()表示降采样层，Up()表示上采样层，DRM()表示细节保持模块，AEN()表示注意力增强子网络，ADD()表示矩阵加法运算；

步骤S22：设计多尺度水下图像增强网络中的细节保持模块：细节保持模块输入特征X_Ri经过一个通道注意力模块得到特征X_SRi，X_SRi与X_Ri相加得到X_R1；X_R1经过一个归一化层得到特征X_NR1，X_R1经过一个1×1的卷积得到特征X_C1R1，X_NR1与X_C1R1相加得到X_R2；X_R2经过一个3×3的卷积得到特征X_CR2，X_R1经过一个1×1的卷积得到特征X_C2R1，X_CR2与X_C2R1相加得到细节保持模块输出特征X_Ro，计算公式如下：

X_R1＝ADD(SE_Layer(X_Ri),X_Ri)

X_R2＝ADD(Conv_1×1(X_R1),Norm(X_R1))

X_Ro＝ADD(Conv_3×3(X_R2),Conv_1×1(X_R1))

其中，X_Ri表示细节保持模块的输入特征，X_Ro表示细节保持模块输出特征，X_R1、X_R2表示细节保持模块各个阶段的输出特征，SE_Layer()表示通道注意力模块，Conv_3×3()表示内核为3×3卷积，Conv_1×1()表示内核为1×1卷积，Norm()表示归一化层，ADD()表示矩阵加法运算；

步骤S23：设计多尺度水下图像增强网络中的注意力增强子网络：注意力增强子网络由一个拓展学习模块串联一个3×3的卷积，一个通道注意力模块，一个3×3的卷积，一个注意力融合模块组成；所述拓展学习模块由三个分支并联组成；第一个分支是一个1×1的卷积，第二个分支由一个1×1的卷积和一个3×3的卷积串联组成，第三个分支由一个1×1的卷积和一个最大池化层串联组成；所述注意力融合模块由一个空间注意力模块残差连接另一个分支组成，该分支由一个通道注意力模块、一个3×3的卷积和另一个通道注意力模块组成；注意力增强子网络公式如下:

X_A1＝Conv_1×1(X_Ai)

X_A2＝Conv_3×3(Conv_1×1(X_Ai))

X_A1＝Conv_1×1(X_Ai)

X_A2＝Conv_3×3(Conv_1×1(X_Ai))

X_A3＝MaxPool(Conv_1×1(X_Ai))

X_A4＝Conv_3×3(SE_Layer(Conv_3×3(Cat[X_A1,X_A2,X_A3])))

X_A5＝SE_Layer(Conv_3×3(SE_Layer(X_A4)))

X_Ao＝ADD(SA_Layer(X_A5),X_A5))

其中，X_Ai表示注意力增强子网络的输入特征，X_Ao表示注意力增强子网络输出特征，X_A1、X_A2、X_A3、X_A4、X_A5分别表示注意力增强子网络各个阶段的输出特征，SE_Layer()表示通道注意力模块，SA_Layer()表示空间注意力模块，Conv_3×3()表示内核为3×3卷积，Conv_1×1()表示内核为1×1卷积，Cat[]表示按通道维度进行特征拼接操作，ADD()表示矩阵加法运算。

进一步地，步骤S3具体包括以下步骤：

步骤S31：搭建循环生成对抗网络结构，包括对水下图像进行质量增强的生成器G_WtoC，将高质量图像进行转化生成水下图像的生成器G_CtoW，判断生成器生成的高质量图像的判别器D_C，判别生成器生成的水下图像的生成器D_W；其中，生成器G_WtoC、G_CtoW的网络使用步骤S2设计的网络结构；

步骤S32：将非成对的水下图像与高质量图像输入循环生成对抗网络结构，生成器G_WtoC将水下图像I_W进行质量增强，生成增强图像E_C，判别器D_C将增强图像E_C与高质量图像I_C进行风格比较；生成器G_CtoW将高质量图像I_C进行风格转化生成水下图像E_W，判别器D_W再将E_W与水下图像I_W进行风格对比，输出0,1的二值分类结果。

进一步地，步骤S4具体包括以下步骤：

步骤S41：设计网络的目标损失函数，损失包括生成网络损失和判别网络损失：

生成网络总目标损失函数如下：

l_G＝λ₁·l_GAN+λ₂·l_cycle+λ₃·l_identity

其中，l_GAN是生成器损失，l_cycle是循环损失，l_identity是风格损失，λ₁,λ₂和λ₃是平衡各项损失的平衡系数，·是实数点乘操作；

生成器损失具体计算公式如下：

l_GAN＝L_MSE(1,D_C(E_C))+L_MSE(1,D_W(E_W))

其中，L_MSE()是MSE损失；D_C()是判别生成的增强图像E_C的判别器，D_W()是判别生成的水下图像E_W的判别器；E_C是生成器G_WtoC生成的增强图像，E_W是生成器G_CtoW生成的水下图像；

循环损失具体计算公式如下：

l_cycle＝L₁(R_C,I_C)+L₁(R_W,I_W)

其中，L₁()是L1损失，I_W是输入的水下图像，I_C是输入的高质量图像，R_W是生成器G_CtoW对增强图像E_C进行重构得到的图像，R_C是生成器G_WtoC对生成的水下图像E_w进行重构得到的图像；

风格损失具体计算公式如下：

l_identity＝L₁(F_C,I_C)+L₁(F_W,I_W)

其中，L₁()是L1损失，I_W是输入的水下图像，I_C是输入的高质量图像，F_W是将水下图像I_W输入生成器G_CtoW成得到风格图像，F_C是将高质量图像I_C输入生成器G_WtoC得到的风格图像；

判别网络损失如下：

其中，

是判别器D_C的判别器损失，/>

是判别器D_W的判别器损失，·是实数点乘操作；

判别器D_C的判别器损失具体计算公式如下：

其中，L_MSE()是MSE损失，D_C()是判别增强图像E_C的判别器；E_C是增强图像，I_C是输入的高质量图像，·是实数点乘操作；

判别器D_W的判别器损失的具体计算公式如下：

其中，L_MSE()是MSE损失，D_W()是判别生成的水下图像E_W的判别器；E_W是生成的水下图像；I_W是输入的水下图像，·是实数点乘操作。

进一步地，步骤S5具体包括以下步骤：

步骤S51：将水下图像和高质量图像随机划分为多个批次，其中每个批次包含N张水下图像和N张高质量图像，对每个批次中的水下图像和高质量图像进行随机配对得到N对图像；

步骤S52：将同一批次内的每一对水下图像I_W和高质量图像I_C输入到步骤S3构建获得的多尺度非成对水下图像增强网络中，得到图像E_C、E_w、R_W、R_C、F_W、F_C；

步骤S53：根据图像增强网络的总目标损失函数，使用反向传播方法计算图像增强网络中各参数的梯度，并利用随机梯度下降方法更新图像增强网络的参数；

步骤S54：以批次为单位重复进行步骤S51至步骤S53图像增强网络训练步骤，直至图像增强网络的目标损失函数数值收敛到纳什平衡，保存网络参数，完成图像增强网络的训练过程，得到训练好的多尺度非成对水下图像增强模型。

进一步地，步骤S6具体包括以下步骤：

步骤S61：将待增强的水下图像进行归一化处理；

步骤S61：将经过步骤S61处理的图像输入训练好多尺度非成对水下图像增强模型中的生成器G_WtoC，输出增强图像。

与现有技术相比，本发明及其优选方案可适用于非成对的水下图像，并且该方法能更有效的学习水下图像的信息，从而有效的恢复图像失真信息，对其颜色失真进行处理，增强图像细节，去除图像模糊，提高图像色调的亮度，增强的图像符合人类主观视觉感知。现有的水下图像增强方法增强后的图像易出现细节模糊，颜色分布不均匀，亮度较低现象，本发明提出了多尺度非成对水下图像增强方法，能够充分学习水下图像特征，增加图像颜色对比度，对图像进行调亮与细节修复，生成高质量的图像。

附图说明

下面结合附图和具体实施方式对本发明进一步详细的说明：

图1是本发明实施例方法的实现流程图。

图2是本发明实施例中网络模型结构图。

图3是本发明实施例中细节保持模块结构图。

图4是本发明实施例中注意力增强子网络结构图。

具体实施方式

为让本专利的特征和优点能更明显易懂，下文特举实施例，作详细说明如下：

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本说明书使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

以下结合附图对本实施例方案作进一步的具体介绍：

本发明提供一种多尺度非成对水下图像增强方法，如图1-图4所示，包括以下步骤：

步骤S1：将待训练的非成对数据进行数据预处理、数据增强和归一化处理；

步骤S2：设计多尺度水下图像增强网络，网络设计为编码器解码器结构，在编码器部分使用细节保持模块对特征进行细节保持，并为编码器多个不同尺度的输出特征使用注意力增强子网络对其进行增强处理后与解码器进行连接；

步骤S3：搭建循环生成对抗网络结构，与多尺度水下图像质量增强网络结合得到多尺度非成对水下图像增强网络；

步骤S4：设计用于训练非成对水下图像增强网络的目标损失函数；

步骤S5：使用非成对的图像训练多尺度非成对水下图像增强网络收敛到纳什平衡；

步骤S6：将待增强水下图像进行归一化处理，然后输入训练好的水下图像增强模型，输出增强图像。

进一步地，步骤S1包括以下步骤：

步骤S11：将所有待训练非成对图像分为水下图像以及高质量图像；

步骤S12：将所有待训练非成对图像进行放大处理，长宽放大至原图像的1.12倍，对放大后的图像通过随机切割操作、随机翻转操作，进行数据增强；

步骤S13：将所有待训练图像进行归一化处理，给定待处理图像I(i,j)，其归一化处理后的图像为

在像素位置(i,j)处，计算归一化值/>

的公式如下：

其中，(i,j)表示像素的位置。

步骤S14：将归一化后的水下图像作为输入后续步骤的水下图像，归一化后的高质量图像作为输入后续步骤的高质量图像。

进一步地，步骤S2包括以下步骤：

步骤S21：设计多尺度水下图像增强网络。多尺度水下图像质量增强网络由一个编码器网络和一个解码器网络组成，并为编码器多个不同尺度的输出特征使用注意力增强子网络对其进行增强后与解码器连接，同时其他不使用注意力增强子网络的编码器输出特征直接与解码器进行连接。

编码器由7个降采样层和2个细节保持模块组成，细节保持模块分别位于第3和6层降采样层之后，并对编码器的第2、4、6层降采样层输出特征使用注意力增强子网络对其进行增强处理，之后与解码器中的对应层进行连接，同时编码器第1、3、5、7层的降采样层输出特征直接与解码器中的对应层进行连接。每个降采样层由一个激活函数、一个归一化层、一个2×2的卷积串联组成。其计算公式如下：

X_eo＝ReLU(Conv(Norm(X_ei)))

其中，X_eo表示降采样层的输出特征，X_ei表示降采样层的输入特征，ReLU()表示激活函数，Conv()表示卷积，Norm()表示归一化层。

解码器由7个上采样层组成。每个上采样层由一个激活函数、一个归一化层、一个2×2的反卷积串联组成。其计算公式如下：

X_do＝ReLU(TranConv(Norm(X_di)))

其中，X_do表示上采样层的输出特征，X_di表示上采样层的输入特征，ReLU()表示激活函数，TranConv()表示反卷积，Norm()表示归一化层。

多尺度水下图像增强网络计算公式如下：

X_down1＝Down(X_ni)

X_down2＝Down(X_down1)

X_down3＝Down(X_down2)

X_down4＝Down(DRM(X_down3))

X_down5＝Down(X_down4)

X_down6＝Down(X_down5)

X_down7＝Down(DRM(X_down6))

X_down8＝Down(X_down7)

X_up1＝ADD(Up(X_down8),X_down7)

X_up2＝ADD(Up(X_up1),AEN(X_down6))

X_up3＝ADD(Up(X_up2),X_down5)

X_up4＝ADD(Up(X_up3),AEN(X_down4))

X_up5＝ADD(Up(X_up4),X_down3)

X_up6＝ADD(Up(X_up5),AEN(X_down2))

X_no＝ADD(Up(X_up6),X_down1))

其中X_ni表示多尺度水下图像增强网络的输入图像，X_no表示多尺度水下图像增强网络的输出图像，X_down1、X_down2、X_down3、X_down4、X_down5、X_down6、X_down7、X_down8分别表示第1至第8层的降采样层相应层数的输出特征，X_up1、X_up2、X_up3、X_up4、X_up5、X_up6、X_up7分别表示第1至第7层的上采样层相应层数的输出特征，Down()表示降采样层，Up()表示上采样层，DRM()表示细节保持模块，AEN()表示注意力增强子网络，ADD()表示矩阵加法运算。

步骤S22：设计多尺度水下图像增强网络中的细节保持模块。细节保持模块输入特征X_Ri经过一个通道注意力模块得到特征X_SRi，X_SRi与X_Ri相加得到X_R1；X_R1经过一个归一化层得到特征X_NR1，X_R1经过一个1×1的卷积得到特征X_C1R1，X_NR1与X_C1R1相加得到X_R2；X_R2经过一个3×3的卷积得到特征X_CR2，X_R1经过一个1×1的卷积得到特征X_C2R1，X_CR2与X_C2R1相加得到细节保持模块输出特征X_Ro。计算公式如下：

X_R1＝ADD(SE_Layer(X_Ri),X_Ri)

X_R2＝ADD(Conv_1×1(X_R1),Nrom(X_R1))

X_Ro＝ADD(Conv_3×3(X_R2),Conv_1×1(X_R1))

其中，X_Ri表示细节保持模块的输入特征，X_Ro表示细节保持模块输出特征，X_R1、X_R2表示细节保持模块各个阶段的输出特征，SE_Layer()表示通道注意力模块，Conv_3×3()表示内核为3×3卷积，Conv_1×1()表示内核为1×1卷积，Norm()表示归一化层，ADD()表示矩阵加法运算。

步骤S23：设计多尺度水下图像增强网络中的注意力增强子网络。注意力增强子网络由一个拓展学习模块串联一个3×3的卷积，一个通道注意力模块，一个3×3的卷积，一个注意力融合模块组成。拓展学习模块由三个分支并联组成；第一个分支是一个1×1的卷积，第二个分支由一个1×1的卷积和一个3×3的卷积串联组成，第三个分支由一个1×1的卷积和一个最大池化层串联组成。注意力融合模块由一个空间注意力模块残差连接另一个分支组成，该分支由一个通道注意力模块、一个3×3的卷积和另一个通道注意力模块组成。注意力增强子网络公式如下:

X_A1＝Conv_1×1(X_Ai)

X_A2＝Conv_3×3(Conv_1×1(X_Ai))

X_A3＝MaxPool(Conv_1×1(X_Ai))

X_A4＝Conv_3×3(SE_Layer(Conv_3×3(Cat[X_A1,X_A2,X_A3])))

X_A5＝SE_Layer(Conv_3×3(SE_Layer(X_A4)))

X_Ao＝ADD(SA_Layer(X_A5),X_A5))

其中，X_Ai表示注意力增强子网络的输入特征，X_Ao表示注意力增强子网络输出特征，X_A1、X_A2、X_A3、X_A4、X_A5分别表示注意力增强子网络各个阶段的输出特征，SE_Layer()表示通道注意力模块，SA_Layer()表示空间注意力模块，Conv_3×3()表示内核为3×3卷积，Conv_1×1()表示内核为1×1卷积，Cat[]表示按通道维度进行特征拼接操作，ADD()表示矩阵加法运算。

进一步地，步骤S3包括以下步骤：

步骤S31：搭建循环生成对抗网络结构，该网络包括对水下图像进行质量增强的生成器C_WtoC，将高质量图像进行转化生成水下图像的生成器C_WtoW，判断生成器生成的高质量图像的判别器D_C，判别生成器生成的水下图像的生成器D_W。其中，生成器C_WtoC、G_CtoW的网络使用步骤S2设计的网络结构。

步骤S32：将非成对的水下图像与高质量图像输入循环生成对抗网络结构，生成器G_WtoC将水下图像I_W进行质量增强，生成增强图像E_C，判别器D_C将增强图像E_C与高质量图像I_C进行风格比较。生成器G_CtoW将高质量图像I_C进行风格转化生成水下图像E_W，判别器D_W再将E_W与水下图像I_W进行风格对比，输出0,1的二值分类结果。

进一步地，步骤S4包括以下步骤：

步骤S41：设计网络的目标损失函数，损失包括生成网络损失和判别网络损失。

生成网络总目标损失函数如下：

l_G＝λ₁·l_GAN+λ₂·l_cycle+λ₃·l_identity

其中，l_GAN是生成器损失，l_cycle是循环损失，l_identity是风格损失，λ₁,λ₂和λ₃是平衡各项损失的平衡系数，·是实数点乘操作；

生成器损失具体计算公式如下：

l_GAN＝L_MSE(1,D_C(E_C))+L_MSE(1,D_W(E_W))

其中，L_MSE()是MSE损失；D_C()是判别生成的增强图像E_C的判别器，D_W()是判别生成的水下图像E_W的判别器；E_C是生成器G_WtoC生成的增强图像，E_W是生成器G_CtoW生成的水下图像；

循环损失具体计算公式如下：

l_cycle＝L₁(R_C,I_C)+L₁(R_W,I_W)

其中，L₁()是L1损失，I_W是输入的水下图像，I_C是输入的高质量图像，R_W是生成器G_CtoW对增强图像E_C进行重构得到的图像，R_C是生成器G_WtoC对生成的水下图像E_w进行重构得到的图像；

风格损失具体计算公式如下：

l_identity＝L₁(F_C,I_C)+L₁(F_W,I_W)

其中，L₁()是L1损失，I_W是输入的水下图像，I_C是输入的高质量图像，F_W是将水下图像I_W输入生成器G_CtoW成得到风格图像，F_C是将高质量图像I_C输入生成器G_WtoC得到的风格图像。

判别网络损失如下：

其中，

是判别器D_C的判别器损失，/>

是判别器D_W的判别器损失，·是实数点乘操作；

判别器D_C的判别器损失具体计算公式如下：

其中，L_MSE()是MSE损失，D_C()是判别增强图像E_C的判别器；E_C是增强图像，I_C是输入的高质量图像，·是实数点乘操作；

判别器D_W的判别器损失的具体计算公式如下：

其中，L_MSE()是MSE损失，D_W()是判别生成的水下图像E_W的判别器；E_W是生成的水下图像；I_W是输入的水下图像，·是实数点乘操作。

进一步地，步骤S5包括以下步骤：

步骤S51：水下图像和高质量图像随机划分为多个批次，其中每个批次包含N张水下图像和N张高质量图像，对每个批次中的水下图像和高质量图像进行随机配对得到N对图像；

步骤S52：将同一批次内的每一对水下图像I_W和高质量图像L_C输入到步骤S3所述的多尺度非成对水下图像增强网络中，得到图像E_C、E_w、R_W、R_C、F_W、F_C；

步骤S53:根据图像增强网络的总目标损失函数，使用反向传播方法计算图像增强网络中各参数的梯度，并利用随机梯度下降方法更新图像增强网络的参数；

步骤S54：以批次为单位重复进行上述步骤S51至步骤S53图像增强网络训练步骤，直至图像增强网络的目标损失函数数值收敛到纳什平衡，保存网络参数，完成图像增强网络的训练过程，得到训练好的多尺度非成对水下图像增强模型。

进一步地，步骤S6包括以下步骤：

步骤S61：将待增强的水下图像进行归一化处理；

步骤S61：将经过步骤S61处理的图像输入训练好多尺度非成对水下图像增强模型中的生成器C_WtoC，输出增强图像。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

本专利不局限于上述最佳实施方式，任何人在本专利的启示下都可以得出其它各种形式的多尺度非成对水下图像增强方法，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本专利的涵盖范围。

Claims (7)

1.一种多尺度非成对水下图像增强方法，其特征在于：

步骤S1：将待训练的非成对数据进行数据预处理、数据增强和归一化处理；

步骤S2：设计多尺度水下图像增强网络，采用编码器解码器结构，在编码器部分使用细节保持模块对特征进行细节保持，并为编码器多个不同尺度的输出特征使用注意力增强子网络对其进行增强处理后与解码器进行连接；

步骤S3：搭建循环生成对抗网络结构，与多尺度水下图像质量增强网络结合得到多尺度非成对水下图像增强网络；

步骤S4：设计用于训练非成对水下图像增强网络的目标损失函数；

步骤S5：使用非成对的图像训练多尺度非成对水下图像增强网络收敛到纳什平衡；

步骤S6：将待增强水下图像进行归一化处理，然后输入训练好的水下图像增强模型，输出增强图像。

2.根据权利要求1所述的多尺度非成对水下图像增强方法，其特征在于，步骤S1具体包括以下步骤：

步骤S11：将所有待训练非成对图像分为水下图像以及高质量图像；

步骤S12：将所有待训练非成对图像进行放大处理，长宽放大至原图像的1.12倍，对放大后的图像通过随机切割操作、随机翻转操作，进行数据增强；

步骤S13：将所有待训练图像进行归一化处理，给定待处理图像I(i，j)，其归一化处理后的图像为

在像素位置(i，j)处，计算归一化值/>

的公式如下：

其中，(i，j)表示像素的位置；

步骤S14：将归一化后的水下图像作为输入后续步骤的水下图像，归一化后的高质量图像作为输入后续步骤的高质量图像。

3.根据权利要求1所述的多尺度非成对水下图像增强方法，其特征在于，步骤S2具体包括以下步骤：

步骤S21：设计多尺度水下图像增强网络：多尺度水下图像质量增强网络由一个编码器网络和一个解码器网络组成，并为编码器多个不同尺度的输出特征使用注意力增强子网络对其进行增强后与解码器连接，并其他不使用注意力增强子网络的编码器输出特征直接与解码器进行连接；

编码器由7个降采样层和2个细节保持模块组成，细节保持模块分别位于第3和6层降采样层之后，并对编码器的第2、4、6层降采样层输出特征使用注意力增强子网络以进行增强处理，之后与解码器中的对应层进行连接，编码器第1、3、5、7层的降采样层输出特征直接与解码器中的对应层进行连接；每个降采样层由一个激活函数、一个归一化层、一个2×2的卷积串联组成；计算公式如下：

X_eo＝ReLU(Conv(Norm(X_ei)))

其中，X_eo表示降采样层的输出特征，X_ei表示降采样层的输入特征，ReLU()表示激活函数，Conv()表示卷积，Norm()表示归一化层；

解码器由7个上采样层组成；每个上采样层由一个激活函数、一个归一化层、一个2×2的反卷积串联组成；计算公式如下：

X_do＝ReLU(TranConv(Norm(X_di)))

其中，X_do表示上采样层的输出特征，X_di表示上采样层的输入特征，ReLU()表示激活函数，TranConv()表示反卷积，Norm()表示归一化层；

多尺度水下图像增强网络计算公式如下：

X_down1＝Down(X_ni)

X_down2＝Down(X_down1)

X_down3＝Down(X_down2)

X_down4＝Down(DRM(X_down3))

X_down5＝Down(X_down4)

X_down6＝Down(X_down5)

X_down7＝Down(DRM(X_down6))

X_down8＝Down(X_down7)

X_up1＝ADD(Up(X_down8)，X_down7)

X_up2＝ADD(Up(X_up1)，AEN(X_down6))

X_up3＝ADD(Up(X_up2)，X_down5)

X_up4＝ADD(Up(X_up3)，AEN(X_down4))

X_up5＝ADD(Up(X_up4)，X_down3)

X_up6＝ADD(Up(X_up5)，AEN(X_down2))

X_no＝ADD(Up(X_up6)，X_down1))

其中X_ni表示多尺度水下图像增强网络的输入图像，X_no表示多尺度水下图像增强网络的输出图像，X_down1、X_down2、X_down3、X_down4、X_down5、X_down6、X_down7、X_down8分别表示第1至第8层的降采样层相应层数的输出特征，X_up1、X_up2、X_up3、X_up4、X_up5、X_up6、X_up7分别表示第1至第7层的上采样层相应层数的输出特征，Down()表示降采样层，Up()表示上采样层，DRM()表示细节保持模块，AEN()表示注意力增强子网络，ADD()表示矩阵加法运算；

步骤S22：设计多尺度水下图像增强网络中的细节保持模块：细节保持模块输入特征X_Ri经过一个通道注意力模块得到特征X_SRi，X_SRi与X_Ri相加得到X_R1；X_R1经过一个归一化层得到特征X_NR1，X_R1经过一个1×1的卷积得到特征X_C1R1，X_NR1与X_C1R1相加得到X_R2；X_R2经过一个3×3的卷积得到特征X_CR2，X_R1经过一个1×1的卷积得到特征X_C2R1，X_CR2与X_C2R1相加得到细节保持模块输出特征X_Ro，计算公式如下：

X_R1＝ADD(SE_Layer(X_Ri)，X_Ri)

X_R2＝ADD(Conv_1×1(X_R1)，Norm(X_R1))

X_Ro＝ADD(Conv_3×3(X_R2)，Conv_1×1(X_R1))

其中，X_Ri表示细节保持模块的输入特征，X_Ro表示细节保持模块输出特征，X_R1、X_R2表示细节保持模块各个阶段的输出特征，SE_Layer()表示通道注意力模块，Conv_3×3()表示内核为3×3卷积，Conv_1×1()表示内核为1×1卷积，Norm()表示归一化层，ADD()表示矩阵加法运算；

步骤S23：设计多尺度水下图像增强网络中的注意力增强子网络：注意力增强子网络由一个拓展学习模块串联一个3×3的卷积，一个通道注意力模块，一个3×3的卷积，一个注意力融合模块组成；所述拓展学习模块由三个分支并联组成；第一个分支是一个1×1的卷积，第二个分支由一个1×1的卷积和一个3×3的卷积串联组成，第三个分支由一个1×1的卷积和一个最大池化层串联组成；所述注意力融合模块由一个空间注意力模块残差连接另一个分支组成，该分支由一个通道注意力模块、一个3×3的卷积和另一个通道注意力模块组成；注意力增强子网络公式如下：

X_A1＝Conv_1×1(X_Ai)

X_A2＝Conv_3×3(Conv_1×1(X_Ai))

X_A1＝Conv_1×1(X_Ai)

X_A2＝Conv_3×3(Conv_1×1(X_Ai))

X_A3＝MaxPool(Conv_1×1(X_Ai))

X_A4＝Conv_3×3(SE_Layer(Conv_3×3(Cat[X_A1，X_A2，X_A3])))

X_A5＝SE_Layer(Conv_3×3(SE_Layer(X_A4)))

X_Ao＝ADD(SA_Layer(X_A5)，X_A5))

其中，X_Ai表示注意力增强子网络的输入特征，X_Ao表示注意力增强子网络输出特征，X_A1、X_A2、X_A3、X_A4、X_A5分别表示注意力增强子网络各个阶段的输出特征，SE_Layer()表示通道注意力模块，SA_Layer()表示空间注意力模块，Conv_3×3()表示内核为3×3卷积，Conv_1×1()表示内核为1×1卷积，Cat[]表示按通道维度进行特征拼接操作，ADD()表示矩阵加法运算。

4.根据权利要求3所述的多尺度非成对水下图像增强方法，其特征在于，步骤S3具体包括以下步骤：

步骤S31：搭建循环生成对抗网络结构，包括对水下图像进行质量增强的生成器G_WtoC，将高质量图像进行转化生成水下图像的生成器G_CtoW，判断生成器生成的高质量图像的判别器D_C，判别生成器生成的水下图像的生成器D_W；其中，生成器G_WtoC、G_CtoW的网络使用步骤S2设计的网络结构；

步骤S32：将非成对的水下图像与高质量图像输入循环生成对抗网络结构，生成器G_WtoC将水下图像I_W进行质量增强，生成增强图像E_C，判别器D_C将增强图像E_C与高质量图像I_C进行风格比较；生成器G_CtoW将高质量图像I_C进行风格转化生成水下图像E_W，判别器D_W再将E_W与水下图像I_W进行风格对比，输出0，1的二值分类结果。

5.根据权利要求4所述的多尺度非成对水下图像增强方法，其特征在于，步骤S4具体包括以下步骤：

步骤S41：设计网络的目标损失函数，损失包括生成网络损失和判别网络损失：

生成网络总目标损失函数如下：

其中，

是生成器损失，/>

是循环损失，/>

是风格损失，λ₁，λ₂和λ₃是平衡各项损失的平衡系数，·是实数点乘操作；

生成器损失具体计算公式如下：

其中，L_MSE()是MSE损失；D_C()是判别生成的增强图像E_C的判别器，D_W()是判别生成的水下图像E_W的判别器；E_C是生成器G_WtoC生成的增强图像，E_W是生成器G_CtoW生成的水下图像；

循环损失具体计算公式如下：

其中，L₁()是L1损失，I_W是输入的水下图像，I_C是输入的高质量图像，R_W是生成器G_CtoW对增强图像E_C进行重构得到的图像，R_C是生成器G_WtoC对生成的水下图像E_w进行重构得到的图像；

风格损失具体计算公式如下：

其中，L₁()是L1损失，I_W是输入的水下图像，I_C是输入的高质量图像，F_W是将水下图像I_W输入生成器G_CtoW成得到风格图像，F_C是将高质量图像I_C输入生成器G_WtoC得到的风格图像；

判别网络损失如下：

其中，

是判别器D_C的判别器损失，/>

是判别器D_W的判别器损失，·是实数点乘操作；

判别器D_C的判别器损失具体计算公式如下：

其中，L_MSE()是MSE损失，D_C()是判别增强图像E_C的判别器；E_C是增强图像，I_C是输入的高质量图像，·是实数点乘操作；

判别器D_W的判别器损失的具体计算公式如下：

其中，L_MSE()是MSE损失，D_W()是判别生成的水下图像E_W的判别器；E_W是生成的水下图像；I_W是输入的水下图像，.是实数点乘操作。

6.根据权利要求5所述的多尺度非成对水下图像增强方法，其特征在于，步骤S5具体包括以下步骤：

步骤S51：将水下图像和高质量图像随机划分为多个批次，其中每个批次包含N张水下图像和N张高质量图像，对每个批次中的水下图像和高质量图像进行随机配对得到N对图像；

步骤S52：将同一批次内的每一对水下图像I_W和高质量图像I_C输入到步骤S3构建获得的多尺度非成对水下图像增强网络中，得到图像E_C、E_w、R_W、R_C、F_W、F_C；

步骤S53：根据图像增强网络的总目标损失函数，使用反向传播方法计算图像增强网络中各参数的梯度，并利用随机梯度下降方法更新图像增强网络的参数；

步骤S54：以批次为单位重复进行步骤S51至步骤S53图像增强网络训练步骤，直至图像增强网络的目标损失函数数值收敛到纳什平衡，保存网络参数，完成图像增强网络的训练过程，得到训练好的多尺度非成对水下图像增强模型。

7.根据权利要求6所述的多尺度非成对水下图像增强方法，其特征在于，步骤S6具体包括以下步骤：

步骤S61：将待增强的水下图像进行归一化处理；

步骤S61：将经过步骤S61处理的图像输入训练好多尺度非成对水下图像增强模型中的生成器G_WtoC，输出增强图像。

Images