CN113256520A - 一种域自适应的水下图像增强方法 - Google Patents

Abstract

本发明公开了属于图像处理技术领域，特别涉及一种域自适应的水下图像增强方法，具体涉及一种基于双注意域自适应的水下图像增强方法。主要包括结合现有的水下图像数据集进行数据处理、输入合成的水下图像数据和真实的水下数据进行，域自适应学习训练、使用训练好的模型对测试数据集测试输出；应用先验信息提高生成图像的结构特征和纹理特性，进而解决现有水下生成图片模型所具有的细节信息丢失的问题。

Description

一种域自适应的水下图像增强方法

技术领域

本发明涉属于图像处理技术领域，特别涉及一种域自适应的水下图像增强方法，具体涉及一种基于双注意域自适应的水下图像增强方法。

背景技术

水下图像增强是近年来的一个研究热点，其目的是获得清晰、高质量的水下图像。水下图像增强是水下图像处理如目标检测，场景感知的重要过程。这项技术在水下研究的许多领域都有应用，如水下机器人、救援任务、生态监测、海洋生物跟踪、水下机器人控制、海洋生物学研究和考古学。发展水下图像增强方法是完成水下视觉质量和高水平水下视觉任务的必要条件。

与普通图像不同的是，复杂的水下环境和光在不同的水体中所呈现的特殊物理及化学特性，会导致水下图像出现退化的现象。受水体深度光波衰减及颗粒悬浮的影响，水下图像呈现较多的蓝绿色调及雾状效应。图像的颜色信息作为反应物体特性的重要信息，对水下目标识别及分类有着极为重要的作用，但水下光收到水体特征的影响会发生衰减和散射效应导致水体图像呈现对比度，散射模糊及颜色失真的现象，极大的降低了水下图像的质量，限制了水下图像处理相关技术的发展。

虽然现阶段水下领域不乏大型图像数据集，但依旧很难找到具有真实水下图像标签且水下数据分布符合真实水下的数据集合；缺乏较为公开的水下数据集对以数据驱动的深度学习增强方法带来极大的瓶颈，从而进一步的制约了水下图像增强算法的深入研究及应用拓展。

尽管该领域已有大量的研究工作，如针对水下数据进行处理和模拟，或针对硬件设施进行研究开发的，但缺少从水下图像的颜色纹理及全局结构角度，致使训练出来的水下增强方法缺少鲁棒性和较好的迁移性。相关的现有技术如下：

1CycleGAN

CycleGAN^[1]是一种无监督生成对抗网络，它的主要思想是训练两对生成器将模型从一个领域转换成另一个领域。通过循环一致性损失函数确保不同数据域间的生成图像具有一致性和相似性。该模型包含两个映射函数G：X→Y和F：Y→X，以及相关的对抗鉴别器D_Y和D_X，D_Y鼓励G将X翻译成Y风格的图像。反之亦然。两个映射分别通过循环协调损失函数，确保图像迁移的风格可以回到处理之前的状态。

2 DSG模块

DSG(Dual attention spatial feature group)^[2]，采用双注意力空间特征提取模块保留图像的结构特征和纹理特征，抑制不相关的噪声信息，提高生成图像的颜色特征及结构纹理特征。通过DSG模块通过引导之前的特征先进行模糊处理去掉一些噪声。颜色修正分支来获得颜色的Attention信息。其中该模块所设计的高斯模糊只是让图片的颜色信息流特征进入特征提取模块。

3 SFT

SFT(Spatial feature transform)^[3]学习匹配图像的先验条件信息，将空间特征映射到每个中间特征应用仿射层，通过转换、缩放以及移动对应层的特征图来自适应，通过融合水下图像的深度信息来提高水下图像风格转换的效果，生成图像的细节纹理特征。

4 UNet

UNet^[4]采用的编码器(下采样)-解码器(上采样)结构和跳跃连接是一种非常经典的设计方法，属于FCN的一种变体，UNet借助拼接将完全不同的特征融合在一起，在不同channel维度拼接在一起，形成更厚的特征。而FCN融合时使用的对应点相加，并不形成更厚的特征。网络中添加的上采样阶段，允许了更多的原图像纹理的信息在高分辨率的layers中进行传播。

5全局特征映射层

结合全局特征进行全联接映射^[5]，全局特征向量用作正则化器，以惩罚可能导致伪影的低分辨率特征中的任何错误处理。此外，使用平均池来提取全局特征向量需要的参数比完全连通层少得多。除了全局特征向量，范围缩放层还支持像素强度的逐像素缩放。由于简单的局部变换集合足以逼近任何复杂的图像处理管道。所以它比传统的残差学习网络具有更高的学习能力，能够学习从低质量图像到高质量图像的细微而复杂的映射。在增强图像中加入全局特征向量可以显著地减少水下图像视觉伪影；引入全联接层提高模型特征映射到效果。

针对上述现有技术，我们引入域自适应的生成对抗网络来缓解合成数据和真实数据集的域间差异，引入改进的全局特征映射来提高水下增强的效果，最后构建半监督的水下图像增强框架提高模型的可适性和鲁棒性。该方法基于双注意力机制、空间转换模块、CycleGAN和UNet，提出一种基于DSG_CycleGAN框架的双注意力水下图像风格迁移模型，一种基于全局特征映射的UNet水下增强模型。在训练的过程中引入域自适应机制进行全局调优，提高整体框架方法的迁移效果，框架可以结合输入图像的风格类型，纹理及颜色特征，进行自适应学习减少不同域环境间水下图像风格差异，增强过程引入图像特征的全局映射较少水下图像增强后的图像伪影。实验结果表明，我们的方法具有更好的效果，相比现阶段的水下图像增强方法我们的方法具有更好的应用效果，在不同的水下数据集下我们的方法具有更好的纹理细节特征和更好的增强效果。可以较好的模拟仿真水下图像数据。

为了验证我们的方法在真实图像上的鲁棒性，我们比较不同方法在水下图像增强后的效果，合成数据集合[6]和真实的公开数据集合Sea-Thru数据集^[7]，通过水下的可视化效果和量化比较，验证我们方法的效果。

本发明为了缓解以数据驱动的水下模型的数据量不足的问题，提出了一种双向风格迁移水下图像颜色校正方法，结合域自适应，注意力特征提取和空间转化提高水下生成图像的风格感知效果，应用先验信息提高生成图像的结构特征和纹理特性，进而解决现有水下生成图片模型所具有的细节信息丢失的问题。

本方法涉及两个图像迁移模块，DSG可以较好的提高CycleGAN在X_s向X_r进行转化时的图像对深度先验信息的利用，使生产的图片更为细致逼真。由于本方法主要针对图像的颜色、风格及纹理特征，可以较好的提高生成图片的质量，为下一步进行水下图像的各种任务提供丰富的数据集，较好的满足数据驱动模型的研究和发展。其次，改进传统的UNet模型引入全局特征映射层，提高图像在增强过程中所产生的伪影，借助全连接层提高还原过程对全局图像特征的描述和还原。结合给定简单局部变换的集合，该模型就足以近似复杂图像的原理。经过改进的算子通过拟合局部曲线来学习微妙而复杂的功能，具有更高的能力，这些局部曲线可以将低质量的图像映射到高质量的图像，进而提高水下图像还原的效果。

发明内容

本发明的目的是提出一种域自适应的水下图像增强方法；其特征在于，包括如下步骤：

1)结合现有的水下图像数据集，选择已有的合成的水下及现实水下数据构建输入数据集合；

2)将训练图像随机裁剪到256*256，并将像素值归一化到[-1，1]，进行图像预处理；

3)运行引入双注意力空间迁移DSG训练CycleGAN模型，进行不同域间的图像风格迁移，分别输入合成的水下图像数据和真实的水下数据进行，域自适应学习训练；

4)使用ADAM优化器，及所涉及的优化损失函数进行图像风格迁移的模型训练，并保留最后训练的模型权重及结果；

5)使用已训练好的DSG_CycleGAN模型权重，在生成的真数据集和真实水下数据集下训练F_R图像增强模型，并保存训练结果数据集中训练集进行训练；

6)合成数据水下图像增强模型F_S，使用同样的方式，分别在生成的合成数据集合和合成数据进行训练，并保留训练的权重及结果；

7)全局模型优化调参过程，分别将已有的风格迁移网络和增强网络进行训练优化，以达到最后的全局最优过程，保留最后的三个调优网络的权重和结果；

8)使用训练好的模型对测试数据集测试输出。

所述步骤1)选取从10种合成的水下图像数据集NYU-v2RGB-D生成的水下图像数据集；这个数据集使用衰减系数来构建海洋和沿海类的十种不同的水类型。

所述步骤2)的训练的真实数据集是从Sea-thru中选择的550个(如图2所示)，该数据集包括从两个光学不同的水体在自然光下拍摄的分辨率为7360*4912，共计1100幅图像，

所述步骤3)运行引入双注意力空间迁移DSG训练CycleGAN模型，进行不同域间的图像风格迁移，采用了改进的具有双注意空间特征组(DSG_CycleGAN)的循环GAN，该图像转换模型旨在迁移优化水下生成图像的效果；DSG_CycleGAN分支不需要包括散射系数、背向散射和宽带(RGB)衰减的任何水下数据参数。

所述图像转换模块包括两个转换器：合成到真实的水下网络G_s2r和真实到合成的网络G_r2s。给定输入的RGB图像

和深度图像D_s到网络G_s2r，然后生成具有与真实水下图像相似样式的转换图像G_s2r(x_s，d_s)；另一个翻译器G_r2s反向执行图像翻译。

所述DSG块通过使用空间特征变换层，通道注意和空间注意来执行特征重新校准；DSG的方程为：

T_d＝M(RRG₅(...(RRG₁(T_in))))

为哈达玛积，将图层的输出通道数设置为3，以保留尽可能多的原始图像的结构信息；SFT空间特征转移模块，θ，δ，ξ为模型超参数，T_DSG为DSG模型的输出，RRG为递归剩余组模块，T_d为深度特征图。

本发明的有益效果是本发明提出的双向风格迁移水下图像颜色校正方法，结合域自适应，注意力特征提取和空间转化提高水下生成图像的风格感知效果，应用先验信息提高生成图像的结构特征和纹理特性，进而解决现有水下生成图片模型所具有的细节信息丢失的问题。经过改进的算子通过拟合局部曲线来学习微妙而复杂的功能，具有更高的能力，这些局部曲线可以将低质量的图像映射到高质量的图像，进而提高水下图像还原的效果。本发明具有的特点如下：

1.在构建CycleGAN风格迁移模型时，引入DSG模块来提高水下图像深度先验信息的特征，提高风格迁移的效果，从而为以后的水下图像增强提供有价值的数据集合。

2.训练整个模型过程引入全局特征向量映射改进UNet网络进行水下图像增强，减少水下增强图像的伪影和生成的图像效果。并借助有监督损失函数和无监督损失函数均衡协调，提高整个水下图像增强训练模型的效果。

3.本发明自适应机制的端到端水下图像风格迁移颜色校对采用CycleGAN为风格迁移基本框架，结合不同域间的水下图像数据集进行水下图像增强还引入自适应机制进行全局图像优化改进。

附图说明

图1为合成水下图像处理效果图。

图2为不同方法在真实数据的效果图。

图3为图像翻译DSG模块。

图4为在两张合成水下图像上的翻译结果。

图5为引入全局特征向量映射的UNet。

图6为自适应水下图像增强框架整体框架图。

图7为合成水下图像处理步骤流程图。

具体实施方式

本发明提出一种域自适应的水下图像增强方法；下面结合附图对本发明予以进一步说明。

如图7所示的合成水下图像处理步骤流程。主要包括结合现有的水下图像数据集进行数据处理、输入合成的水下图像数据和真实的水下数据进行，域自适应学习训练、使用训练好的模型对测试数据集测试输出；具体包括如下步骤：

1)结合现有的水下图像数据集，选择已有的合成的水下及现实水下数据构建输入数据集合；

2)将训练图像随机裁剪到256*256，并将像素值归一化到[-1，1]，进行图像预处理；

3)运行引入双注意力空间迁移DSG训练CycleGAN模型，进行不同域间的图像风格迁移，分别输入合成的水下图像数据和真实的水下数据进行，域自适应学习训练；

4)使用ADAM优化器，及所涉及的优化损失函数进行图像风格迁移的模型训练，并保留最后训练的模型权重及结果；

5)使用已训练好的DSG_CycleGAN模型权重，在生成的真数据集和真实水下数据集下训练F_R图像增强模型，并保存训练结果数据集中训练集进行训练；

6)合成数据水下图像增强模型F_S，使用同样的方式，分别在生成的合成数据集合和合成数据进行训练，并保留训练的权重及结果；

7)全局模型优化调参过程，分别将已有的风格迁移网络和增强网络进行训练优化，以达到最后的全局最优过程，保留最后的三个调优网络的权重和结果；

8)使用训练好的模型对测试数据集测试输出。

所述结合现有的水下图像数据集进行数据处理包括步骤1)和步骤2)；如图1、图2所示，图1中，选取从10种合成的水下图像数据集NYU-v2RGB-D生成的水下图像数据集；这个数据集使用衰减系数来构建海洋和沿海类的十种不同的水类型；它包含1449种水类型与相应的图像深度对大小620*460；选择5000张人工合成水下图像进行训练，2500张来自公海水域(即I型、IA型、IB型、II型和III型)，2500张来自沿海类别(即1型、3型和5型)。训练的真实数据集是从Sea-thru中选择的550个(如图2所示)，该数据集包括从两个光学不同的水体在自然光下拍摄的1100幅图像，分辨率约为7360*4912，场景深度图像的范围图是利用结构运动(SFM)对空间变化光源的估计得到的。

所述步骤3)运行引入双注意力空间迁移DSG训练CycleGAN模型，进行不同域间的图像风格迁移，采用了改进的具有双注意空间特征组(DSG_CycleGAN)的循环GAN，该图像转换模型旨在迁移优化水下生成图像的效果；DSG_CycleGAN分支不需要包括散射系数、背向散射和宽带(RGB)衰减的任何水下数据参数，

所述图像转换模块包括两个转换器：合成到真实的水下网络G_s2r和真实到合成的网络G_r2s。给定输入的RGB图像

和深度图像D_s到网络G_s2r，然后生成具有与真实水下图像相似样式的转换图像G_s2r(x_s，d_s)；另一个翻译器G_r2s反向执行图像翻译(如图3所示)。

本方法基于双注意和条件域对抗网络的启发，采用双重注意模块和空间特征变换层将深度信息纳入水下图像风格迁移网络。优化改进的DSG模块的目标是抑制噪音点信息，仅允许通过更多有助于合成优化水下风格和纹理的信息通过，它还可以有效地融合深度图和合成图像中的功能。DSG块通过使用空间特征变换层，通道注意和空间注意来执行特征重新校准。

DSG的方程为：

T_d＝M(RRG₅(...(RRG₁(T_in))))

为哈达玛积；将图层的输出通道数设置为3，以保留尽可能多的原始图像的结构信息。SFT空间特征转移模块，θ，δ，ξ为模型超参数，T_DSG为DSG模型的输出，RRG为递归剩余组模块，T_d为深度特征图。

在生成器G_s2r中，将深度图为引导生成器的先验信息，使用SFT层来变换倒数第二卷积层的特征；通道注意力被设计为利用卷积特征的通道间依赖性，而空间注意力分支则利用特征的空间间关系并计算空间注意力图，然后将其用于重新缩放传入特征U，

T_DAB＝T_in+M_c[CA(U)，SA(U)]

其中，

表示通过在DAB的开始处在输入张量

上应用两个卷积获得的特征图，并且M_c是最后一个卷积层，其滤波器大小为1*1。在翻译图像模型之后，合成图像相对更接近真实水下图像(如图4所示在两张合成水下图像上的翻译结果)

在张量上引入全局特征向量从平均池中提取；然后，对输入图像的全局特征进行编码，实验证明对本方法对水下图像的复原有着十分重要的作用，可以较好的提高高水平任务，如边缘检测和目标检测。本方法同时也引入全连接层来提高对特征向量的处理能力；通过全连接学习的全局特征向量可以有效地减少增强后的水下图像中的视觉伪影，对可能导致伪影的低分辨率特征进行正则化。此外，与普通中的完全连通层相比，使用平均池来提取全局特征向量所需的参数要少得多。改进后的算子具有更高的能力，能够通过拟合局部曲线来学习图像的细微和复杂，从而实现从低质量图像到高质量图像的映射。

如图5所示引入全局特征向量映射的UNet在水下增强阶段，训练GUNet在针对水下图像数据集合的相关参数设置，70个epoch使用预训练GUNet模型。优化器采用ADAM分别动量设为β₁＝0.95，β₂＝0.999，批尺寸大小为4，学习率为0.0001。在模型域自适应训练阶段，我们使用上述预训练模型对整个网络进行30个阶段的微调；在计算DC loss时，我们将patch设置为13*13。

图6所示为自适应水下图像增强框架整体框架图。利用损失函数来提高模型的训练的效果；主要涉及损失函数，MSE损失、VGG损失、GAN损失、TV损失、周期一致性损失、身份映射损失和知觉损失，定义如下：

λ₁，λ₂，λ₃，λ₄是权衡的权重系数；实现端到端的水下图像风格迁移颜色校对方法，通过优化

这个目标函数引入各个损失函数。为了简化模型，将增强损失和样式转移损失的系数设置为相同。

所述双向水下图像风格迁移损失，这里迁移模块模型学习目标将生成器G_s2r和G_r2s分别生成相应领域的图像，减少合成水下图像源X_S与实际水下图像目标X_R之间的差异。我们采用GAN的对抗性损失，生成器初始化为将合成图像转换为真实的水下图像。

为了获得逼真的水下图像，通过结合基于鉴别器的特征匹配损失来改善对抗损失。然后，我们采用图像级鉴别器

和特征级鉴别器

通过对抗性学习方式进行min-max游戏。

的目的是对齐x_r和G_s2r(x_s，d_s)之间的内容特征分布。鉴别器

有助于对齐和风格特征图x_r和G_s2r(x_s，d_s)之间的分布。对抗损失定义为：

与G_s2r相似，生成器G_r2s还有另一个图像级别的对抗损失和特征级别的对抗损失，分别表示为

和

X_S为仿真数据集的数据分布，D_S仿真数据集深度图特征分布，

真实图像层次判别网络，X_R为真实图像，

数据分布的期望函数，G_s2r仿真域转换真实域生成器，

真实特征层次判别器。

为了确保输入和输出图像以有意义的方式配对，我们利用循环一致性损失，当将图像x_s依次传递给G_s2r和G_r2s时，我们期望输出应该具有相似的分布并且与x_r相同。即G_r2s(G_s2r(x_s，d_s))≈x_s和G_s2r(G_r2s(x_r)，d_r)≈x_r。循环一致性损失可以表示为：

我们利用身份映射损失函数来约束生成器在合成域和真实域之间保留图片风格信息和内容信息的映射。它还将鼓励映射以保留合成色和实色之间的颜色组成：

双向图像转换模型的完整目标函数如下：

利用感知损失和保真度损失来增强图像的精细特征，保留原始颜色信息。对于监督分支，采用感知损失和保真度损失来保证图像的增强

接近于清晰的图像X.感知损失将衡量合成图像和对应的清晰图像之间的高层次差异。φ_i(x)被视为知觉特征，提取VGGNet第i层的activations。知觉损失函数如下

是增强网络的最终结果。H_i和W_i是指第i层特征图，C_i表示通道。

保真度损失函数表示为下式，我们计算了清晰水下图像X和最终结果输出

之间的欧氏距离.

在无监督的情况下，我们引入总变差损耗和暗信道损耗来正则化增强网络。全变差(TV)损耗是抑制高频噪声的有效方法l₂基于正则化梯度的图像增强方法

定义如下：

C，H和W分别表示增强图像的通道数、高度和权重。

表示水平渐变运算符，以及

表示垂直渐变运算符。

此外，我们采用以下暗通道(DC)损失，以确保预测图像的暗通道与干净图像的暗通道一致：

x和y是图像的像素坐标，

代表增强图像

的第c个通道，N(x)表示以x为中心的本地邻居。

Claims (6)

1.一种域自适应的水下图像增强方法；其特征在于，包括如下步骤：

1)结合现有的水下图像数据集，选择已有的合成的水下及现实水下数据构建输入数据集合；

2)将训练图像随机裁剪到256*256，并将像素值归一化到[-1，1]，进行图像预处理；

3)运行引入双注意力空间迁移DSG训练CycleGAN模型，进行不同域间的图像风格迁移，分别输入合成的水下图像数据和真实的水下数据进行，域自适应学习训练；

4)使用ADAM优化器，及所涉及的优化损失函数进行图像风格迁移的模型训练，并保留最后训练的模型权重及结果；

5)使用已训练好的DSG_CycleGAN模型权重，在生成的真数据集和真实水下数据集下训练F_R图像增强模型，并保存训练结果数据集中训练集进行训练；

6)合成数据水下图像增强模型F_S，使用同样的方式，分别在生成的合成数据集合和合成数据进行训练，并保留训练的权重及结果；

7)全局模型优化调参过程，分别将已有的风格迁移网络和增强网络进行训练优化，以达到最后的全局最优过程，保留最后的三个调优网络的权重和结果；

8)使用训练好的模型对测试数据集测试输出。

2.根据权利要求1所述的域自适应的水下图像增强方法；其特征在于，所述步骤1)选取从10种合成的水下图像数据集NYU-v2RGB-D生成的水下图像数据集；这个数据集使用衰减系数来构建海洋和沿海类的十种不同的水类型。

3.根据权利要求1所述的域自适应的水下图像增强方法；其特征在于，所述步骤2)的训练的真实数据集是从Sea-thru中选择的550个(如图2所示)，该数据集包括从两个光学不同的水体在自然光下拍摄的分辨率为7360*4912，共计1100幅图像。

4.根据权利要求1所述的域自适应的水下图像增强方法；其特征在于，所述步骤3)运行引入双注意力空间迁移DSG训练CycleGAN模型，进行不同域间的图像风格迁移，采用了改进的具有双注意空间特征组(DSG_CycleGAN)的循环GAN，该图像转换模型旨在迁移优化水下生成图像的效果；DSG_CycleGAN分支不需要包括散射系数、背向散射和宽带(RGB)衰减的任何水下数据参数。

5.根据权利要求4所述的域自适应的水下图像增强方法；其特征在于，所述图像转换模块包括两个转换器：合成到真实的水下网络G_s2r和真实到合成的网络G_r2s。给定输入的RGB图像

和深度图像D_s到网络G_s2r，然后生成具有与真实水下图像相似样式的转换图像G_s2r(x_s，d_s)；另一个翻译器G_r2s反向执行图像翻译。

6.根据权利要求4所述的域自适应的水下图像增强方法；其特征在于，所述DSG块通过使用空间特征变换层，通道注意和空间注意来执行特征重新校准；DSG的方程为：

T_d＝M(RRG₅(...(RRG₁(T_in))))

为哈达玛积，将图层的输出通道数设置为3，以保留尽可能多的原始图像的结构信息；SFT空间特征转移模块，θ，δ，ξ为模型超参数，T_DSG为DSG模型的输出，RRG为递归剩余组模块，T_d为深度特征图。

Images