CN112541865A - 基于生成对抗网络的水下图像增强方法 - Google Patents

Abstract

本发明属于机器学习、图像处理技术领域，为提出一种能够有效修正水下图像颜色的偏差，增强水下图像清晰度的增强方法。为此，本发明采取的技术方案是，基于生成对抗网络的水下图像增强方法，包括生成模型G和判别模型D的生成对抗网络处理水下图像，具体步骤是，c为清晰图像的颜色条件信息，c'为输入图像的颜色条件信息，这两类标签信息均为一维向量，在输入时将c扩充为与输入图像z同大小的图像，并与输入图像z合并后输入到生成模型G中，得到生成的增强图像

再将增强图像

输入判别模型D中，判别模型D_G判断该图像

是否真实。本发明主要应用于水下图像处理场合。

Description

基于生成对抗网络的水下图像增强方法

技术领域

本发明属于机器学习、图像处理技术领域，涉及一种基于生成对抗网络的水下图像增强方法。

背景技术

水下图像在获取海洋信息方面有着大量的应用，例如，海底石油勘探、沉船打捞等。但由于水中不同波长的光衰减速度不同，使得水下图像会产生颜色失真；水中悬浮物的散射使得水下图像会呈现“雾化”现象；水下光照弱会使得水下图像对比度低，这严重影响了水下图像的进一步利用，因此需要对水下图像进行增强、复原等处理。

基于水下图像增强一般分为基于物理模型的方法、基于非物理模型的方法和基于学习的方法等几类。基于物理模型的方法对水下图像成像模型的相关参数进行估计，通过反演退化过程重构清晰图像。基于非物理模型的方法不考虑水下退化原理，通过调整图像的像素值来提高图像的清晰度。上述两种方法需考虑水下图像的先验信息，对于不同的水下图像的泛化能力较差，有一定的局限性。基于学习的方法是以数据驱动的方式，估计水下模型参数，逆求解成像模型来得到清晰化水下图像或直接通过端到端的网络重构清晰的水下图像，但用于训练网络的成对水下数据难以采集。本发明对基于学习的方法进行研究，提出一种基于生成对抗网络的水下图像增强算法。

发明内容

为克服现有技术的不足，本发明旨在通过综合利用稠密块加深网络、加入颜色损失等方法，提出一种能够有效修正水下图像颜色的偏差，增强水下图像清晰度的增强方法。为此，本发明采取的技术方案是，基于生成对抗网络的水下图像增强方法，包括生成模型G和判别模型D的生成对抗网络处理水下图像，具体步骤是，c为清晰图像的颜色条件信息，c’为输入图像的颜色条件信息，这两类标签信息均为一维向量，在输入时将c扩充为与输入图像z同大小的图像，并与输入图像z合并后输入到生成模型G中，得到生成的增强图像

再将增强图像

输入判别模型D中，判别模型D_G判断该图像

是否真实，判别模型D_color判断

颜色是否符合清晰图像要求，将两个判断结果以反馈的形式传到生成模型G中指导生成模型训练，最终利用训练好的模型处理水下图像。

通过以下损失对生成模型G加以约束：

(1)重构损失L_rec

通过重构损失，限定输入图像z和重构图像

的一致性，增强网络对不同颜色输入信息的分辨能力，使该网络在更好的学习水下图像的分布情况；

(2)感知损失L_VGG和结构相似性损失L_SSIM

通过加入感知损失L_VGG和结构相似性损失L_SSIM来限定输入图像z和增强图像

的内容、高维特征相似性，使得增强图像的细节信息和结构信息与输入图像一致并加快网络的收敛速度。

生成模型包括编码模块、RRDB模块、解码模块，编码模块主要基于下采样操作，将数据分布的高维特征映射到数据的低维表征；引入RRDB模块，使网络总深度增加，来捕获更多的有用信息；解码过程主要使用上采样操作和非线性空间转移，通过不断对损失函数进行修正，对权重进行训练选取，达到图像增强的目的。

判别模型包括两个判别器D_color和D_G都是由卷积层和LRelu激活层交替构成，前7层卷积实现权值共享，大大减少网络的参数数量和运算量，最后一层D_color输出图像属于目标颜色的概率，D_G输出判别图像真假的概率。

生成模型损失函数

生成模型的损失函数如公式：

L₁＝-L_adv+λ₁L_VGG+λ₂L_SSIM+λ₃L_TV+L_{color_G}+λ₄L_rec (3)

式(2)中L₁是生成模型损失函数，L_adv是对抗损失函数，L_TV是总变分损失函数，L_{color_G}是颜色损失，L_rec是重构损失函数。依据文献，各约束项的权重系数约束如下：λ₁＝7，λ₂＝3，λ₃＝1e-4，λ₄＝10，各损失函数定义如下：

对抗损失函数L_adv，其具体形式如式(4)所示：

L_adv＝E_z[log D_z(z)]+E_z，c[log(1-D_z(G(z，c))] (4)

其中，D_z(z)表示判别模型判断输入图像是真实图像的概率，G(z，c)表示将条件信息c与输入图像z输入生成模型G中得到的生成图像G(z，c)，D_z(G(z，c)表示判别模型判断生成图像为真实图像的概率，生成模型需使得生成图像尽量符合目标图像的要求，即使得判别模型尽量判断生成图像为真，log(1-D_z(G(z，c))值最小。

感知损失函数L_VGG，具体形式如式(5)所示：

其中φ_j是第j个卷积层的激活值，是图像经过VGG19后得到的特征图个数。由于缺少成对的水下图像数据集，因此加入感知损失函数，约束增强图像和输入图像的高维特征相似性。

结构相似性损失函数L_SSIM，具体形式如式(6)所示：

其中N为图像中像素数的个数；p为像素块的中间像素值；

μ_z，

为图像的平均像素值，σ_z，

是图像像素值的标准差，

是两个图像像素的协方差，c₁、c₂为常数。该结构相似性损失函数采用的窗口大小为10*10。加入结构相似性损失函数，以约束生成模型训练，使训练更加稳定；

变分损失函数L_TV，具体形式如式(7)所示：

其中

为当前图像，i，j分别为该点的坐标位置，公式(5)和公式(6)能帮助恢复内容与结构，但在增强图像中引入伪影，因此加入总变分损失函数。

颜色损失L_{color_G}，具体形式如式(8)所示

L_{color_G}＝E_z，c[-log D_color(c|G(z，c))] (8)

该损失函数确保增强图像经过判别模型后所得的颜色标签与目标颜色标签一致；

重构损失L_rec，具体形式如式(9)所示：

L_rec＝E_z，c，c′[||z-G(G(z，c)，c′)||₁] (9)

由于水下图像缺乏成对的数据集，所以引入循环一致性损失约束生成模型，使得重构图像和输入图像一致。

判别模型损失函数如下式所示：

L₂＝-L_adv+L_{color_D} (10)

式(10)中L₂是判别模型损失函数；L_adv是对抗损失函数；L_{color_D}＝E_z，c′[-logD_color(c′|z)] 是颜色损失函数，使得颜色判别模型可分辨出增强图像x的颜色标签信息与目标颜色标签信息不同。

本发明的特点及有益效果是：

为增强对不同颜色水下图像的处理效果，提出一种基于稠密生成对抗网络用于水下图像增强的方法。该网络在生成器中加入残差稠密块，其密集级联和残差连接可以提取图像中更多特征、改善梯度消失问题；在判别模型中加入颜色损失，加强判别模型区分不同退化程度的水下图像，提升网络处理水下图像的鲁棒性。本发明提出的基于生成对抗网络的对于水下图像增强有更好的视觉效果。

附图说明：

图1生成对抗网络的框架结构。

图2残差密集块中的残差模块(Residual in Residual Dense Block，RRDB)结构。

图3生成模型结构。

图4判别模型结构。

图5算法流程框图。

具体实施方式

本发明利用综合利用稠密块加深网络、加入颜色损失等方法，研究一种能够有效修正水下图像颜色的偏差，增强水下图像清晰度的增强方法。具体技术方案详述如下：

1生成对抗网络的背景知识

生成对抗网络(Generative Adverative Network，GAN)由Goodfellow等人提出后应用在图像生成方面效果显著。本文使用的生成对抗网络的框架如图1所示。图中，z表示输入的随机噪声，G表示生成模型(generative model)，x表示真实数据，

表示输入的随机噪声经过生成模型后生成的数据，D表示判别模型(discriminative model)。

由图1可知，通过将随机噪声z输入到生成模型G中，可以得到与真实数据样本分布类似的生成数据

即

利用真实数据x和生成数据

对判别模型D进行训练，使其具有能够判断输入是否来自生成数据的能力，其输出为[0，1]区间的值，表示当前输入为真实数据的概率。生成模型的目标是能够输出与真实数据尽可能相似的生成样本，使得判别模型难以将其与真实数据进行区分，而判别模型通过观察两种数据的分布规律，以提高自己的判别能力，从而能够准确地对两类数据进行区分。通过两种模型的对抗训练，最终达到纳什均衡(Nash equilibrium)，使得网络能够产生逐渐接近于真实样本的生成数据。GAN的对抗损失函数如式(1)所示：

式中，P_r和

分别表示真实数据和生成数据的样本分布规律，D(x)和D(G(z))分别表示判别模型对真实数据和生成数据的判别结果，

表示生成模型的损失，可知生成模型通过让D(G(z))趋近于1使得该损失尽可能小，

表示判别模型的损失，可知判别模型通过让D(x)趋近于 1、D(G(z))趋近于0使得该损失最大。在网络的训练阶段，通过优化总的损失函数，两种模型能够交替地得到优化，最终使得网络达到最优。优化的具体过程为：首先固定判别模型，对生成模型进行训练，利用判别模型的输出结果优化生成模型的损失函数；然后将生成模型固定，利用生成数据与真实数据训练判别模型，从而使判别模型得到优化。

2残差密集块中的残差模块相关知识

2018年Wang等提出残差密集块中的残差模块概念，并将其作为基本的网络构建单元，提高网络提取图像特征的能力。RRDB模块是将稠密块进行残差连接得到的，其结构如图2所示。x为RRDB模块的输入，F₁、F₂、F₃依次为三个稠密块的输出，O₁、O₂、O₃依次为三个残差连接后的输出，F为RRDB模块最后输出特征。以第一个稠密块为例，其输出与输入之间具有如式(2)-式(3)的关系：

F₁＝f(x) (2)

O₁＝x+F₁ (3)

式(2)中f表示特征经过稠密块进行特征提取。由图2可知，RRDB模块的输出F与输入之间的关系如式(4)所示：

F＝x+O₃ (4)

图2中，每一个稠密块的输入与输出具有残差连接关系，RRDB模块的输入输出之间也具有相同的关系，使该模型无需直接学习完整的特征映射，只需拟合目标函数与输入之间的差，使得该映射对于输出的变化更敏感，解决了深层网络的梯度弥散问题。

RRDB中的每一个稠密块具有如图3所示的结构。稠密块的每一层的输入都是前边所有层输出的拼接，增加了层之间的信息量的传递，实现对于特征信息的复用，有助于缓解梯度消失现象。而且，每一个卷积层后均去除了批量标准化层(Batch Normalization，BN)，移除了由于批量标准化造成的网络灵活性受限的情况，降低网络的复杂度，更利于建立更深的网络。

3本文网络结构

为了获得更好的水下图像增强效果，提高网络分辨水下图像颜色的能力，增强图像的对比度，本文提出了基于生成对抗网络的水下图像增强方法，其方法框架如图4所示：

本文将不同水下图像的颜色信息作为条件信息，称为颜色条件信息。由于缺乏清晰的水下图像，将室内的图像作为清晰图像。在训练时，将室内图像和3类不同程度颜色衰减的水下图像定义为4种不同类型的图像。

图4中，c为清晰图像的颜色条件信息，c′为输入图像的颜色条件信息，这两类标签信息均为一维向量。在输入时将c扩充为与输入图像z同大小的图像，并与输入图像z合并后输入到生成模型G中，得到生成的增强图像

再将增强图像

输入判别模型D中，判别模型D_G判断该图像

是否真实，判别模型D_color判断

颜色是否符合清晰图像要求，将两个判断结果以反馈的形式传到生成模型G中指导生成模型训练。

为得到更好的图像增强效果，本章通过以下损失对生成模型G加以约束。

(3)重构损失L_rec

通过重构损失，限定输入图像z和重构图像

的一致性，增强网络对不同颜色输入信息的分辨能力，使该网络在更好的学习水下图像的分布情况。

(4)感知损失L_VGG和结构相似性损失L_SSIM

只通过判别模型区分图像真假和分类信息，未限制增强图像细节，因此容易使增强图像丢失内容结构信息。本文通过加入感知损失L_VGG和结构相似性损失L_SSIM来限定输入图像z和增强图像

的内容、高维特征相似性，使得增强图像的细节信息和结构信息与输入图像一致并加快网络的收敛速度。

4本文生成模型的构建

生成模型如图5所示，由编码过程、RRDB模块、解码过程组成。编码过程主要基于下采样操作，将数据分布的高维特征映射到数据的低维表征；引入RRDB模块，使网络总深度比9_resnet网络深度增加，来捕获更多的有用信息；解码过程主要使用上采样操作和非线性空间转移。通过不断对损失函数进行修正，对权重进行训练选取，达到图像增强的目的。

4本文判别模型的构建

判别模型网络中两个判别器D_color和D_G都是由卷积层和LRelu激活层交替构成，前7层卷积实现权值共享，大大减少网络的参数数量和运算量，最后一层D_color输出图像属于目标颜色的概率，D_G输出判别图像真假的概率。

5本文损失函数的构建

本文网络通过生成模型和判别模型的相互对抗训练获得较好的水下图像增强效果，网络的训练过程就是对损失函数的优化过程，损失函数包括生成模型损失函数和判别模型损失函数。

(1)生成模型损失函数

生成模型的损失函数如公式：

L₁＝-L_adv+λ₁L_VGG+λ₂L_SSIM+λ₃L_TV+L_{color_G}+λ₄L_rec (3)

式(2)中L₁是生成模型损失函数，L_adv是对抗损失函数，L_TV是总变分损失函数，L_{color_G}是颜色损失，L_rec是重构损失函数。依据文献，各约束项的权重系数约束如下：λ₁＝7，λ₂＝3，λ₃＝1e-4，λ₄＝10。各损失函数定义如下：

对抗损失函数L_adv，其具体形式如式(4)所示：

L_adv＝E_z[log D_z(z)]+E_z，c[log(1-D_z(G(z，c))] (4)

其中，D_z(z)表示判别模型判断输入图像是真实图像的概率，G(z，c)表示将条件信息c与输入图像z输入生成模型G中得到的生成图像G(z，c)，D_z(G(z，c)表示判别模型判断生成图像为真实图像的概率，生成模型需使得生成图像尽量符合目标图像的要求，即使得判别模型尽量判断生成图像为真，log(1-D_z(G(z，c))值最小。

感知损失函数L_VGG，具体形式如式(5)所示：

其中φ_j是第j个卷积层的激活值，是图像经过VGG19后得到的特征图个数。由于缺少成对的水下图像数据集，因此加入感知损失函数，约束增强图像和输入图像的高维特征相似性。

结构相似性损失函数L_SSIM，具体形式如式(6)所示：

其中N为图像中像素数的个数；p为像素块的中间像素值；

μ_z，

为图像的平均像素值，σ_z，

是图像像素值的标准差，

是两个图像像素的协方差，c₁、c₂为常数。该结构相似性损失函数采用的窗口大小为10*10。加入结构相似性损失函数，以约束生成模型训练，使训练更加稳定。

变分损失函数L_TV，具体形式如式(7)所示：

其中

为当前图像，i，j分别为该点的坐标位置。公式(5)和公式(6)能帮助恢复内容与结构，但在增强图像中引入伪影，因此加入总变分损失函数。

颜色损失L_{color_G}，具体形式如式(8)所示

L_{color_G}＝E_z，c[-log D_color(c|G(z，c))] (8)

该损失函数确保增强图像经过判别模型后所得的颜色标签与目标颜色标签一致。

重构损失L_rec，具体形式如式(9)所示：

L_rec＝E_z，c，c′[||z-G(G(z，c)，c′)||₁] (9)

由于水下图像缺乏成对的数据集，所以引入循环一致性损失约束生成模型，使得重构图像和输入图像一致。

(2)判别模型损失函数

判别模型损失函数如下式所示：

L₂＝-L_adv+L_{color_D} (10)

式(10)中L₂是判别模型损失函数；L_adv是对抗损失函数；L_{color_D}＝E_z，c′[-logD_color(c′|z)] 是颜色损失函数，使得颜色判别模型可分辨出增强图像

的颜色标签信息与目标颜色标签信息不同。

下面结合算法流程框图对本发明进行详细的描述。

如图5所示，本发明提供一种基于生成对抗网络的水下图像增强方法，其包括以下步骤：

步骤1：图像预处理

将训练数据集人工分成四类：偏蓝的水下图像、偏绿的水下图像、偏黄的水下图像、室内图像，并切成256*256大小作为训练数据集，并将该四类图像作为一维的标签向量一起输入生成模型中。

步骤2：生成模型的训练

将三类退化的水下图像与室内图像对应的标签向量一起输入该生成对抗网络。

(1)将生成的图像和输入图像通过感知损失函数和结构相似性损失函数限定增强图像和输入图像之间的高维特征和结构相似性。

(2)利用总变分损失消除生成图像的网格化效应。

(3)利用重构损失限定输入图像和重构图像的一致性，使网络更好的学习水下图像的分布情况。

(4)将生成图像、室内图像输入判别模型中，通过D_color判定该生成图像的颜色分类(一个一维的向量)，计算该向量与室内图像对应的标签向量的距离作为生成模型的颜色损失；通过D_G输出生成图像与室内图像之间的Wasserstein距离，作对抗损失。

将以上损失按照公式(3)加权相加作为生成模型的总损失，通过该总体误差调整生成模型的权重。

步骤3：判别模型的训练

将生成图像和室内图像输入判别网络中。

(1)通过D_color判定该生成图像的颜色分类(一个一维的向量)，计算该向量与输入图像对应的标签向量的距离作为判别模型的颜色损失；通过D_G输出生成图像与室内图像之间的Wasserstein距离，判别模型应能准确分辨两类图像，所以应将该距离的相反数作为判别模型的对抗损失。

将以上损失按照公式(10)加权相加作为判别模型的总损失，通过该总体误差调整判别模型的权重。

通过固定判别模型权重训练生成模型，再固定生成模型的权重训练判别模型，如此循环交替步骤2和步骤3，直至Wasserstein距离小于某一阈值，即判别模型无法对输入图像和室内图像颜色、真假加以区分。

步骤4：测试

将退化的水下图像输入到上述调整好的生成对抗网络，以提高水下图像的清晰度。

Claims (5)

1.一种基于生成对抗网络的水下图像增强方法，其特征是，包括生成模型G和判别模型D的生成对抗网络处理水下图像，具体步骤是，c为清晰图像的颜色条件信息，c'为输入图像的颜色条件信息，这两类标签信息均为一维向量，在输入时将c扩充为与输入图像z同大小的图像，并与输入图像z合并后输入到生成模型G中，得到生成的增强图像

再将增强图像

输入判别模型D中，判别模型D_G判断该图像

是否真实，判别模型D_color判断

颜色是否符合清晰图像要求，将两个判断结果以反馈的形式传到生成模型G中指导生成模型训练，最终利用训练好的模型处理水下图像。

2.如权利要求1所述的基于生成对抗网络的水下图像增强方法，其特征是，通过以下损失对生成模型G加以约束：

(1)重构损失L_rec

通过重构损失，限定输入图像z和重构图像

的一致性，增强网络对不同颜色输入信息的分辨能力，使该网络在更好的学习水下图像的分布情况；

(2)感知损失L_VGG和结构相似性损失L_SSIM

通过加入感知损失L_VGG和结构相似性损失L_SSIM来限定输入图像z和增强图像

的内容、高维特征相似性，使得增强图像的细节信息和结构信息与输入图像一致并加快网络的收敛速度。

生成模型包括编码模块、RRDB模块、解码模块组成，编码模块主要基于下采样操作，将数据分布的高维特征映射到数据的低维表征；引入RRDB模块，使网络总深度增加，来捕获更多的有用信息；解码模块使用上采样操作和非线性空间转移，通过不断对损失函数进行修正，对权重进行训练选取，达到图像增强的目的。

3.如权利要求1所述的基于生成对抗网络的水下图像增强方法，其特征是，判别模型包括两个判别器D_color和D_G都是由卷积层和LRelu激活层交替构成，前7层卷积实现权值共享，大大减少网络的参数数量和运算量，最后一层D_color输出图像属于目标颜色的概率，D_G输出判别图像真假的概率。

4.如权利要求1所述的基于生成对抗网络的水下图像增强方法，其特征是，生成模型的损失函数如公式(3)：

L₁＝-L_adv+λ₁L_VGG+λ₂L_SSIM+λ₃L_TV+L_{color_G}+λ₄L_rec (3)

式(2)中L₁是生成模型损失函数，L_adv是对抗损失函数，L_TV是总变分损失函数，L_{color_G}是颜色损失，L_rec是重构损失函数。依据文献，各约束项的权重系数约束如下：λ₁＝7，λ₂＝3，λ₃＝1e-4，λ₄＝10。各损失函数定义如下：

对抗损失函数L_adv，其具体形式如式(4)所示：

L_adv＝E_z[logD_z(z)]+E_z,c[log(1-D_z(G(z,c))] (4)

其中，D_z(z)表示判别模型判断输入图像是真实图像的概率，G(z,c)表示将条件信息c与输入图像z输入生成模型G中得到的生成图像G(z,c)，D_z(G(z,c)表示判别模型判断生成图像为真实图像的概率，生成模型需使得生成图像尽量符合目标图像的要求，即使得判别模型尽量判断生成图像为真，log(1-D_z(G(z,c))值最小；

感知损失函数L_VGG，具体形式如式(5)所示：

其中φ_j是第j个卷积层的激活值，是图像经过VGG19后得到的特征图个数，由于缺少成对的水下图像数据集，因此加入感知损失函数，约束增强图像和输入图像的高维特征相似性；

结构相似性损失函数L_SSIM，具体形式如式(6)所示：

其中N为图像中像素数的个数；p为像素块的中间像素值；

μ_z，

为图像的平均像素值，σ_z，

是图像像素值的标准差，

是两个图像像素的协方差，c₁、c₂为常数。该结构相似性损失函数采用的窗口大小为10*10。加入结构相似性损失函数，以约束生成模型训练，使训练更加稳定；

变分损失函数L_TV，具体形式如式(7)所示：

其中

为当前图像，i，j分别为该点的坐标位置，公式(5)和公式(6)能帮助恢复内容与结构，但在增强图像中引入伪影，因此加入总变分损失函数：

颜色损失L_{color_G}，具体形式如式(8)所示

L_{color_G}＝E_z,c[-logD_color(c|G(z,c))] (8)

该损失函数确保增强图像经过判别模型后所得的颜色标签与目标颜色标签一致；

重构损失L_rec，具体形式如式(9)所示：

L_rec＝E_z,c,c'[||z-G(G(z,c),c')||₁] (9)

由于水下图像缺乏成对的数据集，所以引入循环一致性损失约束生成模型，使得重构图像和输入图像一致。

5.如权利要求1所述的基于生成对抗网络的水下图像增强方法，其特征是，判别模型损失函数如下式所示：

L₂＝-L_adv+L_{color_D} (10)

式(10)中L₂是判别模型损失函数；L_adv是对抗损失函数；L_{color_D}＝E_z,c′[-logD_color(c′|z)]是颜色损失函数，使得颜色判别模型可分辨出增强图像

的颜色标签信息与目标颜色标签信息不同。

Images