CN115700731A - 一种基于双通道卷积神经网络的水下图像增强方法 - Google Patents

Abstract

本发明提供了一种基于双通道卷积神经网络的水下图像增强方法，涉及水下图像增强与复原技术领域，包括如下步骤：S1：建立图像训练集；S2：将一张待优化目标图像输入至浅层卷积神经网络分支对目标图像的全局结构进行优化，得到全局结构优化图像；S3：将另一张待优化目标图像输入至深层卷积神经网络分支对目标图像进行细节信息恢复，得到细节信息恢复图像；S4：将全局结构优化图像和细节信息恢复图像输入至微调卷积神经网络中，利用张量拼接操作进行图像融合，输出增强后目标图像；S5：对图像训练集中的所有图像进行上述步骤，直至图像增强完毕。本发明能够有效增强对比度低、颜色失真严重的水下图像，同时保留图像的细节信息，较好的改善图像质量。

Description

一种基于双通道卷积神经网络的水下图像增强方法

技术领域

本发明涉及水下图像增强与复原技术领域，具体而言，尤其涉及一种基于双通道卷积神经网络的水下图像增强方法。

背景技术

当前，水下图像作为水下环境信息的一种重要载体与表现形式，在水下环境探索、开发以及保护等方面非常重要。然而，由于海洋环境存在浑浊度高、光照不均匀、背景复杂等诸多不利因素，导致得到的水下图像往往具有对比度低、颜色失真、纹理模糊以及质量退化等问题，高质量水下图像的获取面临极大挑战。因此，对低质量水下图像进行增强与复原是获取高质量水下图像的有效手段之一。

目前，水下图象增强与复原方法可分为三类：基于非物理模型的方法、基于物理模型的方法和基于深度学习的方法。基于非物理方法不依赖水下光学成像模型，通过调整图像的像素值来改善其视觉质量。基于物理模型的方法对水下图像的退化过程进行数学建模，通过估计模型参数，反演退化过程获得清晰水下图像。基于深度学习的方法通过构建深度的神经网络，并借助大量水下图像和高质量的参考图像进行训练，得到清晰水下图像。

然而，现有的水下图象增强与复原方法存在着一定的缺点：基于非物理模型的方法由于未考虑水下图像的光学特性，易引入颜色偏差和伪影，也可能会加重噪声；基于物理模型的方法受图像处理和质量衡量方法多样性的影响，水下图像处理方法无法适应海洋环境的复杂多样性；基于深度学习的方法由于受水下图像数据集影响，模型泛化性较差，且目前单通道的卷积神经网络往往只针对一种问题设计，仍需进一步研究。

发明内容

有鉴于此，本发明的目的在于提出一种基于双通道卷积神经网络的水下图像增强与复原方法，同时选取多类水下图像数据集，以解决现有单通道卷积神经网络进行水下图像增强与复原的方法输出的图像质量较低、模型泛化性差的技术问题。

本发明采用的技术手段如下：

一种基于双通道卷积神经网络的水下图像增强方法，所述双通道卷积神经网络包括浅层卷积神经网络、深层卷积神经网络和微调卷积神经网络，所述水下图像增强方法包括如下步骤：

S1：建立图像训练集，从所述图像训练集中选取图像作为待优化目标图像；

S2：将一张待优化目标图像输入至浅层卷积神经网络分支对目标图像的全局结构进行优化，得到全局结构优化图像；所述浅层网络包含五个卷积层，卷积核均为3，每个卷积层后接归一化处理函数和LeakyReLU激活函数，并在第一个卷积块与最后一个卷积块中加入残差；

S3：将另一张待优化目标图像输入至深层卷积神经网络分支对目标图像进行细节信息恢复，得到细节信息恢复图像；所述深层网络包含十三个卷积层，卷积核均为3，每个卷积层后接归一化处理函数和LeakyReLU激活函数，并采用注意力机制模块SE Block与卷积块共同处理待优化目标图像；

S4：将全局结构优化图像和细节信息恢复图像输入至微调卷积神经网络中，利用张量拼接操作进行图像融合，输出增强后目标图像；所述微调卷积神经网络包含六个卷积层，卷积核均为3，每个卷积层后接归一化处理函数和LeakyReLU激活函数；

S5：对图像训练集中的所有图像进行上述步骤，直至图像增强完毕。

进一步地，S1包括如下步骤：

选取处于不同海洋环境、不同深度的水下图像数据集作为训练集，并利用数据增强增加数据量

收集不同海域、不同深度的真实水下图像数据集与不同场景、不同条件的合成水下图像集作为训练集和验证集作为双通道卷积神经网络的训练集和验证集；

采用数据增强方法，将训练集和验证集的样本容量扩大一倍。

进一步地，所述数据增强方法包括图像翻转、图像缩放、图像裁剪、图像平移。

进一步地，所述待优化目标图像为3通道的RGB图像。

进一步地，S2包括如下步骤：

对待优化目标图像进行用以减少图像中的噪声影响的预处理；

利用四个卷积神经网络模块对预处理后的待优化目标图像进行全局结构信息的恢复；

采用残差操作将浅层卷积神经网络的第二个卷积块与最后一个卷积块进行连接，让网络可以提取到更深层的特征，同时避免出现梯度消失或爆炸，得到全局结构优化图像。

进一步地，S3包括如下步骤：

对待优化目标图像进行用以减少图像中无关的信息影响的预处理；

利用四个自注意模块对预处理后的待优化目标图像进行进一步的信息提取；

采用通道注意力机制SE Block充分辨别有效信息与无效信息，SE Block从单张图像开始，提取图像特征，当前特征层U的特征图维度为[C,H,W]；其中，H代表高，W代表宽，C代表通道数；对特征图的[H,W]维度进行平均池化或最大池化，池化后的特征图大小为[C,1,1]，即得到了每个通道的权重；将权重作用与特征图U[C,H,W]，即每个通道各自乘以各自的权重，得到细节信息恢复图像。

进一步地，S4包括如下步骤：

将经过深浅层卷积神经网络模块处理后得到的两张图片融合到一起作为新的输入图像；

利用六个卷积块对新的输入图像进行颜色校正；

输出增强后的水下图像。

本发明还提供了一种存储介质，所述存储介质包括存储的程序，其中，所述程序运行时，执行上述中任一项的基于双通道卷积神经网络的水下图像增强方法。

本发明还提供了一种电子装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器通过所述计算机程序运行执行上述中任一项的基于双通道卷积神经网络的水下图像增强方法。

较现有技术相比，本发明具有以下优点：

本发明通过设计深浅层卷积神经网络模块将水下图像分解为全局分量和局部分量，通过在结构和细节上分别处理水下图像增强问题，可以获得更加优秀的增强效果；

本发明微调卷积神经网络模块的设计可以进一步加强深度和浅层模块之间的耦合，这使得所提出的方法能够处理更具挑战性的水下图像增强任务。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明方法流程图。

图2为本发明水下图像处理的过程图。

图3为本发明深层分支中自注意模块具体结构图。

图4为本发明通道注意力机制工作流程图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

如图1所示，本发明提供了一种基于双通道卷积神经网络的水下图像增强方法，所述双通道卷积神经网络包括浅层卷积神经网络、深层卷积神经网络和微调卷积神经网络，所述水下图像增强方法包括如下步骤：

数据收集：收集不同海域、不同深度的真实水下图像数据集与不同场景、不同条件的合成水下图像集作为训练集和验证集作为此卷积神经网络的训练集和验证集。因为如果只采用单一水下图像数据集作为训练集，会导致网络泛化能力弱。只有保证选取水下的图像的多样性，才能提高网络的泛化性能；

数据增强：在深度学习中，一般要求样本的数量要充足，样本数量越多，训练出来的模型效果越好。为提高所选样本数据量，采用数据增强的方法，如图像翻转、图像缩放、图像裁剪、图像平移等将样本容量扩大一倍；

搭建浅层神经网络模块：输入层大小为H*W*3，第一层至第五层卷积层采用大小为3*3*64的内核，并在第一层卷积层与第五层卷积层之间添加残差函数，最终得到大小为H*W*64的第一步输出图像；

搭建深层神经网络模块：设计自注意力模块(CAB)提取图像特征信息，具体结构如下：将两个内核大小为3*3*64的卷积核在一个密集单元中通过张量拼接(concat)操作进行稠密连接，后再接一个3*3*64的卷积核，并利用注意力机制SE Block为每一个通道设计权重。深层神经网络模块第一层卷积层采用大小为3*3*64的内核进行预处理，之后经过四个CAB模块得到大小为H*W*64的第二步输出图像；

搭建微调神经网络模块：首先利用torch.cat命令将第一步输出图像与第二步输出图像在通道的维度上进行拼接，拼接后的图像尺寸为H*W*128。微调神经网络共六层，第一层卷积层采用大小为3*3*128的内核，第二至五层采用大小为3*3*64的内核，第六层卷积层采用3*3*3的内核，最终得到增强后的水下图像；

该卷积神经网络采用Leaky ReLU作为激活函数，BatchNormalization函数作归一化处理，均方误差(MSE)、平均绝对误差(MAE)、结构相似性指数(SSIM)作为损失函数，采用Adam优化器。

本发明还提供了一种存储介质，所述存储介质包括存储的程序，其中，所述程序运行时，执行基于双通道卷积神经网络的水下图像增强方法。

本发明还提供了一种电子装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器通过所述计算机程序运行执行基于双通道卷积神经网络的水下图像增强方法。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (9)

1.一种基于双通道卷积神经网络的水下图像增强方法，其特征在于，所述双通道卷积神经网络包括浅层卷积神经网络、深层卷积神经网络和微调卷积神经网络，所述水下图像增强方法包括如下步骤：

S1：建立图像训练集，从所述图像训练集中选取图像作为待优化目标图像；

S2：将一张待优化目标图像输入至浅层卷积神经网络分支对目标图像的全局结构进行优化，得到全局结构优化图像；所述浅层网络包含五个卷积层，卷积核均为3，每个卷积层后接归一化处理函数和LeakyReLU激活函数，并在第一个卷积块与最后一个卷积块中加入残差；

S3：将另一张待优化目标图像输入至深层卷积神经网络分支对目标图像进行细节信息恢复，得到细节信息恢复图像；所述深层网络包含十三个卷积层，卷积核均为3，每个卷积层后接归一化处理函数和LeakyReLU激活函数，并采用注意力机制模块SE Block与卷积块共同处理待优化目标图像；

S4：将全局结构优化图像和细节信息恢复图像输入至微调卷积神经网络中，利用张量拼接操作进行图像融合，输出增强后目标图像；所述微调卷积神经网络包含六个卷积层，卷积核均为3，每个卷积层后接归一化处理函数和LeakyReLU激活函数；

S5：对图像训练集中的所有图像进行上述步骤，直至图像增强完毕。

2.根据权利要求1所述的基于双通道卷积神经网络的水下图像增强方法，其特征在于，S1包括如下步骤：

选取处于不同海洋环境、不同深度的水下图像数据集作为训练集，并利用数据增强增加数据量

收集不同海域、不同深度的真实水下图像数据集与不同场景、不同条件的合成水下图像集作为训练集和验证集作为双通道卷积神经网络的训练集和验证集；

采用数据增强方法，将训练集和验证集的样本容量扩大一倍。

3.根据权利要求2所述的基于双通道卷积神经网络的水下图像增强方法，其特征在于，所述数据增强方法包括图像翻转、图像缩放、图像裁剪、图像平移。

4.根据权利要求1所述的基于双通道卷积神经网络的水下图像增强方法，其特征在于，所述待优化目标图像为3通道的RGB图像。

5.根据权利要求1所述的基于双通道卷积神经网络的水下图像增强方法，其特征在于，S2包括如下步骤：

对待优化目标图像进行用以减少图像中的噪声影响的预处理；

利用四个卷积神经网络模块对预处理后的待优化目标图像进行全局结构信息的恢复；

采用残差操作将浅层卷积神经网络的第一个卷积块与最后一个卷积块进行连接，让网络可以提取到更深层的特征，同时避免出现梯度消失或爆炸，得到全局结构优化图像。

6.根据权利要求1所述的基于双通道卷积神经网络的水下图像增强方法，其特征在于，S3包括如下步骤：

对待优化目标图像进行用以减少图像中无关的信息影响的预处理；

利用四个自注意模块对预处理后的待优化目标图像进行进一步的信息提取；

采用通道注意力机制SE Block充分辨别有效信息与无效信息，SE Block从单张图像开始，提取图像特征，当前特征层U的特征图维度为[C,H,W]，其中，H代表高，W代表宽，C代表通道数；对特征图的[H,W]维度进行平均池化或最大池化，池化后的特征图大小为[C,1,1]，即得到了每个通道的权重；将权重作用与特征图U[C,H,W]，即每个通道各自乘以各自的权重，得到细节信息恢复图像。

7.根据权利要求1所述的基于双通道卷积神经网络的水下图像增强方法，其特征在于，S4包括如下步骤：

将经过深浅层卷积神经网络模块处理后得到的两张图片融合到一起作为新的输入图像；

利用六个卷积块对新的输入图像进行颜色校正；

输出增强后的水下图像。

8.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序运行时，执行所述权利要求1至7中任一项权利要求所述的基于双通道卷积神经网络的水下图像增强方法。

9.一种电子装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器通过所述计算机程序运行执行所述权利要求1至7中任一项权利要求所述的基于双通道卷积神经网络的水下图像增强方法。

Images