CN113837963B - 基于深度网络在lab颜色空间下的水下图像增强方法 - Google Patents

Abstract

本发明属于图像处理和计算机视觉领域，涉及基于深度网络在LAB颜色空间下的水下图像增强方法。本发明提出一种利用深度网络在LAB颜色空间下的水下图像增强算法。本发明利用LAB颜色通道自身的特性，L通道只刻画图像的亮度信息，AB通道只刻画图像的颜色信息，更好的利用彩色图像信息。将图像对比度增强和颜色矫正在图像通道上进行解耦，降低深度网络学习的从低质图像到高质量清晰图像映射关系的难度，提高了算法的有效性和高效性。本发明减小对比度增强过程中噪声被放大问题，并通过将对比度增强和颜色矫正问题解耦，在对比度增强网络中可以更好的利用陆地上收集的图像，来提高网络的性能，弥补了水下图像收集困难的问题。

Description

基于深度网络在LAB颜色空间下的水下图像增强方法

技术领域

本发明属于图像处理和计算机视觉领域，涉及基于深度网络在LAB颜色空间下的水下图像增强方法。

背景技术

水下图像增强任务对于水下地形勘探等水下工作具有重大价值。由于水下成像过程存在多种复杂的干扰因素，水下图像增强一直是一个极具挑战的任务。水下图像普遍存在以下问题：1)由于水介质与空气介质相比对光线的吸收和折射能力更强，相机在水下获取到的图片通常有更低的对比度。2)由于水介质对不同波长拥有不同程度的吸收率，不同光线在传输过程中产生不同能量衰减，导致水下图像通常呈现蓝绿色。3)由于水质中不同程度杂质的影响，不同水质可能会表现出不同的颜色以及存在不同程度的噪声等。

水下图像增强任务是将相机在水下获取到的低质量图像增强为高质量图像的过程。由于水下成像过程中存在各种复杂的因素，基于陆上环境下成像规律和领域知识的视觉处理与分析算法难以在水下环境取得较好效果。传统的图像增强算法比如白平衡方法，直方图均衡化大都针对图像的整体特征进行增强，这些方法并没有考虑水下的物理模型，而且往往会在增强图像的同时增强噪声。基于物理模型的方法，往往需要有效的先验知识进行引导，面对各种复杂的水下环境，一个简单的物理模型仍然具有很大的局限性。基于神经网络的方法使用大量数据训练来实现增强效果。如专利CN201911117238.1使用一个Unet网络同时解决水下图像低对比度和颜色矫正等问题，这种方法同时解决低对比度和颜色矫正问题，训练过程中很难实现一个最优的结果。专利CN202010196680.4先使用卷积神经网络对RGB图像进行增强，之后将图像变化到CIELab颜色空间进行细节增强，这种方法并没有充分的利用Lab颜色空间的特性。

发明内容

本发明旨在解决水下图像由于水介质对光的吸收和散射产生的低对比度和颜色偏差问题。本发明利用图像CIELab颜色空间的特性，将对比度和颜色偏差问题解耦，提出一种使用深度神经网络在Lab颜色空间不同通道上分别进行对比度增强和颜色矫正的方法。进一步，本发明根据图像Lab颜色空间中，L通道拥有刻画图片亮度的性质，ab通道具有刻画图片颜色分布的性质这一特性，提出一种在L通道上进行对比度增强，在ab通道上进行颜色矫正的水下增强方法。

本发明的具体技术方案为：

一种基于深度学习的在Lab颜色空间下的水下图像增强算法，包括以下步骤：

第一步：对于LAB颜色空间中L通道构建对比度增强网络。对比度增强网络包括3部分，特征提取模块，自适应对比度增强模块和重建模块。特征提取模块提取L通道上的高维特征；自适应对比度增强模块由n个自适应卷积块组成，每个自适应卷积块使用dense网络生成自适应的卷积核，将生成的卷积核与输入特征进行卷积操作，得到自适应的增强特征；重建模块根据增强特征重建增强后的L通道图像。其中，自适应对比度增强模块可以根据不同的输入图片自适应生成卷积核，提高对比度的同时也可以更好的避免噪声等干扰，从而实现更好的性能表现。

第二步：对Lab颜色空间ab通道构建颜色矫正网络。其中颜色矫正网络由一个Unet网络组成，其由编码器，解码器和瓶颈层组成。其中编码器由m个卷积模块组成，每个卷积模块由卷积层，归一化层，激活层以及最后的下采样层；解码器与编码器互为对称，仅仅将平均池化层替换为上采样层。瓶颈层由n个残差块组成，将输入的颜色特征变换到输出的颜色特征。Unet类型的网络结构可以更好的结合局部与全局的颜色信息，从而实现更好的性能表现。

第三步：根据水下低对比度模型，使用陆地上的数据生成大量额外的低对比度的成对图像，使用生成的成对数据辅助训练对比度增强网络，解决水下成对图像过少的问题，进一步提高网络的性能。辅助训练利用陆地上的图片，来辅助水下对比度增强任务，水下低对比度模型如下：

I(x)＝J(x)t(x)+A(1-t(x)) (1)

其中，I(x)为观察到的低对比度降质图像，J(x)为真实清晰图像，A是大气光值，t(x)为透射率。

第四步：根据直方图均衡化的思想，本发明设计了一个均衡化损失函数其与重建损失函数/>加权组合共同来训练设计的网络，具体如下：

其中是对比度增强之后的图片，/>为输入L通道像素值的平均值，此损失函数旨在增加图片像素的多样性。在此实施例中，取λ₁为0.1。c为LAB通道，||·||₁为L-1范数。

本发明的有益效果是：

1、该方法利用LAB颜色通道自身的特性，L通道只刻画图像的亮度信息，AB通道只刻画图像的颜色信息，更好的利用彩色图像信息。将图像对比度增强和颜色矫正在图像通道上进行解耦，降低深度网络学习的从低质图像到高质量清晰图像映射关系的难度，提高了算法的有效性和高效性。

2、该方法提出一种自适应的对比度增强方法，减小对比度增强过程中噪声被放大问题。

3、该方法通过将对比度增强和颜色矫正问题解耦，在对比度增强网络中可以更好的利用陆地上收集的图像，来提高网络的性能，弥补了水下图像收集困难的问题。

附图说明

图1为方案整体流程图；

图2为对比增强网络结构图；

图3为颜色矫正网络结构图；

图4(a)为对比增强前的图像；

图4(b)为对比增强后的结果图；

图5(a)为颜色矫正前的图像；

图5(b)为颜色矫正的结果图。

具体实施方式

本发明提出一种利用深度网络在LAB颜色空间下的水下图像增强算法。利用图像LAB颜色空间的特性，提出一种在L通道上构建对比度增强网络，在ab通道上构建颜色矫正网络的方法，对水下图像进行增强。结合附图以及实施例详细说明如下：

图一为本发明的具体流程，流程如下:

1)颜色空间转换：将水下彩色图像从RGB颜色空间转化到LAB颜色空间，并对每个通道图像进行归一化操作，得到图I_l和I_ab；

2)对比度增强网络。如图2所示，对比度增强网络包括3部分，特征提取模块，自适应对比度增强模块和重建模块。在此实施例中，特征提取模块由1个5*5卷积层构成，输出L通道的高维特征。自适应对比度增强模块由3个自适应卷积块组成，每个自适应卷积块使用1个3层dense网络生成一个自适应的卷积核，将自适应生成的卷积核与输入特征进行卷积操作,得到增强之后的图像特征。重建模块由一个3*3卷积层构成，该模块根据增强特征重建为增强后的L通道图像。图4(b)为对L通道进行对比度增强后的结果。

3)颜色矫正网络由一个Unet网络组成。如图3所示，颜色矫正网络由编码器，解码器和瓶颈层组成。在此实施例中，编码器包含3层网络，每层包括2个卷积层，每个卷积层后接ReLU激活函数与归一化层，前两层网络后面设有1个平均池化层进行下采样；解码器与编码器相对应，互为对称，仅仅将平均池化层替换为上采样层，对特征进行上采样操作。在编码器和解码器之间添加一个跳跃连接将编码器不同尺度的特征传递给解码器，瓶颈层由3个残差块组成，每个残差块由一个3*3卷积层，ReLU激活层和归一化层组成。瓶颈层将编码器编码的颜色特征变换到输出的颜色特征。

4)根据步骤1中归一化操作进行反归一化操作，将图像变换到原来的数据范围内。再将图像分别增强后的L通道和AB通道合并，利用反变换操作从LAB颜色空间转换到RGB颜色空间，得到最终的水下增强图片。图5(b)为使用本方法对水下图像进行增强的结果。

辅助训练数据生成。本发明根据水低对比度成像模型，使用的陆上数据生成大量成对的低对比度训练数据。具体来说，取清晰图像-深度图像对，根据深度图像，透射率公式：

t(x)＝e^-βd(x)

生成当前场景的透射率掩膜，这里β取0.1。进一步，根据低对比度成像模型生成大量，使用上述生成的场景透射率掩膜生成大量成对的低对比度图片，用于训练对比度增强网络。在本实施例中，使用生成的对比度训练数据数量占水下数据的15％。

I(x)＝J(x)t(x)+A(1-t(x))

根据直方图均衡化的思想，本发明设计了一个均衡化loss函数并且使用其与重建loss组合来训练设计的网络，具体如下，

其中是对比度增强之后的图片，/>为输入L通道像素值的平均值，此loss旨在增加图片像素的多样性。在此实施例中，取λ₁为0.1。/>为图像重建loss。

Claims (3)

1.基于深度网络在LAB颜色空间下的水下图像增强方法，其特征在于，包括步骤如下：

第一步：对于LAB颜色空间中L通道构建对比度增强网络；

对比度增强网络包括特征提取模块、自适应对比度增强模块和重建模块；特征提取模块由m个卷积层构成，输出L通道的高维特征；自适应对比度增强模块由n个自适应卷积块组成，每个自适应卷积块使用dense网络生成一个自适应的卷积核，与输入特征进行卷积操作,得到自适应的增强特征；重建模块由k个卷积层构成，该模块根据增强特征重建增强后的L通道图像：

第二步：对LAB颜色空间AB通道构建颜色矫正网络；

其中颜色矫正网络由一个Unet网络组成，其由编码器，解码器和瓶颈层组成；其中编码器包含m层网络，每层包括n个卷积层，每个卷积层后接ReLU激活函数与归一化层，前两层网络后面设有1个平均池化层进行下采样；解码器与编码器互为对称，仅仅将平均池化层替换为上采样层；瓶颈层由k个残差块组成，将输入的颜色特征变换到输出的颜色特征；

第三步：生成额外陆上数据，辅助训练对比度增强网络；

据水下低对比度模型，使用陆地上的数据生成大量额外的低对比度的成对图像，使用生成的成对数据辅助训练对比度增强网络；进一步利用陆地上的信息，来辅助水下对比度增强任务，水下低对比度模型如下；

I(x)＝J(x)t(x)+A(1-t(x)) (1)

其中，I(x)为观察到的低对比度降质图像，J(x)为真实清晰图像，A是大气光值，t(x)为透射率；在训练过程中引入生成的低对比度数据，辅助对比度增强网络训练，实现更好的性能表现；

第四步：使用加权Loss函数训练对比度增强网络。

2.根据权利要求1所述的基于深度网络在LAB颜色空间下的水下图像增强方法，其特征在于，所述的第二步中，将图像从颜色空间转化到LAB颜色空间进行增强，并对L通道设计一个自适应的对比度增强网络，对AB通道设计一个颜色矫正网络。

3.根据权利要求1或2所述的基于深度网络在LAB颜色空间下的水下图像增强方法，其特征在于，所述的第四步具体如下：根据直方图均衡化的思想，设计了一个均衡化loss函数并且使用其与重建loss函数/>组合来训练设计的网络，具体如下：

其中，是对比度增强之后的图片，/>为输入L通道像素值的平均值，重建loss函数旨在增加图片像素的多样性；取λ₁为0.1；c为LAB通道，最后使用加权的总loss函数训练对比度增强网络。