CN113012067B - 基于Retinex理论和端到端深度网络的水下图像复原方法 - Google Patents

Abstract

本发明公开了一种基于Retinex理论和端到端深度网络的水下图像复原方法，包括：1)简化Jaffe‑McGlamery水下成像模型，以符合Retinex理论基本假设；2)依据简化的Jaffe‑McGlamery水下成像模型以及环境光图空间平滑的先验条件估计环境光图，分解粗略场景反射率图；3)设计端到端深度网络实现水下图像的精细化复原；4)将粗略场景反射率图输入到端到端深度网络中进行训练，得到最优的端到端深度网络，最后，将待测的粗略场景反射率图输入到最优的端到端深度网络，网络的输出即为复原的水下图像。本发明消除光在水下传播时衰减和散射对成像过程的影响，以改善图像的视觉效果，有效恢复水下图像视觉质量。

Description

基于Retinex理论和端到端深度网络的水下图像复原方法

技术领域

本发明涉及图像处理的技术领域，尤其是指一种基于Retinex理论和端到端深度网络的水下图像复原方法。

背景技术

在水下传播时，光的衰减，前后向散射特性导致水下图像呈蓝色调，雾状，模糊等降质现象。不同的水下环境使得水下图像呈现这些降质现象的不同组合。统计发现，95％的水下图像呈现色彩畸变现象，10％的水下图像呈现雾状(往往出现在悬浮颗粒严重，远景区域)，5％的呈现模糊.颜色畸变对水下图像质量的影响最为严重，色彩复原是水下图像复原中最为重要的内容。水下图像复原方法主要采用改进的大气成像模型，该模型对RGB各颜色通道分别建模。由于前向散射导致的模糊现象并不显著，因此该类算法忽略了前向散射导致的模糊现象，着重对后向散射和衰减建模。大部分的方法通过经验估计RGB各通道的衰减系数，这使得基于物理模型的复原算法(暗通道先验系列)颜色复原效果很一般，甚至引入更为严重的人为噪声(red artifact)。另一方面，水下图像增强算法面对水下图像色彩复原问题提出了不同的解决方案，一些论文采用简单的色彩增强方法，如红通道补偿，即将绿，蓝通道的值乘以一定的权重值加给红通道，另一些则采用灰度世界假设等颜色一致性算法。这些方案确实对颜色有一定的改善，但复原的颜色与真实的颜色依旧存在不小的差距。尽管近年来水下图像复原收到广泛关注，但水下图像复原依旧是一个具有挑战性的不适定问题。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种基于Retinex理论和端到端深度网络的水下图像复原方法，可有效恢复水下图像视觉质量。

为实现上述目的，本发明所提供的技术方案为：基于Retinex理论和端到端深度网络的水下图像复原方法，该方法是从水下图像中估计出环境光图，从而分解出场景反射率图，消除光在水下传播时衰减和散射对成像过程的影响，以改善图像的视觉效果；包括以下步骤：

1)简化Jaffe-McGlamery水下成像模型，仅保留该模型中的直接分量，忽略前向散射分量和后向散射分量，使简化的Jaffe-McGlamery水下成像模型符合Retinex理论基本假设，即水下图像是环境光图和场景反射率图的乘积；

2)依据简化的Jaffe-McGlamery水下成像模型以及环境光图空间平滑的先验条件估计环境光图，分解粗略场景反射率图：首先，采用多组不同参数的高斯卷积核对水下图像做滤波操作得到多个环境光图的估计，接着对水下图像和估计的环境光图分别作对数变换，然后将对数变换后的水下图像分别减去各个估计环境光得到差值，接着对差值加权平均得到均值，最后对均值进行归一化得到粗略场景反射率图；

3)设计端到端深度网络实现水下图像的精细化复原，有如下特点：a、多尺度，网络首先对粗略场景反射率图做两次下采样操作，然后使用1*1和3*3卷积核在不同尺度上提取特征，接着对提取到的不同尺度特征进行融合，得到最终的网络输出，使得底层图像的信息和高层语义信息均得以利用；b、轻量化，使网络参数更少，训练收敛更快；c、目标函数增加梯度约束，网络采用一范数和梯度一致性约束，使得复原结果更加清晰；

4)使用训练数据集对步骤3)设计的端到端深度网络中进行训练，得到最优的端到端深度网络，最后，将待测的粗略场景反射率图输入到最优的端到端深度网络，网络的输出即为复原的水下图像。

在步骤1)中，所简化的Jaffe-McGlamery水下成像模型的具体情况如下：

a、简化的Jaffe-McGlamery水下成像模型，仅保留该模型中直接分量为：

I(x，λ)＝L(x，λ)·R(x，λ)·T(x，λ)

其中，λ∈{R，G，B}表示图像通道，R，G，B分别指图像的红，绿和蓝色通道；x表示图像像素点坐标以及该像素点对应的场景位置；I(x，λ)为相机拍摄的水下图像；R(x，λ)为场景反射率图；L(x，λ)为场景表面照明环境光；T(x，λ)为场景透射率；自然光N(x，λ)在水下传播时会呈现指数衰减，设β(λ)为λ通道的衰减系数，H(x)为场景点x距水面的高度，D(x)为场景点x与相机的距离，则：

L(x，λ)＝N(x，λ)·e^-β(λ)

T(x，λ)＝e^-β(λ)D(x)

b、简化的Jaffe-McGlamery水下成像模型符合Retinex理论基本假设，即水下图像是环境光图和场景反射率图的乘积，即：

I(x，λ)＝N(x，λ)·e^-β(λ)H(x)·R(x，λ)·e^-β(λ)D(x)＝L₁(x，λ)·R(x，λ)

其中，L₁(x，λ)＝N(x，λ)·e^{-β(λ)(H(x)+D(x))}为环境光图，R为场景反射率图。

在步骤2)中，设水下图像为I(x，y)∈[0，1]³，其中(x，y)表示图像像素点坐标；多组不同参数的高斯卷积核F_n(x，y)具体为：

其中，n为表示高斯卷积核的不同尺度，γ_n和σ_n分别为高斯核的两个参数；

对水下图像和估计的环境光图分别作对数变换，然后将对数变换后的水下图像分别减去各个估计环境光得到差值，最后对差值加权平均得到对数域下的粗略场景反射率图r(x，y)：

其中，N表示高斯卷积核的参数个数，w_n为权重系数；对r(x，y)进行归一化得到最终的粗略场景反射率图R(x，y)：

在步骤3)中，对粗略场景反射率图做两次下采样操作：进行2次2*2的平均池化操作，得到包括原图共3张尺度依次减半、通道数相同的图像，分别用I₁、I₂、I₃表示；

使用1*1和3*3卷积核在不同尺度上提取特征：对3张不同尺度的图I₁、I₂，I₃，分别使用1*1和3*3卷积核对其进行操作，得到尺度保持不变，通道数分别为64、64、128的特征图，分别用F₁、F₂、F₃表示；

对提取到的不同尺度特征进行融合：a、对特征图F₃进行两次3*3卷积，然后上采样得到融合特征图，用U₂表示；b、将F₂和U₂堆叠，然后做两次3*3卷积操作，然后上采样得到融合特征图，用U₁表示；c、将F₁和U₁堆叠，接着做两次3*3卷积操作，然后用1*1卷积得到通道为3的复原图I_f；

目标函数为：

其中，

H和W为图像的长度和高度，(x，y)表示图像像素点的坐标值，I_r(x，y)为清晰参考图，I_f(x，y)为端到端深度网路的输出图，λ为权重系数，grad{}为Sobel算子，L₁(I_r，I_f)为一范数损失函数，L_gl(I_r，I_f)为梯度一致性损失函数，

为最终的目标函数。

在步骤4)中，使用训练数据集来源于EUVP共6128组配对的图像，每一组配对图像均为一张水下图和对应的清晰参考图，图像尺寸为512*512*3，即长宽为512个像素点，通道数为3的彩色图，并且像素值归一化为[-1，1]的范围；训练前首先估计环境光图，分解粗略场景反射率图，然后将粗略场景反射率图和对应清晰参考图作为网络输入进行训练；训练共200个epochs，优化器采用Adam算法，学习率为0.0001，batch的大小为8。

本发明与现有技术相比，具有如下优点与有益效果：

1、针对水下光学图像颜色失真、非均匀光照、对比度低的问题，本发明提出的方法可以有效平衡水下图像的色度、饱和度及清晰度，视觉效果接近自然场景下的图像。

2、本发明提出的方法对污染较为严重或者高浑浊度水体下获得的图像有很好的复原效果。

3、针对水下光学图像中远景区域雾状效应严重的问题，本发明提出的方法可以有效消除该影响。

4、本发明提出的方法处理速度快，能达到实时处理要求。

附图说明

图1是本发明方法的水下成像过程的等价变换图。

图2是本发明方法的端到端深度网络结构示意图；图中，Conv3*3+Relu表示3*3卷积并且使用线性整流函数作为激活函数得到输出，Copy and crop表示对特征图进行复制并堆叠操作，Conv1*1+Relu表示1*1卷积并且使用线性整流函数作为激活函数，Avg Pool2*2表示尺度为2*2并且步长为2的平均池化操作。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

本实施例公开了一种基于Retinex理论和端到端深度网络的水下图像复原方法，该方法是从水下图像中估计出环境光图，从而分解出场景反射率图，消除光在水下传播时衰减和散射对成像过程的影响，以改善图像的视觉效果。其包括以下步骤：

1)如图1所示，简化Jaffe-McGlamery水下成像模型，仅保留该模型中直接分量，忽略前向散射分量和后向散射分量，使简化的Jaffe-McGlamery水下成像模型符合Retinex理论基本假设，即水下图像是环境光图和场景反射率图的乘积。其中，所简化的Jaffe-McGlamery水下成像模型的具体情况如下：

a、简化的Jaffe-McGlamery水下成像模型，仅保留该模型中直接分量为：

I(x，λ)＝L(x，λ)·R(x，λ)·T(x，λ)

其中，λ∈{R，G，B}表示图像通道，R，G，B分别图像的红，绿和蓝色通道；x表示图像像素点坐标以及该像素点对应的场景位置；I(x，λ)为相机拍摄的水下图像；R(x，λ)为场景反射率图；L(x，λ)为场景表面照明环境光；T(x，λ)为场景透射率；自然光N(x，λ)在水下传播时会呈现指数衰减，设β(λ)为λ通道的衰减系数，H(x)为场景点x距水面的高度，D(x)为场景点x与相机的距离，则：

L(x，λ)＝N(x，λ)·e^-β(λ)

T(x，λ)＝e^-β(λ)D(x)

b、简化的Jaffe-McGlamery水下成像模型符合Retinex理论基本假设，即水下图像是环境光图和场景反射率图的乘积，即：

I(x，λ)＝N(x，λ)·e^-β(λ)H(x)·R(x，λ)·e^-β(λ)D(x)＝L₁(x，λ)·R(x，λ)

其中，L₁(x，λ)＝N(x，λ)·e^{-β(λ)(H(x)+D(x))}为环境光图，R为场景反射率图。

2)依据简化的Jaffe-McGlamery水下成像模型以及环境光图空间平滑的先验条件估计环境光图，分解粗略场景反射率图：首先，采用多组不同参数的高斯卷积核对水下图像做滤波操作得到多个环境光图的估计，接着对水下图像和估计的环境光图分别作对数变换，然后将对数变换后的水下图像分别减去各个估计环境光得到差值，接着对差值加权平均得到均值，最后对均值进行归一化得到粗略场景反射率图；

设水下图像为I(x，y)∈[0，1]³，其中(x，y)表示图像像素点坐标；多组不同参数的高斯卷积核F_n(x，y)具体为：

其中，n为表示高斯卷积核的不同尺度，γ_n和σ_n分别为高斯核的两个参数；

对水下图像和估计的环境光图分别作对数变换，然后将对数变换后的水下图像分别减去各个估计环境光得到差值，最终得到对数域下的粗略场景反射率图为：

其中，N表示高斯卷积核的参数个数，在本发明中为3，w_n为权重系数，在本发明中取1/N。对r(x，y)进行归一化得到最终的粗略场景反射率图R(x，y)：

3)设计端到端深度网络实现水下图像的精细化复原，如图2所示，有如下特点：a、多尺度，网络首先对粗略场景反射率图做两次下采样操作，然后使用1*1和3*3卷积核在不同尺度上提取特征，接着对提取到的不同尺度特征进行融合，得到最终的网络输出，使得底层图像的信息和高层语义信息均得以利用；b、轻量化，网络相比于Unet等网络而言参数更少，训练收敛更快；c、目标函数增加梯度约束，网络采用一范数和梯度一致性约束，使得复原结果更加清晰。

对粗略场景反射率图做两次下采样操作:进行2次2*2的平均池化操作，得到包括原图共3张尺度依次减半、通道数相同的图像，分别用I₁、I₂、I₃表示；

使用1*1和3*3卷积核在不同尺度上提取特征：对3张不同尺度的图I₁、I₂，I₃，分别使用1*1和3*3卷积核对其进行操作，得到尺度保持不变，通道数分别为64、64、128的特征图，分别用F₁、F₂、F₃表示；

对提取到的不同尺度特征进行融合：a、对特征图F₃进行两次3*3卷积，然后上采样得到融合特征图，用U₂表示；b、将F₂和U₂堆叠，然后做两次3*3卷积操作，然后上采样得到融合特征图，用U₁表示；c、将F₁和U₁堆叠，接着做两次3*3卷积操作，然后用1*1卷积得到通道为3的复原图I_f；

目标函数为：

其中，

H和W为图像的长度和高度，(x，y)表示图像像素点的坐标值，I_r(x,y)为清晰参考图，I_f(x,y)为端到端深度网路的输出图，λ为权重系数，grad{}为Sobel算子，L₁(I_r,I_f)为一范数损失函数，L_gl(I_r,I_f)为梯度一致性损失函数，

为最终的目标函数。

4)使用训练数据集对步骤3)设计的端到端深度网络中进行训练，得到最优的端到端深度网络，最后，将待测的粗略场景反射率图输入到最优的端到端深度网络，网络的输出即为复原的水下图像。其中，训练数据集来源于EUVP共6128组配对的图像，每一组配对图像均为一张水下图和对应的清晰参考图，图像尺寸为512*512*3，即长宽为512个像素点，通道数为3的彩色图，并且像素值归一化为[-1，1]的范围。网络训练环境采用配置：因特尔i7 HQ8700处理器，32G内存，显卡采用Nvidia Titan X 12G。训练前首先使用前面方法估计环境光图，分解粗略场景反射率图，然后将粗略场景反射率图和对应清晰参考图作为网络输入进行训练。模型训练共200个epochs，优化器采用Adam算法，学习率为0.0001，batch的大小为8。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (4)

1.基于Retinex理论和端到端深度网络的水下图像复原方法，其特征在于，该方法是从水下图像中估计出环境光图，从而分解出场景反射率图，消除光在水下传播时衰减和散射对成像过程的影响，以改善图像的视觉效果；包括以下步骤：

1)简化Jaffe-McGlamery水下成像模型，仅保留该模型中的直接分量，忽略前向散射分量和后向散射分量，使简化的Jaffe-McGlamery水下成像模型符合Retinex理论基本假设，即水下图像是环境光图和场景反射率图的乘积；

2)依据简化的Jaffe-McGlamery水下成像模型以及环境光图空间平滑的先验条件估计环境光图，分解粗略场景反射率图：首先，采用多组不同参数的高斯卷积核对水下图像做滤波操作得到多个环境光图的估计，接着对水下图像和估计的环境光图分别作对数变换，然后将对数变换后的水下图像分别减去各个估计环境光得到差值，接着对差值加权平均得到均值，最后对均值进行归一化得到粗略场景反射率图；

3)设计端到端深度网络实现水下图像的精细化复原，有如下特点：a、多尺度，网络首先对粗略场景反射率图做两次下采样操作，然后使用1*1和3*3卷积核在不同尺度上提取特征，接着对提取到的不同尺度特征进行融合，得到最终的网络输出，使得底层图像的信息和高层语义信息均得以利用；b、轻量化，使网络参数更少，训练收敛更快；c、目标函数增加梯度约束，网络采用一范数和梯度一致性约束，使得复原结果更加清晰；

对粗略场景反射率图做两次下采样操作：进行2次2*2的平均池化操作，得到包括原图共3张尺度依次减半、通道数相同的图像，分别用I₁、I₂、I₃表示；

使用1*1和3*3卷积核在不同尺度上提取特征：对3张不同尺度的图I₁、I₂，I₃，分别使用1*1和3*3卷积核对其进行操作，得到尺度保持不变，通道数分别为64、64、128的特征图，分别用F₁、F₂、F₃表示；

对提取到的不同尺度特征进行融合：a、对特征图F₃进行两次3*3卷积，然后上采样得到融合特征图，用U₂表示；b、将F₂和U₂堆叠，然后做两次3*3卷积操作，然后上采样得到融合特征图，用U₁表示；c、将F₁和U₁堆叠，接着做两次3*3卷积操作，然后用1*1卷积得到通道为3的复原图I_f；

目标函数为：

其中，

H和W为图像的长度和高度，(x，y)表示图像像素点的坐标值，I_r(x,y)为清晰参考图，I_f(x,y)为端到端深度网络 的输出图，λ为权重系数，grad{}为Sobel算子，L₁(I_r,I_f)为一范数损失函数，L_gl(I_r,I_f)为梯度一致性损失函数，

为最终的目标函数；

4)使用训练数据集对步骤3)设计的端到端深度网络进行训练，得到最优的端到端深度网络，最后，将待测的粗略场景反射率图输入到最优的端到端深度网络，网络的输出即为复原的水下图像。

2.根据权利要求1所述的基于Retinex理论和端到端深度网络的水下图像复原方法，其特征在于，在步骤1)中，所简化的Jaffe-McGlamery水下成像模型的具体情况如下：

a、简化的Jaffe-McGlamery水下成像模型，仅保留该模型中直接分量为：

I(x,λ)＝L(x,λ)·R(x,λ)·T(x,λ)

其中，λ∈{R,G,B}表示图像通道，R，G，B分别指图像的红，绿和蓝色通道；x表示图像像素点坐标以及该像素点对应的场景位置；I(x,λ)为相机拍摄的水下图像；R(x,λ)为场景反射率图；L(x,λ)为场景表面照明环境光；T(x,λ)为场景透射率；自然光N(x,λ)在水下传播时会呈现指数衰减，设β(λ)为λ通道的衰减系数，H(x)为场景点x距水面的高度，D(x)为场景点x与相机的距离，则：

L(x,λ)＝N(x,λ)·e^-β(λ)

T(x,λ)＝e^-β(λ)D(x)

b、简化的Jaffe-McGlamery水下成像模型符合Retinex理论基本假设，即水下图像是环境光图和场景反射率图的乘积，即：

I(x,λ)＝N(x,λ)·e^-β(λ)H(x)·R(x,λ)·e^-β(λ)D(x)＝L₁(x,λ)·R(x,λ)

其中，L₁(x,λ)＝N(x,λ)·e^{-β(λ)(H(x)+D(x))}为环境光图，R为场景反射率图。

3.根据权利要求1所述的基于Retinex理论和端到端深度网络的水下图像复原方法，其特征在于，在步骤2)中，设水下图像为I(x,y)∈[0,1]³，其中(x，y)表示图像像素点坐标；多组不同参数的高斯卷积核F_n(x,y)具体为：

其中，n为表示高斯卷积核的不同尺度，γ_n和σ_n分别为高斯核的两个参数；

对水下图像和估计的环境光图分别作对数变换，然后将对数变换后的水下图像分别减去各个估计环境光得到差值，最后对差值加权平均得到对数域下的粗略场景反射率图r(x,y)：

其中，N表示高斯卷积核的参数个数，w_n为权重系数；对r(x,y)进行归一化得到最终的粗略场景反射率图R(x,y)：

4.根据权利要求1所述的基于Retinex理论和端到端深度网络的水下图像复原方法，其特征在于：在步骤4)中，使用训练数据集来源于EUVP共6128组配对的图像，每一组配对图像均为一张水下图和对应的清晰参考图，图像尺寸为512*512*3，即长宽为512个像素点，通道数为3的彩色图，并且像素值归一化为[-1，1]的范围；训练前首先估计环境光图，分解粗略场景反射率图，然后将粗略场景反射率图和对应清晰参考图作为网络输入进行训练；训练共200个epochs，优化器采用Adam算法，学习率为0.0001，batch的大小为8。

Images