CN114332269A

CN114332269A - 一种模拟水下可见光成像的生成对抗学习方法

Info

Publication number: CN114332269A
Application number: CN202111453021.5A
Authority: CN
Inventors: 王南; 王晨晟; 张智杰; 李忠; 徐寅
Original assignee: 717th Research Institute of CSIC
Current assignee: 717th Research Institute of CSIC
Priority date: 2021-12-01
Filing date: 2021-12-01
Publication date: 2022-04-12
Anticipated expiration: 2041-12-01
Also published as: CN114332269B

Abstract

本发明公开了一种模拟水下可见光成像的生成对抗学习方法，先建立水下成像模型，然后通过生成对抗网络来实现水下成像模型过程模拟并学习得到合理参数，其中生成对抗网络由生成器G和判别器D组成，使生成器G最大化，使判别器D最大化；本发明提出的模拟水下可见光成像的生成对抗学习方法，采用了改进的水下成像模型与生成对抗网络相结合的方法，将未经水传播的RGB图像和对应的深度图、真实水下场景图像作为网络模型输入，利用对抗学习估计成像模型中的各种参数，输出合成图像，在不破坏图像结构的情况下模拟水下环境下可见光成像产生的色彩偏差和雾度效应。

Description

一种模拟水下可见光成像的生成对抗学习方法

技术领域

本发明涉及图像处理领域，尤其涉及一种模拟水下可见光成像的生成对抗学习方法，用于水下场景可见光计算成像和退化模拟。

背景技术

水下成像模型是基于水介质对光的吸收和散射提出，成像模型里包含水下场景的透射图、大气环境光、不同波长光在水下场景的衰减系数、场景的景深图。为模拟水下环境下由于可见光的散射和衰减导致成像产生的色彩偏差和雾度效应，需要对水下成像模型中的参数进行合理设置。生成对抗网络是通过生成器和判别器进行博弈，输入网络的有噪声和真图，生成器根据输入噪声生成假图，欺骗判别器，判别器负责分辨是真图还是假图，通过博弈使生成器生成尽可能逼真的图像。

目前对水下场景计算成像和退化模拟方式主要有二种：一种是基于水下成像模型设置合理参数进行模拟，一种是基于生成对抗网络直接生成风格相似的图像。还有一种是基于水下成像模型的生成对抗网络。

基于水下成像模型依赖于合理的参数，而不同深度、光照、水质的水下环境参数各不相同，难以根据先验知识设置出各种水下环境的合理参数。基于生成对抗网络虽然可以根据给定的水下环境图像直接生成风格相似的图像，但脱离成像模型，生成的图像存在失真的情况。相比于另外两种方式，基于水下成像模型的生成对抗方法可以学习到合理参数且避免失真现象，是一种水下场景计算成像和退化模拟的可行方式。

发明内容

针对现有技术中基于水下成像模型难以估算合理参数、基于生成对抗网络存在失真现象的问题，本发明提供一种能合理估算水下成像模型参数的生成对抗方法，以模拟水下环境下可见光成像产生的色彩偏差和雾度效应，为图像增强/复原算法研究提供数据支撑。

本发明解决其技术问题所采用的技术方案是：一种模拟水下可见光成像的生成对抗学习方法，包括如下步骤：

(1)为模拟水中光衰减引起的颜色偏差和由于水杂质散射引起的雾度效应，受相关去雾方法的启发，建立改进的水下成像模型如下：

I(x)＝J(x)T(x)+AT(x)(1-T'(x))

T(x)＝e^-β(λ)d(x)，T'(x)＝e^-αd(x)

其中，J(x)是未通过水传播的初始辐照度，T(x)是场景的前向散射透射图，T'(x)是场景的背向散射透射图，A是场景的大气环境光，β是不同波长λ的光在水中的衰减系数，d(x)是场景景深，α是雾状效应系数；

(2)根据上述理论，通过生成对抗网络来实现水下成像模型过程模拟并学习得到合理参数；所述的生成对抗网络由生成器G和判别器D组成：生成器G输出合成图像，判别器D以生成器G的合成图像及真实水下图像作为输入，生成器G的目标是通过判别器D将生成的图像分类为真；

(3)为优化生成器G，寻求最大化：log(D(G(z)))，其中z表示生成器网络的输入，G(z)表示生成器网络的输出，即合成图像，D(G(z))表示将G(z)作为输入时判别器D的输出结果；

(4)判别器D的目标是最大化分类精度，寻求最大化：log(D(x))+log(1-D(G(z)))，其中，x表示真实水下图像。

所述的一种模拟水下可见光成像的生成对抗学习方法，生成器G可以划分为两个阶段，第一阶段模拟成像模型中的直接衰减项，第二阶段模拟成像模型中散射项。这确保图像和其深度图对齐，仅改变图像的像素强度而不会破坏图像的结构；生成器G将深度图作为网络输入之一，合成的图像在风格上尽量接近真实的水下图像，同时也模拟出更真实的雾度效应。

进一步，所述的直接衰减项是与距离相关的水下光衰减，将RGB图像和深度图作为生成器G的输入数据；使用公式D(x)＝J(x)T(x)对输入的RGB图像与透射图进行矩阵运算，得到光在水中直接衰减形成的降质RGB图像；使用公式T(x)＝e^-β(λ)d(x)根据输入的深度图计算得到前向散射形成的透射图；其中，J(x)是输入的空中图像或未经过水传播的初始辐照度，T(x)是场景透射图，D(x)是生成器D模拟直接衰减项的输出，β是网络学习到的衰减系数，限制为大于0，λ表示RGB图像三个颜色通道，d(x)是场景景深。

进一步，所述的散射项中前向散射和后向散射在水下图像中产生特征性的雾霾效果；使用公式B(x)＝AT(x)[1-T'(x)]计算得到由于水介质对光的前向散射及背向散射形成的RGB图像；使用公式T'(x)＝e^-αd(x)根据输入的深度图计算得到背向散射形式的透射图；其中B(x)是散射到相机传感器中的光，A是网络估计的大气环境光，AT(x)是光在前向传播中散射的环境光，T'(x)是背向散射透射图，d(x)是场景景深，α是网络学习到的雾度效应系数。

更进一步，得到图像三个通道的散射图后，按RGB图像三个颜色通道连接在一起，得到降质RGB图像D(x)和RGB图像B(x)后，将两个阶段的结果线性相加得到生成器G最终输出的图像。在网络模型训练中，上述参数被随机初始化。

本发明的有益效果是：本发明提出的模拟水下可见光成像的生成对抗学习方法，采用了改进的水下成像模型与生成对抗网络相结合的方法，将未经水传播的RGB图像和对应的深度图、真实水下场景图像作为网络模型输入，利用对抗学习估计成像模型中的各种参数，输出合成图像，在不破坏图像结构的情况下模拟水下环境下可见光成像产生的色彩偏差和雾度效应。与当前方法相比，本发明能方便快捷估算出各种水下环境的合理参数，能避免破坏图像结构产生失真。

附图说明

图1是本发明生成对抗网络的结构图；

图2是本发明生成对抗网络的算法训练流程图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步的说明。

图1所示为本发明提供的生成对抗学习方法的网络整体结构，本发明公开的一种模拟水下可见光成像的生成对抗学习方法，包括如下步骤：

(1)为模拟水中光衰减引起的颜色偏差和由于水杂质散射引起的雾度效应，受相关去雾方法的启发，建立改进的水下成像模型：

I(x)＝J(x)T(x)+AT(x)(1-T'(x))

T(x)＝e^-β(λ)d(x)，T'(x)＝e^-αd(x)

其中，J(x)是未通过水传播的初始辐照度，T(x)是场景的前向散射透射图，T'(x)是场景的背向散射透射图，A是场景的大气环境光，β是不同波长λ的光在水中的衰减系数，d(x)是场景景深，α是雾状效应系数。

(2)根据上述理论，通过生成对抗网络来实现水下成像模型过程模拟并学习得到合理参数；所述的生成对抗网络由生成器G和判别器D组成：生成器G输出合成图像，判别器D以生成器G的合成图像及真实水下图像作为输入，生成器G的目标是通过判别器D将生成的图像分类为真。

(3)为优化生成器G，寻求最大化：log(D(G(z)))

其中，z表示生成器网络的输入，G(z)表示生成器网络的输出，即合成图像，D(G(z))表示将G(z)作为输入时判别器D的输出结果。

(4)判别器D的目标是最大化分类精度，寻求最大化：

log(D(x))+log(1-D(G(z)))

其中，x表示真实水下图像。

所述的生成器G可以划分为两个阶段，第一阶段模拟成像模型中的直接衰减项，第二阶段模拟成像模型中散射项。这确保图像和其深度图对齐，仅改变图像的像素强度而不会破坏图像的结构。生成器将深度图作为网络输入之一，合成的图像在风格上尽量接近真实的水下图像，同时也模拟出更真实的雾度效应。下面详细介绍生成器的每个阶段。

生成器的第一阶段考虑了与距离相关的水下光衰减，是上述水下成像模型中的直接衰减项，输入生成器的数据是RGB图像和深度图，数学形式如下：

D(x)＝J(x)T(x)

T(x)＝e^-β(λ)d(x)

其中，J(x)是输入的空中图像，或未经过水传播的初始辐照度，T(x)是场景透射图，D(x)是生成器第一阶段的输出，光线到达相机传感器在水中会衰减，是光在水中直接衰减形成的降质RGB图像。β是网络学习到的衰减系数，限制为大于0，衰减系数取决于水质和水下环境的照度。λ表示RGB图像三个颜色通道，d(x)是场景景深。

生成器的第二阶段考虑了与散射相关的雾度效应，场景越深，雾度效应越明显。前向散射和后向散射在水下图像中产生特征性的雾霾效果。数学形式如下：

B(x)＝AT(x)[1-T'(x)]

T'(x)＝e^-αd(x)

其中B(x)由于水介质对光的前向散射及背向散射形成的RGB图像，是散射到相机传感器中的光，A是网络估计的大气环境光，AT(x)是光在前向传播中散射的环境光，T(x)与上述第一阶段一致，T'(x)是背向散射透射图，d(x)是场景景深，α是网络学习到的雾度效应系数。得到图像三个通道的散射图后，按通道连接在一起，可生成得到一个散射图像，将散射图与光衰减形成的降质图像进行线性相加并归一化得到合成图像。即将降质RGB图像D(x)和RGB图像B(x)两个阶段的结果线性相加得到生成器G最终输出的图像。在网络模型训练中，上述参数被随机初始化。

如图2所示，本发明提供一种模拟水下可见光成像的生成对抗学习方法的算法训练流程，伪码描述如下：

算法训练完成后，加载训练好的参数，输入RGB图像和对应深度图到生成器中便可合成得到具有色彩偏差和雾度效应的水下风格图像。

上述实施例仅例示性说明本发明的原理及其功效，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims

1.一种模拟水下可见光成像的生成对抗学习方法，其特征在于：包括如下步骤

(1)建立水下成像模型：

I(x)＝J(x)T(x)+AT(x)(1-T'(x))

T(x)＝e^-β(λ)d(x)，T'(x)＝e^-αd(x)

(2)通过生成对抗网络来实现水下成像模型过程模拟并学习得到合理参数；

所述的生成对抗网络由生成器G和判别器D组成：生成器G输入RGB图像和对应的深度图，生成器G输出合成图像，判别器D以合成图像及真实水下图像作为输入，输出为0/1，生成器G通过判别器D将生成的图像分类为真；

(3)通过公式使生成器G最大化：log(D(G(z)))，其中z表示生成器网络的输入，G(z)表示生成器网络的输出，即合成图像，D(G(z))表示将G(z)作为输入时判别器D的输出结果；

(4)通过公式使判别器D最大化：log(D(x))+log(1-D(G(z)))，其中x表示真实水下图像。

2.根据权利要求1所述的一种模拟水下可见光成像的生成对抗学习方法，其特征在于，所述的生成器G先模拟成像模型中直接衰减项，然后模拟成像模型中散射项；生成器G将深度图作为网络输入之一，合成风格上尽量接近真实水下图像的图像，同时也模拟出更真实的雾度效应。

3.根据权利要求2所述的一种模拟水下可见光成像的生成对抗学习方法，其特征在于，所述的直接衰减项是与距离相关的水下光衰减，将RGB图像和深度图作为生成器G的输入数据；使用公式D(x)＝J(x)T(x)对输入的RGB图像与透射图进行矩阵运算，得到光在水中直接衰减形成的降质RGB图像；使用公式T(x)＝e^-β(λ)d(x)根据输入的深度图计算得到前向散射形成的透射图；其中，J(x)是输入的空中图像或未经过水传播的初始辐照度，T(x)是场景透射图，D(x)是生成器D模拟直接衰减项的输出，β是网络学习到的衰减系数，限制为大于0，λ表示RGB图像三个颜色通道，d(x)是场景景深。

4.根据权利要求3所述的一种模拟水下可见光成像的生成对抗学习方法，其特征在于，所述的散射项中前向散射和后向散射在水下图像中产生特征性的雾霾效果；使用公式B(x)＝AT(x)[1-T'(x)]计算得到由于水介质对光的前向散射及背向散射形成的RGB图像；使用公式T'(x)＝e^-αd(x)根据输入的深度图计算得到背向散射形式的透射图；其中B(x)是散射到相机传感器中的光，A是网络估计的大气环境光，AT(x)是光在前向传播中散射的环境光，T'(x)是背向散射透射图，d(x)是场景景深，α是网络学习到的雾度效应系数。

5.根据权利要求4所述的一种模拟水下可见光成像的生成对抗学习方法，其特征在于，得到降质RGB图像D(x)和RGB图像B(x)后，将两个阶段的结果线性相加得到生成器G最终输出的图像。