CN116863320A

CN116863320A - 基于物理模型的水下图像增强方法及系统

Info

Publication number: CN116863320A
Application number: CN202310671497.9A
Authority: CN
Inventors: 丛润民; 杨文玉; 张伟; 宋然; 李晓磊; 张敬林; 史洋
Original assignee: Shandong University
Current assignee: Shandong University
Priority date: 2023-06-06
Filing date: 2023-06-06
Publication date: 2023-10-10
Anticipated expiration: 2043-06-06
Also published as: CN116863320B

Abstract

本发明公开了基于物理模型的水下图像增强方法及系统，属于水下图像处理技术领域。包括将获取的水下图像输入训练好的水下图像增强模型进行处理，以生成并输出增强图像；水下图像增强模型包括由参数估计子网络和双流交互增强子网络组成的生成器和双鉴别器，参数估计子网络用于根据输入的水下图像，确定物理模型的衰减系数、深度图和传输图，并根据衰减系数和传输图，获取颜色增强图像；双流交互增强子网络用于根据颜色增强图像和传输图对输入的水下图像，获取增强图像；双鉴别器用于根据增强图像和深度图，判别增强图像的真伪。能够获取清晰、视觉美观的水下图像，解决了现有技术中通用性不强且图像内容容易被扭曲的问题。

Description

基于物理模型的水下图像增强方法及系统

技术领域

本发明涉及水下图像处理技术领域，特别是涉及基于物理模型的水下图像增强方法及方法。

背景技术

本部分的陈述仅仅是提到了与本发明相关的背景技术，并不必然构成现有技术。

海洋包含了极其丰富的资源，研究人员可以使用远程操作的水下航行器从水下环境中收集图像和视频，以便进一步感知和开发海洋。由于复杂的水下环境和光照条件，水体对不同波长的光有不同的吸收和散射作用(即前向散射和后向散射)，水下图像呈现出颜色失真、细节模糊。因此，要从退化的水下图像中直接获取有价值的信息变得非常具有挑战性，这阻碍了其他海洋相关任务的进一步发展。因此，水下图像增强(UIE)技术的研究应时而生并具有重要的实际应用价值。

水下图像的退化主要表现为水对光的吸收效应引起的颜色扭曲，以及水中悬浮颗粒(即有机颗粒、浮游微生物等)的散射效应引起的模糊。由于水下成像过程的独特性和复杂性，为其他退化场景(如弱光场景或雾场景)设计的增强方法不能很好地适用于UIE任务。此外，即使是一些专门为UIE任务设计的方法也并不令人满意。在早期盛行的传统方法大致可以分为基于非物理模型的方法和基于物理模型的方法。非物理模型方法主要关注于图像像素的调整，如动态像素范围拉伸、像素分布调整、图像融合等。Ancuti等人提出了一种颜色通道补偿的预处理方法。基于物理模型的方法利用一些先验和假设对水下光学成像的过程进行建模，从而通过模型反演生成干净的图像，但物理模型不能完全、真实地模拟水下成像过程。

近年来，深度学习技术也极大地促进了水下图像增强领域的发展。以端到端方式设计深度UIE网络是最常见的做法，以基于卷积神经网络(卷积神经网络)和基于生成对抗网络(Generative Adversarial Network,GAN)的框架为主要类型。其中，基于GAN的方法通过利用大量的成对或未成对的数据集进行训练并取得了惊人的性能。Li等人提出了一种基于GAN的UIE方法，该方法通过合成水下图像进行训练，同时输出深度图。Jiang等人为UIE任务设计了一个全局-局部判别结构。然而，虽然基于深度学习的方法利用了网络强大的学习能力，在某些情况下可以取得良好的效果，但无法根据复杂的水下环境进行灵活调整。

综上所述，现有技术中的水下图像增强方法但仍存在如下问题：

(1)基于非物理模型的传统方法在很大程度上依赖于手工制作的特征设计，这使得它们容易出现过度或欠增强，从而影响整体视觉效果。而对水下成像过程进行建模虽然有利于解决水下图像独特的视觉问题，但完全依赖物理模型也并非可靠的，因为很难模拟一个通用模型来应对复杂的水下环境。

(2)深度学习方法利用了深度网络强大的学习能力，在某些情况下可以取得良好的效果。然而，水下环境往往是复杂和多样化的，纯粹依赖于网络学习可能会扭曲增强的结果。

发明内容

为了解决现有技术的不足，本发明提供了基于物理模型的水下图像增强方法、系统、电子设备及计算机可读存储介质。

第一方面，本发明提供了基于物理模型的水下图像增强方法；

基于物理模型的水下图像增强方法，包括：

获取水下图像，将所述水下图像输入训练好的水下图像增强模型进行处理，以生成并输出增强图像；

其中，所述水下图像增强模型包括基于物理模型引导的生成器和双鉴别器，所述基于物理模型引导的生成器由参数估计子网络和双流交互增强子网络组成；

所述参数估计子网络用于根据输入的水下图像，确定物理模型的衰减系数、深度图和传输图，并根据衰减系数和传输图对水下图像进行反演处理，获取颜色增强图像；

所述双流交互增强子网络用于根据颜色增强图像和传输图对输入的水下图像进行图像增强处理，获取增强图像；

所述双鉴别器用于根据增强图像和深度图，判别增强图像的真伪。

进一步的，所述根据输入的水下图像，确定物理模型的衰减系数、深度图和传输图包括：

根据输入的水下图像的颜色通道，通过衰减系数估计器，确定衰减系数；

根据输入的水下图像的颜色通道，通过深度估计器，获取深度图；

基于衰减系数和深度图，获取传输图。

进一步的，所述根据颜色增强图像和传输图对输入的水下图像进行图像增强处理，获取增强图像包括：

对水下图像进行多级特征提取处理，获取原始图像特征；对颜色增强图像进行多级特征提取处理，获取颜色增强图像特征；

比较原始图像特征和颜色增强图像特征，获取原始图像特征和颜色增强图像特征的特征差；根据传输图，确定区域退化程度；

根据特征差和区域退化程度，获取图像增强权重；根据图像增强权重和原始图像特征进行特征解码，获取增强图像。

优选的，所述根据图像增强权重和原始图像特征进行特征解码，获取增强图像包括：

将图像增强权重和原始图像特征残差连接，获取区域增强图像特征；

通过解码器对区域图像增强特征进行特征解码处理，获取增强图像。

进一步的，所述双鉴别器包括第一鉴别器和第二鉴别器；

所述第一鉴别器用于根据增强图像和真实增强图像，判别增强图像风格的真伪；所述第二鉴别器用于根据增强图像和深度图以及真实增强图像和对应的深度图，判别增强图像内容的真伪。

进一步的，所述参数估计子网络的损失函数表示为：

其中，d₁为参数估计子网络直接根据输入的水下图像估计的深度图，d₂为利用参数估计子网络确定的传输图和衰减系数估计的深度图，d为深度图的监督，为衰减系数的监督，β^c为衰减系数的估计值。

进一步的，所述水下图像增强模型的损失函数表示为：

其中，λ₁、λ₂、λ₃和λ₄为代表各自损失分量贡献的比例因子，L₁为全局相似损失，L_gdl为感知损失，L_GAN1为风格对抗性损失，L_GAN2为内容对抗性损失。

第二方面，本发明提供了基于物理模型的水下图像增强系统；

基于物理模型的水下图像增强系统，包括：

获取模块，被配置为：获取水下图像；

水下图像增强模块，被配置为：将所述水下图像输入训练好的水下图像增强模型进行处理，以生成并输出增强图像；

第三方面，本发明提供了一种电子设备；

一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成上述基于物理模型的水下图像增强方法的步骤。

第四方面，本发明提供了一种计算机可读存储介质；

一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述基于物理模型的水下图像增强方法的步骤。

与现有技术相比，本发明的有益效果是：

本发明提供的技术方案，设计了一种能够有效地结合物理模型和深度学习网络的架构并充分发挥它们的优势，在GANs(Generative Adversarial Networks)架构下进行网络设计，通过训练来学习原始的真实水下图像和清晰的水下图像之间的映射。将物理模型和基于卷积神经网络的模型完全结合起来，形成了物理模型引导的生成器(PhysicalModel-Guided Generator，Phy-G)，其中包含两部分：参数估计子网络用来模拟水下图像的物理成像过程，估计物理模型参数，主要包括传输图和衰减系数，从而增强模型的泛化能力，并通过反演生成一个彩色增强的水下图像；设计了一个具有两个输入分支的双流交互增强子网络，将原始水下图像作为输入，同时彩色增强图像作为辅助信息指导增强网络，实现端到端增强；退化量化模块用于定位和量化场景的失真程度，从而实现区域特征强化，并指导生成最终增强的水下图像。

本发明提供的技术方案，设计了双鉴别器结构来鉴别生成器的重建结果，以保证增强结果符合视觉美学并且真实。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明实施例提供的流程示意图；

图2为本发明实施例提供的水下图像增强可视化结果与其他方法获得的结果的对比示意图；

图3为本发明实施例提供的水下图像增强可视化结果与其他方法获得的结果的另一对比示意图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

实施例一

现有技术中的水下图像增强算法往往没有充分关注水下图像的成像特点，从而导致模型性能或泛化性不佳，因此，本发明提供了基于物理模型的水下图像增强方法在GANs架构下进行网络设计，将物理模型和基于卷积神经网络的模型结合起来形成了物理模型引导的生成器，设计了一种新的双鉴别器结构来判断生成器的重建结果，形成风格-内容协同作用的机制。

接下来，结合图1对本实施例公开的基于物理模型的水下图像增强方法进行详细说明。该基于物理模型的水下图像增强方法包括如下步骤：

获取水下图像，将水下图像输入训练好的水下图像增强模型进行处理，以生成并输出增强图像。具体流程如下：

S1、将水下图像输入参数估计子网络，根据输入的水下图像，确定物理模型的衰减系数、深度图和传输图，并根据衰减系数和传输图对水下图像进行反演处理，获取颜色增强图像。

其中，为了模拟水下图像的退化过程，对水下场景进行物理建模，水下成像过程的物理模型表示为：

I(X)＝J(x)t(x)+A(1-t(x))

其中，I为输入的水下图像，J为恢复的图像，A为背景光，t为透射图，描述光未散射到达相机的部分，可进一步表示为：

t(x)＝e^-βd()

其中，β为水的衰减系数，d为场景的深度。

该方程表明，场景辐射随深度呈指数衰减，因此，其深度也能在一定程度上反映出场景的衰减情况。

根据上述公式，可以得到J的计算公式为：

该公式的第一项主要用于修正的颜色，第二项主要用于消除背景光的影响。在水下图像中，颜色失真是影响主观视觉质量的关键因素。因此，本实施例专注于在网络的第一阶段增强过程中，通过物理模型反演获得彩色校正的水下图像。这样就可以根据该等式从原始图像I中反推得到颜色增强图像J′：

通过模型反演获取水下图像具有良好的可解释性和场景适应性，也是传统水下图像增强方法的关键。但水下环境复杂多样且多变，如何估计物理模型的参数是一个艰巨的挑战。现有技术中使用先验知识来估计物理模型中涉及的参数，然而，先验知识通常对各种场景的适应性不同，可能导致严重的估计偏差。

综上所述，考虑到物理模型的优点和参数估计的挑战，本实施例中引入了一种物理增强模式来提高整体框架的可解释性，并以一种学习的方式估计了模型所需的参数，以提高其精度。

具体的，首先，使用衰减系数估计器来计算衰减系数，这个过程可以表述为：

c

β＝linear(relu(linear(conv.p.r(I^c))))

其中，I^C是水下图像的c通道，c＝{r,g,b}，即颜色通道；conv.p.r包括两个卷积层，卷积核大小为3×3，ReLU为池化层激活函数，linear为线性层。

将r,g,b三个通道的衰减系数连接为最终的衰减系数：

β＝cat(β^r,β^g,β^b)

其中，cat是一个通道级的连接操作。

然后，采用深度估计器来计算深度图，深度图的估计过程可以表述为：

d₁＝σ(conv(conv.b.r(RBD(conv.b.r(I)))))

其中，conv.b.r表示跟有归一化层和ReLU激活的核大小为3×3的卷积层，σ为Sigmoid函数，conv为核大小为3×3的卷积层，RBD表示RBD块。

接下来，由于传输图与深度图和衰减系数的乘积呈指数关系，因此，传输图的估计过程可以表示为：

t＝σ(conv(conv.b.r(d₁·β)))

通过估计的传输图t和衰减系数β，即可得到一个颜色增强图像J′。

值得注意的是，本实施例中，为了确保传输图的质量，利用衰减系数再次通过以下公式计算深度图：

这样就可以从物理模型反演的角度进一步加强对估计传输图的约束，从而提高整个参数估计子网络的精度。

S2、将颜色增强图像、深度图和水下图像输入双流交互增强子网络，根据颜色增强图像和传输图对输入的水下图像进行图像增强处理，获取增强图像。

包括如下步骤：

S201、对水下图像进行多级特征提取处理，获取原始图像特征；对颜色增强图像进行多级特征提取处理，获取颜色增强图像特征。

S202、比较原始图像特征和颜色增强图像特征，获取原始图像特征和颜色增强图像特征的特征差；根据传输图，确定区域退化程度。

S203、根据特征差和区域退化程度，获取图像增强权重；根据图像增强权重和原始图像特征进行特征解码，获取增强图像。

示例性的，首先，将水下图像I∈R^3×256×256和对应的颜色增强图像J′∈R^3×256×256输两个结构完全相同的编码器，提取多级特征，分别记为原始图像特征和颜色增强图像特征/>

其中，该编码器包含5个卷积-残差块，每个卷积-残差块由一个内核大小为3×3的卷积层组成，然后是一个池化层和激活函数ReLU以及一个残差层。

然后，利用退化量化模块来定位图像中严重退化的区域，分别基于颜色增强图和传输图进行如下操作：

(1)通过直接比较颜色增强图像特征与原始图像特征之间的差异来定位严重退化的区域，这可以描述为：

其中，dif_k为特征差，表示图像需要补充的信息的量，ε(·)表示阶跃函数，α为阈值，实验中设置为0.7。

(2)由于水下图像的退化程度与传输特性呈负相关，因此，从传输图中确定一些容易退化的区域：

t_k＝(1-maxpool(t))·ε(1-maxpool(t)-α)

其中，maxpool是最大池化操作。

事实上，t_k和的大小相同，此外，t_k值越大，意味着退化越严重，那么这些区域的特征在解码阶段需要加强。

根据特征差和区域退化程度，获取图像增强权重，表示为：

w_k＝σ(conv((conv.b.r(t_k+dif_k))))

随后，将这些权重与原始图像特征e_k通过残差连接得到

其中，是hadamard乘积。在/>中，严重退化的区域被赋予较大的权重，以便后续的网络可以更加关注这些区域。

最后，利用与编码器对称的卷积残差块实现了特征解码，包括3×3卷积层、上采样层和激活函数ReLU。解码器的特征可以表述为：

其中，up为上采样操作，res表示残差操作，de_k+1表示k+1层的解码器特征。我们使用卷积层对de₁进行操作，得到最终的结果：增强图像E。

S3、将增强图像和深度图输入双鉴别器，判别增强图像的真伪。

现有技术中，对于基于GAN的UIE方法，生成器的目的是获得最终增强的水下图像，而鉴别器判断生成的图像是真实的还是虚假的。整个过程可以描述为：

其中，X和Y表示源域(低质量图像)和期望域(增强图像)，G表示旨在学习X→Y映射的生成器，D表示鉴别器。

在本实施例中，为了更好地约束生成的水下图像接近真实和清晰的水下图像，设计了一种新的双鉴别器结构，第一鉴别器是判断整体风格是否真实的标准用法，它不注意图像中的特定区域应该增强多少，只要它看起来像一个高质量的水下图像。第二鉴别器认为场景的深度结构和约束TSIE-subnet能够执行判别增强，这两个鉴别器相互补充，以实现对增强结果的风格和内容的约束。采用马尔可夫鉴别器结构，该鉴别器试图对图像中的每个N×N补丁是真实的还是假的进行分类，这有助于捕获局部纹理和风格等高频特征。

综上所述，双鉴别器中的风格对抗性损失表示为：

内容对抗性损失表示为：

其中，D1表示第一鉴别器，D2表示第二鉴别器，E为最终生成的增强图像，Y为参考真实增强图像，d_E为从生成的增强图像E得到的深度图，d_Y为参考真实增强图像Y得到的深度图，参考真实增强图像Y为真实清晰图像，参考真实增强图像Y得到的深度图为将真实清晰图像输入到参数估计子网络中得到的深度图。

进一步的，对于水下图像增强模型的训练，采用两阶段训练策略。第一阶段，对参数估计子网络进行离线预训练；第二阶段，训练整个水下图像增强模型，其中，对子网的参数是固定的，并交替训练双流交互增强子网络和双鉴别器。具体流程如下：

(a)训练参数估计子网络

使用合成数据集来训练参数估计子网络，在训练阶段，模型的每个阶段分别训练60个epoch，批大小为4。学习速率固定为1e^-4。首先，训练衰减系数估计器，然后冻结它们的参数来训练深度估计器和传输估计器。对参数子网的损失的定义如下：

其中，d₁为参数估计子网络直接根据输入的水下图像估计的深度图，d₂为利用参数估计子网络确定的传输图和衰减系数估计的深度图，仅用于此处监督；d为深度图的监督，为衰减系数的监督，β^c为衰减系数的估计值。

(b)训练水下图像增强模型

在参数估计子网络训练完成后，对整个双鉴别器结构进行第二阶段的训练。训练数据包括从UIEB数据集中选择的800对水下图像和从合成的UIE数据集中选择的1250对合成水下图像。为了使生成的图像在保持图像真实性的同时符合视觉审美，使用全局相似损失、感知损失和对抗性损失来构成最终损失函数：

其中，λ₁、λ₂、λ₃和λ₄是代表各自损失分量贡献的比例因子，L₁为全局相似的损失，L_gdl为感知损失，L_GAN1和L_GAN2分别为风格和内容对抗性损失。

三个基准数据集上进行广泛实验，实验表明，本实施例中的水下图像增强模型在定性和定量指标上都优于最先进的方法。如图2、图3所示，本实施例提供了一些可视化例子，通过传统的GDCP方法、基于gan的FUnIE-GAN方法、基于卷积神经网络的Ucolor方法和本实施例的方法，可以看出，给定的比较算法要么有明显的颜色偏差，要么结果很模糊，而本实施例的水下图像增强模型的结果在定义和颜色方面更接近地面真相。其中，图2从左到右一侧为原始水下图像、GDCP、FUnIE-GAN的增强结果；图3从左到右依次为Ucolor和本实施例的方法的增强结果以及参考的清晰水下图像。

实施例二

本实施例公开了基于物理模型的水下图像增强系统，包括：

获取模块，被配置为：获取水下图像；

所述参数估计子网络用于根据输入的水下图像，确定物理模型的衰减系数、深度图和传输图，并根据衰减系数和传输图对水下图像进行处理，获取颜色增强图像；

此处需要说明的是，上述获取模块、水下图像增强模块对应于实施例一中的步骤，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。

实施例三

本发明实施例三提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，计算机指令被处理器运行时，完成上述基于物理模型的水下图像增强方法的步骤。

实施例四

本发明实施例四提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述基于物理模型的水下图像增强方法的步骤。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

上述实施例中对各个实施例的描述各有侧重，某个实施例中没有详述的部分可以参见其他实施例的相关描述。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.基于物理模型的水下图像增强方法，其特征在于，包括：

获取水下图像，将水下图像输入训练好的水下图像增强模型进行处理，以生成并输出增强图像；

2.如权利要求1所述的基于物理模型的水下图像增强方法，其特征在于，所述根据输入的水下图像，确定物理模型的衰减系数、深度图和传输图包括：

基于衰减系数和深度图，获取传输图。

3.如权利要求1所述的基于物理模型的水下图像增强方法，其特征在于，所述根据颜色增强图像和传输图对输入的水下图像进行图像增强处理，获取增强图像包括：

4.如权利要求3所述的基于物理模型的水下图像增强方法，其特征在于，所述根据图像增强权重和原始图像特征进行特征解码，获取增强图像包括：

5.如权利要求1所述的基于物理模型的水下图像增强方法，其特征在于，所述双鉴别器包括第一鉴别器和第二鉴别器；

6.如权利要求1所述的基于物理模型的水下图像增强方法，其特征在于，所述参数估计子网络的损失函数表示为：

7.如权利要求1所述的基于物理模型的水下图像增强方法，其特征在于：所述双鉴别器的损失函数表示为：

8.基于物理模型的水下图像增强系统，其特征在于，包括：

图像获取模块，被配置为：获取水下图像；

水下图像增强模块，被配置为：将水下图像输入训练好的水下图像增强模型进行处理，以生成并输出增强图像；

9.一种电子设备，其特征在于，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-7任一项所述的步骤。

10.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一项所述的步骤。