CN112102208B

CN112102208B - 带边缘保持的水下图像处理系统、方法、装置和介质

Info

Publication number: CN112102208B
Application number: CN202011243569.2A
Authority: CN
Inventors: 刘俊明
Original assignee: Shanghai Rainbowfish Ocean Technology Co ltd
Current assignee: Rainbow Fish Technology (Qingdao) Co.,Ltd.
Priority date: 2020-11-10
Filing date: 2020-11-10
Publication date: 2021-02-19
Anticipated expiration: 2040-11-10
Also published as: CN112102208A

Abstract

本申请涉及带边缘保持的水下图像处理系统和方法。该系统包括：透射图估计模块，被配置成对采集到的退化水下图像执行透射图恢复操作以生成所述水下图像的透射图估计；环境光估计模块，被配置成对所述水下图像执行环境光估计操作以生成所述水下图像的环境光估计；去雾处理模块，被配置成基于所述透射图估计和所述环境光估计对所述水下图像执行去雾处理以获得去雾水下图像；以及判别器模块，被配置成对所述透射图估计和所述去雾水下图像相比于透射图真值和去雾水下图像真值进行判别，并且基于判别结果来训练和监督透射图估计和环境光估计。

Description

带边缘保持的水下图像处理系统、方法、装置和介质

技术领域

本申请涉及图像处理领域，尤其涉及使用生成式对抗网络实现带边缘保持的水下图像处理的技术。

背景技术

随着图像技术的发展，越来越多的水下作业开始使用视觉系统来采集水下图像或视频数据，并通过人的肉眼观察或借助于计算机自动分析所采集到的数据。然而，由于光线在水中传播时受到衰减和散射的影响，且不同波长的光线受影响的程度不同，导致水下图像的质量受损，颜色出现偏差，从而影响诸如目标检测、目标跟踪等计算机视觉算法的性能。因此对水下图像进行增强有重要意义，由于对水下图像进行增强类似于去除陆上拍摄图像中的雾，该任务通常被称为水下图像去雾。

目前水下图像去雾仍然没有较为鲁棒的方法。以光线衰减和散射模型为基础的去雾算法依赖于对图像中各像素的深度估计、对各位置的光线衰减和散射系数的估计、以及相机白点的估计。这种算法的缺点在于较为复杂，同时也未取得较好的结果。目前，一些相关研究中提出了基于神经网络的水下图像去雾方法，取得了较好结果，但仍然存在去雾不充分、结果失真或边缘信息丢失等问题。

针对上述问题，本申请提出一种带边缘保持的水下图像处理系统和方法以及相关的装置和介质。

发明内容

本申请提出了带边缘保持的水下图像处理系统、方法、装置和计算机可读介质。

第一方面，本申请公开了一种带边缘保持的水下图像处理系统。该系统可包括：透射图估计模块，被配置成对采集到的退化水下图像执行透射图恢复操作以生成所述水下图像的透射图估计。

在一些示例中，该系统可进一步包括：环境光估计模块，被配置成对所述水下图像执行环境光估计操作以生成所述水下图像的环境光估计；去雾处理模块，被配置成基于所述透射图估计和所述环境光估计对所述水下图像执行去雾处理以获得去雾水下图像；以及判别器模块，被配置成对所述透射图估计和所述去雾水下图像相比于透射图真值和去雾水下图像真值进行判别，并且基于判别结果来训练和监督透射图估计和环境光估计。

在一些示例中，该透射图估计模块可包括：编码器，用于对所述水下图像执行编码操作以生成与所述水下图像相关联的潜在特征；解码器，用于对由编码器输出的潜在特征执行解码以输出经解码特征；特征级联器，用于抽取所述解码器输出的经解码特征，将所述经解码特征上采样至与所述解码器最后一层特征相同的尺寸，然后与所述解码器级联；残差卷积层，用于对经级联的特征进行处理以计算所述水下图像的透射图估计。

在一些示例中，该编码器可被进一步配置成对所述水下图像执行编码操作以生成与所述水下图像相关联的潜在特征，其中所述潜在特征的一个或多个特征通道通过以下方式被确定为指示所述水下图像的边缘属性：在损失函数的基础上使所述一个或多个特征通道中的潜在特征与利用边缘算子计算得到的边缘特征之差最小化。

第二方面，本申请公开了一种带边缘保持的水下图像处理方法。该方法可包括：采集水下图像；对所述水下图像执行透射图恢复操作以生成所述水下图像的透射图估计，其中所述透射图估计利用损失函数基于所述水下图像的边缘特征来确定。

在一些示例中，该方法可进一步包括：对所述水下图像执行环境光估计操作以生成所述水下图像的环境光估计；基于所述透射图估计和所述环境光估计对所述水下图像执行去雾处理以获得去雾水下图像；以及对所述透射图估计和所述去雾水下图像相比于透射图真值和去雾水下图像真值进行判别，并且基于判别结果来训练和监督透射图估计和环境光估计。

在一些示例中，对所述水下图像执行透射图恢复操作以生成所述水下图像的透射图估计可进一步包括：对所述水下图像执行编码操作以生成与所述水下图像相关联的潜在特征，其中所述潜在特征的一个或多个特征通道通过以下方式被确定为指示所述水下图像的边缘属性：在损失函数的基础上使所述一个或多个特征通道中的潜在特征与利用边缘算子计算得到的边缘特征之差最小化。

在一些示例中，对所述水下图像执行透射图恢复操作以生成所述水下图像的透射图估计可进一步包括：对所述潜在特征执行解码以输出经解码特征；抽取所述经解码特征，上采样并级联所述经解码特征；以及对所述经级联的特征进行处理以计算所述水下图像的透射图估计。

第三方面，本申请公开了一种带边缘保持的水下图像处理装置，包括：存储器；以及耦合到所述存储器的处理器，所述处理器被配置成执行如前述第二方面所述的方法。

第四方面，本申请公开了一种存储有用于带边缘保持的水下图像处理的指令的计算机可读介质，该指令在由计算机的一个或多个处理器执行时，致使所述处理器执行如前述第二方面所述的方法。

本申请的技术方案显式地监督编码器回归图像中各处的边缘特征，将编码器得到的潜在特征的部分特征通道明确定义为图像的边缘特征，从而在编码阶段抽取更多的边缘信息，且在解码器的透射图生成过程中直接使用该边缘信息，从而达到良好的边缘保持效果。同时，本申请的技术方案是基于学习的方法，而非基于滤波器的透射图生成方法。因此相比手动特征方法，例如CN108550130A中所公开的方法，本申请的技术方案具有数据驱动的特点和更良好的泛化性优势。手动设计的滤波器只能通过调整滤波器参数来拟合有限个线性函数，而本申请的技术方案中的边缘特征与编码器输出的其他特征通道，还需经过包含多个卷积层的解码器，可以拟合非常复杂的非线性函数，生成更加有效和精细的透射图。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1示出了根据本申请的各方面的带边缘保持的水下图像处理系统的一实施例的框图；

图2示出了根据本申请的各方面的带边缘保持的水下图像处理系统中的透射图估计模块的一实施例的示意图；

图3示出了根据本申请的各方面的原始水下图像、透射图估计以及去雾水下图像的对比的示例；

图4示出了根据本申请的各方面的原始水下图像、基于无边缘保持的透射图估计和去雾水下图像、基于带边缘保持的透射图估计和去雾水下图像的对比的示例；

图5示出了根据本申请的各方面的带边缘保持的水下图像处理方法的一实施例的流程图；以及

图6示出了根据本申请的各方面的计算机架构示图，其示出了可实现本文提出的技术的各方面的用于水下图像处理系统（诸如图1-2中所示的水下图像处理系统和模块）的说明性计算机硬件和软件架构。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图对本申请进一步详细说明。在以下详细描述中，阐述了许多具体细节以提供对所描述的示例性实施例的透彻理解。然而，对于本领域技术人员显而易见的是，可以在没有这些具体细节中的一些或全部的情况下实践所描述的实施例。在其它示例性实施例中，没有详细描述公知的结构，以避免不必要地模糊本公开的概念。应当理解，本文所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。同时，在不冲突的情况下，实施例所描述的各个方面可以任意组合。

本申请的技术方案显式地监督编码器回归图像中各处的边缘特征，将编码器得到的潜在特征的部分特征通道明确定义为图像的边缘特征，从而在编码阶段抽取更多的边缘信息，且在解码器的透射图生成过程中直接使用该边缘信息，从而达到良好的边缘保持效果。同时，本申请的技术方案是基于学习的方法，而非基于滤波器的透射图生成方法。因此相比手动特征方法，本申请的技术方案具有数据驱动的特点和更良好的泛化性优势。手动设计的滤波器只能通过调整滤波器参数来拟合有限个线性函数，而本申请的技术方案中的边缘特征与编码器输出的其他特征通道，还需经过包含多个卷积层的解码器，可以拟合非常复杂的非线性函数，生成更加有效和精细的透射图。

为了更好地理解本申请，下面结合附图和具体实施例来解说本申请的各个方面。

水下图像退化是由环境因素导致的图像退化的一种情况。本领域通用的一种图像退化模型如以下式（1）所示：

其中

为像素位置，

为设备采集到的退化的水下图像，

是假想的未退化水下图像，

为环境光，

为透射图。

首先参考图1，图1示出了根据本申请的各方面的带边缘保持的水下图像处理系统100的一实施例的框图。

本申请提出的水下图像处理系统100可以由生成式对抗网络（GAN）实现。水下图像处理系统100可包括由透射图估计模块105（

）和环境光估计模块110（

）构成的生成器（

和

以及由判别器模块120构成的判别器（D）形成的GAN

。在该GAN中，生成器和判别器两者以对抗的方式对生成器进行训练以期获得更有效和精细的水下图像。在一些方面，生成器和判别器两者可以用神经网络来实现，具体地，可以用卷积神经网络来实现。水下图像处理系统100可包括透射图估计模块105、环境光估计模块110、去雾处理模块115和判别器模块120。

在一些方面，透射图估计模块105被配置成对采集到的退化水下图像执行透射图恢复操作以生成该水下图像的透射图估计。如图1所示，透射图估计模块105被配置成从退化水下图像直接恢复出该水下图像的透射图估计

。关于透射图估计模块105的详细描述将在下文参考图2来进行说明。

在一些方面，环境光估计模块110被配置成对水下图像执行环境光估计操作以生成该水下图像的环境光估计。在一个优选实施例中，环境光估计模块110可采用卷积神经网络回归模型来实现，其包含多个卷积层-激活层-池化层组合，并在最终加入全连接层和例如sigmoid激活函数。在一个示例中，环境光估计模块110被配置成从原始水下图像中估计一个全图均一的环境光

。

在一些方面，去雾处理模块115被配置成基于该透射图估计和该环境光估计对该水下图像执行去雾处理以获得去雾水下图像。在一个示例中，去雾处理模块115被配置成通过将式（1）进行变形以得到去雾水下图像，如以下式（2）所示：

其中“^”指示等式中各个分量的近似或估计，

为透射图估计，

为环境光估计，

基于透射图估计和环境光估计计算所得的去雾水下图像。

在一些方面，判别器模块120被配置成对透射图估计

和去雾水下图像

相比于透射图真值

和去雾水下图像真值

进行判别，并且基于判别结果来训练和监督由透射图估计模块105（

）和环境光估计模块110（

）构成的生成器（

和

。

判别器模块120的功能是用来正确地区分“真”输入和“假”输入（在该情形中，是区分未退化水下图像相比于水下图像的透射图估计和去雾水下图像）。在图1的示例中，区别于现有技术中的生成式对抗网络，该GAN包括两路生成器输出，即判别器模块120具有两路输入，即透射图估计模块输出的透射图估计以及环境光估计模块输出并经由去雾处理模块进行去雾处理之后的去雾水下图像。在一个示例中，判别器模块120也可被称为联合判别器，因为判别器模块120同时监督透射图估计的结果和图像去雾的结果。此类设计能够在优化整个图像增强（去雾）过程的同时，直接优化透射图估计模块105。因此使用如图1所示的判别器模块120连同透射图估计模块105、环境光估计模块110和去雾处理模块115能够同时监督和训练两个生成器，从而生成更加逼真的透射图和图像。

在一个示例中，判别器模块120被设计为神经网络回归模型，其由多个卷积层-激活层-池化层组合组成，并在最终加入全连接层和例如sigmoid激活函数。在一个示例中，判别器模块120的输入为

在通道维度的组合以及

在通道维度的组合。在一个示例中，对抗训练方式可以如下式（3）所示：

其中

为透射图估计模块105输出的透射图估计，

为使用透射图估计

和环境光估计

计算的去雾水下图像，

和

分别对应透射图和去雾水下图像的真值。

现在转向图2，图2示出了根据本申请的各方面的带边缘保持的水下图像处理系统中的透射图估计模块的一实施例的示意图。透射图估计模块105可以采用编码器-解码器网络构架。

在一些方面，编码器205可以由卷积网络实现。在一个优选实施例中，编码器205可以被实现为：第一层可以是卷积核个数为64、卷积核尺寸为

、步长为2的下采样卷积层；之后跟随多个下采样卷积层，其中卷积核尺寸为

、步长为2、卷积核个数随层数增加而增加。在一个优选实施例中，下一层卷积核个数可以为前一层卷积核个数的两倍。在第一层卷积核个数为64的示例中，第二层卷积核个数可以为128，第三层卷积核个数可以为256，以此类推。在一些方面，编码器205层数可取决于水下图像的尺寸来确定。在一些方面，编码器205将退化的水下图像映射至例如

的大小并且得到潜在特征。

在一些方面，解码器210也可以由卷积网络实现。在一些方面，解码器210可以由多个转置卷积层组成。在一个优选实施例中，解码器210的卷积核个数随层数增加而减少、卷积核尺寸为

、步长为2。在一些方面，在第一层卷积核个数为512的示例中，第二层卷积核个数可以为256，第三层卷积核个数可以为128，以此类推。在一个优选实施例中，在解码器210中，每层卷积核个数最低降低到128，也即解码器210的最后一层输出的特征通道数可以为128。

在一个示例中，透射图估计模块105可进一步包括特征级联器215。在一些方面，特征级联器215抽取解码器210每层输出的特征，使用双线性插值或其他上采样方法，将抽取的特征上采样至与解码器210最后一层的特征通道数相等的尺寸，然后与解码器210输出的特征进行级联。

在一个示例中，透射图估计模块105可进一步包括残差卷积层220。在一些方面，残差卷积层220位于特征级联器215之后，从特征级联器215接收经级联的特征，通过回归计算水下图像的透射图估计。

水下图像的边缘信息丢失问题一直是困扰本领域技术人员的一个问题。由于边缘模糊问题主要发生在透射图估计模块处，因此本发明对透射图估计模块提出进一步的改进以实现保持水下图像的边缘信息的效果。在一个示例中，图1和图2中示出的透射图估计模块105中的编码器205输出的潜在特征的一个或多个特征通道可以被显式地确定为指示水下图像的边缘属性。即，图1和图2中示出的透射图估计模块105中的编码器205输出的潜在特征中的一个或多个潜在特征指示水下图像的边缘特征。

在一个示例中，在式（3）的对抗训练方法的基础上，增加如下的损失函数：

其中

为使用边缘算子计算的边缘特征，所使用的边缘算子包括canny、sobel等常用边缘算子，

为指示水下图像边缘信息的一个或多个特征通道的潜在特征。通过下式进行优化，使得该一个或多个特征通道的潜在特征

逼近利用边缘算子计算得到的边缘特征

：

联合式（3）与式（5）对神经网络进行训练，获得保持了边缘信息的水下图像的去雾结果。

在一些方面，透射图估计模块105被设计成金字塔型，以在保证透射图估计结果的同时有效利用全图感知信息和边缘细节信息。此类特征快速路设计能够将解码器210早期特征传输至后期卷积层生成透射图，由于早期特征更多地反映最细节尺度下的边缘信息，能够有效提升透射图中的边缘信息质量。

利用如图1和2中所示的水下图像处理系统100来执行水下图像处理的具体示例可参考图3和图4来描述。

图3示出了根据本申请的各方面的原始水下图像、透射图估计以及去雾水下图像的对比的示例。在一个实施例中，以NYU-depth2数据库作为训练集。训练数据包括NYU-depth2数据库中的RGB图像，和对应深度信息推导出的透射图，以及由RGB图像透射图和假象环境光合成的退化图像。在NVIDIA TITAN X GPU上进行训练，使用ADAM优化器，学习率为10^-3，总迭代次数为4*10⁵。在训练结束后，从PKU-EAQA数据集中选取真实水下退化图像进行测试。得到的透射图估计结果和去雾结果，如图3所示，由左至右分别为退化水下图像、透射图估计、以及去雾水下图像。可以看到，利用如图1和2中所示的水下图像处理系统100来执行水下图像处理的透射图估计和去雾结果两者均较为理想。

作为对比，图4示出了根据本申请的各方面的原始水下图像、基于无边缘保持的透射图估计和去雾水下图像、基于带边缘保持的透射图估计和去雾水下图像的对比的示例。为确认本发明提出的边缘信息保持的透射图估计模块的效果，分别进行两次实验，第一次实验仅使用式（3）进行神经网络训练，生成无边缘信息保持的透射图估计，并基于该透射图估计生成去雾图像。第二次实验联合使用式（3）与式（5）进行神经网络训练，生成带边缘信息保持的透射图估计，并基于该透射图估计生成去雾图像。如图4所示，列（a）表示原始退化水下图像，列（b）表示基于无边缘保持的透射图估计执行的去雾处理结果，列（c）表示基于带边缘保持的透射图估计执行的去雾处理结果。从图4中可以看到，列（b）中的图像在边缘处较为模糊，而列（c）中的图像边缘处较为锐利。

图5示出了根据本申请的各方面的带边缘保持的水下图像处理方法500的一实施例的流程图。该流程图解说了图1-4中所解说且在上文所描述的水下图像处理系统100的操作的各方面。应该了解，这里参考图5和其他附图所描述的逻辑操作可以被实现为（1）计算机实现的动作序列或在计算设备上运行的程序模块和/或（2）计算设备内的互连机器逻辑电路或电路模块。

本文中所公开的技术的特定实现是取决于计算设备的性能和其他要求的选择问题。相应地，本文中所描述的逻辑操作被以不同方式称为状态、操作、结构设备、动作、或模块。这些状态、操作、结构设备、动作和模块可以用软件、用固件、用专用数字逻辑及其任何组合来实现。还应当领会，可以执行比各附图中所示和本文中所描述的更多或更少的操作。这些操作也可以以与本文中所描述的顺序不同的顺序来被执行。

方法500开始于步骤505，采集水下图像。

方法500还包括：在步骤510，对所采集的退化水下图像执行透射图恢复操作以生成该水下图像的透射图估计，其中该透射图估计利用损失函数基于该水下图像的边缘特征来确定。

在一些方面，对水下图像执行透射图恢复操作以生成该水下图像的透射图估计可进一步包括：对水下图像执行编码操作以生成与该水下图像相关联的潜在特征，其中该潜在特征的一个或多个特征通道通过以下方式被确定为指示该水下图像的边缘属性：在损失函数的基础上使所述一个或多个特征通道中的潜在特征与利用边缘算子计算得到的边缘特征之差最小化。

在一些方面，对水下图像执行透射图恢复操作以生成所述水下图像的透射图估计可进一步包括：对潜在特征执行解码以输出经解码特征；抽取经解码特征，上采样并级联经解码特征；以及对经级联的特征进行处理以计算该水下图像的透射图估计。

方法500可任选地包括步骤515-525。在步骤515，对水下图像执行环境光估计操作以生成该水下图像的环境光估计。在步骤520，基于该透射图估计和该环境光估计对水下图像执行去雾处理以获得去雾水下图像。在步骤525，对该透射图估计和该去雾水下图像相比于透射图真值和去雾水下图像真值进行判别，并且基于判别结果来训练和监督透射图估计和环境光估计。

图6是计算机架构示图，其示出了能够执行本文所描述的软件组件的计算机600的架构。图6中所解说的架构是用于服务器计算机、移动电话、电子阅读器、智能电话、台式计算机、上网本计算机、平板计算机、膝上型计算机、或适合于执行本文所呈现的软件组件的另一类型的计算设备的架构。

就此而言，应当领会，图6中所示的计算机600可被用来实现能够执行本文所呈现的任何软件组件的计算设备。例如但不作为限制，参考图6描述的计算架构可被用来实现图1中所解说并且如上面所描述的能够执行上面所描述的各种软件组件的水下图像处理系统100。

图6所示的计算机600包括中央处理单元602（“CPU”）、包括随机存取存储器606（“RAM”）和只读存储器（“ROM”）608的系统存储器604、以及将存储器604耦合至CPU 602的系统总线610。基本输入/输出系统（“BIOS”或“固件”）被储存在ROM 608中，该系统包含帮助诸如在启动期间在计算机600中的各元件之间传递信息的基本例程。计算机600进一步包括大容量存储设备612，以用于存储操作系统、应用程序和其他类型的程序，包括但不限于水下图像处理系统100。大容量存储设备612还可被配置成储存其他类型的程序和数据，诸如退化水下图像、未退化水下图像。

大容量存储设备612通过连接至总线610的大容量存储控制器（未示出）而连接至CPU 602。大容量存储设备612及其相关联的计算机可读介质为计算机600提供非易失性存储。虽然对此处包含的计算机可读介质的描述引用了诸如硬盘、CD-ROM驱动器、DVD-ROM驱动器、或USB存储密钥之类的大容量存储设备，但是本领域的技术人员应该明白，计算机可读介质可以是可由计算机600访问的任何可用计算机存储介质或通信介质。

通信介质包括诸如载波或其他传输机制等已调数据信号中的计算机可读指令、数据结构、程序模块或其他数据并且包含任何传递介质。术语“已调数据信号”指的是其一个或多个特征以在信号中编码信息的方式被更改或设定的信号。作为示例而非限制，通信介质包括有线介质（诸如有线网络或直接连线连接），以及无线介质（诸如声学、射频、红外和其他无线介质）。上述任一组合也应被包括在计算机可读介质的范围之内。

作为示例而非限制，计算机存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。例如，计算机存储介质包括但不限于，RAM、ROM、EPROM、EEPROM、闪存或其他固态存储器技术、CD-ROM、数字多功能盘（“DVD”）、HD-DVD、蓝光（BLU-RAY）或其他光学存储、磁带盒、磁带、磁盘存储或其他磁存储设备、或能用于存储所需信息且能由计算机600访问的任何其他介质。为了声明的目的，短语“计算机存储介质”及其变型不包括波或信号本身或通信介质。

根据各种配置，计算机600可通过网络（诸如网络618）、使用至远程计算机的逻辑连接来在联网环境中操作。计算机600可以通过连接至总线610的网络接口单元来连接到网络618。应当理解，网络接口单元还可以被用来连接到其他类型的网络和远程计算机系统。计算机600还可以包括用于接收和处理来自数个其他设备的输入的输入/输出（I/O）控制器616，这些设备包括键盘、鼠标、触摸输入、或电子触控笔（未在图6中示出）。类似地，输入/输出控制器616可向显示屏或其他类型的输出设备（在图6中也未示出）提供输出。

应当领会，本文所描述的软件组件（诸如透射图估计模块105、环境光估计模块110、去雾处理模块115、判别器模块120）被加载到CPU 602中并被执行时可以将CPU 602和整个计算机600从通用计算设备变换成为促成本文所提出的功能性而定制的专用计算设备。CPU 602可以用任何数量的晶体管或其他分立电路元件（它们可以个体地或共同地采取任意数量的状态）来构建。更具体而言，CPU 602可响应于被包含在本文中所公开的软件模块中的可执行指令而作为有限状态机来操作。这些计算机可执行指令可以通过指定CPU602如何在各状态之间转换来变换CPU 602，由此变换了构成CPU 602的晶体管或其他分立硬件元件。

对本文中所呈现的软件模块进行编码也可变换本文中所呈现的计算机可读介质的物理结构。在本说明书的不同实现中，物理结构的具体变换取决于各种因素。这样的因素的示例包括但不仅限于：用于实现计算机可读介质的技术、计算机可读介质被表征为主存储器还是辅存储器，等等。例如，如果计算机可读介质被实现为基于半导体的存储器，则本文中所公开的软件可以通过变换半导体存储器的物理状态来被编码在计算机可读介质上。例如，软件可以变换构成半导体存储器的晶体管、电容器或其他分立电路元件的状态。软件还可以变换此类组件的物理状态以便在其上储存数据。

作为另一示例，本文中所公开的计算机可读介质可以使用磁或光技术来实现。在这些实现中，本文中所呈现的软件可以当在磁或光介质中编码了软件时变换所述磁或光介质的物理状态。这些变换可包括更改给定磁介质内的特定位置的磁特性。这些变换还可包括更改给定光学介质内的特定位置的物理特征或特性，以改变这些位置的光学特性。在没有偏离本说明书的范围和精神的情况下，物理介质的其他变换是可能的，前面提供的示例只是为了便于此讨论。

鉴于以上内容，应当领会，在计算机600中发生许多类型的物理变换以便储存和执行本文中所呈现的软件组件。还应当领会，图6中所示的用于计算机600的架构或类似架构可被用来实现其他类型的计算设备，包括手持式计算机、视频游戏设备、嵌入式计算机系统、诸如智能电话和平板等移动设备、以及本领域技术人员已知的其他类型的计算设备。还构想了，计算机600可以不包括图6中所示的所有组件，可包括未在图6中显式地示出的其他组件，或者可利用与图6中所示的完全不同的架构。

应当注意，上述方法描述了可能的实现，并且各操作和步骤可被重新安排或以其他方式被修改且其他实现也是可能的。此外，来自两种或更多种方法的各方面可被组合。

本文中所描述的信息和信号可使用各种各样的不同技艺和技术中的任一种来表示。例如，贯穿上面说明始终可能被述及的数据、指令、命令、信息、信号、比特、码元和码片可由电压、电流、电磁波、磁场或磁粒子、光场或光粒子、或其任何组合来表示。

结合本文的公开所描述的各种解说性块和模块可用设计成执行本文中描述的功能的通用处理器、数字信号处理器（DSP）、专用集成电路（ASIC）、现场可编程门阵列（FPGA）或其他可编程逻辑器件（PLD）、分立的门或晶体管逻辑、分立的硬件组件、或其任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，处理器可以是任何常规的处理器、控制器、微控制器、或状态机。处理器还可被实现为计算设备的组合（例如，DSP与微处理器的组合、多个微处理器、与DSP核心协同的一个或多个微处理器，或者任何其他此类配置）。

本文中所描述的功能可以在硬件、由处理器执行的软件、固件、或其任何组合中实现。如果在由处理器执行的软件中实现，则各功能可以作为一条或多条指令或代码存储在计算机可读介质上或藉其进行传送。其他示例和实现落在本公开及所附权利要求的范围内。例如，由于软件的本质，上述功能可使用由处理器执行的软件、硬件、固件、硬连线或其任何组合来实现。实现功能的特征也可物理地位于各种位置，包括被分布以使得功能的各部分在不同的物理位置处实现。

计算机可读介质包括非瞬态计算机存储介质和通信介质两者，其包括促成计算机程序从一地向另一地转移的任何介质。非瞬态存储介质可以是能被通用或专用计算机访问的任何可用介质。作为示例而非限定，非瞬态计算机可读介质可包括随机存取存储器（RAM）、只读存储器（ROM）、电可擦除可编程只读存储器（EEPROM）、闪存、压缩盘（CD）ROM或其他光盘存储、磁盘存储或其他磁存储设备、或能被用来携带或存储指令或数据结构形式的期望程序代码手段且能被通用或专用计算机、或者通用或专用处理器访问的任何其他非瞬态介质。任何连接也被正当地称为计算机可读介质。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线（DSL）、或诸如红外、无线电、以及微波之类的无线技术从网站、服务器、或其他远程源传送的，则该同轴电缆、光纤电缆、双绞线、DSL、或诸如红外、无线电、以及微波之类的无线技术就被包括在介质的定义之中。如本文中所使用的盘（disk）和碟（disc）包括CD、激光碟、光碟、数字通用碟（DVD）、软盘和蓝光碟，其中盘常常磁性地再现数据而碟用激光来光学地再现数据。以上介质的组合也被包括在计算机可读介质的范围内。

如本文（包括权利要求中）所使用的，在项目列举（例如，以附有诸如“……中的至少一个”或“……中的一个或多个”之类的措辞的项目列举）中使用的“或”指示包含性列举，以使得例如A、B或C中的至少一个的列举意指A或B或C或AB或AC或BC或ABC（即，A和B和C）。同样，如本文所使用的，短语“基于”不应被解读为引述封闭条件集。例如，被描述为基于条件“A”的示例性步骤可基于条件A和条件B两者而不脱离本公开的范围。换言之，如本文所使用的，短语“基于”应当以与短语“至少部分地基于”相同的方式来解读。

在附图中，类似组件或特征可具有相同的附图标记。此外，相同类型的各个组件可通过在附图标记后跟随短划线以及在类似组件之间进行区分的第二标记来加以区分。如果在说明书中仅使用第一附图标记，则该描述可应用于具有相同的第一附图标记的类似组件中的任何一个组件而不论第二附图标记、或其他后续附图标记如何。

本文结合附图阐述的说明描述了示例配置而不代表可被实现或者落在权利要求的范围内的所有示例。本文所使用的术语“示例性”意指“用作示例、实例或解说”，而并不意指“优于”或“胜过其他示例”。本详细描述包括具体细节以提供对所描述的技术的理解。然而，可在没有这些具体细节的情况下实践这些技术。在一些实例中，众所周知的结构和设备以框图形式示出以避免模糊所描述的示例的概念。

提供本文中的描述是为了使得本领域技术人员能够制作或使用本公开。对本公开的各种修改对于本领域技术人员将是显而易见的，并且本文中所定义的普适原理可被应用于其他变形而不会脱离本公开的范围。由此，本公开并非被限定于本文中所描述的示例和设计，而是应被授予与本文所公开的原理和新颖特征相一致的最广范围。

Claims

1.一种带边缘保持的水下图像处理系统，包括：

透射图估计模块，被配置成对采集到的退化水下图像I执行透射图恢复操作以生成所述水下图像的透射图估计

，所述透射图估计模块包括：

编码器，用于对所述水下图像执行编码操作以生成与所述水下图像相关联的潜在特征，其中所述潜在特征的一个或多个特征通道通过以下方式被确定为指示所述水下图像的边缘属性：在损失函数的基础上使所述一个或多个特征通道中的潜在特征

与利用边缘算子计算得到的边缘特征之差最小化；

解码器，用于对由编码器输出的潜在特征执行解码以输出经解码特征；

特征级联器，用于抽取所述解码器输出的经解码特征，将所述经解码特征上采样至与所述解码器最后一层特征相同的尺寸，然后与所述解码器级联；以及

残差卷积层，用于对经级联的特征进行处理以计算所述水下图像的透射图估计

。

2.如权利要求1所述的系统，所述损失函数包括：

，

其中

为使用边缘算子计算得到的边缘特征，所述边缘算子包括canny、sobel算子，

为所述一个或多个特征通道中的潜在特征，

所述编码器被进一步配置成通过下式来将所述一个或多个特征通道确定为指示所述水下图像的边缘属性：

。

3.如权利要求1所述的系统，进一步包括：

环境光估计模块，被配置成对所述水下图像执行环境光估计操作以生成所述水下图像的环境光估计

；

去雾处理模块，被配置成基于所述透射图估计

和所述环境光估计

对所述水下图像执行去雾处理以获得去雾水下图像

。

4.如权利要求3所述的系统，所述去雾处理模块采用的图像退化模型包括：

其中

为像素位置，

为所述采集到的退化水下图像，

是去雾水下图像的真值，

为环境光，

为透射图，

所述去雾处理模块通过下式来执行去雾处理：从单张图像

回归环境光估计

和透射图估计

，进而得到去雾结果

：

。

5.如权利要求3所述的系统，进一步包括：判别器模块，被配置成对所述透射图估计

和所述去雾水下图像

相比于透射图真值t和去雾水下图像真值J进行判别，并且基于判别结果来训练和监督透射图估计和环境光估计。

6.如权利要求5所述的系统，所述判别器模块通过下式来对透射图估计和环境光估计进行训练和监督：

其中

为所述透射图估计模块输出的透射图估计，

为基于所述透射图估计

和所述环境光估计

经去雾处理的水下图像，

和

分别为透射图和去雾水下图像的真值。

7.一种带边缘保持的水下图像处理方法，包括：

采集水下图像；

对所述水下图像执行透射图恢复操作以生成所述水下图像的透射图估计，其中所述透射图估计利用损失函数基于所述水下图像的边缘特征来确定，包括：

对所述水下图像执行编码操作以生成与所述水下图像相关联的潜在特征，其中所述潜在特征的一个或多个特征通道通过以下方式被确定为指示所述水下图像的边缘属性：在损失函数的基础上使所述一个或多个特征通道中的潜在特征

与利用边缘算子计算得到的边缘特征之差最小化；

对所述潜在特征执行解码以输出经解码特征；

抽取所述经解码特征，上采样并级联所述经解码特征；以及

对所述经级联的特征进行处理以计算所述水下图像的透射图估计。

8.如权利要求7所述的方法，所述损失函数包括：

，

其中

为所述一个或多个特征通道中的潜在特征，

在损失函数的基础上使所述一个或多个特征通道中的潜在特征

与利用边缘算子计算得到的边缘特征之差最小化包括通过下式来将所述一个或多个特征通道确定为指示所述水下图像的边缘属性：

。

9.如权利要求7所述的方法，进一步包括：

对所述水下图像执行环境光估计操作以生成所述水下图像的环境光估计；

基于所述透射图估计和所述环境光估计对所述水下图像执行去雾处理以获得去雾水下图像。

10.如权利要求9所述的方法，所述去雾处理基于以下图像退化模型：

其中

为像素位置，

为所述采集到的退化水下图像，

是去雾水下图像的真值，

为环境光，

为透射图，

执行所述去雾处理包括通过下式来从单张图像回归环境光估计和透射图估计以得到去雾结果：

。

11.如权利要求9所述的方法，进一步包括：

对所述透射图估计和所述去雾水下图像相比于透射图真值和去雾水下图像真值进行判别，并且基于判别结果来训练和监督透射图估计和环境光估计。

12.如权利要求11所述的方法，基于判别结果来训练和监督透射图估计和环境光估计包括通过下式来进行：

其中

为所述透射图估计，

为基于所述透射图估计

和所述环境光估计

经去雾处理的水下图像，

和

分别为透射图和去雾水下图像的真值。

13.一种带边缘保持的水下图像处理装置，包括：存储器；以及耦合到所述存储器的处理器，所述处理器被配置成执行如权利要求7-12中任一项所述的方法。

14.一种存储有用于带边缘保持的水下图像处理的指令的计算机可读介质，所述指令在由计算机的一个或多个处理器执行时，致使所述处理器执行如权利要求7-12中任一项所述的方法。