CN115564676A - 一种水下图像增强方法、系统及可读存储介质 - Google Patents

一种水下图像增强方法、系统及可读存储介质 Download PDF

Info

Publication number
CN115564676A
CN115564676A CN202211208720.8A CN202211208720A CN115564676A CN 115564676 A CN115564676 A CN 115564676A CN 202211208720 A CN202211208720 A CN 202211208720A CN 115564676 A CN115564676 A CN 115564676A
Authority
CN
China
Prior art keywords
image
underwater
network framework
module
attention mechanism
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211208720.8A
Other languages
English (en)
Inventor
唐漾
杜文莉
钱锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China University of Science and Technology
Original Assignee
East China University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China University of Science and Technology filed Critical East China University of Science and Technology
Priority to CN202211208720.8A priority Critical patent/CN115564676A/zh
Publication of CN115564676A publication Critical patent/CN115564676A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种水下图像增强方法、系统以及可读存储介质，涉及图像处理技术领域。该水下图像增强方法包括将待增强的水下图像输入网络框架，网络框架基于对比学习训练获得；对水下图像进行特征提取，以获得图像特征；依次通过注意力机制模块、上下文模块以及可变卷积对图像特征进行处理；对处理后的图像特征进行解码，以获得初步增强图像；根据初步增强图像获得高频图像，并根据高频图像和初步增强图像输出清晰图像。通过采用对比学习对网络框架进行训练，有助于提升网络的表征能力，同时通过对网络框架生成与待增强的水下图像对应的清晰图像的过程进行设置，能够有效提升退化的水下图像的增强效果。

Description

一种水下图像增强方法、系统及可读存储介质
技术领域
本发明涉及图像处理技术领域，具体而言，涉及一种水下图像增强方法、系统及可读存储介质。
背景技术
海洋是人类生命的起源，蕴藏着极为丰富的资源，是支持着人类继续发展的宝贵财富。随着人口的爆炸增长和社会的飞速发展，陆地上的资源日渐枯竭，合理地开发利用海洋资源已经是各个国家达成的共识。建设海洋强国，不仅仅对我国的经济发展有着重要的意义，也有利于中国在复杂多变的世界形势中提升自己的国际地位。
伴随着海洋探测技术的不断发展，在水下场景中应用的计算机视觉技术也在迅速进步。相较于声呐成像技术，水下光学成像技术不仅在精度和采集效率上更胜一筹，设备也易于携带，成本更低，因此水下光学成像技术有着广泛的应用。
但是由于海洋环境的复杂性，以及水下光学成像的固有特性，在水下环境中拍到的图像往往存在颜色偏移，对比度降低，细节模糊等情况。水下图像质量退化的主要原因是水下粒子对入射到水中的光线的吸收和散射作用。一方面，由于水体对波长不同的光的吸收作用不同，光的波长越长，水对该波长的光的吸收作用越明显。在自然光中，由于红光的波长最长，因此红光在水下约5米的位置就会消失，这就导致在水下拍到的图像多呈现蓝绿色，造成的图像色彩的偏移。另一方面，由于水体的微粒对光的散射，导致图像的细节模糊，对比度降低，产生了如同雾一般的视觉效果。
因此，水下图像的增强以及恢复对海洋探测具有重要意义，然而传统的水下图像增强效果有待增强。
发明内容
本发明的目的包括，提供了一种水下图像增强方法，其能够提升水下图像的增强效果，最终消除色彩偏差、图像细节模糊等为水下带来的影响，达到恢复清晰且高质量的水下图像。
本发明的目的还包括，提供了一种水下图像增强系统，其能够提升水下图像的增强效果，最终消除色彩偏差、图像细节模糊等为水下带来的影响，达到恢复清晰且高质量的水下图像。
本发明的目的还包括。提供了一种可读存储介质，其能够提升水下图像的增强效果，最终消除色彩偏差、图像细节模糊等为水下带来的影响，达到恢复清晰且高质量的水下图像。
本发明的实施例可以采用以下方式实现：
一种水下图像增强方法，其包括：将待增强的水下图像输入网络框架，所述网络框架基于对比学习训练获得；
对所述水下图像进行特征提取，以获得图像特征；
依次通过注意力机制模块、上下文模块以及可变形卷积层对所述图像特征进行处理；
对处理后的所述图像特征进行解码，以获得初步增强图像；
根据所述初步增强图像获得高频图像；
根据所述高频图像和所述初步增强图像输出所述清晰图像。
可选地，所述注意力机制模块包括通道注意力机制模块和像素注意力机制模块，所述通道注意力机制模块和所述像素注意力机制模块联级以对所述图像特征进行处理。
可选地，所述上下文模块包括输入卷积层、输出卷积层以及多个空洞卷积层，所述上下文模块对所述图像特征进行处理的步骤包括：
通过所述输入卷积层获得所述注意力机制模块输出的特征，并将所述多个空洞卷积层进行连接；
通过所述多个空洞卷积层对输入的特征进行处理；
通过所述输出卷积层获得所述多个空洞卷积层并联操作的结果。
可选地，所述根据所述初步增强图像获得高频图像的步骤包括：
采用高斯采样层对所述初步增强图像进行处理，以获得低频图像；
通过所述初步增强图像和所述低频图像获得所述高频图像；
所述根据所述高频图像和所述初步增强图像输出所述清晰图像的步骤包括：
将所述初步增强图像与所述高频图像相结合，以获得所述清晰图像。
可选地，所述水下图像增强方法还包括获得所述网络框架的训练步骤，所述训练步骤包括：
构造训练用数据集并进行预处理，所述数据集包括多个数据对，每一所述数据对包括退化的图像和相应的清晰图像；
利用所述数据集采用对比学习对网络框架进行训练。
可选地，所述网络框架的损失函数包括清晰图像重建损失Lrec、对比正则化损失LCR以及暗通道先验损失Ldark，总体损失函数的公式如下：
Ltotal＝λrec·Lrec+λCR·λCR+λdark·Ldark；
其中，λrec＝1，λCR＝0.1，λdark＝1e-5。
一种水下图像增强系统，其包括网络框架，所述网络框架基于对比学习训练获得；
所述网络框架包括：
编码器，所述编码器用于对所述水下图像进行特征提取，以获得图像特征；
依次设置的注意力机制模块、上下文模块以及可变形卷积层，所述注意力机制模块、所述上下文模块以及所述可变形卷积层用于对所述图像特征依次进行处理；
解码器，所述解码器用于对处理后的所述图像特征进行解码，以获得初步增强图像；
处理模块，所述处理模块用于根据所述初步增强图像获得高频图像，并根据所述高频图像和所述初步增强图像输出所述清晰图像。
可选地，所述编码器包括三层下采样层，所述解码器包括三层上采样层。
可选地，所述上下文模块包括输入卷积层、输出卷积层以及四个空洞卷积层，所述输入卷积层用于对所述注意力机制模块的输出并将所述四个空洞卷积层进行连接操作，所述四个空洞卷积层对所述输入的特征进行处理，所述输出卷积层用于获得所述四个空洞卷积层并联操作的结果；
其中，四个所述空洞卷积层的空洞率分别为1、2、3和4。
一种可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现上述的水下图像增强方法。
本发明的实施例提供的水下图像增强方法、系统及可读存储介质的有益效果包括：
本发明的实施例提供了一种水下图像增强方法，其包括将待增强的水下图像输入网络框架，网络框架基于对比学习训练获得；对水下图像进行特征提取，以获得图像特征；依次通过注意力机制模块、上下文模块以及可变卷积对图像特征进行处理；对处理后的图像特征进行解码，以获得初步增强图像；根据初步增强图像获得高频图像，并根据高频图像和初步增强图像输出清晰图像。通过采用对比学习对网络框架进行训练，有助于提升网络的表征能力，同时通过对网络框架生成与待增强的水下图像对应的清晰图像的过程进行设置，能够有效提升退化的水下图像的增强效果，最终消除色彩偏差、图像细节模糊等为水下带来的影响，达到恢复清晰且高质量的水下图像的目的。
本发明的实施例还提供了一种水下图像增强系统，其包括基于对比学习训练获得的网络框架，该网络框架包括编码器所述编码器用于对所述水下图像进行特征提取，以获得图像特征；依次设置的注意力机制模块、上下文模块以及可变形卷积层，所述注意力机制模块、所述上下文模块以及所述可变形卷积层用于对所述图像特征依次进行处理；解码器，所述解码器用于对处理后的所述图像特征进行解码，以获得初步增强图像；处理模块，所述处理模块用于根据所述初步增强图像获得高频图像，并根据所述高频图像和所述初步增强图像输出所述清晰图像。通过采用对比学习对网络框架进行训练，有助于提升网络的表征能力，同时通过对网络框架生成与待增强的水下图像对应的清晰图像的过程进行设置，能够有效提升退化的水下图像的增强效果，最终消除色彩偏差、图像细节模糊等为水下带来的影响，达到恢复清晰且高质量的水下图像的目的。
本发明的实施例还提供了一种可读存储介质，其存储的计算机程序通过被处理器执行以实现上述的水下图像增强方法，因此其也具有能够有效提升退化的水下图像的增强效果，最终消除色彩偏差、图像细节模糊等为水下带来的影响，达到恢复清晰且高质量的水下图像的目的的有益效果。
附图说明
在结合以下附图阅读本公开的实施例的详细描述之后，能够更好地理解本发明的上述特征和优点。在附图中，各组件不一定是按比例绘制，并且具有类似的相关特性或特征的组件可能具有相同或相近的附图标记。
图1示出了根据本发明的一方面提供的水下图像增强方法的步骤图；
图2示出了根据本发明的一方面提供的水下图像增强系统的网络框架结果图；
图3示出了根据本发明的一方面提供的网络框架中注意力机制模块的示意图；
图4示出了根据本发明的一方面提供的网络框架中上下文模块的示意图；
图5示出了根据本发明的一方面提供的水下图像增强方法在数据集 UIEBD内其中一张水下图像的定性实验结果对比图；
图6示出了根据本发明的一方面提供的水下图像增强方法在数据集 UIEBD内另一张水下图像的定性实验结果对比图。
附图标记：
11-编码器；12-注意力机制模块；121-平均池化层；122-第一卷积层；123- 第一RELU层；124-第二卷积层；125-第三卷积层；126-第二RELU层；127- 第四卷积层；13-上下文模块；131-输入卷积层；132-空洞卷积层；133-输出卷积层；14-可变形卷积层；15-高斯采样层；16-解码器。
具体实施方式
以下结合附图和具体实施例对本发明作详细描述。注意，以下结合附图和具体实施例描述的诸方面仅是示例性的，而不应被理解为对本发明的保护范围进行任何限制。
图1为本实施例提供的水下图像增强方法的步骤图，图2为本实施例提供的网络框架的结构示意图。请结合参照图1和图2，本实施例提供了一种水下图像增强方法，同时还提供了一种水下图像增强系统，其具有基于对比学习训练获得的网络框架，水下图像增强方法可基于该网络框架实现。具体地，水下图像增强方法包括：
S01：将待增强的水下图像输入网络框架。
该待增强的水下图像出现质量退化，例如存在颜色偏移，对比度降低，细节模糊等情况。
S02：对水下图像进行特征提取，以获得图像特征。
网络框架包含编码器11，通过编码对输入的水下图像进行处理，从而获得图像特征。具体地，在本实施例中，编码器11包含三层卷积层，该卷积层为下采样层，水下图像经过三层下采样层后，水下图像的分辨率下降至原有的1/4，图像特征即为通过三层下采样后获得的图像。可选地，三层下采样层中，第一层的卷积核为7*7，卷积核的步长为1，第二层和第三层的卷积核为3*3，步长为2。
S03：依次通过注意力机制模块12、上下文模块13以及可变形卷积层 14对图像特征进行处理。
网络框架在解码器16之后依次设置有注意力机制模块12、上下文模块13以及可变形卷积层14，通过注意力机制模块12、上下文模块13以及可变形卷积层14依次对图像特征进行处理，使得提取到的特征信息更加丰富且准确。具体地，通过注意力机制模块12将注意力集中在图像退化的区域；通过上下文模块13能够提升感受野，使得提取到的图像特征包含更为丰富的信息；最后再采用可变形卷积层14能够进一步提升提取的特征的准确度。
进一步地，本实施例提供的网络框架中，具有六个注意力机制模块12，六个注意力机制模块12依次串联，并位于编码器11与上下文模块13之间。同时网络框架中具有两个可变形卷积层14，两个可变形卷积层14位于上下文模块13之后。
图3为本实施例提供的网络框架中注意力机制模块12的示意图。请结合参照图1-图3，在本实施例中，注意力机制模块12由通道级别的注意力机制和像素级别的注意力机制级联而成，后文中，通道级别的注意力机制简称为通道注意力模块，像素级别的注意力机制简称为像素注意力模块。通道注意力模块的输出作为像素注意力模块的输入，二者进行级联操作，通过激活函数Sigmoid进行输出，最终构成注意力机制模块12。
通道注意力模块由一层平均池化层121、两层卷积层和一层RELU层组成，其中RELU层能够有效的防止梯度爆炸的情况出现。具体地，通道注意力模块中，两层卷积层分别为第一卷积层122和第二卷积层124，一层 RELU层为第一RELU层123，平均池化层121、第一卷积层122、第一 RELU层123和第二卷积层124依次对图像特征进行处理，即通道注意力模块首先对全局的特征进行池化，然后利用第一卷积层122进一步提取特征，经过第一RELU层123之后输入至第二卷积层124中，通过第一RELU 层123能够有效的防止梯度爆炸的情况出现。
需要说明的是，在本发明的描述中，“第一”、“第二”、“第三”以及“第四”等仅用于区分描述，而不能理解为指示或者暗示相对重要性。
像素注意力模块由两层卷积层和一层RELU层组成，该两层卷积层分别为第三卷积层125和第四卷积层127，该RELU层为第二RELU层126。像素注意力模块的处理顺序按第三卷积层125、第二RELU层126和第四卷积层127的顺序进行。二者的结果进行了级联处理，作为注意力模块的输出。
图4为本实施例提供的网络框架中上下文模块13的示意图。请结合参照图1-图4，在本实施例中，上下文模块13包括两层卷积层和多个空洞卷积层132，两层卷积层分别为输入卷积层131和输出卷积层133，输入卷积层131接收注意力机制模块12输出的特征并将多个空洞卷积层132进行连接，然后通过多个空洞卷积层132对输入的特征进行处理，输出卷积层133 获得多个空洞卷积并联操作的结果，以得到上下文模块13的输出。其中，输入卷积层131和输出卷积层133的卷积核不变，且在本实施例中，输出卷积层133的卷积核为1*1，步长为1。
上下文模块13引入了空洞卷积，若采用普通的卷积进行，感受野会随着卷积层数的增加而逐渐减小，通过采用空洞卷积，能够有效扩大感受野，从而使得网络能够提取到更多的有效的信息。具体地，上下文模块13中包含四个空洞卷积层132，四个空洞卷积层132的空洞率分别为1、2、3和4，通过对四个空洞卷积层132的空洞率进行设置，能够进一步扩大感受野，进而有助于提升提下图像增强效果。
空间不变的卷积核会使得结果中图像的纹理信息被破坏，同时也可能会产生过度平滑的伪影，可变形卷积具有学习更灵活的卷积核的能力，因此通过设置可变形卷积层14能够使得提取的特征更加准确，丰富图像的纹理细节信息。
S04：对处理后的图像特征进行解码，以获得初步增强图像。
网络框架还包括解码器16，通过解码器16对处理后的图像特征进行解码，从而获得初步增强图像。具体地，解码器16由三层反卷积层构成，相应地，其也可以称作三层上采样层，其卷积核和相应的步长的设计与编码器11堆成，从而通过解码器16将处理后的图像特征恢复至原有的分辨率，从而得到初步增强图像。
S05：根据初步增强图像获得高频图像。
网络框架还包括处理模块，通过处理模块对解码获得的初步增强图像进行处理，从而使得最终输出的清晰图像更加自然、复合人的视觉感知效果。该处理模块包括高斯采样层15。
采样高斯采样层15对初步增强图像进行处理，从而获得模糊的图像，该模糊的图像为低频图像，初步增强图像与低频图像的差即为图像的高频细节部分，该高频细节部分对应的图像即为高频图像。
S06：根据高频图像和初步增强图像输出清晰图像。
将初步增强图像与高频图像相结合，从而获得清晰图像，该清晰图像相交初步增强图像的细节部分得到加强，纹理信息更加丰富。具体地，步骤S06可通过处理模块执行。
本发明的网络框架通过对比学习获得，显然地，在通过网络框架实现水下图像增强之前，还可以包括获得该网络框架的训练步骤，该训练步骤包括：
S1：构造训练用数据集并进行预处理。
该数据集包括多个数据对，每一数据对包括退化的图像和相应的清晰图像，该退化的图像与清晰图像包含的内容一致，不同点在于退化的图像存在颜色偏差、对比度降低、细节模糊等情况。可选地，该数据集的选用上选择的是公开数据集UIEBD，UIEBD数据集中包含了各种类型的水下图像数据对，每一数据对包含水下退化图像和清晰图像。本发明选用了其中90张图像作为测试数据。
并选择后的图像进行了预处理，该预处理包括数据增广处理，且该数据增广处理的方式包括随机翻转和随机裁剪。
S2：利用数据集采用对比学习对网络框架进行训练。
对比学习的主要思想是构建正负样本，通过对比损失的约束使得生成的结果更加接近正样本而远离负样本。
训练过程具体为：将数据对中的退化的图像作为输入，网络框架根据该输入的图像进行处理并输出处理后的图像，将网络框架输出的图像与数据对中对应的清晰图像进行对比，网络框架根据对比结果进行迭代训练，从而使得网络框架输出的图像更加接近数据对中的清晰图像。
同时，本发明提供的网络框架的损失函数包括清晰图像重建损失Lrec、对比正则化损失LCR以及暗通道先验损失Ldark，总体损失函数的公式如下：
Ltotal＝λrec·Lrec+λCR·LCR+λdark·Ldark；
其中，λrec＝1，λCR＝0.1，λdark＝1e-5。
具体地，清晰图像重建损失Lrec是通过计算网络的输出与数据集中水下清晰图像的L1范数来训练整体网络，以在空间域上对重建图像的进行像素级别的约束。具体的，该损失函数求取重建的清晰图像与清晰图像在每个像素上的差异，并进行求和操作，为了避免出现损失函数为负数的情况，进行了L1范数的求取，从而衡量重建的清晰图像与清晰图像在每个像素上的差异性，公式如下：
Figure BDA0003874341690000101
其中，I表示数据集中的清晰图像，
Figure BDA0003874341690000102
表示网络输出的清晰图像，x表示的是图像中的像素点，m表示像素点的总数。
与清晰图像重建损失Lrec不同，对比正则化损失则LCR考虑在图像的特征域上对重建图像进行处理。其主要思想是，通过利用一个预训练的编码器11，例如VGG19-Net，提取重建图像，清晰图像和退化的图像之间的特征信息，其中清晰图像被视为正样本，所提取获得的特征信息为正向特征信息，而退化的图像则被视作为负样本，其提取获得的特征信息为负向特征信息。对比正则化损失的主要目的在于使得重建图像特征与正向特征信息更加相近，而与负向特征信息更加远离，进而在恢复图像时，能够得到更加清晰的图像。其公式如下：
Figure BDA0003874341690000103
其中，I表示数据集中的清晰图像，
Figure BDA0003874341690000104
表示网络输出的清晰图像，x表示的是图像中的像素点，Gi表示的是预训练好的VGG19-Net中的第1层、第3层、第5层、第9层与第13层，Ihaze表示的是数据集中存在的退化的水下图像，wi表示的是每一层网络对应的权重。
暗通道先验损失Ldark是一种经典的去雾方法，暗通道先验指的是在清晰的图像中，包含一些像素，这些像素的像素值在至少一个RGB颜色通道中具有极低的强度，趋近于0，利用这一特性，可以进行暗通道先验的计算，使得图像的结果更加清晰自然。其公式如下：
Figure BDA0003874341690000105
Ldark＝‖J(I)‖1
其中，I表示数据集中的清晰图像，x,y是图像的像素点，Jdark表示暗通道，JC表示有颜色的通道，Ω(x)表示以x为中心点的图像块，c表示被选择的通道，r表示红色通道，g表示绿色通道，b表示蓝色通道。
本发明的实施例还提供了一种可读存储介质，该可读存储介质中存储有计算机可读的计算机程序。该计算机程序被处理器执行，从而实现上述的水下图像增强方法中的一个或多个步骤。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。
实验例
本发明的网络框架采用的是Pytorch。在网络框架的训练阶段，采用Adam 优化器对网络框架进行训练与优化，其中优化器的参数分别为β1＝0.9,β2＝ 0.999。本发明的算法模型在NVIDIA 2080Ti GPU上进行训练。在实验中，图像的批大小设置为8，每张图像的输入尺寸为256×256。本实验所采用的学习率为2×10-4，学习率的衰减方式为cosine退火策略。本实施例提供的网络框架共计迭代160000步，每500步进行测试。
为了验证本发明对水下图像处理的效果，本发明在公开数据集UIEBD上进行定量和定性上的测试，如图5和图6所示为数据集UIEBD内其中两张水下图像的定性实验结果对比图，且图5和图6中的水下图像即为数据集UIEBD中的图像，清晰图像即为采用本发明方法获得的图像。在定量结果的指标上，本实验采用常用的有参考图像的性能指标，分别为峰值信噪比，即PSNR，与图像结构相似性，即SSIM；在无参考图像的性能指标上，本发明采取了水下图像常用的性能指标UIQM，下面介绍三种性能指标的具体计算方式：
峰值信噪比PSNR是一种评价图像的客观标准，是基于对应的像素点间的误差，即基于敏感误差的图像质量评价，单位是dB。
Figure BDA0003874341690000111
Figure BDA0003874341690000112
其中，MSE表示当前的图像X与参考图像Y之间的均方误差，H，W分别是图像的高度和宽度，n为每像素的比特数，一般取8，PSNR的数值越大表示图像的失真程度越小。
结构相似性SSIM是一种常用的有参考图像的质量评价指标，分别从亮度、对比度和结构三个方面来度量两张图片的相似性。
Figure BDA0003874341690000113
Figure BDA0003874341690000121
Figure BDA0003874341690000122
SSIM(X,Y)＝[l(X,Y)]α[c(X,Y)]β[s(X,Y)]γ
其中，μX，μY表示图像X，Y的均值，σX，σY表示图像X和Y的方差，σXY表示图像X和Y的协方差，C1，C2，C3均为常数，α、β、γ均为常数。
SSIM的取值范围在[0，1]，SSIM的取值越接近1，就说明两张图片的相似性越高，代表图像的失真程度越小。
水下图像评价指标UIQM，UIQM性能指标是三种评价部分的线性加权组合：
UIQM＝c1×UICM+c2×UISM+c3×UIConM
其中，c1，c2，c3均为常数。UICM是从颜色均衡的角度进行衡量的， RGB三种颜色的偏差越小，方差越大，说明图像在三条通道上的颜色分布越均衡，图像的颜色动态范围越大，UICM的效果会越好；UISM是从图像的边缘角度进行衡量的，图片的边缘信息越多，UISM的指标会更好； UIConM主要是基于图像块的对比度的计算，图像块的对比度越高的结果，UIConM的值会更高。
本次在数据集UIEBD上随机选取90张图像作为测试集进行定量实验的结果如下表1所示：
PSNR SSIM UIQM
测试集 21.5515 0.8958 3.2346
上表中的数据为测试集中所有图像处理后获得的对应的定量指标的平均值。

Claims (10)

1.一种水下图像增强方法，其特征在于，包括：
将待增强的水下图像输入网络框架，所述网络框架基于对比学习训练获得；
对所述水下图像进行特征提取，以获得图像特征；
依次通过注意力机制模块、上下文模块以及可变形卷积层对所述图像特征进行处理；
对处理后的所述图像特征进行解码，以获得初步增强图像；
根据所述初步增强图像获得高频图像；
根据所述高频图像和所述初步增强图像输出所述清晰图像。
2.根据权利要求1所述的水下图像增强方法，其特征在于，所述注意力机制模块包括通道注意力机制模块和像素注意力机制模块，所述通道注意力机制模块和所述像素注意力机制模块联级以对所述图像特征进行处理。
3.根据权利要求1所述的水下图像增强方法，其特征在于，所述上下文模块包括输入卷积层、输出卷积层以及多个空洞卷积层，所述上下文模块对所述图像特征进行处理的步骤包括：
通过所述输入卷积层获得所述注意力机制模块输出的特征，并将所述多个空洞卷积层进行连接；
通过所述多个空洞卷积层对输入的特征进行处理；
通过所述输出卷积层获得所述多个空洞卷积层并联操作的结果。
4.根据权利要求1所述的水下图像增强方法，其特征在于，所述根据所述初步增强图像获得高频图像的步骤包括：
采用高斯采样层对所述初步增强图像进行处理，以获得低频图像；
通过所述初步增强图像和所述低频图像获得所述高频图像；
所述根据所述高频图像和所述初步增强图像输出所述清晰图像的步骤包括：
将所述初步增强图像与所述高频图像相结合，以获得所述清晰图像。
5.根据权利要求1所述的水下图像增强方法，其特征在于，所述水下图像增强方法还包括获得所述网络框架的训练步骤，所述训练步骤包括：
构造训练用数据集并进行预处理，所述数据集包括多个数据对，每一所述数据对包括退化的图像和相应的清晰图像；
利用所述数据集采用对比学习对网络框架进行训练。
6.根据权利要求1所述的水下图像增强方法，其特征在于，所述网络框架的损失函数包括清晰图像重建损失Lrec、对比正则化损失LCR以及暗通道先验损失Ldark，总体损失函数的公式如下：
Ltotal＝λrec·Lrec+λCR·LCR+λdark·Ldark；
其中，λrec＝1，λCR＝0.1，λdark＝1e-5。
7.一种水下图像增强系统，其特征在于，包括网络框架，所述网络框架基于对比学习训练获得；
所述网络框架包括：
编码器，所述编码器用于对所述水下图像进行特征提取，以获得图像特征；
依次设置的注意力机制模块、上下文模块以及可变形卷积层，所述注意力机制模块、所述上下文模块以及所述可变形卷积层用于对所述图像特征依次进行处理；
解码器，所述解码器用于对处理后的所述图像特征进行解码，以获得初步增强图像；
处理模块，所述处理模块用于根据所述初步增强图像获得高频图像，并根据所述高频图像和所述初步增强图像输出所述清晰图像。
8.根据权利要求7所述的水下图像增强系统，其特征在于，所述编码器包括三层下采样层，所述解码器包括三层上采样层。
9.根据权利要求7所述的水下图像增强系统，其特征在于，所述上下文模块包括输入卷积层、输出卷积层以及四个空洞卷积层，所述输入卷积层用于对所述注意力机制模块的输出并将所述四个空洞卷积层进行连接操作，所述四个空洞卷积层对所述输入的特征进行处理，所述输出卷积层用于获得所述四个空洞卷积层并联操作的结果；
其中，四个所述空洞卷积层的空洞率分别为1、2、3和4。
10.一种可读存储介质，其特征在于，所述可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现权利要求1-6任一项所述的水下图像增强方法。
CN202211208720.8A 2022-09-30 2022-09-30 一种水下图像增强方法、系统及可读存储介质 Pending CN115564676A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211208720.8A CN115564676A (zh) 2022-09-30 2022-09-30 一种水下图像增强方法、系统及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211208720.8A CN115564676A (zh) 2022-09-30 2022-09-30 一种水下图像增强方法、系统及可读存储介质

Publications (1)

Publication Number Publication Date
CN115564676A true CN115564676A (zh) 2023-01-03

Family

ID=84743886

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211208720.8A Pending CN115564676A (zh) 2022-09-30 2022-09-30 一种水下图像增强方法、系统及可读存储介质

Country Status (1)

Country Link
CN (1) CN115564676A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116563145A (zh) * 2023-04-26 2023-08-08 北京交通大学 基于颜色特征融合的水下图像增强方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116563145A (zh) * 2023-04-26 2023-08-08 北京交通大学 基于颜色特征融合的水下图像增强方法及系统
CN116563145B (zh) * 2023-04-26 2024-04-05 北京交通大学 基于颜色特征融合的水下图像增强方法及系统

Similar Documents

Publication Publication Date Title
CN112233038B (zh) 基于多尺度融合及边缘增强的真实图像去噪方法
CN112507997B (zh) 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统
CN111915530B (zh) 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法
CN111127336B (zh) 一种基于自适应选择模块的图像信号处理方法
CN110232653A (zh) 快速轻型超分辨率重建密集残差网络
CN113284051B (zh) 一种基于频率分解多注意力机制的人脸超分辨方法
CN112950596B (zh) 基于多区域多层次的色调映射全向图像质量评价方法
CN111127331A (zh) 基于像素级全局噪声估计编解码网络的图像去噪方法
CN112614061A (zh) 基于双路编解码器的低照度图像亮度增强及超分辨率方法
CN112070688A (zh) 一种基于上下文引导生成对抗网络的单幅图像去雾方法
CN113256510A (zh) 基于cnn的带有颜色恢复和边缘锐化效果的低照度图像增强方法
CN115272072A (zh) 一种基于多特征图像融合的水下图像超分辨率方法
CN115564676A (zh) 一种水下图像增强方法、系统及可读存储介质
CN116309178A (zh) 一种基于自适应注意力机制网络的可见光图像去噪方法
CN115861094A (zh) 一种融合注意力机制的轻量级gan水下图像增强模型
CN116757955A (zh) 一种基于全维动态卷积多融合对比网络
CN117011181A (zh) 一种分类引导的无人机成像浓雾去除方法
CN117036182A (zh) 一种单幅图像去雾方法及系统
CN116703750A (zh) 基于边缘注意力和多阶微分损失的图像去雾方法及系统
CN116523794A (zh) 一种基于卷积神经网络的低光照图像增强方法
CN113379641B (zh) 一种基于自编码卷积神经网络的单幅图像去雨方法及系统
CN115689918A (zh) 一种基于残差先验注意力机制的并行单幅图像去雨方法
CN113689346A (zh) 一种基于对比学习的紧凑深度学习去雾方法
CN112070676B (zh) 一种双通道多感知卷积神经网络的图片超分辨率重建方法
CN115511722A (zh) 基于深浅特征融合网络及联合损失函数的遥感图像去噪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination