CN116402721A - 基于对比感知损失的水下图像增强方法 - Google Patents

基于对比感知损失的水下图像增强方法 Download PDF

Info

Publication number
CN116402721A
CN116402721A CN202310542956.3A CN202310542956A CN116402721A CN 116402721 A CN116402721 A CN 116402721A CN 202310542956 A CN202310542956 A CN 202310542956A CN 116402721 A CN116402721 A CN 116402721A
Authority
CN
China
Prior art keywords
image
module
underwater
feature
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310542956.3A
Other languages
English (en)
Inventor
付先平
曹楠
汪广鑫
闫小红
王亚飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Maritime University
Original Assignee
Dalian Maritime University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Maritime University filed Critical Dalian Maritime University
Priority to CN202310542956.3A priority Critical patent/CN116402721A/zh
Publication of CN116402721A publication Critical patent/CN116402721A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于对比感知损失的水下图像增强方法，包括以下步骤：建立图像训练集与测试集；从训练集中获取待优化水下目标图像和参考图像；构建用于对待优化目标图像进行图像增强的端到端的水下图像增强网络；基于损失函数，对端到端的水下图像增强网络进行训练，得到训练好的端到端的水下图像增强网络；将测试集中图片输入到训练好的端到端的水下图像增强网络中，测试训练结果，实现水下图像的增强，本发明可以有效提高水下图像的可视性，使其具有更丰富的细节信息和更自然的色彩表现。

Description

基于对比感知损失的水下图像增强方法
技术领域
本发明涉及水下图像处理领域，尤其涉及一种用于水下图像增强处理的基于对比感知的方法。
背景技术
水下光学图像通常具有雾化、色彩偏差、低对比度和细节模糊等缺陷。低质量的水下图像难以直接应用于水下工程，随着计算机视觉领域的发展与成熟，科研工作者们提出了一系列专门针对水下图像的增强方法，其主要研究目的是提高水下图像的视觉质量，使处理后的图像更加符合人类视觉感受且更满足机器识别的需要。现有水下图像增强方法可分为基于物理模型的复原类方法、基于非物理模型的增强类方法和数据驱动的学习类方法三大类。
其中基于物理模型的算法主要通过引入先验来对水下物理图像模型进行参数估计。基于非物理模型的方法通过调整图像像素值来提高图像质量。但是无论是基于物理模型算法引入的物理先验还是基于非物理模型算法采用的像素调整策略，这些算法的适用范围都较窄，难以适用于各种各样的水下环境。随着深度学习网络在图像处理领域的快速发展，现有基于深度学习的水下图像增强方法虽然取得了不错的成效，许多强大的针对水下图像增强的模型诞生了。比如基于卷积神经网络的Waternet和Ucolor模型，还有基于生成式对抗网络的UWGAN模型。但是它们仅使用参考图像作为正样本指导网络训练，而退化图像中所包含的负面信息却未加以利用，约束信息不足会影响增强效果。
为了克服现有方法的局限性，解决水下图像中存在的色偏、对比度低、细节模糊等问题，本发明提出一种基于对比感知损失的水下图像增强方法，可以有效提高水下图像的可视性，使其具有更丰富的细节信息和更自然的色彩表现。
发明内容
为了克服现有方法：为了克服现有的基于深度学习的水下图像增强方法的局限性，水下图像中存在的色偏、对比度低、细节模糊等问题，本发明采用的技术手段如下：
一种基于对比感知损失的水下图像增强方法，包括以下步骤：
建立图像训练集与测试集；从训练集中获取待优化水下目标图像和参考图像；
构建用于对待优化目标图像进行图像增强的端到端的水下图像增强网络；
基于损失函数，对端到端的水下图像增强网络进行训练，得到训练好的端到端的水下图像增强网络；
将测试集中图片输入到训练好的端到端的水下图像增强网络中，测试训练结果，实现水下图像的增强。
进一步地：所述端到端的水下图像增强网络包括：包括衰减图引导的通道分离式特征提取模块和基于特征注意力的自动编码器模块两部分；
所述衰减图引导的通道分离式特征提取模块在特征提取过程中采用通道分离的策略，并引入衰减图信息；
所述基于特征注意力的自动编码器模块基于通道注意力和像素注意力机制构建网络；
所述衰减图引导的通道分离式特征提取模块和基于特征注意力的自动编码器模块顺序连接。
进一步地：，所述建立图像训练集与测试集从UIEB和RUIE这两个具有不同的散射强度、颜色衰减水平，涵盖大量不同的水下场景的真实水下数据集中选取图像。
进一步地：所述通道分离式的特征提取模块包括由衰减图引导的通道分离式三分支结构和融合模块两部分；
所述通道分离式三分支结构的分支分别对应输入原始图像的R、G、B颜色通道，以各个通道图像及其对应的衰减图为输入；
每个分支都由包含3×3卷积、PReLU()激活函数的卷积-激活结构构成，然后将三个分支得到的特征图进行拼接，输入到由两个卷积-激活结构级联而成特征融合模块；
其中衰减图按以下公式获得：
AMc＝1-(Ic)γ (1)
其中，I为原始输入图像，c∈{R,G,B}表示图像的颜色通道，γ为可调节参数，将其设置为1.2；
整个通道分离式的特征提取模块表示如下：
Figure BDA0004228627320000031
其中，f表示网络正向传播过程中的特征图，上角标c∈{R,G,B}表示其所属分支，下角标数字表示正向传播的不同阶段；C(·)表示在通道维度上的特征图拼接操作；P(·)表示PReLU激活函数；Conv3×3(·)表示卷积核尺寸为3×3的卷积层；Icc为初步获得的颜色校正图像。
进一步地，所述自动编码器模块由一个下采样层子模块、6个FA模块和一个上采样层级联而成，并输出增强结果图像。
其中：下采样层首先对输入的颜色校正图像进行对称填充操作，再通过7×7的卷积对其进行初步的信息整合；
接下来采用两个包含步长为2的3×3卷积的卷积层来实现输入特征的空间尺寸压缩，同时在通道维度上扩展为原来的两倍；经过两次卷积后，输入特征图的尺寸由C×H×W改变为
Figure BDA0004228627320000032
整个下采样模块的计算过程表达如下：
Figure BDA0004228627320000033
其中，Icc表示该模块的输入，Pad(·)表示对称填充操作，R(·)表示ReLU激活函数，符号Conv的含义与前文保持一致，X3为经过下采样层后获得的特征；
所述FA模块共分为三部分，第一部分由两个3×3卷积层、ReLU()激活函数组成，提取基础特征信息Y1；第二部分是一个通道注意力模块，第三部分为像素注意力模块；
所述通道注意力模块，首先通过全局平均池化层、两个3×3卷积层、ReLU()激活函数以及Sigmoid()激活函数计算出各通道的权重，
最终将得到通道权重与原始基础特征进行逐像素相乘，获得关键特征Y3：
Figure BDA0004228627320000041
Y2为使用全局平均池化后获得的通道权重，H和W表示输入特征Y1的高度和宽度，i和j表示位置坐标。CA为通道注意力模块的输出，S(·)表示Sigmoid函数。
所述像素注意力模块，通过两个3×3卷积层以及ReLU()、Sigmoid激活函数来计算出像素注意力权重，最后，将像素注意力权重PA与特征图Y3进行逐像素相乘即可得到整个FA模块的特征输出Z1：
PA＝S(Conv3×3(R(Conv3×3(Y3))))
Figure BDA0004228627320000042
在6个FA模块之间通过跳跃连接的方式进行网络传播，具体连接方式如下所示：
Figure BDA0004228627320000043
Z6＝FA(Z3+Z5)其中，FA(·)为特征注意力模块的运算过程，X3为前文所描述的下采样模块的输出，Z1～Z6分别为6个FA模块输出的特征图。
最后，通过反卷积对特征图进行上采样将低分辨率空间下的特征图逐步还原为图像的原始尺寸，过程为下采样模块的逆过程：
Figure BDA0004228627320000044
其中，Dconv(·)为反卷积操作，Tanh(·)为双曲正切激活函数，U1和U2为上采样过程的中间特征，Output为整个端到端的水下图像增强网络模型的最终输出结果。
进一步地：所述损失函数由局部颜色一致性损失
Figure BDA0004228627320000051
经典L1损失/>
Figure BDA0004228627320000052
和对比感知损失函数/>
Figure BDA0004228627320000053
线性组合而成，具体如下：
Figure BDA0004228627320000054
进一步地，所述对比感知损失函数
Figure BDA0004228627320000055
的数学表达为：
Figure BDA0004228627320000056
其中，A、P、N分别表示网络输出图像、参考图像、原始图像，Triplet为特征空间内的三元组距离度量函数，其表达式如下：
Figure BDA0004228627320000057
其中m表示特征图中所包含的元素总数，α和β为超参数，用于平衡两个距离度量的贡献。将五个不同模型深度下的Triplet(A,P,N)进行加权相加得到最终的对比感知损失，ω1～ω5的取值分别为1/32、1/16、1/8、1/4、1。
一种基于对比感知损失的水下图像增强装置，包括：
建立模块：用于建立图像训练集与测试集，用于从训练集中获取待优化水下目标图像和参考图像；
构建模块：用于构建用于对待优化目标图像进行图像增强的端到端的水下图像增强网络；
训练模块：用于基于损失函数，对端到端的水下图像增强网络进行训练，得到训练好的端到端的水下图像增强网络；
实现模块：用于将测试集中图片输入到训练好的端到端的水下图像增强网络中，测试训练结果，实现水下图像的增强。
与现有水下图像增强方法相比，发明提出一种基于对比感知损失的水下图像增强方法，可以有效提高水下图像的可视性，使其具有更丰富的细节信息和更自然的色彩表现，对退化图像中所包含的负面信息加以利用，增添约束信息，克服现有方法的局限性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的流程图；
图2是衰减图引导的通道分离式特征提取模块结构图；
图3是由两个卷积-激活结构级联而成特征融合模块结构图；
图4是基于特征注意力的自动编码器模块结构图；
图5是FA模块结构图；
图6是对比感知损失示意图；
图7(a)是在RUIE数据集上本发明与基于其他模型方法的对比图；(b)是在RUIE数据集上本发明与基于深度学习方法的对比图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
本发明可以有效提高水下图像的可视性，使其具有更丰富的细节信息和更自然的色彩表现。
一种基于对比感知损失的水下图像增强方法，包括以下步骤：
S1建立图像训练集与测试集；从训练集中获取待优化水下目标图像和参考图像；
S2:构建用于对待优化目标图像进行图像增强的端到端的水下图像增强网络；
S3:基于损失函数，对端到端的水下图像增强网络进行训练，得到训练好的端到端的水下图像增强网络；
S4:将测试集中图片输入到训练好的端到端的水下图像增强网络中，测试训练结果，实现水下图像的增强。
步骤S1/S2/S3/S4顺序执行；
进一步地，所述建立图像训练集与测试集，从所述图像训练集中选取图像作为待优化目标图像具体如下：
从UIEB和RUIE这两个具有不同的散射强度、颜色衰减水平，涵盖大量不同的水下场景的真实水下数据集中选取图像，构建本发明所提网络模型的训练集和测试集。其中训练集由从UIEB数据集的890张成对水下图像中随机选取的800张成对图像构成；测试集则由UIEB数据集中剩余150张图像和从RUIE数据集的UCCS和UIQS两个子集中随机选取500张图像组成。
如图1所示，所述端到端的水下图像增强网络包括：
针对水下图像色偏、对比度低的问题，提出一种两阶段、端到端的水下图像增强网络模型，具体包括衰减图引导的通道分离式特征提取模块和基于特征注意力的自动编码器模块两部分。
前者在模型特征提取过程中采用通道分离的策略，并引入衰减图信息，使其能够更加精确感知光衰减量，进而提高水下图像的颜色校正效果。后者基于通道注意力和像素注意力机制构建网络模型，可有效提升模型的特征挖掘能力与泛化性能。
所述通道分离式特征提取模块和自动编码器模块顺序连接。
从水下数据集中选取图像，构建本发明所提网络模型的训练集和测试集。
通道分离式的特征提取模块包括由衰减图引导的通道分离式三分支结构和融合模块两部分，如图2所示。
三分支结构的分支分别对应输入原始图像的R、G、B颜色通道，以各个通道图像及其对应的衰减图为输入。每个分支都由包含3×3卷积、PReLU()激活函数的卷积-激活结构构成，然后将三个分支得到的特征图进行拼接，输入到由两个卷积-激活结构级联而成特征融合模块，如图3所示，得到网络模型第一部分的输出。
其中衰减图按以下公式获得：
AMc＝1-(Ic)γ (1)
其中，I为原始输入图像，c∈{R,G,B}表示图像的颜色通道，γ为可调节参数，将其设置为1.2。
整个通道分离式的特征提取模块表示如下：
Figure BDA0004228627320000071
Figure BDA0004228627320000081
其中，f表示网络正向传播过程中的特征图，上角标c∈{R,G,B}表示其所属分支，下角标数字表示正向传播的不同阶段；C(·)表示在通道维度上的特征图拼接操作；P(·)表示PReLU激活函数；Conv3×3(·)表示卷积核尺寸为3×3的卷积层；Icc为初步获得的颜色校正图像。
基于特征注意力的自动编码器模块由一个下采样层、6个FA模块和一个上采样层级联而成，并输出增强结果图像，如图4所示。
其中下采样层首先对输入的颜色校正图像进行对称填充操作，再通过7×7的卷积对其进行初步的信息整合。接下来采用两个包含步长为2的3×3卷积的卷积层来实现输入特征的空间尺寸压缩，同时在通道维度上扩展为原来的两倍。经过两次卷积后，输入特征图的尺寸由C×H×W改变为
Figure BDA0004228627320000082
整个下采样模块的计算过程表达如下：
Figure BDA0004228627320000083
其中，Icc表示该模块的输入，Pad(·)表示对称填充操作，R(·)表示ReLU激活函数，符号Conv的含义与前文保持一致，X3为经过下采样层后获得的特征。
所述FA模块共分为三部分，第一部分由两个3×3卷积层、ReLU()激活函数组成，提取基础特征信息Y1；第二部分是一个通道注意力模块，第三部分为像素注意力模块；
第二部分是一个通道注意力模块，首先通过全局平均池化层、两个3×3卷积层、ReLU()激活函数以及Sigmoid()激活函数计算出各通道的权重，最终将得到通道权重与原始基础特征进行逐像素相乘，如图5所示，获得关键特征Y3：
Figure BDA0004228627320000084
Y2为使用全局平均池化后获得的通道权重，H和W表示输入特征Y1的高度和宽度，i和j表示位置坐标。CA为通道注意力模块的输出，S(·)表示Sigmoid函数。
所述像素注意力模块，通过两个FA 3×3卷积层以及ReLU()、Sigmoid激活函数来计算出像素注意力权重，最后，将像素注意力权重PA与特征图Y3进行逐像素相乘即可得到整个FA模块的特征输出Z1：
PA＝S(Conv3×3(R(Conv3×3(Y3)))) (5)
Figure BDA0004228627320000091
在6个FA模块之间通过跳跃连接的方式进行网络传播，具体连接方式如下所示：
Figure BDA0004228627320000092
Z6＝FA(Z3+Z5)其中，FA(·)为特征注意力模块的运算过程。X3为前文所描述的下采样模块的输出，Z1～Z6分别为6个FA模块输出的特征图。
最后，通过反卷积对特征图进行上采样将低分辨率空间下的特征图逐步还原为图像的原始尺寸，过程为下采样模块的逆过程：
Figure BDA0004228627320000093
其中，Dconv(·)为反卷积操作，Tanh(·)为双曲正切激活函数，U1和U2为上采样过程的中间特征，Output为整个网络模型的最终输出结果。
所述损失函数由局部颜色一致性损失
Figure BDA0004228627320000094
经典L1损失/>
Figure BDA0004228627320000095
和对比感知损失函数
Figure BDA0004228627320000096
线性组合而成。
Figure BDA0004228627320000097
其中，对比感知损失将原始退化图像看作负样本、参考图像看作正样本、网络输出看作锚点，将原始图像、参考图像和网络输出共同作为损失的输入，经过VGG-19预训练模型提取三幅图像的抽象特征，在不同抽象层次的特征空间内计算网络输出与原始图像的L1距离D(A,N)以及网络输出与参考图像的L1距离D(A,P)。对比感知损失旨在获得更小的D(A,P)的同时获得更大的D(A,N)，以此模拟特征空间内正样本的“拉”行为与负样本的“推”行为。其具体的数学表达为：
Figure BDA0004228627320000101
其中，A、P、N分别表示网络输出图像、参考图像、原始图像，Triplet为特征空间内的三元组距离度量函数，其表达式如下：
Figure BDA0004228627320000102
其中m表示特征图中所包含的元素总数，α和β为超参数，用于平衡两个距离度量的贡献。最后，将五个不同模型深度下的Triplet(A,P,N)进行加权相加得到最终的对比感知损失，ω1～ω5的取值分别为1/32、1/16、1/8、1/4、1。
与现有水下图像增强方法相比，发明提出一种基于对比感知损失的水下图像增强方法，可以有效提高水下图像的可视性，使其具有更丰富的细节信息和更自然的色彩表现，对退化图像中所包含的负面信息加以利用，增添约束信息，克服现有方法的局限性。
一种基于对比感知损失的水下图像增强装置，包括
建立模块：用于建立图像训练集与测试集，用于从训练集中获取待优化水下目标图像和参考图像；
构建模块：用于构建用于对待优化目标图像进行图像增强的端到端的水下图像增强网络；
训练模块：用于基于损失函数，对端到端的水下图像增强网络进行训练，得到训练好的端到端的水下图像增强网络；
实现模块：用于将测试集中图片输入到训练好的端到端的水下图像增强网络中，测试训练结果，实现水下图像的增强。
本发明所有实验均在同一台设备上完成，所使用设备的CPU型号为Intel Corei5-10400F CPU@2.90GHz，GPU型号为Nvidia GTX 2060。网络模型编码基于Pytorch框架，训练过程中输入图像尺寸调整为256×256×3，测试过程不改变图像尺寸。训练过程批处理大小为8，学习率为0.0001，训练轮次为200，损失函数为前文中三者直接相加，并使用Adam优化器进行训练。
选择9种水下图像增强方法作为对比方法进行对比实验，对比方法包括传统增强方法(UDCP、GDCP、ULAP、Retinex-based、HLRP)和学习类方法(FUnIE、UGAN、UWCNN、Ucolor)。
图6展示了在RUIE数据集本发明与9种对比方法的增强效果图，相比之下，本文方法的增强结果在对比度增强和颜色校正两方面表现都优于其他对比方法。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (8)

1.一种基于对比感知损失的水下图像增强方法，其特征在于：包括以下步骤：
建立图像训练集与测试集；从训练集中获取待优化水下目标图像和参考图像；
构建用于对待优化目标图像进行图像增强的端到端的水下图像增强网络；
基于损失函数，对端到端的水下图像增强网络进行训练，得到训练好的端到端的水下图像增强网络；
将测试集中图片输入到训练好的端到端的水下图像增强网络中，测试训练结果，实现水下图像的增强。
2.根据权利要求1所述的一种基于对比感知损失的水下图像增强方法，其特征在于：所述端到端的水下图像增强网络包括：包括衰减图引导的通道分离式特征提取模块和基于特征注意力的自动编码器模块两部分；
所述衰减图引导的通道分离式特征提取模块在特征提取过程中采用通道分离的策略，并引入衰减图信息；
所述基于特征注意力的自动编码器模块基于通道注意力和像素注意力机制构建网络；
所述衰减图引导的通道分离式特征提取模块和基于特征注意力的自动编码器模块顺序连接。
3.根据权利要求1所述的基于对比感知损失的水下图像增强方法，其特征在于，所述建立图像训练集与测试集从UIEB和RUIE这两个具有不同的散射强度、颜色衰减水平，涵盖大量不同的水下场景的真实水下数据集中选取图像。
4.根据权利要求2所述的基于对比感知损失的水下图像增强方法，其特征在于，所述通道分离式的特征提取模块包括由衰减图引导的通道分离式三分支结构和融合模块两部分；
所述通道分离式三分支结构的分支分别对应输入原始图像的R、G、B颜色通道，以各个通道图像及其对应的衰减图为输入；
每个分支都由包含3×3卷积、PReLU()激活函数的卷积-激活结构构成，然后将三个分支得到的特征图进行拼接，输入到由两个卷积-激活结构级联而成特征融合模块；
其中衰减图按以下公式获得：
AMc＝1-(Ic)γ (1)
其中，I为原始输入图像，c∈{R,G,B}表示图像的颜色通道，γ为可调节参数，将其设置为1.2；
整个通道分离式的特征提取模块表示如下：
Figure FDA0004228627310000021
其中，f表示网络正向传播过程中的特征图，上角标c∈{R,G,B}表示其所属分支，下角标数字表示正向传播的不同阶段；C(·)表示在通道维度上的特征图拼接操作；P(·)表示PReLU激活函数；Conv3×3(·)表示卷积核尺寸为3×3的卷积层；Icc为初步获得的颜色校正图像。
5.根据权利要求2所述的基于对比感知损失的水下图像增强方法，其特征在于，所述自动编码器模块由一个下采样层子模块、6个FA模块和一个上采样层级联而成，并输出增强结果图像。
其中：下采样层首先对输入的颜色校正图像进行对称填充操作，再通过7×7的卷积对其进行初步的信息整合；
接下来采用两个包含步长为2的3×3卷积的卷积层来实现输入特征的空间尺寸压缩，同时在通道维度上扩展为原来的两倍；经过两次卷积后，输入特征图的尺寸由C×H×W改变为
Figure FDA0004228627310000022
整个下采样模块的计算过程表达如下：
Figure FDA0004228627310000023
其中，Icc表示该模块的输入，Pad(·)表示对称填充操作，R(·)表示ReLU激活函数，符号Conv的含义与前文保持一致，X3为经过下采样层后获得的特征；
所述FA模块共分为三部分，第一部分由两个3×3卷积层、ReLU()激活函数组成，提取基础特征信息Y1；第二部分是一个通道注意力模块，第三部分为像素注意力模块；
所述通道注意力模块，首先通过全局平均池化层、两个3×3卷积层、ReLU()激活函数以及Sigmoid()激活函数计算出各通道的权重，
最终将得到通道权重与原始基础特征进行逐像素相乘，获得关键特征Y3：
Figure FDA0004228627310000031
Y2为使用全局平均池化后获得的通道权重，H和W表示输入特征Y1的高度和宽度，i和j表示位置坐标。CA为通道注意力模块的输出，S(·)表示Sigmoid函数。
所述像素注意力模块，通过两个3×3卷积层以及ReLU()、Sigmoid激活函数来计算出像素注意力权重，最后，将像素注意力权重PA与特征图Y3进行逐像素相乘即可得到整个FA模块的特征输出Z1：
PA＝S(Conv3×3(R(Conv3×3(Y3))))
Figure FDA0004228627310000032
在6个FA模块之间通过跳跃连接的方式进行网络传播，具体连接方式如下所示：
Figure FDA0004228627310000033
Z6＝FA(Z3+Z5)其中，FA(·)为特征注意力模块的运算过程，X3为前文所描述的下采样模块的输出，Z1～Z6分别为6个FA模块输出的特征图。
最后，通过反卷积对特征图进行上采样将低分辨率空间下的特征图逐步还原为图像的原始尺寸，过程为下采样模块的逆过程：
Figure FDA0004228627310000041
其中，Dconv(·)为反卷积操作，Tanh(·)为双曲正切激活函数，U1和U2为上采样过程的中间特征，Output为整个端到端的水下图像增强网络模型的最终输出结果。
6.根据权利要求1所述的基于对比感知损失的水下图像增强方法，其特征在于，所述损失函数由局部颜色一致性损失
Figure FDA0004228627310000042
经典L1损失/>
Figure FDA0004228627310000043
和对比感知损失函数/>
Figure FDA0004228627310000044
线性组合而成，具体如下：
Figure FDA0004228627310000045
7.根据权利要求6所述的基于对比感知损失的水下图像增强方法，其特征在于，所述对比感知损失函数
Figure FDA0004228627310000046
的数学表达为：
Figure FDA0004228627310000047
其中，A、P、N分别表示网络输出图像、参考图像、原始图像，Triplet为特征空间内的三元组距离度量函数，其表达式如下：
Figure FDA0004228627310000048
其中：m表示特征图中所包含的元素总数，α和β为超参数，用于平衡两个距离度量的贡献；
将五个不同模型深度下的Triplet(A,P,N)进行加权相加得到最终的对比感知损失，ω1～ω5的取值分别为1/32、1/16、1/8、1/4、1。
8.一种基于对比感知损失的水下图像增强装置，其特征在于：包括：
建立模块：用于建立图像训练集与测试集，用于从训练集中获取待优化水下目标图像和参考图像；
构建模块：用于构建用于对待优化目标图像进行图像增强的端到端的水下图像增强网络；
训练模块：用于基于损失函数，对端到端的水下图像增强网络进行训练，得到训练好的端到端的水下图像增强网络；
实现模块：用于将测试集中图片输入到训练好的端到端的水下图像增强网络中，测试训练结果，实现水下图像的增强。
CN202310542956.3A 2023-05-15 2023-05-15 基于对比感知损失的水下图像增强方法 Pending CN116402721A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310542956.3A CN116402721A (zh) 2023-05-15 2023-05-15 基于对比感知损失的水下图像增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310542956.3A CN116402721A (zh) 2023-05-15 2023-05-15 基于对比感知损失的水下图像增强方法

Publications (1)

Publication Number Publication Date
CN116402721A true CN116402721A (zh) 2023-07-07

Family

ID=87010689

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310542956.3A Pending CN116402721A (zh) 2023-05-15 2023-05-15 基于对比感知损失的水下图像增强方法

Country Status (1)

Country Link
CN (1) CN116402721A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117495687A (zh) * 2023-12-29 2024-02-02 清华大学深圳国际研究生院 一种水下图像增强方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117495687A (zh) * 2023-12-29 2024-02-02 清华大学深圳国际研究生院 一种水下图像增强方法
CN117495687B (zh) * 2023-12-29 2024-04-02 清华大学深圳国际研究生院 一种水下图像增强方法

Similar Documents

Publication Publication Date Title
CN113240580B (zh) 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法
CN112288658B (zh) 一种基于多残差联合学习的水下图像增强方法
CN111784602B (zh) 一种生成对抗网络用于图像修复的方法
CN110853110B (zh) 一种基于生成对抗网络的图片自动调色方法
CN108629291B (zh) 一种抗网格效应的人脸深度预测方法
CN112183637A (zh) 一种基于神经网络的单光源场景光照重渲染方法及系统
CN112991227B (zh) 基于U-net++网络的弱光图像增强方法和装置
CN112489164B (zh) 基于改进深度可分离卷积神经网络的图像着色方法
CN111583285A (zh) 一种基于边缘关注策略的肝脏影像语义分割方法
US20220172322A1 (en) High resolution real-time artistic style transfer pipeline
CN111709290A (zh) 基于编解码-跳跃连接尺度金字塔网络的人群计数方法
CN112634146A (zh) 基于多种注意力机制的多通道cnn医学ct图像去噪方法
CN116402721A (zh) 基于对比感知损失的水下图像增强方法
CN113392711A (zh) 一种基于高层语义与噪声抑制的烟雾语义分割方法及系统
CN115565056A (zh) 基于条件生成对抗网络的水下图像增强方法及系统
CN111882516B (zh) 一种基于视觉显著性和深度神经网络的图像质量评价方法
CN116468605A (zh) 基于时空分层掩膜注意力融合的视频超分辨率重建方法
CN115205160A (zh) 基于局部场景感知的无参考低照度图像增强方法
CN113256657B (zh) 一种高效医学图像分割方法及系统、终端、介质
CN111325781B (zh) 一种基于轻量化网络的位深度提升方法及其系统
CN117152019A (zh) 一种基于双分支特征处理的低照度图像增强方法和系统
CN111724306A (zh) 一种基于卷积神经网络的图像缩小方法及系统
CN114549314A (zh) 一种提高图像分辨率的方法
US20220164934A1 (en) Image processing method and apparatus, device, video processing method and storage medium
CN115705616A (zh) 基于结构一致性统计映射框架的真实图像风格迁移方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination