CN117351340A - 基于双颜色空间的水下图像增强算法 - Google Patents

基于双颜色空间的水下图像增强算法 Download PDF

Info

Publication number
CN117351340A
CN117351340A CN202311249748.0A CN202311249748A CN117351340A CN 117351340 A CN117351340 A CN 117351340A CN 202311249748 A CN202311249748 A CN 202311249748A CN 117351340 A CN117351340 A CN 117351340A
Authority
CN
China
Prior art keywords
color space
underwater image
image
underwater
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311249748.0A
Other languages
English (en)
Inventor
宋亚林
沈兴盛
李世昌
胡小树
梁明阳
李光耀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan University
Original Assignee
Henan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University filed Critical Henan University
Priority to CN202311249748.0A priority Critical patent/CN117351340A/zh
Publication of CN117351340A publication Critical patent/CN117351340A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/05—Underwater scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种基于双颜色空间的水下图像增强算法，首先引入HSV颜色空间调整模块来对水下图像进行处理，改善水下图像的色调和饱和度；其次提出RGB颜色空间去噪模块，对水下图像的内容和结构进行修复，最后设计RAB注意力模块，完善水下图像的细节。本发明通过在HSV颜色空间进行深度学习的方法提取特征，并加上神经曲线进行调整，使水下图片预先得到了很好的处理，在RGB颜色空间去噪模块的卷积操作中引入多个并行的卷积分支，可以增加模型的层级表示能力，获得不同尺度的感受野，且可以更好地保留输入图像的细节纹理特征。

Description

基于双颜色空间的水下图像增强算法
技术领域
本发明涉及水下图像处理技术领域，尤其涉及一种基于双颜色空间的水下图像增强算法。
背景技术
海洋大约占地球面积的71％，多年来由于地球资源的匮乏，海洋资源的开发与利用引起了各国的重视。水下图像的研究对水下资源的利用具有很重要的意义。与室外不同，水下图像存在复杂的光照条件和环境，色偏，使水下图像增强成为一项更具挑战性的任务。同时，水下图像还会因为波长和距离相关的吸收和散射导致图像退化，吸收效应是因为在水下红光的吸收率比蓝光和绿光高，所以，水下图像通常以蓝色或绿色为主，散射现象(包括前向散射和后向散射)源于悬浮颗粒如微型浮游植物和非藻类颗粒的散射，悬浮颗粒通过引入均匀的背景噪声和雾状外观降低了图像质量。因此一种有效的水下图像增强方法对于提高水下图像质量和探索水下世界具有很重要的意义。
目前，很多深度学习方法只用到了单颜色空间对图像进行增强，水下图像由于复杂的环境，单颜色空间无法全面地处理图像的色彩信息，以及改善色彩饱和度、色调等方面问题。
1.现在很多基于深度学习的方法都只用到了RGB颜色空间,RGB颜色空间可以处理水下图像散射问题，改善水下图像的颜色偏差等问题，但是RGB颜色空间具有一定的局限性，不能反映出图像的一些重要属性。
2.针对U-net网络对于复杂的纹理或细微结构的水下图像，出现模糊或缺少细节等问题。
3.普通卷积操作使用固定尺寸的卷积核进行卷积操作，无法直接获取多尺度的信息。对于图像去噪任务，多尺度信息对于理解图像的结构和特征非常重要。缺乏多尺度信息可能导致去噪结果在细节和全局结构之间存在不平衡。
发明内容
本发明针对以上问题，提出一种基于双颜色空间的水下图像增强算法。
为了实现上述目的，本发明采用以下技术方案：
一种基于双颜色空间的水下图像增强算法，包括：
步骤1，构建基于双颜色空间的水下图像增强模型，该模型包括HSV颜色空间调整模块，RGB颜色空间去噪模块，RAB注意力模块；
步骤2，结合损失函数对构建的基于双颜色空间的水下图像增强模型进行训练；
步骤3，将水下图像输入训练好的模型，对水下图像进行增强处理。
进一步地，所述HSV颜色空间调整模块中，首先将原始RGB颜色空间水下图像转化为HSV颜色空间图像，然后经过卷积、激活、最大池化处理，和一个全局平均池化处理，再然后通过一个全连接层以回归神经网络曲线层的节点，并通过神经网络曲线层对HSV颜色空间图像的属性进行分段线性缩放，全局调整图像的饱和度和色调，以减轻水下图像颜色失真问题。
进一步地，所述神经网络曲线层通过使用以下公式缩放像素来调整预测图像：
其中，k0表示初始节点的值，M是预测的节点数，是第i幅图像的第l个颜色通道中的第j个像素值，/>表示调整后的第i幅图像的第l个颜色通道中的第j个像素值，km是节点M的值，/>
进一步地，所述的基于双颜色空间的水下图像增强算法，其特征在于，所述RGB颜色空间去噪模块基于U-Net架构，在U-Net的每个尺度上执行空间和通道维度的归一化方案，以获得多尺度表示，然后使用多尺度膨胀卷积代替编码器和解码器中的普通卷积。
进一步地，所述多尺度膨胀卷积具体包括：
卷积核大小为3，5，7的并行卷积，其中卷积核大小为5和7的卷积采用3×3卷积，且在不同并行卷积中采用不同膨胀率的膨胀卷积。
进一步地，所述RAB注意力模块包括通道注意力模块和空间注意力模块。
进一步地，所述步骤2中，采用均方误差损失和内容感知损失组成的损失函数来训练模型。
与现有技术相比，本发明具有的有益效果：
1.本发明引入了RGB颜色空间和HSV颜色空间结构，通过颜色空间转换后进行特征曲线调整，来缓解图像颜色不对称的问题。然后在RGB颜色空间去噪模块中提出多尺度膨胀卷积来代替普通卷积，对特征进行多尺度多分辨率的利用。最后提出RAB注意力模块，通过引入注意力机制和残差连接来更好地提高图像恢复的细节。
2.本发明与深度学习方法SCNet进行比较，实验结果表明本发明方法在峰值信噪比(PSNR)方面在分别提高了4.5％，在结构相似性指数(SSIM)方面提高了1.8％。在主观分析上，本发明能够有效消除色偏，并提高水下图像的清晰度。
3.本发明在水下图像增强方面非常有效，对后续的目标检测、场景分析及其它研究提供了支持，对海洋生物的探索、海洋生态的保护和海洋工程的发展提供了很大的帮助。
附图说明
图1为本发明实施例一种基于双颜色空间的水下图像增强算法的流程图；
图2为本发明实施例基于双颜色空间的水下图像增强模型的整体网络架构示意图；
图3为本发明实施例HSV颜色空间调整模块操作示意图；
图4为本发明实施例多尺度膨胀卷积操作示意图。
具体实施方式
为了便于理解，对本发明的具体实施方式中出现的部分名词作以下解释说明：
图像去噪(Image denoising)：是一种处理图像中存在的噪声(例如噪点、伪影、颜色偏差等)的技术,噪声通常是由图像采集过程中的传感器噪声、信号传输过程中的干扰或图像处理过程中的失真引起的。
注意力机制(Attention Mechanism)：用于在处理序列或集合数据时，对不同部分的输入赋予不同的权重或重要性,它的主要目的是使模型能够集中关注与当前任务相关的部分，忽略无关的信息。
下面结合附图和具体的实施例对本发明做进一步的解释说明：
如图1所示，一种基于双颜色空间的水下图像增强算法，包括：
步骤1，构建基于双颜色空间的水下图像增强模型，该模型包括HSV颜色空间调整模块，RGB颜色空间去噪模块，RAB注意力模块；所述HSV颜色空间调整模块用于将原始RGB颜色空间水下图像转化为HSV颜色空间图像，根据输入图像的特征和需求自适应地调整图像的颜色属性；所述RGB颜色空间去噪模块用于对HSV颜色空间调整模块处理后的图像进行多尺度特征提取；所述RAB注意力模块用于通过通道注意力和空间注意力恢复水下图像的细节特征；
步骤2，结合损失函数对构建的基于双颜色空间的水下图像增强模型进行训练；
步骤3，将水下图像输入训练好的模型，对水下图像进行增强处理。
具体地，本发明提出的基于双颜色空间的水下图像增强模型包括三个模块，分别是HSV颜色空间调整模块，RGB颜色空间去噪模块，RAB注意力模块，模型整体网络架构如图2所示。
1.HSV颜色空间调整模块
HSV颜色空间调整模块的操作如图3所示。该模块的输入是原始水下图片，我们先把RGB图片转化为HSV图片(RGB2HSV模块)，然后经过(多个)卷积、激活和最大池化，再经过一个全局平均池化将特征图处理为1*1*C，后面再放一个全连接层，用于回归神经网络曲线层(即分段线性曲线)的节点，该曲线通过使用如下等式中的公式缩放像素来调整预测图像。
Where
其中，k0表示初始节点的值，M是预测的节点数，是第i幅图像的第l个颜色通道中的第j个像素值，/>表示调整后的第i幅图像的第l个颜色通道中的第j个像素值，km是节点M的值。
最后再将调整后的HSV图片特征转化为RGB图片特征(HSV2RGB模块)。
HSV颜色空间调整模块的核心是将像素值与曲线的比例因子相乘，获得增强的全局调整图像。但是得到的图片在背景色差和细节纹理方面处理得不是很好，然后我们把得到的图片经过RGB颜色空间去噪模块。
2.RGB颜色空间去噪模块
RGB颜色空间去噪模块基于简单的U-Net架构，在U-Net的每个尺度上执行空间和通道维度的归一化方案，以获得多尺度表示。然后我们在每个卷积模块提出改动，我们设计一种包括卷积核大小为3，5，7的并行卷积的多尺度膨胀卷积(DConv-Block)，其操作如图4所示，我们对卷积核大小为5和7的卷积层进行分解，使用更小、更轻便的3×3卷积替代，通过并行运算，可以在网络中引入多个并行的卷积分支，然后在并行卷积中通过组合不同膨胀率的膨胀卷积(DConv)，我们使用多尺度膨胀卷积代替编码器解码器中的普通卷积。然后经过RAB注意力模块。
3.RAB注意力模块
在RAB注意力模块中，经过通道注意力模块，它包括一个全局平均池化层，用于对每个通道进行平均池化操作，然后通过两个全连接层获取通道权重。这些权重通过激活函数进行归一化，并与原始特征图进行相乘，以增强重要通道的特征表示。然后是空间注意力模块通过学习每个空间位置的重要性来调整特征图中每个位置的权重。它包括一个空间平均池化层，用于对每个空间位置进行平均池化操作，然后通过两个全连接层获取位置权重。这些权重通过激活函数进行归一化，并与原始特征图进行相乘，以增强重要位置的特征表示。然后添加一个残差连接，最后输出增强的特征图。
4.损失函数
为了保持图像的边缘信息，增强图像的纹理相似性，本发明采用均方误差(meansquare error,MSE)损失和内容感知损失来训练模型。均方误差损失也称为MSE损失，是模型输出图像和参考图像之间的平方差均值。MSE损失对异常值很敏感，能更好地引导模型从全局相似空间上学习样本映射。MSE损失可表示为：
式中，N是每个训练批次的样本数量，xi表示模型输出的增强图片，yi表示相应的参考图片。本发明引入内容感知损失来增加图像细节和校正图像颜色，感知相似性被定义为增强图像和干净实例的特征表示之间的欧几里德距离，内容感知损失可表示为：
其中表示预训练的VGG16网络内第i个最大池化成之前通过第j个卷积(激活后)获得的特征映射,m是提取的特征图的像素数。最终的损失为均方误差损失和内容感知损失的线性组合：
Lossfinal＝Lossmse+λLossvgg
其中λ根据经验设置为0.1，用于平衡不同损失的比例。
为验证本发明效果，将本发明方法与深度学习方法SCNet进行比较，实验结果表明本发明方法在峰值信噪比(PSNR)方面在分别提高了4.5％，在结构相似性指数(SSIM)方面提高了1.8％。在主观分析上，本发明能够有效消除色偏，并提高水下图像的清晰度。
综上，本发明提出了基于双颜色空间的水下图像增强算法，我们的改进具体分为HSV颜色空间调整模块，通过在HSV颜色空间进行深度学习的方法提取特征，并加上神经曲线进行调整，使水下图片预先得到了很好的处理，接下来是通过RGB颜色空间去噪模块的多尺度膨胀卷积来提升水下图像的自然色彩和对比度，通过RAB注意力模块来添加通道注意力和空间注意力恢复水下图像的更多细节特征。实验结果表明本发明提出的方法对水下图像增强是一种很有效的办法。
以上所示仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种基于双颜色空间的水下图像增强算法，其特征在于，包括：
步骤1，构建基于双颜色空间的水下图像增强模型，该模型包括HSV颜色空间调整模块，RGB颜色空间去噪模块，RAB注意力模块；
步骤2，结合损失函数对构建的基于双颜色空间的水下图像增强模型进行训练；
步骤3，将水下图像输入训练好的模型，对水下图像进行增强处理。
2.根据权利要求1所述的基于双颜色空间的水下图像增强算法，其特征在于，所述HSV颜色空间调整模块中，首先将原始RGB颜色空间水下图像转化为HSV颜色空间图像，然后经过卷积、激活、最大池化处理，和一个全局平均池化处理，再然后通过一个全连接层以回归神经网络曲线层的节点，并通过神经网络曲线层对HSV颜色空间图像的属性进行分段线性缩放，全局调整图像的饱和度和色调，以减轻水下图像颜色失真问题。
3.根据权利要求2所述的基于双颜色空间的水下图像增强算法，其特征在于，所述神经网络曲线层通过使用以下公式缩放像素来调整预测图像：
其中，k0表示初始节点的值，M是预测的节点数，是第i幅图像的第l个颜色通道中的第j个像素值，/>表示调整后的第i幅图像的第l个颜色通道中的第j个像素值，km是节点M的值，/>
4.根据权利要求1所述的基于双颜色空间的水下图像增强算法，其特征在于，所述RGB颜色空间去噪模块基于U-Net架构，在U-Net的每个尺度上执行空间和通道维度的归一化方案，以获得多尺度表示，然后使用多尺度膨胀卷积代替编码器和解码器中的普通卷积。
5.根据权利要求4所述的基于双颜色空间的水下图像增强算法，其特征在于，所述多尺度膨胀卷积具体包括：
卷积核大小为3，5，7的并行卷积，其中卷积核大小为5和7的卷积采用3×3卷积，且在不同并行卷积中采用不同膨胀率的膨胀卷积。
6.根据权利要求1所述的基于双颜色空间的水下图像增强算法，其特征在于，所述RAB注意力模块包括通道注意力模块和空间注意力模块。
7.根据权利要求1所述的基于双颜色空间的水下图像增强算法，其特征在于，所述步骤2中，采用均方误差损失和内容感知损失组成的损失函数来训练模型。
CN202311249748.0A 2023-09-25 2023-09-25 基于双颜色空间的水下图像增强算法 Pending CN117351340A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311249748.0A CN117351340A (zh) 2023-09-25 2023-09-25 基于双颜色空间的水下图像增强算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311249748.0A CN117351340A (zh) 2023-09-25 2023-09-25 基于双颜色空间的水下图像增强算法

Publications (1)

Publication Number Publication Date
CN117351340A true CN117351340A (zh) 2024-01-05

Family

ID=89364214

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311249748.0A Pending CN117351340A (zh) 2023-09-25 2023-09-25 基于双颜色空间的水下图像增强算法

Country Status (1)

Country Link
CN (1) CN117351340A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117636149A (zh) * 2024-01-26 2024-03-01 济南市勘察测绘研究院 基于图像增强的水下目标物勘探识别方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117636149A (zh) * 2024-01-26 2024-03-01 济南市勘察测绘研究院 基于图像增强的水下目标物勘探识别方法及系统
CN117636149B (zh) * 2024-01-26 2024-04-26 济南市勘察测绘研究院 基于图像增强的水下目标物勘探识别方法及系统

Similar Documents

Publication Publication Date Title
CN109493303B (zh) 一种基于生成对抗网络的图像去雾方法
CN113313644B (zh) 一种基于残差双注意力网络的水下图像增强方法
CN110717868B (zh) 视频高动态范围反色调映射模型构建、映射方法及装置
CN113392711B (zh) 一种基于高层语义与噪声抑制的烟雾语义分割方法及系统
CN117351340A (zh) 基于双颜色空间的水下图像增强算法
CN113284061B (zh) 一种基于梯度网络的水下图像增强方法
Wu et al. FW-GAN: Underwater image enhancement using generative adversarial network with multi-scale fusion
Chen et al. MICU: Image super-resolution via multi-level information compensation and U-net
CN115565056A (zh) 基于条件生成对抗网络的水下图像增强方法及系统
CN116188325A (zh) 一种基于深度学习和图像颜色空间特性的图像去噪方法
Sun et al. Underwater image enhancement with encoding-decoding deep CNN networks
Zhang et al. Hierarchical attention aggregation with multi-resolution feature learning for GAN-based underwater image enhancement
CN115272072A (zh) 一种基于多特征图像融合的水下图像超分辨率方法
CN115035011A (zh) 一种融合策略下自适应RetinexNet的低照度图像增强方法
Cui et al. A novel underwater image restoration method based on decomposition network and physical imaging model
Zhang et al. Enhanced visual perception for underwater images based on multistage generative adversarial network
CN115829868A (zh) 基于光照与噪声残差图的水下暗光图像增强方法
CN117036182A (zh) 一种单幅图像去雾方法及系统
CN113837963B (zh) 基于深度网络在lab颜色空间下的水下图像增强方法
CN115578638A (zh) 一种基于U-Net的多层次特征交互去雾网络的构建方法
CN113689346A (zh) 一种基于对比学习的紧凑深度学习去雾方法
Cheng et al. Overview of Underwater Image Enhancement and Restoration Methods
Li et al. An electrical equipment image enhancement approach based on Zero-DCE model for power IoTs edge service
CN113962890B (zh) 一种基于仿射变换的水下色偏图像清晰化方法
CN112862698B (zh) 一种基于结构感知和纹理敏感的物理启发学习的水下图像增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination