CN115035010A - 一种由卷积网络引导模型映射的水下图像增强方法 - Google Patents

一种由卷积网络引导模型映射的水下图像增强方法 Download PDF

Info

Publication number
CN115035010A
CN115035010A CN202210637356.0A CN202210637356A CN115035010A CN 115035010 A CN115035010 A CN 115035010A CN 202210637356 A CN202210637356 A CN 202210637356A CN 115035010 A CN115035010 A CN 115035010A
Authority
CN
China
Prior art keywords
underwater
image
network
model
image enhancement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210637356.0A
Other languages
English (en)
Inventor
赵寅森
高发荣
张启忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202210637356.0A priority Critical patent/CN115035010A/zh
Publication of CN115035010A publication Critical patent/CN115035010A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种由卷积网络引导模型映射的水下图像增强方法，所述由卷积网络引导模型映射的水下图像增强方法包括以下步骤；步骤一：搭建水下图像增强网络结构；步骤二：利用深度稠密残差模块提取并融合不同层次的特征；步骤三：利用注意力机制关注具有代表性的特征通道。与现有技术相比的优点在于：本发明提出一种由卷积网络引导模型映射网络的水下图像增方法，在改进水下成像模型的帮助下，充分结合成像模型的水下场景理解能力和卷积网络的数据驱动能力，在实验结果中通过视觉感知比较和图像质量评价表明，该网络具有灵活的自适应调整能力，能够准确地对色彩校正。此外，注意力机制的引入能够突出主体的细节特征，进一步提高图像增强质量。

Description

一种由卷积网络引导模型映射的水下图像增强方法
技术领域
本发明涉及水下图像增强处理研究技术领域，具体是指一种由卷积网络引导模型映射的水下图像增强方法。
背景技术
海洋蕴藏着无数的珍贵自然资源，在人类探索和开发海洋的过程中，完成水下任务是具有挑战性的。水下场景的获取和感知对于完成海洋生物识别、水下场景重建、水下考古、水下环境监测等至关重要。通常情况下，想要获得效果较好的水下场景信息，往往依赖于摄像机传感器拍摄清晰、完整的水下图像或视频。然而，由于水中光信号的衰减和散射效应，通过摄像机获得的图像通常存在颜色失真、对比度低、细节模糊等问题。因此，将水下图像转化成一种更适合人或者机器进行分析和处理的形式是有必要的。
水下图像增强旨在不损失任何信息的情况下提高图像质量，是一种效率高、成本低的图像处理技术。通过调整图像的像素来改善其视觉效果，常用的方法包括直方图均衡、颜色校正和图像融合等方法。这些图像增强方法在一定程度上可以改善视觉质量，但由于缺乏水下场景知识，可能会加重噪声、引入伪影并导致颜色失真。深度学习技术凭借其优秀的特征表达能力和数据驱动能力，在水下图像增强领域发挥了令人印象深刻的性能，例如。卷积神经网络(CNN)和生成对抗网络(GAN)是典型的方法。这些数据驱动的方法通过学习色彩、结构、纹理等特征实现视觉重构，但是大多情况下只适用于特定的水下场景，主要原因是深度网络忽视了水下成像领域的知识。当面对陌生水域时，从训练数据集中学习到的先验知识和固定的特征不能很好地推广到不断变化的实际场景中，这限制了深度学习方法的实用价值。
基于模型的方法和基于学习的方法是处理水下图像的两种不同范式，成像模型方法根据水下场景先验知识进行图像复原，而深度学习方法根据提前训练的先验参数进行图像增强。通过集成这两个模块，存在从两种范式中互补受益的可能性。早期研究从水下场景知识注入和使用网络优化参数的角度来探索成像模型和卷积网络的结合。有些研究工作侧重于水下场景知识的注入，从而用于合成数据集或者增强网络性能。例如Chen等人提出一种混合的水下图像合成网络，该网络融合了物理先验和数据驱动，以合成高质量的水下图像训练数据集。 Li等人提出了一种通过介质传输引导的多色空间嵌入的水下图像增强网络(Ucolor)，其中将模型估计的传输映射图作为CNN的注意特征，进一步提升水下图像视觉质量。另一种是侧重于使用网络来优化参数。例如Liu等人提出了一种基于传输的图像增强任务的统一范式，将数据驱动的CNN作为先验集合，自动识别并设定不同场景的属性和数据分布。Li等人提出了一种水下图像超分辨率增强方法(AOA-U-Net)，其中将CNN网络和成像模型串联使用，使用CNN网络的数据驱动能力解决部分复杂参数。事实上，基于模型方法和基于学习方法是在互补的，它们之间的潜在关系尚未得到充分利用。
为定量和定性地研究水下图像增强技术在不同场景中的表现能力，本发明提出一种由卷积网络引导模型映射的水下图像增强方法，模型参数是由神经网络引导的，该方法能够在不同水下场景中还原真实的图像色彩，色彩还原性能和泛化性能得到提升。
发明内容
本发明要解决的技术问题是克服以上技术困难，提供一种由卷积网络引导模型映射的水下图像增强方法(IMM-Net)。
为解决上述技术问题，本发明提供的技术方案为：
一种由卷积网络引导模型映射的水下图像增强方法，所述由卷积网络引导模型映射的水下图像增强方法包括以下步骤；
步骤一：搭建水下图像增强网络结构
该网络的工作流程可以分为特征提取、映射和重组三个步骤，通过端到端结合特征提取网络和成像模型。
具体为：首先使用3层深度稠密残差模块和特征转换模块作为编码网络(Encoder)，用于表示不同层次的特征。然后将生成的特征图输送到Kc(x)预测模块中，该模块由通道注意力和深度稠密残差模块组成，强调具有代表性的特征通道，在最后一层使用Softmax函数输出具有全局上下文理解的特征传输图Kc(x)。另外，将Encoder生成的特征图与原始图像进行拼接，输送到Lc(x)预测中。最后，将图像至模型的映射特征图输送到改进水下成像模型中，重建生成增强后的图像J(x)。
步骤二：利用深度稠密残差模块提取并融合不同层次的特征
具体为：深度稠密残差模块(DRDB)如图2所示，每个DRDB由4层残差单元块组成，每层的输出特征层都是之后所有层的输入，目的是缓解梯度消失问题和增强特征前向传播，减轻过拟合现象。不同层次的特征融合可以保留底层特征的空间信息的同时，利用高层特征的语义信息进行图像理解。
步骤三：利用注意力机制关注具有代表性的特征通道
具体为：通道注意力机制(CAM)的细节如图3所示。卷积核作用的感受野是有限的，捕捉图像全局信息需要积累更多的网络层数，使得学习效率降低。自注意力机制计算出特征中的自相关性，利用非等价权重分配的方法来强调的具有代表性的特征通道。
该模块由全局上下文建模和通道特征转换两部分组成。上下文建模模块通过1×1卷积核和Softmax函数生成权重向量，然后与另一个权重矩阵进行像素乘法，得到全局上下文特征。对全局上下文特征进行特征转换后，与输入进行像素相加，输出维度与输入维度相同。通道注意力公式为：
Figure BDA0003681012300000031
其中Np为每个特征图中像素总数Np＝H·W，y和z表示通道注意力的输入和输出，i表示为通道索引数，j表示枚举所有可能的像素位置数，αj表示在j位置上的权重，δ表示特征转换。
步骤四：将图像至模型映射的特征图Kc(x)和Lc(x)输送到改进水下成像模型中，生成增强后的图像J(x)；
具体为：成像模型的映射具有水下先验知识的表达，比于单一使用深度网络，具有更好的泛化能力，并能有效地进行训练，以适应不同水下场景条件下的视觉调整；
改进水下成像模型的表达式为：
Jc(x)＝Kc(x)Ic(x)-Kc(x)+Lc(x)
Figure BDA0003681012300000032
Figure BDA0003681012300000033
在该公式中，x表示像素点坐标，c表示颜色通道，Ic(x)表示水下环境中相机拍摄的图片，Jc(x)表示物体本身的辐射光，即期望获得的清晰图像，t(x)表示直接传输和反向散射衰减系数，Bc(x)表示背景光，Kc(x)是一个依赖于输入图像的模型，Lc(x)为自适应的色彩补偿，消除水下背景的颜色偏差。
本发明与其他的水下图像增强算法相比，具有如下优点：
在本发明中，提出一种由卷积网络引导模型映射网络的水下图像增方法，在改进水下成像模型的帮助下，充分结合成像模型的水下场景理解能力和卷积网络的数据驱动能力，在实验结果中通过视觉感知比较和图像质量评价表明，该网络具有灵活的自适应调整能力，能够准确地对色彩校正。此外，注意力机制的引入能够突出主体的细节特征，进一步提高图像增强质量。
附图说明
为了说明清楚本发明技术方案，同时展示与其他现有算法的处理效果进行对比的结果，下面对发明内容中所需要的附图做简单介绍。
图1为本发明描述的一种水下图像增强算法网络结构图。
图2为本发明描述的一种用于特征提取的深度稠密残差网络结构图。
图3为本发明描述的一种用于特征提取的通道注意力网络结构图。
图4为本发明算法与其他图像增强算法在UIEB数据集实验结果。
图5为本发明算法与其他图像增强算法在Color-Checker7数据集实验结果。
具体实施方式
下面结合附图对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方案和具体的操作过程。
具体实施例一
一种由卷积网络引导模型映射的水下图像增强方法的网络训练，包括以下步骤：
步骤1：网络训练数据设置
从UIEB水下图像增强数据集中随机选取800对水下图像，包括了真实水下图像和相应的参考图像。我们通过下采样将输入图像的大小调整为128x128，并且设置相关的超参数，满足后续特征提取所需的内存限制。使用ADAM训练我们的模型，并设置learning rate为 0.0001，momentum为0.9，batchsize设置为1，epoch设置为350。使用Pytorch作为深度学习框架，使用Inter(R)i9-10900xCPU、32GB RAM和Nvidia GTX3090GPU。
步骤2：训练结果验证
为了进行测试，我们从UIEB中提取90对真实图像作为测试集，表示为Test-R90，并且使用评价指标进行定量分析。对于Test-R90数据集，选取均方误差(MSE)、峰值信噪比(PSNR) 和结构相似性指数(SSIM)、学习感知图像块相似度(LPIPS)作为全参考评价指标。较低的MSE和较高的PSNR表示结果在图像内容上更接近参考图像。SSIM分数越高，表明结果在图像结构和纹理方面与参考图像更相似。LPIPS与感知损失相同，是通过度量图像之间的高层语义特征来判断感知相似度，在判断图片相似度时更符合人类的感知。
从表1可以看出，我们的IMM-Net在有参考评价指标中优于其他竞争方法。在Test-R90 数据集上的PSNR和SSIM分别提升了11.9％和2.2％，MSE和LPIPS指标分别下降了42.3％和0.09％(相比于Ucolor)。通过定量比较发现利用深度训练去学习图像的传输映射能更好地理解水下场景知识，最终获得更符合视觉感知的增强图像，如图4所示。
表1 在Test-R90数据集上使用PSNR(dB)、MSE(×103)、SSIM和LPIPS作为有参考评价指标，使用UIQM和UCIQE作为无参考评价指标。
Figure BDA0003681012300000051
步骤3：色彩还原准确性分析
将Color-Checker7数据集的图像依次输入网络中(数据集中的人物拿着标准色卡站在距离相机约为1m水下环境中拍摄的)，通过处理获得增强的水下图像，如图5所示。
使用UIQM指标定量评价水下图像的色彩、清晰度和对比度，具体评价细节如表2所示。所有视觉对比表明，IMM-Net不仅在视觉上更符合贴近人眼感知，而且在指标上也超过或者接近最高水准(平均UIQM最高为3.67)，说明本文方法具有良好的颜色校准能力。此外，IMM-Net能很好地理解不同相机拍摄的水下场景，说明该方法具有灵活的场景适应能力。
表2 在Color-Checker7数据集[21]上使用UIQM评价指标比较，最好结果用黑色字体标注。
Figure BDA0003681012300000052
在这项研究中，提出了一种由卷积网络引导模型映射的水下图像增强方法。在改进水下成像模型的帮助下，可以充分结合成像模型的水下场景理解能力和卷积网络的数据驱动能力。在应对不同退化程度的水域时，该网络具有灵活的自适应调整能力，能够准确地对色彩校正。从而使图像更符合人或者机器进行分析和处理的形式，便于获取效果好的水下场景信息。
以上所述的实施例仅仅是对本发明的优选实例方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (5)

1.一种由卷积网络引导模型映射的水下图像增强方法，其特征在于：所述由卷积网络引导模型映射的水下图像增强方法包括以下步骤；
S1、获取水下图像，检测图像的RGB通道的像素值，并且进行像素归一化得到图像I(x)；
S2、使用卷积神经网络对输入的RGB图像I(x)进行特征提取，并预测特征传输预测图Kc(x)和Lc(x)；
S3、将图像至模型映射的特征图Kc(x)和Lc(x)输送到改进水下成像模型中，生成增强后的图像J(x)；
S4、在训练引导时，我们使用多个损失函数组合的形式从色彩内容、感知信息以及色彩平滑方面引导训练。
2.根据权利要求1所述的一种由卷积网络引导模型映射的水下图像增强方法，其特征在于：所述的特征提取使用深度稠密残差网络的不同层次的特征融合保留底层特征的空间信息的同时，利用高层特征的语义信息进行图像理解。
3.根据权利要求1所述的一种由卷积网络引导模型映射的水下图像增强方法，其特征在于：所述的特征提取使用通道注意力机制来强调的具有代表性的特征通道，捕获图像的全局信息。
4.根据权利要求1所述的一种由卷积网络引导模型映射的水下图像增强方法，其特征在于：所述的改进水下成像模型包括；
成像模型的映射具有水下先验知识的简单表达，比于单一使用深度网络，具有更好的泛化能力，并能有效地进行训练，以适应不同水下场景条件下的视觉调整；
改进水下成像模型的表达式为
Jc(x)＝Kc(x)Ic(x)-Kc(x)+Lc(x)
Figure FDA0003681012290000011
Figure FDA0003681012290000012
在该公式中，x表示像素点坐标，c表示颜色通道，Ic(x)表示水下环境中相机拍摄的图片，Jc(x)表示物体本身的辐射光，即期望获得的清晰图像，t(x)表示直接传输和反向散射衰减系数，Bc(x)表示背景光，Kc(x)是一个依赖于输入图像的模型，Lc(x)为自适应的色彩补偿，消除水下背景的颜色偏差。
5.根据权利要求1所述的一种由卷积网络引导模型映射的水下图像增强方法，其特征在于：所述的损失函数包括；
在lab空间中，调节a和b空间能平衡色彩而不改变亮度，颜色损失通过余弦相似度分别量化a和b空间的色彩，然后求和取均值获得颜色损失值，该损失函数鼓励生成的图像与参考图像中的颜色相匹配，颜色损失函数的表达式为
Figure FDA0003681012290000021
其中i表示一个像素，N表示涉及到的像素总数，此时N＝H×W，∠(，)表示两个像素点的余弦相似度值,下标a和b分别表示为a空间和b空间中的像素值。
CN202210637356.0A 2022-06-07 2022-06-07 一种由卷积网络引导模型映射的水下图像增强方法 Pending CN115035010A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210637356.0A CN115035010A (zh) 2022-06-07 2022-06-07 一种由卷积网络引导模型映射的水下图像增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210637356.0A CN115035010A (zh) 2022-06-07 2022-06-07 一种由卷积网络引导模型映射的水下图像增强方法

Publications (1)

Publication Number Publication Date
CN115035010A true CN115035010A (zh) 2022-09-09

Family

ID=83122514

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210637356.0A Pending CN115035010A (zh) 2022-06-07 2022-06-07 一种由卷积网络引导模型映射的水下图像增强方法

Country Status (1)

Country Link
CN (1) CN115035010A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309232A (zh) * 2023-05-15 2023-06-23 中国海洋大学 一种结合物理先验与深度学习的水下图像增强方法
CN116797490A (zh) * 2023-07-12 2023-09-22 青岛理工大学 一种轻量级浑浊水体图像增强方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309232A (zh) * 2023-05-15 2023-06-23 中国海洋大学 一种结合物理先验与深度学习的水下图像增强方法
CN116309232B (zh) * 2023-05-15 2023-08-18 中国海洋大学 一种结合物理先验与深度学习的水下图像增强方法
CN116797490A (zh) * 2023-07-12 2023-09-22 青岛理工大学 一种轻量级浑浊水体图像增强方法
CN116797490B (zh) * 2023-07-12 2024-02-09 青岛理工大学 一种轻量级浑浊水体图像增强方法

Similar Documents

Publication Publication Date Title
CN111754438B (zh) 基于多分支门控融合的水下图像复原模型及其复原方法
CN111402146B (zh) 图像处理方法以及图像处理装置
CN111242238B (zh) 一种rgb-d图像显著性目标获取的方法
CN111260584A (zh) 基于gan网络的水下退化图像增强的方法
CN111275637A (zh) 一种基于注意力模型的非均匀运动模糊图像自适应复原方法
CN115035010A (zh) 一种由卷积网络引导模型映射的水下图像增强方法
CN111986084A (zh) 一种基于多任务融合的多相机低光照图像质量增强方法
CN114170286B (zh) 一种基于无监督深度学习的单目深度估计方法
CN113313644A (zh) 一种基于残差双注意力网络的水下图像增强方法
CN117011194B (zh) 一种基于多尺度双通道注意力网络的低光图像增强方法
CN115861094A (zh) 一种融合注意力机制的轻量级gan水下图像增强模型
CN116563693A (zh) 基于轻量级注意力机制的水下图像色彩复原方法
Zhang et al. Hierarchical attention aggregation with multi-resolution feature learning for GAN-based underwater image enhancement
CN115272072A (zh) 一种基于多特征图像融合的水下图像超分辨率方法
CN108921887A (zh) 基于水下光线衰减先验性的水下场景深度地图估计方法
CN116309163A (zh) 一种黑白图像引导的彩色raw图像联合去噪去马赛克方法
Han et al. UIEGAN: Adversarial Learning-based Photo-realistic Image Enhancement for Intelligent Underwater Environment Perception
CN113810683B (zh) 一种客观评估水下视频质量的无参考评价方法
Liu et al. Multi-Scale Underwater Image Enhancement in RGB and HSV Color Spaces
Li et al. An improved method for underwater image super-resolution and enhancement
CN115719457A (zh) 一种基于深度学习的无人机场景下小目标检测的方法
Kumar et al. Underwater Image Enhancement using deep learning
CN113837963B (zh) 基于深度网络在lab颜色空间下的水下图像增强方法
CN114881879A (zh) 一种基于亮度补偿残差网络的水下图像增强方法
CN117218033B (zh) 一种水下图像复原方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination