CN111738948B - 一种基于双U-net的水下图像增强方法 - Google Patents
一种基于双U-net的水下图像增强方法 Download PDFInfo
- Publication number
- CN111738948B CN111738948B CN202010564932.4A CN202010564932A CN111738948B CN 111738948 B CN111738948 B CN 111738948B CN 202010564932 A CN202010564932 A CN 202010564932A CN 111738948 B CN111738948 B CN 111738948B
- Authority
- CN
- China
- Prior art keywords
- image
- underwater
- layer
- network
- net
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000005540 biological transmission Effects 0.000 claims abstract description 16
- 238000003384 imaging method Methods 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 11
- 230000007246 mechanism Effects 0.000 claims abstract description 9
- 230000004913 activation Effects 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 230000008033 biological extinction Effects 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 abstract description 12
- 230000008569 process Effects 0.000 abstract description 9
- 238000000889 atomisation Methods 0.000 abstract description 2
- 238000006731 degradation reaction Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 13
- 230000015556 catabolic process Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 8
- 238000011160 research Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 230000002708 enhancing effect Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 3
- 239000004816 latex Substances 0.000 description 3
- 229920000126 latex Polymers 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241000282414 Homo sapiens Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明属于计算机视觉领域，涉及一种基于双U‑net的水下图像增强方法。本发明基于水下成像物理模型设置了两个U‑net连接卷积网络框架，每个U‑net由编码‑解码网络组成，第一个U‑net前添加注意力机制，通过处理输入图像和其灰度图像，在解码结构每层都输出一个特征信息用于第二个U‑net，并估计传输图像。利用第二个U‑net处理水下图像估计补偿红光后的水下图像latent，在解码结构中连接了第一个U‑net输出的特征信息，保证图像增强过程细节不被丢失。最后根据成像模型latent除以传输图为最终结果。本发明能够有效增强颜色失真严重且雾化严重的水下图像，同时保留图像的细节。
Description
技术领域
本发明属于计算机视觉领域，涉及一种基于物理模型构建的双U-net网络的 水下图像增强方法。
背景技术
随着陆地资源的减少，人类探索海洋是大势所趋，水下图像是最直观反映 海洋内部状况的手段之一。许多利用水下图像的领域，我们都需要获得成像质 量高的水下图片，例如水下考古、水下生物研究、海底勘探，水下无人潜航器 导航、水下目标检测跟踪等领域。
水下图像处理技术的算法可以根据是否基于水下成像模型分为图像增强算 法和图像复原算法两种。图像增强方法是对得到的水下图像的像素点进行研究 增强，算法过程中不需要考虑图像的形成过程和降质过程；图像复原方法是要 根据水下图像的成像过程来获得出真实的情况。图像复原方法需要水体的光学 参数、摄像机参数和摄像机与目标物体的距离等信息，这些信息都要通过人工 测量或其他方法估测出这些值。
目前，用于增强或复原水下图像的处理方法大致可分为非物理模型的图像 增强方法和基于物理模型的图像复原方法。图像增强技术不必过多考虑图像成 像的过程和模型，可以叫非物理模型方法，这种方法力图通过单纯的图像处理 手段提高水下图像质量，通过调整图像的像素值来改善视觉质量，不过实现过 程往往较为复杂。该类方法采用直接调整图像像素值的方式改善图像质量，并 不考虑水下图像退化的物理过程(没有考虑退化模型、水下信道)，属于图像增 强范畴。
在水下图像增强技术研究早期，对水下图像的处理经常直接应用一些空气 中传统的图像增强算法，传统的图像增强算法可以分为空间域法与频域法。空 间域方法是对图像中的像素点直接处理，采用灰度映射的方法，比如选取合适 的映射变换来增加图像的对比度，改善图像灰度级等。频域法是一种间接的图 像处理方法，运用变换技术把图像映射到某种变换域内，然后利用变换域中特 有性质进行某种滤波处理，再反变换到空间域内，即得到增强后的图像。常被 应用到水下图像传统空间域增强算法有直方图均衡化、限制对比度直方图均衡 化、灰度世界假设和白平衡算法等，频域增强算法有傅里叶变换、小波变换和 滤波技术，主要包括低通滤波，高通滤波和同态滤波等。目前图像增强算法往 往存在可能只是对某一类的图像增强效果好，而其他类型的效果不好的特点， 而且由于水下环境的特殊性，仅仅通过研究把传统的图像增强算法应用在水下 图像上无法彻底解决水下图像退化问题。
基于卷积网络的图像去雾、去模糊、图像盲复原等任务跟水下图像增强方 法有异曲同工之妙。但是关键点在于训练集的获取以及卷积模型的泛化能力上。 对于水下如此复杂的退化环境，要训练出一种泛化能力足够强的网络才是难点 所在。与此同时，需要有相应的数据集的定制，也是难点所在。
基于物理模型的水下图像复原方法，是指对水下图像退化过程搭建一个合 理的数学模型估算出模型参数信息，了解整个图像的退化过程使水下图像恢复 到退化前的状态。图像复原技术适用范围更广，但是往往需要场景先验信息或 深度信息来实现图像复原。受图像处理和质量衡量方法的多样性的影响，对于 水下图像处理结果的选取只能从其应用目的和场合入手，水下图像增强算法的 研究仍然有待深入研究和完善。海洋的环境多种多样，必须要用应用的目的和 场合入手来进行合适的水下图像增强。
由于水质的复杂性，导致光线在水下的传播有折射、散射等现象，同时可 能存在的浑浊水质也是导致水下图像退化的主要原因，水下图像就因为这种降 质因素产生了严重的模糊。目前科学技术处理这种模糊还存在一定的难度。由 于无法获得原始的水下清晰图像，以及无法精确测量到导致水下图像发生退化 的模糊函数，水下图像复原技术的应用一直受到限制，也间接限制了水下探测 等技术的发展。因此如何根据水下图像的形成机制和水下图像发生退化的原因， 建立一个合理的水下图像退化的物理模型，同时使得该物理模型能够实际应用， 能够通过软硬件手段估计得到模糊函数来复原水下图像是目前的研究重点，具 备实际的研究价值和意义。
发明内容
本发明提出了一种基于双U-net的水下图像增强方法，用于增强受水下成像 环境影响所得到的颜色失真，雾化严重且细节模糊的水下图像。本发明结合水 下成像物理模型以及深度学习的方法，采用一种端到端网络估计透射图像以及 补偿红光后的图像，最终按照物理模型公式将两者进行除法得到最终结果。一 般需要人为测量先验等信息的基于物理模型的方法具有适用范围窄，测量有误 差等问题，以及一般深度学习方法的直接映射会导致图像细节丢失等问题，本 发明结合这两种方法，既可以改进他们各自的缺陷，也得到了更好的效果。本 发明的网络框架中包含两个U-net网络，如图1所示，在水下图像增强的工作中， 为了使图像细节更加清晰，加入了注意力机制模块(CBAM)来处理灰度图像。
本发明采用的技术方案：
一种基于双U-net的水下图像增强方法，其特征在于：
步骤一、建立水下成像模型
在水下环境中，图像成像模型表示如下：T(x)＝J(x)t(x)+Bλ(1-t(x)) (1)
其中，I(x)为退化的水下图像，J(x)为要得到的地面真实图像，t(x)为透射图，Bλ为介质消光系数；
步骤二、通过注意力机制提取输入图像中的细节信息
采用注意力机制模块CBAM处理水下图像，CBAM分为两部分，通道注意力 模块以及空间注意力模块；通道注意力模块使输入图像分别经过平均池化与最 大池化，再经过一个简单的三层神经网络，如公式(2)所示：
空间注意力模块使输入图像分别经过平均池化与最大池化，在经过一个卷 积核为7×7的卷积层，如公式(3)所示：
输入特征为F，最终输出的特征信息如公式(4)所示：
将水下图像输入注意力机制中得到refined_feature，之后与水下图像的灰度 图像在维数1上进行拼接，得到的结果作为第一个U-net的输入；
步骤三、构建双U-net结构
第一个U-net包括编码Encoder阶段和解码Decoder阶段；编码Encoder阶段包 含五层网络，每层包含两个卷积层，卷积核均为3，每个卷积层后接LeakyReLU 激活函数与BatchNorm2d函数，前四层网络后设有一个最大池化层Maxpooling作 为编码阶段的下采样器，最后一层网络后接sigmoid激活函数得到特征信息命名 为gray5；解码Decoder阶段包含四层网络，每层与编码器参数一致，每层网络前 设有一个上采样函数upsample作为解码上采样器；在对称的Encoder模块和 Decoder模块之间，连接编码结构中1-4层网络输出的特征信息，并在解码结构每 层网络后经过sigmoid激活函数依次输出gray4-1特征信息用于第二个U-net网络， 最终在最后一层网络后接一层卷积层和sigmoid激活函数得到透射图像gray，物 理意义为t(x)；
第二个U-net网络结构与第一个相同，不同处在于编码阶段最后一层进入网 络前，与第一个U-net输出的gray5信息进行像素除法，且解码阶段进入每层网络 前，不仅与编码结构中对应层数的特征信息进行像素除法，还与第一个U-net中 输出的gray1-4进行像素除法，两者按维数1进行拼接；最后一层网络后接一层卷 积层和tanh激活函数得到latent图像，代表补偿红光后的水下图像，物理意义为 /(x)-Bλ(1-t(x))；
最后根据成像模型latent除以gray为最终结果。
本发明的有益效果：本发明针对水下图像增强问题提出的图像增强方法在 处理颜色失真严重以及图像雾化严重的增强情况有很好的表现效果，不仅能矫 正图像色彩，而且能很好的保留图像细节信息。本发明能够实现端到端的图像 增强并且效果显著。
附图说明
图1是本发明方法的网络架构示意图。
图2是本发明中利用的注意力机制模块(CBAM)示意图，(a)为注意力机 制模块整体流程图，(b)为通道注意力模块流程图，(c)为空间注意力模块流 程图。
图3是本发明在合成的成对图像上增强图像结果展示示意图，(a)为输入 的颜色发蓝发绿水下图像，(b)为地面真实图像(groundtruth)，(c)为网络中 生成的传输图，(d)为网络中生成的补偿红光后的latent图像，(e)为网络的输 出也就是增强后矫正颜色的图像，结果图像颜色不再发蓝发绿。
图4是本发明在真实水下图像上的结果展示示意图，(a)为输入的颜色发 蓝发绿水下图像，(b)为网络中生成的传输图，(c)为网络中生成的补偿红光 后的latent图像，(d)为网络的输出也就是增强后矫正颜色的图像，结果图像颜 色不再发蓝发绿。
具体实施方式
以下结合附图和技术方案，进一步说明本发明的具体实施方式。
本发明的具体实施流程如图1中所示，输入水下图像(input)经过注意力机 制得到refined_feature，与输入图像的灰度图在维数1上进行拼接，之后输入第一 个U-net中得到传输图t(x)，以及gray1-5的特征信息。第二步将输入水下图像 (input)输入第二个U-net中，利用第一个U-net输出的gray1-5特征信息得到补偿 红光后的水下图像latent，最终latent除以传输图t(x)得到输出图像(output)。
图3是本发明在合成的成对图像上增强图像结果展示示意图，(a)为输入 的水下图像，(b)为地面真实图像(groundtruth)，(c)为网络中生成的传输图， (d)为网络中生成的latent图像，(e)为网络的输出也就是增强后的图像。图4 是本发明在真实水下图像上的结果展示示意图，(a)为输入的水下图像，(b) 为网络中生成的传输图，(c)为网络中生成的latent图像，(d)为网络的输出也 就是增强后的图像。图4展示本发明在真实水下图像上的结果，并展示输出的 传输图和补偿红光后的水下图像。
本发明采用的是新颖的、端到端的深度卷积神经网络用来实现水下图像增 强，该方法的具体实现步骤为：准备训练数据集-训练网络算法-测试算法性能结 果-反复调参使得性能最优。具体的细节如下：在训练过程中，使用Adam优化器 来迭代更新网络的参数，将总的epoch设置为200，将初始的学习率设置为0.0001， 在20、70和90个epoch时将学习率减去学习率的百分之一作为新的学习率，epoch 达到100以后，每个epoch都将更新学习率。
本发明是图像增强算法，选取在各种图像增强算法中敏感的多尺度结构相 似度(MS-SSIM)与可以保持色彩和明度的L1损失函数相加作为训练的损失函 数L，如下所示：
L＝α·LMS-SSIM+(1-α)·LL1 (5)
α设置为0.8。
损失函数是用来计算预测值与目标值之间的差距，损失值越小说明模型对 数据的拟合越好，通过计算本发明的预测函数，可知本发明的方法的数据拟合 好，因此增强效果很好。
Claims (1)
1.一种基于双U-net的水下图像增强方法，其特征在于：
步骤一、建立水下成像模型
在水下环境中，图像成像模型表示如下：I(x)＝J(x)t(x)+Bλ(1-t(x)) (1)
其中，I(x)为退化的水下图像，J(x)为要得到的地面真实图像，t(x)为透射图，Bλ为介质消光系数；
步骤二、通过注意力机制提取输入图像中的细节信息
采用注意力机制模块CBAM处理水下图像，CBAM分为两部分，通道注意力模块以及空间注意力模块；通道注意力模块使输入图像分别经过平均池化与最大池化，再经过一个简单的三层神经网络，如公式(2)所示：
空间注意力模块使输入图像分别经过平均池化与最大池化，在经过一个卷积核为7×7的卷积层，如公式(3)所示：
输入特征为F，最终输出的特征信息如公式(4)所示：
将水下图像输入注意力机制中得到refined_feature，之后与水下图像的灰度图像在维数1上进行拼接，得到的结果作为第一个U-net的输入；
步骤三、构建双U-net结构
第一个U-net包括编码Encoder阶段和解码Decoder阶段；编码Encoder阶段包含五层网络，每层包含两个卷积层，卷积核均为3，每个卷积层后接LeakyReLU激活函数与BatchNorm2d函数，前四层网络后设有一个最大池化层Maxpooling作为编码阶段的下采样器，最后一层网络后接sigmoid激活函数得到特征信息命名为gray5；解码Decoder阶段包含四层网络，每层与编码器参数一致，每层网络前设有一个上采样函数upsample作为解码上采样器；在对称的Encoder模块和Decoder模块之间，连接编码结构中1-4层网络输出的特征信息，并在解码结构每层网络后经过sigmoid激活函数依次输出gray4-1特征信息用于第二个U-net网络，最终在最后一层网络后接一层卷积层和sigmoid激活函数得到透射图像gray，物理意义为t(x)；
第二个U-net网络结构与第一个相同，不同处在于编码阶段最后一层进入网络前，与第一个U-net输出的gray5信息进行像素除法，且解码阶段进入每层网络前，不仅与编码结构中对应层数的特征信息进行像素除法，还与第一个U-net中输出的gray1-4进行像素除法，两者按维数1进行拼接；最后一层网络后接一层卷积层和tanh激活函数得到latent图像，代表补偿红光后的水下图像，物理意义为I(x)-Bλ(1-t(x))；
最后根据成像模型latent除以gray为最终结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010564932.4A CN111738948B (zh) | 2020-06-19 | 2020-06-19 | 一种基于双U-net的水下图像增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010564932.4A CN111738948B (zh) | 2020-06-19 | 2020-06-19 | 一种基于双U-net的水下图像增强方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111738948A CN111738948A (zh) | 2020-10-02 |
| CN111738948B true CN111738948B (zh) | 2022-09-20 |
Family
ID=72650339
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010564932.4A Active CN111738948B (zh) | 2020-06-19 | 2020-06-19 | 一种基于双U-net的水下图像增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111738948B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112446292B (zh) * | 2020-10-28 | 2023-04-28 | 山东大学 | 一种2d图像显著目标检测方法及系统 |
| CN112581373B (zh) * | 2020-12-14 | 2022-06-10 | 北京理工大学 | 一种基于深度学习的图像颜色矫正方法 |
| CN112597906B (zh) * | 2020-12-25 | 2024-02-02 | 杭州电子科技大学 | 一种基于退化先验的水下目标检测方法 |
| CN112862698B (zh) * | 2021-01-13 | 2022-09-20 | 大连理工大学 | 一种基于结构感知和纹理敏感的物理启发学习的水下图像增强方法 |
| CN113436107B (zh) * | 2021-07-05 | 2023-06-20 | 鹏城实验室 | 图像增强方法、智能设备、计算机存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110889813B (zh) * | 2019-11-15 | 2023-11-24 | 安徽大学 | 基于红外信息的低光图像增强方法 |
| CN111275637B (zh) * | 2020-01-15 | 2024-01-30 | 北京工业大学 | 一种基于注意力模型的非均匀运动模糊图像自适应复原方法 |
-
2020
- 2020-06-19 CN CN202010564932.4A patent/CN111738948B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN111738948A (zh) | 2020-10-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111738948B (zh) | 一种基于双U-net的水下图像增强方法 | |
| CN110363716B (zh) | 一种基于条件生成对抗网络复合降质图像高质量重建方法 | |
| CN111402146B (zh) | 图像处理方法以及图像处理装置 | |
| CN116309232B (zh) | 一种结合物理先验与深度学习的水下图像增强方法 | |
| Wu et al. | FW-GAN: Underwater image enhancement using generative adversarial network with multi-scale fusion | |
| CN114998141B (zh) | 基于多分支网络的空间环境高动态范围成像方法 | |
| CN113077505A (zh) | 一种基于对比学习的单目深度估计网络的优化方法 | |
| CN114565539B (zh) | 一种基于线上知识蒸馏的图像去雾方法 | |
| Zhou et al. | Domain adaptive adversarial learning based on physics model feedback for underwater image enhancement | |
| CN113139585A (zh) | 一种基于统一多尺度密集连接网络的红外与可见光图像融合方法 | |
| Zhang et al. | Hierarchical attention aggregation with multi-resolution feature learning for GAN-based underwater image enhancement | |
| CN115272072A (zh) | 一种基于多特征图像融合的水下图像超分辨率方法 | |
| CN114881879A (zh) | 一种基于亮度补偿残差网络的水下图像增强方法 | |
| Han et al. | UIEGAN: Adversarial learning-based photorealistic image enhancement for intelligent underwater environment perception | |
| Zhang et al. | Enhanced visual perception for underwater images based on multistage generative adversarial network | |
| Huang et al. | Underwater image enhancement via LBP‐based attention residual network | |
| Shen et al. | Pseudo-retinex decomposition-based unsupervised underwater image enhancement and beyond | |
| CN116452431A (zh) | 基于多分支渐进式深度网络的弱光图像增强方法 | |
| CN111275751A (zh) | 一种无监督绝对尺度计算方法及系统 | |
| CN114926359B (zh) | 联合双颜色空间恢复和多级解码结构的水下图像增强方法 | |
| Kumar et al. | Underwater image enhancement using deep learning | |
| CN113436240B (zh) | 一种基于域适应的复杂环境下的单目图像深度估计方法 | |
| CN112862698B (zh) | 一种基于结构感知和纹理敏感的物理启发学习的水下图像增强方法 | |
| CN112991174A (zh) | 一种提高单帧红外图像分辨率的方法与系统 | |
| CN113191971A (zh) | 一种基于yuv颜色空间的无人机图像去雾方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |