CN114529464A - 一种基于深度学习的水下图像恢复方法 - Google Patents

一种基于深度学习的水下图像恢复方法 Download PDF

Info

Publication number
CN114529464A
CN114529464A CN202210040084.6A CN202210040084A CN114529464A CN 114529464 A CN114529464 A CN 114529464A CN 202210040084 A CN202210040084 A CN 202210040084A CN 114529464 A CN114529464 A CN 114529464A
Authority
CN
China
Prior art keywords
underwater
image
network
model
graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210040084.6A
Other languages
English (en)
Inventor
张昌华
杨兴
左琳
刘宇
徐冯杰
刘斌
罗茂林
胡建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202210040084.6A priority Critical patent/CN114529464A/zh
Publication of CN114529464A publication Critical patent/CN114529464A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G06T5/77—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Abstract

本发明公开了一种基于深度学习的水下图像恢复方法，属于深度学习和图像处理领域。本发明是基于水下物理模型的水下图像复原方法，创新性地通过将水下物理模型与深度学习相结合的方式，实现对水下退化图像的结构恢复和颜色校正。该发明首先使用暗通道先验模型获取水下退化图像的水下散射图和水下透射率图，然后通过结构恢复网络实现对水下退化图像的物理复原，最后使用颜色校正网络完成对水下退化图像的最终复原。本发明所述方法可以实现对水下退化图像的结构恢复和颜色校正，对在低照度条件下拍摄的水下图像具有很好的适应能力，解决了水下退化图像的结构退化、颜色失真等问题。

Description

一种基于深度学习的水下图像恢复方法
技术领域
本发明属于深度学习和图像处理领域，具体涉及一种基于深度学习的水下图像恢复方法。
背景技术
水下图像处理在水下作业项目中是一个热门的话题，也是水下机器人发展的基础。水下图像受到水对光的吸收以及水中悬浮粒子对光的散射(前向散射与后向散射)，导致所捕获的图像可见度低、模糊、对比度下降以及产生色偏，这对水下作业任务带来了严峻的挑战。
在现行的技术中，传统的图像处理算法难以恢复出图像的边缘信息和颜色信息。此外，面对复杂的水下环境，传统水下图像复原方法不具备普适性和迁移性，且受不均匀光照影响较大。另一方面，利用深度学习技术进行图像增强的方法往往不能很好地从机理上去解决水下图像模糊不清、边缘对比度信息丢失等问题。
因此，需要一种结合深度学习技术和水下物理成像模型的方法，从物理上实现对水下图像的恢复，解决水下图像可见度低、色偏、对比度低、模糊等诸多问题，且增加网络模型的泛化性和实用性。
发明内容
本发明提供了一种基于深度学习的水下图像恢复方法，结合了深度学习技术与水下物理成像模型，目的是解决现有技术方法的普适性低、受光照的影响较大以及恢复精确度低等问题。本发明提供的基于深度学的习水下图像恢复方法能够结合水下场景的物理特性，提升了图像恢复的视觉质量。
本发明所提出的技术问题是这样解决的：
一种基于深度学习的水下图像恢复方法，包括以下步骤：
步骤1，将水下退化图像I(z)输入到(Dark Channel Prior，DCP)模型中，得到水下退化图像的水下透射率图t(z)和水下散射图B(z)，并将其标注为目标图像作为辅助训练标签；
步骤2，结构恢复网络(Structure Restoration Network，SRN)训练：将水下退化图像I(z)分别输入到残差密集网络(Residual Dense Network，RDN)和U-Net网络中，且分别以步骤1得出的水下透射率图t(z)和水下散射图B(z)为目标图像进行训练得到SRN模型和权重；
步骤3，颜色校正网络(Color Correction Network，CCN)训练：将步骤2训练好的网络模型分别预测出水下透射率图
Figure BDA0003469823790000021
水下散射图
Figure BDA0003469823790000022
通过水下物理成像模型，即
Figure BDA0003469823790000023
反演得到水下结构恢复图像J(z)，再将J(z)输入到CCN网络模型中，并进行训练得到CCN模型和权重；
步骤4，依次将步骤2、步骤3训练好的网络模型拼接成一个网络模型，再将测试图像输入到拼接好的网络模型中，最终直接输出水下复原图像
Figure BDA0003469823790000024
本发明步骤2包括：
步骤2-1，利用步骤1中的暗通道先验模型得出水下退化图像I(z)的先验图像，即暗通道图D(x)、水下散射图B(z)和水下透射率图t(z)：
(1)暗通道图D(x)
Figure BDA0003469823790000025
其中，x表示图像的每个像素点坐标，Ω(x)表示以x为中心的一块领域区域，c表示图像的R、G、B三个通道；
(2)水下散色图B(z)
从D(x)中按照亮度的大小取前0.1％的像素点位置Γ{D(x)}，再从I(z)中寻找与Γ{D(x)}在对应位置且数量最多的像素值作为B(z)；
(3)水下透射率图t(z)
Figure BDA0003469823790000026
其中，z表示图像的每个像素点坐标，Ω(z)表示以z为中心的一块领域区域，w是一个常数；
步骤2-2，将I(z)作为RDN的输入，并使用步骤2-1得到的水下透射率图t(z)作为该网络模型的目标图像；
步骤2-3，将I(z)作为U-Net网络输入，并使用步骤2-1得到的水下散射图B(z)作为该网络模型的目标图像；
步骤2-4，将步骤2-2、步骤2-3中的网络模型进行联合训练得到SRN的模型和权重。
本发明步骤3包括：
步骤3-1，使用步骤2-2和步骤2-3训练好的网络模型进行预测得到水下透射率图
Figure BDA0003469823790000031
和水下散射图
Figure BDA0003469823790000032
再通过水下物理成像模型，即
Figure BDA0003469823790000033
反演得到水下结构恢复图像J(z)；
步骤3-2，将J(z)依次输入到多尺度融合模块(Multi-Scale Fusion Block，MSFB)和注意力模块(Attention Module，AM)中，得到特征图f1；
步骤3-3，将J(z)输入到图像高频信号提取网络模型中，得到特征图f2；
步骤3-4，将f1和f2进行通道堆叠再通过卷积运算降低堆叠通道的维度；
步骤3-5，将步骤3-2、步骤3-3和步骤3-4中的网络模型进行训练得到CCN的模型和权重。
附图说明
下面结合附图和具体实施方式对本发明做进一步的具体说明，本发明的上述或其他方面的优点将变得更加清楚。
图1为本发明实施例的水下图像恢复算法的总流程图；
图2为本发明实施例的各个神经网络模型训练、测试的流程图；
图3为本发明实施例的提取图像高频信号算法的流程图；
图4为本发明实施例的水下退化训练图像之一；
图5为本发明实施例的经物理模型先验得出的水下透射率图和水下散射图；
图6为本发明实施例的参考图像(Ground Truth，GT)；
图7为本发明实施例的测试图像；
图8为本发明实施例的最终复原图像；
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
本发明方法所构建的总体流程如图1所示，其中包括各个神经网络的训练流程如图2所示，提取图像高频信号算法流程如图3所示，训练数据集如图4、图5所示，参考图像如图6所示，测试图像如图7所示，复原图像如图8所示。本发明实施例中水下图像处理算法的具体构建步骤如下：
步骤1，将水下退化图像I(z)(如图4所示)输入到DCP模型中，得到每张退化图像的水下透射率图t(z)和水下散射图B(z)(如图5所示)，并将其标注为目标图像作为辅助训练标签；
步骤2，结构恢复网络(Structure Restoration Network，SRN)训练：将水下退化图像I(z)分别输入到残差密集网络(Residual Dense Network，RDN)和U-Net网络中，且分别以步骤1得出的水下透射率图t(z)和水下散射图B(z)为目标图像进行联合训练得到SRN模型和权重；
步骤3，颜色校正网络(Color Correction Network，CCN)训练：将步骤2训练好的网络模型分别预测出水下透射率图
Figure BDA0003469823790000041
水下散射图
Figure BDA0003469823790000042
通过水下物理成像模型，即
Figure BDA0003469823790000043
反演得到水下结构恢复图像J(z)，再将J(z)输入到CCN网络模型中，并以GT为目标图像(如图6所示)，进行训练得到CCN模型和权重；
步骤4，依次将步骤2、步骤3训练好的网络模型拼接成一个网络模型，再将测试图像(如图7所示)输入到拼接好的网络模型中，最终直接输出水下复原图像
Figure BDA0003469823790000051
(如图8所示)。
本发明步骤2包括：
步骤2-1，利用步骤1中的暗通道先验模型得出水下退化图像I(z)的先验图像，即暗通道图D(x)、水下散射图B(z)和水下透射率图t(z)：
(1)暗通道图D(x)
Figure BDA0003469823790000052
其中，x表示图像的每个像素点坐标，Ω(x)表示以x为中心的一块领域区域，c表示图像的R、G、B三个通道；
(2)水下散色图B(z)
从D(x)中按照亮度的大小取前0.1％的像素点位置Γ{D(x)}，再从I(z)中寻找与Γ{D(x)}在对应位置且数量最多的像素值作为B(z)；
(3)水下透射率图t(z)
Figure BDA0003469823790000053
其中，z表示图像的每个像素点坐标，Ω(z)表示以z为中心的一块领域区域，w的值为0.9；
步骤2-2，将I(z)作为RDN的输入，并使用步骤2-1得到的水下透射率图t(z)作为该网络模型的目标图像；
步骤2-3，将I(z)作为U-Net网络输入，并使用步骤2-1得到的水下散射图B(z)作为该网络模型的目标图像；
步骤2-4，将步骤2-2、步骤2-3中的网络模型进行联合训练得到SRN的模型和权重。
本发明步骤3包括：
步骤3-1，使用步骤2-2和步骤2-3训练好的网络模型进行预测得到水下透射率图
Figure BDA0003469823790000061
和水下散射图
Figure BDA0003469823790000062
再通过水下物理成像模型，即
Figure BDA0003469823790000063
反演得到水下结构恢复图像J(z)；
步骤3-2，将J(z)依次输入到多尺度融合模块(Multi-Scale Fusion Block，MSFB)和注意力模块(Attention Module，AM)中，得到特征图f1；
步骤3-3，将J(z)输入到图像高频信号提取网络模型中，得到特征图f2；
步骤3-4，将f1和f2进行通道堆叠再通过卷积运算降低堆叠通道的维度；
步骤3-5，将步骤3-2、步骤3-3和步骤3-4中的网络模型进行训练得到CCN的模型和权重。
本发明提供了一种基于深度学习的水下图像恢复方法，具体实现该技术方案的方法和途径很多，以上所述是本发明的优选实施方式；对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (1)

1.一种基于深度学习的水下图像恢复方法，其特征在于，包括以下步骤：
步骤1，将水下退化图像I(z)输入到暗通道先验(Dark Channel Prior，DCP)模型中，得到水下退化图像的水下透射率图t(z)和水下散射图B(z)，并将其标注为目标图像作为辅助训练标签；
步骤2，结构恢复网络(Structure Restoration Network，SRN)训练：该结构恢复网络主要用于水下图像结构恢复；其中，该步骤又可以分为如下4个步骤：
步骤2-1，利用步骤1中的暗通道先验模型得出水下退化图像I(z)的先验图像，即暗通道图D(x)、水下散射图B(z)和水下透射率图t(z)：
(1)暗通道图D(x)
Figure FDA0003469823780000011
其中，x表示图像的每个像素点坐标，Ω(x)表示以x为中心的一块领域区域，c表示图像的R、G、B三个通道；
(2)水下散色图B(z)
从D(x)中按照亮度的大小取前0.1％的像素点位置Γ{D(x)}，再从I(z)中寻找与Γ{D(x)}在对应位置且数量最多的像素值作为B(z)；
(3)水下透射率图t(z)
Figure FDA0003469823780000012
其中，z表示图像的每个像素点坐标，Ω(z)表示以z为中心的一块领域区域，w是一个常数；
步骤2-2，将I(z)作为残差密集网络(Residual Dense Network，RDN)的输入，并使用步骤2-1得到的水下透射率图t(z)作为该网络模型的目标图像；
步骤2-3，将I(z)作为U-Net网络的输入，并使用步骤2-1得到的水下散射图B(z)作为该网络模型的目标图像；
步骤2-4，将步骤2-2、步骤2-3中的网络模型进行联合训练得到SRN的模型和权重；
步骤3，颜色校正网络(Color Correction Network，CCN)训练：该颜色校正网络主要用于水下图像颜色校正；其中，该步骤又可以分为如下5个步骤：
步骤3-1，使用步骤2-2和步骤2-3训练好的网络模型进行预测得到水下透射率图
Figure FDA0003469823780000021
和水下散射图
Figure FDA0003469823780000022
再通过水下物理成像模型，即
Figure FDA0003469823780000023
反演得到水下结构恢复图像J(z)；
步骤3-2，将J(z)依次输入到多尺度融合模块(Multi-Scale Fusion Block，MSFB)和注意力模块(Attention Module，AM)中，得到特征图f1；
步骤3-3，将J(z)输入到图像高频信号提取网络模型中，得到特征图f2；
步骤3-4，将f1和f2进行通道堆叠再通过卷积运算降低堆叠通道的维度；
步骤3-5，将步骤3-2、步骤3-3和步骤3-4中的网络模型进行训练得到CCN的模型和权重；
步骤4，将水下退化测试图像依次输入到步骤2、步骤3训练好的模型中，最终直接输出水下复原图像
Figure FDA0003469823780000024
CN202210040084.6A 2022-01-14 2022-01-14 一种基于深度学习的水下图像恢复方法 Pending CN114529464A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210040084.6A CN114529464A (zh) 2022-01-14 2022-01-14 一种基于深度学习的水下图像恢复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210040084.6A CN114529464A (zh) 2022-01-14 2022-01-14 一种基于深度学习的水下图像恢复方法

Publications (1)

Publication Number Publication Date
CN114529464A true CN114529464A (zh) 2022-05-24

Family

ID=81621281

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210040084.6A Pending CN114529464A (zh) 2022-01-14 2022-01-14 一种基于深度学习的水下图像恢复方法

Country Status (1)

Country Link
CN (1) CN114529464A (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160027148A1 (en) * 2014-07-25 2016-01-28 Sharp Laboratories Of America, Inc. Image enhancement using a patch based technique
CN107403418A (zh) * 2017-07-27 2017-11-28 北京大学深圳研究生院 基于通道透射率进行去雾和颜色校正的水下图像增强方法
CN108765342A (zh) * 2018-05-30 2018-11-06 河海大学常州校区 一种基于改进暗通道的水下图像复原方法
CN111968055A (zh) * 2020-08-17 2020-11-20 燕山大学 一种基于颜色补偿和颜色线先验的水下图像复原算法
CN112070691A (zh) * 2020-08-26 2020-12-11 闽江学院 一种基于U-Net的图像去雾方法
US20200394767A1 (en) * 2019-06-17 2020-12-17 China University Of Mining & Technology, Beijing Method for rapidly dehazing underground pipeline image based on dark channel prior
CN112862688A (zh) * 2021-03-08 2021-05-28 西华大学 基于跨尺度注意力网络的图像超分辨率重建模型及方法
CN113284061A (zh) * 2021-05-17 2021-08-20 大连海事大学 一种基于梯度网络的水下图像增强方法
WO2021238420A1 (zh) * 2020-05-29 2021-12-02 Oppo广东移动通信有限公司 图像去雾方法、终端及计算机存储介质
US20210390339A1 (en) * 2020-06-15 2021-12-16 Dalian University Of Technology Depth estimation and color correction method for monocular underwater images based on deep neural network
CN113887472A (zh) * 2021-10-15 2022-01-04 西安电子科技大学 基于级联颜色及纹理特征注意力的遥感图像云检测方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160027148A1 (en) * 2014-07-25 2016-01-28 Sharp Laboratories Of America, Inc. Image enhancement using a patch based technique
CN107403418A (zh) * 2017-07-27 2017-11-28 北京大学深圳研究生院 基于通道透射率进行去雾和颜色校正的水下图像增强方法
CN108765342A (zh) * 2018-05-30 2018-11-06 河海大学常州校区 一种基于改进暗通道的水下图像复原方法
US20200394767A1 (en) * 2019-06-17 2020-12-17 China University Of Mining & Technology, Beijing Method for rapidly dehazing underground pipeline image based on dark channel prior
WO2021238420A1 (zh) * 2020-05-29 2021-12-02 Oppo广东移动通信有限公司 图像去雾方法、终端及计算机存储介质
US20210390339A1 (en) * 2020-06-15 2021-12-16 Dalian University Of Technology Depth estimation and color correction method for monocular underwater images based on deep neural network
CN111968055A (zh) * 2020-08-17 2020-11-20 燕山大学 一种基于颜色补偿和颜色线先验的水下图像复原算法
CN112070691A (zh) * 2020-08-26 2020-12-11 闽江学院 一种基于U-Net的图像去雾方法
CN112862688A (zh) * 2021-03-08 2021-05-28 西华大学 基于跨尺度注意力网络的图像超分辨率重建模型及方法
CN113284061A (zh) * 2021-05-17 2021-08-20 大连海事大学 一种基于梯度网络的水下图像增强方法
CN113887472A (zh) * 2021-10-15 2022-01-04 西安电子科技大学 基于级联颜色及纹理特征注意力的遥感图像云检测方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
HAO LI等: ""An Improved Method for Underwater Image Super-Resolution and Enhancement"" *
MING HONG等: ""Multi-scale Iterative Network for Underwater Image Restoration"" *
XIN ZHANG等: ""MARN：Multi-Scale Attention Retinex Network for Low-Light Image Enhancement"" *
YIFAN HUANG等: ""Color correction and restoration based on multi-scale recursive network for underwater optical image"" *
徐铭泽等: ""基于颜色校正和透射率校正的水下构筑物图像恢复"" *
方明等: ""基于注意力的多尺度水下图像增强网络"" *

Similar Documents

Publication Publication Date Title
Ren et al. Gated fusion network for single image dehazing
CN108520504B (zh) 一种基于生成对抗网络端到端的模糊图像盲复原方法
CN110414670B (zh) 一种基于全卷积神经网络的图像拼接篡改定位方法
Wang et al. Dehazing for images with large sky region
CN112288658A (zh) 一种基于多残差联合学习的水下图像增强方法
CN110210608B (zh) 基于注意力机制和多层次特征融合的低照度图像增强方法
CN111105336A (zh) 一种基于对抗网络的图像去水印的方法
CN111611861B (zh) 一种基于多尺度特征关联的图像变化检测方法
CN109509156B (zh) 一种基于生成对抗模型的图像去雾处理方法
CN112508814B (zh) 一种基于无人机低空视角下的图像色调修复型去雾增强方法
CN111833261A (zh) 一种基于注意力的生成对抗网络的图像超分辨率复原方法
CN112651423A (zh) 一种智能视觉系统
CN113284070A (zh) 基于传递注意力机制的非均匀雾图去雾算法
CN113159043A (zh) 基于语义信息的特征点匹配方法及系统
CN112164010A (zh) 一种多尺度融合卷积神经网络图像去雾方法
US11783454B2 (en) Saliency map generation method and image processing system using the same
CN117391920A (zh) 基于rgb通道差分平面的大容量隐写方法及系统
CN110942463B (zh) 一种基于生成对抗网络的视频目标分割方法
CN114529464A (zh) 一种基于深度学习的水下图像恢复方法
CN116385293A (zh) 基于卷积神经网络的雾天自适应目标检测方法
Zhou et al. Multi-scale and attention residual network for single image dehazing
CN113763261B (zh) 一种海雾气象条件下的远小目标实时检测方法
Zhang et al. SDTCN: Similarity driven transmission computing network for image dehazing
CN112215766A (zh) 一种图像复原与图像增强相融合的图像去雾方法及其卷积网络
Wang et al. Underwater image quality optimization: Researches, challenges, and future trends

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20231110