CN111739077B - 基于深度神经网络单目水下图像深度估计和颜色矫正方法 - Google Patents

基于深度神经网络单目水下图像深度估计和颜色矫正方法 Download PDF

Info

Publication number
CN111739077B
CN111739077B CN202010541535.5A CN202010541535A CN111739077B CN 111739077 B CN111739077 B CN 111739077B CN 202010541535 A CN202010541535 A CN 202010541535A CN 111739077 B CN111739077 B CN 111739077B
Authority
CN
China
Prior art keywords
network
underwater
image
loss function
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010541535.5A
Other languages
English (en)
Other versions
CN111739077A (zh
Inventor
叶昕辰
黄宏威
徐睿
樊鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN202010541535.5A priority Critical patent/CN111739077B/zh
Publication of CN111739077A publication Critical patent/CN111739077A/zh
Priority to US17/112,499 priority patent/US11295168B2/en
Application granted granted Critical
Publication of CN111739077B publication Critical patent/CN111739077B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06T3/04—
    • G06T5/90—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/05—Underwater scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于深度神经网络单目水下图像深度估计和颜色矫正方法，属于图像处理和计算机视觉领域。该框架包括两个部分：风格转化子网络和任务子网络，其中，风格转化子网络基于生成对抗网络构建，用于将水下图像的表观信息迁移到陆上图像，获取丰富有且有效的合成标注数据，而任务子网络用压栈式网络结构将水下图像深度估计和颜色矫正两任务联合起来，进行协同学习来提高各自的精度，并通过域适应的策略缩小合成水下图像和真实水下图像之间的差距，提高网络对真实水下图像的处理能力。本方法程序简单，易于实现；系统容易构建，用深度神经网络即可端到端的从单张真实水下图像得到对应的高质量的深度图和实现矫正颜色的水下图像。

Description

基于深度神经网络单目水下图像深度估计和颜色矫正方法
技术领域
本发明属于图像处理和计算机视觉领域，具体涉及到一种基于深度神经网络的单目水下图像深度估计和颜色矫正方法。
背景技术
水下图像的深度估计和颜色矫正是水下监测、机器人操作、水下视觉导航等水下作业的重要基础。然而，水下深度估计和颜色矫正一直受到能见度低，几何畸变等水下环境的挑战，使得处理起来比陆上环境更加困难。海水中微粒介质和气泡等因素导致可见光在传播过程中的散射和衰弱，导致采集的图像颜色有偏差。对于深度估计来说，深度信息的获取主要采用立体匹配技术，以及其他一些专业深度传感装置。立体匹配技术利用双目相机采集的两张对应的图片进行相关性匹配和三角测量方法进行深度推断。其他的深度获取方式多数采用深度传感装置，比如时间飞行(Time-of-Flight，TOF)相机，微软的Kinect相机等。这些方法尽管在陆上环境取得了不错的效果，但是在水下环境中，由于成像限制和光学畸变，结果并不理想。随着深度学习的发展，利用深度卷积神经网络可以从单张陆上彩色图片直接获取对应的深度信息，解决了传统方法中有关成像限制的弊端，但仍旧存在问题：相对于陆上的情况，水下图像的有效标注数据集十分稀少，无法获得实际水下场景的深度图和颜色校正后的图像，而现有的方法大多需要有效的深度图等监督信息进行训练，才能构建较为准确的深度估计网络。
基于以上问题，本发明设计了一个基于深度神经网络的单目水下图像深度估计和颜色矫正框架，同时完成两个水下相关的任务。该框架包括两个部分：风格转化子网络和任务子网络。风格转化子网络基于生成对抗网络(I.J.Goodfellow,J.Pouget-Abadie,M.Mirza,B.Xu,D.Warde-Farley,S.Ozair,A.Courville,and Y.Bengio,“Generativeadversarial nets,”in NIPS,2014,pp.2672-2680.)构建，用于将水下图像的表观信息迁移到陆上图像，获取丰富且有效的合成标注数据。任务子网络将水下图像的深度估计和颜色矫正两个任务结合起来，协同学习来提高各自精度。
发明内容
本发明旨在克服现有技术的不足，提供了一种基于图像风格转化子网络和任务子网络的高质量深度预测和颜色矫正方法；设计了一个基于深度神经网络进行高质量深度预测和颜色矫正的框架，该框架包括两个部分：风格转化子网络和任务子网络，其中，风格转化子网络基于生成对抗网络构建，用于将水下图像的表观信息迁移到陆上图像，获取丰富有且有效的合成标注数据，而任务子网络用压栈式网络结构将水下图像深度估计和颜色矫正两任务联合起来，进行协同学习来提高各自的精度，并通过域适应的策略缩小合成水下图像和真实水下图像之间的差距，提高网络对真实水下图像的处理能力。
本发明的具体技术方案为，一种基于风格转化子网络和任务子网络的高质量深度预测和颜色矫正的方法，包括下列步骤：
1)准备初始数据：初始数据为陆上标注数据集，包括用来进行训练的陆上彩色图和对应的深度图；此外，针对实际水下环境采集少量的水下真实彩色图像，用于辅助训练和测试；
2)风格转化子网络的构建：
2-1)采用生成对抗网络模型建立风格转化子网络，其中生成器采用U-Net结构(O.Ronneberger,P.Fischer,and T.Brox,“U-net:Convolutional networks forbiomedical image segmentation,”in MICCAI,2015,pp.234-241.)，由编码器和解码器组成。
2-2)判别器由三部分组成，第一部分是一个由Conv和带泄露修正线性单元(LeakyReLU)组成的模块；第二部分是三组由Conv，BN和Leaky ReLU组成的模块；第三部分是一个sigmoid函数层，用于输出判别结果。
2-3)利用风格损失函数和内容损失函数实现对内容的保留和风格的转换，并构建整个风格转化子网络的总损失函数。
3)任务子网络的构建：
3-1)利用两个生成对抗网络分别实现深度估计和颜色矫正，其中生成器和判别器的结构都和风格转化子网络中的生成器和判别器的结构相同；在此基础上，将深度估计生成器和颜色矫正生成器串联起来，组成压栈式网络结构。
3-2)利用两个判别器来实现合成水下图像和真实水下图像之间的域适应，增强网络对真实水下图像的处理能力，以解决特征层面的域适应问题。
3-3)构建整个任务子网络的总损失函数。
4)基于步骤2)和步骤3)得到两个子网络进行训练。
4-1)首先，利用陆上标注数据及水下真实数据对风格转化子网络进行训练，得到收敛的训练模型，从而获得有效的合成水下标注数据。
4-2)然后，利用风格转化子网络得到的合成水下标注数据集训练任务子网络，同时加入真实水下图像一起训练，从而缩小真实水下域和合成水下域之间的差别，提高网络处理真实水下图像的能力。
4-3)按照风格转化自网络和任务子网络的顺序将两个网络串联在一起，利用总损失函数统一训练并微调整个网络框架。当训练完毕，即可以利用训练好的模型在测试集上进行测试，得到相应输入图像的输出结果。
本发明的有益效果是：
本发明基于深度神经网络，首先搭建一个基于生成对抗网络的风格转化子网络，得到有效的合成标注数据，然后再搭建一个任务子网络用于实现深度估计和颜色矫正。该系统具有以下特点：
1、系统容易构建，用深度神经网络即可端到端的从单张水下彩色图得到对应的高质量的深度图和实现矫正颜色的水下图像；
2、程序简单，易于实现；
3、本方法通过将水下图像的表观信息迁移到陆上图像中，使得网络有充足的数据来学习深度估计和颜色矫正；
4、本方法采用特征域适应方法，有效的减少了陆上图像和水下图像这两个域之间的差距。
附图说明
图1是实际流程图。
图2是网络结构图；其中In-air image和In-air Depth Map是陆上图像与其对应的深度图；Lcon是重建损失；Gs是风格转化网络中的生成器；Style Adaptation Network是风格转化子网络；Synthetic Underwater Image是合成水下图像；
Figure BDA0002539095780000041
是对抗损失；Ds是风格转化子网络中的判别器；Lsty是风格转化损失；Real Underwater Image是真实水下图像；Shared表示共享参数；Dfd是任务子网络中深度估计的域适应判别器；Lfd是任务子网络中深度估计任务的域判别损失函数；Gd是任务子网络中的深度估计生成器；GT Depth是合成水下图像的真实深度图；Predicted depth是预测的合成水下图像的深度图；PredictedReal Depth是预测的真实水下图像的深度图；Task Loss表示任务损失；Dfc表示任务子网络中颜色矫正的域适应判别器；Lfc是任务子网络中颜色矫正任务的域判别损失；Gc是任务子网络中的颜色矫正生成器；Task Network是任务子网络；GT in-air Image和Predictedin-air Image是真实的陆上图像和预测出来的陆上图像；Corrected Image是经过颜色矫正后的水下图像；Target Domain是目标域。
图3是颜色矫正结果与其他方法的比较；其中(a)不同的真实水下图像；(b)FIP方法；(c)CBF方法；(d)R-cycle方法；(e)Pix2Pix方法；(f)本发明的结果。
图4是深度估计的结果与其他方法的比较；其中(a)不同的真实水下图像；(b)Laina方法；(c)本发明的结果。
具体实施方式
下面结合实施例和附图对本发明的基于风格转化和任务子网络的高质量深度估计和颜色矫正方法做出详细说明：
一种基于深度神经网络的单目水下图像深度估计和颜色矫正方法，如图1所示，所述方法包括下列步骤；
1)准备初始数据；
1-1)使用三个具有代表性的真实水下数据集，包括两个视频数据集(R.Liu,X.Fan,M.Zhu,M.Hou,and Z.Luo,“Real-world underwater enhancement:Challenges,benchmarks,and solutions,”arXiv preprint arXiv:1901.05320,2019)和一个图像数据集(C.Li,C.Guo,W.Ren,R.Cong,J.Hou,S.Kwong,and D.Tao,“An underwater imageenhancement benchmark dataset and beyond,”arXiv preprint arXiv:1901.05495,2019)，将两个视频数据集中的视频进行剪切获得大概500帧真实水下图像，后一个图像数据集包含大概100张图像；
1-2)使用NYU RGB-D v2数据集(N.Silberman,D.Hoiem,P.Kohli,and R.Fergus,“Indoor segmentation and support inference from rgbd images,”in ECCV,2012,pp.746-760.)作为本发明的陆上数据集，其中包含1449张陆上彩色图像和其相应的深度图；本发明使用其中795对进行训练，654张进行测试。
2)风格转化子网络的构建：
2-1)采用生成对抗网络模型建立风格转化子网络，其中生成器采用U-Net结构(O.Ronneberger,P.Fischer,and T.Brox,“U-net:Convolutional networks forbiomedical image segmentation,”in MICCAI,2015,pp.234-241.)，编码器由四个相似的模块组成，每个模块都包含一个密集连接层(G.Huang,Z.Liu,L.V.D.Maaten,andK.Q.Weinberger,“Densely connected convolutional networks,”in IEEE CVPR,2017,pp.2261-2269.)和一个过渡层。密集连接层由3个密集块组成，过渡层由批标准化(BN)，激活函数(ReLU)，卷积(Conv)和平均池化组成；解码器由四个对称的模块组成，每个模块都是反卷积(DConv)，BN和ReLU的组合。为了获得多尺度的信息，本发明在整个生成器的结构最后加入了多尺度模块(L.C.Chen,G.Papandreou,I.Kokkinos,K.Murphy,and A.L.Yuille,“Deeplab:Semantic image segmentation with deep convolutional nets,atrousconvolution,and fully connected crfs,”IEEE TPAMI,vol.PP,no.99,pp.1-1,2017.)。
2-2)判别器由三部分组成，第一部分是一个由Conv和带泄露修正线性单元(LeakyReLU)组成的模块；第二部分是三组由Conv，BN和Leaky ReLU组成的模块；第三部分是一个sigmoid函数层，用于输出判别结果。
2-3)利用风格损失函数和内容损失函数实现对内容的保留和风格的转换，风格损失函数Lsty的公式如下：
Figure BDA0002539095780000061
式中Gs表示生成器，Ls表示风格损失函数中需要关注的所有图层，
Figure BDA0002539095780000062
表示第l层的风格表征，xt表示真实图像，ys表示陆上彩色图像，ds表示相对应的深度图，
Figure BDA0002539095780000063
表示二范数的平方。
内容损失函数Lcon如下：
Figure BDA0002539095780000064
式中Lc表示内容损失函数中需要关注的所有图层，
Figure BDA0002539095780000065
表示第l层的特征图。
由此，整个风格转化子网络的总损失函数LSAN为：
Figure BDA0002539095780000066
式中
Figure BDA0002539095780000067
表示风格转换网络部分的生成对抗损失函数，是生成对抗网络中的常用损失函数；λa和λb表示权重参数，取值均为1。
3)任务子网络的构建：
3-1)利用两个生成对抗网络分别实现深度估计和颜色矫正，其中生成器和判别器的结构都和风格转化子网络中的生成器和判别器的结构相同；在此基础上，将深度估计生成器和颜色矫正生成器串联起来，组成压栈式网络结构。
3-2)利用两个判别器来实现合成水下图像和真实水下图像之间的域适应，增强网络对真实水下图像的处理能力，以解决特征层面的域适应问题。域适应判别器的结构和3-1)中的判别器结构相同。每个判别器有一个特殊的损失函数来解决特征层面的域适应，公式如下：
Figure BDA0002539095780000071
式中
Figure BDA0002539095780000072
表示深度估计任务的域判别损失函数，
Figure BDA0002539095780000073
表示深度估计任务的判别器，
Figure BDA0002539095780000074
表示期望，f表示从生成器中最后一层转置层得到的特征，xt和xs分别表示真实水下图像和合成图像，Xt和Xs分别表示真实水下图像集和合成图像集，
Figure BDA0002539095780000075
和
Figure BDA0002539095780000076
分别表示xt和xs上的特征，
Figure BDA0002539095780000077
和
Figure BDA0002539095780000078
分别表示xt和xs满足于Xt和Xs域的期望。
颜色矫正任务的域判别损失函数的公式如下：
Figure BDA0002539095780000079
式中
Figure BDA00025390957800000710
表示所要求的损失函数，
Figure BDA00025390957800000711
表示深度估计任务的判别器。
3-3)构建整个任务子网络的总损失函数。
首先，设计任务损失函数用于促使预测图逼近实际图，促进正确的回归，公式如下：
Lt＝||ds-Gd(xs)||1+||ys-Gc(Gd(xs))||1
式中Lt表示所要求的损失函数，Gd和Gc分别表示深度估计和颜色矫正部分的生成器，xs表示合成的水下数据，ds表示合成的水下数据对应的真实深度图，ys表示合成水下数据对应的真实陆上图像，||·||1表示1范数。
由此，整个任务网络的总损失LTN为：
Figure BDA00025390957800000712
式中
Figure BDA00025390957800000713
和
Figure BDA00025390957800000714
分别表示深度估计和颜色矫正部分的生成对抗损失，是生成对抗网络中的常用损失；λt、λd和λc表示平衡系数，分别取值为10，0.1，0.1。整个网络结构如图2所示。
4)基于步骤(2)和步骤(3)得到两个子网络进行训练。
4-1)首先，利用陆上配对数据(NYU RGB-D v2)及水下真实数据对风格转化子网络进行训练，得到收敛的训练模型，从而获得有效的合成水下标注数据。
4-2)然后，利用风格转化子网络得到的合成水下标注数据集训练任务子网络，同时加入真实水下图像一起训练，从而缩小真实水下域和合成水下域之间的差别，提高网络处理真实水下图像的能力。
4-3)按照风格转化自网络和任务子网络的顺序将两个网络串联在一起，利用总损失函数L统一训练并微调整个网络框架,方程如下：
L＝LSAN+LTN
训练时设置动量参数为0.9，学习率被初始化为2e-4，学习率每一周期下降0.9。当训练完毕，即可以利用训练好的模型在测试集上进行测试，得到相应输入图像的输出结果。
本实施例中颜色矫正的处理结果及与其它方法的对比如图3所示：(a)不同的真实水下图像；(b)FIP方法(Q.Chen,J.Xu,and V.Koltun,“Fast image processing withfullyconvolutional networks”in IEEE ICCV,Oct 2017,pp.2516-2525)；(c)CBF方法(C.O.Ancuti,C.Ancuti,V.C.De,and P.Bekaert,“Color balance and fusion forunderwater image enhancement,”IEEE TIP,vol.27,no.1,pp.379-393,2018.)；(d)R-cycle方法(C.Li,J.Guo,and C.Guo,“Emerging from water:Underwater image colorcorrection based on weakly supervised color transfer,”IEEE Signal ProcessingLetters,vol.25,no.3,pp.323-327,2018.)；(e)Pix2Pix方法(P.Isola,J.Zhu,T.Zhou,andA.A.Efros,“Image-to-image translation with conditional adversarial networks,”in IEEE CVPR,July 2017,pp.5967-5976.)；(f)本发明的结果。
本实施例中深度估计的处理结果及与其它方法的对比如图4所示：a)不同的真实水下图像；(b)Laina方法(I.Laina,C.Rupprecht,V.Belagiannis,F.Tombari,andN.Navab,“Deeper depth prediction with fully convolutional residual networks,”in Fourth International Conference on 3d Vision,2016,pp.239-248.)；(c)本发明的结果。
结果表明我们在深度估计和颜色矫正任务都取得了最好的效果。

Claims (4)

1.基于深度神经网络单目水下图像深度估计和颜色矫正方法，其特征在于，包括如下步骤：
1)准备初始数据：初始数据为陆上标注数据集，包括用来进行训练的陆上彩色图和对应的深度图；此外，针对实际水下环境采集少量的水下真实彩色图像，用于辅助训练和测试；
2)风格转化子网络的构建：
2-1)采用生成对抗网络模型建立风格转化子网络，其中生成器采用U-Net结构，由编码器和解码器组成；
2-2)判别器由三部分组成，第一部分是一个由Conv和带泄露修正线性单元组成的模块；第二部分是三组由Conv、BN和Leaky ReLU组成的模块；第三部分是一个sigmoid函数层，用于输出判别结果；
2-3)利用风格损失函数和内容损失函数实现对内容的保留和风格的转换，并构建整个风格转化子网络的总损失函数；
3)任务子网络的构建：
3-1)利用两个生成对抗网络分别实现深度估计和颜色矫正，其中生成器和判别器的结构都和风格转化子网络中的生成器和判别器的结构相同；在此基础上，将深度估计生成器和颜色矫正生成器串联起来，组成压栈式网络结构；
3-2)利用两个判别器实现合成水下图像和真实水下图像之间的域适应；
3-3)构建整个任务子网络的总损失函数；
4)基于步骤2)和步骤3)得到两个子网络进行训练；
4-1)利用陆上标注数据及水下真实数据对风格转化子网络进行训练，得到收敛的训练模型，从而获得有效的合成水下标注数据；
4-2)利用风格转化子网络得到的合成水下标注数据集训练任务子网络，同时加入真实水下图像一起训练，从而缩小真实水下域和合成水下域之间的差别，提高网络处理真实水下图像的能力；
4-3)按照风格转化子网络和任务子网络的顺序将两个网络串联在一起，利用总损失函数统一训练并微调整个网络框架；当训练完毕，即利用训练好的模型在测试集上进行测试，得到相应输入图像的输出结果。
2.如权利要求1所述的基于深度神经网络的单目水下图像深度估计和颜色矫正方法，其特征在于，风格转化子网络的构建，具体包括以下步骤：
2-1)采用生成对抗网络模型建立风格转化子网络，其中生成器采用U-Net结构，编码器由四个相似的模块组成，每个模块都包含一个密集连接层和一个过渡层；密集连接层由3个密集块组成，过渡层由批标准化、激活函数、卷积和平均池化组成；解码器由四个对称的模块组成，每个模块都是反卷积、BN和ReLU的组合；
2-2)判别器由三部分组成，第一部分是一个由Conv和带泄露修正线性单元组成的模块；第二部分是三组由Conv、BN和Leaky ReLU组成的模块；第三部分是一个sigmoid函数层，用于输出判别结果；
2-3)利用风格损失函数和内容损失函数实现对内容的保留和风格的转换，风格损失函数Lsty的公式如下：
Figure FDA0002539095770000021
式中Gs表示生成器，Ls表示风格损失函数中需要关注的所有图层，
Figure FDA0002539095770000022
表示第l层的风格表征，xt表示真实图像，ys表示陆上彩色图像，ds表示相对应的深度图，
Figure FDA0002539095770000023
表示二范数的平方；
内容损失函数Lcon如下：
Figure FDA0002539095770000024
式中Lc表示内容损失函数中需要关注的所有图层，
Figure FDA0002539095770000025
表示第l层的特征图；由此，整个风格转化子网络的总损失函数LSAN为：
Figure FDA0002539095770000026
式中
Figure FDA0002539095770000027
表示风格转换网络部分的生成对抗损失函数，是生成对抗网络中的常用损失函数；λa和λb表示权重参数。
3.根据权利要求2所述的基于深度神经网络的单目水下图像深度估计和颜色矫正方法，其特征在于，步骤2-1)中为了获得多尺度的信息，在整个生成器的结构最后加入了多尺度模块。
4.如权利要求1所述的基于深度神经网络的单目水下图像深度估计和颜色矫正方法，其特征在于，任务子网络的构建，具体包括以下步骤：
3-1)利用两个生成对抗网络分别实现深度估计和颜色矫正，其中生成器和判别器的结构都和风格转化子网络中的生成器和判别器的结构相同；在此基础上，将深度估计生成器和颜色矫正生成器串联起来，组成压栈式网络结构；
3-2)利用两个判别器来实现合成水下图像和真实水下图像之间的域适应，域适应判别器的结构和3-1)中的判别器结构相同；每个判别器有一个特殊的损失函数解决特征层面的域适应，公式如下：
Figure FDA0002539095770000031
式中
Figure FDA0002539095770000032
表示深度估计任务的域判别损失函数，
Figure FDA0002539095770000033
表示深度估计任务的判别器，
Figure FDA0002539095770000034
表示期望，f表示从生成器中最后一层转置层得到的特征，xt和xs分别表示真实水下图像和合成图像，Xt和Xs分别表示真实水下图像集和合成图像集，
Figure FDA0002539095770000035
和
Figure FDA0002539095770000036
分别表示xt和xs上的特征，
Figure FDA0002539095770000037
和
Figure FDA0002539095770000038
分别表示xt和xs满足于Xt和Xs域的期望；
颜色矫正任务的域判别损失函数的公式如下：
Figure FDA0002539095770000039
式中
Figure FDA00025390957700000310
表示所要求的损失函数，
Figure FDA00025390957700000311
表示深度估计任务的判别器；
3-3)构建整个任务子网络的总损失函数；
任务损失函数用于促使预测图逼近实际图，促进正确的回归，公式如下：
Lt＝||ds-Gd(xs)||1+||ys-Gc(Gd(xs))||1
式中Lt表示所要求的损失函数，Gd和Gc分别表示深度估计和颜色矫正部分的生成器，xs表示合成的水下数据，ds表示合成的水下数据对应的真实深度图，ys表示合成水下数据对应的真实陆上图像，||·||1表示1范数；
整个任务网络的总损失LTN为：
Figure FDA0002539095770000041
式中
Figure FDA0002539095770000042
和
Figure FDA0002539095770000043
分别表示深度估计和颜色矫正部分的生成对抗损失，是生成对抗网络中的常用损失；λt、λd和λc表示平衡系数。
CN202010541535.5A 2020-06-15 2020-06-15 基于深度神经网络单目水下图像深度估计和颜色矫正方法 Active CN111739077B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010541535.5A CN111739077B (zh) 2020-06-15 2020-06-15 基于深度神经网络单目水下图像深度估计和颜色矫正方法
US17/112,499 US11295168B2 (en) 2020-06-15 2020-12-04 Depth estimation and color correction method for monocular underwater images based on deep neural network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010541535.5A CN111739077B (zh) 2020-06-15 2020-06-15 基于深度神经网络单目水下图像深度估计和颜色矫正方法

Publications (2)

Publication Number Publication Date
CN111739077A CN111739077A (zh) 2020-10-02
CN111739077B true CN111739077B (zh) 2022-11-18

Family

ID=72649139

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010541535.5A Active CN111739077B (zh) 2020-06-15 2020-06-15 基于深度神经网络单目水下图像深度估计和颜色矫正方法

Country Status (2)

Country Link
US (1) US11295168B2 (zh)
CN (1) CN111739077B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113012037B (zh) * 2021-03-11 2022-08-05 桂林电子科技大学 一种用于水下图像复原的深度学习训练数据集合成方法
CN113191962A (zh) * 2021-03-30 2021-07-30 大连智慧渔业科技有限公司 基于环境背景光的水下图像颜色恢复方法、装置及存储介质
CN113222997A (zh) * 2021-03-31 2021-08-06 上海商汤智能科技有限公司 神经网络的生成、图像处理方法、装置、电子设备及介质
CN112927171A (zh) * 2021-04-15 2021-06-08 重庆邮电大学 一种基于生成对抗网络的单幅图像去模糊方法
CN113240606A (zh) * 2021-05-24 2021-08-10 博奥生物集团有限公司 中医望诊图像颜色校正方法及系统
CN113436240B (zh) * 2021-06-22 2022-09-20 同济大学 一种基于域适应的复杂环境下的单目图像深度估计方法
CN114332566A (zh) * 2021-12-28 2022-04-12 中国航天空气动力技术研究院 水下图像的目标检测方法、系统及装置
CN114359526A (zh) * 2021-12-29 2022-04-15 中山大学 基于语义gan的跨域图像风格迁移方法
CN114529464A (zh) * 2022-01-14 2022-05-24 电子科技大学 一种基于深度学习的水下图像恢复方法
CN114742693B (zh) * 2022-03-15 2024-02-27 西北大学 基于自适应实例归一化的妆容迁移方法
CN114936983A (zh) * 2022-06-16 2022-08-23 福州大学 基于深度级联残差网络的水下图像增强方法及系统
CN114998970B (zh) * 2022-06-28 2024-03-12 西北大学 一种基于多尺度密集特征融合的妆容迁移方法
CN116309232B (zh) * 2023-05-15 2023-08-18 中国海洋大学 一种结合物理先验与深度学习的水下图像增强方法
CN116579918B (zh) * 2023-05-19 2023-12-26 哈尔滨工程大学 基于风格无关判别器的注意力机制多尺度图像转换方法
CN116863320B (zh) * 2023-06-06 2024-03-29 山东大学 基于物理模型的水下图像增强方法及系统
CN116664454B (zh) * 2023-08-01 2023-11-03 中国海洋大学 一种基于多尺度颜色迁移参数预测的水下图像增强方法
CN117475481B (zh) * 2023-12-27 2024-03-01 四川师范大学 一种基于域迁移的夜间红外图像动物识别方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108510535B (zh) * 2018-03-14 2020-04-24 大连理工大学 一种基于深度预测和增强子网络的高质量深度估计方法
CN108961198B (zh) * 2018-07-09 2021-06-08 中国海洋大学 一种多风格生成对抗网络的水下图像合成方法及其应用

Also Published As

Publication number Publication date
US20210390339A1 (en) 2021-12-16
US11295168B2 (en) 2022-04-05
CN111739077A (zh) 2020-10-02

Similar Documents

Publication Publication Date Title
CN111739077B (zh) 基于深度神经网络单目水下图像深度估计和颜色矫正方法
CN111739078B (zh) 一种基于上下文注意力机制的单目无监督深度估计方法
US11238602B2 (en) Method for estimating high-quality depth maps based on depth prediction and enhancement subnetworks
CN110009674B (zh) 基于无监督深度学习的单目图像景深实时计算方法
CN109584170B (zh) 基于卷积神经网络的水下图像复原方法
CN108765479A (zh) 利用深度学习对视频序列中单目视图深度估计优化方法
CN110120049B (zh) 由单张图像联合估计场景深度与语义的方法
CN106056622B (zh) 一种基于Kinect相机的多视点深度视频复原方法
CN111028281B (zh) 基于光场双目系统的深度信息计算方法及装置
CN110335222B (zh) 基于神经网络的自修正弱监督双目视差提取方法及装置
CN113077505A (zh) 一种基于对比学习的单目深度估计网络的优化方法
CN109801323A (zh) 具有自我提升能力的金字塔双目深度估计模型
CN113554032A (zh) 基于高度感知的多路并行网络的遥感图像分割方法
CN109218706B (zh) 一种由单张图像生成立体视觉图像的方法
CN112785502B (zh) 一种基于纹理迁移的混合相机的光场图像超分辨率方法
CN108460794A (zh) 一种双目立体红外显著目标检测方法及系统
CN113992920A (zh) 一种基于深度展开网络的视频压缩感知重建方法
CN116402908A (zh) 一种基于异构式成像的密集光场图像重建方法
CN116778091A (zh) 基于路径聚合的深度学习多视角立体三维重建算法
CN111369435A (zh) 基于自适应稳定模型的彩色图像深度上采样方法及系统
CN115631223A (zh) 基于自适应学习和聚合的多视图立体重建方法
CN114663802A (zh) 基于特征时空约束的监控视频跨模态视频迁移方法
CN109934863B (zh) 一种基于密集连接型卷积神经网络的光场深度信息估计方法
Kim et al. Progressive Dehazing and Depth Estimation from a Single Hazy Image
CN115937011B (zh) 一种基于时滞特征回归的关键帧位姿优化视觉slam方法、存储介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant