CN111739077A - 基于深度神经网络单目水下图像深度估计和颜色矫正方法 - Google Patents
基于深度神经网络单目水下图像深度估计和颜色矫正方法 Download PDFInfo
- Publication number
- CN111739077A CN111739077A CN202010541535.5A CN202010541535A CN111739077A CN 111739077 A CN111739077 A CN 111739077A CN 202010541535 A CN202010541535 A CN 202010541535A CN 111739077 A CN111739077 A CN 111739077A
- Authority
- CN
- China
- Prior art keywords
- network
- underwater
- image
- loss function
- representing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012937 correction Methods 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 14
- 238000006243 chemical reaction Methods 0.000 claims abstract description 32
- 230000006978 adaptation Effects 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims description 27
- 230000009466 transformation Effects 0.000 claims description 12
- 238000012360 testing method Methods 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 7
- 230000001737 promoting effect Effects 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 2
- 238000013459 approach Methods 0.000 claims description 2
- 238000012512 characterization method Methods 0.000 claims description 2
- 238000002372 labelling Methods 0.000 claims description 2
- 230000014759 maintenance of location Effects 0.000 claims description 2
- 238000011176 pooling Methods 0.000 claims description 2
- 239000003086 colorant Substances 0.000 abstract 1
- 230000006870 function Effects 0.000 description 26
- 238000003709 image segmentation Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 241001647769 Mirza Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 239000013535 sea water Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/05—Underwater scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于深度神经网络单目水下图像深度估计和颜色矫正方法,属于图像处理和计算机视觉领域。该框架包括两个部分:风格转化子网络和任务子网络,其中,风格转化子网络基于生成对抗网络构建,用于将水下图像的表观信息迁移到陆上图像,获取丰富有且有效的合成标注数据,而任务子网络用压栈式网络结构将水下图像深度估计和颜色矫正两任务联合起来,进行协同学习来提高各自的精度,并通过域适应的策略缩小合成水下图像和真实水下图像之间的差距,提高网络对真实水下图像的处理能力。本方法程序简单,易于实现;系统容易构建,用深度神经网络即可端到端的从单张真实水下图像得到对应的高质量的深度图和实现矫正颜色的水下图像。
Description
技术领域
本发明属于图像处理和计算机视觉领域,具体涉及到一种基于深度神经网络的单目水下图像深度估计和颜色矫正方法。
背景技术
水下图像的深度估计和颜色矫正是水下监测、机器人操作、水下视觉导航等水下作业的重要基础。然而,水下深度估计和颜色矫正一直受到能见度低,几何畸变等水下环境的挑战,使得处理起来比陆上环境更加困难。海水中微粒介质和气泡等因素导致可见光在传播过程中的散射和衰弱,导致采集的图像颜色有偏差。对于深度估计来说,深度信息的获取主要采用立体匹配技术,以及其他一些专业深度传感装置。立体匹配技术利用双目相机采集的两张对应的图片进行相关性匹配和三角测量方法进行深度推断。其他的深度获取方式多数采用深度传感装置,比如时间飞行(Time-of-Flight,TOF)相机,微软的Kinect相机等。这些方法尽管在陆上环境取得了不错的效果,但是在水下环境中,由于成像限制和光学畸变,结果并不理想。随着深度学习的发展,利用深度卷积神经网络可以从单张陆上彩色图片直接获取对应的深度信息,解决了传统方法中有关成像限制的弊端,但仍旧存在问题:相对于陆上的情况,水下图像的有效标注数据集十分稀少,无法获得实际水下场景的深度图和颜色校正后的图像,而现有的方法大多需要有效的深度图等监督信息进行训练,才能构建较为准确的深度估计网络。
基于以上问题,本发明设计了一个基于深度神经网络的单目水下图像深度估计和颜色矫正框架,同时完成两个水下相关的任务。该框架包括两个部分:风格转化子网络和任务子网络。风格转化子网络基于生成对抗网络(I.J.Goodfellow,J.Pouget-Abadie,M.Mirza,B.Xu,D.Warde-Farley,S.Ozair,A.Courville,and Y.Bengio,“Generativeadversarial nets,”in NIPS,2014,pp.2672-2680.)构建,用于将水下图像的表观信息迁移到陆上图像,获取丰富且有效的合成标注数据。任务子网络将水下图像的深度估计和颜色矫正两个任务结合起来,协同学习来提高各自精度。
发明内容
本发明旨在克服现有技术的不足,提供了一种基于图像风格转化子网络和任务子网络的高质量深度预测和颜色矫正方法;设计了一个基于深度神经网络进行高质量深度预测和颜色矫正的框架,该框架包括两个部分:风格转化子网络和任务子网络,其中,风格转化子网络基于生成对抗网络构建,用于将水下图像的表观信息迁移到陆上图像,获取丰富有且有效的合成标注数据,而任务子网络用压栈式网络结构将水下图像深度估计和颜色矫正两任务联合起来,进行协同学习来提高各自的精度,并通过域适应的策略缩小合成水下图像和真实水下图像之间的差距,提高网络对真实水下图像的处理能力。
本发明的具体技术方案为,一种基于风格转化子网络和任务子网络的高质量深度预测和颜色矫正的方法,包括下列步骤:
1)准备初始数据:初始数据为陆上标注数据集,包括用来进行训练的陆上彩色图和对应的深度图;此外,针对实际水下环境采集少量的水下真实彩色图像,用于辅助训练和测试;
2)风格转化子网络的构建:
2-1)采用生成对抗网络模型建立风格转化子网络,其中生成器采用U-Net结构(O.Ronneberger,P.Fischer,and T.Brox,“U-net:Convolutional networks forbiomedical image segmentation,”in MICCAI,2015,pp.234-241.),由编码器和解码器组成。
2-2)判别器由三部分组成,第一部分是一个由Conv和带泄露修正线性单元(LeakyReLU)组成的模块;第二部分是三组由Conv,BN和Leaky ReLU组成的模块;第三部分是一个sigmoid函数层,用于输出判别结果。
2-3)利用风格损失函数和内容损失函数实现对内容的保留和风格的转换,并构建整个风格转化子网络的总损失函数。
3)任务子网络的构建:
3-1)利用两个生成对抗网络分别实现深度估计和颜色矫正,其中生成器和判别器的结构都和风格转化子网络中的生成器和判别器的结构相同;在此基础上,将深度估计生成器和颜色矫正生成器串联起来,组成压栈式网络结构。
3-2)利用两个判别器来实现合成水下图像和真实水下图像之间的域适应,增强网络对真实水下图像的处理能力,以解决特征层面的域适应问题。
3-3)构建整个任务子网络的总损失函数。
4)基于步骤2)和步骤3)得到两个子网络进行训练。
4-1)首先,利用陆上标注数据及水下真实数据对风格转化子网络进行训练,得到收敛的训练模型,从而获得有效的合成水下标注数据。
4-2)然后,利用风格转化子网络得到的合成水下标注数据集训练任务子网络,同时加入真实水下图像一起训练,从而缩小真实水下域和合成水下域之间的差别,提高网络处理真实水下图像的能力。
4-3)按照风格转化自网络和任务子网络的顺序将两个网络串联在一起,利用总损失函数统一训练并微调整个网络框架。当训练完毕,即可以利用训练好的模型在测试集上进行测试,得到相应输入图像的输出结果。
本发明的有益效果是:
本发明基于深度神经网络,首先搭建一个基于生成对抗网络的风格转化子网络,得到有效的合成标注数据,然后再搭建一个任务子网络用于实现深度估计和颜色矫正。该系统具有以下特点:
1、系统容易构建,用深度神经网络即可端到端的从单张水下彩色图得到对应的高质量的深度图和实现矫正颜色的水下图像;
2、程序简单,易于实现;
3、本方法通过将水下图像的表观信息迁移到陆上图像中,使得网络有充足的数据来学习深度估计和颜色矫正;
4、本方法采用特征域适应方法,有效的减少了陆上图像和水下图像这两个域之间的差距。
附图说明
图1是实际流程图。
图2是网络结构图;其中In-air image和In-air Depth Map是陆上图像与其对应的深度图;Lcon是重建损失;Gs是风格转化网络中的生成器;Style Adaptation Network是风格转化子网络;Synthetic Underwater Image是合成水下图像;是对抗损失;Ds是风格转化子网络中的判别器;Lsty是风格转化损失;Real Underwater Image是真实水下图像;Shared表示共享参数;Dfd是任务子网络中深度估计的域适应判别器;Lfd是任务子网络中深度估计任务的域判别损失函数;Gd是任务子网络中的深度估计生成器;GT Depth是合成水下图像的真实深度图;Predicted depth是预测的合成水下图像的深度图;PredictedReal Depth是预测的真实水下图像的深度图;Task Loss表示任务损失;Dfc表示任务子网络中颜色矫正的域适应判别器;Lfc是任务子网络中颜色矫正任务的域判别损失;Gc是任务子网络中的颜色矫正生成器;Task Network是任务子网络;GT in-air Image和Predictedin-air Image是真实的陆上图像和预测出来的陆上图像;Corrected Image是经过颜色矫正后的水下图像;Target Domain是目标域。
图3是颜色矫正结果与其他方法的比较;其中(a)不同的真实水下图像;(b)FIP方法;(c)CBF方法;(d)R-cycle方法;(e)Pix2Pix方法;(f)本发明的结果。
图4是深度估计的结果与其他方法的比较;其中(a)不同的真实水下图像;(b)Laina方法;(c)本发明的结果。
具体实施方式
下面结合实施例和附图对本发明的基于风格转化和任务子网络的高质量深度估计和颜色矫正方法做出详细说明:
一种基于深度神经网络的单目水下图像深度估计和颜色矫正方法,如图1所示,所述方法包括下列步骤;
1)准备初始数据;
1-1)使用三个具有代表性的真实水下数据集,包括两个视频数据集(R.Liu,X.Fan,M.Zhu,M.Hou,and Z.Luo,“Real-world underwater enhancement:Challenges,benchmarks,and solutions,”arXiv preprint arXiv:1901.05320,2019)和一个图像数据集(C.Li,C.Guo,W.Ren,R.Cong,J.Hou,S.Kwong,and D.Tao,“An underwater imageenhancement benchmark dataset and beyond,”arXiv preprint arXiv:1901.05495,2019),将两个视频数据集中的视频进行剪切获得大概500帧真实水下图像,后一个图像数据集包含大概100张图像;
1-2)使用NYU RGB-D v2数据集(N.Silberman,D.Hoiem,P.Kohli,and R.Fergus,“Indoor segmentation and support inference from rgbd images,”in ECCV,2012,pp.746-760.)作为本发明的陆上数据集,其中包含1449张陆上彩色图像和其相应的深度图;本发明使用其中795对进行训练,654张进行测试。
2)风格转化子网络的构建:
2-1)采用生成对抗网络模型建立风格转化子网络,其中生成器采用U-Net结构(O.Ronneberger,P.Fischer,and T.Brox,“U-net:Convolutional networks forbiomedical image segmentation,”in MICCAI,2015,pp.234-241.),编码器由四个相似的模块组成,每个模块都包含一个密集连接层(G.Huang,Z.Liu,L.V.D.Maaten,andK.Q.Weinberger,“Densely connected convolutional networks,”in IEEE CVPR,2017,pp.2261-2269.)和一个过渡层。密集连接层由3个密集块组成,过渡层由批标准化(BN),激活函数(ReLU),卷积(Conv)和平均池化组成;解码器由四个对称的模块组成,每个模块都是反卷积(DConv),BN和ReLU的组合。为了获得多尺度的信息,本发明在整个生成器的结构最后加入了多尺度模块(L.C.Chen,G.Papandreou,I.Kokkinos,K.Murphy,and A.L.Yuille,“Deeplab:Semantic image segmentation with deep convolutional nets,atrousconvolution,and fully connected crfs,”IEEE TPAMI,vol.PP,no.99,pp.1-1,2017.)。
2-2)判别器由三部分组成,第一部分是一个由Conv和带泄露修正线性单元(LeakyReLU)组成的模块;第二部分是三组由Conv,BN和Leaky ReLU组成的模块;第三部分是一个sigmoid函数层,用于输出判别结果。
2-3)利用风格损失函数和内容损失函数实现对内容的保留和风格的转换,风格损失函数Lsty的公式如下:
内容损失函数Lcon如下:
由此,整个风格转化子网络的总损失函数LSAN为:
3)任务子网络的构建:
3-1)利用两个生成对抗网络分别实现深度估计和颜色矫正,其中生成器和判别器的结构都和风格转化子网络中的生成器和判别器的结构相同;在此基础上,将深度估计生成器和颜色矫正生成器串联起来,组成压栈式网络结构。
3-2)利用两个判别器来实现合成水下图像和真实水下图像之间的域适应,增强网络对真实水下图像的处理能力,以解决特征层面的域适应问题。域适应判别器的结构和3-1)中的判别器结构相同。每个判别器有一个特殊的损失函数来解决特征层面的域适应,公式如下:
式中表示深度估计任务的域判别损失函数,表示深度估计任务的判别器,表示期望,f表示从生成器中最后一层转置层得到的特征,xt和xs分别表示真实水下图像和合成图像,Xt和Xs分别表示真实水下图像集和合成图像集,和分别表示xt和xs上的特征,和分别表示xt和xs满足于Xt和Xs域的期望。
颜色矫正任务的域判别损失函数的公式如下:
3-3)构建整个任务子网络的总损失函数。
首先,设计任务损失函数用于促使预测图逼近实际图,促进正确的回归,公式如下:
Lt=||ds-Gd(xs)||1+||ys-Gc(Gd(xs))||1
式中Lt表示所要求的损失函数,Gd和Gc分别表示深度估计和颜色矫正部分的生成器,xs表示合成的水下数据,ds表示合成的水下数据对应的真实深度图,ys表示合成水下数据对应的真实陆上图像,||·||1表示1范数。
由此,整个任务网络的总损失LTN为:
4)基于步骤(2)和步骤(3)得到两个子网络进行训练。
4-1)首先,利用陆上配对数据(NYU RGB-D v2)及水下真实数据对风格转化子网络进行训练,得到收敛的训练模型,从而获得有效的合成水下标注数据。
4-2)然后,利用风格转化子网络得到的合成水下标注数据集训练任务子网络,同时加入真实水下图像一起训练,从而缩小真实水下域和合成水下域之间的差别,提高网络处理真实水下图像的能力。
4-3)按照风格转化自网络和任务子网络的顺序将两个网络串联在一起,利用总损失函数L统一训练并微调整个网络框架,方程如下:
L=LSAN+LTN
训练时设置动量参数为0.9,学习率被初始化为2e-4,学习率每一周期下降0.9。当训练完毕,即可以利用训练好的模型在测试集上进行测试,得到相应输入图像的输出结果。
本实施例中颜色矫正的处理结果及与其它方法的对比如图3所示:(a)不同的真实水下图像;(b)FIP方法(Q.Chen,J.Xu,and V.Koltun,“Fast image processing withfullyconvolutional networks”in IEEE ICCV,Oct 2017,pp.2516-2525);(c)CBF方法(C.O.Ancuti,C.Ancuti,V.C.De,and P.Bekaert,“Color balance and fusion forunderwater image enhancement,”IEEE TIP,vol.27,no.1,pp.379-393,2018.);(d)R-cycle方法(C.Li,J.Guo,and C.Guo,“Emerging from water:Underwater image colorcorrection based on weakly supervised color transfer,”IEEE Signal ProcessingLetters,vol.25,no.3,pp.323-327,2018.);(e)Pix2Pix方法(P.Isola,J.Zhu,T.Zhou,andA.A.Efros,“Image-to-image translation with conditional adversarial networks,”in IEEE CVPR,July 2017,pp.5967-5976.);(f)本发明的结果。
本实施例中深度估计的处理结果及与其它方法的对比如图4所示:a)不同的真实水下图像;(b)Laina方法(I.Laina,C.Rupprecht,V.Belagiannis,F.Tombari,andN.Navab,“Deeper depth prediction with fully convolutional residual networks,”in Fourth International Conference on 3d Vision,2016,pp.239-248.);(c)本发明的结果。
结果表明我们在深度估计和颜色矫正任务都取得了最好的效果。
Claims (4)
1.基于深度神经网络单目水下图像深度估计和颜色矫正方法,其特征在于,包括如下步骤:
1)准备初始数据:初始数据为陆上标注数据集,包括用来进行训练的陆上彩色图和对应的深度图;此外,针对实际水下环境采集少量的水下真实彩色图像,用于辅助训练和测试;
2)风格转化子网络的构建:
2-1)采用生成对抗网络模型建立风格转化子网络,其中生成器采用U-Net结构,由编码器和解码器组成;
2-2)判别器由三部分组成,第一部分是一个由Conv和带泄露修正线性单元组成的模块;第二部分是三组由Conv、BN和Leaky ReLU组成的模块;第三部分是一个sigmoid函数层,用于输出判别结果;
2-3)利用风格损失函数和内容损失函数实现对内容的保留和风格的转换,并构建整个风格转化子网络的总损失函数;
3)任务子网络的构建:
3-1)利用两个生成对抗网络分别实现深度估计和颜色矫正,其中生成器和判别器的结构都和风格转化子网络中的生成器和判别器的结构相同;在此基础上,将深度估计生成器和颜色矫正生成器串联起来,组成压栈式网络结构;
3-2)利用两个判别器实现合成水下图像和真实水下图像之间的域适应;
3-3)构建整个任务子网络的总损失函数;
4)基于步骤2)和步骤3)得到两个子网络进行训练;
4-1)利用陆上标注数据及水下真实数据对风格转化子网络进行训练,得到收敛的训练模型,从而获得有效的合成水下标注数据;
4-2)利用风格转化子网络得到的合成水下标注数据集训练任务子网络,同时加入真实水下图像一起训练,从而缩小真实水下域和合成水下域之间的差别,提高网络处理真实水下图像的能力;
4-3)按照风格转化子网络和任务子网络的顺序将两个网络串联在一起,利用总损失函数统一训练并微调整个网络框架;当训练完毕,即利用训练好的模型在测试集上进行测试,得到相应输入图像的输出结果。
2.如权利要求1所述的基于深度神经网络的单目水下图像深度估计和颜色矫正方法,其特征在于,风格转化子网络的构建,具体包括以下步骤:
2-1)采用生成对抗网络模型建立风格转化子网络,其中生成器采用U-Net结构,编码器由四个相似的模块组成,每个模块都包含一个密集连接层和一个过渡层;密集连接层由3个密集块组成,过渡层由批标准化、激活函数、卷积和平均池化组成;解码器由四个对称的模块组成,每个模块都是反卷积、BN和ReLU的组合;
2-2)判别器由三部分组成,第一部分是一个由Conv和带泄露修正线性单元组成的模块;第二部分是三组由Conv、BN和Leaky ReLU组成的模块;第三部分是一个sigmoid函数层,用于输出判别结果;
2-3)利用风格损失函数和内容损失函数实现对内容的保留和风格的转换,风格损失函数Lsty的公式如下:
内容损失函数Lcon如下:
3.根据权利要求2所述的基于深度神经网络的单目水下图像深度估计和颜色矫正方法,其特征在于,步骤2-1)中为了获得多尺度的信息,在整个生成器的结构最后加入了多尺度模块。
4.如权利要求1所述的基于深度神经网络的单目水下图像深度估计和颜色矫正方法,其特征在于,任务子网络的构建,具体包括以下步骤:
3-1)利用两个生成对抗网络分别实现深度估计和颜色矫正,其中生成器和判别器的结构都和风格转化子网络中的生成器和判别器的结构相同;在此基础上,将深度估计生成器和颜色矫正生成器串联起来,组成压栈式网络结构;
3-2)利用两个判别器来实现合成水下图像和真实水下图像之间的域适应,域适应判别器的结构和3-1)中的判别器结构相同;每个判别器有一个特殊的损失函数解决特征层面的域适应,公式如下:
式中表示深度估计任务的域判别损失函数,表示深度估计任务的判别器,表示期望,f表示从生成器中最后一层转置层得到的特征,xt和xs分别表示真实水下图像和合成图像,Xt和Xs分别表示真实水下图像集和合成图像集,和分别表示xt和xs上的特征,和分别表示xt和xs满足于Xt和Xs域的期望;
颜色矫正任务的域判别损失函数的公式如下:
3-3)构建整个任务子网络的总损失函数;
任务损失函数用于促使预测图逼近实际图,促进正确的回归,公式如下:
Lt=||ds-Gd(xs)||1+||ys-Gc(Gd(xs))||1
式中Lt表示所要求的损失函数,Gd和Gc分别表示深度估计和颜色矫正部分的生成器,xs表示合成的水下数据,ds表示合成的水下数据对应的真实深度图,ys表示合成水下数据对应的真实陆上图像,||·||1表示1范数;
整个任务网络的总损失LTN为:
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010541535.5A CN111739077B (zh) | 2020-06-15 | 2020-06-15 | 基于深度神经网络单目水下图像深度估计和颜色矫正方法 |
US17/112,499 US11295168B2 (en) | 2020-06-15 | 2020-12-04 | Depth estimation and color correction method for monocular underwater images based on deep neural network |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010541535.5A CN111739077B (zh) | 2020-06-15 | 2020-06-15 | 基于深度神经网络单目水下图像深度估计和颜色矫正方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111739077A true CN111739077A (zh) | 2020-10-02 |
CN111739077B CN111739077B (zh) | 2022-11-18 |
Family
ID=72649139
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010541535.5A Expired - Fee Related CN111739077B (zh) | 2020-06-15 | 2020-06-15 | 基于深度神经网络单目水下图像深度估计和颜色矫正方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11295168B2 (zh) |
CN (1) | CN111739077B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112927171A (zh) * | 2021-04-15 | 2021-06-08 | 重庆邮电大学 | 一种基于生成对抗网络的单幅图像去模糊方法 |
CN113012037A (zh) * | 2021-03-11 | 2021-06-22 | 桂林电子科技大学 | 一种用于水下图像复原的深度学习训练数据集合成方法 |
CN113191962A (zh) * | 2021-03-30 | 2021-07-30 | 大连智慧渔业科技有限公司 | 基于环境背景光的水下图像颜色恢复方法、装置及存储介质 |
CN113222997A (zh) * | 2021-03-31 | 2021-08-06 | 上海商汤智能科技有限公司 | 神经网络的生成、图像处理方法、装置、电子设备及介质 |
CN113240606A (zh) * | 2021-05-24 | 2021-08-10 | 博奥生物集团有限公司 | 中医望诊图像颜色校正方法及系统 |
CN113436240A (zh) * | 2021-06-22 | 2021-09-24 | 同济大学 | 一种基于域适应的复杂环境下的单目图像深度估计方法 |
CN116579918A (zh) * | 2023-05-19 | 2023-08-11 | 哈尔滨工程大学 | 基于风格无关判别器的注意力机制多尺度图像转换方法 |
CN116664454A (zh) * | 2023-08-01 | 2023-08-29 | 中国海洋大学 | 一种基于多尺度颜色迁移参数预测的水下图像增强方法 |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114332566A (zh) * | 2021-12-28 | 2022-04-12 | 中国航天空气动力技术研究院 | 水下图像的目标检测方法、系统及装置 |
CN114359526B (zh) * | 2021-12-29 | 2024-05-28 | 中山大学 | 基于语义gan的跨域图像风格迁移方法 |
CN114529464A (zh) * | 2022-01-14 | 2022-05-24 | 电子科技大学 | 一种基于深度学习的水下图像恢复方法 |
CN114742693B (zh) * | 2022-03-15 | 2024-02-27 | 西北大学 | 基于自适应实例归一化的妆容迁移方法 |
CN114936983A (zh) * | 2022-06-16 | 2022-08-23 | 福州大学 | 基于深度级联残差网络的水下图像增强方法及系统 |
CN114998970B (zh) * | 2022-06-28 | 2024-03-12 | 西北大学 | 一种基于多尺度密集特征融合的妆容迁移方法 |
CN116258783A (zh) * | 2022-11-25 | 2023-06-13 | 中国科学院深圳先进技术研究院 | 基于深度学习网络的水下单像素成像方法及系统 |
CN116309232B (zh) * | 2023-05-15 | 2023-08-18 | 中国海洋大学 | 一种结合物理先验与深度学习的水下图像增强方法 |
CN116863320B (zh) * | 2023-06-06 | 2024-03-29 | 山东大学 | 基于物理模型的水下图像增强方法及系统 |
CN117475481B (zh) * | 2023-12-27 | 2024-03-01 | 四川师范大学 | 一种基于域迁移的夜间红外图像动物识别方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108510535A (zh) * | 2018-03-14 | 2018-09-07 | 大连理工大学 | 一种基于深度预测和增强子网络的高质量深度估计方法 |
CN108961198A (zh) * | 2018-07-09 | 2018-12-07 | 中国海洋大学 | 一种多风格生成对抗网络的水下图像合成方法及其应用 |
-
2020
- 2020-06-15 CN CN202010541535.5A patent/CN111739077B/zh not_active Expired - Fee Related
- 2020-12-04 US US17/112,499 patent/US11295168B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108510535A (zh) * | 2018-03-14 | 2018-09-07 | 大连理工大学 | 一种基于深度预测和增强子网络的高质量深度估计方法 |
CN108961198A (zh) * | 2018-07-09 | 2018-12-07 | 中国海洋大学 | 一种多风格生成对抗网络的水下图像合成方法及其应用 |
Non-Patent Citations (1)
Title |
---|
林森等: "多输入融合对抗网络的水下图像增强", 《红外与激光工程》 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113012037A (zh) * | 2021-03-11 | 2021-06-22 | 桂林电子科技大学 | 一种用于水下图像复原的深度学习训练数据集合成方法 |
CN113191962A (zh) * | 2021-03-30 | 2021-07-30 | 大连智慧渔业科技有限公司 | 基于环境背景光的水下图像颜色恢复方法、装置及存储介质 |
CN113222997A (zh) * | 2021-03-31 | 2021-08-06 | 上海商汤智能科技有限公司 | 神经网络的生成、图像处理方法、装置、电子设备及介质 |
CN112927171A (zh) * | 2021-04-15 | 2021-06-08 | 重庆邮电大学 | 一种基于生成对抗网络的单幅图像去模糊方法 |
CN113240606A (zh) * | 2021-05-24 | 2021-08-10 | 博奥生物集团有限公司 | 中医望诊图像颜色校正方法及系统 |
CN113436240A (zh) * | 2021-06-22 | 2021-09-24 | 同济大学 | 一种基于域适应的复杂环境下的单目图像深度估计方法 |
CN116579918A (zh) * | 2023-05-19 | 2023-08-11 | 哈尔滨工程大学 | 基于风格无关判别器的注意力机制多尺度图像转换方法 |
CN116579918B (zh) * | 2023-05-19 | 2023-12-26 | 哈尔滨工程大学 | 基于风格无关判别器的注意力机制多尺度图像转换方法 |
CN116664454A (zh) * | 2023-08-01 | 2023-08-29 | 中国海洋大学 | 一种基于多尺度颜色迁移参数预测的水下图像增强方法 |
CN116664454B (zh) * | 2023-08-01 | 2023-11-03 | 中国海洋大学 | 一种基于多尺度颜色迁移参数预测的水下图像增强方法 |
Also Published As
Publication number | Publication date |
---|---|
US20210390339A1 (en) | 2021-12-16 |
US11295168B2 (en) | 2022-04-05 |
CN111739077B (zh) | 2022-11-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111739077B (zh) | 基于深度神经网络单目水下图像深度估计和颜色矫正方法 | |
WO2019174378A1 (zh) | 一种基于深度预测和增强子网络的高质量深度估计方法 | |
CN111739078B (zh) | 一种基于上下文注意力机制的单目无监督深度估计方法 | |
Ye et al. | Deep joint depth estimation and color correction from monocular underwater images based on unsupervised adaptation networks | |
CN110120049B (zh) | 由单张图像联合估计场景深度与语义的方法 | |
CN110335222B (zh) | 基于神经网络的自修正弱监督双目视差提取方法及装置 | |
CN112785502B (zh) | 一种基于纹理迁移的混合相机的光场图像超分辨率方法 | |
CN112767467B (zh) | 一种基于自监督深度学习的双图深度估计方法 | |
CN110443874B (zh) | 基于卷积神经网络的视点数据生成方法和装置 | |
CN112734915A (zh) | 一种基于深度学习的多视角立体视觉三维场景重建方法 | |
CN112991371B (zh) | 一种基于着色溢出约束的图像自动着色方法及系统 | |
CN113449691A (zh) | 一种基于非局部注意力机制的人形识别系统及方法 | |
CN113554032A (zh) | 基于高度感知的多路并行网络的遥感图像分割方法 | |
CN114663880A (zh) | 基于多层级跨模态自注意力机制的三维目标检测方法 | |
CN114463237A (zh) | 基于全局运动补偿和帧间时域关联性的实时视频去雨方法 | |
CN112561782B (zh) | 一种提高海上场景仿真图片真实度的方法 | |
CN117523100A (zh) | 基于神经网络与多视图一致性的三维场景重建方法和装置 | |
CN116402908A (zh) | 一种基于异构式成像的密集光场图像重建方法 | |
CN116778091A (zh) | 基于路径聚合的深度学习多视角立体三维重建算法 | |
CN111369435A (zh) | 基于自适应稳定模型的彩色图像深度上采样方法及系统 | |
CN115170921A (zh) | 一种基于双边网格学习和边缘损失的双目立体匹配方法 | |
Zhu et al. | HDRD-Net: High-resolution detail-recovering image deraining network | |
CN114663802A (zh) | 基于特征时空约束的监控视频跨模态视频迁移方法 | |
CN109934863B (zh) | 一种基于密集连接型卷积神经网络的光场深度信息估计方法 | |
Wang et al. | MSF-Net: Multi-Scale Feedback Reconstruction for Guided Depth Map Super-Resolution |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20221118 |