CN108510535A - 一种基于深度预测和增强子网络的高质量深度估计方法 - Google Patents
一种基于深度预测和增强子网络的高质量深度估计方法 Download PDFInfo
- Publication number
- CN108510535A CN108510535A CN201810207285.4A CN201810207285A CN108510535A CN 108510535 A CN108510535 A CN 108510535A CN 201810207285 A CN201810207285 A CN 201810207285A CN 108510535 A CN108510535 A CN 108510535A
- Authority
- CN
- China
- Prior art keywords
- depth
- network
- sub
- prediction
- depth prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度预测和增强子网络的高质量深度估计方法,属于图像处理和计算机视觉领域。本方法通过搭建深度预测子网络对彩色图进行深度预测,并采用深度增强子网络对深度预测子网络得到的低分辨率图进行分辨率恢复,进而得到高分辨率的深度预测图。本方法程序简单,易于实现;系统容易构建,用卷积神经网络即可端到端的从单张彩色图得到对应的高质量的深度图;通过彩色图像高频信息恢复深度预测子网络下采样所损失的信息,最终得到高质量高分辨率的深度图;采用空间池化金字塔结构有效的解决了物体尺寸不一带来的预测准确率的问题。
Description
技术领域
本发明属于图像处理计算机视觉领域,涉及采用深度预测子网络对彩色图进行深度预测,并采用深度增强子网络对深度预测子网络得到的低分辨率深度图进行分辨率恢复,进而得到高分辨率的深度预测图,具体涉及到一种基于深度预测和增强子网络的高质量深度估计方法。
背景技术
真实场景的景深,即深度信息,是衡量场景第三维度的方法,广泛应用于各种计算机视觉任务中,比如姿态估计,三维建模等。尽管能使用彩色相机轻松获取高质量的纹理信息,但是深度信息的获取依旧是一个极具挑战的课题。传统方法中,深度信息的获取主要采用立体匹配技术,以及其他一些专业深度传感装置。立体匹配技术利用双目相机采集的两张对应的图片进行相关性匹配和三角测量方法进行深度推断。其他的深度获取方式多数采用深度传感装置,比如Time-of-Flight(TOF)相机,微软的Kinect相机等。这些方法尽管取得了不错的效果,但是严重依赖于深度采集装置。
随着深度学习的发展,利用深度卷积神经网络可以从单张彩色图片直接获取对应的深度信息,解决了传统方法中过度依赖深度采集装置的弊端,但是却产生了新的问题,即所获取的深度图是低分辨率的,以及对于多尺度物体深度预测的准确性不高。在现有的卷积神经网络中为了获取更大的感受野几乎都会包含一些池化层和下采样层,导致得到的深度图分辨率减小。在现有的方法中,为了解决场景中不同大小物体深度预测的正确率问题,普遍的方法是将彩色图缩放到不同尺度大小分开进行深度预测得到最终的结果。尽管提高了网络的表现,但是非常的费时。
基于以上问题,本发明设计了一个基于卷积神经网络进行高质量深度预测的框架,该框架包括两个部分:深度预测子网络和深度增强子网络。深度预测子网络基于101层残差网络(K.He,X.Zhang,S.Ren,and J.Sun,“Deep residual learning for imagerecognition,”in IEEE CVPR,2016,pp.770–778.)构建,用于从彩色图获取深度信息。深度增强子网络用于恢复从深度预测子网络得到的深度图的分辨率,从而得到高分辨率的深度图。
发明内容
本发明旨在克服现有技术的不足,提供了一种基于深度预测和增强子网络的高质量的深度预测方法;设计了一个基于卷积神经网络进行高质量深度预测的框架,该框架包括两个部分:深度预测子网络和深度增强子网络,其中,深度预测子网络基于101层残差网络,用于从彩色图获取深度信息,而深度增强子网络用于恢复从深度预测子网络得到的深度图的分辨率,从而得到高分辨率的深度图。在此基础上,采用了一种空间金字塔池化结构,解决不同大小物体深度预测的正确率问题。基于此,通过这个卷积神经网络进行深度预测的框架,可以得到高质量的深度信息。
本发明的具体技术方案为,一种基于深度预测子网络和增强子网络的高质量深度预测方法,包括下列步骤:
1)准备初始数据:初始数据包括用来训练的彩色图和对应的深度图,以及用来测试的彩色图和对应的深度图;
2)深度预测子网络的构建:
2-1)利用扩张率为2的空洞卷积(Fisher Yu and VladlenKoltun,“Multi-scalecontext aggregation by dilated convolutions,”CoRR,vol.abs/1511.07122,2015.)取代ResNet-101(101层残差网络)中最后两个下采样层;在特征图分辨率不下降的情况下增大感受野的大小。
2-2)利用四个扩张率不同的空洞卷积代替ResNet-101最后的全连接层实现空间金字塔结构;所述不同扩张率分别为6、12、18、24;不同扩张率的空洞卷积有效准确的实现对不同尺度物体的覆盖,从而提高对不同尺寸物体深度预测的准确度,同时大大提高了时间效率。
3)深度增强子网络的构建:利用递进的卷积神经网络结构替代常见的线性插值和上采样结构,接在深度预测子网络的后面实现深度图分辨率的恢复;
4)基于步骤(2)和步骤(3)得到卷积神经网络进行训练。
进一步地,步骤3)中深度增强子网络的构建,具体包括以下步骤:
3-1)利用高频滤波器提取彩色图像的高频信息,并利用多层卷积提取特征,作为深度增强子网络的输入之一,帮助深度增强子网络在进行分辨率恢复时进行边缘优化;
3-2)深度图输入分支为卷积神经网络结构,包括三个相同结构的上采样模块,每个模块包括一个卷积层、一个标准的跳跃结构和一个反卷积层;每个模块将分辨率扩大到原来分辨率的两倍;
3-3)将两个输入分支连接在一起,再经过一次卷积操作,得到最后的输出。
进一步地,4)基于步骤(2)和步骤(3)得到卷积神经网络进行训练:
4-1)首先对深度预测、深度增强子网络进行分开训练,分别得到收敛的训练模型。
4-2)然后,设计一种损失函数用于促使预测深度图逼近实际深度图,公式如下:
式中L表示所要求的损失函数,表示深度预测子网络得到的低分辨的深度图,ds表示与对应的实际深度图,表示深度增强网络得到的高分辨率的深度图,d表示与对应的实际深度图,λ表示平衡系数,定义域为(0,1],N表示每次训练的图片数量,i表示当前图片索引,定义域为[1,N]。||·||2表示2范数。利用上式联合训练深度预测、深度增强子网络,优化整个网络。
当训练完毕,即可以利用训练好的模型在测试集上进行测试,得到相应输入图像的输出结果。
本发明的有益效果是:
本发明基于深度神经网络,首先搭建一个基于101层残差网络的深度预测子网络,得到低分辨率的深度图,然后再搭建一个深度增强子网络用于恢复深度图的分辨率,最终得到高质量的深度图。该系统具有以下特点:
1、系统容易构建,用卷积神经网络即可端到端的从单张彩色图得到对应的高质量的深度图;
2、程序简单,易于实现;
3、本方法通过彩色图像高频信息恢复深度预测子网络下采样所损失的信息,最终得到高质量高分辨率的深度图;
4、本方法采用空间池化金字塔结构有效的解决了物体尺寸不一带来的预测准确率的问题。
附图说明
图1是实际流程图。
图2是网络结构简图。
图3是深度估计结果与其他方法的比较;其中(a)不同的彩色帧;(b)实际深度图;(c)Eigen方法;(d)Liu方法;(e)Laina方法;(f)本发明的结果。
具体实施方式
下面结合实施例和附图对本发明的基于深度预测和增强子网络的高质量深度估计方法做出详细说明:
一种基于深度预测和增强子网络的高质量深度估计方法,如图1所示,所述方法包括下列步骤;
1)准备初始数据;
1-1)使用两个公开数据集室内数据集NYUV2数据集,室外数据集Make3D数据集训练、评估该发明;
1-2)对于室内数据集NYUV2数据集,选择464个场景、1449张彩色图与对应深度图作为训练数据。依据官方划分的方法将训练数据划分795张彩色图与对应深度图作为训练集,654张彩色图与对应深度图作为测试集。
1-3)对于室外数据集Make3D数据集共有400张数据对作为训练集,134张数据对作为测试集。由于该数据集彩色图大小为2272×1704,而深度图大小只有55×305,于是将彩色图和对应深度图大小调整为460×345。
2)深度预测子网络的构建:深度预测子网络基于101层残差网络进行相应的改进而得到。
2-1)利用扩张率为2的空洞卷积(Fisher Yu and VladlenKoltun,“Multi-scalecontext aggregation by dilated convolutions,”CoRR,vol.abs/1511.07122,2015.)取代ResNet-101(101层残差网络)中最后两个下采样层,在特征图分辨率不下降的情况下增大感受野的大小。
2-2)利用四个扩张率不同(6,12,18,24)的空洞卷积代替ResNet-101最后的全连接层实现空间金字塔结构。不同扩张率的空洞卷积可以有效准确的实现对不同尺度物体的覆盖,从而提高对不同尺寸物体深度预测的准确度,同时大大提高了时间效率。
3)深度增强子网络的构建:利用卷积神经网络结构替代常见的线性插值和上采样结构,接在深度预测子网络的后面实现深度图分辨率的恢复。
3-1)利用高频滤波器提取彩色图像的高频信息,并利用多层卷积提取特征,作为深度增强子网络的输入之一,帮助深度增强子网络在进行分辨率恢复时进行边缘优化。
3-2)深度图输入分支为卷积神经网络结构,主要包括三个相同结构的上采样模块,每个模块包括一个卷积层,一个标准的跳跃结构,一个反卷积层。每个模块将分辨率扩大到原来分辨率的两倍。
3-3)将两个输入分支连接在一起,再经过一次卷积操作,得到最后的输出。整个网络结构如图2所示。
4)基于步骤(2)和步骤(3)得到卷积神经网络进行训练:
4-1)首先对深度预测、深度增强子网络进行分开训练。使用预训练好的101层残差网络模型初始化我们的网络,然后使用二范数的损失函数优化深度预测网络。对于深度增强网络,随机初始化网络,同样使用二范数的损失函数优化深度增强网络。二范数损失函数公式如下:
式中L表示所要求的损失函数,表示深度增强网络得到的高分辨率的深度图,d表示与对应的实际深度图,N表示每次训练的图片数量,i表示当前图片索引,定义域为[1,N]。||·||2表示2范数。
4-2)然后,设计一种损失函数用于促使预测深度图逼近实际深度图,公式如下:
式中L表示所要求的损失函数,表示深度预测子网络得到的低分辨的深度图,ds表示与对应的实际深度图,表示深度增强网络得到的高分辨率的深度图,d表示与对应的实际深度图,λ表示平衡系数,定义域为(0,1],N表示每次训练的图片数量,i表示当前图片索引,定义域为[1,N]。利用上式联合训练深度预测、深度增强子网络,优化整个网络,训练时设置动量参数为0.9,学习率被初始化为1e-4,学习率每一周期下降0.9。
当训练完毕,即可以利用训练好的模型在测试集上进行测试,得到相应输入图像的输出结果。
本实施例对两个数据集合的最终深度估计结果及与其他方法的比较如图3所示,其中(a)不同的彩色帧;(b)实际深度图;(c)Eigen方法(D.Eigen and R.Fergus,“Predicting depth,surface nor-mals and semantic labels with a common multi-scale convolutional architecture,”in IEEE ICCV,2015,pp.2650–2658.);(d)Liu方法(F.Liu,C.Shen,G.Lin,and I.Reid,“Learning depthfrom single monocular imagesusing deep convolutionalneural fields,”IEEE TPAMI,vol.38,no.10,pp.2024–2039,2016.);(e)Laina方法(IroLaina,Christian Rupprecht,Vasileios Belagiannis,Federico Tombari,and Nassir Navab,“Deeper depthprediction with fullyconvolutional residual networks,”in Fourth International Conference on 3dVision,2016,pp.239–248.);(f)本发明的结果。
Claims (3)
1.一种基于深度预测和增强子网络的高质量深度预测方法,其特征在于,包括如下步骤:
1)准备初始数据:初始数据包括用来训练的彩色图和对应的深度图,以及用来测试的彩色图和对应的深度图;
2)深度预测子网络的构建:
2-1)利用扩张率为2的空洞卷积(Fisher Yu and VladlenKoltun,“Multi-scalecontext aggregation by dilated convolutions,”CoRR,vol.abs/1511.07122,2015.)取代ResNet-101(101层残差网络)中最后两个下采样层;在特征图分辨率不下降的情况下增大感受野的大小;
2-2)利用四个扩张率不同的空洞卷积代替ResNet-101最后的全连接层实现空间金字塔结构;所述不同扩张率分别为6、12、18、24;不同扩张率的空洞卷积有效准确的实现对不同尺度物体的覆盖,从而提高对不同尺寸物体深度预测的准确度,同时大大提高了时间效率;
3)深度增强子网络的构建:利用递进的卷积神经网络结构替代常见的线性插值和上采样结构,接在深度预测子网络的后面实现深度图分辨率的恢复;
4)基于步骤(2)和步骤(3)得到卷积神经网络进行训练。
2.根据权利要求1所述的一种基于深度预测和增强子网络的高质量深度预测方法,其特征在于,步骤3)中深度增强子网络的构建,具体包括以下步骤:
3-1)利用高频滤波器提取彩色图像的高频信息,并利用多层卷积提取特征,作为深度增强子网络的输入之一,帮助深度增强子网络在进行分辨率恢复时进行边缘优化;
3-2)深度图输入分支为卷积神经网络结构,包括三个相同结构的上采样模块,每个模块包括一个卷积层、一个标准的跳跃结构和一个反卷积层;每个模块将分辨率扩大到原来分辨率的两倍;
3-3)将两个输入分支连接在一起,再经过一次卷积操作,得到最后的输出。
3.根据权利要求1或2所述的一种基于深度预测和增强子网络的高质量深度预测方法,其特征在于,步骤4)中基于步骤(2)和步骤(3)得到卷积神经网络进行训练,具体包括以下步骤:
4-1)首先对深度预测、深度增强子网络进行分开训练,分别得到收敛的训练模型;
4-2)然后,设计一种损失函数用于促使预测深度图逼近实际深度图,公式如下:
式中L表示所要求的损失函数,表示深度预测子网络得到的低分辨的深度图,ds表示与对应的实际深度图,表示深度增强网络得到的高分辨率的深度图,d表示与对应的实际深度图,λ表示平衡系数,定义域为(0,1],N表示每次训练的图片数量,i表示当前图片索引,定义域为[1,N],‖·||2表示2范数;利用上式联合训练深度预测、深度增强子网络,优化整个网络。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810207285.4A CN108510535B (zh) | 2018-03-14 | 2018-03-14 | 一种基于深度预测和增强子网络的高质量深度估计方法 |
PCT/CN2019/070590 WO2019174378A1 (zh) | 2018-03-14 | 2019-01-07 | 一种基于深度预测和增强子网络的高质量深度估计方法 |
US16/649,322 US11238602B2 (en) | 2018-03-14 | 2019-01-07 | Method for estimating high-quality depth maps based on depth prediction and enhancement subnetworks |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810207285.4A CN108510535B (zh) | 2018-03-14 | 2018-03-14 | 一种基于深度预测和增强子网络的高质量深度估计方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108510535A true CN108510535A (zh) | 2018-09-07 |
CN108510535B CN108510535B (zh) | 2020-04-24 |
Family
ID=63375998
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810207285.4A Expired - Fee Related CN108510535B (zh) | 2018-03-14 | 2018-03-14 | 一种基于深度预测和增强子网络的高质量深度估计方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11238602B2 (zh) |
CN (1) | CN108510535B (zh) |
WO (1) | WO2019174378A1 (zh) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109360206A (zh) * | 2018-09-08 | 2019-02-19 | 华中农业大学 | 基于深度学习的大田稻穗分割方法 |
CN109376627A (zh) * | 2018-10-10 | 2019-02-22 | 北京飞搜科技有限公司 | 一种基于深度学习的人脸检测方法,装置和设备 |
CN109741383A (zh) * | 2018-12-26 | 2019-05-10 | 西安电子科技大学 | 基于空洞卷积和半监督学习的图像深度估计系统与方法 |
CN109829443A (zh) * | 2019-02-23 | 2019-05-31 | 重庆邮电大学 | 基于图像增强与3d卷积神经网络的视频行为识别方法 |
CN110136136A (zh) * | 2019-05-27 | 2019-08-16 | 北京达佳互联信息技术有限公司 | 场景分割方法、装置、计算机设备及存储介质 |
CN110222595A (zh) * | 2019-05-20 | 2019-09-10 | 中国科学院大学 | 一种基于时空卷积神经网络的视频目标分割方法 |
WO2019174378A1 (zh) * | 2018-03-14 | 2019-09-19 | 大连理工大学 | 一种基于深度预测和增强子网络的高质量深度估计方法 |
CN110427968A (zh) * | 2019-06-28 | 2019-11-08 | 武汉大学 | 一种基于细节增强的双目立体匹配方法 |
WO2020119620A1 (zh) * | 2018-12-14 | 2020-06-18 | 中国科学院深圳先进技术研究院 | 具有自我提升能力的金字塔双目深度估计模型 |
CN111739077A (zh) * | 2020-06-15 | 2020-10-02 | 大连理工大学 | 基于深度神经网络单目水下图像深度估计和颜色矫正方法 |
CN111738921A (zh) * | 2020-06-15 | 2020-10-02 | 大连理工大学 | 基于深度神经网络的多信息渐进融合的深度超分辨率方法 |
CN112785636A (zh) * | 2021-02-18 | 2021-05-11 | 上海理工大学 | 一种多尺度增强式的单目深度估计方法 |
CN113344997A (zh) * | 2021-06-11 | 2021-09-03 | 山西方天圣华数字科技有限公司 | 快速获取只含有目标对象的高清前景图的方法及系统 |
CN113570658A (zh) * | 2021-06-10 | 2021-10-29 | 西安电子科技大学 | 基于深度卷积网络的单目视频深度估计方法 |
CN113705432A (zh) * | 2021-08-26 | 2021-11-26 | 京东鲲鹏(江苏)科技有限公司 | 一种模型训练、三维目标检测方法、装置、设备及介质 |
CN113763447A (zh) * | 2021-08-24 | 2021-12-07 | 北京的卢深视科技有限公司 | 深度图的补全方法、电子设备及存储介质 |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200137380A1 (en) * | 2018-10-31 | 2020-04-30 | Intel Corporation | Multi-plane display image synthesis mechanism |
US11321863B2 (en) * | 2019-09-23 | 2022-05-03 | Toyota Research Institute, Inc. | Systems and methods for depth estimation using semantic features |
CN111105387B (zh) * | 2019-11-08 | 2023-05-26 | 西安电子科技大学 | 基于统计特征视角合成质量预测方法、信息数据处理终端 |
CN111062981B (zh) * | 2019-12-13 | 2023-05-05 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置及存储介质 |
CN111242036B (zh) * | 2020-01-14 | 2023-05-09 | 西安建筑科技大学 | 一种基于编码-解码结构多尺度卷积神经网络的人群计数方法 |
CN111506759B (zh) * | 2020-03-04 | 2023-10-24 | 中国人民解放军战略支援部队信息工程大学 | 一种基于深度特征的影像匹配方法及装置 |
CN110992271B (zh) * | 2020-03-04 | 2020-07-07 | 腾讯科技(深圳)有限公司 | 图像处理方法、路径规划方法、装置、设备及存储介质 |
CN112001960B (zh) * | 2020-08-25 | 2022-09-30 | 中国人民解放军91550部队 | 基于多尺度残差金字塔注意力网络模型的单目图像深度估计方法 |
CN112200751B (zh) * | 2020-10-23 | 2024-07-09 | 华强方特(深圳)电影有限公司 | 一种图像增强方法 |
CN112435191B (zh) * | 2020-11-25 | 2024-04-16 | 西安交通大学 | 一种基于多个神经网络结构融合的低照度图像增强方法 |
CN112686830B (zh) * | 2020-12-30 | 2023-07-25 | 太原科技大学 | 基于图像分解的单一深度图的超分辨率方法 |
CN113112585B (zh) * | 2021-03-26 | 2024-05-14 | 西北工业大学 | 一种从单幅图像中重建高质量目标三维形状的方法 |
CN113298814A (zh) * | 2021-05-21 | 2021-08-24 | 浙江科技学院 | 一种基于渐进指导融合互补网络的室内场景图像处理方法 |
US11741671B2 (en) * | 2021-06-16 | 2023-08-29 | Samsung Electronics Co., Ltd. | Three-dimensional scene recreation using depth fusion |
CN113505885B (zh) * | 2021-06-29 | 2024-05-03 | 中国科学院深圳先进技术研究院 | 基于预设的损失函数的单目深度估计网络的训练方法 |
CN113643197B (zh) * | 2021-07-19 | 2023-06-20 | 海南大学 | 一种结合引导滤波和nsct的两阶轻量型网络全色锐化方法 |
CN114004755A (zh) * | 2021-09-13 | 2022-02-01 | 北京航空航天大学 | 一种平衡数据偏好的深度补全系统及方法 |
CN113935908B (zh) * | 2021-09-16 | 2024-06-14 | 航天东方红卫星有限公司 | 一种基于双支路通道和特征强化机制的遥感图像去云方法 |
CN113705796B (zh) * | 2021-09-28 | 2024-01-02 | 太原科技大学 | 基于epi特征强化的光场深度获取卷积神经网络 |
CN113870335B (zh) * | 2021-10-22 | 2024-07-30 | 重庆邮电大学 | 一种基于多尺度特征融合的单目深度估计方法 |
CN114494569B (zh) * | 2022-01-27 | 2023-09-19 | 光线云(杭州)科技有限公司 | 基于轻量级神经网络和残差流式传输的云渲染方法和装置 |
CN115063303B (zh) * | 2022-05-18 | 2024-09-13 | 大连理工大学 | 一种基于图像修复的图像3d化方法 |
CN115294375B (zh) * | 2022-10-10 | 2022-12-13 | 南昌虚拟现实研究院股份有限公司 | 一种散斑深度估算方法、系统、电子设备及存储介质 |
CN117474763B (zh) * | 2023-12-26 | 2024-04-26 | 青岛埃克曼科技有限公司 | 基于神经网络的沿海低分辨率水深数据高分辨率化方法 |
CN118521497A (zh) * | 2024-07-22 | 2024-08-20 | 山东黄海智能装备有限公司 | 一种荧光标记细胞成像图像增强处理方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106157307A (zh) * | 2016-06-27 | 2016-11-23 | 浙江工商大学 | 一种基于多尺度cnn和连续crf的单目图像深度估计方法 |
CN106780588A (zh) * | 2016-12-09 | 2017-05-31 | 浙江大学 | 一种基于稀疏激光观测的图像深度估计方法 |
CN107204010A (zh) * | 2017-04-28 | 2017-09-26 | 中国科学院计算技术研究所 | 一种单目图像深度估计方法与系统 |
CN107578436A (zh) * | 2017-08-02 | 2018-01-12 | 南京邮电大学 | 一种基于全卷积神经网络fcn的单目图像深度估计方法 |
CN107679477A (zh) * | 2017-09-27 | 2018-02-09 | 深圳市未来媒体技术研究院 | 基于空洞卷积神经网络的人脸深度和表面法向量预测方法 |
CN107767380A (zh) * | 2017-12-06 | 2018-03-06 | 电子科技大学 | 一种基于全局空洞卷积的高分辨率复合视野皮肤镜图像分割方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108510535B (zh) * | 2018-03-14 | 2020-04-24 | 大连理工大学 | 一种基于深度预测和增强子网络的高质量深度估计方法 |
US10646156B1 (en) * | 2019-06-14 | 2020-05-12 | Cycle Clarity, LLC | Adaptive image processing in assisted reproductive imaging modalities |
-
2018
- 2018-03-14 CN CN201810207285.4A patent/CN108510535B/zh not_active Expired - Fee Related
-
2019
- 2019-01-07 US US16/649,322 patent/US11238602B2/en active Active
- 2019-01-07 WO PCT/CN2019/070590 patent/WO2019174378A1/zh active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106157307A (zh) * | 2016-06-27 | 2016-11-23 | 浙江工商大学 | 一种基于多尺度cnn和连续crf的单目图像深度估计方法 |
CN106780588A (zh) * | 2016-12-09 | 2017-05-31 | 浙江大学 | 一种基于稀疏激光观测的图像深度估计方法 |
CN107204010A (zh) * | 2017-04-28 | 2017-09-26 | 中国科学院计算技术研究所 | 一种单目图像深度估计方法与系统 |
CN107578436A (zh) * | 2017-08-02 | 2018-01-12 | 南京邮电大学 | 一种基于全卷积神经网络fcn的单目图像深度估计方法 |
CN107679477A (zh) * | 2017-09-27 | 2018-02-09 | 深圳市未来媒体技术研究院 | 基于空洞卷积神经网络的人脸深度和表面法向量预测方法 |
CN107767380A (zh) * | 2017-12-06 | 2018-03-06 | 电子科技大学 | 一种基于全局空洞卷积的高分辨率复合视野皮肤镜图像分割方法 |
Non-Patent Citations (5)
Title |
---|
BO LI等: "Monocular Depth Estimation with Hierarchical Fusion of Dilated CNNs and Soft-Weighted-Sum Inference", 《COMPUTER VISION AND PATTERN REGNITION(CS.CV)》 * |
BO LI等: "SINGLE IMAGE DEPTH ESTIMATION BY DILATED DEEP RESIDUAL CONVOLUTIONAL NEURAL NETWORK AND SOFT-WEIGHT-SUM INFERENCE", 《COMPUTER VISION AND PATTERN RECOGNITION(CS.CV)》 * |
DUC MY VO等: "Semantic image segmentation using fully convolutional neural networks with multi-scale images and multi-scale dilated convolutions", 《MULTIMEDIA TOOLS AND APPLICATIONS》 * |
FISHER YU等: "MULTI-SCALE CONTEXT AGGREGATION BY DILATED CONVOLUTIONS", 《COMPUTER VISION AND PATTERN RECOGNITION(CS.CV)》 * |
KAIMING HE等: "Deep Residual Learning for Image Recognition", 《IEEE CVPR》 * |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11238602B2 (en) | 2018-03-14 | 2022-02-01 | Dalian University Of Technology | Method for estimating high-quality depth maps based on depth prediction and enhancement subnetworks |
WO2019174378A1 (zh) * | 2018-03-14 | 2019-09-19 | 大连理工大学 | 一种基于深度预测和增强子网络的高质量深度估计方法 |
CN109360206A (zh) * | 2018-09-08 | 2019-02-19 | 华中农业大学 | 基于深度学习的大田稻穗分割方法 |
CN109360206B (zh) * | 2018-09-08 | 2021-11-12 | 华中农业大学 | 基于深度学习的大田稻穗分割方法 |
CN109376627A (zh) * | 2018-10-10 | 2019-02-22 | 北京飞搜科技有限公司 | 一种基于深度学习的人脸检测方法,装置和设备 |
WO2020119620A1 (zh) * | 2018-12-14 | 2020-06-18 | 中国科学院深圳先进技术研究院 | 具有自我提升能力的金字塔双目深度估计模型 |
CN109741383A (zh) * | 2018-12-26 | 2019-05-10 | 西安电子科技大学 | 基于空洞卷积和半监督学习的图像深度估计系统与方法 |
CN109829443A (zh) * | 2019-02-23 | 2019-05-31 | 重庆邮电大学 | 基于图像增强与3d卷积神经网络的视频行为识别方法 |
CN110222595A (zh) * | 2019-05-20 | 2019-09-10 | 中国科学院大学 | 一种基于时空卷积神经网络的视频目标分割方法 |
CN110136136A (zh) * | 2019-05-27 | 2019-08-16 | 北京达佳互联信息技术有限公司 | 场景分割方法、装置、计算机设备及存储介质 |
CN110136136B (zh) * | 2019-05-27 | 2022-02-08 | 北京达佳互联信息技术有限公司 | 场景分割方法、装置、计算机设备及存储介质 |
US11244170B2 (en) | 2019-05-27 | 2022-02-08 | Beijing Dajia Internet Information Technology Co., Ltd. | Scene segmentation method and device, and storage medium |
CN110427968B (zh) * | 2019-06-28 | 2021-11-02 | 武汉大学 | 一种基于细节增强的双目立体匹配方法 |
CN110427968A (zh) * | 2019-06-28 | 2019-11-08 | 武汉大学 | 一种基于细节增强的双目立体匹配方法 |
CN111739077A (zh) * | 2020-06-15 | 2020-10-02 | 大连理工大学 | 基于深度神经网络单目水下图像深度估计和颜色矫正方法 |
CN111738921A (zh) * | 2020-06-15 | 2020-10-02 | 大连理工大学 | 基于深度神经网络的多信息渐进融合的深度超分辨率方法 |
CN112785636A (zh) * | 2021-02-18 | 2021-05-11 | 上海理工大学 | 一种多尺度增强式的单目深度估计方法 |
CN113570658A (zh) * | 2021-06-10 | 2021-10-29 | 西安电子科技大学 | 基于深度卷积网络的单目视频深度估计方法 |
CN113344997A (zh) * | 2021-06-11 | 2021-09-03 | 山西方天圣华数字科技有限公司 | 快速获取只含有目标对象的高清前景图的方法及系统 |
CN113763447A (zh) * | 2021-08-24 | 2021-12-07 | 北京的卢深视科技有限公司 | 深度图的补全方法、电子设备及存储介质 |
CN113705432A (zh) * | 2021-08-26 | 2021-11-26 | 京东鲲鹏(江苏)科技有限公司 | 一种模型训练、三维目标检测方法、装置、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
US20200265597A1 (en) | 2020-08-20 |
WO2019174378A1 (zh) | 2019-09-19 |
US11238602B2 (en) | 2022-02-01 |
CN108510535B (zh) | 2020-04-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108510535A (zh) | 一种基于深度预测和增强子网络的高质量深度估计方法 | |
CN111739077B (zh) | 基于深度神经网络单目水下图像深度估计和颜色矫正方法 | |
CN107204010B (zh) | 一种单目图像深度估计方法与系统 | |
CN106780543B (zh) | 一种基于卷积神经网络的双框架估计深度和运动方法 | |
CN108416840A (zh) | 一种基于单目相机的三维场景稠密重建方法 | |
CN110009674B (zh) | 基于无监督深度学习的单目图像景深实时计算方法 | |
CN109598754B (zh) | 一种基于深度卷积网络的双目深度估计方法 | |
CN108615244B (zh) | 一种基于cnn和深度滤波器的图像深度估计方法及系统 | |
CN110120049B (zh) | 由单张图像联合估计场景深度与语义的方法 | |
CN108596108B (zh) | 基于三元组语义关系学习的航拍遥感图像变化检测方法 | |
CN113393522B (zh) | 一种基于单目rgb相机回归深度信息的6d位姿估计方法 | |
CN105869167A (zh) | 基于主被动融合的高分辨率深度图获取方法 | |
CN104794737B (zh) | 一种深度信息辅助粒子滤波跟踪方法 | |
CN108895981A (zh) | 一种三维测量方法、装置、服务器和存储介质 | |
CN106485690A (zh) | 基于点特征的点云数据与光学影像的自动配准融合方法 | |
CN113592018B (zh) | 基于残差密集网络和梯度损失的红外光与可见光图像融合方法 | |
CN108171249B (zh) | 一种基于rgbd数据的局部描述子学习方法 | |
CN116664782B (zh) | 一种基于融合体素的神经辐射场三维重建方法 | |
CN104182968A (zh) | 宽基线多阵列光学探测系统模糊动目标分割方法 | |
CN111368882B (zh) | 一种基于简化独立成分分析和局部相似性的立体匹配方法 | |
CN108830890B (zh) | 一种使用生成式对抗网络从单幅图像中估计场景几何信息的方法 | |
CN114663880A (zh) | 基于多层级跨模态自注意力机制的三维目标检测方法 | |
CN104463962A (zh) | 基于gps信息视频的三维场景重建方法 | |
CN117711066A (zh) | 一种三维人体姿态估计方法、装置、设备及介质 | |
CN113096039A (zh) | 一种基于红外图和深度图的深度信息补全方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200424 Termination date: 20210314 |
|
CF01 | Termination of patent right due to non-payment of annual fee |