CN116168067A - 基于深度学习的有监督多模态光场深度估计方法 - Google Patents
基于深度学习的有监督多模态光场深度估计方法 Download PDFInfo
- Publication number
- CN116168067A CN116168067A CN202211646623.7A CN202211646623A CN116168067A CN 116168067 A CN116168067 A CN 116168067A CN 202211646623 A CN202211646623 A CN 202211646623A CN 116168067 A CN116168067 A CN 116168067A
- Authority
- CN
- China
- Prior art keywords
- depth
- light field
- neural network
- depth estimation
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000013135 deep learning Methods 0.000 title claims abstract description 19
- 238000000605 extraction Methods 0.000 claims abstract description 22
- 238000012360 testing method Methods 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims abstract description 16
- 230000006870 function Effects 0.000 claims abstract description 15
- 238000013528 artificial neural network Methods 0.000 claims abstract description 9
- 230000004927 fusion Effects 0.000 claims abstract description 8
- 230000007246 mechanism Effects 0.000 claims abstract description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 21
- 239000013598 vector Substances 0.000 claims description 14
- 238000011176 pooling Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 description 5
- 108091006146 Channels Proteins 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000005215 recombination Methods 0.000 description 2
- 230000006798 recombination Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008521 reorganization Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Geometry (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度学习的有监督多模态光场深度估计方法，本发明首先利用光场相机获取焦点堆栈图像和对应的中心视图，得到预处理后的图像；然后将预处理后的焦点堆栈图像和对应的中心视图分别输入到两个不同的特征提取层；解码器通过交叉融合模块融合信息并依次上采样得到深度图；然后利用真值深度图作为监督信号，利用代价损失函数进行迭代训练，不断优化参数，直到模型参数收敛，保存模型参数文件；最后利用训练好的深度神经网络在测试集上进行测试，对于测试集的输出结果，利用RMSE作为深度估计性能的优劣指标。本发明在特征提取层中引入了自注意力机制，可以在光场数据集上实现更加准确的深度估计，提高深度估计的精度。
Description
技术领域
本发明属于光场深度估计领域，具体来说涉及一种基于深度学习的有监督多模态光场深度估计方法。
背景技术
深度估计就是获取图像中场景里的每个点到相机主点的距离信息。场景的深度信息可以帮助人们更好地理解场景的几何结构，同时为其他视觉任务提供了支持，因而在三维重建、目标识别、图像合成等领域有着广泛的应用。
目前基于深度学习的光场深度估计方法主要有：基于立体匹配的深度估计方法、基于重聚焦的深度估计方法、基于EPI的深度估计方法。基于立体匹配的深度估计方法利用光场图像多视角的特点，根据立体匹配的方法来估计场景中目标物体的深度信息；基于重聚焦的深度估计方法通过比较单个像素在不同焦栈图片处的模糊程度来得到该像素点处对应的深度；基于EPI的深度估计方法利用了极平面图中极线斜率与深度信息之间的对应关系来计算目标场景的深度图。
随着计算机硬件的发展，计算机的计算能力越来越强，深度学习成为了深度估计中的一个热门方向。和传统的方法相比，深度学习的模型经过预训练之后就可以快速的预测出场景的深度，准确性也更好。虽然基于深度学习的深度估计方法可以有效地预测出光场的深度信息，但是受限于目前的硬件算力的制约，如何提取有效的光场特征信息以应对光场数据冗余仍是一个需要面对的问题。
发明内容
本发明的目的在于解决现有卷积神经网络光场深度估计方法在提取输入图像特征信息过程中容易丢失特征的问题，提出一种新型的有监督多模态光场深度估计方法，在特征提取层引入了自注意力机制，实现了更加准确的深度估计。
为实现上述发明目的，本发明提供一种基于深度学习的有监督多模态光场深度估计方法，包括以下步骤：
步骤S1：获取光场的焦点堆栈图像和对应的中心视图；
步骤S2：焦点堆栈图像和对应的中心视图的预处理；
步骤S3：训练时，每次从数据集中获取N×H×W×3的焦点堆栈图像Ifocal和H×W×3的中心视图Irgb作为输入，其中，H和W表示图像的长和宽，N表示焦点堆栈中的切片的个数；
步骤S4：构建基于编码-解码的深度卷积神经网络，其中编码器捕捉图像对之间的内部空间相关性信息，解码器将来自编码器的信息进行融合并进行解码；
步骤S5：训练构建的深度卷积神经网络，以真值深度图作为监督信号，利用代价损失函数训练模型，直至网络模型参数收敛，保存模型文件；
步骤S6：利用训练好的深度卷积神经网络在测试集上进行测试。对于测试集的输出结果，利用RMSE(均方根误差)作为深度估计性能的优劣指标。
优选的是，本发明步骤S4中的基于编码-解码的深度卷积神经网络是一个双流的深度卷积神经网络，其中，双流深度卷积神经网络的每一流都分为编码器和解码器两部分；所述编码器由特征提取层和上下文推理单元组成，其中，焦点堆栈图像Ifocal的特征提取层采用VGG-16作为主干网络，且丢弃了VGG-16最后的池化层和全连接层，中心视图Irgb的特征提取层首先将输入的中心视角Irgb嵌入成向量，然后经过六个串联的Encoder模块来捕捉图像的上下文之间的信息，最后通过空间变换输入到上下文推理单元中；所述解码器部分包括若干个注意力引导的交叉融合模块和解码层；
优选的是，为了更好的提取输入中心视角Irgb的特征信息，引入了自注意力机制，将提取的特征信息送入到解码器中，解码器通过交叉融合模块融合信息并依次上采样得到卷积神经网络的输出；
优选的是，本发明步骤S5中的代价函数为L＝λldepth+μlgrad+vlnormal；其中ldepth为深度误差的对数，
di为像素i处的预测深度值，gi为像素i处的真值深度值，n表示真值深度图中像素不为0的有效像素点的个数，In为取对数操作，α为超参数；lgrad为深度梯度损失函数，/>
为在x方向上的第i个元素处||di-gi||1的空间导数；/>
为在y方向上第i个元素处||di-gi||1的空间导数；lnormal为表面法线损失函数，/>
其取决于预测深度值和真值深度值之间的表面法线精度，其中，*，*表示向量的内积，
表示真值深度值的表面法线；/>
表示预测深度值的表面法线，λ，μ，ν为加权系数。
优选的是，本发明步骤S6中的均方根误差表达式为：
其中di为像素i处的预测深度值，gi为像素i处的真值深度值。
本发明涉及一种基于深度学习的有监督多模态光场深度估计方法，是一种以深度学习为理论基础的实现方法。本发明对于深度卷积神经网络的特征提取层的设计可以有效的提高光场深度估计的精度，同时并没有大幅度的提升网络的复杂度，保证了训练时的收敛速度以及推理测试时的时间要求。
现有技术方案中基于编码-解码的深度卷积神经网络对于中心视图的特征提取层采用了VGG-16，且丢弃了VGG-16最后的池化层和全连接层用来提取特征信息。本发明在卷积神经网络中的中心视图特征提取层引入了自注意力机制，可以有效的聚焦重点信息，提取到更好的特征，实现了光场深度估计准确性的提升。
附图说明
图1为本发明实例的整体流程图。
图2为本发明实例的网络结构图。
图3为本发明实例中编码模块的结构示意图。
图4为本发明实例中重组模块的结构示意图。
具体实施方案
本发明实例提供了一种基于深度学习的有监督多模态光场深度估计方法，下面结合附图和实施例对本发明的技术方案作进一步说明。
图1展现了本发明的流程，具体来说包括以下步骤：
步骤S1：获取光场的焦点堆栈图像和对应的中心视图；
本发明使用的数据集采用公开的光场数据集DUT-LFDD，此数据集包括1260组焦点堆栈图像和对应的中心视图，其中，每一组焦点堆栈由12张焦点切片组成。焦点堆栈图像和中心视图的分辨率都是256*256。
步骤S2：焦点堆栈图像和对应的中心视图的预处理；
为了避免过拟合的问题，焦点堆栈图像和对应的中心视图采用相同的变换操作。
1：选择处于取值范围[1，1.5]的尺度缩放因子对焦点堆栈图像和中心视图进行缩放；
2：选择处于取值范围[-5，5]的旋转角度对焦点堆栈图像和中心视图进行随机旋转；
3：在范围[0.6，1.4]内通过均匀采样实现亮度，对比度和饱和度的随机变化，以对焦点堆栈图像和中心视图进行色彩变换。
步骤S3：训练时，每次从数据集中获取N×H×W×3的焦点堆栈图像Ifocal和H×W×3的中心视图Irgb作为输入，其中，H和W表示图像的长和宽，N表示焦点堆栈中的切片的个数；
本发明实例中，焦点堆栈图像的尺寸为12*256*256*3，中心视图的尺寸为256*256*3。
步骤S4：构建基于编码-解码的深度卷积神经网络，将焦点堆栈图像Ifocal与中心视图Irgb作为图像对作为输入；
参照图2，焦点堆栈图像和中心视图输入构建的基于编码-解码的深度卷积神经网络。所述的基于编码-解码的深度卷积神经网络由编码器和解码器两部分组成；所述编码器由特征提取层和上下文推理单元组成，其中，焦点堆栈图像Ifocal的特征提取层采用VGG-16作为主干网络，且丢弃了VGG-16最后的池化层和全连接层，中心视图Irgb的特征提取层首先将输入的中心视角Irgb嵌入成向量，然后经过六个串联的Encoder模块来捕捉图像的上下文之间的信息，最后通过空间变换输入到上下文推理单元中；所述解码器部分包括若干个注意力引导的交叉融合模块和解码层；
为了更好的提取输入中心视角Irgb的特征信息，本实例在特征提取层引入了自注意力机制，首先将中心视图嵌入成向量序列，使用Transformer架构提取向量序列之间的相关信息，Transformer架构使得模型可以在关注局部信息的同时更好的捕获各个图像块之间的关系，从而提升模型的性能，增加结果的精度；然后将特征提取层提取的特征信息送入到解码器中，解码器通过交叉融合模块融合信息并依次上采样得到深度卷积神经网络的输出；
本实施例在Pytorch框架下实现，参考图2，焦点堆栈的特征提取层由VGG-16实现，且丢弃了VGG-16最后的池化层和全连接层，其中包含模块1，模块2，模块3，模块4和模块5这5个卷积块，每个卷积块中包含一个池化核为2的二维平均池化，之后接上三个重复的模块，每个模块包含一个卷积核的大小为3*3,步长为1的二维卷积，后接一个Relu激活函数；通过VGG-16的特征提取层可以得到不同分辨率的输出，其中模块3,模块4,模块5的输出尺寸分别为64*64*256，32*32*512，16*16*512；中心视图的特征提取层首先将输入的图像嵌入成256*1024的向量序列，然后拼接一个全零的1*1024的位置向量之后得到257*1024的向量序列，之后经过六个串联的Encoder模块提取特征信息，参考图3，每个编码模块有一个通道方向上的归一化层,之后接上一个多头注意力机制层，然后做一个残差连接，之后再接上一个通道方向上的归一化层，后接上一个三层的多层感知机模块，多层的感知机模块的输入层的维度是1024，隐层的维度为4096，输出层的维度为1024，最后做一个残差连接；通过六个串联的编码模块之后，再经过重组模块将二维的向量序列变换为三维的张量，参考图4，重组模块首先移除输入向量序列中的位置向量，然后将所有的向量进行拼接，之后分别通过一个卷积核大小为3*3，膨胀因子为2*2的膨胀卷积，后接一个采样倍率为2的上采样得到64*64*256的输出，通过一个卷积核大小为3*3，膨胀因子为2*2的膨胀卷积得到32*32*512的输出，通过一个卷积核大小为3*3，膨胀因子为2*2的膨胀卷积，后接一个自适应的最大池化层得到16*16*512的输出；
编码器的上下文推理单元基于空洞卷积和图卷积实现，上下文推理单元将特征提取层输出的焦点堆栈特征或中心视图特征作为输入。该模块顶部是一个短连接操作，由一个1×1的卷积运算实现；中间分支是多重空洞卷积操作，由跨通道学习器和空洞空间卷积池化金字塔组成，其通过1×1卷积运算学习复杂的通道交互，并通过膨胀率为r1＝3、r2＝5、r3＝7的空洞卷积来捕捉不同的图像上下文信息；底部分支是多重图卷积操作。
解码器中的交叉融合模块基于多级注意力机制实现；此模块主要关注焦点信息和中心视图信息在输出深度图时所占的比重；此模块分为两步：首先使用3D卷积和2D卷积实现跨模态的残差连接，然后使用一个权重参数来提取得到细化特征；最后将输出的细化特征进行解码，依次经过上采样、级联和卷积得到深度估计图。
步骤S5：训练构建的深度卷积神经网络，以真值深度图作为监督信号，利用代价损失函数训练模型，直至网络模型参数收敛，保存模型文件；
焦点堆栈流的特征提取层使用在ImageNet数据集训练的参数进行初始化，其他模块采用随机初始化，训练过程学习率初始化为10-4，迭代80个周期后调整为3*10-4，再迭代20个周期。考虑到输入数据的尺寸，Batchsize设为1。代价损失函数为L＝λldepth+μlgrad+vlnormal；其中ldepth为深度误差的对数，
di为像素i处的预测深度值，gi为像素i处的真值深度值，n表示真值深度图中像素不为0的有效像素点的个数，In为取对数操作，α为超参数；lgrad为深度梯度损失函数，/>
为在x方向上的第i个元素处||di-gi||1的空间导数；/>
为在y方向上第i个元素处||di-gi||1的空间导数；lnormal为表面法线损失函数，/>
其取决于预测深度值和真值深度值之间的表面法线精度，其中，*，*表示向量的内积，
表示真值深度值的表面法线；/>
表示预测深度值的表面法线，其中α＝0.5，λ＝1，μ＝0.5，ν＝1。
步骤S6：利用训练好的深度卷积神经网络在测试集上进行测试。对于测试集的输出结果，利用RMSE(均方根误差)作为深度估计性能的优劣指标。
利用训练好的深度卷积神经网络在测试集上进行测试，测试集一共有337组焦点堆栈图像和对应的中心视图。依次选取一组图像作为输入，计算输出的深度图与真值深度图之间的RMSE(均方根误差)的数值，RMSE(均方根误差)表达式为：
其中di为像素i处的预测深度值，gi为像素i处的真值深度值。将测试集的337组图像的均方根误差值累加并求平均得到平均的RMSE(均方根误差)作为深度估计性能的优劣指标。
综上所述，本发明涉及一种基于深度学习的有监督多模态光场深度估计方法，是一种以深度学习为理论基础的实现方法。本发明对于深度卷积神经网络的特征提取层的设计可以有效的提高光场深度估计的精度，同时并没有大幅度的提升网络的复杂度，保证了训练时的收敛速度以及推理时的时间要求。
本发明并不局限于上述实例，凡是在权力要求范围内做出的任何形式的变形或者修改，均属于本发明的保护范围。
Claims (5)
1.一种基于深度学习的有监督多模态光场深度估计方法，其特征在于包括以下步骤：
步骤S1：获取光场的焦点堆栈图像和对应的中心视图；
步骤S2：焦点堆栈图像和对应的中心视图的预处理；
步骤S3：训练时，每次从数据集中获取N×H×W×3的焦点堆栈图像Ifocal和H×W×3的中心视图Irgb作为输入，其中，H和W表示图像的长和宽，N表示焦点堆栈中的切片的个数；
步骤S4：构建基于编码-解码的深度卷积神经网络，其中编码器捕捉图像对之间的内部空间相关性信息，解码器将来自编码器的信息进行融合并进行解码；
步骤S5：训练构建的深度卷积神经网络，以真值深度图作为监督信号，利用代价损失函数训练模型，直至网络模型参数收敛，保存模型文件；
步骤S6：利用训练好的深度卷积神经网络在测试集上进行测试。对于测试集的输出结果，利用均方根误差作为深度估计性能的优劣指标。
2.根据权利要求1所述的基于深度学习的有监督多模态光场深度估计方法，其特征在于上述步骤S4：构建基于编码-解码的深度卷积神经网络；其中的基于编码-解码的深度卷积神经网络是一个双流的深度卷积神经网络，神经网络的每一流都分为编码器和解码器两部分；所述编码器由特征提取层和上下文推理单元组成，其中，焦点堆栈图像Ifocal的特征提取层采用VGG-16作为主干网络，且丢弃了VGG-16最后的池化层和全连接层，中心视图Irgb的特征提取层首先将输入的中心视角Irgb嵌入成向量，然后经过六个串联的编码模块来捕捉图像的上下文之间的信息，最后通过空间变换输入到上下文推理单元中；所述解码器部分包括若干个注意力引导的交叉融合模块和解码层。
3.根据权利要求2所述的基于深度学习的有监督多模态光场深度估计方法，其特征在于为了更好的提取输入中心视角Irgb的特征信息，引入了自注意力机制，将提取的特征信息送入到解码器中，解码器通过交叉融合模块融合信息并依次上采样得到卷积神经网络的输出。
4.根据权利要求3所述的基于深度学习的有监督多模态光场深度估计方法，其特征在于上述步骤S5：深度卷积神经网络通过代价损失函数训练模型进行训练；所述代价函数为L＝λldepth+μlgrad+vlnormal；其中ldepth为深度误差的对数，
di为像素i处的预测深度值，gi为像素i处的真值深度值，n表示真值深度图中像素不为0的有效像素点的个数，In为取对数操作，α为超参数；lgrad为深度梯度损失函数，
为在x方向上的第i个元素处||di-gi||1的空间导数；/>
为在y方向上第i个元素处||di-gi||1的空间导数；lnormal为表面法线损失函数，/>
其取决于预测深度值和真值深度值之间的表面法线精度，其中，<*，*>表示向量的内积，/>
表示真值深度值的表面法线；/>
表示预测深度值的表面法线，λ，μ，ν为加权系数。/>
5.根据权利要求4所述的基于深度学习的有监督多模态光场深度估计方法，其特征在于上述步骤S6：深度卷积神经网络进行迭代训练；对于训练好的模型，利用均方根误差作为深度估计性能的优劣指标；其中的均方根误差，表达式为：
其中di为像素i处的预测深度值，gi为像素i处的真值深度。/>
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211646623.7A CN116168067B (zh) | 2022-12-21 | 2022-12-21 | 基于深度学习的有监督多模态光场深度估计方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211646623.7A CN116168067B (zh) | 2022-12-21 | 2022-12-21 | 基于深度学习的有监督多模态光场深度估计方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116168067A true CN116168067A (zh) | 2023-05-26 |
| CN116168067B CN116168067B (zh) | 2023-11-21 |
Family
ID=86415551
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211646623.7A Active CN116168067B (zh) | 2022-12-21 | 2022-12-21 | 基于深度学习的有监督多模态光场深度估计方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116168067B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117237546A (zh) * | 2023-11-14 | 2023-12-15 | 武汉大学 | 一种基于光场成像的增材构件三维轮廓重建方法及系统 |
| CN117557615A (zh) * | 2024-01-09 | 2024-02-13 | 埃洛克航空科技（北京）有限公司 | 用于光场深度估计的数据处理方法和装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021084530A1 (en) * | 2019-10-27 | 2021-05-06 | Ramot At Tel-Aviv University Ltd. | Method and system for generating a depth map |
| CN112767466A (zh) * | 2021-01-20 | 2021-05-07 | 大连理工大学 | 一种基于多模态信息的光场深度估计方法 |
| CN112785637A (zh) * | 2021-01-20 | 2021-05-11 | 大连理工大学 | 一种基于动态融合网络的光场深度估计方法 |
| KR20220029335A (ko) * | 2020-08-31 | 2022-03-08 | 삼성전자주식회사 | 깊이 이미지를 보완하는 방법 및 장치 |
| CN114842153A (zh) * | 2022-05-31 | 2022-08-02 | 杭州群核信息技术有限公司 | 从单幅二维线框图重建三维模型的方法、装置和电子设备 |
| CN115272438A (zh) * | 2022-08-19 | 2022-11-01 | 中国矿业大学 | 一种面向三维场景重建的高精度单目深度估计系统及方法 |
| CN115330851A (zh) * | 2022-08-05 | 2022-11-11 | 北京百度网讯科技有限公司 | 单目深度估计方法、装置、电子设备、存储介质及车辆 |
| CN115423856A (zh) * | 2022-09-02 | 2022-12-02 | 济宁安泰矿山设备制造有限公司 | 用于智能泵腔体内窥镜图像的单目深度估计系统及方法 |
-
2022
- 2022-12-21 CN CN202211646623.7A patent/CN116168067B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021084530A1 (en) * | 2019-10-27 | 2021-05-06 | Ramot At Tel-Aviv University Ltd. | Method and system for generating a depth map |
| KR20220029335A (ko) * | 2020-08-31 | 2022-03-08 | 삼성전자주식회사 | 깊이 이미지를 보완하는 방법 및 장치 |
| CN112767466A (zh) * | 2021-01-20 | 2021-05-07 | 大连理工大学 | 一种基于多模态信息的光场深度估计方法 |
| CN112785637A (zh) * | 2021-01-20 | 2021-05-11 | 大连理工大学 | 一种基于动态融合网络的光场深度估计方法 |
| CN114842153A (zh) * | 2022-05-31 | 2022-08-02 | 杭州群核信息技术有限公司 | 从单幅二维线框图重建三维模型的方法、装置和电子设备 |
| CN115330851A (zh) * | 2022-08-05 | 2022-11-11 | 北京百度网讯科技有限公司 | 单目深度估计方法、装置、电子设备、存储介质及车辆 |
| CN115272438A (zh) * | 2022-08-19 | 2022-11-01 | 中国矿业大学 | 一种面向三维场景重建的高精度单目深度估计系统及方法 |
| CN115423856A (zh) * | 2022-09-02 | 2022-12-02 | 济宁安泰矿山设备制造有限公司 | 用于智能泵腔体内窥镜图像的单目深度估计系统及方法 |
Non-Patent Citations (4)
| Title |
|---|
| JOHN YANG等: "Depth Estimation with Simplified Transformer", 《ARXIV》 * |
| MASUM SHAH JUNAYED等: "HiMODE: A Hybrid Monocular Omnidirectional Depth Estimation Model", 《2022 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS (CVPRW)》 * |
| 李明悦等: "多尺度特征融合的低照度光场图像增强算法", 《 计算机科学与探索》 * |
| 王硕;王亚飞;: "基于多流对极卷积神经网络的光场图像深度估计", 计算机应用与软件, no. 08 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117237546A (zh) * | 2023-11-14 | 2023-12-15 | 武汉大学 | 一种基于光场成像的增材构件三维轮廓重建方法及系统 |
| CN117237546B (zh) * | 2023-11-14 | 2024-01-30 | 武汉大学 | 一种基于光场成像的增材构件三维轮廓重建方法及系统 |
| CN117557615A (zh) * | 2024-01-09 | 2024-02-13 | 埃洛克航空科技（北京）有限公司 | 用于光场深度估计的数据处理方法和装置 |
| CN117557615B (zh) * | 2024-01-09 | 2024-04-05 | 埃洛克航空科技（北京）有限公司 | 用于光场深度估计的数据处理方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116168067B (zh) | 2023-11-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110570353B (zh) | 密集连接生成对抗网络单幅图像超分辨率重建方法 | |
| CN116168067B (zh) | 基于深度学习的有监督多模态光场深度估计方法 | |
| CN112001847A (zh) | 相对生成对抗超分辨率重建模型生成高质量图像的方法 | |
| CN111598778B (zh) | 一种绝缘子图像超分辨率重建方法 | |
| CN112767466B (zh) | 一种基于多模态信息的光场深度估计方法 | |
| CN112116601B (zh) | 基于生成对抗残差网络的压缩感知采样重建方法及系统 | |
| CN112819910B (zh) | 基于双鬼注意力机制网络的高光谱图像重建方法 | |
| CN112037131A (zh) | 一种基于生成对抗网络的单图像超分辨率重建方法 | |
| CN112288627B (zh) | 一种面向识别的低分辨率人脸图像超分辨率方法 | |
| CN115222601A (zh) | 基于残差混合注意力网络的图像超分辨率重建模型及方法 | |
| CN112818764B (zh) | 一种基于特征重建模型的低分辨率图像人脸表情识别方法 | |
| CN110689599A (zh) | 基于非局部增强的生成对抗网络的3d视觉显著性预测方法 | |
| CN113283444B (zh) | 一种基于生成对抗网络的异源图像迁移方法 | |
| CN114283158A (zh) | 一种视网膜血管图像分割方法、装置及计算机设备 | |
| CN115484410B (zh) | 基于深度学习的事件相机视频重建方法 | |
| CN113327299B (zh) | 一种基于联合采样结构的神经网络光场方法 | |
| CN112634163A (zh) | 基于改进型循环生成对抗网络去图像运动模糊方法 | |
| CN115147271A (zh) | 一种用于光场超分辨率的多视图信息注意力交互网络 | |
| CN115880158A (zh) | 一种基于变分自编码的盲图像超分辨率重建方法及系统 | |
| CN112785502A (zh) | 一种基于纹理迁移的混合相机的光场图像超分辨率方法 | |
| CN117635428A (zh) | 一种肺部ct图像超分辨重建方法 | |
| CN116957931A (zh) | 一种基于神经辐射场的相机图像画质提升方法 | |
| Silva et al. | Light-field imaging reconstruction using deep learning enabling intelligent autonomous transportation system | |
| CN114926337A (zh) | 基于CNN和Transformer混合网络的单幅图像超分辨率重建方法及系统 | |
| CN113379606B (zh) | 一种基于预训练生成模型的人脸超分辨方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |