CN110738699A - 一种无监督绝对尺度计算方法及系统 - Google Patents

一种无监督绝对尺度计算方法及系统 Download PDF

Info

Publication number
CN110738699A
CN110738699A CN201910967279.3A CN201910967279A CN110738699A CN 110738699 A CN110738699 A CN 110738699A CN 201910967279 A CN201910967279 A CN 201910967279A CN 110738699 A CN110738699 A CN 110738699A
Authority
CN
China
Prior art keywords
image
depth map
error
absolute scale
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910967279.3A
Other languages
English (en)
Inventor
蔡行
王璐瑶
李承远
李宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced Institute of Information Technology AIIT of Peking University
Hangzhou Weiming Information Technology Co Ltd
Original Assignee
Advanced Institute of Information Technology AIIT of Peking University
Hangzhou Weiming Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Advanced Institute of Information Technology AIIT of Peking University, Hangzhou Weiming Information Technology Co Ltd filed Critical Advanced Institute of Information Technology AIIT of Peking University
Priority to CN201910967279.3A priority Critical patent/CN110738699A/zh
Publication of CN110738699A publication Critical patent/CN110738699A/zh
Priority to CN202010280959.0A priority patent/CN111275751B/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种无监督绝对尺度计算方法及系统，利用GAN(Generative Adversarial Networks，生成式对抗网络)对参考绝对尺度深度图和预测深度图进行判别，使深度图拥有绝对尺度，同时，由于重投影误差的约束，使预测深度图与位姿在同一尺度，所以位姿也拥有了绝对尺度。

Description

一种无监督绝对尺度计算方法及系统
技术领域
本发明属于计算机视觉领域的视觉里程计和深度估计方法领域，特别是一种无监督绝对尺度计算方法及系统。
背景技术
近年来,基于深度学习方法的单目稠密深度估计和视觉里程计VO(VisualOdometry)的算法发展迅速，它们也是SfM和SLAM系统的关键模块。已有研究表明，基于监督深度学习的VO和深度估计在许多具有挑战性的环境中都取得了良好的性能，并缓解了尺度漂移等性能下降问题。然而，在实际应用中要训练这些监督模型，获得足够的具有真实标记的数据是困难和昂贵的。相比之下，无监督的方法拥有只需要无标签的视频序列的巨大优势。
深度和姿态估计的深度无监督模型通常采用两个模块，其中一个模块预测深度图，另一个模块估计相机相对位姿。在使用估计的深度图和姿态将图像从源图像投影变换到目标图像后，利用光度误差损失作为优化目标，以端到端方式训练这些模型。然而，大多数无监督单目模型都面临以下具有挑战性的问题：尺度不确定性和尺度恢复问题。
尺度不确定性。单目VO的一个经典问题是，由于单目摄像机的特性，运动估计和深度图只能在一些未知的尺度下恢复。如果没有一个绝对尺度作为锚点，那么在整个训练过程中，位姿和深度图的尺度很容易发生漂移。
尺度恢复问题。由于单目VO和深度没有绝对尺度信息，估计的位姿和深度不能直接利用或者与真值进行性能评测。所以需要尺度恢复。现有的单目无监督深度学习框架采用如下方法与真值比较计算尺度。对于深度图，采用如下公式计算单张尺度，其中median指整张预测图像的中值，
对于位姿，计算方法如下,每5帧与真值计算一个尺度
这样的尺度恢复方法在实际中应用比较困难，因为在实际场景中没有办法得到每帧图像的真值。
发明内容
本发明的工作原理为：利用GAN(Generative Adversarial Networks，生成式对抗网络)对参考绝对尺度深度图和预测深度图进行判别，使深度图拥有绝对尺度，同时，由于重投影误差的约束，使预测深度图与位姿在同一尺度，所以位姿也拥有了绝对尺度。
为了解决上述问题，本发明提出一种无监督绝对尺度计算方法及系统。
本发明所采用的技术方案是：
一种无监督绝对尺度计算方法，包含位姿深度网络模型T、深度网络模型G1、深度网络模型G2、判别模型D1、判别模型D2和对抗损失函数，包括以下步骤：
S1，预备单目视频数据集和带有绝对尺度的参考深度图数据集并且两者的数据分布不相关；
S2，从步骤S1中的单目视频数据集中抽取至少2幅图像，图像中包含源图像和目标图像，并且源图像和目标图像之间存在重叠区域，源图像和目标图像通过模型T进行前向传播，计算出源图像和目标图像之间的相对位姿；目标图像经过前向传播，通过模型G1计算图像像素的深度值，计算出预测深度图；步骤S1中的参考深度图数据集经过前向传播，通过模型G2对彩色图像重构，计算出带有绝对尺度的伪造RGB图像；
S3，步骤S2中的相对位姿和预测深度图通过视觉重建，得到重投影源图像；步骤S2中的预测深度图前向传播，通过模型G2对彩色图像重构，计算出重构目标图像；步骤S2中伪造RGB图像前向传播，通过模型G1计算图像像素的深度值，计算出重构参考深度；步骤S2中的预测深度图，通过判别模型D1，以步骤S1中的的参考深度图为参照，输出预测深度图的真实性概率；步骤S2中的伪造RGB图像和目标图像通过模型D2，以步骤S2中的目标对象为参照，输出伪造RGB图像的真实性概率；利用对抗损失函数计算模型G1与D1之间的对抗误差以及模型G2与D2之间的对抗误差；
S4，计算源图像与步骤S3中重投影源图像之间的重投影误差，计算目标图像与步骤S3中重构目标图像之间的重建误差，计算参考深度图与步骤S3中重构参考深度之间的重建误差；
S5，通过对抗误差、重投影误差和重建误差求和得到损失函数，进行反向传播，进行迭代更新，直到损失函数收敛；
S6，将一对源图像与目标图像输入测试数据集，利用模型T与模型G1，分别前向传播，计算出带有绝对尺度的相机相对位姿和目标图像的预测深度图。
采用GAN来融合绝对尺度信息，对参考绝对尺度深度图和预测深度图进行判别，使深度图拥有绝对尺度，同时，由于重投影误差的约束，使预测深度图与位姿在同一尺度，所以位姿也拥有了绝对尺度，是一种新颖的用于单目视觉和深度估计的无监督框架，该框架所估计的深度和姿态是绝对尺度的，因此该模型可以直接应用于实际场景。
进一步的，所述步骤S3中G1与D1之间的对抗损失函数为：
Figure BDA0002230897630000031
其中，xrgb是输入RGB图像，xref是参考深度图。通过对抗损失的约束，G1和D1中的模型参数不断迭代优化，G1生成的预测深度图深度值和绝对尺度逐渐准确，D1无法给出明确的真实性决策，可认为优化过程收敛。
进一步的，所述步骤S3中G2与D2之间的对抗损失函数为：
Figure BDA0002230897630000032
其中，xrgb是输入RGB图像，xref是参考深度图。
进一步的，所述步骤S4中重建误差的计算方法为：
Figure BDA0002230897630000041
其中，xrgb是输入RGB图像，xref是参考深度图。
进一步的，所述步骤S5中损失函数为：
Figure BDA0002230897630000042
其中Lsmooth是深度图的平滑损失函数，Lreprojection是S4中的重投影误差，Lcycle是对抗误差和重建误差之和，α和β是权重系数。
进一步的，所述步骤S5中Lcycle为：
Lcycle＝γ*Lrec+Ladv1+Ladv2
其中Lrec为S4中重建误差，Ladv1为S3中G1与D1之间的对抗误差，Ladv2为S3中G2与D2之间的对抗误差，γ为权重系数。
进一步的，所述步骤S5中损失函数利用Adam优化方法进行训练。
一种无监督绝对尺度计算的系统，其特征在于，包括位姿估计深度网络模块T、深度网络模块G1、深度网络模块G2、判别模块D1、判别模块D2和损失函数模块，所述模块T用于提取相对位姿，模块G1用于计算图像每个像素的深度值，模块G2用于对彩色图像重构，判别模块D1和D2用于输出真实性概率，模块G1与D1通过损失函数模块约束，模块G2与D2通过损失函数模块约束。
本发明同现有技术相比具有以下优点及效果：
1、提出了一种新颖的用于单目视觉和深度估计的无监督框架，该框架采用GAN来融合绝对尺度信息，对参考绝对尺度深度图和预测深度图进行判别，使深度图拥有绝对尺度，同时，由于重投影误差的约束，使预测深度图与位姿在同一尺度，所以位姿也拥有了绝对尺度。由于所估计的深度和姿态是绝对尺度的，因此该模型可以直接应用于实际场景。
2、引入循环约束模块Cycle-GAN，保证参考RGB图像与预测深度图的结构一致性。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明总体流程图；
图2为本发明尺度学习的基本框架图；
图3为本发明深度图结果与其他算法的对比图；
图4为本发明位姿结果与其他算法的轨迹对比图；
图5为本发明算法深度估计结果和其他算法的对比图；
图6为本发明算法位姿估计结果和其他算法的对比结果；
图7为本发明模型G1，G2解码器结构及参数；
图8为本发明模型T解码器结构及参数；
图9为本发明模型D1，D2解码器结构及参数。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
实施例1：
如图1-9所示，一种无监督绝对尺度计算的方法和系统，其中主要采用以下模块：位姿估计深度网络模块T、深度估计深度网络模块G1、根据参考深度图恢复参考RGB图像的深度网络模块G2、判别模块D1、判别模块D2和误差损失函数模块。模块T包含编码器和预测器，模块G1、模块G2、模块D1和模块D2均包含编码器和解码器，模块T的编码器采用ResNet18网络结构，模块T的预测器采用图8所示结构，该预测器由4层卷积层组成的网络结构；模块G1的编码器采用ResNet18网络结构，模块G1的解码器采用图7所示结构，该解码器由5层反卷积层构成的网络结构；模块G2的编码器采用ResNet18网络结构，模块G2的解码器采用图7所示结构，该解码器由5层反卷积层构成的网络结构，但是输入层1通道，输出层是3通道；模块D1和D2的编码器采用ResNet18网络结构，模块D1和D2的解码器采用图9所示结构，D1模块是由6层卷积层构成的网络结构，D2与D1模块结构相同，但D2输入层是3通道。其中，layer是每一层名称，k是卷积核大小，s是步长，chns是通道数，res是下采样因子，input是输入，activation是激活函数。↑指的2x最近邻上采样。Conv_Norm_leakyReLU包含卷积层、归一化层和leakyReLU激活层。
步骤1，预先准备好视觉里程计单目视频数据集和参考深度图数据集，单目视频数据集例如KITTI，参考深度图数据集是单目视频数据集同场景下采集的稠密深度图，例如通过激光算法方法或者双目算法得到的深度图，拥有绝对尺度。并且参考深度图数据集和单目视频数据集的数据分布不相关。
步骤2，从视频序列中抽取连续时间图像，例如连续2帧或5帧或7帧的视频段，以其中任一帧作为目标图像，最好选用中间帧作为目标图像，其它帧为源图像，分别可构成1对、4对、6对图像对。或者抽取连续时间图像对，例如连续3对或5对或7对的视频段，每对图像由目标图像和源图像组成。或者从视频序列中随机抽取图像，例如抽取第2帧、第4帧、第5帧和第8帧，以其中任一帧作为目标图像，其它帧为源图像，但要保证目标图像与源图像之间存在重叠区域。或者从视频序列中随机抽取图像对，每对图像由目标图像和源图像组成。
上述视频段长度和图像对数量可选，将一对图像对输入到T模块中，经过神经网络前向传播计算出相对位姿。
目标图像输入到G1模块，用于计算图像每个像素的深度值，经过神经网络前向传播计算出预测深度图；带有绝对尺度的参考深度图输入到G2模块，用于对彩色图像的重构，经过神经网络前向传播计算出带有绝对尺度的伪造RGB图像；
步骤3，输入上述步骤2中得到的相对位姿和预测深度图，通过视觉重建模块，利用公式(1)进行图像投影，得到重投影源图像ps；
Figure BDA0002230897630000071
其中pt是像素坐标，K是相机内参，D是预测深度图，T是预测位姿。
预测深度图输入到G2模块前向传播计算出重构目标图像；
预测深度图和参考深度图分别输入到D1模块中，输出预测深度图和参考深度图各自的真假概率；
输入上述步骤2中得到的绝对尺度伪造RGB图像，经过G1模块前向传播计算出重构参考深度；
绝对尺度伪造RGB图像和目标图像分别输入到D2模块中，输出目标图像和伪造RGB图像各自的真假概率。
步骤4，利用公式(2)定义的对抗损失函数，计算G1模块与D1模块之间的对抗误差Ladv1；
Figure BDA0002230897630000072
其中xrgb是目标图像，xref是参考深度图。
利用对抗损失函数(3)，计算G2模块与D2模块之间的对抗误差Ladv2；
Figure BDA0002230897630000073
上述步骤3中得到的重投影源图像Is与源图像It进行逐像素对比，公式如(4)所示，得到光度误差Lphotometric；同时用SSIM(Structural Similarity Index)来衡量重投影源图像和源图像的相似性，公式如(5)所示，得到Lssim；将公式(4)与(5)相加得到重投影误差，如公式(6)所示，得到重投影误差Lreprojection；
Figure BDA0002230897630000074
Figure BDA0002230897630000075
Lreprojection＝α*Lphotometrin+(1-α)*Lssim (6)
其中，α是权重系数，α取值范围是0.01-1。
计算目标图像与上述步骤3中得到的重构目标图像之间的重建误差，如公式(7)第一项所示；计算参考深度图与步骤3中得到的重构参考深度之间的重建误差，如公式(7)第二项所示；然后将两者相加。
Figure BDA0002230897630000081
步骤5，对步骤4中得到的对抗误差、重投影误差和重建误差求和得到最终的损失函数(公式(8)所示)。利用Adam优化方法反向传播，对本框架中所有模块中的参数值进行迭代更新，直到损失函数收敛，本方法的训练阶段完成；
Lcycle＝γ*Lrec+Ladv1+Ladv2
Figure BDA0002230897630000082
其中Lcycle是循环一致性损失，Lsmooth是预测深度图的平滑损失函数，α、β和γ为权重系数，α、β和γ取值范围是0.01-1。
步骤6，测试阶段，准备好测试数据集，输入一对源图像与目标图像，利用步骤1至步骤5训练好的T模块与G1模块中的参数，通过T模块的神经网络前向传播计算出带有绝对尺度的相机相对位姿，通过G1模块的神经网络前向传播计算出目标图像对应的预测深度图。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种无监督绝对尺度计算方法，其特征在于，包含位姿深度网络模型T、深度网络模型G1、深度网络模型G2、判别模型D1、判别模型D2和对抗损失函数，包括以下步骤：
S1，预备单目视频数据集和带有绝对尺度的参考深度图数据集并且两者的数据分布不相关；
S2，从步骤S1中的单目视频数据集中抽取至少2幅图像，图像中包含源图像和目标图像，并且源图像和目标图像之间存在重叠区域，源图像和目标图像通过模型T进行前向传播，计算出源图像和目标图像之间的相对位姿；目标图像经过前向传播，通过模型G1计算图像像素的深度值，计算出预测深度图；步骤S1中的参考深度图数据集经过前向传播，通过模型G2对彩色图像重构，计算出带有绝对尺度的伪造RGB图像；
S3，步骤S2中的相对位姿和预测深度图通过视觉重建，得到重投影源图像；步骤S2中的预测深度图前向传播，通过模型G2对彩色图像重构，计算出重构目标图像；步骤S2中伪造RGB图像前向传播，通过模型G1计算图像像素的深度值，计算出重构参考深度；步骤S2中的预测深度图，通过判别模型D1，以步骤S1中的的参考深度图为参照，输出预测深度图的真实性概率；步骤S2中的伪造RGB图像和目标图像通过模型D2，以步骤S2中的目标对象为参照，输出伪造RGB图像的真实性概率；利用对抗损失函数计算模型G1与D1之间的对抗误差以及模型G2与D2之间的对抗误差；
S4，计算源图像与步骤S3中重投影源图像之间的重投影误差，计算目标图像与步骤S3中重构目标图像之间的重建误差，计算参考深度图与步骤S3中重构参考深度之间的重建误差；
S5，通过对抗误差、重投影误差和重建误差求和得到损失函数，进行反向传播，进行迭代更新，直到损失函数收敛；
S6，将一对源图像与目标图像输入测试数据集，利用模型T与模型G1，分别前向传播，计算出带有绝对尺度的相机相对位姿和目标图像的预测深度图。
2.根据权利要求1所述的无监督绝对尺度计算方法，其特征在于，所述步骤S3中G1与D1之间的对抗损失函数为：
Figure FDA0002230897620000022
其中，xrgb是输入RGB图像，xref是参考深度图。
3.根据权利要求1所述的无监督绝对尺度计算方法，其特征在于，所述步骤S3中G2与D2之间的对抗损失函数为：
Figure FDA0002230897620000023
其中，xrgb是输入RGB图像，xref是参考深度图。
4.根据权利要求1所述的无监督绝对尺度计算方法，其特征在于，所述步骤S4中重建误差的计算方法为：
Figure FDA0002230897620000024
其中，xrgb是输入RGB图像，xref是参考深度图。
5.根据权利要求1所述的无监督绝对尺度计算方法，其特征在于，所述步骤S5中损失函数为：
Figure FDA0002230897620000021
其中Lsmooth是深度图的平滑损失函数，Lreprojection是S4中的重投影误差，Lcycle是对抗误差和重建误差之和，α和β是权重系数。
6.根据权利要求5所述的无监督绝对尺度计算方法，其特征在于，所述步骤S5中Lcycle为：
Lcycle=γ*Lrec+Ladv1+Ladv2
其中Lrec为S4中重建误差，Ladv1为S3中G1与D1之间的对抗误差，Ladv2为S3中G2与D2之间的对抗误差，γ为权重系数。
7.根据权利要求1所述的无监督绝对尺度计算方法，其特征在于，所述步骤S5中损失函数利用Adam优化方法进行训练。
8.一种无监督绝对尺度计算的系统，其特征在于，包括位姿估计深度网络模块T、深度网络模块G1、深度网络模块G2、判别模块D1、判别模块D2和损失函数模块，所述模块T用于提取相对位姿，模块G1用于计算图像每个像素的深度值，模块G2用于对彩色图像重构，判别模块D1和D2用于输出真实性概率，模块G1与D1通过损失函数模块约束，模块G2与D2通过损失函数模块约束。
CN201910967279.3A 2019-10-12 2019-10-12 一种无监督绝对尺度计算方法及系统 Pending CN110738699A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910967279.3A CN110738699A (zh) 2019-10-12 2019-10-12 一种无监督绝对尺度计算方法及系统
CN202010280959.0A CN111275751B (zh) 2019-10-12 2020-04-10 一种无监督绝对尺度计算方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910967279.3A CN110738699A (zh) 2019-10-12 2019-10-12 一种无监督绝对尺度计算方法及系统

Publications (1)

Publication Number Publication Date
CN110738699A true CN110738699A (zh) 2020-01-31

Family

ID=69268772

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910967279.3A Pending CN110738699A (zh) 2019-10-12 2019-10-12 一种无监督绝对尺度计算方法及系统
CN202010280959.0A Active CN111275751B (zh) 2019-10-12 2020-04-10 一种无监督绝对尺度计算方法及系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202010280959.0A Active CN111275751B (zh) 2019-10-12 2020-04-10 一种无监督绝对尺度计算方法及系统

Country Status (1)

Country Link
CN (2) CN110738699A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111402310A (zh) * 2020-02-29 2020-07-10 同济大学 一种基于深度估计网络的单目图像深度估计方法及系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112102399B (zh) * 2020-09-11 2022-07-19 成都理工大学 一种基于生成式对抗网络的视觉里程计算法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107945265B (zh) * 2017-11-29 2019-09-20 华中科技大学 基于在线学习深度预测网络的实时稠密单目slam方法与系统
US11024046B2 (en) * 2018-02-07 2021-06-01 Fotonation Limited Systems and methods for depth estimation using generative models
WO2019177539A1 (en) * 2018-03-14 2019-09-19 Agency For Science, Technology And Research Method for visual inspection and apparatus thereof
CN109544630B (zh) * 2018-11-30 2021-02-02 南京人工智能高等研究院有限公司 位姿信息确定方法和装置、视觉点云构建方法和装置
CN110211061A (zh) * 2019-05-20 2019-09-06 清华大学 基于神经网络的单深度相机深度图实时增强方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111402310A (zh) * 2020-02-29 2020-07-10 同济大学 一种基于深度估计网络的单目图像深度估计方法及系统
CN111402310B (zh) * 2020-02-29 2023-03-28 同济大学 一种基于深度估计网络的单目图像深度估计方法及系统

Also Published As

Publication number Publication date
CN111275751A (zh) 2020-06-12
CN111275751B (zh) 2022-10-25

Similar Documents

Publication Publication Date Title
CN110363716B (zh) 一种基于条件生成对抗网络复合降质图像高质量重建方法
CN110111366B (zh) 一种基于多级损失量的端到端光流估计方法
KR102235745B1 (ko) 컨볼루션 순환 신경망을 훈련시키는 방법 및 훈련된 컨볼루션 순환 신경망을 사용하는 입력된 비디오의 의미적 세그먼트화 방법
CN110782490B (zh) 一种具有时空一致性的视频深度图估计方法及装置
CN114782691B (zh) 基于深度学习的机器人目标识别与运动检测方法、存储介质及设备
CN108629291B (zh) 一种抗网格效应的人脸深度预测方法
CN113077505B (zh) 一种基于对比学习的单目深度估计网络的优化方法
CN111738948B (zh) 一种基于双U-net的水下图像增强方法
CN110853074B (zh) 一种利用光流增强目标的视频目标检测网络系统
CN114663496B (zh) 一种基于卡尔曼位姿估计网络的单目视觉里程计方法
CN109903315B (zh) 用于光流预测的方法、装置、设备以及可读存储介质
CN110942484B (zh) 基于遮挡感知和特征金字塔匹配的相机自运动估计方法
CN111325784A (zh) 一种无监督位姿与深度计算方法及系统
CN113870124B (zh) 基于弱监督的双网络互激励学习阴影去除方法
CN109345525B (zh) 一种去鬼影高动态范围图像质量评价方法
CN111275751B (zh) 一种无监督绝对尺度计算方法及系统
CN114663509A (zh) 一种关键点热力图引导的自监督单目视觉里程计方法
CN113724155A (zh) 用于自监督单目深度估计的自提升学习方法、装置及设备
CN112270691A (zh) 一种基于动态滤波器网络的单目视频结构和运动预测方法
CN116402874A (zh) 基于时序光学图像与激光雷达数据的航天器深度补全方法
CN112446245A (zh) 一种基于运动边界小位移的高效运动表征方法及装置
CN114463176B (zh) 基于改进esrgan的图像超分辨重建方法
CN115797646A (zh) 多尺度特征融合的视频去噪方法、系统、设备及存储介质
CN108600762B (zh) 结合运动补偿和神经网络算法的递进式视频帧生成方法
KR102057395B1 (ko) 기계학습 기반 비디오 보외법을 이용한 영상 생성 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200131