CN111275751B - 一种无监督绝对尺度计算方法及系统 - Google Patents
一种无监督绝对尺度计算方法及系统 Download PDFInfo
- Publication number
- CN111275751B CN111275751B CN202010280959.0A CN202010280959A CN111275751B CN 111275751 B CN111275751 B CN 111275751B CN 202010280959 A CN202010280959 A CN 202010280959A CN 111275751 B CN111275751 B CN 111275751B
- Authority
- CN
- China
- Prior art keywords
- image
- depth map
- model
- absolute scale
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 19
- 238000000034 method Methods 0.000 claims description 14
- 101100409308 Neurospora crassa (strain ATCC 24698 / 74-OR23-1A / CBS 708.71 / DSM 1257 / FGSC 987) adv-1 gene Proteins 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 5
- 230000000644 propagated effect Effects 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 19
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000011084 recovery Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种无监督绝对尺度计算方法及系统，利用GAN(Generative Adversarial Networks，生成式对抗网络)对参考绝对尺度深度图和预测深度图进行判别，使深度图拥有绝对尺度，同时，由于重投影误差的约束，使预测深度图与位姿在同一尺度，所以位姿也拥有了绝对尺度。
Description
技术领域
本发明属于计算机视觉领域的视觉里程计和深度估计方法领域，特别是一种无监督绝对尺度计算方法及系统。
背景技术
近年来,基于深度学习方法的单目稠密深度估计和视觉里程计VO(VisualOdometry)的算法发展迅速，它们也是SfM和SLAM系统的关键模块。已有研究表明，基于监督深度学习的VO和深度估计在许多具有挑战性的环境中都取得了良好的性能，并缓解了尺度漂移等性能下降问题。然而，在实际应用中要训练这些监督模型，获得足够的具有真实标记的数据是困难和昂贵的。相比之下，无监督的方法拥有只需要无标签的视频序列的巨大优势。
深度和姿态估计的深度无监督模型通常采用两个模块，其中一个模块预测深度图，另一个模块估计相机相对位姿。在使用估计的深度图和姿态将图像从源图像投影变换到目标图像后，利用光度误差损失作为优化目标，以端到端方式训练这些模型。然而，大多数无监督单目模型都面临以下具有挑战性的问题：尺度不确定性和尺度恢复问题。
尺度不确定性。单目VO的一个经典问题是，由于单目摄像机的特性，运动估计和深度图只能在一些未知的尺度下恢复。如果没有一个绝对尺度作为锚点，那么在整个训练过程中，位姿和深度图的尺度很容易发生漂移。
尺度恢复问题。由于单目VO和深度没有绝对尺度信息，估计的位姿和深度不能直接利用或者与真值进行性能评测。所以需要尺度恢复。现有的单目无监督深度学习框架采用如下方法与真值比较计算尺度。对于深度图，采用如下公式计算单张尺度，其中median指整张预测图像的中值，
对于位姿，计算方法如下,每5帧与真值计算一个尺度
这样的尺度恢复方法在实际中应用比较困难，因为在实际场景中没有办法得到每帧图像的真值。
发明内容
本发明的工作原理为：利用GAN(Generative Adversarial Networks，生成式对抗网络)对参考绝对尺度深度图和预测深度图进行判别，使深度图拥有绝对尺度，同时，由于重投影误差的约束，使预测深度图与位姿在同一尺度，所以位姿也拥有了绝对尺度。
为了解决上述问题，本发明提出一种无监督绝对尺度计算方法及系统。
本发明所采用的技术方案是：
一种无监督绝对尺度计算方法，包含位姿深度网络模型T、深度网络模型G1、深度网络模型G2、判别模型D1、判别模型D2和对抗损失函数，包括以下步骤：
S1，预备单目视频数据集和带有绝对尺度的参考深度图数据集并且两者的数据分布不相关；
S2，从步骤S1中的单目视频数据集中抽取至少2幅图像，图像中包含源图像和目标图像，并且源图像和目标图像之间存在重叠区域，源图像和目标图像通过模型T进行前向传播，计算出源图像和目标图像之间的相对位姿；目标图像经过前向传播，通过模型G1计算图像像素的深度值，计算出预测深度图；步骤S1中的参考深度图数据集经过前向传播，通过模型G2对彩色图像重构，计算出带有绝对尺度的伪造RGB图像；
S3，步骤S2中的相对位姿和预测深度图通过视觉重建，得到重投影源图像；步骤S2中的预测深度图前向传播，通过模型G2对彩色图像重构，计算出重构目标图像；步骤S2中伪造RGB图像前向传播，通过模型G1计算图像像素的深度值，计算出重构参考深度；步骤S2中的预测深度图，通过判别模型D1，以步骤S1中的的参考深度图为参照，输出预测深度图的真实性概率；步骤S2中的伪造RGB图像和目标图像通过模型D2，以步骤S2中的目标对象为参照，输出伪造RGB图像的真实性概率；利用对抗损失函数计算模型G1与D1之间的对抗误差以及模型G2与D2之间的对抗误差；
S4，计算源图像与步骤S3中重投影源图像之间的重投影误差，计算目标图像与步骤S3中重构目标图像之间的重建误差，计算参考深度图与步骤S3中重构参考深度之间的重建误差；
S5，通过对抗误差、重投影误差和重建误差求和得到损失函数，进行反向传播，进行迭代更新，直到损失函数收敛；
S6，将一对源图像与目标图像输入测试数据集，利用模型T与模型G1，分别前向传播，计算出带有绝对尺度的相机相对位姿和目标图像的预测深度图。
采用GAN来融合绝对尺度信息，对参考绝对尺度深度图和预测深度图进行判别，使深度图拥有绝对尺度，同时，由于重投影误差的约束，使预测深度图与位姿在同一尺度，所以位姿也拥有了绝对尺度，是一种新颖的用于单目视觉和深度估计的无监督框架，该框架所估计的深度和姿态是绝对尺度的，因此该模型可以直接应用于实际场景。
进一步的，所述步骤S3中G1与D1之间的对抗损失函数为：
Ladv1(G1，D1)＝Eχref[log(D1(xref))]+Eχrgb[log(1-D1(G1(xrgb)))]
其中，xrgb是输入RGB图像，xref是参考深度图。通过对抗损失的约束，G1和D1中的模型参数不断迭代优化，G1生成的预测深度图深度值和绝对尺度逐渐准确，D1无法给出明确的真实性决策，可认为优化过程收敛。
进一步的，所述步骤S3中G2与D2之间的对抗损失函数为：
Ladv2(G2，D2)＝Eχrgb[log(D2(xrgb))]+Eχ[log(1-D2(G2(xref)))]
其中，xrgb是输入RGB图像，xref是参考深度图。
进一步的，所述步骤S4中重建误差的计算方法为：
Lrec(G1，G2)＝Eχrgb||xrgb-G2(G1(xrgb))||1+Eχref||xref-G1(G2(xref))||1
其中，xrgb是输入RGB图像，xref是参考深度图。
进一步的，所述步骤S5中损失函数为：
Ltotal＝Lreprojection+α*Lsmooth+β*Lcycle
其中Lsmooth是深度图的平滑损失函数，Lreprojection是S4中的重投影误差，Lcycle是对抗误差和重建误差之和，α和β是权重系数。
进一步的，所述步骤S5中Lcycle为：
Lcycle＝γ*Lrec+Ladv1+Ladv2
其中Lrec为S4中重建误差，Ladv1为S3中G1与D1之间的对抗误差，Ladv2为S3中G2与D2之间的对抗误差，γ为权重系数。
进一步的，所述步骤S5中损失函数利用Adam优化方法进行训练。
一种无监督绝对尺度计算的系统，其特征在于，包括位姿估计深度网络模块T、深度网络模块G1、深度网络模块G2、判别模块D1、判别模块D2和损失函数模块，所述模块T用于提取相对位姿，模块G1用于计算图像每个像素的深度值，模块G2用于对彩色图像重构，判别模块D1和D2用于输出真实性概率，模块G1与D1通过损失函数模块约束，模块G2与D2通过损失函数模块约束。
本发明同现有技术相比具有以下优点及效果：
1、提出了一种新颖的用于单目视觉和深度估计的无监督框架，该框架采用GAN来融合绝对尺度信息，对参考绝对尺度深度图和预测深度图进行判别，使深度图拥有绝对尺度，同时，由于重投影误差的约束，使预测深度图与位姿在同一尺度，所以位姿也拥有了绝对尺度。由于所估计的深度和姿态是绝对尺度的，因此该模型可以直接应用于实际场景。
2、引入循环约束模块Cycle-GAN，保证参考RGB图像与预测深度图的结构一致性。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明总体流程图；
图2为本发明尺度学习的基本框架图；
图3为本发明深度图结果与其他算法的对比图；
图4为本发明位姿结果与其他算法的轨迹对比图；
图5为本发明算法深度估计结果和其他算法的对比图；
图6为本发明算法位姿估计结果和其他算法的对比结果；
图7为本发明模型G1，G2解码器结构及参数；
图8为本发明模型T解码器结构及参数；
图9为本发明模型D1，D2解码器结构及参数。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
实施例1：
如图1-9所示，一种无监督绝对尺度计算的方法和系统，其中主要采用以下模块：位姿估计深度网络模块T、深度估计深度网络模块G1、根据参考深度图恢复参考RGB图像的深度网络模块G2、判别模块D1、判别模块D2和误差损失函数模块。模块T包含编码器和预测器，模块G1、模块G2、模块D1和模块D2均包含编码器和解码器，模块T的编码器采用ResNet18网络结构，模块T的预测器采用图8所示结构，该预测器由4层卷积层组成的网络结构；模块G1的编码器采用ResNet18网络结构，模块G1的解码器采用图7所示结构，该解码器由5层反卷积层构成的网络结构；模块G2的编码器采用ResNet18网络结构，模块G2的解码器采用图7所示结构，该解码器由5层反卷积层构成的网络结构，但是输入层1通道，输出层是3通道；模块D1和D2的编码器采用ResNet18网络结构，模块D1和D2的解码器采用图9所示结构，D1模块是由6层卷积层构成的网络结构，D2与D1模块结构相同，但D2输入层是3通道。其中，layer是每一层名称，k是卷积核大小，s是步长，chns是通道数，res是下采样因子，input是输入，activation是激活函数。↑指的2x最近邻上采样。Conv_Norm_leakyReLU包含卷积层、归一化层和leakyReLU激活层。
步骤1，预先准备好视觉里程计单目视频数据集和参考深度图数据集，单目视频数据集例如KITTI，参考深度图数据集是单目视频数据集同场景下采集的稠密深度图，例如通过激光算法方法或者双目算法得到的深度图，拥有绝对尺度。并且参考深度图数据集和单目视频数据集的数据分布不相关。
步骤2，从视频序列中抽取连续时间图像，例如连续2帧或5帧或7帧的视频段，以其中任一帧作为目标图像，最好选用中间帧作为目标图像，其它帧为源图像，分别可构成1对、4对、6对图像对。或者抽取连续时间图像对，例如连续3对或5对或7对的视频段，每对图像由目标图像和源图像组成。或者从视频序列中随机抽取图像，例如抽取第2帧、第4帧、第5帧和第8帧，以其中任一帧作为目标图像，其它帧为源图像，但要保证目标图像与源图像之间存在重叠区域。或者从视频序列中随机抽取图像对，每对图像由目标图像和源图像组成。
上述视频段长度和图像对数量可选，将一对图像对输入到T模块中，经过神经网络前向传播计算出相对位姿。
目标图像输入到G1模块，用于计算图像每个像素的深度值，经过神经网络前向传播计算出预测深度图；带有绝对尺度的参考深度图输入到G2模块，用于对彩色图像的重构，经过神经网络前向传播计算出带有绝对尺度的伪造RGB图像；
步骤3，输入上述步骤2中得到的相对位姿和预测深度图，通过视觉重建模块，利用公式(1)进行图像投影，得到重投影源图像ps；
其中pt是像素坐标，K是相机内参，D是预测深度图，T是预测位姿。
预测深度图输入到G2模块前向传播计算出重构目标图像；
预测深度图和参考深度图分别输入到D1模块中，输出预测深度图和参考深度图各自的真假概率；
输入上述步骤2中得到的绝对尺度伪造RGB图像，经过G1模块前向传播计算出重构参考深度；
绝对尺度伪造RGB图像和目标图像分别输入到D2模块中，输出目标图像和伪造RGB图像各自的真假概率。
步骤4，利用公式(2)定义的对抗损失函数，计算G1模块与D1模块之间的对抗误差Ladv1；
Ladv1(G1，D1)＝Eχref[log(D1(xref))]+Eχrgb[log(1-D1(G1(xrgb)))] (2)
其中xrgb是目标图像，xref是参考深度图。
利用对抗损失函数(3)，计算G2模块与D2模块之间的对抗误差Ladv2；
Ladv2(G2，D2)＝Eχrgb[log(D2(xrgb))]+Eχ[log(1-D2(G2(xref))))] (3)
上述步骤3中得到的重投影源图像Is与源图像It进行逐像素对比，公式如(4)所示，得到光度误差Lphotometric；同时用SSIM(Structural Similarity Index)来衡量重投影源图像和源图像的相似性，公式如(5)所示，得到Lssim；将公式(4)与(5)相加得到重投影误差，如公式(6)所示，得到重投影误差Lreprojection；
Lreprojection＝α*Lphotometric+(1-α)*Lssim (6)
其中，α是权重系数，α取值范围是0.01-1。
计算目标图像与上述步骤3中得到的重构目标图像之间的重建误差，如公式(7)第一项所示；计算参考深度图与步骤3中得到的重构参考深度之间的重建误差，如公式(7)第二项所示；然后将两者相加。
Lrec(G1，G2)＝Eχrgb||xrgb-G2(G1(xrgb))||1+Eχref||xref-G1(G2(xref))||1 (7)
步骤5，对步骤4中得到的对抗误差、重投影误差和重建误差求和得到最终的损失函数(公式(8)所示)。利用Adam优化方法反向传播，对本框架中所有模块中的参数值进行迭代更新，直到损失函数收敛，本方法的训练阶段完成；
Lcycle＝γ*Lrec+Ladv1+Ladv2
Ltotal＝Lrepojection+α*Lsmooth+β*Lcycle (8)
其中Lcycle是循环一致性损失，Lsmooth是预测深度图的平滑损失函数，α、β和γ为权重系数，α、β和γ取值范围是0.01-1。
步骤6，测试阶段，准备好测试数据集，输入一对源图像与目标图像，利用步骤1至步骤5训练好的T模块与G1模块中的参数，通过T模块的神经网络前向传播计算出带有绝对尺度的相机相对位姿，通过G1模块的神经网络前向传播计算出目标图像对应的预测深度图。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种无监督绝对尺度计算方法，其特征在于，包含位姿深度网络模型T、深度网络模型G1、深度网络模型G2、判别模型D1、判别模型D2和对抗损失函数，包括以下步骤：
S1，预备单目视频数据集和带有绝对尺度的参考深度图数据集并且两者的数据分布不相关；
S2，从步骤S1中的单目视频数据集中抽取至少2幅图像，图像中包含源图像和目标图像，并且源图像和目标图像之间存在重叠区域，源图像和目标图像通过模型T进行前向传播，计算出源图像和目标图像之间的相对位姿；目标图像经过前向传播，通过模型G1计算图像像素的深度值，计算出预测深度图；步骤S1中的参考深度图数据集经过前向传播，通过模型G2对彩色图像重构，计算出带有绝对尺度的伪造RGB图像；
S3，步骤S2中的相对位姿和预测深度图通过视觉重建，得到重投影源图像；步骤S2中的预测深度图前向传播，通过模型G2对彩色图像重构，计算出重构目标图像；步骤S2中伪造RGB图像前向传播，通过模型G1计算图像像素的深度值，计算出重构参考深度；步骤S2中的预测深度图，通过判别模型D1，以步骤S1中的参考深度图为参照，输出预测深度图的真实性概率；步骤S2中的伪造RGB图像和目标图像通过模型D2，以步骤S2中的目标对象为参照，输出伪造RGB图像的真实性概率；利用对抗损失函数计算模型G1与D1之间的对抗误差以及模型G2与D2之间的对抗误差；
S4，计算源图像与步骤S3中重投影源图像之间的重投影误差，计算目标图像与步骤S3中重构目标图像之间的重建误差，计算参考深度图与步骤S3中重构参考深度之间的重建误差；
S5，通过对抗误差、重投影误差和重建误差求和得到损失函数，进行反向传播，进行迭代更新，直到损失函数收敛；
S6，将一对源图像与目标图像输入测试数据集，利用模型T与模型G1，分别前向传播，计算出带有绝对尺度的相机相对位姿和目标图像的预测深度图。
2.根据权利要求1所述的无监督绝对尺度计算方法，其特征在于，所述步骤S3中G1与D1之间的对抗损失函数为：
Ladv1(G1，D1)＝Exref[log(D1(xref))+Eχrgb[log(1-D1(G1(xrgb)))]
其中，xrgb是输入RGB图像，xref是参考深度图。
3.根据权利要求1所述的无监督绝对尺度计算方法，其特征在于，所述步骤S3中G2与D2之间的对抗损失函数为：
Ladv2(G2，D2)＝Eχrgb[log(D2(xrgb))]+Eχ[log(1-D2(G2(xref)))]
其中，xrgb是输入RGB图像，xref是参考深度图。
4.根据权利要求1所述的无监督绝对尺度计算方法，其特征在于，所述步骤S4中重建误差的计算方法为：
Lrec(G1，G2)＝Eχrgb||xrgb-G2(G1(xrgb))||1+Eχref||xref-G1(G2(xref))||1
其中，xrgb是输入RGB图像，xref是参考深度图。
5.根据权利要求1所述的无监督绝对尺度计算方法，其特征在于，所述步骤S5中损失函数为：
Ltotal＝Lreprojection+α*Lsmooth+β*Lcycle
其中Lsmooth是深度图的平滑损失函数，Lreprojection是S4中的重投影误差，Lcycle是对抗误差和重建误差之和，α和β是权重系数。
6.根据权利要求5所述的无监督绝对尺度计算方法，其特征在于，所述步骤S5中Lcycle为：
Lcycle＝γ*Lrec+Ladv1+Ladv2
其中Lrec为S4中重建误差，Ladv1为S3中G1与D1之间的对抗误差，Ladv2为S3中G2与D2之间的对抗误差，γ为权重系数。
7.根据权利要求1所述的无监督绝对尺度计算方法，其特征在于，所述步骤S5中损失函数利用Adam优化方法进行训练。
8.一种无监督绝对尺度计算的系统，用于实现权利要求1-7任一项所述的无监督绝对尺度计算方法，其特征在于，包括位姿估计深度网络模块T、深度网络模块G1、深度网络模块G2、判别模块D1、判别模块D2和损失函数模块，所述模块T用于提取相对位姿，模块G1用于计算图像每个像素的深度值，模块G2用于对彩色图像重构，判别模块D1和D2用于输出真实性概率，模块G1与D1通过损失函数模块约束，模块G2与D2通过损失函数模块约束。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2019109672793 | 2019-10-12 | ||
| CN201910967279.3A CN110738699A (zh) | 2019-10-12 | 2019-10-12 | 一种无监督绝对尺度计算方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111275751A CN111275751A (zh) | 2020-06-12 |
| CN111275751B true CN111275751B (zh) | 2022-10-25 |
Family
ID=69268772
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910967279.3A Pending CN110738699A (zh) | 2019-10-12 | 2019-10-12 | 一种无监督绝对尺度计算方法及系统 |
| CN202010280959.0A Active CN111275751B (zh) | 2019-10-12 | 2020-04-10 | 一种无监督绝对尺度计算方法及系统 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910967279.3A Pending CN110738699A (zh) | 2019-10-12 | 2019-10-12 | 一种无监督绝对尺度计算方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (2) | CN110738699A (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111402310B (zh) * | 2020-02-29 | 2023-03-28 | 同济大学 | 一种基于深度估计网络的单目图像深度估计方法及系统 |
| CN112102399B (zh) * | 2020-09-11 | 2022-07-19 | 成都理工大学 | 一种基于生成式对抗网络的视觉里程计算法 |
| CN114627300A (zh) * | 2020-12-11 | 2022-06-14 | 中国科学院深圳先进技术研究院 | 一种基于生成式对抗网络的终生语义slam系统和方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107945265A (zh) * | 2017-11-29 | 2018-04-20 | 华中科技大学 | 基于在线学习深度预测网络的实时稠密单目slam方法与系统 |
| CN109544630A (zh) * | 2018-11-30 | 2019-03-29 | 南京人工智能高等研究院有限公司 | 位姿信息确定方法和装置、视觉点云构建方法和装置 |
| CN110211061A (zh) * | 2019-05-20 | 2019-09-06 | 清华大学 | 基于神经网络的单深度相机深度图实时增强方法及装置 |
| WO2019177539A1 (en) * | 2018-03-14 | 2019-09-19 | Agency For Science, Technology And Research | Method for visual inspection and apparatus thereof |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11024046B2 (en) * | 2018-02-07 | 2021-06-01 | Fotonation Limited | Systems and methods for depth estimation using generative models |
-
2019
- 2019-10-12 CN CN201910967279.3A patent/CN110738699A/zh active Pending
-
2020
- 2020-04-10 CN CN202010280959.0A patent/CN111275751B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107945265A (zh) * | 2017-11-29 | 2018-04-20 | 华中科技大学 | 基于在线学习深度预测网络的实时稠密单目slam方法与系统 |
| WO2019177539A1 (en) * | 2018-03-14 | 2019-09-19 | Agency For Science, Technology And Research | Method for visual inspection and apparatus thereof |
| CN109544630A (zh) * | 2018-11-30 | 2019-03-29 | 南京人工智能高等研究院有限公司 | 位姿信息确定方法和装置、视觉点云构建方法和装置 |
| CN110211061A (zh) * | 2019-05-20 | 2019-09-06 | 清华大学 | 基于神经网络的单深度相机深度图实时增强方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110738699A (zh) | 2020-01-31 |
| CN111275751A (zh) | 2020-06-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110111366B (zh) | 一种基于多级损失量的端到端光流估计方法 | |
| CN109271933B (zh) | 基于视频流进行三维人体姿态估计的方法 | |
| CN110363716B (zh) | 一种基于条件生成对抗网络复合降质图像高质量重建方法 | |
| CN108986136B (zh) | 一种基于语义分割的双目场景流确定方法及系统 | |
| Saputra et al. | Learning monocular visual odometry through geometry-aware curriculum learning | |
| CN110782490B (zh) | 一种具有时空一致性的视频深度图估计方法及装置 | |
| CN111445476B (zh) | 基于多模态无监督图像内容解耦的单目深度估计方法 | |
| CN113077505B (zh) | 一种基于对比学习的单目深度估计网络的优化方法 | |
| CN111325794A (zh) | 一种基于深度卷积自编码器的视觉同时定位与地图构建方法 | |
| WO2018000752A1 (zh) | 一种基于多尺度cnn和连续crf的单目图像深度估计方法 | |
| CN111539879A (zh) | 基于深度学习的视频盲去噪方法及装置 | |
| CN111275751B (zh) | 一种无监督绝对尺度计算方法及系统 | |
| KR20200018283A (ko) | 컨볼루션 순환 신경망을 훈련시키는 방법 및 훈련된 컨볼루션 순환 신경망을 사용하는 입력된 비디오의 의미적 세그먼트화 방법 | |
| CN114663496B (zh) | 一种基于卡尔曼位姿估计网络的单目视觉里程计方法 | |
| CN112991350A (zh) | 一种基于模态差异缩减的rgb-t图像语义分割方法 | |
| CN111105439B (zh) | 一种使用残差注意力机制网络的同步定位与建图方法 | |
| CN111325784A (zh) | 一种无监督位姿与深度计算方法及系统 | |
| CN115273244B (zh) | 基于图神经网络的人体动作识别方法和系统 | |
| CN113313810A (zh) | 一种透明物体的6d姿态参数计算方法 | |
| CN115100090B (zh) | 一种基于时空注意的单目图像深度估计系统 | |
| CN112651360B (zh) | 一种小样本下骨架动作识别方法 | |
| CN112270691A (zh) | 一种基于动态滤波器网络的单目视频结构和运动预测方法 | |
| Tang et al. | Sparse2dense: From direct sparse odometry to dense 3-d reconstruction | |
| CN115484410A (zh) | 基于深度学习的事件相机视频重建方法 | |
| Basak et al. | Monocular depth estimation using encoder-decoder architecture and transfer learning from single RGB image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20200612 Assignee: Zhejiang smart video security Innovation Center Co.,Ltd. Assignor: Institute of Information Technology, Zhejiang Peking University Contract record no.: X2022330000930 Denomination of invention: An unsupervised absolute scale calculation method and system Granted publication date: 20221025 License type: Common License Record date: 20221229 |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20241202 Address after: Room 3401, 3402, 3403, 3404, Yuesheng International Center, Ningwei Street, Xiaoshan District, Hangzhou City, Zhejiang Province 311215 Patentee after: Longxing (Hangzhou) avionics Co.,Ltd. Country or region after: China Address before: 311200 room 288-1, No. 857, Shixin North Road, ningwei Town, Xiaoshan District, Hangzhou City, Zhejiang Province Patentee before: Institute of Information Technology, Zhejiang Peking University Country or region before: China Patentee before: Hangzhou Weiming Information Technology Co.,Ltd. |