CN111145255A - 一种结合深度学习和几何优化的位姿计算方法和系统 - Google Patents

一种结合深度学习和几何优化的位姿计算方法和系统 Download PDF

Info

Publication number
CN111145255A
CN111145255A CN201911376183.6A CN201911376183A CN111145255A CN 111145255 A CN111145255 A CN 111145255A CN 201911376183 A CN201911376183 A CN 201911376183A CN 111145255 A CN111145255 A CN 111145255A
Authority
CN
China
Prior art keywords
pose
deep learning
pixel
points
calculation method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911376183.6A
Other languages
English (en)
Other versions
CN111145255B (zh
Inventor
张兰清
李宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced Institute of Information Technology AIIT of Peking University
Hangzhou Weiming Information Technology Co Ltd
Original Assignee
Advanced Institute of Information Technology AIIT of Peking University
Hangzhou Weiming Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Advanced Institute of Information Technology AIIT of Peking University, Hangzhou Weiming Information Technology Co Ltd filed Critical Advanced Institute of Information Technology AIIT of Peking University
Priority to CN201911376183.6A priority Critical patent/CN111145255B/zh
Publication of CN111145255A publication Critical patent/CN111145255A/zh
Application granted granted Critical
Publication of CN111145255B publication Critical patent/CN111145255B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种结合深度学习和几何优化的位姿计算方法，包含位姿估计模块PoseNet和深度估计模块DepthNet,把基于深度学习的位姿估计方法和基于几何约束的优化策略集成到一个视觉里程计框架中,计算光度误差、特征点重投影误差、相邻帧间约束和一段连续帧构成的局部地图内的约束,能够进行实时而准确的位姿估计。

Description

一种结合深度学习和几何优化的位姿计算方法和系统
技术领域
本发明属于计算机视觉领域的视觉里程计领域，特别是一种结合深度学习和几何优化的位姿计算方法和系统。
背景技术
基于视觉的位姿估计(Visual Odometry，以下简称VO)能够让机器人在未知的环境中仅仅依靠摄像机采集的数据进行精准定位。过去的十年时间,基于特征点法和基于光度误差法的VO框架有了巨大的进展,传统的基于几何方法的 VO在大多数情况下可以进行非常鲁邦的定位，但在特征点缺失或者摄像机曝光不稳定的时候，位姿估计的准确度会发生骤降甚至失效。而近年来由于深度学习的发展和数据量的爆炸式增长，基于学习的VO越来越引起人们的关注。其主要有两个优点：一方面参数编码到深度网络中，不需要像基于几何法的VO(例如,ORB-SLAM)一样硬编码很多参数，另一方面由于数据驱动，此类方法在真实的环境中(例如：雨天，夜晚，模糊)表现地更加鲁邦。
为了降低标注数据的成本，基于无监督学习方法被提出并得到了越来越多的关注。该类方法分别使用两个网络(PoseNet和DispNet)同时可以估计相机的位姿变化和深度图。两个网络不共享参数，但通过图像的重建损失函数，相互监督与促进。
目前该类方法借助双目的视频训练数据，可以在单目深度估计任务上得到极佳的准确度，但是在单目位姿估计任务上远远落后于基于几何方法的VO。原因在于，神经网络目前在数学严格证明的3D几何任务上的可解释性与泛化能力偏弱；该类方法目前仅能够估计两帧之间的位姿变化，忽略了时序上多帧之间的依赖关系和局部地图上的几何约束关系，在长时间的误差累积之后，位姿估计的结果会相对真实值发生严重的偏离。
发明内容
本发明的工作原理为：把基于深度学习的位姿估计方法和基于几何约束的优化策略集成到一个视觉里程计框架中，此框架能够进行实时而准确的位姿估计，同时计算光度误差、特征点重投影误差、相邻帧间约束和一段连续帧构成的局部地图内的约束，因此可以大大提高模型的位姿估计精度。
为了解决上述问题，本发明提出一种结合深度学习和几何优化的位姿计算方法和系统。
本发明所采用的技术方案是：
一种结合深度学习和几何优化的位姿计算方法，包含位姿估计模块PoseNet 和深度估计模块DepthNet，包括以下步骤：
S1，预备单目视频序列,将单目视频序列分段，预训练位姿估计模块PoseNet 和深度估计模块DepthNet；
S2，将S1分段后的视频段输入位姿估计模块得到连续相邻帧之间的位姿变化；将S1分段后的视频段输入深度估计模块得到每帧的深度估计；
S3，计算S1分段后的视频段中的每帧图像的像素梯度，选择边缘像素，与 S2中的深度估计配和，将边缘像素中的像素点反投影到三维空间中，得到边缘像素路标点，然后将该路标点向后一帧投影，计算边缘像素路标点在相邻帧之间的光度误差，构建光度非线性函数，输入S2中的位姿变化，进行优化，输出位姿变化量；提取S1分段后的视频段中每帧的特征点，计算特征点的描述子，通过描述子之间的距离，得到相邻帧上特征点之间的匹配关系，通过匹配关系得到路标点，计算该路标点对应的特征点集，然后通过三角化函数计算路标点的坐标；
S4，将S3的路标点向视频段每帧投影，计算重投影误差，构建几何非线性函数，输入S3中的位姿变化量，进行优化，输出优化后位姿；
S5，将视频段的优化后位姿串联得到最终位姿。
把基于深度学习的位姿估计方法和基于几何约束的优化策略集成到一个视觉里程计框架中，此框架能够进行实时而准确的位姿估计，同时计算光度误差、特征点重投影误差、相邻帧间约束和一段连续帧构成的局部地图内的约束，因此可以大大提高模型的位姿估计精度。利用到特征点之间的匹配关系，利用这种匹配关系可以在后端的建立隐式的局部地图，并对估计结果做进一步优化。
进一步的，所述步骤S4中，边缘像素选择条件为像素梯度大于阈值的像素点集，然后将此像素点反投影到三维空间中：
Figure RE-GDA0002420953180000031
其中u,v为像素坐标，f,c为相机内参,d为像素所在点的深度值。
优选的，该阈值为100
进一步的，所述步骤S3中光度非线性函数为：
Figure RE-GDA0002420953180000032
其中M是选择路标点的数目，ej是第j个空间点的光度值(为对应像素的光度值)，xj是第j个空间点的三维坐标，Ii表示获取某个像素点的光度值。
进一步的，所述步骤S4中，对每一个路标点将得到的路标坐标均值处理。
进一步的，所述步骤S5中几何非线性函数为：
Figure RE-GDA0002420953180000033
其中n是局部地图帧的数目，m是路标点的数目，pij表示一次观测，π是投影函数。
进一步的，所述步骤1中，将单目视频序列分成长度相同的视频段。
一种结合深度学习和几何优化的位姿计算系统，包含位姿估计模块PoseNet 和深度估计模块DepthNet，PoseNet为卷积神经网络结构，每一层卷积层之后都连接激活函数；DepthNet包括编码器和解码器，编码器结构与解码器结构排列相反。
本发明同现有技术相比具有以下优点及效果：
1、本发明基于深度学习的位姿估计方法和基于几何约束的优化策略集成到一个视觉里程计框架中，此框架能够进行实时而准确的位姿估计，同时计算光度误差、特征点重投影误差、相邻帧间约束和一段连续帧构成的局部地图内的约束，因此可以大大提高模型的位姿估计精度。
2、本发明的神经网络在3D几何任务上的可解释性与泛化能力强。
3、本发明利用到特征点之间的匹配关系，利用这种匹配关系可以在后端的建立隐式的局部地图，并对估计结果做进一步优化。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明总体流程图；
图2为本发明光度非线性函数的优化流程图；
图3为本发明几何非线性函数的优化流程图；
图4为本发明位姿平移部分的结果与其他算法的对比图；
图5为本发明位姿旋转部分的结果与其他算法的对比图；
图6为本发明位姿结果与其他算法的对比。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
实施例1：
如图1-6所示，一种结合深度学习和几何优化的位姿计算方法及系统，包含位姿估计模块PoseNet和深度估计模块DepthNet，PoseNet模块和Depth模块需要预训练，预训练采用现有模型，比如可以使用在KITTI odometry序列00-08 上的预训练模型，PoseNet模块输入视频帧长度为3的双目视频序列，视频分辨率为1024×320，输出6DoF的相对位姿变换，并转化为＝SE(3)上的表示(SE(3) 为李代数中的特殊欧氏群)；DepthNet模块输入单张视频帧，输出单个通道的深度图。PoseNet的结构为卷积神经网络结构，比如采用7层卷积层，每一层卷积层之后都连接激活函数，卷积核大小分别为7、5、3、3、3、3、3。DepthNet 的结构采用编码器和解码器，比如使用ResNet50作为编码器提取特征，然后连接结构与编码器相同但排列相反的解码器。
步骤1，预备单目视频序列，例如KITTI无人驾驶数据集或EuRoc数据集或TUM数据集或Oxford数据集等，本实施例选用KITTI无人驾驶数据集。单目视频序列视频片段V，长度为N，将其切分为视频段。切分时，可以采用均分或不均分的分段形式，本实施例选用均分。
步骤2，将步骤1视频段中的图像帧输入预训练后的位姿估计模块PoseNet；相邻两帧(I0和I1，I1和I2，I2和I3…)经过前向运动，得到连续相邻帧的相对位姿预测结果：T0-1，T1-2，T2-3…。将步骤1中的视频段，其中每一帧Ii输入预训练后的深度估计模块DepthNet，通过前向传播计算得到单帧的深度估计结果，每张图像对应深度图预测值Di。
步骤3，运行相互独立运行的两个算法，一个输出位姿变化量，另一个输出路标点坐标：
输出位姿变化量的算法，如图2所示,针对两个相邻帧Ii和Ii+1，选择Ii上的边缘像素,即像素梯度大于阈值(阈值取值范围为100-200，本实施例中阈值取 120)的像素点集S参与计算。集合S其中的像素点p,其像素坐标为(u,v),深度值可以从步骤2的输出D中获取，记为d。该点的光度值从图像Ii中获取，记为e，则对应三维路标点的坐标为
Figure RE-GDA0002420953180000051
光度值为e，其中f,c为相机内参数。在此三维路标点坐标和光度值得到之后,将此路标点向Ii+1投影，假设投影点为q，计算投影点和路标点的光度误差，构建光度非线性函数：
Figure RE-GDA0002420953180000052
其中M是路标点的数目，ej是第j 个空间点的光度值，xj是第j个空间点的三维坐标，Ii表示获取某个像素点的光度值。借助图优化工具g2o，待优化变量为相邻帧间的位姿变化，可以最小化这个函数的最小二乘结果，对相邻帧位姿的初始估计值进行调整，可以得到优化之后的位姿的初始估计值。
输出路标点坐标的算法，假设步骤1中的切分得到的视频段长度为n，将其视为一个集束,则可构建大小为n的隐式的局部地图。将第一帧相机的坐标系作为参考坐标系,则通过位姿在SE上的累乘运算得到每个帧位姿的估计初值，记为T1,T2,…Tn。对于集束中任何两个相邻的帧，提取特征点(例如ORB特征点， SIFT特征点，SURF特征点，FAST特征点等)，本实施例选用ORB特征点，通过计算特征点的描述子之间的距离可以确定相邻两帧上特征点之间的匹配关系，该匹配关系即二元组集合。通过串联相邻帧之间特征点的匹配关系，则空间中的某个点xm，它会被某段连续的帧序列{Il,Il+1...Ir}1＜＝i,r＜＝n观测到。假设xm投影到每帧上的位置分别为
Figure RE-GDA0002420953180000061
其中任意一对相邻帧Ii与 Ii+1，如图3所示，可以通过三角化函数(简记为f)，计算xm三维坐标的估计值, 即
Figure RE-GDA0002420953180000062
其中i表示第i对匹配，若对所有的匹配进行三角化之后求均值，则可以得到目标点xm坐标的初始估计值，
Figure RE-GDA0002420953180000063
步骤4，在步骤3输出了局部地图内路标点的坐标和步骤3输出了优化后的位姿的初始估计值之后，再次将局部地图内所有的空间点向每帧重投影，通过重投影位置的偏差，构建几何非线性函数：
Figure RE-GDA0002420953180000064
Figure RE-GDA0002420953180000065
其中n是局部地图帧的数目，m是路标点的数目，pij表示一次观测，π是投影函数。借助图优化工具g2o，待优化变量为空间点坐标和位姿，可以最小化这个函数的最小二乘结果，固定前两帧的相对位姿，对局部地图内剩余的位姿和路标点同时做调整，可以得到优化之后的位姿估计值。
步骤5，最后将每个局部地图的结果拼接在一起得到原始视频V的位姿估计结果，作为整个系统的输出，得到最终位姿。
如图4、5所示，位姿的位移和旋转误差的评价指标分别采用KITTI odometry 官方的评价指标trel和rrel。本发明的最终位姿结果相对目前所有仅基于无监督学习的位姿估计算法(UndeepVO，GeoNet，Vid2Depth，MonoDepth2)，误差更小，性能更优。并且在平移结果上可以得到与没有回环检测的单目ORB(ORB-M w/o LC)相似的性能。
如图6所示，单目ORB-M，双目ORB-S，MonoDepth2和本发明相比，在 KITTIodometry数据集上位姿的可视化效果。其中双目ORB-S的轨迹被近似认为是真值。单目ORB-M的轨迹被对其到双目的尺度。实验表明本发明能保持相对稳定，即使在单目的ORB-M估计较差(seq09,10)的时候。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种结合深度学习和几何优化的位姿计算方法，其特征在于，包含位姿估计模块PoseNet和深度估计模块DepthNet，包括以下步骤：
S1，预备单目视频序列,将单目视频序列分段，预训练位姿估计模块PoseNet和深度估计模块DepthNet；
S2，将S1分段后的视频段输入位姿估计模块得到连续相邻帧之间的位姿变化；将S1分段后的视频段输入深度估计模块得到每帧的深度估计；
S3，计算S1分段后的视频段中的每帧图像的像素梯度，选择边缘像素，与S2中的深度估计配和，将边缘像素中的像素点反投影到三维空间中，得到边缘像素路标点，然后将该路标点向后一帧投影，计算边缘像素路标点在相邻帧之间的光度误差，构建光度非线性函数，输入S2中的位姿变化，进行优化，输出位姿变化量；提取S1分段后的视频段中每帧的特征点，计算特征点的描述子，通过描述子之间的距离，得到相邻帧上特征点之间的匹配关系，通过匹配关系得到路标点，计算该路标点对应的特征点集，然后通过三角化函数计算路标点的坐标；
S4，将S3的路标点向视频段每帧投影，计算重投影误差，构建几何非线性函数，输入S3中的位姿变化量，进行优化，输出优化后位姿；
S5，将视频段的优化后位姿串联得到最终位姿。
2.根据权利要求1所述的结合深度学习和几何优化的位姿计算方法，其特征在与，所述步骤S3中，边缘像素选择条件为像素梯度大于阈值的像素点集，然后将此像素点反投影到三维空间中的坐标为：
Figure FDA0002341029160000011
其中u,v为像素坐标，f,c为相机内参,d为像素所在点的深度值。
3.根据权利要求2所述的结合深度学习和几何优化的位姿计算方法，其特征在与，该阈值为120。
4.根据权利要求1所述的结合深度学习和几何优化的位姿计算方法，其特征在于，所述步骤S3中光度非线性函数为：
Figure FDA0002341029160000021
其中M是选择路标点的数目，ej是第j个空间点的光度值(为对应像素的光度值)，xj是第j个空间点的三维坐标，Ii表示获取某个像素点的光度值。
5.根据权利要求1所述的结合深度学习和几何优化的位姿计算方法，其特征在于，所述步骤S3中，对每一个路标点将得到的路标坐标作均值运算。
6.根据权利要求1所述的结合深度学习和几何优化的位姿计算方法，其特征在于，所述步骤S4中几何非线性函数为：
Figure FDA0002341029160000022
其中n是局部地图帧的数目，m是路标点的数目，pij表示一次观测，π是投影函数。
7.根据权利要求1所述的结合深度学习和几何优化的位姿计算方法，其特征在于，所述步骤1中，将单目视频序列分成长度相同的视频段。
8.一种结合深度学习和几何优化的位姿计算系统，其特征在于，包含位姿估计模块PoseNet和深度估计模块DepthNet，PoseNet为卷积神经网络结构，每一层卷积层之后都连接激活函数；DepthNet包括编码器和解码器，编码器结构与解码器结构排列相反。
CN201911376183.6A 2019-12-27 2019-12-27 一种结合深度学习和几何优化的位姿计算方法和系统 Active CN111145255B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911376183.6A CN111145255B (zh) 2019-12-27 2019-12-27 一种结合深度学习和几何优化的位姿计算方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911376183.6A CN111145255B (zh) 2019-12-27 2019-12-27 一种结合深度学习和几何优化的位姿计算方法和系统

Publications (2)

Publication Number Publication Date
CN111145255A true CN111145255A (zh) 2020-05-12
CN111145255B CN111145255B (zh) 2022-08-09

Family

ID=70520951

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911376183.6A Active CN111145255B (zh) 2019-12-27 2019-12-27 一种结合深度学习和几何优化的位姿计算方法和系统

Country Status (1)

Country Link
CN (1) CN111145255B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111951337A (zh) * 2020-08-19 2020-11-17 武汉中海庭数据技术有限公司 图像检测目标空间定位方法及系统
CN113012191A (zh) * 2021-03-11 2021-06-22 中国科学技术大学 一种基于点云多视角投影图的激光里程计算法
CN113077505A (zh) * 2021-04-19 2021-07-06 大连理工大学人工智能大连研究院 一种基于对比学习的单目深度估计网络的优化方法
CN113326769A (zh) * 2021-05-28 2021-08-31 北京三快在线科技有限公司 高精地图生成方法、装置、设备及存储介质
CN113450410A (zh) * 2021-06-29 2021-09-28 浙江大学 一种基于对极几何的单目深度和位姿联合估计方法
CN117422692A (zh) * 2023-11-02 2024-01-19 华润数字科技有限公司 一种视觉图像检测方法以及图像测量模型的训练方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108986037A (zh) * 2018-05-25 2018-12-11 重庆大学 基于半直接法的单目视觉里程计定位方法及定位系统
US20190130603A1 (en) * 2016-03-11 2019-05-02 Siemens Aktiengesellschaft Deep-learning based feature mining for 2.5d sensing image search
US10304208B1 (en) * 2018-02-12 2019-05-28 Avodah Labs, Inc. Automated gesture identification using neural networks
CN110260861A (zh) * 2019-06-13 2019-09-20 北京华捷艾米科技有限公司 位姿确定方法及装置、里程计
CN110503688A (zh) * 2019-08-20 2019-11-26 上海工程技术大学 一种用于深度相机的位姿估计方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190130603A1 (en) * 2016-03-11 2019-05-02 Siemens Aktiengesellschaft Deep-learning based feature mining for 2.5d sensing image search
US10304208B1 (en) * 2018-02-12 2019-05-28 Avodah Labs, Inc. Automated gesture identification using neural networks
CN108986037A (zh) * 2018-05-25 2018-12-11 重庆大学 基于半直接法的单目视觉里程计定位方法及定位系统
CN110260861A (zh) * 2019-06-13 2019-09-20 北京华捷艾米科技有限公司 位姿确定方法及装置、里程计
CN110503688A (zh) * 2019-08-20 2019-11-26 上海工程技术大学 一种用于深度相机的位姿估计方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111951337A (zh) * 2020-08-19 2020-11-17 武汉中海庭数据技术有限公司 图像检测目标空间定位方法及系统
CN111951337B (zh) * 2020-08-19 2022-05-31 武汉中海庭数据技术有限公司 图像检测目标空间定位方法及系统
CN113012191A (zh) * 2021-03-11 2021-06-22 中国科学技术大学 一种基于点云多视角投影图的激光里程计算法
CN113012191B (zh) * 2021-03-11 2022-09-02 中国科学技术大学 一种基于点云多视角投影图的激光里程计算法
CN113077505A (zh) * 2021-04-19 2021-07-06 大连理工大学人工智能大连研究院 一种基于对比学习的单目深度估计网络的优化方法
CN113077505B (zh) * 2021-04-19 2023-11-17 大连理工大学人工智能大连研究院 一种基于对比学习的单目深度估计网络的优化方法
CN113326769A (zh) * 2021-05-28 2021-08-31 北京三快在线科技有限公司 高精地图生成方法、装置、设备及存储介质
CN113450410A (zh) * 2021-06-29 2021-09-28 浙江大学 一种基于对极几何的单目深度和位姿联合估计方法
CN113450410B (zh) * 2021-06-29 2022-07-26 浙江大学 一种基于对极几何的单目深度和位姿联合估计方法
CN117422692A (zh) * 2023-11-02 2024-01-19 华润数字科技有限公司 一种视觉图像检测方法以及图像测量模型的训练方法
CN117422692B (zh) * 2023-11-02 2024-08-06 华润数字科技有限公司 一种视觉图像检测方法以及图像测量模型的训练方法

Also Published As

Publication number Publication date
CN111145255B (zh) 2022-08-09

Similar Documents

Publication Publication Date Title
CN111145255B (zh) 一种结合深度学习和几何优化的位姿计算方法和系统
CN111325797B (zh) 一种基于自监督学习的位姿估计方法
CN111583136B (zh) 一种救援场景下自主移动平台同时定位与建图方法
CN109166149B (zh) 一种融合双目相机与imu的定位与三维线框结构重建方法与系统
CN108090958B (zh) 一种机器人同步定位和地图构建方法和系统
CN108242079B (zh) 一种基于多特征视觉里程计和图优化模型的vslam方法
Mancini et al. Fast robust monocular depth estimation for obstacle detection with fully convolutional networks
CN110009674B (zh) 基于无监督深度学习的单目图像景深实时计算方法
CN108682027A (zh) 基于点、线特征融合的vSLAM实现方法及系统
CN110853075A (zh) 一种基于稠密点云与合成视图的视觉跟踪定位方法
Liu et al. Direct visual odometry for a fisheye-stereo camera
CN113160375A (zh) 一种基于多任务学习算法的三维重建及相机位姿估计方法
CN110197505B (zh) 基于深度网络及语义信息的遥感图像双目立体匹配方法
CN113393522A (zh) 一种基于单目rgb相机回归深度信息的6d位姿估计方法
CN110570474B (zh) 一种深度相机的位姿估计方法及系统
CN114663496A (zh) 一种基于卡尔曼位姿估计网络的单目视觉里程计方法
CN111998862A (zh) 一种基于bnn的稠密双目slam方法
CN113393524A (zh) 一种结合深度学习和轮廓点云重建的目标位姿估计方法
CN117197333A (zh) 基于多目视觉的空间目标重构与位姿估计方法及系统
CN116222577A (zh) 闭环检测方法、训练方法、系统、电子设备及存储介质
CN114202579B (zh) 一种面向动态场景的实时多体slam系统
CN118154770A (zh) 基于神经辐射场的单幅树木图像三维重建方法和装置
Jo et al. Mixture density-PoseNet and its application to monocular camera-based global localization
CN111784798B (zh) 地图生成方法、装置、电子设备和存储介质
Fonder et al. M4Depth: Monocular depth estimation for autonomous vehicles in unseen environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant