CN108986166A - 一种基于半监督学习的单目视觉里程预测方法及里程计 - Google Patents

一种基于半监督学习的单目视觉里程预测方法及里程计 Download PDF

Info

Publication number
CN108986166A
CN108986166A CN201810803219.3A CN201810803219A CN108986166A CN 108986166 A CN108986166 A CN 108986166A CN 201810803219 A CN201810803219 A CN 201810803219A CN 108986166 A CN108986166 A CN 108986166A
Authority
CN
China
Prior art keywords
network
estimation
depth
pose
monocular image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810803219.3A
Other languages
English (en)
Inventor
刘国良
罗勇
田国会
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN201810803219.3A priority Critical patent/CN108986166A/zh
Publication of CN108986166A publication Critical patent/CN108986166A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于半监督学习的单目视觉里程预测方法及里程计。其中，该预测方法包括：预先设定深度估计网络和位姿估计网络的模型且并行设置深度估计网络和位姿估计网络，构建出预测网络模型；采用视图合成方法来耦合并行的深度估计网络和位姿估计网络，且以稀疏采样单目图像而获得的稀疏深度图作为深度估计的监督信号，以此来联合训练深度估计网络和位姿估计网络；将当前帧单目图像输入至训练完成的深度估计网络中，输出当前帧单目图像相对应的深度预测值；将当前帧单目图像和它的两个相邻帧单目图像输入至训练完成的位姿估计网络中，输出当前帧单目图像相对应的相机位姿预测值。其能同时估计出单目图像的尺度化深度和相机位姿。

Description

一种基于半监督学习的单目视觉里程预测方法及里程计
技术领域
本发明属于机器学习领域，尤其涉及一种基于半监督学习的单目视觉里程预测方法及里程计。
背景技术
在机器人导航中，视觉里程计的任务是估算相邻图像间的相机运动，来确定机器人的位置随时间的变化。这个确定轨迹的过程在机器人技术中起着重要的作用，形成了路径规划和控制的基础。
近年来，传统视觉里程计对时间和计算资源消耗大，且不具有鲁棒性，越来越多的研究者将卷积神经网络成功应用于视觉里程计领域。然而，需要采用带标签的数据来训练卷积神经网络，由于带标签的数据的获取既费时又费力，因此，带标签的数据集的获取又成了最大的问题。
另一方面，由于单目视觉图像不具有尺度性，在传统估算相邻图像间的相机运动的过程中均采用双目视觉图像，这样使得计算复杂度高，影响了估算的效率。
发明内容
为了解决现有技术的不足，本发明一方面提供了一种基于半监督学习的单目视觉里程预测方法，能够实现尺度化的深度估计和相机位姿估计。
本发明的一种基于半监督学习的单目视觉里程预测方法，包括：
步骤1：构建预测网络模型；
预先设定深度估计网络和位姿估计网络的模型且并行设置深度估计网络和位姿估计网络，构建出预测网络模型；
步骤2：训练预测网络模型；
耦合并行的深度估计网络和位姿估计网络，且以稀疏采样单目图像而获得的稀疏深度图作为深度估计的监督信号，以此来联合训练深度估计网络和位姿估计网络；
步骤3：预测里程；
将当前帧单目图像输入至训练完成的深度估计网络中，输出当前帧单目图像相对应的深度预测值；将当前帧单目图像和它的两个相邻帧单目图像输入至训练完成的位姿估计网络中，输出当前帧单目图像相对应的相机位姿预测值。
进一步的，在所述步骤1中，深度估计网络和位姿估计网络的模型均预先设定为卷积神经网络。
需要说明的是，深度估计网络和位姿估计网络的模型除了卷积神经网络之外，也可为但不限于BP神经网络。
进一步的，在所述步骤2中，采用视图合成方法来耦合并行的深度估计网络和位姿估计网络，其过程包括：
根据照相机原理，求取当前帧单目图像中像素在相邻帧单目图像的投影坐标；
在相邻帧单目图像上使用双线性插值，得到相邻帧单目图像上投影坐标的像素值。
进一步的，当前帧单目图像中像素在相邻帧单目图像的投影坐标等于投影系数与当前帧单目图像中像素坐标的乘积。
进一步的，投影系数等于从左到右依次相乘的已知相机内参数矩阵、当前帧单目图像通过位姿估计网络得到的相机位姿预测值矩阵、当前帧单目图像通过深度估计网络得到的深度预测值矩阵和已知相机内参数矩阵的逆矩阵。
本发明另一方面提供了一种基于半监督学习的单目视觉里程计，能够实现尺度化的深度估计和相机位姿估计。
本发明的一种基于半监督学习的单目视觉里程计，包括单目视觉里程处理器，所述单目视觉里程处理器包括：
构建预测网络模型模块，其被配置为：预先设定深度估计网络和位姿估计网络的模型且并行设置深度估计网络和位姿估计网络，构建出预测网络模型；
训练预测网络模型模块，其被配置为：耦合并行的深度估计网络和位姿估计网络，且以稀疏采样单目图像而获得的稀疏深度图作为深度估计的监督信号，以此来联合训练深度估计网络和位姿估计网络；
预测里程模块，其被配置为：将当前帧单目图像输入至训练完成的深度估计网络中，输出当前帧单目图像相对应的深度预测值；将当前帧单目图像和它的两个相邻帧单目图像输入至训练完成的位姿估计网络中，输出当前帧单目图像相对应的相机位姿预测值。
进一步的，在所述构建预测网络模型模块中，深度估计网络和位姿估计网络的模型均预先设定为卷积神经网络。
需要说明的是，深度估计网络和位姿估计网络的模型除了卷积神经网络之外，也可为但不限于BP神经网络。
进一步的，在所述训练预测网络模型模块中，采用视图合成方法来耦合并行的深度估计网络和位姿估计网络，其过程包括：
根据照相机原理，求取当前帧单目图像中像素在相邻帧单目图像的投影坐标；
在相邻帧单目图像上使用双线性插值，得到相邻帧单目图像上投影坐标的像素值。
进一步的，当前帧单目图像中像素在相邻帧单目图像的投影坐标等于投影系数与当前帧单目图像中像素坐标的乘积。
进一步的，投影系数等于从左到右依次相乘的已知相机内参数矩阵、当前帧单目图像通过位姿估计网络得到的相机位姿预测值矩阵、当前帧单目图像通过深度估计网络得到的深度预测值矩阵和已知相机内参数矩阵的逆矩阵。
与现有技术相比，本发明的有益效果是：
(1)本发明在训练阶段联合深度估计网络和位姿估计网络，进行整体训练；这样深度估计网络和位姿估计网络在训练阶段会互相优化，大大提升了估计精度。
(2)在测试阶段，深度估计网络和位姿估计网络可分别独立的运行；而且，对深度估计网络和位姿估计网络的输入都是单目图像，能估计出尺度化的深度和相机位姿。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1是本发明的一种基于半监督学习的单目视觉里程预测方法流程图。
图2是本发明的一种基于半监督学习的单目视觉里程计结构示意图。
具体实施方式
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
图1是本发明的一种基于半监督学习的单目视觉里程预测方法流程图。
如图1所示，本发明的一种基于半监督学习的单目视觉里程预测方法，包括：
步骤1：构建预测网络模型；
预先设定深度估计网络和位姿估计网络的模型且并行设置深度估计网络和位姿估计网络，构建出预测网络模型。
在所述步骤1中，深度估计网络和位姿估计网络的模型均预先设定为卷积神经网络。
需要说明的是，深度估计网络和位姿估计网络的模型除了卷积神经网络之外，也可为但不限于BP神经网络。
步骤2：训练预测网络模型；
耦合并行的深度估计网络和位姿估计网络，且以稀疏采样单目图像而获得的稀疏深度图作为深度估计的监督信号，以此来联合训练深度估计网络和位姿估计网络。
在所述步骤2中，采用视图合成方法来耦合并行的深度估计网络和位姿估计网络，其过程包括：
根据照相机原理，求取当前帧单目图像中像素在相邻帧单目图像的投影坐标；
在相邻帧单目图像上使用双线性插值，得到相邻帧单目图像上投影坐标的像素值。
具体地，采用视图合成方法来耦合并行的深度估计网络和位姿估计网络的过程为：
假设当前帧单目图像It中有像素pt，此时深通过度估计网络得到对应深度为位姿估计网络得到的位姿为而相机内参矩阵K已知，根据照相机原理可以得到该像素在相邻帧单目图像Is的投影坐标
然后在相邻帧单目图像Is上使用双线性插值能得到的像素值。
步骤3：预测里程；
将当前帧单目图像输入至训练完成的深度估计网络中，输出当前帧单目图像相对应的深度预测值；将当前帧单目图像和它的两个相邻帧单目图像输入至训练完成的位姿估计网络中，输出当前帧单目图像相对应的相机位姿预测值。
本发明在训练阶段联合深度估计网络和位姿估计网络，进行整体训练；这样深度估计网络和位姿估计网络在训练阶段会互相优化，大大提升了估计精度。
在测试阶段，深度估计网络和位姿估计网络可分别独立的运行；而且，对深度估计网络和位姿估计网络的输入都是单目图像，能估计出尺度化的深度和相机位姿。
图2是本发明的一种基于半监督学习的单目视觉里程计结构示意图。
如图2所示，本发明的一种基于半监督学习的单目视觉里程计，包括单目视觉里程处理器，所述单目视觉里程处理器包括：
(1)构建预测网络模型模块，其被配置为：预先设定深度估计网络和位姿估计网络的模型且并行设置深度估计网络和位姿估计网络，构建出预测网络模型。
在所述构建预测网络模型模块中，深度估计网络和位姿估计网络的模型均预先设定为卷积神经网络。
需要说明的是，深度估计网络和位姿估计网络的模型除了卷积神经网络之外，也可为但不限于BP神经网络。
(2)训练预测网络模型模块，其被配置为：耦合并行的深度估计网络和位姿估计网络，且以稀疏采样单目图像而获得的稀疏深度图作为深度估计的监督信号，以此来联合训练深度估计网络和位姿估计网络。
在所述训练预测网络模型模块中，采用视图合成方法来耦合并行的深度估计网络和位姿估计网络，具体地，假设当前帧单目图像It中有像素pt，此时深通过度估计网络得到对应深度为位姿估计网络得到的位姿为而相机内参矩阵K已知，根据照相机原理可以得到该像素在相邻帧单目图像Is的投影坐标
然后在相邻帧单目图像Is上使用双线性插值能得到的像素值。
(3)预测里程模块，其被配置为：将当前帧单目图像输入至训练完成的深度估计网络中，输出当前帧单目图像相对应的深度预测值；将当前帧单目图像和它的两个相邻帧单目图像输入至训练完成的位姿估计网络中，输出当前帧单目图像相对应的相机位姿预测值。
本发明在训练阶段联合深度估计网络和位姿估计网络，进行整体训练；这样深度估计网络和位姿估计网络在训练阶段会互相优化，大大提升了估计精度。
在测试阶段，深度估计网络和位姿估计网络可分别独立的运行；而且，对深度估计网络和位姿估计网络的输入都是单目图像，能估计出尺度化的深度和相机位姿。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于半监督学习的单目视觉里程预测方法，其特征在于，包括：
步骤1：构建预测网络模型；
预先设定深度估计网络和位姿估计网络的模型且并行设置深度估计网络和位姿估计网络，构建出预测网络模型；
步骤2：训练预测网络模型；
耦合并行的深度估计网络和位姿估计网络，且以稀疏采样单目图像而获得的稀疏深度图作为深度估计的监督信号，以此来联合训练深度估计网络和位姿估计网络；
步骤3：预测里程；
将当前帧单目图像输入至训练完成的深度估计网络中，输出当前帧单目图像相对应的深度预测值；将当前帧单目图像和它的两个相邻帧单目图像输入至训练完成的位姿估计网络中，输出当前帧单目图像相对应的相机位姿预测值。
2.如权利要求1所述的一种基于半监督学习的单目视觉里程预测方法，其特征在于，在所述步骤1中，深度估计网络和位姿估计网络的模型均预先设定为卷积神经网络。
3.如权利要求1所述的一种基于半监督学习的单目视觉里程预测方法，其特征在于，在所述步骤2中，采用视图合成方法来耦合并行的深度估计网络和位姿估计网络，其过程包括：
根据照相机原理，求取当前帧单目图像中像素在相邻帧单目图像的投影坐标；
在相邻帧单目图像上使用双线性插值，得到相邻帧单目图像上投影坐标的像素值。
4.如权利要求3所述的一种基于半监督学习的单目视觉里程预测方法，其特征在于，当前帧单目图像中像素在相邻帧单目图像的投影坐标等于投影系数与当前帧单目图像中像素坐标的乘积。
5.如权利要求4所述的一种基于半监督学习的单目视觉里程预测方法，其特征在于，投影系数等于从左到右依次相乘的已知相机内参数矩阵、当前帧单目图像通过位姿估计网络得到的相机位姿预测值矩阵、当前帧单目图像通过深度估计网络得到的深度预测值矩阵和已知相机内参数矩阵的逆矩阵。
6.一种基于半监督学习的单目视觉里程计，其特征在于，包括单目视觉里程处理器，所述单目视觉里程处理器包括：
构建预测网络模型模块，其被配置为：预先设定深度估计网络和位姿估计网络的模型且并行设置深度估计网络和位姿估计网络，构建出预测网络模型；
训练预测网络模型模块，其被配置为：耦合并行的深度估计网络和位姿估计网络，且以稀疏采样单目图像而获得的稀疏深度图作为深度估计的监督信号，以此来联合训练深度估计网络和位姿估计网络；
预测里程模块，其被配置为：将当前帧单目图像输入至训练完成的深度估计网络中，输出当前帧单目图像相对应的深度预测值；将当前帧单目图像和它的两个相邻帧单目图像输入至训练完成的位姿估计网络中，输出当前帧单目图像相对应的相机位姿预测值。
7.如权利要求6所述的一种基于半监督学习的单目视觉里程计，其特征在于，在所述构建预测网络模型模块中，深度估计网络和位姿估计网络的模型均预先设定为卷积神经网络。
8.如权利要求6所述的一种基于半监督学习的单目视觉里程计，其特征在于，在所述训练预测网络模型模块中，采用视图合成方法来耦合并行的深度估计网络和位姿估计网络，其过程包括：
根据照相机原理，求取当前帧单目图像中像素在相邻帧单目图像的投影坐标；
在相邻帧单目图像上使用双线性插值，得到相邻帧单目图像上投影坐标的像素值。
9.如权利要求8所述的一种基于半监督学习的单目视觉里程计，其特征在于，当前帧单目图像中像素在相邻帧单目图像的投影坐标等于投影系数与当前帧单目图像中像素坐标的乘积。
10.如权利要求9所述的一种基于半监督学习的单目视觉里程计，其特征在于，投影系数等于从左到右依次相乘的已知相机内参数矩阵、当前帧单目图像通过位姿估计网络得到的相机位姿预测值矩阵、当前帧单目图像通过深度估计网络得到的深度预测值矩阵和已知相机内参数矩阵的逆矩阵。
CN201810803219.3A 2018-07-20 2018-07-20 一种基于半监督学习的单目视觉里程预测方法及里程计 Pending CN108986166A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810803219.3A CN108986166A (zh) 2018-07-20 2018-07-20 一种基于半监督学习的单目视觉里程预测方法及里程计

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810803219.3A CN108986166A (zh) 2018-07-20 2018-07-20 一种基于半监督学习的单目视觉里程预测方法及里程计

Publications (1)

Publication Number Publication Date
CN108986166A true CN108986166A (zh) 2018-12-11

Family

ID=64549661

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810803219.3A Pending CN108986166A (zh) 2018-07-20 2018-07-20 一种基于半监督学习的单目视觉里程预测方法及里程计

Country Status (1)

Country Link
CN (1) CN108986166A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109708658A (zh) * 2019-01-14 2019-05-03 浙江大学 一种基于卷积神经网络的视觉里程计方法
CN109840598A (zh) * 2019-04-29 2019-06-04 深兰人工智能芯片研究院（江苏）有限公司 一种深度学习网络模型的建立方法及装置
CN109887030A (zh) * 2019-01-23 2019-06-14 浙江大学 基于cad稀疏模板的无纹理金属零件图像位姿检测方法
CN110176042A (zh) * 2019-05-31 2019-08-27 北京百度网讯科技有限公司 相机自运动参数估计模型的训练方法、装置及存储介质
CN110349215A (zh) * 2019-07-10 2019-10-18 北京悉见科技有限公司 一种相机位姿估计方法及装置
CN110910447A (zh) * 2019-10-31 2020-03-24 北京工业大学 一种基于动静态场景分离的视觉里程计方法
CN111080699A (zh) * 2019-12-11 2020-04-28 中国科学院自动化研究所 基于深度学习的单目视觉里程计方法及系统
CN111652921A (zh) * 2020-04-21 2020-09-11 深圳大学 一种单目深度预测模型的生成方法及单目深度预测方法
CN111709984A (zh) * 2020-06-08 2020-09-25 亮风台（上海）信息科技有限公司 位姿深度预测方法、视觉里程计方法、装置、设备及介质
CN112561978A (zh) * 2020-12-18 2021-03-26 北京百度网讯科技有限公司 深度估计网络的训练方法、图像的深度估计方法、设备
CN113762393A (zh) * 2021-09-08 2021-12-07 杭州网易智企科技有限公司 模型训练方法、注视点检测方法、介质、装置和计算设备
CN114170286A (zh) * 2021-11-04 2022-03-11 西安理工大学 一种基于无监督深度学习的单目深度估计方法
CN114526728A (zh) * 2022-01-14 2022-05-24 浙江大学 一种基于自监督深度学习的单目视觉惯导定位方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127804A (zh) * 2016-06-17 2016-11-16 淮阴工学院 基于稀疏深度去噪自编码器的rgb‑d数据跨模式特征学习的目标跟踪方法
US20170351933A1 (en) * 2016-06-01 2017-12-07 Intel Corporation Vision enhanced drones for precision farming

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170351933A1 (en) * 2016-06-01 2017-12-07 Intel Corporation Vision enhanced drones for precision farming
CN106127804A (zh) * 2016-06-17 2016-11-16 淮阴工学院 基于稀疏深度去噪自编码器的rgb‑d数据跨模式特征学习的目标跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FANGCHANG MA ET AL.: "sparse-to-dense：depth prediction from sparse depth samples and a samples and a single image", 《ARXIV》 *
TINGHUI ZHOU ET AL.: "Unsupervised Learning of Depth and Ego-Motion from Video", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109708658A (zh) * 2019-01-14 2019-05-03 浙江大学 一种基于卷积神经网络的视觉里程计方法
CN109887030A (zh) * 2019-01-23 2019-06-14 浙江大学 基于cad稀疏模板的无纹理金属零件图像位姿检测方法
CN109840598A (zh) * 2019-04-29 2019-06-04 深兰人工智能芯片研究院（江苏）有限公司 一种深度学习网络模型的建立方法及装置
CN109840598B (zh) * 2019-04-29 2019-08-09 深兰人工智能芯片研究院（江苏）有限公司 一种深度学习网络模型的建立方法及装置
CN110176042A (zh) * 2019-05-31 2019-08-27 北京百度网讯科技有限公司 相机自运动参数估计模型的训练方法、装置及存储介质
CN110349215B (zh) * 2019-07-10 2021-10-12 北京悉见科技有限公司 一种相机位姿估计方法及装置
CN110349215A (zh) * 2019-07-10 2019-10-18 北京悉见科技有限公司 一种相机位姿估计方法及装置
CN110910447A (zh) * 2019-10-31 2020-03-24 北京工业大学 一种基于动静态场景分离的视觉里程计方法
CN111080699A (zh) * 2019-12-11 2020-04-28 中国科学院自动化研究所 基于深度学习的单目视觉里程计方法及系统
CN111080699B (zh) * 2019-12-11 2023-10-20 中国科学院自动化研究所 基于深度学习的单目视觉里程计方法及系统
CN111652921B (zh) * 2020-04-21 2023-04-28 深圳大学 一种单目深度预测模型的生成方法及单目深度预测方法
CN111652921A (zh) * 2020-04-21 2020-09-11 深圳大学 一种单目深度预测模型的生成方法及单目深度预测方法
CN111709984A (zh) * 2020-06-08 2020-09-25 亮风台（上海）信息科技有限公司 位姿深度预测方法、视觉里程计方法、装置、设备及介质
CN111709984B (zh) * 2020-06-08 2024-02-06 亮风台（上海）信息科技有限公司 位姿深度预测方法、视觉里程计方法、装置、设备及介质
CN112561978A (zh) * 2020-12-18 2021-03-26 北京百度网讯科技有限公司 深度估计网络的训练方法、图像的深度估计方法、设备
CN112561978B (zh) * 2020-12-18 2023-11-17 北京百度网讯科技有限公司 深度估计网络的训练方法、图像的深度估计方法、设备
CN113762393A (zh) * 2021-09-08 2021-12-07 杭州网易智企科技有限公司 模型训练方法、注视点检测方法、介质、装置和计算设备
CN113762393B (zh) * 2021-09-08 2024-04-30 杭州网易智企科技有限公司 模型训练方法、注视点检测方法、介质、装置和计算设备
CN114170286A (zh) * 2021-11-04 2022-03-11 西安理工大学 一种基于无监督深度学习的单目深度估计方法
CN114170286B (zh) * 2021-11-04 2023-04-28 西安理工大学 一种基于无监督深度学习的单目深度估计方法
CN114526728A (zh) * 2022-01-14 2022-05-24 浙江大学 一种基于自监督深度学习的单目视觉惯导定位方法
CN114526728B (zh) * 2022-01-14 2023-12-05 浙江大学 一种基于自监督深度学习的单目视觉惯导定位方法

Similar Documents

Publication Publication Date Title
CN108986166A (zh) 一种基于半监督学习的单目视觉里程预测方法及里程计
CN109271933B (zh) 基于视频流进行三维人体姿态估计的方法
CN111739077B (zh) 基于深度神经网络单目水下图像深度估计和颜色矫正方法
CN110782490B (zh) 一种具有时空一致性的视频深度图估计方法及装置
CN110533724B (zh) 基于深度学习和注意力机制的单目视觉里程计的计算方法
CN107341814B (zh) 基于稀疏直接法的四旋翼无人机单目视觉测程方法
US20200265597A1 (en) Method for estimating high-quality depth maps based on depth prediction and enhancement subnetworks
CN110084307B (zh) 一种基于深度强化学习的移动机器人视觉跟随方法
CN111968217B (zh) 基于图片的smpl参数预测以及人体模型生成方法
CN110399789B (zh) 行人重识别方法、模型构建方法、装置、设备和存储介质
CN106658023A (zh) 一种基于深度学习的端到端视觉里程计及方法
CN111325784A (zh) 一种无监督位姿与深度计算方法及系统
CN114663496B (zh) 一种基于卡尔曼位姿估计网络的单目视觉里程计方法
CN110097589A (zh) 一种应用于稀疏地图稠密化的深度补全方法
CN104240217B (zh) 双目摄像头图像深度信息获取方法及装置
CN112308918A (zh) 一种基于位姿解耦估计的无监督单目视觉里程计方法
CN113077505A (zh) 一种基于对比学习的单目深度估计网络的优化方法
CN112183506A (zh) 一种人体姿态生成方法及其系统
Liu et al. Atvio: Attention guided visual-inertial odometry
CN110428461B (zh) 结合深度学习的单目slam方法及装置
CN110782480A (zh) 一种基于在线模板预测的红外行人跟踪方法
CN109764876B (zh) 无人平台的多模态融合定位方法
CN114526728A (zh) 一种基于自监督深度学习的单目视觉惯导定位方法
CN114037087A (zh) 模型训练方法及装置、深度预测方法及装置、设备和介质
CN107729821B (zh) 一种基于一维序列学习的视频概括方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181211

RJ01 Rejection of invention patent application after publication