CN113888629A - 一种基于rgbd相机的快速物体三维位姿估计方法 - Google Patents

一种基于rgbd相机的快速物体三维位姿估计方法 Download PDF

Info

Publication number
CN113888629A
CN113888629A CN202111259254.1A CN202111259254A CN113888629A CN 113888629 A CN113888629 A CN 113888629A CN 202111259254 A CN202111259254 A CN 202111259254A CN 113888629 A CN113888629 A CN 113888629A
Authority
CN
China
Prior art keywords
point
dimensional
estimation
pose
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111259254.1A
Other languages
English (en)
Inventor
王越
华伟彤
熊蓉
其他发明人请求不公开姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202111259254.1A priority Critical patent/CN113888629A/zh
Publication of CN113888629A publication Critical patent/CN113888629A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于RGBD相机的快速物体三维位姿估计方法。估计方法通过以下组成模块来实现：图像和空间特征提取与融合模块，三维关键点预测模块和带可微分离群点消除机制的位姿解算模块；本发明最大的特点是利用逐点特征融合的机制，同时利用了物体的图像特征和空间特征，增加了所提取特征的丰富度，同时保证其符合物体三维结构，提高了关键点估计的精度；利用置信度加权关键点估计机制，在不需要迭代循环的流程中，抑制了不准确的估计对整体估计量的影响，提升了关键点估计的精度，保证了时间效率；利用可微分的离群点消除机制，在不需要迭代循环的流程中，实现基于RGBD相机的精确物体三维位姿估计，保证位姿估计的精度。

Description

一种基于RGBD相机的快速物体三维位姿估计方法
技术领域
本发明涉及三维位姿估计领域，具体地说，是一种基于RGBD相机的快速物体三维位姿估计方法。
背景技术
物体三维位姿估计是指估计物体固有坐标系与相机坐标系之间的相对位姿关系，包括三自由度的旋转和三自由度的平移。物体三维位姿估计在机器人抓取、虚拟现实、自动驾驶等领域都有广泛的应用。根据所使用的传感器不同，可以分为基于RGB相机的位姿估计方法，和基于RGBD相机的位姿估计方法。其中基于RGB相机的位姿估计方法仅采用RGB相机作为传感器，然后从图像中提取物体特征用于估计位姿，设备简单，但是只能获得物体的二维图像特征，因此精度相对较低。而基于RGBD相机的方法采用RGB相机和深度相机作为传感器，能同时获得物体的图像特征和空间点云特征，因此能获得更准确的位姿估计结果。
早期的基于RGBD相机的物体三维位姿估计方法在图像和深度图上提取人工定义的特征，然后与预定义好的不同位姿下的模板进行匹配，从而确定场景中的物体位姿。这类方法受限于人工定义特征的局限性，易受光照等因素的影响，在不同环境下的适用性较差，且离散化的模板匹配过程较为耗时，实时性较低。近年来，随着深度学习的发展，一些方法利用深度卷积网络从RGB图像和深度图中提取特征，然后训练网络直接回归位姿，最后采用随机抽样一致性(RANSAC)和迭代最近点(ICP)等方法对位姿进行优化。这类方法能够获得比传统方法更高的估计精度，适用性较强，但最后的优化环节耗时较多，实时性也比较差。
基于此，本发明提出了一种方法，基于RGBD相机采集的RGB图像和深度图，利用具有强学习能力的深度卷积网络来提取图像和空间特征，预测物体上预定义关键点在场景中的位置，然后利用空间点云匹配算法解析地计算物体位姿，同时引入可微分离群点消除机制，既能在不同的环境中都获得较高的估计精度，也能降低算法耗时，提高方法的实时性，具有广泛的应用前景。
发明内容
本发明提出了一种基于RGBD相机的带有可微分离群点消除机制的物体三维位姿估计方法，在保证估计精度的同时降低算法耗时。
本发明的具体技术方案如下：
本发明公开了一种基于RGBD相机的快速物体三维位姿估计方法，估计方法通过以下组成模块来实现：
a)图像和空间特征提取与融合模块，接受RGB图像和深度图作为输入，输出由每个物体点的图像特征和点云特征融合得到的特征向量；
b)三维关键点预测模块，接受模块a)中输出的特征向量作为输入，输出所预测的场景中物体三维关键点位置；
c)带可微分离群点消除机制的位姿解算模块，接受模块b)中输出的预测三维关键点，结合物体固有坐标系中的三维关键点，输出所预测的物体位姿；
作为进一步地改进，所述的各组成模块具体为：
1)、图像和空间特征提取与融合模块：对于RGBD传感器输入的RGB图像和深度图，利用编-解码形式的深度卷积网络分别从RGB图像和深度图中提取物体特征，然后根据获得的物体掩膜(Mask)信息，对掩膜(Mask)内的每个像素点与其对应的深度点进行逐点特征融合，通过这样的逐点特征融合，增加了所给出的特征向量的丰富度，使得后续模块可以同时使用图像特征和空间点云特征来预测三维关键点，提高了估计精度，最后输出由每个物体点的图像特征和点云特征融合得到的特征向量；
2)、三维关键点预测模块：对于每一个待估计的物体，在物体模型固有坐标系上，预先定义好K个三维关键点，在估计过程中，接受上一模块给出的特征向量作为输入，令场景中所有属于物体的点预测其到每个三维关键点的相对偏置及置信度，用每个点估计的置信度作为权重，每个点估计的偏置加上其自身的位置作为其对三维关键点的估计，加权所有点的估计得到该三维关键点的位置，通过这样的置信度加权估计操作，使本方法可自行评估每个估计量的可信任度，在不需要迭代循环的基础上，抑制不准确的估计对整体估计量的影响，增加了估计精度，保证了时间效率。对于每一个关键点采取这样的操作，从而得到所预测的场景中所有物体三维关键点的位置，并输出给下一模块；
3)、带可微分离群点消除机制的位姿解算模块：通过上述模块获得场景中的物体三维关键点后，结合预定义好的物体固有坐标系三维关键点，遍历其中每三对关键点对，利用三维点云匹配算法解算出每组点对所对应的位姿，从而得到所有可能的位姿。然后根据该位姿下预测点云与真实场景点云之间的误差来对每个可能位姿进行评分，最后根据评分加权求和获得最终预测位姿。通过这样遍历所有位姿并评分加权的操作，实现了可微分的离群点消除机制，同样在不需要迭代循环的基础上，抑制不准确的估计关键点对估计位姿的影响，提高了位姿估计的精度，也保证了时间效率。
作为进一步地改进，本发明所述的步骤1)中，深度卷积网络预先通过大数据驱动方式进行训练。
作为进一步地改进，本发明所述的步骤2)中，三维关键点是物体模型表面上具有明显特征的一组空间点，用于解算相机与物体固有坐标系之间的相对转换关系，用于解算相机与物体固有坐标系之间的相对转换关系。
本发明具如下有益效果：
本发明公开了一种非常实用的基于RGBD相机的快速物体三维位姿估计方法，具有很好的应用前景。本发明最大的特点是利用逐点特征融合的机制，同时利用了物体的图像特征和空间特征，增加了所提取特征的丰富度，同时保证其符合物体三维结构，提高了关键点估计的精度；利用置信度加权关键点估计机制，在不需要迭代循环的流程中，抑制了不准确的估计对整体估计量的影响，提升了关键点估计的精度，保证了时间效率；利用可微分的离群点消除机制，在不需要迭代循环的流程中，实现基于RGBD相机的精确物体三维位姿估计，保证位姿估计的精度；利用可微分离群点消除机制提高算法的效率，获得较高的实时性，整个算法流程的平均耗时为0.02s，可以用于需要实时位姿估计的工业、生活场景中。
附图说明
图1是物体三维位姿估计问题的示意图；
图2是物体固有坐标系下三维关键点选取示例图；
图3是系统的运行流程图；
图4是三维关键点预测示意图；
图5是可微分离群点消除机制说明图。
具体实施方式
下面结合附图，通过具体实施案例详细描述本发明利用RGBD相机信息对物体三维位姿进行估计的实施方式。
图1是物体三维位姿估计问题的示意图。物体固有坐标系为常见的右手坐标系，建立在物体模型上，需要在运行算法之前预先定义。相机坐标系定义在相机上，以相机光心为原点，z轴以光心朝外为正方向，x轴与y轴互相垂直并各自与像平面的两条边平行，本方法估计的就是物体固有坐标系到相机坐标系之间的相对转换关系T＝[R|t]，其中R代表旋转矩阵，t代表平移矩阵。设物体固有坐标系下有一点Po，则该点在相机坐标系下的坐标Pc可表示为：
Pc＝R·Po+t
图2物体固有坐标系下三维关键点选取示例图，展示了在物体固有坐标系下选择的K个(K≥4)三维关键点位置。在物体点云模型上，采用最远点采样(FPS,Farthest PointSampling)方法，维护一个最远点集。首先将物体固有坐标系原点加入集合中，然后不断地在整个物体表面上搜索与前一个加入的点距离最远的点，并将这个点加入集合中。重复这个过程，直到集合里的点数达到K个。通过这样的办法，保证所选择的K个三维关键点之间的距离足够远，有利于后续的位姿解算。
图3是系统的运行流程图，整个系统的运行流程如图所示。对于输入的RGB图像和深度图，首先使用图像和空间特征提取与融合模块从中提取特征，并将物体掩膜内的点进行逐像素点的特征融合。接着，在三维关键点预测模块中，所有带特征的点都对场景中三维关键点的位置进行预测，并评估这一预测的置信度，从而加权求和获得场景三维关键点位置。最后，在位姿解算模块中，求解预测的三维关键点与固有坐标系三维关键点的相对位姿转换关系，同时使用可微分的离群点消除机制来抑制置信度较低的候选位姿，从而得到最后的预测位姿。具体地，各模块的运行机制如下所述。
(1)图像和空间特征提取与融合模块
这一模块直接接受传感器输入的RGB图像和深度图像，结合给定的物体掩膜(Mask)，输出所有物体掩膜覆盖点的图像特征与点云特征融合的特征向量。具体地，本方法搭建两个深度卷积网络分别用于提取图像特征和点云空间特征并进行融合；对于RGB图像，本方法以ResNet-18网络为基础，在其输出层后增加了三层上采样层，使其恢复原始输入图像尺寸。然后，利用给出的物体掩膜，选择掩码覆盖区域中的像素点特征，与对应的点云进行逐点拼接。最后，搭建多层感知网络(MLP,Multi Layer Perception)提取像素-点云融合特征向量。本方法使用带标签的输入数据对这两个网络进行监督训练。
(2)三维关键点预测模块
这一模块接受上一模块输出的逐点融合特征向量，输出预测的场景三维关键点位置。具体地，搭建两个多层感知网络，分别估计每个点到场景三维关键点的偏置，和每个点到每个三维点估计的置信度。图4展示了三维关键点预测示意图。如图中所示，设经过物体掩膜筛选的场景点共有N个，用
Figure BDA0003325060660000051
来表示，待预测的场景三维关键点共有K个(K≥4)，表示为
Figure BDA0003325060660000052
则第一个网络预测每个点si到每个场景三维关键点xk的偏置vk，i：
vk，i＝xk-si；
而第二个网络预测每个估计偏置的置信度ck，i。则所估计的场景三维关键点
Figure BDA0003325060660000053
可通过下式得到：
Figure BDA0003325060660000054
通过预测每个偏置估计的置信度，本方法不需要采用诸如RANSAC(随机抽样一致性)一类的迭代方法，就能抑制误差较大的估计。
(3)位姿解算模块
得到估计的场景三维关键点
Figure BDA0003325060660000055
后，结合预定义好的固有坐标系三维关键点
Figure BDA0003325060660000056
就可以计算位姿。
由于所预测的K个场景三维关键点和K个固有坐标系三维关键点互相一一对应，可以认为一共有K对三维关键点
Figure BDA0003325060660000057
在这K对点中，任意选出3对点，构造如下优化问题：
Figure BDA0003325060660000058
采用SVD(奇异值分解)算法求解上述优化问题，即可获得这3对关键点对应的最优位姿。类似的，遍历这K对点中的每3对点，每一次遍历都能获得一组最优位姿，一共能获得共
Figure BDA0003325060660000061
组位姿：
Figure BDA0003325060660000062
为了突出其中估计正确的位姿，抑制估计误差较大的位姿，分别对这
Figure BDA0003325060660000063
组位姿进行评分，利用评分加权融合这些位姿。图5可微分离群点消除机制说明图，展示了可微分离群点滤除机制示意图。如图所示，对于每组估计的位姿
Figure BDA0003325060660000064
Figure BDA0003325060660000065
计算估计位姿下的模型点位置与真实场景中模型点位置之间的最近距离
Figure BDA0003325060660000066
Figure BDA0003325060660000067
其中，
Figure BDA0003325060660000068
代表采用最近邻算法(Nearest Neighbor)获得的距离场景点sj最近的估计位姿下模型点。通过这样的方法，对每组位姿都能计算一个距离，表示为
Figure BDA0003325060660000069
然后，对这些距离进行正则化，作为每组位姿的评分：
Figure BDA00033250606600000610
其中，λ为退火参数，用于调节正则化分布的分散度。最后，利用这一评分将所有估计的可能位姿进行加权融合，即可得到最终的估计位姿
Figure BDA00033250606600000611
Figure BDA00033250606600000612
Figure BDA00033250606600000613
其中，
Figure BDA00033250606600000614
为代表旋转矩阵的四元数。设q＝w+xi+yj+zk,且q为单位四元数，则对应的旋转矩阵为：
Figure BDA0003325060660000071
至此，就解出了所估计的位姿
Figure BDA0003325060660000072
通过这一过程，利用了所有可能的位姿，同时利用距离评分机制，可微分地滤除掉离群点，在保证精度的同时，也因为不需要迭代计算而提高了效率。
显然，本发明不限于以上实施例，还可以有许多变形，本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。

Claims (4)

1.一种基于RGBD相机的快速物体三维位姿估计方法，其特征在于，所述的估计方法通过以下组成模块来实现：
a)图像和空间特征提取与融合模块，接受RGB图像和深度图作为输入，输出由每个物体点的图像特征和点云特征融合得到的特征向量；
b)三维关键点预测模块，接受模块a)中输出的特征向量作为输入，输出所预测的场景中物体三维关键点位置；
c)带可微分离群点消除机制的位姿解算模块，接受模块b)中输出的预测三维关键点，结合物体固有坐标系中的三维关键点，输出所预测的物体位姿。
2.根据权利要求1所述的基于RGBD相机的快速物体三维位姿估计方法，其特征在于，各组成模块具体为：
1)、所述的图像和空间特征提取与融合模块：对于RGBD传感器输入的RGB图像和深度图，利用编-解码形式的深度卷积网络分别从RGB图像和深度图中提取物体特征，然后根据获得的物体掩膜(Mask)信息，对掩膜(Mask)内的每个像素点与其对应的深度点进行逐点特征融合，最后输出由每个物体点的图像特征和点云特征融合得到的特征向量；
2)、所述的三维关键点预测模块：对于每一个待估计的物体，在物体模型固有坐标系上，预先定义好K个三维关键点；在估计过程中，接受上一模块给出的特征向量作为输入，令场景中所有属于物体的点预测其到每个三维关键点的相对偏置及置信度，用每个点估计的置信度作为权重，每个点估计的偏置加上其自身的位置作为其对三维关键点的估计，加权所有点的估计得到该三维关键点的位置，对于每一个关键点采取这样的操作，从而得到所预测的场景中所有物体三维关键点的位置，并输出给下一模块；
3)、所述的带可微分离群点消除机制的位姿解算模块：通过上述模块获得场景中的物体三维关键点后，结合预定义好的物体固有坐标系三维关键点，遍历其中每三对关键点对，利用三维点云匹配算法解算出每组点对所对应的位姿，从而得到所有可能的位姿，然后根据该位姿下预测点云与真实场景点云之间的误差来对每个可能位姿进行评分，最后根据评分加权求和获得最终预测位姿。
3.根据权利要求2所述的基于RGBD相机的快速物体三维位姿估计方法，其特征在于，所述的步骤1)中，深度卷积网络预先通过大数据驱动方式进行训练。
4.根据权利要求2所述的基于RGBD相机的快速物体三维位姿估计方法，其特征在于，所述的步骤2)中，所述的三维关键点是物体模型表面上具有明显特征的一组空间点，用于解算相机与物体固有坐标系之间的相对转换关系。
CN202111259254.1A 2021-10-28 2021-10-28 一种基于rgbd相机的快速物体三维位姿估计方法 Pending CN113888629A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111259254.1A CN113888629A (zh) 2021-10-28 2021-10-28 一种基于rgbd相机的快速物体三维位姿估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111259254.1A CN113888629A (zh) 2021-10-28 2021-10-28 一种基于rgbd相机的快速物体三维位姿估计方法

Publications (1)

Publication Number Publication Date
CN113888629A true CN113888629A (zh) 2022-01-04

Family

ID=79014804

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111259254.1A Pending CN113888629A (zh) 2021-10-28 2021-10-28 一种基于rgbd相机的快速物体三维位姿估计方法

Country Status (1)

Country Link
CN (1) CN113888629A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115578461A (zh) * 2022-11-14 2023-01-06 之江实验室 基于双向rgb-d特征融合的物体姿态估计方法及装置
CN117197002A (zh) * 2023-11-07 2023-12-08 松立控股集团股份有限公司 一种基于感知扩散的图像复原方法
CN118247351A (zh) * 2024-05-23 2024-06-25 浙江大学 一种基于多帧单目相机的实时物体三维位姿估计方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111260680A (zh) * 2020-01-13 2020-06-09 杭州电子科技大学 一种基于rgbd相机的无监督位姿估计网络构建方法
CN113450408A (zh) * 2021-06-23 2021-09-28 中国人民解放军63653部队 一种基于深度相机的非规则物体位姿估计方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111260680A (zh) * 2020-01-13 2020-06-09 杭州电子科技大学 一种基于rgbd相机的无监督位姿估计网络构建方法
CN113450408A (zh) * 2021-06-23 2021-09-28 中国人民解放军63653部队 一种基于深度相机的非规则物体位姿估计方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WEITONG HUA ET AL.: "3D Point-to-Keypoint Voting Network for 6D Pose Estimation", 《2020 16TH INTERNATIONAL CONFERENCE ON CONTROL, AUTOMATION, ROBOTICS AND VISION (ICARCV)》, 15 December 2020 (2020-12-15), pages 536 - 541, XP033873915, DOI: 10.1109/ICARCV50220.2020.9305322 *
WEITONG HUA ET AL.: "REDE: End-to-End Object 6D Pose Robust Estimation Using Differentiable Outliers Elimination", 《IEEE ROBOTICS AND AUTOMATION LETTERS》, vol. 6, no. 2, 30 April 2021 (2021-04-30), pages 2886 - 2893, XP011844951, DOI: 10.1109/LRA.2021.3062304 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115578461A (zh) * 2022-11-14 2023-01-06 之江实验室 基于双向rgb-d特征融合的物体姿态估计方法及装置
CN115578461B (zh) * 2022-11-14 2023-03-10 之江实验室 基于双向rgb-d特征融合的物体姿态估计方法及装置
CN117197002A (zh) * 2023-11-07 2023-12-08 松立控股集团股份有限公司 一种基于感知扩散的图像复原方法
CN117197002B (zh) * 2023-11-07 2024-02-02 松立控股集团股份有限公司 一种基于感知扩散的图像复原方法
CN118247351A (zh) * 2024-05-23 2024-06-25 浙江大学 一种基于多帧单目相机的实时物体三维位姿估计方法
CN118247351B (zh) * 2024-05-23 2024-08-27 浙江大学 一种基于多帧单目相机的实时物体三维位姿估计方法

Similar Documents

Publication Publication Date Title
CN111862126B (zh) 深度学习与几何算法结合的非合作目标相对位姿估计方法
CN112435325B (zh) 基于vi-slam和深度估计网络的无人机场景稠密重建方法
CN105809687B (zh) 一种基于图像中边沿点信息的单目视觉测程方法
CN111144364B (zh) 一种基于通道注意更新机制的孪生网络目标跟踪方法
CN113888629A (zh) 一种基于rgbd相机的快速物体三维位姿估计方法
CN110223348A (zh) 基于rgb-d相机的机器人场景自适应位姿估计方法
CN109712172A (zh) 一种初始位姿测量结合目标追踪的位姿测量方法
CN109579825B (zh) 基于双目视觉和卷积神经网络的机器人定位系统及方法
CN111899280B (zh) 采用深度学习和混合型位姿估计的单目视觉里程计方法
CN105783913A (zh) 一种融合车载多传感器的slam装置及其控制方法
CN110136202A (zh) 一种基于ssd与双摄像头的多目标识别与定位方法
CN111860651B (zh) 一种基于单目视觉的移动机器人半稠密地图构建方法
CN114693720A (zh) 基于无监督深度学习的单目视觉里程计的设计方法
CN114707611B (zh) 基于图神经网络特征提取与匹配的移动机器人地图构建方法、存储介质及设备
CN113112547A (zh) 机器人及其重定位方法、定位装置及存储介质
CN106447071A (zh) 一种应用于视频监控场景的路径预测方法
CN117523100A (zh) 基于神经网络与多视图一致性的三维场景重建方法和装置
CN111812978A (zh) 一种多无人机协作slam方法与系统
CN114608522A (zh) 一种基于视觉的障碍物识别与测距方法
CN114155406A (zh) 一种基于区域级特征融合的位姿估计方法
CN117671175A (zh) 一种基于时空多维度的森林复杂环境数字孪生系统及其构建方法
CN116704032A (zh) 一种基于单目深度估计网络和gps的室外视觉slam方法
CN110610503A (zh) 一种基于立体匹配的电力刀闸三维信息恢复方法
CN108534797A (zh) 一种实时高精度视觉里程计方法
CN114638858A (zh) 一种基于车载双相机系统的运动目标位置与速度估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination