CN112907573A - 一种基于3d卷积的深度补全方法 - Google Patents

一种基于3d卷积的深度补全方法 Download PDF

Info

Publication number
CN112907573A
CN112907573A CN202110317990.1A CN202110317990A CN112907573A CN 112907573 A CN112907573 A CN 112907573A CN 202110317990 A CN202110317990 A CN 202110317990A CN 112907573 A CN112907573 A CN 112907573A
Authority
CN
China
Prior art keywords
depth
convolution
data
modal
rgb image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110317990.1A
Other languages
English (en)
Other versions
CN112907573B (zh
Inventor
潘树国
章辉
高旺
赵涛
谭涌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202110317990.1A priority Critical patent/CN112907573B/zh
Publication of CN112907573A publication Critical patent/CN112907573A/zh
Application granted granted Critical
Publication of CN112907573B publication Critical patent/CN112907573B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于3D卷积的深度补全方法，采用3D卷积的方法进行模态特征的学习，将输入的RGB图像与深度图信息相结合，通过捕获在多模态信息中的编码结构进行卷积运算，从而保证信息不被丢失。本发明利用3D卷积对RGB图像和稀疏深度进行特征融合，在网络对输入数据进特征提取的同时保留其模态特征，以充分挖掘数据信息提高深度估计的精度。实验结果表明在室内数据集中3D卷积对于深度补全的精度提升达到了7％以上，而在室外数据集上，其提升效果也达到了3.6％以上。其中室内时精度可达到0.2m，室外时精度也可达到1.2m左右。

Description

一种基于3D卷积的深度补全方法
技术领域
本发明涉及基于深度学习的深度补全方法，尤其涉及一种基于3D卷积的深度补全方法。
背景技术
近年来，随着计算机视觉在自主驾驶、机器人、运动规划和增强现实等领域的迅速发展，深度估计已成为一个研究热点。然而，各种传感器主要包括RGB相机、基于结构光的传感器(如RGB-D相机)和激光雷达，都有其自身的局限性，影响了深度图的可靠性。例如，激光雷达只为远距离目标提供稀疏的点云数据。商用的RGB-D相机，当表面透明、有光泽、太远或太近时会产生大量丢失的像素。为了克服这些局限性，已有许多研究利用给定的稀疏深度测量来获得一个密集的深度图，称为深度补全。
早期的深度补全工作一般只基于稀疏测量，其估计结果容易产生不必要的模糊和混合深度问题。由于RGB图像包含了丰富的纹理和颜色信息，近年来许多研究都以RGB 图像为指导来预测精确的密集深度图。在近些年的深度补全研究中，稀疏深度图被视为一个附加通道，并与RGB图像一起送入网络。一些研究通过有效的卷积空间传播网络学习用于深度预测的稀疏亲和矩阵。在之前的一些研究中还有使用双流式网络处理RGB 和稀疏深度图像，以进一步挖掘输入的潜力。这些工作表明，附加模态数据可以提高预测性能。然而，这些多模态数据融合和特征提取只是在空间层面上进行的。与视频数据处理类似，3D卷积用于学习时空特征，而在2D卷积中，它们仅在空间上进行，在输入信号包含RGB图像和稀疏深度信息时，2D卷积无法保留其模态信息。虽然已有研究者将三维卷积应用于雷达点云数据处理，但在多模数据融合阶段仍采用2D卷积。
发明内容
发明目的：针对以上问题，本发明提出一种基于3D卷积的深度补全方法，利用3D卷积的方法进行模态特征的学习，在以往的二维卷积方法中模态特征的学习是缺失的，而通过3D卷积的方法能够充分挖掘数据信息，有效提高深度补全的精度。
技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种基于3D卷积的深度补全方法，包括以下步骤：
(1)对RGB图像进行特征提取；
所述对RGB图像进行特征提取方法表示为：
选取像素点并设置阈值，之后找到一该点为圆心的半径为3的圆上的16个像素点，选择FAST-12方式完成特征点的判定，再对每个点进行以上的判定，完成特征的提取；
(2)生成稀疏深度测量S，对于多源多模态数据进行数据融合，作为深度学习的先验信息，对个网络进行训练；
所述的对多源多模态数据进行数据融合，生成多模态融合数据，具体方法是：
对于多源多模态数据，首先完成坐标系的统一，将不同传感器的测量结果通过下述公式进行统一：
Xc＝TcX
公式中的Xc和X表示一个相同的目标点在相机坐标系和其他传感器坐标系下的坐标， Tc表示其两个坐标系之间的转换关系矩阵，由旋转矩阵和平移向量组成；
同时还需要完成通过针孔相机模型将Xc投影到相机平面上以获得像素坐标u：
u＝Kxc
Figure BDA0002991989820000021
其中K表示相机内参矩阵，fx和fy表示相机在x和y轴上的焦距，(cx，cy)是相机光圈的中心位置；
而生成稀疏深度测量S，则通过在深度图像D*上获得像素集U，其包括带有真实深度测量的线束坐标u，对于没有深度测量的图像，在深度图像D*上将他们设置为零，在生成稀疏深度图过程中，使用伯努利概率
Figure BDA0002991989820000022
其中m是采样深度像素的目标数量，n是集合U中的有效深度像素总数，对于每个像素(i，j)，有
Figure BDA0002991989820000023
其中temp是区间[0,1]中的随机数，对于每个像素应用此操作，生成稀疏深度测量S，最后将RGB 图像与稀疏深度测量S，组成多模态融合数据RGBS，同时作为深度学习的先验信息，对神经网络进行训练；
(3)通过随机变换以在线方式增加训练数据；
(4)模态特征提取；
针对输入信号包含RGB图像和稀疏深度的多模态信息，且2D卷积操作无法保留其模态信息的问题，本发明李颖3D卷积对RGB图像和稀疏深度进行特征融合，在网络对输入数据进行特征提取的同时保留其模态特征，以充分挖掘数据信息提高深度补全的精度。其中标准的三维卷积计算公式如下：
Figure BDA0002991989820000024
其中
Figure BDA0002991989820000025
作为本发明进一步改进，步骤(3)通过随机变换以在线方式增加训练数据：
e)尺度变换：对彩色图像和稀疏深度按随机数s∈[1，1.15]，利用双线性插值进行放大；
f)随机裁剪：将尺度变换后的RGB图像和深度随机裁剪，使其与输入大小一致；
g)颜色调整：对彩色图像的亮度，对比度和饱和度均按ki∈[0.6，1.4]进行缩放；
h)颜色标准化：彩色图像通过平均减法和除以标准偏差进行归一化。
本发明的有益效果是：
本发明针对输入信号包含RGB图像和稀疏深度的多模态信息时，2D卷积神经网络无法保留其模态信息的问题，提出了一种基于3D卷积的神经网络，该网络能够充分利用输入信息中的RGB图像信息与稀疏深度信息，在对输入信息进行特征提取的同时，能够保留其模态特征，将稀疏深度信息与RGB图像信息进行充分的特征融合，从而充分的挖掘数据信息，提高了深度估计的精度。
附图说明
图1是基于卷积神经网络的深度补全方法技术方案流程图；
图2是2D卷积神经网络与3D卷积神经网络的模态特征提取图；
图3是使用Unet架构将原有的ConvBlock推广到了ResBlock示意图；
图4是Unet2D和Unet3D在KITTI深度补全数据集上的预测效果对比图。其中(a)RGB图像；(b)稀疏深度图；(c)真值；(d)Unet2D预测效果图；(e)Unet3D-LwBLwC预测效果图；(f)Unet3D预测效果图。
具体实施方式
下面结合附图和实施例对本发明的技术方案作进一步的说明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。
本发明使用室内数据集NYUv2和室外数据集KITTI作为我们的实验数据，对本发明提出的基于3D卷积的深度补全方法进行了实验验证。实验平台包括Pytorch0.4.1,Python3.6,Ubuntu16.04和12GB内存的GPUNVIDIA TiTanV，NYUv2数据集，是由 Kinect采集的高质量480×640RGB和深度数据组成。根据官方对数据的拆分，有249 个场景包含26331张图片用于训练，215个场景包含654张图片用于测试。KITTI测绘数据集由22个序列组成，包括相机和激光雷达测量。双目RGB相机共46000张训练序列图像用于训练阶段，3200张测试序列图像用于测试阶段。原有的NYUv2图像被下采样成224*224的大小，而KITTI测绘图像由于GPU内存的限制被裁剪成224*336。
对于实验的评估指标，我们采用了以下几个常用指标：
Figure BDA0002991989820000031
Figure BDA0002991989820000032
Figure BDA0002991989820000041
Figure BDA0002991989820000042
Figure BDA0002991989820000043
Figure BDA0002991989820000044
本次实验按照数据集的不同分为两个部分，第一部分的实验中，在NYUv2数据集上，采用了相同的稀疏采样策略，采取了200个稀疏样本进行实验，为验证3D卷积的深度补全方法的性能，这里使用了著名的Unet架构，并进一步将原有的ConvBlock推广到了ResBlock如图3所示，同时设计了一个与本发明提出的方法具有相似参数大小的Unet-Wide体系结构。这旨在确保3D卷积相关的性能改进不仅仅是由于参数的增加而导致的。实验中包含三组：具有标准2D卷积架构的Unet架构(Unet2D)、具有标准2D 卷积的Unet宽架构(UnetWide2D)和具有标准3D卷积的Unet架构(Unet3D)。所有卷积层使用尺寸为3*3的二维核或尺寸为3*3*3的三维核。实验结果如表1所示。
第二部分实验中将模态特征学习扩展到室外RGB-LiDAR数据集上，在接下来的实验中使用了与Resblock相同的网络。使用了KITTI深度补全基准的官方误差指标，包括MAE、RMSE、iMAE和iRMSE。结果列于表2。
表1：NYUV2数据集上使用CONVBLOCK和RESBLOCK完成UNET2D,UNETWIDE2D和UNET3D的深度估计精度对比
Figure BDA0002991989820000045
表2：在KITTI深度补全数据集上使用RESBLOCK完成UNET2D和UNET3D的深度完成
Figure BDA0002991989820000046
由表1可见，UnetWide2D始终优于Unet2D。这一改进归因于UnetWide2D中参数数目较多，对于两个最常用的块，Unet3D比Unet2D和UnetWide2D都获得了显著的性能增益。这个实验也验证了三维卷积在多模态特征提取和学习中的有效性，并且证明了 3D卷积相关的性能改进不仅仅是由于参数的增加而导致的。
由表2可见，在室外RGB激光雷达数据集的情况下，3D卷积仍然表现良好。与相同参数大小的Unet2D相比，可以看出，3D卷积可以提取和学习2D卷积中通常忽略的模态特征。图4显示了Unet2D和Unet3D在KITTI深度补全数据集上的预测效果，突出显示了具有挑战性的区域，与Unet2D相比，Unet3D借助3D卷积在这些区域实现了更清晰的边界。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。

Claims (2)

1.一种基于3D卷积的深度补全方法，其特征在于：包括以下步骤：
(1)对RGB图像进行特征提取；
所述对RGB图像进行特征提取方法表示为：
选取像素点并设置阈值，之后找到一该点为圆心的半径为3的圆上的16个像素点，选择FAST-12方式完成特征点的判定，再对每个点进行以上的判定，完成特征的提取；
(2)生成稀疏深度测量S，对于多源多模态数据进行数据融合，作为深度学习的先验信息，对个网络进行训练；
所述的对多源多模态数据进行数据融合，生成多模态融合数据，具体方法是：
对于多源多模态数据，首先完成坐标系的统一，将不同传感器的测量结果通过下述公式进行统一：
Xc＝TcX
公式中的Xc和X表示一个相同的目标点在相机坐标系和其他传感器坐标系下的坐标，Tc表示其两个坐标系之间的转换关系矩阵，由旋转矩阵和平移向量组成；
同时还需要完成通过针孔相机模型将Xc投影到相机平面上以获得像素坐标u：
u＝KXc
Figure FDA0002991989810000011
其中K表示相机内参矩阵，fx和fy表示相机在x和y轴上的焦距，(cx，cy)是相机光圈的中心位置；
而生成稀疏深度测量S，则通过在深度图像D*上获得像素集U，其包括带有真实深度测量的线束坐标u，对于没有深度测量的图像，在深度图像D*上将他们设置为零，在生成稀疏深度图过程中，使用伯努利概率
Figure FDA0002991989810000012
其中m是采样深度像素的目标数量，n是集合U中的有效深度像素总数，对于每个像素(i，j)，有
Figure FDA0002991989810000013
其中temp是区间[0，1]中的随机数，对于每个像素应用此操作，生成稀疏深度测量S，最后将RGB图像与稀疏深度测量S，组成多模态融合数据RGBS，同时作为深度学习的先验信息，对神经网络进行训练；
(3)通过随机变换以在线方式增加训练数据；
(4)模态特征提取；
针对输入信号包含RGB图像和稀疏深度的多模态信息，且2D卷积操作无法保留其模态信息的问题，本发明李颖3D卷积对RGB图像和稀疏深度进行特征融合，在网络对输入数据进行特征提取的同时保留其模态特征，以充分挖掘数据信息提高深度补全的精度。其中标准的三维卷积计算公式如下：
Figure FDA0002991989810000021
其中
Figure FDA0002991989810000022
2.根据权利要求1所述的一种基于3D卷积的深度补全方法，其特征在于：步骤(3)通过随机变换以在线方式增加训练数据：
a)尺度变换：对彩色图像和稀疏深度按随机数s∈[1，1.15]，利用双线性插值进行放大；
b)随机裁剪：将尺度变换后的RGB图像和深度随机裁剪，使其与输入大小一致；
c)颜色调整：对彩色图像的亮度，对比度和饱和度均按ki∈[0.6，1.4]进行缩放；
d)颜色标准化：彩色图像通过平均减法和除以标准偏差进行归一化。
CN202110317990.1A 2021-03-25 2021-03-25 一种基于3d卷积的深度补全方法 Active CN112907573B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110317990.1A CN112907573B (zh) 2021-03-25 2021-03-25 一种基于3d卷积的深度补全方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110317990.1A CN112907573B (zh) 2021-03-25 2021-03-25 一种基于3d卷积的深度补全方法

Publications (2)

Publication Number Publication Date
CN112907573A true CN112907573A (zh) 2021-06-04
CN112907573B CN112907573B (zh) 2022-04-29

Family

ID=76106364

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110317990.1A Active CN112907573B (zh) 2021-03-25 2021-03-25 一种基于3d卷积的深度补全方法

Country Status (1)

Country Link
CN (1) CN112907573B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538278A (zh) * 2021-07-16 2021-10-22 北京航空航天大学 基于可变形卷积的深度图补全方法
CN114004754A (zh) * 2021-09-13 2022-02-01 北京航空航天大学 一种基于深度学习的场景深度补全系统及方法
CN114565616A (zh) * 2022-03-03 2022-05-31 湖南大学无锡智能控制研究院 一种非结构化道路状态参数估计方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476884A (zh) * 2020-03-30 2020-07-31 清华大学 基于单帧rgbd图像的实时三维人体重建方法及系统
CN112132880A (zh) * 2020-09-02 2020-12-25 东南大学 一种基于稀疏测量和单目rgb图像的实时稠密深度估计方法
CN112529777A (zh) * 2020-10-30 2021-03-19 肇庆市博士芯电子科技有限公司 基于多模态学习卷积稀疏编码网络的图像超分辨率分析方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476884A (zh) * 2020-03-30 2020-07-31 清华大学 基于单帧rgbd图像的实时三维人体重建方法及系统
CN112132880A (zh) * 2020-09-02 2020-12-25 东南大学 一种基于稀疏测量和单目rgb图像的实时稠密深度估计方法
CN112529777A (zh) * 2020-10-30 2021-03-19 肇庆市博士芯电子科技有限公司 基于多模态学习卷积稀疏编码网络的图像超分辨率分析方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李健等: "基于深度学习的RGB-D深度信息补全方法研究", 《河南科技学院学报(自然科学版)》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538278A (zh) * 2021-07-16 2021-10-22 北京航空航天大学 基于可变形卷积的深度图补全方法
CN113538278B (zh) * 2021-07-16 2023-06-27 北京航空航天大学 基于可变形卷积的深度图补全方法
CN114004754A (zh) * 2021-09-13 2022-02-01 北京航空航天大学 一种基于深度学习的场景深度补全系统及方法
CN114004754B (zh) * 2021-09-13 2022-07-26 北京航空航天大学 一种基于深度学习的场景深度补全系统及方法
CN114565616A (zh) * 2022-03-03 2022-05-31 湖南大学无锡智能控制研究院 一种非结构化道路状态参数估计方法及系统
CN114565616B (zh) * 2022-03-03 2022-12-09 湖南大学无锡智能控制研究院 一种非结构化道路状态参数估计方法及系统

Also Published As

Publication number Publication date
CN112907573B (zh) 2022-04-29

Similar Documents

Publication Publication Date Title
CN111563923B (zh) 获得稠密深度图的方法及相关装置
CN109685842B (zh) 一种基于多尺度网络的稀疏深度稠密化方法
CN112907573B (zh) 一种基于3d卷积的深度补全方法
CN110853075B (zh) 一种基于稠密点云与合成视图的视觉跟踪定位方法
US20210390329A1 (en) Image processing method, device, movable platform, unmanned aerial vehicle, and storage medium
CN108038420B (zh) 一种基于深度视频的人体行为识别方法
CN112270249A (zh) 一种融合rgb-d视觉特征的目标位姿估计方法
CN108648161A (zh) 非对称核卷积神经网络的双目视觉障碍物检测系统及方法
CN104463108A (zh) 一种单目实时目标识别及位姿测量方法
US11367195B2 (en) Image segmentation method, image segmentation apparatus, image segmentation device
CN108765333B (zh) 一种基于深度卷积神经网络的深度图完善方法
CN110361005B (zh) 定位方法、定位装置、可读存储介质及电子设备
CN111899282A (zh) 基于双目摄像机标定的行人轨迹跟踪方法及装置
CN111027415B (zh) 一种基于偏振图像的车辆检测方法
CN110567441A (zh) 基于粒子滤波的定位方法、定位装置、建图及定位的方法
CN111914615A (zh) 基于立体视觉的消防区域可通过性分析系统
CN111429571B (zh) 一种基于时空图像信息联合相关的快速立体匹配方法
CN114820945A (zh) 基于稀疏采样的环拍图像到任意视点图像生成方法及系统
CN117876608A (zh) 三维图像重建方法、装置、计算机设备及存储介质
CN116105721B (zh) 地图构建的回环优化方法、装置、设备及存储介质
CN115965961B (zh) 局部到全局的多模态融合方法、系统、设备及存储介质
CN112132880A (zh) 一种基于稀疏测量和单目rgb图像的实时稠密深度估计方法
CN116843754A (zh) 一种基于多特征融合的视觉定位方法及系统
CN116704125A (zh) 一种基于三维点云的映射方法、装置、芯片及模组设备
CN116740488A (zh) 一种用于视觉定位的特征提取模型的训练方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant