CN114119889A - 基于跨模态融合的360度环境深度补全和地图重建方法 - Google Patents

基于跨模态融合的360度环境深度补全和地图重建方法 Download PDF

Info

Publication number
CN114119889A
CN114119889A CN202111341830.7A CN202111341830A CN114119889A CN 114119889 A CN114119889 A CN 114119889A CN 202111341830 A CN202111341830 A CN 202111341830A CN 114119889 A CN114119889 A CN 114119889A
Authority
CN
China
Prior art keywords
depth
map
panoramic
dense
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111341830.7A
Other languages
English (en)
Other versions
CN114119889B (zh
Inventor
刘儒瑜
刘政喆
宋琴
盛伟国
郑宇军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Normal University
Original Assignee
Hangzhou Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Normal University filed Critical Hangzhou Normal University
Priority to CN202111341830.7A priority Critical patent/CN114119889B/zh
Publication of CN114119889A publication Critical patent/CN114119889A/zh
Application granted granted Critical
Publication of CN114119889B publication Critical patent/CN114119889B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Remote Sensing (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于跨模态融合的360度环境深度补全和地图重建方法。本发明方法首先构建跨模态的全景深度补全网络，获得场景的全景深度图，作为深度补全模块，然后将深度补全模块嵌入全景定位和稠密建图系统，构建全景定位和稠密地图重建系统，完成大规模环境的三维重建。全景深度补全网络包括基于跨模态融合的全景深度补全网络结构和基于单位球面面积积分的深度补全损失函数。本发明方法能够有效提取稀疏深度模态的特征，最终生成对应的全景深度特征图，并根据全景深度补全网络在通道维度串联两种模态特征，通过损失函数的约束网络从而得到高精度稠密全景深度图像。本发明方法将深度补全模块嵌入系统，实现大规模场景的地图重建。

Description

基于跨模态融合的360度环境深度补全和地图重建方法
技术领域
本发明属于计算机视觉和人工智能领域，具体涉及一种基于跨模态融合的360度环境深度估计和地图重建方法。
背景技术
深度补全和地图重建是机器人环境感知中的基本任务之一，深度补全从稀疏且不规则的点云中生成稠密的深度信息，然后将预测的深度信息映射到二维平面得到深度图。而地图重建则是根据图像的姿态信息，利用图像的二维特征及其对应的深度信息生成环境的三维地图。随着硬件的发展，360度全景视觉传感器越来越普及，但是目前并没有一种硬件设备能直接得到稠密的全景深度图。而基于软件的全景深度图生成方法基本有三种。第一种方法是利用普通的窄视角深度相机获取一系列深度图，将这些深度图拼接起来得到全景深度图。由于普通深度相机感知的视角和深度范围均有限，当应用在大规模的室内场景中时，生成的深度图会存在部分区域缺失的情况。第二种方法是基于3D LiDAR(LightDetection And Ranging)的深度估计方法，LiDAR可以提供水平方向360度全向深度信息，但是在垂直方向上仍然存在视角狭窄的问题，并且LiDAR只提供稀疏的点云深度信息。第三种方法是基于深度学习的深度图预测方法，该方法主要着眼于从亮度图像预测深度图，使用模态单一，因此会存在尺度模糊精度不高的问题。
发明内容
本发明的目的是为了克服上述方法中深度估计视野受限，深度信息稀疏以及单一模态的局限，提供一种基于跨模态融合的360度深度补全方法，利用360度全景图像和稀疏深度两种模态数据，通过球面归一化卷积操作从球面分布的稀疏全景深度图中学习几何距离特征，再通过基于跨模态融合的深度补全神经网络直接生成准确的与图像对应的全景深度图，将深度补全嵌入到全景SLAM(Simultaneous Localization And Mapping)中构建稠密的环境点云地图。
本发明方法具体技术方案如下：
首先构建跨模态的全景深度补全网络，获得场景的全景深度图，作为深度补全模块，然后将深度补全模块嵌入全景定位和稠密建图系统，构建全景定位和稠密地图重建系统，完成大规模环境的三维重建。
(1)构建跨模态的全景深度补全网络，网络包括基于跨模态融合的全景深度补全网络结构，以及基于单位球面面积积分的深度补全损失函数；网络的输入涉及全景图像和稀疏深度两种模态，分别以不同的分辨率，从不同的维度提供环境信息，通过最小化损失函数优化网络中的参数，得到最终稠密全景深度图。包括：
(1-1)球面规一化卷积操作：
通过融合输入模态得到更新后的球面稀疏深度图Sl+1和置信度图Cl+1，输入模态由对应的球面稀疏深度图Sl和置信度图Cl组成，两个输入共享球面卷积。
Figure BDA0003352416580000021
Figure BDA0003352416580000022
其中，Ψ表示球面卷积，(u,v)表示输入模态的特征图的全局坐标，(i,j)表示输入模态的特征图邻域的全局坐标，Sl(u,v)表示Sl中坐标为(u,v)点的特征点，Cl(u,v)表示Cl中坐标为(u,v)点的特征点，b表示Sl的网络偏置，τ表示Cl的网络偏置。
(1-2)构建基于跨模态融合的全景深度补全网络，由两部分构成：球面稀疏特征提取网络GSFE和跨模态全景深度补全网络GCmODC。
所述的球面稀疏特征提取网络GSFE是一个编码器-解码器网络结构，由球面规一化卷积、球形池化模块、上采样模块和下采样模块构成；GSFE输出的特征模态包括输出球面稠密深度图
Figure BDA0003352416580000023
和输出置信度图
Figure BDA0003352416580000024
Sk和Ck分别表示输入球面稀疏深度图和对应置信度图；GSFE负责为GCmODC提供球面稠密深度图及其对应的置信图。
所述的跨模态全景深度补全网络GCmODC的作用是生成最终的稠密全景深度图：GCmODC将GSFE生成的球面稠密深度图
Figure BDA0003352416580000025
和对应的全景图像Ik在通道维度连接，以融合同分辨率的跨模态特征，并让连接后的数据通过GCmODC，生成最终精确的球面稠密深度图
Figure BDA0003352416580000026
Figure BDA0003352416580000027
ConCat[·,·,Dim＝1]表示通过通道维度连接特征。
(1-3)构建基于单位球面面积积分的深度补全损失函数；
首先，用经度θ和纬度φ表示输入模态的特征图的全局坐标(u,v)，
Figure BDA0003352416580000031
Figure BDA0003352416580000032
Iw和Ih分别表示输入模态的特征图宽和高；
然后，通过计算单位球面的表面积积分，定义每个像素的权重w(u,v)：
Figure BDA0003352416580000033
超参数t＝100，单位球半径R＝1.0；
用每个像素的权重计算损失函数：
Figure BDA0003352416580000034
N表示图像数量，n为图像序号，E(u,v)[·]表示像素均值函数，像素点的预测值
Figure BDA0003352416580000035
与真实值
Figure BDA0003352416580000036
的偏差
Figure BDA0003352416580000037
计算阈值
Figure BDA0003352416580000038
Figure BDA0003352416580000039
为最大偏差值；Ⅱ表示满足下标条件，则Ⅱ(·)＝1，否则Ⅱ(·)＝0。
(2)构建全景定位和稠密地图重建系统；具体是：
(2-1)使用全景深度补全网络估计稠密深度图，完成SLAM的快速初始化；创建初始地图后，系统连续跟踪图像的姿态，同时生成关键帧，并将关键帧存储在缓冲池中。
(2-2)系统进行稠密点云重建：首先，系统从缓冲池中获取关键帧，以及对应的稀疏深度图，进行深度补全，得到稠密深度图；然后，系统的深度融合模块结合RGB全景图像中每个像素及对应的深度值，利用反投影获得每个关键帧的稠密三维点云，并将每帧稠密点云转换到全局坐标系下；最后，将每帧稠密点云与全局的点云地图合并，生成优化后的三维环境模型。
本发明提出基于全景成像模型的全景SLAM系统，以同时估计全景图像的姿态和稀疏的环境地图。使用全景深度补全网络估计稠密深度图完成SLAM的快速初始化。在稠密地图重建中，首先系统利用关键帧以及对应的稀疏深度图进行深度补全得到稠密深度图。然后，系统的深度融合模块结合RGB全景图像中每个像素及对应的深度值，利用反投影获得每个关键帧的稠密三维点云，并将每帧稠密点云转换到全局坐标系下。最后，将稠密点云与全局的点云地图合并，生成优化后的三维环境模型。
本发明与现有技术相比具有以下有益效果：本发明设计的球面归一化卷积操作，能够有效提取稀疏深度模态的特征，最终生成与全景图像对应的同分辨率的全景深度特征图，并根据跨模态深度补全网络在通道维度串联两种模态特征，通过损失函数的约束网络从而得到高精度稠密全景深度图像。本发明进一步提出全景定位与稠密地图重建系统，将深度补全模块嵌入系统，实现大规模场景的地图重建。
具体实施方式
基于跨模态融合的360度环境深度补全和地图重建方法，首先构建跨模态的全景深度补全网络，获得场景的全景深度图，作为深度补全模块，然后将深度补全模块嵌入全景定位和稠密建图系统，构建全景定位和稠密地图重建系统，完成大规模环境的三维重建。
(1)构建跨模态的全景深度补全网络，网络包括基于跨模态融合的全景深度补全网络结构，以及基于单位球面面积积分的深度补全损失函数。网络的输入涉及全景图像和稀疏深度两种模态，分别以不同的分辨率，从不同的维度提供环境信息，通过最小化损失函数优化网络中的参数，得到最终稠密全景深度图。针对稀疏深度模态，本发明设计一种球面归一化卷积操作，以在网络结构中提取该模态中的特征。包括：
(1-1)球面规一化卷积操作：由于深度模态数据中深度点分布稀疏且不规则的特性，标准的卷积并不适用。本发明提出一种球面归一化卷积方法，其输入模态由对应的球面稀疏深度图Sl和置信度图Cl组成，两个输入共享球面卷积。输出包含一个深度项和一个置信度项，通过融合Sl和Cl，得到更新后的球面稀疏深度图Sl+1：
Figure BDA0003352416580000041
其中，Ψ表示球面卷积，(u,v)表示输入模态的特征图的全局坐标，(i,j)表示输入模态的特征图邻域的全局坐标，Sl(u,v)表示Sl中坐标为(u,v)点的特征点，Cl(u,v)表示Cl中坐标为(u,v)点的特征点，b表示Sl的网络偏置，τ表示Cl的网络偏置。
首先计算Sl和Cl的对应元素乘积，然后对结果进行球面卷积，获得中间结果的深度图。同时对Cl进行相同的球面卷积以计算权值。最后，将计算所得权值和中间结果的深度图的元素乘积，加入网络偏置b，得到更新后的球面稀疏深度图Sl+1。
更新后的置信度图Cl+1计算方法与Sl+1相似，但是置信度图的更新不需要球面稀疏深度图Sl的参与：
Figure BDA0003352416580000051
(1-2)构建基于跨模态融合的全景深度补全网络；
本发明设计了一种深度补全神经网络，能从全景图像和稀疏深度图中提取并融合跨模态特征以生成稠密的全景深度图。构建的全景深度补全网络由两部分构成：球面稀疏特征提取网络GSFE和跨模态全景深度补全网络GCmODC，具体详细描述如下：
GSFE是一个编码器-解码器网络结构，由球面规一化卷积、球形池化模块、上采样模块和下采样模块构成。该结构可以高效处理稀疏深度图，并以很小的计算代价生成稠密的球面深度图。
球面稀疏特征提取网络GSFE输出的特征模态包括输出球面稠密深度图
Figure BDA0003352416580000052
和输出置信度图
Figure BDA0003352416580000053
Figure BDA0003352416580000054
Sk和Ck分别表示输入球面稀疏深度图和对应置信度图。
GSFE负责为GCmODC提供球面稠密深度图及其对应的置信图，稀疏特征提取只关注稀疏深度图，不关注颜色信息。
GCmODC的作用是生成最终的稠密全景深度图：GCmODC将GSFE生成的球面稠密深度图
Figure BDA0003352416580000055
和对应的全景图像Ik在通道维度连接，以融合同分辨率的跨模态特征，并让连接后的数据通过跨模态的全景深度补全网络GCmODC，生成最终精确的球面稠密深度图
Figure BDA0003352416580000056
Figure BDA0003352416580000057
ConCat[·,·,Dim＝1]表示通过通道维度连接特征。
球面稀疏特征提取网络GSFE，以球面稀疏深度图和置信度图作为输入，然后输出更新以上两项。跨模态全景深度补全网络GCmODC则提出了跨模态全景特征融合。它将第一部分的深度图输出和对应的全景图像串联起来作为输入，从而输出最终的稠密全景深度图。
(1-3)构建基于单位球面面积积分的深度补全损失函数；
由于球面全景图中的像素具有空间分配不平衡的特点，传统的损失函数未考虑该特性从而难以约束网络得到精确的深度图，本发明构建带权值的berHu损失函数LWberHu约束网络：
首先，用经度θ和纬度φ表示输入模态的特征图的全局坐标(u,v)，
Figure BDA0003352416580000061
Figure BDA0003352416580000062
Iw和Ih分别表示输入模态的特征图宽和高。
然后，通过计算单位球面的表面积积分，定义每个像素的权重w(u,v)：
Figure BDA0003352416580000063
超参数t＝100，单位球半径R＝1.0。
用每个像素的权重计算损失函数：
Figure BDA0003352416580000064
N表示图像数量，n为图像序号，E(u,v)[·]表示像素均值函数，像素点的预测值
Figure BDA0003352416580000065
与真实值
Figure BDA0003352416580000066
的偏差
Figure BDA0003352416580000067
计算阈值
Figure BDA0003352416580000068
Figure BDA0003352416580000069
为最大偏差值；Ⅱ表示满足下标条件，则Ⅱ(·)＝1，否则Ⅱ(·)＝0。
(2)构建全景定位和稠密地图重建系统；全景深度补全网络获得场景的全景深度图，作为深度补全模块嵌入全景定位和稠密建图系统，完成大规模环境的三维重建；具体是：
(2-1)使用全景深度补全网络估计稠密深度图，完成SLAM的快速初始化；创建初始地图后，系统连续跟踪图像的姿态，同时生成关键帧，并将关键帧存储在缓冲池中，为后续的深度补全提供关键帧。
(2-2)系统进行稠密点云重建：首先系统从缓冲池中获取关键帧以及对应的稀疏深度图，进行深度补全，得到稠密深度图。稀疏深度图是通过将全景SLAM生成的三维路标点反投影到RGB全景图像空间而创建的，将图像及对应的稀疏深度图，输入到跨模态的全景深度补全网络中得到稠密深度图。然后，系统的深度融合模块结合RGB图像中每个像素及对应的深度值，利用反投影获得每个关键帧的稠密三维点云，并将每帧稠密点云转换到全局坐标系下。最后，将每帧稠密点云与全局的点云地图合并，生成优化后的三维环境模型。

Claims (1)

1.基于跨模态融合的360度环境深度补全和地图重建方法，其特征在于：
首先构建跨模态的全景深度补全网络，获得场景的全景深度图，作为深度补全模块，然后将深度补全模块嵌入全景定位和稠密建图系统，构建全景定位和稠密地图重建系统，完成大规模环境的三维重建；
(1)构建跨模态的全景深度补全网络，网络包括基于跨模态融合的全景深度补全网络结构，以及基于单位球面面积积分的深度补全损失函数；网络的输入涉及全景图像和稀疏深度两种模态，分别以不同的分辨率，从不同的维度提供环境信息，通过最小化损失函数优化网络中的参数，得到最终稠密全景深度图；包括：
(1-1)球面规一化卷积操作：
通过融合输入模态得到更新后的球面稀疏深度图Sl+1和置信度图Cl+1，输入模态由对应的球面稀疏深度图Sl和置信度图Cl组成，两个输入共享球面卷积；
Figure FDA0003352416570000011
Figure FDA0003352416570000012
其中，Ψ表示球面卷积，(u,v)表示输入模态的特征图的全局坐标，(i,j)表示输入模态的特征图邻域的全局坐标，Sl(u,v)表示Sl中坐标为(u,v)点的特征点，Cl(u,v)表示Cl中坐标为(u,v)点的特征点，b表示Sl的网络偏置，τ表示Cl的网络偏置；
(1-2)构建基于跨模态融合的全景深度补全网络，由两部分构成：球面稀疏特征提取网络GSFE和跨模态全景深度补全网络GCmODC；
所述的球面稀疏特征提取网络GSFE是一个编码器-解码器网络结构，由球面规一化卷积、球形池化模块、上采样模块和下采样模块构成；GSFE输出的特征模态包括输出球面稠密深度图
Figure FDA0003352416570000013
和输出置信度图
Figure FDA0003352416570000014
Sk和Ck分别表示输入球面稀疏深度图和对应置信度图；GSFE负责为GCmODC提供球面稠密深度图及其对应的置信图；
所述的跨模态全景深度补全网络GCmODC的作用是生成最终的稠密全景深度图：GCmODC将GSFE生成的球面稠密深度图
Figure FDA0003352416570000021
和对应的全景图像Ik在通道维度连接，以融合同分辨率的跨模态特征，并让连接后的数据通过GCmODC，生成最终精确的球面稠密深度图
Figure FDA0003352416570000022
Figure FDA0003352416570000023
ConCat[·,·,Dim＝1]表示通过通道维度连接特征；
(1-3)构建基于单位球面面积积分的深度补全损失函数；
首先，用经度θ和纬度φ表示输入模态的特征图的全局坐标(u,v)，
Figure FDA0003352416570000024
Figure FDA0003352416570000025
Iw和Ih分别表示输入模态的特征图宽和高；
然后，通过计算单位球面的表面积积分，定义每个像素的权重w(u,v)：
Figure FDA0003352416570000026
超参数t＝100，单位球半径R＝1.0；
用每个像素的权重计算损失函数：
Figure FDA0003352416570000027
N表示图像数量，n为图像序号，E(u,v)[·]表示像素均值函数，像素点的预测值
Figure FDA0003352416570000028
与真实值
Figure FDA0003352416570000029
的偏差
Figure FDA00033524165700000210
计算阈值
Figure FDA00033524165700000211
Figure FDA00033524165700000212
为最大偏差值；Ⅱ表示满足下标条件，则Ⅱ(·)＝1，否则Ⅱ(·)＝0；
(2)构建全景定位和稠密地图重建系统；具体是：
(2-1)使用全景深度补全网络估计稠密深度图，完成SLAM的快速初始化；创建初始地图后，系统连续跟踪图像的姿态，同时生成关键帧，并将关键帧存储在缓冲池中；
(2-2)系统进行稠密点云重建：首先，系统从缓冲池中获取关键帧，以及对应的稀疏深度图，进行深度补全，得到稠密深度图；然后，系统的深度融合模块结合RGB全景图像中每个像素及对应的深度值，利用反投影获得每个关键帧的稠密三维点云，并将每帧稠密点云转换到全局坐标系下；最后，将每帧稠密点云与全局的点云地图合并，生成优化后的三维环境模型。
CN202111341830.7A 2021-11-12 2021-11-12 基于跨模态融合的360度环境深度补全和地图重建方法 Active CN114119889B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111341830.7A CN114119889B (zh) 2021-11-12 2021-11-12 基于跨模态融合的360度环境深度补全和地图重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111341830.7A CN114119889B (zh) 2021-11-12 2021-11-12 基于跨模态融合的360度环境深度补全和地图重建方法

Publications (2)

Publication Number Publication Date
CN114119889A true CN114119889A (zh) 2022-03-01
CN114119889B CN114119889B (zh) 2024-04-09

Family

ID=80379204

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111341830.7A Active CN114119889B (zh) 2021-11-12 2021-11-12 基于跨模态融合的360度环境深度补全和地图重建方法

Country Status (1)

Country Link
CN (1) CN114119889B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117437363A (zh) * 2023-12-20 2024-01-23 安徽大学 基于深度感知迭代器的大规模多视图立体方法
CN117456124A (zh) * 2023-12-26 2024-01-26 浙江大学 一种基于背靠背双目鱼眼相机的稠密slam的方法
WO2024087632A1 (zh) * 2022-10-27 2024-05-02 北京石头创新科技有限公司 彩色三维地图显示方法及装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108416840A (zh) * 2018-03-14 2018-08-17 大连理工大学 一种基于单目相机的三维场景稠密重建方法
CN109087349A (zh) * 2018-07-18 2018-12-25 亮风台（上海）信息科技有限公司 一种单目深度估计方法、装置、终端和存储介质
CN110021043A (zh) * 2019-02-28 2019-07-16 浙江大学 一种基于立体匹配和置信度传播的场景深度获取方法
CN110097589A (zh) * 2019-04-29 2019-08-06 广东工业大学 一种应用于稀疏地图稠密化的深度补全方法
CN110910327A (zh) * 2019-11-26 2020-03-24 福州大学 一种基于掩模增强网络模型的无监督深度补全方法
CN112435325A (zh) * 2020-09-29 2021-03-02 北京航空航天大学 基于vi-slam和深度估计网络的无人机场景稠密重建方法
US20210065391A1 (en) * 2019-08-27 2021-03-04 Nec Laboratories America, Inc. Pseudo rgb-d for self-improving monocular slam and depth prediction
KR20210093351A (ko) * 2019-10-31 2021-07-27 저지앙 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 정보 보완 방법, 차선 인식 방법, 지능형 주행 방법 및 관련 제품
US20210279950A1 (en) * 2020-03-04 2021-09-09 Magic Leap, Inc. Systems and methods for efficient floorplan generation from 3d scans of indoor scenes
WO2022045495A1 (en) * 2020-08-25 2022-03-03 Samsung Electronics Co., Ltd. Methods for depth map reconstruction and electronic computing device for implementing the same
CN114842260A (zh) * 2022-05-10 2022-08-02 杭州师范大学 一种基于蓝图分离卷积的点云分类方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108416840A (zh) * 2018-03-14 2018-08-17 大连理工大学 一种基于单目相机的三维场景稠密重建方法
CN109087349A (zh) * 2018-07-18 2018-12-25 亮风台（上海）信息科技有限公司 一种单目深度估计方法、装置、终端和存储介质
CN110021043A (zh) * 2019-02-28 2019-07-16 浙江大学 一种基于立体匹配和置信度传播的场景深度获取方法
CN110097589A (zh) * 2019-04-29 2019-08-06 广东工业大学 一种应用于稀疏地图稠密化的深度补全方法
US20210065391A1 (en) * 2019-08-27 2021-03-04 Nec Laboratories America, Inc. Pseudo rgb-d for self-improving monocular slam and depth prediction
KR20210093351A (ko) * 2019-10-31 2021-07-27 저지앙 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 정보 보완 방법, 차선 인식 방법, 지능형 주행 방법 및 관련 제품
CN110910327A (zh) * 2019-11-26 2020-03-24 福州大学 一种基于掩模增强网络模型的无监督深度补全方法
US20210279950A1 (en) * 2020-03-04 2021-09-09 Magic Leap, Inc. Systems and methods for efficient floorplan generation from 3d scans of indoor scenes
WO2022045495A1 (en) * 2020-08-25 2022-03-03 Samsung Electronics Co., Ltd. Methods for depth map reconstruction and electronic computing device for implementing the same
CN112435325A (zh) * 2020-09-29 2021-03-02 北京航空航天大学 基于vi-slam和深度估计网络的无人机场景稠密重建方法
CN114842260A (zh) * 2022-05-10 2022-08-02 杭州师范大学 一种基于蓝图分离卷积的点云分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
RUYU LIU, ET AL.: "Towards SLAM-Based Outdoor Localization using Poor GPS and 2.5D Building Models", IEEE, 18 October 2019 (2019-10-18) *
吕浩;陈世峰;: "基于多方向滤波的强边缘深度图像补全方法", 集成技术, no. 06, 15 November 2016 (2016-11-15) *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024087632A1 (zh) * 2022-10-27 2024-05-02 北京石头创新科技有限公司 彩色三维地图显示方法及装置
CN117437363A (zh) * 2023-12-20 2024-01-23 安徽大学 基于深度感知迭代器的大规模多视图立体方法
CN117437363B (zh) * 2023-12-20 2024-03-22 安徽大学 基于深度感知迭代器的大规模多视图立体方法
CN117456124A (zh) * 2023-12-26 2024-01-26 浙江大学 一种基于背靠背双目鱼眼相机的稠密slam的方法
CN117456124B (zh) * 2023-12-26 2024-03-26 浙江大学 一种基于背靠背双目鱼眼相机的稠密slam的方法

Also Published As

Publication number Publication date
CN114119889B (zh) 2024-04-09

Similar Documents

Publication Publication Date Title
CN111062873B (zh) 一种基于多对双目相机的视差图像拼接与可视化方法
CN114119889B (zh) 基于跨模态融合的360度环境深度补全和地图重建方法
Won et al. Sweepnet: Wide-baseline omnidirectional depth estimation
US10388025B2 (en) Interactive image based 3D panogragh
WO2022165809A1 (zh) 一种训练深度学习模型的方法和装置
CN111028155B (zh) 一种基于多对双目相机的视差图像拼接方法
CN113313732A (zh) 一种基于自监督学习的前视场景深度估计方法
CN109191554B (zh) 一种超分辨图像重建方法、装置、终端和存储介质
CN110910437B (zh) 一种复杂室内场景的深度预测方法
US11961266B2 (en) Multiview neural human prediction using implicit differentiable renderer for facial expression, body pose shape and clothes performance capture
CN111062326A (zh) 一种基于几何驱动的自监督人体3d姿态估计网络训练方法
WO2022100419A1 (zh) 一种图像处理方法及相关设备
WO2022165722A1 (zh) 单目深度估计方法、装置及设备
CN117274501B (zh) 一种可驱动数字人建模方法、装置、设备及介质
CN115330935A (zh) 一种基于深度学习的三维重建方法及系统
CN114298946B (zh) 一种框架细节增强的深度学习点云补全方法
CN114996814A (zh) 一种基于深度学习与三维重建的家具设计系统
CN114219900B (zh) 基于混合现实眼镜的三维场景重建方法、重建系统和应用
Jiang et al. A neural refinement network for single image view synthesis
Freer et al. Novel-view synthesis of human tourist photos
Tang et al. Encoder-decoder structure with the feature pyramid for depth estimation from a single image
Su et al. Omnidirectional depth estimation with hierarchical deep network for multi-fisheye navigation systems
CN112308972A (zh) 一种大规模电缆隧道环境模型重构方法
Jan et al. Deep Learning-Based Depth Map Estimation: A Review
Liu et al. Real-time Omnidirectional Depth Perception Based on Multi-view Wide-angle Vision System

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant