CN108701374B - 用于三维点云重建的方法和装置 - Google Patents

用于三维点云重建的方法和装置 Download PDF

Info

Publication number
CN108701374B
CN108701374B CN201780013520.8A CN201780013520A CN108701374B CN 108701374 B CN108701374 B CN 108701374B CN 201780013520 A CN201780013520 A CN 201780013520A CN 108701374 B CN108701374 B CN 108701374B
Authority
CN
China
Prior art keywords
voxel
storage space
target
information
stored
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201780013520.8A
Other languages
English (en)
Other versions
CN108701374A (zh
Inventor
赵开勇
潘慈辉
马岳文
姚尧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN108701374A publication Critical patent/CN108701374A/zh
Application granted granted Critical
Publication of CN108701374B publication Critical patent/CN108701374B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Generation (AREA)
  • Image Analysis (AREA)

Abstract

一种用于三维点云重建的方法和装置，该方法包括：获取当前视角的图像数据；根据图像数据，生成当前视角中的目标物体的体素，目标物体的体素包括第一体素，第一体素包含深度信息；如果第一体素的深度信息的取值不在预设范围内，丢弃第一体素；如果第一体素的深度信息的取值位于预设范围内，将第一体素与已存储的体素进行融合。上述基于体素的三维点云重建方式能够重建出稠密的三维点云，并能够提高稠密三维点云重建过程的实时性。

Description

用于三维点云重建的方法和装置
版权申明
本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或者该专利披露。
技术领域
本申请涉及点云数据处理领域，并且更具体地，涉及一种用于三维点云重建的方法和装置。
背景技术
现有技术一般基于即时定位和建图(simultaneous localization and mapping，SLAM)算法进行三维点云重建。传统的SLAM算法一般会先提取图像数据中的特征点，然后基于图像数据中的特征点(或有显著梯度的点)重建三维点云。在图像数据中，特征点(或有显著梯度的点)个数较少，因此，基于特征点(或有显著梯度的点)重建出的三维点云为稀疏(或半稠密)三维点云。
稀疏的三维点云会遗漏三维场景中的重要信息，无法胜任对三维场景精度要求较高的任务。以重建出的三维点云用于机器导航为例，稀疏的三维点云很有可能会漏掉导航中的有着重要意义的特征。例如，稀疏的三维点云可能会漏掉红绿灯，或者稀疏的三维点云可能无法提供准确的道路信息，如三维场景中的某个道路是否允许通行的信息。
发明内容
本申请提供一种用于三维点云重建的方法和装置，以提高重建出的三维点云的精度。
一方面，提供一种用于三维点云重建的方法，包括：获取当前视角的图像数据；根据所述图像数据，生成所述当前视角中的目标物体的体素，所述目标物体的体素包括第一体素，所述第一体素包含深度信息；如果所述第一体素的深度信息的取值不在预设范围内，丢弃所述第一体素；如果所述第一体素的深度信息的取值位于所述预设范围内，将所述第一体素与已存储的体素进行融合。
另一方面，提供一种用于三维点云重建的装置，包括：获取模块，用于获取当前视角的图像数据；生成模块，用于根据所述图像数据，生成所述当前视角中的目标物体的体素，所述目标物体的体素包括第一体素，所述第一体素包含深度信息；丢弃模块，用于如果所述第一体素的深度信息的取值不在预设范围内，丢弃所述第一体素；融合模块，用于如果所述第一体素的深度信息的取值位于所述预设范围内，将所述第一体素与已存储的体素进行融合。
又一方面，提供一种用于三维点云重建的装置，包括存储器和处理器，存储器用于存储指令，处理器用于执行存储器中存储的指令，以执行上述各方面所述的方法。
又一方面，提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。
又一方面，提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。
本申请提供的技术方案使用体素作为三维点云中的点，能够重建出高精度的稠密三维点云。进一步地，本申请提供的技术方案在目标物体的体素中存储深度信息，并基于体素的深度信息对目标物体的体素进行筛选，丢弃深度信息不符合要求的体素，降低了需要进行融合和存储的点云数据的数量，提高了稠密三维点云重建过程的实时性。
附图说明
图1是SLAM算法的通用计算流程图。
图2是本发明实施例提供的用于三维点云重建的方法的示意性流程图。
图3是图2中的步骤240的具体流程示例图。
图4是本发明一个实施例提供的用于三维点云重建的装置的示意性结构图。
图5是本发明又一实施例提供的用于三维点云重建的装置的示意性结构图。
具体实施方式
图1是SLAM算法的通用计算流程图。从图1可以看出，相机的位姿估计与三维点云的重建过程被捆绑在一个循环之中，二者相互支持、相互影响，从而达到了同时定位和三维点云重建的目的。
SLAM算法重建出的三维点云主要由图像数据中的特征点(或有显著梯度的点)组成。在图像数据中，特征点(或有显著梯度的点)个数较少，因此，使用SLAM算法重建出的三维点云一般都是稀疏点云，无法胜任对三维场景精度要求较高的任务。
体素(voxel)是三维空间中的一个小的体积单元。三维空间中的一个物体通常由成千上万的体素堆积而成，因此，物体的体素具有数量多、分布稠密的特点，很适合用于生成稠密的三维点云。基于此，本发明实施例提出一种基于体素的三维点云重建方法，以生成稠密的三维点云。与稀疏点云相比，稠密的三维点云精度较高，能够保留三维场景中的重要信息。
现有技术一般以三维数组(array)的方式存储物体的体素，每一个存储单元可用于存储一个体素。当需要在存储空间中查找物体的某个目标体素时，可以通过三维数组的下标直接进行寻址。基于三维数组的体素存储方式能够降低体素的查找复杂度，但是这种存储方式需要保证存储的连续性，即需要存储物体的每个体素。为了不破坏存储的连续性，即使某个体素为空体素(不包含任何有用信息的体素，如目标物体内部的体素)，也必须为该体素分配存储空间，不能随意丢弃体素。实际上，在物体的体素中，一般有超过90％的体素为空体素，如果保留这些体素，会浪费大量的存储和计算资源，导致基于体素的三维点云重建过程实时性较差，仅能局限于重建小范围、小尺度的场景，如室内场景。
下面结合图2，详细描述本发明实施例提供的三维点云重建方法。本发明实施例提供的三维点云重建方法可用于生成三维点云地图，或者用于机器导航。图2的方法可以由安装有相机的移动设备执行。该移动设备例如可以是机器人、无人驾驶飞机(unmannedaerial vehicle，UAV，简称无人机)、汽车或可穿戴设备(wearable device)。具体地，移动设备可以通过相机拍摄移动设备在运动过程中遇到的未知场景，并基于拍摄到的图像数据生成未知场景的三维点云地图。
图2是本发明实施例提供的用于三维点云重建的方法的示意性流程图。图2的方法可包括如下步骤。
210、获取当前视角的图像数据。
220、根据图像数据，生成当前视角中的目标物体的体素，目标物体的体素包括第一体素，第一体素包含深度信息。
应理解，上述目标物体可以是当前视角中的任意一个被探测到的物体。此外，上述第一体素可以是目标物体的体素中的任意体素。
230、如果第一体素的深度信息的取值不在预设范围内，丢弃第一体素。
240、如果第一体素的深度信息的取值位于预设范围内，将第一体素与已存储的体素进行融合。
本发明实施例使用体素作为三维点云中的点，能够重建出高精度的稠密三维点云。进一步地，本发明实施例在目标物体的体素中存储深度信息，并基于体素的深度信息对目标物体的体素进行筛选，丢弃深度信息不符合要求的体素，降低了需要进行融合和存储的点云数据的数量，提高了稠密三维点云重建过程的实时性。
本发明实施例对预设范围的选取方式不做具体限定，可以根据实际需要选取。例如，可以以目标物体的表面为基准设置上述预设范围，使得物体表面附近的体素(或称可视体素)得以保留，其余体素被丢弃。换句话说，本发明实施例仅聚焦于目标物体体素中的存储了有用信息的体素，从而更有效地利用存储和计算资源，提高基于体素的三维点云重建过程的实时性。
步骤220描述的是目标物体的体素化过程，本发明实施例对目标物体的体素化方式不做具体限定，例如，步骤220可包括：根据图像数据，生成当前视角的深度图；根据深度图，对目标物体进行体素化，得到目标物体的体素。
上述根据图像数据生成当前视角的深度图可以包括：预估图像数据中的每个像素点对应的视差；将每个像素点对应的视差转化为每个像素点对应的深度值。
例如，可以使用公式zi＝bf/di确定每个像素点对应的深度值，其中zi和di分别表示图像数据中的第i个像素的深度值和视差，b表示基线，f表示焦距。
需要说明的是，图像数据中的每个像素点可以对应一个深度值，且各像素点对应的深度值的求解过程可以并行执行，以提高图像数据的处理效率。
在计算出深度图之后，就得到了目标物体的三维模型。接下来，就可以利用一定的算法将目标物体的三维模型体素化。例如，首先根据深度图中的深度值，建立三维模型的包围盒(bounding box)，然后基于八叉树将包围盒分解成许多小的体积单元，每个体积单元可以对应目标物体的一个体素。
如果目标存储空间包含第一体素的存储空间，可以将第一体素的颜色信息和深度信息分别与第一体素的存储空间中的颜色信息和深度信息进行融合，下面对融合的方式进行详细描述。颜色信息和深度信息的融合方式可以有多种，下面结合具体的实施例进行详细介绍。
可选地，在一些实施例中，第一体素可以包括颜色信息和第一体素的颜色信息的权值，上述将第一体素与已存储的体素进行融合可包括：如果目标存储空间包含第一体素的存储空间，根据第一体素的颜色信息的权值，将第一体素的颜色信息与第一体素的存储空间中的体素的颜色信息进行加权求和。当然，本发明实施例不限于此，还可以直接利用第一体素的颜色信息替换第一体素的存储空间中的体素的颜色信息。
可选地，在一些实施例中，第一体素还可包括第一体素的深度信息的权值，上述将第一体素与已存储的体素进行融合可包括：如果目标存储空间包含第一体素的存储空间，根据第一体素的深度信息的权值，将第一体素的深度信息与第一体素的存储空间中的体素的深度信息进行加权求和。当然，本发明实施例不限于此，还可以直接利用第一体素的深度信息替换第一体素的存储空间中的体素的深度信息。
本发明实施例对第一体素的深度信息的取值方式不做具体限定。在一些实施例中，第一体素的深度信息的取值可以是第一体素在相机坐标系中的z值。在另一些实施例中，第一体素的深度信息的取值可以是截断带符号距离函数(truncated signed distancefunction，tsdf)值。该tsdf值可用于指示第一体素与目标物体表面(目标物体的距离第一体素最近的表面)之间的距离。
例如，第一体素可以采用如下数据结构：
struct voxel{
float tsdf；
uchar color[3]；
uchar weight；
}
其中tsdf即为第一体素的深度信息，用于表示第一体素距离目标物体表面的距离。color[3]用于表示第一体素的颜色信息，weight用于表示第一体素的颜色信息和/或深度信息的权重。
假设预设范围是(Dmin，Dmax)，如果第一体素的tsdf值满足：Dmin＜tsdf＜Dmax，则认为第一体素包含有用信息(或第一体素为可视体素)，保留该第一体素；如果第一体素的tsdf值不满足：Dmin＜tsdf＜Dmax，则认为第一体素不包含有用信息(或第一体素为不可视体素)，丢弃该第一体素。
需要说明的是，三维点云重建是一个持续的过程，在三维点云重建过程中，移动设备首先会选取一个初始的视角(下称第一视角)进行拍摄，然后将第一视角中的物体体素化，并存储深度信息符合要求的体素；接着，移动设备会调整相机的位姿，选取下一视角(下称第二视角)进行拍摄，得到新的体素。由于相邻两次视角的视角差通常比较小，相邻两个视角拍摄得到的物体可能重叠，因此，需要将第二视角拍摄得到的新体素与已存储的体素进行融合。上文中的当前视角可以指相机拍摄过程中的任意视角，已存储体素可以是在使用当前视角拍摄之前已经得到并保留下来的体素。
步骤240的实现方式(即体素融合的方式)可以有多种。在一些实施例中，如图3所示，步骤240可包括：
242、确定目标存储空间中是否包含第一体素的存储空间，其中目标存储空间是为已存储的体素分配的存储空间。
244、如果目标存储空间包含第一体素的存储空间，根据第一体素的信息，更新第一体素的存储空间中的体素的信息。
246、如果目标存储空间不包含第一体素的存储空间，为第一体素分配新的存储空间，并将第一体素存储至新的存储空间中。
步骤244的实现方式可以有多种。例如，可以直接使用第一体素的信息替换第一体素的存储空间中存储的旧的体素信息；又如，可以将第一体素的信息与第一体素的存储空间中存储的旧的体素信息进行加权求和。
以体素可以采用如下数据结构为例：
struct voxel{
float tsdf；
uchar color[3]；
uchar weight；
}
可以采用如下公式对第一体素存储空间中存储的体素的深度信息进行更新(或融合)：
Di+1＝(Wi*Di+wi+1*di+1)/(Wi+wi+1)
Wi+1＝Wi+wi+1
Di表示第一体素存储空间中存储的体素的tsdf值，di+1表示第一体素的tsdf值，Di+1表示更新后的tsdf值；Wi表示第一体素存储空间中存储的体素的权重，wi+1表示第一体素的权重，Wi+1表示更新后的权重。
上文是对第一体素的深度信息的更新方式进行举例说明。相应地，第一体素的颜色信息也可以采用类似的更新方式，此处不再详述。
在一些实施例中，步骤242可包括：根据第一体素和预先存储的映射关系信息，从目标存储空间中查找第一体素的存储空间，映射关系信息可用于指示已存储的体素与已存储的体素的存储空间的对应关系；如果查找到第一体素的存储空间，确定目标存储空间包含第一体素的存储空间；如果未查找到第一体素的存储空间，确定目标存储空间不包含第一体素的存储空间。
上文指出，现有技术以三维数组的方式连续存储体素，这种存储方式具有寻址简单的优点，但需要保证体素存储的连续性，即使某个体素为空体素(不包含任何有用信息的体素，如目标物体内部的体素)，也必须为该体素分配存储空间，不能随意丢弃体素。本发明实施例丢弃了目标物体中的深度信息不满足要求的体素，这样虽然破坏了体素存储的连续性，却可以丢弃大量的空体素，可以很大程度上节省存储资源，提升计算效率。进一步地，在体素存储不连续的情况下，为了能够实现体素的快速寻址，本发明实施例引入了映射关系信息，以记录体素与已存储体素的存储位置的对应关系。
映射关系信息指示已存储的体素与已存储的体素的存储空间的对应关系的方式可以有多种。在一些实施例中，可以建立已存储的体素在三维空间中的位置与已存储的体素的存储空间(如存储地址的首地址和偏移量)的对应关系。
在一些实施例中，体素在三维空间中的位置可以通过体素在世界坐标系中的坐标表示。为了得到体素在世界坐标系中的坐标，可以先确定相机在当前视角拍摄时的位姿，然后基于相机的位姿将体素转换到世界坐标系中。相机位姿的确定方式可以有多种。例如，可以采用视觉快速测程法(fast odometry from vision，FOVIS)确定相机的位姿。具体地，首先，可以使用高斯平滑滤波器对输入的图像数据进行滤波，以构建三层图像金字塔。然后使用FAST角点探测器来探测出图像中的足够多的局部特征。接着使用RANSAC(random sampleconsensus)算法，利用图像数据中的关键帧来鲁邦性估计相机姿势。
映射关系信息的存储和使用方式可以有多种，在一些实施例中，可以将映射关系信息存储在哈希表中。上文中的根据第一体素和预先存储的映射关系信息，从目标存储空间中查找第一体素的存储空间可包括：根据第一体素和哈希表，通过哈希算法，从目标存储空间中查找第一体素的存储空间。哈希表具有寻址快的优点，能够提高三维点云重建过程的效率。
可选地，在一些实施例中，哈希表可以记录已存储的体素块的位置信息与已存储的体素块的存储空间的对应关系。一个体素块可以包含空间相邻的多个体素，已存储的体素块的位置信息可用于指示已存储的体素块在三维场景中的空间位置(如体素块的中心点在世界坐标系中的三维坐标)，上述根据第一体素和哈希表，通过哈希算法，从目标存储空间中查找第一体素的存储空间可包括：确定第一体素所属的目标体素块的位置信息；根据目标体素块的位置信息和哈希表，通过哈希算法，查找目标体素块的存储空间；根据第一体素在目标体素块中的位置，从目标体素块的存储空间中查找第一体素的存储空间。
本发明实施例中，哈希表的每个表项并非对应一个体素，而是对应一个体素块。以体素块为单位记录映射关系信息可以减少哈希表的表项的数量，从而降低哈希冲突的概率。
体素块可以是一些空间上具有相邻关系的体素的集合。例如，一个体素块可以包括空间相邻的8*8*8个体素。
在一些实施例中，体素块都可以被存储在一个数组中。本发明实施例中的哈希表可以是为了快速有效地找到数组里面的体素块而设计的。哈希表的表项可以包含体素块的位置，指向存储体素块的数组的指针，以及偏移量等成员变量。
例如，在一些实施例中，哈希表可以采用如下数据结构记录上述映射关系信息：
struct hash_entry{
short pos[3]；
short offset；
int pointer；
}
其中pos[3]可以表示体素块在三维空间中的世界坐标(x，y，z)，pointer可以指向存储体素块的数组的首地址，offset可用于指示该体素块的存储位置的首地址与存储体素块的数组的首地址之间的偏移量。
实际使用的过程中，首先可以根据体素和体素块的空间位置关系，确定第一体素所属的目标体素块；然后根据目标体素块在三维空间中的世界坐标(x，y，z)，通过查找哈希表，确定是否已经为目标体素块分配了存储空间；如果未给目标体素块分配存储空间，则为目标体素块分配存储空间，并更新哈希表的表项。接下来，将第一体素的信息存储至目标体素块的存储空间中的相应位置即可。如果已经给目标体素块分配了存储空间，则可以从目标体素块的存储空间中选取第一体素的存储空间，然后利用第一体素的信息更新第一体素的存储空间中的体素信息，具体的体素信息的更新方式参见前文，此处不再详述。
需要说明的是，本发明实施例对目标存储空间的位置不做具体限定，目标存储空间可以位于图形处理单元(graphics processing unit，GPU)的内存中，也可以位于中央处理单元(central processing unit，CPU)的内存中，甚至可以位于外部存储器中。
可选地，在一些实施例中，目标存储空间可以位于CPU的内存和/或外部存储器中，步骤242可包括：GPU确定目标存储空间中是否包含第一体素的存储空间；步骤244可包括：GPU通过CPU从目标存储空间中读取第一体素的存储空间中的体素的信息；GPU根据第一体素的信息更新第一体素的存储空间中的体素的信息，得到更新后的体素的信息；GPU通过CPU将更新后的体素的信息存储至第一体素的存储空间中。
GPU具有很强的图像数据处理能力，但是GPU的内存通常比较小，一般包括2-4个GB，不足以存储大尺度场景的点云数据。为了避免GPU内存对待重建的场景尺度的限制，本发明实施例采用CPU的内存和/或外部存储设备存储体素，与GPU的内存(或称显存)相比，CPU的内存和/或外部存储设备可以提供更大的存储空间。
具体地，GPU首先可以根据图像数据生成新的体素。然后，在将新体素与已存储的体素融合之前，GPU可以将需要与新体素融合的体素从CPU的内存和/或外部存储设备中读入GPU的内存中。接着，在体素融合完成之后，GPU可以将融合之后的体素数据重新存入CPU的内存和/或外部存储设备。换句话说，本发明实施例基于GPU、CPU和/或外部存储设备之间的数据交换，使得GPU内存仅需要存储待融合的局部数据，而全局数据始终存储在CPU的内存和/或外部存储设备中，这样可以克服GPU内存空间的限制，使得本发明实施例能够用于重建更大维度的三维空间。
以三维点云地图重建为例为例，本发明实施例相当于使用CPU的内存存储重建出的全局地图，使用GPU的内存存储局部地图，并根据场景或视角的变换不断更新GPU的内存中存储的局部地图，从而避免GPU内存较小而对待重建场景的尺度造成限制。
应理解，当前视角中的目标物体可能是静止的物体，也可能是移动物体。三维点云重建需要重建的是三维场景中的相对固定的物体，如三维场景中的建筑物、红绿灯等，而三维场景中临时出现的移动物体可以视为一种干扰。因此，下面提供一种移动物体的处理方式，能够识别并有效处理移动物体，以加快三维点云重建过程。
步骤220可包括：根据图像数据，确定目标物体是否为移动物体；在目标物体为移动物体的情况下，生成目标物体的体素，使得目标物体中的每个体素的深度信息的取值不在预设范围内。
本发明实施例将移动物体的深度信息的取值控制在预设范围之外，这样一来，目标物体中的每个体素均会被丢弃。换句话说，本发明实施例通过控制深度信息的取值，能够避免处理移动物体，提高三维点云重建过程的效率。
假设目标物体中的每个体素采用如下数据结构：
struct voxel{
float tsdf；
uchar color[3]；
uchar weight；
}
其中tsdf即为体素的深度信息，用于表示第一体素距离目标物体表面的距离。假设预设范围可以是(Dmin，Dmax)，如果体素的tsdf值满足：Dmin＜tsdf＜Dmax，则保留该体素；如果体素的tsdf值不满足：Dmin＜tsdf＜Dmax，则丢弃该体素。
当目标物体被识别为移动物体时，可以控制目标物体中的每个体素的tsdf值，使得每个体素的tsdf值均由于不满足Dmin＜tsdf＜Dmax而被丢弃，从而避免了移动物体的处理，加快了三维点云重建过程。
需要说明的是，本发明实施例对根据图像数据确定目标物体是否为移动物体的方式不做具体限定，可以采用现有的移动物体检测和跟踪算法。
下面对本发明的装置实施例进行描述，由于装置实施例可以执行上述方法，因此未详细描述的部分可以参见前面各方法实施例。
图4是本发明一个实施例提供的用于三维点云重建的装置的示意性结构图。图4的装置400包括：
获取模块410，用于获取当前视角的图像数据；
生成模块420，用于根据所述图像数据，生成所述当前视角中的目标物体的体素，所述目标物体的体素包括第一体素，所述第一体素包含深度信息；
丢弃模块430，用于如果所述第一体素的深度信息的取值不在预设范围内，丢弃所述第一体素；
融合模块440，用于如果所述第一体素的深度信息的取值位于所述预设范围内，将所述第一体素与已存储的体素进行融合。
本发明实施例使用体素作为三维点云中的点，能够重建出高精度的稠密三维点云。进一步地，本发明实施例在目标物体的体素中存储深度信息，并基于体素的深度信息对目标物体的体素进行筛选，丢弃深度信息不符合要求的体素，降低了需要进行融合和存储的点云数据的数量，提高了稠密三维点云重建过程的实时性。
可选地，在一些实施例中，所述融合模块440具体用于确定目标存储空间中是否包含所述第一体素的存储空间，其中所述目标存储空间是为已存储的体素分配的存储空间；如果所述目标存储空间包含所述第一体素的存储空间，根据所述第一体素的信息，更新所述第一体素的存储空间中的体素的信息；如果所述目标存储空间不包含所述第一体素的存储空间，为所述第一体素分配新的存储空间，并将所述第一体素存储至所述新的存储空间中。
可选地，在一些实施例中，所述融合模块440具体用于根据所述第一体素和预先存储的映射关系信息，从所述目标存储空间中查找所述第一体素的存储空间，所述映射关系信息用于指示所述已存储的体素与所述已存储的体素的存储空间的对应关系；如果查找到所述第一体素的存储空间，确定所述目标存储空间包含所述第一体素的存储空间；如果未查找到所述第一体素的存储空间，确定所述目标存储空间不包含所述第一体素的存储空间。
可选地，在一些实施例中，所述映射关系信息存储在哈希表中，所述融合模块440具体用于根据所述第一体素和哈希表，通过哈希算法，从所述目标存储空间中查找所述第一体素的存储空间。
可选地，在一些实施例中，所述哈希表记录有已存储的体素块的位置信息与所述已存储的体素块的存储空间的对应关系，一个体素块包含空间相邻的多个体素，所述已存储的体素块的位置信息用于指示所述已存储的体素块在所述三维场景中的空间位置，所述融合模块440具体用于确定所述第一体素所属的目标体素块的位置信息；根据所述目标体素块的位置信息和所述哈希表，通过哈希算法，查找所述目标体素块的存储空间；根据所述第一体素在所述目标体素块中的位置，从所述目标体素块的存储空间中查找所述第一体素的存储空间。
可选地，在一些实施例中，所述目标存储空间位于CPU的内存和/或外部存储器中，所述融合模块440具体用于调用GPU执行以下操作：确定所述目标存储空间中是否包含所述第一体素的存储空间；通过所述CPU从所述目标存储空间中读取所述第一体素的存储空间中的体素的信息；根据所述第一体素的信息更新所述第一体素的存储空间中的体素的信息，得到更新后的体素的信息；通过所述CPU将更新后的体素的信息存储至所述第一体素的存储空间中。
可选地，在一些实施例中，所述生成模块420具体用于根据所述图像数据，确定所述目标物体是否为移动物体；在所述目标物体为移动物体的情况下，生成所述目标物体的体素，使得所述目标物体中的每个体素的深度信息的取值不在所述预设范围内。
可选地，在一些实施例中，所述生成模块420具体用于根据所述图像数据，生成所述当前视角的深度图；根据所述深度图，对所述目标物体进行体素化，得到所述目标物体的体素。
可选地，在一些实施例中，所述第一体素包括颜色信息和颜色信息的权值，所述生成模块420具体用于如果所述目标存储空间包含所述第一体素的存储空间，根据所述第一体素的颜色信息的权值，将所述第一体素的颜色信息与所述第一体素的存储空间中的体素的颜色信息进行加权求和。
可选地，在一些实施例中，所述第一体素还包括深度信息的权值，所述生成模块420具体用于如果所述目标存储空间包含所述第一体素的存储空间，根据所述第一体素的深度信息的权值，将所述第一体素的深度信息与所述第一体素的存储空间中的体素的深度信息进行加权求和。
可选地，在一些实施例中，所述第一体素的深度信息的取值为截断带符号距离函数值，所述截断带符号距离函数值用于指示第一体素与所述目标物体表面之间的距离。
图5是本发明又一实施例提供的用于三维点云重建的装置的示意性结构图。图5的装置500包括：
存储器510，用于存储指令；
处理器520，用于执行存储器510中存储的指令，以执行如下操作：
获取当前视角的图像数据；
根据所述图像数据，生成所述当前视角中的目标物体的体素，所述目标物体的体素包括第一体素，所述第一体素包含深度信息；
如果所述第一体素的深度信息的取值不在预设范围内，丢弃所述第一体素；
如果所述第一体素的深度信息的取值位于所述预设范围内，将所述第一体素与已存储的体素进行融合。
本发明实施例使用体素作为三维点云中的点，能够重建出高精度的稠密三维点云。进一步地，本发明实施例在目标物体的体素中存储深度信息，并基于体素的深度信息对目标物体的体素进行筛选，丢弃深度信息不符合要求的体素，降低了需要进行融合和存储的点云数据的数量，提高了稠密三维点云重建过程的实时性。
可选地，在一些实施例中，所述将所述第一体素与已存储的体素进行融合可包括：确定目标存储空间中是否包含所述第一体素的存储空间，其中所述目标存储空间是为已存储的体素分配的存储空间；如果所述目标存储空间包含所述第一体素的存储空间，根据所述第一体素的信息，更新所述第一体素的存储空间中的体素的信息；如果所述目标存储空间不包含所述第一体素的存储空间，为所述第一体素分配新的存储空间，并将所述第一体素存储至所述新的存储空间中。
可选地，在一些实施例中，所述确定目标存储空间中是否包含所述第一体素的存储空间可包括：根据所述第一体素和预先存储的映射关系信息，从所述目标存储空间中查找所述第一体素的存储空间，所述映射关系信息用于指示所述已存储的体素与所述已存储的体素的存储空间的对应关系；如果查找到所述第一体素的存储空间，确定所述目标存储空间包含所述第一体素的存储空间；如果未查找到所述第一体素的存储空间，确定所述目标存储空间不包含所述第一体素的存储空间。
可选地，在一些实施例中，所述映射关系信息存储在哈希表中，所述根据所述第一体素和预先存储的映射关系信息，从所述目标存储空间中查找所述第一体素的存储空间可包括：根据所述第一体素和哈希表，通过哈希算法，从所述目标存储空间中查找所述第一体素的存储空间。
可选地，在一些实施例中，所述哈希表记录有已存储的体素块的位置信息与所述已存储的体素块的存储空间的对应关系，一个体素块包含空间相邻的多个体素，所述已存储的体素块的位置信息用于指示所述已存储的体素块在所述三维场景中的空间位置，所述根据所述第一体素和哈希表，通过哈希算法，从所述目标存储空间中查找所述第一体素的存储空间可包括：确定所述第一体素所属的目标体素块的位置信息；根据所述目标体素块的位置信息和所述哈希表，通过哈希算法，查找所述目标体素块的存储空间；根据所述第一体素在所述目标体素块中的位置，从所述目标体素块的存储空间中查找所述第一体素的存储空间。
可选地，在一些实施例中，所述目标存储空间位于CPU的内存和/或外部存储器中，所述确定目标存储空间中是否包含所述第一体素的存储空间的操作以及所述根据所述第一体素的信息，更新所述第一体素的存储空间中的体素的信息的操作均可由GPU执行，且所述确定目标存储空间中是否包含所述第一体素的存储空间可包括的操作可包括：确定所述目标存储空间中是否包含所述第一体素的存储空间；所述根据所述第一体素的信息，更新所述第一体素的存储空间中的体素的信息可包括：通过所述CPU从所述目标存储空间中读取所述第一体素的存储空间中的体素的信息；根据所述第一体素的信息更新所述第一体素的存储空间中的体素的信息，得到更新后的体素的信息；通过所述CPU将更新后的体素的信息存储至所述第一体素的存储空间中。
可选地，在一些实施例中，所述根据所述图像数据，生成所述当前视角中的目标物体的体素可包括：根据所述图像数据，确定所述目标物体是否为移动物体；在所述目标物体为移动物体的情况下，生成所述目标物体的体素，使得所述目标物体中的每个体素的深度信息的取值不在所述预设范围内。
可选地，在一些实施例中，所述根据所述图像数据，生成所述当前视角中的目标物体的体素可包括：根据所述图像数据，生成所述当前视角的深度图；根据所述深度图，对所述目标物体进行体素化，得到所述目标物体的体素。
可选地，在一些实施例中，所述第一体素包括颜色信息和颜色信息的权值，所述将所述第一体素与已存储的体素进行融合可包括：如果所述目标存储空间包含所述第一体素的存储空间，根据所述第一体素的颜色信息的权值，将所述第一体素的颜色信息与所述第一体素的存储空间中的体素的颜色信息进行加权求和。
可选地，在一些实施例中，所述第一体素还包括深度信息的权值，所述将所述第一体素与已存储的体素进行融合可包括：如果所述目标存储空间包含所述第一体素的存储空间，根据所述第一体素的深度信息的权值，将所述第一体素的深度信息与所述第一体素的存储空间中的体素的深度信息进行加权求和。
可选地，在一些实施例中，所述第一体素的深度信息的取值为截断带符号距离函数值，所述截断带符号距离函数值用于指示第一体素与所述目标物体表面之间的距离。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其他任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (18)

1.一种用于三维点云重建的方法，其特征在于，包括：
获取当前视角的图像数据；
根据所述图像数据，生成所述当前视角中的目标物体的体素，所述目标物体的体素包括第一体素，所述第一体素包含深度信息；
如果所述第一体素的深度信息的取值不在预设范围内，丢弃所述第一体素；
如果所述第一体素的深度信息的取值位于所述预设范围内，将所述第一体素与已存储的体素进行融合；
所述将所述第一体素与已存储的体素进行融合，包括：
GPU确定目标存储空间中是否包含所述第一体素的存储空间，其中所述目标存储空间是为已存储的体素分配的存储空间，所述目标存储空间位于CPU的内存和/或外部存储器中；
如果所述目标存储空间包含所述第一体素的存储空间，所述GPU通过所述CPU从所述目标存储空间中读取所述第一体素的存储空间中的体素的信息，所述GPU根据所述第一体素的信息更新所述第一体素的存储空间中的体素的信息，得到更新后的体素的信息，所述GPU通过所述CPU将更新后的体素的信息存储至所述第一体素的存储空间中；
如果所述目标存储空间不包含所述第一体素的存储空间，为所述第一体素分配新的存储空间，并将所述第一体素存储至所述新的存储空间中。
2.如权利要求1所述的方法，其特征在于，所述确定目标存储空间中是否包含所述第一体素的存储空间，包括：
根据所述第一体素和预先存储的映射关系信息，从所述目标存储空间中查找所述第一体素的存储空间，所述映射关系信息用于指示所述已存储的体素与所述已存储的体素的存储空间的对应关系；
如果查找到所述第一体素的存储空间，确定所述目标存储空间包含所述第一体素的存储空间；
如果未查找到所述第一体素的存储空间，确定所述目标存储空间不包含所述第一体素的存储空间。
3.如权利要求2所述的方法，其特征在于，所述映射关系信息存储在哈希表中，
所述根据所述第一体素和预先存储的映射关系信息，从所述目标存储空间中查找所述第一体素的存储空间，包括：
根据所述第一体素和哈希表，通过哈希算法，从所述目标存储空间中查找所述第一体素的存储空间。
4.如权利要求3所述的方法，其特征在于，所述哈希表记录有已存储的体素块的位置信息与所述已存储的体素块的存储空间的对应关系，一个体素块包含空间相邻的多个体素，所述已存储的体素块的位置信息用于指示所述已存储的体素块在三维场景中的空间位置，
所述根据所述第一体素和哈希表，通过哈希算法，从所述目标存储空间中查找所述第一体素的存储空间，包括：
确定所述第一体素所属的目标体素块的位置信息；
根据所述目标体素块的位置信息和所述哈希表，通过哈希算法，查找所述目标体素块的存储空间；
根据所述第一体素在所述目标体素块中的位置，从所述目标体素块的存储空间中查找所述第一体素的存储空间。
5.如权利要求1-4中任一项所述的方法，其特征在于，所述根据所述图像数据，生成所述当前视角中的目标物体的体素，包括：
根据所述图像数据，确定所述目标物体是否为移动物体；
在所述目标物体为移动物体的情况下，生成所述目标物体的体素，使得所述目标物体中的每个体素的深度信息的取值不在所述预设范围内。
6.如权利要求1-4中任一项所述的方法，其特征在于，所述根据所述图像数据，生成所述当前视角中的目标物体的体素，包括：
根据所述图像数据，生成所述当前视角的深度图；
根据所述深度图，对所述目标物体进行体素化，得到所述目标物体的体素。
7.如权利要求1-4中任一项所述的方法，其特征在于，所述第一体素包括颜色信息和所述颜色信息的权值，
所述将所述第一体素与已存储的体素进行融合，包括：
如果所述目标存储空间包含所述第一体素的存储空间，根据所述第一体素的颜色信息的权值，将所述第一体素的颜色信息与所述第一体素的存储空间中的体素的颜色信息进行加权求和。
8.如权利要求1-4中任一项所述的方法，其特征在于，所述第一体素包括所述深度信息的权值，
所述将所述第一体素与已存储的体素进行融合，包括：
如果所述目标存储空间包含所述第一体素的存储空间，根据所述第一体素的深度信息的权值，将所述第一体素的深度信息与所述第一体素的存储空间中的体素的深度信息进行加权求和。
9.如权利要求1-4中任一项所述的方法，其特征在于，所述第一体素的深度信息的取值为截断带符号距离函数值，所述截断带符号距离函数值用于指示第一体素与所述目标物体表面之间的距离。
10.一种用于三维点云重建的装置，其特征在于，包括：
获取模块，用于获取当前视角的图像数据；
生成模块，用于根据所述图像数据，生成所述当前视角中的目标物体的体素，所述目标物体的体素包括第一体素，所述第一体素包含深度信息；
丢弃模块，用于如果所述第一体素的深度信息的取值不在预设范围内，丢弃所述第一体素；
融合模块，用于如果所述第一体素的深度信息的取值位于所述预设范围内，将所述第一体素与已存储的体素进行融合；
所述融合模块具体用于调用GPU执行以下操作：确定目标存储空间中是否包含所述第一体素的存储空间，其中所述目标存储空间是为已存储的体素分配的存储空间，所述目标存储空间位于CPU的内存和/或外部存储器中；如果所述目标存储空间包含所述第一体素的存储空间，通过所述CPU从所述目标存储空间中读取所述第一体素的存储空间中的体素的信息，根据所述第一体素的信息更新所述第一体素的存储空间中的体素的信息，得到更新后的体素的信息，通过所述CPU将更新后的体素的信息存储至所述第一体素的存储空间中；如果所述目标存储空间不包含所述第一体素的存储空间，为所述第一体素分配新的存储空间，并将所述第一体素存储至所述新的存储空间中。
11.如权利要求10所述的装置，其特征在于，所述融合模块具体用于根据所述第一体素和预先存储的映射关系信息，从所述目标存储空间中查找所述第一体素的存储空间，所述映射关系信息用于指示所述已存储的体素与所述已存储的体素的存储空间的对应关系；如果查找到所述第一体素的存储空间，确定所述目标存储空间包含所述第一体素的存储空间；如果未查找到所述第一体素的存储空间，确定所述目标存储空间不包含所述第一体素的存储空间。
12.如权利要求11所述的装置，其特征在于，所述映射关系信息存储在哈希表中，所述融合模块具体用于根据所述第一体素和哈希表，通过哈希算法，从所述目标存储空间中查找所述第一体素的存储空间。
13.如权利要求12所述的装置，其特征在于，所述哈希表记录有已存储的体素块的位置信息与所述已存储的体素块的存储空间的对应关系，一个体素块包含空间相邻的多个体素，所述已存储的体素块的位置信息用于指示所述已存储的体素块在三维场景中的空间位置，所述融合模块具体用于确定所述第一体素所属的目标体素块的位置信息；根据所述目标体素块的位置信息和所述哈希表，通过哈希算法，查找所述目标体素块的存储空间；根据所述第一体素在所述目标体素块中的位置，从所述目标体素块的存储空间中查找所述第一体素的存储空间。
14.如权利要求10-13中任一项所述的装置，其特征在于，所述生成模块具体用于根据所述图像数据，确定所述目标物体是否为移动物体；在所述目标物体为移动物体的情况下，生成所述目标物体的体素，使得所述目标物体中的每个体素的深度信息的取值不在所述预设范围内。
15.如权利要求10-13中任一项所述的装置，其特征在于，所述生成模块具体用于根据所述图像数据，生成所述当前视角的深度图；根据所述深度图，对所述目标物体进行体素化，得到所述目标物体的体素。
16.如权利要求10-13中任一项所述的装置，其特征在于，所述第一体素包括颜色信息以及所述颜色信息的权值，所述生成模块具体用于如果所述目标存储空间包含所述第一体素的存储空间，根据所述第一体素的颜色信息的权值，将所述第一体素的颜色信息与所述第一体素的存储空间中的体素的颜色信息进行加权求和。
17.如权利要求10-13中任一项所述的装置，其特征在于，所述第一体素还包括所述深度信息的权值，所述生成模块具体用于如果所述目标存储空间包含所述第一体素的存储空间，根据所述第一体素的深度信息的权值，将所述第一体素的深度信息与所述第一体素的存储空间中的体素的深度信息进行加权求和。
18.如权利要求10-13中任一项所述的装置，其特征在于，所述第一体素的深度信息的取值为截断带符号距离函数值，所述截断带符号距离函数值用于指示第一体素与所述目标物体表面之间的距离。
CN201780013520.8A 2017-02-17 2017-02-17 用于三维点云重建的方法和装置 Expired - Fee Related CN108701374B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/073874 WO2018148924A1 (zh) 2017-02-17 2017-02-17 用于三维点云重建的方法和装置

Publications (2)

Publication Number Publication Date
CN108701374A CN108701374A (zh) 2018-10-23
CN108701374B true CN108701374B (zh) 2020-03-06

Family

ID=63170110

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780013520.8A Expired - Fee Related CN108701374B (zh) 2017-02-17 2017-02-17 用于三维点云重建的方法和装置

Country Status (5)

Country Link
US (1) US20190370989A1 (zh)
EP (1) EP3570253B1 (zh)
JP (1) JP6919864B2 (zh)
CN (1) CN108701374B (zh)
WO (1) WO2018148924A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765498B (zh) * 2018-05-30 2019-08-23 百度在线网络技术（北京）有限公司 单目视觉跟踪方法、装置及存储介质
CN109461207A (zh) * 2018-11-05 2019-03-12 胡翰 一种点云数据建筑物单体化方法及装置
CN110064200B (zh) * 2019-04-25 2022-02-22 腾讯科技（深圳）有限公司 基于虚拟环境的物体构建方法、装置及可读存储介质
CN112017228A (zh) * 2019-05-31 2020-12-01 华为技术有限公司 一种对物体三维重建的方法及相关设备
CN111179394A (zh) * 2019-11-25 2020-05-19 苏州智加科技有限公司 点云场景渲染方法、装置和设备
CN113496138A (zh) * 2020-03-18 2021-10-12 广州极飞科技股份有限公司 稠密点云数据的生成方法、装置、计算机设备及存储介质
CN112703368B (zh) * 2020-04-16 2022-08-09 华为技术有限公司 车辆定位的方法和装置、定位图层生成的方法和装置
CN112465977B (zh) * 2020-12-14 2022-05-10 埃洛克航空科技（北京）有限公司 基于稠密点云修补三维模型水面漏洞的方法
CN113240720B (zh) * 2021-05-25 2022-05-17 中德（珠海）人工智能研究院有限公司 一种三维表面重建方法、装置、服务器以及可读存储介质
CN113362467B (zh) * 2021-06-08 2023-04-07 武汉理工大学 基于点云预处理和ShuffleNet的移动端三维位姿估计方法
US11830140B2 (en) * 2021-09-29 2023-11-28 Verizon Patent And Licensing Inc. Methods and systems for 3D modeling of an object by merging voxelized representations of the object
CN114677315B (zh) 2022-04-11 2022-11-29 探维科技(北京)有限公司 基于图像与激光点云的图像融合方法、装置、设备和介质
CN114863062B (zh) * 2022-06-07 2023-09-15 南京航空航天大学深圳研究院 基于点、体素特征表示的工业场景3d点云模型构建方法
CN115239548A (zh) * 2022-07-11 2022-10-25 小米汽车科技有限公司 目标检测方法、装置、电子设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622776A (zh) * 2011-01-31 2012-08-01 微软公司 三维环境重构
CN103942832A (zh) * 2014-04-11 2014-07-23 浙江大学 一种基于在线结构分析的室内场景实时重建方法
CN105865462A (zh) * 2015-01-19 2016-08-17 北京雷动云合智能技术有限公司 带有深度增强视觉传感器的基于事件的三维slam方法
CN106228513A (zh) * 2016-07-18 2016-12-14 黄河科技学院 一种计算机图像处理系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04126130A (ja) * 1990-09-18 1992-04-27 Toshiba Corp 血流画像処理方式
US7020318B2 (en) * 2001-05-22 2006-03-28 Advanced Mri Technologies, Llc Translucent intensity projection imaging
JP6322126B2 (ja) * 2014-12-02 2018-05-09 株式会社日立製作所 変化検出装置、変化検出方法、および、変化検出プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622776A (zh) * 2011-01-31 2012-08-01 微软公司 三维环境重构
CN103942832A (zh) * 2014-04-11 2014-07-23 浙江大学 一种基于在线结构分析的室内场景实时重建方法
CN105865462A (zh) * 2015-01-19 2016-08-17 北京雷动云合智能技术有限公司 带有深度增强视觉传感器的基于事件的三维slam方法
CN106228513A (zh) * 2016-07-18 2016-12-14 黄河科技学院 一种计算机图像处理系统

Also Published As

Publication number Publication date
JP6919864B2 (ja) 2021-08-18
US20190370989A1 (en) 2019-12-05
WO2018148924A1 (zh) 2018-08-23
EP3570253A4 (en) 2020-02-26
JP2020507853A (ja) 2020-03-12
CN108701374A (zh) 2018-10-23
EP3570253B1 (en) 2021-03-17
EP3570253A1 (en) 2019-11-20

Similar Documents

Publication Publication Date Title
CN108701374B (zh) 用于三维点云重建的方法和装置
CN108537876B (zh) 三维重建方法、装置、设备及存储介质
US11055921B2 (en) System and method for dense, large scale scene reconstruction
Wendel et al. Dense reconstruction on-the-fly
CN108898676B (zh) 一种虚实物体之间碰撞及遮挡检测方法及系统
CN110135455A (zh) 影像匹配方法、装置及计算机可读存储介质
US20180315232A1 (en) Real-time incremental 3d reconstruction of sensor data
CN112384891B (zh) 用于点云着色的方法和系统
US20180315222A1 (en) Real-time image undistortion for incremental 3d reconstruction
US20150243080A1 (en) Visual localisation
Hitomi et al. 3D scanning using RGBD imaging devices: A survey
EP3326156B1 (en) Consistent tessellation via topology-aware surface tracking
KR101851303B1 (ko) 3차원 공간 재구성 장치 및 방법
Mordohai et al. Real-time video-based reconstruction of urban environments
Simões et al. Challenges in 3d reconstruction from images for difficult large-scale objects: A study on the modeling of electrical substations
CN113506373A (zh) 实时的行李三维建模方法、电子设备和存储介质
CN114092651A (zh) 用于应急管理的智能建模系统及方法
Rothermel et al. Fast and robust generation of semantic urban terrain models from UAV video streams
CN116894876A (zh) 基于实时图像的6-dof的定位方法
CN109785421B (zh) 一种基于空地影像组合的纹理映射方法及系统
CN116843867A (zh) 增强现实虚实融合方法、电子设备和存储介质
CN113298871B (zh) 地图生成方法、定位方法及其系统、计算机可读存储介质
Skuratovskyi et al. Outdoor mapping framework: from images to 3d model
CN110413716B (zh) 数据存储和数据查询方法、装置及电子设备
Song et al. Real‐Time Terrain Storage Generation from Multiple Sensors towards Mobile Robot Operation Interface

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200306

CF01 Termination of patent right due to non-payment of annual fee