CN108898630A - 一种三维重建方法、装置、设备和存储介质 - Google Patents

一种三维重建方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN108898630A
CN108898630A CN201810679293.9A CN201810679293A CN108898630A CN 108898630 A CN108898630 A CN 108898630A CN 201810679293 A CN201810679293 A CN 201810679293A CN 108898630 A CN108898630 A CN 108898630A
Authority
CN
China
Prior art keywords
depth image
key frame
image key
dimensional
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810679293.9A
Other languages
English (en)
Other versions
CN108898630B (zh
Inventor
方璐
韩磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen International Graduate School of Tsinghua University
Original Assignee
Tsinghua Berkeley Shenzhen College Preparatory Office
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua Berkeley Shenzhen College Preparatory Office filed Critical Tsinghua Berkeley Shenzhen College Preparatory Office
Priority to CN201810679293.9A priority Critical patent/CN108898630B/zh
Publication of CN108898630A publication Critical patent/CN108898630A/zh
Priority to PCT/CN2019/085977 priority patent/WO2020001168A1/zh
Application granted granted Critical
Publication of CN108898630B publication Critical patent/CN108898630B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明实施例公开了一种三维重建方法、装置、设备和存储介质，其中，三维重建方法包括：利用预设快速全局优化算法，确定当前深度图像关键帧相对预设深度图像关键帧的相对相机位姿；利用稀疏采样方法确定当前深度图像关键帧对应的至少一个有效空间块；基于相对相机位姿，将至少一个有效空间块与前一帧深度图像关键帧相对应的第一三维网格模型进行融合，得到与当前深度图像关键帧相对应的第二三维网格模型；利用加速移动立方体算法生成第二三维网格模型的等值面，得到目标场景的三维重建模型。本发明实施例大大降低了实时三维重建过程的复杂度，使得目标场景的实时三维重建能够在CPU上实现，提高了实时三维重建设备的便携性。

Description

一种三维重建方法、装置、设备和存储介质
技术领域
本发明实施例涉及计算机图形学和计算机视觉技术领域，尤其涉及一种三维重建方法、装置、设备和存储介质。
背景技术
实时三维重建是计算机视觉和机器人领域的热点话题，其是通过特定的装置及算法对现实世界中的三维物体的数学模型进行实时重新构建，其在人机交互，路径规划，机器感知等方面具有重大的实际应用价值。
现有的实时三维重建算法一般都基于深度相机(RGB-D相机)，并且为了保证重建结果的质量、全局一致性以及实时性，实时三维重建方法的运算量通常都较大，需要利用高性能的GPU来实现三维模型的重建。然而GPU无法实现便携化，难以应用于移动机器人、便携化设备及可穿戴设备(如增强现实头显设备Microsoft HoloLens)等设备中。
发明内容
本发明提供一种三维重建方法、装置、设备和存储介质，大大降低了实时三维重建过程的复杂度，使得目标场景的实时三维重建能够在CPU上实现。
第一方面，本发明实施例提供了一种三维重建方法，该方法包括：
利用预设快速全局优化算法，确定当前深度图像关键帧相对预设深度图像关键帧的相对相机位姿；
利用稀疏采样方法确定所述当前深度图像关键帧对应的至少一个有效空间块，所述有效空间块包括预设数目的网格体素；
基于所述相对相机位姿，将所述至少一个有效空间块与前一帧深度图像关键帧相对应的第一三维网格模型进行融合，得到与当前深度图像关键帧相对应的第二三维网格模型；
利用加速移动立方体算法生成所述第二三维网格模型的等值面，得到目标场景的三维重建模型。
第二方面，本发明实施例还提供了一种三维重建装置，该装置包括：
相对相机位姿确定模块，用于利用预设快速全局优化算法，确定当前深度图像关键帧相对预设深度图像关键帧的相对相机位姿；
有效空间块确定模块，用于利用稀疏采样方法确定所述当前深度图像关键帧对应的至少一个有效空间块，所述有效空间块包括预设数目的网格体素；
第二三维网格模型确定模块，用于基于所述相对相机位姿，将所述至少一个有效空间块与前一帧深度图像关键帧相对应的第一三维网格模型进行融合，得到与当前深度图像关键帧相对应的第二三维网格模型；
三维重建模型确定模块，用于利用加速移动立方体算法生成所述第二三维网格模型的等值面，得到目标场景的三维重建模型。
第三方面，本发明实施例还提供了一种三维重建设备，该设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
至少一个深度相机，用于获取目标场景的深度图像和彩色图像；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上所述的三维重建方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如上所述的三维重建方法。
本发明实施例提供的三维重建方法、装置、设备和存储介质，通过利用预设快速全局优化算法，确定当前深度图像关键帧相对预设深度图像关键帧的相对相机位姿，利用稀疏采样方法确定当前深度图像关键帧对应的至少一个有效空间块，有效空间块包括预设数目的网格体素，基于相对相机位姿，将至少一个有效空间块与前一帧深度图像关键帧相对应的第一三维网格模型进行融合，得到与当前深度图像关键帧相对应的第二三维网格模型，利用加速移动立方体算法生成第二三维网格模型的等值面，得到目标场景的三维重建模型，克服了现有技术中实时三维重建方法依赖高性能的GPU，进而导致无法实现便携化的问题，大大降低了实时三维重建过程的复杂度，使得目标场景的实时三维重建能够在CPU上实现，提高了实时三维重建设备的便携性。
附图说明
下面将通过参照附图详细描述本发明的示例性实施例，使本领域的普通技术人员更清楚本发明的上述及其他特征和优点，附图中：
图1是本发明实施例一中的一种三维重建方法的流程图；
图2是本发明实施例二中的一种三维重建方法的流程图；
图3是本发明实施例三中的一种三维重建方法的流程图；
图4是本发明实施例五中的一种三维重建装置的结构示意图；
图5是本发明实施例六中的一种三维重建设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种三维重建方法的流程图，本实施例可适用于基于深度相机对目标场景进行实时三维重建的情况，该方法可以由一种三维重建装置来执行，其中该装置可由软件和/或硬件实现，并可集成于智能终端(手机、平板电脑)或，三维视觉交互设备(VR眼镜、可戴式头盔)中。如图1所示，该方法具体包括：
S110、利用预设快速全局优化算法，确定当前深度图像关键帧相对预设深度图像关键帧的相对相机位姿。
优选的，可以基于深度相机获取与当前目标场景相对应的当前深度图像关键帧。其中，目标场景优选可以是室内空间场景。深度相机(RGB-D相机)可以同时获取目标场景的彩色图像以及与彩色图像相对应的深度图像，深度相机优选可以是基于散斑成像的深度相机，也可以是基于立体视觉的双目相机等。其中，深度图像为三维灰度图像，深度图像的水平垂直坐标对应每个像素点的位置，每个像素点的灰度值表征该像素点距离摄像头的远近，即深度图像中的每个像素点都可以表示空间中的一个具有三维坐标的点。将深度图像中的各个像素点映射到三维空间中，可以形成与目标场景相对应的一组三维点云，其中，三维点云可以用于构建目标场景的三维重建模型。彩色图像为普通RGB彩色图像，其记录了目标物体的颜色信息。深度图像关键帧为当目标物体在运动或变化时，记录目标场景关键动作的那一帧深度图像，优选可以将每间隔预设时间获取到的深度图像作为深度图像关键帧，也可以将相机每移动预设距离获取到的深度图像作为深度图像关键帧。
本实施例中，深度相机优选可以设置于可移动电子设备上，以便方便快捷的获取整个目标场景中的各深度图像关键帧。其中，可移动电子设备可以是包括手机、平板电脑等的智能终端，或，包括VR眼镜、可戴式头盔等的三维视觉交互设备。由于深度相机在获取各深度图像关键帧时处于移动状态，其位姿(即相机的位置和姿态，其中，位置代表深度相机的平移距离，姿态代表深度相机的旋转角度)一直处于变化当中。因此，在利用各深度图像关键帧进行全局一致的目标场景的三维重建的过程中，优先可以通过获取深度相机在各个位置时的各相机位姿，利用各相机位姿之间的相对关系将各深度图像关键帧置于统一的全局视角下进行处理。
具体的，可以利用预设快速全局优化算法，确定当前深度图像关键帧相对预设深度图像关键帧的相对相机位姿。其中，预设快速全局优化算法可以在进行相机姿态估计的过程中，将传统全局点云配准(Global point cloud registration)算法在欧式变换空间中的非线性模型分解为可由紧凑型二阶统计量表示的线性成分以及仅需要表示相机姿态的六个自由度的非线性成分，仅利用非线性成分中的非线性项进行迭代计算，求解相对相机位姿。该算法与传统的全局点云配准相比，大大降低了确定相对相机位姿的算法复杂度。一般的，在将各深度图像关键帧统一到全局视角下时，可以将预设的某一深度图像关键帧对应的视角作为全局视角的基准。其中，预设的某一深度图像关键帧优选可以是第一帧深度图像关键帧。通过确定当前深度图像关键帧相对预设深度图像关键帧的相对相机位姿，可以将当前深度图像关键帧的视角与预设深度图像关键的视角进行统一。
S120、利用稀疏采样方法确定当前深度图像关键帧对应的至少一个有效空间块，其中，有效空间块包括预设数目的网格体素。
在利用深度图像关键帧进行目标场景的三维重建时，通常会将深度图像关键帧对应的所有深度点云均转换成多个网格状的网格体素，并以预设数目(如8×8×8)的网格体素为划分单位，将多个网格体素划分为多个空间块，最终将划分后的多个空间块作为三维重建的重建数据。由于深度图像关键帧中包含目标场景的特征区域(如目标场景中的有形实体，可以是人物、物体等，其在三维重建过程中具有重要作用)与非特征区域(如目标场景中不存在有形实体的无形空间等，其在三维重建过程中属于无效特征)，因此，上述多个空间块中既包括有效空间块(对应特征区域)又包括无效空间块(对应非特征区域)。
由于上述多个空间块中既包括有效空间块又包括无效空间块，因此，在进行三维重建的过程中，势必会大大增加三维重建的计算复杂度，同时也延长了三维重建的时间，很难实现实时三维重建。
基于此，优选的，可以利用稀疏采样方法，从当前深度图像关键帧中的多个空间块中提取出至少一个有效空间块，仅利用有效空间块作为三维重建的重建数据，从而大大降低了三维重建的计算复杂度，同时减少了三维重建的时间。其中，稀疏采样方法可以为利用预设的空间块采样条件(即稀疏采样条件)，来降低空间块的采样个数，以筛选出有效空间块，其中，稀疏采样条件只要满足能够筛选出有效空间块即可。
S130、基于相对相机位姿，将至少一个有效空间块与前一帧深度图像关键帧相对应的第一三维网格模型进行融合，得到与当前深度图像关键帧相对应的第二三维网格模型。
其中，前一帧深度图像关键帧相对应的第一三维网格模型是由当前深度图像关键帧之前的各深度图像关键帧，基于各自对应的相对相机位姿，利用有效空间块进行融合获得的，其与第二三维网格模型的获取方式完全相同。
优选的，基于相对相机位姿可以确定相对旋转矩阵和相对平移矩阵，利用相对旋转矩阵和相对平移矩阵确定的转移关系，将至少一个有效空间块融合进入与前一帧深度图像关键帧相对应的第一三维网格模型中，以更新第一三维网格模型，得到与当前深度图像关键帧相对应的第二三维网格模型。其中，第二网格模型中包括由当前深度图像关键帧确定的目标场景中的有效空间块以及由当前深度图像关键帧之前的各深度图像关键帧确定的目标场景中的有效空间块(在此需要注意的是，由当前深度图像关键帧确定的目标场景中的有效空间块可以与由当前深度图像关键帧之前的各深度图像关键帧确定的目标场景中的有效空间块之间存在重叠)。
在此需要说明的是，为了降低三维网格模型重建时引入的噪声，在利用各深度图像关键帧进行三维网格模型重建的过程中，还可以利用深度图像关键帧与深度图像关键帧之间的深度图像普通帧(可以是任意数目的深度图像普通帧)进行三维网格模型的重建。其中，利用深度图像普通帧进行三维网格模型的重建过程与利用深度图像关键帧进行三维网格模型的重建过程相同。
S140、利用加速移动立方体算法生成第二三维网格模型的等值面，得到目标场景的三维重建模型。
上述确定目标场景的三维网格模型后，并不能将目标场景中各实体形态表现出来，因此，需要在各网格的基础上构建目标场景的各等值面，以反映目标场景中各实体形态。
现有确定三维网格模型的等值面的方法通常是利用移动立方体(MarchingCubes，MC)算法，该算法通过逐个处理三维网格模型中各有效空间块中的各立方体，确定与各立方体相交的三角面片，并利用三角面片逼近等值面，之后通过确定三角面片各顶点法向量来确定等值面与立方体的交点，上述确定等值面与立方体交点的方法计算速度较慢，为了加速确定等值面的过程，可以利用加速移动立方体算法对移动立方体算法进行加速处理，以快速生成第二三维网格模型的等值面，得到目标场景的三维重建模型。
本实施例提供的三维重建方法，通过利用预设快速全局优化算法，确定当前深度图像关键帧相对预设深度图像关键帧的相对相机位姿，利用稀疏采样方法确定当前深度图像关键帧对应的至少一个有效空间块，有效空间块包括预设数目的网格体素，基于相对相机位姿，将至少一个有效空间块与前一帧深度图像关键帧相对应的第一三维网格模型进行融合，得到与当前深度图像关键帧相对应的第二三维网格模型，利用加速移动立方体算法生成第二三维网格模型的等值面，得到目标场景的三维重建模型，克服了现有技术中实时三维重建方法依赖高性能的GPU，进而导致无法实现便携化的问题，大大降低了实时三维重建过程的复杂度，使得目标场景的实时三维重建能够在CPU上实现，提高了实时三维重建设备的便携性。
在上述技术方案的基础上，进一步的，利用预设快速全局优化算法，确定当前深度图像关键帧相对预设深度图像关键帧的相机位姿，包括：
对当前深度图像关键帧进行特征提取，得到当前深度图像关键帧的至少十个特征点。
其中，对当前深度图像关键帧进行特征提取是为了找到该深度图像关键帧中一些具有标志性特征的像素点(即特征点)，例如，可以是一帧图像中的角点、纹理、边缘处的像素点。对各深度图像关键帧进行特征提取可以采用快速特征点提取和描述(Oriented FASTand Rotated BRIEF，ORB)算法，找到该深度图像关键帧中的至少十个特征点。
将至少一个特征点与预先获取的预设深度图像关键帧的至少五个特征点进行匹配运算，得到当前深度图像关键帧与预设深度图像关键帧间的特征点对应关系。
可选的，可以采用快速搜索方式(稀疏匹配算法)比较相邻两深度图像关键帧间的各特征点之间的汉明距离，得到相邻两深度图像关键帧间的特征点对应关系。
具体的，以相邻两深度图像关键帧间的一个特征点为例，假设两深度图像关键帧中表示同一个纹理特征的特征点X1，X2分别位于两深度图像关键帧的不同位置，以H(X1，X2)表示两个特征点X1，X2之间的汉明距离，对两特征点进行异或运算，并统计结果为1的个数，作为相邻两深度图像关键帧间的一个特征点的汉明距离(即特征点对应关系)。
移除特征点对应关系中的异常对应关系，通过包含剩余特征点二阶统计量的线性成分以及包含相对相机位姿的非线性成分计算J(ξ)TJ(ξ)中的非线性项对δ＝-(J(ξ)TJ(ξ))-1J(ξ)Tr(ξ)进行多次迭代计算，求解重投影误差小于预设误差阈值时的相对相机位姿；
其中，r(ξ)表示包含所有重投影误差的向量，J(ξ)为r(ξ)的雅克比矩阵，ξ表示相对相机位姿的李代数，δ表示每次迭代时r(ξ)的增量值；Ri表示采集第i帧图像时相机的旋转矩阵；Rj表示采集第j帧图像时相机的旋转矩阵；表示第i帧图像上的第k个特征点；表示第j帧图像上的第k个特征点；Ci,j表示第i帧图像与第j帧图像的特征点对应关系的集合；||Ci,j||-1表示第i帧图像与第j帧图像的特征点对应关系的数量；[ ]×表示向量积；||Ci,j||表示取Ci,j的范数。
进一步的，非线性项的表达式为：
其中，表示线性成分；ril T和rjl表示非线性成分，ril T是旋转矩阵Ri中的第l行，rjl是旋转矩阵Rj中的第l行的转置，l＝0,1,2(本实施例基于编程思想从0开始计数，即表示通常所说的矩阵第1行，依此类推)。
具体的，上述得到的相邻两深度图像关键帧间的特征点对应关系中有一部分是异常对应关系，例如，相邻的两深度图像关键帧中，当前深度图像关键帧中一定存在前一帧深度图像关键帧中所没有的特征点，将它们进行匹配运算，就会出现异常的对应关系。可选的，可以使用随机抽样一致(Random Sample Consensus，RANSAC)算法对异常对应关系进行移除处理，得到的剩余特征点对应关系可以表示为其中，表示第i帧图像与第j帧图像间第k个特征点之间的对应关系；j＝i-1。
在相对相机位姿确定时，必然会产生一定的误差，因此确定相对相机位姿就是求解以下式为代价函数的两深度图像关键帧之间的非线性最小二乘问题：
其中，E表示欧氏空间中第i帧深度图像关键帧相比于第j帧深度图像关键帧(本实施例中指上一帧深度图像关键帧)的重投影误差；Ti表示相机采集第i帧深度图像关键帧时的位姿(根据前述对相机位姿的解释可知，实际是指采集第i帧深度图像关键帧相对于上一帧深度图像关键帧的位姿变化)，Tj表示相机采集第j帧深度图像关键帧时的位姿；N表示相机采集到的总帧数；表示第i帧深度图像关键帧上的第k个特征点的齐次坐标，表示第j帧深度图像关键帧上的第k个特征点的齐次坐标。需要说明的是，当i和k取值相同时，和表示同一个点，区别在于是本地坐标，是齐次坐标。
具体的，在进行相对相机位姿确定时，为了加快运算速率，并不是对上式的代价函数进行直接计算，而是通过包含剩余特征点二阶统计量对应关系的线性成分以及包含相对相机位姿的非线性成分计算J(ξ)TJ(ξ)中的非线性项对δ＝-(J(ξ)TJ(ξ))-1J(ξ)Tr(ξ)进行多次迭代计算，求解重投影误差小于预设误差阈值时的相对相机位姿；由非线性项的表达式可知，在进行非线性项计算时，将两深度图像关键帧间固定的线性部分看成一个整体W来进行计算，不需要按照特征点对应关系的数量进行计算，降低了相对相机位姿确定算法的复杂度，增强了相对相机位姿计算的实时性。
下面对式(1)的推导过程进行说明，并结合推导过程分析降低算法复杂度的原理。
欧氏空间中相机采集第i帧深度图像关键帧时的相机位姿Ti＝[Ri/ti]，实际上Ti是指相机采集第i帧深度图像关键帧时相对于采集第j帧深度图像关键帧(本实施例中指上一帧深度图像关键帧)时的位姿变换矩阵，包括旋转矩阵Ri和平移矩阵ti。将欧氏空间中的刚性变换Ti用SE3空间上的李代数ξi来表示，即ξi也表示相机采集第i帧图像时的相机位姿，T(ξi)将李代数ξi映射为欧氏空间中的Ti。
对于每个特征点对应关系其重投影误差为：
式(1)中欧氏空间的重投影误差可表示为E(ξ)＝||r(ξ)||，r(ξ)表示包含所有重投影误差的向量，即：
可以表示为(为表示简便，以下省去ξi)：
其中，表示旋转矩阵Ri中的第l行；til表示平移向量ti中的第l个元素，l＝0,1,2。
其中，表示第i帧深度图像关键帧与第j帧深度图像关键帧间特征点对应关系相应的雅克比矩阵；m表示第m个特征点对应关系。
是一个6×6方阵，表示矩阵的转置，表达式如下：
其中，I3×3表示3×3的单位矩阵。根据式(6)和式(7)，中四个非零的6×6子矩阵为：下面以为例进行说明，其他三个非零子矩阵也类似计算，不再赘述。
其中，结合式(5)可以得到：
将表示为W，结合式(5)，则可将式(10)中的非线性项简化为式(1)，该非线性项中的结构项被线性为W。虽然对结构项而言，是非线性的，但经过上述分析，中的所有非零元素与Ci,j中结构项的二阶统计量成线性关系，结构项的二阶统计量为和也就是说，稀疏矩阵对Ci,j中结构项的二阶统计量是元素线性的。
需要说明的是，每个对应关系的雅克比矩阵均由几何项ξi，ξj和结构项决定。对于同一帧对Ci,j中的所有对应关系，其对应的雅可比矩阵共享相同的几何项，但具有不同的结构项。对于一个帧对Ci,j，计算时，现有算法依赖于Ci,j中特征点对应关系的数量，而本实施例可以固定的复杂度高效计算只需计算结构项的二阶统计量W，而不需要每个对应关系都将相关的结构项去参与计算，即中四个非零子矩阵可以用复杂度O(1)代替复杂度O(||Ci,j||)来计算。
因此，在δ＝-(J(ξ)TJ(ξ))-1J(ξ)Tr(ξ)的非线性高斯牛顿最优化的迭代步骤中需要的稀疏矩阵JTJ和JTr可以复杂度O(M)高效计算，代替原来的计算复杂度O(Ncoor)，Ncoor表示所有帧对的全部特征点对应关系的总数，M表示帧对的个数。一般的，O(Ncoor)在稀疏匹配中大约为300，而在稠密匹配中大约为10000，远大于帧对个数M。
经过上述推导，在相机位姿计算过程中，对于每个帧对，计算W，然后计算式(1)、(10、(9)、(8)和(6)，求取进而可以通过迭代计算，求取r(ξ)最小时的ξ。
进一步的，在利用预设快速全局优化算法，确定当前深度图像关键帧相对预设深度图像关键帧的相对相机位姿之前，还包括：
获取目标场景的当前帧深度图像；
将当前帧深度图像与上一帧深度图像关键帧进行匹配运算，得到两帧图像之间的转换关系矩阵；
若转换关系矩阵大于或等于预设转换阈值，则确定当前帧深度图像为当前深度图像关键帧。
具体的，与上述确定相邻两深度图像关键帧间特征点对应关系的方法类似，可以对当前帧深度图像与上一帧深度图像关键帧进行匹配运算，得到两帧深度图像之间的特征点对应关系矩阵，当该矩阵大于或等于预设转换阈值，则确定当前帧深度图像为当前深度图像关键帧。其中，两帧深度图像之间的转换关系矩阵可以是由两帧深度图像之间的各特征点对应关系组成的矩阵。
需要说明的是，可以将采集目标场景得到的第一帧深度图像设置为第一个深度图像关键帧，预设转换阈值是根据深度相机采集深度图像时的运动情况提前设定的，例如，若相机拍摄相邻两帧深度图像时位姿变化较大，则预设转换阈值就设置大一些。
进一步的，在利用加速移动立方体算法生成第二三维网格模型的等值面，得到目标场景的三维重建模型之后，还包括：
利用与当前深度图像关键帧相对应的当前彩色图像关键帧中的颜色信息更新第二三维重建模型的颜色信息。
当前深度图像关键帧能够与当前彩色图像关键帧完全对齐，并且像素点能够一一对应。利用当前深度图像关键帧的映射方式将当前彩色图像关键帧映射到三维空间，得到包含颜色信息的三维点云。将该三维点云表示为包含颜色信息的多个网格体素，进而确定相应的包含颜色信息的有效空间块，并利用相对相机位姿将包含颜色信息的有效空间块融合进入第二三维重建模型中，以更新第二三维重建模型的颜色信息。
其中，为了有效降低融合过程中的复杂度，在更新三维重建模型颜色信息的过程中，各网格体素中存储颜色信息的加和与权重，而不是存储颜色信息的平均值与权重。如果各网格体素中直接存储颜色信息的平均值信息rgb和权重weight，则在新一帧深度图像关键帧到来时进行加权，其计算公式为(rgb×weight+newRGB×newWeight)/(weight+newWeight)，相应的复杂度为六次乘法、三次除法和四次加法(由于RGB有三个颜色通道，因此需要更新三次)，如果直接存储颜色信息的加和sum和权重weight，其计算公式为(sum+newSum)和(weight+newWeight)，相应的复杂度仅为四次加法。从上述复杂度可知，在更新三维重建模型颜色信息时，在各网格体素中存储颜色信息的加和与权重，可以在不影响重建效果的同时去除乘法和除法的操作，大大降低计算的复杂度。
实施例二
图2是本发明实施例二提供的一种三维重建方法的流程图。本实施例在上述各实施例的基础上进一步优化。如图2所示，该方法具体包括：
S210、利用预设快速全局优化算法，确定当前深度图像关键帧相对预设深度图像关键帧的相对相机位姿。
S220、将当前深度图像关键帧按照预设网格体素单位划分为多个网格体素，并将多个网格体素划分为至少一个空间块。
其中，预设网格体素单位优选可以是依据实时三维重建时所要求的三维模型的精度。例如，要实现基于CPU的30HZ频率、5mm网格体素精度的三维模型的三维重建，则可以以5mm作为预设网格体素单位，将当前深度图像关键帧对应的所有深度点云全部转换为多个网状的网格体素。由于每个深度图像关键帧对应众多网格体素，在三维重建过程中，遍历上述各网格体素，会在延长三维重建过程时长的同时，增加CPU的运行负担。基于此，可以以预设数目的网格体素为划分单位，将上述多个网格体素划分为多个空间块，将当前深度图像关键帧转换成由多个空间块表示的重建数据，此时，每个空间块的大小并不是一个网格体素的大小，而是预设数目的网格体素的大小。示例性的，每个空间块中可以包括8×8×8个网格体素。
本实施例中，为了便于在内存中寻找各空间块，优选可以为各空间块构建一个索引，且每个空间块的索引可以由空间块的中心在全局一致的三维空间中的位置决定，例如可以利用空间块的中心在全局一致的三维空间中的x，y，z坐标来表示，其中，全局一致的三维空间可以由预设深度图像关键帧确定。
S230、针对每个空间块，根据相对相机位姿与当前深度图像关键帧中的深度值，分别计算各顶点对应的网格体素到目标场景表面的距离。
本实施例中，可以利用稀疏采样条件，在至少一个空间块中筛选出当前深度图像关键帧对应的至少一个有效空间块，有效空间块位于由目标场景表面与距离目标场景表面预设距离的面所构成的空间内部。
优选的，稀疏采样条件可以基于各空间块中的各顶点对应的网格体素到目标场景表面的距离(以下简称SDF值)。其中，SDF值可以为所有距离中的最小距离，即各顶点对应的目标体素到距离该目标体素最近的目标场景表面的距离。该距离优选可以根据相对相机位姿和当前深度图像关键帧中的深度值确定。
S240、选取各顶点对应的网格体素到目标场景表面的距离均小于预设距离的空间块，并将选取出的各空间块作为当前深度图像关键帧对应的有效空间块。
由于各空间块中所包含的任意一个网格体素都满足其SDF值大于块边界上的网格体素对应的SDF值减去一个固定值。因此，若空间块边界上的网格体素对应的SDF值超过某个距离阈值时，则认为该空间块中所包含的任意一个网格体素均不在目标场景中的物体表面附近，则可以将该空间块视为无效空间块。若空间块边界上的网格体素对应的SDF值均小于某个距离阈值时，则认为该空间块中所包含的任意一个网格体素均在目标场景中的物体表面附近，则可以将该空间块视为有效空间块。基于上述筛选条件，可以在各空间块中选取出各顶点对应的网格体素到目标场景表面的距离均小于预设距离的空间块，并将选取出的各空间块作为当前深度图像关键帧对应的有效空间块。
S250、确定并存储有效空间块中各网格体素对应的各权重值以及各网格体素到目标场景表面的各距离值。
其中，各权重值为各网格体素在当前深度图像关键帧以及历史深度图像关键帧中出现的次数总和。由于当前深度图像关键帧与历史深度图像关键帧可能存在相互重叠的特征，因此，在将当前深度图像关键帧和历史深度图像关键帧转换成网格体素表示时，同样可能存在代表相同特征的网格体素。此时可以认为代表相同特征的网格体素为同一网格体素，其在深度图像关键帧获取的过程中，出现的次数总和即为该网格体素的权重值。
上述利用空间块各顶点对应的网格体素到目标场景表面的距离确定有效空间块后，优选可以获取有效空间块中各网格体素对应的各权重值以及各网格体素到目标场景表面的各距离值，以便后续进行三维网格模型的融合及三维重建模型的确定。
S260、基于相对相机位姿，将至少一个有效空间块与前一帧深度图像关键帧相对应的第一三维网格模型进行融合，得到与当前深度图像关键帧相对应的第二三维网格模型。
S270、针对第二三维网格模型中的每个有效空间块，将有效空间块划分为至少一个由相邻层上的各四个网格体素组成的立方体。
本实施例中，可以基于移动立方体算法来获取三维重建模型。具体的，针对每个有效空间块，可以将有效空间块划分为包括2×2×2个网格体素的立方体，利用各立方体确定三维重建模型的各等值面。示例性的，如果每个有效空间块中包括8×8×8个网格体素，则可以将每个有效空间块划分为4×4×4个单独的立方体。
S280、基于各网格体素对应的距离值的正负，对各立方体进行8位二值编码，利用8位二值编码确定与各立方体相对应的各等值面。
对于每个立方体，其中都包含有8个SDF值，且每个SDF值可能是正值(在目标空间中物体的外表面)也可能是负值(在目标空间中物体的内表面)，因此，如果利用SDF值对每个立方体进行8位二值编码(SDF值为正值，则编码为1，SDF值为负值，则编码为-1)，其编码存在256中可能，即每个立方体可以对应256种不同的等值面的形式。基于此，可以预先将256种立方体编码以及其对应的等值面的形式的情况模拟出来并存储，以便在确定立方体编码后，直接调用相对应的等值面。
在三维网格模型中，每个立方体中的SDF值是确定的，即其对应的编码是确定的，利用该编码可以确定其对应的等值面的形式以及等值面的三个顶点位于相应立方体的边上。
S290、针对每个等值面的三个顶点所在的三个边，分别对相应边上的两个立方体顶点进行双线性插值，确定等值面的相应顶点在相应边上的具体位置，得到目标场景的三维重建模型。
上述仅确定了等值面的形式以及等值面的三个顶点位于相应立方体的边上，为了快速获取等值面的三个顶点在相应立方体边上的具体位置，优选可以利用立方体相应边上的两个立方体顶点进行双线性插值，以确定值面的相应顶点在相应边上的具体位置，从而得到目标场景的三维重建模型。
本实施例提供的三维重建方法，在上述各实施例的基础上，通过对稀疏采样算法以及加速移动立方体算法进行优化，克服了现有技术中实时三维重建方法依赖高性能的GPU，进而导致无法实现便携化的问题，大大降低了实时三维重建过程的复杂度，使得目标场景的实时三维重建能够在CPU上实现，提高了实时三维重建设备的便携性。
实施例三
图3是本发明实施例三提供的一种三维重建方法的流程图。本实施例在上述各实施例的基础上进一步优化。如图3所示，该方法具体包括：
S310、利用预设快速全局优化算法，确定当前深度图像关键帧相对预设深度图像关键帧的相对相机位姿。
S320、将当前深度图像关键帧按照预设网格体素单位划分为多个网格体素，并将多个网格体素划分为至少一个空间块。
S330、针对每个空间块，根据相对相机位姿与当前深度图像关键帧中的深度值，分别计算各顶点对应的网格体素到目标场景表面的距离。
S340、选取各顶点对应的网格体素到目标场景表面的距离均小于预设距离的空间块，并将选取出的各空间块作为当前深度图像关键帧对应的有效空间块。
S350、确定并存储有效空间块中各网格体素对应的各权重值以及各网格体素到目标场景表面的各距离值。
S360、基于相对相机位姿，将至少一个有效空间块与前一帧深度图像关键帧相对应的第一三维网格模型进行融合，得到与当前深度图像关键帧相对应的第二三维网格模型。
S370、利用历史深度图像关键帧，对当前深度图像关键帧进行回环检测，若回环成功，根据当前深度图像关键帧对已确定的相对相机位姿进行全局一致的优化更新。
其中，在利用预设快速全局优化算法，确定当前深度图像关键帧相对预设深度图像关键帧的相对相机位姿之后，可以利用历史深度图像关键帧，对当前深度图像关键帧进行回环检测，以进一步对相对相机位姿进行全局一致的优化更新。
其中，全局一致的优化更新是指在重建过程中，随着相机的运动，重建算法不断扩展目标场景的三维重建模型，而当深度相机运动到曾经到达的地方或与历史视角具有较大重叠时，扩展的三维重建模型和已生成的模型一致或一同优化更新为新的模型，而非产生交错、混叠等现象。回环检测则是依据深度相机当前观测判断该相机是否运动到曾经达到的地方或与历史视角具有较大重叠的地方，并以此优化减小累积误差。
为了提高优化速率，若当前深度图像关键帧与历史深度图像关键帧回环检测成功(即深度相机运动到了曾经达到的地方或与历史视角具有较大重叠的地方)，则通过当前深度图像关键帧与历史深度图像关键帧对已生成的模型进行配准并且进行全局一致的优化更新，减小三维重建模型的误差；若回环检测不成功，则等待下一关键帧的出现，对下一关键帧进行回环检测。具体的，将当前深度图像关键帧与历史深度图像关键帧进行回环检测可以是将当前深度图像关键帧与历史深度图像关键帧的特征点进行匹配运算，若匹配度高，则说明回环成功。
可选的，进行相对相机位姿的全局一致的优化更新，即依据当前深度图像关键帧和匹配度高的一个或多个历史深度图像关键帧之间的对应关系，求解以为代价函数的当前深度图像关键帧与所有匹配度高的历史深度图像关键帧间的最小化转换误差问题。其中，E(T1,T2,…,TN-1|Ti∈SE3,i∈[1,N-1])表示所有帧对(任意一个历史深度图像匹配关键帧与当前深度图像关键帧即为一个帧对)的转换误差；N为与当前深度图像关键帧匹配度高的历史深度图像关键帧的个数；Ei,j表示第i帧与第j帧之间的转换误差，转换误差即为重投影误差。
具体的，在进行相对相机位姿更新优化的过程中，需要保持非关键帧和其对应的关键帧的相对位姿不变，具体优化更新算法可以使用现有的BA算法。
S380、若存在深度图像关键帧对应的更新后的相对相机位姿与深度图像关键帧进行初始融合时的相对相机位姿之间的配准误差超出了预设配准阈值，则将深度图像关键帧的权重设为-1，并将初始融合时的相对相机位姿作为再次融合的条件，将深度图像关键帧融合到第二三维网格模型中，同时，根据更新后的相对相机位姿，将深度图像关键帧融合到第二三维网格模型中。
上述预设快速全局优化算法只能对简单的二范数目标函数进行优化，不足与支持更加鲁棒的优化。因此可以通过在线修正的方法对非线性项进行修改。
具体的，在进行全局一致的优化更新的过程中，可能存在某一深度图像关键帧对应的更新后的相对相机位姿与该深度图像关键帧进行初始融合时的相对相机位姿之间的配准误差超出了预设配准阈值，此时可以通过在线纠正的方式来获取全局一致的相机位姿估计。具体的：如果发现相机位姿更新后，深度图像配准对中两个关键帧的相对位姿变化超过一定范围，就重新计算且利用新的相对位姿关系确定特征点对的对准误差，如果对准误差超过阈值，则降低该特征点对的权重(权重大小由鲁棒目标函数确定，例如，如果选择huber范数，权重大小w应根据对准误差r和阈值设置为w＝r/t，t>r；w＝1，t<＝r)。通过这种选择性的在线纠正来模拟鲁棒目标函数，既没有增加算法复杂度又提高了结果的鲁棒性。
在通过在线纠正获取全局一致的相机位姿估计之后，还可以通过在线纠正的方式来获取全局一致的三维重建结果，具体的：将错误融合的深度图像关键帧的权重设为-1，并将初始融合时的相对相机位姿作为再次融合的条件，结合-1的权重值将该错误融合的深度图像关键帧融合到第二三维网格模型中，以抵消由于错误的相对相机位姿而形成的错误的融合信息，同时，优选还可以根据更新后的相对相机位姿，将该深度图像关键帧融合到第二三维网格模型中。
S390、利用加速移动立方体算法生成第二三维网格模型的等值面，得到目标场景的三维重建模型。
本实施例提供的三维重建方法，在上述各实施例的基础上，通过对当前深度图像关键帧进行回环检测，对已确定的相对相机位姿进行全局一致的优化更新，并对错误融合的相对相机位姿进行在线调整，在克服了现有技术中实时三维重建方法依赖高性能的GPU，进而导致无法实现便携化的问题，大大降低了实时三维重建过程的复杂度，使得目标场景的实时三维重建能够在CPU上实现，提高了实时三维重建设备的便携性的同时，使得全局一致的重建结果更加精确。
实施例四
本实施例为上述各实施例的优选实施例。该优选实施例中，深度相机为Xtion Pro型号，相机参数为长10-15厘米，宽3-5厘米，高3-5厘米，分辨率为640×480。将该深度相机设置于平板电脑上，具体的，将深度相机设置于平板电脑的后部，以实现手持平板电脑在室内移动时，平板电脑可以根据深度相机采集到的数据进行室内空间场景的实时三维重建，并将重建结果显示在平面电脑屏幕上。基于上述设置有深度相机的平板电脑，三维重建方法具体包括：
深度相机持续获取深度图像关键帧，平板电脑持续接收深度相机发送的深度图像关键帧，以利用当前深度图像关键帧和当前颜色图像关键帧进行室内空间场景的三维重建为例：
深度相机获取当前深度图像关键帧；
平板电脑接收到当前深度图像关键帧，并利用预设快速全局优化算法，确定当前深度图像关键帧相对预设深度图像关键帧的相对相机位姿；
平板电脑将当前深度图像关键帧按照预设网格体素单位划分为多个网格体素，并将多个网格体素划分为至少一个空间块；
平板电脑针对每个空间块，根据相对相机位姿与当前深度图像关键帧中的深度值，分别计算各顶点对应的网格体素到目标场景表面的距离；
平板电脑选取各顶点对应的网格体素到目标场景表面的距离均小于预设距离的空间块，并将选取出的各空间块作为当前深度图像关键帧对应的有效空间块；
平板电脑确定并存储有效空间块中各网格体素对应的各权重值以及各网格体素到目标场景表面的各距离值；
平板电脑基于相对相机位姿，将至少一个有效空间块与前一帧深度图像关键帧相对应的第一三维网格模型进行融合，得到与当前深度图像关键帧相对应的第二三维网格模型；
平板电脑利用历史深度图像关键帧，对当前深度图像关键帧进行回环检测，若回环成功，根据当前深度图像关键帧对已确定的相对相机位姿进行全局一致的优化更新；
平板电脑检测到若存在深度图像关键帧对应的更新后的相对相机位姿与深度图像关键帧进行初始融合时的相对相机位姿之间的配准误差超出了预设配准阈值，则将深度图像关键帧的权重设为-1，并将初始融合时的相对相机位姿作为再次融合的条件，将深度图像关键帧融合到第二三维网格模型中，同时，根据更新后的相对相机位姿，将深度图像关键帧融合到第二三维网格模型中；
平板电脑针对第二三维网格模型中的每个有效空间块，将有效空间块划分为至少一个由相邻层上的各四个网格体素组成的立方体；
平板电脑基于各网格体素对应的距离值的正负，对各立方体进行8位二值编码，利用8位二值编码确定与各立方体相对应的各等值面；
平板电脑针对每个等值面的三个顶点所在的三个边，分别对相应边上的两个立方体顶点进行双线性插值，确定等值面的相应顶点在相应边上的具体位置，得到目标场景的三维重建模型；
平板电脑利用与当前深度图像关键帧相对应的当前彩色图像关键帧中的颜色信息更新第二三维重建模型的颜色信息；
平板电脑将重建出的目标场景的三维重建模型显示在平板电脑的显示屏上。
实施例五
图4为本发明实施例五提供的一种三维重建装置的结构示意图。如图4所示，该装置包括：
相对相机位姿确定模块410，用于利用预设快速全局优化算法，确定当前深度图像关键帧相对预设深度图像关键帧的相对相机位姿；
有效空间块确定模块420，用于利用稀疏采样方法确定当前深度图像关键帧对应的至少一个有效空间块，有效空间块包括预设数目的网格体素；
第二三维网格模型确定模块430，用于基于相对相机位姿，将至少一个有效空间块与前一帧深度图像关键帧相对应的第一三维网格模型进行融合，得到与当前深度图像关键帧相对应的第二三维网格模型；
三维重建模型确定模块440，用于利用加速移动立方体算法生成第二三维网格模型的等值面，得到目标场景的三维重建模型。
本实施例提供的三维重建装置，通过相对相机位姿确定模块利用预设快速全局优化算法，确定当前深度图像关键帧相对预设深度图像关键帧的相对相机位姿，通过有效空间块确定模块利用稀疏采样方法确定当前深度图像关键帧对应的至少一个有效空间块，有效空间块包括预设数目的网格体素，并通过第二三维网格模型确定模块基于相对相机位姿，将至少一个有效空间块与前一帧深度图像关键帧相对应的第一三维网格模型进行融合，得到与当前深度图像关键帧相对应的第二三维网格模型，最终通过三维重建模型确定模块利用加速移动立方体算法生成第二三维网格模型的等值面，得到目标场景的三维重建模型，克服了现有技术中实时三维重建方法依赖高性能的GPU，进而导致无法实现便携化的问题，大大降低了实时三维重建过程的复杂度，使得目标场景的实时三维重建能够在CPU上实现，提高了实时三维重建设备的便携性。
在上述各实施例的基础上，进一步的，相对相机位姿确定模块410可以包括：
特征提取单元，用于对当前深度图像关键帧进行特征提取，得到当前深度图像关键帧的至少十个特征点；
特征点对应关系确定单元，用于将至少一个特征点与预先获取的预设深度图像关键帧的至少五个特征点进行匹配运算，得到当前深度图像关键帧与预设深度图像关键帧间的特征点对应关系；
相对相机位姿求解单元，用于移除特征点对应关系中的异常对应关系，通过包含剩余特征点二阶统计量的线性成分以及包含相对相机位姿的非线性成分计算J(ξ)TJ(ξ)中的非线性项对δ＝-(J(ξ)TJ(ξ))-1J(ξ)Tr(ξ)进行多次迭代计算，求解重投影误差小于预设误差阈值时的相对相机位姿。
进一步的，有效空间块确定模块420可以包括：
空间块划分单元，用于将当前深度图像关键帧按照预设网格体素单位划分为多个网格体素，并将多个网格体素划分为至少一个空间块，空间块包括预设数目的网格体素；
有效空间块确定单元，用于利用稀疏采样条件，在至少一个空间块中筛选出当前深度图像关键帧对应的至少一个有效空间块，有效空间块位于由目标场景表面与距离目标场景表面预设距离的面所构成的空间内部。
进一步的，有效空间块确定单元可以包括：
距离计算子单元，用于针对每个空间块，根据相对相机位姿与当前深度图像关键帧中的深度值，分别计算各顶点对应的网格体素到目标场景表面的距离；
有效空间块确定子单元，用于选取各顶点对应的网格体素到目标场景表面的距离均小于预设距离的空间块，并将选取出的各空间块作为当前深度图像关键帧对应的有效空间块；
权重与距离存储子单元，用于确定并存储有效空间块中各网格体素对应的各权重值以及各网格体素到目标场景表面的各距离值，其中，各权重值为各网格体素在当前深度图像关键帧以及历史深度图像关键帧中出现的次数总和。
进一步的，第二三维网格模型确定模块430具体可以用于：
基于相对相机位姿中的相对旋转矩阵和相对平移矩阵，将至少一个有效空间块与前一帧深度图像关键帧相对应的第一三维网格模型进行融合，得到与当前深度图像关键帧相对应的第二三维网格模型。
进一步的，三维重建模型确定模块440可以包括：
立方体划分单元，用于将有效空间块划分为至少一个由相邻层上的各四个网格体素组成的立方体；
立方体编码单元，用于基于各网格体素对应的距离值的正负，对各立方体进行8位二值编码；
等值面确定单元，用于利用8位二值编码确定与各立方体相对应的各等值面，其中，各等值面的三个顶点均位于相应立方体的边上；
等值面顶点位置确定单元，用于针对每个等值面的三个顶点所在的三个边，分别对相应边上的两个立方体顶点进行双线性插值，确定等值面的相应顶点在相应边上的具体位置。
进一步的，三维重建装置还可以包括：
回环检测模块，用于在利用预设快速全局优化算法，确定当前深度图像关键帧相对预设深度图像关键帧的相对相机位姿之后，利用历史深度图像关键帧，对当前深度图像关键帧进行回环检测；若回环成功，根据当前深度图像关键帧对已确定的相对相机位姿进行全局一致的优化更新。
进一步的，三维重加装置还可以包括：
深度图像获取模块，用于在利用预设快速全局优化算法，确定当前深度图像关键帧相对预设深度图像关键帧的相对相机位姿之前，获取目标场景的当前帧深度图像；
深度图像关键帧确定模块，用于将当前帧深度图像与上一帧深度图像关键帧进行匹配运算，得到两帧图像之间的转换关系矩阵；若转换关系矩阵大于或等于预设转换阈值，则确定当前帧深度图像为当前深度图像关键帧。
进一步的，三维重建装置还可以包括：
在线纠正模块，用于在若回环成功，根据当前深度图像关键帧对已确定的相对相机位姿进行全局一致的优化更新之后，若存在深度图像关键帧对应的更新后的相对相机位姿与深度图像关键帧进行初始融合时的相对相机位姿之间的配准误差超出了预设配准阈值，则将深度图像关键帧的权重设为-1，并将初始融合时的相对相机位姿作为再次融合的条件，将深度图像关键帧融合到第二三维网格模型中，同时，根据更新后的相对相机位姿，将深度图像关键帧融合到第二三维网格模型中。
进一步的，三维重建装置还可以包括：
颜色信息更新模块，用于在利用加速移动立方体算法生成第二三维网格模型的等值面，得到目标场景的三维重建模型之后，利用与当前深度图像关键帧相对应的当前彩色图像关键帧中的颜色信息更新第二三维重建模型的颜色信息。
本发明实施例所提供的三维重建装置可执行本发明任意实施例所提供的三维重建方法，具备执行方法相应的功能模块和有益效果。
实施例六
图5为本发明实施例六提供的三维重建设备的结构示意图。图5示出了适于用来实现本发明实施方式的示例性三维重建设备512的框图。图5显示的三维重建设备512仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，三维重建设备512以通用计算设备的形式表现。三维重建设备512的组件可以包括但不限于：一个或者多个处理器516，存储器528，连接不同系统组件(包括存储器528和处理器516)的总线518。除此之前，三维重建设备512还包括至少一个深度相机513，用于获取目标场景的深度图像和彩色图像。该至少一个深度相机可嵌入式安装在三维重建设备512中，可选的，该三维重建设备512可以是便携式移动电子设备，例如，该三维重建设备512可以是智能终端(手机、平板电脑)或三维视觉交互设备(VR眼镜、可戴式头盔)，可以进行移动、旋转等操作下的图像拍摄。
总线518表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
三维重建设备512典型地包括多种计算机系统可读介质。这些介质可以是任何能够被三维重建设备512访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器528可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)530和/或高速缓存存储器532。三维重建设备512可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储装置534可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线518相连。存储器528可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块542的程序/实用工具540，可以存储在例如存储器528中，这样的程序模块542包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块542通常执行本发明所描述的实施例中的功能和/或方法。
三维重建设备512也可以与一个或多个外部设备514(例如键盘、指向设备、显示器524等，其中，显示器524可根据实际需要决定是否配置)通信，还可与一个或者多个使得用户能与该三维重建设备512交互的设备通信，和/或与使得该三维重建设备512能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口522进行。并且，三维重建设备512还可以通过网络适配器520与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器520通过总线518与三维重建设备512的其它模块通信。应当明白，尽管图5中未示出，可以结合三维重建设备512使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储装置等。
处理器516通过运行存储在存储器528中的程序，从而执行各种功能应用以及数据处理，例如实现本发明任意实施例所提供的三维重建方法。
实施例七
本发明实施例七还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所提供的三维重建方法，该方法包括：
利用预设快速全局优化算法，确定当前深度图像关键帧相对预设深度图像关键帧的相对相机位姿；
利用稀疏采样方法确定所述当前深度图像关键帧对应的至少一个有效空间块，所述有效空间块包括预设数目的网格体素；
基于所述相对相机位姿，将所述至少一个有效空间块与前一帧深度图像关键帧相对应的第一三维网格模型进行融合，得到与当前深度图像关键帧相对应的第二三维网格模型；
利用加速移动立方体算法生成所述第二三维网格模型的等值面，得到目标场景的三维重建模型。
当然，本发明实施例所提供的一种计算机可读存储介质，其上存储的计算机程序不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的三维重建方法中的相关操作。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言-诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)-连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (14)

1.一种三维重建方法，其特征在于，包括：
利用预设快速全局优化算法，确定当前深度图像关键帧相对预设深度图像关键帧的相对相机位姿；
利用稀疏采样方法确定所述当前深度图像关键帧对应的至少一个有效空间块，所述有效空间块包括预设数目的网格体素；
基于所述相对相机位姿，将所述至少一个有效空间块与前一帧深度图像关键帧相对应的第一三维网格模型进行融合，得到与当前深度图像关键帧相对应的第二三维网格模型；
利用加速移动立方体算法生成所述第二三维网格模型的等值面，得到目标场景的三维重建模型。
2.根据权利要求1所述的方法，其特征在于，所述利用预设快速全局优化算法，确定当前深度图像关键帧相对预设深度图像关键帧的相机位姿，包括：
对所述当前深度图像关键帧进行特征提取，得到所述当前深度图像关键帧的至少十个特征点；
将所述至少一个特征点与预先获取的所述预设深度图像关键帧的至少五个特征点进行匹配运算，得到当前深度图像关键帧与所述预设深度图像关键帧间的特征点对应关系；
移除所述特征点对应关系中的异常对应关系，通过包含剩余特征点二阶统计量的线性成分以及包含相对相机位姿的非线性成分计算J(ξ)T J(ξ)中的非线性项对δ＝-(J(ξ)T J(ξ))-1J(ξ)Tr(ξ)进行多次迭代计算，求解重投影误差小于预设误差阈值时的相对相机位姿；
其中，r(ξ)表示包含所有重投影误差的向量，J(ξ)为r(ξ)的雅克比矩阵，ξ表示相对相机位姿的李代数，δ表示每次迭代时r(ξ)的增量值；Ri表示采集第i帧图像时相机的旋转矩阵；Rj表示采集第j帧图像时相机的旋转矩阵；表示第i帧图像上的第k个特征点；表示第j帧图像上的第k个特征点；Ci,j表示第i帧图像与第j帧图像的特征点对应关系的集合；||Ci,j||-1表示第i帧图像与第j帧图像的特征点对应关系的数量；[]×表示向量积；||Ci,j||表示取Ci,j的范数。
3.根据权利要求2所述的方法，其特征在于，所述非线性项的表达式为：
其中，表示线性成分；ril T和rjl表示非线性成分，ril T是旋转矩阵Ri中的第l行，rjl是旋转矩阵Rj中的第l行的转置，l＝0,1,2。
4.根据权利要求1所述的方法，其特征在于，所述利用稀疏采样方法确定所述当前深度图像关键帧对应的至少一个有效空间块，所述有效空间块包括预设数目的网格体素，包括：
将所述当前深度图像关键帧按照预设网格体素单位划分为多个网格体素，并将所述多个网格体素划分为至少一个空间块，所述空间块包括预设数目的网格体素；
利用稀疏采样条件，在所述至少一个空间块中筛选出所述当前深度图像关键帧对应的至少一个有效空间块，所述有效空间块位于由目标场景表面与距离目标场景表面预设距离的面所构成的空间内部。
5.根据权利要求4所述的方法，其特征在于，所述利用稀疏采样条件，在所述至少一个空间块中筛选出所述当前深度图像关键帧对应的至少一个有效空间块，包括：
针对每个所述空间块，根据所述相对相机位姿与所述当前深度图像关键帧中的深度值，分别计算各顶点对应的网格体素到所述目标场景表面的距离；
选取各顶点对应的网格体素到所述目标场景表面的距离均小于所述预设距离的空间块，并将选取出的各空间块作为所述当前深度图像关键帧对应的有效空间块；
确定并存储所述有效空间块中各网格体素对应的各权重值以及所述各网格体素到所述目标场景表面的各距离值，其中，所述各权重值为所述各网格体素在所述当前深度图像关键帧以及历史深度图像关键帧中出现的次数总和。
6.根据权利要求1所述的方法，其特征在于，所述基于所述相对相机位姿，将所述至少一个有效空间块与所述前一帧深度图像关键帧相对应的第一三维网格模型进行融合，得到与当前深度图像关键帧相对应的第二三维网格模型，包括：
基于所述相对相机位姿中的相对旋转矩阵和相对平移矩阵，将所述至少一个有效空间块与所述前一帧深度图像关键帧相对应的第一三维网格模型进行融合，得到与当前深度图像关键帧相对应的第二三维网格模型。
7.根据权利要求5所述的方法，其特征在于，所述利用加速移动立方体算法生成所述第二三维网格模型的等值面，得到目标场景的三维重建模型，包括：针对所述第二三维网格模型中的每个有效空间块，
将所述有效空间块划分为至少一个由相邻层上的各四个网格体素组成的立方体；
基于各网格体素对应的距离值的正负，对各所述立方体进行8位二值编码；
利用所述8位二值编码确定与所述各立方体相对应的各等值面，其中，所述各等值面的三个顶点均位于相应立方体的边上；
针对每个等值面的三个顶点所在的三个边，分别对相应边上的两个立方体顶点进行双线性插值，确定所述等值面的相应顶点在相应边上的具体位置，得到目标场景的三维重建模型。
8.根据权利要求5所述的方法，其特征在于，在利用预设快速全局优化算法，确定当前深度图像关键帧相对预设深度图像关键帧的相对相机位姿之后，还包括：
利用历史深度图像关键帧，对所述当前深度图像关键帧进行回环检测；
若回环成功，根据所述当前深度图像关键帧对已确定的相对相机位姿进行全局一致的优化更新。
9.根据权利要求1-8任一所述的方法，其特征在于，在利用预设快速全局优化算法，确定当前深度图像关键帧相对预设深度图像关键帧的相对相机位姿之前，还包括：
获取所述目标场景的当前帧深度图像；
将所述当前帧深度图像与上一帧深度图像关键帧进行匹配运算，得到两帧图像之间的转换关系矩阵；
若所述转换关系矩阵大于或等于预设转换阈值，则确定所述当前帧深度图像为所述当前深度图像关键帧。
10.根据权利要求8所述的方法，其特征在于，在若回环成功，根据所述当前深度图像关键帧对已确定的相对相机位姿进行全局一致的优化更新之后，还包括，
若存在深度图像关键帧对应的更新后的相对相机位姿与所述深度图像关键帧进行初始融合时的相对相机位姿之间的配准误差超出了预设配准阈值，则将所述深度图像关键帧的权重设为-1，并将初始融合时的相对相机位姿作为再次融合的条件，将所述深度图像关键帧融合到所述第二三维网格模型中，同时，根据更新后的相对相机位姿，将所述深度图像关键帧融合到所述第二三维网格模型中。
11.根据权利要求1-8、10任一所述的方法，其特征在于，在利用加速移动立方体算法生成所述第二三维网格模型的等值面，得到目标场景的三维重建模型之后，还包括：
利用与所述当前深度图像关键帧相对应的当前彩色图像关键帧中的颜色信息更新所述第二三维重建模型的颜色信息。
12.一种三维重建装置，其特征在于，包括：
相对相机位姿确定模块，用于利用预设快速全局优化算法，确定当前深度图像关键帧相对预设深度图像关键帧的相对相机位姿；
有效空间块确定模块，用于利用稀疏采样方法确定所述当前深度图像关键帧对应的至少一个有效空间块，所述有效空间块包括预设数目的网格体素；
第二三维网格模型确定模块，用于基于所述相对相机位姿，将所述至少一个有效空间块与前一帧深度图像关键帧相对应的第一三维网格模型进行融合，得到与当前深度图像关键帧相对应的第二三维网格模型；
三维重建模型确定模块，用于利用加速移动立方体算法生成所述第二三维网格模型的等值面，得到目标场景的三维重建模型。
13.一种三维重建设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
至少一个深度相机，用于获取目标场景的深度图像和彩色图像；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-11中任一所述的三维重建方法。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-11中任一所述的三维重建方法。
CN201810679293.9A 2018-06-27 2018-06-27 一种三维重建方法、装置、设备和存储介质 Active CN108898630B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810679293.9A CN108898630B (zh) 2018-06-27 2018-06-27 一种三维重建方法、装置、设备和存储介质
PCT/CN2019/085977 WO2020001168A1 (zh) 2018-06-27 2019-05-08 三维重建方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810679293.9A CN108898630B (zh) 2018-06-27 2018-06-27 一种三维重建方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN108898630A true CN108898630A (zh) 2018-11-27
CN108898630B CN108898630B (zh) 2020-12-15

Family

ID=64346809

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810679293.9A Active CN108898630B (zh) 2018-06-27 2018-06-27 一种三维重建方法、装置、设备和存储介质

Country Status (2)

Country Link
CN (1) CN108898630B (zh)
WO (1) WO2020001168A1 (zh)

Cited By (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109584362A (zh) * 2018-12-14 2019-04-05 北京市商汤科技开发有限公司 三维模型构建方法及装置、电子设备和存储介质
CN109635783A (zh) * 2019-01-02 2019-04-16 上海数迹智能科技有限公司 视频监控方法、装置、终端和介质
CN109947886A (zh) * 2019-03-19 2019-06-28 腾讯科技（深圳）有限公司 图像处理方法、装置、电子设备及存储介质
CN110120101A (zh) * 2019-04-30 2019-08-13 中国科学院自动化研究所 基于三维视觉的圆柱体增强现实方法、系统、装置
CN110148217A (zh) * 2019-05-24 2019-08-20 北京华捷艾米科技有限公司 一种实时三维重建方法、装置及设备
CN110349253A (zh) * 2019-07-01 2019-10-18 深圳前海达闼云端智能科技有限公司 一种场景的三维重建方法、终端和可读存储介质
CN110378948A (zh) * 2019-07-02 2019-10-25 北京字节跳动网络技术有限公司 3d模型重建方法、装置及电子设备
CN110415351A (zh) * 2019-06-21 2019-11-05 北京迈格威科技有限公司 基于单张图像构建三维网格的方法、装置和系统
CN110443887A (zh) * 2019-07-31 2019-11-12 广州市百果园信息技术有限公司 特征点定位方法、装置、重建方法、系统、设备及介质
WO2020001168A1 (zh) * 2018-06-27 2020-01-02 清华-伯克利深圳学院筹备办公室 三维重建方法、装置、设备和存储介质
CN111063021A (zh) * 2019-11-21 2020-04-24 西北工业大学 一种空间运动目标的三维重建模型建立方法及装置
CN111133477A (zh) * 2019-12-20 2020-05-08 驭势科技(南京)有限公司 三维重建方法、装置、系统和存储介质
CN111242990A (zh) * 2020-01-06 2020-06-05 西南电子技术研究所（中国电子科技集团公司第十研究所） 基于连续相位稠密匹配的360°三维重建优化方法
WO2020118565A1 (en) * 2018-12-12 2020-06-18 Huawei Technologies Co., Ltd. Keyframe selection for texture mapping wien generating 3d model
CN111311662A (zh) * 2020-02-12 2020-06-19 清华大学深圳国际研究生院 一种实时重建三维场景的方法及装置
CN111369612A (zh) * 2018-12-25 2020-07-03 北京欣奕华科技有限公司 一种三维点云图像生成方法及设备
CN111402412A (zh) * 2020-04-16 2020-07-10 Oppo广东移动通信有限公司 数据采集方法及装置、设备、存储介质
CN111444852A (zh) * 2020-03-27 2020-07-24 深圳市银星智能科技股份有限公司 一种回环检测方法、装置及机器人
CN111445581A (zh) * 2018-12-19 2020-07-24 辉达公司 使用数据驱动先验的网格重建
CN111580577A (zh) * 2020-05-18 2020-08-25 浪潮电子信息产业股份有限公司 一种机房温度监控方法、装置、设备及介质
CN112084853A (zh) * 2020-08-04 2020-12-15 深圳市优必选科技股份有限公司 一种脚印预测方法、脚印预测装置及人形机器人
CN112132972A (zh) * 2020-09-29 2020-12-25 凌美芯（北京）科技有限责任公司 一种激光与图像数据融合的三维重建方法及系统
CN112258658A (zh) * 2020-10-21 2021-01-22 河北工业大学 一种基于深度相机的增强现实可视化方法及应用
CN112308904A (zh) * 2019-07-29 2021-02-02 北京初速度科技有限公司 一种基于视觉的建图方法、装置及车载终端
CN112325873A (zh) * 2021-01-04 2021-02-05 炬星科技（深圳）有限公司 一种环境地图自主更新方法、设备及计算机可读存储介质
CN112402973A (zh) * 2020-11-18 2021-02-26 芯勍(上海)智能化科技股份有限公司 模型细节判断方法、终端设备及计算机可读存储介质
CN112435206A (zh) * 2020-11-24 2021-03-02 北京交通大学 利用深度相机对物体进行三维信息重建的方法
CN112905831A (zh) * 2021-04-02 2021-06-04 上海国际汽车城（集团）有限公司 物体在虚拟场景中的坐标获取方法、系统及电子设备
CN112967381A (zh) * 2021-03-05 2021-06-15 北京百度网讯科技有限公司 三维重建方法、设备和介质
WO2021115071A1 (zh) * 2019-12-12 2021-06-17 中国科学院深圳先进技术研究院 单目内窥镜图像的三维重建方法、装置及终端设备
CN113160416A (zh) * 2021-04-12 2021-07-23 西安科技大学 一种用于煤流检测的散斑成像装置及方法
CN113643342A (zh) * 2020-04-27 2021-11-12 北京达佳互联信息技术有限公司 一种图像处理方法、装置、电子设备及存储介质
CN113724379A (zh) * 2021-07-08 2021-11-30 中国科学院空天信息创新研究院 三维重建方法、装置、设备及存储介质
CN113724365A (zh) * 2020-05-22 2021-11-30 杭州海康威视数字技术股份有限公司 一种三维重建方法及装置
CN113902847A (zh) * 2021-10-11 2022-01-07 岱悟智能科技(上海)有限公司 基于三维特征约束的单目深度图像位姿优化方法
CN114155351A (zh) * 2021-11-11 2022-03-08 埃洛克航空科技（北京）有限公司 三维重建网格的特征过滤方法、系统及电子设备
CN115311424A (zh) * 2022-08-02 2022-11-08 深圳市华赛睿飞智能科技有限公司 一种目标场景的三维重建方法、装置、无人机及存储介质
CN115375856A (zh) * 2022-10-25 2022-11-22 杭州华橙软件技术有限公司 三维重建方法、设备以及存储介质
WO2023024441A1 (zh) * 2021-08-25 2023-03-02 上海商汤智能科技有限公司 模型重建方法及相关装置、电子设备和存储介质
CN116342817A (zh) * 2023-05-30 2023-06-27 华南理工大学 一种室外大规模三维场景重建方法、系统、设备和介质
WO2023155043A1 (zh) * 2022-02-15 2023-08-24 中国科学院深圳先进技术研究院 一种基于历史信息的场景深度推理方法、装置及电子设备
CN116778066A (zh) * 2023-08-24 2023-09-19 先临三维科技股份有限公司 数据处理方法、装置、设备及介质
CN117496092A (zh) * 2023-12-29 2024-02-02 先临三维科技股份有限公司 三维扫描重建方法、装置、设备及存储介质
CN117496074A (zh) * 2023-12-29 2024-02-02 中国人民解放军国防科技大学 一种适应相机快速移动的高效三维场景重建方法
US12026827B2 (en) 2019-12-20 2024-07-02 Uisee Technologies (Zhejiang) Ltd. Method, apparatus, system, and storage medium for 3D reconstruction

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111833403B (zh) * 2020-07-27 2024-05-31 闪耀现实(无锡)科技有限公司 用于空间定位的方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103971409A (zh) * 2014-05-22 2014-08-06 福州大学 一种利用rgb-d摄像机测量足部三维脚型信息及三维重建模型的方法
US20140241576A1 (en) * 2013-02-28 2014-08-28 Electronics And Telecommunications Research Institute Apparatus and method for camera tracking
CN104537709A (zh) * 2014-12-15 2015-04-22 西北工业大学 一种基于位姿变化的实时三维重建关键帧确定方法
WO2017066248A1 (en) * 2015-10-16 2017-04-20 Varian Medical Systems, Inc. Iterative image reconstruction in image-guided radiation therapy
CN106887037A (zh) * 2017-01-23 2017-06-23 杭州蓝芯科技有限公司 一种基于gpu和深度相机的室内三维重建方法
CN108053482A (zh) * 2018-02-05 2018-05-18 喻强 一种基于手机扫描的人体3d建模方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103886603B (zh) * 2014-03-31 2017-02-15 西北工业大学 一种左心室核磁共振图像分割及三维重构的方法
EP3040941B1 (en) * 2014-12-29 2017-08-02 Dassault Systèmes Method for calibrating a depth camera
CN106875482B (zh) * 2017-01-13 2020-04-28 浙江大学 一种同时定位与稠密三维重建方法
CN107845134B (zh) * 2017-11-10 2020-12-29 浙江大学 一种基于彩色深度相机的单个物体的三维重建方法
CN108898630B (zh) * 2018-06-27 2020-12-15 清华-伯克利深圳学院筹备办公室 一种三维重建方法、装置、设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140241576A1 (en) * 2013-02-28 2014-08-28 Electronics And Telecommunications Research Institute Apparatus and method for camera tracking
CN103971409A (zh) * 2014-05-22 2014-08-06 福州大学 一种利用rgb-d摄像机测量足部三维脚型信息及三维重建模型的方法
CN104537709A (zh) * 2014-12-15 2015-04-22 西北工业大学 一种基于位姿变化的实时三维重建关键帧确定方法
WO2017066248A1 (en) * 2015-10-16 2017-04-20 Varian Medical Systems, Inc. Iterative image reconstruction in image-guided radiation therapy
CN106887037A (zh) * 2017-01-23 2017-06-23 杭州蓝芯科技有限公司 一种基于gpu和深度相机的室内三维重建方法
CN108053482A (zh) * 2018-02-05 2018-05-18 喻强 一种基于手机扫描的人体3d建模方法

Cited By (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020001168A1 (zh) * 2018-06-27 2020-01-02 清华-伯克利深圳学院筹备办公室 三维重建方法、装置、设备和存储介质
WO2020118565A1 (en) * 2018-12-12 2020-06-18 Huawei Technologies Co., Ltd. Keyframe selection for texture mapping wien generating 3d model
CN109584362A (zh) * 2018-12-14 2019-04-05 北京市商汤科技开发有限公司 三维模型构建方法及装置、电子设备和存储介质
CN111445581A (zh) * 2018-12-19 2020-07-24 辉达公司 使用数据驱动先验的网格重建
US11995854B2 (en) 2018-12-19 2024-05-28 Nvidia Corporation Mesh reconstruction using data-driven priors
CN111369612B (zh) * 2018-12-25 2023-11-24 北京欣奕华科技有限公司 一种三维点云图像生成方法及设备
CN111369612A (zh) * 2018-12-25 2020-07-03 北京欣奕华科技有限公司 一种三维点云图像生成方法及设备
CN109635783A (zh) * 2019-01-02 2019-04-16 上海数迹智能科技有限公司 视频监控方法、装置、终端和介质
CN109947886A (zh) * 2019-03-19 2019-06-28 腾讯科技（深圳）有限公司 图像处理方法、装置、电子设备及存储介质
CN109947886B (zh) * 2019-03-19 2023-01-10 腾讯科技（深圳）有限公司 图像处理方法、装置、电子设备及存储介质
CN110120101A (zh) * 2019-04-30 2019-08-13 中国科学院自动化研究所 基于三维视觉的圆柱体增强现实方法、系统、装置
CN110120101B (zh) * 2019-04-30 2021-04-02 中国科学院自动化研究所 基于三维视觉的圆柱体增强现实方法、系统、装置
CN110148217A (zh) * 2019-05-24 2019-08-20 北京华捷艾米科技有限公司 一种实时三维重建方法、装置及设备
CN110415351B (zh) * 2019-06-21 2023-10-10 北京迈格威科技有限公司 基于单张图像构建三维网格的方法、装置和系统
CN110415351A (zh) * 2019-06-21 2019-11-05 北京迈格威科技有限公司 基于单张图像构建三维网格的方法、装置和系统
CN110349253A (zh) * 2019-07-01 2019-10-18 深圳前海达闼云端智能科技有限公司 一种场景的三维重建方法、终端和可读存储介质
CN110349253B (zh) * 2019-07-01 2023-12-01 达闼机器人股份有限公司 一种场景的三维重建方法、终端和可读存储介质
CN110378948B (zh) * 2019-07-02 2023-08-25 北京字节跳动网络技术有限公司 3d模型重建方法、装置及电子设备
CN110378948A (zh) * 2019-07-02 2019-10-25 北京字节跳动网络技术有限公司 3d模型重建方法、装置及电子设备
CN112308904A (zh) * 2019-07-29 2021-02-02 北京初速度科技有限公司 一种基于视觉的建图方法、装置及车载终端
CN110443887B (zh) * 2019-07-31 2023-06-16 广州市百果园信息技术有限公司 特征点定位方法、装置、重建方法、系统、设备及介质
CN110443887A (zh) * 2019-07-31 2019-11-12 广州市百果园信息技术有限公司 特征点定位方法、装置、重建方法、系统、设备及介质
CN111063021A (zh) * 2019-11-21 2020-04-24 西北工业大学 一种空间运动目标的三维重建模型建立方法及装置
CN111063021B (zh) * 2019-11-21 2021-08-27 西北工业大学 一种空间运动目标的三维重建模型建立方法及装置
WO2021115071A1 (zh) * 2019-12-12 2021-06-17 中国科学院深圳先进技术研究院 单目内窥镜图像的三维重建方法、装置及终端设备
CN111133477A (zh) * 2019-12-20 2020-05-08 驭势科技(南京)有限公司 三维重建方法、装置、系统和存储介质
US12026827B2 (en) 2019-12-20 2024-07-02 Uisee Technologies (Zhejiang) Ltd. Method, apparatus, system, and storage medium for 3D reconstruction
CN111242990A (zh) * 2020-01-06 2020-06-05 西南电子技术研究所（中国电子科技集团公司第十研究所） 基于连续相位稠密匹配的360°三维重建优化方法
CN111242990B (zh) * 2020-01-06 2024-01-30 西南电子技术研究所（中国电子科技集团公司第十研究所） 基于连续相位稠密匹配的360°三维重建优化方法
CN111311662A (zh) * 2020-02-12 2020-06-19 清华大学深圳国际研究生院 一种实时重建三维场景的方法及装置
CN111444852A (zh) * 2020-03-27 2020-07-24 深圳市银星智能科技股份有限公司 一种回环检测方法、装置及机器人
CN111402412A (zh) * 2020-04-16 2020-07-10 Oppo广东移动通信有限公司 数据采集方法及装置、设备、存储介质
CN111402412B (zh) * 2020-04-16 2023-06-09 Oppo广东移动通信有限公司 数据采集方法及装置、设备、存储介质
CN113643342B (zh) * 2020-04-27 2023-11-14 北京达佳互联信息技术有限公司 一种图像处理方法、装置、电子设备及存储介质
CN113643342A (zh) * 2020-04-27 2021-11-12 北京达佳互联信息技术有限公司 一种图像处理方法、装置、电子设备及存储介质
CN111580577A (zh) * 2020-05-18 2020-08-25 浪潮电子信息产业股份有限公司 一种机房温度监控方法、装置、设备及介质
CN113724365A (zh) * 2020-05-22 2021-11-30 杭州海康威视数字技术股份有限公司 一种三维重建方法及装置
CN113724365B (zh) * 2020-05-22 2023-09-26 杭州海康威视数字技术股份有限公司 一种三维重建方法及装置
CN112084853B (zh) * 2020-08-04 2023-12-29 深圳市优必选科技股份有限公司 一种脚印预测方法、脚印预测装置及人形机器人
CN112084853A (zh) * 2020-08-04 2020-12-15 深圳市优必选科技股份有限公司 一种脚印预测方法、脚印预测装置及人形机器人
CN112132972B (zh) * 2020-09-29 2024-03-22 凌美芯（北京）科技有限责任公司 一种激光与图像数据融合的三维重建方法及系统
CN112132972A (zh) * 2020-09-29 2020-12-25 凌美芯（北京）科技有限责任公司 一种激光与图像数据融合的三维重建方法及系统
CN112258658B (zh) * 2020-10-21 2023-02-17 河北工业大学 一种基于深度相机的增强现实可视化方法及应用
CN112258658A (zh) * 2020-10-21 2021-01-22 河北工业大学 一种基于深度相机的增强现实可视化方法及应用
CN112402973A (zh) * 2020-11-18 2021-02-26 芯勍(上海)智能化科技股份有限公司 模型细节判断方法、终端设备及计算机可读存储介质
CN112402973B (zh) * 2020-11-18 2022-11-04 芯勍(上海)智能化科技股份有限公司 模型细节判断方法、终端设备及计算机可读存储介质
CN112435206B (zh) * 2020-11-24 2023-11-21 北京交通大学 利用深度相机对物体进行三维信息重建的方法
CN112435206A (zh) * 2020-11-24 2021-03-02 北京交通大学 利用深度相机对物体进行三维信息重建的方法
CN112325873A (zh) * 2021-01-04 2021-02-05 炬星科技（深圳）有限公司 一种环境地图自主更新方法、设备及计算机可读存储介质
CN112967381B (zh) * 2021-03-05 2024-01-16 北京百度网讯科技有限公司 三维重建方法、设备和介质
CN112967381A (zh) * 2021-03-05 2021-06-15 北京百度网讯科技有限公司 三维重建方法、设备和介质
CN112905831A (zh) * 2021-04-02 2021-06-04 上海国际汽车城（集团）有限公司 物体在虚拟场景中的坐标获取方法、系统及电子设备
CN113160416A (zh) * 2021-04-12 2021-07-23 西安科技大学 一种用于煤流检测的散斑成像装置及方法
CN113724379A (zh) * 2021-07-08 2021-11-30 中国科学院空天信息创新研究院 三维重建方法、装置、设备及存储介质
WO2023024441A1 (zh) * 2021-08-25 2023-03-02 上海商汤智能科技有限公司 模型重建方法及相关装置、电子设备和存储介质
CN113902847B (zh) * 2021-10-11 2024-04-16 岱悟智能科技(上海)有限公司 基于三维特征约束的单目深度图像位姿优化方法
CN113902847A (zh) * 2021-10-11 2022-01-07 岱悟智能科技(上海)有限公司 基于三维特征约束的单目深度图像位姿优化方法
CN114155351A (zh) * 2021-11-11 2022-03-08 埃洛克航空科技（北京）有限公司 三维重建网格的特征过滤方法、系统及电子设备
CN114155351B (zh) * 2021-11-11 2022-09-23 埃洛克航空科技（北京）有限公司 三维重建网格的特征过滤方法、系统及电子设备
WO2023155043A1 (zh) * 2022-02-15 2023-08-24 中国科学院深圳先进技术研究院 一种基于历史信息的场景深度推理方法、装置及电子设备
CN115311424B (zh) * 2022-08-02 2023-04-07 深圳市华赛睿飞智能科技有限公司 一种目标场景的三维重建方法、装置、无人机及存储介质
CN115311424A (zh) * 2022-08-02 2022-11-08 深圳市华赛睿飞智能科技有限公司 一种目标场景的三维重建方法、装置、无人机及存储介质
CN115375856A (zh) * 2022-10-25 2022-11-22 杭州华橙软件技术有限公司 三维重建方法、设备以及存储介质
CN116342817B (zh) * 2023-05-30 2023-08-15 华南理工大学 一种室外大规模三维场景重建方法、系统、设备和介质
CN116342817A (zh) * 2023-05-30 2023-06-27 华南理工大学 一种室外大规模三维场景重建方法、系统、设备和介质
CN116778066B (zh) * 2023-08-24 2024-01-26 先临三维科技股份有限公司 数据处理方法、装置、设备及介质
CN116778066A (zh) * 2023-08-24 2023-09-19 先临三维科技股份有限公司 数据处理方法、装置、设备及介质
CN117496092A (zh) * 2023-12-29 2024-02-02 先临三维科技股份有限公司 三维扫描重建方法、装置、设备及存储介质
CN117496074A (zh) * 2023-12-29 2024-02-02 中国人民解放军国防科技大学 一种适应相机快速移动的高效三维场景重建方法
CN117496074B (zh) * 2023-12-29 2024-03-22 中国人民解放军国防科技大学 一种适应相机快速移动的高效三维场景重建方法
CN117496092B (zh) * 2023-12-29 2024-04-19 先临三维科技股份有限公司 三维扫描重建方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN108898630B (zh) 2020-12-15
WO2020001168A1 (zh) 2020-01-02

Similar Documents

Publication Publication Date Title
CN108898630A (zh) 一种三维重建方法、装置、设备和存储介质
CN109387204B (zh) 面向室内动态环境的移动机器人同步定位与构图方法
CN109285215B (zh) 一种人体三维模型重建方法、装置和存储介质
CN109003325B (zh) 一种三维重建的方法、介质、装置和计算设备
CN115082639B (zh) 图像生成方法、装置、电子设备和存储介质
CN108335353A (zh) 动态场景的三维重建方法、装置和系统、服务器、介质
CN111968165B (zh) 动态人体三维模型补全方法、装置、设备和介质
CN108805979A (zh) 一种动态模型三维重建方法、装置、设备和存储介质
CN108921926A (zh) 一种基于单张图像的端到端三维人脸重建方法
CN106934827A (zh) 三维场景的重建方法和装置
CN110660017A (zh) 一种基于三维姿态识别的舞谱记录与演示方法
CN109191554B (zh) 一种超分辨图像重建方法、装置、终端和存储介质
WO2024007478A1 (zh) 基于单手机的人体三维建模数据采集与重建方法及系统
CN110580720B (zh) 一种基于全景图的相机位姿估计方法
CN110223370A (zh) 一种从单视点图片生成完整人体纹理贴图的方法
EP4036863A1 (en) Human body model reconstruction method and reconstruction system, and storage medium
CN109821239A (zh) 体感游戏的实现方法、装置、设备及存储介质
CN116310076A (zh) 基于神经辐射场的三维重建方法、装置、设备及存储介质
CN106875437A (zh) 一种面向rgbd三维重建的关键帧提取方法
CN116977522A (zh) 三维模型的渲染方法、装置、计算机设备和存储介质
CN107707899B (zh) 包含运动目标的多视角图像处理方法、装置及电子设备
CN107862733A (zh) 基于视线更新算法的大规模场景实时三维重建方法和系统
WO2023116430A1 (zh) 视频与城市信息模型三维场景融合方法、系统及存储介质
CN114863061A (zh) 一种远程监护医学图像处理的三维重建方法及系统
CN113989434A (zh) 一种人体三维重建方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20221201

Address after: 518000 2nd floor, building a, Tsinghua campus, Shenzhen University Town, Xili street, Nanshan District, Shenzhen City, Guangdong Province

Patentee after: Tsinghua Shenzhen International Graduate School

Address before: 518055 Nanshan Zhiyuan 1001, Xue Yuan Avenue, Nanshan District, Shenzhen, Guangdong.

Patentee before: TSINGHUA-BERKELEY SHENZHEN INSTITUTE

TR01 Transfer of patent right