CN113409444B - 三维重建方法、装置、电子设备及存储介质 - Google Patents

三维重建方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113409444B
CN113409444B CN202110556202.4A CN202110556202A CN113409444B CN 113409444 B CN113409444 B CN 113409444B CN 202110556202 A CN202110556202 A CN 202110556202A CN 113409444 B CN113409444 B CN 113409444B
Authority
CN
China
Prior art keywords
image
processed
information
pose
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110556202.4A
Other languages
English (en)
Other versions
CN113409444A (zh
Inventor
陈天
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202110556202.4A priority Critical patent/CN113409444B/zh
Publication of CN113409444A publication Critical patent/CN113409444A/zh
Priority to US17/651,318 priority patent/US20220375164A1/en
Application granted granted Critical
Publication of CN113409444B publication Critical patent/CN113409444B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本公开关于一种三维重建方法、装置、电子设备及存储介质，涉及计算机技术领域。该方法包括：获取待重建对象的图像序列，其中，图像序列为单目的图像采集器对待重建对象进行图像采集得到的连续图像帧；针对图像序列中的待处理图像，提取待处理图像的深度信息；根据参考图像中各个特征点的世界坐标信息、待处理图像中各个特征点的图像坐标信息、以及待处理图像的旋转位姿信息，对待处理图像进行平移位姿信息估计，得到待处理图像的平移位姿信息；根据图像序列中各帧图像的深度信息、旋转位姿信息以及平移位姿信息，生成点云图，并进行三维重建，从而仅结合单目的图像采集器实现对待重建对象的三维重建，降低成本，适应性好，且扩展性好。

Description

三维重建方法、装置、电子设备及存储介质
技术领域
本公开涉及计算机技术领域，尤其涉及一种三维重建方法、装置、电子设备及存储介质。
背景技术
目前，在移动终端上做三维重建时，需要在移动终端上安装深度传感器，例如深度相机等，来获取图像的深度信息；进而结合图像以及图像的深度信息，确定移动终端的位姿信息；进而结合移动终端的位姿信息、图像以及图像的深度信息，对图像中的对象进行三维重建。
上述方法中，需要在移动终端上安装深度传感器，成本高，适应性差；且深度传感器的量程有限，扩展性差。
发明内容
本公开提供一种三维重建方法、装置、电子设备及存储介质，以至少解决相关技术中需要在移动终端上安装深度传感器，成本高，适应性差，扩展性差的问题。
本公开的技术方案如下：
获取待重建对象的图像序列，其中，所述图像序列，为单目的图像采集器对所述待重建对象进行图像采集得到的连续图像帧；针对所述图像序列中的待处理图像，提取所述待处理图像的深度信息；根据参考图像中各个特征点的世界坐标信息、所述待处理图像中所述各个特征点的图像坐标信息、以及所述待处理图像的旋转位姿信息，对所述待处理图像进行平移位姿信息估计，得到所述待处理图像的平移位姿信息；其中，所述参考图像，为所述图像序列中对应的采集时间点位于所述待处理图像之前的相邻图像；根据所述图像序列中各帧图像的深度信息、旋转位姿信息以及平移位姿信息，生成点云图；根据所述点云图，对所述待重建对象进行三维重建。
作为本公开实施例的第一种可能的情况，在所述根据参考图像中各个特征点的世界坐标信息、所述待处理图像中所述各个特征点的图像坐标信息、以及所述待处理图像的旋转位姿信息，对所述待处理图像进行平移位姿信息估计，得到所述待处理图像的平移位姿信息之前，还包括：获取所述图像采集器采集所述待处理图像时的惯性测量信息，其中，所述惯性测量信息中包括所述旋转位姿信息。
作为本公开实施例的第二种可能的情况，所述根据参考图像中各个特征点的世界坐标信息、所述待处理图像中所述各个特征点的图像坐标信息、以及所述待处理图像的旋转位姿信息，对所述待处理图像进行平移位姿信息估计，得到所述待处理图像的平移位姿信息，包括：获取所述参考图像中所述各个特征点的世界坐标信息；对所述参考图像中的所述各个特征点进行光流跟踪，确定所述待处理图像中所述各个特征点的图像坐标信息；以所述待处理图像的平移位姿信息作为变量，以所述参考图像中所述各个特征点的世界坐标信息、所述待处理图像中所述各个特征点的图像坐标信息、以及所述待处理图像的旋转位姿信息为参数，以六自由度位姿约束为条件，构建方程组，求解得到所述待处理图像的平移位姿信息。
作为本公开实施例的第三种可能的情况，所述根据所述图像序列中各帧图像的深度信息、旋转位姿信息以及平移位姿信息，生成点云图，包括：针对所述图像序列中的每帧待处理图像，根据所述待处理图像的旋转位姿信息、所述待处理图像的平移位姿信息、以及所述图像序列中首帧图像对应的图像采集器位置信息，确定所述待处理图像对应的图像采集器位置信息；根据所述待处理图像对应的图像采集器位置信息、以及所述待处理图像的深度信息，确定所述待处理图像中各个像素点的世界坐标信息；根据所述各帧图像中各个像素点的世界坐标信息，生成所述点云图。
作为本公开实施例的第四种可能的情况，所述根据所述点云图，对所述待重建对象进行三维重建，包括：对所述点云图进行空间网格划分，以获取各个体素块；针对所述图像序列中各帧图像的每个像素点，以所述像素点为起点对所述点云图进行射线投射处理，确定所述射线穿过的体素块；根据以各个像素点为起点的射线穿过的体素块，确定各个等值面以及对应的位置信息，其中，所述等值面中各个体素块的TSDF值相同，所述体素块的TSDF值根据所述体素块至所述像素点的射线长度确定；根据所述各个等值面以及对应的位置信息，绘制所述待重建对象的三维模型。
作为本公开实施例的第五种可能的情况，在所述针对所述图像序列中各帧图像的每个像素点，以所述像素点为起点对所述点云图进行射线投射处理，确定所述射线穿过的体素块之后，还包括：针对以每个像素点为起点穿过的体素块，根据所述体素块的空间位置信息，确定所述体素块对应的哈希值；根据所述体素块对应的哈希值查找哈希表，确定所述体素块的目标存储区域；其中，所述哈希表中存储有哈希值与存储区域之间的映射关系；在所述目标存储区域中查找所述体素块。
根据本公开实施例的第二方面，提供一种三维重建装置，包括：获取模块，被配置为执行获取待重建对象的图像序列，其中，所述图像序列，为单目的图像采集器对所述待重建对象进行图像采集得到的连续图像帧；提取模块，被配置为执行针对所述图像序列中的待处理图像，提取所述待处理图像的深度信息；确定模块，被配置为执行根据参考图像中各个特征点的世界坐标信息、所述待处理图像中所述各个特征点的图像坐标信息、以及所述待处理图像的旋转位姿信息，对所述待处理图像进行平移位姿信息估计，得到所述待处理图像的平移位姿信息；其中，所述参考图像，为所述图像序列中对应的采集时间点位于所述待处理图像之前的相邻图像；生成模块，被配置为执行根据所述图像序列中各帧图像的深度信息、旋转位姿信息以及平移位姿信息，生成点云图；重建模块，被配置为执行根据所述点云图，对所述待重建对象进行三维重建。
作为本公开实施例的第一种可能的情况，所述获取模块，还被配置为执行获取所述图像采集器采集所述待处理图像时的惯性测量信息，其中，所述惯性测量信息中包括所述旋转位姿信息。
作为本公开实施例的第二种可能的情况，所述确定模块具体被配置为执行，获取所述参考图像中所述各个特征点的世界坐标信息；对所述参考图像中的所述各个特征点进行光流跟踪，确定所述待处理图像中所述各个特征点的图像坐标信息；以所述待处理图像的平移位姿信息作为变量，以所述参考图像中所述各个特征点的世界坐标信息、所述待处理图像中所述各个特征点的图像坐标信息、以及所述待处理图像的旋转位姿信息为参数，以六自由度位姿约束为条件，构建方程组，求解得到所述待处理图像的平移位姿信息。
作为本公开实施例的第三种可能的情况，所述生成模块具体被配置为执行，针对所述图像序列中的每帧待处理图像，根据所述待处理图像的旋转位姿信息、所述待处理图像的平移位姿信息、以及所述图像序列中首帧图像对应的图像采集器位置信息，确定所述待处理图像对应的图像采集器位置信息；根据所述待处理图像对应的图像采集器位置信息、以及所述待处理图像的深度信息，确定所述待处理图像中各个像素点的世界坐标信息；根据所述各帧图像中各个像素点的世界坐标信息，生成所述点云图。
作为本公开实施例的第四种可能的情况，所述重建模块具体被配置为执行，对所述点云图进行空间网格划分，以获取各个体素块；针对所述图像序列中各帧图像的每个像素点，以所述像素点为起点对所述点云图进行射线投射处理，确定所述射线穿过的体素块；根据以各个像素点为起点的射线穿过的体素块，确定各个等值面以及对应的位置信息，其中，所述等值面中各个体素块的TSDF值相同，所述体素块的TSDF值根据所述体素块至所述像素点的射线长度确定；根据所述各个等值面以及对应的位置信息，绘制所述待重建对象的三维模型。
作为本公开实施例的第五种可能的情况，所述重建模块具体还被配置为执行，针对以每个像素点为起点穿过的体素块，根据所述体素块的空间位置信息，确定所述体素块对应的哈希值；根据所述体素块对应的哈希值查找哈希表，确定所述体素块的目标存储区域；其中，所述哈希表中存储有哈希值与存储区域之间的映射关系；在所述目标存储区域中查找所述体素块。
根据本公开实施例的第三方面，提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现本公开第一方面实施例提出的三维重建方法。
根据本公开实施例的第四方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行本公开第一方面实施例提出的三维重建方法。
根据本公开实施例的第五方面，提供一种计算机程序产品，该计算机程序由电子设备的处理器执行时，使得电子设备能够执行本公开第一方面实施例提出的三维重建方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
通过获取待重建对象的图像序列，其中，图像序列，为单目的图像采集器对待重建对象进行图像采集得到的连续图像帧；针对图像序列中的待处理图像，提取待处理图像的深度信息；根据参考图像中各个特征点的世界坐标信息、待处理图像中各个特征点的图像坐标信息、以及待处理图像的旋转位姿信息，对待处理图像进行平移位姿信息估计，得到待处理图像的平移位姿信息；其中，参考图像，为图像序列中对应的采集时间点位于待处理图像之前的相邻图像；根据图像序列中各帧图像的深度信息、旋转位姿信息以及平移位姿信息，生成点云图；根据点云图，对待重建对象进行三维重建，从而在避免使用深度传感器的情况下，仅结合单目的图像采集器实现对待重建对象的三维重建，克服深度传感器量程有限的缺陷，降低成本，适应性好，且扩展性好。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例所示出的三维重建方法的流程图；
图2是深度网络模型的结构示意图；
图3是根据一示例性实施例示出的另一种三维重建方法的流程图；
图4是15种基本模式的示意图；
图5是根据一示例性实施例所示出的三维重建装置的框图；
图6是根据一示例性实施例示出的一种用于三维重建的电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
目前，在移动终端上做三维重建时，需要在移动终端上安装深度传感器，例如深度相机等，来获取图像的深度信息；进而结合图像以及图像的深度信息，确定移动终端的位姿信息；进而结合移动终端的位姿信息、图像以及图像的深度信息，对图像中的对象进行三维重建。上述方法中，需要在移动终端上安装深度传感器，成本高，适应性差；且深度传感器的量程有限，扩展性差。
本公开主要针对相关技术中需要在移动终端上安装深度传感器，成本高，适应性差，扩展性差的问题，提出一种三维重建方法。本公开实施例的三维重建方法，通过获取待重建对象的图像序列，其中，图像序列，为单目的图像采集器对待重建对象进行图像采集得到的连续图像帧；针对图像序列中的待处理图像，提取待处理图像的深度信息；根据参考图像中各个特征点的世界坐标信息、待处理图像中各个特征点的图像坐标信息、以及待处理图像的旋转位姿信息，对待处理图像进行平移位姿信息估计，得到待处理图像的平移位姿信息；其中，参考图像，为图像序列中对应的采集时间点位于待处理图像之前的相邻图像；根据图像序列中各帧图像的深度信息、旋转位姿信息以及平移位姿信息，生成点云图；根据点云图，对待重建对象进行三维重建，从而在避免使用深度传感器的情况下，仅结合单目的图像采集器实现对待重建对象的三维重建，克服深度传感器量程有限的缺陷，降低成本，适应性好，且扩展性好。
下面结合附图，对本公开实施例提供的三维重建方法进行详细说明。
图1是根据一示例性实施例所示出的三维重建方法的流程图。
需要说明的是，本公开实施例的三维重建方法的执行主体可以为三维重建装置，该三维重建装置，可以配置在未安装有深度传感器的电子设备中，以在电子设备上对待重建对象进行三维重建。
其中，电子设备，可以是任意能够进行数据处理的静止或移动计算设备，例如笔记本电脑、可穿戴设备等移动计算设备，或者台式计算机等静止的计算设备，或者其它类型的计算设备，本公开实施例对此不作限定。
如图1所示，三维重建方法可以包括以下步骤101-105。
在步骤101中，获取待重建对象的图像序列，其中，图像序列，为单目的图像采集器对待重建对象进行图像采集得到的连续图像帧。
其中，待重建对象，例如可以为任意一个物品，或者任意一个空间区域。图像序列，为单目的图像采集器从各个角度对待重建对象进行图像采集得到的连续图像帧。其中，单目的图像采集器例如可以为移动计算设备上的单个摄像头。
在步骤102中，针对图像序列中的待处理图像，提取待处理图像的深度信息。
其中，三维重建装置提取待处理图像的深度信息的方式可以为，将待处理图像输入预设的深度网络模型，以获取待处理图像的深度信息。其中，深度网络模型的结构示意图可以如图2所示，在图2中，深度网络模型的结构可以包括：特征提取模块、特征融合模块和预测模块。特征提取模块主要用于对图像进行从底层到高层的特征提取；特征融合模块用来逐步恢复图像分辨率以及缩减通道数，并融合了特征提取模块提取得到的高层特征和底层特征，得到融合特征；预测模块主要用于基于融合特征中每个像素的特征，预测图像中该像素的深度值。
其中，深度网络模型的训练方式可以为，获取训练数据，其中，所述训练数据包括：各个样本图像以及对应的深度信息；采用所述各个样本图像以及对应的深度信息，对初始的深度网络模型进行训练，得到训练好的深度网络模型。
在步骤103中，根据参考图像中各个特征点的世界坐标信息、待处理图像中各个特征点的图像坐标信息、以及待处理图像的旋转位姿信息，对待处理图像进行平移位姿信息估计，得到待处理图像的平移位姿信息；其中，参考图像，为图像序列中对应的采集时间点位于待处理图像之前的相邻图像。
在示例性实施例中，单目的图像采集器上可以配置有惯性测量单元(Inertialmeasurement unit，IMU)，用于实时测量图像采集器的惯性测量信息，从而能够获取到图像采集器采集待处理图像时的惯性测量信息。其中，惯性测量信息可以包括旋转位姿信息。需要说明的是，旋转位姿信息，为图像采集器的第一姿态相对于第二姿态的角度偏移信息。其中，第一姿态为图像采集器采集待处理图像时的姿态；第二姿态为图像采集器采集图像序列中首帧图像时的姿态。
在上述实施例中，通过在单目的图像采集器上设置惯性测量单元，从而可以直接的获取到图像采集器采集待处理图像时的旋转位姿信息，进而方便结合旋转位姿信息来确定平移位姿信息，从而提高确定平移位姿信息的速率以及准确度。
在示例性实施例中，由于待重建对象的位置固定，不随图像采集器的移动而移动，因此，图像采集器连续拍摄得到的多张图像中所述待重建对象的世界坐标信息是相同的。另外，图像采集器在连续拍摄过程中，拍摄相邻两张图像时图像采集器的姿态变化是有限的，不会出现大幅度变化，因此，可以基于此构建六自由度位姿约束，以六自由度位姿约束为条件来求解平移位姿信息，能够提高平移位姿信息的求解准确度。其中，六自由度指的是，世界坐标系中沿x、y、z三个直角坐标轴方向的移动自由度和绕这三个直角坐标轴的转动自由度。因此，三维重建装置执行步骤103的过程例如可以为，获取参考图像中各个特征点的世界坐标信息；对参考图像中的各个特征点进行光流跟踪，确定待处理图像中各个特征点的图像坐标信息；以待处理图像的平移位姿信息作为变量，以参考图像中各个特征点的世界坐标信息、待处理图像中各个特征点的图像坐标信息、以及待处理图像的旋转位姿信息为参数，以六自由度位姿约束为条件，构建方程组，求解得到待处理图像的平移位姿信息。
在上述实施例中，采用上述求解原理求解待处理图像的平移位姿信息的算法，例如可以为多点透视成像算法(pespective-n-point，PNP)。其中，图像中各个特征点的提取方式可以为，对图像进行GFTT(good feature to track)特征点提取，以获取图像中的各个特征点。需要说明的是，平移位姿信息，为图像采集器的第一姿态相对于第二姿态的位置偏移信息。其中，第一姿态为图像采集器采集待处理图像时的姿态；第二姿态为图像采集器采集图像序列中首帧图像时的姿态。
在步骤104中，根据图像序列中各帧图像的深度信息、旋转位姿信息以及平移位姿信息，生成点云图。
在示例性实施例中，根据图像序列中各帧图像的深度信息、旋转位姿信息以及平移位姿信息，可以直接确定各帧图像中各个像素点的世界坐标信息，进而结合各帧图像中各个像素点的世界坐标信息来生成点云图，能够提高生成点云图的速率和准确度。因此，三维重建装置执行步骤104的过程例如可以为，针对图像序列中的每帧待处理图像，根据待处理图像的旋转位姿信息、待处理图像的平移位姿信息、以及图像序列中首帧图像对应的图像采集器位置信息，确定待处理图像对应的图像采集器位置信息；根据待处理图像对应的图像采集器位置信息、以及待处理图像的深度信息，确定待处理图像中各个像素点的世界坐标信息；根据各帧图像中各个像素点的世界坐标信息，生成点云图。
在上述实施例中，待处理图像的旋转位姿信息和平移位姿信息，为第一位姿与第二位姿之间的偏移信息，其中，第一姿态为图像采集器采集待处理图像时的姿态；第二姿态为图像采集器采集图像序列中首帧图像时的姿态。因此，结合待处理图像的旋转位姿信息、平移位姿信息以及图像序列中首帧图像对应的图像采集器位置信息，就能够确定待处理图像对应的图像采集器位置信息。
在上述实施例中，待处理图像的深度信息，指的是待处理图像中各个像素点相对于图像采集器在固定坐标轴上或者多个坐标轴确定的固定方位上的距离偏移信息，因此，结合待处理图像对应的图像采集器位置信息、以及待处理图像的深度信息，就能够确定待处理图像中各个像素点的世界坐标信息。
在步骤105中，根据点云图，对待重建对象进行三维重建。
本公开实施例的三维重建方法，通过获取待重建对象的图像序列，其中，图像序列，为单目的图像采集器对待重建对象进行图像采集得到的连续图像帧；针对图像序列中的待处理图像，提取待处理图像的深度信息；根据参考图像中各个特征点的世界坐标信息、待处理图像中各个特征点的图像坐标信息、以及待处理图像的旋转位姿信息，对待处理图像进行平移位姿信息估计，得到待处理图像的平移位姿信息；其中，参考图像，为图像序列中对应的采集时间点位于待处理图像之前的相邻图像；根据图像序列中各帧图像的深度信息、旋转位姿信息以及平移位姿信息，生成点云图；根据点云图，对待重建对象进行三维重建，从而在避免使用深度传感器的情况下，仅结合单目的图像采集器实现对待重建对象的三维重建，克服深度传感器量程有限的缺陷，降低成本，适应性好，且扩展性好。
下面结合图3，对本公开实施例提供的三维重建方法中根据点云图，对待重建对象进行三维重建的过程进行说明。
图3是根据一示例性实施例示出的另一种三维重建方法的流程图。
如图3所示，图1所示的步骤105具体可以包括以下步骤301-304。
在步骤301中，对点云图进行空间网格划分，以获取各个体素块。
在示例性实施例中，可以设置好体素块的数量，按照该数量对点云图进行空间网格划分，以获取该数量个体素块；或者，可以设置好体素块的尺寸，按照该尺寸对点云图进行空间网格划分，以获取到多个具有该尺寸的体素块。其中，一个体素块中可以包括多个体素，体素为体素块中的最小块结构。
在步骤302中，针对图像序列中各帧图像的每个像素点，以像素点为起点对点云图进行射线投射处理，确定射线穿过的体素块。
在示例性实施例中，为了方便体素块的存储和查找，提高查找效率，步骤302之后，三维重建装置还可以执行以下步骤：针对以每个像素点为起点穿过的体素块，根据体素块的空间位置信息，确定体素块对应的哈希值；根据体素块对应的哈希值查找哈希表，确定体素块的目标存储区域；其中，哈希表中存储有哈希值与存储区域之间的映射关系；在目标存储区域中查找体素块。其中，体素块的存储方式为，按照对应的哈希值存在与哈希值对应的存储区域中。
在上述实施例中，根据体素块的空间位置信息，确定体素块对应的哈希值的方式为，确定体素块的左下角像素点的世界坐标信息，该世界坐标信息中包括X轴坐标、Y轴坐标和Z轴坐标；确定每个轴对应的预设编码值，确定存储区域的数量；对各个轴的坐标以及预设编码值进行乘积并求和处理，对处理结果与存储区域的数量进行求余数处理，得到该体素块对应的哈希值。
在步骤303中，根据以各个像素点为起点的射线穿过的体素块，确定各个等值面以及对应的位置信息，其中，所述等值面中各个体素块的TSDF值相同，所述体素块的TSDF值根据所述体素块至所述像素点的射线长度确定。
在示例性实施例中，每个体素块对应有一个带符号的阶段距离函数值(truncatedsigned distance function，TSDF)以及权重。其中，体素块的TSDF值，由体素块中各个体素的TSDF值以及权重经过融合处理得到。
在上述实施例中，确定等值面后，还需要采用体素块中的体素来精确表示等值面。其中，具体地，可以根据体素每一顶点与等值面的相对位置，将等值面与体素边的交点连接，确定等值面在体素内的一个逼近表示。对于每个体素来说，每个顶点有两种情况，即(大于或者小于)当前等值面的值，8个顶点共256中情况，考虑到旋转对称性，重新分类后可得到如图4所示的15中基本模式。将这些情况编码成体素状态表，根据当前体素顶点状态索引们可以快速计算出体素内的等值面与边的位置坐标。最后利用向量叉乘求出等值面每个顶点的法相，进而确定等值面的位置信息。
在步骤304中，根据各个等值面以及对应的位置信息，绘制待重建对象的三维模型。
本公开实施例的三维重建方法，通过获取待重建对象的图像序列，其中，图像序列，为单目的图像采集器对待重建对象进行图像采集得到的连续图像帧；针对图像序列中的待处理图像，提取待处理图像的深度信息；根据参考图像中各个特征点的世界坐标信息、待处理图像中各个特征点的图像坐标信息、以及待处理图像的旋转位姿信息，对待处理图像进行平移位姿信息估计，得到待处理图像的平移位姿信息；其中，参考图像，为图像序列中对应的采集时间点位于待处理图像之前的相邻图像；根据图像序列中各帧图像的深度信息、旋转位姿信息以及平移位姿信息，生成点云图；对点云图进行空间网格划分，以获取各个体素块；针对图像序列中各帧图像的每个像素点，以像素点为起点对点云图进行射线投射处理，确定射线穿过的体素块；根据以各个像素点为起点的射线穿过的体素块，确定各个等值面以及对应的位置信息，其中，等值面中各个体素块的TSDF值相同，体素块的TSDF值根据体素块至像素点的射线长度确定；根据各个等值面以及对应的位置信息，绘制待重建对象的三维模型，从而在避免使用深度传感器的情况下，仅结合单目的图像采集器实现对待重建对象的三维重建，克服深度传感器量程有限的缺陷，降低成本，适应性好，且扩展性好，且能够通过射线投射处理，准确找到等值面，提高三维重建效率。
为了实现上述实施例，本公开实施例提出了一种三维重建装置。
图5是根据一示例性实施例所示出的三维重建装置的框图。
参照图5，该三维重建装置500，可以包括：获取模块510、提取模块520、确定模块530、生成模块540和重建模块550。
其中，获取模块510，被配置为执行获取待重建对象的图像序列，其中，所述图像序列，为单目的图像采集器对所述待重建对象进行图像采集得到的连续图像帧；
提取模块520，被配置为执行针对所述图像序列中的待处理图像，提取所述待处理图像的深度信息；
确定模块530，被配置为执行根据参考图像中各个特征点的世界坐标信息、所述待处理图像中所述各个特征点的图像坐标信息、以及所述待处理图像的旋转位姿信息，对所述待处理图像进行平移位姿信息估计，得到所述待处理图像的平移位姿信息；其中，所述参考图像，为所述图像序列中对应的采集时间点位于所述待处理图像之前的相邻图像；
生成模块540，被配置为执行根据所述图像序列中各帧图像的深度信息、旋转位姿信息以及平移位姿信息，生成点云图；
重建模块550，被配置为执行根据所述点云图，对所述待重建对象进行三维重建。
在示例性实施例中，所述获取模块510，还被配置为执行获取所述图像采集器采集所述待处理图像时的惯性测量信息，其中，所述惯性测量信息中包括所述旋转位姿信息。
在示例性实施例中，所述确定模块530具体被配置为执行，获取所述参考图像中所述各个特征点的世界坐标信息；对所述参考图像中的所述各个特征点进行光流跟踪，确定所述待处理图像中所述各个特征点的图像坐标信息；以所述待处理图像的平移位姿信息作为变量，以所述参考图像中所述各个特征点的世界坐标信息、所述待处理图像中所述各个特征点的图像坐标信息、以及所述待处理图像的旋转位姿信息为参数，以六自由度位姿约束为条件，构建方程组，求解得到所述待处理图像的平移位姿信息。
在示例性实施例中，所述生成模块540具体被配置为执行，针对所述图像序列中的每帧待处理图像，根据所述待处理图像的旋转位姿信息、所述待处理图像的平移位姿信息、以及所述图像序列中首帧图像对应的图像采集器位置信息，确定所述待处理图像对应的图像采集器位置信息；根据所述待处理图像对应的图像采集器位置信息、以及所述待处理图像的深度信息，确定所述待处理图像中各个像素点的世界坐标信息；根据所述各帧图像中各个像素点的世界坐标信息，生成所述点云图。
在示例性实施例中，所述重建模块550具体被配置为执行，对所述点云图进行空间网格划分，以获取各个体素块；针对所述图像序列中各帧图像的每个像素点，以所述像素点为起点对所述点云图进行射线投射处理，确定所述射线穿过的体素块；根据以各个像素点为起点的射线穿过的体素块，确定各个等值面以及对应的位置信息，其中，所述等值面中各个体素块的TSDF值相同，所述体素块的TSDF值根据所述体素块至所述像素点的射线长度确定；根据所述各个等值面以及对应的位置信息，绘制所述待重建对象的三维模型。
在示例性实施例中，所述重建模块550具体还被配置为执行，针对以每个像素点为起点穿过的体素块，根据所述体素块的空间位置信息，确定所述体素块对应的哈希值；根据所述体素块对应的哈希值查找哈希表，确定所述体素块的目标存储区域；其中，所述哈希表中存储有哈希值与存储区域之间的映射关系；在所述目标存储区域中查找所述体素块。
需要说明的是，本公开实施例的三维重建装置，可以执行前述实施例中的三维重建方法，该三维重建装置可以为电子设备，也可以配置在电子设备中，以在电子设备中进行三维重建。
其中，电子设备，可以是任意能够进行数据处理的静止或移动计算设备，例如笔记本电脑、可穿戴设备等移动计算设备，或者台式计算机等静止的计算设备，或者其它类型的计算设备，本公开实施例对此不作限定。
需要说明的是，关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本公开实施例的三维重建装置，通过获取待重建对象的图像序列，其中，图像序列，为单目的图像采集器对待重建对象进行图像采集得到的连续图像帧；针对图像序列中的待处理图像，提取待处理图像的深度信息；根据参考图像中各个特征点的世界坐标信息、待处理图像中各个特征点的图像坐标信息、以及待处理图像的旋转位姿信息，对待处理图像进行平移位姿信息估计，得到待处理图像的平移位姿信息；其中，参考图像，为图像序列中对应的采集时间点位于待处理图像之前的相邻图像；根据图像序列中各帧图像的深度信息、旋转位姿信息以及平移位姿信息，生成点云图；根据点云图，对待重建对象进行三维重建，从而在避免使用深度传感器的情况下，仅结合单目的图像采集器实现对待重建对象的三维重建，克服深度传感器量程有限的缺陷，降低成本，适应性好，且扩展性好。
为了实现上述实施例，本公开实施例还提出了一种电子设备。
其中，电子设备200包括：
处理器220；
用于存储处理器220可执行指令的存储器210；
其中，处理器220被配置为执行指令，以实现如前所述的三维重建方法。
作为一种示例，图6是根据一示例性实施例示出的一种用于三维重建的电子设备200的框图，如图6所示，上述电子设备200，还可以包括：
存储器210及处理器220，连接不同组件(包括存储器210和处理器220)的总线230，存储器210存储有计算机程序，当处理器220执行所述程序时实现本公开实施例所述的三维重建方法。
总线230表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
电子设备200典型地包括多种计算机可读介质。这些介质可以是任何能够被电子设备200访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器210还可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)240和/或高速缓存存储器250。电子设备200可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统260可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线230相连。存储器210可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本公开各实施例的功能。
具有一组(至少一个)程序模块270的程序/实用工具280，可以存储在例如存储器210中，这样的程序模块270包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块270通常执行本公开所描述的实施例中的功能和/或方法。
电子设备200也可以与一个或多个外部设备290(例如键盘、指向设备、显示器291等)通信，还可与一个或者多个使得用户能与该电子设备200交互的设备通信，和/或与使得该电子设备200能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口292进行。并且，电子设备200还可以通过网络适配器293与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图6所示，网络适配器293通过总线230与电子设备200的其它模块通信。应当明白，尽管图6中未示出，可以结合电子设备200使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理器220通过运行存储在存储器210中的程序，从而执行各种功能应用以及数据处理。
需要说明的是，本实施例的电子设备的实施过程和技术原理参见前述对本公开实施例的三维重建方法的解释说明，此处不再赘述。
本公开实施例提供的电子设备，通过获取待重建对象的图像序列，其中，图像序列，为单目的图像采集器对待重建对象进行图像采集得到的连续图像帧；针对图像序列中的待处理图像，提取待处理图像的深度信息；根据参考图像中各个特征点的世界坐标信息、待处理图像中各个特征点的图像坐标信息、以及待处理图像的旋转位姿信息，对待处理图像进行平移位姿信息估计，得到待处理图像的平移位姿信息；其中，参考图像，为图像序列中对应的采集时间点位于待处理图像之前的相邻图像；根据图像序列中各帧图像的深度信息、旋转位姿信息以及平移位姿信息，生成点云图；根据点云图，对待重建对象进行三维重建，从而在避免使用深度传感器的情况下，仅结合单目的图像采集器实现对待重建对象的三维重建，克服深度传感器量程有限的缺陷，降低成本，适应性好，且扩展性好。
为了实现上述实施例，本公开实施例还提出了一种计算机可读存储介质。
其中，当计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如前所述的三维重建方法。
为了实现上述实施例，本公开还提供一种计算机程序产品，该计算机程序由电子设备的处理器执行时，使得电子设备能够执行如前所述的三维重建方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (12)

1.一种三维重建方法，其特征在于，包括：
获取待重建对象的图像序列，其中，所述图像序列，为单目的图像采集器对所述待重建对象进行图像采集得到的连续图像帧；
针对所述图像序列中的待处理图像，提取所述待处理图像的深度信息；
根据参考图像中各个特征点的世界坐标信息、所述待处理图像中所述各个特征点的图像坐标信息、以及所述待处理图像的旋转位姿信息，对所述待处理图像进行平移位姿信息估计，得到所述待处理图像的平移位姿信息；其中，所述参考图像，为所述图像序列中对应的采集时间点位于所述待处理图像之前的相邻图像所述旋转位姿信息为图像采集器的第一姿态相对于第二姿态的角度偏移信息，所述第一姿态为所述图像采集器采集所述待处理图像时的姿态；所述第二姿态为所述图像采集器采集所述图像序列中首帧图像时的姿态；所述平移位姿信息为所述图像采集器的第一姿态相对于第二姿态的位置偏移信息，所述第一姿态为所述图像采集器采集所述待处理图像时的姿态；所述第二姿态为所述图像采集器采集所述图像序列中首帧图像时的姿态；
根据所述图像序列中各帧图像的深度信息、旋转位姿信息以及平移位姿信息，生成点云图；
根据所述点云图，对所述待重建对象进行三维重建；
其中，所述根据参考图像中各个特征点的世界坐标信息、所述待处理图像中所述各个特征点的图像坐标信息、以及所述待处理图像的旋转位姿信息，对所述待处理图像进行平移位姿信息估计，得到所述待处理图像的平移位姿信息，包括：
获取所述参考图像中所述各个特征点的世界坐标信息；
对所述参考图像中的所述各个特征点进行光流跟踪，确定所述待处理图像中所述各个特征点的图像坐标信息；
以所述待处理图像的平移位姿信息作为变量，以所述参考图像中所述各个特征点的世界坐标信息、所述待处理图像中所述各个特征点的图像坐标信息、以及所述待处理图像的旋转位姿信息为参数，以六自由度位姿约束为条件，构建方程组，求解得到所述待处理图像的平移位姿信息。
2.根据权利要求1所述的三维重建方法，其特征在于，在所述根据参考图像中各个特征点的世界坐标信息、所述待处理图像中所述各个特征点的图像坐标信息、以及所述待处理图像的旋转位姿信息，对所述待处理图像进行平移位姿信息估计，得到所述待处理图像的平移位姿信息之前，还包括：
获取所述图像采集器采集所述待处理图像时的惯性测量信息，其中，所述惯性测量信息中包括所述旋转位姿信息。
3.根据权利要求1所述的三维重建方法，其特征在于，所述根据所述图像序列中各帧图像的深度信息、旋转位姿信息以及平移位姿信息，生成点云图，包括：
针对所述图像序列中的每帧待处理图像，根据所述待处理图像的旋转位姿信息、所述待处理图像的平移位姿信息、以及所述图像序列中首帧图像对应的图像采集器位置信息，确定所述待处理图像对应的图像采集器位置信息；
根据所述待处理图像对应的图像采集器位置信息、以及所述待处理图像的深度信息，确定所述待处理图像中各个像素点的世界坐标信息；
根据所述各帧图像中各个像素点的世界坐标信息，生成所述点云图。
4.根据权利要求1所述的三维重建方法，其特征在于，所述根据所述点云图，对所述待重建对象进行三维重建，包括：
对所述点云图进行空间网格划分，以获取各个体素块；
针对所述图像序列中各帧图像的每个像素点，以所述像素点为起点对所述点云图进行射线投射处理，确定所述射线穿过的体素块；
根据以各个像素点为起点的射线穿过的体素块，确定各个等值面以及对应的位置信息，其中，所述等值面中各个体素块的TSDF值相同，所述体素块的TSDF值根据所述体素块至所述像素点的射线长度确定；
根据所述各个等值面以及对应的位置信息，绘制所述待重建对象的三维模型。
5.根据权利要求4所述的三维重建方法，其特征在于，在所述针对所述图像序列中各帧图像的每个像素点，以所述像素点为起点对所述点云图进行射线投射处理，确定所述射线穿过的体素块之后，还包括：
针对以每个像素点为起点穿过的体素块，根据所述体素块的空间位置信息，确定所述体素块对应的哈希值；
根据所述体素块对应的哈希值查找哈希表，确定所述体素块的目标存储区域；其中，所述哈希表中存储有哈希值与存储区域之间的映射关系；
在所述目标存储区域中查找所述体素块。
6.一种三维重建装置，其特征在于，包括：
获取模块，被配置为执行获取待重建对象的图像序列，其中，所述图像序列，为单目的图像采集器对所述待重建对象进行图像采集得到的连续图像帧；
提取模块，被配置为执行针对所述图像序列中的待处理图像，提取所述待处理图像的深度信息；
确定模块，被配置为执行根据参考图像中各个特征点的世界坐标信息、所述待处理图像中所述各个特征点的图像坐标信息、以及所述待处理图像的旋转位姿信息，对所述待处理图像进行平移位姿信息估计，得到所述待处理图像的平移位姿信息；其中，所述参考图像，为所述图像序列中对应的采集时间点位于所述待处理图像之前的相邻图像；所述旋转位姿信息为图像采集器的第一姿态相对于第二姿态的角度偏移信息，所述第一姿态为所述图像采集器采集所述待处理图像时的姿态；所述第二姿态为所述图像采集器采集所述图像序列中首帧图像时的姿态；所述平移位姿信息为所述图像采集器的第一姿态相对于第二姿态的位置偏移信息，所述第一姿态为所述图像采集器采集所述待处理图像时的姿态；所述第二姿态为所述图像采集器采集所述图像序列中首帧图像时的姿态
生成模块，被配置为执行根据所述图像序列中各帧图像的深度信息、旋转位姿信息以及平移位姿信息，生成点云图；
重建模块，被配置为执行根据所述点云图，对所述待重建对象进行三维重建；
所述确定模块具体被配置为执行，
获取所述参考图像中所述各个特征点的世界坐标信息；
对所述参考图像中的所述各个特征点进行光流跟踪，确定所述待处理图像中所述各个特征点的图像坐标信息；
以所述待处理图像的平移位姿信息作为变量，以所述参考图像中所述各个特征点的世界坐标信息、所述待处理图像中所述各个特征点的图像坐标信息、以及所述待处理图像的旋转位姿信息为参数，以六自由度位姿约束为条件，构建方程组，求解得到所述待处理图像的平移位姿信息。
7.根据权利要求6所述的三维重建装置，其特征在于，所述获取模块，还被配置为执行获取所述图像采集器采集所述待处理图像时的惯性测量信息，其中，所述惯性测量信息中包括所述旋转位姿信息。
8.根据权利要求6所述的三维重建装置，其特征在于，所述生成模块具体被配置为执行，
针对所述图像序列中的每帧待处理图像，根据所述待处理图像的旋转位姿信息、所述待处理图像的平移位姿信息、以及所述图像序列中首帧图像对应的图像采集器位置信息，确定所述待处理图像对应的图像采集器位置信息；
根据所述待处理图像对应的图像采集器位置信息、以及所述待处理图像的深度信息，确定所述待处理图像中各个像素点的世界坐标信息；
根据所述各帧图像中各个像素点的世界坐标信息，生成所述点云图。
9.根据权利要求6所述的三维重建装置，其特征在于，所述重建模块具体被配置为执行，
对所述点云图进行空间网格划分，以获取各个体素块；
针对所述图像序列中各帧图像的每个像素点，以所述像素点为起点对所述点云图进行射线投射处理，确定所述射线穿过的体素块；
根据以各个像素点为起点的射线穿过的体素块，确定各个等值面以及对应的位置信息，其中，所述等值面中各个体素块的TSDF值相同，所述体素块的TSDF值根据所述体素块至所述像素点的射线长度确定；
根据所述各个等值面以及对应的位置信息，绘制所述待重建对象的三维模型。
10.根据权利要求9所述的三维重建装置，其特征在于，所述重建模块具体还被配置为执行，
针对以每个像素点为起点穿过的体素块，根据所述体素块的空间位置信息，确定所述体素块对应的哈希值；
根据所述体素块对应的哈希值查找哈希表，确定所述体素块的目标存储区域；其中，所述哈希表中存储有哈希值与存储区域之间的映射关系；
在所述目标存储区域中查找所述体素块。
11.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至5中任一项所述的三维重建方法。
12.一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至5中任一项所述的三维重建方法。
CN202110556202.4A 2021-05-21 2021-05-21 三维重建方法、装置、电子设备及存储介质 Active CN113409444B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110556202.4A CN113409444B (zh) 2021-05-21 2021-05-21 三维重建方法、装置、电子设备及存储介质
US17/651,318 US20220375164A1 (en) 2021-05-21 2022-02-16 Method and apparatus for three dimensional reconstruction, electronic device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110556202.4A CN113409444B (zh) 2021-05-21 2021-05-21 三维重建方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113409444A CN113409444A (zh) 2021-09-17
CN113409444B true CN113409444B (zh) 2023-07-11

Family

ID=77679110

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110556202.4A Active CN113409444B (zh) 2021-05-21 2021-05-21 三维重建方法、装置、电子设备及存储介质

Country Status (2)

Country Link
US (1) US20220375164A1 (zh)
CN (1) CN113409444B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111598927B (zh) * 2020-05-18 2023-08-01 京东方科技集团股份有限公司 一种定位重建方法和装置
CN113838197A (zh) * 2021-11-29 2021-12-24 南京天辰礼达电子科技有限公司 区域重构方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019161813A1 (zh) * 2018-02-23 2019-08-29 清华-伯克利深圳学院筹备办公室 动态场景的三维重建方法以及装置和系统、服务器、介质
WO2019170164A1 (zh) * 2018-03-05 2019-09-12 清华-伯克利深圳学院筹备办公室 基于深度相机的三维重建方法、装置、设备及存储介质
CN110310362A (zh) * 2019-06-24 2019-10-08 中国科学院自动化研究所 基于深度图及imu的高动态场景三维重建方法、系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9367651B2 (en) * 2013-05-06 2016-06-14 Cherif Algreatly 3D wearable glove scanner
WO2018090250A1 (zh) * 2016-11-16 2018-05-24 深圳市大疆创新科技有限公司 生成三维点云的方法、装置、计算机系统和移动设备
CN108537845B (zh) * 2018-04-27 2023-01-03 腾讯科技（深圳）有限公司 位姿确定方法、装置及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019161813A1 (zh) * 2018-02-23 2019-08-29 清华-伯克利深圳学院筹备办公室 动态场景的三维重建方法以及装置和系统、服务器、介质
WO2019170164A1 (zh) * 2018-03-05 2019-09-12 清华-伯克利深圳学院筹备办公室 基于深度相机的三维重建方法、装置、设备及存储介质
CN110310362A (zh) * 2019-06-24 2019-10-08 中国科学院自动化研究所 基于深度图及imu的高动态场景三维重建方法、系统

Also Published As

Publication number Publication date
CN113409444A (zh) 2021-09-17
US20220375164A1 (en) 2022-11-24

Similar Documents

Publication Publication Date Title
Arth et al. Real-time self-localization from panoramic images on mobile devices
CN108898676B (zh) 一种虚实物体之间碰撞及遮挡检测方法及系统
US7663649B2 (en) Information processing device and method for aiding control operations relating to controlling the position and orientation of a virtual object and method for changing the positioning and orientation of a virtual object
Pollefeys et al. From images to 3D models
CN108805917A (zh) 空间定位的方法、介质、装置和计算设备
EP2656309B1 (en) Method for determining a parameter set designed for determining the pose of a camera and for determining a three-dimensional structure of the at least one real object
CN109461208B (zh) 三维地图处理方法、装置、介质和计算设备
CN113409444B (zh) 三维重建方法、装置、电子设备及存储介质
CN109191554B (zh) 一种超分辨图像重建方法、装置、终端和存储介质
EP4105766A1 (en) Image display method and apparatus, and computer device and storage medium
CN113034652A (zh) 虚拟形象驱动方法、装置、设备及存储介质
CN112053447A (zh) 一种增强现实三维注册方法及装置
CN111833403B (zh) 用于空间定位的方法和装置
CN108028904B (zh) 移动设备上光场增强现实/虚拟现实的方法和系统
CN116563493A (zh) 基于三维重建的模型训练方法、三维重建方法及装置
Chen et al. A particle filtering framework for joint video tracking and pose estimation
CN111311728A (zh) 一种基于光流法的高精度形貌重建方法、设备及装置
CN108550181B (zh) 移动设备上在线跟踪与稠密重建方法、系统及设备
CN112766027A (zh) 图像处理方法、装置、设备及存储介质
CN111161398A (zh) 一种图像生成方法、装置、设备及存储介质
Yuan et al. SDV-LOAM: semi-direct visual–LiDAR Odometry and mapping
CN115515487A (zh) 基于使用多视图图像的3d人体姿势估计的基于视觉的康复训练系统
CN113763478A (zh) 无人车相机标定方法、装置、设备、存储介质及系统
CN114882106A (zh) 位姿确定方法和装置、设备、介质
CN108090212B (zh) 兴趣点的展示方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant