CN108776990A - 基于三阶球面谐波的动态场景高精度实时三维重建方法及系统 - Google Patents

基于三阶球面谐波的动态场景高精度实时三维重建方法及系统 Download PDF

Info

Publication number
CN108776990A
CN108776990A CN201810315991.0A CN201810315991A CN108776990A CN 108776990 A CN108776990 A CN 108776990A CN 201810315991 A CN201810315991 A CN 201810315991A CN 108776990 A CN108776990 A CN 108776990A
Authority
CN
China
Prior art keywords
depth
model
scene
dimensional
vertex
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810315991.0A
Other languages
English (en)
Inventor
刘烨斌
郭凯文
徐枫
戴琼海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201810315991.0A priority Critical patent/CN108776990A/zh
Publication of CN108776990A publication Critical patent/CN108776990A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

本发明公开了一种基于三阶球面谐波的动态场景高精度实时三维重建方法及系统，其中，方法包括：通过RGBD相机对动态场景进行拍摄，以得到深度和彩色图像序列；将单张深度图像变换为三维点云，获取三维点云和重建模型顶点及参数化人体模型顶点之间的匹配点对；根据匹配点联合能量函数，对能量函数进行求解，以根据求解结果将重建模型的几何和表面反射率分别与三维点云和彩色图像序列进行对齐；通过深度图自适应性地更新和补全对其后的三维模型，并通过彩色图像自适应地补全和更新场景表面的反射率信息。该方法求解准确鲁棒，简单易行，运行速度为实时，拥有广阔的应用前景，可以在PC机或工作站等硬件系统上快速实现。

Description

基于三阶球面谐波的动态场景高精度实时三维重建方法及 系统
技术领域
本发明涉及计算机视觉和计算机图形学技术领域，特别涉及一种基于三阶球面谐波的动态场景高精度实时三维重建方法及系统。
背景技术
动态场景三维重建是计算机图形学和计算机视觉领域的重点问题。高质量的动态场景三维模型在影视娱乐、物体三维数据统计分析等领域有着广泛的应用前景和重要的应用价值。
然而，相关技术中，高质量三维场景模型的获取通常依靠价格昂贵的激光扫描仪或者多相机阵列系统来实现，虽然精度较高，但是也显著存在着一些缺点：第一，扫描过程中要求场景保持绝对静止，微小的移动就会导致扫描结果存在明显的误差；第二，造假昂贵，很难普及到普通民众日常生活中。第三，速度慢，重建一个中规模三维模型需要很长的时间。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种基于三阶球面谐波的动态场景高精度实时三维重建方法，该方法求解准确鲁棒，简单易行，运行速度快，适用性广。
本发明的另一个目的在于提出一种基于三阶球面谐波的动态场景高精度实时三维重建系统。
为达到上述目的，本发明一方面实施例提出了一种基于三阶球面谐波的动态场景高精度实时三维重建系统，包括以下步骤：通过RGBD相机对动态场景进行拍摄，以得到深度和彩色图像序列；将单张深度图像变换为三维点云，并获取所述三维点云和重建模型顶点及参数化人体模型顶点之间的匹配点对；根据所述匹配点对和当前视角建立基于三阶球面谐波光照模型的联合能量函数，并交替求解所述重建模型上每一个顶点的非刚性运动位置变换参数和场景低频光照信息；对所述能量函数进行求解，以根据求解结果将所述重建模型的几何和表面反射率分别与所述三维点云和彩色图像序列进行对齐；通过深度图自适应性地更新和补全对其后的三维模型，并通过所述彩色图像自适应地补全和更新场景表面的反射率信息。
本发明实施例的基于三阶球面谐波的动态场景高精度实时三维方法，通过RGBD相机对场景进行拍摄，从而获得深度图像和彩色图像作为系统输入信息，并基于该输入信息完成对动态场景进行实时三维重建的功能。该方法求解准确鲁棒，简单易行，运行速度为实时，拥有广阔的应用前景，可以在PC机或工作站等硬件系统上快速实现。
另外，根据本发明上述实施例的基于三阶球面谐波的动态场景高精度实时三维重建方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述能量函数为：
其中，Etotal为运动求解总能量项，为当前时刻待求解非刚性运动参数，为当前时刻待求解场景光照；Edepth为深度数据项；Eshading为光照项；Emreg为局部刚性运动约束项；Elerg为场景光照求解正则项；λdepth、λshading、λmreg和λlreg分别为对应各个能量项的权重系数。
进一步地，在本发明的一个实施例中，所述深度图像的投影公式为：
其中，u,v为像素坐标，d(u,v)为深度图像上像素(u,v)位置处的深度值，为深度相机内参矩阵。
进一步地，在本发明的一个实施例中，所述顶点的计算公式为：
其中，为作用于顶点vi的变形矩阵，包括旋转和平移两部分；为变形矩阵的旋转部分。
进一步地，在本发明的一个实施例中，根据所述对齐后的三维模型到相应深度观测的距离来对模型更新进行加权，并且设有最大融合帧数，以在所述三维模型融合满足预设条件的深度观测后，停止模型更新，转而只进行场景运动的求解。
为达到上述目的，本发明另一方面实施例提出了一种基于三阶球面谐波的动态场景高精度实时三维重建系统，包括：信息采集模块，用于通过RGBD相机对动态场景进行拍摄，以得到深度和彩色图像序列；联合匹配模块，用于将单张深度图像变换为三维点云，并获取所述三维点云和重建模型顶点及参数化人体模型顶点之间的匹配点对；光照、运动联合解算模块，用于根据所述匹配点对和当前视角建立基于三阶球面谐波光照模型的联合能量函数，并交替求解所述重建模型上每一个顶点的非刚性运动位置变换参数和场景低频光照信息；图像序列对齐模块，用于对所述能量函数进行求解，以根据求解结果将所述重建模型的几何和表面反射率分别与所述三维点云和彩色图像序列进行对齐；自适应模型更新模块，用于通过深度图自适应性地更新和补全对其后的三维模型，并通过所述彩色图像自适应地补全和更新场景表面的反射率信息。
本发明实施例的基于三阶球面谐波的动态场景高精度实时三维系统，通过RGBD相机对场景进行拍摄，从而获得深度图像和彩色图像作为系统输入信息，并基于该输入信息完成对动态场景进行实时三维重建的功能。该系统具有设备简单，方便部署和可扩展性强等优点，所需的输入信息容易采集，且求解准确鲁棒，简单易行，运行速度为实时，拥有广阔的应用前景。
另外，根据本发明上述实施例的基于三阶球面谐波的动态场景高精度实时三维重建系统还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述能量函数为：
其中，Etotal为运动求解总能量项，为当前时刻待求解非刚性运动参数，为当前时刻待求解场景光照，Edepth为深度数据项，Eshading为光照项，Emreg为局部刚性运动约束项，Elerg为场景光照求解正则项，λdepth、λshading、λmreg和λlreg分别为对应各个能量项的权重系数。
进一步地，在本发明的一个实施例中，所述深度图像的投影公式为：
其中，u,v为像素坐标，d(u,v)为深度图像上像素(u,v)位置处的深度值，为深度相机内参矩阵。
进一步地，在本发明的一个实施例中，所述顶点的计算公式为：
其中，为作用于顶点vi的变形矩阵，包括旋转和平移两部分，为变形矩阵的旋转部分。
进一步地，在本发明的一个实施例中，包括加权求解模块，用于：根据所述对齐后的三维模型到相应深度观测的距离来对模型更新进行加权，并且设有最大融合帧数，以在所述三维模型融合满足预设条件的深度观测后，停止模型更新，转而只进行场景运动的求解。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明一个实施例的基于三阶球面谐波的动态场景高精度实时三维重建方法的流程图；和
图2为根据本发明一个实施例的基于三阶球面谐波的动态场景高精度实时三维重建装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的基于三阶球面谐波的动态场景高精度实时三维重建方法及系统，首先将参照附图描述根据本发明实施例提出的基于三阶球面谐波的动态场景高精度实时三维重建方法。
图1为根据本发明一个实施例的基于三阶球面谐波的动态场景高精度实时三维重建方法的流程图。
如图1所示，该基于三阶球面谐波的动态场景高精度实时三维重建方法包括以下步骤：
在步骤S101中，通过RGBD相机对动态场景进行拍摄，以得到深度和彩色图像序列。
具体而言，使用RGBD相机对动态场景进行拍摄，获得连续的深度图像序列和彩色图像序列。
在步骤S102中，将单张深度图像变换为三维点云，并获取三维点云和重建模型顶点及参数化人体模型顶点之间的匹配点对。
在本发明的一个实施例中，将深度图像投影到三维空间中变换为一组三维点云，过程包括：
获取深度相机的内参矩阵；
根据内参矩阵将深度图投影到三维空间中变换为一组三维点云。其中，变换的，深度图像的投影公式为：
其中，u,v为像素坐标，d(u,v)为深度图像上像素(u,v)位置处的深度值，为深度相机内参矩阵；
在获取匹配点对方面，使用相机投影公式将三维模型的顶点投影到深度图像上以获得匹配点对。
在步骤S103中，根据匹配点对和当前视角建立基于三阶球面谐波光照模型的联合能量函数，并交替求解重建模型上每一个顶点的非刚性运动位置变换参数和场景低频光照信息。
具体而言，在本发明的一个实施例中，能量函数为：
其中，Etotal为运动求解总能量项，为当前时刻待求解非刚性运动参数，为当前时刻待求解场景光照，Edepth为深度数据项，Eshading为光照项，Emreg为局部刚性运动约束项，Elerg为场景光照求解正则项，λdepth、λshading、λmreg和λlreg分别为对应各个能量项的权重系数。
进一步地，在本发明的一个实施例中，
其中，Edepth用于保证变形后的场景模型与当前深度点云观测尽可能的匹配，当变形后的模型与深度观测距离较远时，该项能量较大，Eshading要求通过场景光照、模型几何信息及模型表面反射率信息渲染出来的彩色图像与实际采集到的彩色图像保持一致，当渲染图像与实际采集的彩色图像差异较大时，该能量项较大，Emreg为了保证模型上邻近顶点的非刚性驱动效果要尽可能的一致，该约束项用于约束模型表面的非刚性运动是局部刚性的，不易产生局部区域的较大的变形，Elreg该约束项是为了保证场景光照求解的稳定性和收敛性，本质上要求t时刻求解出的三阶球面谐波系数与t-1时刻的区别要尽量小，防止场景光照产生较大波动。
在步骤S104中，对能量函数进行求解，以根据求解结果将重建模型的几何和表面反射率分别与三维点云和彩色图像序列进行对齐。
具体而言，顶点的计算公式为：
其中，为作用于顶点vi的变形矩阵，包括旋转和平移两部分，为变形矩阵的旋转部分。
进一步地，在本发明的一个实施例中，共同求解重建模型上每一个顶点的非刚性运动位置变换参数。最终求解获得的信息为每一个三维模型顶点的变换矩阵。为了实现快速线性求解的要求，本发明实施例的方法对利用指数映射方法对变形方程做如下近似：
其中，为截至上一帧的模型顶点vi的累积变换矩阵，为已知量，I为四维单位阵；
其中，令即上一帧变换后的模型顶点，则经过变换有：
对于每个顶点，要求解的未知参数即为六维变换参数x＝v1,v2,v3,wx,wy,wz)T。骨骼运动的线性化方式与非刚性运动相同。
在步骤S105中，通过深度图自适应性地更新和补全对其后的三维模型，并通过彩色图像自适应地补全和更新场景表面的反射率信息。
可以理解的是，对齐后的三维模型到相应深度观测的距离来对模型更新进行加权，并且设有最大融合帧数，以在三维模型融合满足预设条件的深度观测后，停止模型更新，转而只进行场景运动的求解。
进一步地，在本发明的一个实施例中，使用深度图像对对齐后的三维模型进行更新和补全以及使用彩色图像对对齐后的三维模型进行表面反射率的更新和补全。一方面将新获得的深度信息融合到三维模型中，更新三维模型表面顶点位置或为三维模型增加新的顶点，使其更符合当前深度图像的表达；另一方面，使用求解出的场景光照信息将彩色图像分解，获得当前视角模型表面反射率信息，并将其最终融合在模型的表面反射率信息中。两种更新过程都为自适应更新过程，其特征在于：在模型融合了足够的有效的深度信息和表面反射率信息以后，即停止场景模型和表面反射率的更新，只进行动态场景光照和模型非刚性运动的求解，从而进一步提高了该实时动态重建系统的鲁棒性。
本发明实施例的基于三阶球面谐波的动态场景高精度实时三维方法，通过RGBD相机对场景进行拍摄，从而获得深度图像和彩色图像作为系统输入信息，并基于该输入信息完成对动态场景进行实时三维重建的功能。该方法求解准确鲁棒，简单易行，运行速度为实时，拥有广阔的应用前景，可以在PC机或工作站等硬件系统上快速实现。
图2是本发明一个实施例的基于三阶球面谐波的动态场景高精度实时三维重建系统的结构示意图。
如图2所示，该基于三阶球面谐波的动态场景高精度实时三维重建系统10包括：信息采集模块100、联合匹配模块200、光照、运动联合解算模块300、图像序列对齐模块400和自适应模型更新模块500。
其中，信息采集模块100，用于通过RGBD相机对动态场景进行拍摄，以得到深度和彩色图像序列。联合匹配模块200，用于将单张深度图像变换为三维点云，并获取三维点云和重建模型顶点及参数化人体模型顶点之间的匹配点对。光照、运动联合解算模块300，用于根据匹配点对和当前视角建立基于三阶球面谐波光照模型的联合能量函数，并交替求解重建模型上每一个顶点的非刚性运动位置变换参数和场景低频光照信息。图像序列对齐模块400，用于对能量函数进行求解，以根据求解结果将重建模型的几何和表面反射率分别与三维点云和彩色图像序列进行对齐。自适应模型更新模块500，用于通过深度图自适应性地更新和补全对其后的三维模型，并通过彩色图像自适应地补全和更新场景表面的反射率信息。该基于三阶球面谐波的动态场景高精度实时三维重建系统10具有设备简单，方便部署和可扩展性强等优点，所需的输入信息非常容易采集，并且可以实时的获得场景的动态三维模型，且求解准确鲁棒，简单易行，运行速度为实时，拥有广阔的应用前景。
进一步地，在本发明的一个实施例中，能量函数为：
其中，Etotal为运动求解总能量项，为当前时刻待求解非刚性运动参数，为当前时刻待求解场景光照，Edepth为深度数据项，Eshading为光照项，Emreg为局部刚性运动约束项，Elerg为场景光照求解正则项，λdepth、λshading、λmreg和λlreg分别为对应各个能量项的权重系数。
进一步地，在本发明的一个实施例中，深度图像的投影公式为：
其中，u,v为像素坐标，d(u,v)为深度图像上像素(u,v)位置处的深度值，为深度相机内参矩阵。
进一步地，在本发明的一个实施例中，顶点的计算公式为：
其中，为作用于顶点vi的变形矩阵，包括旋转和平移两部分，为变形矩阵的旋转部分。
进一步地，在本发明的一个实施例中，包括加权求解模块，用于：根据对齐后的三维模型到相应深度观测的距离来对模型更新进行加权，并且设有最大融合帧数，以在三维模型融合满足预设条件的深度观测后，停止模型更新，转而只进行场景运动的求解。
需要说明的是，前述对基于三阶球面谐波的动态场景高精度实时三维重建方法实施例的解释说明也适用于该实施例的装置，此处不再赘述。
本发明实施例的基于三阶球面谐波的动态场景高精度实时三维系统，通过RGBD相机对场景进行拍摄，从而获得深度图像和彩色图像作为系统输入信息，并基于该输入信息完成对动态场景进行实时三维重建的功能。该系统具有设备简单，方便部署和可扩展性强等优点，所需的输入信息非常容易采集，并且可以实时的获得场景的动态三维模型，且求解准确鲁棒，简单易行，运行速度为实时，拥有广阔的应用前景。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于三阶球面谐波的动态场景高精度实时三维重建方法，其特征在于，包括以下步骤：
通过RGBD相机对动态场景进行拍摄，以得到深度和彩色图像序列；
将单张深度图像变换为三维点云，并获取所述三维点云和重建模型顶点及参数化人体模型顶点之间的匹配点对；
根据所述匹配点对和当前视角建立基于三阶球面谐波光照模型的联合能量函数，并交替求解所述重建模型上每一个顶点的非刚性运动位置变换参数和场景低频光照信息；
对所述能量函数进行求解，以根据求解结果将所述重建模型的几何和表面反射率分别与所述三维点云和彩色图像序列进行对齐；
通过深度图自适应性地更新和补全对其后的三维模型，并通过所述彩色图像自适应地补全和更新场景表面的反射率信息。
2.根据权利要求1所述的基于三阶球面谐波的动态场景高精度实时三维重建方法，其特征在于，所述能量函数为：
其中，Etotal为运动求解总能量项，为当前时刻待求解非刚性运动参数，为当前时刻待求解场景光照，Edepth为深度数据项，Eshading为光照项，Emreg为局部刚性运动约束项，Elerg为场景光照求解正则项，λdepth、λshading、λmreg和λlreg分别为对应各个能量项的权重系数。
3.根据权利要求1所述的基于三阶球面谐波的动态场景高精度实时三维重建方法，其特征在于，所述深度图像的投影公式为：
其中，u，v为像素坐标，d(u，v)为深度图像上像素(u，v)位置处的深度值，为深度相机内参矩阵。
4.根据权利要求1所述的基于三阶球面谐波的动态场景高精度实时三维重建方法，其特征在于，所述顶点的计算公式为：
其中，为作用于顶点vi的变形矩阵，包括旋转和平移两部分；为变形矩阵的旋转部分。
5.根据权利要求1-4任一项所述的基于三阶球面谐波的动态场景高精度实时三维重建方法，其特征在于，根据所述对齐后的三维模型到相应深度观测的距离来对模型更新进行加权，并且设有最大融合帧数，以在所述三维模型融合满足预设条件的深度观测后，停止模型更新，转而只进行场景运动的求解。
6.一种基于三阶球面谐波的动态场景高精度实时三维重建系统，其特征在于，包括：
信息采集模块，用于通过RGBD相机对动态场景进行拍摄，以得到深度和彩色图像序列；
联合匹配模块，用于将单张深度图像变换为三维点云，并获取所述三维点云和重建模型顶点及参数化人体模型顶点之间的匹配点对；
光照、运动联合解算模块，用于根据所述匹配点对和当前视角建立基于三阶球面谐波光照模型的联合能量函数，并交替求解所述重建模型上每一个顶点的非刚性运动位置变换参数和场景低频光照信息；
图像序列对齐模块，用于对所述能量函数进行求解，以根据求解结果将所述重建模型的几何和表面反射率分别与所述三维点云和彩色图像序列进行对齐；
自适应模型更新模块，用于通过深度图自适应性地更新和补全对其后的三维模型，并通过所述彩色图像自适应地补全和更新场景表面的反射率信息。
7.根据权利要求6所述的基于三阶球面谐波的动态场景高精度实时三维重建系统，其特征在于，所述能量函数为：
其中，Etotal为运动求解总能量项，为当前时刻待求解非刚性运动参数，为当前时刻待求解场景光照，Edepth为深度数据项，Eshading为光照项，Emreg为局部刚性运动约束项，Elerg为场景光照求解正则项，λdepth、λshading、λmreg和λlreg分别为对应各个能量项的权重系数。
8.根据权利要求1所述的基于三阶球面谐波的动态场景高精度实时三维重建系统，其特征在于，所述深度图像的投影公式为：
其中，u，v为像素坐标，d(u，v)为深度图像上像素(u，v)位置处的深度值，为深度相机内参矩阵。
9.根据权利要求1所述的基于三阶球面谐波的动态场景高精度实时三维重建系统，其特征在于，所述顶点的计算公式为：
其中，为作用于顶点vi的变形矩阵，包括旋转和平移两部分，为变形矩阵的旋转部分。
10.根据权利要求6-9任一项所述的基于三阶球面谐波的动态场景高精度实时三维重建系统，其特征在于，还包括加权求解模块，用于：
根据所述对齐后的三维模型到相应深度观测的距离来对模型更新进行加权，并且设有最大融合帧数，以在所述三维模型融合满足预设条件的深度观测后，停止模型更新，转而只进行场景运动的求解。
CN201810315991.0A 2018-04-10 2018-04-10 基于三阶球面谐波的动态场景高精度实时三维重建方法及系统 Pending CN108776990A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810315991.0A CN108776990A (zh) 2018-04-10 2018-04-10 基于三阶球面谐波的动态场景高精度实时三维重建方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810315991.0A CN108776990A (zh) 2018-04-10 2018-04-10 基于三阶球面谐波的动态场景高精度实时三维重建方法及系统

Publications (1)

Publication Number Publication Date
CN108776990A true CN108776990A (zh) 2018-11-09

Family

ID=64033683

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810315991.0A Pending CN108776990A (zh) 2018-04-10 2018-04-10 基于三阶球面谐波的动态场景高精度实时三维重建方法及系统

Country Status (1)

Country Link
CN (1) CN108776990A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110007754A (zh) * 2019-03-06 2019-07-12 清华大学 手与物体交互过程的实时重建方法及装置
CN110599585A (zh) * 2019-08-05 2019-12-20 清华大学 基于深度学习的单图像人体三维重建方法及装置
CN110691195A (zh) * 2019-10-15 2020-01-14 重庆灵翎互娱科技有限公司 一种基于三维人脸拍摄的光线检测方法和设备
CN111784821A (zh) * 2020-06-30 2020-10-16 北京市商汤科技开发有限公司 三维模型生成方法、装置、计算机设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103198523A (zh) * 2013-04-26 2013-07-10 清华大学 一种基于多深度图的非刚体三维重建方法及系统
CN103559737A (zh) * 2013-11-12 2014-02-05 中国科学院自动化研究所 一种对象全景建模方法
US9183631B2 (en) * 2012-06-29 2015-11-10 Mitsubishi Electric Research Laboratories, Inc. Method for registering points and planes of 3D data in multiple coordinate systems
US20170053438A1 (en) * 2014-06-13 2017-02-23 Shenzhen Institutes Of Advanced Technology Chinese Academy Of Sciences Method and system for reconstructing a three-dimensional model of point clouds

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9183631B2 (en) * 2012-06-29 2015-11-10 Mitsubishi Electric Research Laboratories, Inc. Method for registering points and planes of 3D data in multiple coordinate systems
CN103198523A (zh) * 2013-04-26 2013-07-10 清华大学 一种基于多深度图的非刚体三维重建方法及系统
CN103559737A (zh) * 2013-11-12 2014-02-05 中国科学院自动化研究所 一种对象全景建模方法
US20170053438A1 (en) * 2014-06-13 2017-02-23 Shenzhen Institutes Of Advanced Technology Chinese Academy Of Sciences Method and system for reconstructing a three-dimensional model of point clouds

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GUO K 等: "《Real-time geometry, albedo, and motion reconstruction using a single rgb-d camera》", 《ACM TRANSACTIONS ON GRAPHICS (TOG)》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110007754A (zh) * 2019-03-06 2019-07-12 清华大学 手与物体交互过程的实时重建方法及装置
CN110007754B (zh) * 2019-03-06 2020-08-28 清华大学 手与物体交互过程的实时重建方法及装置
CN110599585A (zh) * 2019-08-05 2019-12-20 清华大学 基于深度学习的单图像人体三维重建方法及装置
CN110691195A (zh) * 2019-10-15 2020-01-14 重庆灵翎互娱科技有限公司 一种基于三维人脸拍摄的光线检测方法和设备
CN111784821A (zh) * 2020-06-30 2020-10-16 北京市商汤科技开发有限公司 三维模型生成方法、装置、计算机设备及存储介质
US11475624B2 (en) 2020-06-30 2022-10-18 Beijing Sensetime Technology Development Co., Ltd. Method and apparatus for generating three-dimensional model, computer device and storage medium
CN111784821B (zh) * 2020-06-30 2023-03-14 北京市商汤科技开发有限公司 三维模型生成方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
CN108898658A (zh) 基于光影优化的三维几何与本征成份重建方法及装置
CN108182699B (zh) 基于二维图像局部变形的三维配准方法
CN108665537B (zh) 联合优化人体体态与外观模型的三维重建方法及系统
CN110335343B (zh) 基于rgbd单视角图像人体三维重建方法及装置
CN108711185B (zh) 联合刚性运动和非刚性形变的三维重建方法及装置
CN103198523B (zh) 一种基于多深度图的非刚体三维重建方法及系统
CN108520537B (zh) 一种基于光度视差的双目深度获取方法
CN108776990A (zh) 基于三阶球面谐波的动态场景高精度实时三维重建方法及系统
CN104335005B (zh) 3d扫描以及定位系统
CN108122275A (zh) 基于骨架跟踪的动态实时三维人体重建方法及系统
CN110728671A (zh) 基于视觉的无纹理场景的稠密重建方法
CN112991458B (zh) 一种基于体素的快速三维建模方法及系统
CN115937288A (zh) 一种变电站三维场景模型构建方法
CN114283203B (zh) 一种多相机系统的标定方法及系统
CN109919911A (zh) 基于多视角光度立体的移动三维重建方法
CN111340944A (zh) 基于隐式函数和人体模板的单图像人体三维重建方法
CN110349257B (zh) 一种基于相位伪映射的双目测量缺失点云插补方法
CN113077519B (zh) 一种基于人体骨架提取的多相机外参自动标定方法
CN111009030A (zh) 一种多视高分辨率纹理图像与双目三维点云映射方法
CN114049464B (zh) 一种三维模型的重建方法及设备
CN110363838A (zh) 基于多球面相机模型的大视野图像三维重构优化方法
CN104168467A (zh) 运用时间序列结构光技术实现投影显示几何校正的方法
CN114782636A (zh) 三维重建方法、装置及系统
CN113450416B (zh) 一种应用于三目相机立体标定的tcsc方法
CN108830921A (zh) 基于入射角度的激光点云反射强度纠正方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181109

RJ01 Rejection of invention patent application after publication