CN108898658A - 基于光影优化的三维几何与本征成份重建方法及装置 - Google Patents

Abstract

本发明公开了一种基于光影优化的三维几何与本征成份重建方法及装置，其中，方法包括：通过RGBD相机得到三维彩色点云时间序列拍摄；获取三维深度点云和重建模型顶点之间的匹配点对，并获得点对集合；根据匹配点对及当前视角彩色图像建立基于本征分解的联合能量函数，并求解重建模型上每一个顶点的非刚性运动位置变换参数；对能量函数进行求解，获得表面模型顶点的形变变换矩阵以及图像上每个项目的本征成份；根据求解结果将前一帧三维模型的几何进行形变，补全和更新当前帧模型的几何和本征成份，实现三维几何与本征成份重建。该方法能够高稀疏和单个视点条件下动态对象跟踪形变的鲁棒性，且求解准确，对设备要求低，拥有广阔的应用前景。

Description

基于光影优化的三维几何与本征成份重建方法及装置

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种基于光影优化的三维几何与本征成份重建方法及装置。

背景技术

动态对象三维重建是计算机图形学和计算机视觉领域的重点问题。高质量的动态对象三维模型，如人体，动物，人脸，人手部等，在影视娱乐、体育游戏、虚拟现实等领域有着广泛的应用前景和重要的应用价值。但是高质量三维模型的获取通常依靠价格昂贵的激光扫描仪或者多相机阵列系统来实现，虽然精度较高，但是也显著存在着一些缺点：第一，扫描过程中要求对象保持绝对静止，微小的移动就会导致扫描结果存在明显的误差；第二，造假昂贵，很难普及到普通民众日常生活中，往往应用于大公司或国家统计部门。第三，速度慢，往往重建一个三维模型需要至少10分钟到数小时的时间，重建动态模型序列的代价更大。

从技术角度，现有的重建方法要么集中在先求解对象的刚性运动信息，获得对象的逼近，进而重建非刚性表面运动信息。但这种重建方法需要事先获得对象的关键帧三维模型。另一方面，现有的逐帧动态融合表面的重建方法虽然可实现无模板的动态三维重建，但仅仅使用非刚性表面形变方法，跟踪重建的鲁棒性低。本方法通过实时非刚性对齐的方法，逐帧地融合动态对象表面三维几何信息与表面本征成份信息，实现了动态对象表面的非刚性高精度跟踪与融合，实现在无首帧三维模板条件下的单深度相机实时动态三维几何和表面本征成份重建。基于获得的几何和本征成份信息，可实现动态对象的自由视点视频生成及对象重光照功能。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于光影优化的三维几何与本征成份重建方法，具有较高鲁棒性，求解准确，对设备要求低，拥有广阔应用前景的优点。

本发明的另一个目的在于提出一种基于光影优化的三维几何与本征成份重建装置。

为达到上述目的，本发明一方面实施例提出了一种基于光影优化的三维几何与本征成份重建方法，包括以下步骤：通过RGBD相机对动态场景进行拍摄，以得到三维彩色点云时间序列拍摄；获取三维深度点云和重建模型顶点之间的匹配点对，并获得点对集合，其中，所述点对集合包含所述三维深度点云上与所述重建模型的顶点对应的三维坐标点；根据所述匹配点对及当前视角彩色图像建立基于本征分解的联合能量函数，并求解所述重建模型上每一个顶点的非刚性运动位置变换参数；对所述能量函数进行求解，以获得表面模型顶点的形变变换矩阵以及图像上每个项目的本征成份；以及根据求解结果将前一帧三维模型的几何进行形变，使形变模型与当前帧的采集点云进行对齐，并根据所述本征成份融合几何及本征成份信息，以补全和更新当前帧模型的几何和本征成份，实现三维几何与本征成份重建。

本发明实施例的基于光影优化的三维几何与本征成份重建方法，通过重建模型顶点之间的匹配点对获取本征成份，以反映对象表面的真实材质属性，可以去除外部光照的影响，以有效提高稀疏和单个视点条件下，动态对象跟踪形变的鲁棒性，并通过能量函数求解，并结合场景光照和重建出的场景本征成份信息实现对实时动态场景三维模型的高精度重建，具有求解准确的优点，此外，对设备要求低，拥有广阔的应用前景。

另外，根据本发明上述实施例的基于光影优化的三维几何与本征成份重建方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述能量函数为：

其中，E为运动求解总能量项，为当前时刻待求解非刚性运动参数和当前帧点云的本征成份，E_d为深度数据项，E_s为光影优化项，E_reg为局部刚性运动约束项，λ_d、λ_s和λ_reg分别为对应各个能量项的权重系数；

并且，根据非刚性运动驱动模型顶点，计算公式为：

其中，为作用于顶点v_i的变形矩阵，所述变形矩阵包括旋转部分和平移部分，为所述旋转部分。

进一步地，在本发明的一个实施例中，所述深度数据项表达为：

其中，v为模型表面上的一个顶点，v′为非刚性驱动变形后的模型顶点，所述模型顶点的计算公式为：

其中，为第t帧的第j个变形节点的变换矩阵，u^t为深度点云上与模型顶点v对应的三维坐标点，是所述三维坐标点的法向，P为所有对应点对的集合。

进一步地，在本发明的一个实施例中，基于本征成份分解的光照能量项为：

其中，为当前彩色相机视角可见的所有模型顶点的集合，M_c为彩色相机的投影矩阵，C^t(M_c(v′))为v′在当前t时刻彩色相机视角下投影到彩色图像上所获得的颜色，B^t(v′)为结合模型几何信息和图像本征成份属性。

进一步地，在本发明的一个实施例中，局部刚性约束项为：

其中，代表第j个变形节点的相邻变形节点集合；代表所有非刚性变形节点的集合。

为达到上述目的，本发明另一方面实施例提出了一种基于光影优化的三维几何与本征成份重建装置，包括：拍摄模块，用于通过RGBD相机对动态场景进行拍摄，以得到三维彩色点云时间序列拍摄；获取模块，用于获取三维深度点云和重建模型顶点之间的匹配点对，并获得点对集合，其中，所述点对集合包含所述三维深度点云上与所述重建模型的顶点对应的三维坐标点；分解模块，用于根据所述匹配点对及当前视角彩色图像建立基于本征分解的联合能量函数，并求解所述重建模型上每一个顶点的非刚性运动位置变换参数；求解模块，用于对所述能量函数进行求解，以获得表面模型顶点的形变变换矩阵以及图像上每个项目的本征成份；以及重建模块，用于根据求解结果将前一帧三维模型的几何进行形变，使形变模型与当前帧的采集点云进行对齐，并根据所述本征成份融合几何及本征成份信息，以补全和更新当前帧模型的几何和本征成份，实现三维几何与本征成份重建。

本发明实施例的基于光影优化的三维几何与本征成份重建装置，通过重建模型顶点之间的匹配点对获取本征成份，以反映对象表面的真实材质属性，可以去除外部光照的影响，以有效提高稀疏和单个视点条件下，动态对象跟踪形变的鲁棒性，并通过能量函数求解，并结合场景光照和重建出的场景本征成份信息实现对实时动态场景三维模型的高精度重建，具有求解准确的优点，此外，对设备要求低，拥有广阔的应用前景。

另外，根据本发明上述实施例的基于光影优化的三维几何与本征成份重建装置还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述能量函数为：

其中，E为运动求解总能量项，为当前时刻待求解非刚性运动参数和当前帧点云的本征成份，E_d为深度数据项，E_s为光影优化项，E_reg为局部刚性运动约束项，λ_d、λ_s和λ_reg分别为对应各个能量项的权重系数；

并且，根据非刚性运动驱动模型顶点，计算公式为：

其中，为作用于顶点v_i的变形矩阵，所述变形矩阵包括旋转部分和平移部分，为所述旋转部分。

进一步地，在本发明的一个实施例中，所述深度数据项表达为：

其中，v为模型表面上的一个顶点，v′为非刚性驱动变形后的模型顶点，所述模型顶点的计算公式为：

其中，为第t帧的第j个变形节点的变换矩阵，u^t为深度点云上与模型顶点v对应的三维坐标点，是所述三维坐标点的法向，P为所有对应点对的集合。

进一步地，在本发明的一个实施例中，基于本征成份分解的光照能量项为：

其中，为当前彩色相机视角可见的所有模型顶点的集合，M_c为彩色相机的投影矩阵，C^t(M_c(v′))为v′在当前t时刻彩色相机视角下投影到彩色图像上所获得的颜色，B^t(v′)为结合模型几何信息和图像本征成份属性。

进一步地，在本发明的一个实施例中，局部刚性约束项为：

其中，代表第j个变形节点的相邻变形节点集合；代表所有非刚性变形节点的集合。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的基于光影优化的三维几何与本征成份重建方法的流程图；

图2为根据本发明实施例的基于光影优化的三维几何与本征成份重建装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的基于光影优化的三维几何与本征成份重建方法及方法，首先将参照附图描述根据本发明实施例提出的基于光影优化的三维几何与本征成份重建方法。

图1为根据本发明实施例的基于光影优化的三维几何与本征成份重建方法的流程图。

如图1所示，该基于光影优化的三维几何与本征成份重建方法包括以下步骤：

在步骤S101中，通过RGBD相机对动态场景进行拍摄，以得到三维彩色点云时间序列拍摄。

在本发明的一个实施例中，将深度图像投影到三维空间中变换为一组三维点云包括：

获取深度相机的内参矩阵。

根据内参矩阵将深度图投影到三维空间中变换为一组三维点云。其中，变换的公式为：其中，u,v为像素坐标，d(u,v)为深度图像上像素(u,v)位置处的深度值，为深度相机内参矩阵。

在获取匹配点对方面，使用相机投影公式将三维模型的顶点投影到深度图像上以获得匹配点对。

在步骤S102中，获取三维深度点云和重建模型顶点之间的匹配点对，并获得点对集合，其中，点对集合包含三维深度点云上与重建模型的顶点对应的三维坐标点。

在本发明的一个实施例中，计算三维深度点云和重建模型顶点之间的匹配点对，获得点对集合P，该集合包含点对(u^t,v)，其中u^t为深度点云上与模型顶点v对应的三维坐标点。其核心为使用相机投影公式将三维模型的顶点投影到深度图像上以获得匹配点对。

在步骤S103中，根据匹配点对及当前视角彩色图像建立基于本征分解的联合能量函数，并求解重建模型上每一个顶点的非刚性运动位置变换参数。

在本发明的一个实施例中，基于本征分解的联合能量函数，求解重建模型上每一个顶点的非刚性运动位置变换参数及，能量函数为：

其中，E为运动求解总能量项，为当前时刻待求解非刚性运动参数和当前帧点云的本征成份。E_d为深度数据项，用于求解非刚性表面运动。该项用于保证变形后的场景模型与当前深度点云观测尽可能的匹配，当变形后的模型与深度观测距离较远时，该项能量较大；E_s为光影优化项，用于求解当前本征成份。该项通过场景光照、模型几何信息及模型本征成份信息渲染出来的彩色图像与实际采集到的彩色图像保持一致，当渲染图像与实际采集的彩色图像差异较大时，该能量项较大；E_reg为局部刚性运动约束项，作用于非刚性运动。该数据项保证模型上邻近顶点的非刚性驱动效果要尽可能的一致，用于约束模型表面的非刚性运动是局部刚性的，不易产生局部区域的较大的变形；λ_d、λ_s和λ_reg分别为对应各个能量项权重系数。

其中，深度数据项表达为：

v为模型表面上的一个顶点，v′为非刚性驱动变形后的模型顶点，公式为：

其中，为第t帧的第j个变形节点的变换矩阵，是优化函数需要求解的未知量；u^t为深度点云上与模型顶点v对应的三维坐标点，是其法向；P为所有对应点对的集合。该能量项用于保证变形后的场景模型与当前深度点云观测尽可能的匹配。当变形后的模型与深度观测距离较远时，该项能量较大。

基于本征成份分解的光照能量项为：

其中，为当前彩色相机视角可见的所有模型顶点的集合，M_c为彩色相机的投影矩阵，C^t(M_c(v′))为v′在当前t时刻彩色相机视角下投影到彩色图像上所获得的颜色；B^t(v′)为结合模型几何信息和图像本征成份属性，使用传统渲染管线渲染出来的颜色图像中对应于v′的渲染颜色。该能量项假设场景均匀光照，是的模型几何信息及模型本征成份信息渲染出来的彩色图像与实际采集到的彩色图像保持一致。当渲染图像与实际采集的彩色图像差异较大时，该能量项较大。

局部刚性约束项为：

其中，代表第j个变形节点的相邻变形节点集合；代表所有非刚性变形节点的集合。该约束项要是为了保证模型上邻近顶点的非刚性驱动效果要尽可能的一致。

在步骤S104中，根据匹配点对及当前视角彩色图像建立基于本征分解的联合能量函数，并求解重建模型上每一个顶点的非刚性运动位置变换参数。

在本发明的一个实施例中，共同求解重建模型上每一个顶点的非刚性运动位置变换参数。最终求解获得的信息为每一个三维模型顶点的变换矩阵。为了实现快速线性求解的要求，本发明实施例的方法对利用指数映射方法对变形方程做如下近似：

其中，为截至上一帧的模型顶点v_i的累积变换矩阵，为已知量；I为四维单位阵；

其中，令即上一帧变换后的模型顶点，则经过变换有：

对于每个顶点，要求解的未知参数即为六维变换参数x＝v₁,v₂,v₃,w_x,w_y,w_z)^T。

在步骤S105中，根据匹配点对及当前视角彩色图像建立基于本征分解的联合能量函数，并求解重建模型上每一个顶点的非刚性运动位置变换参数。

在本发明的一个实施例中，使用深度图像对对齐后的三维模型进行更新和补全以及使用彩色图像对对齐后的三维模型进行本征成份的更新和补全。一方面将新获得的深度信息融合到三维模型中，更新三维模型表面顶点位置或为三维模型增加新的顶点，使其更符合当前深度图像的表达；另一方面，使用求解出的场景光照信息将彩色图像分解，获得当前视角模型本征成份信息，并将其最终融合在模型的本征成份信息中。两种更新过程都为自适应更新过程，其特征在于：在模型融合了足够的有效的深度信息和本征成份信息以后，即停止场景模型和本征成份的更新，只进行动态场景光照和模型非刚性运动的求解，从而进一步提高了该实时动态重建系统的鲁棒性。

本发明实施例的基于光影优化的三维几何与本征成份重建方法，通过重建模型顶点之间的匹配点对获取本征成份，以反映对象表面的真实材质属性，可以去除外部光照的影响，以有效提高稀疏和单个视点条件下，动态对象跟踪形变的鲁棒性，并通过能量函数求解，并结合场景光照和重建出的场景本征成份信息实现对实时动态场景三维模型的高精度重建，具有求解准确的优点，此外，对设备要求低，拥有广阔的应用前景。

其次参照附图描述根据本发明实施例提出的基于光影优化的三维几何与本征成份重建装置。

图2是本发明一个实施例的基于光影优化的三维几何与本征成份重建装置的结构示意图。

如图2所示，该基于光影优化的三维几何与本征成份重建装置10包括：拍摄模块100、获取模块200、分解模块300、求解模块400和重建模块500。

其中，拍摄模块100用于通过RGBD相机对动态场景进行拍摄，以得到三维彩色点云时间序列拍摄。获取模块200用于获取三维深度点云和重建模型顶点之间的匹配点对，并获得点对集合，其中，点对集合包含三维深度点云上与重建模型的顶点对应的三维坐标点。分解模块300用于根据匹配点对及当前视角彩色图像建立基于本征分解的联合能量函数，并求解重建模型上每一个顶点的非刚性运动位置变换参数。求解模块400用于对能量函数进行求解，以获得表面模型顶点的形变变换矩阵以及图像上每个项目的本征成份。重建模块500用于根据求解结果将前一帧三维模型的几何进行形变，使形变模型与当前帧的采集点云进行对齐，并根据本征成份融合几何及本征成份信息，以补全和更新当前帧模型的几何和本征成份，实现三维几何与本征成份重建。

进一步地，在本发明的一个实施例中，能量函数为：

其中，E为运动求解总能量项，为当前时刻待求解非刚性运动参数和当前帧点云的本征成份，E_d为深度数据项，E_s为光影优化项，E_reg为局部刚性运动约束项，λ_d、λ_s和λ_reg分别为对应各个能量项的权重系数；

并且，根据非刚性运动驱动模型顶点，计算公式为：

其中，为作用于顶点v_i的变形矩阵，变形矩阵包括旋转部分和平移部分，为旋转部分。

进一步地，在本发明的一个实施例中，深度数据项表达为：

其中，v为模型表面上的一个顶点，v′为非刚性驱动变形后的模型顶点，模型顶点的计算公式为：

其中，为第t帧的第j个变形节点的变换矩阵，u^t为深度点云上与模型顶点v对应的三维坐标点，是三维坐标点的法向，P为所有对应点对的集合。

进一步地，在本发明的一个实施例中，基于本征成份分解的光照能量项为：

其中，为当前彩色相机视角可见的所有模型顶点的集合，M_c为彩色相机的投影矩阵，C^t(M_c(v′))为v′在当前t时刻彩色相机视角下投影到彩色图像上所获得的颜色，B^t(v′)为结合模型几何信息和图像本征成份属性。

进一步地，在本发明的一个实施例中，局部刚性约束项为：

需要说明的是，前述对基于光影优化的三维几何与本征成份重建方法实施例的解释说明也适用于该实施例的基于光影优化的三维几何与本征成份重建装置，此处不再赘述。

本发明实施例的基于光影优化的三维几何与本征成份重建方法，通过重建模型顶点之间的匹配点对获取本征成份，以反映对象表面的真实材质属性，可以去除外部光照的影响，以有效提高稀疏和单个视点条件下，动态对象跟踪形变的鲁棒性，并通过能量函数求解，并结合场景光照和重建出的场景本征成份信息实现对实时动态场景三维模型的高精度重建，具有求解准确的优点，此外，对设备要求低，拥有广阔的应用前景。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于光影优化的三维几何与本征成份重建方法，其特征在于，包括以下步骤：

通过RGBD相机对动态场景进行拍摄，以得到三维彩色点云时间序列拍摄；

获取三维深度点云和重建模型顶点之间的匹配点对，并获得点对集合，其中，所述点对集合包含所述三维深度点云上与所述重建模型的顶点对应的三维坐标点；

根据所述匹配点对及当前视角彩色图像建立基于本征分解的联合能量函数，并求解所述重建模型上每一个顶点的非刚性运动位置变换参数；

对所述能量函数进行求解，以获得表面模型顶点的形变变换矩阵以及图像上每个项目的本征成份；以及

根据求解结果将前一帧三维模型的几何进行形变，使形变模型与当前帧的采集点云进行对齐，并根据所述本征成份融合几何及本征成份信息，以补全和更新当前帧模型的几何和本征成份，实现三维几何与本征成份重建。

2.根据权利要求1所述的基于光影优化的三维几何与本征成份重建方法，其特征在于，所述能量函数为：

其中，E为运动求解总能量项，为当前时刻待求解非刚性运动参数和当前帧点云的本征成份，E_d为深度数据项，E_s为光影优化项，E_reg为局部刚性运动约束项，λ_d、λ_s和λ_reg分别为对应各个能量项的权重系数；

并且，根据非刚性运动驱动模型顶点，计算公式为：

其中，为作用于顶点v_i的变形矩阵，所述变形矩阵包括旋转部分和平移部分，为所述旋转部分。

3.根据权利要求2所述的基于光影优化的三维几何与本征成份重建方法，其特征在于，所述深度数据项表达为：

其中，v为模型表面上的一个顶点，v′为非刚性驱动变形后的模型顶点，所述模型顶点的计算公式为：

其中，为第t帧的第j个变形节点的变换矩阵，u^t为深度点云上与模型顶点v对应的三维坐标点，是所述三维坐标点的法向，P为所有对应点对的集合。

4.根据权利要求1所述的基于光影优化的三维几何与本征成份重建方法，其特征在于，基于本征成份分解的光照能量项为：

其中，为当前彩色相机视角可见的所有模型顶点的集合，M_c为彩色相机的投影矩阵，C^t(M_c(v′))为v′在当前t时刻彩色相机视角下投影到彩色图像上所获得的颜色，B^t(v′）为结合模型几何信息和图像本征成份属性。

5.根据权利要求1所述的基于光影优化的三维几何与本征成份重建方法，其特征在于，局部刚性约束项为：

其中，代表第j个变形节点的相邻变形节点集合；代表所有非刚性变形节点的集合。

6.一种基于光影优化的三维几何与本征成份重建装置，包括：

拍摄模块，用于通过RGBD相机对动态场景进行拍摄，以得到三维彩色点云时间序列拍摄；

获取模块，用于获取三维深度点云和重建模型顶点之间的匹配点对，并获得点对集合，其中，所述点对集合包含所述三维深度点云上与所述重建模型的顶点对应的三维坐标点；

分解模块，用于根据所述匹配点对及当前视角彩色图像建立基于本征分解的联合能量函数，并求解所述重建模型上每一个顶点的非刚性运动位置变换参数；

求解模块，用于对所述能量函数进行求解，以获得表面模型顶点的形变变换矩阵以及图像上每个项目的本征成份；以及

重建模块，用于根据求解结果将前一帧三维模型的几何进行形变，使形变模型与当前帧的采集点云进行对齐，并根据所述本征成份融合几何及本征成份信息，以补全和更新当前帧模型的几何和本征成份，实现三维几何与本征成份重建。

7.根据权利要求6所述的基于光影优化的三维几何与本征成份重建装置，其特征在于，所述能量函数为：

其中，E为运动求解总能量项，为当前时刻待求解非刚性运动参数和当前帧点云的本征成份，E_d为深度数据项，E_s为光影优化项，E_reg为局部刚性运动约束项，λ_d、λ_s和λ_reg分别为对应各个能量项的权重系数；

并且，根据非刚性运动驱动模型顶点，计算公式为：

其中，为作用于顶点v_i的变形矩阵，所述变形矩阵包括旋转部分和平移部分，为所述旋转部分。

8.根据权利要求7所述的基于光影优化的三维几何与本征成份重建装置，其特征在于，所述深度数据项表达为：

其中，v为模型表面上的一个顶点，v′为非刚性驱动变形后的模型顶点，所述模型顶点的计算公式为：

其中，为第t帧的第j个变形节点的变换矩阵，u^t为深度点云上与模型顶点v对应的三维坐标点，是所述三维坐标点的法向，P为所有对应点对的集合。

9.根据权利要求6所述的基于光影优化的三维几何与本征成份重建装置，其特征在于，基于本征成份分解的光照能量项为：

其中，为当前彩色相机视角可见的所有模型顶点的集合，M_c为彩色相机的投影矩阵，C^t(M_c(v′))为v′在当前t时刻彩色相机视角下投影到彩色图像上所获得的颜色，B^t(v′）为结合模型几何信息和图像本征成份属性。

10.根据权利要求6所述的基于光影优化的三维几何与本征成份重建装置，其特征在于，局部刚性约束项为：

其中，代表第j个变形节点的相邻变形节点集合；代表所有非刚性变形节点的集合。