CN108629831B - 基于参数化人体模板和惯性测量的三维人体重建方法及系统 - Google Patents

Abstract

本发明公开了一种基于参数化人体模板和惯性测量的三维人体重建方法及系统，其中，方法包括：对人体进行深度图拍摄以得到单张深度图像；读取人体四肢上绑定的惯性测量单元的转向测量读数；获取三维点云和重建模型顶点及参数话人体模型顶点之间的匹配点对；根据匹配点对和转向测量读数得到能量函数和人体姿态参数；对能量函数进行求解，重建模型和参数化人体模板与三维点云进行对齐，以得到对其后的模型；优化转换关系；通过深度图更新和补全对其后的模型，并进一步优化参数化人体模板的人体形态参数。该方法求解准确鲁棒，简单易行，运行速度为实时，拥有广阔的应用前景，可以在PC机或工作站等硬件系统上快速实现。

Description

基于参数化人体模板和惯性测量的三维人体重建方法及系统

技术领域

本发明涉及计算机视觉和计算机图形学技术领域，特别涉及一种基于参数化人体模板和惯性测量的三维人体重建方法及系统。

背景技术

人体三维重建是计算机图形学和计算机视觉领域的重点问题。高质量的人体三维模型在影视娱乐、人口数据统计分析等领域有着广泛的应用前景和重要的应用价值。

然而，相关技术中，高质量人体三维模型的获取通常依靠价格昂贵的激光扫描仪或者多相机阵列系统来实现，虽然精度较高，但是也显著存在着一些缺点：第一，扫描过程中要求被人保持绝对静止，微小的移动就会导致扫描结果存在明显的误差；第二，造假昂贵，很难普及到普通民众日常生活中。第三，速度慢，重建一个三维人体模型需要较长的时间；第四，无法处理快速的运动，当人体运动速度较快时，往往由于运动跟踪的不准确导致模型重建出现错误。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于参数化人体模板和惯性测量的三维人体重建方法，该方法求解准确鲁棒，简单易行，运行速度快。

本发明的另一个目的在于提出一种基于参数化人体模板和惯性测量的三维人体重建系统。

为达到上述目的，本发明一方面实施例提出了一种基于参数化人体模板和惯性测量的三维人体重建方法，包括以下步骤：对人体进行深度图拍摄以得到单张深度图像；读取人体四肢上绑定的惯性测量单元的转向测量读数；将所述单张深度图像变换为三维点云，以获取所述三维点云和重建模型顶点及参数话人体模型顶点之间的匹配点对；根据所述匹配点对和所述转向测量读数得到能量函数，以共同求解所述重建模型上每一个顶点的非刚性运动位置变换参数和参数化人体模板的人体姿态参数；对所述能量函数进行求解，并根据求解结果将所述重建模型和所述参数化人体模板与所述三维点云进行对齐，以得到对其后的模型；根据所述求解结果优化相机坐标与大地坐标系之间的转换关系及惯性测量单元坐标系与对应骨骼坐标系之间的转换关系；以及通过深度图更新和补全所述对其后的模型，并进一步优化参数化人体模板的人体形态参数。

本发明实施例的基于参数化人体模板和惯性测量的三维人体重建方法，通过在人体四肢上绑定多个惯性测量单元，同时利用深度相机对人体进行拍摄，从而获得深度图像和转向测量值作为系统输入信息，并基于这些信息完成对动态人体进行实时三维重建的功能。该方法求解准确鲁棒，简单易行，运行速度为实时，拥有广阔的应用前景，可以在PC机或工作站等硬件系统上快速实现。

另外，根据本发明上述实施例的基于参数化人体模板和惯性测量的三维人体重建方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述能量函数为：

E_mot＝λ_IMUE_IMU+λ_depthE_depth+λ_bindE_bind+λ_regE_reg+λ_priorE_prior，

其中，E_mot为运动求解总能量项，E_IMU为IMU数据对应的数据项，E_depth为深度图数据对应的数据项，包含非刚性运动跟踪的数据项和参数化人体模板人体姿态求解的数据项，E_bind为参数化人体姿态和非刚性运动一致性约束项，E_reg为局部刚性运动约束项，E_pri为人体姿态运动的正则项，λ_IMU、λ_depth、λ_reg、λ_bind和λ_pri分别为对应各个约束项的权重系数。

进一步地，在本发明的一个实施例中，所述将所述单张深度图像变换为三维点云，进一步包括：获取深度相机的内参矩阵；根据所述内参矩阵将所述单张深度图像投影到三维空间中，以生成所述三维点云。

进一步地，在本发明的一个实施例中，所述单张深度图像的投影公式为：

其中，u,v为像素坐标，d(u,v)为深度图像上像素(u,v)位置处的深度值，

为深度相机内参矩阵。

进一步地，在本发明的一个实施例中，求解骨骼的变形矩阵的公式为：

其中，K是骨骼

的父骨骼(关节)集合，θ_k表示骨骼k求解出来的转角，

则为已知的转轴，

为将求解出来的骨骼转动转换为变形矩阵。

进一步地，在本发明的一个实施例中，所述每一个顶点的计算公式为：

其中，

为作用于顶点v_i的变形矩阵，包括旋转和平移两部分，

为所述变形矩阵的旋转部分，

为对顶点v_i有驱动作用的骨骼的集合，α_i,j为第j个骨骼对第i个模型顶点的驱动作用的权重，T_bj为第j个骨骼自身的运动变形矩阵，rot(T_bj)为该变形矩阵的旋转部分。

进一步地，在本发明的一个实施例中，所述转换关系的计算公式为：

其中，R_I2C为当前的相机坐标系到大地坐标系的转换矩阵，

和

分别为当前帧和第一帧得到的传感器在大地坐标系下转向的测量值，

和

分别为当前帧和第一帧求解出来的骨骼的旋转，SLERP{·}为球面插值函数，w和ω分别为R_I2C和

的插值权重。

为达到上述目的，本发明另一方面实施例提出了一种基于参数化人体模板和惯性测量的三维人体重建系统，包括：深度相机，用于对人体进行深度图拍摄以得到单张深度图像；多个惯性测量单元，所述多个惯性测量单元绑定于人体四肢上，以读取转向测量读数；匹配模块，用于将所述单张深度图像变换为三维点云，以获取所述三维点云和重建模型顶点及参数话人体模型顶点之间的匹配点对；运动结算模块，用于根据所述匹配点对和所述转向测量读数得到能量函数，以共同求解所述重建模型上每一个顶点的非刚性运动位置变换参数和参数化人体模板的人体姿态参数；坐标转换关系优化模块，用于对所述能量函数进行求解，并根据求解结果将所述重建模型和所述参数化人体模板与所述三维点云进行对齐，以得到对其后的模型，并根据所述求解结果优化相机坐标与大地坐标系之间的转换关系及惯性测量单元坐标系与对应骨骼坐标系之间的转换关系；以及模型更新模块，用于通过深度图更新和补全所述对其后的模型，并进一步优化参数化人体模板的人体形态参数。

本发明实施例的基于参数化人体模板和惯性测量的三维人体重建系统，通过在人体四肢上绑定多个惯性测量单元，同时利用深度相机对人体进行拍摄，从而获得深度图像和转向测量值作为系统输入信息，并基于这些信息完成对动态人体进行实时三维重建的功能。该系统具有设备简单，方便部署和可扩展强，所需的输入信息非常容易采集，并且可以实时的获得人体的动态三维模型，此外还能跟踪人体的快速大幅度肢体运动，且求解准确鲁棒，简单易行，运行速度为实时，拥有广阔的应用前景。

另外，根据本发明上述实施例的基于参数化人体模板和惯性测量的三维人体重建系统还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述能量函数为：

E_mot＝λ_IMUE_IMU+λ_depthE_depth+λ_bindE_bind+λ_regE_reg+λ_priorE_prior，

其中，E_mot为运动求解总能量项，E_IMU为IMU数据对应的数据项，E_depth为深度图数据对应的数据项，包含非刚性运动跟踪的数据项和参数化人体模板人体姿态求解的数据项，E_bind为参数化人体姿态和非刚性运动一致性约束项，E_reg为局部刚性运动约束项，E_pri为人体姿态运动的正则项，λ_IMU、λ_depth、λ_reg、λ_bind和λ_pri分别为对应各个约束项的权重系数；

所述单张深度图像的投影公式为：

其中，u,v为像素坐标，d(u,v)为深度图像上像素(u,v)位置处的深度值，

为深度相机内参矩阵；

求解骨骼的变形矩阵的公式为：

其中，K是骨骼

的父骨骼(关节)集合，θ_k表示骨骼k求解出来的转角，

则为已知的转轴，

为将求解出来的骨骼转动转换为变形矩阵；

所述每一个顶点的计算公式为：

其中，

为作用于顶点v_i的变形矩阵，包括旋转和平移两部分，

为所述变形矩阵的旋转部分，

为对顶点v_i有驱动作用的骨骼的集合，α_i,j为第j个骨骼对第i个模型顶点的驱动作用的权重，T_bj为第j个骨骼自身的运动变形矩阵，rot(T_bj)为该变形矩阵的旋转部分；

所述转换关系的计算公式为：

其中，R_I2C为当前的相机坐标系到大地坐标系的转换矩阵，

和

分别为当前帧和第一帧得到的传感器在大地坐标系下转向的测量值，

和

分别为当前帧和第一帧求解出来的骨骼的旋转，SLERP{·}为球面插值函数，w和ω分别为R_I2C和

的插值权重。

进一步地，在本发明的一个实施例中，所述匹配模块还用于获取深度相机的内参矩阵，并根据所述内参矩阵将所述单张深度图像投影到三维空间中，以生成所述三维点云。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明一个实施例的基于参数化人体模板和惯性测量的三维人体重建方法流程图；

图2为根据本发明一个实施例的基于参数化人体模板和惯性测量的三维人体重建系统的结构示意图。

具体实施方式

下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的基于参数化人体模板和惯性测量的三维人体重建方法及系统，首先将参照附图描述根据本发明实施例提出的基于参数化人体模板和惯性测量的三维人体重建方法。

图1为根据本发明一个实施例的基于参数化人体模板和惯性测量的三维人体重建方法流程图。

如图1所示，该基于参数化人体模板和惯性测量的三维人体重建方法包括以下步骤：

在步骤S101中，对人体进行深度图拍摄以得到单张深度图像。

具体而言，使用深度相机对动态人体进行拍摄，获得连续的单张深度图像序列。

在步骤S102中，读取人体四肢上绑定的惯性测量单元的转向测量读数。

具体而言，通过无线通信获取人体四肢上绑定的惯性测量单元在各个时刻的转向测量读数。

在步骤S103中，将单张深度图像变换为三维点云，以获取三维点云和重建模型顶点及参数话人体模型顶点之间的匹配点对。

在本发明的一个实施例中，将深度图像投影到三维空间中变换为一组三维点云包括：

获取深度相机的内参矩阵；

根据内参矩阵将深度图投影到三维空间中变换为一组三维点云。其中，变换的公式为：

其中，u,v为像素坐标，d(u,v)为深度图像上像素(u,v)位置处的深度值，

为深度相机内参矩阵；

在获取匹配点对方面，使用相机投影公式将三维模型的顶点投影到深度图像上以获得匹配点对。

单张深度图像的投影公式为：

其中，u,v为像素坐标，d(u,v)为深度图像上像素(u,v)位置处的深度值，

为深度相机内参矩阵。

在步骤S104中，根据匹配点对和转向测量读数得到能量函数，以共同求解重建模型上每一个顶点的非刚性运动位置变换参数和参数化人体模板的人体姿态参数。

具体而言，能量函数为：

E_mot＝λ_IMUE_IMU+λ_depthE_depth+λ_bindE_bind+λ_regE_reg+λ_priorE_prior，

其中，E_mot为运动求解总能量项，E_IMU为IMU数据对应的数据项，E_depth为深度图数据对应的数据项，包含非刚性运动跟踪的数据项和参数化人体模板人体姿态求解的数据项，E_bind为参数化人体姿态和非刚性运动一致性约束项，E_reg为局部刚性运动约束项，E_pri为人体姿态运动的正则项，λ_IMU、λ_depth、λ_reg、λ_bind和λ_pri分别为对应各个约束项的权重系数。

进一步地，在本发明的一个实施例中：

其中，惯性单元数据项E_IMU要求求解得到的骨骼旋转量与测量数值尽可能相近，深度图数据项E_data保证经过非刚性运动驱动后的重建模型和经过人体姿态驱动的参数化人体模型与从深度图获得的三维点云尽可能的对齐；局部刚性运动约束项E_reg可以在使模型整体受局部刚性约束运动的同时保证较大幅度的合理的非刚性运动也能被很好的解算出来，从而使模型更精确的与三维点云对齐；人体参数化人体模型姿态和非刚性运动一致性约束项E_bind用于保证解算出来的人体参数化人体模型姿态和非刚性运动尽可能的一致，从而可以保证最终解算出来的非刚性运动即符合人体骨架动力学模型，又充分的与从深度图中获得的三维点云对齐；人体姿态运动正则项E_prior使用高斯混合模型来约束人体姿态的正确性，不正常的解算姿态会导致该项能量较大，直至姿态解算正确。

在步骤S105中，对能量函数进行求解，并根据求解结果将重建模型和参数化人体模板与三维点云进行对齐，以得到对其后的模型。

具体而言，单张深度图像的投影公式为：

其中，u,v为像素坐标，d(u,v)为深度图像上像素(u,v)位置处的深度值，

为深度相机内参矩阵。

进一步地，在本发明的一个实施例中，共同求解重建模型上每一个顶点的非刚性运动位置变换参数和人体参数化人体模型姿态参数。最终求解获得的信息为每一个三维模型顶点的变换矩阵和人体参数化人体模型姿态参数，即每个骨骼的单独的变换矩阵。为了实现快速线性求解的要求，本发明实施例的方法对利用指数映射方法对变形方程做如下近似：

其中，

为截至上一帧的模型顶点v_i的累积变换矩阵，为已知量；I为四维单位阵；

其中，

令

即上一帧变换后的模型顶点，则经过变换有：

对于每个顶点，要求解的未知参数即为六维变换参数x＝(v₁,v₂,v₃,w_x,w_y,w_z)^T。骨骼运动的线性化方式与非刚性运动相同。

在步骤S106中，根据求解结果优化相机坐标与大地坐标系之间的转换关系及惯性测量单元坐标系与对应骨骼坐标系之间的转换关系。

具体而言，求解骨骼的变形矩阵的公式为：

其中，K是骨骼

的父骨骼(关节)集合，θ_k表示骨骼k求解出来的转角，

则为已知的转轴，

为将求解出来的骨骼转动转换为变形矩阵。

进一步地，每一个顶点的计算公式为：

其中，

为作用于顶点v_i的变形矩阵，包括旋转和平移两部分，

为该变形矩阵的旋转部分，

为对顶点v_i有驱动作用的骨骼的集合，α_i,j为第j个骨骼对第i个模型顶点的驱动作用的权重，T_bj为第j个骨骼自身的运动变形矩阵，rot(T_bj)为该变形矩阵的旋转部分。

进一步地，转换关系的计算公式为：

其中，R_I2C为当前的相机坐标系到大地坐标系的转换矩阵，

和

分别为当前帧和第一帧得到的传感器在大地坐标系下转向的测量值，

和

分别为当前帧和第一帧求解出来的骨骼的旋转，SLERP{·}为球面插值函数，w和ω分别为R_I2C和

的插值权重。

在本发明的一个实施例中，利用累积的旋转来优化当前的转换关系，通过要求从第一帧到当前帧的骨骼转动求解结果与惯性测量单元测量值尽可能保持一致，来求解更加精确的转换关系。计算公式为：

其中，R_I2C为当前的相机坐标系到大地坐标系的转换矩阵，

和

分别为当前帧和第一帧得到的传感器在大地坐标系下转向的测量值，

和

分别为当前帧和第一帧求解出来的骨骼的旋转，SLERP{·}为球面插值函数，用于融合两个旋转矩阵，w和ω分别为R_I2C和

的插值权重，通过将原有的转换关系R_I2C与

加权融合。

在步骤S107中，通过深度图更新和补全对其后的模型，并进一步优化参数化人体模板的人体形态参数。

进一步地，在本发明的一个实施例中，使用深度图像对对齐后的三维模型进行更新和补全，将新获得的深度信息融合到三维模型中，更新三维模型表面顶点位置或为三维模型增加新的顶点，使其更符合当前深度图像的表达。

本发明实施例的基于参数化人体模板和惯性测量的三维人体重建方法，通过在人体四肢上绑定多个惯性测量单元，同时利用深度相机对人体进行拍摄，从而获得深度图像和转向测量值作为系统输入信息，并基于这些信息完成对动态人体进行实时三维重建的功能。该方法求解准确鲁棒，简单易行，运行速度为实时，拥有广阔的应用前景，可以在PC机或工作站等硬件系统上快速实现。

其次参照附图描述根据本发明实施例提出的基于参数化人体模板和惯性测量的三维人体重建系统。

图2是本发明一个实施例的基于参数化人体模板和惯性测量的三维人体重建系统的结构示意图。

如图2所示，该基于参数化人体模板和惯性测量的三维人体重建系统10包括：深度相机100、多个惯性测量单元200、匹配模块300、运动结算模块400、坐标转换关系优化模块500和模型更新模块。

其中，深度相机100，用于对人体进行深度图拍摄以得到单张深度图像。多个惯性测量单元200，多个惯性测量单元绑定于人体四肢上，以读取转向测量读数。匹配模块300，用于将单张深度图像变换为三维点云，以获取三维点云和重建模型顶点及参数话人体模型顶点之间的匹配点对。运动结算模块400，用于根据匹配点对和转向测量读数得到能量函数，以共同求解重建模型上每一个顶点的非刚性运动位置变换参数和参数化人体模板的人体姿态参数。坐标转换关系优化模块500，用于对能量函数进行求解，并根据求解结果将重建模型和参数化人体模板与三维点云进行对齐，以得到对其后的模型，并根据求解结果优化相机坐标与大地坐标系之间的转换关系及惯性测量单元坐标系与对应骨骼坐标系之间的转换关系。模型更新模块600，用于通过深度图更新和补全对其后的模型，并进一步优化参数化人体模板的人体形态参数。该基于参数化人体模板和惯性测量的三维人体重建系统10

进一步地，在本发明的一个实施例中，能量函数为：

E_mot＝λ_IMUE_IMU+λ_depthE_depth+λ_bindE_bind+λ_regE_reg+λ_priorE_prior，

其中，E_mot为运动求解总能量项，E_IMU为IMU数据对应的数据项，E_depth为深度图数据对应的数据项，包含非刚性运动跟踪的数据项和参数化人体模板人体姿态求解的数据项，E_bind为参数化人体姿态和非刚性运动一致性约束项，E_reg为局部刚性运动约束项，E_pri为人体姿态运动的正则项，λ_IMU、λ_depth、λ_reg、λ_bind和λ_pri分别为对应各个约束项的权重系数；

单张深度图像的投影公式为：

其中，u,v为像素坐标，d(u,v)为深度图像上像素(u,v)位置处的深度值，

为深度相机内参矩阵；

求解骨骼的变形矩阵的公式为：

其中，K是骨骼

的父骨骼(关节)集合，θ_k表示骨骼k求解出来的转角，

则为已知的转轴，

为将求解出来的骨骼转动转换为变形矩阵；

每一个顶点的计算公式为：

其中

为作用于顶点v_i的变形矩阵，包括旋转和平移两部分，

为该变形矩阵的旋转部分；

为对顶点v_i有驱动作用的骨骼的集合，α_i,j为第j个骨骼对第i个模型顶点的驱动作用的权重，T_bj为第j个骨骼自身的运动变形矩阵，rot(T_bj)为该变形矩阵的旋转部分；

转换关系的计算公式为：

其中，R_I2C为当前的相机坐标系到大地坐标系的转换矩阵，

和

分别为当前帧和第一帧得到的传感器在大地坐标系下转向的测量值，

和

分别为当前帧和第一帧求解出来的骨骼的旋转，SLERP{·}为球面插值函数，w和ω分别为R_I2C和

的插值权重。

进一步地，在本发明的一个实施例中，匹配模块300还用于获取深度相机的内参矩阵，并根据内参矩阵将单张深度图像投影到三维空间中，以生成三维点云。

需要说明的是，前述对基于参数化人体模板和惯性测量的三维人体重建方法实施例的解释说明也适用于该实施例的系统，此处不再赘述。

本发明实施例的基于参数化人体模板和惯性测量的三维人体重建系统，通过在人体四肢上绑定多个惯性测量单元，同时利用深度相机对人体进行拍摄，从而获得深度图像和转向测量值作为系统输入信息，并基于这些信息完成对动态人体进行实时三维重建的功能。该系统具有设备简单，方便部署和可扩展强，所需的输入信息非常容易采集，并且可以实时的获得人体的动态三维模型，此外还能跟踪人体的快速大幅度肢体运动，且求解准确鲁棒，简单易行，运行速度为实时，拥有广阔的应用前景。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种基于参数化人体模板和惯性测量的三维人体重建方法，其特征在于，包括以下步骤：

对人体进行深度图拍摄以得到单张深度图像；

读取人体四肢上绑定的惯性测量单元的转向测量读数；

将所述单张深度图像变换为三维点云，以获取所述三维点云和重建模型顶点及参数化人体模型顶点之间的匹配点对；

根据所述匹配点对和所述转向测量读数得到能量函数，以共同求解所述重建模型上每一个顶点的非刚性运动位置变换参数和参数化人体模板的人体姿态参数，其中，所述每一个顶点的计算公式为：

其中，

为作用于顶点v_i的变形矩阵，包括旋转和平移两部分，

为该变形矩阵的旋转部分；

为对顶点v_i有驱动作用的骨骼的集合，α_i，j为第j个骨骼对第i个模型顶点的驱动作用的权重，T_bj为第j个骨骼自身的运动变形矩阵，rot(T_bj)为该变形矩阵的旋转部分；

对所述能量函数进行求解，并根据求解结果将所述重建模型和所述参数化人体模板与所述三维点云进行对齐，以得到对齐后的模型；

根据所述求解结果优化相机坐标与大地坐标系之间的转换关系及惯性测量单元坐标系与对应骨骼坐标系之间的转换关系，其中，所述转换关系的计算公式为：

其中，R_I2C为当前的相机坐标系到大地坐标系的转换矩阵，

和

分别为当前帧和第一帧得到的传感器在大地坐标系下转向的测量值，

和

分别为当前帧和第一帧求解出来的骨骼的旋转，SLERP{·}为球面插值函数，w和ω分别为R_I2C和

的插值权重；以及

通过深度图更新和补全所述对齐后的模型，并进一步优化参数化人体模板的人体形态参数。

2.根据权利要求1所述的基于参数化人体模板和惯性测量的三维人体重建方法，其特征在于，所述能量函数为：

E_mot＝λ_IMUE_IMU+λ_depthE_depth+λ_bindE_bind+λ_regE_reg+λ_priorE_prior，

其中，E_mot为运动求解总能量项，E_IMU为IMU数据对应的数据项，E_depth为深度图数据对应的数据项，包含非刚性运动跟踪的数据项和参数化人体模板人体姿态求解的数据项，E_bind为参数化人体姿态和非刚性运动一致性约束项，E_reg为局部刚性运动约束项，E_pri为人体姿态运动的正则项，λ_IMU、λ_depth、λ_reg、λ_bind和λ_pri分别为对应各个约束项的权重系数。

3.根据权利要求1所述的基于参数化人体模板和惯性测量的三维人体重建方法，其特征在于，所述将所述单张深度图像变换为三维点云，进一步包括：

获取深度相机的内参矩阵；

根据所述内参矩阵将所述单张深度图像投影到三维空间中，以生成所述三维点云。

4.根据权利要求3所述的基于参数化人体模板和惯性测量的三维人体重建方法，其特征在于，所述单张深度图像的投影公式为：

其中，u，v为像素坐标，d(u，v)为深度图像上像素(u，v)位置处的深度值，

为深度相机内参矩阵。

5.根据权利要求1所述的基于参数化人体模板和惯性测量的三维人体重建方法，其特征在于，求解骨骼的变形矩阵的公式为：

其中，K是骨骼

的父骨骼集合，θ_k表示骨骼k求解出来的转角，

则为已知的转轴，

为将求解出来的骨骼转动转换为变形矩阵。

6.一种基于参数化人体模板和惯性测量的三维人体重建系统，其特征在于，包括：

深度相机，用于对人体进行深度图拍摄以得到单张深度图像；

多个惯性测量单元，所述多个惯性测量单元绑定于人体四肢上，以读取转向测量读数；

匹配模块，用于将所述单张深度图像变换为三维点云，以获取所述三维点云和重建模型顶点及参数化人体模型顶点之间的匹配点对；

运动结算模块，用于根据所述匹配点对和所述转向测量读数得到能量函数，以共同求解所述重建模型上每一个顶点的非刚性运动位置变换参数和参数化人体模板的人体姿态参数，其中，所述每一个顶点的计算公式为：

其中，

为作用于顶点v_i的变形矩阵，包括旋转和平移两部分，

为该变形矩阵的旋转部分，

为对顶点v_i有驱动作用的骨骼的集合，α_i，j为第j个骨骼对第i个模型顶点的驱动作用的权重，T_bj为第j个骨骼自身的运动变形矩阵，rot(T_bj)为该变形矩阵的旋转部分；

坐标转换关系优化模块，用于对所述能量函数进行求解，并根据求解结果将所述重建模型和所述参数化人体模板与所述三维点云进行对齐，以得到对齐后的模型，并根据所述求解结果优化相机坐标与大地坐标系之间的转换关系及惯性测量单元坐标系与对应骨骼坐标系之间的转换关系，其中，所述转换关系的计算公式为：

其中，R_I2C为当前的相机坐标系到大地坐标系的转换矩阵，

和

分别为当前帧和第一帧得到的传感器在大地坐标系下转向的测量值，

和

分别为当前帧和第一帧求解出来的骨骼的旋转，SLERP{·}为球面插值函数，w和ω分别为R_I2C和

的插值权重；以及

模型更新模块，用于通过深度图更新和补全所述对齐后的模型，并进一步优化参数化人体模板的人体形态参数。

7.根据权利要求6所述的基于参数化人体模板和惯性测量的三维人体重建系统，其特征在于，所述能量函数为：

E_mot＝λ_IMUE_IMU+λ_depthE_depth+λ_bindE_bind+λ_regE_reg+λ_priorE_prior，

其中，E_mot为运动求解总能量项，E_IMU为IMU数据对应的数据项，E_depth为深度图数据对应的数据项，包含非刚性运动跟踪的数据项和参数化人体模板人体姿态求解的数据项，E_bind为参数化人体姿态和非刚性运动一致性约束项，E_reg为局部刚性运动约束项，E_pri为人体姿态运动的正则项，λ_IMU、λ_depth、λ_reg、λ_bind和λ_pri分别为对应各个约束项的权重系数；

所述单张深度图像的投影公式为：

其中，u，v为像素坐标，d(u，v)为深度图像上像素(u，v)位置处的深度值，

为深度相机内参矩阵；

求解骨骼的变形矩阵的公式为：

其中，K是骨骼

的父骨骼集合，θ_k表示骨骼k求解出来的转角，

则为已知的转轴，

为将求解出来的骨骼转动转换为变形矩阵。

8.根据权利要求6所述的基于参数化人体模板和惯性测量的三维人体重建系统，其特征在于，所述匹配模块还用于获取深度相机的内参矩阵，并根据所述内参矩阵将所述单张深度图像投影到三维空间中，以生成所述三维点云。

Images