CN112330813A - 一种基于单目深度摄像头的着装下三维人体模型重建方法 - Google Patents

Abstract

本发明提出了一种基于单目深度摄像头着装下三维人体模型重建方法，首先，利用单目深度摄像头扫描着装的三维人体，将单目深度摄像头Kinect扫描的穿衣人体模型作为输入，生成S_SCAPE人体统计形状模型；其次，基于随机森林回归自动识别自定义的关键特征点，判断着装人体模型的衣服点并对衣服区域进行双边滤波处理，达到去除衣服点对三维人体模型的影响；然后，将S_SCAPE人体统计形状模型作为参数化模板模型，使得扫描人体模型与模板模型进行初始化拟合；最后，模板模型经过非刚性形变与人体模型进行拟合，拟合过程中采用L_BFGS算法优化，实现着装下三维人体模型的重建。本发明降低了人体模型获得的设备复杂性，同时提高了着装下三维人体重建的准确性。

Description

一种基于单目深度摄像头的着装下三维人体模型重建方法

技术领域

本发明涉及一种基于单目深度摄像头的着装下三维人体模型重建方法，属于计算机图形学技术领域。

背景技术

在多媒体、虚拟现实和计算机图形学领域已经对三维人体重建进行了深入的研究。三维人体模型可用于协助服装设计，人体测量和娱乐领域的各种建模应用，许多计算机图形应用中人机交互和虚拟现实等应用如动画、计算机游戏等，都需要逼真的三维人体模型，特别在跟踪、图形、监视和法医视频分析领域，对于许多应用程序，包括虚拟试衣、健康监测和虚拟现实中的三维人体的创建，都需要可靠的三维人体模型重建，然而以往的重建技术都依赖价格昂贵的三维扫描设备，并且需要专业的人员操作以及大量的手工处理，采集方式要求用户穿着最少衣物，这给实际应用带来约束。因此，实用的三维人体模型重建方法是至关重要。

已有的着装下的三维人体重建将服装看作为噪音，进行去噪操作以达到去除衣服重建人体模型的目的，这个方法基于穿着紧身衣的人体数据库来训练模特模型从而学习不穿衣服时的人体形状，利用具有人体三维特征信息的约束条件对模板网格进行变换，得到受到服装影响的粗糙网格并通过SCAPE模型作为统计形状对个性化人体进行建模，结合基于骨骼的变形来对姿态变化进行建模。虽然该方法可以在静态扫描和运动序列中估计出与服装相对接近的形状和姿态，但估计的形状表面几乎没有细节。

对于重建三维人体模型，许多学者都是利用深度摄像头，消费级深度摄像头Microsoft Kinect相比传统的扫描仪具有体积小，价格低，操作方便等优点，还可以同时获取扫描物体的深度信息，不受光线等客观物理因素的影响，基于Kinect重建三维人体模型是利用深度相机扫描不同视角的单帧人体点云数据，对采集的三维人体的点云数据进行预处理，将多角度的点云进行配准整合到同一个坐标系中再经过重建曲面，生成完整的三维人体模型。本发明仅采用一个深度摄像头扫描着装的三维人体继而重建出着装下的三维人体模型。

在安徽信息工程学院丁富扬、王德昌黄英申请、2019年1月8日公开、公开号为CN109166134A、发明名称为“基于多Kinect的人体动态三维重建方法”的中国发明专利申请中，提出基于多Kinect的进行三维人体的重建，通过对每一个Kinect进行准确的标定并采集各个Kinect获取的深度数据，对点云数据进行人体检测和背景消除得到人体点云数据，将人体点云数据进行几何配准得到三维人体点云信息，虽然通过多个Kinect的三维重建方法克服了单一的Kinect由于视角有限,不能获取捕捉动态完整的人体数据的问题，但是同时对多个Kinect的过程十分复杂，不利于实现。

在华南理工大学毛爱华、张弘、柳雨新、罗洁、郑颖龙、李桂清、韩国强申请、2019年8月20日公开、公开号为CN106204718B、发明名称为“一种基于单个Kinect的简易高效三维人体重建方法”的中国发明专利申请中，为了使人体建模更加快速、准确和方便，该发明提出了一种有效的全身扫描的数据采集策略，只通过六个角度，每个角度三帧的扫描，便可以完全覆盖人体，用得到的完整人体点云进行泊松表面重建得到最终的三维人体模型。该发明申请虽然可以重建出扫描的三维人体模型，但是未对扫描的三维人体的着装情况进行说明，不同的着装情况，则会不同程度地影响重建的三维人体模型的准确性。

发明内容

本发明解决问题：克服现有技术的不足，设计了一种基于单目深度摄像头的着装下三维人体模型重建方法，解决了三维人体模型获取时需要穿紧身衣的约束以及重建的三维人体模型缺乏细节特征的问题，提高了三维人体模型重建的精确性。

本发明技术解决方案：一种基于单目深度摄像头着装下三维人体模型重建方法，包括以下步骤：

1、基于单目深度摄像头扫描着装的三维人体

建立三维人体模型是以Kinect获取人体数据为基础，仅使用单个深度摄像头扫描着装的三维人体模型，得到扫描后的完整的着装人体模型。

2、生成基于S_SCAPE人体统计形状模型

2.1)SCAPE模型是一系列网格中的三角形变换的总和，SCAPE模型分别计算姿势变形参数和体型变形参数。

2.2)基于SCAPE模型生成S_SCAPE人体统计模型，模型使用参数向量表示每个体型的PCA模型，可以产生一个新模型，即S-SCAPE人体统计形状模型，首先要将基本的骨架拟合到平均人体模型上，然后使用线性混合蒙皮权重将表面附着到骨骼上，可以变形为任意姿势且体型不变的人体模型。

2.3)将线性混合蒙皮应用于个性化网格以获得最终的网格

为了重建出骨骼姿态为x，体型为

的模型，此方法首先使用

来计算个性化网格

这可以用矩阵表示法表示:

其中

为分块矩阵包含了每个顶点的变换，

是训练集中的平均人体体型。

3、去除着装人体模型的衣服点影响

3.1)判断出着装人体模型的皮肤区域。

3.2)双边滤波是一种非线性的滤波方法，是空间邻近度和像素值相似度的一种折衷处理，同时考虑空域信息和灰度相似性。对裸露的皮肤区域向衣服的边缘区域进行滤波处理，达到去除衣服点对人体模型的影响。

4、有约束非线性的初始化拟合

4.1)将模板模型与人体模型进行初拟合，利用KNN方法寻找变形模板与扫描人体模型之间的所有顶点之间的最近邻点进行初对齐。使得变形后的模板尽可能地逼近扫描人体模型。

4.2)人体姿势先验的计算，高斯分布N(μθΣθ)使扫描模型接近模板模型，再使用基于梯度下降最小化方法，使得姿势和模板模型进行拟合。

4.3)人体体型先验的计算，通过参数化模板模型提供了对角协方差矩阵，该矩阵表示身体形状的高斯先验，通过马氏距离可以约束三维人体模型的体型。

5、非刚性形变的模板模型与扫描模型的拟合

5.1)模板模型与人体模型的对齐，采用非刚性模板拟合，进一步对齐模板模型与扫描模型，保证变形之后的模板模型M的每个顶点尽可能地与扫描人体模型S对应点对齐，使得模板模型尽可能地靠近扫描人体模型。

5.2)人体网格平滑形变，防止变形模板M的相邻顶点与扫描人体模型S中不同的顶点匹配，增加平滑项对扫描模型网格进行光滑表面变形，并保证通过仿射变换得到的光滑项能够连接模板模型与扫描人体模型相似的顶点。

5.3)人体模型特征点的拟合，当模板模型与扫描人体模型相距较远时，可能会出现误差。因此，在模板模型上使用特征点项识别对应于扫描人体模型上的已知的一组特征点，准确的特征点可以使模板模型更接近扫描人体模型，并且避免局部收敛的问题。

5.4)将上述三项，即数据项、网格平滑项与特征点项组合成非线性组合，采用L_BFGS算法对非线性组合进行优化，从而实现模板模型的非刚性拟合。

有益效果

本发明与现有技术相比的优点在于：

(1)本发明仅采用一台深度摄像头扫描着装的人体模型，首先判断着装人体模型的衣服点，去除服装再利用统计形状模型S_SCAPE模型进行非刚性注册到三维人体模型上，从而估计出具体细节和高质量的人体形状，简化了人体模型获得的设备复杂性，具有如下优点：利用S_SCAPE人体统计形状模型作为参数化模板模型，可以预先计算个性化网格和骨架，加快重建速度，通过高质量的参数化模板模型来学习模型，可以获得高保真的三维人体模型。

(2)本发明基于随机森林回归自动识别出自定义的关键特征点判断出着装人体模型的皮肤区域，并对裸露的皮肤区域向衣服的边缘区域进行双边滤波处理，实现去除衣服点对人体模型的影响。

(3)对三维人体模型首先进行内点法的初始化拟合，再经过非刚性模板的形变拟合对齐，L_BFGS算法的优化可以保证三维人体形状的准确性，同时还可以保证人体形状的细节特征。

附图说明

图1是本发明方法的流程图；

图2是自定义的特征点图；

图3是模板模型与人体模型进行拟合的特征点的位置图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。

本发明基于单目深度摄像头着装下三维人体模型重建方法，简化了人体模型获得的设备复杂性，采用S_SCAPE人体统计模型作为参数化模板模型，重建裸体的三维人体模型。参数化模板模型与数据采集模型结合时，与传统扫描相比的优点是能够从不完整的数据自动重建完整的三维人体模型。由于参数化模型是数据驱动的，使用高质量的体型数据集来学习模型，因此可以获得高保真的结果。同时提高了着装下三维人体重建的准确性。三维人体形态的参数化建模被广泛应用于现实人体的建模中，参数化建模的方法可以从不完整的捕获数据中稳健地重建完整的三维人体模型。

基于单目深度摄像头着装下三维人体模型重建方法，包括：

步骤1，利用单目深度摄像头扫描着装的三维人体，将单目深度摄像头Kinect扫描的穿衣人体模型作为输入模型。

步骤2，基于SCAPE模型生成S_SCAPE人体统计形状模型，并将其作为参数化模板模型。

步骤3，基于随机森林回归自动识别出自定义的关键特征点，如图2所示，判断出着装人体模型的皮肤区域，并对裸露的皮肤区域向衣服的边缘区域进行双边滤波处理，达到去除衣服点对人体模型的影响。

步骤4，使得扫描穿衣人体模型与参数化模型进行初始化拟合，有约束非线性优化初始化拟合，可以保证模板模型与扫描模型的初步对齐，增大重建人体模型的准确率，为之后的模板的非刚性拟合奠定基础。

步骤5，将S_SCAPE人体统计形状模型作为参数化模板模型，通过L_BFGS算法优化数据项、网格平滑项和特征点项，实现着装下三维人体模型的重建。

S_SCAPE人体统计模型在重建一个给定新的姿势和体型模型的顶点位置时，由于无需求解泊松方程(Poisson system)而提升了运行的效率。传统的扫描技术会导致由于身体某些区域的遮挡和不可访问而致间隙和缺失区域。对于许多应用程序，包括虚拟试衣、健康监测和虚拟现实中的三维人体的创建，都需要可靠的三维人体的估计，本发明解决了着装条件下个性化三维人体模型重建的问题。

如图1所示，本发明基于单目深度摄像头着装下三维人体模型重建方法可以分为：有单目深度摄像头扫描着装的三维人体、生成S_SCAPE人体统计形状模型、去除三维人体模型的衣服影响、有约束非线性的初始化拟合和非刚性模板模型的拟合五个阶段，最终实现着装下三维人体模型的重建。

步骤1基于单目深度摄像头扫描着装的三维人体作为输入模型

本发明使用单个的Kinect深度摄像头采集着装的人体模型，Kinect作为一种三维体感摄像机，无需额外的控制器，仅依靠相机捕捉三维空间中用户的运动，将用户的轮廓、骨架、以及姿势等体感信息经过整合，从而获得着装的三维人体模型作为输入模型。

本发明扫描的过程可以分成两个部分：首先使用Kinect深度相机扫描人体，如图1.(a)所示，被扫描人体以标准A-pose姿势站立在深度相机前，Kinect深度摄像头位于人体正前方2-4米之间(具体的相对距离视被扫描人体的身高而定)，然后通过拉动转盘使其旋转360度，得到扫描后的完整人体模型，扫描结果如图1.(b)所示，获得多个不同性别、不同体型的着装的三维人体模型。

Kinect深度摄像头采集三维人体模型的原理是基于Kinect的三维重建技术，通过彩色摄像头与红外COMS摄像头获取待测目标的深度信息和彩色图像的，结合相关知识，Kinect摄像头的标定工作流程如下：

(1)硬件设施的准备：Kinect摄像头位于人体正前方2-4米之间(具体的相对距离视被扫描人体的身高而定)。

(2)三维点云的获取：读出着装的三维人体模型的点云数据。

步骤2生成S_SCAPE人体统计形状模型

步骤2.1SCAPE模型

SCAPE模型是一系列网格中的三角形k变换的总和，它分别计算姿势变形参数和体型变形参数：其中姿势变形是通过计算和预测骨架变形来完成的，用两个变换来表示姿势的改变，其中一个参数表示人的姿势由以下刚性骨架的变形引起的旋转，另一个参数编码源自不同体形的每个三角形的网格变形，或非刚性的姿势依赖于表面变形；而体型变换重新编码了网格上每个三角形的变换，以此来控制相同标准姿势下人体体型的改变，其通过捕捉标准姿势人体模型组成的训练集上应用PCA来获取一个合理的体型变换低维空间，最终结合这些参数来指导三角形模型变形，产生出新的人体模型。每个三角形顶点的拟合位置Y＝{y₁，y₂，...，y_V}通过最小化最小二乘公式求得：

其中K为目标模型上三角网格的总数；V为目标模型上的顶点总数；三角形k的三个顶点分别为y_1k，y_2k，y_3k；其中y_i，k-y_1，k为目标模型网格上对应的边。SCAPE将人体模型分割成了17个部分，Q_k(θ)为一个3×3的矩阵表示了非刚性变形包括姿势变化导致的变形，如肌肉的隆起；而P_p[k](θ)为一个具有三维参数θ的3×3的矩阵，这个参数表示了身体部分p刚性旋转导致的变形；最后，S_k(β)为一个3×3矩阵解释了不同个体间的体型变化。

步骤2.2基于SCAPE模型生成S_SCAPE人体统计模型

S-SCAPE空间在重建一个给定新的姿势和体型模型的顶点位置时，由于无需求解泊松方程(Poisson system)而提升了运行的效率。在通过学习构建模型的过程中，仅使用扫描标准姿势下的人体模型x₀作为训练集，其次，使用网格M_i(与模板模型T刚性对准后的拟合结果)学习使用参数向量

表示每个体型的PCA模型，并可以产生一个姿势为x₀，体型为

的新模型，如公式(2)所示：

其中

是经过PCA计算得到的矩阵，

则是训练集的平均人体体型。上述的形状空间仅覆盖体形的变化，而不包括姿势的变化。为了实现这个目标，首先要将基本的骨架拟合到平均人体模型上，然后使用线性混合蒙皮权重将表面附着到骨骼上，这使得可以变形任意一个体型不变为

的身体模型为任意的姿势x，如公式(3)所示

其中，

为

的第i个顶点的齐次坐标；B为用于绑定的骨骼的数量；

为第j号骨骼的变换，ω_i，j为绑定权重。使用

来计算个性化网格

步骤2.3获得最终的S_SCAPE人体统计模型

将线性混合蒙皮应用于个性化网格以获得最终的网格

，即获得最终的S_SCAPE人体统计模型，如公式(4)所示：

其中

为分块矩阵包含了每个顶点的变换。通过S-SCAPE方法在建模可以预先计算个性化网格和骨架，这种速度的提升对于三维重建是至关重要的。

步骤3去除着装人体模型的衣服点影响

步骤3.1判断着装人体模型的皮肤区域

首先，在着装人体模型的皮肤与衣服的分界处自定义的两个关键特征点，分界点1和分界点2，如图2所示，随机森林回归分析过程是应用尺度不变的热核描述符(SI-HKS)和基于热传播的测地距离(Geodesics in heat)生成大量彼此相互独立的分类决策树，依据人体模型的SI-HKS局部特征和模型上采样点到某个关键特征点之间测地距离的映射关系来自动识别出关键特征点的位置。因此基于随机森林回归的方法自动识别出分界点1和分界点2的位置，

其次，基于KNN的方法围绕这两个特征点在着装的三维人体模型的皮肤和衣服的分界处自动地画出一条分界曲线，将着装的人体模型的衣服区域与皮肤区域分隔开来。

然后，按照上述方法，同样地，在着装人体模型手腕处基于随机森林回归识别出手腕点的位置，如图2所示，并在手腕点处画一条曲线，则皮肤与衣服的分界曲线与手腕曲线之间的区域就是着装人体模型的皮肤区域，通过分类算法将着装人体模型的点云数据进行分类，则该区域之内的点云数据就是着装人体模型的皮肤区域，将着装人体模型上的皮肤区域逐一判断出，则着装人体模型上其余的点云数据皆是衣服区域。最后通过后续方法对衣服区域进行滤波处理，实现去除衣服点对人体模型的影响。

步骤3.2对衣服区域进行双滤波处理

对着装三维人体模型的采用双边滤波处理对裸露的皮肤区域向衣服的区域进行滤波处理，由于采集的着装人体模型身着T恤，因此在裸露的胳膊皮肤基于特征点通过双边滤波算子对特征点的领域进行全局相似性匹配计算，滤波器由公式(5)和公式(6)两个函数构成：

在皮肤区域，滤波器中的每个像素点的G_r值相近，空间距离权重G_s主导滤波效果。在边缘区域，边缘同侧的G_r值相近，且远大于边缘另一侧的G_r值，此时另一侧的像素点对滤波结果不影响。因此，对边缘区域进行滤波处理，输出像素值依赖于邻域像素值的加权组合。从皮肤区域出发，计算出皮肤点与衣服边缘点的距离，然后计算得出皮肤区域的权重；从衣服的边缘区域出发，计算出皮肤点与目标点的差值；然后计算得到衣服边缘区域的权重；同时让皮肤各个点的像素值乘以该点的权重W，并加起来得到的SUM_i；最后除以SUM_W(即权重的总和)得到目标点最终的像素值。因此，通过双边滤波对人体模型外表的衣服进行滤波处理，达到去除衣服点对人体模型的影响，通过有约束非线性优化的拟合的方式对人体模型进行初拟合。

步骤4有约束非线性优化(Interior Point Algorithm)的初始化拟合

在最小二乘法的基础上，使得一个点的坐标集最佳地映射到另一个点，并基于四元数的方法用于模板模型的旋转、平移和缩放，从而使得模板模型与扫描模型进行初始化对齐。

步骤4.1基于KNN的模板模型与扫描人体模型初对齐

如图1.(e)采用内点法(Interior Point Algorithm)进行姿态和体型的拟合。通过构造公式(7)，将体型参数α和姿态参数β，变形模板模型M和扫描人体模型S组成的非线性组合，从而将约束优化问题转换成无约束问题，不断地优化迭代目标函数，以使得算法收敛，到达优化目标函数的目的。其中E_d是人体模型的数据项，E_α和E_β是人体模型的先验项；λ_d为人体模型数据项的权重，λ_α和λ_β为人体模型先验项的权重。

E_prior＝λ_dE_d+λ_αE_α+λ_βE_β (7)

数据项:将模板模型尽可能地靠近扫描人体模型，在姿态和体型拟合过程中进行全局优化，并且分别计算模板模型和扫描模型的网格法线，同时保证两法线夹角的一致性和正确性。如公式(8)所示，利用KNN的方法寻找人体模型上所有顶点M_s与变形模板模型上所有顶点X_s之间的最近邻点，并计算它们之间的最短距离，使得扫描人体模型更接近于参数化模板模型。

E_d(S；M)＝∑ρ(dist(X_s,M_s)) (8)

步骤4.2人体姿势先验的计算

姿态先验:在此阶段，扫描模型的姿态保持A-pose，通过高斯分布N(μθΣθ)使扫描模型接近模板模型，再使用基于梯度的下降最小化方法，使得姿势和模板模型进行拟合，如公式(9)所示：

E_α(α)＝D(α；θ，∑α) (9)

α是人体模型的姿势参数，姿势的初始化拟合使扫描模型尽可能接近参数化模板模型，而且初始的姿态参数最接近最优解，因此通过初始化姿势的拟合增大了优化的有效性。

步骤4.3人体体型先验的计算

体型先验：参数化模板模型S_SCAPE提供了对角协方差矩阵，该矩阵表示身体形状的高斯先验∑β，然后通过马氏距离可以将人体形状限制在一个空间内，如公式(10)所示:

E_β(β)＝∑D(β；∑β) (10)

首先设置正则化的权重值，保证在一开始的模板模型体型参数只对扫描模型执行对齐，用有约束非线性化方法对模板模型和扫描人体模型优化公式(7),实现参数化模板模型与扫描人体模型的初步拟合，为后续模板模型的非刚性拟合奠定基础。如图1.(d)可以看到去除衣服点的人体模型与模板模型的关键特征点经过初始化拟合的位置变化，很明显地可以看到去除衣服点的人体特征点较穿衣的人体特征点更集中。

步骤5非刚性形变的模板模型与扫描模型的拟合

步骤5.1模板模型与人体模型的对齐

非刚性模板模型拟合过程如图1.(f)所示:在非刚性模板拟合的过程中，模板模型的每个顶点都由一个4×4仿射矩阵进行变换所得，在变换过程中允许有12个自由度。将非刚性变形的模板模型M拟合到上述初步对齐的人体模型中，从而找到一组矩阵Ai，使得非刚性形变的模板模型的顶点与人体模型的相应顶点以尽可能好的方式对齐；最后，利用L-GFBS算法通过调整ω_d,ω_s,ω_l使得数据项E_d、平滑项E_s和特征点项E_l之间的非线性组合最小化，实现非刚性模板拟合，如公式(11)所示：

E_{non_rigid}＝ω_dE_d+ω_sE_s+ω_lE_l (11)

数据项:保证变形之后的模板模型M的每个顶点尽可能地与扫描人体模型S对应点对齐，通过最小化Frobenius范数，保证数据项的拟合，如公式(12)所示：

其中，公式(12)中w_i是增加耦合的每个顶点误差的权值，E_d是S中最近的兼容点，如果变形模板与扫描模型之间的最近点距离的表面法线的角度小于60°，点之间的距离小于20mm，则w_i为1，否则为0。

步骤5.2人体网格平滑形变

平滑项:如果仅使用数据项来拟合人体模型，可能会导致变形模板M的相邻顶点与扫描人体模型S中不同的顶点匹配。因此，增加网格平滑项E_s对扫描模型网格进行光滑表面变形，并保证通过仿射变换得到的网格光滑项E_s能够连接相似的两个顶点，如公式(13)所示，防止模板模型与扫描人体模型的不同顶点相对齐。

步骤5.3人体模型特征点的拟合

特征点项:使用数据项和网格平滑项可以解决模板模型和扫描人体模型两个模型表面的对齐问题。但是，当模板模型M与扫描人体模型S相距较远时，模板模型与人体模型的非刚性拟合可能会出现误差。因此，必须在模板模型M使用特征点项E_l识别对应于扫描人体模型S上的已知的一组特征点，准确的特征点可以使模板模型更接近扫描人体模型并且避免局部收敛的问题，如公式(14)所示：

其中，公式(14)中k_i为模板模型上的特征点指数，I_i为扫描模型上的特征点。如图3所示，每个扫描模型包含51个标记特征点，表1是这51个特征点在人体模型上具体的位置名称。通过模板模型和扫描模型上对应的51个关键特征点，实现模板模型与人体模型的非刚性拟合，特征点的匹配使得扫描人体模型足够接近模板模型的表面，能够避免了局部收敛的问题。

表1特征点序号对应的人体具体位置的名称

步骤5.4L_BFGS算法对非线性组合进行优化

L_BFGS算法，L是Large,BFGS分别是布罗依丹(Broy-den,C.G.)以及弗莱彻(Fletcher,R.),戈德福布(Goldforb,D.)、香诺(Shanno,D.F.)，L_BFGS算法将数据项、网格平滑项与特征点项与不同权重组合成非线性组合如公式(15)，我们采用L_BFGS算法对非线性组合进行约束优化，使得该非线性组合最小化，从而实现模板模型的非刚性拟合。

E＝ω_dE_d+ω_sE_s+ω_lE_l (15)

通过使用不同的权重值进行优化公式(15)。首先执行一个迭代设置ω_d值为无限大，先有效地执行一个粗略的对齐，导致收敛到一个合理的初始体型。然后将数据项的权重值逐渐增加到1。此外,调整重量ω_s值，ω_l值有利于解决找到最适合的条件。通过减少ω_s从而增加模板模型变形的灵活性，允许模板模型出现更好的细节，同时减少ω_l值由于不可靠的扫描使得特征点的位置会发生偏差。拟合后的人体模型的顶点数比原扫描模型少三分之一，因此在拟合人体模型的质量和计算效率之间取得了良好的平衡。

本发明基于单目深度摄像头着装下三维人体模型重建的方法，将单目深度摄像头Kinect扫描的穿衣人体模型作为输入模型，简化了人体模型获得的设备复杂性；并通过对裸露的皮肤区域向衣服的边缘区域进行双边滤波处理，达到去除衣服点对人体模型的影响；将S_SCAPE人体统计形状模型作为参数化模板模型，使得扫描穿衣人体模型与参数化模型分别进行初始化拟合和非刚性形变拟合，并采用有约束非线性优化算法和L_BFGS算法优化拟合过程，由于参数化模型是数据驱动的，使用高质量的体型数据集来学习模型，因此可以获得高保真的结果。同时提高了着装下三维人体重建的准确性。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (6)

1.一种基于单目深度摄像头着装下三维人体模型重建方法，其特征在于，包括如下步骤：

步骤1，利用单目深度摄像头扫描着装的三维人体，将单目深度摄像头Kinect扫描的穿衣人体模型作为输入模型；

步骤2，基于SCAPE模型生成S_SCAPE人体统计形状模型，并将其作为参数化模板模型；

步骤3，基于随机森林回归自动识别出多个自定义的关键特征点，所述自定义的关键特征点是指在着装人体模型的皮肤与衣服的分界处定义两个分界点，在着装人体模型的手腕处定义一个手腕点，通过识别自定义的关键特征点，判断出着装人体模型的皮肤区域，并对裸露的皮肤区域向衣服的边缘区域进行双边滤波处理，达到去除衣服对人体模型的影响；

步骤4，使得扫描穿衣人体模型与参数化模板模型进行初始化拟合，有约束非线性优化初始化拟合，保证参数化模板模型与扫描的穿衣人体模型的初步对齐；

步骤5，将S_SCAPE人体统计形状模型作为参数化模板模型，通过L_BFGS算法优化数据项、网格平滑项和特征点项，实现着装下三维人体模型的重建；其中L_BFGS最优化的算法使得参数化模板模型的扫描的穿衣人体模型的数据项、网格平滑项和特征点项的非线性组合最小化，在进行函数最小化的同时，参数化模板模型会随着数据项、网格平滑项和特征点的优化会发生非刚性形变，因此，通过参数化模板模型的非刚性形变拟合扫描的着装人体模型。

2.根据权利要求1所述的一种基于单目深度摄像头着装下三维人体模型重建方法，其特征在于，所述步骤1利用单目深度摄像头扫描着装的三维人体，将单目深度摄像头Kinect扫描的穿衣人体模型作为输入模型，具体包括如下步骤：

首先使用Kinect深度相机扫描人体，被扫描人体以标准A-pose姿势站立在深度相机前，Kinect深度摄像头位于人体正前方预定距离处，然后通过拉动转盘使其旋转360度，得到扫描后的完整人体模型，获得多个不同性别、不同体型的着装的三维人体模型。

3.根据权利要求1所述的一种基于单目深度摄像头着装下三维人体模型重建方法，其特征在于，所述步骤2基于SCAPE模型生成S_SCAPE人体统计形状模型：

2.1)SCAPE模型是一系列网格中的三角形变换的总和，基于SCAPE模型分别计算姿势变形参数和体型变形参数；

2.2)基于SCAPE模型生成S_SCAPE人体统计模型，SCAPE模型使用参数向量表示每个体型的PCA模型，产生一个新模型，即S-SCAPE人体统计形状模型，首先要将基本的骨架拟合到平均SCAPE模型上，即训练集平均人体体型

然后使用线性混合蒙皮权重将表面附着到骨骼上，能够变形为任意姿势且体型不变的人体模型；

2.3)将线性混合蒙皮应用于个性化网格以获得最终的网格

为了重建出骨骼姿态为X，体型为

的模型，首先使用

来计算个性化网格

用矩阵表示法表示:

其中

为分块矩阵，包含了每个顶点的变换,

对应训练集的平均人体体型，

为体型为

的模型经过PCA计算得到的矩阵。

4.根据权利要求1所述的一种基于单目深度摄像头着装下三维人体模型重建方法，其特征在于，所述步骤3去除着装人体模型的衣服点影响具体包括：

3.1)判断出着装人体模型的皮肤区域；

3.2)对裸露的皮肤区域向衣服的边缘区域进行滤波处理，达到去除衣服点对人体模型的影响。

5.根据权利要求1所述的一种基于单目深度摄像头着装下三维人体模型重建方法，其特征在于，所述步骤4中，有约束非线性的初始化拟合具体包括：

4.1)将模板模型与人体模型进行初拟合，利用KNN方法寻找变形模板与扫描人体模型之间的所有顶点之间的最近邻点进行初对齐，使得变形后的模板逼近扫描人体模型；

4.2)人体姿势先验的计算，高斯分布N(μθΣθ)使扫描模型接近模板模型，再使用基于梯度下降最小化方法，使得姿势和模板模型进行拟合；

4.3)人体体型先验的计算，通过参数化模板模型提供了对角协方差矩阵，该对角协方差矩阵表示身体形状的高斯先验，通过马氏距离约束三维人体模型的体型。

6.根据权利要求1所述的一种基于单目深度摄像头着装下三维人体模型重建方法，其特征在于，所述步骤5非刚性形变的模板模型与扫描模型的拟合，参数化模板模型会随着数据项、网格平滑项和特征点的优化会发生非刚性形变，因此，通过参数化模板模型的非刚性形变拟合扫描的着装人体模型，具体包括：

5.1)参数化模板模型与人体模型的对齐，采用非刚性模板拟合，进一步对齐模板模型与扫描模型，保证变形之后的模板模型M的每个顶点与扫描人体模型S对应点对齐，使得模板模型靠近扫描人体模型；

5.2)人体网格平滑形变，防止变形模板M的相邻顶点与扫描人体模型S中不同的顶点匹配，增加平滑项对扫描模型网格进行光滑表面变形，并保证通过仿射变换得到的光滑项能够连接模板模型与扫描人体模型相似的顶点；

5.3)人体模型特征点的拟合，在参数化模板模型上使用特征点项识别对应于扫描人体模型上的已知的一组特征点；

5.4)将上述三项，即数据项、网格平滑项与特征点项组合成非线性组合，采用L_BFGS算法对非线性组合进行优化，从而实现模板模型的非刚性拟合。

Images