CN106952335A

CN106952335A - 建立人体模型库的方法及其系统

Info

Publication number: CN106952335A
Application number: CN201710079462.0A
Authority: CN
Inventors: 黄源浩; 肖振中; 刘龙; 许星
Original assignee: Shenzhen Orbbec Co Ltd
Current assignee: Orbbec Inc
Priority date: 2017-02-14
Filing date: 2017-02-14
Publication date: 2017-07-14
Anticipated expiration: 2037-02-14
Also published as: CN106952335B

Abstract

本发明公开了一种建立人体模型库的方法及其系统，本发明提供的建立人体模型库的方法包括以下步骤：1)获取至少一个对象人体的人体净模型和体重数据；2)通过所述人体净模型获取对象人体的身高数据、性别数据、肤色数据和姿势数据；3)将对象人体的体重数据、性别数据、身高数据、肤色数据和姿势数据按照预定的数据结构保存到人体净模型库中。本发明的建立人体模型库的方法和系统针对性高，准确度好，构建的效率高。

Description

建立人体模型库的方法及其系统

技术领域

本发明涉及计算机技术及图像处理技术领域，特别是涉及一种建立人体模型库的方法及其系统。

背景技术

人体三维模型在3D打印、服装定制、3D试衣、动画制作等方面都起着重要的作用。

为了提高3D测量模型的精度，目前常采用的一种方式是通过建立参数化模型，然后利用参数化模型通过变形迭代等方法逼近测量模型，变形后的参数化模型与测量模型有很大程度上的相似，但平滑度、精度都要远远优于测量模型。逼真的参数化模型是通过对人体模型库进行学习后得到的，比如SCAPE参数化模型。

人体模型库的建立对参数化模型能否正确替代测量模型有着直接的影响，这就需要保证构建一个模型库的准确性，比如要得到欧洲人群的三维模型，建立以欧洲人体模型为样本的模型库将会学习训练出更能反映欧洲人群体型特征的参数化模型。尽管如此，由于人体体型特征的巨大差异性，比如相同身高、体重的两个人也会拥有不同的体型特征，单一的三维模型数据并不能准确的反应某一个体的差异。因此，建立更加有针对性的人体模型库是非常有必要的。

同时，一个模型库的构建需要保证模型库的准确，准确意味着库的样本数尽可能大，测量的数据尽可能的多，获得的数据尽可能真实，才能构建一个好的样本库；构建模型库是一个需要耗费大量人力物力的工程，现有的构建方法构建效率低下，构建时对作为样本的对象人体要求高，测量繁琐，客观因素影响大。

以上背景技术内容的公开仅用于辅助理解本发明的发明构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

发明内容

本发明目的在于提出一种建立人体模型库的方法及其系统，以解决上述现有技术存在的人体模型库针对性差、构建效率低、准确度差的技术问题。

为此，本发明提出一种人体模型库的创建方法，包括以下步骤：

1)获取至少一个对象人体的人体净模型和体重数据；

2)通过所述人体净模型获取对象人体的身高数据、性别数据、肤色数据和姿势数据；

3)将对象人体的体重数据、性别数据、身高数据、肤色数据和姿势数据按照预定的数据结构保存到人体净模型库中。

优选地，所述人体净模型的创建包括以下步骤：

1)利用深度相机获取对象人体在至少两个特定姿势下的至少两幅深度图像；

2)从所述至少两幅深度图像中获取人体净模型的特征参数；

3)根据所述特征参数创建人体净模型。

优选地，所述人体净模型的创建包括以下步骤：

1)获取对象人体第一姿势下的第一RGBD图像；

2)识别所述第一RGBD图像中对象人体衣着的宽松部位以及对象人体的紧凑部位；

3)指引对象人体做出能够使得宽松部位变成紧凑部位的至少一个预定的第二姿势，并获取至少一幅第二RGBD图像；

4)根据所述的第一RGBD图像以及至少一幅第二RGBD图像中提取人体净模型的特征参数；

5)根据所述特征参数创建人体净模型。

优选地，所述人体净模型指的是利用扫描仪或深度相机测量出的经过图像分割、去噪处理后得到的人体部位的三维点云模型。

优选地，所述人体净模型指的是利用扫描仪或深度相机测量出的经过图像分割、去噪、网格划分处理后得到的人体部位的三维网格模型。

优选地，所述人体净模型指的是不穿衣物或紧身衣物下能反映对象人体真实体型及姿势的模型。

优选地，根据人体净模型获取对象人体的身高数据包括以下步骤：对人体净模型进行骨架提取；根据提取的骨架信息获取身高数据；或

对人体净模型进行语义分割，得到多个语义部分；根据各个语义部分的长度获得人体的身高。

优选地，所述人体净模型库中所有的人体净模型都具有统一的拓扑结构，即人体净模型之间的点与点之间的对应关系为已知。

优选地，所述人体净模型库中包括至少两个具有相近的体重、身高、肤色以及性别的人体净模型。

优选地，所述数据结构包括帧头、元数据以及三维模型数据，其中所述帧头为固定数据，用于存储表示所述数据结构的开始；所述元数据用于存储体重、身高、性别、肤色以及姿势信息；所述三维模型数据用于存储人体净模型数据。

优选地，所述数据结构包括帧头、体重数据、身高数据、性别数据、姿势数据以及三维模型数据，其中所述帧头为固定数据，用于存储表示所述数据结构的开始；所述体重数据、身高数据、性别数据分别用于存储体重、身高、性别、肤色以及姿势信息；所述三维模型数据用于存储人体净模型数据。

另外，本发明还提供了一种建立人体模型库的系统，包括存储器，用于存放程序；处理器，运行所述程序，以用于控制所述建立人体模型库的系统执行上述任一所述的建立人体模型库的方法。

同时，本发明还提供了一种包含计算机程序的计算机可读存储介质，所述计算机程序可操作来使计算机执行任一所述的建立人体模型库的方法。

本发明与现有技术对比的有益效果包括：本发明提供的人体模型库创建方法，将人体净模型、体重数据，以及通过人体净模型获得的身高数据、性别数据、姿势数据来创建人体模型库，以对象人体的人体净模型(即人体未穿衣和穿紧身衣的模型)作为人体模型库的模型数据，可以提高模型库的准确性，通过人体模型库获取身高、性别、姿势、肤色的数据，提高了构建模型库的效率，解决了构建库多项数据重复多次测量的问题。

同时本模型库具有较好的针对性，如：采用本申请的方法构建好的模型库，在后续的人体净模型创建过程中，通过建立的人体净模型库，可以结合身高、体重以及性别数据，有针对性地从库中提取样本净模型，能够同时去除衣服的影响以及由身高、体重及性别等带来的局部特征的影响，可以仅利用人体在着衣情形下的深度图像准确地获取人体的净模型。另外又如，还可以通过包含身高、体重以及性别的人体模型库，结合确定姿势、整体体型以及局部体型参数，建立参数化模型；根据人体模型库建立参数化模型时，可先有针对性的选取一个标准模型，通过确定姿势、整体体型以及局部体型参数，建立起标准模型与各参数之间的变形关系，并通过机器学习算法，利用人体模型库中的其他样本模型求解变形关系中的未知参数项，建立参数化模型，该参数化模型同时考虑了姿势、整体以及局部人体特征对人体三维模型的影响，因此，利用本发明的人体参数化模型创建方法及系统可以重建出更加准确的人体三维模型。

附图说明

图1是本发明具体实施方式一建立人体模型库的方法流程图。

图2是本发明具体实施方式一身高数据获取方法的流程图一。

图3是本发明具体实施方式一身高数据获取方法的流程图二。

图4是本发明具体实施方式二中人体净模型创建方法的总流程图。

图5是本发明具体实施方式二中人体净模型创建方法的步骤S5的子流程图。

图6是本发明具体实施方式二中人体净模型创建方法的步骤S53的子流程图。

图7是本发明具体实施方式三人体净模型创建的流程图一。

图8是本发明具体实施方式三人体净模型创建的的流程图二。

图9是本发明具体实施方式三人体净模型创建的的流程图三。

图10是本发明具体实施方式三人体净模型创建的的流程图四。

图11是本发明具体实施方式三人体净模型创建的的流程图五。

具体实施方式

下面结合具体实施方式并对照附图对本发明作进一步详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

实施例一：

本实施例中，对象人体是在未穿衣物(上衣、裤子)或穿着紧身衣的情况下进行测量的，避免衣物掩盖人体的体型特征。

本实施例中提出了一种建立人体模型库的方法，如图1所示，包括以下步骤：

1)获取至少一个对象人体的人体净模型和体重数据；

2)通过人体净模型获取对象人体的身高数据、性别数据和姿势数据；

3)将对象人体的体重数据、性别数据、身高数据和姿势数据按照预定的数据结构保存到人体净模型库中。

步骤1)中用于人体模型测量的方法包括基于激光扫描仪以及基于深度相机的方法，本实施例中，可以运用激光扫描仪获取人体净模型，也可以运用基于深度相机的方法来进行，由于前者精度高，但造价昂贵，扫描的速度也较慢，主要用于对一些小型刚性物体的3D测量，所以本实施例主要以后者示例讲解。

基于深度相机的方法根据深度相机种类不同，其测量方法与对象也稍有区别。目前用于获取深度图像的相机主要有基于结构光三角法、时间飞行法或者双目视觉原理的深度相机。

基于结构光三角法的深度相机利用激光投影仪向空间中投射经编码的标准结构光图案，空间中目标深度的不同将标准结构光图案进行了调制，通过图像相关等算法获取调制后的结构光图像与标准结构光图案的差别，根据结构光三角法建立该差别与目标深度之间的关系就可求解出整个目标空间的深度图像。

基于时间飞行法的深度相机利用激光发射仪向目标发射激光脉冲，由光接收装置获取脉冲并记录下发射到接收的光飞行时间，根据飞行时间可以计算出目标的深度图像。

这两种深度相机由于测量速度快，可以实时测量非刚性对象，比如人体的3维信息。优点是相机的测量范围受局限，一般仅几米，因而其测量对象体积也较小。对于人体来说，这两种方式较为合适。

基于双目视觉原理的深度相机，本质上与结构光三角法原理相似，区别在于结构光三角法是主动测量，而双目视觉则是被动测量。利用左右相机获取的图像在视差上的差别，并由视觉算法获取该视差后进一步利用三角法测量原理计算出目标的深度值。这种测量方法可以用来测量大型建筑物的三维模型，但同时计算量也较大。

本实施例的深度相机为基于结构光三角法的深度相机；当然，也可以为基于时间飞行法或者双目视觉原理的深度相机来获取人体的深度图像。

无论是哪一种基于深度相机的测量方法，都难以通过一幅图像来得到全部的人体信息，一般都需要获取人体各个部位的深度图像，再通过注册算法进行融合后得到整体的人体三维点云模型或三维网格模型。

本实施例中，人体净模型指的是利用深度相机测量出的经过图像分割、去噪、网格划分处理后得到的人体部位的三维网格模型。当然，在其他实施例中，也可以为利用扫描仪进行测量，同时人体净模型也可以为深度相机测量出的经过图像分割、去噪处理后得到的人体部位的三维点云模型。

三维点云模型数据处理

由深度相机获取的三维点云模型数据一般不能够直接作为人体模型数据，还需要通过一些预处理的步骤。一般地，包括图像分割、去噪、网格化、建立对应关系等步骤。

图像分割

因深度相机获取的深度图像中一般除了人体部分之外还包括其他背景成分，利用图像分割算法去除背景成为必要的步骤。由于深度图像数据的独特性，即其各像素值代表的物体的深度距离，一种简单的图像分割算法——阈值法就能够有效地去除背景。具体地，即通过设定合理的可以区别开人体与背景的阈值，将属于背景部分的像素值归零(或取最大值)，保留属于人体部位的像素值。

图像去噪

由于获取的三维点云模型数据不可避免地会有噪声(即离群点)存在，同时由于人体部位之间的遮挡会出现孔洞，另外点云数据的平滑性也较差。因此，图像去噪的目的一方面要去除离群点，另一方面要对点云数据进行平滑及孔洞填充处理。

网格化

在具体的应用中，比如模型的变形转移、动画制作等，仅针对点云的处理较为复杂，因而点与点之间的相互关系在三维点云中没有得到反映。而三维网络模型则在保留点云的同时又增加了点云之间的拓扑关系，特别是变形处理中，三维网络模型具有较大的优势。因此，有必要将三维点云模型网格化成三维网格模型。网格的形式可以是三角形、多边形等，常用的是三角网格模型。

建立对应关系

不同人的体型和姿势都有所区别，因此由深度相机得到的三维点云模型数据数量上也有区域，在后面的处理中会有较大的困难。有必要在建立数据库时就对所有的人体模型建立对应关系。

具体地，先选取一幅质量较高的三维点云模型数据做为参考。对于当前人体的人体净模型，利用刚性注册或非刚性注册算法，建立二者之间的点与点之间的对应关系，并将该对应关系也做为当前人体模型的一部分。

三维模型彩色数据

在一些应用中，需要获取人体的彩色纹理信息。目前的深度相机中也包括有RGB相机，但由于RGB相机与深度相机往往存在视差，所以得到的深度图像与RGB图像中的像素并非一一对应。因而需要进行配准，具体地，分别利用深度相机和RGB相机独立获取深度图像以及RGB图像，其次根据深度相机以及RGB相机的位置关系以及各自的内部参数，如焦距、分辩率、图像传感器尺寸等，来进行配准以消除两个相机之间的视差，从而获取目标物体的RGBD图像。

人体体重测量

利用体重称对各个人体的体重进行测量，获取人体体重。

身高测量

可以利用传统的尺寸测量方式进行身高测量，也可以直接利用三维人体点云或网格数据来测量身高。需要注意的是，当人体处在不同姿势时，不能一概而论的利用点云或网格数据中的最高点与最低点的差值进行身高估算。

本实施例中，为了提高计算的准确性，根据人体净模型获取对象人体的身高数据，本实施例采用如图2所示的方法进行获取，如图2所示包括以下步骤：

对人体净模型进行骨架提取；

根据提取的骨架信息获取身高数据。

当然，其他实施例中，还可以采用分为准确的获取方法，如图3所示包括以下步骤：

对人体净模型进行语义分割，得到多个语义部分；

根据各个语义部分的长度获得人体的身高。

性别获取

在人为辅助情形下，可以进行人为的设定。

本实施例中也可以采用一种自动识别的方法。即利用人体模型的彩色图像，提取人脸部的彩色图像，将其输入经训练的性别分类器中进行判定。根据分类器的种类，处理方式也有区别，一般地首先对人脸的彩色图像进行主成分分析(PCA)，可以提升识别效率。

建立人体净模型库

经过以上各步骤之后，可以得到人体的三维点云模型数据或网格数据、三维彩色信息、身高、体重、性别等信息。将这些信息以预定数据结构作为该人体的模型保存到人体净模型库中。由于是人体净模型，因而人体应该是在未穿衣物(上衣、裤子)或穿着紧身衣的情况下进行测量的，避免衣物掩盖人体的体型特征。

本实施例中，数据结构包括帧头、元数据以及三维模型数据，其中帧头为固定数据，用于存储表示数据结构的开始；元数据用于存储体重、身高、性别以及姿势信息；三维模型数据用于存储人体净模型数据。

当然，也可以采用数据搜索更为快速的数据结构，数据结构也可以包括帧头、体重数据、身高数据、性别数据以及三维模型数据，其中帧头为固定数据，用于存储表示数据结构的开始；体重数据、身高数据、性别数据分别用于存储体重、身高、性别以及姿势信息；三维模型数据用于存储人体净模型数据。

人体模型库中模型的数量要尽可能全面，一方面要覆盖尽可能多的身高、体重以及性别的人体；另一方面具有相近的身高、体重、性别的人体也要有足够多的人体模型数据，一般地，至少有2个。前者的目的在于能更加全面的反映人体在不同姿势、体型上的差异，后者的目的在于能更精确地反映人体在局部细节特征上的差异。

本实施例还提出一种建立人体模型库的系统，包括存储器，用于存放程序；处理器，运行程序，以用于控制建立人体模型库的系统执行任一建立人体模型库的方法。

本实施例还提出一种包含计算机程序的计算机可读存储介质，计算机程序可操作来使计算机执行任一建立人体模型库的方法。

实施例二：

本实施例中，与实施例一的区别在于，对象人体为衣着有宽松衣服的，对此通过以下方法进行人体净模型的创建。

1、人体净模型的创建方法

人体净模型的创建方法，如图4所示，包括以下步骤：S1：利用深度相机获取人体在至少两个特定姿势下的至少两幅深度图像；S2：获取人体净模型的特征参数；S3：构建人体净模型。其中，在步骤S1中利用深度相机获取人体在至少两个特定姿势下的至少两幅深度图像，的深度相机是基于结构光三角法的深度相机，的特定姿势是指人体至少一个部分的衣着处于紧凑状态。以下将对上述步骤进行详细说明。

S1：利用深度相机获取人体在至少两个特定姿势下的至少两幅深度图像；

一般地，人体模型应包含360°的视场角。而单个深度相机的视场角有限，为此也有多种可供选择的人体深度图像获取方案。

一是利用单个深度相机，被测人体通过转动一周的方式让深度相机获取包含人体360°信息的多幅深度图像。利用图像注册算法根据多幅深度图像可以提取出人体的整体三维点云数据。这种方法难以实现实时的人体整体三维数据获取，优点在于成本较低。

二是利用分布在人体周围的多个深度相机，通过不同角度的多个深度相机同步地获取反映人体所有三维信息的多幅深度图像，最后利用多幅深度图像进行注册后得到人体的整体三维点云数据。这种方法实质上是利用深度相机数量上的优势来解决无法实时性提取的问题，付出的代价是成本较高。

在本具体实施方式中，深度相机数量上的选择没有限定，单个深度相机提取人体特征的速度要比多个深度相机慢。

能够精确地获取人体的净模型是进行下一步试衣的基础，然而在绝大多数情形下，被测量人员往往穿着宽松衣服，得到的三维人体模型不能准确反映人体的真实情况，脱衣或穿紧身衣测量并非是解决这一问题的最佳方案。

另外，深度图像的注册需要耗费较多的计算资源，数据要求越精确，系统的实时性就会越差。目前还没有能够实时性获取人体三维整体模型的消费级解决方案。

为了解决实时性且测量精度的问题，本具体实施方式采用的方案是，从深度相机获取的人体深度图像中提取能够准确反映人体部位的特征信息，根据特征信息创建出虚拟的能反映人体三维特征的人体净模型。一旦建立人体净模型之后，后续在试衣过程中的实时显示则无须逐帧进行计算，只需逐帧提取人体骨架，由骨架驱动人体净模型的姿势以达到实时性的要求。

S2：获取人体净模型的特征参数

在这里考虑人体穿着宽松衣服时的情形(宽松衣服非厚衣服)，同样适合穿紧凑衣物时的情形。另外，这里的人体特征指人体在正常站立姿势下的人体特征。人体穿着宽松衣服时，身体中有许多部位会被衣服所遮盖，被遮盖的部位分两种，一种为贴身遮盖，一种为非贴身遮盖。在这里默认贴身遮盖(紧凑)部位的模型为实际的人体净模型，而非贴身遮盖(宽松)部位的模型则与人体净模型相差甚远。

在获取人体净模型的特征参数的步骤中，如图5所示，又包含以下三个子步骤：S21：提取各个特定姿势下的深度图像中人体的各个紧凑部位的特征参数；S22：通过变形恢复运算或建立经验公式的方法，将各个特定姿势下紧凑部位的特征参数者转化为人体实际的特征参数；S23：将所有转化后的人体实际的特征参数汇总后作为人体净模型的特征参数。以下将对上述步骤进行详细说明。

S21：提取各个特定姿势下的深度图像中人体的各个紧凑部位的特征参数

可以通过不同的姿势动作让非贴身遮盖变成贴身遮盖，比如双手叉腰则可以让腰部变成贴身遮盖、抬起小腿可以让小腿肚变成贴身遮盖、抬起一只手向侧面弯腰则可以让胸部侧边变成贴身遮盖等等。

因而，事先设定好能够反映所有人体特征的姿势，让被测人体逐个做姿势就可以获取所有人体净模型需要的人体特征数据了。

下表例举了部分姿势及对应的人体特征。

人体的特征数据一般包括：身高、肩高、肩宽、腰围、胸围、大小腿轮廓、手臂轮廓等等。

另外还包括各个部位的特征点，即关节点。关节点的提取可以基于类似kinectSDK中骨架提取的算法，即先通过定位头部以及人体主干，然后利用深度学习(K-Tree)算法定位出其他骨骼关节点位置。

S22：通过变形恢复运算或建立经验公式的方法，将各个特定姿势下紧凑部位的特征参数者转化为人体实际的特征参数

人体的特征数据获取方面，在特定的姿势下直接获取的特征是不能直接用来做为人体模型特征的。比如当人体向前面弯腰时，获取的背部以及臀部的特征(宽度、横截面等)都是经变形后的数据。可以将变形后的数据通过变形恢复运算获得正常姿态下的人体特征。另外，也可以通过机器学习等方法，建立一种简单的经验公式，来反映人体特定姿势下人体特征与实际特征的关系。下面分别对这两种方法进行说明，以人体下蹲时大腿肌肉部位的变形为例，需要间接获取的特征是大腿包括两端(大腿顶端以及与小腿连接处)的多个横截面的周长，需要注意的是，这里并非是完全下蹲，为了避免大腿背面和小腿有接触时产生的背面数据不可获取的情况。

(1)变形恢复

首先，获取下蹲后大腿部的点云数据，并经过去噪以及空洞填充后得到具有较高质量的点云数据，并保存各点的三维欧氏坐标信息，根据点云数据获取网格模型M＝(V,E)。其中，V＝(v₁,v₂,…,v_n)^T表示由模型中各个顶点的三维坐标构成的矩阵，E表示模型中所有的边。

其次，计算用于描述模型中各个点云之间相对关系的标准矩阵S，该标准矩阵在变形过程中不发生变化。计算公式为S＝CV，其中C＝(I-D^-1B)为变换矩阵，I为单位矩阵，D为对角矩阵，对角线上的元素D_ii＝d_i，d_i为与点v_i相邻的顶点数目，B矩阵可由下式表示：

再次，选择多个变形约束点。这里根据先验知识，即人在站立正常姿势下大腿横截面为圆形，而下蹲时表面皮肤受拉导致大腿横截面向椭圆形变化。通过计算可以得到由椭圆变成圆形后新的约束点欧氏坐标，将新的约束点坐标作为限制条件并将其添加到变换矩阵，变成新的变换矩阵C’。最后，利用公式V′＝C′^-1S求解变形后的顶点欧氏坐标。

(2)经验公式

这里的主要目的是建立起下蹲后大腿多个横截面周长与正常站立姿势下周长之间的关系。由于不同人群的腿部轮廓不同，变形也会不同，因而要想准确地获取所要的关系，还需要对不同身高、体重、性别的人群进行采样，记录变形前后周长的变化情况，利用机器学习中的回归算法比如最小二乘回归算法、逻辑回归算法等拟合出变形前后的关系，将此关系作为经验公式。

S23：将所有转化后的人体实际的特征参数汇总后作为人体净模型的特征参数。

S3：构建人体净模型

根据提取的人体特征获取人体净模型可以看成是人体的参数化建模，如图6所示，构建人体净模型又包括以下两个子步骤：S31：建立标准人体模型；S32：根据人体净模型的特征参数修改标准人体模型从而获取人体净模型。一般情况下，首先需要一个标准人体模型，然后根据得到的实际人体特征修改标准人体模型从而得到能反映实际人体的人体净模型。

一种简单的标准人体模型可以按照先验知识具有一定比例的形状规则的网格化人体模型，对该标准人体模型进行修改变换主要有三种情形：长度变形、宽度变形以及周长变形。当获取的人体特征与标准模型对应的特征不一致时，就需要进行长度、宽度或周长变形。具体的变形原理为轴变形原理，这里所谓的轴变形原理即是将模型上待变形的点与长度、宽度或周长对应的轴建立一一映射关系，当轴变化时，对应的变形点的坐标也发生变化，计算出新的坐标后重新创建模型。

目前还有一些精度更加高的人体模型，比如SCAPE模型等。由SCAPE模型获取人体净模型的过程可以看成是对SCAPE模型的一次次迭代，即建立用于衡量人体特征差距的性能函数，通过将SCAPE模型的一次次修改迭代直到性能函数取值达到一定的阈值范围。

前一种人体净模型算法简单，系统的实时性较高，缺点是精度较差；后一种算法较复杂，精度高，缺点是实时性较差，往往需要GPU的并行处理来解决实时性的问题。

在本具体实施方式中对人体净模型的获取方法不加以限制。

实施例三：

本实施例与实施例二的区别在于，对对象人体衣着有宽松衣服的情况，创建人体净模型的过程中，增加对人体衣着宽松部位和紧凑部位的事先识别，如图7所示，主要包括以下步骤：

S1：获取人体第一姿势下的第一RGBD图像；

S2：识别第一RGBD图像中人体衣着的宽松部位以及人体的紧凑部位；

S3：指引人体做出能够使得宽松部位变成紧凑部位的至少一个预定的第二姿势，并获取至少一幅第二RGBD图像；

S4：根据的第一RGBD图像以及至少一幅第二RGBD图像中提取人体净模型的特征参数；

S5：根据特征参数创建人体净模型。

本实施例中，如图8所示，步骤S2中包括以下步骤：

S21：根据第一RGBD图像中的人体肤色RGB数据识别出人体的紧凑部位；

S22：根据第一RGBD图像的深度信息识别出人体衣着的宽松部位。

在获取人体特征时，由于不同的测量对象会穿着不同宽松程度的衣服，有针对性地根据当前测量对象的衣着来执行相应的姿势将会提升人体特征获取的效率。

在本实施例中，主要依靠以下方式进行宽松部位进行识别。首先利用RGB图像进行肤色识别，对于人体肤色的部位被认定为紧凑部位。其次利用RGBD图像中的深度数据的表面轮廓来判断。比如，一般衣服宽松部位的褶皱比较多，而紧凑部位的表面轮廓则比较平滑且呈一定的柱形及球形形状。根据这一特征，创建一个表面轮廓衡量模型，然后将人体需要测量特征的部位进行匹配识别，从而识别出宽松部位以及紧凑部位。

本实施例中，如图9所示，步骤S4中包括以下步骤：

S41：获取第二RGBD图像中人体的紧凑部位在第二姿势下的特征数据；

S42：根据特征数据和第一RGBD图像，通过变形的逆变换恢复出在第一姿态下该紧凑部位的特征参数。

本实施例中，第一姿势为正常站立下的姿势。

人体穿着宽松衣服时，身体中有许多部位会被衣服所遮盖，被遮盖的部位分两种，一种为贴身遮盖，一种为非贴身遮盖。在这里默认贴身遮盖(紧凑)部位的模型为实际的人体净模型，而非贴身遮盖(宽松)部位的模型则与人体净模型相差甚远。

值得注意的是，可以通过不同的姿势动作让非贴身遮盖变成贴身遮盖，比如双手叉腰则可以让腰部变成贴身遮盖、抬起小腿可以让小腿肚变成贴身遮盖、抬起一只手向侧面弯腰则可以让胸部侧边变成贴身遮盖等等。

因而，事先设定好能够反映所有人体特征的姿势或动作，让被测人体逐个做姿势就可以获取所有人体净模型需要的人体特征数据了。

下表列举了部分可能的第二姿势，包括：

序号	姿势	贴身部位
			1	直立	肩膀
2	双手叉腰	腰部横向尺寸
			3	抬起大腿	大腿
4	抬起小腿	小腿
			5	举手、向侧面弯腰	胳膊、胸部及腰部侧面
6	向前面弯腰	背部、屁股
			7	挺胸	胸部、腹部
	…	…

本实施例中，如图10所示，步骤S5中包括以下步骤：

S51：建立标准参数化人体模型；

S52：根据特征参数将标准参数化人体模型经变形后获取人体净模型。

根据提取的人体特征的特征参数获取人体净模型可以看成是人体的参数化建模。

本实施例中，是根据一个标准人体模型，然后根据得到的实际人体特征的特征参数修改该标准人体模型从而得到能反映实际人体的人体净模型。

本实施例中，一种简单的标准人体模型可以按照先验知识具有一定比例的形状规则的网格化人体模型，对该标准人体模型进行变换主要有三种情形：长度变形、宽度变形以及周长变形。当获取的人体特征与标准模型对应的特征不一致时，就需要进行长度、宽度或周长变形。具体的变形原理为轴变形原理，这里所谓的轴变形原理即是将模型上待变形的点与长度、宽度或周长对应的轴建立一一映射关系，当轴变化时，对应的变形点的坐标也发生变化，计算出新的坐标后重新创建模型。

本实施例中可以利用目前一些精度更加高的人体模型，比如SCAPE模型等。由SCAPE模型获取人体净模型的过程可以看成是对SCAPE模型的一次次迭代，即建立用于衡量人体特征差距的性能函数，通过将SCAPE模型的一次次修改迭代直到性能函数取值达到一定的阈值范围。

本实施例中对人体净模型的获取方法不加以限制。

本实施例中，如图11所示，步骤S22中包括以下步骤：

S221：根据第一RGBD图像的深度信息获取人体深度图像的平滑数据；

S222：将该平滑数据与预设的平滑阈值进行对比，若该平滑数据超过平滑阈值，则判定为宽松部位，反则不是。

变形的逆变换包括：

S421：获取第二姿势下的紧凑部位的点云数据，根据点云数据获取网格模型M＝(V,E)；其中，V＝(v₁,v₂,…,v_n)^T表示由模型中各个顶点的三维坐标构成的矩阵，E表示模型中所有的边；

S422：计算用于描述网格模型中各个点云之间相对关系的标准矩阵S＝CV；其中，C＝(I-D^-1B)为变换矩阵，I为单位矩阵，D为对角矩阵，对角线上的元素D_ii＝d_i，d_i为与点V_i相邻的顶点数目，B矩阵可由下式表示：

S423：获取多个约束点，构建新的变换矩阵C′，利用V′＝C′^-1S求解变形后的坐标，修正得到变换后第一姿势下的网格模型M′＝(V′，E)。

还可以为，变形逆变换为利用机器学习中的回归算法拟合变形前后的关系，得到经验公式用于进行变形逆变换处理。

例如以大腿而言，该经验公式可以是下蹲后大腿多个横截面周长与正常站立姿势下周长之间的关系。由于不同人群的腿部轮廓不同，变形也会不同，因而要想准确地获取所要的关系，还需要对不同身高、体重、性别的人群进行采样，记录变形前后周长的变化情况，利用机器学习中的回归算法比如最小二乘回归算法、逻辑回归算法等拟合出变形前后的关系，将此关系作为经验公式。

一般地，首先对标准站立姿势的人体模型进行试衣，这一步可以看成是静态试衣；其次当实际人体姿势变化时的实时试衣，可以看成是动态试衣。其中动态试衣实际上是静态试衣在时间上的延伸。因而接下来主要说明静态试衣。

根据建立的人体净模型，进行三维试衣，目前比较成熟的衣物仿真模型为质点-弹簧模型，建立衣物仿真模型后需要将衣物与人体净模型进行注册。一般认为衣物背面的最高点与人体后颈部的中心，据此可以实现衣物与人体模型的初步配准；然后根据人体当前的骨架信息实现各个部分的局部配准。在注册配准之后，还可以进行质点的力的计算、衣物碰撞检测等，以模拟出更加真实的衣物显示效果。

在后续的实时性显示过程中，只要通过识别出人体的骨架信息，然后根据该骨架信息进行局部的配准即可以实现实时的3D试衣。

在其他具体实施方式中，三维试衣系统还可以为一种包含计算机程序的计算机可读存储介质，计算机程序可操作来使计算机执行上述3D试衣方法。

本领域技术人员将认识到，对以上描述做出众多变通是可能的，所以实施例仅是用来描述一个或多个特定实施方式。

尽管已经描述和叙述了被看作本发明的示范实施例，本领域技术人员将会明白，可以对其作出各种改变和替换，而不会脱离本发明的精神。另外，可以做出许多修改以将特定情况适配到本发明的教义，而不会脱离在此描述的本发明中心概念。所以，本发明不受限于在此披露的特定实施例，但本发明可能还包括属于本发明范围的所有实施例及其等同物。

Claims

1.一种建立人体模型库的方法，其特征在于，包括以下步骤：

1)获取至少一个对象人体的人体净模型和体重数据；

2.如权利要求1所述的建立人体模型库的方法，其特征在于：所述人体净模型的获取包括以下步骤：

2)从所述至少两幅深度图像中获取人体净模型的特征参数；

3)根据所述特征参数创建人体净模型。

3.如权利要求1所述的建立人体模型库的方法，其特征在于：所述人体净模型的获取包括以下步骤：

1)获取对象人体第一姿势下的第一RGBD图像；

5)根据所述特征参数创建人体净模型。

4.如权利要求1所述的建立人体模型库的方法，其特征在于，所述人体净模型指的是利用扫描仪或深度相机测量出的经过图像分割、去噪处理后得到的人体部位的三维点云模型。

5.如权利要求1所述的建立人体模型库的方法，其特征在于，所述人体净模型指的是利用扫描仪或深度相机测量出的经过图像分割、去噪、网格划分处理后得到的人体部位的三维网格模型。

6.如权利要求1、4或5所述的建立人体模型库的方法，其特征在于：所述人体净模型指的是不穿衣物或紧身衣物下能反映对象人体真实体型及姿势的模型。

7.如权利要求1所述的建立人体模型库的方法，其特征在于，根据人体净模型获取对象人体的身高数据包括以下步骤：

对人体净模型进行骨架提取；根据提取的骨架信息获取身高数据；或

8.如权利要求1所述的建立人体模型库的方法，其特征在于：所述人体净模型库中所有的人体净模型都具有统一的拓扑结构，即人体净模型之间的点与点之间的对应关系为已知。

9.如权利要求1所述的建立人体模型库的方法，其特征在于：所述人体净模型库中包括至少两个具有相近的体重、身高、肤色以及性别的人体净模型。

10.如权利要求1所述的建立人体模型库的方法，其特征在于，所述数据结构包括帧头、元数据以及三维模型数据，其中所述帧头为固定数据，用于存储表示所述数据结构的开始；所述元数据用于存储体重、身高、性别、肤色以及姿势信息；所述三维模型数据用于存储人体净模型数据。

11.如权利要求1所述的建立人体模型库的方法，其特征在于：所述数据结构包括帧头、体重数据、身高数据、性别数据、姿势数据以及三维模型数据，其中所述帧头为固定数据，用于存储表示所述数据结构的开始；所述体重数据、身高数据、性别数据分别用于存储体重、身高、性别、肤色以及姿势信息；所述三维模型数据用于存储人体净模型数据。

12.一种建立人体模型库的系统，其特征在于，包括存储器，用于存放程序；处理器，运行所述程序，以用于控制所述建立人体模型库的系统执行如权利要求1-11任一所述的方法。

13.一种包含计算机程序的计算机可读存储介质，其特征在于：所述计算机程序可操作来使计算机执行如权利要求1-11任一所述的方法。