CN102982578A - 单幅人物图像中着装人体三维模型估计方法 - Google Patents

Abstract

本发明公开了单幅人物图像中着装人体三维模型估计方法，步骤如下：首先，建立基于真实人物的三维模型训练样本；其次，在该训练样本上学习人体姿势、体型及服装之间的变形函数，并计算出所述多种真实人物体型的平均体型；然后，选取包含着装人体影像的单幅图像，由用户选择服装类型和多个关节点位置，计算机根据这些关节点位置初始化该着装人体影像的三维姿势，并将平均体型和用户选出的服装类型赋予到该三维姿势上，从而得到该人体影像的初始三维模型。最后，根据该着装人体影像的轮廓，自动调整初始三维模型的体型与姿势，使三维模型符合目标人物的外形。本发明所述方法只需人物单张图像即可构建其三维着装人物模型，适用范围广，操作简便。

Description

单幅人物图像中着装人体三维模型估计方法

技术领域

本发明涉及人体建模和计算机辅助设计领域，具体涉及单幅人物图像中着装人体三维模型估计方法。

背景技术

虚拟现实(Virtual Reality，简称VR)以计算机技术为核心，结合相关科学技术，生成与一定范围真实环境在视、听、触感等方面高度近似的数字化环境，用户借助必要的装备与数字化环境中的对象进行交互作用、相互影响，可以产生亲临对应真实环境的感受和体验。随着社会生产力和科学技术的不断发展，各行业对虚拟现实技术的需求日益旺盛，人们对虚拟现实技术的研究日益重视，虚拟现实技术也取得了巨大进展，并逐步成为一个新的科学技术领域。

在虚拟现实环境的构建中，逼真的三维人物模型能够加深用户的沉浸感，方便用户之间的交互。但是现有的三维模型构建技术需要专业人士的大量手工交互，且与真实人物还是有明显差异。相较之下，基于单帧图像的三维人物模型估计技术具有取材方便、操作简易、近似真实人物的优点。从虚拟现实和增强现实的理论技术发展和实用化应用前景来看，基于图像的三维人物模型构建技术正在成为虚拟现实和增强现实方向的技术发展趋势和典型研究热点。

本方法涉及人体三维姿势估计，三维人物模型表示以及基于图像/视频的三维人体模型估计等多方面相关技术，现分别介绍各项技术的发展现状。

基于单帧图像的三维人体姿势估计：该方面技术从给定的单张图像中估计出目标人物的三维姿势，并且以三维人体骨架的方式展现估计结果。目前该类技术大都采用半自动方法确定图像中目标人物关节点的位置，再以此建立约束恢复出人物三维姿势。但是由于用户标点存在误差，摄像机参数及目标人物的骨骼比例无法获取，估计出的三维姿势往往不是自然的动作。为了将人物姿势限制在理想的范围，微软亚洲研究院的Rose等人将预先构建出的三维姿势库中的样本按不同权重组合并进行插值，以构建出满足用户约束的自然动作，但是该方法只限于较小的样本库。德州农工大学的Xiaolin Wei等人使用混合因子分析的方法，对百万个真实三维人体姿态作进行学习以获得先验，能够对任意给定姿态的“自然程度”进行评估。对于输入的单张图像，在用户对关节点手工标点后，综合人体姿态先验及用户给定的约束，求解出符合用户约束且合理的三维人体姿势，有很大的借鉴意义。

三维人物模型表示技术：三维人物的表示方法按照模型的精细度来划分，由低到高大致可分为四类：非参数化模型，如点云模型等；通用几何体模型，如基于圆柱体的肢体表示模型等；参数化类人模型，如超二次曲面模型等；以及基于数据驱动的参数化人体模型。其中，基于数据驱动的参数化人体模型对人体的描述最为精细准确，因为这种技术的数据基础是大量真实人物的三维扫描信息，能够最为真实地反映人体在体型与动作两方面的非刚性变化，对基于图像/视频的人体三维模型估计技术提供可靠的先验信息。该种模型的核心在于对人体体型及动作变形进行参数化表示。

为了学习出人体体型的变化范围，华盛顿大学的Allen等人首先对同一姿势下各种体型的真实人物进行三维扫描，得到人体体型的三维模型样本，然后将一个手工构建的虚拟人物逐个变形拟合到这些样本上，得到其中的变形参数，最后对这些参数进行插值以获取人体体型变化的连续空间。该方法的局限性在于不能对人体动作变形进行描述。

斯坦福大学的Anguelov等人提出了一种在动作和体型上都可以变形的三维人体模型，简称SCAPE模型。在体型学习上，SCAPE模型沿用了Allen等人的方法；在动作学习上，使用了同一人物不同动作的三维扫描模型作为学习样本。最后使用基于三角形的连续仿射变换方法获得关于体型及动作的变形参数，并分别使用主成分分析及线性回归拟合的方法对这两种参数进行插值变换。该种方法能够逼真地反映真实人物在动作及体型上的变化，具有很大的借鉴意义。

基于图像/视频的三维人体模型估计：由于人体同时存在刚体与柔体的变形，使得基于单目图像/视频的三维人体模型估计难以开展。目前的相关研究大都是在预先调配好的协同多视角环境下进行的。布朗大学的Bǎlan等人搭建了一个用于构建人体模型的协同环境，包括4个配准并同步的摄像机，能够从4个角度获取到目标人物在同一时刻的多张图像。Bǎlan等人首先使用基于圆柱体的人体模型对目标人物的三维动作进行初步估算，然后使用SCAPE人体模型对各图像上的目标人物同时进行拟合，最终获得一个目标人物的三维模型。该方法有三个限制：必须使用多视角协同摄像头环境且目标人物身穿紧身衣物，另外模型与目标人物的拟合过程比较缓慢。

布朗大学的Peng Guan等人首次提出了基于单张图像的三维人体模型估计方法，主要针对目标人物穿戴较少的情况，首先在用户协助下估计出目标人物的三维动作，然后使用该着装人体的真实轮廓、边缘、皮肤上的光照阴影这三种线索，估计出SCAPE人体模型的参数，最终拟合出与目标人物体型、动作一致的三维人体模型。

针对目标人物衣物宽松的情况，布朗大学的Bǎlan等人使用目标人物的多个动作之间的关系估计出其真实体型，但仍旧需要协同多视角环境。

通过分析国内外研究现状可以得出，目前基于图像/视频估计目标人物三维模型的相关研究还处于起步阶段，而且大多数研究需要搭建协同多视角环境；针对单张图像的人物模型估计方法很少，且对目标人物的衣着要求严格，难以投入实际使用，满足广大用户的需求。

发明内容

本发明的目的是提供一种单幅人物图像中着装人体三维模型估计方法，所述方法能够从包含人物的单张图像中，估计出其着装的三维人物模型与非着装状态下的三维体型模型，同时估计出图像中人物的三维姿势。

本发明的又一目的是提供一种适用范围广、操作简便的着装人体三维模型估计方法，所述方法不需要专业配置的实验室，也不需要图像中的人物必须穿紧身衣服。

为了克服现有技术存在的不足，达到上述目的，本发明提供了一种单幅人物图像中着装人体三维模型估计方法，所述方法包括如下步骤：

步骤一、建立基于真实人物的三维模型训练样本库，所述训练样本库中包括多种真实人物体型、多种真实人体姿势和多种服装类型；

步骤二、在所述训练样本库上学习出人体姿势、人物体型及服装之间的变形函数，得到可变换各种姿势、体型及服装的可变形着装三维人物模型，作为可变形模板，并根据所述多种真实人物体型计算出一种平均体型；

步骤三、选取包含待估计三维模型的着装人体影像的单幅人物图像，由用户根据该着装人体影像的着装类型，在所述训练样本库中包括的多种服装类型中选择一种相似的服装类型，并且由用户目测选择该着装人体影像上的多个关节点位置，计算机根据所选出的关节点位置初始化该着装人体影像的三维姿势，并将步骤二中的平均体型和用户选出的服装类型赋予到该三维姿势上，从而得到该人体影像的初始三维模型。

优选的是，在所述步骤三之后，还包括：

步骤四、根据所选出的关节点位置，将初始三维模型投影在单幅人物图像上，得到该着装人体的初始轮廓，并在所述单幅人物图像上对该初始轮廓进行拟合约束，以得到该着装人体的真实轮廓。

优选的是，在所述步骤四之后，还包括：

步骤五、结合所述真实轮廓、所述三维姿势和所选的服装类型，对所述可变形模板进行参数估计，得到符合待估计着装人体的包含体型、服装和姿势的三维着装模型。

优选的是，步骤一中所述的三维模型训练样本库，包括姿势样本库、体型样本库与着装人物样本库。

优选的是，所述三维模型训练样本库的构建包括如下步骤：

I对同一个人的70个姿势进行全身三维扫描，得到的模型作为姿势样本库；

II对111个不同体型人物的站立姿态进行全身三维扫描，得到的模型作为体型样本库；

III对体型样本库中每个人物分别在7种服装类型着装状态下进行建模，得到的模型作为着装人物样本库。

优选的是，步骤III中所述三维模型训练样本库的着装模型的建模包括如下步骤：

A选择一个三维人物模型，对其在着装与非着装两种情况下的三维模型执行内部不可见面片自动清除算法，得到两个包裹模型；

B学习出步骤A中所述的两个包裹模型之间的变形差异，将所述差异传播到体型样本库中的所有体型模型上，得到每个体型模型在所述服装种类下的着装模型；

C对于所有服装类型，分别采用步骤A和步骤B的方法，构建出不同服装类型的着装人物样本库。

优选的是，步骤二中所述的可变形模板对姿势、体型和着装种类这三种变形方式进行了参数化，给定具体的一组低维参数，能够快速地生成相应姿势、体型和着装的三维人物模型。

优选的是，步骤三在人体影像三维姿势的估计上，使用了基于海量三维姿势样本的半自动估计方法，所述方法采用的三维姿势样本的容量级别是百万数量级。

优选的是，步骤四中所述的着装人体真实轮廓三维模型参数的估计方法包括如下步骤：

a计算出所述初始三维模型与图像中着装人体的真实轮廓的匹配点对；

b使用所述匹配点对作为约束，优化当前的姿势参数；

c在新的姿势参数上更新匹配点对，优化当前的体型参数；

d迭代步骤b和步骤c，直到匹配点对间的差异达到一个预定值时，获得最优的姿势参数和体型参数，使用所述参数可以生成所述图像中着装人体真实轮廓的着装三维模型与体型模型。

本发明的有益效果是：本发明所述方法只需要包含人物的单张图像即可构建其三维着装人物模型，适用范围广，操作简便，而目前大部分相关方法需要协同多视角采集环境，只能在专业配置的实验室进行；对图像中人物的着装有较好的适应性，而目前大部分相关方法需要图像中人物身着紧身衣物以估算其真实体型；本发明所述方法能够同时估算图像中人物的着装三维人物模型、真实体型与姿势，而目前方法只能估算图像中人物的体型与姿势；估算出的着装三维人物模型与图像中人物匹配程度高，能够进行如纹理贴图之类的进一步应用。

附图说明

图1为本发明所述方法的总体设计结构示意图；

图2为本发明所述着装人物样本库的样本构建流程示意图；

图3为本发明所述可变形模板变形流程示意图；

图4为本发明所述可变形模板的参数估计示意图；

图5为本发明所述方法中从单幅图像中估计出的三维着装人物模型效果图；

图6为本发明所述方法的三种典型应用效果图。

具体实施方式

下面结合附图对本发明做进一步说明，以使本领域普通技术人员参照本说明书后能够据以实施。

请参阅图1，为本发明所述方法的总体设计结构示意图，所述方法包括两个阶段：可变形模板训练阶段与图像中人物模型参数估计阶段。在所述可变形模板训练阶段，首先建立了三种人物模型训练集，包括姿势样本库、体型样本库与着装人物样本库，然后使用拓展的SCAPE人体模型训练方法在这套训练集上进行统计学习，分别训练出姿势、体型与着装相关的变形映射函数，得到可变形模板；利用这些映射函数，给定期望的姿势、体型及服装类型这三种参数，能够快速创建出特定的着装人物模型。在所述图像中人物模型参数估计阶段，首先通过用户辅助得到图像中人物的服装类型，同时对图像中人物的三维姿势与体型进行初始估计，构建初始着装人物模型，然后使用该初始模型对图像中人物进行前景分割，得到图像中人物的轮廓，作为估计图像中人物姿态和体型的线索。接着本发明通过计算三维着装人物模型与轮廓的匹配点对，使用迭代的方式对图像中人物的姿势与体型进一步估计，得到图像中人物的真实轮廓，使得最终构建出的三维着装人物模型与图像中的人物相吻合。所述方法具体包括如下步骤：

步骤一、建立基于真实人物的三维模型训练样本库，所述训练样本库中包括多种真实人物体型、多种真实人体姿势和多种服装类型。

所述的三维模型训练样本库，包括姿势样本库、体型样本库与着装人物样本库。所述姿势样本库与所述体型样本库中的模型是通过三维扫描仪对真实人物进行扫描而得到的三维模型。所述姿势样本库中包含同一个人的70种不同姿势，所述体型样本库中包含111个不同人体的站姿模型，其中有一个同时出现在所述姿势样本库与所述体型样本库中的模型被设定为可变形模板的基准模型，拥有1.25万个网格节点与2.5万个三角网格面片，并且根据人体结构划分为18个部分(头、手、脚等)。经过人体网格注册技术的匹配后，所有其他模型的三角网格节点与链接方式都与所述基准模型完全对应。

所述着装人物模型样本库是使用所述体型样本库中的三维人体进行着装变形从而构建出来，本发明对每一种服装类型都建立了111个不同体型的着装人物模型，目的是使所述每一种服装都可以根据三维模型体型的变形而发生变形，符合每一个体型的人物穿着，每一个着装人物模型的具体构建方式如图2所示。M是体型样本库中的一个模型，首先使用SCAPE人体模型变形方法将它变形为T型姿势M′，然后分别将所述T型模型依据着装参考模型与体型参考模型进行变形。其中所述着装参考模型与所述体型参考模型是同一个人着装前后的三维模型，是使用POSER人体模型软件制作而来，然而这一对参考模型的网格节点没有对应，不能直接使用，所以本发明将M′分别变形成这一对参考模型的形状，以学习对应网格面片的变形参数。本发明首先对两个参考模型的内部不可见面片进行清除，得到参考模型的两个包裹模型，然后在所述包裹模型与M′的7个指定部位进行标注(脚上4个，手上2个，鼻尖1个)，利用麻省理工学院的Sumner等人提出的模型变形方法，将M′逐步拟合成包裹模型，最终得到一对与参考模型外形相似，但是网格节点与M′相同的模型(M′_clothed，M′_unclothed)。由于M′_clothed与M′_unclothed的网格结构完全对应，可以使用Sumner等人提出三维模型变形迁移方法将M′_clothed与M′_unclothed对应的三角面片仿射矩阵加载到M′上，得到M′的着装模型。

步骤二、在所述训练样本库上学习出人体姿势、人物体型及服装之间的变形函数，得到可变换各种姿势、体型及服装的可变形着装三维人物模型，作为可变形模板，并根据所述多种真实人物体型计算出一种平均体型。

所述可变形模板训练对三种样本库中的模型进行统计学习，对人体模型在姿势、体型和着装的三种变形进行参数化。对于训练集中给定的一个三维模型M，需要计算出从基准模型变形成M的变形仿射矩阵并进行统计降维。请参阅图3，令v_k，1，v_k，2，v_l，3是基准模型中第k个三角面片的三个顶点，E_k，j＝v_k，j-v_k，1，j＝2，3，是该三角形的两条边所在向量，j＝2，3，是M中对应三角形的两条边所在向量，b是该三角面片所属的肢体编号，则定义：

${\tilde{E}}_{k,j}={R_b}^{*}{R_k}^{*}{S_k}^{*}{Q_k}^{*}{E}_{k,j}$

其中C_k，Q_k，S_k是第k个三角面片3*3的仿射矩阵，分别代表着装相关变形、体型相关变形与姿势相关变形。R_b是一个3*3的旋转矩阵，表示肢体b从基准模型所在姿势到模型M所在姿势的旋转角度，可以通过基准模型与M的对应节点使用非线性最优化方法估算得到。统计学习的目的是学习出一组映射函数，将一组低维的(姿势，体型，着装)参数(θ，β，γ)映射到每个三角面片的变形仿射矩阵(Q，S，C)上，对模型在这三种方面的变形进行了低维参数化控制。

在除去着装变形的情况下，本发明使用SCAPE人体模型的训练方法，对姿势和体型的变形仿射矩阵进行学习统计，得到一套将姿势参数θ映射到姿势仿射矩阵Q的映射函数f_Q(θ)，和一套将体型参数β映射到体型仿射矩阵S的映射函数f_S(β)，具体方法可查阅SCAPE模型的文献。本发明将体型参数β的维数设定为20，可以覆盖体型样本库中80％的体型变化。以下具体阐述着装变形映射函数的学习方法：

本发明对着装样本库中的每种服装类型学习出一套着装变形映射函数，对于给定的服装类型参数γ与体型参数β，该映射函数f_C(β，γ)能给出每个三角面片的着装仿射矩阵C。着装映射函数的训练步骤包括单个样本仿射矩阵的学习与总体样本参数统计两个子阶段。在单个样本参数学习阶段，给定服装类型γ，对于着装模型样本库中服装类型为γ的每个样本Mⁱ，估计其每个三角面片对应的仿射矩阵C_k。具体方法是求解以下最优化问题：

$\underset{C}{\arg \min }\underset{k=1}{\overset{N_k}{\mathrm{\Σ}}}\underset{j=2}{\overset{3}{\mathrm{\Σ}}}{\left|\right|R_k{C}_k{S}_k{Q}_k{E}_{k,j}-{\tilde{E}}_{k,j}\left|\right|}^2$

其中E_k，j，

分别为基准模型与Mⁱ对应的三角面片边向量，是已知常量，N_k是模型中三角面片的个数，R_k是第k个三角面片的肢体旋转矩阵。由于Mⁱ在体型样本库中有对应的体型模型，所以体型仿射矩阵S_k为已知参数。另外Mⁱ处于给定的T型姿势，所以姿势仿射矩阵Q_k和肢体旋转矩阵R_k也是已知参数，故而该最优化问题是关于仿射矩阵C的二次优化问题，可以通过传统的最小二乘方法解决。

在总体样本参数统计阶段，对于每个三角面片学习出一个映射函数，将体型参数与着装参数(β，γ)映射到该三角面片的着装仿射矩阵C上。本发明使用回归函数作为映射函数，将问题转化成该回归函数的系数求解问题。以第k个三角面片为例，其着装映射函数为其中

是仿射矩阵C_k的一维表示形式，

是需要学习出的系数矩阵。具体的系数学习方法如下：对于着装样本库中服装类型为γ的每个样本Mⁱ，对如下最优化问题进行求解：

$\underset{{\mathrm{\η}}_k}{\arg \min }\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\left|\right|{\mathrm{\η}}_k{\mathrm{\β}}^i+{\mathrm{\φ}}_k-{\stackrel{\‾}{C}}_k^i\left|\right|}^2,$ ${\mathrm{\φ}}_k=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\stackrel{\‾}{C}}_k^i$

其中N是样本的总数，βⁱ是Mⁱ在体型样本库中对应模型的体型参数，

是Mⁱ第k个三角面片对应的着装仿射矩阵在一维上的表示形式，

分别为9*20，9*1的系数矩阵。该优化问题同样可以通过最小二乘方法求解。

至此，给予一组参数(θ，β，γ)描述特定的姿势、体型与服装类型，即可通过可变形着装人物模型，将基准模型变形为具有特定姿势、体型与服装的三维着装人物模型。在图像中人物的模型构建阶段，需要估计出这些参数，以构建出符合该人物的着装三维人物模型。

步骤三、选取包含待估计三维模型的着装人体影像的单幅人物图像，由用户根据该着装人体影像的着装类型在所述训练样本库中包括的多种服装类型中选择一种相似的服装类型，并且由用户目测选择该着装人体影像上的多个关节点位置，计算机根据所选出的关节点位置初始化该着装人体影像的三维姿势，并将步骤二中的平均体型和用户选出的服装类型赋予到该三维姿势上，从而得到该人体影像的初始三维模型。

图像中人物模型构建阶段分为初试化与参数估计两个子阶段。在初始化方面，用户首先在着装人物样本库中设定的服装种类中选取与图像中人物服装最接近的类型，然后在图像中人物的主要关节点上进行标记。随后本发明生成一个初始的着装三维人物模型，并利用它进行图像前景分割，以获得图像中人物的二维轮廓。在三维姿势及体型初始估计方面，本发明使用德州农工大学的Xiaolin Wei等人提出的三维人物姿势估计方法，基于麻省理工学院构建的280万个真实三维姿势作为海量训练集，使用图像中人物的二维关节点位置标注作为约束，估计出图像中的人物最为可能的三维姿势。该三维姿势估计方法需要图像中人物的骨骼比例信息，对于给定骨骼比例及关节点约束，能够估计出一个最可能的三维姿势，并且给出误差值。本方法对体型样本库中的每个人体进行骨骼比例估计，依次使用每种骨骼比例作为姿势估计方法的输入，最终选取误差最小的骨骼比例和三维姿势作为初始化结果，同时使用该骨骼比例所对应的体型模型作为最初的体型模型。在图像人物轮廓提取方面，本发明使用初始化的姿势、体型及着装类型参数，创建出初始的着装三维人物模型，并将之投影到图像中，，得到图像人物的初始轮廓。

优选的是，在所述步骤三之后，还包括：

步骤四、根据所选出的关节点位置，将初始三维模型投影在单幅人物图像上，得到该着装人体的初始轮廓，以此指导Grabcut图像分割算法，对图像人物进行前景提取，在用户的辅助下，得到该着装人体的真实轮廓。

在参数估计方面，参阅图4，本发明采用迭代的方法，在图像中人物真实轮廓的约束下，从初始参数开始，依次优化姿势参数与体型参数，直到所创建出的着装人物模型与图像中人物真实轮廓匹配度达到预定要求为止。具体优化步骤如下：

姿势参数优化。对于当前的一组参数(θ，β，γ)，本发明首先创建出一个三维着装人物模型M，然后使用哥伦比亚大学的Kraevoy等人所提出的模型-轮廓匹配方法，获取模型M与图像中人物轮廓的最优匹配点对集合{(c_p，v_p)|p＝1...N_p}，其中c_p是图像中人物轮廓上的像素点，v_p是模型M上的三维网格顶点。该模型-轮廓匹配方法采用了顶点距离、法向量及顶点连续性作为匹配线索，基于隐式马尔科夫模型计算三维模型与二维轮廓的最优匹配点对集合，其结果请参阅图4(左)。在该匹配点对集合的基础上，本发明对姿势参数进行优化，同时固定其余两种参数不变，力求新的着装人物模型与图像中人物轮廓有更好的匹配。由于姿势参数的优化涉及旋转矩阵，引入了非线性因子，容易陷入局部最优，因此本发明使用

来近似表示更新的旋转矩阵。其中I是3*3的单位矩阵，

是旋转向量t的斜对称矩阵形式，t是一个3*1的向量，其方向表示旋转轴，其向量模表示旋转角度，R是一个旋转矩阵，由姿势参数θ转化而来。该近似方法要求t的值较小，故需要对t的值进行约束。在每次迭代中，姿势参数的优化问题转化为求解以下最优化问题：

$\underset{t}{\arg \min }\underset{p=1}{\overset{N_p}{\mathrm{\Σ}}}{\left|\right|c_p-F\left(v_p\right)\left|\right|}^2+w_t{\left|\right|t\left|\right|}^2$

满足

$V^{*}=\underset{V}{\arg \min }\mathrm{\Σ}{\left|\right|(I+\hat{t})\mathrm{RCSQ}{E}_{k,j}-{\tilde{E}}_{k,j}\left|\right|}^2$

其中F是将三维模型顶点v_p映射到二维图像坐标的投影函数，w_t是固定的权重，t是旋转向量，V是新的三维着装人物模型的所有顶点集合，E_k，j，

分别为新的三维模型与基准模型第k个三角面片的边向量，C，S，Q可由着装、体型、姿势参数及训练出的映射函数计算出来，

是t对应的斜对称矩阵。该问题可以通过非线性最优化工具求解，然后使用

对姿势参数进行更新。

体型参数优化的方法与姿势参数优化类似。首先使用当前的参数(θ，β，γ)创建出一个三维着装人物模型M，并计算出M与图像中人物轮廓的最优匹配点对集合；然后将体型参数优化问题转化为如下最优化问题求解：

$\underset{\mathrm{\β}}{\arg \min }\underset{p=1}{\overset{N_p}{\mathrm{\Σ}}}{\left|\right|c_p-F\left(v_p\right)\left|\right|}^2+w_{\mathrm{\β}}{\left|\right|\mathrm{\β}\left|\right|}^2$

满足

$V^{*}=\underset{V}{\arg \min }\mathrm{\Σ}{\left|\right|{\mathrm{RF}}_C(\mathrm{\β},\mathrm{\γ})f_S\left(\mathrm{\β}\right){\mathrm{QE}}_{k,j}-{\tilde{E}}_{k,j}\left|\right|}^2$

其中w_β固定的权重，f_C(β，γ)是在γ服装类型下训练出的着装映射函数，f_S(β)是训练出的体型映射函数，E_k，j，

分别为新的三维模型与基准模型第k个三角面片的边向量，姿势变形仿射矩阵Q和肢体旋转矩阵R可由已知的姿势参数计算而出。该最优化问题可由非线性最优化工具求解。

在经过多次迭代后，构建出的着装人物模型的姿势与体型逐步逼近图像中人物的真实轮廓，最终当最优匹配点对集合中的匹配点对误差小于预定范围，即可判定迭代结束。此时使用最终估计出的姿势、体型与着装参数，即能创建出图像中人物的着装三维人物模型与体型模型，如图5所示。

步骤五、结合所述真实轮廓、所述三维姿势和所选的服装类型，对所述可变形模板按照步骤四进行参数估计，得到符合待估计着装人体的包含体型、服装和姿势的三维着装模型。

本发明所创建出的图像中人物着装三维模型应用范围广，具有多种功能，请参阅图6，本发明所述方法估计出的着装三维人物模型与图像中人物的轮廓匹配度高，能够使用图像中人物的图像对该模型进行纹理贴图；能够使用着装人物模型样本库中的服装对估计出的人物模型进行换装；估计出的着装三维人物模型和体型模型都可以改变其当前姿势，导入新的三维动作数据进行动画制作。

尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims (9)

1.单幅人物图像中着装人体三维模型估计方法，其特征在于，所述方法包括以下步骤：

步骤一、建立基于真实人物的三维模型训练样本库，所述训练样本库中包括多种真实人物体型、多种真实人体姿势和多种服装类型；

步骤二、在所述训练样本库上学习出人体姿势、人物体型及服装之间的变形函数，得到可变换各种姿势、体型及服装的可变形着装三维人物模型，作为可变形模板，并根据所述多种真实人物体型计算出一种平均体型；

步骤三、选取包含待估计三维模型的着装人体影像的单幅人物图像，由用户根据该着装人体影像的着装类型，在所述训练样本库中包括的多种服装类型中选择一种相似的服装类型，并且由用户目测选择该着装人体影像上的多个关节点位置，计算机根据所选出的关节点位置初始化该着装人体影像的三维姿势，并将步骤二中的平均体型和用户选出的服装类型赋予到该三维姿势上，从而得到该人体影像的初始三维模型。

2.如权利要求1所述的单幅人物图像中着装人体三维模型估计方法，其特征在于，在所述步骤三之后，还包括：

步骤四、根据所选出的关节点位置，将初始三维模型投影在单幅人物图像上，得到该着装人体的初始轮廓，并在所述单幅人物图像上对该初始轮廓进行拟合约束，以得到该着装人体的真实轮廓。

3.如权利要求2所述的单幅人物图像中着装人体三维模型估计方法，其特征在于，在所述步骤四之后，还包括：

步骤五、结合所述真实轮廓、所述三维姿势和所选的服装类型，对所述可变形模板进行参数估计，得到符合待估计着装人体的包含体型、服装和姿势的三维着装模型。

4.如权利要求1所述的单幅人物图像中着装人体三维模型估计方法，其特征在于，步骤一中所述的三维模型训练样本库，包括姿势样本库、体型样本库与着装人物样本库。

5.如权利要求4所述的单幅人物图像中着装人体三维模型估计方法，其特征在于，所述三维模型训练样本库的构建包括如下步骤：

I对同一个人的70个姿势进行全身三维扫描，得到的模型作为姿势样本库；

II对111个不同体型人物的站立姿态进行全身三维扫描，得到的模型作为体型样本库；

III对体型样本库中每个人物分别在7种服装类型着装状态下进行建模，得到的模型作为着装人物样本库。

6.如权利要求5所述的单幅人物图像中着装人体三维模型估计方法，其特征在于，步骤III中所述三维模型训练样本库的着装模型的建模包括如下步骤：

A选择一个三维人物模型，对其在着装与非着装两种情况下的三维模型执行内部不可见面片自动清除算法，得到两个包裹模型；

B学习出步骤A中所述的两个包裹模型之间的变形差异，将所述差异传播到体型样本库中的所有体型模型上，得到每个体型模型在所述服装种类下的着装模型；

C对于所有服装类型，分别采用步骤A和步骤B的方法，构建出不同服装类型的着装人物样本库。

7.如权利要求1所述的单幅人物图像中着装人体三维模型估计方法，其特征在于，步骤二中所述的可变形模板对姿势、体型和着装种类这三种变形方式进行了参数化，给定具体的一组低维参数，能够快速地生成相应姿势、体型和着装的三维人物模型。

8.如权利要求1所述的单幅人物图像中着装人体三维模型估计方法，其特征在于，步骤三在人体影像三维姿势的估计上，使用了基于海量三维姿势样本的半自动估计方法，所述方法采用的三维姿势样本的容量级别是百万数量级。

9.根据权利要求2所述的单幅人物图像中着装人体三维模型估计方法，其特征在于，步骤四中所述的着装人体真实轮廓三维模型参数的估计方法包括如下步骤：

a计算出所述初始三维模型与图像中着装人体的真实轮廓的匹配点对；

b使用所述匹配点对作为约束，优化当前的姿势参数；

c在新的姿势参数上更新匹配点对，优化当前的体型参数；

d迭代步骤b和步骤c，直到匹配点对间的差异达到一个预定值时，获得最优的姿势参数和体型参数，使用所述参数可以生成所述图像中着装人体真实轮廓的着装三维模型与体型模型。

Images