CN104008557A - 一种服装与人体模型的三维匹配方法 - Google Patents

Abstract

本发明公开了一种服装与人体模型的三维匹配方法，该方法包括：接收人体和服装模型；为服装模型上的每一个顶点确定要绑定的人体模型中的三角形面片；基于服装模型的初始位置，对于服装模型中的每一个顶点，计算并存储其相对于要绑定的三角形面片之间的相对位置信息；根据顶点到平面的距离，确定每一个绑定的三角形面片的权重；在服装和人体模型发生位移后，根据相对位置信息和三角形面片权重，更新服装模型中各顶点的坐标，完成服装与人体模型的三维匹配。本发明能够随着模型的移动，基于相对位置变化最小的思想计算顶点应在的位置，从而达到服装随着模型运动的效果。

Description

一种服装与人体模型的三维匹配方法

技术领域

本发明涉及计算机图形学领域，特别涉及一种服装与人体模型的三维匹配方法，常用虚拟试穿等领域。

背景技术

基于虚拟现实的计算机动画是计算机图形学与艺术相结合的产物，三维计算机动画中的虚拟人动画是其中一个重要的部分，在各种各样的3D仿真中扮演着重要的角色。虚拟人骨骼动画是通过将骨架嵌入人体模型中，并将人体模型的顶点绑定到一块或数块骨骼上，通过依次改变骨骼的位置和姿态，从而由骨骼带动人体模型生成动画。

动画人物的虚拟服装模拟是研究中的一个难点问题,服装的外形并不像刚体一样固定不变，其某些特性带来模拟上的难度，如服装的复杂多变性和高度变形性。服装本身是由多片布料缝合而成，面片之间需要满足缝合的约束，服装特有的结构约束，如褶皱等也需要加以表现，此外，人体运动可以彻底改变服装的视觉效果，穿着搭配和穿着层次等的影响也给虚拟服装的真实度带来了很大的挑战。

虚拟服装的建模方法主要分为三种：几何法、物理法和混合法。目前基于物理的建模方法占据主导地位。虚拟服装建模中有两个亟待解决的问题，即提高虚拟的真实程度和运算速度。

早期的研究主要是利用图像处理技术构建虚拟穿衣系统。Hilsmann和Eisert描述了一种动态纹理叠加的方法，在虚拟镜像环境中，从可视化服装的单目图像构建服装模型(请参考A.Hilsmann and P.Eisert,“Trackingand retexturing cloth for real-time virtual clothing applications”,in Proc.Mirage2009Comput.Vis./Comput.Graph.Collab.Technol.and App.,Rocquencourt,France,May 2009,pp.94-105)；接下来，他们又提出了一种通过提取阴影和形状的变形信息来对服装进行分割和再处理的方法(请参考P.Eisert and A.Hilsmann,“Realistic virtual try-on of clothes using real-timeaugmented reality methods”,IEEE COMSOCMMTCE-Lett.,2011,pp.37–40)；Zhang等人用基准线标记法来改变服装的纹理(请参考W.Zhang,T.Matsumoto,and J.Liu,“An intelligent fitting room using multi-cameraperception”,in Proc.Int.Conf.Intell.User Interfaces,2008,pp.60–69)；Spanlang等人的工作则将一个预生成的三维人体模型叠加到一个二维的服装图像上(请参考B.Spanlang,T.Vassilev,and B.F.Buxton,“Compositingphotographs with virtual clothes for design”,in Proc.Int.Conf.Comput.Syst.And Technol.,2004,pp.1–6)；他们在后续工作中构建出一个虚拟穿衣系统，用户可以扫描或输入自己的信息，系统将构建一个对应的人体模型，将服装穿着到人体模型上(请参考B.Spanlang,T.Vassilev,J.Walters,and B.F.Buxton,“A virtual clothing system for retail and design”,Res.J.Textile andApparel,2005,pp.74–87)；Shilkrot等人建立了一个虚拟体验的穿衣系统，将用户的照片输入到系统中，就可以穿上指定的衣服，并且会考虑用户的肤色和体型(参考R.Shilkrot,D.Cohen-Or,A.Shamir,L.Liu,“GarmentPersonalization via Identity Transfer”,IEEE Computer Graphics andApplications,2012,pp.62-72)。

不同于基于图像的系统，三维图形系统从几何层面来讲更加精准。Thanh和Gagalowicz建立的系统接收用户输入的3D模型，并允许用户从系统库中选择一件衣服，然后用交互定位的方式将衣服穿到模型上面(请参考T.L.Thanh and A.Gagalowicz,“From interactive positioning to automatictry-on of garments”,in Proc.Int.Conf.Comput.Vis./Comput.Graph.Collab.Technol.,2009,pp.182–194)；Frederic等人提出了一种基于网络的解决方案，从一个通用的数据库里为用户体型大小的阿凡达选择合适的衣服并进行仿真(请参考F.Cordier,W.Lee,H.Seo,and N.Magnenat-Thalmann,“Virtual try-on on the web”,in Proc.Virtual Reality Int.Conf.,Laval Virtual,2001)；Meng等人和Wacker等人提出一种在3D模型上进行服装缝合的方法，然后观测服装仿真的效果(请参考Y.Meng,P.Y.Mok,and X.Jin,“Interactive virtual try-on clothing design systems”,Comput.Aid.Des.,2010,pp.310–321；M.Wacker,M.Keckeisen,and S.Kimmerle,“Simulation andvisualization of virtual textiles for virtual try-on”,Res.J.Textile and Apparel,2005,pp.37–41)；Zou等人提出一种基于网络的交互式的服装仿真的方法，并允许用户为模特自主选择发型配饰等(请参考K.Zou,X.Xu,Y.Li,and Z.Li,“Research of interactive3D virtual fitting room on web environment”,inProc.Int.Symp.Comput.Intell.and Des.,2011,pp.32–35)。

近年来，一些基于增强现实技术的交互式虚拟试衣系统开始崭露头角。这类系统的一大优势是可以保证穿衣之后模特保持用户输入图像之中的姿势。当下，遥感技术的应用使得颜色和深度的质量得到大幅的提升，也大大改善了虚拟穿衣系统的真实感。Hauswiesner提出了一种虚拟穿衣系统，用多视角相机采集用户的体型信息和服装信息，重构出三维模型(请参考N.Hasler,C.Stoll,M.Sunkel,B.Rosenhahn and H.-P.SeidelA,“StatisticalModel of Human Pose and Body Shape”,Computer Graphics Forum,2009,pp.337–346；D.Anguelov,P.Srinivasan,D.Koller,S.Thrun,J.Rodgers,and J.Davis,“SCAPE:Shape completion and animation of people”,ACM Trans.Graph.,2005,pp.408–416)，接下来，用Kenect传感器捕获用户的运动，并映射到Kinect传感器获取的骨架上，带动模型运动。

发明内容

本发明提出一种服装与人体模型的三维匹配方法，以实现三维动画人物的虚拟穿衣，即将服装网格绑定到人物模型的表面，使得服装可以匹配并跟随人物模型生成人体动画。本发明其实属于虚拟穿衣系统的一部分，所述虚拟穿衣系统首先输入一个标准的人体模型，进行体型重构输出不同尺寸的模型文件，接着针对输出的重构后模型在其外部穿上一个服装模型，在其内部嵌入一个虚拟骨架，然后利用穿衣方法将服装绑定到人体上，最后用第三方动作捕获的数据驱动骨架运动，进而带动模型运动，同时也带动绑定在模型之上的服装运动，生成着装人体动画。该虚拟穿衣系统的流程图如图1所示，该虚拟穿衣系统包括以下几个部分：体型重塑：根据用户输入的腰围、胸围、身高等信息对人体模型进行尺寸调整，保持模型的拓扑结构不变，输出不同大小的模型；骨架嵌入和绑定：在人体模型内部嵌入骨架，并分配骨架关节点对模型顶点的影响权重；服装重塑：根据模型的尺寸将服装调整到合适的大小，使之与模型相匹配，并处理服装和模型之间的穿透；服装绑定至人体模型：将服装绑定到人体模型，使服装能随模型运动生成动画；动画数据驱动：BVH动画数据驱动嵌入骨架，带动模型和服装生成着装人物动画。而本发明提出的服装与人体模型的三维匹配方法实质上就是上述虚拟穿衣系统中用到的将服装绑定至人体模型的方法。

本发明提出的一种服装与人体模型的三维匹配方法包括以下步骤：

步骤1，接收人体和服装模型；

步骤2，为服装模型上的每一个顶点确定要绑定的人体模型中的三角形面片；

步骤3，基于服装模型的初始位置，对于服装模型中的每一个顶点，计算并存储其相对于要绑定的三角形面片之间的相对位置信息；

步骤4，根据顶点到平面的距离，确定每一个绑定的三角形面片的权重；

步骤5，在所述服装和人体模型发生位移后，根据所述步骤3获得的相对位置信息和所述步骤4计算得到的三角形面片权重，更新所述服装模型中各顶点的坐标，完成服装与人体模型的三维匹配。

综上，本发明提出了一种利用重心坐标信息和到模型表面距离来保存服装模型上每个顶点对于模型的相对位置的方法，随着模型的移动，基于相对位置变化最小的思想计算顶点应在的位置，从而达到服装随着模型运动的效果。

附图说明

图1是虚拟穿衣系统的流程图；

图2是本发明服装与人体模型的三维匹配方法的流程图；

图3是本发明的服装绑定算法将顶点绑定到三角形的示意图；

图4是根据本发明将服装与人体模型进行匹配的系列效果图；

图5是根据本发明得到的三维着装人物动画的系列效果截图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

本发明的目的是将服装模型绑定到匹配的人体模型上。三角形所在平面的任意点都能表示为顶点的加权平均值，这个权就叫做重心坐标。对于模型网格上的一个三角形和服装网格上的一个顶点，顶点的位置可以用投影点的重心坐标和点到三角形平面的距离来表示。一旦三角形的位置发生移动，根据重心坐标和距离信息，就可以求出新的顶点位置，使得三角形和顶点的相对位置保持不变。基于如此的思想，本发明将服装网格的每一个顶点绑定到模型网格的若干三角形上，这样就能计算随着模型移动的服装的位置。

本发明方法从接收两个模型——人体和服装开始，要做的工作主要分四步：选择绑定的三角形，初始化对应信息，分配权重以及更新顶点坐标，接下来基于这四部分工作对于本发明方法进行详细的说明。

图2是本发明服装与人体模型的三维匹配方法的流程图，如图2所示，所述方法包括以下步骤：

步骤1，接收人体和服装模型；

步骤2，为服装模型上的每一个顶点确定要绑定的人体模型中的三角形面片；

通常，一个人体模型由成千上万个三角形面片构成，只将顶点绑定到一个三角形面片上必然保证不了真实感，所以本发明采取将顶点绑定到多个三角形面片上的策略，图3A为将顶点P绑定到一个三角形面片上的原理示意图，图3B为将顶点P绑定到多个三角形面片上的原理示意图。

如何选择绑定三角形面片的数目呢？绑定的面片数目太多会使服装看起来僵硬，绑定的数目太少则会不平滑，所以选择一个合适的值对绑定结果有重要的影响。本发明中，绑定的最大三角形面片数n根据人体模型的尺寸和精细程度来决定，由用户结合想要的效果，从外部输入一个大致估算的n值，以及一个最大距离值D。选择前n个距离顶点最近的三角形面片，其中满足距离区间[0,D]的三角形面片即选定为最终进行绑定的三角形面片。

在本发明一实施例中，采取一种空间划分的方法由近及远的搜索绑定三角形，从而加速三角形面片的搜索过程，具体做法如下：输入最大绑定三角形面片数目n；选择合适的步长，将人体模型和服装模型所在的三维空间划分为大小相等的立方体，那么，某一顶点p必然落在其中一个小立方体里；首先从与顶点p位于同一个立方体的三角形开始，计算三角形到顶点p之间的距离，然后向其相邻立方体一层一层扩展，选择离顶点p最近的前n个三角形；检查这n个三角形与顶点p之间的距离是否在规定的距离区间内，若在，则选定为最终要绑定的三角形；若n个三角形到顶点p之间的距离均不在所述距离区间内，则只绑定距离顶点p最近的一个三角形。

步骤3，先假设将服装模型中的每一个顶点只绑定到一个三角面片上，基于两者的初始位置，计算并存储顶点相对于该三角形面片之间的相对位置信息，包括投影点重心坐标、顶点到三角形面片的距离以及三角形面片的初始面积A₀；

首先来介绍一下三角形重心坐标的概念。对于一个三角形T，它的三个顶点用r₁,r₂,r₃表示。三角形平面上任何一个点都可以写成三角形三顶点的加权和的形式r＝λ₁*r₁+λ₂*r₂+λ₃*r₃，其中，(λ₁，λ₂，λ₃)称为点r的重心坐标，满足λ₁+λ₂+λ₃＝1，如果点r在三角形内部，则满足λ_i>0,i＝1,2,3。

如何利用三角形重心坐标将平面外的一个点p绑定到一个三角形呢？本发明引入一个四元组(λ₁，λ₂，λ₃，d)，其中λ₁，λ₂，λ₃表示p点在三角形平面内的投影点p’的重心坐标，d为点p到三角形平面的距离。点p就可以由三角形顶点和这个四元组来确定，如图3A所示：

p＝λ₁*r₁+λ₂*r₂+λ₃*r₃+d*n，

其中，n为三角形平面的正法向。

这样，三维空间中的所有点都可以由三角形顶点和四元组来表示。那么对于一个顶点p和一个要绑定的三角形T，如何求解响应的四元组呢？

首先比较容易求解的是顶点p到三角形平面的距离d，根据相关数学定理，d等于p与平面内任一点的连线在法线方向的投影长度，进而就能得到点p在平面上的投影p’＝p-d*n。

接下来如何求解投影点p’的重心坐标呢？设投影点p’的笛卡尔坐标为(x,y,z)，三角形T的三个顶点为r₁(x₁,y₁,z₁),r₂(x₂,y₂,z₂),r₃(x₃,y₃,z₃),投影点p’的重心坐标用(λ₁,λ₂,λ₃)表示，则有：

p’＝λ₁r₁+λ₂r₂+λ₃r₃,

进而

x＝λ₁x₁+λ₂x₂+λ₃x₃,

y＝λ₁y₁+λ₂y₂+λ₃y₃。

将λ₃＝1-λ₁-λ₂代入上式，得到

x＝λ₁x₁+λ₂x₂+(1-λ₁-λ₂)x₃，

y＝λ₁y₁+λ₂y₂+(1-λ₁-λ₂)y₃。

上式可以变换成

λ₁(x₁-x₃)+λ₂(x₂-x₃)+x₃-x＝0，

λ₁(y₁-y₃)+λ₂(y₂-y₃)+y₃-y＝0。

此线性变换也可以被写成

T.λ＝r-r₃

其中

$T=\left(\begin{array}{cc}{x}_1-x_3& x_2-x_3\\ y_1-y_3& y_2-y_3\end{array}\right)$

所以有

$\left(\begin{array}{c}{\mathrm{\λ}}_1\\ {\mathrm{\λ}}_2\end{array}\right)=T^{-1}(r-r_3)$

最终得到投影点p’的重心坐标为：

${\mathrm{\λ}}_1=\frac{(y_2-y_3)(x-x_3)+(x_3-x_2)(y-y_3)}{\det \left(T\right)}=\frac{(y_2-y_3)(x-x_3)+(x_3-x_2)(y-y_3)}{(y_2-y_3)(x_1-x_3)+(x_3-x_2)(y_1-y_3)},$

${\mathrm{\λ}}_2=\frac{(y_3-y_1)(x-x_3)+(x_1-x_3)(y-y_3)}{\det \left(T\right)}=\frac{(y_3-y_1)(x-x_3)+(x_1-x_3)(y-y_3)}{(y_2-y_3)(x_1-x_3)+(x_3-x_2)(y_1-y_3)},$

λ_３＝1-λ₁-λ₂。

三角形发生形变以后面积有可能发生变化，我们希望面积的变化也对点p的位置产生影响。将点p的求解公式修改为：

p＝λ₁*r₁+λ₂*r₂+λ₃*r₃+(A/A₀)*d*n(1)

其中，A₀为三角形T的初始面积，在三角形T确定下来之后，其初始面积就随之确定了，A为三角面片形变后的新面积。

对于每一个顶点所要绑定的n个三角面片重复以上步骤。

步骤4，根据顶点到平面的距离，确定每一个绑定的三角形面片的权重；

接下来，要为每一个绑定的三角形面片分配权重，代表该三角形面片对顶点影响的程度。为了计算简便，本发明分配权重时仅仅考虑了顶点到平面的距离，取点面距离的倒数归一化之后作为该面对该点影响的权重，计算公式为：

$w_i=\frac{1}{d_i{\mathrm{\Σ}}_{i=0}^{m-1}\frac{1}{d_i}},$ 其中 ${\mathrm{\Σ}}_{i=0}^{m-1}{w}_i=1,$ 0≤w_i≤1。

至此为止，所需的所有初始化信息就求解完毕。

步骤5，在所述服装和人体模型发生位移后，根据所述步骤3获得的相对位置信息和所述步骤4计算得到的三角形面片权重，基于n个三角面片的共同作用，更新所述服装模型中每一个顶点的坐标，从而实现服装与人体模型的三维匹配。

服装模型在与人体模型匹配的过程中会发生形变，发生形变之后，需要根据所述步骤3获得的相对位置信息来更新服装模型中各顶点的坐标位置，在更新顶点坐标位置的过程中，所述服装模型的拓扑结构保持不变。

该步骤中，对于顶点p，若第i个绑定的三角形的初始化四元组为(λ₁,λ₂,λ₃,d)，三角形的三顶点为r₁,r₂,r₃，三角形发生形变后的面积为A，则由公式(1)计算得到更新后的顶点的笛卡尔坐标p_i。顶点p的最终更新的笛卡尔坐标为根据n个绑定三角形计算得出的顶点p的坐标乘以权重之后的加和：

$p={\mathrm{\Σ}}_{i=0}^{m-1}{w}_i{p}_i,$

其中w_i表示第i个三角形的权重。

本发明的有益效果是：通过上述技术方案，可以实现服装和人体模型的匹配。在人体骨骼动画中，由动作捕获数据驱动嵌入模型的骨架，进而带动附着在骨架上的人体模型，再带动绑定在人体模型上的服装一起生成着装人体骨骼动画。在虚拟试衣系统中,可以应用本发明实现服装模型的放码，人体模型和服装模型绑定之后，调节人体模型的尺寸,服装模型也会随之发生缩放。

本发明方法基于服装和模型相对位置变化最小的思想，引入重心坐标来度量两物体相对位置，构思巧妙、直观简洁，能取得理想的效果；引入平面外一点重心坐标的概念，用一个四元组来表达，可以准确定位空间中所有点；将顶点绑定到合适个数的三角形上，即避免了数目太少造成服装不平滑，又避免了数目太多造成服装太僵硬；绑定的最大三角形数目由用户指定，用户可以根据想要的效果自主设定，这一交互增强了用户的体验感；通过设定有效距离区间滤除掉相对位置不合理的面片，避免对绑定效果产生负面影响；采用空间划分的方法来加速绑定三角形的搜索，可以大大提高算法的效率，缩减运算时间。

基于本发明提出的算法可以合理实现服装至人体模型的绑定，最大限度的保持服装和人体模型的相对位置不变，计算比较简洁，在真实感和高效性之间都能得到比较理想的效果。根据本发明将服装与人体模型进行匹配的系列效果图如图4所示，根据本发明得到的三维着装人物动画的系列效果截图如图5所示。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种服装与人体模型的三维匹配方法，其特征在于，该方法包括以下步骤：

步骤1，接收人体和服装模型；

步骤2，为服装模型上的每一个顶点确定要绑定的人体模型中的三角形面片；

步骤3，基于服装模型的初始位置，对于服装模型中的每一个顶点，计算并存储其相对于要绑定的三角形面片之间的相对位置信息；

步骤4，根据顶点到平面的距离，确定每一个绑定的三角形面片的权重；

步骤5，在所述服装和人体模型发生位移后，根据所述步骤3获得的相对位置信息和所述步骤4计算得到的三角形面片权重，更新所述服装模型中各顶点的坐标，完成服装与人体模型的三维匹配。

2.根据权利要求1所述的方法，其特征在于，与所述服装模型上的每一个顶点绑定的三角形面片的数量为多个。

3.根据权利要求1所述的方法，其特征在于，所述步骤2进一步包括以下步骤：

输入最大绑定三角形面片数目n；

选择步长，将人体模型和服装模型所在的三维空间划分为大小相等的立方体，其中，某一顶点p落在其中一个小立方体里；

从与顶点p位于同一个立方体的三角形开始，计算三角形到顶点p之间的距离，然后向其相邻立方体一层一层扩展，选择离顶点p最近的前n个三角形；

判断这n个三角形与顶点p之间的距离是否在规定的距离区间内，若在，则选定为最终要绑定的三角形；若n个三角形到顶点p之间的距离均不在所述距离区间内，则只绑定距离顶点p最近的一个三角形。

4.根据权利要求1所述的方法，其特征在于，所述相对位置信息至少包括投影点重心坐标、顶点到三角形面片的距离以及三角形面片的初始面积。

5.根据权利要求1所述的方法，其特征在于，顶点p由三角形顶点和一个四元组来确定：

p＝λ₁*r₁+λ₂*r₂+λ₃*r₃+d*n，

其中，r₁,r₂,r₃为三角形的三个顶点，λ₁，λ₂，λ₃为p点在三角形平面内的投影点p’的重心坐标，d为点p到三角形平面的距离，n为三角形平面的正法向。

6.根据权利要求4所述的方法，其特征在于，顶点p到三角形平面的距离d等于p与平面内任一点的连线在法线方向的投影长度。

7.根据权利要求4所述的方法，其特征在于，p点在三角形平面内的投影点p’的重心坐标为：

${\mathrm{\λ}}_1=\frac{(y_2-y_3)(x-x_3)+(x_3-x_2)(y-y_3)}{\det \left(T\right)}=\frac{(y_2-y_3)(x-x_3)+(x_3-x_2)(y-y_3)}{(y_2-y_3)(x_1-x_3)+(x_3-x_2)(y_1-y_3)},$

${\mathrm{\λ}}_2=\frac{(y_3-y_1)(x-x_3)+(x_1-x_3)(y-y_3)}{\det \left(T\right)}=\frac{(y_3-y_1)(x-x_3)+(x_1-x_3)(y-y_3)}{(y_2-y_3)(x_1-x_3)+(x_3-x_2)(y_1-y_3)},$

λ₄＝1-λ_１-λ_２，

其中， $T=\left(\begin{array}{cc}{x}_1-x_3& x_2-x_3\\ y_1-y_3& y_2-y_3\end{array}\right)$ (x₁,y₁,z₁),(x₂,y₂,z₂),(x₃,y₃,z₃)为三角形T的三个顶点坐标。

8.根据权利要求1所述的方法，其特征在于，所述三角形面片的权重为相应顶点到平面的距离的归一化后的倒数。

9.根据权利要求1所述的方法，其特征在于，在更新顶点坐标位置的过程中，所述服装模型的拓扑结构保持不变。

10.根据权利要求1所述的方法，其特征在于，更新后的顶点p的坐标为根据n个绑定三角形计算得出的顶点p的坐标乘以权重之后的加和，其中，根据第i个绑定三角形计算得出的顶点p的坐标为：

p＝λ₁*r₁+λ₂*r₂+λ₃*r₃+(A/A₀)*d*n，

其中，r₁,r₂,r₃为三角形的三个顶点，λ₁，λ₂，λ₃为p点在三角形平面内的投影点p’的重心坐标，d为点p到三角形平面的距离，n为三角形平面的正法向，A为形变后的三角形的面积，A₀为三角形的初始面积。