CN105006014B - 虚拟衣物快速模拟试穿的实现方法及系统 - Google Patents

Abstract

一种计算机图形图像领域的虚拟衣物快速模拟试穿的实现方法及系统，通过对人体模型进行粗网格粒度的人体试衣结果模拟后，对粗网格衣服进行面片特征的提取，使用k近邻搜索在样本数据库中查找邻近的k个特征，得到当前面片特征与k个邻接点之间的更新距离，并索引对应的k个精细网格特征，根据更新距离，使用反距离加权插值法求得精细网格特征；最后以精细网格特征对布料顶点信息进行调整，最终生成匹配人体体型模型的具有真实细节的模拟试衣结果。本发明能够实现快速地模拟衣服在不同体型人体身上的着装效果。

Description

虚拟衣物快速模拟试穿的实现方法及系统

技术领域

本发明涉及的是一种计算机图形图像领域的技术，具体是一种虚拟衣物快速模拟试穿的实现方法及系统。

背景技术

图形图像处理技术近些年来已经成为越来越热门的话题。而随着电商平台的普及，网上购衣的需求大幅增加，基于图形图像处理的网络虚拟试衣技术也体现出了巨大的市场潜力和商业前景。通过虚拟试衣，用户能够模拟衣服在与试衣者同等体型的虚拟角色身上的着装效果，从而帮助消费者选择最合适的衣服，减少网络购物的退货率。而网络带宽的加大以及人体捕捉设备精度的不断增强，则对这一方向的研究提供给了强有力的支持。

目前，根据体型定制化衣服的研究已经出现。但是在将这些技术应用在网络虚拟试衣方面主要存在两大问题：第一，用户无法快速直观地看到不同大小的衣服着装后的效果。由于试衣者经常会对不同大小、颜色等衣服进行试穿，所以快速直观地给予效果反馈是非常重要的。但是现有的基于物理模拟的方法实时性效果非常不理想。第二，衣服的质感无法通过模拟体现。众所周知，网络购买衣服的一大缺陷就是缺少实物的真实感，而这又是非常影响试衣者是否购买的一个非常重要的因素。

经过对现有技术的检索发现，中国专利文献号CN104123753A公开(公告)日2014.10.29，公开了一种基于服装图片的三维虚拟试衣方法，使用服装图片为输入数据的基础，通过结合虚拟人体模型的骨骼来提取所述服装图片中的服装信息，对所述服装进行属性设定，并结合机器学习算法与缝合自感应算法建立三维服装网格模型，最后将服装的图案与花纹一一映射至所述三维服装网格模型，完成三维物理仿真。但该技术无法达到在不同人体体型上展现出最真实的物理效果和细节。

Zhang X和Wong L Y.在《ACM SIGGRAPH 2014Posters》上发表的《virtualfitting:real‐time garment simulation for online shopping》中提出了通过神经网络训练出体型与衣服模拟结果的关系，用以更加直观地表现虚拟试衣的过程。但是，这种方法涉及的人体模型需要2000多个三维的扫描数据通过机器学习建立，从而导致样本数据量大，体型调节参数过于复杂。

Wang H，Hecht F和Ramamoorhi D A等人在《ACM Transactions on Graphics》上发表的《Example‐based wrinkle synthesis for clothing animation》(2010年)中提出了一种事先采集大量高精度衣服模拟样本，然后根据人体骨骼点所影响的布料区域进行分类存储，并在运行时以新的姿态数据获取存储样本并插值，达到布料动画模拟的目的。但该技术并没有考虑不同体型的着装效果。

发明内容

本发明针对现有技术存在的上述不足，提出一种虚拟衣物快速模拟试穿的实现方法及系统，根据粗网格衣服在人体体型身上模拟的面片特征，搜索邻近的细网格样本插值并优化，采用的快速模拟方法在应用的运行时刻，能够节省大量的模拟时间，从而达到实时反馈试衣结果给试衣者的效果。

本发明是通过以下技术方案实现的：

本发明涉及一种虚拟衣物快速模拟试穿的实现方法，使用基于样本插值的衣服模拟方法。前期采集粗网格和细网格衣服在不同体型样本下的物理模拟结果，后期运行时根据粗网格衣服实时模拟后的面片特征获取细网格衣服样本，并将邻近的多个细网格衣服面片反距离加权插值以获得最终的结果，从而达到快速地模拟衣服在不同体型人体身上的着装效果。

本发明具体包括以下步骤：

步骤一，建立场景为空的初始场景模型；

步骤二，初始化场景模型的世界三维坐标系，该坐标系用于指定后续模型调节和衣服模拟过程中涉及的计算参数，即位置、角度和大小；

步骤三，输入一个蒙皮后的模板人体模型；

所述的模板人体模型是基本的三维人体网格模型，不需要过多的表面细节。

定义任意一种体型为网格为B_i。模板人体体型为 网格为T。S_i为体型调节参数矩阵：

步骤四，通过体型调节参数和自动化调整过程实现对模板人体模型的修改调节，具体步骤包括：

4.1)基于体型长度调节参数，利用蒙皮后的模板人体骨骼点在对应坐标方向上的缩放调整人体结构中涉及高度(长度的部分)，得到符合身体协调性的长度放缩后的人体体型模型，例如：

腿长调节，当腿部关节点为joint‐crotch：B_{i，joint-crotch}＝T_joint-crotch×s_i，crotch，则B_i中受B_{i，joint-crotch}影响的顶点会根据蒙皮信息来调整位置。

所述的体型长度调节参数包括但不限于：身高、胯高、膝高、臂长、前臂长、肩宽。

所述的蒙皮是指：为了使得人体体型模型在放缩过程中骨骼驱动模型产生合理的运动，把模型绑定到骨骼上的技术。

4.2)基于体型围度调节参数，利用圆形近似建模，在调整围长时近似为调节圆的半径，并对半径的缩放通过外观调整参数灵活地并对其优化，得到符合身体协调性的围度放缩后的人体体型模型。

所述的圆形近似建模是指：将腰围所影响的人体体型模型区域用两个平面来分割，分别为P_top、P_bottom，平面的高度分别为h_top、h_bottom，则位于这两个平面之间的所有顶点满足v_y∈[h_bottom，h_top]，

所述的腰围的测量是通过平面P_waist(高度为h_waist)与人体骨架模型中的网格求交，计算出交点集合的凸包周长g_waist；设腰围调节参数s_i，waist，则调节后的顶点 满足：其中：是顶点的单位法向向量，K为满足一定约束的顶点缩放参数，表示为：其中：θ为顶点v的法线在平面P_waist上的投影与水平方向的夹角。

所述的围度部分包括但不限于：胸围、腰围、臀围等。

所述的外观调整参数为α，该外观调整参数以贝塞尔曲线为控制曲线，满足：

其中：P_i为贝塞尔曲线的控制顶点。

步骤五，输入衣服布料信息，即布料顶点信息，通过简化质点弹簧模型，对模拟的帧率进行优化，实现快速模拟任意三角网格生成的衣服模型，具体步骤包括：

5.1)简化质点弹簧模型：在每条边的顶点之间添加结构弹簧，相邻两个三角面片非公共边的顶点之间添加弯曲弹簧，使用隐式欧拉方法求解布料动力学方程。

5.2)优化模拟帧率：通过直接划分人体体型模型空间并建立哈希表，将布料顶点先转化到人体模型空间坐标系再做碰撞检测，保证了粗网格衣服模拟的实时性。

5.3)利用碰撞响应，根据步骤四中调节过的人体体型模型表面的摩擦系数和弹性恢复系数，改变布料顶点的速度。

步骤六，对于每一个步骤四中调节过的人体模型，结合输入的衣服布料信息，进行粗网格粒度的人体试衣结果模拟，具体包括：

6.1)将衣服顶点输入到人体模型所在的坐标系中。

6.2)计算衣服与人体模型的碰撞并改变衣服顶点的速度。

所述的碰撞，根据衣服顶点是否处于人体骨架模型顶点包围盒内来判断是否产生碰撞。若处于包围盒内，则认为存在碰撞。

步骤七，当步骤六模拟得到的结果稳定后，进行衣服特征面片的提取，得到一系列粗网格面片级特征的特征的集合，即对每一个三角面片其中：为三角面片边的向量，相邻的三个三角面片分别为a、b、c，特征

所述的结果稳定具体的评价方式为：其中： 分别为粗网格衣服相邻两次模拟后的顶点，V是粗网格顶点集合，N为顶点个数。

步骤八，采用多面体细分方法，将粗网格的单个面片细分为16个面片组成的精细网格。

步骤九，以距离表征步骤七中衣服特征面片中的特征与特征之间的相似度，使用KNN(k近邻搜索)方法，并以kd‐tree为划分高维空间的数据结构，针对每个实时模拟的粗网格面片，利用该面片的特征向量在该面片所对应的粗网格特征键集合中，搜索k个邻近的特征向量，得到由k个键值的体型样本索引集合。

步骤十，针对步骤九得到的k个键值，所述精细网格的键集合中索引k个细网格面片特征，使用k近邻搜索，得到当前面片特征与k个邻接点之间的更新距离

步骤十一，根据更新距离，使用反距离加权插值法求得精细网格特征：

步骤十二，根据上述步骤求得的精细网格特征，调整衣服顶点的位置，最终生成匹配人体模型的具有真实细节的模拟试衣结果。

本发明涉及一种实现上述方法的系统，包括：人体模型生成模块、衣服布料模型生成模块、粗网格模拟模块和细网格模拟模块，其中：人体模型生成模块和衣服布料模型生成模块分别与粗网格模拟模块相连并输出人体模型和任意三角网格生成的衣服模型，粗网格模拟模块和精细网格模拟模块相连并输出粗网格面片级特征的键集合，精细网格模拟模块经细分处理和欧拉距离更新，得到匹配人体模型的具有真实细节的模拟试衣结果。

技术效果

与现有技术相比，本发明从虚拟试衣的需求出发，建立不同体型与特定衣服着装的关系，提出了可适用于不同体型的衣服快速模拟方法。通过提取衣服的面片级特征，能够有效地表达衣服的变形细节，并将粗网格和细分后的面片特征分别为索引与插值的对象，为实时模拟的粗网格面片提供更多的褶皱细节。

附图说明

图1为本发明提出的模拟流程图。

图2为实施例模拟示例图；

图中：图2a为一系列不同参数调整的体型和衣服拟合的效果；图2b为快速模拟的衣服最后的细节显示；图2c左为未经过本实施例优化的试衣结果示意图，图2c右为优化后的试衣结果示意图。

图3为圆形近似建模示意图。

图4为三角面片示意图。

图5为凸包周长示意图。

图6为多面体细分方法示意图。

图7为实施例效果示意图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例1

本实施例中采用了多体型快速模拟衣服效果的场景。该场景中，相同的一件橙色长袖T恤在不同的体型模型上展现了不同的形态，同时又保持了较好的物理细节。本实施例采用上述模拟步骤进行说明。

如图1所示，本实施例包括如下步骤：

步骤一，针对在线试衣新建一个空的应用场景，初始化三维世界场景为x轴(从左至右)、y轴(从后至前)、z轴(从下至上)。中心原点坐标为(0，0，0)。

步骤二，输入一个模板人体模型。由于模板人体模型可能在初始状态下出现自身坐标轴偏移对后续工作造成一定影响，将模板人体模型自动平移到中心原点，同时将人体模型正面设定为沿y轴正方向。

该步骤可多次迭代步骤，并且没有先后顺序依赖。

步骤三，按照比例生成符合人体比例的不同大小的人体模型，具体包括：

3.1)根据如下公式，调节臂长、膝高等等长度结构的关节点。

B_i＝T_joint-crotch×s_i，crotch，其中：T为当前人体体型模型参数，S为人体体型调节参数矩阵，

B_i为生成的具有不同长度结构的人体体型模板人体体型为网格为T。

3.2)根据人体体型节点位移，调节胸围、腰围等围度结构，具体为：

其中：是顶点的单位法向向量，K为满足一定约束的顶点缩放参数，α为外观调整参数，为经过调整后的人体体型节点位移，即为原来未经过围度调整的人体各节点表达式，g_wasit为凸包周长，计算方式为：将围度结构(如腰围)所影响的顶点区域用两个平面来分割，分别为P_top、P_bottom，平面的高度分别为h_top、h_bottom，则位于这两个平面之间的所有顶点满足腰围的测量是通过平面P_waist(高度为h_waist)与人体网格求交，计算出交点集合的凸包周长g_wasit，如图5所示。

步骤四，输入衣服布料信息，当存在衣服模型和人体模型坐标轴不匹配的情况时，将衣服模型正方向设定为y轴正方向，关于z轴轴对称。

步骤五，进行衣服在人体模型上的模拟，具体包括：

5.1)在每条边的顶点之间添加结构弹簧，相邻两个三角面片非公共边的顶点之间添加弯曲弹簧，使用隐式欧拉方法求解布料动力学方程，使得衣服拟合的效果符合正确的物理规律；

5.2)检测衣服和体型之间的物理碰撞：由于在衣服模拟的过程中，衣服与人体的碰撞检测和响应的过程往往是布料模拟的计算瓶颈，特别是人体和布料网格面片数目较大的情况下，模拟的帧率会急速下降。以在此通过直接划分人体模型空间并建立哈希表，将布料顶点先转化到人体模型空间坐标系再做碰撞检测，保证了粗网格衣服模拟的实时性；

5.3)当检测到布料顶点和人体模型碰撞后，利用碰撞响应，根据人体模型表面的摩擦系数和弹性恢复系数，改变布料顶点的速度。

步骤六，拟合所选衣服模型的细节效果，具体包括：

6.1)如图4所示，进行粗网格衣服模拟的迭代，待到模拟结果稳定后进行特征面片的提取：对每一个三角面片(为三角面片边的向量表示）及其相邻的三个三角面片a、b、c，特征

6.2)以距离表征特征上述步骤六得出的特征i与特征j之间的相似度，使用KNN(k近邻搜索)方法，并以kd‐tree为划分高维空间的数据结构，针对每个实时模拟的粗网格面片，利用该面片的特征向量在该面片所对应的粗网格特征键集合中，搜索k个邻近的特征向量，得到由k个键值的体型样本索引集合。

6.3)针对粗网格面片，利用该面片的特征向量，在该面片所对应的粗网格特征向量数据库中，搜索邻近的特征向量，生成包含多个键值的体型样本索引集合，使用该索引集合在样本数据库中查找对应的精细网格面片特征。

步骤七，使用步骤6中的索引集合在样本数据库中查找对应的精细网格面片特征

步骤八，反向插值生成细节效果：

由于插值后的细网格与目标人体之间没有碰撞检测，可能会产生衣服渗入人体的现象；还有可能会产生衣服表面不平滑等缺陷，还进行一步求解最优化问题：

其中：P_Y中为衣服渗入人体的顶点集合，为衣服的顶点，为在其最近的人体模型面片上的投影点。

为了合理地移动渗入的顶点，保证衣服调整的平滑性，并维持衣服表面的褶皱细节，增加平滑项以及阻尼项其中：为上一次调整优化的顶点，初始值为插值后的衣服顶点。N_i是人体结构顶点i的邻接点集合，ω_s和ω_d分别表征平滑项和阻尼项的权重。在本实施例中，ω_s＝6.0，ω_d＝0.8。

步骤九，渲染生成的试衣结果，反馈给用户。

本实施例的操作过程如图2所示，图2a为一系列不同参数调整的体型和衣服拟合的效果。图2b为快速模拟的衣服最后的细节显示。图2c左为未经过本实施例优化的试衣结果，图2c右为优化后的试衣结果。以下为虚拟试衣实验记录结果表。

本实施例可以应用于虚拟试衣领域中，如图7所示，试衣者可以在网络购物时对于自身中意的服装进行虚拟试穿，体验衣服的质感和外观，从而试衣者在网络上购买衣服时能够更好的获得真实体验，购买最心仪、最适合的衣服，减少不必要的开销。同时对于商家也可以更好的获得用户的需求，避免货物囤积等等。

Claims (6)

1.一种虚拟衣物快速模拟试穿的实现方法，其特征在于，包括以下步骤：

第一步，通过人体体型调节参数和自动化调整过程对人体模型的修改调节，具体包括：

1)基于体型长度调节参数，利用蒙皮后的模板人体骨骼点在对应坐标方向上的缩放调整人体结构中涉及高度或长度的部分，得到符合身体协调性的长度放缩后的人体体型模型；

2)基于体型围度调节参数，利用圆形近似建模，在调整围长时近似为调节圆的半径，并对半径的大小通过外观调整参数灵活地缩放，得到符合身体协调性的围度放缩后的人体体型模型；

所述的圆形近似建模是指：将腰围所影响的人体体型模型区域用两个平面来分割，分别为P_top、P_bottom，平面的高度分别为h_top、h_bottom，则位于这两个平面之间的所有顶点满足

第二步，输入衣服布料信息，即布料顶点信息，通过简化质点弹簧模型，对模拟的帧率进行优化，实现快速模拟任意三角网格生成的衣服模型；

第三步、对于每一个第一步中调节过的人体模型，结合输入的衣服布料信息，进行粗网格衣服的人体试衣结果模拟；

第四步、对粗网格衣服进行面片特征的提取，使用k近邻搜索在样本数据库中查找邻近的k个特征，得到当前面片特征与k个邻接点之间的更新距离，并索引对应的k个精细网格特征，根据更新距离，使用反距离加权插值法求得最终精细网格特征；

第五步、以精细网格特征对布料顶点信息进行调整，最终生成匹配人体体型模型的具有真实细节的试衣结果；

所述的腰围的测量是通过平面P_waist(高度为h_waist)与人体骨架模型中的网格求交，计算出交点集合的凸包周长g_wasit；当围调节参数s_i，_waist，则调节后的顶点满足：其中：是顶点的单位法向向量，K为满足一定约束的顶点缩放参数，表示为：其中：θ为顶点v的法线在平面P_waist上的投影与水平方向的夹角，α为外观调整参数，该外观调整参数以贝塞尔曲线为控制曲线，满足：

$B_{i,n}=\frac{n!}{i!(n-i)!}{u}^i{(1-u)}^{n-i};$

$C\left(u\right)={\mathrm{\Σ}}_{i=0}^n{B}_{i,n}\left(u\right)P_i,0\≤u\≤1;$

$\mathrm{\α}=\frac{C\left(\right(v_y-h_{bottom})/(h_{top}-h_{bottom}\left)\right)}{C\left(\right(h_{waist}-h_{bottom})/(h_{top}-h_{bottom}\left)\right)};$

其中：P_i为贝塞尔曲线的控制顶点。

2.根据权利要求1所述的方法，其特征是，所述的第二步具体包括：

1)简化质点弹簧模型：在每条边的顶点之间添加结构弹簧，相邻两个三角面片非公共边的顶点之间添加弯曲弹簧，使用隐式欧拉方法求解布料动力学方程；

2)优化模拟帧率：通过直接划分人体模型空间并建立哈希表，将布料顶点先转化到人体模型空间坐标系再做碰撞检测，保证了粗网格衣服模拟的实时性；

3)利用碰撞响应，根据第三步中调节过的人体体型模型表面的摩擦系数和弹性恢复系数，改变布料顶点的速度。

3.根据权利要求1所述的方法，其特征是，所述的粗网格衣服的人体试衣结果模拟，具体包括：

1)将衣服顶点输入到人体模型所在的坐标系中；

2)计算衣服与人体模型的碰撞并改变衣服顶点的速度，即根据衣服顶点是否处于人体模型顶点包围盒内来判断是否产生碰撞。

4.根据权利要求1所述的方法，其特征是，第四步中所述的k近邻搜索是指：

1)粗网格的单个面片细分为16个面片组成的精细网格，将这16个面片的所有顶点位置为精细网格的面片级特征，得到一系列细网格面片级特征的键集合；

2)以距离表征衣服特征面片中特征与特征之间的相似度，使用KNN方法，以kd-tree为划分高维空间的数据结构，针对每个实时模拟的粗网格面片，利用该面片的特征向量在该面片所对应的粗网格特征键集合中，搜索k个邻近的特征向量，得到由k个键值的体型样本索引集合；

3)在精细网格的键集合中索引k个细网格面片特征，使用k近邻搜索，得到当前面片特征与k个邻接点之间的更新距离再使用反距离加权插值法求得精细网格特征：

5.根据权利要求4所述的方法，其特征是，第四步中所述的衣服特征面片的提取，得到的是一系列粗网格面片级特征的特征的集合，即对每一个三角面片其中：为三角面片边的向量，相邻的三个三角面片分别为a、b、c，特征

6.一种实现上述任一权利要求所述方法的系统，其特征在于，包括：人体模型生成模块、衣服布料模型生成模块、粗网格粒度模拟模块和精细网格模拟模块，其中：人体模型生成模块和衣服布料模型生成模块分别与粗网格粒度模拟模块相连并输出人体模型和任意三角网格生成的衣服模型，粗网格模拟模块和精细网格模拟模块相连并输出粗网格面片级特征的键集合，精细网格模拟模块经细分处理和欧拉距离更新，得到匹配人体模型的具有真实细节的模拟试衣结果。