CN111598656A - 一种基于样例的虚拟试衣方法 - Google Patents

一种基于样例的虚拟试衣方法 Download PDF

Info

Publication number
CN111598656A
CN111598656A CN202010398301.XA CN202010398301A CN111598656A CN 111598656 A CN111598656 A CN 111598656A CN 202010398301 A CN202010398301 A CN 202010398301A CN 111598656 A CN111598656 A CN 111598656A
Authority
CN
China
Prior art keywords
clothes
posture
body type
data
human body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010398301.XA
Other languages
English (en)
Other versions
CN111598656B (zh
Inventor
吴难难
金小刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kashion Industry Co ltd
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202010398301.XA priority Critical patent/CN111598656B/zh
Publication of CN111598656A publication Critical patent/CN111598656A/zh
Priority to US17/598,219 priority patent/US11823345B2/en
Priority to PCT/CN2020/130331 priority patent/WO2021227425A1/zh
Application granted granted Critical
Publication of CN111598656B publication Critical patent/CN111598656B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0621—Item configuration or customization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/16—Cloth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于样例的虚拟试衣方法，所述方法包括以下步骤：输入人体姿势和体型参数，生成相应的三维人体模型；根据姿势参数，调用衣服姿势模型，生成标准体型、输入姿势下的三维衣服数据；根据姿势参数，搜索若干邻近的衣服体型模型；对每个邻近的衣服体型模型，根据体型参数生成相应的衣服数据，并使用LBS(Linear Blend Skinning)让衣服朝输入姿势进行变形；利用上述步骤得到的数据，合成输入人体姿势和体型参数下的衣服数据；解决衣服和人体的贯穿问题，本发明能够实时生成不同体型不同姿势下的衣服数据，同时保持衣服的大小，可以用于后续评价衣服是否合适，或用于动画、游戏领域。

Description

一种基于样例的虚拟试衣方法
技术领域
本发明涉及虚拟试衣技术领域，特别是涉及一种基于样例的虚拟试衣方法。
背景技术
生活中，为了挑选一件合身的衣服，顾客不仅需要亲自到服装店(或者网购到家)，还需要试穿不同尺寸的衣服以找到最适合自己的，整个过程耗时耗力。幸运的是，虚拟试衣技术正在改变这一现状。通过虚拟试衣，顾客可以轻松快速的得到不同尺寸的衣服在自己做不同动作时的试穿效果，大大简化了挑选衣服的过程。此外，虚拟试衣技术还广泛应用于电子游戏、虚拟城市等领域。为此，研究者们提出了一些可以快速、真实的生成布料动画的方法，包括物理仿真方法和数据驱动方法
物理仿真方法可以生成布料的非线性特征并获得较为真实的仿真结果。然而，当布料的网格很稠密时，仿真将很耗时，难以生成实时的布料动画。而且，对于不同的人体模型(不同的顾客)，仿真过程需要重头开始，这又进一步增加了时间消耗，这使得物理仿真方法难以直接应用于实时虚拟试衣。
数据驱动的方法利用预生成的布料数据合成所需的布料形状，为了达到实时性，这些方法通常假设衣服的形变与人体姿势之间的关系是线性的和局部的，这种简化会给布料的精确度带来一定影响。Xu等人提出了一种基于样例的实时布料合成方法(参见WeiweiXu,Nobuyuki Umentani,Qianwen Chao,Jie Mao,Xiaogang Jin,and XinTong.2014.Sensitivity-optimized rigging for example-basedreal-time clothingsynthesis.ACM Trans.Graph.33,4(2014),107.)，该方法使用基于敏感度分析的蒙皮方法(sensitivity-optimized rigging)，可以生成较为真实的布料形态。然而该方法只能生成不同姿势下的布料形态，无法处理不同体型的人体。
为了同时处理人体的姿势和体型变化，Peng等人提出了一个布料模型，称为DRAPE(DRessing Any Person)，(参见Peng Guan,Loretta Reiss,David A Hirshberg,Alexander Weiss,andMichael J Black.2012.DRAPE:DRessing Any PErson.ACMTrans.Graph.31,4(2012),35–1.)。该方法将布料的形变分解成由人体姿势变化带来的和由人体体型变化带来的，两个独立的部分。DRAPE可以为不同姿势不同体型的人体生成定制化的衣服，并根据人体体型改变衣服的纸样。然而，DRAPE无法生成同一件衣服穿在不同姿势不同体型的人体下的效果。
Santesteban等人提出了一个衣服形变的学习模型(Igor Santesteban,Miguel AOtaduy,and Dan Casas.2019.Learning-Based Animation of Clothing for VirtualTry-On.arXiv preprintarXiv:1903.07190(2019).)。该方法将姿势和体型变化带来的纠正量添加到模板衣服上，然后使用蒙皮函数对模板衣服进行变形，获得最终的结果。纠正量和人体姿势、体型的函数关系使用神经网络学习得到。该方法可以高效的预测同一件衣服在不同姿势不同体型的人体下的试穿效果，然而，该方法的训练数据生成以及训练十分耗时。
在未来的虚拟服装商店将有成千上万套服装模型，顾客输入自己的三维人体模型、选择一套服装，系统将即时输出人体做不同姿势时的试穿效果。因此，提出一种可以线下快速实现，线上高效运行的布料合成算法，是虚拟试衣领域的重要且具有很大价值的问题。
发明内容
为了解决如何快速生成不同体型不同姿势人体服装动画的问题，本发明提供了一种基于样例的虚拟试衣方法，对于给定的各种种类的服装模型，该方法能够较快的生成样例数据，并实时生成不同体型不同姿势人体服装动画。
为了解决上述技术问题，本发明提供如下技术方案：
一种基于样例的虚拟试衣方法，所述方法包括以下步骤：
(1)输入人体姿势和体型参数，生成相应的三维人体模型；
(2)根据人体姿势参数，调用衣服姿势模型，生成标准体型、输入姿势下的三维衣服数据；
(3)根据人体体型参数，搜索若干邻近的衣服体型模型；
(4)对步骤(3)得到的每个衣服体型模型，根据人体体型参数生成相应的三维衣服数据，并使用线性混合蒙皮(Linear Blend Skinning)让衣服朝输入姿势进行变形；
(5)利用步骤(2)和(4)得到的数据，合成输入人体姿势和体型参数下的三维衣服数据；
(6)解决步骤(5)所得三维衣服数据和人体内数据的贯穿问题。
其中，步骤(1)中使用SMPL模型来生成不同姿势不同体型的人体(参见MatthewLoper,NaureenMahmood,Javier Romero,Gerard Pons-Moll,and Michael JBlack.2015.SMPL:A skinned multi-person linearmodel.ACM Trans.Graph.)34,6(2015),248.)，姿势参数是关节的欧拉角，体型参数是12维的数据。
步骤(2)所述的衣服姿势模型是指可以根据输入的人体姿势参数，生成该姿势下三维衣服数据的模型，例如SOR(参见WeiweiXu,Nobuyuki Umentani,Qianwen Chao,JieMao,Xiaogang Jin,and Xin Tong.2014.Sensitivity-optimized rigging for example-basedreal-time clothing synthesis.ACM Trans.Graph.33,4(2014),107.)。标准体型是指衣服姿势模型所使用的人体体型，衣服姿势模型只处理不同的人体姿势，人体体型保持不变。
步骤(3)所述的衣服体型模型是指可以根据输入的人体体型参数，生成该体型下三维衣服数据的模型，此时，人体的姿势保持不变。
具体构建过程如下：
(3-1)使用SMPL人体生成模型，在某一姿势下，生成若干个不同体型的人体，并分别在这些人体上仿真衣服；
(3-2)将第k个人体的衣服坐标数据转化成列向量，记为
Figure BDA0002488400140000041
则所有衣服的坐标数据记为一个矩阵
Figure BDA0002488400140000042
(3-3)对矩阵S做PCA分析，则
Figure BDA0002488400140000043
可以用公式(1)近似：
Figure BDA0002488400140000044
其中u是衣服坐标的均值，U是前若干个主成分，用于表示衣服的体型形变空间，
Figure BDA0002488400140000045
是衣服的体型参数；
(3-4)经过上述操作，每一件衣服
Figure BDA0002488400140000046
都对应一个衣服的体型参数
Figure BDA0002488400140000047
和一个人体体型参数βk，使用正则项系数为0.2的L2范数最小二乘法学习一个从β到φ的线性映射：
Figure BDA0002488400140000048
其中
Figure BDA0002488400140000049
是衣服的体型参数，
Figure BDA00024884001400000410
是人体体型参数，
Figure BDA00024884001400000411
是对
Figure BDA00024884001400000412
的每一项做平方处理，T是矩阵的转置，W是需要求解的矩阵。
由此，给定人体体型参数，可通过公式(2)求得衣服的体型参数，再由公式(1)算得最终的衣服坐标数据，此即衣服的体型模型。
为了生成多个衣服体型模型，需要对人体的姿势进行采样，并在每个姿势下构建一个衣服体型模型。首先从已有的姿势库中选取足够数量的姿势，例如CMU motioncapture library(参见CMU.2003.CMU graphics lab motion capture database.http://mocap.cs.cmu.edu.(2003).)。然后，使用带权重的K-means对姿势进行聚类，每个关节的权重用其敏感度(sensitivity)来度量，即，
Figure BDA0002488400140000051
其中，sL表示第L个关节的敏感度，Y表示衣服数据，m是关节的自由度；
Figure BDA0002488400140000052
其中
Figure BDA0002488400140000053
表示在标准姿势(身体直立，双脚自然张开，双臂平举)下，第k个人体体型的第m个关节自由度发生微小扰动时，给衣服顶点y带来的坐标变化；共有Nk个不同的体型的人体。
步骤(3)中，为了减少数据库中所需的衣服体型模型数目，可将衣服划分成若干区域。首先在标准姿势下为每个衣服顶点求得距离其最近的人体顶点，则衣服到骨骼的蒙皮权重
Figure BDA0002488400140000054
设为和最近人体点的蒙皮权重相同。其次，将骨骼划分成Ng＝7个区域：小腿和脚(左右)、大腿(左右)、前臂和手(左右)以及剩余的部分，由此，可分别处理每个区域的衣服。对第s个样例的区域g，其与输入姿势、体型的距离
Figure BDA0002488400140000055
为各关节姿势差异的加权和：
Figure BDA0002488400140000056
其中wg,y，等于该顶点在该区域的骨骼
Figure BDA0002488400140000057
权重之和，NL是人体关节数目，
Figure BDA0002488400140000059
与公式(3)相同，Θm(θ,θs)计算第m个关节角度之差。
Figure BDA0002488400140000058
代表第m个关节对区域g的影响，每当输入新的人体体型时，都需要重新计算Qg,m。由此，对每个区域都可以搜索到若干相邻的衣服体型模型。
步骤(4)中，对每个衣服体型模型，生成新体型和标准体型下的衣服数据，记为f(β，θs)，f(β0，θs)(视衣服数据是人体体型和姿势的函数)。然后分别对f(β，θs)，f(β0，θs)做LBS(Linear Blending Skinning)变形。下面以第s个样例新体型下的衣服数据f(β，θs)为例进行说明。首先为f(β，θs)的每个顶点寻找最近的人体模型顶点，则衣服到骨骼的蒙皮权重
Figure BDA0002488400140000061
设为和最近人体点的蒙皮权重相同则。然后，按照如下公式将f(β，θs)朝输入姿势θ进行变形：
Figure BDA0002488400140000062
其中，
Figure BDA0002488400140000063
和
Figure BDA0002488400140000064
是骨骼b从θs到θ的相对旋转和平移，
Figure BDA0002488400140000065
是衣服顶点ys的蒙皮权重。
此公式记为
Figure BDA0002488400140000066
标准体型下的衣服做LBS变形的过程与上述过程类似，记为
Figure BDA0002488400140000067
步骤(5)的合成公式为：
Figure BDA0002488400140000068
其中，f(β，θ)表示输入体型β输入姿势θ下的衣服数据，即目标数据；f(β0，θ)是标准体型β0，输入姿势θ下的衣服，即衣服姿势模型生成的数据；θs是第s个邻近的衣服体型模型(亦称第s个样例)的姿势；f(β，θs)，f(β0，θs)，分别是第s个衣服体型模型预测的输入体型、标准体型下的衣服；Ns表示邻近的衣服体型模型个数；
Figure BDA0002488400140000069
是对衣服从姿势θs到姿势θ进行变形；
Figure BDA00024884001400000610
和
Figure BDA00024884001400000611
即为LBS综合体；ws是第s个样例的权重，计算公式如下(为简单起见，省略掉表示布料顶点的下表)：
Figure BDA00024884001400000612
其中wg是衣服顶点在区域g的权重；
Figure BDA0002488400140000071
其中，∈是一个很小的正数，用来防止被零除；k用来调节邻近的样例对最终结果的影响大小。
公式(8)是对多个样例点的合成，同时可以看成对多个泰勒展开点近似结果的合成。
此外，为了避免输入姿势的突变带来衣服数据的突变，需要给公式(5)所求的距离添加阻尼效果：
Figure BDA0002488400140000072
其中，η是阻尼系数，
Figure BDA0002488400140000073
和
Figure BDA0002488400140000074
分别是当前和下一时刻的距离。
步骤(5)获得的衣服数据和人体之间可能会出现贯穿现象，步骤(6)使用重投影的方法进行解决：首先，每当改变人体体型时，每个衣服体型模型将生成新体型下的衣服，并重新计算每个衣服顶点到其最近人体点之间的初始距离，称为初始间隙；然后，在合成阶段(步骤5)，如果某个衣服顶点到其最近的人体点之间的间隙小于初始间隙，则按如下公式对每个样例进行处理：
Figure BDA0002488400140000075
其中，
Figure BDA0002488400140000076
是处理后的顶点坐标，y是由步骤(5)得到的衣服顶点，
Figure BDA0002488400140000077
是y的最近人体点的法向，hs是当前间隙；
Figure BDA0002488400140000078
是第s个样例的初始间隙，∈p用来模仿布料仿真中穿透深度间隙，一般设为5mm。最后，将所有重投影值整合成最终结果：
Figure BDA0002488400140000079
其中
Figure BDA00024884001400000710
表示衣服顶点y的最终位置，Ns是样例个数，ws是第s个样例的权重，
Figure BDA00024884001400000711
是经公式(13)得到的结果。
与现有的虚拟试衣方法不同的是，本发明提供了一种基于样例的虚拟试衣方法，并具有以下技术效果：
(1)本发明提供的虚拟试衣方法将衣服的形变视为人体姿势和体型的函数，并将其分解成由姿势带来的变化和由体型带来的变化，两个独立的部分，大大减少了所需的样例个数。同时，本发明可以高效的合成不同姿势不同体型下的衣服数据，并保持了服装的原始大小，具有潜在的实际价值。
(2)本发明提供的衣服体型模型，可以高效、精确的预测不同体型下的衣服数据，适用于实时虚拟试衣等应用。
(3)本发明提供的姿势聚类方法使用关节对衣服的敏感度作为权重，可以求得对特定衣服最具代表性的姿势，适用于实时虚拟试衣等应用。
附图说明
图1为本发明提供的基于样例的虚拟试衣方法的流程图。
图2位本发明提供的基于样例的虚拟试衣方法的流程图之LBS整合过程。
具体实施方式
下面结合附图及具体实施例对本发明进行详细说明。
如图1所示，本发明提供的基于样例的虚拟试衣方法包括以下步骤：
(1)输入人体姿势和体型参数，生成相应的三维人体模型
使用SMPL模型来生成不同姿势不同体型的人体(参见Matthew Loper,NaureenMahmood,Javier Romero,Gerard Pons-Moll,and Michael J Black.2015.SMPL:Askinned multi-person linearmodel.ACM Trans.Graph.)34,6(2015),248.)，姿势参数是关节的欧拉角，体型参数是12维的数据。
(2)根据人体姿势参数，调用衣服姿势模型，生成标准体型、输入姿势下的三维衣服数据
衣服姿势模型是指可以根据输入的人体姿势参数，生成该姿势下三维衣服数据的模型，例如SOR(参见WeiweiXu，Nobuyuki Umentani，Qianwen Chao，Jie Mao，XiaogangJin，and Xin Tong.2014.Sensitivity-optimized rigging for example-basedreal-time clothing synthesis.ACM Trans.Graph.33，4(2014)，107.)。标准体型指SMPL模型在体型参数全为零时的体型(衣服姿势模型只处理不同的人体姿势，人体体型保持不变)。
(3)如图2所示，根据人体体型参数，搜索若干邻近的衣服体型模型
衣服体型模型是指可以根据输入的人体体型参数，生成该体型下三维衣服数据的模型(此时，人体的姿势保持不变)。
具体构建过程如下：
(3-1)使用SMPL人体生成模型，在某一姿势下，生成Nk＝17个不同体型的人体(对SMPL模型前4个体型参数的每一个，分别取-2、-1、1、2，并保持其它参数为0；外加全零参数)，并分别在这些人体上仿真衣服；
(3-2)将第k个人体的衣服坐标数据转化成列向量，记为
Figure BDA0002488400140000091
则所有衣服的坐标数据可记为一个矩阵
Figure BDA0002488400140000092
(3-3)对矩阵S做PCA分析，则
Figure BDA0002488400140000093
可以用公式(1)近似：
Figure BDA0002488400140000094
其中u是衣服坐标的均值，U是前若干个主成分，用于表示衣服的体型形变空间，
Figure BDA0002488400140000095
是衣服的体型参数。
(3-4)经过上述操作，每一件衣服
Figure BDA0002488400140000096
都对应一个衣服的体型参数
Figure BDA0002488400140000097
和一个人体体型参数βk。使用正则项系数为0.2的L2范数最小二乘法学习一个从β到φ的线性映射：
Figure BDA0002488400140000098
其中
Figure BDA0002488400140000099
是衣服的体型参数，
Figure BDA00024884001400000910
是人体体型参数，
Figure BDA00024884001400000911
是对
Figure BDA00024884001400000912
的每一项做平方处理，T是矩阵的转置，W是需要求解的矩阵。
由此，给定人体体型参数，可通过公式(2)求得衣服的体型参数，再由公式(1)算得最终的衣服坐标数据，此即衣服的体型模型。
为了生成多个衣服体型模型，需要对人体的姿势进行采样，并在每个姿势下构建一个衣服体型模型。首先从已有的姿势库中选取足够数量的姿势，例如CMU motioncapture library(参见CMU.2003.CMU graphics lab motion capture database.http：//mocap.cs.cmu.edu.(2003).)。然后，使用带权重的K-means对姿势进行聚类，每个关节的权重用其敏感度(sensitivity)来度量，即，
Figure BDA0002488400140000101
其中，sL表示第L个关节的敏感度，Y表示衣服数据，m是关节的自由度，
Figure BDA0002488400140000102
其中
Figure BDA0002488400140000103
表示在标准姿势(身体直立，双脚自然张开，双臂平举)下，第k个人体体型的第m个关节自由度发生微小扰动时，给衣服顶点y带来的坐标变化；这17个不同体型与步骤(3-1)相同。
为了减少数据库中所需的衣服体型模型数目，可将衣服划分成若干区域。首先在标准姿势下为每个衣服顶点求得距离其最近的人体顶点，则衣服到骨骼的蒙皮权重
Figure BDA0002488400140000104
设为和最近人体点的蒙皮权重相同。其次，将骨骼划分成Ng＝7个区域：小腿和脚(左右)、大腿(左右)、前臂和手(左右)以及剩余的部分。由此，可分别处理每个区域的衣服。对第s个样例的区域g，其与输入姿势、体型的距离
Figure BDA0002488400140000105
为各关节姿势差异的加权和：
Figure BDA0002488400140000106
其中wg，y，等于该顶点在该区域的骨骼
Figure BDA0002488400140000107
权重之和，NL是人体关节数目，
Figure BDA0002488400140000111
与公式(3)相同，Θm(θ，θs)计算第m个关节角度之差。
Figure BDA0002488400140000112
代表第m个关节对区域g的影响。每当输入新的人体体型时，都需要重新计算Qg，m。由此，对每个区域都可以搜索到若干相邻的衣服体型模型。
(4)对步骤(3)得到的每个衣服体型模型，根据人体体型参数生成相应的三维衣服数据，并使用LBS(Linear Blend Skinning)让衣服朝输入姿势进行变形。
对每个衣服体型模型，生成新体型和标准体型下的衣服数据，记为f(β，θs)，f(β0，θs)(视衣服数据是人体体型和姿势的函数)。然后分别对f(β，θs)，f(β0，θs)做LBS(LinearBlending Skinning)变形。下面以第s个样例新体型下的衣服数据f(β，θs)为例进行说明。首先为f(β，θs)的每个顶点寻找最近的人体模型顶点，则衣服到骨骼的蒙皮权重
Figure BDA00024884001400001110
设为和最近人体点的蒙皮权重相同则。然后，按照如下公式将f(β，θs)朝输入姿势θ进行变形：
Figure BDA0002488400140000113
其中，
Figure BDA0002488400140000114
和
Figure BDA0002488400140000115
是骨骼b从θs到θ的相对旋转和平移，
Figure BDA0002488400140000116
是衣服顶点ys的蒙皮权重。
此公式记为
Figure BDA0002488400140000117
标准体型下的衣服做LBS变形的过程与上述过程类似，记为
Figure BDA0002488400140000118
(5)利用步骤(2)(4)得到的数据，合成输入人体姿势和体型参数下的三维衣服数据
合成公式为：
Figure BDA0002488400140000119
Figure BDA0002488400140000121
其中，f(β，θ)表示输入体型β输入姿势θ下的衣服数据，即目标数据；f(β0，θ)是标准体型β0，输入姿势θ下的衣服，即衣服姿势模型生成的数据；θs是第s个邻近的衣服体型模型(亦称第s个样例)的姿势；f(β，θs)，f(β0，θs)，分别是第s个衣服体型模型预测的输入体型、标准体型下的衣服；Ns表示邻近的衣服体型模型个数；
Figure BDA0002488400140000122
是对衣服从姿势θs到姿势θ进行变形；
Figure BDA0002488400140000123
和
Figure BDA0002488400140000124
即为图二所示LBS综合体；ws是第s个样例的权重，计算公式如下(为简单起见，省略掉表示布料顶点的下表)：
Figure BDA0002488400140000125
其中wg是衣服顶点在区域g的权重；
Figure BDA0002488400140000126
∈是一个很小的正数，用来防止被零除；k用来调节邻近的样例对最终结果的影响大小。
公式(8)是对多个样例点的合成，同时可以看成对多个泰勒展开点近似结果的合成。
此外，为了避免输入姿势的突变带来衣服数据的突变，需要给公式(4)所求的距离添加阻尼效果：
Figure BDA0002488400140000127
其中，η是阻尼系数，
Figure BDA0002488400140000128
和
Figure BDA0002488400140000129
分别是当前和下一时刻的距离。
公式(5)获得的衣服数据和人体之间可能会出现贯穿现象，步骤(6)使用重投影的方法进行解决：首先，每当改变人体体型时，每个衣服体型模型将生成新体型下的衣服，并重新计算每个衣服顶点到其最近人体点之间的初始距离，称为初始间隙；然后，在合成阶段(步骤5)，如果某个衣服顶点到其最近的人体点之间的间隙小于初始间隙，则按如下公式对每个样例进行处理：
Figure BDA0002488400140000131
其中，
Figure BDA0002488400140000132
是处理后的顶点坐标，y是有步骤(5)得到的衣服顶点，
Figure BDA0002488400140000133
是y的最近人体点的法向，hs是当前间隙；
Figure BDA0002488400140000134
是第s个样例的初始间隙，∈p用来模仿布料仿真中穿透深度间隙，一般设为5mm。最后，将所有重投影值整合成最终结果：
Figure BDA0002488400140000135
其中
Figure BDA0002488400140000136
表示衣服顶点y的最终位置，Ns是样例个数，ws是第s个样例的权重，
Figure BDA0002488400140000137
是经公式(13)得到的结果。

Claims (8)

1.一种基于样例的虚拟试衣方法，其特征在于：包括以下步骤：
(1)输入人体姿势和体型参数，生成相应的三维人体模型；
(2)根据人体姿势参数，调用衣服姿势模型，生成标准体型、输入姿势下的三维衣服数据；
(3)根据人体体型参数，搜索若干邻近的衣服体型模型；
(4)对步骤(3)得到的每个衣服体型模型，根据人体体型参数生成相应的三维衣服数据，并使用线性混合蒙皮让衣服朝输入姿势进行变形；
(5)利用步骤(2)和(4)得到的数据，合成输入人体姿势和体型参数下的三维衣服数据；
(6)解决步骤(5)所得三维衣服数据和人体内数据的贯穿问题。
2.如权利要求1所述的基于样例的虚拟试衣方法，其特征在于：步骤(1)使用SMPL人体生成模型生成输入人体姿势和体型参数下的三维人体数据。
3.如权利要求1所述的基于样例的虚拟试衣方法，其特征在于：步骤(2)所述的衣服姿势模型是指根据输入的人体姿势参数，生成该姿势下三维衣服数据的模型。
4.如权利要求1所述的基于样例的虚拟试衣方法，其特征在于：步骤(3)所述的衣服体型模型是指根据输入的人体体型参数，生成该体型下三维衣服数据的模型。
5.如权利要求4所述的基于样例的虚拟试衣方法，其特征在于：生成该体型下三维衣服数据的模型过程如下：
(3-1)使用SMPL人体生成模型，在某一姿势下，生成若干个不同体型的人体，并分别在这些人体上仿真衣服；
(3-2)将第k个人体的衣服坐标数据转化成列向量，记为
Figure FDA0002488400130000021
所有衣服的坐标数据记为一个矩阵
Figure FDA0002488400130000022
(3-3)对矩阵S做PCA分析，则
Figure FDA0002488400130000023
用公式(1)近似：
Figure FDA0002488400130000024
其中u是衣服坐标的均值，U是前若干个主成分，用于表示衣服的体型形变空间，
Figure FDA0002488400130000025
是衣服的体型参数；
(3-4)经过上述操作，每一件衣服
Figure FDA0002488400130000026
都对应一个衣服的体型参数
Figure FDA0002488400130000027
和一个人体体型参数βk，使用正则项系数为0.2的L2范数最小二乘法学习一个从β到φ的线性映射：
Figure FDA0002488400130000028
其中
Figure FDA0002488400130000029
是衣服的体型参数，
Figure FDA00024884001300000210
是人体体型参数，
Figure FDA00024884001300000211
是对
Figure FDA00024884001300000212
的每一项做平方处理，T是矩阵的转置，W是需要求解的矩阵。
由此，给定人体体型参数，通过公式(2)求得衣服的体型参数，再由公式(1)算得最终的衣服坐标数据，此即衣服的体型模型。
6.如权利要求1所述的基于样例的虚拟试衣方法，其特征在于：步骤(5)的合成三维衣服数据的公式为：
Figure FDA00024884001300000213
其中，f(β,θ)表示输入体型β输入姿势θ下的衣服数据，即目标数据；f(β0,θ)是标准体型β0，输入姿势θ下的衣服，即衣服姿势模型生成的数据；θs是第s个邻近的衣服体型模型(亦称第s个样例)的姿势；f(β,θs)，f(β0,θs)，分别是第s个衣服体型模型预测的输入体型、标准体型下的衣服；Ns表示邻近的衣服体型模型个数；
Figure FDA00024884001300000214
是对衣服从姿势θs到姿势θ进行变形；ws是第s个样例的权重。
7.如权利要求1所述的基于样例的虚拟试衣方法，其特征在于：步骤(6)中解决步骤(5)所得三维衣服数据和人体内数据的贯穿问题采用的方法为重投影法。
8.如权利要求7所述的基于样例的虚拟试衣方法，其特征在于：所述的重投影法步骤为：
(6-1)当改变人体体型时，每个衣服体型模型将生成新体型下的衣服，并重新计算每个衣服顶点到其最近人体点之间的初始距离，称为初始间隙；
(6-2)在步骤(5)阶段，若某个衣服顶点到其最近的人体点之间的间隙小于初始间隙，则按公式(12)对每个样例进行处理：
Figure FDA0002488400130000039
Figure FDA0002488400130000031
其中，
Figure FDA0002488400130000032
是处理后的顶点坐标，y是由步骤(5)得到的衣服顶点，
Figure FDA0002488400130000033
是y的最近人体点的法向，hs是当前间隙；
Figure FDA0002488400130000034
Figure FDA0002488400130000035
是第s个样例的初始间隙，∈p用来模仿布料仿真中穿透深度间隙；
(6-3)将所有重投影值整合成最终结果：
Figure FDA0002488400130000036
其中
Figure FDA0002488400130000037
表示衣服顶点y的最终位置，Ns是样例个数，ws是第s个样例的权重，
Figure FDA0002488400130000038
是经公式(13)得到的结果。
CN202010398301.XA 2020-05-12 2020-05-12 一种基于样例的虚拟试衣方法 Active CN111598656B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010398301.XA CN111598656B (zh) 2020-05-12 2020-05-12 一种基于样例的虚拟试衣方法
US17/598,219 US11823345B2 (en) 2020-05-12 2020-11-20 Example-based real-time clothing synthesis method
PCT/CN2020/130331 WO2021227425A1 (zh) 2020-05-12 2020-11-20 一种基于样例的虚拟试衣方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010398301.XA CN111598656B (zh) 2020-05-12 2020-05-12 一种基于样例的虚拟试衣方法

Publications (2)

Publication Number Publication Date
CN111598656A true CN111598656A (zh) 2020-08-28
CN111598656B CN111598656B (zh) 2023-05-23

Family

ID=72192328

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010398301.XA Active CN111598656B (zh) 2020-05-12 2020-05-12 一种基于样例的虚拟试衣方法

Country Status (3)

Country Link
US (1) US11823345B2 (zh)
CN (1) CN111598656B (zh)
WO (1) WO2021227425A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021227425A1 (zh) * 2020-05-12 2021-11-18 浙江大学 一种基于样例的虚拟试衣方法
WO2022143390A1 (en) * 2020-12-30 2022-07-07 Beijing Wodong Tianjun Information Technology Co., Ltd. System and method for 3d try-on based on human pose and body shape estimation

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114445271B (zh) * 2022-04-01 2022-06-28 杭州华鲤智能科技有限公司 一种生成虚拟试穿3d图像的方法
CN114596412B (zh) * 2022-04-28 2022-07-29 杭州华鲤智能科技有限公司 一种生成虚拟试穿3d图像的方法
CN116051694B (zh) * 2022-12-20 2023-10-03 百度时代网络技术（北京）有限公司 虚拟形象生成方法、装置、电子设备以及存储介质
CN116468831B (zh) * 2023-06-20 2023-08-22 腾讯科技（深圳）有限公司 模型处理方法、装置、设备及存储介质
CN116580164B (zh) * 2023-07-15 2023-10-17 昆明理工大学 一种面向单视角三维人体重建的着装特征学习方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102982578A (zh) * 2012-10-31 2013-03-20 北京航空航天大学 单幅人物图像中着装人体三维模型估计方法
CN105427386A (zh) * 2015-12-24 2016-03-23 南京邮电大学 基于输入人体姿态实时生成的服装变形方法
CN105654334A (zh) * 2015-12-17 2016-06-08 中国科学院自动化研究所 虚拟试衣方法和系统
CN106548392A (zh) * 2016-10-27 2017-03-29 河海大学常州校区 一种基于webGL技术的虚拟试衣实现方法
CN106952302A (zh) * 2017-02-14 2017-07-14 深圳奥比中光科技有限公司 人体模型自动创建方法及三维试衣系统
WO2018133691A1 (zh) * 2017-01-22 2018-07-26 北京京东尚科信息技术有限公司 用户身材参数获取方法和装置
CN108537888A (zh) * 2018-04-09 2018-09-14 浙江大学 一种基于骨架的快速试衣方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9240067B2 (en) 2009-10-15 2016-01-19 Yeda Research & Development Co. Ltd. Animation of photo-images via fitting of combined models
US11158121B1 (en) * 2018-05-11 2021-10-26 Facebook Technologies, Llc Systems and methods for generating accurate and realistic clothing models with wrinkles
US11250639B2 (en) * 2018-12-19 2022-02-15 Seddi, Inc. Learning-based animation of clothing for virtual try-on
CN110457584A (zh) * 2019-08-12 2019-11-15 西安文理学院 一种基于大数据的计算机数据挖掘探索方法
CN111598656B (zh) * 2020-05-12 2023-05-23 宁波凯信服饰股份有限公司 一种基于样例的虚拟试衣方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102982578A (zh) * 2012-10-31 2013-03-20 北京航空航天大学 单幅人物图像中着装人体三维模型估计方法
CN105654334A (zh) * 2015-12-17 2016-06-08 中国科学院自动化研究所 虚拟试衣方法和系统
CN105427386A (zh) * 2015-12-24 2016-03-23 南京邮电大学 基于输入人体姿态实时生成的服装变形方法
CN106548392A (zh) * 2016-10-27 2017-03-29 河海大学常州校区 一种基于webGL技术的虚拟试衣实现方法
WO2018133691A1 (zh) * 2017-01-22 2018-07-26 北京京东尚科信息技术有限公司 用户身材参数获取方法和装置
CN106952302A (zh) * 2017-02-14 2017-07-14 深圳奥比中光科技有限公司 人体模型自动创建方法及三维试衣系统
CN108537888A (zh) * 2018-04-09 2018-09-14 浙江大学 一种基于骨架的快速试衣方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PENG GUAN: "DRAPE: DRessing any PErson" *
WEIWEI XU: "Sensitivity-optimized rigging for example-based real-time clothing synthesis" *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021227425A1 (zh) * 2020-05-12 2021-11-18 浙江大学 一种基于样例的虚拟试衣方法
WO2022143390A1 (en) * 2020-12-30 2022-07-07 Beijing Wodong Tianjun Information Technology Co., Ltd. System and method for 3d try-on based on human pose and body shape estimation
US11941770B2 (en) 2020-12-30 2024-03-26 Beijing Wodong Tianjun Information Technology Co., Ltd. System and method for 3D try-on based on human pose and body shape estimation

Also Published As

Publication number Publication date
CN111598656B (zh) 2023-05-23
WO2021227425A1 (zh) 2021-11-18
US11823345B2 (en) 2023-11-21
US20220319140A1 (en) 2022-10-06

Similar Documents

Publication Publication Date Title
CN111598656B (zh) 一种基于样例的虚拟试衣方法
Guan et al. Drape: Dressing any person
US10347041B2 (en) System and method for simulating realistic clothing
CN110211196B (zh) 一种基于姿势引导的虚拟试穿方法及装置
Zurdo et al. Animating wrinkles by example on non-skinned cloth
Cheng et al. Parametric modeling of 3D human body shape—A survey
WO2020131518A1 (en) Learning-based animation of clothing for virtual try-on
Gültepe et al. Real-time virtual fitting with body measurement and motion smoothing
KR102326902B1 (ko) 멀티 포즈를 지원하는 이미지 기반 자세보존 가상피팅 시스템
CN110310285A (zh) 一种精确的基于三维人体重建的烧伤面积计算方法
Jiang et al. Transferring and fitting fixed-sized garments onto bodies of various dimensions and postures
De Luigi et al. Drapenet: Garment generation and self-supervised draping
CN114375463A (zh) 从身体的隐藏扫描中估计裸露体形的方法
CN116528016A (zh) 音视频合成方法、服务器和可读存储介质
Shi et al. Automatic 3D virtual fitting system based on skeleton driving
Makarov et al. Real-time 3d model reconstruction and mapping for fashion
Wu et al. Agentdress: Realtime clothing synthesis for virtual agents using plausible deformations
Li et al. Remodeling of mannequins based on automatic binding of mesh to anthropometric parameters
Wu et al. Example-based real-time clothing synthesis for virtual agents
Yolcu et al. Real time virtual mirror using kinect
Lu et al. Parametric shape estimation of human body under wide clothing
Shi et al. Learning a shared deformation space for efficient design-preserving garment transfer
CN110853131A (zh) 一种用于行为识别的虚拟视频数据生成方法
CN115761791A (zh) 基于2d图像的人体语义预测模块、虚拟换衣模型及方法
Diao et al. Combating Spurious Correlations in Loose‐fitting Garment Animation Through Joint‐Specific Feature Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220516

Address after: 315100 Wuxiang Industrial Park, Yinzhou District, Ningbo City, Zhejiang Province

Applicant after: KASHION INDUSTRY CO.,LTD.

Address before: 310013 Yuhang Tang Road, Xihu District, Hangzhou, Zhejiang 866

Applicant before: ZHEJIANG University

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant