CN112907710B - 基于条件自编码器的共享体型特征空间学习方法 - Google Patents
基于条件自编码器的共享体型特征空间学习方法 Download PDFInfo
- Publication number
- CN112907710B CN112907710B CN202110159774.9A CN202110159774A CN112907710B CN 112907710 B CN112907710 B CN 112907710B CN 202110159774 A CN202110159774 A CN 202110159774A CN 112907710 B CN112907710 B CN 112907710B
- Authority
- CN
- China
- Prior art keywords
- deformation
- clothing
- garment
- body type
- triangle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000005012 migration Effects 0.000 claims abstract description 20
- 238000013508 migration Methods 0.000 claims abstract description 20
- 239000011159 matrix material Substances 0.000 claims abstract description 18
- 238000004088 simulation Methods 0.000 claims abstract description 16
- 238000013507 mapping Methods 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 15
- 230000037237 body shape Effects 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 7
- 238000009958 sewing Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 125000003275 alpha amino acid group Chemical group 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 150000001875 compounds Chemical class 0.000 claims description 3
- 239000004744 fabric Substances 0.000 claims description 3
- 238000013461 design Methods 0.000 abstract description 7
- 230000005477 standard model Effects 0.000 abstract 8
- 238000012360 testing method Methods 0.000 abstract 2
- 230000000694 effects Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 235000014443 Pyrus communis Nutrition 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000036544 posture Effects 0.000 description 3
- 230000005484 gravity Effects 0.000 description 2
- 240000005561 Musa balbisiana Species 0.000 description 1
- 235000018290 Musa x paradisiaca Nutrition 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000001125 extrusion Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了属于服装动画技术领域的基于条件自编码器的共享体型特征空间学习方法。包括:步骤1:通过物理模拟方式将不同款式的服装样板穿着到标模及非标模人体上,形成标模试穿及非标模试穿的服装实例,使用变形梯度表示同款服装从标模到非标模体型下服装实例间的变形映射,然后将不同款式服装的变形矩阵对齐为同一维度;步骤2:借助条件自编码器学习共享体型特征空间,将人体体型与服装款式进行解耦,隐式消除由服装款式信息引起的服装形变,进而求出款式无关的服装形变矩阵;步骤3:将得到的服装形变用于标模到非标模的服装款式迁移,生成的服装模型在贴合目标体型人体的情况下保留了源体型下服装模型的款式设计。
Description
技术领域
本发明涉及服装动画技术领域,尤其涉及基于条件自编码器的共享体型特征空间学习方法。
背景技术
虚拟试衣作为服装动画领域的核心问题,涉及将给定尺寸的服装穿着到虚拟人的人体之上。在这一过程中,服装通常会发生复杂的形变,如:折皱、弯曲、拉伸等。服装形变可由外部受力造成,如:重力、挤压等,也受到自身内力的约束,例如,不同材质的同款服装穿着在同一个人身上所发生的形变差异明显。构建出折皱逼真、款式合体的服装动画模型是一个颇具挑战的任务。
现实中,同款服装有不同的尺码,以适合不同体型的人体。大部分成衣的设计都是以标准比例的人体模型作为参照,进而进行不同比例的设计与裁剪。然而,对于非标准体型的顾客,特别是局部特征鲜明的身型,标码服装的大小难以与之进行有效匹配。为了制作出尺码合适、符合顾客预期款式的服装,设计师通常以标码服装作为基准,根据源体型和目标体型各部位间一些关键距离的变化对服装样板进行反复调整,直至试衣效果符合预期。这无疑是一项耗时且困难的工作,因为设计师需要对这些关键距离进行手动调整以保留服装在源体型上的款式设计。这便导致服装定制在服装业始终作为小众服务且成本偏高。
目前,服装企业的生产模式正在从大规模批量化生产转向快速反应的个性化定制。以自动化的方式根据目标体型对服装样板进行调整并进行虚拟试穿,不仅可以使顾客在成衣前虚拟预览着装效果,也可以辅助其非标尺码服装的快速生成。相较于批量生产的服装,自动化定制服装可以有效降低设计及仓储成本,并提高顾客的满意度。
发明内容
本发明的目的是提出基于条件自编码器的共享体型特征空间学习方法,其特征在于,包括以下步骤:
步骤1:样本数据集构造;选取不同体型特征的人体模型及不同款式的服装样板,将各款式服装的二维衣片通过物理模拟的方式缝合到不同体型的虚拟人身上,从而得到不同体型特征下的服装实例数据;利用变形梯度表示样本数据集中同款服装由标模至非标模的变形映射;以源体型人体的三角形编号为索引,将源体型至目标体型人体下的服装的变形梯度进行重排列;
步骤2:形变特征提取;按照组成成分划分,服装形变可以视为款式引起的服装形变和体型引起的服装形变的线性组合模型;对服装形变集中体型与款式信息进行解耦,使用编码器对服装形变集进行降维,通过对网络参数施加约束,保留因人体体型导致的低频服装形变,丢弃因款式信息引起的高频服装形变,得到共享体型特征空间;利用解码器将共享体型特征还原至与输入数据一致的维度,求解出服装形变;
步骤3:款式迁移;对于求解得到的变形梯度,以源体型人体下的服装模型的三角形编号为索引,将求解得到的变形梯度进行重排列,再将排列得到的变形梯度作用于源体型至目标体型的服装款式迁移。
所述步骤1包括以下子步骤:
步骤11:生成A-pose人体模型数据;
步骤12:进行服装款式设计,根据人体模型的身体尺寸设计出不同款式的二维衣片;
步骤13:进行衣片缝合;
步骤14:通过变形梯度表示源体型下的服装模型至目标体型下的服装模型的变形映射;
步骤15:服装形变对齐;对人体模型三角形及服装模型三角形进行匹配,确保不同款式服装的变形矩阵维度一致。
所述步骤14具体包括:
选取样本数据集中服装模型数为N,则服装样本数据集GSample表示为:
式(1)中,代表样本数据集中第i对拓扑一致的同款服装,Gi表示源体型下的模拟结果,/>表示目标体型下的模拟结果;对于任意给定的服装模型/>设G的三角面数量为T,则/>表示为:
式(2)中,表示G中第t个三角形,/>表示/>中第t个三角形;/> 分别为G、/>中第t个三角形中第k个顶点,则G与/>间第t个三角形的变形梯度可表示为:
其中,Qt为第t个三角形的变换矩阵,其大小为3×3;为新构建的虚拟边,其添加了三角面的方向信息
按照组成成分划分,服装形变视为款式引起的服装形变和体型引起的服装形变的叠加:
Qt=Rt·St (5)
其中,Rt代表由服装款式信息引起的服装形变,与服装的款式相关,不同Gi不共享该变形成分;St代表由人体体型特征导致的服装形变,与服装的款式无关,不同Gi共享该变形成分;对网格模型的顶点坐标施加如下约束,以确保生成服装模型的连续性:
其中,V代表G的顶点数。
所述步骤15具体包括:
以源体型人体的三角形编号为索引,将源体型下服装模型至目标体型下服装模型的变形梯度进行重排列;首先,构建SkinToCloth、ClothToSkin:
其中,M为源对象;|M|为M的三角形数量;α为M中三角形的编号,β为G中三角形的编号;PM,α代表M中第α个三角形的质心坐标;PG,β代表G中第β个三角形的质心坐标;SkinToCloth记录了M的所有三角形到G三角形距离最近的匹配对;ClothToSkin记录了G的所有三角形到M三角形距离最近的匹配对;变形梯度对齐阶段,使用SkinToCloth对G的变形梯度进行重排列,得到维度与M一致的变形梯度;模型迁移阶段,使用ClothToSkin对M的变形梯度进行重排列,得到维度与G一致的变形梯度;
对于GSample中每个实例对构建SkinToClothi,按照匹配对的编号,对服装形变进行重排列,可得到对齐后的变形梯度:
[Qi,1 … Qi,|M|]T (8)
式(8)中,Qi,t为第i组服装中第t个三角形的变形梯度:
将Qi,t向量化:
Oi,t=vec(Qi,t)=[qt,1 … qt,9]T (10)
则样本数据集中服装Gi和间的服装形变Γi可表示为:
γi=[Oi,1 … Oi,|M|]T (11)
样本数据集中所有服装模型之间的服装形变集表示为:
其中,为样本数据集中第i件服装对齐后的服装形变;/>为服装形变集。
所述步骤2包括以下子步骤:
步骤21:对于对齐后的服装变形矩阵,使用编码器进行降维得到共享体型特征空间,对网络参数施加约束,使共享体型特征空间仅保留服装变形中的低频特征,丢弃服装变形中的高频特征;
自编码神经网络尝试学习的函数,使得/>不断逼近Γ;其中,Γ为自编码器的输入;/>代表自编码器的输出,为重构后的数据;网络将Γ以如下方式映射至
z=h(WΓ+b) (13)
式(13)中,z代表提取到的体型特征;W为权重矩阵,b为偏移向量;h为编码器的激活函数,选取Sigmoid作为激活函数:
步骤22:通过解码器将隐空间向量还原至原始维度,求解出款式无关的布料变形;
解码器以z为输入,输出重构后的数据,该过程表示为:
式(15)中,W′为权重矩阵,b′为偏移向量;h′为解码器的激活函数;
自编码器采用均方误差度量原始数据与重构数据之间的差异;若目标体型的种类数为K,采用独热编码的方式将人体体型种类编码为条件向量对于每种体型下对应的服装形变集Γk,将Ck与Γk拼接,则损失函数L定义为:
本发明的有益效果在于:
1、解决了不同体型的顾客在成衣之前快速预览着装效果的问题;
2、解决了局部特征鲜明的顾客与标准体型顾客在试衣时服装视觉相似性不一致的问题。
附图说明
图1为基于条件自编码器的共享体型特征空间学习方法的技术路线图;
图2为服装款式迁移前后可视化效果图;
图3为多个目标体型人体下款式迁移效果示意图。
具体实施方式
本发明提出基于条件自编码器的共享体型特征空间学习方法,下面结合附图和具体实施例对本发明做进一步说明。
基于条件自编码器的共享体型特征空间学习方法,包括:
步骤1:样本数据集构造
选取不同体型特征的人体模型及不同款式的服装样板,将各款式服装的二维衣片通过物理模拟的方式缝合到不同体型的虚拟人身上,从而得到不同体型特征下的服装实例数据。然后,利用变形梯度表示样本数据集中同款服装由标模至非标模的变形映射。考虑到不同款式的服装模型的拓扑结构差异明显,以源体型人体的三角形编号为索引,将源体型人体下的服装至目标体型人体下的服装的变形梯度进行重排列。
步骤2:形变特征提取
按照组成成分划分,服装形变可以视为款式引起的服装形变和体型引起的服装形变的线性组合模型。为了实现对服装形变集中体型与款式信息的解耦,使用编码器对服装形变集进行降维得到隐空间,通过对网络参数施加约束,可以限制隐空间的特征表达——保留低频特征(因人体体型导致的服装形变)而丢失高频细节(因款式信息引起的服装形变),该特征表示称为共享体型特征空间;最终,利用解码器将共享体型特征还原至与输入数据一致的维度,求解出服装形变。
步骤3:款式迁移
对于求解得到的变形梯度,首先以源体型人体下的服装模型的三角形编号为索引,将求解得到的变形梯度进行重排列。然后,将排列得到的变形梯度作用于源体型至目标体型的服装款式迁移。
如图1所示,本发明的方法具体包括以下步骤:步骤1):样本数据集构造,具体如下:
步骤1-1):生成A-pose人体模型数据。A-pose虚拟人是指双手向下倾斜45度张开、两腿自然伸直的站立的人体。该姿势的虚拟人动作规整,不仅方便于把服装模型套至虚拟人上,还能较好地呈现虚拟服装各个角度的款式形态。本发明基于三维建模软件(DAZStudio),构建不同体型人体,如附图1中“不同体型人体”所示,从左到右依次为:香蕉体型、梨形体型,本发明选取香蕉体型为源体型、梨形体型为目标体型为例进行款式迁移。
步骤1-2):根据人体模型的身体尺寸设计出不同款式的二维衣片,即进行服装款式设计。为生成A-pose虚拟人的服装实例,本发明基于工业设计软件(MarvelousDesigner),模仿工业制衣的流程构建该姿势虚拟人的服装模型,即首先设计服装的二维衣片,然后将对应的衣片缝合。通常地,服装模型由不同部位的衣片拼接而成,如:肩部、背部、腿部等,制作二维衣片需要根据人体尺寸对布料的形状、尺寸等参数按照不同部位进行编辑,从而构建出对应尺码的裁片数据。
步骤1-3):进行衣片缝合。通常地,一款服装由不同部位的二维衣片组成,这些衣片通过缝合线相联系。每根缝合线连接着两个缝合点,缝合过程中,对缝合线施加缝合力,同一条缝合线连接的两个缝合点会不断收缩直至重合。此外,为了模拟真实的试衣环境,对所有衣片施加重力,并对服装顶点进行动力学计算和碰撞处理。
步骤1-4):通过变形梯度表示源体型下的服装模型至目标体型下的服装模型的变形映射。设样本数据集中服装模型数为N,则服装样本数据集GSample表示为:
式(1)中,代表样本数据集中第i对拓扑一致的同款服装,Gi表示源体型下的模拟结果,/>表示目标体型下的模拟结果。对于任意给定的服装模型/>
设G的三角面数量为T,则表示为:
式(2)中,表示G中第t个三角形,/>表示/>中第t个三角形;/> 分别为G、/>中第t个三角形中第k个顶点,则G与/>间第t个三角形的变形梯度可表示为:
其中,Qt为第t个三角形的变换矩阵,其大小为3×3;为新构建的虚拟边,其添加了三角面的方向信息(具体实施过程参见Sumner,Robert W.,and Jovan/>"Deformation transfer fortriangle meshes."ACM Transactions on graphics(TOG)23.3(2004):399-405.):
按照组成成分划分,服装形变可以视为款式引起的服装形变和体型引起的服装形变的叠加:
Qt=Rt·St (5)
其中,Rt代表由服装款式信息引起的服装形变,与服装的款式相关,不同Gi不共享该变形成分(如:款式设计);St代表由人体体型特征导致的服装形变,与服装的款式无关,不同Gi共享该变形成分(如:整体垂坠)。由于变形梯度是以三角形为基本单位进行映射的,直接使用变换矩阵得到的服装模型很可能是分裂的。针对上述问题,对网格模型的顶点坐标施加如下约束,以确保生成服装模型的连续性:
其中,V代表G的顶点数。
步骤1-5):服装形变对齐。对人体模型三角形及服装模型三角形进行匹配,确保不同款式服装的变形矩阵维度一致。不同款式服装的三角网格数量差异明显,这将会导致利用变形梯度求得的服装形变矩阵的维度不一致。通常地,人体模型可以穿着不同款式的服装,在这个过程中,人体模型的拓扑结构始终保持不变。利用这一特性,可以在人体模型三角形与服装模型三角形之间建立映射关系,并构建基于虚拟人网格模型的服装形变集。这样做的优点在于:对于任意拓扑结构的服装,其形变矩阵在维度上总是一致的。
为此,以源体型人体的三角形编号为索引,将源体型下服装模型至目标体型下服装模型的变形梯度进行重排列。首先,构建SkinToCloth、ClothToSkin:
其中,M为源对象;|M|为M的三角形数量;α为M中三角形的编号,β为G中三角形的编号;PM,α代表M中第α个三角形的质心坐标;PG,β代表G中第β个三角形的质心坐标;SkinToCloth记录了M的所有三角形到G三角形距离最近的匹配对;ClothToSkin记录了G的所有三角形到M三角形距离最近的匹配对;变形梯度对齐阶段,使用SkinToCloth对G的变形梯度进行重排列,得到维度与M一致的变形梯度;模型迁移阶段,使用ClothToSkin对M的变形梯度进行重排列,得到维度与G一致的变形梯度。
对于GSample中每个实例对构建SkinToClothi,按照匹配对的编号,对服装形变进行重排列,可得到对齐后的变形梯度:
[Qi,1 … Qi,|M|]T (8)
式(8)中,Qi,t为第i组服装中第t个三角形的变形梯度:
将Qi,t向量化:
Oi,t=vec(Qi,t)=[qt,1 … qt,9]T (10)
则样本数据集中服装Gi和间的服装形变γi可表示为:
γi=[Oi,1 … Oi,|M|]T (11)样本数据集中所有服装模型之间的服装形变集表示为:
其中,为样本数据集中第i件服装对齐后的服装形变;/>为服装形变集。
步骤2):学习共享体型特征空间。由于所蕴含款式信息的差异,不同服装穿着到人体之上时,会呈现出形态各异的褶皱。然而,由于人体体型的变化,服装还会呈现出由体型导致的共性形变。如果可以消除服装形变中由款式信息引起的服装形变,即使式(5)中的Rt为单位矩阵(则有Qt=St),那么对于任意样衣,均可通过求解出的服装形变进行变形,以生成符合目标体型的服装模型。
步骤2-1):为了消除因服装不同款式带来的褶皱变化、提取由体型导致的服装形变,使用条件自编码器对Γ进行特征提取。这里的特征提取是指首先利用编码器将Γ进行降维操作,得到隐空间。在这一过程中,通过对网络参数施加限制,可以使得隐空间仅能够表达Γ中的低频特征(人体体型导致的形变,St)而丢失高频细节(服装款式引起的形变,Rt),学习到的隐空间称为共享体型特征空间;然后,利用解码器将共享体型特征空间还原为原始维度,重构出的服装形变称为款式无关的服装形变集。将款式无关的服装形变集作用于样衣即可进行款式迁移。
自编码神经网络尝试学习的函数,使得/>不断逼近Γ。其中,Γ为自编码器的输入;/>代表自编码器的输出,为重构后的数据。附图1中形变特征提取部分展示了网络的结构:右侧为输入层,左侧为输出层,中间为隐藏层。网络将Γ以如下方式映射至/>
z=h(WΓ+b) (13)
式(13)中,z代表提取到的体型特征;W为权重矩阵,b为偏移向量;h为编码器的激活函数,选取Sigmoid作为激活函数:
步骤2-2):求解服装变形。解码器以z为输入,输出重构后的数据,该过程表示为:
式(15)中,W′为权重矩阵,b′为偏移向量;h′为解码器的激活函数。
自编码器采用均方误差度量原始数据与重构数据之间的差异。若目标体型的种类数为K,采用独热编码的方式将人体体型种类编码为条件向量对于每种体型下对应的服装形变集Γk,将Ck与Γk拼接,则损失函数L可定义为:
利用上述方法,可剔除服装形变矩阵中非共性的高频款式信息,因体型特征导致的共性的低频服装形变得以保留。
步骤3):进行款式迁移。按照ClothToSkini匹配对的编号,对服装形变进行重排列。的维度由9·|M|排列为9·Ti,Ti代表样本数据集中第i件服装模型的三角面片数量,将排列后的矩阵作用于样衣即可进行款式迁移。附图2为不同方法下的款式迁移结果对比,每组款式服装包含三件服装模型,从左到右依次为:标准体型下物理模拟试衣结果、基于本发明方法的服装模型重构结果、梨形体型下物理模拟试衣结果。
从可视化的结果可以看出,标准体型下模拟的服装携带了款式信息,但并不具备对照体型下经物理模拟的服装的体型特征;对照体型下经物理模拟的服装虽具备目标体型的体型特征,但不包含标准体型下经物理模拟的服装的款式信息;通过发明所设计的款式迁移方法重构的服装既具备对照人体下经物理模拟的服装的体型特征,又携带了标准体型下经物理模拟的服装的款式信息。
表1给出了附图2中五款服装的统计数据,#Vert代表服装模型的顶点数;#Tri表示服装模型的三角面片数;MDCTrans表示基于本发明方法重构的服装模型的离散曲率,MDCSim代表梨形体型下经物理模拟的服装模型的离散曲率,离散曲率越高,说明服装款式变化程度越大,离散曲率越低,说明服装款式变化程度越小;ScoreTrans表示基于本发明方法重构的服装模型的视觉相似度评分,ScoreSim代表梨形体型下经物理模拟的服装模型的视觉相似度评分,评分越高,代表受试者认为该服装模型的款式与标准体型下物理模拟的服装的款式的相似性越高,评分越低,代表受试者认为该服装模型的款式与标准体型下物理模拟的服装的款式的相似性越低,主观评分的区间为0—9;T(s)代表基于本发明方法进行服装款式迁移所需的时间。
表1服装款式迁移定量分析统计
附图3为多个目标体型下的款式迁移效果示意图。其中,人体表示采用SMPL,通过控制体型参数β和姿态参数θ可生成不同体型和姿态的人体。对于姿态参数θ,选取A-pose作为固定姿态;对于体型参数,分别选取[-4,1]区间内的整数值得到不同的体型参数β1…β-4。利用θ及β1…β-4可生成不同体型的A-pose人体,记为M(θ,β1)…M(θ,β-4)。选取M(θ,β1)作为源体型,选取M(θ,β0)…M(θ,β-4)作为目标体型,利用本发明方法进行款式迁移。
从附图3可看出,即使目标体型相较于源体型发生了明显的变化,基于本发明的方法仍然可以将服装模型由源体型人体迁移至目标体型人体,并保留源体型下服装模型的款式设计。
此实施例仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求的保护范围为准。
Claims (3)
1.一种基于条件自编码器的共享体型特征空间学习方法,其特征在于,包括以下步骤:
步骤1:样本数据集构造;选取不同体型特征的人体模型及不同款式的服装样板,将各款式服装的二维衣片通过物理模拟的方式缝合到不同体型的虚拟人身上,从而得到不同体型特征下的服装实例数据;利用变形梯度表示样本数据集中同款服装由标模至非标模的变形映射;以源体型人体的三角形编号为索引,将源体型至目标体型人体下的服装的变形梯度进行重排列;
所述步骤1包括以下子步骤:
步骤11:生成A-pose人体模型数据;
步骤12:进行服装款式设计,根据人体模型的身体尺寸设计出不同款式的二维衣片;
步骤13:进行衣片缝合;
步骤14:通过变形梯度表示源体型下的服装模型至目标体型下的服装模型的变形映射;
所述步骤14具体包括:
选取样本数据集中服装模型数为N,则服装样本数据集GSample表示为:
式(1)中,代表样本数据集中第i对拓扑一致的同款服装,Gi表示源体型下的模拟结果,/>表示目标体型下的模拟结果;对于任意给定的服装模型/>设G的三角面数量为T,则/>表示为:
式(2)中,表示G中第t个三角形,/>表示/>中第t个三角形; 分别为G、/>中第t个三角形中第k个顶点,则G与/>间第t个三角形的变形梯度可表示为:
其中,Qt为第t个三角形的变换矩阵,其大小为3×3;为新构建的虚拟边,其添加了三角面的方向信息
按照组成成分划分,服装形变视为款式引起的服装形变和体型引起的服装形变的叠加:
Qt=Rt·St (5)
其中,Rt代表由服装款式信息引起的服装形变,与服装的款式相关,不同Gi不共享该变形成分;St代表由人体体型特征导致的服装形变,与服装的款式无关,不同Gi共享该变形成分;对网格模型的顶点坐标施加如下约束,以确保生成服装模型的连续性:
其中,V代表G的顶点数;
步骤15:服装形变对齐;对人体模型三角形及服装模型三角形进行匹配,确保不同款式服装的变形矩阵维度一致;
步骤2:形变特征提取;按照组成成分划分,服装形变可以视为款式引起的服装形变和体型引起的服装形变的线性组合模型;对服装形变集中体型与款式信息进行解耦,使用编码器对服装形变集进行降维,通过对网络参数施加约束,保留因人体体型导致的低频服装形变,丢弃因款式信息引起的高频服装形变,得到共享体型特征空间;利用解码器将共享体型特征还原至与输入数据一致的维度,求解出服装形变;
步骤3:款式迁移;对于求解得到的变形梯度,以源体型人体下的服装模型的三角形编号为索引,将求解得到的变形梯度进行重排列,再将排列得到的变形梯度作用于源体型至目标体型的服装款式迁移。
2.根据权利要求1所述的基于条件自编码器的共享体型特征空间学习方法,其特征在于,所述步骤15具体包括:
以源体型人体的三角形编号为索引,将源体型下服装模型至目标体型下服装模型的变形梯度进行重排列;首先,构建SkinToCloth、ClothToSkin:
其中,M为源对象;|M|为M的三角形数量;α为M中三角形的编号,β为G中三角形的编号;PM,α代表M中第α个三角形的质心坐标;PG,β代表G中第β个三角形的质心坐标;SkinToCloth记录了M的所有三角形到G三角形距离最近的匹配对;ClothToSkin记录了G的所有三角形到M三角形距离最近的匹配对;变形梯度对齐阶段,使用SkinToCloth对G的变形梯度进行重排列,得到维度与M一致的变形梯度;模型迁移阶段,使用ClothToSkin对M的变形梯度进行重排列,得到维度与G一致的变形梯度;
对于GSample中每个实例对构建SkinToClothi,按照匹配对的编号,对服装形变进行重排列,可得到对齐后的变形梯度:
[Qi,1 … Qi,|M|]T (8)
式(8)中,Qi,t为第i组服装中第t个三角形的变形梯度:
将Qi,t向量化:
Oi,t=vec(Qi,t)=[qt,1 … qt,9]T (10)
则样本数据集中服装Gi和间的服装形变γi可表示为:
γi=[Oi,1 … Oi,|M|]T (11)
样本数据集中所有服装模型之间的服装形变集表示为:
其中,为样本数据集中第i件服装对齐后的服装形变;/>为服装形变集。
3.根据权利要求1所述的基于条件自编码器的共享体型特征空间学习方法,其特征在于,所述步骤2包括以下子步骤:
步骤21:对于对齐后的服装变形矩阵,使用编码器进行降维得到共享体型特征空间,对网络参数施加约束,使共享体型特征空间仅保留服装变形中的低频特征,丢弃服装变形中的高频特征;
自编码神经网络尝试学习的函数,使得/>不断逼近T;其中,T为自编码器的输入;/>代表自编码器的输出,为重构后的数据;网络将Γ以如下方式映射至/>
z=h(WΓ+b) (13)
式(13)中,z代表提取到的体型特征;W为权重矩阵,b为偏移向量;h为编码器的激活函数,选取Sigmoid作为激活函数:
步骤22:通过解码器将隐空间向量还原至原始维度,求解出款式无关的布料变形;
解码器以z为输入,输出重构后的数据,该过程表示为:
式(15)中,W′为权重矩阵,b′为偏移向量;h′为解码器的激活函数;
自编码器采用均方误差度量原始数据与重构数据之间的差异;若目标体型的种类数为K,采用独热编码的方式将人体体型种类编码为条件向量对于每种体型下对应的服装形变集Γk,将Ck与Γk拼接,则损失函数L定义为:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110159774.9A CN112907710B (zh) | 2021-02-05 | 2021-02-05 | 基于条件自编码器的共享体型特征空间学习方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110159774.9A CN112907710B (zh) | 2021-02-05 | 2021-02-05 | 基于条件自编码器的共享体型特征空间学习方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112907710A CN112907710A (zh) | 2021-06-04 |
CN112907710B true CN112907710B (zh) | 2023-08-29 |
Family
ID=76122656
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110159774.9A Active CN112907710B (zh) | 2021-02-05 | 2021-02-05 | 基于条件自编码器的共享体型特征空间学习方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112907710B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101847173A (zh) * | 2010-05-31 | 2010-09-29 | 浙江理工大学 | 一种服装或服饰集三维扫描自由形设计及制板成模的方法 |
CN102044038A (zh) * | 2010-12-27 | 2011-05-04 | 上海工程技术大学 | 面向真人的服装三维虚拟试衣方法 |
CN103106586A (zh) * | 2011-11-11 | 2013-05-15 | 江南大学 | 三维虚拟试衣系统 |
CN104933757A (zh) * | 2015-05-05 | 2015-09-23 | 昆明理工大学 | 一种基于款式描述符的三维服装建模方法 |
CN106251200A (zh) * | 2016-07-27 | 2016-12-21 | 华北电力大学 | 基于实例的虚拟试衣方法 |
CN110264310A (zh) * | 2019-05-30 | 2019-09-20 | 肖伯祥 | 一种基于人体大数据的服装制版方法 |
CN111858997A (zh) * | 2020-06-23 | 2020-10-30 | 浙江蓝天制衣有限公司 | 一种基于跨领域匹配的服装样板生成方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9400925B2 (en) * | 2013-11-15 | 2016-07-26 | Facebook, Inc. | Pose-aligned networks for deep attribute modeling |
-
2021
- 2021-02-05 CN CN202110159774.9A patent/CN112907710B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101847173A (zh) * | 2010-05-31 | 2010-09-29 | 浙江理工大学 | 一种服装或服饰集三维扫描自由形设计及制板成模的方法 |
CN102044038A (zh) * | 2010-12-27 | 2011-05-04 | 上海工程技术大学 | 面向真人的服装三维虚拟试衣方法 |
CN103106586A (zh) * | 2011-11-11 | 2013-05-15 | 江南大学 | 三维虚拟试衣系统 |
CN104933757A (zh) * | 2015-05-05 | 2015-09-23 | 昆明理工大学 | 一种基于款式描述符的三维服装建模方法 |
CN106251200A (zh) * | 2016-07-27 | 2016-12-21 | 华北电力大学 | 基于实例的虚拟试衣方法 |
CN110264310A (zh) * | 2019-05-30 | 2019-09-20 | 肖伯祥 | 一种基于人体大数据的服装制版方法 |
CN111858997A (zh) * | 2020-06-23 | 2020-10-30 | 浙江蓝天制衣有限公司 | 一种基于跨领域匹配的服装样板生成方法 |
Non-Patent Citations (1)
Title |
---|
面向不同体型特征的服装款式迁移方法;石敏等;《图学学报 》;第40卷(第5期);第866-871页 * |
Also Published As
Publication number | Publication date |
---|---|
CN112907710A (zh) | 2021-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10134181B2 (en) | System and method for simulating realistic clothing | |
US10546433B2 (en) | Methods, systems, and computer readable media for modeling garments using single view images | |
Huang et al. | Block pattern generation: From parameterizing human bodies to fit feature-aligned and flattenable 3D garments | |
Yang et al. | Physics-inspired garment recovery from a single-view image | |
Brouet et al. | Design preserving garment transfer | |
De Aguiar et al. | Automatic conversion of mesh animations into skeleton‐based animations | |
Zhu et al. | An efficient human model customization method based on orthogonal-view monocular photos | |
CN103678769B (zh) | 基于人体骨架与二维形变的真实感服装创建方法 | |
CN108537888A (zh) | 一种基于骨架的快速试衣方法 | |
Gutiérrez A et al. | An ontology of virtual humans: Incorporating semantics into human shapes | |
Kwok et al. | Styling evolution for tight-fitting garments | |
Ruiz et al. | Reducing memory requirements for diverse animated crowds | |
US10482642B2 (en) | Method and system for automatic garment fit customization | |
CN101493953A (zh) | 一种交互式三维卡通人脸生成方法及装置 | |
Bao et al. | 3D interactive garment parametric pattern-making and linkage editing based on constrained contour lines | |
CN115272579A (zh) | 一种基于多特征融合的单张图像三维服装重建方法 | |
KR20210021898A (ko) | 부자재 요소를 포함하는 의상의 그레이딩 방법 및 장치 | |
Liu et al. | A mixed human body modeling method based on 3D body scanning for clothing industry | |
CN112907710B (zh) | 基于条件自编码器的共享体型特征空间学习方法 | |
Shi et al. | Learning a shared deformation space for efficient design-preserving garment transfer | |
CN115690323B (zh) | 服装智能推板方法和装置 | |
Gunatilake et al. | An ICT based Solution for Virtual Garment Fitting for Online Market Place: A Review of Related Literature | |
CN106251200A (zh) | 基于实例的虚拟试衣方法 | |
Fengyi et al. | 3D Garment Design Model Based on Convolution Neural Network and Virtual Reality | |
CN114581288A (zh) | 一种图像生成方法、装置、电子设备以及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |