CN116740240A - 款式多样的实时服装动画生成方法 - Google Patents
款式多样的实时服装动画生成方法 Download PDFInfo
- Publication number
- CN116740240A CN116740240A CN202310689768.3A CN202310689768A CN116740240A CN 116740240 A CN116740240 A CN 116740240A CN 202310689768 A CN202310689768 A CN 202310689768A CN 116740240 A CN116740240 A CN 116740240A
- Authority
- CN
- China
- Prior art keywords
- garment
- clothing
- style
- deformation
- human body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000033001 locomotion Effects 0.000 claims abstract description 99
- 230000036544 posture Effects 0.000 claims abstract description 28
- 238000012549 training Methods 0.000 claims abstract description 26
- 238000004088 simulation Methods 0.000 claims abstract description 18
- 238000012805 post-processing Methods 0.000 claims abstract description 8
- 239000013598 vector Substances 0.000 claims description 35
- 230000035515 penetration Effects 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 6
- 238000009958 sewing Methods 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 230000009191 jumping Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 abstract 1
- 230000000694 effects Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2113/00—Details relating to the application field
- G06F2113/12—Cloth
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
- G06F2119/14—Force analysis or force optimisation, e.g. static or dynamic forces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/16—Cloth
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/44—Morphing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Geometry (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了属于虚拟角色着装变形动画技术领域的款式多样的款式多样的实时服装动画生成方法。包括:步骤1:利用专业服装设计软件设计不同款式的服装模型,构造款式多样的服装样本集,利用拓扑对齐的方式将不同款式的服装模型进行拓扑统一;步骤2:选取多姿态的时序运动人体数据,通过物理模拟的方式利用人体模型驱动服装变形,获取款式及姿态多样的服装变形实例;步骤3:基于VAE构建运动序列到服装变形的关系模型,引入款式信息作为条件约束服装变形,学习款式的隐空间概率分布;引入Transformer层组成模型的编解码器,用于学习运动序列间的相关性,以及建立服装序列中帧与帧之间的依赖关系;步骤4:模型训练,利用步骤1和步骤2构成的数据集,将服装变形作为预测目标,运动和款式作为输入,对网络模型进行训练;步骤5:基于步骤3和步骤4构建的服装变形预测模型,改变人体运动数据和款式信息,可以以实时速率合成连续逼真的多款式着装人体动画;步骤6:对步骤5所得结果进行后处理,获得逼真无穿透的服装动画。
Description
技术领域
本发明涉及虚拟角色着装变形领域,尤其涉及不同款式服装动画生成方法。
背景技术
虚拟角色着装变形是计算机图形学的研究内容,在计算机动画中一直占据重要地位。近年随着元宇宙概念的兴起,其受到了更加广泛的研究。虚拟角色着装变形主要受到服装款式和角色运动的影响。相较于计算机动画的固定款式服装,元宇宙虚拟服装更偏向于个性化,给定服装类型,虚拟服装需要具有多个款式,以满足不同虚拟角色的需求。当前虚拟角色着装变形主要依靠设计师设计服装,手动调整服装款式,根据角色运动驱动服装变形。该过程实现复杂,需要一定的专业技术,无法满足元宇宙中用户实时交互的要求。,一个款式可编辑的实时服装动画生成方法可以满足用户对个性化的追求,增强用户参与感和对角色的掌控感,同时降低耗时和计算成本。
目前服装变形模拟的主要实现方式为物理模拟法和数据驱动法。前者对服装受力进行分析,构建动力学模型,通过求解动力学方程组可以得到逼真细腻的服装变形,但其实现需要大量的时间和算力。后者基于深度神经网络对服装变形数据进行统计分析,建立人体姿态到服装变形的映射关系,可以快速预测服装变形。但该方法难以兼顾服装款式的多样性和变形的时序性,即当前服装动画方法大多针对固定的单一款式,通过用户给定的姿态获得服装变形。一旦服装款式发生变化,则需要重新训练网络。耗费大量时间,效率低下。
服装变形主要是由人体姿态驱动产生,且不同款式服装受到人体姿态的时序性影响是一致的,假设服装变形与人体姿态具有对应关系,且近似符合相同的概率分布模型,基于此对不同款式服装进行拓扑统一后,则可对多款式的服装变形模式进行提取,实现通过姿态参数和款式参数对着装动画进行动态调整和生成。
发明内容
本发明的目的是提出款式多样的实时服装动画生成方法,其特征在于,包括以下步骤:
步骤1:拓扑统一的多款式服装数据样本构造:设计不同款式的服装的二维服装样板,将各款式服装的二维版片通过物理模拟的方式缝合到标准姿态的虚拟人体身上,从而得到不同款式的服装模型;由于深度网络模型需要数据训练维度保持一致,这要求不同款式的服装需要具有相同拓扑;将不同服装模型进行拓扑对齐获得拓扑一致、款式多样的服装原型;
步骤2:款式多样的服装变形数据集构造;选取多姿态的运动人体数据,基于物理仿真平台模拟不同人体运动驱动下的服装变形状态,获得不同运动驱动下的不同款式的服装变形实例数据;
步骤3:构建适用于不同款式的时序服装变形预测及生成模型;具体包括:基于变分自编码器架构建立网络框架,该框架主要分为编码器和解码器两部分,编码器负责对不同服装款式及人体运动进行特征提取和编码,解码器负责根据特征向量解码服装变形。考虑到服装变形是一个时序过程,引入时序网络Transformer,利用其编码层及解码层分别提取人体运动及服装变形的时序依赖关系。最终,通过输入运动和款式参数,可以实时求解多款式的时序服装变形。
步骤4:训练模型;具体包括:将步骤2中的运动驱动下的拓扑一致的多款式服装变形数据作为网络的预测目标,并与步骤1中的款式信息、步骤2中的运动信息构成对应的“<运动、款式、服装变形实例>”数据对,将上述数据对构成网络训练所需的数据集;将款式作为约束,利用编码器提取不同运动中不同姿态间的时序依赖关系,同时建立运动和款式的条件概率分布;利用解码器对隐空间向量进行解码获得对应的服装变形序列;
步骤5:款式可变的着装动画生成;基于步骤3和步骤4获得的训练完成的网络模型,改变运动和款式参数,可以生成满足款式、姿态、时序约束的服装变形;
步骤6:预测结果后处理;对步骤5所得结果进行后处理,获得逼真无穿透的服装动画;
所述步骤1包括以下子步骤:
步骤11:进行服装二维版片设计,根据人体模型设计出基础的服装二维衣片;
步骤12:调整二维衣片参数,并对衣片进行缝合获得不同款式的服装模型;
步骤13:服装模型拓扑统一;
所述步骤13具体包括:
1)所述人体模型参数化表示为M(β,θ),该模型将人体表示为体型参数和姿态参数/>的函数,其中/>表示导致人体体型变化的主要参数,/>表示关节的旋转角度;
2)将服装模型用网格表示,记作g(Vtemp,Ftemp),其中Vtemp表示服装顶点,Ftemp表示服装面片。通过调整二维服装裁片参数,采用区间内等距采样,随机组合的策略建模n款服装,构成包含多种款式style={s1,s2,...,sn}的服装集合。选用一个款式服装作为样本gT,将其与其他款式服装进行拓扑对齐,获得一个款式统一的多款式服装集合Gar={g1,g2,...,gn};
所述步骤2包括以下子步骤:
步骤21:构建姿态丰富的人体运动数据集:为了使得网络能够更好地学习到不同姿态对服装变形的影响规律,样本数据需要尽可能覆盖人体的日常运动姿态,包括奔跑,跳跃,走路等。基于步骤1中的参数化人体模型,通过改变运动参数θ获取m组人体运动数据Θi={θ1,...,θT},构成人体运动数据集Ρ={Θ1,...,Θm};
步骤22:多款式、多运动姿态的服装变形数据构建:基于物理仿真平台将步骤1中获取的服装模型穿着到选取的人体模型上,利用人体运动驱动服装变形,其中物理模拟平台提供了与真实环境类似的物理环境,提供模拟服装的连续受力情况获得包含了受到时序运动影响的服装变形序列;对步骤1中所得到的所有款式的服装进行模拟,得到不同款式下的服装时序变形样本数据G={g(s,Θ)|s∈style,Θ∈P};
所述步骤3包括以下子步骤:
步骤31:基于变分自编码器架构建立网络框架,其中编码器和解码器分别由N个Transformer编码层和Transformer解码层构成;
步骤32:对于编码器所接收的运动序列Θi={θ1,...,θT}及服装款式si,网络分别通过线性层将Θi与si进行编码,得到运动向量及款式向量;对运动所隐含的时序信息进行显示表示,采用三角函数编码法对每个姿态向量所在运动序列的位置信息进行编码,得到PE;将其与/>进行合并作为包含时序和款式的条件向量C,如下式所示:
其中,表示向量合并。将C与/>相加得到编码层的输入向量,通过N个transformer编码层,得到隐空间向量Z,将条件向量与隐空间向量相加,作为解码器的输入,如下式所示:
Z=Enc(·)+C (2)
步骤33:解码器通过线性层将服装变形样本数据V={v1,v2,...,vT}编码为Υ,并将序列信息PE作为条件与Υ相加,输入到N个transformer解码层,通过一个线性层对解码数据进行整合,输出服装变形序列顶点序列集合
所述步骤4包括以下子步骤:
步骤41:网络损失函数包含三部分:顶点坐标误差项、拉普拉斯损失项、分布误差损失。其中顶点坐标误差项约束服装顶点坐标的空间位置,由均方误差(Mean SquareError,MSE)表示:
其中,T表示运动序列长度,Vt表示样本服装变形数据中第t个服装顶点坐标集,表示预测服装序列中第t个服装顶点坐标集;
为了避免所预测服装的产生不合理的局部褶皱,引入拉普拉斯损失项,用于惩罚预测服装与样本拓扑的局部差异:
其中,Δ表示拉普拉斯算子;分布误差表示网络学习到的后验概率分布与标准高斯分布的差异,一般用KL散度来衡量:
LKL=DKL(q(Z|Θ),p(Z)) (4)
其中,q(Z|Θ)表示后验概率分布,p(Z)表示隐空间的先验概率分布。因此,该网络的损失函数可以表示为:
L=Lvert+ω1Llap+ω2LKL (5)
其中,ω1,ω2分别表示拉普拉斯误差和分布误差的权重;
步骤42:训练过程中采用Adam优化器,采用动态Batchsize的策略。同时,为了保证训练过程的稳定,设置网络自适应调整学习率,调整策略如下:
其中warmup_steps表示预热轮数,epoch_num表示训练轮数,同时训练时设置dropout防止模型过拟合;
步骤6包括以下子步骤:
步骤61:利用下列公式对预测生成的服装模型进行穿透检测及修正:
E1=||Δ(V')-Δ(V)|| (8)
E=E1+δE2 (10)
其中,E1表示拉普拉斯惩罚项,E2表示穿透顶点惩罚项,δ表示穿透惩罚项的权重.式(8)中V'表示移动后的服装顶点集,V表示网络生成的服装顶点集.式(9)中R表示服装网格与人体网格的穿透区域,vl表示第l个属于穿透区域的服装顶点,表示与服装顶点vl最相邻的人体网格顶点。ε表示步长,用来控制服装顶点在/>方向移动的距离。
本发明的有益效果在于:
1、解决了数据驱动法无法在时序服装变形中对服装款式进行动态调整的问题;
2、解决了服装动画生成过程仅依靠专业设计师,无法根据个人偏好进行交互的问题;
附图说明
图1为款式多样的实时服装动画生成方法的技术路线图;
图2为款式调整过程的示意图;
图3为款式约束的服装变形重建效果图;
图4为穿透修正前后效果对比图;
图5为时序性运动驱动的多款式服装动画效果图;
具体实施方式
本发明提出款式多样的实时服装动画生成方法,下面结合附图和具体实施例对本发明做进一步说明。
款式多样的实时服装动画生成方法,包括:
步骤1:拓扑统一的多款式服装数据样本构造
设计不同款式的服装的二维服装样板,将各款式服装的二维版片通过物理模拟的方式缝合到标准姿态的虚拟人体身上,从而得到不同款式的服装模型;由于深度网络模型需要数据训练维度保持一致,这要求不同款式的服装需要具有相同拓扑;将不同服装模型进行拓扑对齐获得拓扑一致、款式多样的服装原型;
步骤2:款式多样的服装变形数据集构造
选取多姿态的运动人体数据,基于物理仿真平台模拟不同人体运动驱动下的服装变形状态,获得不同运动驱动下的不同款式的服装变形实例数据;
步骤3:构建适用于不同款式的时序服装变形预测及生成模型
基于变分自编码器架构建立网络框架,该框架主要分为编码器和解码器两部分,编码器负责对不同服装款式及人体运动进行特征提取和编码,解码器负责根据特征向量解码服装变形。考虑到服装变形是一个时序过程,引入时序网络Transformer,利用其编码层及解码层分别提取人体运动及服装变形的时序依赖关系。最终,通过输入运动和款式参数,可以实时求解多款式的时序服装变形;
步骤4:训练模型
将步骤2中的运动驱动下的拓扑一致的多款式服装变形数据作为网络的预测目标,并与步骤1中的款式信息、步骤2中的运动信息构成对应的“<运动、款式、服装变形实例>”数据对,将上述数据对构成网络训练所需的数据集;将款式作为约束,利用编码器提取不同运动中不同姿态间的时序依赖关系,同时建立运动和款式的条件概率分布;利用解码器对隐空间向量进行解码获得对应的服装变形序列;
步骤5:款式可变的着装动画生成
基于步骤3和步骤4获得的训练完成的网络模型,改变运动和款式参数,可以生成满足款式、姿态、时序约束的服装变形;
步骤6:预测结果后处理
对步骤5所得结果进行后处理,获得逼真无穿透的服装动画。
如图1所示,本发明的方法具体包括以下步骤:步骤1):拓扑统一的多款式服装数据样本构造。由于深度网络模型需要数据训练维度保持一致,这要求不同款式的服装需要具有相同拓扑;将不同服装模型进行拓扑对齐获得拓扑一致、款式多样的服装原型。具体如下:
步骤1-1):进行服装二维版片设计,根据人体模型设计出基础的服装二维衣片;
步骤1-2):所述人体模型参数化表示为M(β,θ),该模型将人体表示为体型参数和姿态参数/>的函数,其中/>表示导致人体体型变化的主要参数,/>表示关节的旋转角度;
步骤1-3):调整二维衣片参数,将各款式服装的二维版片通过物理模拟的方式缝合到标准姿态的虚拟人体身上,从而得到不同款式的服装模型。
如图2所示,图中给出了服装二维样板示例,并给出了版片参数以及参数所代表的含义,提供调整参数可以获得对应的不同款式的三维服装模型;
步骤1-4):将服装模型用网格表示,记作g(Vtemp,Ftemp),其中Vtemp表示服装顶点,Ftemp表示服装面片。通过调整二维服装裁片参数,采用区间内等距采样,随机组合的策略建模n款服装,构成包含多种款式style={s1,s2,...,sn}的服装集合。
步骤1-5):服装模型拓扑统一。选用一个款式服装作为样本gT,将其与其他款式服装进行拓扑对齐,获得一个款式统一的多款式服装集合Gar={g1,g2,...,gn}。
步骤2):款式多样的服装变形数据集构造。选取多姿态的运动人体数据,基于物理仿真平台模拟不同人体运动驱动下的服装变形状态,获得不同运动驱动下的不同款式的服装变形实例数据。具体如下:
步骤2-1):构建姿态丰富的人体运动数据集:为了使得网络能够更好地学习到不同姿态对服装变形的影响规律,样本数据需要尽可能覆盖人体的日常运动姿态,包括奔跑,跳跃,走路等。基于步骤1中的参数化人体模型,通过改变运动参数θ获取m组人体运动数据Θi={θ1,...,θT},构成人体运动数据集Ρ={Θ1,...,Θm}。
步骤2-2):多款式、多运动姿态的服装变形数据构建:基于物理仿真平台将步骤1中获取的服装模型穿着到选取的人体模型上,利用人体运动驱动服装变形,其中物理模拟平台提供了与真实环境类似的物理环境,提供模拟服装的连续受力情况获得包含了受到时序运动影响的服装变形序列;对步骤1中所得到的所有款式的服装进行模拟,得到不同款式下的服装时序变形样本数据G={g(s,Θ)|s∈style,Θ∈P}。
步骤3):构建适用于不同款式的时序服装变形预测及生成模型。基于变分自编码器架构建立网络框架,该框架主要分为编码器和解码器两部分,编码器负责对不同服装款式及人体运动进行特征提取和编码,解码器负责根据特征向量解码服装变形。考虑到服装变形是一个时序过程,引入时序网络Transformer,利用其编码层及解码层分别提取人体运动及服装变形的时序依赖关系。最终,通过输入运动和款式参数,可以实时求解多款式的时序服装变形。
步骤3-1):基于变分自编码器架构建立网络框架.其中编码器和解码器分别由N个Transformer编码层和Transformer解码层构成。
步骤3-2):对于编码器所接收的运动序列Θi={θ1,...,θT}及服装款式si,网络分别通过线性层将Θi与si进行编码,得到运动向量及款式向量;对运动所隐含的时序信息进行显示表示,采用三角函数编码法对每个姿态向量所在运动序列的位置信息进行编码,得到PE;将其与/>进行合并作为包含时序和款式的条件向量C,如下式所示:
其中,表示向量合并。将C与/>相加得到编码层的输入向量,通过N个transformer编码层,得到隐空间向量Z,将条件向量与隐空间向量相加,作为解码器的输入,如下式所示:
Z=Enc(·)+C (2)
步骤3-3):解码器通过线性层将服装变形样本数据V={v1,v2,...,vT}编码为Υ,并将序列信息PE作为条件与Υ相加,输入到N个transformer解码层,通过一个线性层对解码数据进行整合,输出服装变形序列顶点序列集合
步骤4):训练模型。基于步骤2中的运动驱动下的拓扑一致的多款式服装变形数据,将其作为网络的预测目标,并与步骤1中的款式信息、步骤2中的运动信息构成对应的“<运动、款式、服装变形实例>”数据对,将上述数据对构成网络训练所需的数据集;将款式作为约束,利用编码器提取不同运动中不同姿态间的时序依赖关系,同时建立运动和款式的条件概率分布;利用解码器对隐空间向量进行解码获得对应的服装变形序列。
步骤4-1):设置网络损失函数包含三部分:顶点坐标误差项、拉普拉斯损失项、分布误差损失。其中顶点坐标误差项约束服装顶点坐标的空间位置,由均方误差(MeanSquare Error,MSE)表示:
其中,T表示运动序列长度,Vt表示样本服装变形数据中第t个服装顶点坐标集,表示预测服装序列中第t个服装顶点坐标集;
为了避免所预测服装的产生不合理的局部褶皱,引入拉普拉斯损失项,用于惩罚预测服装与样本拓扑的局部差异:
其中,Δ表示拉普拉斯算子;分布误差表示网络学习到的后验概率分布与标准高斯分布的差异,一般用KL散度来衡量:
LKL=DKL(q(Z|Θ),p(Z)) (4)
其中,q(Z|Θ)表示后验概率分布,p(Z)表示隐空间的先验概率分布。因此,该网络的损失函数可以表示为:
L=Lvert+ω1Llap+ω2LKL (5)
其中,ω1,ω2分别表示拉普拉斯误差和分布误差的权重;
步骤4-2):训练过程中采用Adam优化器,采用动态Batchsize的策略。同时,为了保证训练过程的稳定,设置网络自适应调整学习率,调整策略如下:
其中warmup_steps表示预热轮数,epoch_num表示训练轮数,同时训练时设置dropout防止模型过拟合。
步骤5):款式可变的着装动画生成。基于步骤3和步骤4获得的训练完成的网络模型,改变运动和款式参数,可以生成满足款式、姿态、时序约束的服装变形;如图3和图5所示。
如图3所示,分别是不同姿态不同款式服装驱动下的服装变形效果,其中每一个款式给出了两个不同姿态的变形效果,自左向右分别表示物理模拟得到的样本数据,即网络的预测目标,中间表示网络的预测结果,最右侧表示对预测结果和样本数据进行的差异可视化示意图;从图3中可以看出模型可以对不同款式不同姿态的服装变形进行预测,且预测结果与样本数据具有近乎一致的视觉效果,且两者之间具有较小的顶点差异,具有较好的重建效果;
步骤6):预测结果后处理。为了保证生成服装模型与人体模型之间无穿透区域,利用下列公式对步骤5预测生成的服装模型进行穿透检测及修正:
E1=||Δ(V')-Δ(V)|| (8)
E=E1+δE2 (10)
其中,E1表示拉普拉斯惩罚项,E2表示穿透顶点惩罚项,δ表示穿透惩罚项的权重.式(8)中V'表示移动后的服装顶点集,V表示网络生成的服装顶点集.式(9)中R表示服装网格与人体网格的穿透区域,vl表示第l个属于穿透区域的服装顶点,表示与服装顶点vl最相邻的人体网格顶点。ε表示步长,用来控制服装顶点在/>方向移动的距离。
穿透修正效果图如图4所示,修正后的时序性运动驱动的多款式服装动画效果如图5所示,从可视化效果可以看出,本发明服装动画生成方法可以有效表示不同款式的服装变形,同时保证不丢失局部的褶皱细节以及保持变形的时序性。
此实例仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化和替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利来要求的保护范围为准。
Claims (7)
1.一种款式多样的实时服装动画生成方法,其特征在于,包括以下步骤:
步骤1:拓扑统一的多款式服装数据样本构造:设计不同款式的服装的二维服装样板,将各款式服装的二维版片通过物理模拟的方式缝合到标准姿态的虚拟人体身上,从而得到不同款式的服装模型;由于深度网络模型需要数据训练维度保持一致,这要求不同款式的服装需要具有相同拓扑;将不同服装模型进行拓扑对齐获得拓扑一致、款式多样的服装原型;
步骤2:款式多样的服装变形数据集构造;选取多姿态的运动人体数据,基于物理仿真平台模拟不同人体运动驱动下的服装变形状态,获得不同运动驱动下的不同款式的服装变形实例数据;
步骤3:构建适用于不同款式的时序服装变形预测及生成模型;具体包括:基于变分自编码器架构建立网络框架,该框架主要分为编码器和解码器两部分,编码器负责对不同服装款式及人体运动进行特征提取和编码,解码器负责根据特征向量解码服装变形。考虑到服装变形是一个时序过程,引入时序网络Transformer,利用其编码层及解码层分别提取人体运动及服装变形的时序依赖关系。最终,通过输入运动和款式参数,可以实时求解多款式的时序服装变形。
步骤4:训练模型;具体包括:将步骤2中的运动驱动下的拓扑一致的多款式服装变形数据作为网络的预测目标,并与步骤1中的款式信息、步骤2中的运动信息构成对应的“<运动、款式、服装变形实例>”数据对,将上述数据对构成网络训练所需的数据集;将款式作为约束,利用编码器提取不同运动中不同姿态间的时序依赖关系,同时建立运动和款式的条件概率分布;利用解码器对隐空间向量进行解码获得对应的服装变形序列;
步骤5:款式可变的着装动画生成;基于步骤3和步骤4获得的训练完成的网络模型,改变运动和款式参数,可以生成满足款式、姿态、时序约束的服装变形;
步骤6:预测结果后处理;对步骤5所得结果进行后处理,获得逼真无穿透的服装动画。
2.根据权利要求1所述的款式多样的实时服装动画生成方法,其特征在于,所述步骤1包括以下子步骤:
步骤11:进行服装二维版片设计,根据人体模型设计出基础的服装二维衣片;
步骤12:调整二维衣片参数,并对衣片进行缝合获得不同款式的服装模型;
步骤13:服装模型拓扑统一。
3.根据权利要求2所述的款式多样的实时服装动画生成方法,其特征在于,所述步骤13包括一下子步骤:
1)所述人体模型参数化表示为M(β,θ),该模型将人体表示为体型参数和姿态参数/>的函数,其中/>表示导致人体体型变化的主要参数,/>表示关节的旋转角度;
2)将服装模型用网格表示,记作g(Vtemp,Ftemp),其中Vtemp表示服装顶点,Ftemp表示服装面片。通过调整二维服装裁片参数,采用区间内等距采样,随机组合的策略建模n款服装,构成包含多种款式style={s1,s2,...,sn}的服装集合。选用一个款式服装作为样本gT,将其与其他款式服装进行拓扑对齐,获得一个款式统一的多款式服装集合Gar={g1,g2,...,gn}。
4.根据权利要求1所述的款式多样的实时服装动画生成方法,其特征在于,所述步骤2包括以下子步骤:
步骤21:构建姿态丰富的人体运动数据集:为了使得网络能够更好地学习到不同姿态对服装变形的影响规律,样本数据需要尽可能覆盖人体的日常运动姿态,包括奔跑,跳跃,走路等。基于步骤1中的参数化人体模型,通过改变运动参数θ获取m组人体运动数据Θi={θ1,...,θT},构成人体运动数据集Ρ={Θ1,...,Θm};
步骤22:多款式、多运动姿态的服装变形数据构建:基于物理仿真平台将步骤1中获取的服装模型穿着到选取的人体模型上,利用人体运动驱动服装变形,其中物理模拟平台提供了与真实环境类似的物理环境,提供模拟服装的连续受力情况获得包含了受到时序运动影响的服装变形序列;对步骤1中所得到的所有款式的服装进行模拟,得到不同款式下的服装时序变形样本数据G={g(s,Θ)|s∈style,Θ∈P}。
5.根据权利要求1所述的款式多样的实时服装动画生成方法,其特征在于,所述步骤3包括以下子步骤:
步骤31:基于变分自编码器架构建立网络框架,其中编码器和解码器分别由N个Transformer编码层和Transformer解码层构成;
步骤32:对于编码器所接收的运动序列Θi={θ1,...,θT}及服装款式si,网络分别通过线性层将Θi与si进行编码,得到运动向量及款式向量;对运动所隐含的时序信息进行显示表示,采用三角函数编码法对每个姿态向量所在运动序列的位置信息进行编码,得到PE;将其与/>进行合并作为包含时序和款式的条件向量C,如下式所示:
其中,表示向量合并。将C与/>相加得到编码层的输入向量,通过N个transformer编码层,得到隐空间向量Z,将条件向量与隐空间向量相加,作为解码器的输入,如下式所示:
Z=Enc(·)+C (2)
步骤33:解码器通过线性层将服装变形样本数据V={v1,v2,...,vT}编码为Υ,并将序列信息PE作为条件与Υ相加,输入到N个transformer解码层,通过一个线性层对解码数据进行整合,输出服装变形序列顶点序列集合
6.根据权利要求1所述的款式多样的实时服装动画生成方法,其特征在于,所述步骤4包括以下子步骤:
步骤41:网络损失函数包含三部分:顶点坐标误差项、拉普拉斯损失项、分布误差损失。其中顶点坐标误差项约束服装顶点坐标的空间位置,由均方误差(Mean Square Error,MSE)表示:
其中,T表示运动序列长度,Vt表示样本服装变形数据中第t个服装顶点坐标集,表示预测服装序列中第t个服装顶点坐标集;
为了避免所预测服装的产生不合理的局部褶皱,引入拉普拉斯损失项,用于惩罚预测服装与样本拓扑的局部差异:
其中,Δ表示拉普拉斯算子;分布误差表示网络学习到的后验概率分布与标准高斯分布的差异,一般用KL散度来衡量:
LKL=DKL(q(Z|Θ),p(Z)) (4)
其中,q(Z|Θ)表示后验概率分布,p(Z)表示隐空间的先验概率分布。因此,该网络的损失函数可以表示为:
L=Lvert+ω1Llap+ω2LKL (5)
其中,ω1,ω2分别表示拉普拉斯误差和分布误差的权重;
步骤42:训练过程中采用Adam优化器,采用动态Batchsize的策略。同时,为了保证训练过程的稳定,设置网络自适应调整学习率,调整策略如下:
其中warmup_steps表示预热轮数,epoch_num表示训练轮数,同时训练时设置dropout防止模型过拟合。
7.根据权利要求1所述的款式多样的实时服装动画生成方法,其特征在于,所述步骤6包括以下子步骤:
步骤61:利用下列公式对预测生成的服装模型进行穿透检测及修正:
E1=||Δ(V')-Δ(V)|| (8)
E=E1+δE2 (10)
其中,E1表示拉普拉斯惩罚项,E2表示穿透顶点惩罚项,δ表示穿透惩罚项的权重.式(8)中V'表示移动后的服装顶点集,V表示网络生成的服装顶点集.式(9)中R表示服装网格与人体网格的穿透区域,vl表示第l个属于穿透区域的服装顶点,表示与服装顶点vl最相邻的人体网格顶点。ε表示步长,用来控制服装顶点在/>方向移动的距离。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310689768.3A CN116740240A (zh) | 2023-06-12 | 2023-06-12 | 款式多样的实时服装动画生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310689768.3A CN116740240A (zh) | 2023-06-12 | 2023-06-12 | 款式多样的实时服装动画生成方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116740240A true CN116740240A (zh) | 2023-09-12 |
Family
ID=87905630
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310689768.3A Pending CN116740240A (zh) | 2023-06-12 | 2023-06-12 | 款式多样的实时服装动画生成方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116740240A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117436152A (zh) * | 2023-12-13 | 2024-01-23 | 高密市真又美服装有限公司 | 一种参数可调整的服装工艺模块化设计方法及系统 |
-
2023
- 2023-06-12 CN CN202310689768.3A patent/CN116740240A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117436152A (zh) * | 2023-12-13 | 2024-01-23 | 高密市真又美服装有限公司 | 一种参数可调整的服装工艺模块化设计方法及系统 |
CN117436152B (zh) * | 2023-12-13 | 2024-03-22 | 高密市真又美服装有限公司 | 一种参数可调整的服装工艺模块化设计方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110211196B (zh) | 一种基于姿势引导的虚拟试穿方法及装置 | |
US10347041B2 (en) | System and method for simulating realistic clothing | |
Guan et al. | Drape: Dressing any person | |
Cao et al. | Dreamavatar: Text-and-shape guided 3d human avatar generation via diffusion models | |
Tak et al. | A physically-based motion retargeting filter | |
Ma et al. | Modeling style and variation in human motion | |
CN110599573B (zh) | 一种基于单目相机的人脸实时交互动画的实现方法 | |
WO2016207311A1 (en) | Skinned multi-person linear model | |
CN100386778C (zh) | 基于平均脸和衰老比例图的人脸图像年龄变换方法 | |
Liu et al. | The path of film and television animation creation using virtual reality technology under the artificial intelligence | |
CN116740240A (zh) | 款式多样的实时服装动画生成方法 | |
Yu et al. | Regression-based facial expression optimization | |
CN110310351A (zh) | 一种基于草图的三维人体骨骼动画自动生成方法 | |
CN113393550A (zh) | 一种姿态和纹理引导的时尚服装设计合成方法 | |
Etemad et al. | Expert-driven perceptual features for modeling style and affect in human motion | |
CN101515373A (zh) | 竞技性交互式动画生成方法 | |
CN102231209A (zh) | 基于异构特征降维的二维角色卡通生成方法 | |
Zhang et al. | Finemogen: Fine-grained spatio-temporal motion generation and editing | |
Liu et al. | Modeling Realistic Clothing from a Single Image under Normal Guide | |
CN115035269A (zh) | 基于变分自编码器的三维服装变形预测方法 | |
CN103116901B (zh) | 基于运动特征的人体运动插值计算方法 | |
Zhou et al. | Hierarchical learning recurrent neural networks for 3D motion synthesis | |
CN112017265B (zh) | 一种基于图神经网络的虚拟人运动仿真方法 | |
Diao et al. | Combating Spurious Correlations in Loose‐fitting Garment Animation Through Joint‐Specific Feature Learning | |
Xia et al. | Keyframe-editable real-time motion synthesis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |