CN112200895B - 一种基于深度学习的数字人布料实时解算方法 - Google Patents
一种基于深度学习的数字人布料实时解算方法 Download PDFInfo
- Publication number
- CN112200895B CN112200895B CN202011413233.6A CN202011413233A CN112200895B CN 112200895 B CN112200895 B CN 112200895B CN 202011413233 A CN202011413233 A CN 202011413233A CN 112200895 B CN112200895 B CN 112200895B
- Authority
- CN
- China
- Prior art keywords
- cloth
- layer
- output
- mesh
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于深度学习的数字人布料实时解算方法,包括以下步骤:S1:训练神经网络,训练自动编码器和全连接网络将骨骼信息映射到布料网格顶点的编码;S2:在训练完上述两个神经网络后,给定一组输入骨骼信息,首先经过全连接网络,得到布料网格顶点的编码,再经过自动编码器中的解码环节,得到输出布料网格顶点,该输出即为布料的解算结果。本发明实时计算出布料的网格顶点信息,有效避免人物模型与布料模型穿插的问题,进一步提高布料制作效率。
Description
技术领域
本发明属于动画制作技术领域,具体涉及一种基于深度学习的数字人布料实时解算方法。
背景技术
在目前的影视动画制作流程中,衣物布料的动画数据是通过建立数学物理模型模拟布料在真实场景中的动做解算出最终效果,即布料网格顶点在每一帧的三维坐标数值。建模仿真意味着计算出每一帧的网格顶点的三维坐标都要耗费大量的资源,因此目前数字人布料普遍采用离线解算的方式,即事先根据人物骨骼动画解算出每一帧布料的网格顶点信息,写入缓存,在需要使用时再调出;
由于建模仿真的解算过程的性质决定,布料的具体大小形状必须根据人物模型的改动做出相应的改动,不然会导致出现布料与人物模型穿插的现象,还需要人工手动精修。
当布料动画解算完毕后,如果后期人物骨骼动画被修改,那么其对应的布料动画需要重新计算,生成新的缓存,布料制作效率低。
发明内容
本发明的目的是提供一种基于深度学习的数字人布料实时解算方法,实时计算出布料的网格顶点信息,有效避免人物模型与布料模型穿插的问题,进一步提高布料制作效率;
本发明提供了如下的技术方案:
一种基于深度学习的数字人布料实时解算方法,包括以下步骤:
S1:训练神经网络,包括以下步骤:
S101:先用一个自动编码器来编码布料的网格顶点的三维坐标,该自动编码器网络先将高维度的网格顶点的三维坐标编码成一组低维度的隐式变量,再将低维度的隐式变量解码还原成高维度的网格顶点的三维坐标,其中低维度的隐式变量即为自动编码器对高维度的网格顶点的编码,训练时,通过第一最小化损失函数
S2:在训练完上述S101和S102两个神经网络后,给定一组输入骨骼信息,首先经过S102中的全连接网络,得到布料网格顶点的编码,再经过S101中的解码环节,得到输出布料网格顶点,该输出即为布料的解算结果;
优选的,所述自动编码器包括编码过程和解码过程,所述编码过程由若干层神经网络组成,将高维度的输入数据映射到低维度的隐式变量,实现降维或数据压缩的功能;所述解码过程也由若干层神经网络组成,将低维度的隐式变量映射到高维度的重构,且重构应当与输入数据趋于相同,实现增维或数据重构的功能;
其中,
优选的,训练S102中的全连接神经网络时,要求S101中的自动编码器已训练完毕且固定其网络参数,故将经自动编码器生成的布料网格顶点的编码视为常量,只需更新S102中全连接神经网络的参数使得与趋于相同;
本发明的有益效果是:深度神经网络可将输入端的骨骼信息映射到输出端的布料网格顶点的三维坐标,其相对轻量级的计算量能够实时计算出布料的网格顶点信息;将数字人的皮肤网格与布料的网格作为一个整体,使得数字人的骨骼能同时驱动人物皮肤网格以及布料的网格顶点的三维坐标,有效避免人物模型与布料模型穿插的问题;由于本方法能够实时解算布料,故不会出现后期人物动画被修改时需要重新计算对应的布料动画的情况,进一步提高布料制作效率。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1是本发明神经网络结构图;
图2是本发明布料解算流程图。
具体实施方式
一种基于深度学习的数字人布料实时解算方法,用神经网络取代繁杂的建模仿真,大幅降低计算成本。由于数字人所需要的动作并不复杂,故可将数字人的皮肤网格与布料网格作为一个整体,以避免解可能带来的穿插问题,无须人工手动精修;
将数字人的皮肤网格与布料网格作为一个整体,使得数字人的骨骼能够驱动布料的网格顶点的三维坐标。从骨骼到布料的网格顶点的映射关系可被视为一个复杂的非线性函数,为此使用神经网络来学习这种映射关系。将数字人的骨骼信息(旋转和平移)作为神经网络的输入,通过训练,得出对应布料的网格顶点的三维坐标。由于布料的网格顶点通常包含大量参数,直接将骨骼信息映射到网格顶点很容易导致过拟合。为了解决上述问题,训练过程经过如下改进:
a)先用一个自动编码器来编码布料的网格顶点的三维坐标。该网络先将高维度的网格顶点的三维坐标编码成一组低维度的隐式变量,再将低维度的隐式变量解码还原成高维度的网格顶点的三维坐标(如图1所示)。其中低维度的隐式变量即为自动编码器对高维度的网格顶点的编码。训练时,通过最小化损失函数
其中
让骨骼信息经过全连接网络后的输出与布料网格顶点所对应的编码相接近。【注:训练b)中的全连接神经网络时,要求a)中的自动编码器已训练完毕且固定其网络参数,故可将经自动编码器生成的布料网格顶点的编码视为常量。只需更新b)中全连接神经网络的参数使得与相接近。】
其中,自动编码器(auto-encoder)是一种特殊的神经网络结构。它主要包含两个过程:即编码(encoding)和解码(decoding)过程;
编码过程由若干层神经网络组成,通常将高维度的输入数据映射到低维度的隐式变量,实现降维/数据压缩的功能。假设输入数据是个一维向量,编码过程可用若干全连接层来表示,逐层降低输出向量的长度。假设输入数据是个长度为5000的一维向量,编码由4个全连接层构成,那么通过这些神经网络时,每一层网络输出的向量长度逐渐降低,例如5000 -> 1024 -> 512 -> 256 -> 128,最终输出一个长度为128的向量,该向量即为编码的输出:隐式变量;
解码过程也由若干层神经网络组成,通常将低维度的隐式变量映射到高维度的重构,且通常重构应当与输入数据相似,实现增维/数据重构的功能。假设隐式变量是一个一维向量,解码过程可用若干全连接层来表示,通常与编码过程所采用的神经网络相对称,逐层增加输出向量的长度。假设隐式变量是个长度为128的一维向量,解码由4个全连接层构成,那么通过这些神经网络时,每一层网络输出的向量长度逐渐增加,例如128 -> 256 -> 512 -> 1024 -> 5000,最终输出一个长度为5000的向量,该向量即为解码的输出:重构;
其中
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (4)
1.一种基于深度学习的数字人布料实时解算方法,其特征在于,包括以下步骤:
S1:训练神经网络,包括以下步骤:
S101:先用一个自动编码器来编码布料的网格顶点的三维坐标,该自动编码器先将高维度的网格顶点的三维坐标编码成一组低维度的隐式变量,再将低维度的隐式变量解码还原成高维度的网格顶点的三维坐标,其中低维度的隐式变量即为自动编码器对高维度的网格顶点的三维坐标的编码,训练时,通过第一最小化损失函数:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011413233.6A CN112200895B (zh) | 2020-12-07 | 2020-12-07 | 一种基于深度学习的数字人布料实时解算方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011413233.6A CN112200895B (zh) | 2020-12-07 | 2020-12-07 | 一种基于深度学习的数字人布料实时解算方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112200895A CN112200895A (zh) | 2021-01-08 |
CN112200895B true CN112200895B (zh) | 2021-04-16 |
Family
ID=74033809
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011413233.6A Active CN112200895B (zh) | 2020-12-07 | 2020-12-07 | 一种基于深度学习的数字人布料实时解算方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112200895B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112819930A (zh) * | 2021-02-21 | 2021-05-18 | 北京工业大学 | 一种基于前馈神经网络的实时角色服装布料动画模拟方法 |
CN113538643A (zh) * | 2021-07-26 | 2021-10-22 | 广州虎牙科技有限公司 | 一种网格模型的处理方法、存储介质以及设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105354879A (zh) * | 2015-10-12 | 2016-02-24 | 北京服装学院 | 基于质点弹簧结构的通用服装三维模型仿真方法及系统 |
CN105617655A (zh) * | 2016-01-14 | 2016-06-01 | 网易(杭州)网络有限公司 | 物理效果展示方法、装置及游戏系统 |
CN111773719A (zh) * | 2020-06-23 | 2020-10-16 | 完美世界(北京)软件科技发展有限公司 | 虚拟对象的渲染方法和装置、存储介质、电子装置 |
-
2020
- 2020-12-07 CN CN202011413233.6A patent/CN112200895B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105354879A (zh) * | 2015-10-12 | 2016-02-24 | 北京服装学院 | 基于质点弹簧结构的通用服装三维模型仿真方法及系统 |
CN105617655A (zh) * | 2016-01-14 | 2016-06-01 | 网易(杭州)网络有限公司 | 物理效果展示方法、装置及游戏系统 |
CN111773719A (zh) * | 2020-06-23 | 2020-10-16 | 完美世界(北京)软件科技发展有限公司 | 虚拟对象的渲染方法和装置、存储介质、电子装置 |
Non-Patent Citations (3)
Title |
---|
A Novel Method for Cloth-Body Collision Detection;Xiaolong Zhu;《Digital Human Modeling, HCII 2007》;20071221;全文 * |
Cloth Fitting Based on Skeleton Driving and Implicit Skinning;Ait Mouhou Abderrazzak等;《IEEE Xplore:WINCOM》;20201204;全文 * |
Motion Capture Using Joint Skeleton Tracking and Surface Estimation;Juergen Gall等;《2009 IEEE Conference on Computer Vision and Pattern Recognition》;20090625;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112200895A (zh) | 2021-01-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112200895B (zh) | 一种基于深度学习的数字人布料实时解算方法 | |
LU503090B1 (en) | A semantic segmentation system and method based on dual feature fusion for iot sensing | |
CN110322416A (zh) | 图像数据处理方法、装置以及计算机可读存储介质 | |
CN114627006B (zh) | 一种基于深度解耦网络的渐进式图像修复方法 | |
CN114610935B (zh) | 一种文本控制图像风格的语义图像合成的方法及系统 | |
CN113284203B (zh) | 基于八叉树编码和体素上下文的点云压缩及解压缩方法 | |
CN111126599A (zh) | 一种基于迁移学习的神经网络权重初始化方法 | |
CN108650509A (zh) | 一种多尺度自适应近似无损编解码方法及系统 | |
CN106934458A (zh) | 基于深度学习的多层自动编码方法及系统 | |
CN115829876A (zh) | 一种基于交叉注意力机制的真实退化图像盲修复方法 | |
CN115205488A (zh) | 一种基于隐式神经场表示的3d人体网格补全方法 | |
CN111899317A (zh) | 一种基于神经网络的运动数据重定向方法 | |
CN112700524B (zh) | 一种基于深度学习的3d角色面部表情动画实时生成方法 | |
CN117097906B (zh) | 一种区域医疗资源高效利用的方法及系统 | |
CN109889848A (zh) | 基于卷积自编码器的多描述编码、解码方法及系统 | |
CN116600119B (zh) | 视频编码、解码方法、装置、计算机设备和存储介质 | |
CN117528120A (zh) | 一种基于切片的深度学习点云几何压缩方法 | |
CN112634456A (zh) | 基于深度学习的复杂三维模型的实时高真实感绘制方法 | |
CN113223124B (zh) | 一种基于三维人体参数化模型的姿态迁移方法 | |
CN116109510A (zh) | 一种基于结构和纹理对偶生成的人脸图像修复方法 | |
CN115883850A (zh) | 基于深度残差式压缩和稀疏表征的分辨率自适应点云几何有损编码方法、装置和介质 | |
CN208522900U (zh) | 一种三维动画自编码解码装置 | |
Wang et al. | A novel multi-scale architecture driven by decoupled semantic attention transfer for person image generation | |
CN110245677A (zh) | 一种基于卷积自编码器的图像描述符降维方法 | |
CN116137050B (zh) | 三维真人模型处理方法、处理装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |