CN111724459A - 一种面向异构人体骨骼的运动重定向的方法及系统 - Google Patents
一种面向异构人体骨骼的运动重定向的方法及系统 Download PDFInfo
- Publication number
- CN111724459A CN111724459A CN202010572534.7A CN202010572534A CN111724459A CN 111724459 A CN111724459 A CN 111724459A CN 202010572534 A CN202010572534 A CN 202010572534A CN 111724459 A CN111724459 A CN 111724459A
- Authority
- CN
- China
- Prior art keywords
- motion
- role
- function value
- constraint
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 457
- 238000000034 method Methods 0.000 title claims abstract description 51
- 210000000988 bone and bone Anatomy 0.000 claims description 53
- 125000004122 cyclic group Chemical group 0.000 claims description 29
- 238000005457 optimization Methods 0.000 claims description 29
- 238000006073 displacement reaction Methods 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 18
- 238000013507 mapping Methods 0.000 claims description 14
- 239000012634 fragment Substances 0.000 claims description 13
- 238000010276 construction Methods 0.000 claims description 9
- 230000000644 propagated effect Effects 0.000 claims description 8
- 230000000149 penetrating effect Effects 0.000 claims description 6
- 230000026058 directional locomotion Effects 0.000 claims 1
- 230000006870 function Effects 0.000 description 197
- 238000010586 diagram Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 8
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 2
- 210000003423 ankle Anatomy 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 241000282461 Canis lupus Species 0.000 description 1
- 241001522296 Erithacus rubecula Species 0.000 description 1
- 241000949477 Toona ciliata Species 0.000 description 1
- 210000000784 arm bone Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 210000002683 foot Anatomy 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000011541 reaction mixture Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及一种面向异构人体骨骼的运动重定向的方法及系统，所述方法包括：获取源角色运动数据和目标角色骨架；将所述源角色运动数据和所述目标角色骨架输入到所述异构重定向网络，得到重定向到目标骨架的运动数据。本发明中的上述方法关于异构人体骨骼运动的重定向方法和系统可以实现将源角色运动重定向到目标角色上，并使其满足目标角色骨架结构和人体运动学特征。
Description
技术领域
本发明涉及计算机三维动画领域，特别是涉及一种面向异构人体骨骼的运动重定向的方法及系统。
背景技术
近年来，利用三维人体骨骼运动数据制作的计算机动画、游戏等颇受现代人的喜爱，其给人们带来了前所未有的视觉体验和感受，如电影《阿丽塔·战斗天使》、《头号玩家》和2019年最受欢迎游戏《只狼》。虽然利用这种运动数据制作出来的角色动画很受欢迎，但是该类数据制作过程却是十分困难的，目前该类骨骼运动数据的骨骼数据制作采用动捕设备采集的运动数据。但是，由于角色拓扑结构的多样性，需要将采集的动画映射到拓扑结构不同骨架上，即需要异构重定向方法。异构重定向是指将源角色的运动特征迁移到一个与其骨骼拓扑结构不同的角色上，即在保证原始运动特征的前提下，结合目标角色的骨骼拓扑结构对源数据进行编辑和修改的过程。
发明内容
本发明的目的是提供一种面向异构人体骨骼的运动重定向的方法及系统，以人体运动为基础进行运动重定向。
为实现上述目的，本发明提供了如下方案：
一种面向异构人体骨骼的运动重定向的方法，所述方法包括：
构建异构重定向网络；
获取源角色运动数据和目标角色骨架；所述源角色运动数据为以关节位置坐标表示的运动片段；
将所述源角色运动数据和所述目标角色骨架输入到异构重定向网络，得到重定向到目标骨架的运动数据。
可选的，所述异构重定向网络的构建过程具体包括：
获取训练样本集合；所述训练样本集合包括多个样本对，每一样本对中含有2个异构角色运动数据，分别为A角色和B角色的运动数据片段，所述2个角色的运动数据片段无相关联系，动作无需同步；
训练环形生成网络；所述环形生成网络包括：2个生成网络模型，所述2个生成网络模型分别实现A角色运动数据重定向到B角色骨架上，记为RAB生成网络模型，B角色运动数据重定向到A角色骨架上，记为RBA生成网络模型；
以循环一致性约束函数值、重定向运动约束函数值最小化为优化目标，采用所述训练样本集合训练所述环形生成网络获得异构重定向网络。所述重定向运动包括：重定向运动XB′和重定向运动YA′；其中XB′是A角色运动数据在经过未完成训练的生成网络RAB后所产生的运动数据片段，YA′是B角色运动数据在经过未完成训练的生成网络RBA后所产生的运动数据片段；所述循环一致性约束包括：循环骨骼长度约束和关节点位置约束；所述重定向运动约束包括：重定向运动骨骼长度约束、穿地约束、根节点位置约束、关节点位移约束。
可选的，所述以循环一致性函数值、重定向运动函数值最小化为优化目标，采用所述训练样本集合训练所述环形生成网络获得异构重定向网络具体包括：
获取循环一致性函数值阈值、重定向运动函数值阈值；所述循环一致性函数值阈值包括角色A重定向到角色B方向A->B的循环一致性函数值阈值和角色B重定向到角色A方向B->A的循环一致性约束函数值阈值；所述重定向运动函数值阈值包括：A->B方向的重定向运动函数值阈值和B->A方向重定向运动函数值阈值；
将所述A角色运动数据片段输入所述RAB生成网络模型，使A角色运动数据映射到B骨架上，得到YB′；
根据B骨架的骨骼长度和A角色运动数据的运动特征计算所述YB′运动数据的重定向运动约束函数值；
将所述YB′运动数据输入到所述RBA生成网络模型，使所述YB′运动数据片段重定向到A骨架上，获取所述YB′运动数据片段对应的重定向到A骨架上的运动数据记为XA″；
根据A角色运动数据片段特征计算所述XA″运动数据片段的循环一致性约束函数值；
将所述B角色运动数据片段输入所述RBA网络模型，使B角色运动数据映射到A骨架上，得到YA′；
根据A骨架的骨骼长度和B角色运动数据的运动特征计算所述YA′运动数据的重定向运动约束函数值；
将所述YA′运动数据输入到所述RAB生成网络模型，使所述YA′运动数据片段重定向到B骨架上，获取所述YA′运动数据片段对应的重定向到B骨架上的运动数据记为XB″；
根据B角色运动数据片段特征计算所述XB″运动数据片段的循环一致性约束函数值；
判断所述循环一致性约束函数值是否小于或者等于循环一致性函数值阈值以及所述重定向运动约束函数值是否小于或者等于重定向运动函数值阈值；所述循环一致性约束函数值包括：由XA″运动数据片段计算得的循环一致性约束函数值和由XB″运动数据片段计算得的循环一致性约束函数值；所述重定向运动约束函数值包括：由YB′运动数据计算得的重定向运动约束函数值和由YA′运动数据计算得的重定向运动约束函数值；
若是，将当前的环形生成网络确定为异构重定向网络；
若否，则根据循环一致性约束函数值和重定向运动约束函数值反向传播，利用优化算法更新网络参数，最后返回所述“将所述样本对的所述A角色运动数据片段输入所述RAB网络模型”。
可选的，根据循环一致性约束函数值和重定向运动约束函数值反向传播，利用优化算法更新网络参数具体包括：
根据公式
将循环一致性约束函数值反向传播，利用优化算法更新RAB网络模型和RBA网络模型的网络参数，其中μb表示循环一致性约束中的骨骼长度函数值权重参数，LA表示角色A的骨骼长度集合，Lbone(LA,YA″)表示骨骼长度函数值损失函数，μpos表示关节点位置函数值权重参数，Lpos(XA,XA″)表示关节位置函数值损失函数。
根据公式
将由YB′运动数据的计算的重定向运动约束函数值反向传播，利用优化算法更新RAB网络模型的网络参数，其中λb为重定向运动约束中的骨骼长度函数值权重参数，Lbone(LB,YB″)表示骨骼长度函数值损失函数,λf为穿地函数值权重参数，Lf(YB′)表示穿地函数值损失函数，λd为关节点位移函数值权重参数，Ldis(XA,YB′)表示关节点位移函数值损失函数，λr为根节点位置函数值权重参数，Lroot(YB′)表示根节点位置函数值损失函数。
上述利用公式
和
两个约束函数的函数值反向传播更新网络参数的操作是存在于角色A重定向到角色B方向中的操作，由于B->A的反向传播过程与A->B的传播过程一致，也做同样的操作，这里不再赘述。最后返回所述“将所述样本对的所述A角色运动数据片段输入所述RAB网络模型”。
本发明另外提供一种面向异构人体骨骼的运动重定向的系统，所述系统包括：
异构重定向网络构建模块，用于构建异构重定向网络；
源角色运动数据和目标角色骨架获取模块，用于获取源角色运动数据和目标角色骨架；
重定向模块，用于将所述源角色运动数据和所述目标角色骨架输入到所述异构重定向网络，得到重定向到目标骨架的运动数据。
可选的，所述异构重定向网络构建模块包括：
训练样本集合获取单元，用于获取训练样本集合；所述训练样本集合包括多个样本对，每一样本对中含有2个异构角色运动数据，分别为A角色和B角色的运动数据片段；
环形生成网络训练单元，用于训练环形生成网络；所述环形生成网络包括：2个生成网络模型，所述2个生成网络模型分别实现A角色运动数据重定向到B角色骨架上，记为RAB生成网络模型，B角色运动数据重定向到A角色骨架上，记为RBA生成网络模型；
异构重定向网络确定单元，用于以循环一致性约束函数值、重定向运动约束函数值最小化为优化目标，采用所述训练样本集合训练所述环形生成网络获得异构重定向网络；所述重定向运动包括：重定向运动XB′和重定向运动YA′；其中XB′是A角色运动数据在经过未完成训练的生成网络RAB后所产生的运动数据片段，YA′是B角色运动数据在经过未完成训练的生成网络RBA后所产生的运动数据片段；所述循环一致性约束包括：循环骨骼长度约束和关节点位置约束；所述重定向运动约束包括：重定向运动骨骼长度约束、穿地约束、根节点位置约束、关节点位移约束。
可选的，所述异构重定向网络确定单元具体包括：
阈值获取单元，用于获取循环一致性函数值阈值、重定向运动函数值阈值；所述循环一致性函数值阈值包括角色A重定向到角色B方向A->B的循环一致性函数值阈值和角色B重定向到角色A方向B->A的循环一致性约束函数值阈值；所述重定向运动函数值阈值包括：A->B方向的重定向运动函数值阈值和B->A方向重定向运动函数值阈值；
第一输入单元，用于将所述A角色运动数据片段输入所述RAB生成网络模型，使A角色运动数据映射到B骨架上，得到YB′；
第一函数值计算单元，用于根据B骨架的骨骼长度和A角色运动数据的运动特征计算所述YB′运动数据的重定向运动约束函数值；
第二输入单元，用于将所述YB′运动数据输入到所述RBA生成网络模型，使所述YB′运动数据片段重定向到A骨架上，获取所述YB′运动数据片段对应的重定向到A骨架上的运动数据记为XA″；
第二函数值计算单元，用于根据A角色运动数据片段特征计算所述XA″运动数据片段的循环一致性约束函数值；
第三输入单元，用于将所述B角色运动数据片段输入所述RBA网络模型，使B角色运动数据映射到A骨架上，得到YA′；
第三函数值计算单元，用于根据A骨架的骨骼长度和B角色运动数据的运动特征计算所述YA′运动数据的重定向运动约束函数值；
第四输入单元，用于将所述YA′运动数据输入到所述RAB生成网络模型，使所述YA′运动数据片段重定向到B骨架上，获取所述YA′运动数据片段对应的重定向到B骨架上的运动数据记为XB″；
第四函数值计算单元，用于根据B角色运动数据片段特征计算所述XB″运动数据片段的循环一致性约束函数值；
判断单元，用于判断所述循环一致性约束函数值是否小于或者等于循环一致性约束函数值阈值以及所述重定向运动约束函数值是否小于或者等于重定向运动约束函数值阈值；所述循环一致性约束函数值包括：XA″运动数据片段的循环一致性约束函数值和XB″运动数据片段的循环一致性约束函数值；所述重定向运动约束函数值包括：YB′运动数据的重定向运动约束函数值和YA′运动数据的重定向运动约束函数值；
输出单元，用于当判断结果表示是时，将当前的环形生成网络确定为异构重定向网络；
循环单元，用过当判断结果表示否时，根据循环一致性约束函数值和重定向运动约束函数值反向传播，利用优化算法更新网络参数，最后返回所述“将所述样本对的所述A角色运动数据片段输入所述RAB网络模型”。
可选的，所述循环单元具体包括：
第一更新单元，用于根据公式
将循环一致性约束函数值反向传播，利用优化算法更新RAB网络模型和RBA网络模型的网络参数，其中μb表示循环一致性约束中的骨骼长度函数值权重参数，Lbone(LA,YA″)表示骨骼长度函数值损失函数，μpos表示关节点位置函数值权重参数，Lpos(XA,XA″)表示关节位置函数值损失函数；
第二更新单元，用于根据公式
将由YB′运动数据的计算的重定向运动约束函数值反向传播，利用优化算法更新RAB网络模型的网络参数，其中λb为重定向运动约束中的骨骼长度函数值权重参数，Lbone(LB,YB″)表示骨骼长度函数值损失函数,λf为穿地函数值权重参数，Lf(YB′)表示穿地函数值损失函数，λd为关节点位移函数值权重参数，Ldis(XA,YB′)表示关节点位移函数值损失函数，λr为根节点位置函数值权重参数，Lroot(YB′)表示根节点位置函数值损失函数；
所述B->A的反向传播过程与A->B的过程相同。”
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供的面向异构人体骨骼的运动重定向方法及系统，可以实现骨骼拓扑结构不同的角色，即异构角色之间的运动重定向。本发明可实现以关节点位置的三维坐标表示的人体运动数据的异构重定向。本发明以重定向运动约束函数值和循环一致性约束函数值最小化为优化目标训练环形生成网络，这使得重定向之后的角色运动自然平滑。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种面向异构人体骨骼的运动重定向的方法流程图；
图2为本发明实施例提供的异构重定向网络的确定方法的流程图；
图3为本发明实施例提供的一种面向异构人体骨骼的运动重定向的系统结构示意图；
图4为本发明实施例提供的异构重定向网络构建模块结构示意图；
图5为本发明实施例提供面向异构人体骨骼的运动重定向的方法及系统的实施示意图；
图6(a)为本发明实施例A角色人体骨架图；
图6(b)为本发明实施例B角色人体骨架图；
图7(a)为本发明实施例目标角色重定向效果(A->B)；
图7(b)为本发明实施例目标角色重定向效果(B->A)；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种面向异构人体骨骼的运动重定向的方法及系统，以人体运动为基础进行运动重定向。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明实施例提供的面向异构人体骨骼的运动重定向的方法流程图，如图1所示，所述方法包括：
步骤101：构建异构重定向网络；
步骤102：获取源角色运动数据和目标角色骨架；
步骤103：将所述源角色运动数据和所述目标角色骨架输入到所述异构重定向网络，得到重定向到目标骨架的运动数据。
图2为本发明实施例提供的异构重定向网络的确定方法的流程图。如图2所示，异构重定向网络的确定方法包括：
步骤201：获取训练样本集合；所述训练样本集合包括多个样本对，每一样本中含有2个异构角色的运动数据片段；
步骤202：训练环形生成网络；所述环形生成网络包括2个生成网络模型；
步骤203：以循环一致性函数值、重定向运动函数值最小化为优化目标，采用所述训练样本集合训练所述环形生成网络，获得所述异构重定向网络。
本实施例中，所述训练样本集合中的数据都是以关节位置坐标表示的运动数据片段。
具体的，所述步骤202包括：
获取循环一致性函数值阈值、重定向运动函数值阈值；所述循环一致性函数值阈值包括角色A重定向到角色B方向A->B的循环一致性函数值阈值和角色B重定向到角色A方向B->A的循环一致性约束函数值阈值；所述重定向运动函数值阈值包括：A->B方向的重定向运动函数值阈值和B->A方向重定向运动函数值阈值；
将所述A角色运动数据片段输入所述RAB生成网络模型，使A角色运动数据映射到B骨架上，得到YB′；
根据B骨架的骨骼长度和A角色运动数据的运动特征计算所述YB′运动数据的重定向运动约束函数值；
将所述YB′运动数据输入到所述RBA生成网络模型，使所述YB′运动数据片段重定向到A骨架上，获取所述YB′运动数据片段对应的重定向到A骨架上的运动数据记为XA″；
根据A角色运动数据片段特征计算所述XA″运动数据片段的循环一致性约束函数值；
将所述B角色运动数据片段输入所述RBA网络模型，使B角色运动数据映射到A骨架上，得到YA′；
根据A骨架的骨骼长度和B角色运动数据的运动特征计算所述YA′运动数据的重定向运动约束函数值；
将所述YA′运动数据输入到所述RAB生成网络模型，使所述YA′运动数据片段重定向到B骨架上，获取所述YA′运动数据片段对应的重定向到B骨架上的运动数据记为XB″；
根据B角色运动数据片段特征计算所述XB″运动数据片段的循环一致性约束函数值；
判断是否满足条件：所述循环一致性约束函数值是否小于或者等于循环一致性函数值阈值以及所述重定向运动约束函数值是否小于或者等于重定向运动函数值阈值；所述循环一致性约束函数值包括：由XA″运动数据片段计算得的循环一致性约束函数值和由XB″运动数据片段计算得的循环一致性约束函数值；所述重定向运动约束函数值包括：由YB′运动数据计算得的重定向运动约束函数值和由YA′运动数据计算得的重定向运动约束函数值；
若是，将当前的环形生成网络确定为异构重定向网络；
若否，则根据公式
将循环一致性约束函数值反向传播，利用优化算法更新RAB网络模型和RBA网络模型的网络参数。
根据公式
将由YB′运动数据的计算的重定向运动约束函数值反向传播，利用优化算法更新RAB网络模型的网络参数。
上述利用公式
和
两个约束函数的函数值反向传播更新网络参数的操作是存在于角色A重定向到角色B方向中的操作，由于B->A的反向传播过程与A->B的传播过程一致，也做同样的操作，这里不再赘述。最后返回所述“将所述样本对的所述A角色运动数据片段输入所述RAB网络模型”。
图3为本发明实施例提供的一种面向异构人体骨骼的运动重定向的系统结构示意图，如图3所示，所述系统包括：
异构重定向网络构建模块301，用于构建异构重定向网络；
源角色运动数据和目标角色骨架获取模块302，用于获取源角色运动数据和目标角色骨架；
重定向模块303，用于将所述源角色运动数据和所述目标角色骨架输入到所述异构重定向网络，得到重定向到目标骨架的运动数据
图4为本发明例提供的提供的异构重定向网络的异构重定向网络构建模块结构示意图，如图4所示，异构重定向网络构建模块301包括：
训练样本集合获取单元401，用于获取训练样本集合；所述训练样本集合包括多个样本对，每一样本对中含有2个异构角色运动数据，分别为A角色和B角色的运动数据片段；
环形生成网络训练单元402，用于训练环形生成网络；所述环形生成网络包括：2个生成网络模型，所述2个生成网络模型分别实现A角色运动数据重定向到B角色骨架上，记为RAB生成网络模型，B角色运动数据重定向到A角色骨架上，记为RBA生成网络模型；
异构重定向网络确定单元403，用于以循环一致性约束函数值、重定向运动约束函数值最小化为优化目标，采用所述训练样本集合训练所述环形生成网络获得异构重定向网络；所述重定向运动包括：重定向运动XB′和重定向运动YA′；其中XB′是A角色运动数据在经过未完成训练的生成网络RAB后所产生的运动数据片段，YA′是B角色运动数据在经过未完成训练的生成网络RBA后所产生的运动数据片段；所述循环一致性约束包括：循环骨骼长度约束和关节点位置约束；所述重定向运动约束包括：重定向运动骨骼长度约束、穿地约束、根节点位置约束、关节点位移约束。
具体的，所述异构重定向网络确定单元主要包括：
阈值获取单元，用于获取循环一致性函数值阈值、重定向运动函数值阈值；所述循环一致性函数值阈值包括角色A重定向到角色B方向A->B的循环一致性函数值阈值和角色B重定向到角色A方向B->A的循环一致性约束函数值阈值；所述重定向运动函数值阈值包括：A->B方向的重定向运动函数值阈值和B->A方向重定向运动函数值阈值；
第一输入单元，用于将所述A角色运动数据片段输入所述RAB生成网络模型，使A角色运动数据映射到B骨架上，得到YB′；
第一函数值确定单元，用于根据B骨架的骨骼长度和A角色运动数据的运动特征计算所述YB′运动数据的重定向运动约束函数值；
第二输入单元，用于将所述YB′运动数据输入到所述RBA生成网络模型，使所述YB′运动数据片段重定向到A骨架上，获取所述YB′运动数据片段对应的重定向到A骨架上的运动数据记为XA″；
第二函数值计算单元，用于根据A角色运动数据片段特征计算所述XA″运动数据片段的循环一致性约束函数值；
第三输入单元，用于将所述B角色运动数据片段输入所述RBA网络模型，使B角色运动数据映射到A骨架上，得到YA′；
第三函数值计算单元，用于根据A骨架的骨骼长度和B角色运动数据的运动特征计算所述YA′运动数据的重定向运动约束函数值；
第四输入单元，用于将所述YA′运动数据输入到所述RAB生成网络模型，使所述YA′运动数据片段重定向到B骨架上，获取所述YA′运动数据片段对应的重定向到B骨架上的运动数据记为XB″；
第四函数值计算单元，用于根据B角色运动数据片段特征计算所述XB″运动数据片段的循环一致性约束函数值；
判断单元，用于判断所述循环一致性约束函数值是否小于或者等于循环一致性约束函数值阈值以及所述重定向运动约束函数值是否小于或者等于重定向运动约束函数值阈值；所述循环一致性约束函数值包括：XA″运动数据片段的循环一致性约束函数值和XB″运动数据片段的循环一致性约束函数值；所述重定向运动约束函数值包括：YB′运动数据的重定向运动约束函数值和YA′运动数据的重定向运动约束函数值；
输出单元，用于当判断结果表示是时，将当前的环形生成网络确定为异构重定向网络；
循环单元，用过当判断结果表示否时，根据循环一致性约束函数值和重定向运动约束函数值反向传播，利用优化算法更新网络参数，最后返回所述“将所述样本对的所述A角色运动数据片段输入所述RAB网络模型”。
图5为本发明实施例提供面向异构人体骨骼的运动重定向的方法及系统的实施示意图，但图5只是本发明方法和系统中角色A重定向到角色B方向部分，由于角色B重定向到角色A的方法及系统实施过程一致，所以B->A方向未画出，下边结合图5介绍本发明的具体实施过程：
(一)获取训练样本集合
所述训练样本集合包括多个样本对，每一样本对中含有2个异构角色的运动数据，为A角色和B角色的运动数据片段，两运动数据片段具有相同的帧数。所述2个角色的运动数据片段无相关联系，动作无需同步；所述角色A运动片段为XA＝{p1,…,pt,…pm}，XA记录了人体关节点运动过程中的位置变化，m表示XA包含运动片段的帧数，pt＝[(xt,1,yt,1,zt,1),…,(xt,J,yt,J,zt,J)],表示运动片段在t时刻所有骨骼节点的三维坐标信息，其中xt,i表示角色运动数据XA中第t帧时人体第i个节点的x轴坐标，yt,i表示角色运动数据XA中第t帧时人体第i个节点的y轴坐标，zt,i表示角色运动数据XA中第t帧时人体第i个节点的z轴坐标,i≤JA,JA是角色A的骨骼节点总数，A角色的骨骼长度集合为LA,
所述角色B运动片段与角色A运动数据片段的表现形式一致,JB是角色B的骨骼节点总数，B角色的骨骼长度集合为LB,
为目标角色所有的骨骼长度信息。
在本实施例中，两个数据库数据之间的差别在于其中一个数据库中的人体骨架比另一个数据库中的人体骨架多出一个骨骼节点且手臂骨骼节点结构差异较大，如图6(a)和图6(b)所示，但本发明并不仅限支持这两个数据库。
(二)训练环形生成网络
所述环形生成网络包括：2个生成网络模型，所述2个生成网络模型分别实现A角色运动数据重定向到B角色骨架上，记为RAB生成网络模型，B角色运动数据重定向到A角色骨架上，记为RBA生成网络模型，RAB是由全连接网络(FC)和双向长短时记忆网络(Bi-LSTM)组成，全连接网络和双向长短时记忆网络的个数不定，同样RBA网络模型也是类似的结构。
由于角色A重定向到角色B和角色B重定向到角色A这两个过程是并行的，为叙述方便，以角色A重定向到角色B为例。
首先将从源角色A的人体运动数据输入生成网络模型RAB，公式(1)将源角色运动数据输入生成网络模型RAB中得到重定向运动数据YB′,
YB′＝RAB(XA) (1)
根据B骨架的骨骼长度和A角色运动数据的运动特征计算所述XB′运动数据的重定向运动约束函数值，具体的重定向运动约束包括重定向运动骨骼长度约束、穿地约束、根节点位置约束和关节点位移约束：
重定向运动约束中的骨骼长度约束的损失函数为：
式(2)中，Lbone(LB,YB′)表示重定向运动约束的骨骼长度约束损失函数，m表示运动片段的总帧数，LB表示角色B的骨骼长度集合，
为LB中的元素，表示角色A第b块骨骼的长度；JB表示角色B的骨骼节点总个数，
表示重定向运动数据的第i帧人体关节点三维坐标中第b块骨骼的一个端点的位置坐标，
表示重定向运动数据的第i帧人体关节点三维坐标中所述第b块骨骼的另一个端点的位置坐标。
穿地约束函数为：
式(3)中，Lf(YB′)表示穿地约束损失函数，穿地约束对左右脚踝和脚尖共4个关节点坐标中表示高度的Z轴数值进行约束，将其与地面高度对比，
是YB′的第j号关节点坐标的Z轴数值。
关节点位移约束损失函数为：
由于A角色与B角色的拓扑结构不同，无法实现关节点一一映射。因此，本发明根据人体关节特点，将2个角色中相对位置接近的关节点设置为一组对应关节点，k表示设置关节点对的对数，首先计算源角色中选定关节点的运动位移并将其作为重定向后运动对应关节点位移的标准值，然后计算重定向后运动的对应关节点位移的函数值，
表示A角色的原始运动数据XA的选定关节的位移，
表示YB'相应的关节点的位移。
所述根节点位置约束损失函数为：
式(5)中，
表示重定向运动数据YB′在第i帧时根节点的高度，
表示重定向运动数据YB′在在第i帧时根节点应该处于的高度，由于本发明的方法是无监督模式，不存在目标角色B运动数据的真实值，所以本发明利用式(6)建立A角色与B角色根关节高度之间的比例关系：
其中，
为XA根节点的高度,即A角色根节点的z轴坐标轴，等式右侧为A骨架下半身长度与B骨架下半身长度的比值。
然后将重定向运动运动数据YB′输入生成网络模型RBA中，使该运动数据片段重定向到A骨架上，获取所述YB′运动数据片段对应的重定向到A骨架上的运动数据记为XA″，
根据A角色运动数据片段特征计算所述XA″运动数据片段的循环一致性约束函数值，具体实施过程如下：
源角色运动数据XA根据公式(1)，并且在公式(9)损失函数的约束下得到目标人物角色的运动数据YB′后，将以关节点位置坐标表示的目标角色运动数据YB′输入生成网络模型RBA中，由公式(7)：
XA″＝RBA(YB′) (7)
将其映射回原始运动源，在此对其进行骨骼长度约束和关节点位置约束，其中骨骼长度约束函数与重定向运动约束里的骨骼长度约束方法一致，只是骨骼数量不同，故不作赘述，主要介绍一下关节点位置约束。
循环一致性损失函数中的关节点位置约束损失函数为：
式(8)中，m表示运动片段的帧数，JA表示角色A的骨骼节点数，
表示运动集合XA″第i帧第j个骨骼节点的三维坐标，
表示运动集合XA第i帧第j个骨骼节点的三维坐标。
(三)确定损失函数
重定向运动约束函数：
式(9)中，λb为重定向运动约束中的骨骼长度函数值权重参数，Lbone(LB,YB″)表示骨骼长度函数值损失函数,λf为穿地函数值权重参数，Lf(YB′)表示穿地函数值损失函数，λd为关节点位移函数值权重参数，Ldis(XA,YB′)表示关节点位移函数值损失函数，λr为根节点位置函数值权重参数，Lroot(YB′)表示根节点位置函数值损失函数。
循环一致性损失函数：
式(10)中，μb表示循环一致性约束中的骨骼长度函数值权重参数，Lbone(LA,YA″)表示骨骼长度函数值损失函数，μpos表示关节点位置函数值权重参数，Lpos(XA,XA″)表示关节位置函数值损失函数。
(四)根据公式(10)将循环一致性约束函数值反向传播，利用优化算法更新RAB网络模型和RBA网络模型的网络参数。根据公式(9)将由YB′运动数据的计算的重定向运动约束函数值反向传播，利用优化算法更新RAB网络模型的网络参数，由于B->A的反向传播过程与A->B的传播过程一致，不再赘述。最后返回步骤(二)，直至循环一致性约束函数值和重定向运动约束函数值都满足其阈值，表明生成网络训练完成，获得异构重定向网络。
(五)向训练好的异构重定向网络中输入源角色运动数据和目标角色的骨骼集合，异构重定向网络将会实时输出重定向到目标角色的运动片段数据。
图7为本发明实施例目标角色重定向效果，图7中的(a)为角色A重定向到角色B的运动效果图，(b)为角色B重定向到角色A的运动效果图，可以看出本发明训练好的异构重定向网络可以实时的将一个角色的运动效果迁移到另一个与其骨骼结构不同的角色上，输出的运动效果真实自然。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (8)
1.一种面向异构人体骨骼的运动重定向的方法，其特征在于，所述方法包括：
构建异构重定向网络；
获取源角色运动数据和目标角色骨架；所述源角色运动数据为以关节位置坐标表示的运动片段；
将所述源角色运动数据和所述目标角色骨架输入到异构重定向网络，得到重定向到目标骨架的运动数据。
2.根据权利要求1所述的面向异构人体骨骼的运动重定向的方法，其特征在于，所述异构重定向网络的构建过程包括：
获取训练样本集合；所述训练样本集合包括多个样本对，每一样本对中含有2个异构角色运动数据，分别为A角色和B角色的运动数据片段；
训练环形生成网络；所述环形生成网络包括：2个生成网络模型，所述2个生成网络模型分别实现A角色运动数据重定向到B角色骨架上，记为RAB生成网络模型，B角色运动数据重定向到A角色骨架上，记为RBA生成网络模型；
以循环一致性约束函数值、重定向运动约束函数值最小化为优化目标，采用所述训练样本集合训练所述环形生成网络获得异构重定向网络；所述重定向运动包括：重定向运动XB′和重定向运动YA′；其中XB′是A角色运动数据在经过未完成训练的生成网络RAB后所产生的运动数据片段，YA′是B角色运动数据在经过未完成训练的生成网络RBA后所产生的运动数据片段；所述循环一致性约束包括：循环骨骼长度约束和关节点位置约束；所述重定向运动约束包括：重定向运动骨骼长度约束、穿地约束、根节点位置约束、关节点位移约束。
3.根据权利要求2所述的面向异构人体骨骼的运动重定向的方法，其特征在于，所述以循环一致性约束函数值、重定向运动约束函数值最小化为优化目标，采用所述训练样本集合训练所述环形生成网络获得异构重定向网络具体包括：
获取循环一致性函数值阈值、重定向运动函数值阈值；所述循环一致性函数值阈值包括角色A重定向到角色B方向A->B的循环一致性函数值阈值和角色B重定向到角色A方向B->A的循环一致性约束函数值阈值；所述重定向运动函数值阈值包括：A->B方向的重定向运动函数值阈值和B->A方向重定向运动函数值阈值；
将所述A角色运动数据片段输入所述RAB生成网络模型，使A角色运动数据映射到B骨架上，得到YB′；
根据B骨架的骨骼长度和A角色运动数据的运动特征计算所述YB′运动数据的重定向运动约束函数值；
将所述YB′运动数据输入到所述RBA生成网络模型，使所述YB′运动数据片段重定向到A骨架上，获取所述YB′运动数据片段对应的重定向到A骨架上的运动数据记为XA″；
根据A角色运动数据片段特征计算所述XA″运动数据片段的循环一致性约束函数值；
将所述B角色运动数据片段输入所述RBA网络模型，使B角色运动数据映射到A骨架上，得到YA′；
根据A骨架的骨骼长度和B角色运动数据的运动特征计算所述YA′运动数据的重定向运动约束函数值；
将所述YA′运动数据输入到所述RAB生成网络模型，使所述YA′运动数据片段重定向到B骨架上，获取所述YA′运动数据片段对应的重定向到B骨架上的运动数据记为XB″；
根据B角色运动数据片段特征计算所述XB″运动数据片段的循环一致性约束函数值；
判断所述循环一致性约束函数值是否小于或者等于循环一致性约束函数值阈值以及所述重定向运动约束函数值是否小于或者等于重定向运动约束函数值阈值；所述循环一致性约束函数值包括：XA″运动数据片段的循环一致性约束函数值和XB″运动数据片段的循环一致性约束函数值；所述重定向运动约束函数值包括：YB′运动数据的重定向运动约束函数值和YA′运动数据的重定向运动约束函数值；
若是，将当前的环形生成网络确定为异构重定向网络；
若否，则根据循环一致性约束函数值和重定向运动约束函数值反向传播，利用优化算法更新网络参数，最后返回所述“将所述样本对的所述A角色运动数据片段输入所述RAB网络模型”。
4.根据权利要求3根据循环一致性约束函数值和重定向运动约束函数值反向传播，利用优化算法更新网络参数具体包括：
根据公式
将循环一致性约束函数值反向传播，利用优化算法更新RAB网络模型和RBA网络模型的网络参数，其中μb表示循环一致性约束中的骨骼长度函数值权重参数，Lbone(LA,YA″)表示骨骼长度函数值损失函数，μpos表示关节点位置函数值权重参数，Lpos(XA,XA″)表示关节位置函数值损失函数；
根据公式
将由YB′运动数据的计算的重定向运动约束函数值反向传播，利用优化算法更新RAB网络模型的网络参数，其中λb为重定向运动约束中的骨骼长度函数值权重参数，Lbone(LB,YB″)表示骨骼长度函数值损失函数,λf为穿地函数值权重参数，Lf(YB′)表示穿地函数值损失函数，λd为关节点位移函数值权重参数，Ldis(XA,YB′)表示关节点位移函数值损失函数，λr为根节点位置函数值权重参数，Lroot(YB′)表示根节点位置函数值损失函数；
所述B->A的反向传播过程与A->B的过程相同。
5.一种面向异构人体骨骼的运动重定向的系统，其特征在于，所述系统包括：
异构重定向网络构建模块，用于构建异构重定向网络；
源角色运动数据和目标角色骨架获取模块，用于获取源角色运动数据和目标角色骨架；
重定向模块，用于将所述源角色运动数据和所述目标角色骨架输入到所述异构重定向网络，得到重定向到目标骨架的运动数据。
6.根据权利要求5所述的面向异构人体骨骼的运动重定向的系统，其特征在于，所述异构重定向网络构建模块包括：
训练样本集合获取单元，用于获取训练样本集合；所述训练样本集合包括多个样本对，每一样本对中含有2个异构角色运动数据，分别为A角色和B角色的运动数据片段；
环形生成网络训练单元，用于训练环形生成网络；所述环形生成网络包括：2个生成网络模型，所述2个生成网络模型分别实现A角色运动数据重定向到B角色骨架上，记为RAB生成网络模型，B角色运动数据重定向到A角色骨架上，记为RBA生成网络模型；
异构重定向网络确定单元，用于以循环一致性约束函数值、重定向运动约束函数值最小化为优化目标，采用所述训练样本集合训练所述环形生成网络获得异构重定向网络；所述重定向运动包括：重定向运动XB′和重定向运动YA′；其中XB′是A角色运动数据在经过未完成训练的生成网络RAB后所产生的运动数据片段，YA′是B角色运动数据在经过未完成训练的生成网络RBA后所产生的运动数据片段；所述循环一致性约束包括：循环骨骼长度约束和关节点位置约束；所述重定向运动约束包括：重定向运动骨骼长度约束、穿地约束、根节点位置约束、关节点位移约束。
7.根据权利要求6所述的面向异构人体骨骼的运动重定向的系统，其特征在于，所述异构重定向网络确定单元具体包括：
阈值获取单元，用于获取循环一致性函数值阈值、重定向运动函数值阈值；所述循环一致性函数值阈值包括角色A重定向到角色B方向A->B的循环一致性函数值阈值和角色B重定向到角色A方向B->A的循环一致性约束函数值阈值；所述重定向运动函数值阈值包括：A->B方向的重定向运动函数值阈值和B->A方向重定向运动函数值阈值；
第一输入单元，用于将所述A角色运动数据片段输入所述RAB生成网络模型，使A角色运动数据映射到B骨架上，得到YB′；
第一函数值确定单元，用于根据B骨架的骨骼长度和A角色运动数据的运动特征计算所述YB′运动数据的重定向运动约束函数值；
第二输入单元，用于将所述YB′运动数据输入到所述RBA生成网络模型，使所述YB′运动数据片段重定向到A骨架上，获取所述YB′运动数据片段对应的重定向到A骨架上的运动数据记为XA″；
第二函数值计算单元，用于根据A角色运动数据片段特征计算所述XA″运动数据片段的循环一致性约束函数值；
第三输入单元，用于将所述B角色运动数据片段输入所述RBA网络模型，使B角色运动数据映射到A骨架上，得到YA′；
第三函数值计算单元，用于根据A骨架的骨骼长度和B角色运动数据的运动特征计算所述YA′运动数据的重定向运动约束函数值；
第四输入单元，用于将所述YA′运动数据输入到所述RAB生成网络模型，使所述YA′运动数据片段重定向到B骨架上，获取所述YA′运动数据片段对应的重定向到B骨架上的运动数据记为XB″；
第四函数值计算单元，用于根据B角色运动数据片段特征计算所述XB″运动数据片段的循环一致性约束函数值；
判断单元，用于判断所述循环一致性约束函数值是否小于或者等于循环一致性约束函数值阈值以及所述重定向运动约束函数值是否小于或者等于重定向运动约束函数值阈值；所述循环一致性约束函数值包括：XA″运动数据片段的循环一致性约束函数值和XB″运动数据片段的循环一致性约束函数值；所述重定向运动约束函数值包括：YB′运动数据的重定向运动约束函数值和YA′运动数据的重定向运动约束函数值；
输出单元，用于当判断结果表示是时，将当前的环形生成网络确定为异构重定向网络；
循环单元，用过当判断结果表示否时，根据循环一致性约束函数值和重定向运动约束函数值反向传播，利用优化算法更新网络参数，最后返回所述“将所述样本对的所述A角色运动数据片段输入所述RAB网络模型”。
8.根据权利要求7所述的面向异构人体骨骼的运动重定向的系统，其特征在于，所述循环单元具体包括：
第一更新单元，用于根据公式
将循环一致性约束函数值反向传播，利用优化算法更新RAB网络模型和RBA网络模型的网络参数，其中μb表示循环一致性约束中的骨骼长度函数值权重参数，Lbone(LA,YA″)表示骨骼长度函数值损失函数，μpos表示关节点位置函数值权重参数，Lpos(XA,XA″)表示关节位置函数值损失函数；
第二更新单元，用于根据公式
将由YB′运动数据的计算的重定向运动约束函数值反向传播，利用优化算法更新RAB网络模型的网络参数，其中λb为重定向运动约束中的骨骼长度函数值权重参数，Lbone(LB,YB″)表示骨骼长度函数值损失函数,λf为穿地函数值权重参数，Lf(YB′)表示穿地函数值损失函数，λd为关节点位移函数值权重参数，Ldis(XA,YB′)表示关节点位移函数值损失函数，λr为根节点位置函数值权重参数，Lroot(YB′)表示根节点位置函数值损失函数；
所述B->A的反向传播过程与A->B的过程相同。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010572534.7A CN111724459B (zh) | 2020-06-22 | 2020-06-22 | 一种面向异构人体骨骼的运动重定向的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010572534.7A CN111724459B (zh) | 2020-06-22 | 2020-06-22 | 一种面向异构人体骨骼的运动重定向的方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111724459A true CN111724459A (zh) | 2020-09-29 |
| CN111724459B CN111724459B (zh) | 2024-04-12 |
Family
ID=72569878
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010572534.7A Active CN111724459B (zh) | 2020-06-22 | 2020-06-22 | 一种面向异构人体骨骼的运动重定向的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111724459B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112634127A (zh) * | 2020-12-22 | 2021-04-09 | 天津大学 | 一种无监督立体图像重定向方法 |
| CN112634419A (zh) * | 2020-12-31 | 2021-04-09 | 魔珐(上海)信息科技有限公司 | 一种运动重定向方法、装置、电子设备及存储介质 |
| CN112634128A (zh) * | 2020-12-22 | 2021-04-09 | 天津大学 | 一种基于深度学习的立体图像重定向方法 |
| CN113409431A (zh) * | 2021-06-22 | 2021-09-17 | 广州方硅信息技术有限公司 | 基于运动数据重定向的内容生成方法、装置及计算机设备 |
| CN115761074A (zh) * | 2022-11-18 | 2023-03-07 | 北京优酷科技有限公司 | 动画数据处理方法、装置、电子设备及介质 |
| CN116385666A (zh) * | 2023-06-02 | 2023-07-04 | 杭州倚澜科技有限公司 | 基于反馈式循环神经网络的人体模型重定向方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110264551A (zh) * | 2019-06-20 | 2019-09-20 | 合肥工业大学 | 一种运动重定向方法及系统 |
| US20190295305A1 (en) * | 2018-03-20 | 2019-09-26 | Adobe Inc. | Retargeting skeleton motion sequences through cycle consistency adversarial training of a motion synthesis neural network with a forward kinematics layer |
-
2020
- 2020-06-22 CN CN202010572534.7A patent/CN111724459B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190295305A1 (en) * | 2018-03-20 | 2019-09-26 | Adobe Inc. | Retargeting skeleton motion sequences through cycle consistency adversarial training of a motion synthesis neural network with a forward kinematics layer |
| CN110264551A (zh) * | 2019-06-20 | 2019-09-20 | 合肥工业大学 | 一种运动重定向方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 周阳;李书杰;朱海生;刘晓平;: "面向关节坐标运动数据重定向的通用双向循环自编码器", 计算机辅助设计与图形学学报, no. 02 * |
| 谢文军;陆劲挺;刘晓平;: "语义中间骨架驱动的自动异构运动重定向", 计算机辅助设计与图形学学报, no. 05 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112634127A (zh) * | 2020-12-22 | 2021-04-09 | 天津大学 | 一种无监督立体图像重定向方法 |
| CN112634128A (zh) * | 2020-12-22 | 2021-04-09 | 天津大学 | 一种基于深度学习的立体图像重定向方法 |
| CN112634127B (zh) * | 2020-12-22 | 2022-07-29 | 天津大学 | 一种无监督立体图像重定向方法 |
| CN112634419A (zh) * | 2020-12-31 | 2021-04-09 | 魔珐(上海)信息科技有限公司 | 一种运动重定向方法、装置、电子设备及存储介质 |
| CN113409431A (zh) * | 2021-06-22 | 2021-09-17 | 广州方硅信息技术有限公司 | 基于运动数据重定向的内容生成方法、装置及计算机设备 |
| CN113409431B (zh) * | 2021-06-22 | 2022-06-03 | 广州方硅信息技术有限公司 | 基于运动数据重定向的内容生成方法、装置及计算机设备 |
| CN115761074A (zh) * | 2022-11-18 | 2023-03-07 | 北京优酷科技有限公司 | 动画数据处理方法、装置、电子设备及介质 |
| CN115761074B (zh) * | 2022-11-18 | 2023-05-12 | 北京优酷科技有限公司 | 动画数据处理方法、装置、电子设备及介质 |
| CN116385666A (zh) * | 2023-06-02 | 2023-07-04 | 杭州倚澜科技有限公司 | 基于反馈式循环神经网络的人体模型重定向方法及装置 |
| CN116385666B (zh) * | 2023-06-02 | 2024-02-27 | 杭州倚澜科技有限公司 | 基于反馈式循环神经网络的人体模型重定向方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111724459B (zh) | 2024-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111724459A (zh) | 一种面向异构人体骨骼的运动重定向的方法及系统 | |
| CN111553968B (zh) | 一种三维人体重构动画的方法 | |
| KR20220025023A (ko) | 애니메이션 처리 방법 및 장치, 컴퓨터 저장 매체 그리고 전자 디바이스 | |
| CN111223168B (zh) | 目标对象控制方法、装置、存储介质和计算机设备 | |
| CN110188700B (zh) | 基于分组回归模型的人体三维关节点预测方法 | |
| TWI473036B (zh) | The system and method of automatic adaptation of terrain to virtual terrain | |
| JPWO2019030794A1 (ja) | 情報処理装置、モデルデータ作成プログラム、モデルデータ作成方法 | |
| WO2024012007A9 (zh) | 一种动画数据生成方法、装置及相关产品 | |
| US10410393B2 (en) | Animating a virtual object in a virtual world | |
| Zeng et al. | PE-DLS: A novel method for performing real-time full-body motion reconstruction in VR based on Vive trackers | |
| Kobayashi et al. | Motion capture dataset for practical use of AI-based motion editing and stylization | |
| CN112017265B (zh) | 一种基于图神经网络的虚拟人运动仿真方法 | |
| CN115294228B (zh) | 基于模态引导的多图人体姿态生成方法及装置 | |
| CN110264551B (zh) | 一种运动重定向方法及系统 | |
| CN112149531A (zh) | 一种行为识别中人体骨骼数据的建模方法 | |
| CN116977503A (zh) | 轨迹信息处理方法、装置、计算机设备和可读存储介质 | |
| CN113192163B (zh) | 一种构建虚拟人物多模态运动的系统及方法 | |
| Dang et al. | Imitation learning-based algorithm for drone cinematography system | |
| Egges et al. | One step at a time: animating virtual characters based on foot placement | |
| CN111515959B (zh) | 一种可编程木偶表演机器人控制方法、系统及机器人 | |
| CN112435321A (zh) | 一种Leap Motion手部骨骼运动数据优化方法 | |
| CN114494341A (zh) | 一种融合时空约束的光学动作捕捉标记点实时补全方法 | |
| CN110400365A (zh) | 基于动作增量模型的动作重定向方法 | |
| CN103077545A (zh) | 一种基于路径的人体运动编辑方法 | |
| CN116570921B (zh) | 虚拟对象的姿态控制方法、装置、计算机设备、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |