CN112686976A - 骨骼动画数据的处理方法、装置及通信设备 - Google Patents
骨骼动画数据的处理方法、装置及通信设备 Download PDFInfo
- Publication number
- CN112686976A CN112686976A CN202011618347.4A CN202011618347A CN112686976A CN 112686976 A CN112686976 A CN 112686976A CN 202011618347 A CN202011618347 A CN 202011618347A CN 112686976 A CN112686976 A CN 112686976A
- Authority
- CN
- China
- Prior art keywords
- joint
- human body
- rotation amount
- virtual character
- global
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004891 communication Methods 0.000 title claims abstract description 10
- 238000003672 processing method Methods 0.000 title claims description 7
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 62
- 239000013598 vector Substances 0.000 claims abstract description 54
- 238000000034 method Methods 0.000 claims abstract description 52
- 238000003062 neural network model Methods 0.000 claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 22
- 238000013135 deep learning Methods 0.000 claims abstract description 16
- 238000007781 pre-processing Methods 0.000 claims description 25
- 210000002310 elbow joint Anatomy 0.000 claims description 23
- 210000001503 joint Anatomy 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 13
- 238000003860 storage Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 abstract description 6
- 230000036544 posture Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 238000012805 post-processing Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 238000012937 correction Methods 0.000 description 5
- 210000000245 forearm Anatomy 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明提供一种骨骼动画数据的处理方法、装置及通信设备，该方法包括：根据运动捕捉数据，得到人体各骨骼的单位方向向量；将人体各骨骼的单位方向向量输入至目标神经网络模型，获取所述目标神经网络模型输出的人体各关节的第一全局旋转量；根据人体各关节的第一全局旋转量和人体根关节的三维坐标，得到虚拟角色根关节的位置信息和所述虚拟角色各关节的第二全局旋转量；其中，所述人体根关节的三维坐标是从运动捕捉数据中提取的；根据所述虚拟角色根关节的位置信息以及所述虚拟角色各关节的第二全局旋转量，驱动虚拟角色骨骼运动；该方法利用基于深度学习确定的目标神经网络模型来实现人体骨骼的三维坐标到全局旋转量的映射。
Description
技术领域
本发明涉及通信技术领域，尤其是指一种骨骼动画数据的处理方法、装置及通信设备。
背景技术
当前动画技术领域中，基于真人姿态驱动动漫角色做动作模仿是一个研究方向。其中有一个重要环节便是将从真人关节中获取得到的3D坐标转换为对应关节的旋转矩阵，进而应用到动漫角色中，驱动模型肢体运动。传统的几何算法是直接计算向量与向量之间的旋转矩阵，但是忽视了动画人各关节应具有一定的人体动力学约束，无法保证其自然性、真实性，部分研究学者也尝试使用运动学方法对各关节施加约束，但是人为制定每个关节的约束较为繁琐，同时人工标注也无法确定各关节最适合的约束条件。
换言之，现有的基于真实人体姿态驱动虚拟人动作的技术方法中，通常将核心放在真人关节的3D坐标提取中，而在3D到动画人的关节旋转数据的转换中却采用较为简单向量间旋转矩阵的计算方法，这样很容易导致各关节不符合人体动力学，比如当右小臂向身体外侧与右大臂呈90度夹角时，大臂位置可保持不动，但是具有一定的旋转量，通过传统的向量旋转方法无法计算大臂的自转量。
现有的一种可求解满足人体关节角度约束的方案是逆运动学，能够基于末端关节的目标位置，不断调整中间关节的旋转，最终使得末端关节距离目标位置最近，在调整过程中也可以对中间关节施加部分约束，使其满足人体动力学，但是此类技术的繁琐之处在于所施加的约束必须从大量的真实数据的观察中统计出来，才能尽可能覆盖大多数解。
发明内容
本发明实施例的目的在于提供一种骨骼动画数据的处理方法、装置及通信设备，以解决传统的几何算法无法保证各关节自然性、真实性的问题。
为了解决上述问题，本发明实施例提供一种骨骼动画数据的处理方法，包括：
将人体各骨骼的单位方向向量输入至目标神经网络模型，获取所述目标神经网络模型输出的人体各关节的第一全局旋转量；
根据人体各关节的第一全局旋转量和人体根关节的三维坐标，得到虚拟角色根关节的位置信息和所述虚拟角色各关节的第二全局旋转量；其中，所述人体根关节的三维坐标是从运动捕捉数据中提取的；
根据所述虚拟角色根关节的位置信息以及所述虚拟角色各关节的第二全局旋转量，驱动虚拟角色骨骼运动。
其中，所述根据所述虚拟角色根关节的位置信息以及所述虚拟角色各关节的第二全局旋转量，驱动虚拟角色骨骼运动，包括：
利用各关节分别对应的额外旋转量对所述第二全局旋转量进行矫正；
根据所述虚拟角色根关节的位置信息以及所述矫正后的第二全局旋转量，驱动虚拟角色骨骼运动。
其中，所述目标神经网络模型通过以下方法获得：
根据所述运动捕捉数据，得到人体各骨骼的单位方向向量；
对人体各骨骼的单位方向向量进行深度学习训练，得到所述目标神经网络模型
其中，根据运动捕捉数据，得到人体各骨骼的单位方向向量，包括：
将所述运动捕捉数据中提取的真人骨骼和虚拟角色骨骼进行骨骼对齐；
根据人体根关节的三维坐标、人体各关节相对于父关节的初始偏移量以及人体各关节的局部旋转量，确定人体各关节的全局坐标；
根据各关节的全局坐标，确定人体各骨骼的单位向量；
根据人体根关节的旋转量对骨骼的单位方向向量进行朝向矫正，得到人体各骨骼的单位方向向量。
其中，将人体各骨骼的单位方向向量输入至目标神经网络模型，获取所述目标神经网络模型输出的人体各关节的第一全局旋转量，包括：
根据人体各关节的局部旋转量以及人体各关节到根关节的关节链，计算得到人体各关节的第四全局旋转量；
根据人体根关节的旋转量对所述人体各关节的第四全局旋转量进行朝向矫正，得到人体各关节的第一全局旋转量。
其中，根据人体各关节的第一全局旋转量和人体根关节的三维坐标，得到虚拟角色根关节的位置信息和所述虚拟角色各关节的第二全局旋转量，包括：
根据人体根关节的三维坐标以及缩放系数，确定虚拟角色根关节的位置信息；所述缩放系数为真人与虚拟角色的骨骼长度比例系数；
根据人体各关节的全局旋转量以及预处理过程中使用的根关节的旋转矩阵，确定虚拟角色各关节的第二全局旋转量。
其中，若关节为肘关节，所述方法还包括：
根据肘关节的全局旋转量、预处理过程中使用的根关节的旋转量以及矫正肘关节自转使用的旋转量，确定肘关节的第二全局旋转量。
本发明实施例还提供一种骨骼动画数据的处理装置，包括：
第一确定模块，用于根据运动捕捉数据，得到人体各骨骼的单位方向向量；
第一获取模块，用于将人体各骨骼的单位方向向量输入至目标神经网络模型，获取所述目标神经网络模型输出的人体各关节的第一全局旋转量；
第二确定模块，用于根据人体各关节的第一全局旋转量和人体根关节的三维坐标，得到虚拟角色根关节的位置信息和所述虚拟角色各关节的第二全局旋转量；其中，所述人体根关节的三维坐标是从运动捕捉数据中提取的；
驱动模块，用于根据所述虚拟角色根关节的位置信息以及所述虚拟角色各关节的第二全局旋转量，驱动虚拟角色骨骼运动。
本发明实施例还提供一种通信设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序，所述处理器执行所述程序时实现如上所述的骨骼动画数据的处理方法。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的骨骼动画数据的处理方法中的步骤。
本发明的上述技术方案至少具有如下有益效果：
本发明实施例的骨骼动画数据的处理方法、装置及通信设备中，利用基于深度学习确定的目标神经网络模型来实现人体骨骼的三维坐标到全局旋转量的映射，同时为了让深度学习更加有效地学习，还通过预处理的方式缩小解空间；且通过后处理的方式进一步矫正深度学习预测结果不稳定的问题。
附图说明
图1表示本发明实施例提供的骨骼动画数据的处理方法的步骤流程示意图；
图2表示本发明实施例提供的骨骼动画数据的处理方法中目标神经网络模型的网络示意图；
图3表示本发明实施例提供的骨骼动画数据的处理装置的结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
骨骼动画是一种具有高度复杂结构的运动数据，其真实性通常直接影响到视频或者游戏中数字人的视觉效果。通常情况下，骨骼中每个关节具有不同的旋转自由度，自由度间又有不同的角度约束，且相邻骨骼间也具有铰链结构，根关节的变化通常会引起所有子关节的现有状态。因此，传统算法通常采用迭代的方法反复在约束空间内调整各关节的旋转，从而使各关节到达目标位置，同时产生较好的视觉效果，然而不同的算法具有不同的时耗和有效性，这就导致了不同应用场景中，需要衡量不同方案所能带来的代价均衡。
本发明的至少一个实施例构建了一种计算更快速、视觉效果更优的人体各关节三维坐标转全局旋转量的方法，主要基于深度学习模型强大的拟合能力，以及运动捕捉数据中三维坐标和全局旋转量的映射关系，采用深度学习提取数据分布，使用适量参数运算近似逼近全局旋转量与三维坐标位置间的具有复杂约束的映射函数。
如图1所示，本发明实施例提供一种骨骼动画数据的处理方法，包括：
步骤101，根据运动捕捉数据，得到人体各骨骼的单位方向向量；
步骤102，将人体各骨骼的单位方向向量输入至目标神经网络模型，获取所述目标神经网络模型输出的人体各关节的第一全局旋转量；
步骤103，根据人体各关节的第一全局旋转量和人体根关节的三维坐标，得到虚拟角色根关节的位置信息和所述虚拟角色各关节的第二全局旋转量；其中，所述人体根关节的三维坐标是从运动捕捉数据中提取的；
步骤104，根据所述虚拟角色根关节的位置信息以及所述虚拟角色各关节的第二全局旋转量，驱动虚拟角色骨骼运动。
其中，步骤101可以称为“预处理”、步骤102可以称为“神经网络模型推断”、步骤103可以称为“反预处理”、步骤104则可以称为“驱动”。
换言之，在对真人关键点中提取出三维坐标通过目标神经网络模型进行第一全局旋转量的预测之前，需要进行预处理，将预处理后的数据输入到目标神经网络模型，由目标神经网络模型推断出对应的第一全局旋转量，然后进入反预处理。
作为一个可选实施例，步骤104包括：
利用各关节分别对应的额外旋转量对所述第二全局旋转量进行矫正；该步骤可以称为“后处理”；
根据所述虚拟角色根关节的位置信息以及所述矫正后的第二全局旋转量，驱动虚拟角色骨骼运动。
后处理则是为了更进一步矫正人体姿态，使其更加接近由三维坐标表示的人体姿态。通常情况下，神经网络模型只能初步生成接近人体位姿的满足人体运动学约束的关节旋转，并无法精确使得旋转生成的姿态与三维坐标姿态完全相同。有两个原因：
一是因为预处理阶段仅仅尽量减小的数据的多样性，并无法使得某个姿态只有一个对应的解，如关节自传引起的旋转量变化并不会引起关节坐标的变化，比如小臂自传时，手腕的位置并不变化，但是肘关节的局部旋转量在变化。针对此类问题，本技术将大臂小臂组成平面的法向量作为手掌方向，利用肘关节的旋转，将手掌稳定在此法向量方向；相应的，脚部不用做特殊处理，因为脚掌的旋转变化范围较为有限，通常不如手掌这样灵活。将此矫正所使用的肘关节旋转量左乘到由神经网络预测的肘关节全局旋转量，即可稳定手掌朝向。
二是深度学习具有不稳定的通病，即使最准确的模型也可能产生偏差，在骨骼动画领域中通常表现为由旋转数据计算得到的骨骼方向与原始输入数据的骨骼方向具有一定偏差，但是这类偏差不会太大，因此可以使用简单的旋转做矫正。矫正流程为分别计算由旋转数据计算得到的各骨骼方向向量，以及从原始输入的三维坐标中提取的骨骼方向向量，将两个数据对应骨骼的方向向量组成平面的法向量作为旋转轴，将前者矫正到与后者一致的方向。随后将此矫正所使用的关节旋转量左乘到第一步后处理矫正后的关节旋转量上。
故本发明实施例中进一步通过后处理对第二全局旋转量进行进一步矫正。例如后处理矫正各关节使用的额外旋转量为R3，则最终用于驱动虚拟角色骨骼动画的各关节的矫正后的第二全局旋转量为：
最后在引擎(如Ogre、Unity等)中，载入虚拟角色骨骼，将上述计算得到的根关节坐标
和全局旋转量
赋予各个关节即可，与真人关节无对应关节虚拟人关节的局部旋转量保持内置局部旋转量即可。
神经网络模型推断阶段的速度在很大程度上受到模型参数、各层神经元宽度以及整个网络结构深度的影响，模型参数越多，结构越复杂，通常能够解决越复杂的问题。而为了达到快速推理的要求，本发明实施例提出一种数据预处理方法对齐每帧骨骼数据，这样可以将训练集中三维坐标和全局旋转量(也可以称为欧拉角数据)的分布范围尽量缩小，达到缩小解空间的目的，进而使得小参数量模型拟合二者间的映射成为可能。相应的，所述目标神经网络模型通过以下方法获得：
根据所述运动捕捉数据，得到人体各骨骼的单位方向向量；
对人体各骨骼的单位方向向量进行深度学习训练，得到所述目标神经网络模型。
本发明实施例中预处理过程能够消除骨骼绝对位置和朝向的差异性导致不同位姿导具有相同解的问题，因而缩小了可能的解空间，进而可以使用小模型去拟合此数据集(即运动捕捉数据集)。例如，本发明实施例使用简单的四层全连接神经网络自动学习骨骼动画3D关键点到全局旋转量转换关系中的各类人体动力学约束。其中一种示例网络结构如图2所示：
目标神经网络模型的输入即为预处理后的各骨骼的单位方向向量，在经过骨骼对齐后，通常具有11至20根骨骼，即神经元个数在33至60之间；第一隐层和第二隐层的神经元个数通常定义100至150即可；输出层包括最终用于驱动骨骼动画的欧拉角数据(也可称为全局旋转量数据)，根据骨骼数量的不同，可确定其神经元个数在36～63之间。由于预处理将输入输出对应的参数空间尽量缩小到一定范围之内，使用此类浅层神经网络拟合映射关系是可行的，同时浅层神经网络也保证了在模型使用阶段，由三维坐标推理对应旋转信息时具有较低时耗，支持实时求解。
作为一个可选实施例，根据运动捕捉数据，得到人体各骨骼的单位方向向量，包括：
将所述运动捕捉数据中提取的真人骨骼和虚拟角色骨骼进行骨骼对齐；
根据人体根关节的三维坐标、人体各关节相对于父关节的初始偏移量以及人体各关节的局部旋转量，确定人体各关节的全局坐标；
根据各关节的全局坐标，确定人体各骨骼的单位向量；
根据人体根关节的旋转量对骨骼的单位方向向量进行朝向矫正，得到人体各骨骼的单位方向向量。
本发明实施例中，包含的骨骼分为真实图片预测真人关节3D坐标的真人骨骼，以及虚拟角色模型的骨骼；真人骨骼通常比虚拟角色骨骼复杂很多，在做数据处理时必须将两类骨骼进行对齐，由于目标是将真人骨骼3D坐标转换为虚拟角色骨骼各关节的旋转量，而运动捕捉数据集通常是以虚拟角色骨骼作为基准模型，然后驱动其动作。在对齐过程中，考虑到骨骼的链式结构，当精简动画模型的骨骼时，可以将冗余骨骼的局部旋转量累计到其直接子关节的局部旋转量中。例如，a，b，c三个关节为链式的父子关系其旋转量分别为r1，r2，r3，a为b的父关节，b为c的父关节，若要消除a关节，则仅需将b关节的旋转量设置为r1·r2，c关节旋转量保持不变即可。
例如，从根关节开始，利用不同的运动捕捉设备预定义的骨骼结构、关节间的父子关系以及各关节相对父关节的初始偏移量O＝(o1，o2，…on)，依据采集到每个动作帧的人体各关节局部旋转矩阵M＝(m1，m2，…，mn)，计算出各关节的全局坐标P＝(p1，p2，…，pn)。假设从第i个关节遍历到骨骼的根关节依次经过了(i，i′，i″，1)关节，则第i个关节的全局坐标的计算方法为：pi＝m1mi″mi′mioi。
为了消除相同姿态在世界坐标系中不同位置导致的多样性，可利用骨骼两端关节的绝对坐标计算出该骨骼在世界坐标系中的方向向量，即可消除世界坐标系下相同姿态不同绝对位置的影响，同时考虑到不同的动捕数据可能来源于不同的动捕演员，其骨骼长度会有一定差异，因而可将骨骼方向向量进行单位化，将各骨骼朝向的单位向量记为V＝(v1，v2，…，vn-1)，如连接第i根骨骼两端的关节索引为i’和i”，则第i根骨骼的单位向量为：
此外，相同姿态的帧动画在位置相同但是朝向不同时，也会引起不同姿态方位具有相同的关节局部旋转数据的问题，导致数据具有一定的模糊性，解决此问题可利用根关节的朝向对骨骼的单位方向向量进行朝向矫正，设当前帧根关节的旋转量为旋转矩阵Mroot，则人体各骨骼的单位方向向量(即目标神经网络模型的输入数据)为：
相应的，本发明的至少一个实施例中，步骤102包括：
根据人体各关节的局部旋转量以及人体各关节到根关节的关节链，计算得到人体各关节的第四全局旋转量；
根据人体根关节的旋转量对所述人体各关节的第四全局旋转量进行朝向矫正，得到人体各关节的第一全局旋转量。
本发明实施例中，当骨骼在世界坐标系中的方向向量不同时，可能具有相同的局部旋转量，比如两个不同的姿态，但是大臂和小臂的夹角是固定的，那么肘关节的局部旋转数据很可能是一样的，因而为了消除这一差异性，目标神经网络模型的目标输出采用世界坐标系。由于在计算输入时，消除了根关节的位置和方向的影响，因此在利用骨骼链式结构计算出各关节在世界坐标系中的全局旋转信息后，利用根关节的旋转量再次矫正各关节的全局旋转信息。具体为：根据各关节的局部坐标以及到根关节的关节链，可以计算出各关节的第四全局旋转量r＝(r1.r2，…，rn)，如果从第i个关节遍历到根关节经过的关节为J＝(j1，j2，…，ji)，则
重新矫正后的全局旋转信息，即模型输出的人体各关节的第一全局旋转量为：
o＝Mroot·r
本发明实施例中，数据预处理过程中消除了骨骼绝对位置和朝向的差异性导致不同位姿导具有相同解的问题，因而缩小了可能的解空间，进而可以使用小模型去拟合运动捕捉数据集。
作为一个可选实施例，步骤103包括：
根据人体根关节的三维坐标以及缩放系数，确定虚拟角色根关节的位置信息；所述缩放系数为真人与虚拟角色的骨骼长度比例系数；
根据人体各关节的全局旋转量以及预处理过程中使用的根关节的旋转矩阵，确定虚拟角色各关节的第二全局旋转量。
其中，若关节为肘关节，所述方法还包括：
根据肘关节的全局旋转量、预处理过程中使用的根关节的旋转量以及矫正肘关节自转使用的旋转量，确定肘关节的第二全局旋转量。
反预处理是预处理的逆向过程，是为了还原原始输入骨骼的人体朝向和位置变化。对于位置变化，只需要将预处理阶段将骨骼矫正到正前方所使用的旋转量的逆，乘以预测结果的根关节全局旋转量即可。对于位置变化，则是考虑到3D关键点来源于真实场景，而动画骨骼来源于虚拟场景，其比例尺不同，可能导致两个场景同一个动作引起的位移量不同，因此只需要依据骨骼长度(如左腿)计算出对应的缩放系数，对根关节的偏移进行限制，即可尽量减小由于比例尺不同造成的虚拟人运动滑步现象。
例如，记人体根关节的三维坐标为d，真人与虚拟人的骨骼长度缩放系数为ratio，由神经网络模型推断的各关节的第一全局旋转量为B＝(b1，b2，…，bn)，预处理阶段矫正真人位置到正前方使用的旋转量为R1，矫正肘关节自转使用的旋转量为R2，则：
对应虚拟角色根关节位置为：
对应虚拟角色的各关节的第二全局旋转量为：
对于肘关节，矫正自转后，其第二全局旋转量为：
综上，本发明实施例考虑到深度学习具有强大的特征提取和拟合能力，以及当前大数据时代，有许多可复用的高质量运动捕捉数据，让神经网络自动学习三维坐标到全局旋转量的满足人体运动学约束的解空间，达到化繁为简的效果。同时为了让深度学习更加有效地学习，还通过预处理的方式缩小解空间；且通过后处理的方式进一步矫正深度学习预测结果不稳定的问题。
如图3所示，本发明实施例还提供一种骨骼动画数据的处理装置，包括：
第一确定模块301，用于根据运动捕捉数据，得到人体各骨骼的单位方向向量；
第一获取模块302，用于将人体各骨骼的单位方向向量输入至目标神经网络模型，获取所述目标神经网络模型输出的人体各关节的第一全局旋转量；
第二确定模块303，用于根据人体各关节的第一全局旋转量和人体根关节的三维坐标，得到虚拟角色根关节的位置信息和所述虚拟角色各关节的第二全局旋转量；其中，所述人体根关节的三维坐标是从运动捕捉数据中提取的；
驱动模块304，用于根据所述虚拟角色根关节的位置信息以及所述虚拟角色各关节的第二全局旋转量，驱动虚拟角色骨骼运动。
作为一个可选实施例，驱动模块304包括：
矫正子模块，用于利用各关节分别对应的额外旋转量对所述第二全局旋转量进行矫正；
驱动子模块，用于根据所述虚拟角色根关节的位置信息以及所述矫正后的第二全局旋转量，驱动虚拟角色骨骼运动。
作为一个可选实施例，所述装置还包括：
训练预处理模块，用于根据所述运动捕捉数据，得到人体各骨骼的单位方向向量；
模型训练模块，用于对人体各骨骼的单位方向向量进行深度学习训练，得到所述目标神经网络模型。
作为一个可选实施例，所述第一确定模块包括：
骨骼对齐子模块，用于将所述运动捕捉数据中提取的真人骨骼和虚拟角色骨骼进行骨骼对齐；
第一子模块，用于根据人体根关节的三维坐标、人体各关节相对于父关节的初始偏移量以及人体各关节的局部旋转量，确定人体各关节的全局坐标；
第二子模块，用于根据各关节的全局坐标，确定人体各骨骼的单位向量；
第三子模块，用于根据人体根关节的旋转量对骨骼的单位方向向量进行朝向矫正，得到人体各骨骼的单位方向向量。
作为一个可选实施例，所述第一获取模块包括：
第四子模块，用于根据人体各关节的局部旋转量以及人体各关节到根关节的关节链，计算得到人体各关节的第四全局旋转量；
第五子模块，用于根据人体根关节的旋转量对所述人体各关节的第四全局旋转量进行朝向矫正，得到人体各关节的第一全局旋转量。
作为一个可选实施例，所述第二确定模块包括：
第六子模块，用于根据人体根关节的三维坐标以及缩放系数，确定虚拟角色根关节的位置信息；所述缩放系数为真人与虚拟角色的骨骼长度比例系数；
第七子模块，用于根据人体各关节的全局旋转量以及预处理过程中使用的根关节的旋转矩阵，确定虚拟角色各关节的第二全局旋转量。
作为一个可选实施例，若关节为肘关节，所述装置还包括：
第八子模块，用于根据肘关节的全局旋转量、预处理过程中使用的根关节的旋转量以及矫正肘关节自转使用的旋转量，确定肘关节的第二全局旋转量。
本发明实施例考虑到深度学习具有强大的特征提取和拟合能力，以及当前大数据时代，有许多可复用的高质量运动捕捉数据，让神经网络自动学习三维坐标到全局旋转量的满足人体运动学约束的解空间，达到化繁为简的效果。同时为了让深度学习更加有效地学习，还通过预处理的方式缩小解空间；且通过后处理的方式进一步矫正深度学习预测结果不稳定的问题。
需要说明的是，本发明实施例提供的骨骼动画数据的处理装置是能够执行上述骨骼动画数据的处理方法的装置，则上述骨骼动画数据的处理方法的所有实施例均适用于该装置，且均能达到相同或相似的有益效果。
本发明实施例还提供一种通信设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述的骨骼动画数据的处理方法实施例中的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的。骨骼动画数据的处理方法实施例中的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储介质中，使得存储在该计算机可读存储介质中的指令产生包括指令装置的纸制品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上，使得计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他科编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种骨骼动画数据的处理方法，其特征在于，包括：
根据运动捕捉数据，得到人体各骨骼的单位方向向量；
将人体各骨骼的单位方向向量输入至目标神经网络模型，获取所述目标神经网络模型输出的人体各关节的第一全局旋转量；
根据人体各关节的第一全局旋转量和人体根关节的三维坐标，得到虚拟角色根关节的位置信息和所述虚拟角色各关节的第二全局旋转量；其中，所述人体根关节的三维坐标是从运动捕捉数据中提取的；
根据所述虚拟角色根关节的位置信息以及所述虚拟角色各关节的第二全局旋转量，驱动虚拟角色骨骼运动。
2.根据权利要求1所述方法，其特征在于，所述根据所述虚拟角色根关节的位置信息以及所述虚拟角色各关节的第二全局旋转量，驱动虚拟角色骨骼运动，包括：
利用各关节分别对应的额外旋转量对所述第二全局旋转量进行矫正；
根据所述虚拟角色根关节的位置信息以及所述矫正后的第二全局旋转量，驱动虚拟角色骨骼运动。
3.根据权利要求1所述的方法，其特征在于，所述目标神经网络模型通过以下方法获得：
根据所述运动捕捉数据，得到人体各骨骼的单位方向向量；
对人体各骨骼的单位方向向量进行深度学习训练，得到所述目标神经网络模型。
4.根据权利要求1或3所述的方法，其特征在于，根据运动捕捉数据，得到人体各骨骼的单位方向向量，包括：
将所述运动捕捉数据中提取的真人骨骼和虚拟角色骨骼进行骨骼对齐；
根据人体根关节的三维坐标、人体各关节相对于父关节的初始偏移量以及人体各关节的局部旋转量，确定人体各关节的全局坐标；
根据各关节的全局坐标，确定人体各骨骼的单位向量；
根据人体根关节的旋转量对骨骼的单位方向向量进行朝向矫正，得到人体各骨骼的单位方向向量。
5.根据权利要求1所述的方法，其特征在于，将人体各骨骼的单位方向向量输入至目标神经网络模型，获取所述目标神经网络模型输出的人体各关节的第一全局旋转量，包括：
根据人体各关节的局部旋转量以及人体各关节到根关节的关节链，计算得到人体各关节的第四全局旋转量；
根据人体根关节的旋转量对所述人体各关节的第四全局旋转量进行朝向矫正，得到人体各关节的第一全局旋转量。
6.根据权利要求4所述的方法，其特征在于，根据人体各关节的第一全局旋转量和人体根关节的三维坐标，得到虚拟角色根关节的位置信息和所述虚拟角色各关节的第二全局旋转量，包括：
根据人体根关节的三维坐标以及缩放系数，确定虚拟角色根关节的位置信息；所述缩放系数为真人与虚拟角色的骨骼长度比例系数；
根据人体各关节的全局旋转量以及预处理过程中使用的根关节的旋转矩阵，确定虚拟角色各关节的第二全局旋转量。
7.根据权利要求6所述的方法，其特征在于，若关节为肘关节，所述方法还包括：
根据肘关节的全局旋转量、预处理过程中使用的根关节的旋转量以及矫正肘关节自转使用的旋转量，确定肘关节的第二全局旋转量。
8.一种骨骼动画数据的处理装置，其特征在于，包括：
第一确定模块，用于根据运动捕捉数据，得到人体各骨骼的单位方向向量；
第一获取模块，用于将人体各骨骼的单位方向向量输入至目标神经网络模型，获取所述目标神经网络模型输出的人体各关节的第一全局旋转量；
第二确定模块，用于根据人体各关节的第一全局旋转量和人体根关节的三维坐标，得到虚拟角色根关节的位置信息和所述虚拟角色各关节的第二全局旋转量；其中，所述人体根关节的三维坐标是从运动捕捉数据中提取的；
驱动模块，用于根据所述虚拟角色根关节的位置信息以及所述虚拟角色各关节的第二全局旋转量，驱动虚拟角色骨骼运动。
9.一种通信设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序；其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述的骨骼动画数据的处理方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7任一项所述的骨骼动画数据的处理方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011618347.4A CN112686976A (zh) | 2020-12-31 | 2020-12-31 | 骨骼动画数据的处理方法、装置及通信设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011618347.4A CN112686976A (zh) | 2020-12-31 | 2020-12-31 | 骨骼动画数据的处理方法、装置及通信设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112686976A true CN112686976A (zh) | 2021-04-20 |
Family
ID=75453637
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011618347.4A Pending CN112686976A (zh) | 2020-12-31 | 2020-12-31 | 骨骼动画数据的处理方法、装置及通信设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112686976A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113240815A (zh) * | 2021-05-12 | 2021-08-10 | 北京大学 | 一种基于神经网络的人物网格模型自动蒙皮方法与设备 |
| CN113989928A (zh) * | 2021-10-27 | 2022-01-28 | 南京硅基智能科技有限公司 | 一种动作捕捉和重定向方法 |
| CN115761074A (zh) * | 2022-11-18 | 2023-03-07 | 北京优酷科技有限公司 | 动画数据处理方法、装置、电子设备及介质 |
| CN116206370A (zh) * | 2023-05-06 | 2023-06-02 | 北京百度网讯科技有限公司 | 驱动信息生成、驱动方法、装置、电子设备以及存储介质 |
| CN116797769A (zh) * | 2023-08-23 | 2023-09-22 | 腾讯科技（深圳）有限公司 | 一种数据处理方法、装置、计算机设备以及可读存储介质 |
| CN116805344A (zh) * | 2023-06-21 | 2023-09-26 | 支付宝(杭州)信息技术有限公司 | 一种数字人动作重定向方法及装置 |
| WO2023185703A1 (zh) * | 2022-03-28 | 2023-10-05 | 百果园技术(新加坡)有限公司 | 虚拟角色的动作控制方法、装置、设备和存储介质 |
| WO2023202015A1 (zh) * | 2022-04-22 | 2023-10-26 | 北京字跳网络技术有限公司 | 虚拟形象的控制方法、装置、设备及存储介质 |
| CN117788775A (zh) * | 2024-02-28 | 2024-03-29 | 广州趣丸网络科技有限公司 | 一种数字人手掌骨骼姿态校正方法、装置、设备及介质 |
| CN117911632A (zh) * | 2024-03-19 | 2024-04-19 | 电子科技大学 | 一种人体节点三维虚拟角色动作重构方法、设备及计算机可读存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108876881A (zh) * | 2018-06-04 | 2018-11-23 | 浙江大学 | 基于Kinect的体型自适应三维虚拟人体模型构建方法及动画系统 |
| CN109448090A (zh) * | 2018-11-01 | 2019-03-08 | 北京旷视科技有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| US20190295305A1 (en) * | 2018-03-20 | 2019-09-26 | Adobe Inc. | Retargeting skeleton motion sequences through cycle consistency adversarial training of a motion synthesis neural network with a forward kinematics layer |
| CN110472497A (zh) * | 2019-07-08 | 2019-11-19 | 西安工程大学 | 一种融合旋转量的动作特征表示方法 |
| CN110570455A (zh) * | 2019-07-22 | 2019-12-13 | 浙江工业大学 | 一种面向房间vr的全身三维姿态跟踪方法 |
| CN110992454A (zh) * | 2019-11-29 | 2020-04-10 | 南京甄视智能科技有限公司 | 基于深度学习的实时动作捕捉和三维动画生成方法与装置 |
| CN112037312A (zh) * | 2020-11-04 | 2020-12-04 | 成都市谛视科技有限公司 | 实时人体姿态逆向运动学求解方法及装置 |
-
2020
- 2020-12-31 CN CN202011618347.4A patent/CN112686976A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190295305A1 (en) * | 2018-03-20 | 2019-09-26 | Adobe Inc. | Retargeting skeleton motion sequences through cycle consistency adversarial training of a motion synthesis neural network with a forward kinematics layer |
| CN108876881A (zh) * | 2018-06-04 | 2018-11-23 | 浙江大学 | 基于Kinect的体型自适应三维虚拟人体模型构建方法及动画系统 |
| CN109448090A (zh) * | 2018-11-01 | 2019-03-08 | 北京旷视科技有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN110472497A (zh) * | 2019-07-08 | 2019-11-19 | 西安工程大学 | 一种融合旋转量的动作特征表示方法 |
| CN110570455A (zh) * | 2019-07-22 | 2019-12-13 | 浙江工业大学 | 一种面向房间vr的全身三维姿态跟踪方法 |
| CN110992454A (zh) * | 2019-11-29 | 2020-04-10 | 南京甄视智能科技有限公司 | 基于深度学习的实时动作捕捉和三维动画生成方法与装置 |
| CN112037312A (zh) * | 2020-11-04 | 2020-12-04 | 成都市谛视科技有限公司 | 实时人体姿态逆向运动学求解方法及装置 |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113240815A (zh) * | 2021-05-12 | 2021-08-10 | 北京大学 | 一种基于神经网络的人物网格模型自动蒙皮方法与设备 |
| CN113989928A (zh) * | 2021-10-27 | 2022-01-28 | 南京硅基智能科技有限公司 | 一种动作捕捉和重定向方法 |
| CN113989928B (zh) * | 2021-10-27 | 2023-09-05 | 南京硅基智能科技有限公司 | 一种动作捕捉和重定向方法 |
| WO2023185703A1 (zh) * | 2022-03-28 | 2023-10-05 | 百果园技术(新加坡)有限公司 | 虚拟角色的动作控制方法、装置、设备和存储介质 |
| WO2023202015A1 (zh) * | 2022-04-22 | 2023-10-26 | 北京字跳网络技术有限公司 | 虚拟形象的控制方法、装置、设备及存储介质 |
| CN115761074A (zh) * | 2022-11-18 | 2023-03-07 | 北京优酷科技有限公司 | 动画数据处理方法、装置、电子设备及介质 |
| CN115761074B (zh) * | 2022-11-18 | 2023-05-12 | 北京优酷科技有限公司 | 动画数据处理方法、装置、电子设备及介质 |
| CN116206370A (zh) * | 2023-05-06 | 2023-06-02 | 北京百度网讯科技有限公司 | 驱动信息生成、驱动方法、装置、电子设备以及存储介质 |
| CN116206370B (zh) * | 2023-05-06 | 2024-02-23 | 北京百度网讯科技有限公司 | 驱动信息生成、驱动方法、装置、电子设备以及存储介质 |
| CN116805344A (zh) * | 2023-06-21 | 2023-09-26 | 支付宝(杭州)信息技术有限公司 | 一种数字人动作重定向方法及装置 |
| CN116805344B (zh) * | 2023-06-21 | 2024-05-24 | 支付宝(杭州)信息技术有限公司 | 一种数字人动作重定向方法及装置 |
| CN116797769A (zh) * | 2023-08-23 | 2023-09-22 | 腾讯科技（深圳）有限公司 | 一种数据处理方法、装置、计算机设备以及可读存储介质 |
| CN116797769B (zh) * | 2023-08-23 | 2023-11-21 | 腾讯科技（深圳）有限公司 | 一种数据处理方法、装置、计算机设备以及可读存储介质 |
| CN117788775A (zh) * | 2024-02-28 | 2024-03-29 | 广州趣丸网络科技有限公司 | 一种数字人手掌骨骼姿态校正方法、装置、设备及介质 |
| CN117788775B (zh) * | 2024-02-28 | 2024-05-07 | 广州趣丸网络科技有限公司 | 一种数字人手掌骨骼姿态校正方法、装置、设备及介质 |
| CN117911632A (zh) * | 2024-03-19 | 2024-04-19 | 电子科技大学 | 一种人体节点三维虚拟角色动作重构方法、设备及计算机可读存储介质 |
| CN117911632B (zh) * | 2024-03-19 | 2024-05-28 | 电子科技大学 | 一种人体节点三维虚拟角色动作重构方法、设备及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112686976A (zh) | 骨骼动画数据的处理方法、装置及通信设备 | |
| Yuan et al. | Residual force control for agile human behavior imitation and extended motion synthesis | |
| CN109636831B (zh) | 一种估计三维人体姿态及手部信息的方法 | |
| US20190392626A1 (en) | Skinned multi-person linear model | |
| EP3939010B1 (en) | Reinforcement learning to train a character using disparate target animation data | |
| CN111292401B (zh) | 动画处理方法、装置、计算机存储介质及电子设备 | |
| Glardon et al. | PCA-based walking engine using motion capture data | |
| Lee et al. | Motion fields for interactive character locomotion | |
| US9019278B2 (en) | Systems and methods for animating non-humanoid characters with human motion data | |
| Sun et al. | Automating gait generation | |
| US8243078B2 (en) | Method and apparatus for creating a computer simulation of an actor | |
| CN111260762A (zh) | 一种动画实现方法、装置、电子设备和存储介质 | |
| CN114550292A (zh) | 一种基于神经运动控制的高物理真实感人体运动捕捉方法 | |
| CN115761117A (zh) | 一种基于star模型的三维人体重建方法及系统 | |
| JPH0887609A (ja) | 画像処理装置 | |
| CN116778045A (zh) | 神经辐射场数字人生成方法、系统及装置 | |
| Yin et al. | Data-driven interactive balancing behaviors | |
| Alvarado et al. | Generating Upper‐Body Motion for Real‐Time Characters Making their Way through Dynamic Environments | |
| CN116597056B (zh) | 一种动画处理方法、装置、设备和存储介质 | |
| Shapiro et al. | Practical character physics for animators | |
| Wang et al. | Encoder–decoder recurrent network model for interactive character animation generation | |
| US20230126829A1 (en) | Point-based modeling of human clothing | |
| Celikcan et al. | Example‐Based Retargeting of Human Motion to Arbitrary Mesh Models | |
| Wang et al. | A Generative Human-Robot Motion Retargeting Approach Using a Single RGBD Sensor. | |
| KR20010057880A (ko) | 보행 동작 변형 애니메이션 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |