CN112017265A - 一种基于图神经网络的虚拟人运动仿真方法 - Google Patents

Abstract

本发明公开了一种基于图神经网络的虚拟人运动仿真方法，其步骤为：1）获取或采集动作捕捉数据并预处理成图数据结构形式；2）使用预处理后的图数据结构的动作数据训练结合门控模块的图神经网络；3）根据虚拟人状态和用户输入构建当前帧的特征图；4）使用结合门控模块的图神经网络根据当前帧的特征图通过回归方式预测下一帧的特征图；5）根据预测特征图，生成虚拟人移动姿态。应用本发明能够实时地控制虚拟人与虚拟环境交互，增强了现有方法对虚拟环境交互的鲁棒性，大幅提升了虚拟人运动的真实感。

Description

一种基于图神经网络的虚拟人运动仿真方法

技术领域

本发明属于计算机图形学领域，具体地说是一种基于图神经网络的虚拟人运动仿真方法，其部分技术包括动作数据的图数据结构表示、图神经网络结构、图神经网络训练方法和实时控制方法等。

背景技术

虚拟人的运动一直以来都是计算机图形学领域的一个重要的研究方向，在游戏开发与电影制作等计算机图形领域有着广泛的应用前景。传统的虚拟人动画使用运动捕捉设备对真人运动进行采集，能够在大多数情况下播放具有真实感的动作，但它的局限性在于无法在不同的动作片段间进行具有真实感的过渡。基于动作匹配的方法能够从真实数据片段中选择并播放最相似的动作，但其动作片段间的过渡效果会受到动作片段数据库中动作片段质量的制约。现有的方法无法完全解决虚拟人运动过渡过程中存在的问题。

随着对真实感的进一步需求，通过采集并播放动作数据的方法已满足不了大众的视觉体验。因而需要从动作数据中分析动作变化规律，使得在任意的人体姿态下都能够生成具有真实感的动作，这样对大众的视觉体验来说将会是一个巨大的提升。

最近在深度学习和神经网络方面的发展显示出了解决这些问题的潜力。神经网络能够从非常大的、高维的数据集中学习规律，并以较低的内存占用和较快的执行时间解决问题。相比人工神经网络，图神经网络能够聚合所关注的节点的特征信息，使得网络不容易被无关数据干扰，提升了网络的学习能力。将图神经网络应用于虚拟人运动，其重点在于使用图神经网络学习人体运动中的动作变化规律，在实际使用中准确地预测出虚拟人每个骨骼节点下一帧的位置。此外，门控网络能识别出高维数据中的模态，对不同模态使用不同的神经网络解决问题，因而更容易从数据中习得规律。引入门控网络能够准确识别出虚拟人运动的动作与相位，能够避免不同动作的变化规律的干扰，提升虚拟人运动预测的准确度。将门控网络与图神经网络结合能够进一步学习人体运动中的动作变化规律，从而产生更真实的虚拟人运动，提升视觉体验。

发明内容

本发明的目的在于将真实的人体动作变化规律引入到虚拟人的运动仿真中，提出了一种基于图神经网络的虚拟人仿真方法。该方法引入图神经网络，用于学习动作捕捉数据中的人体动作变化规律，并预测虚拟人未来的运动姿态，取得了更加真实的效果。

实现本发明目的的具体技术方案是：

一种基于图神经网络的虚拟人运动仿真方法，其特征在于，该方法包括以下步骤：

a)根据虚拟人状态和用户输入构建当前帧的特征图

首先根据目标虚拟人骨骼关节连接图，建立关节点邻接矩阵H；获取每个关节点的位置与旋转数据，建立每个关节点的特征向量，根据关节点邻接矩阵构建初始特征图；然后根据当前目标虚拟人的状态和用户输入获取实时控制数据，实时控制数据包括：轨迹特征图T和动作状态标识S；最后将轨迹特征图和动作状态标识添加至初始特征图，得到当前帧的特征图G；该特征图G用以下形式表示：

G＝(V,E,S) (1)

V＝{v_i|i＝1,…,N}∪{v_t|t＝1,…,T} (2)

E＝{v_iv_j|i,j＝1,…,N,H_ij＝1}∪{v_tv_t+1|t＝1,…,T-1} (3)

v＝{p_x,p_y,p_z,r_x,r_y,r_z,r_w∈R} (4)

S＝{S₁,S₂,S₃,S₄,S₅∈R} (5)

公式(1)中V为每个骨骼关节的特征向量的集合，E为骨骼关节的连接关系的集合，S为使用01编码表示的动作状态标识；

公式(2)中v_i表示第i个关节点，v_t表示第t帧的根节点，N为骨骼关节总数，T为该特征图包含的帧数；

公式(3)中H为关节点邻接矩阵，H_ij＝1表示关节i与关节j连接，H_ij＝0表示关节i与关节j不连接；

公式(4)中v表示关节的特征向量，其中p_x,p_y,p_z表示关节相对于根节点的坐标，r_x,r_y,r_z,r_w表示关节相对于根节点的旋转四元数，p_x,p_y,p_z,r_x,r_y,r_z,r_w∈R表示这些值是标量；

公式(5)中S₁表示空闲，S₂表示走路，S₃表示跑步，S₄表示跳跃，S₅表示蹲下；若该特征图的动作状态为空闲，则此时空闲状态对应的动作状态标识为1，其余动作状态为 0；

b)使用结合门控模块的图神经网络根据当前帧的特征图通过回归方式预测下一帧的特征图

所述的图神经网络包含门控网络、结构矩阵与预测网络；

门控网络的输入包括特征图G的第3、6、10、13、16个节点和动作状态标识，其结构包括全连接层和softmax层；所述全连接层将特征信息转换成混合权重，所述softmax 层对混合权重进行标准化；门控网络的输出结果为结构矩阵的混合权重和预测网络的混合权重；门控网络用以下形式表示：

ELU(x)＝max(x,0)+exp(min(x,0))-1 (7)

公式(6)中

为以

为参数、x为输入数据的门控网络，W₀,W₁,W₂,b₀,b₁,b₂为对应的网络参数，表示某一层所使用的权重矩阵和偏移向量，其维数通常根据经验决定，ELU()是一种激活函数；

公式(7)中max(x,0)表示取x与0中较大的数，min(x,0)表示取x与0中较小的数，exp()是指数函数；

公式(8)、(9)中α为结构矩阵的混合权重，β为预测网络的混合权重，K为超参数，表示结构矩阵和预测网络的数量；softmax(x,a,b)表示对数据x的第a至b个数(不包含b)进行softmax操作；

预测网络的输入为不包含动作状态标识的特征图G，其结构为K个结构矩阵和K个预测网络；每个预测网络包括多个局部图卷积层；该局部图卷积层能根据结构矩阵决定特征图中节点的特征信息的传播范围，并将特征信息传播至对应节点；预测网络用以下形式表示：

公式(10)中

为以

为参数、x′为输入数据的图卷积网络， W′₀,W′₁,W′₂,b′₀,b′₁,b′₂为对应的网络参数，表示某一层所使用的权重矩阵和偏移向量，其维数通常根据经验决定；

公式(11)中M为经过α混合后的结构矩阵，round是四舍五入操作函数，K为超参数，表示结构矩阵和预测网络的数量，m_i为第i个结构矩阵；

公式(12)、(13)中W′和b′是经过β混合后的预测网络参数，w″_i与b″_i是第i个预测网络参数；⊙表示：若左值为1，则返回右值，否则返回0；

采用所述图神经网络预测特征图时，首先将特征图的第3、6、10、13、16个节点和动作状态标识输入门控网络，得到混合权重α与β；根据生成的混合权重，线性混合K个结构矩阵和K个预测网络，得到混合后的当前帧的1个结构矩阵和1个预测网络；接着将不包含动作状态标识的特征图G输入所得的1个预测网络，根据所得的1个结构矩阵预测出下一帧的特征图G′；

c)根据预测特征图，生成虚拟人移动姿态

预测所得的特征图G′包含每个关节点的特征向量和轨迹特征图，但不包含动作状态标识，其骨骼关节的连接关系也不会被使用；

根据特征图G′分析虚拟人各个关节点的位置与旋转四元数，将关节点移动至以根节点为世界坐标中心的对应位置，将关节点旋转至以根节点为旋转中心的对应位置，再将上一帧保留的根节点移动偏移量添加至当前根节点，即可完成目标虚拟人的移动。

本发明的有益效果：

本发明使用图数据结构表示动作捕捉数据，在虚拟人运动仿真技术上引入了图神经网络结构进行动作预测，因而能够在实际的运动仿真过程中考虑了真实的人体动作变化规律带来的影响。与现有的虚拟人运动技术相比，本发明对现有技术中动画间的过渡进行了优化，生成了更加符合虚拟人状态的动作，从而形成了一个更加真实的虚拟人运动仿真框架。

应用本发明可以快速地构建基于图神经网络的虚拟人运动仿真框架，可以鲁棒地生成自然的虚拟人运动姿态，使用户的视觉体验有所提升。

附图说明

图1为本发明的流程图；

图2为本发明所使用的虚拟人特征图的示意图；

图3为本发明的一个具体实施例的示意图；

图4为本发明的又一个具体实施例的示意图。

具体实施方式

以下结合附图及实施例对本发明进行详细描述。

本发明包括以下步骤：

1)获取或采集动作捕捉数据并预处理成图数据结构形式

使用通用的BVH格式数据或使用动作捕捉设备采集并导出BVH格式数据作为动作片段。该格式数据的静态部分包含骨骼关节点连接关系，动态部分包含每帧的每个骨骼关节点的位置和旋转信息。数据预处理过程将针对每个动作片段进行。首先根据目标虚拟人骨骼关节连接关系，建立关节点邻接矩阵。对每个关节点找到其位置与旋转数据，建立特征向量，得到每个动作片段对应的图时空数据，接着对每个图时空数据分片，以每12个连续帧为一组，将该数据切片成多个12帧的片段。然后再对除了第6帧以外的帧进行裁剪，仅保留其根节点对应的数据，对12帧的根节点数据进行连接，得到所需的动作切片。最后把相邻两个动作切片作为特征图组成训练集和测试集，用于训练神经网络。

2)使用预处理后的图数据结构的动作数据训练结合门控模块的图神经网络

使用图神经网络对训练集进行回归预测任务的训练，通过测试集评估训练得到的图神经网络的预测的准确性。

该网络的输入数据是第i帧的特征图，输出数据是第i+1帧的特征图。

该网络包含门控网络部分与预测网络部分。门控网络的输入包括特征图G的第3、6、 10、13、16个节点和动作状态标识，其结构包括全连接层和softmax层。所述全连接层将特征信息转换成混合权重，所述softmax层对混合权重进行标准化。门控网络的输出结果为结构矩阵的混合权重和预测网络的混合权重。预测网络的输入为不包含动作状态标识的特征图G，其结构为K个结构矩阵和K个预测网络。每个预测网络包括多个局部图卷积层。该局部图卷积层能根据结构矩阵决定特征图中节点的特征信息的传播范围，并将特征信息传播至对应节点。

该网络设置超参数K为8，即共存在8个结构矩阵和8个预测网络。

训练时采用Adam优化方法动态调整学习率，学习率被设置为0.0001。采用Adam优化方法能减小训练集中图神经网络的输出和目标输出的差异，得到更准确的图神经网络的参数，并能起到加速训练的效果。

3)根据虚拟人状态和用户输入构建当前帧的特征图

首先根据目标虚拟人骨骼关节连接图，建立关节点邻接矩阵H。获取每个关节点的位置与旋转数据，建立每个关节点的特征向量，根据关节点邻接矩阵构建初始特征图。然后根据当前目标虚拟人的状态和用户输入获取实时控制数据，实时控制数据包含两个部分：轨迹特征图和动作状态标识。轨迹特征图由上一帧的预测轨迹和玩家控制轨迹混合而成。动作状态标识可以通过用户输入来改变。最后将轨迹特征图和动作状态标识添加至初始特征图，得到当前帧的特征图。

4)使用结合门控模块的图神经网络根据当前帧的特征图通过回归方式预测下一帧的特征图

采用所述图神经网络预测特征图时，首先将特征图的第3、6、10、13、16个节点和动作状态标识输入门控网络，得到混合权重α与β。根据生成的混合权重，线性混合K个结构矩阵和K个预测网络，得到混合后的当前帧的1个结构矩阵和1个预测网络。接着将不包含动作状态标识的特征图G输入所得的1个预测网络，根据所得的1个结构矩阵预测出下一帧的特征图。

5)根据预测特征图，生成虚拟人移动姿态

根据该特征图分析虚拟人各个关节点的位置与旋转四元数，将关节点移动至以根节点为世界坐标中心的对应位置，将关节点旋转至以根节点为旋转中心的对应位置，再将上一帧保留的根节点移动偏移量添加至当前根节点，即可完成目标虚拟人的移动。

实施例

本发明基于图神经网络的虚拟人运动仿真方法，其流程与效果展示如下：

图1为本发明的流程图，如图1所示，所述方法包括：获取或采集动作捕捉数据并进行数据预处理；使用预处理后的动作数据训练网络；根据虚拟人状态构建当前帧的特征图；使用图神经网络根据当前帧的特征图来预测下一帧的特征图；根据预测特征图，生成虚拟人移动姿态。

图2为本发明所使用的特征图的示意图，其主要包括虚拟人骨骼关节连接图和虚拟人骨骼根节点移动轨迹特征图，其中t0表示第0帧的根节点特征向量。

图3为本发明的一个具体实施例的示意图。在该实施例中，虚拟人进行了多种不同的动作：空闲(图3-a)，走路(图3-b)，跑步(图3-c)，左转(图3-d)，右转(图3-e)，蹲下(图3-f)。这些动作是人类行走时的常见动作，由此可以看出本方法能够生成接近真实动作捕捉数据的多种稳定姿态。

图4为本发明的又一个具体实施例的示意图。在该实施例中，虚拟人进行了环状行走，这些动作是人类行走时的常见动作，由此可以看出本方法能够生成流畅且接近真实动作捕捉数据的走路、左转、右转行为。

最后，对不同的骨骼分别用普通人工神经网络、门控人工神经网络和本方法学习动作捕捉数据。下表给出了在几乎相同的超参数，接近的网络参数量下，各个神经网络训练得到的最小误差值，可以看到本方法有数倍的提升。

	普通人工神经网络	门控人工神经网络	本方法
				人体(关节数：17)	0.13	0.08	0.012
狗(关节数：27)	0.14	0.1	0.015

以上列举的仅是本发明的具体实施例。显然，本发明不限于以上实施例，还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。

Claims (1)

1.一种基于图神经网络的虚拟人运动仿真方法，其特征在于，该方法包括以下步骤：

a)根据虚拟人状态和用户输入构建当前帧的特征图

首先根据目标虚拟人骨骼关节连接图，建立关节点邻接矩阵H；获取每个关节点的位置与旋转数据，建立每个关节点的特征向量，根据关节点邻接矩阵构建初始特征图；然后根据当前目标虚拟人的状态和用户输入获取实时控制数据，实时控制数据包括：轨迹特征图T和动作状态标识S；最后将轨迹特征图和动作状态标识添加至初始特征图，得到当前帧的特征图G；该特征图G用以下形式表示：

G＝(V,E,S) (1)

V＝{v_i|i＝1,…,N}∪{v_t|t＝1,…,T} (2)

E＝{v_iv_j|i,j＝1,…,N,H_ij＝1}∪{v_tv_t+1|t＝1,…,T-1} (3)

v＝{p_x,p_y,p_z,r_x,r_y,r_z,r_w∈R} (4)

S＝{S₁,S₂,S₃,S₄,S₅∈R} (5)

公式(1)中V为每个骨骼关节的特征向量的集合，E为骨骼关节的连接关系的集合，S为使用01编码表示的动作状态标识；

公式(2)中v_i表示第i个关节点，v_t表示第t帧的根节点，N为骨骼关节总数，T为该特征图包含的帧数；

公式(3)中H为关节点邻接矩阵，H_ij＝1表示关节i与关节j连接，H_ij＝0表示关节i与关节j不连接；

公式(4)中v表示关节的特征向量，其中p_x,p_y,p_z表示关节相对于根节点的坐标，r_x,r_y,r_z,r_w表示关节相对于根节点的旋转四元数，p_x,p_y,p_z,r_x,r_y,r_z,r_w∈R表示这些值是标量；

公式(5)中S₁表示空闲，S₂表示走路，S₃表示跑步，S₄表示跳跃，S₅表示蹲下；若该特征图的动作状态为空闲，则此时空闲状态对应的动作状态标识为1，其余动作状态为0；

b)使用结合门控模块的图神经网络根据当前帧的特征图通过回归方式预测下一帧的特征图

所述的图神经网络包含门控网络、结构矩阵与预测网络；

门控网络的输入包括特征图G的第3、6、10、13、16个节点和动作状态标识，其结构包括全连接层和softmax层；所述全连接层将特征信息转换成混合权重，所述softmax层对混合权重进行标准化；门控网络的输出结果为结构矩阵的混合权重和预测网络的混合权重；门控网络用以下形式表示：

ELU(x)＝max(x,0)+exp(min(x,0))-1 (7)

公式(6)中

为以

为参数、x为输入数据的门控网络，W₀,W₁,W₂,b₀,b₁,b₂为对应的网络参数，表示某一层所使用的权重矩阵和偏移向量，其维数通常根据经验决定，ELU()是一种激活函数；

公式(7)中max(x,0)表示取x与0中较大的数，min(x,0)表示取x与0中较小的数，exp()是指数函数；

公式(8)、(9)中α为结构矩阵的混合权重，β为预测网络的混合权重，K为超参数，表示结构矩阵和预测网络的数量；softmax(x,a,b)表示对数据x的第a至b个数(不包含b)进行softmax操作；

预测网络的输入为不包含动作状态标识的特征图G，其结构为K个结构矩阵和K个预测网络；每个预测网络包括多个局部图卷积层；该局部图卷积层能根据结构矩阵决定特征图中节点的特征信息的传播范围，并将特征信息传播至对应节点；预测网络用以下形式表示：

公式(10)中

为以

为参数、x′为输入数据的图卷积网络，W′₀,W′₁,W′₂,b′₀,b′₁,b′₂为对应的网络参数，表示某一层所使用的权重矩阵和偏移向量，其维数通常根据经验决定；

公式(11)中M为经过α混合后的结构矩阵，round是四舍五入操作函数，K为超参数，表示结构矩阵和预测网络的数量，m_i为第i个结构矩阵；

公式(12)、(13)中W′和b′是经过β混合后的预测网络参数，w″_i与b″_i是第i个预测网络参数；⊙表示：若左值为1，则返回右值，否则返回0；

采用所述图神经网络预测特征图时，首先将特征图的第3、6、10、13、16个节点和动作状态标识输入门控网络，得到混合权重α与β；根据生成的混合权重，线性混合K个结构矩阵和K个预测网络，得到混合后的当前帧的1个结构矩阵和1个预测网络；接着将不包含动作状态标识的特征图G输入所得的1个预测网络，根据所得的1个结构矩阵预测出下一帧的特征图G′；

c)根据预测特征图，生成虚拟人移动姿态

预测所得的特征图G′包含每个关节点的特征向量和轨迹特征图，但不包含动作状态标识，其骨骼关节的连接关系也不会被使用；

根据特征图G′分析虚拟人各个关节点的位置与旋转四元数，将关节点移动至以根节点为世界坐标中心的对应位置，将关节点旋转至以根节点为旋转中心的对应位置，再将上一帧保留的根节点移动偏移量添加至当前根节点，即可完成目标虚拟人的移动。

Images