CN109584345B - 基于卷积神经网络的人体运动合成方法 - Google Patents

Abstract

本发明涉及一种基于卷积神经网络的人体运动合成方法，包括训练模型及测试模型的步骤：训练模型的步骤包括：收集的运动捕捉数据，输入到网络中进行训练；建立三层卷积神经网络模型，在三层卷积神经网络上叠加一个自编码器网络模型，将输入的运动数据进行编码，解码，训练；在卷积自编码器的隐藏单元中加入位置约束、骨长度约束、轨迹约束；在三层卷积神经网络输出之前，加入人物风格约束网络，同时训练位置约束、骨长度约束、轨迹约束、以及风格网络的提取。测试模型的步骤包括：将测试的运动数据输入到训练好的模型中，以测试数据是否能够合成运动。本发明没有数据集的要求，可以扩展到大量的数据集，进行并行的处理。

Description

基于卷积神经网络的人体运动合成方法

技术领域

本发明属于计算机动画领域，尤其涉及一种基于卷积神经网络的人体运动合成方法。

背景技术

人体运动合成技术是将科学与艺术以及现实和抽象融为一体的，它的综合性强，是一门充满挑战的前沿学科。目前，介于人物本身的复杂性以及其他相关学科领域发展的制约，人体运动合成技术还是存在许多亟待解决的问题。同时随着近年来运动捕捉技术不断的发展也产生了许多新的方法。

通过运动捕捉技术记录角色在三维空间中的运动轨迹，主要是人物角色的骨骼动作，然后通过解析这些运动数据在计算机屏幕上显示这些角色。捕捉到人物角色真实的运动数据是运动捕捉技术最大的优点，并且运动十分接近真实的人物运动。但是因为捕捉的数据缺乏灵活性，已经捕捉的运动数据为了适应新的环境，需要合成具有一定难度的新运动。为了能够将已有的运动数据重复使用节约成本，进而合成新的运动的方法得到了普遍深入的研究。

发明内容

本发明为解决上述技术问题，提供一种基于卷积神经网络的人体运动合成方法。该方法包括训练模型及测试模型的步骤：

训练模型的步骤包括：

S1：收集的运动捕捉数据，输入到网络中进行训练；

S2：建立三层卷积神经网络模型，实现高层参数与人物运动之间的回归，在三层卷积神经网络上叠加一个自编码器网络模型，将输入的运动数据进行编码，解码，训练；

S3：在卷积自编码器的隐藏单元中加入位置约束、骨长度约束、轨迹约束；

S4：在三层卷积神经网络输出之前，加入人物风格约束网络，提取运动的内容和风格。

S5：同时训练位置约束、骨长度约束、轨迹约束、以及风格网络的提取，使得损失函数达到最小，至此模型构建完毕。

测试模型的步骤：

S6：将测试的运动数据输入到训练好的模型中，以测试数据是否能够合成运动。

与现有的技术相比，本发明具有以下有益技术效果：

1)本发明没有数据集的要求，可以扩展到大量的数据集，进行并行的处理；

2)本发明不仅可以避免运动数据的过拟合的现象，保持动作的姿态，而且可以展现出符合人体惯性的动作。

3)本发明合成的人体动作看起来更加逼真自然。

附图说明

图1为人体运动合成的一般过程；

图2为本发明基于卷积神经网络的人体运动合成方法整体网络结构图；

图3为本发明中卷积神经网络的内部网络结构；

图4为本方法与文献方法的对比误差图；

图5为本方法与文献方法的运动关节比较图；

图6为本方法中老人走路与散步的两种动作的合成效果图；

其中每一幅图由四个小图构成，小图中的三个人物分别代表，左边人物是老人走路的运动；中间是人物散步的动作，右边是人物合成的结果动画。方框标注代表人物需要合成的部位，左边为要合成的动作，右边为要合成人物的运动方向和路径；

图7为本方法僵尸走路与散步的两种动作的合成效果图；

其中每一幅图由四个小图构成，小图中的三个人物分别代表，左边人物是僵尸走路的运动；中间是人物散步的动作，右边是人物合成的结果动画。方框标注代表人物需要合成的部位，左边为要合成的动作，右边为要合成人物的运动方向和路径；

图8为本方法老人走路与跑步的两种动作的合成效果图；

其中每一幅图由四个小图构成，小图中的三个人物分别代表，左边人物是老人走路的运动；中间是人物跑步的动作，右边是人物合成的结果动画。方框标注代表人物需要合成的部位，左边为要合成的动作，右边为要合成人物的运动方向和路径；

图9为本方法猴子走路与跑步的两种动作的合成效果图；

其中每一幅图由四个小图构成，小图中的三个人物分别代表，左边人物是猴子走路的运动；中间是人物跑步的动作，右边是人物合成的结果动画。方框标注代表人物需要合成的部位，左边为要合成的动作，右边为要合成人物的运动方向和路径；

图10为本方法僵尸走路与跑步的两种动作的合成效果图；

其中每一幅图由四个小图构成，小图中的三个人物分别代表，左边人物是僵尸走路的运动；中间是人物跑步的动作，右边是人物合成的结果动画。方框标注代表人物需要合成的部位，左边为要合成的动作，右边为要合成人物的运动方向和路径；

图11为本方法大猩猩跑步与跑步的两种动作的合成效果图；

其中每一幅图由四个小图构成，小图中的三个人物分别代表，左边人物是大猩猩跑步的运动；中间是人物跑步的动作，右边是人物合成的结果动画。方框标注代表人物需要合成的部位，左边为要合成的动作，右边为要合成人物的运动方向和路径；

图12为本方法与文献方法合成效果对比图；

其中每一幅图由四个小图构成，小图中的三个人物分别代表，左边人物是运动1；中间是动作2，右边两个是两种方法人物合成的结果动画，其中左边是本文的方法，右边是文献的方法，方框标注代表两种方法合成人物部位不同之处；

具体实施方式

以下结合附图和具体的实施方式对本发明作进一步的说明。

如图2所示，一种基于卷积神经网络的人体运动合成方法。该方法包括训练模型及测试模型的步骤：

训练模型的步骤：

S1：收集的运动捕捉数据，输入到网络中进行训练；

S2：建立三层卷积神经网络模型，实现高层参数与人物运动之间的回归，在三层卷积神经网络上叠加一个自编码器网络模型，将输入的运动数据进行编码，解码，训练；

S3：在卷积自编码器的隐藏单元中加入位置约束、骨长度约束、轨迹约束；

S4：在三层卷积神经网络输出之前，加入人物风格约束网络，提取运动的内容和风格。

S5：同时训练位置约束、骨长度约束、轨迹约束、以及风格网络的提取，使得损失函数达到最小，至此模型构建完毕。

测试模型的步骤：

S6：将测试的运动数据输入到训练好的模型中，以测试数据是否能够合成运动。

如图3所示，基于卷积神经网络的人体运动合成方法，卷积网络模型的建立需要以下步骤：

卷积神经网络为了实现高层参数与人物运动之间的回归。这里定义的高层参数，表示的是被抽象出来的用来描述运动轨迹的参数，例如根的轨迹或者是末端的轨迹，表示为T。深度前馈网络将T映射到隐藏单元到最后可以生成运动。

首先是前馈卷积网络高级参数T到隐藏层自编码网络的的构造如下：

深度前馈网络将使用一个三层的卷积网络：

Γ＝RELU(Ψ(RELU(RELU(γ(T)*W₁+b₁)*W₂+b₂)*W₃+b₃)) (1)

b₃∈R^m，h₁，h₂是隐藏单位，w₁，w₂，w₃是三个滤波器宽度，l是高层参数的自由度，参数分别设置为64，128，45，25，15和7。m是隐藏单元的个数设置为256，Φ＝{W₁,W₂,W₃,b₁,b₂,b₃}。

为了训练高阶参数和输出运动之间的回归映射，我们损失函数最小化使用同样的随机梯度下降法，代价函数定义如下，由两个项组成:

第一项计算回归的均方误差，第二项是稀疏项，以确保隐藏单位的最小数目用于执行回归。a设置为0.1。

其次，在本发明中，卷积自动编码器网络提供了一个正向操作Φ(X)(即编码)和反向操作Φ⁺(H)(即解码)。正向操作接收可见单元空间中的输入向量X，并在隐藏的单元空间中输出编码值h。

Φ(X)＝PRELU(Ψ(X*W₄+b₄)) (3)

其中(*)表示卷积运算，表示权重矩阵，W₄为滤波器宽度，m为自动编码层中隐藏单元的个数，b₄∈R^m表示偏置，Ψ表示最大池操作，PRELU为激活函数；

输入数据X进行编码以后得到的输出记为H，对H进行解码:

Φ⁺(H)＝(Ψ⁺(H)-b₄)*W₄' (4)

其中隐藏单元H，逆池操作Ψ⁺，偏置b₄和权重矩阵W₄'；

通过(5)式对数据进行训练，

θ＝{W₄,b₄}，第一个项表示平方误差，第二个项表示一个额外的稀疏项；α为常数，设置为0.1，θ为网络参数。

位置约束：给定隐藏单元空间H中的初始输入运动，计算违反位置的代价函数如下：

V'_j∈R^n×2是人体坐标系中关节j的目标速度，W^H∈Rⁿ根的速度，有关节的地方的位置和速度，以及身体绕Y轴的角速度；

骨长度约束：代价函数如下：

其中b是人体的骨骼指数，是在坐标系i中，b两端关节重建的三维位置，l_b是b骨胳的长度；

轨迹约束：约束目标函数如下：

自动编码器所产生的运动通过梯度下降在隐藏单元的空间中进行调整，直到总的约束收敛到一个阈值:

最后，在本发明中添加了运动风格的提取，具体实现步骤如下：

采用的方法是参数化方法，对人体动作的约束，包括人体运动内容约束和风格约束。使用Gram矩阵代表隐藏单元中运动的内积在时间轴i上的和，其公式为：

风格约束：为了确保运动的输出风格包含输入的风格，约束代价函数为：

Loss_Style(I)＝α||Gram(Φ(s))-Gram(Φ(Γ(I)))|| (11)

其中s为输入动作的风格，α为一些小的常数，设置为0.01。

内容约束：为了确保运动的输出内容包含输入的内容，约束代价函数可写为如下：

Loss_Content(I)＝β||Φ(I)-Φ(Γ(I))|| (12)

其中I为输入的动作内容，β为一些小的常数，在这里设置为0.1。

通过梯度下降在隐藏单元的空间中进行调整，直到总的约束收敛到一个阈值:

由公式(9)对人体运动数据在隐藏单元中使用的约束和本章对运动的约束，同时取两者最小化。即

S＝arg^minI'+H' (14)

本发明的有益技术效果可以通过以下实验进一步具体说明：

实验条件：

1)实验所用的运动数据集由locomotion,misc两数据库组成。

2)实验中的测试数据集是由未参与训练的数据获得；

3)实验基于Ubuntu16.04的系统,编程平台为python2.7,深度学习框架为theano；

4)实验所用GeForce GTX 1080Ti，内存是11G，处理器为英特尔core i7-8700，3.2GHZx12，内存为32G的服务器；

5)实验中采用平方误差(MSE)客观评价指标对实验结果进行评价；

6)实验中采用动画效果主观评价指标对实验结果进行评价。

7)实验中采用动画效果关节运动位置的变化指标对实验结果进行评价。

实验内容：

使用本发明提出的算法,分别对老人走路与散步、僵尸走路与散步、老人走路与跑步、猴子走路与跑步、僵尸走路与跑步、大猩猩走路与跑步进行运动的合成,并且我们使用Holden的方法与本发明的方法(ours)进行对比。

表格1展现了2种方法在图6到图11的运动状态下，总共合成所用的时间。

表1运动合成所需时间

实验结果分析：

首先使用一个三层的前馈卷积神经网络，将输入的运动投影到网络的隐藏单元中，使其更好的输入到运动流形网络中，接着再次作为运动合成的输出，执行运动合成的转换。伪影和噪声，可能对于图像来说，存在一些噪声和伪影是可以接受的，但是对于运动数据来说，噪声和伪影会极大的影响动作的视觉效果。由于运动数据本身存在少量的伪影和噪声，因此我们采用卷积自编码器的再次输入很好的解决了这个问题，由实验结果可以看出，本文算法合成的动作自然平滑度高，并且与文献的方法对比，本文方法在视觉效果上要略胜一筹。

本发明Holden方法所涉及的参考文献为：

[1]Holden D,Saito J,Komura T.A deep learning framework for charactermotion synthesis and editing[J].ACM Transactions on Graphics(TOG),2016,35(4):138.

Claims (2)

1.一种基于卷积神经网络的人体运动合成方法，其特征在于，该方法包括训练模型及测试模型的步骤：

训练模型的步骤：

S1：收集的运动捕捉数据，输入到网络中进行训练；

S2：建立三层卷积神经网络模型，实现高层参数与人物运动之间的回归，在三层卷积神经网络上叠加一个自编码器网络模型，将输入的运动数据进行编码，解码，训练；

S3：在卷积自编码器的隐藏单元中加入位置约束、骨长度约束、轨迹约束；

S3所述的：

1)位置约束：给定隐藏单元空间H中的初始输入运动，计算违反位置的代价函数如下：

V′_j∈R^n×2是人体坐标系中关节j的目标速度，W^H∈Rⁿ根的速度，有关节的地方的位置和速度，以及身体绕Y轴的角速度；

2)骨长度约束：代价函数如下：

其中b是人体的骨骼指数，是在坐标系i中，b两端关节重建的三维位置，l_b是b骨骼的长度；

3)轨迹约束：约束目标函数如下：

4)自动编码器所产生的运动通过梯度下降在隐藏单元的空间中进行调整，直到总的约束收敛到一个阈值

S4：在三层卷积神经网络输出之前，加入人物风格约束网络，提取运动的内容和风格；S4所述的提取运动的内容和风格：

1)使用Gram矩阵代表隐藏单元中运动的内积在时间轴i上的和，通过(4)式得到：

2)风格约束：为了确保运动的输出风格包含输入的风格，通过(5)式得到：

Loss_Style(I)＝α||Gram(Φ(s))-Gram(Φ(Γ(I)))|| (6)

其中s为输入动作的风格，α为常数；

3)内容约束：为了确保运动的输出内容包含输入的内容，通过(6)式得到：

Loss_Content(I)＝β||Φ(I)-Φ(Γ(I))|| (7)

其中I为输入的动作内容，β为常数；

4)通过梯度下降在隐藏单元的空间中进行调整，直到(8)式收敛到一个阈值:

5)通过(14)式同时取两者最小化：

S＝arg^minI'+H' (9)；

S5：同时训练位置约束、骨长度约束、轨迹约束、以及风格网络的提取，使得损失函数达到最小，至此模型构建完毕；

测试模型的步骤：

S6：将测试的运动数据输入到训练好的模型中，以测试数据是否能够合成运动。

2.如权利要求1所述的一种基于卷积神经网络的人体运动合成方法，其特征在于，在S2中，采用以下步骤得到卷积神经网络的模型：

1)对输入的运动数据通过(1)式得到运动的输出X∈R^n×d:

Γ＝RELU(Ψ(RELU(RELU(γ(T)*W₁+b₁)*W₂+b₂)*W₃+b₃)) (10)

其中b₃∈R^m，h₁，h₂是隐藏单位，w₁，w₂，w₃是三个滤波器宽度，ψ表示最大池操作，l是高层参数的自由度，m是隐藏单元的个数，Φ＝{W₁,W₂,W₃,b₁,b₂,b₃}；

2)通过(11)式进行训练

其中第一项计算回归的均方误差，第二项是稀疏项，以确保隐藏单位的最小数目用于执行回归；

3)对输入的运动数据通过(12)式X进行编码:

Φ(X)＝PRELU(Ψ(X*W₀+b₀)) (12)

其中(*)表示卷积运算，表示权重矩阵，W₀为时间滤波器宽度，m为自动编码层中隐藏单元的个数，b₀∈R^m表示偏置，ψ表示最大池操作，PRELU为激活函数；

4)输入数据X进行编码以后得到的输出记为H，通过(13)式对H进行解码:

其中隐藏单元逆池操作Ψ⁺，偏置b₀和权重矩阵/>

5)通过(14)式对数据进行训练：

θ＝{W₀,b₀}，第一个项表示平方误差，第二个项表示一个额外的稀疏项；α为常数，设置为0.1，θ为网络参数。