CN102521843B - 一种基于流形学习的三维人体运动分析与合成方法 - Google Patents

Abstract

本发明公开了一种基于流形学习的三维人体运动分体与合成方法，其特征在于包括如下步骤：1)获得人体姿态参数序列；2)从人体运动参数中提取所需数据；3)利用非线性等距映射算法对提取的运动信息进行降维；4)建立每段运动序列的低维嵌入的曲线模型；5)存储分割得到的基本运动片段；6)转换运动数据格式；7)在以上述步骤中得到的基本运动片段为基本单位，计算运动片段的相似帧，确定相似帧的距离参数，筛选出最优值；8)根据得到的运动图，得到新的合成路径。该方法有效地解决了人体运动数据的维数灾难问题和后期运动图构建中的计算量问题。

Description

一种基于流形学习的三维人体运动分析与合成方法

技术领域

本发明涉及一种三维人体运动数据分析和合成方法，特别是基于流形学习的三维人体运动分析与合成方法。

背景技术

随着计算机软硬件和图形学的飞速发展，三维动画也成为常见的媒体类型。现在以计算机技术为载体制作的动画在影视制作、游戏、模拟仿真及体育训练等领域受到越来越多的关注，其中人体动画作为三维动画的主体部分，因其包含很多的自由度，成为研究的重点和难点。根据生成动画的方法不同，目前常用的计算机动画技术可分为基于程序的方法、基于物理的方法、基于视频的方法及基于运动捕捉的方法。在许多运动捕捉方法中，光学式运动捕捉因其表演活动范围大，使用方便，采样频率高等优点被广泛采用。因此通过光学运动捕捉设备可获得的大量运动数据，基于大量运动库的人体运动分析与合成成为研究重点。三维人体分析与合成技术不但提高现有运动库的重用性，而且可以弥补运动捕捉结果中的缺陷，来满足动画师的特殊需求。运动捕捉的数据只是针对某一事件的记录，如果复用这些数据，做出一些细微的修改，如角色的大小或不同动作顺序，就可以利用合成技术生成新的数据。例如，建立不可能的运动，由于原始运动数据保留的是真实运动中的肢体的运动，不可能满足像夸张表现方式的动画需求，这时就需要分析或合成技术。目前常用的合成方法有：运动过渡和运动融合、基于统计模型的方法和基于运动图的方法。目前的各种方法各有优缺点，适用于不同的情况，有时采用多种方法相结合的办法。

发明内容

本发明针对以上问题的提出，而研制一种基于流形学习的三维人体运动分析与合成方法。该方法是在通过光学人体动动捕捉设备得到的人体运动数据基础上，将流形学习算法应用于三维人体运动分析与合成方法中。由于光学运动捕捉设备的采集频率高，所得到的运动数据量大和维度过高，且人体运动数据具有非线性和全局性特征，所以将非线性流形学习算法和基于运动图的合成方法相结合。该方法不仅更加合理的划分原始运动序列并且可以提高后期构图效率和增强运动图的后期扩展性，并使生成的运动序列更进一步符合人体运动规律。本发明采用的技术方案如下：

一种基于流形学习的三维人体运动分体与合成方法，其特征在于包括如下步骤：

1)从已有的人体运动库中导入数据，获得人体姿态参数序列；

2)从人体运动参数中提取所需数据，包括人体每个关节点的全局平移量和旋转信息；

3)利用非线性等距映射算法对提取的运动信息进行降维，计算每个关节点的邻近点，以每个节点的邻域数据点来构建无向连接图，再把多维尺度变换应用于最短距离矩阵上；

4)建立每段运动序列的低维嵌入的曲线模型，分析它的运动特征和类型，然后分割原始运动序列，根据降维后的数据曲线，并结合原始运动序列，确定多类型运动序列的分割点；

5)存储分割得到的基本运动片段；

6)转换运动数据格式，将人体非根节点的旋转信息转化为四元数表示；

7)基于分割得到的基本运动片段构建运动图，在以上述步骤中得到的基本运动片段为基本单位，计算运动片段的相似帧，确定相似帧的距离参数，筛选出最优值，生成运动图；

8)根据得到的运动图，得到新的合成路径，指定一条运动路径，在运动边上生成过渡序列，通过简单的插值来生成平滑的过渡运动，对于所有关节的旋转信息用球面线性插值算法来生成，对于根节点采用简单的线性插值。

所述的步骤3)中利用非线性等距映射算法对提取的运动信息进行降维时，关键在于算法中邻域和维度的选择，由于人体运动本身是非常灵活的，对于不同的类型的运动库，需要通过不断地试验参数，已求得相似帧的距离的参数。

所述的步骤4)中分割原始运动序列的方法具体描述为：通过所述步骤3)中的方法将原始高维运动序列以低维特征曲线的方式进行记录，接下来就对运动捕捉数据在低维曲线上呈现出来的规律和特征，对运动片段进行截取或进行分割。

所述的步骤7)中基于分割得到的基本运动片段构建运动图的方法具体描述为：在求解相似帧时，该方法不在是过去的基于原始运动序列中两两帧之间的比较，而是利用上述分段得到的基本运动片段，比较基本运动片段的前后帧，定义计算相似帧公式，公式如下：

$D(A_{\mathrm{end}},B_{\mathrm{first}})=\underset{2}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\α}}_{i}d(p_i\left(\mathrm{end}\right),p_i\left(\mathrm{first}\right))$

A_end代表运动序列A的前10帧，B_firsrt代表运动序列B的后10帧，a_i是代表关节点的权值，d(p_i(end)，p_i(first)表示A_end和B_firsrt中第i个关节点的差距，pi(end)是A_end中第i个关节点的四元数表示，pi(first)是B_firsrt中第i个关节点的四元数表示；通过计算四元数的距离提取所需的相似帧，然后将所有运动数据库中的帧序列之间的距离计算出来后，根据所设定阈值，对适的跳转点进行筛选。

同现有技术相比本发明的优点是显而易见的，具体如下：1、本发明提出的非线性流形学习算法的三维人体运动分析与合成研究方法，更加合理有效地利用了ISOMAP降维算法得到的基本运动片段。有效地解决了人体运动数据的维数灾难问题和后期运动图构建中的计算量问题。2、针对于不同大小、类型的运动数据库，灵活的设置不同饿参数值，关键在于提高后期构图效率和增强运动图的后期扩展性，并进一步的使生成的运动序列更符合人体运动规律。

附图说明

图1为本发明算法流程图；

图2为人体骨架模型；

图3为walk运动序列的低维流形；

图4为jump的低维嵌入特征曲线；

图5为dance的低维嵌入特征曲线；

图6为分段结果显示；

图7为运动片段之间的比较；

图8为基于低维流形的运动图。

具体实施方式

本发明公开了一种基于非线性降维的三维人体运动分析与合成方法。该方法是在通过光学人体动动捕捉设备得到的人体运动数据基础上，将非线性流形学习算法应用于三维人体运动分析与合成方法中。光学运动捕捉设备的采集频率高，所得到的运动数据不仅数据量大且维度过高，并针对人体运动数据的非线性和全局性特征，将非线性流形学习算法和基于运动图表的合成方法相结合。首先，该方法在构图之前，采用非线性流形降维的方法将高维运动样本映射到低维流形上，利用在低维曲线上呈现出来的规律和特征进行详细分析后，将原始运动序列划分为更小的基本运动片段；然后，构造基于基本运动片段的运动图表；最后，基于用户的需求，搜索匹配路径。该方法关键在于提高后期构图效率和增强运动图的后期扩展性，并使生成的运动序列进一步符合人体运动规律。

本发明的技术方案是：首先，在构图表之前，采用等距映射方法将高维运动样本映射到低维流形上，利用在低维曲线上呈现出来的规律和特征进行详细分析后，将原始运动序列划分为更小的基本运动片段；然后，构造基于基本运动片段的运动图；最后，基于用户的需求，搜索匹配路径。该方法关键在于提高后期构图效率和增强运动图的后期扩展性，并使最终生成的运动序列更符合人体运动规律。并验证了在运动图合成中引入流形降维分段方法的可行性及有效性。附图1所示为本发明算法流程图，其具体包括以下技术环节：

一种基于流形学习的三维人体运动分体与合成方法，其特征在于包括如下步骤：

1)从已有的人体运动库中导入数据，获得人体姿态参数序列；

2)从人体运动参数中提取所需数据，包括人体每个关节点的全局平移量和旋转信息；

3)利用非线性等距映射算法对提取的运动信息进行降维，计算每个关节点的邻近点，以每个节点的邻域数据点来构建无向连接图，再把多维尺度变换(MDS)应用于最短距离矩阵上；(关键在于根据提取的运动信息类型确定合适的邻域参数和低维嵌入的维度参数，两个参数涉及邻近点个数的精确度，根据数据源可以设置为误差相对较小的值)；

4)建立每段运动序列的低维嵌入的曲线模型，数据降维后的数据曲线，分析它的运动特征和类型，然后分割原始运动序列，根据降维后的数据曲线，并结合原始运动序列，确定多类型运动序列的分割点；

5)存储分割得到的基本运动片段；

6)转换运动数据格式，将人体非根节点的旋转信息转化为四元数表示；

7)基于分割得到的基本运动片段构建运动图，在以上述步骤中得到的基本运动片段为基本单位，计算运动片段的相似帧，确定相似帧的距离参数，筛选出最优值，即相似性最大的，生成运动图；

8)根据得到的运动图，得到新的合成路径，指定一条运动路径，在运动边上生成过渡序列，通过简单的插值来生成平滑的过渡运动，对于所有关节的旋转信息用球面线性插值算法来生成，对于根节点采用简单的线性插值。

其中步骤3)中利用非线性等距映射算法对提取的运动信息进行降维时，关键在于算法中邻域和维度的选择，由于人体运动本身是非常灵活的，对于不同的类型的运动库，需要通过不断地试验参数，已求得相似帧的距离的参数。步骤4)中分割原始运动序列的方法具体描述为：通过所述步骤3)中的方法将原始高维运动序列以低维特征曲线的方式进行记录，接下来就对运动捕捉数据在低维曲线上呈现出来的规律和特征(运动序列本身的规律，包含周期性，一个运动里包含了哪几种运动类型等)对运动片段进行截取或进行分割。例如，若运动低维曲线呈周期循环类型，就截取其中一段单一的运动片段来应用和存储，这样还可以节省运动库的存储空间；对于原始运动序列中包含多种运动类型的，如一段包含多个转身和翻身跳的舞蹈运动类型，可以从曲线找到运动分割点，将其拆分为两个基本的运动片段，分别来存储。

所述步骤7)中基于分割得到的基本运动片段构建运动图的方法具体描述为：在求解相似帧时，该方法不在是过去的基于原始运动序列中两两帧之间的比较，而是利用上述分段得到的基本运动片段，比较基本运动片段的前后帧，定义计算相似帧公式，公式如下：

$D(A_{\mathrm{end}},B_{\mathrm{first}})=\underset{2}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\α}}_{i}d(p_i\left(\mathrm{end}\right),p_i\left(\mathrm{first}\right))$

A_end代表运动序列A的前10帧，B_first代表运动序列B的后10帧，a_i是代表关节点的权值，d(p_i(end)，p_i(first)表示A_end和B_first中第i个关节点的差距，pi(end)是A_end中第i个关节点的四元数表示，pi(first)是B_first中第i个关节点的四元数表示。

通过计算四元数的距离提取所需的相似帧，然后将所有运动数据库中的帧序列之间的距离计算出来后，根据所设定阈值，对适的跳转点进行筛选。设定阈值可以防止得到过多相似帧，在局部范围内选择最优跳转点。阈值的设定对合成的效果有直接的影响，如果阈值的太小，跳转点会减少；相反，跳转点数量增大，可能在某些运动片段之间很难得到平滑的过渡片段，阈值的确定需要在实验过程中经过反复试验确定。另外，不同的运动类型设置不同，需手动设置。

上述合成方法的详细解释如下：

运动数据的表示，本发明所述方法针对被动式光学运动捕捉系统，采集频率为120帧/秒。采用BVH文件数据格式，人体骨架模型具有32个关节点。根节点有3个平移量和3个旋转量表示，非根节点由绕其父节点的3个旋转量决定。人体骨骼模型如图2所示。将人体运动数据M视为在离散时间点采样得到的人体姿态序列，用下面公式来表示：M＝{f(1)，f(2)…f(t)…f(n)}，其中f(t)是运动数据M中的第t帧，包含根节点的平移和旋转信息及每个子节点的旋转信息。

非线性等距映射算法(ISOMAP)，经典的降维算法多数在寻找某个线性子空间，将高维数据投影到这个子空间中。由于三维人体运动数据是分布在高维空间结构复杂的非线性流形上，常见的人体运动数据可以通过一些低维参数来进行概括，比如跳跃类型的运动，本质特征在于跳跃的长度和高度，因此可以用二维参数对其进行表达。如果利用像PCA等线性子空间方法，尽管取得了较好的结果，但仅仅能够发现欧式结构，难以表示复杂的本质特征，导致可能丢失很多有用的信息。而最近几年，非线性降维算法引起了人们的注意，比如非线性流形学习方法，能够找出高维数据空间的低维嵌入，从中提取用于识别的特征。

著名的流形学习算法有：等距映射(ISOMAP)、局部线形嵌入(LLE)、拉普拉斯特征映射(LE)、局部保持投影(LPP)等。考虑人体运动参数的全局特征，且ISOMAP是一种全局优化方法，故采用ISOMAP方法将高维空间中的运动数据映射到低维流形上，对其进行分析、分段。ISOMAP算法的核心是在估计两点间的测地距离时，离得很近点间的测地距离用欧氏距离代替，离得较远的点间的测地距离用最短路径来逼近。算法具体步骤如下：

初始条件：将每个原始运动片段X_m×n(其中m代表帧数，n＝96代表关节点总维数)作为ISOMAP算法的输入数据。x_i和x_j份别代表不同时间上的两帧数据。

步骤1：计算每个点的邻近点(用K近邻或ε邻域)：选择距离函数来计算X_m×n中每对数据点x_i和x_j之间的距离d(求在邻近参数范围内的临近点，只连接邻近点)，数据点的局部邻域(即K近邻或ε邻域)N＝{X|d＜ε}，或是选择K最邻近(即，通过计算距离得出和本节点相近的其它节点，其它节点作为本节点的邻近点的个数由邻域决定)。并在计算d时，可以为不同层次上的关节点设置不同的权重，距离根节点越近，其权值越大，因为人体结构是树型存储的，采用BVH结构，是以知知识，越靠近根节点权值越大。

步骤2：在样本集上定义一个无向图：以局部邻域的数据点来构建无向连接图G，边代表局部邻域数据点之间的连接，然后用无向图矩阵D保存的最短距离来近似表示流形的测地线距离M。

步骤3：把MDS应用最短距离矩阵D，求解数据的低维流形嵌入。

算法的重点在于邻域参数和低维嵌入的维数参数的确定，由于人体运动的复杂性，所以所有运动类型设置相同的参数是非常不合理的，从维数和剩余方差的关系可以看出，在维数大于2时，随着维数的增加，剩余方差并没有太大的变化，所以本发明实验选取的低维嵌入维数是3，K近邻域选取6。参数的确定可根据不同运动库类型设置不同的取值。

基于低维流形曲线的运动序列降维和分段，基于低维流形曲线的运动序列降维和分段算法如下：数据源使用人体运动捕捉数据，采用被BVH格式，应用ISOMAP算法，针对实验数据，确定在较小误差范围内的维数，给出降维后的数据曲线，结合原始运动序列，分析运动特点，确定分割点。

采用上述算法，选取5个运动样本映射到3维流形上，5个运动样本分别为：walk、jump、dribble、shoot、dance，如表一所示。在得到原始运动序列的低维流形的基础上，给出低维流形的曲线，分析运动序列的特征。以walk运动为例，通过ISOMAP算法，得到3维低维流形，如图3所示。

本发明已经将表一中5组高维运动序列以低维特征曲线的方式进行记录，接下来就对其中两组运动捕捉数据在低维曲线上呈现出来的规律和特征进行详细分析。

表一

运动序列分析如下：

第一组数据采用表一中的jump，共2752帧，采集频率为每分钟120帧，从动画显示中可以知，跳跃运动有两次转身，从图4的每一维曲线中都可以看出，此运动序列是周期性重复的，可以去掉重复性运动，只留其中一段，以后合成使用时只需循环调用就可，这样减少了存储量。

第二组数据采用表一中的dance，共886帧，采集频率每分钟120帧，特征曲线如图5，其中加深蓝色曲线是第一维曲线特征，以第300帧为分割点，前面是翻身动作，后面是旋转动作。就可以分为两个基本运动片段。5组数据分割的结果如表二。

表二

编号	名称	首帧	末帧
				Chip1	walk(599)	1	599
Chip2	jump(2752)	1000	2000
				Chip3	dribble(722)	200	722
Chip4	shoot(546)	1	546
				Chip5	dance1(886)	1	300
Chip6	dance2(886)	301	886

对于单一、短小的运动片段不需要在进行分割，可以直接作为进行合成的基本运动片段，对于像jump和dance等复杂的运动序列根据其特点进行如上分割，下面给出了具有周期性和多类型的运动序列的分割实验结果，如下图6所示(其中(a)是“jump”分段结果，(b)是“dance”原始运动序列，(c)是“dance”分为翻身和旋转两部分)。

运动图的构建，在构造的运动图中，以上一节得到的基本运动片段为基本节点，相似帧之间的过渡为边，求解相似帧时，只需比较基本运动片段的首末帧。

计算相似帧，衡量两帧的相似度有很多方法，本发明采用BVH格式的运动数据已经提供了本发明需要的关节旋转度，首先将文件中关节的欧拉角分量转化为四元数，通过计算四元数的距离提取所需的相似帧。在定义距离公式的时候，把每段运动序列的前后10帧加权求平均值，首末的第一帧权值最大为1，然后依次递减，如下图7所示。最后用求得每段运动序列的末帧依次与其它的运动序列的首帧进行比较，通过相似帧公式计算相似度，通过计算可以得到任何两段运动序列前后帧序列之间的差距矩阵D，这里把计算相似帧扩展到相似序列，并赋予一定的权值，是为了考虑关节的速度等，就相当于把关节的速度信息包含了进去，使生成的过渡运动更加平滑。

定义阈值，筛选出最优值，将所有运动数据库中的帧序列差距计算出来后，可以设定一个阈值，对合适的跳转点进行筛选，阈值的设定对合成的效果有直接的影响。如果阈值的太小，跳转点会减少；相反，跳转点数量增大，可能在某些运动片段之间很难得到平滑的过渡片段。本发明在实验过程中采用的阈值是经过反复试验确定的。

生成运动图，在经过上述的方法计算后，得到最优的跳转点，以原子运动片段为节点，相似帧之间的过渡为边，就可以生成运动图。下面以上一节生成的运动片段表二为例，通过相似帧的计算和跳转点的筛选，得到如图8所示的运动图。

下面通过具体的实施方式对本发明的方法做进一步说明。

在一个实施例中，本发明的基于ISOMAP流形算法的人体运动图的生成是在一台CPU主频为2.7GHz，内存为2G的计算机上实现，该计算机采用Windows 7操作系统。采用CUM数据库，实例选取5组人体运动实例进行验证，5个运动样本分别为：walk、jump、dribble、shoot、dance，如表一所示。人体运动模型如图2所示。

具体实施步骤为：

步骤1：选取原始数据。原始数据存储格式如下：

上面一个BVH文件的其中一部分，HIERARCHY定义了人体骨架的信息，MOTION定义了人体的运动信息，包括采样频率和每帧对应的运动数据。

步骤2：导入人体运动数据中的运动信息部分。

步骤3：数据载入后，利用非线性等距映射算法(ISOMAP)进行降维，维度选取3，

步骤4：建立人体运动数据的低维流形嵌入曲线。分析运动曲线，确定其运动类型，进行运动分割。

步骤5：存储分割得到的基本运动片段，为了以后的合成方便，并将运动信息中的旋转量转化为四元数表示。

步骤6：在上述步骤结束后，利用ISOMAP算法得到的基本运动片段为基本单位，计算相似帧，通过计算四元数的距离提取所需的相似帧，并针对训练不同的运动类型确定筛选最优相似帧的阈值。设定阈值之后，对合适的跳转点进行筛选。

步骤7：完成步骤6之后，得到最优的跳转点，以基本运动片段为节点，相似帧之间的过渡为边，生成运动图。

步骤8：经过上述方法处理完成之后，可以得到更细致的运动库，并生成基于流形学习算法的运动图。

步骤9：处理完成步骤5，得到如表二所示的分割结果，完成步骤7之后，得到如图8所示的运动图。

本发明是随机选取了几组人体运动来验证所提方法的有效性，这样更有说服力。在本发明的核心算法ISOMAP和运动图的构建中，邻域参数、维度及筛选阈值等参数的确定时，并不是固定值，针对于不同类型的运动数据，经过训练后，设置不同的参数值，这样可以保证后期合成新运动序列的效果。对于小型的运动数据库，可以直接将非线性流形降维算法和运动图的构造相结合，具有实时性；对于较大型的运动数据库，可以对全部的原始运动序列应用上述步骤2-步骤5对其进行降维和分段，重新整理得到新运动数据库，在此新运动数据库的基础上，进行合成研究，得到更快的后期处理效果。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (1)

1.一种基于流形学习的三维人体运动分析与合成方法，其特征在于包括如下步骤：

1）从已有的人体运动库中导入数据，获得人体姿态参数序列；

2）从人体运动参数中提取所需数据，包括人体每个关节点的全局平移量和旋转信息；

3）利用非线性等距映射算法对提取的运动信息进行降维，计算每个节点的邻近点，以每个节点的邻域数据点来构建无向连接图，再把多维尺度变换应用于最短距离矩阵上；

4）建立每段运动序列的低维嵌入的曲线模型，分析它的运动特征和类型，然后分割原始运动序列，根据降维后的数据曲线，并结合原始运动序列，确定多类型运动序列的分割点；

5）存储分割得到的基本运动片段；

6）转换运动数据格式，将人体非根节点的旋转信息转化为四元数表示；

7）基于分割得到的基本运动片段构建运动图，再以步骤5）中得到的基本运动片段为基本单位，计算运动片段的相似帧，确定相似帧的距离参数，筛选出最优值，生成运动图；

8）根据得到的运动图，得到新的合成路径，指定一条运动路径，在运动边上生成过渡序列，通过简单的插值来生成平滑的过渡运动，对于所有关节的旋转信息用球面线性插值算法来生成，对于根节点采用简单的线性插值；

所述的步骤3）中利用非线性等距映射算法对提取的运动信息进行降维时，关键在于算法中邻域和维度的选择，由于人体运动本身是非常灵活的，对于不同的类型的运动库，需要通过不断地试验参数，以求得相似帧的距离的参数；

所述的步骤4）中分割原始运动序列的方法具体描述为：通过所述步骤3）中的方法将原始高维运动序列以低维特征曲线的方式进行记录，接下来依据运动捕捉数据在低维曲线上呈现出来的规律和特征，对运动片段进行截取或进行分割；

所述的步骤7）中基于分割得到的基本运动片段构建运动图的方法具体描述为：在求解相似帧时，该方法不再是过去的基于原始运动序列中两两帧之间的比较，而是利用步骤5）得到的基本运动片段，比较基本运动片段的前后帧，定义计算相似帧公式，公式如下：

$D(A_{\mathrm{end}},B_{\mathrm{first}})=\underset{i=2}{\overset{n}{\mathrm{\Σ}}}\left({\mathrm{\α}}_{i}d(p_i\left(\mathrm{end}\right),p_i\left(\mathrm{first}\right))\right)$

A_end代表运动序列A的前10帧，B_firsrt代表运动序列B的后10帧，n表示关节点的数量，α_i是代表关节点的权值，d(p_i(end),p_i(first)表示A_end和Bf_irsrt中第i个关节点的差距，p_i(end)是A_end中第i个关节点的四元数表示，p_i(first)是B_firsrt中第i个关节点的四元数表示；

通过计算四元数的距离提取所需的相似帧，然后将所有运动数据库中的帧序列之间的距离计算出来后，根据所设定阈值，对跳转点进行筛选。

Images