CN101976451B - 一种基于加速度传感器的运动控制与动画生成方法 - Google Patents

Abstract

本发明是一种基于加速度传感器的运动控制与动画生成的方法。本发明属于计算机虚拟现实技术领域，特别是涉及计算机动画技术中的运动控制与动画生成方法。该方法首先对待识别运动进行分析，得到运动过程中关键关节点信息，然后对关键关节点位置的传感器数据以及运动数据进行基于物理含义的特征提取，以进行后续的运动分类与运动识别。本发明根据加速度传感器信号数据的特征序列进行信号分割并建立运动识别分类器，以基于动能的特征作为中心特征匹配骨骼运动数据；为了提高用户体验，对最终获得的识别运动结果进行时序调整，以符合用户在线表演的运动时序。本发明的特点是利用少量传感器，实现了对虚拟人全身运动的实时交互式控制。

Description

一种基于加速度传感器的运动控制与动画生成方法

技术领域

本发明属于计算机虚拟现实技术领域，特别是涉及计算机动画技术中的运动控制与动画生成方法。

背景技术

随着虚拟现实技术的不断发展，实时的虚拟角色运动控制技术在动画、游戏、虚拟现实系统等越来越多的领域得到了广泛应用。对于实时虚拟角色控制技术而言，一个良好的用户控制接口有着举足轻重的地位。虽然运动捕获系统可以精确地捕捉人物的运动，进而应用到虚拟角色控制、动面生成等方面，但是它也有很多缺点，诸如：整套设备沉重，价格高昂；由于整套系统需要布置在一个固定空间，限制了可以采集的运动种类；所采集到的数据处于高维空间，难以实时地进行进一步的在线处理等等。基于以上原因，需要对可以替代运动捕获系统的低维传感器，如加速度传感器等进行研究，以替代运动捕获系统作为实时虚拟角色运动控制的用户接口，以方便运动控制过程，提高用户体验。

对于使用加速度传感器进行虚拟角色的运动控制而言，主要问题有三。一为如何决定人体运动中的关键关节点，以达到布置少量传感器最大化运动识别结果的目的；二为如何有效地进行特征提取，以表征高维运动序列，进而将该特征应用到运动的分类、识别上，以保证较高的识别率；三为如何对识别结果进行时序调整，以符合用户实时运动的时序，提高用户体验，以更好地运用到动画生成等领域。本发明将以这三个问题为基本出发点，对运动过程中的关键关节点进行分析，有效地构造加速度传感器的特征向量以进行在线运动识别，并快速调整识别运动结果时序，以满足运动控制与动画生成技术的进一步应用。

对于传感器的布置问题，大部分研究或者系统布置较为随意，忽略了对关键关节点分析的步骤。然而，由于运动数据序列处于高维空间中，数据中包含大量的冗余。对于关键关节点的分析有助于除去数据冗余，同时保证所采集信号数据的关键性，最大化保留运动整体特征；对于传感器信号的特征提取，现阶段大多数研究与相应系统均采用主成分分析法作为传感器信号的特征提取方法。虽然这种方法能够较好地对高维信号数据进行降维处理，但是将这种方法应用于加速度传感器则忽略了加速度传感器所获取信息的固有物理含义，导致识别率较差。由于加速度传感器所采集的数据本身具有固有的物理含义，使用该物理含义构造相应的特征向量成为表征整个运动过程的最好方式。本研究选择‘动能’作为该特征向量的核心，不仅在于动能本身较好地描述了整个运动过程中能量的变化过程，完整地反映了整个运动过程，从而有效地提高了运动识别率；使用动能构造的特征向量还可以有效地运用到后续的时序调整步骤中，从而创建出与用户在线运动时序一致的运动结果，提高整个运动控制过程的用户体验，满足运动控制系统与动画生成过程的需要。

发明内容

本发明要解决的技术问题：克服现有技术的不足，提供一种对于运动过程中关键关节点的分析方法，保留对整体运动影响最大的核心关节点，去除信息量较少的关节点，以合理布置传感器进行运动控制；同时克服了现有技术不使用传感器信号物理信息的缺点，通过对传感器信号分析构建以动能为核心要素的特征向量，并应用到运动识分类、运动识别与运动结果的时序调整过程中，形成了一种有效的在线运动控制与动画生成技术。

本发明采用的技术方案：一种基于加速度传感器的运动控制与动画生成方法，其特点在于步骤如下：

(1)关键关节点分析

首先对原始运动数据进行关键关节点分析，找到对运动影响最大的关键关节点，以在关键关节点布置传感器；

(2)基于物理含义的特征提取

根据加速度传感器信号数据与骨骼运动数据所表征的不同物理意义，对运动过程中的“动能”这一物理特征进行计算，进而由关键关节点的动能组成表征整个运动序列的运动特征序列；

(3)低维加速度传感器信号与高维骨骼运动数据之间的匹配

根据加速度传感器信号数据的特征序列进行信号分割并建立运动识别分类器，以基于动能的特征作为中心特征匹配骨骼运动数据；

(4)运动数据结果的动态时序属性调整

根据传感器信号的特征，对所识别运动信号结果的特征进行时序调整以拟合传感器信号时序；将对所识别运动信号结果特征的调整直接应用到骨骼运动数据上，对骨骼运动结果进行时序调整。

所述步骤(1)中关键关节点分析的步骤如下：

(1)对原始运动数据的协方差矩阵进行主成分分析，对运动帧数进行降维。

(2)对降维后矩阵的行向量进行聚类分析，并根据每个关节点在不同聚类内的分布，得到关键关节点。

所述步骤(2)中加速度传感器信号数据基于物理含义的特征提取的步骤如下：

(1)对每帧于关键关节点测到的加速度数据进行积分操作，得到在该帧时间范围内的平均速度v。

(2)根据公式E＝m×v²/2计算每一帧时间内的动能值。其中其中v为上步骤(1)中计算出的平均速度，m为一物理常量，表征运动物体质量。

(3)根据各个关键关节点的动能值组成加速度传感器信号数据的特征向量。

所述步骤(2)中骨骼运动数据基于物理含义的特征提取的步骤如下：

(1)对每帧于关键关节点处的骨骼运动旋转角度数据进行微分操作，得到在该帧时间范围内的平均角速度。

(2)根据公式E＝I×w²/2计算每一帧时间内的动能值。其中w为上步骤(1)种计算出的平均角速度，I为一物理常量，表征运动物体惯量。

(3)根据各个关键关节点的动能值组成骨骼运动数据的特征向量。

所述步骤(3)中信号分割的步骤如下：

(1)选定信号的均方根RMS值的分割阈值

(2)顺序遍历信号数据并累计计算信号的均方根RMS值。根据选定的均方根RMS阈值将信号截为信号片断。

所述步骤(3)中运动识别分类器的构建步骤如下：

(1)对原始训练样本的特征序列进行分析，计算该特征序列相邻帧之间的转移概率

(2)对于每一个待识别样本，计算其拟合每一个训练样本的概率

(3)选取拟合度最高的训练样本作为待识别样本的最终识别结果。

所述步骤(4)中对所识别运动信号结果的特征进行时序调整的步骤如下：

(1)检索以求出待调整信号与相匹配信号的局部最大值和最小值点

(2)对每一个待调整信号的局部最大值和最小值点，寻找在相匹配信号中的匹配位置，以最小化所有局部极值点之间的差距。

(3)根据匹配结果，对相邻极值点之间信号进行插值，以符合相匹配信号的时序关系。

本发明与现有技术相比的有益效果在于：首先使用了关键关节点分析技术，理论地说明了当时用少量传感器时如何布置传感器在人体的位置能够最大程度保留原有运动信息，增进运动识别率；其次使用以动能为核心元素的特征向量进行运动的分类与识别，使得充分利用了加速度传感器所获得数据的物理信息，从能量变化的角度更好地描述了整个运动过程，提高了运动识准率；并且在使用以动能为核心元素的特征向量时，基于此使用了时序调整技术，使得最终得到的运动序列在时序属性上与用户的运动时序相同，增强了实时运动控制过程的用户体验。

附图说明

图1为本发明的整体过程示意图；

图2为本发明的提取基于动能的特征向量示意图；

图3a和b为本发明的信号分割示意图；

图4为本发明的对所识别信号结果的时序调整示意图。

具体实施方式

下面结合附图与实施例对本发明作进一步详细描述：

本发明实施过程包括四个主要步骤：关键关节点分析，基于物理含义的特征提取，低维加速度传感器信号与高维骨骼运动数据之间的匹配，运动数据结果的动态时序属性调整。如图1所示。

步骤一，即关键关节点分析，主要分成二个阶段：

第一个阶段：对原始运动数据的协方差矩阵进行主成分分析

PCA是降维分析的一种常用手段，但是使用PCA对关节数量维度进行降维分析的缺点是打乱了原有的关节语义，从而难以选定关键关节点。为此，我们首先对运动数据的运动帧维度采用PCA进行降维分析处理，从而得到3m×q的矩阵，其中m表示关节数量，q表示将原有的T帧数据降为q维。由于每一个关节的数据拥有三个自由度，因此整个矩阵大小为3m×q。

第二个阶段：对降维后矩阵的行向量进行聚类分析，并根据每个关节点在不同聚类内的分布，得到关键关节点。

对于在第一阶段处理后得到的3m×q的矩阵，每一行都保留着非常清晰的语义，即为某一关节在某一自由度上的运动数据特征向量。因此，我们可以将降维后得到的3m×q矩阵表达为[V₁，V₂，…，V_3m]；其中V_i表征第(i/3)个关节在第(i％3)的自由度上降维后的的主成分向量。

对这3m个特征向量进行聚类分析，将其划分在k类里，则可以根据各个关节点三个自由度的运动特征向量所落在不同聚类中的个数作为判断各个关节点重要与否的标志。这是因为，如果一个关键点的三个自由度的运动特征向量落在不同的聚类内，则表示这个关节的三个自由度的运动特征拥有着显著的差别，进而说明这个关节对整个运动具有着较大的影响，说明其非常关键。对于具有着相同聚类个数的关节点，可以根据其离各个聚类中心的距离平方和来表征其重要程度。若该距离平方和越小，则表示这个关节点所表征的运动越接近于运动特征向量的聚类中心，说明其越为关健。

步骤二：基于物理含义的特征提取。该步骤需要对传感器信号和运动数据分别进行基于物理含义的特征提取。具体分为如下两个阶段：

第一个阶段：加速度传感器信号数据基于物理含义的特征提取

根据关键关节点分析的结果，在用户身上布置加速度传感器，之后可以根据加速度传感器接收到的每一个时刻的瞬时加速度信息，恢复在该关节点上的能量信息，具体过程如下：首先根据公式(1)恢复用户运动的瞬时速度。其中v_i，j表征在j时刻传感器i的速度；a_i，j表征j时刻传感器i的加速度：

$v_{i,j}={\∫}_{t_{\mathrm{frame}}}{a}_{i,j}\mathrm{dt}---\left(1\right)$

然后可以根据该瞬时速度值计算此时刻的动能值，如公式(2)所描述。其中E_s，t表征在t时刻传感器s所具有的动能值；v_s，t表征在i时刻传感器s的速度；m为一物理常量，表征运动物体的质量：

$E_{s,i}=\frac{1}{2}m{\left|\stackrel{\→}{v_{s,i}}\right|}^2---\left(2\right)$

对于每一个关节点，均可以求出在当前时刻的能量值，则各个关键关节点的能量值则可以组成一个表征当前关键关节点能量值的特征向量。

第二个阶段：骨骼运动数据基于物理含义的特征提取

根据关键关节点分析的结果，我们只关注在骨骼运动数据中关键关节点位置的运动数据。骨骼运动数据记录的是每一个关节点在每一个时刻的旋转角信息，我们仍可以由此恢复在该关节点上的能量信息，具体过程如下：首先根据公式(3)恢复各个关节点的瞬时角速度。其中w_i，j表征在j时刻传感器i的角速度值；a_i，j表征在j时刻传感器i的加速度值：

${\mathrm{\ω}}_{i,j}=\frac{{\mathrm{da}}_{i,j}}{\mathrm{dt}}---\left(3\right)$

然后可以根据该瞬时角速度值计算此时刻的动能值，如公式(4)所描述。其中Es，t表征t时刻传感器s所具有的动能之；ws，t表征t时刻传感器s的角速度值；I为一物理常量，表征运动物体的惯量：

$E_{s,i}=\frac{1}{2}I{\left|\stackrel{\→}{{\mathrm{\ω}}_{s,i}}\right|}^2---\left(4\right)$

对于每一个关键关节点，均可以求出在当前时刻的能量值，则各个关键关节点的能量值则可以组成一个表征当前关键关节点能量值的特征向量。

步骤三：低维加速度传感器信号与高维骨骼运动数据之间的匹配。该过程具体可分为两个阶段。

第一个阶段：信号分割。

对于实时的运动控制方法而言，由于需要在线地使用用户输入信号进行计算，并得到运动控制结果，因此需要对用户输入的信号进行信号分割，对每一个信号分割片断进行识别处理。

对于信号分割而言，可以选取相邻时间信号特征的距离的平方根的累计量作为一个分割标准，即均方根RMS值。首先需要却定一个均方根RMS值的阈值。经实验表明，使用信号量最大变化幅度的3倍左右作为改阈值较为合理。以该阈值作为标准进行信号分割，如公式(5)所描述。其中J表示所有传感器；T表示指定的一段时间内；a_t(j)表示在时间t内传感器j的加速度值：

$\underset{T}{\mathrm{\Σ}}\sqrt{\underset{J}{\mathrm{\Σ}}(a_t^{\left(j\right)}-a_{t-1}^{\left(j\right)})}\≥{\mathrm{\θ}}_{\mathrm{thresold}}---\left(5\right)$

即当信号量的均方根RMS值累计到所设阈值大小时，进行分割。对分割得到的信号量特征向量进行后续的识别处理。

第二个阶段：运动识别分类器的构建

对于运动识别过程而言，分为离线的训练阶段和在线的识别阶段。首先，需要选定待识别运动数据作为样本进行运动识别分类器的训练。

训练过程主要是为了构建一个运动过程中，运动信号之间的转移关系。为此，可以针对每一个待识别运动序列建立一个具有N个状态的完全图。对于图中的N个节点，分别描述了一组出现运动过程中所有可能出现姿态的概率密度函数。为此，整个运动过程可以描述为在这个状态图中的一系列状态转移，或者称为在这个图中的一条路径。训练过程主要是求解在这个状态图中不同状态之间的转移概率以及在每一个状态中的概率密度函数。其中，状态之间的转移概率可以根据训练样本数据中各个状态出现的次数和总状态出现次数的比率进行估计；而在各个状态中的概率密度函数则可以使用高斯混合模型GMM模型进行描述，并依靠期望最大化EM算法进行估计。

对于在线的识别过程，可以首先将用户的输入信号进行特征提取，之后对所提取的特征序列进行分析。对于M组不同的可识别运动，存在M组不同的状态图描述。可以根据用户输入信号序列计算其在M组状态图里各自的生成概率。选择生成概率最高的状态图所对应的运动数据作为最终的运动识别结果。

步骤四：运动数据结果的动态时序属性调整。

由于所识别出的运动数据是在离线的运动识别分类器训练过程中选定的，因此，当识别出相同的运动数据时，总会反映出完全一致的运动结果，而忽略用户在实时交互过程中的时序属性。为了提高用户体验，对最终识别处的运动数据结果进行动态时序调整以拟合用户所输入的运动是非常必要的。动态时序调整过程可以看作是两段运动特征向量序列之间”关键点”的匹配过程。可以选择运动特征向量序列中的极大值和极小值作为其关键点。这是由于我们所选择的运动特征向量是由关键关节点的动能组成的，因此运动特征向量序列中的极大值/极小值均是运动过程中能量变化最大的地方。匹配所识别运动特征向量序列和用户输入运动特征向量序列中的基值点，以使匹配结果的相匹配极值点对的距离平方和最小。

对于匹配结果，使用三次样条差值调整所识别的运动数据，以符合用户输入数据的时序，即完成动态时序属性调整过程。

Claims (5)

1.一种基于加速度传感器的运动控制与动画生成方法，其特征在于步骤如下：

(1)计算运动关键关节点

首先对需要识别、生成的骨骼运动数据进行基于关节点的分析，以分析出对所有运动数据而言影响最大的关节点位置，称为关键关节点；

(2)基于物理含义的特征提取

根据加速度传感器信号数据与骨骼运动数据所表征的不同物理意义，对运动过程中的“动能”这一物理特征进行计算，进而由关键关节点的动能组成表征整个运动序列的运动特征序列。所述“动能”这一物理特征的计算包括加速度传感器数据基于动能的特征提取和骨骼运动数据基于动能的特征提取两部分；

(3)低维加速度传感器信号与高维骨骼运动数据之间的匹配

根据加速度传感器信号数据的特征序列进行信号分割并建立运动识别分类器，以基于动能的特征作为中心特征匹配骨骼运动数据；

(4)运动数据结果的动态时序属性调整

根据传感器信号的特征，对所识别的运动信号结果的特征进行时序调整以拟合传感器信号时序；将对所识别运动信号结果特征的调整直接应用到骨骼运动数据上，以使得骨骼运动数据在不同时间段上的运动快慢符合用户运动的快慢，对骨骼运动数据进行时序调整；

所述步骤(2)中加速度传感器信号数据基于动能的特征提取的步骤如下：

(2.1)对每帧于关键关节点测到的加速度数据进行积分操作，得到在该帧时间范围内的平均速度v；

(2.2)根据公式E＝m×v²/2计算每一帧时间内的动能值；m为一物理常量，表征运动物体质量；

(2.3)根据各个关键关节点的动能值组成加速度传感器信号数据的特征向量；

所述步骤(2)中骨骼运动数据基于动能的特征提取的步骤如下：

(2.1)对每帧于关键关节点处的骨骼运动旋转角度数据进行微分操作，得到在该帧时间范围内的平均角速度w；

(2.2)根据公式E＝I×w²/2计算每一帧时间内的动能值；I为一物理常量，表征运动物体惯量；

(2.3)根据各个关键关节点的动能值组成骨骼运动数据的特征向量。

2.根据权利要求1所述的基于加速度传感器的运动控制与动画生成方法，其特征在于：所述步骤(1)中基于关节点的分析的步骤如下：

(1.1)对原始运动数据的协方差矩阵进行主成分分析，对运动帧数进行降维；

(1.2)对降维后矩阵的行向量进行聚类分析，并根据每个关节点在不同聚类内的分布，得到关键关节点。

3.根据权利要求1所述的基于加速度传感器的运动控制与动画生成方法，其特征在于：所述步骤(3)中信号分割的步骤如下：

(3.1)选定信号的均方根RMS值的分割阈值；

(3.2)顺序遍历信号数据并累计计算信号的均方根RMS值；根据选定的均方根RMS值的分割阈值将信号截为信号片断。

4.根据权利要求1所述的基于加速度传感器的运动控制与动画生成方法，其特征在于：所述步骤(3)中运动识别分类器的构建步骤如下：

(3.1)对原始训练样本的特征序列进行分析，计算该特征序列相邻帧之间的转移概率；

(3,2)对于每一个待识别样本，计算其拟合每一个训练样本的概率；

(3.3)选取拟合度最高的训练样本作为待识别样本的最终识别结果。

5.根据权利要求1所述的基于加速度传感器的运动控制与动画生成方法，其特征在于：所述步骤(4)中对所识别运动信号结果的特征进行时序调整的步骤如下：

(4.1)检索以求出待调整信号与相匹配信号的局部最大值和最小值点；

(4.2)对每一个待调整信号的局部最大值和最小值点，寻找在相匹配信号中的匹配位置，以最小化所有局部极值点之间的差距；

(4.3)根据匹配结果，对相邻极值点之间信号进行插值，以符合相匹配信号的时序关系。

Images