CN112634415A

CN112634415A - 一种基于人体骨骼模型的人员动作实时仿真方法

Info

Publication number: CN112634415A
Application number: CN202011441660.5A
Authority: CN
Inventors: 魏俊峰; 侯磊; 崔梦莹; 贾佳; 罗飞; 张同印; 武睿; 蒋雪霏; 王越; 孙祥; 伏超; 虎灵子; 夏乾桐
Original assignee: North Information Control Institute Group Co ltd
Current assignee: North Information Control Institute Group Co ltd
Priority date: 2020-12-11
Filing date: 2020-12-11
Publication date: 2021-04-09
Anticipated expiration: 2040-12-11
Also published as: CN112634415B

Abstract

本发明提出了一种基于人体骨骼模型的人员动作实时仿真方法，主要分为四步：基于人体骨骼模型构建初始变换矩阵、运动数据转换、基于人员动作数据构建实时变换矩阵和人员动作实时仿真。其中，基于人体骨骼模型构建初始变换矩阵又分为三维人体骨骼模型构建和初始变换矩阵构建；运动数据转换又分为矩阵转四元素和坐标系转换；基于人员动作数据构建实时变换矩阵又分为绝对旋转量计算、绝对位移量计算和实时变换矩阵构建；动作实时仿真则是基于构建的初始变换矩阵和实时变换矩阵，利用三维仿真引擎的计算能力，每帧计算构建的人体模型在三维空间的位置和姿态。该方法能够提高三维场景同步仿真的准确性和实时性。

Description

一种基于人体骨骼模型的人员动作实时仿真方法

技术领域

本发明属于人员动作实时仿真领域，特别是一种基于人体骨骼模型的人员动作实时仿真方法。

背景技术

随着空间定位技术及可穿戴设备的发展，以及沉浸式应用需求的不断提高，越来越多的仿真应用要求一定数量人员以“人在回路”的方式参与到仿真场景中。在三维虚拟仿真环境中同步生成虚拟人员，虚拟人员的行为特性与参与人员保持一致。“人在回路”的方式是人员参与到仿真过程中，同时在三维虚拟仿真环境中生成一个虚拟人员模型，参与人员能控制虚拟人员的生存时间及行为动作，从而对训练过程产生影响。

动作捕捉是利用外部设备获取人或其他物体的空间位移及姿态数据，然后在计算机端针对不同的应用对数据进行处理，最终将人或其他物体的位置信息可视化的呈现出来。“人在回路”的应用场景则要求参与人员在仿真过程中的运动情况能够实时的在三维虚拟仿真环境中渲染出来。动作实时仿真，是指在人员穿戴动捕设备运动过程中，单个人员的行为动作及人员与人员之间的协同动作能够在三维虚拟场景中同步的仿真出来，并能对三维虚拟仿真环境产生影响。该技术能够为参与人员提供一种高沉浸感的交互式训练场景，提高训练效果。

三维人体模型的绘制比较复杂，人体模型的骨骼越多，参与人员进行运动时，三维仿真引擎将三维人体模型在三维虚拟仿真环境中呈现出来时需要处理的运动数据就会越多，计算机的计算量就会越大，较高的计算量消耗计算机性能，会导致仿真场景出现延迟、卡顿等现象，从而不能实时的将参与人员的动作在三维虚拟仿真环境中同步的仿真出来。其次，不同参与人员的骨骼关节长度及身高均有不同，同一个动作，不同人员训练时动捕设备采集到的运动数据相应的也会有较大的差异，从而会导致三维人体模型在三维虚拟仿真环境中不能准确的呈现出参与人员动作行为。

因此如何减少计算机的计算量，三维人体模型如何与不同参与人员运动数据相匹配，决定了人员动作仿真的实时性和准确性。该技术领域目前的现状和缺陷在于：

(1)动捕技术大多用来制作三维动画，其应用领域集中在动画和游戏的制作中，基于动捕技术的人员作战实时仿真应用起步较晚，现有的基于三维虚拟引擎的动作捕捉实时仿真技术尚不能达到训练的要求。特别是当多个“人在回路”的节点同时进行训练时，常常会因为数据计算量峰值过大导致三维虚拟引擎“卡死”，从而导致训练过程中断。 (2)现有虚拟引擎进行动作捕捉实时仿真时，一般只接入一个“人在回路”节点，在多个“人在回路”节点的协同作业时，虚拟引擎的动作仿真尚不够准确。(3)采用全局坐标系的仿真引擎获取动捕数据中运动骨骼的偏移量和旋转量通过迭代的方式构建变换矩阵，将运动数据中的相对偏移量和旋转量转换为绝对的，从而来控制骨骼的运动，该方法将进行大量的矩阵运算，占用计算机性能资源较多，会导致动作仿真不流畅的情况出现。

发明内容

本发明的目的在于提供一种基于人体骨骼模型的人员动作实时仿真方法，基于人体骨骼模型组成及计算机图形学理论基础，设计出一种高效的基于人体骨骼模型的空间位移、旋转变换方法，能够提高三维场景同步仿真的准确性和实时性。

实现本发明目的的技术解决方案为：

一种基于人体骨骼模型的人员动作实时仿真方法，包括以下步骤：

步骤1、基于人体骨骼模型构建初始变换矩阵：首先以盆骨为坐标原点，以人体骨骼模型面部朝向为Z轴正方向构建的坐标系，定义三维人体骨骼模型各关节相对其父节点的位置偏移量，构建用于仿真人员动作的三维骨骼模型；然后构建基于人体骨骼模型的初始变换矩阵；

步骤2、运动数据转换：分为矩阵转四元素和坐标系转换，即将动作捕捉设备采集的运动数据统一转换成四元数进行运算，以及将动作捕捉设备采集到的运动数据进行坐标转换和三维引擎坐标系统相同；

步骤3、基于人员动作数据构建实时变换矩阵：包括子节点的绝对旋转量计算，每帧各关节位移向量计算和实时变换矩阵构建；

步骤4、人员动作实时仿真：由基于骨骼模型构建的初始变换矩阵和基于运动数据构建的实时变换矩阵得到骨骼相对初始位置的变化矩阵，三维仿真引擎根据构建的三维人体模型和骨骼相对初始位置的变换矩阵计算每帧各关节相对初始位置的变换矩阵直至最后一帧结束，即可实现人员动作的实时仿真。

本发明与现有技术相比，其显著优点是：

(1)实现了基于人体骨骼模型的人员动作实时仿真方法：以人体骨骼模型数据为支撑，实时计算骨骼各关节在三维空间相对根节点的偏移量和旋转量，实现人员动作在三维虚拟仿真环境中与现实环境中一致的同步仿真。

(2)具有良好的可靠性与可扩充性：人体骨骼模型建模及骨骼关节偏移量与旋转量的计算均基于计算机图形学与空间几何理论，因而具有良好的可靠性，且空间转标系的转换方法使动作捕捉设备采集的运动数据能够适用于不同坐标系的仿真引擎，具有良好的可扩充性。

(3)适用于多种三维虚拟仿真平台：本发明适用范围广，可用于多种三维虚拟仿真平台，为班组乃至分队级的仿真应用提供了有利支撑，满足大规模细粒度的仿真应用需求。

附图说明

图1为人员动作仿真流程图。

图2为三维虚拟场景中人员动作实时仿真流程图。

图3为三维模型人体树形结构图。

图4为人体三维模型各关节子父关系图。

图5为各关节相对根节点偏移量转换流程图。

图6为各关节相对根节点偏移量转换流程图。

具体实施方式

下面结合附图及具体实施例对本发明做进一步的介绍。

结合图1、图2的人员动作实时仿真流程图，人员动作仿真过程是一个数据-模型-仿真显示的循环，基于此，本发明的一种基于人体骨骼模型的人员动作实时仿真方法，主要分为四步：基于人体骨骼模型构建初始变换矩阵、运动数据(训练时通过动作捕捉设备采集到的人员动作数据)转换、基于人员动作数据构建实时变换矩阵和人员动作实时仿真。其中，基于人体骨骼模型构建初始变换矩阵又分为三维人体骨骼模型构建和初始变换矩阵构建；运动数据转换又分为矩阵转四元素和坐标系转换；基于人员动作数据构建实时变换矩阵又分为绝对旋转量计算、绝对位移量计算和实时变换矩阵构建；动作实时仿真则是基于构建的初始变换矩阵和实时变换矩阵，利用三维仿真引擎的计算能力，每帧计算构建的人体模型在三维空间的位置和姿态。具体步骤如下：

步骤1、基于人体骨骼模型构建初始变换矩阵

1.1、构建三维人体骨骼模型：

与人体相似，用于三维虚拟仿真引擎的人体骨骼模型的关节比较多，可以将人体骨骼看做一棵具有层次结构的树，盆骨看做根节点，除了根节点，其他关节都有父节点，除了叶子节点，其他关节都有子节点，关节与关节之间具有一定的联系，图3为一个比较完整的人体骨架模型，其中黑色圆圈代表各子节点，在这个骨骼模型中，盆骨(Pelvis) 节点即为本骨骼树的根节点，图4表示各关节的子父关系。本发明基于以盆骨(Pelvis) 为坐标原点，以人体骨骼模型面部朝向为Z轴正方向构建的坐标系，定义了三维人体骨骼模型各关节相对其父节点的位置偏移量，构建了一种用于仿真人员动作的三维骨骼模型。三维人体骨骼模型构建过程如下:

以盆骨(Pelvis)为根节点，躯干部分骨骼模型从下至上依次为脊椎节点1(Spine1)，脊椎节点2(Spin2)，脊椎节点3(Spine3)，脊椎节点4(Spine4)，脖子节点1(Neck1)，脖子节点2(Neck2)，头底部(Skull)和头顶部(SkullEnd)。

左上肢骨骼模型从脖子节点1(Neck1)开始依次为左肩膀(LShoulder)，左上臂(LUpperArm)，左下臂(LLowerArm)，左下臂轴关节(LLowerArmRoll)和左手(LHand)。

左下肢骨骼模型从盆骨(Pelvis)开始依次为左上腿(LUpperLeg)，左上腿轴关节(LUpperLegRoll)，左下腿(LLowerLeg)，左下退轴关节(LLowerLegRoll)和左脚(LFoot)。

右上肢骨骼模型从脖子节点1(Neck1)开始依次为右肩膀(RShoulder)，右上臂(RUpperArm)，右下臂(RLowerArm)，右下臂轴关节(RLowerArmRoll)和右手(RHand)。

左下肢骨骼模型从盆骨(Pelvis)开始依次为右上腿(RUpperLeg)，右上腿轴关节(RUpperLegRoll)，右下腿(RLowerLeg)，右下退轴关节(RLowerLegRoll)和右脚(RFoot)。

以上构建的人体骨骼模型中各关节相对其父节点在坐标系中的位置以相对偏移向量表示，向量数值类型为float型，各关节的相对偏移向量见附表1。

表1人体骨骼模型各关节相对偏移量定义表

1.2、构建初始变换矩阵：

本发明中用于运算的向量、矩阵和四元数均是基于以盆骨(Pelvis)为坐标原点，以人体骨骼模型面部朝向为Z轴正方向构建的坐标系。

基于人体骨骼模型的初始变换矩阵构建过程如下：

以腿部骨骼模型为例，以P₀(x₀,y₀,z₀)表示某关节相对根节点的偏移量， P₁(x₁，y₁，z₁)表示该关节父节点相对根节点的偏移量，vDir表示该关节相对其父节点的偏移量，取z轴方向向量vUp＝(0,0,-1)则该关节初始变换矩阵构建公式如公式(1) 所示：

其中x,y,z,t,m均为中间变量，其求解过程如下：

vDir＝P₁-P₀＝(x₀-x₁，y₀-y₁，z₀-z₁)；

对向量vDir进行归一化处理

若|vDir|<1,则|vDir|＝1。

当计算身体躯干及头部各关节的初始变换矩阵时，令vUp＝(0,0,1)，其他计算过程同腿部计算方法，当计算上肢体各关节的初始变换矩阵时，令vUp＝(0,1,0)，其他计算过程同腿部计算方法。

步骤2、运动数据转换

本发明中提到的运动数据均为训练时通过动作捕捉设备采集到的人员动作数据。

2.1、矩阵转四元数

在计算机图形学中，一般使用变换矩阵描述平移、旋转等变换。而三维空间的旋转还可以用欧拉角(Euler angles)和四元数(Quaternions)来表示。相对于矩阵，四元数在计算机图形学的优势在于运算量小和利于插值，且不会有欧拉角存在的万向节死锁问题。

基于动作捕捉技术获取的运动数据通常采用欧拉角和四元数来表示人体各关节在三维空间的旋转信息。考虑到人员动作的复杂性将带来大量运算，为了确保动作仿真时三维虚拟仿真系统的实时性和准确性，本发明首先判断动作捕捉设备采集的运动数据中人员姿态数据(旋转量)是否采用四元数表示，若不是则将运动数据统一转换成四元数进行运算，矩阵转四元数的过程可依据空间几何学中矩阵与四元数的关系计算得到。

2.2、坐标转换：

不同的动作捕捉设备采集到的人员动作数据采用的坐标系可能不同(左手坐标系或右手坐标系)，且即使采用同样的坐标系，X轴的正方向也不尽相同。而只有当运动数据采用的坐标系和三维引擎坐标系统相同，且X轴正方向也相同时，人员动作仿真才不会出现偏差。因此本发明在进行人员动作仿真时会先将动作捕捉设备采集到的运动数据进行坐标转换，从而能够适配不同的仿真引擎，坐标系转换方法可依据笛卡尔左、右手坐标系的转换关系得到。

步骤3、基于人员动作数据构建实时变换矩阵

3.1、由运动数据计算关节的绝对旋转量：

人体骨骼模型某关节由相对旋转量转绝对旋转量的过程如图6所示，以四元数q_Abspar(q_a0，q_a1，q_a2，q_a3)，q_relchild(q_r0，q_r1，q_r2，q_r3)，q_Abschild(q₀，q₁，q₂，q₃) 分别表示父节点的绝对旋转量、子节点的相对旋转量、子节点的绝对旋转量，q_Abspar，q_relchild，q_Abschild可从动作捕捉设备采集到的运动数据中直接获得或者通过步骤2转换得到。q_a0，q_a1，q_a2，q_a3为父节点的绝对旋转量四元数的四个变量， q_r0，q_r1，q_r2，q_r3为子节点的相对旋转量四元数的四个变量，q₀，q₁，q₂，q₃为子节点的绝对旋转量四元数的四个变量。

子节点的绝对旋转量计算公式如公式(4)所示：

q_Abschild＝q_Abspar*q_relchild……………………………………………(4)

3.2、计算每帧各关节位移向量：

由图4可知，各关节相对根节点的绝对偏移量分5个区域分别计算，分别为左上肢、右上肢、左下肢、右下肢和躯干。每个区域中某个关节相对根节点的偏移量均为其父节点相对根节点的偏移量加上其相对父节点的偏移量，如图5所示。

由向量V_initchild和V_initpar分别表示当前节点和父节点的初始向量，V_cur表示当前节点旋转后的空间向量，V_cur计算公式如公式5所示：

V_cur＝q_Abspar*V_initchild*q_Abspar-1……………(5)

用V_offset(x_Offset，t_Offset，z_Offset)表示旋转后当前节点相对根节点的位移，V_offset计算公式如下：

V_offset＝V_cur+V_initpar………………………(6)

其中x_Offset,y_Offset,z_Offset分别表示当前节点相对根节点在x轴，y轴和z轴上的位移量。

3.3、构建某关节的变换矩阵：

设m₀＝q₀，m₁＝q₁，m₂＝q₂，w＝q₃，由变换后的四元数q_Abschild和位移向量V_offset构造旋转矩阵M_Abs如下：

其中：wm₀＝w*m₀*2,wm₁＝w*m₁*2,wm₂＝w*m₂*2，m₀m₀＝m₀*m₀*2, m₀m₁＝m₀*m₁*2,m₀m₂＝m₀*m₂*2,m₁m₁＝m₁*m₁*2,m₁m₂＝m₁*m₂*2, m₂m₂＝m₂*m₂*2。

步骤4、人员动作实时仿真

由基于骨骼模型构建的初始变换矩阵和基于运动数据构建的实时变换矩阵得到骨骼相对初始位置的变换矩阵M_offset，计算公式如下：

M_offset＝M_Abs*M_init-1………………………………………(8)

三维仿真引擎以附表1中的数据构建三维人体模型，并依据公式(8)计算每帧各关节相对初始位置的变换矩阵直至最后一帧结束，即可实现人员动作的实时仿真过程。

Claims

1.一种基于人体骨骼模型的人员动作实时仿真方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于人体骨骼模型的人员动作实时仿真方法，其特征在于，步骤1中三维人体骨骼模型构建过程如下:

左上肢骨骼模型从脖子节点1(Neck1)开始依次为左肩膀(LShoulder)，左上臂(LUpperArm)，左下臂(LLowerArm)，左下臂轴关节(LLowerArmRoll)和左手(LHand)；

左下肢骨骼模型从盆骨(Pelvis)开始依次为左上腿(LUpperLeg)，左上腿轴关节(LUpperLegRoll)，左下腿(LLowerLeg)，左下退轴关节(LLowerLegRoll)和左脚(LFoot)；

右上肢骨骼模型从脖子节点1(Neck1)开始依次为右肩膀(RShoulder)，右上臂(RUpperArm)，右下臂(RLowerArm)，右下臂轴关节(RLowerArmRoll)和右手(RHand)；

3.根据权利要求1所述的基于人体骨骼模型的人员动作实时仿真方法，其特征在于，步骤1中构建基于人体骨骼模型的初始变换矩阵为：

其中x，y，z，t，m均为中间变量，

m＝(z₀-z₁)²/((x₀-x₁)²+(y₀-y₁)²+(z₀-z₁)²)

其中(x₀，y₀，z₀)表示某关节相对根节点的偏移量；(x₁，y₁，z₁)表示该关节父节点相对根节点的偏移量。

4.根据权利要求1所述的基于人体骨骼模型的人员动作实时仿真方法，其特征在于，步骤3基于人员动作数据构建实时变换矩阵，具体包括以下步骤：

3.1、由运动数据计算关节的绝对旋转量：

以四元数q_Abspar，q_relchild，q_Abschild(q₀，q₁，q₂，q₃)分别表示父节点的绝对旋转量、子节点的相对旋转量、子节点的绝对旋转量；计算子节点的绝对旋转量：

q_Abschild＝q_Abspar*q_relchild

3.2、计算每帧各关节位移向量：

由向量V_initchild和V_initpar分别表示当前节点和父节点的初始向量，计算当前节点旋转后的空间向量V_cur：

V_cur＝q_Abspar*V_initchild*q_Abspar-1

计算旋转后当前节点相对根节点的位移：

V_offset＝V_cur+V_initpar

V_offset(X_0ffset，y_0ffset，z_0ffset)表示旋转后当前节点相对根节点的位移，其中x_0ffset，y_0ffset，z_0ffset分别表示当前节点相对根节点在x轴，y轴和z轴上的位移量；

3.3、构建某关节的变换矩阵：

由变换后的四元数q_Abschild和位移向量V_offset构造旋转矩阵M_Abs如下：

其中m₀＝q₀，m₁＝q₁，m₂＝q₂，w＝q₃；wm₀＝w*m₀*2，wm₁＝w*m₁*2，wm₂＝w*m₂*2，m₀m₀＝m₀*m₀*2，m₀m₁＝m₀*m₁*2，m₀m₂＝m₀*m₂*2，m₁m₁＝m₁*m₁*2，m₁m₂＝m₁*m₂*2，m₂m₂＝m₂*m₂*2。

5.根据权利要求1所述的基于人体骨骼模型的人员动作实时仿真方法，其特征在于，步骤4骨骼相对初始位置的变换矩阵，计算公式如下：

M_offset＝M_Abs*M_init-1

其中M_Abs为基于运动数据构建的实时变换矩阵，M_init为基于骨骼模型构建的初始变换矩阵。