CN102842146B - 一种基于构造分解法的运动数据转换方法 - Google Patents

Abstract

一种基于构造分解法的运动数据转换方法。在计算骨骼关节点旋转信息的时候，传统的方法假定其中一个方向上的扭矩为零，仅求解二自由度的旋转信息，这种方法降低了旋转数据的精确度。针对这一问题，首先以树型结构建立人体骨骼模型，然后利用关节点自身在骨架中的结构关系，提出一种构造分解法求解关节点的三自由度旋转信息，用于驱动人体骨骼模型，并将此方法用于前几种流行的运动数据格式转换中，如BVH、ASF/AMC等格式的数据。

Description

一种基于构造分解法的运动数据转换方法

1.技术领域

是一种将具有拓扑关系的三维空间点向某种图形数据格式转换的方法，主要是用在人体三维运动数据的参数化中，用来驱动三维人体模型。

2.背景技术

在人体运动捕获中，原始运动数据是运动人体各个关节点的空间三维坐标的集合。采用人体关节点的空间三维坐标来描述运动是一种非层次化的描述方法，在这种描述方法中，各个关节点的三维坐标参数相互独立，运动过程中某一关节点的位置变化不会对其它关节点的位置变化产生影响。由于这种描述方法不能真实描述人体运动习惯，违背人体模型中的骨架长度恒定约束，导致在后期的运动编辑时必须求解复杂的长度约束方程，影响运动捕获的真实感。

当前几种流行的运动数据格式，如BVH、ASF/AMC等格式的数据，有一些共同的特点：1)具有层次骨架结构，即数据中包含的骨架模型具有一定的层次结构，用来表示人体结构。骨架数据表示为树形结构，关节间的链接结构由父、子节点关系表示出来。2)关节旋转变化，即通过各个关节平移变换和旋转变换的合成，来表示骨架的运动和变形。关节点的平移由关节点的相对位置信息表示，而关节点的旋转信息表示为关节点的相对旋转欧拉角。

因此，将原始三维坐标运动数据转换为标准格式的运动数据，需要解决以下问题：

(1)分析骨架关联关系，建立人体骨架模型；

(2)根据人体关节点三维坐标，计算各个关节相对于父节点的旋转矩阵；

(3)计算旋转矩阵，求解欧拉角。

3.发明内容

设人体节点为Joint，绕Z,X,Y轴旋转量分别是γ、α、β，则该节点的旋转矩阵：

$\begin{array}{c}{R}_{\mathrm{Joint}}=R\left(\mathrm{\β}\right)R\left(\mathrm{\α}\right)R\left(\mathrm{\γ}\right)\\ =\left[\begin{array}{ccc}\cos \mathrm{\α}\cos \mathrm{\γ}+\sin \mathrm{\α}\sin \mathrm{\β}\sin \mathrm{\γ}& \sin \mathrm{\α}\cos \mathrm{\γ}-\cos \mathrm{\α}\sin \mathrm{\β}\sin \mathrm{\γ}& \cos \mathrm{\β}\sin \mathrm{\γ}\\ -\sin \mathrm{\α}\cos \mathrm{\β}& \cos \mathrm{\α}\cos \mathrm{\β}& \sin \mathrm{\β}\\ -\cos \mathrm{\α}\sin \mathrm{\γ}+\sin \mathrm{\α}\sin \mathrm{\β}\cos \mathrm{\γ}& -\sin \mathrm{\α}\sin \mathrm{\γ}-\cos \mathrm{\α}\sin \mathrm{\β}\cos \mathrm{\γ}& \cos \mathrm{\β}\cos \mathrm{\γ}\end{array}\right]\end{array}---\left(1\right)$

设(x_Joint,y_Joint,z_Joint)_Coordinate是关节点Joint在Coordinate坐标系下的坐标。建立关节点Chest在参考坐标系下坐标和Hips局部坐标系下坐标之间的变换方程：

$\begin{array}{c}{\left(\begin{array}{c}{x}_{\mathrm{Chest}}\\ y_{\mathrm{Chest}}\\ z_{\mathrm{Chest}}\end{array}\right)}_{\mathrm{World}}-{\left(\begin{array}{c}{x}_{\mathrm{Hips}}\\ y_{\mathrm{Hips}}\\ z_{\mathrm{Hips}}\end{array}\right)}_{\mathrm{World}}\end{array}={R_{\mathrm{Hipe}}}^{*}{\left(\begin{array}{c}{x}_{\mathrm{Chest}}\\ y_{\mathrm{Chest}}\\ z_{\mathrm{Chest}}\end{array}\right)}_{\mathrm{Hips}}---\left(2\right)$

其中是Chest关节点在参考坐标系下的坐标，Chest关节点在Hips局部坐标系下的坐标即是Chest的OFFSET参数值。

由于公式(2)的求解存在困难，通常的做法是假设某一轴的旋转分量为零，进行降维求解，这种方法会降低人体模型和实际动作的匹配度。本专利提出构造分解法，可不必假设某一轴的旋转分量为零，即可求解三个轴上的旋转分量。

当两个向量(x₁,y₁,z₁)^T和(x₂,y₂,z₂)^T的长度相等时，存在正交矩阵R，使得(x₂,y₂,z₂)^T＝R(x₁,y₁,z₁)^T。由于在公式(4)中，(x₁,y₁,z₁)^T和(x₂,y₂,z₂)^T是关节点在世界坐标系和局部坐标系下的同一向量，很显然存在该正交矩阵。首先对两个向量进行归一化，然后采用分解构造的方法求解旋转矩阵RHips，方法如下。

为了构造满足(x₂,y₂,z₂)^T＝R(x₁,y₁,z₁)^T的正交矩阵R，令：

(x₁,y₁,z₁)^T＝U(0,0,1)^T

(x₂,y₂,z₂)^T＝Q(0,0,1)^T

其中：

$U^T=\left(\begin{array}{ccc}{u}_{00}& u_{01}& u_{02}\\ u_{10}& u_{11}& u_{12}\\ x_1& y_1& z_1\end{array}\right),Q=\left(\begin{array}{ccc}{q}_{00}& q_{01}& x_2\\ q_{10}& q_{11}& y_2\\ q_{20}& q_{21}& z_2\end{array}\right)$

则有：

R＝QU^-1

由于旋转矩阵R是R(α)R(β)R(γ)的形式，我们对Q和U^-1进行分解构造，使得Q＝R(β)R₁(α)，U^-1＝R₂(α)R(γ)且R(α)＝R₁(α)R₂(α)。

那么：

$\begin{array}{c}R=R\left(\mathrm{\β}\right)R_1\left(\mathrm{\α}\right)R_2\left(\mathrm{\α}\right)R\left(\mathrm{\γ}\right)\\ =\left(\begin{array}{ccc}{c}_1& 0& {-s}_1\\ 0& 1& 0\\ s_1& 0& c_1\end{array}\right)\left(\begin{array}{ccc}1& 0& 0\\ 0& c_1{z}_2-s_1{x}_2& y_2\\ 0& -y_2& c_1{z}_2-s_1{x}_2\end{array}\right)\left(\begin{array}{ccc}1& 0& 0\\ 0& z_1& -s_2{x}_1-c_2{y}_1\\ 0& s_2{x}_1+c_2{y}_1& z_1\end{array}\right)\left(\begin{array}{ccc}{c}_2& {-s}_2& 0\\ s_2& c_2& 0\\ 0& 0& 1\end{array}\right)\end{array}---\left(3\right)$

其中：

$c_1=\frac{z_2}{\sqrt{x_2^2+z_2^2}},s_1=-\frac{x_2}{\sqrt{x_2^2+z_2^2}},c_2=\frac{y_1}{\sqrt{x_1^2+y_1^2}},s_2=\frac{x_1}{\sqrt{x_1^2+y_1^2}}$

在上述旋转矩阵中，c₁、c₂、s₁和s₂都不包含未知量，所以解是唯一的，即在既定旋转次序的情况下不存在第二种旋转情况。公式(3)中的R₁(α)R₂(α)、R(β)和R(γ)与公式(1)中的R(α)、R(β)和R(γ)一一对应，可以求解得到欧拉角。

4.附图说明

5.具体实施方式

5.1人体运动描述

定义的人体骨骼模型，是一种树型结构，树的根节点是Hips关节点，其它节点是对应于人体模型中的各个关节点。整个人体的运动是由根节点的平移和树上各节点绕父节点的旋转组成的。每个节点相对于根节点都有一条唯一的通路。对于节点J_n+1，有:

$J_{n+1}^{\mathrm{world}}=\underset{i=\mathrm{Hips}}{\overset{J_n}{\mathrm{\Π}}}{T}_i{R}_i{J}_{n+1}^{\mathrm{local}}---\left(4\right)$

其中是关节点J_n+1的世界坐标，是关节点J_n+1在以J_n节点为原点的局部坐标系下的坐标，T_i、R_i(i＝Hips,…,J_n)是子节点相对于父节点的偏移和旋转矩阵。即所有非根节点的世界坐标位置都是由它在父节点坐标系下的坐标转换为祖父节点坐标系下，然后再转换到该祖父节点的父节点坐标系下，如此回溯，一直到世界坐标系。建立人体骨骼模型后，求解描述人体运动姿态的数据信息：各个关节在以其父关节为原点的局部坐标系下的偏移量(把世界坐标系的原点看成是根关节的父关节)和子关节绕以其父关节为原点的参考坐标系的各个轴的旋转信息(欧拉角)。把这些数据信息看成是关于时间t的函数，那么人体运动可以描述为：

M(t)＝(T(t),R₁(t),...R_i(t)...,R_n(t))   (5)

其中T(t)表示t时刻根关节点Hips相对于世界坐标系原点的平移量，R_i(t)表示t时刻第i个关节点的旋转量。

5.2计算节点偏移量和自由度

已知重建的三维标记点的世界坐标，本专利采用以下过程，首先计算每个关节点相对于父节点的偏移量，然后再逐步求解各关节点的旋转欧拉角，最后利用这些偏移旋转数据驱动人体骨架模型。

5.2.1求解各节点的偏移量OFFSET

由于根节点无父节点，本文定义根节点的偏移量始终为零。已知骨骼段L_i的首尾关节点J_i和J_i+1的世界坐标，那么这段骨骼的长度为：

$L_i=\sqrt{{(x_{J_{i+1}}-x_{J_i})}^2+{(y_{J_{i+1}}-y_{J_i})}^2+{(z_{J_{i+1}}-z_{J_i})}^2}.$

根据人体初始骨骼模型和每段骨骼的长度可得各节点在其父节点局部坐标系中的偏移向量：Chest在Hips局部坐标系中的向量为(0,L_Chest,0)，LeftHip在Hips局部坐标系中的向量为(-L_LeftHip,0,0)，即OFFSET_Chest＝(0,L_Chest,0)，OFFSET_LeftHip＝(0,L_LeftHip,0)，类似可以得到其余各个节点的OFFSET参数值。

5.2.2求解各节点的自由度

根节点的自由度包括三个平移参数和三个旋转参数，而其他节点的自由度仅包含三个旋转参数。首先计算根节点的自由度，再依次计算其他节点的自由度，在计算旋转参数的时候，提出一种构造分解的方法求解欧拉角。

5.2.2.1求解根节点Hips的自由度

根节点Hips的平移量即是Hips在世界坐标系下的三维坐标(x_Hips,y_Hips,z_Hips)。

假设每个关节点的欧拉角是按照Z-X-Y的顺序排列的，即空间中子节点相对于父节点的旋转矩阵,都是由沿Z轴、X轴以及Y轴的三个基本旋转矩阵顺序复合而成的。

其中绕Z轴旋转一个γ角的旋转矩阵为:

$R\left(\mathrm{\γ}\right)=\left[\begin{array}{ccc}\cos \mathrm{\γ}& -\sin \mathrm{\γ}& 0\\ \sin \mathrm{\γ}& \cos \mathrm{\γ}& 0\\ 0& 0& 1\end{array}\right]$

绕X轴旋转一个α角的旋转矩阵为:

$R\left(\mathrm{\α}\right)=\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \mathrm{\α}& -\sin \mathrm{\α}\\ 0& \sin \mathrm{\α}& \cos \mathrm{\α}\end{array}\right]$

绕Y轴旋转一个β角的旋转矩阵为:

$R\left(\mathrm{\β}\right)=\left[\begin{array}{ccc}\cos \mathrm{\β}& 0& \sin \mathrm{\β}\\ 0& 1& 0\\ -\sin \mathrm{\β}& 0& \cos \mathrm{\β}\end{array}\right]$

然后根据本专利提出的基于构造分解法求解各欧拉角。

5.2.2.2求解第n个关节点J_n的自由度

假设已求得从世界坐标系到J_n-1局部坐标系的旋转矩阵：

$R_1^{n-1}=R_1{R}_2...R_i...R_{n-1}$

其中R_i是从J_i局部坐标系变换到J_i+1局部坐标系的欧拉角旋转矩阵。建立关节点P_i+1在初始局部坐标系下坐标和当前局部坐标系下坐标之间的变换方程：

${\left(\begin{array}{c}{x}_{J_{n+1}}\\ y_{J_{n+1}}\\ Z_{J_{n+1}}\end{array}\right)}_{\mathrm{World}}-{\left(\begin{array}{c}{x}_{J_n}\\ y_{J_n}\\ z_{J_n}\end{array}\right)}_{\mathrm{World}}=R_1^{n-1}{R}_n{\left(\begin{array}{c}{x}_{J_{n+1}}\\ y_{J_{n+1}}\\ z_{J_{n+1}}\end{array}\right)}_{J_n}---\left(6\right)$

其中是关节点J_n+1在J_n局部坐标系下的坐标，即J_n+1的OFFSET参数值。同样利用上一节的分解构造方法求解关节点J_n的旋转矩阵R_n和欧拉角。求解出视频序列中每一帧人体模型各关节点的自由度，利用这些数据驱动三维人体模型。

Claims (2)

1.一种基于构造分解法的运动数据转换方法，所述方法是通过级联方式，将具有拓扑关系的三维空间位置数据点参数化，用来驱动三维人体模型；所述基于构造分解法的运动数据转换方法具有以下技术特征：

同时求解三个相对旋转欧拉角，当两个向量(x₁,y₁,z₁)^T和(x₂,y₂,z₂)^T的长度相等时，存在正交矩阵R，使得(x₂,y₂,z₂)^T＝R(x₁,y₁,z₁)^T，构造满足(x₂,y₂,z₂)^T＝R(x₁,y₁,z₁)^T的正交矩阵R，令： 

(x₁,y₁,z₁)^T＝U(0,0,1)^T,(x₂,y₂,z₂)^T＝Q(0,0,1)^T

其中： 

则有R＝QU^-1； 

由于旋转矩阵R是R(β)R(α)R(γ)的形式，其中α、β、γ分别为绕X、Y、Z轴旋转的角度，对Q和U^-1进行分解构造，使得Q＝R(β)R₁(α)，U^-1＝R₂(α)R(γ)且R(α)＝R₁(α)R₂(α)； 

那么:

其中： 

在上述旋转矩阵中，c₁、c₂、s₁和s₂都不包含未知量，所以解是唯一的，即在既定旋转次序的情况下不存在第二种旋转情况。 

2.如权利要求1所述的基于构造分解法的运动数据转换方法，其特征在于：利用此方法将具有拓扑关系的三维空间点集转换为BVH、ASF/AMC之一的运动数据格式。