CN103886588A - 一种三维人体姿态投影的特征提取方法 - Google Patents

Abstract

本发明公开了一种三维人体姿态投影的特征提取方法，该方法从三维人体运动数据库或本地文件系统获取三维人体运动数据；通过对三维人体运动姿态进行平移、旋转进行姿态的校正，对校正的姿态往三个坐标平面进行投影，使用PCA方法对投影提取特征，求得投影的主方向，即人物的主方向，然后基于二维人物图中人物的主方向，使用夹角信息定义最终的特征。相较于简单的骨骼方向特征而言，本发明的特征既有对人体局部动作的反应，又有对人体整体形态的反应，便于分层次的比较人体姿态的相似性，使得运动可以进行逻辑相似性的比较，同时，本发明的特征提取方法简单高效。

Description

一种三维人体姿态投影的特征提取方法

技术领域

本发明涉及图形学和运动检索，尤其涉及一种使用PCA方法对三维人体姿态投影提取几何特征的方法。

背景技术

三维人体姿态投影是三维人体姿态在一个平面上的投影。近年来，随着基于草图的运动检索的兴盛，如何有效定义平面上人物图的特征变得越来越有研究意义。

人体运动捕获技术被广泛应用到动画制作，电影特效，计算机游戏等娱乐领域，带来巨大的经济效益。面对大量的运动捕获数据，如何从中检索得到想要的运动，是我们进一步使用运动数据的基础，十分重要。对三维人体运动数据的检索从输入形式上看可以分为直接基于样例的、使用玩偶的、使用Kinect的等等。直接基于样例的运动检索在手头没有相似的运动片段时，检索进行不下去。而使用玩偶和Kinect的也存在较大难度，因为不是每个动作都能较容易被展示出来，与它们相比，使用草图的方式则有着较为明显的优势。

基于草图这类平面图进行运动检索时，根据草图的具体形式，如完全手绘图较为不规范，而另外一些草图是则是较规则的图形，此时它和人体姿态投影是相类似的，因此我们不仅可以对数据库中的运动姿态投影提取某种特征，而且可以对草图也提取这种特征。现在，一个重要的问题就是怎么定义人体姿态投影的特征了。如果特征定义的好，对姿态的表达能力就强，检索结果必然更好。

对三维人体姿态投影提取特征，较为常见且有效的就是利用投影的几何特征。如Choi等在他们的论文“Retrieval and Visualization of Human Motion Data via Stick Figures”使用了骨骼方向特征就是一种几何特征。这种特征的定义是如果两个关节点之间有骨骼连接，我们就取该连接的方向作为特征的一部分。所有的连接方向构成了一个特征。

$f=\left\{l_{1,}^x{l}_{1,}^y{l}_{2,}^x{l}_{2,\…\…,}^y{l}_{n,}^x{l}_n^y\right\}$

其中

是表示第i个连接的向量的x和y分量。每个骨骼方向向量均要被单位化。

考虑到每一个人体运动姿态的投影都有一个大体的方向。如一个直立的姿态的大体方向可以认为是垂直于水平面，一个弯腰捡东西的动作的大体方向会在倾向于靠近水平面，而一个踢腿的动作中大体方向会背离面对的水平面。如果给我们画笔让我们只用一条直线表现人物，那么直立、弯腰捡东西、踢腿也会不同，这就说明了可能存在一条直线，它可以表现出人物的一个总体特征。

而怎么表示这条直线，不难想到PCA。我们的特征也就围绕这里逐渐展开了。

发明内容

本发明的目的是克服现有技术的不足，提供一种一种三维人体姿态投影的特征提取方法。本发明的技术方案如下：

三维人体姿态投影的特征提取方法包括如下步骤：

1）从三维人体运动数据库获取三维人体运动数据，或读取本地文件系统的三维人体运动数据；2）对三维人体运动数据中的三维姿态进行平移、旋转变换；

将三维姿态中位于臀部的Root节点平移到全局坐标系的原点，通过旋转变换使得Neck节点、RHip节点、LHip节点所在的平面与XOY平面平行；并且RHip节点、LHip节点的中点与Neck节点的连线平行于Y轴；其中，Neck节点是脖子对应的关节点的三维坐标，RHip节点是右臀对应的关节点的三维坐标，LHip节点是左臀对应的关节点的三维坐标

定义： P_R：Root节点的三维坐标；

P_Neck：Neck节点的三维坐标；

P_RHip：RHip节点的三维坐标；

P_LHip：LHip节点的三维坐标；

P_Mid：P_RHip和P_LHip中点的坐标；

N_plane：P_Neck、P_RHip、P_Mid三点所在平面的法向量；

计算公式如下：

N_plane=cross(P_LHip-P_RHip,P_Neck-P_Mid)

其中cross表示叉乘；

L：从P_Mid指向P_Neck的向量，即L=P_Neck‐P_Mid；

通过Root节点的三维坐标计算出平移矩阵，记为T；

平移矩阵 $T=\left[\begin{array}{cccc}1& 0& 0& -P_R\left(x\right)\\ 0& 1& 0& -P_R\left(y\right)\\ 0& 0& 1& -P_R\left(z\right)\\ 0& 0& 0& 1\end{array}\right]$

平移矩阵T中，P_R(x)、P_R(y)、PR(z)分别表示三维坐标P_R的三个维度x、y、z上的值；

计算出N_plane绕X轴旋转到XOZ平面的旋转矩阵R_x，

$R_x=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& \frac{N_{\mathrm{plane}}\left(z\right)}{\sqrt{N_{\mathrm{plane}}(y{)}^2+N_{\mathrm{plane}}(z{)}^2}}& \frac{N_{\mathrm{plane}}\left(y\right)}{\sqrt{N_{\mathrm{plane}}(y{)}^2+N_{\mathrm{plane}}(z{)}^2}}& 0\\ 0& -\frac{N_{\mathrm{plane}}\left(y\right)}{\sqrt{N_{\mathrm{plane}}(y{)}^2+N_{\mathrm{plane}}(z{)}^2}}& \frac{N_{\mathrm{plane}}\left(z\right)}{\sqrt{N_{\mathrm{plane}}(y{)}^2+N_{\mathrm{plane}}(z{)}^2}}& 0\\ 0& 0& 0& 1\end{array}\right]$

其中，N_plane(x)、N_plane(y)、N_plane(z)分别表示向量N_plane的三个维度x、y、z上的值；

计算出N_plane绕Y轴旋转到与Z轴平行的旋转矩阵R_y，

$R_y=\left[\begin{array}{cccc}\frac{\sqrt{N_{\mathrm{plane}}(y{)}^2{N}_{\mathrm{plane}}(z{)}^2}}{\sqrt{N_{\mathrm{plane}}(y{)}^2{N}_{\mathrm{plane}}(y{)}^2{N}_{\mathrm{plane}}(z{)}^2}}& 0& \frac{N_{\mathrm{plane}}\left(x\right)}{\sqrt{N_{\mathrm{plane}}(y{)}^2+N_{\mathrm{plane}}(y{)}^2+N_{\mathrm{plane}}(z{)}^2}}& 0\\ 0& 1& 0& 0\\ -\frac{N_{\mathrm{plane}}\left(x\right)}{\sqrt{N_{\mathrm{plane}}(y{)}^2+N_{\mathrm{plane}}(y{)}^2+N_{\mathrm{plane}}(z{)}^2}}& 0& \frac{\sqrt{N_{\mathrm{plane}}(y{)}^2+N_{\mathrm{plane}}(z{)}^2}}{\sqrt{N_{\mathrm{plane}}(y{)}^2+N_{\mathrm{plane}}(y{)}^2+N_{\mathrm{plane}}(z{)}^2}}& 0\\ 0& 0& 0& 1\end{array}\right];$

计算出L绕Z轴旋转到与Y轴平行的旋转矩阵R_z，计算公式如下：

P_t=[L(x)L(y)L(z)1]*R_x*R_y

其中[L(x)L(y)L(z)1]表示将向量L和数字1连接在一起构成的四元组，

L(x)、L(y)、L(z)分别表示向量L的三个维度x、y、z上的值

$R_z=\left[\begin{array}{cccc}\frac{P_t\left(y\right)}{\sqrt{P_t(x{)}^2+P_t(y{)}^2}}& \frac{P_t\left(x\right)}{\sqrt{P_t(x{)}^2+P_t(y{)}^2}}& 0& 0\\ -\frac{P_t\left(x\right)}{\sqrt{P_t(x{)}^2+P_t(y{)}^2}}& \frac{P_t\left(y\right)}{\sqrt{P_t(x{)}^2+P_t(y{)}^2}}& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]$

其中，P_t(x)、P_t(y)、P_t(z)分别表示向量P_t的三个维度x、y、z上的值；

节点坐标转换矩阵M如下：

M=T*Rx*Ry*Rz

将三维姿态的每个关节点坐标乘以节点坐标转换矩阵M，完成对姿态的平移、旋转变换；3）将平移、旋转变换后的三维姿态中的每个关节点的三维坐标（x、y、z）分别投影到XOY、YOZ、XOZ三个平面，得到每个关节点在投影平面上的关节点坐标（x、y、0）、（0、y、z）、（x、0、z）；将一个投影平面上的所有关节点坐标组合在一起构成一个集合，用来表示该投影平面上的二维人物图；

4）分别计算出三个投影平面上的二维人物图中人物的主方向；

对每个投影平面上的二维人物图中人物的主方向的计算过程是：选取该投影平面上的部分关节点坐标定义一个关节点集合S_joint，

Sjoint={Head,Neck,RElbow,RHand,LElbow,LHand,RKnee,RAnkle,LKnee,Lankle}

其中，Head是头部对应的关节点在投影平面的坐标，Neck是脖子对应的关节点在投影平面的坐标，Relbow是右肘对应的关节点在投影平面的坐标，RHand是右手对应的关节点在投影平面的坐标，LElbow是左肘对应的关节点在投影平面的坐标，LHand是左手对应的关节点在投影平面的坐标，Rknee是右膝对应的关节点在投影平面的坐标，RAnkle是右脚踝对应的关节点在投影平面的坐标，Lknee是左膝对应的关节点在投影平面的坐标，LAnkle是左脚踝对应的关节点在投影平面的坐标，对集合S_joint中的数据使用PCA，得到协方差矩阵最大的特征值对应的特征向量，这个特征向量的方向即为二维人物图中人物的主方向；

5）针对给定的某个投影平面，基于二维人物图中人物的主方向，使用夹角信息定义最终的特征；

针对给定的某个投影平面，二维人物图中人物的主方向与水平面的夹角表示为θ_pca，选择上肢、下肢的8段骨骼，分别使用向量表示如下：L2是从LShould节点指向LElbow节点的向量，L3是从LElbow节点指向LHand节点的向量，L4是从RShould节点指向RElbow节点的向量，L5是从RElbow节点指向RHand节点的向量，L6是从LHip节点指向LKnee节点的向量，L7是从LKnee节点指向LAnkle节点的向量，L8是从RHip节点指向RKnee节点的向量，L9是从RKnee节点指向RAnkle节点的向量，其中Lshould是左肩对应的关节点在投影平面的坐标，Rshould是右肩对应的关节点在投影平面的坐标，

分别计算L2,L3,L4,L5,L6,L7,L8,L9与二维人物图中人物的主方向的夹角，记为θ₂，θ₃，θ₄，θ₅，θ₆，θ₇，θ₈，θ₉，计算出Rhip节点、Lhip节点的中点与Neck节点构成的直线与二维人物图中人物的主方向的夹角，记为θ₁，将以上十个角度信息组合在一起即构成三维人体姿态投影的特征f:

f={θ_pca,θ₁，θ₂，θ₃，θ₄，θ₅，θ₆，θ₇，θ₈，θ₉}。

本发明的有益效果是：本发明使用PCA的方法求得三维人体姿态投影的主方向并使用各种夹角信息构造了特征表示。相较于简单的骨骼方向特征而言，本发明的特征既有对人体局部动作的反应，又有对人体整体形态的反应（依靠θ_pca表现出来），便于分层次的比较人体姿态的相似性，使得运动可以进行逻辑相似性的比较。同时，本发明的特征提取方法简单高效。附图说明

图1是三维人体姿态的示意图。

图2是人体关节点示意图。

具体实施方式

三维人体姿态投影的特征提取方法包括如下步骤：

1）从三维人体运动数据库获取三维人体运动数据，或读取本地文件系统的三维人体运动数据；

2）对三维人体运动数据中的三维姿态进行平移、旋转变换；

将三维姿态中位于臀部的Root节点平移到全局坐标系的原点，通过旋转变换使得Neck节点、RHip节点、LHip节点所在的平面与XOY平面平行；并且RHip节点、LHip节点的中点与Neck节点的连线平行于Y轴；其中，Neck节点是脖子对应的关节点的三维坐标，RHip节点是右臀对应的关节点的三维坐标，LHip节点是左臀对应的关节点的三维坐标

定义：PR：Root节点的三维坐标；

P_Neck：Neck节点的三维坐标；

P_RHip：RHip节点的三维坐标；

P_LHip：LHip节点的三维坐标；

P_Mid:P_RHip和P_LHip中点的坐标；

N_plane：P_Neck、P_RHip、P_Mid三点所在平面的法向量；

计算公式如下：

N_plane=cross(P_LHip-P_RHip,P_Neck-P_Mid)

其中cross表示叉乘；

L：从P_Mid指向P_Neck的向量，即L=P_Neck-P_Mid；

通过Root节点的三维坐标计算出平移矩阵，记为T；

平移矩阵 $T=\left[\begin{array}{cccc}1& 0& 0& -P_R\left(x\right)\\ 0& 1& 0& -P_R\left(y\right)\\ 0& 0& 1& -P_R\left(z\right)\\ 0& 0& 0& 1\end{array}\right]$

平移矩阵T中，P_R(x)、P_R(y)、P_R(z)分别表示三维坐标P_R的三个维度x、y、z上的值；

计算出N_plane绕X轴旋转到XOZ平面的旋转矩阵R_x，

$R_x=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& \frac{N_{\mathrm{plane}}\left(z\right)}{\sqrt{N_{\mathrm{plane}}(y{)}^2+N_{\mathrm{plane}}(z{)}^2}}& \frac{N_{\mathrm{plane}}\left(y\right)}{\sqrt{N_{\mathrm{plane}}(y{)}^2+N_{\mathrm{plane}}(z{)}^2}}& 0\\ 0& -\frac{N_{\mathrm{plane}}\left(y\right)}{\sqrt{N_{\mathrm{plane}}(y{)}^2+N_{\mathrm{plane}}(z{)}^2}}& \frac{N_{\mathrm{plane}}\left(z\right)}{\sqrt{N_{\mathrm{plane}}(y{)}^2+N_{\mathrm{plane}}(z{)}^2}}& 0\\ 0& 0& 0& 1\end{array}\right]$

其中，N_plane(x)、N_plane(y)、N_plane(z)分别表示向量N_plane的三个维度x、y、z上的值；

计算出N_plane绕Y轴旋转到与Z轴平行的旋转矩阵R_y，

$R_y=\left[\begin{array}{cccc}\frac{\sqrt{N_{\mathrm{plane}}(y{)}^2{N}_{\mathrm{plane}}(z{)}^2}}{\sqrt{N_{\mathrm{plane}}(y{)}^2{N}_{\mathrm{plane}}(y{)}^2{N}_{\mathrm{plane}}(z{)}^2}}& 0& \frac{N_{\mathrm{plane}}\left(x\right)}{\sqrt{N_{\mathrm{plane}}(y{)}^2+N_{\mathrm{plane}}(y{)}^2+N_{\mathrm{plane}}(z{)}^2}}& 0\\ 0& 1& 0& 0\\ -\frac{N_{\mathrm{plane}}\left(x\right)}{\sqrt{N_{\mathrm{plane}}(y{)}^2+N_{\mathrm{plane}}(y{)}^2+N_{\mathrm{plane}}(z{)}^2}}& 0& \frac{\sqrt{N_{\mathrm{plane}}(y{)}^2+N_{\mathrm{plane}}(z{)}^2}}{\sqrt{N_{\mathrm{plane}}(y{)}^2+N_{\mathrm{plane}}(y{)}^2+N_{\mathrm{plane}}(z{)}^2}}& 0\\ 0& 0& 0& 1\end{array}\right];$

计算出L绕Z轴旋转到与Y轴平行的旋转矩阵R_z，计算公式如下：

P_t=[L(x)L(y)L(z)1]*R_x*R_y

其中[L(x)L(y)L(z)1]表示将向量L和数字1连接在一起构成的四元组，

L(x)、L(y)、L(z)分别表示向量L的三个维度x、y、z上的值

$R_z=\left[\begin{array}{cccc}\frac{P_t\left(y\right)}{\sqrt{P_t(x{)}^2+P_t(y{)}^2}}& \frac{P_t\left(x\right)}{\sqrt{P_t(x{)}^2+P_t(y{)}^2}}& 0& 0\\ -\frac{P_t\left(x\right)}{\sqrt{P_t(x{)}^2+P_t(y{)}^2}}& \frac{P_t\left(y\right)}{\sqrt{P_t(x{)}^2+P_t(y{)}^2}}& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]$

其中，P_t(x)、P_t(y)、P_t(z)分别表示向量P_t的三个维度x、y、z上的值；

节点坐标转换矩阵M如下：

M=T*R_x*R_y*R_z

将三维姿态的每个关节点坐标乘以节点坐标转换矩阵M，完成对姿态的平移、旋转变换；3）将平移、旋转变换后的三维姿态中的每个关节点的三维坐标（x、y、z）分别投影到XOY、YOZ、XOZ三个平面，得到每个关节点在投影平面上的关节点坐标（x、y、0）、（0、y、z）、（x、0、z）；将一个投影平面上的所有关节点坐标组合在一起构成一个集合，用来表示该投影平面上的二维人物图；

4）分别计算出三个投影平面上的二维人物图中人物的主方向；

对每个投影平面上的二维人物图中人物的主方向的计算过程是：选取该投影平面上的部分关节点坐标定义一个关节点集合S_joint，

S_joint={Head,Neck,RElbow,RHand,LElbow,LHand,RKnee,RAnkle,LKnee,Lankle }

其中，Head是头部对应的关节点在投影平面的坐标，Neck是脖子对应的关节点在投影平面的坐标，Relbow是右肘对应的关节点在投影平面的坐标，RHand是右手对应的关节点在投影平面的坐标，LElbow是左肘对应的关节点在投影平面的坐标，LHand是左手对应的关节点在投影平面的坐标，Rknee是右膝对应的关节点在投影平面的坐标，RAnkle是右脚踝对应的关节点在投影平面的坐标，Lknee是左膝对应的关节点在投影平面的坐标，LAnkle是左脚踝对应的关节点在投影平面的坐标，对集合S_joint中的数据使用PCA，得到协方差矩阵最大的特征值对应的特征向量，这个特征向量的方向即为二维人物图中人物的主方向；

5）针对给定的某个投影平面，基于二维人物图中人物的主方向，使用夹角信息定义最终的特征；

针对给定的某个投影平面，二维人物图中人物的主方向与水平面的夹角表示为θ_pca，选择上肢、下肢的8段骨骼，分别使用向量表示如下：L2是从LShould节点指向LElbow节点的向量，L3是从LElbow节点指向LHand节点的向量，L4是从RShould节点指向RElbow节点的向量，L5是从RElbow节点指向RHand节点的向量，L6是从LHip节点指向LKnee节点的向量，L7是从LKnee节点指向LAnkle节点的向量，L8是从RHip节点指向RKnee节点的向量，L9是从RKnee节点指向RAnkle节点的向量，其中Lshould是左肩对应的关节点在投影平面的坐标，Rshould是右肩对应的关节点在投影平面的坐标，

分别计算L2,L3,L4,L5,L6,L7,L8,L9与二维人物图中人物的主方向的夹角，记为θ₂，θ₃，θ₄，θ₅，θ₆，θ₇，θ₈，θ₉，计算出Rhip节点、Lhip节点的中点与Neck节点构成的直线与二维人物图中人物的主方向的夹角，记为θ₁，将以上十个角度信息组合在一起即构成三维人体姿态投影的特征f:

f={θ_pca,θ₁，θ₂，θ₃，θ₄，θ₅，θ₆，θ₇，θ₈，θ₉}。

下面结合附图详细描述本发明，本发明的目的和效果将变得更加明显。

如图1所示，三维人体姿态投影的特征提取方法包括如下步骤：

1）：准备三维人体运动数据文件。

可直接使用卡耐基梅隆大学提供的三维人体运动数据库（可以从http://mocap.cs.cmu.edu下载），该数据库中包含了采集自不同人的各种不同类型的运动，如跑步、走路、跳跃以及各种体育活动。如使用TRC格式，需使用MotionBuilder软件将下载的BVH格式转化为TRC格式。

2）：对运动数据中的每个姿态进行平移、旋转变换。

附图1是一个三维人体姿态，Root节点、Neck节点、RHip节点和LHip节点所在位置如附图1中所示。首先定义：

P_R：Root节点的三维坐标

P_Neck：Neck节点的三维坐标

P_RHip：RHip节点的三维坐标

P_LHip：LHip节点的三维坐标

P_Mid：P_RHip和P_LHip中点的坐标

N_plane：P_Neck、P_RHip、P_Mid三点所在平面的法向量，使用公式（1）计算，

其中cross表示叉乘。

N_plane=cross(P_LHip-P_EHip,P_Neck-P_Mid)公式（1）

L：从P_Mid指向P_Neck的向量，即L=P_Neck‐P_Mid

对于任意的三维坐标P，它三个维度用P(x)、P(y)、P(z)表示

计算平移变换，平移变换是将姿态中位于臀部的Root节点移动到全局坐标系的原点去。平移矩阵设为T，T的计算方法见公式（2）：

$T=\left[\begin{array}{cccc}1& 0& 0& -P_R\left(x\right)\\ 0& 1& 0& -P_R\left(y\right)\\ 0& 0& 1& -P_R\left(z\right)\\ 0& 0& 0& 1\end{array}\right]$ 公式（2）

计算出N_plane绕X轴旋转到XOZ平面的旋转矩阵R_x，计算如公式（3）

$R_x=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& \frac{N_{\mathrm{plane}}\left(z\right)}{\sqrt{N_{\mathrm{plane}}(y{)}^2+N_{\mathrm{plane}}(z{)}^2}}& \frac{N_{\mathrm{plane}}\left(y\right)}{\sqrt{N_{\mathrm{plane}}(y{)}^2+N_{\mathrm{plane}}(z{)}^2}}& 0\\ 0& -\frac{N_{\mathrm{plane}}\left(y\right)}{\sqrt{N_{\mathrm{plane}}(y{)}^2+N_{\mathrm{plane}}(z{)}^2}}& \frac{N_{\mathrm{plane}}\left(z\right)}{\sqrt{N_{\mathrm{plane}}(y{)}^2+N_{\mathrm{plane}}(z{)}^2}}& 0\\ 0& 0& 0& 1\end{array}\right]$ 公式（3）

再计算出N_plane绕Y轴旋转到与Z轴平行的旋转矩阵R_y ，计算见公式（4）

$R_y=\left[\begin{array}{cccc}\frac{\sqrt{N_{\mathrm{plane}}(y{)}^2{N}_{\mathrm{plane}}(z{)}^2}}{\sqrt{N_{\mathrm{plane}}(y{)}^2{N}_{\mathrm{plane}}(y{)}^2{N}_{\mathrm{plane}}(z{)}^2}}& 0& \frac{N_{\mathrm{plane}}\left(x\right)}{\sqrt{N_{\mathrm{plane}}(y{)}^2+N_{\mathrm{plane}}(y{)}^2+N_{\mathrm{plane}}(z{)}^2}}& 0\\ 0& 1& 0& 0\\ -\frac{N_{\mathrm{plane}}\left(x\right)}{\sqrt{N_{\mathrm{plane}}(y{)}^2+N_{\mathrm{plane}}(y{)}^2+N_{\mathrm{plane}}(z{)}^2}}& 0& \frac{\sqrt{N_{\mathrm{plane}}(y{)}^2+N_{\mathrm{plane}}(z{)}^2}}{\sqrt{N_{\mathrm{plane}}(y{)}^2+N_{\mathrm{plane}}(y{)}^2+N_{\mathrm{plane}}(z{)}^2}}& 0\\ 0& 0& 0& 1\end{array}\right];$ 公式（4）

计算出L绕Z轴旋转到与Y轴平行的旋转矩阵R_z，参加公式（5）、（6）。P_t=

[L(x)L(y)L(z)1]*R_x*R_y             公式（5）

$R_z=\left[\begin{array}{cccc}\frac{P_t\left(y\right)}{\sqrt{P_t(x{)}^2+P_t(y{)}^2}}& \frac{P_t\left(x\right)}{\sqrt{P_t(x{)}^2+P_t(y{)}^2}}& 0& 0\\ -\frac{P_t\left(x\right)}{\sqrt{P_t(x{)}^2+P_t(y{)}^2}}& \frac{P_t\left(y\right)}{\sqrt{P_t(x{)}^2+P_t(y{)}^2}}& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]$

最终节点坐标转换如下：

M=T*R_x*R_y*R_z公式（7）

然后使用姿态原始的关节点坐标乘以M即完成了对姿态的校正。

3）：将校正后的三维姿态向XOY、YOZ、XOZ三个平面投影。

投影过程十分简单，对于每个关节点可以表示为:

Projection(P)=Projection(x,y,z)={(x,y),(y,z),(x,z)}

4）：计算出三维姿态投影中人物的主方向。

以下几步均是在投影平面上进行，附图2给出了人体上各个关节点的名称，定义一个关节点集合S_joine为：

S_joint={Head,Neck,RElbow,RHand,LElbow,LHand,RKnee,RAnkle,LKnee,Lankle}

对集合S_joint中的数据使用PCA，得到协方差矩阵最大的特征值对应的特征向量，我们称这个特征向量的方向为投影的主方向。

5）：基于人物的主方向，使用夹角信息定义最终的特征。

二维人物图中人物的主方向与水平面的夹角表示为θ_pca，选择上肢、下肢的8段骨骼，分别使用向量表示如下：L2是从LShould节点指向LElbow节点的向量，L3是从LElbow节点指向LHand节点的向量，L4是从RShould节点指向RElbow节点的向量，L5是从RElbow节点指向RHand节点的向量，L6是从LHip节点指向LKnee节点的向量，L7是从LKnee节点指向LAnkle节点的向量，L8是从RHip节点指向RKnee节点的向量，L9是从RKnee节点指向RAnkle节点的向量，其中Lshould是左肩对应的关节点在投影平面的坐标，Rshould是右肩对应的关节点在投影平面的坐标，

分别计算L2,L3,L4,L5,L6,L7,L8,L9与二维人物图中人物的主方向的夹角，记为θ₂，θ₃，θ₄，θ₅，θ₆，θ₇，θ₈，θ₉，计算出Rhip节点、Lhip节点的中点与Neck节点构成的直线与主方向的夹角，记为θ₁，将以上十个角度信息组合在一起即构成三维人体姿态投影的特征f:

f={θ_pca,θ₁，θ₂，θ₃，θ₄，θ₅，θ₆，θ₇，θ₈，θ₉}。

至此，得到了最终的结果，即特征:

f={θ_pca,θ₁，θ₂，θ₃，θ₄，θ₅，θ₆，θ₇，θ₈，θ₉}

本发明使用PCA的方法求得三维人体姿态投影的主方向并使用各种夹角信息构造了特征表示。相较于简单的骨骼方向特征而言，本发明的特征既有对人体局部动作的反应，又有对人体整体形态的反应（依靠θ_pca表现出来），便于分层次的比较人体姿态的相似性，使得运动可以进行逻辑相似性的比较。同时，本发明的特征提取方法简单高效。

Claims (1)

1.一种三维人体姿态投影的特征提取方法，其特征在于，包括如下步骤：

1）从三维人体运动数据库获取三维人体运动数据，或读取本地文件系统的三维人体运动数据；

2）对三维人体运动数据中的三维姿态进行平移、旋转变换；

将三维姿态中位于臀部的Root节点平移到全局坐标系的原点，通过旋转变换使得Neck节点、RHip节点、LHip节点所在的平面与XOY平面平行；并且RHip节点、LHip节点的中点与Neck节点的连线平行于Y轴；其中，Neck节点是脖子对应的关节点的三维坐标，RHip节点是右臀对应的关节点的三维坐标，LHip节点是左臀对应的关节点的三维坐标

定义： P _R：Root节点的三维坐标；

P_Neck：Neck节点的三维坐标；

P_RHip：RHip节点的三维坐标；

P_LHip：LHip节点的三维坐标；

P_Mid：P_RHip和P_LHip中点的坐标；

N_Plane：P_Neck、P_RHip、P_Mid三点所在平面的法向量；

计算公式如下：

N_plane = crossss(P_LHip-P_RHip,P_Neck-P_Mid)

其中cross表示叉乘；

L：从P_Mid指向P_Neck的向量，即L=P_Neck‐P_Mid；

通过Root节点的三维坐标计算出平移矩阵，记为T；

平移矩阵 $T=\left[\begin{array}{cccc}1& 0& 0& -P_R\left(x\right)\\ 0& 1& 0& -P_R\left(y\right)\\ 0& 0& 1& -P_R\left(z\right)\\ 0& 0& 0& 1\end{array}\right]$

平移矩阵T中，P_R(x)、P_R(y)、P_R(z)分别表示三维坐标P_R的三个维度x、y、z上的值；

计算出N_plane绕X轴旋转到XOZ平面的旋转矩阵R_x，

$R_x=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& \frac{N_{\mathrm{plane}}\left(z\right)}{\sqrt{N_{\mathrm{plane}}(y{)}^2+N_{\mathrm{plane}}(z{)}^2}}& \frac{N_{\mathrm{plane}}\left(y\right)}{\sqrt{N_{\mathrm{plane}}(y{)}^2+N_{\mathrm{plane}}(z{)}^2}}& 0\\ 0& -\frac{N_{\mathrm{plane}}\left(y\right)}{\sqrt{N_{\mathrm{plane}}(y{)}^2+N_{\mathrm{plane}}(z{)}^2}}& \frac{N_{\mathrm{plane}}\left(z\right)}{\sqrt{N_{\mathrm{plane}}(y{)}^2+N_{\mathrm{plane}}(z{)}^2}}& 0\\ 0& 0& 0& 1\end{array}\right]$

其中，N_plane(x)、N_plane(y)、N_plane(z)分别表示向量N_plane的三个维度x、y、z上的值；

计算出N_plane绕Y轴旋转到与Z轴平行的旋转矩阵R_y，

$R_y=\left[\begin{array}{cccc}\frac{\sqrt{N_{\mathrm{plane}}(y{)}^2{N}_{\mathrm{plane}}(z{)}^2}}{\sqrt{N_{\mathrm{plane}}(y{)}^2{N}_{\mathrm{plane}}(y{)}^2{N}_{\mathrm{plane}}(z{)}^2}}& 0& \frac{N_{\mathrm{plane}}\left(x\right)}{\sqrt{N_{\mathrm{plane}}(y{)}^2+N_{\mathrm{plane}}(y{)}^2+N_{\mathrm{plane}}(z{)}^2}}& 0\\ 0& 1& 0& 0\\ -\frac{N_{\mathrm{plane}}\left(x\right)}{\sqrt{N_{\mathrm{plane}}(y{)}^2+N_{\mathrm{plane}}(y{)}^2+N_{\mathrm{plane}}(z{)}^2}}& 0& \frac{\sqrt{N_{\mathrm{plane}}(y{)}^2+N_{\mathrm{plane}}(z{)}^2}}{\sqrt{N_{\mathrm{plane}}(y{)}^2+N_{\mathrm{plane}}(y{)}^2+N_{\mathrm{plane}}(z{)}^2}}& 0\\ 0& 0& 0& 1\end{array}\right];$

计算出L绕Z轴旋转到与Y轴平行的旋转矩阵R_z，计算公式如下：

Pt=[L(x)L(y)L(z)1]*R_x*R_y

其中[L(x)L(y)L(z)1]表示将向量L和数字1连接在一起构成的四元组，

L(x)、L(y)、L(z)分别表示向量L的三个维度x、y、z上的值

$R_z=\left[\begin{array}{cccc}\frac{P_t\left(y\right)}{\sqrt{P_t(x{)}^2+P_t(y{)}^2}}& \frac{P_t\left(x\right)}{\sqrt{P_t(x{)}^2+P_t(y{)}^2}}& 0& 0\\ -\frac{P_t\left(x\right)}{\sqrt{P_t(x{)}^2+P_t(y{)}^2}}& \frac{P_t\left(y\right)}{\sqrt{P_t(x{)}^2+P_t(y{)}^2}}& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]$

其中，Pt(x)、Pt(y)、Pt(z)分别表示向量Pt的三个维度x、y、z上的值；

节点坐标转换矩阵M如下：

M=T*Rx*Ry*Rz

将三维姿态的每个关节点坐标乘以节点坐标转换矩阵M，完成对姿态的平移、旋转变换；

3）将平移、旋转变换后的三维姿态中的每个关节点的三维坐标（x、y、z）分别投影到XOY、YOZ、XOZ三个平面，得到每个关节点在投影平面上的关节点坐标（x、y、0）、（0、y、z）、（x、0、z）；将一个投影平面上的所有关节点坐标组合在一起构成一个集合，用来表示该投影平面上的二维人物图；

4）分别计算出三个投影平面上的二维人物图中人物的主方向；

对每个投影平面上的二维人物图中人物的主方向的计算过程是：选取该投影平面上的部分关节点坐标定义一个关节点集合Sjoint，

Sjoine={Head,Neck,RElbow,RHand,LElbow,LHand,RKnee,RAnkle,LKnee,Lankle }

其中，Head是头部对应的关节点在投影平面的坐标，Neck是脖子对应的关节点在投影平面的坐标，Relbow是右肘对应的关节点在投影平面的坐标，RHand是右手对应的关节点在投影平面的坐标，LElbow是左肘对应的关节点在投影平面的坐标，LHand是左手对应的关节点在投影平面的坐标，Rknee是右膝对应的关节点在投影平面的坐标，RAnkle是右脚踝对应的关节点在投影平面的坐标，Lknee是左膝对应的关节点在投影平面的坐标，LAnkle是左脚踝对应的关节点在投影平面的坐标，对集合S_joint中的数据使用PCA，得到协方差矩阵最大的特征值对应的特征向量，这个特征向量的方向即为二维人物图中人物的主方向；

5）针对给定的某个投影平面，基于二维人物图中人物的主方向，使用夹角信息定义最终的特征；

针对给定的某个投影平面，二维人物图中人物的主方向与水平面的夹角表示为θ_pca，选择上肢、下肢的8段骨骼，分别使用向量表示如下：L2是从LShould节点指向LElbow节点的向量，L3是从LElbow节点指向LHand节点的向量，L4是从RShould节点指向RElbow节点的向量，L5是从RElbow节点指向RHand节点的向量，L6是从LHip节点指向LKnee节点的向量，L7是从LKnee节点指向LAnkle节点的向量，L8是从RHip节点指向RKnee节点的向量，L9是从RKnee节点指向RAnkle节点的向量，其中Lshould是左肩对应的关节点在投影平面的坐标，Rshould是右肩对应的关节点在投影平面的坐标，

分别计算L2,L3,L4,L5,L6,L7,L8,L9与二维人物图中人物的主方向的夹角，记为θ₂，θ₃，θ₄，θ₅，θ₆，θ₇，θ₈，θ₉，计算出Rhip节点、Lhip节点的中点与Neck节点构成的直线与二维人物图中人物的主方向的夹角，记为θ₁，将以上十个角度信息组合在一起即构成三维人体姿态投影的特征f:

f={θ_pca,θ₁，θ₂，θ₃，θ₄，θ₅，θ₆，θ₇，θ₈，θ₉}。

Images