CN101561881B - 人体非程式化运动的情感识别方法 - Google Patents

Abstract

人体非程式化运动的情感识别方法，属于计算机模式识别领域，解决现有同类情感识别方法存在的学习速度较慢、识别率偏低的问题。本发明包括建立隐马尔可夫模型步骤和情感识别步骤；建立隐马尔可夫模型步骤又包括训练数据采集子步骤、运动分割子步骤、特征提取子步骤、训练子步骤，建立多种动作类型各种情感的隐马尔可夫模型；情感识别步骤包括数据采集子步骤、运动分割子步骤、特征提取子步骤、识别子步骤，通过所构建的隐马尔可夫模型对待识别人体运动序列进行情感识别和动作类型识别。本发明能更好地展现运动的内在的规律，不仅可以识别情感，还可以识别运动类型，具有较高的识别率，具有较强的实用性和较广泛的用途。

Description

人体非程式化运动的情感识别方法

技术领域

本发明属于计算机模式识别领域，具体涉及一种人体非程式化运动的情感识别方法，根据人体各关节点的三维运动数据，提取运动特征，识别运动序列蕴含的情感状态。 

背景技术

1997年MIT媒体实验室的Picard提出“情感计算”，受到学术界的日益关注和企业界的迅速反应。如何自动识别和理解人的情感，引起了包括心理学、计算机科学、语言学和相关学科大量研究者的关注。心理学家研究认为，在人与人的交互中，单词语义所包含的信息量占所传递总信息量的7％，语调占38％，而人脸的表情占了总信息量的55％，因此目前基于人脸表情和声音语调来识别情感的研究比较广泛。而之后的研究者认为，结合脸部和身体运动一起识别情感比仅依靠脸部来识别情感准确率要提高35％，特别是在某些无法看到面部或者没有声音的场合，肢体运动特征很有可能起到良好的识别作用，因此基于人体运动特征的情感识别逐步引起研究者的重视。 

目前基于人体运动特征的情感识别的研究主要有两种方向。一是基于程式化运动的情感识别，所谓程式化运动指的是在某种情感状态下表现出来的固定的动作或者姿态，例如握紧拳头表示处于愤怒的情感状态；二是基于非程式化运动的情感识别，所谓非程式化动作指的是无论何种情感状态下，运动的外在表现相同，例如走路、敲门等动作，但是运动的内含不同，例如不同的情感状态下，运动的速度和动作的幅度等是不一样的。程式化运动只有在特定的情况下才会发生，因此在现实生活中 比较难捕获，而非程式化的动作属于日常的、常规的动作，在日常的工作、学习和生活环境中很容易捕获，因此基于非程式化运动的情感识别具有更广泛的意义。 

从非程式化人体运动来识别人的情感还处于探索阶段。格拉斯哥大学的Pollick等通过观察者对演员的表演，采集敲门和喝酒的手臂运动视频，识别其中蕴含的10种情感，并通过计算距离矩阵，利用多维尺度分析进行投影，结果与情感维相符。虽然不是一个自动识别系统，但却证明了通过非程式化人体运动，可以识别人的情感。Pollick等还建立了走路、敲门、举手、扔东西等动作的运动数据库，采集了30个演员，四种情感的全身各关节点的三维数据，可用于身份、性别、情感等识别，见Ma Y.L.，Paterson H.and Pollick F.E.“A motion-capture library for the study of identity，gender，and emotion perception from biological motion”Behavior Research Methods 38(1)pp 134-141.(2006)。剑桥大学的Bernhardt等基于此运动数据库，针对敲门动作，基于运动能量进行分割，提取手腕关节和肘部关节的运动信息作为特征，利用支持向量机进行分类，实现了通过非程式化运动自动识别人的情感，见Bernhardt，D.and Robinson，P.“Detecting affect from non-stylised body motions.”in Affective Computing and Intelligent Interaction.Lisbon，Portugal，pp.59-70.(2007)。Bernhardt等虽然实现了基于非程式化运动的情感识别，然而采用支持向量机进行建模，学习速度比较慢，由于没有很好利用时序序列的变化规律，识别率偏低。 

发明内容

本发明提出一种人体非程式化运动的情感识别方法，解决现有同类情感识别方法存在的学习速度较慢、识别率偏低的问题。 

本发明的一种人体非程式化运动的情感识别方法，包括以下步骤： 

第一步.建立隐马尔可夫模型步骤；以训练样本集合作为观察序列，建立每一种动作类型、每一种情感所对应的隐马尔可夫模型；包括以下子步骤： 

训练数据采集子步骤：建立包括若干动作类型、每种动作类型又包括若干情感类型的训练数据集； 

运动分割子步骤：根据人体运动序列的能量曲线图，将训练数据集中每一个运动序列分割为一序列动作原语，每个动作原语由若干连续的帧组成； 

特征提取子步骤：对运动序列中每一个动作原语，根据运动序列的腕关节、肘关节、踝关节和膝关节的三维运动数据，提取运动特征，得到各个动作原语所对应的特征向量，将运动序列中的所有动作原语对应的特征向量组合成一个特征向量序列，并标记动作类型和情感类型；提取训练数据集中的所有运动序列的特征向量序列，标记动作类型和情感类型，得到训练样本集合； 

训练子步骤：对训练样本集合，利用Baum-Welch算法进行隐马尔可夫模型训练，保存获得的隐马尔可夫模型参数； 

所述的隐马尔可夫模型采用连续隐马尔可夫模型，模型参数包括转移概率矩阵A、初始状态系数π，以及观察序列所对应的高斯混合模型的混合系数向量C、均值向量μ和协方差矩阵∑； 

一种动作类型的一种情感训练一个隐马尔可夫模型，共建立N_m×N_e个隐马尔可夫模型，这些模型表示为{λ_r，r＝1...N_m×N_e}； 

第二步.情感识别步骤：对待识别人体运动序列进行识别，包括以下子步骤： 

数据采集子步骤：利用三维运动捕捉系统来捕捉待测的人体的运动序列，每个运动序列由人体各关节点的三维运动数据序列来表示，所述 人体各关节点包括头、脖子、骨盆中心和左右肩关节、肘关节、腕关节、髋关节、膝关节、踝关节共15个关节点； 

运动分割子步骤：根据人体运动序列的能量曲线图，将待识别人体运动序列分割为一序列动作原语，每个动作原语由若干连续的帧组成； 

特征提取子步骤：对待识别人体运动序列中每一个动作原语，根据运动序列的人体腕关节、肘关节、踝关节和膝关节的三维运动数据，提取运动特征，得到各个动作原语所对应的特征向量； 

识别子步骤：通过所构建的隐马尔可夫模型对待识别人体运动序列进行情感识别和动作类型识别： 

将各个动作原语所对应的特征向量作为观察序列X，输入前向算法或者后向算法，计算N_m×N_e个隐马尔可夫模型中每一个隐马尔可夫模型产生观察序列的似然概率P(X/λ_r)，取其中似然概率最大的隐马尔可夫模型h，表示为： 

$h=\arg \underset{r}{\max }\left\{P(X/{\mathrm{\λ}}_r)\right\}$ r＝1...N_m×N_e

隐马尔可夫模型h所对应的情感状态和动作类型即为待识别的运动序列所蕴含的情感状态和动作类型。 

所述的情感识别方法，其特征在于，所述建立隐马尔可夫模型步骤中，所述训练数据采集子步骤包括以下具体过程： 

2-1.确定动作类型和情感类型：动作类型为1～10种，包括走路、敲门、举手、扔东西中的一种或多种；情感类型为2～6种，包括高兴、悲伤、无情感、愤怒中的两种以上；各种动作类型的每种情感类型包括2～6个运动序列； 

2-2.利用三维运动捕捉系统拍摄记录人体运动序列：利用20～40个演员进行表演，男女演员各占一半，演员表演时穿上设备配套服装，并在人体各关节点上贴上标记点，所述人体各关节点包括头、脖子、骨盆 中心和左右肩关节、肘关节、腕关节、髋关节、膝关节、踝关节共15个关节点； 

每个运动序列由人体各关节点的三维运动数据序列来表示，利用三维运动捕捉系统拍摄记录每个演员的每种动作类型的每种情感类型。 

所述的情感识别方法，其特征在于，所述建立隐马尔可夫模型步骤和识别步骤中的运动分割子步骤包括如下过程： 

3-1.计算每一帧的运动能量：首先计算每一帧中上肢左右肘关节、左右肩关节和下肢左右膝关节和左右髋关节共八个关节点的旋转自由度的角速度，第i帧第j个关节点旋转自由度的角速度 

为： 

${\stackrel{\·}{\mathrm{\θ}}}_{i,j}={\mathrm{\θ}}_{i+1,j}-{\mathrm{\θ}}_{i,j}$ i＝1…N，j＝1…8， 

其中，θ_i，j为第i帧第j个关节点旋转自由度，N是运动序列的帧数； 

根据每一帧中肢体各个关节点旋转自由度的角速度，计算每一帧的运动能量，第i帧的运动能量E_i按下式计算： 

$E_i=\underset{j=1}{\overset{8}{\mathrm{\Σ}}}{\mathrm{\ω}}_j\left|{\stackrel{\·}{\mathrm{\θ}}}_{i,j}\right|$

式中，ω_j为各个关节点旋转自由度的系数，取值范围为0.1-0.8，关节点旋转自由度越大、取值越大，所有ω_j的和为1； 

所述关节点旋转自由度为与关节点相连两根骨头的夹角； 

3-2.根据每一帧的运动能量，绘制运动序列的能量直方图，在噪音阈值之上，取最大直方图所对应的能量作为分割阈值；噪音阈值为0.001～0.1，能量曲线的最小值越大、噪音阈值取值越大； 

3-3.根据每一帧的运动能量，绘制运动序列的能量曲线图，所有运动能量大于所述分割阈值的连续的帧序列组成一个初始分割，将一个初始分割的起点和终点分别向前后延伸以达到能量曲线的局部最小值，得到一个动作原语；最终将运动序列的能量曲线分割为各个动作原语； 

所述能量曲线图由若干个钟型曲线组成，每一个钟型曲线对应一个动作原语，钟型曲线左右两边的局部最小值即为运动分割的起始点和终点。 

所述的情感识别方法，其特征在于，所述建立隐马尔可夫模型步骤和识别步骤中的特征提取子步骤中： 

所述运动特征为肢体关节点与身体中心的最大距离、平均速度和平均加速度，计算公式如下： 

${\stackrel{\‾}{a}}_k=\frac{1}{M}{\mathrm{\Σ}}_{i=1}^M{a}_{i,k}=\frac{1}{M}{\mathrm{\Σ}}_{i=1}^M{\stackrel{\·}{s}}_{i,k}$

其中： 

分别表示第i帧第k个关节点到身体中心的最大距离、第k个关节点的平均速度和平均加速度，k＝1...8； 

d_i，k，s_i，k，a_i，k分别表示第i帧第k个关节点到身体中心的距离、第k个关节点的速度和加速度； 

M为当前运动原语所占据的帧数； 表示第i帧中第k个关节点的位置； 

所述关节点的速度是该关节点位置的一阶导数，关节点的加速度是该关节点速度的一阶导数； 

所述身体中心为骨盆中心点。 

所述的情感识别方法，其特征在于，所述建立隐马尔可夫模型步骤 中的训练子步骤包括如下过程：

5-1.设置收敛阈值和最大循环次数；收敛阈值取值为10^-2～10^-4，收敛阈值过大，会影响训练的精度，而收敛阈值过小，循环次数增加，收敛速度变慢；最大循环次数取值为30～60，设置最大循环次数避免由于没有达到收敛阈值而导致死循环； 

5-2.模型初始化：设置模型状态数S为4～16，观察序列对应的高斯混合模型的混合成分数G为4～8，通过实验来选择最优的S和G的设置；随机生成隐马尔可夫模型的其他初始化参数，包括初始状态系数π、转移概率矩阵A、观察序列对应的高斯混合模型的混合系数向量C、均值向量μ和协方差矩阵∑； 

5-3.根据动作类型和情感类型，从训练数据集中提取一种动作类型的一种情感所对应的所有特征向量序列作为隐马尔可夫模型的训练样本； 

5-4.利用Baum-Welch算法进行隐马尔可夫模型训练，保存获得的隐马尔可夫模型参数π、A、C、μ、∑； 

5-5.重复过程5-2～5-4，训练下一个隐马尔可夫模型。 

本发明提出的基于能量的运动分割，能更好地展现运动的内在的规律，同时利用隐马尔可夫模型对时间序列结构的较强的建模能力，对不同情感、不同种类的运动建立各自的隐马尔可夫模型，不仅可以识别情感，还可以识别运动类型，具有较高的识别率。 

程式化人体运动和脸部表情只有在特定的场景下人体才会表现出来，大部分的时间中人体内心的情感并没有通过脸部或程式化的运动中表露出来，然而却蕴含在非程式化的运动过程中。由于非程式化的人体运动属于日常的、常规的动作，更能准确地反映出角色的内心情感，在日常的工作、学习和生活环境中很容易捕获，因此本发明具有比较强的 实用性和比较广泛的用途。 

附图说明

图1为本发明流程框图； 

图2为运动分割子步骤流程框图； 

图3为训练子步骤流程框图； 

图4为识别子步骤过程示意图。 

具体实施方式

以下结合附图和实施例对本发明进一步说明。 

实施例.从敲门、举手动作识别人的情感 

由于人体运动主要是以肢体运动为主，且大部分人是右手习惯的特点，本实施例从人体右手的运动中来识别人的情感。 

本发明利用格拉斯哥大学Pollick等建立的人体三维运动数据库来采集训练样本和测试样本。该数据库共有敲门、举手、扔东西、走路四种非程式化人体运动序列和高兴、愤怒、悲伤和无情感四种情感状态，表演的角色共有30个，每个角色每种动作类型的每种情感共有两个运动序列，一种动作类型一共含有240个人体运动序列。本实施例从30个角色中选择29个角色的敲门和举手两个动作类型的运动序列为训练数据集，另外一个角色的敲门和举手两个动作类型的运动序列作为测试数据集。并对训练数据集和测试数据集中的运动序列进行预处理，通过平移和旋转运算，将世界坐标的三维运动数据序列转换为以身体中心为原点的局部坐标，使之具有平移不变性和旋转不变性； 

步骤一，建立隐马尔可夫模型； 

1.训练数据采集：从格拉斯哥大学建立的人体三维运动数据库30个角色中选择29个角色的敲门和举手两个动作类型的运动序列为训练数 据集； 

2.运动分割：根据非程式化人体运动的运动序列的能量曲线图，将训练数据集中每一个运动序列分割为一序列动作原语，每个动作原语由若干连续的帧组成； 

2-1.对于训练数据集中的每一个运动序列，计算每一帧的运动能量：首先计算每一帧中肩关节旋转自由度和肘关节旋转自由度的角速度，第i帧第j个关节点旋转自由度的角速度 为： 

${\stackrel{\·}{\mathrm{\θ}}}_{i,j}={\mathrm{\θ}}_{i+1,j}-{\mathrm{\θ}}_{i,j}$ i＝1…N，j＝1…2， 

其中，θ_i，j为第i帧第j个关节点旋转自由度，N是运动序列的帧数； 

根据每一帧中肩关节旋转自由度和肘关节旋转自由度的角速度，计算每一帧的运动能量，第i帧的运动能量E_i按下式计算： 

$E_i={\mathrm{\ω}}_1{\stackrel{\·}{\mathrm{\θ}}}_{i,1}+{\mathrm{\ω}}_2{\stackrel{\·}{\mathrm{\θ}}}_{i,2}$

其中ω₁和ω₂分别取0.2和0.8； 

2-2.根据每一帧的运动能量，绘制运动序列的能量直方图，在噪音阈值t₀(取0.005)之上，取最大直方图所对应的能量作为分割阈值，设为t； 

2-3.根据运动序列每一帧的运动能量，绘制运动序列的能量曲线图，所有运动能量大于所述分割阈值t的连续的帧序列组成一个初始分割，将一个初始分割的起点和终点分别向前后延伸以达到能量曲线的局部最小值，得到一个动作原语；最终将运动序列的能量曲线分割为各个动作原语。 

3.特征提取：对运动序列中每一个动作原语，根据运动序列的腕关节、肘关节的三维运动数据，提取运动特征，得到各个动作原语所对应的特征向量，将运动序列中的所有原语对应的特征向量组合成一个特征向量序列，并标记动作类型和情感类型；提取训练数据集中的所有运动序列的特征向量序列，表标记动作类型和情感类型，得到训练样本集合； 

运动特征为手腕关节点和肘部关节点与身体中心的最大距离、平均 

速度和平均加速度，计算公式如下： 

${\stackrel{\‾}{a}}_k=\frac{1}{M}{\mathrm{\Σ}}_{i=1}^M{a}_{i,k}=\frac{1}{M}{\mathrm{\Σ}}_{i=1}^M{\stackrel{\·}{s}}_{i,k}$

其中： 

分别表示第i帧第k个关节点到身体中心的最大距离以及第k个关节点的平均速度和平均加速度，k＝1...2； 

d_i，k，s_i，k，a_i，k分别表示第i帧第k个关节点到身体中心的距离以及第k个关节点的速度和加速度； 

M为当前运动原语所占据的帧数； 

表示第i帧中第k个关节点的位置； 

4.训练隐马尔可夫模型：训练敲门和举手两种动作类型，高兴、愤怒、悲伤和无情感四种情感所对应的8个隐马尔可夫模型，一种动作的一种情感建立一个隐马尔可夫模型λr＝(π_r，A_r，C_r，μ_r，∑_r，)，其中r＝1，2，...，8。 

4-1.设置收敛阈值为0.005，最大循环次数为30； 

4-2.模型初始化：本实施例中模型状态数设置为14，混合高斯模型的混合成分设置为5；随机生成隐马尔可夫模型的其他初始化参数，包括初始状态系数π_r、转移概率矩阵A_r、观察序列对应的混合高斯模型的混合系数向量C_r、均值向量μ_r和协方差矩阵∑_r； 

4-3.根据动作类型标记和情感标记，从训练样本集中提取一种动作类型的一种情感所对应的特征向量序列作为隐马尔可夫模型的训练样本集； 

4-4.利用Baum-Welch算法进行隐马尔可夫模型训练，保存获得的隐马尔可夫模型参数π_r、A_r、C_r、μ_r、∑_r； 

4-5.重复过程4-2～4-4，训练下一个隐马尔可夫模型。 

步骤二，情感识别步骤：通过隐马尔可夫模型实现情感识别和动作类型识别。 

1.数据采集：将步骤一的训练数据采集子步骤中，格拉斯哥大学人体三维运动数据库30个角色选择29个角色后剩余一个角色的敲门和举手两个动作类型的运动序列作为测试数据集； 

2.运动分割：将测试数据集中的每一个运动序列分割为一序列动作原语，每个动作原语由若干连续的帧组成； 

3.特征提取：对运动序列中每一个动作原语，根据运动序列的人体腕关节、肘关节的三维运动数据，提取运动特征，得到各个动作原语所对应的特征向量，将运动序列中的所有原语对应的特征向量组合成一个特征向量序列；提取测试数据集中的所有运动序列的特征向量序列，得到测试样本集； 

4.情感识别：将测试样本集中的每一个特征向量序列作为观察序列X输入前向算法或者后向算法，计算8个隐马尔可夫模型中每一个隐马尔可夫模型产生观察序列的似然概率P(X/λ_r)，取其中似然概率最大的隐马尔可夫模型h，表示为： 

$h=\arg \underset{r}{\max }\left\{P(X/{\mathrm{\λ}}_r)\right\}$ r＝1...8 

隐马尔可夫模型h所对应的情感状态和动作类型即为待识别的运动序列所蕴含的情感状态和动作种类。 

本实施例共进行30次的交叉验证，每次交叉验证从30个角色中抽取29个角色的运动序列作为训练样本，另外1个角色的运动序列作为测 试样本。每次交叉验证中，测试样本的角色均不同。试验结果如表1所示： 

表1敲门、举手两种动作类型情感识别的混淆矩阵 

其中敲门动作的情感识别正确率为0.5583，举手动作的情感识别正确率为0.425，总体识别率为0.4917。动作类型的识别率为0.9979。而用支持向量机进行对敲门动作进行分类，得到情感识别率为0.5083。与支持向量机分类进行比较，隐马尔可夫模型的分类方法的识别率提高了0.05。 

Claims (5)

1.一种人体非程式化运动的情感识别方法，包括以下步骤：

第一步.建立隐马尔可夫模型步骤；以训练样本集合作为观察序列，建立每一种动作类型、每一种情感所对应的隐马尔可夫模型；包括以下子步骤：

训练数据采集子步骤：建立包括若干动作类型、每种动作类型又包括若干情感类型的训练数据集；

运动分割子步骤：根据人体运动序列的能量曲线图，将训练数据集中每一个运动序列分割为一序列动作原语，每个动作原语由若干连续的帧组成；

特征提取子步骤：对运动序列中每一个动作原语，根据运动序列的腕关节、肘关节、踝关节和膝关节的三维运动数据，提取运动特征，得到各个动作原语所对应的特征向量，将运动序列中的所有动作原语对应的特征向量组合成一个特征向量序列，并标记动作类型和情感类型；提取训练数据集中的所有运动序列的特征向量序列，标记动作类型和情感类型，得到训练样本集合；

训练子步骤：对训练样本集合，利用Baum-Welch算法进行隐马尔可夫模型训练，保存获得的隐马尔可夫模型参数；

所述的隐马尔可夫模型采用连续隐马尔可夫模型，模型参数包括转移概率矩阵A、初始状态系数π，以及观察序列所对应的高斯混合模型的混合系数向量C、均值向量μ和协方差矩阵∑；

一种动作类型的一种情感训练一个隐马尔可夫模型，共建立N_m×N_e个隐马尔可夫模型，这些模型表示为{λ_r，r＝1...N_m×N_e}；

第二步.情感识别步骤：对待识别人体运动序列进行识别，包括以下子步骤： 

数据采集子步骤：利用三维运动捕捉系统来捕捉待测的人体的运动序列，每个运动序列由人体各关节点的三维运动数据序列来表示，所述人体各关节点包括头、脖子、骨盆中心和左右肩关节、肘关节、腕关节、髋关节、膝关节、踝关节共15个关节点；

运动分割子步骤：根据人体运动序列的能量曲线图，将待识别人体运动序列分割为一序列动作原语，每个动作原语由若干连续的帧组成；

特征提取子步骤：对待识别人体运动序列中每一个动作原语，根据运动序列的人体腕关节、肘关节、踝关节和膝关节的三维运动数据，提取运动特征，得到各个动作原语所对应的特征向量；

识别子步骤：通过所构建的隐马尔可夫模型对待识别人体运动序列进行情感识别和动作类型识别：

将各个动作原语所对应的特征向量作为观察序列X，输入前向算法或者后向算法，计算N_m×N_e个隐马尔可夫模型中每一个隐马尔可夫模型产生观察序列的似然概率P(X/λ_r)，取其中似然概率最大的隐马尔可夫模型h，表示为：

r＝1...N_m×N_e

隐马尔可夫模型h所对应的情感状态和动作类型即为待识别的运动序列所蕴含的情感状态和动作类型。

2.如权利要求1所述的情感识别方法，其特征在于，所述建立隐马尔可夫模型步骤中，所述训练数据采集子步骤包括以下具体过程：

2-1.确定动作类型和情感类型：动作类型为1～10种，包括走路、敲门、举手、扔东西中的一种或多种；情感类型为2～6种，包括高兴、悲伤、无情感、愤怒中的两种以上；各种动作类型的每种情感类 型包括2～6个运动序列；

2-2.利用三维运动捕捉系统拍摄记录人体运动序列：利用20～40个演员进行表演，男女演员各占一半，演员表演时穿上设备配套服装，并在人体各关节点上贴上标记点，所述人体各关节点包括头、脖子、骨盆中心和左右肩关节、肘关节、腕关节、髋关节、膝关节、踝关节共15个关节点；

每个运动序列由人体各关节点的三维运动数据序列来表示，利用三维运动捕捉系统拍摄记录每个演员的每种动作类型的每种情感类型。

3.如权利要求1所述的情感识别方法，其特征在于，所述建立隐马尔可夫模型步骤和识别步骤中的运动分割子步骤包括如下过程：

3-1.计算每一帧的运动能量：首先计算每一帧中上肢左右肘关节、左右肩关节和下肢左右膝关节和左右髋关节共八个关节点的旋转自由度的角速度，第i帧第j个关节点旋转自由度的角速度 

为：

i＝1…N，j＝1…8，

其中，θ_i，j为第i帧第j个关节点旋转自由度，N是运动序列的帧数；

根据每一帧中肢体各个关节点旋转自由度的角速度，计算每一帧的运动能量，第i帧的运动能量E_i按下式计算：

式中，ω_j为各个关节点旋转自由度的系数，取值范围为0.1-0.8，关节点旋转自由度越大、取值越大，所有ω_j的和为1；

所述关节点旋转自由度为与关节点相连两根骨头的夹角；

3-2.根据每一帧的运动能量，绘制运动序列的能量直方图，在噪 音阈值之上，取最大直方图所对应的能量作为分割阈值；噪音阈值为0.001～0.1，能量曲线的最小值越大、噪音阈值取值越大；

3-3.根据每一帧的运动能量，绘制运动序列的能量曲线图，所有运动能量大于所述分割阈值的连续的帧序列组成一个初始分割，将一个初始分割的起点和终点分别向前后延伸以达到能量曲线的局部最小值，得到一个动作原语；最终将运动序列的能量曲线分割为各个动作原语；

所述能量曲线图由若干个钟型曲线组成，每一个钟型曲线对应一个动作原语，钟型曲线左右两边的局部最小值即为运动分割的起始点和终点。

4.如权利要求1所述的情感识别方法，其特征在于，所述建立隐马尔可夫模型步骤和识别步骤中的特征提取子步骤中：

所述运动特征为肢体关节点与身体中心的最大距离、平均速度和平均加速度，计算公式如下：

其中：

分别表示第i帧第k个关节点到身体中心的最大距离、第k个关节点的平均速度和平均加速度，k＝1...8；

d_i，k，s_i，k，a_i，k分别表示第i帧第k个关节点到身体中心的距离、第k个关节点的速度和加速度； 

M为当前运动原语所占据的帧数； 

表示第i帧中第k个关节点的位置；

所述关节点的速度是该关节点位置的一阶导数，关节点的加速度是该关节点速度的一阶导数；

所述身体中心为骨盆中心点。

5.如权利要求1所述的情感识别方法，其特征在于，所述建立隐马尔可夫模型步骤中的训练子步骤包括如下过程：

5-1.设置收敛阈值和最大循环次数；收敛阈值取值为10^-2～10^-4，收敛阈值过大，会影响训练的精度，而收敛阈值过小，循环次数增加，收敛速度变慢；最大循环次数取值为30～60，设置最大循环次数避免由于没有达到收敛阈值而导致死循环；

5-2.模型初始化：设置模型状态数S为4～16，观察序列对应的高斯混合模型的混合成分数G为4～8，通过实验来选择最优的S和G的设置；随机生成隐马尔可夫模型的其他初始化参数，包括初始状态系数π、转移概率矩阵A、观察序列对应的高斯混合模型的混合系数向量C、均值向量μ和协方差矩阵∑；

5-3.根据动作类型和情感类型，从训练数据集中提取一种动作类型的一种情感所对应的所有特征向量序列作为隐马尔可夫模型的训练样本；

5-4.利用Baum-Welch算法进行隐马尔可夫模型训练，保存获得的隐马尔可夫模型参数π、A、C、μ、∑；

5-5.重复过程5-2～5-4，训练下一个隐马尔可夫模型。 

Images