CN106897706A - 一种情绪识别装置 - Google Patents

Abstract

一种情绪识别装置，包括表情认知模块、微表情认知模块和加权融合模块，所述表情认知模块用于将表情情绪映射到连续的情感空间进行识别，所述微表情认知模块用于对细微的情绪变化进行识别，所述加权融合模块用于确定情绪状态。本发明的有益效果为：能够对情绪进行准确识别。

Description

一种情绪识别装置

技术领域

本发明创造涉及情绪识别技术领域，具体涉及一种情绪识别装置。

背景技术

随着人工智能科学的飞速发展，如何使计算机能够识别人类的表情进而得到人类的情感状态，己经越来越多地受到计算机科学、心理学等学科的关注。

目前在情感计算领域己出现了诸多情感模型，但大多仅适用于离散状态下的情感计算，对于人与服务机器人的自然交互过程中，认知情感状态的连续时空特性仍无法满足。

发明内容

针对上述问题，本发明旨在提供一种情绪识别装置。

本发明创造的目的通过以下技术方案实现：

一种情绪识别装置，包括表情认知模块、微表情认知模块和加权融合模块，所述表情认知模块用于将表情情绪映射到连续的情感空间进行识别，所述微表情认知模块用于对细微的情绪变化进行识别，所述加权融合模块用于确定情绪状态。

本发明的有益效果为：能够对情绪进行准确识别。

附图说明

利用附图对发明创造作进一步说明，但附图中的实施例不构成对本发明创造的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。

图1是本发明结构示意图。

附图标记：

表情认知模块1、微表情认知模块2、加权融合模块3。

具体实施方式

结合以下实施例对本发明作进一步描述。

参见图1，本实施例的一种情绪识别装置，包括表情认知模块1、微表情认知模块2和加权融合模块3，所述表情认知模块1用于将表情情绪映射到连续的情感空间进行识别，所述微表情认知模块2用于对细微的情绪变化进行识别，所述加权融合模块3用于确定情绪状态；

其中，表情认知模块1：

采用方向梯度直方图对输入图像表情特征进行提取，根据特征维数建立多维表情空间，设表情空间中基本表情Bx_i的中心点为Bx_ic，i＝1,2,…,n，表情空间中某表情点s处的该基本表情的势能定义为：

式中，‖·‖表示输入表情与基本表情的欧式距离，α为基本表情的衰减因子；

表情空间中，定义表情点s的势能为：

E(s)＝[E(s,Bx₁),E(s,Bx₂),…,E(s,Bx_n)]

式中，Bx_i表示第i个基本表情，i＝1,2,…,n，E(s)为由表情点s相对各基本表情势能组成的向量，由此确定表情点s的表情。

本优选实施例在实际交流过程中，基于多种基本表情的混合表情不可避免，惊恐的表情便同时具备惊讶和恐惧两种表情的特征，表情识别模块将表情情绪映射到的连续情感空间中，更加符合表情认知的实际情况，这种连续性同时可以使装置情感认知能力得到极大的提高。

优选的，微表情认知模块2：

采用3个尺度，4个方向的Gabor小波对输入图像特征区域特征进行提取，将特征区域划分为m个区域Q₀,Q₁,…,Q_m-1，用直方图统计每个区域的灰度分布属性，具体为：

设图像p(x,y)具有为H个灰度级别，定义图像的直方图为：

z_j＝ln[∑_x,ya×(I{p(x,y)＝j}+1)],j＝0,1,…,H-1

式中，I{·}表示满足括号中条件则记1，否则记0，a表示直方图放大因子，j代表第j个灰度级别，z_j是灰度级为j的像素点的个数；

则从每个区域提取H个灰度级别的直方图可表示为：

其中，GLBP(x,y,α,β)表示Gabor小波提取的特征值采用局部二值算子进行运算的值，j＝0,1,…,H-1，k＝0,1,…,m-1，α＝0,1,2，β＝0,1,2,3；

微表情的最终描述可表示为m个区域的直方图序列：

Z＝(Z_0,0,0,Z_0,0,m-1,Z_0,1,0,…,Z_2,3,m-1)

式中，Z为12×m×H维的特征向量；

假设样本Z_i都有其对应的微表情类别，计算待分类微表情直方图序列与已知类别微表情直方图序列的欧式距离，与已知类别微表情直方图序列欧式距离最近的确定为待分类微表情类别C。

微表情既可能包含普通表情的全部肌肉动作，也可能只包含普通表情肌肉动作的一部分，识别过程具有较大的困难，本优选实施例微表情识别模块通过特征区域划分和直方图计算，减少了计算量，提高了识别精度。

优选的，加权融合模块3：

用情绪值来反映情绪，情绪值定义为：

式中，δ₁、δ₂为权重，δ₁+δ₂＝1，E(s,Bx_i)表示表情空间中某表情点s处的基本表情Bx_i的势能，C(Bx_i)＝1，表示微表情类别C所属基本表情类别为Bx_i。

本优选实施例采用基于表情认知结果和微表情认知结果相结合的方法，既从宏观上把握了表情类别，提高了识别效率，又获取了更为细微的情绪变化，识别结果更为准确。

采用本发明情绪识别装置对情绪进行识别，在δ₁、δ₂不同情况下对200个人的情绪识别情况进行了统计，同现有技术相比，情绪识别准确率和情绪识别速度都有不同程度的提高，产生的有益效果如下表所示：

	情绪识别准确率提高	情绪识别速度提高
				50％	30％
	40％	35％
				35％	45％
	30％	50％

最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (6)

1.一种情绪识别装置，其特征在于，包括表情认知模块、微表情认知模块和加权融合模块，所述表情认知模块用于将表情情绪映射到连续的情感空间进行识别，所述微表情认知模块用于对细微的情绪变化进行识别，所述加权融合模块用于确定情绪状态。

2.根据权利要求1所述的一种情绪识别装置，其特征在于，表情认知模块：

采用方向梯度直方图对输入图像表情特征进行提取，根据特征维数建立多维表情空间，设表情空间中基本表情Bx_i的中心点为Bx_ic，i＝1,2,…,n，表情空间中某表情点s处的该基本表情的势能定义为：

$E(s,{\mathrm{Bx}}_i)=e^{-\mathrm{\α}\left|\right|s-{\mathrm{Bx}}_{i}c\left|\right|}$

式中，‖·‖表示输入表情与基本表情的欧式距离，α为基本表情的衰减因子；

表情空间中，定义表情点s的势能为：

E(s)＝[E(s,Bx₁),E(s,Bx₂),…,E(s,Bx_n)]

式中，Bx_i表示第i个基本表情，i＝1,2,…,n，E(s)为由表情点s相对各基本表情势能组成的向量，由此确定表情点s的表情。

3.根据权利要求2所述的一种情绪识别装置，其特征在于，微表情认知模块采用直方图序列对微表情进行描述，进而确定微表情类别。

4.根据权利要求3所述的一种情绪识别装置，其特征在于，所述直方图序列具体为：

采用3个尺度，4个方向的Gabor小波对输入图像特征区域特征进行提取，将特征区域划分为m个区域Q₀,Q₁,…,Q_m-1，用直方图统计每个区域的灰度分布属性，具体为：

设图像p(x,y)具有为H个灰度级别，定义图像的直方图为：

z_j＝ln[∑_x,ya×(I{p(x,y)＝j}+1)],j＝0,1,…,H-1

式中，I{·}表示满足括号中条件则记1，否则记0，a表示直方图放大因子，j代表第j个灰度级别，z_j是灰度级为j的像素点的个数；

则从每个区域提取H个灰度级别的直方图可表示为：

$Z_{\mathrm{\α},\mathrm{\β},Q_k}=ln\[{\mathrm{\Σ}}_{(x,y)\∈Q_k}a\×\left(I\right\{GLBP\left(x,y,\mathrm{\α},\mathrm{\β}\right)=j\}+1)\]$

其中，GLBP(x,y,α,β)表示Gabor小波提取的特征值采用局部二值算子进行运算的值，j＝0,1,…,H-1，k＝0,1,…,m-1，α＝0,1,2，β＝0,1,2,3；

微表情的最终描述可表示为m个区域的直方图序列：

Z＝(Z_0,0,0,Z_0,0,m-1,Z_0,1,0,…,Z_2,3,m-1)

式中，Z为12×m×H维的特征向量；

假设样本Z_i都有其对应的微表情类别，计算待分类微表情直方图序列与已知类别微表情直方图序列的欧式距离，与已知类别微表情直方图序列欧式距离最近的确定为待分类微表情类别C。

5.根据权利要求4所述的一种情绪识别装置，其特征在于，加权融合模块采用情绪值确定情绪状态。

6.根据权利要求5所述的一种情绪识别装置，其特征在于，所述情绪值定义为：

$Y={\mathrm{\δ}}_1\×{\mathrm{\Σ}}_{i=1}^n\frac{E(s,{\mathrm{Bx}}_i)}{{\mathrm{\Σ}}_{i=1}^n\[E(s,{\mathrm{Bx}}_i)\]}\[E(s,{\mathrm{Bx}}_i)\]+{\mathrm{\δ}}_2\×E(s,{\mathrm{Bx}}_i)C\left({\mathrm{Bx}}_i\right)$

式中，δ₁、δ₂为权重，E(s,Bx_i)表示表情空间中某表情点s处的基本表情Bx_i的势能，C(Bx_i)＝1，表示微表情类别C所属基本表情类别为Bx_i。