CN111274978A - 一种微表情识别方法及装置 - Google Patents

Abstract

本申请公开了一种微表情识别方法及装置，方法包括：结合光流法和二分法求取预置微表情视频帧的高潮帧；在高潮特征图集的每一帧中获取N个特定区域，高潮特征图集根据高潮帧与预置个帧相加得到；通过根据光流法求取的每个像素的光流参数获取每个特定区域的M维特征向量；将求得的所有特征向量输入预置GRU模型中进行特征提取，得到高潮动态特征；根据预置基矩阵和局部非负矩阵分解法计算高潮帧的高潮静态特征；将高潮动态特征和高潮静态特征融合，并输入预置分类器进行分类，得到分类结果。本申请解决了现有的微表情识别技术不能完全获取到微表情的各个层面的特征，且有与表情无关的冗余信息，造成识别结果不可靠的技术问题。

Description

一种微表情识别方法及装置

技术领域

本申请涉及图像识别技术领域，尤其涉及一种微表情识别方法及装置。

背景技术

工业的现代化和智能化的快速发展使得机器人技术更加成熟，使得机器人与人协助工作的场景更为常见，在设计机器人的人机交互系统时，为了评估人机交互中的效果，需要进行物理性试验，有实验者与机器人协作完成一些任务，试验结束后需要实验者填写调查问卷，在分析结果，获得结论，进行相应的分析以改造机器人控制策略。为了使得机器人能够感知周围的环境，通常会在机器人上安装麦克风和摄像头等设备，让机器人能够听懂人的命令，按照命令完成相应的任务为了让机器人感知人的情绪，可以通过摄像头获取人脸表情视频，在机器人的人机交互系统中加入微表情的识别，这样可以增强人机交互的体验感，机器人通过人的微表情明确执行的任务是否准确，加快机器人的智能化发展。

目前的微表情识别技术要么基于整个视频通过LBP-TOP和3D-CNN进行特征提取，要么只获取视频中的表情的高潮帧进行识别；两种方法均可完成微表情的识别，但是，基于整个视频提取特征的计算涉及到很多与微表情无关的冗余信息，带来较大的噪声，而仅识别高潮帧又会遗漏一些表情的动态信息，降低了识别算法的可靠性。

发明内容

本申请提供了一种微表情识别方法及装置，用于解决现有的微表情识别技术不能完全获取到微表情的各个层面的特征，且所获取特征包含与表情无关的冗余信息，不能反映出微表情本质，造成识别结果不可靠的技术问题。

有鉴于此，本申请第一方面提供了一种微表情识别方法，包括：

结合光流法和二分法求取预置微表情视频帧的高潮帧；

在高潮特征图集的每一帧中获取N个特定区域，所述高潮特征图集根据所述高潮帧与预置个帧相加得到；

通过根据光流法求取的每个像素的光流参数获取每个所述特定区域的M维特征向量；

将求得的所有所述特征向量输入预置GRU模型中进行特征提取，得到高潮动态特征；

根据预置基矩阵和局部非负矩阵分解法计算所述高潮帧的高潮静态特征；

将所述高潮动态特征和所述高潮静态特征融合，并输入预置分类器进行分类，得到分类结果。

优选地，所述结合光流法和二分法求取预置微表情视频帧的高潮帧，之前还包括：

对微表情视频集进行预处理，得到所述预置微表情视频帧，所述预处理包括：特征点提取、直方图均衡、人脸矫正和剪裁。

优选地，所述在高潮特征图集的每一帧中获取N个特定区域，包括：

在高潮特征图集的每一帧中提取出n1个第一区域；

将每个所述第一区域划分为n2个第二区域，总共得到N个特定区域，所述N＝n1×n2。

优选地，所述通过根据光流法求取的每个像素的光流参数获取每个所述特定区域的M维特征向量，包括：

将360度通过M个特征方向进行等分；

计算每个所述特定区域中的每个像素点的所述光流参数，所述光流参数包括光流方向、绝对光流速度和光流应变；

确定每个像素点的光流方向分别与相邻两个特征方向之间的相对夹角；

根据所述相对夹角、所述绝对光流速度和所述光流应变分别求取每个像素点在所述相邻两个特征方向上的光流特征；

将每一个特征方向上的所述光流特征累加，得到M维特征向量。

优选地，所述根据预置基矩阵和局部非负矩阵分解法计算所述高潮帧的高潮静态特征，包括：

将所述高潮帧拉伸为列向量；

根据所述预置基矩阵和局部非负矩阵分解法对所述列向量进行分解计算，得到系数向量，将所述系数向量作为所述高潮静态特征。

优选地，所述根据预置基矩阵和局部非负矩阵分解法计算所述高潮帧的高潮静态特征，还包括：

采用非负矩阵分解法获取宏观表情特征向量集；

根据所述宏观表情特征向量集与所述高潮静态特征中的微表情特征向量集建立关联，获取新的表情特征向量集，并将所述新的表情特征向量集加入所述微表情特征向量集中。

本申请第二方面提供了一种微表情识别装置，包括：

高潮帧模块，用于结合光流法和二分法求取预置微表情视频帧的高潮帧；

区域划分，用于在高潮特征图集的每一帧中获取N个特定区域，所述高潮特征图集根据所述高潮帧与预置个帧相加得到；

多维向量模块，用于通过根据光流法求取的每个像素的光流参数获取每个所述特定区域的M维特征向量；

动态特征提取模块，用于将求得的所有所述特征向量输入预置GRU模型中进行特征提取，得到高潮动态特征；

静态特征提取模块，用于根据预置基矩阵和局部非负矩阵分解法计算所述高潮帧的高潮静态特征；

分类模块，用于将所述高潮动态特征和所述高潮静态特征融合，并输入预置分类器进行分类，得到分类结果。

优选地，还包括：

预处理模块，用于对微表情视频集进行预处理，得到所述预置微表情视频帧，所述预处理包括：特征点提取、直方图均衡、人脸矫正和剪裁。

优选地，所述多维向量模块包括：

多维向量子模块，用于将360度通过M个特征方向进行等分；

计算每个所述特定区域中的每个像素点的所述光流参数，所述光流参数包括光流方向、绝对光流速度和光流应变；

确定每个像素点的光流方向分别与相邻两个特征方向之间的相对夹角；

根据所述相对夹角、所述绝对光流速度和所述光流应变分别求取每个像素点在所述相邻两个特征方向上的光流特征；

将每一个特征方向上的所述光流特征累加，得到M维特征向量。

优选地，所述静态特征提取模块包括：

静态特征提取子模块，用于将所述高潮帧拉伸为列向量；

根据所述预置基矩阵和局部非负矩阵分解法对所述列向量进行分解计算，得到系数向量，将所述系数向量作为所述高潮静态特征。

从以上技术方案可以看出，本申请实施例具有以下优点：

本申请中，提供了一种微表情识别方法，包括：结合光流法和二分法求取预置微表情视频帧的高潮帧；在高潮特征图集的每一帧中获取N个特定区域，高潮特征图集根据高潮帧与预置个帧相加得到；通过根据光流法求取的每个像素的光流参数获取每个特定区域的M维特征向量；将求得的所有特征向量输入预置GRU模型中进行特征提取，得到高潮动态特征；根据预置基矩阵和局部非负矩阵分解法计算高潮帧的高潮静态特征；将高潮动态特征和高潮静态特征融合，并输入预置分类器进行分类，得到分类结果。

本申请提供的微表情识别方法，通过光流法和二分法计算出微表情图像的高潮帧，但是并不仅仅只对高潮帧进行特征提取，而是在高潮帧中加入预置个帧，将包含高潮帧的高潮特征图集进行特征的提取，特征的提取主要包括两个层面，首先是根据光流参数获取选取的特定区域的特征向量，并通过预置GRU模型提取得到微表情的动态特征，其次是根据预置基矩阵和局部非负矩阵分解法计算得到微表情的静态特征，既能同时获取到微表情的不同层面的特征，又能通过针对性的提取高潮帧的特征减小特征的冗余，将动态特征和静态特征融合进行分类，得到的微表情识别结果更加精确，因此，本申请提供的微表情识别方法能够解决现有的微表情识别技术不能完全获取到微表情的各个层面的特征，且所获取特征包含与表情无关的冗余信息，不能反映出微表情本质，造成识别结果不可靠的技术问题。

附图说明

图1为本申请实施例提供的一种微表情识别方法的一个流程示意图；

图2为本申请实施例提供的一种微表情识别方法的二个流程示意图；

图3为本申请实施例提供的预处理后剪裁出的微表情区域示意图；

图4为本申请实施例提供的像素点光流参数分配示意图一；

图5为本申请实施例提供的像素点光流参数分配示意图二；

图6为本申请实施例提供的局部非负矩阵分解得到的基矩阵示例图；

图7为本申请实施例提供的一种微表情识别装置的一个结构示意图；

图8为本申请实施例提供的机器人人机交互系统整体框架；

图9为本申请实施例提供的机器人操作系统中的通信示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了便于理解，请参阅图1，本申请提供的一种微表情识别方法的实施例一，包括：

步骤101、结合光流法和二分法求取预置微表情视频帧的高潮帧。

需要说明的是，光流法是关于视域中的物体运动检测中的概念，用来描述相对于观察者的运动所造成的观测目标、表面或边缘的运动。在本实施例中，光流是指两帧图像之间的对应像素的运动速度；利用光流法能够准确的获取微表情图像中的反应最为强烈的那部分表情，即高潮帧。预置微表情视频帧就是经过一些预处理后得到的微表情视频，便于于后续的特征提取和识别。

步骤102、在高潮特征图集的每一帧中获取N个特定区域，高潮特征图集根据高潮帧与预置个帧相加得到。

需要说明的是，高潮帧并不是直接进行特征提取操作的，单帧微表情高潮帧进行特征提取的可靠性不高，容易遗漏部分重要的微表情信息，所以需要在高潮帧的基础上加上高潮帧前面和后面部分帧一并进行特征提取，这样既能去除不必要的冗余信息，又能提取更加全面的微表情信息。高潮帧再加上高潮帧前后的帧图像，每一帧图像都需要根据要求划分为N各特定区域，进行后续特征提取。这N个区域的划分并不强调是一次性获取成功，可以是多次完成，即具有层次性的划分，然后提取，逐步细节化人脸部肌肉的运动区域。

步骤103、通过根据光流法求取的每个像素的光流参数获取每个特定区域的M维特征向量。

需要说明的是，光流参数是使用光流法计算得到的，每个像素都可以求得光流参数，根据光流参数可以进一步获取到每个特定区域的多维特征向量，总共有多少特定区域就能求解出多少个M维特征向量，既然是根据光流法计算多维特征，那么就可以根据光流方向等参数提取特征，所以在M的取值上需要满足能整除360度，得到完整的方向划分，才能进一步提取到M维特征向量。采用光流法求取的特征向量属于动态特征向量，反应的不同帧对应的像素之间的运动速度，同样也是提取特定区域中肌肉运动的特征。

步骤104、将求得的所有特征向量输入预置GRU模型中进行特征提取，得到高潮动态特征。

需要说明的是，GRU是循环神经网络的一种，专门用于处理序列数据。先用微表情数据集训练，得到训练完成的特征提取器，即预置GRU模型。提取到的M维特征向量之所以需要输入GRU模型中进行动态特征的提取，是因为提取多少帧图像，就会存在多少个N×M维特征向量，这些N×M维特征向量是存在时间序列关系的，所以不能直接拼接得到最终的动态特征，需要通过GRU特征提取模型进一步完成动态特征向量的提取。

步骤105、根据预置基矩阵和局部非负矩阵分解法计算高潮帧的高潮静态特征。

需要说明的是，从多元统计的观点看，非负矩阵分解是在非负性的限制下，在尽可能保持信息不变的情况下，将高维的随机模式简化为低维的随机模式，而这种简化的基础是估计出数据中的本质结构；从代数的观点看，非负矩阵分解是发现数据的一种内在非负代数分解形式或表示方法；从维数约减的观点看，因为基矩阵和系数矩阵同时由非负矩阵分解来确定，系数矩阵并非为数据矩阵在基矩阵上的投影，所以非负矩阵分解实现的是非线性的维数约减。而局部非负矩阵分解法是指对基矩阵和系数矩阵施加相应的约束，使得基矩阵中的每一列尽可能包含更多的零，达到稀疏的效果，且使得系数矩阵中的系数尽可能的大，使得包含的最重要信息的成分得以保留。预置的基矩阵是在训练阶段用微表情数据集训练得到的；具体过程为标注好的高潮帧系列图像拉伸为列向量，然后组合列向量得到数据矩阵，采用局部非负矩阵分解法对数据矩阵进行分解计算，得到预置基矩阵。本实施例中使用预置基矩阵和局部非负矩阵分解法计算高潮帧的高潮静态特征，就是将高潮帧单帧转换为列向量，将其进行局部非负矩阵分解，并将得到的系数向量作为最终的高潮静态特征。

步骤106、将高潮动态特征和高潮静态特征融合，并输入预置分类器进行分类，得到分类结果。

需要说明的是，将高潮动态特征和高潮静态特征融合的过程为：首先使得高潮动态特征和高潮静态特征均是列向量的形式，若不是，则拉伸为列向量，然后将两个特征向量进行拼接，得到一个较大的列向量，最后再将这个较大的列向量输入到预置分类器中进行分类，识别，得到微表情的识别结果。预置分类器同样是训练好的分类模型。

本实施例提供的微表情识别方法，通过光流法和二分法计算出微表情图像的高潮帧，但是并不仅仅只对高潮帧进行特征提取，而是在高潮帧中加入预置个帧，将包含高潮帧的高潮特征图集进行特征的提取，特征的提取主要包括两个层面，首先是根据光流参数获取选取的特定区域的特征向量，并通过预置GRU模型提取得到微表情的动态特征，其次是根据预置基矩阵和局部非负矩阵分解法计算得到微表情的静态特征，既能同时获取到微表情的不同层面的特征，又能通过针对性的提取高潮帧的特征减小特征的冗余，将动态特征和静态特征融合进行分类，得到的微表情识别结果更加精确，因此，本实施例提供的微表情识别方法能够解决现有的微表情识别技术不能完全获取到微表情的各个层面的特征，且所获取特征包含与表情无关的冗余信息，不能反映出微表情本质，造成识别结果不可靠的技术问题。

为了便于理解，请参阅图2，本申请提供的一种微表情识别方法的实施例二，包括：

步骤201、对微表情视频集进行预处理，得到预置微表情视频帧。

其中，预处理包括：特征点提取、直方图均衡、人脸矫正和剪裁。

需要说明的是，在正式进行微表情特征提取之前需要做一系列的准备工作，即预处理，首先需要在视频中识别出人脸的位置，通过定点的方式在视频帧中描出人脸的边缘点以及五官点，这些特征点的作用除了便于后续的人脸矫正，还可用来剪裁出面部表情；然后对视频帧的灰度直方图进行均衡化，均衡化能够有效的降低不同微表情视频背景光照不同，造成特征提取中的噪声影响；其次是人脸矫正，每个视频帧中的人脸部分存在不同程度的倾斜，直接提取特征会导致特征不统一，所以需要将所有的人脸进行矫正处理；最后是微表情的剪裁，微表情仅为人脸的一部分，因此，除此部分之外的区域都是冗余信息，会给特征提取过程带来噪声，所以需要去除，例如人脸边缘，而剪裁就是在微表情区域选择的基础上进行冗余信息的初步去除，经处理和剪裁得到预置微表情视频帧如图3所示，图3为预处理后剪裁出的微表情区域示意图。

步骤202、结合光流法和二分法求取预置微表情视频帧的高潮帧。

需要说明的是，首先需要通过光流法计算每一帧图像的光流应变，然后利用二分法将视频帧等分为两个部分，计算出两部分视频帧的光流应变之和，取光流应变之和较大的那个部分的视频帧，继续等分，求和，比较，直到最终得到光流应变之和对应的那部分视频帧为单帧，即可得到预置微表情图像高潮帧。具体地，假设当前帧在t时刻，像素点坐标(x,y)对应的灰度值为I(x,y,t)，在下一帧图像中，该像素的坐标为(x+Δx,y+Δy)，对应的灰度值为I(x+Δx,y+Δy,t+Δt)，两帧之间的时间间隔很短，可以认为该点的灰度值没有发生任何变化，即I(x,y,t)＝I(x+Δx,y+Δy,t+Δt)，将公式的右侧进行泰勒展开，并仅取一阶及以下的项，得到I(x,y,t)＝I(x,y,t)+I_xΔx+I_yΔy+I_tΔt，其中的I_x、I_y、I_t分别为I对x，y，t的偏导，将泰勒展开后得到的公式两边同时除以Δt整理可以得到I_xv_x+I_yv_y＝-I_t，其中的v_x和v_y分别为x方向和y方向上的速度，即求得的光流速度，要求光流应变，首先定义如下矩阵：

然后将光流应变定义为：

求得光流应变之后，可以采用二分法的方式求得高潮帧。

步骤203、在高潮特征图集的每一帧中提取出n1个第一区域。

步骤204、将每个第一区域划分为n2个第二区域，总共得到N个特定区域，N＝n1×n2。

其中，高潮特征图集根据高潮帧与预置个帧融合得到，高潮特征图集中的每个像素点均包括光流参数。

需要说明的是，在本实施例中假设将高潮帧的前5帧和后5帧加上高潮帧得到高潮特征图集，所以后续进行特征提取的高潮特征图集总共有11帧，即11幅图，首先需要提取出人脸的n1个区域，本实施例中设n1＝5，这5个区域虽是可以随机选取，但是为了便于研究，一般选择与微表情相关程度较大的区域，例如五官，因为微表情涉及到的动作单元基本上集中在这些区域中，提取这部分区域的肌肉运动特征作为动态特征才更具有针对性，可靠性。接着，为了进一步细化肌肉的运动，我们将这5个区域再次进行划分，即划分为n2个区域，本实施例中令n2＝9，也可以细化到更多个区域，越细化越能获得微表情中的肌肉具体的运动趋势，即动态特征。

步骤205、将360度通过M个特征方向进行等分。

需要说明的是，被划分为N＝5×9＝45个特定区域的微表情可以开始进行动态特征的提取，求取每个特定区域的M维特征向量之前，对360度进行M维度的划分，可以得到M个方向以及M个区域。

步骤206、计算每个特定区域中的每个像素点的光流参数。

其中，光流参数包括光流方向、绝对光流速度和光流应变。

需要说明的是，动态特征是通过光流法计算得到的，上述已提出，每个像素点均有坐标(x,y)，且坐标上可以求得光流速度(v_x,v_y)，还可以得到相应的光流应变

通过已知参数可以求得光流方向θ和绝对光流速度v，具体求解公式如下：

步骤207、确定每个像素点的光流方向分别与相邻两个特征方向之间的相对夹角。

需要说明的是，每个像素点都有其光流方向，且将360划分为M各区域，本实施例假设M＝8，每个区域占45度，那么每个像素点都会落入一个区域，每各像素点的光流方向就会存在两个相邻的特征方向，两个特征方向的夹角在划分360区域时已知，而每个像素点的光流方向角度也已知，因此，可以求得每个像素点的光流方向分别与两个特征向量之间的相对夹角，具体请参阅图4，图4为本申请实施例提供的像素点光流参数分配示意图一。

步骤208、根据相对夹角、绝对光流速度和光流应变分别求取每个像素点在相邻两个特征方向上的光流特征。

需要说明的是，请参阅图4和图5，图5为本申请实施例提供的像素点光流参数分配示意图二，图4的右半部分是不同光流方向的像素点，左半部分的直方图即表示不同特征方向上光流特征；图5中的θ₁和θ₂即为相对夹角，根据相对夹角、绝对光流速度和光流应变就可以得到两个特征方向上的分量值。之所以采用线性分配的方式，是因为采集的图像存在一定的畸变，且光流法计算存在一定误差，具有随机性，直接将像素点按照就近分配得到的特征向量受噪声的影响较大，不具有鲁棒性。

步骤209、将每一个特征方向上的光流特征累加，得到M维特征向量。

需要说明的是，图4中的直方图就是8个不同方向上的光流特征的累加，每个特定区域都可以计算得到这样的八维特征向量，按照上述划分与计算，最终可以得到11个5×9×8＝360维特征向量。

步骤210、将求得的所有特征向量输入预置GRU模型中进行特征提取，得到高潮动态特征。

需要说明的是，将得到的11帧的360维特征向量输入到预置GRU模型中进行特征提取，得到高潮动态特征向量。之所以需要GRU模型进行动态特征提取是因为11帧之间存在时序关系，不能直接得到一个总的动态特征向量，无法进行后续的特征融合，所以需要将带有时序的帧逐帧输入到GRU模型进行动态特征提取，如此提取的动态特征才能保留时序上的关联特征。

步骤211、将高潮帧拉伸为列向量。

需要说明的是，高潮静态特征的提取是在单帧高潮帧的基础上提取的，所以可以将单帧高潮帧直接拉伸为列向量，进行特征提取计算。

步骤212、根据预置基矩阵和局部非负矩阵分解法对列向量进行分解计算，得到系数向量，将系数向量作为高潮静态特征。

需要说明的是，非负矩阵分解中定义：D≈WH，其中，W为基矩阵，H为系数矩阵，数据矩阵中的每一列数据都可以有基矩阵中的各列进行线性表示，系数矩阵的每一列与数据矩阵中的每一列一一对应；局部非负矩阵分解是对W和H施加适当的约束，使得局部非负矩阵分解通过迭代的方式进行求解，迭代公式如下：

其中，w_kl为基矩阵W中的第k行第l列的值，h_lj为系数矩阵中的第l行第j列的值，迭代求解得到的系数矩阵H即为所求的高潮静态特征，其中的每一列代表一个微表情特征向量。使用局部非负矩阵分解前需要经过训练阶段，具体操作是将预置的微表情数据集中的标注好的高潮帧拉伸成列向量，组成数据矩阵，对数据矩阵进行分解计算，得到预置基矩阵，具体请参阅图6，图6为局部非负矩阵分解得到的基矩阵示例图，训练得到的基矩阵将被保存下来，作为预置基矩阵。在识别过程里，将待识别的高潮帧拉伸成列向量，在预置基矩阵已知的情况下，迭代求解系数向量，即可得到高潮静态特征，迭代次数可根据实际情况设置，在此不作限定。

需要说明的是，还可以采用非负矩阵分解法获取宏观表情特征向量集；根据宏观表情特征向量集与高潮静态特征中的微表情特征向量集建立关联，获取新的表情特征向量集，并将新的表情特征向量集加入微表情特征向量集中。该部分的操作是为了扩充微表情的静态特征向量集，由于微表情图像数据量较小，进行分类的可靠性不高，因此，可以结合迁移学习的思想，借助于大量丰富的宏观表情数据生成新的微表情数据，用于微表情的分类识别。在静态特征集被扩充时，动态特征与静态特征数量不一致，不便于后续的特征融合，因此，在使用宏观表情进行数据扩充时，进行后续的动态特征与静态特征融合需要重复使用微表情的动态特征，使其能够满足一一对应的特征融合。具体的扩充微表情的静态特征向量集的过程如下：采用非负矩阵分解法获取宏观表情特征向量集X^ma，宏观表情特征向量集的表情种类与微表情静态特征向量集中的种类一致，将其划分为

和

和

之间期望满足如下线性关系：

其中E_emo为关联矩阵。

根据宏观表情特征向量集与高潮静态特征中的微表情特征向量集建立关联，由于微表情数据远少于宏观表情数据，所以需要重复使用微表情的高潮静态特征，以上求得H为微表情的高潮静态特征，H与E_emo之间的关系如下：

H^*＝HE_emo

不论是宏观表情特征向量集还是微表情的高潮静态特征向量集，都是基于非负矩阵分解的基础上求解的，因此，其中的每一个元素均大于0，所以新生成的微表情静态特征也满足非负性，其中，E_emo的求解方式如下：

可根据需求设置迭代次数，迭代完成，求得E_emo后，根据H与E_emo之间的关系可以得到新的微表情静态特征H^*，加入到高潮静态特征中，实现数据的扩充。

步骤213、将高潮动态特征和高潮静态特征融合，并输入预置分类器进行分类，得到分类结果。

需要说明的是，高潮动态特征与高潮静态特征融合实质就是两种特征向量的拼接，得到一个大的特征向量，这个特征向量既包含了微表情的动态特征，又包含了微表情的静态特征，输入分类器进行分类，得到微表情识别结果。

为了便于理解，本申请提供一种应用例，将微表情识别方法应用于机器人的交互研究中，主要识别的微表情包括：开心、愤怒、害怕、无助和困惑；主要的实施过程是在利用机器人身上安装的摄像头实时采集实验者的微表情信息，并对微表情信息进行分析、记录以及执行相应的动作。具体的请参阅图8-图9，图8为机器人人机交互系统整体框架，图9为机器人操作系统中的通信示意图；在该系统中，机器人可以实时监测实验者的微表情，以调整自身的工作策略，当监测到实验者开心的微表情时，则表明机器人此时的动作是正确的，可以将这条经验记录到后台数据库中，供后续任务调用；当机器人监测到实验者困惑的微表情时，说明机器人当前的操作策略是错误的，需要重新在策略域中寻找下一个可行策略；如果机器人监测到实验者感到害怕时，机器人应当立即停止动作，以免造成安全事故；机器人操作系统中存在一套完整的通信机制，图9，各类通信封装成发布话题/订阅话题的方式，减少了个进程之间的耦合，使得机器人的控制程序和微表情识别程序可以分开进行。若发现了微表情，则发布相应的话题，供表情识别程序订阅话题；识别出的微表情，由表情识别程序发布话题，后台数据库记录程序和机器人控制程序订阅话题；后台数据库记录程序的作用是将整个实验过程的情绪记录下来，包括情绪发生的时间以及机器人当前的操作；机器人控制程序就是根据实验者的情绪做出相应的反应，尤其是当实验者感到害怕的时候，机器人应该立即保持静止，避免进一步动作。由于传统的机器人人机交互研究中，所有的实验者需要完成统一的调查问卷，但是这些问题太过常规，无法反应试验过程细节问题，通过将微表情识别加入机器人的控制的方式使得机器人的人机交互研究结果更加可靠，也更加全面。

为了便于理解，请参与图7，本申请中还提供了一种微表情识别装置的实施例，包括：

高潮帧模块301，用于结合光流法和二分法求取预置微表情视频帧的高潮帧；

区域划分302，用于在高潮特征图集的每一帧中获取N个特定区域，高潮特征图集根据高潮帧与预置个帧相加得到；

多维向量模块303，用于通过根据光流法求取的每个像素的光流参数获取每个特定区域的M维特征向量；

动态特征提取模块304，用于将求得的所有特征向量输入预置GRU模型中进行特征提取，得到高潮动态特征；

静态特征提取模块305，用于根据预置基矩阵和局部非负矩阵分解法计算高潮帧的高潮静态特征；

分类模块306，用于将高潮动态特征和高潮静态特征融合，并输入预置分类器进行分类，得到分类结果。

进一步地，还包括：

预处理模块307，用于对微表情视频集进行预处理，得到预置微表情视频帧，预处理包括：特征点提取、直方图均衡、人脸矫正和剪裁。

进一步地，多维向量模块303包括：

多维向量子模块3031，用于将360度通过M个特征方向进行等分；

计算每个特定区域中的每个像素点的光流参数，光流参数包括光流方向、绝对光流速度和光流应变；

确定每个像素点的光流方向分别与相邻两个特征方向之间的相对夹角；

根据相对夹角、绝对光流速度和光流应变分别求取每个像素点在相邻两个特征方向上的光流特征；

将每一个特征方向上的光流特征累加，得到M维特征向量。

进一步地，静态特征提取模块305包括：

静态特征提取子模块3051，用于将高潮帧拉伸为列向量；

根据预置基矩阵和局部非负矩阵分解法对列向量进行分解计算，得到系数向量，将系数向量作为高潮静态特征。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以通过一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：Random Access Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种微表情识别方法，其特征在于，包括：

结合光流法和二分法求取预置微表情视频帧的高潮帧；

在高潮特征图集的每一帧中获取N个特定区域，所述高潮特征图集根据所述高潮帧与预置个帧相加得到；

通过根据光流法求取的每个像素的光流参数获取每个所述特定区域的M维特征向量；

将求得的所有所述特征向量输入预置GRU模型中进行特征提取，得到高潮动态特征；

根据预置基矩阵和局部非负矩阵分解法计算所述高潮帧的高潮静态特征；

将所述高潮动态特征和所述高潮静态特征融合，并输入预置分类器进行分类，得到分类结果。

2.根据权利要求1所述的微表情识别方法，其特征在于，所述结合光流法和二分法求取预置微表情视频帧的高潮帧，之前还包括：

对微表情视频集进行预处理，得到所述预置微表情视频帧，所述预处理包括：特征点提取、直方图均衡、人脸矫正和剪裁。

3.根据权利要求1所述的微表情识别方法，其特征在于，所述在高潮特征图集的每一帧中获取N个特定区域，包括：

在高潮特征图集的每一帧中提取出n1个第一区域；

将每个所述第一区域划分为n2个第二区域，总共得到N个特定区域，所述N＝n1×n2。

4.根据权利要求1所述的微表情识别方法，其特征在于，所述通过根据光流法求取的每个像素的光流参数获取每个所述特定区域的M维特征向量，包括：

将360度通过M个特征方向进行等分；

计算每个所述特定区域中的每个像素点的所述光流参数，所述光流参数包括光流方向、绝对光流速度和光流应变；

确定每个像素点的光流方向分别与相邻两个特征方向之间的相对夹角；

根据所述相对夹角、所述绝对光流速度和所述光流应变分别求取每个像素点在所述相邻两个特征方向上的光流特征；

将每一个特征方向上的所述光流特征累加，得到M维特征向量。

5.根据权利要求1所述的微表情识别方法，其特征在于，所述根据预置基矩阵和局部非负矩阵分解法计算所述高潮帧的高潮静态特征，包括：

将所述高潮帧拉伸为列向量；

根据所述预置基矩阵和局部非负矩阵分解法对所述列向量进行分解计算，得到系数向量，将所述系数向量作为所述高潮静态特征。

6.根据权利要求5所述的微表情识别方法，其特征在于，所述根据预置基矩阵和局部非负矩阵分解法计算所述高潮帧的高潮静态特征，还包括：

采用非负矩阵分解法获取宏观表情特征向量集；

根据所述宏观表情特征向量集与所述高潮静态特征中的微表情特征向量集建立关联，获取新的表情特征向量集，并将所述新的表情特征向量集加入所述微表情特征向量集中。

7.一种微表情识别装置，其特征在于，包括：

高潮帧模块，用于结合光流法和二分法求取预置微表情视频帧的高潮帧；

区域划分，用于在高潮特征图集的每一帧中获取N个特定区域，所述高潮特征图集根据所述高潮帧与预置个帧相加得到；

多维向量模块，用于通过根据光流法求取的每个像素的光流参数获取每个所述特定区域的M维特征向量；

动态特征提取模块，用于将求得的所有所述特征向量输入预置GRU模型中进行特征提取，得到高潮动态特征；

静态特征提取模块，用于根据预置基矩阵和局部非负矩阵分解法计算所述高潮帧的高潮静态特征；

分类模块，用于将所述高潮动态特征和所述高潮静态特征融合，并输入预置分类器进行分类，得到分类结果。

8.根据权利要求7中所述的微表情识别装置，其特征在于，还包括：

预处理模块，用于对微表情视频集进行预处理，得到所述预置微表情视频帧，所述预处理包括：特征点提取、直方图均衡、人脸矫正和剪裁。

9.根据权利要求7中所述的微表情识别装置，其特征在于，所述多维向量模块包括：

多维向量子模块，用于将360度通过M个特征方向进行等分；

计算每个所述特定区域中的每个像素点的所述光流参数，所述光流参数包括光流方向、绝对光流速度和光流应变；

确定每个像素点的光流方向分别与相邻两个特征方向之间的相对夹角；

根据所述相对夹角、所述绝对光流速度和所述光流应变分别求取每个像素点在所述相邻两个特征方向上的光流特征；

将每一个特征方向上的所述光流特征累加，得到M维特征向量。

10.根据权利要求7中所述的微表情识别装置，其特征在于，所述静态特征提取模块包括：

静态特征提取子模块，用于将所述高潮帧拉伸为列向量；

根据所述预置基矩阵和局部非负矩阵分解法对所述列向量进行分解计算，得到系数向量，将所述系数向量作为所述高潮静态特征。

Images