CN113435335A - 微观表情识别方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明涉及生物识别领域，揭露了一种微观表情识别方法，包括：将目标人物的待测面部表情视频进行光流处理，得到视频处理数据；将视频处理数据进行空间特征提取，得到空间向量集合；将视频处理数据进行时序特征提取，得到时序向量集合；将空间向量集合及时序向量集合进行融合计算，得到时空特征向量集合；对时空特征向量集合进行微观表情类别分析，得到待测面部表情视频中的微表情识别结果。此外，本发明还涉及区块链技术，所述待测面部表情视及其微表情识别结果可存储于区块链中。另外，本发明还提供了一种微观表情识别装置、电子设备及存储介质。本发明可以实现同时对微观表情的空间特征与时序特征进行分类分析，增加微观表情识别的准确性。

Description

微观表情识别方法、装置、电子设备及存储介质

技术领域

本发明涉及生物识别领域，尤其涉及一种微观表情识别方法、装置、电子设备及计算机可读存储介质。

背景技术

表情是人类表达情感的重要方式之一，心理学中，表情分为宏观表情与微观表情，宏观表情具有欺骗性,但是微观表情能够表现人类内心真实情感，因此，如何检测并识别到目标人物的微观表情，对于人机交互、审问、测谎等领域具有重大意义。

在调查审问过程中，嫌疑人的面部肌肉收缩纹理、眉毛浮动等微观表情信息由于持续时间短、脸部变化幅度低，特征微弱等特点不日被人捕捉到，通常是利用摄像设备拍摄，再通过局部二值算法(LBP)，获取具有视频中嫌疑人脸上的空间分布的纹理特征，通过分析所述动态纹理特征，识别微表情的类别。但是传统LBP算法只会分析每帧图像中微观表情的空间特征并进行总结，会无视视频中帧与帧之间的相连的动态特征，因为微观表情具有持续时间短、变化幅度低的特征，传统微观表情识别方法无视短暂的动态特征，使得识别率还是较低。

发明内容

本发明提供一种微观表情识别方法，其主要目的在于同时对微观表情的空间特征与时序特征进行分类分析，增加微观表情识别的准确性。

为实现上述目的，本发明提供的一种微观表情识别方法，包括：

将预先获取到的目标人物的待测面部表情视频进行光流处理，得到视频处理数据；

将所述视频处理数据进行空间特征提取，得到空间向量集合；

将所述视频处理数据进行时序特征提取，得到时序向量集合；

利用预构建的点开关玻尔兹曼机将所述空间向量集合及所述时序向量集合进行融合计算，得到时空特征向量集合；

对所述时空特征向量集合进行微观表情类别分析，得到所述待测面部表情视频中所述目标人物的微表情识别结果。

可选的，所述将所述视频处理数据进行空间特征提取，得到空间向量集合，包括：

利用预训练的卷积深度信念网络的输入层中的特征提取网络对所述视频处理数据进行微观表情的特征提取，得到特征数据；

利用所述卷积深度信念网络的卷积层将所述特征数据进行一维卷积操作，得到一维向量数据；

利用所述卷积深度信念网络的池化层对所述一维向量数据进行最大池化操作，得到所述特征向量集合；

利用所述卷积深度信念网络的全连接层对所述空间特征集合进行特征连接处理，得到包含各个特征向量之间的空间关系的空间向量集合。

可选的，所述利用预构建的点开关玻尔兹曼机将所述空间向量集合及所述时序向量集合进行融合计算之前，该方法还包括：

构建包括输入层、隐含层和输出层的玻尔兹曼机，其中，所述输入层分别连接至所述卷积深度信念网络的全连接层与所述时间卷积神经网络的全连接层；

向所述玻尔兹曼机添加开关单元，得到点开关玻尔兹曼机。

可选的，所述将所述视频处理数据进行时序特征提取，得到时序向量，包括：

利用预训练的时间卷积神经网络的输入层中的特征提取网络对所述视频处理数据进行相邻帧之间地时序特征提取，得到时序特征集合；

利用所述时间卷积神经网络的全连接层对所述变动集合中各个变动特征进行特征连接处理，得到包含各个时序特征对应的时序向量的时序向量集合。

可选的，所述将预先获取到的目标人物的待测面部表情视频进行光流处理，得到视频处理数据，包括：

获取所述待测面部表情视频中每一帧图像的顺序，得到帧序列；

根据所述帧序列，利用光流近似算法在相邻帧之间进行像素运动估计，得到相邻帧之间的预测图像；

利用所述预测图像对所述待测面部表情视频进行补帧操作，得到视频处理数据。

可选的，所述对所述时空特征向量集合进行微观表情类别分析，得到所述待测面部表情视频中所述目标人物的微表情识别结果，包括：

获取预构建的softmax神经网络，并对所述softmax神经网络进行迭代训练；

利用训练好的softmax神经网络将所述时空特征向量集合中同一个时刻的各个时空特征进行排列组合，得到组合特征，并计算所述组合特征对于各个预设类别的识别概率，并从各个识别概率中，获取最大识别概率对应的预设类别种类；

利用所述预设类别种类查询预构建的心理学面部特征表，得到所述目标人物此时的微表情识别结果。

可选的，所述对所述softmax神经网络进行迭代训练，包括：

步骤I、获取预构建的特征样本训练集，利用所述softmax神经网络对所述特征样本训练集进行识别，得到预测结果集；

步骤II、判断所述预测结果集与预构建的样本标签集是否相同，得到所述softmax神经网络的准确率；

步骤III、判定所述准确率的收敛性，当所述准确率未收敛，修改所述softmax神经网络中的函数参数，并返回上述步骤I；

步骤IV、当所述准确值收敛时，退出所述softmax神经网络的训练。

为了解决上述问题，本发明还提供一种微观表情识别装置，所述装置包括：

光流处理模块，用于将预先获取到的目标人物的待测面部表情视频进行光流处理，得到视频处理数据；

特征获取模块，用于将所述视频处理数据进行空间特征提取，得到空间向量集合，及将所述视频处理数据进行时序特征提取，得到时序向量集合；

特征融合模块，用于利用预构建的点开关玻尔兹曼机将所述空间向量集合及所述时序向量集合进行融合计算，得到时空特征向量集合；

微观表情识别模块，用于对所述时空特征向量集合进行微观表情类别分析，得到所述待测面部表情视频中所述目标人物的微表情识别结果。

为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以实现上述所述的微观表情识别方法。

为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个计算机程序，所述至少一个计算机程序被电子设备中的处理器执行以实现上述所述的微观表情识别方法。

本发明实施例对待测面部表情视频进行光流处理，得到视频处理数据。其中，利用光流处理可以增加微观表情视频的时间特性，方便后续时序特征提取过程。进一步的，分别提取视频处理数据的空间特征与时序特征，并通过预构建的点开关玻尔兹曼机对所述空间特征与所述时序特征进行融合，得到时空特征向量。其中，所述时空特征向量中包含各个面部特征的空间相对位置，也包括各个面部特征的运动趋势。最后本发明实施例对所述时空特征向量进行微观表情分类分析，可以得到所述待测面部表情视频中各个时间段对应的所述目标人物的面部识别结果。因此，本发明提出的一种微观表情识别方法可以同时对微观表情的空间特征与时序特征进行分类分析，增加微观表情识别的准确性。

附图说明

图1为本发明一实施例提供的微观表情识别方法的流程示意图；

图2为本发明一实施例提供的微观表情识别装置的模块示意图；

图3为本发明一实施例提供的实现微观表情识别方法的电子设备的内部结构示意图；

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本申请实施例提供一种微观表情识别方法。所述微观表情识别方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之，所述微观表情识别方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。

参照图1所示，为本发明一实施例提供的微观表情识别方法的流程示意图。在本发明实施例中，所述微观表情识别方法包括：

S1、将预先获取到的目标人物的待测面部表情视频进行光流处理，得到视频处理数据。

本发明实施例中，所述待测面部表情视频是一种包含目标人物人脸表情浮动的短视频。

在传统微观表情识别目标人物脸上的表情时，会从所述待测面部表情视频的每一帧或隔几帧的图像中获取目标人物的面部特征进行分析，得到目标人物的微表情，然而无法分析连续表情变化过程。因此，本发明实施例对所述目标人物的待测面部表情视频进行光流处理。

本发明实施例中，所述光流处理是通过视频中相邻帧之间的相关性找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间各个点的运动趋势的方法，并且其中运动趋势包括视频中相邻两帧图像中每个像素的运动速度和运动方向。

详细的，本发明实施例中，所述将预先获取到的目标人物的待测面部表情视频进行光流处理，得到视频处理数据，包括：

获取所述待测面部表情视频中每一帧图像的顺序，得到帧序列；

根据所述帧序列，利用光流近似算法在相邻帧之间进行像素运动估计，得到相邻帧之间的预测图像；

利用所述预测图像对所述待测面部表情视频进行补帧操作，得到视频处理数据。

本发明实施例中，所述光流近似算法是将所述待测面部表情视频中各个表情特征的连续运动进行编码，得到光流矢量的方法，其中各个光流矢量可以表示所述待测面部表情视频中图像数据的各点像素的运动趋势。其中，光流矢量的表达式如下：

式中，所述p及q分别为水平方向及垂直方向上的矢量，所述dy和dx表示待测面部表情视频在垂直和水平方向上的像素估计变化，所述dt为连续时间，所述T为矩阵转置符号。

进一步的，本发明实施例中，将所述光流矢量进行求导操作，得到光学应变，其中，所述光学应变可以表示待测面部表情视频的三维数据，且所述光学应变可以有效的表达待测面部表情视频中连续帧之间的可形变的微小移动量，从而得到相邻帧之间的预测图像。最后本发明实施例将所述待测面部表情视频的相邻帧之间通过所述预测图象进行补帧操作，得到所述视频处理数据。

其中，本发明实施例对所述待测面部表情视频进行光流处理，得到视频处理数据，保留了所述待测面部表情视频的帧与帧之间的流动不连续性，能够对后续的时序特征提取过程有所帮助。

S2、将所述视频处理数据进行空间特征提取，得到空间向量集合。

微观表情的表现形式中除了各个脸部位置的特征出现，也包括不同脸部位置的各特征之间相对运动关系，通常定义同一帧图像中各特征之间相对运动关系为所述微观表情的空间特征。

详细的，本发明实施例中，所述将所述视频处理数据进行空间特征提取，得到空间向量集合，包括：

利用预训练的卷积深度信念网络的输入层中的特征提取网络对所述视频处理数据进行微观表情的特征提取，得到特征数据；

利用所述卷积深度信念网络的卷积层将所述特征数据进行一维卷积操作，得到一维向量数据；

利用所述卷积深度信念网络的池化层对所述一维向量数据进行最大池化操作，得到所述特征向量集合；

利用所述卷积深度信念网络的全连接层对所述空间特征集合进行特征连接处理，得到包含各个特征向量之间的空间关系的空间向量集合。

所述卷积深度信念网络(Convolutional Deep Belief Networks,CDBN)是利用通过卷积核与深度信念网络(Deep Belief Nets，DBN)组建的网络，其中，所述深度信念网络是一种能够提取整个视频处理数据中的各个微观表情特征的神经网络。

本发明实施例利用所述CDBN能够将所述待测面部表情视频中目标人物的眉毛、眼睛、嘴巴等部位的状态进行卷积提取，再对同一时刻出现的各个特征进行组合记录，得到所述空间向量集合，如{【帧数t1：双眉呈提升状、眼睛呈睁大状、下巴向下轻微张开】，【帧数t3：双眉呈皱紧状、双眉呈下压状、嘴角呈向下拉状】，……}。

本发明实施例获取一个预构建的深度信念网络，当通过所述深度信念网络获取各个微观表情特征时，也可以将各个微观表情特征之间的空间关系进行记录，其中，本发明实施例在所述卷积深度信念网络的卷积层后构建所述池化层，通过预设的1*2的最大池化操作，可以减少深度信念网络的网络参数，增加卷积效率。

S3、将所述视频处理数据进行时序特征提取，得到时序向量集合。

本发明实施例中，所述微观表情除了具有空间特征外，还包括当前帧图像中的微观表情特征与下一帧图像中微观表情之间的变动关系，并定义相邻帧之间的微观表情之间的变动关系为所述时序特征。

详细的，本发明实施例中，所述将所述视频处理数据进行时序特征提取，得到时序向量集合，包括：

利用预训练的时间卷积神经网络的输入层中的特征提取网络对所述视频处理数据进行相邻帧之间地时序特征提取，得到时序特征集合；

利用所述时间卷积神经网络的全连接层对所述时序特征集合中各个时序特征进行特征连接处理，得到包含各个时序特征之间相对运动关系的时序向量集合。

与传统卷积神经网络不同，本发明实施例中，所述时间卷积神经网络(TemporalConvolutional Network，TCN)中的隐藏层之间为单向结构，导致上下层之间的数据存在一定的依赖性。因此，本发明实施例利用所述时间卷积神经网络对所述视频处理数据进行微表情的特征提取，可以得到具有明显的时间特性的所述时序向量集合。

本发明实施例利用所述TCN对所述待测面部表情视频中目标人物的脸部肌肉纹理变化、眉毛角度变化、眼睛睁开变化、嘴角变化等动作特征进行提取，得到时序向量集合，如：{【帧数t1～t2：额肌充分收缩、上睑提肌收缩、眼睛睁大、双眉向上提、嘴巴微微张开等】、【帧数t3～t4：皱眉肌收缩、眼轮匝肌收缩、提上唇肌和上唇鼻翼提肌收缩、颏肌收缩等】、……}

本发明实施例需要将所述空间向量集合与所述时序向量集合进一步地进行结合，因此，本发明实施例通过并行计算，同时对视频处理数据进行S2及S3的特征提取操作。其中，所述并行运算处理操作是指不同网络同时处理同一输入数据、独立生成输出结果的操作方法。

S4、利用预构建的点开关玻尔兹曼机将所述空间向量集合及所述时序向量集合进行融合计算，得到时空特征向量集合。

玻尔兹曼机(Boltzmann机，BM)是第一个受统计力学启发的多层学习机，是一类随机神经网络，属于反馈神经网络类型。所述玻尔兹曼机建立在离散Hopfield网基础上的，具有学习能力，并能够寻求最优解。

本发明实施例中，所述点开关玻尔兹曼机是在玻尔兹曼机上增添开关单元而构建的，通过所述点开关单元，可以利用预设标注对BM进行监督训练，得到更加准确的权重参数，从而更加有效的将同一微观表情特征的空间向量及时间向量对应结合。

本发明实施例定义空间向量集合中的空间向量为

定义第二特征集合中的时序向量为

并定义融合计算生成的时空向量为

即：

进一步地，所述点开关玻尔兹曼机的隐含层中包括能量函数：

满足：

上式中，v为特征层(visible)向量，h为隐含层(hidden)向量，

为开关单元向量，k表示所述隐含层的神经数，D为所述输入层的神经数，w^r，b^r，c^r为隐含层的第r部分的权重和偏置，r∈{1，2},r为1时，表示正相关，r为2时，表示负相关，d为类标的偏置，U∈R^L*K任务相关的特征权重矩阵，Z为归一化常数。

本发明实施例中，所述能量函数可以描述整个隐含层中神经网络状态的一种函数。特征向量概率分布越集中，所述能量函数值越小。反之，特征向量概率分布越趋于均匀分布，则所述能量函数值越大。其中，所述能量函数的最小值时，所述点开关玻尔兹曼机中的神经网络达到最稳定状态。

能量函数E(v，h)由联合分布p求解，p的计算公式为：

本发明实施例通过能量函数最小值状态下的所述点开关玻尔兹曼机将所述空间向量集合与所述时序向量集合进行融合，得到包含时空特征向量的时空特征向量集合，其中，时空特征向量F为：

其中，w为权置，b为偏置，z为任务开关向量。

本发明实施例根据上述能量函数将所述空间向量集合{【帧数t1：双眉呈提升状、眼睛呈睁大状、下巴向下轻微张开】，【帧数t3：双眉呈皱紧状、双眉呈下压状、嘴角呈向下拉状】，……}与所述时序特征集合{【帧数t1～t2：额肌充分收缩、上睑提肌收缩、眼睛睁大、双眉向上提、嘴巴微微张开等】、【帧数t3～t4：皱眉肌收缩、眼轮匝肌收缩、提上唇肌和上唇鼻翼提肌收缩、颏肌收缩等】、……}进行融合。

进一步的，本发明实施例中，所述利用预构建的点开关玻尔兹曼机将所述空间向量集合及所述时序向量集合进行融合计算之前，该方法还包括：

构建包括输入层、隐含层和输出层的玻尔兹曼机，其中，所述输入层分别连接至所述卷积深度信念网络的全连接层与所述时间卷积神经网络的全连接层；

向所述玻尔兹曼机添加开关单元，得到点开关玻尔兹曼机。

其中，所述输入层分别连接至所述卷积深度信念网络的全连接层与所述时间卷积神经网络的全连接层，用于分别接收所述空间向量集合与所述时序向量集合。

S5、对所述时空特征向量集合进行微观表情类别分析，得到所述待测面部表情视频中所述目标人物的微表情识别结果。

详细的，本发明实施例中，所述对所述时空特征向量集合进行微观表情类别分析，得到所述待测面部表情视频中所述目标人物的微表情识别结果，包括：

获取预构建的softmax神经网络，并对所述softmax神经网络进行迭代训练；

利用训练好的softmax神经网络将所述时空特征向量集合中同一个时刻的各个时空特征进行排列组合，得到组合特征，并计算所述组合特征对于各个预设类别的识别概率，并从各个识别概率中，获取最大识别概率对应的预设类别种类；

利用所述预设类别种类查询预构建的心理学面部特征表，得到所述目标人物此时的微表情识别结果。

本发明实施例中，所述softmax为一种分类器，可以将所述时空特征向量集合中的时空特征向量集合进行分类识别，得到时空向量属于不同预设类别的概率，并通过概率排序，得到概率最大的预设类别，并将概率最大的预设类别定义为所述待测面部表情视频对应的识别结果。

本发明实施例根据预构建的心理学面部特征表，将{【t1：双眉呈提升状、眼睛呈睁大状、下巴向下轻微张开】，【t3：双眉呈皱紧状、双眉呈下压状、嘴角呈向下拉状】，……} 的空间特征与{【t1～t2：额肌充分收缩、上睑提肌收缩、眼睛睁大、双眉向上提、嘴巴微微张开等】、【t3～t4：皱眉肌收缩、眼轮匝肌收缩、提上唇肌和上唇鼻翼提肌收缩、颏肌收缩等】、……}的时序特征进行查询分析，可知在所述待测面部表情视频的t1帧与t2帧之间所述目标人物的微观表情为惊讶，而在所述待测面部表情视频的t3帧与t4帧之间，所述目标人物的微观表情表现为厌恶。其中，所述心理学面部特征表为心理学实验研究表明的情绪与面部特征的研究结果，包括各类表情浮动所代表的含义解析。

进一步的，本发明实施例中，所述对所述softmax神经网络进行训练，包括：

步骤I、获取预构建的特征样本训练集，利用所述softmax神经网络对所述特征样本训练集进行识别，得到预测结果集；

步骤II、判断所述预测结果集与预构建的样本标签集是否相同，得到所述softmax神经网络的准确率；

步骤III、判定所述准确率的收敛性，当所述准确率未收敛，修改所述softmax神经网络中的函数参数，并返回上述步骤I；

步骤IV、当所述准确值收敛时，退出所述softmax神经网络的训练。

具体的，所述特征样本训练集包括一些具有辨识度的特征向量，如一些眼角、嘴角特征等。

本发明实施例中，由于所述softmax神经网络中的损失函数可以计算所述预测结果集与所述样本标签集之间的差距，随着已训练的特征样本训练集逐渐增多，所述softmax神经网络中的损失函数的最小损失值也逐渐减小，通过所述最小损失值可以自动化修改所述 softmax神经网络中的参数变量，随着训练过程的进行，所述softmax神经网络生成结果的准确率逐渐提高。

本发明实施例对每次训练过程中得到的准确率进行统计，得到准确率统计曲线，通过求导计算，判断所述准确率统计曲线的曲率，得到求导值，本发明实施例中，当所述求导值小于预设的0.15时，判定所述准确率达到收敛状态。利用准确率达到收敛状态的softmax 神经网络对所述时空特征向量集进行识别分析，得到所述待测面部表情视频中各个时间段对应的所述目标人物的微表情识别结果。

本发明实施例对待测面部表情视频进行光流处理，得到视频处理数据。其中，利用光流处理可以增加微观表情视频的时间特性，方便后续时序特征提取过程。进一步的，分别提取视频处理数据的空间特征与时序特征，并通过预构建的点开关玻尔兹曼机对所述空间特征与所述时序特征进行融合，得到时空特征向量。其中，所述时空特征向量中包含各个面部特征的空间相对位置，也包括各个面部特征的运动趋势。最后本发明实施例对所述时空特征向量进行微观表情分类分析，可以得到所述待测面部表情视频中各个时间段对应的所述目标人物的面部识别结果。因此，本发明提出的一种微观表情识别方法可以同时对微观表情的空间特征与时序特征进行分类分析，增加微观表情识别的准确性。

如图2所示，是本发明微观表情识别装置的功能模块图。

本发明所述微观表情识别装置100可以安装于电子设备中。根据实现的功能，所述微观表情识别装置可以包括光流处理模块101、特征获取模块102、特征融合模块103以及微观表情识别模块104。本发所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。

在本实施例中，关于各模块/单元的功能如下：

所述光流处理模块101，用于将预先获取到的目标人物的待测面部表情视频进行光流处理，得到视频处理数据。

本发明实施例中，所述待测面部表情视频是一种包含目标人物人脸表情浮动的短视频。

在传统微观表情识别目标人物脸上的表情时，会从所述待测面部表情视频的每一帧或隔几帧的图像中获取目标人物的面部特征进行分析，得到目标人物的微表情，然而无法分析连续表情变化过程。因此，本发明实施例对所述目标人物的待测面部表情视频进行光流处理。

本发明实施例中，所述光流处理是通过视频中相邻帧之间的相关性找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间各个点的运动趋势的方法，并且其中运动趋势包括视频中相邻两帧图像中每个像素的运动速度和运动方向。

详细的，本发明实施例中，所述光流处理模块101在将预先获取到的目标人物的待测面部表情视频进行光流处理，得到视频处理数据时，具体用于：

获取所述待测面部表情视频中每一帧图像的顺序，得到帧序列；

根据所述帧序列，利用光流近似算法在相邻帧之间进行像素运动估计，得到相邻帧之间的预测图像；

利用所述预测图像对所述待测面部表情视频进行补帧操作，得到视频处理数据。

本发明实施例中，所述光流近似算法是将所述待测面部表情视频中各个表情特征的连续运动进行编码，得到光流矢量的方法，其中各个光流矢量可以表示所述待测面部表情视频中图像数据的各点像素的运动趋势。其中，光流矢量的表达式如下：

式中，所述p及q分别为水平方向及垂直方向上的矢量，所述dy和dx表示待测面部表情视频在垂直和水平方向上的像素估计变化，所述dt为连续时间，所述T为矩阵转置符号。

进一步的，本发明实施例中，将所述光流矢量进行求导操作，得到光学应变，其中，所述光学应变可以表示待测面部表情视频的三维数据，且所述光学应变可以有效的表达待测面部表情视频中连续帧之间的可形变的微小移动量，从而得到相邻帧之间的预测图像。最后本发明实施例将所述待测面部表情视频的相邻帧之间通过所述预测图象进行补帧操作，得到所述视频处理数据。

其中，本发明实施例对所述待测面部表情视频进行光流处理，得到视频处理数据，保留了所述待测面部表情视频的帧与帧之间的流动不连续性，能够对后续的时序特征提取过程有所帮助。

所述特征获取模块102，用于根据所述用户标签，构建所述用户的用户画像，并根据所述用户画像，识别所述用户的用户类型。

微观表情的表现形式中除了各个脸部位置的特征出现，也包括不同脸部位置的各特征之间相对运动关系，通常定义同一帧图像中各特征之间相对运动关系为所述微观表情的空间特征。

详细的，本发明实施例中，所述特征获取模块102在将所述视频处理数据进行空间特征提取，得到空间向量集合时，具体用于：

利用预训练的卷积深度信念网络的输入层中的特征提取网络对所述视频处理数据进行微观表情的特征提取，得到特征数据；

利用所述卷积深度信念网络的卷积层将所述特征数据进行一维卷积操作，得到一维向量数据；

利用所述卷积深度信念网络的池化层对所述一维向量数据进行最大池化操作，得到所述特征向量集合；

利用所述卷积深度信念网络的全连接层对所述空间特征集合进行特征连接处理，得到包含各个特征向量之间的空间关系的空间向量集合。

所述卷积深度信念网络(Convolutional Deep Belief Networks,CDBN)是利用通过卷积核与深度信念网络(Deep Belief Nets，DBN)组建的网络，其中，所述深度信念网络是一种能够提取整个视频处理数据中的各个微观表情特征的神经网络。

本发明实施例利用所述CDBN能够将所述待测面部表情视频中目标人物的眉毛、眼睛、嘴巴等部位的状态进行卷积提取，再对同一时刻出现的各个特征进行组合记录，得到所述空间向量集合，如{【帧数t1：双眉呈提升状、眼睛呈睁大状、下巴向下轻微张开】，【帧数t3：双眉呈皱紧状、双眉呈下压状、嘴角呈向下拉状】，……}。

本发明实施例获取一个预构建的深度信念网络，当通过所述深度信念网络获取各个微观表情特征时，也可以将各个微观表情特征之间的空间关系进行记录，其中，本发明实施例在所述卷积深度信念网络的卷积层后构建所述池化层，通过预设的1*2的最大池化操作，可以减少深度信念网络的网络参数，增加卷积效率。

本发明实施例中，所述微观表情除了具有空间特征外，还包括当前帧图像中的微观表情特征与下一帧图像中微观表情之间的变动关系，并定义相邻帧之间的微观表情之间的变动关系为所述时序特征。

详细的，本发明实施例中，所述特征获取模块102在将所述视频处理数据进行时序特征提取，得到时序向量集合时，具体用于：

利用预训练的时间卷积神经网络的输入层中的特征提取网络对所述视频处理数据进行相邻帧之间地时序特征提取，得到时序特征集合；

利用所述时间卷积神经网络的全连接层对所述时序特征集合中各个时序特征进行特征连接处理，得到包含各个时序特征之间相对运动关系的时序向量集合。

与传统卷积神经网络不同，本发明实施例中，所述时间卷积神经网络(TemporalConvolutional Network，TCN)中的隐藏层之间为单向结构，导致上下层之间的数据存在一定的依赖性。因此，本发明实施例利用所述时间卷积神经网络对所述视频处理数据进行微表情的特征提取，可以得到具有明显的时间特性的所述时序向量集合。

本发明实施例利用所述TCN对所述待测面部表情视频中目标人物的脸部肌肉纹理变化、眉毛角度变化、眼睛睁开变化、嘴角变化等动作特征进行提取，得到时序向量集合，如：{【帧数t1～t2：额肌充分收缩、上睑提肌收缩、眼睛睁大、双眉向上提、嘴巴微微张开等】、【帧数t3～t4：皱眉肌收缩、眼轮匝肌收缩、提上唇肌和上唇鼻翼提肌收缩、颏肌收缩等】、……}

本发明实施例需要将所述空间向量集合与所述时序向量集合进一步地进行结合，因此，本发明实施例通过并行计算，同时对视频处理数据进行S2及S3的特征提取操作。其中，所述并行运算处理操作是指不同网络同时处理同一输入数据、独立生成输出结果的操作方法。

所述特征融合模块103，用于利用预构建的点开关玻尔兹曼机将所述空间向量集合及所述时序向量集合进行融合计算，得到时空特征向量集合。

玻尔兹曼机(Boltzmann机，BM)是第一个受统计力学启发的多层学习机，是一类随机神经网络，属于反馈神经网络类型。所述玻尔兹曼机建立在离散Hopfield网基础上的，具有学习能力，并能够寻求最优解。

本发明实施例中，所述点开关玻尔兹曼机是在玻尔兹曼机上增添开关单元而构建的，通过所述点开关单元，可以利用预设标注对BM进行监督训练，得到更加准确的权重参数，从而更加有效的将同一微观表情特征的空间向量及时间向量对应结合。

本发明实施例定义空间向量集合中的空间向量为

定义第二特征集合中的时序向量为

并定义融合计算生成的时空向量为

即：

进一步地，所述点开关玻尔兹曼机的隐含层中包括能量函数：

满足：

上式中，v为特征层(visible)向量，h为隐含层(hidden)向量，

为开关单元向量，k表示所述隐含层的神经数，D为所述输入层的神经数，w^r，b^r，c^r为隐含层的第r部分的权重和偏置，r∈{1，2},r为1时，表示正相关，r为2时，表示负相关，d为类标的偏置，U∈R^L*K任务相关的特征权重矩阵，Z为归一化常数。

本发明实施例中，所述能量函数可以描述整个隐含层中神经网络状态的一种函数。特征向量概率分布越集中，所述能量函数值越小。反之，特征向量概率分布越趋于均匀分布，则所述能量函数值越大。其中，所述能量函数的最小值时，所述点开关玻尔兹曼机中的神经网络达到最稳定状态。

能量函数E(v，h)由联合分布p求解，p的计算公式为：

本发明实施例通过能量函数最小值状态下的所述点开关玻尔兹曼机将所述空间向量集合与所述时序向量集合进行融合，得到包含时空特征向量的时空特征向量集合，其中，时空特征向量F为：

其中，w为权置，b为偏置，z为任务开关向量。

本发明实施例根据上述能量函数将所述空间向量集合{【帧数t1：双眉呈提升状、眼睛呈睁大状、下巴向下轻微张开】，【帧数t3：双眉呈皱紧状、双眉呈下压状、嘴角呈向下拉状】，……}与所述时序特征集合{【帧数t1～t2：额肌充分收缩、上睑提肌收缩、眼睛睁大、双眉向上提、嘴巴微微张开等】、【帧数t3～t4：皱眉肌收缩、眼轮匝肌收缩、提上唇肌和上唇鼻翼提肌收缩、颏肌收缩等】、……}进行融合。

进一步的，本发明实施例中，所述特征融合模块103在利用预构建的点开关玻尔兹曼机将所述空间向量集合及所述时序向量集合进行融合计算之前，还用于：

构建包括输入层、隐含层和输出层的玻尔兹曼机，其中，所述输入层分别连接至所述卷积深度信念网络的全连接层与所述时间卷积神经网络的全连接层；

向所述玻尔兹曼机添加开关单元，得到点开关玻尔兹曼机。

其中，所述输入层分别连接至所述卷积深度信念网络的全连接层与所述时间卷积神经网络的全连接层，用于分别接收所述空间向量集合与所述时序向量集合。

所述微观表情识别模块104，用于对所述时空特征向量集合进行微观表情类别分析，得到所述待测面部表情视频中所述目标人物的微表情识别结果。

详细的，本发明实施例中，所述微观表情识别模块104在对所述时空特征向量集合进行微观表情类别分析，得到所述待测面部表情视频中所述目标人物的微表情识别结果时，具体用于：

获取预构建的softmax神经网络，并对所述softmax神经网络进行迭代训练；

利用训练好的softmax神经网络将所述时空特征向量集合中同一个时刻的各个时空特征进行排列组合，得到组合特征，并计算所述组合特征对于各个预设类别的识别概率，并从各个识别概率中，获取最大识别概率对应的预设类别种类；

利用所述预设类别种类查询预构建的心理学面部特征表，得到所述目标人物此时的微表情识别结果。

本发明实施例中，所述softmax为一种分类器，可以将所述时空特征向量集合中的时空特征向量集合进行分类识别，得到时空向量属于不同预设类别的概率，并通过概率排序，得到概率最大的预设类别，并将概率最大的预设类别定义为所述待测面部表情视频对应的识别结果。

本发明实施例根据预构建的心理学面部特征表，将{【t1：双眉呈提升状、眼睛呈睁大状、下巴向下轻微张开】，【t3：双眉呈皱紧状、双眉呈下压状、嘴角呈向下拉状】，……} 的空间特征与{【t1～t2：额肌充分收缩、上睑提肌收缩、眼睛睁大、双眉向上提、嘴巴微微张开等】、【t3～t4：皱眉肌收缩、眼轮匝肌收缩、提上唇肌和上唇鼻翼提肌收缩、颏肌收缩等】、……}的时序特征进行查询分析，可知在所述待测面部表情视频的t1帧与t2帧之间所述目标人物的微观表情为惊讶，而在所述待测面部表情视频的t3帧与t4帧之间，所述目标人物的微观表情表现为厌恶。其中，所述心理学面部特征表为心理学实验研究表明的情绪与面部特征的研究结果，包括各类表情浮动所代表的含义解析。

进一步的，本发明实施例中，所述微观表情识别模块104在对所述softmax神经网络进行训练时，具体用于：

功能I、获取预构建的特征样本训练集，利用所述softmax神经网络对所述特征样本训练集进行识别，得到预测结果集；

功能II、判断所述预测结果集与预构建的样本标签集是否相同，得到所述softmax神经网络的准确率；

功能III、判定所述准确率的收敛性，当所述准确率未收敛，修改所述softmax神经网络中的函数参数，并返回上述功能I；

功能IV、当所述准确值收敛时，退出所述softmax神经网络的训练。

具体的，所述特征样本训练集包括一些具有辨识度的特征向量，如一些眼角、嘴角特征等。

本发明实施例中，由于所述softmax神经网络中的损失函数可以计算所述预测结果集与所述样本标签集之间的差距，随着已训练的特征样本训练集逐渐增多，所述softmax神经网络中的损失函数的最小损失值也逐渐减小，通过所述最小损失值可以自动化修改所述 softmax神经网络中的参数变量，随着训练过程的进行，所述softmax神经网络生成结果的准确率逐渐提高。

本发明实施例对每次训练过程中得到的准确率进行统计，得到准确率统计曲线，通过求导计算，判断所述准确率统计曲线的曲率，得到求导值，本发明实施例中，当所述求导值小于预设的0.15时，判定所述准确率达到收敛状态。利用准确率达到收敛状态的softmax 神经网络对所述时空特征向量集进行识别分析，得到所述待测面部表情视频中各个时间段对应的所述目标人物的微表情识别结果。

本发明实施例对待测面部表情视频进行光流处理，得到视频处理数据。其中，利用光流处理可以增加微观表情视频的时间特性，方便后续时序特征提取过程。进一步的，分别提取视频处理数据的空间特征与时序特征，并通过预构建的点开关玻尔兹曼机对所述空间特征与所述时序特征进行融合，得到时空特征向量。其中，所述时空特征向量中包含各个面部特征的空间相对位置，也包括各个面部特征的运动趋势。最后本发明实施例对所述时空特征向量进行微观表情分类分析，可以得到所述待测面部表情视频中各个时间段对应的所述目标人物的面部识别结果。因此，本发明提出的一种微观表情识别方法可以同时对微观表情的空间特征与时序特征进行分类分析，增加微观表情识别的准确性。

如图3所示，是本发明实现微观表情识别方法的电子设备的结构示意图。

所述电子设备可以包括处理器10、存储器11、通信总线12以及通信接口13，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如微观表情识别程序。

其中，所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(ControlUnit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11 内的程序或者模块(例如执行微观表情识别程序等)，以及调用存储在所述存储器11内的数据，以执行电子设备的各种功能和处理数据。

所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备的内部存储单元，例如该电子设备的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备的外部存储设备，例如电子设备上配备的插接式移动硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(Secure Digital，SD)卡、闪存卡(Flash Card)等。进一步地，所述存储器11还可以既包括电子设备的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备的应用软件及各类数据，例如微观表情识别程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。

所述通信总线12可以是外设部件互连标准(peripheral componentinterconnect，简称 PCI)总线或扩展工业标准结构(extended industry standardarchitecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。

所述通信接口13用于上述电子设备与其他设备之间的通信，包括网络接口和用户接口。可选地，所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等)，通常用于在该电子设备与其他电子设备之间建立通信连接。所述用户接口可以是显示器 (Display)、输入单元(比如键盘(Keyboard))，可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。

图3仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图3示出的结构并不构成对所述电子设备的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。

例如，尽管未示出，所述电子设备还可以包括给各个部件供电的电源(比如电池)，优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。

应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。

所述电子设备中的所述存储器11存储的微观表情识别程序是多个计算机程序的组合，在所述处理器10中运行时，可以实现：

将预先获取到的目标人物的待测面部表情视频进行光流处理，得到视频处理数据；

将所述视频处理数据进行空间特征提取，得到空间向量集合；

将所述视频处理数据进行时序特征提取，得到时序向量集合；

利用预构建的点开关玻尔兹曼机将所述空间向量集合及所述时序向量集合进行融合计算，得到时空特征向量集合；

对所述时空特征向量集合进行微观表情类别分析，得到所述待测面部表情视频中所述目标人物的微表情识别结果。

具体地，所述处理器10对上述计算机程序的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。

进一步地，所述电子设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个非易失性计算机可读取存储介质中。所述计算机可读存储介质可以是易失性的，也可以是非易失性的。例如，所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)。

本发明还提供一种计算机可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序在被电子设备的处理器所执行时，可以实现：

将预先获取到的目标人物的待测面部表情视频进行光流处理，得到视频处理数据；

将所述视频处理数据进行空间特征提取，得到空间向量集合；

将所述视频处理数据进行时序特征提取，得到时序向量集合；

利用预构建的点开关玻尔兹曼机将所述空间向量集合及所述时序向量集合进行融合计算，得到时空特征向量集合；

对所述时空特征向量集合进行微观表情类别分析，得到所述待测面部表情视频中所述目标人物的微表情识别结果。

在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。

因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。

本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。

最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种微观表情识别方法，其特征在于，所述方法包括：

将预先获取到的目标人物的待测面部表情视频进行光流处理，得到视频处理数据；

将所述视频处理数据进行空间特征提取，得到空间向量集合；

将所述视频处理数据进行时序特征提取，得到时序向量集合；

利用预构建的点开关玻尔兹曼机将所述空间向量集合及所述时序向量集合进行融合计算，得到时空特征向量集合；

对所述时空特征向量集合进行微观表情类别分析，得到所述待测面部表情视频中所述目标人物的微表情识别结果。

2.如权利要求1所述的微观表情识别方法，其特征在于，所述将所述视频处理数据进行空间特征提取，得到空间向量集合，包括：

利用预训练的卷积深度信念网络的输入层中的特征提取网络对所述视频处理数据进行微观表情的特征提取，得到特征数据；

利用所述卷积深度信念网络的卷积层将所述特征数据进行一维卷积操作，得到一维向量数据；

利用所述卷积深度信念网络的池化层对所述一维向量数据进行最大池化操作，得到所述特征向量集合；

利用所述卷积深度信念网络的全连接层对所述空间特征集合进行特征连接处理，得到包含各个特征向量之间的空间关系的空间向量集合。

3.如权利要求2所述的微观表情识别方法，其特征在于，所述利用预构建的点开关玻尔兹曼机将所述空间向量集合及所述时序向量集合进行融合计算之前，该方法还包括：

构建包括输入层、隐含层和输出层的玻尔兹曼机，其中，所述输入层分别连接至所述卷积深度信念网络的全连接层与所述时间卷积神经网络的全连接层；

向所述玻尔兹曼机添加开关单元，得到点开关玻尔兹曼机。

4.如权利要求1所述的微观表情识别方法，其特征在于，所述将所述视频处理数据进行时序特征提取，得到时序向量，包括：

利用预训练的时间卷积神经网络的输入层中的特征提取网络对所述视频处理数据进行相邻帧之间地时序特征提取，得到时序特征集合；

利用所述时间卷积神经网络的全连接层对所述变动集合中各个变动特征进行特征连接处理，得到包含各个时序特征对应的时序向量的时序向量集合。

5.如权利要求1所述的微观表情识别方法，其特征在于，所述将预先获取到的目标人物的待测面部表情视频进行光流处理，得到视频处理数据，包括：

获取所述待测面部表情视频中每一帧图像的顺序，得到帧序列；

根据所述帧序列，利用光流近似算法在相邻帧之间进行像素运动估计，得到相邻帧之间的预测图像；

利用所述预测图像对所述待测面部表情视频进行补帧操作，得到视频处理数据。

6.如权利要求1所述的微观表情识别方法，其特征在于，所述对所述时空特征向量集合进行微观表情类别分析，得到所述待测面部表情视频中所述目标人物的微表情识别结果，包括：

获取预构建的softmax神经网络，并对所述softmax神经网络进行迭代训练；

利用训练好的softmax神经网络将所述时空特征向量集合中同一个时刻的各个时空特征进行排列组合，得到组合特征，并计算所述组合特征对于各个预设类别的识别概率，并从各个识别概率中，获取最大识别概率对应的预设类别种类；

利用所述预设类别种类查询预构建的心理学面部特征表，得到所述目标人物此时的微表情识别结果。

7.如权利要求6所述的微观表情识别方法，其特征在于，所述对所述softmax神经网络进行迭代训练，包括：

步骤I、获取预构建的特征样本训练集，利用所述softmax神经网络对所述特征样本训练集进行识别，得到预测结果集；

步骤II、判断所述预测结果集与预构建的样本标签集是否相同，得到所述softmax神经网络的准确率；

步骤III、判定所述准确率的收敛性，当所述准确率未收敛，修改所述softmax神经网络中的函数参数，并返回上述步骤I；

步骤IV、当所述准确值收敛时，退出所述softmax神经网络的训练。

8.一种微观表情识别装置，其特征在于，所述装置包括：

光流处理模块，用于将预先获取到的目标人物的待测面部表情视频进行光流处理，得到视频处理数据；

特征获取模块，用于将所述视频处理数据进行空间特征提取，得到空间向量集合，及将所述视频处理数据进行时序特征提取，得到时序向量集合；

特征融合模块，用于利用预构建的点开关玻尔兹曼机将所述空间向量集合及所述时序向量集合进行融合计算，得到时空特征向量集合；

微观表情识别模块，用于对所述时空特征向量集合进行微观表情类别分析，得到所述待测面部表情视频中所述目标人物的微表情识别结果。

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任意一项所述的微观表情识别方法。

10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的微观表情识别方法。

Images