CN107480622A - 微表情识别方法、装置及存储介质 - Google Patents

Abstract

本发明公开了一种微表情识别方法、装置及存储介质，所述方法包括：对待识别视频进行图像识别，获得所述待识别视频中的人脸部分，并按照预设区域对所述人脸部分进行划分；从所述待识别视频中提取各预设区域的表情特征信息；将所述表情特征信息与预设微表情模型进行对比，并根据对比结果确定所述待识别视频中的微表情。由于本发明采用的待识别视频是在自然状态下获取的，并且提取了人脸各预设区域的表情特征信息，对微表情的识别更加准确，能够较好地体现微表情的真实状况。

Description

微表情识别方法、装置及存储介质

技术领域

本发明涉及通信技术领域，尤其涉及一种微表情识别方法、装置及存储介质。

背景技术

人们通过做一些表情，把内心感受表达给他人看，在这些不同表情之间，或是某个表情里，脸部会通过微表情“泄露”出其它信息。微表情一般仅维持1/25～1/5秒，虽然一个下意识的微表情可能只持续一瞬间，但很容易暴露人们的真实情绪。因此，微表情识别对于分析人们的真实心理状态有着非凡的作用。而随着计算机视觉、模式识别等学科的迅猛发展，微表情的自动识别技术已经相当成熟，相关的微表情自动识别研究在近几年有较大发展，国内外也建立了数个标准的微表情库。

然而，当前的微表情识别方法中所采用的微表情库均为表情抑制等非自然条件下建立，与人们实际生活场景有较大区别，无法较好地体现微表情的真实状况。因此，需要一个通过捕捉实际生活状态下人们的微表情而建立的微表情库，并通过该微表情库确定一种能较好地体现微表情真实状况的识别方法。

发明内容

本发明的主要目的在于提供一种微表情识别方法、装置及存储介质，旨在解决现有技术中不能较好地体现微表情的真实状况的技术问题。

为实现上述目的，本发明提供一种微表情识别方法，所述方法包括以下步骤：

对待识别视频进行图像识别，获得所述待识别视频中的人脸部分，并按照预设区域对所述人脸部分进行划分；

从所述待识别视频中提取各预设区域的表情特征信息；

将所述表情特征信息与预设微表情模型进行对比，并根据对比结果确定所述待识别视频中的微表情。

优选地，所述对待识别视频进行图像识别，获得所述待识别视频中的人脸，并按照预设区域对所述人脸进行划分的步骤之前，所述方法还包括：

提取所述待识别视频的环境特征信息；

相应地，所述将所述表情特征信息与预设微表情模型进行对比，具体包括：

将所述表情特征信息和所述环境特征信息同时与所述预设微表情模型进行对比。

优选地，所述获得所述待识别视频中的人脸部分的步骤，具体包括：

对所述待识别视频进行裁剪，保留所述待识别视频中的人脸部分；

对所述人脸部分进行切段，剔除不包含微表情的视频片段。

优选地，所述在所述待识别视频中提取各预设区域的表情特征信息的步骤，具体包括：

对所述五官区域进行轮廓识别，获取所述五官区域的轮廓特征信息；

对所述鼻唇沟区域进行纹理分析，获取所述鼻唇沟区域的纹理特征信息；

获取所述眼睑区域的面积特征信息；

将所述轮廓特征信息、纹理特征信息、面积特征信息分别作为对应预设区域的表情特征信息。

优选地，所述获取待识别视频之前，所述方法还包括：

对样本视频进行表情识别，确定所述样本视频中的微表情；

对所述样本视频进行图像识别，获得所述样本视频中的人脸，并按照预设区域对所述样本视频中的人脸进行划分；

从所述样本视频中提取各预设区域的表情特征信息；

建立所述微表情和所述表情特征信息的映射关系，并存储所述映射关系得到微表情库；

建立微表情模型，并通过所述映射关系训练所述微表情模型，形成预设微表情模型。

优选地，所述对样本视频进行表情识别，确定所述样本视频中的微表情的步骤之后，所述方法还包括：

提取所述样本视频中的环境特征信息；

相应地，所述建立所述微表情和所述表情特征信息的映射关系，具体包括：

建立所述微表情和所述表情特征信息、所述环境特征信息的映射关系。

优选地，所述对所述样本视频进行表情识别的步骤之前，所述方法还包括：

按照所述样本视频中的人物类型对所述样本视频进行分类，所述人物类型包括各预设年龄段、性别、身份类型中的至少一项；

相应地，所述存储所述映射关系得到微表情库，还包括：

按所述人物类型存储所述映射关系得到各类型微表情库。

此外，为实现上述目的，本发明还提供一种微表情识别装置，其特征在于，所述微表情识别装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的微表情识别程序，所述微表情识别程序被所述处理器执行时实现所述微表情识别方法的步骤。

此外，为实现上述目的，本发明还提供一种存储介质，所述存储介质上存储有微表情识别程序，所述微表情识别程序被处理器执行时实现所述微表情识别方法的步骤。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的微表情识别装置结构示意图；

图2为本发明微表情识别方法第一实施例的流程示意图；

图3为本发明微表情识别方法第二实施例的流程示意图；

图4为本发明微表情识别方法第三实施例的流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参照图1，图1为本发明实施例方案涉及的硬件运行环境的微表情识别装置结构示意图。

如图1所示，该微表情识别装置可以包括：处理器1001，例如CPU，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

所述微表情识别装置可为服务器或其他与网络连接的物理设备。

本领域技术人员可以理解，图1中示出的结构并不构成对微表情识别装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及微表情识别程序。

在图1所示的微表情识别装置中，网络接口1004主要用于连接其他服务器，与所述其他服务器进行数据通信；用户接口1003主要用于连接用户终端，与用户终端进行数据通信；所述微表情识别装置通过处理器1001调用存储器1005中存储的基于多站点数据的微表情识别程序，并执行以下操作：

对待识别视频进行图像识别，获得所述待识别视频中的人脸部分，并按照预设区域对所述人脸部分进行划分；

从所述待识别视频中提取各预设区域的表情特征信息；

将所述表情特征信息与预设微表情模型进行对比，并根据对比结果确定所述待识别视频中的微表情。

进一步地，处理器1001可以调用存储器1005中存储的微表情识别程序，还执行以下操作：

提取所述待识别视频的环境特征信息；

相应地，所述将所述表情特征信息与预设微表情模型进行对比，具体包括：

将所述表情特征信息和所述环境特征信息同时与所述预设微表情模型进行对比。

进一步地，处理器1001可以调用存储器1005中存储的微表情识别程序，还执行以下操作：

对所述待识别视频进行裁剪，保留所述待识别视频中的人脸部分；

对所述人脸部分进行切段，剔除不包含微表情的视频片段。

进一步地，处理器1001可以调用存储器1005中存储的微表情识别程序，还执行以下操作：

对所述五官区域进行轮廓识别，获取所述五官区域的轮廓特征信息；

对所述鼻唇沟区域进行纹理分析，获取所述鼻唇沟区域的纹理特征信息；

获取所述眼睑区域的面积特征信息；

将所述轮廓特征信息、纹理特征信息、面积特征信息分别作为对应预设区域的表情特征信息。

进一步地，处理器1001可以调用存储器1005中存储的微表情识别程序，还执行以下操作：

对样本视频进行表情识别，确定所述样本视频中的微表情；

对所述样本视频进行图像识别，获得所述样本视频中的人脸，并按照预设区域对所述样本视频中的人脸进行划分；

从所述样本视频中提取各预设区域的表情特征信息；

建立所述微表情和所述表情特征信息的映射关系，并存储所述映射关系得到微表情库；

建立微表情模型，并通过所述映射关系训练所述微表情模型，形成预设微表情模型。

进一步地，处理器1001可以调用存储器1005中存储的微表情识别程序，还执行以下操作：

提取所述样本视频中的环境特征信息；

相应地，所述建立所述微表情和所述表情特征信息的映射关系，具体包括：

建立所述微表情和所述表情特征信息、所述环境特征信息的映射关系。

进一步地，处理器1001可以调用存储器1005中存储的微表情识别程序，还执行以下操作：

按照所述样本视频中的人物类型对所述样本视频进行分类，所述人物类型包括各预设年龄段、性别、身份类型中的至少一项；

相应地，所述存储所述映射关系得到微表情库，还包括：

按所述人物类型存储所述映射关系得到各类型微表情库。

本实施例通过对待识别视频进行图像识别，获得所述待识别视频中的人脸，并按照预设区域对所述人脸进行划分；从所述待识别视频中提取各预设区域的表情特征信息；将所述表情特征信息与预设微表情模型进行对比，并根据对比结果确定所述待识别视频中的微表情。由于本实施采用的待识别视频是在自然状态下获取的，并且提取了人脸各预设区域的表情特征信息，对微表情的识别更加准确，能够较好地体现微表情的真实状况。

基于上述硬件结构，提出本发明微表情识别方法的实施例。

参照图2，图2为本发明微表情识别方法第一实施例的流程示意图。

在第一实施例中，所述微表情识别方法包括以下步骤：

步骤S10：对待识别视频进行图像识别，获得所述待识别视频中的人脸，并按照预设区域对所述人脸进行划分；

可以理解的是，一般微表情识别方法所采用的微表情库中，存储的都是表情受抑制等非自然状态下的微表情，无法完全体现微表情的真实状况，为了克服该缺点，本实施例采用的微表情识别方法中均采用自然状态下的微表情，并通过该自然状态下的微表情建立微表情库，再利用建立的微表情库识别待识别的微表情。较为明显的区别是，本实施例采用的微表情均在自然状态下采集，而不是在受抑制的非自然状态下采集。

为了识别微表情的真实状况，获取包含自然状态下微表情的待识别视频，提取所述待识别视频中的表情特征信息，并根据所述表情特征信息来识别所述待识别视频中的微表情。

应当理解的是，为了提取所述待识别视频中的表情特征信息，将提取人脸各个部位的特征信息，在本实施例中，预先选取人脸上能够展现微表情的预设区域作为所述各个部位，所述预设区域包括五官区域、鼻唇沟区域和眼睑区域，通过对所述待识别视频进行图像识别，将所述待识别视频分解为连续的单帧图像，获取所述待识别视频中的人脸部分，并按照预设区域对所述人脸部分进行划分，以方便后续提取各预设区域的表情特征信息。

为了更准确地描述所述待识别视频的微表情，在步骤S10之前，所述方法还包括：

提取所述待识别视频的环境特征信息；

需要说明的是，外界环境也会对微表情产生影响。即使是同样的表情特征信息，但由于环境不同，仍会产生不同的微表情。例如一个人在两种环境中均摆出微笑的动作，但在光线明亮、色彩柔和的环境中，该微笑代表的是恬静、舒畅的微表情，相反，在阴暗、狭窄、肮脏的环境中，该微笑代表的是苦笑和自嘲的微表情。因此，本实施例还通过提取环境特征信息，与表情特征信息结合共同确定待识别视频中的微表情，更为准确。

为了便捷地提取表情特征信息，在步骤S10之后，所述方法还包括：

依据所述人脸在所述待识别视频中的位置对所述待识别视频进行裁剪，保留人脸区域；

对裁剪后的待识别视频进行切段，剔除不包含微表情的视频片段。

可以理解的是，一般微表情持续时间为1/25～1/5秒，而预先获取的待识别视频时长一般较长，难以提取转瞬即逝的微表情，将所述待识别视频处理成1～2秒的时长能够不损坏微表情片段，同时也方便提取所述待识别视频中的表情特征信息。并且，所述待识别视频中除了人脸，还包含其它背景环境，在提取表情特征信息时，微表情在画面中不够突出，影响提取效果。因此，在提取环境特征信息之后，将对所述待识别视频进行包括裁剪和切段的预处理，使所述待识别视频转化为1～2秒的微表情视频。

首先，根据脸部长宽对所述待识别视频进行裁剪，例如以鼻子为中心，脸部长度的1.5倍为长，脸部宽度的1.5倍为宽，作出一个矩形区域，按照此矩形区域对所述待识别视频的图像进行裁剪，得到脸部视频。

其次，对所述脸部视频进行切段，剔除不包含微表情的视频片段，得到微表情视频。

至此，得到脸部的微表情视频，为后续提取表情特征信息提供了便利。

步骤S20：从所述待识别视频中提取各预设区域的表情特征信息；

可以理解的是，所述表情特征信息是指一组能反映微表情变化过程的数据信息，包括脸部的各预设区域的变化持续时间和变化程度。如眉毛的变化持续时间、眼睛轮廓的变化程度等。

需要说明的是，人的微表情由脸部各部位共同呈现，单个部位的变化不能完全说明人的微表情，如“高兴”时人不会单单嘴角上扬，而是嘴角翘起，面颊上抬起皱，眼睑收缩，眼睛尾部会形成“鱼尾纹”，这些部位共同变化产生“高兴”的微表情。而影响人的微表情的部位主要包括五官区域、鼻唇沟区域和眼睑区域，因此，在本实施例中选取上述部位作为预设区域。

在具体实现中，所述待识别视频经过了裁剪和切段，转化为微表情视频，在所述微表情视频中提取所述表情特征信息更为方便快捷。针对各预设区域，提取表情特征信息，即提取各预设区域的变化持续时间和各预设区域的变化程度。

步骤S30：将所述表情特征信息与预设微表情模型进行对比，并根据对比结果确定所述待识别视频中的微表情。

需要说明的是，在进行所述待识别视频中的微表情识别之前，建立一个预设微表情模型，在所述预设微表情模型中输入表情特征信息，所述预设微表情模型能够对输入的表情特征信息进行识别，得到与所述表情特征信息对应的微表情，并输出所述微表情，即实现了识别所述待识别视频中的微表情。

本实施例通过对待识别视频进行图像识别，获得所述待识别视频中的人脸，并按照预设区域对所述人脸进行划分；从所述待识别视频中提取各预设区域的表情特征信息；将所述表情特征信息与预设微表情模型进行对比，并根据对比结果确定所述待识别视频中的微表情。由于本实施采用的待识别视频是在自然状态下获取的，并且提取了人脸各预设区域的表情特征信息，对微表情的识别更加准确，能够较好地体现微表情的真实状况。

参照图3，图3为本发明微表情识别方法第二实施例的流程示意图，基于上述图2所示的实施例，提出本发明微表情识别方法的第二实施例。

在第二实施例中，所述步骤S20具体包括：

步骤S201：对所述五官区域进行轮廓识别，获取所述五官区域的轮廓特征信息；

可以理解的是，五官区域是影响人的微表情的主要区域，所述五官区域具有清晰的轮廓，通过对所述五官区域进行轮廓识别，能够获取五官区域的轮廓特征信息，所述轮廓特征信息包括五官区域轮廓的变化持续时间和轮廓的变化程度。所述轮廓识别的方法可以是边缘检测算法，本实施例对此不加以限制。

步骤S202：对所述鼻唇沟区域进行纹理分析，获取所述鼻唇沟区域的纹理特征信息；

可以理解的是，鼻唇沟区域是影响人的微表情的重要区域，所述鼻唇沟区域具有纹理，通过对所述鼻唇沟区域进行纹理分析，能够获取鼻唇沟区域的纹理特征信息，所述纹理特征信息包括鼻唇沟区域的变化持续时间和鼻唇沟的变化程度。所述纹理分析的方法可以是灰度变换，也可以是二值化，本实施例对此不加以限制。

步骤S203：获取所述眼睑区域的面积特征信息；

可以理解的是，眼睑区域同样是影响人的微表情的重要区域，所述眼睑区域具有一块近于平面的皮肤，通过计算每帧视频图像中所述眼睑区域的面积，能够获取眼睑区域的面积特征信息，所述面积特征信息包括眼睑区域的变化持续时间和眼睑面积的变化程度。

步骤S204：将所述轮廓特征信息、纹理特征信息、面积特征信息分别作为对应预设区域的表情特征信息。

应当理解的是，将所述轮廓特征信息作为所述五官区域的表情特征信息，将所述纹理特征信息作为所述鼻唇沟区域的表情特征信息，将所述面积特征信息作为所述眼睑区域的表情特征信息，并将所有预设区域的表情特征信息汇总为所述待识别视频对应的表情特征信息。

本实施例针对各预设区域不同的形态特点，采用不同的处理方法提取各预设区域的表情特征信息，能够较好地捕捉微表情的变化过程，为后续根据所述表情特征信息识别待识别视频中的微表情提供了基础。

参照图4，图4为本发明微表情识别方法第三实施例的流程示意图，基于上述图2所示的实施例，提出本发明微表情识别方法的第三实施例。

在第三实施例中，所述步骤S10之前，所述方法还包括：

步骤S001：按照样本视频中的人物类型对所述样本视频进行分类，所述人物类型包括各预设年龄段、性别、身份类型中的至少一项；

可以理解的是，本实施例提供一种微表情识别方法，应用于建立所述微表情库和建立所述预设微表情模型的场景。预先建立微表情和表情特征信息的映射关系，并保存所述映射关系得到微表情库，其中，每组映射关系中的所述微表情和表情特征信息根据同一个样本视频获取。所述样本视频均采用包含了自然状态下的微表情的视频，并通过其中包含的微表情来构建所述微表情和表情特征信息的映射关系。获取所述样本视频中唯一的微表情和微表情对应的唯一的表情特征信息，即可建立所述样本视频对应的微表情和表情特征信息的映射关系。

应当理解的是，依据人物类型对所述样本视频进行分类，通过对分类后的视频进行特征提取，最终能够得到各人物类型的微表情库。例如按照性别进行分类，首先按照所述样本视频中的人物性别将所述样本视频分为男性样本视频和女性样本视频，再分别对男性样本视频和女性样本视频进行特征提取，最终得到男性微表情库和女性微表情库。同理，根据各预设年龄段和人物身份对所述样本视频进行分类，可得到各预设年龄段的微表情库和各身份的微表情库。

步骤S002：对样本视频进行表情识别，确定所述样本视频中的微表情；

可以理解的是，为了建立微表情和表情特征信息的映射关系，将通过对所述样本视频进行表情识别以确定样本视频中的微表情。而在进行表情识别之前预先设置人类的六大基本表情作为表情类别，使识别出的表情均属于所述表情类别之内，该六大基本表情包括惊讶、厌恶、愤怒、恐惧、悲伤、愉悦，人类所有表情都可纳入这六大基本表情范围。当然，还可以将表情细分为更多种表情作为表情类别，本实施例对此不加以限制。

步骤S003：提取所述样本视频中的环境特征信息；

需要说明的是，环境会对微表情产生影响，通过环境特征信息和表情特征信息共同确定所述样本视频中的微表情，更为准确。

步骤S004：对所述样本视频进行图像识别，获得所述样本视频中的人脸部分，并按照预设区域对所述样本视频中的人脸部分进行划分；

步骤S005：从所述样本视频中提取各预设区域的表情特征信息；

可以理解的是，对所述样本视频进行图像识别，获得所述样本视频中的人脸部分，并按照预设区域对所述人脸部分进行划分的过程，与对待识别视频进行图像识别，获得所述待识别视频中的人脸部分，并按照预设区域对所述人脸部分进行划分的过程一致；从所述样本视频中提取各预设区域的表情特征信息的过程与从所述待识别视频中提取各预设区域的表情特征信息的过程一致。

步骤S006：建立所述微表情和所述表情特征信息、环境特征信息的映射关系，并存储所述映射关系得到微表情库；

应当理解的是，获取了所述样本视频中的微表情，及所述样本视频中的环境特征信息、表情特征信息后，由于所述微表情、环境特征信息和表情特征信息同属一个样本视频，可建立所述微表情和所述表情特征信息、环境特征信息的映射关系。存储所述映射关系得到微表情库，所述微表情库中包含了各人物类型的微表情和所述表情特征信息、环境特征信息的映射关系。

步骤S007：建立微表情模型，并通过所述映射关系训练所述微表情模型，形成预设微表情模型。

需要说明的是，微表情库中存储的映射关系等数据除了对人物类型有分类，每一类下存储的数据是散乱的，缺乏系统性，通过建立模型，对模型进行训练以构建数据脉络，能够完成对数据的整理。通过训练后的预设微表情模型能方便快捷地对所述待识别视频进行微表情识别。

应当理解的是，为了构建预设微表情模型，将预先建立微表情模型，并通过所述映射关系训练所述微表情模型，以提高所述微表情模型的识别准确率，所述映射关系为得到的已知关系，可用于训练所述微表情模型，当所述映射关系数量足够多，且利用所述映射关系对所述微表情模型的训练次数足够多时，所述微表情模型判别的准确率能达到一定标准，成为所述预设微表情模型。

可以理解的是，所述通过所述映射关系训练所述微表情模型，形成预设微表情模型的具体过程为：在所述微表情模型中输入一组映射关系，所述微表情模型根据所述映射关系中的环境特征信息和表情特征信息得出所述样本视频的识别结果，并将所述识别结果与所述映射关系中的微表情进行对比，得到对比结果；

当所述识别结果与所述微表情一致时，输出判别结果为真，并增大微表情模型连接权，训练下一组映射关系；

当所述识别结果与所述微表情不一致时，输出判别结果为假，减小微表情模型连接权，并通过所述映射关系再次训练所述微表情模型，直至所有映射关系的判别结果均为真。

需要说明的是，当所述映射关系数量不够多，且利用所述映射关系对所述微表情模型的训练次数不够多时，训练之后的识别准确率可能仍没有达到所述标准而无法得到预设微表情模型，只得到试用模型，因此，在初期使用所述试用模型对试用视频进行微表情识别时，通过试用视频对应的映射关系对试用模型进行二次训练，以实现试用模型的识别准确率能够达到标准。

通过试用模型识别试用视频中的微表情时，所述二次训练的步骤，具体包括：

对所述试用视频进行表情识别，确定所述试用视频中的微表情；

提取所述试用视频中的环境特征信息；

对所述试用视频进行图像识别，获得所述试用视频中的人脸部分，并按照预设区域对所述人脸部分进行划分；

从所述试用视频中提取各预设区域的表情特征信息；

将所述试用视频中的微表情、环境特征信息和表情特征信息，输入至所述试用模型，所述试用模型根据所述环境特征信息和表情特征信息得出所述试用视频的识别结果，并将所述识别结果与所述试用视频中的微表情进行对比，得到对比结果；

当所述识别结果与所述微表情一致时，输出判别结果为真，增大试用模型连接权，并建立所述试用视频中的环境特征信息、表情特征信息和微表情的对应关系，将所述对应关系保存于所述微表情库，从而扩充了微表情库；

当所述识别结果与所述微表情不一致时，输出判别结果为假，减小试用模型连接权，并通过所述对应关系训练所述试用模型，以增大所述试用模型的识别准确率，得到预设微表情模型。

本实施例通过获取包含自然状态下的微表情的样本视频，对所述样本视频进行人物类型分类，并提取所述样本视频的环境特征信息和表情特征信息，建立包含微表情和环境特征信息、表情特征信息的映射关系，建立各预设类型的包含映射关系的微表情库和微表情模型，具有针对性，并通过所述映射关系训练所述微表情模型，提高所述微表情模型的识别准确率，以实现通过所述预设微表情模型对微表情进行识别。

此外，本发明实施例还提出一种存储介质，所述存储介质上存储有基于多站点数据的登录验证程序，所述基于多站点数据的登录验证程序被处理器执行时实现如下操作：

对待识别视频进行图像识别，获得所述待识别视频中的人脸部分，并按照预设区域对所述人脸部分进行划分；

从所述待识别视频中提取各预设区域的表情特征信息；

将所述表情特征信息与预设微表情模型进行对比，并根据对比结果确定所述待识别视频中的微表情。

进一步地，所述基于多站点数据的登录验证程序被处理器执行时还实现如下操作：

提取所述待识别视频的环境特征信息；

相应地，所述将所述表情特征信息与预设微表情模型进行对比，具体包括：

将所述表情特征信息和所述环境特征信息同时与所述预设微表情模型进行对比。

进一步地，所述基于多站点数据的登录验证程序被处理器执行时还实现如下操作：

对所述待识别视频进行裁剪，保留所述待识别视频中的人脸部分；

对所述人脸部分进行切段，剔除不包含微表情的视频片段。

进一步地，所述基于多站点数据的登录验证程序被处理器执行时还实现如下操作：

对所述五官区域进行轮廓识别，获取所述五官区域的轮廓特征信息；

对所述鼻唇沟区域进行纹理分析，获取所述鼻唇沟区域的纹理特征信息；

获取所述眼睑区域的面积特征信息；

将所述轮廓特征信息、纹理特征信息、面积特征信息分别作为对应预设区域的表情特征信息。

进一步地，所述基于多站点数据的登录验证程序被处理器执行时还实现如下操作：

对样本视频进行表情识别，确定所述样本视频中的微表情；

对所述样本视频进行图像识别，获得所述样本视频中的人脸，并按照预设区域对所述样本视频中的人脸进行划分；

从所述样本视频中提取各预设区域的表情特征信息；

建立所述微表情和所述表情特征信息的映射关系，并存储所述映射关系得到微表情库；

建立微表情模型，并通过所述映射关系训练所述微表情模型，形成预设微表情模型。

进一步地，所述基于多站点数据的登录验证程序被处理器执行时还实现如下操作：

提取所述样本视频中的环境特征信息；

相应地，所述建立所述微表情和所述表情特征信息的映射关系，具体包括：

建立所述微表情和所述表情特征信息、所述环境特征信息的映射关系。

进一步地，所述基于多站点数据的登录验证程序被处理器执行时还实现如下操作：

按照所述样本视频中的人物类型对所述样本视频进行分类，所述人物类型包括各预设年龄段、性别、身份类型中的至少一项；

相应地，所述存储所述映射关系得到微表情库，还包括：

按所述人物类型存储所述映射关系得到各类型微表情库。

本实施例通过对待识别视频进行图像识别，获得所述待识别视频中的人脸，并按照预设区域对所述人脸进行划分；从所述待识别视频中提取各预设区域的表情特征信息；将所述表情特征信息与预设微表情模型进行对比，并根据对比结果确定所述待识别视频中的微表情。由于本实施采用的待识别视频是在自然状态下获取的，并且提取了人脸各预设区域的表情特征信息，对微表情的识别更加准确，能够较好地体现微表情的真实状况。

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种微表情识别方法，其特征在于，所述方法包括以下步骤：

对待识别视频进行图像识别，获得所述待识别视频中的人脸部分，并按照预设区域对所述人脸部分进行划分；

从所述待识别视频中提取各预设区域的表情特征信息；

将所述表情特征信息与预设微表情模型进行对比，并根据对比结果确定所述待识别视频中的微表情。

2.如权利要求1所述的方法，其特征在于，所述对待识别视频进行图像识别，获得所述待识别视频中的人脸，并按照预设区域对所述人脸进行划分的步骤之前，所述方法还包括：

提取所述待识别视频的环境特征信息；

相应地，所述将所述表情特征信息与预设微表情模型进行对比，具体包括：

将所述表情特征信息和所述环境特征信息同时与所述预设微表情模型进行对比。

3.如权利要求1所述的方法，其特征在于，所述获得所述待识别视频中的人脸部分的步骤，具体包括：

对所述待识别视频进行裁剪，保留所述待识别视频中的人脸部分；

对所述人脸部分进行切段，剔除不包含微表情的视频片段。

4.如权利要求1所述的方法，其特征在于，所述预设区域包括五官区域、鼻唇沟区域和眼睑区域；所述表情特征信息包括各预设区域的变化持续时间和各预设区域的变化程度。

5.如权利要求4所述的方法，其特征在于，所述在所述待识别视频中提取各预设区域的表情特征信息的步骤，具体包括：

对所述五官区域进行轮廓识别，获取所述五官区域的轮廓特征信息；

对所述鼻唇沟区域进行纹理分析，获取所述鼻唇沟区域的纹理特征信息；

获取所述眼睑区域的面积特征信息；

将所述轮廓特征信息、纹理特征信息、面积特征信息分别作为对应预设区域的表情特征信息。

6.如权利要求1所述的方法，其特征在于，所述获取待识别视频之前，所述方法还包括：

对样本视频进行表情识别，确定所述样本视频中的微表情；

对所述样本视频进行图像识别，获得所述样本视频中的人脸，并按照预设区域对所述样本视频中的人脸进行划分；

从所述样本视频中提取各预设区域的表情特征信息；

建立所述微表情和所述表情特征信息的映射关系，并存储所述映射关系得到微表情库；

建立微表情模型，并通过所述映射关系训练所述微表情模型，形成预设微表情模型。

7.如权利要求6所述的方法，其特征在于，所述对样本视频进行表情识别，确定所述样本视频中的微表情的步骤之后，所述方法还包括：

提取所述样本视频中的环境特征信息；

相应地，所述建立所述微表情和所述表情特征信息的映射关系，具体包括：

建立所述微表情和所述表情特征信息、所述环境特征信息的映射关系。

8.如权利要求7所述的方法，其特征在于，所述对所述样本视频进行表情识别的步骤之前，所述方法还包括：

按照所述样本视频中的人物类型对所述样本视频进行分类，所述人物类型包括各预设年龄段、性别、身份类型中的至少一项；

相应地，所述存储所述映射关系得到微表情库，还包括：

按所述人物类型存储所述映射关系得到各类型微表情库。

9.一种微表情识别装置，其特征在于，所述微表情识别装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的微表情识别程序，所述微表情识别程序被所述处理器执行时实现如权利要求1至8中任一项所述的微表情识别方法的步骤。

10.一种存储介质，其特征在于，所述存储介质上存储有微表情识别程序，所述微表情识别程序被处理器执行时实现如权利要求1至8中任一项所述的微表情识别方法的步骤。