CN113486867A

CN113486867A - 人脸微表情识别方法、装置、电子设备及存储介质

Info

Publication number: CN113486867A
Application number: CN202111040768.8A
Authority: CN
Inventors: 王鹏程; 高原; 刘霄
Original assignee: Beijing Century TAL Education Technology Co Ltd
Current assignee: Beijing Century TAL Education Technology Co Ltd
Priority date: 2021-09-07
Filing date: 2021-09-07
Publication date: 2021-10-08
Anticipated expiration: 2041-09-07
Also published as: CN113486867B

Abstract

本公开提供了一种人脸微表情识别方法、装置、电子设备及存储介质，该方法包括：获取人脸全局特征，获取微表情的局部特征，根据微表情的局部特征获取微表情的区域特征，其中，微表情的区域特征包括所述微表情的局部特征以及与所述微表情相关并且与所述微表情的局部特征不连续的特征，根据人脸全局特征和微表情的区域特征识别人脸微表情特征。实现了对人脸微表情的识别。

Description

人脸微表情识别方法、装置、电子设备及存储介质

技术领域

本公开涉及人脸识别技术领域，具体涉及一种人脸微表情识别方法、装置、电子设备及存储介质。

背景技术

人脸表情是人际交往的重要渠道,识别人脸表情可促进对人心理状态和情感的理解.不同于常规的人脸表情,微表情是一种特殊的面部微小动作,可以作为判断人主观情绪的重要依据,在公共安防和心理治疗领域有广泛的应用价值。

发明内容

有鉴于此，本公开实施例提供了一种人脸微表情识别方法、装置、电子设备及存储介质，以解决现有技术中不能对人脸微表情进行有效识别的问题。

为此，本公开实施例提供了如下技术方案：

本发明第一方面，提供了一种人脸微表情识别方法，包括：

获取人脸全局特征；

获取表情的局部特征；

根据所述微表情的局部特征获取微表情的区域特征；其中，所述微表情的区域特征包括所述微表情的局部特征以及与所述微表情相关并且与所述微表情的局部特征不连续的特征；

根据所述人脸全局特征和所述微表情的区域特征识别人脸微表情特征。

可选地，获取微表情的局部特征包括：

获取人脸图像；

根据所述人脸图像获取人脸关键点坐标；

根据所述人脸关键点坐标生成预设的人脸微表情激活中心掩膜图；

从所述预设的人脸微表情激活中心掩膜图中提炼出微表情的激活区域掩膜图；

将所述人脸全局特征与所述微表情的激活区域掩膜图进行融合，得到所述微表情的局部特征。

可选地，根据所述微表情的局部特征获取微表情的区域特征包括：

通过如下公式，利用可跳跃的双向长短时记忆网络，将所述微表情的局部特征输入至所述可跳跃的双向长短时记忆网络，挖掘不同微表情区域之间的关系，得到所述微表情的区域特征；

其中，

表示所述微表情的局部特征，

是双向卷积长短时记忆网络的第t步前向隐藏状态，

是双向卷积长短时记忆网络的第

步前向隐藏状态，

代表可学习的卷积层，GAP表示全局平均池化，Cell表示双向卷积长短时记忆网络的单元，

表示激活函数，g代表可跳跃的门，

表示所述微表情的区域特征。

可选地，根据所述人脸全局特征和所述微表情的区域特征识别人脸微表情包括：

通过如下公式，利用特征融合网络根据所述人脸全局特征、所述第一微表情的局部特征以及所述第二微表情的区域的特征识别人脸微表情；

其中，

表示人脸微表情特征，

代表权重，G代表所述人脸全局特征，

代表微表情的区域特征，

代表激活函数，

代表

范数归一化，

表示卷积操作，

表示微表情的全局特征的标识，

表示微表情的局部特征的标识。

可选地，所述方法还包括：

将所述人脸微表情特征输入至分类器得到人脸微表情分类。

本发明第二方面，提供了一种人脸微表情识别装置，包括：

第一获取模块，用于获取人脸全局特征；

第二获取模块，用于获取微表情的局部特征；

第三获取模块，根据所述微表情的局部特征获取微表情的区域特征；其中，所述微表情的区域特征包括所述微表情的局部特征以及与所述微表情相关并且与所述微表情的局部特征不连续的特征；识别模块，用于根据所述人脸全局特征和所述微表情的区域特征识别人脸微表情特征。

可选地，第二获取模块包括：

第一获取单元，用于获取人脸图像；

第二获取单元，用于根据所述人脸图像获取人脸关键点坐标；

生成单元，用于根据所述人脸关键点坐标生成预设的人脸微表情激活中心掩膜图；

提炼单元，用于从所述预设的人脸微表情激活中心掩膜图中提炼出微表情的激活区域掩膜图；

融合单元，用于将所述人脸全局特征与所述微表情的激活区域掩膜图进行融合，得到所述微表情的局部特征。

本发明第三方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；

其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行时，使所述至少一个处理器执行上述第一方面中任一所述的人脸微表情识别方法。

本发明第四方面，提供了一种计算机可读存储介质，存储有计算机指令，所述计算机指令被处理器执行时，使所述处理器执行上述第一方面中任一所述的人脸微表情识别方法。

本发明第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述第一方面中任一所述的人脸微表情识别方法。

本公开实施例技术方案，具有如下优点：

本公开实施例提供了一种人脸微表情识别方法、装置、电子设备及存储介质，该方法包括：获取人脸全局特征，获取微表情的局部特征，根据微表情的局部特征获取微表情的区域特征，其中，微表情的区域特征包括所述微表情的局部特征以及与微表情相关并且与微表情的局部特征不连续的特征，根据人脸全局特征和微表情的区域特征识别人脸微表情特征。实现了对人脸微表情的识别。

附图说明

为了更清楚地说明本公开具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本公开实施例的人脸微表情识别方法的流程图；

图2是根据本公开实施例的得到人脸全局特征示意图；

图3是根据本公开实施例的检测人脸关键点示意图；

图4是根据本公开实施例的生成微表情激活区域的mask示意图；

图5是根据本公开实施例的得到微表情的局部特征示意图；

图6是根据本公开实施例的得到其他微表情区域的特征示意图；

图7是根据本公开实施例的将微表情区域与非微表情区域特征融合示意图；

图8是根据本公开实施例的人脸微表情识别装置的结构框图；

图9是本公开实施例提供的电子设备的硬件结构示意图。

具体实施方式

下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

在本公开的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本公开和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本公开的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征。在本公开的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本公开中，“示例性”一词用来表示“用作例子、例证或说明”。本公开中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本公开，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本公开。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本公开的描述变得晦涩。因此，本公开并非旨在限于所示的实施例，而是与符合本公开所公开的原理和特征的最广范围相一致。

根据本公开实施例，提供了一种人脸微表情识别方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

此外，下面所描述的本公开不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

现有技术中对于人脸微表情的识别，都是基于‘设计的局部规则区域’提取人脸局部特征，或者直接使用‘人脸的全局特征’进行识别人脸微表情，没有考虑到人脸微表情之间由于肌肉的运动会产生‘强相关’或者‘负相关’关系，同时也没有考虑每个人脸微表情的激活区域是不规则的区域、并且可能是非连续区域的这一现象。

为了解决上述技术问题，在本实施例中提供了一种人脸微表情识别方法，可用于如手机、电脑等智能设备，图1是根据本公开实施例的人脸微表情识别方法的流程图，如图1所示，该流程100包括如下步骤：

步骤S101，获取人脸全局特征。获取人脸全局特征的方式可以包括多种，例如如图2所示，通过主干网络得到人脸全局特征。

步骤S102，获取微表情的局部特征。这里的微表情可以是人脸任意区域的微表情。

步骤S103，根据微表情的局部特征获取微表情的区域特征；其中，微表情的区域特征包括微表情的局部特征以及与微表情相关并且与所述微表情的局部特征不连续的特征。人脸微表情之间由于肌肉的运动会产生‘强相关’或者‘负相关’的关系，例如嘴角上扬与腮部运动具有强相关性。这里获取与微表情相关的、非连续的微表情的区域特征，进而可以更准确的识别微表情。

步骤S104，根据人脸全局特征和微表情的区域特征识别人脸微表情特征。

通过上述步骤，在识别微表情时，不仅考虑微表情自身的特征，同时考虑与微表情相关的其余微表情区域的特征，进而可以对微表情进行有效识别，相比于现有技术中仅基于‘设计的局部规则区域’提取人脸局部特征，或者直接使用‘人脸的全局特征’进行识别人脸微表情，本可选实施例不再以单一微表情区域作为识别对象，同时将与该激活的微表情相关的、非连续区域的其他微表情区域的特征挖掘出来进行综合识别，从而实现了对人脸微表情的精确识别。

上述步骤S102涉及获取微表情的局部特征，获取该微表情的局部特征的方式可以有多种，下面对此进行举例说明，在一些可选实施例中，获取人脸图像，根据人脸图像获取人脸关键点坐标，如图3所示，根据人脸关键点坐标生成预设的人脸微表情激活中心掩膜图，具体地，可以对整张图片使用人脸关键点检测网络检测人脸关键点，生成预设的人脸微表情激活中心掩膜图。从预设的人脸微表情激活中心掩膜图中提炼出微表情的激活区域掩膜图，例如，可以利用局部激活区域学习网络将得到的预设的人脸微表情激活中心掩膜图进行提炼，生成微表情激活区域的掩膜图，具体地：

，其中，生成heatmap的方法采用高斯核函数的方案，

是高斯滤波器的宽度，

是heatmap图中的任意一个点的x、y坐标，

是关键点的坐标，如图4所示。将上述人脸全局特征与微表情的激活区域掩膜图进行融合，得到上述微表情的局部特征，如图5所示，微表情的局部特征=全局特征*微表情激活区域掩膜图。具体地，可以通过局部激活区域学习网络来实现，现有的人脸微表情识别大多都是基于‘设计的局部规则区域’提取人脸局部特征，或者直接使用‘人脸的全局特征’进行识别人脸微表情，没有考虑每个人脸微表情的激活区域是不规则的区域，该网络可以自动的基于预设的微表情激活中心mask，自动学习人脸微表情激活区域的位置。

上述步骤S103涉及根据微表情的局部特征获取微表情的区域特征，在一些可选实施例中，通过如下公式，利用可跳跃的双向长短时记忆网络，将微表情的局部特征输入至可跳跃的双向长短时记忆网络，挖掘不同微表情区域之间的关系，得到该微表情的区域特征；

其中，

表示微表情的局部特征，

是双向卷积长短时记忆网络的第t步前向隐藏状态，

是双向卷积长短时记忆网络的第

步前向隐藏状态，

表示激活函数，g代表可跳跃的门，

表示所述微表情的区域特征。具体地，可以通过可跳跃的双向卷积长短时记忆网络来实现，现有的人脸微表情识别大多没有考虑到人脸微表情之间由于肌肉的运动会产生‘强相关’或者‘负相关’关系，同时也没有考虑每个人脸微表情的激活区域可能是非连续区域的这一现象。该可选实施例，利用可跳跃的双向卷积长短时记忆网络对得到的微表情的局部特征进行学习，挖掘不同微表情区域之间的关系，得到与该微表情相关的、非连续区域的其他微表情区域的特征，如图6所示，整体来说，对于连续的局部特征输入到双向卷积长短时记忆网络来，除了正常的操作之外，本可选实施例添加了可跳跃的门来控制每个cell的输入，使得网络可以自动的学习挖掘不同局部特征之间的关系。

上述步骤S104涉及根据该人脸全局特征和第二微表情的区域特征识别人脸微表情，在一些可选实施例中，通过如下公式，利用特征融合网络根据该人脸全局特征和该微表情的区域特征识别人脸微表情；

其中，

表示人脸微表情特征，

代表权重，G代表所述人脸全局特征，

代表微表情的区域特征，

代表激活函数，

代表

范数归一化，

表示卷积操作，

表示微表情的全局特征的标识，

表示微表情的局部特征的标识。具体地可以通过特征融合网络来实现，最后利用人脸全局特征作为指导，通过特征融合网络将挖掘出来的特征与人脸全局特征进行融合，对微表情区域与非微表情区域的特征进行进一步的挖掘学习，如图7所示。

在一些可选实施例中，将该人脸微表情特征输入至分类器得到人脸微表情分类。

在本实施例中还提供了一种人脸微表情识别装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”为可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

本实施例提供一种人脸微表情识别装置80，如图8所示，包括：

第一获取模块801，用于获取人脸全局特征；

第二获取模块802，用于获取微表情的局部特征；

第三获取模块803，根据该微表情的局部特征获取微表情的区域特征；其中，所述微表情的区域特征包括所述微表情的局部特征以及与所述微表情相关并且与所述微表情的局部特征不连续的特征；

识别模块804，用于根据该人脸全局特征和微表情的区域特征识别人脸微表情特征。

可选地，第二获取模块包括：

第一获取单元，用于获取人脸图像；

第二获取单元，用于根据该人脸图像获取人脸关键点坐标；

生成单元，用于根据该人脸关键点坐标生成预设的人脸微表情激活中心掩膜图；

提炼单元，用于从该预设的人脸微表情激活中心掩膜图中提炼出该第一微表情的激活区域掩膜图；

融合单元，用于将该人脸全局特征与该第一微表情的激活区域掩膜图进行融合，得到该第一微表情的局部特征。

本实施例中的人脸微表情识别装置是以功能单元的形式来呈现，这里的单元是指ASIC电路，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。

上述各个模块的更进一步的功能描述与上述对应实施例相同，在此不再赘述。

本公开实施例还提供一种移动终端，具有上述图8所示的人脸微表情识别装置。

请参阅图9，图9是本公开可选实施例提供的电子设备的结构示意图，如图9所示，该终端可以包括：至少一个处理器901，例如CPU（Central Processing Unit，中央处理器），至少一个通信接口903，存储器904，至少一个通信总线902。其中，通信总线902用于实现这些组件之间的连接通信。其中，通信接口903可以包括显示屏（Display）、键盘（Keyboard），可选通信接口903还可以包括标准的有线接口、无线接口。存储器904可以是高速RAM存储器（Random Access Memory，随机存取存储器），也可以是非易失性存储器（non-volatilememory），例如至少一个磁盘存储器。存储器904可选的还可以是至少一个位于远离前述处理器901的存储装置。其中处理器901可以结合图8所描述的装置，存储器904中存储应用程序，且处理器901调用存储器904中存储的程序代码，以用于执行上述任一人脸微表情识别装置方法的步骤。

其中，通信总线902可以是外设部件互连标准（peripheral componentinterconnect，简称PCI）总线或扩展工业标准结构（extended industry standardarchitecture，简称EISA）总线等。通信总线902可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

其中，存储器904可以包括易失性存储器（英文：volatile memory），例如随机存取存储器（英文：random-access memory，缩写：RAM）；存储器也可以包括非易失性存储器（英文：non-volatile memory），例如快闪存储器（英文：flash memory），硬盘（英文：hard diskdrive，缩写：HDD）或固态硬盘（英文：solid-state drive，缩写：SSD）；存储器904还可以包括上述种类的存储器的组合。

其中，处理器901可以是中央处理器（英文：central processing unit，缩写：CPU），网络处理器（英文：network processor，缩写：NP）或者CPU和NP的组合。

其中，处理器901还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路（英文：application-specific integrated circuit，缩写：ASIC），可编程逻辑器件（英文：programmable logic device，缩写：PLD）或其组合。上述PLD可以是复杂可编程逻辑器件（英文：complex programmable logic device，缩写：CPLD），现场可编程逻辑门阵列（英文：field-programmable gate array，缩写：FPGA），通用阵列逻辑（英文：generic arraylogic, 缩写：GAL）或其任意组合。

可选地，存储器904还用于存储程序指令。处理器901可以调用程序指令，实现如本公开图1实施例中所示的人脸微表情识别方法。

本公开实施例还提供了一种非暂态计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的人脸微表情识别的处理方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、快闪存储器（Flash Memory）、硬盘（Hard Disk Drive，缩写：HDD）或固态硬盘（Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

虽然结合附图描述了本公开的实施例，但是本领域技术人员可以在不脱离本公开的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。