CN110674770A - 用于人脸表情检测的系统以及方法 - Google Patents

Abstract

本发明提供用于人脸表情检测的系统以及方法。所述系统包括：摄像头，其用于获取具有输入人脸的图像；第一深度神经网络,其用于检出图像中的输入人脸；质量检测模块，其用于判断所检出的输入人脸是否为质量合格的人脸图片，并在是时发送触发信号；处理模块，其用于在接受到所述质量检测模块所发送的触发信号时在所述图像上截取出人脸区域，并对所述人脸区域进行仿射变换，得到对应输入人脸的正面图像；以及确定模块，其用于通过第二深度神经网络确定所述正面图像的表情分类为第一表情，并在多于预设数量的连续多帧图像中的输入人脸皆为所述第一表情时，确定所述输入人脸为所述第一表情，本发明能够解决监控摄像头场景下的人脸表情检测问题。

Description

用于人脸表情检测的系统以及方法

技术领域

本发明涉及人脸识别领域，特别涉及用于人脸表情检测的系统以及方法。

背景技术

人脸识别是指利用分析比较人脸视觉特征信息进行身份鉴别的计算机技术，它属于生物特征识别技术的范畴，是对生物体本身的生物特征来区分生物体个体的一门新兴技术。人脸识别技术在公安侦查、门禁系统、目标追踪及其他民用安全控制系统等领域均具有较高的发展前景和经济效益。

人在不同的心理状况下会呈现出不同的面部表情。例如一个人眉毛上扬、挤在一起，他极有可能是处在恐惧、担忧或忧虑中；鼻孔外翻，嘴唇紧抿，表示有无法控制的怒气；下巴扬起，嘴角下垂表自责；单眼微眯，单侧嘴角微挑，表不屑、轻蔑等等。

此外，对于不能通过语言表达的婴儿或者特殊人群，表情与心理对照则更加重要。例如，面对还不会说话的婴儿，我们可以通过面部表情研究他们。但目前现有的表情检测技术主要是用于手机前置摄像头等场景，一般是近景正面大人脸，需要输入的人脸分辨率高。其应用场景相对局限，难以移植到监控摄像头的使用环境下。

发明内容

为了解决现有技术存在的问题，本发明的至少一个实施例提供了一种用于人脸表情检测的系统和方法，能够解决监控摄像头场景下的人脸表情检测问题。

第一方面，本发明实施例提出一种用于人脸表情检测的系统，所述系统包括：摄像头，其用于获取具有输入人脸的图像；第一深度神经网络, 其用于检出图像中的输入人脸；质量检测模块，其用于判断所检出的输入人脸是否为质量合格的人脸图片，并在是时发送触发信号；处理模块，其用于在接受到所述质量检测模块所发送的触发信号时在所述图像上截取出人脸区域，并对所述人脸区域进行仿射变换，得到对应输入人脸的正面图像；以及确定模块，其用于通过第二深度神经网络确定所述正面图像的表情分类为第一表情，并在多于预设数量的连续多帧图像中的输入人脸皆为所述第一表情时，确定所述输入人脸为所述第一表情。

在一实施例中，所述确定模块，还用于在少于预设数量的连续多帧图像中的输入人脸为所述第一表情时，确定所述输入人脸不为所述第一表情。

在一实施例中，所述质量检测模块使用以下中的至少一个来判断所检出的输入人脸是否为质量合格的人脸图片：人脸尺寸、人脸位置、眼睛遮挡情况、嘴巴遮挡情况、人脸角度、睁闭眼情况、眩光侧光特征。

在一实施例中，将不同的人种、光源场景、人脸尺寸、所对应的截取的人脸图片输入到不同的第二深度神经网络以获得表情分类，若每个第二深度神经网络输出的表情分类皆为所述第一表情，则确定所述人脸表情为所述第一表情。

第二方面，本发明还提供一种用于人脸表情检测的方法，所述方法包括：从摄像头获取具有输入人脸的图像；通过第一深度神经网络检出图像中的输入人脸；通过质量检测模块判断所检出的输入人脸是否为质量合格的人脸图片；若所检出的输入人脸为质量合格的人脸图片时，则在所述图像上截取出人脸区域，并对所述人脸区域进行仿射变换，得到对应人脸的正面图像；通过第二深度神经网络确定所述正面图像的表情分类为第一表情；以及，在多于预设数量的连续多帧图像中的输入人脸皆为所述第一表情时，确定所述输入人脸为所述第一表情。

在一实施例中，所述质量检测模块使用以下中的至少一个来判断所检出的输入人脸是否为质量合格的人脸图片：人脸尺寸、人脸位置、眼睛遮挡情况、嘴巴遮挡情况、人脸角度、睁闭眼情况、眩光侧光特征。

在一实施例中，所述方法还包括：将不同的人种、光源场景、人脸尺寸、所对应的截取的人脸图片输入到不同的第二深度神经网络以获得表情分类，若每个第二深度神经网络输出的表情分类皆为所述第一表情，则确定所述人脸表情为所述第一表情。

第三方面，本发明实施例还提供一种视频处理装置，包括：至少一个处理器；与所述至少一个处理器耦合的存储器，所述存储器存储有可执行指令，其中，所述可执行指令在被所述至少一个处理器执行时使得实现如上第二方面的任一项所述所述的方法。

第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上第二方面的任一项所述的方法。

可见，本发明实施例的至少一个实施例中，对所获取的原始视频中所有人脸提取特征向量进行仿造之后，将仿造的人脸分别覆盖到原始视频的人脸上，形成去隐私视频，该去隐私视频中不包含任何一张原视频中的人脸，仍然可以正常的观看，并且可以正常从中分析行人行为和人群分布等信息。使得视频在保护隐私的同时，还能作为有效安防或商业数据使用。

与现有技术相比，本发明具有以下有益效果：本发明的用于人脸表情检测的系统以及方法能够适用于各种光照、倾斜、人种、遮挡等环境条件下，并能在实时响应的高特异性的人脸表情检测算法，能够有效防御视频、照片、面具等形式的攻击。

附图说明

在结合以下附图阅读本公开的实施例的详细描述之后，能够更好地理解本发明的上述特征和优点。在附图中，各组件不一定是按比例绘制，并且具有类似的相关特性或特征的组件可能具有相同或相近的附图标记。

图1为本发明的用于人脸表情检测的系统的实施例的组成结构示意图；

图2为本发明的用于人脸表情检测的方法的实施例的流程图。

具体实施方案

以下结合附图和具体实施例对本发明作详细描述，以便更清楚理解本发明的目的、特点和优点。应理解的是，以下结合附图和具体实施例描述的诸方面仅是示例性的，而不应被理解为对本发明的保护范围进行任何限制。除非上下文明确地另外指明，否则单数形式“一”和“所述”包括复数指代物。如本发明中所使用的，用语“第一” 和“第二”可互换使用，以将一个或一类构件分别与另一个或另一类区分开，且不旨在表示独立构件的位置或重要性。

参见图1，其显示了本发明的用于人脸表情检测的系统的实施例的组成结构示意图，用于人脸表情检测的系统包括摄像头10、第一深度神经网络12、质量检测模块14、处理模块16和确定模块18。

摄像头10用于获取具有输入人脸的图像。在一实施例中，所述摄像头10可为门禁摄像头、天网摄像头等，其均可捕获进入其摄取区域的人脸图像。

第一深度神经网络12用于检出图像中的输入人脸。在一实施例中，第一深度神经网络12可基于人脸特征点进行检测。

质量检测模块14用于判断所检出的输入人脸是否为质量合格的人脸图片，并在是时发送触发信号。所述质量检测模块14使用以下中的至少一个来判断所检出的输入人脸是否为质量合格的人脸图片：人脸尺寸、人脸位置、眼睛遮挡情况、嘴巴遮挡情况、人脸角度、睁闭眼情况、眩光侧光特征等。

处理模块16用于在接受到所述质量检测模块14所发送的触发信号时在所述图像上截取出人脸区域，并对所述人脸区域进行仿射变换，得到对应输入人脸的正面图像。对于本领域的技术人员而言，可通过仿射变换从多姿态人脸获得人脸的正面图像，具体例如可通过SURF特征算法。

确定模块18用于通过第二深度神经网络180确定所述正面图像的表情分类为第一表情，并在多于预设数量的连续多帧图像中的输入人脸皆为所述第一表情时，确定所述输入人脸为所述第一表情。

确定模块18在第二深度神经网络180确定所述正面图像的表情分类为第一表情，但是少于预设数量的连续多帧图像中的输入人脸为所述第一表情时，确定所述输入人脸不为所述第一表情。

此外，还将不同的人种、光源场景、人脸尺寸、所对应的截取的人脸图片输入到不同的第二深度神经网络180以获得人脸表情分类，当每个第二深度神经网络输出的表情分类皆为第一表情时，则确定所述人脸表情为所述第一表情。否则，不得出此时人脸为第一表情的结果。在具体实现时，可以是当不能得出此时人脸为第一表情的结论时不做出表情输出。

参见图2，其示出了本发明的用于人脸表情检测的方法的实施例的流程图，所述方法可在如图1所示的用于人脸表情检测的系统上实施。如图2所示，该方法首先进行步骤S210，从摄像头获取具有输入人脸的图像。在一实施例中，可从门禁摄像头、天网摄像头或各种监控摄像头等获取具有输入人脸的图像。

该方法还包括步骤S220，通过第一深度神经网络检出图像中的输入人脸。在一实施例中，S220可通过基于人脸特征点的第一深度神经网络检出图像中的输入人脸。

该方法还包括步骤S230，通过质量检测模块判断所检出的输入人脸是否为质量合格的人脸图片，若是则继续步骤S240，若否则可以返回继续对新的人脸图像进行检测（图中未示出该步骤）。在一实施例中，所述步骤S230中的所述质量检测模块使用以下中的至少一个来判断所检出的输入人脸是否为质量合格的人脸图片：人脸尺寸、人脸位置、眼睛遮挡情况、嘴巴遮挡情况、人脸角度、睁闭眼情况、眩光侧光特征等。

在步骤S240中，在所述图像上截取出人脸区域，并对所述人脸区域进行仿射变换，得到对应人脸的正面图像。对本领域的技术人员而言，可利用常用的仿射变换从多姿态人脸获得人脸的正面图像，具体例如可通过SURF特征算法。

该方法还包括步骤S250，通过第二深度神经网络180确定步骤240中通过仿射变换得出的正面图像的表情分类为第一表情。在步骤S250中，将不同的人种、光源场景、人脸尺寸、所对应的截取的人脸图片输入到不同的第二深度神经网络以获得是否为第一表情的结果。判断是否连续多帧图像中的输入人脸皆为所述第一表情，若是则判定所述输入人脸为所述第一表情。

该方法还包括步骤S260，确定是否连续多帧图像中的输入人脸表情为第一表情，若是则确定所述输入人脸为表情为第一表情。步骤S260中的多帧图像的数量可以根据具体情况进行确定，例如在一实施例中，所述多帧图像为至少30帧。所述人脸表情包括人类的各种表情。

本发明实施例能够解决监控摄像头场景下的人脸表情检测问题。

在第三方面，本发明还提供一种视频处理装置，包括：

至少一个处理器；与至少一个处理器耦合的存储器，存储器存储有可执行指令，其中，可执行指令在被至少一个处理器执行时使得实现本发明第二方面的方法。

本实施例提供一种视频处理装置，包括：至少一个处理器；与至少一个处理器耦合的存储器。例如，存储器可以包括随机存储器、闪存、只读存储器、可编程只读存储器、非易失性存储器或寄存器等。处理器可以是中央处理器（Central Processing Unit，CPU）等。存储器可以存储可执行指令。处理器可以执行在存储器中存储的可执行指令，从而实现本文描述的各个过程。

可以理解，本实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是ROM (Read-OnlyMemory，只读存储器)、PROM (ProgrammableROM，可编程只读存储器)、EPROM (ErasablePROM，可擦除可编程只读存储器)、EEPROM (ElectricallyEPROM，电可擦除可编程只读存储器)或闪存。易失性存储器可以是RAM (RandomAccessMemory，随机存取存储器)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如SRAM (StaticRAM，静态随机存取存储器)、DRAM (DynamicRAM，动态随机存取存储器)、SDRAM (SynchronousDRAM，同步动态随机存取存储器)、DDRSDRAM (DoubleDataRate SDRAM，双倍数据速率同步动态随机存取存储器)、ESDRAM (Enhanced SDRAM，增强型同步动态随机存取存储器)、SLDRAM(SynchlinkDRAM，同步连接动态随机存取存储器)和DRRAM (DirectRambusRAM，直接内存总线随机存取存储器)。本文描述的存储器42旨在包括但不限于这些和任意其它适合类型的存储器。

在一些实施方式中，存储器存储了如下的元素，升级包、可执行单元或者数据结构，或者他们的子集，或者他们的扩展集：操作系统和应用程序。

其中，操作系统，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序，包含各种应用程序，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序中。

在本发明实施例中，处理器通过调用存储器存储的程序或指令，具体的，可以是应用程序中存储的程序或指令，处理器用于执行第二方面所提供的方法步骤。

此外，在第四方面，本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现本发明第二方面的方法的步骤。

例如，机器可读存储介质可以包括但不限于各种已知和未知类型的非易失性存储器。

本领域技术人员可以明白的是，结合本文中所公开的实施例描述的各示例的单元及算法步骤能够以电子硬件、或者软件和电子硬件的结合来实现。这些功能是以硬件还是软件方式来实现，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以针对每个特定的应用，使用不同的方式来实现所描述的功能，但是这种实现并不应认为超出本申请的范围。

在本申请实施例中，所公开的系统、装置和方法可以通过其它方式来实现。例如，单元的划分仅仅为一种逻辑功能划分，在实际实现时还可以有另外的划分方式。例如，多个单元或组件可以进行组合或者可以集成到另一个系统中。另外，各个单元之间的耦合可以是直接耦合或间接耦合。另外，在本申请实施例中的各功能单元可以集成在一个处理单元中，也可以是单独的物理存在等等。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在机器可读存储介质中。因此，本申请的技术方案可以以软件产品的形式来体现，该软件产品可以存储在机器可读存储介质中，其可以包括若干指令用以使得电子设备执行本申请实施例所描述的技术方案的全部或部分过程。上述存储介质可以包括ROM、RAM、可移动盘、硬盘、磁盘或者光盘等各种可以存储程序代码的介质。

以上内容仅为本申请的具体实施方式，本申请的保护范围并不局限于此。本领域技术人员在本申请所公开的技术范围内可以进行变化或替换，这些变化或替换都应当在本申请的保护范围之内。

Claims (10)

1.一种用于人脸表情检测的系统，所述系统包括：

摄像头，其用于获取具有输入人脸的图像；

第一深度神经网络, 其用于检出图像中的输入人脸；

质量检测模块，其用于判断所检出的输入人脸是否为质量合格的人脸图片，并在是时发送触发信号；

处理模块，其用于在接受到所述质量检测模块所发送的触发信号时在所述图像上截取出人脸区域，并对所述人脸区域进行仿射变换，得到对应输入人脸的正面图像；以及

确定模块，其用于通过第二深度神经网络确定所述正面图像的表情分类为第一表情，并在多于预设数量的连续多帧图像中的输入人脸皆为所述第一表情时，确定所述输入人脸为所述第一表情。

2.根据权利要求1所述的系统，其特征在于，所述确定模块，还用于在少于预设数量的连续多帧图像中的输入人脸为所述第一表情时，确定所述输入人脸不为所述第一表情。

3.根据权利要求1所述的系统，其特征在于，所述质量检测模块使用以下中的至少一个来判断所检出的输入人脸是否为质量合格的人脸图片：人脸尺寸、人脸位置、眼睛遮挡情况、嘴巴遮挡情况、人脸角度、睁闭眼情况、眩光侧光特征。

4.根据权利要求1所述的系统，其特征在于，将不同的人种、光源场景、人脸尺寸所对应的截取的人脸图片输入到不同的第二深度神经网络以获得表情分类，若每个第二深度神经网络输出的表情分类皆为所述第一表情，则确定所述人脸表情为所述第一表情。

5.一种用于人脸表情检测的方法，所述方法包括：

从摄像头获取具有输入人脸的图像；

通过第一深度神经网络检出图像中的输入人脸；

通过质量检测模块判断所检出的输入人脸是否为质量合格的人脸图片，并在是时发送触发信号；

在接受到所述质量检测模块所发送的触发信号时在所述图像上截取出人脸区域，并对所述人脸区域进行仿射变换，得到对应人脸的正面图像；

通过第二深度神经网络确定所述正面图像的表情分类为第一表情；以及

在多于预设数量的连续多帧图像中的输入人脸皆为所述第一表情时，确定所述输入人脸为所述第一表情。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：在少于预设数量的连续多帧图像中的输入人脸为所述第一表情时，确定所述输入人脸不为所述第一表情。

7.根据权利要求5所述的方法，其特征在于，所述质量检测模块使用以下中的至少一个来判断所检出的输入人脸是否为质量合格的人脸图片：人脸尺寸、人脸位置、眼睛遮挡情况、嘴巴遮挡情况、人脸角度、睁闭眼情况、眩光侧光特征。

8.根据权利要求5所述的方法，其特征在于，还包括：

将不同的人种、光源场景、人脸尺寸所对应的截取的人脸图片输入到不同的第二深度神经网络以获得表情分类，若每个第二深度神经网络输出的表情分类皆为所述第一表情，则确定所述人脸表情为所述第一表情。

9.一种视频处理装置，包括：

至少一个处理器；

与所述至少一个处理器耦合的存储器，所述存储器存储有可执行指令，其中，所述可执行指令在被所述至少一个处理器执行时使得实现根据权利要求5至8中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上权利要求5至8中任一项所述的的方法的步骤。