CN109063679A - 一种人脸表情检测方法、装置、设备、系统及介质 - Google Patents

Abstract

本发明公开了一种人脸表情检测方法、装置、设备、系统及计算机可读存储介质，其方法包括：接收头戴式摄像机传输的每一帧的视频画面；根据预设的人脸检测模型，对所述视频画面进行人脸检测；当检测到所述视频画面存在人脸时，根据预先建立的关键点检测模型，获取所述人脸的关键点坐标；根据所述关键点坐标以及预先存储的对应于所述人脸的静态关键点坐标，进行人脸表情检测；本发明简便且高效地实现人脸表情检测过程，提高运行效率，实现运行资源的综合利用。

Description

一种人脸表情检测方法、装置、设备、系统及介质

技术领域

本发明涉及计算机技术领域，尤其涉及一种人脸表情检测方法、装置、设备、系统及计算机可读存储介质。

背景技术

近年来，随着计算机图形学的发展，计算机动画技术合成人的面部表情动画是当前动画学科研究的一个重点之一，它使得动画制作者能够以演员的表情直接驱动画形象模型，受到了动画制作者们更多的关注。面部表情捕捉能够实时地检测、记录表演者的表情，转化为数字化的“抽象表情”，以便动画软件将它“赋予”模型，使模型具有和表演者一样的表情，并生成最终的表情动画序列。

现有的较为成熟的表情捕捉检测技术是标记点式表情捕捉技术，它采集的数据是以帧为单位的序列标识点(Marker)点集数据，在表演者的脸部关键点贴上Marker，视觉系统将识别和处理这些Maker，就可以实现表情捕捉，该技术具有保持自然特征点形态稳定且排除光照条件的不稳定因素的特点；另一种表情捕捉检测技术是网络摄像头放在一个固定地方，人的头部在距离摄像头不远处，系统再对采集到的画面进行相关检测。

但是，在实现本发明的过程中，发明人发现：虽然上述第一种实现方案在表情捕捉技术上达到可观的效果，但费用十分昂贵且有缺陷。例如，高端动作捕捉品牌Vicon和魔神采用的方案是肢体捕捉的同时，在人脸粘贴标记点，利用高分辨率系统同步捕捉肢体和面部细节的运动。该技术虽然可达到肢体和表情数据高度同步，但由于面部细节标记点过多，适用于肢体捕捉的大视场捕捉对面部稠密标记点跟踪容易失效，导致大量跳点问题发生，后处理十分繁杂，成为实际应用的最大障碍，而且该方案需要在用户脸上黏贴标记点，在影响用户动作的同时也降低了用户的使用体验；以上第二种实现方案由于人脸是否在摄像机的摄像范围内的不定性，人脸一旦脱离摄像头的捕捉范围或者头部姿态有较大程度的变化，针对人脸的相关检测就会变得无用，导致结果出现数据中断或不准确，而且也增加了设备检测无效图像的负担，加快了设备的损耗。

发明内容

针对上述问题，本发明的目的在于提供一种人脸表情检测方法、装置、设备、系统及计算机可读存储介质，简便且高效地实现人脸表情检测过程。

第一方面，本发明实施例提供了一种人脸表情检测方法，包括以下步骤：

接收头戴式摄像机传输的每一帧的视频画面；

根据预设的人脸检测模型，对所述视频画面进行人脸检测；

当检测到所述视频画面存在人脸时，根据预先建立的关键点检测模型，获取所述人脸的关键点坐标；

根据所述关键点坐标以及预先存储的对应于所述人脸的静态关键点坐标，进行人脸表情检测。

在第一方面的第一种实现方式中，所述头戴式摄像机包括头戴式装置、摄像头以及数据传输线；

所述头戴式装置包括头盔本体、连接杆、固定支架、第一绷带、第二绷带、第一卡扣以及第二卡扣；

所述连接杆的一端连接所述头盔本体尾端，所述连接杆的另一端连接所述固定支架；

所述第一绷带的一端固定连接所述头盔本体，所述第一绷带的另一端连接所述第一卡扣的一端；

所述第二绷带的一端固定连接所述头盔本体，所述第二绷带的另一端连接所述第二卡扣的一端；

所述第一卡扣的另一端，用于与所述第二卡扣的另一端卡接；

所述固定支架，用于安装所述摄像头；

所述数据传输线的一端连接所述摄像机。

在第一方面的第二种实现方式中，所述根据预设的人脸检测模型，对所述视频画面进行人脸检测，具体为：

将所述视频画面作为预先设置的Haar特征分类器的输入参量，以对所述图像进行人脸检测；

当在所述Haar特征分类器中从所述视频画面检测到人脸时，从所述Haar特征分类器中输出人脸图像。

根据第一方面的第二种实现方式，在第一方面的第三种实现方式中，所述当检测到所述视频画面存在人脸时，根据预先建立的关键点检测模型，获取所述人脸的关键点坐标，具体为：

当获取到所述人脸图像时，将所述人脸图像作为所述预先建立的关键点检测模型的输入参量，从而从所述预先建立的关键点检测模型中获取所述人脸在预设坐标系中的关键点坐标。

根据第一方面的第三种实现方式，在第一方面的第四种实现方式中，所述根据所述关键点坐标以及预先存储的对应于所述人脸的静态关键点坐标，进行人脸表情检测，具体为：

获取预先存储的对应于所述人脸的静态关键点坐标；其中，所述静态关键点坐标为对应的所述人脸在自然表情下获取的；

根据所述关键点坐标以及所述静态关键点坐标，计算各个表情部位对应的关键点位移数据，以进行人脸表情检测。

第二方面，本发明实施例提供了一种人脸表情检测装置，包括：

视频画面获取模块，用于接收头戴式摄像机传输的每一帧的视频画面；

人脸检测模块，用于根据预设的人脸检测模型，对所述视频画面进行人脸检测；

关键点坐标获取模块，用于当检测到所述视频画面存在人脸时，根据预先建立的关键点检测模型，获取所述人脸的关键点坐标；

人脸表情检测模块，用于根据所述关键点坐标以及预先存储的对应于所述人脸的静态关键点坐标，进行人脸表情检测。

在第二方面的第二种实现方式中，所述头戴式摄像机包括头戴式装置、摄像头以及数据传输线；

所述头戴式装置包括头盔本体、连接杆、固定支架、第一绷带、第二绷带、第一卡扣以及第二卡扣；

所述连接杆的一端连接所述头盔本体尾端，所述连接杆的另一端连接所述固定支架；

所述第一绷带的一端固定连接所述头盔本体，所述第一绷带的另一端连接所述第一卡扣的一端；

所述第二绷带的一端固定连接所述头盔本体，所述第二绷带的另一端连接所述第二卡扣的一端；

所述第一卡扣的另一端，用于与所述第二卡扣的另一端卡接；

所述固定支架，用于安装所述摄像头；

所述数据传输线的一端连接所述摄像机。

第三方面，本发明实施例提供了一种人脸表情检测设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现第一方面中任意一项所述的人脸表情检测方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如第一方面中任意一项所述的人脸表情检测方法。

第五方面，本发明实施例提供了一种人脸表情检测系统，包括如第三方面所述的人脸表情检测设备，以及至少一个头戴式摄像头；

所述头戴式摄像头，用于拍摄佩戴所述头戴式摄像头的用户的正脸图像，并将获取的每一帧的视频画面发送给所述人脸表情检测设备；

所述人脸表情检测设备，用于接收头戴式摄像机传输的每一帧的视频画面；

根据预设的人脸检测模型，对所述视频画面进行人脸检测；当检测到所述视频画面存在人脸时，根据预先建立的关键点检测模型，获取所述人脸的关键点坐标；根据所述关键点坐标以及预先存储的对应于所述人脸的静态关键点坐标，进行人脸表情检测。

以上实施例具有如下有益效果：

通过接收头戴式摄像机传输的每一帧的视频画面，然后根据预设的人脸检测模型，对所述视频画面进行人脸检测，当检测到所述视频画面存在人脸时，根据预先建立的关键点检测模型，获取所述人脸的关键点坐标，最后根据所述关键点坐标以及预先存储的对应于所述人脸的静态关键点坐标，进行人脸表情检测，利用头戴式摄像头实时对准人的正脸进行跟踪检测，并以视频帧画面进行人脸表情检测的过程，降低了设备成本，且无需在人脸上黏贴标记点，提高用户的使用体验，人脸表情检测的过程更为高效简单，同时也解决了人脸表情动作检测过程中因摄像机与用户的没有相关联系而造成的头部姿态频繁变化引起的检测结果不准确或数据不可用的问题，减轻设备的检测计算量，提高检测到的人脸的可用性，降低设备运行负担，提高运行效率，实现运行资源的综合利用。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明第一实施例提供的人脸表情检测方法的流程示意图。

图2是本发明第一实施例提供的头戴式装置的结构示意图。

图3是本发明第一实施例提供的头戴式摄像头的结构示意图。

图4是本发明第一实施例提供的均值漂移的计算示意图。

图5是本发明第二实施例提供的人脸表情检测装置的结构示意图。

图6是本发明第三实施例提供的人脸表情检测设备的结构示意图。

图7是本发明第五实施例提供的人脸表情检测系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明第一实施例提供了一种人脸表情检测方法，其可由人脸表情检测设备来执行，并包括以下步骤：

S11，接收头戴式摄像机传输的每一帧的视频画面。

在本发明实施例中，所述人脸表情检测设备可为手机、电脑、平板电脑、笔记本电脑等计算设备，所述人脸表情检测方法可作为一个功能或者以APP为载体集成于所述人脸表情检测设备中。

在本发明实施例中，请参阅图2及图3，所述头戴式摄像机包括头戴式装置10、摄像头20以及数据传输线30；所述头戴式装置包括头盔本体11、连接杆12、固定支架13、第一绷带14、第二绷带15、第一卡扣16(图中未示出)以及第二卡扣17(图中未示出)；所述连接杆12的一端连接所述头盔本体11尾端，所述连接杆12的另一端连接所述固定支架13；所述第一绷带14的一端固定连接所述头盔本体11，所述第一绷带14的另一端连接所述第一卡扣16的一端；所述第二绷带15的一端固定连接所述头盔本体11，所述第二绷带15的另一端连接所述第二卡扣17的一端；所述第一卡扣16的另一端，用于在用户佩戴所述头戴式装置时，与所述第二卡扣17的另一端卡接，以进行固定；所述固定支架13，用于安装所述摄像头20；所述数据传输线30的一端连接所述摄像机30，所述数据连接线30的另一端用于连接所述人脸表情检测设备。

在本发明实施例中，所述头戴式摄像机将摄像头对准人脸，当头部姿态变化时摄像头会跟着变化，保证摄像头捕捉到的画面始终是正脸图像；在用户启动所述头戴式摄像机之后，所述头戴式摄像机拍摄佩戴所述头戴式摄像头的用户的正脸图像，并将获取的每一帧的视频画面发送给所述人脸表情检测设备，所述人脸表情检测设备接收所述头戴式摄像机传输的每一帧的视频画面，以便后续进行人脸表情检测。

S12，根据预设的人脸检测模型，对所述视频画面进行人脸检测。

在本发明实施例中，所述人脸表情检测设备对所述头戴式摄像头捕捉到的视频帧画面使用opencv进行人脸检测，通过Haar特征分类器对输入的图像进行是否包含有人脸的检测，如果输入的图像中有人脸，则输出所述人脸图像，具体地，所述人脸表情检测设备将所述视频画面作为预先设置的Haar特征分类器的输入参量，以对所述图像进行人脸检测，当在所述Haar特征分类器中从所述视频画面检测到人脸时，从所述Haar特征分类器中输出人脸图像，所述人脸图像的形式为所述图像上存在一个能包含人脸的矩形框，所述人脸图像包括有矩形框在图像中的位置以及矩形框的大小的信息；需要说明的是，当所述头戴式头盔轻微倾斜时，获取到的视频画面中的人脸图像也会轻微倾斜，在通过OpenCV进行人脸检测，获取到人脸所在位置的矩形框之后，会提取矩形框中的人脸图像，并对人脸图像进行旋转、平移的放射变换，将稍微倾斜的人脸矫正，当所述头戴式头盔倾斜较大，所述人脸表情检测设备通过OpenCV检测不到人脸时会给出摄像机设备调整提示，以使用户对所述头戴式头盔进行位置上的矫正。

S13，当检测到所述视频画面存在人脸时，根据预先建立的关键点检测模型，获取所述人脸的关键点坐标。

在本发明实施例中，当所述人脸表情检测设备获取到所述人脸图像时，将所述人脸图像作为所述预先建立的关键点检测模型的输入参量，从而从所述预先建立的关键点检测模型中获取所述人脸在预设坐标系中的关键点坐标；具体地，所述人脸表情检测设备根据正则化均值漂移可形变模型获取人脸的66个关键点坐标，均值漂移指的是计算局部图像的漂移向量，然后把局部图像的标记点往漂移向量的方向移动，直至局部图像的标记点移动到极值点，请参阅图4，大圆圈所圈定的范围表示要计算极值点的局部范围，中心的黑色实心点表示初始的标记点，根据初始标记点到局部范围中所有样本点的白色小圆圈的向量，计算得到指向灰色实心点的漂移向量，将中心的黑色实心点根据漂移向量移动到代表局部范围极值点的灰色实心点上，需要说明的是，脸的轮廓通过66个关键点中的其中17个点界定，获取的66个关键点坐标中有共有12个点是定位眼睛轮廓的，每个眼睛的轮廓由6个关键点定位，只有定位出眼睛轮廓之后，才能裁剪出眼睛轮廓的图像，对裁剪的眼睛轮廓的图像利用大津法自动计算阈值之后二值化，腐蚀掉其中的一部分后得到虹膜轮廓，然后所述人脸表情检测设备计算重心得到瞳孔位置的关键点在预设二维坐标系的坐标。

S14，根据所述关键点坐标以及预先存储的对应于所述人脸的静态关键点坐标，进行人脸表情检测。

在本发明实施例中，需要说明的是，在进行表情识别之前需要获取使用者脸部在自然状态下的眉毛与眼睛之间的距离、眼睛张开的幅度大小、鼻子的大小、上下嘴唇距离，因为每个人五官大小不同，所以对于不同人，获取到的数据都是不一样的，所以需要先获取到自然表情下的这些数据作为参照基准，比如现在获取到一张大笑的图像，那么上下嘴唇的距离肯定比自然表情下嘴巴闭着的时候要大，所述人脸表情检测过程即是检测并获取这个差距的过程，因此，所述人脸表情检测设备在获取到使用者的自然表情图像之后，根据正则化均值漂移可形变模型获取人脸的66个静态关键点坐标，然后根据各个表情部位所对应的关键点坐标计算各个表情部位的数据，例如根据嘴巴的静态关键点坐标计算关于该部位的上下嘴唇距离数据等等，需要说明的是，而对于眼睛部位的相关数据的计算，获取的66个静态关键点坐标中有共有12个点是定位眼睛轮廓的，每个眼睛的轮廓由6个关键点定位。只有定位出眼睛轮廓之后，才能裁剪出眼睛轮廓的图像，对裁剪的眼睛轮廓的图像利用大津法自动计算阈值之后二值化，腐蚀掉其中的一部分后得到虹膜轮廓，然后所述人脸表情检测设备计算重心得到瞳孔位置的静态关键点在预设二维坐标系的坐标，这样才能进一步对于眼球运动或者眉毛与眼睛之间的距离等等数据进行计算。

在本发明实施例中，所述人脸表情检测设备根据所述静态关键点坐标计算眉毛距离眼睛中心的高度，嘴巴的宽度，嘴巴中心到鼻子中心的高度，然后根据所述关键点坐标与所述计算得出的眉毛距离眼睛中心的高度，嘴巴的宽度，嘴巴中心到鼻子中心的高度分别计算眉毛上下运动的变化幅度、眼睛张开的变化幅度、嘴巴纵向和横向张开的变化幅度，从而实现人脸表情检测；具体地，所述人脸表情检测设备获取预先存储的对应于所述人脸的静态关键点坐标；其中，所述静态关键点坐标为对应的所述人脸在自然表情下获取的，然后所述关键点坐标以及所述静态关键点坐标，计算各个表情部位对应的关键点位移数据，以进行人脸表情检测，本发明实现简单，无需服务器参与，适用性广，能够有效确保不同人群、不同环境下的较高使用体验。

综上所述，本发明第一实施例提供了一种人脸表情检测方法，通过接收头戴式摄像机传输的每一帧的视频画面，然后根据预设的人脸检测模型，对所述视频画面进行人脸检测，当检测到所述视频画面存在人脸时，根据预先建立的关键点检测模型，获取所述人脸的关键点坐标，最后根据所述关键点坐标以及预先存储的对应于所述人脸的静态关键点坐标，进行人脸表情检测，利用头戴式摄像头实时对准人的正脸进行跟踪检测，并以视频帧画面进行人脸表情检测的过程，降低了设备成本，且无需在人脸上黏贴标记点，提高用户的使用体验，人脸表情检测的过程更为高效简单，同时也解决了人脸表情动作检测过程中因摄像机与用户的没有相关联系而造成的头部姿态频繁变化引起的检测结果不准确或数据不可用的问题，减轻设备的检测计算量，提高检测到的人脸的可用性，降低设备运行负担，提高运行效率，实现运行资源的综合利用。

请参阅图5，本发明第二实施例提供了一种人脸表情检测装置，包括：

视频画面获取模块11，用于接收头戴式摄像机传输的每一帧的视频画面。

人脸检测模块12，用于根据预设的人脸检测模型，对所述视频画面进行人脸检测。

关键点坐标获取模块13，用于当检测到所述视频画面存在人脸时，根据预先建立的关键点检测模型，获取所述人脸的关键点坐标。

人脸表情检测模块14，用于根据所述关键点坐标以及预先存储的对应于所述人脸的静态关键点坐标，进行人脸表情检测。

在第二方面的第二种实现方式中，所述头戴式摄像机包括头戴式装置、摄像头以及数据传输线。

所述头戴式装置包括头盔本体、连接杆、固定支架、第一绷带、第二绷带、第一卡扣以及第二卡扣。

所述连接杆的一端连接所述头盔本体尾端，所述连接杆的另一端连接所述固定支架。

所述第一绷带的一端固定连接所述头盔本体，所述第一绷带的另一端连接所述第一卡扣的一端。

所述第二绷带的一端固定连接所述头盔本体，所述第二绷带的另一端连接所述第二卡扣的一端。

所述第一卡扣的另一端，用于与所述第二卡扣的另一端卡接。

所述固定支架，用于安装所述摄像头。

所述数据传输线的一端连接所述摄像机。

在第二实施例的第二种实现方式中，所述人脸检测模块12具体包括：

人脸检测单元，用于将所述视频画面作为预先设置的Haar特征分类器的输入参量，以对所述图像进行人脸检测。

人脸图像输出单元，用于当在所述Haar特征分类器中从所述视频画面检测到人脸时，从所述Haar特征分类器中输出人脸图像。

根据第二实施例的第二种实现方式，在第二实施例的第三种实现方式中，所述关键点坐标获取模块13具体包括：

当获取到所述人脸图像时，将所述人脸图像作为所述预先建立的关键点检测模型的输入参量，从而从所述预先建立的关键点检测模型中获取所述人脸在预设坐标系中的关键点坐标。

根据第二实施例的第三种实现方式，在第二实施例的第四种实现方式中，所述人脸表情检测模块14具体包括：

静态关键点坐标获取单元，用于获取预先存储的对应于所述人脸的静态关键点坐标；其中，所述静态关键点坐标为对应的所述人脸在自然表情下获取的。

表情检测单元，用于根据所述关键点坐标以及所述静态关键点坐标，计算各个表情部位对应的关键点位移数据，以进行人脸表情检测。

需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

参见图6，是本发明第三实施例提供的人脸表情检测设备的示意图。如图6所示，该人脸表情检测设备包括：至少一个处理器11，例如CPU，至少一个网络接口14或者其他用户接口13，存储器15，至少一个通信总线12，通信总线12用于实现这些组件之间的连接通信。其中，用户接口13可选的可以包括USB接口以及其他标准接口、有线接口。网络接口14可选的可以包括Wi-Fi接口以及其他无线接口。存储器15可能包含高速RAM存储器，也可能还包括非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器。存储器15可选的可以包含至少一个位于远离前述处理器11的存储装置。

在一些实施方式中，存储器15存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集:

操作系统151，包含各种系统程序，用于实现各种基础业务以及处理基于硬件的任务；

程序152。

具体地，处理器11用于调用存储器15中存储的程序152，执行上述实施例所述的人脸表情检测方法，例如图1所示的步骤S11。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能，例如人脸检测模块。

示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述人脸表情检测设备中的执行过程。

所述人脸表情检测设备可以是桌上型计算机、笔记本、掌上电脑及手机等计算设备。所述人脸表情检测设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述示意图仅仅是人脸表情检测设备的示例，并不构成对人脸表情检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。

所称处理器11可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器11是所述人脸表情检测设备的控制中心，利用各种接口和线路连接整个人脸表情检测设备的各个部分。

所述存储器15可用于存储所述计算机程序和/或模块，所述处理器11通过运行或执行存储在所述存储器15内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述人脸表情检测设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

本发明第四实施例提供了一种计算机可读存储介质，所述人脸表情检测设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

请参阅图7，本发明第六实施例提供了一种人脸表情检测系统，包括如第三方面所述的人脸表情检测设备21，以及至少一个头戴式摄像头22。

所述头戴式摄像头22，用于拍摄佩戴所述头戴式摄像头的用户的正脸图像，并将获取的每一帧的视频画面发送给所述人脸表情检测设备21。

所述人脸表情检测设备21，用于接收头戴式摄像机22传输的每一帧的视频画面；根据预设的人脸检测模型，对所述视频画面进行人脸检测；当检测到所述视频画面存在人脸时，根据预先建立的关键点检测模型，获取所述人脸的关键点坐标；根据所述关键点坐标以及预先存储的对应于所述人脸的静态关键点坐标，进行人脸表情检测。

优选地，所述头戴式摄像机22包括头戴式装置、摄像头以及数据传输线。

所述头戴式装置包括头盔本体、连接杆、固定支架、第一绷带、第二绷带、第一卡扣以及第二卡扣。

所述连接杆的一端连接所述头盔本体尾端，所述连接杆的另一端连接所述固定支架。

所述第一绷带的一端固定连接所述头盔本体，所述第一绷带的另一端连接所述第一卡扣的一端。

所述第二绷带的一端固定连接所述头盔本体，所述第二绷带的另一端连接所述第二卡扣的一端。

所述第一卡扣的另一端，用于与所述第二卡扣的另一端卡接。

所述固定支架，用于安装所述摄像头。

所述数据传输线的一端连接所述摄像机。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种人脸表情检测方法，其特征在于，包括以下步骤：

接收头戴式摄像机传输的每一帧的视频画面；

根据预设的人脸检测模型，对所述视频画面进行人脸检测；

当检测到所述视频画面存在人脸时，根据预先建立的关键点检测模型，获取所述人脸的关键点坐标；

根据所述关键点坐标以及预先存储的对应于所述人脸的静态关键点坐标，进行人脸表情检测。

2.根据权利要求1所述的人脸表情检测方法，其特征在于，所述头戴式摄像机包括头戴式装置、摄像头以及数据传输线；

所述头戴式装置包括头盔本体、连接杆、固定支架、第一绷带、第二绷带、第一卡扣以及第二卡扣；

所述连接杆的一端连接所述头盔本体尾端，所述连接杆的另一端连接所述固定支架；

所述第一绷带的一端固定连接所述头盔本体，所述第一绷带的另一端连接所述第一卡扣的一端；

所述第二绷带的一端固定连接所述头盔本体，所述第二绷带的另一端连接所述第二卡扣的一端；

所述第一卡扣的另一端，用于与所述第二卡扣的另一端卡接；

所述固定支架，用于安装所述摄像头；

所述数据传输线的一端连接所述摄像机。

3.根据权利要求1所述的人脸表情检测方法，其特征在于，所述根据预设的人脸检测模型，对所述视频画面进行人脸检测，具体为：

将所述视频画面作为预先设置的Haar特征分类器的输入参量，以对所述图像进行人脸检测；

当在所述Haar特征分类器中从所述视频画面检测到人脸时，从所述Haar特征分类器中输出人脸图像。

4.根据权利要求3所述的人脸表情检测方法，其特征在于，所述当检测到所述视频画面存在人脸时，根据预先建立的关键点检测模型，获取所述人脸的关键点坐标，具体为：

当获取到所述人脸图像时，将所述人脸图像作为所述预先建立的关键点检测模型的输入参量，从而从所述预先建立的关键点检测模型中获取所述人脸在预设坐标系中的关键点坐标。

5.根据权利要求4所述的人脸表情检测方法，其特征在于，所述根据所述关键点坐标以及预先存储的对应于所述人脸的静态关键点坐标，进行人脸表情检测，具体为：

获取预先存储的对应于所述人脸的静态关键点坐标；其中，所述静态关键点坐标为对应的所述人脸在自然表情下获取的；

根据所述关键点坐标以及所述静态关键点坐标，计算各个表情部位对应的关键点位移数据，以进行人脸表情检测。

6.一种人脸表情检测装置，其特征在于，包括：

视频画面获取模块，用于接收头戴式摄像机传输的每一帧的视频画面；

人脸检测模块，用于根据预设的人脸检测模型，对所述视频画面进行人脸检测；

关键点坐标获取模块，用于当检测到所述视频画面存在人脸时，根据预先建立的关键点检测模型，获取所述人脸的关键点坐标；

人脸表情检测模块，用于根据所述关键点坐标以及预先存储的对应于所述人脸的静态关键点坐标，进行人脸表情检测。

7.根据权利要求6所述的人脸表情检测装置，其特征在于，所述头戴式摄像机包括头戴式装置、摄像头以及数据传输线；

所述头戴式装置包括头盔本体、连接杆、固定支架、第一绷带、第二绷带、第一卡扣以及第二卡扣；

所述连接杆的一端连接所述头盔本体尾端，所述连接杆的另一端连接所述固定支架；

所述第一绷带的一端固定连接所述头盔本体，所述第一绷带的另一端连接所述第一卡扣的一端；

所述第二绷带的一端固定连接所述头盔本体，所述第二绷带的另一端连接所述第二卡扣的一端；

所述第一卡扣的另一端，用于与所述第二卡扣的另一端卡接；

所述固定支架，用于安装所述摄像头；

所述数据传输线的一端连接所述摄像机。

8.一种人脸表情检测设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至5中任意一项所述的人脸表情检测方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至5中任意一项所述的人脸表情检测方法。

10.一种人脸表情检测系统，其特征在于，包括如权利要求8所述的人脸表情检测设备，以及至少一个头戴式摄像头；

所述头戴式摄像头，用于拍摄佩戴所述头戴式摄像头的用户的正脸图像，并将获取的每一帧的视频画面发送给所述人脸表情检测设备；

所述人脸表情检测设备，用于接收头戴式摄像机传输的每一帧的视频画面；

根据预设的人脸检测模型，对所述视频画面进行人脸检测；当检测到所述视频画面存在人脸时，根据预先建立的关键点检测模型，获取所述人脸的关键点坐标；根据所述关键点坐标以及预先存储的对应于所述人脸的静态关键点坐标，进行人脸表情检测。