CN110826487A - 一种人脸表情数据采集方法 - Google Patents

Abstract

一种人脸表情数据采集方法，包括如下步骤：移动终端调用摄像头以拍摄包含人脸的人脸表情图像，将所拍摄的人脸表情图像上传服务器；服务器对所述人脸表情图像进行第一次预处理，传入多任务级联卷积神经网络进行人脸识别和人脸关键点检测，获得人脸区域位置和人脸关键点位置，将所述人脸区域位置和人脸关键点位置回传至移动终端；移动终端依据所述人脸区域位置或人脸关键点对所述人脸表情图像进行人脸区域裁剪，对裁剪后的图像进行第二次图像预处理；移动终端在显示屏显示表情标签设置界面以获取用户标记的人脸表情标签；移动终端将已做标记的人脸表情图像上传至服务器。本发明大大降低了原有数据采集的成本，使人脸表情数据的采集过程更加便捷。

Description

一种人脸表情数据采集方法

技术领域

本发明涉及人脸表情数据库建立技术领域，尤其是一种人脸表情数据采集方法和装置。

背景技术

人脸表情识别是最近十几年发展起来的，众多研究人员对人脸表情识别进行了深入的研究。由于面部表情的多模态特性并且涉及心理学，难度非常之大。传统的表情识别主要集中在实验室场景中的表情识别，对于自然场景下的人脸表情识别研究较少,主要原因是实验室环境下姿态单一、光照单一、无遮挡、样本量小、场景简单、表情模仿性较强，或者只研究受单一客观环境影响的人脸表情识别。真实场景下的人脸表情识别受很多客观条件的影响，比如：光照、姿态、遮挡、复杂背景、自发表情、样本多样性，这给人脸表情识别研究带来巨大挑战。

表情数据库的建立对人脸表情识别研究来说十分关键。面部表情分析本质上是一个数据驱动的领域，这样以来可用的真实人脸面部图像数据显得异常珍贵。到目前为止，先前的研究人员已经建立了各种各样的面部表情数据库，主要包括实验室条件下收集的人脸数据库和真实世界数据库，这些收集数据库的方式都存在以下问题：

(1)实验室环境拍摄地点固定，需要组织志愿者参加拍摄，因此建立的数据库规模有限，成本高，时间长，且实验室环境下拍摄的表情图像不适应自然环境中人脸表情识别算法的要求。

(2)网络可以收集大量人脸图像进行表情标注建立人脸表情数据库，但是需要组织大量人员进行图像预处理及表情标注，同样存在成本高的问题。

(3)目前公开的人脸数据集大部分是国外的数据集，主要是欧美人种的人脸图像，亚洲人种比较少。国内研发人脸识别的公司的产品应用场景主要针对亚洲人人脸的表情识别，因此需要收集大量自然环境下亚洲人脸数据集。

发明内容

本发明提供一种人脸表情数据采集方法和装置，解决现有人脸表情数据库采集存在的成本高、实施不便的问题。

本发明实施例提供一种人脸表情数据采集方法，包括如下步骤：移动终端调用摄像头以拍摄包含人脸的人脸表情图像，将所拍摄的人脸表情图像上传服务器；服务器对所述人脸表情图像进行第一次预处理，传入多任务级联卷积神经网络进行人脸识别和人脸关键点检测，获得人脸区域位置和人脸关键点位置，将所述人脸区域位置和人脸关键点位置回传至移动终端；移动终端依据所述人脸区域位置或人脸关键点对所述人脸表情图像进行人脸区域裁剪，对裁剪后的图像进行第二次图像预处理；移动终端在显示屏显示表情标签设置界面以获取用户标记的人脸表情标签；移动终端将已做标记的人脸表情图像上传至服务器。

优选的，所述传入多任务级联卷积神经网络进行人脸识别和人脸关键点检测，获得人脸区域位置和人脸关键点位置的步骤，具体包括：设定最小图像尺寸，对输入图像进行依次缩小得到图像金字塔，将所得到的图像拼接在一张图片上并记录每张缩放图片的位置信息，将整张拼接图片和所述位置信息传入MTCNN人脸检测模型的P-NET层，从所述MTCNN人脸检测模型中输出人脸区域位置和人脸关键点位置。

优选的，所述移动终端依据所述人脸区域位置或人脸关键点对所述人脸表情图像进行人脸区域裁剪的步骤，具体包括：通过CNN网络预测人脸轮廓，将人脸轮廓的包围盒裁剪出来并归一化尺寸，或者，利用人脸关键点进行人脸校准，将校准区域裁剪出来并归一化尺寸。

优选的，移动终端在拍摄包含人脸的人脸表情图像时，在拍摄界面显示用于引导用户面部朝向多个角度偏转的拍摄指引信息，获取人脸朝向多个角度的多张人脸表情图像。

优选的，当用户面部朝向某一方向偏转时，确定用户的偏转方向，若在拍摄界面的人脸不完整，发出语音提示以引导用户面部向与所述偏转方向相反的方向转动。

优选的，当移动终端的拍摄界面内存在多张完整人脸时，移动终端分别对每张人脸进行聚焦拍照并将包含不同人脸的人脸表情图像上传服务器。

优选的，所述移动终端在显示屏显示表情标签设置界面以获取用户标记的人脸表情标签的步骤，具体包括：在表情标签设置界面显示待标记的人脸表情图像以及多个待选的人脸表情标签，获取用户选定的人脸表情标签，使用用户选定的人脸表情标签对人脸表情图像进行标注。

优选的，所述第一次预处理，具体包括将人脸表情图像的尺寸调整为多任务级联卷积神经网络的预设尺寸；所述第二次预处理，具体包括对裁剪后的图像进行均值滤波和直方图均衡化处理。

本发明中，用户可使用移动终端来拍照，随时随地进行人脸表情数据的采集，不受时间地域的限制，普通大众都可以参与，大大降低了原有成本，使人脸表情数据的采集过程更加便捷。

附图说明

图1为本发明一种实施例的人脸表情数据采集方法的流程图；

图2为本发明一种实施例的MTCNN对图片进行处理的图片演示示意图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。

在对本发明进行具体说明前，有必要对本发明的人脸表情数据采集系统进行介绍，该人脸表情数据采集系统包括移动终端和服务器，移动终端可以是手机、平板电脑、智能手表等终端设备。移动终端安装有专用的应用程序，通过该应用程序实现拍照和数据交换功能，也可以通过第三方应用程序实现拍照和数据交换功能，例如微信的小程序。

本发明实施例提供一种人脸表情数据采集方法，如图1所示，该方法包括如下步骤：

S100：移动终端调用摄像头以拍摄包含人脸的人脸表情图像，将所拍摄的人脸表情图像上传服务器。

用户可以启用移动终端相应的应用程序，应用程序在获得用户授权后，将调用移动终端的摄像头，进入拍摄界面。在拍摄界面，移动终端可以自动拍照，也可以设置为由用户自己拍照。由于人脸表情通常具有高兴、厌恶、害怕、生气、惊讶、伤心以及中性等多种，移动终端所拍摄的人脸表情图像也对应有多个，在拍摄完成之后，用户可点击上传按钮，移动终端会将所拍摄的人脸表情图像上传到服务器。

服务器可以对拍摄后的图片进行初步筛选，基于人脸识别算法，服务器将判断所拍摄的人脸表情图像中是否存在完整的人脸，如果某张人脸表情图像中不存在完整的人脸，则该人脸表情图像不符合要求，服务器可向移动终端反馈不符合要求的人脸表情图像，由用户再次上传，直至所有上传的人脸表情图像均符合要求。

S200：服务器对所述人脸表情图像进行第一次预处理，传入多任务级联卷积神经网络进行人脸识别和人脸关键点检测，获得人脸区域位置和人脸关键点位置，将所述人脸区域位置和人脸关键点位置回传至移动终端。

在获取到移动终端上传的符合要求的图像之后，服务器将对所上传的图像进行初步处理，主要是对所上传的图像进行尺寸调整，以符合多任务级联卷积神经网络MTCNN的计算要求。MTCNN自动进行人脸识别和人脸关键点检测，人脸识别是识别人脸表情图像中人脸区域，确定出人脸区域的位置。人脸关键点位置是人面部关键点所在图像中的位置，人脸关键点包括耳朵、眼睛、嘴巴以及鼻子等。服务器对每张上传的图像进行处理，确定出每张人脸表情图像中人脸区域位置和人脸关键点位置，再回传至移动终端。

S300：移动终端依据所述人脸区域位置或人脸关键点对所述人脸表情图像进行人脸区域裁剪，对裁剪后的图像进行第二次图像预处理；移动终端在显示屏显示表情标签设置界面以获取用户标记的人脸表情标签。

移动终端根据反馈的人脸区域位置或人脸关键点对所述人脸表情图像进行人脸区域裁剪，仅将人脸表情图像中的人脸裁剪出来，去除图像中的其他无关内容。移动终端将对裁剪出的图像进行第二次图像预处理，使裁剪出的图像更加清晰。之后，移动终端将显示表情标签设置界面，用户将在该界面为每个裁剪后的图像设置人脸表情标签，以标记所采集的人脸表情图像是何种表情。该标记将记录到人脸表情图像的预设属性中。

S400：移动终端将已做标记的人脸表情图像上传至服务器。

在完成人脸表情标签的标记之后，移动终端将已做标记的人脸表情图像上传至服务器，此时的人脸表情图像已携带有人脸表情标签。服务器将依据标签对所上传的图像进行归档记录，录入到人脸表情数据库中。

在一种实施例中，步骤S200中，传入多任务级联卷积神经网络进行人脸识别和人脸关键点检测，获得人脸区域位置和人脸关键点位置的步骤，具体包括：依据多任务级联卷积神经网络的计算要求，用户可以预先设定最小的图像尺寸，对待输入的图像进行依次缩小得到图像金字塔，将所得到的所有图像拼接在一张图片上并记录每张图片的位置信息，这里的位置信息是指每张缩放图像在整张拼接图像中的像素位置。如图2所示，第二张图即是由多张缩小的图像拼接而成。再将整张拼接图片和位置信息传入MTCNN人脸检测模型的P-NET层，最终由MTCNN计算后，得到人脸检测模型中输出人脸区域位置和人脸关键点位置。

本实施例中，是将所有金字塔图像拼接成一张图像，再输入MTCNN中进行计算，通过一次图像处理即可进行计算并输出结果，无需将每张图像依次输入MTCNN，大大减少了运算时间，提升了图片处理效率。

在一种实施例中，步骤S300中，所述移动终端依据所述人脸区域Bounding Box或人脸关键点Facial Landmark对所述人脸表情图像进行人脸区域裁剪的步骤，具体包括：

通过CNN网络预测人脸轮廓，将人脸轮廓的包围盒裁剪出来并归一化尺寸，或者，利用人脸关键点进行人脸校准。计算眼睛的4个点(两眼的眼角)的水平及垂直位置的平均值得到两眼的中心，连接两眼中心得到眼睛中线，通过计算眼睛中线与水平直线的夹角，进行图像旋转达到人脸角度校正。根据人眼距离(e2e：眼睛到眼睛的距离)的比例来定义面部图像边框的边界：侧边界为0.62*e2e，上边界为0.9*e2e，下边界为1.34*e2e，产生一个近似方形的边界框，为面部方框的边界，然后将截取的人脸图像进行归一化调整，将人脸图像调整为正方形区域。

在一种实施例中，移动终端在拍摄包含人脸的人脸表情图像时，拍摄界面可以显示表情变化信息，表情变化信息可以包括“高兴”、“厌恶”、“害怕”、“生气”、“惊讶”、“伤心”和“中性”，其可以以文字的形式显示在拍摄界面的预定位置，例如“请露出高兴的表情并拍照”。表情变化信息可以按照预定顺序排序并依据排序进行依次显示，用户根据表情变化信息，从而知晓需要作出何种表情。每当用户拍摄一张图片后，表情变化信息自动显示为下一个，以辅助用户进行数据采集，便于用户操作，而且可以保证采集的表情的完整性，只有采集完全部的表情后，拍摄界面才终止。

相比于传统的仅仅采集人脸正面的表情数据，本发明还提供一种实施例，可以采集人脸偏转一定角度而形成的表情，以扩展人脸表情数据库，增加样本数量。具体的，在拍摄过程中，移动终端的拍摄界面将显示用于引导用户面部朝向多个角度偏转的拍摄指引信息，使用户的面部朝向多个角度偏转，拍摄指引信息包含需要用户面部偏转的方向、偏转的角度以及需要露出的表情等信息。这种偏转是小角度偏转，当偏转角度过大，将无法采集到完整的人脸。通常而言，可以在向上、向下、向左和向右四个方向上进行偏转，例如，拍摄界面可以显示“请向左侧偏转30度，露出高兴的表情”的文字，用户可以根据该指引作出相应动作并进行拍照。通常，表情的正面照是必须采集的，用户可以在拍摄进行前，在应用程序的菜单中进行相关设定，用户可以选择是否进行偏转角度的表情采集以及采集何种偏转角度的表情。当拍摄完成之后，用户面部偏转的方向、偏转的角度以及需要露出的表情等信息将记载到所拍摄图像的属性中，以便于服务器进行归档。因此，每一个表情可以存在一个或多个人脸朝向多个角度的多张人脸表情图像。

进一步的，为了保证用户面部偏转时图像采集的准确性。当用户面部朝向某一方向偏转时，移动终端将确定用户的偏转方向，一般而言，用户的偏转方向与拍摄指引信息中设定的偏转方向相同，但为了防止用户偏转方向出现错误，有必要对用户的偏转方向进行二次确认。移动终端可以依据LVQ神经网络进行人脸朝向的识别，进而确定出用户的偏转方向。在拍摄过程中，移动终端将实时检测拍摄界面内的人脸是否完整，如果人脸不完整，说明用户偏转的角度过大，此时，移动终端发出语音提示，以引导用户面部向与偏转方向相反的方向转动，即减小其偏转角度，从而可以获取包含完整人脸的人脸表情图像。

例如，拍摄界面显示的拍摄指引信息为“请向左侧偏转30度，露出高兴的表情”，如果用户向左侧偏转的角度过大，可以发出语音提示，让用户向右侧回偏一定角度。由于用户是向一侧进行了偏转，无法直接观察到拍摄界面上显示的信息，因此，通过语音的方式能便于用户进行相应动作。

在一种实施例中，本发明的人脸表情采集过程具有两种采集模式，包括单人采集模式和多人采集模式，在进入拍摄界面之前，移动终端将显示采集模式选择界面，提供单人采集模式和多人采集模式这两种模式供用户选择。在单人采集模式中，显示界面将显示一个人脸边框以辅助拍照，用户可以使拍摄界面中显示的自身面部图像显示在人脸边框内，移动终端会判断人脸边框内是否存在完整的人脸，当人脸边框中不存在完整的人脸，移动终端并不拍照，仅在人脸边框中存在完整人脸时，移动终端自动进行拍照，从而省却了用户手动操作所带来的不便。在拍摄过程中也显示表情变化信息，引导用户做出多种表情，但无需用户动手自拍。

在多人采集模式中，移动终端首先判断拍摄界面是否存在多张完整人脸，如果存在不完整的人脸，移动终端将不做出拍照动作，仅在所有人脸均是完整时，才进行拍摄。移动终端先初次拍摄一张图像，判断该图像中所有人脸是否符合要求，具体要求为：每张人脸的清晰度达到预定的清晰度且每张人脸的尺寸大于预定尺寸。如果该图像中所有人脸都符合要求，则上传图像至服务器，依照步骤S200-S400的步骤，服务器对人脸表情图像进行第一次预处理，传入多任务级联卷积神经网络进行人脸识别和人脸关键点检测，获得每张图像中每个人脸的人脸区域位置、人脸关键点位置，将所述人脸区域位置和人脸关键点位置回传至移动终端，移动终端依据人脸区域位置或人脸关键点对人脸表情图像进行人脸区域裁剪，剪裁出单独的人脸区域，对裁剪后的图像进行第二次图像预处理；移动终端在显示屏显示表情标签设置界面以获取用户标记的人脸表情标签，移动终端将已做标记的人脸表情图像上传至服务器。

为了对上传的图像进行有序管理，对于用户同一批次所上传的多张图像，将进行人脸识别比对，属于同一张人脸的图像归为同一组，则属于同一张人脸的不同表情将同组存放并录入数据库。

如果初次所拍摄的图像中存在部分人脸不符合要求，则需要重新采集图像，为了保证能够顺利获得符合要求的每张人脸，移动终端分别自动对每张人脸进行聚焦拍照，获取到每张人脸的符合要求的图像。在拍照过程中，拍摄界面将显示表情变化信息，用户根据表情变化信息的提示，作出相应的表情，移动终端自动对拍摄界面的每张人脸进行聚焦拍照，当对所有人脸均完成拍照后，表情变化信息切换显示为下一条。由此，可以获取到多张人脸的多张不同表情的人脸表情图像。

由于拍摄的每张图像都聚焦于某一张人脸，但其他人脸也包含在图像内，而这些其他人脸往往是不符合要求的，不能用于表情数据库的采集。在步骤S200中，服务器对人脸表情图像进行第一次预处理，传入多任务级联卷积神经网络进行人脸识别和人脸关键点检测，筛选出符合要求的人脸，获得筛选出的人脸区域位置和人脸关键点位置。步骤S300中，移动终端依据所述人脸区域位置或人脸关键点对所述人脸表情图像进行人脸区域裁剪，从而仅裁剪出每张人脸表情图像中符合要求的人脸区域，移动终端对裁剪后的图像进行第二次图像预处理；移动终端在显示屏显示表情标签设置界面以获取用户标记的人脸表情标签，将已做标记的人脸表情图像上传至服务器。

在一种实施例中，步骤S300中，移动终端在显示屏显示表情标签设置界面以获取用户标记的人脸表情标签的步骤，具体包括：在表情标签设置界面具有两个区域，一个是图像显示区域，另一个是操作区域，待标记的人脸表情图像将显示在图像显示区域，操作区域将显示多个待选的人脸表情标签以及操作按钮，操作按钮包括翻页按钮和确认按钮。由于人脸表情图像具有多张，为一张人脸表情图像选择好人脸表情标签后，用户可以点击翻页按钮，从而可以对上一张人脸表情图像的标签进行重新选择或者为下一张人脸表情图像选择标签。确认按钮在操作过程中呈灰色的不可操作状态，当所有人脸表情图像均完成标签的选择后，确认按钮即呈可操作状态，用户点击后，为人脸表情图像所选择的标签将写入到人脸表情图像的属性中，完成标签的标记。

上述实施例中，第二次预处理具体包括对裁剪后的图像进行均值滤波和直方图均衡化处理，以使得图像更加清晰。

以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换。

Claims (8)

1.一种人脸表情数据采集方法，其特征在于，包括如下步骤：

移动终端调用摄像头以拍摄包含人脸的人脸表情图像，将所拍摄的人脸表情图像上传服务器；

服务器对所述人脸表情图像进行第一次预处理，传入多任务级联卷积神经网络进行人脸识别和人脸关键点检测，获得人脸区域位置和人脸关键点位置，将所述人脸区域位置和人脸关键点位置回传至移动终端；

移动终端依据所述人脸区域位置或人脸关键点对所述人脸表情图像进行人脸区域裁剪，对裁剪后的图像进行第二次图像预处理；移动终端在显示屏显示表情标签设置界面以获取用户标记的人脸表情标签；

移动终端将已做标记的人脸表情图像上传至服务器。

2.根据权利要求1所述的人脸表情数据采集方法，其特征在于，所述传入多任务级联卷积神经网络进行人脸识别和人脸关键点检测，获得人脸区域位置和人脸关键点位置的步骤，具体包括：

设定最小图像尺寸，对输入图像进行依次缩小得到图像金字塔，将所得到的图像拼接在一张图片上并记录每张缩放图片的位置信息，将整张拼接图片和所述位置信息传入MTCNN人脸检测模型的P-NET层，从所述MTCNN人脸检测模型中输出人脸区域位置和人脸关键点位置。

3.根据权利要求1所述的人脸表情数据采集方法，其特征在于，所述移动终端依据所述人脸区域位置或人脸关键点对所述人脸表情图像进行人脸区域裁剪的步骤，具体包括：

通过CNN网络预测人脸轮廓，将人脸轮廓的包围盒裁剪出来并归一化尺寸，或者，利用人脸关键点进行人脸校准，将校准区域裁剪出来并归一化尺寸。

4.根据权利要求1所述的人脸表情数据采集方法，其特征在于：移动终端在拍摄包含人脸的人脸表情图像时，在拍摄界面显示用于引导用户面部朝向多个角度偏转的拍摄指引信息，获取人脸朝向多个角度的多张人脸表情图像。

5.根据权利要求4所述的人脸表情数据采集方法，其特征在于：当用户面部朝向某一方向偏转时，确定用户的偏转方向，若在拍摄界面的人脸不完整，发出语音提示以引导用户面部向与所述偏转方向相反的方向转动。

6.根据权利要求1所述的人脸表情数据采集方法，其特征在于：当移动终端的拍摄界面内存在多张完整人脸时，移动终端分别对每张人脸进行聚焦拍照并将包含不同人脸的人脸表情图像上传服务器。

7.根据权利要求1所述的人脸表情数据采集方法，其特征在于，所述移动终端在显示屏显示表情标签设置界面以获取用户标记的人脸表情标签的步骤，具体包括：在表情标签设置界面显示待标记的人脸表情图像以及多个待选的人脸表情标签，获取用户选定的人脸表情标签，使用用户选定的人脸表情标签对人脸表情图像进行标注。

8.根据权利要求1所述的人脸表情数据采集方法，其特征在于：所述第一次预处理，具体包括将人脸表情图像的尺寸调整为多任务级联卷积神经网络的预设尺寸；所述第二次预处理，具体包括对裁剪后的图像进行均值滤波和直方图均衡化处理。

Images