CN111144374B - 人脸表情识别方法及装置、存储介质和电子设备 - Google Patents

Abstract

本发明公开了一种人脸表情识别方法、人脸表情识别装置、存储介质和电子设备，涉及人工智能技术领域。该人脸表情识别方法包括：检测一人脸图像的人脸轮廓点；基于所述人脸轮廓点确定表征人脸轮廓的多边形，根据所述人脸图像中各像素点相对于所述多边形的位置，从所述人脸图像中确定出表情识别区域，并生成包含所述表情识别区域的待识别图像；将所述待识别图像输入一训练后的机器学习模型中，根据所述机器学习模型的输出结果确定所述人脸图像的人脸表情。本公开可以提高人脸表情识别的准确度。

Description

人脸表情识别方法及装置、存储介质和电子设备

技术领域

本公开涉及人工智能技术领域，具体而言，涉及一种人脸表情识别方法、人脸表情识别装置、存储介质和电子设备。

背景技术

人脸表情识别是最直接、最有效的情感识别模式，已在人机交互、安全、机器人制造、自动化、医疗和自动驾驶等领域得到了广泛关注，成为学术和工业界的研究热点。

目前，人脸表情识别技术通常借助于对图像进行分析处理来实现，然而，图像可能存在较多的背景噪声，这会降低表情识别的准确度。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种人脸表情识别方法、人脸表情识别装置、存储介质和电子设备，进而至少在一定程度上克服由于图像背景噪声而影响人脸表情识别准确度的问题。

根据本公开的一个方面，提供一种人脸表情识别方法，包括：检测一人脸图像的人脸轮廓点；基于所述人脸轮廓点确定表征人脸轮廓的多边形，根据所述人脸图像中各像素点相对于所述多边形的位置，从所述人脸图像中确定出表情识别区域，并生成包含所述表情识别区域的待识别图像；将所述待识别图像输入一训练后的机器学习模型中，根据所述机器学习模型的输出结果确定所述人脸图像的人脸表情。

可选地，所述人脸图像中包括一目标像素点；其中，根据所述人脸图像中各像素点相对于所述多边形的位置，从所述人脸图像中确定出表情识别区域，包括：如果以所述目标像素点为端点的任意射线与所述多边形各边的交点数量均为奇数，则确定所述目标像素点位于所述表情识别区域内；如果以所述目标像素点为端点的任意射线与所述多边形各边的交点数量均为偶数，则确定所述目标像素点位于所述表情识别区域外。

可选地，生成包含所述表情识别区域的待识别图像包括：将所述人脸图像中所述表情识别区域外的各像素点的像素值设置为零，生成包含所述表情识别区域的待识别图像。

可选地，所述人脸表情识别方法还包括：获取样本图像，对所述样本图像进行一种或多种类型的图像转换过程，得到与所述样本图像对应的变换图像集合；利用所述样本图像以及与所述样本图像对应的变换图像集合，对所述机器学习模型进行训练，以得到训练后的机器学习模型。

可选地，所述图像转换的类型包括：图像归一化、图像饱和度调整、图像亮度调整、图像对比度调整、图像色相调整、图像镜像转换、图像任意角度旋转。

可选地，所述人脸表情识别方法还包括：对一原始图像进行多次非人脸过滤处理，以从所述原始图像中提取所述人脸图像。

可选地，将所述待识别图像输入一训练后的机器学习模型中包括：如果所述待识别图像的尺寸与所述机器学习模型的输入尺寸不一致，则将所述待识别图像的尺寸调整为所述机器学习模型的输入尺寸，并将尺寸调整后的所述待识别图像输入所述训练后的机器学习模型中。

根据本公开的一个方面，提供一种人脸表情识别装置，包括轮廓点检测模块、待识别图像生成模块和表情识别模块。

具体的，轮廓点检测模块可以用于检测一人脸图像的人脸轮廓点；待识别图像生成模块可以用于基于所述人脸轮廓点确定表征人脸轮廓的多边形，根据所述人脸图像中各像素点相对于所述多边形的位置，从所述人脸图像中确定出表情识别区域，并生成包含所述表情识别区域的待识别图像；表情识别模块可以用于将所述待识别图像输入一训练后的机器学习模型中，根据所述机器学习模型的输出结果确定所述人脸图像的人脸表情。

可选地，表情识别区域确定单元可以被配置为执行：针对人脸图像中包括的一目标像素点，如果以所述目标像素点为端点的任意射线与所述多边形各边的交点数量均为奇数，则确定所述目标像素点位于所述表情识别区域内；如果以所述目标像素点为端点的任意射线与所述多边形各边的交点数量均为偶数，则确定所述目标像素点位于所述表情识别区域外。

可选地，待识别图像生成模块还包括待识别图像生成单元。

具体的，待识别图像生成单元可以用于将所述人脸图像中所述表情识别区域外的各像素点的像素值设置为零，生成包含所述表情识别区域的待识别图像。

可选地，人脸表情识别装置还可以包括模型训练模块。

具体的，模型训练模块可以被配置为执行：获取样本图像，对所述样本图像进行一种或多种类型的图像转换过程，得到与所述样本图像对应的变换图像集合；利用所述样本图像以及与所述样本图像对应的变换图像集合，对所述机器学习模型进行训练，以得到训练后的机器学习模型。

可选地，所述图像转换的类型包括：图像归一化、图像饱和度调整、图像亮度调整、图像对比度调整、图像色相调整、图像镜像转换、图像任意角度旋转。

可选地，人脸表情识别装置还可以包括人脸图像提取模块。

具体的，人脸图像提取模块可以用于对一原始图像进行多次非人脸过滤处理，以从所述原始图像中提取所述人脸图像。

根据本公开的一个方面，提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一种所述的人脸表情识别方法。

根据本公开的一个方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一种所述的人脸表情识别方法。

在本公开的一些实施例所提供的技术方案中，利用检测出的人脸轮廓点从人脸图像中确定表情识别区域，生成包含表情识别区域的待识别图像，并将该待识别图像输入一训练后的机器学习模型中，以确定出人脸图像对应的人脸表情。通过利用人脸轮廓点从人脸图像中确定出表情识别区域，实现了表情识别区域与背景区域的分离，抑制了背景噪声对人脸表情识别的影响，提高了人脸表情识别的准确度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示意性示出了根据本公开的示例性实施方式的人脸表情识别方法的流程图；

图2示出了根据本公开的示例性实施方式的利用MTCNN模型从原始图像提取人脸图像的示意图；

图3示出了根据本公开的示例性实施方式的检测出人脸轮廓点的示意图；

图4示意性示出了根据本公开示例性实施方式所采用的机器学习模型的网络结构图；

图5示意性示出了根据本公开的示例性实施方式的Inception模块的结构图；

图6示意性示出了根据本公开的示例性实施方式的人脸表情识别过程的流程图；

图7示意性示出了根据本公开的示例性实施方式的人脸表情识别装置的方框图；

图8示意性示出了根据本公开的示例性实施方式的待识别图像生成模块的方框图；

图9示意性示出了根据本公开的另一示例性实施方式的待识别图像生成模块的方框图；

图10示意性示出了根据本公开的另一示例性实施方式的人脸表情识别装置的方框图；

图11示意性示出了根据本公开的又一示例性实施方式的人脸表情识别装置的方框图；

图12示意性示出了根据本公开的示例性实施方式的电子设备的方框图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。

作为人工智能领域的重要方向之一，计算机视觉(Computer Vision，CV)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

本公开示例性实施方式涉及计算机视觉技术中的图像识别技术，具体的，涉及人脸表情识别。

通常，本公开所述的人脸表情识别方法可以由服务器来实现，也就是说，服务器执行下述方法的各个步骤，在这种情况下，下面的人脸表情识别装置可以配置于该服务器中。然而，下述人脸表情识别方案还可以通过一终端设备实现，终端设备可以例如包括手机、平板电脑、智能可穿戴设备等，本示例性实施方式中对此不做特殊限定。

图1示意性示出了本公开的示例性实施方式的人脸表情识别方法的流程图。参考图1，所述人脸表情识别方法可以包括以下步骤：

S12.检测一人脸图像的人脸轮廓点。

在本公开的示例性实施方式中，人脸图像指的是仅包括人脸的图像，也就是说，人脸图像不包括或几乎不包括除人脸之外其他对象的图像。显然，例如一张带有海滩背景且包含人脸的图像不属于本公开所述的人脸图像。

根据本公开的一些实施例，在原始图像为人脸图像时，可以直接检测该人脸图像的人脸轮廓点。

根据本公开的一些实施例，在原始图像除包含人脸信息外还包含其他对象信息的情况下，在执行步骤S12之前，可以从原始图像中提取人脸图像。

针对提取人脸图像的过程，可以对原始图像执行多次非人脸过滤处理过程。

可以采用MTCNN(Multi-Task Convolutional Neural Network，多任务卷积神经网络)模型来过滤非人脸信息。其中，MTCNN模型可以包括三个级联的网络，分别为P-Net(Proposal Network，建议网络)、R-Net(Refine Network，提炼网络)和O-Net(OutputNetwork，输出网络)。另外，三个级联网络的输入要求分别为12×12×3、24×24×3和48×48×3，以12×12×3为例，其中，12×12表示图像的尺寸，3表示图像的通道数。

参考图2，MTCNN模型2可以包括级联的P-Net 21、R-Net 22和O-Net 23。首先，服务器将原始图像的尺寸调整为12×12×3并输入至P-Net 21。例如，P-Net 21可以包括三个卷积层，并通过一个人脸分类器，同时使用边框回归和一个面部关键点的定位器来进行人脸区域的初步建议，输出多张可能存在人脸的人脸区域。通过P-Net 21，可以过滤掉大部分非人脸信息。

P-Net 21输出的结果可以输入到R-Net 22中，实现高精度过滤和人脸区域优化的效果，由此，进一步过滤一部分非人脸信息。

接下来，R-Net 22输出的结果输入到O-Net 23中，以确定出最终的人脸图像。

需要理解的是，一方面，如果经历上述MTCNN模型，未检测到人脸图像，则表明该原始图像中不存在人脸，在这种情况下，结束针对该原始图像的人脸表情识别过程。另一方面，如果经历上述MTCNN模型，确定出多张人脸图像，则可以针对每一张人脸图像执行下述人脸表情识别过程。另外，在存在多张人脸图像的情况下，可以人为选择其关注的人脸进行表情识别，避免在分析多张人脸图像时资源消耗过大的问题，具体的，可以人为点击原始图像上一人脸区域，以确定与该人脸区域对应的人脸图像，作为进行下述人脸表情识别过程的人脸图像。

除MTCNN外，还可以采用其他方法从原始图像中提取人脸图像，本示例性实施方式中对此不做特殊限定。

在确定出人脸图像后，可以检测人脸图像的人脸轮廓点。

根据本公开的一些实施例，可以通过Dlib官方训练好的模型“shape_predictor_68_face_landmarks.dat”来检测人脸轮廓点。如图3所示，针对确定出的人脸图像，利用该模型，可以得到68个人脸轮廓点。由于在下述确定表情识别区域的过程中，可以仅利用外围轮廓点，故图3中仅对26个外围轮廓点进行了标记，以便分析。

应当注意的是，将其他人脸轮廓点检测方案应用于本公开的手段，均应属于本发明的保护范围。

S14.利用所述人脸轮廓点从所述人脸图像中确定出表情识别区域，并生成包含所述表情识别区域的待识别图像。

本公开所述的表情识别区域可以为人脸轮廓点中的外围轮廓点围成的区域。

根据本公开的一些实施例，首先，可以基于步骤S12中确定出的人脸轮廓点，确定表征人脸轮廓的多边形。仍以图3为例，可以利用外围轮廓点构建多边形，具体的，可以依次连接轮廓点0、1、2、3、4、5、6、7、8、9、10、11、12、13、14、15、16、26、25、24、23、22、21、20、19、18、17，得到一个多边形。

接下来，可以根据人脸图像中各像素点相对于该多边形的位置，从人脸图像中确定出表情识别区域。其中，表情识别区域为本公开实施方式实际对表情识别结果作出贡献的区域。

确定人脸图像中各像素点相对于多边形的位置，可以指判断像素点是否在该多边形内。

可以采用射线法确定各像素点相对于多边形的位置。具体的，人脸图像中包括一目标像素点，应当理解的是，目标像素点可以是人脸图像中任意一个像素点。可以以该目标像素点为射线端点，向任意方向形成射线，如果射线与多边形各边的交点数量均为奇数，则确定该目标像素点位于该多边形内，进而确定出该目标像素点位于表情识别区域内；如果射线与多边形各边的交点数量均为偶数，则确定该目标像素点位于该多边形外，进而确定出该目标像素点位于表情识别区域外。

由此，遍历人脸图像中所有像素点，即可确定出表情识别区域。

根据本公开的另一些实施例，在确定出表征人脸轮廓的多边形后，在以人脸图像建立坐标系的情况下，可以确定该多边形各边相对于人脸图像的坐标点，进而可以确定该多边形内各像素点的坐标点，由此，可以确定出表情识别区域相对于人脸图像的位置，也就是说，从人脸图像中确定出表情识别区域。

在确定出表情识别区域后，可以生成包含该表情识别区域的待识别图像。

根据本公开的一些实施例，可以直接提取该表情识别区域，作为待识别图像，通常，待识别图像为矩形，也就是说，可以将人脸图像中恰好包括表情识别区域的矩形图像确定为本公开所述的待识别图像。

根据本公开的另一些实施例，针对人脸图像，可以将除表情识别区域外的各像素点的像素值设置为零，随后，将设置后的人脸图像作为待识别图像。

S16.将所述待识别图像输入一训练后的机器学习模型中，根据所述机器学习模型的输出结果确定所述人脸图像的人脸表情。

根据本公开的一些实施例，本公开所采用的机器学习模型可以是Inception_V3网络。然而，还可以采用其他机器学习模型来预测人脸表情，例如，决策树、支持向量机等，本示例性实施方式中对此不做特殊限定。

图4示意性示出了本公开所采用的Inception_V3网络结构。

首先，可以判断待识别图像的尺寸与机器学习模型的输入尺寸是否一致，在不一致时，将待识别图像的尺寸调整为机械学习模型的输入尺寸。具体的，针对Inception_V3网络结构，需要将待识别图像调整为299×299×3的图像。接下来，执行网络的处理过程。

具体的，采用通道数为32、大小为3×3且采样间隔(或称为步长)为2的卷积核对299×299×3的图像进行处理，得到149×149×32的特征图；采用通道数为32、大小为3×3且采样间隔为1的卷积核对149×149×32的特征图进行处理，得到147×147×32的特征图；采用通道数为64、大小为1×1且采样间隔为1的卷积核对147×147×32的特征图进行处理，得到147×147×64的特征图；对147×147×64的特征图进行3×3且采样间隔为2的最大池化处理，得到73×73×64的特征图；采用通道数为80、大小为1×1且采样间隔为1的卷积核对73×73×64的特征图进行处理，得到73×73×80的特征图；采用通道数为192、大小为3×3且采样间隔为1的卷积核对73×73×80的特征图进行处理，得到71×71×192的特征图；采用通道数为192、大小为3×3且采样间隔为2的卷积核对71×71×192的特征图进行处理，得到35×35×192的特征图；对35×35×192的特征图执行3个Inception模块的处理，得到35×35×288的特征图；对35×35×288的特征图执行5个Inception模块的处理，得到17×17×768的特征图；对17×17×768的特征图执行2个Inception模块的处理，得到8×8×1280的特征图；对8×8×1280的特征图执行8×8且采样间隔为1的平均池化处理，得到1×1×1280的特征图；经历全连接层和Softmax层，最后得到一个7维的由0、1组成向量，其中，向量中对应为1的索引为该人脸图像对应的人脸表情。应当理解的是，7维可以表征七种基本表情，分别为生气、害怕、厌恶、开心、悲伤、惊讶以及中立。

另外，图4中的Auxlogits辅助单元的作用在于：有助于使模型在训练过程中损失函数的收敛。

图5示出了图4中Inception模块的结构图，其中，针对在进行上述3个Inception模块的处理过程中所用的Inception模块，图5中的n可以为3；针对在进行上述5个Inception模块的处理过程中所用的Inception模块，图5中的n可以为5；针对在进行上述2个Inception模块的处理过程中所用的Inception模块，图5中的n可以为7。

针对训练网络所用的样本图像，由于一些技术中，往往忽略了样本本身的一些固有特征，例如，旋转不变性、尺度不变性、平移不变性等，导致人脸表情识别结果不准确。鉴于此，本公开对样本图像进行处理，以提高模型的鲁棒性，进而可以提高人脸表情识别的准确度。

具体的，服务器可以获取任意一个样本图像，对该样本图像进行一种或多种类型的图像转换过程，得到与该样本图像对应的变换图像集合，并将该样本图像以及该变换图像集合中的各图像均作为训练模型的样本。

具体的，图像转换的类型包括但不限于：图像归一化、图像饱和度调整、图像亮度调整、图像对比度调整、图像色相调整、图像镜像转换、图像任意角度旋转等。

上述图像转换过程中，可以随机配置调整的程度，本公开对调整或转换的程度不做特殊限制。

以一个样本图像进行多次图像转换得到一个变换图像为例进行说明。例如，可以对一个样本图像I_ori进行归一化得到I_normlize；对I_normalize做随机镜像得到I_flip；对I_flip饱和度随机变换，饱和度随机变化最小因子为0.5，最大因子为1.5，得到图像I_saturate；对I_saturate做随机亮度变化，其中，亮度变化最大及最小因子分别为0.125和-0.125，得到图像I_brightness；对I_brightness做随机对比度变化，对比度最小因子为0.5，最大因子为1.5，得到图像I_contrast；对I_contrast做随机色相变化，色相最大及最小因子分别为0.2和-0.2，得到图像I_hue；对I_hue在-45°到45°范围内做随机角度变换，得到图像I_transform。容易看出，图像I_transform即是样本图像I_ori经图像变换后得到的一个变换图像。

通过图像转换的方式增加样本图像的类型及数量，可以有效提高模型的鲁棒性，进而提高人脸表情识别的准确度。

下面将参考图6对本公开示例性实施方式的人脸表情识别过程进行示例性说明。

在步骤S602中，服务器获取原始图像；在步骤S604中，服务器利用MTCNN模型对原始图像进行人脸检测，以便提取人脸图像；在步骤S606中，服务器可以判断在对原始图像进行检测过程中，是否存在人脸图像，如果未存在人脸图像，则返回步骤S602，以便开始对另一原始图像进行处理，如果存在人脸图像，则执行步骤S608；在步骤S608中，可以提取人脸图像中的人脸轮廓点；在步骤S610中，可以基于人脸轮廓点确定表情识别区域，并生成包含该表情识别区域的待识别图像；在步骤S612中，可以将待识别图像输入训练后的Inception_V3网络，以得到表情识别结果。

另外，步骤S614至步骤S618表示形成样本图像以及对Inception_V3网络进行训练的过程。在步骤S614中，可以获取样本图像，其中，该样本图像可以是任意包含人脸信息的图像；在步骤S616中，可以对样本图像进行图像转换，得到变换图像集合；在步骤S618中，可以利用样本图像以及对应的变换图像集合对Inception_V3网络进行训练，以确定训练后的Inception_V3网络。

应当注意，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

进一步的，本示例实施方式中还提供了一种人脸表情识别装置。

图7示意性示出了本公开的示例性实施方式的人脸表情识别装置的方框图。参考图7，根据本公开的示例性实施方式的人脸表情识别装置7可以包括轮廓点检测模块71、待识别图像生成模块73和表情识别模块75。

具体的，轮廓点检测模块71可以用于检测一人脸图像的人脸轮廓点；待识别图像生成模块73可以用于利用所述人脸轮廓点从所述人脸图像中确定出表情识别区域，并生成包含所述表情识别区域的待识别图像；表情识别模块75可以用于将所述待识别图像输入一训练后的机器学习模型中，根据所述机器学习模型的输出结果确定所述人脸图像的人脸表情。

基于本公开示例性实施方式的人脸表情识别装置，通过利用人脸轮廓点从人脸图像中确定出表情识别区域，实现了表情识别区域与背景区域的分离，抑制了背景噪声对人脸表情识别的影响，提高了人脸表情识别的准确度。

根据本公开的示例性实施例，参考图8，待识别图像生成模块73可以包括多边形确定单元801和表情识别区域确定单元803。

具体的，多边形确定单元801可以用于基于所述人脸轮廓点确定表征人脸轮廓的多边形；表情识别区域确定单元803可以用于根据所述人脸图像中各像素点相对于所述多边形的位置，从所述人脸图像中确定出表情识别区域。

根据本公开的示例性实施例，表情识别区域确定单元803可以被配置为执行：针对人脸图像中包括的一目标像素点，如果以所述目标像素点为端点的任意射线与所述多边形各边的交点数量均为奇数，则确定所述目标像素点位于所述表情识别区域内；如果以所述目标像素点为端点的任意射线与所述多边形各边的交点数量均为偶数，则确定所述目标像素点位于所述表情识别区域外。

根据本公开的示例性实施例，参考图9，待识别图像生成模块73还包括待识别图像生成单元901。

具体的，待识别图像生成单元901可以用于将所述人脸图像中所述表情识别区域外的各像素点的像素值设置为零，生成包含所述表情识别区域的待识别图像。

根据本公开的示例性实施例，参考图10，人脸表情识别装置10相比于人脸表情识别装置7，还可以包括模型训练模块101。

具体的，模型训练模块101可以被配置为执行：获取样本图像，对所述样本图像进行一种或多种类型的图像转换过程，得到与所述样本图像对应的变换图像集合；利用所述样本图像以及与所述样本图像对应的变换图像集合，对所述机器学习模型进行训练，以得到训练后的机器学习模型。

根据本公开的示例性实施例，所述图像转换的类型包括：图像归一化、图像饱和度调整、图像亮度调整、图像对比度调整、图像色相调整、图像镜像转换、图像任意角度旋转。

根据本公开的示例性实施例，参考图11，人脸表情识别装置11相比于人脸表情识别装置7，还可以包括人脸图像提取模块111。

具体的，人脸图像提取模块111可以用于对一原始图像进行多次非人脸过滤处理，以从所述原始图像中提取所述人脸图像。

根据本公开的示例性实施例，表情识别模块75执行将待识别图像输入训练后的机器学习模型中的过程可以被配置为执行：如果所述待识别图像的尺寸与所述机器学习模型的输入尺寸不一致，则将所述待识别图像的尺寸调整为所述机器学习模型的输入尺寸，并将尺寸调整后的所述待识别图像输入所述训练后的机器学习模型中。

由于本发明实施方式的程序运行性能分析装置的各个功能模块与上述方法发明实施方式中相同，因此在此不再赘述。

在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。

根据本发明的实施方式的用于实现上述方法的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光盘、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

下面参照图12来描述根据本发明的这种实施方式的电子设备1200。图12显示的电子设备1200仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图12所示，电子设备1200以通用计算设备的形式表现。电子设备1200的组件可以包括但不限于：上述至少一个处理单元1210、上述至少一个存储单元1220、连接不同系统组件(包括存储单元1220和处理单元1210)的总线1230、显示单元1240。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元1210执行，使得所述处理单元1210执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元1210可以执行如图1中所示的步骤S12至步骤S16。

存储单元1220可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)12201和/或高速缓存存储单元12202，还可以进一步包括只读存储单元(ROM)12203。

存储单元1220还可以包括具有一组(至少一个)程序模块12205的程序/实用工具12204，这样的程序模块12205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线1230可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备1200也可以与一个或多个外部设备1300(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备1200交互的设备通信，和/或与使得该电子设备1200能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1250进行。并且，电子设备1200还可以通过网络适配器1260与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器1260通过总线1230与电子设备1200的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备1200使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。

此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (9)

1.一种人脸表情识别方法，其特征在于，包括：

检测一人脸图像的人脸轮廓点；

利用所述人脸轮廓点中的外围轮廓点确定表征人脸轮廓的多边形，根据所述人脸图像中各像素点相对于所述多边形的位置，从所述人脸图像中确定出表情识别区域，并生成包含所述表情识别区域的待识别图像；

将所述待识别图像输入一训练后的机器学习模型中，根据所述机器学习模型的输出结果确定所述人脸图像的人脸表情；

其中，根据所述人脸图像中各像素点相对于所述多边形的位置，从所述人脸图像中确定出表情识别区域，包括：

如果以目标像素点为端点的任意射线与所述多边形各边的交点数量均为奇数，则确定所述目标像素点位于所述表情识别区域内；

如果以所述目标像素点为端点的任意射线与所述多边形各边的交点数量均为偶数，则确定所述目标像素点位于所述表情识别区域外；

所述目标像素点是所述人脸图像中任意一个像素点。

2.根据权利要求1所述的人脸表情识别方法，其特征在于，生成包含所述表情识别区域的待识别图像包括：

将所述人脸图像中所述表情识别区域外的各像素点的像素值设置为零，生成包含所述表情识别区域的待识别图像。

3.根据权利要求1所述的人脸表情识别方法，其特征在于，所述人脸表情识别方法还包括：

获取样本图像，对所述样本图像进行一种或多种类型的图像转换过程，得到与所述样本图像对应的变换图像集合；

利用所述样本图像以及与所述样本图像对应的变换图像集合，对所述机器学习模型进行训练，以得到训练后的机器学习模型。

4.根据权利要求3所述的人脸表情识别方法，其特征在于，所述图像转换的类型包括：图像归一化、图像饱和度调整、图像亮度调整、图像对比度调整、图像色相调整、图像镜像转换、图像任意角度旋转。

5.根据权利要求1所述的人脸表情识别方法，其特征在于，所述人脸表情识别方法还包括：

对一原始图像进行多次非人脸过滤处理，以从所述原始图像中提取所述人脸图像。

6.根据权利要求1所述的人脸表情识别方法，其特征在于，将所述待识别图像输入一训练后的机器学习模型中包括：

如果所述待识别图像的尺寸与所述机器学习模型的输入尺寸不一致，则将所述待识别图像的尺寸调整为所述机器学习模型的输入尺寸，并将尺寸调整后的所述待识别图像输入所述训练后的机器学习模型中。

7.一种人脸表情识别装置，其特征在于，包括：

轮廓点检测模块，用于检测一人脸图像的人脸轮廓点；

待识别图像生成模块，用于利用所述人脸轮廓点中的外围轮廓点确定表征人脸轮廓的多边形，根据所述人脸图像中各像素点相对于所述多边形的位置，从所述人脸图像中确定出表情识别区域，并生成包含所述表情识别区域的待识别图像；

表情识别模块，用于将所述待识别图像输入一训练后的机器学习模型中，根据所述机器学习模型的输出结果确定所述人脸图像的人脸表情；

其中，所述待识别生成模块被配置为：如果以目标像素点为端点的任意射线与所述多边形各边的交点数量均为奇数，则确定所述目标像素点位于所述表情识别区域内；如果以所述目标像素点为端点的任意射线与所述多边形各边的交点数量均为偶数，则确定所述目标像素点位于所述表情识别区域外；所述目标像素点是所述人脸图像中任意一个像素点。

8.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的人脸表情识别方法。

9.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至6中任一项所述的人脸表情识别方法。