CN115937949A - 一种表情识别的方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请提供了一种表情识别的方法、装置、电子设备及存储介质，本申请通过将人脸划分为六个表情区域，通过分类识别模型对每区域运动类型进行识别，将识别结果结合获得最终情绪判定。该方法能提升人脸情绪检测精度，改善静态图片情绪检测存在的易受干扰、泛化能力较差的问题，也避了免视频输入情绪检测方法存在的模型结构过于复杂，资源占用高、推理速度慢的问题。适用于配置在车载环境，对驾驶员的情绪进行实时监测，能够在驾驶员出现不良情绪时及时做出应对，减少因过激情绪导致的交通事故的发生。

Description

一种表情识别的方法、装置、电子设备及存储介质

技术领域

本申请涉及表情识别技术领域，具体而言，涉及一种表情识别的方法、装置、电子设备及存储介质。

背景技术

随着各行各业的飞速发展，汽车已经成为人们生活中必备的交通工具之一。汽车为人们带来便利的同时，也增加了许多安全隐患。通过对驾驶人员在驾驶车辆时的面部表情进行识别，能够为预防安全事故的发生提供有效的预测依据。

目前，在对驾驶人员进行表情识别时，都是通过获取整体的驾驶人员的面部图像或者视频直接进行预测。对于驾驶人员来说，拥有与年龄、性别、身材等具有变化性，面部表情的展现程度也存在差异，所以将整体的面部图像或者视频直接进行识别话，识别结果的准确性较低，容易导致误判。

发明内容

有鉴于此，本申请的目的在于提供一种表情识别的方法、装置、电子设备及存储介质，以克服现有技术中的问题。

第一方面，本申请实施例提供了一种表情识别的方法，所述方法包括：

获取行驶过程中驾驶人员的待识别表情图像，并通过对所述待识别表情图像进行检测，将所述待识别表情图像划分为多个的待识别分区图像；所述待识别分区图像中包含有面部运动特征，所述面部运动特征具有不同的运动类型；

将各个所述待识别分区图像输入到预先训练好的分类识别模型中，所述分类识别模型对所述面部运动特征的运动类型进行识别，得到所述分类识别模型输出各个所述待识别分区图像运动类型的识别结果；

根据各个所述待识别分区图像运动类型的识别结果，确定所述驾驶人员的面部表情，并根据所述驾驶人员的面部表情为所述驾驶人员提供相应的驾驶提示。

在本申请一些技术方案中，上述面部运动特征包括：眉、眼、鼻、口、脸颊和下巴，所述通过对所述待识别表情图像进行检测，将所述待识别表情图像划分为多个的待识别分区图像，包括：

使用人脸检测器对所述待识别表情图像进行检测，将所述待识别表情图像划分为眉部分区图像、眼部分区图像、鼻部分区图像、口部分区图像、脸颊分区图像和下巴分区图像。

在本申请一些技术方案中，上述通过对所述待识别表情图像进行检测，将所述待识别表情图像划分为多个的待识别分区图像，包括：

通过对所述待识别表情图像进行检测，将所述待识别表情图像划分为多个的初始分区图像；

若所述初始分区图像为非灰度图，将所述初始分区图像转化为对应的灰度图，并将转化后的灰度图作为所述待识别分区图像。

在本申请一些技术方案中，上述分类识别模型包括十层变换，其中，五层为卷积层，四层为全连接层和一层为全连接输出层。

在本申请一些技术方案中，上述将各个所述待识别分区图像输入到预先训练好的分类识别模型之前，所述方法还包括：

对所述待识别分区图像的尺寸进行检测，若所述待识别分区图像的尺寸未达到预设的目标长度，对所述待识别分区图像进行边缘填充，以使所述待识别分区图像的尺寸为目标长度。

在本申请一些技术方案中，上述分类识别模型对所述面部运动特征的运动类型进行识别，得到所述分类识别模型输出各个所述待识别分区图像运动类型的识别结果，包括：

所述分类识别模型对所述待识别分区图像对应的面部区域识别和所述区域运动类型的识别，得到所述分类识别模型输出的各个所述待识别分区图像对应的面部区域代码和运动类型的类别代码。

在本申请一些技术方案中，上述根据各个所述待识别分区图像运动类型的识别结果，确定所述驾驶人员的面部表情，包括：

将所述待识别表情图像对应的区域类别组合与预设的识别表进行对比，确定所述驾驶人员的面部表情；其中，所述识别表中包括各种情绪和对应的区域类别组合，所述区域类别组合包括面部区域代码和运动类型识别代码。

第二方面，本申请实施例提供了一种表情识别的装置，所述装置包括：

划分模块，用于获取行驶过程中驾驶人员的待识别表情图像，并通过对所述待识别表情图像进行检测，将所述待识别表情图像划分为多个的待识别分区图像；所述待识别分区图像中包含有面部运动特征，所述面部运动特征具有不同的运动类型；

识别模块，用于将各个所述待识别分区图像输入到预先训练好的分类识别模型中，所述分类识别模型对所述面部运动特征的运动类型进行识别，得到所述分类识别模型输出各个所述待识别分区图像运动类型的识别结果；

确定模块，用于根据各个所述待识别分区图像运动类型的识别结果，确定所述驾驶人员的面部表情，并根据所述驾驶人员的面部表情为所述驾驶人员提供相应的驾驶提示。

第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的表情识别的方法的步骤。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述的表情识别的方法的步骤。

本申请的实施例提供的技术方案可以包括以下有益效果：

本申请方法包括获取行驶过程中驾驶人员的待识别表情图像，并通过对所述待识别表情图像进行检测，将所述待识别表情图像划分为多个的待识别分区图像；所述待识别分区图像中包含有面部运动特征，所述面部运动特征具有不同的运动类型；将各个所述待识别分区图像输入到预先训练好的分类识别模型中，所述分类识别模型对所述面部运动特征的运动类型进行识别，得到所述分类识别模型输出各个所述待识别分区图像运动类型的识别结果；根据各个所述待识别分区图像运动类型的识别结果，确定所述驾驶人员的面部表情，并根据所述驾驶人员的面部表情为所述驾驶人员提供相应的驾驶提示。本申请通过将人脸划分为六个表情区域，通过分类识别模型对每区域运动类型进行识别，将识别结果结合获得最终情绪判定。该方法能提升人脸情绪检测精度，改善静态图片情绪检测存在的易受干扰、泛化能力较差的问题，也避了免视频输入情绪检测方法存在的模型结构过于复杂，资源占用高、推理速度慢的问题。适用于配置在车载环境，对驾驶员的情绪进行实时监测，能够在驾驶员出现不良情绪时及时做出应对，减少因过激情绪导致的交通事故的发生。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例所提供的一种表情识别的方法的流程示意图；

图2示出了本申请实施例所提供的一种现有技术中表情识别示意图；

图3示出了本申请实施例所提供的一种分类识别模型示意图；

图4示出了本申请实施例所提供的一种面部区域代码、区域运动类型和类别代码示意图；

图5示出了本申请实施例所提供的一种识别表示意图；

图6示出了本申请实施例所提供的一种本申请实施例的整体流程示意图；

图7示出了本申请实施例所提供的另一种本申请实施例的整体流程示意图；

图8示出了本申请实施例所提供的一种表情识别的装置示意图；

图9为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。

另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。

现如今汽车的使用已经渗透入我们生活的方方面面，在为我们带来便利的同时，也增加了许多安全隐患，我国每年都有数万人因交通事故身亡，如何通过技术手段降低交通事故发生几率，是一件亟待考虑的问题。据美国弗吉尼亚理工大学一项研究显示，驾驶过程中驾驶员的过激情绪可能比开车时接打电话更加危险，出车祸的几率约是开车打手机的5倍，是正常开车的9.8倍。通过驾驶员监控系统(DMS)实时对驾驶员的情绪进行监测，并在驾驶员出现激烈情绪时及时示警做出反应，可以有效减少因过激情绪而导致的事故发生。

早在20世纪Ekman与Friesen等专家就通过跨文化调研的方式提出其类基础表情，分别是开心、生气、害怕、厌恶、惊讶、悲伤以及中立，现有的情绪识别算法也多是基于这七类基础表情进行分类识别，利用深度学习技术，将图像或视频输入人脸检测模型，提取出图片中的人脸部分，然后将人脸图片进行数据增强、数据标准化操作，将得到的图片输入网络模型，令模型提取并学习人脸表情特征或人脸关键点运动方向，进而做出对于表情所属类别的预测，如图2所示。

大量的数据输入是深度神经网络进行深度学习过程中必不可少的部分，模型需要通过学习图像或视频数据上的特征实现对结果的准确预测。然而当情绪识别技术从实验室走向真实场景，检测环境中大量的干扰因素影响了模型预测的准确性。

从驾驶员个人属性来说，人种、年龄、性别、身形等具有高度的变化性；从环境角度来说，光照、遮挡、复杂的背景环境，各种不受限的场景十分常见；且每个人对于情绪的展现程度不同，亚洲人的日常情绪表达大多较为内敛，然而现有的公开数据集多采集于欧美，面部表情幅度较大。这些因素和表情之间是非线性关系，会对模型造成干扰，而想要输入的图像视频涵盖所有的不确定因素在短期内难以实现。尽管通过各种方法进行数据预处理可以有效减少环境因素的干扰，但个体差异带来的影响仍然难以控制。

还有从工程应用角度考虑，尽管视频输入的基于时空上下文的动态表情分析相比于静态图像更贴合真实场景，可以达到更高的准确度，然而复杂的模型结构及大量的计算需求限制了该种方法在工程应用的推广。

基于此，本申请实施例提供了一种表情识别的方法、装置、电子设备及存储介质，下面通过实施例进行描述。

图1示出了本申请实施例所提供的一种表情识别的方法的流程示意图，其中，该方法包括步骤S101-S103；具体的：

S101、获取行驶过程中驾驶人员的待识别表情图像，并通过对所述待识别表情图像进行检测，将所述待识别表情图像划分为多个的待识别分区图像；所述待识别分区图像中包含有面部运动特征，所述面部运动特征具有不同的运动类型；

S102、将各个所述待识别分区图像输入到预先训练好的分类识别模型中，所述分类识别模型对所述面部运动特征的运动类型进行识别，得到所述分类识别模型输出各个所述待识别分区图像运动类型的识别结果；

S103、根据各个所述待识别分区图像运动类型的识别结果，确定所述驾驶人员的面部表情，并根据所述驾驶人员的面部表情为所述驾驶人员提供相应的驾驶提示。

本申请通过将人脸划分为六个表情区域，通过分类识别模型对每区域运动类型进行识别，将识别结果结合获得最终情绪判定。该方法能提升人脸情绪检测精度，改善静态图片情绪检测存在的易受干扰、泛化能力较差的问题，也避了免视频输入情绪检测方法存在的模型结构过于复杂，资源占用高、推理速度慢的问题。适用于配置在车载环境，对驾驶员的情绪进行实时监测，能够在驾驶员出现不良情绪时及时做出应对，减少因过激情绪导致的交通事故的发生。

下面对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

S101、获取行驶过程中驾驶人员的待识别表情图像，并通过对所述待识别表情图像进行检测，将所述待识别表情图像划分为多个的待识别分区图像；所述待识别分区图像中包含有面部运动特征，所述面部运动特征具有不同的运动类型。

本申请主要针对的是在驾驶车辆行驶过程中的驾驶人员，针对该驾驶人员，通过在驾驶仓内设置摄像头能够采集驾驶人员在驾驶过程中的待识别表情图像。这里的待识别表情图像为包含驾驶人员整个面部的图像，由于本申请是要通过对图像进行分析识别出驾驶人员的表情(情绪)，所以本申请实施例将采集到驾驶人员的整个面部的图像称之为待识别图像。待识别图像可以是摄像头直接通过拍照获取的，也可以是从拍摄的视频中截取的。

在获取了待识别表情图像之后，本申请实施例需要对待识别表情图像进行检测，通过对待识别表情图像中的面部运动特征进行检测，将包含有面部运动特征的图像区域进行划分，将待识别表情图像划分为多个待识别分区图像。每个待识别分区图像中都包含有面部运动特征，每个面部运动特征都具有不同的运动类型。

本申请实施例中的面部运动特征表征的是面部能够发生移动且能够对表情产生影响的部位，例如眉、眼、鼻、口、脸颊和下巴。本申请实施例认为眉、眼、鼻、口、脸颊和下巴在不同的表情下，移动的方向和幅度是不一样的。基于对于眉、眼、鼻、口、脸颊和下巴的运动类型进行分析能够更加精确的确定出面部表情(情绪)，避免了其他因素的干扰。

在对待识别表情进行识别时，可以使用Viola-Jones人脸检测器。通过Viola-Jones人脸检测器对待识别表情图像中的眉、眼、鼻、口、脸颊和下巴进行识别，进而将待识别表情图像划分为眉部分区图像、眼部分区图像、鼻部分区图像、口部分区图像、脸颊分区图像和下巴分区图像。即上述实施例中的待识别分区图像分别为眉部分区图像、眼部分区图像、鼻部分区图像、口部分区图像、脸颊分区图像和下巴分区图像。

进一步的，为了进一步的降低光线等因素对于待识别表情图像的影响，本申请实施例在对待识别表情图像进行划分的时候，先将待识别表情图像划分为了初始分区图像。之后在对初始分区图像进行了灰度检测，如果初始分区图像为灰度图的话，将该初始分区图像直接作为待识别分区图像进行使用。如果初始分区图像不是灰度图的话，需要对初始分区图像进行转化，将其转化为对应的灰度图。并将转化后的灰度图作为待识别分区图像。

S102、将各个所述待识别分区图像输入到预先训练好的分类识别模型中，所述分类识别模型对所述面部运动特征的运动类型进行识别，得到所述分类识别模型输出各个所述待识别分区图像运动类型的识别结果。

在得到了各个待识别分区图像之后，本申请实施例将各个待识别分区图像输入到了预先训练好的分类识别模型中，通过分类识别模型对各个待识别分区图像包含的面部运动特征的运动类型进行识别，并得到识别结果。

这里的分类识别模型为卷积神经网络(CNN)，其包含了十层变换，其中五层卷积和四层全连接层以及一个全连接输出层。如图3所示，不同面部区域存在数量不一的运动类型分类，输出数量不同，故全连接输出层并未在图3中示出。使用Max池化，避免平均池化的模糊化效果，并通过Dropout技术在训练过程中将中间层一些神经元随机置为零以增强模型鲁棒性，亦可以减少全连接层的过拟合问题。

如图3所示的分类识别模型，本申请实施例对于输入到分类识别模型的图像的尺寸进行了限定。本申请实施例中的分类识别模型仅支持输入目标尺寸的图像。所以本申请实施例在将待识别分区图像输入到分类识别模型之前还需要对待识别分区图像的尺寸进行检测，如果待识别分区图像的符合预设的目标尺寸的话，可以直接将待识别分区图像输入到分类识别模型中进行识别，如果待识别分区图像的尺寸未达到预设的目标尺寸的话，就对待识别分区图像进行调整，使得调整后的待识别分区图像达到预设的目标尺寸。具体的，在对待识别分区图像进行调整包括对待识别分区图像进行边缘填充。待识别分区图像的实际尺寸与目标尺寸的差值填充为黑色，将未填充的待识别分区图像和填充的黑色区域一同作为要输入到分类识别模型中的图像。因为本申请实施例在划分待识别分区图像是以目标尺寸为限制的，所以划分出来的待识别分区图像的尺寸不会出现大于目标尺寸的情况。

待识别分区图像输入到分类识别模型之后，分类识别模型能够对该待识别分区图像包含的面部运动特征的运动类型进行识别。具体为对眉、眼、鼻、口、脸颊和下巴的运动方向进行识别。例如，眉的运动类型包括了中立、八字眉、挑眉和眉毛下压等，通过对待识别分区图像包含的眉进行识别，确定出该待识别分区图像中的眉是属于哪一种运动类型。

为了提高效率，本申请实施例在对待识别分区图像进行识别时，分别为各个面部区域设置了代码，同时也为各个运动类型设置了类别代码。如图4所示，具体的眉为A、眼为B、鼻为C、口为D，脸颊为E、下巴为F。眉的运动类型包括了中立、八字眉、挑眉和眉毛下压对应的类别代码分别为0、1、2、3。眼的运动类型包括了中立、上眼睑提升、眼睑收紧对应的类别代码分别为0、1、2。鼻的运动类型包括了中立和皱鼻对应的类别代码分别为0、1。口的运动类型包括了中立、上唇提升、嘴角提升、嘴角下压、嘴唇两侧拉伸、抿嘴、嘴唇分开和嘴巴张大对应的类别代码分别为0、1、2、3、4、5、6、7、8。脸颊的运动类型包括了中立和脸颊上升对应的类别代码分别为0、1。下巴的运动类型包括了中立、下巴提起和放松下巴对应的类别代码分别为0、1、2。本申请实施例通过对待识别分区图像进行识别，直接确定出该待识别分区图像对应的面部区域代码和运动类型的类别代码。即分类识别模型直接输出该待识别分区图像对应的面部区域代码和运动类型的类别代码。

S103、根据各个所述待识别分区图像运动类型的识别结果，确定所述驾驶人员的面部表情，并根据所述驾驶人员的面部表情为所述驾驶人员提供相应的驾驶提示。

在得到了各个待识别分区图像的识别结果之后，将所有的待识别分区图像的识别结果结合在一起得到区域类别组合，共同用来判断该驾驶人员的面部表情。由于本申请实施例是使用面部区域代码和运动类型的类别代码表示识别结果的，在判断驾驶人员面部表情的时候，还设置了识别表、所述识别表中包括各种情绪和对应的区域类别组合。通过将区域类别组合与识别表中的区域类别组合进行对比进而确定出与该区域类别组合对应的情绪(表情)。具体的识别表如图5所示，情绪包括了快乐、忧伤、惊讶、恐惧、愤怒和厌恶，其中快乐对应的区域类别组合为D2、D2+E1，即待识别表情图像中包括了口、嘴角上升或者口、嘴角上升和脸颊、脸颊上升时对应的情绪为快乐(以下情绪和区域类别组合类似不再赘述)。忧伤对应的区域类别组合为A1、A1+D3、D3+E1。惊讶对应的区域类别组合为A2+B1、A2+F2、B1+F2、A2+B1+D8。恐惧对应的区域类别组合为A1+B1、B1+D5、B1+D7。愤怒对应的区域类别组合为A3+B1、A3+B2、D6+F2。厌恶对应的区域类别组合为D1、D4、C1+D4、D1+F1。

在确定了驾驶人员的面部表情之后，可以根据驾驶人员的面部表情为驾驶人员提供相应的驾驶提示。例如，在驾驶人员恐惧的时候，发出注意车速的语音提示。

本申请实施例中，作为一可选实施例，如图6和图7所示，在具体实施的时候，可以按照以下步骤进行：

步骤一：输入包含清晰人脸的信息的图像；

步骤二：通过人脸检测器得到人脸边界框，将原图像裁剪至面部区域；

步骤三：人脸图像预处理；

步骤四：通过检测模型获取人脸预设分区；

步骤五：将各分区图像输入本发明自研深度学习神经网络，预测各分区所属的运动类型；

步骤六：通过逻辑运算将各分区预测结果组合；

步骤七：输出所属情绪分类；

其中，步骤二使用Viola-Jones人脸检测器，将原图像裁剪至面部区域；步骤三图像预处理需要先将图像统一转为灰度图，因驾驶员监控系统摄像头多为红外摄像头，以此来模拟实际应用场景，然后对图像进行随机的旋转、缩放、翻转，提升模型鲁棒性；步骤四使用yolov5模型进行人脸分区检测，输出我们需要的人脸分区图片。

获取到面部分区图像后，将各分区图像分别输入深度学习模型，使模型对各部分状态进行分类识别，对输出结果组合后判定其所属的情绪分类。其中面部各分区的状态编码衍生于Ekman博士的面部表情编码系统(FACS)，其根据解剖学将面部肌肉动作划分为若干运动单元，描述了不同肌肉动作的组合与不同表情的对应关系，这套经过反复验证的编码系统具有跨人种、跨文化、跨性别、跨年龄的广泛适用性，能够根据肌肉的细微运动微表情进行情绪判定。本发明将其复杂的肌肉运动划分转化为更适用于深度学习的面部分区运动划分，通过将各分区所属状态类型预测结果组合去对应几种对驾驶安全存在潜在影响的情绪。

本申请实施例采用卷积神经网络(CNN)模型用于识别面部各分区运动类型，模型包含10层变换，其中包含五层卷积和四层全连接层，以及一个全连接输出层(因不同面部区域存在数量不一的运动类型分类，输出数量不同，故全连接输出层并未在图三中画出)。使用Max池化，避免平均池化的模糊化效果，并通过Dropout技术在训练过程中将中间层一些神经元随机置为零以增强模型鲁棒性，亦可以减少全连接层的过拟合问题。

卷积神经网络的图像输入尺寸应为(128，128，3)的三通道正方形图像，然而通过yolov5检测出的面部分区图为非固定长宽比的矩形图像，所以在输入模型前应对图像尺寸进行调整。为了不影响图像原有长宽比，这里采用边缘填充的方案进行图像调整。

本发明通过将人脸划分为六个表情区域，令模型对每区域运动类型进行识别，将识别结果结合获得最终情绪判定。该方法能提升人脸情绪检测精度，改善静态图片情绪检测存在的易受干扰、泛化能力较差的问题，也避了免视频输入情绪检测方法存在的模型结构过于复杂，资源占用高、推理速度慢的问题。适用于配置在车载环境，对驾驶员的情绪进行实时监测，能够在驾驶员出现不良情绪时及时做出应对，减少因过激情绪导致的交通事故的发生。

图8示出了本申请实施例所提供的一种表情识别的装置的结构示意图，所述装置包括：

划分模块，用于获取行驶过程中驾驶人员的待识别表情图像，并通过对所述待识别表情图像进行检测，将所述待识别表情图像划分为多个的待识别分区图像；所述待识别分区图像中包含有面部运动特征，所述面部运动特征具有不同的运动类型；

识别模块，用于将各个所述待识别分区图像输入到预先训练好的分类识别模型中，所述分类识别模型对所述面部运动特征的运动类型进行识别，得到所述分类识别模型输出各个所述待识别分区图像运动类型的识别结果；

确定模块，用于根据各个所述待识别分区图像运动类型的识别结果，确定所述驾驶人员的面部表情，并根据所述驾驶人员的面部表情为所述驾驶人员提供相应的驾驶提示。

所述面部运动特征包括：眉、眼、鼻、口、脸颊和下巴，所述通过对所述待识别表情图像进行检测，将所述待识别表情图像划分为多个的待识别分区图像，包括：

使用人脸检测器对所述待识别表情图像进行检测，将所述待识别表情图像划分为眉部分区图像、眼部分区图像、鼻部分区图像、口部分区图像、脸颊分区图像和下巴分区图像。

所述通过对所述待识别表情图像进行检测，将所述待识别表情图像划分为多个的待识别分区图像，包括：

通过对所述待识别表情图像进行检测，将所述待识别表情图像划分为多个的初始分区图像；

若所述初始分区图像为非灰度图，将所述初始分区图像转化为对应的灰度图，并将转化后的灰度图作为所述待识别分区图像。

所述分类识别模型包括十层变换，其中，五层为卷积层，四层为全连接层和一层为全连接输出层。

所述将各个所述待识别分区图像输入到预先训练好的分类识别模型之前，识别模块，还用于对所述待识别分区图像的尺寸进行检测，若所述待识别分区图像的尺寸未达到预设的目标长度，对所述待识别分区图像进行边缘填充，以使所述待识别分区图像的尺寸为目标长度。

所述分类识别模型对所述面部运动特征的运动类型进行识别，得到所述分类识别模型输出各个所述待识别分区图像运动类型的识别结果，包括：

所述分类识别模型对所述待识别分区图像对应的面部区域识别和所述区域运动类型的识别，得到所述分类识别模型输出的各个所述待识别分区图像对应的面部区域代码和运动类型的类别代码。

所述根据各个所述待识别分区图像运动类型的识别结果，确定所述驾驶人员的面部表情，包括：

将所述待识别表情图像对应的区域类别组合与预设的识别表进行对比，确定所述驾驶人员的面部表情；其中，所述识别表中包括各种情绪和对应的区域类别组合，所述区域类别组合包括面部区域代码和运动类型识别代码。

如图9所示，本申请实施例提供了一种电子设备，用于执行本申请中的表情识别的方法，该设备包括存储器、处理器、总线及存储在该存储器上并可在该处理器上运行的计算机程序，其中，上述处理器执行上述计算机程序时实现上述的表情识别的方法的步骤。

具体地，上述存储器和处理器可以为通用的存储器和处理器，这里不做具体限定，当处理器运行存储器存储的计算机程序时，能够执行上述的表情识别的方法。

对应于本申请中的表情识别的方法，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述的表情识别的方法的步骤。

具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述的表情识别的方法。

在本申请所提供的实施例中，应该理解到，所揭露系统和方法，可以通过其它的方式实现。以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种表情识别的方法，其特征在于，所述方法包括：

获取行驶过程中驾驶人员的待识别表情图像，并通过对所述待识别表情图像进行检测，将所述待识别表情图像划分为多个的待识别分区图像；所述待识别分区图像中包含有面部运动特征，所述面部运动特征具有不同的运动类型；

将各个所述待识别分区图像输入到预先训练好的分类识别模型中，所述分类识别模型对所述面部运动特征的运动类型进行识别，得到所述分类识别模型输出各个所述待识别分区图像运动类型的识别结果；

根据各个所述待识别分区图像运动类型的识别结果，确定所述驾驶人员的面部表情，并根据所述驾驶人员的面部表情为所述驾驶人员提供相应的驾驶提示。

2.根据权利要求1所述的方法，其特征在于，所述面部运动特征包括：眉、眼、鼻、口、脸颊和下巴，所述通过对所述待识别表情图像进行检测，将所述待识别表情图像划分为多个的待识别分区图像，包括：

使用人脸检测器对所述待识别表情图像进行检测，将所述待识别表情图像划分为眉部分区图像、眼部分区图像、鼻部分区图像、口部分区图像、脸颊分区图像和下巴分区图像。

3.根据权利要求1所述的方法，其特征在于，所述通过对所述待识别表情图像进行检测，将所述待识别表情图像划分为多个的待识别分区图像，包括：

通过对所述待识别表情图像进行检测，将所述待识别表情图像划分为多个的初始分区图像；

若所述初始分区图像为非灰度图，将所述初始分区图像转化为对应的灰度图，并将转化后的灰度图作为所述待识别分区图像。

4.根据权利要求1所述的方法，其特征在于，所述分类识别模型包括十层变换，其中，五层为卷积层，四层为全连接层和一层为全连接输出层。

5.根据权利要求1所述的方法，其特征在于，所述将各个所述待识别分区图像输入到预先训练好的分类识别模型之前，所述方法还包括：

对所述待识别分区图像的尺寸进行检测，若所述待识别分区图像的尺寸未达到预设的目标长度，对所述待识别分区图像进行边缘填充，以使所述待识别分区图像的尺寸为目标长度。

6.根据权利要求1所述的方法，其特征在于，所述分类识别模型对所述面部运动特征的运动类型进行识别，得到所述分类识别模型输出各个所述待识别分区图像运动类型的识别结果，包括：

所述分类识别模型对所述待识别分区图像对应的面部区域识别和所述区域运动类型的识别，得到所述分类识别模型输出的各个所述待识别分区图像对应的面部区域代码和运动类型的类别代码。

7.根据权利要求6所述的方法，其特征在于，所述根据各个所述待识别分区图像运动类型的识别结果，确定所述驾驶人员的面部表情，包括：

将所述待识别表情图像对应的区域类别组合与预设的识别表进行对比，确定所述驾驶人员的面部表情；其中，所述识别表中包括各种情绪和对应的区域类别组合，所述区域类别组合包括面部区域代码和运动类型识别代码。

8.一种表情识别的装置，其特征在于，所述装置包括：

划分模块，用于获取行驶过程中驾驶人员的待识别表情图像，并通过对所述待识别表情图像进行检测，将所述待识别表情图像划分为多个的待识别分区图像；所述待识别分区图像中包含有面部运动特征，所述面部运动特征具有不同的运动类型；

识别模块，用于将各个所述待识别分区图像输入到预先训练好的分类识别模型中，所述分类识别模型对所述面部运动特征的运动类型进行识别，得到所述分类识别模型输出各个所述待识别分区图像运动类型的识别结果；

确定模块，用于根据各个所述待识别分区图像运动类型的识别结果，确定所述驾驶人员的面部表情，并根据所述驾驶人员的面部表情为所述驾驶人员提供相应的驾驶提示。

9.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至7任一所述的表情识别的方法的步骤。

10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至7任一所述的表情识别的方法的步骤。

Images