CN110852220A - 人脸表情的智能识别方法、终端和计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种人脸表情的智能识别方法，包括以下步骤：检测到人脸图像，分别获取所述人脸图像的多个面部区域对应的表情分值；根据各个所述面部区域的表情分值对所述人脸表情进行识别。本发明还公开了一种终端和计算机可读存储介质。本发明通过分别获取所述人脸图像的多个面部区域对应的表情分值，通过所述多个面部区域对应的表情分值的来识别人脸表情，综合多个面部区域的变形来确定人脸表情，进一步提高人脸表情的识别精度。

Description

人脸表情的智能识别方法、终端和计算机可读存储介质

技术领域

本发明涉及人脸识别技术领域，尤其涉及一种人脸表情的智能识别方法、终端和计算机可读存储介质。

背景技术

随着科技的进步，人脸识别技术已经应用得越来越广泛，人脸识别技术是通过计算机提取人脸特征，并根据这些特征进行身份识别的一种技术，具有操作简单、结果直观等优点，在信息安全等领域中具有广泛的应用前景。

人脸识别技术基于可以识别人脸各个位置的形状架构等特征，现人脸识别技术逐渐应用于人脸表情的识别，通过识别人的表情可以对人的当前状态进行评估，然而现今人脸表情的识别准确度低。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种人脸表情的智能识别方法、终端和计算机可读存储介质，由于人脸表情复杂多变，现通过人脸整体结构来识别人脸表情的方式准确度低，本发明旨在解决现今人脸表情的识别准确度低的技术问题。

为了实现上述目的，本发明提供一种人脸表情的智能识别方法，所述人脸表情的智能识别方法包括以下步骤：

检测到人脸图像，分别获取所述人脸图像的多个面部区域对应的表情分值；

根据各个所述面部区域的表情分值对所述人脸表情进行识别。

可选地，所述面部区域包括眉毛区域、嘴巴区域、眼睛区域以及脸颊区域中的至少两个。

可选地，所述分别获取所述人脸图像的多个面部区域对应的表情分值的步骤包括：

分别获取所述人脸图像的每个面部区域的特征点集；

根据所获取的特征点集确定每个所述面部区域的表情分值。

可选地，所述根据所获取的特征点集确定每个所述面部区域的表情分值的步骤包括：

根据所述特征点集生成对应的面部区域的面部轮廓；

根据所述面部轮廓获取所述面部区域的表情分值。

可选地，所述根据所述面部轮廓获取所述面部区域的表情分值的步骤包括：

获取所述面部轮廓相对预设的参考轮廓的翘曲程度；

根据所述翘曲程度确定所述面部区域的表情分值。

可选地，根据各个所述面部区域的表情分值对所述人脸表情进行识别的步骤包括：

分别获取各个所述面部区域对应的权重；

根据所述面部区域的权重以及表情分值确定每个面部区域的分值；

根据各个所述面部区域的分值对所述人脸表情进行识别。

可选地，所述根据各个所述面部区域的表情分值对所述人脸表情进行识别的步骤之后，所述人脸表情的智能识别方法还包括：

获取所述人脸图像的几何信息和像素信息；

根据所述几何信息和所述像素信息构建待识别人脸图像；

识别所述待识别人脸图像对应的用户信息，输出所述用户信息与所述用户信息对应的表情。

可选地，所述根据所述几何信息和所述像素信息构建待识别人脸图像的步骤包括：

创建与未有翘曲面部的人脸图像对应的辅助矩阵；

根据所述辅助矩阵获取所述翘曲面部对应的几何信息；

将所有所述几何信息插入所述参考轮廓上，形成目标轮廓；

将所述人脸图像的各个位置的像素信息映射到所述目标轮廓的对应位置上，形成所述待识别人脸图像。

本发明还提供一种终端，所述终端包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的人脸识别程序，所述人脸识别程序被所述处理器执行时实现如上所述的人脸表情的智能识别方法的各个步骤。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有人脸识别程序，所述人脸识别程序被处理器执行时实现如上所述的人脸表情的智能识别方法的各个步骤。

本发明实施例提出的一种人脸表情的智能识别方法、终端和计算机可读存储介质，通过分别获取所述人脸图像的多个面部区域对应的表情分值，通过所述多个面部区域对应的表情分值的来识别人脸表情，综合多个面部区域的变形来确定人脸表情，进一步提高人脸表情的识别精度。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图；

图2是本发明人脸表情智能识别方法一实施例的流程示意图；

图3是图2中步骤S10进一步细化的流程示意图；

图4是图3中步骤S12进一步细化的流程示意图；

图5是图2中步骤S20进一步细化的流程示意图；

图6是本发明人脸表情智能识别方法另一实施例的流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例的主要解决方案是：检测到人脸图像，分别获取所述人脸图像的多个面部区域对应的表情分值；根据各个所述面部区域的表情分值对所述人脸表情进行识别。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图。

本发明实施例终端可以是智能手机、平板电脑、摄像机、摄影机、服务器、门禁设备等具有人脸识别功能的终端设备，另外所述终端还可以是应用于公共安全的终端设备，如公安人脸认证系统终端等。

如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，摄像头1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

可以理解的是，所述终端还可以包括用户接口，所述用户接口可以包括显示屏(Display)如智能手机或平板电脑的显示屏、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。

可选地，终端为手机或平板电脑时，还可以包括摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感器可在移动终端移动到耳边时，关闭显示屏和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别移动终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；当然，移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及人脸识别程序。

在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的人脸识别程序，并执行以下操作：

检测到人脸图像，分别获取所述人脸图像的多个面部区域对应的表情分值；

根据各个所述面部区域的表情分值对所述人脸表情进行识别。

进一步地，处理器1001可以调用存储器1005中存储的人脸识别程序，还执行以下操作：

分别获取所述人脸图像的每个面部区域的特征点集；

根据所获取的特征点集确定每个所述面部区域的表情分值。

进一步地，处理器1001可以调用存储器1005中存储的人脸识别程序，还执行以下操作：

根据所述特征点集生成对应的面部区域的面部轮廓；

根据所述面部轮廓获取所述面部区域的表情分值。

进一步地，处理器1001可以调用存储器1005中存储的人脸识别程序，还执行以下操作：

获取所述面部轮廓相对预设的参考轮廓的翘曲程度；

根据所述翘曲程度确定所述面部区域的表情分值。

进一步地，处理器1001可以调用存储器1005中存储的人脸识别程序，还执行以下操作：

分别获取各个所述面部区域对应的权重；

根据所述面部区域的权重以及表情分值确定每个面部区域的分值；

根据各个所述面部区域的分值对所述人脸表情进行识别。

进一步地，处理器1001可以调用存储器1005中存储的人脸识别程序，还执行以下操作：

获取所述人脸图像的几何信息和像素信息；

根据所述几何信息和所述像素信息构建待识别人脸图像；

识别所述待识别人脸图像对应的用户信息，输出所述用户信息与所述用户信息对应的表情。

进一步地，处理器1001可以调用存储器1005中存储的人脸识别程序，还执行以下操作：

创建与未有翘曲面部的人脸图像对应的辅助矩阵；

根据所述辅助矩阵获取所述翘曲面部对应的几何信息；

将所有所述几何信息插入所述参考轮廓上，形成目标轮廓；

将所述人脸图像的各个位置的像素信息映射到所述目标轮廓的对应位置上，形成所述待识别人脸图像。

基于人脸表情比较丰富，人脸表情识别的准确度难以把握，对于通过获取整个人脸图像的识别轮廓，查找与该识别轮廓匹配的表情来识别所述人脸图像的表情的方式，由于在获取人脸图像的识别轮廓的过程中就存在误差，若采用该识别轮廓来识别表情，表情识别准确度低；或者对于通过获取人脸图像中的某单一部位的轮廓，采用该单一部位的轮廓来识别人脸表情的方式，由于单一部位相同的扭曲可能表达的情绪都不同，单一部位的轮廓识别表情的准确度也低。基于此，本发明提供一种基于块集合的高精度的人脸表情的智能识别方法，通过结合人脸图像中不同面部区域对应的识别表情分值，集合各个面部区域的表情分值的情况，最终确定人脸图像的表情，提高识别的准确度。

参照图2，一实施例中，所述人脸表情的智能识别方法包括以下步骤：

步骤S10，检测到人脸图像，分别获取所述人脸图像的多个面部区域对应的表情分值；

步骤S20，根据各个所述面部区域的表情分值对所述人脸表情进行识别。

本实施例应用于人脸表情智能识别系统或身份识别系统或人情绪智能识别系统，其中，所述表情智能识别系统或身份识别系统或人情绪智能识别系统可以运行于智能手机、平板电脑等电子终端上，还可以应用于安检设备等公共安全防范设备，如在边防或出入境等设置具有该人脸表情智能识别系统的安检设备，通过识别人的表情，判断行为异常的嫌疑人，有利于公共安全防范。或者还可以应用于性格分析设备等，如在心理咨询中心设置具有该人脸表情智能识别系统的性格分析设备，通过识别病人的表情，判断病人的心理状态，以便于就诊；又如在企业设置具有该人脸表情智能识别系统的性格分析设备，可通过识别面试者等人的表情，分析该面试者的性格，以判断是否符合当前面试的岗位，辅助企业合理识别人才。

具体地，上述设备设有扫描装置，所述扫描装置为相机或具有AR功能的相机，在人脸表情识别过程中，通过所述扫描装置扫描用户的人脸，以获取人脸图像，所述扫描装置扫描人脸过程中，可以获取多维度人脸图像，也可以获取单一维度人脸图像，本实施例采用多维度图像以及单一维度图像均可以实现，本实施例以单一维度人脸图像进行说明。

终端检测到人脸后，通过所述扫描装置获取人脸图像，进而根据扫描到的面部区域的顺序依次获取多个面部区域对应的表情分值，根据各个所述面部区域的表情分值确定所述人脸图像对应的表情，以识别出所述人脸图像的表情。

本实施例中，所述面部区域包括眉毛区域、嘴巴区域、眼睛区域以及脸颊区域中的至少两个，可以理解的是，所述面部区域还可以包括前额区域。人在做不同的表情时，人脸的不同区域会发生不同的变形，如微笑时眉毛自然、松弛，眼睛区域眼角上扬(微弯)，嘴巴区域上弯微变形，脸颊区域苹果机提升等；又如伤心时嘴巴区域下弯微变形，脸颊区域下垂等；或者紧张时，前额区域起皱，眼睛区域的眼帘紧绷，脸颊区域紧绷等。其中，所述面部区域分左右两个区域，如左眉毛区域、右眉毛区域、左眼区域、右眼区域、左脸颊区域和右脸颊区域等，人在做不同的表情时，也可能存在同一面部区域左右两边的变形不同，如不屑的情绪，或奸笑时，左、右脸颊区域的其中一区域的变形比另一区域的变形大，左、右眼睛区域的其中一区域的变形也另一区域的变形大。通过识别至少两个脸部区域的表情分值，结合至少两个脸部区域的表情分值的结果以准确确定人的表情。

进一步地，人在做不同的表情时，人脸的同一面部区域还会发生不同程度的变形，如微笑与大笑时，脸颊区域、嘴角区域的变形程度都不同，本实施例设置各个面部区域的不同变形程度对应有不同的表情分值，通过所述表情分值识别对应的表情。其中，各个所述面部区域不同变形程度与表情分值的对应关系通过一系列的面部变形与表情的训练获得，形成表情分值和面部区域变形程度的一一对应关系，在识别出面部区域的变形程度后，直接获取与所述变成程度的表情分值。或者，各个所述面部区域不同变形程度与表情分值的对应关系还可以通过一系列的面部变形与表情训练后形成表情分值模型，获取人脸图像后，将面部区域输入所述表情分值模型，直接输出所述面部区域对应的表情分值，其中，不同面部区域的表情分值模型不同，将多个面部区域分别输入对应的表情分值模型后，可以分别获得多个面部区域对应的表情分值。

预先设定各个表情与表情分值的对应关系，在获取到各个所述面部区域的表情分值后，分析各个面部区域的表情分值，将最大表情分值对应的表情作为所述人脸图像的表情；或者采用各个表情分值的均值对应的表情作为所述人脸图像的表情；或者分别获取各个面部区域的表情分值对应的表情，将出现次数最多的表情作为所述人脸图像的表情。

本实施例通过分别获取所述人脸图像的多个面部区域对应的表情分值，通过所述多个面部区域对应的表情分值来识别人脸表情，综合多个面部区域的变形来确定人脸表情，进一步提高人脸表情的识别精度。

为了进一步提高对所述人脸图像中的每个面部区域的识别精度，以便于更准确的判断每个面部区域的表情分值，请参照图3，进一步实施例中，所述分别获取所述人脸图像的多个面部区域对应的表情分值的步骤包括：

步骤S11，分别获取所述人脸图像的每个面部区域的特征点集；

步骤S12，根据所获取的特征点集确定每个所述面部区域的表情分值。

也即获取到人脸图像后，先确定需要进行识别的面部区域，如眼睛、嘴巴或脸颊区域等，再分别获取各个所述面部区域的特征点集，通过每个面部区域的特征点集确定所述人脸图像中所述面部区域的表情分值。

具体地，参照图4，所述根据所获取的特征点集确定每个所述面部区域的表情分值的步骤包括：

步骤S121，根据所述特征点集生成对应的面部区域的面部轮廓；

步骤S122，根据所述面部轮廓获取所述面部区域的表情分值。

首先，获取到面部区域的特征点集后，通过所述特征点集生成所述面部区域的面部轮廓，例如获取到眼睛区域的特征点集后，采用所述特征点集生成眼睛区域的轮廓，又如获取到嘴巴区域的特征点集后，采用所述特征点集生成嘴巴区域的轮廓；再而根据所述面部区域对应的面部轮廓的形状来获取所述面部区域的表情分值。

其中，根据所述面部轮廓获取所述面部区域的表情分值的方式包括但不仅限于以下两种：

第一：获取所述面部轮廓相对预设的参考轮廓的翘曲程度；根据所述翘曲程度确定所述面部区域的表情分值。根据特征点集生成对应的面部区域的面部轮廓后，分析所述面部轮廓相对于预设的参考轮廓的翘曲程度，根据翘曲程度与表情分值的映射关系，获取所述面部区域对应的表情分值。其中，所述参考轮廓是通过多个中性面部进行平均化训练获得的，该参考轮廓对应的人脸为无表情状态，表情分值为0，若所分析的面部轮廓相对于所述参考轮廓翘曲程度呈正方向翘曲，如嘴角上扬，则对应表情分值取正值，根据不同的翘曲程度对应的表情分值不同，不同的表情分值对应的表情/情绪不同。

本方法中通过获取面部轮廓相对参考轮廓的曲翘程度来确定面部轮廓的表情分值，不需要在数据库中存储各种表情及/或表情分值对应的轮廓，更不需要从数据库中一一查找与该面部轮廓对应的轮廓，以确定该面部轮廓对应的表情及/或表情分值，响应速度快。

第二：从预设数据库中查找与所述面部轮廓对应的表情轮廓；根据所述表情轮廓确定所述面部区域对应的表情分值。具体从数据库中查找与所述面部轮廓相似度最大的表情轮廓，根据所述表情轮廓获取对应的表情分值。也即在预设数据库中建立各种表情轮廓与表情分值的对应关系，获取到面部轮廓后，从数据库中查找该面部轮廓对应的神经元节点，从该神经元节点对应的地址中逐一查找与所述面部轮廓对应的表情轮廓，以根据所述表情轮廓确定所述面部轮廓的表情分值，其中，所述表情轮廓是通过一系列表情进行拟合形成的各种表情下面部对应的轮廓。

由于不同面部区域对应的表情识别准确度不同，再进一步实施例中，根据每个面部区域的识别精准度不同设置不同的权重，如嘴巴区域的识别进度较高，根据嘴巴区域的变形情况识别表情的准确度高，则设置嘴巴区域的权重大，又如额头区域的识别精度低，根据额头区域的情况识别表情的准确度低，则可以设置额头区域的权重低。在识别人脸表情时，根据权重不同确定各个面部区域对应的分值，如参照图5，根据各个所述面部区域的表情分值对所述人脸表情进行识别的步骤包括：

步骤S21，分别获取各个所述面部区域对应的权重；

步骤S22，根据所述面部区域的权重以及表情分值确定每个面部区域的分值；

步骤S23，根据各个所述面部区域的分值对所述人脸表情进行识别。

在人脸表情智能识别系统中，设定各个面部区域对应的权重，采用上述各个实施例获取各个所述面部区域的表情分值后，获取各个所述面部区域的权重，以所述表情分值以及权重的乘积确定各个面部区域的分值，进而将最大分值对应的表情作为所述人脸图像的表情；或者采用各个分值的均值对应的表情作为所述人脸图像的表情。如此，通过各个面部区域的表情分值以及各个面部区域的权重来识别人脸图像的表情，识别准确度更高。

可以理解的是，在其它实施例中，设置各个人脸表情与情绪的对应关系，在识别到用户的表情后，根据所述人脸表情与情绪的对应关系，获取所述用户的情绪，以输出该用户的情绪，供用户知晓人脸图像对应的用户的情绪情况。

另一实施例中，对人脸表情进行识别后，为了实现人脸表情以及身份识别智能一体化，在输出情绪的同时，识别用户的身份，以便于快速了解产生该表情或情绪的用户身份。参照图6，所述根据各个所述面部区域的表情分值对所述人脸表情进行识别的步骤之后，所述人脸表情的智能识别方法还包括：

步骤S30，获取所述人脸图像的几何信息和像素信息；

步骤S40，根据所述几何信息和所述像素信息构建待识别人脸图像；

步骤S50，识别所述待待识别人脸图像对应的用户信息，输出所述用户信息与所述用户信息对应的表情。

基于人脸的多变性和复杂性，人脸识别的精度不高，且人脸识别的计算数据庞大，依赖于在线计算或庞大的数据库，基于此本实施例通过采集所述人脸图像的几何信息和像素信息；进而根据所述几何信息和所述像素信息构建待识别人脸图像；将所述待识别人脸图像与预存人脸图像进行比对，以识别所述人脸图像对应的用户信息，相对于采用眼睛对齐的方式，本实施例基于几何信息和像素信息的对齐识别，识别精度和准确度更高。

具体地，基于上述所有实施例对所述人脸图像的表情进行识别后，获取所述人脸图像的几何信息和像素信息，根据所述几何信息和像素信息重新构建待识别人脸图像，以重新构建后的待识别人脸图像识别用户信息，进而输出所述用户信息和所述用户信息对应的表情或情绪，以便于快速了解产生该表情或情绪的用户身份，对于安防应用场景，可以为警方快速对嫌疑人的身份以及心理状态进行评估和分析。

进一步地，根据所述几何信息和所述像素信息构建待识别人脸图像的步骤包括：

创建与未有翘曲面部的人脸图像对应的辅助矩阵；

根据所述辅助矩阵获取所述翘曲面部对应的几何信息；

将所有所述几何信息插入所述参考轮廓上，形成目标轮廓；

将所述人脸图像的各个位置的像素信息映射到所述目标轮廓的对应位置上，形成所述待识别人脸图像。

本实施例中，在根据几何信息以及像素信息构建待识别人脸图像的过程中，先将所几何信息对齐到所述参考轮廓上，形成待识别人脸图像的人脸轮廓(目标轮廓)后，再将像素信息对齐到所述目标轮廓上，以形成所述待识别人脸图像。也即通过几何对齐方式构建好待识别人脸图像的轮廓后，再在轮廓上填充像素，以形成待识别人脸图像。其中，所述目标轮廓包括脸型轮廓、眼睛轮廓、嘴巴轮廓、鼻子轮廓以及面部轮廓中的一种或多种。

具体地，获取到人脸图像的几何信息后，采用几何对齐的方式，将所述人脸的几何信息一一对齐到预设的参考轮廓上，以形成所述用户的目标轮廓。其中，所述参考轮廓是采用多个中性人脸的界标轮廓进行平均化自训练形成的。将采集到的人脸图像的轮廓拟合输入面部之后，将该人脸图像进行几何变换以变换成参考轮廓的几何形状，形成目标轮廓。基于每个像素点的位置确定目标轮廓的目标位置，将所述像素点的像素对齐到该目标位置，进而形成所述待识别人脸图像。

基于人脸多变，在用户做表情或其它情况下采集该用户的人脸时，所采集的人脸图像可能会存在曲翘面部，若所采集的人脸图像存在曲翘面部，采用上述方式识别人脸，则可能会存在误判的情况，因此，本实施例通过创建与未有翘曲面部的人脸图像对应的辅助矩阵；根据所述辅助矩阵获取所述翘曲面部对应的几何信息；将所有所述几何信息插入所述参考轮廓上，形成目标轮廓。所述未有曲翘面部的人脸图像是指用户没有做表情或其它面部动作的情况下获取的人脸图像，该人脸图像不存在曲翘面部。为了防止所采集到的人脸图像存在曲翘面出现误判的情况，在检测到人脸图像，并获取到所述人脸图像和像素信息后，创建具有与所述未有曲翘面部的人脸图像大小相同的辅助矩阵，通过该辅助矩阵，获取所述曲翘面部对应的几何信息，进而将所有所述几何信息插入所述参考轮廓上，形成所述目标轮廓。

具体地，所述几何信息包括X坐标以及Y坐标，本实施例中根据所述辅助矩阵依次获取X坐标以及Y坐标，以获取所述曲翘面部对应的几何信息。本实施例为了提高曲翘面部识别的准确度，通过插值程序来获取曲翘面部的几何信息，进而获取待识别人脸图像，所述根据所述辅助矩阵获取所述曲翘面部对应的几何信息的步骤包括：

获取所述曲翘面部的标志点的几何信息；

根据所述辅助矩阵以及所述标志点的几何信息将所述标志点插入所述未有曲翘面部的人脸图像中；

基于几何仿射插值获取所述曲翘面部的其它部位在所述未有曲翘面部的人脸图像的目标位置，以获取所述曲翘面部的几何信息。

所述标志点较佳选取面部曲翘时发生变形发位置，作为面部的界标，如可以是眼睛、眼角处、嘴巴、嘴角处、下巴、耳朵处等。获取所述标志点在曲翘面部上的几何信息，进而基于所述辅助矩阵以及所述标志点的几何信息将所述标志点的插入所述未有曲翘面部的人脸图像中，如获取到标志点A的几何信息为(X’，Y’)，结合所述辅助矩阵将所述标志点A插入所述未有曲翘面部的人脸图像的矩阵的A中，获取所述标志点A在所述未有曲翘面部的人脸图像的A的坐标(X，Y)为所述曲翘面部的标志点在所述人脸图像中的几何信息。

进而使用仿射插值来获取所述曲翘部的其它部位在所述未有曲翘面部的人脸图像的目标位置，以获取所述曲翘面部的几何信息，将所述曲翘面部的几何信息以及所述未有曲翘面部的人脸图像的其它位置的几何信息插入所述参考轮廓上，以形成目标轮廓。

本实施例使用仿射变换来执行坐标插值，具体仿射变换使用三个周围点来计算新点处的差值。具体实现方式为：对各个所述标志点进行三角剖分，以获取各个所述标志点对应的三角面；根据所述三角面以及几何仿射插值获取所述曲翘面部的其它部位在所述未有曲翘面部的人脸图像的目标位置，以获取所述曲翘面部的几何信息。

进一步地，在其他实施例中，所述将所述人脸图像的各个位置的像素信息映射到所述目标轮廓的对应位置上，形成所述待识别人脸图像的步骤包括：

获取所述人脸图像的各个像素点在所述目标轮廓的对应位置；

获取像素变形的强度插值；

根据所述强度插值将所述各个像素点的像素映射到所述目标轮廓的对应位置上，形成待识别人脸图像。

基于几何对齐获取到人脸图像后，获取所述人脸图像中各个像素点在所述目标轮廓的对应位置，所述对应位置包括对应位置的坐标，如X坐标和Y坐标。在像素对齐过程中，基于像素变形强度差值，将各个像素点的像素映射到所述目标轮廓的对应位置上，以形成所述待识别人脸图像。所形成的所述待识别人脸图像是基于几何变形以及像素对齐之后形成的，对于曲翘面或非正常输入的人脸，通过几何变形和像素对齐后形成的待识别人脸图像与更接近用户的实际人脸图像(预存的人脸图像)，采用所述待识别人脸图像进行人脸识别，准确度更高。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，平板电脑、相机或摄影机等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种人脸表情的智能识别方法，其特征在于，所述人脸表情的智能识别方法包括以下步骤：

检测到人脸图像，分别获取所述人脸图像的多个面部区域对应的表情分值；

根据各个所述面部区域的表情分值对所述人脸表情进行识别。

2.如权利要求1所述的人脸表情的智能识别方法，其特征在于，所述面部区域包括眉毛区域、嘴巴区域、眼睛区域以及脸颊区域中的至少两个。

3.如权利要求2所述的人脸表情的智能识别方法，其特征在于，所述分别获取所述人脸图像的多个面部区域对应的表情分值的步骤包括：

分别获取所述人脸图像的每个面部区域的特征点集；

根据所获取的特征点集确定每个所述面部区域的表情分值。

4.如权利要求3所述的人脸表情的智能识别方法，其特征在于，所述根据所获取的特征点集确定每个所述面部区域的表情分值的步骤包括：

根据所述特征点集生成对应的面部区域的面部轮廓；

根据所述面部轮廓获取所述面部区域的表情分值。

5.如权利要求4所述的人脸表情的智能识别方法，其特征在于，所述根据所述面部轮廓获取所述面部区域的表情分值的步骤包括：

获取所述面部轮廓相对预设的参考轮廓的翘曲程度；

根据所述翘曲程度确定所述面部区域的表情分值。

6.如权利要求1所述的人脸表情的智能识别方法，其特征在于，根据各个所述面部区域的表情分值对所述人脸表情进行识别的步骤包括：

分别获取各个所述面部区域对应的权重；

根据所述面部区域的权重以及表情分值确定每个面部区域的分值；

根据各个所述面部区域的分值对所述人脸表情进行识别。

7.如权利要求1-6任意一项所述的人脸表情的智能识别方法，其特征在于，所述根据各个所述面部区域的表情分值对所述人脸表情进行识别的步骤之后，所述人脸表情的智能识别方法还包括：

获取所述人脸图像的几何信息和像素信息；

根据所述几何信息和所述像素信息构建待识别人脸图像；

识别所述待识别人脸图像对应的用户信息，输出所述用户信息与所述用户信息对应的表情。

8.如权利要求7所述的人脸表情的智能识别方法，其特征在于，所述根据所述几何信息和所述像素信息构建待识别人脸图像的步骤包括：

创建与未有翘曲面部的人脸图像对应的辅助矩阵；

根据所述辅助矩阵获取所述翘曲面部对应的几何信息；

将所有所述几何信息插入所述参考轮廓上，形成目标轮廓；

将所述人脸图像的各个位置的像素信息映射到所述目标轮廓的对应位置上，形成所述待识别人脸图像。

9.一种终端，其特征在于，所述终端包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的人脸识别程序，所述人脸识别程序被所述处理器执行时实现如权利要求1至8中任一项所述的人脸表情的智能识别方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有人脸识别程序，所述人脸识别程序被处理器执行时实现如权利要求1至8中任一项所述的人脸表情的智能识别方法的步骤。

Images