CN103971131A - 一种预设表情识别方法和装置 - Google Patents

Abstract

本发明实施例提供了一种预设表情识别方法和装置，涉及图像识别领域，能够解决预设表情的识别准确率低、实用性差的问题。其方法包括：通过对目标图像进行预处理获取目标面部图像，再通过预设算法提取目标面部图像对应的目标特征向量，根据预设对应规则，确定目标图像中，发生预设表情的程度估计值。本发明实施例用于对图像中预设表情的识别。

Description

一种预设表情识别方法和装置

技术领域

本发明涉及图像识别领域，尤其涉及一种预设表情识别方法和装置。

背景技术

随着机器视觉与自动人脸识别技术的快速发展，计算机已经能够根据人脸图像自动识别人类的面部表情。表情识别在情感计算，视频监控，图像视频检索，智能人机交互，娱乐性消费产业等领域有着重要的应用。以智能人机交互为例，表情识别能够使智能设备根据用户面部图像识别用户的面部表情，然后根据用户的面部表情获取用户的心理状态，再根据用户的心理状态向用户提供相应的服务，提升用户的满意度。

现有的表情识别方法包括：通过采样获取人脸图像上与特定表情相关的面部器官的大小、角度、间距等形变参数，如与微笑相关的眼睛和嘴的弯曲程度，形成该特定表情的标准形变参数范围；将待检测的人脸图像的相关形变参数与标准形变参数范围对比，判断相关形变参数是否在标准形变参数范围内，从而确定待检测的人脸图像是否发生该特定表情以及发生该特定表情的程度。

然而，现有技术所依据的是与特定表情相关的面部器官的大小、角度、间距等形变参数，在现实场景中，相关面部器官特征点定位准确度及大小、角度、间距等形变参数会随着拍摄角度、光线强度和被拍摄人的变化而变化，使得同一个表情在不同的拍摄角度或不同的光线强度或由不同的人完成都会产生不同的形变参数，通过采样获取的特定表情的标准形变参数范围稳定性较差，导致通过标准形变参数范围识别表情及表情发生程度的准确率低，实用性差。

发明内容

本发明的实施例提供一种预设表情识别方法和装置，能够解决识别预设表情及预设表情发生程度的准确率低、实用性差的问题。

为达到上述目的，本发明的实施例采用如下技术方案：

第一方面，提供一种预设表情识别方法，所述方法包括：

获取目标图像，并对所述目标图像进行预处理获取目标面部图像；

通过预设算法获取所述目标面部图像对应的目标特征向量，所述预设算法用于将图像映射为特征向量的形式进行表示；

根据所述目标特征向量，通过预设对应规则确定所述目标图像发生预设表情的程度估计值，所述预设对应规则用于指示所述目标特征向量与程度估计值的对应关系。

结合第一方面，在第一种可能的实现方式中，在所述通过预设对应规则确定所述目标图像发生预设表情的程度估计值之后，所述方法还包括：

当所述程度估计值大于预设判断阈值时，确定所述目标图像包含所述预设表情，或，当所述程度估计值不大于所述预设判断阈值时，确定所述目标图像不包含所述预设表情。

结合第一方面，在第二种可能的实现方式中，在所述通过预设对应规则确定所述目标图像发生预设表情的程度估计值之后，所述方法还包括：

判断所述程度估计值所在的估计值区间，根据预设操作策略执行所述估计值区间对应的预设操作；

所述预设操作策略包括至少一个估计值区间与其对应的预设操作。

结合第一方面，在第三种可能的实现方式中，所述并对所述目标图像进行预处理获取目标面部图像包括：

对所述目标图像进行去色处理获取目标灰度图像；

确定所述目标灰度图像上的至少两个特征像素点，所述特征像素点包括所述目标灰度图像中面部两个瞳孔的中心像素点；

根据所述特征像素点，对所述目标灰度图像进行缩放处理和/或裁剪处理，获取尺寸等于预设目标尺寸且各所述特征像素点坐标满足预设坐标值的目标面部图像。

结合第一方面，在第四种可能的实现方式中，所述预设算法包括密集尺度不变特征转换Dense-SIFT算法，所述通过预设算法获取所述目标面部图像对应的目标特征向量包括：

根据预设采样步长，确定所述目标面部图像的多个采样点，所述预设采样步长为确定所述采样点时选用的采样点间隔像素值；

根据各所述采样点，确定所述目标面部图像中各所述采样点对应的采样区域，各所述采样区域分别为以各所述采样点为中心且边长等于预设采样边长的矩形区域；

根据所述Dense-SIFT算法提取各所述采样区域对应的各局部特征向量，并根据各所述局部特征向量获取所述目标面部图像对应的目标特征向量。

结合第一方面至第一方面的第四种可能的实现方式，在第五种可能的实现方式中，所述预设对应规则包括预设线性回归模型，所述通过预设对应规则确定所述目标图像发生预设表情的程度估计值包括：

通过所述预设线性回归模型对所述目标特征向量进行判断，确定所述目标特征向量对应的程度估计值，所述预设线性回归模型为根据目标特征向量求解程度估计值的函数表达式。

结合第一方面的第五种可能的实现方式，在第六种可能的实现方式中，在所述通过所述预设线性回归模型对所述目标特征向量进行判断之前，所述方法还包括：

获取一个或多个标准面部视频，各所述标准面部视频均包括一组连续的多个标准视频帧图像；且每一组中，各所述标准视频帧图像分别对应不同的所述程度估计值，第一帧所述标准视频帧图像对应的所述程度估计值为0，最后一帧所述标准视频帧图像对应的所述程度估计值为100％；

分别对各所述标准视频帧图像进行预处理获取各标准面部图像，并通过所述预设算法获取各所述标准面部图像对应的标准特征向量；

根据各所述标准视频帧图像分别对应的不同所述程度估计值，确定各所述标准特征向量与各所述程度估计值之间的对应关系，并根据各所述对应关系进行曲线拟合获取所述预设线性回归模型，所述预设线性回归模型为描述作为变量的特征向量与程度估计值之间对应关系的函数表达式。

第二方面，提供一种预设表情识别装置，所述装置包括：

预处理单元，用于获取目标图像，并对所述目标图像进行预处理获取目标面部图像；

向量获取单元，用于通过预设算法获取所述目标面部图像对应的目标特征向量，所述预设算法用于将图像映射为特征向量的形式进行表示；

程度估计单元，用于根据所述目标特征向量，通过预设对应规则确定所述目标图像发生预设表情的程度估计值，所述预设对应规则用于指示所述目标特征向量与程度估计值的对应关系。

结合第二方面，在第一种可能的实现方式中，所述装置还包括：

判断单元，用于在所述程度估计单元获取所述程度估计值之后，判断当所述程度估计值大于预设判断阈值时，确定所述目标图像包含所述预设表情，或，当所述程度估计值不大于所述预设判断阈值时，确定所述目标图像不包含所述预设表情。

结合第二方面，在第二种可能的实现方式中，所述装置还包括：

操作单元，用于在所述程度估计单元获取所述程度估计值之后，判断所述程度估计值所在的估计值区间，根据预设操作策略执行所述估计值区间对应的预设操作；

所述预设操作策略包括至少一个估计值区间与其对应的预设操作。

结合第二方面，在第三种可能的实现方式中，所述预处理单元具体用于：

对所述目标图像进行去色处理获取目标灰度图像；

确定所述目标灰度图像上的至少两个特征像素点，所述特征像素点包括所述目标灰度图像中面部两个瞳孔的中心像素点；

根据所述特征像素点，对所述目标灰度图像进行缩放处理和/或裁剪处理，获取尺寸等于预设目标尺寸且各所述特征像素点坐标满足预设坐标值的目标面部图像。

结合第二方面，在第四种可能的实现方式中，所述预设算法包括密集尺度不变特征转换Dense-SIFT算法，所述向量获取单元具体用于：

根据预设采样步长，确定所述目标面部图像的多个采样点，所述预设采样步长为确定所述采样点时选用的采样点间隔像素值；

根据各所述采样点，确定所述目标面部图像中各所述采样点对应的采样区域，各所述采样区域分别为以各所述采样点为中心且边长等于预设采样边长的矩形区域；

根据所述Dense-SIFT算法提取各所述采样区域对应的各局部特征向量，并根据各所述局部特征向量获取所述目标面部图像对应的目标特征向量。

结合第二方面至第二方面的第四种可能的实现方式，在第五种可能的实现方式中，所述预设对应规则包括预设线性回归模型，所述程度估计单元具体用于：

通过所述预设线性回归模型对所述目标特征向量进行判断，确定所述目标特征向量对应的程度估计值，所述预设线性回归模型为根据目标特征向量求解程度估计值的函数表达式。

结合第二方面的第五种可能的实现方式，在第六种可能的实现方式中，所述装置还包括模型训练单元，用于在程度估计单元通过所述预设线性回归模型对所述目标特征向量进行判断之前，训练获取所述预设线性回归模型；所述模型训练单元具体用于：

获取一个或多个标准面部视频，各所述标准面部视频均包括一组连续的多个标准视频帧图像；且每一组中，各所述标准视频帧图像分别对应不同的所述程度估计值，第一帧所述标准视频帧图像对应的所述程度估计值为0，最后一帧所述标准视频帧图像对应的所述程度估计值为100％；

分别对各所述标准视频帧图像进行预处理获取各标准面部图像，并通过所述预设算法获取各所述标准面部图像对应的标准特征向量；

根据各所述标准视频帧图像分别对应的不同所述程度估计值，确定各所述标准特征向量与各所述程度估计值之间的对应关系，并根据各所述对应关系进行曲线拟合获取所述预设线性回归模型，所述预设线性回归模型为描述作为变量的特征向量与程度估计值之间对应关系的函数表达式。

可见，本发明实施例提供的一种预设表情识别方法和装置，所依据的是从目标图像通过预设算法获取的目标特征向量，通过预设对应规则，根据该目标特征向量确定发生预设表情的程度估计值；因此，相对于现有技术中表情识别方法所依据的标准形变参数范围，特征向量的稳定性较好，不易受到拍摄角度、光线强度和被拍摄人等因素变化的影响。这样，提高了对图像进行预设表情识别、预设表情发生程度估计的准确率及实用性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种预设表情识别方法的流程示意图一；

图2为本发明实施例提供的一种预设表情识别方法的流程示意图二；

图3为本发明实施例提供的一种预处理获取目标面部图像的示意图；

图4为本发明实施例提供的一种目标面部图像采样点的示意图；

图5为本发明实施例提供的一种根据采样点获取采样区域的示意图；

图6为本发明实施例提供的一种训练获取预设线性回归模型的方法的流程示意图；

图7为本发明实施例提供的一种预设表情识别装置的结构示意图一；

图8为本发明实施例提供的一种预设表情识别装置的结构示意图二；

图9为本发明实施例提供的一种预设表情识别装置的结构示意图三；

图10为本发明实施例提供的一种预设表情识别装置的结构示意图四；

图11为本发明实施例提供的一种预设表情识别装置的结构示意图五。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种预设表情识别方法，如图1所示，该方法包括：

S101、获取目标图像，并对目标图像进行预处理获取目标面部图像。

其中，目标图像可以为预设的包含人像面部的单幅图像，也可以为从包含人物面部的视频中提取出的单帧图像，且人像面部的呈现角度可以是正面也可以是侧面，本发明实施例对此不做限定；

上述目标图像中的人像面部可以具有预设表情，或不具有预设表情；该预设表情即为本发明实施例提供的方法所要识别的指定表情，可以为微笑、哭泣、生气，也可以是做鬼脸、撅嘴、愤怒、尴尬、害羞等；本领域技术人员应该理解，在实施本发明实施例所提供的方法时，表情的类型不应该成为本发明实施例所提供方法的限制因素。

值得一提的，预处理用于去除目标图像中与预设表情识别无关的无用图像信息；在一种实现方式下，对目标图像进行预处理包括进行去色处理获取目标灰度图像，确定目标灰度图像上的至少两个特征像素点，并根据特征像素点进行缩放处理和/或裁剪处理，获取尺寸等于预设目标尺寸且各特征像素点坐标满足预设坐标值的目标面部图像。

S102、通过预设算法获取目标面部图像对应的目标特征向量。

其中，预设算法用于将图像映射为特征向量的形式进行表示，可以包括：Gabor小波变换算法、局部二值模式(Local Binary Patterns，LBP)算法、方向梯度直方图(Histogram of Oriented Gradient，HOG)算法、尺度不变特征转换(Scale-Invariant Feature Transform，SIFT)算法以及基于SIFT算法改进的密集尺度不变特征转换(DenseScale-Invariant Feature Transform，Dense-SIFT)算法。

在一种实现方式下，本发明实施例优选的，采用的预设算法为Dense-SIFT算法，通过该Dense-SIFT算法获取的图像对应的特征向量具有平移、缩放、旋转不变性，同时对光照变化、反射及投影变换也有一定不变性。

S103、根据目标特征向量，通过预设对应规则确定目标图像发生预设表情的程度估计值。

其中，预设对应规则用于指示目标特征向量与程度估计值的对应关系，在本发明实施例中，预设对应规则可以包括预设线性回归模型，该预设线性回归模型为根据目标特征向量求解程度估计值的函数表达式。

在一种实现方式下，在上述通过预设对应规则确定目标图像发生预设表情的程度估计值之后，该方法还包括根据程度估计值进行判断，当程度估计值大于预设判断阈值时，确定目标图像包含预设表情，或，当程度估计值不大于预设判断阈值时，确定目标图像不包含预设表情。

在另一种实现方式下，在上述通过预设对应规则确定目标图像发生预设表情的程度估计值之后，该方法还包括判断程度估计值所在的估计值区间，根据预设操作策略执行估计值区间对应的预设操作；其中，预设操作策略包括至少一个估计值区间与其对应的预设操作。

本发明实施例提供的一种预设表情识别方法，通过对目标图像进行预处理获取目标面部图像，再通过预设算法提取目标面部图像对应的目标特征向量，根据预设对应规则，确定目标图像中，发生预设表情的程度估计值；本发明实施例提供的预设表情识别方法所依据的是从目标图像中通过预设算法获取的目标特征向量，因此，相对于现有技术中表情识别方法所依据的标准形变参数范围，特征向量的稳定性较好，不易受到拍摄角度、光线强度和被拍摄人等因素变化的影响。这样，提高了对图像进行预设表情识别、预设表情发生程度估计的准确率及实用性。

为了使本领域技术人员能够更清楚地理解本发明实施例提供的技术方案，下面通过具体的实施例，对本发明实施例提供的另一种预设表情识别方法进行详细说明，如图2所示，该方法包括：

S201、获取目标图像。

示例性的，目标图像可以为预设的包含人像面部的单幅图像，用于实现对单指定单幅图像的预设表情识别；也可以为从包含人物面部的视频中提取出的单帧图像，用于实现对指定视频实时的预设表情识别，且人像面部的呈现角度可以是正面也可以是侧面，本发明实施例对此不做限定。

上述目标图像中的人像面部可以具有预设表情，或不具有预设表情；该预设表情即为本发明实施例提供的方法所要识别的指定表情，可以为微笑、哭泣、生气，也可以是做鬼脸、撅嘴、愤怒、尴尬、害羞等；本领域技术人员应该理解，在实施本发明实施例所提供的方法时，表情的类型不应该成为本发明实施例所提供方法的限制因素。

S202、对目标图像进行预处理获取目标面部图像。

具体的，在获取目标图像后，对目标图像进行预处理获取目标面部图像，该预处理用于去除目标图像中与预设表情识别无关的无用图像信息，获取的目标面部图像仅包含预设表情识别所需图像信息；

示例性的，本发明实施例中面部表情的识别基于对面部图像的分析，与人物肢体动作无关，可以去除目标图像中肢体部分的图像信息；且面部表情发生时的必要因素是面部肌肉的形变程度，而与脸部颜色的变化关联性较低，因此可以去除目标图像中不必要的色彩；

可选的，根据预设表情的不同，预处理的过程也不同，即对无用图像信息的确定存在区别；以撅嘴表情为例，撅嘴只发生在嘴部，所以可以去除目标图像中除嘴部以为的其他部分图像信息。

具体的，上述预处理包括对目标图像进行去色处理获取目标灰度图像；

示例性的，由于图像的本质是一组二维点阵，点阵中的点称作图像的像素点。对灰度图像而言，所有像素点的颜色都为灰色，所不同的是反映明暗程度的灰度不同。对彩色图像而言，图像中每个像素点都包含三种颜色(例如红、绿、蓝三基色)，通过调整这三种颜色的颜色分量可以使像素点显示出各种不同的颜色。

上述去色处理包括：若目标图像为灰度图像，则不对目标图像执行任何操作；或者，若目标图像为彩色图像，则通过预设转换算法将目标图像转换为灰度图像。

其中，预设转换算法为将彩色图像转换为灰度图像的算法，本发明实施例可以采用如下的转换算法：

假设彩色图像的颜色由红(R)、绿(G)、蓝(B)三基色构成，设Gray为将该彩色图像转换为灰度图像后某个像素点的灰度，则：

Gray＝0.299×R+0.587×G+0.114×B；

其中R为该像素点的红色颜色分量，G为该像素点的绿色颜色分量，B为该像素点的蓝色颜色分量。

本领域技术人员应当理解，上述算法只是将彩色图像转换为灰度图像的一种算法，本发明实施例不限于此算法。

具体的，上述预处理还包括在获取目标灰度图像后，确定目标灰度图像上的至少两个特征像素点。

示例性的，由于面部表情的识别基于对面部图像的分析，与人物肢体动作无关，需要去除目标图像中肢体部分的图像信息，所以需要确定目标图像中人物的面部，通过确定图像位置后进行裁剪去除目标图像中非面部的部分，而对于二维图像而言，确定一个图像的位置至少需要两个点，即特征像素点。

其中，特征像素点是指能够定位面部器官(即人像面部)在目标图像中的位置的像素点。面部器官可以是眼睛、鼻子、嘴、耳朵、牙齿等轮廓明确且易于被识别的器官，且由于面部器官的大小、轮廓等随个体的变化而变化，因此在获取特征像素点时不应该选择位于面部器官轮廓上的像素点，而应该选择面部器官正中心的像素点；例如：眼睛瞳孔中心像素点、上下嘴唇交线中心像素点、门牙缝底端像素点、鼻尖像素点。

本实施例优选地，可以将面部两个瞳孔的中心像素点选定为特征像素点。

具体的，上述预处理还包括在确定目标灰度图像上的至少两个特征像素点后，对目标灰度图像进行缩放处理和/或裁剪处理，获取尺寸等于预设目标尺寸且各特征像素点坐标满足预设坐标值的目标面部图像。

示例性的，根据确定的特征像素点，进行缩放处理；以特征像素点为两个瞳孔的中心像素点为例，即对目标灰度图像进行缩放，对分辨率进行调整，使得缩放调整后，两个瞳孔的中心像素点之间的距离为一个预设像素值；进一步的，进行裁剪处理，使得裁剪处理后得到图像的尺寸为预设目标尺寸，且两个瞳孔的中心像素点的坐标满足预设坐标值，得到符合后续处理要求的规范目标面部图像。

其中，上述预设像素值、预设目标尺寸、预设坐标值都可以为系统缺省设定值，也可以为外部输入给定值，具体的选值根据应用场景对预设表情识别精度要求的不同可以不同，此处不做限定。

本发明实施例优选的，如图3所示，为目标图像经过预处理后获取的目标面部图像；以目标面部图像外沿的左上角像素点为原点，图像上边框外沿为横轴、左边框外沿为纵轴，以像素点数目为单位建立左边系，向右为横轴正方向、向下为纵轴正方向(以左上角像素点为例，坐标为(1,1))；预设目标尺寸可以为横轴方向上64个像素点、纵轴方向上80个像素点，两个瞳孔的中心像素点的坐标满足的预设坐标值分别为(17,31)与(46,31)，两个瞳孔的中心像素点之间距离满足的预设像素值为29个像素点。

值得一提的，上述对目标图像进行预处理获取目标面部图像的操作流程仅为示例性的，包括但不限于此，还可以包括其他不同的处理步骤，得到不同规格的目标面部图像，本发明实施例对此不做限定。

S203、通过预设算法获取目标面部图像对应的目标特征向量。

具体的，本发明实施例选用的预设算法可以为Dense-SIFT算法。

示例性的，通过Dense-SIFT算法获取目标面部图像对应的目标特征向量包括：根据预设采样步长，确定目标面部图像的多个采样点。

其中，预设采样步长为确定采样点时选用的采样点间隔像素值；且上述预设采样步长可以为系统缺省设定值，也可以为外部输入给定值，具体的选择可根据应用需求进行调整，此处不做限定。

以图3所示的目标面部图像为例，其尺寸为横轴方向上64个像素点、纵轴方向上80个像素点，两个瞳孔中心像素点的坐标分别为(17,31)和(46,31)，则选定的采样步长可以为16×16(单位为像素点数目)；根据该预设采样步长，可获取如图4所示的12个采样点。

进一步的，根据各采样点，确定目标面部图像中各采样点对应的采样区域；其中，各采样区域分别为以各采样点为中心且边长等于预设采样边长的矩形区域，且预设采样边长可以为系统缺省设定值，也可以为外部输入给定值，具体的选择可根据应用需求进行调整，此处不做限定；

以图4所示的12个采样点为例，选定的采样边长可以为32×32(单位为像素点数目)，则如图5所示，包括12个采样区域。

再进一步的，根据Dense-SIFT算法获取采样区域i对应的局部特征向量L_i；其中，i＝1,2,…N，以图5所示的12个采样区域为例，N＝12。

则上述目标面部图像中，采样区域i对应的局部特征向量为：

L_i＝[l_i1,l_i2,…,l_iM]^T；

其中，M是局部特征向量的维度，M为大于1的整数。

根据各局部特征向量获取目标面部图像对应的目标特征向量包括：将获取的各局部特征向量L₁,L₂,…,L_N,进行首尾拼接得到目标特征向量L，具体为：

L＝[l₁₁,l₁₂,…,l_1M,l₂₁,l₂₂,…,l_2M,……l_N1,l_N2,…,l_NM,]^T；

值得一提的，上述将目标面部图像划分为若干个较小的采样区域，然后再分别获取各较小采样区域的特征向量，相对于直接获取整个目标面部图像的特征向量，可以增加特征向量中的数据量。进而由于数据量的增加，特征向量所能承载的目标面部图像的特征也会增加，从而使得基于特征向量的预设表情识别准确率更高。

S204、通过预设对应规则确定目标图像发生预设表情的程度估计值。

具体的，在获取目标面部图像对应的目标特征向量之后，根据预设对应规则确定目标图像发生预设表情的程度估计值；其中，预设对应规则用于指示目标特征向量与程度估计值的对应关系。

可选的，在本发明实施例中，预设对应规则可以包括预设线性回归模型，该预设线性回归模型为根据目标特征向量求解程度估计值的函数表达式。

值得一提的，在通过预设线性回归模型对目标特征向量进行判断之前，还包括训练获取该预设线性回归模型，如图6所示，具体包括：

S2041、获取一个或多个标准面部视频。

具体的，各标准面部视频均包括一组连续的多个标准视频帧图像，各标准视频帧图像均包含人物面部；且每一组中，各标准视频帧图像分别对应不同的程度估计值，第一帧标准视频帧图像对应的程度估计值为0，即未开始发生预设表情的状态，最后一帧标准视频帧图像对应的程度估计值为100％，即发生预设表情且达到面部形变程度最大的状态；

由于人的表情在发生至结束时，通常会经历“无表情-完全表情-无表情”的过程，所以，上述标准面部视频包括了“无表情-完全表情”阶段的连续多个面部图像，以未发生预设表情的第一帧标准视频帧图像为开始帧，以完全发生预设表情的最后一帧标准视频帧图像为结束帧，紧接开始帧的第二帧标准视频帧图像产生预设表情，并且从第二帧标准视频帧至结束帧之间该预设表情未中断。

值得一提的，上述标准面部视频可以为人为选定的视频样本，各标准面部视频均需满足上述要求，且具体的样本获取方式此处不做限定。

S2042、获取各标准面部图像对应的标准特征向量。

具体的，分别对上述标准面部视频中各标准视频帧图像进行预处理获取各标准面部图像，并通过预设算法获取各标准面部图像对应的标准特征向量。

示例性的，对各标准视频帧图像进行预处理获取各标准面部图像的过程，与步骤S202中对目标图像进行预处理获取目标面部图像的过程相同，此处不再赘述。

进一步的，预设算法可以为Dense-SIFT算法，且通过预设算法获取各标准面部图像对应标准特征向量的过程，与步骤S203中通过预设算法获取目标面部图像对应目标特征向量的过程相同，此处不再赘述。

分别获取第k个标准面部图像对应的标准特征向量L^k，以标准面部视频中包括T个标准视频帧图像为例，k＝1,2,…,T。

值得一提的，上述预设算法为Dense-SIFT算法仅为示例性的，在实际应用中，还可使用其他类似算法实现，此处不做限定；需要注意的，训练获取该预设线性回归模型过程中使用的预设算法，必须与从目标图像中获取目标特征向量时使用的预设算法相同，这样才能保证特征的一致。

S2043、建立预设线性回归模型。

具体的，根据各标准视频帧图像分别对应的不同程度估计值，确定各标准特征向量与各程度估计值之间的对应关系，并根据各对应关系进行曲线拟合获取预设线性回归模型。

其中，回归模型是一种计算机程序，其核心为回归算法，在已知自变量的前提下可以预测因变量。回归模型可以通过训练获取自变量和因变量之间相关关系，建立自变量和因变量之间的回归方程。对本发明实施例而言，上述自变量即为标准视频帧图像对应的特征向量，上述因变量为该标准视频帧图像中人脸发生预设表情的程度估计值。

根据所采用的回归算法的不同，回归模型可以包括：主成分分析(Principal Components Analysis，PCA)回归器、典范相关分析(Canonical Correlation Analysis，CCA)回归器、偏最小二乘法(PartialLeast Squares，PLS)回归器等，本实施例优选地，采用的预设线性回归模型为PLS回归器。

示例性的，上述训练获取预设线性回归模型具体包括：

通过曲线拟合方法获取表情程度函数Q(x)，该表情程度函数Q(x)单调递增，且Q(0)＝0，Q(T)＝100％；向PLS回归器输入第k个标准视频帧图像的特征向量L^k，并设置PLS回归器对应的输出结果等于Q(k)；其中，k＝1,2,...,T，T为标准面部视频中包括的标准视频帧图像个数。

以假设预设线性回归模型描述的特征向量与程度估计值对应关系为一次函数为例，设表情程度函数表达式为Q(k)＝uk+v(u、v为常数)，上述通过曲线拟合方法获取表情程度函数Q(x)，具体包括：

建立横轴为程度估计值、纵轴为标准面部视频中标准视频帧图像序号的二维直角坐标系；确定第一帧标准视频帧图像在该坐标系中的坐标为(1，0)，确定第T帧标准视频帧图像在该坐标系中的坐标为(T，100％)；

根据坐标(1，0)、(T，100％)计算表情程度函数的假设表达式Q(k)＝uk+v中的常数u和v，得到：

$u=\frac{1}{T-1},v=-\frac{1}{T-1};$

进一步可获取表情程度函数Q(x)的表达式为：

$Q\left(x\right)=\frac{x-1}{T-1}.$

值得一提的，上述通过曲线拟合方法获取表情程度函数Q(x)的过程中，将表情程度函数Q(x)假设为一条直线仅为示例性的，本领域技术人员在实施本发明时，还可以认为表情程度函数Q(x)为抛物线、半圆等其他曲线，此处不做限定。

且用于训练预设线性回归模型的标准面部视频可以为一个或多个，本领域技术人员可根据实际情况进行选择，理论上，作为样本的标准面部视频数量越多，训练得到的预设线性回归模型准确度越高。

由于预设线性回归模型的训练与目标图像的预设表情识别相互独立，在每一次对不同的目标图像进行识别时，在已存在现有预设线性回归模型的情况下，可使用现有模型，无需再次训练。

具体的，在通过S2041至S2043步骤，训练获取该预设线性回归模型之后，根据目标特征向量，通过训练获取的预设线性回归模型函数表达式，可计算获取输出结果，该输出结果可以为大于等于0小于等于1的百分数，即为目标图像发生预设表情的程度估计值。

S205、根据程度估计值进行判断。

具体的，在获取目标图像发生预设表情的程度估计值之后，根据程度估计值进行判断，当程度估计值大于预设判断阈值时，确定目标图像包含预设表情，或，当程度估计值不大于预设判断阈值时，确定目标图像不包含预设表情。

其中，预设判断阈值可以为系统缺省设定值，也可以为外部输入给定值，具体的选择可根据应用场景的不同而不同，此处不做限定。通过与预设判断阈值比较，可以直观得确定目标图像是否包含预设表情，即可以在特定场景下，排除预设表情的发生程度较低的一部分情况。

进一步的，还可以判断程度估计值所在的估计值区间，根据预设操作策略执行估计值区间对应的预设操作；

其中，预设操作策略包括至少一个估计值区间与其对应的预设操作；且该预设操作策略可以为系统缺省设定，或外部输入设定的操作执行策略，用于在预设表情发生的程度估计值达到预设的估计值区间时，执行预设操作。

以拍照场景的为例，设定预设表情为微笑表情，当设备识别确定微笑表情发生的程度估计值大于40％，小于80％时，提示拍照程序进行笑脸对焦；当程度估计值大于80％时，指示拍照程序执行笑脸抓拍。通过对获取的程度估计值的判断，可提高预设表情识别的实用性。

本发明实施例提供的一种预设表情识别方法，通过对目标图像进行预处理获取目标面部图像，再通过预设算法提取目标面部图像对应的目标特征向量，根据预设对应规则，确定目标图像中，发生预设表情的程度估计值，进一步通过对程度估计值的判断，确定目标图像是否包含预设表情，或根据程度估计值的大小执行相应操作；本发明实施例提供的预设表情识别方法所依据的是从目标图像中通过预设算法获取的目标特征向量，由于该目标特征向量具有平移、缩放、旋转不变性，同时对光照变化、反射及投影变换也有一定不变性，因此，相对于现有技术中表情识别方法所依据的标准形变参数范围，特征向量的稳定性较好，不易受到拍摄角度、光线强度和被拍摄人等因素变化的影响。这样，提高了对图像进行预设表情识别、预设表情发生程度估计的准确率及实用性。

本发明实施例提供一种预设表情识别装置00，如图7所示，该装置00包括：

预处理单元001，用于获取目标图像，并对目标图像进行预处理获取目标面部图像。

向量获取单元002，用于通过预设算法获取目标面部图像对应的目标特征向量。

其中，预设算法用于将图像映射为特征向量的形式进行表示。

程度估计单元003，用于根据目标特征向量，通过预设对应规则确定目标图像发生预设表情的程度估计值。

其中，预设对应规则用于指示目标特征向量与程度估计值的对应关系。

可选的，如图8所示，该装置00还可以包括：

判断单元004，用于在程度估计单元003获取程度估计值之后，判断当程度估计值大于预设判断阈值时，确定目标图像包含预设表情；或者，当程度估计值不大于预设判断阈值时，确定目标图像不包含预设表情。

可选的，如图9所示，该装置00还可以包括：

操作单元005，用于在程度估计单元003获取程度估计值之后，判断程度估计值所在的估计值区间，根据预设操作策略执行估计值区间对应的预设操作；

其中，预设操作策略包括至少一个估计值区间与其对应的预设操作。

可选的，预处理单元001可以具体用于：

对目标图像进行去色处理获取目标灰度图像；

确定目标灰度图像上的至少两个特征像素点，特征像素点包括目标灰度图像中面部两个瞳孔的中心像素点；

根据特征像素点，对目标灰度图像进行缩放处理和/或裁剪处理，获取尺寸等于预设目标尺寸且各特征像素点坐标满足预设坐标值的目标面部图像。

可选的，上述预设算法可以包括密集尺度不变特征转换Dense-SIFT算法，向量获取单元002可以具体用于：

根据预设采样步长，确定目标面部图像的多个采样点，预设采样步长为确定采样点时选用的采样点间隔像素值；

根据各采样点，确定目标面部图像中各采样点对应的采样区域，各采样区域分别为以各采样点为中心且边长等于预设采样边长的矩形区域；

根据Dense-SIFT算法提取各采样区域对应的各局部特征向量，并根据各局部特征向量获取目标面部图像对应的目标特征向量。

可选的，上述预设对应规则可以包括预设线性回归模型，程度估计单元003可以具体用于：

通过预设线性回归模型对目标特征向量进行判断，确定目标特征向量对应的程度估计值，预设线性回归模型为根据目标特征向量求解程度估计值的函数表达式。

可选的，如图10所示，该装置00还包括模型训练单元006，用于在程度估计单元003通过预设线性回归模型对目标特征向量进行判断之前，训练获取预设线性回归模型；模型训练单元006具体用于：

获取一个或多个标准面部视频，各标准面部视频均包括一组连续的多个标准视频帧图像；且每一组中，各标准视频帧图像分别对应不同的程度估计值，第一帧标准视频帧图像对应的程度估计值为0，最后一帧标准视频帧图像对应的程度估计值为100％；

分别对各标准视频帧图像进行预处理获取各标准面部图像，并通过预设算法获取各标准面部图像对应的标准特征向量；

根据各标准视频帧图像分别对应的不同程度估计值，确定各标准特征向量与各程度估计值之间的对应关系，并根据各对应关系进行曲线拟合获取预设线性回归模型，预设线性回归模型为描述作为变量的特征向量与程度估计值之间对应关系的函数表达式。

本发明实施例提供的一种预设表情识别装置，通过预处理单元对目标图像进行预处理获取目标面部图像，由向量获取单元通过预设算法提取目标面部图像对应的目标特征向量，再由程度估计单元根据预设对应规则，确定目标图像中，发生预设表情的程度估计值，进一步通过判断单元对程度估计值的判断，确定目标图像是否包含预设表情，或操作单元根据程度估计值的大小执行相应操作；由于特征向量的稳定性较好，不易受到拍摄角度、光线强度和被拍摄人等因素变化的影响，提高了对图像进行预设表情识别、预设表情发生程度估计的准确率及实用性。

本发明实施例还提供一种预设表情识别装置01，如图11所示，该装置01包括：

总线011、以及连接到总线011的处理器012、存储器013和接口014，其中接口014用于与外部设备进行通信；

该存储器013用于存储指令，该处理器012用于执行该指令用于获取目标图像，并对目标图像进行预处理获取目标面部图像。

该处理器012执行该指令还用于通过预设算法获取目标面部图像对应的目标特征向量。

其中，预设算法用于将图像映射为特征向量的形式进行表示。

该处理器012执行该指令还用于根据目标特征向量，通过预设对应规则确定目标图像发生预设表情的程度估计值。

其中，预设对应规则用于指示目标特征向量与程度估计值的对应关系。

在本发明实施例中，可选的，该处理器012执行该指令可以具体用于：

在获取程度估计值之后，判断当程度估计值大于预设判断阈值时，确定目标图像包含预设表情；或者，当程度估计值不大于预设判断阈值时，确定目标图像不包含预设表情。

在本发明实施例中，可选的，该处理器012执行该指令可以具体用于：

在获取程度估计值之后，判断程度估计值所在的估计值区间，根据预设操作策略执行估计值区间对应的预设操作；

其中，预设操作策略包括至少一个估计值区间与其对应的预设操作。

在本发明实施例中，可选的，该处理器012执行该指令可以具体用于：

对目标图像进行去色处理获取目标灰度图像；

确定目标灰度图像上的至少两个特征像素点，特征像素点包括目标灰度图像中面部两个瞳孔的中心像素点；

根据特征像素点，对目标灰度图像进行缩放处理和/或裁剪处理，获取尺寸等于预设目标尺寸且各特征像素点坐标满足预设坐标值的目标面部图像。

在本发明实施例中，可选的，上述预设算法可以包括密集尺度不变特征转换Dense-SIFT算法，该处理器012执行该指令可以具体用于：

根据预设采样步长，确定目标面部图像的多个采样点，预设采样步长为确定采样点时选用的采样点间隔像素值；

根据各采样点，确定目标面部图像中各采样点对应的采样区域，各采样区域分别为以各采样点为中心且边长等于预设采样边长的矩形区域；

根据Dense-SIFT算法提取各采样区域对应的各局部特征向量，并根据各局部特征向量获取目标面部图像对应的目标特征向量。

在本发明实施例中，可选的，上述预设对应规则可以包括预设线性回归模型，该处理器012执行该指令可以具体用于：

通过预设线性回归模型对目标特征向量进行判断，确定目标特征向量对应的程度估计值，预设线性回归模型为根据目标特征向量求解程度估计值的函数表达式。

在本发明实施例中，可选的，在通过预设线性回归模型对目标特征向量进行判断之前，该处理器012执行该指令可以具体用于：

获取一个或多个标准面部视频，各标准面部视频均包括一组连续的多个标准视频帧图像；且每一组中，各标准视频帧图像分别对应不同的程度估计值，第一帧标准视频帧图像对应的程度估计值为0，最后一帧标准视频帧图像对应的程度估计值为100％；

分别对各标准视频帧图像进行预处理获取各标准面部图像，并通过预设算法获取各标准面部图像对应的标准特征向量；

根据各标准视频帧图像分别对应的不同程度估计值，确定各标准特征向量与各程度估计值之间的对应关系，并根据各对应关系进行曲线拟合获取预设线性回归模型，预设线性回归模型为描述作为变量的特征向量与程度估计值之间对应关系的函数表达式。

本发明实施例提供的一种预设表情识别装置，通过对目标图像进行预处理获取目标面部图像，通过预设算法提取目标面部图像对应的目标特征向量，再根据预设对应规则，确定目标图像中，发生预设表情的程度估计值，进一步通过对程度估计值的判断，确定目标图像是否包含预设表情，或根据程度估计值的大小执行相应操作；由于特征向量的稳定性较好，不易受到拍摄角度、光线强度和被拍摄人等因素变化的影响，提高了对图像进行预设表情识别、预设表情发生程度估计的准确率及实用性。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理包括，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (14)

1.一种预设表情识别方法，其特征在于，所述方法包括：

获取目标图像，并对所述目标图像进行预处理获取目标面部图像；

通过预设算法获取所述目标面部图像对应的目标特征向量，所述预设算法用于将图像映射为特征向量的形式进行表示；

根据所述目标特征向量，通过预设对应规则确定所述目标图像发生预设表情的程度估计值，所述预设对应规则用于指示所述目标特征向量与程度估计值的对应关系。

2.根据权利要求1所述的方法，其特征在于，在所述通过预设对应规则确定所述目标图像发生预设表情的程度估计值之后，所述方法还包括：

当所述程度估计值大于预设判断阈值时，确定所述目标图像包含所述预设表情，或，当所述程度估计值不大于所述预设判断阈值时，确定所述目标图像不包含所述预设表情。

3.根据权利要求1所述的方法，其特征在于，在所述通过预设对应规则确定所述目标图像发生预设表情的程度估计值之后，所述方法还包括：

判断所述程度估计值所在的估计值区间，根据预设操作策略执行所述估计值区间对应的预设操作；

所述预设操作策略包括至少一个估计值区间与其对应的预设操作。

4.根据权利要求1所述的方法，其特征在于，所述并对所述目标图像进行预处理获取目标面部图像包括：

对所述目标图像进行去色处理获取目标灰度图像；

确定所述目标灰度图像上的至少两个特征像素点，所述特征像素点包括所述目标灰度图像中面部两个瞳孔的中心像素点；

根据所述特征像素点，对所述目标灰度图像进行缩放处理和/或裁剪处理，获取尺寸等于预设目标尺寸且各所述特征像素点坐标满足预设坐标值的目标面部图像。

5.根据权利要求1所述的方法，其特征在于，所述预设算法包括密集尺度不变特征转换Dense-SIFT算法，所述通过预设算法获取所述目标面部图像对应的目标特征向量包括：

根据预设采样步长，确定所述目标面部图像的多个采样点，所述预设采样步长为确定所述采样点时选用的采样点间隔像素值；

根据各所述采样点，确定所述目标面部图像中各所述采样点对应的采样区域，各所述采样区域分别为以各所述采样点为中心且边长等于预设采样边长的矩形区域；

根据所述Dense-SIFT算法提取各所述采样区域对应的各局部特征向量，并根据各所述局部特征向量获取所述目标面部图像对应的目标特征向量。

6.根据权利要求1至5任一所述的方法，其特征在于，所述预设对应规则包括预设线性回归模型，所述通过预设对应规则确定所述目标图像发生预设表情的程度估计值包括：

通过所述预设线性回归模型对所述目标特征向量进行判断，确定所述目标特征向量对应的程度估计值，所述预设线性回归模型为根据目标特征向量求解程度估计值的函数表达式。

7.根据权利要求6所述的方法，其特征在于，在所述通过所述预设线性回归模型对所述目标特征向量进行判断之前，所述方法还包括：

获取一个或多个标准面部视频，各所述标准面部视频均包括一组连续的多个标准视频帧图像；且每一组中，各所述标准视频帧图像分别对应不同的所述程度估计值，第一帧所述标准视频帧图像对应的所述程度估计值为0，最后一帧所述标准视频帧图像对应的所述程度估计值为100％；

分别对各所述标准视频帧图像进行预处理获取各标准面部图像，并通过所述预设算法获取各所述标准面部图像对应的标准特征向量；

根据各所述标准视频帧图像分别对应的不同所述程度估计值，确定各所述标准特征向量与各所述程度估计值之间的对应关系，并根据各所述对应关系进行曲线拟合获取所述预设线性回归模型，所述预设线性回归模型为描述作为变量的特征向量与程度估计值之间对应关系的函数表达式。

8.一种预设表情识别装置，其特征在于，所述装置包括：

预处理单元，用于获取目标图像，并对所述目标图像进行预处理获取目标面部图像；

向量获取单元，用于通过预设算法获取所述目标面部图像对应的目标特征向量，所述预设算法用于将图像映射为特征向量的形式进行表示；

程度估计单元，用于根据所述目标特征向量，通过预设对应规则确定所述目标图像发生预设表情的程度估计值，所述预设对应规则用于指示所述目标特征向量与程度估计值的对应关系。

9.根据权利要求8所述的装置，其特征在于，所述装置还包括：

判断单元，用于在所述程度估计单元获取所述程度估计值之后，判断当所述程度估计值大于预设判断阈值时，确定所述目标图像包含所述预设表情，或，当所述程度估计值不大于所述预设判断阈值时，确定所述目标图像不包含所述预设表情。

10.根据权利要求8所述的装置，其特征在于，所述装置还包括：

操作单元，用于在所述程度估计单元获取所述程度估计值之后，判断所述程度估计值所在的估计值区间，根据预设操作策略执行所述估计值区间对应的预设操作；

所述预设操作策略包括至少一个估计值区间与其对应的预设操作。

11.根据权利要求8所述的装置，其特征在于，所述预处理单元具体用于：

对所述目标图像进行去色处理获取目标灰度图像；

确定所述目标灰度图像上的至少两个特征像素点，所述特征像素点包括所述目标灰度图像中面部两个瞳孔的中心像素点；

根据所述特征像素点，对所述目标灰度图像进行缩放处理和/或裁剪处理，获取尺寸等于预设目标尺寸且各所述特征像素点坐标满足预设坐标值的目标面部图像。

12.根据权利要求8所述的装置，其特征在于，所述预设算法包括密集尺度不变特征转换Dense-SIFT算法，所述向量获取单元具体用于：

根据预设采样步长，确定所述目标面部图像的多个采样点，所述预设采样步长为确定所述采样点时选用的采样点间隔像素值；

根据各所述采样点，确定所述目标面部图像中各所述采样点对应的采样区域，各所述采样区域分别为以各所述采样点为中心且边长等于预设采样边长的矩形区域；

根据所述Dense-SIFT算法提取各所述采样区域对应的各局部特征向量，并根据各所述局部特征向量获取所述目标面部图像对应的目标特征向量。

13.根据权利要求8至12任一所述的装置，其特征在于，所述预设对应规则包括预设线性回归模型，所述程度估计单元具体用于：

通过所述预设线性回归模型对所述目标特征向量进行判断，确定所述目标特征向量对应的程度估计值，所述预设线性回归模型为根据目标特征向量求解程度估计值的函数表达式。

14.根据权利要求13所述的装置，其特征在于，所述装置还包括模型训练单元，用于在程度估计单元通过所述预设线性回归模型对所述目标特征向量进行判断之前，训练获取所述预设线性回归模型；所述模型训练单元具体用于：

获取一个或多个标准面部视频，各所述标准面部视频均包括一组连续的多个标准视频帧图像；且每一组中，各所述标准视频帧图像分别对应不同的所述程度估计值，第一帧所述标准视频帧图像对应的所述程度估计值为0，最后一帧所述标准视频帧图像对应的所述程度估计值为100％；

分别对各所述标准视频帧图像进行预处理获取各标准面部图像，并通过所述预设算法获取各所述标准面部图像对应的标准特征向量；

根据各所述标准视频帧图像分别对应的不同所述程度估计值，确定各所述标准特征向量与各所述程度估计值之间的对应关系，并根据各所述对应关系进行曲线拟合获取所述预设线性回归模型，所述预设线性回归模型为描述作为变量的特征向量与程度估计值之间对应关系的函数表达式。