CN114022921A - 一种基于特征点和局部特征的面部表情分析方法 - Google Patents

Abstract

本发明公开了一种基于特征点和局部特征的面部表情分析方法，属于面部表情分析技术领域，要解决的技术问题为如何通过多特征结合进行面部表情预测并提高预测准确率。包括如下步骤：提取面部关键点的坐标值，基于面部关键点的坐标值对面部图像进行缩小和剪裁处理，得到特征点；对于每个预处理后面部图像，基于面部关键点的坐标值提取面部成分；对于每个面部成分，将其划分为多个面部子区域，并对每个面部子区域提取局部二值模式得到一个行向量，对于每个面部图像，对于每个预处理后面部图像，将与其对应的行向量进行拼接，基于所述面部图像数据集对应的所有行向量组成一个特征矩阵作为局部特征；进行支持向量机分类以训练支持向量机，通过训练后支持向量机进行表情预测。

Description

一种基于特征点和局部特征的面部表情分析方法

技术领域

本发明涉及面部表情分析技术领域，具体地说是一种基于特征点和局部特 征的面部表情分析方法。

背景技术

在社会交流的过程中，除了通过语言直观的了解到对方想要表达的意思外， 还能够通过面部表情看出潜在的信息，而这种潜在的信息才是大部分人想要表 达的真正意思，情感预测在交流的过程中起着重要的作用。面部表情可以反映 出人们的情感，因此可以通过预测面部表情进而预测出情感状态。

人机交互是指人和机器可以通过某些特定的方式完成信息交换，人机交互 的目的是服务于人，所以机器需要了解到面部表情所表达的潜在信息。如果机 器不能了解到服务的对象的真正意思，它就不能出色的完成人交给它的任务。 目前人机交互的方式大部分是语言和程序输入，理想中的方式是机器像人一样 面对面交流，机器可以通过摄像头来观察交流者，这样机器需要做的就比以前 多了一个图像处理的操作，因此图像处理成为了当下研究的热点。人机交互中 图像处理的一个重要分支是面部表情预测，面部表情预测已经成为研究热点并 逐渐进入生活中，例如情感状态预测、监测学生上课状态、监测驾驶员状态、 以及线上推荐系统。

但存在许多因素影响面部表情预测的准确率，例如环境光照、头部姿势、 图像的清晰度等。

目前在研究中存在如下问题：

其一，现有方法大多只使用纹理特征而不使用几何特征，而几何特征有面 部关键点的几何位置关系，是不可忽视的特征；

其二，当使用多种特征相结合时，不能使每个特征都发挥出应有的作用， 从而忽略了一些对分类重要的特征，造成预测的准确低。

基于上述分析，如何通过多特征结合进行面部表情预测并提高预测准确率， 是需要解决的技术问题。

发明内容

本发明的技术任务是针对以上不足，提供一种基于特征点和局部特征的面 部表情分析方法，来解决如何通过多特征结合进行面部表情预测并提高预测准 确率的问题。

本发明的一种基于特征点和局部特征的面部表情分析方法，包括如下 步骤：

获取多个面部图像组成面部图像数据集，所述多个面部图像均对应有 已知的表情标签；

对于每个面部图像，提取面部关键点的坐标值，基于面部关键点的坐 标值对面部图像进行缩小和剪裁处理，得到预处理后面部图像，所述预处 理后面部图像包括其所有的面部关键点，对于每个预处理后面部图像，基 于剪裁处理相关的剪裁尺寸对其所有面部关键点的坐标值进行统一调节， 得到关键点的几何特征作为特征点；

对于每个预处理后面部图像，基于面部关键点的坐标值提取面部成 分，得到四个面部成分并对所述四个面部成分统一尺寸，所述四个面部成 分为左眉毛和左眼面部成分、右眉毛和右眼面部成分、鼻子面部成分、以 及嘴巴面部成分；

对于每个面部成分，将其划分为多个面部子区域，并对每个面部子区 域提取局部二值模式得到一个行向量，对于每个预处理后面部图像，将与 其对应的行向量进行拼接，得到一个新的行向量，基于所述面部图像数据 集对应的所有行向量组成一个特征矩阵作为局部特征；

基于零-均值规范方法分别对特征点和局部特征进行归一化处理，并将 特征点和局部特征拼接为结合特征；

对于所述结合特征，通过最大相关最小冗余方法进行特征选择；

对于特征选择后结合特征，通过主成分方法进行将降维处理；

将降维后的结合特征划分为训练集和测试集，以训练集和与其对应的 表情标签为输入，进行支持向量机分类以训练支持向量机，以测试集为输 入，通过训练后支持向量机进行表情预测，并结合测试集对应的表情标签 对预测结果进行准确率分析。

作为优选，基于面部关键点的坐标值对面部图像进行缩小和剪裁处 理，得到预处理后面部图像，包括如下步骤：

根据面部关键点的坐标值计算双眼最内侧的两个点之间的距离；

基于上述距离对面部图像进行缩小处理，缩小后面部图像中双眼最内 侧两个点之间的距离统一为指定像素；

提取面部关键点的坐标值；

以左眼内侧点为起点，基于统一的剪裁尺寸分别从上、下、左、右四 个方向对缩小后面部图像进行剪裁，得到预处理后面部图像，所述统一的 剪裁尺寸能够满足每个预处理后面部图像能够包含其所有的面部关键点。

作为优选，通过CHEHRA模型提取面部关键点的坐标值，且提取面部关 键点的坐标值之后，调节面部关键点的坐标值以使得面部关键点肉眼可见 的位于面部对应位置。

作为优选，所述指定像素为30像素；

所述剪裁尺寸为向上36像素、向下87像素、向左39像素、向右66像 素；对应的，对于每个预处理后面部图像，基于剪裁处理相关的剪裁尺寸 对其所有面部关键点的坐标值进行统一调节时，将每个面部关键点的x值 向左39像素，将每个面部关键点的y值向上36像素。

作为优选，通过imresize函数多个面部成分统一尺寸，统一后每个面部 成分的大小均为30像素*45像素。

作为优选，对于每个预处理后面部图像，将与其对应的区域行向量进 行拼接，得到一个图像行向量，包括如下步骤：

将来自同一个面部成分的不同面部子区域的局部二值模式，按照面部 子区域由上至下的顺序将对应的所有行向量拼接为一个行向量，再按照面 部子区域由左至右的顺序将对应的所有行向量拼接为一个行向量；

将来自同一个预处理后面部图像的不同面部成分的局部二值模式，按 照左眉毛和左眼面部成分、右眉毛和右眼面部成分、鼻子面部成分、以及 嘴巴面部成分的顺序将对应的四个行向量拼接为一个行向量，每个预处理 后图像均对应一个行向量。

作为优选，将结合特征划分为训练集和测试集之前，通过留一法或者 十倍交叉验证法将结合特征划分为训练集合测试集。

作为优选，进行支持向量机分类时，采用多分类方法，并选择线性函数作 为核函数。

本发明的一种基于特征点和局部特征的面部表情分析方法具有以下优点：

1、基于特征点和局部特征相结合的面部表情预测方法在两种特征结合时使 用了数据规范化、特征选择、降维，使每种特征都能在分类时发挥出应有的作 用；

2、不同特征的取值范围一般不同，因此不同特征对应的数值大小差别可能 很大。多种特征组合时如果不同特征的数值差别大，一般数值小的特征会被忽 略，这就会影响到分类的结果。如果在组合前对每种特征都进行数据规范化， 那么特征就不会因为数值的大小而被忽略，这样做才能使数值小的特征发挥出 作用，零-均值规范化方法是一种数据规范化的方法，该方法处理后数据的均值 为0，标准差为1；

3、特征选择的目的是从特征向量中选择最具代表性的特征组成特征子集， 在特征子集中特征之间的相关性最大但是冗余最小，剔除冗余特征可以减少过 拟合，增强分类器的泛化能力；

4、降维的目标是在保证不减少有用信息的前提下降低特征向量的维度，降 维可以使特征互相独立，还可以剔除包含有用信息少的特征，这样做既可以提 高分类准确率，还可以节省计算机资源。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技 术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅 仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性 劳动的前提下，还可以根据这些附图获得其他的附图。

下面结合附图对本发明进一步说明。

图1为实施例一种基于特征点和局部特征的面部表情分析方法的流程框 图；

图2为一种基于特征点和局部特征的面部表情分析方法中面部图像及其面 部关键点的示意图；

图3为一种基于特征点和局部特征的面部表情分析方法中四个面部成分；

图4为一种基于特征点和局部特征的面部表情分析方法中一个面部成分分 块后的一块提取局部二值模式特征‘’

图5为一种基于特征点和局部特征的面部表情分析方法中在JAFFE数据集 上的混淆矩阵散点图；

图6为一种基于特征点和局部特征的面部表情分析方法中在JAFFE数据集 上的7种表情的准确率。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人 员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定， 在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互结合。

需要理解的是，在本发明实施例的描述中，“第一”、“第二”等词汇，仅用 于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示 或暗示顺序。在本发明实施例中的“多个”，是指两个或两个以上。

本发明实施例提供一种基于特征点和局部特征的面部表情分析方法，用于 解决如何通过多特征结合进行面部表情预测并提高预测准确率的技术问题。

实施例：

本发明的一种基于特征点和局部特征的面部表情分析方法，包括如下 步骤：

S100、获取多个面部图像组成面部图像数据集，多个面部图像均对应 有已知的表情标签；

S200、对于每个面部图像，提取面部关键点的坐标值，基于面部关键 点的坐标值对面部图像进行缩小和剪裁处理，得到预处理后面部图像，预 处理后面部图像包括其所有的面部关键点，对于每个预处理后面部图像， 基于剪裁处理相关的剪裁尺寸对其所有面部关键点的坐标值进行统一调 节，得到关键点的几何特征作为特征点；

S300、对于每个预处理后面部图像，基于面部关键点的坐标值提取面 部成分，得到四个面部成分并对所述四个面部成分统一尺寸，四个面部成 分为左眉毛和左眼面部成分、右眉毛和右眼面部成分、鼻子面部成分、以 及嘴巴面部成分；

S400、对于每个面部成分，将其划分为多个面部子区域，并对每个面 部子区域提取局部二值模式得到一个行向量，对于每个预处理后面部图 像，将与其对应的行向量进行拼接，得到一个新的行向量，基于面部图像 数据集对应的所有行向量组成一个特征矩阵作为局部特征；

S500、基于零-均值规范方法分别对特征点和局部特征进行归一化处 理，并将特征点和局部特征拼接为结合特征；

S600、对于结合特征，通过最大相关最小冗余方法进行特征选择；

S700、对于特征选择后结合特征，通过主成分方法进行将降维处理；

S800、将降维后的结合特征划分为训练集和测试集，以训练集和与其 对应的表情标签为输入，进行支持向量机分类以训练支持向量机，以测试 集为输入，通过训练后支持向量机进行表情预测，并结合测试集对应的表 情标签对预测结果进行准确率分析。

本实例中，步骤S200使用CHEHRA模型提取49个关键点的坐标值如 图2，然后手动调整坐标值使关键点肉眼可见的在面部对应的位置。 CHEHRA模型是一种预先训练好的机器学习算法，可以直接使用。该模型的 优势在于可以处理不同环境光照、不同头部姿势和其他非受控条件下的人 脸图像。使用方便并且能得到不错的结果。

然后通过以下操作变换关键点得出特征点：首先，根据关键点的坐标值求 出双眼最内侧的两个点之间的距离，根据距离缩小图像使新的图像中的双眼最 内侧的两个点之间的距离统一为30像素；其次，重新对新的图像进行定位关键 点，手动调整关键点，以左眼内侧点即标号为23的特征点为起点，分别向上 36像素，向下87像素，向左39像素，向右66像素，裁剪出整个面部，这组 数据是通过多次实验找出的，使用这一组数据裁剪可以将数据集中所有图像关 键点包括在内；最后，将所有图像的所有关键点的x值减去上一步中向左的39 像素，将所有图像的所有关键点的y值减去上一步中向上的36像素。这时所有 图像的左眼内侧点即标号为23的特征点的坐标已统一。经过这些操作后，所得 到的数据才是最终的几何特征，即特征点。

步骤S300根据关键点的坐标值提取出面部成分如图3。提取出面部成分后， 每张图像都分成了左眉毛和左眼、右眉毛和右眼、鼻子、嘴巴这四个部分。最 后将这四个部分统一尺寸，分别对每一个区域使用imresize函数，将它们统一 成30像素*45像素大小。

得到面部成分后，步骤S400分别进行如下操作：先把每一个面部成分划分 成4*5个大小相同的子区域，划分成多个子区域，可以将位置和灰度包含在一 起，并且降低单个噪音点的干扰，通过实验尝试了许多种子区域个数，4*5个 是预测结果最好的一种；对一个面部成分分块后的一块提取局部二值模式特征 如图4，对每一个子区域提取局部二值模式特征，得到一个行向量；将来自同 一面部成分不同子区域的局部二值模式特征先按照子区域从上到下的顺序将这 些行向量拼接成一个行向量，再按照子区域从左到右的顺序将多个行向量拼接 成一个行向量；将来自同一张图像不同面部成分的局部二值模式特征按左眉毛 和左眼面部成分、右眉毛和右眼面部成分、鼻子面部成分、嘴巴面部成分的顺 序将四个行向量拼接成一个行向量。经过这些操作后，每一张图像都由一个行 向量表示，整个数据集组成了一个特征矩阵，特征矩阵才是最终的纹理特征， 即局部特征。

步骤S500使用零-均值规范化方法分别对关键点特征和局部特征进行归一 化处理。因为两种特征都是每一行表示一张图像的特征，所以可以将同一行拼 接在一起。将所有行都拼接在一起后得到了一个新的矩阵，即结合特征。

步骤S600使用最大相关最小冗余方法进行特征选择。最大相关最小冗余方 法是一种特征选择方法。首先在特征向量中找到相关性最大的特征。用所有特 征与分类之间的互信息的平均值来表示最大相关性。然后通过最小冗余方式剔 除冗余特征。经过最大相关性筛选后得到的特征之间可能存在冗余特征。冗余 特征可以由其他特征组合表示，不会对分类起到促进作用。并且剔除冗余特征 可以减少过拟合，增强分类器的泛化能力。最大相关最小冗余方法就是将上面 两个步骤组合在一起。

步骤S700使用主成分分析方法进行降维，降维的目标是在保证不减少有用 信息的前提下降低特征向量的维度。降维可以使特征互相独立，还可以剔除包 含有用信息少的特征。这样做既可以提高分类准确率，还可以节省计算机资源。 主成分分析方法是一种降维方法。

步骤S800使用支持向量机方法进行分类预测。支持向量机是一种二分类方 法，但是可以组合多个支持向量机，构成多分类方法。LIBSVM是支持向量机 的集成模型，多分类的策略是一对一,具体实现如下所述。本实验有七种表情， 任意两种之间使用一个支持向量机，共设计二十一个支持向量机。当一个样本 进行分类时，将经过所有的支持向量机，最后得票最多的种类即为最终结果。 选择线性核函数作为核函数，经过实验验证选择线性核函数比选择其他核函数 的分类结果好。

在JAFFE数据集上通过以上步骤求出预测结果。对比预测结果和数据集预 先给出的标签，可以统计出混淆矩阵散点图如图5以及7种表情的准确率如图 6。从图5中可以得知预测错误的图像是悲伤，它被错误地预测为快乐。从图6 中可以得知悲伤的预测准确率为96.7％，其它表情的预测准确率为100％。

本实施例通过CHEHRA模型找到关键点的坐标；通过变换关键点得出特 征点；根据关键点的坐标值提取出面部成分；对每个面部成分分块，然后分别 提取局部二值模式特征，之后按顺序组合起来；对每种特征都使用零-均值规范 化方法进行数据规范化；使用最大相关最小冗余方法进行特征提取；使用主成 分分析方法进行降维；使用支持向量机方法进行分类预测。

该基于特征点和局部特征相结合的面部表情预测方法在两种特征结合时使 用了数据规范化、特征选择、降维，使每种特征都能在分类时发挥出应有的作 用。这两种特征的组合比使用单一特征的效果好。

该基于特征点和局部特征相结合的面部表情预测方法在JAFFE数据集上进 行实验。取JAFFE数据集的全部图像，共213张。测试方法为留一法时准确率 为99.53％，测试方法为十倍交叉验证时准确率为99.52％。

该基于特征点和局部特征相结合的面部表情预测方法在CK+数据集上进行 实验。在CK+数据集的每个序列的峰值取1张图像，共327张。测试方法为十 倍交叉验证时准确率为98.17％。

该基于特征点和局部特征相结合的面部表情预测方法在CK+数据集上实 验，在CK+数据集的每个序列的峰值取3张图像，在每个序列的中立取1张图 像，共1236张。测试方法为十倍交叉验证时准确率为99.83％。

上文通过附图和优选实施例对本发明进行了详细展示和说明，然而本发明 不限于这些已揭示的实施例，基与上述多个实施例本领域技术人员可以知晓， 可以组合上述不同实施例中的代码审核手段得到本发明更多的实施例，这些实 施例也在本发明的保护范围之内。

Claims (8)

1.一种基于特征点和局部特征的面部表情分析方法，其特征在于包括如下步骤：

获取多个面部图像组成面部图像数据集，所述多个面部图像均对应有已知的表情标签；

对于每个面部图像，提取面部关键点的坐标值，基于面部关键点的坐标值对面部图像进行缩小和剪裁处理，得到预处理后面部图像，所述预处理后面部图像包括其所有的面部关键点，对于每个预处理后面部图像，基于剪裁处理相关的剪裁尺寸对其所有面部关键点的坐标值进行统一调节，得到关键点的几何特征作为特征点；

对于每个预处理后面部图像，基于面部关键点的坐标值提取面部成分，得到四个面部成分并对所述四个面部成分统一尺寸，所述四个面部成分为左眉毛和左眼面部成分、右眉毛和右眼面部成分、鼻子面部成分、以及嘴巴面部成分；

对于每个面部成分，将其划分为多个面部子区域，并对每个面部子区域提取局部二值模式得到一个行向量，对于每个预处理后面部图像，将与其对应的行向量进行拼接，得到一个新的行向量，基于所述面部图像数据集对应的所有行向量组成一个特征矩阵作为局部特征；

基于零-均值规范方法分别对特征点和局部特征进行归一化处理，并将特征点和局部特征拼接为结合特征；

对于所述结合特征，通过最大相关最小冗余方法进行特征选择；

对于特征选择后结合特征，通过主成分方法进行将降维处理；

将降维后的结合特征划分为训练集和测试集，以训练集和与其对应的表情标签为输入，进行支持向量机分类以训练支持向量机，以测试集为输入，通过训练后支持向量机进行表情预测，并结合测试集对应的表情标签对预测结果进行准确率分析。

2.根据权利要求1所述的一种基于特征点和局部特征的面部表情分析方法，其特征在于基于面部关键点的坐标值对面部图像进行缩小和剪裁处理，得到预处理后面部图像，包括如下步骤：

根据面部关键点的坐标值计算双眼最内侧的两个点之间的距离；

基于上述距离对面部图像进行缩小处理，缩小后面部图像中双眼最内侧两个点之间的距离统一为指定像素；

提取面部关键点的坐标值；

以左眼内侧点为起点，基于统一的剪裁尺寸分别从上、下、左、右四个方向对缩小后面部图像进行剪裁，得到预处理后面部图像，所述统一的剪裁尺寸能够满足每个预处理后面部图像能够包含其所有的面部关键点。

3.根据权利要求2所述的一种基于特征点和局部特征的面部表情分析方法，其特征在于通过CHEHRA模型提取面部关键点的坐标值，且提取面部关键点的坐标值之后，调节面部关键点的坐标值以使得面部关键点肉眼可见的位于面部对应位置。

4.根据权利要求2所述的一种基于特征点和局部特征的面部表情分析方法，其特征在于所述指定像素为30像素；

所述剪裁尺寸为向上36像素、向下87像素、向左39像素、向右66像素；对应的，对于每个预处理后面部图像，基于剪裁处理相关的剪裁尺寸对其所有面部关键点的坐标值进行统一调节时，将每个面部关键点的x值向左39像素，将每个面部关键点的y值向上36像素。

5.根据权利要求1-4任一项所述的一种基于特征点和局部特征的面部表情分析方法，其特征在于通过imresize函数多个面部成分统一尺寸，统一后每个面部成分的大小均为30像素*45像素。

6.根据权利要求1-4任一项所述的一种基于特征点和局部特征的面部表情分析方法，其特征在于对于每个预处理后面部图像，将与其对应的区域行向量进行拼接，得到一个图像行向量，包括如下步骤：

将来自同一个面部成分的不同面部子区域的局部二值模式，按照面部子区域由上至下的顺序将对应的所有行向量拼接为一个行向量，再按照面部子区域由左至右的顺序将对应的所有行向量拼接为一个行向量；

将来自同一个预处理后面部图像的不同面部成分的局部二值模式，按照左眉毛和左眼面部成分、右眉毛和右眼面部成分、鼻子面部成分、以及嘴巴面部成分的顺序将对应的四个行向量拼接为一个行向量，每个预处理后图像均对应一个行向量。

7.根据权利要求1-4任一项所述的一种基于特征点和局部特征的面部表情分析方法，其特征在于将结合特征划分为训练集和测试集之前，通过留一法或者十倍交叉验证法将结合特征划分为训练集和测试集。

8.根据权利要求1-4任一项所述的一种基于特征点和局部特征的面部表情分析方法，其特征在于进行支持向量机分类时，采用多分类方法，并选择线性函数作为核函数。

Images