CN106096557A - 一种基于模糊训练样本的半监督学习人脸表情识别方法 - Google Patents

Abstract

本发明公开了一种基于模糊训练样本的半监督学习人脸表情识别方法，本发明首先对人脸数据库数据预处理，然后使用改进的SVM算法进行人脸表情识别，最后对未知表情图像进行识别。本发明在使用相同数量的有标记样本时通过加入大量无标记样本将表情识别率提高3％～7％；在使用少量标记样本情况下，该方法通过STSVM算法将识别率提升至与使用大量标记样本得到的SVM分类器识别率相当的水平。

Description

一种基于模糊训练样本的半监督学习人脸表情识别方法

技术领域

本发明涉及图像处理及模式识别技术领域，尤其涉及一种二维人脸表情识别方向中的半监督式学习自训练支持向量机分类方法。

背景技术

人脸表情识别一般包括三个步骤：脸部图像获取、特征提取、脸部表情分类。在做表情识别分类时，某一个样本可能同时具有愤怒和悲伤特征，进行分类时，分类器的性能会受到一定的影响。同时实际生活中存在着大量的具有模糊性的无标记数据，而传统的监督学习不能很好的利用这些数据。本发明结合半监督学习算法，通过利用大量的无标注数据，实现对模糊样本的更精确的分类。

表情特征提取方式中，基于主成分分析(PCA)的分类方法能够较好地处理高维度的数据，但是在运算过程中计算量较大，且可分性较差；基于脸部关键点的特征提取具有对光线等不敏感的特性，但缺乏对细节的描述；而本发明使用的基于纹理的特征提取(如LBP(局部二值模式(Local Binary Pattern))特征)就能够较好地获取表情图像的细节特征，如脸部的形变。

目前表情分类器主要有线性分类器、神经网络分类器、隐马尔可夫模型、支持向量机等分类识别方法。线性分类器假设不同类别的模式空间线性可分，但需要足够的有标记训练数据来得到完备的模型，而实际中有标记的数据远远少于无标记的数据，在有标记样本较少时，分类正确率会明显降低；神经网络分类器将人脸特征的坐标位置和其相应的灰度值作为神经网络的输入，可以提供复杂的类间分界面，但需要大量的训练样本和训练时间，不能满足实时处理的要求；隐马尔可夫模型适用于动态过程时间序列建模，能够比较精确地描绘表情的变化本质和动态性能，但不适合本专利的静态识别应用场景；而支持向量机分类方法泛化能力很强，在解决小样本、非线性及高维模式识别问题方面具有明显优势。

本发明的创新之处在于根据传统支持向量机分类出的无标记训练样本结果的置信度，将部分置信度高的无标记训练样本加入到监督学习有标记训练样本集中，从而增加了训练样本数量，通过自训练算法得到自训练支持向量机分类器，进而提升了对无标记测试样本表情识别的正确率。与传统的监督学习表情分类器相比，该表情分类器拥有更好的识别性能。实验结果表明，该表情识别方法在使用相同数量的有标记样本时通过加入大量无标记样本将表情识别率提高3％～7％；在使用少量标记样本情况下，该方法通过STSVM方法将识别率提升至与使用大量标记样本得到的SVM分类器识别率相当的水平。本发明在训练数据或计算资源有 限的应用场景中能够提供与大量训练数据输入的表情识别方法相同甚至更高的识别率，具有很高的实用价值。

在未来，许多与脸部表情自动识别相关的应用会展现出来，比如机器人、图像处理、视频索引、虚拟现实、心理学研究、脸部图像压缩和脸部动态分析等。本发明提出的人脸表情识别技术具有很重要的现实意义。

发明内容

本发明的目的在于针对目前二维人脸表情识别领域内现有技术需要大量有标记训练数据，而实际中存在的大量无标记表情图像数据无法利用的问题，提供一种基于模糊训练样本的半监督学习人脸表情识别方法，该方法能够在训练数据不足时有效提高人脸表情的识别率。

本发明的目的是通过以下技术方案来实现的：一种基于模糊训练样本的半监督学习人脸表情识别方法，该方法包括以下步骤：

(1)人脸数据库数据预处理，具体包括以下子步骤：

(1.1)人脸图像按表情类别预分类：使用卡耐基梅隆大学CK+人脸表情数据库，选取有标记的表情图像，按照6类表情名称(高兴、惊讶、悲伤、生气、厌恶、恐惧)对应放在6个文件夹下；

(1.2)图像数据分为训练集和测试集：具体方法为每次从6类表情中分别选出i张，共计6i个样本作为有标记训练集，每类中选取j张，共计6j个样本作为无标记训练集，其余样本作为测试集；

(1.3)读取训练集和测试集中的图像数据进行人脸检测，提取人脸后计算局部二值模式(Local Binary Pattern,LBP)特征：LBP定义在3×3像素邻域内，以邻域中心像素值为阈值，将相邻8个像素的灰度值与其进行比较，若大于中心像素值，则该像素点的位置被标记为1，否则为0。这样，3×3邻域内的8个点经比较可产生8位二进制数，即得到该邻域中心像素点的LBP值，并用这个值来反映该区域的纹理信息。邻域中心点LBP特征值计算方法：

(1.4)对三个样本集的LBP特征进行直方图统计：图像提取LBP特征之后，可以得到一系列0～255之间的值，通过对其进行直方统计，可以得到相应的LBP特征向量，每个样本的特征向量为1×256维；

(2)使用改进的SVM算法进行人脸表情识别，具体包括以下子步骤：

(2.1)表情数据二分类：将6种表情分成两类，每次选取其中一种表情作为一类，其余五种作为另一类，“其他表情”。共进行6次二分类。对每一类表情重复以下步骤；

(2.2)对有标记的训练集和测试集进行标注，标签为+1或-1，将无标记的训练集样本标签全部标注为0。

(2.3)输入有标记训练集，计算并输出有标记训练集的SVM模型：

(2.3.1)规范化训练样本，消除奇异样本数据对结果的影响：对有标记训练集256维LBP特征中的特征值进行缩放，缩放目标区间为[-1,1]，方法为得到每维数据的最大值max和最小值min，对于[min,max]中的任意值value，缩放的计算公式为保存缩放结果和记录了每维数据最大值和最小值的规范化参数Range；

(2.3.2)构造SVM一阶软间隔分类器：

g(x)＝w^Tx+b＝0

其中，x是输入训练样本的向量表示，g(x)是以w为法向量以b为平移项的分类超平面。为了减少离群点对整个分类器的影响，引入松弛变量ξ和惩罚因子C，把损失加入到目标函数里，使间隔最大化，优化问题：

$Min:\frac{1}{2}\left|\right|w|{|}^2+C\·\underset{i=1}{\overset{n}{\Σ}}{\mathrm{\ξ}}_i$

限制条件为y_i·(w^T·x_i+b)≥1-ξ_i,i＝1,2,3,...,n，其中y_i∈{-1,+1}是样本标签。通过拉格朗日对偶变换后，上式转化为一个凸二次规划问题求解：

$Max:W\left(\mathrm{\α}\right)=\underset{i=1}{\overset{n}{\Σ}}{\mathrm{\α}}_i-\frac{1}{2}\underset{i=1,j=1}{\overset{n}{\Σ}}{\mathrm{\α}}_i{\mathrm{\α}}_j{y}_i{y}_j{x}_i^T{x}_j$

限制条件为i＝1,2,3,...,n,j＝1,2,3,...,n，其中α为拉格朗日乘子；

(2.3.3)选用RBF核函数：核函数的本质是定义了高维空间中两个向量的内积。通过RBF核函数将有标记训练集的数据映射到高维空间，使数据能够在高维空间进行线性分类。RBF核函数定义如下：

其中x_i,x_j是两个低维空间里的向量，在本发明中指某张表情图像的LBP特征向量，γ是核参 数，步骤(2.3.2)中的凸二次优化问题变为：

限制条件为i＝1,2,3,...,n,j＝1,2,3,...,n，其中α为拉格朗日乘子；

(2.3.4)交叉验证寻找最优参数：对归一化的有标记训练数据的LBP直方图统计集，取不同的松弛变量C和参数γ进行训练，交叉验证得到识别率，取识别率最高时对应的C和γ，训练得到SVM模型。

(2.4)根据有标记训练集规范化参数Range对测试集LBP特征值进行缩放，通过有标记训练集输出的SVM模型对规范化的无标记训练集进行分类预测；

(2.5)通过核函数和超平面参数计算无标记训练集中每一个样本到SVM模型中超平面的距离，得到距离集。对距离集中的数据取绝对值，并降序排序；

(2.7)引入自训练样本置信度的分割参数Partition，取值范围：0～1。根据Partition参数将距离集分成两部分，取置信度高也即距离数值大的第一部分距离集，并将与之对应的无标记训练集中的样本及其预测标签取出，加入到有标记训练集中；

(2.8)输入更新的有标记训练集和无测试集的LBP特征，进行步骤(2.3)重新计算SVM模型，输出自训练SVM模型(STSVM)；

(2.9)对测试集进行预测，并将预测结果与测试集中的样本标签进行比较，通过混淆矩阵对识别率进行分析。

(2.10)对i，j，Partition参数分别选取不同的值进行循环计算，得到识别正确率最高时对应的STSVM模型和更新后有标记训练集的Range参数，并保存6个二分类STSVM模型的识别率作为分类置信度；

(3)对未知表情图像进行识别，具体包括以下子步骤：

(3.1)未知表情图像的获取和预处理：相机或摄像头拍摄的人脸图片转为8位灰度图，提取人脸，计算LBP特征，生成1×256维特征向量。根据STSVM模型中更新的有标记训练集的Range参数对未知表情图像的LBP特征进行规范化处理；

(3.2)将缩放结果输入6个二分类STSVM模型中，如果6个结果中，有一个被分类到某一表情A下，其余5个结果是“其他表情”，则返回表情A；如果6个结果均被分为“其他表情”或有超过一个结果被分类到某一表情下，则通过核函数和超平面参数计算未知表情样本到6个二分类STSVM模型中超平面的距离，得到6个距离作为分类结果置信度，选择最大距离对应的分类结果返回。

本发明的有益效果是，本发明采用支持向量机分类器通过自训练方式，将无标记数据应用于算法优化，提高了识别正确率。本发明使用支持向量机分类器对无标记的表情样本进行预测。支持向量机(Support Vector Machine,SVM)是一种通过寻找能最好地将训练样本分开的超平面来预测新样本标签的算法。本发明创新地使用SVM算法，提出自训练SVM(Self-Training-based SVM,STSVM)人脸表情分类方法。根据传统SVM分类出的无标记训练样本结果的置信度，将部分置信度高的无标记训练样本加入到监督学习有标记训练样本集中，通过自训练算法得到STSVM分类器，最后实现对无标记测试样本中表情标签的预测。与传统的监督学习表情分类器相比，该表情分类器拥有更好的识别性能。实验结果表明，该表情识别方法在使用相同数量的有标记样本时通过加入大量无标记样本将表情识别率提高3％～7％；在使用少量标记样本情况下，该方法通过STSVM算法将识别率提升至与使用大量标记样本得到的SVM分类器识别率相当的水平。

附图说明

图1为本发明方法的流程图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细说明。

如图1所示，本发明一种基于模糊训练样本的半监督学习人脸表情识别方法，该方法包括以下步骤：

(1)人脸数据库数据预处理，具体包括以下子步骤：

(1.1)人脸图像按表情类别预分类：使用卡耐基梅隆大学CK+人脸表情数据库，选取有标记的表情图像，按照6类表情名称(高兴、惊讶、悲伤、生气、厌恶、恐惧)对应放在6个文件夹下；

(1.2)图像数据分为训练集和测试集：具体方法为每次从6类表情中分别选出i张，共计6i个样本作为有标记训练集，每类中选取j张，共计6j个样本作为无标记训练集，其余样本作为测试集；

(1.3)读取训练集和测试集中的图像数据进行人脸检测，提取人脸后计算局部二值模式(Local Binary Pattern,LBP)特征：LBP定义在3×3像素邻域内，以邻域中心像素值为阈值，将相邻8个像素的灰度值与其进行比较，若大于中心像素值，则该像素点的位置被标记为1，否则为0。这样，3×3邻域内的8个点经比较可产生8位二进制数，即得到该邻域中心像素点的LBP值，并用这个值来反映该区域的纹理信息。邻域中心点LBP特征值计算方法：

(1.4)对三个样本集的LBP特征进行直方图统计：图像提取LBP特征之后，可以得到一系列0～255之间的值，通过对其进行直方统计，可以得到相应的LBP特征向量，每个样本的特征向量为1×256维；

(2)使用改进的SVM算法进行人脸表情识别，具体包括以下子步骤：

(2.1)表情数据二分类：将6种表情分成两类，每次选取其中一种表情作为一类，其余五种作为另一类，“其他表情”。共进行6次二分类。对每一类表情重复以下步骤；

(2.2)对有标记的训练集和测试集进行标注，标签为+1或-1，将无标记的训练集样本标签全部标注为0。

(2.3)输入有标记训练集，计算并输出有标记训练集的SVM模型：

(2.3.1)规范化训练样本，消除奇异样本数据对结果的影响：对有标记训练集256维LBP特征中的特征值进行缩放，缩放目标区间为[-1,1]，方法为得到每维数据的最大值max和最小值min，对于[min,max]中的任意值value，缩放的计算公式为保存缩放结果和记录了每维数据最大值和最小值的规范化参数Range；

(2.3.2)构造SVM一阶软间隔分类器：

g(x)＝w^Tx+b＝0

其中，x是输入训练样本的向量表示，g(x)是以w为法向量以b为平移项的分类超平面。为了减少离群点对整个分类器的影响，引入松弛变量ξ和惩罚因子C，把损失加入到目标函数里，使间隔最大化，优化问题：

$Min:\frac{1}{2}\left|\right|w|{|}^2+C\·\underset{i=1}{\overset{n}{\Σ}}{\mathrm{\ξ}}_i$

限制条件为y_i·(w^T·x_i+b)≥1-ξ_i,i＝1,2,3,...,n，其中y_i∈{-1,+1}是样本标签。通过拉格朗日对偶变换后，上式转化为一个凸二次规划问题求解：

$Max:W\left(\mathrm{\α}\right)=\underset{i=1}{\overset{n}{\Σ}}{\mathrm{\α}}_i-\frac{1}{2}\underset{i=1,j=1}{\overset{n}{\Σ}}{\mathrm{\α}}_i{\mathrm{\α}}_j{y}_i{y}_j{x}_i^T{x}_j$

限制条件为i＝1,2,3,...,n,j＝1,2,3,...,n，其中α为拉格朗日乘子；

(2.3.3)选用RBF核函数：核函数的本质是定义了高维空间中两个向量的内积。通过RBF核函数将有标记训练集的数据映射到高维空间，使数据能够在高维空间进行线性分类。RBF核函数定义如下：

其中x_i,x_j是两个低维空间里的向量，在本发明中指某张表情图像的LBP特征向量，γ是核参数，步骤(2.3.2)中的凸二次优化问题变为：

限制条件为i＝1,2,3,...,n,j＝1,2,3,...,n，其中α为拉格朗日乘子；

(2.3.4)交叉验证寻找最优参数：对归一化的有标记训练数据的LBP直方图统计集，取不同的松弛变量C和参数γ进行训练，交叉验证得到识别率，取识别率最高时对应的C和γ，训练得到SVM模型。

(2.4)根据有标记训练集规范化参数Range对测试集LBP特征值进行缩放，通过有标记训练集输出的SVM模型对规范化的无标记训练集进行分类预测；

(2.5)通过核函数和超平面参数计算无标记训练集中每一个样本到SVM模型中超平面的距离，得到距离集。对距离集中的数据取绝对值，并降序排序；

(2.7)引入自训练样本置信度的分割参数Partition，取值范围：0～1。根据Partition参数将距离集分成两部分，取置信度高也即距离数值大的第一部分距离集，并将与之对应的无标记训练集中的样本及其预测标签取出，加入到有标记训练集中；

(2.8)输入更新的有标记训练集和无测试集的LBP特征，进行步骤(2.3)重新计算SVM模型，输出自训练SVM模型(STSVM)；

(2.9)对测试集进行预测，并将预测结果与测试集中的样本标签进行比较，通过混淆矩阵对识别率进行分析。

(2.10)对i，j，Partition参数分别选取不同的值进行循环计算，得到识别正确率最高时对应的STSVM模型和更新后有标记训练集的Range参数，并保存6个二分类STSVM模型的识别率作为分类置信度；

(3)对未知表情图像进行识别，具体包括以下子步骤：

(3.1)未知表情图像的获取和预处理：相机或摄像头拍摄的人脸图片转为8位灰度图，提取人脸，计算LBP特征，生成1×256维特征向量。根据STSVM模型中更新的有标记训练集的Range参数对未知表情图像的LBP特征进行规范化处理；

(3.2)将缩放结果输入6个二分类STSVM模型中，如果6个结果中，有一个被分类到某一表情A下，其余5个结果是“其他表情”，则返回表情A；如果6个结果均被分为“其他表情”或有超过一个结果被分类到某一表情下，则通过核函数和超平面参数计算未知表情样本到6个二分类STSVM模型中超平面的距离，得到6个距离作为分类结果置信度，选择最大距离对应的分类结果返回。

Claims (1)

1.一种基于模糊训练样本的半监督学习人脸表情识别方法，其特征在于，该方法包括以下步骤：

(1)人脸数据库数据预处理，具体包括以下子步骤：

(1.1)人脸图像按表情类别预分类：使用卡耐基梅隆大学CK+人脸表情数据库，选取有标记的表情图像，按照6类表情名称(高兴、惊讶、悲伤、生气、厌恶、恐惧)对应放在6个文件夹下；

(1.2)图像数据分为训练集和测试集：具体方法为每次从6类表情中分别选出i张，共计6i个样本作为有标记训练集，每类中选取j张，共计6j个样本作为无标记训练集，其余样本作为测试集；

(1.3)读取训练集和测试集中的图像数据进行人脸检测，提取人脸后计算LBP特征：LBP定义在3×3像素邻域内，以邻域中心像素值为阈值，将相邻8个像素的灰度值与其进行比较，若大于中心像素值，则该像素点的位置被标记为1，否则为0。这样，3×3邻域内的8个点经比较可产生8位二进制数，即得到该邻域中心像素点的LBP值，并用这个值来反映该区域的纹理信息。邻域中心点LBP特征值计算方法：

(1.4)对三个样本集的LBP特征进行直方图统计：图像提取LBP特征之后，可以得到一系列0～255之间的值，通过对其进行直方统计，可以得到相应的LBP特征向量，每个样本的特征向量为1×256维；

(2)使用改进的SVM算法进行人脸表情识别，具体包括以下子步骤：

(2.1)表情数据二分类：将6种表情分成两类，每次选取其中一种表情作为一类，其余五种作为另一类：“其他表情”。共进行6次二分类。对每一类表情重复以下步骤；

(2.2)对有标记的训练集和测试集进行标注，标签为+1或-1，将无标记的训练集样本标签全部标注为0。

(2.3)输入有标记训练集，计算并输出有标记训练集的SVM模型：

(2.3.1)规范化训练样本，消除奇异样本数据对结果的影响：对有标记训练集256维LBP特征中的特征值进行缩放，缩放目标区间为[-1,1]，方法为得到每维数据的最大值max和最小值min，对于[min,max]中的任意值value，缩放的计算公式为保存缩放结果和记录了每维数据最大值和最小值的规范化参数Range；

(2.3.2)构造SVM一阶软间隔分类器：

g(x)＝w^Tx+b＝0

其中，x是输入训练样本的向量表示，g(x)是以w为法向量以b为平移项的分类超平面。为了减少离群点对整个分类器的影响，引入松弛变量ξ和惩罚因子C，把损失加入到目标函数里，使间隔最大化，优化问题：

$Min:\frac{1}{2}\left|\right|w|{|}^2+C\·\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\ξ}}_i$

限制条件为y_i·(w^T·x_i+b)≥1-ξ_i,i＝1,2,3,...,n，其中y_i∈{-1,+1}是样本标签。通过拉格朗日对偶变换后，上式转化为一个凸二次规划问题求解：

$Max:W\left(\mathrm{\α}\right)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\α}}_i-\frac{1}{2}\underset{i=1,j=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\α}}_i{\mathrm{\α}}_j{y}_i{y}_j{x}_i^T{x}_j$

限制条件为0≤α_i≤C,i＝1,2,3,...,n,j＝1,2,3,...,n，其中α为拉格朗日乘子；

(2.3.3)选用RBF核函数：核函数的本质是定义了高维空间中两个向量的内积。通过RBF核函数将有标记训练集的数据映射到高维空间，使数据能够在高维空间进行线性分类。RBF核函数定义如下：

其中x_i,x_j是两个低维空间里的向量，在本发明中指某张表情图像的LBP特征向量，γ是核参数，步骤(2.3.2)中的凸二次优化问题变为：

限制条件为0≤α_i≤C,i＝1,2,3,...,n,j＝1,2,3,...,n，其中α为拉格朗日乘子；

(2.3.4)交叉验证寻找最优参数：对归一化的有标记训练数据的LBP直方图统计集，取不同的松弛变量C和参数γ进行训练，交叉验证得到识别率，取识别率最高时对应的C和γ，训练得到SVM模型。

(2.4)根据有标记训练集规范化参数Range对测试集LBP特征值进行缩放，通过有标记训练集输出的SVM模型对规范化的无标记训练集进行分类预测；

(2.5)通过核函数和超平面参数计算无标记训练集中每一个样本到SVM模型中超平面的距离，得到距离集。对距离集中的数据取绝对值，并降序排序；

(2.7)引入自训练样本置信度的分割参数Partition，取值范围：0～1。根据Partition参数将距离集分成两部分，取置信度高也即距离数值大的第一部分距离集，并将与之对应的无标记训练集中的样本及其预测标签取出，加入到有标记训练集中；

(2.8)输入更新的有标记训练集和无测试集的LBP特征，进行步骤(2.3)重新计算SVM模型，输出自训练SVM模型(STSVM)；

(2.9)对测试集进行预测，并将预测结果与测试集中的样本标签进行比较，通过混淆矩阵对识别率进行分析。

(2.10)对i，j，Partition参数分别选取不同的值进行循环计算，得到识别正确率最高时对应的STSVM模型和更新后有标记训练集的Range参数，并保存6个二分类STSVM模型的识别率作为分类置信度；

(3)对未知表情图像进行识别，具体包括以下子步骤：

(3.1)未知表情图像的获取和预处理：相机或摄像头拍摄的人脸图片转为8位灰度图，提取人脸，计算LBP特征，生成1×256维特征向量。根据STSVM模型中更新的有标记训练集的Range参数对未知表情图像的LBP特征进行规范化处理；

(3.2)将缩放结果输入6个二分类STSVM模型中，如果6个结果中，有一个被分类到某一表情A下，其余5个结果是“其他表情”，则返回表情A；如果6个结果均被分为“其他表情”或有超过一个结果被分类到某一表情下，则通过核函数和超平面参数计算未知表情样本到6个二分类STSVM模型中超平面的距离，得到6个距离作为分类结果置信度，选择最大距离对应的分类结果返回。