CN109919055B - 一种基于AdaBoost-KNN的动态人脸情感识别方法 - Google Patents

Abstract

本发明提供了一种基于AdaBoost‑KNN的动态人脸情感识别方法，该方法包括：采用Candide‑3模型对动态人脸进行定位追踪，并提取追踪到的表情的多个情感特征点；该多个情感特征点组成一个训练子样本，所有训练子样本构成训练样本；基于AdaBoost‑KNN算法，建立由M个KNN分类器进行加权组合构成AdaBoost‑KNN分类器；通过训练样本训练和交叉验证方法验证，得到各个KNN分类器的权重系数，并确定所述AdaBoost‑KNN分类器的K值和人脸情感类别阈值，最终加权组合为最终的AdaBoost‑KNN分类器；以最终的AdaBoost‑KNN分类器，对动态人脸情感类别进行识别。本发明的有益效果是：提高了动态人脸情感的识别速度以及动态人脸情感的正确识别率。

Description

一种基于AdaBoost-KNN的动态人脸情感识别方法

技术领域

本发明涉及模式识别技术领域，尤其涉及一种基于AdaBoost-KNN的动态人脸情感识别方法。

背景技术

随着人机交互、情感计算等理论与技术的高速发展，人们普遍希望机器人具有识别、理解和生成人类情感的能力，从而实现和谐、友好、顺畅的人机交流。由于人类情感的多样性与相应行为之间的复杂性，当前的人机交互仍面临着关于情感计算(包括识别、理解和表达情感的情感计算能力)领域的一些难题。研究基于人脸表情、语音、手势、生理信号等信息的情感识别等已成为人机交互中的重点。人脸表情识别是情感计算领域的关键技术，将人脸表情识别嵌入人机交互系统，可使机器更好地理解人类情感，建立人性化的交互模式，将会在客户体验、智能驾驶、远程教育等领域获得广泛应用。

人脸情感识别由人脸检测与定位、情感特征提取、人脸情感分类三部分组成。其中，人脸情感特征提取与人脸情感分类算法是人脸表情算法的关键，动态的人脸情感特征提取是研究中的难点。然而己有的一些机器学习算法对人脸表情特征进行训练与识别的过程中往往容易忽略情感特征变化的动态信息，缺少随时间序列计算的能力，实时性较差，因此更具动态性的情感特征提取以及具有随时间计算能力的分类器设计是提高人脸情感识别率的关键。

目前对于人脸情感识别技术虽日趋完善，但如何在保持识别功能动态性的同时，保有很强的实时性是研究中存在的主要问题。KNN方法是一种最直接的用来分类未知数据的方法，而且算法可以随时间序列进行计算，而AdaBoost算法可以将不具备加权机制的KNN算法组合成带权重的识别模型，将AdaBoost级联KNN的识别算法，在人脸情感识别中也有很好的前景。

发明内容

为了解决上述问题，本发明提供了一种基于AdaBoost-KNN的动态人脸情感识别方法主要包括以下步骤：

S1：采用Candide-3模型对动态人脸进行定位追踪，并提取追踪到的表情的多个情感特征点；该多个情感特征点组成一个训练子样本，所有训练子样本构成训练样本；

S2：基于AdaBoost-KNN算法，建立AdaBoost-KNN分类器，所述AdaBoost-KNN分类器由M个KNN分类器进行加权组合构成；其中，M为大于1的正整数；

首先，以所述训练样本训练所述M个KNN分类器，得到每个KNN分类器的权重系数；

然后，根据得到的每个KNN分类器的权重系数，采用交叉验证的方法，得到更新后的每个KNN分类器的权重系数，确定出所述AdaBoost-KNN分类器的人脸情感类别阈值及每个KNN分类器的K值，得到最终的AdaBoost-KNN分类器；其中，所述人脸情感类别阈值由公式

计算得到；其中，α_P为每个KNN分类器的权重系数，P为正整数，1≤P≤M；n⁽ⁱ⁾表示人脸情感类别标签，i表示第i个训练子样本，1≤i≤N，N为训练子样本的数量；K值为每个KNN分类器的固有参数，K>0，K值的取值决定了KNN分类器的识别率；

S3：将待识别样本输入到最终的AdaBoost-KNN分类器，对动态人脸情感类别进行识别；所述待识别样本为实际追踪到的动态人脸表情对应的情感特征点。

进一步地，步骤S1中，所述Candide-3模型是由113个点和184个面片组成的一个参数化的模型，用于追踪和提取动态人脸情感的特征点；该模型如公式(1)所示：

g＝SR(g₀+AT+ST)+t (1)

其中，S为放大系数，R为旋转矩阵，g₀为标准模型，A和S分别代表运动单元和形状单元，T为对应的变化参数，t为转换向量。

进一步地，确定所述AdaBoost-KNN分类器中每个KNN分类器的权重系数的过程如下：

1)初始化训练样本{(X⁽¹⁾,n⁽¹⁾),...,(X⁽ⁱ⁾,n⁽ⁱ⁾),...,(X^(N),n^(N))}，使训练样本中的每一个训练子样本都具有相同的权重；其中，X⁽ⁱ⁾表示一个训练子样本，i表示第i个训练子样本，N为训练子样本的数量，1≤i≤N；n⁽ⁱ⁾表示训练子样本X⁽ⁱ⁾所属人脸情感类别的标签，n⁽ⁱ⁾∈{1,2,…,7}；

2)将训练样本输入到各个KNN分类器GP(X)，根据得到的所有训练子样本被正确分类的数目和错误分类的数量，计算出各个KNN分类器GP(X)的分类误差率e_P，根据分类误差率e_P计算得到各个KNN分类器GP(X)的权重系数α_P：

P为正整数，1≤P≤M，M表示KNN分类器的数量；

3)根据KNN分类器的权重系数α_P，按照步骤2)中得到的所有训练子样本被正确分类及错误分类的情况，调整每个训练子样本的样本权重，得到新的训练样本；

4)根据所述新的训练样本，再次对各个KNN分类器GP(X)进行训练，更新各个KNN分类器GP(X)的权重系数α_P；

5)按照步骤3)和步骤4)的操作对各个KNN分类器GP(X)的权重系数α_P多次进行更新，直到各个KNN分类器GP(X)的分类误差率小于设定误差阈值，更新得到最终的KNN分类器的权重系数α_P；将每个KNN分类器按照最终的权重系数加权组合成所述AdaBoost-KNN分类器G(X)：

进一步地，步骤S2中，确定所述AdaBoost-KNN分类器中的K值和人脸情感类别阈值的过程如下：

(1)利用交叉验证方法，将训练样本平均分成七组，对所述AdaBoost-KNN分类器进行七折交叉验证，即对M个KNN分类器依次进行七折交叉验证；

(2)根据每次七折交叉验证得到的识别结果，再次更新各个KNN分类器GM(X)的权重系数α_M，分别得到7类人脸情感类别阈值：第1类人脸情感类别的阈值G1为：

第2类人脸情感类别阈值G2为：

第3类人脸情感类别阈值G3为：

第4类人脸情感类别阈值G4为：

第5类人脸情感类别阈值G5为：

第6类人脸情感类别阈值G6为：

第7类人脸情感类别阈值G7为：

(3)确定7类人脸情感类别的阈值后，以试凑法确定所述AdaBoost-KNN分类器识别率最高时对应的K值，即将K值的取值从1开始增加变化，则随着K值的变化，所述AdaBoost-KNN分类器的识别率进行相应的变化，记录所述AdaBoost-KNN分类器的识别率最高时的K值，该K值即为所述AdaBoost-KNN分类器中确定下来的K值，从而得到最终的AdaBoost-KNN分类器。

进一步地，步骤S3中，所述最终的AdaBoost-KNN分类器输出的是人脸情感类别所对应的标签。

本发明提供的技术方案带来的有益效果是：提高了动态人脸情感的识别速度以及动态人脸情感的正确识别率。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例中基于AdaBoost-KNN的动态人脸情感识别方法的流程图；

图2是本发明实施例中AdaBoost-KNN分类器的结构图；

图3是本发明实施例中Candide-3模型的情感特征点跟踪效果图；

图4是本发明实施例中七折交叉验证原理图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。

本发明的实施例提供了一种基于AdaBoost-KNN的动态人脸情感识别方法。

请参考图1和图2，图1是本发明实施例中一种基于AdaBoost-KNN的动态人脸情感识别方法的流程图，图2是本发明实施例中动态人脸情感识别方法的结构图，具体包括如下步骤：

S1：采用Candide-3模型对动态人脸进行多次定位追踪，并提取追踪到的相应表情的多个情感特征点；该相应表情对应的多个情感特征点组成一个训练子样本，所有训练子样本构成训练样本；

根据动态人脸图像序列，选择图像序列帧数，基于Candide-3模型对人脸情感特征点进行跟踪，选择则同时直接提取出人脸情感特征点坐标，获得不同情感之间有差异且容易处理的特征数据，并存储特征数据，以便后续进行特征识别。

其中，Candide-3模型是由113个点和共计184个面片组成的一个参数化的模型，用于对不同头部姿态、大小和位置的人脸进行跟踪，该模型为：

g＝SR(g₀+AT+ST)+t (1)

其中，S为放大系数，R为旋转矩阵，g₀为标准模型，A和S分别代表运动单元和形状单元，T为对应的变化参数，t为模型的空间转换向量；

在跟踪过程中，提取稳定状态时追踪到的相应表情的多个情感特征点，该多个情感特征点组成一个训练子样本，所有训练子样本构成训练样本；本实施方式中，提取了100个情感特征点；

即便是在较昏暗的环境中，测试者呈现不同的头部姿态，Candide-3模型都能很好的实现对人脸情感特征点的跟踪，请参考图3，图3是本发明实施例中Candide-3模型的情感特征点跟踪效果图。

S2：基于AdaBoost-KNN算法，建立AdaBoost-KNN分类器，所述AdaBoost-KNN分类器由M个KNN分类器进行加权组合构成；其中，M为大于1的正整数，表示KNN分类器的数量；在本实施例中M的取值为7；

首先，以所述训练样本训练所述M个KNN分类器，得到每个KNN分类器的权重系数；

然后，根据得到的每个KNN分类器的权重系数，采用交叉验证的方法，得到更新后的每个KNN分类器的权重系数，确定出所述AdaBoost-KNN分类器的人脸情感类别阈值及每个KNN分类器的K值，得到最终的AdaBoost-KNN分类器；其中，所述人脸情感即指表情；所述人脸情感类别包括：开心、悲伤、平静、还怕、惊讶、厌恶和恐惧，这7类人脸情感类别的标签分别用数值1-7表示，所述人脸情感类别阈值由公式

计算得到；其中，α_P为每个KNN分类器的权重系数，P为正整数，1≤P≤M；n⁽ⁱ⁾表示人脸情感类别标签，n⁽ⁱ⁾∈{1,2,…,7}，i表示第i个训练子样本，1≤i≤N，N为训练子样本的数量；K值为每个KNN分类器的固有参数，K>0，K值的取值决定了KNN分类器的识别率；请参考图4，图4是本发明实施例中AdaBoost-KNN分类器的结构图，首先，以所述训练样本训练所述AdaBoost-KNN分类器，确定所述AdaBoost-KNN分类器中每个KNN分类器的权重系数的过程如下：

1)初始化训练样本{(X⁽¹⁾,n⁽¹⁾),...,(X⁽ⁱ⁾,n⁽ⁱ⁾),...,(X^(N),n^(N))}，使训练样本中的每一个训练子样本都具有相同的权重；其中，X⁽ⁱ⁾表示一个训练子样本，i表示第i个训练子样本，N为训练子样本的数量，1≤i≤N；n⁽ⁱ⁾表示训练子样本X⁽ⁱ⁾所属人脸情感类别的标签，n⁽ⁱ⁾∈{1,2,…,7}；

通过公式(2)得到初始化处理后的训练样本中的每一个训练子样本都具有相同的权重

其中，

为每个训练子样本的初始样本权重，每个训练子样本在开始时都有相同的权重1/N；公式(3)中的D1是用于存储训练样本输入到第一个KNN分类器G1(X)后训练子样本的样本权重

的数组。

2)将训练样本输入到各个KNN分类器GP(X)，根据得到的所有训练子样本被正确分类的数目和错误分类的数量，计算出各个KNN分类器GP(X)的分类误差率e_P，根据分类误差率e_P计算得到各个KNN分类器GP(X)的权重系数α_P：

P为正整数，1≤P≤M，M表示KNN分类器的数量；公式(4)和公式(5)计算每个KNN分类器的分类误差率e_P和KNN分类器GP(X)的权重系数：

其中，e_P为每个KNN分类器的分类误差率，

为经过7个KNN分类器后的训练样本的训练子样本的样本权重，α_P为KNN分类器的权重系数。

3)根据KNN分类器的权重系数α_P，按照步骤2)中得到的所有训练子样本被正确分类及错误分类的情况，调整每个训练子样本的样本权重，得到新的训练样本；

4)根据所述新的训练样本，再次对各个KNN分类器GP(X)进行训练，更新各个KNN分类器GP(X)的权重系数α_P；

5)按照步骤3)和步骤4)的操作对各个KNN分类器GP(X)的权重系数α_P多次进行更新，直到各个KNN分类器GP(X)的分类误差率小于设定误差阈值，更新得到最终的KNN分类器的权重系数α_P；将每个KNN分类器按照最终的权重系数加权组合成所述AdaBoost-KNN分类器G(X)：

采用公式(6)、公式(7)和公式(8)，更新训练样本的样本权重和各个KNN分类器GP(X)的权重系数：

其中，i＝1,2,...,N，Q为正整数，且0＜Q＜M；P为正整数，1≤P≤M，M表示KNN分类器的数量；Z_M为规范化因子，0＜Z_M＜1，用于调整各个KNN分类器的权重系数的和，使其和为1.0，以保证训练样本的样本权重是概率分布向量。

训练样本中的训练子样本的样本权重在每次更新后均会发生改变，每个KNN分类器的权重系数也会随之更新，将每个KNN分类器按照权重系数加权组合成所述AdaBoost-KNN分类器；

然后，采用交叉验证的方法，对AdaBoost-KNN分类器中的K值和人脸情感类别阈值进行调整，提高人脸情感识别算法的识别率，使AdaBoost-KNN分类器的分类效果达到最优，确定出所述AdaBoost-KNN分类器的K值和人脸情感类别阈值后，得到最终的AdaBoost-KNN分类器；确定所述AdaBoost-KNN分类器中的K值和人脸情感类别阈值的过程如下：

(1)利用交叉验证方法，将训练样本平均分成七组，对所述AdaBoost-KNN分类器进行七折交叉验证，即是对M个KNN分类器依次进行七折交叉验证；

(2)根据每次七折交叉验证得到的识别结果，分别得到7类人脸情感类别阈值：第1类人脸情感类别的阈值G1为：

第2类人脸情感类别阈值G2为：

第3类人脸情感类别阈值G3为：

第4类人脸情感类别阈值G4为：

第5类人脸情感类别阈值G5为：

第6类人脸情感类别阈值G6为：

第7类人脸情感类别阈值G7为：

(3)确定人脸情感类别的阈值后，保持阈值不变，改变K值的数值，以试凑法确定所述AdaBoost-KNN分类器识别率最高时对应的K值；即将K值的数值从1开始增加变化，则所述AdaBoost-KNN分类器的识别率对应的由低到高再降低变化，记录识别率最高时的K值，即确定出了所述AdaBoost-KNN分类器中的K值，从而得到最终的AdaBoost-KNN分类器；最后根据公式(9)将每个KNN分类器根据其权重系数组合成AdaBoost-KNN分类器：

进行七折交叉验证时，训练样本分为训练集和测试集；当测试集样本进入KNN分类器时，分类器先计算训练集样本与测试集样本之间的欧氏距离，按照升序排列，从训练集中，选取训练集样本与测试集样本间欧式距离最小的K个点；

通过公式(10)计算欧氏距离：

其中，A，B为m维空间中的两个点，ρ(A,B)为这两点间的欧氏距离，即m维空间中两点之间的实际距离，也即是自然向量长度，对于自然向量x＝(x₁,x₂,...,x_m)而言，其自然长度定义如式(11)所示：

确定K个点所对应的类别出现的频率，并记录K个点的标签值中出现频率最高的结果，将其作为测试集样本的识别结果进行输出。

若测试集样本属于第1类表情，则其所对应的识别结果在识别正确的情况下应为1，则最终识别结果

若测试样本为第2类表情，则

第3类则为

以此类推，若测试集样本为第7类表情，则

即各类别所对应的7种阈值，则为

n⁽ⁱ⁾⁾∈{1,2,…,7}；

请参考图5，图5是本发明实施例中七折交叉验证原理图；对K值的数值进行调整后，所述AdaBoost-KNN分类器的识别率变化如表1所示，由表1可知，随着K值的数值的增加，测试时间逐渐增长，所述AdaBoost-KNN分类器的识别率在K＝7时达到了最高。综合考虑K值对识别时间和识别率的影响，本实施例中选用K＝7，从而有效的降低识别时间，并获得良好的识别效果。

表1 AdaBoost-KNN中K值对识别效果和时间的影响

同时，将所提出的基于AdaBoost-KNN的动态人脸情感识别方法与基于KNN分类器的人脸情感识别方法进行对比，训练样本选自日本JAFFE人脸表情数据库，此数据库共有213张人脸表情图像，包括10个对象和7类表情；其中7类表情为自然、高兴、愤怒、悲伤、吃惊、厌恶、恐惧。每幅灰度图像的分辨率为256×256，各个对象都有3-4幅无遮挡光照良好的正面表情灰度图像，提取出图像中的情感特征。识别结果如表2所示：

表2 K值相同时两种方法的识别效果

如表2所示，采用基于Adaboost-KNN的动态人脸情感识别方法得到的识别结果的准确率达到88.57％，基于KNN分类器的人脸情感识别方法得到的识别结果的准确率达到72.71％，人脸情感的识别率提高了16.71％。

S3：将待识别样本输入到最终的AdaBoost-KNN分类器，当待识别样本进入时，遍历每一个KNN分类器，得出7个识别结果，将这7个识别结果进行带权重的投票统计，判断计算得到的数值属于哪个阈值范围，输出该范围所对应的标签值，即为待识别样本的识别结果，完成对动态人脸情感的识别；所述待识别样本为实际追踪到的动态人脸表情对应的情感特征点。所述带权重的投票统计是指将7个识别结果分别乘以对应的KNN分类器，乘积相加；例如，将待识别样本输入最终的AdaBoost-KNN分类器，通过遍历7个KNN分类器，得到7个标签值，如7个标签值分别为2、3、2、2、2、2和2，这7个标签值分别乘以对应KNN分类器的权重系数，乘积相加，如Y＝(0.2*2+0.1*2+...+0.25*2)，若1*(0.2+0.1+...+0.25)<Y<2*(0.2+0.1+...+0.25)，则最终的AdaBoost-KNN分类器输出标签值2；若标签值2表示高兴，则得到的待识别样本的人脸情感识别结果为高兴，即完成了动态人脸情感的识别。

本发明的有益效果是：提高了动态人脸情感的识别速度以及动态人脸情感的正确识别率。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于AdaBoost-KNN的动态人脸情感识别方法，其特征在于：包括以下步骤：

S1：采用Candide-3模型对动态人脸进行定位追踪，并提取追踪到的表情的多个情感特征点；该多个情感特征点组成一个训练子样本，所有训练子样本构成训练样本；

S2：基于AdaBoost-KNN算法，建立AdaBoost-KNN分类器，所述AdaBoost-KNN分类器由M个KNN分类器进行加权组合构成；其中，M为大于1的正整数；

首先，以所述训练样本训练所述M个KNN分类器，得到每个KNN分类器的权重系数；

然后，根据得到的每个KNN分类器的权重系数，采用交叉验证的方法，得到更新后的每个KNN分类器的权重系数，确定出所述AdaBoost-KNN分类器的人脸情感类别阈值及每个KNN分类器的K值，得到最终的AdaBoost-KNN分类器；其中，所述人脸情感类别阈值由公式

计算得到；其中，α_P为每个KNN分类器的权重系数，P为正整数，1≤P≤M；n⁽ⁱ⁾表示人脸情感类别标签，i表示第i个训练子样本，1≤i≤N，N为训练子样本的数量；K值为每个KNN分类器的固有参数，K>0，K值的取值决定了KNN分类器的识别率；

S3：将待识别样本输入到最终的AdaBoost-KNN分类器，对动态人脸情感类别进行识别；所述待识别样本为实际追踪到的动态人脸表情对应的情感特征点。

2.如权利要求1所述的基于AdaBoost-KNN的动态人脸情感识别方法，其特征在于：步骤S1中，所述Candide-3模型是由多个点和多个面片组成的一个参数化的模型，用于追踪和提取动态人脸情感的特征点；该模型如公式(1)所示：

g＝SR(g₀+AT+ST)+t (1)

其中，S为放大系数，R为旋转矩阵，g₀为标准模型，A和S分别代表运动单元和形状单元，T为对应的变化参数，t为转换向量。

3.如权利要求1所述的基于AdaBoost-KNN的动态人脸情感识别方法，其特征在于：步骤S2中，确定所述AdaBoost-KNN分类器中每个KNN分类器的权重系数的过程如下：

1)初始化训练样本{(X⁽¹⁾,n⁽¹⁾),...,(X⁽ⁱ⁾,n⁽ⁱ⁾),...,(X^(N),n^(N))}，使训练样本中的每一个训练子样本都具有相同的权重；其中，X⁽ⁱ⁾表示一个训练子样本，i表示第i个训练子样本，N为训练子样本的数量，1≤i≤N；n⁽ⁱ⁾表示训练子样本X⁽ⁱ⁾所属人脸情感类别的标签，n⁽ⁱ⁾∈{1,2,…,7}；

2)将训练样本输入到各个KNN分类器GP(X)，根据得到的所有训练子样本被正确分类的数目和错误分类的数量，计算出各个KNN分类器GP(X)的分类误差率e_P，根据分类误差率e_P计算得到各个KNN分类器GP(X)的权重系数α_P：

P为正整数，1≤P≤M，M表示KNN分类器的数量；

3)根据KNN分类器的权重系数α_P，按照步骤2)中得到的所有训练子样本被正确分类及错误分类的情况，调整每个训练子样本的样本权重，得到新的训练样本；

4)根据所述新的训练样本，再次对各个KNN分类器GP(X)进行训练，更新各个KNN分类器GP(X)的权重系数α_P；

5)按照步骤3)和步骤4)的操作对各个KNN分类器GP(X)的权重系数α_P多次进行更新，直到各个KNN分类器GP(X)的分类误差率小于设定误差阈值，更新得到最终的KNN分类器的权重系数α_P；将每个KNN分类器按照最终的权重系数加权组合成所述AdaBoost-KNN分类器G(X)：

4.如权利要求3所述的基于AdaBoost-KNN的动态人脸情感识别方法，其特征在于：步骤S2中，确定所述AdaBoost-KNN分类器中的K值和人脸情感类别阈值的过程如下：

(1)利用交叉验证方法，将训练样本平均分成七组，对所述AdaBoost-KNN分类器进行七折交叉验证，即对M个KNN分类器依次进行七折交叉验证；

(2)根据每次七折交叉验证得到的识别结果，再次更新各个KNN分类器GM(X)的权重系数α_M，分别得到7类人脸情感类别阈值：第1类人脸情感类别的阈值G1为：

第2类人脸情感类别阈值G2为：

第3类人脸情感类别阈值G3为：

第4类人脸情感类别阈值G4为：

第5类人脸情感类别阈值G5为：

第6类人脸情感类别阈值G6为：

第7类人脸情感类别阈值G7为：

(3)确定7类人脸情感类别的阈值后，以试凑法确定所述AdaBoost-KNN分类器识别率最高时对应的K值，即将K值的取值从1开始增加变化，则随着K值的变化，所述AdaBoost-KNN分类器的识别率进行相应的变化，记录所述AdaBoost-KNN分类器的识别率最高时的K值，该K值即为所述AdaBoost-KNN分类器中确定下来的K值，从而得到最终的AdaBoost-KNN分类器。

5.如权利要求1所述的基于AdaBoost-KNN的动态人脸情感识别方法，其特征在于：步骤S3中，所述最终的AdaBoost-KNN分类器输出的是人脸情感类别所对应的标签。

Images