CN109784143A

CN109784143A - 一种基于光流法的微表情分类方法

Info

Publication number: CN109784143A
Application number: CN201811424303.0A
Authority: CN
Inventors: 李立阳; 刘海天; 付建苏; 王会龙; 张民强; 邱德明; 陈阳; 王梓; 刘飞
Original assignee: CETC 28 Research Institute
Current assignee: CETC 28 Research Institute
Priority date: 2018-11-27
Filing date: 2018-11-27
Publication date: 2019-05-21

Abstract

本发明公开了一种基于光流法的微表情分类方法，包括如下步骤：(1)利用Haar特征及Adaboost算法对待测视频中第一帧图像的人脸和五官进行定位；(2)对五官所处的位置进行光流计算，获取五官位置的光流值：(3)将获得的五官位置的光流值输入到微表情分类器的每一决策树中，光流值从决策树的根节点出发，经过节点判断后到达决策树的叶节点，得到每一决策树对所述的待测视频的微表情分类的类别；(4)将所有决策树对所述的待测视频的微表情分类的类别进行统计，确定对所述的待测视频微表情的类别。本发明的基于光流法的微表情分类方法，能够减少微表情训练时间和微表情分类时间，并提高微表情分类精度。

Description

一种基于光流法的微表情分类方法

技术领域

本发明属于微表情技术领域，尤其涉及一种基于光流法的微表情分类方法。

背景技术

情绪是人某种内心感受的体验，而表情是人情绪最重要的外部表现形式之一。表情有真假，人可以根据主观意识隐藏自己对外来信息的反应、隐藏自己内心的真实活动，，但是内心的情绪确实客观存在的。心理学研究发现，人在表达情绪的时候，总会伴随着微表情的发生，而微表情是具有不易掩盖伪装的特点，近些年来受到大量研究者的青睐。

1966年Haggard等第一次提出了微表情的概念，此后Ekman等报道了关于微表情的案例。在一段心理医生与抑郁症病人的对话中，经常微笑的病人偶尔有几帧非常痛苦的表情。研究人员将这种人在经历强烈情绪时产生的快速、无意识的自发式面部动作称为微表情。

经过调研，人类社会50％以上的交流都是通过表情实现的。微表情属于表情的一种，携带的信息也是非常丰富，值得深入研究；而且，由于微表情是一种无意识的面部动作，没有掺杂任何人为的掩饰信息，它在情绪识别任务上的可靠度很高，对表情情感识别任务有潜在的利用价值，如婚姻关系预测、交流谈判、教学评估等。但是，微表情的持续时间非常短,研究表明微表情仅持续1/25s～1/3s，且动作幅度非常小，不会同时在上半脸和下半脸出现，因此正确观测并且识别有着相当的难度。在现实生活中，即使经过专业训练，对人脸微表情的正确识别率也不高。

发明内容

发明目的：本发明提供一种可准确捕捉被测人的微表情，并对对被测人的情绪进行准确判断的基于光流法的微表情分类方法。

技术方案：一种基于光流法的微表情分类方法，包括如下步骤：

(1)利用Haar特征及Adaboost算法对待测视频中第一帧图像的人脸和五官进行定位；

(2)对五官所处的位置进行光流计算，获取五官位置的光流值：在所述的第一帧整帧图像上设置一组控制点，将光流估值分为控制点的光流估值项E_data(D)和在控制点附近的微小变形光流估值项E_smooth(D)；其表达式为：

E_data(D)＝∫_Ω|I(x,f)-I(x+D(x),f+1)|dx

其中，x表示像素，f表示图像序列中的第f帧，D表示2D位移矢量场；

光流估值E_total(D)表达式为：

E_total(D)＝E_data(D)+λE_smooth(D)

其中，λ为控制点的光流估值项和控制点附近的微小变形光流估值项的相对系数；

(3)将获得的五官位置的光流值输入到微表情分类器的每一决策树中，光流值从决策树的根节点出发，经过节点判断后到达决策树的叶节点，得到每一决策树对所述的待测视频的微表情分类的类别；

(4)将所有决策树对所述的待测视频的微表情分类的类别进行统计，确定对所述的待测视频微表情的类别。

进一步，在步骤(3)中，所述的微表情分类器的构建步骤为：

(31)对样本视频的表情类型进行预处理，确保各类表情类型样本数量均等；

(32)利用Haar特征及Adaboost算法对样本的视频中人脸和五官进行定位；

(33)对所述的五官所处位置进行光流计算，得出光流值；

(34)对光流值采用自助采样法构建测试集；

(35)对构建测试集的样本采用随机森林的方法进行训练，从而构建出微表情分类器。

进一步，对微表情分类器进行分类准确度计算：将所述的测试样本中的每个样本作为待分类的视频，输入到微表情分类器中判断，将判断结果和测试样本真实的微表情类型比较，得到微表情分类器分类准确度。

进一步，微表情分类器对光流的方向和大小设定阈值，去除无效的光流。

进一步，步骤(35)的随机森林的方法中的基学习器为决策树。

有益效果：本发明的基于光流法的微表情分类方法，能够减少微表情训练时间和微表情分类时间，并提高微表情分类精度。

附图说明

图1是本发明的基于光流法的微表情分类的流程图；

图2是本发明的微表情分类决策树训练流程图；

图3是本发明的基于随机森林的微表情分类器训练流程图。

具体实施方式

下面结合附图和实例对本发明进一步说明。

图1为本发明的基于光流法的微表情分类的流程图，如图1所示，所述的微表情分类方法包括如下步骤：

步骤1、对待测视频中第一帧图像的人脸和五官进行定位；

首先，选用待测视频中的第一帧图像作为人脸识别和五官划分的处理对象。之后利用Haar特征及Adaboost算法进行人脸识别和五官定位，Haar特征是一种反映图像的灰度变化的、由像素分模块求差值的特征。Haar特征有5种基本特征、3种核心特征和6种45度旋转特征。在利用Haar特征进行训练和测试时，需要计算Haar特征值。Haar特征值的计算方式是：Haar特征值＝整个Haar区域内像素和×权重+黑色区域内像素和×权重。根据Haar特征值和一组阈值，可以构建弱分类器。多个弱分类器独立判断并将结果结合起来，可以构成一个强分类器，这就是Adaboost分类器。利用Adaboost分类器进行级联分类，可以较为准确识别出人脸的五官。

步骤2、对待测视频中的五官所处位置进行光流计算；

根据亮度一致性假设，即图像上一点的(x,y)在t时刻的亮度为I(x,y,t)，在△t时间后I(x+△x,y+△y,t+△t)，当t趋于无穷小时可以认为该点亮度不变，可得到如下公式(1)：

I(x,y,t)＝I(x+△x,y+△y,t+△t) (1)

若该点亮度累计产生了变化，运动后的像素亮度由泰勒公式展开可得到公式(2)：

其中o表示高阶无穷小项，可以忽略。当△t→0时，得到公式(3)

I(x+△x,y+△y)＝I(x,y) (3)

将改写为I_x、I_y、I_z，并令则上式可以改写为公式(4)：

I_xu+I_yv+I_z＝0 (4)

上式则为光流计算的基本方程，u，v表示速度场中矢量的两个待求分量，计算光流场的过程即为求解u，v的过程。但是一个方程无法求解速度的两个垂直分量，此不适定性方程求解问题也称为“孔径问题”。

为了简化计算过程，在整幅图像上设置一组控制点G，并将光流估计分为控制点的光流估值项E_data(D)和在控制点附近的微小变形项E_smooth(D)。

控制点的光流估值项E_data(D)为

E_data(D)＝∫_Ω|I(x,f)-I(x+D(x),f+1)|dx (5)

其中x表示像素，f表示图像序列中的第f帧，D表示2D位移矢量场。

控制点附近的微小变形项E_smooth(D)为

则光流估值E_total(D)可表示为

E_total(D)＝E_data(D)+λE_smooth(D) (7)

其中，λ表示控制点的光流估计项和控制点附近的微小变形项的相对系数。λ和控制点网格都是视情况而设定的。对公式(7)进行最优化计算，可以得到光流估计值。主要是获取人脸上眉毛、眼睛、鼻子、嘴巴位置的光流。

步骤3、对步骤2得到的五官位置的光流值输入微表情分类器，并进行微表情分类训练得出微表情所属类别；

首先，建立一个微表情分类器，其建微表情分类器步骤如下，如图2所示：

步骤(31)：对样本视频的表情类型进行预处理，确保各表情类型样本数量均衡；例如：高兴、压抑、厌恶、惊讶这四个表情类型的样本数量是上百个，但其他类型的样本数量只有十多个，那就应该将其他类型的样本去除，确保构建微表情分类器的各类样本数量均衡，此时微表情分类会将微表情划分为四类。

步骤(32)：对训练样本的视频中人脸和五官进行定位；其定位方法和步骤1相同，故这里不在赘述；

步骤(33)：对所述的五官所处位置进行光流计算，得出光流值，其计算方法与步骤2相同，故这里不在赘述。

步骤(34)：对光流值采用自助采样法构建测试集

普通的分类器训练需要成千上万个测试样本，但是由于微表情的获得比较困难，微表情数据库里的样本相对较少。因此，为了能够将微表情分类器训练到精度较高的程度，我们需要设计获得测试集的方法。本发明使用自助采样法构建测试集。

自助采样法的实现过程为：给定包含m个样本的数据集D，对它进行采样产生数据集D′：每次随即从D中挑选一个样本，将其拷贝放入D′，然后再将该样本放回初始数据集D中，使得该样本在下次采样时仍有可能被采到；这个过程重复执行m次后，就得到了包含m个样本的数据集D′。

步骤(35)：对构建测试集的样本采用随机森林的方法进行训练，构建出微表情分类器。

微表情有高兴、压抑、厌恶、惊讶及其他五大类，所以本发明的训练器要有着多分类功能。结合自主采样法，本发明使用随机森林的方法训练微表情分类器。随机森林是一种集成学习的方法。集成学习通过构建并结合多个学习器来完成学习任务。这里的多个学习器又叫基学习器，而本发明使用的基学习器是决策树。

使用自助采样法n次，可以获得n个包含m个样本的数据集D′。一个数据集D′就可以训练一个决策树。在训练决策树时，每次选择人脸光流的两种光流作为当前节点的最优属性，通过计算每个节点的基尼值确定当前节点的最优属性是哪两种光流。经过将多个决策树的结果结合在一起，利用投票的方法确定最终的分类结果，这就是随机森林的方法。所有用来训练决策树的样本总集合即为训练样本D_train，剩下的样本总集合(D-D_train)即为测试样本。

先对已经标定的样本视频进行简单筛选。一些微表情分类类型对应的样本极少，就需要滤除这些样本。例如：标定样本的微表情分类类型有高兴、悲伤、压抑、害怕和其他，其中高兴、悲伤、压抑和其他的样本均有上百个，但害怕的样本只有十多个，此时需将害怕这个微表情分类类型从总的类型中删除，并将所有害怕样本的为表情分类类型标定为其他。

再对一个利用自助采样法获得的m个样本执行步骤(31)、步骤(32)以及步骤(33)，获得了五官处的光流。先设置光流阈值，对五官光流进行简单的筛选，去除无效的五官光流。

光流具有五官属性(即眼睛处的光流、鼻子处的光流、嘴巴处的光流等)，还具有方向属性和大小属性。对这m个样本计算基尼系数，依次选出每次进行样本划分的最优属性。这些最优属性对样本进行划分，构建出决策树的分支结点。这些分支结点组成了此次构建的决策树。具体构建决策树的流程如图2所示。

对获得的n个包含m个样本的数据集D′重复进行上述操作，可以构建出我们训练得到的微表情分类器。

在使用微表情分类器对待视频进行分类时，先执行步骤一、步骤二，获得了五官光流，输入到微表情分类器的每个决策树中，利用每个决策树对其进行判断分类。由于决策树的每个结点都有划分属性和判断标准，五官光流会从决策树的根节点出发，经过其他结点判断后到达决策树的叶节点，得到此决策树对视频的微表情分类结果。微表情分类器中所有决策树的分类结果合在一起，类似于投票表决，最终决定微表情分类器对需要分类的视频分类结果，如图3所示。

在构建出微表情分类器后，需要对微表情分类器进行分类准确度计算，即将测试样本中的每个样本当做待分类的视频，输入到微表情分类器中判断，将判断结果和测试样本真实的微表情类型比较，得到微表情分类器分类准确度。如果微表情分类器分类准确度较低时，还可以重新执行构建微表情分类器的每一步操作，但修改其中的一些参数，以获得分类准确度较高的微表情分类器。

Claims

1.一种基于光流法的微表情分类方法，其特征在于：包括如下步骤：

E_data(D)＝∫_Ω|I(x,f)-I(x+D(x),f+1)|dx

光流估值E_total(D)表达式为：

E_total(D)＝E_data(D)+λE_smooth(D)

2.根据权利要求1所述的基于光流法的微表情分类方法，其特征在于：在步骤(3)中，所述的微表情分类器的构建步骤为：

(31)对样本视频的表情类型进行预处理，确保各类表情类型样本数量一致；

(33)对所述的五官所处位置进行光流计算，得出光流值；

(34)对光流值采用自助采样法构建测试集；

3.根据权利要求2所述的基于光流法的微表情分类方法，其特征在于：对微表情分类器进行分类准确度计算：将所述的测试样本中的每个样本作为待分类的视频，输入到微表情分类器中判断，将判断结果和测试样本真实的微表情类型比较，得到微表情分类器分类准确度。

4.根据权利要求2所述的基于光流法的微表情分类方法，其特征在于：微表情分类器对光流的方向和大小设定阈值，去除无效的光流。

5.根据权利要求2所述的基于光流法的微表情分类方法，其特征在于：步骤(35)的随机森林的方法中的基学习器为决策树。