CN109508660A - 一种基于视频的au检测方法 - Google Patents

Abstract

本发明涉及一种基于视频的AU检测方法，包括：人脸处理步骤：获取待测视频，以T秒为间隔从待测视频中抽取连续K帧图片，对所述连续K帧图片依次进行人脸检测、人脸特征点检测及人脸对齐处理，获得人脸序列；AU检测步骤：根据所述人脸序列和经训练的AU检测模型进行AU检测，获得待测视频的AU表现情况；所述AU检测模型基于卷积神经网络和时间递归网络建立。与现有技术相比，本发明可实现AU自动化检测工作，减轻人工标注人员的工作量，考虑了AU在人脸的区域分布性质、时间序列上人脸表情之间的相关性和AU之间存在相关性，大大提升了AU检测的准确率。

Description

一种基于视频的AU检测方法

技术领域

本发明涉及视频检测技术领域，涉及一种AU检测方法，尤其是涉及一种基于视频的AU检测方法。

背景技术

AU(Action Unit，动作单元)是加州大学旧金山分校教授Paul Ekman等人于1978年所发表的FACS(Facial Action coding system，面部表情编码系统)中所提出的一个概念，在后续的几十年中不断得以完善。FACS系统根据人脸的解剖学特点，将人脸划分为若干个既相互独立又相互联系的动作单元，并分析了这些动作单元的运动特征及其所控制的主要区域以及与之相关的表情。在不断地使用和完善过程中，FACS逐渐成为理解面部行为及面部表情的一个标准，不仅广泛应用于行为科学领域中，还逐渐在其它领域中，例如计算机自动分析面部表情，在医学领域，FACS被应用于抑郁症分析及帮助那些无法说出病痛的患者描述它们的疼痛。

使用FACS系统，标注者几乎能够编码任意解剖学上可能发生的脸部运动和表情，将其划分为一个或者多个AU的组合，以及该表情所发生的时间段。AU表示一块或者多块肌肉的收缩和松弛行为，由于AU的定义是独立于其它假设和解释的，仅依靠解剖学上肌肉分布与运动特征，AU可以应用于任何较为抽象的任务，如基本表情的识别或者环境智能情况中的预编程命令。

FACS中定义了多种类型的AU，可分为与表情直接相关的、定义头部运动的、定义眼睛运动的、定义是否脸部部分或全部可见的、以及整体行为的。常见的与表情直接相关的AU如表1所示。

表1常见AU代码及其FACS名称与相关肌肉

FACS对人脸进行了细致的区分，AU之间相互分离却又存在相关性，将复杂的人脸表情拆分成多个AU的组合，大大促进了研究人员对于表情和脸部行为的理解。然而正由于这个原因，表情数据中AU的标注依赖于专业标注人员的工作，标注人员需要先对FACS系统进行细致的学习和练习，标注工作耗时且十分费力。目前，研究人员致力于自动化AU检测技术的研究，希望通过计算机的帮助对人脸表情进行自动化检测。

视频中的自动化AU检测是一项涉及计算机视觉、模式识别、人工智能及心理学分析等多领域的研究课题，其在情感分析、心理学研究、动画制作等领域蕴含着广泛的应用价值。随着计算机硬件及算法的快速发展，AU检测变得可行，成为了当前人们研究的一个热点。然而，由于人脸表情的多样性及脸部肌肉运动的复杂性，仍然很难去提出一种稳健及准确的方法来对AU进行检测。

由于光照、肤色、年龄、人种的不同，以及多样化的头部姿态的影响，对视频中的人进行自动化AU检测是一个具有挑战性的任务。

专利CN105117703B公开一种基于矩阵乘法的快速动作单元识别方法，通过事先训练，得到针对每个动作单元的模型矩阵：

M₁,M₂,…,M_L,其中M_i∈R^mn

L是动作单元的数量，m和n分别是训练图像的长和宽。每个矩阵与训练图像的尺寸是相同的。对于待检测的人脸图像，首先将其缩放至与训练图像相同尺寸，然后与每个模型矩阵进行点乘，得到的响应对应该动作单元；将得到的所有动作单元对应的响应归一化，然后进行离散化，即得到该动作单元存在与否。具体步骤为：

(1)使用预先训练，得到模型矩阵阵列：

M＝[M₁,M₂,…,M_L]^T,M∈R^mn*L

(2)对于一幅面部图像，对其进行人脸检测和切割，并缩放成尺寸为m*n的图像，将人脸图像向量化，得到人脸图像向量：X∈R^mn；

(3)计算模型M对于人脸图像X的响应：

R＝X^TM

(4)计算归一化的响应：

此步骤将所有响应归一化到[0,1]之间，方便设定有意义的阈值。

(5)识别：找出对应R>0.5的位置，则这些位置对应的动作单元在表情图像X中出现，其他的动作单元没有出现。

其中，训练过程为利用坐标下降法循环优化下列目标方程：

S＝(1-p)UU^T,T＝(1-p²)UU^T+p(1-p)δ(UU^T)

其中，Ui是Xi对应的动作单元组合，Ui{0，1}L，L是动作单元的数量，1表示动作单元出现，0表示不出现。B是扩充矩阵，对现有动作单元标签进行损失，通过B将损失后的标签扩充得到现有标签。α,β,γ是各自对应项的权重。

上述现有技术的缺点在于：

1.将人脸表示为一个向量，不能很好地解释动作单元的区域特征；

2.基于矩阵乘法对各个动作单元分别建模，提取得到的是浅层特征，该方法相对来说提取特征能力较差，影响AU检测性能；

3.该技术处理的数据是单张人脸图片，不能对视频进行自动化分析。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种提高AU检测准确率的基于视频的AU检测方法。

本发明的目的可以通过以下技术方案来实现：

一种基于视频的AU检测方法，包括：

人脸处理步骤：获取待测视频，以T秒为间隔从待测视频中抽取连续K帧图片，对所述连续K帧图片依次进行人脸检测、人脸特征点检测及人脸对齐处理，获得人脸序列；

AU检测步骤：根据所述人脸序列和经训练的AU检测模型进行AU检测，获得待测视频的AU表现情况；

所述AU检测模型基于卷积神经网络和时间递归网络建立。

进一步地，所述AU检测模型采用的训练数据库中，每一张图片对应一标签文件，所述标签文件的第一列为文件名，其余列表示AU是否存在，以1代表存在，-1代表不存在，0代表没有标签或者设置为0用于平衡正负样本比例。

进一步地，所述AU检测模型的训练过程具体包括：

A1)从训练数据库中获取人脸序列，提取总体特征；

A2)根据区域划分大小及待检测AU数量，从所述总体特征中提取每个AU的区域特征；

A3)利用三层LSTM网络融合时间序列上的信息，获得预测结果；

A4)利用多标签交叉熵损失函数更新模型参数。

进一步地，所述提取每个AU的区域特征的公式为：

其中，p_c(i,j)表示c个AU的第(i,j)个区域的区域特征提取结果，F_i,j,c表示某一张特征图，(x,y)∈Region(i,j)代表F_i,j,c这张特征图第(i,j)块区域的像素点，n为像素点数量。

进一步地，所述多标签交叉熵损失函数表示为：

其中，代表AU出现的预测结果，Y表示标注真值，C为待检测AU数量，Y_c表示c个AU出现的预测结果。

进一步地，所述人脸处理步骤中，K>32。

进一步地，所述人脸处理步骤中，在进行人脸检测前，采用帧差法判断镜头是否发生变化，若是，则重新获取连续K帧图片。

进一步地，所述人脸处理步骤中，获得人脸序列的具体过程包括：

B1)经人脸检测获得一系列人脸框；

B2)取所述连续K帧图片的第一帧，为该帧中的每一个人脸建立追踪数组；

B3)遍历剩余K-1帧图片，对每个人脸，计算该人脸与所述追踪数组中人脸的交并比，判断交并比否大于设定阈值，若是，则将该人脸添加入追踪数组中，若否，则舍弃该有脸；

B4)判断追踪数组中的人脸数是否大于或等于32，若是，则抽取追踪数组的前32张人脸组成初始序列，若否，则舍弃追踪数组；

B5)对各所述初始序列进行人脸特征点检测、人脸对齐处理，获得人脸序列。

本发明基于AU分布于脸部不同位置的先验知识和时序上的相关性信息，利用卷积神经网络和时间递归网络(LSTM)建立AU检测模型，将需要处理的视频切帧，对每一小段时间内的视频帧统一进行分析，首先得到视频帧中的每个人脸，将人脸进行对齐，减少头部姿态对AU检测的影响，最终得出每帧中每个人的AU表现情况。

与现有技术相比，本发明具有以如下有益效果：

1.本发明所提出的AU检测方法基于大量样本进行深度神经网络的训练，能够充分利用大量数据和神经网络的优势对AU进行特征提取和检测，有助于AU自动化检测工作，减轻人工标注人员的工作量。

2.本发明提出的AU检测方法基于深度学习方法，比传统的人工算子具有更好的提取特征的能力。并且，本发明考虑了AU在人脸的区域分布性质(区域特征提取regionpooling)、时间序列上人脸表情之间的相关性(时序信息融合)、AU之间存在相关性(多标签学习)，结合这三点对深度神经网络进行设计，大大提升了AU检测的准确率。

3.本发明结合人脸检测、人脸特征点检测及对齐算法、AU检测算法以及其它辅助判断方法，该发明能够对大多数情况下的视频进行自动化分析，有助于对视频场景中各个人的表情及行为进行分析，适用场景较广。

附图说明

图1为本发明标签文件示例；

图2为本发明AU检测模型的网络结构示意图；

图3为本发明区域特征提取的示意图；

图4为本发明采用的LSTM的结构示意图；

图5为本发明实施例中训练参数设置示意图；

图6为本发明采用的帧差法的流程示意图；

图7为人脸检测结果示例；

图8为人脸对齐过程示意图；

图9为本发明自动化AU检测流程示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本发明基于深度学习算法，首先对待检测视频中的每帧进行人脸检测，基于人脸检测结果裁剪出人脸，对裁剪得到的人脸进行人脸特征点检测和人脸对齐。由于本发明以T秒为间隔从待测视频中抽取连续K帧图片作为视频片段进行分析，在短时间内，每一个人的人脸位置基本不变，因此可以通过人脸在视频帧中的位置抽取出一个人的人脸序列用于后续的表情分析。基于卷积神经网络对提取的人脸序列先进行整体特征抽取，然后通过region pooling结构为每个AU提取区域特征，之后将该序列提取的特征输入LSTM(长短期记忆网络，是一种时间递归神经网络)将时间序列上的相关性融入到算法模型中，最后该发明基于深度学习提取的特征输出多个AU的检测结果。本发明为多个场景下的表情分析提供了依据。

本实施例实现上述AU检测方法的具体步骤包括：

第一步：收集样本，建立AU数据库

1)搜集现有的AU数据集。大多数数据集提供的原始数据是多个视频，需要通过数据集中的标签对视频进行预处理：人脸裁剪、人脸特征点检测和人脸对齐。

2)准备自己的AU数据集。基于采集的视频数据进行标注，在标注过程中借助FACS标注软件完成人脸裁剪、人脸特征点检测和人脸对齐的工作。

3)结合1)和2)的两部分数据组成新的AU数据库，用于训练和测试本发明提出的基于深度学习的AU检测模型。数据为一系列对齐好的图片，文件按照不同的人和在视频中所处时间命名，标签文件则记录了每一张图片各个AU的标注结果，如图1所示，第一列为文件名，包含图片所属人的身份(如SN011、F001_T1)及该图片在视频中处于第几帧(如4757、2452)；后面几列则代表相应AU存在与否，1代表存在，-1则代表不存在，0代表没有标签或者设置为0用于平衡正负样本比例。

第二步：利用深度学习算法进行AU检测模型的训练

本实施例中，所有人脸图片预先调整尺寸为224*224，以连续的32张人脸图片作为一个分析序列，输出为12个AU的检测结果(可以通过调整网络参数用于检测任意数量的AU)。如图2所示，AU检测模型使用Resnet-50网络作为特征提取的基础，后续通过一个1024维的1*1卷积和一个12k^2维的1*1卷积得到特征图(大小：32*14*14*12k^2)。该特征图通过region pooling模块，为每一个AU提取区域特征，之后将这些区域特征输入到三层LSTM中以融合时序信息，最终输出32张人脸图片对应的AU检测结果。

AU检测模型的网络可以划分为四个部分：总体特征提取、区域特征提取、时序信息融合和多标签学习，其中：

区域特征提取(region pooling)：首先将Resnet提取的特征根据预先设置的参数(区域划分大小k及待检测AU数量，示例中数量为12)通过一个12k²维的1*1卷积层，得到相应的特征图，如图3所示。将特征划分为k*k的区域，并且这些特征图被分为k^2组(图3中按照不同的颜色区分)，每一组含有12张特征图对应12个待检测的AU。每一组特征图按照下式进行特征提取：

其中p_c(i,j)是第c个AU的第(i,j)个区域的区域特征提取结果，对应图3右侧，F_i,j,c对应于图3左侧中某一张特征图，(x,y)∈Region(i,j)则代表F_i,j,c这张特征图第(i,j)块区域所有的像素点，n为像素点数量。其中(i,j)表示的区域与特征图之间的关系可以通过图3中的颜色来判断。

通过区域特征提取，能够为不同的AU提取不同的区域特征，这与AU的区域分布性质相吻合，有利于针对每个AU提取更有效的特征。

时序信息融合：本发明使用经典的LSTM结构(如图4)来融合时间序列上的信息，LSTM结构能够记忆先前的状态，利用它可以学习长短期特征之间的相关性。本发明使用三层LSTM，每层LSTM含有256个cell。

多标签学习：通过设计深度神经网络的损失函数，可以使网络同时学习多个AU的检测。本发明使用多标签交叉熵损失函数：

其中每一张图片的预测结果分别代表C个AU的出现的可能性，标注真值(ground truth)Y∈{-1,0,1}^C代表实际上C个AU是否存在的情况。-1/+1代表不存在/存在，0代表未标记或者为了平衡正负样本比而设置为0。

本实施例中，网络的训练参数如图5所示。

第三步：从视频中提取人脸序列时，判断镜头是否切换。

在进行人脸序列提取时，假设当前镜头并没有发生变换，因此可以通过人脸在视频帧中的位置来确定其属于某一个序列。但是基于摄像头的视频拍摄存在镜头视角变换的可能，本发明采用帧差法来处理这个问题，即连续帧图片相减。主要方式是判断相邻视频帧中发生变化的像素点的多少。首先统计两幅图像对应像素点变化率超过阈值F1的像素点个数。然后，将变化的像素点个数与第二个预定的阈值F2比较，如果超过范围，则认为这两帧之间发生较大变化，镜头发生切换，具体操作流程如图6所示。

第四步：人脸检测、人脸特征点检测与人脸对齐。

基于文献“Finding tiny faces”(Hu P,Ramanan D.Computer Vision andPattern Recognition(CVPR),2017IEEE Conference on.IEEE,2017:1522-1530)中提出的算法，利用现有公共数据集进行训练，得到的模型用于进行人脸检测工作，该部分的输入是一张含有许多人的图片，输出为每一个人脸的位置和大小，通过矩形框表示，如图7所示。为了避免人脸裁剪时，截取的人脸不完整，在原有人脸框的基础上上下左右各扩大10个像素，以截取适当的人脸。

随后，对于每一个截取的人脸，利用文献“Joint face detection and alignmentusing multitask cascaded convolutional networks”(Zhang K,Zhang Z,Li Z,etal.IEEE Signal Processing Letters,2016,23(10):1499-1503)中提出的算法进行人脸特征点检测，结合特征点和相似变换将倾斜人脸转换为正常状态的人脸。人脸特征点检测的结果中也包含人脸框，通过计算变换后的人脸框的最小邻接矩阵，即可获得正常人脸框，如图8所示。

第五步：基于视频进行自动化AU检测

本实施例中每隔6秒进行一次分析，每次分析的内容为2秒的视频片段。对于待检测的每一个视频，每隔6秒，其保存的结果为当前分析视频片段中抽取的所有人脸序列的AU信息。如图9所示，可分为5个步骤：判断镜头是否切换、人脸检测、人脸序列判断与提取、人脸特征点检测与人脸对齐、特征提取与AU检测，具体描述为：

1)以T秒为间隔从待测视频中抽取连续K帧图片，K>32；

2)判断镜头是否切换，若是，则返回步骤1)，若否，则执行步骤3)，取一帧图片；

3)进行人脸检测，获得一系列人脸框；

4)判断是否为第一帧，若是，则为每一个人脸建立追踪数组，保存人脸及其在视频中的位置(即人脸框的坐标)，若否，则执行步骤5)；

5)对每个人脸，计算该有脸与各个追踪数组中的人脸的交并比IOU(intersection-over-union)，IOU表示框A与框B的重合程度，

6)判断交并比IOU是否大于设定阈值T1，若是，则执行步骤7)，若否，则舍弃对应人脸；

7)向对应的追踪数组添加该人脸及其位置；

8)判断K帧图片是否遍历完成，若是，则执行步骤9)，若否，则取一帧，返回步骤3)；

9)任意追踪数组中人脸数是否大于或等于32，若是，则执行步骤10)，若否，则不考虑该追踪数组；

10)每个追踪数组抽取前32张人脸作为一个初始序列；

11)进行人脸特征点检测、人脸对齐、图片尺寸调整等操作，获得人脸序列；

12)将所述人脸序列输入至AU检测模型中，进行特征提取与AU检测；

13)判断是否遍历完所有初始序列，若是，则保存结果，执行步骤14)，若否，则返回步骤11)；

14)判断待测视频是否分析完毕，若是，则结束，若否，则返回步骤1)。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (8)

1.一种基于视频的AU检测方法，其特征在于，包括：

人脸处理步骤：获取待测视频，以T秒为间隔从待测视频中抽取连续K帧图片，对所述连续K帧图片依次进行人脸检测、人脸特征点检测及人脸对齐处理，获得人脸序列；

AU检测步骤：根据所述人脸序列和经训练的AU检测模型进行AU检测，获得待测视频的AU表现情况；

所述AU检测模型基于卷积神经网络和时间递归网络建立。

2.根据权利要求1所述的基于视频的AU检测方法，其特征在于，所述AU检测模型采用的训练数据库中，每一张图片对应一标签文件，所述标签文件的第一列为文件名，其余列表示AU是否存在，以1代表存在，-1代表不存在，0代表没有标签或者设置为0用于平衡正负样本比例。

3.根据权利要求1所述的基于视频的AU检测方法，其特征在于，所述AU检测模型的训练过程具体包括：

A1)从训练数据库中获取人脸序列，提取总体特征；

A2)根据区域划分大小及待检测AU数量，从所述总体特征中提取每个AU的区域特征；

A3)利用三层LSTM网络融合时间序列上的信息，获得预测结果；

A4)利用多标签交叉熵损失函数更新模型参数。

4.根据权利要求3所述的基于视频的AU检测方法，其特征在于，所述提取每个AU的区域特征的公式为：

其中，pc(i，j)表示c个AU的第(i，j)个区域的区域特征提取结果，F_i，j，c表示某一张特征图，(x，y)∈Region(i，j)代表F_i，j，c这张特征图第(i，j)块区域的像素点，n为像素点数量。

5.根据权利要求4所述的基于视频的AU检测方法，其特征在于，所述多标签交叉熵损失函数表示为：

其中，代表AU出现的预测结果，Y表示标注真值，C为待检测AU数量，Y_c表示c个AU出现的预测结果。

6.根据权利要求1所述的基于视频的AU检测方法，其特征在于，所述人脸处理步骤中，K＞32。

7.根据权利要求1所述的基于视频的AU检测方法，其特征在于，所述人脸处理步骤中，在进行人脸检测前，采用帧差法判断镜头是否发生变化，若是，则重新获取连续K帧图片。

8.根据权利要求1所述的基于视频的AU检测方法，其特征在于，所述人脸处理步骤中，获得人脸序列的具体过程包括：

B1)经人脸检测获得一系列人脸框；

B2)取所述连续K帧图片的第一帧，为该帧中的每一个人脸建立追踪数组；

B3)遍历剩余K-1帧图片，对每个人脸，计算该人脸与所述追踪数组中人脸的交并比，判断交并比否大于设定阈值，若是，则将该人脸添加入追踪数组中，若否，则舍弃该有脸；

B4)判断追踪数组中的人脸数是否大于或等于32，若是，则抽取追踪数组的前32张人脸组成初始序列，若否，则舍弃追踪数组；

B5)对各所述初始序列进行人脸特征点检测、人脸对齐处理，获得人脸序列。