CN109409198A - Au检测模型训练方法、au检测方法、装置、设备及介质 - Google Patents

Abstract

本发明公开了一种AU检测模型训练方法、AU检测方法装置、设备及介质，所述方法包括：获取人脸图像样本数据；对人脸图像样本数据进行数据增广，得到训练样本；将训练样本输入到深度残差网络中进行训练，得到AU神经网络；通过预训练VGGNet模型获取预设的人脸分类网络；基于预设的人脸分类网络，采用迁移学习算法对AU神经网络进行处理，得到AU检测模型。采用该AU检测模型训练方法，能够得到检测AU准确率较高的AU检测模型。

Description

AU检测模型训练方法、AU检测方法、装置、设备及介质

技术领域

本发明涉及计算机技术领域，尤其涉及一种AU检测模型训练方法、AU检测方法、装置、设备及介质。

背景技术

人脸动作单元(Action Units，AU)是为了分析人脸面部肌肉运动而提出的技术。人脸面部表情可以通过AU进行识别，日常生活中，面部表情在人们的交流中起着很重要的作用。

随着科学技术的发展，人工智能技术也得到了飞快的发展。AU检测和识别除了能运用于智能机器人的研究，还能运用于心理学研究、医疗、公共安全等众多领域。现有的AU检测采用传统的机器算法和深度学习算法不仅对硬件条件要高而且难以同时提高检测速度和准确率。

发明内容

本发明实施例提供一种AU检测模型训练方法、装置、计算机设备及存储介质，以解决AU检测模型训练效率较低的问题。

本发明实施例提供一种AU检测方法、装置、计算机设备及存储介质，以解决AU检测精度较低的问题。

一种AU检测模型训练方法，包括：

获取人脸图像样本数据；

对所述人脸图像样本数据进行数据增广，得到训练样本；

将所述训练样本输入到深度残差网络中进行训练，得到AU神经网络；

通过预训练VGGNet模型获取预设的人脸分类网络；

基于所述预设的人脸分类网络，采用迁移学习算法对所述AU神经网络进行处理，得到AU检测模型。

一种AU检测模型训练装置，包括：

样本数据获取模块，用于获取人脸图像样本数据；

训练样本获取模块，用于对所述人脸图像样本数据进行数据增广，得到训练样本；

AU神经网络获取模块，用于将所述训练样本输入到深度残差网络中进行训练，得到AU神经网络；

人脸分类网络获取模块，用于通过预训练VGGNet模型获取预设的人脸分类网络；

AU检测模型获取模块，用于基于所述预设的人脸分类网络，采用迁移学习的方式对AU神经网络进行处理，得到AU检测模型。

一种AU检测方法，包括：

获取待检测图像；

将所述待检测图像输入到AU检测模型进行检测，获取所述待检测图像的目标动作单元，其中，所述AU检测模型是采用所述AU检测模型训练方法训练得到的。

一种AU检测装置，包括：

待检测图像获取模块，用于获取待检测图像；

AU检测结果获取模块，用于将所述待检测图像输入到AU检测模型进行检测，获取所述待检测图像的目标动作单元，其中，所述AU检测模型是采用所述AU检测模型训练方法训练得到的。

一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述AU检测模型训练方法的步骤，或者所述处理器执行所述计算机程序时实现上述AU检测方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述AU检测模型训练方法的步骤，或者，所述处理器执行所述计算机程序时实现上述AU检测方法的步骤。

上述AU检测模型训练方法、装置、设备及介质中，首先获取人脸图像样本数据，对人脸图像样本数据进行数据增广，得到训练样本，使得样本数据更丰富，从而提高了模型训练的精度，然后将训练样本输入到深度残差网络中进行训练，得到AU神经网络。由于训练样本丰富并且深度残差网络较好的学习能力且计算量小，从而提高了AU神经网络训练学习效率。接着获取预设的人脸分类网络，通过预训练VGGNet模型得到人脸分类网络，方便地得到了人脸分类网络并且有利于提高后续人脸图像样本检测的准确率。最后基于人脸分类网络，采用迁移学习算法对AU神经网络进行处理，得到AU检测模型，使得AU检测模型在AU预测中充分利用了人脸分类中学习到的人脸结构特征，进而提高了AU检测模型的检测精度。

上述AU检测方法、装置、设备及介质中，先获取待检测图像，以便对待检测图像输入到AU检测模型进行检测，获取AU检测结果，预测各个待检测图像所属AU类别的概率大小，提高了AU检测结果的准确率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的AU检测模型训练方法、AU检测方法的应用环境示意图；

图2是本发明实施例提供的AU检测模型训练方法一示例图；

图3是本发明实施例提供的AU检测模型训练方法的另一示例图；

图4是本发明实施例提供的AU检测模型训练方法的另一示例图；

图5是本发明实施例提供的AU检测模型训练装置的一原理框图；

图6是本发明实施例提供的AU检测方法一示例图；

图7是本发明实施例提供的AU检测方法的另一示例图；

图8是本发明实施例提供的AU检测装置的一原理框图；

图9是本发明实施例提供的计算机设备的一示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请提供的AU检测模型训练方法，可应用在如图1的应用环境中，其中，客户端通过网络与服务端进行通信，服务端接收客户端发送的人脸图像样本数据并进行数据增广，得到训练样本，将训练样本输入到深度残差网络中进行训练，得到AU神经网络，进而获取人脸分类网络，基于人脸分类网络，采用迁移学习算法对AU神经网络进行处理，得到AU检测模型。其中，客户端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，以该方法应用于图1中的服务端为例进行说明，包括如下步骤：

S10：获取人脸图像样本数据。

其中，人脸图像样本数据是用于输入AU检测模型进行检测的样本数据，AU检测是指比较人脸图像样本数据和AU检测模型中各个AU的相似度，以判断人脸图像样本数据为哪一个AU。具体地，预先从面部动作编码系统(FACS)中选取预定数量的AU作为AU检测模型的判断AU。在一具体实施方式中，如表一所示：选取FACS中19个单个AU，其中，包括6个上半脸AU(AU1-AU7)和13个下半脸AU(AU9-AU26)，该19个单个AU均是来自FACS中的27个与特定肌肉相关的AU。本实施例中AU检测将19个AU作为AU检测对比的标准，以预测客户端输入的人脸图像样本数据属于该19个AU(如内眉上扬、嘴角上扬、鼻子蹙皱等)各自的概率大小。

表一19个单个AU

具体地，从视频序列中按照预设方式获取人脸图像样本数据，该预设方式可以为预设的时间间隔，即服务端按照预设的时间间隔，从视频序列中抽取预设数量的视频帧，作为人脸图像样本数据。人脸图像样本数据的获取，是AU检测的基础，可通过使用人脸图像样本数据获取工具获取人脸图像样本数据，如通过opencv(开源库)读取图片。需要说明的是，人脸图像样本数据的格式包括但不限于jpg、png和gif等，此处不作限制。

S20：对人脸图像样本数据进行数据增广，得到训练样本。

其中，数据增广是指在不改变人脸图像样本数据的类别的情况下，增加数据量，以提高模型的泛化能力。人脸图像样本数据的数据增广方式可以是对人脸图像进行随机尺度变换，也可以是对人脸图像样本数据进行一定程度的裁剪和旋转，还可以是对人脸图像样本数据增加噪声，例如椒盐噪声，高斯噪声等，或者是多种数据增广方式的组合，例如同时做旋转和随机尺度变换。训练样本是指对人脸图像样本数据进行数据增广后得到的样本，用于作为模型训练的样本，提高模型训练的效率。本实施例中，通过对人脸图像样本数据进行数据增广，得到训练样本，作为模型训练的样本，由于样本数据更丰富，从而提高了模型训练的精度。

S30：将训练样本输入到深度残差网络中进行训练，得到AU神经网络。

其中，深度残差网络(Residual Networks，ResNet)是将残差网络训练深度学习神经网络得到的神经网络，用于对样本数据进行分类识别。深度残差网络是将输入层和三个卷积层进行叠加得到的跳跃结构来作为网络的的基本结构。所有的卷积层和池化层以及全接连层后面都接一个批量正则化(batch normal)层，不依赖于初始值，可以加快训练速度。可以理解地，对于深度学习神经网络，当深度加深，学习能力增强，因此深度网络会比较浅的网络效果好，但是深度网络残差消失，会导致退化问题(degradation，越深的网络的性能反而比较浅的网络差)，影响深度学习神经网络的学习效果。因此，深度残差网络在ResNet网络结构中引入一个深度残差网络来解决退化问题，以便获得较好的预测效果。

其中，AU神经网络是指对深度残差网络训练后得到的网络模型，用于实现对AU进行检测从而分类。在一具体实施方式中，AU神经网络是一个19个浮点数输出的网络。具体地，将训练样本放入深度残差网络的输入层(input)，然后计算神经网络，在深度残差网络结果(Result)层获取19个AU的概率结果。

具体地，将训练样本输入到深度残差网络中进行训练，由于训练样本是通过数据增广得到，可以理解地，数据增广是在AU神经网络训练阶段，并且深度残差网络具有较好的学习能力，从而使得AU神经网络训练具有较强的学习效果。

本实施例中，通过将训练样本输入到深度残差网络中进行训练，由于训练样本丰富，并且深度残差网络的学习能力较好且计算量小，从而提高了AU神经网络训练学习的效率。

S40：通过预训练VGGNet模型获取预设的人脸分类网络。

其中，预设的人脸分类网络是指用于对人脸图像样本数据进行分类的预训练模型。预训练模型(pre-trained model)是指为了解决类似问题所创造出来的模型，无需从零开始训练一个新模型，可以在类似问题中训练过的模型得到，VGGNet(visual geometrygroup net，VGG网络)模型是一种使用多个卷积层进行堆叠的深度卷积神经网络，用于图像分类和对象检测。VGGNet网络使用尺寸较小卷积滤波器(大小为3×3)，有助于更加细致地提取局部特征，减少了参数个数，提升了决策函数的区分性，同时VGGNet由于具有较深的深度和宽度，对于图像的分类具有很好的泛化能力。本实施例中的预训练模型是可以在网络上获得并在Caffe中使用，具体地，人脸分类网络是在ImageNet数据集上预先训练好的VGGNet模型，无需重新训练整个结构，只需要针对其中的几层进行训练即可。例如，VGGNet模型的网络层数为16层(VGG16)时，将VGG16模型的softmax层的1000个输出改为16个，从而适应问题的情景，重新训练了全连接层(dense layer)，大大减少了训练时间，只需要针对全连接层进行训练，所需时间基本可以忽略，同时提高了人脸分类网络的预测准确度。

在一具体实施方式中，通过逐步训练预训练VGGNet模型得到人脸分类网络。具体地，根据表一中的19个单个AU的应用场景，即将人脸图像样本数据按照表情相应地分到19个AU的类别中，因此VGGNet模型采用VGG19，在VGG19的输出层中，共有19个神经元对应着19个类别，VGG19最后一个全连接层参数设置为人脸分类数，最后的19个AU的sigmoid层换成softmax层。在一具体实施方式中，先训练100个类别的人脸图像，当准确率达到70％后把100个类别的人脸图像训练结果逐步迁移到1200个类别人脸图像进行训练，当准确率达到90％后把1200个类别的人脸图像训练结果迁移到16000个类别的人脸图像上训练，最后得到准确率高于90％的16000个类别的人脸图像训练后的分类结果。

本实施例中，通过预训练VGGNet模型得到人脸分类网络，方便地得到了人脸分类网络，减少了人脸分类网络的获取时间，并且有利于提高后续人脸图像样本检测的准确率。

S50：基于预设的人脸分类网络，采用迁移学习算法对所述AU神经网络进行处理，得到AU检测模型。

其中，迁移学习(transfer Leaming)算法是指是将模型从源任务上训练到的知识迁移到目标任务的应用上机器学习算法。例如，源任务可以是识别图片中车辆，而目标任务可以是识别卡车，识别轿车，识别公交车等。合理地使用迁移学习可以避免针对每个目标任务单独训练模型，从而极大地节约了计算资源。可以理解地，共同因素越多，迁移学习的作用就越大。迁移学习算法可以是参数的迁移学习算法，也可以是样本的迁移学习算法，还可以是特征的迁移学习算法。优选地，本实施例中的迁移学习算法为参数的迁移学习算法。

AU检测模型是指对人脸图像样本进行AU类别预测的模型。具体地，使用人脸分类网络并采用迁移学习算法对AU神经网络进行处理，得到AU检测模型。如此，AU检测模型在AU预测中充分利用了人脸分类网络中学习到的人脸结构特征，有利于提高AU检测模型的准确度。

具体地，本实施例中的源任务是识别人脸图像样本数据，AU神经网络只能识别人脸图像样本数据，迁移学习算法不但能识别人脸图像样本数据，还能识别人脸图像样本数据的表情类别。通过对人脸分类网络迁移学习训练AU神经网络，将迁移学习过来的人脸分类网络的卷积层与AU神经网络中训练好的全连接层进行对接，开始模型训练，得到AU检测模型。这样可以防止过拟合，同时提高训练效率。

在一具体实施方式中，AU神经输出网络的输出维度较低，只有19个结果，而人脸分类网络的维度较高。使用迁移学习的方式将人脸分类网络参数迁移到AU神经网络，同时冻结人脸分类网络的池化层参数，即部分层锁定，使得AU检测模型在AU预测中充分利用了人脸分类中学习到的人脸结构特征，进而提高了AU检测模型的检测精度。

本实施例中，首先获取人脸图像样本数据，对人脸图像样本数据进行数据增广，得到训练样本，使得样本数据更丰富，从而提高了模型训练的精度，然后将训练样本输入到深度残差网络中进行训练，得到AU神经网络。由于训练样本丰富并且深度残差网络较好的学习能力且计算量小，从而提高了AU神经网络训练学习效率。接着获取预设的人脸分类网络，通过预训练VGGNet模型得到人脸分类网络，方便地得到了人脸分类网络并且有利于提高后续人脸图像样本检测的准确率。最后基于人脸分类网络，采用迁移学习算法对AU神经网络进行处理，得到AU检测模型，使得AU检测模型在AU预测中充分利用了人脸分类中学习到的人脸结构特征，进而提高了AU检测模型的检测精度。

在一实施例中，如图3所示，步骤S50中，基于人脸分类网络，采用迁移学习的方式训练AU神经网络，得到AU检测模型，包括：

S51：获取人脸分类网络的参数。

其中，人脸分类网络的参数是人脸分类网络中的卷积层的参数，具体地，可通过MATLAB中的神经网络(模型)获取工具获取到人脸分类网络的卷积层的参数。

[y1,y2,...,yn]＝sim(A)；

上述公式中，通过sim函数获取人脸分类网络A中的参数y1,y2,...,yn。

S52：基于迁移学习算法将参数加载到AU神经网络中，得到AU检测模型。

其中，加载是指将一个模型中的参数载入到另一相同网络层数的模型中。具体地，把人脸分类网络的参数载入到AU神经网络中，得到AU检测模型。在一具体实施方式中，把16000人脸分类参数作为初始参数直接加载到AU神经网络，即将人脸分类网络卷积层的参数加载AU神经网络的全连接层。可以理解地，由于人脸分类网络和AU神经网络仅仅最后一层结构不一致，而其他参数数量均一致，所以参数是可以加载的。这样充分利用人脸分类网络学习的先验知识提高AU训练精度。

本实施例中，获取人脸分类网络的参数，基于迁移学习算法将参数加载到AU神经网络中，得到AU检测模型，充分利用人脸分类网络学习的先验知识提高AU训练精度。

在一实施例中，如图4所示，步骤S20中，对人脸图像样本数据进行增广，得到训练样本，包括：

S21：按照预设分辨率对人脸图像样本数据进行随机裁剪，得到初始样本图片。

其中，预设分辨率是指对图像预先设置的尺寸大小。初始样本图片是指预设分辨率像素的图片。具体地，对人脸图像样本数据采用随机裁剪的方式，获取固定大小的输入图像。例如，对256*256的人脸图像样本数据随机裁剪248*248像素的初始样本图片。通过对人脸图像样本数据进行随机剪裁，以便后续更加高效地学习人脸图像样本数据的特征。

S22：对初始样本图片进行随机尺度变换处理，得到第一样本图片。

其中，随机尺度变化是指对初始样本图片进行灰度化的变换，具体地，产生[0,1]均分布的随机数，通过随机数的数值不同来对初始样本图片进行不同的操作。具体地，当随机数小于0.5则对初始样本图片进行翻转，当随机数大于或者等于0.5，则对初始样本图片进行灰度化。第一样本图片是指对初始样本图片进行随机尺度变换处理后得到的图片。通过对初始样本图片进行随机尺度变换处理，丰富了初始样本图片的数据。

S23：对第一样本图片进行增加噪声处理，得到第二样本样片。

其中，增加噪声是指对初始样本图片增加干扰信息，例如增加点光源、增加椒盐噪声和增加高斯噪声等，使得初始样本图片的信息更多。

S24：将初始样本图片、第一样本图片和第二样本图片作为训练样本。

具体地，将初始样本图片、第一样本图片和第二样本图片都作为训练样本。例如，初始样本图片有100张，那么第一样本图片和第二样本图片分别有100张，所以训练样本的图片有300张，实现了训练样本的数据增广，使得训练样本的数据更加丰富。

本实施例中，通过按照预设分辨率对人脸图像样本数据进行随机裁剪，然后对初始样本图片进行随机尺度变换处理，得到第一样本图片，再对第一样本图片进行增加噪声处理，得到第二样本图片，将初始样本图片、第一样本图片和第二样本图片组成训练样本，实现了训练样本的数据增广，使得训练样本的数据更加丰富。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

图5示出与实施例中AU检测模型训练方法一一对应的AU检测模型训练装置的原理框图。如图5所示，该AU检测模型训练装置包括样本数据获取模块10、训练样本获取模块20、AU神经网络获取模块30、人脸分类网络获取模块40和AU检测模型获取模块50。其中，样本数据获取模块10、训练样本获取模块20、AU神经网络获取模块30、人脸分类网络获取模块40和AU检测模型获取模块50的实现功能与上述实施例中AU检测模型训练方法对应的步骤一一对应，各功能模块详细说明如下：

样本数据获取模块10，用于获取人脸图像样本数据；

训练样本获取模块20，用于对人脸图像样本数据进行数据增广，得到训练样本；

AU神经网络获取模块30，用于将训练样本输入到深度残差网络中进行训练，得到AU神经网络；

人脸分类网络获取模块40，用于通过预训练VGGNet模型获取预设的人脸分类网络；

AU检测模型获取模块50，用于基于预设的人脸分类网络，采用迁移学习算法对AU神经网络进行处理，得到AU检测模型。

具体地，AU检测模型获取模块50包括参数获取单元51和检测模型获取单元52。

参数获取单元51，用于获取人脸分类网络的参数；

检测模型获取单元52，用于基于迁移学习算法将参数加载到AU神经网络中，得到AU检测模型。

具体地，训练样本获取模块20包括初始样本图片获取单元21、第一样本图片获取单元22、第二样本图片获取单元23和训练样本获取单元24。

初始样本图片获取单元21，用于按照预设分辨率对人脸图像样本数据进行随机裁剪，得到初始样本图片；

第一样本图片获取单元22，用于对初始样本图片进行随机尺度变换处理，得到第一样本图片；

第二样本图片获取单元23，用于对第一样本图片进行增加噪声处理，得到第二样本图片；

训练样本获取单元24，用于将初始样本图片、第一样本图片和第二样本图片作为训练样本。

在一实施例中，提供一AU检测方法，该AU检测方法也可以应用在如图1的应用环境中，其中，客户端通过网络与服务端进行通信。客户端通过网络与服务端进行通信，服务端接收客户端发送待检测图像，通过AU检测模型进行AU检测。其中，客户端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图6所示，以该方法应用于图1中的服务端为例进行说明，包括如下步骤：

S60：获取待检测图像。

其中，待检测图像是指需要进行AU检测的人脸表情图像。具体地，获取待检测图像可通过预先采集不同人脸表情图像，或者直接从人脸库中获取人脸表情图像，例如YALE人脸库中的人脸表情图像。

S70：将待检测图像输入到AU检测模型进行检测，获取待检测图像的目标动作单元，其中，AU检测模型是采用步骤S10至步骤S50中的AU检测模型训练方法训练得到的。

其中，待检测图像的目标动作单元是指对待检测图像采用AU检测模型进行检测得到的待检测图像对应的AU类别。具体地，待检测图像的目标动作单元是指该待检测图像的目标动作单元概率值最大。可以理解地，步骤S10至步骤S50中的AU检测模型训练方法训练得到的AU检测模型效率高，采用该AU检测模型进行检测，从而提高了AU检测结果的准确率。

本实施例中，先获取待检测图像，以便对待检测图像输入到AU检测模型进行检测，获取AU检测结果，预测各个待检测图像所属AU类别的概率大小，提高了AU检测结果的准确率。

在一实施例中，如图7所示，步骤S70中，将待检测图像输入到AU检测模型进行检测，获取待检测图像的目标动作单元，包括：

S71：将待检测图像输入到AU检测模型中，获取AU检测模型中的神经网络的全连接层特征。

其中，全连接层用于在卷积神经网络中将经过多个卷积层和池化层的图像特征图中的特征进行整合，获取图像特征具有的高层含义，之后用于图像分类。全连接层特征是指将对AU检测模型中卷积神经网络中卷积层的特征进行融合后的特征。在一具体实施方式中，全连接层将卷积层产生的特征图的待检测图像卷积特征映射成一个固定长度(本实施方式中为输入为AU的类别数，且为19个单个AU，即固定长度为19)的特征向量。该特征向量包含了输入待检测图像所有特征的组合信息，该特征向量将待检测图像中含有最具有特点的图像特征保留了下来以此完成图像分类任务。

S72：对全连接层特征采用激活函数进行分类回归，得到AU检测模型中的各个AU概率值的回归，在AU检测模型的结果层获取最大概率值对应的的AU的类别，作为待检测图像的目标动作单元。

其中，激活函数是指用于对神经网络输出的函数，激活函数可以是sigmoid、rule和Softmax等激活函数，本实施例中，采用sigmoid激活函数对全连接层特征分类回归，可以很直观地比较结果层的各个输出值，且输出值为与全连接层特征对应的待检测图像所属AU的概率大小。预设数量是指根据实际应用场景预先设定的AU类别的个数。在一具体实施方式中，AU类别数为19，此时对应的预设数量即为19。

通过对全连接层特征采用激活函数进行分类回归，得到各个AU概率值的回归，在AU检测模型的结果层获取预设数量的AU的概率结果，有利于直观地比较AU检测结果。

本实施例中，将待检测图像输入到AU检测模型中，获取全连接层特征，对全连接层特征采用激活函数进行分类回归，得到各个AU概率值的回归，在AU检测模型的结果层获取最大概率值对应的的AU的概率结果，有利于直观地比较AU检测结果。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

图8示出与实施例中AU检测方法一一对应的AU检测装置的原理框图。如图8所示，该AU检测装置包括待检测图像获取模块60和AU检测结果获取模块70。其中，待检测图像获取模块60和AU检测结果获取模块70的实现功能与实施例中AU检测方法对应的步骤一一对应，各功能模块详细说明如下：

待检测图像获取模块60，用于获取待检测图像；

AU检测结果获取模块70，用于将待检测图像输入到AU检测模型进行检测，获取待检测图像的目标动作单元，其中，AU检测模型是采用AU检测模型训练方法训练得到的。

具体地，AU检测结果获取模块70包括全连接层特征获取单元71和AU检测结果获取单元72。

全连接层特征获取单元71，用于将待检测图像输入到AU检测模型中，获取AU检测模型中的神经网络的全连接层特征；

AU检测结果获取单元72，用于对全连接层特征采用激活函数进行分类回归，得到AU检测模型中的各个AU概率值的回归，在AU检测模型的结果层获取最大概率值对应的AU的类别，作为待检测图像的目标动作单元。

关于AU检测装置的具体限定可以参见上文中对于AU检测方法的限定，在此不再赘述。上述AU检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储AU检测模型训练方法中的人脸图像样本数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种AU检测模型训练方法。或者，该计算机程序被处理器执行时实现实施例中AU检测装置中各模块/单元的功能

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例人眼模型训练方法的步骤，例如图2所示的步骤S10至步骤S50。或者处理器执行计算机程序时实现上述实施例AU检测方法的步骤，例如图6所示的步骤S60至步骤S70。或者，处理器执行计算机程序时实现上述实施例AU检测模型训练装置的各模块/单元的功能，例如图5所示的模块10至模块50。或者，处理器执行计算机程序时实现上述实施例人眼识别装置的各模块/单元的功能，例如图8所示的模块60至模块70。为避免重复，这里不再赘述。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例AU检测模型训练方法的步骤，或者计算机程序被处理器执行时实现上述实施例AU检测方法的步骤，或者，计算机程序被处理器执行时实现上述实施例AU检测模型训练装置的各模块/单元的功能，或者，计算机程序被处理器执行时实现上述实施例AU检测装置的各模块/单元的功能，为避免重复，这里不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种AU检测模型训练方法，其特征在于，所述AU检测模型训练方法包括：

获取人脸图像样本数据；

对所述人脸图像样本数据进行数据增广，得到训练样本；

将所述训练样本输入到深度残差网络中进行训练，得到AU神经网络；

通过预训练VGGNet模型获取预设的人脸分类网络；

基于所述预设的人脸分类网络，采用迁移学习算法对所述AU神经网络进行处理，得到AU检测模型。

2.如权利要求1所述的AU检测模型训练方法，其特征在于，所述对所述人脸图像样本数据进行增广，得到训练样本，包括：

按照预设分辨率对所述人脸图像样本数据进行随机裁剪，得到初始样本图片；

对所述初始样本图片进行随机尺度变换处理，得到第一样本图片；

对所述第一样本图片进行增加噪声处理，得到第二样本图片；

将所述初始样本图片、所述第一样本图片和所述第二样本图片作为所述训练样本。

3.如权利要求1所述的AU检测模型训练方法，其特征在于，所述采用迁移学习算法对所述AU神经网络进行处理，包括：

获取所述人脸分类网络的参数；

基于迁移学习算法将所述参数加载到所述AU神经网络中，得到所述AU检测模型。

4.一种AU检测方法，其特征在于，包括：

获取待检测图像；

将所述待检测图像输入到AU检测模型进行检测，获取所述待检测图像的目标动作单元，其中，所述AU检测模型是采用权利要求1-3任一项所述AU检测模型训练方法训练得到的。

5.如权利要求4所述的AU检测方法，其特征在于，所述将所述待检测图像输入到AU检测模型进行检测，获取所述待检测图像的目标动作单元，包括：

将所述待检测图像输入到所述AU检测模型中，获取所述AU检测模型中的神经网络的全连接层特征；

对所述全连接层特征采用激活函数进行分类回归，得到所述AU检测模型中的各个AU概率值的回归，在所述AU检测模型的结果层获取最大概率值对应的AU的类别，作为所述待检测图像的目标动作单元。

6.一种AU检测模型训练装置，其特征在于，所述AU检测模型训练装置包括：

样本数据获取模块，用于获取人脸图像样本数据；

训练样本获取模块，用于对所述人脸图像样本数据进行数据增广，得到训练样本；

AU神经网络获取模块，用于将所述训练样本输入到深度残差网络中进行训练，得到AU神经网络；

人脸分类网络获取模块，用于通过预训练VGGNet模型获取预设的人脸分类网络；

AU检测模型获取模块，用于基于所述预设的人脸分类网络，采用迁移学习算法对所述AU神经网络进行处理，得到AU检测模型。

7.如权利要求6所述的AU检测模型训练装置，其特征在于，所述训练样本获取模块包括：

初始样本图片获取单元，用于按照预设分辨率对所述人脸图像样本数据进行随机裁剪，得到初始样本图片；第一样本图片获取单元，用于对所述初始样本图片进行随机尺度变换处理，得到第一样本图片；

第二样本图片获取单元，用于对所述第一样本图片进行增加噪声处理，得到第二样本图片；

训练样本获取单元，用于将所述初始样本图片、所述第一样本图片和所述第二样本图片作为所述训练样本。

8.一种AU检测装置，其特征在于，所述AU检测装置包括：

待检测图像获取模块，用于获取待检测图像；

AU检测结果获取模块，用于将所述待检测图像输入到AU检测模型进行检测，获取所述待检测图像的目标动作单元，其中，所述AU检测模型是采用权利要求1-3任一项所述AU检测模型训练方法训练得到的。

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至3任一项所述的AU检测模型训练方法的步骤，或者所述处理器执行所述计算机程序时实现如权利要求4或5所述的AU检测方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3所述的AU检测模型训练方法的步骤，或者，所述计算机程序被处理器执行时实现如权利要求4或5任一项所述的AU检测方法的步骤。