CN109409199A - 微表情训练方法、装置、存储介质及电子设备 - Google Patents

Abstract

本发明提供一种微表情训练方法、装置、存储介质及电子设备。本发明提供的微表情训练方法，包括：先获取用户第一微表情的现实视频，并通过预设的神经网络模型对现实视频进行微表情特征提取，以获取第一微表情对应的微表情特征，然后，根据微表情特征以及预设标准微表情模型库确定与第一微表情匹配的第一标准微表情，并根据第一标准微表情生成第一虚拟视频，最后，将第一虚拟视频叠加显示在现实视频中。本发明提供的微表情训练方法，通过增强现实的方式同时直观地展示用户自身的微表情以及对应的标准微表情，以使得用户能够自行根据二者的区别进行微表情调整，从而提高用户微表情管理的能力。

Description

微表情训练方法、装置、存储介质及电子设备

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种微表情训练方法、装置、存储介质及电子设备。

背景技术

语言和表情是表达人们内心情感状态的重要方式。心理学研究表明：人类日常生活中通过语言来表达的信息只占7％，而近乎55％的信息表达来源于表情。

虽然，人脸上只有43块肌肉，但是，对这43块肌肉进行组合却能够表现出10000多种微表情。因此，对于没有受过专业训练的人员来说，是很难准确地控制自己脸部的微表情，例如，当用户需要掌握自然的微笑表情或者装酷表情时，则只能对着镜子或者通过他人来判断自己所做的微表情是否到位，以对微表情进行训练。而对于一些特殊职业，例如演员或者是空乘服务人员，表情管理则需要经过大量的专业化训练才能掌握。

可见，现有的微表情训练完全依靠于人为的主观判断和调整，并且用户很难自己对微表情进行单独的训练。

发明内容

本发明提供一种微表情训练方法、装置、存储介质及电子设备，以实现用户能能够直观地判断自身的微表情与对应的微表情之间的差别，从而进行针对性的微表情调整训练。

第一方面，本发明提供一种微表情训练方法，包括：

获取用户第一微表情的现实视频，并通过预设的神经网络模型对所述现实视频进行微表情特征提取，以获取所述第一微表情对应的微表情特征；

根据所述微表情特征以及预设标准微表情模型库确定与所述第一微表情匹配的第一标准微表情，并根据所述第一标准微表情生成第一虚拟视频；

将所述第一虚拟视频叠加显示在所述现实视频中。

在一种可能的设计中，在所述根据所述微表情特征以及预设标准微表情模型库确定与所述第一微表情匹配的第一标准微表情之后，还包括：

根据所述第一微表情以及所述第一标准微表情之间的差异确定所述第一微表情的微表情得分。

在一种可能的设计中，在所述根据所述第一微表情以及所述第一标准微表情之间的差异确定所述第一微表情的微表情得分之后，还包括：

根据所述微表情得分生成第二虚拟视频；

将所述第二虚拟视频叠加显示在所述现实视频中。

在一种可能的设计中，所述根据所述第一微表情以及所述第一标准微表情之间的差异确定所述第一微表情的微表情得分，包括：

提取所述现实视频中所述用户的第一微表情数据，所述第一微表情数据用于表征所述第一微表情；

根据所述第一微表情数据与第一标准微表情数据计算所述微表情得分。

在一种可能的设计中，所述提取所述现实视频中所述用户的第一微表情数据，包括：

提取所述现实视频中所述用户的脸部中的特征点在预设空间坐标系下的空间坐标数据，所述第一微表情数据包括所述空间坐标数据。

在一种可能的设计中，所述根据所述第一微表情以及所述第一标准微表情之间的差异确定所述第一微表情的微表情得分，包括：

提取所述现实视频中所述用户的脸部的轮廓特征；

根据所述轮廓特征确定所述第一标准微表情数据，所述第一标准微表情数据包括标准特征点在预设空间坐标系下的标准空间坐标数据；

根据所述空间坐标数据以及所述标准空间坐标数据确定所述第一微表情的微表情得分。

在一种可能的设计中，在所述根据所述空间坐标数据以及所述标准空间坐标数据确定所述第一微表情的微表情得分之后，还包括：

判断所述微表情得分是否小于预设的微表情得分；

若判断结果为是，则在所述第二虚拟视频中对所述特征点高亮显示。

在一种可能的设计中，在所述获取用户第一微表情的现实视频，并通过预设的神经网络模型对所述现实视频进行微表情特征提取之前，还包括：

采集至少一个微表情对应的标准微表情视频；

采用深度学习算法并根据所述标准微表情视频构建所述预设的神经网络模型。

在一种可能的设计中，所述采集至少一个微表情对应的标准微表情视频，包括：

将所述标准微表情视频分割成只包含单个微表情的短视频，并将分割得到的所述短视频作为训练样本构建微表情视频训练集。

在一种可能的设计中，在所述将分割得到的所述短视频作为训练样本构建微表情视频训练集之后，还包括：

对所述微表情视频训练集进行数据预处理，其中，所述数据预处理包括：对所述微表情视频训练集中的所述短视频进行向下采样处理，提取向下采样处理后的所述短视频中以人为中心的边界框，裁剪掉所述边界框之外的多余背景，并将剪裁后的所述短视频中的各个帧由RGB图转化为灰度图。

在一种可能的设计中，所述预设的神经网络模型为张量递归神经网络模型。

在一种可能的设计中，所述张量递归神经网络模型包括输入层、第一卷积层、第一校正层、第一池化层、第二卷积层、第二校正层、第二池化层、第三卷积层、张量递归层和输出层；

其中，所述输入层、所述第一卷积层、所述第一校正层、所述第一池化层、所述第二卷积层、所述第二校正层、所述第二池化层以及所述第三卷积层依次连接，所述张量递归层全连接到所述第三卷积层，所述输出层全连接到所述张量递归层。

第二方面，本发明还提供一种微表情训练装置，包括：

获取模块，用于获取用户第一微表情的现实视频，并通过预设的神经网络模型对所述现实视频进行微表情特征提取，以获取所述第一微表情对应的微表情特征；

确定模块，用于根据所述微表情特征以及预设标准微表情模型库确定与所述第一微表情匹配的第一标准微表情，并根据所述第一标准微表情生成第一虚拟视频；

显示模块，用于将所述第一虚拟视频叠加显示在所述现实视频中。

在一种可能的设计中，所述的微表情训练装置，还包括：

打分模块，用于根据所述第一微表情以及所述第一标准微表情之间的差异确定所述第一微表情的微表情得分。

在一种可能的设计中，所述显示模块，还用于：

根据所述微表情得分生成第二虚拟视频；

将所述第二虚拟视频叠加显示在所述现实视频中。

在一种可能的设计中，所述获取模块，还用于提取所述现实视频中所述用户的第一微表情数据，所述第一微表情数据用于表征所述第一微表情；

所述打分模块，还用于根据所述第一微表情数据与第一标准微表情数据计算所述微表情得分。

在一种可能的设计中，所述获取模块，还用于提取所述现实视频中所述用户的脸部中的特征点在预设空间坐标系下的空间坐标数据，所述第一微表情数据包括所述空间坐标数据。

在一种可能的设计中，所述打分模块，具体用于：

提取所述现实视频中所述用户的脸部的轮廓特征；

根据所述轮廓特征确定所述第一标准微表情数据，所述第一标准微表情数据包括标准特征点在预设空间坐标系下的标准空间坐标数据；

根据所述空间坐标数据以及所述标准空间坐标数据确定所述第一微表情的微表情得分。

在一种可能的设计中，所述微表情训练装置，还包括：

判断模块，用于判断所述微表情得分是否小于预设的微表情得分；

若判断结果为是，则所述显示模块，还用于在所述第二虚拟视频中对所述特征点高亮显示。

在一种可能的设计中，所述微表情训练装置，还包括：

采集模块，用于采集至少一个微表情对应的标准微表情视频；

学习模块，用于采用深度学习算法并根据所述标准微表情视频构建所述预设的神经网络模型。

在一种可能的设计中，所述采集模块，具体用于：

将所述标准微表情视频分割成只包含单个微表情的短视频，并将分割得到的所述短视频作为训练样本构建微表情视频训练集。

在一种可能的设计中，所述微表情训练装置，还包括：

预处理模块，用于对所述微表情视频训练集进行数据预处理，其中，所述数据预处理包括：对所述微表情视频训练集中的所述短视频进行向下采样处理，提取向下采样处理后的所述短视频中以人为中心的边界框，裁剪掉所述边界框之外的多余背景，并将剪裁后的所述短视频中的各个帧由RGB图转化为灰度图。

在一种可能的设计中，所述预设的神经网络模型为张量递归神经网络模型。

在一种可能的设计中，所述张量递归神经网络模型包括输入层、第一卷积层、第一校正层、第一池化层、第二卷积层、第二校正层、第二池化层、第三卷积层、张量递归层和输出层；

其中，所述输入层、所述第一卷积层、所述第一校正层、所述第一池化层、所述第二卷积层、所述第二校正层、所述第二池化层以及所述第三卷积层依次连接，所述张量递归层全连接到所述第三卷积层，所述输出层全连接到所述张量递归层。

第三方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面中任意一种可能的微表情训练方法。

第四方面，本发明还提供一种电子设备，包括：

摄像头、处理器、存储器以及显示器；

所述摄像头以及所述显示器分别与所述处理器相连接；

所述摄像头，用于获取用户第一微表情的现实视频；

所述存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行第一方面中任意一种可能的微表情训练方法；

所述显示器，用于显示所述现实视频以及虚拟视频。

本发明提供的一种微表情训练方法、装置、存储介质及电子设备，通过预设的神经网络模型对用户第一微表情的现实视频进行微表情特征提取，以获取第一微表情对应的微表情特征，然后根据微表情特征以及预设标准微表情模型库确定与第一微表情匹配的第一标准微表情，并根据第一标准微表情生成第一虚拟视频，最后将第一虚拟视频叠加显示在现实视频中，从而通过增强现实的方式同时直观地展示用户自身的微表情以及对应的标准微表情，以使得用户能够自行根据二者的区别进行微表情调整，从而提高用户微表情管理的能力。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明根据一示例性实施例示出的微表情训练方法的流程示意图；

图2是本发明根据另一示例性实施例示出的微表情训练方法的流程示意图；

图3是图2所示实施例中微表情得分计算方法的计算原理示意图；

图4是图2所示实施例中微表情得分计算方法的流程示意图；

图5是本发明根据一示例性实施例示出的微表情训练装置的结构示意图；

图6是本发明根据另一示例性实施例示出的微表情训练装置的结构示意图；

图7是本发明根据一示例性实施例示出的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本实施例提供的微表情训练方法在应用时，通过终端设备上的摄像头获取用户脸部的现实视频，其中，该终端设备可以为智能手机、平板电脑、个人计算机等具有现实视频图像采集、数据处理和显示功能的电子设备。其中，在本实施例中可以以智能手机作为终端设备进行举例。例如，用户需要练习微笑时，则可以先将智能手机置于合适的位置，然后打开智能手机的前置摄像头，以使前置摄像头能够获取用户的脸部画面，智能手机根据获取到的用户的微笑视频匹配出标准的微笑视频，并将标准的微笑视频以增强现实的方式显示在智能手机屏幕上，此时，智能手机同步显示用户的微笑视频和标准的微笑视频，以使用户能够在训练时有效地调整脸部表情。

图1是本发明根据一示例性实施例示出的微表情训练方法的流程示意图。如图1所示，本实施例提供的微表情训练方法，包括：

步骤101、获取用户第一微表情的现实视频，并通过预设的神经网络模型对现实视频进行微表情特征提取。

具体地，可以通过终端设备上的摄像头获取用户第一微表情的现实视频，其中，其中第一微表情可以是微笑表情、装酷微表情以及坏笑的微表情等。

在获取到用户第一微表情的现实视频之后，通过预设的神经网络模型对现实视频进行微表情特征提取，以获取第一微表情对应的微表情特征。

其中，对于上述用于进行微表情特征提取的神经网络模型可以是任意适当的可实现特征提取或目标对象识别的神经网络，包括但不限于卷积神经网络、增强学习神经网络、对抗神经网络中的生成网络等等。神经网络中具体结构的设置可以由本领域技术人员根据实际需求适当设定，如卷积层的层数、卷积核的大小、通道数等等，本发明实施例对此不作限制。在一种可能的实现方式中，可以将预设的神经网络模型设置为张量递归神经网络模型。

其中，张量递归神经网络模型的构建方式为：首先，设计张量卷积神经网络，自动学习微表情视频训练集中每个短视频的时空特征；然后，使用从张量卷积神经网络中学习到的微表情时空特征训练张量递归神经网络模型，通过张量递归神经网络模型根据多个微表情标签对标准微表情视频进行分类。

在一种可选的实施方式中，对于上述张量递归神经网络的建立，可以是通过先采集至少一个微表情对应的标准微表情视频，然后再采用深度学习算法并根据标准微表情视频构建来生成。其中，可以将采集到的标准微表情视频分割成只包含单个微表情的短视频，并将分割得到的短视频作为训练样本构建微表情视频训练集。然后，对微表情视频训练集进行数据预处理，其中，数据预处理包括：对微表情视频训练集中的短视频进行向下采样处理，提取向下采样处理后的短视频中以人为中心的边界框，裁剪掉边界框之外的多余背景，并将剪裁后的短视频中的各个帧由RGB图转化为灰度图。最后，张量递归神经网络深度可以将转化后的灰度图作为学习素材进行深度学习。

在一种可能的设计中，可以将上述的张量递归神经网络设置为三层结构。具体地，上述的张量递归神经网络模型包括输入层、第一卷积层、第一校正层、第一池化层、第二卷积层、第二校正层、第二池化层、第三卷积层、张量递归层和输出层。其中，输入层、第一卷积层、第一校正层、第一池化层、第二卷积层、第二校正层、第二池化层以及第三卷积层依次连接，张量递归层全连接到第三卷积层，输出层全连接到张量递归层。

步骤102、根据微表情特征以及预设标准微表情模型库确定与第一微表情匹配的第一标准微表情。

具体地，在通过预设的神经网络模型对现实视频进行微表情特征提取，并获取第一微表情对应的微表情特征，然后再根据微表情特征以及预设标准微表情模型库确定与第一微表情匹配的第一标准微表情。例如，如果在现实视频中，用户的微表情为微笑表情，则通过提取用户当前表情的微表情特征匹配出第一标准微笑表情。

步骤103、根据第一标准微表情生成第一虚拟视频。

具体地，在根据微表情特征以及预设标准微表情模型库确定与第一微表情匹配的第一标准微表情之后，再根据第一标准微表情生成第一虚拟视频，其中，在预设标准微表情模型库中，第一虚拟视频可以为表情管理培训人员示范的标准微表情视频，也可以是通过计算机技术模拟出来的标准微表情视频。

此外，为了能够使得在所生成的第一虚拟视频中示范的标准微表情与用户的微表情更加匹配，以便用户能够更直观地发现自己的微表情不规范之处，还可以在生成第一虚拟视频之前，将第一虚拟视频中的示范人物的脸部尺寸放大或者缩小至与用户的脸部尺寸相近。

步骤104、将第一虚拟视频叠加显示在现实视频中。

在根据第一微表情生成第一虚拟视频之后，将第一虚拟视频叠加显示在现实视频中，以通过增强现实的方式对第一标准微表情进行展示，以使用户能够直观地对比自身的微表情与标准微表情之间的区别，从而针对性地对自己的微表情进行调整，直至自身的微表情与标准微表情高度一致，说明用户已经掌握了该标准微表情。

在本实施例中，通过预设的神经网络模型对用户第一微表情的现实视频进行微表情特征提取，以获取第一微表情对应的微表情特征，然后根据微表情特征以及预设标准微表情模型库确定与第一微表情匹配的第一标准微表情，并根据第一标准微表情生成第一虚拟视频，最后将第一虚拟视频叠加显示在现实视频中，从而通过增强现实的方式同时直观地展示用户自身的微表情以及对应的标准微表情，以使得用户能够自行根据二者的区别进行微表情调整，从而提高用户微表情管理的能力。

图2是本发明根据另一示例性实施例示出的微表情训练方法的流程示意图。如图2所示，本实施例提供的微表情训练方法，包括：

步骤201、获取用户第一微表情的现实视频，并通过预设的神经网络模型对现实视频进行微表情特征提取。

具体地，可以通过终端设备上的摄像头获取用户第一微表情的现实视频，其中，其中第一微表情可以是微笑表情、装酷微表情以及坏笑的微表情等。

在获取到用户第一微表情的现实视频之后，通过预设的神经网络模型对现实视频进行微表情特征提取，以获取第一微表情对应的微表情特征。

其中，对于上述用于进行微表情特征提取的神经网络模型可以是任意适当的可实现特征提取或目标对象识别的神经网络，包括但不限于卷积神经网络、增强学习神经网络、对抗神经网络中的生成网络等等。神经网络中具体结构的设置可以由本领域技术人员根据实际需求适当设定，如卷积层的层数、卷积核的大小、通道数等等，本发明实施例对此不作限制。在一种可能的实现方式中，可以将预设的神经网络模型设置为张量递归神经网络模型。

其中，张量递归神经网络模型的构建方式为：首先，设计张量卷积神经网络，自动学习微表情视频训练集中每个短视频的时空特征；然后，使用从张量卷积神经网络中学习到的微表情时空特征训练张量递归神经网络模型，通过张量递归神经网络模型根据多个微表情标签对标准微表情视频进行分类。

在一种可选的实施方式中，对于上述张量递归神经网络的建立，可以是通过先采集至少一个微表情对应的标准微表情视频，然后再采用深度学习算法并根据标准微表情视频构建来生成。其中，可以将采集到的标准微表情视频分割成只包含单个微表情的短视频，并将分割得到的短视频作为训练样本构建微表情视频训练集。然后，对微表情视频训练集进行数据预处理，其中，数据预处理包括：对微表情视频训练集中的短视频进行向下采样处理，提取向下采样处理后的短视频中以人为中心的边界框，裁剪掉边界框之外的多余背景，并将剪裁后的短视频中的各个帧由RGB图转化为灰度图。最后，张量递归神经网络深度可以将转化后的灰度图作为学习素材进行深度学习。

在一种可能的设计中，可以将上述的张量递归神经网络设置为三层结构。具体地，上述的张量递归神经网络模型包括输入层、第一卷积层、第一校正层、第一池化层、第二卷积层、第二校正层、第二池化层、第三卷积层、张量递归层和输出层。其中，输入层、第一卷积层、第一校正层、第一池化层、第二卷积层、第二校正层、第二池化层以及第三卷积层依次连接，张量递归层全连接到第三卷积层，输出层全连接到张量递归层。

步骤202、根据微表情特征以及预设标准微表情模型库确定与第一微表情匹配的第一标准微表情。

具体地，在通过预设的神经网络模型对现实视频进行微表情特征提取，并获取第一微表情对应的微表情特征，然后再根据微表情特征以及预设标准微表情模型库确定与第一微表情匹配的第一标准微表情。例如，如果在现实视频中，用户的微表情为微笑表情，则通过提取用户当前表情的微表情特征匹配出第一标准微笑表情。

步骤203、根据第一标准微表情生成第一虚拟视频。

具体地，在根据微表情特征以及预设标准微表情模型库确定与第一微表情匹配的第一标准微表情之后，再根据第一标准微表情生成第一虚拟视频，其中，在预设标准微表情模型库中，第一虚拟视频可以为表情管理培训人员示范的标准微表情视频，也可以是通过计算机技术模拟出来的标准微表情视频。

此外，为了能够使得在所生成的第一虚拟视频中示范的标准微表情与用户的微表情更加匹配，以便用户能够更直观地发现自己的微表情不规范之处，还可以在生成第一虚拟视频之前，将第一虚拟视频中的示范人物的脸部尺寸放大或者缩小至与用户的脸部尺寸相近。

步骤204、将第一虚拟视频叠加显示在现实视频中。

在根据第一微表情生成第一虚拟视频之后，将第一虚拟视频叠加显示在现实视频中，以通过增强现实的方式对第一标准微表情进行展示，以使用户能够直观地对比自身的微表情与标准微表情之间的区别，从而针对性地对自己的微表情进行调整，直至自身的微表情与标准微表情高度一致，说明用户已经掌握了该标准微表情。

步骤205、根据第一微表情以及第一标准微表情之间的差异确定第一微表情的微表情得分。

具体地，可以是提取现实视频中用户的第一微表情数据，其中，第一微表情数据用于表征所述第一微表情，然后再根据第一微表情数据与第一标准微表情数据计算微表情得分。

在一种可能的实现方式中，图3是图2所示实施例中微表情得分计算方法的计算原理示意图；图4是图2所示实施例中微表情得分计算方法的流程示意图。如图3-4所示，上述根据第一微表情以及第一标准微表情之间的差异确定第一微表情的微表情得分，包括：

步骤2051、提取现实视频中用户的脸部中的特征点在预设空间坐标系下的空间坐标数据。

具体地，在获取到用户第一微表情的现实视频之后，可以对现实视频中用户的脸部中的特征点在预设空间坐标系下的空间坐标数据进行提取。

其中，对于现实视频中各个特征点的识别，同样可以采用神经网络模型进行识别，对于该神经网络模型可以是任意适当的可实现特征提取或目标对象识别的神经网络，包括但不限于卷积神经网络、增强学习神经网络、对抗神经网络中的生成网络等等。神经网络中具体结构的设置可以由本领域技术人员根据实际需求适当设定，如卷积层的层数、卷积核的大小、通道数等等，本发明实施例对此不作限制。在识别出各个关节之后，通过获取各个特征点位置，来确定用户的脸部中的特征点在预设空间坐标系下的空间坐标数据。

步骤2052、提取现实视频中用户的脸部的轮廓特征。

由于不同用户所对应的脸部大小、脸型以及五官位置都会有所不同，因此，在确定第一标准微表情数据之前，还可以通过提取现实视频中用户的脸部的轮廓特征，可以通过图像处理的方式获取到用户的脸部的轮廓特征，此处不再赘述。

步骤2053、根据轮廓特征确定第一标准微表情数据，第一标准微表情数据包括标准特征点在预设空间坐标系下的标准空间坐标数据。

步骤2054、根据空间坐标数据以及标准空间坐标数据确定第一微表情的微表情得分。

由于每个微表情，都会涉及多个特征的联动，因此，可以对用户微表情中的各个特征点设置预设权重值，然后再根据各个特征点的得分以及每个特征点对应的预设权重值计算第一微表情的微表情得分，该微表情得分可以用于表征用户实际所做的第一微表情与第一标准第一微表情之间的相似程度。

步骤206、根据微表情得分生成第二虚拟视频，并将第二虚拟视频叠加显示在现实视频中。

在根据空间坐标数据以及标准空间坐标数据确定第一微表情的微表情得分之后，可以根据微表情得分生成第二虚拟视频，并将第二虚拟视频叠加显示在现实视频中。

为了能够使得用户能够更加直观地获知具体为哪个特征点的位置不准确，还可以判断微表情得分是否小于预设的微表情得分，若判断结果为是，则在第二虚拟视频中对对应的特征点进行高亮显示。

图5是本发明根据一示例性实施例示出的微表情训练装置的结构示意图。如图5所示，本实施例提供的微表情训练装置，包括：

获取模块301，用于获取用户第一微表情的现实视频，并通过预设的神经网络模型对所述现实视频进行微表情特征提取，以获取所述第一微表情对应的微表情特征；

确定模块302，用于根据所述微表情特征以及预设标准微表情模型库确定与所述第一微表情匹配的第一标准微表情，并根据所述第一标准微表情生成第一虚拟视频；

显示模块303，用于将所述第一虚拟视频叠加显示在所述现实视频中。

在图5所示实施例的基础上，图6是本发明根据另一示例性实施例示出的微表情训练装置的结构示意图，如图6所示，所述的微表情训练装置，还包括：

打分模块304，用于根据所述第一微表情以及所述第一标准微表情之间的差异确定所述第一微表情的微表情得分。

在一种可能的设计中，所述显示模块303，还用于：

根据所述微表情得分生成第二虚拟视频；

将所述第二虚拟视频叠加显示在所述现实视频中。

在一种可能的设计中，所述获取模块301，还用于提取所述现实视频中所述用户的第一微表情数据，所述第一微表情数据用于表征所述第一微表情；

所述打分模块304，还用于根据所述第一微表情数据与第一标准微表情数据计算所述微表情得分。

在一种可能的设计中，所述获取模块301，还用于提取所述现实视频中所述用户的脸部中的特征点在预设空间坐标系下的空间坐标数据，所述第一微表情数据包括所述空间坐标数据。

在一种可能的设计中，所述打分模块304，具体用于：

提取所述现实视频中所述用户的脸部的轮廓特征；

根据所述轮廓特征确定所述第一标准微表情数据，所述第一标准微表情数据包括标准特征点在预设空间坐标系下的标准空间坐标数据；

根据所述空间坐标数据以及所述标准空间坐标数据确定所述第一微表情的微表情得分。

在一种可能的设计中，所述微表情训练装置，还包括：

判断模块305，用于判断所述微表情得分是否小于预设的微表情得分；

若判断结果为是，则所述显示模块303，还用于在所述第二虚拟视频中对所述特征点高亮显示。

在一种可能的设计中，所述微表情训练装置，还包括：

采集模块306，用于采集至少一个微表情对应的标准微表情视频；

学习模块307，用于采用深度学习算法并根据所述标准微表情视频构建所述预设的神经网络模型。

在一种可能的设计中，所述采集模块306，具体用于：

将所述标准微表情视频分割成只包含单个微表情的短视频，并将分割得到的所述短视频作为训练样本构建微表情视频训练集。

在一种可能的设计中，所述微表情训练装置，还包括：

预处理模块308，用于对所述微表情视频训练集进行数据预处理，其中，所述数据预处理包括：对所述微表情视频训练集中的所述短视频进行向下采样处理，提取向下采样处理后的所述短视频中以人为中心的边界框，裁剪掉所述边界框之外的多余背景，并将剪裁后的所述短视频中的各个帧由RGB图转化为灰度图。

在一种可能的设计中，所述预设的神经网络模型为张量递归神经网络模型。

在一种可能的设计中，所述张量递归神经网络模型包括输入层、第一卷积层、第一校正层、第一池化层、第二卷积层、第二校正层、第二池化层、第三卷积层、张量递归层和输出层；

其中，所述输入层、所述第一卷积层、所述第一校正层、所述第一池化层、所述第二卷积层、所述第二校正层、所述第二池化层以及所述第三卷积层依次连接，所述张量递归层全连接到所述第三卷积层，所述输出层全连接到所述张量递归层。

值得说明地，图5和图6所示实施例中的微表情训练装置，可用于执行上述图1-图4所示实施例中的方法，具体实现方式和技术效果类似，这里不再赘述。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任一项方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图7为本发明根据一示例性实施例示出的电子设备的结构示意图。如图 7所示，本实施例提供的电子设备，包括：

摄像头401、处理器402、存储器403以及显示器404；

所述摄像头401以及所述显示器404分别与所述处理器402相连接；

所述摄像头401，用于获取用户第一微表情的现实视频；

所述存储器403，用于存储所述处理器的可执行指令；

所述显示器404，用于显示所述现实视频以及虚拟视频；

其中，处理器402配置为经由执行可执行指令来执行前述任一项方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

并且，上述设备中的各模块的功能可以通过处理器402实现。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或对其中部分或全部技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (26)

1.一种微表情训练方法，其特征在于，包括：

获取用户第一微表情的现实视频，并通过预设的神经网络模型对所述现实视频进行微表情特征提取，以获取所述第一微表情对应的微表情特征；

根据所述微表情特征以及预设标准微表情模型库确定与所述第一微表情匹配的第一标准微表情，并根据所述第一标准微表情生成第一虚拟视频；

将所述第一虚拟视频叠加显示在所述现实视频中。

2.根据权利要求1所述的微表情训练方法，其特征在于，在所述根据所述微表情特征以及预设标准微表情模型库确定与所述第一微表情匹配的第一标准微表情之后，还包括：

根据所述第一微表情以及所述第一标准微表情之间的差异确定所述第一微表情的微表情得分。

3.根据权利要求2所述的微表情训练方法，其特征在于，在所述根据所述第一微表情以及所述第一标准微表情之间的差异确定所述第一微表情的微表情得分之后，还包括：

根据所述微表情得分生成第二虚拟视频；

将所述第二虚拟视频叠加显示在所述现实视频中。

4.根据权利要求3所述的微表情训练方法，其特征在于，所述根据所述第一微表情以及所述第一标准微表情之间的差异确定所述第一微表情的微表情得分，包括：

提取所述现实视频中所述用户的第一微表情数据，所述第一微表情数据用于表征所述第一微表情；

根据所述第一微表情数据与第一标准微表情数据计算所述微表情得分。

5.根据权利要求4所述的微表情训练方法，其特征在于，所述提取所述现实视频中所述用户的第一微表情数据，包括：

提取所述现实视频中所述用户的脸部中的特征点在预设空间坐标系下的空间坐标数据，所述第一微表情数据包括所述空间坐标数据。

6.根据权利要求5所述的微表情训练方法，其特征在于，所述根据所述第一微表情以及所述第一标准微表情之间的差异确定所述第一微表情的微表情得分，包括：

提取所述现实视频中所述用户的脸部的轮廓特征；

根据所述轮廓特征确定所述第一标准微表情数据，所述第一标准微表情数据包括标准特征点在预设空间坐标系下的标准空间坐标数据；

根据所述空间坐标数据以及所述标准空间坐标数据确定所述第一微表情的微表情得分。

7.根据权利要求6所述的微表情训练方法，其特征在于，在所述根据所述空间坐标数据以及所述标准空间坐标数据确定所述第一微表情的微表情得分之后，还包括：

判断所述微表情得分是否小于预设的微表情得分；

若判断结果为是，则在所述第二虚拟视频中对所述特征点高亮显示。

8.根据权利要求1-7中任意一项所述的微表情训练方法，其特征在于，在所述获取用户第一微表情的现实视频，并通过预设的神经网络模型对所述现实视频进行微表情特征提取之前，还包括：

采集至少一个微表情对应的标准微表情视频；

采用深度学习算法并根据所述标准微表情视频构建所述预设的神经网络模型。

9.根据权利要求8所述的微表情训练方法，其特征在于，所述采集至少一个微表情对应的标准微表情视频，包括：

将所述标准微表情视频分割成只包含单个微表情的短视频，并将分割得到的所述短视频作为训练样本构建微表情视频训练集。

10.根据权利要求9所述的微表情训练方法，其特征在于，在所述将分割得到的所述短视频作为训练样本构建微表情视频训练集之后，还包括：

对所述微表情视频训练集进行数据预处理，其中，所述数据预处理包括：对所述微表情视频训练集中的所述短视频进行向下采样处理，提取向下采样处理后的所述短视频中以人为中心的边界框，裁剪掉所述边界框之外的多余背景，并将剪裁后的所述短视频中的各个帧由RGB图转化为灰度图。

11.根据权利要求10所述的微表情训练方法，其特征在于，所述预设的神经网络模型为张量递归神经网络模型。

12.根据权利要求11所述的微表情训练方法，其特征在于，所述张量递归神经网络模型包括输入层、第一卷积层、第一校正层、第一池化层、第二卷积层、第二校正层、第二池化层、第三卷积层、张量递归层和输出层；

其中，所述输入层、所述第一卷积层、所述第一校正层、所述第一池化层、所述第二卷积层、所述第二校正层、所述第二池化层以及所述第三卷积层依次连接，所述张量递归层全连接到所述第三卷积层，所述输出层全连接到所述张量递归层。

13.一种微表情训练装置，其特征在于，包括：

获取模块，用于获取用户第一微表情的现实视频，并通过预设的神经网络模型对所述现实视频进行微表情特征提取，以获取所述第一微表情对应的微表情特征；

确定模块，用于根据所述微表情特征以及预设标准微表情模型库确定与所述第一微表情匹配的第一标准微表情，并根据所述第一标准微表情生成第一虚拟视频；

显示模块，用于将所述第一虚拟视频叠加显示在所述现实视频中。

14.根据权利要求13所述的微表情训练装置，其特征在于，还包括：

打分模块，用于根据所述第一微表情以及所述第一标准微表情之间的差异确定所述第一微表情的微表情得分。

15.根据权利要求14所述的微表情训练装置，其特征在于，所述显示模块，还用于：

根据所述微表情得分生成第二虚拟视频；

将所述第二虚拟视频叠加显示在所述现实视频中。

16.根据权利要求15所述的微表情训练装置，其特征在于，所述获取模块，还用于提取所述现实视频中所述用户的第一微表情数据，所述第一微表情数据用于表征所述第一微表情；

所述打分模块，还用于根据所述第一微表情数据与第一标准微表情数据计算所述微表情得分。

17.根据权利要求16所述的微表情训练装置，其特征在于，所述获取模块，还用于提取所述现实视频中所述用户的脸部中的特征点在预设空间坐标系下的空间坐标数据，所述第一微表情数据包括所述空间坐标数据。

18.根据权利要求17所述的微表情训练装置，其特征在于，所述打分模块，具体用于：

提取所述现实视频中所述用户的脸部的轮廓特征；

根据所述轮廓特征确定所述第一标准微表情数据，所述第一标准微表情数据包括标准特征点在预设空间坐标系下的标准空间坐标数据；

根据所述空间坐标数据以及所述标准空间坐标数据确定所述第一微表情的微表情得分。

19.根据权利要求18所述的微表情训练装置，其特征在于，还包括：

判断模块，用于判断所述微表情得分是否小于预设的微表情得分；

若判断结果为是，则所述显示模块，还用于在所述第二虚拟视频中对所述特征点高亮显示。

20.根据权利要求13-19中任意一项所述的微表情训练装置，其特征在于，还包括：

采集模块，用于采集至少一个微表情对应的标准微表情视频；

学习模块，用于采用深度学习算法并根据所述标准微表情视频构建所述预设的神经网络模型。

21.根据权利要求20所述的微表情训练装置，其特征在于，所述采集模块，具体用于：

将所述标准微表情视频分割成只包含单个微表情的短视频，并将分割得到的所述短视频作为训练样本构建微表情视频训练集。

22.根据权利要求21所述的微表情训练装置，其特征在于，还包括：

预处理模块，用于对所述微表情视频训练集进行数据预处理，其中，所述数据预处理包括：对所述微表情视频训练集中的所述短视频进行向下采样处理，提取向下采样处理后的所述短视频中以人为中心的边界框，裁剪掉所述边界框之外的多余背景，并将剪裁后的所述短视频中的各个帧由RGB图转化为灰度图。

23.根据权利要求22所述的微表情训练装置，其特征在于，所述预设的神经网络模型为张量递归神经网络模型。

24.根据权利要求23所述的微表情训练装置，其特征在于，所述张量递归神经网络模型包括输入层、第一卷积层、第一校正层、第一池化层、第二卷积层、第二校正层、第二池化层、第三卷积层、张量递归层和输出层；

其中，所述输入层、所述第一卷积层、所述第一校正层、所述第一池化层、所述第二卷积层、所述第二校正层、所述第二池化层以及所述第三卷积层依次连接，所述张量递归层全连接到所述第三卷积层，所述输出层全连接到所述张量递归层。

25.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-13任一项所述的微表情训练方法。

26.一种电子设备，其特征在于，包括：

摄像头、处理器、存储器以及显示器；

所述摄像头以及所述显示器分别与所述处理器相连接；

所述摄像头，用于获取用户第一微表情的现实视频；

所述存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-13任一项所述的微表情训练方法；

所述显示器，用于显示所述现实视频以及虚拟视频。