CN110148191A - 视频虚拟表情生成方法、装置及计算机可读存储介质 - Google Patents

Abstract

本发明提供一种视频虚拟表情生成方法，其包括：获取当前视频画面，并识别当前视频画面中的人脸区域；识别人脸区域中人脸图像的人脸特征点，并根据人脸特征点，创建人脸图像对应的人脸模型；基于预设的虚拟表情人脸特征点设置，创建人脸模型对应的多个虚拟表情基；接收虚拟表情生成指令；基于虚拟表情基的权重信息以及虚拟表情基对应的人脸特征点信息，在视频画面的人脸区域生成具有对应虚拟表情的人脸图像。本发明还提供一种视频虚拟表情生成装置，本发明通过虚拟表情基的权重信息以及虚拟表情基对应的人脸特征点信息来生成具有虚拟表情的人脸图像，丰富了虚拟表情的数量以及内容，同时提高了用户的视频交互的交互效率。

Description

视频虚拟表情生成方法、装置及计算机可读存储介质

技术领域

本发明涉及互联网领域，特别是涉及一种视频虚拟表情生成方法、装置及计算机可读存储介质。

背景技术

随着科技的发展，人们对交互的要求越来越高，当人们通过视频交互时，往往可以通过发送表情包来表达自己的情感，但是统一的表情包有时并不能表达用户各种各样的交互内容。

针对上述用户需求，部分应用开发商研发了给个性化图片添加表情的应用，这样用户可根据交互对象的视频头像添加个性化表情，丰富了视频交互的交互内容。但是现有具有个性化表情生成的应用可生成的表情类型往往比较单一，如仅为预先设定好的微笑、难过以及大笑等表情，无法添加不同类型的个性表情，如鬼脸等表情。

因此现有的视频虚拟表情生成应用生成的虚拟表情比较单一，降低了用户进行视频交互的交互效率。

发明内容

本发明实施例提供一种可生成较为丰富的虚拟表情且提高了用户的视频交互的交互效率的视频虚拟表情生成方法以及视频虚拟表情生成装置；以解决现有的视频虚拟表情生成方法以及视频虚拟表情生成装置中生成的虚拟表情比较单一，且用户进行视频交互的交互效率较低的技术问题。

本发明实施例提供一种视频虚拟表情生成方法，其包括：

获取当前视频画面，并识别所述当前视频画面中的人脸区域；

识别所述人脸区域中人脸图像的人脸特征点，并根据所述人脸特征点，创建所述人脸图像对应的人脸模型；

基于预设的虚拟表情人脸特征点设置，创建所述人脸模型对应的多个虚拟表情基，其中每个虚拟表情基均包括对应的人脸特征点信息；

接收虚拟表情生成指令，其中所述虚拟表情生成指令包括所述虚拟表情基的权重信息；以及

基于所述虚拟表情基的权重信息以及所述虚拟表情基对应的人脸特征点信息，在所述视频画面的人脸区域生成具有对应虚拟表情的人脸图像。

本发明实施例还提供一种视频虚拟表情生成装置，其包括：

人脸区域识别模块，用于获取当前视频画面，并识别所述当前视频画面中的人脸区域；

人脸模型创建模块，用于识别所述人脸区域中人脸图像的人脸特征点，并根据所述人脸特征点，创建所述人脸图像对应的人脸模型；

虚拟表情基创建模块，用于基于预设的虚拟表情人脸特征点设置，创建所述人脸模型对应的多个虚拟表情基，其中每个虚拟表情基均包括对应的人脸特征点信息；

指令接收模块，用于接收虚拟表情生成指令，其中所述虚拟表情生成指令包括所述虚拟表情基的权重信息；以及

虚拟表情生成模块，用于基于所述虚拟表情基的权重信息以及所述虚拟表情基对应的人脸特征点信息，在所述视频画面的人脸区域生成具有对应虚拟表情的人脸图像。

本发明实施例还提供一种计算机可读存储介质，其内存储有处理器可执行指令，所述指令由一个或一个以上处理器加载，以执行上述的视频虚拟表情生成方法。

相较于现有技术，本发明的视频虚拟表情生成方法、装置及计算机可读存储介质通过虚拟表情基的权重信息以及虚拟表情基对应的人脸特征点信息来生成具有虚拟表情的人脸图像，丰富了虚拟表情的数量以及内容，同时提高了用户的视频交互的交互效率；有效的解决了现有的视频虚拟表情生成方法以及视频虚拟表情生成装置中生成的虚拟表情比较单一，且用户进行视频交互的交互效率较低的技术问题。

附图说明

图1为本发明的视频虚拟表情生成方法的第一实施例的流程图；

图2为本发明的视频虚拟表情生成方法的人脸图像的人脸特征点的示意图；

图3为本发明的视频虚拟表情生成方法的第一实施例的步骤S102的流程图；

图4为本发明的视频虚拟表情生成方法的第二实施例的流程图；

图5为本发明的视频虚拟表情生成方法的第三实施例的流程图；

图6为本发明的视频虚拟表情生成方法的第三实施例中的参照虚拟表情基的预设流程图；

图7为本发明的视频虚拟表情生成装置的第一实施例的结构示意图；

图8为本发明的视频虚拟表情生成装置的第一实施例的人脸模型创建模块的结构示意图；

图9为本发明的视频虚拟表情生成装置的第二实施例的结构示意图；

图10为本发明的视频虚拟表情生成装置的第三实施例的结构示意图；

图11a为本发明的视频虚拟表情生成方法和生成装置的具体实施例的硬件结构图；

图11b为本发明的视频虚拟表情生成方法和生成装置的具体实施例的使用示意图之一；

图11c为本发明的视频虚拟表情生成方法和生成装置的具体实施例的使用示意图之二；

图12为本发明的视频虚拟表情生成方法和生成装置的具体实施例的流程图；

图13为本发明的视频虚拟表情生成方法和生成装置的具体实施例的步骤S1205的流程图；

图14为本发明的权限策略配置装置所在的电子设备的工作环境结构示意图。

具体实施方式

请参照图式，其中相同的组件符号代表相同的组件，本发明的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本发明具体实施例，其不应被视为限制本发明未在此详述的其它具体实施例。

在以下的说明中，本发明的具体实施例将参考由一部或多部计算机所执行之作业的步骤及符号来说明，除非另有述明。因此，其将可了解到这些步骤及操作，其中有数次提到为由计算机执行，包括了由代表了以一结构化型式中的数据之电子信号的计算机处理单元所操纵。此操纵转换该数据或将其维持在该计算机之内存系统中的位置处，其可重新配置或另外以本领域技术人员所熟知的方式来改变该计算机之运作。该数据所维持的数据结构为该内存之实体位置，其具有由该数据格式所定义的特定特性。但是，本发明原理以上述文字来说明，其并不代表为一种限制，本领域技术人员将可了解到以下所述的多种步骤及操作亦可实施在硬件当中。

本发明的视频虚拟表情生成方法及装置可设置在任何的电子设备中，用于用户通过终端进行视频交互时，进行视频内容互动。该电子设备包括但不限于可穿戴设备、头戴设备、医疗健康平台、个人计算机、服务器计算机、手持式或膝上型设备、移动设备(比如移动电话、个人数字助理(PDA)、媒体播放器等等)、多处理器系统、消费型电子设备、小型计算机、大型计算机、包括上述任意系统或设备的分布式计算环境，等等。该电子设备优选为进行视频交互的具有摄像装置的固定终端或移动终端，以便用户较好的进行用户表情的自定义视频内容互动操作。

请参照图1，图1为本发明的视频虚拟表情生成方法的第一实施例的流程图。本实施例的视频虚拟表情生成方法可使用上述的电子设备进行实施，本实施例的视频虚拟表情生成方法包括：

步骤S101，获取当前视频画面，并识别当前视频画面中的人脸区域；

步骤S102，识别人脸区域中人脸图像的人脸特征点，并根据人脸特征点，创建人脸图像对应的人脸模型；

步骤S103，基于预设的虚拟表情人脸特征点设置，创建人脸模型对应的多个虚拟表情基，其中每个虚拟表情基均包括对应的人脸特征点信息；

步骤S104，接收虚拟表情生成指令，其中虚拟表情生成指令包括虚拟表情基的权重信息；

步骤S105，基于虚拟表情基的权重信息以及虚拟表情基对应的人脸特征点信息，在视频画面的人脸区域生成具有对应虚拟表情的人脸图像。

下面详细说明本发明的第一实施例的视频虚拟表情生成方法的虚拟表情生成过程。

在步骤S101中，视频虚拟表情生成装置(如具有摄像装置的固定终端等)与其他终端进行视频交互，视频虚拟表情生成装置可获取交互对象的当前视频画面，该当前视频画面一般为交互对象的视频聊天画面等。随后视频虚拟表情生成装置会通过当前视频画面中的人脸特征(如眼镜、鼻子或皮肤颜色等)识别当前视频画面中用于展示人脸图像的人脸区域。

在步骤S102中，视频虚拟表情生成装置在步骤S101确定的人脸区域中识别其中人脸图像的所有人脸特征点，如图2中的人脸特征点20等。随后视频虚拟表情生成装置根据上述人脸特征点创建人脸图像对应的人脸模型，如图2所示。这里的人脸模型可为3维人脸立体模型。

具体的，本实施例的人脸模型的创建过程请参照图3，图3为本发明的视频虚拟表情生成方法的第一实施例的步骤S102的流程图。该步骤S102包括：

步骤S301，视频虚拟表情生成装置根据人脸图像中至少部分人脸特征点的位置以及类别，确定人脸图像中人脸的朝向。

由于人脸图像中人脸的朝向不同，可能导致人脸特征点识别不准确，因此视频虚拟表情生成装置会根据部分可以正常识别的人脸特征点的位置以及类别(如右眼的位置或鼻子的位置等)，确定人脸中人脸的朝向。

步骤S302，视频虚拟表情生成装置根据步骤S301中确认的人脸图像中人脸的朝向，对部分识别不准确的人脸特征点进行修正，如根据左眼的大小位置对称设置右眼的大小位置等。从而可较为准确的还原各个朝向的人脸图像的所有人脸特征点。

步骤S303，视频虚拟表情生成装置使用修正后的人脸特征点，创建人脸图像对应的人脸模型，可较好的保证人脸模型创建的准确性。

同时，视频虚拟表情生成装置还可识别人脸模型中的眼睛区域以及嘴部区域的人脸特征点，以计算眼球以及嘴巴的几何体位置，随后在眼球以及嘴巴的几何体位置上添加如眼睛、舌头以及牙齿等虚拟生物特征。

在步骤S103中，视频虚拟表情生成装置获取预设的虚拟表情人脸特征点设置，该虚拟表情人脸特征点设置为根据不同的人脸表情统计的人脸特征点之间的相对位置关系，如大笑的人脸表情，人脸上唇的最高特征点与人脸下唇的最高特征点距离应大于某个设定值(即通过人脸特征点的相对位置关系来形容张口笑时的人脸表情)。

由于不同人的大部分人脸表情均具有大致类似的人脸特征点的相对位置关系，因此可对大部分人脸表情预设好对应的虚拟表情人脸特征点设置。这样视频虚拟表情生成装置可在步骤S102获取的人脸模型上对人脸特征点的位置进行重新设置，从而创建出多个与人脸表情对应的虚拟表情基，其中每个虚拟表情基均包括对应的人脸特征点信息，即人脸模型上至少部分人脸特征点的位置信息。这里每个虚拟表情基可对应某个具体的人脸表情，如大笑、噘嘴、眨眼等。

具体的，虚拟表情基可包括常用的某个人脸表情对应的人脸特征点的位置信息，如人脸大笑时人脸特征点的位置信息或人脸眨眼时人脸特征点的位置信息等。这样部分人脸表情直接使用部分虚拟表情基甚至使用一个虚拟表情基即可进行表示，使用多个虚拟表情基可方便的表示出人脸的各种表情。

当然用户也可将自定义的人脸表情对应的人脸特征点的位置信息设定为某个虚拟表情基，如用户想要别人做一个眨眼大笑的表情，则可自定义一个眨眼大笑表情对应的人脸特征点的位置信息，并将其存储为某个虚拟表情基，以便用户随时进行调用。

这样即可基于步骤S102创建的人脸模型，创建出视频交互对象的各种人脸表情。

在步骤S104中，视频虚拟表情生成装置接收虚拟表情生成指令，该虚拟表情生成指令是指用户想在人脸图像对应的人脸模型上生成对应虚拟表情的指令。如需要人脸模型做出大笑或眨眼的表情等。为了使得人脸模型可以做出上述表情，该虚拟表情生成指令应包括虚拟表情基的权重信息，以便通过虚拟表情基对人脸模型上的人脸表情进行展现。该权重信息也直接存储在虚拟表情生成指令中，或存储在其他的数据库中，通过虚拟表情生成指令可在数据库中查找到对应的权重信息。

在步骤S105中，视频虚拟表情生成装置基于步骤S104中虚拟表情生成指令中的虚拟表情基的权重信息以及步骤S103获取的虚拟表情基对应的人脸特征点信息，构建出人脸模型中每个人脸特征点的位置。

如人脸模型包括n个虚拟表情基A1、A2……An，虚拟表情基A1包括人脸特征点a1、a2……am的位置A11、A12……A1m，虚拟表情基A2包括人脸特征点a1、a2……am的位置A21、A22……A2m，……虚拟表情基An包括人脸特征点a1、a2……am的位置An1、An2……Anm。人脸模型中n的虚拟表情基A1、A2……An的权重信息为b1、b2……bn。人脸模型中人脸特征点a1的位置为(A11*b1+A21*b2+……+Anm*bn)/(b1+b2+……+bn)，人脸特征点a2的位置为(A12*b1+A22*b2+……+An2*bn)/(b1+b2+……+bn)，这样从而获取人脸模型中每个人脸特征点的位置，进而在视频画面的人脸区域生成具有对应虚拟表情的人脸图像。

优选的，在本步骤之后，视频虚拟表情生成装置还可根据步骤302中确认的人脸图像中人脸的朝向，对步骤S105中具有虚拟表情的人脸图像进行人脸朝向修正，如根据人脸朝向以及外部光照的方向添加阴影效果，或对某些人脸特征点的大小位置进行修正等，使得具有虚拟表情的人脸图像更加真实。

这样即完成了本实施例的视频虚拟表情生成方法的虚拟表情生成过程。

本实施例的视频虚拟表情生成方法通过虚拟表情基的权重信息以及虚拟表情基对应的人脸特征点信息来生成具有虚拟表情的人脸图像，通过虚拟表情基的权重信息调整可以较好人脸特征点的位置，从而丰富虚拟表情的数量以及内容，同时提高了用户的视频交互的交互效率。

请参照图4，图4为本发明的视频虚拟表情生成方法的第二实施例的流程图。本实施例的视频虚拟表情生成方法可使用上述的电子设备进行实施，本实施例的视频虚拟表情生成方法包括：

步骤S401，获取当前视频画面，并识别当前视频画面中的人脸区域；

步骤S402，识别人脸区域中人脸图像的人脸特征点，并根据人脸特征点，创建人脸图像对应的人脸模型；

步骤S403，基于预设的虚拟表情人脸特征点设置，创建人脸模型对应的多个虚拟表情基，其中每个虚拟表情基均包括对应的人脸特征点信息；

步骤S404，获取后续视频画面，并识别后续视频画面中的人脸区域中的人脸图像；

步骤S405，使用虚拟表情基表示后续视频画面中的人脸图像，从而获取每个虚拟表情基对应的修正权重信息；

步骤S406，判断修正权重信息是否处于预设范围内，如修正权重信息未处于预设范围内，则对虚拟表情基进行修正，以使得修正权重信息处于预设范围；

步骤S407，接收虚拟表情生成指令，其中虚拟表情生成指令包括虚拟表情基的权重信息；

步骤S408，基于虚拟表情基的权重信息以及虚拟表情基对应的人脸特征点信息，在视频画面的人脸区域生成具有对应虚拟表情的人脸图像。

下面详细说明本发明的第二实施例的视频虚拟表情生成方法的虚拟表情生成过程。

在步骤S401中，视频虚拟表情生成装置与其他终端进行视频交互，视频虚拟表情生成装置可获取交互对象的当前视频画面。随后视频虚拟表情生成装置会通过当前视频画面中的人脸特征识别当前视频画面中用于展示人脸图像的人脸区域。

在步骤S402中，视频虚拟表情生成装置在步骤S401确定的人脸区域中识别其中人脸图像的所有人脸特征点，随后视频虚拟表情生成装置根据上述人脸特征点创建人脸图像对应的人脸模型。这里的人脸模型可为3维人脸立体模型。

在步骤S403中，视频虚拟表情生成装置获取预设的虚拟表情人脸特征点设置，该虚拟表情人脸特征点设置为根据不同的人脸表情统计的人脸特征点之间的相对位置关系。

视频虚拟表情生成装置可在步骤S402获取的人脸模型上对人脸特征点的位置进行重新设置，从而创建出多个与人脸表情对应的虚拟表情基，其中每个虚拟表情基均包括对应的人脸特征点信息，即人脸模型上至少部分人脸特征点的位置信息。这样即可基于步骤S402创建的人脸模型，创建出视频交互对象的各种人脸表情。

在步骤S404中，由于步骤S403生成的虚拟表情基是基于预设的虚拟表情人脸特征点以及当前视频画面(如首帧画面)设置的，因此交互对象的实际虚拟表情基可能与步骤S403生成的虚拟表情基不同，即对应的人脸特征点的位置可能会有一定的偏差。

因此在步骤S404至步骤S406，视频虚拟表情生成装置会根据交互对象的多张实时人脸图像对步骤S403生成的虚拟表情基进行修正。

在本步骤中，视频虚拟表情生成装置获取交互对象的后续视频画面，即交互对象后续发送过来的视频画面。随后视频虚拟表情生成装置会通过后续视频画面中的人脸特征识别后续视频画面中人脸区域中的人脸图像。

在步骤S405中，视频虚拟表情生成装置使用步骤S403创建的多个虚拟表情基来表示步骤S404中的后续视频画面中的人脸图像，即后续视频画面中的任何一张人脸图像均应该能够通过多个虚拟表情基的叠加进行表示，如大笑和眨眼进行叠加，或使用具有0.5权重的大笑来表示微笑等。

这样通过虚拟表情基来表示后续视频画面中的人脸图像，即是通过不同权重关系的虚拟表情基的叠加来表示人脸图像，因此这里可获取用于表示人脸图像的每个虚拟表情基对应的修正权重信息。

在步骤S406中，步骤S405中获取的每个修正权重信息都是具有一定预设范围的，一般而言交互对象的人脸图像具有一个标准的虚拟表情，则该对应虚拟表情基的权重信息应该为1。

如步骤S405中的修正权重信息为小于0或大于1的数，则说明某些虚拟表情基中的人脸特征点的位置不合理导致的修正权重信息异常。即如设定大笑时人脸上唇的最高特征点与人脸下唇的最高特征点距离为2厘米，如交互对象的大笑时人脸上唇的最高特征点与人脸下唇的最高特征点距离为3厘米，则该修正权重信息大于1，这时应该判断步骤S403中的虚拟表情基中的人脸特征点的位置不准确，从而导致无法使用该虚拟表情基来表示交互对象大笑时的表情。

具体的，视频虚拟表情生成装置会判断步骤S405获取的修正权重信息是否处于预设范围内(如0-1之间)，如所有虚拟表情基对应的修正权重信息均处于预设范围内，则说明步骤S403创建的虚拟表情基可表示当前交互对象的所有表情。

如某些虚拟表情基对应的修正权重信息未处于预设范围内(如大于1或小于0)，则说明虚拟表情基中的人脸特征点的位置不准确，需要对相应的虚拟表情基进行修正，以使得修正权重信息处于预设范围内。

具体的，这里视频虚拟表情生成装置可直接对虚拟表情基中对应的人脸特征点的位置进行修正，以使得修正权重信息调整至预设范围内较近的临界点，如可对虚拟表情基中对应的人脸特征点的位置进行修正，以使得修正权重信息调整至预设范围内较近的临界点。如某个虚拟表情基中对应的人脸特征点的位置为2mm至4mm，则人脸特征点的位置为2mm时对应修正权重信息为0，人脸特征点的位置为4mm时对应修正权重信息为1。如当前交互对象的该表情中的人脸特征点的位置为1mm，由于1mm与2mm距离较近，因此将虚拟表情基中对应的人脸特征点的临界点位置1mm修正到4mm；如当前交互对象的该表情中的人脸特征点的位置为5mm，由于5mm与4mm距离较近，因此将虚拟表情基中对应的人脸特征点的临界点位置4mm修正到5mm。

视频虚拟表情生成装置可通过步骤S404-步骤S406，使用后续视频画面中的人脸图像对虚拟表情基中的人脸特征点信息进行反复修正，直至后续视频画面结束或接收到虚拟表情生成指令，这样可使得最终的虚拟表情基对应的人物表情与交互对象的真实表情的匹配度越来越高。

在步骤S407中，视频虚拟表情生成装置接收虚拟表情生成指令，该虚拟表情生成指令是指用户想在人脸图像对应的人脸模型上生成对应虚拟表情的指令。为了使得人脸模型可以做出上述表情，该虚拟表情生成指令应包括虚拟表情基的权重信息，以便通过虚拟表情基对人脸模型上的人脸表情进行展现。该权重信息也直接存储在虚拟表情生成指令中，或存储在其他的数据库中，通过虚拟表情生成指令可在数据库中查找到对应的权重信息。

在步骤S408中，视频虚拟表情生成装置基于步骤S407中虚拟表情生成指令中的虚拟表情基的权重信息以及步骤S406获取的虚拟表情基对应的人脸特征点信息，构建出人脸模型中每个人脸特征点的位置。

这样即完成了本实施例的视频虚拟表情生成方法的虚拟表情生成过程。

在第一实施例的基础上，本实施例的视频虚拟表情生成方法使用交互对象的后续视频画面中的人脸图像对虚拟表情基进行修正，进一步提高了生成的虚拟表情的准确率。

请参照图5，图5为本发明的视频虚拟表情生成方法的第三实施例的流程图。本实施例的视频虚拟表情生成方法可使用上述的电子设备进行实施，本实施例的视频虚拟表情生成方法在第一实施例的基础上，还可根据本地终端的当前摄像画面生成对应的虚拟表情生成指令，以实现生成与当前摄像画面中的人脸图像的表情相同的当前交互对象的虚拟表情。本实施例的虚拟表情生成指令的生成过程包括：

步骤S501，获取当前摄像画面，并识别当前摄像画面中的参照人脸图像；

步骤S502，使用预设的参照人脸模型对应的多个参照虚拟表情基，表示参照人脸图像，从而获取每个参照虚拟表情基对应的参照权重信息；

步骤S503，使用参照权重信息生成虚拟表情生成指令。

下面详细说明本实施例的视频虚拟表情生成方法中的虚拟表情生成指令的生成过程。

在步骤S501中，视频虚拟表情生成装置获取当前摄像画面，当前摄像画面是指本地用户通过本地摄像头拍摄的当前视频画面。随后视频虚拟表情生成装置通过当前摄像画面中的人脸特征识别当前摄像画面中的参照人脸图像，即本地用户的人脸图像。

在步骤S502中，视频虚拟表情生成装置使用预设的参照人脸模型对应的多个参照虚拟表情基来表示步骤S501中的参照人脸图像，从而可获取每个参照虚拟表情基对应的参照权重信息。

这里的参照人脸模型是基于参照人脸图像上的人脸特征点创建的人脸模型。该参照人脸模型同样具有多个与人脸表情对应的参照虚拟表情基。该人脸模型以及多个参照虚拟表情基的预设过程请参照图6，图6为本发明的视频虚拟表情生成方法的第三实施例中的参照虚拟表情基的预设流程图。该人脸模型以及多个参照虚拟表情基的预设过程包括：

步骤S601，视频虚拟表情生成装置获取参照摄像画面，并识别参照摄像画面中的参照人脸图像。为了提高参照人脸模型的准确性，这里需要通过多个参照摄像画面中的参照人脸图像来生成参照人脸模型。这里的参照摄像画面是指在获取当前摄像画面之前，本地用户通过本地摄像头拍摄的多张具有本地用户人脸图像的视频画面。

步骤S602，视频虚拟表情生成装置识别步骤S601中的参照人脸图像的参照人脸特征点，该参照人脸特征点是指参照人脸图像中本地用户的人脸特征点。

随后视频虚拟表情生成装置根据上述参照人脸特征点，创建参照人脸图像对应的参照人脸模型。由于可以提前获取多张参照人脸图像，因此这里获取的参照人脸模型的准确度较高。

步骤S603，视频虚拟表情生成装置获取预设的虚拟表情人脸特征点设置，该虚拟表情人脸特征点设置为根据不同的人脸表情统计的人脸特征点的相对位置关系。

视频虚拟表情生成装置可在步骤S602获取的参照人脸模型上对人脸特征点的位置进行重新设置，从而创建出多个与人脸表情对应的参照虚拟表情基，其中每个参照虚拟表情基均包括对应的人脸特征点信息，即参照人脸模型上至少部分人脸特征点的位置信息。这样即可基于步骤S602创建的参照人脸模型，创建出本地用户的各种人脸表情。

这样即完成了人脸模型以及多个参照虚拟表情基的预设过程。

视频虚拟表情生成装置使用创建的多个参照虚拟表情基来表示当前摄像画面中的参照人脸图像，即当前摄像画面中的参照人脸图像均应该能够通过多个参照虚拟表情基的叠加进行表示。

这样通过参照虚拟表情基来表示当前摄像画面中的参照人脸图像，即是通过不同参照权重关系的参照虚拟表情基的叠加来表示参照人脸图像，因此这里可获取用于表示参照人脸图像的每个参照虚拟表情基对应的参照权重信息。

在步骤S503中，视频虚拟表情生成装置将步骤S502生成的参照权重信息记录下来，并根据上述参照权重信息生成虚拟表情生成指令，以便将本地用户的表情通过虚拟表情生成指令记录下来，并拷贝至交互对象上。

这样即完成了本优选实施例的视频虚拟表情生成方法中的虚拟表情生成指令的生成过程。

在第一实施例的基础上，本实施例的视频虚拟表情生成方法可通过虚拟表情生成指令记录本地用户的表情，从而实现了将本地用户的表情拷贝到交互对象上作为虚拟表情，实现了交互对象可模仿本地用户做相同表情的操作，从而进一步丰富了虚拟表情的个性化内容，提高了用户的视频交互的交互效率。

本发明还提供一种视频虚拟表情生成装置，请参照图7，图7为本发明的视频虚拟表情生成装置的第一实施例的结构示意图。本实施例视频虚拟表情生成装置可使用上述的视频虚拟表情生成方法的第一实施例进行实施，本实施例的视频虚拟表情生成装置70包括人脸区域识别模块71、人脸模型创建模块72、虚拟表情基创建模块73、指令接收模块74、虚拟表情生成模块75以及人脸图像修正模块76。

人脸区域识别模块71用于获取当前视频画面，并识别当前视频画面中的人脸区域；人脸模型创建模块72用于识别人脸区域中人脸图像的人脸特征点，并根据人脸特征点，创建人脸图像对应的人脸模型；虚拟表情基创建模块73用于基于预设的虚拟表情人脸特征点设置，创建人脸模型对应的多个虚拟表情基，其中每个虚拟表情基均包括对应的人脸特征点信息；指令接收模块74用于接收虚拟表情生成指令，其中虚拟表情生成指令包括所述虚拟表情基的权重信息；虚拟表情生成模块75用于基于虚拟表情基的权重信息以及虚拟表情基对应的人脸特征点信息，在视频画面的人脸区域生成具有对应虚拟表情的人脸图像；人脸图像修正模块76用于根据人脸图像中人脸的朝向，对具有对应虚拟表情的人脸图像进行人脸朝向修正。

请参照图8，图8为本发明的视频虚拟表情生成装置的第一实施例的人脸模型创建模块的结构示意图。该人脸模型创建模块72包括人脸朝向确定单元81、人脸特征点修正单元82以及人脸模型创建单元83。

人脸朝向确定单元81用于根据至少部分人脸特征点的位置以及类别，确定人脸图像中人脸的朝向；人脸特征点修正单元82用于根据人脸图像中人脸的朝向，对人脸图像的人脸特征点进行修正；人脸模型创建单元83用于使用修正后的人脸特征点，创建人脸图像对应的人脸模型。

本实施例的视频虚拟表情生成装置70使用时，首先视频虚拟表情生成装置70与其他终端进行视频交互，人脸区域识别模块71可获取交互对象的当前视频画面，该当前视频画面一般为交互对象的视频聊天画面等。随后人脸区域识别模块71会通过当前视频画面中的人脸特征(如眼镜、鼻子或皮肤颜色等)识别当前视频画面中用于展示人脸图像的人脸区域。

随后人脸模型创建模块72在人脸区域识别模块71确定的人脸区域中识别其中人脸图像的所有人脸特征点。随后人脸模型创建模块72根据上述人脸特征点创建人脸图像对应的人脸模型，。这里的人脸模型可为3维人脸立体模型。

具体的，本实施例的人脸模型的创建过程包括：

人脸模型创建模块72的人脸朝向确定单元81根据人脸图像中至少部分人脸特征点的位置以及类别，确定人脸图像中人脸的朝向。

由于人脸图像中人脸的朝向不同，可能导致人脸特征点识别不准确，因此人脸朝向确定单元81会根据部分可以正常识别的人脸特征点的位置以及类别(如右眼的位置或鼻子的位置等)，确定人脸中人脸的朝向。

人脸模型创建模块72的人脸特征点修正单元82根据人脸朝向确定单元81确认的人脸图像中人脸的朝向，对部分识别不准确的人脸特征点进行修正，如根据左眼的大小位置对称设置右眼的大小位置等。从而可较为准确的还原各个朝向的人脸图像的所有人脸特征点。

人脸模型创建模块72的人脸模型创建单元83使用修正后的人脸特征点，创建人脸图像对应的人脸模型，可较好的保证人脸模型创建的准确性。

同时，视频虚拟表情生成装置70还可识别人脸模型中的眼睛区域以及嘴部区域的人脸特征点，以计算眼球以及嘴巴的几何体位置，随后在眼球以及嘴巴的几何体位置上添加如眼睛、舌头以及牙齿等虚拟生物特征。

然后虚拟表情基创建模块73获取预设的虚拟表情人脸特征点设置，该虚拟表情人脸特征点设置为人脸特征点设置模块根据不同的人脸表情统计的人脸特征点之间的相对位置关系，如大笑的人脸表情，人脸上唇的最高特征点与人脸下唇的最高特征点距离应大于某个设定值(即通过人脸特征点的相对位置关系来形容张口笑时的人脸表情)。

由于不同人的大部分人脸表情均具有大致类似的人脸特征点的相对位置关系，因此可对大部分人脸表情预设好对应的虚拟表情人脸特征点设置。这样虚拟表情基创建模块73可在人脸模型上对人脸特征点的位置进行重新设置，从而创建出多个与人脸表情对应的虚拟表情基，其中每个虚拟表情基均包括对应的人脸特征点信息，即人脸模型上至少部分人脸特征点的位置信息。这里每个虚拟表情基可对应某个具体的人脸表情，如大笑、噘嘴、眨眼等。

具体的，虚拟表情基可包括常用的某个人脸表情对应的人脸特征点的位置信息，如人脸大笑时人脸特征点的位置信息或人脸眨眼时人脸特征点的位置信息等。这样部分人脸表情直接使用部分虚拟表情基甚至使用一个虚拟表情基即可进行表示，使用多个虚拟表情基可方便的表示出人脸的各种表情。

当然用户也可将自定义的人脸表情对应的人脸特征点的位置信息设定为某个虚拟表情基，如用户想要别人做一个眨眼大笑的表情，则可自定义一个眨眼大笑表情对应的人脸特征点的位置信息，并将其存储为某个虚拟表情基，以便用户随时进行调用。

这样即可基于人脸模型创建模块创建的人脸模型，创建出视频交互对象的各种人脸表情。

随后指令接收模块74接收虚拟表情生成指令，该虚拟表情生成指令是指用户想在人脸图像对应的人脸模型上生成对应虚拟表情的指令。如需要人脸模型做出大笑或眨眼的表情等。为了使得人脸模型可以做出上述表情，该虚拟表情生成指令应包括虚拟表情基的权重信息，以便通过虚拟表情基对人脸模型上的人脸表情进行展现。该权重信息也直接存储在虚拟表情生成指令中，或存储在其他的数据库中，通过虚拟表情生成指令可在数据库中查找到对应的权重信息。

最后虚拟表情生成模块75基于虚拟表情生成指令中的虚拟表情基的权重信息以及虚拟表情基创建模块73获取的虚拟表情基对应的人脸特征点信息，构建出人脸模型中每个人脸特征点的位置。

如人脸模型包括n个虚拟表情基A1、A2……An，虚拟表情基A1包括人脸特征点a1、a2……am的位置A11、A12……A1m，虚拟表情基A2包括人脸特征点a1、a2……am的位置A21、A22……A2m，……虚拟表情基An包括人脸特征点a1、a2……am的位置An1、An2……Anm。人脸模型中n的虚拟表情基A1、A2……An的权重信息为b1、b2……bn。人脸模型中人脸特征点a1的位置为(A11*b1+A21*b2+……+Anm*bn)/(b1+b2+……+bn)，人脸特征点a2的位置为(A12*b1+A22*b2+……+An2*bn)/(b1+b2+……+bn)，这样从而获取人脸模型中每个人脸特征点的位置，进而在视频画面的人脸区域生成具有对应虚拟表情的人脸图像。

优选的，在本步骤之后，人脸图像修正模块76还可根据人脸图像中人脸的朝向，对具有虚拟表情的人脸图像进行人脸朝向修正，如根据人脸朝向以及外部光照的方向添加阴影效果，或对某些人脸特征点的大小位置进行修正等，使得具有虚拟表情的人脸图像更加真实。

这样即完成了本实施例的视频虚拟表情生成装置70的虚拟表情生成过程。

本实施例的视频虚拟表情生成装置通过虚拟表情基的权重信息以及虚拟表情基对应的人脸特征点信息来生成具有虚拟表情的人脸图像，通过虚拟表情基的权重信息调整可以较好人脸特征点的位置，从而丰富虚拟表情的数量以及内容，同时提高了用户的视频交互的交互效率。

请参照图9，图9为本发明的视频虚拟表情生成装置的第二实施例的结构示意图。本实施例视频虚拟表情生成装置可使用上述的视频虚拟表情生成方法的第二实施例进行实施，本实施例的视频虚拟表情生成装置90包括人脸区域识别模块91、人脸模型创建模块92、虚拟表情基创建模块93、修正人脸图像识别模块94、修正权重信息获取模块95、虚拟表情基修正模块96、指令接收模块97以及虚拟表情生成模块98。

人脸区域识别模块91用于获取当前视频画面，并识别当前视频画面中的人脸区域；人脸模型创建模块92用于识别人脸区域中人脸图像的人脸特征点，并根据人脸特征点，创建人脸图像对应的人脸模型；虚拟表情基创建模块93用于基于预设的虚拟表情人脸特征点设置，创建人脸模型对应的多个虚拟表情基；指令接收模块97用于接收虚拟表情生成指令；虚拟表情生成模块98用于基于虚拟表情基的权重信息以及虚拟表情基对应的人脸特征点信息，在视频画面的人脸区域生成具有对应虚拟表情的人脸图像；修正人脸图像识别模块94用于获取后续视频画面，并识别后续视频画面中的人脸区域中的人脸图像；修正权重信息获取模块95用于使用虚拟表情基表示后续视频画面中的人脸图像，从而获取每个虚拟表情基对应的修正权重信息；虚拟表情基修正模块96用于判断修正权重信息是否处于预设范围内，如修正权重信息未处于预设范围内，则对虚拟表情基进行修正，以使得修正权重信息处于预设范围，并返回获取后续视频画面的步骤直至后续视频画面结束。

本实施例的视频虚拟表情生成装置90使用时，首先视频虚拟表情生成装置90与其他终端进行视频交互，人脸区域识别模块91可获取交互对象的当前视频画面。随后人脸区域识别模块会通过当前视频画面中的人脸特征识别当前视频画面中用于展示人脸图像的人脸区域。

随后人脸模型创建模块92在人脸区域识别模块91确定的人脸区域中识别其中人脸图像的所有人脸特征点，随后人脸模型创建模块根据上述人脸特征点创建人脸图像对应的人脸模型。这里的人脸模型可为3维人脸立体模型。

然后虚拟表情基创建模块93获取预设的虚拟表情人脸特征点设置，该虚拟表情人脸特征点设置为根据不同的人脸表情统计的人脸特征点之间的相对位置关系。

虚拟表情基创建模块93可在获取的人脸模型上对人脸特征点的位置进行重新设置，从而创建出多个与人脸表情对应的虚拟表情基，其中每个虚拟表情基均包括对应的人脸特征点信息，即人脸模型上至少部分人脸特征点的位置信息。这样即可基于人脸模型创建模块93创建的人脸模型，创建出视频交互对象的各种人脸表情。

由于虚拟表情基是基于预设的虚拟表情人脸特征点以及当前视频画面(如首帧画面)设置的，因此交互对象的实际虚拟表情基可能与生成的虚拟表情基不同，即对应的人脸特征点的位置可能会有一定的偏差。

因此视频虚拟表情生成装置90会根据交互对象的多张实时人脸图像对生成的虚拟表情基进行修正。

随后修正人脸图像识别模块94获取交互对象的后续视频画面，即交互对象后续发送过来的视频画面。随后修正人脸图像识别模块会通过后续视频画面中的人脸特征识别后续视频画面中人脸区域中的人脸图像。

然后修正权重信息获取模块95使用虚拟表情基创建模块93创建的多个虚拟表情基来表示后续视频画面中的人脸图像，即后续视频画面中的任何一张人脸图像均应该能够通过多个虚拟表情基的叠加进行表示，如大笑和眨眼进行叠加，或使用具有0.5权重的大笑来表示微笑等。

这样通过虚拟表情基来表示后续视频画面中的人脸图像，即是通过不同权重关系的虚拟表情基的叠加来表示人脸图像，因此这里可获取用于表示人脸图像的每个虚拟表情基对应的修正权重信息。

修正权重信息获取模块95获取的每个修正权重信息都是具有一定预设范围的，一般而言交互对象的人脸图像具有一个标准的虚拟表情，则该对应虚拟表情基的权重信息应该为1。

如修正权重信息为小于0或大于1的数，则说明某些虚拟表情基中的人脸特征点的位置不合理导致的修正权重信息异常。即如设定大笑时人脸上唇的最高特征点与人脸下唇的最高特征点距离为2厘米，如交互对象的大笑时人脸上唇的最高特征点与人脸下唇的最高特征点距离为3厘米，则该修正权重信息大于1，这时应该判断虚拟表情基中的人脸特征点的位置不准确，从而导致无法使用该虚拟表情基来表示交互对象大笑时的表情。

具体的，虚拟表情基修正模块96会判断获取的修正权重信息是否处于预设范围内(如0-1之间)，如所有虚拟表情基对应的修正权重信息均处于预设范围内，则说明创建的虚拟表情基可表示当前交互对象的所有表情。

如某些虚拟表情基对应的修正权重信息未处于预设范围内(如大于1或小于0)，则说明虚拟表情基中的人脸特征点的位置不准确，需要对相应的虚拟表情基进行修正，以使得修正权重信息处于预设范围内。

具体的，虚拟表情基修正模块96可直接对虚拟表情基中对应的人脸特征点的位置进行修正，以使得修正权重信息调整至预设范围内较近的临界点，如可对虚拟表情基中对应的人脸特征点的位置进行修正，以使得修正权重信息调整至预设范围内较近的临界点。如某个虚拟表情基中对应的人脸特征点的位置为2mm至4mm，则人脸特征点的位置为2mm时对应修正权重信息为0，人脸特征点的位置为4mm时对应修正权重信息为1。如当前交互对象的该表情中的人脸特征点的位置为1mm，由于1mm与2mm距离较近，因此将虚拟表情基中对应的人脸特征点的临界点位置1mm修正到4mm；如当前交互对象的该表情中的人脸特征点的位置为5mm，由于5mm与4mm距离较近，因此将虚拟表情基中对应的人脸特征点的临界点位置4mm修正到5mm。

视频虚拟表情生成装置90可使用后续视频画面中的人脸图像对虚拟表情基中的人脸特征点信息进行反复修正，直至后续视频画面结束或接收到虚拟表情生成指令，这样可使得最终的虚拟表情基对应的人物表情与交互对象的真实表情的匹配度越来越高。

随后指令接收模块97接收虚拟表情生成指令，该虚拟表情生成指令是指用户想在人脸图像对应的人脸模型上生成对应虚拟表情的指令。为了使得人脸模型可以做出上述表情，该虚拟表情生成指令应包括虚拟表情基的权重信息，以便通过虚拟表情基对人脸模型上的人脸表情进行展现。该权重信息也直接存储在虚拟表情生成指令中，或存储在其他的数据库中，通过虚拟表情生成指令可在数据库中查找到对应的权重信息。

最后虚拟表情生成模块98基于虚拟表情生成指令中的虚拟表情基的权重信息以及虚拟表情基对应的人脸特征点信息，构建出人脸模型中每个人脸特征点的位置。

这样即完成了本实施例的视频虚拟表情生成装置90的虚拟表情生成过程。

在第一实施例的基础上，本实施例的视频虚拟表情生成装置使用交互对象的后续视频画面中的人脸图像对虚拟表情基进行修正，进一步提高了生成的虚拟表情的准确率。

请参照图10，图10为本发明的视频虚拟表情生成装置的第三实施例的结构示意图。本实施例视频虚拟表情生成装置可使用上述的视频虚拟表情生成方法的第三实施例进行实施，本实施例的视频虚拟表情生成装置还可根据本地终端的当前摄像画面生成对应的虚拟表情生成指令，以实现生成与当前摄像画面中的人脸图像的表情相同的当前交互对象的虚拟表情。本实施例的视频虚拟表情生成装置100包括第一参照人脸图像识别模块101、参照权重信息获取模块102、指令生成模块103、第二参照人脸图像识别模块104、参照人脸模型创建模块105以及参照虚拟表情基创建模块106。

第一参照人脸图像识别模块101用于获取当前摄像画面，并识别当前摄像画面中的参照人脸图像；参照权重信息获取模块102用于使用预设的参照人脸模型对应的多个参照虚拟表情基，表示参照人脸图像，从而获取每个参照虚拟表情基对应的参照权重信息；指令生成模块103用于使用参照权重信息生成虚拟表情生成指令；第二参照人脸图像识别模块104用于获取参照摄像画面，并识别参照摄像画面中的参照人脸图像；参照人脸模型创建模块105用于识别参照人脸图像的参照人脸特征点，并根据参照人脸特征点，创建参照人脸图像对应的参照人脸模型；参照虚拟表情基创建模块106用于基于预设的虚拟表情人脸特征点设置，创建参照人脸模型对应的多个参照虚拟表情基。

本实施例的视频虚拟表情生成装置100的虚拟表情生成指令的生成过程包括：

首先第一参照人脸图像识别模块101获取当前摄像画面，当前摄像画面是指本地用户通过本地摄像头拍摄的当前视频画面。随后第一参照人脸图像识别模块101通过当前摄像画面中的人脸特征识别当前摄像画面中的参照人脸图像，即本地用户的人脸图像。

随后参照权重信息获取模块102使用预设的参照人脸模型对应的多个参照虚拟表情基来表示参照人脸图像，从而可获取每个参照虚拟表情基对应的参照权重信息。

这里的参照人脸模型是基于参照人脸图像上的人脸特征点创建的人脸模型。该参照人脸模型同样具有多个与人脸表情对应的参照虚拟表情基。该人脸模型以及多个参照虚拟表情基的预设过程包括：

第二参照人脸图像识别模块104获取参照摄像画面，并识别参照摄像画面中的参照人脸图像。为了提高参照人脸模型的准确性，这里需要通过多个参照摄像画面中的参照人脸图像来生成参照人脸模型。这里的参照摄像画面是指在获取当前摄像画面之前，本地用户通过本地摄像头拍摄的多张具有本地用户人脸图像的视频画面。

参照人脸模型创建模块105识别参照人脸图像的参照人脸特征点，该参照人脸特征点是指参照人脸图像中本地用户的人脸特征点。

随后参照人脸模型创建模块105根据上述参照人脸特征点，创建参照人脸图像对应的参照人脸模型。由于可以提前获取多张参照人脸图像，因此这里获取的参照人脸模型的准确度较高。

参照虚拟表情基创建模块106获取预设的虚拟表情人脸特征点设置，该虚拟表情人脸特征点设置为根据不同的人脸表情统计的人脸特征点的相对位置关系。

参照虚拟表情基创建模块106可在参照人脸模型上对人脸特征点的位置进行重新设置，从而创建出多个与人脸表情对应的参照虚拟表情基，其中每个参照虚拟表情基均包括对应的人脸特征点信息，即参照人脸模型上至少部分人脸特征点的位置信息。这样即可基于参照人脸模型，创建出本地用户的各种人脸表情。

这样即完成了人脸模型以及多个参照虚拟表情基的预设过程。

参照权重信息获取模块102使用创建的多个参照虚拟表情基来表示当前摄像画面中的参照人脸图像，即当前摄像画面中的参照人脸图像均应该能够通过多个参照虚拟表情基的叠加进行表示。

这样通过参照虚拟表情基来表示当前摄像画面中的参照人脸图像，即通过不同参照权重关系的参照虚拟表情基的叠加来表示参照人脸图像，因此这里可获取用于表示参照人脸图像的每个参照虚拟表情基对应的参照权重信息。

最后指令生成模块103将参照权重信息获取模块102生成的参照权重信息记录下来，并根据上述参照权重信息生成虚拟表情生成指令，以便将本地用户的表情通过虚拟表情生成指令记录下来，并拷贝至交互对象上。

这样即完成了本优选实施例的视频虚拟表情生成装置100中的虚拟表情生成指令的生成过程。

在第一实施例的基础上，本实施例的视频虚拟表情生成装置可通过虚拟表情生成指令记录本地用户的表情，从而实现了将本地用户的表情拷贝到交互对象上作为虚拟表情，实现了交互对象可模仿本地用户做相同表情的操作，从而进一步丰富了虚拟表情的个性化内容，提高了用户的视频交互的交互效率。

下面通过一具体实施例说明本发明的视频虚拟表情生成方法及生成装置的具体工作原理。请参照图11a、图11b、图11c、图12以及图13，图11a为本发明的视频虚拟表情生成方法和生成装置的具体实施例的硬件结构图，图11b为本发明的视频虚拟表情生成方法和生成装置的具体实施例的使用示意图之一，图11c为本发明的视频虚拟表情生成方法和生成装置的具体实施例的使用示意图之二，图12为本发明的视频虚拟表情生成方法和生成装置的具体实施例的流程图，图13为本发明的视频虚拟表情生成方法和生成装置的具体实施例的步骤S1205的流程图。其中本发明的视频虚拟表情生成装置设置在具有摄像头的移动终端11A中，用户x通过移动终端11A与用户y进行视频聊天，用户y通过移动终端11B与用户x进行视频聊天。

这里用户x可通过移动终端11A生成用户y在视频聊天画面上的视频虚拟表情，具体的视频虚拟表情生成流程包括：

步骤S1201，移动终端11A获取用户y的当前视频画面；

步骤S1202，移动终端11A可检测当前视频画面中的人脸区域并对人脸区域中人脸图像的人脸特征点进行提取，创建人脸模型；

当然如果移动终端11B具有深度摄像头以及用于获取面部立体信息的3D结构光设备，则移动终端11B可根据3D结构光设备获取的点云数据直接生成人脸模型，并将该人脸模型发送至移动终端11A。

步骤S1203，移动终端11A基于预设的虚拟表情人脸特征点设置，创建人脸模型对应52个虚拟表情基。

这里的虚拟表情人脸特征点设置可为一组已经设计好的拥有不同表情的标准人脸模型，该标准人脸模型的人脸特征点的种类和数量一样，不同的是某些人脸特征点的位置不同(如大笑嘴部的人脸特征点就会产生位移)。

随后移动终端11A使用上述虚拟表情人脸特征点设置对用户y的人脸模型上的人脸特征点的位置进行设置，从而创建了用户y的人脸模型对应的52个虚拟表情基。

步骤S1204，移动终端11A获取用户x发出的虚拟表情生成指令，用户x如点击眨眼的虚拟表情生成指令，移动终端11A会获取眨眼虚拟表情对应的虚拟表情基的权重信息，然后基于虚拟表情基的权重信息以及虚拟表情基对应的人脸特征点信息，自动生成用户y的眨眼的虚拟表情。

随后基于当前视频画面的背景信息对当前视频画面进行渲染从而在当前视频画面上生成用户y的眨眼的虚拟表情，具体如图11b所示。

这里用户x还可点击同步的虚拟表情生成指令，移动终端11A则会通过摄像头获取用户x的当前表情，将用户x的当前表情转换为对应的虚拟表情基的权重信息，然后基于虚拟表情基的权重信息以及虚拟表情基对应的人脸特征点信息，自动生成用户y的同步虚拟表情。

随后基于当前视频画面的背景信息对当前视频画面进行渲染从而在当前视频画面上生成用户y的同步虚拟表情，具体如图11c所示。

这里的渲染过程可为，移动终端11A构建与用户y所在背景世界相同坐标的虚拟世界，读取用户y的背景视频信息，建立一视频渲染层，虚拟世界和背景世界共享该渲染层，将用户y的人脸模型放在虚拟世界中，并设置用户y的人脸模型的位置和朝向与背景视频中的用户y的人脸信息一致(即用户y的虚拟人脸模型与背景视频中用户y的人脸位置重叠)，然后在对用户y的人脸模型进行虚拟表情创建。

步骤S1205，移动终端11A在生成用户y的虚拟表情的过程中，移动终端11A会不断的检测用户y的后续视频画面，并基于后续视频画面中的用户y的真实表情对应的人脸特征点变化，对用户y的人脸模型不断进行修正，以使得用户y的人脸模型更加趋近于真实化。

具体请参照图13，其包括流程：

步骤S1301，移动终端11A获取到用户y的后续视频画面，并对该后续视频画面进行解析操作；

步骤S1302，判断是否可用现有的虚拟表情基进行线性表示，如可以转到步骤S1303；如不可以转到步骤S1304；

步骤S1303，根据虚拟表情生成指令进行虚拟表情展示；

步骤S1304，依据虚拟表情基的权重信息的合理范围对虚拟表情基中的人脸特征点的位置或用户y的人脸模型中人脸特征点的位置进行修正；

步骤S1305，生成新的虚拟表情基，即对虚拟表情基进行更新，并返回步骤S1301，这样即使得移动终端11A生成的虚拟表情可以越来越准确。

移动终端11A在进行人脸模型的创建时，可考虑到光照效果，即外部光照的方向，使得人脸模型具有阴影效果。

同时通过对人脸模型中眼睛区域以及嘴部区域的人脸特征点的识别，可计算出眼球以及嘴巴的几何体位置，在这些位置添加虚拟生物特征，如眼睛、舌头以及牙齿等，可使得人脸模型具有更强的表现力。这样即完成了本具体实施例的视频虚拟表情生成方法及生成装置的视频虚拟表情生成过程。

本发明的视频虚拟表情生成方法、装置及计算机可读存储介质通过虚拟表情基的权重信息以及虚拟表情基对应的人脸特征点信息来生成具有虚拟表情的人脸图像，丰富了虚拟表情的数量以及内容，同时提高了用户的视频交互的交互效率；有效的解决了现有的视频虚拟表情生成方法以及视频虚拟表情生成装置中生成的虚拟表情比较单一，且用户进行视频交互的交互效率较低的技术问题。

如本申请所使用的术语“组件”、“模块”、“系统”、“接口”、“进程”等等一般地旨在指计算机相关实体：硬件、硬件和软件的组合、软件或执行中的软件。例如，组件可以是但不限于是运行在处理器上的进程、处理器、对象、可执行应用、执行的线程、程序和/或计算机。通过图示，运行在控制器上的应用和该控制器二者都可以是组件。一个或多个组件可以有在于执行的进程和/或线程内，并且组件可以位于一个计算机上和/或分布在两个或更多计算机之间。

图14和随后的讨论提供了对实现本发明所述的权限策略配置装置所在的电子设备的工作环境的简短、概括的描述。图14的工作环境仅仅是适当的工作环境的一个实例并且不旨在建议关于工作环境的用途或功能的范围的任何限制。实例电子设备1412包括但不限于可穿戴设备、头戴设备、医疗健康平台、个人计算机、服务器计算机、手持式或膝上型设备、移动设备(比如移动电话、个人数字助理(PDA)、媒体播放器等等)、多处理器系统、消费型电子设备、小型计算机、大型计算机、包括上述任意系统或设备的分布式计算环境，等等。

尽管没有要求，但是在“计算机可读指令”被一个或多个电子设备执行的通用背景下描述实施例。计算机可读指令可以经由计算机可读介质来分布(下文讨论)。计算机可读指令可以实现为程序模块，比如执行特定任务或实现特定抽象数据类型的功能、对象、应用编程接口(API)、数据结构等等。典型地，该计算机可读指令的功能可以在各种环境中随意组合或分布。

图14图示了包括本发明的权限策略配置装置中的一个或多个实施例的电子设备1412的实例。在一种配置中，电子设备1412包括至少一个处理单元1416和存储器1418。根据电子设备的确切配置和类型，存储器1418可以是易失性的(比如RAM)、非易失性的(比如ROM、闪存等)或二者的某种组合。该配置在图14中由虚线1414图示。

在其他实施例中，电子设备1412可以包括附加特征和/或功能。例如，设备1412还可以包括附加的存储装置(例如可移除和/或不可移除的)，其包括但不限于磁存储装置、光存储装置等等。这种附加存储装置在图14中由存储装置1420图示。在一个实施例中，用于实现本文所提供的一个或多个实施例的计算机可读指令可以在存储装置1420中。存储装置1420还可以存储用于实现操作系统、应用程序等的其他计算机可读指令。计算机可读指令可以载入存储器1418中由例如处理单元1416执行。

本文所使用的术语“计算机可读介质”包括计算机存储介质。计算机存储介质包括以用于存储诸如计算机可读指令或其他数据之类的信息的任何方法或技术实现的易失性和非易失性、可移除和不可移除介质。存储器1418和存储装置1420是计算机存储介质的实例。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字通用盘(DVD)或其他光存储装置、盒式磁带、磁带、磁盘存储装置或其他磁存储设备、或可以用于存储期望信息并可以被电子设备1412访问的任何其他介质。任意这样的计算机存储介质可以是电子设备1412的一部分。

电子设备1412还可以包括允许电子设备1412与其他设备通信的通信连接1426。通信连接1426可以包括但不限于调制解调器、网络接口卡(NIC)、集成网络接口、射频发射器/接收器、红外端口、USB连接或用于将电子设备1412连接到其他电子设备的其他接口。通信连接1426可以包括有线连接或无线连接。通信连接1426可以发射和/或接收通信媒体。

术语“计算机可读介质”可以包括通信介质。通信介质典型地包含计算机可读指令或诸如载波或其他传输机构之类的“己调制数据信号”中的其他数据，并且包括任何信息递送介质。术语“己调制数据信号”可以包括这样的信号：该信号特性中的一个或多个按照将信息编码到信号中的方式来设置或改变。

电子设备1412可以包括输入设备1424，比如键盘、鼠标、笔、语音输入设备、触摸输入设备、红外相机、视频输入设备和/或任何其他输入设备。设备1412中也可以包括输出设备1422，比如一个或多个显示器、扬声器、打印机和/或任意其他输出设备。输入设备1424和输出设备1422可以经由有线连接、无线连接或其任意组合连接到电子设备1412。在一个实施例中，来自另一个电子设备的输入设备或输出设备可以被用作电子设备1412的输入设备1424或输出设备1422。

电子设备1412的组件可以通过各种互连(比如总线)连接。这样的互连可以包括外围组件互连(PCI)(比如快速PCI)、通用串行总线(USB)、火线(IEEE1394)、光学总线结构等等。在另一个实施例中，电子设备1412的组件可以通过网络互连。例如，存储器1418可以由位于不同物理位置中的、通过网络互连的多个物理存储器单元构成。

本领域技术人员将认识到，用于存储计算机可读指令的存储设备可以跨越网络分布。例如，可经由网络1428访问的电子设备1430可以存储用于实现本发明所提供的一个或多个实施例的计算机可读指令。电子设备1412可以访问电子设备1430并且下载计算机可读指令的一部分或所有以供执行。可替代地，电子设备1412可以按需要下载多条计算机可读指令，或者一些指令可以在电子设备1412处执行并且一些指令可以在电子设备1430处执行。

本文提供了实施例的各种操作。在一个实施例中，所述的一个或多个操作可以构成一个或多个计算机可读介质上存储的计算机可读指令，其在被电子设备执行时将使得计算设备执行所述操作。描述一些或所有操作的顺序不应当被解释为暗示这些操作必需是顺序相关的。本领域技术人员将理解具有本说明书的益处的可替代的排序。而且，应当理解，不是所有操作必需在本文所提供的每个实施例中存在。

而且，尽管已经相对于一个或多个实现方式示出并描述了本公开，但是本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本公开包括所有这样的修改和变型，并且仅由所附权利要求的范围限制。特别地关于由上述组件(例如元件、资源等)执行的各种功能，用于描述这样的组件的术语旨在对应于执行所述组件的指定功能(例如其在功能上是等价的)的任意组件(除非另外指示)，即使在结构上与执行本文所示的本公开的示范性实现方式中的功能的公开结构不等同。此外，尽管本公开的特定特征已经相对于若干实现方式中的仅一个被公开，但是这种特征可以与如可以对给定或特定应用而言是期望和有利的其他实现方式的一个或多个其他特征组合。而且，就术语“包括”、“具有”、“含有”或其变形被用在具体实施方式或权利要求中而言，这样的术语旨在以与术语“包含”相似的方式包括。

本发明实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。上述的各装置或系统，可以执行相应方法实施例中的方法。

综上所述，虽然本发明已以实施例揭露如上，实施例前的序号仅为描述方便而使用，对本发明各实施例的顺序不造成限制。并且，上述实施例并非用以限制本发明，本领域的普通技术人员，在不脱离本发明的精神和范围内，均可作各种更动与润饰，因此本发明的保护范围以权利要求界定的范围为准。

Claims (15)

1.一种视频虚拟表情生成方法，其特征在于，包括：

获取当前视频画面，并识别所述当前视频画面中的人脸区域；

识别所述人脸区域中人脸图像的人脸特征点，并根据所述人脸特征点，创建所述人脸图像对应的人脸模型；

基于预设的虚拟表情人脸特征点设置，创建所述人脸模型对应的多个虚拟表情基，其中每个虚拟表情基均包括对应的人脸特征点信息；

接收虚拟表情生成指令，其中所述虚拟表情生成指令包括所述虚拟表情基的权重信息；以及

基于所述虚拟表情基的权重信息以及所述虚拟表情基对应的人脸特征点信息，在所述视频画面的人脸区域生成具有对应虚拟表情的人脸图像。

2.根据权利要求1所述的视频虚拟表情生成方法，其特征在于，所述视频虚拟表情生成方法还包括：

获取后续视频画面，并识别所述后续视频画面中的人脸区域中的人脸图像；

使用所述虚拟表情基表示所述后续视频画面中的人脸图像，从而获取每个虚拟表情基对应的修正权重信息；以及

判断所述修正权重信息是否处于预设范围内，如所述修正权重信息未处于预设范围内，则对所述虚拟表情基进行修正，以使得所述修正权重信息处于所述预设范围，并返回获取后续视频画面的步骤直至所述后续视频画面结束。

3.根据权利要求2所述的视频虚拟表情生成方法，其特征在于，所述如所述修正权重信息未处于预设范围内，则对所述虚拟表情基进行修正的步骤包括：

如所述修正权重信息未处于预设范围内，则对所述虚拟表情基中对应的人脸特征点的位置进行修正，以使得所述修正权重信息调整至所述预设范围内较近的临界点。

4.根据权利要求1所述的视频虚拟表情生成方法，其特征在于，所述视频虚拟表情生成方法还包括：

获取当前摄像画面，并识别所述当前摄像画面中的参照人脸图像；

使用预设的参照人脸模型对应的多个参照虚拟表情基，表示参照人脸图像，从而获取每个参照虚拟表情基对应的参照权重信息；以及

使用所述参照权重信息生成所述虚拟表情生成指令。

5.根据权利要求4所述的视频虚拟表情生成方法，其特征在于，所述视频虚拟表情生成方法还包括：

获取参照摄像画面，并识别所述参照摄像画面中的参照人脸图像；

识别所述参照人脸图像的参照人脸特征点，并根据所述参照人脸特征点，创建所述参照人脸图像对应的参照人脸模型；以及

基于预设的虚拟表情人脸特征点设置，创建所述参照人脸模型对应的多个参照虚拟表情基。

6.根据权利要求1所述的视频虚拟表情生成方法，其特征在于，所述视频虚拟表情生成方法包括：

根据虚拟表情对应的人脸特征点之间的位置关系，确定对应的所述虚拟表情人脸特征点设置。.

7.根据权利要求1所述的视频虚拟表情生成方法，其特征在于，所述根据所述人脸特征点，创建所述人脸图像对应的人脸模型的步骤包括：

根据至少部分人脸特征点的位置以及类别，确定所述人脸图像中人脸的朝向；

根据所述人脸图像中人脸的朝向，对所述人脸图像的人脸特征点进行修正；以及

使用修正后的人脸特征点，创建所述人脸图像对应的人脸模型。

8.根据权利要求7所述的视频虚拟表情生成方法，其特征在于，所述基于所述虚拟表情基的权重信息以及所述虚拟表情基对应的人脸特征点信息，在所述视频画面的人脸区域生成具有对应虚拟表情的人脸图像的步骤之后还包括：

根据所述人脸图像中人脸的朝向，对所述具有对应虚拟表情的人脸图像进行人脸朝向修正。

9.根据权利要求1所述的视频虚拟表情生成方法，其特征在于，所述根据所述人脸特征点，创建所述人脸图像对应的人脸模型的步骤包括：

识别人脸模型中的眼睛区域以及嘴部区域的人脸特征点；

基于眼睛区域以及嘴部区域的人脸特征点，计算对应虚拟生物特征的几何体位置；

在所述虚拟生物特征的几何体位置添加虚拟生物特征。

10.根据权利要求1所述的视频虚拟表情生成方法，其特征在于，所述根据所述人脸特征点，创建所述人脸图像对应的人脸模型的步骤包括：

根据外部光照的方向，制作所述人脸模型对应的阴影效果。

11.一种视频虚拟表情生成装置，其特征在于，包括：

人脸区域识别模块，用于获取当前视频画面，并识别所述当前视频画面中的人脸区域；

人脸模型创建模块，用于识别所述人脸区域中人脸图像的人脸特征点，并根据所述人脸特征点，创建所述人脸图像对应的人脸模型；

虚拟表情基创建模块，用于基于预设的虚拟表情人脸特征点设置，创建所述人脸模型对应的多个虚拟表情基，其中每个虚拟表情基均包括对应的人脸特征点信息；

指令接收模块，用于接收虚拟表情生成指令，其中所述虚拟表情生成指令包括所述虚拟表情基的权重信息；以及

虚拟表情生成模块，用于基于所述虚拟表情基的权重信息以及所述虚拟表情基对应的人脸特征点信息，在所述视频画面的人脸区域生成具有对应虚拟表情的人脸图像。

12.根据权利要求11所述的视频虚拟表情生成装置，其特征在于，所述视频虚拟表情生成装置还包括：

修正人脸图像识别模块，用于获取后续视频画面，并识别所述后续视频画面中的人脸区域中的人脸图像；

修正权重信息获取模块，用于使用所述虚拟表情基表示所述后续视频画面中的人脸图像，从而获取每个虚拟表情基对应的修正权重信息；以及

虚拟表情基修正模块，用于判断所述修正权重信息是否处于预设范围内，如所述修正权重信息未处于预设范围内，则对所述虚拟表情基进行修正，以使得所述修正权重信息处于所述预设范围，并返回获取后续视频画面的步骤直至所述后续视频画面结束。

13.根据权利要求11所述的视频虚拟表情生成装置，其特征在于，所述视频虚拟表情生成装置还包括：

第一参照人脸图像识别模块，用于获取当前摄像画面，并识别所述当前摄像画面中的参照人脸图像；

参照权重信息获取模块，用于使用预设的参照人脸模型对应的多个参照虚拟表情基，表示参照人脸图像，从而获取每个参照虚拟表情基对应的参照权重信息；以及

指令生成模块，用于使用所述参照权重信息生成所述虚拟表情生成指令。

14.根据权利要求13所述的视频虚拟表情生成装置，其特征在于，所述视频虚拟表情生成装置还包括：

第二参照人脸图像识别模块，用于获取参照摄像画面，并识别所述参照摄像画面中的参照人脸图像；

参照人脸模型创建模块，用于识别所述参照人脸图像的参照人脸特征点，并根据所述参照人脸特征点，创建所述参照人脸图像对应的参照人脸模型；以及

参照虚拟表情基创建模块，用于基于预设的虚拟表情人脸特征点设置，创建所述参照人脸模型对应的多个参照虚拟表情基。

15.一种计算机可读存储介质，其内存储有处理器可执行指令，所述指令由一个或一个以上处理器加载，以执行如权利要求1-10中任一的视频虚拟表情生成方法。