CN114779948A - 基于面部识别的动画人物即时交互控制方法、装置及设备 - Google Patents

Abstract

本申请提供一种基于面部识别的动画人物即时交互控制方法、装置及计算机设备，根据交互用户的设置信息，生成交互用户的虚拟动画人物，构建所述虚拟动画人物的表情数据库；对交互用户进行面部表情捕捉，获取所述交互用户的面部表情信息；根据所述交互用户的面部表情信息生成所述虚拟动画人物的表情控制码，根据所述表情控制码，从所述虚拟动画人物的表情数据库中获取对应的表情动画数据；获取用户的动作指令，根据所述动作指令查找预先设置的动作数据库，获取与所述动作指令对应的动作动画数据；显示所述虚拟动画人物的动作以及所述虚拟动画人物的面部表情。不需要复杂的感应设备感应人体全身数据，降低了数据延时，提高交互效率。

Description

基于面部识别的动画人物即时交互控制方法、装置及设备

技术领域

本申请实施例涉及动画制作技术领域，尤其涉及一种基于面部识别的动画人物即时交互控制方法、装置及计算机设备。

背景技术

传统的动画制作行业中，二维动画和三维动画是运用得比较广泛的动画形式。动画制作应用的范围不仅仅是动画片，还包括影视、广告、游戏等场景。

随着动画制作技术的发展，动画制作不再限于由原画师、动画师将每帧主镜画面和分镜画面一一画出，运用计算机以三维建模等技术可以更加简单地通过对真人的姿态感应模拟出动画任务的姿态。然而，这通常需要真人穿上大量精确度高的传感器来对真人的动作姿态进行检测，十分不方便，并且对于检测数据的处理以及动画人物的模拟都需要经过大量的运算，耗时一般较长，不太可能在一些需要实时反馈的即时通信交互的场景中使用。

随着元宇宙的构想推出，人们对在虚拟世界中以虚拟动画人物形象进行交互越来越感兴趣，各个用户使用AR或VR设备在虚拟世界中进行交互变得越来越迫切，然而，需要在虚拟世界中以虚拟动画人物形象进行即时有效的沟通交互，就需要虚拟动画人物可以快速高效地响应真人用户的工作和表情，以便交互方可以根据虚拟动画人物的动作、表情来进行真实情绪的判断，而使用现有的动画制作方法并不能解决上述问题。

现有技术中也存在通过摄像装置拍摄获取用户的全身图像，以便用户的全身图像分析用户的姿态和情绪，进而模拟虚拟动画人物动作和表情。然而，这种方法仍然不能避免大量的图像和数据的处理，而且要拍摄人不失真的全身图像需要较大的运行环境和较好的拍摄设备，同样极为不便且成本高。

发明内容

本申请实施例提供了一种基于面部识别的动画人物即时交互控制方法、装置及计算机设备，尤其适合用于AR设备，可以解决现有技术无法进行虚拟动画人物模拟真人进行即时交互的问题。该技术方案如下：

根据本申请实施例的第一方面，提供一种基于面部识别的动画人物即时交互控制方法，包括以下步骤：

根据交互用户的设置信息，生成交互用户的虚拟动画人物，构建所述虚拟动画人物的表情数据库，其中，所述表情数据库包含有所述虚拟动画人物的各种预设的表情动画数据；

对交互用户进行面部表情捕捉，获取所述交互用户的面部表情信息；其中，所述面部表情信息包括所述交互用户的眼珠位置信息、嘴角位置信息、鼻头位置信息和眉毛位置信息；

根据所述交互用户的面部表情信息生成所述虚拟动画人物的表情控制码，根据所述表情控制码，从所述虚拟动画人物的表情数据库中获取对应的表情动画数据；

获取用户的动作指令，根据所述动作指令查找预先设置的动作数据库，获取与所述动作指令对应的动作动画数据；其中，所述动作数据库包含有所述虚拟动画人物的各种预设的动作动画数据及其对应的动作指令；

显示所述虚拟动画人物；其中，根据动作动画数据，显示所述虚拟动画人物的动作；根据所述表情动画数据，显示所述虚拟动画人物的面部表情。

根据本申请实施例的第二方面，提供一种基于面部识别的动画人物即时交互控制装置，包括：

初始化模块，用于根据交互用户的设置信息，生成交互用户的虚拟动画人物，构建所述虚拟动画人物的表情数据库，其中，所述表情数据库包含有所述虚拟动画人物的各种预设的表情动画数据；

识别模块，用于对交互用户进行面部表情捕捉，获取所述交互用户的面部表情信息；其中，所述面部表情信息包括所述交互用户的眼珠位置信息、嘴角位置信息、鼻头位置信息和眉毛位置信息；

处理模块，用于根据所述交互用户的面部表情信息生成所述虚拟动画人物的表情控制码，根据所述表情控制码，从所述虚拟动画人物的表情数据库中获取对应的表情动画数据；获取用户的动作指令，根据所述动作指令查找预先设置的动作数据库，获取与所述动作指令对应的动作动画数据；其中，所述动作数据库包含有所述虚拟动画人物的各种预设的动作动画数据及其对应的动作指令；

显示控制模块，用于显示所述虚拟动画人物；其中，根据动作动画数据，显示所述虚拟动画人物的动作；根据所述表情动画数据，显示所述虚拟动画人物的面部表情。

根据本申请实施例的第三方面，提供一种计算机设备，包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述基于面部识别的动画人物即时交互控制方法的步骤。

本申请实施例中，可基于面部识别对虚拟动画人物，进行即时交互控制。首先根据交互用户的设置信息，生成交互用户的虚拟动画人物，构建所述虚拟动画人物的表情数据库，其中，所述表情数据库包含有所述虚拟动画人物的各种预设的表情动画数据。因此各项表情数据已经预先设置在所述表情数据库中，可以预先在用户进行初始化设置的时候由服务器根据用户的设置信息，完成对应的虚拟动画人物，再根据所述虚拟动画任务以及预设的表情模型，生成对应的虚拟动画人物表情动画数据。在进行交互的过程中，由于最能表达情绪差异的要素是表情而不是姿态动作，因此，对于虚拟动画人物的动作，仅需要根据用户的动作指令，对照获取动作动画数据库中的动作动画数据即可。而对于表情动画，则需要对交互用户进行面部表情捕捉，获取所述交互用户的面部表情信息；本申请实施例中将所述面部表情信息具体采集为最能表达表情特征的眼珠位置信息、嘴角位置信息、鼻头位置信息和眉毛位置信息。根据具体的面部表情信息生成虚拟动画人物的表情控制码，所述表情控制码只是一个代码，可以由多个字段组成，结构简单，数据量非常少，根据所述表情控制码，从所述虚拟动画人物的表情数据库中获取对应的表情动画数据，以显示所述虚拟动画人物的面部表情。因此不需要复杂的感应设备感应人体全身数据，在进行虚拟动画人物的动作和表情的模拟时，也不需要大量的数据运算，进行即时交互时只需要传输相应的动作指令和表情控制码即可，非常省流，大大降低了交互延时，使真人通过虚拟动画人物进行即时交互成为可能。

为了更好地理解和实施，下面结合附图详细说明本申请的技术方案。

附图说明

图1为本申请提供的基于面部识别的动画人物即时交互控制方法的流程示意图；

图2为本申请提供的基于面部识别的动画人物即时交互控制方法中眼珠位置信息的示意图；

图3为本申请提供的基于面部识别的动画人物即时交互控制方法中嘴角位置信息的示意图；

图4为本申请提供的基于面部识别的动画人物即时交互控制方法中应用的AR眼镜的正面的结构示意图；

图5为本申请提供的基于面部识别的动画人物即时交互控制方法中应用的AR眼镜的背面结构示意图；

图6为本申请提供的基于面部识别的动画人物即时交互控制方法中表情控制码的示意图；

图7为本申请提供的基于面部识别的动画人物即时交互控制方法中AR眼镜的透光区域与遮光区域的示意图；

图8为本申请提供的基于面部识别的动画人物即时交互控制装置的结构示意图；

图9为本申请实施例提供的计算机设备的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”/“若”可以被解释成为“在……时”或“当……时”或“响应于确定”。

本领域技术人员可以理解，本申请所使用的“客户端”、“终端”、“终端设备”既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通信链路上，进行双向通信的接收和发射硬件的设备。这种设备可以包括：VR设备，AR设备，蜂窝或其他诸如个人计算机、平板电脑之类的通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备；PCS(PersonalCommunications Service，个人通信系统)，其可以组合语音、数据处理、传真和/或数据通信能力；PDA(Personal Digital Assistant，个人数字助理)，其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(GlobalPositioningSystem，全球定位系统)接收器；常规膝上型和/或掌上型计算机或其他设备，其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“客户端”、“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的，或者适合于和/或配置为在本地运行，和/或以分布形式，运行在地球和/或空间的任何其他位置运行。这里所使用的“客户端”、“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端，例如可以是PDA、MID(Mobile Internet Device，移动互联网设备)和/或具有音乐/视频播放功能的移动电话，也可以是智能电视、机顶盒等设备。

本申请所称的“服务端”、“客户端”、“服务节点”等名称所指向的硬件，本质上是具备个人计算机等效能力的计算机设备，为具有中央处理器(包括运算器和控制器)、存储器、输入设备以及输出设备等冯诺依曼原理所揭示的必要构件的硬件装置，计算机程序存储于其存储器中，中央处理器将存储在外存中的程序调入内存中运行，执行程序中的指令，与输入输出设备交互，借此完成特定的功能。

需要指出的是，本申请所称的“服务端”这一概念，服务端是为客户端服务的，服务的内容诸如向客户端提供资源，保存客户端数据。其中由服务器为服务端提供运行的环境和基础，同理也可扩展到适用于服务器机群的情况。依据本领域技术人员所理解的网络部署原理，所述各服务器应是逻辑上的划分，在物理空间上，这些服务器既可以是互相独立但可通过接口调用的，也可以是集成到一台物理计算机或一套计算机机群的。本领域技术人员应当理解这一变通，而不应以此约束本申请的网络部署方式的实施方式。

请参阅图1，图1为本申请实施例提供的基于面部识别的动画人物即时交互控制方法的流程示意图，该方法包括如下步骤：

S101：根据交互用户的设置信息，生成交互用户的虚拟动画人物，构建所述虚拟动画人物的表情数据库，其中，所述表情数据库包含有所述虚拟动画人物的各种预设的表情动画数据。

S102：对交互用户进行面部表情捕捉，获取所述交互用户的面部表情信息；其中，所述面部表情信息包括所述交互用户的眼珠位置信息、嘴角位置信息、鼻头位置信息和眉毛位置信息。

S103：根据所述交互用户的面部表情信息生成所述虚拟动画人物的表情控制码，根据所述表情控制码，从所述虚拟动画人物的表情数据库中获取对应的表情动画数据。

S104：获取用户的动作指令，根据所述动作指令查找预先设置的动作数据库，获取与所述动作指令对应的动作动画数据；其中，所述动作数据库包含有所述虚拟动画人物的各种预设的动作动画数据及其对应的动作指令。

S105：显示所述虚拟动画人物；其中，根据动作动画数据，显示所述虚拟动画人物的动作；根据所述表情动画数据，显示所述虚拟动画人物的面部表情。

本申请实施例中，可基于面部识别对虚拟动画人物，进行即时交互控制。首先根据交互用户的设置信息，生成交互用户的虚拟动画人物，构建所述虚拟动画人物的表情数据库，其中，所述表情数据库包含有所述虚拟动画人物的各种预设的表情动画数据。因此各项表情数据已经预先设置在所述表情数据库中，可以预先在用户进行初始化设置的时候由服务器根据用户的设置信息，完成对应的虚拟动画人物，再根据所述虚拟动画任务以及预设的表情模型，生成对应的虚拟动画人物表情动画数据。在进行交互的过程中，由于最能表达情绪差异的要素是表情而不是姿态动作，因此，对于虚拟动画人物的动作，仅需要根据用户的动作指令，对照获取动作动画数据库中的动作动画数据即可。而对于表情动画，则需要对交互用户进行面部表情捕捉，获取所述交互用户的面部表情信息；本申请实施例中将所述面部表情信息具体采集为最能表达表情特征的眼珠位置信息、嘴角位置信息、鼻头位置信息和眉毛位置信息。根据具体的面部表情信息生成虚拟动画人物的表情控制码，所述表情控制码只是一个代码，可以由多个字段组成，结构简单，数据量非常少，根据所述表情控制码，从所述虚拟动画人物的表情数据库中获取对应的表情动画数据，以显示所述虚拟动画人物的面部表情。因此不需要复杂的感应设备感应人体全身数据，在进行虚拟动画人物的动作和表情的模拟时，也不需要大量的数据运算，进行即时交互时只需要传输相应的动作指令和表情控制码即可，非常省流，大大降低了交互延时，使真人通过虚拟动画人物进行即时交互成为可能。

下面将针对步骤S101~S105进行详细说明。

步骤S101：根据交互用户的设置信息，生成交互用户的虚拟动画人物，构建所述虚拟动画人物的表情数据库，其中，所述表情数据库包含有所述虚拟动画人物的各种预设的表情动画数据。

在交互用户登录系统进行初始化设置时，通过设置界面获取交互用户的设置信息，上述设置信息可以包括虚拟动画人物的形象，大小、面孔五官、头发等参数。根据所述设置信息生成交互用户的虚拟动画人物，所述虚拟动画人物即具有特定的形象、面孔五官。

在一个优选实施方式中，根据所述设置信息自动模拟生成交互用户的虚拟动画人物的三维模型。在后台，如服务器中，根据所述虚拟动画人物的形象、参数、三维模型等数据，模拟生成所述虚拟动画人物的各种预设的表情动画数据。

在本申请的实施例中，可以对所述表情动画数据作简单的划分，如微笑，露齿笑，大笑，流泪，哭泣，大哭等。本申请优选地，对所述表情动画数据进行精细划分，将所述表情动画数据具体化为包括眼珠位置信息、嘴角位置信息、鼻头位置信息和眉毛位置信息的分段参数，例如，所述眼珠位置信息为所述眼珠中心到左眼角、右眼角以及上下眼睑之间的距离集合；所述嘴角位置信息为嘴角偏离其初始位置的相对坐标；所述鼻头位置信息为鼻头中心偏离其初始位置的相对坐标；所述眉毛位置信息为眉毛两端以及中心偏离其初始位置的相对坐标。

分别对所述眼珠位置信息、嘴角位置信息、鼻头位置信息和眉毛位置信息等局部的表情参数设置不同的档位参数。如图2所示，将所述眼珠中心到左眼角的距离h1划分为从0mm到16mm，每2mm作为一个档位，即可获得8个档位的所述眼珠位置信息；又如图3所示，嘴角偏离其初始位置O（0,0）的相对坐标为A（x，y），将x和y分别划分为多个档位，即可获得多个不同的嘴角位置信息；再对鼻头位置信息和眉毛位置信息做类似划分，同样可以获得多个预定的精细化划分的局部表情参数，以该局部表情参数表示不同的局部表情，将各个局部表情参数组合，则可获得全局表情参数。对各个不同的全局表情参数在虚拟动画人物的二维或三维模型中构建起对应的表情动画，获得对应的表情动画数据，将所述表情动画数据集合储存从而构建所述虚拟动画人物的表情数据库，将所述表情数据库储存在服务器中。

步骤S102，对交互用户进行面部表情捕捉，获取所述交互用户的面部表情信息；其中，所述面部表情信息包括所述交互用户的眼珠位置信息、嘴角位置信息、鼻头位置信息和眉毛位置信息；

通过摄像设备对交互用户进行面部表情捕捉，构建交互用户的标准表情模型，其中，所述标准表情模型应该至少包括眼珠位置、嘴角位置、鼻头位置和眉毛位置的初始参数。根据所述标准表情模型以及当前交互用户的面部表情，获取所述交互用户的面部表情信息；其中，所述面部表情信息包括所述交互用户的眼珠位置信息、嘴角位置信息、鼻头位置信息和眉毛位置信息。

在一个实施例中，提供一种对交互用户进行面部表情捕捉，获取所述交互用户的面部表情信息的方法。

由于虚拟动画人物交互多用于虚拟游戏、元宇宙世界等场景，为了进一步提高在这些交互场景中用户进行交互的真实性，可使用VR或AR设备进行本申请的基于面部识别的动画人物即时交互控制方法，如使用AR眼镜设备作为用户终端，执行面部表情捕捉步骤，显示虚拟动画人物，完成与用户进行交互。AR眼镜是增强现实（Augmented Reality）应用的一种新型眼镜，大多数AR眼镜都具有显示、拍照、视频通话、处理文字信息、电子邮件、游戏娱乐等多样化功能。AR眼镜可以在显示现实景象的基础上，同时显示虚拟场景，用户甚至可以与虚拟场景进行交互，是未来智能硬件产品的一种新形态。

在本步骤中，本实施例在对交互用户进行面部表情捕捉，获取所述交互用户的面部表情信息时，可通过设置在AR眼镜两侧的自拍摄像装置C1获取交互用户的鼻头位置信息和嘴角位置信息，其中，所述自拍摄像装置C1可设置在所述AR眼镜镜框的两侧，用于分别拍摄左右嘴角位置信息，以及鼻头位置信息，如图4所示；进一步地，还可以通过该自拍摄像装置拍摄获取左右嘴角的图像以及鼻头位置的图像，通过分析左右嘴角的图像以及鼻头位置的图像，即可获得嘴角位置信息和鼻头位置信息。

而对于交互用户的眼珠位置信息和眉毛位置信息，则可通过设置在AR眼镜镜框内的红外摄像装置C2获取，如图5所示。所述红外摄像装置向内拍摄用户的眼睛红外图像和眉毛红外图像，通过对所述眼睛红外图像和眉毛红外图像作图像分析，即可获得用户的眼珠位置信息和眉毛位置信息。

步骤S103，根据所述交互用户的面部表情信息生成所述虚拟动画人物的表情控制码，根据所述表情控制码，从所述虚拟动画人物的表情数据库中获取对应的表情动画数据。

如图6所示，所述表情控制码包括人物标识字段、时间字段、眼珠位置字段、嘴角位置字段、鼻头位置字段和眉毛位置字段。

在本步骤中，根据当前时刻所述交互用户的眼珠位置信息生成眼珠位置字段；根据当前时刻所述交互用户的嘴角位置信息生成嘴角位置字段；根据当前时刻所述交互用户的鼻头位置信息生成鼻头位置字段；根据当前时刻所述交互用户的眉毛位置信息生成眉毛位置字段；根据当前时刻的时间信息生成时间字段；最后获取所述虚拟动画人物的人物标识字段，将所述人物标识字段、时间字段、眼珠位置字段、嘴角位置字段、鼻头位置字段和眉毛位置字段组合成所述表情控制码。

除此之外，所述表情控制码还可进一步包括必要的传输标识字段和结束标识字段。

在一个实施方式中，获取所述虚拟动画人物的表情变化数据，以便显示所述虚拟动画人物从上一时刻到当前时刻变化的表情动画数据。

首先，根据所述人物标识字段获取相应的虚拟动画人物的表情数据库；根据所述时间字段获取上一时刻所述虚拟动画人物对应的表情控制码。获取上一时刻的表情控制码中的眼珠位置字段、嘴角位置字段、鼻头位置字段和眉毛位置字段。根据当前时刻的所述眼珠位置字段与上一时刻的眼珠位置字段，从所述表情数据库中获取所述虚拟动画人物的眼珠位置表情变化数据。根据当前时刻的所述嘴角位置字段与上一时刻的嘴角位置字段，从所述表情数据库中获取所述虚拟动画人物的嘴角位置表情变化数据；根据当前时刻的所述鼻头位置字段与上一时刻的鼻头位置字段，从所述表情数据库中获取所述虚拟动画人物的鼻头位置表情变化数据。根据当前时刻的所述眉毛位置字段与上一时刻的眉毛位置字段，从所述表情数据库中获取所述虚拟动画人物的眉毛位置表情变化数据。将所述眼珠位置表情变化数据、所述嘴角位置表情变化数据、所述鼻头位置表情变化数据以及所述眉毛位置表情变化数据组合成所述虚拟动画人物的表情变化数据。在根据所述虚拟动画人物的表情变化数据，获取对应的表情动画数据。

在本步骤中，根据所述交互用户的面部表情信息生成所述虚拟动画人物的表情控制码，所述控制码的数据量很少，通常仅为几个字节，因此传输所述表情控制码非常方便，高效。通常步骤S102对交互用户进行面部表情捕捉以及本步骤中的生成表情控制码的步骤都可以在本地用户端执行，例如通过摄像装置拍摄获取面部表情信息，再通过本地用户终端，如智能手机，AV/VR控制设备，专用控制终端等，进行运算，获得对应的表情控制码。再通过本地用户终端将所述表情控制码发送给服务端，由服务端根据所述表情控制码，从所述虚拟动画人物的表情数据库中获取对应的表情动画数据，再返回本地用户终端。由于用户上传的只有表情控制码，因此传输过程非常省流，高效。

步骤S104，获取用户的动作指令，根据所述动作指令查找预先设置的动作数据库，获取与所述动作指令对应的动作动画数据；其中，所述动作数据库包含有所述虚拟动画人物的各种预设的动作动画数据及其对应的动作指令。

在本实施例中，对于表达交互情绪影响不大的虚拟动画人物的动作姿态的控制，直接采取用户发送动作指令，根据动作指令进行控制的方式。不再采用拍摄识别的方式，减少用户端设备的成本，降低对用户端的设备要求。所述动作指令仍然可以由本地用户端采集，然后发送至服务端进行查找，获取与所述动作指令对应的动作动画数据。所述动作指令可以有遥控，键盘等输入设备输入，也可以直接由拍摄装置拍摄交互用户的动作生成对应的控制指令。

其中，所述服务端需要预先构建所述动作数据库，所述动作数据包含有所述虚拟动画人物的各种预设的动作动画数据及其对应的动作指令。所述动作数据库可以在交互用户登录系统进行初始化设置时，根据用户的设置信息生成所述虚拟动画人物的形象，生成所述虚拟动画人物的模型后，根据所述模型产生。在一个优选实施方式中，根据所述设置信息生成交互用户的虚拟动画人物的三维模型。在服务器中，根据所述虚拟动画人物的三维模型数据，模拟生成所述虚拟动画人物的各种预设的动作动画数据。所述动作指令可拆分为包括上肢动作指令，下肢动作指令，躯干动作指令以及头部动作指令，对应的所述动作动画数据即包括上肢动作动画数据，下肢动作动画数据，躯干动作动画数据以及头部动作动画数据。

步骤S105，显示所述虚拟动画人物；其中，根据动作动画数据，显示所述虚拟动画人物的动作；根据所述表情动画数据，显示所述虚拟动画人物的面部表情。

获得所述动作动画数据以及所述表情动画数据之后，对所述动作动画数据和所述表情动画数据进行融合，根据动作动画数据，显示所述虚拟动画人物的动作；根据所述表情动画数据，显示所述虚拟动画人物的面部表情，生成所述虚拟动画人物的动画，显示所述虚拟动画人物。

在融合过程中，可以预先构建所述动作动画数据和所述表情动画数据的融合模型，即所述虚拟动画人物的显示模型，在获取到所述动作动画数据和所述表情动画数据后，将其输入值所述融合模型中进行融合，获得虚拟动画人物的动画并进行显示。

需要指出的是，由于分析对照查找或融合表情动画数据获得对应的虚拟动画人物的动画的数据处理量较大，一般在服务器中进行，由于服务器只需要获得对应的表情控制码以及动作指令，即可自动生成对应的动画数据并下发给用户端，因此，用户端只需要将表情控制码以及动作指令发送给服务端，在接收服务端下发的动画数据直接显示即可完成交互。用户端处理的数据量非常少，极大地提高了用户端的交互效率。

在本实施例中，可通过AR眼镜设备作为用户端，执行显示所述虚拟动画人物的步骤，完成与用户进行交互。AR眼镜在显示所述虚拟动画人物时，直接根据从服务端获取的动画数据进行显示。

作为一种优选的实施方式，针对AR眼镜设备这一特定的用户端，提供一种较优的显示控制方法。由于AR眼镜设备是将虚拟场景或任务显示在现实场景中，因此，AR眼镜设备中将同时显示虚拟场景和现实场景，通常现实场景会通过直接投射环境光的方式实现，而虚拟场景则通过显示设备投影在镜片内侧的反射光进入用户眼睛显示。因此，为增强AR眼镜设备中现实场景的真实性。在所述AR眼镜设备的镜片前端，设置一液晶遮光膜。所述液晶遮光膜用于对从外部射入AR眼镜设备的局部环境光进行阻隔，优选地对AR眼镜设备显示虚拟场景的部分区域进行环境光的阻隔，使AR眼镜设备对于虚拟场景的显示不受环境光的干扰。

对于所述虚拟动画人物其必然属于虚拟场景，因此首先根据所述虚拟动画人物的轮廓数据，获取所述虚拟动画人物在AR眼镜的图像显示装置中对应的第一显示位置，以及AR场景显示的第二显示位置。然后根据所述第一显示位置，获取设置在所述AR眼镜前端的液晶遮光膜的透光区域T与遮光区域B，如图7所示，其中，所述遮光区域与所述第一显示位置对应，所述透光区域与所述第二显示位置对应。再根据所述透光区域与遮光区域获取所述液晶遮光膜的控制指令，将所述控制指令发送至所述液晶遮光膜，以控制所述液晶遮光膜的透光区域位置透光，以及控制所述遮光区域遮光。最后在所述第一显示位置显示所述虚拟动画人物，在所述第二显示位置显示AR场景。优选地，所述第一显示位置为所述虚拟动画人物在所述AR场景中的未被遮挡区域的位置。

进一步地，为使所述动画人物的出场和离开场景变得更加自然。在显示所述虚拟动画人物时，当所述虚拟动画人物首次在所述AR场景中出场显示时，将所述遮光区域设置成半透光区域，其中，所述液晶遮光膜的半透光区域包括透光像素和非透光像素，所述透光像素和非透光像素在所述半透光区域呈矩阵式间隔排布。在所述第一显示位置以透明度逐渐减少的方式显示所述虚拟动画人物，并在所述虚拟动画人物的透明度减少到0时，将所述遮光区域设置成不透光区域。

当所述虚拟动画人物从所述AR场景中离场时，将所述遮光区域再次设置成半透光区域；在所述第一显示位置以透明度逐渐增加的方式显示所述虚拟动画人物，并在所述虚拟动画人物的透明度增加到100%时，将所述遮光区域设置成透光区域。

通过以上方式，可以根据动画人物的出现和消失时的特点，对AR眼镜前的遮光膜的遮光区域进行半透光处理，使人物出现和消失的效果更好，更逼真，提高交互动画的质量和效果。

请参阅图8，图8为本申请实施例提供的一种基于面部识别的动画人物即时交互控制装置的结构示意图。

所述基于面部识别的动画人物即时交互控制装置，包括：

初始化模块11，用于根据交互用户的设置信息，生成交互用户的虚拟动画人物，构建所述虚拟动画人物的表情数据库，其中，所述表情数据库包含有所述虚拟动画人物的各种预设的表情动画数据；

识别模块12，用于对交互用户进行面部表情捕捉，获取所述交互用户的面部表情信息；其中，所述面部表情信息包括所述交互用户的眼珠位置信息、嘴角位置信息、鼻头位置信息和眉毛位置信息；

处理模块13，用于根据所述交互用户的面部表情信息生成所述虚拟动画人物的表情控制码，根据所述表情控制码，从所述虚拟动画人物的表情数据库中获取对应的表情动画数据；获取用户的动作指令，根据所述动作指令查找预先设置的动作数据库，获取与所述动作指令对应的动作动画数据；其中，所述动作数据库包含有所述虚拟动画人物的各种预设的动作动画数据及其对应的动作指令；

显示控制模块14，用于显示所述虚拟动画人物；其中，根据动作动画数据，显示所述虚拟动画人物的动作；根据所述表情动画数据，显示所述虚拟动画人物的面部表情。

需要说明的是，上述实施例提供的基于面部识别的动画人物即时交互控制装置在执行基于面部识别的动画人物即时交互控制方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分为不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的基于面部识别的动画人物即时交互控制装置与基于面部识别的动画人物即时交互控制方法属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。

请参阅图9，图9为本申请实施例提供的计算机设备的结构示意图。该计算机设备21可以包括：处理器210、存储器211以及存储在该存储器211并可以在该处理器210上运行的计算机程序212，例如：直播用户配对互动程序；该处理器210执行该计算机程序212时实现上述实施例中的步骤。

其中，该处理器210可以包括一个或多个处理核心。处理器210利用各种接口和线路连接计算机设备21内的各个部分，通过运行或执行存储在存储器211内的指令、程序、代码集或指令集，以及调用存储器211内的数据，执行计算机设备21的各种功能和处理数据，可选的，处理器210可以采用数字信号处理（Digital Signal Processing, DSP）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）、可编程逻辑阵列（ProgrammableLogic Array，PLA）中的至少一个硬件形式来实现。处理器210可集成中央处理器（CentralProcessing Unit，CPU）、图像处理器（Graphics Processing Unit，GPU）和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责触摸显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不用集成到处理器210中，单独通过一块芯片进行实现。

其中，存储器211可以包括随机存储器（Random Access Memory，RAM），也可以包括只读存储器（Read-Only Memory）。可选的，该存储器211包括非瞬时性计算机可读介质（non-transitory computer-readable storage medium）。存储器211可用于存储指令、程序、代码、代码集或指令集。存储器211可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令（比如触控指令等）、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器211可选的还可以是至少一个位于远离前述处理器210的存储装置。

本申请实施例还提供了一种计算机存储介质，该计算机存储介质可以存储有多条指令，该指令适用于由处理器加载并执行上述实施例的方法步骤，具体执行过程可以参见上述实施例的具体说明，在此不进行赘述。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。

本发明并不局限于上述实施方式，如果对本发明的各种改动或变形不脱离本发明的精神和范围，倘若这些改动和变形属于本发明的权利要求和等同技术范围之内，则本发明也意图包含这些改动和变形。

Claims (10)

1.一种基于面部识别的动画人物即时交互控制方法，其特征在于，包括以下步骤：

根据交互用户的设置信息，生成交互用户的虚拟动画人物，构建所述虚拟动画人物的表情数据库，其中，所述表情数据库包含有所述虚拟动画人物的各种预设的表情动画数据；

对交互用户进行面部表情捕捉，获取所述交互用户的面部表情信息；其中，所述面部表情信息包括所述交互用户的眼珠位置信息、嘴角位置信息、鼻头位置信息和眉毛位置信息；

根据所述交互用户的面部表情信息生成所述虚拟动画人物的表情控制码，根据所述表情控制码，从所述虚拟动画人物的表情数据库中获取对应的表情动画数据；

获取用户的动作指令，根据所述动作指令查找预先设置的动作数据库，获取与所述动作指令对应的动作动画数据；其中，所述动作数据库包含有所述虚拟动画人物的各种预设的动作动画数据及其对应的动作指令；

显示所述虚拟动画人物；其中，根据动作动画数据，显示所述虚拟动画人物的动作；根据所述表情动画数据，显示所述虚拟动画人物的面部表情。

2.根据权利要求1所述的基于面部识别的动画人物即时交互控制方法，其特征在于，根据所述交互用户的面部表情信息生成所述虚拟动画人物的表情控制码的步骤包括：

根据当前时刻所述交互用户的眼珠位置信息生成眼珠位置字段；

根据当前时刻所述交互用户的嘴角位置信息生成嘴角位置字段；

根据当前时刻所述交互用户的鼻头位置信息生成鼻头位置字段；

根据当前时刻所述交互用户的眉毛位置信息生成眉毛位置字段；

根据当前时刻的时间信息生成时间字段；

获取所述虚拟动画人物的人物标识字段，将所述人物标识字段、时间字段、眼珠位置字段、嘴角位置字段、鼻头位置字段和眉毛位置字段组合成所述表情控制码。

3.根据权利要求2所述的基于面部识别的动画人物即时交互控制方法，其特征在于，根据所述表情控制码，从所述虚拟动画人物的表情数据库中获取对应的表情变化数据的步骤包括：

根据所述人物标识字段获取相应的虚拟动画人物的表情数据库；

根据所述时间字段获取上一时刻所述虚拟动画人物对应的表情控制码；

获取上一时刻的表情控制码中的眼珠位置字段、嘴角位置字段、鼻头位置字段和眉毛位置字段；

根据当前时刻的所述眼珠位置字段与上一时刻的眼珠位置字段，从所述表情数据库中获取所述虚拟动画人物的眼珠位置表情变化数据；根据当前时刻的所述嘴角位置字段与上一时刻的嘴角位置字段，从所述表情数据库中获取所述虚拟动画人物的嘴角位置表情变化数据；根据当前时刻的所述鼻头位置字段与上一时刻的鼻头位置字段，从所述表情数据库中获取所述虚拟动画人物的鼻头位置表情变化数据；根据当前时刻的所述眉毛位置字段与上一时刻的眉毛位置字段，从所述表情数据库中获取所述虚拟动画人物的眉毛位置表情变化数据；

将所述眼珠位置表情变化数据、所述嘴角位置表情变化数据、所述鼻头位置表情变化数据以及所述眉毛位置表情变化数据组合成所述虚拟动画人物的表情变化数据。

4.根据权利要求1至3任意一项所述的基于面部识别的动画人物即时交互控制方法，其特征在于，对交互用户进行面部表情捕捉，获取所述交互用户的面部表情信息的步骤包括：

通过设置在AR眼镜镜框两侧的自拍摄像装置获取交互用户的鼻头位置信息和嘴角位置信息，其中，所述自拍摄像装置设置在所述AR眼镜镜框的两侧，用于分别拍摄左右嘴角位置信息，以及鼻头位置信息；

通过设置在AR眼镜镜框内的红外摄像装置获取交互用户的眼珠位置信息和眉毛位置信息。

5.根据权利要求4所述的基于面部识别的动画人物即时交互控制方法，其特征在于，显示所述虚拟动画人物的步骤包括：

根据所述虚拟动画人物的轮廓数据，获取所述虚拟动画人物在AR眼镜的图像显示装置中对应的第一显示位置，以及AR场景显示的第二显示位置；

根据所述第一显示位置，获取设置在所述AR眼镜前端的液晶遮光膜的透光区域与遮光区域，其中，所述遮光区域与所述第一显示位置对应，所述透光区域与所述第二显示位置对应；

根据所述透光区域与遮光区域获取所述液晶遮光膜的控制指令，将所述控制指令发送至所述液晶遮光膜，以控制所述液晶遮光膜的透光区域位置透光，以及控制所述遮光区域遮光；

在所述第一显示位置显示所述虚拟动画人物，在所述第二显示位置显示AR场景。

6.根据权利要求5所述的基于面部识别的动画人物即时交互控制方法，其特征在于，显示所述虚拟动画人物的步骤还包括：

当所述虚拟动画人物首次在所述AR场景中出场显示时，将所述遮光区域设置成半透光区域，其中，所述液晶遮光膜的半透光区域包括透光像素和非透光像素，所述透光像素和非透光像素在所述半透光区域呈矩阵式间隔排布；

在所述第一显示位置以透明度逐渐减少的方式显示所述虚拟动画人物，并在所述虚拟动画人物的透明度减少到0时，将所述遮光区域设置成不透光区域。

7.根据权利要求6所述的基于面部识别的动画人物即时交互控制方法，其特征在于，显示所述虚拟动画人物的步骤还包括：

当所述虚拟动画人物从所述AR场景中离场时，将所述遮光区域再次设置成半透光区域；

在所述第一显示位置以透明度逐渐增加的方式显示所述虚拟动画人物，并在所述虚拟动画人物的透明度增加到100%时，将所述遮光区域设置成透光区域。

8.根据权利要求5所述的基于面部识别的动画人物即时交互控制方法，其特征在于，所述第一显示位置为所述虚拟动画人物在所述AR场景中的未被遮挡区域的位置。

9.一种基于面部识别的动画人物即时交互控制装置，其特征在于，包括：

初始化模块，用于根据交互用户的设置信息，生成交互用户的虚拟动画人物，构建所述虚拟动画人物的表情数据库，其中，所述表情数据库包含有所述虚拟动画人物的各种预设的表情动画数据；

识别模块，用于对交互用户进行面部表情捕捉，获取所述交互用户的面部表情信息；其中，所述面部表情信息包括所述交互用户的眼珠位置信息、嘴角位置信息、鼻头位置信息和眉毛位置信息；

处理模块，用于根据所述交互用户的面部表情信息生成所述虚拟动画人物的表情控制码，根据所述表情控制码，从所述虚拟动画人物的表情数据库中获取对应的表情动画数据；获取用户的动作指令，根据所述动作指令查找预先设置的动作数据库，获取与所述动作指令对应的动作动画数据；其中，所述动作数据库包含有所述虚拟动画人物的各种预设的动作动画数据及其对应的动作指令；

显示控制模块，用于显示所述虚拟动画人物；其中，根据动作动画数据，显示所述虚拟动画人物的动作；根据所述表情动画数据，显示所述虚拟动画人物的面部表情。

10.一种计算机设备，包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任意一项所述方法的步骤。

Images