CN109840019A - 虚拟人物的控制方法、装置及存储介质 - Google Patents

Abstract

本发明提供一种虚拟人物的控制方法、装置及存储介质。方法包括：获取待检测的人脸图像的人眼区域图像以及头部角度；将人眼区域图像转换为虚拟人物的人眼区域图像；将虚拟人物的人眼区域图像和头部角度输入到视线估计模型，得到人脸图像对应的视线角度；将视线角度输出至虚拟人物模型，其中本实施例的视线估计模型是采用多模态卷积神经网络结构对虚拟人物的人眼区域图像进行训练得到的。上述方法实现对真人图像的视线估计，并根据估计的视线角度驱动虚拟人物的视线运动，提高了视线迁移的准确度。

Description

虚拟人物的控制方法、装置及存储介质

技术领域

本发明实施例涉及计算机视觉技术领域，尤其涉及一种虚拟人物的控制方法、装置及存储介质。

背景技术

虚拟人领域是一个较新的领域，运用计算机图形图像技术与解剖学知识，建立一个与人相似的三维几何模型。该虚拟人可以有人的相貌、体型、骨骼以及器官模型，虚拟人还可以扮演某个角色与人沟通，也可以模拟用户的表情、肢体动作等。虚拟人包含很多方面的技术包括表情合成、动作迁移、表情迁移等，视线估计就是其中的一个研究方向。

在虚拟人领域，视线估计可以识别用户的关注点，也可以用人物的视线运动驱动虚拟人物眼球运动从而辅助表现表情，后者可以称为视线迁移。视线迁移的准确率取决于视线估计的准确率。目前视线估计的方法主要包括两类，一类是传统的基于模型的方法，一类是基于深度学习方法。

基于模型的方法包括通过眼睛形状、瞳孔和虹膜推断的方法和通过角膜反射推断的方法，这些方法的视线估计准确率不高；现有的基于深度学习的方法需要大量的有标注的人脸数据，然而标注大量的数据需要大量的人力和时间成本，由于数据获取的限制，视线估计以及视线迁移的精确度有待提高。

发明内容

本发明提供一种虚拟人物的控制方法、装置及存储介质，提高了视线迁移的准确度。

本发明的第一方面提供一种虚拟人物的控制方法，包括：

获取待检测的人脸图像的人眼区域图像以及头部角度；

将所述人眼区域图像转换为虚拟人物的人眼区域图像；

将所述虚拟人物的人眼区域图像和所述头部角度输入到视线估计模型，得到所述人脸图像对应的视线角度；所述视线估计模型是采用多模态卷积神经网络结构对虚拟人物的人眼区域图像进行训练得到的；

将所述视线角度输出至虚拟人物模型。

在一种可能的实现方式中，所述获取待检测的人脸图像的人眼区域图像，包括：

在转动方向对所述人脸图像进行旋转，得到旋转后的人脸图像；

从所述旋转后的人脸图像中获取所述人眼区域图像。

在一种可能的实现方式中，所述获取待检测的人脸图像的头部角度，包括：

对所述旋转后的人脸图像进行关键点定位，得到人脸关键点；

根据所述人脸关键点和平均3D人脸模型确定所述头部角度。

在一种可能的实现方式中，所述获取待检测的人脸图像的头部角度，包括：

对所述待检测的人脸图像进行关键点定位，得到人脸关键点；

根据所述人脸关键点和平均3D人脸模型确定所述头部角度。

在一种可能的实现方式中，所述根据所述人脸关键点和平均3D人脸模型确定所述头部角度，包括：

根据所述人脸关键点和平均3D人脸模型确定旋转矩阵；

根据所述旋转矩阵确定所述头部角度。

在一种可能的实现方式中，所述将所述人眼区域图像转换为虚拟人物的人眼区域图像，包括：

将所述人眼区域图像输入至预先训练好的风格迁移模型，得到与所述人眼区域图像对应的虚拟人物的人眼区域图像。

在一种可能的实现方式中，所述视线角度包括视线的偏航角和俯仰角。

本发明的第二方面提供一种虚拟人物的控制装置，包括：

获取模块，用于获取待检测的人脸图像的人眼区域图像以及头部角度；

转换模块，用于将所述人眼区域图像转换为虚拟人物的人眼区域图像；

视线估计模块，用于将所述虚拟人物的人眼区域图像和所述头部角度输入到视线估计模型，得到所述人脸图像对应的视线角度；所述视线估计模型是采用多模态卷积神经网络结构对虚拟人物的人眼区域图像进行训练得到的；

输出模块，用于将所述视线角度输出至虚拟人物模型。

本发明的第三方面提供一种虚拟人物的控制装置，包括：

存储器；

处理器；以及

计算机程序；

其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如本发明第一方面任一项所述的方法。

本发明的第四方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现如本发明第一方面任一项所述的方法。

本发明实施例提供一种虚拟人物的控制方法、装置及存储介质。方法包括：获取待检测的人脸图像的人眼区域图像以及头部角度；将人眼区域图像转换为虚拟人物的人眼区域图像；将虚拟人物的人眼区域图像和头部角度输入到视线估计模型，得到人脸图像对应的视线角度；将视线角度输出至虚拟人物模型，其中本实施例的视线估计模型是采用多模态卷积神经网络结构对虚拟人物的人眼区域图像进行训练得到的。上述方法实现对真人图像的视线估计，并根据估计的视线角度驱动虚拟人物的视线运动，提高了视线迁移的准确度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例提供的虚拟人物的控制方法的流程示意图；

图2为本发明实施例提供的人脸图像的旋转示意图；

图3为本发明一实施例提供的虚拟人物的控制装置的结构示意图；

图4为本发明一实施例提供的虚拟人物的控制装置的硬件结构图。

通过上述附图，已示出本发明明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本发明构思的范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，本文中使用的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

视线估计是计算机视觉领域的一个重要问题，视线估计的应用非常广泛，可以用于判断驾驶员开车精神不集中的情况，从而达到警告的目的；视线估计在人机交互领域也有很重要的地位；视线估计还可用于屏幕界面关注研究以及驱动游戏中人物等方面。本发明实施例提供的虚拟人物的控制方法涉及对真实人物的视线估计，用于确定真实人物的视线运动的相关参数，并将相关参数输入至虚拟人物模型，实现对虚拟人物视线的驱动。

首先对本发明实施例涉及的关键术语进行解释说明。

视线迁移：将真实人物的视线方向迁移到虚拟人物的视线方向。

虚拟人物：通过计算机技术模拟真实人体器官而合成的三维模型。

风格迁移：将一张图像的风格转换为另一张图像的风格而不改变其原有内容的一系列算法。

旋转矩阵：是图像平移、旋转、缩放变换的一种表达形式，表示由A状态到B状态的变换。

本发明实施例提供的虚拟人物的控制方法的核心在于视线估计模型，为了提高视线估计模型的准确度，本实施例的视线估计模型的训练数据是虚拟人物模型的人脸图像，训练数据具体是通过程序控制虚拟人物模型的头部角度和视线方向，从而得到大量有标注头部角度和视线方向的人脸图像数据，解决了现有模型训练数据获取的限制。

基于上述视线估计模型，为了完成对真实的人脸图像的视线估计，本实施例提出风格迁移的方法，利用风格迁移模型将真实的人眼区域图像转换成虚拟人物的眼睛区域图像，以便进行视线估计。风格迁移可以很好的解决数据跨域的问题。

下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

图1为本发明一实施例提供的虚拟人物的控制方法的流程示意图，图2为本发明实施例提供的人脸图像的旋转示意图。如图1所示，本发明实施例提供的虚拟人物的控制方法包括如下步骤：

S101、获取待检测的人脸图像的人眼区域图像以及头部角度；

通过图像采集装置获取待检测的人脸图像，对待检测的人脸图像进行预处理，其中预处理包括对人脸图像的旋转。

具体的，在转动方向对人脸图像进行旋转，得到旋转后的人脸图像；从旋转后的人脸图像中获取人眼区域图像。通过旋转处理，使得人脸图像中两只眼睛在同一水平线上，从而得到只与偏航方向和俯仰方向有关的眼睛区域图像，在转动方向对人脸图像的旋转可参见图2。

本实施例中，获取待检测的人脸图像的头部角度包括如下两种可能的实现方式：

在一种可能的实现方式中，直接对待检测的人脸图像进行关键点定位，得到人脸关键点，例如获取人脸区域的68个关键点；根据人脸关键点和平均3D人脸模型确定人脸图像的头部角度。人脸关键点的数量越多，头部角度的定位准确度越高。

本实施例中的平均3D人脸模型为标准3D人脸模型，模型对应的头部角度均为0，即转动角、偏航角和俯仰角均为0。同样的，人脸图像的头部角度包括转动角、偏航角、俯仰角。

具体的，直接对待检测的人脸图像进行关键点定位，得到人脸关键点；根据人脸关键点和平均3D人脸模型采用PNP算法，得到待检测的人脸图像对应的旋转矩阵R；旋转矩阵R乘以旋转向量得到旋转后的人脸图像对应的旋转矩阵R’，根据旋转后的人脸图像对应的旋转矩阵R’确定旋转后的人脸图像的头部角度。其中，旋转向量为对人脸图像进行预处理时的向量。

在另一种可能的实现方式中，在S101的基础上，对旋转后的人脸图像进行关键点定位，得到人脸关键点；根据人脸关键点和平均3D人脸模型采用PNP算法，得到旋转后的人脸图像对应的旋转矩阵R’；再根据旋转后的人脸图像对应的旋转矩阵R’确定旋转后的人脸图像的头部角度。

其中，根据旋转矩阵确定头部角度，具体是通过旋转矩阵中元素的相乘、相除、反三角函数等操作确定的。这部分与现有技术方案相同，此处不具体展开。

本实施例采用PNP算法通过已知的2D人脸关键点和平均3D人脸模型得到旋转矩阵，再根据旋旋转矩阵中元素的相乘、相除、反三角函数等操作确定人脸图像的头部角度。其中，旋转矩阵是一种3×3的正交矩阵。

可以理解，本实施例旋转后的人脸图像的头部角度的转动角为0。

S102、将人眼区域图像转换为虚拟人物的人眼区域图像；

本实施例中，将人眼区域图像输入至预先训练好的风格迁移模型，得到与人眼区域图像对应的虚拟人物的人眼区域图像。

其中，风格迁移模型用于将真实的人眼图像转换为与虚拟人物风格对应的人眼图像，保留真实的人物人眼图像的原有内容，例如眼睛的形状结构，将图像纹理转换为虚拟人物的图像纹理，从而解决了数据跨域的问题。

S103、将虚拟人物的人眼区域图像和头部角度输入到视线估计模型，得到人脸图像对应的视线角度；

其中，视线角度包括视线的偏航角和俯仰角，视线的偏航角为左右方向的角度，视线的俯仰角为上下方向的角度。

本实施例的视线估计模型是采用多模态卷积神经网络结构对虚拟人物的人眼区域图像进行训练得到的。

视线估计模型的训练阶段，输入虚拟人物的人眼区域图像以及对应的头部角度，输出预测的视线角度。将预测的视线角度与视线角度的真值比较，得到视线角度的差值，通过对大量人眼区域图像数据的深度学习，得到差值小于预设阈值的视线估计模型。

现有技术中模型训练的数据来自真人的人脸图像，需要花费大量的人力和时间成本对采集到真人的人脸图像进行标注和角度计算。本实施例视线估计模型的训练数据是通过程序控制虚拟人物模型的头部角度和视线角度截图得到的，如此可以得到大量的标注有头部角度和视线角度的虚拟人物的人脸图像数据，便于模型进行深度学习，从而解决了模型训练数据获取的限制。

S104、将视线角度输出至虚拟人物模型。

本发明实施例提供的虚拟人物的控制方法，通过获取待检测的人脸图像的人眼区域图像以及头部角度；将人眼区域图像转换为虚拟人物的人眼区域图像；将虚拟人物的人眼区域图像和头部角度输入到视线估计模型，得到人脸图像对应的视线角度；将视线角度输出至虚拟人物模型，其中本实施例的视线估计模型是采用多模态卷积神经网络结构对虚拟人物的人眼区域图像进行训练得到的。上述方法实现对真人图像的视线估计，并根据估计的视线角度驱动虚拟人物的视线运动，提高了视线迁移的准确度。

图3为本发明一实施例提供的虚拟人物的控制装置的结构示意图，如图3所示，本实施例提供的虚拟人物的控制装置30包括：

获取模块31，用于获取待检测的人脸图像的人眼区域图像以及头部角度；

转换模块32，用于将所述人眼区域图像转换为虚拟人物的人眼区域图像；

视线估计模块33，用于将所述虚拟人物的人眼区域图像和所述头部角度输入到视线估计模型，得到所述人脸图像对应的视线角度；

输出模块34，用于将所述视线角度输出至虚拟人物模型。

本发明实施例提供的虚拟人物的控制装置，包括获取模块、转换模块、视线估计模块和输出模块；其中，获取模块用于获取待检测的人脸图像的人眼区域图像以及头部角度；转换模块用于将人眼区域图像转换为虚拟人物的人眼区域图像；视线估计模块用于将虚拟人物的人眼区域图像和头部角度输入到视线估计模型，得到人脸图像对应的视线角度；输出模块用于将视线角度输出至虚拟人物模型。上述装置实现对真人图像的视线估计，并根据估计的视线角度驱动虚拟人物的视线运动，提高了视线迁移的准确度。

在上述实施例的基础上，可选的，所述获取模块31，具体用于：

在转动方向对所述人脸图像进行旋转，得到旋转后的人脸图像；

从所述旋转后的人脸图像中获取所述人眼区域图像。

可选的，所述获取模块31，具体用于：

对所述旋转后的人脸图像进行关键点定位，得到人脸关键点；

根据所述人脸关键点和平均3D人脸模型确定所述头部角度。

可选的，所述获取模块31，具体用于：

对所述待检测的人脸图像进行关键点定位，得到人脸关键点；

根据所述人脸关键点和平均3D人脸模型确定所述头部角度。

可选的，所述获取模块31，具体用于：

根据所述人脸关键点和平均3D人脸模型确定旋转矩阵；

根据所述旋转矩阵确定所述头部角度。

可选的，所述转换模块32，具体用于：

将所述人眼区域图像输入至预先训练好的风格迁移模型，得到与所述人眼区域图像对应的虚拟人物的人眼区域图像。

可选的，所述视线角度包括视线的偏航角和俯仰角。

本实施例提供的虚拟人物的控制装置，可以执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

本发明实施例还提供一种虚拟人物的控制装置，参见图4所示，本发明实施例仅以图4为例进行说明，并不表示本发明仅限于此。

图4为本发明一实施例提供的虚拟人物的控制装置的硬件结构示意图，如图4所示，本实施例提供的虚拟人物的控制装置40，包括：

存储器41；

处理器42；以及

计算机程序；

其中，计算机程序存储在存储器41中，并被配置为由处理器42执行以实现如前述任一项方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

可选的，存储器41既可以是独立的，也可以跟处理器42集成在一起。

当存储器41是独立于处理器42之外的器件时，虚拟人物的控制装置40还包括：

总线43，用于连接存储器41和处理器42。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器42执行以实现如上方法实施例中虚拟人物的控制装置40所执行的各个步骤。

在本发明所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述模块成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本申请各个实施例方法的部分步骤。

应理解，上述处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application Specific Integrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。

总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。

上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。

一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific Integrated Circuits，简称：ASIC)中。当然，处理器和存储介质也可以作为分立组件存在于电子设备或主控设备中。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种虚拟人物的控制方法，其特征在于，包括：

获取待检测的人脸图像的人眼区域图像以及头部角度；

将所述人眼区域图像转换为虚拟人物的人眼区域图像；

将所述虚拟人物的人眼区域图像和所述头部角度输入到视线估计模型，得到所述人脸图像对应的视线角度；所述视线估计模型是采用多模态卷积神经网络结构对虚拟人物的人眼区域图像进行训练得到的；

将所述视线角度输出至虚拟人物模型。

2.根据权利要求1所述的方法，其特征在于，所述获取待检测的人脸图像的人眼区域图像，包括：

在转动方向对所述人脸图像进行旋转，得到旋转后的人脸图像；

从所述旋转后的人脸图像中获取所述人眼区域图像。

3.根据权利要求2所述的方法，其特征在于，所述获取待检测的人脸图像的头部角度，包括：

对所述旋转后的人脸图像进行关键点定位，得到人脸关键点；

根据所述人脸关键点和平均3D人脸模型确定所述头部角度。

4.根据权利要求1所述的方法，其特征在于，所述获取待检测的人脸图像的头部角度，包括：

对所述待检测的人脸图像进行关键点定位，得到人脸关键点；

根据所述人脸关键点和平均3D人脸模型确定所述头部角度。

5.根据权利要求3或4所述的方法，其特征在于，所述根据所述人脸关键点和平均3D人脸模型确定所述头部角度，包括：

根据所述人脸关键点和平均3D人脸模型确定旋转矩阵；

根据所述旋转矩阵确定所述头部角度。

6.根据权利要求1所述的方法，其特征在于，所述将所述人眼区域图像转换为虚拟人物的人眼区域图像，包括：

将所述人眼区域图像输入至预先训练好的风格迁移模型，得到与所述人眼区域图像对应的虚拟人物的人眼区域图像。

7.根据权利要求1所述的方法，其特征在于，所述视线角度包括视线的偏航角和俯仰角。

8.一种虚拟人物的控制装置，其特征在于，包括：

获取模块，用于获取待检测的人脸图像的人眼区域图像以及头部角度；

转换模块，用于将所述人眼区域图像转换为虚拟人物的人眼区域图像；

视线估计模块，用于将所述虚拟人物的人眼区域图像和所述头部角度输入到视线估计模型，得到所述人脸图像对应的视线角度；所述视线估计模型是采用多模态卷积神经网络结构对虚拟人物的人眼区域图像进行训练得到的；

输出模块，用于将所述视线角度输出至虚拟人物模型。

9.一种虚拟人物的控制装置，其特征在于，包括：

存储器；

处理器；以及

计算机程序；

其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行以实现如权利要求1至7任一项所述的方法。