CN113313020B - 一种基于虚拟人的无标记面部表情捕获方法及系统 - Google Patents

Abstract

本发明公开了一种基于虚拟人的无标记面部表情捕获方法及系统，所述方法包括：获得包括真人面部图像信息的第一图像信息集合，并获得集合中所有图像信息的景深特征信息，色彩特征信息和五官位置特征信息；依据所得特征信息构建第一图像集合中所有图像的决策树；将集合中的图像信息输入决策树，构建真人表情分类数据库；获得第一虚拟人的面部图像信息；将其输入真人表情分类数据库，获得第一分类结果；根据第一虚拟人的面部特征信息和真人表情分类数据库进行相似度匹配，获得第一匹配结果；根据第一匹配结果，获得第M匹配结果；据此进一步获得第一虚拟人的第一面部表情。解决了现有技术中无法客观准确地获取虚拟人面部表情的技术问题。

Description

一种基于虚拟人的无标记面部表情捕获方法及系统

技术领域

本发明涉及人工智能领域，尤其涉及一种基于虚拟人的无标记面部表情捕获方法及系统。

背景技术

面部表情是人类社交中传递情绪状态的重要方式之一，它与手势、语言、声音及肢体姿势一起构成了人类在社会环境中的基本交流系统。随着计算机性能的提升和计算机图形学的发展，以面部表情为对象的虚拟人脸表情研究已成为当下计算机视觉领域非常活跃的方向之一。其研究成果广泛应用于虚拟教学、表情分析、混合现实、人工智能、电影特效制作等领域。目前，虚拟人表情研究总体上可分为基于几何、基于图像、基于运动跟踪的研究方法。其中基于几何的研究方法主要包括关键帧插值法、参数化方法、肌肉模型法等；基于图像的方法主要包括：图像变形、动态纹理映射、面色变化的表情等。研究者通过各种方法获得人脸面部表情后，将其转化为数字化的“抽象表情”，以便动画软件将它“赋予”虚拟人，使虚拟人具有和人类一样的表情，并生成最终的表情动画序列。

本申请发明人在实现本申请实施例中发明技术方案的过程中，发现上述技术至少存在如下技术问题：

现有技术中存在仅通过人们主观感受来评价虚拟人面部表情，而没有办法客观准确地获取虚拟人面部表情的技术问题。

发明内容

本申请实施例通过提供一种基于虚拟人的无标记面部表情捕获方法及系统，所述方法包括：获得第一图像信息集合，所述第一图像信息集合包括N个真人面部图像信息；获得所述第一图像信息集合中所有图像信息的景深特征信息，色彩特征信息和五官位置特征信息；基于所述景深特征信息，色彩特征信息和五官位置特征信息，构建所述第一图像集合中所有图像的决策树；将所述第一图像信息集合中的所有图像信息输入所述决策树，进行分类存储，构建真人表情分类数据库；获得第一图像信息，所述第一图像信息包括第一虚拟人的面部图像信息；将所述第一图像信息输入所述真人表情分类数据库进行特征分类，获得第一分类结果；根据所述第一虚拟人的面部特征信息和所述真人表情分类数据库中真人通过第一匹配动作进行相似度匹配，获得第一匹配结果；根据所述第一匹配结果，获得第M匹配结果；根据所述第M匹配结果和所述第一分类结果，获得所述第一虚拟人的第一面部表情。解决了现有技术中存在仅通过人们主观感受来评价虚拟人面部表情，而没有办法客观准确地获取虚拟人面部表情的技术问题。达到了客观准确地获取虚拟人面部表情，同时利用决策树分类回归方法，有效提高了虚拟人面部表情分析效率，确保虚拟人无标记面部表情捕获准确性的技术效果。

鉴于上述问题，本申请实施例提供了一种基于虚拟人的无标记面部表情捕获方法及系统。

第一方面，本申请提供了一种基于虚拟人的无标记面部表情捕获方法，其中，所述方法包括：获得第一图像信息集合，所述第一图像信息集合包括N个真人面部图像信息；获得所述第一图像信息集合中所有图像信息的景深特征信息，色彩特征信息和五官位置特征信息；基于所述景深特征信息，色彩特征信息和五官位置特征信息，构建所述第一图像集合中所有图像的决策树；将所述第一图像信息集合中的所有图像信息输入所述决策树，进行分类存储，构建真人表情分类数据库；获得第一图像信息，所述第一图像信息包括第一虚拟人的面部图像信息；将所述第一图像信息输入所述真人表情分类数据库进行特征分类，获得第一分类结果；根据所述第一虚拟人的面部特征信息和所述真人表情分类数据库中真人通过第一匹配动作进行相似度匹配，获得第一匹配结果；根据所述第一匹配结果，获得第M匹配结果；根据所述第M匹配结果和所述第一分类结果，获得所述第一虚拟人的第一面部表情。

另一方面，本申请还提供了一种基于虚拟人的无标记面部表情捕获系统，其中，所述系统包括：第一获得单元：所述第一获得单元用于获得第一图像信息集合，所述第一图像信息集合包括N个真人面部图像信息；第二获得单元：所述第二获得单元用于获得所述第一图像信息集合中所有图像信息的景深特征信息，色彩特征信息和五官位置特征信息；第一构建单元：所述第一构建单元用于基于所述景深特征信息，色彩特征信息和五官位置特征信息，构建所述第一图像集合中所有图像的决策树；第二构建单元：所述第二构建单元用于将所述第一图像信息集合中的所有图像信息输入所述决策树，进行分类存储，构建真人表情分类数据库；第三获得单元：所述第三获得单元用于获得第一图像信息，所述第一图像信息包括第一虚拟人的面部图像信息；第四获得单元：所述第四获得单元用于将所述第一图像信息输入所述真人表情分类数据库进行特征分类，获得第一分类结果；第五获得单元：所述第五获得单元用于根据所述第一虚拟人的面部特征信息和所述真人表情分类数据库中真人通过第一匹配动作进行相似度匹配，获得第一匹配结果；第六获得单元：所述第六获得单元用于根据所述第一匹配结果，获得第M匹配结果；第七获得单元：所述第七获得单元用于根据所述第M匹配结果和所述第一分类结果，获得所述第一虚拟人的第一面部表情。

第三方面，本申请实施例还提供了一种基于虚拟人的无标记面部表情捕获系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现上述第一方面所述方法的步骤。

本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

1、通过获得第一图像信息集合，所述第一图像信息集合包括N个真人面部图像信息；获得所述第一图像信息集合中所有图像信息的景深特征信息，色彩特征信息和五官位置特征信息；基于所述景深特征信息，色彩特征信息和五官位置特征信息，构建所述第一图像集合中所有图像的决策树；将所述第一图像信息集合中的所有图像信息输入所述决策树，进行分类存储，构建真人表情分类数据库；获得第一图像信息，所述第一图像信息包括第一虚拟人的面部图像信息；将所述第一图像信息输入所述真人表情分类数据库进行特征分类，获得第一分类结果；根据所述第一虚拟人的面部特征信息和所述真人表情分类数据库中真人通过第一匹配动作进行相似度匹配，获得第一匹配结果；根据所述第一匹配结果，获得第M匹配结果；根据所述第M匹配结果和所述第一分类结果，获得所述第一虚拟人的第一面部表情。达到了客观准确地获取虚拟人面部表情的技术效果。

2、通过构建第一图像集合中所有图像的决策树，可将第一图像信息集合中的所有图像信息进行分类存储，然后通过决策树构建真人表情分类数据库，将第一图像信息输入真人表情分类数据库进行特征分类，达到了快速准确地匹配到真人表情，提高虚拟人面部表情捕获效率的技术效果。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

图1为本申请实施例一种基于虚拟人的无标记面部表情捕获方法的流程示意图；

图2为本申请实施例一种基于虚拟人的无标记面部表情捕获系统的结构示意图；

图3为本申请实施例示例性电子设备的结构示意图。

附图标记说明：第一获得单元11，第二获得单元12，第一构建单元13，第二构建单元14，第三获得单元15，第四获得单元16，第五获得单元17，第六获得单元18，第七获得单元19，总线300，接收器301，处理器302，发送器303，存储器304，总线接口305。

具体实施方式

本申请实施例通过提供一种基于虚拟人的无标记面部表情捕获方法及系统，解决了现有技术中存在仅通过人们主观感受来评价虚拟人面部表情，而没有办法客观准确地获取虚拟人面部表情的技术问题，达到了客观准确地获取虚拟人面部表情，同时利用决策树分类回归方法，有效提高了虚拟人面部表情分析效率，确保虚拟人无标记面部表情捕获准确性的技术效果。

下面，将参考附图详细的描述本申请的示例实施例，显然，所描述的实施例仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

申请概述

面部表情是人类社交中传递情绪状态的重要方式之一，它与手势、语言、声音及肢体姿势一起构成了人类在社会环境中的基本交流系统。随着计算机性能的提升和计算机图形学的发展，以面部表情为对象的虚拟人脸表情研究已成为当下计算机视觉领域非常活跃的方向之一。其研究成果广泛应用于虚拟教学、表情分析、混合现实、人工智能、电影特效制作等领域。目前，虚拟人表情研究总体上可分为基于几何、基于图像、基于运动跟踪的研究方法。其中基于几何的研究方法主要包括关键帧插值法、参数化方法、肌肉模型法等；基于图像的方法主要包括：图像变形、动态纹理映射、面色变化的表情等。研究者通过各种方法获得人脸面部表情后，将其转化为数字化的“抽象表情”，以便动画软件将它“赋予”虚拟人，使虚拟人具有和人类一样的表情，并生成最终的表情动画序列。

现有技术中存在仅通过人们主观感受来评价虚拟人面部表情，而没有办法客观准确地获取虚拟人面部表情的技术问题。

针对上述技术问题，本申请提供的技术方案总体思路如下：

本申请提供了一种基于虚拟人的无标记面部表情捕获方法，所述方法应用于一种基于虚拟人的无标记面部表情捕获系统，其中，所述方法包括：获得第一图像信息集合，所述第一图像信息集合包括N个真人面部图像信息；获得所述第一图像信息集合中所有图像信息的景深特征信息，色彩特征信息和五官位置特征信息；基于所述景深特征信息，色彩特征信息和五官位置特征信息，构建所述第一图像集合中所有图像的决策树；将所述第一图像信息集合中的所有图像信息输入所述决策树，进行分类存储，构建真人表情分类数据库；获得第一图像信息，所述第一图像信息包括第一虚拟人的面部图像信息；将所述第一图像信息输入所述真人表情分类数据库进行特征分类，获得第一分类结果；根据所述第一虚拟人的面部特征信息和所述真人表情分类数据库中真人通过第一匹配动作进行相似度匹配，获得第一匹配结果；根据所述第一匹配结果，获得第M匹配结果；根据所述第M匹配结果和所述第一分类结果，获得所述第一虚拟人的第一面部表情。

在介绍了本申请基本原理后，下面将结合说明书附图来具体介绍本申请的各种非限制性的实施方式。

实施例一

如图1所示，本申请实施例提供了一种基于虚拟人的无标记面部表情捕获方法，其中，所述方法应用于一种基于虚拟人的无标记面部表情捕获系统，所述方法包括：

步骤S100：获得第一图像信息集合，所述第一图像信息集合包括N个真人面部图像信息；

步骤S200：获得所述第一图像信息集合中所有图像信息的景深特征信息，色彩特征信息和五官位置特征信息；

具体而言，第一图像信息集合是指录入了大量真实人脸表情图像的信息集合。进一步可以得到第一图像信息集合中所有真实人脸表情图像的景深特征信息，色彩特征信息和五官位置特征信息。

景深特征信息是指真实人脸表情图像中的景深距离。景深是指聚焦清晰的焦点前后“可接受的清晰区域”。这段距离的特点是实焦点后面清晰的距离要长于前面清晰的距离。清晰范围前后较短的一般称之为景深浅或景深短；而清晰范围较大的一般称之为景深深或景深长。举例如：在动物园将镜头焦点调在老虎的眼睛上，在底片上老虎的眼睛就是最清晰的，而这时老虎的嘴巴和其身后的树皮，在最终的照片上也显出可以接受的清晰影像。当你的视线从调焦点的眼睛移开时，模糊的程度就逐渐加大。在近处前景和远处背景上的物体离老虎越远，清晰度就越差。

色彩特征信息是指真实人脸表情图像中的颜色类别及范围。颜色分为两大类：非彩色和彩色。非彩色是指黑色、白色和在这两者之间深浅不同的灰色，非彩色只有明度的差别。彩色是指除了黑白系列以外的各种颜色。要确切的说明某一种颜色，必须考虑到颜色的三个基本特征：色调、饱和度和明度。这三者在视觉中组成一个统一的视觉效果。

五官位置特征信息是指真实人脸表情图像中五官的位置和间距。五官是指人们常说的“眉、眼、耳、鼻、口”五种影响容貌的面部特征。举例如有些人眉眼间距宽，有些人眉眼间距窄。在美术中，有形容五官位置的“三庭五眼”，简单来说，就是把头部上中下分为三等分，把头的宽度分为五等分。

步骤S300：基于所述景深特征信息，色彩特征信息和五官位置特征信息，构建所述第一图像集合中所有图像的决策树；

具体而言，决策树是一种十分常用的分类回归方法，从根节点开始，对实例的某一特征进行测试，根据测试结果将实例分配到其子节点，此时每个子节点对应着该特征的一个取值，如此递归的对实例进行测试并分配，直到到达叶节点，最后将实例分到叶节点的类中。

步骤S400：将所述第一图像信息集合中的所有图像信息输入所述决策树，进行分类存储，构建真人表情分类数据库；

具体而言，真人表情分类数据库是指将真实人脸表情图像按照一定的分类标准依次分入相应组别，从而建立的数据库。决策树是一种监督学习，所谓监督学习就是给定一堆样本，每个样本都有一组属性和一个类别，这些类别是事先确定的，那么通过学习得到一个分类器，这个分类器能够对新出现的对象给出正确的分类。这样的机器学习就被称之为监督学习。

在本申请实施例中，样本即第一图像信息集合中的所有真实人脸表情图像，将所有真实人脸表情图像信息输入决策树，依据各图像的景深特征信息，色彩特征信息和五官位置特征信息进行分类存储，进而构建真人表情分类数据库。

步骤S500：获得第一图像信息，所述第一图像信息包括第一虚拟人的面部图像信息；

步骤S600：将所述第一图像信息输入所述真人表情分类数据库进行特征分类，获得第一分类结果；

具体而言，第一图像信息是指需要获取其面部表情的虚拟人图像。第一图像信息包括待获取表情信息的虚拟人面部表情图像。将第一图像信息输入真人表情分类数据库中，真人表情分类数据库依据其景深特征信息，色彩特征信息和五官位置特征信息对其进行特征分类，进而得到该待获取表情的虚拟人图像的分类结果。举例如某虚拟人面部表情图像的分类结果为景深浅，彩色图像，眼睛大，眉、耳、鼻、口大小中等，此外眉眼距离较宽。

步骤S700：根据所述第一虚拟人的面部特征信息和所述真人表情分类数据库中真人通过第一匹配动作进行相似度匹配，获得第一匹配结果；

具体而言，第一虚拟人的面部特征信息是指待获取表情信息的虚拟人的面部景深特征信息，色彩特征信息和五官位置特征信息。基于现有的第一图像集合中所有图像构建了决策树，进而通过该模型对虚拟人的面部表情数据集进行分类学习，使得快速准确的匹配到基于所述第一图像信息的第一根节点特征信息，针对所述第一图像信息的实际情况进行最为匹配的真实人脸表情图像，即第一匹配结果。

步骤S800：根据所述第一匹配结果，获得第M匹配结果；

具体而言，通过获得实际尽可能多的分类特征，进而对各种特征进行信息熵的计算，通过对信息熵最小的特征进行特征选择和优先分类，同时按照同样的方法，对其他分类特征进行信息熵的递归分类，获得第M匹配结果，使得最终构建的第一图像集合中所有图像的决策树分类更加准确，通过将虚拟人的面部表情输入构建好的决策树，使得快速准确的匹配到较为合适的匹配信息，达到了基于虚拟人面部特征对其进行快速匹配，提高虚拟人无标记面部表情捕获效率的技术效果。

步骤S900：根据所述第M匹配结果和所述第一分类结果，获得所述第一虚拟人的第一面部表情。

具体而言，第M匹配结果是指虚拟人图像信息与真人表情分类数据库中真人相似度匹配更加准确的结果。第一分类结果是指将第一图像信息输入真人表情分类数据库中，真人表情分类数据库依据其景深特征信息，色彩特征信息和五官位置特征信息对其进行特征分类，进而得到该待获取表情的虚拟人图像的分类结果。依据第M匹配结果和第一分类结果即可得到第一虚拟人的第一面部表情。

进一步而言，所述基于所述景深特征信息，色彩特征信息和五官位置特征信息，构建所述第一图像集合中所有图像的决策树，本申请实施例步骤S300还包括：

步骤S310：对所述N个真人面部图像信息的所述景深特征信息进行信息编码论运算，获得第一特征信息熵；

步骤S320：对所述N个真人面部图像信息的所述色彩特征信息进行信息编码论运算，获得第二特征信息熵；

步骤S330：对所述N个真人面部图像信息的所述五官位置特征信息进行信息编码论运算，获得第三特征信息熵；

步骤S340：将所述第一特征信息熵、所述第二特征信息熵和所述第三特征信息熵输入顺序排列模型，获得第一根节点特征信息；

步骤S350：根据所述第一根节点特征信息和所述第一图像信息集合，构建所述第一图像集合中所有图像的决策树。

具体而言，基于景深特征信息，获得第一分级特征，即可基于景深特征信息数据集对第一图像集合中的所有图像进行分类；基于色彩特征信息作为第二分级特征，对第一图像集合中的所有图像进行分类；基于五官位置特征信息作为第三分级特征，对第一图像集合中的所有图像进行分类。为了具体构建所述第一图像集合中所有图像的决策树，可分别对所述第一分级特征、所述第二分级特征以及所述第三分级特征进行信息熵的运算，即通过信息论编码中的信息熵计算公式：

其中，t表示随机变量，与之相对应的是所有可能输出的集合，定义为符号集，随机变量的输出用t表示，p(i|t)表示输出概率函数，变量的不确定性越大，熵也就越大。

对其进行信息熵数值的具体计算，进而获得对应的所述第一特征信息熵、所述第二特征信息熵以及所述第三特征信息熵，进一步，基于所述数据大小比对模型对所述第一特征信息熵、所述第二特征信息熵以及所述第三特征信息熵进行大小数值的比对，继而获得熵值最小的特征，即第一根节点特征信息，通过对熵值最小的特征进行优先分类，继而按照熵值由小到大的顺序，依次对各图像特征进行递归算法的分类，最终构建第一图像集合中所有图像的决策树。

进一步而言，所述根据所述第一虚拟人的面部特征信息和所述真人表情分类数据库中真人进行相似度匹配，获得第一匹配结果之后，本申请实施例步骤S700还包括：

步骤S710：根据所述第一匹配结果，对所述第一匹配动作进行优化，获得第二匹配动作；

步骤S720：以此类推，根据第N-1匹配结果，对第N-1匹配动作进行优化，获得第N匹配动作，其中，所述第N-1匹配结果满足预定匹配结果阈值；

步骤S730：根据所述第一匹配结果、第一匹配动作和第一匹配状态，直到所述第N匹配结果，所述第N匹配动作，以及第N匹配状态，构建相似度匹配状态的马尔科夫链；

步骤S740：根据所述相似度匹配状态的马尔科夫链和所述第一匹配动作，获得第一极值匹配结果。

具体而言，第N匹配结果是指由第N-1匹配结果按照同样的方法，对其他分类特征进行进一步递归分类的结果。同样的，第N匹配动作是指由第N匹配动作按照同样的方法，对其他分类特征进行进一步递归分类的结果。第N匹配状态是指由第N匹配状态按照同样的方法，对其他分类特征进行进一步递归分类的结果。因此，第N匹配结果对应第N匹配动作以及第N匹配状态。

马尔科夫链是概率论和数理统计中具有马尔可夫性质且存在于离散的指数集和状态空间内的随机过程。马尔科夫链描述了一种状态序列，其每个状态值取决于前面有限个状态。马尔可夫链是具有马尔可夫性质的随机变量的一个数列。这些变量的范围，即它们所有可能取值的集合，被称为“状态空间”。根据相似度匹配状态的马尔科夫链和第一匹配动作可以获得第一极值匹配结果。

进一步而言，本申请实施例步骤S700还包括：

步骤S750：获得所述第N状态和所述第N-1匹配动作的第N映射关系；

步骤S760：根据所述第N映射关系和所述马尔科夫链，构建相似度匹配状态数据库。

具体而言，马尔科夫链属于随机过程理论中的典型代表，它依靠使用当前系统的状态通过求解状态转移矩阵推断下一次等时距的系统所处状态。因此马尔科夫理论的优势就是无记忆性，当前状态与历史状态无关，而是基于下个未来状态。马尔科夫链适用于随机性大、数据波动明显的随机系统。

基于第N状态和第N状态的上一次状态对应的匹配动作，即第N-1状态对应的第N-1匹配动作，可以得到第N映射关系。进一步的，可以根据第N映射关系和所述马尔科夫链，可以构建状态与动作的映射关系的数据库，即相似度匹配状态数据库。

进一步而言，所述根据所述第一匹配结果，获得第M匹配结果，本申请实施例步骤S800包括：

步骤S810：获得所述第一图像信息处于第一期望匹配状态的第一期望概率；

步骤S820：将所述第一期望匹配状态输入所述相似度匹配状态数据库进行查找，获得第M匹配状态和所述第M匹配状态发生的第一概率；

步骤S830：判断所述第一概率是否满足所述第一期望概率；

步骤S840：若所述第一概率满足所述第一期望概率，获得所述第M匹配状态对应的第M匹配结果，其中，所述M为正整数。

具体而言，第一匹配结果是指基于第一图像集合中所有图像构建的决策树，进而通过该模型对虚拟人的面部表情数据集进行分类学习，使得快速准确的匹配到基于所述第一图像信息的第一根节点特征信息，针对所述第一图像信息的实际情况进行最为匹配的相似度匹配状态数据库。相似度匹配状态数据库是指与虚拟人面部表情图像相似度较高的真实人脸表情图像数据集。将第一期望匹配状态输入相似度匹配状态数据库进行查找，获得第M匹配状态和第M匹配状态发生的第一概率。其中，M为大于0小于N的整数。若所述第一概率满足第一图像信息处于第一期望匹配状态时的第一期望概率，则获得当前第M匹配状态对应的第M匹配结果。

进一步而言，所述根据所述第M匹配结果和所述第一分类结果，获得所述第一虚拟人的第一面部表情，本申请实施例步骤S900包括：

步骤S910：根据所述第一分类结果，获得第一真人类别信息，其中，所述第一真人类别信息包括与所述第一虚拟人相同特征的真人信息；

步骤S920：在所述第一真人类别信息中，获得所述第M匹配结果，获得所述第一虚拟人的第一面部表情。

具体而言，在本申请实施例中根据第一分类结果可以获得与第一图像信息相同特征的真人信息。第一真人类别信息是指与第一图像信息中虚拟人面部表情相似度最高的真人类别信息。根据该第M匹配状态可以得到相应第M匹配结果，进一步可得到第一图像信息中虚拟人的面部表情信息。

综上所述，本申请实施例所提供的一种基于虚拟人的无标记面部表情捕获方法具有如下技术效果：

1、通过获得第一图像信息集合，所述第一图像信息集合包括N个真人面部图像信息；获得所述第一图像信息集合中所有图像信息的景深特征信息，色彩特征信息和五官位置特征信息；基于所述景深特征信息，色彩特征信息和五官位置特征信息，构建所述第一图像集合中所有图像的决策树；将所述第一图像信息集合中的所有图像信息输入所述决策树，进行分类存储，构建真人表情分类数据库；获得第一图像信息，所述第一图像信息包括第一虚拟人的面部图像信息；将所述第一图像信息输入所述真人表情分类数据库进行特征分类，获得第一分类结果；根据所述第一虚拟人的面部特征信息和所述真人表情分类数据库中真人通过第一匹配动作进行相似度匹配，获得第一匹配结果；根据所述第一匹配结果，获得第M匹配结果；根据所述第M匹配结果和所述第一分类结果，获得所述第一虚拟人的第一面部表情。达到了客观准确地获取虚拟人面部表情的技术效果。

2、通过构建第一图像集合中所有图像的决策树，可将第一图像信息集合中的所有图像信息进行分类存储，然后通过决策树构建真人表情分类数据库，将第一图像信息输入真人表情分类数据库进行特征分类，达到了快速准确地匹配到真人表情，提高虚拟人面部表情捕获效率的技术效果。

实施例二

基于与前述实施例中一种基于虚拟人的无标记面部表情捕获方法，同样发明构思，本发明还提供了一种基于虚拟人的无标记面部表情捕获系统，如图2所示，所述系统包括：

第一获得单元11，所述第一获得单元11用于获得第一图像信息集合，所述第一图像信息集合包括N个真人面部图像信息；

第二获得单元12，所述第二获得单元12用于获得所述第一图像信息集合中所有图像信息的景深特征信息，色彩特征信息和五官位置特征信息；

第一构建单元13，所述第一构建单元13用于基于所述景深特征信息，色彩特征信息和五官位置特征信息，构建所述第一图像集合中所有图像的决策树；

第二构建单元14，所述第二构建单元14用于将所述第一图像信息集合中的所有图像信息输入所述决策树，进行分类存储，构建真人表情分类数据库；

第三获得单元15，所述第三获得单元15用于获得第一图像信息，所述第一图像信息包括第一虚拟人的面部图像信息；

第四获得单元16，所述第四获得单元16用于将所述第一图像信息输入所述真人表情分类数据库进行特征分类，获得第一分类结果；

第五获得单元17，所述第五获得单元17用于根据所述第一虚拟人的面部特征信息和所述真人表情分类数据库中真人通过第一匹配动作进行相似度匹配，获得第一匹配结果；

第六获得单元18，所述第六获得单元18用于根据所述第一匹配结果，获得第M匹配结果；

第七获得单元19，所述第七获得单元19用于根据所述第M匹配结果和所述第一分类结果，获得所述第一虚拟人的第一面部表情。

进一步地，所述系统还包括：

第八获得单元，所述第八获得单元用于对所述N个真人面部图像信息的所述景深特征信息进行信息编码论运算，获得第一特征信息熵；

第九获得单元，所述第九获得单元用于对所述N个真人面部图像信息的所述色彩特征信息进行信息编码论运算，获得第二特征信息熵；

第十获得单元，所述第十获得单元用于对所述N个真人面部图像信息的所述五官位置特征信息进行信息编码论运算，获得第三特征信息熵；

第十一获得单元，所述第十一获得单元用于将所述第一特征信息熵、所述第二特征信息熵和所述第三特征信息熵输入顺序排列模型，获得第一根节点特征信息；

第三构建单元，所述第三构建单元用于根据所述第一根节点特征信息和所述第一图像信息集合，构建所述第一图像集合中所有图像的决策树。

进一步地，所述系统还包括：

第十二获得单元，所述第十二获得单元用于根据所述第一匹配结果，对所述第一匹配动作进行优化，获得第二匹配动作；

第十三获得单元，所述第十三获得单元用于以此类推，根据第N-1匹配结果，对第N-1匹配动作进行优化，获得第N匹配动作，其中，所述第N-1匹配结果满足预定匹配结果阈值；

第四构建单元，所述第四构建单元用于根据所述第一匹配结果、第一匹配动作和第一匹配状态，直到所述第N匹配结果，所述第N匹配动作，以及第N匹配状态，构建相似度匹配状态的马尔科夫链；

第十四获得单元，所述第十四获得单元用于根据所述相似度匹配状态的马尔科夫链和所述第一匹配动作，获得第一极值匹配结果。

进一步地，所述系统还包括：

第十五获得单元，所述第十五获得单元用于获得所述第N状态和所述第N-1匹配动作的第N映射关系；

第五构建单元，所述第五构建单元用于根据所述第N映射关系和所述马尔科夫链，构建相似度匹配状态数据库。

进一步地，所述系统还包括：

第十六获得单元，所述第十六获得单元用于获得所述第一图像信息处于第一期望匹配状态的第一期望概率；

第十七获得单元，所述第十七获得单元用于将所述第一期望匹配状态输入所述似度匹配状态数据库进行查找，获得第M匹配状态和所述第M匹配状态发生的第一概率；

第一判断单元，所述第一判断单元用于判断所述第一概率是否满足所述第一期望概率；

第十八获得单元，所述第十八获得单元用于若所述第一概率满足所述第一期望概率，获得所述第M匹配状态对应的第M匹配结果，其中，所述M为正整数。

进一步地，所述系统还包括：

第十九获得单元，所述第十九获得单元用于根据所述第一分类结果，获得第一真人类别信息，其中，所述第一真人类别信息包括与所述第一虚拟人相同特征的真人信息；

第二十获得单元，所述第二十获得单元用于在所述第一真人类别信息中，获得所述第M匹配结果，获得所述第一虚拟人的第一面部表情。

前述图1实施例一中的基于一种基于虚拟人的无标记面部表情捕获的方法和具体实例同样适用于本实施例的基于一种基于虚拟人的无标记面部表情捕获的系统，通过前述对基于一种基于虚拟人的无标记面部表情捕获的方法及系统的详细描述，本领域技术人员可以清楚的知道本实施例中基于一种基于虚拟人的无标记面部表情捕获的系统，所以为了说明书的简洁，在此不再详述。

示例性电子设备

下面参考图3来描述本申请实施例的电子设备。

图3图示了根据本申请实施例的电子设备的结构示意图。

基于与前述实施例中一种基于虚拟人的无标记面部表情捕获方法的发明构思，本发明还提供一种基于虚拟人的无标记面部表情捕获系统，其上存储有计算机程序，该程序被处理器执行时实现前文所述一种基于虚拟人的无标记面部表情捕获方法的任一方法的步骤。

其中，在图3中，总线架构(用总线300来代表)，总线300可以包括任意数量的互联的总线和桥，总线300将包括由处理器302代表的一个或多个处理器和存储器304代表的存储器的各种电路链接在一起。总线300还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口305在总线300和接收器301和发送器303之间提供接口。接收器301和发送器303可以是同一个元件，即收发机，提供用于在传输介质上与各种其他装置通信的单元。

处理器302负责管理总线300和通常的处理，而存储器304可以被用于存储处理器302在执行操作时所使用的数据。

本申请提供了一种基于虚拟人的无标记面部表情捕获的方法，所述方法应用于一种基于虚拟人的无标记面部表情捕获系统，其中，所述方法包括：获得第一图像信息集合，所述第一图像信息集合包括N个真人面部图像信息；获得所述第一图像信息集合中所有图像信息的景深特征信息，色彩特征信息和五官位置特征信息；基于所述景深特征信息，色彩特征信息和五官位置特征信息，构建所述第一图像集合中所有图像的决策树；将所述第一图像信息集合中的所有图像信息输入所述决策树，进行分类存储，构建真人表情分类数据库；获得第一图像信息，所述第一图像信息包括第一虚拟人的面部图像信息；将所述第一图像信息输入所述真人表情分类数据库进行特征分类，获得第一分类结果；根据所述第一虚拟人的面部特征信息和所述真人表情分类数据库中真人通过第一匹配动作进行相似度匹配，获得第一匹配结果；根据所述第一匹配结果，获得第M匹配结果；根据所述第M匹配结果和所述第一分类结果，获得所述第一虚拟人的第一面部表情。解决了现有技术中存在仅通过人们主观感受来评价虚拟人面部表情，而没有办法客观准确地获取虚拟人面部表情的技术问题。达到了客观准确地获取虚拟人面部表情，同时利用决策树分类回归方法，有效提高了虚拟人面部表情分析效率，确保虚拟人无标记面部表情捕获准确性的技术效果。

本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的系统。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令系统的制造品，该指令系统实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种基于虚拟人的无标记面部表情捕获方法，其中，所述方法应用于一无标记面部表情捕获系统，所述系统包括一深度图像采集装置，所述方法包括：

获得第一图像信息集合，所述第一图像信息集合包括N个真人面部图像信息；

获得所述第一图像信息集合中所有图像信息的景深特征信息，色彩特征信息和五官位置特征信息；

基于所述景深特征信息，色彩特征信息和五官位置特征信息，构建所述第一图像信息集合中所有图像的决策树；

将所述第一图像信息集合中的所有图像信息输入所述决策树，进行分类存储，构建真人表情分类数据库；

获得第一图像信息，所述第一图像信息包括第一虚拟人的面部图像信息；

将所述第一图像信息输入所述真人表情分类数据库进行特征分类，获得第一分类结果；

根据所述第一虚拟人的面部特征信息和所述真人表情分类数据库中真人通过第一匹配动作进行相似度匹配，获得第一匹配结果；

根据所述第一匹配结果，获得第M匹配结果；

根据所述第M匹配结果和所述第一分类结果，获得所述第一虚拟人的第一面部表情。

2.如权利要求1所述的方法，其中，所述基于所述景深特征信息，色彩特征信息和五官位置特征信息，构建所述第一图像信息集合中所有图像的决策树，包括：

对所述N个真人面部图像信息的所述景深特征信息进行信息编码论运算，获得第一特征信息熵；

对所述N个真人面部图像信息的所述色彩特征信息进行信息编码论运算，获得第二特征信息熵；

对所述N个真人面部图像信息的所述五官位置特征信息进行信息编码论运算，获得第三特征信息熵；

将所述第一特征信息熵、所述第二特征信息熵和所述第三特征信息熵输入顺序排列模型，获得第一根节点特征信息；

根据所述第一根节点特征信息和所述第一图像信息集合，构建所述第一图像信息集合中所有图像的决策树。

3.如权利要求1所述的方法，其中，所述根据所述第一虚拟人的面部特征信息和所述真人表情分类数据库中真人进行相似度匹配，获得第一匹配结果之后，包括：

根据所述第一匹配结果，对所述第一匹配动作进行优化，获得第二匹配动作；

以此类推，根据第N-1匹配结果，对第N-1匹配动作进行优化，获得第N匹配动作，其中，所述第N-1匹配结果满足预定匹配结果阈值；

根据所述第一匹配结果、第一匹配动作和第一匹配状态，直到第N匹配结果，所述第N匹配动作，以及第N匹配状态，构建相似度匹配状态的马尔科夫链；

根据所述相似度匹配状态的马尔科夫链和所述第一匹配动作，获得第一极值匹配结果。

4.如权利要求3所述的方法，其中，所述方法包括：

获得所述第N匹配状态和所述第N-1匹配动作的第N映射关系；

根据所述第N映射关系和所述马尔科夫链，构建相似度匹配状态数据库。

5.如权利要求4所述的方法，其中，所述根据所述第一匹配结果，获得第M匹配结果，包括：

获得所述第一图像信息处于第一期望匹配状态的第一期望概率；

将所述第一期望匹配状态输入所述相似度匹配状态数据库进行查找，获得第M匹配状态和所述第M匹配状态发生的第一概率；

判断所述第一概率是否满足所述第一期望概率；

若所述第一概率满足所述第一期望概率，获得所述第M匹配状态对应的第M匹配结果，其中，所述M为正整数。

6.如权利要求1所述的方法，其中，所述根据所述第M匹配结果和所述第一分类结果，获得所述第一虚拟人的第一面部表情，包括：

根据所述第一分类结果，获得第一真人类别信息，其中，所述第一真人类别信息包括与所述第一虚拟人相同特征的真人信息；

在所述第一真人类别信息中，获得所述第M匹配结果，获得所述第一虚拟人的第一面部表情。

7.一种基于虚拟人的无标记面部表情捕获系统，其中，所述系统包括：

第一获得单元：所述第一获得单元用于获得第一图像信息集合，所述第一图像信息集合包括N个真人面部图像信息；

第二获得单元：所述第二获得单元用于获得所述第一图像信息集合中所有图像信息的景深特征信息，色彩特征信息和五官位置特征信息；

第一构建单元：所述第一构建单元用于基于所述景深特征信息，色彩特征信息和五官位置特征信息，构建所述第一图像信息集合中所有图像的决策树；

第二构建单元：所述第二构建单元用于将所述第一图像信息集合中的所有图像信息输入所述决策树，进行分类存储，构建真人表情分类数据库；

获得第一图像信息，所述第一图像信息包括第一虚拟人的面部图像信息；

第三获得单元：所述第三获得单元用于将所述第一图像信息输入所述真人表情分类数据库进行特征分类，获得第一分类结果；

第四获得单元：所述第四获得单元用于根据所述第一虚拟人的面部特征信息和所述真人表情分类数据库中真人通过第一匹配动作进行相似度匹配，获得第一匹配结果；

第五获得单元：所述第五获得单元用于根据所述第一匹配结果，获得第M匹配结果；

第六获得单元：所述第六获得单元用于根据所述第M匹配结果和所述第一分类结果，获得所述第一虚拟人的第一面部表情。

8.一种基于虚拟人的无标记面部表情捕获系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现权利要求1-6任一项所述方法的步骤。

Images