CN110097644B - 一种基于混合现实的表情迁移方法、装置、系统和处理器 - Google Patents

Abstract

本发明公开了一种基于混合现实的表情迁移方法、装置、系统和处理器。采集用户的中性表情，对中性表情进行3D重建获得3D重建中性表情模型；将3D重建中性表情模型与公共模型中的中性表情模型进行配准，获得用户的中性表情模型；公共模型包括N种表情模型；根据用户的中性表情模型和公共模型中的N种表情模型获得用户的N种表情模型；对用户人脸进行实时跟踪，根据跟踪结果和用户N种表情模型，拟合用户的实时表情模型；最终将用户实时表情模型迁移到待迁移模型。应用该方法只需采集用户的中性表情便可获得用户N种表情模型，并实现丰富的表情捕捉与迁移。用户无需针对N种表情进行重复且繁琐的注册，节省用户表情的采集时间，提升用户的MR体验。

Description

一种基于混合现实的表情迁移方法、装置、系统和处理器

技术领域

本发明涉及混合现实技术领域，尤其涉及一种基于混合现实的表情迁移方法、装置、系统和处理器。

背景技术

混合现实(Mix Reality,MR)技术将现实世界和虚拟世界连接，向用户提供新的可视化环境。目前，MR技术在游戏和社交方面已经有所应用，丰富着人们的游戏体验和社交体验。

MR技术的实现通常包含一个重要环节，即人脸表情迁移。人脸表情迁移技术借助设备实时获取用户的表情，将用户的实时表情迁移到虚拟世界中的待迁移模型(例如卡通形象)中，并展示给虚拟世界中的其他用户。MR技术使用户无需在现实世界中与其他用户面对面，即能够在虚拟世界中获得交互体验。同时，人脸表情迁移技术使用户的交互体验更加逼真，提升用户的MR体验。

现有的人脸表情迁移技术为在MR应用中实现丰富的人脸表情捕捉与迁移，需要用户进行多次繁琐的“注册”操作，即，做出表情库中的各种表情以便采集和表情迁移使用。例如表情库中共有50种不同表情，则用户需要展现出与表情库对应的50种表情。“注册”过程耗时长，重复且繁琐，严重影响用户的MR体验。

发明内容

为了解决现有技术中存在的以上技术问题，本发明提供一种基于混合现实的表情迁移方法、装置、系统和处理器，以简化用户的“注册”环节，实现丰富的人脸表情捕捉与迁移的同时提升用户的MR体验。

第一方面，本申请提供一种基于混合现实的表情迁移方法，包括：

采集用户的中性表情，对所述中性表情进行3D重建获得3D重建中性表情模型；

将所述3D重建中性表情模型与公共模型中的中性表情模型进行配准，获得所述用户的中性表情模型；所述公共模型包括N种表情模型；所述N为大于1的正整数；

根据所述用户的中性表情模型和所述公共模型中的N种表情模型分别获得所述用户的N种表情模型；

对所述用户的人脸进行实时跟踪，根据跟踪结果和所述用户的N种表情模型，拟合得到所述用户的实时表情模型；

将所述用户的实时表情模型迁移到待迁移模型。

可选地，所述将所述3D重建中性表情模型与公共模型中的中性表情模型进行配准，获得所述用户的中性表情模型，具体包括：

将所述3D重建中性表情模型与公共模型中的中性表情模型进行刚性配准，获得第一变换矩阵；

将所述3D重建中性表情模型乘以所述第一变换矩阵获得中间模型；

将所述中间模型与所述公共模型中的中性表情模型进行非刚性配准获得第二变换矩阵集合；

将所述公共模型中的中性表情模型乘以所述第二变换矩阵集合得到所述用户的中性表情模型。

可选地，所述将所述3D重建中性表情模型与公共模型中的中性表情模型进行刚性配准，获得第一变换矩阵，具体包括：

获得所述公共模型中的中性表情模型的人脸特征点对应的模型顶点第一索引关系；获得所述3D重建中性表情模型中的人脸特征点对应的模型顶点第二索引关系；

根据所述模型顶点第一索引关系和所述模型顶点第二索引关系对所述公共模型中的中性表情的人脸特征点和所述3D重建中性表情模型中的人脸特征点进行刚性配准，获得第一变换矩阵。

可选地，所述根据所述用户的中性表情模型和所述公共模型中的N种表情模型分别获得所述用户的N种表情模型，具体包括：

获得所述公共模型中的中性表情模型的人脸特征点对应的模型顶点第一索引关系；获得所述用户的中性表情模型的人脸特征点对应的模型顶点第三索引关系；

根据所述用户的中性表情模型、所述公共模型中的中性表情模型、模型顶点第一索引关系和模型顶点第三索引关系，获得所述公共模型中的N种表情模型到所述用户的中性表情模型最近的模型顶点集合{c1,c2,…cn}；

分别根据所述公共模型中的N种表情模型、所述用户的中性表情模型和所述最近的模型顶点集合{c1,c2,…cn}获得所述用户的N种表情模型。

可选地，所述对所述用户的人脸进行实时跟踪，根据跟踪结果和所述用户的N种表情模型，拟合得到所述用户的实时表情模型，具体包括：

实时获取所述用户的人脸的彩色图与深度图；

利用人脸特征点检测模型获得所述彩色图中当前的人脸特征点；

将所述当前的人脸特征点映射到所述深度图，获得所述当前的人脸特征点的三维坐标；

基于所述当前的人脸特征点的三维坐标和所述跟踪结果，利用所述数学最优化配准方法拟合获得所述当前的人脸特征点相对于所述用户的N种表情模型的表情系数向量；所述表情系数向量中包含N个表情系数，所述N个表情系数分别与所述用户的N种表情模型相对应；

根据所述用户的N种表情模型和所述表情系数向量拟合得到所述用户的实时表情模型。

第二方面，本申请提供一种基于混合现实的表情迁移装置，包括：

表情模型第一获取模块，用于采集用户的中性表情，对所述中性表情进行3D重建获得3D重建中性表情模型；

表情模型配准模块，用于将所述3D重建中性表情模型与公共模型中的中性表情模型进行配准，获得所述用户的中性表情模型；所述公共模型包括N种表情模型；所述N为大于1的正整数；

表情模型第二获取模块，用于根据所述用户的中性表情模型和所述公共模型中的N种表情模型分别获得所述用户的N种表情模型；

表情捕捉模块，用于对所述用户的人脸进行实时跟踪，根据跟踪结果和所述用户的N种表情模型，拟合得到所述用户的实时表情模型；

表情迁移模块，用于将所述用户的实时表情模型迁移到待迁移模型。

可选地，所述表情模型配准模块，具体包括：

变换矩阵获取单元，用于将所述3D重建中性表情模型与公共模型中的中性表情模型进行刚性配准，获得第一变换矩阵；

中间模型获取单元，用于将所述3D重建中性表情模型乘以所述第一变换矩阵获得中间模型；

第一非刚性配准单元，用于将所述中间模型与所述公共模型中的中性表情模型进行非刚性配准获得第二变换矩阵集合；

第二非刚性配准单元，用于将所述公共模型中的中性表情模型乘以所述第二变换矩阵集合得到所述用户的中性表情模型。

可选地，所述变换矩阵获取单元，具体包括：

索引关系第一获取子单元，用于获得所述公共模型中的中性表情模型的人脸特征点对应的模型顶点第一索引关系；以及获得所述3D重建中性表情模型中的人脸特征点对应的模型顶点第二索引关系；

变换矩阵第一获取子单元，用于根据所述模型顶点第一索引关系和所述模型顶点第二索引关系对所述公共模型中的中性表情的人脸特征点和所述3D重建中性表情模型中的人脸特征点进行刚性配准，获得第一变换矩阵。

可选地，表情模型第二获取模块，具体包括：

索引关系获取单元，用于获得所述公共模型中的中性表情模型的人脸特征点对应的模型顶点第一索引关系；获得所述用户的中性表情模型的人脸特征点对应的模型顶点第三索引关系；

模型顶点获取单元，用于根据所述用户的中性表情模型、所述公共模型中的中性表情模型、模型顶点第一索引关系和模型顶点第三索引关系，获得所述公共模型中的N种表情模型到所述用户的中性表情模型最近的模型顶点集合{c1,c2,…cn}；

表情模型获取单元，分别根据所述公共模型中的N种表情模型、所述用户的中性表情模型和所述最近的模型顶点集合{c1,c2,…cn}获得所述用户的N种表情模型。

可选地，所述表情捕捉模块，具体包括：

人脸特征点获取单元，用于根据所述跟踪结果获得当前的人脸特征点；

表情系数向量获取单元，用于基于所述数学最优化配准方法拟合获得所述当前的人脸特征点相对于所述用户的N种表情模型的表情系数向量；所述表情系数向量中包含N个表情系数，所述N个表情系数分别与所述用户的N种表情模型相对应；

实时表情模型拟合单元，用于根据所述用户的N种表情模型和所述表情系数向量拟合得到所述用户的实时表情模型。

第三方面，本申请提供一种处理器，用于运行计算机程序，所述程序运行时执行第一方面提供的基于混合现实的表情迁移方法。

第四方面，本申请提供一种基于混合现实的表情迁移系统，包括：第三方面提供的处理器；还包括：采集设备和显示设备；

所述采集设备，用于获取用户的面部图像，将所述面部图像发送至所述处理器；

所述显示设备，用于对迁移有所述用户的实时表情模型的待迁移模型进行显示。

与现有技术相比，本发明至少具有以下优点：

本申请提供的基于MR的表情迁移方法，首先采集用户的中性表情，对中性表情进行3D重建获得3D重建中性表情模型；其后将3D重建中性表情模型与公共模型中的中性表情模型进行配准，获得用户的中性表情模型；公共模型包括N种表情模型；接着根据用户的中性表情模型和公共模型中的N种表情模型分别获得用户的N种表情模型；然后对用户的人脸进行实时跟踪，根据跟踪结果和所述用户的N种表情模型，拟合得到所述用户的实时表情模型；最终将所述用户的实时表情模型迁移到待迁移模型。应用该方法，只需采集用户的一个表情(中性表情)，便可获得用户的N种表情模型，并实现丰富的表情捕捉与迁移。利用该方法，用户无需针对N种表情进行重复且繁琐的注册，从而节省用户表情的采集时间，提升用户的MR体验。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本申请实施例提供的一种基于混合现实的表情迁移方法流程图；

图2为本申请实施例提供的一种3D重建中性表情模型示意图；

图3为本申请实施例提供的一种公共模型中的中性表情模型示意图；

图4为本申请实施例提供的一种公共模型中的张嘴表情模型示意图；

图5为本申请实施例提供的一种用户的中性表情模型示意图；

图6为本申请实施例提供的一种用户的张嘴表情模型示意图；

图7为本申请实施例提供的另一种基于混合现实的表情迁移方法流程图；

图8为本申请实施例提供的一种模型配准变化示意图；

图9为本申请实施例提供的一种基于混合现实的表情迁移装置结构示意图；

图10为本申请实施例提供的一种基于混合现实的表情迁移系统结构示意图。

具体实施方式

MR游戏和MR社交应用中采用人脸表情迁移技术将现实世界中用户做出的表情呈现在MR技术构建的虚拟世界中。例如，用户a与用户b在MR游戏中组队执行游戏任务，MR游戏中用户a与用户b均是卡通猴子的形象。在现实世界中用户a突然做出愤怒的表情后，MR游戏设备捕捉到用户a此时的愤怒表情，利用人脸表情迁移技术将用户a愤怒的表情传递到其在虚拟世界中的卡通猴子的脸上，用户b即可在虚拟世界中看到用户a的卡通猴子脸上露出愤怒的表情。此外，用户a也可通过调整游戏体验视角，观看到代表自己的卡通猴子脸上露出与自己此刻现实世界中露出的愤怒表情一致的表情。

为实现MR游戏和MR社交场景下能够捕捉到更加逼真的用户实时表情和用户的面部特征，目前，每个用户都需要“注册”表情库中所有的表情。假如表情库共有50种表情(包括：微笑，大笑，哭泣等)，用户a需要在体验MR游戏或MR社交应用之前被采集做出上述50种表情。同理，用户b也需要在体验MR游戏或MR社交应用之前被采集做出上述50种表情。不同的用户进行“注册”，使得每个用户在虚拟世界中具有较高的区分度和可辨识度。如果用户a没有“注册”大笑的表情，则难以准确捕捉到用户a的实时表情，从而难以实现用户a实时表情的迁移。显然，这种需要依靠用户繁杂重复地“注册”表情才能实现人脸表情迁移的方式，不但消耗较长的图像采集时间，同时也影响用户的MR体验。

基于此问题，发明人经过研究，提供一种基于混合现实的表情迁移方法、装置、系统和处理器，只需要采集用户的中性表情便可使待迁移模型得以展现用户多种多样的表情。利用该方法，用户无需针对N种表情进行重复且繁琐的注册，从而节省用户表情的采集时间，提升用户的MR体验。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

方法实施例一

参见图1，该图为本申请实施例提供的一种基于混合现实的表情迁移方法流程图。

如图1所示，本实施例提供的基于混合现实的表情迁移方法，包括：

步骤101：采集用户的中性表情，对所述中性表情进行3D重建获得3D重建中性表情模型。

中性表情是指没有明确情绪倾向的表情。本步骤在具体实现时，用户可以在采集设备前保持中性表情，头部以较小幅度慢速地正对采集设备进行上、下、左、右运动，保证用户的人脸五官始终在采集图像中可见。在实际应用中，可以由MR系统语音提示引导用户完成中性表情采集过程。

目前很多表情迁移技术都仅仅基于2D彩色图进行MR应用的人脸表情迁移。但是2D彩色图的光照鲁棒性较弱，在光照条件较差的环境下，表情迁移能力较差。而深度图具备较强的光照鲁棒性。作为示例，本步骤中采用的采集设备具体可以是深度摄像头，利用深度摄像头即可获得用户保持中性表情的深度图像用于3D重建。另外，本实施例中可以将得到的2D彩色图和深度图结合使用，从而提高采集用户中性表情的准确性。

本实施例中，为减少3D重建时间，可以利用人脸检测器将深度图像中的人脸区域修剪出来，并进行滤波和深度值限制等一系列预处理后，基于预处理结果进行3D建模。最终获得仅包含脸部区域的3D重建中性表情模型。由于3D重建中性表情模型时根据用户的中性表情进行3D重建获得，因此，3D重建中性表情模型包含用户的人脸特征。参见图2，该图所示为本申请实施例提供的一种3D重建中性表情模型示意图。

步骤102：将所述3D重建中性表情模型与公共模型中的中性表情模型进行配准，获得所述用户的中性表情模型。

需要说明的是，为了保证用户在MR应用(例如MR游戏和MR社交)中得以展示丰富多样的表情，在本实施例提供的方法具体实现之前，预先配置了公共模型。公共模型中包含中性表情模型，还包含N种其他的表情模型，例如大笑、愤怒、哭泣、微笑和张嘴等表情模型。N为大于1的正整数。本实施例提供的公共模型类似于巴塞尔人脸模型(Basel Face Model,BFM)，公共模型中的每一种表情模型仅包含1000余个顶点。

图3所示为本申请实施例提供的一种公共模型中的中性表情模型示意图；图4所示为本申请实施例提供的一种公共模型中的张嘴表情模型示意图。通过图3和图4可以看出，公共模型的轮廓十分明显，轮廓十分清晰。

为获得用户的多种表情模型用于表情迁移，本步骤首先获得用户的中性表情模型。基于此目的，本步骤利用步骤101获得的3D重建中性表情模型和公共模型的中性表情模型以获得用户的中性表情模型。可以理解的是，用户的中性表情模型包含用户的人脸特征。

可以理解的是，3D重建中性表情模型与公共模型的中性表情模型的姿态、轮廓以及模型尺度均可能存在不一致的问题。这些问题也会影响后续生成用户的N种表情模型的准确性。因此，针对这些问题，需要对3D重建中性表情模型与公共模型的中性表情模型进行配准，进而保证配准得到的用户的中性表情模型的人脸姿态、五官轮廓和五官位置以及模型尺度均与3D重建中性表情模型一致。

参见图5，该图所示为本申请实施例提供的一种用户的中性表情模型示意图。图5为图2所示的3D重建中性表情模型和图3所示的公共模型的中性表情模型配准得到。结合图2、图3和图5可以发现，图5相比于图2，模型轮廓发生了变化；图5相比于图3，更为逼真地展现用户的人脸特征。

对于本领域技术人员来说，基于两幅图像的人脸进行配准属于比较成熟的技术手段，因此，本实施例对于具体的配准流程不进行赘述。在实际应用中，可以采用多种配准方法实现本步骤，因此，本实施例对于本步骤采用的具体配准方法不进行限定。

步骤103：根据所述用户的中性表情模型和所述公共模型中的N种表情模型分别获得所述用户的N种表情模型。

可以理解的是，无论公共模型中各种表情模型具体展现何种表情，在公共模型的各种表情模型均具有对应于人脸同一特征点的模型顶点。例如，左眼的内眼角为一个人脸特征点，在公共模型的中性表情模型、愤怒表情模型和大笑表情模型中均存在对应于左眼的内眼角的顶点。

根据上述示例可知，公共模型中的各种表情模型之间具备顶点的索引关联。通过步骤102的配准过程建立了公共模型的中性表情模型与用户的中性表情模型的联系。因此，用户的中性表情模型与公共模型的N种表情模型的顶点也存在关联。基于此关联，利用用户的中性表情模型和公共模型的N种表情模型，还可分别获得用户的N种表情模型。例如，根据图5所示的用户的中性表情模型和图4所示的公共模型的张嘴表情模型，可以获得图6所示的用户的张嘴表情模型。

步骤104：对所述用户的人脸进行实时跟踪，根据跟踪结果和所述用户的N种表情模型，拟合得到所述用户的实时表情模型。

作为一种可能的实现方式，本步骤可以利用人脸检测器和人脸特征点检测器检测用户MR体验时采集设备采集到的初始帧，获得实时的人脸点云。然后利用迭代最近点(Iterative Closes Point,ICP)算法依据实时的人脸点云上做表情跟踪。需要说明的是，如果在人脸点云上对人脸表情跟踪失败，需要重新调用人脸特征点检测器进行初始化。

作为一示例，跟踪到用户体验MR游戏时实时展现了微笑的表情，则可以根据步骤103获得的用户的N种表情模型和实时跟踪到的用户表情拟合得到用户的实时表情模型(微笑)。该实时表情模型即可用于表情迁移。

步骤105：将所述用户的实时表情模型迁移到待迁移模型。

此处，待迁移模型可以因本方法的应用场景的不同而存在多种可能性。例如，待迁移模型可能是代表用户的人物3D模型，也可能是代表用户的卡通形象模型。作为示例，用户在MR游戏中是卡通猴子的形象，将用户实时的微笑表情模型迁移到卡通猴子后，卡通猴子的脸上展现出非常逼真且与用户同步的微笑表情。

以上即为本申请实施例提供的基于MR的表情迁移方法，该方法首先采集用户的中性表情，对中性表情进行3D重建获得3D重建中性表情模型；其后将3D重建中性表情模型与公共模型中的中性表情模型进行配准，获得用户的中性表情模型；公共模型包括N种表情模型；接着根据用户的中性表情模型和公共模型中的N种表情模型分别获得用户的N种表情模型；然后对用户的人脸进行实时跟踪，根据跟踪结果和所述用户的N种表情模型，拟合得到所述用户的实时表情模型；最终将所述用户的实时表情模型迁移到待迁移模型。

应用该方法，只需采集用户的一个表情(中性表情)，便可获得用户的N种表情模型，并实现丰富的表情捕捉与迁移。利用该方法，用户无需针对N种表情进行重复且繁琐的注册，从而节省用户表情的采集时间，提升用户的MR体验。

3D重建中性表情模型与公共模型的中性表情模型的姿态和轮廓可能存在不一致的问题。针对这些问题，本申请进一步提供另一种基于MR的表情迁移方法。先后通过刚性配准和非刚性配准获得人脸姿态、五官轮廓和五官位置以及模型尺度均与3D重建中性表情模型一致的用户的中性表情模型。从而提高MR应用中用户表情迁移的准确性。

方法实施例二

由于本实施例出现多种模型相关的描述，本实施例通过字母标识便于指代和区分。在介绍本实施例提供的方法的具体实现方式之前，首先对各字母标识的指代内容进行说明。

A：3D重建中性表情模型；

B0：公共模型中的中性表情模型；

B1,B2,…,BN：公共模型中的N种表情模型；

T：第一变换矩阵；

X：第二变换矩阵集合；

Ar：中间模型，Ar＝A×T；

Br：用户的中性表情模型，Br＝B0×X；

dst1,dst2,…,dstN：用户的N种表情模型。

参见图7，该图为本申请实施例提供的另一种基于混合现实的表情迁移方法流程图。

如图7所示，本实施例提供的基于混合现实的表情迁移方法，包括：

步骤701：采集用户的中性表情，对所述中性表情进行3D重建获得3D重建中性表情模型。

本步骤的实现方式与前述实施例中步骤101的实现方式相同，关于本步骤的描述可参见前述实施例，此处不再赘述。

下面结合步骤702-705对获取用户的中性表情模型Br的过程进行描述。在利用3D重建中性表情模型A和公共模型中的中性表情模型B0进行配准过程中主要涉及到刚性配准过程(步骤702-703)和非刚性配准过程(步骤704-705)。

步骤702：将所述3D重建中性表情模型A与公共模型中的中性表情模型B0进行刚性配准，获得第一变换矩阵T。

可以理解的是，3D重建中性表情模型A与公共模型的中性表情模型B0的坐标系不同。为获得用户的中性表情模型，需要保证3D重建中性表情模型A与公共模型的中性表情模型B0的姿态及模型尺度一致。为实现此目标，本步骤求取从A变换到B0的第一变换矩阵T。

下面结合步骤7021-7022介绍第一变换矩阵T的一种获取实现方式。

步骤7021：获得所述公共模型中的中性表情模型B0的人脸特征点对应的模型顶点第一索引关系；获得所述3D重建中性表情模型A中的人脸特征点对应的模型顶点第二索引关系。

本实施例中对于人脸特征点的具体数量不进行限定。假设本实施例中设定的人脸特征点共有68个(例如：双眼的内眼角和外眼角，双眉的眉峰和眉尾，左右嘴角，两侧鼻翼等)，则模型顶点第一索引关系即是68个人脸特征点与B0中模型顶点的对应关系；模型顶点第二索引关系即是68个人脸特征点与A中模型顶点的对应关系。

步骤7022：根据所述模型顶点第一索引关系和所述模型顶点第二索引关系对所述公共模型中的中性表情的人脸特征点和所述3D重建中性表情模型中的人脸特征点进行刚性配准，获得第一变换矩阵T。

在本实施例中，

表示通过模型顶点第一索引关系获得第i个人脸特征点对应的B0中模型顶点；/>

表示通过模型顶点第二索引关系获得第i个人脸特征点对应的A中模型顶点。模型顶点/>

和模型顶点/>

的表达式分别参见下述公式(1)和(2)。

在公式(1)中，x_i、y_i和z_i分别表示模型顶点

在B0所属坐标系中的三轴坐标值；在公式(1)中，x′_i、y′_i和z′_i分别表示模型顶点/>

在A所属坐标系中的三轴坐标值。

在求取第一变换矩阵T时，要求第一变换矩阵T使得以下表达式(3)达到最小值。

‖v¹-T·v²‖₂ 公式(3)

上述表达式(3)中，v¹表示基于公式(1)得到的B0的顶点矩阵；v²表示基于公式(1)得到的A的顶点矩阵。

当表达式(3)达到最小值时，获得第一变换矩阵T的表达式参见下述公式(4)：

公式(4)中，a₁₁、a₁₂、a₁₃、a₂₁、a₂₂、a₂₃、a₃₁、a₃₂和a₃₃，分别为控制模型旋转和尺度缩放的参数；t_x、t_y和t_z为控制模型平移的参数。上述a₁₁、a₁₂、a₁₃、a₂₁、a₂₂、a₂₃、a₃₁、a₃₂和a₃₃以及t_x、t_y和t_z的具体数值通过求解公式(3)获得。

步骤703：将所述3D重建中性表情模型A乘以所述第一变换矩阵T获得中间模型Ar。

将A与第一变换矩阵T相乘后，得到的中间模型Ar与公共模型中的中性表情模型B0的姿态和模型尺度基本保证一致。但是，要求最终得到的用户的中性表情模型与B0的脸型轮廓和五官轮廓还需要变得大致相同。基于此目的，执行下述步骤704-705。

步骤704：将所述中间模型Ar与所述公共模型中的中性表情模型B0进行非刚性配准获得第二变换矩阵集合X。

本实施例中第二变换矩阵集合由X表示。第二变换矩阵集合X的表达式为：

X＝[X₁,X₂,X₃,…,X_p] 公式(5)

公式(5)中，p为模型顶点第一索引关系中模型顶点数目。当然，模型顶点第二索引关系中模型顶点数目也为p。k＝1,2,…,p，第二变换矩阵集合X中，X_k表示第k个模型顶点对应的3×4变换矩阵。

非刚性配准的目标函数如下：

E(X)＝E_d(X)+αE_s(X)+βE_l(X) 公式(6)

公式(6)中，E_d(X)、E_s(X)和E_l(X)的表达式详见公式(7)-(9)。

在公式(7)中，E_d(X)表示表示公共模型中的中性表情模型B0和Target间的距离，此处Target为刚性配准得到的中间模型Ar；w_k表示第k个模型顶点对应的权重。在公式(7)的计算中，需要从A中找到与第k个模型顶点最近的点v_k，然后计算距离。对于每个模型顶点(第1个～第p个)，即找到A中最近的点

在公式(8)中，G＝diag(1,1,1,γ)，G表示B0的抗变形项；γ用来权衡旋转和平移。E_s(X)的作用是使得B0变形后的模型尽量平滑。ζ是模型相邻的顶点两两组成的边，{k,j}表示相邻的两个模型顶点。X_k与X_j分别表示第k个模型顶点对应的3×4变换矩阵和第j个模型顶点对应的3×4变换矩阵。

在公式(9)中，E_l(X)表示人脸特征点变型前后差。其中，k是Target的人脸特征点索引号，L＝{v_k1,l₁},{v_k2,l₂},…,{v_kn,l_n}。n是人脸特征点个数。

求解公式(6)所示的目标函数，当目标函数达到最小值时，即可获得第二变换矩阵集合X。

步骤705：将所述公共模型中的中性表情模型B0乘以所述第二变换矩阵集合X得到所述用户的中性表情模型Br。

利用第二变换矩阵集合X来调整公共模型的中性表情模型B0的五官轮廓和脸型轮廓，能够使得其与中间模型Ar的五官轮廓和脸型轮廓趋于一致，最终得到用户的中性表情模型Br。

通过执行上述步骤702-705，获得配准后的用户的中性表情模型Br。由于Ar是根据3D重建中性表情模型A获得，因此模型Br与A的姿态、五官轮廓、脸型轮廓以及模型尺度基本一致。

参见图8，该图为本申请实施例提供的一种模型配准变化示意图。图8中，区域801表示3D重建中性表情模型部分，区域802表示经过公共模型的中性表情模型与3D重建中性表情模型配准的部分。通过图8可知，在利用公共模型的中性表情模型与3D重建中性表情模型进行配准前后，区域802发生了变化。

前面已经获得用户的中性表情模型Br。为实现丰富而逼真的人脸表情捕捉与迁移，还需要获得用户的N种表情模型。下面结合步骤706-708进行描述。

步骤706：获得所述用户的中性表情模型的人脸特征点对应的模型顶点第三索引关系。

前面已经获得公共模型中的中性表情模型的人脸特征点对应的模型顶点第一索引关系。显然，配准得到的用户的中性表情模型也具有人脸各个特征点对应的模型顶点。例如，设定的人脸特征点共有68个(例如：双眼的内眼角和外眼角，双眉的眉峰和眉尾，左右嘴角，两侧鼻翼等)，则模型顶点第三索引关系即是68个人脸特征点与Br中模型顶点的对应关系。

步骤707：根据所述用户的中性表情模型Br、所述公共模型中的中性表情模型B0、模型顶点第一索引关系和模型顶点第三索引关系，获得所述公共模型中的N种表情模型(B1～BN)到所述用户的中性表情模型Br最近的模型顶点集合{c1,c2,…cn}。

本实施例中，公共表情模型中某一种表情模型到用户的中性表情模型Br最近的模型顶点由c1,c2,…cn表示，c1,c2,…cn共同构成模型顶点集合{c1,c2,…cn}。

基于模型顶点第一索引关系和模型顶点第三索引关系，显然，能够得到人脸同一特征点对应在B0的模型顶点以及对应在Br的模型顶点。因此，根据模型Br、模型B0、模型顶点第一索引关系和模型顶点第三索引关系，能够得到一系列B0到Br的最近的模型顶点n个。

将Br、B0和模型顶点集合{c1,c2,…cn}作为输入，得到的输出即是Br经过变形调整的模型dst0。

步骤708：分别根据所述公共模型中的N种表情模型(B1～BN)、所述用户的中性表情模型Br和所述最近的模型顶点集合{c1,c2,…cn}获得所述用户的N种表情模型(dst1～dstN)。

与获得模型dst0过程相似地，将B0替换为公共模型中的N种表情模型B1,B2,…BN，分别将B1,B2,…BN之一连同B0和模型顶点集合{c1,c2,…cn}输入，即可得到对应的变形。例如，将Br、B1和模型顶点集合{c1,c2,…cn}作为输入，得到的输出即是Br经过变形调整的模型dst1。dst1即为公共模型中的第1种表情模型B1对应的用户的第1种表情模型。如果B1为公共模型中的大笑表情模型，dst1即是用户的大笑表情模型。

步骤709：实时获取所述用户的人脸的彩色图与深度图。

在实际应用中，可以采用同一采集设备同时获取用户人脸的彩色图与深度图。可以理解的是，彩色图与深度图具有像素点的映射关系。可以理解的是，深度图像相比于彩色图，能够反映所拍摄场景中各点的深度信息。

步骤710：利用人脸特征点检测模型获得所述彩色图中当前的人脸特征点。

在实际应用中，本步骤可以采用多种人脸特征点检测模型，本实施例对于人脸特征点检测模型的具体原理不加以赘述。通过人脸特征点检测模型，能够在彩色图中确定用户当前的人脸特征点。

步骤711：将所述当前的人脸特征点映射到所述深度图，获得所述当前的人脸特征点的三维坐标。

可以理解的是，难以单独通过彩色图获得人脸特征点准确的三维位置，此时可以结合深度图像中的深度信息达成此目的。由于彩色图与深度图具有像素点的映射关系，当彩色图中当前的人脸特征点确定，根据此映射关系即可得到深度图中对应的人脸特征点。深度图中每个当前的人脸特征点的深度信息均是已知的，进而可以获得当前人脸特征点的三维坐标。

步骤712：基于所述当前的人脸特征点的三维坐标和所述跟踪结果，利用所述数学最优化配准方法拟合获得所述当前的人脸特征点相对于所述用户的N种表情模型的表情系数向量。

当前的人脸特征点的三维坐标已知的情况下，跟踪结果更加准确，同时表情系数向量也更加准确。

本步骤在具体实现时，可以按照以下步骤7121-7123执行：

步骤7121：随机初始化表情系数得到的初始化模型M。

首先，随机初始化一个表情系数向量，该初始化的表情系数向量中包含N个表情系数，分别与用户的N种表情模型相对应。将每个初始化的表情系数分别与对应的N种表情模型dst1～dstN相乘，求得一个加权的模型，该模型即为初始化模型M。可以理解的是，初始化的表情系数为随机生成，因此并不准确，需要执行后续步骤拟合获得一个更准确的表情系数向量X。

步骤7122：利用人脸特征点进行初始化模型M的刚性变换得到M0。

通过刚性变换，使得M0与实时的人脸点云的姿态和尺度一致。此处的模型M0即所述跟踪结果。

步骤7123：根据实时的人脸点云和模型M0之间进行迭代最近点(IterativeCloses Point,ICP)运算，拟合得到表情系数向量X。

ICP算法本质上属于基于最小二乘法的最优化配准方法。

求取表情系数向量x＝[x₁,x₁,…,x_N]的目标函数如公式(10)所示。

当公式(10)所示的目标函数达到最小值时，即可获得表情系数向量x。其中，x₁,x₁,…,x_N分别为与N中表情模型相对应的表情系数。ω是常量，通常可以设置为0.0005。

公式(10)中，s_g(x)可参见公式(11)：

/>

公式(11)中，s_g(x)是实时的人脸点云(简称FRAME)与步骤708获得的用户的N种表情dst1～dstN通过加权组合成的用户人脸3D模型(简称MODEL)之间的顶点距离误差。q_g是FRAME上的点，与公共模型的顶点v_g(x)具有相同的相机空间坐标的点。n_g是点q_g对应的法向量。

公式(10)中，f_g(x)可参见公式(12)：

公式(12)中，f_g(x)是FRAME中人脸特征点和MODEL中人脸特征点之间的距离误差。其中，

是第个人脸特征点的坐标(二维坐标)。P是3×3的相机投影矩阵。

步骤713：根据所述用户的N种表情模型和所述表情系数向量拟合得到所述用户的实时表情模型。

步骤714：将所述用户的实时表情模型迁移到待迁移模型。

通过上述步骤获得表情系数向量x＝[x₁,x₁,…,x_N]。该表情系数向量可以直接应用到预先准备好的待迁移模型中。因此，用户的人脸表情迁移过程只需传递表情系数向量中的多个表情系数即可。利用表情系数向量，实现用户的人脸表情从现实世界到虚拟世界待迁移模型的迁移。

本步骤的实现方式与前述实施例中步骤105的实现方式相同，关于本步骤的描述可参见前述实施例，此处不再赘述。

以上实施例中，先后通过刚性配准和非刚性配准逐步获得人脸姿态、五官轮廓和五官位置均与3D重建中性表情模型一致的用户的中性表情模型，从而提高MR应用中用户表情迁移的准确性。另外，求得用户表情系数向量后直接传递到待迁移模型，十分方便快捷，进一步提高用户的MR体验。

在本实施例中，没有过度依赖人脸特征点检测。基于实时的人脸点云和3D配准与拟合方式，对人脸姿态和人脸表情进行跟踪和拟合，并求解表情系数向量，相比于2D拟合在不同光线条件下均有良好的鲁棒性。提升待迁移模型逼真的用户实时表情展示效果的稳定性。

基于前述实施例提供的基于混合现实的表情迁移方法，相应地，本申请还提供一种基于混合现实的表情迁移装置。下面结合实施例和附图对该装置的具体实现进行详细描述。

装置实施例

参见图9，该图为本申请实施例提供的一种基于混合现实的表情迁移装置结构示意图。

如图9所示，本实施例提供的基于混合现实的表情迁移装置，包括：

表情模型第一获取模块901，用于采集用户的中性表情，对所述中性表情进行3D重建获得3D重建中性表情模型；

表情模型配准模块902，用于将所述3D重建中性表情模型与公共模型中的中性表情模型进行配准，获得所述用户的中性表情模型；所述公共模型包括N种表情模型；所述N为大于1的正整数；

表情模型第二获取模块903，用于根据所述用户的中性表情模型和所述公共模型中的N种表情模型分别获得所述用户的N种表情模型；

表情捕捉模块904，用于对所述用户的人脸进行实时跟踪，根据跟踪结果和所述用户的N种表情模型，拟合得到所述用户的实时表情模型；

表情迁移模块905，用于将所述用户的实时表情模型迁移到待迁移模型。

应用该装置，只需采集用户的一个表情(中性表情)，便可获得用户的N种表情模型，并实现丰富的表情捕捉与迁移。因此，用户无需针对N种表情进行重复且繁琐的注册，从而节省用户表情的采集时间，提升用户的MR体验。

3D重建中性表情模型与公共模型的中性表情模型的姿态和轮廓可能存在不一致的问题。针对这些问题，本申请进一步提出，先后通过刚性配准和非刚性配准获得人脸姿态、五官轮廓和五官位置以及模型尺度均与3D重建中性表情模型一致的用户的中性表情模型。从而提高MR应用中用户表情迁移的准确性。基于此目的，可选地，所述表情模型配准模块902，具体包括：

变换矩阵获取单元，用于将所述3D重建中性表情模型与公共模型中的中性表情模型进行刚性配准，获得第一变换矩阵；

中间模型获取单元，用于将所述3D重建中性表情模型乘以所述第一变换矩阵获得中间模型；

第一非刚性配准单元，用于将所述中间模型与所述公共模型中的中性表情模型进行非刚性配准获得第二变换矩阵集合；

第二非刚性配准单元，用于将所述公共模型中的中性表情模型乘以所述第二变换矩阵集合得到所述用户的中性表情模型。

可选地，所述变换矩阵获取单元，具体包括：

索引关系第一获取子单元，用于获得所述公共模型中的中性表情模型的人脸特征点对应的模型顶点第一索引关系；以及获得所述3D重建中性表情模型中的人脸特征点对应的模型顶点第二索引关系；

变换矩阵第一获取子单元，用于根据所述模型顶点第一索引关系和所述模型顶点第二索引关系对所述公共模型中的中性表情的人脸特征点和所述3D重建中性表情模型中的人脸特征点进行刚性配准，获得第一变换矩阵。

可选地，表情模型第二获取模块903，具体包括：

索引关系获取单元，用于获得所述公共模型中的中性表情模型的人脸特征点对应的模型顶点第一索引关系；获得所述用户的中性表情模型的人脸特征点对应的模型顶点第三索引关系；

模型顶点获取单元，用于根据所述用户的中性表情模型、所述公共模型中的中性表情模型、模型顶点第一索引关系和模型顶点第三索引关系，获得所述公共模型中的N种表情模型到所述用户的中性表情模型最近的模型顶点集合{c1,c2,…cn}；

表情模型获取单元，分别根据所述公共模型中的N种表情模型、所述用户的中性表情模型和所述最近的模型顶点集合{c1,c2,…cn}获得所述用户的N种表情模型。

可选地，所述表情捕捉模块904，具体包括：

人脸特征点获取单元，用于根据所述跟踪结果获得当前的人脸特征点；

表情系数向量获取单元，用于基于所述数学最优化配准方法拟合获得所述当前的人脸特征点相对于所述用户的N种表情模型的表情系数向量；所述表情系数向量中包含N个表情系数，所述N个表情系数分别与N种表情模型相对应；

实时表情模型获取单元，用于根据所述用户的N种表情模型和所述表情系数向量拟合得到所述用户的实时表情模型。

以上实施例中，先后通过刚性配准和非刚性配准逐步获得人脸姿态、五官轮廓和五官位置均与3D重建中性表情模型一致的用户的中性表情模型，从而提高MR应用中用户表情迁移的准确性。另外，求得用户表情系数向量后直接传递到待迁移模型，十分方便快捷，进一步提高用户的MR体验。

在本实施例中，没有过度依赖人脸特征点检测。基于实时的人脸点云和3D配准与拟合方式，对人脸姿态和人脸表情进行跟踪和拟合，并求解表情系数向量，相比于2D拟合在不同光线条件下均有良好的鲁棒性。提升待迁移模型逼真的用户实时表情展示效果的稳定性。

基于前述实施例提供的基于混合现实的表情迁移方法和装置，相应地，本申请还提供一种基于混合现实的表情迁移系统。下面结合实施例和附图对该装置的具体实现进行详细描述。

系统实施例

参见图10，该图为本申请实施例提供的一种基于混合现实的表情迁移系统结构示意图。

如图10所示，本实施例提供的基于混合现实的表情迁移系统，包括：

处理器1001，采集设备1002和显示设备1003。

采集设备1002，用于获取用户的面部图像，将所述面部图像发送至所述处理器1001。

处理器1001，用于运行计算机程序，当程序运行时执行前述方法实施例提供的部分或全部步骤。具体地，处理器1001可以调用某一存储器中的基于混合现实的表情迁移的逻辑指令，进而执行前述方法实施例提供的部分或全部步骤。

显示设备1003，用于对迁移有所述用户的实时表情模型的待迁移模型进行显示。

在实际应用中，采集设备1002可以是深度摄像头，从而能够包含深度信息的用户面部图像。当然，采集设备1002还可以获取2D彩色图。从而处理器1001可以结合2D彩色图和深度图对用户的表情进行采集。

在实际应用中，作为一示例，显示设备1003可以是头戴式显示设备1003。例如，MR头盔或眼镜等。用户借助显示设备1003，能够观看到显示有自身实时逼真的表情的待迁移模型。

本申请提供的基于MR的表情迁移系统，只需采集用户的一个表情(中性表情)，便可获得用户的N种表情模型，并实现丰富的表情捕捉与迁移。利用该系统，用户无需针对N种表情进行重复且繁琐的注册，从而节省用户表情的采集时间，提升用户的MR体验。

此外，本实施例提供的系统中，采集设备1002还可用于在用户体验MR游戏或MR社交时，对用户的表情进行实时的捕捉，并将捕捉到的图像发送至处理器1001，以便处理器1001运行程序对用户进行实时表情的跟踪。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明。任何熟悉本领域的技术人员，在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。

Claims (8)

1.一种基于混合现实的表情迁移方法，其特征在于，包括：

采集用户的中性表情，对所述中性表情进行3D重建获得3D重建中性表情模型；

将所述3D重建中性表情模型与公共模型中的中性表情模型进行配准，获得所述用户的中性表情模型；所述公共模型包括N种表情模型；所述N为大于1的正整数；具体包括：将所述3D重建中性表情模型与公共模型中的中性表情模型进行刚性配准，获得第一变换矩阵；将所述3D重建中性表情模型乘以所述第一变换矩阵获得中间模型；将所述中间模型与所述公共模型中的中性表情模型进行非刚性配准获得第二变换矩阵集合；将所述公共模型中的中性表情模型乘以所述第二变换矩阵集合得到所述用户的中性表情模型；

根据所述用户的中性表情模型和所述公共模型中的N种表情模型分别获得所述用户的N种表情模型；

对所述用户的人脸进行实时跟踪，根据跟踪结果和所述用户的N种表情模型，拟合得到所述用户的实时表情模型；

将所述用户的实时表情模型迁移到待迁移模型。

2.根据权利要求1所述的方法，其特征在于，所述将所述3D重建中性表情模型与公共模型中的中性表情模型进行刚性配准，获得第一变换矩阵，具体包括：

获得所述公共模型中的中性表情模型的人脸特征点对应的模型顶点第一索引关系；获得所述3D重建中性表情模型中的人脸特征点对应的模型顶点第二索引关系；

根据所述模型顶点第一索引关系和所述模型顶点第二索引关系对所述公共模型中的中性表情的人脸特征点和所述3D重建中性表情模型中的人脸特征点进行刚性配准，获得第一变换矩阵。

3.根据权利要求1所述的方法，其特征在于，所述根据所述用户的中性表情模型和所述公共模型中的N种表情模型分别获得所述用户的N种表情模型，具体包括：

获得所述公共模型中的中性表情模型的人脸特征点对应的模型顶点第一索引关系；获得所述用户的中性表情模型的人脸特征点对应的模型顶点第三索引关系；

根据所述用户的中性表情模型、所述公共模型中的中性表情模型、模型顶点第一索引关系和模型顶点第三索引关系，获得所述公共模型中的N种表情模型到所述用户的中性表情模型最近的模型顶点集合{c1,c2,…cn}；

分别根据所述公共模型中的N种表情模型、所述用户的中性表情模型和所述最近的模型顶点集合{c1,c2,…cn}获得所述用户的N种表情模型。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述对所述用户的人脸进行实时跟踪，根据跟踪结果和所述用户的N种表情模型，拟合得到所述用户的实时表情模型，具体包括：

实时获取所述用户的人脸的彩色图与深度图；

利用人脸特征点检测模型获得所述彩色图中当前的人脸特征点；

将所述当前的人脸特征点映射到所述深度图，获得所述当前的人脸特征点的三维坐标；

基于所述当前的人脸特征点的三维坐标和所述跟踪结果，利用数学最优化配准方法拟合获得所述当前的人脸特征点相对于所述用户的N种表情模型的表情系数向量；所述表情系数向量中包含N个表情系数，所述N个表情系数分别与所述用户的N种表情模型相对应；

根据所述用户的N种表情模型和所述表情系数向量拟合得到所述用户的实时表情模型。

5.一种基于混合现实的表情迁移装置，其特征在于，包括：

表情模型第一获取模块，用于采集用户的中性表情，对所述中性表情进行3D重建获得3D重建中性表情模型；

表情模型配准模块，用于将所述3D重建中性表情模型与公共模型中的中性表情模型进行配准，获得所述用户的中性表情模型；所述公共模型包括N种表情模型；所述N为大于1的正整数；具体包括：变换矩阵获取单元，用于将所述3D重建中性表情模型与公共模型中的中性表情模型进行刚性配准，获得第一变换矩阵；中间模型获取单元，用于将所述3D重建中性表情模型乘以所述第一变换矩阵获得中间模型；第一非刚性配准单元，用于将所述中间模型与所述公共模型中的中性表情模型进行非刚性配准获得第二变换矩阵集合；第二非刚性配准单元，用于将所述公共模型中的中性表情模型乘以所述第二变换矩阵集合得到所述用户的中性表情模型；

表情模型第二获取模块，用于根据所述用户的中性表情模型和所述公共模型中的N种表情模型分别获得所述用户的N种表情模型；

表情捕捉模块，用于对所述用户的人脸进行实时跟踪，根据跟踪结果和所述用户的N种表情模型，拟合得到所述用户的实时表情模型；

表情迁移模块，用于将所述用户的实时表情模型迁移到待迁移模型。

6.根据权利要求5所述的装置，其特征在于，所述表情捕捉模块，具体包括：

人脸特征点获取单元，用于根据所述跟踪结果获得当前的人脸特征点；

表情系数向量获取单元，用于基于数学最优化配准方法拟合获得所述当前的人脸特征点相对于所述用户的N种表情模型的表情系数向量；所述表情系数向量中包含N个表情系数，所述N个表情系数分别与所述用户的N种表情模型相对应；

实时表情模型拟合单元，用于根据所述用户的N种表情模型和所述表情系数向量拟合得到所述用户的实时表情模型。

7.一种处理器，其特征在于，用于运行计算机程序，所述程序运行时执行权利要求1-4任一项所述的基于混合现实的表情迁移方法。

8.一种基于混合现实的表情迁移系统，其特征在于，包括：权利要求7所述的处理器；还包括：采集设备和显示设备；

所述采集设备，用于获取用户的面部图像，将所述面部图像发送至所述处理器；

所述显示设备，用于对迁移有所述用户的实时表情模型的待迁移模型进行显示。

Images