CN105654537A - 一种实现与虚拟角色实时互动的表情克隆方法及装置 - Google Patents

Abstract

本发明公开了一种实现与虚拟角色实时互动的表情克隆方法及装置，该方法涉及计算机图形学、虚拟现实等领域，包括以下步骤：一、对虚拟角色建模并绑定骨骼；二、建立虚拟角色的基础表情库；三、表情输入的训练，记录面部特征点在每个基础表情下的最大位移；四、表情追踪，通过运动捕捉设备，对真人面部表情变化进行录制，计算得到基础表情的权值；五、表情映射，将得到的基础表情权值实时传递给虚拟角色，并对相应骨骼旋转插值；六、虚拟角色表情的实时渲染输出。该方法能够快速、稳定、逼真地合成出虚拟角色表情，使得虚拟角色能够与真人实时而稳定的表情互动。

Description

一种实现与虚拟角色实时互动的表情克隆方法及装置

技术领域

本发明涉及计算机图形学领域以及虚拟现实领域，具体而言，是一种实现能够与虚拟角色实时互动的表情克隆方法及装置。

背景技术

随着虚拟现实技术的不断发展，虚拟角色动画常常应用在动画、影视、游戏等许多重要的领域，尤其是需要人机互动的娱乐游戏。虚拟角色的动画包括肢体动画和表情动画两部分，为了实现虚拟角色的逼真效果，单纯的肢体动画已经无法满足用户的需求，逼真的表情动画是提升用户使用体验的重要因素。

表情克隆是指，将真实的表情实时复现到虚拟角色中去，从而达到与虚拟角色互动的目的。快速、稳定、逼真地合成出虚拟角色表情是重要的目标。并且，表情合成方法需要在不同的虚拟角色，不同的真人用户之间使用，需要有很好的可扩展性。而现有的方法通常无法保证实时而又稳定地生成虚拟角色表情。

目前生成表情动画的方法主要有：融合变形法和运动捕捉法。

融合变形是一种基于面皮网格变形的方法，基于基础表情及相应的权值，通过对网格顶点的空间位置进行权值加成，得到各点新的空间位置，该方法所涉及面片顶点过多，计算量过大。

运动捕捉是记录下真人演员面部的追踪点，记录下每个时刻的形态模型，再映射到相应的角色模型中去。将运动捕捉数据直接映射到角色的骨骼上的时候，由于录制设备本身的精度等原因，通常会出现抖动等不自然现象，需要对运动捕捉数据进行平滑等预处理，再映射给角色模型的骨骼。

发明内容

(一)要解决的技术问题

本发明提供了一种实现与虚拟角色实时互动的表情克隆方法。该方法使用了一种全新的表情实时生成方法，能够将真人表情实时映射到虚拟角色中去，使得虚拟角色能够跟真人在表情上实时而稳定地交互。该方法用以解决现有的在实际应用中，表情动画流畅性和稳定性方面的欠缺。同时对于不同角色模型和真人用户有很好的可扩展性。

(二)技术方案

为解决上述技术问题，本发明提供了一种实现与虚拟角色实时互动的表情克隆方法，包括数据准备阶段和表情生成阶段。

在数据准备阶段，主要包括以下几个步骤。角色建模、虚拟角色基础表情库建立、输入模型训练这三个步骤。

其中，角色建模步骤，是对虚拟角色在三维软件中进行建模，并对其进行骨骼的绑定，对每根骨骼对应的面片设置合适的权重，使得对骨骼及其控制器进行操作时，都能够得到相对自然的表情。根据需求不同可以全身建模，或单独的头部建模。设定脖子的关节为整个头部的根关节。

其中，虚拟角色基础表情库建立步骤，通过对已绑定的骨骼及其控制器的操控，得到角色模型的48种基础表情，并且，连同未进行表情操控的初始表情，总共得到49种表情，将这些表情存放于表情库中，以备后续操作使用。记录每一种基础表情所对应的所有关节的旋转值，此为权值为1时的旋转值。

其中，输入模型训练步骤，真人面对运动捕捉摄像设备，先录制没有表情的初始表情，记录所有面部特征点的空间坐标，记为初始值。再参照虚拟角色基础表情库中所有的基础表情，做出相同的表情，并记录下面部特征点的空间坐标，与初始值的差值即为特征点位移，此时的位移为使用者在做此基础表情时，真人面部可以达到的最大位移，即此时权值为1。

其中，对于真人表情录制所采用的运动捕捉摄像头设备，可以选取kinect等图像录制传感器。其中所录制的图像为基于深度信息的彩色图像，相比起单纯的彩色图像，能够更加便捷地得到面部特征点的空间位移，从而能够更加精确的得到基础表情的权值信息。

在表情生成阶段，主要包括以下几个步骤。表情追踪、表情映射、渲染输出三个步骤。

虚拟角色表情生成是真人表情到虚拟角色面部表情的实时克隆，是一种基于运动捕捉设备和实时渲染引擎的表情克隆方法。

通过运动捕捉设备，对真人面部表情变化进行录制，得到基础表情的权值，并实时传递给虚拟角色，虚拟角色进行骨骼的旋转插值，在实时渲染平台中，对虚拟角色实时渲染输出，达到虚拟角色与真人实时互动的目的。

其中，表情追踪步骤，通过运动捕捉设备对真人人脸进行摄制，得到实时的人脸彩色图像以及深度图像，对比人脸基础模型，识别出面部特征点，以及每个特征点的空间坐标。通过计算与初始表情特征点位移的差值，算出这些特征点的位移信息。并根据各骨骼在各基础表情权值为1时的位移，得到当前各基础表情的权值。

其中，表情映射步骤，根据表情追踪得到的权值数组，输入给虚拟角色，再参照虚拟角色基础表情库，将权值赋给相应的基础表情，得到每一根骨骼在相应的基础表情下的旋转信息，并对每一根骨骼的这些旋转值进行叠加，相对于初始表情进行旋转插值，最终得到当前帧的虚拟角色表情。

虚拟角色的表情是通过基于骨骼旋转插值的方法，对于基础表情进行融合得到的。除此之外，需要对眼珠和脖子进行单独的旋转计算。眼珠转动是通过运动捕捉设备对眼睛的单独摄制，计算其处于眼眶中的位置，并赋予虚拟角色。脖子转动，是根骨骼的旋转，是通过人体头部的整体旋转效果得到的，能够使得虚拟角色头部可以整体转动。

其中，渲染输出步骤，是虚拟角色表情动画的实时渲染输出。根据得到的虚拟角色当前帧的最终表情，通过实时渲染引擎输出显示，其中渲染引擎可选用CryEngine等实时渲染引擎。

附图说明

图1为本发明实施例中的实现与虚拟角色实时互动的表情克隆方法流程图；

图2为本发明中人体面部特征点的选取示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。

本发明提供了一种实现与虚拟角色实时互动的表情克隆方法，包括数据准备阶段和表情生成阶段。

在数据准备阶段，主要包括以下几个步骤。角色建模、虚拟角色基础表情库建立、输入模型训练这三个步骤。

其中，角色建模步骤，是对虚拟角色在三维软件中进行建模，并对其进行骨骼的绑定，对每根骨骼对应的面片设置合适的权重，使得对骨骼及其控制器进行操作时，都能够得到相对自然的表情。根据需求不同可以全身建模，或单独的头部建模。设定脖子的关节为整个头部的根关节。

其中，虚拟角色基础表情库建立步骤，通过对已绑定的骨骼及其控制器的操控，得到角色模型的48种基础表情，并且，连同未进行表情操控的初始表情，总共得到49种表情，将这些表情存放于表情库中，以备后续操作使用。记录每一种基础表情所对应的所有关节的旋转值，此为权值为1时的旋转值。

其中，输入模型训练步骤，真人面对运动捕捉摄像设备，先录制没有表情的初始表情，记录所有面部特征点的空间坐标，记为初始值。再参照虚拟角色基础表情库中所有的基础表情，做出相同的表情，并记录下面部特征点的位移空间坐标，与初始值的差值即为特征点位移，此时的位移为使用者在做此基础表情时，真人面部可以达到的最大位移，即此时权值为1。

其中，对于真人表情录制所采用的运动捕捉摄像头设备，可以选取kinect等图像录制传感器。其中所录制的图像为基于深度信息的彩色图像，相比起单纯的彩色图像，能够更加便捷地得到面部特征点的空间位移，从而能够更加精确的得到基础表情的权值信息。

在表情生成阶段，主要包括以下几个步骤。表情追踪、表情映射、渲染输出三个步骤。

虚拟角色表情生成是真人表情到虚拟角色面部表情的实时克隆，是一种基于运动捕捉设备和实时渲染引擎的表情克隆方法。

通过运动捕捉设备，对真人面部表情变化进行录制，得到基础表情的权值，并实时传递给虚拟角色，虚拟角色进行骨骼的旋转插值，在实时渲染平台中，对虚拟角色实时渲染输出，达到虚拟角色与真人实时互动的目的。

其中，表情追踪步骤，通过运动捕捉设备对真人人脸进行摄制，得到实时的人脸彩色图像以及深度图像，对比人脸基础模型，识别出面部特征点，以及每个特征点的空间坐标。通过计算与初始表情特征点位移的差值，算出这些特征点的位移信息。并根据各骨骼在各基础表情权值为1时的位移，得到当前各基础表情的权值。

其中，表情映射步骤，根据表情追踪得到的权值数组，输入给虚拟角色，再参照虚拟角色基础表情库，将权值赋给相应的基础表情，得到每一根骨骼在相应的基础表情下的旋转信息，并对每一根骨骼的这些旋转值进行叠加，相对于初始表情进行旋转插值，最终得到当前帧的虚拟角色表情。

虚拟角色的表情是通过基于骨骼旋转插值的方法，对于基础表情进行融合得到的。除此之外，需要对眼珠和脖子进行单独的旋转计算。眼珠转动是通过运动捕捉设备对眼睛的单独摄制，计算其处于眼眶中的位置，并赋予虚拟角色。脖子转动，是根骨骼的旋转，是通过人体头部的整体旋转效果得到的，能够使得虚拟角色头部可以整体转动。

其中，渲染输出步骤，是虚拟角色表情动画的实时渲染输出。根据得到的虚拟角色当前帧的最终表情，通过实时渲染引擎输出显示，其中渲染引擎可选用CryEngine等实时渲染引擎。

如图1所示，本发明优选实施例中提出的一种实现与虚拟角色实时互动的表情克隆方法，该方法分为数据准备和实时表情克隆两个阶段，具体包括如下步骤：

步骤101、角色建模：在三维图形软件中，对虚拟角色进行建模。按照需求的不同可以建立全身模型，也可以只进行头部建模。基于该方法的可扩展性，虚拟角色不予限制，可以是人体模型，也可以是其他动物模型、动画角色模型等。对角色模型进行骨骼蒙皮和绑定，对骨骼与蒙皮之间设置合适的权重，使得能够通过操控骨骼及其控制器，控制网格形变，从而将面部摆出合适的表情。所涉及的蒙皮绑定的骨骼共有N根骨骼，记为sj(0≤j≤N-1)。

步骤102、建立基础表情库：建立虚拟角色模型的基础表情库P。初始表情，即未经网格变形的初始状态，记为p₀∈P。对虚拟角色的面部分区域操作得到基础表情，面部可分为左眉毛、右眉毛、左眼、右眼、额头、左脸颊、右脸颊、左嘴角、右嘴角、上嘴唇、下嘴唇、下巴等12个区域，对这些区域分别进行操控的时候可以看出，每个区域都有相应的一定数量的骨骼，基础表情只对相应区域中的这些骨骼进行旋转插值，而对非该区域的骨骼则不产生影响。本发明中这些区域所涉及的骨骼部分程度上有所重叠，因为同一骨骼的不同变形将产生不同的基础表情，如嘴巴周围的相关骨骼。

每一种基础表情都以初始表情为基础进行骨骼旋转操作。基础表情即为当权值ω为1时的该区域网格变形，其中ω∈[0，1]。

设需要M种基于融合变形的基础表情。本发明优选实施例中共需生成M＝48种基础表情，以保证虚拟角色的表情变化的多样性及稳定性。这48种基础表情分别为：左眉毛下降、右眉毛下降、眉心上挑、左眉毛上挑、右眉毛上挑、皱眉、左脸颊向上拉扯、右脸颊向上拉扯、下嘴唇向上抬、上嘴唇向上抬、左眼闭眼、右眼闭眼、左眼向下看、右眼向下看、左眼向中间看、右眼向中间看、左眼向外侧看、右眼向外侧看、左眼睁大、右眼睁大、左眼斜视、右眼斜视、左眼向上看、右眼向上看、咀嚼时下巴向下伸、下巴向前、下巴向左、下巴向右、张大嘴时下巴张开、向外吹气时的嘴唇、下嘴唇闭合、下嘴唇下降、下嘴唇张开、噘嘴、嘴唇左伸、嘴唇右伸、上嘴唇闭合、上嘴唇张开、上嘴唇上抬、左边嘴大笑、右边嘴大笑、左边瘪嘴、右边瘪嘴、嘴向左、嘴向右、左边嘴浅笑、右边嘴浅笑、鼓嘴。

其中所有关于眼睛的基础表情，都是在做相应动作时眼皮的网格变化，即所涉及的面部部分指的是上眼皮、下眼皮、内眼角、外眼角等。而眼珠在眼眶中所处的位置将单独进行识别，不参与基础表情的权值叠加。并且所有的区域的操作都是相互独立的，例如在对下巴相关关节旋转的时候，嘴唇的相关关节不进行任何旋转变化。各面部区域的关节操作相互独立是为了在基础表情叠加的旋转插值时，不因其他面部细节而对该骨骼产生不必要影响，这是保证表情映射稳定而逼真的重要因素。

这些基础表情分别记为p_i∈P(1≤i≤48)，这些基础表情连同初始表情p₀一起被存放在基础表情库。记录p_i中每一根骨骼的四元数旋转值，其中i∈[0，48]，则骨骼s_j在对应基础表情p_i时的四元数旋转值记为q_ij。之所以选用四元数的方式记录旋转值是便于之后的旋转插值。

若该骨骼初始位置的向量为v₀，旋转之后向量为v₁，则设从v₀旋转到v₁，旋转夹角为α，绕单位轴u旋转，则四元数旋转值为：

$q=\[cos\frac{\mathrm{\α}}{2},u\·sin\frac{\mathrm{\α}}{2}\]$

步骤103、输入模型训练：真人对于基础表情的表情融合的预训练。真人正面面对运动捕捉设备，用摄像头采集得到真人模仿所有基础表情时的特征点空间位置，即获取真人所有基础表情的特征样本值。本发明采用kinect作为输入设备，同样也可选择其他的输入设备，Kinect能够记录彩色信息对应的深度信息，这样更便于得到个特征点的空间坐标。

如图2所示，通过图像处理，与标准人脸模型进行比较，标记出人脸的特征点。共有K＝33个特征点。每个特征点的空间坐标记为T_k(k∈[1，K])。

通过对人体面部特征点的提取，记录这些特征点的空间坐标，同样对面部进行分区处理。真人面对运动捕捉设备做出相应的48种基础表情，并对每一种基础表情，记录相应区域内的特征点的空间坐标，其与初始表情的特征点的空间坐标的差值，记为该基础表情下，权值ω为1时的特征点空间位置。

模型训练时，第i个基础表情p_i的第k个特征点的空间坐标记为T_ik，与初始表情T_0k的差值ΔT_ik，为ω＝1时的最大位移。

以上便得到了虚拟角色模型及基础表情动画的预处理。基于此，我们就可以进行实时的表情克隆。

可选地，本发明中在第一次使用该方法的时候，都需要录制一定数量的基础表情用于预训练，目的是便于系统识别，在之后的使用中，不需要再次录制。

步骤201、表情追踪：真人面对运动捕捉设备，捕捉实时表情，帧率为30帧/秒。用户在运动捕捉设备前，摆出任意的表情，通过处理，实时输出每个基础表情的当前帧的权值ω_i。

使用运动捕捉设备录制真人表情时，表情追踪包括网格的融合变形、根骨骼旋转、眼珠转动这3个部分。

首先求出根骨骼的旋转信息，即为所有关节的全局坐标轴旋转值。每时刻的基础表情的特征点坐标T_ik将受全局坐标的影响。根骨骼的旋转信息，即实时映射真人头部的整体旋转A_t，空间坐标T_0k经过坐标轴旋转的初始特征点坐标记为T′_0k。

T′_0k＝T_0k·A_t按照之前所述的面部分区方案，在t时刻，对于每一个面部特征点，经过坐标轴变换后，当前的空间坐标为T_tk，

设第i个基础表情p_i所涉及的面部特征点为k＝n，n+1，...，n+m-1∈[1，K]，共m个。

${\mathrm{\ω}}_{it}=\frac{1}{m}\underset{k=n}{\overset{n+m-1}{\Σ}}{\mathrm{\ω}}_k$

${\mathrm{\ω}}_k=\left\{\begin{array}{cc}\frac{{\mathrm{\ΔT}}_k}{{\mathrm{\ΔT}}_{ik}}& (\frac{{\mathrm{\ΔT}}_k}{{\mathrm{\ΔT}}_{ik}}>0)\\ 0& (\frac{{\mathrm{\ΔT}}_k}{{\mathrm{\ΔT}}_{ik}}\≤0)\end{array}\right.$

ΔT_k＝T_tk-T′_0k

其中，ΔT_k是在第k个特征点，在当前帧t，相对于经过坐标旋转的初始特征点坐标记为T′_0k的位移。ω_k为该特征点对于第i个基础表情p_i的权值，其通过与最大位移ΔT_ik相除得到。由于设定ω∈[0，1]，则当计算得到的权值小于零时，则置零。最后将各特征点的权值求和并求平均，得到该时刻t的基础表情p_i的对应权值ω_it。若ω_it＞1，则将ω_it置1。

步骤202、表情映射：在步骤201中得到了各个基础表情的权值ω_it，存入权值数组ω[48]，输入给虚拟角色。从真人到虚拟角色的表情映射包括网格的融合变形、根骨骼旋转、眼珠转动3个部分分别进行。

分别对每一根骨骼进行单独的旋转插值，由之前所做的区域划分得到，对于骨骼s_i来说，设共有a个基础表情对骨骼s_i的旋转插值产生影响。对所涉及的基础表情p_i的ω_i，ω_i∈[0，1]，除去ω_i＝0的对应的基础表情，得到b个基础表情，b≤a，将基础表情的权值从小到大依次排序，此时记为i＝h，h+1，...，h+b-1∈[1，M]，其中0＜ω_h≤ω_h+1≤…≤ω_h+b-1≤1。

对在步骤102中得到的四元数旋转值进行插值。

$q_j=Slerp(q_0,q_{ij},{\mathrm{\ω}}_i)=\frac{sin(1-{\mathrm{\ω}}_i)\mathrm{\θ}}{\sin \mathrm{\θ}}{q}_0+\frac{{\mathrm{sin\ω}}_i\mathrm{\θ}}{sin\mathrm{\θ}}{q}_{ij}$

θ＝arccos(q₀·q_ij)

其中，q_j为骨骼s_j经过旋转插值后的四元数旋转值，q₀为初始表情的四元数旋转值，q_ij为骨骼s_j在基础表情p_i时的旋转值，ω_i为基础表情p_i对应的当前权值，可计算得到θ为q₀与q_ij的夹角。

依次对p_h、p_h+1…p_h+b-1进行旋转插值。即首先取i＝h，得到q_h＝Slerp(q₀，q_hj，ω_h)，再对i＝h+1进行旋转插值，得到q_h+1＝Slerp(q_h，q_(h+1)j，ω_h+1)，依次类推，最终得到q_h+b-1，记为t时刻，骨骼s_j的旋转值，记做q_tj。

q_tj＝q_h+b-1

如此计算出所有所涉及骨骼在当前帧的旋转值，另外，需要对跟骨骼s_neck和控制左右眼的骨骼s_el和s_er的旋转值单独计算，对这三根骨骼不通过基础表情融合插值，直接由输入信息得到旋转信息，并赋予虚拟角色。

当彩色信息及深度信息，通过摄像头输入的时候，我们可以得到头部的整体旋转信息。当脖子转动的时候，跟骨骼s_neck会进行旋转，得旋转矩阵A_t，将影响面部各点的全局坐标。

左右眼的骨骼s_el和s_er，也由输入图像得到。通过对眼眶及眼珠的特征提取，得到眼珠当前在眼眶中所处位置的比例，换算成骨骼s_el和s_er的旋转值，赋予角色。

对每一根骨骼s_j赋予当前帧t的旋转值q_tj，即得到当前虚拟角色的完整表情。

步骤203、渲染输出：是虚拟角色表情动画的实时渲染输出。根据得到的虚拟角色当前帧的最终表情，通过实时渲染引擎输出显示，在本方法中，渲染引擎选用了CryEngine实时渲染引擎。实时渲染引擎能够对所生成的虚拟角色的动画实时的输出，从而使得虚拟角色能够与真人实时互动，将真人的表情实时克隆到虚拟角色的面部。

虚拟角色表情生成是真人表情到虚拟角色面部表情的实时克隆，是一种基于运动捕捉设备和实时渲染引擎的表情克隆方法。通过运动捕捉设备，对真人面部表情变化进行录制，得到基础表情的权值，并实时传递给虚拟角色，虚拟角色进行骨骼的旋转插值，在实时渲染平台中，对虚拟角色实时渲染输出，达到虚拟角色与真人实时互动的目的。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种实现与虚拟角色实时互动的表情克隆方法，其特征在于，包括如下步骤：

步骤1、对虚拟角色在三维软件中进行建模，并对其进行骨骼的绑定，设定脖子关节为根关节；

步骤2、建立基础表情库，所述基础表情库包括未经网格变形的初始表情和通过已绑定的骨骼对所述初始表情进行表情控制操作后得到的多种基础表情；

步骤3、录制真人对应的所述初始表情和多种基础表情，获取初始表情下预定数量的面部特征点的初始空间坐标以及不同基础表情对应的所述真人面部特征点的位移空间坐标，根据所述面部特征点的初始空间坐标和位移空间坐标得到不同基础表情对应的所述面部特征点的最大位移，此时所述多种基础表情的权值为1；

步骤4、实时捕捉真人的面部表情变化，得到真人对应的所述多个基础表情相应的权值，并利用所述权值对所述虚拟角色模型进行骨骼的旋转插值，实时渲染输出所述虚拟角色模型。

2.如权利要求1所述的方法，其中，步骤4具体包括：

捕捉真人面部表情，识别真人当前面部表情下所述面部特征点及其空间坐标；

计算当前面部表情下所述面部特征点的空间坐标与初始表情下所述面部特征点的初始空间坐标的差值，得到所述面部特征点的当前位移；

利用不同基础表情对应的所述面部特征点的最大位移和当前位移得到所述不同基础表情的当前权值；

将所述不同基础表情的当前权值赋予所述虚拟角色模型的相应基础表情，得到每一骨骼在相应的基础表情下的旋转值，并对每一骨骼的所有旋转值叠加后，得到与虚拟角色模型初始表情的旋转插值，最终得到当前帧虚拟角色模型的当前面部表情；

根据所述虚拟角色模型的当前面部表情，实时渲染输出显示所述虚拟角色模型。

3.如权利要求2所述的方法，其中，步骤4中对眼珠和脖子进行单独的旋转计算，具体为：

眼珠转动是通过运动捕捉设备对眼睛的单独摄制，计算其处于眼眶中的位置，并赋予虚拟角色；

脖子转动是根骨骼的旋转，是通过人体头部的整体旋转效果得到的。

4.如权利要求2所述的方法，其中，所述不同基础表情的当前权值如下计算：

${\mathrm{\ω}}_{it}=\frac{1}{m}\underset{k=n}{\overset{n+m-1}{\Σ}}{\mathrm{\ω}}_k$

${\mathrm{\ω}}_k=\left\{\begin{array}{cc}\frac{{\mathrm{\ΔT}}_k}{{\mathrm{\ΔT}}_{ik}}& (\frac{{\mathrm{\ΔT}}_k}{{\mathrm{\ΔT}}_{ik}}>0)\\ 0& (\frac{{\mathrm{\ΔT}}_k}{{\mathrm{\ΔT}}_{ik}}\≤0)\end{array}\right.$

ΔT_k＝T_tk-T′_0k

其中，ω_it为当前时刻t的基础表情p_i对应的当前权值，ΔT_k是第k个面部特征点，在当前时刻t，相对于初始表情下对应面部特征点的位移，ΔT_ik为第k个面部特征点在第i个基础表情时，相对于初始表情的最大位移；T′_0k为第k个面部特征点在初始表情时，经过全局坐标变换之后的空间坐标，T_tk为当前面部表情下第k个面部特征点的空间坐标；ω_k为第k个面部特征点对于第i个基础表情p_i的当前权值，n，n+1，...，n+m-1为第i个基础表情所涉及的面部特征点，共m个。

5.如权利要求2所述的方法，其中，所述每一骨骼在相应的基础表情下的旋转值如下计算：

$q_j=Slerp(q_0,q_{ij},{\mathrm{\ω}}_i)=\frac{sin(1-{\mathrm{\ω}}_i)\mathrm{\θ}}{\sin \mathrm{\θ}}{q}_0+\frac{{\mathrm{sin\ω}}_i\mathrm{\θ}}{sin\mathrm{\θ}}{q}_{ij}$

θ＝arccos(q₀·q_ij)

其中，q_j为骨骼s_j经过旋转插值后的四元数旋转值，q₀为初始表情的四元数旋转值，q_ij为骨骼s_j在基础表情p_i时的旋转值，ω_i为基础表情p_i对应的当前权值，可计算得到θ为q₀与q_ij的夹角。

6.如权利要求1-5任一项所述的方法，其中，步骤3中所录制的真人图像为基于深度信息的彩色图像。

7.一种实现与虚拟角色实时互动的表情克隆装置，其特征在于，包括：

建模模块，用于对虚拟角色在三维软件中进行建模，并对其进行骨骼的绑定，设定脖子关节为根关节；

基础表情库建立模块，用于建立基础表情库，所述基础表情库包括未经网格变形的初始表情和通过已绑定的骨骼对所述初始表情进行表情控制操作后得到的多种基础表情；

基础表情录制模块，用于录制真人对应的所述初始表情和多种基础表情，获取初始表情下预定数量的面部特征点的初始空间坐标以及不同基础表情对应的所述真人面部特征点的位移空间坐标，根据所述面部特征点的初始空间坐标和位移空间坐标得到不同基础表情对应的所述面部特征点的最大位移，此时所述多种基础表情的权值为1；

表情克隆模块，用于实时捕捉真人的面部表情变化，得到真人对应的所述多个基础表情相应的权值，并利用所述权值对所述虚拟角色模型进行骨骼的旋转插值，实时渲染输出所述虚拟角色模型。

8.如权利要求7所述的装置，其中，所述表情克隆模块包括：

表情捕捉模块，用于捕捉真人面部表情，识别真人当前面部表情下所述面部特征点及其空间坐标；

位移计算模块，用于计算当前面部表情下所述面部特征点的空间坐标与初始表情下所述面部特征点的初始空间坐标的差值，得到所述面部特征点的当前位移；

权值计算模块，用于利用不同基础表情对应的所述面部特征点的最大位移和当前位移得到所述不同基础表情的当前权值；

表情虚拟模块，用于将所述不同基础表情的当前权值赋予所述虚拟角色模型的相应基础表情，得到每一骨骼在相应的基础表情下的旋转值，并对每一骨骼的所有旋转值叠加后，得到与虚拟角色模型初始表情的旋转插值，最终得到当前帧虚拟角色模型的当前面部表情；

虚拟角色输出模块，用于根据所述虚拟角色模型的当前面部表情，实时渲染输出显示所述虚拟角色模型。

9.如权利要求8所述的装置，其中，所述表情克隆模块对眼珠和脖子进行单独的旋转计算，具体为：

眼珠转动是通过运动捕捉设备对眼睛的单独摄制，计算其处于眼眶中的位置，并赋予虚拟角色；

脖子转动是根骨骼的旋转，是通过人体头部的整体旋转效果得到的。

10.如权利要求8所述的方法，其中，所述不同基础表情的当前权值如下计算：

${\mathrm{\ω}}_{it}=\frac{1}{m}\underset{k=n}{\overset{n+m-1}{\Σ}}{\mathrm{\ω}}_k$

${\mathrm{\ω}}_k=\left\{\begin{array}{cc}\frac{{\mathrm{\ΔT}}_k}{{\mathrm{\ΔT}}_{ik}}& (\frac{{\mathrm{\ΔT}}_k}{{\mathrm{\ΔT}}_{ik}}>0)\\ 0& (\frac{{\mathrm{\ΔT}}_k}{{\mathrm{\ΔT}}_{ik}}\≤0)\end{array}\right.$

ΔT_k＝T_tk-T′_0k

其中，ω_it为当前时刻t的基础表情p_i对应的当前权值，ΔT_k是第k个面部特征点，在当前时刻t，相对于初始表情下对应面部特征点的位移，ΔT_ik为第k个面部特征点在第i个基础表情时，相对于初始表情的最大位移；T′_0k为第k个面部特征点在初始表情时，经过全局坐标变换之后的空间坐标，T_tk为当前面部表情下第k个面部特征点的空间坐标；ω_k为第k个面部特征点对于第i个基础表情p_i的当前权值，n，n+1，...，n+m-1为第i个基础表情所涉及的面部特征点，共m个。