CN109215131A - 虚拟人脸的驱动方法及装置 - Google Patents

Abstract

本发明适用于虚拟现实技术领域，提供了虚拟人脸的驱动方法及装置，包括通过采集人脸视频，检测人脸视频中各个视频帧的二维人脸特征点，并通过拟合计算的方式，将二维人脸特征点转换成三维人脸特征点；根据三维人脸特征点计算出驱动参数，以驱动虚拟人脸，降低了驱动虚拟人脸所需要的成本，简化了前期准备的步骤，而且扩大了虚拟人脸驱动方法的应用范围。

Description

虚拟人脸的驱动方法及装置

技术领域

本发明属于虚拟现实技术领域，尤其涉及虚拟人脸的驱动方法及装置。

背景技术

目前，虚拟人脸驱动在很多领域中被广泛应用，具有很大的市场价值。例如，在电影、动画以及游戏视频制作中经常使用人脸动作捕捉设备来跟踪真实人脸的变化，并将其映射到一个虚拟角色上，用来驱动虚拟角色的口型以及表情。此外虚拟社交是虚拟现实领域的一个重要应用，虚拟人脸驱动，可以被应用在虚拟社交中，用来驱动个性化的虚拟人，从而增强虚拟社交的真实性与互动性，优化用户的虚拟现实体验。

然而当前，国内外应用于电影、游戏娱乐等产业中的虚拟人脸的驱动方法，往往需要价格昂贵的头戴式设备跟踪真实的人脸运动，以消除头部姿态对跟踪带来的影响；而且往往需要多个摄像头，并在实体人脸上做标记，才可以在三维空间中跟踪脸部的若干特征点，因此当前虚拟人脸的驱动方法的前期准备步骤非常复杂。这也导致了一个问题，就是现有的虚拟人脸的驱动方法适用性较差，只能应用于通过特殊设备采集的数据。

综上，当前的虚拟人脸的驱动方法实现所需要的成本较高，而且适用性较差，需要大量时间和步骤进行前期准备才可以实现。

发明内容

有鉴于此，本发明实施例提供了虚拟人脸的驱动方法及装置，以解决现有的虚拟人脸的驱动方法的适用性低的问题。

本发明实施例的第一方面提供了一种虚拟人脸的驱动方法，包括：采集人脸视频，并检测所述人脸视频中各个视频帧的二维人脸特征点；对所述人脸视频中一个以上视频帧的二维人脸特征点进行拟合计算，生成三维人脸特征点；根据所述三维人脸特征点，计算驱动参数，并基于所述驱动参数，驱动虚拟人脸。

本发明实施例的第二方面提供了一种虚拟人脸的驱动装置，包括：采集模块，用于采集人脸视频，并检测所述人脸视频中各个视频帧的二维人脸特征点；生成模块，用于对所述人脸视频中一个以上视频帧的二维人脸特征点进行拟合计算，生成三维人脸特征点；驱动模块，用于根据所述三维人脸特征点，计算驱动参数，并基于所述驱动参数，驱动虚拟人脸。

本发明实施例的第三方面提供了一种虚拟人脸的驱动装置，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述方法的步骤。

本发明实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述方法的步骤。

本发明实施例与现有技术相比存在的有益效果是：通过采集人脸视频，检测人脸视频中各个视频帧的二维人脸特征点，并通过拟合计算的方式，将二维人脸特征点转换成三维人脸特征点；根据三维人脸特征点计算出驱动参数，以驱动虚拟人脸，降低了驱动虚拟人脸所需要的成本，简化了前期准备的步骤，而且扩大了虚拟人脸驱动方法的应用范围。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的虚拟人脸的驱动方法的实现流程图；

图2是本发明实施例提供的对视频帧进行筛选以获得一采样视频帧集合的具体实现流程图；

图3是本发明实施例提供的虚拟人脸的驱动方法中步骤S102的具体实现流程图；

图4是本发明实施例提供的虚拟人脸的驱动方法中步骤S103的具体实现流程图；

图5是本发明实施例提供的虚拟人脸的驱动装置的结构框图；

图6是本发明实施例提供的虚拟人脸的驱动装置的示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

图1示出了本发明实施例提供的虚拟人脸的驱动方法的实现流程，详述如下：

在S101中，采集人脸视频，并检测所述人脸视频中各个视频帧的二维人脸特征点。

在本发明实施例中，不需要采用特殊的头戴式设备上的多个摄像头采集人脸信息，而是使用普通的RGB摄像头采集人脸视频，并将这些通过普通摄像头采集的人脸视频作为整个算法的原始数据，进行后续的数据处理。这就降低了驱动虚拟人脸的成本，以及减少了前期准备的步骤和时间。

本发明实施例在获取了通过普通RGB摄像头采集的人脸视频后，通过比较人脸视频各个帧之间的差异大小，选择多个差异足够大的帧作为人脸重建以及后续驱动虚拟人脸的数据。之所以需要使用多个视频帧，是为了克服人脸自遮挡、个性化表情等因素带来的单帧人脸重建精度低的问题。因此，在视频帧选择的过程中，通常需要选择那些包含不同头部姿态、不同表情的视频帧，以尽可能地涵盖人脸动作的变化范围。

可以理解地，在通过处理多个视频帧的数据信息后，可以基于这些数据信息还原真实的人脸三维图像，并基于这个人脸三维图像，驱动一个虚拟人脸，从而使该虚拟人脸做出与真实人脸相同或相似的动作和表情，具体的还原真实的人脸三维图像以及驱动虚拟人脸的方法将在下文详述。

可选地，在本发明实施例中，采用Dlib库函数检测人脸视频中各个视频帧的二维人脸特征点。Dlib库函数是当前较为成熟的自动采集二维人脸特征点的函数，当接收到一个视频帧后，Dlib库函数可以自动检测出70个特征点，用于描绘该视频帧内的人脸。

本发明实施例通过普通的的RGB摄像机采集人脸视频，不同于使用特殊摄像机采集人脸视频，因而降低了采集人脸视频的成本；同时本发明实施例，不需要事先在人脸上安装特征点，因此减少了采集工作的前期准备步骤和时间。

可选地，在本发明实施例中，在采集人脸视频之后，为了筛选出更有代表性的、两两之间差异较大的视频帧，还提供一个对人脸视频的视频帧进行筛选，以获得一采样视频帧集合的方法。

图2是本发明实施例提供的对视频帧进行筛选以获得一采样视频帧集合的具体实现流程，详述如下：

在S201中，根据所述二维人脸特征点计算人脸的旋转角度，并基于所述旋转角度对所述人脸视频中的各个视频帧分类，并从每类视频帧中抽取至少一个视频帧，组成第一视频帧集合。

在本发明实施例中，选择两个维度衡量人脸的旋转角度，分别是沿X轴的旋转角度(Pitch)以及沿Y轴的旋转角度(Yaw)。

具体地，通过双线性人脸对二维人脸特征点进行拟合计算，生成用于描述人脸的旋转角度的pitch以及Yaw两个参数。

可选地，将pitch角度分成3类，分别为：[-45,-15]、[-15,+15]、[+15,+45]；将Yaw角度分成3类，分别为：[-45,-15]、[-15,+15]、[+15,+45]。可以理解地，全部采集到的人脸视频可以根据上述分法，分为9类。根据用户对于准确性的要求，以及计算机的处理能力，从这9类视频帧中抽取预设数量的视频帧，值得注意的是，每类视频帧中都至少抽取一个视频帧。并将根据人脸的旋转角度筛选出的视频帧组成第一视频帧集合。

在S202中，根据所述二维人脸特征点计算人脸的表情参数，并基于表情参数的差异从人脸视频中抽取视频帧，组成第二视频帧集合。

具体地，所述步骤S202通过以下两步实现：

第一步，通过模式识别算法确定所述人脸视频中的各个视频帧中人脸的表情参数。

在本发明实施例中，可以采用SVM算法或KNN算法等模式分类算法，对视频中各帧的人脸的表情进行分类。通过这些模式识别算法确定全部的视频帧中人脸的表情，并基于预设的关联关系，确定该表情对应的表情参数。由于通过现有的模式识别算法对表情进行分类是本领域较为成熟的算法，因此不在此赘述。

第二步，从所述人脸视频中依次抽取一视频帧与各个已抽取视频帧的表情参数的差值，若所述差值的最小值大于一预设阈值，则将当前抽取的视频帧放入到已抽取视频帧中，从而不断更新所述已抽取的视频帧，所述最终抽取出的视频帧组成了所述第二视频帧集合。

可以理解地，首先从所述人脸视频中抽取一视频帧作为已抽取视频帧，然后再抽取下一视频帧(当前抽取的视频帧)与所述已抽取视频帧的表情参数相比较，若当前抽取的视频帧与已抽取视频帧的表情参数的差值大于预设阈值，则将当前视频帧放入已抽取视频帧中，更新所述已抽取视频帧；若所述差值小于预设阈值，则放弃当前视频帧。之后，再抽取下一视频帧作为当前视频帧，并比较当前视频帧与各个已抽取视频帧的表情参数的差值，若所述差值中的最小值大于预设阈值，则将当前视频帧放入已抽取视频帧中，继续更新所述已抽取的视频帧，否则放弃当前视频帧。按照上述操作依次抽取出所述人脸视频中的每一视频帧，并将抽取的当前视频帧与不断更新的已抽取视频帧的表情参数做比较，并判断是否加入已抽取的视频帧，最终获得已抽取视频帧即为所述第二视频帧集合。

可以理解地，在本步骤中，所谓“已抽取的视频帧”表示根据表情参数的差异已抽取的视频帧，由于根据表情参数的差异抽取视频帧的步骤，是独立于根据旋转角度抽取视频帧的步骤而重新进行的，因此这里的“已抽取的视频帧”不包括根据旋转角度抽取的视频帧。

可选地，在本发明实施例中，依照各个视频帧出现的时间顺序，依次判断当前处理的视频帧的表情参数与其他已被抽取的视频帧的表情参数的差值。差值越大，证明两个视频帧中的表情差别越大。将当前处理的视频帧的表情参数与其他各个已被抽取的视频帧的表情参数的差值，全部记录，并存放至当前表情参数差值集合中。

可以理解地，在本发明实施例中，每一个视频帧对应一个表情参数差值集合。表情参数差值集合中的各个元素，分别代表着当前处理的视频帧与各个不同的已被抽取的视频帧的差值。

在本发明实施例中，如果一个视频帧对应的当前表情参数差值集合中的最小值大于预设的差值阈值，则证明该视频帧内的人脸表情，与全部其他已被抽取的视频帧内的人脸表情的差异都足够大，因此抽取当前处理的视频帧。

例如，一个人脸视频总共包括10个视频帧，如果预设阈值等于2，第一个视频帧的表情参数为4，可以理解地，由于不存在已抽取的视频帧，因此第一个视频帧会被抽取。接着假设第二个视频帧的表情参数为5，可以理解地，由于第二个视频帧与已抽取的视频帧的表情参数差值是1，由于1小于预设阈值，则第二个视频帧不会被抽取。接着假设第三个视频帧的表情参数为8，可以理解地，由于第三个视频帧与已抽取的视频帧的表情参数差值是8-4＝4，由于4大于1，因此第三个视频帧被抽取。接着假设第四个视频真的表情参数为9，由于第四个视频帧与已抽取的视频帧的表情参数分别为1、5，因此表情参数差值集合中的最小值为1，由于1小于预设阈值，则第四个视频帧不会被提取。接着假设第五个视频帧的表情参数为1，由于第5个视频帧与已抽取的视频帧的表情参数分别为3、7，因此表情参数差值集合中的最小值为3，由于3大于预设阈值，则第五个视频帧会被抽取。

在S203中，计算所述第一视频帧集合与所述第二视频帧集合的并集，以获得采样视频帧集合。

在本发明实施例中，分别通过各个视频帧中人脸的旋转角度的差异，从采集到的人脸视频的全部视频帧中筛选出第一视频帧集合；再通过各个视频帧中人脸的表情参数，从采集到的人脸视频的全部视频帧中抽取出第二视频帧集合。

可以理解地，由于第一视频帧集合与第二视频帧集合可能包含相同的视频帧，因此通过计算并集的方式，删除两个集合中的相同的视频帧。

在本发明实施例中，通过本步骤可以得到符合差异要求的采样视频帧集合。

可选地，为保证上述示例中得到的采样视频帧集合的可用性，可以采用进一步验证方法对采样视频帧集合内的视频帧进行筛选。

可以从以下几个方面对采样视频帧集合内的视频帧进行筛选：

第一方面，当按时间顺序排列的两张相邻视频帧，在这两帧中检测出的二维人脸特征点位置差异较大时，当前帧应该被剔除。造成相邻两帧差异较大的原因可能有两种，一种是人脸运动速度非常快，另一种是检测算法出错。对于第一种原因，由于人脸运动速度快，容易造成图像的运动模糊，导致检测结果不准确。由于三维人脸重建算法使用二维人脸特征点位置作为输入，因此应该剔除二维人脸特征点检测结果不准确的视频帧。第二方面，设计算法自行判断人脸特征点的可信度。比如，首先用边界检测算法检测图像边界，然后比较每个人脸特征点距离图像边界的最小距离，当最小距离大于预设阈值时剔除当前帧。第三方面，当旋转角度过大、人脸位置与摄像头距离过远(可以通过二位特征点之间的距离判断)，则剔除该视频帧。

可选地，在本发明实施例中，图2所示的各个步骤的有益效果是降低后续计算的复杂程度。

在S102中，对所述人脸视频中一个以上视频帧的二维人脸特征点进行拟合计算，生成三维人脸特征点。

图3是本发明实施例提供的虚拟人脸的驱动方法步骤S102的具体实现流程，详述如下：

在S301中，对所述采样视频帧集合中一个以上视频帧的二维人脸特征点进行拟合计算，得到三维人脸参数。

可选地，在本发明实施例中，三维人脸参数包括表情参数、变换参数以及脸型参数。可以理解地，三维人脸的表情参数用于决定三维人脸的表情；三维人脸的脸型参数用于决定三维人脸在自然表情(无表情)状态下的几何形状，三维人脸的变换参数用于决定三维人脸整体的空间位置和旋转角度。

可选地，在对二维人脸特征点进行拟合计算前，还可以选择是否对二维人脸特征点进行进一步地优化。其中，优化方式包括：在视频帧中做边缘检测，使用与二维人脸特征点最近的边缘点作为新的二维人脸特征点位置，或者使用SIFT流等更复杂的方法优化特征点位置。

可选地，在本发明实施例中，采用双线性人脸形变模型对二维人脸特征点进行拟合。

可选地，通过调整每个视频帧的表情参数β_n、变换参数T_n，以及所有视频帧中共同使用的脸型参数α，对二维人脸特征点的位置进行拟合。其中，拟合的数学公式表达如下：

其中，m_n,i,i∈{1,2,…K}代表第n帧的二维人脸特征点；函数E_m是目标方程中的数据项，用来度量三维人脸网格投影点与二维人脸特征点的位置差异；λ表示一个常数系数；E_α与E_β是目标方程中的正则项，用来规范脸型参数与表情参数的取值，防止人脸形变模型对二维人脸特征点的过拟合。

通过上述公式，结合若干视频帧的二维人脸特征点，通过调整人脸参数进行对二维人脸特征点的拟合后，可以得到表情参数、变换参数以及脸型参数等3种三维人脸参数。

在S302中，基于所述三维人脸参数，将所述二维人脸特征点转换为三维人脸特征点。

可以理解地，在得到表情参数、变换参数以及脸型参数这3种三维人脸参数后，可以再通过双线性模型将全部的二维人脸特征点转换为三维人脸特征点。

可选地，根据所述三维人脸特征点可以生成所述三维人脸图像。

可以理解地，三维人脸特征点是用于描述一个三维人脸图像的特征点，在获取若干三维人脸特征点后，可以通过预设的三维人脸模型，生成三维人脸图像。

可选地，在本发明实施例中，在基于所述三维人脸参数，将所述二维人脸特征点转换为三维人脸特征点之后，还包括：通过回归算法，对所述三维人脸特征点进行优化。

具体地，在每个三维特征点对应的图像投影点区域附近，提取图像特征，并将这些特征通过线性或非线性回归函数，映射为每个特征点三维位置的更新向量。这个过程可以用数学公式表达如下：

[Δx_i,Δy_i,Δz_i]是第i个人脸特征点三维位置的更新向量，F_i是在第i个人脸特征点附近的图像区域里提取的特征向量，φ_i是回归函数，通过线下学习构建。上述回归过程可以只进行一次，也可以用级联的方式重复执行。

可以理解地，用户可以选择不利用已拟合出的三维人脸特征点生成三维人脸图像，而直接利用三维人脸特征点进行后续计算，具体的计算过程将在下文详述。

在S103中，根据所述三维人脸特征点计算驱动参数，并基于所述驱动参数驱动虚拟人脸。

图4示出了本发明实施例提供的虚拟人脸的驱动方法中步骤S103的具体实现流程，详述如下：

在S401中，获取预设的融合外形矩阵。

在本发明实施例中，虚拟人脸的面部表情，是通过若干融合外形(blend shapes)的线性组合来实现的，因此我们的目标是要将三维人脸特征点位置转换成融合外形系数，来驱动一个虚拟人脸做不同的表情。可以理解地，在本发明实施例中，融合外形系数就是驱动系数。

在本发明实施例中，获取预设的融合外形矩阵，这里的融合外形矩阵可用于描述不同的三维特征点的组合，与不同的融合外形(blend shapes)语义的对应关系。融合外形语义例如：闭眼睛、张嘴巴、嘴角翘起以及挑眉毛等，这些融合外形语义可以用来描述一个虚拟人脸的表情。可以理解地，不同的三维特征点的组合必然对应不同的融合外形语义，从而驱动虚拟人脸做不同的表情。

值得注意的，在本发明实施例中，虚拟人脸与通过拟合计算得到的三维人脸使用的是相同的融合外形矩阵，这保证了通过三维人脸驱动虚拟人脸时不出现差错。

在S402中基于所述融合外形矩阵，对所述三维人脸图像的三维人脸特征点进行拟合运算，生成驱动参数。

可选地，通过求解如下带有约束的线性方程组实现对驱动参数的计算：

B_s×β′＝P 公式(1)

β′×Q＝0 公式(2)

β-β′_n-1＝0 公式(3)

0≤β′(i)≤1,i∈{1,2,…K} 公式(4)

B_s代表融合外形矩阵，β′代表待求的融合外形(驱动参数)系数，P为三维人脸特征点位置向量；公式(2)和(3)为正则项，用来规范β′的取值，其中对角矩阵Q记录了对每个融合外形系数的惩罚权重，β′_n-1是前一帧的融合外形系数；公式(4)为线性约束项，保证融合外形的取值在0与1之间。其中，三维人脸特征点的位置向量是根据上文示例中求得的。

在S403中，基于所述驱动参数，驱动所述虚拟人脸。

在本发明实施例中，通过融合外形系数(驱动参数)就可以根据预设的对应关系，找到该融合外形系数对应的融合外形语义，从而驱动虚拟人脸产生表情、头部姿态变化。

可以理解地，由于在本步骤中，融合外形系数是根据人脸视频生成的三维人脸上的三维特征点得到的，因此，本发明实施例中的虚拟人脸可以反应人脸视频中的人脸。

可以理解地，本发明实施例，通过普通的摄像机采集二维人脸视频，并基于二维人脸视频计算三维人脸特征点位置，接着根据三维人脸特征点位置计算驱动参数，以驱动虚拟人脸，这样的工作方法具有更大的适用性。

图5示出了本发明实施例提供的虚拟人脸的驱动装置的结构框图。

参见图5，该装置包括：

采集模块501，用于采集人脸视频，并检测所述人脸视频中各个视频帧的二维人脸特征点；

生成模块502，用于对所述人脸视频中一个以上视频帧的二维人脸特征点进行拟合计算，生成三维人脸特征点；

驱动模块503，用于根据所述三维人脸特征点，计算驱动参数，并基于所述驱动参数，驱动虚拟人脸。

进一步地，驱动装置还包括：抽取模块；所述抽取模块包括：

第一抽帧子模块，用于根据所述二维人脸特征点计算人脸的旋转角度，并基于所述旋转角度对所述人脸视频中的各个视频帧分类，并从每类视频帧中抽取至少一个视频帧，组成第一视频帧集合；

第二抽帧子模块，用于根据所述二维人脸特征点计算人脸的表情参数，并基于表情参数的差异从人脸视频中抽取视频帧，组成第二视频帧集合；

合并子模块，用于计算所述第一视频帧集合与所述第二视频帧集合的并集，以获得采样视频帧集合。

进一步地，生成模块包括：

拟合计算子模块，用于对所述采样视频帧集合中一个以上视频帧的二维人脸特征点进行拟合计算，得到三维人脸参数；

转换子模块，用于基于所述三维人脸参数，将所述二维人脸特征点转换为三维人脸特征点。图6是本发明一实施例提供的虚拟人脸的驱动装置的示意图。如图6所示，该实施例的虚拟人脸的驱动装置包括：处理器60、存储器61以及存储在所述存储器61中并可在所述处理器60上运行的计算机程序62，例如虚拟人脸的驱动程序。所述处理器60执行所述计算机程序62时实现上述各个虚拟人脸的驱动方法实施例中的步骤，例如图1所示的步骤S101至S103。或者，所述处理器60执行所述计算机程序62时实现上述各装置实施例中各模块/单元的功能，例如图5所示模块501至503的功能。

示例性的，所述计算机程序62可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器61中，并由所述处理器60执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序62在所述虚拟人脸的驱动装置6中的执行过程。例如，所述计算机程序62可以被分割成采集模块、生成模块、驱动模块各模块。

所述虚拟人脸的驱动装置6可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述虚拟人脸的驱动装置/装置可包括，但不仅限于，处理器60、存储器61。本领域技术人员可以理解，图6仅仅是虚拟人脸的驱动装置6的示例，并不构成对虚拟人脸的驱动装置6的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述虚拟人脸的驱动装置还可以包括输入输出设备、网络接入设备、总线等。

所称处理器60可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器61可以是所述虚拟人脸的驱动装置的内部存储单元，例如虚拟人脸的驱动装置6的硬盘或内存。所述存储器61也可以是所述虚拟人脸的驱动装置/装置6的外部存储设备，例如所述虚拟人脸的驱动装置/装置6上配备的插接式硬盘，智能存储卡(SmartMedia Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器61还可以既包括所述虚拟人脸的驱动装置/装置6的内部存储单元也包括外部存储设备。所述存储器61用于存储所述计算机程序以及所述虚拟人脸的驱动装置/装置所需的其他程序和数据。所述存储器61还可以用于暂时地存储已经输出或者将要输出的数据。所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的装置/装置和方法，可以通过其它的方式实现。例如，以上所描述的装置/装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种虚拟人脸的驱动方法，其特征在于，包括：

采集人脸视频，并检测所述人脸视频中各个视频帧的二维人脸特征点；

对所述人脸视频中一个以上视频帧的二维人脸特征点进行拟合计算，生成三维人脸特征点；

根据所述三维人脸特征点计算驱动参数，并基于所述驱动参数驱动虚拟人脸。

2.如权利要求1所述的驱动方法，其特征在于，在采集人脸视频，并检测所述人脸视频中各个视频帧的二维人脸特征点之后，还包括对所述人脸视频的视频帧进行筛选以获得一采样视频帧集合的步骤，具体如下：

根据所述二维人脸特征点计算人脸的旋转角度，并基于所述旋转角度对所述人脸视频中的各个视频帧分类，并从每类视频帧中抽取至少一个视频帧，组成第一视频帧集合；

根据所述二维人脸特征点计算人脸的表情参数，并基于表情参数的差异从人脸视频中抽取视频帧，组成第二视频帧集合；

计算所述第一视频帧集合与所述第二视频帧集合的并集，以获得所述采样视频帧集合。

3.如权利要求1所述的驱动方法，其特征在于，所述对所述人脸视频中一个以上视频帧的二维人脸特征点进行拟合计算，生成三维人脸特征点，包括：

对所述采样视频帧集合中一个以上视频帧的二维人脸特征点进行拟合计算，得到三维人脸参数；

基于所述三维人脸参数，将所述二维人脸特征点转换为三维人脸特征点。

4.如权利要求3所述的驱动方法，其特征在于，在基于所述三维人脸参数，将所述二维人脸特征点转换为三维人脸特征点之后，还包括：

通过回归算法，对所述三维人脸特征点进行优化。

5.如权利要求1所述的驱动方法，其特征在于，所述根据所述三维人脸特征点计算驱动参数，并基于所述驱动参数驱动虚拟人脸，包括：

获取预设的融合外形矩阵；

基于所述融合外形矩阵，对所述三维人脸图像的三维人脸特征点进行拟合运算，生成驱动参数；

基于所述驱动参数，驱动所述虚拟人脸。

6.一种虚拟人脸的驱动装置，其特征在于，包括：

采集模块，用于采集人脸视频，并检测所述人脸视频中各个视频帧的二维人脸特征点；

生成模块，用于对所述人脸视频中一个以上视频帧的二维人脸特征点进行拟合计算，生成三维人脸特征点；

驱动模块，用于根据所述三维人脸特征点，计算驱动参数，并基于所述驱动参数，驱动虚拟人脸。

7.如权利要求6所述的驱动装置，其特征在于，所述驱动装置还包括：抽取模块；

所述抽取模块包括：

第一抽帧子模块，用于根据所述二维人脸特征点计算人脸的旋转角度，并基于所述旋转角度对所述人脸视频中的各个视频帧分类，并从每类视频帧中抽取至少一个视频帧，组成第一视频帧集合；

第二抽帧子模块，用于根据所述二维人脸特征点计算人脸的表情参数，并基于表情参数的差异从人脸视频中抽取视频帧，组成第二视频帧集合；

合并子模块，用于计算所述第一视频帧集合与所述第二视频帧集合的并集，以获得采样视频帧集合。

8.如权利要求6所述的驱动装置，其特征在于，所述生成模块包括：

拟合计算子模块，用于对所述采样视频帧集合中一个以上视频帧的二维人脸特征点进行拟合计算，得到三维人脸参数；

转换子模块，用于基于所述三维人脸参数，将所述二维人脸特征点转换为三维人脸特征点。

9.一种虚拟人脸的驱动装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述方法的步骤。