CN108960020A - 信息处理方法和信息处理设备 - Google Patents

Abstract

公开了一种信息处理方法和信息处理设备。该信息处理方法包括：根据包含人的面部的二维图像中的第一组特征点和平均面部三维模型中的第二组特征点之间的对应关系，来计算形状参数和表情参数中的至少一个；利用形状参数和表情参数中的至少一个来配置面部形变模型，以获得与二维图像中的面部对应的特定三维模型。

Description

信息处理方法和信息处理设备

技术领域

本发明涉及信息处理技术，具体地，涉及用于处理人脸图像的方法和设备。

背景技术

当前，人脸图像处理技术已经得到很大发展，例如人脸识别、人脸图像增强等等。由于图像中的人脸不仅与人物的相貌有关，而且与其它因素，例如人物的表情和姿态有关，因此从人脸图像中提取面部表情或面部姿态对于人脸图像增强是非常有帮助的。

因此，期望提出一种利用人物的表情或姿态的人脸图像处理技术。

发明内容

根据本发明的一个方面，提供了一种信息处理方法，包括：根据包含人的面部的二维图像中的第一组特征点和平均面部三维模型中的第二组特征点之间的对应关系，来计算形状参数和表情参数中的至少一个；以及利用所述形状参数和所述表情参数中的至少一个来配置面部形变模型，以获得与所述二维图像中的面部对应的特定三维模型。

根据本发明的另一个方面，提供了一种信息处理方法，包括：基于具有中性表情的多个第一面部模型来计算平均面部模型和形状特征；基于所述多个第一面部模型和具有非中性表情的多个第二面部模型之间的差来计算表情特征；利用所述平均面部模型、所述形状特征以及所述表情特征，来构建面部形变模型。

根据本发明的另一个方面，提供了一种信息处理设备，包括处理电路，所述处理电路被配置为执行上述信息处理方法。

附图说明

可以通过参考下文中结合附图所给出的描述来更好地理解本发明，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步说明本发明的优选实施例和解释本发明的原理和优点。在附图中：

图1是用于获得面部形变模型的处理的示意图。

图2是用于获得面部形变模型的处理流程图。

图3是根据人脸二维图像来建立人脸三维模型的处理流程图。

图4是利用人脸三维模型对人脸二维图像进行增强的一个示例的流程图。

图5是利用人脸三维模型对人脸二维图像进行增强的另一个示例的流程图。

图6示出了计算机硬件的示意性配置框图。

具体实施方式

图1示意性地示出了获得面部形变模型的处理。假设在数据库中预先存储有多个人脸三维(3D)模型，其中包括具有中性表情的多个人脸三维模型S_id以及具有非中性表情的多个人脸三维模型S_exp。非中性表情包括除了中性表情之外的任何表情。此外，任一非中性表情的人脸三维模型S_exp具有与其相对应的中性表情三维模型S_id，此处的“相对应”是指二者都是同一人脸的三维模型，只是表情不同。

在获得面部形变模型的处理中，首先基于数据库中存储的多个中性表情的人脸三维模型S_id来计算得到平均人脸模型S_a，然后利用所计算的平均人脸模型S_a和该多个中性表情的人脸三维模型S_id来获得中性表情特征空间的特征向量A_id。中性表情特征空间的特征向量A_id对应于具有中性表情的人脸三维模型。

另一方面，基于数据库中存储的多个中性表情三维模型S_id以及多个非中性表情三维模型S_exp来获得非中性表情特征空间的特征向量A_exp。非中性表情特征空间的特征向量A_exp对应于具有非中性表情的人脸三维模型。

然后可以利用所获得的特征向量A_id和A_exp来构建面部形变模型。面部形变模型是基础模型，可以通过对该模型进行调整来获得不同的人脸三维模型。以下将结合图2来详细描述获得面部形变模型的处理流程。

如图2所示，首先在步骤S201，按照以下公式(1)，基于数据库中存储的多个中性表情三维模型S_id(也称为样本集)来计算平均人脸模型S_a：

其中，S_id,i表示第i个中性表情三维模型S_id，即第i个样本，并且i＝1,2,…,m，α_i表示用于第i个中性表情三维模型的加权系数，例如α_i可以为

在步骤S202，通过主成分分析(Principal Component Analysis，PCA)，基于所计算的平均人脸模型S_a和多个中性表情三维模型S_id来计算中性表情特征空间的特征向量A_id。主成分分析(PCA)的原理是通过一个特征向量矩阵将一个高维向量投影到一个低维的向量空间中，表征为一个低维向量，并且仅仅损失一些次要信息。也就是说，通过低维向量和特征向量矩阵，可以基本重构出原始的高维向量。在人脸图像处理中，特征向量矩阵可以被称为特征空间。

如上所述，通过公式(1)已经获得了平均人脸模型S_a，接下来通过以下公式(2)来计算样本集的协方差矩阵：

然后计算协方差矩阵的特征向量和对应的特征值，这些特征向量组成的特征向量矩阵就是人脸空间的正交基底，用它们的线性组合可以重构出样本集中任意的中性表情三维模型。

然后，将计算的特征值按降序排序，在前的预定数目个特征值所对应的特征向量构成主成分，由主成分构成降维的特征子空间，从而任一人脸图像(高维向量)可以被投影到该特征子空间，并获得低维向量。以此方式获得的主成分即是中性表情特征空间的特征向量A_id。

类似地，在步骤S203，通过主成分分析(PCA)，基于非中性表情三维模型S_exp以及与其相对应的中性表情三维模型S_id可以计算出非中性表情特征空间的特征向量A_exp。

然后，在步骤S204，利用所计算的特征向量A_id和A_exp可以构建面部形变模型S_b，具体如以下公式(3)所示：

S_b＝S_a+A_id+A_exp---(3)

面部形变模型S_b是基础模型，通过对其应用特定人脸的独特特征，例如利用特定人脸特征对公式(3)中的特征向量A_id和A_exp进行加权，可以生成与该特定人脸对应的人脸三维模型。

以下将结合图3来描述根据人脸二维图像来建立人脸三维模型的处理。如图3所示，首先在步骤S301，基于人脸上的一组检测位置，分别在人脸二维图像中以及在如上所获得的平均人脸模型S_a中各自检测一组特征点。人脸的特征点检测可以采用本领域技术人员已知的多种技术，本发明对此不做限制。

在步骤S302，基于分别检测的两组特征点来进行拟合。例如，根据两组特征点之间的对应关系，以使得第一组特征点中的每个特征点与第二组特征点中的对应特征点之间的距离最小化的方式来计算形状加权参数α_id、表情加权参数α_exp以及摄像机校准参数，如以下公式(4)所示。在本文中，对应的特征点是指针对人脸上的同一检测位置(例如左眼、鼻子等)，在人脸二维图像和平均人脸模型S_a中分别检测到的两个特征点。

在公式(4)中，t是变换矢量，f和R表示摄像机校准参数，P_2D是在人脸二维图像上所检测的特征点，P_2Dt是以下二维图像上的与P_2D相对应的特征点：对平均人脸模型S_a应用了摄像机校准参数之后将其映射至二维空间所获得的二维图像。

摄像机校准参数包括缩放系数f和旋转矩阵R(α,β,γ)，其中缩放系数f用于调整人脸三维模型的尺寸，α,β,γ分别限定人脸三维模型的俯仰角、偏航角和翻滚角。因此，摄像机校准参数可以限定人脸三维模型的缩放比例以及姿态，以使得重建的人脸三维模型与二维图像中的人脸在尺寸和姿态方面相匹配。

通过公式(4)计算得到的形状加权参数α_id和表情加权参数α_exp代表了二维图像中的人脸相对于平均人脸的独特特征，包括相貌方面的独特特征(α_id)和表情方面的独特特征(α_exp)。

然后在步骤S303，利用所计算的形状加权参数α_id和表情加权参数α_exp来配置由图2中的处理所获得的面部形变模型S_b。具体来说，分别利用形状加权参数α_id和表情加权参数α_exp对中性表情特征空间的特征向量A_id和非中性表情特征空间的特征向量A_exp进行加权，从而获得与二维图像中的人脸相对应的三维模型S，如以下公式(5)所示：

S＝S_a+A_idα_id+A_expα_exp---(5)

所得到的三维模型S与二维图像中的人脸具有相同的相貌和表情。此时，可以对所建立的三维模型S进一步应用在步骤S302获得的摄像机校准参数，从而使该三维模型不仅在相貌和表情方面与二维图像中的人脸相匹配，而且在尺寸和姿态方面也与二维图像中的人脸相匹配。

需要说明的是，也可以先利用摄像机校准参数来调整面部形变模型S_b的缩放比例和姿态，然后利用形状加权参数α_id和表情加权参数α_exp来配置经摄像机校准的面部形变模型S_b。这样处理的结果与上述步骤S303的结果相同。

由此，根据包含人脸的二维图像重建了与该人脸相对应的人脸三维模型。

图4示出了通过利用人脸三维模型来对人脸二维图像进行增强(扩展)的一个示例。如图4所示，在步骤S401，基于一组检测位置，分别在包含特定人脸的二维图像和平均人脸模型S_a中检测特征点。在步骤S402，利用分别检测的两组特征点进行特征点拟合，以计算形状加权参数α_id、表情加权参数α_exp和摄像机校准参数。然后在步骤S403，利用所获得的形状加权参数α_id和表情加权参数α_exp分别对中性表情特征空间的特征向量A_id和非中性表情特征空间的特征向量A_exp进行加权，并且应用摄像机校准参数来调整缩放比例和姿态，从而获得与二维图像中的人脸相对应的三维模型S。步骤S401-S403与图3中的步骤S301-S303相同，故在此省略对其的详细描述。

然后在步骤S404，修改表情加权参数α_exp，并利用修改后的表情加权参数来配置面部形变模型S_b，从而获得修改后的人脸三维模型，该修改后的人脸三维模型具有与原始表情不同的表情，但人脸的相貌不改变。假设以α′_exp来表示修改后的表情加权参数，那么修改后的人脸三维模型S'可以表示为以下公式(6)：

S′＝S_a+A_idα_id+A_expα′_exp---(6)

特别地，可以根据从另一人物的二维图像中提取的表情特征来修改表情加权参数α_exp，从而使修改后的人脸三维模型S'具有该另一人物的表情。也就是说，用另一人物的表情来驱动该人脸三维模型。

然后在步骤S405，将修改后的三维模型S′映射到二维图像，从而获得新的人脸二维图像，新的二维图像中所包含的人脸具有与原始二维图像中的人物表情不同的表情。利用修改后的三维模型S′获得新的人脸二维图像I_2D的处理可以由以下公式(7)表示：

I_2D＝fPR(α,β,γ)(S′+t)---(7)

其中，P是投影矩阵，t是变换矢量。需要说明的是，将人脸三维模型映射至二维图像的处理可以采用本领域技术人员已知的任何处理方法，本发明对此不做限制。

如上所述，在本示例中，基于原始的人脸二维图像，通过建立三维模型，可以生成更多的具有不同表情的人脸图像，由此实现了对原始人脸图像的扩展。

以下结合图5来描述利用人脸三维模型来对人脸二维图像进行增强(扩展)的另一示例。如图5所示，在步骤S501，基于一组检测位置，分别在包含特定人脸的二维图像中以及在上文得到的平均人脸模型S_a中检测特征点。然后在步骤S502，利用分别检测到的两组特征点通过拟合获得形状加权参数α_id、表情加权参数α_exp以及摄像机校准参数。然后在步骤S503，利用所获得的形状加权参数α_id和表情加权参数α_exp来建立与二维图像中的人脸相对应的三维模型，如以上公式(5)所示。需要说明的是，在步骤S503建立的人脸三维模型可以是经过了摄像机校准的三维模型。步骤S501-S503与图3中的步骤S301-S303相同，故在此省略对其的详细描述。

在步骤S504，修改表情加权参数α_exp，从而获得具有新表情的修改后的人脸三维模型S′，如以上公式(6)所示。

接下来，在步骤S505可以进一步对摄像机校准参数进行修改，例如，可以修改缩放系数和旋转矩阵中的一个，或两者都修改。对于旋转矩阵，例如可以修改俯仰角、偏航角和翻滚角(α,β,γ)中的一个或多个。以下以f'表示修改后的缩放系数，以R'(α,β,γ)表示修改后的旋转矩阵。

在步骤S506，通过应用修改后的摄像机校准参数来配置修改后的人脸三维模型S'，并将三维模型映射至二维图像。所得到的二维图像I_2D如以下公式(8)所示：

I_2D＝f′PR′(α,β,γ)(S′+t)---(8)

其中，P是投影矩阵，t是变换矢量。根据公式(8)生成的人脸二维图像I_2D可以具有与原始二维图像中的人脸不同的表情、尺寸和姿态。

需要说明的是，虽然在图5的步骤S504和S505中依次修改了表情加权参数和摄像机校准参数，但这两个步骤的执行顺序可以不同于图中所示。例如，可以先修改摄像机校准参数，再修改表情加权参数。此外，在本示例中，步骤S504是可选的，即，可以省略修改表情加权参数的处理步骤。在这种情况下，所生成的新的人脸二维图像仅具有与原始二维图像中的人物不同的尺寸或姿态。

如上所述，在本示例中，通过建立人脸三维模型，生成了具有不同的尺寸或姿态或表情的二维图像，从而实现了对原始的人脸二维图像的扩展。

本发明提供了根据人脸二维图像来建立人脸三维模型的方案，以及利用所建立的三维模型生成具有新的表情和/或姿态的人脸二维图像，从而对原始二维图像进行增强(或扩展)的方案。在完成初始设置后，本发明的方案可以完全自动地执行，不需要人工操作的介入，因此本发明可以适用于需要自动生成大量人脸图像的应用场景。例如，本发明可以用于为卷积神经网络(CNN)训练自动地生成具有不同表情和姿态的大量训练图像，由此训练得到的CNN针对人脸表情和姿态的变化可以具有更强的鲁棒性。

在上述实施例中描述的各种处理可以由软件、硬件或者软件和硬件的组合来实现。包括在软件中的程序可以预先存储在设备的内部或外部所设置的存储介质中。作为一个示例，在执行期间，这些程序被写入随机存取存储器(RAM)并且由处理器(例如CPU)来执行，从而执行在上述实施例中描述的方法和处理。本发明包括这样的程序代码和程序产品，以及其上记录有该程序代码的计算机可读存储介质。

图6是示出了根据程序执行本发明的方案的计算机硬件的示例配置框图。

在计算机600中，中央处理单元(CPU)601、只读存储器(ROM)602以及随机存取存储器(RAM)603通过总线604彼此连接。

输入/输出接口605进一步与总线604连接。输入/输出接口605连接有以下组件：以键盘、鼠标、麦克风等形成的输入单元606；以显示器、扬声器等形成的输出单元607；以硬盘、非易失性存储器等形成的存储单元608；以网络接口卡(诸如局域网(LAN)卡、调制解调器等)形成的通信单元609；以及驱动移动介质611的驱动器610，该移动介质611诸如是磁盘、光盘、磁光盘或半导体存储器。

在具有上述结构的计算机中，CPU 601将存储在存储单元608中的程序经由输入/输出接口605和总线604加载到RAM 603中，并且执行该程序，以便执行上述处理。

要由计算机(CPU 601)执行的程序可以被记录在作为封装介质的移动介质611上，该封装介质以例如磁盘(包括软盘)、光盘(包括压缩光盘-只读存储器(CD-ROM))、数字多功能光盘(DVD)等)、磁光盘、或半导体存储器来形成。此外，要由计算机(CPU 601)执行的程序也可以经由诸如局域网、因特网、或数字卫星广播的有线或无线传输介质来提供。

当移动介质611安装在驱动器610中时，可以将程序经由输入/输出接口605安装在存储单元608中。另外，可以经由有线或无线传输介质由通信单元609来接收程序，并且将程序安装在存储单元608中。可替选地，可以将程序预先安装在ROM 602或存储单元608中。

要由计算机执行的程序可以是根据本说明书中描述的顺序来执行处理的程序，或者可以是并行地执行处理或当需要时(诸如，当调用时)执行处理的程序。

在本文中，在一个实施例中描述的特征、部件、元素、步骤等并不局限于该实施例，而是也可应用于其它实施例，例如替代于其它实施例中的特定特征、部件、元素、步骤等，或者与其相结合。

以上已经结合附图详细描述了本发明的技术方案以及技术效果，但是本发明的范围不限于此。本领域普通技术人员应该理解的是，取决于设计要求和其他因素，在不偏离本发明的原理和精神的情况下，可以对本文中所讨论的实施方式进行各种修改或变化。本发明的范围由所附权利要求或其等同方案来限定。

附记

1.一种信息处理方法，包括：

根据包含人的面部的二维图像中的第一组特征点和平均面部三维模型中的第二组特征点之间的对应关系，来计算形状参数和表情参数中的至少一个；以及

利用所述形状参数和所述表情参数中的至少一个来配置面部形变模型，以获得与所述二维图像中的面部对应的特定三维模型。

2.根据1所述的信息处理方法，还包括：通过利用修改的表情参数配置所述面部形变模型，来获得具有另外的表情的特定三维模型。

3.根据1所述的信息处理方法，还包括：根据所述第一组特征点和所述第二组特征点之间的对应关系，以使得所述第一组特征点中的每个特征点与所述第二组特征点中的相应特征点之间的距离最小化的方式来计算所述形状参数和所述表情参数中的至少一个。

4.根据1所述的信息处理方法，其中，所述面部形变模型包括形状特征和表情特征，

其中，利用所述形状参数和所述表情参数中的至少一个来配置面部形变模型的步骤包括：

利用所述形状参数对所述面部形变模型的形状特征进行加权；和/或

利用所述表情参数对所述面部形变模型的表情特征进行加权。

5.根据1所述的信息处理方法，还包括：根据所述第一组特征点和所述第二组特征点之间的对应关系，来计算摄像机校准参数。

6.根据5所述的信息处理方法，还包括：根据所述第一组特征点和所述第二组特征点之间的对应关系，以使得所述第一组特征点中的每个特征点与所述第二组特征点中的相应特征点之间的距离最小化的方式来计算所述摄像机校准参数。

7.根据5所述的信息处理方法，还包括：利用所述摄像机校准参数来配置所述特定三维模型的姿态和缩放比例中的至少一个，以使所述特定三维模型与所述二维图像中的面部相对应。

8.根据7所述的信息处理方法，还包括：通过利用修改的摄像机校准参数配置所述特定三维模型，来获得具有另外的姿态或缩放比例的特定三维模型。

9.一种信息处理方法，包括：

基于具有中性表情的多个第一面部模型来计算平均面部模型和形状特征；

基于所述多个第一面部模型和具有非中性表情的多个第二面部模型来计算表情特征；

利用所述平均面部模型、所述形状特征以及所述表情特征，来构建面部形变模型。

10.一种信息处理设备，包括处理电路，所述处理电路被配置为执行根据1-9中任一项所述的方法。

11.一种存储有程序的计算机可读存储介质，所述程序在被执行时使得计算机执行根据1-9中任一项所述的方法。

Claims (10)

1.一种信息处理方法，包括：

根据包含人的面部的二维图像中的第一组特征点和平均面部三维模型中的第二组特征点之间的对应关系，来计算形状参数和表情参数中的至少一个；以及

利用所述形状参数和所述表情参数中的至少一个来配置面部形变模型，以获得与所述二维图像中的面部对应的特定三维模型。

2.根据权利要求1所述的信息处理方法，还包括：通过利用修改的表情参数配置所述面部形变模型，来获得具有另外的表情的特定三维模型。

3.根据权利要求1所述的信息处理方法，还包括：根据所述第一组特征点和所述第二组特征点之间的对应关系，以使得所述第一组特征点中的每个特征点与所述第二组特征点中的相应特征点之间的距离最小化的方式来计算所述形状参数和所述表情参数中的至少一个。

4.根据权利要求1所述的信息处理方法，其中，所述面部形变模型包括形状特征和表情特征，

其中，利用所述形状参数和所述表情参数中的至少一个来配置面部形变模型的步骤包括：

利用所述形状参数对所述面部形变模型的形状特征进行加权；和/或

利用所述表情参数对所述面部形变模型的表情特征进行加权。

5.根据权利要求1所述的信息处理方法，还包括：根据所述第一组特征点和所述第二组特征点之间的对应关系，来计算摄像机校准参数。

6.根据权利要求5所述的信息处理方法，还包括：根据所述第一组特征点和所述第二组特征点之间的对应关系，以使得所述第一组特征点中的每个特征点与所述第二组特征点中的相应特征点之间的距离最小化的方式来计算所述摄像机校准参数。

7.根据权利要求5所述的信息处理方法，还包括：利用所述摄像机校准参数来配置所述特定三维模型的姿态和缩放比例中的至少一个，以使所述特定三维模型与所述二维图像中的面部相对应。

8.根据权利要求7所述的信息处理方法，还包括：通过利用修改的摄像机校准参数配置所述特定三维模型，来获得具有另外的姿态或缩放比例的特定三维模型。

9.一种信息处理方法，包括：

基于具有中性表情的多个第一面部模型来计算平均面部模型和形状特征；

基于所述多个第一面部模型和具有非中性表情的多个第二面部模型来计算表情特征；

利用所述平均面部模型、所述形状特征以及所述表情特征，来构建面部形变模型。

10.一种信息处理设备，包括处理电路，所述处理电路被配置为执行根据权利要求1-8中任一项所述的方法。