CN112861590A - 信息处理装置和方法以及图像识别设备 - Google Patents

Abstract

公开了一种信息处理装置和方法以及图像识别设备。该信息处理装置包括：模板生成单元，被配置成生成针对多个不同面部姿态的多个2D面部关键点模板；模板选择单元，被配置成根据从输入图像检测到的面部图像中的面部姿态和/或关键点的位置，从多个2D面部关键点模板中选择用于所检测到的面部图像的2D面部关键点模板；以及图像剪切单元，被配置成至少根据所检测到的面部图像中的关键点的位置和所选择的2D面部关键点模板，从输入图像剪切出与所检测到的面部图像对应的剪切图像。

Description

信息处理装置和方法以及图像识别设备

技术领域

本公开涉及信息处理领域，具体涉及一种信息处理装置和方法以及图像识别设备。

背景技术

在信息处理领域中，图像剪切技术是非常重要的，其可以应用于图像识别、图像属性分类和三维图像重建等。随着与图像有关的技术的广泛应用，需要一种能够更准确地对图像进行剪切的技术。

发明内容

在下文中给出了关于本公开的简要概述，以便提供关于本公开的某些方面的基本理解。但是，应当理解，这个概述并不是关于本公开的穷举性概述。它并不是意图用来确定本公开的关键性部分或重要部分，也不是意图用来限定本公开的范围。其目的仅仅是以简化的形式给出关于本公开的某些概念，以此作为稍后给出的更详细描述的前序。

本公开的目的是提供一种改进的信息处理装置和方法以及图像识别设备。

根据本公开的一方面，提供了一种信息处理装置，包括：模板生成单元，被配置成生成针对多个不同面部姿态的多个2D面部关键点模板；模板选择单元，被配置成根据从输入图像检测到的面部图像中的面部姿态和/或关键点的位置，从所述多个2D面部关键点模板中选择用于所检测到的面部图像的2D面部关键点模板；以及图像剪切单元，被配置成至少根据所检测到的面部图像中的关键点的位置和所选择的2D面部关键点模板，从所述输入图像剪切出与所检测到的面部图像对应的剪切图像。

根据本公开的另一方面，提供了一种信息处理方法，包括：模板生成步骤，用于生成针对多个不同面部姿态的多个2D面部关键点模板；模板选择步骤，用于根据从输入图像检测到的面部图像中的面部姿态和/或关键点的位置，从所述多个2D面部关键点模板中选择用于所检测到的面部图像的2D面部关键点模板；以及图像剪切步骤，用于至少根据所检测到的面部图像中的关键点的位置和所选择的2D面部关键点模板，从所述输入图像剪切出与所检测到的面部图像对应的剪切图像。

根据本公开的又一方面，提供了一种包括上述信息处理装置的图像识别设备，该图像识别设备还包括：图像识别单元，被配置成对通过上述信息处理装置所得到的剪切图像进行识别。

根据本公开的其它方面，还提供了用于实现上述根据本公开的方法的计算机程序代码和计算机程序产品，以及其上记录有该用于实现上述根据本公开的方法的计算机程序代码的计算机可读存储介质。

在下面的说明书部分中给出本公开实施例的其它方面，其中，详细说明用于充分地公开本公开实施例的优选实施例，而不对其施加限定。

附图说明

本公开可以通过参考下文中结合附图所给出的详细描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并形成说明书的一部分，用来进一步举例说明本公开的优选实施例和解释本公开的原理和优点。其中：

图1是示出根据本公开的实施例的信息处理装置的功能配置示例的框图；

图2是根据本公开的实施例的标准化3D面部模型的示意图；

图3是示出根据本公开的实施例的信息处理装置的图像剪切单元的功能配置示例的框图；

图4A至4D分别示出输入图像和相应的剪切图像的示例；

图5是示出根据本公开的实施例的信息处理方法的流程示例的流程图；

图6是示出根据本公开的实施例的信息处理方法的图像剪切步骤的流程示例的流程图；

图7是示出根据本公开的实施例的图像识别设备的功能配置示例的框图；

图8示出根据本公开的实施例的图像识别方法的流程示例的流程图；以及

图9是示出作为本公开的实施例中可采用的个人计算机的示例结构的框图。

具体实施方式

在下文中将结合附图对本公开的示范性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。

在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本公开，在附图中仅仅示出了与根据本公开的方案密切相关的设备结构和/或处理步骤，而省略了与本公开关系不大的其它细节。

下面结合附图详细说明根据本公开的实施例。

首先，将参照图1描述根据本公开的实施例的信息处理装置的功能配置示例。图1是示出根据本公开的实施例的信息处理装置的功能配置示例的框图。如图1所示，根据本公开的实施例的信息处理装置100可以包括模板生成单元102、模板选择单元104和图像剪切单元106。

模板生成单元102可以被配置成生成针对多个不同面部姿态的多个2D面部关键点模板。作为示例，关键点可以是眼部、鼻子和嘴角，然而关键点不限于此，并且本领域技术人员可以根据实际需要选择适当的关键点，这里将不再赘述。

模板选择单元104可以被配置成根据从输入图像检测到的面部图像中的面部姿态和/或关键点的位置，从多个2D面部关键点模板中选择用于所检测到的面部图像的2D面部关键点模板。

图像剪切单元106可以被配置成至少根据所检测到的面部图像中的关键点的位置和所选择的2D面部关键点模板，从输入图像剪切出与所检测到的面部图像对应的剪切图像。

作为示例，模板生成单元102可以被配置成：通过使标准化3D面部模型绕偏航轴(例如，图2所示的y轴)、俯仰轴(例如，图2所示的x轴)和横滚轴(例如，图2所示的z轴)中至少之一旋转多个不同的角度，并且使用投影函数将旋转后的标准化3D面部模型投影到2D平面，以获得多个投影的2D面部关键点模板，作为针对多个不同面部姿态的多个2D面部关键点模板。例如，可以使用诸如3DMM和3DPDM的具有固定语义关键点的3D面部模型作为标准化3D面部模型，然而标准化3D面部模型不限于此，并且本领域技术人员可以根据实际需要选择适当的3D面部模型作为标准化3D面部模型，这里将不再赘述。

例如，使标准化3D面部模型绕偏航轴、俯仰轴和横滚轴中至少之一旋转多个不同的角度可以包括如下中至少之一：使标准化3D面部模型按第一预定角度间隔绕偏航轴从第一偏航角度旋转至第二偏航角度；使标准化3D面部模型按第二预定角度间隔绕俯仰轴从第一俯仰角度旋转至第二俯仰角度；以及使标准化3D面部模型按第三预定角度间隔绕横滚轴从第一横滚角度旋转至第二横滚角度，其中第一预定角度间隔、第二预定角度间隔和第三预定角度间隔可以是相同角度间隔或者不同角度间隔。例如，第一偏航角度和第二偏航角度可以分别是-90°和90°，第一俯仰角度和第二俯仰角度可以分别是-30°和30°，第一横滚角度和第二横滚角度可以分别是-90°和90°，第一预定角度间隔、第二预定角度间隔和第三预定角度可以分别是15°、10°和15°。然而，第一偏航角度和第二偏航角度、第一俯仰角度和第二俯仰角度、第一横滚角度和第二横滚角度、以及第一预定角度间隔、第二预定角度间隔和第三预定角度间隔不限于此，本领域技术人员可以根据实际需要选择适当的角度和角度间隔。

注意，尽管在上述示例中描述了使标准化3D面部模型按第一预定角度间隔绕偏航轴旋转、按第二预定角度间隔绕俯仰轴旋转以及/或者按第三预定角度间隔绕横滚轴旋转，然而标准化3D面部模型可以不按预定角度间隔(即，第一预定角度间隔、第二预定角度间隔和第三预定角度间隔)旋转。例如，标准化3D面部模型的偏航轴旋转角度、俯仰轴旋转角度和/或横滚轴旋转角度彼此之间的间隔可以是不均匀的。例示而非限定，投影函数可以是如下投影函数：在使用投影函数将预定3D面部模型投影到2D平面的情况下，通过投影获得的2D面部关键点模板中的各个关键点的位置与对应于预定3D面部模型的已知预定2D面部关键点模板中的相应关键点位置之间的差异之和被最小化。例如，已知预定2D面部关键点模板是根据面部姿态与预定3D面部模型的面部姿态的差异在预定范围内的多个面部图像的面部关键点的位置生成的。例如，可以将上述多个面部图像中的关键点的坐标进行归一化，然后对多个面部图像中的相应关键点的坐标求平均，并且将各个关键点的坐标的平均值作为2D面部关键点模板中的相应关键点的坐标，由此获得已知预定2D面部关键点模板。

作为示例，预定3D面部模型可以是绕偏航轴、俯仰轴和横滚轴的旋转角度均为0的标准化3D面部模型。然而，预定3D面部模型不限于此，例如，预定3D面部模型可以是通过使标准化3D面部模型绕偏航轴旋转第一角度、绕俯仰轴旋转第二角度以及/或者绕横滚轴旋转第三角度而得到的3D面部模型，其中第一角度、第二角度和第三角度均小于等于90°，并且第一角度、第二角度和第三角度可以是相同角度或者不同角度。

例示而非限定，投影函数可以由下式(1)表示：

f(X)＝SPRX+T 式(1)

其中，S为缩放参数，用于对3D面部模型的尺寸进行缩放，P为正交投影矩阵

R为由三个旋转角、即面部姿态所对应的俯仰角α、偏航角β和横滚角γ控制的旋转矩阵，T为由T_x和T_y构成的二维平移参数矢量

用于对通过投影获得的三维面部模型的相应的2D面部模型进行平移，其中T_x和T_y分别表示在俯仰轴方向和偏航轴方向上的平移量。R可以由下式(2)表示：

此外，例如预定3D面部模型可以由下式(3)表示：

其中，x₁,y₁和z₁分别表示预定3D面部模型中的第一点的俯仰轴坐标、偏航轴坐标和横滚轴坐标；x₂,y₂和z₂分别表示预定3D面部模型中的第二点的俯仰轴坐标、偏航轴坐标和横滚轴坐标；x_M,y_M和z_M分别表示预定3D面部模型中的第M点的俯仰轴坐标、偏航轴坐标和横滚轴坐标；M表示预定3D面部模型中的点的数量。从预定3D面部模型提取L个三维关键点G(:,d)，其中d是L维矢量，表示三维关键点的索引(即，三维关键点在矩阵G中的位置)。将G(:,d)作为X代入上式(1)中，可以得到预定3D面部模型被投影到2D平面的情况下的各个关键点的坐标f(G(:,d))。

类似地，已知预定2D面部关键点模板可以由下式(4)表示：

其中，u₁和v₁分别表示预定2D面部关键点模板中的第一关键点的俯仰轴坐标和偏航轴坐标；u₂和v₂分别表示预定2D面部关键点模板中的第二关键点的俯仰轴坐标和偏航轴坐标；u_L和v_L分别表示预定2D面部关键点模板中的第L关键点的俯仰轴坐标和偏航轴坐标。

可以通过使预定3D面部模型被投影到2D平面的情况下的各个关键点的坐标f(G(:,d))与预定2D面部关键点模板中的相应关键点的坐标之间的差异之和最小化来求解投影函数f(X)的参数S、T_x、T_y和R。例如，预定3D面部模型被投影到2D平面的情况下的各个关键点的坐标与预定2D面部关键点模板中的相应关键点的坐标之间的差异可以由相应的坐标之间方差或绝对值差来表示，但不限于此。

作为示例，模板选择单元104可以被配置成仅根据从输入图像检测到的面部图像中的面部姿态，从多个2D面部关键点模板中选择用于所检测到的面部图像的2D面部关键点模板。具体地，模板选择单元104可以被配置成对所检测到的面部图像中的面部姿态进行估计，并且从多个2D面部关键点模板中选择针对与所估计的面部姿态的差异最小的面部姿态的2D面部关键点模板，作为用于所检测到的面部图像的2D面部关键点模板。例如，可以使用诸如OpenPose(参见https://github.com/CMU-Perceptual-Computing-Lab/openpose)和Deepgaze(参见https://github.com/mpatacchiola/deepgaze)的方法、利用所检测到的面部图像中的关键点的位置来估计所检测到的面部图像中的面部姿态。

作为另外的示例，模板选择单元104可以被配置成仅根据所检测到的面部图像中的关键点的位置，从多个2D面部关键点模板中选择用于所检测到的面部图像的2D面部关键点模板。具体地，模板选择单元104可以被配置成对所检测到的面部图像中的关键点的位置和多个2D面部关键点模板中的关键点的位置进行归一化；针对多个2D面部关键点模板中的每一个，计算所检测到的面部图像中的各个关键点与该2D面部关键点模板中的相应的关键点的距离，对所计算出的距离进行求和，并且将所得到的结果作为该2D面部关键点模板的选择距离；以及从多个2D面部关键点模板中选择上述选择距离最小的2D面部关键点模板，作为用于所检测到的面部图像的2D面部关键点模板。

作为又一示例，模板选择单元104可以被配置成根据所检测到的面部图像中的面部姿态和关键点的位置两者，从多个2D面部关键点模板中选择用于所检测到的面部图像的2D面部关键点模板。例示而非限定，模板选择单元104可以被配置成对所检测到的面部图像中的面部姿态进行估计，并且从多个2D面部关键点模板中选择针对与所估计的面部姿态的差异在预定范围内的面部姿态的2D面部关键点模板，作为候选2D面部关键点模板；对所检测到的面部图像的关键点的位置和候选2D面部关键点模板中的关键点的位置进行归一化；针对候选2D面部关键点模板中的每一个，计算所检测到的面部图像的各个关键点与该候选2D面部关键点模板中的相应的关键点的距离，对所计算出的距离进行求和，并且将所得到的结果作为该候选2D面部关键点模板的选择距离；以及选择候选2D面部关键点模板中的选择距离最小的候选2D面部关键点模板，作为用于所检测到的面部图像的2D面部关键点模板。例如，模板选择单元104可以从多个2D面部关键点模板中选择如下2D面部关键点模板作为候选2D面部关键点模板：针对该2D面部关键点模板所对应的面部姿态的偏航角、俯仰角和横滚角与针对所估计的面部图像中的面部姿态的偏航角、俯仰角和横滚角之间的差异分别在第一预定角度范围、第二预定角度范围和第三预定角度范围内，其中第一预定角度范围、第二预定角度范围和第三预定角度范围可以相同或不同。例示而非限定，第一预定角度范围可以是-20°至20°，第二预定角度范围可以是-10°至10°，第三预定角度范围可以是-15°至15°。

注意，尽管在上述示例中，描述了在模板选择单元104被配置成根据所检测到的面部图像中的面部姿态和关键点的位置两者、从多个2D面部关键点模板中选择用于所检测到的面部图像的2D面部关键点模板的情况下，模板选择单元104先根据所估计的面部姿态选择候选2D面部关键点模板，然后根据所检测到的面部图像中的关键点的位置从候选2D面部关键点模板选择用于所检测到的面部图像的2D面部关键点模板。然而，模板选择单元104可以被配置成先根据所检测到的面部图像中的关键点的位置选择候选2D面部关键点模板，然后根据所估计的面部姿态从候选2D面部关键点模板选择用于所检测到的面部图像的2D面部关键点模板。例如，模板选择单元104可以被配置成将选择距离在预定范围内的2D面部关键点模板选择作为候选2D面部关键点模板，然后从候选2D面部关键点模板选择针对与所估计的面部姿态的差异最小的面部姿态的2D面部关键点模板，作为用于所检测到的面部图像的2D面部关键点模板。

下面将参照图3描述根据本公开的实施例的信息处理装置100的图像剪切单元106的功能配置示例。图3是示出根据本公开的实施例的信息处理装置100的图像剪切单元106的功能配置示例的框图。如图3所示，根据本公开的实施例的信息处理装置100的图像剪切单元106可以包括剪切框计算子单元1062和剪切子单元1064。

剪切框计算子单元1062可以被配置成基于所检测到的面部图像中的关键点的位置和所选择的2D面部关键点模板来计算用于所检测到的面部图像的剪切框。

作为示例，剪切框计算子单元1062可以进一步被配置成根据如下相似变换矩阵来计算用于所检测到的面部图像的剪切框：该相似变换矩阵是基于所检测到的面部图像中的关键点的位置和所选择的2D面部关键点模板而计算出的。例如，相似变换矩阵H可以下式(5)表示：

其中，s为缩放因子，用于对2D面部关键点模板进行缩放，θ为旋转角度，t_x和t_y为平移参数，分别用于在俯仰轴方向和偏航轴方向上对2D面部关键点模板进行平移。可以基于下式(6)来求解相似变换矩阵H的s、θ、t_x和t_y。

其中，(x,y)为所选择的2D面部关键点模板中的关键点的位置，并且(x′,y′)为所检测到的面部图像中的关键点的位置。

例示而非限定，假设所选择的2D面部关键点模板所对应的剪切框为四边形，并且剪切框的四个顶点的坐标为(x₁,y₁)、(x₂,y₂)、(x₃,y₃)和(x₄,y₄)。其中，该剪切框是预先设定的，优选地，该剪切框将相应的2D面部关键点模板中的所有关键点包括在内。在这种情况下，剪切框计算子单元1062可以根据下式(7)来计算用于所检测到的面部图像的剪切框的各个顶点的坐标：

例如，剪切框计算子单元1062可以将x₁、y₁，x₂、y₂，x₃、y₃以及x₄、y₄分别作为x和y代入式(7)中，并且由此得到用于所检测到的面部图像的剪切框的四个顶点的坐标(x′₁,y′₁)、(x′₂,y′₂)(x′₃,y′₃)和(x′₄,y′₄)。在该剪切框的宽度和高度相同的情况下，该剪切框为正方形剪切框。

剪切子单元1064可以被配置成使用通过剪切框计算子单元1062所计算出的剪切框从输入图像剪切出剪切图像。

在信息处理领域中，存在如下两种用于从输入图像剪切出与所检测到的面部图像对应的剪切图像的方法：第一种方法利用面部关键点的位置来对齐面部，然后利用所检测到的面部图像的边界框剪切出剪切图像；第二种方法仅利用面部关键点的位置来对齐面部并且然后剪切出剪切图像。在第一种方法中，由于面部姿态不同，通过面部检测得到的边界框以及相应的剪切图像的宽高比(纵横比)不为1(即，宽度和高度不相等)，而为了用于后续的面部研究任务(例如面部识别和面部重建)，需要调整剪切图像的尺寸以使其宽度和高度相等。这种尺寸调整的过程会使得面部产生扭曲变形(例如侧脸时会被横向拉伸)，进而会影响到后续的面部研究任务的性能。在第二种方法中，基于面部的标准模板对面部图像进行对齐和剪切。然而面部的标准模板都是正面的图像，当面部存在较大的姿态时，这种面部对齐和剪切方法会使得剪切图像丢失一些面部信息，同时也会引入大量的背景干扰信息。在面部姿态越大的情况下，这种影响就会越明显。通过这种方法剪切得到的面部图像会由于背景信息的干扰和有效信息的丢失导致后续的面部研究任务的性能下降。

根据本公开的实施例的信息处理装置根据从输入图像检测到的面部图像中的面部姿态和/或关键点的位置，从针对多个不同面部姿态的多个2D面部关键点模板中选择用于所检测到的面部图像的2D面部关键点模板，然后至少根据所检测到的面部图像中的关键点位置和所选择的2D面部关键点模板，从输入图像剪切出与所检测到的面部图像对应的剪切图像。因而，根据本公开的实施例的信息处理装置可以更准确地对输入图像进行剪切，使得获得的剪切图像包含更多的面部信息和更少的背景信息，从而更加干净整齐，由此提高后续的面部研究任务的性能。

此外，如图3所示，根据本公开的实施例的信息处理装置100的图像剪切单元106还可以包括平移子单元1066。平移子单元1066可以被配置成在通过剪切框计算子单元1062所计算出的剪切框的中心的俯仰轴坐标与所检测到的面部图像的边界框的中心的俯仰轴坐标的差异大于预定阈值的情况下，对剪切框进行平移，使得剪切框的中心的俯仰轴坐标与所检测到的面部图像的边界框的中心的俯仰轴坐标之间的差异在预定范围内。例示而非限定，平移子单元1066可以被配置成在通过剪切框计算子单元1062所计算出的剪切框的中心的俯仰轴坐标与所检测到的面部图像的边界框的中心的俯仰轴坐标的差异大于预定阈值的情况下，对剪切框进行平移，使得剪切框的中心的俯仰轴坐标与所检测到的面部图像的边界框的中心的俯仰轴坐标相同。

在上述情况下，剪切子单元1064可以进一步被配置成使用通过平移子单元1066进行平移之后的剪切框，从输入图像剪切出剪切图像，从而进一步增加剪切图像所包含的面部信息，并且进一步减少剪切图像所包含的背景信息。

图4A至图4D分别示出输入图像以及利用上述第一种方法、第二种方法和根据本公开的实施例的信息处理装置所获得的剪切图像的示例。如图4B至4D所示，利用上述第一种方法所获得的剪切图像中的面部扭曲变形；利用上述第二种方法所获得的剪切图像丢失部分面部信息并且背景面积大(相应地，背景干扰信息多)；利用根据本公开的实施例的信息处理装置所获得的剪切图像没有面部扭曲变形并且包含更多的面部信息和更少的背景信息。

与上述信息处理装置实施例相对应的，本公开还提供了以下信息处理方法的实施例。

图5是示出根据本公开的实施例的信息处理方法的流程示例的流程图。如图5所示，根据本公开的实施例的信息处理方法500可以包括模板生成步骤S504、模板选择步骤S506和图像剪切步骤S508。

根据本公开的实施例的信息处理方法500可以开始于开始步骤S502。在模板生成步骤S504中，可以生成针对多个不同面部姿态的多个2D面部关键点模板。作为示例，关键点可以是眼部、鼻子和嘴角，然而关键点不限于此，并且本领域技术人员可以根据实际需要选择适当的关键点，这里将不再赘述。

在模板选择步骤S506中，可以根据从输入图像检测到的面部图像中的面部姿态和/或关键点的位置，从多个2D面部关键点模板中选择用于所检测到的面部图像的2D面部关键点模板。

在图像剪切步骤S508中，可以至少根据所检测到的面部图像中的关键点的位置和所选择的2D面部关键点模板，从输入图像剪切出与所检测到的面部图像对应的剪切图像。根据本公开的实施例的信息处理方法500可以结束于结束步骤S510。

作为示例，在模板生成步骤S504中，可以通过使标准化3D面部模型绕偏航轴、俯仰轴和横滚轴(例如，图2所示的z轴)中至少之一旋转多个不同的角度，并且使用投影函数将旋转后的标准化3D面部模型投影到2D平面，以获得多个投影的2D面部关键点模板，作为针对多个不同面部姿态的多个2D面部关键点模板。例如，可以使用诸如3DMM和3DPDM的具有固定语义关键点的3D面部模型作为标准化3D面部模型，然而标准化3D面部模型不限于此，并且本领域技术人员可以根据实际需要选择适当的3D面部模型作为标准化3D面部模型，这里将不再赘述。

例如，使标准化3D面部模型绕偏航轴、俯仰轴和横滚轴中至少之一旋转多个不同的角度可以包括如下中至少之一：使标准化3D面部模型按第一预定角度间隔绕偏航轴从第一偏航角度旋转至第二偏航角度；使标准化3D面部模型按第二预定角度间隔绕俯仰轴从第一俯仰角度旋转至第二俯仰角度；以及使标准化3D面部模型按第三预定角度间隔绕横滚轴从第一横滚角度旋转至第二横滚角度，其中第一预定角度间隔、第二预定角度间隔和第三预定角度间隔可以是相同角度间隔或者不同角度间隔。例如，第一偏航角度和第二偏航角度可以分别是-90°和90°，第一俯仰角度和第二俯仰角度可以分别是-30°和30°，第一横滚角度和第二横滚角度可以分别是-90°和90°，第一预定角度间隔、第二预定角度间隔和第三预定角度可以分别是15°、10°和15°。然而，第一偏航角度和第二偏航角度、第一俯仰角度和第二俯仰角度、第一横滚角度和第二横滚角度、以及第一预定角度间隔、第二预定角度间隔和第三预定角度间隔不限于此，本领域技术人员可以根据实际需要选择适当的角度和角度间隔。

注意，尽管在上述示例中描述了使标准化3D面部模型按第一预定角度间隔绕偏航轴旋转、按第二预定角度间隔绕俯仰轴旋转以及/或者按第三预定角度间隔绕横滚轴旋转，然而标准化3D面部模型可以不按预定角度间隔(即，第一预定角度间隔、第二预定角度间隔和第三预定角度间隔)旋转。例如，标准化3D面部模型的偏航轴旋转角度、俯仰轴旋转角度和/或横滚轴旋转角度彼此之间的间隔可以是不均匀的。。

例示而非限定，投影函数可以是如下投影函数：在使用投影函数将预定3D面部模型投影到2D平面的情况下，通过投影获得的2D面部关键点模板中的各个关键点的位置与对应于预定3D面部模型的已知预定2D面部关键点模板中的相应关键点位置之间的差异之和被最小化。例如，可以按上面针对信息处理装置100所描述的获取已知预定2D面部关键点模板和投影函数的方式来获取已知预定2D面部关键点模板和投影函数，这里将不再赘述。

作为示例，预定3D面部模型可以是绕偏航轴、俯仰轴和横滚轴的旋转角度均为0的标准化3D面部模型。然而，预定3D面部模型不限于此，例如，预定3D面部模型可以是通过使标准化3D面部模型绕偏航轴旋转第一角度、绕俯仰轴旋转第二角度以及/或者绕横滚轴旋转第三角度而得到的3D面部模型，其中第一角度、第二角度和第三角度均小于等于90°，并且第一角度、第二角度和第三角度可以是相同角度或者不同角度。

作为示例，在模板选择步骤S506中，可以仅根据从输入图像检测到的面部图像中的面部姿态，从多个2D面部关键点模板中选择用于所检测到的面部图像的2D面部关键点模板。具体地，在模板选择步骤S506中，可以对所检测到的面部图像中的面部姿态进行估计，并且从多个2D面部关键点模板中选择针对与所估计的面部姿态的差异最小的面部姿态的2D面部关键点模板，作为用于所检测到的面部图像的2D面部关键点模板。例如，可以使用诸如OpenPose和Deepgaze的方法、利用所检测到的面部图像中的关键点的位置来估计所检测到的面部图像中的面部姿态。

作为另外的示例，在模板选择步骤S506中，可以仅根据所检测到的面部图像中的关键点的位置，从多个2D面部关键点模板中选择用于所检测到的面部图像的2D面部关键点模板。具体地，在模板选择步骤S506中，可以对所检测到的面部图像中的关键点的位置和多个2D面部关键点模板中的关键点的位置进行归一化；针对多个2D面部关键点模板中的每一个，计算所检测到的面部图像中的各个关键点与该2D面部关键点模板中的相应的关键点的距离，对所计算出的距离进行求和，并且将所得到的结果作为该2D面部关键点模板的选择距离；以及从多个2D面部关键点模板中选择上述选择距离最小的2D面部关键点模板，作为用于所检测到的面部图像的2D面部关键点模板。

作为又一示例，在模板选择步骤S506中，可以根据所检测到的面部图像中的面部姿态和关键点的位置两者，从多个2D面部关键点模板中选择用于所检测到的面部图像的2D面部关键点模板。例示而非限定，在模板选择步骤S506中，可以对所检测到的面部图像中的面部姿态进行估计，并且从多个2D面部关键点模板中选择针对与所估计的面部姿态的差异在预定范围内的面部姿态的2D面部关键点模板，作为候选2D面部关键点模板；对所检测到的面部图像的关键点的位置和候选2D面部关键点模板中的关键点的位置进行归一化；针对候选2D面部关键点模板中的每一个，计算所检测到的面部图像的各个关键点与该候选2D面部关键点模板中的相应的关键点的距离，对所计算出的距离进行求和，并且将所得到的结果作为该2D面部关键点模板的选择距离；以及选择候选2D面部关键点模板中的选择距离最小的2D面部关键点模板，作为用于所检测到的面部图像的2D面部关键点模板。

注意，虽然在上述示例中，描述了在根据所检测到的面部图像中的面部姿态和关键点的位置两者、从多个2D面部关键点模板中选择用于所检测到的面部图像的2D面部关键点模板的情况下，在模板选择步骤S506中先根据所估计的面部姿态选择候选2D面部关键点模板，然后根据所检测到的面部图像中的关键点的位置从候选2D面部关键点模板选择用于所检测到的面部图像的2D面部关键点模板，然而，如上面针对信息处理装置100的模板选择单元104所述，在模板选择步骤S506中，可以先根据所检测到的面部图像中的关键点的位置选择候选2D面部关键点模板，然后根据所估计的面部姿态从候选2D面部关键点模板选择用于所检测到的面部图像的2D面部关键点模板。

下面将参照图6描述根据本公开的实施例的信息处理方法500的图像剪切步骤S508的流程示例。图6是示出根据本公开的实施例的信息处理方法500的图像剪切步骤S508的流程示例的流程图。如图6所示，根据本公开的实施例的信息处理方法500的图像剪切步骤S508可以包括剪切框计算子步骤S5082和剪切子步骤S5086。

在剪切框计算子步骤S5082，可以基于所检测到的面部图像中的关键点的位置和所选择的2D面部关键点模板来计算用于所检测到的面部图像的剪切框。

作为示例，在剪切框计算子步骤S5082中，可以根据如下相似变换矩阵来计算用于所检测到的面部图像的剪切框：该相似变换矩阵是基于所检测到的面部图像中的关键点的位置和所选择的2D面部关键点模板而计算出的。如上面针对信息处理装置100所描述的那样，相似变换矩阵H可以由式(5)表示，并且可以通过式(6)求解相似变换矩阵H的各个参数。

此外，例如，在剪切框计算子步骤S5082中，如上面针对信息处理装置100所描述的那样，可以利用式(7)计算用于所检测到的面部图像的剪切框的各个顶点的坐标。

在剪切子步骤S5086中，可以使用通过剪切框计算子步骤S5082所计算出的剪切框从输入图像剪切出剪切图像。

根据本公开的实施例的信息处理方法根据从输入图像检测到的面部图像中的面部姿态和/或关键点的位置，从针对多个不同面部姿态的多个2D面部关键点模板中选择用于所检测到的面部图像的2D面部关键点模板，然后至少根据所检测到的面部图像中的关键点位置和所选择的2D面部关键点模板，从输入图像剪切出与所检测到的面部图像对应的剪切图像。因而，根据本公开的实施例的信息处理方法可以更准确地对输入图像进行剪切，使得所获得的剪切图像包含更多的面部信息和更少的背景信息，从而更加干净整齐，由此提高后续的面部研究任务的性能。

此外，在通过剪切框计算子步骤S5082所计算出的剪切框的中心的俯仰轴坐标与所检测到的面部图像的边界框的中心的俯仰轴坐标的差异大于预定阈值的情况下，如图6所示，根据本公开的实施例的信息处理方法500的图像剪切步骤S508还可以包括平移子步骤S5084。在平移子步骤S5084中，可以对剪切框进行平移，使得剪切框的中心的俯仰轴坐标与所检测到的面部图像的边界框的中心的俯仰轴坐标之间的差异在预定范围内。例示而非限定，在平移子步骤S5084中，可以对剪切框进行平移，使得剪切框的中心的俯仰轴坐标与所检测到的面部图像的边界框的中心的俯仰轴坐标相同。

在上述情况下，在剪切子步骤S5086中，可以使用通过平移子步骤S5084进行平移之后的剪切框，从输入图像剪切出剪切图像，从而进一步增加剪切图像所包含的面部信息，并且进一步减少剪切图像所包含的背景信息。

本公开还提供了一种包括上述信息处理装置100的图像识别设备700。图7是示出根据本公开的实施例的图像识别设备700的功能配置示例的框图。如图7所示，根据本公开的实施例的图像识别设备700可以包括信息处理装置100和图像识别单元702。图像识别单元702可以被配置成对通过信息处理装置100所得到的剪切图像进行识别。

具体地，例如，图像识别单元702可以被配置成将剪切图像输入经训练的分类模型，并且基于分类模型的特征提取层中至少之一的输出对剪切图像进行识别。

例如，图像识别设备700可以预先将多个对象的图像输入经训练的分类模型，由此得到针对这多个对象的特征提取层的输出。在这种情况下，图像识别单元702可以将剪切图像输入经训练的分类模型，并且基于针对剪切图像的特征提取层中至少之一的输出与针对多个对象中的每一个对象的相应的特征提取层的输出之间的比较，对剪切图像进行识别。例如，图像识别单元702可以将剪切图像识别为其相应的特征提取层的输出与针对剪切图像的相应的特征提取层的输出之间的差异最小的对象。

此外，例如，在将剪切图像输入经训练的分类模型的情况下，可以将另外的对象的图像输入经训练的分类模型，并且图像识别单元702可以基于针对剪切图像的至少一个特征提取层的输出与针对另外的对象的相应的特征提取层的输出之间的比较，对剪切图像进行识别。例如，图像识别单元702可以在针对剪切图像的相应的特征提取层的输出与针对另外的对象的相应的特征提取层的输出之间的差异小于预定阈值的情况下，将剪切图像识别为该另外的对象。

作为示例，在经训练的分类模型是包括作为特征提取层的全连接层和至少一个卷积层的卷积神经网络模型的情况下，例如，图像识别单元702可以基于全连接层的输出对剪切图像进行识别。

例示而非限定，图像识别设备700所使用的经训练的分类模型可以是利用如下训练样本集进行训练而得到的：该训练样本集是通过利用根据本公开的实施例的信息处理装置100或信息处理方法500对原始训练样本集中的样本图像进行剪切而得到的。为了便于描述，在下文中将该训练样本集称作剪切训练样本集。与利用原始训练样本集进行训练而得到的经训练的分类模型相比，利用上述剪切训练样本集进行训练而得到的经训练的分类模型的分类精度更高。

与上述图像识别设备的实施例相对应地，本公开还提供了以下图像识别方法的实施例。图8示出根据本公开的实施例的图像识别方法的流程示例的流程图。如图8所示，根据本公开的实施例的图像识别方法800可以包括剪切图像获取步骤S804和图像识别步骤S806。

根据本公开的实施例的图像识别方法800可以开始于开始步骤S802。在剪切图像获取步骤S804中，可以利用上述信息处理方法500获取输入图像的剪切图像。

在图像识别步骤S806中，可以对剪切图像进行识别。具体地，在图像识别步骤S806中，可以将剪切图像输入经训练的分类模型，并且基于分类模型的特征提取层中至少之一的输出对剪切图像进行识别。根据本公开的实施例的图像识别方法800可以结束于结束步骤S808。

例如，可以预先将多个对象的图像输入经训练的分类模型，由此得到针对这多个对象的特征提取层的输出。在这种情况下，在图像识别步骤S806中，可以将剪切图像输入经训练的分类模型，并且基于针对剪切图像的特征提取层中至少之一的输出与针对多个对象中的每一个对象的相应的特征提取层的输出之间的比较，对剪切图像进行识别。例如，在图像识别步骤S806中，可以将剪切图像识别为其相应的特征提取层的输出与针对剪切图像的相应的特征提取层的输出之间的差异最小的对象。

此外，例如，在将剪切图像输入经训练的分类模型的情况下，可以将另外的对象的图像输入经训练的分类模型，并且在图像识别步骤S806中，可以基于针对剪切图像的至少一个特征提取层的输出与针对另外的对象的相应的特征提取层的输出之间的比较，对剪切图像进行识别。例如，在图像识别步骤S806中，可以在针对剪切图像的相应的特征提取层的输出与针对另外的对象的相应的特征提取层的输出之间的差异小于预定阈值的情况下，将剪切图像识别为该另外的对象。

作为示例，在经训练的分类模型是包括作为特征提取层的全连接层和至少一个卷积层的卷积神经网络模型的情况下，例如，在图像识别步骤S806中，可以基于全连接层的输出对剪切图像进行识别。

例示而非限定，与上述图像识别设备700类似地，在图像识别方法800中，所使用的经训练的分类模型可以是利用上述剪切训练样本集进行训练而得到的。与利用原始训练样本集进行训练而得到的经训练的分类模型相比，利用剪切训练样本集进行训练而得到的经训练的分类模型的分类精度更高。

应指出，尽管以上描述了根据本公开的实施例的信息处理装置和信息处理方法、以及利用模型进行分类的装置和方法的功能配置以及操作，但是这仅是示例而非限制，并且本领域技术人员可根据本公开的原理对以上实施例进行修改，例如可对各个实施例中的功能模块进行添加、删除或者组合等，并且这样的修改均落入本公开的范围内。

此外，还应指出，这里的方法实施例是与上述装置实施例相对应的，因此在方法实施例中未详细描述的内容可参见装置实施例中相应部分的描述，在此不再重复描述。

应理解，根据本公开的实施例的存储介质和程序产品中的机器可执行的指令还可以被配置成执行上述分类预测方法，因此在此未详细描述的内容可参考先前相应部分的描述，在此不再重复进行描述。

相应地，用于承载上述包括机器可执行的指令的程序产品的存储介质也包括在本发明的公开中。该存储介质包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等等。

另外，还应该指出的是，上述系列处理和装置也可以通过软件和/或固件实现。在通过软件和/或固件实现的情况下，从存储介质或网络向具有专用硬件结构的计算机，例如图9所示的通用个人计算机900安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能等等。

在图9中，中央处理单元(CPU)901根据只读存储器(ROM)902中存储的程序或从存储部分908加载到随机存取存储器(RAM)903的程序执行各种处理。在RAM 903中，也根据需要存储当CPU 901执行各种处理等时所需的数据。

CPU 901、ROM 902和RAM 903经由总线904彼此连接。输入/输出接口905也连接到总线904。

下述部件连接到输入/输出接口905：输入部分906，包括键盘、鼠标等；输出部分907，包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等；存储部分908，包括硬盘等；和通信部分909，包括网络接口卡比如LAN卡、调制解调器等。通信部分909经由网络比如因特网执行通信处理。

根据需要，驱动器910也连接到输入/输出接口905。可拆卸介质911比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器910上，使得从中读出的计算机程序根据需要被安装到存储部分908中。

在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可拆卸介质911安装构成软件的程序。

本领域的技术人员应当理解，这种存储介质不局限于图9所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质911。可拆卸介质911的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM 902、存储部分908中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。

以上参照附图描述了本公开的优选实施例，但是本公开当然不限于以上示例。本领域技术人员可在所附权利要求的范围内得到各种变更和修改，并且应理解这些变更和修改自然将落入本公开的技术范围内。

例如，在以上实施例中包括在一个单元中的多个功能可以由分开的装置来实现。替选地，在以上实施例中由多个单元实现的多个功能可分别由分开的装置来实现。另外，以上功能之一可由多个单元来实现。无需说，这样的配置包括在本公开的技术范围内。

在该说明书中，流程图中所描述的步骤不仅包括以所述顺序按时间序列执行的处理，而且包括并行地或单独地而不是必须按时间序列执行的处理。此外，甚至在按时间序列处理的步骤中，无需说，也可以适当地改变该顺序。

另外，根据本公开的技术还可以如下进行配置。

附记1.一种信息处理装置，包括：

模板生成单元，被配置成生成针对多个不同面部姿态的多个2D面部关键点模板；

模板选择单元，被配置成根据从输入图像检测到的面部图像中的面部姿态和/或关键点的位置，从所述多个2D面部关键点模板中选择用于所检测到的面部图像的2D面部关键点模板；以及

图像剪切单元，被配置成至少根据所检测到的面部图像中的关键点的位置和所选择的2D面部关键点模板，从所述输入图像剪切出与所检测到的面部图像对应的剪切图像。

附记2.根据附记1所述的信息处理装置，其中，所述模板生成单元被配置成：通过使标准化3D面部模型绕偏航轴、俯仰轴和横滚轴中至少之一旋转多个不同的角度，并且使用投影函数将旋转后的标准化3D面部模型投影到2D平面，以获得多个投影的2D面部关键点模板，作为针对多个不同面部姿态的多个2D面部关键点模板。

附记3.根据附记2所述的信息处理装置，其中，所述投影函数是如下投影函数：在使用所述投影函数将预定3D面部模型投影到2D平面的情况下，通过投影获得的2D面部关键点模板中的各个关键点的位置与对应于所述预定3D面部模型的已知预定2D面部关键点模板中的相应关键点的位置之间的差异之和被最小化。

附记4.根据附记3所述的信息处理装置，其中，所述预定3D面部模型是绕偏航轴和俯仰轴的旋转角度均为0的所述标准化3D面部模型。

附记5.根据附记1-4中任一项所述的信息处理装置，其中，所述模板选择单元被配置成通过如下处理，根据面部姿态选择用于所检测到的面部图像的2D面部关键点模板：对所检测到的面部图像中的面部姿态进行估计，并且从所述多个2D面部关键点模板中选择针对与所估计的面部姿态的差异最小的面部姿态的2D面部关键点模板，作为用于所检测到的面部图像的2D面部关键点模板。

附记6.根据附记1-4中任一项所述的信息处理装置，其中，所述模板选择单元被配置成通过如下处理，根据关键点的位置选择用于所检测到的面部图像的2D面部关键点模板：

对所检测到的面部图像中的关键点的位置和所述多个2D面部关键点模板中的关键点的位置进行归一化；

针对所述多个2D面部关键点模板中的每一个，计算所检测到的面部图像中的各个关键点与该2D面部关键点模板中的相应的关键点的距离，对所计算出的距离进行求和，并且将所得到的结果作为该2D面部关键点模板的选择距离；以及

从所述多个2D面部关键点模板中选择所述选择距离最小的2D面部关键点模板，作为用于所检测到的面部图像的2D面部关键点模板。

附记7.根据附记1-4中任一项所述的信息处理装置，其中，所述模板选择单元被配置成通过如下处理，根据面部姿态和关键点的位置选择用于所检测到的面部图像的2D面部关键点模板：

对所检测到的面部图像中的面部姿态进行估计，并且从所述多个2D面部关键点模板中选择针对与所估计的面部姿态的差异在第一预定范围内的面部姿态的2D面部关键点模板，作为候选2D面部关键点模板；

对所检测到的面部图像中的关键点的位置和所述候选2D面部关键点模板中的关键点的位置进行归一化；

针对所述候选2D面部关键点模板中的每一个，计算所检测到的面部图像中的各个关键点与该候选2D面部关键点模板中的相应的关键点的距离，对所计算出的距离进行求和，并且将所得到的结果作为该2D面部关键点模板的选择距离；以及

选择所述候选2D面部关键点模板中的选择距离最小的2D面部关键点模板，作为用于所检测到的面部图像的2D面部关键点模板。

附记8.根据附记1-4中任一项所述的信息处理装置，其中，所述图像剪切单元包括：

剪切框计算子单元，被配置成基于所检测到的面部图像中的关键点的位置和所选择的2D面部关键点模板来计算用于所检测到的面部图像的剪切框；以及

剪切子单元，被配置成使用通过所述剪切框计算子单元所计算出的剪切框从所述输入图像剪切出所述剪切图像。

附记9.根据附记8所述的信息处理装置，其中，

所述图像剪切单元还包括：平移子单元，被配置成在通过所述剪切框计算子单元所计算出的剪切框的中心的俯仰轴坐标与所检测到的面部图像的边界框的中心的俯仰轴坐标的差异大于预定阈值的情况下，对所述剪切框进行平移，使得所述剪切框的中心的俯仰轴坐标与所检测到的面部图像的边界框的中心的俯仰轴坐标在第二预定范围内，以及

其中，剪切子单元进一步被配置成使用通过所述平移子单元进行平移之后的剪切框，从所述输入图像剪切出所述剪切图像。

附记10.根据附记8所述的信息处理装置，其中，

所述剪切框计算子单元进一步被配置成根据如下相似变换矩阵来计算用于所检测到的面部图像的剪切框：该相似变换矩阵是基于所检测到的面部图像中的关键点的位置和所选择的2D面部关键点模板而计算出的。

附记11.一种信息处理方法，包括：

模板生成步骤，用于生成针对多个不同面部姿态的多个2D面部关键点模板；

模板选择步骤，用于根据从输入图像检测到的面部图像中的面部姿态和/或关键点的位置，从所述多个2D面部关键点模板中选择用于所检测到的面部图像的2D面部关键点模板；以及

图像剪切步骤，用于至少根据所检测到的面部图像中的关键点的位置和所选择的2D面部关键点模板，从所述输入图像剪切出与所检测到的面部图像对应的剪切图像。

附记12.根据附记11所述的信息处理方法，其中，在所述模板生成步骤中，通过使标准化3D面部模型绕偏航轴、俯仰轴和横滚轴中至少之一旋转多个不同的角度，并且使用投影函数将旋转后的标准化3D面部模型投影到2D平面，以获得多个投影的2D面部关键点模板，作为针对多个不同面部姿态的多个2D面部关键点模板。

附记13.根据附记12所述的信息处理方法，其中，所述投影函数是如下投影函数：在使用所述投影函数将预定3D面部模型投影到2D平面的情况下，通过投影获得的2D面部关键点模板中的各个关键点的位置与对应于所述预定3D面部模型的已知预定2D面部关键点模板中的相应关键点的位置之间的差异之和被最小化。

附记14.根据附记13所述的信息处理方法，其中，所述预定3D面部模型是绕偏航轴和俯仰轴的旋转角度均为0的所述标准化3D面部模型。

附记15.根据附记11所述的信息处理方法，其中，在所述模板选择步骤中，通过如下处理根据面部姿态选择用于所检测到的面部图像的2D面部关键点模板：对所检测到的面部图像中的面部姿态进行估计，并且从所述多个2D面部关键点模板中选择针对与所估计的面部姿态的差异最小的面部姿态的2D面部关键点模板，作为用于所检测到的面部图像的2D面部关键点模板。

附记16.根据附记11所述的信息处理方法，其中，在所述模板选择步骤中，通过如下处理根据关键点的位置选择用于所检测到的面部图像的2D面部关键点模板：

对所检测到的面部图像中的关键点的位置和所述多个2D面部关键点模板中的关键点的位置进行归一化；

针对所述多个2D面部关键点模板中的每一个，计算所检测到的面部图像中的各个关键点与该2D面部关键点模板中的相应的关键点的距离，对所计算出的距离进行求和，并且将所得到的结果作为该2D面部关键点模板的选择距离；以及

从所述多个2D面部关键点模板中选择所述选择距离最小的2D面部关键点模板，作为用于所检测到的面部图像的2D面部关键点模板。

附记17.根据附记11所述的信息处理方法，其中，在所述模板选择步骤中，通过如下处理根据面部姿态和关键点的位置选择用于所检测到的面部图像的2D面部关键点模板：

对所检测到的面部图像中的面部姿态进行估计，并且从所述多个2D面部关键点模板中选择针对与所估计的面部姿态的差异在第一预定范围内的面部姿态的2D面部关键点模板，作为候选2D面部关键点模板；

对所检测到的面部图像中的关键点的位置和所述候选2D面部关键点模板中的关键点的位置进行归一化；

针对所述候选2D面部关键点模板中的每一个，计算所检测到的面部图像中的各个关键点与该候选2D面部关键点模板中的相应的关键点的距离，对所计算出的距离进行求和，并且将所得到的结果作为该2D面部关键点模板的选择距离；以及

选择所述候选2D面部关键点模板中的选择距离最小的2D面部关键点模板，作为用于所检测到的面部图像的2D面部关键点模板。

附记18.根据附记11所述的信息处理方法，其中，所述图像剪切步骤包括：

剪切框计算子步骤，用于基于所检测到的面部图像中的关键点的位置和所选择的2D面部关键点模板来计算用于所检测到的面部图像的剪切框；以及

剪切子步骤，用于使用通过所述剪切框计算子步骤所计算出的剪切框从所述输入图像剪切出所述剪切图像。

附记19.根据附记18所述的信息处理方法，其中，

在通过所述剪切框计算子步骤所计算出的剪切框的中心的俯仰轴坐标与所检测到的面部图像的边界框的中心的俯仰轴坐标的差异大于预定阈值的情况下，所述图像剪切步骤还包括：平移子步骤，用于对所述剪切框进行平移，使得所述剪切框的中心的俯仰轴坐标与所检测到的面部图像的边界框的中心的俯仰轴坐标之间的差异在第二预定范围内，以及

其中，在剪切子子步骤中，使用通过所述平移子步骤进行平移之后的剪切框，从所述输入图像剪切出所述剪切图像。

附记20.一种图像识别设备，包括根据附记1至10中任一项所述的信息处理装置，

其中，所述图像识别设备还包括：图像识别单元，被配置成对通过所述信息处理装置所得到的剪切图像进行识别。

Claims (10)

1.一种信息处理装置，包括：

模板生成单元，被配置成生成针对多个不同面部姿态的多个2D面部关键点模板；

模板选择单元，被配置成根据从输入图像检测到的面部图像中的面部姿态和/或关键点的位置，从所述多个2D面部关键点模板中选择用于所检测到的面部图像的2D面部关键点模板；以及

图像剪切单元，被配置成至少根据所检测到的面部图像中的关键点的位置和所选择的2D面部关键点模板，从所述输入图像剪切出与所检测到的面部图像对应的剪切图像。

2.根据权利要求1所述的信息处理装置，其中，所述模板生成单元被配置成：通过使标准化3D面部模型绕偏航轴、俯仰轴和横滚轴中至少之一旋转多个不同的角度，并且使用投影函数将旋转后的标准化3D面部模型投影到2D平面，以获得多个投影的2D面部关键点模板，作为针对多个不同面部姿态的多个2D面部关键点模板。

3.根据权利要求2所述的信息处理装置，其中，所述投影函数是如下投影函数：在使用所述投影函数将预定3D面部模型投影到2D平面的情况下，通过投影获得的2D面部关键点模板中的各个关键点的位置与对应于所述预定3D面部模型的已知预定2D面部关键点模板中的相应关键点的位置之间的差异之和被最小化。

4.根据权利要求1-3中任一项所述的信息处理装置，其中，所述模板选择单元被配置成通过如下处理，根据面部姿态选择用于所检测到的面部图像的2D面部关键点模板：对所检测到的面部图像中的面部姿态进行估计，并且从所述多个2D面部关键点模板中选择针对与所估计的面部姿态的差异最小的面部姿态的2D面部关键点模板，作为用于所检测到的面部图像的2D面部关键点模板。

5.根据权利要求1-3中任一项所述的信息处理装置，其中，所述模板选择单元被配置成通过如下处理，根据关键点的位置选择用于所检测到的面部图像的2D面部关键点模板：

对所检测到的面部图像中的关键点的位置和所述多个2D面部关键点模板中的关键点的位置进行归一化；

针对所述多个2D面部关键点模板中的每一个，计算所检测到的面部图像中的各个关键点与该2D面部关键点模板中的相应的关键点的距离，对所计算出的距离进行求和，并且将所得到的结果作为该2D面部关键点模板的选择距离；以及

从所述多个2D面部关键点模板中选择所述选择距离最小的2D面部关键点模板，作为用于所检测到的面部图像的2D面部关键点模板。

6.根据权利要求1-3中任一项所述的信息处理装置，其中，所述模板选择单元被配置成通过如下处理，根据面部姿态和关键点的位置选择用于所检测到的面部图像的2D面部关键点模板：

对所检测到的面部图像中的面部姿态进行估计，并且从所述多个2D面部关键点模板中选择针对与所估计的面部姿态的差异在第一预定范围内的面部姿态的2D面部关键点模板，作为候选2D面部关键点模板；

对所检测到的面部图像中的关键点的位置和所述候选2D面部关键点模板中的关键点的位置进行归一化；

针对所述候选2D面部关键点模板中的每一个，计算所检测到的面部图像中的各个关键点与该候选2D面部关键点模板中的相应的关键点的距离，对所计算出的距离进行求和，并且将所得到的结果作为该候选2D面部关键点模板的选择距离；以及

选择所述候选2D面部关键点模板中的选择距离最小的候选2D面部关键点模板，作为用于所检测到的面部图像的2D面部关键点模板。

7.根据权利要求1-3中任一项所述的信息处理装置，其中，所述图像剪切单元包括：

剪切框计算子单元，被配置成基于所检测到的面部图像中的关键点的位置和所选择的2D面部关键点模板来计算用于所检测到的面部图像的剪切框；以及

剪切子单元，被配置成使用通过所述剪切框计算子单元所计算出的剪切框从所述输入图像剪切出所述剪切图像。

8.根据权利要求7所述的信息处理装置，其中，

所述图像剪切单元还包括：平移子单元，被配置成在通过所述剪切框计算子单元所计算出的剪切框的中心的俯仰轴坐标与所检测到的面部图像的边界框的中心的俯仰轴坐标的差异大于预定阈值的情况下，对所述剪切框进行平移，使得所述剪切框的中心的俯仰轴坐标与所检测到的面部图像的边界框的中心的俯仰轴坐标之间的差异在第二预定范围内，以及

其中，剪切子单元进一步被配置成使用通过所述平移子单元进行平移之后的剪切框，从所述输入图像剪切出所述剪切图像。

9.一种信息处理方法，包括：

模板生成步骤，用于生成针对多个不同面部姿态的多个2D面部关键点模板；

模板选择步骤，用于根据从输入图像检测到的面部图像中的面部姿态和/或关键点的位置，从所述多个2D面部关键点模板中选择用于所检测到的面部图像的2D面部关键点模板；以及

图像剪切步骤，用于至少根据所检测到的面部图像中的关键点的位置和所选择的2D面部关键点模板，从所述输入图像剪切出与所检测到的面部图像对应的剪切图像。

10.一种图像识别设备，包括根据权利要求1至8中任一项所述的信息处理装置，

其中，所述图像识别设备还包括：图像识别单元，被配置成对通过所述信息处理装置所得到的剪切图像进行识别。

Images