CN101604387A - 图像处理装置和图像处理方法 - Google Patents

Abstract

本发明公开了一种图像处理装置和图像处理方法。该图像处理装置包括投影单元、变换单元、生成单元和识别单元，投影单元将包含脸部的至少一部分的注册脸部图像投影到三维模型的表面上，使得注册脸部图像中包含的脸部的水平方向基本与图像要被投影到的表面上的一个方向一致，其中该三维模型的形状如下形成：该三维模型在所述表面上的所述一个方向上的至少一部分被向正面弯折；变换单元基于目标图像中包含的脸部的朝向来变换三维模型；生成单元通过将投影在变换后的三维模型的表面上的注册脸部图像投影到一个平面上来生成二维图像；识别单元通过将所生成的二维图像与目标图像进行比较来识别目标图像中包含的脸部。

Description

图像处理装置和图像处理方法

技术领域

本发明涉及图像处理装置，具体而言涉及识别图像中包含的人的脸部等的图像处理装置和图像处理方法。

背景技术

诸如数字静态相机和数字摄像机之类的图像拍摄装置已得到广泛的使用，这种图像拍摄装置拍摄诸如人之类的被摄物并且记录所拍摄的图像。另外，已提出了大量的图像处理装置，这些图像处理装置包括用于从拍摄的图像中检测人的脸部的脸部检测功能。

另外，近年来，已提出了多种脸部识别技术，用于从利用这种脸部检测功能检测出的脸部中识别特定人的脸部。例如，已提出了一种图像处理装置，该装置寻找输入图像上与注册图像上的目标区域相对应的对应区域的位置，并且基于该对应区域的位置来识别输入图像中的脸部(例如，参见日本未实审专利申请No.2007-115109(图3))。

例如，在诸如安保和娱乐领域中，作为生物认证的一部分，利用包含人的脸部的脸部图像来识别人物的脸部识别技术已经投入实用。

发明内容

根据上述现有技术，对于正面的脸部可以实现更高的精度。然而，例如，当拍摄人的脸部时，尽管在许多情况下拍摄的是正面的脸部，但是也可想到这样的情形，其中拍摄的不是正面的脸部。因此，可能出现包含正面脸部的拍摄图像和包含非正面脸部的拍摄图像被记录的情况。如上所述，当拍摄图像中包含的脸部朝向不同时，即使这些图像属于同一人，拍摄图像中包含的脸部图像也可能非常不同，并且存在脸部识别性能不稳定的风险。因此，当识别拍摄图像中包含的脸部时，例如，可以想到利用与人的脸部相对应的复杂的三维模型、通过使目标拍摄图像中包含的脸部的朝向与注册脸部的朝向相同来执行识别。

然而，在例如由小型数字静态相机之类的图像拍摄装置执行脸部识别的情况下，图像拍摄装置通常只能进行与脸部识别有关的数量相对有限的计算。因而，可能难以利用上述复杂的三维脸部模型来执行脸部识别。因此，增强脸部识别的准确性(无论脸部朝向如何)、同时减小脸部识别处理的负荷是很重要的。

希望增强脸部识别的准确性，同时减小脸部识别处理的负荷。

根据本发明的一个实施例，提供了一种图像处理装置、用于图像处理装置的图像处理方法和用于使计算机执行图像处理方法的程序，该图像处理装置包括投影单元、变换单元、生成单元和识别单元，投影单元将包含脸部的至少一部分的注册脸部图像投影到三维模型的表面上，使得注册脸部图像中包含的脸部的水平方向基本与图像要被投影到的表面上的一个方向一致，其中所述三维模型的形状如下形成：该三维模型在所述表面上的所述一个方向上的至少一部分被向正面弯折，变换单元基于目标图像中包含的脸部的朝向来变换三维模型，生成单元通过将投影在经变换单元变换的三维模型的表面上的注册脸部图像投影到一个平面上来生成二维图像，识别单元通过将由生成单元生成的二维图像与目标图像进行比较来识别目标图像中包含的脸部。这样，注册脸部图像被投影到三维模型的表面上，该三维模型基于目标图像中包含的脸部的朝向被变换，投影在变换后的三维模型的表面上的注册脸部图像被投影到一个平面上以生成二维模型，并且该二维图像和目标图像进行相互比较以识别目标图像中包含的脸部。

在上述实施例中，可以如下形成三维模型的形状：所述表面上的所述一个方向上的两端都向背面弯折，且三维模型在所述一个方向上的一部分被用作弯折线，并且投影单元可以将注册脸部图像投影到三维模型的表面上，以使相对于注册脸部图像中包含的脸部的水平方向的中心线基本与弯折线一致。这样，注册脸部图像被投影到三维模型的表面上，以使相对于注册脸部图像中包含的脸部的水平方向的中心线与三维模型的弯折线相互基本一致。

在上述实施例中，注册脸部图像可以是基于注册脸部图像中包含的脸部的眼睛被正规化的正规化图像，并且图像处理装置还可包括眼睛检测单元和正规化单元，眼睛检测单元检测目标图像中包含的脸部的眼睛，正规化单元基于眼睛检测单元检测出的眼睛来正规化目标图像以生成正规化目标图像，变换单元可以相对于连接投影在三维模型的表面上的注册脸部图像中所包含的脸部的眼睛的线段的中点旋转及平移三维模型，使得由生成单元生成的二维图像中包含的脸部的眼睛的位置与正规化目标图像中包含的脸部的眼睛的位置变为相同，并且识别单元可以通过将由生成单元生成的二维图像与正规化目标图像进行比较来识别目标图像中包含的脸部。这样，三维模型相对于连接注册脸部图像中包含的脸部的眼睛的线段的中点被旋转和平移，使得二维图像中包含的脸部的眼睛的位置与正规化目标图像中包含的脸部的眼睛的位置变为相同，并且该二维图像与正规化目标图像被相互比较，从而识别目标图像中包含的脸部。

在上述实施例中，图像处理装置还可包括变换参数存储单元，该变换参数存储单元以与脸部的朝向相关联的方式存储变换参数，该变换参数被用于：将注册脸部图像投影到三维模型的表面上，使得相对于注册脸部图像中包含的脸部的水平方向的中心线基本与弯折线一致，相对于该线段的中点旋转及平移三维模型，使得由生成单元生成的二维图像中包含的脸部的眼睛的位置与正规化目标图像中包含的脸部的眼睛的位置变为相同，其中该线段是连接投影在三维模型的表面上的注册脸部图像中所包含的脸部的眼睛的线段，以及将投影在旋转及平移后的三维模型的表面上的注册脸部图像投影到一个平面上以针对每种脸部朝向生成二维图像，并且生成单元可以利用以与目标图像中包含的脸部的朝向相关联的方式存储的变换参数来由注册脸部图像生成二维图像。这样，利用与目标图像中包含的脸部的朝向相关联地存储的变换参数来由注册脸部图像生成二维图像。

在上述实施例中，图像处理装置还可包括器官检测单元和正规化单元，器官检测单元检测目标图像中包含的脸部的两个器官，正规化单元基于器官检测单元检测出的两个器官来正规化目标图像以生成正规化目标图像，变换单元可以旋转及平移三维模型，使得由生成单元生成的二维图像中包含的脸部的两个器官的位置与正规化目标图像中包含的脸部的两个器官的位置变为相同，并且识别单元可以通过将由生成单元生成的二维图像与正规化目标图像进行比较来识别目标图像中包含的脸部。这样，三维模型被旋转及平移，使得二维图像中包含的脸部的两个器官的位置与正规化目标图像中包含的脸部的两个器官的位置变为相同，并且该二维图像和正规化目标图像被相互比较以识别目标图像中包含的脸部。

在上述实施例中，图像处理装置还可包括变换数据存储单元，该变换数据存储单元以与脸部的朝向相关联的方式存储三维模型的旋转角和平移距离的值，并且变换单元可以利用以与目标图像中包含的脸部的朝向相关联的方式存储的旋转角和平移距离的值来旋转并平移三维模型。这样，利用与目标图像中包含的脸部的朝向相关联地存储的旋转角和平移距离的值对三维模型进行旋转及平移。

在上述实施例中，识别单元可以通过将以下两种图像之一作为与目标图像的比较对象来与目标图像进行比较以识别目标图像中包含的脸部：基于目标图像中包含的脸部的朝向而确定的注册脸部图像和由生成单元生成的二维图像。这样，基于目标图像中包含的脸部的朝向而确定的注册脸部图像和由生成单元生成的二维图像之一作为目标图像的比较对象与目标图像进行比较，以识别目标图像中包含的脸部。

在上述实施例中，图像处理装置还可包括注册脸部图像存储单元和确定单元，注册脸部图像存储单元存储包含正面脸部的至少一部分的图像作为注册脸部图像，确定单元确定目标图像中包含的脸部的朝向，并且如果确定单元确定目标图像中包含的脸部的朝向是正面的，则识别单元可以通过将注册脸部图像与目标图像进行比较来识别目标图像中包含的脸部。因此，如果目标图像中包含的脸部的朝向被确定为是正面的，则注册脸部图像和目标图像被相互比较，从而识别目标图像中包含的脸部。

在上述实施例中，图像处理装置还可包括图像拍摄单元、脸部检测单元和确定单元，图像拍摄单元拍摄被摄物以生成拍摄图像，脸部检测单元检测拍摄图像中包含的脸部，确定单元确定脸部检测单元检测出的脸部的朝向，并且识别单元可以通过将由生成单元生成的二维图像与包含脸部检测单元检测出的脸部的脸部图像进行比较来识别拍摄图像中包含的脸部。这样，拍摄被摄物以生成拍摄图像，检测该拍摄图像中包含的脸部，确定检测出的脸部的朝向，并且将二维图像和脸部图像相互比较，从而识别拍摄图像中包含的脸部。

根据本发明的一个实施例，提供了一种图像处理装置、用于图像处理装置的图像处理方法和用于使计算机执行图像处理方法的程序，该图像处理装置包括注册脸部图像存储单元、确定单元、眼睛检测单元、正规化单元、变换参数存储单元、图像变换单元和识别单元，注册脸部图像存储单元存储注册脸部图像，该注册脸部图像是包含脸部的至少一部分并且基于脸部的眼睛被正规化的正规化脸部图像，确定单元确定目标图像包含的脸部的朝向，眼睛检测单元检测目标图像中包含的脸部的眼睛，正规化单元基于眼睛检测单元检测出的眼睛来正规化目标图像以生成正规化目标图像，变换参数存储单元以与所确定的脸部朝向相关联的方式存储变换参数，该变换参数被用于：将注册脸部图像投影到三维模型的表面上，使得相对于注册脸部图像中包含的脸部的水平方向的中心线基本与弯折线一致，该三维模型的形状如下形成：图像要被投影到的表面上的一个方向中的两端被向背面弯折，且三维模型在所述一个方向中的一部分被用作所述弯折线，相对于连接注册脸部图像中包含的脸部的眼睛的线段的中点旋转及平移三维模型，使得投影在三维模型的表面上的注册脸部图像中包含的脸部的眼睛的位置变为特定位置，以及将投影在旋转及平移后的三维模型的表面上的注册脸部图像投影到一个平面上以针对所确定的每种脸部朝向生成二维图像，图像变换单元利用以与确定单元所确定的脸部的朝向相关联的方式存储的变换参数来由注册脸部图像生成二维图像，识别单元通过将由图像变换单元生成的二维图像与正规化目标图像进行比较来识别目标图像中包含的脸部。这样，确定目标图像中包含的脸部的朝向，检测该脸部的眼睛，基于眼睛来正规化目标图像，利用与所确定的脸部朝向相关联地存储的变换参数来由注册脸部图像生成二维图像，并且将该二维图像与目标图像相互比较，从而识别目标图像中包含的脸部。

附图说明

图1是示出根据本发明一个实施例的图像处理装置的功能配置例子的框图；

图2A至2C是示出根据本发明的一个实施例当正规化单元正规化脸部图像时所发生的转变的示意图；

图3A至3C是示出根据本发明的一个实施例当正规化单元正规化脸部图像时所发生的转变的示意图；

图4A和4B是分别示意性地示出根据本发明的一个实施例经受脸部朝向确定单元的脸部朝向确定的脸部图像的示意图；

图5A和5B是分别示出根据本发明的一个实施例脸部朝向确定参考数据保存单元的内容以及用于脸部朝向确定单元的脸部朝向确定的累积结果值的范围的示意图；

图6A至6E是示出根据本发明的一个实施例脸部朝向确定单元的脸部朝向确定结果的例子的示意图；

图7是示意性地示出根据本发明的一个实施例被存储在注册脸部图像存储单元中的注册脸部图像的示意图；

图8A至8D是分别示意性地示出根据本发明的一个实施例被存储在三维模型存储单元中的三维模型的示意图；

图9是示出根据本发明一个实施例的变换数据存储单元的内容的示意图；

图10A和10B是示意性地示出根据本发明的一个实施例当一个注册脸部图像被图像变换单元变换时所发生的转变的示意图；

图11A至11C是示意性地示出根据本发明的一个实施例当一个注册脸部图像被图像变换单元变换时所发生的转变的示意图；

图12是示意性地示出根据本发明的一个实施例当一个注册脸部图像被图像变换单元变换时所发生的转变的示意图；

图13A和13B是示意性地示出根据本发明的一个实施例在一个注册脸部图像被图像变换单元变换的情况下三维模型和图像投影平面之间的关系的示意图；

图14A和14B是示出根据本发明的一个实施例当注册脸部图像被图像变换单元变换为核对脸部图像时所发生的转变的示意图；

图15A和15B是示出根据本发明的一个实施例由脸部识别单元进行比较的核对脸部图像和正规化脸部图像以及注册脸部图像和正规化脸部图像的示意图；

图16是示出根据本发明的一个实施例由图像处理装置执行的脸部识别处理的处理步骤的流程图；

图17是示出根据本发明的一个实施例由图像处理装置执行的脸部朝向确定处理的处理步骤的流程图；

图18是示出根据本发明一个实施例的图像处理装置的功能配置例子的框图；

图19是示出根据本发明一个实施例的变换数据存储单元的内容的示意图；

图20A至20C是示意性地示出根据本发明的一个实施例用于计算变换参数的计算方法的示意图；

图21A和21B是示意性地示出根据本发明的一个实施例用于计算变换参数的计算方法的示意图；

图22A和22B是示意性地示出根据本发明的一个实施例用于计算变换参数的计算方法的示意图；

图23是示出根据本发明的一个实施例汇总从脸部识别单元输出的脸部识别结果的脸部识别结果曲线图的图形；

图24是示出根据本发明的一个实施例由图像处理装置执行的脸部识别处理的处理步骤的流程图；以及

图25A至25D是分别示出根据本发明一个实施例的三维模型的例子的示意图。

具体实施方式

接下来，将参考附图详细描述本发明的实施例。

图1是示出根据本发明一个实施例的图像处理装置100的功能配置示例的框图。图像处理装置100包括光学系统111、图像拍摄单元112、脸部检测单元120、眼睛检测单元130、正规化单元140、脸部朝向确定单元150、脸部朝向确定参考数据保存单元151、注册脸部图像存储单元160、三维模型存储单元170、图像变换单元180、变换数据存储单元181、脸部识别单元190以及脸部识别结果输出单元195。图像处理装置100例如可以由诸如数字静态相机之类的图像拍摄装置实现，该图像拍摄装置可以通过对被摄物的拍摄图像进行图像分析而提取特征量，并且利用所提取的特征量来施加各种图像处理。

光学系统111由收集来自被摄物的光的多个透镜(例如变焦透镜和聚焦透镜)构成。来自被摄物的入射光经由这些透镜和光圈(未示出)被送到图像拍摄单元112。

图像拍摄单元112根据预定的图像拍摄参数变换来自被摄物的入射光以生成拍摄图像，并将生成的拍摄图像输出到脸部检测单元120、眼睛检测单元130和正规化单元140。也就是说，在图像拍摄单元112中，经由光学系统111入射的来自被摄物的光学信号经受图像拍摄器件(未示出)的光电转换，从而转换为模拟图像信号。然后，信号处理单元(未示出)对通过光电转换获得的模拟图像信号施加诸如去噪、A/D(模拟/数字)转换等的相机信号处理，从而生成拍摄图像。

脸部检测单元120检测在从图像拍摄单元112输出的拍摄图像中包含的人的脸部，并将与检测出的脸部有关的脸部检测信息输出到眼睛检测单元130和正规化单元140。作为脸部检测方法，例如可以采用基于实际图像和记录有脸部的亮度分布信息的模板之间的匹配的脸部检测方法(例如，参见日本未实审专利申请公布No.2004-133637)，或者基于拍摄图像中包含的人脸特征量、皮肤颜色部分等等的脸部检测方法。脸部检测信息包括拍摄图像上检测出的脸部的位置和尺寸。拍摄图像上检测出的脸部的位置可以被设置为例如拍摄图像上脸部图像的中心位置，并且拍摄图像上检测出的脸部的尺寸可以被设置为例如拍摄图像上脸部图像的水平和垂直长度。通过该脸部检测信息，可以定位脸部图像，该脸部图像是包含拍摄图像上的脸部的至少一部分的矩形拍摄图像。

眼睛检测单元130检测在从图像拍摄单元112输出的拍摄图像中包含的人的脸部的眼睛，并将与检测出的眼睛有关的眼睛信息输出到正规化单元140。也就是说，眼睛检测单元130利用从脸部检测单元120输出的脸部检测信息(位置和尺寸)、从输出自图像拍摄单元112的拍摄图像中提取与脸部检测单元120检测出的脸部相对应的脸部图像。然后，眼睛检测单元130检测该提取出的脸部图像中的眼睛。作为眼睛检测方法，与脸部检测方法一样，例如可以采用基于实际图像和记录有眼睛的亮度分布信息的模板之间的匹配的眼睛检测方法。眼睛检测信息包括脸部图像中检测出的眼睛的位置。脸部图像中的位置可被设置为例如脸部图像中的眼睛的中心位置。可以利用该眼睛检测信息对脸部图像进行正规化处理。眼睛检测单元130代表在权利要求书中描述的眼睛检测单元和器官检测单元的例子。

正规化单元140基于从眼睛检测单元130输出的眼睛检测信息来对与脸部检测单元120检测出的脸部相对应的脸部图像执行正规化，并将已被正规化的脸部图像(正规化脸部图像)输出到脸部朝向确定单元150和脸部识别单元190。另外，正规化单元140保存用于执行正规化的正规化模板，并基于该正规化模板对脸部图像进行正规化。作为该正规化模板，例如可以使用以眼睛的位置为基准的正规化模板141，如图2C和3C所示。也就是说，正规化单元140对脸部图像施加缩放处理和旋转处理以及分辨率转换，从而使脸部图像中眼睛的位置与正规化模板141中眼睛的位置一致，从而正规化脸部图像。脸部图像的正规化和正规化模板将在后面参考图2A至3C详细描述。

脸部朝向确定单元150利用存储在脸部朝向确定参考数据保存单元151中的脸部朝向确定参考数据来确定脸部检测单元120检测出的脸部的朝向，并将该确定结果输出到图像变换单元180。也就是说，脸部朝向确定单元150计算根据存储在脸部朝向确定参考数据保存单元151中的脸部朝向确定参考数据的确定条件被满足的程度，并获得与脸部朝向有关的累积结果值。然后，基于该累积结果值，脸部朝向确定单元150确定脸部检测单元120检测出的脸部的朝向。由脸部朝向确定单元150确定的脸部朝向例如是“正面(frontal)”、“向右(right-facing)”和“向左(left-facing)”。作为确定脸部朝向的方法，例如可以采用利用诸如眼睛、鼻子和嘴巴之类的脸部器官的几何特征来确定脸部朝向的确定方法，以及基于使用要确定的脸部图像上的两点之间的亮度值差的鉴别器来执行确定处理的确定方法。脸部朝向确定将在后面参考图4A至6E详细描述。脸部朝向确定单元150代表在权利要求书中描述的确定单元的例子。

脸部朝向确定参考数据保存单元151保存供脸部朝向确定单元150确定时使用的脸部朝向确定参考数据。该脸部朝向确定参考数据是已经针对要由脸部朝向确定单元150确定的脸部朝向充分训练过的参考数据。脸部朝向确定参考数据将在后面参考图5A和5B详细描述。

注册脸部图像存储单元160存储供脸部识别单元190脸部识别使用的脸部图像作为注册脸部图像，并将所存储的注册脸部图像提供给图像变换单元180。存储在注册脸部图像存储单元160中的注册脸部图像将在后面参考图7详细描述。

三维模型存储单元170存储用于变换存储在注册脸部图像存储单元160中的注册脸部图像的三维模型，并将所存储的三维模型提供给图像变换单元180。存储在三维模型存储单元170中的三维模型将在后面参考图8A至8D详细描述。

图像变换单元180变换存储在注册脸部图像存储单元160中的注册脸部图像以生成核对脸部图像，并将所生成的核对脸部图像输出到脸部识别单元190。也就是说，图像变换单元180将注册脸部图像投影到存储在三维模型存储单元170中的三维模型的表面上，从而使三维模型的水平方向基本与注册脸部图像中包含的脸部的水平方向一致。然后，图像变换单元180基于从脸部朝向确定单元150输出的脸部朝向确定结果来利用贴覆的注册脸部图像变换三维模型。然后，图像变换单元180将贴覆在变换后的三维模型上的注册脸部图像投影到一个平面上以生成核对脸部图像(二维图像)。当从脸部朝向确定单元150输出指示“正面”的确定结果时，图像变换单元180将存储在注册脸部图像存储单元160中的注册脸部图像作为核对脸部图像输出到脸部识别单元190，而不对注册脸部图像执行变换。该注册脸部图像的变换将在后面参考图10A至13B详细描述。图像变换单元180代表在权利要求书中描述的投影单元、变换单元和生成单元的例子。

变换数据存储单元181与要由脸部朝向确定单元150确定的脸部的朝向相关联地存储图像变换单元180用来执行变换的变换数据，并将所存储的变换数据提供给图像变换单元180。变换数据存储单元181将在后面参考图9详细描述。

脸部识别单元190识别脸部检测单元120检测出的脸部是否为存储在注册脸部图像存储单元160中的注册脸部图像中所包含的脸部(被注册的脸部)，并将识别结果输出到脸部识别结果输出单元195。也就是说，脸部识别单元190通过将从正规化单元140输出的正规化脸部图像与从图像变换单元180输出的核对脸部图像相比较，来识别脸部检测单元120检测出的脸部是否为被注册的脸部。作为该脸部识别方法，例如可以采用分别从将要相互比较的注册脸部图像和正规化脸部图像中提取特征量并且基于所提取的特征量来执行脸部识别的脸部识别方法。也就是说，从注册脸部图像提取的特征量和从正规化脸部图像提取的特征量被相互比较以计算这些特征量之间的相似度。然后，如果计算出的相似度超过了一个阈值，则正规化脸部图像中包含的脸部被确定为被注册的脸部。另外，作为脸部识别方法，例如还可以采用基于使用要相互比较的注册脸部图像和正规化脸部图像中的每一个上的两点之间的亮度值差等的弱鉴别器来执行识别处理的识别方法。脸部识别单元190代表在权利要求书中描述的识别单元的例子。

脸部识别结果输出单元195输出从脸部识别单元190输出的脸部识别结果。例如，当从脸部识别单元190输出的识别结果指示脸部检测单元120检测出的脸部是被注册的脸部时，脸部识别结果输出单元195显示该结果。例如，脸部识别结果输出单元195可以在显示于显示单元(未示出)上的拍摄图像上将特定标记粘贴到已确定为被注册脸部的脸部上。另外，脸部识别结果输出单元195可以在已确定为被注册脸部的脸部的附近粘贴相应人的姓名。另外，脸部识别结果输出单元195可以基于已确定为被注册脸部的脸部来更新图像拍摄单元112的图像拍摄参数。

图2A至3C是示出根据本发明一个实施例当正规化单元140正规化脸部图像时所发生的转变的示意图。图2A和3A分别是示出从图像拍摄单元112输出的拍摄图像200和201的示意图。图2B和3B分别是示出与脸部检测单元120检测出的脸部相对应的脸部图像203和213的示意图。图2C和3C分别是示出当正规化脸部图像时使用的正规化模板141以及正规化后的脸部图像206和216的示意图。正规化模板141是保存在正规化单元140中的模板并且供正规化单元140执行正规化时使用。在正规化模板141中定义了各自用作在执行正规化时的基准的基准位置142和143。在图2A至3C所示的例子中，将描述这样一种情况，其中对脸部图像执行诸如缩放处理和旋转处理之类的处理，从而使眼睛检测单元130检测出的脸部图像中的眼睛的位置与正规化模板141中的基准位置142和143一致。图2A至2C所示的例子涉及脸部检测单元120检测出的脸部202的朝向相对正面向前的情况，而图3A至3C所示的例子涉及脸部检测单元120检测出的脸部212的朝向向右的情况。图2A至2C所示的拍摄图像200中所包含的人201以及图3A至3C所示的拍摄图像210中所包含的人211假定是同一人。

如图2A所示，例如，当从图像拍摄单元112输出的拍摄图像200被输入到脸部检测单元120时，脸部检测单元120检测包含在拍摄图像200中的脸部202。当从图像拍摄单元112输出的拍摄图像200以及从脸部检测单元120输出的脸部检测结果被输入到眼睛检测单元130时，眼睛检测单元130检测包含在拍摄图像200中的脸部202的眼睛。在图2B中，脸部图像203中包含的脸部202的眼睛的中心位置被表示为眼睛位置204和205。

正规化单元140对脸部图像203执行缩放处理、旋转处理等等，从而使检测出的眼睛位置204和205与图2C所示的正规化模板141中的基准位置142和143一致。例如，对脸部图像203执行旋转处理，并且生成作为已被正规化的脸部图像的正规化脸部图像206。如图2C所示，在正规化脸部图像206中，脸部202的眼睛位置204和205与正规化模板141中的基准位置142和143一致。

同样，在图3A至3C所示的情况中，与图2A至2C的情况一样，对脸部图像213执行例如缩放处理、旋转处理等等，从而使脸部212的眼睛位置214和215与图3C所示的正规化模板141中的基准位置142和143一致。例如，对脸部图像213执行缩放处理和旋转处理，并且生成正规化脸部图像216。

如图2C和3C所示，即使在同一人的脸部的情况下，正规化脸部图像也可能根据在图像拍摄时脸部的朝向而极大地不同。因而，例如，可想到这样的情况，其中当利用图2C所示的正规化脸部图像206执行脸部识别时和当利用图3C所示的正规化脸部图像216执行脸部识别时，两者之间的脸部识别结果不同。也就是说，存在这样的风险：即使在同一人的情况下，脸部的准确识别也可能因脸部的朝向而变得困难。因此，在本发明的实施例中，基于脸部检测单元120检测出的脸部的朝向，注册脸部图像被变换以生成核对脸部图像，并且利用该核对脸部图像执行脸部识别。

接下来，将参考附图详细描述脸部朝向确定。

图4A和4B是分别示意性地示出根据本发明一个实施例由脸部朝向确定单元150进行脸部朝向确定的脸部图像的示意图。图4A中所示的正规化脸部图像206与图2C中所示的正规化脸部图像206相同，并且图4B中所示的正规化脸部图像216与图3C中所示的正规化脸部图像216相同。当将正面脸部和向右脸部相互比较时，一般而言，诸如右侧脸颊的面积减小之类的特征经常出现在向右脸部中。因此，对应于与脸部朝向有关的这些特征状态的脸部朝向确定参考数据被保存在脸部朝向确定参考数据保存单元151中，并且该脸部朝向确定参考数据被用于脸部朝向确定。利用该脸部朝向确定参考数据的脸部朝向确定方法将在后面参考图5A至6E详细描述。另外，图4B中所示的位置221至226将在后面参考图5A和5B详细描述。

图5A和5B是根据本发明的一个实施例分别示出脸部朝向确定参考数据保存单元151的内容以及用于脸部朝向确定单元150的脸部朝向确定的累积结果值的范围的示意图。也就是说，图5A示出了保存在脸部朝向确定参考数据保存单元151中的脸部朝向确定参考数据的结构例子，图5B示出了与利用脸部朝向确定参考数据计算出的脸部朝向有关的累积结果值的范围。在本发明的实施例中，所描述的是利用基于像素差的相关确定方法进行脸部朝向确定的例子。

保存在脸部朝向确定参考数据保存单元151中的脸部朝向确定参考数据包括正规化脸部图像的坐标0(x，y)152和正规化脸部图像的坐标1(x，y)153、阈值(m)154以及参考数据的权重(r)155。坐标0(x，y)152和坐标1(x，y)153是指示正规化脸部图像中两点的位置的坐标。阈值(m)154是与坐标0和坐标1之间的电平差(亮度差)有关的阈值。另外，参考数据的权重(r)155是基于坐标0和坐标1之间的电平差(亮度差)与阈值(m)之间的比较结果而添加的权重系数。脸部朝向确定参考数据保存单元151存储了n条参考数据，每条参考数据由这些值的组合构成。在本发明的实施例中所示的参考数据被称为弱鉴别器(弱假设)。

在由诸如AdaBoost之类的机器学习算法学习得到的这些组合中，构成脸部朝向确定参考数据的值是利用例如最上面的300至1000个最有效的组合来设置的。

接下来，参考附图，将详细描述这样一个例子，其中利用脸部朝向确定参考数据对正规化脸部图像进行脸部朝向确定。在该例子中，图4B中所示的正规化脸部图像216的左上角被取作原点，水平轴被取作x轴，垂直轴被取作y轴。另外，将描述这样一种情况，其中利用保存在脸部朝向确定参考数据保存单元151中的脸部朝向确定参考数据对正规化脸部图像216执行脸部确定处理。

例如，正规化脸部图像216中与存储在脸部朝向确定参考数据的第一行(参考数据0)上的坐标0(x，y)152的值相对应的位置被定义为位置221，并且正规化脸部图像216中与坐标1(x，y)153的值相对应的位置被定义为位置222。另外，正规化脸部图像216中与存储在脸部朝向确定参考数据的第二行(参考数据1)上的坐标0(x，y)152的值相对应的位置被定义为位置223，并且正规化脸部图像216中与坐标1(x，y)153的值相对应的位置被定义为位置224。另外，正规化脸部图像216中与存储在脸部朝向确定参考数据的第三行(参考数据2)上的坐标0(x，y)152的值相对应的位置被定义为位置225，并且正规化脸部图像216中与坐标1(x，y)153的值相对应的位置被定义为位置226。

首先，用于执行确定的分数S的值被设为0，并且利用脸部朝向确定参考数据的参考数据0中所包含的值执行计算。具体而言，提取在与脸部朝向确定参考数据的参考数据0中所包含的坐标0(x，y)152的值相对应的位置221处的亮度值A(0)，以及在与坐标1(x，y)153的值相对应的位置222处的亮度值B(0)。然后，利用下面的方程计算各个所提取的亮度值之差C(0)。

C(0)＝A(0)-B(0)

随后，通过将各亮度之差的计算值C(0)与脸部朝向确定参考数据的参考数据0中所包含的阈值(m)154的值进行比较，来确定计算值C(0)是否大于阈值(m)154。如果计算值C(0)等于或小于阈值(m)154的值，则脸部朝向确定参考数据的参考数据0中所包含的权重(r)155的值被添加到分数S。另一方面，如果计算值C(0)大于阈值(m)154的值，则脸部朝向确定参考数据的参考数据0中所包含的权重(r)155的值不被添加到分数S。

随后，利用脸部朝向确定参考数据的参考数据1中所包含的值来重复上述计算。具体而言，提取在与脸部朝向确定参考数据的参考数据1中所包含的坐标0(x，y)152的值相对应的位置223处的亮度值A(1)，以及在与坐标1(x，y)153的值相对应的位置224处的亮度值B(1)。然后，利用下面的方程计算各个所提取的亮度值之差C(1)。

C(1)＝A(1)-B(1)

随后，通过将各亮度之差的计算值C(1)与脸部朝向确定参考数据的参考数据1中所包含的阈值(m)154的值进行比较，来确定计算值C(1)是否大于阈值(m)154。如果计算值C(1)等于或小于阈值(m)154的值，则脸部朝向确定参考数据的参考数据1中所包含的权重(r)155的值被添加到分数S。另一方面，如果计算值C(1)大于阈值(m)154的值，则脸部朝向确定参考数据的参考数据1中所包含的权重(r)155的值不被添加到分数S。

随后，从脸部朝向确定参考数据的参考数据3向前，顺序地利用直到参考数据n-1为止的值来重复上述计算。

也就是说，当对正规化脸部图像216利用脸部朝向确定参考数据执行确定处理时，通过顺序地使用脸部朝向确定参考数据的参考数据0至n-1中所包含的值，利用方程(A)来计算C(i)。然后，确定C(i)的计算值是否满足方程(B)。这里，变量i是整数，并且是从0至n-1的值。

C(i)＝A(i)-B(i)...(A)

C(i)＞m(i)...(B)

如果C(i)的计算值满足方程(B)，则r(i)的值不被添加到分数S，并且如果C(i)的计算值不满足方程(B)，则r(i)的值被添加到分数S。这里，与参考数据i中包含的坐标0(x，y)152相对应的亮度值由A(i)表示，并且与参考数据i中包含的坐标1(x，y)153相对应的亮度值由B(i)表示。另外，参考数据i中包含的阈值(m)154的值由m(i)表示，并且参考数据i中包含的权重(r)155的值由r(i)表示。

然后，在利用脸部朝向确定参考数据的参考数据0至n-1中所包含的值完成计算之后，基于分数S的值来确定各个属性作为累积结果值。

这里，在利用脸部朝向确定参考数据的参考数据0至n-1中所包含的值完成计算之后所获得的分数S_n(P)可以由下面的方程(C)表示。

$S_n\left(P\right)=\underset{i=0}{\overset{n-1}{\mathrm{\Σ}}}{r}_i\·h(P(x_{i0},y_{i0})-P(x_{i1},y_{i1})-m_i)\·\·\·\left(C\right)$

这里，S_n(P)表示参考数据0至n-1的累积结果值，r_i表示参考数据i中包含的权重(r)155的值，并且P(x_i0，y_i0)表示与参考数据i中包含的坐标0(x，y)152相对应的亮度值。另外，P(x_i1，y_i1)表示与参考数据i中包含的坐标1(x，y)153相对应的亮度值，m_i表示参考数据i中包含的阈值(m)154的值，并且n表示参考数据的条数。另外，h(z)表示当z＞0时变为“0”而当z≤0时变为“1”的函数。

接下来，参考图5B，将详细描述基于利用脸部朝向确定参考数据的参考数据0至n-1中所包含的值计算出的累积结果值来确定脸部属性的确定方法。与图5B中所示的脸部朝向有关的累积结果值的范围被设置为例如-1000到+1000的范围。本发明的实施例涉及脸部朝向确定单元150确定包括“向右”、“正面”和“向左”在内的三种脸部朝向的例子。

例如，假定基于上述机器学习算法执行学习，其中在学习时向右朝向的学习样本取在正侧上，而向左朝向的学习样本取在负侧上。在以这种方式执行学习的情况下，当确定脸部朝向时，利用图5B中所示的阈值156和157来确定“向右”、“正面”或“向左”。

例如，在与图5B中所示的脸部朝向有关的累积结果值的范围中，如果作为利用脸部朝向确定参考数据的参考数据0至n-1中所包含的值计算出的累积结果值的分数S_nP小于阈值156，则脸部朝向被确定为“向左”。另一方面，如果分数S_nP大于阈值157，则脸部朝向被确定为“向右”。如果S_nP落在阈值156和阈值157之间，则脸部朝向被确定为既不是“向右”也不是“向左”，而是被确定为“正面”。这些确定结果被从脸部朝向确定单元150输出到图像变换单元180。

图6A至6E是示出根据本发明一个实施例脸部朝向确定单元150的脸部朝向确定结果的例子的示意图。图6A至6E中所示的脸部231至235是输入到脸部朝向确定单元150的正规化脸部图像中所包含的脸部。图6A和6B中所示的脸部231和232是相对于前方面向右侧的脸部。因而，脸部231和232被脸部朝向确定单元150确定为向右。另一方面，图6D和6E中所示的脸部234和235是相对于前方面向左侧的脸部。因而，脸部234和235被脸部朝向确定单元150确定为向左。另外，图6C中所示的脸部233是脸朝正面的脸部。因而，脸部233被脸部朝向确定单元150确定为“正面”。

图7是示意性地示出根据本发明一个实施例存储在注册脸部图像存储单元160中的注册脸部图像的示意图。这里，存储在注册脸部图像存储单元160中的注册脸部图像161至163分别表示用于对已被正规化单元140正规化的正规化脸部图像执行脸部识别单元190的脸部识别处理的确定数据。根据本发明的实施例，由图像变换单元180基于脸部朝向确定单元150的确定结果对注册脸部图像161至163进行变换得到的核对脸部图像也被用作确定数据。图7示出了与三个人的脸部相对应的注册脸部图像161至163被存储在注册脸部图像存储单元160中的例子。这里，存储在注册脸部图像存储单元160中的注册脸部图像161至163假定是已被正规化的正规化脸部图像，从而使眼睛的位置与图2C和3C所示的正规化模板141中的基准位置142和143一致。

如图7所示，在注册脸部图像存储单元160中，用于标识注册脸部图像的标识号和姓名与各个注册脸部图像相关联地被存储。例如，“001”、“002”和“003”被分配为注册脸部图像161至163的标识号，并且“Ichiro Koda”、“Hanako Koda”和“Misaki Otoyama”被存储为与注册脸部图像161至163相关联的姓名。注册脸部图像161中包含的脸部(标识号“001”、姓名“Ichiro Koda”)假定是与图2A至3C中所示的脸部202和212同一人的脸部。

图8A至8D是分别示意性地示出根据本发明一个实施例存储在三维模型存储单元170中的三维模型300的示意图。图8A示出了从前方看的三维模型300，图8B示出了从右侧看的三维模型300，图8C示出了从左侧看的三维模型300，图8D示出了从上方看的三维模型300。

三维模型300是具有这样一种形状的三维CG(计算机图形)模型，该形状是通过沿着作为连接矩形的顶部和底部的相应中点之间的直线的弯折线将矩形的一半向后弯折而获得的。另外，如图8D所示，三维模型300的形状使得左半矩形和右半矩形中的每一个相对于弯折之前的状态弯折了角度α。这里，角度α可以设置为例如10到20度。

图9是示出根据本发明一个实施例的变换数据存储单元181的内容的示意图。变换数据存储单元181存储了偏转旋转角(θ)184、滚动旋转角(φ)185、沿x轴的平移距离(Tx)186、沿y轴的平移距离(Ty)187、以及沿z轴的平移距离(Tz)188。这些值与向左182和向右183相关联地被存储。应当注意，这些值表示为了使核对脸部图像(该图像是在图像变换单元180旋转并且平移了三维模型之后生成的)中所包含的脸部的眼睛的位置与注册脸部图像中包含的脸部的眼睛的位置一致所用的变换数据。在图9中，对除了偏转旋转角(θ)184以外的值的描述被省略。

偏转旋转角(θ)184是表示用于执行在表面上投影有注册脸部图像的三维模型300的偏转旋转的角度。滚动旋转角(φ)185是表示用于执行在表面上投影有注册脸部图像的三维模型300的滚动旋转的角度。尽管该例子涉及θ＝-30或30的情况，但是也可以设定例如θ＝-30至-20或者20至30。

沿x轴的平移距离(Tx)186是表示用于执行在表面上投影有注册脸部图像的三维模型300的沿x轴方向的平行移动的距离的值。沿y轴的平移距离(Ty)187是表示用于执行在表面上投影有注册脸部图像的三维模型300的沿y轴方向的平行移动的距离的值。沿z轴的平移距离(Tz)188是表示用于执行在表面上投影有注册脸部图像的三维模型300的沿z轴方向的平行移动的距离的值。

这里，当脸部朝向被脸部朝向确定单元150确定为“向左”或“向右”时，图像变换单元180利用与所确定的脸部朝向(向左182或向右183)相关联地存储的值对三维模型300执行旋转和平移。这种旋转和平移将在后面参考图11A至11C详细描述。

图10A至12是示意性地示出根据本发明一个实施例当一个注册脸部图像被图像变换单元180变换时所发生的转变的示意图。也就是说，图10A至12示出了在图10A所示的注册脸部图像161上的坐标g1(x，y)被变换为图12所示的核对脸部图像340上的坐标g4(u，v)的情况下的转变。图10A至12中所示的转变将在后面参考图13A和方程(1)详细描述。

$\left[\begin{array}{c}x\\ y\\ 1\\ 1\end{array}\right]=F\·G\·H\·I\·J\·K\left[\begin{array}{c}u\\ v\\ 1\\ 1\end{array}\right]\·\·\·\left(1\right)$

$F=\left[\begin{array}{cccc}1& 0& 0& -\mathrm{Cx}\\ 0& 1& 0& -\mathrm{Cy}\\ 0& 0& -\frac{1}{x\tan \mathrm{\α}}& 0\\ 0& 0& 0& 1\end{array}\right]$

$G=\left[\begin{array}{cccc}\cos \mathrm{\θ}& 0& -\sin \mathrm{\θ}& 0\\ 0& 1& 0& 0\\ \sin \mathrm{\θ}& 0& \cos \mathrm{\θ}& 0\\ 0& 0& 0& 1\end{array}\right]$

$H=\left[\begin{array}{cccc}\cos \mathrm{\φ}& \sin \mathrm{\φ}& 0& 0\\ -\sin \mathrm{\φ}& \cos \mathrm{\φ}& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]$

$I=\left[\begin{array}{cccc}1& 0& 0& -T_x\\ 0& 1& 0& -T_y\\ 0& 0& 1& -T_z\\ 0& 0& 0& 1\end{array}\right]$

$J=\left[\begin{array}{cccc}\frac{Z+Z_c}{f}& 0& 0& 0\\ 0& \frac{Z+Z_c}{f}& 0& 0\\ 0& 0& Z& 0\\ 0& 0& 0& 1\end{array}\right]$

$K=\left[\begin{array}{cccc}1& 0& 0& -\mathrm{Cu}\\ 0& 1& 0& -\mathrm{Cv}\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]$

方程(1)表示用于将图10A所示的注册脸部图像161上的坐标g1(x，y)变换为图12所示的核对脸部图像340上的坐标g4(u，v)的行列式。

图13A和13B是示意性地示出根据本发明一个实施例在一个注册脸部图像被图像变换单元180变换的情况下三维模型300和图像投影平面350之间的关系的示意图。

图10A示出了存储在注册脸部图像存储单元160中的注册脸部图像161。由于存储在注册脸部图像存储单元160中的注册脸部图像162和163的变换与注册脸部图像161的变换相同，因此在这里省略其描述。在该例子中，所描述的是这样一种情况，其中，如图10A所示，注册脸部图像161被变换，其中注册脸部图像161的左上角被取作原点O1，水平轴被取作x轴，垂直轴被取作y轴。

图10B示出了注册脸部图像161被投影到存储在三维模型存储单元170中的三维模型300的表面上的情况。为了简化描述，图10A至12示出了从左边沿对角看的三维模型300。如图10B所示，注册脸部图像161被投影到三维模型300的表面上，该投影方式使得注册脸部图像161的四个角311至314的坐标被变换为三维模型300的四个角321至324的坐标。另外，注册脸部图像161被投影到三维模型300的表面上，该投影方式使得注册脸部图像161的顶部的中点315和底部的中点316被变换为三维模型300的弯折线的顶点325和326。通过该投影，如图10B所示，注册脸部图像161被贴覆到三维模型300的表面上。在下面的描述中，在表面上贴覆有注册脸部图像161的三维模型300将被称为注册脸部图像三维模型330。

这里，在方程(1)的左侧的矩阵(xy11)是与注册脸部图像161的坐标g1(x，y)相对应的矩阵，并且右侧的矩阵(uv11)是与核对脸部图像340的坐标g4(u，v)相对应的矩阵。右侧的矩阵F是用于将贴覆在三维模型300上的图像投影到一个平面上以生成二维图像并且改变该二维图像中的坐标的原点的矩阵。也就是说，如图10A所示，利用矩阵F的逆矩阵F^-1，在注册脸部图像161的左上角处的原点O1可以变为注册脸部图像161的中心位置O2。然后，如图10B所示，注册脸部图像161可以被投影到三维模型300的表面上。

图11A示出了从左边沿对角看的在表面上贴覆有注册脸部图像161的注册脸部图像三维模型330。图11B示出了从顶部看的在表面上贴覆有注册脸部图像161的注册脸部图像三维模型330。在该例子中，如图11A和11B所示，在注册脸部图像三维模型330的弯折线上的中点被取作原点O3，沿水平方向的轴被定义为x轴，沿垂直方向的轴被定义为y轴，并且与x轴和y轴正交的轴被定义为z轴。将描述注册脸部图像三维模型330被旋转和平移的情况。在该例子中，所描述的是脸部朝向被脸部朝向确定单元150确定为“向右”的情况。

图11C示出了注册脸部图像三维模型330被旋转和平移的情况。这里，方程(1)中的矩阵G是用于在三维空间中执行三维模型300的偏转旋转的矩阵。基于矩阵G的偏转旋转角度是θ。方程(1)中的矩阵H是用于在三维空间中执行三维模型300的滚动旋转的矩阵。基于矩阵H的滚动旋转角度是φ。矩阵I是用于在三维空间中执行三维模型300的平移的矩阵。基于矩阵I的沿x轴方向的平移距离是Tx，沿y轴方向的平移距离是Ty，沿z轴方向的平移距离是Tz。利用矩阵G至I的逆矩阵G^-1、H^-1和I^-1，可以执行注册脸部图像三维模型330的旋转和平移。角度θ和φ以及平移距离Tx、Ty和Tz是根据由脸部朝向确定单元150确定的脸部朝向而确定的值，并且被存储在如图9所示的变换数据存储单元181中。存储在变换数据存储单元181中的值是用于将二维图像(图12中所示的核对脸部图像340)变换为正规化图像的值，该二维图像是在执行了注册脸部图像三维模型330的旋转和平移之后所获得的。

图13A和13B示意性地示出了这样一种情况，其中已利用逆矩阵G^-1、H^-1和I^-1进行变换的贴覆在注册脸部图像三维模型330的表面上的注册脸部图像被投影到一个平面上以生成二维图像(图12中所示的核对脸部图像340)。图13A示出了从y轴方向看的注册脸部图像三维模型330和用于生成二维图像的图像投影平面350之间的关系。图13B示出了从x轴方向看的注册脸部图像三维模型330和图像投影平面350之间的关系。如图13A和13B所示，贴覆在注册脸部图像三维模型330的表面上的注册脸部图像被投影到图像投影平面350上，该投影方式使得贴覆在注册脸部图像三维模型330的表面上的注册脸部图像会聚到参考点(光学中心)K1。以这种方式，生成投影在图像投影平面350上的图像作为核对脸部图像340。

这里，令距离Zc是从参考点K1到注册脸部图像三维模型330的原点O3的距离，令距离f是从参考点K1到图像投影平面350的距离。距离f可以被设定为例如与在注册脸部图像三维模型330的左端和右端的一侧的长度相同。使用距离Zc和f的矩阵J是用于利用三角相似将图像投影到三维模型300的表面上的矩阵。另外，如图12所示，利用矩阵J的逆矩阵J^-1，贴覆在注册脸部图像三维模型330的表面上的注册脸部图像可以被投影到图像投影平面350上以生成核对脸部图像340。矩阵K是用于改变二维图像中坐标的原点的矩阵。也就是说，利用矩阵K的逆矩阵K^-1，如图12所示，位于核对脸部图像340的中心位置处的原点O5可以被改变为核对脸部图像340的左上角O6。

图14A和14B是示出根据本发明一个实施例当注册脸部图像161被图像变换单元180变换为核对脸部图像340时所发生的转变的示意图。图14A示出了变换之前的注册脸部图像161，图14B示出了变换之后的核对脸部图像340。如上所述，注册脸部图像161是包含正面脸部241的图像，并且是已基于正面脸部241的眼睛的位置242和243正规化的图像。相反地，核对脸部图像340是包含脸部341的图像，脸部341通过图像变换单元180的图像变换已看起来向右，并且核对脸部图像340是已基于脸部341的眼睛的位置342和343正规化的图像。也就是说，注册脸部图像161中眼睛的位置242和243与核对脸部图像340中眼睛的位置342和343是相同的。

图15A和15B是示出根据本发明一个实施例被脸部识别单元190比较的核对脸部图像和正规化脸部图像以及注册脸部图像和正规化脸部图像的示意图。图15A和15B中所示的正规化脸部图像216与图3C中所示的正规化脸部图像216相同。图15A中所示的核对脸部图像340与图14B中所示的核对脸部图像340相同，并且是图像变换单元180基于由脸部朝向确定单元150确定的脸部朝向而生成的图像。另一方面，图15B中所示的注册脸部图像161与存储在图7所示的注册脸部图像存储单元160中的注册脸部图像161相同，并且是还未基于由脸部朝向确定单元150确定的脸部朝向进行变换的图像。

如图15A所示，当基于由脸部朝向确定单元150确定的脸部朝向而生成的核对脸部图像340与正规化脸部图像216进行比较时，这两个脸部是相对类似的。因而，可以增强脸部识别单元190的脸部识别的准确性。另一方面，如图15B所示，当还未变换的注册脸部图像161与正规化脸部图像216进行比较时，由于这些图像分别包含正面脸部和向右脸部，因此在各个图像上脸部的各个部分是不相类似的，即使这些脸部属于同一人。因而，相比于图15A中所示的情况，难以增强脸部识别单元190的脸部识别的准确性。

接下来，将参考附图描述根据本发明一个实施例的图像处理装置100的操作。

图16是示出根据本发明一个实施例由图像处理装置100执行的脸部识别处理的处理步骤的流程图。

首先，图像拍摄单元112生成拍摄图像(步骤S901)。随后，脸部检测单元120对生成的拍摄图像执行脸部检测处理(步骤S902)。通过该脸部检测处理，确定是否检测到脸部(步骤S903)，并且如果未检测到脸部，则脸部识别处理的操作结束。另一方面，如果检测到脸部(步骤S903)，则眼睛检测单元130对脸部检测单元120检测出的脸部执行眼睛检测处理(步骤S904)。

随后，正规化单元140通过调节包含脸部检测单元120检测出的脸部的脸部图像来执行正规化，从而使眼睛的位置与正规化模板141的基准位置142和143一致(步骤S905)。随后，脸部朝向确定单元150对作为已被正规化的脸部图像的正规化脸部图像执行脸部朝向确定处理(步骤S920)。该脸部朝向确定处理将在后面参考图17详细描述。

随后，图像变换单元180确定由脸部朝向确定单元150确定的脸部朝向是否为正面的(步骤S906)。如果由脸部朝向确定单元150确定的脸部朝向不是正面的(步骤S906)，则图像变换单元180将存储在注册脸部图像存储单元160中的注册脸部图像投影到三维模型上(步骤S907)。随后，图像变换单元180利用与脸部朝向确定单元150所确定的脸部朝向相关联地存储在变换数据存储单元181中的变换数据来旋转并平移其上贴覆有注册脸部图像的三维模型300(步骤S908)。随后，贴覆在已旋转和平移的三维模型300上的注册脸部图像被投影到一个平面上以生成二维图像(核对脸部图像)(步骤S909)。

随后，脸部识别单元190将由图像变换单元180生成的二维图像与由正规化单元140生成的正规化脸部图像进行比较，以确定该正规化脸部图像中的脸部是否是与注册脸部图像中的脸部同一人的脸部(步骤S910)。也就是说，对脸部检测单元120检测出的脸部执行脸部识别处理。在多个注册脸部图像被存储在注册脸部图像存储单元160中的情况下，针对各个注册脸部图像生成二维图像，并且对每个二维图像执行脸部识别处理。

如果由脸部朝向确定单元150确定的脸部朝向是正面的(步骤S906)，则脸部识别单元190将存储在注册脸部图像存储单元160中的注册脸部图像与由正规化单元140生成的正规化脸部图像进行比较。然后，脸部识别单元190确定该正规化脸部图像中的脸部是否为与注册脸部图像中的脸部同一人的脸部(步骤S910)。在多个注册脸部图像被存储在注册脸部图像存储单元160中的情况下，针对每个注册脸部图像执行脸部识别处理。

图17是示出根据本发明一个实施例由图像处理装置100执行的脸部朝向确定处理的处理步骤的流程图。该脸部朝向确定处理是与图16的步骤S920中的脸部朝向确定处理相对应的处理。

首先，分数S被初始化为“0”(步骤S921)，并且变量i被初始化为“0”(步骤S922)。随后，从提取自正规化脸部图像的亮度值中，获取与脸部朝向确定参考数据保存单元151中的参考数据i的坐标0(x，y)152相对应的亮度值A(i)，以及与坐标1(x，y)153相对应的亮度值B(i)(步骤S923)。随后，利用下面的方程计算各个获取的亮度值之间的差C(i)(步骤S924)。

C(i)＝A(i)-B(i)

随后，将各亮度之差的计算值C(i)与脸部朝向确定参考数据保存单元151中的参考数据i中所包含的阈值(m)154的值进行比较，以确定计算值C(i)是否大于阈值(m)154的值(步骤S925)。如果计算值C(i)等于或小于阈值(m)154的值(步骤S925)，则脸部朝向确定参考数据保存单元151中的参考数据i中所包含的权重(r)155的值被添加到分数S(步骤S926)。另一方面，如果计算值C(i)大于阈值(m)154的值(步骤S925)，则脸部朝向确定参考数据保存单元151中的参考数据i中所包含的权重(r)155的值不被添加到分数S，并且处理进行到步骤S927。

随后，变量i加“1”(步骤S927)，并且确定变量i是否大于n-1(步骤S928)。如果变量i不大于n-1(步骤S928)，则针对脸部朝向确定参考数据保存单元151中的每个参考数据的确定处理还未结束，因此处理返回到步骤S923，并且确定处理被重复(步骤S923至S927)。另一方面，如果变量i大于n-1(步骤S928)，则确定分数S的值是否落在阈值1和阈值2之间(步骤S929)。阈值1对应于图5B中所示的阈值156，阈值2对应于图5B中所示的阈值157。

如果分数S的值落在阈值1和阈值2之间(步骤S929)，则确定正规化脸部图像中包含的脸部的朝向是“正面”(步骤S930)。

如果分数S的值不落在阈值1和阈值2之间(步骤S929)，则确定分数S的值是否大于阈值2(步骤S931)。如果分数S的值大于阈值2(步骤S931)，则确定正规化脸部图像中包含的脸部是“向右”(步骤S932)。另一方面，如果分数S的值小于阈值2(步骤S931)，则确定正规化脸部图像中包含的脸部是“向左”(步骤S933)。步骤S907表示在权利要求书中描述的投影步骤的例子。步骤S908表示在权利要求书中描述的变换步骤的例子。步骤S909表示在权利要求书中描述的生成步骤的例子。步骤S910表示在权利要求书中描述的识别步骤的例子。

前述描述涉及的是这样一种例子，其中通过在方程(1)中利用矩阵F至K执行计算，注册脸部图像被变换为核对脸部图像。也就是说，在方程(1)中利用矩阵F至K的计算中，在表面上贴覆有注册脸部图像的三维模型300中的三维坐标原点被设置为三维模型300的弯折线的中点，并且以该三维坐标原点为基准来执行旋转和平移。在以这种方式弯折线的中点被设置为三维坐标原点的情况下，在执行了三维模型300的偏转旋转之后，有必要执行沿y轴的平移和滚动旋转以实现对眼睛位置的正规化。

这里，注册脸部图像是已相对于眼睛的位置被正规化的图像。因而，例如，当连接贴覆在三维模型300的表面上的注册脸部图像中包含的脸部的眼睛的线段的中点被设置为三维坐标原点时，沿y轴的平移和滚动旋转可以被省略。相比于在方程(1)中利用矩阵F至K执行计算的情况，这能够减小计算量。在下面，将参考附图详细描述这样一个例子，其中通过将连接三维模型300中的眼睛的线段的中点设置为三维坐标原点来执行图像变换，从而省略沿y轴的平移和滚动旋转。

图18是示出根据本发明一个实施例的图像处理装置500的功能配置例子的框图。这里，图像处理装置500表示对图1所示的图像处理装置100的部分修改，并且具有图像变换单元510和变换数据存储单元520来代替图像变换单元180和变换数据存储单元181。因而，将不对与图1所示的图像处理装置100类似的那些组件给出详细的描述，同样，关于其他组件，下面的描述将集中于与图1所示的图像处理装置100的不同之处。

图像变换单元510利用与由脸部朝向确定单元150确定的脸部朝向相关联地存储在变换数据存储单元520中的变换参数，来由存储在注册脸部图像存储单元160中的注册脸部图像生成二维图像。

变换数据存储单元520与要由脸部朝向确定单元150确定的脸部朝向相关联地存储被图像变换单元510用来执行变换的变换参数，并将所存储的变换参数提供给图像变换单元510。变换数据存储单元520将在后面参考图19详细描述。计算存储在变换数据存储单元520中的变换参数的方法将在后面参考图20A至22B详细描述。变换数据存储单元520表示在权利要求书中描述的变换数据存储单元的例子。

图19是示出根据本发明一个实施例的变换数据存储单元520的内容的示意图。在变换数据存储单元520中，与向左521和向右522相关联地存储变换参数523。

变换参数523是被图像变换单元510用来变换存储在注册脸部图像存储单元160中的注册脸部图像以生成核对脸部图像的变换参数。具体而言，变换参数523是用于将注册脸部图像投影到三维模型的表面上、基于脸部朝向确定结果变换三维模型、并将变换后的三维模型上的注册脸部图像投影到一个平面上以生成核对脸部图像的变换参数。当将注册脸部图像投影到三维模型的表面上时，注册脸部图像的投影方式使得存储在三维模型存储单元170中的三维模型的弯折线基本与相对于注册脸部图像中包含的脸部的水平方向的中心线一致。当变换三维模型时，三维模型被相对于连接贴覆在三维模型的表面上的注册脸部图像中包含的脸部的眼睛的线段的中点进行旋转和平移，以使得眼睛的位置变为特定位置。

这里，当脸部朝向被脸部朝向确定单元150确定为“向左”或“向右”时，图像变换单元510利用与所确定的脸部朝向(左朝向521或右朝向522)相关联地存储的变换参数来将注册脸部图像变换为二维图像。该变换以注册脸部图像的中心位置作为坐标原点、根据“x＜0”和“x≥0”而使用变换参数。注册脸部图像被变换为二维图像，其中该二维图像的中心位置被取作坐标原点。计算变换参数A至E的方法将在后面参考图20A至22B详细描述。

图20A至22B是示意性地示出根据本发明一个实施例用于计算变换参数A至E的计算方法的示意图。在下面的描述中，与上述图像相同的元件等用相同的附图标记表示。

如图20A所示，在注册脸部图像161的中心位置O2被取作原点的情况下，注册脸部图像161中包含的脸部241的眼睛的位置是位置242和243。位置242和243例如是脸部241的眼睛的中心位置。令(-p，q)是位置242的坐标，在这种情况下(p，q)是位置243的坐标。这里，通过在方程(1)中使用矩阵F的逆矩阵F^-1和矩阵G的逆矩阵G^-1，如图20B所示，注册脸部图像161可以被投影到三维模型300上以进行偏转旋转。然后，考虑这样一种情况，其中令OL2(XL，YL，ZL)是在该偏转旋转之后注册脸部图像三维模型330中的脸部的左眼的坐标，OR2(XR，YR，ZR)是右眼的坐标，并且获得坐标OL2和OR2。然而，应当注意，在该例子中坐标OL2和OR2是在假定三维空间中的坐标原点被从图20B中所示的点O3改变为图21A和21B中所示的参考点K1的情况下获得的。在以这种方式参考点K1被取作坐标原点的情况下，可以利用方程(2)计算左眼的坐标OL2(XL，YL，ZL)。可以利用方程(3)计算右眼的坐标OR2(XR，YR，ZR)。

$\left[\begin{array}{c}\mathrm{XL}\\ \mathrm{YL}\\ \mathrm{ZL}\\ 1\end{array}\right]=\left[\begin{array}{c}-p\cos \mathrm{\θ}-p\tan \mathrm{\α}\sin \mathrm{\θ}\\ q\\ p\sin \mathrm{\θ}-p\tan \mathrm{\α}\cos \mathrm{\θ}+Z_c\\ 1\end{array}\right]\·\·\·\left(2\right)$

$\left[\begin{array}{c}\mathrm{XR}\\ \mathrm{YR}\\ \mathrm{ZR}\\ 1\end{array}\right]=\left[\begin{array}{c}p\cos \mathrm{\θ}-p\tan \mathrm{\α}\sin \mathrm{\θ}\\ q\\ -p\sin \mathrm{\θ}-p\tan \mathrm{\α}\cos \mathrm{\θ}+Z_c\\ 1\end{array}\right]\·\·\·\left(3\right)$

如图20C所示，在核对脸部图像340的中心位置O5被取作原点的情况下，核对脸部图像340中包含的脸部341的眼睛的位置是位置342和343。位置342和343例如是脸部341的眼睛的中心位置。由于核对脸部图像340是已相对于眼睛的位置被正规化的图像，因此在这种情况下位置342和343的坐标变为与注册脸部图像161中包含的眼睛的位置242和243的坐标相同。因此，在核对脸部图像340中令(-p，q)为右眼的坐标，(p，q)为左眼的坐标。这里，假定三维空间中的坐标原点被从图20C中所示的点O5改变为图21A和21B中所示的参考点K1的情况，将描述获得右眼的坐标(-p，q)和左眼的坐标(p，q)的例子。在以这种方式参考点K1被取作坐标原点的情况下，基于图21A和21B中所示的位置关系，可以利用方程(4)计算右眼的坐标(-p，q)。可以利用方程(5)计算左眼的坐标(p，q)。

$\left[\begin{array}{c}-p\\ q\end{array}\right]=\left[\begin{array}{c}f\frac{\mathrm{XL}+T_x}{\mathrm{ZL}+T_z}\\ f\frac{\mathrm{XL}+T_y}{\mathrm{ZL}+T_z}\end{array}\right]\·\·\·\left(4\right)$

$\left[\begin{array}{c}p\\ q\end{array}\right]=\left[\begin{array}{c}f\frac{\mathrm{XR}+T_x}{\mathrm{ZR}+T_z}\\ f\frac{\mathrm{XR}+T_y}{\mathrm{ZR}+T_z}\end{array}\right]\·\·\·\left(5\right)$

这里，在连接注册脸部图像161和注册脸部图像三维模型330中的每一个所包含的脸部的眼睛的线段的中间位置被取作原点的情况下，q＝0。因此，令Ty＝0。通过将方程(2)和方程(3)代入方程(4)和方程(5)中，平移分量Tx、Ty和Tz可以按如下方式获得。

Tx＝psinθ(tanα-(p/f))...(6)

Ty＝0              ...(7)

Tz＝(f+ptanα)cosθ-Zc...(8)

这里，在注册脸部图像三维模型330中的脸部的眼睛之间的中间位置被取作坐标原点的情况下，如上所述，Ty的平移和滚动旋转可以被省略。这里，至于偏转旋转之前的三维坐标(它是在注册脸部图像161上的坐标原点被改变为中心点并且注册脸部图像161被投影到三维模型300的表面上之后获得的)，如果x_c≥0，则参考图22B，z1＝-x1tanα。因而，在注册脸部图像161被投影之后、偏转旋转之前的三维坐标可以被表示为坐标(x_c，y_c，-x_ctanα)。然而，应当注意，x_c和y_c被定义如下。

x_c＝x+Cx

y_c＝y+Cy

Cx和Cy与图10A中所示的值相同。在这种情况下，对于三维坐标(x_c，y_c，-x_ctanα)下面的方程(9)成立。

$\left[\begin{array}{c}{x}_c\\ y_c\\ -x_c\tan \mathrm{\α}\end{array}\right]=\left[\begin{array}{ccc}\cos \mathrm{\θ}& 0& -\sin \mathrm{\θ}\\ 0& 1& 0\\ \sin \mathrm{\θ}& 0& \cos \mathrm{\θ}\end{array}\right]\left[\begin{array}{c}\frac{u_c(Z+Z_c)}{f}-T_x\\ \frac{v_c(Z+Z_c)}{f}\\ Z-T_z\end{array}\right]\·\·\·\left(9\right)$

这里，方程(9)的右边项的左侧矩阵是用于在三维空间中执行三维模型的偏转旋转的矩阵。与矩阵G一样，该矩阵是用于以旋转角θ执行偏转旋转的矩阵。方程(9)的右边项的右侧矩阵是表示在三维空间中执行了三维模型的偏转旋转之后所获得的三维坐标的矩阵。然而，应当注意，u_c和v_c被定义如下。Cu和Cv与图12中所示的值相同。

u_c＝u-Cu

v_c＝v-Cv

随后，展开方程(9)中的矩阵，从而产生下面的方程(10)至(12)。

x_c＝(u_c/f)Zcosθ+(u_c/f)Zccosθ-Txcosθ-Zsinθ+Tzsinθ...(10)

y_c＝(v_c/f)Z+(v_c/f)Zc...(11)

-x_ctanα＝(u_c/f)Zsinθ+(u_c/f)Zcsinθ-Txsinθ+Zcosθ-Tzcosθ...(12)

在注册脸部图像三维模型330中的眼睛之间的中间位置被取作原点O7的情况下，Z的值可以由下面的方程(13)获得。

Z＝-(xcosθ-x_ctanαsinθ)tan(α+θ)+Tz...(13)

这里，将上述方程(8)中的Tz代入方程(13)，从而产生下面的方程(14)。

Z＝-x_c(cosθ-tanαsinθ)tan(α+θ)+(f+ptanα)cosθ-Zc...(14)

随后，通过将方程(6)中的Tx、方程(8)中的Tz、以及方程(14)中的Z代入方程(10)和方程(11)，可以获得当x_c≥0时的x_c和y_c，作为方程(15)和方程(16)。这里，为了一般化的目的，方程(15)至(33)中所示的x_c、y_c、u_c和v_c被简单表示为x、y、u和v。

$x=\frac{u-\frac{\mathrm{fp}\sin \mathrm{\θ}(\tan \mathrm{\α}-\frac{p}{f})}{(f+p\tan \mathrm{\α})\cos \mathrm{\θ}}}{u\frac{(\cos \mathrm{\θ}-\tan \mathrm{\α}\sin \mathrm{\θ})\tan (\mathrm{\α}+\mathrm{\θ})}{(f+p\tan \mathrm{\α})\cos \mathrm{\θ}}+\frac{f\{1+(\tan \mathrm{\α}\sin \mathrm{\θ}-\cos \mathrm{\θ})\tan (\mathrm{\α}+\mathrm{\θ})\sin \mathrm{\θ}\}}{(f+p\tan \mathrm{\α}){\cos }^2\mathrm{\θ}}}\·\·\·\left(15\right)$

$y=\{\frac{(\tan \mathrm{\α}\sin \mathrm{\θ}-\cos \mathrm{\θ})\tan (\mathrm{\α}+\mathrm{\θ})}{f}x+\frac{(f+p\tan \mathrm{\α})\cos \mathrm{\θ}}{f}\}v\·\·\·\left(16\right)$

同样，可以获得当x_c＜0时的x_c和y_c作为方程(17)和方程(18)。

$x=\frac{u-\frac{\mathrm{fp}\sin \mathrm{\θ}(\tan \mathrm{\α}-\frac{p}{f})}{(f+p\tan \mathrm{\α})\cos \mathrm{\θ}}}{u\frac{(-\cos \mathrm{\θ}-\tan \mathrm{\α}\sin \mathrm{\θ})\tan (\mathrm{\α}-\mathrm{\θ})}{(f+p\tan \mathrm{\α})\cos \mathrm{\θ}}+\frac{f\{1+(\tan \mathrm{\α}\sin \mathrm{\θ}+\cos \mathrm{\θ})\tan (\mathrm{\α}-\mathrm{\θ})\sin \mathrm{\θ}\}}{(f+p\tan \mathrm{\α}){\cos }^2\mathrm{\θ}}}\·\·\·\left(17\right)$

$y=\{\frac{(\tan \mathrm{\α}\sin \mathrm{\θ}+\cos \mathrm{\θ})\tan (\mathrm{\α}-\mathrm{\θ})}{f}x+\frac{(f+p\tan \mathrm{\α})\cos \mathrm{\θ}}{f}\}v\·\·\·\left(18\right)$

随后，利用下面的方程(19)至(21)可以修改方程(15)至(18)中所示的x_c和y_c。修改后的方程被表示为方程(22)至(25)。

tan(α+θ)＝(tanα+tanθ)/(1-tanαtanθ)...(19)

tan(α-θ)＝(tanα-tanθ)/(1+tanαtanθ)...(20)

1/cos²θ＝1+tan²θ...(21)

x≥0

$x=\frac{u-\frac{(\mathrm{fp}\tan \mathrm{\α}-p^2)\sin \mathrm{\θ}}{(f+p\tan \mathrm{\α})\cos \mathrm{\θ}}}{u\frac{\tan \mathrm{\α}+\tan \mathrm{\θ}}{f+p\tan \mathrm{\α}}+\frac{f-f\tan \mathrm{\α}\sin \mathrm{\θ}}{f+p\tan \mathrm{\α}}}\·\·\·\left(22\right)$

$y=[\frac{(\tan \mathrm{\α}+\tan \mathrm{\θ})\cos \mathrm{\θ}}{f}x+\frac{f+p\tan \mathrm{\α}}{f}]v\·\·\·\left(23\right)$

x＜0

$x=\frac{u-\frac{(\mathrm{fp}\tan \mathrm{\α}-p^2)\sin \mathrm{\θ}}{(f+p\tan \mathrm{\α})\cos \mathrm{\θ}}}{u\frac{-\tan \mathrm{\α}+\tan \mathrm{\θ}}{f+p\tan \mathrm{\α}}+\frac{f+f\tan \mathrm{\α}\sin \mathrm{\θ}}{f+p\tan \mathrm{\α}}}\·\·\·\left(24\right)$

$y=[\frac{(\tan \mathrm{\α}-\tan \mathrm{\θ})\cos \mathrm{\θ}}{f}x+\frac{f+p\tan \mathrm{\α}}{f}]v\·\·\·\left(25\right)$

这里，方程(22)和(23)表示当x_c≥0时的x_c和y_c，而方程(24)和(25)表示当x_c＜0时的x_c和y_c。这里，除了变量u和v以外的f、p、α和θ可以被设为固定值。例如，α和θ可以被设为α＝10至20并且θ＝-30至-20或者20至30。在本发明的实施例中，注册脸部图像是根据脸部朝向确定单元150所确定的“向左”或“向右”来变换的。因此，假定“向左”或“向右”的情况(θ≥0或θ＜0)，可以计算下面的方程(26)至(33)。

(a)向左(θ≥0)x≥0

$x=\frac{u-A}{B_{0}u+C_0}\·\·\·\left(26\right)$

y(D₀x+E)v    …(27)

(b)向左(θ≥0)x＜0

$x=\frac{u-A}{B_{1}u+C_1}\·\·\·\left(28\right)$

y＝(D₁x+E)v    …(29)

(c)向右(θ＜0)x≥0

$x=\frac{u+A}{-B_{1}u+C_1}\·\·\·\left(30\right)$

y＝(-D₁x+E)v  …(31)

(d)向右(θ＜0)x＜0

$x=\frac{u+A}{{-B}_{0}u+C_0}\·\·\·\left(32\right)$

y(-D₀x+E)v  …(33)

这里，A₀、B₀、B₁、C₀、C₁、D₀、D₁和E是存储在图19的变换数据存储单元520中的值，并且取下面的值。

$A=\frac{(\mathrm{fp}\tan \mathrm{\α}-p^2)\sin \mathrm{\θ}}{(f+p\tan \mathrm{\α})\cos \mathrm{\θ}}$

$B_0=\frac{\tan \mathrm{\α}+\tan \mathrm{\θ}}{f+p\tan \mathrm{\α}}$

$B_1=\frac{-\tan \mathrm{\α}+\tan \mathrm{\θ}}{f+p\tan \mathrm{\α}}$

$C_0=\frac{f-f\tan \mathrm{\α}\sin \mathrm{\θ}}{f+p\tan \mathrm{\α}}$

$C_1=\frac{f+f\tan \mathrm{\α}\sin \mathrm{\θ}}{f+p\tan \mathrm{\α}}$

$D_0=\frac{(-\tan \mathrm{\α}-\tan \mathrm{\θ})\cos \mathrm{\θ}}{f}$

$D_1=\frac{(\tan \mathrm{\α}-\tan \mathrm{\θ})\cos \mathrm{\θ}}{f}$

$E=\frac{f+p\tan \mathrm{\α}}{f}$

以这种方式，存储在变换数据存储单元520中的变换参数523被预先计算，并且图像变换单元510可以利用变换参数523的值由注册脸部图像生成二维图像。也就是说，在注册脸部图像的中心位置被取作原点并且二维图像的中心位置被取作原点的情况下，注册脸部图像中的坐标(x，y)被变换为二维图像中的坐标(u，v)。相比于在表面上贴覆有注册脸部图像的三维模型300中的三维坐标原点被设置为弯折线的中点的情况，这可以减小计算量。这样可以明显减小在脸部识别处理时的处理负荷。因而，脸部识别功能可以很容易地包含到小型数字静态相机、移动电话等之中。

图23是示出根据本发明的一个实施例汇总从脸部识别单元190输出的脸部识别结果的脸部识别结果曲线图600的图形。脸部识别结果曲线图600是汇总在图像变换单元180基于脸部朝向确定单元150的确定结果执行图像变换的情况下以及在不执行图像变换单元180的图像变换的情况下的脸部识别结果的曲线图。这里，示出了这样一种情况，其中当α＝15度并且θ＝-30或30度时，在改变实际脸部朝向角的同时，利用对10个男人和女人的脸部拍摄的多个拍摄图像来执行脸部识别。

这里，在脸部识别结果曲线图600中，水平轴表示拍摄图像中包含的脸部的实际朝向角的值，并且垂直轴表示通过求和然后求平均由脸部识别单元190输出的脸部识别结果的分数而获得的值。假定用于基于计算出的脸部识别结果的分数来确定脸部是否为注册脸部的脸部识别阈值601被设置在0至10000的范围内。另外，在该例子中，当拍摄图像中包含的脸部是正面时的脸部朝向角被设定为90度。脸部被脸部朝向确定单元150确定为向左的最大角度被设定为77度(等于或低于该角度时被确定为向左)。脸部被脸部朝向确定单元150确定为向右的最小角度被设定为113度(等于或大于该角度时被确定为向右)。

线611表示通过求和然后求平均当图像变换单元180基于脸部朝向确定单元150的确定结果执行了图像变换之后执行脸部识别时计算出的脸部识别结果的分数而针对各个拍摄图像获得的值。另一方面，线612表示通过求和然后平均当在不执行图像变换单元180的图像变换的情况下执行脸部识别时计算出的脸部识别结果的分数而针对各个拍摄图像获得的值。

如脸部识别结果曲线图600所显示的，当脸部的朝向接近于正面(在垂直线603和604之间)时，在线611和612之间很难有任何差异。然而，在超过了某一角度(当超过该角度时，脸部被脸部朝向确定单元150确定为向左或向右)时(在相对于垂直线603的左侧，或者在相对于垂直线604的右侧)，例如差值621至624所表示的，线611和612之间的差值变大。也就是说，通过应用本发明的实施例，对于包含面向倾斜方向的脸部的拍摄图像，也可以增强脸部识别的准确性。尽管该例子涉及的是利用预先记录的拍摄图像来执行脸部识别的情况，但是对于在图像拍摄时由诸如数字静态相机之类的图像拍摄装置执行的拍摄图像的脸部识别，也可以类似地增强准确性。

接下来，将参考附图描述根据本发明一个实施例的图像处理装置500的操作。

图24是示出根据本发明一个实施例由图像处理装置500执行的脸部识别处理的处理步骤的流程图。处理步骤表示对图16中所示的处理步骤的修改，并且图24中所示的步骤S901至S906、S910、S911和S920表示与图16中所示的步骤S901至S906、S910、S911和S920相同的处理步骤。因而，相同处理步骤的描述将被省略。

如果脸部朝向确定单元150所确定的脸部朝向不是正面的(步骤S906)，则图像变换单元510基于由脸部朝向确定单元150确定的脸部朝向来生成二维图像(核对脸部图像)(步骤S950)。也就是说，图像变换单元510利用与脸部朝向确定单元150所确定的脸部朝向相关联地存储在变换数据存储单元520中的变换参数，来变换存储在注册脸部图像存储单元160中的注册脸部图像以生成二维图像(核对脸部图像)。

图25A至25D是分别示出根据本发明一个实施例的三维模型的例子的示意图。尽管前述描述涉及的是利用三维模型300来执行图像变换的示例，但是也可以利用其他三维模型来执行图像变换。

图25A中所示的三维模型700是三维CG模型，该模型的形状是通过相对于水平方向在矩形的中部附近形成两根弯折线并在任一端处向背面弯折该矩形而获得的。图25B中所示的三维模型710是具有圆柱形状的三维CG模型。图25C中所示的三维模型720是具有球形形状的三维CG模型。图25D中所示的三维模型730是具有圆柱形状(在其表面上形成有突起731)的三维CG模型。至于三维模型730，例如，突起731优选地形成在圆柱形状上，以使注册脸部图像中包含的脸部的鼻子部分被投影到突起731上。除了图25A至25D中所示的三维模型以外，例如，具有椭球形状的三维模型也可以用于执行图像变换。以这种方式，根据本发明的一个实施例，可以利用具有以下形状的三维模型来执行图像变换，该形状是通过在图像要被投影到的表面上的一个方向中三维模型的至少一部分被向正面弯折而形成的。因而，当对于在包括鼻子等中部隆起的一个人的脸部、根据脸部朝向生成二维图像时，可以生成在该人的脸部附近横向偏转的脸部。

图像变换也可以利用例如其中α＝0的三维模型300来执行。也就是说，图像变换可以利用具有基本平面形状的三维模型来执行。或者，图像变换可以利用具有以下形状的三维模型来执行，该形状是通过使三维模型在图像要被投影到的表面上的水平方向上的至少一部分向背面弯折而形成的。以这种方式，根据本发明的实施例，可以利用所谓的三维简化模型(简化多边形模型)来执行注册脸部图像的图像变换。

如上所述，根据本发明的实施例，利用三维模型，可以由注册脸部图像生成与拍摄图像中包含的脸部图像相同朝向的二维图像(核对脸部图像)，并且该生成的二维图像和正规化脸部图像可以相互比较及核对。因而，在脸部识别单元190的识别处理时，要相互比较的两个图像中包含的脸部的朝向变为相同，从而可以增强脸部识别的准确性。另外，在识别处理时，可以由注册脸部图像生成与拍摄图像中包含的脸部图像相同朝向的二维图像。因此，对于每个人仅登记一个正面的注册脸部图像就足够了。这能够减小注册脸部图像的存储量大小。

当对注册脸部图像执行图像变换时，使用了简化几何模型，从而相比于根据现有技术利用标准三维脸部模型来执行图像变换的情况，可以实现必需的计算量的明显减小。这使得其可被实现在计算量相对有限的移动设备等上，例如移动电话和数字静态相机。

这里，考虑这样一种情况，其中并不是基于所确定的脸部朝向来变换注册脸部图像，而是将拍摄图像中包含的脸部图像变换为正面的图像以执行脸部识别。例如，如果脸部图像中包含的脸部是向右的脸部，则脸部的右侧部分不被包含在脸部图像中。因而，如果脸部图像被变换为正面脸部，则存在极大的可能性无法对变换后的正面脸部中包含的右侧部分执行准确的图像变换。具体而言，诸如脸部的眼睛、嘴巴等的器官对于脸部识别是很重要的。如果这些器官未包含在脸部图像中，则存在极大的可能性无法对变换后的正面脸部中包含的这些器官执行准确的图像变换，从而导致脸部识别的准确性的降低。相反地，根据本发明的实施例，由包含正面脸部的注册脸部图像生成核对脸部图像，从而允许对诸如脸部的眼睛和嘴巴之类的器官执行准确的图像变换。这能够增强脸部识别的准确性。

尽管本发明的实施例涉及的是脸部朝向确定单元150通过将脸部朝向分类为“正面”、“向右”和“向左”来确定脸部朝向的例子，但是本发明的实施例也可以应用于脸部朝向确定单元150通过将脸部朝向分类为四种或更多种朝向来确定脸部朝向的情况。另外，尽管本发明的实施例涉及的是脸部朝向确定单元150相对于横向方向确定脸部朝向的例子，但是本发明的实施例也可以应用于脸部朝向确定单元150相对于垂直方向确定脸部朝向的情况。在这种情况下，图像变换可以利用例如具有以下形状的三维模型来执行，该形状是通过使三维模型在图像要被投影到的表面上的垂直方向中的至少一部分向前面弯折而形成的。

本发明的实施例还可以应用于诸如具有相机功能的设备之类的图像处理装置，例如包括可携式摄像机(相机和记录器)或图像拍摄单元的移动电话或者PC(个人计算机)。

尽管在本发明的实施例中人的脸部被例示为接受脸部识别的脸部，但是本发明的实施例也可以应用于识别另一种动物(例如哺乳动物)的脸部的情况。

尽管在本发明的实施例中静态拍摄图像被例示为接受脸部识别的目标图像，但是本发明的实施例也可以应用于运动图像的情况。例如，在运动图像的情况下，对于每个图像流来检测脸部，并且可以对包含该脸部的脸部图像执行脸部识别。另外，可以对于每个GOP(图片组)来检测脸部，或者可以在流内每隔固定的时间间隔来检测脸部。

应当注意，本发明的实施例仅仅用来说明本发明的实现方式的例子，并且与权利要求书中的每个发明记载的主题具有对应关系，如上所述。然而，应当注意，本发明并不限于这些实施例，而是可以在不脱离本发明的范围的前提下进行各种修改。

参考本发明的实施例所描述的处理步骤可以被当作具有一系列这些步骤的方法，或者可以被当作一种用于使计算机执行一系列这些步骤的程序和存储该程序的记录介质。至于记录介质，例如可以使用CD(压缩盘)、MD(迷你盘)、DVD(数字多功能盘)、存储卡、蓝光光盘(R)等等。

本申请包含与2008年6月11日向日本专利局提交的日本在先专利申请JP 2008-152643有关的主题，上述申请的全部内容通过引用而合并到本文中。

本领域技术人员应当理解，取决于设计需求和其他因素可以发生各种修改、组合、子组合和变更，只要这些修改、组合、子组合和变更在权利要求或其等同物的范围内。

Claims (11)

1.一种图像处理装置，包括：

投影单元，该投影单元将包含脸部的至少一部分的注册脸部图像投影到三维模型的表面上，使得所述注册脸部图像中包含的脸部的水平方向基本与图像要被投影到的表面上的一个方向一致，其中所述三维模型的形状如下形成：所述三维模型在所述表面上的所述一个方向上的至少一部分被向正面弯折；

变换单元，该变换单元基于目标图像中包含的脸部的朝向来变换所述三维模型；

生成单元，该生成单元通过将投影在经所述变换单元变换的三维模型的表面上的注册脸部图像投影到一个平面上来生成二维图像；以及

识别单元，该识别单元通过将由所述生成单元生成的二维图像与所述目标图像进行比较来识别所述目标图像中包含的脸部。

2.如权利要求1所述的图像处理装置，其中，

所述三维模型的形状如下形成：所述一个方向上的两端都向背面弯折，且所述三维模型在所述表面上的所述一个方向上的一部分被用作弯折线；并且

所述投影单元将所述注册脸部图像投影到所述三维模型的表面上，以使相对于所述注册脸部图像中包含的脸部的水平方向的中心线基本与所述弯折线一致。

3.如权利要求2所述的图像处理装置，其中：

所述注册脸部图像是基于所述注册脸部图像中包含的脸部的眼睛被正规化的正规化图像；

所述图像处理装置还包括：

眼睛检测单元，该眼睛检测单元检测所述目标图像中包含的脸部的眼睛；以及

正规化单元，该正规化单元基于所述眼睛检测单元检测出的眼睛来正规化所述目标图像以生成正规化目标图像；

所述变换单元相对于一线段的中点旋转及平移所述三维模型，使得由所述生成单元生成的二维图像中包含的脸部的眼睛的位置与所述正规化目标图像中包含的脸部的眼睛的位置变为相同，其中所述线段是连接投影在所述三维模型的表面上的注册脸部图像中所包含的脸部的眼睛的线段；并且

所述识别单元通过将由所述生成单元生成的二维图像与所述正规化目标图像进行比较来识别所述目标图像中包含的脸部。

4.如权利要求3所述的图像处理装置，还包括：

变换参数存储单元，该变换参数存储单元以与脸部的朝向相关联的方式存储变换参数，所述变换参数被用于

将所述注册脸部图像投影到所述三维模型的表面上，使得相对于所述注册脸部图像中包含的脸部的水平方向的中心线基本与所述弯折线一致，

相对于所述线段的中点旋转及平移所述三维模型，使得由所述生成单元生成的二维图像中包含的脸部的眼睛的位置与所述正规化目标图像中包含的脸部的眼睛的位置变为相同，其中所述线段是连接投影在所述三维模型的表面上的注册脸部图像中所包含的脸部的眼睛的线段，以及

将投影在旋转及平移后的三维模型的表面上的注册脸部图像投影到一个平面上以针对每种脸部朝向生成二维图像，

其中所述生成单元利用以与所述目标图像中包含的脸部的朝向相关联的方式存储的变换参数来由所述注册脸部图像生成所述二维图像。

5.如权利要求1所述的图像处理装置，还包括：

器官检测单元，该器官检测单元检测所述目标图像中包含的脸部的两个器官；以及

正规化单元，该正规化单元基于所述器官检测单元检测出的两个器官来正规化所述目标图像以生成正规化目标图像，其中

所述变换单元旋转及平移所述三维模型，使得由所述生成单元生成的二维图像中包含的脸部的两个器官的位置与所述正规化目标图像中包含的脸部的两个器官的位置变为相同，并且

所述识别单元通过将由所述生成单元生成的二维图像与所述正规化目标图像进行比较来识别所述目标图像中包含的脸部。

6.如权利要求5所述的图像处理装置，还包括变换数据存储单元，该变换数据存储单元以与脸部的朝向相关联的方式存储所述三维模型的旋转角和平移距离的值，

其中所述变换单元利用以与所述目标图像中包含的脸部的朝向相关联的方式存储的旋转角和平移距离的值来旋转及平移所述三维模型。

7.如权利要求1所述的图像处理装置，其中所述识别单元通过将以下两种图像之一作为所述目标图像的比较对象来与所述目标图像进行比较以识别所述目标图像中包含的脸部：基于所述目标图像中包含的脸部的朝向而确定的注册脸部图像和由所述生成单元生成的二维图像。

8.如权利要求7所述的图像处理装置，还包括：

注册脸部图像存储单元，该注册脸部图像存储单元存储包含正面脸部的至少一部分的图像作为所述注册脸部图像；以及

确定单元，该确定单元确定所述目标图像中包含的脸部的朝向，

其中如果所述确定单元确定所述目标图像中包含的脸部的朝向是正面的，则所述识别单元通过将所述注册脸部图像与所述目标图像进行比较来识别所述目标图像中包含的脸部。

9.如权利要求1所述的图像处理装置，还包括：

图像拍摄单元，该图像拍摄单元拍摄被摄物以生成拍摄图像；

脸部检测单元，该脸部检测单元检测所述拍摄图像中包含的脸部；以及

确定单元，该确定单元确定所述脸部检测单元检测出的脸部的朝向，

其中所述识别单元通过将由所述生成单元生成的二维图像与包含所述脸部检测单元检测出的脸部的脸部图像进行比较来识别所述拍摄图像中包含的脸部。

10.一种图像处理装置，包括：

注册脸部图像存储单元，该注册脸部图像存储单元存储注册脸部图像，该注册脸部图像是包含脸部的至少一部分并且基于脸部的眼睛被正规化的正规化脸部图像；

确定单元，该确定单元确定目标图像中包含的脸部的朝向；

眼睛检测单元，该眼睛检测单元检测所述目标图像中包含的脸部的眼睛；

正规化单元，该正规化单元基于所述眼睛检测单元检测出的眼睛来正规化所述目标图像以生成正规化目标图像；

变换参数存储单元，该变换参数存储单元以与所确定的脸部朝向相关联的方式存储变换参数，所述变换参数被用于

将所述注册脸部图像投影到三维模型的表面上，使得相对于所述注册脸部图像中包含的脸部的水平方向的中心线基本与三维模型的表面上的弯折线一致，其中所述三维模型的形状如下形成：在图像要被投影到的表面上的一个方向中的两端被向背面弯折，且所述三维模型在所述一个方向上的一部分被用作所述弯折线，相对于连接所述注册脸部图像中包含的脸部的眼睛的线段的中点旋转及平移所述三维模型，使得投影在所述三维模型的表面上的注册脸部图像中包含的脸部的眼睛的位置变为特定位置，以及

将投影在经旋转及平移后的三维模型的表面上的注册脸部图像投影到一个平面上以针对所确定的每种脸部朝向生成二维图像；

图像变换单元，该图像变换单元利用以与所述确定单元所确定的脸部的朝向相关联的方式存储的变换参数来由所述注册脸部图像生成所述二维图像；以及

识别单元，该识别单元通过将由所述图像变换单元生成的二维图像与所述正规化目标图像进行比较来识别所述目标图像中包含的脸部。

11.一种图像处理方法，包括以下步骤：

将包含脸部的至少一部分的注册脸部图像投影到三维模型的表面上，使得所述注册脸部图像中包含的脸部的水平方向基本与图像要被投影到的表面上的一个方向一致，其中所述三维模型的形状如下形成：所述三维模型在所述表面上的所述一个方向上的至少一部分被向正面弯折；

基于目标图像中包含的脸部的朝向来变换所述三维模型；

通过将投影在变换后的三维模型的表面上的注册脸部图像投影到一个平面上来生成二维图像；以及

通过将所生成的二维图像与所述目标图像进行比较来识别所述目标图像中包含的脸部。

Images