CN101228552B - 脸图像检测装置、脸图像检测方法 - Google Patents

Abstract

存储有关在作为脸部图像的检测对象的像素的周边像素中提取规定数的像素的不同的多个模板(12a～12c)的信息，通过使用存储的不同的多个模板(12a～12c)来提取像素，并使用提取了的像素的特征量来检测图像中的脸部图像，基于检测出的脸部图像来从图像中检测脸图像，从而提高脸图像的检测精度，同时缩短脸图像的检测处理所需的时间。

Description

脸图像检测装置、脸图像检测方法

技术领域

本发明涉及检测存在于图像中的脸图像的脸图像检测装置、脸图像检测方法和脸图像检测程序，特别涉及能够提高脸图像的检测精度，同时缩短脸图像的检测处理所需的时间的脸图像检测装置、脸图像检测方法和脸图像检测程序。 

背景技术

以往，在监视照相机系统等中，已知一种自动识别在由监视摄像机捕捉的图像中是否拍摄了人物的脸的脸图像检测技术。作为这样的脸图像检测技术的例子，有部分空间法的技术和Integral Image法的技术等。 

作为使用了部分空间法的脸图像检测技术的例子，有以下技术：使用部分空间来识别图像中的眼或鼻等脸部，进而为了吸收各脸部位置的个人差异而将各脸部的识别结果统一来计算脸的基准点，从而能够进行脸图像检测(参照专利文献1)。 

此外，作为使用了Integral Image法的脸图像检测技术的例子，有以下技术：在图像中设定多个矩形区域，通过比较各矩形区域中包含的所有像素的特征量的合计值来进行脸图像检测(参照专利文献2和非专利文献1)。 

专利文献1：(日本)特开2004-54442号公报 

专利文献2：(日本)特开2004-362468号公报 

非专利文献1：Paul Viola，Michael Jones，“Rapid Object Detection using aBoosted Cascade of Simple Features”，In Proceedings of IEEE Computer SocietyConference on Computer Vision and Pattern Recognition，Volume 1，pp.511-518，December 2001. 

发明内容

发明要解决的课题 

但是，在上述现有技术中，存在难以进一步缩短脸图像的检测处理所需 的时间，同时提高检测精度的问题。 

具体来说，在使用部分空间法的脸图像检测技术中，由于在识别脸部时需要对每个脸部应用处理复杂的部分空间法，因此处理时间变长。此外，由于通过仅将脸部的识别结果统一来计算脸的基准点，因此边缘部分多的图像等中，如果不是脸部的部分被误识别为脸部，则脸的检测精度降低。 

此外，在使用Integral Image法的脸图像检测技术中，为了缩短脸图像的检测处理所需的时间，计算特征量的合计值的矩形区域的面积被设定得比较大。但是，在阳光直射脸上的图像等中，如果矩形区域的面积大，则特征量的合计值由于直射日光的影响而较大变动，并且有可能不能正常进行脸图像检测。 

因此，开发能够提高脸的检测精度同时缩短检测处理所需的时间的技术仍然是重要的课题。 

本发明为了消除上述以往技术的问题点而完成，其目的在于提供一种能够提高脸图像的检测精度，同时缩短脸图像的检测处理所需的时间的脸图像检测装置、脸图像检测方法和脸图像检测程序。 

解决课题的手段 

为了解决上述课题并达到目的，技术方案1的发明的脸图像检测装置用于检测存在于图像中的脸图像，其特征在于，包括：提取图形存储部件，用于存储信息，该信息有关在作为脸部图像的检测对象的像素的周边像素中提取规定数的像素的不同的多个提取图形；脸部图像检测部件，通过使用在所述提取图形存储部件中存储的不同的多个提取图形来提取像素，并使用提取了的像素的特征量来检测图像中的脸部图像；以及脸图像检测部件，基于由所述脸部图像检测部件检测出的脸部图像来从所述图像中检测脸图像。 

此外，技术方案2的发明的脸图像检测装置的特征在于，在技术方案1的发明中，还包括提取图形学习部件，用于执行脸部图像的检测所使用的提取图形的机械学习，所述提取图形存储部件存储与由所述提取图形学习部件进行了机械学习的提取图形有关的信息。 

此外，技术方案3的发明的脸图像检测装置的特征在于，在技术方案1或2的发明中，所述脸部图像检测部件在使用某个提取图形进行了脸部图像的检测的情况下，将未检测出脸部图像时的检测对象的像素从使用下一个提取图形进行脸部图像的检测时的检测对象的像素中除外。 

此外，技术方案4的发明的脸图像检测装置的特征在于，在技术方案1、2或3的发明中，所述脸部检测部件执行判别分析，该判别分析使用提取的像素的特征量来判别图像是否为脸部图像，并基于该判别分析的结果来检测脸部图像。 

此外，技术方案5的发明的脸图像检测装置的特征在于，在技术方案1～4的任何一项的发明中，所述脸部图像检测部件计算图像中包含的图像图形的方向和强度，并将计算出的图像图形的方向和强度用作像素的特征量，从而检测图像中的脸部图像。 

此外，技术方案6的发明的脸图像检测装置的特征在于，在技术方案1～5的任何一项的发明中，所述脸图像检测部件基于由所述脸部图像检测部件检测出的脸部图像的位置，判定图像是否为脸图像，并基于判定结果从所述图像中检测脸图像。 

此外，技术方案7的发明的脸图像检测装置的特征在于，在技术方案6的发明中，所述脸图像检测部件基于由脸部检测部件检测出的脸部图像的位置，计算脸图像的代表点，并基于计算出的代表点和由所述脸部图像检测部件检测出的脸部图像的位置之间的位置关系，判定图像是否是脸图像。 

此外，技术方案8的发明的脸图像检测装置的特征在于，在技术方案7的发明中，所述脸图像检测部件以所述代表点为基准将图像分割为多个区域，并基于由所述脸部图像检测部件检测出脸部图像的情况下的脸部图像所位于的区域的信息，判定图像是否是脸图像。 

此外，技术方案9的发明的脸图像检测装置的特征在于，在技术方案8的发明中，所述脸图像检测部件执行判别分析，该判别分析使用脸部图像的检测对象的像素所位于的区域的信息来判别图像是否是脸图像，并基于该判别分析的结果来检测脸图像。 

此外，技术方案10的发明的脸图像检测方法，用于检测存在于图像中的脸图像，其特征在于，包括：提取图形存储步骤，用于存储信息，该信息有关在作为脸部图像的检测对象的像素的周边像素中提取规定数的像素的不同的多个提取图形；脸部图像检测步骤，通过使用在所述提取图形存储步骤中存储的不同的多个提取图形来提取像素，并使用提取了的像素的特征量来检测图像中的脸部图像；以及脸图像检测步骤，基于由所述脸部图像检测步骤检测出的脸部图像来从所述图像中检测脸图像。 

此外，技术方案11的发明的脸图像检测程序，用于检测存在于图像中的脸图像，其特征在于，使计算机执行以下步骤：提取图形存储步骤，用于存储信息，该信息有关在作为脸部图像的检测对象的像素的周边像素中提取规定数的像素的不同的多个提取图形；脸部图像检测步骤，通过使用在所述提取图形存储步骤中存储的不同的多个提取图形来提取像素，并使用提取了的像素的特征量来检测图像中的脸部图像；以及脸图像检测步骤，基于由所述脸部图像检测步骤检测出的脸部图像来从所述图像中检测脸图像。 

发明的效果 

根据技术方案1的发明，由于存储有关在作为脸部图像的检测对象的像素的周边像素中提取规定数的像素的不同的多个提取图形的信息，通过使用存储的不同的多个提取图形来提取像素，并使用提取了的像素的特征量来检测图像中的脸部图像，基于检测出的脸部图像来从图像中检测脸图像，所以起到以下效果，即通过控制提取的像素数能够高速进行脸部图像的检测处理，并且由此能够缩短脸图像的检测所需的时间，同时通过对检测脸图像时的基础的脸部图像进行多次检测，从而能够提高脸的检测精度。 

此外，根据技术方案2的发明，由于执行脸部图像的检测所使用的提取图形的机械学习，并存储与进行了机械学习的提取图形有关的信息，所以起到以下效果，即能够高效率地选择用于提取难以受到照明变动的部分的像素的提取图形等。 

此外，根据技术方案3的发明，由于在使用某个提取图形进行了脸部图像的检测的情况下，将未检测出脸部图像时的检测对象的像素从使用下一个提取图形进行脸部图像的检测时的检测对象的像素中除外，所以起到能够进一步缩短脸图像的检测处理所需的时间的效果。 

此外，根据技术方案4的发明，由于执行判别分析，该判别分析使用提取的像素的特征量来判别图像是否为脸部图像，并基于该判别分析的结果来检测脸部图像，所以能够起到以下效果，即能够高效率地判定图像是否为脸部图像，并且能够进一步缩短脸图像的检测处理所需的时间。 

此外，根据技术方案5的发明，由于计算图像中包含的图像图形的方向和强度，并将计算出的图像图形的方向和强度用作像素的特征量，从而检测图像中的脸部图像，所以能够起到以下效果，即通过将图像图形的方向和强度用作特征量，从而能够高精度地检测边缘等图像图形，并且能够提高脸部 图像的检测精度。 

此外，根据技术方案6的发明，由于基于检测出的脸部图像的位置，判定图像是否为脸图像，并基于判定结果从图像中检测脸图像，所以能够起到以下效果：即使将不是脸部图像的图像误检测为脸部图像的情况下，也能够适当地掌握，并且能够提高脸图像的检测精度。 

此外，根据技术方案7的发明，由于基于检测出的脸部图像的位置，计算脸图像的代表点，并基于计算出的代表点和检测出的脸部图像之间的位置关系，判定图像是否是脸图像，所以起到能够适当地检测代表图像中的脸图像的点的位置，并且能够提高脸图像的检测精度的效果。 

此外，根据技术方案8的发明，由于以代表点为基准将图像分割为多个区域，并基于检测出脸部图像的情况下的脸部图像所位于的区域的信息，判定图像是否是脸图像，从而检测脸图像，所以能够起到以下效果，即通过调查哪个区域中有脸部图像，从而即使将不是脸部图像的图像误检测为脸部图像的情况下，也能够适当且高效率地进行检测，并且能够提高脸图像的检测精度。 

此外，根据技术方案9的发明，由于执行判别分析，该判别分析使用脸部图像所位于的区域的信息来判别图像是否是脸图像，并基于该判别分析的结果来检测脸图像，所以能够起到高效率地判定图像是否为脸图像，并且能够提高脸图像的检测精度的效果。 

此外，根据技术方案10的发明，由于存储有关在作为脸部图像的检测对象的像素的周边像素中提取规定数的像素的不同的多个提取图形的信息，通过使用存储的不同的多个提取图形来提取像素，并使用提取了的像素的特征量来检测图像中的脸部图像，基于检测出的脸部图像来从图像中检测脸图像，所以起到以下效果，即通过控制提取的像素数能够高速进行脸部图像的检测处理，并且由此能够缩短脸图像的检测所需的时间，同时通过对检测脸图像时的基础的脸部图像进行多次检测，从而能够提高脸的检测精度。 

此外，根据技术方案11的发明，由于存储有关在作为脸部图像的检测对象的像素的周边像素中提取规定数的像素的不同的多个提取图形的信息，通过使用存储的不同的多个提取图形来提取像素，并使用提取了的像素的特征量来检测图像中的脸部图像，基于检测出的脸部图像来从图像中检测脸图像，所以起到以下效果，即通过控制提取的像素数能够高速进行脸部图像的检测 处理，并且由此能够缩短脸图像的检测所需的时间，同时通过对检测脸图像时的基础的脸部图像进行多次检测，从而能够提高脸的检测精度。 

附图说明

图1是说明本发明的脸图像检测处理的概念的图。 

图2是表示本实施例的脸图像检测装置的功能结构的图。 

图3是说明进行脸部图像的检测的情况下的脸部图像的检测对象像素的除外处理的图。 

图4是表示本实施例的脸图像检测处理的处理步骤的流程图。 

图5是表示图4的步骤S103所示的脸部图像的检测处理的处理步骤的流程图。 

图6是表示图2所示的图像处理装置的硬件结构的图。 

图7是说明用于判定在预测存在脸部图像的位置是否存在脸部图像的判定处理的图。 

符号说明 

10输入图像 

11a、11b、11c缩小图像 

12a、12b、12c模板 

13代表点 

14分割区域 

20输入单元 

21显示单元 

22学习处理单元 

23缩小放大图像生成单元 

24Gabor特征图像生成单元 

25模板选择单元 

26脸部图像检测单元 

27脸图像代表点计算单元 

28脸图像检测用特征量生成单元 

29脸图像检测处理单元 

30存储单元 

30a输入图像 

30b缩小放大图像 

30c Gabor特征图像 

30d模板信息 

30e脸部图像检测用线性判别式 

30f脸部图像判别结果 

30g代表点设定信息 

30h脸图像检测用线性判别式 

30i脸图像判别结果 

31控制单元 

40a、40b存在概率分布 

100键盘 

101显示器 

102ROM 

103介质读取装置 

104网络接口 

105CPU 

105a脸图像检测处理 

106HDD 

107HD 

107a脸图像检测程序 

107b各种数据 

108RAM 

108a各种数据 

109总线 

具体实施方式

以下，参照附图详细说明本发明的脸图像检测装置、脸图像检测方法和脸图像检测程序的优选的实施例。 

实施例 

首先，说明本发明的脸图像检测处理的概念。图1是说明本发明的脸图 像检测处理的概念的图。 

如图1所示，在该脸图像检测处理中，首先，由作为检测是否含有脸图像的对象的输入图像10生成缩小率不同的多个缩小图像11a～11c。另外，这里，说明生成缩小图像11a～11c的情况，在预先预测为输入图像10中包含的脸图像的大小小于规定的大小的情况下，生成放大率不同的多个放大图像。此外，在不能预测输入图像10中包含的脸图像的大小的情况下，缩小图像11a～11c和放大图像两者都被生成。这是因为可以将以下说明的模板12a～12c应用于图像。然后，通过线性判别分析来判定各图像中是否含有右眼、左眼、鼻、口的脸部图像。 

具体来说，对于图像中的各像素的像素值应用Gabor滤波器，并对每个像素计算边缘强度和边缘方向。然后，选择以成为脸部图像的检测对象的像素为中心的四边形的模板12a～12c，并取得上述成为检测对象的像素，以及该像素周边的规定数的像素中的边缘强度和边缘方向的信息。 

这里，作为成为脸部图像的检测对象的像素周边的像素，对应于四边形的四角的点的像素和对应于四边形各边的中点的像素被提取，与成为检测对象的像素一并取得合计9个像素中的边缘强度和边缘方向的信息。此外，使用的模板12a～12c被进行了机械学习，以使照明变动少的脸部分的像素被选择。 

然后，执行线性判别分析，即使用取得的9个像素中的边缘强度和边缘方向的信息，判别与成为脸部图像的检测对象的像素对应的图像部分是否为脸部图像。 

具体来说，对判别图像是否为脸部图像的线性判别式中输入边缘强度和边缘方向的值来计算判别得分(score)，并基于该判别得分的值进行上述判别。 

这样，由于使用9个像素的信息来判定图像是否为脸部图像，所以能够高速地执行脸部的检测，此外，通过捕捉9个像素之间的边缘图像的变化，从而能够适当地进行脸部的检测。 

另外，准备多种纵横长度不同的模板12a～12c，使用这样的多个模板12a～12c进行脸部图像的检测，从而提高脸部图像的检测精度。 

此外，这里，将模板12a～12c的形状设为四边形，但不限于四边形，也可以采用椭圆形和圆形等形状。但是，如果使模板12a～12c的形状依赖于特定人的眼等脸部形状则其他人的脸部检测精度可能变差，所以最好使模板 12a～12c的形状成为不依赖于脸部形状的形状。 

进而，取得边缘强度和边缘方向的信息的像素数不限于9个。如果增加像素数则脸部图像的检测精度提高，如果减少像素数则脸部图像的处理速度减小。从而，通过适当地设定该像素数，从而能够调整检测精度和处理速度的平衡。 

此外，使用某个模板12a～12c进行了脸部图像的检测处理时，在判定为不是脸部图像的情况下，将作为脸部图像的检测对象的图像，从使用其它的模板12a～12c进行的脸部图像的检测的检测对象的像素中除外。由此，能够大幅度地缩小脸部图像的检测处理所需的时间，并且由此能够缩短脸图像检测处理的处理时间。 

在通过上述处理检测了各脸部图像的情况下，基于检测出的各脸部图像的位置，决定代表脸图像的位置的代表点13。具体来说，从使用各模板12a～12c检测了脸部图像的检测对象的像素来看，预先设定脸图像的代表点13存在的方向和距离(像素数)。 

然后，基于该方向和距离的设定信息，从各脸部图像的位置计算脸图像的代表点13的位置的分布，并通过求该分布的峰值来决定脸图像的代表点13。 

脸的代表点13决定后，以该代表点13为中心将图像以规定的像素数进行划分，并分割为9个分割区域14。具体来说，设定各分割区域14的范围，以使右眼、左眼、鼻子、口的四个脸部图像分别包含在左上、右上、中央、中央下的分割区域14中。 

如果这样设定各分割区域14的范围，则在图像为脸图像的情况下脸部图像存在于规定的位置而在其它的位置应该没有，因此通过确认该情况，在不是脸部图像的图像被错误地检测为脸部图像的情况下，可以判定图像不是脸图像，并且能够提高脸图像检测的精度。 

具体来说，计算位于各分割区域14的右眼、左眼、鼻子、口的四个脸部图像的判别得分的合计值，并由该合计值来生成用于判定图像是脸还是脸以外的36维(9区域×4脸部)的特征量。 

然后，使用生成的特征量进行用于判定图像是脸图像还是脸图像以外的36维的线性判别分析。具体来说，对线性判别式输入特征量来计算判别得分，并在该判别得分大于规定的阈值的情况下，判定图像为脸图像。 

通过用上述这样的方法进行脸图像检测处理，从而能够将脸图像的检测所需的时间缩短为以往的十分之一左右，并且在边缘多的(高频分量多的)图像中能够将脸图像的检测精度提高到以往的10倍左右。 

接着，说明本实施例的脸图像检测装置的功能结构。图2是表示本实施例的脸图像检测装置的功能结构的图。 

如图2所示，该脸图像检测装置具有输入单元20、显示单元21、学习处理单元22、缩小放大图像生成单元23、Gabor特征图像生成单元24、模板选择单元25、脸部图像检测单元26、脸图像代表点计算单元27、脸图像检测用特征量生成单元28、脸图像检测处理单元29、存储单元30和控制单元31。 

输入单元20是键盘和鼠标等输入装置。显示单元21是显示器等显示装置。学习处理单元22是学习在检测脸部图像时适合图像的模板12a～12c是哪个的处理单元。具体来说，该学习处理单元22使用推进算法(boostingalgorithm)来学习能够提取照明变动少的像素等的模板12a～12c是哪个。 

缩小放大图像生成单元23是在接受了输入图像10的情况下，生成将该输入图像10以不同的缩小率缩小后的多个缩小图像11a～11c或以不同的放大率放大后的多个放大图像的生成单元。具体来说，缩小放大图像生成单元23通过进行线性插补，从而生成多个缩小图像11a～11c或放大图像。这里，将输入图像10缩小或放大通过使用的模板12a～12c的大小和输入图像10中包含的脸图像的预测的大小的关系来决定。例如，使用的模板12a～12c的大小为纵横20像素左右，预测的脸图像的大小为纵横20像素以下的情况下，缩小放大图像生成单元23生成输入图像10的放大图像。在不能预测脸图像的大小的情况下，缩小放大图像生成单元23生成缩小图像11a～11c和放大图像两者。 

Gabor特征图像生成单元24是对于由缩小放大图像生成单元23生成的各图像应用Gabor滤波器，并生成Gabor特征图像的生成单元。具体来说，Gabor特征图像生成单元24从图像中选择7像素见方的区域，通过对区域的每90度的四个方向应用Gabor滤波器，从而生成Gabor特征图像。另外，7像素见方的大小是假设在脸图像的大小为24像素见方时图像的右眼和左眼离开12像素左右而设定的。 

这里，Gabor滤波器，表示为 

[算式1] 

$g_k=\exp \{-\frac{1}{2}(\frac{x^2}{{\mathrm{\σ}}_1^2}+\frac{y^2}{{\mathrm{\σ}}_2^2})\}\exp \left\{\frac{\mathrm{j\π}}{\mathrm{\λ}}\left(\begin{array}{ccc}x& \cos \mathrm{\θ}+y& \sin \mathrm{\θ}\end{array}\right)\right\}...\left(1\right)$

$\mathrm{\θ}=\frac{\mathrm{\π}}{2}k,$ k＝0～3 

此外，j是虚数单位，θ是方向(角度)，λ是波长，σ₁、σ₂是比例(scale)，k是每90度的四个方向。 

Gabor特征图像生成单元24计算Gabor滤波器的实部g_k ^real和虚部g_k ^imag 的值，从这些值对图像中的各像素计算由以下所示的5维的要素V₁～V₅所构成的特征量，从而生成Gabor特征图像。 

这里，上述特征量的第1维的要素V₁表示为 

[算式2] 

$V_1=\sqrt{\underset{k}{\mathrm{\Σ}}{\left|g_k\right|}^2}$

$=\sqrt{\underset{k}{\mathrm{\Σ}}\{{\left({g_k}^{\mathrm{real}}\right)}^2+{\left({g_k}^{\mathrm{imag}}\right)}^2\}},k=0~3...\left(2\right)$

该第1维的要素V₁是表示图像中包含的边缘的强度的量。 

此外，从第2维～第5维的要素V₂～V₅表示为 

[算式3] 

$V_{k+2}=\frac{\left|g_k\right|}{\sqrt{\underset{k}{\mathrm{\Σ}}{\left|g_k\right|}^2}}$

$=\frac{\sqrt{{\left({g_k}^{\mathrm{real}}\right)}^2+{\left({g_k}^{\mathrm{imag}}\right)}^2}}{\sqrt{\underset{k}{\mathrm{\Σ}}\{{\left({g_k}^{\mathrm{real}}\right)}^2+{\left({g_k}^{\mathrm{imag}}\right)}^2\}}},k=0~3...\left(3\right)$

该第2维到第5维的要素是表示图像中包含的边缘的方向的量。 

模板选择单元25是在检测脸部图像时，使用由学习处理单元22学习的结果来选择多个适于图像的模板12a～12c的选择单元。脸部图像检测单元26是使用由模板选择单元25选择的模板12a～12c来检测脸部图像的检测单元。 

具体来说，脸部图像检测单元26使用最初的模板12a～12c将图像的像素各选择9点，并执行线性判别分析，即基于与这些像素对应的Gabor特征图像的边缘强度和边缘方向的信息判别图像是否为脸部图像。 

该线性判别分析所使用的线性判别式表示为 

[算式4] 

$z=\underset{i}{\mathrm{\Σ}}{a}_i{w}_i+a_0...\left(4\right)$

这里，a₀、a_i是系数，w_i是代入了由模板12a～12c选择的9点中的5维的特征量V₁～V₅的值的变量，i取1至45(9点×5维)的值。 

线性判别式的系数a_i被预先计算出，以便能够适当地判别图像是否为脸部图像。对该线性判别式中代入9点的5维的特征量V₁～V₅的值时的z的值(判别得分)越大，则判定图像是脸部图像的概率越高。 

而且，脸部图像检测单元26对脸部图像的检测对象的每个像素计算将使用的模板12a～12c的权重和判别得分相乘后的值，并设定为核对值，在核对值小于规定的阈值的情况下，判定为图像不是脸部图像。 

在核对值大于规定的阈值的情况下，脸部图像检测单元26使用下一个模板12a～12c来计算判别得分，将使用的模板12a～12c的权重和判别得分相乘的值与上述核对值相加后设定为新的核对值。这里，在核对值小于规定的阈值的情况下，脸部图像检测单元26判定图像不是脸部图像。 

此外，脸部图像检测单元26在判定图像不是脸部图像并使用下一个模板12a～12c重新进行脸部图像的检测的情况下，将判定为图像不是脸部图像时的脸部图像的检测对象像素从使用下一个模板12a～12c进行脸部图像的检测时的检测对象像素中除外。 

图3是说明进行脸部图像的检测时的脸部图像的检测对象像素的除外处理的图。图3中表示了检测右眼的图像的情况下的例子，但检测其它的脸部图像的情况下也同样进行检测对象像素的除外处理。 

如图3所示，脸部图像检测单元26在应用最初的模板12a～12c的情况下，将所有的像素的掩码(mask)值设定为“1”，并将所有的像素作为检测右眼的图像时的检测对象像素。 

然后，脸部图像检测单元26在应用最初的模板12a～12c进行了右眼的图像检测的结果，将判定为不是右眼图像时的检测对象像素的掩码值设定为“0”，并进行从使用下一个模板12a～12c进行右眼的图像检测时的检测对象像素中将该像素除外的处理。 

返回图2的说明，脸图像代表点计算单元27是根据由脸部图像检测单元26检测出的各脸部图像的位置来计算代表脸图像的位置的代表点13的位置的计算单元。 

具体来说，脸图像代表点计算单元27从使用各模板12a～12c检测了各脸部图像时的检测对象像素来看，取得与设定了脸图像的代表点13在哪个方向上位于几个像素的距离的代表点有关的设定信息。 

然后，脸图像代表点计算单元27基于该代表点有关的信息和各脸部图像的位置信息，计算脸图像的代表点13的位置的分布，并通过求规定的阈值以上的点从而决定脸图像的代表点13的位置。 

脸图像检测用特征量生成单元28是生成在通过线性判别分析从图像中检测脸图像时所使用的特征量的生成单元。具体来说，脸图像检测用特征量生成单元28以由脸图像代表点计算单元27计算的代表点13为中心，以规定的像素数对图像进行划分，从而将图像分割为9个分割区域14。 

然后，脸图像检测用特征量生成单元28对检测出脸部图像的检测对象像素所位于的每个分割区域14计算通过应用各模板12a～12c所得到的每个脸部图像的核对值的合计值，并由该合计值生成用于判定图像是脸图像还是脸图像以外的36维(9区域×右眼、左眼、鼻子、口的四个脸部)的特征量。 

脸图像检测处理单元29是使用由脸图像检测用特征量生成单元28生成的36维的特征量进行36维的线性判别分析，从而从图像中检测脸图像的处理单元。 

另外，该线性判别分析所使用的线性判别式与算式(4)同样。其中，这时a₀、a_i是为了能够适当判定图像是否为脸图像而预先计算的系数，w_i是代入了36维的特征量的各值的变量，i取1至36的值。 

存储单元30是硬盘装置等存储装置。该存储单元30存储输入图像30a、缩小放大图像30b、Gabor特征图像30c、模板信息30d、脸部图像检测用线性判别式30e、脸部图像判别结果30f、代表点设定信息30g、脸图像检测用线性判别式30h和脸图像判别结果30i等各数据。 

输入图像30a是作为检测脸图像的对象的图像。缩小放大图像30b是从输入图像30a生成的缩小率或放大率不同的多个图像。该缩小放大图像30b对应于图1等中说明的缩小图像11a～11c或放大图像。Gabor特征图像30c是由通过对缩小放大图像30b应用Gabor滤波器而得到的各像素5维的特征信息所组成的图像。 

模板信息30d是检测脸部图像时所利用的模板12a～12c的信息。具体来说，模板信息30d是对于脸部图像的检测对象像素检测脸部图像时所提取的 8个像素的相对位置的信息，以及各模板12a～12c的权重信息。 

脸部图像检测用线性判别式30e是检测脸部图像时所使用的线性判别式的信息。脸部图像判别结果30f存储了检测出脸部图像时的线性判别分析的结果的信息。具体来说，脸部图像判别结果30f存储了检测出通过线性判别分析所检测出的各脸部图像的检测对象像素的位置信息或使用的模板的信息12a～12c、判别得分、核对值的信息等。 

代表点设定信息30g存储了各脸部图像和脸图像的代表点13之间的位置关系的设定信息。具体来说，代表点设定信息30g对各脸部存储了信息，该信息设定了从检测出脸部图像时的检测对象的像素来看时的代表点13所存在的方向和距离(像素数)。 

脸图像检测用线性判别式30h是检测脸图像时所使用的线性判别式的信息。脸图像判别结果30i存储了检测脸图像时的线性判别分析的结果的信息。具体来说，脸图像判别结果30i存储了脸图像的代表点13的位置信息和通过线性判别分析判别了图像是否为脸图像的情况下的判别得分的信息等。 

控制单元31是对脸图像检测装置进行整体控制的控制单元，掌管脸图像检测装置的各功能单元之间的数据交接。 

接着，说明本实施例的脸图像检测处理的处理步骤。图4是表示本实施例的脸图像检测处理的处理步骤的流程图。 

如图4所示，首先，脸图像检测装置的缩小放大图像生成单元23接受进行脸图像的检测的图像输入(步骤S101)，并从接受的图像生成缩小率不同的多个缩小图像11a～11c(步骤S102)。另外，这里，以缩小放大图像生成单元23生成缩小图像11a～11c的情况为例进行了记载，但缩小放大图像生成单元23生成放大图像的情况，或者生成缩小图像11a～11c和放大图像两者的情况也进行与以下说明的处理同样的处理。 

接着，Gabor特征图像生成单元24、模板选择单元25以及脸部图像检测单元26进行以下处理：对缩小率不同的多个缩小图像11a～11c应用多个模板12a～12c，通过线性判别分析来计算核对值，并检测右眼、左眼、鼻子、口的各脸部图像(步骤S103)。在图5中详细说明该脸部图像的检测处理。 

然后，脸图像代表点计算单元27从由Gabor特征图像生成单元24、模板选择单元25以及脸部图像检测单元26检测出的脸部图像的位置来计算脸图像的代表点13的位置(步骤S104)。 

接着，脸图像检测用特征量生成单元28以由脸图像代表点计算单元27计算出的代表点13为中心以规定的像素数将图像进行划分，从而将图像分割为9个分割区域14，对检测出脸部图像的检测对象像素所位于的每个分割区域14计算每个脸部图像的核对值的合计值，并从该合计值生成用于判定图像是脸图像还是脸图像以外的36维的特征量(步骤S105)。 

然后，脸图像检测处理单元29执行脸图像检测处理，即通过使用36维的特征量的线性判别分析从图像中检测脸图像(步骤S106)，并输出脸图像的检测结果(步骤S107)，从而结束该脸图像检测处理。 

接着，说明图4的步骤S103所示的脸部图像的检测处理的处理步骤。图5是表示图4的步骤S103所示的脸部图像的检测处理的处理步骤的流程图。 

如图5所示，首先，Gabor特征图像生成单元24使用算式(2)和算式(3)，生成各像素由5维的要素构成的Gabor特征图像(步骤S201)。然后，脸部图像检测单元26首先设定用于检测图像的脸部(步骤S202)。 

接着，脸部图像检测单元26将图像的所有像素的掩码值初始化为“1”，以将所有的像素作为检测脸部图像的检测对象像素(步骤S203)。然后，模板选择单元25基于由学习处理单元学习的结果，选择适于从输入图像10检测脸部图像的模板12a～12c(步骤S204)。 

然后，脸部图像检测单元26选择一个用于检测脸部图像的对象像素(步骤S205)，并调查选择的像素的掩码值是否为“1”(步骤S206)。 

在掩码值为“1”的情况下(步骤S206：是)，脸部图像检测单元26使用由模板12a～12c指定的像素的Gabor特征图像中的5维的特征量执行线性判别分析(步骤S207)，并从判别得分和各模板12a～12c的权重来计算用于判定图像是否为脸部图像的核对值(步骤S208)。 

然后，脸部图像检测单元26调查核对值是否为规定的阈值以上(步骤S209)，在合计值为规定的阈值以上的情况下(步骤S209：是)，判定图像为脸部图像(步骤S210)，并存储检测出该脸部图像的检测对象像素的位置、判别得分、核对值等信息(步骤S211)。 

然后，脸部图像检测单元26调查所有像素是否通过被选择而完成了图像的扫描(步骤S214)。在步骤S209中，在核对值不是规定的阈值以上的情况下(步骤S209：否)，脸部图像检测单元26判定图像不是脸部图像(步骤S212)，并将该像素的掩码值设定为“0”，以将检测对象像素从检测脸部图像的对象 像素中除外(步骤S213)，并就此转移到步骤S214。 

此外，在步骤S206中，在选择的像素的掩码值不是“1”的情况下(步骤S206：否)，就此转移到步骤S214。在步骤S214中，在图像的扫描未完成的情况下(步骤S214：否)，脸部图像检测单元26选择检测脸部图像的下一个检测对象像素(步骤S215)，并转移到步骤S206，从而继续进行以后的处理。 

在图像的扫描完成的情况下(步骤S214：是)，脸部图像检测单元26调查是否使用了所有的模板12a～12c(步骤S216)。 

在未使用所有的模板12a～12c的情况下(步骤S216：否)，模板选择单元25选择下一个模板12a～12c(步骤S217)，并转移到步骤S205，从而继续进行此后的处理。 

在使用了所有的模板12a～12c的情况下(步骤S216：是)，脸部图像检测单元26调查是否完成了所有的脸部图像的检测处理(步骤S218)。 

然后，在不是所有的脸部图像的检测处理都完成了的情况下(步骤S218：否)，脸部图像检测单元26设定下一个检测图像的脸部(步骤S219)，并转移到步骤S203，从而继续执行此后的处理。在所有的脸部图像的检测处理完成了的情况下(步骤S218：是)，结束该脸部图像的检测处理。 

接着，说明图2所示的脸图像检测装置的硬件结构。图6是表示图2所示的图像处理装置的硬件结构的图。如图6所示，该脸图像检测装置的结构为通过总线109连接了以下的器件：键盘100、显示器101、ROM(Read OnlyMemory)102、从记录了各种程序的记录介质读取程序的介质读取装置103、经由网络在与其它的计算机之间进行数据的交接的网络接口104、CPU(Central Processing Unit)105、HDD(Hard Disk Drive)106以及RAM(RandomAccess Memory)108。 

HDD106进行存储和读出控制的记录介质即HD(Hard Dick)107中，存储通过由计算机执行本实施例所示的脸图像检测方法而实现的脸图像检测程序107a，在执行时从HD107中读出脸图像检测程序107a之后，由CPU105进行解析，并进行脸图像检测处理105a的执行。 

该脸图像检测处理105a对应于图2所示的学习处理单元22、缩小放大图像生成单元23、Gabor特征图像生成单元24、模板选择单元25、脸部图像检测单元26、脸图像代表点计算单元27、脸图像检测用特征量生成单元28、 脸图像检测处理单元29的各功能。 

此外，HD107中存储各种数据107b，在执行脸图像检测程序107a时，各种数据107b存储在RAM108中，存储在RAM108中的各种数据108a由CPU105参照。 

该各种数据107b对应于图2所示的输入图像30a、缩小放大图像30b、Gabor特征图像30c、模板信息30d、脸部图像检测用线性判别式30e、脸部图像判别结果30f、代表点设定信息30g、脸图像检测用线性判别式30h和脸图像判别结果30i等各种数据。 

如上所述，在本实施例中，脸图像检测装置的存储单元30存储与作为脸部图像的检测对象的像素的周边像素中提取规定数的像素的不同的多个模板12a～12c相关的信息，脸部图像检测单元26通过使用存储单元30中存储的多个不同的模板12a～12c来提取像素，并使用提取的像素的特征量来检测图像中的脸部图像，脸图像检测单元29基于由脸部检测单元26检测出的脸部图像，从图像中检测脸图像，所以通过控制提取的像素数从而能够高速地进行脸部图像的检测处理，由此，能够缩短脸图像的检测所需的时间，同时通过多次检测成为检测脸图像时的基础的脸部图像，从而能够提高脸的检测精度。 

此外，在本实施例中，学习处理单元22执行用于检测脸部图像的模板12a～12c的机械学习，存储单元30存储被进行了机械学习的模板12a～12c的信息，所以能够有效率地选择对难以受到照明变动的部分的像素进行提取的提取图形等。 

此外，在本实施例中，脸部图像检测单元26在使用某个模板12a～12c进行了脸部图像的检测的情况下，将未检测出脸部图像的像素，从使用下一个模板12a～12c进行脸部图像的检测时的检测对象的像素中除外，所以能够进一步缩短脸图像的检测处理所需的时间。 

此外，在本实施例中，脸部图像检测单元26执行判别分析，即用采用模板12a～12c提取的像素的特征量判别图像是否为脸部图像，并基于该判别分析的结果检测脸部图像，所以能够有效率地判定图像是否为脸部图像，并且能够进一步缩短脸图像的检测处理所需的时间。 

此外，在本实施例中，Gabor特征图像生成单元24计算输入图像10中含有的边缘等图像图形的方向和强度，脸部图像检测单元26通过将由Gabor 特征图像生成单元24计算出的图像图形的方向和强度用作像素的特征量，从而检测图像中的脸部图像，所以通过将图像图形的方向和强度用作特征量从而能够高精度地检测边缘等图形，并且能够提高脸部图像的检测精度。 

此外，在本实施例中，脸图像检测处理单元29基于由脸部图像检测单元26检测出的脸部图像的位置，判定图像是否为脸图像，并基于判定结果从图像中检测脸图像，所以即使不是脸部图像的图像被误检测为脸部图像的情况下，也能够适当地掌握，并且能够提高脸图像的检测精度。 

此外，在本实施例中，脸图像代表点计算单元27基于由脸部图像检测单元26检测出的脸部图像来计算脸的代表点13，脸图像检测处理单元29基于由脸图像代表点计算单元27计算的代表点13和由脸部图像检测单元26检测出的脸部图像之间的位置关系，判定图像是否为脸图像，所以能够适当地检测出代表图像中的脸图像的点的位置，并且能够提高脸图像的检测精度。 

此外，在本实施例中，脸图像检测用特征量生成单元28以代表点13为基准将图像分割为多个分割区域14，脸图像检测处理单元29基于检测出脸部图像时的脸部图像所位于的分割区域14的信息来判定图像是否为脸图像，从而检测脸图像，所以通过调查脸部图像的检测对象的像素位于哪个分割区域14中，从而即使不是脸部的图像被误检测为脸部的情况下也能够适当地检测，并且提高脸图像的检测精度。 

此外，在本实施例中，脸图像检测处理单元29执行判别分析，即使用脸部图像所位于的分割区域14的信息判别图像是否为脸图像，并基于该判别分析的结果检测脸图像，所以能够有效率地判定图像是否为脸图像，并且能够提高脸图像的检测精度。 

目前为止说明了本发明的实施例，但本发明在上述实施例以外，在专利请求的范围所记载的技术思想的范围内，也可以通过各种不同的实施例来实施。 

例如，在上述实施例中，将图像分割为9个分割区域14，并调查脸部图像由哪个分割区域14所检测到，从而判定图像是否为脸图像，但本发明不限定于此，也可以通过判定在预测存在脸部图像的位置是否存在脸部图像，从而判定图像是否为脸图像。 

图7是说明判定在预测存在脸部图像的位置是否存在脸部图像的判定处理的图。如图7所示，在该判定处理中，预先以脸的代表点13的位置为基准， 学习预测为存在脸部图像的分布(图7所示的存在概率分布40a、40b)。 

然后，脸图像检测处理单元29在脸部图像的位置包含在该分布中的阈值以上的范围中的情况下，判定脸部处于适当的位置。脸图像检测处理单元29对所有的脸部进行该判定处理，并在判定为所有的脸部图像位于适当的位置的情况下，判定图像为脸图像。 

在本例中，脸图像检测处理单元29基于脸部图像和代表点13之间的位置关系，判定图像是否为脸图像，所以通过调查脸部图像相对于代表点13处于何种位置关系，从而即使将不是脸部图像的图像误检测为脸部图像的情况下，也能够适当地检测，并且能够提高脸图像的检测精度。 

此外，在上述实施例中，通过进行线性判别分析来检测脸部图像或脸图像，但本发明不限于此，也可以使用其它的统计方法执行脸部图像或脸图像的检测。作为其它统计方法，例如，可举出使用了非线性判别分析或支持向量机(Support Vector Machine(SVM))法、神经网络法、部分空间法等的脸部图像或脸图像的识别方法。 

此外，在本实施例中说明的各处理中，作为自动被进行的处理而说明的全部或一部分处理也可以手动进行，或者作为手动被进行的处理而说明的全部或一部分处理也可以通过公知的方法自动进行。此外，包含上述书面和附图中所示的处理步骤、控制步骤、具体的名称、各种数据和参数的信息除了特定的情况可以任意的变更。 

此外，图示的脸图像检测装置的各构成要素是功能概念，不一定在物理上如图示这样构成。即，脸图像检测装置的分散/统一的具体方式不限于图示，可以根据各种负荷或使用状况等，将其全部或一部分以任意单位在功能上或物理上分散/统一而构成。 

进而，由脸图像检测装置进行的各处理功能的全部或任意一部分通过CPU或由该CPU解析执行的程序来实现，或者可以作为布线逻辑的硬件来实现。 

另外，本实施方式中说明的脸图像检测方法可以通过由个人计算机或工作站等计算机执行预先准备的程序来实现。 

该程序可以通过因特网等网络散布。此外，该程序可以记录在可由硬盘、软盘(FD)、CD-ROM、MO、DVD等计算机可读取的记录介质中，并通过由计算机从记录介质中读取从而执行。 

产业上的可利用性 

以上，本发明的脸图像检测装置、脸图像检测方法和脸图像检测程序对于需要提高脸图像的检测精度，同时缩短脸图像的检测处理所需时间的脸图像检测系统有用。 

Claims (10)

1.一种脸图像检测装置，用于检测存在于图像中的脸图像，其特征在于，包括：

提取图形存储部件，用于存储信息，该信息有关在作为脸部图像的检测对象的像素的周边像素中用于提取规定数的像素的不同的多个提取图形；

脸部图像检测部件，对于作为所述脸部图像的检测对象的一个像素，通过使用在所述提取图形存储部件中存储的不同的多个提取图形来提取像素，并对每个脸部进行使用按每个提取图形提取了的像素的特征量来检测图像中的脸部图像的处理；以及

脸图像检测部件，基于由所述脸部图像检测部件检测出的脸部图像来从所述图像中检测脸图像。

2.如权利要求1所述的脸图像检测装置，其特征在于，

还包括提取图形学习部件，用于执行脸部图像的检测所使用的提取图形的机械学习，从而学习适合图像的提取图形是哪个，

所述提取图形存储部件存储与由所述提取图形学习部件进行了机械学习的提取图形有关的信息。

3.如权利要求1或2所述的脸图像检测装置，其特征在于，

所述脸部图像检测部件在使用某个提取图形进行了脸部图像的检测的情况下，将未检测出脸部图像时的检测对象的像素，从使用下一个提取图形进行脸部图像的检测时的检测对象的像素中除外。

4.如权利要求1、2或3所述的脸图像检测装置，其特征在于，

脸部检测部件执行判别分析，该判别分析使用提取的像素的特征量来判别图像是否为脸部图像，并基于该判别分析的结果来检测脸部图像。

5.如权利要求1～4的任何一项所述的脸图像检测装置，其特征在于，

所述脸部图像检测部件计算图像中包含的图像图形的方向和强度，并将计算出的图像图形的方向和强度用作像素的特征量，从而检测图像中的脸部图像。

6.如权利要求1～5的任何一项所述的脸图像检测装置，其特征在于，

所述脸图像检测部件基于由所述脸部图像检测部件检测出的脸部图像的位置，判定图像是否为脸图像，并基于判定结果从所述图像中检测脸图像。 

7.如权利要求6所述的脸图像检测装置，其特征在于，

所述脸图像检测部件基于由脸部检测部件检测出的脸部图像的位置，计算脸图像的代表点，并基于计算出的代表点和由所述脸部图像检测部件检测出的脸部图像之间的位置关系，判定图像是否是脸图像。

8.如权利要求7所述的脸图像检测装置，其特征在于，

所述脸图像检测部件以所述代表点为基准将图像分割为多个区域，并基于由所述脸部图像检测部件检测出脸部图像的情况下的脸部图像所位于的区域的信息，判定图像是否是脸图像，从而检测脸图像。

9.如权利要求8所述的脸图像检测装置，其特征在于，

所述脸图像检测部件执行判别分析，该判别分析使用脸部图像所位于的区域的信息来判别图像是否是脸图像，并基于该判别分析的结果来检测脸图像。

10.一种脸图像检测方法，用于检测存在于图像中的脸图像，其特征在于，包括：

提取图形存储步骤，用于存储信息，该信息有关在作为脸部图像的检测对象的像素的周边像素中用于提取规定数的像素的不同的多个提取图形；

脸部图像检测步骤，对于作为所述脸部图像的检测对象的一个像素，通过使用在所述提取图形存储步骤中存储的不同的多个提取图形来提取像素，并对每个脸部进行使用按每个提取图形提取了的像素的特征量来检测图像中的脸部图像的处理；以及

脸图像检测步骤，基于由所述脸部图像检测步骤检测出的脸部图像来从所述图像中检测脸图像。 

Images