CN104573623B - 人脸检测装置、方法 - Google Patents

Abstract

提供能够提高人脸的模型的精度的人脸检测装置、方法。本发明的一个实施方式所涉及的人脸检测装置(1)具备：拍摄部(2)，拍摄出包括人脸的图像；位置检测部(11)，从图像中检测人脸器官的位置；初始状态决定部(12)，基于人脸器官的位置而决定模型的初始状态；以及模型拟合部(13)，使用模型的初始状态，基于图像而生成人脸的模型。初始状态决定部使用由位置检测部所取得的眼睛位置及鼻子位置来决定人脸位置及人脸角度，并基于人脸位置及人脸角度而决定模型的初始状态。

Description

人脸检测装置、方法

技术领域

本发明涉及根据所拍摄到的图像检测人脸的位置、朝向的人脸检测装置、方法。

背景技术

近年来，对所拍摄到的静态图像或动态图像中包括的人脸的位置及朝向、以及眼睛及嘴等人脸器官(构成人脸的器官)的状态进行检测的人脸检测技术的开发正在进展。例如，在车辆中，能够通过进行驾驶员的人脸检测，来检知心不在焉地开车、打瞌睡开车，并进行警告等的规定的动作。

在非专利文献l中公开了如下的人脸检测技术(ASM：Active Shape Model；主动形状模型，AAM：Active Appearance Model；主动外观模型)：使用最速下降法等使统计性的人脸形状模型适合图像中的人脸、即进行模型拟合，由此生成图像中的人脸的模型。通过使用该技术使图像中的人脸模型化，由此能够推定人脸的朝向、人脸器官的状态，另外通过随时间推移地更新(追踪)模型，由此能够监视人脸及人脸器官的时间变化。

非专利文献

非专利文献1：Stan Z.Li.Anil K.Jain，“Handbook of Face Recognition”，Springer.2011年，p.124-133

在非专利文献1所记载的技术中，模型拟合的精度根据模型的初始状态、即最初将模型配置在图像的何处并设定怎样的角度、形状而受到较大的影响。模型的初始状态大大偏离实际的人脸的状态时，存在使模型适合实际的人脸所用的模型拟合的计算落入局部最优解从而模型偏离实际的人脸而收敛的情况。将该情况称为误拟合，在发生误拟合时，人脸的模型的精度降低。尤其是，容易出现模型的眼睛的位置错误地收敛在眼镜的框或眉毛的位置的情况。

发明内容

本发明是为了解决上述的问题点而做出的，目的在于，提供能够使人脸的模型的精度提高的人脸检测装置、方法。

本发明的一个形态是一种检测装置，用于根据由拍摄部拍摄的包括人脸的图像进行人脸检测，所述检测装置的特征在于，具备：位置检测部，从所述图像中检测所述人脸的人脸器官的位置；初始状态决定部，基于所述人脸器官的所述位置而决定模型的初始状态；以及模型拟合部，使用所述模型的初始状态，基于所述图像而生成所述人脸的模型。

本发明的一个形态是人脸检测方法，其特征在于，具备：从拍摄单元取得包括人脸的图像的步骤；位置检测单元从所述图像中检测所述人脸的人脸构成的位置的步骤；初始状态决定单元基于所述人脸构成的所述位置而决定模型的初始状态的步骤；以及模型拟合单元使用所述模型的初始状态、基于所述图像而生成所述人脸的模型的步骤。

发明的效果

本发明使用从包括人脸的图像检测的人脸器官的位置来决定初始状态，因此能够使模型的初始状态为接近实际的人脸的状态。并且，使用该初始状态进行人脸的模型的生成，因此能够抑制模型的误拟合，并且能够使计算较快递收敛而缩短处理时间。

附图说明

图1是本发明的一实施方式所涉及的车辆的车厢的示意图。

图2是本发明的一实施方式所涉及的人脸检测装置的概略框图。

图3是本发明的一实施方式所涉及的人脸检测装置的功能框图。

图4A、4B是用于对模型及模板进行说明的示意图。

图5A～5D是用于对模型拟合前后的模型的状态进行说明的示意图。

图6是对本发明的一实施方式所涉及的人脸检测处理的流程进行表示的图。

图7是对本发明的一实施方式所涉及的眼睛位置检测处理的流程进行表示的图。

图8A～8C是对本发明的一实施方式所涉及的眼睛位置检测方法进行表示的示意图。

图9是对本发明的一实施方式所涉及的初始状态决定处理的流程进行表示的图。

图10是对人脸角度的定义进行表示的示意图。

图11A～11C是对本发明的一实施方式所涉及的角度算出方法进行表示的示意图。

图12A、12B是对本发明的一实施方式所涉及的模型的初始状态设定方法进行表示的示意图。

附图标记说明

1 人脸检测装置

2 拍摄部

3 A/D变换部

4 接口(I/F)

5 ROM

6 RAM

7 输出部

8 运算部(CPU)

9 存储部

11 位置检测部

12 初始状态决定部

13 模型拟合部

14 动作部

100 车辆

101 驾驶席(驾驶位置)

具体实施方式

以下，参照附图，对本发明的实施方式进行说明，但本发明并不限定于本实施方式。另外，在以下说明的附图中，具有相同功能的结构标注相同的附图标记，有时也省略其重复的说明。

图1是对具有本实施方式所涉及的人脸检测装置l的车辆100的车厢进行表示的示意图。车辆100具备具有拍摄部2的人脸检测装置1。人脸检测装置1可以设置在车辆100内的任意的场所。人脸检测装置1既可以是单独的装置，另外也可以装入到车辆100内的其他的系统(例如，车载导航系统)。

拍摄部2在车厢内设置在驾驶席101的前方(即，车辆100的行进方向侧)。拍摄部2构成为至少能够拍摄包括坐在驾驶席101的驾驶员的人脸的区域。在本实施方式中，拍摄部2设置在仪表板上，但只要能够从正面方向拍摄驾驶员的脸部，也可以设置在方向盘、顶棚或车厢内后视镜上。

图2是本发明的实施方式所涉及的人脸检测装置1的概略框图。人脸检测装置1具备用于拍摄驾驶员的脸部的拍摄部2。拍摄部2具备具有镜头23的摄影机21和控制部22。摄影机21可以是通常的可见光用CCD摄影机或MOS摄影机，而且也可以是红外线摄影机。红外线摄影机与可见光线用CCD摄影机、MOS摄影机相比较，不受人的个别的肤色所左右。另外，与可见光用CCD摄影机、MOS摄影机相比，红外线摄影机能够使快门速度更快。另外，摄影机21也可以是JPEG摄影机模块。JPEG摄影机模块是拍摄部与A/D变换部成为一体而获得的模块，与所述可见光用CCD摄影机、MOS摄影机相比较，是轻量并且紧凑的，因此在向车辆等搭载时，就搭载位置而言，具有优越性。

控制部22进行摄影机21的控制。控制部22控制镜头23自动聚焦于坐在驾驶席101的驾驶员的脸部，即每隔规定的时间或对来自CPU8的信号做出响应而进行将摄影机21的快门开闭的控制，将所拍摄到的图像数据作为帧而记录在RAM6的帧存储器61中。即，将在某些时刻摄到的图像称为帧。

并且，人脸检测装置1具备运算部(CPU)8、存储部9、ROM5、RAM6、输出部7、接口(I/F)4及总线41。另外，拍摄部2的摄影机21不是JPEG摄影机的情况下，人脸检测装置1还具备A/D(模拟/数字)变换部3。各部连接成能够经由总线41收发信号。

运算部8包括CPU，具有按照程序对来自拍摄部2的经数字变换后的图像数据进行处理并解析，并且进行眼部的检测和眨眼动作的判断等的处理的功能。存储部9由RAM、硬盘驱动器等构成，能够保存图像数据，并且能够存储图像数据的处理结果、解析结果及判断结果。

输出部7例如包括扬声器、显示器及灯。输出部7能够基于本实施方式所涉及的人脸检测处理的结果，从扬声器发出用于提醒或警告的声音或者从显示器或灯输出用于提醒或警告的消息或光。另外，输出部7还能够基于本实施方式所涉及的人脸检测处理的结果，对例如车辆2具有的自动制动系统，送出用于使自动制动工作的信号。

作为输出部7中包括的扬声器，也能够利用车辆2中装备的扬声器。另外，作为输出部7中包括的显示器，也能够利用车辆2中装备的车载导航系统的显示器。

A/D变换部3具有将来自拍摄部2的图像信号变换为数字信号的图像数据的功能。图像数据向接口(I/F)4输出。I/F4与控制部22进行数据及指令的收发并且接收图像数据。ROM5是读取专用存储器，存储用于使人脸检测装置1启动的引导程序，而且具备用于存储执行的处理、解析及判断所用的程序(例如，进行后述的图6、7、9所示的处理的程序)的程序存储器51。程序也可以不存在ROM5中也存储在存储部9中。

RAM6作为CPU8的高速缓冲存储器而使用，并且作为CPU8对图像数据执行程序时的工作存储器而使用。RAM6具备按每帧存储图像数据的帧存储器61及存储模板的模板存储器62。

图3是人脸检测装置1的功能框图。人脸检测装置1具备：位置检测部(位置检测单元)11，使用来自拍摄部(拍摄单元)2的图像，检测人脸器官的位置；初始状态决定部(初始状态决定单元)12，基于由位置检测部11检测到的人脸器官的位置而决定模型的初始状态；模型拟合部(模型拟合单元)13，使用由初始状态决定部12所决定的初始状态，基于来自拍摄部2的图像，生成人脸的模型。并且，人脸检测装置1具备根据从模型拟合部13输出的模型的状态而进行规定的动作的动作部(动作单元)14。

在本实施方式所涉及的人脸检测装置1中，位置检测部11、初始状态决定部12、模型拟合部13及动作部14分别作为计算机即人脸检测装置1工作的程序而存储在人脸检测装置1的ROM5或存储部9中。即，本实施方式所涉及的人脸检测所用的程序在执行时由CPU8从ROM5或存储部9中读出到RAM6中，使计算机即人脸检测装置1作为位置检测部11、初始状态决定部12、模型拟合部13及动作部14发挥功能。也可以将位置检测部11、初始状态决定部12、模型拟合部13及动作部14的至少一部分作为电气电路而不是程序来安装。另外，也可以构成为，将位置检测部11、初始状态决定部12、模型拟合部13及动作部14分别安装在多个装置中而不是安装在一个装置中，多个装置共同作为本实施方式所涉及的人脸检测装置1而工作。

图4A、4B是用于对本实施方式中使用的板的模型及模板进行说明的示意图。图4A是对例示性的人脸的模型M进行表示的示意图。模型M包括分别对规定的人脸器官进行表示的多个特征点P。特征点P通过以任意的点为原点的坐标来表示。在图4A中，仅示出了表示眼睛、鼻子及嘴的特征点P的一部分，但模型M也可以包括更多数目的特征点P，另外也可以包括对除此之外的人脸器官、轮廓等进行表示的特征点P。在本实施方式中，模型拟合包括：将统计性的人脸形状模型即预先作成的平均的人脸的临时模型作为初始状态而使用，并使该临时模型的特征点P适合图像中的人脸，由此生成与该人脸近似的模型M。

图4B是表示对人脸的模型M作成的模板T的示意图。通过根据模型M作成模板T，由此能够使用模板T进行模型的追踪。模型的追踪包括：在模型拟合中生成了模型M后，持续地更新模型M，以符合周期性地拍摄到的图像中的人脸。模板T具有包括图像中的特征点P的规定范围的区域。例如，模板T具有包括表示眼头的特征点P的区域、包括表示眼尾的特征点P的区域、包括表示鼻子的特征点P的区域、及包括表示嘴角的特征点P的区域。模板T的各区域与一个或二个以上的特征点对应，并与该特征点的坐标关联。即，如果模板T具有的区域在图像中的位置已决定，则能够算出与该区域对应的特征点P的坐标。

图5是用于对模型拟合前后的模型的状态进行说明的示意图。图5A～5D中，分别在包括驾驶员的脸部的图像上以圆形示出了模型的特征点P。图5A表示以往的人脸检测处理中的、从实际的人脸的状态大幅偏离而设定的模型的初始状态。图5B表示使用图5A的模型的初始状态进行模型拟合并且计算收敛后的模型。在图5B的模型中，表示眼睛的特征点P错误地位于眼镜的框上，伴随于此，表示嘴的特征点P也从实际的嘴偏离。这样，在模型的初始状态从实际的人脸的状态大幅偏离的情况下，容易发生误拟合。

另一方面，在本实施方式所涉及的人脸检测处理中，位置检测部11检测人脸器官的位置，具体而言是眼睛及鼻子的位置，初始状态决定部12使用该位置决定模型的初始状态，由此能够使模型的初始状态接近实际的人脸的状态。其结果是，模型拟合部13使用与实际的人脸的状态接近的初始状态来执行模型拟合，因此不易发生误拟合，计算更快地收敛。该图5C表示本实施方式所涉及的人脸检测处理中的、设定成与实际的人脸的状态接近的模型的初始位置。图5D表示使用图5C的模型的初始状态进行模型拟合并且计算收敛后的模型。在图5D中，各特征点P位于实际的人脸器官的附近。这样，在本实施方式所涉及的人脸检测处理中，能够将模型的初始状态设定成接近实际的人脸的状态，因此能够抑制误拟合而使模型拟合的精度提高，并且能够缩短计算的收敛所花费的处理时间。

图6是对本实施方式所涉及的人脸检测处理的流程进行表示的图。人脸检测装置1在检测到满足规定的开始条件(例如，驾驶员的落座、驾驶员打开点火开关键或特定的开关等)时，开始执行图6的流程的人脸检测处理。

人脸检测装置1从RAM6的帧存储器61取得来自拍摄部2的处理对象的帧的图像和处理对象的帧的前一帧的图像(步骤S1)。步骤S1中取得的图像也可以是在步骤S1的执行时从CPU8向拍摄部2送出信号从而拍摄到的图像，或者也可以是拍摄部2主动地以规定周期拍摄的图像。在为任一图像的情况下，由拍摄部2所拍摄到的图像都存储在RAM6的帧存储器61中，在步骤S1中从RAM6的帧存储器61被读出。RAM6的帧存储器61中至少保存处理对象的帧及处理对象的帧的前一帧的图像。另外，在人脸检测处理开始时，处理对象的帧的前一帧的图像还未存储在RAM6的帧存储器61中，因此人脸检测装置在拍摄到第一或第二帧的图像之前等待，并将第二帧作为处理对象的帧而进入到下一步骤S2。

人脸检测装置1基于由拍摄部2所拍摄到的处理对象的帧的图像，使用位置检测部11进行鼻子位置的检测，并将该鼻子位置存储在RAM6中(步骤S2)。鼻子位置是例如鼻子的下端、鼻头等的鼻子的特定的部位的坐标。鼻子位置的检测能够使用神经网络法、AdaBoost法等的能够根据图像确定鼻子位置的任意的人脸器官检测方法。

人脸检测装置1基于在步骤S1中取得的处理对象的帧的图像，而使用位置检测部11进行眼睛位置检测处理，检测该图像中的眼睛位置(步骤S3)。在眼睛位置检测处理(步骤S3)中以处理对象的帧未检测到眼睛位置的情况下，即未检测到眨眼的情况下(步骤S4中为否)，人脸检测装置l将下一帧作为处理对象的帧并进行从图像的取得(步骤S1)到眼睛位置检测处理(步骤S3)为止的处理。

在眼睛位置检测处理(步骤S3)中，在处理对象的帧中检测到眼睛位置的情况下(步骤S4中为是)，人脸检测装置1基于在步骤S2及步骤S3中检测到的眼睛位置及鼻子位置，使用初始状态决定部12进行初始状态决定处理，决定模型的初始状态(步骤S5)。

然后，模型拟合部13使用步骤S5中决定的模型的初始状态，进行模型拟合，以使模型适合步骤S1中取得的图像(步骤S6)。本实施方式中的模型拟合并不限定于特定的方法，也可以使用AAM(Active Appearance Model)法、ASM(Active Shape Model)法等的任意的模型拟合法。模型拟合部13将通过模型拟合生成的模型存储在RAM6中。

人脸检测装置l基于步骤S6中生成的模型，使用动作部14进行规定动作的执行(步骤S7)。例如，在动作部14在步骤S6中生成的模型不朝向正面的情况下，判断为驾驶员处于心不在焉的状态，并为了警告而从输出部7输出声音或输出消息或光。另外，动作部14在步骤S6中生成的模型在规定的时间以上处于闭眼状态的情况下，判断为驾驶员处于打瞌睡状态，并为了警告而从输出部7输出声音或输出消息或光。另外，动作部14也可以基于心不在焉的状态或者打瞌睡状态的判断而进行自动制动系统的工作。

图6的流程中虽未示出，但也能够使用本实施方式所涉及的人脸检测处理中生成的模型进行模型的追踪。例如，人脸检测装置1根据步骤S1中取得的图像及步骤S6中生成的模型，将图4B所示的模板保存在RAM6的模板存储器62中。之后，人脸检测装置1从RAM6的帧存储器61中读出下一帧的图像，从RAM6的模板存储器62中读出模板，使模板所具有的各区域在图像上扫描，从而求出各位置中的该区域与该图像的相关(相关度)。然后，人脸检测装置1使用相关(相关度)最高的位置，来更新模板所具有的各区域的位置，并将由此更新的模板保存在RAM6的模板存储器62中。之后，人脸检测装置l基于更新过的模板，更新与模板具有的各区域关联的模型的特征点的坐标，并将由此更新了的模型存储在RAM6中。其结果，模型的各特征点的坐标得到更新(追踪)，以符合下一帧的图像。

图7是对本实施方式所涉及的眼睛位置检测处理(步骤S3)的详细的流程进行表示的图。位置检测部11使用步骤2中所检测到的鼻子位置，进行步骤S1中所取得的处理对象的帧及前一帧的图像内的搜索区域的决定(步骤S31)。具体而言，位置检测部11从RAM6取得步骤2中所检测到的鼻子位置，并将该鼻子位置的周边区域决定为搜索区域。搜索区域是包括以例如鼻子位置为基准而向上下左右分离偏离了规定距离的地点的矩形区域。搜索区域具有眼睛位于其中的盖然性足够高的形状及大小，其形状及大小能够统计性地决定。通过将基于后述的差分图像的眼睛位置决定限定成在此决定的搜索区域来进行，由此能够减轻处理负荷，并且能够降低基于眼睛以外的人脸器官的噪声而提高眼睛位置的检测精度。

另外，位置检测部11除了鼻子位置以外，还可以使用神经网络法、AdaBoost法等任意的人脸器官检测方法来检测眼睛位置，将眼睛位置及鼻子位置的周边区域决定为搜索区域。在此的眼睛位置仅仅是为了决定搜索区域而使用，所以希望眼睛位置的检测方法是精度并不高而处理负荷较小的方法。此情况下的搜索区域例如是包括以眼睛位置及鼻子位置分别为基准向上下左右分别偏离了规定的距离的地点的矩形区域。位置检测部11这样除了鼻子位置还将眼睛位置使用于搜索区域的决定，由此与仅使用鼻子位置决定搜索区域的情况相比，能够利用狭窄的搜索区域。为此，能够进一步降低基于差分图像的眼睛位置决定的处理负荷，能够降低基于眼睛以外的人脸器官的噪声。另外，位置检测部11也可以不将搜索区域限定在鼻子位置的周边区域，而将人脸整体作为搜索区域。

之后，位置检测部11使用步骤S1中所取得的处理对象的帧及前一帧的图像，作成步骤S31中所决定的搜索区域的差分图像(步骤S32)。具体而言，位置检测部11在前一帧的图像中的搜索区域与处理对象的帧的图像中的搜索区域之间，算出亮度成分的差分。由此，作成例如图8所示的搜索区域的差分图像。

图8是对本实施方式所涉及的眼睛位置检测方法进行表示的示意图。图8A表示驾驶员处于闭眼状态的情况下的图像中的搜索区域A。图8B表示驾驶员处于睁眼状态的情况下的图像中的搜索区域A。图8C表示从图8B的搜索区域A的亮度成分减去图8A的搜索区域A的亮度成分而作成的差分图像。在差分图像中，示出了亮度降低的区域(黑区域B)、亮度上升的区域(白区域C)、及亮度几乎不变化的区域。在由于眨眼而从闭眼状态转移到睁眼状态时，在差分图像中与眼睑对应的位置示出了较大的黑区域B。为此，位置检测部11将步骤S32中所作成的差分图像中的大于规定的面积的黑区域B决定为眼睛位置，并将该眼睛位置存储在RAM6中(步骤S33)。眼睛位置是例如黑区域B的重心的坐标。另外，位置检测部11在差分图像中不存在大于规定的面积的黑区域B的情况下，判断为在该帧中未进行眨眼，不检测眼睛位置。也可以为了进行眼睛位置检测而使用从睁眼状态向闭眼状态的转移，在此情况下，能够将大于规定的面积的白区域C决定为眼睛位置。

另外，图8C表示示意性的差分图像，但有时在实际的差分图像中在眼睛以外的部分也示出了多个黑区域B。在此情况下，位置检测部11将具有最大的面积的黑区域推定为眼睛。并且，在所推定出的左右眼大小的差异或间隔异常的、例如超出了规定的容许范围的情况下，位置检测部11将下一个具有较大的面积的黑区域推定为眼睛。

在本实施方式所涉及的眼睛位置检测处理(步骤S3)中，通过差分图像检测由眨眼引起的眼睛的变化。为此，能够抑制将眉毛或眼镜的框误检测为眼睛位置，能够高精度地推定眼睛位置。本实施方式中使用的眼睛位置的检测方法并不限于此，也可以考虑检测精度和处理负荷而使用能够从图像确定鼻子位置的任意的人脸器官检测方法。

帧的取得周期能够检测人的眨眼的长度，即在前一帧与处理对象的帧之间，闭眼状态与睁眼状态切换的程度的长度。帧的取得周期的具体的数值能够基于统计或实验来决定，另外也可以是人脸检测装置1基于驾驶员的眨眼频率来决定帧的取得周期。

图9是对本实施方式所涉及的初始状态决定处理(步骤S5)的详细的流程进行表示的图。在初始状态决定处理中，初始状态决定部12从RAM6中取得步骤S2及步骤S3中所检测到的眼睛位置及鼻子位置，基于该眼睛位置及该鼻子位置而决定人脸位置(步骤S51)。人脸位置包括处理对象的帧的图像中的平面方向的人脸的位置及进深方向的人脸的位置。初始状态决定部12将步骤S2中所检测到的鼻子位置决定为人脸的平面方向的位置。人脸的平面方向的位置用于将模型移动到图像中的人脸的位置。另外，初始状态决定部12根据步骤S3中所检测到的眼睛位置算出左右眼间的距离，并算出该眼间的距离与预先统计性地取得的标准的人脸中的眼间的平均距离之比，由此决定人脸的进深方向的位置。人脸的进深方向的位置对应于图像中的人脸的大小，因此用于将模型放大或缩小。人脸位置的决定方法并不限于此处所示的具体的方法，也可以是使用图像或从该图像检测到的眼睛位置、鼻子位置而能够决定该图像中的人脸位置的任意的方法。

接下来，初始状态决定部12从RAM6中取得步骤S2及步骤S3中所检测到的眼睛位置及鼻子位置，基于该眼睛位置及该鼻子位置而决定人脸角度(步骤S52)。图10是对人脸角度的定义进行表示的示意图。图10在图像中的人脸中重叠示出了x轴、y轴及z轴。x轴、y轴及z轴的位置能够基于步骤S51中所决定的人脸位置而决定。具体而言，x轴及y轴穿过图像中的人脸的重心并且互相垂直的包括该图像的平面上的直线，z轴是穿过该重心的该图像的法线。人脸角度包括表示与x轴有关的旋转角度的θx，表示与y轴有关的旋转角度的偏转角度θy，表示与z轴有关的旋转角度的侧滚角度θz。

图11A是对倾斜角度θx的算出方法进行表示的示意图。设左右的眼睛位置E1、E2之间的距离为dw，设鼻子位置N与将左右的眼睛位置E1、E2相连的直线的距离为dh。另外，将预先统计性地取得的标准的人脸中的dw及dh分别设为dw0、dh0。在设R0＝dw0/dh0时，倾斜角度θx以以下的式(1)表示。

[oo47]

图11B是对偏转角度θy的算出方法进行表示的示意图。在将左右的眼睛位置E1、E2相连的直线上从鼻子位置N引出垂线，设从该直线与该垂线的交点到左眼睛位置E1的距离为dwl，并设从该直线与该垂线的交点到右眼睛位置E2的距离为dw2。此时，偏转角度θy以以下的式(2)表示。

图11C是对侧滚角度θz的算出方法进行表示的示意图。将从右眼睛位置E2的x坐标减去左眼睛位置E1的x坐标而得到的值设为dx，将从右眼睛位置E2的y坐标减去左眼睛位置E1的y座标而得到的值设为dy。此时，侧滚角度θz以以下的式(3)表示。

初始状态决定部12将包括通过以上的方法算出的倾斜角度θx、偏转角度θy、侧滚角度θz的人脸角度存储在RAM6中。人脸角度的决定方法并不限定于这里所示的具体的方法，也可以是使用图像或从该图像检测出的眼睛位置、鼻子位置能够决定该图像中的人脸角度的任意的方法。

初始状态决定部12从RAM6取得步骤S51及步骤S52中所决定的人脸位置及人脸角度，并基于该人脸位置及该人脸角度而决定模型的初始状态(步骤S53)。模型的初始状态的决定包括执行模型拟合前的时刻的模型的位置、角度等的决定。

图12是对使用人脸位置及人脸角度决定模型初始状态的方法进行表示的示意图。初始状态决定部12从RAM6取得步骤S51及步骤S52中所决定的人脸位置及人脸角度，并且从RAM6中取得包括多个特征点P的统计性的人脸形状模型(临时模型M')。然后，初始状态决定部12如图12A所示，使用人脸角度即倾斜角度θx、偏转角度θy、侧滚角度θz使临时模型M'旋转，并使用人脸的平面方向的位置使临时模型M'在图像的平面方向上移动，并且使用人脸的进深方向的位置使临时模型M'放大或缩小。初始状态决定部12将这样变形后的模型M决定为模型的初始状态，并存储于RAM6。图12B表示将模型的初始状态中的特征点P重叠于人脸的状态。本实施方式所涉及的模型的初始状态由于基于图像而取得的人脸位置及人脸角度而接近实际的人脸的状态，因此特征点P位于实际的人脸器官的附近。为此，在使用该模型的初始状态进行的模型拟合(步骤S6)中，计算较快递收敛，并且误拟合得到抑制。

本发明的本质在于，根据图像进行人脸器官的检测，使用该人脸器官的位置而决定模型的初始状态，并使用该模型的初始状态进行模型的生成。在本实施方式中，作为人脸器官而使用了眼睛及鼻子，但只要能够根据图像来确定位置，也可以使用任意的人脸器官。例如也可以使用眉毛、嘴、轮廓等，还可以组合使用多个人脸器官。

在本实施方式中，使用包括平面方向的位置及进深方向的位置的人脸位置及包括倾斜角度θx、偏转角度θy、侧滚角度θz的人脸角度来进行模型的初始状态的决定，但可以不一定使用它们中的全部，可以使用它们中的一部分。

在本实施方式所涉及的人脸检测处理中，基于根据图像检测到的人脸器官的位置而决定模型的初始状态，并使用该模型的初始状态而进行模型的生成，因此模型的初始状态接近实际的人脸的状态。为此，能够抑制误拟合而提高模型的精度，并且，模型的生成所用的计算的收敛较快，能够降低计算负荷。并且，无需如视线检测器(眼跟踪器)的追加的机构而使用来自一个拍摄部的图像进行人脸器官的位置的检测和模型的生成这两者，因此能够抑制为了提高模型的精度而耗费的成本的增加。

另外，本实施方式所涉及的触检测处理，通过作成帧间的差分图像来检测眨眼引起的眼睛的变化由此进行眼睛位置的检测，因此能够抑制将眉毛或眼镜的框误检测为眼睛位置，能够高精度地推定眼睛位置。此时，基于根据图像检测到的鼻子位置而限定差分图像作成时的图像的搜索区域，因此能够降低处理负荷进而能够提高检测精度。这样，在本实施方式中，通过使用能够高精度推断位置的眼睛位置，能够正确地决定模型的初始状态，进而实现较高的模型的精度。

本发明并不限定于上述的实施方式，在不脱离本发明的主旨的范围内能够适当变更。

为了实现前述的实施方式的功能而将使前述的实施方式的结构动作的程序(例如，进行图6、7、9所示的处理的程序)存储在存储介质，并将存储于该存储介质的程序读出到计算机中，并在计算机中执行的处理方法也包括在前述的实施方式的范围中。即，计算机可读取的存储介质也包括于本发明所涉及的实施方式的范围。另外，前述的程序所存储的存储介质自不用说，该程序本身也包括于前述的实施方式。作为该存储介质，能够使用例如软盘(注册商标)、硬盘、光盘、光磁盘、CD-ROM、磁带、非易失性存储卡或ROM。另外，不限于以前述的存储介质所存储的程序单体执行处理的方式，与其他的软件、扩展卡的功能共同在OS上动作并执行前述的实施方式的动作的方式也包括于前述的实施方式的范围。

Claims (7)

1.一种人脸检测装置，用于根据拍摄部拍摄的包括人脸的图像进行人脸检测，其特征在于，包括：

位置检测部，从所述图像中检测所述人脸的人脸器官的位置，

初始状态决定部，基于所述人脸器官的所述位置，来决定模型的初始状态，

模型拟合部，使用所述模型的初始状态，基于所述图像而生成所述人脸的模型；

所述位置检测部从所述图像中检测眼睛及鼻子的位置，

所述初始状态决定部使用所述人脸的位置以及所述人脸的角度来决定所述模型的所述初始状态，

所述人脸的位置是所述图像中的所述人脸的平面方向的位置及所述人脸的进深方向的位置，

所述人脸的所述平面方向的位置通过检测出的所述鼻子的位置来决定，

所述人脸的所述进深方向的位置通过根据检测出的所述眼睛的位置来算出的所述眼睛的左右眼间的距离来决定，

所述人脸的所述角度由所述人脸的所述位置及所述鼻子的所述位置来决定，

在穿过图像中的人脸的重心并且互相垂直的包括该图像的平面上的直线以及穿过该平面的所述重心的法线三个方向上决定所述人脸的所述角度，

所述初始状态决定部基于左右眼睛位置及该鼻子位置计算包含倾斜角度θx、偏转角度θy以及侧滚角度θz的人脸角度，并且，基于眼睛位置及该鼻子位置决定人脸位置，

所述初始状态决定部，根据检测出的眼睛位置来算出左右眼间的距离，并算出该眼间的距离与预先统计性地取得的标准的人脸中的眼间的平均距离之比，从而决定人脸的进深方向的位置，并使用人脸的进深方向的位置将模型放大或缩小，从而决定模型的初始状态，

所述初始状态决定部通过下面的式(1)计算倾斜角度θx，

左右的眼睛位置之间的距离为dw，设鼻子位置与将左右的眼睛位置相连的直线的距离为dh，预先统计性地取得的标准的人脸中的dw及dh分别设为dw0、dh0，R0＝dw0/dh0，

所述初始状态决定部通过下面的式(2)计算偏转角度θy，

在将左右的眼睛位置相连的直线上从鼻子位置引出垂线，设从该直线与该垂线的交点到左眼睛位置的距离为dwl，并设从该直线与该垂线的交点到右眼睛位置的距离为dw2，

所述初始状态决定部通过下面的式(3)计算侧滚角度θz，

将从右眼睛位置的x坐标减去左眼睛位置的x坐标而得到的值设为dx，将从右眼睛位置的y坐标减去左眼睛位置的y座标而得到的值设为dy。

2.如权利要求1所述的人脸检测装置，其特征在于，

所述位置检测部，在某一帧的来自所述拍摄部的图像与前一帧的来自所述拍摄部的图像之间作成差分图像，并基于所述差分图像来检测所述眼睛的位置。

3.如权利要求2所述的人脸检测装置，其特征在于，

所述位置检测部，基于由所述位置检测部检测出的所述鼻子的位置来决定搜索区域，并在所述搜索区域内作成所述差分图像。

4.如权利要求2所述的人脸检测装置，其特征在于，

所述位置检测部，根据所述差分图像，检测因眨眼引起的眼睛的变化，在发生了该变化时，所述初始状态决定部决定模型的初始状态。

5.如权利要求l所述的人脸检测装置，其特征在于，

所述初始状态决定部，将检测到的鼻子位置决定为人脸的平面方向的位置，并使用人脸的平面方向的位置，将模型移动到图像中的人脸的位置，从而决定模型的初始状态。

6.一种人脸检测方法，用于根据拍摄部拍摄的包括人脸的图像进行人脸检测，其特征在于，包括：

位置检测步骤，从所述图像中检测所述人脸的人脸器官的位置，

初始状态决定步骤，基于所述人脸器官的所述位置，来决定模型的初始状态，

模型拟合步骤，使用所述模型的初始状态，基于所述图像而生成所述人脸的模型；

所述位置检测步骤中所述图像中检测眼睛及鼻子的位置，

所述初始状态决定步骤中使用所述人脸的位置以及所述人脸的角度来决定所述模型的所述初始状态，

所述人脸的位置是所述图像中的所述人脸的平面方向的位置及所述人脸的进深方向的位置，

所述人脸的所述平面方向的位置通过检测出的所述鼻子的位置来决定，

所述人脸的所述进深方向的位置通过根据检测出的所述眼睛的位置来算出的所述眼睛的左右眼间的距离来决定，

所述人脸的所述角度由所述人脸的所述位置及所述鼻子的所述位置来决定，

在穿过图像中的人脸的重心并且互相垂直的包括该图像的平面上的直线以及穿过该平面的所述重心的法线三个方向上决定所述人脸的所述角度，

基于左右眼睛位置及该鼻子位置计算包含倾斜角度θx、偏转角度θy以及侧滚角度θz的人脸角度，并且，基于眼睛位置及该鼻子位置决定人脸位置，

根据检测出的眼睛位置来算出左右眼间的距离，并算出该眼间的距离与预先统计性地取得的标准的人脸中的眼间的平均距离之比，从而决定人脸的进深方向的位置，并使用人脸的进深方向的位置将模型放大或缩小，从而决定模型的初始状态，

通过下面的式(1)计算倾斜角度θx，

左右的眼睛位置之间的距离为dw，设鼻子位置与将左右的眼睛位置相连的直线的距离为dh，预先统计性地取得的标准的人脸中的dw及dh分别设为dw0、dh0，R0＝dw0/dh0，

通过下面的式(2)计算偏转角度θy，

在将左右的眼睛位置相连的直线上从鼻子位置引出垂线，设从该直线与该垂线的交点到左眼睛位置的距离为dwl，并设从该直线与该垂线的交点到右眼睛位置的距离为dw2，

通过下面的式(3)计算侧滚角度θz，

将从右眼睛位置的x坐标减去左眼睛位置的x坐标而得到的值设为dx，将从右眼睛位置的y坐标减去左眼睛位置的y座标而得到的值设为dy。

7.一种记录介质，记录有程序，通过执行所述程序，使计算机执行权利要求6所述的人脸检测方法。

Images