CN104573622B - 人脸检测装置、方法 - Google Patents

Abstract

提供能够随时间推移而保持人脸的模型的精度的人脸检测装置、方法。本发明的一实施方式所涉及的人脸检测装置(l)具备：拍摄部(2)，其拍摄包括人脸的图像；模型拟合部(11)，其基于来自拍摄部的第一图像，生成人脸的第一模型；追踪部(12)，其使第一模型适合来自拍摄部的第二图像；位置检测部(13)，其基于第二图像，检测人脸器官(眼睛)的位置；及眼睛位置比较部(14)，其判断在由追踪部进行适合处理后的第一模型中的眼睛的位置与由位置检测部基于第二图像而检测到的眼睛的位置之间是否产生了偏差。在眼睛位置比较部判断为产生了偏差的情况下，模型拟合部基于第二图像生成人脸的第二模型。

Description

人脸检测装置、方法

技术领域

本发明涉及根据拍摄到的图像来检测人脸的状态的人脸检测装置、方法。

背景技术

近年来，对所拍摄到的静态图像或动态图像中所含的人脸的位置、朝向以及眼睛及嘴等人脸器官(构成人脸的各器官)的状态进行检测的人脸检测技术的开发正在进展。例如，在车辆中，能够通过进行驾驶员的脸部检测，来检知心不在焉地开车、打瞌睡开车，并进行警告等的规定的动作。为了进行这种检知需要持续进行实时地人脸检测，但在车辆的内部，光的强度及方向容易变化，而且驾驶员的脸部容易由于车体的晃动而运动。为此，尤其在车辆中的人脸检测中，要求能够进行实时的处理并且光及抗由人脸的状态的变化等引起的噪声。

非专利文献1中公开了如下的人脸检测技术(ASM：Active Shape Model；主动形状模型，AAM：Active Appearance Model；主动外观模型)：使用最速下降法等使统计性的人脸形状模型与图像中的人脸对应，即通过进行模型拟合来生成图像中的人脸的模型。使用该技术生成图像中的人脸的模型，并继续使该模型适合图像中的人脸，即进行追踪，由此能够随时间推移来确定人脸的位置及朝向以及各人脸器官的状态。

另外，在专利文献l中，公开了如下的人脸器官检测技术：使用帧间的差分图像检测由眨眼引起的图像的变化作为动态区域，将面积最大的动态区域确定为眼睛的位置。在眼睛位置检测所用的一般的方法中，大多将眼镜框或眉毛误检测为眼睛位置，但通过使用专利文献1的技术，能够抑制将眼镜框或眉毛误检测为眼睛位置，能够高精度地进行眼睛位置检测。

专利文献

专利文献1：日本特开2008-192100号公报

非专利文献

非专利文献1：Stan Z.Li.Anil K.Jain，“Handbook of Face Recognition”，Springer.2011年，p.124-133

在非专利文献1所记载的技术中，模型拟合的精度根据模型的初始状态、即最初将模型配置在图像的何处并设定成怎样的角度、形状而受到较大的影响。模型的初始状态大大偏离实际的人脸的状态时，存在相应于实际的人脸而生成模型所用的模型拟合的计算落入局部最优解，从而模型偏离实际的人脸而收敛的情况。将该情况称为误拟合，在发生误拟合时，人脸的模型的精度降低。尤其是，容易出现模型的眼睛的位置错误地收敛在眼镜框或眉毛的位置的情况。此外，在进行模型的追踪期间，有时模型与实际的人脸之间产生偏差而模型的精度降低的情况。在非专利文献1中，关于在上述情况下修正模型的方法，并未有所教导启示。

另外，在专利文献1所记载的技术中，差分图像容易受到光的强度及方向的变化以及人脸的运动引起的噪声的影响，因此仅仅用差分图像难以始终持续检测眼睛位置。为此，在专利文献1所记载的技术中，在噪声较多的图像持续期间，可能无法进行眼睛位置检测，而无法保持模型的随时间推移的精度。

发明内容

本发明是为了解决上述的问题点而做出的，目的在于，提供能够随时间推移而保持人脸的模型的精度的人脸检测装置、方法。

本发明的一个形态，是用于根据拍摄部拍摄的包括人脸的图像来进行人脸检测的人脸检测装置，该人脸检测装置的特征在于，具备：模型拟合部，其基于来自所述拍摄部的第一图像，生成所述人脸的第一模型；追踪部，其使所述第一模型适合来自所述拍摄部的第二图像；位置检测部，其基于所述第二图像而检测所述人脸的人脸器官的位置；比较部，其判断由所述追踪部进行适合处理后的所述第一模型中的所述人脸器官的位置与由所述位置检测部检测出的所述人脸器官的位置之间是否产生了偏差；在所述比较部判断为产生了所述偏差的情况下，所述模型拟合部基于所述第二图像而生成所述人脸的第二模型。

本发明的一个形态是人脸检测方法，其特征在于，包括：从拍摄单元取得包括人脸的第一图像的步骤；模型拟合单元基于所述第一图像而生成所述人脸的第一模型的步骤；从所述拍摄单元取得包括所述人脸的第二图像的步骤；追踪单元使所述第一模型适合所述第二图像的步骤；与所述适合处理的步骤并行地，位置检测单元基于所述第二图像而检测所述人脸的人脸器官的位置的步骤；比较单元判断在进行所述适合处理的步骤中进行适合处理的所述第一模型中的所述人脸器官的位置与在进行所述检测的步骤中检测出的所述人脸器官的位置之间是否产生了偏差的步骤；在进行所述判断的步骤中所述比较单元判断为产生了所述偏差的情况下，所述模型拟合单元基于所述第二图像而生成所述人脸的第二模型的步骤。

本发明的一个形态，是用于根据由拍摄单元拍摄的包括人脸的图像进行人脸检测的程序，该程序的特征在于使计算机作为以下单元发挥功能：模型拟合单元，其基于来自所述拍摄单元的第一图像，生成所述人脸的第一模型；追踪单元，其使所述第一模型适合来自所述拍摄单元的第二图像；位置检测单元，其与由所述追踪单元进行的所述第一模型的适合处理并行地，基于所述第二图像而检测所述人脸的人脸构成的位置；及比较单元，判定在由所述追踪单元进行了适合处理的所述第一模型中的所述人脸构成的位置与由所述位置检测单元检测到的所述人脸构成的位置之间是否产生了偏差，在所述比较单元判定为产生了所述偏差的情况下，所述模型拟合单元基于所述第二图像生成所述人脸的第二模型。

发明的效果

根据本发明，在模型的眼睛的位置与根据图像检测到的眼睛的位置之间产生了偏差的情况下进行再次模型拟合，因此能够降低模型相对于实际的人脸的偏差而保持在精度较高的状态。

附图说明

图1是本发明的一实施方式所涉及的车辆的车厢的示意图。

图2是本发明的一实施方式所涉及的人脸检测装置的概略框图。

图3是本发明的一实施方式所涉及的人脸检测装置的功能框图。

图4A是用于说明模型的示意图。

图4B是用于说明模板的示意图。

图5A是对本发明的一实施方式所涉及的人脸检测处理进行表示的示意图(从正面观察到的包括对象人的人脸的图像)。

图5B是对本发明的一实施方式所涉及的人脸检测处理进行表示的示意图(模型的眼睛位置与对象人的眼睛位置一致的情况)。

图5C是对本发明的一实施方式所涉及的人脸检测处理进行表示的示意图(模型的眼睛位置与对象人的眼睛位置不一致的情况)。

图6是对本发明的一实施方式所涉及的人脸检测处理的流程进行表示的图。

图7是本发明的一实施方式所涉及的初始模型拟合处理的流程进行表示的图。

图8是对本发明的一实施方式所涉及的追踪处理的流程进行表示的图。

图9是对本发明的一实施方式所涉及的眼睛位置检测处理的流程进行表示的图。

图10A是对本发明的一实施方式所涉及的眼睛位置检测方法进行表示的示意图(对象人处于闭眼状态的情况)。

图10B是对本发明的一实施方式所涉及的眼睛位置检测方法进行表示的示意图(对象人处于睁眼状态的情况)。

图10C是对本发明的一实施方式所涉及的眼睛位置检测方法进行表示的示意图(睁眼状态的图像与闭眼状态的图像的差分图像)。

图11是对本发明的一实施方式所涉及的眼睛位置比较方法进行表示的示意图。

图12是对本发明的一实施方式所涉及的再次模型拟合处理的流程进行表示的图。

附图标记说明

1 人脸检测装置

2 拍摄部

3 A/D变换部(模拟/数字变换部)

4 接口(I/F)

5 ROM

6 RAM

7 输出部

8 运算部(CPU)

9 存储部

11 模型拟合部

12 追踪部

13 位置检测部

14 眼睛位置比较部

15 动作部

100 车辆

101 驾驶席(驾驶位置)

具体实施方式

以下，参照附图对本发明的实施方式进行说明，但本发明并不限定于本实施方式。另外，在以下说明的附图中，具有相同功能的结构标注相同的附图标记，有时也省略其重复的说明。

图1是对具有本实施方式所涉及的人脸检测装置1的车辆100的车厢进行表示的示意图。车辆100具备具有拍摄部2的人脸检测装置1。人脸检测装置1可以设置在车辆100内的任意场所。人脸检测装置1既可以是单独的装置，而且也可以装入到车辆100内的其他系统(例如，车载导航系统)中。

拍摄部2在车厢内设置在驾驶席101的前方(即，车辆100的行进方向侧)。拍摄部2构成为至少能够拍摄包括坐在驾驶席101的成为人脸检测的对象人的驾驶员的脸部的区域。在本实施方式中，拍摄部2设置在仪表板上，但只要能够从正面方向拍摄驾驶员的脸部即可，也可以设置在方向盘、顶棚或车厢内后视镜上。

图2是本发明的实施方式所涉及的人脸检测装置1的概略框图。人脸检测装置1具备用于拍摄驾驶员的脸部的拍摄部2。拍摄部2具备具有透镜23的摄影机21和控制部22。摄影机21可以是通常的可见光用CCD摄影机或CMOS摄影机，而且也可以是近红外线用CCD摄影机。近红外线用CCD摄影机与可见光用CCD摄影机相比较，不受人的个别的肌色所左右。另外，与可见光用CCD摄影机相比，近红外线用CCD摄影机能够使快门速度更快。

控制部22进行摄影机21的控制。控制部22每隔规定的时间或对来自CPU8的信号做出响应而进行将摄影机21的快门开闭的控制，并将拍摄到的图像数据作为帧而记录到RAM6的帧存储器61中。即，将在某些时刻拍摄而得到的图像称为帧。

人脸检测装置1还具备运算部(CPU)8、存储部9、ROM5、RAM6、输出部7、接口(I/F)4及总线41。另外，人脸检测装置1还具备A/D变换部3。各部连接成能够经由总线41收发信号。

运算部8包括CPU，其功能在于，按照程序对来自拍摄部2的经数字变换后的图像数据进行处理并解析，并且进行眼部的检测和眨眼动作的判断等的处理。存储部9由RAM等构成，能够保存图像数据，并且能够存储图像数据的处理结果、解析结果及判断结果。

输出部7例如包括扬声器、显示器及灯。输出部7能够基于本实施方式所涉及的人脸检测处理的结果，从扬声器发出用于提醒或警告的声音，或从显示器或灯输出用于提醒或警告的消息或光。另外，输出部7还能够基于本实施方式所涉及的人脸检测处理的结果，对例如车辆2具有的自动制动系统，送出用于使自动制动工作的信号。

作为输出部7中包括的扬声器，也能够利用车辆2中装备的扬声器。另外，作为输出部7中包括的显示器，也能够利用车辆2中装备的车载导航系统的显示器。

A/D变换部3具有将来自拍摄部2的图像信号变换为数字信号的图像数据的功能。图像数据向接口(I/F)4输出。I/F4与控制部22进行数据及指令的收发并且接收图像数据。ROM5是读取专用存储器，存储用于使人脸检测装置1启动的引导程序，而且具备用于存储执行的处理、解析及判断所用的程序(例如，进行后述的图6-9、12所示的处理的程序)的程序存储器51。程序也可以不存储在ROM5中而存储在存储部9中。

RAM6作为CPU8的高速缓冲存储器而使用，并且作为CPU8对图像数据执行程序时的工作存储器而使用。RAM6具备按每帧存储图像数据的帧存储器61及存储模板的模板存储器62。

图3是人脸检测装置1的功能框图。人脸检测装置1具备：模型拟合部(模型拟合单元)11，使用来自拍摄部(拍摄单元)2的图像，生成人脸的模型；追踪部(追踪单元)12，使由模型拟合部11生成的模型适合来自拍摄部2的图像，即进行追踪；位置检测部(位置检测单元)13，使用图像进行眼睛位置的检测；眼睛位置比较部(比较单元)14，进行由追踪部12进行适合处理的模型的眼睛位置与由位置检测部13检测到的眼睛位置的比较。在人脸检测处理的开始时以及在由追踪部12进行适合处理的模型的眼睛位置与由位置检测部检测到的眼睛位置之间产生了偏差时，模型拟合部进行模型拟合。并且，人脸检测装置1具备根据从追踪部12输出的模型的状态而进行规定的动作的动作部(动作单元)15。

在本实施方式所涉及的人脸检测装置1中，模型拟合部11、追踪部12、位置检测部13、眼睛位置比较部14及动作部15分别作为用于使计算机即人脸检测装置1工作的程序而存储在人脸检测装置1的ROM5或存储部9中。即，本实施方式所涉及的人脸检测所用的程序在执行时由CPU8从ROM5或存储部9读出到RAM6中，使计算机即人脸检测装置1作为模型拟合部11、追踪部12、位置检测部13、眼睛位置比较部14及动作部15发挥功能。也可以将模型拟合部11、追踪部12、位置检测部13、眼睛位置比较部14及动作部15的至少一部分作为电气电路而不是程序来安装。另外，也可以构成为，将模型拟合部11、追踪部12、位置检测部13、眼睛位置比较部14及动作部15分别安装在多个装置中而不是安装在一个装置中，多个装置共同作为本实施方式所涉及的人脸检测装置1而工作。

图4A及图4B是对本实施方式中使用的人脸的模型及模板进行说明所用的示意图。图4A是对例示性的人脸的模型M进行表示的示意图。模型M包括分别对规定的人脸器官进行表示的多个特征点P。特征点P通过以任意的点为原点的坐标来表示。在图4A中，示出了表示眼眉、眼睛、鼻子、嘴及轮廓的特征点P，但模型M也可以包括与图4A所示的部分不同的特征点P。在本实施方式中，模型拟合包括：将统计性的人脸形状模型即预先作成的平均的人脸的临时模型作为初始状态而使用，并使该临时模型的特征点P位于图像中的人脸的各部分，由此生成与该人脸近似的模型M。

另外，在本实施方式中，模型的追踪包括：在模型拟合中生成了模型M后，持续地对模型M进行适合处理，以使模型M与周期性地拍摄的图像中的人脸相符。在本实施方式中，通过使用模板进行模型的追踪。图4B是表示对人脸的模型M作成的模板T的示意图。模板T具有包括图像中的模型M的特征点P的规定范围的区域。例如，模板T具有包括表示眼眉的特征点P的区域、包括表示眼睛的特征点P的区域、包括表示鼻子的特征点P的区域、包括表示嘴的特征点P的区域及包括表示轮廓的特征点P的区域。模板T的各区域与一个或二个以上的特征点对应，并与该特征点的坐标关联。即，如果模板T具有的区域在图像中的位置已决定，则能够算出与该区域对应的特征点P的坐标。在本实施方式所涉及的模型的追踪中，决定模板T具有的各区域中图像中的位置，并使用该各区域的位置决定模型M在人脸图像中的角度、位置及大小。并且，通过对于模型M应用这些所决定的角度、位置及大小，能够使模型M适合该图像。只要能够进行模型的追踪，模板T具有的区域的位置及数目能够任意地选择。

图5A至图5C是对本实施方式所涉及的人脸检测处理进行表示的示意图。图5a表示从正面观察到的包括驾驶员的人脸的图像。图5B、图5C中，在驾驶员的图像上示出了由追踪部12进行适合处理后的模型的特征点P，并且示出了由位置检测部13检测到的眼睛位置E。在图5B中，模型的表示眼睛的特征点P位于驾驶员的眼睛的眼头及眼尾，因此模型的眼睛位置与由位置检测部13检测到的眼睛位置E一致。另一方面，在图5C中，模型的表示眼睛的特征点P位于比驾驶员的眼睛的更上方，因此模型的眼睛位置与由位置检测部13检测到的眼睛位置E不一致。即，在图5C的状态中，模型的眼睛位置与由位置检测部13检测到的眼睛位置之间产生了偏差。

在人脸检测装置1中，模型拟合部11基于第一图像(即，拍摄部2最初取得的图像)生成第一模型，之后，追踪部12使第一模型适合第二图像(即，在第一模型的生成后由拍摄部2取得的图像)，并与此并行地由位置检测部13基于第二图像检测眼睛位置。眼睛位置比较部14对由追踪部12进行适合处理的第一模型的眼睛位置和由位置检测部13基于第二图像检测到的眼睛位置进行比较，并输出比较结果。基于眼睛位置比较部14的比较结果，在由追踪部12进行适合处理的模型的眼睛位置与由位置检测部13基于第二图像检测到的眼睛位置之间有偏差的情况下，即图5C的状态的情况下，模型拟合部11使用由位置检测部13检测到的眼睛位置重新进行第二模型的生成。通过这种结构，在最初进行了误拟合的情况下或在模型的追踪过程中在模型与实际的人脸之间产生偏差的情况下，能够修正模型并降低模型与实际的人脸的偏差。

图6是对本实施方式所涉及的人脸检测处理的流程进行表示的图。人脸检测装置1在检测到已满足规定的开始条件(例如，驾驶员的落座、驾驶员打开点火钥匙或特定的开关等)时，开始执行图6的流程的人脸检测处理。人脸检测处理的各步骤中使用的图像(即，包括驾驶员的人脸的图像)可以在各步骤的执行时从CPU8向拍摄部2发送信号而拍摄的图像、或者可以是拍摄部2主动地以规定周期拍摄的图像。无论在哪种情况下，由拍摄部2拍摄到的图像都存储在RAM6的帧存储器61中，在各步骤中从RAM6的帧存储器61读出图像。RAM6的帧存储器61中至少保持处理对象的帧及处理对象的帧的前一帧的图像。

首先，人脸检测装置1基于由拍摄部2拍摄到的图像，使用模型拟合部11进行初始模型拟合处理，生成模型(步骤S1)。之后，将下一帧作为处理对象的帧，基于图像及由初始模型拟合处理生成的模型，使用追踪部12进行追踪处理，使该模型适合该图像(步骤S2)。与追踪处理并行地，人脸检测装置l基于与追踪处理使用的相同的处理对象的帧的图像，使用位置检测部13进行眼睛位置检测处理，检测该图像中的眼睛位置(步骤S3)。在本实施方式中，追踪处理和眼睛位置检测处理以相同的周期重复进行，但追踪处理的周期也可以比眼睛位置检测处理的周期短。例如，追踪处理的周期可以是眼睛位置检测处理的周期的1/2或1/3。在此情况下，每进行两次或三次追踪处理进行一次眼睛位置检测处理。

在眼睛位置检测处理(步骤S3)中以处理对象的帧未检测到眼睛位置的情况下，即未检测到眨眼的情况下(步骤S4中为否)，人脸检测装置1将下一帧作为处理对象的帧，进行追踪处理(步骤S2)及眼睛位置检测处理(步骤S3)。

在眼睛位置检测处理(步骤S3)中以处理对象的帧检测到眼睛位置的情况下(步骤S4中为是)，人脸检测装置1使用眼睛位置比较部14进行眼睛位置比较处理，判断在模型的眼睛位置与图像的眼睛位置之间是否产生了偏差(步骤S5)。

在眼睛位置比较处理(步骤S5)中判断为模型的眼睛位置与图像的眼睛位置之间未产生偏差的情况下(步骤S6中为否)，人脸检测装置1将下一帧作为处理对象的帧，进行追踪处理(步骤S2)及眼睛位置检测处理(步骤S3)。在此，在通过初始模型拟合处理将模型设定在临时检测状态的情况下，将临时检测状态解除。这是由于已通过眼睛位置比较处理确认模型的精度足够高。

在眼睛位置比较处理(步骤S5)中判断为在模型的眼睛位置与图像的眼睛位置之间产生了偏差的情况下(步骤S6中为是)，人脸检测装置1基于由位置检测部13检测到的眼睛位置，使用模型拟合部11进行再次模型拟合处理，重新生成模型，即更新模型(步骤S7)。之后，人脸检测装置l将下一帧作为处理对象的帧，进行追踪处理(步骤S2)及眼睛位置检测处理(步骤S3)。在此，在通过初始模型拟合处理将模型设定在临时检测状态的情况下，将临时检测状态解除。这是由于，模型已通过再次模型拟合处理进行了修正，模型的精度得到确保。

从眼睛位置检测处理(步骤S3)起与再次模型拟合处理(步骤S7)的流程独立地，基于在追踪处理(步骤S2)中进行了适合处理的模型，人脸检测装置1使用动作部15进行规定动作的执行(步骤S8)。例如，动作部15可以在追踪处理中进行了适合处理的模型不朝向正面的情况下，判断驾驶员处于心不在焉的状态，并为了警告而从输出部7输出声音或输出消息或光。另外，动作部15可以在追踪处理中进行了适合处理的模型在规定的时间以上处于闭眼状态的情况下，判断驾驶员处于打瞌睡状态，并为了警告而从输出部7输出声音或输出消息或光。另外，动作部15也可以基于心不在焉的状态或打瞌睡状态的判断进行自动制动系统的工作。

在此，在通过初始模型拟合处理将模型设定为临时检测状态的情况下，动作部15可以不进行前述的规定动作，或者也可以进行与前述的规定动作不同的动作。这是由于，在临时检测状态，模型拟合的精度较低，未必是模型与实际的人脸相近似的状态。例如，动作部15也可以在模型被设定成临时检测状态的情况下，进行声音及光的输出，但不进行自动制动的工作。

最后，人脸检测装置1在检测到已满足规定的结束条件(例如，驾驶员的离座、驾驶员关闭了点火钥匙或特定的开关等)时，使人脸检测处理的执行结束(步骤S9中为是)。如果未满足结束条件，则人脸检测装置1将下一帧作为处理对象的帧，进行追踪处理(步骤S2)及眼睛位置检测处理(步骤S3)(步骤S9中为否)。

图7是对本实施方式所涉及的初始模型拟合处理的详细的流程进行表示的图。在初始模型拟合处理中，模型拟合部11从RAM6的帧存储器61取得人脸检测处理开始时的帧的图像(步骤S11)，并基于图像决定模型的初始状态(步骤S12)。模型的初始状态的决定包括：执行模型拟合前的时刻的模型的位置、角度等的决定。本实施方式中的模型的初始状态的决定并不限定于特定的方法，也可以使用神经网络法、AdaBoost法等的任意的人脸及人脸器官的检测方法。

根据本实施方式，能够在再次模型拟合处理(步骤S7)中进行更精确的再次模型拟合。为此，在初始模型拟合处理中，模型的初始状态的精度不一定要高，而是能够使用处理负荷较小的、即处理较快的模型的初始状态。由此，能够在更早的时刻开始模型的追踪。

模型拟合部11使用步骤S12中所决定的模型的初始状态，对步骤S11中所取得的图像进行模型拟合，生成模型(步骤S13)。本实施方式中的模型拟合并不限定于特定的方法，也可以使用AAM(Active Appearance Model)法、ASM(Active Shape Model)法等的任意的模型拟合法。模型拟合部11将通过模型拟合所生成的模型存储在RAM6中。

如上所述，本实施方式所涉及的初始模型拟合处理中的模型的初始状态的精度不高，因此容易发生误拟合。为此，通过初始模型拟合处理所生成的模型作为临时检测状态。模型是否是临时检测状态，被用于动作的执行(步骤S8)的判断中。

模型拟合部11使用步骤S11中所取得的图像及步骤S13中所生成的模型，进行追踪处理中使用的模型及模板的保存(步骤S14)。例如，模型拟合部11将具有图4B所示的包括表示眼眉的特征点P的区域、包括表示眼睛的特征点的区域、包括表示鼻子的特征点的区域、包括表示嘴的特征点的区域及包括表示轮廓的特征点P的区域的模板T保存在RAM6的模板存储器62中，将模型保存在RAM6中。只要能够进行模型的追踪，模板T具有的区域的位置及数目可以任意选择。

图8是对本实施方式所涉及的追踪处理(步骤S2)的详细的流程进行表示的图。在追踪处理中，追踪部12从RAM6取得处理对象的帧的图像、模型及模板(步骤S21)，并进行图像与模板的比较(步骤S22)。具体而言，追踪部12基于从RAM6的帧存储器61所读出的处理对象的帧的图像和从RAM6的模板存储器62所读出的模板，在图像上对模板具有的各区域进行扫描并对各位置处的该区域和该图像进行比较。追踪部12使用比较的结果为最近似的位置来决定模板具有的各区域的位置，并将应用了该位置的模板保存在RAM6的模板存储器62中。之后，追踪部12基于从ROM6所读出的模型和步骤S22中所保存的模板，决定与模板具有的各区域关联的模型的角度、位置及大小，并将应用了该角度、位置及大小的模型存储在RAM6中(步骤S23)。其结果，模型适合(追踪)处理对象的帧的图像。

在本实施方式中，使用模板进行追踪处理，因此，能够以仅仅是对模板和图像进行比较的较低的处理负荷进行追踪。另外，也可以通过不使用模板的方法进行追踪处理。例如，虽然处理负荷变高，但也可以原样直接使用模型进行追踪处理。在此情况下，不需要进行模板的取得(步骤S14、S74)。除此之外，也可以根据要求的精度与处理负荷的平衡而使用任意的追踪方法。

图9是对本实施方式所涉及的眼睛位置检测处理(步骤S3)的详细的流程进行表示的图。位置检测部13从RAM6的帧存储器61取得处理对象的帧的图像和处理对象的帧的前一帧的图像(步骤S31)。眼睛位置检测处理的处理对象的帧与并行进行的追踪处理的处理对象的帧是相同的。

位置检测部13从RAM6读出通过追踪处理(步骤S2)进行了适合处理的模型，并进行步骤S31中所取得的图像内的搜索区域的决定(步骤S32)。位置检测部13基于模型的表示眼睛(即，眼头、眼尾等)的特征点的位置，将该特征点的周边区域决定为搜索区域。搜索区域例如是将以表示眼睛的特征点为基准而向上下左右分别离开了规定的距离的地点包括在内的区域。另外，表示眼睛的特征点的误拟合大多在眼镜框或眉毛等的眼睛的附近的部分发生，因此即使在搜索区域的决定所使用的模型与实际的人脸之间有偏差，实际的人脸的眼睛位于搜索区域内的盖然性也较高。搜索区域需要具有眼睛位于其中的盖然性足够高的形状及大小，其形状及大小能够统计性的决定。

之后，位置检测部13使用步骤S81中所取得的图像，作成步骤S32中所决定的搜索区域的差分图像(步骤S33)。具体而言，位置检测部13在前一帧的图像中的搜索区域与处理对象的帧的图像中的搜索区域之间算出亮度成分的差分。由此，作成例如图10C所示的搜索区域的差分图像。

图10A至图10C是对本实施方式所涉及的眼睛位置检测方法进行表示的示意图。图10A表示驾驶员处于闭眼状态的情况下的图像中的搜索区域A。图10B表示驾驶员处于睁眼状态的情况下的图像中的搜索区域A。图10C表示从图10B的搜索区域A的亮度成分减去图10A的搜索区域A的亮度成分而作成的差分图像。在差分图像中，示出了亮度降低的区域(黑区域B)、亮度上升的区域(白区域C)及亮度几乎不变化的区域。在由于眨眼而从闭眼状态向睁眼状态转移时，在差分图像中在与眼睑对应的位置表现出了较大的黑区域B。为此，位置检测部18将步骤S33中所作成的差分图像中的比规定的面积大的黑区域B决定为眼睛位置，并将该眼睛位置存储在RAM6中(步骤S34)。眼睛位置例如是黑区域B的重心的坐标。另外，在差分图像中不存在比规定的面积大的黑区域B的情况下，位置检测部13判断为在该帧中未进行眨眼，不检测眼睛位置。眼睛位置检测中也可以使用从睁眼状态向闭眼状态的转移，在此情况下，能够将比规定的面积大的白区域C决定为眼睛位置。

另外，国10C示出了示意性的差分图像，但在实际的差分图像中，有时在眼睛以外的部分也表现出多个黑区域B。在此情况下，位置检测部13将具有最大面积的黑区域推定为眼睛。并且，在所推定出的左右眼睛的大小的差异或间隔异常的、例如超出了规定的容许范围的情况下，位置检测部13将下一个具有较大的面积的黑区域推定为眼睛。

在本实施方式所涉及的眼睛位置检测处理(步骤S3)中，通过差分图像来检测眨眼引起的眼睛的变化。为此，能够抑制将眉毛或眼镜框误检测为眼睛位置，能够高精度地推定眼睛位置。另外，基于经追踪的模型限定搜索区域并仅在该搜索范围内进行眼睛位置检测处理，因此能够减轻处理负荷，并且能够降低由眼睛以外的人脸器官带来的噪声而进一步提高眼睛位置的检测精度。本实施方式中使用的眼睛位置的检测方法并不限于此，考虑检测精度和处理负荷而使用能够根据图像而确定鼻子位置的任意的人脸器官检测方法。

帧的取得周期是能够检测人的眨眼的长度，即，在前一帧与处理对象的帧之间，闭眼状态与睁眼状态切换的程度的长度。帧的取得周期的具体的数值能够基于统计或实验来决定，另外也可以是人脸检测装置1基于驾驶员的眨眼频率来决定帧的取得周期。

图11是对本实施方式所涉及的眼睛位置比较处理(步骤S5)中的眼睛位置比较方法进行表示的示意图。眼睛位置比较部14从RAM6取得通过追踪处理(步骤S2)进行了适合处理的模型。另外，眼睛位置比较部14从RAM6取得通过眼睛位置检测处理(步骤S3)检测到的眼睛位置。如图11所示，眼睛位置比较部14基于通过追踪处理进行了适合处理的模型的表示眼头及眼尾的特征点P，将表示眼头及眼尾的特征点P的中点推定为模型的眼睛位置P'。并且，眼睛位置比较部14算出使追踪的模型的眼睛位置P'与通过眼睛位置检测处理检测到的眼睛位置E之间的距离D。在该距离D大于规定的阈值D0的情况下，眼睛位置比较部14判断为在经追踪的模型的眼睛位置与通过眼睛位置检测处理检测到的眼睛位置之间产生了偏差，在不大于的情况下，眼睛位置比较部14判断为在经追踪的模型的眼睛位置与通过眼睛位置检测处理检测到的眼睛位置之间未发生偏差。规定的阈值D0可以考虑所需的再次模型拟合的频率和处理负担而任意设定。

图12是对本实施方式所涉及的再次模型拟合处理(步骤S7)的详细的流程进行表示的图。在再次模型拟合处理中，模型拟合部11从RAM6的帧存储器61取得图像(步骤S71)。再次模型拟合处理的处理对象的帧与追踪处理及眼睛位置检测处理的处理对象的帧是相同的。

接下来，模型拟合部11从RAM6取得通过眼睛位置检测处理(步骤S3)所检测到的眼睛位置(步骤S72)。之后，模型拟合部11使用步骤S72中所取得的眼睛位置作为模型的初始状态，对于步骤S71中所取得的图像进行模型拟合，重新生成模型，即更新模型(步骤S73)。模型拟合部11将通过模型拟合而重新生成的模型存储在RAM6中。在此，作为模型的初始状态，使用通过眼睛位置检测处理检测到的眼睛位置。在眼睛位置检测处理中，如上所述，通过差分图像检测眨眼引起的眼睛的变化，因此能够高精度地确定眼睛位置。通过将该眼睛位置用作模型的初始状态，能够将再次模型拟合处理中的模型的初始状态设定成接近实际的人脸的状态，因此模型拟合的精度提高。

关于再次模型拟合处理中的模型拟合，也与初始模型拟合处理同样地，可以使用AAM(Active Appearance Model)法、ASM(Active Shape Modol)法等的任意的模型拟合法。作为模型的初始状态，除了通过眼睛位置检测处理所检测到的眼睛位置以外，也可以组合通过与初始模型拟合处理同样的神经网络法、AdaBoost法等的任意的人脸及人脸器官的检测方法所决定的模型的初始状态而使用。由此，能够进一步提高模型拟合的精度。

再次模型拟合处理中使用的信息不限于通过差分图像推定出的眼睛位置。本发明的本质在于，与根据图像而生成的模型的追踪并行地根据图像进行人脸器官的位置检测，并基于该人脸器官的位置来修正该模型。即，基于来自一个拍摄部的图像而生成两个不同的信息，并将这些信息互补地使用，由此实现提高人脸检测的精度。其结果是，通过两个不同的信息进行推定结果的复核，因此人脸检测的精度得以改善。只要是能够根据图像确定位置的人脸器官即可，除了眼睛以外，还能够使用鼻子、嘴、耳朵、轮廓等任意的人脸器官，还可以将这些人脸器官中的多个组合使用。

在步骤S73修正了模型后，模型拟合部11使用步骤S71中所取得的图像及步骤S73中所生成的模型，与步骤S14同样地，将追踪处理中使用的模板保存在RAM6的模板存储器62，并将模型保存在RAM6中(步骤S74)。

在本实施方式所涉及的人脸检测处理中，与模型的追踪并行地根据图像进行眼睛位置检测，并使用所推定出的眼睛位置进行再度模型拟合，因此能够修正误拟合及追踪的偏差，能够提高模型的随时间推移的精度。并且，不需要如视线检测器(眼跟踪器)的追加的机构，而使用来自一个拍摄部的图像进行模型的追踪和眼睛位置检测这两者，因此能够抑制为了提高精度而带来的成本的增加。

另外，在本实施方式所涉及的人脸检测处理中，仅在经追踪的模型的眼睛位置与根据图像检测到的眼睛位置有偏差的情况下进行再次模型拟合处理，因此能够省去浪费的处理而抑制处理负荷的上升。

另外，在本实施方式所涉及的人脸检测处理中，眼睛位置检测(处理)需要等待眨眼，因此需要时间，在眼睛位置检测完毕之前进行粗略的初始模型拟合处理，所以，能够在较早的时刻开始模型的追踪，能够缩短等待时间。

另外，本实施方式所涉及的人脸检测处理，通过作成帧间的差分图像来检测眨眼引起的眼睛的变化由此进行眼睛位置的检测，因此能够抑制将眉毛或眼镜框误检测为眼睛位置，能够高精度地推定眼睛位置。此时，基于经追踪的模型的眼睛位置来限定差分图像作成时的图像的搜索区域，因此能够减轻处理负荷。

本发明并不限定于上述的实施方式，在不脱离本发明的主旨的范围内能够适当变更。

为了实现前述的实施方式的功能而将使前述的实施方式的结构动作的程序(例如，进行图6～9、12所示的处理的程序)存储在存储介质，并将存储于该存储介质的程序读出到计算机中，并在计算机中执行的处理方法也包括在前述的实施方式的范围中。即，计算机可读取的存储介质也包括于本发明所涉及的实施方式的范围。另外，前述的程序所存储的存储介质自不用说，该程序本身也包括于前述的实施方式。作为该存储介质，能够使用例如软盘(注册商标)、硬盘、光盘、光磁盘、CD-ROM、磁带、非易失性存储卡或ROM。另外，不限于以前述的存储介质所存储的程序单体执行处理的方式，与其他的软件、扩展卡的功能共同在OS上动作并执行前述的实施方式的动作的方式也包括于前述的实施方式的范围。

前述的实施方式还包括以下的附记。

(附记1)

一种人脸检测方法，其特征在于，包括：

从拍摄单元取得包括人脸的第一图像的步骤；

模型拟合单元基于所述第一图像而生成所述人脸的第一模型的步骤；

从所述拍摄单元取得包括所述人脸的第二图像的步骤；

追踪单元使所述第一模型适合所述第二图像的步骤；

与进行所述适合处理的步骤并行地，位置检测单元基于所述人脸的图像来检测所述人脸的人脸器官的位置的步骤；

比较单元判断在进行所述适合处理的步骤中进行适合处理的所述第一模型中的所述人脸器官的位置与在所述检测的步骤中检测到的所述人脸器官的位置之间是否产生了偏差的步骤；以及

在进行所述判断的步骤中在所述比较单元判断为产生了所述偏差的情况下，所述模型拟合单元基于所述第二图像而生成所述人脸的第二模型的步骤。

(附记2)

如附记1所述的人脸检测方法，其特征在于，

所述人脸器官包括眼睛，

所述位置检测单元，在某一帧的来自所述拍摄单元的图像与前一帧的来自所述拍摄单元的图像之间作成差分图像，并基于所述差分图像而检测所述眼睛的位置。

(附记3)

如附记3所述的人脸检测方法，其特征在于，

所述位置检测单元，基于由所述追踪单元进行了适合处理的所述第一模型的所述眼睛的位置而决定搜索区域，并在所述搜索区域内作成所述差分图像。

(附记4)

如附记l所述的人脸检测方法，其特征在于，

所述第一模型包括表示人脸器官的特征点，

所述模型拟合单元将所述第一图像内的包括所述特征点的区域作为模板而保存，

所述追踪单元基于所述第二图像而决定所述模板的位置，并基于所述模板的被决定的所述位置而使所述第一模型适合所述第二图像。

Claims (6)

1.一种人脸检测装置，用于根据由拍摄部所拍摄的图像进行人脸检测，来检测对象人的粗心驾驶状态，所述图像包括由所述拍摄部所拍摄的区域中的对象人的人脸，所述人脸检测装置的特征在于，具备：

模型拟合部，其基于来自所述拍摄部的第一图像，生成所述人脸的第一模型，

追踪部，其执行使所述第一模型适合来自所述拍摄部的下一图像的追踪处理，

位置检测部，其执行基于所述下一图像通过检测所述对象人的眨眼而检测所述人脸的人脸器官的位置的检测处理，

比较部；

在所述位置检测部基于所述下一图像，因未检测到所述对象人的眨眼而未检测到所述人脸的所述人脸器官的位置的情况下，所述追踪部执行所述追踪处理，并且所述位置检测部执行所述检测处理，

在所述位置检测部基于所述下一图像，因检测到所述对象人的眨眼而检测到所述人脸的所述人脸器官的情况下，所述比较部执行判断由所述追踪部进行适合后的所述第一模型中的所述人脸器官的位置与由所述位置检测部检测出的所述人脸器官的位置之间是否产生了偏差的比较处理，

在所述比较部判断为产生了所述偏差的情况下，所述模型拟合部基于所述下一图像将所述人脸的所述第一模型再次拟合，所述追踪部执行所述追踪处理，并且所述位置检测部执行所述检测处理，

在所述比较部判断为未产生所述偏差的情况下，所述追踪部执行所述追踪处理，并且所述位置检测部执行所述检测处理。

2.如权利要求1所述的人脸检测装置，其特征在于，

所述人脸器官包括眼睛，

所述位置检测部，在某一帧的来自所述拍摄部的图像与前一帧的来自所述拍摄部的图像之间作成差分图像，并基于所述差分图像而检测所述眼睛的位置。

3.如权利要求2所述的人脸检测装置，其特征在于，

所述位置检测部，基于由所述追踪部进行适合处理后的所述第一模型的所述眼睛的位置而决定搜索区域，并在所述搜索区域内作成所述差分图像。

4.如权利要求1所述的人脸检测装置，其特征在于，

所述第一模型包括表示人脸器官的特征点，

所述模型拟合部，将所述第一图像内的包括所述特征点的区域作为模板而保存，

所述追踪部，基于所述下一图像而决定所述模板的位置，并基于所述模板的被决定的所述位置来使所述第一模型适合所述下一图像。

5.如权利要求4所述的人脸检测装置，其特征在于，

所述模板的各区域与一个或两个以上的所述特征点对应，并与所述特征点的坐标关联。

6.一种使用权利要求1所述的人脸检测装置的人脸检测方法。