CN101339609A - 图像处理装置和图像处理方法 - Google Patents

Abstract

本发明公开了用于处理包含面部图像的图像的图像处理装置和图像处理方法，所述图像处理装置包括：规格化单元，其被配置用于规格化包括面部图像的图像，以使面部尺寸变为预定面部尺寸；检测区域设定单元，其被配置用于将小于规格化单元规格化后的图像的区域设定为检测面部的面部部分的位置的检测区域；以及检测单元，其被配置用于检测由检测区域设定单元设定的检测区域中的面部部分的位置。

Description

图像处理装置和图像处理方法

技术领域

本发明涉及用于检测并识别拍摄图像中包含的面部图像的图像处理装置和图像处理方法，并且更具体地涉及用于检测从输入图像中检测到的面部图像的面部部分(诸如眼睛的中心、内侧角和外侧角，鼻子，鼻子的底端和侧面，嘴，嘴的各端、眉毛以及眉毛头和眉毛尾)的位置的图像处理装置和图像处理方法。

更具体地，本发明涉及用于使用采用了统计学习算法(诸如Adaboost)的检测器检测面部图像的面部部分的位置的图像处理装置和图像处理方法，并且更具体地涉及用于通过使用较少计算量和存储量的面部检测来检测被检测的面部图像的面部部分的位置(诸如眼睛)的图像处理装置和图像处理方法。

背景技术

面部识别技术可广泛应用于人机接口，诸如不会给用户增添负担的个人身份认证系统和性别确定系统。近年来，面部识别技术已经被用于数码相机中针对对象检测或对象识别的自动化相机操作中，例如，自动聚焦(AF)、自动曝光(AE)、自动视角设定或者自动拍照。

在面部识别系统中，例如，执行用于检测面部图像的位置并将被检测的面部图像作为被检测的面部提取出来的面部检测、用于从被检测面部中检测面部主要部分的面部部分检测以及用于识别被检测面部(确定人物)的面部识别。在面部检测中，从输入图像中检测面部图像的尺寸和位置，并且提取被检测的面部图像作为被检测面部。在面部部分检测中，从被检测面部中检测面部部分。面部部分包括眼睛的中心、内侧角和外侧角，鼻子，鼻子的底端和侧面，嘴、嘴的各端、眉毛以及眉毛头和眉毛尾。在基于被检测面部部分的被检测位置执行位置调整和旋转补偿之后，在面部识别中，执行被检测面部的识别(人物的确定)。

已经提出了许多仅仅使用图像信号的浓淡图案从复杂图像场景中检测面部的方法。例如，采用诸如Adaboost的统计学习算法的检测器可用于上述面部检测。

Adaboost被Freund等人于1996年提出作为一种理论，其中通过组合许多“执行稍稍优于随机猜测的弱分类器(也被称为弱学习机)”可以得到“强分类器”。每个弱分类器可以是诸如哈尔基函数(Haar basisfunction)的滤波器并且按照为先前生成的弱分类器所不擅长的分类结果分配权重α的方式而生成。得出每个弱分类器的可信赖度，并且基于所得出的每个弱分类器的可信赖度，执行多数票决(majority vote)。

这里，可以假定在输入图像中包括各种尺寸的面部(参见图9)。因此，有必要切割出各种尺寸的搜索窗口，以便确定在每个切割出的搜索窗口中是否包含面部。

作为处理图像的分辨率和被检测面部的尺寸之间的关系问题的方法，存在固定图像的分辨率的方法(即，针对输入图像中包含的各种尺寸的面部而准备各种面部检测器的方法)以及固定被检测面部的尺寸的方法(即，以不同方式减小输入图像的分辨率以利用具有固定的可检测的面部尺寸的单个面部检测器进行检测的方法)。后者比前者更现实。通常，从通过变换输入图像的比例而得到的每个图像切割出具有与学习样本相同尺寸的窗口(下文中也被称为“搜索窗口”)，以便对不同尺寸的搜索窗口进行搜索。也就是说，因为输入图像中包含的面部的尺寸是不能确定的，所以有必要在每次输入图像的分辨率被改变时使面部检测器对输入图像进行扫描。对于通过改变输入图像的分辨率得到的每个图像，只有尺寸接近图像检测器的固定的可检测的面部尺寸的面部才可以被检测(参见图10)。

然而，例如，由320×240像素构成的输入图像包括大约5000个尺寸的搜索窗口，并且弱鉴别器要花费很长时间来对所有窗口尺寸执行算术运算。因此，已经提出了一些用于提高弱鉴别器的算术运算速度的方法。

例如，公知的是利用矩形特征和称为积分图像的图像快速计算弱假设的方法(参见，例如，美国未审查专利申请公开No.2002/0102024以及Paul Viola编写的“利用具有简单特征的Boosted Cascade进行快速对象检测”(Rapid Object Detection using a Boosted Cascade of Simple Features)(CVPR 2001))。

此外，公开了一种对象检测装置，其中，当进行多数票决时，即使在计算过程中也利用所得到的计算结果将窗口图像确定为非对象，而不等待所有弱鉴别器都单独输出计算结果，然后取消进一步的计算。在这种对象检测装置中，用于取消计算的阈值在学习会话中被学习(参见，例如，日本未审查专利申请公开No.2005-157679)。结果，检测对象过程中的计算量可以明显减少。

发明内容

一种采用了Adaboost算法的检测器可以只利用复杂图像场景的图像信号的浓淡图案从该场景中检测面部。本发明的发明人考虑到这种检测器也可应用于面部部分的检测。

如果在图10中所示的面部检测方法被用于面部部分检测，则需要在面部图像的分辨率被改变时使具有固定尺寸的面部检测器对从输入图像检测到的每个面部图像进行扫描(参见，例如，图11)。也就是说，由面部图像检测器所检测到的每个面部图像的分辨率被改变，并且面部图像被面部部分检测器扫描，以便仅仅具有接近面部部分检测器的固定尺寸的分辨率的面部部分被检测。

然而，在这种面部部分检测方法中，需要改变从输入图像中提取的每个面部图像的分辨率，并使面部部分检测器在面部图像的分辨率每次被改变时对所提取的面部图像进行扫描。这导致消耗很大的计算量和存储量。

期望提供能够从检测自输入图像的面部图像中检测面部部分(诸如，眼睛的中心、内侧角和外侧角，鼻子，鼻子的底端和侧面，嘴、嘴的各端、眉毛以及眉毛头和眉毛尾)的位置的良好图像处理装置和良好图像处理方法。

还期望提供能够使用采用了诸如Adaboost的统计学习算法的检测器从面部图像中检测面部部分的位置的良好图像处理装置和良好图像处理方法。

还期望提供能够通过利用较小的计算量和存储量的面部检测来检测面部图像的诸如眼睛的面部部分的位置的良好图像处理装置和良好图像处理方法。

根据本发明的实施例的图像处理装置处理包含面部图像的图像。该图像处理装置包括：规格化单元，其被配置用于规格化包括面部图像的图像，以使面部尺寸变为预定面部尺寸；检测区域设定单元，其被配置用于将小于规格化单元规格化后的图像的区域设定为检测面部的面部部分的位置的检测区域；以及检测单元，其被配置为用于检测由检测区域设定单元设定的检测区域中的面部部分的位置。

作为仅仅利用图像信号的浓淡图案而从复杂图像场景中检测面部的方法，已知一种利用采用了诸如Adaboost的统计学习算法的检测器的方法。由于假定输入图像包括各种尺寸的面部，因此，已知以不同方式改变输入图像的分辨率而使得具有固定的可检测的面部尺寸的单个检测器在每次面部图像的分辨率被改变时执行面部检测的方法。

用于进一步从通过面部检测所检测到的面部图像中检测面部部分(诸如眼睛)的位置的处理基本与用于仅仅利用图像信号的浓淡图案从复杂图像场景中检测面部图像的处理相对应。因此，可以考虑一种利用上述诸如Adaboost的统计学习算法的面部部分检测方法。

然而，为了解决图像的分辨率和被检测面部的尺寸之间的关系，有必要以不同方式改变通过面部检测所得到的面部图像的分辨率并且使面部部分检测器在每次面部图像的分辨率被改变时执行扫描。这导致很大的计算量和存储量。替代地，存在一种准备多个具有不同尺寸的面部部分检测器来替代以不同方式改变面部图像的分辨率的方法。然而，这种方法不实际。

因此，在根据本发明的实施例的图像处理装置和图像处理方法中，利用通过在面部部分检测执行前执行面部检测可以确定面部的大致尺寸这一事实，将通过面部检测得到的面部图像放大或者缩小，以使在该面部图像中包含的目标面部部分的尺寸变成面部部分检测器可检测的适当尺寸。也就是说，面部图像被预先规格化，以便使目标面部部分的分辨率与面部部分检测器的分辨率相同。之后，仅仅利用固定尺寸的面部部分检测器，从规格化后的面部图像中检测面部部分。

因此，根据本发明的实施例，面部部分检测器仅扫描包括面部检测器所检测到的被检测面部的图像在内的单个规格化后的面部图像。即，无须以不同方式改变每个被检测面部的分辨率并在每次改变分辨率时执行扫描。因此，可以明显减少所需的计算量和存储量。而且，由于可以减少扫描操作的数量，因此可以提高面部部分检测的速度。

根据本发明的实施例的图像处理装置快速地检测目标面部部分(诸如眼睛)的位置。检测区域设定单元将小于规格化后的面部图像的区域设定为检测眼睛的位置的检测区域。

所述检测单元将检测区域中包含的至少两个像素的辉度水平之间的差定义为弱假设，并且利用最后假设来检测检测区域中面部部分的位置，所述最后假设是利用通过统计学习预先得到的弱假设定义的。

更具体地，在例如由24×24像素构成的检测单元的应用区域中，该检测单元设定多个具有两个像素的组(例如，仅几百组)，其中每组的两个像素之间存在允许容易提取诸如眼睛的面部部分的特征的辉度水平差，所述检测单元计算所述多个具有两个像素的组中的每组中的两个像素之间的辉度水平差，将计算结果定义为针对这两个像素的弱假设，并且利用通过统计学习预先得到的弱假设定义最后假设。被定义的弱假设组被登记作为面部部分检测词典，其中每个弱假设是在24×24像素中包含的两个像素的辉度水平之间的差。

利用具有与经规格化单元规格化的面部图像的分辨率相同的分辨率的面部图像，执行所述统计学习。

在检测面部部分时，采用了上述面部部分检测词典的检测器对通过面部检测器检测到的面部图像进行扫描。在每个扫描位置，计算所述多个具有两个像素的组中的每组中包含的两个像素的辉度水平之间的差。判断计算结果是否与针对两个像素的弱假设匹配。基于该判断结果确定针对两个像素的得分。基于针对所有定义了弱假设的具有两个像素的组的得分总和，可以判断扫描位置是否是目标面部部分的位置。

如前面所述，在本发明中，面部图像的尺寸被预先规格化成预定尺寸。因此，仅仅利用具有固定尺寸(例如，24×24像素)的面部部分检测器就可以从规格化后的面部图像检测面部部分。由于检测区域设定单元将小于规格化后的面部图像的区域设定为用于面部部分的检测区域(例如，当检测左眼时，将小于面部图像并且其中左眼可能存在的区域，而非面部图像的整个区域设定为检测器的扫描区域)，可以降低面部部分检测所需的计算量和存储量。结果，可以快速地检测目标面部部分的位置。

如果执行统计学习而使得目标面部部分的得分成为正值，则检测单元可以确定所有扫描位置中具有最大正值的一个位置为目标面部部分的位置。

为了计算每个扫描位置的得分，必须获得所有定义了弱假设的具有两个像素的组中包含的两个像素的辉度水平之间的差。当存在几百个弱假设时，如果针对面部部分检测区域的整个区域执行得分计算，则需要很大的计算量和存储量。另一方面，在增加弱假设的数目的过程中，可以估计扫描位置是否有可能为目标面部部分的位置。

在此情况中，可以通过统计学习设定得分极限值，以减少面部部分检测器执行计算的弱假设的数目，所述得分极限值表示扫描位置不再有任何可能是目标面部部分的位置，并且所述得分极限值与弱假设的数目相关联。可以基于与弱假设的数目相关联的最低得分设定所述极限值，所述与弱假设的数目相关联的最低得分是从所有输入的学习数据获得的。在计算某一扫描位置的得分期间，将从某一数量的弱假设获得的得分与相应的极限值相比较。如果得分小于相应的极限值，则可以认为该扫描位置几乎不可能是目标面部部分的位置。因此，取消随后的得分计算，并返回表示该扫描位置不是目标面部部分位置的结果。

不要求检测单元对面部部分检测区域(小于整个面部图像区域的区域)中的所有点(X，Y)进行扫描。通过稀疏化要执行得分计算的扫描位置而执行高速扫描，从而可以减少面部部分检测所需的处理时间。

如果在某个扫描位置计算出高得分，则该扫描位置或者相邻的扫描位置为目标面部部分的位置的可能性很大。然而，在上述每隔一个点进行扫描的高速扫描中，面部部分检测的间隔尺寸很粗。

因此，如果在一个扫描位置计算出高于预定值的得分，则还在相邻扫描点执行得分计算(在缺省情况下不在所述相邻点执行得分计算)，以便将具有最大正得分的位置设定为目标面部部分的位置。结果，可以提高处理速度，并且保持检测的准确性。

目标面部部分是左眼和右眼中的一个。规格化单元基于由检测单元检测出的双眼的位置对从输入单元输入的面部图像的位置、尺寸和角度进行规格化，并且使用规格化结果用于面部识别或者其它应用。

也可以考虑利用关于除了眼睛以外的面部部分的信息来规格化面部图像的方法。然而，与其它面部部分相比，利用双眼的位置可以更准确地规格化面部图像，这是因为不同人的左右眼之间的距离的差别是很小的。

根据本发明的实施例，提供了一种能够利用采用了诸如Adaboost的统计学习算法的检测器检测面部图像的面部部分的位置的良好的图像处理装置和良好的图像处理方法。

根据本发明的实施例，还提供了一种能够利用较少计算量和存储量检测通过面部检测检测到的面部图像的面部部分(诸如眼睛)的良好的图像处理装置和良好的图像处理方法。

由于根据本发明的实施例的图像处理装置预先将面部图像的尺寸规格化成预定尺寸，所以其可以仅仅利用具有固定尺寸的面部部分检测器从规格化后的面部图像中检测面部部分。此外，由于检测区域设定单元将小于规格化后的面部图像的区域设定为对于面部部分的检测区域(例如，当检测左眼时，将小于面部图像并且其中左眼可能存在的区域，而非面部图像的整个区域设定为检测器的扫描区域)，因此可以降低面部部分检测所需的计算量和存储量。结果，可以快速地检测面部部分的位置。

根据本发明的实施例的图像处理装置，通过统计学习设定针对弱假设的数目的得分极限值。在某个扫描位置的得分计算中，当从某一数目的弱假设得到的得分小于对应的极限值时，取消随后的得分计算。结果，可以降低得分计算所需的成本，并且可以提高面部部分检测的速度。通过稀疏化要执行得分计算的扫描位置，以及在计算出高得分的扫描位置附近执行得分计算而不稀疏化扫描位置，可以显著减少计算量以实现快速面部部分检测并可以防止检测准确度降低。

从基于下面的本发明的实施例和附图的更详细的描述，本发明的其它目的、特征和优点将会变得很明显。

附图说明

图1是示意性地示出根据本发明的实施例的面部识别系统的整个配置的示图；

图2是示出面部图像规格化的示图，面部图像规格化被预先执行，以便利用在面部检测中可得到大致尺寸的面部的事实而在进行检测之前使左右眼的分辨率与眼睛检测器的分辨率相同；

图3是示意性地示出规格化面部图像和执行面部部分检测的处理的流程图；

图4A是示意性地示出在规格化面部图像之后由左眼检测器执行的扫描的示图；

图4B是示意性地示出使用左眼检测器对规格化后的面部图像进行扫描的示图；

图5A是示出在由24×24像素构成的左眼检测器中设定多个具有两个像素pix1(t)和pix2(t)的组的示图，所述两个像素之间存在使得能够容易地提取眼睛特征的辉度水平差；

图5B是示出用于面部部分检测的词典的示例性配置的示图；

图5C是示出伪程序代码形式的面部部分检测器的配置的示图；

图5D是示出作为面部图像中预定面部部分检测区域中的两个像素的辉度水平之间的差的弱假设的定义的示图；

图6A是示出基于从所有的输入学习数据中得出的与弱假设的数目相关联的最低得分设定极限值的示图；

图6B是示出取消得分低于极限值的弱假设数处的得分计算的示图；

图7是示出在面部部分检测区域中执行的高速扫描的示图；

图8是示出基于面部图像的尺寸而执行的对被检测的面部图像进行规格化的结果以及基于眼睛的位置而执行的对规格化后的面部图像的位置、尺寸和角度进行规格化的结果的示图；

图9是示出包含各种尺寸的面部的输入图像；

图10是示出当改变输入图像的分辨率时利用面部检测器对输入图像进行扫描的示图，所述扫描被执行用于仅对具有接近面部检测器的尺寸的面部进行检测；以及

图11是示出当改变面部图像的分辨率时利用面部部分检测器对面部图像进行扫描的示图，所述扫描被执行用于仅对具有接近面部部分检测器的分辨率的面部部分进行检测。

具体实施方式

下面将参考附图更详细地描述本发明的实施例。

图1是示意性地示出根据本发明的实施例的面部识别系统的整个配置的示图。在该图中所示的面部识别系统1包括图像缩小器11、面部检测器12、眼睛位置检测器13、面部识别器14和用于存储多个图像的存储器(SDRAM)15。面部检测器12、眼睛位置检测器13和面部识别器14中的每个包括本地存储器(SDRAM)。例如，由数码相机捕获的图像被输入面部识别系统1，并且从面部识别系统1输出指示所捕获的人的图像是否与预先存储的图像相同(是/否)的标记。

图像缩小器11将输入图像的水平和垂直尺寸减小到1/2以创建经过缩小的图像，并且将经过缩小的图像和原始输入图像存储到SDRAM(同步DRAM)15中。在图1所示的示例中，图像缩小器11创建三种图像：作为输入图像的图像1，通过将输入图像的水平尺寸和垂直尺寸减小到1/2得到的图像1/2，以及通过将输入图像的水平尺寸和垂直尺寸减小到1/4得到的图像1/4，并且将所创建的图像存储到SDRAM 15中。

从计算的准确性角度来考虑，在创建缩小的图像时，期望直接从输入图像创建图像1/2和图像1/4。然而，从硬件尺寸的角度来考虑，可以使用重复执行将图像缩小到其原始图像的一半的方法，也就是，从输入图像(图像1)创建图像1/2，之后从图像1/2创建图像1/4。

面部检测器12从存储在SDRAM 15中的输入图像和所有经过缩小的图像中的每个当中检测面部，并且获取所检测到的面部的尺寸和位置。如果不考虑处理速度，则通过对图像的整个区域执行面部检测可以很容易地得到面部位置。另一方面，在检测各种尺寸的面部的情况中，作为处理图像的分辨率和被检测面部的尺寸之间的关系问题的方法(参见图9)，可以考虑以下方法：固定图像的分辨率的方法(即，针对输入图像中包含的各种尺寸的面部而准备各种面部检测器的方法)以及固定被检测面部的尺寸的方法(即，以不同方式减小输入图像的分辨率以利用具有固定的可检测的面部尺寸的单个面部检测器进行检测的方法)。后者比前者更现实。因此，正如图1所示，面部检测器12检查在图像1以及由图像缩小器创建的图像1/2和图像1/4中的每个中的24×24像素的区域中是否存在面部。

例如，如果缩小比例的量(诸如1/2和1/4)太小以至于不能准确执行面部检测，图像缩小器11还可利用7/8、6/8和5/8的各种减小比例创建图像7/8、6/8和5/8，并且面部检测器12可对每个所创建的图像执行面部检测。

为了在面部检测中执行特征提取，可以使用像素差的方法。在此方法中，从24×24像素中选择多个具有两个像素的组，所述两个像素之间存在允许容易提取面部特征的辉度水平差，并且在所述多个具有两个像素的组的每组中得出两个像素的辉度水平之间的差。Adaboost算法可用于计算分类器。

作为对从面部图像中识别面部的准备，眼睛位置检测器13指定左右眼的位置，以通过增加由面部检测器12检测到的面部图像的分辨率来规格化(normalize)图像中包含的面部。也就是，眼睛位置检测器13检测眼睛的位置，以基于通过面部检测检测到的面部图像的面部的尺寸和位置，获得通过增加面部图像的分辨率而得到的图像中所包含的面部的尺寸、位置和角度。

在本发明的具体实施例中，从面部图像中检测左右眼作为面部部分。这是因为不同人的左右眼之间的距离的差别是很小的。应当注意，可以检测各种面部部分，诸如眼睛的中心、内侧角和外侧角，鼻子，鼻子的底端和侧面，嘴，嘴的各端、眉毛以及眉毛头和眉毛尾。

与面部检测的情形类似，像素差方法可用于检测双眼位置时的特征提取。类似面部检测器12，眼睛位置检测器13在相同的24×24像素的区域中执行像素差方法。因此，利用与由面部检测器12使用的相同的硬件，可以实现继续处理。Adaboost算法可以用于计算分类器。

在由24×24像素构成的检测器中，选择多个具有两个像素的组(例如仅选择几百个具有两个像素的组)，所述两个像素之间存在允许容易提取眼睛特征的辉度水平差。所述多个具有两个像素的组中的两个像素之间的辉度水平差被定义为弱假设，并且利用预先通过统计学习得到的弱假设来定义最后假设。这样，在眼睛检测器中使用弱假设组，并将该弱假设组登记为面部部分检测词典，该组弱假设中的每个弱假设是在24×24像素中包含的两个像素的辉度水平之间的差。在进行检测时，使由24×24像素构成的像素检测器对由面部检测器12检测到的面部图像进行扫描。在每个扫描位置，计算定义弱假设的两个像素的辉度水平之间的差。判断计算结果是否与弱假设匹配。基于判断结果，确定得分。所有所述具有两个像素的组的得分总和被定义为最后假设。基于最后假设，可以判断扫描位置是否为眼睛位置。

本发明的特征在于面部部分(诸如眼睛、嘴或者鼻子)的位置被快速检测。稍后具体描述面部部分的检测，例如，双眼位置的检测。

面部识别器14从由眼睛位置检测器13指定了左右眼位置的面部图像中得到面部的尺寸、位置和角度以规格化由面部检测器12检测到的面部图像，将经过规格化的面部图像存储到60×66像素的SRAM中，并且判断经过规格化的面部图像是否与所登记的图像相同。

还可以考虑利用关于双眼以外的面部部分的位置的信息规格化面部图像的方法。然而，与其它面部部分相比，利用双眼的位置可以更准确地规格化面部图像，这是因为不同人的左右眼之间的距离的差别是很小的。

Gabor滤波可应用于由面部识别器14执行的面部识别中的特征提取。已知存在对特定方向具有选择性的人的视觉细胞。所述细胞包括响应垂直线的细胞和响应水平线的细胞。类似地，Gabor滤波器是由具有方向选择性的多个滤波器形成的空间滤波器。

Gentleboost被用于在面部识别器14中执行的分类器的计算。获得利用Gabor滤波器对经过规格化的面部图像执行处理的结果与利用Gabor滤波器对预先登记的图像执行处理的结果之间的相似程度。针对所述相似度执行Gentleboost，以判断面部图像是否与所登记的图像匹配。

如前面所述，作为仅仅利用图像信号的浓淡图案从复杂图像场景中检测面部的方法，可以使用采用了诸如Adaboost的统计学习算法的面部检测器12。由于假定输入图像包括各种尺寸的面部，因此输入图像的分辨率被按照不同方式改变，从而使得具有固定的可检测的面部尺寸的单个检测器在每次面部图像的分辨率被改变时执行面部检测(参见图10)。

用于检测作为面部部分的左右眼的位置的眼睛位置检测器13使用像素差方法用于特征提取，并且眼睛位置检测器13是采用了诸如Adaboost的统计学习算法的检测器。

在检测双眼的位置时，为了解决图像的分辨率和被检测面部的尺寸之间的关系，有必要改变通过面部检测器12所检测到的面部图像的分辨率并且使面部部分检测器在每次面部图像的分辨率被改变时执行扫描(参见图11)。在这种情况中，需要很大的计算量和存储量。替代地，可以考虑一种准备多个具有不同尺寸的面部部分检测器来替代上述改变面部图像的分辨率的方法。然而，这种方法不实际。

在本实施例中，利用在面部检测器12执行面部检测时可得到面部的大致尺寸这一事实，面部图像被预先规格化，以便左右眼的分辨率与眼睛检测器的分辨率相同。

更具体地，如果眼睛检测器的尺寸为24×24像素，则面部图像被规格化以使面部图像的尺寸为80×80像素。在这种情况中，仅仅利用具有24×24像素的固定尺寸的单个眼睛检测器，就可以从规格化后的80×80像素的面部图像中检测出眼睛的位置。也就是说，如图2所示，如果从面部检测器12输出的面部图像很大，则面部图像被预先规格化以使该面部图像的分辨率与眼睛检测器的分辨率相同。另一方面，如果面部图像很小，则面部图像被放大。结果，不需要对具有多个分辨率的图像进行扫描。这使得能够进行快速眼睛检测。

图3是示意性地示出规格化面部图像和检测作为面部部分的眼睛的处理的流程图。

关于要被处理的图像中包含的面部的尺寸和位置的信息被从面部检测器12输入(步骤S1)。在准备眼睛检测时，首先，面部图像被规格化以使面部的尺寸变成预定尺寸(例如，面部的每边为80像素)(步骤S2)。

之后，规格化后的面部图像中包括眼睛的区域被设定作为眼睛检测区域，并且眼睛检测器在该眼睛检测区域中执行扫描(步骤S3)。

眼睛检测器执行像素差方法，并且Adaboost算法被用于计算分类器。例如，眼睛检测器的尺寸为24×24像素，而面部图像的尺寸为80×80像素。

在24×24像素的区域中，眼睛检测器设定多个具有两个像素的组(例如，仅设定几百个具有两个像素的组)，所述两个像素之间存在允许容易提取眼睛特征的辉度水平差，眼睛检测器将所述多个具有两个像素的组的每组中的两个像素的辉度水平的差定义为弱假设，并且利用通过预先执行的统计学习得到的弱假设定义最后假设。这里，统计学习被执行以使眼睛(目标面部部分)的得分成为正值。在眼睛检测区域中的每个扫描位置，在所述多个具有两个像素的组的每组中计算定义弱假设的两个像素的辉度水平之间的差。确定计算结果是否与弱假设匹配，以确定得分。如前面所述的得分总和被存储作为扫描位置处的得分。

在眼睛检测器完成对预定的眼睛检测区域的扫描之后，具有最大正得分的扫描位置被设定为眼睛位置(步骤S4)。在面部部分检测器的统计学习被执行以使目标面部部分的得分成为正值的情况中，具有最大正得分的位置可以被考虑作为目标面部部分的位置。

正如前面所述，双眼中一个的位置被检测。之后，双眼中另一个的位置类似地通过执行从步骤S3到步骤S4的处理而被检测(步骤S5)。

在双眼的位置已经被检测之后，执行对面部位置的规格化(步骤S6)。在面部位置的规格化中，执行面部的缩放和旋转以使眼睛被调整到预先确定的模型眼睛位置。结果，面部图像被得到并且被用于随后阶段中的应用，例如，面部识别应用。

图4是示意性地示出由左眼检测器执行的对规格化后的面部图像的扫描的示图。

正如图4所示，假定具有各种分辨率的面部图像被从面部检测器12输出。在检测诸如左眼的面部部分时，首先，面部图像的尺寸被规格化到预先确定的尺寸，例如，80×80像素的尺寸。左眼检测器扫描规格化后的面部图像。左眼检测器将至少两个像素的辉度水平之间的差定义为弱假设，并且通过组合许多弱假设得到最后假设。

在该示例中，面部图像的尺寸被规格化为80×80像素。然而，左眼检测器可以不扫描规格化后的面部图像的整个区域。正如图4B对角阴影化的区域所示，左眼有可能存在的区域被预先设定为左眼检测区域。此面部部分检测区域是比规格化后的面部图像小的固定区域。

面部图像的尺寸为80×80像素，而眼睛检测器的尺寸为24×24像素。在采用了Adaboost的左眼检测器中，执行统计学习以在左眼位置得到正得分。因此，可以认为具有最大正得分的位置为目标面部部分的位置，所述具有最大正得分的位置是在左眼检测器在X和Y方向对上述左眼检测区域进行扫描之后得到的。

左眼检测器不需要扫描左眼检测区域中的所有点(X，Y)。通过适当地稀疏化扫描位置，可以减少检测所需的处理时间。这将在下面具体描述。

正如图1所示，如果在之后的阶段中，执行用于识别将面部图像识别为面部的处理作为应用，则进行用于面部识别的准备。在用于面部识别的准备中，利用由用作面部部分检测器的眼睛检测器执行的双眼检测结果，基于通过面部检测检测到的面部图像中的面部的尺寸和位置，获得通过增加面部图像的分辨率得到的图像中的面部的尺寸、位置和角度。在本发明的具体实施例中，左右眼被从面部图像中检测作为面部部分。这是因为不同人的左右眼之间的距离的差别是很小的。例如，正如前面所述，如果面部图像的尺寸被规格化为80×80像素的尺寸，则每个眼睛的宽度为10到15像素，同时双眼之间的大致距离为16像素。

图5示出左眼检测器的示例性配置。由24×24像素构成的左眼检测器执行像素差方法，并且使用Adaboost算法执行分类器的计算。

正如图5A所示，在由24×24像素构成的左眼检测器中，设定了多个具有两个像素pix1(t)和pix2(t)的组，所述两个像素之间存在允许容易提取眼睛特征的辉度水平差。针对所述每个具有两个像素pix1(t)和pix2(t)的组，定义表示两个像素的辉度水平之间的差小于阈值θ(t)的弱假设。利用通过统计学习预先得到的弱假设，定义最后假设。这里，执行统计学习以使左眼的得分成为正值。表示弱假设的公式如下。

$h\left(t\right)\{\begin{array}{c}\mathrm{pix}1\left(t\right)-\mathrm{pix}2\left(t\right)<\mathrm{\&theta;}\left(t\right)\\ \mathrm{true}:h\left(t\right)=1\\ \mathrm{false}:h\left(t\right)=-1\end{array}$

统计学习是利用具有与规格化后的面部图像相同分辨率的面部图像而执行的。

基本上，针对一组两个像素定义一个弱假设，所述两个像素之间存在允许容易提取眼睛特征的辉度水平差。然而，从各个具有两个像素的组提取不同程度的眼睛特征。因此，权重α(t)被分配给具有两个像素pix1(t)和pix2(t)的组。

因此，例如，用于左眼检测的词典包含关于像素pix1(t)和pix2(t)的位置的多条信息、用于这些像素的辉度水平之间的差的阈值θ(t)以及权重α(t)(参见图5B)。此词典是利用Adaboost准备的。

在检测时，计算两个像素pix1(t)和pix2(t)的辉度水平之间的差，确定是否满足pix1(t)-pix2(t)＜θ(t)的假设，并且当假设为真(true)和假(false)时，分别返回h(t)＝1和h(t)＝-1的响应。

以权重α(t)乘以弱假设h(t)以得到针对两个像素pix1(t)和pix2(t)的得分。针对所有具有两个像素的的组的得分总和被定义为扫描位置的最后假设。正如在下面的公式中所述，如果执行统计学习以使眼睛的得分成为正值，则可以认为具有最大正得分的位置是目标面部部分的位置，所述具有最大正得分的位置是在左眼检测器在X和Y方向对左眼检测区域扫描之后得到的。

图5C以程序代码形式示出面部部分检测器的配置。

首先，在扫描位置得分的值被初始化为0。

计算定义弱假设的两个像素pix1(t)和pix2(t)的辉度水平之间的差，以确定是否满足pix1(t)-pix2(t)＜θ(t)的假设。如果弱假设为真，则返回h(t)＝1的响应。如果弱假设为假，则返回h(t)＝-1的响应。通过弱假设h(t)乘以权重α(t)得到的值h(t)α(t)作为针对两个像素pix1(t)和pix2(t)的得分。h(t)α(t)的得分被添加到得分上。

针对所有所述具有两个像素的组中的每个组，上述得分计算被重复执行N次。所得到的得分作为扫描位置的得分(N为所有弱假设的数目，例如，几百个值)。

执行统计学习以使眼睛的得分成为正值。因此，如果得分为正值，则返回表示扫描位置是目标面部部分位置的真响应。如果得分不是正值，则返回表示扫描位置不是目标面部部分位置的假响应。

图5D示出作为面部图像中预定面部部分检测区域中两个像素的辉度水平之间的差的弱假设(弱学习机：WL)的定义的示图。在该图中，示出了弱假设数目为2、50、100和500的示例。应当注意，对面部图像执行浓淡处理，以防止侵犯肖像权。

正如图5B和图5D所示，面部部分检测器(例如，左眼检测器)包括作为几百个具有两个像素的组中的两个像素的辉度水平之间的差的多个弱假设。为了计算扫描位置的得分，有必要得到所有组的两个像素的辉度水平差。如果在所有扫描位置的得分都被计算，则需要很大的计算量和存储量。

因此，由面部部分检测器计算的弱假设的数目可以通过统计学习来减少。在本实施例中，正如前面所述，执行统计学习以使目标面部部分的得分成为正值。在这样的情况中，在检测时，如果即使在弱假设的数目已经被增加到某个数目后也不能得到正得分，则通过统计学习得到“极限值”，“极限值”表示即使继续得分计算也不能执行对目标面部部分的评价或确定。

该极限值可以是基于从所有的输入学习数据得到的与弱假设数目相关联的最低得分而设定的(参见图6A)。在计算某个扫描位置的得分期间，从某一数目的弱假设得到的得分被与对应的极限值比较。如果得分低于对应的极限值(参见图6B)，则可以认为该扫描位置几乎不可能是目标面部部分的位置。因此，取消随后的得分计算，并且返回表示扫描位置不是目标面部部分的位置的结果。

左眼检测器不需要对左眼检测区域中的所有点(X，Y)进行扫描。借助通过减少要执行得分计算的扫描位置而执行的高速扫描，可以减少面部部分检测所需的处理时间。

图7示出在面部部分检测区域中执行的高速扫描。在该图中，缺省扫描位置由向左倾斜的阴影线指示。在所示出的示例中，在水平方向(x方向)每隔一点设定缺省扫描位置，并且在垂直方向(y方向)每隔一行设定扫描线(每隔一点执行扫描的线)。

如果在某个扫描位置计算出高得分，则该扫描位置或者相邻的扫描位置是目标面部部分的位置的可能性很大。然而，在上述每隔一点执行扫描的高速扫描中，面部部分检测的间隔尺寸很粗。

因此，如果在扫描位置计算出高于预定值的得分，则还对与该扫描位置相邻的扫描位置执行得分计算，以便将具有最高得分的位置设定为目标面部部分的位置，所述相邻扫描位置的得分计算在缺省情况下是不执行的。因此，可以提高处理速度，并可以保持检测准确度。

在图7所示的示例中，计算出高得分的扫描位置以交叉阴影线表示。在相邻位置(由向右倾斜的阴影线指示)，该扫描位置右侧的位置、该扫描位置底下的位置以及该扫描位置右下方的位置，得分计算也被执行。

通过执行图7所示的高速扫描，利用在对所有扫描位置执行得分计算的情况中所需的计算量的四分之一就可以检测出目标面部部分，同时防止检测准确度的降低。

要从面部图像检测的面部部分的示例包括左右眼。正如图1所示，面部识别系统1设有作为面部部分检测器的眼睛位置检测器13。基于由眼睛位置检测器13检测出的双眼的位置，由输入单元输入的面部图像的位置、尺寸和角度被规格化。规格化后的面部图像经受由面部识别器14执行的面部识别(前面所描述的)，或者可用于其他利用被检测面部的应用(未示出)。

图8示出基于面部图像的尺寸而执行的规格化被检测面部图像的结果、以及基于规格化后的面部图像中眼睛的位置而执行的对规格化后的面部图像的位置、尺寸和角度进行规格化的结果。从该图可以理解，通过对每个面部区域图像执行眼睛检测并基于检测结果规格化面部区域图像，随机取向的面部可以被准确地对准。

可以考虑使用关于双眼以外的另一面部部分的位置的信息来规格化面部图像。然而，与其它面部部分比较，使用双眼的位置可以实现对面部图像的更准确规格化，这是因为不同人的左右眼之间的距离的差别很小。

本领域技术人员应当理解，依据设计要求和其它因素可以出现各种修改、组合、子组合和替代，只要它们在所附权利要求或其等同物的范围之内。

本发明包含与2007年7月5日向日本专利局提交的日本专利申请JP2007-177007有关的主题，其全部内容通过引用而被结合于此。

Claims (16)

1.一种图像处理装置，用于处理包含面部图像的图像，所述图像处理装置包括：

规格化装置，用于规格化所述包含面部图像的图像，以使所述面部的尺寸成为预定面部尺寸；

检测区域设定装置，用于将小于经所述规格化装置规格化的图像的区域设定为检测区域，所述检测区域是检测所述面部的面部部分的位置的区域；以及

检测装置，用于在由所述检测区域设定装置设定的检测区域中检测所述面部部分的位置。

2.根据权利要求1所述的图像处理装置，其中所述检测装置将所述检测区域中包含的至少两个像素的辉度水平之间的差定义为弱假设，并且使用最后假设检测所述面部部分的位置，所述最后假设是利用通过统计学习预先得到的弱假设定义的。

3.根据权利要求2所述的图像处理装置，其中，在所述检测装置的应用区域中，所述检测装置设定多个具有至少两个像素的组，所述至少两个像素之间存在允许容易提取面部部分的特征的辉度水平差，所述检测装置计算所述多个具有至少两个像素的组的每组中包含的两个像素的辉度水平之间的差，并且将计算结果定义为用于所述两个像素的弱假设。

4.根据权利要求3所述的图像处理装置，其中，在所述检测区域的应用区域中的每个扫描位置，所述检测装置计算所述多个具有至少两个像素的组的每组中包括的、定义了所述弱假设的两个像素的辉度水平之间的差，判断计算结果是否与所述用于两个像素的弱假设匹配，基于判断结果确定用于所述两个像素的得分，并且基于所有的所述多个具有至少两个像素的组的得分总和判断所述扫描位置是否是所述目标面部部分的位置。

5.根据权利要求4所述的图像处理装置，

其中，执行所述统计学习以使目标面部部分的得分成为正值，并且

其中，所述检测装置将所有扫描位置中具有最高正得分的位置确定为所述目标面部部分的位置。

6.根据权利要求5所述的图像处理装置，

其中，执行所述统计学习以使目标面部部分的得分成为正值，并且

其中，所述检测装置将所有扫描位置中具有最高正得分的位置确定为所述目标面部部分的位置。

7.根据权利要求6所述的图像处理装置，还包括设定装置，该设定装置用于基于与弱假设的数目相关联的最低得分设定得分极限值，所述与弱假设的数目相关联的最低得分是从用于所述统计学习的所有学习数据得到的，并且

其中，在某个扫描位置的得分计算期间，当从某一数量的弱假设得到的得分低于所对应的极限值时，所述检测装置取消所述得分计算。

8.根据权利要求7所述的图像处理装置，其中，所述检测装置返回表示所述某个扫描位置不是所述目标面部部分的位置的结果。

9.根据权利要求4所述的图像处理装置，其中，在所述检测区域中，所述检测装置通过稀疏化要执行得分计算的扫描位置来执行高速扫描。

10.根据权利要求9所述的图像处理装置，其中，所述检测装置还在如下所述的扫描位置执行得分计算，所述扫描位置与计算出的得分高于预先设定的值的扫描位置相邻，并且在所述扫描位置的得分计算在缺省情况下被取消。

11.根据权利要求1所述的图像处理装置，

其中，所述面部部分是左右眼中的每一个，并且

其中，所述规格化装置基于由所述检测装置检测出的所述左右眼的位置而执行规格化。

12.一种图像处理方法，用于处理包含面部图像的图像，所述图像处理方法包括以下步骤：

规格化所述包含面部图像的图像，以使所述面部的尺寸成为预定的面部尺寸；

将小于规格化后的图像的区域设定为检测区域，所述检测区域是检测所述面部的面部部分的位置的区域；以及

在所述检测区域中检测所述面部部分的位置。

13.一种图像处理装置，用于处理包含面部图像的图像，所述图像处理装置包括：

定义装置，用于设定多个具有至少两个像素的组，所述至少两个像素包括在检测所述面部的面部部分的位置的检测区域中，所述定义装置还用于计算所述多个具有至少两个像素的组的每组中包含的两个像素的辉度水平之间的差，并且将计算结果定义为用于所述两个像素的弱假设；以及

检测装置，用于在所述检测区域中的每个扫描位置，计算所述多个具有至少两个像素的组的每组中包含的、定义了所述弱假设的两个像素的辉度水平之间的差，判断计算结果是否与用于所述两个像素的所述弱假设匹配，基于判断结果确定用于所述两个像素的得分，并且基于所有所述多个具有至少两个像素的组的得分总和判断所述扫描位置是否为所述面部部分的位置。

14.一种图像处理方法，用于处理包含面部图像的图像，所述图像处理方法包括以下步骤：

设定多个具有至少两个像素的组，所述至少两个像素包括在检测所述面部的面部部分的位置的检测区域中，计算所述多个具有至少两个像素的组的每组中包含的两个像素的辉度水平之间的差，并且将计算结果定义为用于所述两个像素的弱假设；并且

在所述检测区域中的每个扫描位置，计算所述多个具有至少两个像素的组的每组中包含的、定义了所述弱假设的两个像素的辉度水平之间的差，判断计算结果是否与用于所述两个像素的所述弱假设匹配，基于判断结果确定用于所述两个像素的得分，并且基于所有所述多个具有至少两个像素的组的得分总和判断所述扫描位置是否为所述面部部分的位置。

15.一种图像处理装置，用于处理包含面部图像的图像，所述图像处理装置包括：

规格化单元，其被配置为规格化所述包含面部图像的图像，以使所述面部的尺寸成为预定的面部尺寸；

检测区域设定单元，其被配置为将小于由所述规格化单元规格化后的图像的区域设定为检测所述面部的面部部分的位置的检测区域；以及

检测单元，其被配置为在由所述检测区域设定单元设定的所述检测区域中检测所述面部部分的位置。

16.一种图像处理装置，用于处理包含面部图像的图像，所述图像处理装置包括：

定义单元，其被配置为设定多个具有至少两个像素的组，所述至少两个像素包括在检测所述面部的面部部分的位置的检测区域中，所述定义单元还被配置为计算所述多个具有至少两个像素的组的每组中包含的两个像素的辉度水平之间的差，并且将计算结果定义为用于所述两个像素的弱假设；以及

检测单元，其被配置为在所述检测区域中的每个扫描位置，计算所述多个具有至少两个像素的组的每组中包含的、定义了所述弱假设的两个像素的辉度水平之间的差，判断计算结果是否与用于所述两个像素的所述弱假设匹配，基于判断结果确定用于所述两个像素的得分，并且基于所有所述多个具有至少两个像素的组的得分总和判断所述扫描位置是否为所述面部部分的位置。

Images