CN101271517A - 面部区域检测装置、方法和计算机可读记录介质 - Google Patents

Abstract

图像摄取部分摄取所观察的人的面部。位置检测部分从图像摄取部分摄取的表示面部的面部图像中检测以下位置中的一个：表示鼻子的特征的位置，表示眉毛间区域的特征的位置。计算部分计算以位置检测部分在过去检测的位置为基准的面部的预定区域的过去的相对位置。区域位置检测部分基于计算部分计算的过去的相对位置和位置检测部分检测的当前的位置来检测预定区域的位置。

Description

面部区域检测装置、方法和计算机可读记录介质

技术领域

本发明涉及一种面部区域检测装置、方法和计算机可读记录介质，更具体地涉及一种从摄取了面部的图像中检测面部的预定区域的位置的面部区域检测装置、方法和计算机可读记录介质。

背景技术

传统上已知瞌睡状态检测装置，该装置基于前次测量的眼睛位置设置眼睛搜索区域，如果在眼睛搜索区域内找到眼睛，则认为它们与前次找到的眼睛相同(日本专利No.3312562和No.3444115)。

还已知一种眼睛位置检测装置，该装置检测鼻子的位置，并通过使用检测到的鼻子位置作为基准来设置眼睛搜索区域(日本专利申请早期公开(JP-A)No.2000-67225)。

此外，已知一种眼睛状态检测装置，该装置研究鼻子或眉毛等和上眼睑之间的垂直方向距离，并判断是否准确检测到眼睛(JP-A No.2001-307076)。

然而，在如上所述基于前次测量的眼睛位置设置眼睛搜索区域的情况，如果面部较大幅度地向左或右移动，眼睛会离开所设置的眼睛搜索区域，因此存在不能检测到眼睛的问题。

此外，在如上所述通过使用检测到的鼻子位置作为基准设置眼睛搜索区域的情况，存在如下问题：如果在眼睛搜索区域内找到多个眼睛候选，则需要复杂的处理来检测眼睛的位置。

另外，在如上所述研究鼻子或眉毛等和上眼睑之间的垂直方向距离的情况，由于仅在垂直方向研究鼻子或眉毛和上眼睑的位置之间的位置关系，存在如果面部向左或向右移动则不能正确检测眼睛的问题。

发明内容

考虑到上述情况作出本发明，且本发明提供一种面部区域检测装置。

本发明提供一种面部区域检测装置，其具有：图像摄取部分，用于摄取所观察的人的面部；位置检测部分，用于从图像摄取部分摄取的表示面部的面部图像中检测以下位置中的一个：表示鼻子的特征的位置和表示眉毛之间的区域的特征的位置；计算部分，用于计算以位置检测部分在过去检测到的位置为基准的面部的预定区域的过去的相对位置；以及区域位置检测部分，基于计算部分计算的过去的相对位置和位置检测部分检测到的当前的位置，检测预定区域的位置。

根据本发明，通过图像摄取部分摄取所观察的人的面部。由位置检测部分从图像摄取部分摄取的表示面部的面部图像检测以下两个位置中的任一个：表示鼻子特征的位置和表示眉毛之间的区域的特征的位置。此外，由计算部分计算以位置检测部分在过去检测到的位置为基准的面部的预定区域的过去的相对位置。

然后，由区域位置检测部分基于计算部分所计算的过去的相对位置和位置检测部分检测到的当前的位置检测预定区域的位置。

通过这种方式，通过使用过去的相对位置，通过使用包括表示鼻子的特征的位置和表示眉毛之间的区域的特征的位置中的一个作为基准来检测面部的预定区域的位置。因此通过使用表示鼻子的特征的位置或表示眉毛之间的区域的特征的位置检测面部的预定区域的位置，所述两个位置可轻易地检测。因此，即使面部移动，也可通过简单的计算处理来检测面部的预定区域的位置。

本发明的面部区域检测装置还可包括候选检测部分，用于检测预定区域的位置的多个候选，且区域位置检测部分可通过比较以位置检测部分检测的现在的位置为基准的多个候选的每个的当前的相对位置和计算部分计算的过去的相对位置来检测预定区域的位置。通过这种方式，比较过去的相对位置和当前的相对位置的候选，可通过简单的计算处理检测预定区域的当前的位置。

本发明所涉及的区域位置检测部分可基于计算部分所计算的过去的相对位置检测预定区域的位置，所述过去的相对位置以位置检测部分检测的当前的位置为基准。通过这种方式，可通过简单的计算处理来检测预定区域的当前的位置。

前述表示鼻子的特征的位置可以是面部图像中的左右鼻孔区域的重心的中心点的位置。这样可通过使用可轻易检测的左右鼻孔的区域，通过简单的计算处理来检测预定区域的当前的位置。

此外，面部的预定区域的前述位置可以是眼睛的位置，且眼睛的位置可由面部图像中的上眼睑和眼球之间的边界、面部图像中的下眼睑和眼球之间的边界、面部图像中瞳孔的重心以及上眼睑和眼球之间的边界与下眼睑和眼球之间的边界的中心点中的一个来表示。

面部的预定区域的前述位置可以是眼睛的位置，且眼睛的位置可由面部图像中的下眼睑和眼球之间的边界的垂直方向位置以及上眼睑和眼球之间的边界的左右方向位置来表示。因此可以高精确度地表示面部的预定区域的位置。

本发明所涉及的面部区域检测方法包括：从用于摄取所观察的人的面部的图像摄取部分摄取的表示面部的面部图像中检测以下位置中的一个：表示鼻子的特征的位置和表示眉毛之间的区域的特征的位置；计算以过去检测到的位置为基准的面部的预定区域的过去的相对位置；以及基于计算的过去的相对位置和检测到的当前的位置检测预定区域的位置。

本发明提供一种计算机可读介质，该计算机可读介质存储使计算机执行用于面部区域检测的处理的程序，该处理包括：从用于摄取所观察的人的面部的图像摄取部分所摄取的表示面部的面部图像中检测以下位置中的一个：表示鼻子的特征的位置和表示眉毛之间的区域的特征的位置；计算以过去检测到的位置为基准的面部的预定区域的过去的相对位置；以及基于所计算的过去的相对位置和检测到的当前的位置检测预定区域的位置。

如上所述，根据本发明，通过使用过去的相对位置，通过使用表示鼻子的特征的位置和表示眉毛之间的区域的特征的位置中的一个作为基准来检测面部的预定区域的位置。因此通过使用可轻易地检测的表示鼻子的特征的位置或表示眉毛之间的区域的特征的位置检测面部的预定区域的位置。因此获得了如下效果：即使面部移动，也可通过简单的计算处理检测面部的预定区域的位置。

附图说明

将基于以下附图对本发明的示例性实施例进行更详细的说明，在附图中：

图1是示出与本发明第一示例性实施例相关的眼睛位置检测装置的结构的图；

图2是示出在面部图像中设置的面部区域和鼻孔搜索区域的图；

图3是示出表示面部图像中的鼻孔的区域的重心的中心点的图；

图4是示出在面部图像中设置的右眼搜索区域和左眼搜索区域的图；

图5A是示出右眼图像和左眼图像的图；

图5B是示出右眼图像和左眼图像的Sobel边缘图像的图；

图6是示出在与本发明第一示例性实施例相关的眼睛位置检测装置的图像处理例程的内容的流程图；

图7是示出鼻子位置和下眼睑的位置的多个候选的图；

图8是示出与本发明第二示例性实施例相关的眼睛位置检测装置的结构的图；

图9是示出用于检测眉毛间位置的六分割(six-segmented)矩形滤波器的图；

图10是示出将六分割矩形滤波器应用到面部图像的状态的图；

图11是示出与本发明第三示例性实施例相关的眼睛位置检测装置的结构的图；

图12是示出在与本发明的第三示例性实施例相关的眼睛位置检测装置的图像处理例程的内容的流程图；以及

图13是示出用于示出眼睛位置的上眼睑的边界的拐点和下眼睑的边界的点的图。

具体实施方式

以下将参照附图详细说明本发明的示例性实施例。注意在本示例性实施例中，描述了本发明应用于眼睛位置检测装置的情况的例子，该眼睛位置检测装置从连续摄取的面部图像中检测并跟踪眼睛的位置。

如图1所示，与第一示例性实施例相关的眼睛位置检测装置10具有由CCD照相机等形成的、用于摄取包括作为对象的被摄者的面部的图像的图像摄取部分12；由红外闪光灯或红外LED等形成的、用于与图像摄取部分12的快门操作同步地照明拍摄对象的照明部分14；用于执行图像处理的计算机16，；以及由CRT等构成的显示装置18。

计算机16被构造成包括CPU、存储下文说明的图像处理例程的程序的ROM、存储数据等的RAM以及连接它们的总线。根据分成基于硬件和软件确定的各个功能实现部分的功能块来说明计算机16，如图1所示，计算机16具有：图像输入部分20，用于输入作为从图像摄取部分12输出的灰度图像的面部图像；鼻子位置检测部分22，用于从作为图像输出部分20的输出的面部图像中检测鼻子的位置；眼睛搜索区域设置部分24，用于基于鼻子位置设置眼睛搜索区域；眼睑候选检测部分26，用于从眼睛搜索区域的图像中检测下眼睑的位置的多个候选；相对位置计算部分27，用于计算各个下眼睑位置的候选相对于鼻子位置的相对位置；眼睑位置检测部分28，用于基于下眼睑位置的各个候选的相对位置检测下眼睑的位置作为眼睛位置；以及前次相对位置存储部分30，用于存储眼睑位置相对于前次的鼻子位置的相对位置。

通过例如A/D转换器、存储一个画面的图像数据的图像存储器等构造图像输入部分20。

如下文所述，鼻子位置检测部分22从面部图像检测左右鼻孔的位置(由图像坐标表示的位置)作为表示鼻子的特征的位置，并检测左右鼻孔的位置的中心点的图像坐标作为鼻子位置。

首先，如图2所示，从面部图像提取面部区域F。在提取面部区域F的过程中，计算面部轮廓的边缘，或通过面部轮廓的模式匹配提取面部轮廓，然后在面部轮廓的范围内提取面部区域F。然后，从面部区域F的下部，检测嘴下部的边缘，且检测嘴下部位置M。基于嘴下部位置M，设置用于搜索鼻孔的鼻孔搜索区域。此时，通过使用基于嘴下部的位置和统计数据的比率在面部区域F内设置鼻孔搜索区域N。特别地，在从检测到的嘴下部位置M向上离开预定距离的位置设置鼻孔搜索区域N，从而在面部的中心部分设置鼻孔搜索区域。

例如，假定面部区域F的长度为H且其宽度为W，在从嘴下部位置M向上离开2/16·H且在横向方向位于面部区域F的中心的位置设置长度为9/16·H且宽度为6/16·W的矩形区域作为鼻孔搜索区域N。

然后，在鼻孔搜索区域N的范围内搜索两个相邻的基本为圆形的暗的地方，检测表示鼻孔的区域。例如，在鼻孔搜索区域N的范围内检测水平方向边缘和垂直方向边缘。此处，从左侧到右侧从亮变暗的点是纵向正边缘，从左侧到右侧从暗变亮的点是纵向负边缘。此外，从上侧到下侧从亮变暗的点是横向正边缘，且从上侧到下侧从暗变亮的点是横向负边缘。从纵向正边缘出现在左，纵向负边缘出现在右，横向正边缘出现在上，横向负边缘出现在下的区域检测表示一个鼻孔的区域。

通过上述这四种边缘的位置关系获得的区域是表示一个鼻孔的区域的候选。在检测到两个这样的边缘组横向排列且彼此相邻时，它们是鼻孔候选。此外，如果在鼻孔搜索区域N中检测到两个或更多个鼻孔候选，将其中与嘴下部位置M最接近的鼻孔候选判断为鼻孔。

然后，基于表示如上所述获得的彼此相邻的两个鼻孔的区域，将面部图像中左右鼻孔的区域的重心的中心点的位置(由图像坐标表示的位置)检测为鼻子位置，如图3所示。

如将在下文所述，眼睛搜索区域设置部分24通过使用检测到的鼻子位置设置眼睛搜索区域。如图4所示，基于检测到的鼻子位置在面部区域F内设置右眼搜索区域E和左眼搜索区域E。此处，统计地调查在面部区域F内一定可检测到眼睛的最小范围，并将该最小范围设置为眼睛搜索区域。例如，在鼻子上方放置以预定间隔彼此分开的矩形，从而设置眼睛搜索区域，所述矩形的纵向和横向长度是以预定比率乘以面部区域F的纵向和横向长度获得的长度。

例如，假定面部区域F的宽度是W，右眼搜索区域E和左眼搜索区域E是长度为0.35W且宽度为0.26W的矩形。然后，两个矩形被设置为右眼搜索区域E和左眼搜索区域E，这两个矩阵从与鼻孔的重心Cn向上相距0.08W的位置向上布置，并且在左右方向上以鼻孔的重心Cn为中心彼此间隔0.13W。

对于右眼搜索区域的右眼图像和左眼搜索区域的左眼图像中的每一个，眼睑候选检测部分26执行边缘处理，从左右眼的各个边缘图像提取与下眼睑和眼球之间的边界(下眼睑的上边缘)相对应的边缘的边缘特征点。基于所提取的边缘特征点，眼睑候选检测部分26分别对左右眼检测下眼睑位置的候选(由图像坐标表示的位置的候选)。如下执行边缘特征点的提取。首先，眼睑候选检测部分26从如图5A所示的右眼搜索区域的右眼图像和左眼搜索区域的左眼图像中的每一个，通过使用例如Sobel算子生成Sobel边缘图像。如图5B所示，所生成的Sobel边缘图像表示在眨眼的方向上从上到下每像素的灰度变化的大小。

从所生成的Sobel边缘图像获得在作为眨眼方向的从上到下的方向上原始图像的像素值变化的大小的变化。一般，与作为皮肤部分的眼睑相比，眼球部分的反射率低，且眼球部分被拍摄成暗的。因此，在上眼睑和眼球之间的边界附近，像素值从上向下从亮变暗。此外，在下眼睑和眼球之间的边界附近，像素值从上向下从暗变亮。因此，在眼球和上眼睑之间的边界部分，所获得的表示像素值变化的边缘值大于或等于正预定值，且边界部分的中心的边缘值是最大值。此外，在眼球和下眼睑之间的边界部分，边缘值小于或等于负预定值，且边界部分的中心的边缘值是最小值。

因此，在从上到下扫描Sobel边缘图像中作为检测对象的像素列的各个像素且关注的像素的边缘值小于负阈值的情况，判断关注的像素的边缘值是否是眨眼方向的最小值。如果基于关注的像素上方的一个像素、关注的像素和关注的像素下方的一个像素的边缘值判断出关注的像素的边缘值是最小值，则将关注的像素的位置检测为边缘特征点。以这种方式，检测出示出下眼睑和眼球之间的边界的边缘的边缘特征点。注意如果检测到多个示出下眼睑和眼球之间的边界的边缘的边缘特征点，则基于以鼻孔的位置为基准的边缘特征点的相对位置来选择示出下眼睑和眼球之间的边界的边缘的边缘特征点就可以了。

相对位置计算部分27分别对左右眼计算以检测到的鼻子位置的图像坐标为基准的下眼睑位置的候选的图像坐标的各个相对位置(由图像坐标表示的相对位置)。

对于左右各眼，眼睑位置检测部分28比较检测到的多个下眼睑位置的候选的各个相对位置和以前次的鼻子位置为基准的下眼睑位置的相对位置。眼睑位置检测部分28检测当前的眼睑位置的图像坐标作为眼睛位置，并分别对左右眼计算眼睛位置的时间序列对应关系。

接着，说明眼睛位置检测装置10的操作。首先，通过图像摄取部分12连续摄取被摄者的面部图像。此时，为了减小周围的干扰光的影响，通过例如使由红外闪光灯形成的照明部分14与图像摄取部分12的拍摄同步地发光来照明被摄者的面部。注意如果从照明部分14发出连续光，则不需要与图像摄取部分12同步且结构得到简化。

然后，在计算机16执行图6所示的图像处理例程。首先，在步骤100中，接受在图像摄取部分12摄取的面部图像作为视频信号。在步骤102中，视频信号被A/D转换从而生成二维数字图像。在本示例性实施例中，基于该数字图像通过数字处理执行下文的处理。因此，当下文仅使用术语“图像”时，其指的是数字图像。

在步骤104中，从面部图像中检测示出左右鼻孔的区域，并将分别示出左右鼻孔的区域的重心的中心点的位置检测为鼻子位置。在接着的步骤106中，将存在于预定位置且其基准位置是在上述步骤104中检测到的鼻子位置的区域设置为右眼搜索区域和左眼搜索区域。

在步骤108中，如图7所示，在右眼搜索区域的图像和左眼搜索区域的图像二者上执行边缘处理。基于左右眼的各个边缘图像，检测出多个下眼睑位置的候选的图像坐标(候选x、候选y)。在接着的步骤110中，分别对左右眼基于以下公式计算以鼻子位置(鼻子x、鼻子y)为基准的下眼睑位置的多个候选的各个相对位置(相对x、相对y)。

(相对x、相对y)＝(候选x-鼻子x，候选y-鼻子y)。

然后，在步骤112中，分别对左右眼比较存储在前次相对位置存储部分30中的前次的相对位置和在上述步骤110中计算的相对位置，并选择与前次的相对位置最接近的相对位置。然后，使鼻子位置成为基准位置，并将由基准位置和选择的相对位置表示的位置检测为下眼睑的位置。

然后，在步骤114中，分别对左右眼将在上述步骤112中所选择的相对位置，即以在步骤104中检测到的鼻子位置为基准的在步骤112中检测的眼睑位置的相对位置存储到前次相对位置存储部分30并更新前次的相对位置。然后，在步骤116中，通过使用在步骤112中检测到的下眼睑位置，分别对左右眼在显示装置18上显示眼睛位置的时间对应关系。

在步骤118中，判断是否结束跟踪处理。如果不结束，例程返回步骤100，且基于新摄取的面部图像执行上述步骤100-116的处理。当在步骤118中判断出结束跟踪处理时，图像处理例程结束。

如上所述，根据与第一示例性实施例相关的眼睛位置检测装置，通过使用示出鼻子的特征的位置作为基准，通过比较当前的相对位置的候选和前次的相对位置来检测眼睛位置。通过这种方式，通过使用示出鼻子特征的位置来检测眼睛位置，所述示出鼻子特征的位置具有高检测率且可以比眼睛位置更容易地检测到。因此，即使面部移动，也可通过简单的计算处理检测并跟踪眼睛位置。

通过使用即使面部向上/下或左/右移动也保持不变的鼻子和眼睛之间的相对位置，可在不使用计算花费高的眼睑模式相关计算系统的情况下获得眼睛位置的时间对应关系。此外，即使在面部移动的情况也可正确获得时间对应关系。

可通过将即使当眨眼时其纵向位置也移动不多的下眼睑的边界的位置检测为眼睛位置来正确地检测眼睛位置。

在上述示例性实施例中，说明了将下眼睑的边界的位置检测为眼睛位置的情况的例子。然而，本发明不限于此。例如，面部图像中的上眼睑和眼球的边界(即上眼睑的下边缘)的位置、面部图像中瞳孔的重心或上眼睑和眼球之间的边界与下眼睑和眼球之间的边界的中心点可被检测为眼睛位置。

此外，说明了当面对图像时纵向正边缘出现在左、纵向负边缘出现在右、横向正边缘出现在上且横向负边缘出现在下的区域被检测为示出鼻孔的区域的情况。然而，本发明不限于此。例如，可以计算从面部图像提取的面部区域的平均密度值，即亮度的平均值，可以通过使用与所计算的平均密度值相对应的黑像素判断阈值th检测鼻孔搜索开始点，可以检测以鼻孔搜索开始点为中心且变成鼻孔候选的多个搜索圆形，并且可以将与一组鼻孔相对应的圆形对检测为示出鼻孔的区域。

此外，可如下检测鼻孔的位置：检测白-黑-白横向边缘，其是沿横向方向延伸并从白变黑又从黑变白的边缘。在垂直方向检测位于鼻孔区域内且宽度为两到三个像素的黑像素列。检测白-黑-白横向边缘，其是沿垂直方向延伸并从白变黑又从黑变白的边缘。在横向方向检测位于鼻孔区域内且宽度为两到三个像素的黑像素行。从而检测鼻孔的位置。

接着说明第二示例性实施例。注意与第一示例性实施例相似的结构部分用相同的附图标记表示且省略对其说明。

第二示例性实施例与第一示例性实施例的不同之处在于将眉毛之间的位置检测为相对位置的基准位置。

如图8所示，与第二示例性实施例相关的眼睛位置检测装置210的计算机216具有：图像输入部分20；眉毛间位置检测部分222，用于从作为图像输入部分20的输出的面部图像中检测眉毛间位置；眼睛搜索区域设置部分224，用于基于检测到的眉毛间位置设置眼睛搜索区域；眼睑候选检测部分26；相对位置计算部分227，用于计算各个下眼睑位置的候选相对于眉毛间位置的相对位置；眼睑位置检测部分28；前次相对位置存储部分230，用于存储以前次的眉毛间位置为基准的下眼睑位置的相对位置。

眉毛间位置检测部分222如下从面部图像中检测示出眉毛间区域的特征的眉毛间位置。使用如图9所示检测眉毛间区域的滤波器，在该滤波器中六个矩形结合在一起。该眉毛间检测滤波器是六分割矩形滤波器，其提取面部的如下特征：鼻梁比两个眼睛区域亮且眼睛区域比脸颊暗，并确定示出面部的眉毛间区域的特征的位置。眉毛间检测滤波器具有以点(x，y)为中心，且横向为i(i是自然数)个像素，纵向为j(j是自然数)个像素的矩形帧。然后，如图10所示，对面部图像应用眉毛间检测滤波器，且通过滤波处理提取眉毛间候选点的位置。然后，以所提取的眉毛间候选点的位置作为中心，将对象图像裁切成预定尺寸，执行模式确定处理，并从眉毛间候选点中选择真正的候选点，检测眉毛间位置。

眼睛搜索区域设置部分224在面部图像中设置面部区域，并基于检测到的眉毛间位置在面部区域内设置右眼搜索区域和左眼搜索区域。例如，将纵向和横向长度是通过以预定比率乘以面部区域的纵向和横向长度获得的长度的矩形设置在检测到的眉毛间位置的左右，并以预定间隔彼此分开，且使之成为右眼搜索区域和左眼搜索区域。

相对位置计算部分27分别对左右眼计算以检测到的眉毛间位置为基准的下眼睑位置的候选的各个相对位置。

分别对左右眼将以前次检测到的眉毛间位置为基准的前次的下眼睑位置的相对位置存储在前次相对位置存储部分230中。

在第二示例性实施例中，在边缘图像处理例程中，从面部图像中检测眉毛间位置，并通过使用检测到的眉毛间位置作为基准位置，将存在于预定位置的区域设置为右眼搜索区域和左眼搜索区域。然后，从右眼搜索区域的图像和左眼搜索区域的图像中的每一个检测下眼睑位置的多个候选。对左右眼计算眉毛间位置和下眼睑位置的各个候选的相对位置。分别对左右眼将存储在前次相对位置存储部分230中的前次的相对位置和所计算的相对位置彼此比较，并选择与前次的相对位置最接近的相对位置。使用检测到的当前的眉毛间位置作为基准位置，并将由基准位置和选择的相对位置表示的位置检测为下眼睑的位置。

分别对左右眼将以检测到的眉毛间位置为基准的检测到的下眼睑位置的相对位置存储在前次相对位置存储部分230中，并更新前次的相对位置。

通过使用表示眉毛间区域的特征的位置作为基准，比较当前的相对位置的候选和前次的相对位置的这种方式检测眼睛位置，通过使用比眼睛位置容易检测且检测率高的表示眉毛间区域的特征的位置来检测眼睛位置。因此，即使面部移动，也可通过简单的计算处理检测并跟踪眼睛位置。

接着说明第三示例性实施例。注意与第一示例性实施例相似的结构部分用相同的附图标记表示，且省略对其说明。

第三示例性实施例与第一示例性实施例的不同之处在于基于鼻子位置和前次下眼睑的相对位置来设置眼睛搜索区域。

如图11所示，与第三示例性实施例相关的眼睛位置检测装置310的计算机316具有：图像输入部分20；鼻子位置检测部分22；眼睛搜索区域设置部分324，用于基于鼻子位置和前次下眼睑的相对位置设置眼睛搜索区域；眼睑位置检测部分326，用于从眼睛搜索区域中检测下眼睑的位置；相对位置计算部分328，用于计算以鼻子位置为基准的检测到的下眼睑位置的相对位置；以及前次相对位置存储部分30。

接着使用图12说明与第三示例性实施例相关的图像处理例程。注意与第一示例性实施例相似的处理由相同的附图标记表示，并省略对其详细说明。

首先，在步骤100中，接受在图像摄取部分12摄取的面部图像作为视频信号。在步骤102中，对视频信号进行A/D转换，从而生成二维数字图像。然后，在步骤104中，从面部图像中检测示出左右鼻孔的区域，并将示出各个左右鼻孔的区域的重心的中心点的位置检测为鼻子位置。

在接着的步骤350中，通过使用在上述步骤104中检测的鼻子位置作为基准位置，将以由基准位置和存储在前次相对位置存储部分30中的前次的相对位置表示的位置为中心的小区域设置为左眼搜索区域和右眼搜索区域。

然后，在步骤352中，在右眼搜索区域的图像和左眼搜索区域的图像上执行边缘处理，并基于所获得的左右眼的边缘图像检测边缘特征点。基于检测到的边缘特征点，分别对左右眼将下眼睑位置检测为眼睛位置。在随后的步骤354中，分别对左右眼计算以在步骤104中检测到的鼻子位置为基准的在步骤352中检测的下眼睑位置的相对位置。然后，在步骤114中，将在步骤354中计算的相对位置存储在前次相对位置存储部分30中，并分别对左右眼更新前次的相对位置。然后，在步骤116中，通过使用在步骤352中检测到的下眼睑位置，分别对左右眼在显示装置18上显示眼睛位置的时间对应关系。

然后，在步骤118中，判断是否结束跟踪处理。如果不结束，例程返回步骤100，并基于新摄取的面部图像执行上述处理。当在步骤118中判断出结束跟踪处理时，图像处理例程结束。

通过这种方式，使表示鼻子的特征的位置成为基准，并通过使用前次的相对位置检测眼睛位置。从而通过使用比眼睛位置更容易监测且具有高检测率的表示鼻子的特征的位置检测眼睛位置。因此，即使面部移动，也可通过简单的计算处理检测并跟踪眼睛位置。

可通过在由基准位置，即鼻子位置，和前次的相对位置表示的位置设置眼睛搜索区域来指定眼睛搜索区域。因此，可通过简单的计算处理来检测眼睛位置。

接着说明第四示例性实施例。注意与第四示例性实施例相关的眼睛位置检测装置的结构与第一示例性实施例相似。因而对其使用相同的附图标记且省略对其说明。

第四示例性实施例与第一示例性实施例的不同之处在于检测由下眼睑的边界的垂直方向位置和上眼睑的边界的左右方向位置表示的眼睛位置。

在与第四示例性实施例相关的眼睛位置检测装置中，如图13所示，从眼睛搜索区域的边缘图像中检测表示上眼睑和眼球之间的边界的边缘特征点。然后，从检测到的边缘特征点提取与示出当眼睛睁开时的上眼睑的边界的曲线的拐点相对应的边缘特征点，并检测所提取的边缘特征点的左右方向位置。此外，从眼睛搜索区域的边缘图像检测表示下眼睑和眼球之间的边界的边缘特征点。从检测到的边缘特征点检测下眼睑和眼球之间的边界的垂直方向位置。然后，将如上所述检测到的上眼睑的边界的拐点的左右方向位置检测为眼睛位置的左右方向位置。下眼睑和眼球之间的边界的垂直方向位置被检测为眼睛位置的垂直方向位置。从而检测到眼睛位置。

在检测上眼睑的位置时，基于边缘图像搜索边缘值大于或等于正预定值且其边缘值是最大值的边缘最大点。将在下眼睑的位置上方找到的边缘最大点检测为示出上眼睑和眼球之间的边界的边缘特征点就可以了。此外，有可能在下眼睑的位置上方检测到示出虹膜的边缘最大点。然而，对检测到的边缘特征点的边缘值设置正阈值，且排除示出虹膜的边缘最大点就可以了。

当眼睛睁开时，上眼睑圆形弯曲，在上眼睑确定左右方向上的代表位置比在下眼睑容易。因此，通过如上所述检测上眼睑的边界的拐点的左右方向位置，可容易地检测眼睛位置的左右方向位置。此外，由于下眼睑接近于直线，可通过检测下眼睑的边界的垂直方向位置容易地检测眼睛位置的垂直方向位置。

注意上述示例性实施例说明了检测眼睛位置的情况的例子，但是本发明不限于此。例如，可检测眼镜的位置、面部预定区域的位置，如嘴的位置、眉毛的位置、下巴的位置、耳朵的位置等。

此外，将以下情况作为例子进行说明：从在图像输入部分输入的灰度图像生成示出灰度变化大小的边缘图像。然而，在图像输入部分输入的图像可以是彩色图像。在这种情况，生成示出彩色图像的密度值的变化大小的边缘图像就可以了。

说明了以下情况的例子：将边缘图像的边缘值是最小值的点检测为与下眼睑的边缘相对应的边缘特征点，且边缘值是最大值的点被检测为与上眼睑的边缘相对应的边缘特征点。然而，本发明不限于此。例如，在眼睛图像中眼球部分亮且皮肤部分暗的情况，可将边缘图像的边缘值是最大值的点检测为下眼睑的边缘上的边缘特征点，并将边缘值是最小值的点检测为上眼睑的边缘上的边缘特征点。

Claims (8)

1.一种面部区域检测装置，包括：

图像摄取部分，用于摄取所观察的人的面部；

位置检测部分，用于从所述图像摄取部分摄取的表示面部的面部图像中检测以下位置中的一个：表示鼻子的特征的位置和表示眉毛间区域的特征的位置；

计算部分，用于计算以由所述位置检测部分在过去检测到的位置为基准的面部的预定区域的过去的相对位置；以及

区域位置检测部分，用于基于所述计算部分计算的过去的相对位置和所述位置检测部分检测到的当前的位置检测所述预定区域的位置。

2.根据权利要求1所述的面部区域检测装置，还包括候选检测部分，用于检测所述预定区域的位置的多个候选，

其中所述区域位置检测部分通过比较多个候选的每个的当前的相对位置和所述计算部分计算的过去的相对位置来检测所述预定区域的位置，其中所述多个候选的每个的当前的相对位置以由所述位置检测部分检测到的当前的位置为基准。

3.根据权利要求1所述的面部区域检测装置，其中所述区域位置检测部分基于所述计算部分计算的所述过去的相对位置检测所述预定区域的位置，其中所述过去的相对位置以所述位置检测部分检测到的当前的位置为基准。

4.根据权利要求1-3中任一项所述的面部区域检测装置，其中表示鼻子的特征的位置是面部图像中左右鼻孔区域的重心的中心点的位置。

5.根据权利要求1-3中任一项所述的面部区域检测装置，其中面部的预定区域的位置是眼睛的位置，且

所述眼睛的位置由以下中的一个来表示：面部图像中上眼睑和眼球之间的边界、面部图像中下眼睑和眼球之间的边界、面部图像中瞳孔的重心、上眼睑和眼球之间的边界与下眼睑和眼球之间的边界的中心点。

6.根据权利要求1-3中任一项所述的面部区域检测装置，其中面部的预定区域的位置是眼睛的位置，且

所述眼睛的位置由面部图像中下眼睑和眼球之间的边界的垂直方向位置以及上眼睑和眼球之间的边界的左右方向位置来表示。

7.一种面部区域检测方法，包括：

从用于摄取所观察的人的面部的图像摄取部分摄取的表示面部的面部图像中检测以下位置中的一个：表示鼻子的特征的位置和表示眉毛间区域的特征的位置；

计算以过去检测到的位置为基准的面部的预定区域的过去的相对位置；以及

基于所计算的过去的相对位置和检测到的当前的位置来检测所述预定区域的位置。

8.一种计算机可读介质，用于存储使计算机执行用于面部区域检测的处理的程序，所述处理包括：

从用于摄取所观察的人的面部的图像摄取部分摄取的表示面部的面部图像，检测以下位置中的一个：表示鼻子的特征的位置和表示眉毛间区域的特征的位置；

计算以过去检测到的位置为基准的面部的预定区域的过去的相对位置；以及

基于所计算的过去的相对位置和检测到的当前的位置来检测所述预定区域的位置。

Images