CN101266648B - 面部特征点检测装置、面部特征点检测方法及其程序 - Google Patents

Abstract

本发明提供一种即使存在外部乱光或个人差别，也能够提供根据面部图像高精度地检测特征点的装置。利用摄像机(2)和图像输入部(21)获取面部图像数据(51)。边缘计算部(23)根据面部图像数据(51)，计算出表示水平方向的亮度变化的水平方向边缘值、或表示垂直方向的亮度变化的垂直方向边缘值。图像窗口扫描部(25)针对将边缘计算部(23)计算的按每个像素的水平方向或垂直方向的边缘值与面部图像的像素对应地排列的边缘图像，利用以规定形状选择的像素的集合即图像窗口进行扫描，对图像窗口内的像素对应的边缘值乘以图像窗口的按每个像素的规定值并相加加权和作为扫描记分数据(56)。特征位置判断部(26)将加权和为最大的上述图像窗口的位置判断为存在检测对象的检测位置。

Description

面部特征点检测装置、面部特征点检测方法及其程序

技术领域

本发明涉及一种根据面部图像检测出规定的特征点的面部特征点检测装置、面部特征点检测方法及其程序。

背景技术

已有基于面部图像判断眼睛的状态、并测定该人的视线方向、推测该人的觉醒程度的方法。为了判断眼睛的状态，需要正确检测面部图像的眼部。还有，当判断车辆驾驶员的状态时，需要实时检测面部的特征点。

例如，在专利文献1中，记载有提取驾驶员的眼睛位置、检测觉醒度降低等的技术。在专利文献1的技术中，在最初1帧的图像中，以眼睛的中心为基础，确定眼睛存在区域的横方向宽度和纵方向宽度，设定眼睛的存在区域，通过从下1帧图像开始，利用眼睛的存在区域，进行遮蔽处理，从而作为与存在区域的框线不接触的标记(label)，只提取眼睛。通过在眼睛的存在区域的追踪确认，限定提取范围，从而能够进行高速提取处理。

还有，在专利文献2中，记载有在检测人的眨眼时、不容易受到照明条件或作为对象的人的面部形貌等个人差别的影响的技术。在专利文献2的技术中，在1维边缘图像中，计算边缘值具有正方向的极大值的点P、边缘值具有负方向的极小值(绝对值大)的点M。作为检索的初始位置，确定点P0和M0。确定正的极值点向上方、负的极值点向下方进行检索的检索区间，以便从各自的检索初始位置起，检索更外侧的边缘极值点。在检索区间内，判断边缘值的符号是否发生反转。由于点M0和点M1之间的边缘值总是负值，因此以点P1和点M1为新的出发点，循环进行检索。在P1的上方，和M1的下方，由于没有新的边缘极值点，因此将点P1和点M1作为边界点A、B。然后，对边界点A、B之间的距离进行计数，将其作为眼睑的开度。

[专利文献1]日本专利特开平7-181012号公报

[专利文献2]日本专利特开平7-313459号公报

在专利技术1的技术中，对于2值化的图像，对不与要提取的判断对象发生接触的规定区域进行遮蔽处理，并加以标记。但是，在利用图像的2值化的方法中，受到照明条件变化或面部形貌等个人差别的影响，有时难以正确检测判断对象的特征量。

还有，在专利技术2的技术中，基于1维边缘图像的浓淡变化的极值，从多个基准线上的极值点，提取候选检测对象。因此，在例如要检测眼睛时，可能会将黑痣等作为候选进行提取，从而受到面部形貌等个人差别的影响。

发明内容

本发明考虑到上述状况，其目的在于提供一种即使存在外部乱光或面部形貌等个人差别，也能够根据面部图像高精度地检测特征点的装置。

为实现上述目的，与本发明的第1观点有关的面部特征点检测装置的特征在于：具有：图像获取机构，其获取面部图像；边缘计算机构，其根据上述面部图像计算出表示某方向的亮度变化的边缘值；和检测对象判断机构，其针对将上述边缘计算机构计算出的按每个像素的边缘值与上述面部图像的像素对应地排列的边缘图像，利用以规定形状选择的像素的集合即图像窗口进行扫描，对与上述图像窗口内的像素对应的上述边缘值乘以上述图像窗口的按每个像素的规定值并进行相加的加权和为最大的上述图像窗口的位置判断为存在检测对象的检测位置。

上述图像窗口也可由在上述边缘图像的扫描中彼此的位置关系固定的多个部分窗口构成，所述多个部分窗口的每一个是以规定形状选择的像素的集合，上述检测对象判断机构也可将与上述多个部分窗口的各个像素对应的上述边缘值的加权和的所有上述部分窗口的总和为最大的上述图像窗口的位置判断为存在检测对象的检测位置。

优选地，上述边缘计算机构计算出水平边缘图像和垂直边缘图像，上述水平边缘图像是将表示水平方向的亮度变化的水平方向边缘值与上述面部图像的像素对应地排列的图像，上述垂直边缘图像是将表示垂直方向的亮度变化的垂直方向边缘值与上述面部图像的像素对应地排列的图像，上述图像窗口包括水平边缘窗口和垂直边缘窗口，上述水平边缘窗口是扫描上述水平边缘图像的以规定形状选择的像素的集合，上述垂直边缘窗口是扫描上述垂直边缘图像的以规定形状选择的像素的集合，上述水平边缘窗口和上述垂直边缘窗口在上述边缘图像的扫描中彼此的位置关系固定，上述检测对象判断机构将对应于上述水平边缘窗口的像素的上述水平方向边缘值的加权和、与对应于上述垂直边缘窗口的像素的上述垂直方向边缘值的加权和的总和为最大的上述图像窗口的位置判断为存在检测对象的检测位置。

另外，也可具有噪声除去机构，其从上述边缘图像中除去上述边缘值的绝对值具有规定阈值以上的值的像素连续的个数小于规定值的边缘。

尤其是上述检测对象为眼睛，上述垂直边缘窗口与睑的垂直边缘对应，上述水平边缘窗口与外眼角或内眼角的水平边缘对应。

优选地，与外眼角和内眼角分别对应的2个上述水平边缘窗口分别配置在上述垂直边缘窗口的两侧下部。

与本发明的第2观点有关的面部特征点检测方法的特征在于：包括：根据面部图像计算出表示某方向的亮度变化的边缘值的边缘计算步骤；和针对将上述边缘计算步骤中计算出的按每个像素的边缘值与上述面部图像的像素对应地排列的边缘图像，利用以规定形状选择的像素的集合即图像窗口进行扫描，对与上述图像窗口内的像素对应的上述边缘值乘以上述图像窗口的按每个像素的规定值并相加的加权和为最大的上述图像窗口的位置判断为存在检测对象的检测位置的检测对象判断步骤。

与本发明的第3观点有关的面部特征点检测程序的特征在于：使计算机作为如下机构发挥功能：根据面部图像计算出表示某方向的亮度变化的边缘值的边缘计算机构；和针对将上述边缘计算机构计算出的按每个像素的边缘值与上述面部图像的像素对应地排列的边缘图像，利用以规定形状选择的像素的集合即图像窗口进行扫描，对与上述图像窗口内的像素对应的上述边缘值乘以上述图像窗口的按每个像素的规定值并相加的加权和为最大的上述图像窗口的位置判断为存在检测对象的检测位置的检测对象判断机构。

利用本发明的面部特征点检测装置，即使存在外部乱光或面部形貌等个人差别，也能够根据面部图像高精度地检测特征点。

附图说明

图1是表示与本发明的实施方式有关的眼部检测装置的方框图。

图2是表示本发明的一个实施方式的眼部检测装置的逻辑结构的方框图。

图3是表示图1所示的计算机的结构的方框图。

图4是表示确定面部图像的区域的数据的例子的图。

图5是表示鼻孔搜索区域的例子的图。

图6是表示眼睛搜索区域的例子的图。

图7A是表示纵向边缘检测用算符的例子的图。

图7B是表示横向边缘检测用算符的例子的图。

图7C是表示纵向连续的浓淡差的例子的图。

图7D是表示横向连续的浓淡差的例子的图。

图8是示意性表示眼睛搜索区域的原图像的例子的图。

图9A是表示眼睛搜索区域的垂直方向边缘的检测例的图。

图9B是表示眼睛搜索区域的水平方向边缘的检测例的图。

图9C是表示从图9A的垂直方向边缘中、除去浓淡差小的边缘的结果的图。

图9D是表示从图9B的水平方向边缘中、除去浓淡差小的边缘的结果的图。

图9E是表示从图9C的垂直方向边缘中、除去短边缘的结果的图。

图9F是表示从图9D的水平方向边缘中、除去短边缘的结果的图。

图10是重叠表示垂直方向边缘和水平方向边缘的图。

图11是说明图像窗口扫描和特征点检测的图。

图12是表示利用分解图像窗口的垂直边缘窗口进行扫描的图。

图13是表示利用分解图像窗口的水平边缘窗口进行扫描的图。

图14是表示图像窗口的不同的例子的图。

图15是表示检测下睑时的图像窗口的例子的图。

图16是表示所检测的上睑和下睑的垂直方向边缘的图。

图17是表示面部特征点检测处理的动作的一个例子的流程图。

符号说明

1-眼部检测装置(面部特征点检测装置)，2-摄像机(图像获取机构)，5-数据保持部，6-图像窗口，7L、7R-水平边缘窗口，8-垂直边缘窗口，10-计算机，12-图像存储器，13-外部存储部，14-控制部(图像获取机构、边缘计算机构、检测对象判断机构)、15-主存储部，16-发送接收部(图像获取机构)，21-图像输入部，22-眼睛搜索区域设定部，23-边缘计算部(边缘计算机构)，24-边缘标记部(噪声除去机构)，25-图像窗口扫描部(检测对象判断机构)，26-特征位置判断部(检测对象判断机构)，51-面部图像数据，52-面部区域·眼睛搜索区域数据，53-水平·垂直边缘数据，54-候选边缘数据，55-图像窗口数据，56-扫描记分数据

具体实施方式

以下，参照附图详细说明本发明的实施方式。另外，图中同一或相等部分采用同一符号来表示，不重复进行说明。图1是表示与本发明的一个实施方式有关的眼部检测装置1的结构的方框图。本实施方式的眼部检测装置1具有拍摄驾驶员的面部并生成面部图像的摄像机2、对驾驶员的面部进行照明的照明光源3、检测驾驶员的眼部的计算机10、和与计算机10连接的显示装置4。另外，显示装置4并不是必需的结构要素，如果不需要显示面部图像、检测结果和判定结果，则不一定需要设置显示装置4。

摄像机2利用例如CCD(Charge Coupled Device)等，将透镜的成象转换为电信号，输出按每个像素进行数字化后的图像数据。摄像机2获取例如驾驶员的面部的灰度图像。利用摄像机2生成的图像数据不仅包括驾驶员的面部，还包括其背景等。

显示装置4由LCD(Liquid Crystal Display)或CRT(Cathode RayTube)等构成，显示根据以摄像机2拍摄的面部图像生成的2值化图像等。

计算机10对利用摄像机2获取的图像数据进行处理，检测面部的左右两端位置、上下位置。基于该检测的左右两端位置、上下位置，设定搜索眼部的区域(眼部搜索区域)。然后，检测眼睛搜索区域的上下睑。

图2是表示本发明的一个实施方式的眼部检测装置1的逻辑结构的方框图。眼部检测装置1由摄像机2、图像输入部21、眼睛搜索区域设定部22、边缘计算部23、边缘标记部24、图像窗口扫描部25、特征位置判断部26、睑判断部27、显示处理部28、数据保持部5、和显示装置4等构成。数据保持部5中存储有面部图像数据51、面部区域·眼睛搜索区域数据52、水平·垂直边缘数据53、候选边缘数据54、图像窗口数据55和扫描记分数据56。眼部检测装置1根据面部图像检测出眼部的上睑和下睑对。

图3是表示眼部检测装置1的物理结构的一个例子的方框图。如图3所示，计算机10具有发送接收部16、图像存储器12、外部存储部13、控制部14、主存储部15、显示控制装置17、和光源控制装置18。图像存储器12、外部存储部13、主存储部15、发送接收部16、显示控制装置17和光源控制装置18均通过内部总线11，与控制部14连接。

控制部14由CPU(Central Processing Unit)等构成，根据存储在外部存储部13中的程序，执行图像输入部21、眼睛搜索区域设定部22、边缘计算部23、边缘标记部24、图像窗口扫描部25、特征位置判断部26、睑判断部27和显示处理部28的处理。通过控制部14和在其上运行的程序，来实现图像输入部21、眼睛搜索区域设定部22、边缘计算部23、边缘标记部24、图像窗口扫描部25、特征位置判断部26、睑判断部27和显示处理部28。

主存储部15由RAM(Random-Access Memory)等构成。用于控制部14的工作区域。数据保持部5作为存储区域的构造体，被存储保持在图像存储器12和主存储部15的一部分中。

外部存储部13由闪速存储器、硬盘、DVD(Digital Versatile Disc)、DVD-RAM(Digital Versatile Disc Random-Access Memory)、DVD-RW(Digital Versatile Disc ReWritable)等非易失性存储器构成，预先存储让控制部14进行上述处理的程序。还有，根据控制部14的指示，向控制部14供给该程序的数据，并存储从控制部14供给的数据。例如，有时在外部存储部13存放时间序列图像数据。

发送接收部16由调制解调器或网络终端装置、以及与这些装置连接的串行接口或LAN(Local Area Network)接口、或NTSC接口等构成。控制部14经由发送接收部16，从摄像机2输入图像数据。图像存储器12存储摄像机2所生成的、经由发送接收部16输入的图像数据。

显示控制装置17在控制部14的控制下，对显示装置4进行控制。

光源控制装置18控制照明光源3的开灯、关灯等。

控制部14通过运行存放在外部存储部13中的程序，对通过摄像机2获取的图像数据进行处理，检测出面部的两端位置、上下位置，并基于该检测出的两端位置、上下位置，设定眼部搜索区域。然后，在眼部搜索区域中，计算出表示图像的水平方向和垂直方向的亮度的变化的边缘，根据边缘数据检测上下睑。

回到图2，说明眼部检测装置1的各部分的作用。摄像机2拍摄面部图像。图像输入部21每隔一定时间间隔，从摄像机2输入时间序列的图像数据，并将其作为面部图像数据51存储在数据保持部5中。

眼睛搜索区域设定部22从面部图像数据51中提取出面部区域，在面部区域中设定眼睛搜索区域。在提取面部区域时，例如，根据面部图像计算出面部轮廓的边缘。或者，也可以通过面部轮廓的图形匹配，提取面部轮廓。通过在面部轮廓范围内从上起检测眉的边缘、从下起检测嘴巴下部的边缘，设定面部区域。然后，例如，利用基于统计数据的比率，在面部区域中设定眼睛搜索区域。图4表示面部区域F和眼睛搜索区域E的例子。眼睛搜索区域设定部22将设定的面部区域F和眼睛搜索区域E作为面部区域·眼睛搜索区域数据52，存储在数据保持部5中。

另外，也可以检测出容易检测的特征部分、例如鼻孔，基于鼻孔的位置，设定眼睛搜索区域E。例如，可以从眉起取从鼻孔的上部到眉的距离乘以规定比率后的长度，在面部轮廓的中央取面部轮廓的宽度乘以规定比率后的长度，作为眼睛搜索区域E。通过设定眼睛搜索区域E，可以提高眼部检测的效率。

图5是表示鼻孔搜索区域N的例子的图。图5中一点划线所包围的范围表示鼻孔搜索区域N。例如，面部区域F的高为H、宽为W时，在从嘴巴下部位置M向上2/16·H的位置、横方向为面部区域F的中央处，将高为9/16·H和宽为6/16·W的长方形区域设定为鼻孔搜索区域N。

图6是表示眼部搜索区域E的例子的图。图6中一点划线所包围的2个长方形表示眼睛搜索区域E。例如，面部区域宽为W时，将眼睛搜索区域E之一设为高0.35W和宽为0.26W的长方形。而且，从鼻孔的重心Cn上面0.08W起，且左右以鼻孔的重心Cn为中心间隔0.13W，设置2个长方形，将其设定为眼睛搜索区域E。

外部存储部13如图4或图6所示，存放有在存放在主存储部15中的面部图像中的、确定面部范围F的数据、确定假定存在眼睛和眉的图像的眼睛搜索区域E的数据、以及用于扫描边缘图像并检测面部的特征点的睑等的图像窗口数据55。

图7A至图7D为说明边缘计算用的固定数据的例的图。外部存储部13如图7A和图7B所示，存放有水平方向边缘检测用和垂直方向边缘检测用佐贝尔过滤器(ソ一ベルフイルタ)的算符。本发明中，将图像中沿水平方向其亮度从明到暗、或者从暗到明发生变化的连续点称为水平方向边缘。水平方向边缘的点大致在纵方向连续，故也可称为纵向边缘。还有，将沿垂直方向其亮度从明到暗、或者从暗到明发生变化的连续点称为垂直方向边缘。垂直方向边缘的点大致在横方向连续，故也可称为横向边缘。

图7A所示的水平方向边缘(纵向边缘)检测用佐贝尔过滤器是用于提取图7C所示的纵方向连续的浓淡差的边界(边缘)的算符。图7B所示的垂直方向边缘(横向边缘)检测用佐贝尔过滤器是用于提取图7D所示的横方向连续的浓淡差的边界(边缘)的算符。

对水平方向边缘检测用佐贝尔过滤器的各数值乘以相对应的像素的亮度值后合计得到的值作为位于过滤器中央的像素的水平方向边缘值。同样，对垂直方向边缘检测用佐贝尔过滤器的各数值乘以相对应的像素的亮度值后合计得到的值作为位于过滤器中央的像素的垂直方向边缘值。

边缘值在该方向的亮度变化大的部分，其绝对值变大。亮度的变化小的部分，其绝对值小。没有亮度变化的部分，其边缘值为0。即，边缘值在某个方向相当于亮度的偏微分。只要能够表示某个方向的亮度变化的程度，边缘值也可以是采用图7A或图7B的佐贝尔过滤器的运算以外的方法求得的数值。

可以对图像的各像素运算水平方向边缘值和垂直方向边缘值。将各像素的水平方向边缘值按照原图像的像素的排列进行排列后的图像称为水平边缘图像。将各像素的垂直方向边缘值按照原图像的像素进行排列后的图像称为垂直边缘图像。

边缘值并不局限于图像的水平方向或垂直方向，也可以是画面的任意方向的亮度变化。例如，可以将朝图像的右上45度方向的亮度变化、或朝图像的右下45度方向的亮度变化作为边缘值进行计算。当在2个方向取边缘值时，希望取相互正交的方向的亮度变化。由于图像通常是利用分割成水平和垂直的格子的像素排列来表示，因此边缘值也按照水平方向和垂直方向2个方向进行计算。

当利用图7A的水平方向边缘检测用佐贝尔过滤器时，图像的从左向右的亮度从明到暗变化的像素的水平方向边缘值为正，从暗到明变化的像素的水平方向边缘值为负。从左向右从明到暗变化的像素中，水平方向边缘值在规定值以上的点称为纵向正边缘。还有，从左向右从暗到明变化的像素中，水平方向边缘值在规定值以上的点称为纵向负边缘。

当利用图7B的垂直方向边缘检测用佐贝尔过滤器时，图像的从上向下的亮度从明到暗变化的像素的垂直方向边缘值为正，从暗到明变化的像素的垂直方向边缘值为负。从上向下从明到暗变化的像素中，垂直方向边缘值在规定值以上的点称为横正边缘。还有，从上向下从暗到明变化的像素中，垂直方向边缘值在规定值以上的点称为横向负边缘。

边缘计算部23利用例如图7A和图7B所示的过滤器，根据眼睛搜索区域E计算出水平边缘图像和垂直边缘图像。图8是示意性表示眼睛搜索区域E的原图像的例子的图。在图8中，利用斜线表示图像的暗区域。作为举例，图8表示出现上睑的影子的情况。图9A表示根据眼睛搜索区域E的原图像计算的垂直方向边缘的例子。图9B表示根据眼睛搜索区域E的原图像计算出的水平方向边缘的例子。

在图9A中，利用横向正边缘A表示从上向下从明到暗变化的点，利用横向负边缘B表示从上向下从暗到明变化的点。在横向正边缘A中，主要的部分称为上睑候选。在横向负边缘B中，主要的部分称为下睑候选。另外，计算眉的上下边缘、上睑的影子(或者眼影(eye shadow))的下边缘、虹彩的下边缘等作为垂直方向边缘。

在图9B中，利用纵向正边缘C表示从左向右从明到暗变化的点，利用纵向负边缘D表示从左向右从暗到明变化的点。由于在上睑的两端出现纵向边缘(水平方向边缘)，上睑大致从左起由纵向正边缘C、横向正边缘A、纵向负边缘D构成。由于在下睑处出现横向负边缘B(垂直方向边缘)，而基本上不出现纵向边缘(水平方向边缘)。由于在图7B中，眼睛搜索区域E在横向取的较宽，因此面部轮廓也出现纵向边缘。另外，计算眼窝的影子、上睑的影子(或者眼影)、虹彩的左右边缘等作为水平方向边缘。

边缘计算部23还从计算的边缘中，除去浓淡差(构成水平方向/垂直方向边缘的像素的、水平方向/垂直方向的边缘值的差)小于规定值的边缘。与图9A和图9B相对应，图9C和图9D表示分别除去浓淡差小的边缘后的图。

边缘计算部23将所计算的水平方向边缘和垂直方向的边缘作为水平·垂直边缘数据53，存储在数据保持部5中。

边缘标记部24从水平·垂直边缘数据53中，除去边缘值的绝对值具有在规定阈值以上的像素连续的个数小于规定值(连续点数)的边缘。这里，所谓除去边缘，相当于将该像素的边缘值设定为0(没有亮度变化的点)。还有，将规定长度以上连续的点作为边缘进行分组。图9E是表示从图9C的垂直方向边缘进行睑边缘标记处理后的结果的图。图9F是表示从图9D的水平方向边缘中、进行睑边缘标记处理后的结果的图。通过在边缘图像中除去作为噪声的短边缘点，能够更正确地进行后述的利用图像窗口的扫描处理和最大值的判断。

边缘标记部24将进行了噪声除去处理的水平·垂直边缘图像的数据作为候选边缘数据54存储在数据保持部5中。在图9E和图9F中，删除了短边缘。在候选边缘数据54中，作为一个整体的边缘，对连续的点进行标记。

图10是重叠表示进行了睑边缘标记处理的结果的垂直方向边缘和水平方向边缘的图。表示在两侧存在纵向正边缘C和纵向负边缘D的横向正边缘A其确实是上睑候选。

图像窗口扫描部25利用以规定形状选择的像素的集合即图像窗口，对候选边缘数据54(或者，水平·垂直边缘数据53)进行扫描，计算出对图像窗口内的像素对应的边缘值乘以图像窗口的按每个像素的规定值并相加的加权和。逐个像素地移动图像窗口，每次移动时，计算出图像窗口中包含的像素的加权和。

基于应该检测的面部特征点的性质，设定与边缘值相乘的规定值即加权系数。加权系数在图像窗口内为固定值，例如可以为1、或者-1。或者，也可以在图像窗口内按每个像素不同的值。加权系数在全部像素中为1时，加权和为图像窗口内的像素的边缘值的和。加权系数在全部像素中为-1时，加权和为将图像窗口内的像素的边缘值进行符号反转后相加的值。

图像窗口有时由扫描水平边缘图像的水平边缘窗口、和扫描垂直边缘图像的垂直边缘窗口构成。在扫描时，水平边缘窗口和垂直边缘窗口具有固定的位置关系。此时，图像窗口扫描部25对与水平边缘窗口内的像素对应的水平方向边缘值乘以水平边缘窗口的按每个像素的规定值并相加的加权和、和与垂直边缘窗口内的像素对应的垂直方向边缘值乘以垂直边缘窗口的按每个像素的规定值并相加的加权和之和作为整体的加权和(总和)。图像窗口扫描部25将计算出的加权和或总和作为扫描记分数据56，存储在数据保持部5中。

特征位置判断部26将图像窗口扫描部25计算为加权和(或总和)中取最大值的图像窗口的位置判断为存在作为检测对象的特征点的位置。

图11至图13为说明图像窗口扫描和特征点检测的图。图11至图13放大表示图10的长方形R所包围的区域。图像窗口由水平边缘窗口7L、7R、与垂直边缘窗口8构成。图像窗口扫描部25保持固定的水平边缘窗口7L及7R、与垂直边缘窗口8的位置关系，对水平·垂直边缘图像进行扫描。在图11中，利用2点划线表示加权和的总和为最大的图像窗口的位置。

图12表示利用分解图像窗口的垂直边缘窗口进行扫描。利用垂直边缘窗口8扫描垂直边缘图像，为了表示与水平边缘窗口7L、7R具有固定的位置关系，利用虚线表示这些窗口。在图12中，利用2点划线表示加权和的总和为最大的垂直边缘窗口8的位置。

为了检测上睑的横向正边缘，垂直边缘窗口8的加权系数为例如固定的值“1”。由于横向负边缘的边缘值为负，因此垂直边缘窗口8中不会成为最大。这样，不会检测出图12的横向负边缘B。只有垂直边缘窗口8单独存在时的加权和的最大值有可能成为以图12的2点划线所示位置的稍下方。只有垂直边缘窗口8单独存在时，有时不能确定水平方向的位置。

图13表示利用分解图像窗口的水平边缘窗口进行扫描。利用水平边缘窗口7L、7R扫描垂直边缘图像，为了表示与垂直边缘窗口8具有固定的位置关系，利用虚线表示垂直边缘窗口8。在图13中，利用2点划线表示加权和的总和为最大的水平边缘窗口7L、7R的位置。

为了检测上睑的纵向正边缘C，水平边缘窗口7L的加权系数为例如固定的值“1”。为了检测上睑的纵向负边缘D，水平边缘窗口7R的加权系数为例如固定的值“-1”。因此，如图13的2点划线所示，水平边缘窗口7L位于纵向正边缘C、水平边缘窗口7R位于纵向负边缘D时，加权和为最大。只有水平窗口Wh1、7R单独存在时，加权和的最大值可能位于离开图13的2点划线所示的位置稍向上方处，但可以从与垂直窗口Wv的关系，确定总和的最大值的位置。

图11为将图12的垂直边缘图像与图13的水平边缘图像重叠在一起的图。如前所述，水平边缘窗口7L、7R与垂直边缘窗口8保持固定的位置关系，分别扫描水平边缘图像和垂直边缘图像，将加权和的总和为最大的图像窗口的位置作为检测位置。其结果，例如，将图11的2点划线所示的图像窗口的位置判断为上睑的位置。

图14是表示图像窗口的不同的例子的图。在图像窗口中，水平边缘窗口7L、7R不需要与垂直边缘窗口8接触，只要具有固定的相互位置关系，像素可以重复，也可以分开。在图14中，表示水平边缘窗口7L、7R与垂直边缘窗口8的像素出现重复的例子。

图像窗口也可以不是由以长方形选择的像素的集合即部分窗口所构成。可以对应所检测的特征点来确定图像窗口的形状。例如，可以为圆弧的一部分或这些圆弧的集合、或者为统计确定的像素的图案。还有，也可以基于应该检测的面部的特征点的性质来设定加权系数。

图15是表示检测下睑时的图像窗口的例子的图。由于在下睑处基本上不出现水平方向边缘，因此可以扫描垂直边缘图像。例如，以图15所示的图像窗口6来扫描垂直边缘图像，判断图15中2点划线所示的、加权和为最大的位置。如果检测出上睑位置，也可以进一步限定利用检测下睑的图像窗口6进行扫描的范围。

如上说明所示，可以确定上睑和下睑的位置。图16表示所检测的上睑和下睑的垂直方向边缘A、B。睑判断部27根据位于上睑和下睑的位置的边缘的数据来判断眼睛的开闭度。

显示处理部28将检测结果的上下睑与面部轮廓一起显示在显示装置4上。从上下睑的开闭度推定驾驶员的觉醒度，当判断为打瞌睡时，也可以在显示装置4显示警告(包括音响等)。还有，也可以在推定视线的方向时，利用上下睑数据。

接着，说明眼部检测装置1的动作。另外，眼部检测装置1的动作由控制部14与摄像机2、发送接收部16、图像存储器12、外部存储部13和主存储部15协同进行。

图17是表示面部特征点检测处理的动作的一个例子的流程图。控制部14经由发送接收部16，输入来自摄像机2的面部图像(步骤S1)。然后，如前所述，设定面部区域，在面部区域中设定眼睛搜索区域(步骤S2)。

控制部14在所设定的眼睛搜索区域内，计算水平方向边缘和垂直方向边缘(步骤S3)。控制部14对于所计算的水平方向边缘和垂直方向边缘，进行分组，进行删除小于规定长度(连续点数)的边缘等的睑边缘标记处理(步骤S4)。还有，初始设定图像窗口在边缘图像内的位置。

接着，控制部14计算出对与水平边缘窗口内的像素对应的水平方向边缘值乘以水平边缘窗口的按每个像素的规定值并相加的加权和、与垂直边缘窗口内的像素对应的垂直方向边缘值乘以垂直边缘窗口的按每个像素的规定值并相加的加权和，计算其总和(步骤S5)。将计算的总和作为在该图像窗口的位置的值进行存储。

控制部14让图像窗口移动1个像素(步骤S6)。判断图像窗口是否在搜索区域内，如果在搜索区域内(步骤S7：是)，则回到步骤S5，计算图像窗口的加权和的总和。

如果图像窗口不在搜索区域内(步骤S7：否)，则将图像窗口移到下一行(步骤S8)。然后，如果图像窗口在搜索区域内(步骤S9：是)，则从图像窗口的加权和的计算(步骤S5)开始重复进行。

将图像窗口移到下一行(步骤S8)，如果图像窗口不在搜索区域内(步骤S9：否)，则检测特征点的位置(步骤S 10)。即，将在步骤S5计算的加权和的总和中、取最大值的图像窗口的位置判断为特征点的检测位置。提取出位于该图像窗口位置的水平方向边缘和/或垂直方向边缘作为构成特征点的边缘。

利用本发明的眼部检测装置1，即使在外部乱光照射下、或出现面部形貌等个人差别，也能够根据面部图像数据高精度地检测眼睛。

在本实施方式中，以睑检测为例进行了说明。但通过与应检测的对象相对应，设定图像窗口和加权系数，能够利用本发明的方法，检测睑以外的特征点。即使在搜索特征点的面部图像中含有噪声成分，通过除去作为噪声成分的小于规定值的边缘线，可以在某种程度上除去噪声，从而能够进一步正确地判断特征点的位置。在本实施方式中，将加权和为最大的图像窗口的位置判断为检测对象存在的检测位置，但并不限定与此，也可以在各窗口内确定边缘的最大值，基于边缘数的最大值等，判断检测对象存在的检测位置。

另外，上述硬件结构和流程图为一个例子，可以进行任意变更和修正。

另外，进行由控制部14、发送接收部16、图像存储器12、外部存储部13和主存储部15等构成的眼部检测装置1的处理的中心部分可以不依赖专用的系统，而采用通常的计算机系统来实现。例如，也可以将进行上述动作的计算机程序存放在计算机能够读取的存储媒介(软盘、CD-ROM、DVD-ROM等)中进行发布，通过将该计算机程序安装到计算机中，构成执行上述处理的眼部检测装置1。还有，也可以将该计算机程序存放在因特网等通信网络上的服务器装置具有的存储装置中，通常的计算机系统通过下载等实现眼部检测装置1。

还有，在OS(Operating System)与应用程序分担、或者OS与应用程序协同实现上述眼部检测装置1的功能时，也可以只将应用程序部分存放在存储媒体或存储装置中。

还有，也可以在载波中叠加计算机程序，经由通信网络进行分发。例如，也可以在通信网络上的广告板(BBS，Bulletin Board System)上发布上述计算机程序，经由网络，分发上述计算机程序。然后，启动该计算机程序，在OS控制下，与其他应用程序一样运行，进行上述处理。

Claims (7)

1.一种面部特征点检测装置，具有：

图像获取机构，其获取面部图像；

边缘计算机构，其在面部图像中，通过根据基于面部图像中的像素排列对水平边缘值进行排列来创建水平边缘图像，以及通过基于面部图像中的像素排列对垂直边缘值进行排列来创建垂直边缘图像，其中每个水平边缘值指示水平方向中的亮度变化，每个垂直边缘值指示垂直方向中的亮度变化；和

检测对象判断机构，利用图像窗口扫描由边缘计算机构所创建的水平边缘图像和垂直边缘图像，所述图像窗口包括用于扫描水平边缘图像的水平边缘窗口(7L，7R)和用于扫描垂直边缘图像的垂直边缘窗口(8)，所述水平边缘窗口(7L，7R)是以规定形状形成的选择像素的集合，并与外眼角的水平边缘和内眼角的水平边缘中的至少之一对应，所述垂直边缘窗口(8)是以规定形状形成的选择像素的集合，并与眼睑的垂直边缘对应，与外眼角和内眼角对应的所述水平边缘窗口(7L，7R)位于所述垂直边缘窗口(8)的两侧下部，在扫描所述边缘图像的同时，多个子窗口(7L，7R，8)所配置的图像窗口保持固定的位置关系，所述检测对象判断机构将具有总加权和中的最大总加权和的图像窗口的位置判断为存在眼睛作为检测对象的检测位置，所述总加权和是每一个子窗口(7L，7R，8)中的每一个加权和之和，每一个加权和是通过将与所述水平边缘窗口内的每一个像素对应的水平边缘值乘以所述水平边缘窗口的按每个像素定义的规定值并将水平边缘值与规定值的所有乘积相加、以及通过将与所述垂直边缘窗口内的每一个像素对应的垂直边缘值乘以所述垂直边缘窗口的按每个像素定义的规定值并将垂直边缘值与规定值的所有乘积相加而计算得到的，

所述子窗口(7L，7R，8)包括所述水平边缘窗口(7L，7R)和所述垂直边缘窗口(8)。

2.根据权利要求1所述的面部特征点检测装置，其特征在于：

将与对应于所述水平边缘窗口内的每一个像素的水平边缘值相乘的所述水平边缘窗口的按每个像素定义的规定值，以及与对应于所述垂直边缘窗口内的每一个像素的垂直边缘值相乘的所述垂直边缘窗口的按每个像素定义的规定值，设置为每一个子窗口(7L，7R，8)中用于配置图像窗口的固定值。

3.根据权利要求2所述的面部特征点检测装置，其特征在于：

所述水平边缘图像是通过基于面部图像中的像素排列来排列水平边缘值而创建的，定义水平边缘值，以将其亮度在图像从左向右的方向上从明到暗变化的像素设置为正值，将其亮度在图像从左向右的方向上从暗到明变化的像素设置为负值，以及将其他像素设置为0，以及其中，

所述垂直边缘图像是通过基于面部图像中的像素排列来排列垂直边缘值而创建的，定义垂直边缘值，以将其亮度在图像从上向下的方向上从明到暗变化的像素设置为正值，将其亮度在图像从上向下的方向上从暗到明变化的像素设置为负值，以及将其他像素设置为0。

4.根据权利要求3所述的面部特征点检测装置，其特征在于：

所述垂直边缘窗口(8)在水平方向上的长度被设置为比其在垂直方向上的长度要长。

5.根据权利要求4所述的面部特征点检测装置，其特征在于：

所述垂直边缘窗口(8)形成为长方形。

6.根据权利要求4或5所述的面部特征点检测装置，其特征在于：

具有噪声除去机构，其从上述边缘图像中除去上述边缘值的绝对值具有规定阈值以上的值的像素连续的个数小于规定值的边缘。

7.一种面部特征点检测方法，包括：

边缘计算步骤，在面部图像中，通过根据基于面部图像中的像素排列对水平边缘值进行排列来创建水平边缘图像，以及通过基于面部图像中的像素排列对垂直边缘值进行排列来创建垂直边缘图像，其中每个水平边缘值指示水平方向中的亮度变化，每个垂直边缘值指示垂直方向中的亮度变化；和

检测对象判断步骤，利用图像窗口扫描由边缘计算步骤所创建的水平边缘图像和垂直边缘图像，所述图像窗口包括用于扫描水平边缘图像的水平边缘窗口(7L，7R)和用于扫描垂直边缘图像的垂直边缘窗口(8)，所述水平边缘窗口(7L，7R)是以规定形状形成的选择像素的集合，并与外眼角的水平边缘和内眼角的水平边缘中的至少之一对应，所述垂直边缘窗口(8)是以规定形状形成的选择像素的集合，并与眼睑的垂直边缘对应，与外眼角和内眼角对应的所述水平边缘窗口(7L，7R)位于所述垂直边缘窗口(8)的两侧下部，在扫描所述边缘图像的同时，多个子窗口(7L，7R，8)所配置的图像窗口保持固定的位置关系，所述检测对象判断步骤将具有总加权和中的最大总加权和的图像窗口的位置判断为存在眼睛作为检测对象的检测位置，所述总加权和是每一个子窗口(7L，7R，8)中的每一个加权和之和，每一个加权和是通过将与所述水平边缘窗口内的每一个像素对应的水平边缘值乘以所述水平边缘窗口的按每个像素定义的规定值并将水平边缘值与规定值的所有乘积相加、以及通过将与所述垂直边缘窗口内的每一个像素对应的垂直边缘值乘以所述垂直边缘窗口的按每个像素定义的规定值并将垂直边缘值与规定值的所有乘积相加而计算得到的，

所述子窗口(7L，7R，8)包括所述水平边缘窗口(7L，7R)和所述垂直边缘窗口(8)。

Images