CN101390128B - 脸部器官的位置的检测方法及检测系统 - Google Patents

Abstract

本发明用简便的方法可靠性高地从脸部图像自动地检测眼部、口部以及鼻部的位置。从脸部图像生成亮度逐次变化的多个灰度图像，进行随着灰度图像从以高亮度淡出的状态向低亮度淡入，检测在淡出的脸部区域中渐次出现的像素集合区域的方法(淡入法)，基于检测出的像素集合区域中成对出现的像素集合区域在全部灰度图像中出现的次数来确定眼部位置，另一方面，基于用淡入法检测出的渐次出现的像素的成长停止的像素集合区域与双眼的位置关系等来确定口部位置和鼻部位置。

Description

脸部器官的位置的检测方法及检测系统

技术领域

本发明涉及从脸部图像自动地检测眼部、口部、鼻部这些脸部器官的位置的方法。

背景技术

在将彩色图像等重合于被检测者的脸部图像的眼部、口部、鼻部以及其它脸部器官的部分乃至其周边区域，形成化妆模拟图像的情况下，需要检测脸部图像中的眼部、口部、鼻部这些脸部器官的位置。

此外，在将发型的模型图像重合于被检测者的脸部图像，形成发型模拟图像的情况下，眼部位置的检测可以用于图像大小的调整和定位，并且，也用于脸部图像的眼部遮挡处理、脸部图像的帧处理、以及个人认证用图像的生成等。

以往，作为从脸部图像检测眼部位置的方法，使用通过提取肤色区域来检测脸部，再通过模式匹配等来检测眼部的方法等(非专利文献1、专利文献1)。

非专利文献1：2005年第5次LSI IP设计奖获奖论文《能够高速、高可靠性地检测脸部的脸部候补点检测法》(日经BP社)

专利文献1：日本特开2004-94917

但是，肤色区域的提取受到照明环境的影响。因此，在各种照明环境下所拍摄的不确定多数的脸部图像作为对象的情况下，可靠性成为问题。另外，模式检测的方法存在着计算量巨大的问题。

对此，本发明的目的在于，能够用简便的方法可靠性高地从脸部图像自动地检测眼部、口部以及鼻部的位置。

发明内容

发明者们发现，在从脸部图像生成亮度逐次变化的多个灰度图像，并观察从高亮度侧淡出的图像顺次淡入的图像的情况下，在淡出的脸部区域中最先出现的像素为瞳孔区域的像素；在此情况下，瞳孔区域的像素成对出现；如果对成对出现的像素区域在全部灰度图像中出现的次数进行累计，就能够基于该累计结果确定眼部位置；这种确定眼部位置的方法，不仅能够适用于静态图像，也能够适用于动态图像；而且，在观察从已淡出的图像顺次淡入的图像时所得到的像素集合中，选择与眼部位置有特定关系的像素集合，通过对其的相互位置关系附加条件，能够确定口部位置和鼻部位置。

即，本发明提供一种眼部位置的检测方法，其特征在于，

从脸部图像生成亮度逐次变化的多个灰度图像，

进行随着灰度图像从以高亮度淡出的状态向低亮度淡入，检测在淡出的脸部区域中渐次出现的像素集合区域的方法(以下称为淡入法)，

选择检测出的像素集合区域中成对出现的像素集合区域作为眼部位置候补区，

基于各个眼部位置候补区在全部灰度图像中出现的次数来确定眼部位置。在此情况下，提供了一种脸部图像的获取单元为能够拍摄静态图像或动态图像的摄影机的方式。

另外，本发明提供一种脸部器官的位置的检测方法，其特征在于，

对脸部图像进行淡入法，选择检测出的像素集合区域中成对出现的像素集合区域作为眼部位置候补区，基于各个眼部位置候补区在全部灰度图像中出现的次数来确定眼部位置，

将用淡入法检测出的渐次出现的像素的成长停止的像素集合区域分组化为纵方向的位置重合的各个像素集合区域，

在分组化的各个像素集合区域形成外接矩形，

将在形成于该各个分组的外接矩形中位于从与双眼的位置关系预测的规定区域内的外接矩形作为口部位置候补区，

将作为口部位置候补区的外接矩形中横向宽度最大的外接矩形确定为口部位置。

此外，本发明提供一种脸部器官的位置的检测方法，其特征在于，

在用上述方法确定口部位置后，在用淡入法检测出的渐次出现的像素的成长停止的各个像素集合区域形成外接矩形，将形成于该各个像素集合领域的外接矩形中位于从与双眼的位置关系预测的规定区域内的外接矩形作为鼻部位置候补区，

将作为鼻部位置候补区的外接矩形中下边位于被确定为口部位置的外接矩形的上边的更上方，且横向宽度最大的外接矩形确定为鼻部位置。

而且，本发明提供一种眼部位置的检测系统，其具备脸部图像的获取单元和演算单元，其特征在于，

演算单元具备：

从脸部图像生成亮度逐次变化的多个灰度图像的功能；

随着灰度图像从以高亮度淡出的状态向低亮度淡入，检测在淡出的脸部区域中渐次出现的像素集合区域的功能；

选择检测出的像素集合区域中成对出现的像素集合区域作为眼部位置候补区的功能；以及

基于各个眼部候补位置在全部灰度图像中出现的次数来确定眼部位置的功能。在此情况下，提供一种脸部图像的获取单元为能够拍摄静态图像或动态图像的摄影机的方式。

另外，本发明提供一种脸部器官的位置的检测系统，其具备脸部图像的获取单元和演算单元，其特征在于，

演算单元具备：

从脸部图像生成亮度逐次变化的多个灰度图像的功能；

随着灰度图像从以高亮度淡出的状态向低亮度淡入，检测在淡出的脸部区域中渐次出现的像素集合区域的功能；

选择检测出的像素集合区域中成对出现的像素集合区域作为眼部位置候补区的功能；

基于各个眼部候补位置在全部灰度图像中出现的次数来确定眼部位置的功能；

对于检测出的渐次出现的像素的成长停止的像素集合区域中纵方向的位置重合的像素集合区域进行分组化的功能；

在分组化后的各个像素集合区域形成外接矩形的功能；

将形成于该分组的外接矩形中位于从与双眼的位置关系预测的规定区域内的外接矩形作为口部位置候补区的功能；

从作为口部位置候补区的外接矩形中选择横向宽度最大的外接矩形作为口部位置的功能；

在检测出的渐次出现的像素的成长停止的各个像素集合区域形成外接矩形的功能；

将形成于该各个像素集合领域的外接矩形中位于从与双眼的位置关系预测的指定区域内的外接矩形作为鼻部位置候补区的功能；以及

将作为鼻部位置候补区的外接矩形中下边位于被确定为口部位置的外接矩形的上边的更上方且横向宽度最大的外接矩形确定为鼻部位置的功能。在此情况下，提供一种脸部图像的获取单元为能够拍摄静态图像或动态图像的摄影机的方式。

根据本发明的眼部位置的检测方法或检测系统，从脸部图像生成亮度逐次变化的多个灰度图像，随着灰度图像从以高亮度淡出的状态向低亮度淡入，检测在淡出的脸部区域上渐次出现的像素集合区域作为眼部位置候补区，基于眼部位置候补区在全部灰度图像中出现的次数来确定眼部位置，因而能够不受照明环境、被检测者的肤色、被检测者的瞳孔颜色、脸部图像中的脸部朝向等影响，高可靠性地检测眼部位置，并且，由于不需要模式匹配，因而能够通过高速的演算处理来检测眼部位置。

所以，与以眼部位置为基准将各种发型图像匹配到任意的脸部图像，形成发型模拟图像，以及，以眼部位置为基准将化妆后的脸部的部分图像匹配到任意的脸部图像，形成化妆模拟图像相类似地，通过以眼部位置为基准对多个图像信息进行匹配来形成模拟图像时，如果使用本发明的方法或系统来检测眼部位置，那么，由于眼部位置的检测精度高，因而能够形成比较自然的模拟图像。另外，与用于个人信息保护的眼部遮挡处理相类似地，以眼部位置为基准进行马赛克、涂抹等图像处理时，也能够优选使用本发明的方法或系统。而且，由于能够高速进行这些图像处理，因而不仅能够在静态图像，也能够在动态图像进行这些图像处理。

与本发明的眼部位置的检测方法或检测系统相同，根据本发明的脸部器官的位置的检测方法或检测系统，首先，检测用淡入法从脸部图像得到的像素集合区域作为眼部位置候补区，基于眼部位置候补区在全部灰度图像中出现的次数来确定眼部位置。然后，对于用淡入法得到的渐次出现的像素的成长停止的像素集合区域进行分组化，在分组化的各个像素集合区域设想外接矩形，从形成于该各个分组的外接矩形和眼部的位置关系以及外接矩形的横向宽度确定口部位置。进而，设想用淡入法得到的渐次出现的像素的成长停止的各个像素集合区域的外接矩形，从形成于该各个像素集合区域的外接矩形和眼部的位置关系、与口部的位置关系以及外接矩形的横向宽度来确定鼻部位置。所以，能够不受照明环境、被检测者的肤色、被检测者的瞳孔颜色、脸部图像中的脸部的方向等影响，高可靠性地检测眼部、口部、鼻部的位置，并且，由于不需要模式匹配，因而能够通过高速的演算处理来检测眼部、口部、鼻部的位置。

所以，在将化妆后的眼部、鼻部、口部这些脸部器官乃至其周边区域的图像匹配到被检测者的脸部图像，形成化妆模拟图像时，能够使用演算单元自动且简便地形成比较自然的模拟图像。

附图说明

图1A是眼部位置的检测方法的流程图。

图1B是动态图像中的眼部位置的检测方法的流程图。

图1C是脸部器官的位置的检测方法的流程图。

图2是眼部位置的检测系统的模块图。

图3是眼部位置的检测对象区域的说明图。

图4是亮度逐次变化的灰度图像。

图5是亮度逐次变化的灰度图像的灰阶反转图像。

图6是某个淡入图像中的像素集合区域的说明图。

图7是在灰度图像的全部层次中对眼部的位置候补区进行累计后的状态的说明图。

图8是显示检测出的眼部位置的原始图像。

图9A是倾斜的脸部图像。

图9B是修正了倾斜的脸部图像。

图10是口部位置和鼻部位置的检测对象区域的说明图。

图11是像素集合区域的外接矩形及其分组化的说明图。

图12是作为口部或鼻部的位置候补区的外接矩形的选择方法的说明图。

符号说明

1 拍摄装置

2 个人电脑主机

3 显示器

4 图像扫描仪

5 打印机

10 眼部位置的检测系统

20 脸部灰度图像

21 作为眼部位置的检测对象区域的矩形框

21′ 作为口部位置、鼻部位置的检测对象区域的矩形框

30 对像素集合区域的外接矩形进行分组化后的外接矩形

31，32，33，34 像素集合区域的外接矩形

40，41，42 圆

具体实施方式

以下，参照附图，详细地说明本发明。

图1A是表示本发明的眼部位置的检测方法的一个实施例的流程图，图1B是在动态图像中进行本发明的眼部位置的检测方法的一个实施例的流程图，图1C是表示顺次检测眼部、口部、鼻部的位置的方法的一个实施例的流程图，图2是实施这些方法的系统的模块图。

该系统10由拍摄装置1以及个人电脑主机2组成，在个人电脑主机2上，连接有显示器3、图像扫描仪4、打印机5等。

拍摄装置1作为被检测者的脸部图像的获取单元而设置，能够使用数码相机、数码摄像机、网络摄像头等市售的能够拍摄静态图像或动态图像的摄影机。在以动态图像为眼部位置的检测对象的情况下，可以根据需要，在拍摄装置1和个人电脑主机2之间连接视频采集装置。

个人电脑主机2，具备生成亮度逐次变化的多个灰度(grey scale)图像(例如，在256级灰阶的灰度图像的层次中，像素值每次变化2～3级灰阶)的图像处理功能。

作为灰度图像的生成方法，存在着在各像素中，(1)利用R、G、B的各值的最大值和最小值的平均值的方法；(2)利用R、G、B的各值的平均的方法；(3)向R、G、B的各值乘以规定的加权系数(NTSC等)之后，取其平均的方法等。本发明中，优选在方法(3)中，例如利用下式：

Y(输出辉度)＝0.298912×R+0.568811×G+0.114478×B，使灰阶每次变化2～3级。这种灰度化的图像处理功能，例如，能够通过在个人电脑主机2上安装Adobe Systems公司制作的Photoshop等市售的图像处理软件来获得。

另外，个人电脑主机2还具有：随着亮度的变化而使对比度变化的功能(例如，随着亮度升高而使对比度降低且随着亮度降低而使对比度提高的功能)；按亮度较低或较高的顺序添加序号，管理灰度图像的层次的功能；在灰度图像的层次中，随着亮度从以高亮度淡出(fadeout)的状态向低亮度淡入(fade in)，检测在已淡出的脸部区域上渐次出现的像素集合区域的功能；选择在检测出的像素集合区域中成对出现的区域作为眼部位置候补区的功能；以及对各个眼部位置候补区在全部层次的灰度图像中出现的次数进行计数，并基于该值确定眼部位置的功能等。

而且，个人电脑主机2还具有：脸部图像尺寸的调整功能；在脸部图像上设定眼部位置的检测对象区域的功能；脸部图像的模糊功能；预先在规定范围内设定检测的像素集合区域的纵方向以及横方向的尺寸的功能；将眼部位置候补区的相互位置关系或眼部位置候补区的宽度等作为从眼部位置候补区确定特定的眼部位置时的眼部位置条件，并进行储存的功能；以及从眼部位置候补区中选择满足眼部位置条件的位置，并确定为眼部位置的功能等。

此外，在以动态图像为眼部位置的检测对象的情况下，个人电脑主机2具有：根据需要选择从拍摄装置1以规定的帧率传送的帧的功能；以及在对于某一帧确定眼部位置的情况下，储存该位置，并将该位置的周边作为下一帧中的眼部位置的检测对象区域的功能等。

另外，除了眼部位置的检测之外，在进行脸部器官的检测的情况下，该个人电脑主机2除了上述功能之外，还具有：基于各个眼部位置候补区在全部灰度图像中出现的次数来确定眼部位置的功能；对于检测出的渐次出现的像素的成长停止的像素集合区域中纵方向的位置重合的区域进行分组化的功能；在各个分组化的像素集合区域形成外接矩形的功能；将在该各个分组形成的外接矩形中与双眼有特定的位置关系的外接矩形作为口部位置候补区的功能；将作为口部位置候补区的外接矩形中横向宽度最大的外接矩形确定为口部位置的功能；在检测出的各个像素集合区域形成外接矩形的功能；将在该各个像素集合区域形成的外接矩形中与双眼有特定的位置关系的外接矩形作为鼻部位置候补区的功能；将作为鼻部位置候补区的外接矩形中下边在被确定为口部位置的外接矩形的上边的更上方且横向宽度最大的外接矩形确定为鼻部位置的功能等。

在使用该系统10检测静态图像中的眼部位置的方法中，如图1A的流程图所示，首先，在个人电脑主机2获取作为眼部位置的检测对象的脸部图像。关于脸部图像，例如可以用拍摄装置1拍摄对象者的脸部图像，并将其导入个人电脑主机2，也可以使用图像扫描仪4读取对象者的脸部照片，也可以利用互联网等通信线路获取。

接下来，根据需要，将脸部图像的像素数调整为适于眼部位置检测处理的尺寸。具体而言，如果脸部图像的像素数过多，则将给检测处理带来过度的负担，而如果过少，则眼部位置的检测精度下降，因而将图像尺寸变更为480×360～320×240左右。

另外，如果脸部图像锐利，则在后续的图像处理中将出现很多细小的边缘，成为眼部位置候补区的检测噪点，因而根据需要对脸部图像进行模糊处理。这种情况下，模糊的程度优选为弱～中，例如，对于各像素，进行这样的模糊处理：对注目点的像素及其周围的25个像素使用1～5的加权模糊滤镜，并输出辉度的平均值。该模糊处理可以根据需要多次进行。

而且，本发明的眼部位置的检测方法中，由于不需要脸部图像的色彩信息，因而在获取的图像为彩色图像的情况下，为了减少后续的处理量，将其变换为灰度图像。

接下来，优选在获取的脸部图像中预先设定眼部位置的检测对象区域。例如，如图3所示，对于脸部灰度图像20，设定矩形框21作为眼部位置的检测对象区域。该矩形框21的设定方法为，在以脸部图像20的纵边的长度的1/8为A的情况下，可以形成纵向3A、横向4A的区域，并且，该区域的中心O可以与脸部图像20的中心坐标重合，在此，脸部图像20的中心坐标可以为在脸部图像20的横向宽度的中心线上距离脸部图像20的上边3.5A的位置。像这样设定矩形框21作为眼部位置的检测对象区域的方法，能够适用于显示有上半身的任意图像。

接下来，如图4所示，形成亮度逐次变化的多个灰度图像。具体而言，例如在256级灰阶的灰度图像中，生成30～100层次左右的从完全淡出的像素值为0的图像开始渐次降低亮度的淡入图像。在这30～100层次的图像中，必然出现眼部的部分。这种情况下，如果在提高亮度的同时降低对比度，在降低亮度的同时提高对比度，则淡入图像中的眼部的部分更加鲜明地显现，因而优选。

由图4可知，如果提高灰度图像的亮度，从完全淡出的图像开始逐次降低亮度，形成淡入图像的层次，那么，通常首先在瞳孔检测出像素集合，接着在鼻部和口部检测出像素集合。另外，由于瞳孔区域的像素集合是左右成对出现的，因而选择左右成对的像素集合。虽然按照层次，在除瞳孔之外的嘴角、眉、额头等区域中，像素集合区域也成对出现，但是，在这个阶段，也选择这些像素集合区域作为眼部位置候补区。

另外，在像素集合区域的检测中，从能够简便地进行图像处理的观点出发，优选如图5所示，对亮度逐次变化的灰度图像的灰阶进行反转。

另外，作为被检测为眼部位置候补区的像素集合的条件，在如前所述地以脸部灰度图像20的纵边的长度的1/8为A的情况下，预先将像素集合区域的大小设定在纵向0.4A～0.7A、优选为0.5A～0.7A，横向0.5A～1.0A、优选为0.7A～1.0A的范围内。通常，位于眼部位置的像素集合区域的大小具有该范围内的大小，因而通过预先设定如此的大小的条件，能够减轻眼部位置的检测所需要的后续的处理量。

图6用矩形在某个层次的淡入图像中表示在脸部区域中出现的像素集合区域，并用直线连接其中成对的像素集合区域。并且，在图6中，为了容易地看出一对的像素集合区域，用外接矩形包围像素集合区域，但是，在检测眼部位置时，并不一定需要用外接矩形包围像素集合区域。

作为成对的像素集合区域中被选择为眼部位置候补区的像素集合区域的条件，优选预先设定以下的(1)～(4)：

(1)左右成对的像素集合区域的横向距离在一定的范围内；

(2)左右成对的像素集合区域的纵向距离在一定的范围内；

(3)左右成对的像素集合区域中的左侧的像素集合区域位于脸部图像的矩形框21的左半边区域；

(4)左右成对的像素集合区域中的右侧的像素集合区域位于脸部图像的矩形框21的右半边区域。

接下来，如图7所示，在灰度图像的所有层次中对于在各淡入图像中出现的一对的眼部位置候补区进行累计，对其出现的次数进行计数，按该计数值多的顺序生成排位表。该计数中，在从淡出的脸部图像阶段性地降低亮度的情况下最初出现且持续出现至最后阶段的瞳孔区域的眼部位置候补区，通常为最大计数(排位第一)。因而，原则上将该最大计数的眼部位置候补区的位置确定为眼部位置。

但是，在全部满足下面(a)～(c)的条件的情况下，或者满足(d)的条件的情况下，将计数为第二多的眼部位置候补区的位置确定为眼部位置。

(a)排位第二的眼部位置候补区比排位第一的眼部位置候补区处于更上方；

(b)排位第二的眼部位置候补区的中心间距比排位第一的眼部位置候补区的中心间距长；

(c)排位第二的眼部位置候补区的相当于左右瞳孔的区域均比排位第一的眼部候补的相当于左右瞳孔的位置处于更外侧；

(d)排位第一的眼部位置候补区和排位第二的眼部位置候补区的纵方向的距离大约为眼部和眉毛的距离，且排位第一的眼部位置候补区比排位第二的眼部位置候补区处于更上方。

其中，(a)～(c)是针对排位第一偶然为口部区域的情况，是为了防止将口部位置误判为眼部位置；(d)是为了防止将眼部周围的眉毛等误判为眼部位置。

综上所述，如图8所示，在脸部图像(进行图像处理前的原始图像)中，能够正确地检测眼部位置(更准确地说，为瞳孔位置)。

另一方面，在使用该系统10检测动态图像中的眼部位置的方法中，如图1B所示，首先获取从拍摄装置1传送的动态图像的帧作为脸部图像，并检测该帧中的眼部位置。眼部位置的检测方法本身与静止图像中的眼部位置的检测相同，形成在灰度图像中亮度逐次变化的淡入图像的层次，检测在淡入图像中出现的像素集合，选择眼部位置候补区(左右成对出现的像素集合区域)，对灰度图像的所有层次中的眼部位置进行累计并对其出现次数进行计数，根据最大计数来确定眼部位置，根据眼部位置候补区的位置和双眼的中心间距来修正该确定等。

但是，在从拍摄装置1传送的起始帧中，眼部位置的检测对象区域并不限定为特定的区域，优选为图像全体。

接下来，判断所确定的眼部位置是否适当。作为判断方法，例如，在从像素值0到255之间生成100层次的淡入图像的情况下，当最大计数值为5以下时，判断为不是眼部。另外，在用该方法判断眼部位置是否适当的情况下，可以成比例地决定淡入图像的层次数和判断眼部位置是否适当的最大计数值。所以，在从像素值0到255之间生成的淡入图像为200层次的情况下，如果最大计数为10以下，则判断为不是眼部。

在通过判断眼部位置是否适当来判断眼部位置是否被正确地检测的情况下，记录该帧中的眼部位置。

然后，从拍摄装置1获取随后传送的帧(设为帧N)，仅将已记录的眼部位置的周边作为眼部位置的检测对象区域，与上述同样地检测眼部位置。在判断该帧N中的眼部位置也被正确地检测的情况下，记录其位置，进而在下一帧N+1中，将最近记录的眼部位置的周边作为检测对象区域。通过如此地限定眼部位置的检测对象区域，能够加快处理速度。

在此，在眼部位置被正确地检测的情况下，作为下一帧中的眼部位置的检测对象区域的眼部位置的周边的设定，例如，为以双眼的中间点为中心的矩形，其范围是，横方向为双眼的中心间距的1.5～3倍，优选为1.8～2.2倍，纵方向为双眼的中心间距的0.5～2倍，优选为0.8～1.2倍。

另一方面，在判断起始帧中的所确定的眼部位置为不适当的情况下，在该帧中不再继续检测眼部位置，而在下一帧中进行眼部位置的检测。

并且，在上述的帧N中所检测的眼部位置是否适当的上述判断中，如果判断为不适当，则将该帧N的图像全体作为检测对象区域，检测眼部位置，如果判断眼部位置由此被正确地检测，则记录该位置，并在下一帧N+1中将这个最近记录的眼部位置的周边作为检测对象区域，检测眼部位置。与此相对的是，即使在帧N中将图像全体作为检测对象区域，却仍然不能正确地检测眼部位置的情况下，在该帧N中不再继续检测眼部位置，而在下一帧N+1中检测眼部位置。

另外，未正确地检测眼部位置的原因有：(i)在图像中不存在眼部；(ii)眼部存在，但眼部是闭上的；(iii)眼部位置在高速移动，因而眼部图像抖动等。在任何一种情况下，如果在某一帧中未正确地检测眼部位置，则在下一帧中检测眼部位置。

并且，在因图像尺寸和帧率而使得眼部位置的检测未能赶上帧的传送的情况下，每隔规定的帧数检测眼部位置。

在未正确地检测眼部位置的帧，或者因每隔规定的帧数进行眼部位置的检测而导致未检测出眼部位置的帧中，根据图像的内容或眼部位置的检测目的，可以通过对检测出眼部位置的帧中的眼部位置进行增补来确定眼部位置，另外，也可以不在显示器上显示未检测出眼部位置的帧。

本发明的眼部位置的检测方法，不受作为眼部位置的检测对象的脸部图像的被摄体的肤色、瞳孔颜色、脸部朝向、照明环境的变化影响，能够以简便的算法和高处理速度，高精度地检测眼部位置。所以，无论是白人、黑人，都能够从脸部图像检测眼部位置。

如此地检测出的眼部位置，能够在需要检测眼部位置的各种情况下加以利用。这些情况为：以眼部位置为基准将各种发型图像匹配到任意脸部图像，形成发型模拟图像；以眼部位置为基准将化妆后的脸部的部分图像匹配到任意脸部图像，形成化妆模拟图像；脸部图像的眼部遮挡处理；脸部图像的帧处理；以及个人认证用图像的形成等。

在本发明中，除了眼部位置之外，在检测口部、鼻部这些脸部器官的位置的情况下，如图1C所示的流程图所示，用上述方法在静态图像或动态图像中检测眼部位置，随后顺次检测口部位置和鼻部位置。这种情况下，如果脸部图像如图9A所示发生倾斜，则优选在检测口部位置和鼻部位置之前，如图9B所示，旋转脸部图像的坐标，使得连接双眼的瞳孔的直线成为水平，从而修正脸部图像的倾斜。

另外，优选在脸部图像中预先设定作为口部和鼻部的检测对象区域的矩形框。例如，如图10所示，在以脸部图像20的纵向尺寸的1/8为A的情况下，设定矩形框21′，该矩形框21′从以双眼作为两个顶点的倒正三角形开始，在上下方向上分别拓宽A、在左右方向上分别拓宽0.5A。

检测口部位置时，在眼部位置的检测中所使用的灰度的层次图像中，优选在设定的矩形框21′内，将检测出的渐次出现的像素的成长停止的像素集合区域分组化为纵方向的位置重合的各个区域。例如，如图11所示，像素集合区域A、B被分组化为一个分组C。

另外，在对像素集合区域进行分组化时，分组化后的最大区域的横方向不超过双眼的瞳孔的距离的1.1倍，纵方向不超过双眼的瞳孔的距离的0.6倍。由此，能够从用于检测口部位置的像素集合区域的分组中排除不需要的噪点。

在各个分组化后的像素集合区域形成外接矩形，将在该各分组形成的外接矩形中与双眼位置有特定的关系的外接矩形作为口部位置候补区，具体而言，如图12所示，以双眼的瞳孔的位置为左右顶点描绘倒正三角形T，以该倒正三角形T的下顶点为中心，描绘直径为该倒正三角形的一边长的0.65～1.0倍的圆40，另一方面，以分组C的外接矩形30的中心为圆心描绘内接于外接矩形30的圆41，如果该圆41与上述圆40有重合，则将与具有该重合的圆41相对应的外接矩形30作为口部位置候补区。

然后，在作为口部位置候补区的外接矩形存在多个的情况下，将横向宽度最大的外接矩形确定为口部位置。

在如此地确定作为口部位置的外接矩形30之后，将该确定的外接矩形的横向宽度作为构成口部的像素的横向宽度。

在此，在被选择为口部位置的外接矩形的横向宽度不跨过连接双眼的瞳孔的直线的二等分线(倒三角形的下顶点)的情况下，在横方向上扩展该外界矩形，使得被选择为口部位置的外接矩形以该二等分线为中心左右对称，并利用该扩展后的外接矩形来确定口部位置。

另外，在以上处理中，如果不存在作为口部位置的外接矩形，则将由淡入法得到的眼部位置确定为下一个眼部位置候补区(计数排位为下一位的眼部位置)，重新进行口部的检测。

在确定口部位置之后，检测鼻部位置。检测鼻部位置时，在口部位置的检测中所使用的灰度的层次图像中，优选如图11所示，在已设定的上述的矩形框21′内，对检测出的像素集合区域不进行特别的分组化，而是在各个像素集合区域形成外接矩形31、32、33、34。然后，将形成的外接矩形31、32、33、34中与双眼的位置有特定的关系的外接矩形作为鼻部位置候补区，具体而言，与检测口部位置的情况相同，如图12所示，以双眼的位置为左右顶点描绘倒正三角形T，以该倒正三角形T的下顶点为中心，描绘直径为该倒正三角形的一边长的0.5～0.7倍的圆42，另一方面，以各外接矩形31、32、33、34的中心为圆心，描绘内接于各外接矩形31、32、33、34的圆，如果该圆与上述的圆42有重合，则将与具有该重合的圆相对应的外接矩形32、33作为鼻部位置候补区。

然后，将作为鼻部位置候补区的外接矩形32、33中下边位于被确定为口部位置的外接矩形30的上边的更上方且横向宽度最大的外接矩形确定为鼻部位置，具体而言，通过被确定为鼻部位置的外接矩形的下边来确定鼻部下端的位置与宽度。

在此，在被确定为鼻部位置的外接矩形的横向宽度不跨过连接双眼的瞳孔的直线的二等分线(倒三角形的下顶点)的情况下，在横方向上扩展该外接矩形，使得被选择为鼻部位置的外接矩形以该二等分线为中心左右对称，并利用该扩展后的外接矩形的下边来确定鼻部下端的位置和宽度。

在如此地确定鼻部和口部的位置时，在将如图9A所示的倾斜的脸部图像如图9B所示地修正倾斜的情况下，确定眼部、鼻部、口部的位置，随后逆向旋转坐标，将其位置变换为当初倾斜的脸部图像中的位置。

产业上的利用可能性

本发明能够用于在静态图像或动态图像的脸部图像的图像处理中需要检测眼部位置的各种情况。这些情况为：以眼部位置为基准将各种发型图像匹配到任意脸部图像，形成发型模拟图像；以眼部位置为基准将化妆后的脸部的部分图像匹配到任意脸部图像，形成化妆模拟图像；脸部图像的眼部遮挡处理；脸部图像的帧处理等。

另外，本发明能够用于需要检测眼部位置、口部位置、鼻部位置的化妆模拟图像的形成等。

Claims (16)

1.一种眼部位置的检测方法，其特征在于：

进行淡入法，所述淡入法是从脸部图像生成亮度逐次变化的多个灰度图像，随着灰度图像从以高亮度淡出的状态向低亮度淡入，检测在淡出的脸部区域中渐次出现的像素集合区域的方法，

选择用淡入法检测出的像素集合区域中成对出现的像素集合区域作为眼部位置候补区，所述像素集合区域除瞳孔之外还包括嘴角、眉、额头的区域，

基于各个眼部位置候补区在全部灰度图像中出现的次数来确定眼部位置，

作为成对的所述像素集合区域中被选择为所述眼部位置候补区的像素集合区域的条件，预先设定以下的(1)～(4)：

(1)左右成对的像素集合区域的横向距离在一定的范围内；

(2)左右成对的像素集合区域的纵向距离在一定的范围内；

(3)左右成对的像素集合区域中的左侧的像素集合区域位于脸部图像的矩形框的左半边区域；

(4)左右成对的像素集合区域中的右侧的像素集合区域位于脸部图像的矩形框的右半边区域，

在灰度图像的所有层次中对于在各淡入图像中出现的一对的眼部位置候补区进行累计，对其出现的次数进行计数，按该计数值多的顺序生成排位表，将最大计数的眼部位置候补区的位置确定为眼部位置，但是，在全部满足下面(a)～(c)的条件的情况下，或者满足(d)的条件的情况下，将计数为第二多的眼部位置候补区的位置确定为眼部位置，

(a)排位第二的眼部位置候补区比排位第一的眼部位置候补区处于更上方；

(b)排位第二的眼部位置候补区的中心间距比排位第一的眼部位置候补区的中心间距长；

(c)排位第二的眼部位置候补区的相当于左右瞳孔的区域均比排位第一的眼部候补的相当于左右瞳孔的位置处于更外侧；

(d)排位第一的眼部位置候补区和排位第二的眼部位置候补区的纵方向的距离大约为眼部和眉毛的距离，且排位第一的眼部位置候补区比排位第二的眼部位置候补区处于更上方。

2.如权利要求1所述的眼部位置的检测方法，其特征在于：

基于眼部位置候补区的相互位置关系或者眼部位置候补区的横向宽度来对确定的眼部位置进行修正判定。

3.如权利要求1或2所述的眼部位置的检测方法，其特征在于：

反转灰度图像的灰阶，检测像素集合区域。

4.如权利要求1或2所述的眼部位置的检测方法，其特征在于：

获取由静态图像或动态图像的帧构成的脸部图像。

5.如权利要求4所述的眼部位置的检测方法，其特征在于：

当脸部图像为动态图像的帧时，在动态图像的一帧中确定了眼部位置的情况下，在随后的帧中将最近确定的眼部位置的周边区域作为眼部位置的检测对象区域。

6.一种脸部器官的位置的检测方法，其特征在于：

对脸部图像进行淡入法，所述淡入法是从脸部图像生成亮度逐次变化的多个灰度图像，随着灰度图像从以高亮度淡出的状态向低亮度淡入，检测在淡出的脸部区域中渐次出现的像素集合区域的方法，

选择用淡入法检测出的像素集合区域中成对出现的像素集合区域作为眼部位置候补区，基于各个眼部位置候补区在全部灰度图像中出现的次数来确定眼部位置，

作为成对的所述像素集合区域中被选择为所述眼部位置候补区的像素集合区域的条件，预先设定以下的(1)～(4)：

(1)左右成对的像素集合区域的横向距离在一定的范围内；

(2)左右成对的像素集合区域的纵向距离在一定的范围内；

(3)左右成对的像素集合区域中的左侧的像素集合区域位于脸部图像的矩形框的左半边区域；

(4)左右成对的像素集合区域中的右侧的像素集合区域位于脸部图像的矩形框的右半边区域，

在灰度图像的所有层次中对于在各淡入图像中出现的一对的眼部位置候补区进行累计，对其出现的次数进行计数，按该计数值多的顺序生成排位表，将最大计数的眼部位置候补区的位置确定为眼部位置，但是，在全部满足下面(a)～(c)的条件的情况下，或者满足(d)的条件的情况下，将计数为第二多的眼部位置候补区的位置确定为眼部位置，

(a)排位第二的眼部位置候补区比排位第一的眼部位置候补区处于更上方；

(b)排位第二的眼部位置候补区的中心间距比排位第一的眼部位置候补区的中心间距长；

(c)排位第二的眼部位置候补区的相当于左右瞳孔的区域均比排位第一的眼部候补的相当于左右瞳孔的位置处于更外侧；

(d)排位第一的眼部位置候补区和排位第二的眼部位置候补区的纵方向的距离大约为眼部和眉毛的距离，且排位第一的眼部位置候补区比排位第二的眼部位置候补区处于更上方，

将用淡入法检测出的渐次出现的像素的成长停止的像素集合区域分组化为纵方向的位置重合的各个像素集合区域，

在分组化的各个像素集合区域形成外接矩形，

将形成于该各个分组的外接矩形中位于从与双眼的位置关系预测的规定区域内的外接矩形作为口部位置候补区，

将作为口部位置候补区的外接矩形中横向宽度最大的外接矩形确定为口部位置。

7.如权利要求6所述的脸部器官位置的检测方法，其特征在于：

以双眼的瞳孔为左右顶点描绘倒正三角形，以该倒正三角形的下顶点为中心，描绘直径为该倒正三角形的一边长的0.65～1.0倍的圆，将该圆和位于外接矩形中心的内接圆重合的该外接矩形作为口部位置候补区。

8.如权利要求6或7所述的脸部器官位置的检测方法，其特征在于：

获取由静态图像或动态图像的帧构成的脸部图像。

9.如权利要求8所述的脸部器官位置的检测方法，其特征在于：

当脸部图像为动态图像的帧时，在动态图像的一帧中确定了眼部位置的情况下，在随后的帧中将最近确定的眼部位置的周边区域作为眼部位置的检测对象区域。

10.一种脸部器官位置的检测方法，其特征在于：

在使用如权利要求6～9中的任一项所述的方法确定口部位置后，在用淡入法检测出的渐次出现的像素的成长停止的各个像素集合区域形成外接矩形，

将形成于该各个像素集合区域的外接矩形中位于从与双眼的位置关系预测的规定区域内的外接矩形作为鼻部位置候补区，

将作为鼻部位置候补区的外接矩形中下边位于被确定为口部位置的外接矩形的上边的更上方且横向宽度最大的外接矩形确定为鼻部位置。

11.如权利要求10所述的脸部器官位置的检测方法，其特征在于：

以双眼的瞳孔为左右顶点描绘倒正三角形，以该倒正三角形的下顶点为中心，描绘直径为该倒正三角形的一边长的0.5～0.7倍的圆，将该圆和位于在各个像素集合区域形成的外接矩形的中心的内接圆重合的该外接矩形作为鼻部位置候补区。

12.一种眼部位置的检测系统，其特征在于：

具备：

从脸部图像生成亮度逐次变化的多个灰度图像的装置；

随着灰度图像从以高亮度淡出的状态向低亮度淡入，检测在淡出的脸部区域中渐次出现的像素集合区域的装置；

选择检测出的像素集合区域中成对出现的像素集合区域为眼部位置候补区的装置，所述像素集合区域除瞳孔之外还包括嘴角、眉、额头的区域；以及

基于各个眼部位置候补区在全部灰度图像中出现的次数来确定眼部位置的装置，

作为成对的所述像素集合区域中被选择为所述眼部位置候补区的像素集合区域的条件，预先设定以下的(1)～(4)：

(1)左右成对的像素集合区域的横向距离在一定的范围内；

(2)左右成对的像素集合区域的纵向距离在一定的范围内；

(3)左右成对的像素集合区域中的左侧的像素集合区域位于脸部图像的矩形框的左半边区域；

(4)左右成对的像素集合区域中的右侧的像素集合区域位于脸部图像的矩形框的右半边区域，

在灰度图像的所有层次中对于在各淡入图像中出现的一对的眼部位置候补区进行累计，对其出现的次数进行计数，按该计数值多的顺序生成排位表，将最大计数的眼部位置候补区的位置确定为眼部位置，但是，在全部满足下面(a)～(c)的条件的情况下，或者满足(d)的条件的情况下，将计数为第二多的眼部位置候补区的位置确定为眼部位置，

(a)排位第二的眼部位置候补区比排位第一的眼部位置候补区处于更上方；

(b)排位第二的眼部位置候补区的中心间距比排位第一的眼部位置候补区的中心间距长；

(c)排位第二的眼部位置候补区的相当于左右瞳孔的区域均比排位第一的眼部候补的相当于左右瞳孔的位置处于更外侧；

(d)排位第一的眼部位置候补区和排位第二的眼部位置候补区的纵方向的距离大约为眼部和眉毛的距离，且排位第一的眼部位置候补区比排位第二的眼部位置候补区处于更上方。

13.如权利要求12所述的眼部位置检测系统，其特征在于：

具有基于眼部位置候补区的相互位置关系或眼部位置候补区的横向宽度来对确定的眼部位置进行修正判定的装置。

14.如权利要求12或13所述的眼部位置检测系统，其特征在于：

所述脸部图像为静态图像或动态图像的帧。

15.一种脸部器官的位置的检测系统，其特征在于：

包括：

从脸部图像生成亮度逐次变化的多个灰度图像的装置；

随着灰度图像从以高亮度淡出的状态向低亮度淡入，检测在淡出的脸部区域中渐次出现的像素集合区域的装置；

选择检测出的像素集合区域中成对出现的像素集合区域作为眼部位置候补区的装置；

基于各个眼部位置候补区在全部灰度图像中出现的次数来确定眼部位置的装置；

对于检测出的渐次出现的像素的成长停止的像素集合区域中纵方向的位置重合的像素集合区域进行分组化的装置；

在分组化后的各个像素集合区域形成外接矩形的装置；

将形成于该分组的外接矩形中位于从与双眼的位置关系预测的规定区域内的外接矩形作为口部位置候补区的装置；

将作为口部位置候补区的外接矩形中横向宽度最大的外接矩形确定为口部位置的装置；

在检测出的渐次出现的像素的成长停止的各个像素集合区域形成外接矩形的装置；

将形成于该各个像素集合区域的外接矩形中位于从与双眼的位置关系预测的规定区域内的外接矩形作为鼻部位置候补区的装置；以及

将作为鼻部位置候补区的外接矩形中下边位于被确定为口部位置的外接矩形的上边的更上方、且横向宽度最大的外接矩形确定为鼻部位置的装置，

作为成对的所述像素集合区域中被选择为所述眼部位置候补区的像素集合区域的条件，预先设定以下的(1)～(4)：

(1)左右成对的像素集合区域的横向距离在一定的范围内；

(2)左右成对的像素集合区域的纵向距离在一定的范围内；

(3)左右成对的像素集合区域中的左侧的像素集合区域位于脸部图像的矩形框的左半边区域；

(4)左右成对的像素集合区域中的右侧的像素集合区域位于脸部图像的矩形框的右半边区域，

在灰度图像的所有层次中对于在各淡入图像中出现的一对的眼部位置候补区进行累计，对其出现的次数进行计数，按该计数值多的顺序生成排位表，将最大计数的眼部位置候补区的位置确定为眼部位置，但是，在全部满足下面(a)～(c)的条件的情况下，或者满足(d)的条件的情况下，将计数为第二多的眼部位置候补区的位置确定为眼部位置，

(a)排位第二的眼部位置候补区比排位第一的眼部位置候补区处于更上方；

(b)排位第二的眼部位置候补区的中心间距比排位第一的眼部位置候补区的中心间距长；

(c)排位第二的眼部位置候补区的相当于左右瞳孔的区域均比排位第一的眼部候补的相当于左右瞳孔的位置处于更外侧；

(d)排位第一的眼部位置候补区和排位第二的眼部位置候补区的纵方向的距离大约为眼部和眉毛的距离，且排位第一的眼部位置候补区比排位第二的眼部位置候补区处于更上方。

16.如权利要求15所述的脸部器官的位置的检测系统，其特征在于：

所述脸部图像为静态图像或动态图像的帧。

Images