CN101639939B - 图像信息处理方法及装置 - Google Patents

Abstract

本发明提供一种图像信息处理方法及装置，能够从拍摄的人物的图像中正确地计测该人物的虹膜的中心位置，而且，还能够实现高精度的视线方向计测。视线方向计算部(29)根据从虹膜检测部(25)输出的虹膜的形状数据和从面部方向计测部(27)输出的面部方向的计测数据，进行规定的运算处理，从而计算输入的人物的面部图像中的视线方向。根据在虹膜形状检测单元(19)中得到的高精度的虹膜形状的信息，能够计测人物的面部图像的视线方向。根据检测出的眼睑的轮廓信息，能够推测虹膜和巩膜的区域部分，所以能够高精度地推测虹膜的形状。

Description

图像信息处理方法及装置

技术领域

本发明涉及从输入的图像中检测面部图像区域并执行规定的图像处理动作的图像信息处理方法及装置。

背景技术

以往开发了一种方法，目的在于能够自动地检测影像中的人物是否为具有特定的意图的人物(可疑人物)。该方法从与上述人物的视线方向有关的信息中，通过提取多个表示行动意图的信息来进行上述检测，从与提取的视线方向相关的信息中提取注视特征量(向特定方向的总注视时间、视线迁移次数、平均注视时间、瞥视次数或视线离散值、视线的平均移动量、与一般的视线模式的距离)，从而判别上述人物是否为可疑人物(例如，参照专利文献1)。

另外，以往还开发了一种方法，目的在于能够从拍摄的面部的图像中高精度地检测视线方向。该方法为了检测瞳孔的中心位置而从图像中检测虹膜的形状，作为其中一个例子，举出了通过椭圆哈夫(Hough)变换求出虹膜的椭圆轮廓。一般的，为了计测瞳孔的中心位置，需要检测虹膜的轮廓，并根据该虹膜的中心位置来推测瞳孔的中心，所以上述方法是适用的(例如，参照专利文献2)。

(专利文献1)日本特开2007-6427号公报

(专利文献2)日本特许第3797253号公报

但是，在专利文献1公开的技术中，通过计测眼球的中心位置和瞳孔的中心位置所成的角度，从而计测该人物的视线方向，但对于上述瞳孔的中心位置的检测方法，没有公开具体的技术方法。

另外，在专利文献2公开的技术中，需要检测虹膜的轮廓，但实际的虹膜被眼睑遮住了轮廓的一部分，所以虹膜的整体形状(轮廓的形状)没有出现在图像上。因此，从上述图像上检测虹膜的轮廓的整体形状是困难的。

例如，在进行上述椭圆哈夫变换等图像处理、从人物的图像中检测其虹膜的轮廓时，由于虹膜的轮廓的整体没有出现图像上，所以会发生仅检测出在图像上出现的虹膜的轮廓部分这样的不佳情况、或误检测出巩膜部分的周边部分这样的不佳情况。作为其结果，存在以下问题：即，对依赖于虹膜的轮廓检测的瞳孔的中心位置进行检测的精度也降低，在上述图像中的人物的视线方向的计测上发生较大误差。

发明内容

因此，本发明的目的在于：能够从拍摄的人物的图像中正确地计测该人物的虹膜的中心位置，而且，还能够实现高精度的视线方向计测。

按照本发明的第一观点的图像信息处理装置，具备：面部图像区域检测部，从输入的图像中检测面部图像区域；眼睑区域轮廓检测部，从上述面部图像区域检测部所检测出的面部图像区域中，检测眼睑区域的轮廓；以及虹膜区域检测部，根据上述眼睑区域轮廓检测部所检测出的上述眼睑区域的轮廓，从上述面部图像区域中检测虹膜区域的形状；根据上述虹膜区域检测部所检测出的虹膜区域的形状，推测上述虹膜区域的瞳孔的位置。

在本发明的第一观点涉及的优选的实施方式中，上述眼睑区域轮廓检测部根据由上述面部图像区域检测部所检测出的上述面部图像区域的尺寸生成眼睑轮廓模型，使用生成的该眼睑轮廓模型检测上述面部图像区域中的眼睑区域的轮廓点并决定该眼睑区域的位置，从而检测眼睑区域的轮廓。

在与上述不同的实施方式中，上述眼睑区域轮廓检测部通过使上述眼睑轮廓模型与上述面部图像区域重合，从而将上述面部图像区域中被评价为最类似于眼睑区域的部位判断为上述眼睑区域的位置。

另外，在与上述不同的实施方式中，对于上述眼睑轮廓模型中的各个轮廓点的位置的每一个，提取其特征量并计算作为轮廓点的相似度，并且求出所计算的相似度的总合，从而进行上述评价。

另外，在与上述不同的实施方式中，基于上述眼睑区域轮廓检测部的上述眼睑区域的位置决定包括下述处理，该处理用于分别在规定的范围内探索用于划定上述眼睑区域的轮廓的各轮廓点的最佳位置，并将在以前的探索中决定的上述各轮廓点的位置更新为能够被判断为更加合适的位置。

另外，在与上述不同的实施方式中，还具备：面部方向计测部，从上述面部图像区域检测部所检测出的面部图像区域中，计测表示被拍摄上述面部图像的人物的面部所朝向的方向的值。

另外，在与上述不同的实施方式中，上述眼睑区域轮廓检测部根据由上述面部图像区域检测部所检测出的上述面部图像区域的尺寸、以及由上述面部方向计测部所计测的表示上述面部所朝向的方向的值，生成眼睑轮廓模型，使用生成的该眼睑轮廓模型检测上述面部图像区域中的眼睑区域的轮廓点并决定该眼睑区域的位置，从而检测眼睑区域的轮廓。

另外，在与上述不同的实施方式中，上述虹膜区域检测部根据由上述面部方向计测部所计测的表示上述面部所朝向的方向的值、以及规定的眼睑轮廓模型，推测上述面部图像区域中的眼球区域的形状，根据推测的该眼球区域的形状，探索虹膜区域的位置，并决定虹膜区域的中心位置和该虹膜区域的形状。

进而，在与上述不同的实施方式中，在推测上述眼球区域的形状的处理中，至少使用眼球区域的中心、眼球区域的半径以及虹膜区域的半径的各数据。

根据本发明的第二观点的图像信息处理方法，具备：第一步骤，从输入的图像中检测面部图像区域；第二步骤，从上述第一步骤中检测出的面部图像区域中，检测眼睑区域的轮廓；第三步骤，根据上述第二步骤中检测出的上述眼睑区域的轮廓，从上述面部图像区域中检测虹膜区域的形状；以及第四步骤，根据上述第三步骤中检测出的虹膜区域的形状，推测上述虹膜区域的瞳孔的位置。

根据本发明，能够从拍摄的人物的图像中正确地计测该人物的虹膜的中心位置，而且，还能够实现高精度的视线方向计测。

附图说明

图1是表示本发明的第一实施方式所涉及的图像信息处理系统的整体结构的功能框图。

图2是表示图1所记载的CPU(视线方向运算部)的内部结构的功能框图。

图3是表示图2所记载的眼睑轮廓检测部进行眼睑区域的轮廓检测时使用的眼睑轮廓模型的一个例子的示意图。

图4是表示在由图1所记载的摄像装置所拍摄的实际的眼部的图像区域上重合图3所记载的眼睑轮廓模型的状态的说明图。

图5是表示由图2所记载的眼睑轮廓检测部进行的眼睑区域的轮廓检测的处理动作的一个例子的流程图。

图6是表示由图2所记载的虹膜检测部所进行的虹膜区域检测的处理动作的方式的一个例子的示意图。

图7是表示本发明的第二实施方式所涉及的、进行眼睑轮廓模型的各轮廓点的位置探索时的、根据面部图像中的面部方向而变更各轮廓点的探索范围的方法的一个例子的示意图。

图8是表示由本发明的第二实施方式涉及的眼睑轮廓检测部进行的眼睑轮廓检测的处理动作的一个例子的流程图。

图9是表示本发明的第三实施方式所涉及的CPU(视线方向运算部)在推测输入的面部图像中的眼球区域的形状时使用的眼球模型的一个例子的示意图。

图10是表示本发明的第三实施方式所涉及的虹膜区域检测的处理动作的方式的一个例子的示意图。

图11是表示由本发明的第三实施方式所涉及的虹膜检测部所进行的虹膜区域检测的处理动作的一个例子的流程图。

符号说明

1图像输入部

3图像存储器

5视线方向运算部(CPU)

7RAM

9ROM

11计测结果记录部

13输出接口(输出I/F)

15总线

19虹膜形状检测单元

21面部检测部

23眼睑轮廓检测部

25虹膜检测部

27面部方向计测部

29视线方向计算部

100摄像装置

200视线方向计测装置

300输出装置

具体实施方式

以下，通过附图详细说明本发明的实施方式。

图1是表示本发明的第一实施方式所涉及的图像信息处理系统的整体结构的功能框图。

上述图像信息处理系统如图1所示，具备摄像装置100、视线方向计测装置200和输出装置300。视线方向计测装置200具备图像输入部1、图像存储器3、视线方向运算部(CPU)5、RAM7、ROM9、计测结果记录部11和输出接口(输出I/F)13，上述各部(1-13)作为通过总线15相互连接的结构。

在图1中，在摄像装置100中，例如使用数字视频摄像机那样的、1台或多台能够拍摄可动物体的设备。摄像装置100将拍摄的可动物体(例如，人物的面部图像)输出至图像输入部1。

图像输入部1在CPU5的控制下，输入从上述摄像装置100输出的图像信息，并且将该输入的图像信息通过总线15输出至图像存储器3。

图像存储器3在CPU5的控制下，将从图像输入部1通过总线15输出的上述图像信息存放至规定的存储区域。图像存储器3另外根据来自CPU5的信息读取请求，将存放的图像信息通过总线15输出至CPU5。

在RAM7中，例如提供在CPU5对于上述图像信息执行规定的运算处理动作时的、CPU5展开上述图像信息所需要的存储区域。

在ROM9中，内设了由CPU5控制并管理构成视线方向计测装置200的各部的动作所需要的控制程序，并且存储非易失性固定数据。ROM9另外根据来自CPU5的数据读取请求，将存储的上述非易失性固定数据通过总线15输出至CPU5。

计测结果记录部11记录由CPU5对上述图像数据进行规定的运算处理动作而得到的各种数据，例如，与上述图像数据中包括的人物的视线方向相关的计测数据。计测结果记录部11根据来自CPU5的数据读取请求，将记录的上述计测数据通过总线15及输出I/F13输出至输出装置300。关于由CPU5进行的上述运算处理动作的详情、以及在计测结果记录部11中记录的计测数据的详情，留待后述。

输出I/F13在CPU5的控制下，与输出装置300连接，将从计测结果记录部11通过总线15输出的上述计测数据输出至输出装置300。

在输出装置300中，例如使用显示器(监视器)、打印机以及PC(指个人计算机，下同)等。在输出装置300为监视器的情况下，作为可视图像信息，显示输出由摄像装置100拍摄的图像信息。另外，在输出装置300为打印机的情况下，输出从计测结果存储部11通过输出I/F13输出的上述计测数据相关的硬拷贝(hard copy)。进而，在输出装置300为PC的情况下，以用户可以视觉辨认的方式输出上述计测数据。

图2是表示图1所记载的CPU(视线方向运算部)5的内部结构的功能框图。

CPU5如图2所示，具备由虹膜形状检测单元19、面部方向计测部27以及视线方向计算部29的各功能模块所分别表示的各项功能。即，虹膜形状检测单元19构成为：从通过总线15输入的图像信息中，检测人物的面部图像，并高精度地检测该人物的虹膜区域的形状，虹膜形状检测单元19具备由面部检测部21、眼睑轮廓检测部23以及虹膜检测部25的各功能模块所分别表示的各项功能。

面部检测部21通过对输入的图像信息进行规定的图像处理，从而检测该输入图像信息中包括的人物的面部图像。在上述输入图像信息中存在多个面部图像的情况下，面部检测部21以上述面部图像的个数量，执行检测动作。由面部检测部21检测出的上述人物的面部图像信息被分别输出至眼睑轮廓检测部23以及面部方向计测部27。

眼睑轮廓检测部23从由面部检测部21输出的面部图像的区域中，进行规定的图像处理，从而检测左右双眼的眼睑区域的轮廓。该检测结果从眼睑轮廓检测部23输出至虹膜检测部25。另外，存在多个由面部检测部21检测出的面部图像的情况下，眼睑轮廓检测部23中的上述处理动作对于上述各个面部图像的每个都执行。

面部方向计测部27输入从面部检测部21输出的上述面部图像信息，并进行该面部图像的面部方向(面部的朝向)的计测处理。通过该计测处理所得到的数据从面部方向计测部27输出至视线方向计算部29。

虹膜检测部25利用从眼睑轮廓检测部23输出的眼睑区域的轮廓信息，执行规定的处理动作，从而仅根据与该眼睑区域的内侧部分(由该眼睑区域覆盖的图像区域的部分)即虹膜区域和巩膜区域相关的信息，检测该虹膜区域的形状。另外，存在多个由面部检测部21检测出的面部图像的情况下，虹膜检测部25中的上述处理动作对于上述各个面部图像的每个都执行。由虹膜检测部25得到的虹膜区域的形状数据从虹膜检测部25输出至视线方向计算部29。

视线方向计算部29根据从虹膜检测部25输出的上述虹膜区域的形状数据和从面部方向计测部27输出的面部方向的计测数据，进行规定的运算处理，从而计算上述人物的面部图像中的视线方向。根据上述结构，根据在虹膜形状检测单元19中得到的高精度的虹膜区域的形状的信息，能够计测具有该虹膜区域的人物的面部图像的视线方向。另外，根据检测出的眼睑区域的轮廓信息，能够推测虹膜区域的部分和巩膜区域的部分，所以能够高精度地推测虹膜区域的形状。

图3是表示图2所记载的眼睑轮廓检测部23进行上述眼睑区域的轮廓检测时使用的眼睑轮廓模型31的一个例子的示意图。

如图3所示，眼睑轮廓模型31由输入的面部图像中用于划定眼睑区域的轮廓的多个点(33-47、以下标记为“轮廓点”或“边缘点”)(在图3所示的例子中，为8个轮廓点)构成。上述眼睑轮廓模型31除了上述各轮廓点(33-47)，还具有连接相互位置关联较强的轮廓点之间的多个线段(49-61)。

线段49表示轮廓点35与轮廓点47的关联，线段51表示轮廓点35与轮廓点45的关联，线段53表示轮廓点37与轮廓点47的关联。另外，线段55表示轮廓点37与轮廓点45的关联，线段57表示轮廓点37与轮廓点43的关联，线段59表示轮廓点39与轮廓点45的关联。进而，线段61表示轮廓点39与轮廓点43的关联。

图4是表示在由图1所记载的摄像装置100所拍摄的实际的眼部的图像区域上重合图3所记载的眼睑轮廓模型31的状态的说明图。

在图4中，附加了灰色的区域63表示虹膜区域，作为除了该区域63以外的区域、由上述眼睑轮廓模型31划定的内周侧的白色区域65、67表示巩膜区域。而且，在图4中，对于与图3表示的对象相同的对象，附加相同的符号并省略其详细说明。通过将图3所示的眼睑轮廓模型31适用于如图4所示的实际的眼部的图像区域，从而可以在不对眼睑区域的形状进行较大损害的基础上，从实际的眼部的图像区域中高精度地检测出眼睑区域的轮廓点的形状。

图5是表示由图2所记载的眼睑轮廓检测部23进行的眼睑区域的轮廓检测的处理动作的一个例子的流程图。

在图5中，首先，眼睑轮廓检测部23输入在面部检测部21中得到的面部图像的尺寸所涉及的信息(步骤S71)。接着，根据在步骤S71中输入的上述面部图像的尺寸所涉及的信息，推测眼睑区域的轮廓的尺寸，根据该推测结果，生成如图3所示的最佳的眼睑轮廓模型31。而且，作为该眼睑轮廓模型31，分别生成了右眼用的眼睑轮廓模型和左眼用的眼睑轮廓模型。另外，通过分别将生成的左眼用的眼睑轮廓模型重合至左眼的区域，并同样将生成的右眼用的眼睑轮廓模型重合至右眼的区域，从而检测出左右眼各自的区域中眼睑区域的轮廓点(步骤S72)。

接着，执行左右眼各自的图像中的、用于决定眼睑区域的位置的处理动作。在该处理动作中，如上所述，将眼睑轮廓模型31重合至上述输入面部图像中的眼部的区域的周边区域并进行眼睑区域的所谓类似度的评价，将该评价最高的部位、即该眼部的区域的周边区域中被判断为最类似于眼睑区域的部位决定为眼睑区域。该评价例如通过在上述眼睑轮廓模型31中的各个轮廓点的位置的每一个提取其特征量来计算作为轮廓点的相似度、并且求出所计算的相似度的总和来进行。作为上述各个轮廓点的位置的每一个的特征量，例如使用边缘的值、加博(Gabor)滤波器的值、基于模板匹配的类似度等(步骤S73)。

接着，执行用于探索上述眼睑轮廓模型31中的各个轮廓点的最佳位置的处理。眼睑区域的轮廓的形状根据各个人物而不同，另外，即使是同一人物，也根据表情变化而不同，所以需要对各个轮廓点的每一个探索正确的位置。在该处理动作中，对于各个轮廓点，通过仅在指定的范围内进行最佳位置的探索，从而进行各个轮廓点的位置的更新(步骤S74)。

如果上述步骤S74中的处理动作完成，那么确认是否再次进行步骤S74中的处理动作、即上述各个轮廓点的位置的更新(步骤S75)。如果该确认的结果是判断为应该再次进行更新(步骤S75中为“是”)，则返回步骤S74。另一方面，如果该确认的结果是判断为无需再次进行更新(步骤S75中为“否”)，则将步骤S74中更新的上述各个轮廓点的位置决定为最终的位置。即，步骤S74中更新的上述各个轮廓点的位置成为上述眼部的区域中的、构成眼睑区域的轮廓所需的各个轮廓点的位置的检测结果(步骤S76)。

另外，在步骤S75中，所谓判断为不应该再次进行更新的情况(步骤S75中为“否”)，是指在步骤S74中上述轮廓点的位置连1个都没有更新的情况、或步骤S74中的处理次数超过了规定次数的情况中的某一个。

通过上述处理流程，能够对由于从输入的面部图像中替换作为拍摄对象的人物、或者即使为同一人物也发生表情变化而引起的形状大为变化的眼睑区域的轮廓进行检测。即，通过划分为步骤S73所示的求出眼部的区域中的眼睑区域的位置的处理操作、以及步骤S74所示的进行眼睑区域中的各个轮廓点的位置的更新的处理操作，从而能够在眼部的区域中高精度地检测出眼睑区域的轮廓。另外，在步骤S74和步骤S75中，对于划定眼睑区域的全部的轮廓点的位置，反复一点一点地更新处理，从而能够在对于应该作为眼睑轮廓而取得的形状不进行较大损害的基础上，决定上述各个轮廓点的位置。

图6是表示由图2所记载的虹膜检测部25所进行的虹膜区域检测的处理动作的方式的一个例子的示意图。

在图6中，图6(a)表示对于输入至视线方向运算部5的面部图像(的眼部的区域)、设定眼睑轮廓检测部23所得到眼睑轮廓模型31的各轮廓点(33至47)的状态。上述面部图像中的眼部的区域81是根据上述各轮廓点(33至47)的位置所涉及的信息、仅切割出眼部的区域的周边区域的图像。图6(b)也与图6(a)中同样地表示眼部的区域81，根据上述眼睑轮廓模型31的各轮廓点(33至47)的位置所涉及的信息、仅切割出眼部的区域的周边区域而得到。

在图6(b)中，由虚线表示的曲线83是根据上述眼睑轮廓模型31的各轮廓点(33至41)(的位置所涉及的信息)求出的用于划定眼球区域自身的轮廓的轮廓线，而且也作为眼球区域与该眼球区域的周边区域(即眼睑区域)的边界线。在图6(b)中，上述边界线和上述轮廓线一起由曲线83表示，但也可以将上述边界线设定于上述轮廓线的内侧、即上述曲线83的内侧。像这样，通过将上述边界线设定于上述曲线83的内侧，从而能够消除由于照明的关系所产生的影子对巩膜区域部分的影响等，由此可以高精度地推测虹膜区域的形状。

另外，只对于仅检测出了虹膜区域以及巩膜区域的上述眼部的区域81，进行边缘图像处理。由此，能够得到不显现上述眼部的区域81外的噪声、另外对于眼睑区域的轮廓线部分不显现边缘、而仅显现虹膜区域与巩膜区域的边界部分边缘的边缘图像。对于上述边缘图像进行椭圆哈夫变换，从而可以根据虹膜区域与巩膜区域的边界部分正确地推测虹膜区域的形状。

根据图6(a)及图6(b)分别表示的眼部的区域81，通过虹膜检测部25，例如，检测出如图6(c)所示的虹膜区域。即，通过虹膜检测部25，根据上述眼部的区域81检测出表示虹膜区域的圆形形状的轮廓(线)85，而且取得这时的该虹膜区域的中心位置(即瞳孔的部分)87。

在从上述眼部的区域81中没有去除眼睑轮廓模型31的轮廓线的情况下，由此，例如由图6(d)所示的虹膜区域作为虹膜检测部25的误检测动作的结果，从虹膜检测部25输出。即，眼睑轮廓模型31的轮廓线残留在上述眼部的区域81中，因此如图6(d)所示，反应到眼睑区域与巩膜区域的边界部分，虹膜检测部25可能发生误检测巩膜区域的情况。另外，在图6(d)中，如符号89所示，虹膜检测部25可能发生误检测出忽略了眼睑(区域)的内侧隐藏的虹膜区域的大致圆形形状的图像区域，但在本实施方式所涉及的视线方向运算部5中，通过从构成眼睑轮廓模型31的轮廓线的各轮廓点(33至47)中完全去除虹膜区域、以及巩膜区域以外的图像区域，从而可以防止上述那样的虹膜检测部25所进行的虹膜区域的误检测动作。

另外，在(图2所示的)面部方向计测部27中，例如通过利用上述专利文献1所公开的计测方法，能够在不进行事先的校正处理的基础上，高精度地计测被输入的面部图像中的面部方向。另外，在(图2所示的)视线方向计算部29中，通过上述专利文献1所公开的计测方法，通过在上述眼部的区域81中推测眼球区域的中心位置和眼球区域的半径，也求出瞳孔的中心位置相对于眼球区域的中心位置的偏差，并根据该求出的瞳孔的中心位置的偏差来计算面部图像的视线方向。

以下，对于面部图像的视线方向的计算方法，更加具体地进行说明。

在此，若设视线方向的计算对象即眼球区域的半径为r，该眼球区域的中心位置为O，该眼球区域中的瞳孔的中心位置为I，则通过下述(1)式，计算面部图像的视线方向。

(式1)

${\mathrm{\φ}}_{\mathrm{eye}}={\sin }^{-1}\frac{\mathrm{Ix}-\mathrm{Ox}}{r}$

${\mathrm{\θ}}_{\mathrm{eye}}={\sin }^{-1}\frac{\mathrm{Iy}-\mathrm{Oy}}{r}$

在(1)式中，φeye表示视线方向的水平方向的成分，θeye表示视线方向的垂直方向的成分。另外，Ix表示瞳孔的中心位置I的X坐标，Iy表示瞳孔的中心位置I的Y坐标，Ox表示眼球区域的中心位置O的x坐标，Oy表示眼球区域的中心位置O的y坐标。在此，瞳孔的中心位置I可以根据虹膜区域的中心位置C和瞳孔的中心位置O推测。

通过采用上述计算方法，在虹膜区域的一部分隐藏在眼睑区域的轮廓内的情况下，或在眼部的区域周边出现由眼镜或照明所引起的阴影的情况下，也能够去除其影响而正确地检测虹膜区域的形状，所以能够正确地计测面部图像的视线方向。

图7是表示本发明的第二实施方式所涉及的、进行眼睑轮廓模型31的各轮廓点(33至47)的位置探索时的、根据面部图像中的面部方向而变更各轮廓点(33至47)的探索范围的方法的一个例子的示意图。

图7所记载的面部图像表示面部朝向右方向(作为图像朝向左侧)的情况的该面部图像的右眼区域的形状。图7中由分别围着各轮廓点(33至47)虚线所示的圆形区域(91至105)表示该各轮廓点(33至47)的探索范围。在图7所示的例子中，上述各轮廓点(33至47)的探索范围不一定要一致。根据面部的朝向(方向)对各个轮廓点(33至47)的每一个设定不同的探索范围。即，对于位于面部朝向的方向的轮廓点，将检索范围设定得较窄，而对于位于面部朝向的方向的相反侧的轮廓点，将检索范围设定得较广。

对于各轮廓点(33至47)的检索范围，像上述那样进行设定的理由在于：位于面部朝向的方向的轮廓点相对于面部的中心所成的角度较大，所以由于面部的旋转而产生的轮廓点的位置的变化变小，因此将检索范围设定得较窄。与此相反，对于位于面部朝向的方向的相反侧的轮廓点，其位置由于面部朝向的方向的变化而变化较大，所以需要将探索范围设定得较广。

图8是表示由本发明的第二实施方式涉及的眼睑轮廓检测部(在图2中由符号23表示)进行的眼睑轮廓检测的处理动作的一个例子的流程图。

在本实施方式中，上述眼睑轮廓检测部(23)构成为：从(与该眼睑轮廓检测部23一起在图2中表示的)面部方向计测部(27)中，取得表示所输入的面部图像中的面部所朝向的方向的值。因此，在图8所记载的流程图中，上述眼睑轮廓检测部(23)在执行用于眼睑轮廓检测的一系列处理操作时，首先，输入从面部检测部21输出的面部图像的尺寸信息、以及表示该面部图像中的面部所朝向的方向的值(步骤S111)。

上述轮廓检测部(23)接着根据在步骤S111中输入的上述面部图像的尺寸所涉及的信息、以及表示上述面部所朝向的方向的值，制作眼睑轮廓模型。即，对标准的眼睑轮廓模型(31)进行旋转处理，制作与输入的面部图像中的眼睑区域的轮廓形状近似的眼睑轮廓模型，以使其适合在步骤S111中输入的上述面部图像的尺寸所涉及的信息、以及表示上述面部所朝向的方向的值中的表示上述面部所朝向的方向的值(步骤S112)。

在步骤S112中，如果制作了上述那样的眼睑轮廓模型，则利用该制作的眼睑轮廓模型，执行与图5所示的相同的处理动作(步骤S113至步骤S116)。即，步骤S113所示的处理动作与图5中步骤S73所示的处理动作相同，步骤S114所示的处理动作与图5中步骤S74所示的处理动作相同，步骤S115所示的处理动作与图5中步骤S75所示的处理动作相同，步骤S116所示的处理动作与图5中步骤S76所示的处理动作相同。因此，省略步骤S113至步骤S116相关的详细说明。

另外，图7所示的面部图像中的面部方向所对应的各轮廓点(33至47)的变更方式与步骤S114所示的处理动作相关。

通过上述处理流程，由于输入的面部图像中的面部所朝向的方向变化，从而即使在眼睑区域的轮廓形状变化较大时，也能够通过将模仿变化的状态的面部图像的眼睑轮廓模型重合至该变化的状态的面部图像从而进行检测处理，所以可以高精度地进行用于划定该面部图像中的眼睑区域的轮廓的各轮廓点的检测。另外，能够大幅削减图8中步骤S114所示的处理动作和步骤S115中的处理动作(即，由再次更新构成眼睑轮廓模型的各轮廓点的位置所产生的重复运算数)，由此，可以高速地探索各轮廓点的位置。

另外，通过上述方法来决定各轮廓点的位置的探索范围，从而推测作为输入的面部图像中眼睑区域的轮廓所预想的移动范围，并且在该推测的范围内限制探索范围，由此可以更加高精度地检测眼睑区域的轮廓点。进而，由于进行探索处理的次数减少，所以还可以削减上述探索处理所需的时间。

图9是表示本发明的第三实施方式所涉及的、(图1记载的)CPU(视线方向运算部)(5)在推测输入的面部图像中的眼球区域的形状时使用的眼球模型的一个例子的示意图。

在本实施方式中，通过使用如图9所示的眼球模型121，推测上述拍摄的面部图像中的眼球区域的中心位置O和该眼球区域的半径r。在上述眼球模型121中，在由眼睑轮廓检测部23求出的上述面部图像中的眼睑区域的轮廓之中，如果分别将外眼角的位置表示为E₁、内眼角的位置表示为E₂，则外眼角的位置E₁可以定义为：相对于(该眼球模型121中的)眼球的中心位置O，存在于以Y轴为中心β度、以X轴为中心γ度的位置。同样，内眼角的位置E₂可以定义为：相对于(该眼球模型121中的)眼球的中心位置O，存在于以Y轴为中心α度、以X轴为中心γ度的位置。在此，如果将外眼角的位置E₁的X坐标设为E_1x、将内眼角的位置E₂的X坐标设为E_2x、将输入的面部图像中面部所朝向的方向设为φ_face、θ_face，则通过下述(2)式，计算上述拍摄的面部图像中的眼球区域的半径r。

(式2)

$r=\frac{(E_{2x}-E_{1x})}{\cos (\mathrm{\γ}+{\mathrm{\θ}}_{\mathrm{face}})(\sin (90-\mathrm{\β}+{\mathrm{\φ}}_{\mathrm{face}})-\sin (\mathrm{\α}-90+{\mathrm{\φ}}_{\mathrm{face}}))}$

接着，根据由(2)式所求出的上述拍摄的面部图像中的眼球区域的半径r，通过下述(3)式计算表示该眼球区域的中心位置O的坐标(O_X，O_Y)。

(式3)

O_x＝E_1x-rsin(β-90+φ_face)cos(γ+θ_face)

O_y＝{E_1y+E_2y

    -rsin(γ+θ_face)(sin(β-90+φ_face)+sin(α-90+φ_face))}/2

在上述方式中，通过定义上述眼球模型121，根据输入的面部图像中面部所朝向的方向和上述面部图像中的眼睑区域的轮廓形状，可以推测出上述拍摄的面部图像中的眼球区域的半径r和该眼球区域的中心位置O。

图10是表示本发明的第三实施方式所涉及的虹膜区域检测的处理动作的方式的一个例子的示意图。

在图10中，如图10(a)所示的眼球推测模型123根据通过规定的运算处理求出的、由(图2记载的)视线方向运算部(5)所输入的面部图像中的眼球区域的中心以及半径来定义，表示例如从斜向横方向观察上述眼球推测模型(123)的状态。图10(a)所示的眼球推测模型123中的虹膜区域129的半径根据上述眼球推测模型123的半径等决定。图10(a)所示的眼球推测模型123中，虹膜区域的中心位置125存在于离开该眼球推测模型123的中心位置、即上述眼球的中心位置127由箭头(矢量)131表示的距离量的位置。另外，区域129是根据虹膜区域的中心位置125和(由上述方式决定的)虹膜区域的半径而得到的虹膜区域。

图10(b)表示以上述眼球的中心位置127(即，该眼球推测模型123的中心位置)为基础使图10(a)所示的虹膜区域的中心位置125旋转移动时的、该虹膜区域的各自的中心位置125₁至125₄与分别对应于各自的中心位置125₁至125₄各自的推测虹膜区域129₁至129₄的关系。在此，改变虹膜区域的中心位置，等价于被拍摄了上述面部图像的人物改变视线方向。

由于眼球的旋转，虹膜区域的中心位置存在于由符号125₁表示的位置时，对应于该中心位置125₁的推测虹膜区域为区域129₁，同样的，由于眼球的旋转，虹膜区域的中心位置存在于由符号125₂表示的位置时，对应于该中心位置125₂的推测虹膜区域为区域129₂。另外，由于眼球的旋转，虹膜区域的中心位置存在于由符号125₃表示的位置时，对应于该中心位置125₃的推测虹膜区域为区域129₃，同样的，由于眼球的旋转，虹膜区域的中心位置存在于由符号125₄表示的位置时，对应于该中心位置125₄的推测虹膜区域为区域129₄。另外，区域133与图10(a)中的虹膜区域129为同一区域。

通过比较对照上述各自的推测虹膜区域129₁至129₄和向(图2记载的)视线方向运算部(5)输入的面部图像，从而从上述任意推测虹膜区域(129₁至129₄)之中求出最佳的推测虹膜区域(129₁至129₄的某一个)。在上述比较对照的处理中，对于某个推测虹膜区域(129₁至129₄的某个)的位置是正确的虹膜区域的位置的评价例如通过这样进行，即，在将图10(a)或图10(b)所示的3维的眼球模型投影至作为2维平面的图像平面上时，检验边缘点(已述的轮廓点)重合了多少、或虹膜区域和巩膜区域是否正确等。

然后，根据上述评价的结果，将上述眼球推测模型123中上述各推测虹膜区域(129₁至129₄)之中相似度最高的位置决定为上述眼球推测模型中的虹膜区域的位置。

如上所述，改变虹膜区域的中心位置，等价于被拍摄了上述面部图像的人物改变视线方向。因此，根据在上述虹膜检测部(25)(图2所示)中取得的、以眼球推测模型123中的眼球中心为基础的由(眼球的)旋转所引起的虹膜区域的中心位置的变化，就这样求得被拍摄了上述面部图像的人物的视线方向，也是没有问题的。

图11是表示由本发明的第三实施方式所涉及的(图2所示的)虹膜检测部(25)所进行的虹膜区域检测的处理动作的一个例子的流程图。

在本实施方式中，上述虹膜检测部(25)构成为：首先分别由(图2所示的)面部方向计测部(27)取得表示输入的面部图像中面部所朝向的方向的值，另外由(图2所示的)眼睑轮廓检测部(23)取得眼睑轮廓模型。因此，在图11记载的流程图中，上述虹膜检测部(25)在执行用于虹膜区域检测的一系列的处理操作时，首先，输入从眼睑轮廓检测部(23)输出的眼睑轮廓模型，并且从上述面部方向计测部(27)输入表示上述面部图像中面部所朝向的方向的值(步骤S141)。

上述虹膜检测部(25)接着根据步骤S141中输入的上述眼睑轮廓模型(所涉及的信息)以及上述表示面部所朝向的方向的值，执行推测上述输入的面部图像中眼球区域的形状的处理动作。在此执行的眼球区域的形状的推测，例如使用眼球区域的中心、眼球区域的半径、虹膜区域的半径等各项目(步骤S142)。接着，根据步骤S142求出的表示眼球区域的形状的值(即，眼球区域的半径、以及虹膜区域的半径等)，探索上述面部图像中的虹膜区域的位置(步骤S143)。然后，执行决定在步骤S143中得到的虹膜区域的中心位置和该虹膜区域的形状的处理动作(步骤S144)。

根据上述处理流程，通过根据输入的面部图像中面部所朝向的方向，推测该面部图像中的眼球区域的形状，从而能够假定之后可能产生的虹膜区域的形状的变化，探索上述面部图像中的虹膜区域的位置，所以可以高精度地检测出该虹膜区域中的中心位置。另外，由于无需扩大上述面部图像中的虹膜区域的探索范围即可，所以可以谋求虹膜区域的检测速度的高速化。

另外，通过执行上述处理动作，可以在由眼球区域的形状自身限制出的范围内，高精度地进行虹膜区域的推测。另外，在利用上述三维模型(眼球推测模型123)的处理中，不仅可以将虹膜区域与巩膜区域的边界部分、而且可以将虹膜区域内以及巩膜区域内所包括的全部的点用于上述的评价，所以即使在眼部的(图像)区域的解析度低时，也可以高精度地计测虹膜区域。另外，在基于椭圆哈夫变换等的方法中，为了仅利用边缘点(轮廓点)进行上述评价，在眼部的(图像)区域的解析度小时，能够在上述评价中利用的(边缘)点(轮廓点)的个数变少，因此存在边缘(轮廓)上容易产生噪声、虹膜区域等的计测精度下降的问题，但通过利用上述实施方式涉及的方法，可以解决上述问题。

以上说明了本发明的优选的实施方式，但这些是用于本发明的说明的例子，并不旨在将本发明的范围仅仅限定于这些实施方式。本发明也可以通过其他各种方式进行实施。

Claims (9)

1.一种图像信息处理装置，具备：

面部图像区域检测部，从输入的图像中检测面部图像区域；

眼睑区域轮廓检测部，从上述面部图像区域检测部所检测出的面部图像区域中，检测眼睑区域的轮廓；以及

虹膜区域检测部，根据上述眼睑区域轮廓检测部所检测出的上述眼睑区域的轮廓，从上述面部图像区域中检测虹膜区域的形状；

根据上述虹膜区域检测部所检测出的虹膜区域的形状，推测上述虹膜区域的瞳孔的位置，

上述眼睑区域轮廓检测部根据由上述面部图像区域检测部所检测出的上述面部图像区域的尺寸生成眼睑轮廓模型，使用生成的该眼睑轮廓模型检测上述面部图像区域中的眼睑区域的轮廓点并决定该眼睑区域的位置，从而检测眼睑区域的轮廓。

2.如权利要求1所述的图像信息处理装置，其中，

上述眼睑区域轮廓检测部通过使上述眼睑轮廓模型与上述面部图像区域重合，从而将上述面部图像区域中被评价为最类似于眼睑区域的部位判断为上述眼睑区域的位置。

3.如权利要求2所述的图像信息处理装置，其中，

对于上述眼睑轮廓模型中的各个轮廓点的位置的每一个，提取其特征量并计算作为轮廓点的相似度，并且求出所计算的相似度的总合，从而进行上述评价。

4.如权利要求2所述的图像信息处理装置，其中，

基于上述眼睑区域轮廓检测部的上述眼睑区域的位置决定包括下述处理，该处理用于分别在规定的范围内探索用于划定上述眼睑区域的轮廓的各轮廓点的最佳位置，并将在以前的探索中决定的上述各轮廓点的位置更新为能够被判断为更加合适的位置。

5.如权利要求1所述的图像信息处理装置，其中，还具备：

面部方向计测部，从上述面部图像区域检测部所检测出的面部图像区域中，计测表示被拍摄上述面部图像的人物的面部所朝向的方向的值。

6.如权利要求5所述的图像信息处理装置，其中，

上述眼睑区域轮廓检测部根据由上述面部图像区域检测部所检测出的上述面部图像区域的尺寸、以及由上述面部方向计测部所计测的表示上述面部所朝向的方向的值，生成眼睑轮廓模型，使用生成的该眼睑轮廓模型检测上述面部图像区域中的眼睑区域的轮廓点并决定该眼睑区域的位置，从而检测眼睑区域的轮廓。

7.如权利要求1或5所述的图像信息处理装置，其中，

上述虹膜区域检测部根据由上述面部方向计测部所计测的表示上述面部所朝向的方向的值、以及规定的眼睑轮廓模型，推测上述面部图像区域中的眼球区域的形状，根据推测的该眼球区域的形状，探索虹膜区域的位置，并决定虹膜区域的中心位置和该虹膜区域的形状。

8.如权利要求7所述的图像信息处理装置，其中，

在推测上述眼球区域的形状的处理中，至少使用眼球区域的中心、眼球区域的半径以及虹膜区域的半径的各数据。

9.一种图像信息处理方法，具备：

第一步骤，从输入的图像中检测面部图像区域；

第二步骤，从上述第一步骤中检测出的面部图像区域中，检测眼睑区域的轮廓；

第三步骤，根据上述第二步骤中检测出的上述眼睑区域的轮廓，从上述面部图像区域中检测虹膜区域的形状；以及

第四步骤，根据上述第三步骤中检测出的虹膜区域的形状，推测上述虹膜区域的瞳孔的位置，

在上述第二步骤中，根据在上述第一步骤中检测出的上述面部图像区域的尺寸生成眼睑轮廓模型，使用生成的该眼睑轮廓模型检测上述面部图像区域中的眼睑区域的轮廓点并决定该眼睑区域的位置，从而检测眼睑区域的轮廓。

Images