CN102510734B

CN102510734B - 瞳孔检测装置及瞳孔检测方法

Info

Publication number: CN102510734B
Application number: CN201180003893.XA
Authority: CN
Inventors: 筑泽宗太郎; 冈兼司
Original assignee: Panasonic Intellectual Property Corp of America
Current assignee: Panasonic Intellectual Property Corp of America
Priority date: 2010-07-20
Filing date: 2011-06-15
Publication date: 2015-05-13
Anticipated expiration: 2031-06-15
Also published as: EP2596746A4; JP5529660B2; US20120177266A1; CN102510734A; US8649583B2; JP2012024154A; EP2596746B1; WO2012011221A1; EP2596746A1

Abstract

公开了瞳孔检测装置和瞳孔检测方法，即使在瞳孔的大部分被角膜反射像遮掩的情况下，通过主动地利用角膜反射像的信息，也能够稳定地检测瞳孔。在瞳孔检测装置(100)中，周边状态评价单元(105)设定以角膜反射图像内的基准点为一端且具有规定的长度的多个线段，基于各个线段中的各个像素的辉度和基准辉度计算辉度评价值，瞳孔中心直线计算单元(106)基于辉度评价值，从多个线段中确定通过瞳孔图像的中心的瞳孔中心直线，瞳孔搜索单元(107)基于瞳孔中心直线的周边的辉度状态，检测瞳孔图像。

Description

瞳孔检测装置及瞳孔检测方法

技术领域

本发明涉及瞳孔检测装置和瞳孔检测方法。

背景技术

在如夜间或隧道内等无法充分地确保照度的环境中从脸图像进行视线检测或表情检测的情况下，为了确保照度，有时使用投光器。在使用了投光器的情况下，在眼球上观测到因投光器映入到眼球的角膜上而产生的角膜反射像。在该角膜反射像的图像(下面，有时称为“角膜反射图像”)和瞳孔图像重叠的情况下，有时角膜反射图像遮掩瞳孔图像。在这种情况下，根据以往的以完全看到瞳孔图像为前提的瞳孔检测的手法，难以检测瞳孔图像。

作为对应这种问题的第一方法，有专利文献1中公开的方法。根据该第一方法，在眼区域内计算辉度(brightness)的微分，基于该计算结果，搜索负的边缘(edge)和与其对应的正的边缘。由此，即使在瞳孔图像内出现角膜反射图像的情况下，也能够进行瞳孔检测。

另外，作为第二方法，有专利文献2中公开的方法。根据该第二方法，在投光器中使用SLD(super luminescent diode，超级发光双极管)。由此，能够缩小映入到眼镜或角膜上的投光器的反射像的面积，从而能够实现瞳孔检测的稳定化。

进而，作为第三方法，有非专利文献1中公开的方法。根据该第三方法，从瞳孔区域的边缘产生多个平行四边形，并对于各个平行四边形的中心进行投票。然后，检测被最多地投票的坐标作为瞳孔中心。进而，从自检测出的瞳孔中心相等距离的边缘检测瞳孔轮廓。

现有技术文献

专利文献

专利文献1：日本专利申请特开平2-213322号公报

专利文献2：日本专利申请特开平7-248216号公报

非专利文献

非专利文献1：「高速楕円検出に基づく眼球回旋運動の計測(Measurement of Cycloduction Movement Based on Fast Ellipse Detection)」，坂下祐輔，藤吉弘亘，平田豊，高丸尚教，深谷直樹，SSII2006論文集

发明内容

发明要解决的问题

可是，在上述的第一方法中进行如下尝试，即：在瞳孔轮廓上重叠了角膜反射像的情况下，改变投光器的位置而形成瞳孔轮廓和角膜反射像不重叠的状况。然而，在难以使用多个投光器或者改变投光器的位置的情况下，难以避免在瞳孔轮廓上重叠了角膜反射像的状况，其结果难以进行瞳孔检测。

另外，在上述的第二方法中，通过缩小角膜反射像的物理大小，缩小角膜反射像遮掩瞳孔的区域。然而，在无法确保足够的图像的分辨率的情况下，不管角膜反射像的物理大小如何，角膜反射像和瞳孔图像的大小大致相同。例如，在数字图像的原理上，图像上的角膜反射图像的直径为1像素以上，但是在分辨率低的情况下，瞳孔直径最小也会缩小到1像素左右。因此，在角膜反射像和瞳孔重叠的情况下，瞳孔图像被角膜反射图像遮掩的“被遮掩面积”在图像上变大，其结果难以进行瞳孔检测。

另外，在上述的第三方法中，通过从作为瞳孔轮廓候补的边缘像素中每次提取4点来生成多个平行四边形，并将成为平行四边形的中心的状况最多的像素作为瞳孔中心。然而，在未观测到位于相对瞳孔中心对称的位置的边缘的情况下，平行四边形的中心很少位于瞳孔中心部分。因此，在角膜反射像遮掩了瞳孔的一半以上的情况下，难以进行瞳孔检测。

本发明是鉴于这些方面而完成，其目的在于提供瞳孔检测装置和瞳孔检测方法，即使在瞳孔的大部分被角膜反射像遮掩的情况下，也能够稳定地检测瞳孔。

解决问题的方案

本发明的瞳孔检测装置为检测眼区域图像内的瞳孔图像的瞳孔检测装置，包括检测所述眼区域图像的高辉度图像区域即角膜反射图像的第一检测单元，所述瞳孔检测装置还包括：评价值计算单元，设定以所述角膜反射图像内的基准点为一端且具有规定的长度的多个线段，并基于各个线段中的各个像素的辉度和基准辉度，计算辉度评价值；确定单元，基于所述辉度评价值，从所述多个线段中确定通过所述瞳孔图像的中心的瞳孔中心直线；第二检测单元，用于基于所述瞳孔中心直线的周边的辉度状态，或者所述瞳孔中心直线上的辉度状态，检测所述瞳孔图像。

本发明的瞳孔检测方法为检测眼区域图像内的瞳孔图像的瞳孔检测方法，包括检测所述眼区域图像的高辉度图像区域即角膜反射图像的步骤，所述瞳孔检测方法还包括：设定以所述角膜反射图像内的基准点为一端且具有规定的长度的多个线段，并基于各个线段中的各个像素的辉度和基准辉度，计算辉度评价值的步骤；基于所述辉度评价值，从所述多个线段中确定通过所述瞳孔图像的中心的瞳孔中心直线的步骤；以及基于所述瞳孔中心直线的周边的辉度状态，或者所述瞳孔中心直线上的辉度状态，检测所述瞳孔图像的步骤。

发明的效果

根据本发明，能够提供瞳孔检测装置和瞳孔检测方法，即使在瞳孔的大部分被角膜反射像遮掩的情况下，通过主动地利用角膜反射像的信息，也能够稳定地检测瞳孔。

附图说明

图1是表示本发明实施方式1的瞳孔检测装置的结构的方框图。

图2是表示眼区域检测单元的结构的方框图。

图3是用于说明瞳孔检测装置的动作的流程图。

图4是表示目标图像即脸图像的图。

图5是用于说明角膜反射图像检测处理和辉度评价值计算处理的图。

图6是表示一例辉度评价值和计算出该辉度评价值的辐射方向与基准方向形成的角度之间的对应关系的图。

图7是用于说明辉度评价值计算处理的图。

图8是用于说明瞳孔搜索处理的图。

图9是表示本发明实施方式2的瞳孔检测装置的结构的方框图。

图10是用于说明瞳孔检测装置的动作的流程图。

图11是表示本发明实施方式3的瞳孔检测装置的结构的方框图。

图12是用于说明瞳孔检测装置的动作的流程图。

图13是表示本发明实施方式4的瞳孔检测装置的结构的方框图。

图14是表示本发明实施方式5的瞳孔检测装置的结构的方框图。

图15是用于说明瞳孔中心直线计算单元的动作的图。

图16是表示本发明实施方式6的瞳孔检测装置的结构的方框图。

图17是用于说明瞳孔搜索单元的动作的图。

图18是表示本发明实施方式7的瞳孔检测装置的结构的方框图。

图19是用于说明瞳孔搜索单元的动作的图。

标号说明

100、600、800、1000、1100、1300、1400 瞳孔检测装置

101 眼区域图像获取单元

102 角膜反射像检测单元

103 瞳孔状态预测单元

104 瞳孔状态存储单元

105、601 周边状态评价单元

106、1001、1101 瞳孔中心直线计算单元

107、804、1301、1401 瞳孔搜索单元

111 图像输入单元

112 眼区域检测单元

121 脸检测单元

122 脸器官检测单元

123 眼区域决定单元

602 巩膜平均辉度计算单元

603 巩膜平均辉度存储单元

801 照度测定单元

802 照明状态存储单元

803 照明状态估计单元

具体实施方式

以下，参照附图详细说明本发明的实施方式。另外，在实施方式中，对相同的结构要素附加相同的标号，由于重复而省略其说明。

实施方式1

[瞳孔检测装置100的结构]

图1是表示本发明的实施方式1的瞳孔检测装置100的结构的方框图。瞳孔检测装置100例如设置在汽车的车内，与视线检测装置连接而使用。该视线检测装置基于瞳孔检测装置100的检测结果决定瞳孔位置，并检测驾驶员的视线方向。下面，特别对将瞳孔检测装置100应用于视线检测装置的情况进行说明。

在图1中，瞳孔检测装置100包括眼区域图像获取单元101、角膜反射像检测单元102、瞳孔状态预测单元103、瞳孔状态存储单元104、周边状态评价单元105、瞳孔中心直线计算单元106以及瞳孔搜索单元107。

眼区域图像获取单元101获取眼区域图像，并将其输出到角膜反射像检测单元102。

具体来说，眼区域图像获取单元101具备图像输入单元111和眼区域检测单元112。

图像输入单元111对拍摄目标(即，在此是人物)进行拍摄。该目标图像数据被输出到眼区域检测单元112。

图像输入单元111例如设置于车的方向盘上、或者仪表盘上等驾驶席的正面。由此，通过图像输入单元111拍摄驾驶中的驾驶者的脸。

眼区域检测单元112从自图像输入单元111接受的目标图像中，检测眼区域图像。

具体来说，如图2所示，眼区域检测单元112具有脸检测单元121、脸器官检测单元122和眼区域决定单元123。

脸检测单元121从自图像输入单元111接受的目标图像中检测脸图像，并将脸图像数据输出到脸器官检测单元122。

脸器官检测单元122从自脸检测单元121接受的脸图像中检测脸器官群(即，外眼角、内眼角等)，并将各脸器官的位置坐标向眼区域决定单元123输出。

眼区域决定单元123基于从脸器官检测单元122接受的各脸器官的位置坐标，决定眼区域图像的位置和大小。该眼区域图像的位置和大小作为眼区域图像检测结果，与从图像输入单元111输出的目标图像一起被输出到角膜反射像检测单元102。此外，对左眼和右眼分别计算眼区域图像的位置和大小。

返回到图1，角膜反射像检测单元102从自眼区域图像获取单元101接受的目标图像数据中检测角膜反射图像，并将有关检测出的角膜反射图像的信息输出到周边状态评价单元105。该有关角膜反射图像的信息中包含角膜反射图像区域的中心的坐标。

周边状态评价单元105计算以角膜反射图像为基准的、反射方向的“辉度评价值”。也就是说，周边状态评价单元105计算辉度评价值与计算出该辉度评价值的辐射方向和基准方向形成的角度之间的对应关系。

具体来说，周边状态评价单元105在由角膜反射像检测单元102检测出的角膜反射图像内设定基准点，并设定以该基准点为一端且具有规定的长度的多个线段。通过从基准方向开始每次旋转规定角度，依次设定该多个线段。由于这里以角膜反射图像和瞳孔图像重叠的情况为前提，所以线段的规定的长度为估计的瞳孔图像的直径(以下，有时被称为“估计瞳孔直径”)。估计瞳孔直径由瞳孔状态预测单元103进行估计。另外，在还包含角膜反射图像和瞳孔图像未重复的情况而进行处理的情况下，将线段的长度设定为长于估计瞳孔直径的长度即可。

然后，周边状态评价单元105基于各个线段中的各个像素的辉度和基准辉度，计算辉度评价值。详细而言，周边状态评价单元105将各个线段中的各个像素的辉度和基准辉度进行比较，提取具有辉度比基准辉度低的像素，并计算提取出的所有像素的辉度和基准辉度之差的总和作为辉度评价值。也就是说，使用下式(1)求辉度评价值。

V = \underset{L}{Σ} (B < S ? S - B : 0) . . . (1)

其中，V为辉度评价值，S为作为基准辉度使用的巩膜平均辉度，B为线段上的各个像素的辉度，L为线段。

瞳孔中心直线计算单元106基于由周边状态评价单元105计算出的辉度评价值，确定通过瞳孔图像的中心的线段(以下，有时被称为“瞳孔中心直线”)。具体来说，瞳孔中心直线计算单元106将由周边状态评价单元105计算出的辉度评价值最大的线段确定为瞳孔中心直线。

瞳孔搜索单元107基于瞳孔中心直线周边的辉度状态，搜索瞳孔图像。具体来说，瞳孔搜索单元107基于由瞳孔中心直线计算单元106所确定的瞳孔中心直线和包含上述的估计瞳孔直径的直径候补群，依次设定瞳孔图像区域候补，并基于瞳孔图像区域候补内的辉度状态，从瞳孔图像区域候补群中检测瞳孔图像区域(即，瞳孔图像区域的可能性最大的区域)，从而搜索瞳孔图像区域。

具体来说，瞳孔搜索单元107将在瞳孔中心直线上存在中心、且以直径候补群内的一个直径候补作为直径的圆设定为瞳孔图像区域候补，并计算该瞳孔图像区域候补内的辉度状态指标。作为该辉度状态指标，这里使用在所设定的瞳孔图像区域候补内的像素群中，辉度比基准辉度低的像素群的平均辉度。也就是说，使用下式(2)求辉度状态指标。

X = \frac{\underset{P}{Σ} (B < S ? B : 0)}{\underset{P}{Σ} (B < S ? 1 : 0)} . . . (2)

其中，X为瞳孔图像区域候补的辉度状态指标，P为瞳孔图像区域候补，即为在瞳孔中心直线上存在中心、且以直径候补群内的一个直径候补作为直径的圆。也就是说，在式(2)的分母中将在瞳孔图像区域候补内的、辉度比基准辉度低的像素的数进行计数，而在分子中，求在瞳孔图像区域候补内的、辉度比基准辉度低的像素的辉度的总和。

对于各个瞳孔图像区域候补(即，中心位置和直径候补的组合不同的各个瞳孔图像区域候补)求该辉度状态指标，并将在瞳孔图像区域候补群内的、辉度状态指标最小的瞳孔图像区域候补确定为瞳孔图像区域。

有关如上所确定的瞳孔图像区域的信息(即，有关中心位置和直径的信息)被存储在瞳孔状态存储单元104，同时被用于后级的功能单元即视线检测单元(未图示)中的视线检测处理。另外，这里虽然准备了多个直径候补，但是也可以仅使用估计瞳孔直径。由此，在瞳孔直径的变动较少的拍摄环境中，也能够维持瞳孔检测的精度并降低处理量。

瞳孔状态存储单元104将有关由瞳孔搜索单元107检测出的瞳孔图像区域的信息(即，有关中心位置和直径的信息)与在瞳孔图像区域的检测中使用的目标图像的拍摄时刻关联地存储。

瞳孔状态预测单元103根据在瞳孔状态存储单元104中所存储的过去的检测瞳孔直径(即，瞳孔图像区域的直径)，对当前的瞳孔的直径进行估计。该估计瞳孔直径被输出到周边状态评价单元105和瞳孔搜索单元107。

[瞳孔检测装置100的动作]

说明具有以上的结构的瞳孔检测装置100的动作。图3是用于说明瞳孔检测装置100的动作的流程图。在图3的流程图中，还包含上述的视线检测装置中的处理流程。

图3所示的处理流程与拍摄作业同时开始。拍摄作业即可以通过用户的操作来开始，也可以将外部的某个信号作为触发而开始。

<图像获取处理>

在步骤S201中，图像输入单元111对拍摄目标(即，在此是人物)进行拍摄。由此，获取目标图像。

作为图像输入单元111，例如假想为具备CMOS图像传感器和镜头的数码摄像机。因此，由图像输入单元111拍摄的PPM(Portable Pix Map fileformat，可移植的象素映射位图文件格式)格式的图像等暂时被存储到图像输入单元111所包含的未图示的图像存储单元(例如，PC的存储器空间)中之后，仍以PPM格式输出到眼区域检测单元112。

<脸图像检测处理>

在步骤S202中，脸检测单元121从自图像输入单元111接受的目标图像中，检测脸图像。图4是表示目标图像即脸图像的图。此外，在所拍摄的脸图像中，例如将图像横向设为X轴、且将图像纵向设为Y轴，1像素为1坐标点。

在脸区域检测处理中，例如，从输入图像中提取成为特征的图像的候补(即，特征图像候补)，通过比较所提取的特征图像候补和表示预先准备的脸区域的特征图像，检测出类似度高的特征图像候补。例如，将预先获取的平均脸的伽柏(Gabor)特征量和通过扫描输入图像而提取的伽柏特征量进行对照，求两者差分的绝对值的倒数作为类似度。

在该情况下，脸检测单元121与预先准备的模板进行比较，将在图4的图像400中相关度最高的区域确定为脸图像401。此外，脸区域检测处理即可以通过从图像中检测肤色区域(即，肤色区域检测)进行，也可以通过检测椭圆部分(即，椭圆检测)进行，也可以通过采用统计学的模式识别方法进行。此外，只要是能够进行上述脸检测的技术，可以采用任何方法。

<脸器官检测处理>

在步骤S203中，脸器官检测单元122从自脸检测单元121接受的脸图像中检测脸器官群(即，嘴角、外眼角、内眼角等)，并将各脸器官的位置坐标输出到眼区域决定单元123。脸器官群的搜索区域是在步骤S202中所确定的脸区域401。在图4中，分别示出脸器官群402。

在脸器官群检测处理中，例如利用分离度过滤器检测嘴角、外眼角、内眼角等脸器官的端点或鼻孔等的二维坐标。此外，即可以是，预先使学习器学习多个脸图像和与脸图像对应的脸器官的位置之间的对应关系，脸器官检测单元122在输入了脸图像401时，将与该对应关系似然最高的部位作为脸器官来检测。或者，也可以是，脸器官检测单元122利用标准的脸器官的模板，从脸图像401中搜索脸器官。

<眼区域决定处理>

在步骤S204中，眼区域决定单元123从自脸检测单元121接受的脸图像和自脸器官检测单元122接受的脸器官群中，决定眼区域。

在眼区域决定处理中，例如在左、右各个眼中，将包含外眼角、内眼角的矩形区域403决定为眼区域，获取矩形的左上端点坐标和右下端点坐标作为眼区域信息。

<角膜反射图像检测处理>

在步骤S205中，角膜反射像检测单元102从自脸检测单元121接受的脸图像和自眼区域决定单元123接受的眼区域信息中，检测角膜反射图像。具体来说，如图5所示，角膜反射像检测单元102在眼区域403内检测角膜反射图像501的中心坐标。例如，角膜反射像检测单元102在眼区域403内生成辉度分布，使用所生成的辉度分布，将规定的辉度以上且区域的大小在规定的大小范围内的区域检测为角膜反射图像，并将该区域的重心作为角膜反射图像的中心。

<估计瞳孔直径计算处理>

在步骤S206中，瞳孔状态预测单元103根据在瞳孔状态存储单元104中所存储的过去的检测瞳孔直径，计算估计瞳孔直径作为当前的瞳孔直径。对于估计瞳孔直径而言，例如，根据过去的检测瞳孔直径的历史计算瞳孔直径的变化速度，并将维持了该瞳孔直径变化速度时的瞳孔直径作为估计瞳孔直径。但是，估计瞳孔直径的计算并不限于上述方法，例如，也可以在瞳孔直径向变小的方向变化时总是使用人的平均最大缩瞳速度，而在向变大的方向时使用最大扩瞳速度。或者，也可以通过使用卡尔曼滤波器(Kalman filter)等的状态预测来求估计瞳孔直径。

<辉度评价值计算处理>

在步骤S207中，周边状态评价单元105从包含由角膜反射像检测单元102生成的角膜反射图像的图像区域的辉度分布，将辉度评价值与计算出该辉度评价值的辐射方向和基准方向形成的角度之间的对应关系进行计算。图6表示一例辉度评价值与计算出该辉度评价值的辐射方向和基准方向形成的角度之间的对应关系。

具体来说，首先，周边状态评价单元105计算在眼区域内距角膜反射图像的中心离开了平均的角膜半径(例如为5mm)以上的区域的平均辉度作为巩膜平均辉度。作为上述的基准辉度使用该巩膜平均辉度。

其次，如图5所示，周边状态评价单元105在由角膜反射像检测单元102检测出的角膜反射图像内设定基准点(在此为角膜反射图像区域的中心)，并设定以该基准点为一端且具有估计瞳孔直径的长度的线段502。

然后，周边状态评价单元105基于各个线段502的各个像素的辉度和基准辉度，计算辉度评价值。通过提取具有辉度比基准辉度低的像素，并求有关所提取的所有像素的辉度和基准辉度之差的总和，作为该辉度估计值。

如图7所示，对于通过从基准方向开始每次旋转规定角度而依次设定的多个线段502的每一个，进行该计算处理。

这里，对于与角膜对应的图像，或者，外光映射到眼镜或角膜上的图像区域而言，其辉度比与瞳孔对应的图像的辉度高。因此，通过以与巩膜对应的图像区域的辉度为基准，仅提取辉度低于该基准辉度的像素，能够排除不是与瞳孔对应的图像区域的可能性高的像素的影响。而且，仅以与瞳孔对应的图像区域的可能性高的低辉度的像素为对象来计算辉度评价值，能够获取使瞳孔中心直线的检测精度提高的评价值。

<瞳孔中心直线检测处理>

在步骤S208中，瞳孔中心直线计算单元106基于由周边状态评价单元105计算出的辉度评价值，确定瞳孔中心直线。具体来说，瞳孔中心直线计算单元106将由周边状态评价单元105计算出的辉度评价值最大的线段确定为瞳孔中心直线。另外，也可以通过计算规定的角度范围内的辉度评价值的总和最高的范围的加权平均，检测瞳孔中心直线相对基准方向的角度。此时，将通过角膜反射图像区域的中心、且在检测角度方向伸延的直线作为瞳孔中心直线。

<瞳孔搜索处理>

在步骤S209中，如图8所示，瞳孔搜索单元107基于由瞳孔中心直线计算单元106所确定的瞳孔中心直线和包含上述的估计瞳孔直径的直径候补群，依次设定瞳孔图像区域候补，并基于瞳孔图像区域候补内的辉度状态，从瞳孔图像区域候补群中检测瞳孔图像区域(即，瞳孔图像区域的可能性最大的区域)，从而搜索瞳孔图像区域。另外，在图8中，仅示出了估计瞳孔直径的瞳孔图像区域候补群。

具体来说，瞳孔搜索单元107将在瞳孔中心直线上存在中心、且以直径候补群内的一个直径候补作为直径的圆设定为瞳孔图像区域候补，并计算该瞳孔图像区域候补内的辉度状态指标。在该辉度状态指标上，这里使用在所设定的瞳孔图像区域候补内的像素群中，辉度比基准辉度低的像素群的平均辉度。

<瞳孔图像区域信息的保存方法>

在步骤S210中，瞳孔状态存储单元104将有关由瞳孔搜索单元107所检测的瞳孔图像区域的信息(即，有关中心位置和直径的信息)与瞳孔图像区域的检测中所使用的目标图像的拍摄时刻关联地存储。

<视线检测处理>

在步骤S211中，视线检测单元(未图示)检测视线。

视线检测，例如根据脸朝向矢量和视线方向矢量计算，该脸朝向矢量表示根据脸器官群402的坐标计算出的脸的正面方向的朝向，该视线方向矢量为与根据外眼角、内眼角、瞳孔中心的坐标计算出的脸的正面方向相对的矢量。

脸朝向矢量例如按下面的顺序计算。首先，通过将预先获取的驾驶者的脸器官群的三维坐标旋转及平移而进行变换。然后，将变换的三维坐标投影到瞳孔检测中使用的目标图像上。之后，计算与在步骤S203中检测的脸器官群最一致的旋转及平移参数。此时，在预先获取了驾驶者的脸器官群的三维坐标时，表示驾驶者的脸朝着的方向的矢量和按照所决定的旋转参数旋转的矢量的组合，就是脸朝向矢量。

此外，视线方向矢量例如按下面的顺序计算。首先，预先存储在脸朝着规定的方向的情况下，观察与脸朝向相同的方向时的驾驶者的脸器官群和瞳孔中心的三维坐标。瞳孔中心的检测，例如通过在眼区域内获取规定的辉度以下的像素的重心来进行。接着，计算从所检测出的瞳孔的三维坐标向视线方向的相反侧移动了规定的距离的位置，作为眼球中心位置。此时，作为上述规定的距离，一般的成人眼球的半径即12mm左右较适当，但并不限于上述值，也可以采用任意的值。接着，使用在脸朝向矢量计算时获取的脸的旋转及平移参数，求检测时的眼球中心的三维坐标。接着，假设瞳孔位于以眼球中心为中心、半径为上述规定的距离的球上，并搜索所检测的瞳孔中心位于上述球上的哪个位置。最后，计算将眼球中心和所搜索的球上的点连接起来的矢量，作为视线方向。

<结束判定处理>

在步骤S212中，进行结束判定。结束判定既可以通过由人工输入结束命令来进行，也可以以外部的某种信号为触发而由瞳孔检测装置100进行。

在步骤S212中判定为结束的情况下，结束图3的处理。

如上所述，根据本实施方式，在瞳孔检测装置100中，周边状态评价单元105设定以角膜反射图像内的基准点为一端且具有规定的长度的多个线段，基于各个线段中的各个像素的辉度和基准辉度计算辉度评价值，瞳孔中心直线计算单元106基于辉度评价值，从多个线段中确定通过瞳孔图像的中心的瞳孔中心直线，瞳孔搜索单元107基于瞳孔中心直线的周边的辉度状态，检测瞳孔图像。

这样，在基于以角膜反射图像为基准设定的线段中的辉度评价值确定了瞳孔中心直线之后，基于该瞳孔中心直线的周边的辉度状态检测瞳孔图像，所以能够主动地利用角膜反射像的信息且能够实现稳定的瞳孔检测。

另外，周边状态评价单元105对于各个线段，将各个像素的辉度和所述基准辉度进行比较，提取具有辉度比基准辉度低的像素，并计算所提取的所有像素的辉度和基准辉度之差的总和作为辉度评价值。

另外，瞳孔中心直线计算单元106将辉度评价值最大的线段确定为瞳孔中心直线。

另外，作为所设定的线段的规定的长度，使用由瞳孔状态预测单元103根据过去的检测瞳孔直径估计出的估计瞳孔直径。但是，作为该规定的长度，也可以使用预先决定的规定值。

另外，作为基准辉度，使用巩膜平均辉度。

实施方式2

在实施方式2中，使用基于检测瞳孔图像刚计算出的巩膜平均辉度作为基准辉度。

图9是表示本发明的实施方式2的瞳孔检测装置600的结构的方框图。在图9中，瞳孔检测装置600包括周边状态评价单元601、巩膜平均辉度计算单元602、以及巩膜平均辉度存储单元603。

与周边状态评价单元105同样，周边状态评价单元601计算辉度评价值与计算出该辉度评价值的辐射方向和基准方向形成的角度之间的对应关系。但是，这里，周边状态评价单元601使用由从巩膜平均辉度存储单元603接受的、基于检测瞳孔图像刚计算出的巩膜平均辉度作为基准辉度。

巩膜平均辉度计算单元602使用由瞳孔搜索单元107所检测的瞳孔中心的坐标计算巩膜平均辉度，并将其输出到巩膜平均辉度存储单元603。

巩膜平均辉度存储单元603将由巩膜平均辉度计算单元602计算出的巩膜平均辉度与在该巩膜平均辉度的计算中所使用的目标图像的拍摄时刻关联地存储。

下面说明具有以上的结构的瞳孔检测装置600的动作。图10是用于说明瞳孔检测装置600的动作的流程图。

在步骤S701中，周边状态评价单元601使用基于检测瞳孔图像刚计算出的巩膜平均辉度作为基准辉度，计算辉度评价值与计算出该辉度评价值的辐射方向和基准方向形成的角度之间的对应关系。

在步骤S702中，巩膜平均辉度计算单元602根据目标图像、在步骤S205中计算出的角膜反射图像、以及在步骤S209中计算出的瞳孔中心和检测瞳孔直径，计算目标图像上的巩膜平均辉度。

具体来说，在眼区域内，将排除了具有角膜反射图像以上的辉度的像素和属于以瞳孔中心为中心且以检测瞳孔直径为直径的圆内的像素之后的像素的平均辉度，作为巩膜平均辉度。

在步骤S703中，巩膜平均辉度存储单元603将在步骤S702中计算出的巩膜平均辉度与在该巩膜平均辉度的计算中所使用的目标图像的拍摄时刻关联地存储。

如上所述，根据本实施方式2，在瞳孔检测装置600中，周边状态评价单元601将基于检测瞳孔图像刚计算出的巩膜平均辉度作为基准辉度，计算辉度评价值。

由此，能够提高瞳孔检测精度。

实施方式3

在实施方式3中，根据照度来调整在瞳孔搜索处理中所设定的直径候补。

图11是表示本发明的实施方式3的瞳孔检测装置800的结构的方框图。在图11中，瞳孔检测装置800包括照度测定单元801、照明状态存储单元802、照明状态估计单元803、以及瞳孔搜索单元804。

照度测定单元801测定目标图像拍摄时的照度，并将其输出到照明状态存储单元802和照明状态估计单元803。

照明状态存储单元802将从照度测定单元801接受的照度与拍摄时刻关联地存储。

照明状态估计单元803将从照度测定单元801接受的第一照度和在照明状态存储单元802中所存储的紧靠第一照度之前测定出的第二照度进行比较，并将比较结果输出到瞳孔搜索单元804。

与实施方式1的瞳孔搜索单元107同样，瞳孔搜索单元804基于由瞳孔中心直线计算单元106确定出的瞳孔中心直线和包含上述的估计瞳孔直径的直径候补群，依次设定瞳孔图像区域候补，并基于瞳孔图像区域候补内的辉度状态，从瞳孔图像区域候补群中检测瞳孔图像区域(即，瞳孔图像区域的可能性最大的区域)，从而搜索瞳孔图像区域。

但是，瞳孔搜索单元804基于从照明状态估计单元803接受的有关比较结果的信息，调整上述的直径候补。

具体来说，瞳孔搜索单元804，在第一照度低于第二照度的情况下(即，本次的照度低于上次的照度的情况下)，使直径候补变大，而在相反的情况下，使直径候补变小。

下面说明具有以上的结构的瞳孔检测装置800的动作。图12是用于说明瞳孔检测装置800的动作的流程图。

在步骤S901中，照度测定单元801测定拍摄环境的照度。

在步骤S902中，照明状态存储单元802将在步骤S901中测定出的照度与目标图像的拍摄时刻关联地存储。

在步骤S903中，瞳孔搜索单元804基于从照明状态估计单元803接受的有关比较结果的信息调整直径候补，基于由瞳孔中心直线计算单元106所确定的瞳孔中心直线和调整过的直径候补，依次设定瞳孔图像区域候补，并基于瞳孔图像区域候补内的辉度状态，从瞳孔图像区域候补群中检测瞳孔图像区域，从而搜索瞳孔图像区域。

如上所述，根据本实施方式，在瞳孔检测装置800中，瞳孔搜索单元804基于目标图像的拍摄时的照度来调整直径候补。

由此，能够设定反映了目标图像的拍摄时的瞳孔状态的直径候补，所以能够缩短用于瞳孔检测的时间。

实施方式4

实施方式4涉及从辉度评价值与计算出该辉度评价值的辐射方向和基准方向形成的角度之间的对应关系，确定瞳孔中心直线的方法的变形。

图13是表示本发明的实施方式4的瞳孔检测装置1000的结构的方框图。在图13中，瞳孔检测装置1000具有瞳孔中心直线计算单元1001。

瞳孔中心直线计算单元1001基于由周边状态评价单元105计算出的辉度评价值，确定瞳孔中心直线。具体来说，瞳孔中心直线计算单元1001一边移位基准角度一边依次设定具有规定的角度范围的平均计算范围，并对于属于各个平均计算范围内的角度，计算以上述的对应关系关联的辉度评价值的平均值。这里，例如，平均计算范围是以基准角度为中心的±3度左右。然后，瞳孔中心直线计算单元1001将与平均值为最大的平均计算范围的基准角度对应的线段确定成为瞳孔中心直线。

这样，通过在具有规定的角度范围的平均计算范围计算辉度评价值的平均值，能够获取不仅考虑了基准角度、还考虑了其周边范围的状况的评价值。

实施方式5

与实施方式4同样地，实施方式5涉及从辉度评价值与计算出该辉度评价值的辐射方向和基准方向形成的角度之间的对应关系，确定瞳孔中心直线的方法的变形。

图14是表示本发明的实施方式4的瞳孔检测装置1100的结构的方框图。在图14中，瞳孔检测装置1100具有瞳孔中心直线计算单元1101。

瞳孔中心直线计算单元1101基于由周边状态评价单元105计算出的辉度评价值，确定瞳孔中心直线。具体来说，瞳孔中心直线计算单元1101将与如下的角度范围的中心角度对应的线段确定为瞳孔中心直线，即，在以上述的对应关系中的任意的角度为中心且具有规定的角宽度的角度范围内的、辉度评价值作为中心基准而对称的多个角度范围内的、其中心的辉度评价值为最大的角度范围的中心角度。也就是说，瞳孔中心直线计算单元1101将与辉度评价值的分布在周边呈对称的多个角度中的、辉度评价值为最大的角度对应的线段，确定为瞳孔中心直线。

详细而言，瞳孔中心直线计算单元1101对表示上述的对应关系的曲线以角度进行微分，并提取微分值的正负调换的角度。然后，瞳孔中心直线计算单元1101将与在所提取的角度群内的、具有最大的辉度评价值的角度对应的线段，确定为瞳孔中心直线。

根据如上的瞳孔中心直线的确定方法，图15中的峰值P1201被排除，而峰值P1202被选择。

这里，由于瞳孔为略圆形，所以相对于通过瞳孔中心的直线呈线对称的形状。因此，辉度评价值也呈以瞳孔中心直线为中心对称的分布。如上所述，通过利用该特性确定瞳孔中心直线，能够减轻通过瞳孔中心的直线的角度以外的角度因图像噪声或睫毛等误检测要素而具有最大的辉度评价值所造成的误检测。

实施方式6

实施方式6涉及瞳孔搜索处理的变形。

图16是表示本发明的实施方式6的瞳孔检测装置1500的结构的方框图。在图16中，瞳孔检测装置1500具有瞳孔搜索单元1301。

瞳孔搜索单元1301基于瞳孔中心直线上的辉度状态，搜索瞳孔图像。具体来说，瞳孔搜索单元1301从由角膜反射像检测单元102生成的图像区域的辉度分布，计算在瞳孔中心直线上的各个点的辉度梯度(在离开角膜反射图像的中心的方向上的辉度梯度)，并选择辉度梯度最大的点作为瞳孔的轮廓上的点(即，瞳孔轮廓点)。然后，瞳孔搜索单元1301在瞳孔中心直线上检测如下的点作为瞳孔中心，即，从瞳孔轮廓点朝向角膜反射图像的中心、距瞳孔轮廓点离开了估计瞳孔直径的一半(即，估计瞳孔半径)的点。

也就是说，对于辉度而言，按角膜反射图像、角膜图像、瞳孔图像的顺序降低。因此，如果计算在离开角膜反射图像的中心的方向上的辉度梯度，如图17所示，则在角膜反射图像和瞳孔图像的边界处辉度梯度变低(即，辉度梯度为负)，而在瞳孔图像和角膜(角膜反射图像部分除外)的边界处辉度梯度最高。因此，如上所述，通过选择辉度梯度最大的点，能够确定瞳孔轮廓点，而且能够根据该瞳孔轮廓点确定瞳孔中心。

实施方式7

与实施方式6同样，实施方式7涉及瞳孔搜索处理的变形。在实施方式7中，在瞳孔搜索处理中使用分离度滤波器。

图18是表示本发明的实施方式7的瞳孔检测装置1400的结构的方框图。在图18中，瞳孔检测装置1400具有瞳孔搜索单元1401。

瞳孔搜索单元1401基于瞳孔中心直线周边的辉度状态，搜索瞳孔图像。具体来说，瞳孔搜索单元1401在将分离度滤波器的基准点设置在瞳孔中心直线上的状态下依次移动分离度滤波器，并在基准点所在的各个点计算分离度η，并检测分离度η最大的点作为瞳孔中心。

这里，如图19所示，分离度滤波器由以估计瞳孔直径为直径的圆形的区域1和其周边区域即区域2构成。另外，由以下式(3)表示分离度滤波器。

\begin{matrix} η = \frac{σ_{b}^{2}}{σ_{T}^{2}} \\ σ_{b}^{2} = n_{1} {({\overset{&OverBar;}{P}}_{1} - \overset{&OverBar;}{P_{m}})}^{2} + n_{2} {(\overset{&OverBar;}{P_{2}} - \overset{&OverBar;}{P_{m}})}^{2} \\ σ_{T}^{2} = Σ_{i = 1}^{N} {(\overset{&OverBar;}{P_{i}} - \overset{&OverBar;}{P_{m}})}^{2} \end{matrix} . . . (3)

在式(3)中，n₁、n₂、N分别表示区域1、区域2和整个区域(即，区域1+区域2)的像素数，σ_T表示整个区域的总方差值，σ_b表示区域1和区域2的类间方差值。另外，P_i表示位置i的辉度值，P₁、P₂、P_m分别表示区域1、区域2和整个区域的平均辉度值。但是，在区域1或区域2内存在角膜反射图像的情况下，从区域1或区域2中排除角膜反射图像的部分，计算分离度η。

也就是说，分离度η的值越大，表示区域1和区域2中各自的辉度越均匀、且区域1和区域2之间的辉度差越大的倾向。因此，在区域1与瞳孔图像一致、且区域2与虹膜图像(即，瞳孔图像的周边的图像区域)一致时，分离度η的值最大。这是因为，瞳孔图像的辉度低而虹膜的辉度高。

因此，如上所述，通过在将分离度滤波器的基准点设置在瞳孔中心直线上的状态下依次移动分离度滤波器，在基准点所在的各个点计算分离度η，并检测分离度η最大的点，能够确定瞳孔中心。

另外，在上述各个实施方式中，举例说明了以硬件构成本发明的情况，但本发明也可通过软件来实现。

另外，在上述各个实施方式的说明中所使用的各功能块典型地通过集成电路的LSI(大规模集成电路)来实现。这些块既可以被单独地集成为一个芯片，也可以包含一部分或全部地被集成为一个芯片。另外，在此虽然称作LSI，但是根据集成程度的不同，有时也称为IC(集成电路)、系统LSI、超级LSI(SuperLSI)、或极大LSI(Ultra LSI)等。

另外，实现集成电路化的方法不仅限于LSI，也可以使用专用电路或通用处理器来实现。也可以利用可在LSI制造后编程的FPGA(FieldProgrammable Gate Array：现场可编程门阵列)，或者可重构LSI内部的电路单元的连接或设定的可重构处理器(Reconfigurable Processor)。

再有，如果随着半导体技术的进步或者随其派生的其他技术的出现，出现了能够代替LSI的集成电路化的技术，当然也可以利用该技术进行功能块的集成化。还存在着适用生物技术等的可能性。

在上述各个实施方式中说明的瞳孔检测装置，适用于安装在个人计算机、OA设备、移动电话等信息终端、或者，汽车、飞机、船、电车等移动工具上的信息提供装置时极为有用。另外，也能够适用于监视装置、警报装置、机器人、视频音频再现装置等。

2010年7月20日提交的日本专利申请第2010-162964号所包含的说明书、说明书附图以及说明书摘要的公开内容，全部引用于本申请。

工业实用性

本发明的瞳孔检测装置及瞳孔检测方法，作为即使在瞳孔的大部分被角膜反射像遮掩的情况下，通过主动地利用角膜反射像的信息，也能够稳定地检测瞳孔的瞳孔检测装置及瞳孔检测方法是极为有用的。

Claims

1.检测眼区域图像内的瞳孔图像的瞳孔检测装置，包括检测所述眼区域图像的高辉度图像区域即角膜反射图像的第一检测单元，其特征在于，所述瞳孔检测装置还包括：

评价值计算单元，设定以所述角膜反射图像内的基准点为一端且具有规定的长度的多个线段，并基于各个线段中的各个像素的辉度和基准辉度，计算辉度评价值；

确定单元，基于所述辉度评价值，从所述多个线段中确定通过所述瞳孔图像的中心的瞳孔中心直线；

第二检测单元，基于所述瞳孔中心直线的周边的辉度状态，或者所述瞳孔中心直线上的辉度状态，检测所述瞳孔图像。

2.如权利要求1所述的瞳孔检测装置，

所述评价值计算单元对于所述各个线段，将所述各个像素的辉度和所述基准辉度进行比较，提取具有低于所述基准辉度的辉度的像素，并计算提取出的所有像素的辉度和所述基准辉度之差的总和作为所述辉度评价值。

3.如权利要求2所述的瞳孔检测装置，

所述确定单元将所述辉度评价值最大的线段确定为所述瞳孔中心直线。

4.如权利要求1所述的瞳孔检测装置，

所述第二检测单元依次设定中心在所述瞳孔中心直线上的瞳孔图像区域候补，并基于在所设定的各个瞳孔图像区域候补内的像素群中辉度比所述基准辉度低的像素群的平均辉度，检测所述瞳孔图像。

5.如权利要求1所述的瞳孔检测装置，

还包括基于由所述第二检测单元检测出的所述瞳孔图像的直径，计算在所述瞳孔图像外存在的巩膜的辉度的巩膜辉度计算单元，

所述评价值计算单元将由所述巩膜辉度计算单元刚计算出的所述巩膜的辉度作为所述基准辉度。

6.如权利要求4所述的瞳孔检测装置，

所述第二检测单元根据照度来调整所述设定的瞳孔图像区域候补的直径。

7.如权利要求2所述的瞳孔检测装置，

所述确定单元依次移位具有规定的角度范围的平均计算范围，并基于在各个计算范围计算出的辉度评价值的平均值，确定所述瞳孔中心直线。

8.如权利要求2所述的瞳孔检测装置，

所述确定单元将在有关各个线段计算出的辉度评价值与基准方向和各个线段形成的角度之间的对应关系中，在辉度评价值的分布在周边呈对称的多个角度内的、辉度评价值最大的角度对应的线段，确定为所述瞳孔中心直线。

9.如权利要求1所述的瞳孔检测装置，

所述第二检测单元基于所述瞳孔中心直线上的辉度梯度检测所述瞳孔图像的轮廓点，并检测距所述轮廓点离开了瞳孔半径的距离的点作为所述瞳孔图像的中心。

10.如权利要求1所述的瞳孔检测装置，

所述第二检测单元对所述瞳孔中心直线上的多个点设定分离度滤波器，并基于在各个点计算出的分离度，检测所述瞳孔图像。

11.检测眼区域图像内的瞳孔图像的瞳孔检测方法，包括检测所述眼区域图像的高辉度图像区域即角膜反射图像的步骤，其特征在于，所述瞳孔检测方法还包括以下步骤：

设定以所述角膜反射图像内的基准点为一端且具有规定的长度的多个线段，并基于各个线段中的各个像素的辉度和基准辉度，计算辉度评价值的步骤；

基于所述辉度评价值，从所述多个线段中确定通过所述瞳孔图像的中心的瞳孔中心直线的步骤；

基于所述瞳孔中心直线的周边的辉度状态，或者所述瞳孔中心直线上的辉度状态，检测所述瞳孔图像的步骤。