CN102439627A - 瞳孔检测装置和瞳孔检测方法 - Google Patents

Abstract

公开了在采用了使用近红外线的灰度图像的情况下，也能够选择并输出高精度的检测结果的瞳孔检测装置和瞳孔检测方法。在瞳孔检测装置(100)中，切换判定单元(105)基于红眼发生强度的计算值、和红眼发生强度与瞳孔检测精度值之间的相关特性，选择性地输出第一瞳孔图像的检测结果或由瞳孔检测单元(104)检测出的第二瞳孔图像的检测结果，其中，上述红眼发生强度是由瞳孔检测单元(103)检测出的第一瞳孔图像内的亮度对第一瞳孔图像外的周围图像的亮度的相对亮度。瞳孔检测装置(100)包括由离开间隔距离d1的摄像单元(111)和照射单元(112)构成的第一摄像对，和间隔距离d2大于第一摄像对的第二摄像对。瞳孔检测单元(103)使用由第一摄像对拍摄到的图像，而瞳孔检测单元(104)使用由第二摄像对拍摄到的图像。

Description

瞳孔检测装置和瞳孔检测方法

技术领域

本发明涉及瞳孔检测装置和瞳孔检测方法。

背景技术

在视线检测或表情检测等中，进行瞳孔检测。在照度较低的情况下进行该瞳孔检测时，有时发生“红眼现象”。尤其在较暗的场所等瞳孔张开得较大的状态下进行了闪光灯拍摄时，由于拍摄到视网膜的血管而发生该红眼现象。发生红眼现象的瞳孔图像对于瞳孔周围图像的亮度，大于未发生红眼现象的通常的瞳孔图像对于瞳孔周围图像的亮度。因此，即使在发生红眼现象的条件下，适用以未发生红眼现象的通常的瞳孔为对象的瞳孔检测方法，也难以进行稳定的瞳孔检测。

对于这样的课题，以往，提出了发生红眼现象时的瞳孔检测方法(例如，参照专利文献1)。在该瞳孔检测方法中，基于眼睛区域的色度和亮度，检测发生了红眼现象的瞳孔图像。

现有技术文献

专利文献

专利文献1：日本专利特开2009-171318号公报

发明内容

发明要解决的问题

然而，在上述的以往的瞳孔检测方法中，使用色度作为红眼检测的评价值。因此，在对于使用了近红外线的灰度的图像适用该瞳孔检测时检测精度降低，或者原本就难以适用该瞳孔检测。另外，如上所述，瞳孔检测结果有时被用于视线检测。因此，在瞳孔检测精度降低时，使用瞳孔检测结果的处理(例如，视线检测处理)的精度也降低。

本发明的目的在于，提供即使在采用了使用近红外线的灰度图像的情况下，也能够选择并输出高精度的检测结果的瞳孔检测装置和瞳孔检测方法。

解决问题的方案

本发明的瞳孔检测装置包括：第一摄像对，由隔开了规定的间隔距离的摄像单元和摄像时发光的发光单元构成；第二摄像对，其所述规定的间隔距离大于第一摄像对；检测单元，从由所述第一摄像对拍摄到人物的第一人物图像检测第一瞳孔图像，从由所述第二摄像对拍摄到所述人物的第二人物图像检测第二瞳孔图像；以及输出切换单元，基于红眼发生强度的计算值、以及红眼发生强度和瞳孔检测精度值之间的相关特性，选择性地输出所述第一瞳孔图像的检测结果或所述第二瞳孔图像的检测结果，所述红眼发生强度是所述第一瞳孔图像内的亮度的、对所述第一瞳孔图像外的周围图像的亮度的相对亮度。

本发明的瞳孔检测方法用于具有第一摄像对和第二摄像对的瞳孔检测装置，所述第一摄像对由隔开了规定的间隔距离的摄像单元和摄像时发光的发光单元构成，所述第二摄像对的所述规定的间隔距离大于第一摄像对，所述瞳孔检测方法包括：从由所述第一摄像对拍摄到人物的第一人物图像检测第一瞳孔图像，从由所述第二摄像对拍摄到所述人物的第二人物图像检测第二瞳孔图像的步骤；以及基于红眼发生强度的计算值、以及红眼发生强度和瞳孔检测精度值之间的相关特性，选择性地输出所述第一瞳孔图像的检测结果或所述第二瞳孔图像的检测结果的步骤，所述红眼发生强度是所述第一瞳孔图像内的亮度的、对所述第一瞳孔图像外的周围图像的亮度的相对亮度。

发明的效果

根据本发明，能够提供即使在采用了使用近红外线的灰度图像的情况下，也能够选择并输出高精度的检测结果的瞳孔检测装置和瞳孔检测方法。

附图说明

图1是表示本发明实施方式1的瞳孔检测装置的结构的方框图。

图2是表示图像输入单元的结构的方框图。

图3是表示图像输入单元的结构的方框图。

图4是表示摄像单元的结构的图。

图5是表示瞳孔检测单元的结构的方框图。

图6是表示瞳孔检测单元的结构的方框图。

图7是表示切换判定单元的结构的方框图。

图8是用于说明瞳孔检测装置的动作的流程图。

图9A、图9B是表示作为目标图像的脸部图像的图。

图10是用于说明红眼发生强度的图。

图11是用于说明红眼发生强度与瞳孔检测准确率的相关特性的图。

图12是用于说明变动倾向特性的图。

图13是表示本发明实施方式2的瞳孔检测装置的结构的方框图。

图14是表示切换判定单元的结构的方框图。

图15是用于说明瞳孔检测装置的动作的流程图。

图16A、图16B是表示照度与照度系数之间的对应关系的图。

图17是表示本发明实施方式3的瞳孔检测装置的结构的方框图。

图18是表示切换判定单元的结构的方框图。

图19A、图19B是表示图像输入单元的结构变化的图。

标号说明

100、700、900瞳孔检测装置

101、102图像输入单元

103、104瞳孔检测单元

105、702、902切换判定单元

106、703评价值存储单元

111、121拍摄单元

112、122照射单元

113、123同步单元

131、141脸部检测单元

132、142脸部器官检测单元

133、143瞳孔信息计算单元

151红眼发生强度计算单元

152、911特性计算单元

153、711输出信号选择单元

200摄像单元

701照度测量器

901模式选择单元

具体实施方式

以下，参照附图详细地说明本发明的实施方式。另外，在实施方式中，对相同的结构要素附加相同的标号，并由于重复而省略其说明。

[实施方式1]

[瞳孔检测装置的结构]

图1是表示本发明的实施方式1的瞳孔检测装置100的结构的方框图。瞳孔检测装置100例如设置在汽车的车室内，与警报装置连接而使用。该警报装置基于瞳孔检测装置100的检测结果，检测驾驶员的视线方向，在驾驶员长时间未朝向正面时，对驾驶员进行警告而提醒其注意。以下，特别地以瞳孔检测装置100设定在汽车的车室内的情况为例进行说明。

在图1中，瞳孔检测装置100包括：图像输入单元101、102；瞳孔检测单元103、104；切换判定单元105；以及评价值存储单元106。

图像输入单元101、102发光而照射拍摄目标(也就是说，这里是人物)，并且拍摄该拍摄目标。该目标图像数据分别输出到瞳孔检测单元103、104。

具体而言，如图2所示，图像输入单元101包括：摄像单元111、照射单元112、以及同步单元113。

摄像单元111以对应于从同步单元113接受的同步信号的定时，拍摄拍摄目标，并将目标图像信号输出到瞳孔检测单元103。摄像单元111具有CCD(Charge Coupled Devices，电荷耦合器)或CMOS(Complementary MetalOxide Semiconductor，互补金属氧化物半导体)等的图像传感器。

照射单元112以对应于从同步单元113接受的同步信号的定时发光。照射单元112具有红外线LED。从该红外线LED照射的红外线是不可见的，但在摄像单元111中能够感知该红外线。也就是说，摄像单元111具有红外线感应度。另外，在拍摄上可得到充足的光量的情况下，照射单元112也可以不是同步脉冲驱动，而是经常点亮。

同步单元113通过将同步信号输出到摄像单元111和照射单元112，控制照射单元112的发光定时(timing)和摄像单元111的曝光定时。由此，能够在照射到拍摄目标的定时拍摄拍摄目标。

另外，如图3所示，图像输入单元102包括：摄像单元121、照射单元122、以及同步单元123。摄像单元121、照射单元122、以及同步单元123具有与摄像单元111、照射单元112、以及同步单元113相同的功能。其中，摄像单元111和照射单元112之间的间隔距离d1(也就是说，从摄像单元111的光轴至照射单元112的距离)短于摄像单元121和照射单元112之间的间隔距离d2。也就是说，由摄像单元111拍摄到的图像与由拍摄单元121拍摄到的图像相比，容易发生红眼现象。

具有以上的结构的图像输入单元101、102例如构成如图4所示的摄像组件200。摄像组件200例如设置在车辆的方向盘的上方、或者仪表板上等驾驶座的正面。由此，由照射单元112、122照射驾驶员的脸部，并且由图像输入单元101、102拍摄驾驶员的脸部。

返回图1，瞳孔检测单元103、104从由图像输入单元101接受的目标图像和由图像输入单元102接受的目标图像检测瞳孔图像。

具体而言，如图5所示，瞳孔检测单元103包括：脸部检测单元131、脸部器官检测单元132、以及瞳孔信息计算单元133。

脸部检测单元131从由图像输入单元101接受的目标图像检测脸部图像，并将脸部图像数据输出到脸部器官检测单元132。

脸部器官检测单元132从由脸部检测单元131接受的脸部图像检测脸部器官群(也就是说，外眼角、内眼角等)，并将各个脸部器官的位置坐标输出到瞳孔信息计算单元133。

瞳孔信息计算单元133基于从脸部器官检测单元132接受的、各个脸部器官的位置坐标，计算瞳孔图像的中心位置、以及瞳孔图像的大小(也就是说，瞳孔径)。该瞳孔图像的中心位置、以及瞳孔图像的大小作为瞳孔图像检测结果，与从图像输入单元101输出的目标图像一起输出到切换判定单元105。另外，对于右眼和左眼分别计算瞳孔图像的中心位置和瞳孔图像的大小。

另外，如图6所示，瞳孔检测单元104包括：脸部检测单元141、脸部器官检测单元142、以及瞳孔信息计算单元143。脸部检测单元141、脸部器官检测单元142、以及瞳孔信息计算单元143具有与脸部检测单元131、脸部器官检测单元132、以及瞳孔信息计算单元133相同的功能。但是，不同之处在于，处理对象数据是从图像输入单元102接受的目标图像。

返回图1，切换判定单元105从由图像输入单元101接受的目标图像数据计算“红眼发生强度”，基于计算出的红眼发生强度、红眼发生强度和瞳孔检测准确率之间的相关特性，选择瞳孔检测单元103的瞳孔检测结果和瞳孔检测单元104的瞳孔检测结果中的任一个作为输出到后级的处理单元(例如，视线方向计算单元)的信号。

具体而言，如图7所示，切换判定单元105包括：红眼发生强度计算单元151、特性计算单元152、以及输出信号选择单元153。

红眼发生强度计算单元151基于输入图像和瞳孔图像检测结果，计算红眼发生强度。基于从瞳孔检测单元103接受的目标图像和瞳孔图像检测结果，计算该红眼发生强度。该红眼发生强度意味着瞳孔图像区域内的亮度对位于瞳孔图像区域的外侧的瞳孔图像周围区域的亮度的“相对亮度”。在后面详细说明该红眼发生强度。

特性计算单元152具有与红眼发生强度和瞳孔检测准确率(也就是说，瞳孔检测精度值)之间的相关特性有关的数据(以下，有时简称为“相关特性数据”)。特性计算单元152使用相关特性数据计算与从红眼发生强度计算单元151接受的红眼发生强度对应的瞳孔检测准确率。该计算出的瞳孔检测准确率输出到输出信号选择单元153和评价值存储单元106。另外，以下，为了明确区分该计算出的瞳孔检测准确率和相关特性数据中的瞳孔检测检测率，有时将该计算出的瞳孔检测准确率称为“瞳孔检测可靠度”。

输出信号选择单元153基于从特性计算单元152接受的瞳孔检测可靠度的“变动倾向特性”，选择瞳孔检测单元103的瞳孔检测结果和瞳孔检测单元104的瞳孔检测结果中的任一个作为输出到后级的处理单元(例如，视线方向计算单元)的信号。

具体而言，由于从特性计算单元152过去输出的瞳孔检测可靠度的历史存储在评价值存储单元106中，所以输出信号选择单元153基于从特性计算单元152本次接受的瞳孔检测可靠度、以及评价值存储单元106中存储的瞳孔检测可靠度的历史，计算瞳孔检测可靠度的变动倾向特性。然后，输出信号选择单元153基于计算出的变动倾向特性，选择瞳孔检测单元103的瞳孔检测结果和瞳孔检测单元104的瞳孔检测结果中的任一个，并将选择出的瞳孔检测结果输出到后级的处理单元。在后面详细说明该瞳孔检测可靠度的变动倾向特性。

评价值存储单元106将从切换判定单元105接受的瞳孔检测可靠度与用于确定该瞳孔检测可靠度的目标图像的拍摄时刻对应关联地存储。

[瞳孔检测装置100的动作]

说明具有以上的结构的瞳孔检测装置100的动作。图8是用于说明瞳孔检测装置100的动作的流程图。在图8的流程图中，也包含上述警报装置的处理流程。也就是说，在图8中，表示瞳孔检测装置100适用于警报装置时的处理流程。

图8所示的处理流程与拍摄作业的开始一起开始。拍摄作业既可以通过用户的操作开始，也可以以外来的某种信号为触发而开始。

<图像获取处理>

在步骤S201中，图像输入单元101、102发光而照射拍摄目标(也就是说，这里是人物)，并且拍摄该拍摄目标。由此，获取目标图像。

具体而言，图像输入单元101的照射单元112以不可见的近红外线光(例如，波长850nm的光)照射目标。在照射到目标的定时，摄像单元111拍摄该目标。摄像单元111和照射单元112之间的间隔距离d1足够短(例如，为10mm)。因此，在周围的照度降低时瞳孔径增大，在由摄像单元111拍摄的目标图像中发生红眼现象。

另一方面，图像输入单元102的照射单元122也以与照射单元112不同的定时，利用不可见的近红外线光(例如，波长为850nm的光)照射目标。在由照射单元122照射到目标的定时，摄像单元121拍摄该目标。摄像单元121和照射单元122之间的间隔距离d2大于d1。因此，由摄像单元121拍摄到的目标图像的红眼现象的发生几率低于由摄像单元111拍摄到的目标图像，即使在发生红眼现象时，红眼发生强度也降低。但是，在红眼发生强度足够大的情况下，由于瞳孔的发光位置的亮度达到图像的亮度上限，所以有时也在由摄像单元111拍摄到的目标图像与由拍摄单元121拍摄到的目标图像中，观测到同等的红眼现象发生强度。

例如，设想具有CMOS图像传感器和透镜的数码相机用作摄像单元111和摄像单元121。因此，由摄像单元111和摄像单元121拍摄到的PPM(PortablePix Map file format，便携式像素图文件格式)形式的图像等暂时存储在图像输入单元101、102所包含的、未图示的图像存储单元(例如，PC的存储器空间)中后，直接以PPM形式输出到瞳孔检测单元103、104。

<瞳孔检测处理>

在步骤S202中，脸部检测单元131、141从由图像输入单元101、102接受的目标图像检测脸部图像。图9是表示作为目标图像的脸部图像的图。图9A是表示由摄像单元111拍摄到的、发生红眼现象时的图像的图，图9B是表示由摄像单元121拍摄到的、未发生红眼现象时的图像的图。另外，在拍摄到的脸部图像中，例如，以图像横方向为X轴，以图像纵方向为Y轴，1像素为1坐标点。

在脸部区域检测处理中，例如，通过从输入图像中提取作为特征的图像的候补(也就是说，特征图像候补)，比较提取出的特征图像候补和预先准备的表示脸部区域的特征图像，检测相似度高的特征图像候补。例如，对比预先获取的平均脸部的伽柏(Gabor)特征量、和通过扫描输入图像而提取的伽柏特征量，求相似度作为两者的差分的绝对值的倒数。

此时，脸部检测单元131将与预先准备的模板比较，在图9A的图像中相关最高的区域确定为脸部图像301。在图9B的图像中也同样地确定脸部图像311。另外，作为脸部区域检测处理，既可以通过从图像中检测皮肤颜色区域(也就是说，皮肤颜色区域检测)进行处理，也可以通过检测椭圆部分(也就是说，椭圆检测)进行处理，还可以通过使用统计学图案(pattern)识别方法进行处理。除此之外，只要是能够进行上述脸部检测的技术，采用何种方法都可以。

在步骤S203中，脸部器官检测单元132、142从由脸部检测单元131、141接受的脸部图像中检测脸部器官群(也就是说，嘴角、外眼角、内眼角等)，并将各个脸部器官的位置坐标输出到瞳孔信息计算单元133、143。脸部器官群的搜索区域是在步骤S202中确定的脸部区域301、311。在图9A和图9B中，分别表示脸部器官群302、312。

在脸部器官群检测处理中，例如，使用分离度滤波器，检测嘴角、外眼角、内眼角等脸部器官的端点或鼻孔等的2维坐标。另外，也可以预先使学习器学习多个脸部图像和与脸部图像对应的脸部器官的位置的对应关系，脸部器官检测单元132、142也可以在输入脸部图像301、311时，检测对于该对应关系似然最高的位置作为脸部器官。或者，脸部器官检测单元132、142也可以使用标准的脸部器官的模板，从脸部图像301、311内搜索脸部器官。

在步骤S204中，瞳孔信息计算单元133、143基于从脸部器官检测单元132、142接受的、各个脸部器官的位置坐标，计算瞳孔图像的中心位置、以及瞳孔图像的大小(也就是说，瞳孔径)。

在瞳孔检测处理中，例如，可以对于包含在步骤S203中获得的外眼角、内眼角的眼睛区域304、314适用圆形分离度滤波器。也就是说，在眼睛区域304、314内移动了圆形分离度滤波器的适用位置时，检测在滤波器的圆的内侧的平均亮度高于滤波器的圆的外侧的平均亮度的位置中，与亮度的分离度最高的位置的滤波器圆对应的区域，作为瞳孔区域(在图9A和图9B中，与区域303、313对应)。此时，获取相当于检测出的瞳孔的分离度滤波器的圆的中心的坐标和直径，作为瞳孔图像的中心位置和瞳孔图像的大小。

<切换判定处理>

在步骤S205至S208中，切换判定单元105从由图像输入单元101接受的目标图像数据计算红眼发生强度，基于计算出的红眼发生强度、红眼发生强度和瞳孔检测准确率之间的相关特性，选择瞳孔检测单元103的瞳孔检测结果和瞳孔检测单元104的瞳孔检测结果中的任一个作为输出到后级的处理单元(例如，视线方向计算单元)的信号。

具体而言，在步骤S205中，红眼发生强度计算单元151基于输入图像和瞳孔图像检测结果(也就是说，瞳孔图像的中心位置和瞳孔图像的大小)，计算红眼发生强度。

通过下式(1)计算红眼发生强度V。也就是说，红眼发生强度表示对于瞳孔周围的亮度，瞳孔内的亮度高到何种程度。

$V=\frac{A1}{A2}$

$A1=\frac{\underset{P1}{\mathrm{\&Sigma;}}b}{N1}...\left(1\right)$

$A2=\frac{\underset{P2}{\mathrm{\&Sigma;}}b}{N2}$

在式(1)中，P1表示图10所示的眼睛区域图像304(314)内的区域401、也就是瞳孔区域401的内部区域。P2表示图10所示的眼睛区域图像304(314)内的区域402、也就是瞳孔区域401的外部区域。b是各个像素的亮度。N1是P1内存在的像素的数。N2是P2内存在的像素的数。

对于从瞳孔检测单元103接受的目标图像和瞳孔图像检测结果，计算该红眼发生强度。

在步骤S206中，特性计算单元152使用相关特性数据计算与从红眼发生强度计算单元151接受的红眼发生强度对应的瞳孔检测准确率。

预先通过实验数据或特性模型等准备该相关特性数据。另外，该相关特性数据也可以表示红眼发生强度和瞳孔检测准确率之间的相关特性，例如，如图11所示，也可以是将横轴代表红眼发生强度，将纵轴代表瞳孔检测准确率而绘制了实验数据的曲线图。

在图11中，曲线501表示实际发生了红眼现象时的、相关特性数据。也就是说，曲线501是从红眼发生强度得到的曲线，该红眼发生强度是从由图像输入单元101得到的目标图像求得的红眼发生强度。另外，曲线502表示未发生红眼现象时的、相关特性数据。也就是说，曲线502是在某个拍摄环境中，对于从由图像输入单元101得到的目标图像求得的红眼发生强度，在相同的拍摄环境中，通过绘制基于由图像输入单元102得到的目标图像进行的瞳孔检测的准确率而得到的曲线。

另外，曲线501与曲线502在交点503相交，与交点503对应的瞳孔检测准确率用作切换判断基准值504。在红眼发生强度大于切换判断基准值504时，瞳孔检测单元103的瞳孔检测结果的可靠度高于瞳孔检测单元104的瞳孔检测结果。其中，切换判断基准值以两条曲线的交点为最佳，但也并非一定是交点，例如在交点的瞳孔检测准确率高于预先确定的允许的准确率时，也可以将该允许的准确率作为切换判断基准值。或者，也可以将通过对于两条曲线的交点的瞳孔检测准确率，加上或者减去规定值而得到的瞳孔检测准确率作为切换判断基准值。

在步骤S207中，特性计算单元152将瞳孔检测可靠度存储在评价值存储单元106中。评价值存储单元106将从切换判定单元105接受的瞳孔检测可靠度和用于确定该瞳孔检测可靠度的目标图像的拍摄时刻对应关联地存储。然而，在拍摄时刻和瞳孔检测可靠度对于后述的步骤S208的处理所需要的量足够多的情况下，评价值存储单元106可以从拍摄时刻较早的开始删除这些信息，而将新获取的时刻和瞳孔检测可靠度重写在通过删除而空出的区域。

在步骤S208中，输出信号选择单元153基于从特性计算单元152接受的瞳孔检测可靠度的“变动倾向特性”，选择瞳孔检测单元103的瞳孔检测结果和瞳孔检测单元104的瞳孔检测结果中的任一个作为输出到后级的处理单元(例如，视线方向计算单元)的信号。

具体而言，输出信号选择单元153基于从特性计算单元152本次接受的瞳孔检测可靠度、和评价值存储单元106中存储的瞳孔检测可靠度的历史，计算瞳孔检测可靠度的变动倾向特性。

图12是表示由从特性计算单元152本次接受的瞳孔检测可靠度、和评价值存储单元106中存储的瞳孔检测可靠度的历史形成的曲线的图。在该曲线图中，横轴是拍摄时刻，纵轴是瞳孔检测可靠度。再者，在这里使用了评价值存储单元106中存储的瞳孔检测可靠度的值本身，例如，也可以使用取时间平均的值，或者使用取除去了偏离值的时间平均的值。

具体而言，如以下这样计算瞳孔检测可靠度的变动倾向特性。首先，输出信号选择单元153计算各个拍摄时刻的瞳孔检测可靠度的时间变化的斜率。该瞳孔检测可靠度的时间变化的斜率D1可以通过下式(2)计算。

$D_1=\frac{\&PartialD;E}{\&PartialD;t}...\left(2\right)$

其中，E是瞳孔检测可靠度，t是拍摄时刻。

然后，输出信号选择单元153基于计算出的变动倾向特性，选择瞳孔检测单元103的瞳孔检测结果和瞳孔检测单元104的瞳孔检测结果中的任一个，并将选择出的瞳孔检测结果输出到后级的处理单元。

该选择基准如下所述。也就是说，在规定的期间(在图12中为期间602)，若瞳孔检测可靠度小于切换判断基准值504，并且上述斜率D₁连续为负(也就是说瞳孔检测可靠度连续地减少)，则选择瞳孔检测单元104的瞳孔检测结果。也就是说，在规定的期间内所包含的、瞳孔检测可靠度的曲线603在切换判断基准值504之下，并且处于减少倾向时，选择瞳孔检测单元104的瞳孔检测结果。

另外，在规定的期间(在图12中为期间602)，若瞳孔检测可靠度大于切换判断基准值504，并且上述斜率D₁连续为正(也就是说瞳孔检测可靠度连续地增加)，则选择瞳孔检测单元103的瞳孔检测结果。

另外，在上述两个基准都未满足时，在瞳孔检测单元103的瞳孔检测结果和瞳孔检测单元104的瞳孔检测结果中，本次还选择上次选择出的检测结果。再者，从规定的期间偏移的瞳孔检测可靠度的曲线601是输出信号选择单元153的处理所不需要的部分。因此，评价值存储单元106也可以删除相当于该曲线601的数据。

这里，一般而言，红眼发生强度越强，瞳孔的亮度对于虹膜的亮度越高，所以越容易在图像上进行瞳孔的检测。因此，在发生红眼现象时，使用由图像输入单元101得到的图像检测瞳孔，相比使用由图像输入单元102得到的图像，检测性能更佳。但是，在红眼发生强度弱的情况下，瞳孔的亮度和虹膜的亮度之差减小。因此，在刚开始发生红眼现象的情况下，在由图像输入单元101得到的图像中，瞳孔的亮度和虹膜的亮度之差几乎消失，难以进行瞳孔的检测。另一方面，在由图像输入单元102得到的图像中，红眼现象的发生相比由图像输入单元101得到的图像进一步减弱，所以瞳孔不发光，瞳孔的亮度对于虹膜的亮度足够低。因此，在由图像输入单元102得到的图像中，瞳孔的亮度和虹膜的亮度之差大于由图像输入单元101得到的图像，检测性能相对较佳。这样，根据红眼发生强度，瞳孔检测单元103的瞳孔检测结果和瞳孔检测单元104的瞳孔检测结果的精度逆转，所以通过适当地选择精度较佳者，能够提高后级的处理的精度。

<视线方向计算处理>

在步骤S209中，视线方向计算单元(未图示)从在步骤S203中得到的脸部器官组的坐标和在步骤S204中得到的瞳孔图像的中心坐标计算视线方向。

例如，从脸部朝向矢量、和对于脸部的正面方向的视线方向矢量计算视线方向，其中，上述脸部朝向矢量表示从脸部器官组的坐标计算的脸部的正面方向的朝向，对于脸部的正面方向的视线方向矢量从外眼角、内眼角、以及瞳孔中心的坐标计算。

例如，通过以下的步骤计算脸部朝向矢量。首先，视线方向计算单元旋转和平移而变换预先获取的驾驶员的脸部器官组的三维坐标。然后，视线方向计算单元将变换后的三维坐标投影到在步骤S208中为了得到选择出的瞳孔检测结果而使用的目标图像。然后，视线方向计算单元计算与在步骤S203中检测出的脸部器官组最一致的旋转、平移参数。此时，在预先获取了驾驶员的脸部器官组的三维坐标时，表示驾驶员的脸部正朝向的方向的矢量、和通过所确定的旋转参数旋转后的矢量的组合就是脸部朝向矢量。

例如，通过以下的步骤计算视线方向矢量。首先，在脸部正朝向规定的方向时，视线方向计算单元预先存储正在观察与脸部朝向为相同方向时的驾驶员的脸部器官组和瞳孔中心的三维坐标。接着，计算从检测出的瞳孔的三维坐标，朝与视线方向的相反侧移动了规定的距离的位置作为眼球中心位置。此时，上述规定的距离以作为普通成人眼球的半径的12mm左右为适当的距离，但并不限于上述值，也可以使用任意的值。接着，使用计算脸部朝向矢量时获取的脸的旋转、平移参数，求检测时的眼球中心的三维坐标。接着，假设以眼球中心为中心，以瞳孔位于半径为上述规定的距离的球上，搜索被检测出的瞳孔中心位于上述球上的哪个位置。最后，计算连接眼球中心和搜索到的球上的点的矢量作为视线方向。

<警报判定处理>

在步骤S210中，警报装置(未图示)从在步骤S209中得到的视线方向判定驾驶员是否正朝向正面，并基于判定结果，执行警报处理。也就是说，在视线方向在规定的时间以上朝向规定的角度范围外时，发出警报。该警报为包含警告消息的显示、声音合成LSI产生的声音消息、LED发光、基于扬声器等的发声、或者它们的组合。

具体而言，在判定为未朝向正面时，警报装置使警报计数W增加1。然后，在警报计数W超过了规定的阈值时，警报装置视作驾驶员长时间未看正面，并发出警报。另外，在判定为正朝向正面时，警报装置使警报计数W为零。再者，警报计数W在初始状态下为零。

再者，当在步骤S211中进行结束判定，满足了结束条件时，结束一系列的处理。另一方面，在未满足结束条件时，处理流程返回步骤S201。这里，结束判定既可以通过由人工输入结束命令来进行，也可以以外部的某种信号为触发而进行。

如上所述，根据本实施方式，在瞳孔检测装置100中，切换判定单元105基于红眼发生强度的计算值、红眼发生强度和瞳孔检测精度值之间的相关特性，选择性地输出第一瞳孔图像的检测结果或由瞳孔检测单元104检测出的第二瞳孔图像的检测结果，其中，上述红眼发生强度是由瞳孔检测单元103检测出的第一瞳孔图像内的亮度对第一瞳孔图像外的周围图像的亮度的相对亮度。

在瞳孔检测单元103中，使用由具有相互之间的间隔距离为d1的摄像单元111和照射单元112的图像输入单元101拍摄到的第一人物图像。另一方面，在瞳孔检测单元104中，使用由具有相互之间的间隔距离为d2的摄像单元121和照射单元122的图像输入单元102拍摄到的第二人物图像。并且，间隔距离d1小于间隔距离d2。

由此，能够基于使用了相对而言易于发生红眼现象的第一瞳孔图像的瞳孔检测的精度估计值，从第一瞳孔图像的检测结果或所述第二瞳孔图像的检测结果中，根据拍摄状况选择性地输出最佳的瞳孔图像的检测结果。另外，作为选择参数，使用与色度无关的、作为第一瞳孔图像内的亮度相对于第一瞳孔图像外的周围图像的亮度的相对亮度的红眼发生强度，所以即使在采用了使用近红外线的灰度图像的情况下，也能够选择并输出高精度的检测结果。

[实施方式2]

在实施方式2中，除了所计算出的红眼发生强度、和红眼发生强度与瞳孔检测准确率的相关特性，还基于照度系数，选择瞳孔检测结果。

图13是表示本发明的实施方式2的瞳孔检测装置700的结构的方框图。在图13中，瞳孔检测装置700包括照度测量器701、切换判定单元702、以及评价值存储单元703。

照度测量器701测量图像输入单元101、102进行拍摄时的照度，并将测量出的照度输出到评价值存储单元703。照度测量器701设置在驾驶员的脸附近、或者能够测量驾驶员的注视方向的照度的位置。

切换判定单元702从由图像输入单元101接受的目标图像数据和由图像输入单元102接受的目标图像数据的各个数据计算“红眼发生强度”，基于计算出的红眼发生强度、红眼发生强度和瞳孔检测准确率之间的相关特性、以及测量出的照度，选择瞳孔检测单元103的瞳孔检测结果和瞳孔检测单元104的瞳孔检测结果中的任一个作为输出到后级的处理单元(例如，视线方向计算单元)的信号。

具体而言，如图14所示，切换判定单元702具有输出信号选择单元711。输出信号选择单元711将从特性计算单元152接受的瞳孔检测可靠度基于照度进行校正，基于校正后的瞳孔检测可靠度的“变动倾向特性”，选择瞳孔检测单元103的瞳孔检测结果和瞳孔检测单元104的瞳孔检测结果中的任一个作为输出到后级的处理单元(例如，视线方向计算单元)的信号。在后面详细说明基于照度对该瞳孔检测可靠度的校正。

评价值存储单元703将从切换判定单元702接受的瞳孔检测可靠度和从照度测量器701接受的照度，与用于确定该瞳孔检测可靠度的目标图像的拍摄时刻对应关联地存储。

下面说明具有以上的结构的瞳孔检测装置700的动作。图15是用于说明瞳孔检测装置700的动作的流程图。

在步骤S801中，照度测量器701测量图像输入单元101、102进行拍摄时的照度。照度测量的对象位置以驾驶员的脸周围或者驾驶员的注视方向为最佳，但并不限于此，例如，也可以是具有瞳孔检测装置700的车的外部的照度。

在步骤S802中，切换判定单元702从由图像输入单元101接受的目标图像数据和由图像输入单元102接受的目标图像数据的各个数据计算“红眼发生强度”，基于计算出的红眼发生强度、红眼发生强度和瞳孔检测准确率之间的相关特性、以及测量出的照度，选择瞳孔检测单元103的瞳孔检测结果和瞳孔检测单元104的瞳孔检测结果中的任一个作为输出到后级的处理单元(例如，视线方向计算单元)的信号。

具体而言，输出信号选择单元711将从特性计算单元152本次接受的瞳孔检测可靠度和评价值存储单元703中存储的瞳孔检测可靠度，基于照度进行校正。该校正根据下式(3)进行。也就是说，通过将瞳孔检测可靠度E与照度系数L相乘，计算反映照度的瞳孔检测可靠度。

F＝L·E    …(3)

图16表示照度和照度系数的对应关系。如图16所示，照度系数L设定为照度越高照度系数L越小。图16A、图16B表示了两个例子，但照度和照度系数的对应关系并不限于此。只要是照度系数对照度的斜率不为正的对应关系，则什么样的对应关系都可以。

然后，输出信号选择单元711基于校正后的瞳孔检测可靠度(也就是反映照度的瞳孔检测可靠度F)的变动倾向特性，选择瞳孔检测单元103的瞳孔检测结果和瞳孔检测单元104的瞳孔检测结果中的任一个作为输出到后级的处理单元(例如，视线方向计算单元)的信号。

此时，根据下式(4)求在变动倾向特性的计算中求得的反映照度的瞳孔检测可靠度F的时间变化的斜率D₂。

$D_2=\frac{\&PartialD;F}{\&PartialD;t}...\left(4\right)$

然后，输出信号选择单元711基于计算出的变动倾向特性和照度，选择瞳孔检测单元103的瞳孔检测结果和瞳孔检测单元104的瞳孔检测结果中的任一个，并将选择的瞳孔检测结果输出到后级的处理单元。

具体而言，在上述规定的期间602内，照度为预先规定的值以上时，输出信号选择单元711选择瞳孔检测单元103的瞳孔检测结果。

另外，在上述规定的期间602内，照度为预先规定的值以下时，输出信号选择单元711基于计算出的变动倾向特性，选择瞳孔检测单元103的瞳孔检测结果和瞳孔检测单元104的瞳孔检测结果中的任一个，并将选择的瞳孔检测结果输出到后级的处理单元。

该选择基准如下所述。也就是说，在规定的期间(在图12中为期间602)，若瞳孔检测可靠度小于切换判断基准值504，并且上述斜率D₂连续为负(也就是说瞳孔检测可靠度连续地减少)，则选择瞳孔检测单元104的瞳孔检测结果。也就是说，在规定的期间内所包含的、瞳孔检测可靠度的曲线603在切换判断基准值504之下，并且处于减少倾向时，选择瞳孔检测单元104的瞳孔检测结果。

另外，在规定的期间(在图12中为期间602)，若瞳孔检测可靠度大于切换判断基准值504，并且上述斜率D₂连续为正(也就是说瞳孔检测可靠度连续地增加)，则选择瞳孔检测单元103的瞳孔检测结果。

另外，在上述两个基准都未满足时，在瞳孔检测单元103的瞳孔检测结果和瞳孔检测单元104的瞳孔检测结果中，本次还选择上次选择出的检测结果。

如上所述，根据本实施方式，在瞳孔检测装置700中，输出信号选择单元711基于拍摄时的照度校正变动倾向特性，基于校正后的变动倾向特性，选择第一瞳孔图像的检测结果或第二瞳孔图像的检测结果。

由此，能够基于更准确地反映了拍摄状况的选择基准，选择第一瞳孔图像的检测结果或第二瞳孔图像的检测结果。

[实施方式3]

在实施方式3中，准备与多个模式的各个模式对应的相关特性，使用对应于选择出的模式的相关特性，计算瞳孔检测可靠度。

图17是表示本发明的实施方式3的瞳孔检测装置900的结构的方框图。在图17中，瞳孔检测装置900包括模式选择单元901、以及切换判定单元902。

模式选择单元901从所准备的多个模式中选择一个模式。该多个模式例如包含作为目标的人佩戴着太阳镜的第一模式和未佩戴太阳镜的第二模式。与选择出的模式有关的信息输出到切换判定单元902。

切换判定单元902从由图像输入单元101接受的目标图像数据和由图像输入单元102接受的目标图像数据的各个数据计算“红眼发生强度”，基于计算出的红眼发生强度、红眼发生强度和瞳孔检测准确率之间的相关特性，选择瞳孔检测单元103的瞳孔检测结果和瞳孔检测单元104的瞳孔检测结果中的任一个作为输出到后级的处理单元(例如，视线方向计算单元)的信号。这里，最佳的红眼发生强度和瞳孔检测准确率之间的相关特性根据模式而变化。因此，切换判定单元902根据从模式选择单元901接受的模式信息，切换用于瞳孔检测结果的选择的相关特性。

具体而言，切换判定单元902如图18所示具有特性计算单元911。特性计算单元911具有与可由模式选择单元901选择的多个模式中的各个模式对应的相关特性数据。然后，选择与从模式选择单元901接受的模式信息对应的相关特性数据，使用该相关特性数据，计算与从红眼发生强度计算单元151接受的红眼发生强度对应的瞳孔检测准确率。

这样，使用对于各个模式而言为最佳的相关特性来选择瞳孔检测结果，所以能够高精度地选择高精度的瞳孔检测结果。

[其他实施方式]

(1)在上述各个实施方式中，说明了对于图像输入单元101和图像输入单元102，分别设置一个摄像单元和照射单元的情况。然而，本发明并不限于此。例如，瞳孔检测装置100也可以采用具有由两个摄像单元和一个照射单元构成的摄像组件的结构(参照图19A)。相反地，瞳孔检测装置100也可以采用具有由一个摄像单元和两个照射单元构成的摄像组件的结构(参照图19B)。总之，只要存在两个摄像单元和照射单元之间的间隔距离不同的、摄像单元和照射单元构成的对即可。

(2)虽然在上述各个实施方式中，以由硬件构成本发明的情况为例进行了说明，但是本发明也可以由软件实现。

另外，上述各个实施方式的说明中使用的各功能块通常被作为集成电路的LSI来实现。这些块既可以被单独地一芯片化，也可以包含一部分或全部地一芯片化。虽然这里称作LSI，但是根据集成程度的不同，有时也称为IC(集成电路)、系统LSI、超大LSI(Super LSI)、或特大LSI(Ultra LSI)等。

另外，实现集成电路化的方法不仅限于LSI，也可使用专用电路或通用处理器来实现。也可以利用可在LSI制造后编程的FPGA(Field ProgrammableGate Array：现场可编程门阵列)，或者可重构LSI内部的电路单元的连接或设定的可重构处理器(Reconfigurable Processor)。

再有，如果由于半导体技术的进步或派生的别的技术而出现了替代LSI的集成电路化的技术，则当然也可以用该技术来进行功能块的集成化。还存在着适用生物技术等的可能性。

在2010年2月26日提交的特愿第2010-042455号的日本专利申请所包含的说明书、附图和说明书摘要的公开内容，全部引用于本申请。

工业实用性

本发明的瞳孔检测装置和瞳孔检测方法，作为即使在采用了使用近红外线的灰度图像的情况下，也能够选择并输出高精度的检测结果的瞳孔检测装置和瞳孔检测方法是有用的。

权利要求书(按照条约第19条的修改)

1.(修改后)瞳孔检测装置，包括：

第一摄像对，由隔开了规定的间隔距离的摄像单元和摄像时发光的发光单元构成；

第二摄像对，其所述规定的间隔距离大于第一摄像对；

检测单元，从由所述第一摄像对拍摄到人物的第一人物图像检测第一瞳孔图像，从由所述第二摄像对拍摄到所述人物的第二人物图像检测第二瞳孔图像；

精度值计算单元，基于红眼发生强度的计算值、以及红眼发生强度和瞳孔检测精度值之间的相关特性，计算与所述红眼发生强度的计算值对应的瞳孔检测精度值，所述红眼发生强度是所述第一瞳孔图像内的亮度的、对所述第一瞳孔图像外的周围图像的亮度的相对亮度；以及

选择单元，基于所述计算出的瞳孔检测精度值的变动倾向特性，选择性地输出所述第一瞳孔图像的检测结果或所述第二瞳孔图像的检测结果。

2.(修改后)如权利要求1所述的瞳孔检测装置，

所述选择单元在规定的期间的所有所述计算出的瞳孔检测精度值都低于规定的阈值，并且所述计算出的瞳孔检测精度值的时间变动倾向是单调递减的变动倾向特性时，选择所述第一瞳孔图像的检测结果。

3.(修改后)如权利要求2所述的瞳孔检测装置，

所述规定的阈值是对应于第一相关特性和第二相关特性相交的点的瞳孔检测精度值，所述第一相关特性是红眼发生强度和所述第一瞳孔图像的瞳孔检测精度值之间的相关特性，所述第二相关特性是红眼发生强度和所述第二瞳孔图像的瞳孔检测精度值之间的相关特性。

4.(修改后)如权利要求1所述的瞳孔检测装置，还包括：

校正单元，基于所述摄像时的照度，校正所述变动倾向特性，

所述选择单元基于所述校正后的变动倾向特性，选择所述第一瞳孔图像的检测结果或所述第一瞳孔图像的检测结果。

5.(修改后)瞳孔检测方法，用于具有第一摄像对和第二摄像对的瞳孔检测装置，所述第一摄像对由隔开了规定的间隔距离的摄像单元和摄像时发光 的发光单元构成，所述第二摄像对的所述规定的间隔距离大于第一摄像对，所述瞳孔检测方法包括：

从由所述第一摄像对拍摄到人物的第一人物图像检测第一瞳孔图像，从由所述第二摄像对拍摄到所述人物的第二人物图像检测第二瞳孔图像的步骤；以及

基于红眼发生强度的计算值、以及红眼发生强度和瞳孔检测精度值之间的相关特性，选择性地输出所述第一瞳孔图像的检测结果或所述第二瞳孔图像的检测结果的步骤，所述红眼发生强度是所述第一瞳孔图像内的亮度的、对所述第一瞳孔图像外的周围图像的亮度的相对亮度。

6.(删除)

 

Claims (6)

1.瞳孔检测装置，包括：

第一摄像对，由隔开了规定的间隔距离的摄像单元和摄像时发光的发光单元构成；

第二摄像对，其所述规定的间隔距离大于第一摄像对；

检测单元，从由所述第一摄像对拍摄到人物的第一人物图像检测第一瞳孔图像，从由所述第二摄像对拍摄到所述人物的第二人物图像检测第二瞳孔图像；以及

输出切换单元，基于红眼发生强度的计算值、以及红眼发生强度和瞳孔检测精度值之间的相关特性，选择性地输出所述第一瞳孔图像的检测结果或所述第二瞳孔图像的检测结果，所述红眼发生强度是所述第一瞳孔图像内的亮度的、对所述第一瞳孔图像外的周围图像的亮度的相对亮度。

2.如权利要求1所述的瞳孔检测装置，

所述输出切换单元包括：

发生强度计算单元，基于所述第一人物图像，计算所述红眼发生强度；

精度值计算单元，基于所述计算出的红眼发生强度的计算值、以及红眼发生强度和瞳孔检测精度值之间的相关特性，计算与所述红眼发生强度的计算值对应的瞳孔检测精度值；以及

选择单元，基于所述计算出的瞳孔检测精度值的变动倾向特性，选择所述第一瞳孔图像的检测结果或所述第二瞳孔图像的检测结果。

3.如权利要求2所述的瞳孔检测装置，

所述选择单元在规定的期间的所有所述计算出的瞳孔检测精度值都低于规定的阈值，并且所述计算出的瞳孔检测精度值的时间变动倾向是单调递减的变动倾向特性时，选择所述第一瞳孔图像的检测结果。

4.如权利要求3所述的瞳孔检测装置，

所述规定的阈值是对应于第一相关特性和第二相关特性相交的点的瞳孔检测精度值，所述第一相关特性是红眼发生强度和所述第一瞳孔图像的瞳孔检测精度值之间的相关特性，所述第二相关特性是红眼发生强度和所述第二瞳孔图像的瞳孔检测精度值之间的相关特性。

5.如权利要求2所述的瞳孔检测装置，

所述输出切换单元还包括：

校正单元，基于所述摄像时的照度，校正所述变动倾向特性，

所述选择单元基于所述校正后的变动倾向特性，选择所述第一瞳孔图像的检测结果或所述第二瞳孔图像的检测结果。

6.瞳孔检测方法，用于具有第一摄像对和第二摄像对的瞳孔检测装置，所述第一摄像对由隔开了规定的间隔距离的摄像单元和摄像时发光的发光单元构成，所述第二摄像对的所述规定的间隔距离大于第一摄像对，所述瞳孔检测方法包括：

从由所述第一摄像对拍摄到人物的第一人物图像检测第一瞳孔图像，从由所述第二摄像对拍摄到所述人物的第二人物图像检测第二瞳孔图像的步骤；以及

基于红眼发生强度的计算值、以及红眼发生强度和瞳孔检测精度值之间的相关特性，选择性地输出所述第一瞳孔图像的检测结果或所述第二瞳孔图像的检测结果的步骤，所述红眼发生强度是所述第一瞳孔图像内的亮度的、对所述第一瞳孔图像外的周围图像的亮度的相对亮度。

Images