CN102473282B

CN102473282B - 外部光映入判定装置、视线检测装置及外部光映入判定方法

Info

Publication number: CN102473282B
Application number: CN201180003330.0A
Authority: CN
Inventors: 筑泽宗太郎; 冈兼司
Original assignee: Panasonic Intellectual Property Corp of America
Current assignee: Panasonic Intellectual Property Corp of America
Priority date: 2010-06-17
Filing date: 2011-06-07
Publication date: 2015-01-14
Anticipated expiration: 2031-06-07
Also published as: EP2584525A1; EP2584525B1; EP2584525A4; CN102473282A; US20120170027A1; JP5661043B2; WO2011158463A1; JPWO2011158463A1; US8659751B2

Abstract

公开了不使用边缘、且即使在眼镜中的外部光映入发生部位的亮度低的情况下，也能够判定映入的外部光映入判定装置及外部光映入判定方法。在映入判定装置(100)中，亮度直方图计算单元(102)计算表示眼区域图像的亮度分布的亮度直方图；差分计算单元(104)通过在从拍摄定时不同的2个眼区域图像计算出的2个所述亮度直方图之间取差值，计算差分直方图；评价值计算单元(105)根据差分直方图和与亮度对应的权重，计算有关外部光映入的评价值；映入判定单元(107)根据计算出的评价值，判定外部光映入。

Description

外部光映入判定装置、视线检测装置及外部光映入判定方法

技术领域

本发明涉及对眼镜的外部光映入判定装置、视线检测装置及外部光映入判定方法。

背景技术

在视线检测或表情检测等检测中，进行瞳孔检测。若在带眼镜时进行该瞳孔检测，则有时检测不到瞳孔。这起因于外部光映入到眼镜镜片(lens)中的映入现象。外部光映入到眼镜镜片的程度，根据镜片的材质、镀膜、脸的姿态、外部光的强度、波长等而不同。因此，很难从映入自身以外的间接性的信息，高精度地估计映入状态。

对于这样的技术问题，以往提出了对眼镜镜片的外部光映入检测手法(第一外部光映入检测方法)(例如，参照专利文献1)。在第一外部光映入检测方法中，根据眼区域边缘的移动方向，检测对眼镜镜片的外部光映入。在第一外部光映入检测方法中，以检测汽车前进时所产生的向驾驶者眼镜的映入为前提，因而，在边缘从图像的下方向上移动时检测映入。

此外，作为第二外部光映入检测方式，提出了检测眼区域的高亮度区域的方式(例如，参照专利文献2)。在该方法中，在切换照射脸的投光器的同时进行拍摄，并将在所获得的多个图像中移动的高亮度区域作为对眼镜镜片的外部光映入而检测出来。

在先技术文献

专利文献

专利文献1：日本专利公报特开2009-169740号公报

专利文献2：日本专利文献特开2002-352229号公报

发明内容

发明要解决的问题

但是，在上述的第一外部光映入检测方法中，在映入了类似的多个边缘的情况下，很难不与其他边缘相混淆地追踪1个边缘，因此，映入的检测精度会降低，或者本来就难以进行检测本身。

此外，在上述的第一外部光映入检测方法中，以检测汽车前进时产生的、对驾驶者所带眼镜的映入为前提，因此，在车转弯的状况或驾驶者左右晃动脸的状况等时，检测精度降低。这是由于不能唯一地决定边缘的移动方向。

此外，在上述的第二映入检测方式中，由于检测眼区域中的高亮度区域，所以很难检测低亮度的映入。

本发明鉴于这样的问题点而做出，其目的在于提供不使用边缘、且即使在眼镜中的映入发生部位的亮度较低的情况下，也能够判定映入的外部光映入判定装置、视线检测装置及外部光映入判定方法。

解决问题的方案

本发明的一方式的视线检测装置，包含判定对眼镜的外部光映入的映入判定装置以及视线检测处理单元，所述映入判定装置包括：图像获取单元，获取带着所述眼镜的用户的眼区域图像；亮度直方图计算单元，计算表示所述眼区域图像的亮度分布的亮度直方图；差分直方图计算单元，通过在从不同时间拍摄的2个所述眼区域图像计算出的2个所述亮度直方图之间取差值，计算差分直方图；评价值计算单元，根据所述差分直方图和与亮度对应的权重，计算有关所述外部光映入的评价值；判定单元，在由所述评价值计算单元计算出的评价值连续为规定的阈值以上的值的次数达到规定次数时，判定为发生了所述外部光映入，所述视线检测处理单元，在所述判定单元判定为不是所述外部光映入时，执行所述用户的视线检测处理。

本发明的一方式的视线检测装置包括：图像获取单元，获取带着眼镜的用户的眼区域图像；亮度直方图计算单元，计算表示所述眼区域图像的亮度分布的亮度直方图；差分直方图计算单元，通过在从不同时间拍摄的2个所述眼区域图像计算出的2个所述亮度直方图之间取差值，计算差分直方图；评价值计算单元，根据所述差分直方图和与亮度对应的权重，计算有关对所述眼镜的外部光映入的评价值；可靠度计算单元，通过从规定的可靠度最高值中减去通过对所述计算出的评价值进行归一化所得的归一化评价值，计算出有关瞳孔检测结果的可靠度，该瞳孔检测结果考虑了所述外部光映入引起的对瞳孔检测的影响；视线检测处理单元，执行所述用户的视线检测处理，并同时输出视线检测结果和在所述可靠度计算单元中计算出的所述可靠度。

本发明的视线检测方法，用于判定对眼镜的外部光映入，包括以下步骤：获取带着所述眼镜的用户的眼区域图像的步骤；计算表示所述眼区域图像的亮度分布的亮度直方图的步骤；通过在从不同时间拍摄的2个所述眼区域图像计算出的2个所述亮度直方图之间取差值，计算差分直方图的步骤；根据所述差分直方图和与亮度对应的权重，计算有关所述外部光映入的评价值的步骤；在由计算出的所述评价值连续为规定的阈值以上的值的次数达到规定次数时，判定为发生了所述外部光映入的步骤；在判定为不是所述外部光映入时，执行所述用户的视线检测处理的步骤。

发明的效果

根据本发明，能够提供不使用边缘、且即使在眼镜中的映入发生部位的亮度较低的情况下，也能够判定映入的外部光映入判定装置、视线检测装置及外部光映入判定方法。

附图说明

图1是表示涉及本发明的实施方式1的映入判定装置的结构的框图。

图2是表示眼区域检测单元的结构的框图。

图3是用于说明映入判定装置的动作的流程图。

图4是表示作为目标图像的脸图像的图。

图5A、图5B是用于说明亮度直方图计算单元的处理的图。

图6A～图6D是用于说明差分计算单元的处理的图。

图7A～图7D是用于说明权重的变化(variation)的图。

图8是表示涉及本发明的实施方式2的映入判定装置的结构的框图。

附图标记说明

100、800 映入判定装置

101 眼区域图像获取单元

102 亮度直方图计算单元

103 亮度直方图存储单元

104 差分计算单元

105 评价值计算单元

106 评价值存储单元

107 映入判定单元

111 图像输入单元

112 眼区域检测单元

121 脸检测单元

122 脸器官检测单元

123 眼区域决定单元

801 可靠度计算单元

具体实施方式

下面，参照附图详细说明本发明的实施方式。

实施方式1

[映入判定装置100的结构]

图1是表示涉及本发明的实施方式1的映入判定装置100的结构的框图。

映入判定装置100判定通过外部光映入到眼镜而产生的映入现象的程度是否超过了规定水平。映入判定装置100例如设在汽车车厢内，与视线检测装置连接而使用。仅在由映入判定装置100判定为映入较弱时，该视线检测装置执行驾驶者的视线方向的检测处理。下面，特别对将映入判定装置100应用于视线检测装置的情况进行说明。

在图1中，映入判定装置100具有眼区域图像获取单元101、亮度直方图计算单元102、亮度直方图存储单元103、差分计算单元104、评价值计算单元105、评价值存储单元106以及映入判定单元107。

眼区域图像获取单元101获取眼区域图像，并且输出到亮度直方图计算单元102。

具体来说，眼区域图像获取单元101具备图像输入单元111和眼区域检测单元112。

图像输入单元111拍摄摄像目标(即，在此是人物)。该目标图像数据输出到眼区域检测单元112。

图像输入单元111例如设置于车的方向盘上、或者仪表盘上等驾驶席的正面。由此，通过图像输入单元111拍摄驾驶中的驾驶者的脸。

眼区域检测单元112从自图像输入单元111接受的目标图像中，检测出眼区域图像。

具体来说，如图2所示，眼区域检测单元112具有脸检测单元121、脸器官检测单元122和眼区域决定单元123。

脸检测单元121从自图像输入单元111接受的目标图像中检测出脸图像，并将脸图像数据输出到脸器官检测单元122。

脸器官检测单元122从自脸检测单元121接受的脸图像中检测脸器官群(即，外眼角、内眼角等)，并将各脸器官的位置坐标向眼区域决定单元123输出。

眼区域决定单元123根据从脸器官检测单元122接受的各脸器官的位置坐标，决定眼区域图像的位置和大小。该眼区域图像的位置和大小作为眼区域图像检测结果，与从图像输入单元111输出的目标图像一起被输出到亮度直方图计算单元102。此外，对左眼和右眼分别计算眼区域图像的位置和大小。

返回图1，亮度直方图计算单元102根据从眼区域图像获取单元101接受的目标图像数据，计算眼区域的亮度直方图，并将计算出的亮度直方图输出到亮度直方图存储单元103和差分计算单元104。

亮度直方图存储单元103将从亮度直方图计算单元102接受的亮度直方图和在该亮度直方图的计算中使用的目标图像的拍摄时刻对应地存储。

差分计算单元104计算从亮度直方图计算单元102接受的亮度直方图和保存在亮度直方图存储单元103的过去的亮度直方图之间的差分，并作为“差分直方图”输出到评价值计算单元105。

具体来说，由于过去从亮度直方图计算单元102输出的亮度直方图的履历存储在亮度直方图存储单元103，因此，差分计算单元104根据本次从亮度直方图计算单元102接受的亮度直方图和存储在亮度直方图存储单元103中的亮度直方图的履历，计算差分直方图。更详细地说，通过对各柱条(bin)在本次的亮度直方图和过去的亮度直方图之间获取差值，计算差分直方图。该差分直方图输出到评价值计算单元105。例如，通过在某个帧的亮度直方图和该帧的10帧前的帧的亮度直方图之间获取差值，计算差分直方图。该10帧前只是示例，并不限定于此。

评价值计算单元105根据从差分计算单元104接受的差分直方图和权重，计算评价值。具体来说，评价值计算单元105对每个柱条计算差分直方图和权重之积，并算出计算结果的总和，由此计算评价值。上述的权重取与亮度对应的值。

更详细地说，评价值计算单元105例如具有亮度和权重之间的相关关系表，将差分直方图的各柱条的值和在相关关系表中与各柱条的亮度相对应的权重值相乘。然后，评价值计算单元105将对所有柱条的各柱条获得的相乘结果进行加法运算，由此获得评价值。

计算出的评价值输出到评价值存储单元106和映入判定单元107。

评价值存储单元106将从评价值计算单元105接受的评价值与在该评价值的计算中使用的目标图像的拍摄时刻对应地存储。

映入判定单元107根据由评价值计算单元105计算的评价值，判定外部光映入。根据本次从评价值计算单元105接受的评价值和存储在评价值存储单元106中的评价值的履历，进行该判定。

具体来说，在评价值计算单元105计算出的评价值连续规定次数地为规定阈值以上的值时(即，在规定时间以上的期间，评价值始终为规定阈值以上的情况下)，映入判定单元107判定为发生了对后级的视线检测的精度产生影响的映入。在映入判定单元107判定为发生了映入的情况下，在后级的进行视线检测的功能部，不进行视线检测处理。

[映入判定装置100的动作]

说明具有以上结构的映入判定装置100的动作。图3是用于说明映入判定装置100的动作的流程图。在图3的流程图中，还包含上述的视线检测装置中的处理流程。

图3所示的处理流程与拍摄作业同时开始。拍摄作业即可以通过用户的操作来开始，也可以将外部的某个信号作为触发而开始。

在步骤S201中，图像输入单元111拍摄摄像目标(即，在此是人物)。由此获取目标图像。

作为图像输入单元111，例如假想为具备CMOS图像传感器和镜头的数码摄像机。因此，由图像输入单元111拍摄的PPM(Portable Pix Map fileformat，可移植的象素映射位图文件格式)格式的图像等暂时存储到图像输入单元111所包含的未图示的图像存储单元(例如，PC的存储器空间)中之后，仍以PPM格式输出到眼区域检测单元112。

在步骤S202中，脸检测单元121在从图像输入单元111接受的目标图像中，检测脸图像。图4是表示作为目标图像的脸图像的图。此外，在所拍摄的脸图像中，例如将图像横向设为X轴、且将图像纵向设为Y轴，1像素为1坐标点。

在脸区域检测处理中，例如，从输入图像中提取成为特征的图像的候补(即，特征图像候补)，通过比较所提取的特征图像候补和表示预先准备的脸区域的特征图像，检测出类似度高的特征图像候补。例如，对照预先获取的平均脸的伽柏(Gabor)特征量和通过扫描输入图像而提取的伽柏特征量，求出两者差分的绝对值的倒数，作为类似度。

在该情况下，脸检测单元121与预先准备的模板进行比较，将在图4的图像400中相关度最高的区域确定为脸图像401。此外，脸区域检测处理即可以通过从图像中检测肤色区域(即，肤色区域检测)进行，也可以通过检测椭圆部分(即，椭圆检测)进行，也可以通过采用统计学的模式识别方法进行。此外，只要是能够进行上述脸检测的技术，可以采用任何方法。

在步骤S203中，脸器官检测单元122从自脸检测单元121接受的脸图像中检测脸器官群(即，嘴角、外眼角、内眼角等)，并将各脸器官的位置坐标输出到眼区域决定单元123。脸器官群的搜索区域是在步骤S202中确定出的脸区域401。在图4中，分别示出脸器官群402。

在脸器官群检测处理中，例如利用分离度过滤器检测嘴角、外眼角、内眼角等脸器官的端点或鼻孔等的二维坐标。此外，即可以是，预先使学习器学习多个脸图像和与脸图像对应的脸器官的位置之间的对应关系，脸器官检测单元122在输入了脸图像401时，将有关其对应关系的似然最高的部位作为脸器官检测出来。或者，也可以是，脸器官检测单元122利用标准的脸器官的模板，从脸图像401中搜索脸器官。

在步骤S204中，眼区域决定单元123从自脸检测单元121接受的脸图像和自脸器官检测单元122接受的脸器官群中，决定眼区域。

在眼区域决定处理中，例如在左、右各个眼中，将包含外眼角、内眼角的矩形区域403决定为眼区域，将矩形的左上端点坐标和右下端点坐标作为眼区域信息获取。

在步骤S205中，亮度直方图计算单元102根据从脸检测单元121接受的脸图像和从眼区域决定单元123接受的眼区域信息，计算眼区域403内的亮度直方图(参照图5)。在图5A中示出眼区域403，在图5B中示出眼区域403的亮度直方图。

在此计算出的亮度直方图具有16个柱条。即，在脸图像的灰度等级为256灰度等级的情况下，1个柱条对应于16个灰度等级。因此，亮度直方图计算单元102在眼区域403内累计具有属于各柱条的亮度的像素个数。此外，在此例举的柱条数量和与1个柱条对应的灰度等级的数量只是示例，并不限定于该数量。

在步骤S206中，亮度直方图存储单元103将从亮度直方图计算单元102接受的亮度直方图和计算中使用的脸图像的拍摄时刻对应起来，作为过去直方图保存。此外，已过去了后述的映入判定所需时间以上的时间的信息，可以被覆盖或删除。

在步骤S207中，如图6A所示，差分计算单元104根据从亮度直方图计算单元102接受的亮度直方图和从亮度直方图存储单元103接受的过去直方图，计算这2个亮度直方图之间的差分，由此计算差分直方图。具体来说，在第一亮度直方图和第二亮度直方图之间用任意柱条计算差值，计算结果的绝对值为差分直方图中的该任意柱条的值。即，在图6B所示的亮度直方图为第一亮度直方图、图6C所示的亮度直方图为第二亮度直方图的情况下，差分直方图如图6D所示。

在步骤S208中，评价值计算单元105对各个柱条计算差分直方图和权重之积，并计算出计算结果的总和，由此计算评价值。

在此，作为对任意柱条使用的权重，使用该任意柱条的平均亮度。即，与图5所示的柱条对应的矩形的中心亮度为对该柱条使用的权重。此外，关于所使用的权重的变化，将在后面进行详细说明。

因此，在该情况下，评价值的计算是按以下式(1)进行。

V＝∑BS ...(1)

在此，在式(1)中，V表示评价值，B表示各柱条的平均亮度，S表示差分直方图中的各柱条的值。

在此，如上所述，通过对各个柱条计算差分直方图和权重之积，并计算出计算结果的总和，由此计算出评价值。在该评价值的计算中使用差分直方图，所以，评价值中反应了亮度直方图的变动水平。此外，在该评价值的计算中使用与各柱条对应的权重，该权重采用了各柱条的平均亮度。即，在此，权重与亮度成比例(权重的变化1)。因此，评价值对于高亮度柱条的变动较敏感，另一方面，同高亮度柱条相比，对于低亮度柱条的变动较迟钝，但是评价值为反映了其变动的值。

再者，视线检测的精度容易受到亮度直方图的变动水平的影响。即，有亮度直方图的变动越大、视线检测的精度越低的倾向。因此，通过如上所述地使用反映了亮度直方图的变动水平的评价值，能够高精度地判定是否发生了对视线检测精度造成影响的映入。此外，发生了映入的图像区域的亮度，虽然有容易变得高于未发生映入的图像区域的亮度的倾向，但具有该亮度的绝对值不一定高的特征。因此，通过使用如上所述地还反映了低亮度柱条的变动的评价值，即使发生了低亮度的映入的情况下，也能够高精度地判定是否发生了对视线检测的精度造成影响的映入。

在步骤S209中，评价值存储单元106将从评价值计算单元105接受的评价值和在计算中使用的脸图像的拍摄时刻对应起来，作为过去的评价值保存。此时，已过去了后述的映入判定所需时间以上的时间的评价值，可以被覆盖或删除。

在步骤S210中，映入判定单元107根据由评价值计算单元105计算出的评价值，判定外部光映入。映入判定单元107根据由评价值计算单元105计算出的评价值，判定是否发生了对后级的视线检测的精度产生影响的映入。该判定是根据本次从评价值计算单元105接受的评价值和存储在评价值存储单元106的评价值的履历进行的。

具体来说，在评价值计算单元105计算出的评价值连续规定次数地为规定阈值以上的值时(即，在规定时间以上的期间，评价值始终为规定阈值以上的情况下)，映入判定单元107判定为发生了对后级的视线检测的精度产生影响的映入。

在步骤S211中，在映入判定单元107判定为未发生映入的情况下，视线检测单元(未图示)检测视线。

视线检测，例如根据脸朝向矢量和视线方向矢量计算，该脸朝向矢量表示根据脸器官群402的坐标计算出的脸的正面方向的朝向，该视线方向矢量为与根据外眼角、内眼角、瞳孔中心的坐标计算出的脸的正面方向相对的矢量。

脸朝向矢量例如按下面的顺序计算。首先，通过将预先获取的驾驶者的脸器官群的三维坐标旋转及平移而进行变换。然后，将变换的三维坐标投影到瞳孔检测中使用的目标图像上。之后，计算与在步骤S203中检测的脸器官群最一致的旋转及平移参数。此时，在预先获取了驾驶者的脸器官群的三维坐标时，表示驾驶者的脸朝着的方向的矢量和按照所决定的旋转参数旋转的矢量的组合，就是脸朝向矢量。

此外，视线方向矢量例如按下面的顺序计算。首先，预先存储在脸朝着规定方向的情况下，观察与脸朝向相同的方向时的驾驶者的脸器官群和瞳孔中心的三维坐标。瞳孔中心的检测，例如通过在眼区域内获取规定亮度以下的像素的重心来进行。接着，计算从所检测出的瞳孔的三维坐标向视线方向的相反侧移动了规定距离的位置，作为眼球中心位置。此时，作为上述规定距离，一般的成人眼球的半径即12mm左右较适当，但并不限于上述值，也可以采用任意的值。接着，使用在脸朝向矢量计算时获取的脸的旋转及平移参数，求出检测时的眼球中心的三维坐标。接着，假设瞳孔位于以眼球中心为中心、半径为上述规定距离的球上，并搜索所检测的瞳孔中心位于上述球上的哪个位置。最后，计算将眼球中心和所搜索的球上的点连接起来的矢量，作为视线方向。

在步骤S212中，进行结束判定。结束判断既可以通过人工输入结束命令进行，也可以将外部的某一信号作为触发，由映入判定装置100进行。

在步骤S212中判定为结束的情况下，结束图3的处理。

<权重的变化>

作为权重的变化，除了上述的变化1之外，还可考虑如下变化。图7A～7D是用于说明权重变化的图。在图7A中，示出了变化1的亮度和权重的相关关系。在图7B中，示出了变化2的亮度和权重的相关关系。在图7C中，示出了变化3的亮度和权重的相关关系。在图7D中，示出了变化4的亮度和权重的相关关系。

(变化2)

在变化2的权重曲线中，权重值在低亮度区域为0，在除了低亮度区域以外的高亮度区域，权重值与亮度成比例地增加。该变化2的权重适用于整个眼区域非常亮、且明显不发生低亮度的映入的情况。通过使用该权重，评价值能够不受低亮度部分(睫毛等)的影响。

(变化3)

变化3的权重曲线为S形曲线。该变化3的权重适用于如下情况，即整个眼区域虽然非常亮，但低亮度下的差分较大，所以频繁出现误判断的情况。通过使用该权重，能够使亮度高时的权重更大，亮度低时的权重更小，所以能够减少误判断。

(变化4)

在变化4的权重曲线中，权重值在低亮度区域为恒定，权重值在中亮度区域同亮度成比例地增加，权重值在高亮度区域为恒定。通过使用该权重，在整个眼区域较暗、容易发生低亮度的映入的情况下，能够使低亮度的权重不成为一定值以下。与此同时，高亮度部分为映入的可能性很高，因此，在亮度为一定值以上而较高的情况下，可以将权重设为最大，使评价值容易变高。

此外，以上的变化1～4也可以单独固定地使用，也可以根据映入判定装置100工作的环境进行切换。

如上所述，根据本实施方式，在映入判定装置100中，亮度直方图计算单元102计算出表示眼区域图像的亮度分布的亮度直方图；差分计算单元104通过在从拍摄定时不同的2个眼区域图像计算出的2个所述亮度直方图之间取差值，计算差分直方图；评价值计算单元105根据差分直方图和与亮度对应的权重，计算有关外部光映入的评价值；映入判定单元107根据所计算的评价值，判断外部光映入。

由此，能够根据反映了包含低亮度柱条的变动的亮度直方图全体的变动水平的评价值，判定外部光映入，因此，不使用边缘、且即使在眼镜中的映入发生部位的亮度较低的情况下，也能够判定对视线检测的精度产生影响的映入。

实施方式2

实施方式2涉及与实施方式1的映入判定装置100同样地计算评价值，并根据所计算的评价值来计算瞳孔检测结果等的可靠度的映入判定装置。在实施方式1中，说明了在评价值连续超过规定值的情况下不进行瞳孔检测。但是，即使在瞳孔检测不稳定的情况下，有时也会与检测结果的可靠性较低的信息一并需要瞳孔检测结果。因此，实施方式2同时提供瞳孔检测结果和瞳孔检测结果等可靠度信息。

图8表示涉及本发明的实施方式2的映入判定装置800的结构。在图8中，对于具有与实施方式1的映入判定装置100的构成要素相同功能的结构要素附加相同标号，并省略有关该结构要素的说明。

在图8中，映入判定装置800具有可靠度计算单元801。

可靠度计算单元801通过对从评价值计算单元105输入的评价值进行归一化，并从可靠度的最高值中减去由此获得的归一化评价值，计算出瞳孔检测的可靠度。该计算出的瞳孔检测可靠度被输出到视线检测装置中的进行视线检测的视线检测单元(未图示)。然后，该视线检测单元(未图示)同时输出视线检测结果和瞳孔检测可靠度。

在此，在映入的程度较高的情况下，瞳孔检测较为困难，因此瞳孔检测可靠度较差，在映入的程度较低的情况下，瞳孔检测较为容易，因此瞳孔检测可靠度较好。具体来说，例如，将对式(1)所示的评价值V进行归一化所得的值设为V_n时，可以用式(2)表示可靠度C。

C＝1-V_n ...(2)

其中，V_n取0到1之间的值。V_n例如是将V除以V的逻辑上最大值、或者经验上最大值所得的值。此外，在将V除以V的经验上最大值所得的值为1以上的情况下，设V_n为1。

此外，所谓本实施方式中的瞳孔检测可靠度是关于瞳孔检测结果的可靠度，该瞳孔检测结果考虑了眼镜的外部光映入对瞳孔检测的影响。即，关于考虑了照度不足造成的瞳孔检测不稳定等其它原因对瞳孔检测的影响的瞳孔检测结果的可靠度，不包含在本实施方式的瞳孔检测可靠度中。在考虑上述其它原因对瞳孔检测的影响的情况下，也可以按各个原因或现象计算可靠度，并用它们的总和或总乘积来计算最终的瞳孔检测结果的可靠度。

如上所述，根据本实施方式，在包含映入判定装置800的视线检测装置中，可靠度计算单元801通过对在评价值计算单元105计算出的评价值进行归一化，从可靠度的最高值中减去由此获得的归一化评价值，计算出瞳孔检测的可靠度。然后，视线检测单元(未图示)执行用户的视线检测，同时输出该视线检测结果和瞳孔检测可靠度。

由此，能够在考虑瞳孔检测结果具有多少可信程度的基础上，进行视线方向检测。

其他实施方式

在所述各实施方式中，以由硬件构成本发明的情况为例进行了说明，但是本发明还可以由软件实现。

此外，在上述各实施方式中所使用的各功能模块，典型地通过集成电路的LSI(大规模集成电路)来实现。这些块既可以被单独地集成为1个芯片，也可以包含一部分或全部地被集成为1个芯片。在此虽然称为LSI，但根据集成度的不同，也可以称为IC(集成电路)、系统LSI、超级LSI(Super LSI)、超大极LSI(Ultra LSI)。

此外，实现集成电路化的方法不仅限于LSI，也可以使用专用电路或通用处理器来实现。也可以利用可在LSI制造后编程的FPGA(FieldProgrammable Gate Array，现场可编程门阵列)、或者可重构LSI内部的电路单元的连接或设定的可重构处理器(Reconfigurable Processor)。

再者，随着半导体技术的进步或者随其派生的其他技术的出现，如果出现能够代替LSI集成电路化的技术，当然也可以利用该技术进行功能块的集成化。还存在着适用生物技术等的可能性。

2010年6月17日提交的日本专利申请第2010-138354号所包含的说明书、说明书附图以及说明书摘要的公开内容，全部引用于本申请。

工业实用性

本发明的外部光映入判定装置、视线检测装置及外部光映入判定方法，不使用边缘、且即使在眼镜中的外部光映入发生部位的亮度较低的情况下，也能够判定映入，因此是有用的。

Claims

1.视线检测装置，包含判定对眼镜的外部光映入的映入判定装置以及视线检测处理单元，

所述映入判定装置包括：

图像获取单元，获取带着所述眼镜的用户的眼区域图像；

亮度直方图计算单元，计算表示所述眼区域图像的亮度分布的亮度直方图；

差分直方图计算单元，通过在从不同时间拍摄的2个所述眼区域图像计算出的2个所述亮度直方图之间取差值，计算差分直方图；

评价值计算单元，根据所述差分直方图和与亮度对应的权重，计算有关所述外部光映入的评价值；

判定单元，在由所述评价值计算单元计算出的评价值连续为规定的阈值以上的值的次数达到规定次数时，判定为发生了所述外部光映入，

所述视线检测处理单元，在所述判定单元判定为不是所述外部光映入时，执行所述用户的视线检测处理。

2.根据权利要求1所述的视线检测装置，

所述评价值计算单元，通过将所述差分直方图的各柱条的值和与所述各柱条的亮度对应的权重相乘，并将所有柱条的相乘结果相加，计算出所述评价值。

3.视线检测装置，包括：

图像获取单元，获取带着眼镜的用户的眼区域图像；

评价值计算单元，根据所述差分直方图和与亮度对应的权重，计算有关对所述眼镜的外部光映入的评价值；

可靠度计算单元，通过从规定的可靠度最高值中减去通过对所述计算出的评价值进行归一化所得的归一化评价值，计算出有关瞳孔检测结果的可靠度，该瞳孔检测结果考虑了所述外部光映入引起的对瞳孔检测的影响；

视线检测处理单元，执行所述用户的视线检测处理，并同时输出视线检测结果和在所述可靠度计算单元中计算出的所述可靠度。

4.视线检测方法，用于判定对眼镜的外部光映入，包括以下步骤：

获取带着所述眼镜的用户的眼区域图像的步骤；

计算表示所述眼区域图像的亮度分布的亮度直方图的步骤；

通过在从不同时间拍摄的2个所述眼区域图像计算出的2个所述亮度直方图之间取差值，计算差分直方图的步骤；

根据所述差分直方图和与亮度对应的权重，计算有关所述外部光映入的评价值的步骤；

在由计算出的所述评价值连续为规定的阈值以上的值的次数达到规定次数时，判定为发生了所述外部光映入的步骤；在判定为不是所述外部光映入时，执行所述用户的视线检测处理的步骤。