CN107847130A - 眼球观察装置、眼镜型终端、视线检测方法以及程序 - Google Patents

Abstract

[问题]提供能够稳定地检测视线的眼球观察装置。[解决方案]提供一种眼球观察装置，该眼球观察装置配备有：至少一个红外光源，其使用偏振红外光照射用户的眼球；以及至少一个成像装置，其拾取使用偏振光照射的眼球的图像并且能够同时拾取至少三个方向上的偏振图像。

Description

眼球观察装置、眼镜型终端、视线检测方法以及程序

技术领域

本发明涉及眼球观察装置、眼镜型终端、视线检测方法和程序。

背景技术

角膜反射方法已经广泛用作推断视线方向的技术。在角膜反射方法中，使用通过将红外光照射到眼球上获得的在眼球的角膜表面上形成的反射图像(下面也称为“角膜反射图像”)或通过使用红外光对眼球的瞳孔进行成像获得的图像来推断视线的方向。然而，当要推断佩戴眼镜的用户的视线方向时，照射到用户的眼球上的红外光被反射在眼镜的表面上，并且其反射图像用作离群点(伪亮点)，离群点阻碍观察角膜反射图像或瞳孔。

因此，专利文献1例如公开了通过控制成像装置的前侧上的液晶面板的电压的接通状态和关闭状态来去除角膜反射图像以外的离群点的方法，以仅使具有预定的偏振方向的光或具有所有偏振方向的光束透射通过。

此外，可以在虹膜认证中识别个体或可以通过对眼球进行成像并且对图像执行图像处理来确定个体的清醒状态或健康状态。然而，在将红外线朝向佩戴眼镜的用户照射的情况下，在眼镜的表面上反射的光成为离群点，并且因此如在要推断出视线的方向的情况下，可能难以观察用户的瞳孔、虹膜等。

引用列表

专利文献

专利文献1：JP 3297504B

发明内容

技术问题

然而，在上述专利文献1中，需要安装光源，使得来自光源的光的入射角近似于布鲁斯特(Brewster)角度，并且角膜反射的偏振度大。由于入射角度根据眼球与光源之间的位置关系或视线的方向而变化，所以仅在满足特定条件的情况下，离群点被认为是可移除的。此外，为了推断视线的方向，需要某一时刻处的角膜反射图像和瞳孔的位置。为了跟踪眼球的快速移动，需要以足够高的频率执行液晶面板的加压状态的切换和成像并且实现切换和成像的同步。然而，如果成像装置的快门速度增加，则由于减少的光量所以难以检测瞳孔。此外，由于需要将光源和成像装置的偏振方向设置成彼此完全一致，所以偏振器、成像装置和光源之间的安装误差应尽可能地最小化。此外，如果液晶面板被布置在光源和成像装置的前方，则眼球观察装置的尺寸增大。

因此，本公开内容提出了能够稳定地获取眼球的图像的新颖的并且改进的眼球观察装置、眼镜型终端、视线检测方法和程序。

问题的解决方案

根据本公开内容，提供了一种眼球观察装置，该眼球观察装置包括：至少一个红外光源，其被配置成将偏振的红外光照射到用户的眼球上；以及至少一个成像装置，其被配置成捕捉利用偏振的红外光照射的眼球的图像并且能够同时捕捉具有至少三个方向的偏振图像。

此外，根据本公开内容，提供了一种眼镜型终端，包括：透镜，其被配置成设置在用户的眼睛前方；以及眼球观察装置，其包括：至少一个红外光源，该至少一个红外光源被配置成将偏振的红外光照射到用户的眼球上；以及至少一个成像装置，该至少一个成像装置被配置成捕捉利用偏振的红外光照射的眼球的图像并且能够同时捕捉具有至少三个方向的偏振图像。

此外，根据本公开内容，提供了一种视线检测方法，该视线检测方法包括：捕捉由至少一个红外光源利用相对于用户的眼球偏振的红外光照射的眼球的图像并且同时获取具有至少三个方向的偏振图像；生成表示偏振图像的每个像素的偏振方向与亮度之间的关系的偏振模型；通过使用偏振模型来生成具有任意偏振方向的任意相位偏振图像；以及基于任意相位偏振图像来推断视线的方向。

此外，根据本公开内容，提供了一种程序，该程序使计算机执行以下操作：捕捉由至少一个红外光源利用相对于用户的眼球偏振的红外光照射的眼球的图像并且同时获取具有至少三个方向的偏振图像；生成表示偏振图像的每个像素的偏振方向与亮度之间的关系的偏振模型；通过使用偏振模型来生成具有任意偏振方向的任意相位偏振图像；以及基于任意相位偏振图像来推断视线的方向。

本发明的有益效果

根据上述的本公开内容，可以稳定地检测视线。注意，上述效果不一定是限制性的。在上述效果的情况下或替代上述效果，可以实现本说明书中描述的任何一种效果或可以从本说明书中领会的其他效果。

附图说明

图1是用于描述根据本公开内容的实施方式的由眼球观察装置检测到的用于推断视线的方向的瞳孔和亮点的检测的说明图。

图2是示出根据本实施方式的眼球观察装置的配置的示例的示意说明图。

图3是示出根据本实施方式的眼球观察装置的配置的另一示例的示意说明图。

图4是示出根据本实施方式的眼球观察装置的配置的另一示例的示意说明图。

图5是示出根据本实施方式的在眼球观察装置中使用的成像装置的示例的说明图。

图6是示出根据本实施方式的视线推断运算装置的功能配置的框图。

图7是示出根据本实施方式的由眼球观察装置执行的视线检测方法的流程图。

图8是示出式(1)的偏振模型的曲线的图。

图9是示出由眼镜的透镜引起的镜面反射和漫反射中的偏振光的行为的说明图。

图10是示出角膜反射图像和离群点的偏振模型的曲线图。

图11是示出角膜反射图像之间的观察点的差异的说明图。

图12是示出具有不同偏振方向的红外光源(角膜反射图像)的反射偏振模型的曲线图。

图13是示出根据本实施方式的视线推断运算装置的硬件配置的硬件配置图。

具体实施方式

在下文中，将参照附图详细地描述本公开内容的一个或更多个优选实施方式。在本说明书和附图中，具有基本相同的功能和结构的结构元件用相同的附图标记来表示，并且省略对这些结构元件的重复说明。

注意，将按以下顺序来提供描述。

1.概述

1.1眼球观察装置的示意配置

1.2.要描述的事项

2.装置的配置

2.1.眼球观察装置的配置

2.2.视线推断运算装置

3.视线检测方法

4.硬件配置

<1.概述>

[1.1.眼球观察装置的示意配置]

首先，将参照图1来描述根据本公开内容的实施方式的眼球观察装置的示意配置。注意，图1是用于描述根据本实施方式的由眼球观察装置检测到的用于推断视线方向的瞳孔和亮点的检测的说明图。注意，在本实施方式中，眼球观察装置可以被视为视线检测装置。

根据本实施方式的眼球观察装置使用偏振红外光来照射眼球并且捕捉红外光的角膜反射图像，以检测从所捕捉的图像推断视线方向所需的瞳孔和亮点。如图1所示，在由成像装置捕捉的眼球E的图像中检测出瞳孔P和红外光的角膜反射图像B。使用诸如通用机器学习之类的统计方法来检测瞳孔P和角膜反射图像B。此外，眼球观察装置使用几何方法来推断光轴并且使用三维眼球模型基于检测的瞳孔P和角膜反射图像B来推断视轴(视线方向)。

[1.2.要描述的事项]

此处，在现有技术中，在检测佩戴眼镜的用户的视线方向时，照射在眼球上的红外光在眼镜的表面上被反射并且变成离群点，使得不能检测瞳孔和角膜反射图像，并且因此不能稳定地检测视线的方向。

此外，不管是否佩戴眼镜，均难以从真实的角膜反射图像中区分角膜反射图像的离群点(日光或物体的反射、红外光源的巩膜反射以及睫毛、眼泪等的伪反射)，并且在存在离群点的情况下，视线推断的准确度显著下降。

同时，在使用角膜反射法推断视线时，如果使用多个光源，则可以提高视线的推断准确度。由于光源、成像装置和眼球之间的位置关系、眼睑和眼球的形状、视线方向等，可能观察不到角膜反射图像；然而，如果使用多个光源，则观察到用于推断视线所需的最少数量的角膜反射图像的可能性增加，因此可以稳定地推断视线。然而，为了使用多个光源来推断视线，需要去除上述这样的离群点，并且清楚地识别有助于生成观察到的角膜反射图像的光源。然而，在观察到多个角膜反射图像中的一些的情况下，也可能难以精确地识别哪些光源有助于生成反射图像。

关于眼镜的反射，可以通过例如使光源偏振、使偏振光通过具有与偏振的角度正交的角度的偏振元件并且捕捉偏振元件的图像(例如JP H7-289518A)来获取包括瞳孔和仅去除眼镜的反射的角膜反射图像的眼球图像。此处，透过眼镜的光被反复反射并且变成非偏振光，因此，眼镜的反射和角膜反射图像引起的亮点可以相对于佩戴眼镜的用户被区分。然而，角膜反射图像最初由角膜的镜面反射引起，并且当偏振光经由镜面反射被反射时，偏振不改变。亦即，与抑制可能发生在眼镜表面上的镜面反射类似，仅通过去除光源相对于裸眼的用户的偏振方向的偏振器来抑制角膜反射图像本身。此外，由于光源和成像装置应被安装成使其偏振方向正交，所以需要尽量减少偏振器、成像装置和光源之间的安装误差。

为了去除角膜反射图像的离群点，例如，已经提出了一种方法(例如JP 4260715B的说明书)，在该方法中，使用多个光源将根据具有合理尺寸的光源的布置处于适当位置关系的亮点检测作为真实角膜反射图像。然而，通过使用亮点的位置关系和尺寸，可能仅将离群点减少到一定程度，但是不可能完全去除离群点。

此外，已经提出的是，通过控制成像装置的前侧上的液晶面板的电压的接通和关闭状态，以仅使具有预定偏振方向的光或具有所有偏振方向的光束透射通过，如上述专利文献1中所公开的那样，可以去除角膜反射图像以外的离群点。然而，由于在该方法中根据眼球与光源之间的位置关系或视线的方向而改变入射角，所以仅在满足如上所描述的特定条件的情况下，离群点被认为是可去除的。此外，如果成像装置的快门速度增大以跟踪眼球的快速移动，则由于光量的减少难以检测瞳孔。此外，如果液晶面板被布置在光源和成像装置的前方，则需要将光源和成像装置的偏振方向设置成完全一致，或者眼球观察装置的尺寸增大。

因此，根据本实施方式的眼球观察装置使用通过偏振器偏振的至少一个红外偏振光源以将红外光照射到眼球上，并且使用可以同时捕捉具有三个或更多个方向的偏振光线的至少一个红外线透射成像装置。因此，可以实现眼镜的反射抑制、角膜反射图像的离群点的去除以及角膜反射图像的识别，并且可以以高准确度来检测在检测视线的方向时使用的瞳孔和亮点。下面对根据本实施方式的眼球观察装置的配置和功能进行详细描述。

<2.装置的配置>

首先，参照图2至图5对根据本实施方式的眼球观察装置1的硬件配置的示例进行描述。注意，图2至图4是示出根据本实施方式的眼球观察装置1(1A至1C)的配置的示例的示意说明图。图5是示出根据本实施方式的眼球观察装置1中使用的成像装置13的示例的说明图。

[2.1.眼球观察装置的配置]

如图2至图4所示，根据本实施方式的眼球观察装置1(1A至1C)包括红外光源11、偏振器12和成像装置13。所提供的红外光源11、偏振器12和成像装置13中的每一个的数目可以是至少一个，并且原则上可以使用多个构成元件来提高视线的推断准确度。此外，在检测视线时使用多个偏振方向的情况下，分别与红外光源11对应地设置的偏振器12的偏振方向可以彼此不同。

红外光源11中的每个是将红外光照射到眼球E上以获得角膜反射的光源并且可以是例如红外LED等。偏振器12中的每个是用于使从红外光源11发出的红外光偏振的光学元件，该光学元件被布置在红外光源11与眼球E之间的光路上。

成像装置13是用于捕捉被红外光照射的眼球E的装置。如图5所示，根据本实施方式的成像装置13例如是可以同时在三个或更多个偏振方向上执行捕捉的装置(例如JP4486703B的说明书、JP 4974543B的说明书等)。偏振是指光的电场和磁场仅在特定方向上的振荡。在使用成像装置13进行的测量中，沿特定方向行进的偏振光透射通过偏振器12、被吸收和捕捉。此外，由于使用红外区域的图像来推断视线，所以将能够捕捉红外区域的装置用作成像装置13。由成像装置13获取的捕捉图像被输出至推断视线的方向的视线推断运算装置100。

关于根据本实施方式的眼球观察装置1与眼球E之间的位置关系，眼球观察装置可以被布置在任何位置，只要从红外光源11发出并在角膜上反射的红外光入射到成像装置13上。例如，从眼球观察装置1A可以理解，如图2所示，可以存在将红外光源11、偏振器12和成像装置13布置在眼球E附近的配置。该配置可以应用于例如当用户佩戴该装置时其透镜被设置在他或她的眼睛的前方的眼镜型终端、头戴式装置、侦察器等。

此外，从图3所示的眼球观察装置1B可以理解，例如，可以存在红外光源11、偏振器12和成像装置13可以被布置在远离眼球E的位置处的配置。该配置可以应用于例如被布置成远离眼球的静止类型的终端，例如电视机和个人计算机的显示器。

此外，从图4所示的眼球观察装置1C可以理解，例如，可以存在光路分隔装置15例如半镜被布置在眼球E与成像装置13之间的配置。该配置可以应用于例如相机的电子取景器等。

注意，根据本实施方式的眼球观察装置1的配置并不限于图2至图4所示的配置并且可以是将偏振光照射到眼球上并可以同时捕捉具有三个偏振方向的图像的配置。此外，应用眼球观察装置1的装置不限于上述示例，并且该装置可以是例如接触型装置并且可以被配置成可拆卸成眼镜型终端的装置等。

[2.2.视线推断运算装置]

接下来，将参照图6来描述根据本实施方式的眼球观察装置1的视线推断运算装置100的功能配置。注意，图6是示出根据本实施方式的视线推断运算装置100的功能配置的框图。

如图6所示，根据本实施方式的视线推断运算装置100由图像生成单元110、图像处理单元120和视线推断单元130构成。

(图像生成单元)

如图6所示，图像生成单元110使用由成像装置13捕捉的图像来生成具有预定偏振方向的偏振图像。图像生成单元110例如由偏振模型生成单元111、偏振模型存储单元113、任意相位偏振图像生成单元115和任意相位偏振图像存储单元117构成。

偏振模型生成单元111基于由成像装置13捕捉的图像来生成每个像素的偏振模型。根据本实施方式的捕捉图像包括三个或更多个方向上的偏振。已知的是，如果捕捉经由偏振器12发出的红外光的角膜反射，则可以使用下面将要描述的式(1)所示的余弦函数对获取的亮度值和偏振方向进行建模。下面将描述偏振模型的细节。偏振模型生成单元111将每个像素的生成的偏振模型记录在偏振模型存储单元113中并且将该模型输出至任意相位偏振图像生成单元115。

偏振模型存储单元113是存储由偏振模型生成单元111生成的每个像素的偏振模型的存储单元。存储在偏振模型存储单元113中的每个像素的偏振模型在例如下面将描述的检测角膜反射图像的处理中被使用。

任意相位偏振图像生成单元115基于每个像素的偏振模型来生成具有任意相位的偏振图像(下面也称为“任意相位偏振图像”)。在下面将描述的图像处理中，任意相位偏振图像生成单元115执行生成对于执行每个处理最佳的图像的处理。在检测到佩戴眼镜的用户的视线方向的情况下，例如，红外光在眼镜的表面上被反射并且变成离群点，使得不可能正常地检测瞳孔或亮点。任意相位偏振图像生成单元115生成具有用于执行检测的最佳相位的偏振图像，使得可以正常地检测瞳孔或亮点。注意，下面将描述生成任意相位偏振图像的处理的细节。任意相位偏振图像生成单元115将生成的任意相位偏振图像记录在任意相位偏振图像存储单元117中。

任意相位偏振图像存储单元117是存储由任意相位偏振图像生成单元115生成的任意相位偏振图像的存储单元。存储在任意相位偏振图像存储单元117中的任意相位偏振图像例如在下面将描述的检测瞳孔或亮点的处理中使用。

(图像处理单元)

图像处理单元120对由图像生成单元110生成的任意相位偏振图像执行图像处理并且获取推断视线方向所需的信息。如图6所示，图像处理单元120例如由瞳孔检测单元121、亮点检测单元123、离群点去除单元125和角膜反射图像识别单元127构成。

瞳孔检测单元121对具有适于瞳孔检测的相位的偏振图像中的瞳孔进行检测。瞳孔检测单元121从任意相位偏振图像存储单元117中获取具有适于瞳孔检测的相位的偏振图像(下面也称为“用于瞳孔检测的偏振图像”)并且检测用于瞳孔检测的偏振图像中的瞳孔。在红外光源11被布置在远离成像装置13的光轴的位置处的情况下，例如，所获取的捕捉图像的瞳孔被观察为黑色(暗瞳孔)。替代地，在将红外光源11安装在成像装置13的光轴上距离成像装置13很接近的位置处的情况下，瞳孔由于视网膜的逆反射被观察为白色(亮瞳孔)。通过使用上述特征，瞳孔检测单元121例如检测用于瞳孔检测的偏振图像中的椭圆形黑色区域(或白色区域)作为瞳孔。替代地，瞳孔检测单元121可以从亮瞳孔和暗瞳孔的差分图像中提取瞳孔部分。

亮点检测单元123检测捕捉图像中的亮点。亮点检测单元123将图像中的具有比周围区域的亮度值更高的亮度值、尺寸等于或小于预定尺寸并且检测位置与红外光源11的安装位置具有预定的匹配度或更高的匹配度的区域检测为亮点。除角膜反射图像之外，由亮点检测单元123检测到的亮点也包括离群点例如伪亮点。

离群点去除单元125从由亮点检测单元123检测到的亮点中去除离群点例如伪亮点并且仅检测角膜反射图像。离群点去除单元125使用存储在偏振模型存储单元113中的偏振模型来获得由亮点检测单元123检测的亮点区域的像素的偏振度。然后，基于偏振度将亮点分为真实的角膜反射图像和离群点。注意，将在下面描述离群点去除处理的细节。

角膜反射图像识别单元127识别对应的红外光源11，以确定哪个光源相对于由离群点去除单元125指定的真实角膜反射图像有助于生成反射图像。通过使用多个红外光源11以通过角膜反射来推断视线，可以提高推断视线的准确度或可以防止由视线的位置引起的不能观察角膜反射图像。然而，在观察到多个角膜反射图像中的仅一些的情况下，可能无法准确地识别有助于生成反射图像的光源。因此，在本实施方式中，应用将偏振方向的差表示为偏振模型的相位差的原理，使得与角膜反射图像对应的红外光源11中的每个红外光源被识别。注意，下面将描述识别角膜反射图像的处理的细节。

(视线推断单元)

视线推断单元130基于角膜反射图像和由图像处理单元120检测到的图像上的瞳孔的位置来推断视线的方向。可以使用现有推断技术(现有推断技术使用角膜反射图像和瞳孔的位置)来执行推断视线的方向的处理。例如，可以使用下述角膜反射方法，在该角膜反射方法中，将光从光源照射到用户的眼球上并且检测瞳孔和角膜表面上反射的光束的位置以推断视线的方向。

<3.视线检测方法>

下面基于图7对由根据本实施方式的眼球观察装置1执行的视线检测方法进行描述。注意，图7是示出由根据本实施方式的眼球观察装置1执行的视线方向检测方法的流程图。

(S100：图像的获取)

在根据本实施方式的视线检测方法中，首先，成像装置13捕捉处于被来自红外光源11的红外线照射眼球的状态的用户的眼球的图像(S100)。根据本实施方式的成像装置13同时获取具有三个或更多个方向的偏振红外光。图5所示的成像装置例如可以同时获取四个方向的偏振图像。

(S110：偏振模型的生成)

接下来，偏振模型生成单元111基于由成像装置13捕捉的图像来生成每个像素的偏振模型(S110)。已知的是，如果使用由根据本实施方式的成像装置13获取的具有三个或更多个方向的偏振图像，则可以利用如下面的式(1)所示的使用偏振图像的亮度值和偏振方向的余弦函数对每个像素进行建模。原则上如果存在具有三个或更多个方向的偏振图像，则可以表示余弦函数(例如参见JP 4974543B的说明书)。注意，在公式(1)中，I表示亮度值，I_max表示最大亮度值并且I_min表示最小亮度值。此外，θ_pol表示成像装置13的偏振片的偏振角度，并且φ表示红外光的偏振角。

[数学式1]

在图8中示出了描绘偏振方向与获取的亮度值之间的关系的公式(1)的偏振模型的曲线。如图8所示，像素的亮度值在红外光的偏振角φ(+180°)处达到最大值，并且像素的亮度值在与偏振角φ偏离±90°的角度处达到最小值。此处，偏振片在最大亮度值处的偏振方向与照射在眼球上的红外光的偏振方向平行。此外，偏振片在最小亮度值处的偏振方向与照射在眼球上的红外光的偏振方向垂直。

当生成每个像素的偏振模型时，偏振模型生成单元111将偏振模型记录在偏振模型存储单元113中并且将偏振模型输出至任意相位偏振图像生成单元115。注意，在使用具有图4所示的设置有光路分隔装置15的配置的眼球观察装置1C的情况下，在考虑到由光路分隔装置15影响的偏振状态的情况下执行预定的处理，以生成偏振模型。此外，除了在基于上述公式(1)的设置中之外，可以使用例如机器学习来生成偏振模型。

(S120：任意相位偏振图像的生成)

接下来，任意相位偏振图像生成单元115基于每个像素的偏振模型来生成任意相位偏振图像(S120)。在下面将描述的图像处理中，任意相位偏振图像生成单元115执行生成对于执行每个处理最佳的图像的处理。在检测到佩戴眼镜的用户的视线方向的情况下，例如，红外光在眼镜的表面上被反射并且变成离群点，因此不可能正常地检测瞳孔或亮点。在这种情况下，任意相位偏振图像生成单元115生成具有减少的作为噪声的眼镜的反射的图像、基于图像执行每个检测处理，从而可以稳定地检测佩戴眼镜的用户的视线的方向。

为了更详细地描述，如图9所示，如果从红外光源11发出的红外光穿过偏振器12变成偏振光，然后在眼镜的透镜的表面上经历表面反射，则反射光也变成在与偏振光入射在眼镜的透镜上时的光的偏振方向相同的偏振方向上行进的偏振光。另一方面，透过眼镜的透镜的光在透镜内反复经历漫反射并且变成非偏振光。在眼球观察装置1将红外光照射到佩戴眼镜的用户的眼球上的情况下，眼镜的透镜的表面上的反射包括许多镜面反射分量，并且偏振光在该表面上被原样反射。因此，在本实施方式中，偏振器12引起相对于红外光源11的偏振，使得偏振光沿偏振光被抑制的方向通过偏振器，然后通过使用成像装置13捕捉眼球的图像来获得偏振图像。因此，眼镜的透镜的表面上的偏振光的镜面反射分量减小，并且可以仅提取内部反射分量(即相对于眼球的反射分量)。

通过使用上述原理，任意相位偏振图像生成单元115生成具有用于检测瞳孔和亮点的最佳相位的偏振图像，使得可以正常地检测瞳孔和亮点。

例如，对于佩戴眼镜的用户，通过在步骤S110中生成的每个像素的偏振模型中生成具有最小亮度值的像素，可以生成红外光源11的偏振方向被最大抑制的图像，即，抑制眼镜的反射的图像。注意，不需要使红外光源11的偏振器的偏振方向与成像装置13的偏振片的偏振方向匹配，以便使用偏振模型来生成任意相位偏振图像。

在正常捕捉时，在发生眼镜的反射的状态下瞳孔的边缘由于眼镜的反射被隐藏，这使得难以在图像处理中检测到瞳孔。然而，根据本实施方式，任意相位偏振图像生成单元115生成已经去除眼镜的反射的图像，从而可以在该图像中检测到瞳孔，并且从而可以可靠地检测佩戴眼镜的用户的瞳孔。

在视线推断中要使用的角膜反射图像也是由在角膜的表面上发生的镜面反射引起的。因此，为了高精度地观察角膜反射图像，可以生成具有未完全抑制红外光源11的偏振方向的相位的图像。注意，角膜反射图像和眼镜的反射的亮度值和尺寸取决于红外光源11的光量。因此，任意相位偏振图像生成单元115可以生成对于上述条件最佳的图像。

此外，在对佩戴眼镜的用户执行亮点检测的情况下，眼镜的反射和角膜的反射一起存在，因此可以使用被生成用于对每个像素具有最小亮度值的瞳孔进行检测的图像。在这样的图像中，由于当光通过眼镜的透镜时发生的折射以及眼镜与眼球之间发生的漫反射，所以不同地观察到眼镜的反射和角膜的反射的偏振模型。为此，即使在使用每个像素创建具有最小像素的亮度模型的情况下，也可以观察到具有比在眼镜的反射中的亮度更高的亮度的角膜反射。因此，在被生成用于检测瞳孔的图像中，可以将具有比周围点的亮度值更高的亮度值并且满足尺寸和位置方面的预定条件的亮点检测为角膜反射图像。机器学习可以用于该检测。

注意，在任意相位偏振图像生成单元115执行去除眼镜反射的处理之前，可以使用包括例如亮点的尺寸、亮度值、位置、边缘、圆形度等特征来粗略地检测亮点，要处理的区域限于候选亮点的像素并且然后可以生成偏振图像。因此，可以减少将要由任意相位偏振图像生成单元115执行的处理量。此外，例如，在亮点的粗略检测中可以使用具有所有偏振方向的平均图像，并且例如可以在该处理中使用机器学习。

另一方面，像在上述针对佩戴眼镜的用户的处理中一样，对于裸眼的用户，任意相位偏振图像生成单元115可以生成用于瞳孔检测的偏振图像和用于亮点检测的偏振图像并且将图像用作用于检测处理的图像。亦即，如在上述佩戴眼镜的用户的情况中那样，通过使用偏振模型改变偏振图像的每个像素的偏振方向来提取最小亮度值，用于瞳孔检测的偏振图像可以是包括最小亮度值的图像。

然而，眼镜的反射被抑制的图像的光量被减少一半。因此，例如，佩戴眼镜的用户和裸眼的用户的区别在于，对于佩戴眼镜的用户使用眼镜反射的图像，对于裸眼的用户使用具有三个或更多个方向的偏振图像，从而可以生成用于瞳孔检测的偏振图像。

可以使用作为在输入图像的眼睛区域部分中发现的亮度值的特性来执行区分佩戴眼镜的用户与未佩戴眼镜的用户，这是因为如果发生眼镜反射则通常观察到应该具有眼睛的区域具有高亮度。替代地，被偏振器12偏振并在眼镜的表面上经历镜面反射的红外光变成偏振光，并且因此可以基于由下面将描述的公式(2)表示的偏振度使用在偏振模型中具有高偏振度的区域的尺寸的特性来执行区分。通过使用上述特征作为输入，可以通过阈值处理、机器学习等来区分佩戴或不佩戴眼镜的用户。

此外，可以按照已知的光源的偏振方向来获取用于亮点检测的偏振图像。首先，在存在多个光源的情况下，使得相对于所有光源在不同方向发生偏振。然后，通过相对于每个像素生成具有需要观察的光源的偏振方向的像素，生成以下偏振图像，在该偏振图像中，其他光源的离群点和反射被抑制，并且该偏振图像具有在角膜上的观察到的光源的反射是显著的亮度值。此后，图像处理单元120的亮点检测单元123基于所生成的偏振图像来执行亮点检测处理并且将具有高于或等于预定阈值的检测亮度值的亮点设置为相对于对应光源的真实角膜反射图像。此时，在检测到具有高于或等于预定阈值的亮度值的多个亮点的情况下，选择具有最高亮度值的亮点作为真实角膜反射图像。可以使用机器学习来执行由亮点检测单元123执行的亮点检测。

在存在多个光源的情况下，任意相位偏振图像生成单元115生成与光源的数目相同数目的用于亮点检测的偏振图像，并且亮点检测单元123基于偏振图像来检测亮点。注意，如上述佩戴眼镜的用户的情况那样，当创建用于亮点检测的偏振图像时，可以在任意相位偏振图像生成单元115执行去除眼镜反射的处理之前使用包括例如亮点的尺寸、亮度值、位置、边缘、圆形度等的特征来粗略地检测亮点，要处理的区域限于候选亮点的像素，并且然后可以生成偏振图像。因此，可以减少将要由任意相位偏振图像生成单元115执行的处理量。此外，例如，可以在亮点的粗略检测中使用具有所有偏振方向的平均图像，并且例如可以在该处理中使用机器学习。

在任意相位偏振图像生成单元115基于预设条件使用偏振模型生成用于瞳孔检测的偏振图像和用于亮点检测的偏振图像之后，将偏振图像记录在任意相位偏振图像存储器单元117中。

(S130：瞳孔的检测)

当在步骤S120中生成各种任意相位偏振图像时，由图像处理单元120对所生成的偏振图像执行图像处理，获取瞳孔和角膜反射图像。首先，瞳孔检测单元121对用于具有适于检测瞳孔的相位的瞳孔检测的偏振图像中的瞳孔进行检测(S130)。在红外光源11被布置在远离成像元件13的光轴的位置处的情况下，例如，包括在获取的捕捉图像中的瞳孔被观察为黑色(暗瞳孔)。替代地，在红外光源11被安装在成像装置13的光轴上距离成像装置13很接近的位置处的情况下，由于视网膜的逆反射，瞳孔被观察为白色(亮瞳孔)。通过使用上述特征，瞳孔检测单元121将例如用于瞳孔检测的偏振图像中的椭圆形的黑色区域(或白色区域)检测为瞳孔。替代地，瞳孔检测单元121可以从亮瞳孔和暗瞳孔的差分图像中提取瞳孔部分。

(S140：亮点的检测)

接下来，亮点检测单元123基于用于亮点检测的偏振图像来检测亮点(S140)。亮点检测单元123将图像的以下区域检测作为亮点：该区域具有比周围区域的亮度值高的亮度值并且尺寸等于或小于预定尺寸，并且检测位置与红外光源11的安装位置具有预定的匹配度或更大的匹配度。除角膜反射图像之外，由亮点检测单元123检测到的亮点也包括离群点例如伪亮点。

(S150：离群点的去除)

然后，离群点去除单元125从由亮点检测单元123检测的相应亮点中去除离群点例如伪亮点，从而检测真实的角膜反射图像(S150)。离群点包括通过在巩膜而不是眼球的角膜上的反射出现的亮点、通过用户的下睫毛的反射出现的亮点等。此外，离群点包括从眼球上的环境反射的光的反射、日光的反射等。这些是阻碍检测真实的角膜反射图像的元素，因此被离群点去除单元125去除。

离群点去除单元125使用存储在偏振模型存储单元113中的偏振模型相对于由亮点检测单元123检测的每个亮点区域的像素获得偏振度ρ并且基于偏振度ρ的大小来去除离群点。偏振度ρ指示观察到的光的线性偏振度并且可以由下面的公式(2)表示。

[数学式2]

在本实施方式中，角膜反射图像是相对于已经通过偏振器12的偏振光的角膜的表面的反射图像，并且该偏振光的偏振度ρ增大。另一方面，巩膜上的反射或作为非偏振光的日光的反射的偏振度ρ减小。此处，图10示出了在角膜反射图像中观察到的具有高偏振度ρ的偏振模型和在离群点中观察到的具有低偏振度ρ的偏振模型的示例。如图10所示，具有低偏振度ρ的离群点的偏振模型的振幅小于具有高偏振度ρ的角膜反射图像的偏振模型的振幅。

通过使用该特征，离群点去除单元125基于上述公式(2)来获得偏振度ρ并且使用阈值处理或机器学习将在步骤S140中检测到的亮点分类成真实的角膜反射图像和离群点。在阈值处理中，例如，如果亮点的偏振度ρ的值小于预定值，则将亮点分类为离群点，并且如果亮点的偏振度ρ的值高于或等于预定值，则亮点被分类为真实的角膜反射图像。

(S160：角膜反射图像的识别)

此后，角膜反射图像识别单元127识别与离群点去除单元125指定的真实角膜反射图像对应的红外光源11，以确定哪个光源有助于生成反射图像(S160)。可以仅在多个红外光源11将红外光照射在眼球E上的情况下执行步骤S160的处理。

在使用角膜反射推断视线时，通过使用多个红外光源11可以提高推断视线的准确度，或者可以防止由视线的位置引起的观察不到角膜反射图像。然而，当四个红外光源11将红外光照射到眼球E上时，例如，如图11的左侧部分上所示的那样应当检测到四个角膜反射图像p1至p4，但如图11的右侧部分所示的那样可能仅检测到两个角膜反射图像p1和p4。在如上所述的那样仅观察到多个角膜反射图像中的一些的情况下，可能难以精确地识别与反射图像对应的光源。因此，在本实施方式中，应用偏振方向的不同导致偏振模型的相位差的原理，从而识别与角膜反射图像对应的每个红外光源11。

为了更详细地进行描述，首先，根据本实施方式的眼球观察装置1被配置成使与每个红外光源11对应地安装的偏振器12的偏振方向不同，从而能够指定红外光源11。此外，图像生成单元110的偏振模型生成单元111生成每个红外光源11的偏振模型并且将偏振模型记录在偏振模型存储单元113中。此处，成像装置13的偏振片的偏振角θ_pol原则上仅在0°≤θ_pol<180°的范围内有意义，红外光源11的偏振方向仅在该范围内确定。当两个红外光源11的偏振方向被设置成彼此不同时，例如，如例如图12所示，第一红外光源的偏振模型(普尔基涅-1，Purkinje-1)和第二红外光源的偏振模型(普尔基涅-2，Purkinje-2)具有相同的振幅和周期但具有不同的相位。

此外，角膜反射图像识别单元127使用红外光源11的偏振模型和每个观察到的角膜反射图像的偏振模型的相位相似度来识别角膜反射图像。亦即，基于具有相似相位和高相位相似度的红外光源11和角膜反射图像相互对应的假设执行识别。可以通过阈值处理或使用机器学习来识别相位相似度。注意，可以通过预先校准来获得红外光源11的偏振方向或可以在所有亮点被观察到并且在视线推断时容易且精确地被识别时设置红外光源11的偏振方向。在校准时，获得观察到的角膜反射图像的偏振模型，并且将该偏振模型的相位与每个红外光源11相关联地记录在光源偏振方向存储单元20中。由于在眼球观察装置1的组装时决定偏振器12的布置，所以基本上可以执行一次校准。

(S170：视线的推断)

然后，视线推断单元130基于由图像处理单元120检测到的图像中的角膜反射图像和瞳孔位置来推断视线的方向(S170)。例如，利用红外光源11和成像装置13的已知安装位置，视线推断单元130从观察到的图像上的角膜反射图像推断角膜的曲率半径的中心的三维坐标。此外，视线推断单元130从图像上的瞳孔位置推断瞳孔的中心的三维坐标并且获得眼球的光轴作为连接由坐标指示的位置的轴。然后，视线推断单元130执行将从观察信息获得的光轴转换成与人的视线方向对应的视轴的处理，从而获得三维视线矢量。替代地，视线推断单元130可以通过将连接图像上的角膜反射图像和瞳孔的二维矢量映射到显示器上的视线位置来获得视线矢量。使用根据本实施方式的视线检测方法来推断视线的视线推断技术未特定限制，并且可以使用各种现有的视线推断技术中的任何一种。

上面描述了根据本实施方式的视线检测方法。根据本实施方式，当检测到瞳孔或角膜反射图像以执行视线的推断时，使用适于检测的偏振图像，因此可以以更高的准确度来检测瞳孔或角膜反射图像。此外，根据本实施方式的眼球观察装置1的成像装置13同时获取具有三个或更多个方向的偏振图像，因此可以使用基于偏振图像生成的像素的偏振模型同时生成用于瞳孔检测的偏振图像和用于亮点检测的偏振图像。此外，即使在检测到佩戴眼镜的用户的视线的情况下，也可以去除在眼镜的透镜上发生的镜面反射。

此外，除角膜反射图像以外，可以去除离群点，并且也可以使用偏振模型精确地执行在使用多个红外光源的情况下的角膜反射图像与红外光源11的关联。如上所述，可以使用根据本实施方式的视线检测方法来稳定且准确地执行视线的推断。此外，红外光源11的偏振方向与成像装置13的偏振片的偏振方向的精确对准不是必需的，并且该方法应用于各种设备和情况是容易可行的。注意，可以使用除成像装置13以外的成像装置来指定要注意的对象，或者可以在要注意的对象偏离视线的方向的情况下发出警报。

<修改示例>

根据本实施方式的眼球观察装置不限于用于推断视线并且可以用于对眼球的状态进行成像的应用中。根据本实施方式的眼球观察装置，例如，通过基于成像的眼球的状态来确定下面要描述的指数或标志，可以确定或推断用户的健康状态或清醒状态。作为修改示例的本实施方式的眼球观察装置可以具有替代视线推断运算装置或除视线推断运算装置之外的眼球状态推断运算装置。注意，眼球状态推断运算装置可以被认为是被配置成从捕捉的眼球图像获取眼球状态的信息并且确定下面将描述的指数或标志的装置。

根据本实施方式的眼球观察装置，可以生成眼镜的反射被抑制并且易于检测到瞳孔和虹膜的图像。注意，虹膜认证是使用人的虹膜图案来识别人的技术。在虹膜认证中也需要获取关于瞳孔、虹膜等的眼球信息。

此外，根据本实施方式的眼球观察装置，通过观察瞳孔的直径或处理虹膜可以推断人的健康状态或清醒状态。如在检测到视线的情况下，根据本实施方式的眼球观察装置，可以去除眼镜的透镜上的镜面反射。因此，可以提高检测用户的瞳孔或虹膜的准确度。

将从由本实施方式的眼球观察装置获取的眼球图像获取的参数和与健康状态有关的各种指标进行比较，从而可以确定或推断健康状态。例如，瞳孔的散瞳和缩瞳是由交感神经与副交感神经系统之间的相互作用引起的。因此，瞳孔的散瞳和缩瞳的变化可以用作指示自主神经系统的状态的指数。例如，可以使用5mm或更大的散瞳作为低血糖、缺氧、药物中毒、中脑线、脑疝、心跳停止等的指数。2mm或更小的缩瞳可以用作脑疝、有机磷中毒等的初始阶段的标志。1mm或更小的针孔可以用作脑桥出血、麻醉中毒等的标志。在左瞳孔和右瞳孔在直径上具有0.5mm或更大的差的情况下，可以认为是脑疝的标志。注意，散瞳和缩瞳可以通过从眼球观察图像中精确地提取瞳孔的轮廓并测量瞳孔的直径来测量。

此外，可以通过观察虹膜状态(虹膜学)来理解健康状态。例如，可以通过观察虹膜周围的混浊程度(胆固醇环)来确定或推断高血胆固醇或脂质代谢问题。因此，可以基于虹膜周围的混浊程度来确定或推断用户的健康状态。此外，在瞳孔周围出现一个或更多个和的状态指示高压力的状态。因此，在出现一个或更多个和的情况下，可以确定或推断用户处于高压力状态。

此外，根据本实施方式的眼球观察装置，也可以通过观察人的眼球来推断人的清醒状态。可以基于清醒状态的改变来确定疲劳程度、工作效率等。特别地，确定汽车、火车等的驾驶员的清醒程度对于确保安全性会很有效。例如，一旦清醒程度降低并且副交感神经系统的作用优于交感神经的作用，则瞳孔缩小，然而，同时重复对抗缩瞳的散瞳。因此，在清醒度变低的情况下，瞳孔的直径在低频(大的低频波动)下表现出较大的波动。因此，可以基于瞳孔直径的改变来确定或推断健康状态或清醒状态。

注意，如果使用两个偏振成像装置，则可以使用三角测量法来测量到眼球的距离，从而可以准确地测量瞳孔的直径。此外，在观察到人的瞳孔的直径的普通改变的情况下，可以观察到瞳孔的直径的相对改变，并且可以通过图像处理仅使用一个成像装置通过使面部的一部分例如眼睛的外角或内角标准化同时使用该部分作为标记来管理健康状态和清醒状态。

如上所述，可以通过观察用户的眼球来确定用户的各种状态。根据本实施方式，可以相对于佩戴眼镜的用户生成眼镜表面上的反射被去除的眼球图像。可以通过例如将成像装置和偏振的红外光源并入到智能电话中借助于虹膜认证来执行人识别和日常健康检查。通过利用该装置配置，不仅可以执行健康状态或清醒状态的确定或推断，而且可以执行用户的视线的检测。此外，可以通过在需要操作者的交通工具例如汽车、火车或飞机等中观察到眼球的位置处安装偏振红外光源和红外相机来监视清醒状态。

根据本实施方式的眼球观察装置，也可以使用针对裸眼用户的相同的配置来获取眼球图像。存在由偏振片限制的入射到图像传感器上的由于光的照明不充分的一般情况。在使用同时获取三个或更多个偏振方向的传感器的情况下，可以通过使用所有偏振方向的平均图像来解决不充分的照明。

<4.硬件配置>

最终，描述根据上述实施方式的视线推断运算装置100的硬件配置示例。图13是示出根据上述实施方式的视线推断运算装置100的硬件配置的硬件配置图。

根据本实施方式的视线推断运算装置100可以实现为如上所述的包括计算机的处理装置。如图13所示，视线推断运算装置100被配置成包括中央处理单元(CPU)901、只读存储器(ROM)902、随机存取存储器(RAM)903和主机总线904a。此外，视线推断运算装置100被配置成包括桥接器904、外部总线904b、接口905、输入装置906、输出装置907、存储装置908、驱动器909、连接端口911和通信装置913。

CPU 901用作运算处理单元和控制单元并且根据各种程序来控制视线推断运算装置100中的整体操作。此外，CPU 901可以是微处理器。ROM902在一个示例中存储由CPU 901使用的程序或操作参数。RAM903暂时存储由CPU 901执行的程序或在执行期间适当改变的参数等。这些部件经由包括CPU总线等的主机总线904a互连。

主机总线904a通过桥接器904连接至主机总线904b例如外围部件互连/接口(PCI)总线。而且，主机总线904a、桥接器904和外部总线904b不一定被配置为单独的部件，并且它们的功能可以被合并成单个总线。

输入装置906被配置成包括：用户可以输入信息的；以及输入控制电路，其基于用户的输入生成输入信号并将输入信号输出至CPU 901。输入装置的示例包括鼠标、键盘、触摸面板、按钮、麦克风、开关和控制杆。在一个示例中，输出装置907包括诸如液晶显示(LCD)装置、有机发光二极管(OLED)装置或灯之类的显示装置以及诸如扬声器之类的语音输出装置。

存储装置908是视线推断运算装置100的存储单元的示例并且是用于存储数据的装置。存储装置908可以包括记录介质、将数据记录在记录介质中的记录装置、从记录介质读出数据的读出装置以及删除记录在记录介质中的数据的删除装置。存储装置908驱动硬盘并且存储由CPU 901执行的程序和各种数据。

驱动器909是用于记录介质的读写器并且被内置在视线推断运算装置100中或从外部附接至视线推断运算装置100。驱动器909读取记录在安装的磁盘、光盘、磁光盘或诸如半导体存储器之类的可移动存储介质中的信息并且将该信息输出至RAM903。

在一个示例中，连接端口911是连接至外部装置的接口并且是用于连接能够通过通信串行总线(USB)传输数据的外部装置的端口。此外，在一个示例中，通信装置913是包括通信装置等的用于连接至通信网络5的通信接口。此外，通信装置913可以是与无线局域网(LAN)兼容的通信装置、与无线USB兼容的通信装置或利用导线进行通信的有线通信设备。

上面参照附图描述了本公开内容的一个或更多个优选实施方式，而本公开内容不限于上述示例。本领域技术人员可以在所附权利要求的范围内找到各种变化和修改，并且应该理解，各种变化和修改将自然地落入本公开内容的技术范围内。

例如，虽然在上述实施方式中使用多个红外光源时通过执行校准来进行角膜反射图像与红外光源的关联，但是本技术不限于此。在已知与相应红外光源对应的偏振器的角度偏差的情况下，可以基于由偏振器引起的偏振方向的角度来进行与角膜反射图像的关联。

此外，在本说明书中描述的效果仅是说明性或示例性的效果，而不是限制性的。亦即，利用或替代上述效果，根据本公开内容的技术可以从本说明书的描述中实现本领域技术人员清楚的其他效果。

此外，本技术也可以按如下来配置。

(1)一种眼球观察装置，包括：

至少一个红外光源，被配置成将偏振的红外光照射到用户的眼球上；以及

至少一个成像装置，被配置成捕捉利用所述偏振的红外光照射的眼球的图像并且能够同时捕捉具有至少三个方向的偏振图像。

(2)根据(1)所述的眼球观察装置，包括：

偏振模型生成单元，被配置成生成偏振模型，所述偏振模型表示相对于由所述成像装置获取的偏振图像的每个像素的偏振方向与亮度之间的关系。

(3)根据(2)所述的眼球观察装置，包括：

任意相位偏振图像生成单元，被配置成通过使用所述偏振模根据由所述成像装置获取的偏振图像生成具有任意偏振方向的任意相位偏振图像。

(4)根据(3)所述的眼球观察装置，其中，所述任意相位偏振图像生成单元通过改变相对于所述偏振图像的每个像素的偏振方向来提取最小亮度值并且生成具有所述最小亮度值的用于瞳孔检测的偏振图像。

(5)根据(3)或(4)所述的眼球观察装置，其中，所述任意相位偏振图像生成单元通过改变相对于所述偏振图像的每个像素的偏振方向来提取最大亮度值并且生成具有所述最大亮度值的用于亮点检测的偏振图像。

(6)根据(5)所述的眼球观察装置，包括：

亮点检测单元，被配置成检测用于亮点检测的所述偏振图像中的亮点；以及

离群点去除单元，被配置成基于所检测的亮点的偏振度通过所述亮点来去除角膜反射图像的离群点。

(7)根据(6)所述的眼球观察装置，其中，所述离群点去除单元将所检测的亮点中的具有小于预定值的偏振度的亮点作为离群点去除。

(8)根据(6)或(7)所述的眼球观察装置，包括：

角膜反射图像识别单元，被配置成基于所述偏振模型的相位之间的差来识别与通过由所述离群点去除单元去除离群点获取的角膜反射图像对应的红外光源。

(9)根据(1)至(8)中任一项所述的眼球观察装置，其中，在设置有多个红外光源的情况下，与相应红外光源对应的偏振器中的至少一个具有与其他偏振器的偏振方向不同的偏振方向。

(10)根据(1)至(9)中任一项所述的眼球观察装置，还包括：

第一运算装置，被配置成基于所捕捉的眼球的图像来检测或推断用户的视线。

(11)根据(1)至(10)中任一项所述的眼球观察装置，还包括：

第二运算装置，被配置成基于所捕捉的眼球的图像来获取眼球状态信息并且基于所获取的眼球状态信息来检测或推断用户的健康状态和清醒状态中的至少一个。

(12)一种眼镜型终端，包括：

透镜，被配置成设置在用户的眼睛前方；以及

眼球观察装置，其包括：至少一个红外光源，被配置成将偏振的红外光照射到所述用户的眼球上；以及至少一个成像装置，被配置成捕捉利用所述偏振的红外光照射的眼球的图像并且能够同时捕捉具有至少三个方向的偏振图像。

(13)根据(12)所述的眼镜型终端，还包括：

第一运算装置，被配置成基于所捕捉的眼球的图像来检测或推断用户的视线。

(14)根据(12)或(13)所述的眼镜型终端，还包括：

第二运算装置，被配置成基于所捕捉的眼球的图像来获取眼球状态信息并且基于所获取的眼球状态信息来检测或推断用户的健康状态和清醒状态中的至少一个。

(15)一种视线检测方法，包括：

捕捉由至少一个红外光源对用户的眼球照射偏振的红外光的眼球的图像并且同时获取具有至少三个方向的偏振图像；

生成表示相对于所述偏振图像的每个像素的偏振方向与亮度之间的关系的偏振模型；

通过使用所述偏振模型来生成具有任意偏振方向的任意相位偏振图像；以及

基于所述任意相位偏振图像来推断视线的方向。

(16)一种程序，所述程序使计算机执行以下操作：

捕捉由至少一个红外光源对用户的眼球照射偏振的红外光的眼球的图像并且同时获取具有至少三个方向的偏振图像；

生成表示相对于所述偏振图像的每个像素的偏振方向与亮度之间的关系的偏振模型；

通过使用所述偏振模型来生成具有任意偏振方向的任意相位偏振图像；以及

基于所述任意相位偏振图像来推断视线的方向。

附图标记列表

1 眼球观察装置

11 红外光源

12 偏振器

13 成像装置

15 光路分隔装置

20 光源偏振方向存储单元

100 视线推断运算装置

110 图像生成单元

111 偏振模型生成单元

113 偏振模型存储单元

115 任意相位偏振图像生成单元

117 任意相位偏振图像存储单元

120 图像处理单元

121 瞳孔检测单元

123 亮点检测单元

125 离群点去除单元

127 角膜反射图像识别单元

130 视线推断单元

Claims (16)

1.一种眼球观察装置，包括：

至少一个红外光源，被配置成将偏振的红外光照射到用户的眼球上；以及

至少一个成像装置，被配置成捕捉利用所述偏振的红外光照射的眼球的图像并且能够同时捕捉具有至少三个方向的偏振图像。

2.根据权利要求1所述的眼球观察装置，包括：

偏振模型生成单元，被配置成生成偏振模型，所述偏振模型表示相对于由所述成像装置获取的偏振图像的每个像素的偏振方向与亮度之间的关系。

3.根据权利要求2所述的眼球观察装置，包括：

任意相位偏振图像生成单元，被配置成通过使用所述偏振模型根据由所述成像装置获取的偏振图像生成具有任意偏振方向的任意相位偏振图像。

4.根据权利要求3所述的眼球观察装置，其中，所述任意相位偏振图像生成单元通过改变相对于所述偏振图像的每个像素的偏振方向来提取最小亮度值并且生成具有所述最小亮度值的用于瞳孔检测的偏振图像。

5.根据权利要求3所述的眼球观察装置，其中，所述任意相位偏振图像生成单元通过改变相对于所述偏振图像的每个像素的偏振方向来提取最大亮度值并且生成具有所述最大亮度值的用于亮点检测的偏振图像。

6.根据权利要求5所述的眼球观察装置，包括：

亮点检测单元，被配置成检测用于亮点检测的所述偏振图像中的亮点；以及

离群点去除单元，被配置成基于所检测的亮点的偏振度通过所述亮点来去除角膜反射图像的离群点。

7.根据权利要求6所述的眼球观察装置，其中，所述离群点去除单元将所检测的亮点中的具有小于预定值的偏振度的亮点作为离群点去除。

8.根据权利要求6所述的眼球观察装置，包括：

角膜反射图像识别单元，被配置成基于所述偏振模型的相位之间的差来识别与通过由所述离群点去除单元去除离群点获取的角膜反射图像对应的红外光源。

9.根据权利要求1所述的眼球观察装置，其中，在设置有多个红外光源的情况下，与相应红外光源对应的偏振器中的至少一个具有与其他偏振器的偏振方向不同的偏振方向。

10.根据权利要求1所述的眼球观察装置，还包括：

第一运算装置，被配置成基于所捕捉的眼球的图像来检测或推断用户的视线。

11.根据权利要求1所述的眼球观察装置，还包括：

第二运算装置，被配置成基于所捕捉的眼球的图像来获取眼球状态信息并且基于所获取的眼球状态信息来检测或推断用户的健康状态和清醒状态中的至少一个。

12.一种眼镜型终端，包括：

透镜，被配置成设置在用户的眼睛前方；以及

眼球观察装置，其包括：至少一个红外光源，被配置成将偏振的红外光照射到所述用户的眼球上；以及至少一个成像装置，被配置成捕捉利用所述偏振的红外光照射的眼球的图像并且能够同时捕捉具有至少三个方向的偏振图像。

13.根据权利要求12所述的眼镜型终端，还包括：

第一运算装置，被配置成基于所捕捉的眼球的图像来检测或推断用户的视线。

14.根据权利要求12所述的眼镜型终端，还包括：

第二运算装置，被配置成基于所捕捉的眼球的图像来获取眼球状态信息并且基于所获取的眼球状态信息来检测或推断用户的健康状态和清醒状态中的至少一个。

15.一种视线检测方法，包括：

捕捉由至少一个红外光源对用户的眼球照射偏振的红外光的眼球的图像并且同时获取具有至少三个方向的偏振图像；

生成表示相对于所述偏振图像的每个像素的偏振方向与亮度之间的关系的偏振模型；

通过使用所述偏振模型来生成具有任意偏振方向的任意相位偏振图像；以及

基于所述任意相位偏振图像来推断视线的方向。

16.一种程序，所述程序使计算机执行以下操作：

捕捉由至少一个红外光源对用户的眼球照射偏振的红外光的眼球的图像并且同时获取具有至少三个方向的偏振图像；

生成表示相对于所述偏振图像的每个像素的偏振方向与亮度之间的关系的偏振模型；

通过使用所述偏振模型来生成具有任意偏振方向的任意相位偏振图像；以及

基于所述任意相位偏振图像来推断视线的方向。