CN117377933A - 视线检测装置、显示装置、视线检测系统和视线检测方法 - Google Patents

Abstract

为了在适当的时刻获取与眼睛相关的位置信息。提供了一种视线检测设备，其包括：用多束照明光照射眼睛的照明单元；判定使所述照明单元进行照射的时刻的判定单元；控制所述照明单元的照明控制单元；具有事件驱动功能的成像元件；以及计算与所述眼睛相关的位置信息的计算单元；其中，所述照明控制单元根据所述判定单元的判定结果，使所述照明单元照射所述眼睛；所述图像传感器通过接收从所述眼睛反射的光线生成事件信息；所述计算单元根据事件信息计算与所述眼睛相关的位置信息。

Description

视线检测装置、显示装置、视线检测系统和视线检测方法

技术领域

本技术涉及视线检测装置、显示装置、视线检测系统和视线检测方法。

背景技术

眼睛感测技术被期望应用于各种技术领域。例如，眼睛感测技术被期望用于脑科学、生物工程和医学科学等研究领域。眼睛追踪技术被期望应用于技术转移和用户体验改进等工业领域。此外，虹膜识别技术被期望用于安全技术领域。

此外，眼睛感测技术最近几年在增强现实(AR)和虚拟现实(VR)等使用头戴显示器的技术中被用于视点渲染、可视区域(眼盒)扩展等方面，这些领域的发展竞争非常激烈。

例如，专利文献1已经公开了一种在依次切换发光光源的同时进行眼睛追踪的技术。

现有技术列表

专利文献

专利文献1：国际专利申请公开第2019/067731号

发明内容

本发明要解决的问题

然而，例如专利文献1所公开的技术在某些情况下无法在适当的时刻获取与眼睛相关的位置信息。

鉴于此，本技术的主要目的是提供一种可以在适当的时刻获取与眼睛相关的位置信息的视线检测装置，包括这种视线检测装置的显示装置和视线检测系统、以及视线检测方法。

解决问题的手段

本技术提供一种视线检测装置，包括：用多束照明光照射眼睛的照明单元；判定使照明单元进行照射的时刻的判定单元；控制照明单元的照明控制单元；具有事件驱动功能的成像元件；以及计算与眼睛相关的位置信息的计算单元，其中，照明控制单元根据判定单元的判定结果使照明单元照射眼睛，成像元件通过接收从眼睛反射的光生成事件信息，计算单元根据事件信息计算与眼睛相关的位置信息。

判定单元可根据事件信息获取发生了用户的运动的判定结果，并且照明控制单元根据该判定结果使照明单元照射眼睛。

用户的运动可包括眼睑的睁闭运动，判定单元在眼睑进行了的睁闭运动的情况下，可获取发生了用户的运动的判定结果。

用户的运动可包括瞳孔的直径尺寸的变化，并且判定单元在瞳孔的直径尺寸的变化量等于或大于预定阈值的情况下，可获取发生了用户的运动的判定结果。

用户的运动包括扫视，并且判定单元在扫视的速度等于或大于预定阈值的情况下，可获取发生了用户的运动的判定结果。

视线检测装置还可包括检测用户的环境的环境检测单元，其中判定单元根据环境检测单元的检测结果获取用户环境发生了变化的判定结果，并且照明控制单元可以基于该判定结果使照明单元照射眼睛。

环境检测单元的检测结果可包括亮度，并且判定单元在亮度的变化量等于或大于预定阈值的情况下，可获取用户环境发生了变化的判定结果。

此外，本技术提供至少包括视线检测装置的显示装置。

显示装置可进一步包括用于检测用户的动作的动作检测单元，其中判定单元可以根据动作检测单元的检测结果获取发生了用户的动作的判定结果，并且照明控制单元可基于该判定结果使照明单元照射眼睛。

用户的动作了包括将显示装置戴在用户的头部，并且判定单元在显示装置已被戴在用户的头部的情况下，可获取发生了用户的动作的判定结果。

用户的动作可包括对显示装置上进行用户的操作，并且判定单元在对显示装置进行了用户的操作的情况下，可获取发生了用户的动作的判定结果。

显示装置还可包括检测由显示装置显示的视频的视频检测单元，其中判定单元可根据视频检测单元的检测结果获取视频发生了变化的判定结果，并且照明控制单元可根据该判定结果使照明单元照射眼睛。

视频检测单元的检测结果可包括视频的亮度，并且判定单元在亮度的变化量等于或大于预定阈值的情况下，可获取视频发生了经变化的判定结果。

此外，本技术还提供一种视线检测系统，包括：用多束照明光照射眼睛的照明单元；判定使照明单元进行照射的时刻判定单元；控制照明单元的照明控制单元；具有事件驱动功能的成像元件；以及计算与眼睛相关的位置信息的计算单元；其中照明控制单元根据判定单元的判定结果使照明单元照射眼睛，成像元件通过接收从眼睛反射的光生成事件信息，计算单元根据事件信息计算与眼睛相关的位置信息。

此外，本技术还提供一种视线检测方法，包括：判定照射眼睛的时刻；根据判定的结果，用多束照明光照射眼睛；通过使用具有事件驱动功能的成像元件接收从眼睛反射的光，来生成事件信息；以及基于事件信息计算与眼睛相关的位置信息。

根据本技术，可以在适当的时刻获得与眼睛相关的位置信息。需要注意的是，本文提出的效果并不一定局限于此，可能是本公开内容所阐述的效果中的任意一种。

附图说明

图1示出根据本技术的第一实施方式的视线检测装置107的配置示例的示意图。

图2示出根据本技术的第一实施方式的视线检测装置107的处理流程的示例的流程图。

图3示出眼睛20的配置的简化图。

图4示出根据本技术的第二实施方式的视线检测装置107的配置示例的示意图。

图5示出根据本技术的第三实施方式的显示装置100的俯视图，该装置被戴在用户头部。

图6示出根据本技术的第三实施方式的显示装置100的正视图，该装置被戴在用户头部。

图7示出根据本技术的第三实施方式的显示装置100的配置示例的框图。

图8示出根据本技术的第五实施方式的视线检测装置107的配置示例的示意图。

图9示出根据本技术的第六实施方式的视线检测系统200的配置示例的示意图。

图10示出根据本技术的第七实施方式的视线检测方法的示例的流程图。

具体实施方式

以下将描述实施本技术的优选模式。下面描述的实施方式示出本技术的典型实施方式。不应由于这些实施方式而狭隘地理解本技术的范围。

将按照下述顺序进行描述。

1、本技术概述

2、第一实施方式(视线检测装置示例1)

3、第二实施方式(视线检测装置示例2)

4、第三实施方式(显示装置示例1)

5、第四实施方式(显示装置示例2)

6、第五实施方式(显示装置示例3)

7、第六实施方式(视线检测系统示例)

8、第七实施方式(视线检测方法示例)

<1、本技术的概述>

传统上，通过用红外线照射眼睛以及通过诸如图像传感器等的成像元件接收反射光来获取与眼睛相关的位置信息的技术已被使用。红外线照射眼睛可以更容易区分瞳孔和虹膜。

另外，期待降低获取与眼睛相关的位置信息的可穿戴装置(如头戴显示器)的功耗。鉴于此，本技术采用具有事件驱动功能的成像元件，例如动态视觉传感器(DVS)。DVS可有助于降低功耗，因为只有亮度发生变化的像素才会在DVS中生成事件信息。此外，DVS具有高时间分辨率，因此可以生成高准确度的事件信息。

然而，由于动态视觉传感器(DVS)的各个像素每次在其亮度发生变化时都会生成事件信息，因此DVS会产生很多噪音。存在的一个问题是这种噪音使得DVS难以高准确度地获取与眼睛相关的位置信息。

此外，还存在的一个问题是眨眼、眼球快速运动(扫视)等会导致暂时无法获取与眼睛相关的位置信息。此外，还存在的一个问题是由于在微小的眼球运动时DVS生成的事件信息较少，从而降低了获取与眼睛相关的位置信息的准确性。

作为解决这些问题的其中一种方法，可以通过对眼睛进行照射来强制改变亮度，从而强制获取与眼睛相关的位置信息。

然而，当亮度被强制改变时，由于几乎所有像素都会生成事件信息，从而生成比正常情况多几十万倍的事件信息。存在的一个问题是当几乎所有像素都生成事件信息时，由于像素生成的事件信息是针对每条扫描线按顺序读取的，因此读取会被延迟。此外，由于DVS具有高时间分辨率，每次照射可能会导致各个像素生成多个事件信息，这增加了延迟。此外，还存在的一个问题是当几乎所有像素都生成事件信息时，由于事件信息的生成会消耗电力，因而会增加功耗。

鉴于此，本技术提供了一种视线检测装置，该装置通过判定照射眼睛的时机来在适当的时刻获取与眼睛相关的位置信息。因此，根据本技术的视线检测装置可以高度准确地获取与眼睛相关的位置信息。此外，例如根据本技术的视线检测装置还有助于减少处理延迟和降低功耗。

以下，将参照附图详细描述实施本技术的优选实施方式。应当注意，在附图中，除非另有说明，术语“上”表示图中的上方或上面，而术语“下”表示图中的下方或下面，术语“左”表示图中的左方或左边，术语“右”表示图中的右方或右边。此外，在参照附图进行描述时，相同或相等的元件或部件将用相同的附图标记表示，并省略重复的描述。

<2、第一实施方式(视线检测装置示例1)>

根据第一实施方式的视线检测装置包括：用多束照明光照射眼睛的照明单元；判定使照明单元进行照射的时刻的判定单元；控制照明单元的照明控制单元；具有事件驱动功能的成像元件；以及计算与眼睛相关的位置信息的计算单元，其中照明控制单元根据判定单元的判定结果使照明单元照射眼睛，成像元件通过接收从眼睛反射的光生成事件信息，并且计算单元根据事件信息计算与眼睛相关的位置信息。

将参照图1描述根据本技术的第一实施方式中的视线检测装置。图1是示出根据本技术的第一实施方式的视线检测装置107的配置示例的示意图。

如图1所示，根据本技术的第一实施方式中的视线检测装置107包括：照明单元1，其用多束照明光照射眼睛20；判定单元2，其判定使照明单元1进行照射的时刻；照明控制单元3，其控制照明单元1；成像元件4，其具有事件驱动功能；计算单元5，其计算与眼睛20相关的位置信息。

首先，判定单元2判定使照明单元1进行照射的时刻。稍后将描述各种判定手段。例如，设置在计算机中的中央处理器(CPU)可以用作判定单元2。通过CPU读取程序，可以实现为判定单元2。应注意，深度神经网络等中的学习模型可以作为程序的示例。

接下来，照明控制单元3根据判定单元2的判定结果，使照明单元1照射眼睛20。照明控制单元3例如可以通过使用调制器实现。

然后，照明单元1用多束照明光照射眼睛20。例如，可以使用LED实现照明单元1。如上所述，照明光优选是红外光。应注意，照明单元1的光照模式不限于圆形。

优选使用两束或更多束照明光，并且更优选地使用四束或更多束照明光。这可以防止例如根据眼球的方向而无法完全接收反射光的情况。由于使用了多束照明光，至少可以接收到一束照明光。

然后，具有事件驱动功能的成像元件4通过接收从眼睛20反射的光生成事件信息。例如，可以将DVS用作具有事件驱动功能的成像元件4。

最后，计算单元5根据事件信息计算与眼睛20相关的位置信息。特别是，计算单元5计算眼球运动信息和/或瞳孔位置信息。例如，设置在计算机中的中央处理器(CPU)可以用作计算单元5。通过CPU读取程序，可以实现计算单元5。应注意，深度神经网络中的学习模型等可以作为程序的示例。

将参照图2描述根据本技术的第一实施方式中的视线检测装置107的处理流程。图2是示出根据本技术的第一实施方式中视线检测装置107的处理流程的示意图。

如图2所示，在步骤S11中，计算单元5获得由成像元件4接收从眼睛反射的光而生成的事件信息。

在步骤S12中，计算单元5根据获得的事件信息执行与眼睛相关的分割。将参照图3描述此分割。图3示出眼睛20的简化图的配置。如图3所示，眼睛20具有瞳孔21和虹膜22。此外，由照明单元1发出的照明光的反射光产生的浦肯野图像(Purkinje image)23被检测到。

例如，计算单元5根据输入的事件信息，对浦肯野图像23、瞳孔21和虹膜22的各个区域进行分割。

返回参照图2，在步骤S13中，判定单元2判定用户是否发生了运动。用户的运动的示例可包括眼睑的睁闭运动、瞳孔直径大小的变化、扫视、佩戴装置和对装置的操作。眼睑的睁闭运动可包括无意识的眨眼和有意识的眨眼。存在由于用户的这种运动导致视线检测装置107可能无法获取瞳孔21等的位置的可能。因此，用户进行了这种运动的时刻是获取与眼睛相关的位置信息的适当时刻。

虽然输入至判定单元2的信息没有特别限制，但是吗，举例而言，可以将成像元件4生成的事件信息输入至判定单元2。判定单元2可以根据事件信息获得发生了用户的运动的判定结果。例如，当具有特定波形的事件信息被输入至判定单元2时，判定单元2判定发生了眼睑的睁闭运动，并获得发生了用户的运动的判定结果。获得的判定结果使视线检测装置107能够在适当的时刻获得与眼睛相关的位置信息。因此，视线检测装置107可以高度准确地获取与眼睛相关的位置信息。

例如，可以使用下面非专利文献1中公开的技术作为判定眼睑的睁闭运动的技术。

非专利文献1:“Real-Time Face&Eye Tracking and Blink Detection usingEvent Cameras(实时面部和眼睛跟踪以及使用事件相机的眨眼检测”,2020，https://arxiv.org/abs/2010.08278。

可选地，在瞳孔直径的变化量等于或大于预定阈值的情况下，判定单元2获得发生了用户的运动的判定结果。例如，在瞳孔直径的变化量等于或大于2毫米的情况下，判定单元2获得发生了用户的运动的判定结果。

获得的判定结果使视线检测装置107能够在适当的时刻获得与眼睛相关的位置信息。因此，视线检测装置107可以高度准确地获取与眼睛相关的位置信息。

可选地，在扫视速度等于或大于预定阈值的情况下，判定单元2获得发生了用户的运动的判定结果。例如，在扫视速度等于或大于20度/秒的情况下，判定单元2获得发生了用户的运动的判定结果。

获得的判定结果使视线检测装置107能够在适当的时刻获得与眼睛相关的位置信息。因此，视线检测装置107能够高度准确地获取与眼睛相关的位置信息。

随后，在步骤S14中，照明控制单元3根据判定结果控制照明单元1照射眼睛。在判定单元2获得发生了用户的运动的判定结果的情况下(步骤S13：是)，照明控制单元3控制照明单元1照射眼睛。

在步骤S15中，照明单元1用多束照明光照射眼睛。

在步骤S16中，计算单元5获取由接收到从眼睛反射的光的成像元件4所生成的事件信息。

在步骤S17中，计算单元5根据事件信息计算浦肯野图像23、瞳孔21和虹膜22的每一者的区域的位置信息。

在步骤S18中，计算单元5例如根据浦肯野图像23、瞳孔21和虹膜22的每一者的区域的位置信息，判定感兴趣区域(ROI)。该ROI是被判定作为图像数据中的分析目标的区域。

在步骤S19中，计算单元5根据浦肯野图像23和/或瞳孔21的位置信息计算与眼睛相关的三维位置信息。该位置信息可作为先前帧信息来用于判定ROI(步骤S18)。

在步骤S20中，计算单元5输出与眼睛相关的三维位置信息。

应注意的是，在步骤S13中，在判定单元2没有获取到发生了用户的运动的判定结果的情况下(步骤S13：否)，则执行步骤S18之后的处理。

根据本技术的第一实施方式的视线检测装置的上述的内容可以适用于本技术的其他实施方式，除非造成技术矛盾。

<3、第二实施方式(视线检测装置的示例2)>

根据本技术的第二实施方式的视线检测装置进一步包括环境检测单元，其检测用户的环境；其中，判定单元根据环境检测单元的检测结果获取用户环境发生了变化的判定结果，且照明控制单元基于该判定结果使照明单元照射眼睛。

参照图4将描述根据本技术的第二实施方式的视线检测装置。图4是示出根据本技术的第二实施方式的视线检测装置107的配置示例的示意图。

如图4所示，根据本技术的第二实施方式的视线检测装置107进一步包括环境检测单元6，其检测用户的环境。例如，可以使用获得亮度作为数值的传感器(如亮度计和图像传感器)作为环境检测单元6。

判定单元2根据环境检测单元6的检测结果获取用户环境发生了变化的判定结果。例如，在使用亮度计作为环境检测单元6的情况下，检测结果包括亮度。在亮度变化量等于或大于预定阈值时，判定单元2获取用户环境发生了变化的判定结果。例如，在变化后的亮度比变化前的亮度高出十倍或更高，或者变化后的亮度等于或低于变化前的亮度的1/10的情况下，判定单元2获取用户环境发生了变化的判定结果。

照明控制单元3根据判定结果使照明单元1照射眼睛。因此，视线检测装置107可在适当的时刻获取与眼睛相关的位置信息。结果，视线检测装置107可以高精度地获取与眼睛相关的位置信息。

例如，当用户从黑暗的地方移动到明亮的地方时，用户瞳孔直径尺寸会发生变化。因此，照明控制单元3可以使照明单元1照射眼睛。

根据本技术的第二实施方式的视线检测装置的上述内容可以适用于本技术的其他实施方式，除非造成技术矛盾。

<4、第三实施方式(显示装置的示例1)>

根据本技术的第三实施方式的显示装置至少包括根据本技术的第一或第二实施方式中的视线检测装置。根据本技术的第三实施方式的显示装置可以应用于例如头戴显示器的眼镜显示器等设备中。

根据本技术的第三实施方式的显示装置例如包括视频显示单元、检测显示装置位置相对于用户的头部的变化量的传感器(也称位移传感器)、根据本技术的第一或第二实施方式中的视线检测装置、投影位置调整机构、控制单元和储存单元。

将参照图5和图6来描述根据本技术的第三实施方式的显示装置的配置示例。图5是根据本技术的第三实施方式的显示装置100的俯视图，显示装置100被戴在用户头部上。图6是根据本技术的第三实施方式的显示装置100的正视图，显示装置100被戴在用户头部上。

(视频显示单元)

如图5和图6所示，显示装置100包括镜腿部分109L和镜框部分108L，它们是眼镜形的部件。光源单元101L和投影光学系统102L设置在镜腿部分109L中。全息光学元件(HOE)103L固定在镜框部分108L中。更具体地说，经由投影位置调整机构105L-2将内部镜框部分106L固定在镜框部分108L中。经由投影位置调整机构105L-1将全息光学元件103L固定在内部镜框部分106L中。

例如，可以使用全息透镜，优选的是膜状的全息透镜，更优选的是透明的、膜状的全息透镜作为全息光学元件103L。例如，膜状的全息透镜可以被用来与玻璃粘合在一起。所需的光学特性可以通过现有技术中已知的技术应用于全息透镜。然后，可以使用市售的全息透镜作为全息透镜，或者可以通过公开的相关领域的已知技术制造全息透镜。

显示装置100被配置为将视频显示光投射到用户的双眼的每一者中。也就是说，显示装置100包括将视频显示光投射到左眼的左眼视频显示单元，和将视频显示光投射到右眼的右眼视频显示单元。

左眼视频显示单元包括光源单元101L、投影光学系统102L和全息光学元件103L。

光源单元101L发射视频显示光。光源单元101L例如可包括作为用于发射视频显示光的组件的激光光源120L、反射镜121L和扫描镜122L。

从激光光源120L发射的激光被反射镜121L反射，并到达扫描镜122L。扫描镜122L二维地扫描激光。扫描镜122L可以是微机电系统(MEMS)反射镜。扫描镜122L可以以高速度移动激光的方向，从而在视网膜上形成图像。

投影光学系统102L调整视频显示光的方向，以使其达到全息光学元件103L的期望区域和/或位置。例如，投影光学系统102L将经扫描镜122L扫描的视频显示光转换为平行光。

全息光学元件103L衍射视频显示光，使得视频显示光在用户的瞳孔附近聚焦，然后照射到视网膜上。全息光学元件103L可以是反射衍射元件。全息光学元件103L可以具有其中全息光学元件103L相对于在视频显示光的波长范围内的光用作透镜并透射该波长范围之外的光的光学特性。这种光学特性使用户能够在透过全息光学元件103L识别视线方向上的风景的同时识别视频显示光形成的图像。也就是说，显示装置100能够将视频显示光形成的图像与外部风景进行叠加显示。

如上所述，光源单元101L、投影光学系统102L和全息光学元件103L使视频显示光能够到达用户的左眼。

右眼视频显示单元包括光源单元101R、投影光学系统102R和全息光学元件103R。与光源单元101L、投影光学系统102L和全息光学元件103L的描述同样适用于光源单元101R、投影光学系统102R和全息光学元件103R。

与左眼视频显示单元一样，光源单元101R和投影光学系统102R也布置在镜腿部分109R中。全息光学元件103R则保持在镜框部分108R中。更具体地说，通过投影位置调整机构105R-2，内部镜框部分106R保持在镜框部分108R中。然后，通过投影位置调整机构105R-1，全息光学元件103R保持在内部镜框部分106R中。

使用激光光源120L和激光光源120R可以呈现特定波长的刺激。虽然图6所示的光源单元101L包括单个激光光源120L，但光源单元101L可以设置两个或更多个激光光源。例如，可以设置2-5个激光光源。这些激光光源可以输出具有不同波长的激光。同样，光源单元101R可以设置两个或更多个激光光源。例如，可以设置2-5个激光光源。这些激光光源可以输出具有不同波长的激光。

显示装置100的镜框部分108L和108R通过镜梁部分110连接在一起。镜梁部分110是当用户佩戴显示装置100时放在用户鼻子上的部分。

显示装置100的镜框部分108L和108R连接至头带部分111。头带部分111是当用户佩戴显示装置100时与用户的头顶接触的部分。

虽然图中未示出，但显示装置100还可以进一步包括波长色散补偿构件。由于波长色散补偿构件可以对波长色散进行补偿，所以可以正确地对视网膜上的任意点(预定点)进行刺激。波长色散补偿构件可以例如是反射或透射体积全息图(volume hologram)或反射或透射浮雕全息图(relief hologram)。波长色散补偿构件可以布置在反射镜121L和/或121R的周围。例如，波长色散补偿构件可以布置在反射镜121L和扫描镜122L之间和/或反射镜121R和扫描镜122R之间。

(传感器)

显示装置100还可以进一步包括传感器104L、104R、104C和104T，其用于检测显示装置100相对于用户头部的位置变化。这些传感器检测到的位置变化可以例如是位置方向的变化和/或位置变化的量。应注意的是，在本说明书中，传感器104L、104R、104C和104T有时将被统称为传感器104。

传感器104L和104R检测显示装置100相对于用户头部在水平方向的位置变化。传感器104C检测显示装置100相对于用户头部在前后方向的位置变化。传感器104T检测显示装置100相对于用户头部在上下方向的位置变化。传感器104例如可检测显示装置100的三维佩戴误差或用户对显示装置100的重新佩戴。

(视线检测装置)

显示装置100还可以进一步包括检测用户视线的视线检测装置107L和107R。应注意的是，在本说明书中，有时将视线检测装置107L和107R统称为视线检测装置107。根据本技术的第一或第二实施方式的视线检测装置可以应用于视线检测装置107。

(投影位置调整机构)

投影位置调整机构105L-1和105L-2以及105R-1和105R-2调整从显示装置100发射的视频显示光的投影位置。应注意的是，在本说明书中，这四个投影位置调整机构有时将会被统称为投影位置调整机构105。投影位置调整机构105可以被配置为例如沿着视线调整视频显示光的投影位置，或者可以根据佩戴误差等调整视频显示光的投影位置。

此外，投影位置调整机构105还能够根据眼球的旋转运动或视线的运动来调整视频显示光的投影位置。例如，通过所设置的投影位置调整机构105，显示装置100能够将呈现给用户的图像位置调整到更适当的位置。例如，当将呈现给用户的图像与外部风景叠加时，通过视线检测装置107L和107R检测用户的视线，图像可以在更适当的位置显示。也就是说，设置视线检测装置107有利于呈现增强现实(AR)信息等。

此外，投影位置调整机构105还可用于通过麦克斯韦视觉(Maxwellian view)调整视频显示光在图像显示中聚焦的位置。

投影位置调整机构105L-1和105L-2调整投射到左眼的视频显示光的投影位置。

投影位置调整机构105L-1调整内侧镜框部分106L与镜框部分108L在Z轴方向上的位置关系。例如，投影位置调整机构105L-1可在Z轴方向上相对于镜框部分108L移动内侧镜框部分106L。因此，全息光学元件103L在Z轴方向上的位置得以调整。

投影位置调整机构105L-2调整全息光学元件103L与内侧镜框部分106L在x轴方向上的位置关系。例如，投影位置调整机构105L-2可以在x轴方向上相对于内侧镜框部分106L移动全息光学元件103L。因此，全息光学元件103L在x轴方向上的位置得以调整。

用于移动内侧镜框部分106L和全息光学元件103L的驱动元件可以例如是压电元件、致动器或双金属片等，但不限于此。

投影位置调整机构105L-1能够根据传感器104L、104R、104C和104T中的一个、两个、三个或四个检测到的显示装置100的位置变化，在z轴方向上调整内侧镜框部分106L和镜框部分108L之间的位置关系。此外，投影位置调整机构105L-1还可以根据视线检测装置107L检测到的位置变化和视线调整位置关系。

类似地，投影位置调整机构105L-2例如能够根据传感器104L、104R、104C和104T中的一个、两个、三个或四个检测到的显示装置100的位置变化，在x轴方向上调整全息光学元件103L和内侧镜框部分106L之间的位置关系。此外，投影位置调整机构105L-2还可以根据视线检测装置107L检测到的位置变化和视线调整位置关系。

投影位置调整机构105R-1和105R-2调整投影到右眼的视频显示光的投影位置。该调整可以像投影位置调整机构105L-1和105L-2一样进行。

(控制单元和储存单元)

控制单元和储存单元将参照图7进行描述。图7是示出根据本技术的第三实施方式的显示装置100的配置示例的框图。如图7所示，显示装置100具有控制单元112。控制单元112包括例如图像控制单元181、投影位置控制单元182和视线校正单元183。

图像控制单元181通过视频显示单元控制视频显示光的投影。图像控制单元181驱动例如光源单元101L和101R(特别是这些光源单元中包含的激光光源和扫描镜)，以输出视频显示光。图像控制单元181例如可获取储存单元184中储存的图像数据，并根据图像数据使光源单元101L和101R输出视频显示光。

图像控制单元181可以根据传感器104检测到的显示装置100相对于用户头部的位置变化来校正图像数据。图像控制单元181可以根据校正后的图像数据使光源单元101L和101R输出视频显示光。也就是说，显示装置100可以根据检测头戴显示装置相对于用户头部的位置变化的传感器所检测到的位置变化来校正图像。

投影位置控制单元182通过控制投影位置调整机构105L-1、105L-2、105R-1和105R-2来控制视频显示光的投影位置。例如，投影位置控制单元182可以根据视线检测装置107L和107R检测到的视线来驱动投影位置调整机构105L-1、105L-2、105R-1和105R-2中的一者至四者，以控制视频显示光的投影位置。例如，视频显示光的投影位置可以被控制以跟随视线。

投影位置控制单元182可以根据后文将描述的由视线校正单元183所校正的视线来驱动投影位置调整机构105L-1、105L-2、105R-1和105R-2中的一者至四者，并控制视频显示光的投影位置。例如，视频显示光的投影位置可以被控制以跟随校正后的视线。

投影位置控制单元182可以根据由传感器104L、104R、104C和104T已检测到的、与显示装置100相对于用户头部的位置变化相关的数据(以下简称“位移数据”)，驱动投影位置调整机构105L-1、105L-2、105R-1和105R-2中的一者至四者，并控制视频显示光的投影位置。

例如，基于这样的位移数据和校正系数，投影位置控制单元182可以计算每个投影位置调整机构的位置调整量。投影位置控制单元182可驱动每个投影位置调整机构来使位置关系改变所计算出的位置调整量。投影位置控制单元182例如可以从储存单元184中预先储存的校正表中获取一个校正系数，并将该校正系数用于计算位置调整量。校正表例如可以包含多个校正系数，投影位置控制单元182可以根据位移数据从这些校正系数中选择预定的校正系数。此外，校正表例如可以为每个投影位置调整机构单独提供。校正表可以预先提供在显示装置100中，或者根据用户使用显示装置100的情况进行更新。选择或更新校正表或校正系数可以提高投影位置控制的准确性。投影位置控制单元182可以使用由视线检测装置检测到的视线或由视线校正单元183校正的视线来计算位置调整量。

视线校正单元183根据位移数据校正由视线检测装置107L和107R检测到的视线。因此，视线校正单元183能够在考虑了佩戴误差的情况下识别视线，从而提高视线检测精度。校正可以相对于眼球的光学轴执行，也可以相对于眼球的视觉轴执行，或者相对于其他参照轴执行。与投影位置控制单元182相同，视线校正单元183也可以从例如储存单元184中预先储存的校正表获取校正系数，并将这些校正系数用于校正视线。

显示装置100还可以包括储存单元184。储存单元可以储存与视频显示单元投影的视频显示光、投影位置控制单元122用于投影位置控制的校正表，以及用于由视线校正单元123进行视线校正的校正表相关的数据。

根据本技术的第三实施方式的显示装置的上述内容可应用于本技术的其他实施方式，除非造成技术矛盾。

<5、第四实施方式(显示装置的示例2)>

根据本技术的第四实施方式的显示装置包括：动作检测单元，其检测用户的动作；其中判定单元根据动作检测单元的检测结果获取发生了用户的动作的判定结果，且照明控制单元根据判定结果使照明单元照射眼睛。

例如，可以使用加速度传感器、角速度传感器和惯性测量单元(IMU)作为动作检测单元。

通过动作检测单元检测用户的动作，视线检测装置107可以在适当的时刻获取与眼睛相关的位置信息。因此，视线检测装置107可以高度准确地获取与眼睛相关的位置信息。

用户的动作可包括将显示装置100戴在用户头部。例如，第三实施方式中描述的传感器104也可以作为动作检测单元。传感器104可以检测其中显示装置100被戴在了用户头部的用户的动作。

在显示装置100被戴在了用户头部的情况下，判定单元2获取发生了用户的动作的判定结果。因此，视线检测装置107可以在适当的时刻获取与眼睛相关的位置信息。因此，视线检测装置107可以高度准确地获取与眼睛相关的位置信息。

例如，用户将错误佩戴的显示装置100校正到正确位置的时刻是获取与眼睛相关的位置信息的适当时刻。

此外，用户的动作还可包括用户对显示装置100进行的操作。

在用户对显示装置100进行了操作的情况下，判定单元2获得发生了用户的动作的判定结果。因此，视线检测装置107可在适当的时刻获取与眼睛相关的位置信息。因此，视线检测装置107可以高度准确地获取与眼睛相关的位置信息。

例如，其中用户通过控制器或类似装置对显示装置100进行操作的时刻是获取与眼睛相关的位置信息的适当时刻，由于这是用户试图观看特定目标的时刻。

根据本技术的第四实施方式的显示装置的上述内容可以应用于本技术的其他实施方式中，除非造成技术矛盾。

<6、第五实施方式(显示装置的示例3)>

根据本技术的第五实施方式的显示装置进一步包括视频检测单元，该视频检测单元检测显示装置上显示的视频，其中判定单元根据视频检测单元的检测结果获得视频发生了变化的判定结果，且照明控制单元根据判定结果使照明单元照射眼睛。

将参照图8描述根据本技术的第五实施方式的显示装置中设置的视线检测装置。图8是示出根据本技术的第五实施方式的视线检测装置107的配置示例的示意图。

如图8所示，根据本技术的第五实施方式的视线检测装置107进一步包括视频检测单元7，其检测显示装置100上显示的视频。具体地，视频检测单元7获取显示装置100上显示的视频的亮度作为数值。例如，可以使用光电二极管作为视频检测单元7。

判定单元2根据视频检测单元7的检测结果获得视频发生了变化的判定结果。例如，在将光电二极管用作视频检测单元7的情况下，检测结果包括视频的亮度。在亮度变化量大于或等于预定阈值的情况下，判定单元2获得视频发生了变化的判定结果。例如，在变化后的亮度是变化前亮度的十倍或更高，或者变化后亮度是变化前亮度的1/10或更低的情况下，判定单元2获得视频发生了变化的判定结果。

照明控制单元3根据判定结果使照明单元1照射眼睛。因此，视线检测装置107可以在适当的时刻获取与眼睛相关的位置信息。结果，视线检测装置107可以高度准确地获取与眼睛相关的位置信息。

例如，当从暗视频切换到亮视频时，用户的瞳孔直径尺寸会发生变化。因此，使照明单元1照射眼睛。

根据本技术的第五实施方式的显示装置的上述内容可以应用于本技术的其他实施方式中，除非造成技术矛盾。

<7、第六实施方式(视线检测系统的示例)>

根据本技术的第六实施方式的视线检测系统包括：照明单元，其用多束照明光照射眼睛；判定单元，其判定使照明单元进行照射的时刻；照明控制单元，其控制照明单元；成像元件，其具有事件驱动功能；以及计算单元，其计算与眼睛相关的位置信息，其中照明控制单元根据判定单元的判定结果使照明单元照射眼睛，成像元件通过接收从眼睛反射的光生成事件信息，并且计算单元根据事件信息计算与眼睛相关的位置信息。

将参照图9描述根据本技术的第六实施方式的视线检测系统。图9是示出根据本技术的第六实施方式的视线检测系统200的配置示例的示意图。

如图9所示，根据本技术的第六实施方式的视线检测系统200包括：照明单元1，其用多束照明光照射眼睛；判定单元2，其判定使照明单元1进行照射的时刻；照明控制单元3，其控制照明单元1；成像元件，其具有事件驱动功能4；以及计算单元5，其计算与眼睛相关的位置信息。

照明控制单元3根据判定单元2的判定结果使照明单元1照射眼睛。

成像元件4通过接收从眼睛反射的光线来生成事件信息。

计算单元5根据事件信息计算与眼睛相关的位置信息。

根据本技术的第六实施方式的视线检测系统的上述内容可以应用于本技术的其他实施方式中，除非造成技术矛盾。

<8、第七实施方式(视线检测方法的示例)>

根据本技术的第七实施方式的视线检测方法包括：判定照射眼睛的时刻；根据判定结果用多束照明光照射眼睛；通过使用具有事件驱动功能的成像元件接收从眼睛反射的光来生成事件信息；以及根据事件信息计算与眼睛相关的位置信息。

将参照图10描述根据本技术的第七实施方式的视线检测方法。图10是根据本技术的第七实施方式的视线检测方法的示例的流程图。

如图10所示，在根据本技术的第七实施方式的视线检测方法中，例如，在步骤S1中，判定单元2根据其他实施方式判定照射眼睛的时刻。

接下来，在步骤S2中，例如，根据其他实施方式的照明单元1根据判定的结果用多束照明光照射眼睛。

接下来，在步骤S3中，例如，根据其他实施方式的具有事件驱动功能的成像元件4通过接收从眼睛反射的光线来产生事件信息。

接下来，在步骤S4中，例如，根据其他实施方式的计算单元5根据事件信息计算与眼睛相关的位置信息。

根据本技术的第七实施方式的视线检测方法的上述内容，可以应用于本技术的其他实施方式，除非造成技术上的矛盾。

应注意的是，根据本技术的实施方式不仅限于上述每个实施方式，而且可以在不偏离本技术要旨的情况下进行各种修改。

此外，本说明书中描述的效果仅为示例，并不具有限制性，还可能提供其他效果。

此外，本技术还可以采用以下配置。

[1]一种视线检测装置，包括：

用多束照明光照射眼睛的照明单元；

判定使所述照明单元进行照射的时刻的判定单元；

控制所述照明单元的照明控制单元；

具有事件驱动功能的成像元件；以及

计算与所述眼睛相关的位置信息的计算单元，其中

所述照明控制单元根据所述判定单元的判定结果使所述照明单元照射所述眼睛，

所述成像元件通过接收从所述眼睛反射的光来生成事件信息，

所述计算单元根据所述事件信息计算与所述眼睛相关的位置信息。

[2]根据[1]所述的视线检测装置，其中

所述判定单元根据所述事件信息获取发生了用户的运动的所述判定结果，并且

所述照明控制单元根据所述判定结果使所述照明单元照射所述眼睛。

[3]根据[2]所述的视线检测装置，其中

所述用户的运动包括眼睑的睁闭运动，并且

所述判定单元在所述眼睑进行了睁闭运动的情况下，获取发生了所述用户的运动的所述判定结果。

[4]根据[2]或[3]所述的视线检测装置，其中

用户的运动包括瞳孔的直径尺寸的变化，并且

所述判定单元在所述瞳孔的直径尺寸的变化量等于或大于预定阈值的情况下，获取发生了所述用户的运动的所述判定结果。

[5]根据[2]到[4]中任意一个所述的视线检测装置，其中

用户的运动包括扫视，并且

所述判定单元在所述扫视的速度等于或大于预定阈值的情况下，获取发生了所述用户的运动的所述判定结果。

[6]根据[1]到[5]中任意一个所述的视线检测装置，还包括

检测用户的环境的环境检测单元，其中

所述判定单元根据所述环境检测单元的检测结果获取所述用户的环境发生了变化的所述判定结果，并且

所述照明控制单元基于所述判定结果使所述照明单元照射所述眼睛。

[7]根据[6]所述的视线检测装置，其中

所述环境检测单元的检测结果包括亮度，并且

所述判定单元在所述亮度的变化量等于或大于预定阈值的情况下，获取所述用户的环境发生了变化的所述判定结果。

[8]一种显示装置，至少包括

根据权利要求1所述的视线检测装置的显示装置。

[9]根据[8]所述的显示装置，还包括

用于检测用户的动作的动作检测单元，其中

所述判定单元根据所述动作检测单元的检测结果获取发生了所述用户的动作的所述判定结果，并且

所述照明控制单元基于所述判定结果使所述照明单元照射所述眼睛。

[10]根据[9]所述的显示装置，其中

所述用户的动作包括将所述显示装置戴在所述用户的头部，并且

所述判定单元在所述显示装置已被戴在所述用户的头部的情况下，获取发生了所述用户的动作的所述判定结果。

[11]根据[9]或[10]所述的显示装置，其中

所述用户的动作包括对所述显示装置进行所述用户的操作，并且

判定单元在对所述显示装置进行了所述用户的操作的情况下，获取发生了所述用户的动作的所述判定结果。

[12]根据[8]到[11]中任意一个所述的显示装置，还包括

检测由所述显示装置显示的视频的视频检测单元，其中

所述判定单元根据所述视频检测单元的检测结果获取所述视频发生了变化的所述判定结果，并且

所述照明控制单元根据所述判定结果使所述照明单元照射所述眼睛。

[13]根据[12]所述的显示装置，其中

所述视频检测单元的检测结果包括视频的亮度，并且

所述判定单元在所述亮度的变化量等于或大于预定阈值的情况下，获取所述视频发生了变化的所述判定结果。

[14]一种视线检测系统，包括：

用多束照明光照射眼睛的照明单元；

判定使所述照明单元进行照射的时刻的判定单元；

控制所述照明单元的照明控制单元；

具有事件驱动功能的成像元件；以及

计算与所述眼睛相关的位置信息的计算单元；其中

所述照明控制单元根据所述判定单元的判定结果使所述照明单元照射所述眼睛，

所述成像元件通过接收从所述眼睛反射的光生成事件信息，并且

所述计算单元根据所述事件信息计算与所述眼睛相关的位置信息。

[15]一种视线检测方法，包括：

判定照射眼睛的时刻；

根据所述判定的结果，用多束照明光照射所述眼睛；

通过使用具有事件驱动功能的成像元件接收从所述眼睛反射的光，来生成事件信息；

基于所述事件信息计算与所述眼睛相关的位置信息。

附图标记列表

1 照明单元

2 判定单元

3 照明控制单元

4 成像元件

5 计算单元

6 环境检测单元

7 视频检测单元

20 眼睛

21 瞳孔

22 虹膜

23 浦肯野图像

100 显示装置

101L、101R光源单元

102L、102R投影光学系统

103L、103R全息光学元件

104 传感器

105 投影位置调整机构

106L、106R内侧镜框部分

107视线检测装置

108L、108R镜框部分

109L、109R镜腿部分

110 镜梁部分

111 头带部分

112 控制单元

181 图像控制单元

182 投影位置控制单元

183 视线校正单元

184 储存单元

200 视线检测系统

S1 判定照射眼睛的时刻

S2 用多束光照射眼睛

S3 生成事件信息

S4计算与眼睛相关的位置信息

Claims (15)

1.一种视线检测装置，包括：

用多束照明光照射眼睛的照明单元；

判定使所述照明单元进行照射的时刻的判定单元；

控制所述照明单元的照明控制单元；

具有事件驱动功能的成像元件；以及

计算与所述眼睛相关的位置信息的计算单元，其中

所述照明控制单元根据所述判定单元的判定结果使所述照明单元照射所述眼睛，

所述成像元件通过接收从所述眼睛反射的光来生成事件信息，

所述计算单元根据所述事件信息计算与所述眼睛相关的位置信息。

2.根据权利要求1所述的视线检测装置，其中

所述判定单元根据所述事件信息获取发生了用户的运动的所述判定结果，并且

所述照明控制单元根据所述判定结果使所述照明单元照射所述眼睛。

3.根据权利要求2所述的视线检测装置，其中

所述用户的运动包括眼睑的睁闭运动，并且

所述判定单元在所述眼睑进行了睁闭运动的情况下，获取发生了所述用户的运动的所述判定结果。

4.根据权利要求2所述的视线检测装置，其中

用户的运动包括瞳孔的直径尺寸的变化，并且

所述判定单元在所述瞳孔的直径尺寸的变化量等于或大于预定阈值的情况下，获取发生了所述用户的运动的所述判定结果。

5.根据权利要求2所述的视线检测装置，其中

用户的运动包括扫视，并且

所述判定单元在所述扫视的速度等于或大于预定阈值的情况下，获取发生了所述用户的运动的所述判定结果。

6.根据权利要求1所述的视线检测装置，进一步包括检测用户的环境的环境检测单元，其中

所述判定单元根据所述环境检测单元的检测结果获取所述用户的环境发生了变化的所述判定结果，并且

所述照明控制单元基于所述判定结果使所述照明单元照射所述眼睛。

7.根据权利要求6所述的视线检测装置，其中

所述环境检测单元的检测结果包括亮度，并且

所述判定单元在所述亮度的变化量等于或大于预定阈值的情况下，获取所述用户的环境发生了变化的所述判定结果。

8.一种至少包括根据权利要求1所述的视线检测装置的显示装置。

9.根据权利要求8所述的显示装置，进一步包括用于检测用户的动作的动作检测单元，其中

所述判定单元根据所述动作检测单元的检测结果获取发生了所述用户的动作的所述判定结果，并且

所述照明控制单元基于所述判定结果使所述照明单元照射所述眼睛。

10.根据权利要求9所述的显示装置，其中

所述用户的动作包括将所述显示装置戴在所述用户的头部，并且

所述判定单元在所述显示装置已被戴在所述用户的头部的情况下，获取发生了所述用户的动作的所述判定结果。

11.根据权利要求9所述的显示装置，其中

所述用户的动作包括对所述显示装置进行所述用户的操作，并且

判定单元在对所述显示装置进行了所述用户的操作的情况下，获取发生了所述用户的动作的所述判定结果。

12.根据权利要求8所述的显示装置，进一步包括检测由所述显示装置显示的视频的视频检测单元，其中

所述判定单元根据所述视频检测单元的检测结果获取所述视频发生了变化的所述判定结果，并且

所述照明控制单元根据所述判定结果使所述照明单元照射所述眼睛。

13.根据权利要求12所述的显示装置，其中

所述视频检测单元的检测结果包括视频的亮度，并且

所述判定单元在所述亮度的变化量等于或大于预定阈值的情况下，获取所述视频发生了变化的所述判定结果。

14.一种视线检测系统，包括：

用多束照明光照射眼睛的照明单元；

判定使所述照明单元进行照射的时刻的判定单元；

控制所述照明单元的照明控制单元；

具有事件驱动功能的成像元件；以及

计算与所述眼睛相关的位置信息的计算单元；其中

所述照明控制单元根据所述判定单元的判定结果使所述照明单元照射所述眼睛，

所述成像元件通过接收从所述眼睛反射的光生成事件信息，并且

所述计算单元根据所述事件信息计算与所述眼睛相关的位置信息。

15.一种视线检测方法，包括：

判定照射眼睛的时刻；

根据所述判定的结果，用多束照明光照射所述眼睛；

通过使用具有事件驱动功能的成像元件接收从所述眼睛反射的光，来生成事件信息；

基于所述事件信息计算与所述眼睛相关的位置信息。