CN118259465A - 视线检测装置和头戴式显示装置 - Google Patents

Abstract

本发明涉及一种视线检测装置和头戴式显示装置。根据本发明的视线检测装置包括：目镜透镜；图像传感器，其布置在所述目镜透镜的边缘上，并且被配置为拍摄面向所述目镜透镜的眼睛的图像；多个第一光源，其沿着所述目镜透镜的边缘布置；多个第二光源，其沿着所述目镜透镜的边缘布置，其中，在与所述目镜透镜的光轴垂直相交的平面上，从所述多个第二光源中的各第二光源投影在所述平面上的位置到所述光轴的距离比从所述多个第一光源中的各第一光源投影在所述平面上的位置到所述光轴的距离长。

Description

视线检测装置和头戴式显示装置

技术领域

本发明涉及视线检测装置和头戴式显示装置。

背景技术

可以检测用户的视线(视线位置和视线方向)的各种电子设备已被商业化。例如，在虚拟现实(VR)和增强现实(AR)等的领域中，用于检测视线位置并且基于视线位置来进行诸如菜单选择等的处理的头戴式显示器已被商业化。用于检测视线方向并且基于所检测到的视线方向来选择测距点的照相机和摄像机也已被商业化。

在视线检测中，视线传感器对用户的眼睛摄像，并且由此获取眼睛的图像。这里，布置在目镜光学系统周围的光源对用户的眼睛进行照明。来自光源的光在角膜的表面上发生镜面反射，并且在视线传感器所获取到的图像上被捕获作为角膜反射图像(也就是说，浦肯野(Purkinje)图像)。基于视线传感器所获取到的图像中的眼球和角膜反射图像的坐标，计算用户的眼球正在转向的方向，并且由此检测视线。

在传统电子设备(视线检测装置)的情况下，多个光源环绕镜头系统(光学系统)的光轴布置。例如，美国专利号11138429公开了一种电子设备，在该电子设备中，多个光源以大致相等的间隔环绕镜头系统的光轴。

然而，在传统视线检测(视线检测装置)的情况下，在视线传感器所获取到的图像中可能无法正确地捕获浦肯野图像，因此可能无法以高精度检测视线。

发明内容

本发明提供一种视线检测装置，该视线检测装置不论情形如何，都可以以高精度检测视线。

根据本发明的一种视线检测装置包括：目镜透镜；图像传感器，其布置在所述目镜透镜的边缘上，并且被配置为拍摄面向所述目镜透镜的眼睛的图像；多个第一光源，其沿着所述目镜透镜的边缘布置；多个第二光源，其沿着所述目镜透镜的边缘布置，其中，在与所述目镜透镜的光轴垂直相交的平面上，从所述多个第二光源中的各第二光源投影在所述平面上的位置到所述光轴的距离比从所述多个第一光源中的各第一光源投影在所述平面上的位置到所述光轴的距离长。

通过以下参考附图对典型实施例的说明，本发明的更多特征将变得明显。

附图说明

图1是根据实施例1的显示单元主体的背面图；

图2是根据实施例1的显示单元主体的立体图；

图3是根据实施例1的显示单元主体的截面图；

图4A和图4B是描绘根据实施例1的照明光的反射位置的示意图。

图5是描绘根据实施例1的右视线传感器的内部结构的示意图；

图6是根据实施例2的眼镜型装置的背面图；

图7是根据实施例2的眼镜型装置的立体图；

图8是根据实施例3的显示单元主体的背面图；

图9是根据实施例3的显示单元主体的截面图；

图10A和图10B是根据实施例3的显示单元主体的截面图；

图11是根据实施例3的视线检测的流程图；

图12是根据实施例3的视线检测的变形例的流程图；

图13是根据实施例4的显示单元主体的背面图；

图14是根据实施例4的显示单元主体的截面图；

图15是根据实施例4的镜头的立体图；

图16是根据实施例5的照相机主体的截面图；

图17是根据实施例5的照相机主体的截面图；

图18是描绘根据实施例5的EVF单元的示意图；

图19A是指示根据实施例5的照明光的反射位置的立体图；

图19B是指示根据实施例5的照明光的反射位置的正面图；

图19C是指示照明光的反射位置的比较例的立体图；

图19D是指示照明光的反射位置的比较例的正面图；以及

图20是指示根据实施例5的照明光的反射位置的正面图。

具体实施方式

实施例1

现在将参考图1至图5来说明本发明的实施例1。在实施例1中，将说明配备有视线检测装置的头戴式显示器的示例。

图1是根据实施例1的头戴式显示器的显示单元主体101的背面图，并且图2是显示单元主体101的立体图。图1指示从用户(佩戴头戴式显示器的用户)的眼球侧观看显示单元主体101的状态。

显示单元主体101包括用于限制用户的右眼的视野的右开口部145和用于限制用户的左眼的视野的左开口部146。在右开口部145上(在右开口部的内部)，布置有作为显示光学系统的右镜头系统102，并且在左开口部146上(在左开口部的内部)，布置有作为显示光学系统的左镜头系统103。右镜头系统102和左镜头系统103各自在最下游位置(在用户侧)包括目镜透镜。右开口部145和右镜头系统102被布置成面向用户(佩戴头戴式显示器的用户)的右眼。左开口部146和左镜头系统103被布置成面向用户(佩戴头戴式显示器的用户)的左眼。

如图2所例示的，在右镜头系统102的周围布置有红外透射窗104，该红外透射窗104使得后面提到的视线检测单元从外部不可见。以相同的方式，在左镜头系统103的周围布置有红外透射窗105。使用红外光(红外线)进行视线检测。红外透射窗104和红外透射窗105由不透射可见光而是透射红外光的材料制成。由此，可以实现在美观方面优秀(内部单元不可见)且允许进行视线检测的结构。即使可以透射一些可见光，如果红外光的透射率高于该可见光的透射率，则内部单元也不能可见，并且由此可以实现类似的效果，但优选在可见光和红外光之间透射率(遮蔽因子)显著不同。在本说明书和本发明中，“透射红外光”不限于透射所有入射的红外光，而可以遮蔽一些红外光。在图1中，显示单元主体101处于红外透射窗104和红外透射窗105被移除、使得内部单元可见的状态。

如图1所例示的，右视线传感器106布置在右开口部145(右镜头系统102)的边缘上，以指向面向右开口部145的右眼。以相同的方式，左视线传感器107布置在左开口部146(左镜头系统103)的边缘上，以指向面向左开口部146的左眼。右视线传感器106和左视线传感器107是拍摄用户的眼睛的图像传感器。

图5是描绘右视线传感器106的内部结构的示意图。右视线传感器106包括视线传感器透镜147和视线传感器芯片148。使用由视线传感器透镜147在视线传感器芯片148上形成的图像，进行用以检测视线的算术运算。右视线传感器106被布置成使得右视线传感器106中所包括的视线传感器透镜147的光轴147a(视线传感器透镜光轴)指向面向右开口部145的右眼。左视线传感器107的内部结构与右视线传感器106的内部结构大致相同。左视线传感器107被布置成使得左视线传感器107中所包括的视线传感器透镜147的光轴147a(视线传感器透镜光轴)指向面向左开口部146的左眼。

返回参考图1中的说明，以右开口部145的中心(右镜头系统102的光轴)为中心，右视线传感器106布置在9:00位置(从正上方位置顺时针转动270°的位置)处。以左开口部146的中心(左镜头系统103的光轴)为中心，左视线传感器107布置在3:00位置(从正上方位置顺时针转动90°的位置)处。右视线传感器106和左视线传感器107大致布置在相同的高度(垂直位置)处。右视线传感器106布置在右开口部145的左侧(靠近右眼)，并且左视线传感器107布置在左开口部146的右侧(靠近左眼)。

这样，右视线传感器106和左视线传感器107布置在穿过右镜头系统102的光轴和左镜头系统103的光轴的水平线185上(在穿过右开口部145的中心和左开口部146的中心的水平线上)。

通常，用户(佩戴头戴式显示器的用户)的眼睑垂直张开。因此，右视线传感器106和左视线传感器107被布置成使得在水平线185的方向上观察到眼球，由此在检测视线时眼球不会被眼睑遮蔽太多，并且可以提高视线检测的成功率。

在图1中，沿着右开口部145(右镜头系统102)的边缘布置多个红外发光二极管(右IRED)作为用以对眼球(右眼)进行照明的多个光源。以相同的方式，沿着左开口部146(左镜头系统103)的边缘布置多个红外发光二极管(左IRED)作为用以对眼球(左眼)进行照明的多个光源。

在右开口部145(右镜头系统102)的周围，布置有右IRED 108、109和111至122。以右开口部145的中心(右镜头系统102的光轴)为中心，右IRED 108布置在10:00位置处，右IRED 109布置在11:00位置处，右IRED 111布置在1:00位置处，右IRED 112布置在1:30位置处，右IRED 113布置在2:00位置处，并且右IRED 114布置在2:30位置处。此外，右IRED 115布置在3:00位置处，右IRED 116布置在3:30位置处，右IRED 117布置在4:00位置处，右IRED118布置在4:30位置处，右IRED 119布置在5:00位置处，右IRED 120布置在6:00位置处，右IRED 121布置在7:00位置处，并且右IRED 122布置在8:00位置处。

在左开口部146(左镜头系统103)的周围，布置有左IRED 123、124和126至137。以左开口部146的中心(左镜头系统103的光轴)为中心，左IRED 123布置在2:00位置处，左IRED 124布置在1:00位置处，左IRED 126布置在11:00位置处，左IRED 127布置在10:30位置处，左IRED 128布置在10:00位置处，并且左IRED 129布置在9:30位置处。此外，左IRED130布置在9:00位置处，左IRED 131布置在8:30位置处，左IRED 132布置在8:00位置处，左IRED 133布置在7:30位置处，左IRED 134布置在7:00位置处，左IRED 135布置在6:00位置处，左IRED 136布置在5:00位置处，并且左IRED 137布置在4:00位置。

在实施例1中，在以右开口部145的中心(右镜头系统102的光轴)为中心的360°范围中，在右视线传感器106的关于右开口部145的中心的相对侧的范围中，每度的光源的数量(角度密度)为最大。在图1中，在中心处于面向布置有右视线传感器106的9:00位置的3:00位置的120°范围(±60°范围)中，9个右IRED按15°间距(角度密度：0.0667个单位/°)布置。9个右IRED是布置在位置1:00、1:30、2:00、2:30、3:00、3:30、4:00、4:30和5:00处的右IRED 111至119。在除该120°范围以外的范围中，右IRED按比15°间距大的间距(比0.0667个单位/°小的角度密度)布置。

在右视线传感器106的关于右开口部145的中心的相对侧的范围(120°范围)中布置的右IRED的数量可以多于在其余范围中布置的IRED的数量。在图1中，在右视线传感器106的关于右开口部145的中心的相对侧的范围(120°范围)中布置的右IRED的数量比在其余范围中布置的IRED的数量多至少3个。

以相同的方式，在以左开口部146的中心(左镜头系统103的光轴)为中心的360°范围中，在左视线传感器107的关于左开口部146的中心的相对侧的范围中，每度的光源的数量(角度密度)为最大。在图1中，在中心处于面向布置有左视线传感器107的3:00位置的9:00位置的120°范围(±60°范围)中，9个左IRED按15°间距(角度密度：0.0667个单位/°)布置。9个左IRED是布置在位置11:00、10:30、10:00、9:30、9:00、8:30、8:00、7:30和7:00处的左IRED 126至134。在除该120°范围以外的范围中，左IRED按比于15°间距大的间距(比0.0667个单位/°小的角度密度)布置。

在左视线传感器107的关于左开口部146的中心的相对侧的范围(120°范围)中布置的左IRED的数量可以多于在其余范围中布置的IRED的数量。在图1中，在左视线传感器107的关于左开口部146的中心的相对侧的范围(120°范围)中布置的左IRED的数量比在其余范围中布置的IRED的数量多至少3个。

在实施例1中，在右开口部145的下侧布置的右IRED的数量多于在右开口部145的上侧布置的右IRED的数量。在图1中，在12:00位置处没有布置右IRED，并且在水平线185的下侧布置的右IRED的数量多于在水平线185的上侧布置的右IRED的数量。在水平线185的下侧，布置有7个右IRED(右IRED116、右IRED 117、右IRED 118、右IRED 119、右IRED 120、右IRED 121和右IRED 122)。在水平线185的上侧，布置有6个右IRED(右IRED 108、右IRED109、右IRED 111、右IRED 112、右IRED 113和右IRED 114)。

以相同的方式，在左开口部146的下侧布置的左IRED的数量多于在左开口部146的上侧布置的左IRED的数量。在图1中，在12:00位置没有布置左IRED，并且在水平线185的下侧布置的左IRED的数量多于在水平线185的上侧布置的左IRED的数量。在水平线185的下侧，布置有7个左IRED(左IRED 131、左IRED 132、左IRED 133、左IRED 134、左IRED 135、左IRED 136和左IRED 137)。在水平线185的上侧，布置有6个左IRED(左IRED 123、左IRED124、左IRED 126、左IRED 127、左IRED 128和左IRED 129)。

人类眼睑的移动在上眼睑和下眼睑之间是不同的，并且主要是上眼睑朝向下眼睑向下移动。下眼睑相对于眼球光轴的位置的个体差异小，但上眼睑相对于眼球光轴的位置的个体差异大。例如，与具有大而明亮眼睛的人相比，具有窄小眼睛的人的上眼睑的位置更低并且离眼球光轴更近。

为了对许多用户进行视线检测，即使上眼睑的位置靠近眼球光轴，也需要检测视线。然而，在上眼睑的位置靠近眼球光轴的情况下，来自布置在12:00位置处的IRED的照明光被眼睑遮蔽，并且在图像中未被捕获作为浦肯野图像(角膜反射图像)。另一方面，与上眼睑的位置的情况相比，下眼睑的位置的个体差异更小，并且下眼睑离眼球光轴更远。因此，来自布置在6:00位置处的IRED的照明光不太可能被眼睑遮蔽，并且倾向于更容易在图像中被捕获作为浦肯野图像(角膜反射图像)。

因此，与在水平线185的上侧(开口部的上侧)相比，在水平线185的下侧(开口部的下侧)布置有更多的IRED，由此可以针对许多用户进行视线检测。

针对右眼的视线检测单元由右视线传感器106、右IRED 108、109和111至122、以及未例示的控制电路(控制单元)构成。以相同的方式，针对左眼的视线检测单元由左视线传感器107、左IRED 123、124和126至137、以及未例示的控制电路(控制单元)构成。针对右眼的视线检测单元的控制电路和针对左眼视线检测单元的控制单元可以是一个共同的控制电路，或者可以是单独的控制电路。

图3指示查看显示单元主体101的用户的眼球以及显示单元主体101的布置。图3是在穿过右视线传感器106的中心和右镜头系统102的中心的平面处切开的截面图。在图3中，例示出右眼及其周边区域。

右镜头系统102(显示光学系统)由镜筒139保持。右显示面板140是用以向用户显示图像的显示面板(显示单元、显示元件)，并且是有机EL面板等。在用户的眼球141(右眼)的内部存在角膜142。从右显示面板140输出的图像(光)通过右镜头系统102被输入(引导)到眼球141。换句话说，用户可以用眼球141通过右镜头系统102(右开口部145)观看右显示面板140上所显示的图像(照片)。

右视线传感器106的光轴与右镜头系统102(显示光学系统)的光轴不平行，并且在向着眼球141的方向(对角线方向)上倾斜。由此，可以有效地使用右视线传感器106的有限视角，并且即使眼点距离改变，右视线传感器106也可以继续捕获眼球141。

左眼周围的结构与右眼周围的上述结构相同。

这样，根据实施例1，右视线传感器106布置在右开口部145(右镜头系统102)的周边，并且右视线传感器106的视线传感器透镜光轴147a指向右眼。以相同的方式，左视线传感器107布置在左开口部146(左镜头系统103)的周边，并且左视线传感器107的视线传感器透镜光轴147a指向左眼。

从右IRED 115发射的照明光对眼球141(右眼)的角膜142和虹膜进行照明。右视线传感器106获取眼球141的虹膜图像，并且还获取透射通过光路143和光路144的光的图像(当右IRED 115的照明光在角膜142上发生镜面反射时的镜面反射图像，也就是说，浦肯野图像)。来自右镜头系统102的周围布置的其他IRED的光也对虹膜和角膜进行照明，尽管这在图3中未例示。以相同的方式，左眼的角膜和虹膜也由多个左IRED进行照明。由于多个IRED对单个虹膜进行照明，因此可以减少虹膜上的照明的不均匀。

图4A和图4B是描绘从各IRED发射的红外光(照明光)的反射位置与角膜之间的关系的示意图。图4A和图4B指示从显示单元主体101侧看到的佩戴显示单元主体101的用户的眼球141(右眼)的状态。这里将说明右眼的情况，但左眼的情况与右眼的情况相同。

从右镜头系统102的周围布置的右IRED 108、109和111至122发射的红外光在反射位置108a、109a和111a至122a处反射，并且入射到右视线传感器106。反射位置108a、109a和111a至122a分别与右IRED 108、109和111至122相对应。

图4A中的角膜边界1422a和图4B中的角膜边界1422b指示角膜142和巩膜之间的边界。角膜边界1422a(角膜边界1422b)的内侧是球面。角膜边界1422a(角膜边界1422b)的一部分是从球面(角膜)向眼睛的白色(巩膜)的平缓曲面。角膜的区域根据人而不同，并且图4A中的角膜边界1422a指示具有大角膜区域的用户的角膜边界，并且图4B中的角膜边界1422b指示具有小角膜区域的用户的角膜边界。

图4A和图4B指示眼球141正面向正面的状态。如图4A所例示的，从布置在以面向右视线传感器106的位置为中心的120°范围中的右IRED 111至119发射的光在角膜的区域大的用户的角膜的角膜边界1422a的内侧发生镜面反射。如图4B所例示的，从布置在以面向右视线传感器106的位置为中心的90°范围中的右IRED 112至118发射的光在角膜的区域小的用户的角膜的角膜边界1422b的内侧上发生镜面反射。反射位置112a至118a位于眼球光轴附近，因此即使眼球转动，从右IRED 112至118发射的光也极有可能在角膜上发生镜面反射。

从右IRED 108、109和120至122发射的红外光的反射位置108a、109a和120a至122a是巩膜部分。因此，在如图4A和图4B所例示的、用户正面向正面的状态下，未获取到右IRED108、109和120至122的镜面反射图像(浦肯野图像)。右IRED 108、109和120至122被布置成对整个眼球141进行照明，或者在眼球141转动时获取浦肯野图像。

通过在面向右视线传感器106的部分中布置许多右IRED，更有可能获取到用以检测视线的镜面反射图像(浦肯野图像)，并且可以提高视线检测的成功率。

在实施例1中，针对角膜的区域大的人，在120°范围中布置许多IRED，但针对角膜的区域小的人，可以在90°范围中布置许多IRED。通过缩小布置有许多IRED的范围，可以降低成本。

在通过右视线传感器106获取眼球141(右眼)的图像时，使用虹膜图像内部的瞳孔图像以及浦肯野图像的组合来进行视线检测。例如，使用日本专利3186072中所公开的方法来进行视线检测。

如上所述，根据实施例1，在视线传感器的关于面向用户眼睛的开口部的中心(显示光学系统的光轴)的相对侧的范围中，每度的光源的数量为最大。由此，可以提供不论情形如何都可以以高精度检测视线的头戴式显示器(视线检测装置)。例如，可以在不增加装置的大小的情况下提供即使在用户移动其眼睛的情况下也可以检测视线的头戴式显示器。

实施例2

现在将参考图6和图7来说明本发明的实施例2。在实施例2中，将说明配备有视线检测装置的眼镜型装置的示例。

图6是根据实施例2的眼镜型装置249的背面图，并且图7是眼镜型装置249的立体图。图6指示从用户(佩戴眼镜型装置249的用户)的眼球侧观看眼镜型装置249的状态。

眼镜型装置249包括框架250、右镜腿部250a和左镜腿部250b。框架250可以装配有任意镜片，诸如近视用镜片、远视用镜片、减光镜片和平光镜片等，或者框架250可以不装配镜片。右镜腿部250a和左镜腿部250b是用以将眼镜型装置249固定到用户头部的固定部。通过将右镜腿部250a钩挂到右耳并且将左镜腿部250b钩挂到左耳，用户将眼镜型装置249固定到头部。将照相机251附接到右镜腿部250a，并且照相机251指向眼镜型装置249的正面方向。

在框架250中，布置有右视线传感器252、左视线传感器253、右IRED 254、255和257至268、以及左IRED 269、270和272至283。照相机251、右视线传感器252、左视线传感器253、右IRED 254、255和257至268、以及左IRED 269、270和272至283连接到控制电路(未例示)。眼镜型装置249包括用以检测视线指向的照相机251的摄像范围的一部分的功能。

如图6所例示的，在实施例2中，正如实施例1一样，在视线传感器的关于面向用户眼睛的开口的中心的相对侧的范围中，每度的光源的数量为最大。

如上所述，根据实施例2，正如实施例1一样，在视线传感器的关于面向用户眼睛的开口部的中心(显示光学系统的光轴)的相对侧的范围中，每度的光源的数量为最大。由此，可以提供不论情形如何都可以以高精度检测视线的眼镜型装置(视线检测装置)。

实施例3

现在将参考图8至图12来说明本发明的实施例3。在实施例3中，将说明配备有视线检测装置的头戴式显示器的示例。

图8是根据实施例3的头戴式显示器的显示单元主体301的背面图，并且指示从用户(佩戴头戴式显示器的用户)的眼球侧观看显示单元主体301的状态。

显示单元主体301包括用于限制用户的右眼的视野的右开口部345和用于限制用户的左眼的视野的左开口部346。在右开口部345上(在右开口部的内部)，布置有作为显示光学系统的右镜头系统302，并且在左开口部346上(在左开口部的内部)，布置有作为显示光学系统的左镜头系统303。右开口部345和右镜头系统302被布置成面向用户(佩戴头戴式显示器的用户)的右眼。左开口部346和左镜头系统303被布置成面向用户(佩戴头戴式显示器的用户)的左眼。

如图8所例示的，右视线传感器306布置在右开口部345(右镜头系统302)的边缘上，以指向面向右开口部345的右眼。以相同的方式，左视线传感器307布置在左开口部346(左镜头系统303)的边缘上，以指向面向左开口部346的左眼。

以右开口部345的中心(右镜头系统302的光轴)为中心，右视线传感器306布置在9:00位置(从正上方位置顺时针转动270°的位置)处。以左开口部346的中心(左镜头系统303的光轴)为中心，左视线传感器307布置在3:00位置(从正上方位置顺时针转动90°的位置)处。右视线传感器306和左视线传感器307大致布置在相同的高度(垂直位置)处。右视线传感器306布置在右开口部345的左侧(靠近右眼)，并且左视线传感器307布置在左开口部346的右侧(靠近左眼)。

这样，右视线传感器306和左视线传感器307布置在穿过右镜头系统302的光轴和左镜头系统303的光轴的水平线385上(在穿过右开口部345的中心和左开口部346的中心的水平线上)。

通常，用户(佩戴头戴式显示器的用户)的眼睑垂直张开。因此，右视线传感器306和左视线传感器307被布置成使得在水平线385的方向上观察到眼球，由此在检测视线时眼球不会被眼睑遮蔽太多，并且可以提高视线检测的成功率。

在图8中，沿着右开口部345(右镜头系统302)的边缘布置有多个红外发光二极管(右IRED)作为用以对眼球(右眼)进行照明的多个光源。以相同的方式，沿着左开口部346(左镜头系统303)的边缘布置有多个红外发光二极管(左IRED)作为用以对眼球(左眼)进行照明的多个光源。

在右开口部345(右镜头系统302)的周围，布置有右IRED 308至311、313、315、317和319至322作为第一光源组，并且布置有右IRED 386和387作为第二光源组。第一光源组布置在第二光源组的内侧。以右开口部345的中心(右镜头系统302的光轴)为中心，右IRED308布置在10:00位置处，右IRED 309布置在11:00位置处，右IRED 310布置在12:00位置处，右IRED 311布置在1:00位置处，右IRED 313布置在2:00位置处，并且右IRED 315布置在3:00位置处。此外，右IRED 317布置在4:00位置处，右IRED 319布置在5:00位置处，右IRED320布置在6:00位置处，右IRED 321布置在7:00位置处，并且右IRED 322布置在8:00位置处。右IRED 386布置在穿过右开口部345的中心(右镜头系统302的光轴)和右IRED 317的线上。右IRED 387布置在穿过右开口部345的中心(右镜头系统302的光轴)和右IRED 320的线上。

在左开口部346(左镜头系统303)的周围，布置有左IRED 323至326、328、330、332和334至337作为第一光源组，并且布置有左IRED 388和389作为第二光源组。第一光源组布置在第二光源组的内侧。以左开口部346的中心(左镜头系统303的光轴)为中心，左IRED323布置在2:00位置处，左IRED 324布置在1:00位置处，左IRED 325布置在12:00位置处，左IRED 326布置在11:00位置处，左IRED 328布置在10:00位置处，并且左IRED 330布置在9:00位置处。此外，左IRED 332布置在8:00位置处，左IRED 334布置在7:00位置处，左IRED335布置在6:00位置处，左IRED 336布置在5:00位置处，并且左IRED 337布置在4:00位置处。左IRED 388布置在穿过左开口部346的中心(左镜头系统303的光轴)和左IRED 332的线上。左IRED 389布置在穿过左开口部346的中心(左镜头系统303的光轴)和左IRED 335的线上。

从第二光源组中所包括的右IRED 386和387各自到右开口部345的距离大于从第一光源组中所包括的右IRED 308至311、313、315、317和319至322各自到右开口部345的距离。此外，相对于右开口部345，第一光源组中所包括的右IRED 308至311、313、315、317和319至322布置在第二光源组中所包括的右IRED 386和387的内侧。以相同的方式，从第二光源组中所包括的左IRED 388和389各自到左开口部346的距离长于第一光源组中所包括的左IRED 323至326、328、330、332和334至337各自到左开口部346的距离。此外，相对于左开口部346，第一光源组中所包括的左IRED 323至326、328、330、332和334至337布置在第二光源组中所包括的左IRED 388和389的内侧。

例如，第一光源组中所包括的多个右IRED 308至311、313、315、317和319至322(多个第一光源)分布在从右侧的显示光学系统(右镜头系统102)的光轴390起的第一距离r1处，并且第二光源组中所包括的多个右IRED 386和387(多个第二光源)分布在从右侧的显示光学系统的光轴390起的第二距离r2处。类似地，在左侧，第一光源组中所包括的多个左IRED 323至326、328、330、332(多个第一光源)分布在从左侧的显示光学系统(左镜头系统103)的光轴391起的第一距离r1处，并且第二光源组中所包括的多个左IRED 388和389(多个第二光源)分布在从左侧的显示光学系统的光轴391起的第二距离r2处。这里，第二距离r2长于第一距离r1。第一光源组中所包括的多个IRED中的各IRED到显示光学系统的光轴的距离(第一距离r1)是与光轴垂直相交的平面上的距离，并且是从第一光源组中所包括的多个IRED中的各IRED投影在该平面上的位置到光轴的距离。以相同的方式，从第二光源组中所包括的多个IRED中的各IRED到显示光学系统的光轴的距离(第二距离r2)是在与光轴垂直相交的平面上的距离，并且是从第二光源组中所包括的多个IRED中的各IRED投影在该平面上的位置到光轴的距离。从第一光源组中所包括的多个IRED中的各IRED到显示光学系统的光轴的距离不需要是固定的，并且从第二光源组中所包括的多个IRED中的各IRED到显示光学系统的光轴的距离也不需要是固定的。例如，从第一光源组中所包括的多个IRED中的各IRED到显示光学系统的光轴的距离可以分散在至少距离r1a且不大于距离r1b的范围中。从第二光源组中所包括的多个IRED中的各IRED到显示光学系统的光轴的距离可以分散在至少距离r2a且不大于距离r2b的范围中。距离r1、r1a、r1b、r2、r2a和r2b满足以下的表达式。

r1a<r1≤r1b<r2a≤r2<r2b

第二距离r2优选是第一距离r1的至少1.2倍，更优选是第一距离r1的至少1.5倍。如果第一距离r1和第二距离r2分散，则第二距离r2的平均距离优选是第一距离r1的平均距离的至少1.2倍，并且更优选是第一距离r1的平均距离的至少1.5倍。

显示单元主体301包括用以控制各IRED的CPU(控制单元)，尽管这未例示出。CPU向各IRED供给电流，以控制各IRED的点亮。CPU还基于视线传感器的输出(例如，浦肯野图像)来检测用户的视线。

图9是描绘穿过图8中的右镜头系统302的光轴的纵截面的示意图。图9指示右眼及其周边区域。在图9中，指示从右IRED 310、320和387发射的光的光路。右视线传感器306不存在于纵截面上，但这里被包括以辅助理解。

在图9中，来自布置在右镜头系统302的上侧的右IRED 310的光被用户的上眼睑350遮蔽，并且未在角膜的表面上发生镜面反射。因此，来自右IRED 310的光在右视线传感器306所获取到的图像中未被捕获作为镜面反射图像(浦肯野图像)。另一方面，来自布置在右镜头系统302的下侧的右IRED 320的光未被上眼睑350和下眼睑351遮蔽，并且在角膜的表面上发生镜面反射。因此，来自右IRED 320的光在右视线传感器306所获取到的图像中被捕获作为镜面反射图像(浦肯野图像)。以相同的方式，来自布置在右镜头系统302的下侧的右IRED 387的光未被上眼睑350和下眼睑351遮蔽，并且在角膜的表面上发生镜面反射。因此，来自右IRED 387的光在右视线传感器306所获取到的图像中被捕获作为镜面反射图像(浦肯野图像)。

眼睑的形状根据人而不同，并且显示单元主体301和眼睛之间的位置关系也根据人而不同，但光以类似的方式被遮蔽。这里，考虑如下情况：右视线传感器306和左视线传感器307布置在穿过右镜头系统302的光轴和左镜头系统303的光轴的水平线385上。在这种情况下，与来自布置在水平线385的上侧的IRED的光相比，来自布置在水平线385的下侧的IRED的光不太可能被眼睑遮蔽。

因此，在图8中，与水平线385的上侧上(右开口部345和左开口部346的上侧上)的IRED相比，在水平线385的下侧(在右开口部345和左开口部346的下侧)布置更多的第二光源组的IRED。由此，可以避免来自所有IRED的光被眼睑遮蔽并不能获取到镜面反射图像(浦肯野图像)，并且可以提高视线检测的成功率(可以提高视线检测的鲁棒性)。在图8中，在水平线385的上侧(在右开口部345或左开口部346的上侧)没有布置第二光源组的IRED，但在水平线385的上侧可以布置第二光源组的IRED。

在图9中，属于第一光源组的右IRED 310和320布置在右镜头系统302的内侧，并且属于第二光源组的右IRED 387布置在右镜头系统302的外侧。因此，右IRED 310和320通过右镜头系统302向外部发射光，并且对眼球341(右眼)进行照明。右IRED 387在不穿过右镜头系统302的情况下向外部发射光，并且对眼球341进行照明。该配置不限于右IRED 310、320和387，但属于第一光源组的右IRED通过右镜头系统302向外部发射光，并且属于第二光源组的右IRED在不穿过右镜头系统302的情况下向外部发射光。以相同的方式，属于第一光源组的左IRED通过左镜头系统303向外部发射光，并且属于第二光源组的左IRED在不穿过左镜头系统303的情况下向外部发射光。

由此，在由于空间限制而导致第一光源组和第二光源组这两者不能布置在显示光学系统(右镜头系统302和左镜头系统303)的内侧的情况下，与将第一光源组和第二光源组这两者布置在显示光学系统的外侧的情况相比，可以减小装置的大小。

在美观方面，优选地，使用不透射可见光而透射红外光的材料来使属于第二光源组的各IRED隐藏。然而，正如实施例1一样，可见光的透射率不限于0，并且可以允许可见光的些许透射。在红外光的透射率高于可见光的透射率的情况下，可以获取到类似的效果，但优选在可见光和红外光之间透射率(遮蔽因子)显著不同。

这里，当来自第一光源组的光穿过显示光学系统时，光的光量减少。特别地，当显示光学系统包括偏振反射光学系统时，来自第一光源组的光的光量可以减少了一半或更少。因此，如果所有IRED以相同的亮度点亮，则在通过显示光学系统对眼球进行照明的第一光源组的各IRED与在不穿过显示光学系统的情况下对眼球进行照明的第二光源组的各IRED之间，对眼球进行照明的照度改变。结果，在第一光源组和第二光源组之间，镜面反射图像(浦肯野图像)的亮度变得不同。亮度的该差异对检测浦肯野图像具有负面影响(例如，精度下降)，因此对视线检测具有负面影响(例如，精度下降)。

因此，在实施例3中，CPU使第一光源组的各IRED和第二光源组的各IRED以不同的亮度值点亮。例如，CPU使通过显示光学系统对眼球进行照明的第一光源组的各IRED的亮度增加了被显示光学系统吸收的光量的量，并且使第一光源组的各IRED以与在不穿过显示光学系统的情况下对眼球进行照明的第二光源组的各IRED相比更高的亮度值来点亮。

由此，第一光源组的浦肯野图像的亮度和第二光源组的浦肯野图像的亮度变得类似，因而检测浦肯野图像的精度提高，并且由此视线检测的精度提高。

图10A和图10B是描绘穿过右IRED 315和右视线传感器306的横截面的示意图。在图10A和图10B中，指示从右IRED 315和386发射的光的光路。右IRED 386不存在于横截面上，但这里被包括以辅助理解。

图10A指示眼球341(右眼)在布置有右视线传感器306的方向上(即，向左侧)转动的状态。图10B指示眼球341在与右视线传感器306相对的方向上(即，向右侧)转动的状态。

如图10A所例示的，在眼球341在布置有右视线传感器306的方向上转动的情况下，从右IRED 386发射的光在角膜边界3422a的外侧(巩膜)上发生反射。另一方面，从右IRED315发射的光在角膜边界3422a的内侧(角膜)上发生镜面反射。

如图10B所例示的，在眼球341在与右视线传感器306相对的方向上转动的情况下，从右IRED 315发射的光在角膜边界3422a的外侧(巩膜)上发生反射。另一方面，从右IRED386发射的光在角膜边界3422a的内侧(角膜)上发生镜面反射。

这样，通过布置与显示光学系统的光轴的距离短的IRED(第一光源组)和与显示光学系统的光轴距离长的IRED(第二光源组)，即使用户的眼睛移动，也可以以高概率获取到镜面反射图像(浦肯野图像)。此外，可以提高视线检测的成功率(可以提高视线检测的鲁棒性)。

在如图10A所例示的、眼球341在布置有右视线传感器306的方向上转动的情况下，可以使用与光轴390的距离短的右IRED 315(第一光源组)的镜面反射图像来检测视线。

在如图10B所例示的、眼球341在与右视线传感器306相对的方向上转动的情况下，可以使用与光轴390的距离长的右IRED 386(第二光源组)的镜面反射图像来检测视线。

换句话说，在用户面向正面并且角膜边界3422a的内侧的角膜的中心(瞳孔的中心)与显示光学系统的光轴390相交的情况下，由从上述距离长的右IRED 386(第二光源组)入射到用户眼睛(角膜或巩膜)的光与光轴390所形成的角度被设置成大于由从上述距离短的右IRED 315(第一光源组)入射到用户眼睛的光与光轴390所形成的角度。由此，不论眼球341在布置有右视线传感器306的方向上转动、还是眼球341在与右视线传感器306相对的方向上转动，都可以以高概率获取到镜面反射图像(浦肯野图像)。

图11是视线检测的流程图。在以下，将说明针对右眼的视线检测的情况，但也以相同的方式进行针对左眼的视线检测。

在步骤S3001中，CPU使所有的右IRED(第一光源组和第二光源组)点亮，并且使用右视线传感器306拍摄眼球341(右眼)的图像。这里，使所有的多个右IRED点亮，但可以仅使多个右IRED中的一部分点亮。

在步骤S3002中，CPU使用步骤S3001中所获取到的眼球341的图像中所捕获到的所有反射图像来进行第一视线检测(视线的暂定检测)。在眼球341的图像中捕获到的反射图像可以被视为右视线传感器306上所形成的反射图像。这里还使用被巩膜反射的反射图像(不准确的浦肯野图像)，因此不能以高精度检测到视线，但可以知晓眼球341的一般转动方向和转动角度。

在步骤S3003中，CPU判断眼球341是在布置有右视线传感器306的方向上转动还是在与右视线传感器306相对的方向上转动。如果判断为眼球341在布置有右视线传感器306的方向上转动，则CPU使处理进入步骤S3004，并且如果判断为眼球341在与右视线传感器306相对的方向上转动，则CPU使处理进入步骤S3005。

在步骤S3004中，CPU选择与右开口部345的距离短的第一光源组的反射图像(镜面反射图像)，并且使用所选择的反射图像来进行第二视线检测(视线的最终检测)。

在步骤S3005中，CPU选择与右开口部345的距离长的第二光源组的反射图像(镜面反射图像)，并且使用所选择的反射图像来进行第二视线检测(视线的最终检测)。

这样，基于眼球341的转动角度来改变将用于视线检测的反射图像。由此，与始终使用所有反射图像来进行视线检测的配置相比，可以在不使用巩膜上所反射的不准确的浦肯野图像的情况下进行视线检测，因而提高了视线检测的精度。

在上述示例中，最终使用第一光源组的反射图像和第二光源组的反射图像中的仅一个，但本发明不限于此。例如，在某个部分中仅使用第一光源组的反射图像和第二光源组的反射图像中的一个，并且在另一部分中仅使用第一光源组的反射图像和第二光源组的反射图像中的其他反射图像。在第一光源组的反射图像和第二光源组的反射图像这两者变为镜面反射图像的场景中，使用第一光源组的反射图像和第二光源组的反射图像这两者(所有反射图像)的视线检测的结果可以被视为最终结果。

图12是视线检测的流程图的变形例。在以下，将说明针对右眼的视线检测的情况，但也以相同的方式进行针对左眼的视线检测。

在步骤S3006中，CPU使所有的右IRED(第一光源组和第二光源组)点亮，并且使用右视线传感器306拍摄眼球341(右眼)的图像。

在步骤S3007中，CPU使用步骤S3001中所获取到的眼球341的图像中所捕获到的所有反射图像来进行第一视线检测(视线的暂定检测)。这里还使用被巩膜反射的反射图像(不准确的浦肯野图像)，因此不能以高精度检测到视线，但可以知晓眼球341的一般转动方向和转动角度。

在步骤S3008中，CPU判断眼球341是在布置有右视线传感器306的方向上转动还是在与右视线传感器306相对的方向上转动。如果判断为眼球341在布置有右视线传感器306的方向上转动，则CPU使处理进入步骤S3009，并且如果判断为眼球341在与右视线传感器306相对的方向上转动，则CPU使处理进入步骤S3010。

在步骤S3009中，CPU使与右开口部345的距离长的第二光源组熄灭，并且仅使与右开口部345的距离短的第一光源组点亮。

在步骤S3010中，CPU使与右开口部345的距离短的第一光源组熄灭，并且仅使与右开口部345的距离长的第二光源组点亮。

在步骤S3011中，CPU使用在多个右IRED的一部分熄灭的状态下获取到的眼球341的图像来进行第二视线检测(视线的最终检测)。

这样，基于眼球341的转动角度来改变视线检测所使用的右IRED(要点亮的右IRED)。由于可以熄灭不用于视线检测的右IRED，因此可以节省电力。

在上述示例中，最终仅点亮第一光源组和第二光源组中的一个，但本发明不限于此。例如，在某个部分中仅使第一光源组的IRED和第二光源组的IRED中的一个点亮，并且在另一部分中仅使第一光源组的IRED和第二光源组的IRED中的其他IRED点亮。在第一光源组的反射图像和第二光源组的反射图像这两者变为镜面反射图像的场景中，通过使第一光源组和第二光源组这两者(所有IRED)点亮所获取到的视线检测的结果可以被视为最终结果。

如上所述，根据实施例3，布置与显示光学系统的光轴的距离短的IRED(第一光源组)和与显示光学系统的光轴的距离长的IRED(第二光源组)。因此，可以提供不论情形如何都可以以高精度检测视线的头戴式显示器(视线检测装置)。例如，即使用户的眼睛移动，也可以以高概率获取到镜面反射图像(浦肯野图像)。此外，可以提高视线检测的成功率(可以提高视线检测的鲁棒性)。

实施例3可以与实施例1组合。例如，在关注于第一光源组和第二光源组中的至少一者的情况下，在视线传感器的关于面向用户眼睛的开口部的中心(显示光学系统的光轴)的相对侧的范围中，每度的光源的数量可以被设置为最大。由此，可以进一步提高视线检测的成功率。

实施例4

现在将参考图13至图15来说明本发明的实施例4。在实施例4中，将说明配备有视线检测装置的头戴式显示器的示例。

图13是根据实施例4的头戴式显示器的显示单元主体401的背面图。图14是在图13中的A-A处切开的截面图。图13指示从用户(佩戴头戴式显示器的用户)的眼球侧观看显示单元主体101的状态。

显示单元主体401包括用于限制用户的右眼的视野的右开口部445和用于限制用户的左眼的视野的左开口部446。在右开口部445上(在右开口部的内部)，布置有作为显示光学系统的右镜头系统402，并且在左开口部446上(在左开口部的内部)，布置有作为显示光学系统的左镜头系统403。右开口部445和右镜头系统402被布置成面向用户(佩戴头戴式显示器的用户)的右眼。左开口部446和左镜头系统403被布置成面向用户(佩戴头戴式显示器的用户)的左眼。

如图13所例示的，右视线传感器406布置在右开口部445(右镜头系统402)的边缘上，以指向面向右开口部445的右眼。右视线传感器406布置在右镜头系统402的背侧，并且光通过右镜头系统402从外部入射到右视线传感器406。以相同的方式，左视线传感器407布置在左开口部446(左镜头系统403)的边缘上，以指向面向左开口部446的左眼。左视线传感器407布置在左镜头系统403的背侧，并且光通过左镜头系统403从外部入射到左视线传感器407。右视线传感器406和左视线传感器407仅对红色光(例如，诸如900nm±20nm范围等)敏感。优选地，右视线传感器406和左视线传感器407布置在相对于光学系统的光轴偏移的位置处，并且布置在眼睛的内侧(眼睛的内角侧)。

以右开口部445的中心(右镜头系统402的光轴)为中心，右视线传感器406布置在9:00位置(从正上方位置顺时针转动270°的位置)处。以左开口部446的中心(左镜头系统403的光轴)为中心，左视线传感器407布置在3:00位置(从正上方位置顺时针转动90°的位置)处。右视线传感器406和左视线传感器407大致布置在相同的高度(垂直位置)处。右视线传感器406布置在右开口部445的左侧(靠近右眼)，并且左视线传感器407布置在左开口部446的右侧(靠近左眼)。

这样，右视线传感器406和左视线传感器407布置在穿过右镜头系统402的光轴和左镜头系统403的光轴的水平线485上(在穿过右开口部445的中心和左开口部446的中心的水平线上)。

通常，用户(佩戴头戴式显示器的用户)的眼睑垂直张开。因此，右视线传感器406和左视线传感器407被布置成使得在水平线485的方向上观察到眼球，由此在检测视线时眼球不会被眼睑遮蔽太多，并且可以提高视线检测的成功率。

在图13中，沿着右开口部445(右镜头系统402)的边缘布置多个红外发光二极管(右IRED)作为用以对眼球(右眼)进行照明的多个光源。右IRED布置在右镜头系统402的背侧，并且通过右镜头系统402向外部发射光(红外光)，并对眼球(右眼)进行照明。以相同的方式，沿着左开口部446(左镜头系统403)的边缘布置多个发光二极管(左IRED)作为用以对眼球(左眼)进行照明的多个光源。左IRED布置在左镜头系统403的背侧，通过左镜头系统403向外部发射光(红外光)，并且对眼球(左眼)进行照明。

在右开口部445(右镜头系统402)的周围，布置有右IRED 408、409和411至422。以右开口部445的中心(右镜头系统402的光轴)为中心，右IRED 408布置在10:00位置处，右IRED 409布置在11:00位置处，右IRED 411布置在1:00位置处，右IRED 412布置在1:30位置处，右IRED 413布置在2:00位置处，并且右IRED 414布置在2:30位置处。此外，右IRED 415布置在3:00位置处，右IRED 416布置在3:30位置处，右IRED 417布置在4:00位置处，右IRED418布置在4:30位置处，右IRED 419布置在5:00位置处，右IRED 420布置在6:00位置处，右IRED 421布置在7:00位置处，并且右IRED 422布置在8:00位置处。

在左开口部446(左镜头系统403)的周围，布置有左IRED 423、424和426至437。以左开口部446的中心(左镜头系统403的光轴)为中心，左IRED 423布置在2:00位置处，左IRED 424布置在1:00位置处，左IRED 426布置在11:00位置处，左IRED 427布置在10:30位置处，左IRED 428布置在10:00位置处，并且左IRED 429布置在9:30位置处。此外，左IRED430布置在9:00位置处，左IRED 431布置在8:30位置处，左IRED 432布置在8:00位置处，左IRED 433布置在7:30位置处，左IRED 434布置在7:00位置处，左IRED 435布置在6:00位置处，左IRED 436布置在5:00位置处，并且左IRED 437布置在4:00位置处。

根据实施例4，正如实施例1一样，在右视线传感器406的关于右开口部445的中心(右镜头系统402的光轴)的相对侧的范围中，每度的光源的数量(角度密度)为最大。以相同的方式，在左视线传感器407的关于左开口部446的中心(左镜头系统403的光轴)的相对侧的范围中，每度的光源的数量(角度密度)为最大。由此，可以实现与实施例1类似的效果。

针对右眼的视线检测单元由右视线传感器406、右IRED 408、409和411至422、以及控制电路(未例示)构成。以相同的方式，针对左眼的视线检测单元由左视线传感器407、左IRED 423、424和426至437、以及控制电路(未例示)构成。针对右眼的视线检测单元的控制电路和针对左眼的视线检测单元的控制电路可以是一个共同的控制电路，或者可以是单独的控制电路。

图14指示查看显示单元主体401的用户的眼球(右眼441R和左眼441L)、以及显示单元主体401的布置。

右镜头系统402和左镜头系统403由偏振反射光学系统构成。偏振反射光学系统例如可以使用日本特开2020-95205中所公开的技术来实现。

右显示面板450R是诸如有机EL面板等的显示面板，并且布置在右镜头系统402的背侧。用户的右眼441R通过右镜头系统402观看右显示面板450R。以相同的方式，左显示面板450L是诸如有机EL面板等的显示面板，并且布置在左镜头系统403的背侧。用户的左眼441L通过左镜头系统403观看左显示面板450L。

右镜头系统402由右偏振面板452、右第一透镜453、右第二透镜454(其在一个面(右第一透镜453侧的面)上包括右偏振半透半反镜454a)和右偏振反射板455构成。以相同的方式，左镜头系统403由左偏振面板462、左第一透镜463、左第二透镜464(其在一个面(左第一透镜463侧的面)上包括左偏振半透半反镜464a)和左偏振反射板465构成。假定右第二透镜454和左第二透镜464的用户侧的面是平坦面。

右显示面板450R的光路变为在右第二透镜454的内部返回的显示光路456。反射和透射由右偏振面板452、右偏振半透半反镜454a和右偏振反射板455控制，由此实现显示光路456。以相同的方式，左显示面板450L的光路变为在左第二透镜464的内部返回的显示光路466。反射和透射由左偏振面板462、左偏振半透半反镜464a和左偏振反射板465控制，由此实现显示光路466。

在右IRED 415的前侧(用户侧)，布置有右掩模457，其中红外光的透射率高于可见光的透射率。这里，右掩模457透射红外光且不透射可见光，但如果在可见光和红外光之间透射率(遮蔽因子)显著不同，则可以透射一些可见光。在图14中，右掩模457是在右IRED415的前方例示的，但实际上布置在右IRED 408、409和411至422与右第一透镜453之间。以相同的方式，在左IRED 430的前侧(用户侧)，布置有左掩模467，其中红外光的透射率高于可见光的透射率。这里，左掩模467也透射红外光且不透射可见光，但正如右掩模457一样，如果在可见光和红外光之间透射率(遮蔽因子)显著不同，则可以透射一些可见光。在图14中，左掩模467是在左IRED 430的前方例示的，但实际上布置在左IRED 423、424和426至437与左第一透镜463之间。

从右IRED 415发射的光透射穿过右镜头系统402，被右眼441R反射，再次透射穿过右镜头系统402，并且入射到右视线传感器406。该光路被指示为右视线检测光路460。以相同的方式，从左IRED 430发射的光透射穿过左镜头系统403，被左眼441L反射，再次透射穿过左镜头系统403，并且入射到左视线传感器407。该光路被指示为左视线检测光路470。

在图14中，从右IRED 415发射的光对右眼441R的角膜442R和虹膜(未例示)进行照明。右视线传感器406获取右眼441R的虹膜图像，并且还获取穿过右视线检测光路460的右IRED 415的镜面反射图像(浦肯野图像)。来自其他右IRED的光也以相同的方式对右眼441R的角膜442R和虹膜进行照明，尽管这在图14中未例示。由于多个右IRED对单个虹膜进行照明，因此减少了虹膜的照明不均匀。

以相同的方式，从左IRED 430发射的光对左眼441L的角膜442L和虹膜(未例示)进行照明。左视线传感器407获取左眼441L的虹膜图像，并且还获取穿过左视线检测光路470的左IRED 430的镜面反射图像(浦肯野图像)。来自其他左IRED的光也以相同的方式对左眼441L的角膜442L和虹膜进行照明，尽管这在图14中未例示。由于多个左IRED对单个虹膜进行照明，因此减少了虹膜的照明的不均匀。

如图14所例示的，在右第一透镜453的面(右显示面板450R侧的面)中，面向右IRED415(多个右IRED)的部分(即，入射面453a)和面向右视线传感器406的部分(即，出射面453b)具有不同的形状。以相同的方式，在左第一透镜463的面(左显示面板450L侧的面)中，面向左IRED 430(多个左IRED)的部分(即，入射面463a)和面向左视线传感器407的部分(即，出射面463b)具有不同的形状。

图15是右第一透镜453和右第二透镜454的立体图。右第一透镜453基本上具有转动体的形状，并且入射面453a(有时称为第二面)是圆锥面。在出射面453b(有时称为第一面)的部分中，在该圆锥面上一体地形成了类似于三棱柱的光学校正部470a作为凸部。出射面453b(面向右视线传感器406的面、光学校正部470a的顶面)是平面(平坦的)。

三棱柱通常具有折射角度根据波长而改变的特性。然而，右IRED仅发射有限波长范围中的光(红外光)。右视线传感器406也仅接收有限波长范围中的光(红外光)。因此，可以忽略上述的三棱柱的特性(折射角度根据波长而改变的特性)。

这里，将考虑出射面453b不平坦而具有曲率的情况。在这种情况下，在来自出射面453b的光中生成光学像差，并且右视线传感器406所接收到的图像劣化。通过使出射面453b平坦，可以减小光学像差。换句话说，出射面453b的光学像差小于入射面453a的光学像差。此外，从IRED发射的光被分成对虹膜的宽范围进行照明并在该范围上发生反射的漫反射光、以及在角膜上发生镜面反射的镜面反射光。通过使出射面453b平坦，可以从漫反射光检测光学像差已减小的瞳孔图像。可以将镜面反射光作为点光源的反射光进行处理。因此，通过使出射面453b平坦，可以从镜面反射图像检测光学像差已减小的浦肯野图像。结果，可以从瞳孔图像和浦肯野图像以高精度检测到视线。优选地，出射面453b是平面，但如果光学像差小于入射面453a的光学像差，则可以实现上述效果。可以通过将出射面453b的曲率半径增加到大于入射面453a的曲率半径来实现减小光学像差的效果，但该效果随着出射面453b更接近平面而更显著。

此外，在实施例4中，入射面453a的部分具有棱柱形状，因此可以布置右掩模457。通过布置右掩模457，当用户查看右镜头系统402时，右IRED不可见，并且可以实现优异的美观。

左眼侧与右眼侧相同。左第一透镜463基本上具有转动体的形状，并且入射面463a是圆锥面。在出射面463b的部分中，在该圆锥面上一体地形成有类似于三棱柱的光学校正部。出射面463b(面向左视线传感器407的面、光学校正部的面)是平面(平坦的)。由此，在左眼侧也可以获取到与右眼侧类似的效果。

如上所述，根据实施例4，在显示光学系统的面上，来自用户眼睛的光向视线传感器的受光面出射的面是平坦的。由此可以减小视线传感器所获取到的图像的光学像差，并且可以提高视线检测的精度。在实施例4中，右第一透镜453和光学校正部470a是一体的，但该光学元件可以使用多个光学元件来实现。

实施例5

现在将参考图16至图20来说明本发明的实施例5。在实施例5中，将说明配备有视线检测装置的摄像装置(照相机主体)的示例。根据实施例5的照相机主体检测查看取景器(电子取景器(EVF)单元)的用户的视线，并且拍摄存在于照相机主体和用户的正面方向上的被摄体的图像。假定与摄像光学系统的光轴平行的照相机主体的正面方向是Z轴(Z轴方向)。假定在照相机主体的最基本的标准姿势(正位置)中相对于Z轴的垂直向上方向是Y轴(Y轴方向)。假定在右手系统中垂直于Y轴和Z轴的方向是X轴(X轴方向)。

图16是根据实施例5的照相机主体500的示意截面图。图16是当在与Y轴和Z轴平行的平面处切开照相机主体500时的中央处的纵截面。在照相机主体500中，快门590和摄像传感器591并排布置在摄像光学系统(未例示)的光轴上。摄像传感器拍摄存在于照相机主体500的正面方向上的被摄体的图像。在照相机主体500的背面布置有背面监视器592。背面监视器592显示菜单和图像，以接收对照相机主体500的操作并且观看并编辑照相机主体500所获取到的图像。背面监视器592由具有背光的液晶面板或有机EL面板构成。正如标准照相机一样，EVF单元501、快门590、摄像传感器591和背面监视器592由CPU 593控制，并且进行所需信息的各种输入/输出处理。

EVF单元501包括EVF面板540(显示面板)、EVF镜头系统502(显示光学系统)和视线传感器506(眼球摄像部)。EVF单元501内置或附接到照相机主体500，使得照相机主体500的用户可以观看EVF面板540的显示画面。图16指示用户正用眼球541查看EVF单元501的状态。

EVF面板540是由具有背光的有机EL面板或液晶显示面板构成的显示面板。EVF面板540被布置成使得显示画面指向Z轴负方向。EVF镜头系统502布置在EVF面板540的显示画面的前方，并且由沿着在Z轴负方向上延伸的显示光学系统光轴583(显示光学系统(EVF镜头系统502)的光轴)布置的一个或多于一个透镜构成。EVF镜头系统502的透镜是通过切割和研磨或者通过模制制造的光学玻璃或透明光学塑料透镜。在图16中，EVF镜头系统502由作为可见光透射穿过的光学透镜的三个透镜(G1透镜562、G2透镜563和G3目镜透镜564)构成。EVF镜头系统502中所包括的透镜的数量不限于3个，而例如可以是4个或5个。EVF镜头系统502可以由为了放大EVF面板540的显示画面所组合的适当数量的透镜构成。

视线传感器506在视线传感器芯片548上形成查看EVF单元501的眼球541的图像。视线传感器506包括容纳在视线传感器透镜壳体546的内部的视线传感器透镜547和视线传感器芯片548。视线传感器芯片548布置在视线传感器透镜光轴547a(视线传感器透镜的光轴)上。视线传感器透镜547是在视线传感器芯片548上形成眼球541的图像所需的光学系统，并且由适当的光学透镜构成。在图16中，一个透镜被例示为视线传感器透镜547，但视线传感器透镜547可以包括多个透镜。视线传感器芯片548是对所形成的眼球541的包括红外成分的图像进行A/D转换、并且将结果输入到CPU 593的图像传感器。对于视线传感器芯片548，使用例如CMOS摄像传感器或CCD矩阵传感器。视线传感器506是一体地封装上述组件的紧凑照相机，但这些组件可以不是一体的。

将参考图17和图18来详细说明EVF单元501。图17是描绘照相机主体500的截面的一部分(靠近眼球541的部分)的示意图。图18是从眼球541侧观看EVF单元501的示意图，也就是说，在Z轴正方向上观看EVF单元501的示意图。

当用户查看EVF面板540的显示画面时，如图17所例示的，眼球541位于G3目镜透镜564的显示光学系统光轴583附近。眼球541被上眼睑550和下眼睑551部分覆盖，并且角膜542在上眼睑550和下眼睑551之间露出。这里，从G3目镜透镜564的周围布置的IRED 552至561发射红外光，并且通过该红外光对眼球541进行照明。

在G3目镜透镜564的周围布置有由不透射(吸收)可见光但透射红外光的材料(例如，树脂)制成的红外透射盖504，并且IRED 552至561被该红外透射盖504隐藏以从外部不可见。在红外透射盖504中，形成有用以使透射穿过G3目镜透镜564的可见光的有效光通量通过的开口部545，使得EVF面板540的显示画面变得可见。开口部545可以是或可以不是物理开口，只要可见光可以透射穿过即可。例如，红外透射盖504可以由涂覆在G3目镜透镜564上的红外透射涂层材料(不透射可见光但透射红外光的涂层材料)制成。在这种情况下，产生了未涂覆有红外透射涂层材料的部分(spot)，并且该部分用作开口部545。正如实施例1一样，红外透射盖504中的可见光的透射率不限于0，并且如果红外光的透射率高于可见光的透射率，则可以实现使IRED 552至561对用户而言不非常可见的效果。此外，正如实施例1的情况一样，优选地，可见光的透射率和红外光的透射率之间的差大。

在G3目镜透镜564的周围，布置有用以检测眼球541的接近的接近传感器549。接近传感器549是包括红外光照射部和红外光接收部的单元，并且例如使用所照射的红外光的反射角度、时间差和频率来测量G3目镜透镜564和眼球541之间的距离。接近传感器549所测量到的距离信息被发送到CPU 593，并且例如用作EVF面板540和IRED 552至561的点亮控制所需的信息。接近传感器549也被红外透射盖504隐藏。

显示光学系统光轴583和视线传感器透镜光轴547a不平行，而形成角度T510。例如，当照相机主体500在正位置时，视线506位于显示光学系统光轴583的下侧，并且视线传感器透镜光轴547a面向上。正位置可以被视为眼球541的横向方向与开口部545的横向方向大致一致的姿势。

眼球541被上眼睑550和下眼睑551部分覆盖。如实施例1中所述，在大多数情况下，上眼睑550比下眼睑551更大且更厚。照相机主体500更经常以正位置使用。因此，视线传感器506被布置成在正位置从下眼睑551侧向上看眼球541。然后，与将视线传感器506布置成在正位置从上眼睑550侧向下看眼球541的情况相比，可以减少视线传感器芯片548上所形成的眼球541的图像被眼睑遮蔽的情形。

如图18所例示的，围绕G3目镜透镜564(或开口部545)的外周布置有10个IRED 552至561。以显示光学系统光轴583为中心，IRED 555布置在1:00位置处，IRED 561布置在1:30位置处，IRED 556布置在2:00位置处，IRED 557布置在3:00位置处，并且IRED 558布置在5:00位置处。此外，IRED 559布置在7:00位置处，IRED 552布置在9:00位置处，IRED 553布置在10:00位置处，IRED 560布置在10:30位置处，并且IRED 554布置在11:00位置处。视线传感器506布置在6:00位置处。这些位置仅是其一般位置，并且不需要与上述时钟位置完全一致。

根据实施例5，正如实施例1一样，在视线传感器506的关于面向用户眼睛的开口部545的中心的相对侧的范围中，每度的光源(IRED)的数量为最大。这里，关注穿过显示光学系统光轴583的X轴方向上的水平线585。在图18中，与水平线585的布置有视线传感器506的一侧(下侧)相比，在水平线585的未布置有视线传感器506的一侧(上侧)布置有更多的IRED。在布置视线传感器506的一侧(水平线585的下侧)，布置有2个IRED(IRED 558和IRED559)。在未布置有视线传感器506的一侧(水平线585的上侧)，布置有6个IRED(IRED 553、IRED 554、IRED 555、IRED 556、IRED 560和IRED 561)。

图19A至图19D是描绘多个IRED、眼球541和视线传感器506的关系的示意图。图19A和图19B指示使用图18中的IRED 552至559作为多个IRED的情况(实施例5)。图19A是在从G3目镜透镜564侧观看眼球541时的立体图，并且图19B是在从G3目镜透镜564侧观看眼球541时的正面图。图19C和图19D指示使用按均匀间隔布置的IRED 552b至559b作为多个IRED的情况(比较例)。图19C是在从G3目镜透镜564侧观看眼球541时的立体图，并且图19D是在从G3目镜透镜564侧观看眼球541时的正面图。这里省略了IRED 560和561。

在图19A至图19D中，眼球541位于显示光学系统光轴583上，从而观看与G3目镜透镜564非常近的EVF面板540。从IRED 552至559(552b至559b)发射的主光束在反射位置R552至R559(R552b至R559b)处发生反射，并且入射到视线传感器506。在反射位置R552至R559(R552b至R559b)中，角膜542上的反射位置在视线传感器506所获取到的图像中被捕获作为浦肯野图像。因此，通过在角膜542上布置多个反射位置，可以提高视线检测的精度。

在图19A和图19B(实施例5)中，4个反射位置(R552、R553、R556和R557)位于角膜542上。反射位置R553和R554位于上眼睑550上，并且反射位置R558和R559位于下眼睑551上。因此，反射位置R553、R554、R558和R559在视线传感器506所获取到的图像中未被捕获作为浦肯野图像。

在图19C和图19D(比较例)中，反射位置R552b和R557b也位于下眼睑551上。因此，位于角膜542上的反射位置仅是反射位置R553b和R556b。

视线传感器506被布置成从下部位置向上看球状角膜542。结果，如图19D所例示的，从IRED发射的主光束的反射位置集中于角膜542的下侧。在用户的眼睛非常接近EVF单元501的情况下，该趋势变得明显。

正是由于该原因，在实施例5中，在视线传感器506的关于显示光学系统光轴583的相对侧上布置有更多的IRED。然后，集中在角膜542的下侧的反射位置可以朝向角膜542的中心移动，并且可以减少主光束被下眼睑551遮蔽的情形。

在实施例5中，使用多个IRED，但在一些情况下，使许多IRED以高输出点亮对于用户的安全可能是不期望的。使许多IRED始终点亮还增加了照相机主体500的电力消耗。因此，优选不使太多IRED点亮。

图20是描绘在用户将照相机主体500逆时针转动约90°的状态下(也就是说，在用户正在查看处于垂直位置的EVF单元501的状态下)眼球541和EVF单元501之间的关系的示意图。垂直位置可以被认为是眼球541的横向方向与开口部545的纵向方向大致一致的姿势。图20是在从EVF面板540侧观看眼球541时的正面图。眼球541位于显示光学系统光轴583上。在图20中，照相机主体500是以与正位置相同的方式指示的，并且眼球541逆时针转动了90°。照相机主体500的转动方向不限于逆时针，并且即使在照相机主体500顺时针转动的情况下，以下说明也仍适用。

在图20中，与上眼睑550侧布置的IRED 555、556、557、558和560分别相对应的反射位置R555、R556、R557、R558和R560位于上眼睑550上。因此，反射位置R555、R556、R557、R558和R560在视线传感器506所获取到的图像中未被捕获作为浦肯野图像。另一方面，与下眼睑551侧布置的IRED 552、553、554、559和561相对应的反射位置R552、R553、R554、R559和R561位于角膜542上。因此，反射位置R552、R553、R554、R559和R561在视线传感器506所获取到的图像中被捕获作为浦肯野图像。眼睑的形状根据个体而不同，但如上所述，上眼睑550倾向于比下眼睑551更多地覆盖眼球541。

如图20所示，在垂直位置的情况下，优选使下眼睑551侧的IRED点亮。然而，当在垂直位置中拍摄图像时，使照相机主体500顺时针转动还是逆时针转动取决于用户。此外，IRED不仅用于获取浦肯野图像，而且用于视线传感器506捕获眼球541并确保总体光量。假定各种用户和使用条件，优选对称地而不是非对称地选择要点亮的IRED。

现在比较图19B和图20。如图19B所例示的，在正位置的情况下，夹在上眼睑550和下眼睑551之间的角膜542横向露出(角膜542以X方向上的宽度宽的状态露出)。另一方面，如图20所例示的，在垂直位置的情况下，不论照相机主体500的转动方向如何，角膜542都纵向露出(角膜542以Y方向的宽度宽的状态露出)。

因此，在正位置的情况下，从位于Y轴的正或负侧上的距离处的IRED(例如，IRED554、555、558、559)发射的光在视线传感器506所获取到的图像中不太可能被捕获作为浦肯野图像。以相同的方式，在垂直位置的情况下，从位于X轴的正侧或负侧上的距离处的IRED(例如，IRED 552、553、556、557)发射的光在视线传感器506所获取到的图像中不太可能被捕获作为浦肯野图像。

因此，根据实施例5，CPU 593控制多个IRED中的各IRED，使得在正位置的情况和垂直位置的情况之间切换要点亮的IRED。在正位置的情况下，CPU 593使仅包括开口部545的中心的上侧所布置的IRED的第一光源组点亮，并且在垂直位置的情况下，CPU 593使不同于第一光源组的第二光源组点亮。多个IRED的一部分包括在第一光源组和第二光源组这两者中。例如，在正位置的情况下，使IRED 552、553、556、557、560和561点亮，并且使其他IRED不点亮。在垂直位置的情况下，使IRED 554、555、558、559、560和561点亮，并且使其他IRED不点亮。实施例5中的第一光源组和第二光源组的定义不同于实施例3中的第一光源组和第二光源组的定义。

这里，不论用户的摄像姿势如何，从IRED 560和561发射的光更可能在视线传感器506所获取到的图像中被捕获作为浦肯野图像。因此，IRED 560和561在正位置和垂直位置这两个情况下都点亮。优选地，在视线传感器506的关于显示光学系统光轴583的相对侧上沿对角线方向布置的IRED(在穿过显示光学系统光轴583的方向布置并且相对于Y轴倾斜了45°±10°的IRED)持续点亮。

然而，诸如在眼球541离显示光学系统光轴583远的情况下或者在眼球541离EVF单元501过近的情况下等，即使根据用户的姿势来控制要点亮的IRED，也可能无法获取到足够数量的浦肯野图像。因此，在所获取到的浦肯野图像(视线传感器506上所形成的浦肯野图像)的数量小于预定数量的情况下，CPU 593可以根据所获取到的浦肯野图像的情形来使熄灭的一个或多于一个IRED暂时点亮。预定数量是足够视线检测用的数量，并且例如是2个。由此，可以增加要获取的浦肯野图像的数量，并且可以降低视线检测错误的生成频度。

如上所述，根据实施例5，正如实施例1一样，在视线传感器的关于面向用户眼睛的开口部的中心(显示光学系统的光轴)的相对侧的范围中，每度的光源的数量为最大。由此，可以提供不论情形如何都可以以高精度检测视线的摄像装置(视线检测装置)。

以上实施例(包括变形例)仅仅是示例，并且通过在本发明的精神的范围内适当地修改或改变以上实施例的结构所获得的结构也包括在本发明中。此外，通过适当地组合以上实施例的结构所获得的结构也包括在本发明中。例如，用以增强聚焦区域(焦点峰值)的轮廓的图像处理可以与以上实施例组合。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (15)

1.一种视线检测装置，包括：

目镜透镜；

图像传感器，其布置在所述目镜透镜的边缘上，并且被配置为拍摄面向所述目镜透镜的眼睛的图像；

多个第一光源，其沿着所述目镜透镜的边缘布置；

多个第二光源，其沿着所述目镜透镜的边缘布置，

其中，在与所述目镜透镜的光轴垂直相交的平面上，从所述多个第二光源中的各第二光源投影在所述平面上的位置到所述光轴的距离比从所述多个第一光源中的各第一光源投影在所述平面上的位置到所述光轴的距离长。

2.根据权利要求1所述的视线检测装置，其中，

在所述眼睛的角膜的中心与所述目镜透镜的光轴相交的情况下，由从所述多个第二光源中的各第二光源入射到所述眼睛的光与所述光轴所形成的角度比由从所述多个第一光源中的各第一光源入射到所述眼睛的光与所述光轴所形成的角度大。

3.根据权利要求1所述的视线检测装置，其中，

所述目镜透镜的下侧所布置的第二光源的数量比所述目镜透镜的上侧所布置的第二光源的数量多。

4.根据权利要求1所述的视线检测装置，其中，

所述多个第一光源中的各第一光源被布置成使得光通过所述目镜透镜出射到外部，以及

所述多个第二光源中的各第二光源被布置成使得光在不穿过所述目镜透镜的情况下出射到外部。

5.根据权利要求4所述的视线检测装置，其中，

所述多个第一光源中的各第一光源的亮度比所述多个第二光源中的各第二光源的亮度高。

6.根据权利要求1所述的视线检测装置，其中，

从所述多个第二光源中的各第二光源投影在所述平面上的位置到所述光轴的距离是从所述多个第一光源中的各第一光源投影在所述平面上的位置到所述光轴的距离的至少1.2倍。

7.根据权利要求1所述的视线检测装置，其中，

从所述多个第二光源中的各第二光源投影在所述平面上的位置到所述光轴的距离是从所述多个第一光源中的各第一光源投影在所述平面上的位置到所述光轴的距离的至少1.5倍。

8.根据权利要求1所述的视线检测装置，还包括控制单元，所述控制单元被配置为控制所述多个第一光源中的各第一光源和所述多个第二光源中的各第二光源，并且基于来自所述图像传感器的输出来检测用户的视线。

9.根据权利要求8所述的视线检测装置，其中，

所述控制单元：

基于与包括所述多个第一光源和所述多个第二光源的多个光源的一部分或全部相对应的在所述图像传感器上形成的多个反射图像，来暂时检测用户的视线，

基于暂时检测到的视线来选择所述多个反射图像的一部分，以及

基于所选择的反射图像来最终检测用户的视线。

10.根据权利要求8所述的视线检测装置，其中，

所述控制单元：

基于与包括所述多个第一光源和所述多个第二光源的多个光源的一部分或全部相对应的在所述图像传感器上形成的多个反射图像，来暂时检测用户的视线，

基于暂时检测到的视线来使所述多个光源的一部分熄灭，以及

在所述多个光源的一部分熄灭的状态下，最终检测用户的视线。

11.根据权利要求1所述的视线检测装置，其中，

在关注于所述多个第一光源和所述多个第二光源中的至少一者的情况下，在围绕所述光轴的360°范围中的、所述图像传感器的关于所述光轴的相对侧的范围中，每度的光源的数量为最大。

12.根据权利要求1所述的视线检测装置，其中，

所述多个第一光源布置在关于所述目镜透镜的光轴的所述多个第二光源的内侧。

13.根据权利要求1所述的视线检测装置，其中，

所述多个第二光源中的各第二光源是用于发射红外光的光源，并且使用所述红外光的透射率高于可见光的透射率的材料对用户隐藏该光源。

14.根据权利要求1所述的视线检测装置，还包括光学系统，所述光学系统包括所述目镜透镜，

其中，光从外部通过所述光学系统入射到所述图像传感器，

在所述光学系统的面上，面向所述图像传感器的部分是平坦的，

在所述光学系统的面上，不面向所述图像传感器的部分是圆锥面，

所述多个第一光源中的各第一光源被布置成使得光通过所述光学系统出射到外部，

所述多个第二光源中的各第二光源被布置成使得光在不穿过所述光学系统的情况下出射到外部，

所述多个第一光源中的各第一光源的亮度高于所述多个第二光源中的各第二光源的亮度，

所述多个第二光源中的各第二光源是用于发射红外光的光源，以及

在关注于所述多个第一光源和所述多个第二光源中的至少一者的情况下，在围绕所述目镜透镜的光轴的360°范围中的、所述图像传感器的关于所述光轴的相对侧的范围中，每度的光源的数量为最大。

15.一种头戴式显示装置，包括：

根据权利要求1至14中任一项所述的视线检测装置；以及

显示单元，其被配置为显示能够通过所述目镜透镜看见的图像。