CN117043721A - 用于确定眼睛方向的眼睛配戴物 - Google Patents

Abstract

一种眼睛配戴物(10)，其适于配合使用者的面部并且适于确定使用者的眼睛的眼睛方向。眼睛配戴物设置有至少三个光传感器(1)，每个光传感器被配置成输出光强度测量值，该光强度测量值对应于源自眼睛配戴物外侧的使用者的周围环境并且被使用者的眼睛反射或散射的环境光。眼睛配戴物的处理单元(4)根据光强度测量值确定眼睛方向。

Description

用于确定眼睛方向的眼睛配戴物

技术领域

本发明涉及一种适于确定眼睛方向的眼睛配戴物。

背景技术

确定人的至少一个眼球的方向对于许多应用是有用的，例如在眼科领域、增强现实领域等。一般来说，对于这些应用，能耗和所确定的眼球方向的可靠性是重要问题，并且迄今为止提出的解决方案仍然不能令人满意。

实际上，一些现有的解决方案采用被布置为捕获瞳孔图像的阵列型图像传感器和被配置为从捕获到的图像推断眼球方向的处理单元。但是这样的图像传感器是耗能的，因此它们需要具有提供足够容量的电源。这样的电源沉且笨重，并且将它们与眼科眼睛配戴物或增强现实设备相结合是困难的，从而导致装置在长时间配戴时是不合意的。

此外，许多现有的解决方案采用布置在眼球附近的光源，用于向使用者的眼睛发射红外光。这样的光源提高了所确定的眼球方向的可靠性，特别是在环境光水平低时。但是这些光源进一步增加了能耗，使电源的重量和大小问题更加严重。

从这种情况出发，本发明的一个目的在于提供一种新的装置，该装置允许确定眼球方向，但没有现有装置的缺点。

特别地，本发明旨在提供一种能够确定眼球方向的装置，该装置简单、重量轻并且易于布置在面部配合设备内。

本发明的另一个目的是提供这样的装置，该装置对于大多数环境光条件以可靠的方式确定眼球方向。

发明内容

为了满足这些目的或其他目的中的至少一个目的，本发明的一个方面提出了一种眼睛配戴物，其适于配合使用者的面部并且适于确定使用者的眼睛的眼睛方向，该眼睛配戴物包括：

-至少三个光传感器，该至少三个光传感器被布置在用于该使用者的眼睛的眼睛配戴物中，这些光传感器中的每一个光传感器被配置成针对每次眼睛方向确定输出至少一个光强度测量值，该至少一个光强度测量值对应于源自眼睛配戴物外侧的使用者的周围环境并且在该光传感器有效的视场内被使用者的面部反射或散射的环境光；以及

-处理单元，该处理单元被布置成接收针对每次眼睛方向确定的光强度测量值，并且根据这些光强度测量值确定眼睛方向。

根据本发明，在眼睛配戴物被使用者配戴时，光传感器被布置成使得：

与光传感器之一有关的每个视场具有在眼睛配戴物处的顶点和朝向使用者的面部定向的截面增大方向，该视场的截面从眼睛配戴物朝向使用者的面部连续增大，

每个视场将使用者的眼睛的至少一部分涵盖在内，以及

每个视场具有介于0.006球面度与0.22球面度之间的积分孔径值，并且使用者的眼睛占据该视场的至少30％、优选地至少50％。

由于测量由使用者的面部反射或散射的环境光，并且因为每个光传感器的视场介于0.006球面度与0.22球面度之间，因此本发明的眼睛配戴物在确定眼球方向方面结合了低能耗和可靠性。以这种方式，不需要使用嵌入在眼睛配戴物内的光源。

此外，使用各自由一个光电探测器构成的光传感器，而不是阵列型传感器，也降低了能耗。

对于每个传感器视场，从0.006球面度至0.22球面度的立体角范围构成了该视场大到足以收集足够的光与该视场被限制以对应于使用者面部的包含关于眼球方向的重要信息的部分之间的折衷。大于0.22球面度的视场将导致关于眼睛方向的信息被弱化，从而降低眼睛方向确定的可靠性。因为每个视场的截面从眼睛配戴物朝向使用者面部连续增加，所以光传感器不通过在这些传感器的每个传感器上对使用者面部的部分进行成像来操作。

在本发明的各种实施例中，每个光传感器可以包括光电二极管、光电晶体管、环境光传感器、光伏电池等。以已知的方式，环境光检测器包括与明视滤波器组合的光传感器。类似地，用于每个光传感器的任何检测器都可以与以期望波长值为中心的陷波滤波器组合，或者也可以与偏振滤波器等组合。

一般来说，对于本发明，光传感器的数量可以介于四个与八个之间，包括四个光传感器和八个光传感器。传感器数量的这种范围是在针对每次眼睛方向确定的可靠性的一些有限冗余与降低能耗之间的优化折衷。

优选地，本发明的眼睛配戴物的每个光传感器可以是对可见光灵敏的。实际上，受限于可见光的传感器灵敏度增加了检测对比度，从而进一步提高了眼睛方向的确定可靠性。

在本发明的可能的实施方式中，至少三个光传感器的相应视场可以具有带圆形截面的锥形形状。对于这样的配置，这些视场中的每一个视场的孔径角(2·θ)可以有利地介于5°与30°之间、优选地介于8°与15°之间。

本发明的眼睛配戴物可以包括透视区域，该透视区域在眼睛配戴物被使用者配戴时专用于使用者的眼睛。然后，每个光传感器可以位于透视区域的外周边缘附近，或者来自使用者的面部的光可以被在透视区域上延伸的全息反射镜朝向光传感器反射。

在本发明的各种实施例中，眼睛配戴物可以包括用于确定每个光传感器的视场的以下部件中的至少一个：

-折射型或衍射型的透镜，其具有固定焦距并且耦合到光传感器；

-耦合到光传感器的变焦透镜，例如可变膜透镜或液晶透镜或可变折射率透镜，该变焦透镜具有由眼睛配戴物的控制器调整的焦距值；

-耦合到光传感器的光纤段；以及

-具有倾斜的外周壁的孔或者布置在光传感器的感光表面上方的孔径光阑。

为了提高眼睛方向确定的可靠性，有利地，由朝向使用者眼睛定向的光传感器输出的光强度测量值呈现出有限冗余或低冗余。为此目的，这些光传感器的视场优选地是不同的。为此，这些视场的第一子集的相应轴向方向可以都穿过位于使用者的眼睛内的一个第一共用会聚点，并且这些视场的另一子集的相应轴向方向可以都穿过也位于使用者的眼睛内的一个第二共用会聚点，该第一共用会聚点和该第二共用会聚点在眼睛配戴物被使用者配戴时位于使用者的眼睛内的不同深度值处。但是一般来说，可以优选的是，光传感器被布置成使得各自由视场中的至少两个视场共用的视场部分的孔径值之和的比率小于所有视场的相应孔径值之和的40％、优选地小于10％。

下文列出了本发明的眼睛配戴物的可选改进，这些改进可以分开实施或者以它们中的几种组合地实施：

-处理单元可以被配置成根据每个光强度测量值计算归一化偏差值，该归一化偏差值等于光强度测量值与针对同一次眼睛方向确定的光强度测量值的平均值之间的差值除以该平均值的结果。然后，处理单元可以进一步被配置成根据归一化偏差值确定眼睛方向；

-光传感器可以被布置成确定视场对，每个对包含共用轴向方向和顶点但孔径值不同的两个视场。然后，处理单元可以被配置成为每个对计算针对该对的两个视场测量的相应光强度值之间的组合(例如差值或比率)，并且根据与至少三个视场对相关的差值的结果确定眼睛方向。替代性地，针对每个对的两个视场测量的相应光强度值可以被处理单元直接用于确定眼睛方向。例如，当视场是具有圆形截面的锥形时，每个对的两个视场的相应孔径角可以是约40°和10°；

-眼睛配戴物可以进一步包括附加光传感器，这些附加光传感器在眼睛配戴物被使用者配戴时具有背离使用者的眼睛定向的相应视场，并且这些附加光传感器专用于评估使用者的周围环境和/或使用者的面部的光图。这种附加光传感器可以背离使用者的面部定向和/或朝向使用者面部皮肤的一部分定向。然后，处理单元可以被配置成根据与由使用者的眼睛反射或散射的光相关的光强度测量值，结合由附加光传感器评估的光图确定眼睛方向；以及

-处理单元可以被配置成使用以下算法类型之一来确定眼睛方向：

回归类型、特别是线性和多项式回归、支持向量回归，神经网络类型；

最近邻法、高斯过程和相关法；

基于使用者的面部和/或眼睛配戴物中的光传感器布置的3D模型的算法；以及

前述类型中的至少两种的组合。

可能地，本发明的眼睛配戴物可以被配置成输出相继的光强度测量值组，每个组对应于相应的眼睛方向确定序列。然后，处理单元可以被配置成通过采用时间滤波器、特别是卡尔曼滤波器利用相继的光强度测量值组或者利用相继的眼睛方向确定相继滤波的眼睛方向，这些相继的眼睛方向各自根据相继的光强度测量值组之一分别地确定。因此，为所确定的每个眼睛方向获得了进一步改进的可靠性。

眼睛配戴物还可以被配置成在用于确定眼睛方向的有效操作之前执行校准步骤，该校准步骤包括：获取标记的训练集，这些标记的训练集各自包括光强度测量值和对应的眼睛方向；以及基于标记的训练集调整由处理单元实施的、用于确定眼睛方向的有效操作的算法的参数。这种校准步骤可以构成一般训练或专用于配戴眼睛配戴物的使用者的个性化训练。

一般来说，本发明的眼睛配戴物可以是以下类型中的一种：

-设置有电致变色透镜的眼镜，并且该眼镜适于基于针对对应使用者的眼睛而确定的眼睛方向、并且可选地还基于感测到的使用者的周围环境中光源的方向调整每个透镜的透射率；

-设置有电致变色镜片的面罩，并且该面罩适于基于针对使用者的眼睛中的至少一只眼睛而确定的眼睛方向、并且可选地还基于感测到的使用者的周围环境中光源的方向调整镜片的吸光率；

-增强现实眼睛配戴物、信息性眼睛配戴物或现实和虚拟现实混合的眼睛配戴物；

-设置有变焦透镜的眼睛配戴物(例如眼镜、面罩或护目镜)，并且该眼睛配戴物适于基于针对对应使用者的眼睛而确定的眼睛方向调整每个透镜的焦距；以及

-设置有至少一个有源滤波器的眼镜或面罩，并且这些眼镜或面罩适于基于针对使用者的眼睛中的至少一只眼睛而确定的眼睛方向调整该滤波器的光谱透射率或偏振滤波操作。

同样，一般来说，对于本发明，眼睛配戴物可以包括至少两组、每组至少三个光传感器，每个组具有视场，这些视场被定向为使得该组针对眼睛配戴物在使用者的面部上的一个位置来确定眼睛方向是有效的，分别对应于所有光传感器组的相应眼睛配戴物位置彼此不同。例如，当眼睛配戴物是眼镜类型时，其位置可以对应于眼镜沿着使用者鼻子的不同位置。

可能地，根据本发明的眼睛配戴物可以包括校正系统，该校正系统被配置成向处理单元提供情境数据(contextual data)，这些情境数据与至少三个光传感器针对给定眼睛方向确定的光强度测量值的情境相关，并且处理单元被配置成进一步基于情境数据确定眼睛方向。

校正系统可以包括至少一个附加传感器，其中情境数据基于该至少一个附加传感器的输出。

替代性地或另外地，校正系统可以包括用于感测与使用者的眼睛的眼睛方向相关的附加数据的独立装置，该校正系统被配置成基于独立装置的输出确定对眼睛方向的单独估计，并且将该单独估计提供给处理单元。

可选地，至少三个传感器可以被配置成以给定频率输出光强度测量值，并且至少一个附加传感器可以被配置成以不同于给定频率的频率输出附加数据。

可选地，校正系统可以包括激活模块，该激活模块用于在检测到事件时将校正系统从非活动模式临时地切换到活动模式，所述检测基于至少一个传感器的输出。

现在将参考附图描述本发明的这些和其他特征，附图涉及本发明的优选但非限制性的实施例。

--附图说明--

图1是根据本发明的眼睛配戴物的立体图；

图2a是在图1的眼睛配戴物中使用的一个光传感器的放大图；

图2b对应于图2a，针对本发明的特定实施例；

图3a是示出了由图1的眼睛配戴物的处理单元执行的步骤的图；以及

图3b、图4、图5和图6分别对应于图3a，针对替代性实施例。

为了清楚起见，在这些图中出现的元件大小不对应于实际尺寸或尺寸比。另外，在这些图的不同图中指示的相同附图标记表示具有相同功能的元件的相同元件。

--具体实施方式--

根据本发明的眼睛配戴物在图1中总体上由附图标记10表示。在所展示的实施例中，眼睛配戴物10包括具有面部配合框架11、镜腿12和13以及分别表示为L和R的左右透视区域的眼镜设备。透视区域L和R中的每一个专用于眼睛配戴物10的配戴者眼睛中的一只眼睛。在本发明的可能实施例中，镜片可以在透视区域L和R处容纳在框架11中，用于产生任何光学功能，包括屈光不正矫正、主动调节辅助、主动变暗(特别是用于遮阳)、光谱滤波(特别是主动光谱滤波)、偏振滤波(特别是主动偏振滤波)和信息显示(特别是用于增强现实应用)。任何人还将理解，确定眼睛方向的功能不限于在透视区域L和R中使用镜片，而是存在需要出于未在框架11内实现的目的而确定眼睛方向的应用。

多个光传感器1(例如五个光传感器)在透视区域L和R中的每一个的外周边界处布置在框架11中。替代性地，光传感器1中的一些光传感器可以位于框架11的鼻梁处或者位于镜腿12和13中，但是对于朝向配戴者眼睛定向的光传感器1而言，靠近透视区域L和R的位置是优选的。每个光传感器1可以包括光电二极管，但是可以替代地使用其他类型的光传感器。每个光传感器还可以与光学滤波器和/或电放大器组合。每个光传感器1与具有孔径值和轴向方向D的视场F相关联(见图2a)。根据本发明，光传感器1中的至少三个光传感器的相应视场F朝向与所考虑的透视区域L或R对应的配戴者的左眼或右眼定向，具有介于在0.006球面度与0.22球面度之间的孔径值。每个视场F均具有顶点A，该顶点位于对应的光传感器1处，或者考虑稍后将描述的一些特定实施例，更一般地位于框架11处。每个视场的截面在沿着视场的轴向方向D远离顶点A移动时增大。每个视场F的形状在截面上可以是任何形状，包括圆盘形状、正方形形状和纵向方向以选定方式定向的长形形状。每个视场F的形状可以通过任何方式来确定，包括任何类型(特别是折射型或衍射型)的小透镜、具有倾斜的外周壁的孔或者布置在光传感器的感光表面上方的孔径光阑。图2a示出了由框架11支撑的这种光传感器1，其视场F由掩膜片2M中切出的孔2确定，该掩膜片布置在光传感器的感光表面上方。掩膜片2M由此确定视场F的轴向方向D、视场的截面形状及视场的孔径值。在展示的示例中，视场F的截面形状是圆形的，使得视场F具有孔径角2·θ的锥形形状。优选地，该孔径角2·θ介于5°与30°之间，优选地介于8°与15°之间，例如等于10°。视场F朝向配戴者的面部定向，以便将配戴者的眼睛的至少一部分涵盖在内。在本发明的这种实施例中，每个视场F的顶点A位于对应光传感器1的感光表面处。为了使由每个朝向使用者眼睛定向的光传感器1输出的光强度测量值具有足够的眼睛方向灵敏度，该光传感器的视场F的至少30％、优选地至少50％被配戴者的眼睛占据。

在替代性实施例中，可以在每个光传感器1的感光表面与对应视场F之间使用光纤段。然后，视场F的孔径值和形状、特别是其f数值可以由所使用的光纤的类型来确定。这种实施例允许将光传感器1放置在框架11中距所涉及的透视区域L或R一定距离处，并且经由光纤段将光传感器光学耦合到视场F的顶点A的期望位置。

还可以在透视区域R或L的一部分上或遍及该透视区域地布置半反射全息层，用于通过反射将光传感器1的视场F朝向配戴者的面部重定向。这种实施例允许出于美观问题而将光传感器1定位在框架11的围绕透视区域的凹陷部内。半反射全息层可以在窄波长范围内对入射到其上的光是有效的，例如有限地在4nm(纳米)至10nm宽度的波长范围内。这避免全息层干扰配戴者的色觉。然后，通过全息层的反射而朝向配戴者眼睛定向的光传感器1可以优选地与匹配全息层效率范围的光谱光学滤波器组合。

优选地，由光传感器1捕获的整个信息具有低冗余。为此，优选地，所有视场F的轴向方向D都不会聚到位于配戴者眼睛中的单个会聚点，否则虹膜的对称性将产生信息冗余。因此，视场F可以定向成使得它们的轴向方向D呈现至少两个会聚点，每个会聚点由至少两个视场F共用，或者使得轴向方向D中的至少一些轴向方向不与任何其他轴向方向交叉。出于类似的原因，在配戴者的面部处的视场F之间的重叠优选地较低，具体地使得各自由视场F中的至少两个视场共用的视场部分的孔径值之和小于所有视场F的相应孔径值之和的40％、优选地小于10％。

在本发明的改进的实施例中，视场F可以成对地关联，具有相同的轴向方向D和基本上相同的视场顶点A，但每个对内具有不同的孔径值，例如，每个对内具有角度值2·θ等于10°和40°的锥形视场(见图2b)。这种视场配置即使在环境光变化时也能提供更可靠的检测信息。这种改进的实施例可以通过成对地分布光传感器1来获得，其中同一对的两个光传感器彼此靠近。替代性地，每个视场对可以通过将一个光传感器与适于改变视场的孔径值的有源装置组合来获得。这种有源装置可以是任何类型的可变焦距透镜，例如包括可变膜透镜或液晶透镜或可变折射率透镜。然后，眼睛配戴物10包括用于在两个相继的光强度测量(例如，以角度值为10°的第一测量和在第一测量之后立即执行的以角度值为40°的第二测量)之间快速改变孔径值的控制器。图2b展示了这样的操作，其中F₁和F₂表示具有相同的轴向方向D和顶点A但相应角度值为10°和40°的两个视场。

眼睛配戴物10可以进一步包括附加光传感器，这些附加光传感器专用于评估配戴者周围环境或配戴者面部的光图。这种附加光传感器的视场被定向成背离配戴者的眼睛，例如背离配戴者的面部或者朝向配戴者的面部皮肤的一部分。附加光传感器提供附加的光强度测量值，这些附加的光强度测量值对于将对与眼睛方向相关的光强度测量值的贡献与由于配戴者的周围环境和与配戴者的头部运动相关的变化引起的其他贡献分开可以是有用的。可能地，惯性测量单元(未展示)也可以容纳在框架11中，用于感测头部运动并允许减去头部运动在光强度测量值的变化中的贡献，这些光强度测量值是由光传感器中指向配戴者眼睛的光传感器输出的。

可能地，附加光传感器中背离配戴者面部定向的附加光传感器可以被设计用于评估配戴者的周围环境中存在的一些光的偏振特征。例如，这对于配戴者靠近水面或在水面附近的情况下可以是有用的。例如，这些附加光传感器中的两个可以具有相同的视场，但是一个没有偏振滤波能力，而另一个设置有偏振滤波器。附加光传感器中的至少一些附加光传感器的这种设计对于考虑入射到配戴者眼睛上的显著偏振光的影响可以是有用的。

在眼睛配戴物10中使用的所有光传感器1优选地在可见光范围(即，从360nm(纳米)至780nm)内是灵敏的，并且可能对可见光范围中的有限部分灵敏。因此，合适的光谱滤波器可以与光传感器1组合，优选地，对于所有这些光传感器而言，滤波器都是相同的。可以有利的是，光传感器1中朝向配戴者面部(皮肤部分或眼睛)定向的光传感器被布置成使得由这些传感器接收的光在配戴者的面部与光传感器之间传播时不穿过位于透视区域L或R中的镜片。因此，这些光传感器可以在镜片背面的前面位于镜片的外侧、靠近镜片的外周边缘。然而，对于背离配戴者面部定向的附加光传感器，它们优选地被定位成使得由这些附加传感器接收的光穿过镜片，用于自动考虑由镜片产生的配戴者面部变亮的修改。这是有帮助的，特别当镜片是光吸收的(包括光致变色镜片)、偏振滤光的或具有光焦度时。对于所有光传感器的这种布置进一步提高了眼睛方向确定的可靠性。

同样优选地，眼睛配戴物10的光传感器1可以与至少一个滤波器组合，该至少一个滤波器适于放弃对与频率等于50Hz(赫兹)、60Hz、100Hz或120Hz的时间变化相关联的光强度测量值的贡献。当环境光是人造光时，这种时间滤波避免了错误地确定眼睛方向的变化。如果检测到具有与上述频率值之一相对应的时间变化的人造光，则可以控制光传感器同时执行它们各自的光强度测量，使得环境光的时间变化不干扰测量结果中的实际眼睛方向。

根据一组光强度测量值确定每个眼睛方向，这些光强度测量值由光传感器1同时捕获并且由这些光传感器传输到处理单元4(见图1)。处理单元4可以位于框架11内，例如位于镜腿12和13中的一个内。电源3(例如电池)也可以容纳在框架11中，用于向处理单元4供应必要的能量。电源3还可以用于向光传感器1施加适当的偏置电压。

为了增加所确定的眼睛方向的可靠性，优选地对由光传感器中朝向配戴者眼睛定向的光传感器输出的光强度测量值执行预处理。这种预处理旨在针对周围环境光的影响来校正光强度测量值，周围环境光在配戴者眼睛上对于视场F中的一个视场的反射相比于另一个视场可以不同。

第一种可能的预处理仅采用朝向配戴者眼睛定向的光传感器。为了抑制一般环境光水平的影响，由光传感器输出的光强度测量值可以按照以下方式转换成归一化偏差值。首先，计算光强度测量值的平均值，然后将该平均值与光强度测量值中的每个光强度测量值相减，并且将每个减法结果进一步除以平均值。以这种方式，获得归一化偏差值，这些归一化偏差值抑制了环境光水平对进一步处理所得值的影响。

预处理光强度测量值的第二种可能性采用光传感器1中朝向配戴者其眼睛外侧的面部皮肤(例如朝向位于配戴者面部的左侧和右侧上的皮肤部分)定向的光传感器(先前称为附加光传感器)。然后，由光传感器1中朝向配戴者眼睛定向的一个光传感器输出的光强度测量值可以减少一定量，该量主要取决于由具有平行的轴向方向D但朝向皮肤部分定向的附加传感器输出的测量值。还可以考虑由附加光传感器1输出的所有测量值来校正由光传感器1中朝向配戴者眼睛定向的一个光传感器输出的光强度测量值，但是优选地将主要作用分配给与轴向方向D相对应的光传感器，这些光传感器与所考虑的眼睛定向的光传感器具有小的角度差。

第三种可能的预处理采用如图2b所展示的视场对。每个光传感器1执行以视场F₁进行的第一测量，此后立即执行以视场F₂进行的第二测量。两个测量优选地一个接一个地快速执行，使得它们对应于相同的眼睛方向。然后，针对每个光传感器1计算第一测量结果与第二测量结果之间的差值，并且差值结果构成预处理所得值。

第四种可能的预处理采用背离配戴者面部定向的附加光传感器。例如，三至八个附加光传感器专用于测量不同方向上的环境光，以便评估配戴者周围环境的光图。这种光图允许推断在每个视场中不同地影响配戴者眼睛的照明空间变化，然后以类似于上述第二种可能性的方式针对这种空间变化校正由光传感器中朝向配戴者眼睛定向的光传感器输出的光强度测量值。根据用于更精确地评估光图的改进方案，本发明的眼睛配戴物可以进一步容纳惯性测量单元，该惯性测量单元允许将环境光空间变化与配戴者头部运动分开。

还可能的是，可以组合几个先前的预处理模式以获得更可靠的眼睛方向确定。然后根据预处理的光强度测量值来确定眼睛方向。

替代性地，可以不对一些或全部光强度测量值实施任何预处理，并且通过将由对应光传感器产生的这些光强度测量值输入到用于确定眼睛方向的算法中来确定眼睛方向。

替代性地，可以使用几种算法来根据光强度测量值或根据预处理所得的光强度测量值确定眼睛方向。这样的算法是本领域技术人员已知的，因此在这里提及其中的一些而不详细描述它们就足够了。这些算法中的一些是回归类型的(特别是线性或多项式回归、支持向量回归)或神经网络类型的。替代性地，可以使用其他算法，比如最近邻法、高斯过程、相关法和配戴者面部和/或传感器布置的3D建模。也可以使用混合方法。在本说明书中，根据测量或预处理所得的光强度值确定眼睛方向的这个步骤被称为处理步骤。

对于确定眼睛方向的眼睛配戴物操作，处理单元可能需要事先执行校准步骤。这种校准步骤对于设置算法的一个或多个参数可以是有用的，该算法根据光强度测量值推断眼睛方向。特别地，这种校准步骤可以包括获取光强度测量值的标记的训练集，并且将它们与指定的眼睛方向相关联。这种校准步骤可以涉及独立于配戴者的一般参数(比如眼睛配戴物的类型、传感器校准和位置等)，也可以涉及与配戴者相关的参数。后者(即取决于配戴者的参数)可以涉及眼睛颜色、皮肤颜色、面部形状、眼科矫正、镜片类型、配戴者在读报或爬楼梯时的位置、经常性的头部运动、眼睛配戴物在配戴者面部上的常见位置等。可能地，可以首先使用与几个配戴者相关的训练数据集来实施一般的训练步骤，然后使用与所考虑的配戴者个体相关的附加训练步骤。附加训练步骤包括使用可以与一般训练步骤相同或不同的方法来调整尤其针对配戴者的眼睛方向确定算法的参数。例如，当该方法不同于一般训练步骤的方法时，附加训练步骤可以包括针对佩戴者重新标度光强度值和眼睛方向。在附加训练步骤中，还可以仅在配戴者正在执行识别的眼睛运动时捕获光强度测量值，并且使用这些捕获到的值来调整为了眼睛方向确定而实施的算法的一些参数。在这种情况下，附加训练步骤可以不使用任何训练数据集。

当眼睛配戴物可能根据几个位置(例如眼镜可能位于沿着使用者鼻子的两个位置处)配合在使用者的面部上时，可以有利的是为眼睛配戴物提供两个光传感器组，每个光传感器组适用于配戴位置中的一个。特别地，视场的取向可以取决于配戴位置，例如通过光传感器与使用者眼睛之间的分开距离。因此，第一光传感器组可以专用于靠近使用者面部的配戴位置，而第二光传感器组可以专用于远离使用者面部的配戴位置。可能地，两个光传感器组可以具有至少一个共用的光传感器，而其他光传感器仅专用于其中一个组。基于光强度测量值中的一些光强度测量值自动地选择光传感器组之一来确定眼睛方向也可以由于校准步骤的特定方面而产生。这种对要使用的光传感器组的选择可以被可变加权取代，该可变加权由处理单元根据配戴位置而施加到所有光强度测量值上。同样可能地，处理步骤可以首先估计眼睛配戴物位置，并其次根据眼睛配戴物位置应用数学模型。于是，数学模型对于每个眼睛配戴物位置是不同的，但是使用所有的光传感器。所使用的模型可能对传感器中的一些传感器(相比于其他传感器而言)产生较小的影响。

通过将眼睛方向的时间变化是连续的考虑在内，可以获得对由本发明的眼睛配戴物确定的眼睛方向的可靠性的进一步改进。为此，可以对相继输出的光强度测量值或者对相继确定的眼睛方向实施例如卡尔曼类型的时间滤波。图3a和图3b涉及这样的改进，其中在预处理步骤之前(图3a)或在处理步骤之后(图3b)对光强度测量值执行时间滤波。替代性地，可以对预处理所得的光强度测量值执行时间滤波，但在处理步骤之前、或者与处理步骤相结合地进行。当实际上不能确定眼睛方向时，采用预测类型的卡尔曼滤波器可以是有用的，然后用卡尔曼预测的眼睛方向来代替这种实际确定。

对瞬时眼睛方向的了解对于许多应用是有用的，包括防止眩目、偏振滤波(例如限于向下定向的眼睛方向的偏振滤波)、根据聚焦距离的光焦度调制、增强现实、信息性眼睛配戴物或现实和虚拟现实混合的眼睛配戴物等。对于信息性眼睛配戴物，信息通常是不可移动的，而是只有当或在配戴者通过镜片的特定部分观看时才可以显示。根据每种应用，眼睛配戴物可以具有几种形式，包括眼镜、护目镜、面罩(例如潜水或滑雪面罩)、头盔等。然后，眼睛方向可以用于控制各种功能，比如电致变色镜片变暗、偏振滤波器控制、焦距调制、显示位置等。

光传感器可能受到测量干扰的影响，比如光条件的变化或眼睛配戴物的滑动。实际上，当根据本发明的眼睛配戴物滑动时，光传感器的视点改变。另外，由光传感器感知的光量取决于环境光条件，环境光条件可以随时间变化。其他可能的测量干扰可以包括瞳孔大小的变化、眼睑的运动、化妆、疲劳或受伤的眼睛、睫毛柔韧性等。在本文件中，测量干扰一般被称为测量情境，或者更简单地被称为情境。情境影响主系统的光传感器的测量结果根据使用者眼睛的运动而变化的方式。这种变化可以影响来自光传感器的测量结果与使用者眼睛方向之间的相关性。

校正系统可以提供对光变化、眼睛配戴物滑动以及更一般地对测量干扰的附加稳健性。

图4至图6涉及这样的改进，其中眼睛配戴物包括主系统，该主系统包括至少三个光传感器和如上所述的处理单元，并且可以例如在标注为f1的期望频率下运行。主系统获得光强度测量值作为输入，并且确定使用者眼睛的眼睛方向作为输出，例如根据图3a或图3b。

如图4所描绘的，眼睛配戴物可以进一步包括校正系统，该校正系统被配置成向主系统提供情境数据，这允许主系统对使用者眼睛的方向进行更稳健的估计。为此，校正系统包括布置在眼睛配戴物中的一个或多个附加传感器。这种附加传感器适于感测与情境相关的附加数据。校正系统进一步包括处理模块，该处理模块从一个或多个附加传感器接收感测到的附加数据。处理模块基于感测到的附加数据确定情境数据，并且将情境数据提供给主系统的处理单元。主系统进一步被配置成接收情境数据并且进一步根据情境数据估计使用者眼睛的眼睛方向。

当校正系统识别出测量干扰时，传输到主系统的处理单元的情境数据表示识别出的测量干扰。然后，处理单元可以将光强度测量值与情境去相关。换言之，处理单元可以被配置成通过根据情境在一组模型内选择正确的数学模型、或者通过考虑除了光测量之外还使用情境作为输入的模型、或者甚至通过在应用模型之前将干扰与数据去相关来确定使用者眼睛的眼睛方向。

在简单示例中，校正系统可以包括惯性测量单元，该惯性测量单元是包括加速度计、陀螺仪和磁力计的传感器的已知组合。根据已知的方法，眼睛配戴物的运动或配戴眼睛配戴物的使用者的头部运动可以被检测，并且可选地基于由惯性运动单元的传感器感测到的数据的组合来表征。因此，校正系统的处理模块可以向主系统的处理单元提供已经检测到眼睛配戴物或使用者头部的运动的指示，或者这种运动的类型、方向、幅度、速度等的标识符来作为情境数据。

在另一示例中，校正系统可以包括作为附加传感器的小型、低功率且低分辨率的相机或者光电探测器阵列或矩阵，该相机或者该阵列或矩阵被布置成在使用者正常配戴眼睛配戴物时面向使用者的眼睛。通过处理由这种附加传感器输出的图像，校正系统的处理模块可以：

-推导眼睛配戴物相对于使用者面部的位置并检测眼睛配戴物滑动，和/或

-确定指示使用者面部如何被照亮的光图并检测环境光水平，和/或

-确定与其他情境元素相关的情境数据，和/或

-独立于主系统来估计由这种附加传感器所面向的使用者的眼睛的方向。

在又一示例中，校正系统可以被配置成检测使用者的眼睛的眼睛眨动。存在基于来自传感器的输入检测眨动的各种已知方式。可选地，校正系统可以包括用于检测这种眼睛眨动的一个或多个专用传感器。替代性地或组合地，可以通过处理由主系统的光传感器输出的光强度测量值来检测眼睛眨动，这可能是实时的。在眨动过程中，由于眼睛是闭着的，由光传感器输出的任何光强度测量值仅取决于比如眼睛配戴物位置或光环境等情境，而不取决于眼睛取向。然后，校正系统可以运行算法，该算法可以使用眼睛眨动过程中的这些测量结果来估计关于情境的信息。当使用者的眼睛有规律地眨动时，校正系统可以在每次眨动时有规律地更新情境，并且可以有规律地向主系统提供情境，以便提高使用者眼睛方向确定的稳健性。

可以在主系统的处理单元处实施的可能的算法中的一些算法倾向于在使用者眼睛的眼睛方向的估计中产生偏差。如图5描绘的，校正系统可以通过有规律地对使用者眼睛的眼睛方向执行单独估计以及通过向主系统的处理单元提供单独估计来帮助减少这种偏差。

例如，处理单元可以没有跟踪功能。在这种情况下，主系统的处理单元根据在给定时间从光传感器接收到的每一组新的测量结果来执行对使用者眼睛的眼睛方向的单个估计，而不考虑任何时间效应或动态效应。由校正系统提供的对使用者眼睛的眼睛方向的单独估计可以有助于确认主系统的一致估计和/或消除主系统的任何不一致或异常估计。

替代性地，主系统的处理单元可以包括跟踪功能，例如基于卡尔曼滤波器、基于递归神经网络或基于任何等效算法。由于考虑到时间效应或动态效应，跟踪功能易于漂移，因为使用者眼睛在给定时刻的眼睛方向的错误估计也将被用于估计使用者眼睛在随后时刻的眼睛方向。由校正系统提供的对使用者眼睛的眼睛方向的单独估计可以有助于重新校准主系统并避免这种漂移。

为此，校正系统可以包括独立的眼睛跟踪器，即意义为与主系统分开的眼睛跟踪器。独立的眼睛跟踪器可以是能够基于来自传感器的输入而确定眼球方向以及依赖于与根据主系统的光传感器布置和处理单元的组合不同的技术的任何已知装置。独立的眼睛跟踪器至少包括一个或多个附加传感器、以及处理模块，该一个或多个附加传感器适于感测与使用者眼睛的眼睛方向相关的附加数据，该处理模块被配置成从附加传感器接收附加数据、基于感测到的附加数据确定眼睛方向的单独估计、并且将单独估计提供给主系统的处理单元。

在示例中，独立的眼睛跟踪器可以包括：布置成照亮配戴者的眼睛的一个或多个红外光源(比如LED)、布置成感测由配戴者的眼睛反射的红外光的红外光电探测器组以及被配置成收集该红外光电探测器组的输出的处理模块。基于将红外光测量结果与眼睛方向相关联的数学模型，处理模块可以根据红外光测量结果确定眼睛方向，然后推断在可见光测量结果中产生的干扰。通过了解这种干扰，可以将可见光测量结果与光干扰去相关，或者在数学模型中引入这种干扰以使模型适应这种新的照明条件。可选地，可以对所述一个或多个红外光源的测量步骤进行调制，以允许与主系统的光传感器执行同步检测，以便消除由于频率比所选调制低的光变化而引起的干扰。

在又一示例中，独立的眼睛跟踪器可以包括基于激光反馈干涉测量法的一个或几个干涉仪传感器。从这样的测量传感器可以推导出所观察的目标速度、传感器与目标之间的距离、光相位和光偏振。这些数据可以由处理模块处理以确定眼睛速度、眼睛相对于镜片的位置和使用者的视线。可选地，这些传感器可以与2D旋转微镜(MEMS)组合以扫描眼睛区域，以获得可以作为眼睛的2D图像呈现的信号。

在又一示例中，独立的眼睛跟踪器可以包括红外激光器，该红外激光器具有2D旋转微镜(MEMS)以扫描眼睛区域，并且具有一个或多个光电探测器来测量使用者眼睛上的激光反射。如最近的研究所示，这种系统能够生成眼睛区域的图像，该图像可以被处理以推导例如眼睛配戴物滑动和/或使用者眼睛的眼睛方向。

提供如图4描绘的情境数据和提供如图5描绘的对使用者眼睛的眼睛方向的单独估计这两个功能不是相互排斥的。换言之，校正系统可以包括所有需要的附加传感器，以不仅提供对使用者眼睛的眼睛方向的单独估计，而且还提供情境数据。

由于嵌入式光部件或功耗部件(相机、MEMS)，上述校正系统的一些可能的示例可能比主系统更耗能。此外，关于使用非相干红外光源或激光指向眼睛和视网膜一整天(超过8小时)并持续几年，在健康安全方面仍存在不确定性。

考虑到这两个原因，建议仅在低频下或在给定事件检测之后的短时帧期间使用校正系统。在实施例中，校正系统以不同于主系统运行的期望频率f1的频率运行。例如，校正系统可以被配置成以低于f1的频率f2从一个或多个附加传感器获得附加数据。较低的频率f2允许最小化校正系统的能耗。利用这种配置，校正系统可以在主系统的正常操作期间自动地且周期性地监测测量干扰的任何可能发生，并且可以自动地且周期性地与主系统并行地监测使用者眼睛的眼睛方向。

替代性地或另外地，校正系统可以具有非活动或待机模式和仅临时地(例如响应于检测到事件而)激活的至少一个活动模式。校正系统仅在处于活动模式时向主系统提供附加数据。非活动或待机模式有助于最小化校正系统的能耗。事件检测可以在处理单元处执行，并且可以例如基于随时间从给定的可用传感器(比如主系统的光传感器)获得的测量结果的突然变化，和/或基于布置在眼睛配戴物中的惯性测量单元对头部运动的检测，和/或基于由处理单元提供的眼睛方向估计的低信任水平(如通过人工智能基于由可用传感器输出的可用数据所评估的)。事件检测可以通过将由处理单元接收的作为输入的数据和/或由处理单元提供的作为输出的数据与各种数据模式进行比较来执行，各种数据模式可以与事件数据库中的对应类型的事件相关联。

校正系统对于主系统的初始化或重新校准也是有利的，如图6描绘。

主系统的重新校准过程可以周期性地进行或由事件触发。定义这种事件的标准的示例是：即使在最近已经从校正系统接收到情境数据并由主系统处理之后，人工智能与由主系统提供的眼睛方向估计相关联的相关性或估计的信任水平仍保持在给定阈值以下。然而，不应过于频繁地应用重新校准过程以避免高能耗。

这种重新校准过程涉及临时激活校正系统。主系统的初始激活也可以被解释为作为初始化过程的一部分引起校正系统的一个或多个功能临时激活的事件的示例。

为了执行主系统的初始化或重新校准过程，有必要获取大量的附加数据，这些附加数据可以包括原始传感器测量结果、情境数据(比如眼睛配戴物的位置或取向或使用者眼睛的光图)和/或对使用者眼睛的眼睛方向的单独估计。此附加数据可以由校正系统及其嵌入式传感器提供。为了使初始化或重新校准过程的时间长度最小化，期望快速获取足量的数据。

校正系统然后可以在与获取初始化或重新校准算法所需的附加数据相对应的窄时间区间期间以高于f1的频率f3运行，以选择、确定或更新主系统的处理单元所使用的数学模型。所述更新可以包括例如基于情境数据优化针对当前情境的数学模型。所述更新可以进一步依赖于对眼睛方向的单独估计，例如通过使用所述单独估计作为用于选择或确定数学模型的标准、和/或作为数学模型的预定或预选的数学函数中的偏移、和/或作为预定或预选的数学模型中的系数或加权值。

高于f1的频率可以对应于专用活动模式，即加速获取模式。在获得了继续进行初始化或重新校准过程所需的附加数据之后，可以通过将校正系统自动地切换到另一模式来降低校正系统的附加传感器的数据获取频率，该另一模式可以是另一活动模式或者非活动或待机模式。

在初始化或重新校准过程期间，主系统可以基于默认或预更新的数学模型继续并行运行。

Claims (20)

1.一种眼睛配戴物(10)，所述眼睛配戴物适于配合使用者的面部并且适于确定使用者的眼睛的眼睛方向，所述眼睛配戴物包括：

-至少三个光传感器(1)，所述至少三个光传感器被布置在用于所述使用者的眼睛的所述眼睛配戴物(10)中，所述光传感器中的每一个光传感器被配置成针对每次眼睛方向确定输出至少一个光强度测量值，所述至少一个光强度测量值对应于源自所述眼睛配戴物外侧的所述使用者的周围环境并且在所述光传感器有效的视场(F)内被所述使用者的面部反射或散射的环境光；以及

-处理单元(4)，所述处理单元被布置成接收针对每次眼睛方向确定的光强度测量值并且根据所述光强度测量值确定所述眼睛方向，

其中，所述光传感器(1)被布置成使得，在所述眼睛配戴物(10)被所述使用者配戴时：

与所述光传感器(1)之一有关的每个视场(F)具有在所述眼睛配戴物(10)处的顶点(A)和朝向所述使用者的面部定向的截面增大方向，所述视场的截面从所述眼睛配戴物朝向所述使用者的面部连续增大，

每个视场(F)将所述使用者的眼睛的至少一部分涵盖在内，以及

每个视场(F)具有介于0.006球面度与0.22球面度之间的积分孔径值，并且所述使用者的眼睛占据所述视场的至少30％。

2.如权利要求1所述的眼睛配戴物(10)，其中，每个光传感器(1)包括光电二极管、光电晶体管、环境光传感器或光伏电池。

3.如权利要求1或2所述的眼睛配戴物(10)，其中，所述光传感器(1)中的至少三个光传感器的相应视场(F)具有带圆形截面的锥形形状，并且孔径角(2·θ)介于5°与30°之间、优选地介于8°与15°之间。

4.如前述权利要求中任一项所述的眼睛配戴物(10)，所述眼睛配戴物包括透视区域(L，R)，所述透视区域在所述眼睛配戴物被所述使用者配戴时专用于所述使用者的眼睛，

并且其中，每个光传感器(1)位于所述透视区域(L，R)的外周边缘附近，或者来自所述使用者的面部的光被在所述透视区域上延伸的全息反射镜朝向所述光传感器反射。

5.如前述权利要求中任一项所述的眼睛配戴物(10)，所述眼睛配戴物包括用于确定每个光传感器(1)的视场(F)的以下部件中的至少一个：

-耦合到所述光传感器(1)的具有固定焦距的透镜；

-耦合到所述光传感器(1)的变焦透镜，所述变焦透镜具有由所述眼睛配戴物(10)的控制器调整的焦距值；

-耦合到所述光传感器(1)的光纤段；以及

-具有倾斜的外周壁的孔或者布置在所述光传感器(1)的感光表面上方的孔径光阑(2)。

6.如前述权利要求中任一项所述的眼睛配戴物(10)，其中，所述视场(F)的第一子集的相应轴向方向(D)都穿过位于所述使用者的眼睛内的一个第一共用会聚点，并且所述视场的另一子集的相应轴向方向都穿过也位于所述使用者的眼睛内的一个第二共用会聚点，所述第一共用会聚点和所述第二共用会聚点在所述眼睛配戴物被所述使用者配戴时位于所述使用者的眼睛内的不同深度值处。

7.如前述权利要求中任一项所述的眼睛配戴物(10)，其中，所述光传感器(1)被布置成使得各自由所述视场(F)中的至少两个视场共用的视场部分的孔径值之和与所有视场的相应孔径值之和的比率小于40％、优选地小于10％。

8.如前述权利要求中任一项所述的眼睛配戴物(10)，其中，所述处理单元(4)被配置成根据每个光强度测量值计算归一化偏差值，所述归一化偏差值等于所述光强度测量值与用于同一次眼睛方向确定的所述光强度测量值的平均值之间的差值除以所述平均值的结果，

并且所述处理单元(4)进一步被配置成根据所述归一化偏差值确定所述眼睛方向。

9.如前述权利要求中任一项所述的眼睛配戴物(10)，其中，所述光传感器(1)被布置成确定视场(F₁，F₂)对，每个对包含共用轴向方向(D)和顶点(A)但孔径值不同的两个视场，

并且其中，所述处理单元(4)被配置成为每个对计算针对所述对的两个视场(F₁，F₂)测量的相应光强度值之间的组合，并且根据与至少三个视场对相关的所述差值的结果确定所述眼睛方向。

10.如前述权利要求中任一项所述的眼睛配戴物(10)，所述眼睛配戴物进一步包括附加光传感器，所述附加光传感器在所述眼睛配戴物被所述使用者配戴时具有背离所述使用者的眼睛定向的相应视场，并且所述附加光传感器专用于评估所述使用者的周围环境或所述使用者的面部的光图，

并且其中，所述处理单元(4)被配置成根据与由所述使用者的眼睛反射或散射的光相关的光强度测量值，结合由所述附加光传感器评估的光图确定所述眼睛方向。

11.如前述权利要求中任一项所述的眼睛配戴物(10)，其中，所述处理单元(4)被配置成使用以下算法类型之一确定所述眼睛方向：

-回归类型、特别是线性和多项式回归、支持向量回归，神经网络类型；

-最近邻法、高斯过程和相关法；以及

-基于所述使用者的面部和/或所述眼睛配戴物(10)中的光传感器布置的3D模型的算法。

12.如前述权利要求中任一项所述的眼睛配戴物(10)，所述眼睛配戴物被配置成输出相继的光强度测量值组，每个组对应于相应的眼睛方向确定序列，

并且其中，所述处理单元(4)被配置成通过采用时间滤波器、特别是卡尔曼滤波器利用所述相继的光强度测量值组或者利用相继的眼睛方向确定相继滤波的眼睛方向，所述相继的眼睛方向各自根据所述相继的光强度测量值组之一分别地确定。

13.如前述权利要求中任一项所述的眼睛配戴物(10)，所述眼睛配戴物被配置成在用于确定所述眼睛方向的有效操作之前执行校准步骤，所述校准步骤包括：获取标记的训练集，所述标记的训练集各自包括光强度测量值和对应的眼睛方向；以及基于所述标记的训练集调整由所述处理单元(4)实施的、用于所述眼睛配戴物的用于确定所述眼睛方向的有效操作的算法的参数。

14.如前述权利要求中任一项所述的眼睛配戴物(10)，所述眼睛配戴物是以下类型中的一种：

-设置有电致变色透镜的眼镜，并且所述眼镜适于基于针对对应使用者的眼睛而确定的眼睛方向、并且可选地还基于感测到的所述使用者的周围环境中光源的方向调整每个透镜的透射率；

-设置有电致变色镜片的面罩，并且所述面罩适于基于针对所述使用者的眼睛中的至少一只眼睛而确定的眼睛方向、并且可选地还基于感测到所述使用者的周围环境中光源的方向调整所述镜片的吸光率；

-增强现实眼睛配戴物、信息性眼睛配戴物或现实和虚拟现实混合的眼睛配戴物；

-设置有变焦透镜的眼睛配戴物，并且所述眼睛配戴物适于基于针对对应使用者的眼睛而确定的眼睛方向调整每个透镜的焦距；以及

-设置有至少一个有源滤波器的眼镜或面罩，并且所述眼镜或所述面罩适于基于针对所述使用者的眼睛中的至少一只眼睛确定的眼睛方向调整所述滤波器的光谱透射率或偏振滤波操作。

15.如前述权利要求中任一项所述的眼睛配戴物(10)，所述眼睛配戴物包括两组、每组至少三个光传感器(1)，每个组具有视场(F)，所述视场被定向为使得所述组针对所述眼睛配戴物在所述使用者的面部上的一个位置来确定所述眼睛方向是有效的，分别对应于所有光传感器组的相应眼睛配戴物位置彼此不同。

16.如前述权利要求中任一项所述的眼睛配戴物(10)，所述眼睛配戴物包括校正系统，所述校正系统被配置成向所述处理单元提供情境数据，所述情境数据与所述至少三个光传感器针对给定眼睛方向确定的光强度测量值的情境相关，并且所述处理单元被配置成进一步基于所述情境数据确定所述眼睛方向。

17.如权利要求16所述的眼睛配戴物(10)，其中，所述校正系统包括至少一个附加传感器，并且所述情境数据基于所述至少一个附加传感器的输出。

18.如权利要求16或17所述的眼睛配戴物(10)，其中，所述校正系统包括用于感测与所述使用者的眼睛的眼睛方向相关的附加数据的独立装置，所述校正系统被配置成基于所述独立装置的输出确定对所述眼睛方向的单独估计，并且将所述单独估计提供给所述处理单元。

19.如权利要求16至18中任一项所述的眼睛配戴物，其中，所述至少三个传感器被配置成以给定频率输出所述光强度测量值，并且所述至少一个附加传感器被配置成以不同于所述给定频率的频率输出所述附加数据。

20.如权利要求16至19中任一项所述的眼睛配戴物，其中，所述校正系统包括激活模块，所述激活模块用于在检测到事件时将所述校正系统从非活动模式临时地切换到活动模式，所述检测基于至少一个传感器的输出。