CN113614621B - 接触透镜系统 - Google Patents

Abstract

公开了一种用于增强现实系统的放置在眼睛中的接触透镜系统(110)。接触透镜系统(110)包括：显示器(111)，其包括显示元件的矩阵；驱动单元(112)，其被配置为从主机(120)接收数据并在显示器(111)上呈现所述数据；以及一组传感器(113)，其被集成在显示器(111)上以用于测量瞳孔大小。驱动单元(112)还被配置为读取来自一组传感器的输出以确定瞳孔大小，并且调整显示器的活动区域的大小。

Description

接触透镜系统

技术领域

本文的实施例涉及一种接触透镜系统和在其中的方法。特别地，本文的实施例涉及用于增强现实系统的具有动态的活动区域显示器的接触透镜系统。

背景技术

增强现实系统中的显示器正在快速发展。已对在接触透镜上添加电子设备的领域进行了研究。透镜电子设备已用于多种应用，例如动态视力矫正或显示图像。在R.Blum等人的“Enhanced electro-active lens system(增强型电活性透镜系统)”(2007年)中，已经提出了电活性视力矫正作为根据不同条件(例如，与被观察物体的距离、环境光或瞳孔大小)来调整透镜矫正的手段。在B.A.PARVIZ的“Augmented Reality in a Contact Lens(接触透镜中的增强现实)”(IEEE，2010年)中，华盛顿大学的研究人员制作了一种64像素的接触透镜，并且在兔子身上进行了测试。

瞳孔会扩张，即，在不同的照射、心理状态、与合焦物体的距离等情况下具有不同的大小。瞳孔大小不直接影响视场，但是确实影响所感知的景深，以使得物体在具有较小瞳孔大小的视野的边缘将显得更模糊，如在S.Marcos等人的“The depth-of-field of thehuman eye from objective and subjective measurements(从客观和主观测量得出的人眼景深)”(Vision Res.，1999年)中所述。

对于非常靠近眼睛(例如在接触透镜显示器中)被显示的物体，情况有所不同。如果瞳孔大小小于显示器大小，则将不会感知到来自显示器边缘的光。这意味着接触透镜上的显示器在一种场景下对瞳孔来说可能太小，而在另一种场景下可能太大。

US2014/0240665A1公开了一种用于包括电子系统的眼科透镜的面向眼睛的瞳孔直径感测系统。面向眼睛的瞳孔直径感测系统被用于确定瞳孔直径并且使用该信息来控制眼科透镜的各个方面。瞳孔直径传感器被实现为更小的传感器的阵列，这些更小的传感器被放置在接触透镜中的不同位置处以对虹膜上的不同点进行采样。传感器可以通过检测光反射、阻抗、电磁场、神经活动、肌肉活动和眼科领域已知的其他参数来确定瞳孔直径及其变化。简要提到了将图像显示器结合到透镜中的可能性。

发明内容

因此，本文的实施例的一个目的是提供一种改进的接触透镜系统和方法来解决上述问题。

根据本文的实施例的一个方面，通过一种用于放置在眼睛中的接触透镜系统来实现该目的。所述接触透镜系统包括：显示器，其包括显示元件的矩阵；驱动单元，其被配置为从远程主机接收数据并在所述显示器上呈现所述数据；以及一组传感器，其被集成在所述显示器上以用于测量瞳孔大小。所述驱动单元还被配置为读取来自所述一组传感器的输出以确定所述瞳孔大小，并且通过激活和去激活所述显示元件，基于所述瞳孔大小来调整所述显示器的活动区域的大小。

根据本文的实施例的一个方面，通过一种在用于放置在眼睛中的接触透镜系统中执行的方法来实现该目的。所述接触透镜系统包括：显示器，其包括显示元件的矩阵；驱动单元，其被配置为从远程主机接收数据并在所述显示器上呈现所述数据；以及一组传感器，其被集成在所述显示器上以用于测量瞳孔大小。所述驱动单元读取来自所述一组传感器的输出以确定所述瞳孔大小，并且通过激活和去激活所述显示元件，基于所述瞳孔大小来调整所述显示器的活动区域的大小。

换言之，根据本文的实施例的接触透镜系统和其中的方法使得能够根据瞳孔大小来动态地调整显示器的大小。通过测量瞳孔大小，显示器可以动态地改变大小，以使得用户可以感知的最大数量的像素能够被用于显示内容。

根据本文的实施例的接触透镜系统的一些优点是用户将始终能够看到显示器的最大大小，并且能够基于显示器的活动区域的大小来动态地调整要在显示器上呈现的数据。

因此，本文的实施例提供了一种用于增强现实系统的改进的接触透镜系统和方法。

附图说明

参考附图更详细地描述本文的实施例的示例，这些附图是：

图1是示出其中可以实现根据本文的实施例的接触透镜系统的增强现实系统的示意性框图；

图2是示出根据本文一个实施例的具有不同显示器大小和光电传感器的接触透镜系统的示意图；

图3是示出根据本文另一个实施例的具有不同显示器大小和光电传感器的接触透镜系统的示意图；

图4是示出其中通过每个传感器替换一个或多个显示像素来布置传感器的接触透镜系统的示意图；

图5是示出其中传感器被放置在显示元件的行与列之间的接触透镜系统的示意图；

图6是示出根据本文的实施例的在接触透镜系统中执行的方法的流程图；

图7是示出LTPS基板上的光电传感器的响应的图；以及

图8是示出根据本文的实施例的具有不同数量的传感器的接触透镜系统的激活曲线的图。

具体实施方式

图1示出了其中可以实现根据本文的实施例的接触透镜系统110的增强现实系统100的框图。增强现实系统100包括用于放置在眼睛中的接触透镜系统110和发送信息并与接触透镜系统110交互的主机120。接触透镜系统110包括：显示器111，其包括显示元件的矩阵；驱动单元112，其被配置为从远程主机120接收数据并在显示器111上呈现数据；一组传感器113，其用于测量瞳孔大小。一组传感器113可以被集成在显示器111上。驱动单元112控制在显示器111上输出的内容并处理来自一组传感器113的输入。主机120经由驱动单元112与接触透镜系统110交互。具有显示元件的矩阵的显示器111被放置在接触透镜上并且能够以结构化的方式发光。

接触透镜系统可以包括一对接触透镜，用户的每只眼睛一个透镜。透镜可以是相同的并且显示相同或不同的数据。

一组传感器113可以是测量从眼睛反射的光的光电二极管。还可以使用其他类型的瞳孔大小或直径传感器。例如，如US2014/0240665A1中公开的，一组传感器可以是单匝或多匝线圈天线。当控制虹膜的肌肉收缩和放松时，这种天线可以接收来自眼睛的电磁辐射。在相关领域中众所周知的是，可以例如使用接触电极、电容传感器和天线，通过电磁发射的变化来检测眼睛的肌肉和神经活动。以这种方式，可以实现基于肌肉传感器的瞳孔直径传感器。瞳孔直径传感器还可以被实现为一个或多个接触电极或电容电极，其被设计为测量跨眼睛的阻抗。阻抗可以用于检测瞳孔直径的变化。例如，跨越虹膜和瞳孔测量的阻抗可以根据瞳孔直径而发生明显变化。放置在眼睛上的适当位置并与眼睛正确耦接的瞳孔直径传感器可以检测阻抗的这些变化，并且因此检测瞳孔直径或大小。但是，并非所有这些传感器都可以被集成到显示器中。其中一些传感器可以放置在显示器之外，如图1中使用虚线表示的传感器113。

显示器111可以具有至少两个显示器大小，它们由具有不同行数和列数的显示元件的矩阵来限定。每个显示器大小在本文中被称为显示器的有效活动区域设置。因此，显示器的活动区域可以被调整为具有不同的大小，其中，对于不同的显示器大小是活动的显示元件的行数和列数是不同的。显示元件在本文中也可以被称为像素。如果所有像素行-列截取(interceptions)都具有传感器，则可用显示器大小的数量从最少两个(即最小和最大)到显示器对角线上的像素数除以2不等。但是，没有理由具有比最小瞳孔尺寸更小的活动区域。通常，瞳孔的直径范围为2mm-8mm。显示器111及其活动区域可以具有不同的形状，其中矩形和圆形对于接触透镜来说最常见。

图2示出了具有矩形的不同显示器大小和一组传感器113的接触透镜110的一个示例。如图2所示，一组传感器可以被对角地布置在显示器111内在每个显示器大小的边缘的角落中。一组光电传感器可以是由显示器111支持的任何格式。

图3示出了具有采用同心像素排列的不同显示器大小和一组传感器113的接触透镜110的另一个示例。如图3所示，一组传感器可以被布置在显示器内在每个显示器大小的边缘的不同位置处。

对于图2和3两者，可以使用可能活动区域的所有四个“角落”。然后，从用户的角度来看，传感器被布置的位置不太明显。这将提供更好的用户体验，对用户的感知干扰更少。

图2和3所示的传感器113可以是光电传感器。每个光电传感器被设计为直视眼睛并且来自外部的光被屏蔽，因此仅由眼睛中反射的光来激活。当显示元件或像素处于关断状态时执行测量以避免对来自显示器的测量的串扰。

一组光电传感器可以被布置在显示元件矩阵的行和列的交叉点处，如图4所示。即，可以通过每个传感器替换一个或多个显示元件或像素来布置传感器。然后，由传感器占用的位置将显示为死像素。当替换一个或多个显示元件或像素时，光电传感器可以以不同的排列来分布，只要它们处于行和列的交叉点处即可，例如在每个显示器大小的角落中。

还可构想将一组传感器布置在显示元件的行与列之间，如图5所示。然后，显示元件的行和列将保持完整，并且由传感器占用的位置将不会显示为死像素，但是如果传感器足够大，则它们仍然可能被感知为死像素。

根据本文的实施例，驱动单元112还被配置为读取来自一组传感器113的输出以确定瞳孔大小，并且通过激活和去激活显示元件，基于瞳孔大小来调整显示器111的活动区域的大小。

根据本文的一些实施例，接触透镜系统110还可以包括一个或多个IR二极管，其被靠近传感器放置以向眼睛提供光以便反射。

以下将参考图6详细描述在接触透镜系统110中被执行的用于调整显示器111的活动区域的大小的方法。如上所述，接触透镜系统110包括：显示器111，其包括显示元件的矩阵；驱动单元112，其被配置为从主机120接收数据并在显示器111上呈现数据；以及一组传感器113，其被集成在显示器111上以用于测量瞳孔大小。该方法包括以下动作，这些动作可以以任何合适的顺序被执行。

动作610

在每个新帧要被呈现在显示器111上之前，或者以有规律的间隔(例如，每第十帧、每秒几次或每秒)，驱动单元112检查一组传感器113以便检测瞳孔大小。即使传感器信号的处理和读取仅消耗很低的功率，不太频繁的检查也将节省一些功率。驱动单元112读取来自一组传感器113的输出。光电传感器被定向到眼睛中以能够区分瞳孔与虹膜之间的边缘。取决于光电传感器之间的距离和光电传感器的数量，读出光电传感器时的响应曲线将有所不同。参见下面图9的描述。

在某些情况下，来自显示元件的光可以被用作反射率测量的光源，即，在黑暗环境中。这是为了获得可能的最佳信噪比(SNR)，以能够针对一组传感器找到反射光的阈值。

在一个实施例中，驱动单元112可以激活相关显示元件以向眼睛提供光以进行反射。例如，围绕一个光电传感器的显示元件可以被点亮，并且来自显示元件的反射光线将由光电二极管来测量。适当地，当前瞳孔大小之外的显示元件应被激活以能够找到边缘。此外，显示器的当前活动区域之外的显示元件也可以被激活以提供光。

驱动单元112可以一次激活一个相关显示元件或一次激活所有相关显示元件，即，相关显示元件可以一起快速闪烁或者可以以扫描方式被逐个激活。

在一个实施例中，一个或多个红外(IR)二极管可以被靠近传感器放置以向眼睛提供光以进行反射。一个或几个附加IR二极管可以被紧接或靠近任何一个或所有光电传感器来放置。光的方向应朝向眼睛。通过添加IR二极管，无需周围照明便能够检测瞳孔大小。替代地，测量来自IR二极管的反射IR光线。益处是它导致更稳定的测量，因为它不取决于来自周围的足够的光。缺点是如果显示器的至少再一个像素区域被替换为IR二极管，则这将针对显示器上的像素留下更少的空间。

动作620

驱动单元112基于来自一组传感器的输出，确定瞳孔大小。

取决于瞳孔直径，与虹膜中心具有不同距离的传感器将检测到不同的反射光量。例如，当虹膜扩张时，因为瞳孔大而暗，大多数传感器可能检测到很少的光。相反地，当虹膜收缩时，因为虹膜的反射，大多数传感器可能检测到更多的光。

图7示出了如何使用光电二极管来检测瞳孔大小的简化机制。驱动单元112可以通过比较来自一组传感器的检测光来检测瞳孔与虹膜之间的边缘。在瞳孔区域中，几乎没有光反射，因此光电二极管701、702将不会检测到任何反射光并且没有输出信号。光电二极管703、704、705…将检测到反射光并且具有输出信号。通过比较检测到的来自一组光电二极管701、702、703、704…的光，可以找到瞳孔与虹膜之间的边缘并且基于此来选择显示器大小。

驱动单元112可以通过将反射光与阈值进行比较来确定瞳孔大小。传感器的粒度(即，位置、每个传感器之间的距离以及每个区域的传感器数量)是预先定义的或已配置的。获得超过阈值的足够的反射光以具有输出信号的光电传感器的数量被计数，由此决定瞳孔大小并且基于此瞳孔大小来选择显示器大小。

来自光电传感器的信号水平的差异将取决于是被虹膜反射的光还是被虹膜包围的内部区域(即，瞳孔，几乎没有任何反射)反射的光。不同颜色的虹膜也可能产生差异，从而导致虹膜的不同区域处以及不同用户之间的不同反射率。

因此，反射光将取决于虹膜的颜色，当然还取决于从环境和从显示器发出的光量。因此，应调整阈值或可能需要校准以考虑这些变化。可以根据虹膜的反射率或亮度来调整反射光的阈值。

可以实现校准过程，其中，主机120或驱动单元112可以控制接触透镜显示器111的光输出。还可以控制光电传感器的增益以找到合适的灵敏度级别。如果在瞳孔与虹膜之间未检测到边缘，则可以降低阈值，而如果检测到多个边缘，则可以增大阈值。

如果虹膜呈深褐色并且环境和显示器的光照条件较低，则可能出现问题。然后，反射光可能太少。在测量或使用IR二极管之前短暂地开启显示元件可以解决这个问题。

根据W.J.Chiang等人的文章“Silicon nanocrystal-based photosensor onlow-temperature polycrystalline-silicon panels(基于硅纳米晶的低温多晶硅面板上的光电传感器)”(Applied Physics Letter，第91期，051120，2007年)，可以使用低温多晶硅(LTPS)基板上的光电传感器，其具有如图8所示的波长灵敏度。图8示出了具有100、200和300nm厚度的硅纳米晶层的样本的光吸收光谱，这些样本由35W/cm²的恒定光功率进行单色照射并且偏置电压为2.5V。可以使用的其他基板可以是非晶硅(A-Si)、铟镓锌氧化物(IGZO)或类似技术。

动作630

驱动单元112确定瞳孔大小是否与来自先前测量的瞳孔大小相同。如果瞳孔未改变大小，则驱动单元112将再次检查和读取来自一组传感器113的输出。如果瞳孔已改变大小，则驱动单元112将通过激活和去激活显示元件，基于瞳孔大小来调整显示器的活动区域的大小。

因此，一旦基于阈值和光电传感器的粒度确定了瞳孔大小，便可能需要决定和调整显示器的活动区域。即，可以基于瞳孔大小来激活适当行数和列数的显示元件。取决于放置在显示器111中的光电传感器的数量，活动区域大小的精度将有所不同。图9示出了激活曲线的示例，其中使用了3、6和18个光电传感器，其中y轴是瞳孔大小，范围从2mm到8mm，而x轴是被包括在活动区域(范围从2mm到8mm)内的一组传感器中的光电传感器的数量(被指示为可能显示器大小量)。从图9可以看出，较少的光电传感器将产生锯齿状激活曲线，即，当使用较少的光电传感器时，显示器活动区域的调整将具有较大的离散步长。

动作640

一旦基于阈值和光电传感器的粒度决定了活动区域的大小，便需要传达新的活动区域大小。因此，根据本文的一些实施例，驱动单元112可以将显示器的活动区域的大小发送到主机120。

存在至少两种不同的方式来处理显示器的不同活动区域大小。

根据本文的一些实施例，驱动单元112将新的显示器大小发送到主机120，或者主机120询问是否存在新的大小并且从驱动单元112中的寄存器中取得新的大小。然后，主机120调整它的内部显示缓冲区和设置，以使得正确大小的图像被发送到接触透镜110中的驱动单元112。如果主机能够调整图像大小，将在整个系统100中节省功率，因为图像减小已经在主机上完成。

动作650

根据本文的一些实施例，驱动单元112可以始终接收相同大小的图像，并且根据基于光电传感器决定的活动区域大小，驱动单元112将相应地减小图像的大小。这是一种更灵活的解决方案，其将向主机120提供更多的自由。在主机120中被处理和被传输到驱动单元112的数据量具有相同的(最大)大小，而与显示器的活动区域大小无关，因此消耗更多的功率。

因此，根据本文的一些实施例，驱动单元112可以被配置为基于显示器的活动区域的大小，调整从主机接收的图像的帧缓冲区大小。

动作660

瞳孔大小将受到进入眼睛的光量变化的影响。当透镜显示器上的亮度由于显示器大小的变化或其他原因而改变时，为了不改变瞳孔大小，存在保持来自显示器的相同光输出量的控制。因此，当显示器的活动区域变大时，显示器的亮度将下降，以使得相同的光量将击中视网膜。当活动显示区域变小时将发生相反的情况，显示器的亮度将增大以保持一致的流明。

因此，所有活动显示元件输出的总亮度应保持在定义值或不超过定义值，例如最大流明max_lumen，如等式1中所示：

∑lumen_pixel＝max_lumen 等式1

即，显示器输出的最大流明应始终相同，而与活动显示元件的数量无关。对于AR应用，虚拟物体的大小是重要的考虑因素。显示大型虚拟物体可能产生大量的流明，而显示短文本和边界框可能需要较少的流明。因此，最大光输出也应当取决于此。所定义的流明值可以是优选值，或者根据个体用户的喜好而被自动调整。此操作是为了具有更舒适的使用，并且用户应体验到相同的到视网膜的光强度。

因此，根据本文的一些实施例，驱动单元112可以被配置为调整活动显示元件的亮度以将来自显示器的光输出总量保持在定义值。驱动单元112还可以被配置为根据个体用户的优选设置来调整该定义值。

总之，根据本文的实施例的接触透镜系统110和其中的方法针对增强现实系统提供了改进的视觉系统，其具有至少以下优点：

与非眼戴显示器相比，眼戴显示器具有明显的优点。

从可用性的角度来看，接触透镜作为可穿戴显示器可以很有前景，因为它们是自然分离的，并且形状系数被广泛接受。此外，驱动显示器所需的能量将明显少于距离更远的显示器。

通过测量瞳孔大小，可以动态改变显示器的大小，以使得可以使用最大数量的像素来显示内容。

用户将始终能够看到最大大小的显示器，并且所需的数据是基于活动显示器大小来被动态地调整的。

通过以与显示元件相同的工艺步骤来制造传感器，以独特的方式集成显示器和传感器简化了制造。

无论瞳孔大小如何改变，系统始终提供具有最大视场的显示器，并且不会在视场之外的像素上浪费功率。系统通过减小显示器大小并且关闭外围像素来节省功率，因为外围像素将在眼睛的视场之外，所以无论如何都无法被看到。当瞳孔大小增大时，显示器大小可以再次变大以填充视场。

系统通过使感知的显示器亮度保持恒定或处于优选/舒适级别(通过基于显示器大小来调整显示器亮度)，增加了用户体验。这也可以被视为对功率使用的优化。

不需要附加硬件来调整显示器的活动区域的大小。接触透镜系统本身包括完成该操作所需的所有硬件。

当使用单词“包括”或“包含”时，它将被解释为非限制性的，即意味着“至少由…组成”。

本文的实施例并不限于上述优选实施例。可以使用各种替代物、修改物和等同物。因此，上述实施例不应被视为限制由所附权利要求书限定的本发明的范围。

Claims (20)

1.一种用于放置在眼睛中的接触透镜系统(110)，包括：

显示器(111)，其包括显示元件的矩阵；

驱动单元(112)，其被配置为从主机(120)接收数据并在所述显示器(111)上呈现所述数据；

一组传感器(113)，其被集成在所述显示器(111)上以用于测量瞳孔大小；并且其中，

所述驱动单元(112)还被配置为读取来自所述一组传感器的输出以确定所述瞳孔大小，并且通过激活和去激活所述显示元件，基于所述瞳孔大小来调整所述显示器(111)的活动区域的大小。

2.根据权利要求1所述的接触透镜系统(110)，其中，所述显示器具有由所述显示元件的不同行数和列数限定的至少两个显示器大小，所述一组传感器是用于检测从眼睛的虹膜反射的光的光电二极管。

3.根据权利要求2所述的接触透镜系统(110)，其中，所述一组传感器被对角地布置在所述显示器内在每个显示器大小的边缘处。

4.根据权利要求2所述的接触透镜系统(110)，其中，所述一组传感器被布置在所述显示器内在每个显示器大小的边缘的不同位置处。

5.根据权利要求1至4中任一项所述的接触透镜系统(110)，其中，所述一组传感器被布置在所述显示元件的所述矩阵的行和列的交叉点处。

6.根据权利要求1至4中任一项所述的接触透镜系统(110)，其中，所述一组传感器被布置在所述显示元件之间。

7.根据权利要求2至4中任一项所述的接触透镜系统(110)，其中，所述驱动单元还被配置为通过将反射光与阈值进行比较来确定所述瞳孔大小。

8.根据权利要求7所述的接触透镜系统(110)，其中，所述驱动单元还被配置为基于虹膜反射率来调整所述阈值。

9.根据权利要求1至4和8中任一项所述的接触透镜系统(110)，其中，所述驱动单元还被配置为调整活动显示元件的亮度以将来自所述显示器的光输出总量保持在定义值。

10.根据权利要求9所述的接触透镜系统(110)，其中，所述驱动单元还被配置为根据可变的用户设置来调整所述定义值。

11.根据权利要求1至4、8和10中任一项所述的接触透镜系统(110)，其中，所述驱动单元还被配置为激活相关显示元件以向眼睛提供光。

12.根据权利要求11所述的接触透镜系统(110)，其中，所述驱动单元还被配置为一次激活一个相关显示元件或一次激活所有相关显示元件。

13.根据权利要求1至4、8、10和12中任一项所述的接触透镜系统(110)，还包括：一个或多个IR二极管，其被靠近传感器放置以向眼睛提供光。

14.根据权利要求1至4、8、10和12中任一项所述的接触透镜系统(110)，其中，所述驱动单元还被配置为向所述主机发送所述显示器的所述活动区域的大小。

15.根据权利要求1至4、8、10和12中任一项所述的接触透镜系统(110)，其中，所述驱动单元还被配置为基于所述显示器的活动区域的大小，调整从所述主机接收的图像的帧缓冲区大小。

16.一种用于调整被放置在眼睛中的接触透镜系统中的显示器的活动区域的大小的方法，其中，所述显示器包括显示元件的矩阵，所述方法包括：

读取(610)来自被集成在所述显示器上的一组传感器的输出；

基于来自所述一组传感器的输出，确定(620)瞳孔大小；

通过激活和去激活所述显示元件，基于所述瞳孔大小来调整(630)所述显示器的活动区域的大小。

17.根据权利要求16所述的方法，还包括：向主机发送(640)所述显示器的所述活动区域的大小。

18.根据权利要求16至17中任一项所述的方法，还包括：基于所述显示器的所述活动区域的大小，调整(650)从主机接收的图像的帧缓冲区大小。

19.根据权利要求16至17中任一项所述的方法，还包括：调整(660)活动显示元件的亮度以将来自所述显示器的光输出总量保持在定义值。

20.根据权利要求18所述的方法，还包括：调整(660)活动显示元件的亮度以将来自所述显示器的光输出总量保持在定义值。

Images