CN109803573A - 用于远视矫正的光电双眼仪器和用于双眼远视矫正的方法 - Google Patents

Abstract

本发明涉及一种用于远视矫正的光电双眼仪器和一种用于双眼远视矫正的方法。该仪器包括两个光电透镜(103、110；203、204)和捕获眼睛的图像的成像子系统。使用通过处理眼睛的图像执行的瞳孔跟踪，系统能够确定受试者注视的深度。瞳孔跟踪以非常高的速度进行，使用高性能图形卡和高度并行化的瞳孔检测算法。该方法包括两个步骤。在第一步骤中，执行校准，其中，要求受试者凝视不同距离处的物体并测量瞳孔的大小和位置。在该方法的第二步中，使用仪器执行矫正。系统连续捕获并处理图像以计算要施加的矫正，并最终通过施加所述矫正来矫正远视。

Description

用于远视矫正的光电双眼仪器和用于双眼远视矫正的方法

技术领域

本发明涉及用于在没有受试者干预的情况下实时自动矫正眼睛中的远视的光电双眼仪器，以及用于使用这种仪器的远视双眼矫正方法。

背景技术

远视影响50岁以上人口的100％。这是一个与衰老相关的自然过程，它会导致眼睛随着年龄的增长而丧失调节能力。因此，自动远视矫正是具有巨大潜在市场的全球热门话题。

作为一个大问题，已经提出了一些解决方案。但是，到目前为止，大多数使用的解决方案都是局部的，并且基于静态方案。现今最简单的解决方案是使用单焦点眼镜来看近目标。通常，这些眼镜具有适度的矫正，允许对近目标聚焦，然而对远目标散焦。利用相同眼镜提供近焦和远焦视觉的另一种解决方案是双焦或渐进眼镜。然而，这些透镜在立体视觉和使用透镜的最合适区域看每个距离所需的训练方面也存在一些问题。

广泛使用的另一种方法称为单视觉。该技术为每只眼睛使用不同的焦点，其中一个总是聚焦在远处，而另一个总是聚焦在近处。大脑根据人看的距离选择合适的图像。但是，这种方法有很大的缺点。只有减小的距离范围才能针对每只眼睛完美地聚焦。此外，双眼图像的求和是不可能的，因此立体视觉也受到影响。

存在一些基于使用光电透镜例如文献US20120133891A1中所述的光电透镜的其它系统，其中，提出光电透镜使用改进的CMOS传感器执行角膜反射的跟踪来矫正近视(不是远视)。

在文献US8690321B2中，光电透镜被用于使用用于执行受试者的面部和眼睛的跟踪的外部摄像机来矫正远视。之后，将获得的信息发送到眼镜。该发明非常有限，因为它依赖于外部摄像机来使系统工作。

在文献WO2014179857A1中，提出了一种具有可调透镜的系统。该方法使用凝视来控制所施加的光学功率。但是，只有有限的一系列光学功率值可能会被施加到透镜。这些非连续的光学功率值可能导致受试者的不舒适体验。

在文献US20120194781A1中，提出了一种使用动态聚焦Alvarez透镜和角膜反射的系统来矫正远视。

此外，瞳孔追踪是许多领域中广泛使用的技术，从营销到医学，还有电子游戏。作为一种流行的技术，有很多替代方法可以实现它。

例如，Mompeán、J.，Aragón、J.L、Prieto P.和Artal P已经提出了通过使用图形处理器(GPU)以高速和高精度执行瞳孔跟踪的高度并行化实现。(“GPU-Accelerated High-Speed Eye Pupil Tracking System”，第27届计算机体系结构与高性能计算国际研讨会，SBAC-PAD，第17-24页，2015年10月)。

Emmanuel Chirre、Pedro Prieto和Pablo Artal已经提出了另一种理解瞳孔动态与眼睛调节之间关系的方法(“Dynamics of the near response under natural viewingconditions with an open-view sensor”，Biomed.Opt.Express 6,4200-4211，2015)。该信息用于训练和控制受试者的反应。

发明内容

本专利中呈现的本发明的目的是提供一种用于在无需来自受试者的任何动作的情况下实时自动双眼远视矫正的方法和仪器。

本发明提供了一种用于远视矫正的光电双眼仪器，其包括：

高速瞳孔跟踪系统，其包括：

针对远视进行矫正的受试者的眼睛的图像捕获子系统，其包括至少一个摄像机和朝向眼睛定向的若干光源，以及

图像处理子系统，其用于计算瞳孔大小和瞳孔间距，能够使用基于使用图形处理器(GPU)和高度并行的瞳孔跟踪算法的高性能实现来处理双眼的图像，以及

两个光电透镜，其提供可变的光学功率并且能够位于针对远视进行矫正的受试者的眼睛前方并且每只眼睛前方各一个。

摄像机用于执行瞳孔跟踪，并且透镜负责在每个时刻施加期望的光学矫正。

本发明还提供了一种用于双眼远视矫正的方法，其使用根据前述权利要求所述的用于双眼远视矫正的光电双眼仪器，并且包括具有以下步骤的第一校准阶段和第二远视矫正阶段：

a)校准阶段：

针对远视进行矫正的受试者看向被放置于距离d_远处的远目标，

使用捕获图像子系统捕获图像，

通过图像处理子系统处理所捕获的图像，并计算瞳孔大小S_远和瞳孔间距，

正在被矫正的受试者看向被放置于距离d_近处的近目标，

通过捕获图像子系统捕获图像，

通过图像处理子系统处理所捕获的图像，并计算瞳孔大小S_近和瞳孔间距，

b)远视矫正阶段：

通过捕获图像子系统捕获图像，

通过图像处理子系统处理所捕获的图像，并计算瞳孔大小S_当前和瞳孔间距，

使用以下这些公式计算受试者看的距离D：

D＝d_近+[(d_远-d_近)/(s_远-s_近)]＊(s_当前-s_近)

D＝(H/2)＊tan(90-α)，其中，α＝atan(d/r)

其中，d是瞳孔移动的距离，α是眼睛转动的角度，r是眼睛的半径，H是受试者在看向无限远时的瞳孔间距，

根据距离D计算要施加在光电透镜中的光学功率，以及

将所计算的光学功率施加到光电透镜，

其中，远视矫正阶段的各步骤连续执行若干次。

通过从跟踪眼睛瞳孔的大小、形状和位置的特性的自有系统接收的信息引导矫正。

本发明对每只眼睛的瞳孔的大小和位置执行连续跟踪。这些参数用于计算在每个时刻必须施加于透镜或光电系统或可变焦光机系统的矫正。通过用摄像机捕获双眼的图像并提供适当的照明来执行瞳孔跟踪。然后使用图形处理器(GPU)中的瞳孔检测算法的高性能和并行实现来处理图像。

附图说明

图1示出了根据本发明的用于远视矫正的双眼光电仪器的图。

图2示出了根据本发明的用于远视矫正的双眼光电仪器的简化版本的图。

图3示出了当人眼看远目标和近目标时产生的瞳孔大小的变化。

图4示出了当人眼看远目标和近目标时产生的瞳孔位置的变化。

图5示出了用于实时双眼远视校正的方法的图，其包括具有其相应步骤的校准阶段和矫正阶段。

图6示出了示出本发明的仪器的操作的图。

图7示出了在看近目标时眼睛的角度的示意图。

具体实施方式

本发明包括一种能够实时对眼睛的远视进行自动和双眼矫正的方法和相关联的仪器。此外，该方法具有三种不同的控制施加矫正的方式。

在图1和图2中示意性地示出能够实现本发明中提出的方法的仪器的实际实现的最重要部分。图2是仪器的简化版本。图1中的系统包括两个用于红外照明的LED 102、109；照明是必要的，因此照摄像机107可以捕获高质量的图像。另外，该系统具有被放置在受试者的眼睛101、108的前方的两个光电透镜103、110。它们用于施加计算的光学功率，使得受试者可以聚焦目标。另一方面，该系统具有多个镜104、105、111、112和透镜106，以正确地聚焦照摄像机中的瞳孔的图像。系统连续地拍摄由瞳孔跟踪子系统处理的图像。高性能并行实现用于使用图形处理器(GPU)进行瞳孔跟踪。利用所获得的关于两个瞳孔的大小和位置的参数，计算透镜103、110必须施加以矫正受试者的远视的光学功率。最后，利用光电透镜103、110对物体施加矫正。

图2示出了本发明中提出的光学仪器的简化版本的方案。该系统有两个用于照明的红外LED207、208；照明对于摄像机202、205是必要的，因此它们可以捕获高质量的图像。此外，两个光电透镜203、204被放置在受试者201、206的眼睛的前方。与未简化版本一样，系统连续地捕获图像，该图像然后由瞳孔跟踪子系统处理。然后，所获得的信息用于计算透镜203、204必须施加以矫正受试者的远视的光学功率。最后，使用光电透镜203、204施加矫正。

当人眼的瞳孔根据刺激物所处的距离来聚焦刺激物时，它会减小并增大其大小。图3示出了在看近目标302时眼睛瞳孔收缩的方案，以及在看远目标301时眼睛瞳孔扩张。在所描述的方法中使用该影响来计算受试者看的距离，由此以确定应该施加于透镜的光学功率，是这里提出的计算该值的三种方法之一。当执行校准时，在受试者正在看远和近目标的情况下，计算并存储瞳孔的大小。稍后将该信息用于矫正阶段以对受试者正在看的距离进行插值。这是使用的公式：

D＝d_近+[(d_远-d_近)/(S_远-S_近)]*(S_当前-S_近)

此外，在根据目标放置的距离来聚焦目标时，人眼也能会聚和发散。图4示出了在看近目标402时眼睛的会聚和在看远目标401时眼睛瞳孔的发散的方案。在所描述的方法中使用该行为来计算受试者正在看的距离。该信息被用于计算应该施加到透镜的光学功率，是计算该值的三种方法中的第二种。为了使用瞳孔间距来计算受试者看的距离，使用该公式：

D＝(H/2)＊tan(90-α)，其中，a＝atan(d/r)

在该公式中，d是瞳孔移动的距离，α是眼睛转动的角度，r是眼睛的半径，H是受试者在看向无限远时的瞳孔间距。

首先，计算在看近目标时眼睛旋转的角度α。为此，使用瞳孔移动的距离d和眼睛的半径r。在计算了眼睛旋转的角度α之后，可以使用先前的公式计算受试者正在看的距离D，然而之前必须测量在看远处时受试者的瞳孔间距H。

计算受试者所看到的距离的第三种更准确的方法包括将瞳孔的大小和瞳孔的聚散度结合起来。另外，可以获得关于瞳孔的与物体的距离有关的时间动态信息，以获得关于要施加的所需光学功率的信息。这是一种“学习”方法。

在图5中示意性地示出了本发明中描述的方法。首先，完成受试者的校准501。要求受试者看远502并且捕获一系列图像503。最后，利用图像处理子系统处理这些图像来计算瞳孔的大小和瞳孔间距504。稍后，要求受试者看近目标505并且捕获另一系列图像506。利用图像处理子系统处理这些图像来计算瞳孔的大小和瞳孔间距。可以在学习阶段中使用校准阶段的信息来执行自动优化。然后该方法移动508到矫正阶段509。矫正阶段509连续工作，始终以捕获受试者瞳孔510的图像开始。然后图像处理子系统处理该图像以获得瞳孔的大小和瞳孔间距511。之后，使用前述三种方法之一计算矫正512。最后，将新计算的光学功率施加到光电透镜513，以允许受试者正确地聚焦物体。

图6包括示出系统操作的示例。在图中，X轴显示时间，左Y轴以毫米为单位显示瞳孔大小和瞳孔间距离的标度，右Y轴显示透镜施加的屈光度的标度。曲线601的第一行示出了随时间的两个瞳孔之间的距离；第二条线602示出了瞳孔的半径；而第三条线603示出了施加到光电透镜的屈光度。正如预期的那样，增加瞳孔间距也会增加它们的大小并减少施加到透镜上的屈光度。而且，减小瞳孔间距会减小它们的大小并且增加施加到光电透镜的屈光度的量。

瞳孔跟踪系统的实现使用用于图形处理器(GPU)的高度并行化的算法，实现非常高的速度，因此能够实现每秒处理大量样本的处理。该处理速度减少了系统的延迟并增强了其稳健性和准确性，允许系统对受试者瞳孔的变化做出快速反应，还减少了总系统延迟并改善了用户体验。瞳孔跟踪算法搜索眼睛瞳孔的边界。首先，它执行捕获图像的预处理，以消除由红外照明产生的反射并减少图像中可能存在的噪声。然后，从初始位置开始，测试其周围的像素，从而搜索梯度的大变化，因为瞳孔的边界通常具有大的梯度变化。最后，随机选择找到的边界点并执行若干次椭圆拟合。为了选择最佳拟合椭圆，计算所有椭圆与所有点之间的距离，并选择具有最小距离的椭圆。

如在本文件中所表示的，下面的附图标记联接至作为本发明的一部分的不同元素和所描述的步骤。

101 受试者的右眼

102 红外LED照明

103 光电透镜

104 平面镜

105 二向色镜

106 透镜

107 用于瞳孔跟踪的摄像机

108 受试者的左眼

109 红外LED照明

110 光电透镜

111 平面镜

112 棱镜

201 受试者的右眼

202 用于瞳孔跟踪的摄像机

203 光电透镜

204 光电透镜

205 用于瞳孔跟踪的摄像机

206 受试者的左眼

207 红外LED照明

208 红外LED照明

301 看远目标时受试者的瞳孔

302 看近目标时受试者的瞳孔

401 看远目标时受试者的瞳孔

402 看近目标时受试者的瞳孔

501 校准过程

502 远看状态

503 拍摄图片状态

504 测量瞳孔状态

505 近看状态

506 拍摄图片状态

507 测量瞳孔状态

508 从校准到处理的过渡

509 矫正处理

510 获取图片状态

511 测量瞳孔状态

512 计算矫正状态

513 将矫正施加到透镜状态

601 示出瞳孔间距的线

602 示出瞳孔半径的线

603 示出施加到透镜的屈光度的线

701 会聚凝视时人眼运动的示意图

权利要求书(按照条约第19条的修改)

1.一种用于远视矫正的光电双眼仪器，其特征在于，所述光电双眼仪器包括：

高速瞳孔跟踪系统，其包括：

针对远视进行矫正的受试者的眼睛的图像捕获双眼子系统，其包括至少一个摄像机(107；202、205)和朝向所述眼睛定向的若干光源(102、109；207、208)，以及

图像处理双眼子系统，其用于计算每个眼睛中的瞳孔大小和瞳孔间距，能够使用基于使用图形处理器(GPU)和高度并行化的瞳孔跟踪算法的高性能实现来处理双眼的图像，以及

两个光电透镜(103、110；203、204)，其提供可变的光学功率并且能够位于针对远视进行矫正的所述受试者的眼睛前方并且每只眼睛前方各一个。

2.根据权利要求1所述的用于远视矫正的光电双眼仪器，其中，所述光源(102、109；207、208)是红外照明LED。

3.根据权利要求1或2所述的用于远视矫正的光电双眼仪器，还包括若干镜(104、105、111、112)和至少一个透镜(106)以将针对远视进行矫正的所述受试者的眼睛瞳孔的图像聚焦在至少一个摄像机(107；202、205)中。

4.根据权利要求3所述的用于远视矫正的光电双眼仪器，其中，所述镜是平面镜(104、111)、二向色镜(105)和棱镜(112)。

5.一种用于双眼远视矫正的方法，所述方法使用根据前述权利要求所述的用于双眼远视矫正的光电双眼仪器，并且包括具有以下步骤的第一校准阶段和第二远视矫正阶段：

a)校准阶段：

针对远视进行矫正的所述受试者看向被放置于距离d_远处的远目标，

使用所述捕获图像子系统捕获图像，

通过所述图像处理子系统处理所捕获的图像，并且计算瞳孔大小S_远和瞳孔间距，

正在被矫正的所述受试者看向被放置于距离d_近处的近目标，

通过所述捕获图像子系统捕获图像，

通过所述图像处理子系统处理所捕获的图像，并且计算瞳孔大小S_近和瞳孔间距，

b)远视矫正阶段：

通过所述捕获图像子系统捕获图像，

通过所述图像处理子系统处理所捕获的图像，并且计算瞳孔大小S_当前和瞳孔间距，

使用以下这些公式计算所述受试者看的距离D：

D＝d_近+[(d_远-d_近)/(s_远-s_远)]＊(s_当前-s_近)

D＝(H/2)＊tan(90-α)，其中，α＝atan(d/r)

其中，d是瞳孔移动的距离，α是眼睛转动的角度，r是眼睛的半径，H是所述受试者在看向无限远时的瞳孔间距，

根据所述距离D计算要施加在所述光电透镜(103、110；203、204)中的光学功率，以及

将所计算的光学功率施加到所述光电透镜(103、110；203、204)，其中，所述远视矫正阶段的各步骤连续执行若干次。

6.根据权利要求5所述的用于双眼远视矫正的方法，其中，所述高度并行化的瞳孔跟踪算法执行接下来的动作序列：

对所捕获的图像进行预处理，以消除由照明产生的反射并消除所述图像中可能存在的噪声；

接下来，使用起始位置探测所述起始位置周围的像素，从而搜索可能表示所述瞳孔的边界的大的梯度变化；

从已找到的点中随机选择一些点，并对椭圆进行若干调整；以及

为了选择与所述瞳孔最佳拟合的椭圆，计算椭圆与先前找到的点之间的距离，并选择具有最小距离的椭圆。

Claims (6)

1.一种用于远视矫正的光电双眼仪器，其特征在于，所述光电双眼仪器包括：

高速瞳孔跟踪系统，其包括：

针对远视进行矫正的受试者的眼睛的图像捕获子系统，其包括至少一个摄像机(107；202、205)和朝向所述眼睛定向的若干光源(102、109；207、208)，以及

图像处理子系统，其用于计算瞳孔大小和瞳孔间距，能够使用基于使用图形处理器(GPU)和高度并行化的瞳孔跟踪算法的高性能实现来处理双眼的图像，以及

两个光电透镜(103、110；203、204)，其提供可变的光学功率并且能够位于针对远视进行矫正的所述受试者的眼睛前方并且每只眼睛前方各一个。

2.根据权利要求1所述的用于远视矫正的光电双眼仪器，其中，所述光源(102、109；207、208)是红外照明LED。

3.根据权利要求1或2所述的用于远视矫正的光电双眼仪器，还包括若干镜(104、105、111、112)和至少一个透镜(106)以将针对远视进行矫正的所述受试者的眼睛瞳孔的图像聚焦在至少一个摄像机(107；202、205)中。

4.根据权利要求3所述的用于远视矫正的光电双眼仪器，其中，所述镜是平面镜(104、111)、二向色镜(105)和棱镜(112)。

5.一种用于双眼远视矫正的方法，所述方法使用根据前述权利要求所述的用于双眼远视矫正的光电双眼仪器，并且包括具有以下步骤的第一校准阶段和第二远视矫正阶段：

a)校准阶段：

针对远视进行矫正的所述受试者看向被放置于距离d_远处的远目标，

使用所述捕获图像子系统捕获图像，

通过所述图像处理子系统处理所捕获的图像，并且计算瞳孔大小S_远和瞳孔间距，

正在被矫正的所述受试者看向被放置于距离d_近处的近目标，

通过所述捕获图像子系统捕获图像，

通过所述图像处理子系统处理所捕获的图像，并且计算瞳孔大小S_近和瞳孔间距，

b)远视矫正阶段：

通过所述捕获图像子系统捕获图像，

通过所述图像处理子系统处理所捕获的图像，并且计算瞳孔大小S_当前和瞳孔间距，

使用以下这些公式计算所述受试者看的距离D：

D＝d_近+[(d_远-d_近)/(s_远-s_近)]＊(s_当前-s_近)

D＝(H/2)＊tan(90-α)，其中，α＝atan(d/r)

其中，d是瞳孔移动的距离，α是眼睛转动的角度，r是眼睛的半径，H是所述受试者在看向无限远时的瞳孔间距，

根据所述距离D计算要施加在所述光电透镜(103、110；203、204)中的光学功率，以及

将所计算的光学功率施加到所述光电透镜(103、110；203、204)，其中，所述远视矫正阶段的各步骤连续执行若干次。

6.根据权利要求5所述的用于双眼远视矫正的方法，其中，所述高度并行化的瞳孔跟踪算法执行接下来的动作序列：

对所捕获的图像进行预处理，以消除由照明产生的反射并消除所述图像中可能存在的噪声；

接下来，使用起始位置探测起始位置周围的像素，从而搜索可能表示所述瞳孔的边界的大的梯度变化；

从已找到的点中随机选择一些点，并对椭圆进行若干调整；以及

为了选择与所述瞳孔最佳拟合的椭圆，计算椭圆与先前找到的点之间的距离，并选择具有最小距离的椭圆。