CN116324610A - 改善视网膜损伤患者视力的系统与方法 - Google Patents

Abstract

本发明揭示一种训练视网膜受损观看者眼睛的替代视网膜位置的可携式系统和方法，以及改善这类观看者视力的辅助系统。该训练用的可携式系统包括用于提供观看者眼睛信息的眼动追踪模块和用于在观看者受损视网膜上的替代视网膜位置中心处而不是在中央凹的中心处显示虚拟影像的虚拟影像显示模块。虚拟影像显示模块进一步包括用于产生多个第一光信号的第一光信号产生器和用于当观看者眼睛的瞳孔大致位于眼睛中央位置时将多个第一光信号重新导向到替代视网膜位置的第一合并器。

Description

改善视网膜损伤患者视力的系统与方法

相关申请

本申请要求主张于2021年6月11日提交的美国临时案专利申请号63/209,405，其专利名称为“改善视网膜损伤患者视力的系统与方法”(VISION-ASSISTED DEVICE FORUSERS WITH IMPAIRED RETINA)的优先权，其申请的全部内容通过引用纳入本文中。

此外，于2020年11月6日提交的PCT国际专利申请号PCT/US20/59317，其专利名称为“显示一个具有景深的物体的系统与方法”(SYSTEM AND METHOD FOR DISPLAYING ANOBJECT WITH DEPTHS)其申请的全部内容通过引用纳入本文中。

技术领域

本发明是关于一种用于训练视网膜受损观看者的眼睛并改善这类观看者视力的系统；更具体而言，本发明是关于一种用于在视网膜受损观看者眼睛上训练替代视网膜位置以改善观看者眼睛视力的系统。

背景技术

视网膜受损者在视野的中央或周边区域丧失其视力。譬如老年性黄斑部病变(AMD)患者会在视野的中心区域丧失其视力，而青光眼患者会在视野的周边区域丧失视力。视网膜受损者的眼睛通常有受损黄斑部(或黄斑部)，这是人眼视网膜中心附近的椭圆形色素区域。人类的黄斑部直径通常约为5.5mm(0.22英寸)，并可细分为小凹盾心亮点、中央小凹、中央凹无血管区、中央凹、近旁凹和外周凹等区域。黄斑部负责视觉的清晰敏锐性，在良好光线情况下取得中央高清晰度色觉。中央凹负责中央视力(也称为中央凹视力)的清晰性，这是人类在进行视觉细节至关重要的活动(例如阅读和驾驶)时所必需的。中央凹被近旁凹带和外周凹外部区域包围。

当人的眼睛注视某个物体时，通常他或她会用中央凹对准物体，以获得更好的物体影像清晰度。所以，视轴是定义为物体和中央凹之间的一条假想线。如前所述，视网膜受损可能是由于老年性黄斑部病变(AMD)、青光眼或其他疾病引起的。可能导致他们视野中心或周边的视力模糊或完全丧失视力。人的视力可以通过训练仍还健康眼睛的较佳视网膜位点(PRL)来改善，以回应接收到的光信号。因此，我们需要一种可以在视网膜受损者眼睛上训练较佳视网膜位点(PRL)的可携式系统，以及用于改善观看者眼睛视力的辅助系统。

发明内容

本发明是关于一种用于在视网膜受损者眼睛上训练替代视网膜位置并因此改善观看者眼睛的视力的可携式系统和方法。观看者视网膜的受损可能是由于老年性黄斑部病变(AMD)、青光眼或其他疾病引起的。老年性黄斑部病变(AMD)患者的黄斑部退化可能导致视野中心视力模糊或完全失去视力。青光眼患者可能在视野的周边区域而不是中心区域失去视力。这些患者在视野中心或周边区域的视力可以通过训练患者仍还健康的眼睛上的替代视网膜位置来改善，以回应接收到的光信号。有时，替代视网膜位置亦称为较佳视网膜位点(PRL)。本发明的一种用于在视网膜受损者眼睛上训练替代视网膜位置的可携式系统包括眼动追踪模块和虚拟影像显示模块。眼动追踪模块提供观看者眼睛的眼睛信息。根据眼动追踪模块提供的眼睛信息，当观看者的瞳孔大致位于眼睛的中心时，虚拟影像显示模块会将虚拟影像显示在观看者眼睛的替代视网膜位置的中心处而不是在中央凹的中心处。虚拟影像显示模块包括第一光信号产生器和第一合并器。第一光信号产生器为虚拟影像产生多个第一光信号。第一合并器将第一光信号产生器的多个第一光信号重新导向到观看者眼睛上的替代视网膜位置，以显示虚拟影像的多个第一像素。

在训练观看者眼睛上的替代视网膜位置以代替中央凹进行注视之后，辅助系统和方法可投射对应目标物体的虚拟影像到中央凹邻近区域(对于青光眼患者而言)或受过训练的视网膜受损者眼睛的替代视网膜位置(对于老年性黄斑部病变患者而言)来改善视网膜受损者的视力。本发明的一种视力改善辅助系统包括影像撷取模块、处理模块及虚拟影像显示模块。影像撷取模块被配置为撷取观看者眼睛正前方的视图(预设目标物体)或观看者眼睛注视的特定目标物体，从而接收多个影像像素。处理模块被配置为产生目标物体相关的虚拟影像的信息。虚拟影像显示模块包括第一光信号产生器和第一合并器。第一光信号产生器根据处理模块提供的虚拟影像信息产生多个用于虚拟影像的第一光信号。对于黄斑部受损者，特别是中央凹及其邻近区域受损者，例如老年性黄斑部病变患者，第一合并器将第一光信号产生器的多个第一光信号重新导向到观看者眼睛上的替代视网膜位置，而不是中央凹，用以显示虚拟影像的多个第一像素。对于视野周边区域视网膜受损者(例如青光眼患者)，第一合并器将第一光信号重新导向到仍还健康的黄斑部中心区域，包括中央凹及其邻近区域。

替代视网膜位置是选自仍还健康的视网膜部分。替代视网膜位置的选择准则包括(1)替代视网膜位置的高度和(2)替代视网膜位置与中央凹的相对位置，以便在眼球转动时允许双眼注视。首先，视网膜受损者眼睛上的替代视网膜位置的第一高度应选择为更接近于视网膜受损或不受损的观看者另一只眼睛的较佳传感位置的第二高度。其次，替代视网膜位置应选择在视网膜受损者眼睛中央凹的外侧，这样当观看者的眼球注视在他/她视野的周边区域时，双眼的视轴来自交替的视网膜位置或较佳传感位置任一侧都可以在观看者眼睛注视的目标物体处相互交叉。

一旦选择了替代视网膜位置，替代视网膜位置的坐标将根据视网膜受损者眼睛的标记而产生，用以提供一准确位置给虚拟影像显示模块来投影虚拟影像。其中，标记可以是视网膜受损者眼睛的视神经头。

附图说明

图1是图解说明本发明的用于视网膜受损患者眼睛上训练替代视网膜位置的系统的实施例的方块图；

图2是图解说明本发明的虚拟影像显示模块和眼动追踪模块的实施例的示意图；

图3是图解说明本发明的第一光信号产生器和第一合并器的实施例的示意图；

图4A-图4C是图解说明本发明透过不同光路投射形成以替代视网膜位置为中心的虚拟影像的虚拟影像显示模块的实施例的示意图；

图5是图解说明本发明的显微测量影像的实施例的影像；

图6是图解说明本发明的显示替代视网膜位置、视神经头和中央凹的相对位置的眼底图的实施例的影像；

图7A-图7D是图解说明本发明的用于在视网膜受损者眼睛上训练替代视网膜位置的可携式系统的实施例的示意图；

图8是图解说明本发明的用于改善受损视网膜者眼睛的视力的辅助系统的实施例的方块图；

图9A-图9C是图解说明本发明与青光眼有关的视图的实施例的影像；

图10是图解说明本发明的用于改善受损视网膜者眼睛的视力的辅助系统的实施例的示意图；及

图11A-图11B是图解说明本发明利用深度信息调整撷取影像的实施例的示意图。

具体实施方式

以下文中所用的术语旨在以其最广泛的合理方式进行解释，即使此等术语与某些特定实施例的详细描述的技术结合使用时亦同。以下描述内容甚至可能会强调某些术语；然而，任何以受限方式解释的术语皆在本实施方式中有具体的定义及描述。

本发明涉及一种用于在视网膜受损观看者眼睛上训练替代视网膜位置并因此改善观看者眼睛的视力的可携式系统和方法。观看者的视网膜受损可能是由老年性黄斑部病变(AMD)、青光眼或其他疾病引起的。老年性黄斑部病变(AMD)患者的黄斑部退化可能导致视野中心视力模糊或完全失去视力，而青光眼患者在周边区域而不是中心区域丧失视力。这些患者在视野中心或周边区域的视力可以通过训练观看者仍还健康的眼睛上的替代视网膜位置来改善，以回应接收到的光信号。通常替代视网膜位置有时亦称为较佳视网膜位点(PRL)。该用于在视网膜受损者眼睛上训练替代视网膜位置的可携式系统，包括眼动追踪模块和虚拟影像显示模块。眼动追踪模块提供观看者眼睛的眼睛信息。当观看者眼睛的瞳孔根据来自眼睛的眼睛信息大致位于观看者眼睛的中心时，虚拟影像显示模块显示以观看者眼睛上的替代视网膜位置而不是以中央凹为中心的虚拟影像追踪模块。虚拟影像显示模块包括第一光信号产生器和第一合并器。换言之，在这种情况下，观看者的眼睛直接注视前方，并且观看者眼睛的视轴大致与观看者的正面互动垂直。第一光信号产生器为虚拟影像产生多个第一光信号。第一合并器将来自第一光信号产生器的多个第一光信号重新导向到观看者眼睛上的替代视网膜位置，以显示虚拟影像的多个第一像素。

在训练观看者眼睛上的替代视网膜位置以代替中央凹进行注视之后，辅助系统和方法可通过将对应于目标物体的虚拟影像投影到中央凹上来改善观看者的视网膜受损眼睛的视力及其邻近区域(对于青光眼患者而言)或受过训练的视网膜受损观看者眼睛的替代视网膜位置(对于老年性黄斑部病变患者而言)。本发明的一种视力改善辅助系统包括影像撷取模块、处理模块及虚拟影像显示模块。影像撷取模块被配置为撷取观看者眼睛正前方的视图(预设目标物体)或观看者眼睛注视的特定目标物体，从而接收多个影像像素。在另一个实施例中，影像撷取模块接收多个影像像素的对应深度。处理模块被配置为产生与目标物体相关的虚拟影像的信息。虚拟影像显示模块包括第一光信号产生器和第一合并器。第一光信号产生器根据处理模块提供的虚拟影像信息产生多个用于虚拟影像的第一光信号。对于黄斑部受损的观看者，特别是中央凹及其邻近区域，例如老年性黄斑部病变(AMD)患者，第一合并器将来自第一光信号产生器的多个第一光信号重新导向到观看者眼睛上的替代视网膜位置，而不是到中央凹的位置，从显示虚拟影像的多个第一像素。对于视野周边区域视网膜受损者(例如青光眼患者)，第一合并器将第一光信号重新导向到仍还健康的黄斑部中心区域，包括中央凹及其邻近区域。

替代视网膜位置是选自仍还健康的视网膜部分。观看者视网膜上的多个位置可用作替代视网膜位置。从多个可用位置中选择出影响观看者两只眼睛之间双眼视像融合的可能性。因此，替代视网膜位置应选择在能促进双眼视像融合的位置。替代视网膜位置的选择准则包括(1)替代视网膜位置的高度和(2)替代视网膜位置与中央凹的相对位置，以便在眼球转动时允许双眼注视。首先，视网膜受损者眼睛上的替代视网膜位置的第一高度应选择为更接近于视网膜受损或不受损的观看者另一只眼睛的较佳传感位置的第二高度。换言之，第一高度与第二高度大致相同。其次，替代视网膜位置应选择在视网膜受损者眼睛中央凹的外侧，这样当观看者的眼球注视在他/她视野的外围区域时，来自交替的视网膜位置或较佳的传感位置任一侧的双眼视轴都可以在观看者眼睛注视的目标物体处相互交叉。

一旦选择了替代视网膜位置，替代视网膜位置的坐标将根据视网膜受损者眼睛的标记而产生，用以提供一准确位置给虚拟影像显示模块来投影虚拟影像。其中标记可能是视网膜受损者眼睛的视神经头。

如图1所示，本发明的用于训练受损视网膜者眼睛的替代视网膜位置的可携式系统100包括眼动追踪模块110和虚拟影像显示模块120。眼动追踪模块110被配置为追踪观看者的眼睛并提供相关的眼睛信息，例如眼球运动、瞳孔位置、瞳孔大小、注视角度(视角；视轴)和观看者眼睛的会聚角。眼动追踪模块110可以包括第一摄影机112用以供追踪视网膜受损的眼睛。虚拟影像显示模块120将虚拟影像投射到观看者眼睛的预设替代视网膜位置上，当根据眼动追踪模块110提供的眼睛信息得知观看者眼睛的瞳孔大约位于眼睛的中心时，给予适用于训练的刺激。此时，观看者的眼睛注视在正前方的一点，并且观看者眼睛的视轴也大致与观看者的正面互相垂直。医生、培训专家或观看者皆可预设虚拟影像。在一个实施例中，预设的虚拟影像是红色或绿色的十字符号。

如上所述，眼动追踪模块110被配置为追踪观看者的一只眼睛或两只眼睛并提供相关的眼睛信息(例如，观看者的每个眼睛的瞳孔位置、瞳孔大小、注视角度和会聚角)。这种眼睛信息可用于确定观看者眼睛的瞳孔是否大致位于视网膜受损者眼睛的中心。在如图2所示的一个实施例中，眼动追踪模块110可以包括第一摄影机112和眼动追踪反射器114以追踪视网膜受损者的眼睛。在本实施例中，眼动追踪反射器114的红外光(IR)反射率约为100％。第一摄影机112还可进一步包括IR激光二极管和IR光传感器。眼球追踪反射器114设置在第一摄影机112与观看者眼睛之间的光路上。IR激光二极管产生的IR光被眼睛追踪反射器114反射，然后投射到观看者的眼睛上。从观看者的眼睛反射的红外光(IR)可透过眼睛追踪反射器114折返到IR光传感器，以分析和确定眼睛信息(包括瞳孔位置)。在另一个实施例中，观看者双眼的视网膜皆为受损。眼动追踪模块110还可进一步包括第二摄影机116以追踪观看者的另一只眼睛。除了传统的眼动追踪摄影机外，第一摄影机112和第二摄影机116亦可通过超小型微机电系统(MEMS)技术构建而成。第一摄影机112和第二摄影机116可以使用超红外光发射器和传感器来检测和导出各种眼睛信息。眼动追踪模块110还可进一步包括集成惯性测量单元(IMU)，这是一种使用加速度计、陀螺仪的组合来测量和报告某种特定力、角速率、身体情况等的电子设备，集成惯性测量单元(IMU)亦可进一步包括磁力计。

眼动追踪模块110可测量观看者眼睛瞳孔的位置和大小，并确定瞳孔远离观看者眼睛中心的幅度或程度。在一个实施例中，眼睛追踪模块110每秒接收并分析60帧反射的IR光以确定瞳孔位置。当观看者眼睛的瞳孔偏离观看者眼睛中心超过预设度数时，例如0.5度，眼动追踪模块110即会通知虚拟影像显示模块120休息。

如图3所示，虚拟影像显示模块120包括第一光信号产生器10和第一合并器20。第一光信号产生器10可以使用激光、包括迷你和微型LED的发光二极管(“LED”)、有机发光二极管(“OLED”)或超辐射发光二极管(“SLD”)、硅基上液晶(LCoS)、液晶显示器(“LCD”)或其任意组合作为其光源。在一个实施例中，光信号产生器10是激光束扫描投影机(LBS投影机)，其可以包括红光激光15、绿光激光16和蓝光激光7的光源11，光颜色调节器，例如二向色合并器和偏振合并器以及二维(2D)可调反射器12，例如2D机电系统(“MEMS”)镜。在另一个实施例中，光源11还可进一步包括红外光(IR)激光14。第一光信号产生器10还可进一步包括位于光源11和2D可调反射器12之间的准直器13，以使光信号的运动方向能够在特定方向更能对齐(平行)。准直器160可以是曲面透镜或凸透镜。2D可调反射器12可以由两个一维(1D)反射器代替，例如两个一维MEMS反射镜。LBS投影机依次产生并逐一扫描光信号，以形成预设清晰度(例如每帧为1280x720像素)的2D虚拟影像。因此，一个像素的光信号是一次产生并投射到第一合并器20。为了让使用者可从一只眼睛看到这样的2D虚拟影像，LBS投影机必须为每个像素顺序地产生光信号，例如一个1280x720的光信号是在视觉暂留时间段(如1/18秒)内停留。因此，每个光信号的持续时间约为60.28纳秒(ns)。

在另一个实施例中，第一光信号产生器10是可以一次产生2D彩色影像的数字光学处理投影机(“DLP投影机”)。德州仪器的DLP技术是可用于制造DLP投影机的多种技术之一。整个2D彩色影像帧(例如包括1280x720像素的影像帧)，同时投影至第一合并器20。

第一合并器20接收由第一光信号产生器10产生的多个光信号并将其重新导向到除中央凹外的观看者眼睛的替代视网膜位置。这里，第一合并器20可以用作反射器。第一合并器20可由玻璃或塑料材料如透镜制成，并涂有金属等特定材料以使其具有反射性。在现有技术中使用反射合并器而不是波导将光信号引导到使用者的眼睛的一个优点是消除了不希望存在的衍射效应的问题，例如多重阴影、颜色偏移等。

在如图2所示的另一个实施例中，虚拟影像显示模块120的光路可以设计为进一步包括辅助第一合并器25。从第一光信号产生器10产生的光信号被投射向第一合并器20，第一合并器20将光信号重新导向辅助第一合并器25，其进一步将光信号重新导向到除了中央凹外的观看者眼睛的替代视网膜位置。此外，虚拟影像显示模块120还可进一步包括设置在第一合并器20和辅助第一合并器25之间的安全反射器122，以及安全传感器124。在一实施例中，反射器122的反射率约为10％，其可让约90％的光信号通过。安全传感器124接收来自反射器122的反射光信号并测量这些信号的强度。如果光信号的强度超过预设值，安全传感器124基于安全理由，会通知第一光信号产生器10关闭光源的电源或阻止光信号投射到观看者的眼睛中，以免损伤观看者的眼睛。

在一个实施例中，为了精确控制第一光信号投射到观看者眼睛上的位置，具有六自由度的第一合并器20和辅助第一合并器25可以通过移动和/或旋转来独立调整水平轴(或俯仰轴，X轴)、垂直轴(或纵轴，Y轴)和/或深度轴(或垂直轴，Z轴)的特定角度，例如旋转5度。水平轴可以设置为沿着瞳孔线的方向。垂直轴可以设置为沿着面部中线延伸并垂直于水平方向。深度方向(或垂直轴，Z轴方向)可以设置为垂直于正面平面并且垂直于水平方向和垂直方向。具体言之，第一合并器20和辅助第一合并器25可以围绕水平轴旋转以移动信号投射位置到观看者视网膜的上方或下方，围绕垂直轴旋转以移动光信号投射位置定位到观看者视网膜的右侧或左侧，和/或沿深度轴移动以调整眼距。

如上所述，虚拟影像显示模块120投射虚拟影像到观看者眼睛的预设替代视网膜位置上，并根据来自眼动追踪模块120的眼睛信息，于影像大致位于观看者眼睛的中心时，在观看者眼睛的瞳孔处提供训练所需的刺激。此时，观看者的眼睛注视在正前方的一点，并且观看者眼睛的视轴也接近垂直于观看者正面的平面。视轴是透过瞳孔连接观看者眼睛的注视点和中央凹的假想线。这是看者最自然、最容易注视的一点。结果，观看者不需要旋转他/她的眼球来训练替代的视网膜位置。具有视网膜受损的观看者通过如此的注视训练，使用者，如具有黄斑部病变的病患，可以直视并达到注视而不需要转动其头部至视网膜受损的眼睛的一侧以看见影像的中央部分。眼动追踪模块120可以检测视网膜受损者眼睛的瞳孔的位置和大小，然后确定瞳孔是否位于观看者眼睛的中心。当瞳孔位于观看者眼睛的中心时，虚拟影像显示模块120将光信号投射到预设的替代视网膜位置。虚拟影像显示模块120可以在瞳孔偏离观看者眼睛的中心达到预设程度(例如1度)时暂停投影，因为在那种情况下，光信号将会被投影到异于用作训练的替代视网膜位置的其他独立位置上。当瞳孔偏离观看者眼睛的中心到一定程度时，光信号甚至可能无法通过瞳孔，因为系统经过校准，可以让观看者将光信号投射到某一固定位置。

如图4A-图4C所示，虚拟影像显示模块120可以透过不同的光路将形成虚拟影像440的光信号投射到交替的视网膜位置420上。尤其，该虚拟影像被投射至观看者的视网膜上，该虚拟影像以交替的视网膜位置420为中心，而不是以中央凹410为中心。在一个实施例中，虚拟影像在1280x720阵列中包含921,600个像素。形成虚拟影像的光信号可以被认为是光束。根据光束中心的光路，光信号的光路投影可分为三类。在图4A中，形成虚拟影像440的光信号通过瞳孔430的大致中心部分投射；在图4B中，形成虚拟影像440的光信号被投射通过瞳孔430的上侧部分；在图4C中，形成虚拟影像440的光信号被投射通过瞳孔430的下侧部分。或者，形成虚拟影像440的光信号可被投射经过瞳孔430的右部分或左部分。透过大约瞳孔的中心部分投射形成虚拟影像的光信号可能下列优点。首先，即使环境光强，瞳孔尺寸变小，虚拟影像也不太可能会被部分遮挡。其次，投影到替代视网膜位置的虚拟影像的光信号的入射角通常较小。可以调整第一合并器20和/或辅助第一合并器25以选定的光路执行光信号的投影。

本发明的系统100还可进一步包括眼底视野测量仪130，以产生在观看者眼睛中视网膜的特定部分感知的光量的“视网膜敏感度图”来进行视野测试。为了避免重复，眼底视野测量仪130可以与虚拟影像显示模块120共用光源11和某些光学元件。在如图3所示的一个实施例中，眼底视野测量仪130包括光源11、一组光学元件131、光强度传感器136和视野控制器138。光学元件组131可以包括三个反射器132、133和134以引导从观看者的眼睛反射的光到光强传感器136上，该传感器可以是电荷耦合元件(CCD)。视野控制器138可以接收来自光强度传感器136的电信号以产生如图5所示的视网膜敏感度图，它可提供信息给医生来选择替代视网膜位置。可以根据一些准则来选择替代的视网膜位置以促进注视。在一个实施例中，眼底视野测量仪130可以是显微眼底视野测量仪或激光扫描检眼镜(SLO)。

如前所述，对于视网膜受损者，替代视网膜位置可以选自仍还健康的视网膜部分。观看者视网膜上的多个位置可用作替代视网膜位置。如图5所示，微视野图通常用颜色来说明观看者视网膜的健康程度，例如绿色表示健康(功能齐全)，黄色表示部分受损但在某程度上仍有功能(部分功能)，红色表示受损(无功能)。因此，图5中每个小方块的颜色表示每个特定位置的视网膜的功能程度。通常绿色表示功能齐全；黄色表示有部分功能；红色表示无功能。从这些可供训练的多个可用健康位置中选择替代视网膜位置将影响观看者的两只眼睛(例如，一只老年性黄斑部病变(AMD)眼睛和一只正常眼睛或两只AMD眼睛)之间双眼视像融合的可能性。因此，需要选择替代的视网膜位置以促进双眼视像的融合性。替代视网膜位置的选择准则包括(1)替代视网膜位置的高度和(2)替代视网膜位置与中央凹的相对位置，以便在眼球转动时允许双眼注视。首先，视网膜受损者眼睛的替代视网膜位置的第一高度应选择为更接近于视网膜受损或不受损的观看者另一只眼睛的较佳感测位置的第二高度。如果视网膜受损者眼睛的替代视网膜位置与观看者另一只眼睛的较佳传感位置(例如正常眼睛的中央凹)大致相同高度，换言之，第一高度与第二高度大致相同，则双眼注视会更容易发生。其次，替代视网膜位置应选择在视网膜受损者眼睛中央凹的外侧，这样当观看者的眼球注视在他/她视野的外围区域时，双眼的视轴来自交替的视网膜位置或较佳传感位置任一侧都可以在观看者眼睛注视的目标物体处相互交叉。

一旦确定了替代视网膜位置630，就可产生2D坐标并根据标记准确指示替代视网膜位置所在。在如图6所示的一个实施例中，观看者眼睛的视神经头610被用作标记以得出中央凹620的位置。然后假设中央凹620是具有坐标(0,0)的原点，替代视网膜位置630的坐标亦可得知。

本发明的系统100还可进一步包括处理模块140，用以为观看者执行训练程序。处理模块140可以包括处理器和存储器，作为系统100的其他模块(例如眼动追踪模块110和虚拟影像显示模块120)的计算中心。训练应用程序/软件可以安装在处理模块140中以为观看者执行训练。可以为每个人定制其训练课程。此外，由于本发明的系统100是可携式的，观看者可以在家中轻松地进行训练。在一个实施例中，一次训练大约为15分钟。观看者眨眼的时间可能不计入在训练课程的时间。其中人工智能(AI)模型可以用来确定是否出现眨眼。在训练课程中，观看者可以选择用于训练的虚拟影像的形状、大小和颜色，例如红色或绿色的十字形或红色或绿色的圆形。在训练开始时，观看者的瞳孔可能经常偏离眼睛中心，因此，可以使用更大的虚拟影像进行训练。当观看者的瞳孔长时间注视前方时，可以使用较小的虚拟影像进行训练。训练程序可以记录训练期间检测到的所有相关数据并产生训练报告。所有相关的训练数据和报告都可以远程上传到诊所或医院的信息系统，用以供医生诊断。

本发明的系统100还可进一步包括反馈模块150，该反馈模块150被配置为当观看者的瞳孔距观看者的眼睛中心超过预设度数(例如0.5度)时，根据来自眼睛的眼睛信息向观看者提供反馈。换句话说，当观看者的眼睛不再直接注视前方并且观看者眼睛的视轴不垂直于观看者的正面平面时，反馈模块150可以提供声音和/或视觉反馈及引导观看者的瞳孔回到眼睛的中心。视觉导引包括指示观看者眼睛运动方向的视觉指示器，例如显示观看者瞳孔应该运动方向的闪烁箭头。这样的视觉导引可以由虚拟影像显示模块120显示。声音导引包括声音反馈以指示观看者眼睛的移动方向，这可以由扬声器执行。

本发明的系统100还可进一步包括界面模块160，其允许观看者控制系统100的各种功能。界面模块160可以通过语音、手势、手指/脚部运动以及踏板、键盘、鼠标、旋钮、开关、触控笔、按键、游戏杆、触摸屏等形式来操作。

如图7A-图7D所示，除了光引擎175包括眼动追踪模块110、虚拟影像显示模块120、眼底视野测量仪模块130和处理模块140之外，可携式系统100还可进一步包括框架170，框架170包括底座171、下巴支架172、前额托173和平板连接器174。下巴支架172的高度是可以调整的。前额支架173的相对位置可以朝向或远离观看者调整。在一个实施例中，具有框架170的系统100的尺寸约为50-65cm(高)、30cm(宽)和30cm(深)。此外，在一实施例中，具有框架170的系统100的重量约为3公斤。

经本发明的可携式系统100训练观看者眼睛的替代视网膜位置以进行注视后，观看者可以使用辅助系统200将对应于目标物体的虚拟影像投影到眼睛上来改善观看者的视网膜受损眼睛的视力，及训练视网膜受损者眼睛的替代视网膜位置。如图8所示，用于改善视力的辅助系统200包括影像撷取模块210、处理模块220和虚拟影像显示模块230。影像撷取模块210被配置为接收多个影像像素和目标物体205的对应深度。在一个实施例中，影像撷取模块210撷取观看者双眼前方的直视视野作为目标物体。换言之，影像撷取模块210的视角垂直于佩戴辅助系统200的观看者的正面。处理模块220产生与目标物体相关的虚拟影像的信息。虚拟影像显示模块230根据虚拟影像的信息，将虚拟影像显示在视网膜受损者的眼睛上。对于黄斑部受损的观看者，特别是中央凹及其邻近区域，例如老年性黄斑部病变(AMD)患者，虚拟影像显示模块230可以在观看者眼睛的替代视网膜位置的中心处而不是在中央凹的中心处投射虚拟影像。对于在视网膜的视野外围区域有受损的观看者，例如青光眼患者，虚拟影像显示模块230在仍还健康的黄斑部中心区域的中心处投射虚拟影像，包括中央凹及其邻近区域。在这种情况下，如图9A-图9C所示，可以将虚拟影像缩小，因为在可以接收和回应光信号的中心区域中仍还健康的视网膜部分会更小。如此，具有相同视野的缩小的虚拟影像虽然尺寸更小，但会被感测为目标物体最初是由影像撷取模块210拍摄所得的。图9A是图解说明观看者的健康眼睛所感知的视图。图9B是图解说明青光眼患者的眼睛感知的视图。图9C图解说明当虚拟影像显示模块230将目标物体的缩小的虚拟影像投影到视网膜受损者眼睛的中央凹区域时，青光眼患者的眼睛所感知的视图。为了避免观看者的眼睛从环境中接收到的自然光中断，辅助系统200可以减少或阻止自然光进入视网膜受损者的眼睛。如此，视网膜受损者的眼睛将主要或几乎仅感知到由虚拟影像显示模块230投射的虚拟影像。视网膜受损者眼睛感知的虚拟影像和观看者另一只健康眼睛感知的真实影像可能至少部分融合到一张影像中。当观看者的每只眼睛都有受损的视网膜并分别从虚拟影像显示模块230接收到虚拟影像时，也可以发生双眼视像融合。

本发明的改善视力的辅助系统200还可进一步包括眼动追踪模块240和界面模块250。类似于训练系统100中的眼动追踪模块110，辅助系统200中的眼动追踪模块240可以被配置为追踪观看者的一只眼睛或两只眼睛，并提供相关的眼睛信息，如眼球运动、瞳孔位置、瞳孔大小、注视角度(视角；视轴)和观看者眼睛的会聚角。眼动追踪模块240还可进一步包括照摄影机242、244，以根据观看者的一只或两只眼睛的注视来确定目标物体。观看者可控制辅助系统200的各种功能的界面模块250。界面模块250可以通过语音、手势或手指运动及以踏板、键盘、鼠标、旋钮、开关、触控笔、按钮、游戏杆、触摸屏等来操作。

如图10所示，辅助系统200还包括可佩戴在观看者头部上的支撑结构260。影像撷取模块210、处理模块220、虚拟影像显示模块230(包括第一光信号产生器10、第一合并器20，甚至第二光信号产生器30、第二合并器40是由支撑结构承载。在一个实施例中，辅助系统200是一种头戴式设备，例如虚拟现实(VR)护目镜和扩增实境(AR)/混合实境(MR)眼镜。在这种情况下，支撑结构可以是眼镜的附镜片或不附镜片的框架。镜片可用于矫正近视、远视等的处方镜片。此外，眼球追踪模块240、界面模块250也可以由支撑结构承载。

影像撷取模块210包括至少一个RGB摄影机212以接收目标物体的多个影像像素，即目标影像。在另一实施例中，影像撷取模块210可进一步包含至少一深度摄影机214以接收多个影像像素的对应深度。另外，影像撷取模块210可以包括定位元件以接收多个影像像素和目标物体的对应深度。为了测量目标物体和环境的深度，深度摄影机214可以是飞时测距摄影机(ToF摄影机)，它采用飞行时间技术来解决摄影机和物体之间每点的距离。通过测量由激光或LED(如LiDAR)提供的人造光信号的往返时间来获取影像。ToF摄影机可以测量从几厘米到几公里的距离。其他设备，例如结构光模块、超声波模块或红外模块，也可用作深度摄影机来检测目标物体和环境的深度。

为了将对应深度的信息合并到多个影像像素中，以得到更准确的目标物体的坐标及形状，进行了调整过程。多个影像像素为目标物体的每个特征点提供二维坐标，例如XY坐标。然而，这样的二维坐标并不准确，因为其中并未考虑到深度。因此，如图11A-图11B所示，影像撷取模块210可以将包括多个影像像素的RGB影像与深度图对齐或重叠，使得RGB影像中的特征点叠加到深度图上的对应特征点上，从而获得每个特征点的深度。RGB影像和深度图可能具有不同的清晰度和大小。因此，在如图11B所示的实施例中，可以剪掉不与RGB影像重叠的深度图的外围部分。特征点的深度用于从RBG影像中校准XY坐标，以得出真实的XY坐标。例如，一个特征点在RGB影像中具有XY坐标(a，c)，在深度图中具有z坐标(深度)。真正的XY坐标为(a+b*深度,c+d*深度)，其中b和d是校准参数，符号“*”代表相乘运算。因此，影像撷取模块210利用同时撷取的多个影像像素及其对应的深度，分别调整目标物的横坐标与纵坐标。

处理模块220可以包括处理器和存储器，以产生与目标物体相关的虚拟影像的信息。此外，处理模块220可以作为辅助系统200的其他模块(例如影像撷取模块210和虚拟影像显示模块230)的计算中心。为了产生虚拟影像的信息，来自观看者受损视网膜的眼睛的目标物体的视角和其他3D相关效果，例如红色、蓝色和绿色的强度和亮度以及阴影可以列入考虑。

类似于本发明的可携式训练系统100中的虚拟影像显示模块120，本发明的视觉辅助系统200中的虚拟影像显示模块230包括第一光信号产生器10和第一合并器20，用于投射虚拟影像到有视网膜受损者的眼睛中。虚拟影像显示模块230还可进一步包括第二光信号产生器30和第二合并器40，用于观看者的另一只眼睛也可能受损的视网膜或健康的视网膜。以上关于第一光信号产生器10和第一合并器20的描述适用于第二光信号产生器30和第二合并器40。同样，对于黄斑部中心区域受损者，特别是中央凹及其邻近区域，例如作为老年性黄斑部病变(AMD)患者，第一光信号产生器10根据来自处理模块220的信息为虚拟影像产生多个第一光信号。第一合并器20将来自第一光信号产生器10的多个第一光信号重新导向到替代视网膜观看者眼睛的位置，而不是受损的中央凹及其邻近区域，以显示虚拟影像的多个第一像素。对于在其视野的外围区域具有受损视网膜的观看者，例如青光眼患者，第一光信号产生器10根据来自处理模块220的信息为虚拟影像产生多个第一光信号。第一合并器20将来自第一光信号产生器10的多个第一光信号重新导向到仍还健康的黄斑部中心区域，包括中央凹及其邻近区域。

如上所述，虚拟影像显示模块230，例如通过调整合并器20、40，可以透过不同的光路将形成虚拟影像的光信号投射到替代的视网膜位置或较佳的感测位置，例如中央凹及其邻近区域。通常，形成虚拟影像的光信号可以大致透过瞳孔的中心部分、瞳孔的右侧部分、瞳孔的左侧部分投射出去。在一个实施例中，形成虚拟影像的光信号被投射通过瞳孔的大致中心部分，以避免虚拟影像的任何部分受到遮挡，因为瞳孔的尺寸会由于强环境光而变小。

为了减少或阻挡来自环境的自然光，在需要时第一合并器20和第二合并器40的透明度可以自动地或通过界面模块250由观看者来调整。在另一个实施例中，本发明的辅助系统200可以进一步包括遮光器以减少或阻止来自环境的自然光进入观看者的眼睛。

除了红光激光、绿光激光和蓝光激光之外，第一光信号产生器10和第二光信号产生器20的光源11、21还可进一步包括IR(红外线)激光，如微脉冲发生器，产生低功率、高密度的电磁波，波长约为532nm、577nm或810nm，辐射到观看者的视网膜，达到按摩作用。在一个实施例中，以810nm红外光辐射到观看者的视网膜上。在这种电磁波的辐射下会产生热休克蛋白(HSP)。HSP可以帮助重新激活视网膜中的细胞，从而减缓老年性黄斑部病变。此外，由于红外光是一种对人眼看不可见的光，因此当光源11、21的红、绿、蓝激光产生要投射到观看者视网膜上的虚拟影像时，红外光可以同时辐射到观看者的视网膜上。因此，红外光不会干扰由红、绿、蓝光信号组成的虚拟影像。另一方式，红外光可以在两个连续影像帧之间投射出去。

如图3所示，必须监测和控制用于辐射观看者视网膜的红外光的强度，以避免对视网膜造成损害。透镜310用于收集从观看者眼睛反射的红外光，以供IR光传感器320测量其强度。当强度太低时，使用光电倍增管(PMT)330来增强度信号。IR强度控制器340用于确定IR激光二极管14的强度是否需要调整。如果需要调整，IR强度控制器340会向第一光信号产生器10发送信号请求调整。

在另一个实施例中，光信号产生器10、30的光源11、31还可进一步包括光发生器，其提供具有特定波长的光以激活光门控离子通道作用的紫红质蛋白(Channelrhodopsins)，从而对有视网膜色素变性(RP)病人进行辅助治疗。这种临床治疗首先由RetroSense Therapeutics公司开发，该公司是一家生物技术公司，开发色素性视网膜炎(RP)导致失明的患者的视力的增强的基因疗法。色素性视网膜炎(RP)是一组遗传性疾病，其病征是周边视力丧失和夜视困难，在许多情况下最终会导致中心视力丧失和失明。色素性视网膜炎RP通常在青少年和年轻人中发生。

本发明的训练系统100或辅助系统200中的所有元件可以由一个模块专门使用或由多个模块共享以执行所需的功能。此外，本说明书中描述的两个或多个模块可以由一个物理模块来实现。本说明书中描述的一个模块可以由两个或多个单独的模块实现。外部服务器不是辅助系统200的一部分，但可以为更复杂的计算提供额外的计算能力。上述每个模块与外部服务器可以通过有线或无线方式互通。无线方式可以包括WiFi、蓝牙、近场通信(NFC)、互联网、电信、射频(RF)等。

说明书中描述的实施例提供了本技术各种可能及非限制性的实施例。在阅读本说明书内容后，本领域普通技术人员将认识到可以对这里描述的实施例进行改变而不脱离本技术的范围。必须加以强调的是上述的详细说明是针对本发明可行实施例的具体说明，然而该实施例并非用以限制本发明的范围，凡未脱离本发明技艺精神所为的等效实施或变更，均应包含于本案的保护范围中。

Claims (30)

1.一种用于在视网膜受损观看者的眼睛上训练一替代视网膜位置的可携式系统，包括：

一眼动追踪模块，提供观看者眼睛的眼睛信息；

一虚拟影像显示模块，用于在该观看者眼睛上的该替代视网膜位置的中心处而不是在中央凹的中心处显示一虚拟影像，包括：

一第一光信号产生器，为该虚拟影像产生多个第一光信号；

一第一合并器，当观看者眼睛的瞳孔大致位于该观看者眼睛的中心时，根据来该自眼动追踪模块的眼部信息将来自该第一光信号产生器的多个第一光信号重新导向到观看者眼睛的该替代视网膜位置，以显示该虚拟影像的多个第一像素。

2.如权利要求1所述的可携式系统，其中选择该观看者眼睛上的该替代视网膜位置以促进双眼视像融合。

3.如权利要求2所述的可携式系统，其中根据视觉功能和该替代视网膜位置的高度来选择该观看者眼睛上的该替代视网膜位置。

4.如权利要求3所述的可携式系统，其中选择该观看者眼睛上的该替代视网膜位置，以便获得更接近该观看者另一只眼睛的较佳感测位置的一第二高度的一第一高度。

5.如权利要求2所述的可携式系统，其中选择该观看者眼睛上的该替代视网膜位置使其位于中央凹的外侧。

6.如权利要求1所述的可携式系统，其中该观看者眼睛上的该替代视网膜位置具有以该观看者眼睛一标记为基准的一坐标。

7.如权利要求6所述的可携式系统，其中该观看者眼睛的标记是观看者眼睛的视神经头。

8.如权利要求1所述的可携式系统，进一步包括：一反馈模块，用于当该观看者眼睛的瞳孔偏离该观看者眼睛中心超过一预设度数时，根据来自该眼动追踪模块的眼睛信息提供反馈。

9.如权利要求8所述的可携式系统，其中该反馈包括一声音导引或一视觉导引。

10.如权利要求9所述的可携式系统，其中该视觉导引包括一视觉指示器，用于导引该观看者眼睛的运动。

11.如权利要求9所述的可携式系统，其中该声音导引包括一声音反馈，以指示该观看者眼睛的移动方向。

12.如权利要求1所述的可携式系统，其中该第一合并器经由该观看者眼睛瞳孔的大约中心处，将多个第一光信号重新导向到该观看者眼睛上的该替代视网膜位置。

13.如权利要求1所述的可携式系统，其中该第一光信号产生器包括一激光光源。

14.如权利要求1所述的可携式系统，进一步包括：一处理模块，用于为该虚拟影像显示模块产生虚拟影像信息或执行一训练计划。

15.如权利要求14所述的可携式系统，其中该训练计划不包括该观看者眨眼进入一预设训练时间的时间段。

16.如权利要求1所述的可携式系统，进一步包括：一可调节高度的下巴支架。

17.如权利要求1所述的可携式系统，其中该虚拟影像是一绿色的十字。

18.如权利要求1所述的可携式系统，其中该可携式系统的重量小于三公斤。

19.一种用于改善视网膜受损观看者视力的系统，包括：

一影像撷取模块，用于接收一目标物体的多个影像像素；

一处理模块，用于产生与该目标物体相关的一虚拟影像的信息；

一虚拟影像显示模块，根据该虚拟影像的信息，在该观看者眼睛上的一替代视网膜位置的中心处而不是在中央凹的中心处显示该虚拟影像，包括：

一第一光信号产生器，为该虚拟影像产生多个第一光信号；

一第一合并器将来自该第一光信号产生器的多个第一光信号重新导向到该观看者眼睛上的该替代视网膜位置，以显示该虚拟影像的多个第一像素。

20.如权利要求19所述的系统，其中选择该观看者眼睛上的该替代视网膜位置以促进双眼视像融合。

21.如权利要求20所述的系统，其中根据视觉功能和该替代视网膜位置的一高度来选择观看者眼睛上的该替代视网膜位置。

22.如权利要求21所述的系统，其中选择该观看者眼睛上的该替代视网膜位置，以便获得更接近该观看者另一只眼睛的较佳感测位置的一第二高度的一第一高度。

23.如权利要求20所述的系统，其中选择该观看者视网膜上的该替代视网膜位置使其位于中央凹的外侧。

24.如权利要求19所述的系统，进一步包括：一眼动追踪模块，用以提供该观看者眼睛的眼睛信息。

25.如权利要求19所述的系统，其中该眼动追踪模块根据该观看者的一只或两只眼睛的注视位置来确定注视的一目标物体。

26.如权利要求19所述的系统，其中该第一合并器经由该观看者眼睛瞳孔的大约中心处，将多个第一光信号重新导向到该观看者眼睛上的该替代视网膜位置。

27.如权利要求19所述的系统，其中该观看者一只眼睛接收到的该虚拟影像与该观看者另一只眼睛接收到的真实影像为部分融合。

28.如权利要求19所述的系统，其中减少或阻挡环境里的自然光进入该观看者的眼睛。

29.如权利要求19所述的系统，其中该虚拟影像的信息是根据视网膜受损者眼睛的一视角产生。

30.如权利要求19所述的系统，进一步包括：

可佩戴在观看者头上的一支撑结构；其中该支撑结构系承载影像撷取模块、该处理模块及该虚拟影像显示模块。

Images