CN110770636A - 具有矫正视力缺陷、增强视力和感知能力的可穿戴图像处理和控制系统 - Google Patents

Abstract

一种可穿戴式图像处理系统，包括相机输入系统，图像投影系统，其中图像投影系统能由用户佩戴，以及与相机输入系统和图像投影系统通信的处理器，使得处理器能从相机输入系统接收图像，修改图像以产生修改后的图像，并且在图像投影系统上显示修改后的图像。相机输入系统可包括其上安装相机的接触镜。另外或作为选择，系统可跟踪用户眼睛的运动，以用相机输入系统精准地捕获用户看的地方。

Description

具有矫正视力缺陷、增强视力和感知能力的可穿戴图像处理 和控制系统

相关申请的交叉引用

本申请基于2017年4月25日提交的美国临时专利申请No.62/489,801和2018年4月25日提交的美国实用新型专利申请No.15/962,661且要求其优先权。本申请也是2016年3月17日提交的美国专利申请No.15/073,144的部分继续申请，该美国专利申请于2018年5月1日作为美国专利No.9,955,862公开且要求于2015年3月17日提交的美国临时专利申请No.62/134,422的权益。所有这些通过引用结合于此。

技术领域

本发明一般涉及增强现实(AR)眼镜的改进，包括将这种眼镜用于医疗目的，用于矫正视力缺陷，更具体地涉及一种系统和方法，用于补偿视力缺陷、检测视觉缺陷、捕捉图像、修改图像以矫正视力缺陷、显示用于该矫正的修改图像，以及用于修正验光眼镜否则会起到的作用。本发明还包括与本发明相关的新的硬件和软件应用，包括智能接触镜的应用。

背景技术

黄斑变性(AMD)、黄斑裂孔和其它FOV(视场)视场相关的失明或视力缺陷状况，例如中央黄斑疤痕、组织胞浆菌病、晚期青光眼、黄斑变性病、中心性浆液性视网膜病、近视性黄斑变性、糖尿病性黄斑水肿、膀胱ID黄斑水肿、黄斑裂孔、黄斑萎缩、中央黄斑疤痕、组织胞浆菌病、黄斑裂孔、前缺血性视神经病变和视网膜色素变性，通常是不可逆的。丧失部分视力对患者生命的影响是巨大的，包括丧失阅读、看电视和看电脑屏幕的能力。有些状况是可以停止的，幸运的是留下一些完整的视力，在黄斑裂孔或黄斑变性的情况下，周边视力保持完整；而在视网膜色素变性的情况下，周围视力丧失，只有“管状视力”仍然存在。在每一种情况下，通过像素处理和真实世界的视觉信息来增强投影图像，“混合现实”可以帮助患者恢复部分或全部视力。

以前曾尝试增强视力有缺陷或受损患者的视力，或以其他方式补偿患者受损(damaged)或受损(impaired)视力。例如，以前的工作集中在增加患者视力的强度或对比度的设备上和/或增加患者戴虚拟现实护目镜时所看到的图像的放大率，从而阻挡所有其他外部视力。这些尝试效果不佳，体积庞大，价格昂贵，只出现在身临其境、闭塞的虚拟现实(VR)类型的观看环境中，这意味着患者现有的真实世界视力受到限制，患者只能看到投影在显示器上的东西，而其他一切都被屏蔽了。因此，使用这些VR型护目镜的专利失去了看清楚周围的实际情况的能力或者他或她具有的任何保留的视力。这是个缺点，因为佩戴VR型护目镜和一些AR眼镜的人使用机械地必须限制外围视场的波导，不能完全了解如何在其环境中移动、行走或导航步骤或围绕他或她的直接环境，从而当坐下来或保持静止时显示器是仅有可能有用的。这使得任何用户都必须将护目镜从他们的眼睛中移除，才能从真实的环境中接收到实际的视觉线索；这是这种类型应用的严重限制。这些类型的VR护目镜或AR眼镜的另一个限制是它们与一个人可能看到的真实世界没有准确的联系，因为视场太小，而戴着这类VR护目镜的患者可能会因为模糊不清、漩涡和潜伏期而患上对现实世界视力的晕动。

由于视网膜内的外周感受器通常仍在运作，因此，本发明的目的是，在医学上应用AR眼镜的一个实施例中，伸展、倾斜和处理投射在眼睛上的图像，以避开黄斑，并指向视网膜的周边感受器。这样，整个图像被投射到正常的视网膜感受器上，避开了黄斑的任何介入。本发明所教导的方法是如何创建整个图像的矩阵失真，并将其投射到眼睛周围，而避开黄斑。

然而，通过硬件、软件和固件的组合，如这里所教导，患者使用“透过”眼镜或透镜，可提供广阔的视场，并可在其上显示一幅增强的影像，患者可同时拥有真实世界及增广的视觉信息，以矫正眼睛所受的视力缺陷。这是对现有技术的改进，也是一项新的“混合现实”可穿戴发明。

在本文的教导下，视觉受损的患者可以同时引入真实的世界视觉信息和增强信息，使得两个单独的输入一起提供“混合现实”视觉。这可以在这里所教导的几乎没有延迟的情况下实现，从而增强了用户/患者的剩余真实世界体验的视力。根据这项专利，患者仍然可以用他们的周边视力看到一些真实世界的视觉信息，这样患者就可以移动、行走和导航他或她周围的环境，而这正是该专利所能提供的保证和安全，同时也依赖于增强像素/图像移动视频馈送的增强现实。

本发明针对于解决上面给出的一个或多个问题。

发明内容

通常，在第一方面中，本发明涉及一种视力矫正可佩戴装置，在其优选实施例中，使用混合现实类型的眼镜/透镜与新的软件和硬件，以达到预期的效果。这项专利教导如何处理图像或视频，以避开无视力区域(unsighted areas)，如导致黄斑退化或黄斑裂孔的受损区域，并将图像投射到眼镜透镜上能够被眼睛的下一个最接近视力区域观看的区域。它还教导将这样的增强视频合并成真实的世界图像，这些图像可以在没有视频的真实世界图像旁边被观看，通常，裸眼的外围。它还教导在矫正中心视力的同时矫正近视和远视。

必须记住的是，整个视网膜是光线和颜色敏感的组织，排列在眼睛的内部。因此，视网膜的工作方式类似于相机中的胶片，因此本发明通过使用外部相机和显示器以及眼睛的自然视觉，向患者提供了一种增强的混合现实的视觉二元性，补充了视网膜的相机效果。因为重要的是使扩增的视频或图像尽可能多地命中很多圆锥体，所以分辨率越高越好。此外，本发明的优选实施例将涵盖至少50度的视场(FOV)或更大的显示器。尽管，本发明也用较小的FOV工作。

因此，在本发明的一个方面中，要显示的图像覆盖整个120度的正常视力，而在本发明的另一个方面中，图像显示在90度、80度或50度FOV上。处理视频显示器的FOV越大，真实世界在眼睛的视觉上的重新融合就越好。

要显示的图像旨在显示在混合现实眼镜、护目镜或其它显示技术的全部或部分透镜上，其中既有视频也有正常视力。

视觉二元性的一部分是患者所看到的现实世界的视觉，在那里没有增强的修改视频，通常是在眼镜透镜的边缘，除此之外，是简单的用户自己的不受限制的视觉。视觉二元性的另一部分是增强的、修改过的视频或图像，这是典型的，在黄斑变性的情况下，它通常聚焦于眼睛中最接近中心视力的部分，将被处理的像素和图像集中在仍能看到的区域上，并避开那些无视力的区域。这些共同构成了混合现实增强的现实视觉，有助于矫正眼部疾病(如黄斑变性)的缺陷(所有这些眼部疾病有时被称为“缺陷”或“缺失”)。

在其自然状态下，眼睛中的光学元件利用透镜将一幅图像聚焦到眼睛的视网膜上，在视网膜内引发一系列化学和电事件。视网膜内的神经纤维接收这些信号并向大脑发送电信号，然后大脑将这些信号解译为视觉图像。事实上，我们所有人都“看到”一幅倒置的图像，因为眼睛通过镜头将图像弯曲，而大脑具有独特的“直立”能力，在大脑中实现了自然模拟。本发明使用大脑创造的这种自然的“模拟”来“看到”整个画面或视频，而不丢失任何部分，而实际上，透镜中有一部分是不显示图像的。

因此，本发明还采用了自然盲点、暗点或色斑背后的“脑缝合”理论，这些自然存在于每个人的眼睛中。这种自然出现的“洞”是视场中的位置，对应于视网膜视盘上缺少光检测感受器细胞，其中视神经穿过视盘。因为视盘上没有细胞来探测光，所以眼睛的这部分视场(FOV)自然地以肉眼看不到的形式出现，在那里无法捕捉到任何视觉信息。然而，长期以来，人们已经认识到，我们大脑中的某些过程根据周围的细节和来自同一只眼睛或另一只眼睛的信息，插入盲点，然后用非常相似的视觉信息“填充”盲点，以至于我们通常感觉不到盲点。

本发明告诉我们，通过将图像或视频的像素或图像从有缺陷的黄斑的一个无视力部分移除和置换到仅在黄斑受损部分周围的区域，大脑将将该图像解译为一个整体，并排除实际空洞以切割成图像或视频。计算软件和芯片创建了一幅修改后的相机生成的显示图像，通过不将任何视频或图片投影到无视力区域，而将整个图像或视频显示在所有剩余的视力区域，从而纠正视网膜中丢失的黄斑部分。

本发明发现了一种矫正黄斑变性等缺陷的新概念，该概念假设并使大脑缝合/自然脑模拟理论成为可能。已经在一位著名的患者身上得到了证实，Brig.Gen.Richard C.“Dick”Freeman(U.S.A.F.Ret.)(布里格.理查德C.“迪克”费里曼将军(美国空军)(Ret))，他是本发明的发明人之一，也是首先发明流式移动视频的发明人之一。弗里曼将军患有黄斑变性，使用这项发明及其增强装置时，他可以立即“看到”脸上的鼻子，由于黄斑变性，已经有好几年看不到了。在他的例子中，大脑缝合是即时的，不需要被大脑“学习”。

因此，在本发明的一个实施例中，有多达四个不同的“阶段”的视觉图像用户将体验。这四个阶段本文称为图像处理技术(IMT)。实际上，本发明的工作范围小于这四个，但最适合的涉及这四个的全部。例如，使用虚拟现实护目镜，只有第一和第二阶段是必要的。这两个步骤可以应用于混合现实和增强现实硬件。然而，参见优选的实施例，说明了这四个阶段的示例。

图像处理技术的第一阶段是将形状和大小各异的“空洞”，效仿成尽可能接近用户/患者自身的缺陷，通过软件技术将其“切割”成图像或视频以显示到供眼睛观看的透镜。这里，在该第一阶段中，没有视频或图像显示，除了用户通过肉眼和现有的缺陷可能看到的。

第二阶段IMT是包含像素映射、插值和合成的增强现实视频显示。这是视频或图像已经“切除”的像素被重新定位到眼睛最近的相邻区域的区域。这些像素和子像素被重新定位在眼睛的缺陷区域周围的区域上，而大脑，就像盲点的情况一样，在“空洞”中填充了添加到周围区域的视觉信息。在本发明的另一个实施例中，图像通过视网膜投影等技术直接显示在眼睛上。再者，在本发明的另一个实施例中，通过智能接触镜直接在眼睛上显示，可在覆盖眼睛的接触镜上创建显示器。

当然，这种对像素或图像的处理，无论是对图片还是视频，自身都呈现了超过100％的视觉信息，这些信息必须立即显示在眼睛的相邻区域。在100％屏幕上显示超过100％的图像或视频的一种方法是交错视频，而不是让它逐步显示，其中在一次扫描上显示原始图像，并在可选扫描上显示重新定位的像素。在另一个实施例中，对图像进行简单的缩减。这是必要的，因为一部分的图像或视频已经在软件中“切除”且在下一个相邻的空间重新定位眼睛中的缺失。在另一个实施例中，将超过100％信息进行置换和替换的方法是通过像素映射和替换来完成的。该像素映射和替换发生在相机已经获取图像或视频并开始缓冲之后。这种处理通常发生在微电路的中央处理单元(CPU)中；更具体地说，发生在图形处理单元(GPU)中，有时称为视觉处理单元(VPU)。这些GPU“芯片”是专门设计的电子电路，用于快速地操作和压缩/解压视频和改变存储器，以加速在帧缓冲器中创建图像，旨在输出到显示装置。速度是这里的关键，因为任何延迟都会在对眼睛的显示上显现出来。有了适当的软件，大多数现代GPU可以配置成从图像或视频的采集、像素的处理到视频的显示只有1毫秒的延迟，在显示上眼睛可以很容易地容纳和吸收，具有很小的影响或没有影响。然而，为了完成所需的视频压缩和操作，可能需要使用CPU和GPU这二者且起分离和ASIC的作用，这是一个专用集成电路，可以用于帮助组合必要的CPU和GPU功能。然而，CPU和GPU协同工作以完成任务，并且可能需要电路或电路板上的其它部分来充分执行任务，例如电容器、电阻器、输入/输出连接器、电路等。

应认识到，在很多情况下，因为缺陷区域通常不是以标准形式表示的，如椭圆形或圆形，所以也必须有算法立即测量一个像素必须移动多远才能向上、向下、向左侧或右侧移动，或横向地从该像素所在的原始区域移动。因此，可以从缺陷区域(非视力)进行测量，以确定哪种方式移动像素，向上，向下，向左或右侧，或横向，如左上或右下。软件和算法可以编程以将像素移到有视力的最接近原始位置，无论需要哪种移动方法。因此，图像的两个像素或部分，在任何轴上向上/向下、斜向或横向上完全相邻，可以以一种方式移动到一起，或者，如果图像的一个像素或部分靠近一个边界而不是另一个边界，则该像素可以被分割成一个像素或图像到其最近的边界，而另一个像素则被分割到其最近的边界，这是矫正子像素映射和修改的本质。

切割“空洞”和重新定位视频或图像可以主要通过将像素拉伸到比原始捕获的图像更大的整体区域(即100°延伸到120°整体空间，但中心10°被切除)来完成。在该方法中，所有像素仍在那里，大小和形状与最初被相机捕获和缓冲的像素相同，但远边缘边界已被扩展或修剪。该方法适用于虚拟现实护目镜，但对混合现实技术的改进效果不佳。因此，混合现实矫正眼镜(MRCG)的首选方法是使用像素映射、插值和合成(PMIs)。根据这种方法，要避开的显示区域中的像素被实时地或近实时地映射，无论有没有到缓冲器，软件算法保持图像的相同形状，但将像素的大小缩小到子像素，例如，在4个像素上显示的图像现在显示在3个、2个或仅1个像素上。最终显示具有所有的可视信息，只使用较少的像素和子像素来显示。在这种方法下，根据软件实现和缺陷的形状，将像素降为子像素，并将其移动到视频中。这样，被移动的像素和图像就不一定需要像椭圆形或圆形那样有一个特定的“边界”，但是，不管这些缺陷区域是如何不规则，像素可以从任何缺陷区域中移除，并且重新定位到刚好相邻的可见区域。因此，这个想法不仅仅是创建边界，而是将图像或视频像素逐个从看不见的缺陷区域移出，移到离该无视力区域尽可能近的另一个位置，而剩下的图像也同样被转换，以便为移除和替换的像素和图像腾出空间。因此，所要避开的区域可能是非常不规则和复杂的，这没有什么区别，因为一旦映射，像素就从没有视线的空间中被移除，并且尽可能地放置在像素地图上的位置附近，在这里被描述为子像素映射和放置。

这里使用的像素是感知空间，其中子像素映射是最近发展起来的一种技术，涉及到获取和映射覆盖混合像素范围内的区域的空间分布信息，然后在较小或不同的尺度上重新定位它们。见图25。算法可以应用于像素映射的视频或图像内容，并且图像从视频中的一个位置移动到另一个位置，其中形状可能不是像圆形或椭圆形那样的均匀形状。在某些情况下，像素或子像素必须“失真”，才能将100％的图像包含在100％的显示空间中。在这种情况下，像素或图像呈现的形状不是典型的像素方块，而是除了正方形以外的形状，通常更像四面体或多面体，或者像三角形或平行四边形的形状。

在该方法下，建立基于每个像素的分类，然后以像素/子像素格式进行重构，以实现子像素映射以进行修改。通过应用已知的像素和子像素映射技术以及发明人在这里发明的技术，可以通过增强像素/子像素处理和拼接来显示图像或视频，从而使整个图像存在，而不是像最初分配的相机输入那样出现在原始位置。

接下来是第三阶段，通过“拼接”或类似技术将视频回到现实视频中，这些技术用于将第二阶段和第三阶段逐步合并在一起，第二阶段是“逐步淘汰”，而真实世界捕捉到的视频的第三阶段占据主导地位。在该第三阶段中，直接的相机输入是一个阶段性的重新参与现实世界的投影图像。在第三阶段中，第二阶段图像处理技术与第三阶段图像处理技术相结合，逐步淘汰100％像素处理。该第三阶段以另一种方式工作，以将图像或视频重新引入，返回到相机实际获取的100％作为图像。然而，在这一阶段，视频可能仍然被处理，以便矫正视线(针对眼睛所看到的与相机拍摄的图像)，并纠正眼睛向内移动和向外/直线移动的空间几何架构效应。

该第三阶段的软硬件拼接类似于3D视频拼接软件中常用的技术。这是在第三阶段，增强的视频然后返回到一个未经修改的视频，用户将实际“看到”，是否相机是投影和显示原始的，未经修改的视频或图像。这个“原始”视频被投影或显示在视网膜、接触镜或眼镜透镜上，其中只有一部分视场用于第一至第三阶段，其余的显示区域则保留在第四阶段视频中，在那里，眼睛和大脑可以将其与第四阶段外部的真实世界视觉合并。

此外，第四阶段是用户用他或她的周边视觉看到真实世界，或者通过镜头看到，或者在镜头之外，不显示视频。这一阶段还包括任何额外的外围视觉，它存在于眼镜、透镜、接触镜或视网膜投影之外，并为用户提供更多的真实世界的探索和图像。

因此，通过使用一至四个阶段，用户体验四个不同的图像集合，所有这些图像集合通过大脑的自然模拟合并以创建一个对缺陷进行矫正的混合真实世界的视图。因此，在通过眼镜观看的显示器上，投射增强的视频，其可以大到30-50度或更大的视场。这可取决于缺陷类型和矫正量而更大或更小。在透镜上增强视频显示器的外部显示了眼睛通常看到的视频，但是在增强视频的同相/异相(phase-in/phase-out)中被增强。

在本发明的另一个实施例中，植入的透镜或多个透镜，类似于植入的人工晶状体，通过将像素转移离开黄斑的受损区域来执行部分或全部像素操作。这可以用双透镜进行，如用于视力受损患者的人工晶状体中使用的双透镜(IOLVIP或IOL-VIP)，该人工晶状体系统是一种眼内透镜系统，其目的是治疗由于年龄相关性黄斑变性而具有较差的中心视力的患者。IOLVIP过程涉及一对透镜的手术植入，使用伽利略望远镜的原理来放大和转移图像。通过排列透镜，可以将图像引导到眼睛的与中央凹不同的部分。这样，眼镜、镜框和头盔(GFH)和外部显示器将被计算成与植入的透镜协调，以剔除通常在缺陷存在的地方显示的图像，并在显示器上投射出完整的图像，然后被植入的透镜转移且成为一个完整的图像。这与现在使用的IOLVIP透镜不同，其仅承载实际图像信息的一部分。

另外，在一个实施例中，本发明包括一种系统，具有数据库、CPU、模型控制器、相机取向器、显示控制器和显示单元。该模型控制器可以是硬件、固件、软件、存储器、微控制器、状态机或上述任一项的组合，耦合到数据库并且被配置为建立对与患者的视觉缺陷相关联的视觉模型的参考；然后一个或多个相机拍摄实际图像的图片或视频，并且软件对患者的视觉缺陷进行矫正，然后显示已经针对患者的视觉缺陷矫正的矫正/修改的图像。

本发明的发明内容中，一个或多个相机和透镜能够帮助患者识别一个或多个他或她的视力损害边界，然后将该信息传送到视觉修改程序中，该程序增强取代视频和图片图像的所显示视频，以取代视力受损边界内的图像部分，并将其替换到最近的视力区域。在本发明的一个实施例中，视觉修改程序还重新引入相机输入系统(CIS)捕获的真实的世界图像，从而在透镜上显示增强的视频段，其中增强视频片段被分阶段返回到真实世界、未修改的视频，使得所显示的系统的“边缘”与眼睛所看到的真实世界视觉同步或接近同步。本发明还包括一种将修改后的视觉模型存储在数据库中并将其投影到显示器上的方法。本发明还包括诊断损害映射(DIM)系统和方法，用于捕获关于眼睛缺陷的区域和位置的信息。这方面的一个示例是绘制一个黄斑变性已经发生的区域，很少或没有视力或视力残留的区域。矫正后的视觉模型包括与患者视觉质量有关的数据，以及对图像和/或像素或视频的其他视觉部分或记录的一个或多个图像的操作，一个或多个图像矫正了患者的视觉缺陷。在一个实施例中，矫正后的图像不是像素的操纵，而是软件/固件中像素的映射，包括通过将图像重新定位到其它像素或像素的子集上来矫正患者的视觉缺陷的步骤，所述其它像素或像素子集然后被投影到眼睛的近视区域上，从而显示整个图像或视频，但是眼睛中有缺陷的部分没有图像/视频投影。如此处所用，当文字或术语图片、图像或视频被使用时，它将意味着所有或任何一个相同的内容。

附图说明

参考以下附图描述本发明的非限制性和非穷举性实施例，其中除非另外说明，在各个视图中相同的附图标记表示相同的部分。

图1是根据本发明实施例的增强患者视力系统的框图；

图2是在没有缺陷的患者视力的图示；

图3是有缺陷的患者视力的图示；

图4A是根据本发明实施例的样品视觉模型的图示；

图4B是图4B的样品视觉模型的可选图示；

图4C是根据本发明实施例的第一和第二边界的示意图；

图4D是根据本发明另一个实施例的第一和第二边界的示意图；

图5是根据本发明实施例的复杂边界的示意图；

图6是由多个预定形状之一组成的单一边界的示意图；

图7是具有更复杂缺陷的患者视力的示意图；

图8是与图7所示相关的边界的示意图；

图9是根据本发明实施例的建立视网膜地图所用的图示；

图10是根据本发明实施例的建立视网膜地图所用的图示；

图11是根据本发明另一个实施例的建立视网膜地图所用的图示；

图12是根据本发明实施例的头戴式显示单元的图示；

图13是图12的头戴式显示单元的第二图示；

图14是根据本发明实施例的头上显示单元的图示；

图15是根据本发明实施例的增强患者视力的方法的流程图；

图16是根据本发明实施例的处理指定视网膜界面的第一示例的图示；

图17是根据本发明实施例的处理指定视网膜界面的第二示例的图示；

图18是根据本发明实施例的建立数字视场图的过程的流程图；

图19是图18的过程的第一部分的图示；

图20是图18的过程的第二部分的图示；

图21是图18的过程的第三部分的图示；

图22是具有正常视力的患者的Amsler图和具有AMD的患者的Amsler图的图示；

图23是智能接触镜的示意图；

图24是患者黄斑的示意图；

图25是子像素映射的示意图；

图26是矫正的视场的图示，示出了像素处理的区域；

图27是矫正的视场的另一图示，示出了像素处理的区域；

图28是具有遥控相机(顶部)和接触镜相机(底部)的系统的示意图；

图29是过程的流程图；

图30是演示动态不透明度的示意图；

图31是透镜层的示意图；以及

图32是微型显示器配置的示意图。

通过下面的描述和权利要求，其它的优点和特征将明显易懂。

具体实施方式

这里讨论的装置和方法仅为实施和使用本发明的具体方式的说明，而不应解释为范围的限制。

虽然这些装置和方法已经描述为具有一定程度的特殊性，但需要注意的是，可以在不偏离本公开的精神和范围的情况下，对装置和部件的结构和设置可进行很多修改。应理解，这些装置和方法不限于为举例目的而在这里阐述的实施例。本领域具有普通技能的人应认识到，不必使用具体的细节来实施本发明。在其它情况下，为了避免模糊本发明，没有详细描述众所周知的材料或方法。

在本说明书中引用的“一个实施例”、“实施例”、“一个示例”或“示例”是指在本发明的至少一个实施例中包含与实施例或示例相关的特定特征、结构或特性。因此，“在一个实施例中”、“在实施例中”、“一个示例”或“示例”这些短语在整个说明书的各个地方的出现不一定都是指同一实施例或示例。此外，在一个或多个实施例或示例中，可以将特定特征、结构或特征组合成任何适当的组合和/或子组合。另外，应理解，本文所提供的附图是为了向本领域的技术人员解释的目的，而且这些附图不一定是按比例绘制的。

根据本发明的实施例可实施为装置、方法或计算机程序产品。所有的系统和子系统都可以存在，或者系统和子系统的部分可以存在以形成本发明。因此，本发明可采取完全硬件实施例、完全软件实施例(包括固件、驻留软件、微代码等)的形式，或将这里通常称为“单元”、“模块”或“系统”的所有软件和硬件方面相结合的实施例。此外，本发明可以采取实施在任何有形介质中的计算机程序产品的形式，所述任何有形介质具有实施在介质中的计算机可用程序代码。

可以使用一个或多个计算机可用或计算机可读介质(或媒体)的任何组合。例如，随机存取存储器(RAM)装置、只读存储器(ROM)装置、可擦除可编程只读存储器(EPROM或快闪存储器)装置、便携式光盘只读存储器(CDROM)、光存储装置和磁存储装置。用于执行本发明的操作的计算机程序代码可以用一种或多种编程语言的任何组合编写。此外，主电路中的智能部可以是软件、固件或硬件，并且可以是基于状态机或包含在状态机中的微控制器。本发明可以是上述智能和存储器的组合，并且可以存在于中央处理单元或包括中央图形芯片的多个芯片中。本发明的计算机部分通常还包括模型视图控制器。

流程图中的流程图和框图示出了根据本发明的各种实施例的系统、方法和计算机程序产品的可能实现的体系结构、功能和操作。在这点上，流程图或框图中的每个块可以表示代码的模块、段或部分，其包括用于实现指定的逻辑功能的一个或多个可执行指令。还应注意，每个方框图和/或流程图图示以及方框图和/或流程图中的方框图的组合可通过执行特定功能或动作的基于专用硬件的系统或特殊目的硬件和计算机指令的组合来实现。这些计算机程序指令还可以存储在计算机可读介质中，该介质可以指示计算机或其他可编程数据处理设备以特定方式工作，使得存储在计算机可读介质中的指令产生制造物品，包括实现流程图和/或框图块中指定的功能/行为的指令装置。

本文讨论和/或要求的几个(或不同)元件被描述为“耦合”、“连通”、“集成”或“被配置为连通”或其“系统”或“子系统”。该术语旨在非限制性的，并在适当情况下被解释为包括但不限于使用任何一个或多个合适的协议的有线和无线通信，以及持续维护的通信方法，这些协议是在根据需要的基础上定期进行和/或发起的。

本公开特别描述了存储在介质中的系统、方法和计算机程序指令，其增强了视力受损或其他缺陷的个人或患者的视力。一般而言，本发明提供了可在系统、方法、和/或计算机可执行指令中实现的技术，这些指令包括：(1)绘制患者视力缺陷区域的地图；(2)建立一个或多个边界，以划定患者眼睛有效和有缺陷区域之间的界限；(3)使用与患者相关的相机捕捉图像(或一系列图像)；(4)绘制捕获图像(或一系列图像)并生成矫正图像(或一系列图像)，(5)将正确的图像呈现给患者的眼睛。

参见图1，示出了根据本发明一个实施例的示范性系统10。系统10包括数据库12、模型控制器14、显示控制器16和显示单元18。如下面将更详细讨论，数据收集单元20用于收集数据，可用于开发患者视力的视力模型。建立视力模型所用的数据、视力模型和其它数据保存在数据库12中。由于周边受体，在黄斑变性的情况下，视网膜通常仍在工作，本发明伸展、倾斜和/或其他操作的图像(S)呈现给患者的眼睛，以避开黄斑或部分损坏的黄斑。因此，整个图像被呈现给功能视网膜受体，或呈现到功能视网膜受体上。如下面更详细的说明，本发明创建了图像的失真地图并显示出来，或将其投影到眼睛的边缘，而避开了(损坏的部分)黄斑。失真的图像用(高清晰度)护目镜、眼镜、“智能”接触镜或光子投影(使用虚拟视网膜显示器)直接呈现在、投射到眼睛上。

通常，模型控制器14耦合到数据库12且配置为建立与患者相关的视觉模型，并且将视觉模型保存在数据库中。视觉模型包括与患者视力的质量相关的数据。模型控制器14还配置为建立边界，边界作为与视觉模型相关的数据的函数。该过程将在下面进一步详细讨论。边界表示要在患者视力范围内矫正的区域。模型控制器还配置为建立视网膜地图，视网膜地图作为边界的函数，并且将视网膜地图保存在数据库中。

显示控制器16配置为接收且保存视网膜地图。显示控制器16还配置为从相机，例如录像机，接收(见下面)与患者相关的图像(或一系列图像)且根据视网膜地图对图像施加矫正，并且分别产生矫正图像。

在本发明的一个方面中，可生成一个或多个斑点或视网膜地图。这些图可与预定的设置有关，例如，白天、黑天、阅读或看电视。正确的视网膜地图可自动选择为用于特定条件，和/或可为用户可选的，以适合变化的条件。

显示单元18耦合到显示控制器16，并且配置为接收矫正图像且给患者的眼睛呈现矫正的图像。应注意，本发明可配置为给患者的眼睛呈现矫正的视频，作为一系列图像。

通常，模型控制器14和数据库12可为在计算机中的一个实施例，特定的或特别设计的硬件或设备、以及专用集成电路(ASIC)服务器、或独立运行的服务器、或在网络环境中。数据收集单元20(下面将进一步详细描述)可链接，至少临时，或可为网上传输的数据，电子或通过物理介质。

在本发明的一个方面中，视网膜地图可在模型控制器或通过模型控制器自动建立且调整(有或没有患者特别更新的权限)，并且电子传输到显示控制器。

在本发明的另一个方面中，模型控制器14可建立多个视网膜地图，在用于生成视网膜地图的参数上变化和/或在用于生产视网膜地图的方法上变化。多个视网膜地图可保存在显示控制器16中。然后，患者可循环视网膜地图，并且选择使用工作最好的一个视网膜地图。例如，特定的视网膜地图可对瞬时条件工作最好。因此，患者可选择当前存在的工作条件最好的视网膜。

如下面更加全面的讨论，显示控制器16和显示单元18可实施在安装到患者上或由患者佩戴的头戴式显示器、护目镜或眼镜中。作为选择，显示控制器16和显示单元18可实施在与患者分开的单元中，即患者不佩戴。一个或多个传感器(未示出)可用于发现患者相对于显示单元18的位置和距离，从而可适当显示图像。

患者的每只眼睛是不同的，并且典型地具有特有的缺陷。例如，患者的一只眼睛可具有特定的缺陷(具有特定的形状、大小和位置)，而患者的另一只眼睛可能没有缺陷，或者具有不同形状和大小的缺陷。因此，通常为患者的每只眼睛绘图且分别建立每只眼睛的视觉模型。将生成每只眼睛缺陷的边缘且生成相关视网膜地图。在一个实施例中，单独的相机将生成用于每只眼睛的分开的一套图像，并且显示控制器16将产生对应的一系系列图像呈现给每只眼睛。相机应为高质量的和4K或8K相机，并且投射将提供最好的结果。

参见图2，为了比较的目的示出了患者没有缺陷眼睛的呈现的图形22A。参见图3，示出了患者眼睛具有缺陷的视力呈现的图形22B。缺陷由示出在图形22B中心的黑暗形状24表示。

在本发明的一个方面中，视觉模型可采用数据收集单元20建立。数据收集单元20可包括如下的至少一个，(1)视场眼科仪器，(2)便携移动视场试验装置，和(3)基于计算机的系统。下面详细讨论采用数据收集单元20收集数据的过程。

参见图4A，示出了视场(FOV)数据26的简化示例。FOV数据26用于创建视觉模型。FOV数据26包括设置在格子30中的多个单元28。每个单元28具有与患者视力质量相关的相关值。该值可基于表示视力质量的绝对值或代表尺度。作为选择，该值可为距标准值的偏差或相关单元的值。为了说明的目的，在图4A的示范性FOV数据26中，格子中的值利用0-9的尺度，其中0表示没有缺陷，9表示缺陷，并且值1-8表示0和9之间的视力质量。应注意，0-9的规模仅为讨论的目的。所用的尺度可为任何适当的尺度，例如，0-99、0-255、-30至30，或者任何适当的尺度。此外，所示的格子具有12行和20列。格子的形状可用于接近眼睛的形状，并且可在左眼和右眼之间为不同的。然而，格子的大小和形状可基于12x20格子，但是可采用任何大小的格子。格子的大小可取决于数据收集过程或者数据收集单元20和/或显示单元18。在另一个实施例中，FOV数据可由轮廓、多边形或形态符(morphological operator)表示。

边界可建立为与格子中的单元相关的值的函数。在一个实施例中，格子中的值与阈值比较来建立边界。例如，在上面的示例中，阈值可设为7。因此，值为7或更大的任何单元28在边界内，并且值为0的任何单元28在边界外。图4B中示出了FOV数据26的修改图，其中强调了满足在阈值之上的单元28。

作为选择，FOV数据26可用于创建轮廓。视觉模型产生于对原始数据的解译，而不一定是原始数据的逐点转换。目的是将移除的像素放置在通常情况下的所在位置附近，因此，软件中的算法基于如下而决定：(i)全部缺陷，(ii)特定像素或射线距离缺陷边界的距离，(iii)是否像素是新的图像或现有图像的一部分(是指是否该像素是图像的一部分或在图像的边界变化)，(iv)像素以另外方式移动的其它选项，以及(v)要调整的相邻像素移动到哪里，精确地移动这样的像素/射线。

在本发明的另一个实施例中，采用向量图像。为了本专利的目的，向量图像和像素可交换使用。然而，实际上，与数字图像不同的是，数字图像由(通常)数以百万计的小方块或称为像素的其它形状组成，而向量图像由直线和曲线连接在一起的数学点组成，从而形成不同的形状。因为它们是基于数学和算法，而不仅仅是预先放置的像素，所以向量形状是非常灵活的，并且不受与像素相同的限制。

有五个主要系统和很多子系统，这是完整发明的一部分。一个或多个系统或子系统可结合、省略或集成。

第一个主要系统是眼镜、镜框和头盔(“GFH”)，其典型地佩戴在用户的头上，并且定位在眼睛和鼻子上，像传统的眼镜一样。GFH容纳相机、微控制器、连接器和由传感器组成的子系统，例如，运动传感器、六个或九个自由度传感器(上/下；前/后；左/右；俯仰/滚转/偏航)、手势识别传感器、基准标记传感器、加速度计传感器、红外传感器、运动传感器、警报传感器(可向用户报警危险)、陀螺技术和相关传感器、位置跟踪传感器(包括Wi-Fi位置系统、移动位置系统和RFID基于位置的系统)、声音传感器和光学传感器技术。传感器阵列也可包括机械连接、磁传感器、光量传感器、声传感器和惯性传感器。这个列表不是穷尽的，而是说明GFH上设置的传感器类型。GFH还容纳虚拟环境(VE)子系统，例如：(1)用于增强视觉显示的头和眼跟踪；(2)手与臂跟踪，用于控制虚拟对象和辅助诊断工具的触觉接口；(3)身体跟踪，用于运动和视觉显示；(4)环境映射接口，建立与传感器、诊断和模拟交互的数字化几何模型。通常容纳在GFH上的其它传感器技术是数字按钮，可包括电源按钮D垫或控制垫，用于用户访问和控制功能。上面所列的传感器包括它们的操作系统和输出。GFH还设有连接器，例如充电电池或直接连接到交流电源的电源连接，以及用于HDMI、声音和其它输入/输出的其它连接器，如额外的图像叠加显示，或用于升级系统的诊断协议。

GFH还容纳下面描述的微处理器控制电路(MCC)。

GFH还可包括带子和配重或其它头饰，以平衡GFH并保持其在头部的位置。另外，GFH可包括“网络连接(dongle)”，因此一个或多个系统或子系统通过有线或无线连接到另一个装置，例如可以戴在腰带上，也可以放在口袋里，以减轻GFH的总重量。

在一个实施例中，GFH连接到另一个提供电源的设备上，而在另一个实施例中，GFH有自己的电源、无线传输电源或电池电源。此外，在另一个实施例中，GFH容纳摄像头、微控制器、连接器、中央处理器、图形处理单元、软件、固件、麦克风、扬声器和子系统。

在另一个实施例中，GFH包含一个RFID读取器来读取来自RFID标签的信号。在另一个实施例中，GFH包含光学字符识别/阅读器传感器，用于读取来自现实世界的信息。

作为选择，这里涉及的系统的某些部分通过有线或无线连接连接到GFH。作为选择，这里涉及的系统的某些部分包含在连接装置中，如膝上电脑、智能手机或WiFi路由器。作为选择，这里涉及的系统的某些部分包含在一个远程位置，并由GFH通过射频(即蜂窝频带)或其它无线频率或通过有线访问。因此，在本发明的一个实施例中，在同一个头盔或多个穿戴者的头盔上的多个头上显示器通过有线或无线网络连接，以便开发或控制可与其他用户共享的信息。这将通过让GFH从相机或传感器收集信息，通过预置滤波器处理信息，并将信息分发给所有其它GFH，使其能够控制信息或与网络连接的所有其它GFH共享信息。在本发明的另一个实施例中，这些信息可以从远程位置或库中收集，并通过诸如智能手机或笔记本电脑等中间源与其它HDC共享。

GFH还包含电池和接收充电DC子系统，或作为选择，AC输入和转换器以直接连接到AC电源；以及有线和无线子系统以将装置连接或配对到其它系统，例如声音、报警系统、跌落监测系统、心脏监测、其它生命体征监测、以及各种APP程序、云计算和数据存储。GFH中的其它子系统包括麦克风/扬声器和放大器系统、由三轴加速度计、三轴陀螺仪和三轴磁强计组成的集成惯性测量单元(IMU)，或用于自定义传感器的辅助端口，如测距仪、热相机等。

其它子系统，如用于与手机、平板电脑、汽车等的近连接性的蓝牙系统，以及全球定位系统或内部跟踪系统，如RFID、Wi-Fi或基于蜂窝式定向旅行的跟踪系统等，都可以包括在内。根据GFH的有线或无线连接性还可包括其它的通信系统。GFH还可以有线或无线连接到一个主要的监测数据系统，该系统将跟踪用户的健康、行踪和状态，以便显示给另一个人，如看门人或医疗服务提供者。

在本发明的另一个方面中，不对像素进行眼睛矫正处理，相反，提供显示在显示屏幕上的计算机介导视频的AR耳机，使佩戴者同时看到真实世界和增强视频。在本发明的该方面中，使用语音识别、手势识别、避障、加速度计、磁强计、陀螺仪、GPS、特殊映射用于同时定位和映射(SLAM)、蜂窝无线电频率、WiFi频率、蓝牙和蓝牙光连接、红外摄像机、其它光、声音、运动和温度传感器，以及采用下面列出的红外照明、眼跟踪和动态不透明度。

利用本发明人所称的动态不透明度，本发明的一个方面解决了典型的在强光或阳光条件下可视化的“头上”反射显示问题。在此情况下，GFH使用明亮的显示器，通常是最高分辨率的显示器，它可以是一个四重高清AMOLED显示器，它被反射到透镜的表面，让用户看到显示器的“虚拟”部分。在使用高分辨率的AMOLED反射显示器时，可以根据环境光来调节亮度。作为选择，该调整可以在系统控制器中，并且自动调整取决于传感器所说的环境光的亮度是什么，这在更亮的外部光中时通常会更亮。AMOLED、OLED或类似的显示器可为一个显示器或两个显示器，在透镜上反射时一个用于每只眼睛。

在本发明的一个方面中，在透明透镜上涂上反射涂层，以提高实际显示的图像的反射率。在本发明的另一个方面中，由于动态不透明度子系统的操作，不需要反射涂层。

高分辨率显示的透明透镜，它可以是塑料，如莱昂斯或其它透明聚碳酸酯或玻璃或任何其它透明材料，可以有或可以没有集成到透镜的一个反射器以提高反射显示器的可见度。在任何情况下，透镜的外部也会被粘合在一个包含液晶显示器(LCD)或透明OLED显示器的层上，其作用是遮挡外部光线，从而为佩戴者提供更大的灵敏度，以便在高光照条件下(动态不透明度显示或DOD)观看显示的虚拟信息。OLED的透明显示可以非常清晰，这使得在屏幕上以“虚拟模式”显示某些内容之前，可以读取显示背后的对象的详细信息或文本，这意味着在显示器/透镜上显示来自流视频反射显示的内容。作为选择，透明/半透明液晶显示器可用作其它透明透镜的外层或中间层，或与投影反射显示器的透明透镜结合在一起，以产生动态不透明度。动态不透明度感觉到图像被投射在透镜内部，从1％或不到1％到100％的其它透明透镜。在该方面中，透明透镜可以涂有或可不涂有反射涂层。见图30。透明透镜的内部也可以有反射材料，以增加投影图像的反射率，因此基片透镜不是完全清晰的，而是被反射膜、涂料或其它嵌入反射率遮蔽的一定百分比。见图31。

动态不透明度子系统由显示控制器控制，并且与显示的信息同时工作。显示控制器为投影虚拟显示器创建图像缓冲区，并且该信息与动态不透明度控制器共享，然后激活与显示控制器投影虚拟图像的精确或接近精确位置对应的像素，从而使反射透镜中投影图像的部分同样不透明，从而使所显示的图像由于动态不透明度提供的背光或光滤波而变得更亮。动态不透明度子系统的工作是因为透明液晶显示器或半透明有机发光二极管含有一定的像素分辨率，在动态不透明度的情况下可以比投影显示的分辨率低，每个像素都可以由动态不透明度控制器控制，由动态不透明度控制器从显示控制器中获取要激活哪些像素的信息。在OLED中，像素的激活将打开单个OLED RGB像素，以实现正确的不透明度水平，以补偿用户所经历的条件下的现有亮度。在这种情况下，RGB像素可以被激活以创建“阴影”效果，或者取决于现存的光的类型，强调红色、绿色或蓝色，或者三者的组合。此外，动态不透明度子系统可以预先编程，为用户提供各种选择，从暖色到冷色(琥珀色到绿色)的太阳镜效果对反射透镜的外部。在LCD的情况下，像素的激活是一个或多个阶段，并且改变像素的偏振以实现玻璃外部的不透明度，以达到同样的效果。在这种情况下，通常使用不包括RGB组件的LCD单元，因为只需要外部射线阻塞。

作为选择，有了动态不透明度，可以使用任何其它透明材料，提供电子控制像素或区域内的透明度来创造不透明。在这两种情况下，外层通常都是透明的，用户提供一个“透过”透镜到现实世界，直到一些虚拟信息显示在头戴式显示单元反射透镜上，如全息图，像电影一样的2D图像，或其他三维图像或信息，包括文本。

在本发明的该实施例中，控制器，如模型视图控制器(MVC)，将通过相应的数据输入信息来控制动态不透明度显示。在这种情况下，MVC将在缓冲器或其它地方以数字格式标识图像，其中图像将显示在反射显示器上，并且MCV将预测这些位置并打开像素，包括透明LCD或OLED中的RGB像素和“云”，或者更确切地说，使镜头中与反射显示器的内部或其它层显示虚拟图像的区域相对应的部分变得更加不透明。以这种方式，动态不透明度提供了一个与显示虚拟图像的像素相对应的“前提”或“背景”显示，从而使虚拟显示的对比度与眼睛的对比度更大，这样就可以最小化像自然阳光一样的亮度，否则就会与反射的显示器竞争，使其很难被看到。在动态不透明度下，反射显示器在它和外部光之间有一个缓冲器，这给反射显示器更大的亮度给眼睛。

动态不透明度可以是一个过程，也可以是一个精细模式，这意味着来自透明OLED或LCD的不透明度将出现在虚拟显示的一般区域，或者对于精细的应用程序将出现在几乎或完全相同的像素中，这些像素对应于在透镜内部显示或反射的图像像素。在本发明的另一个方面中，动态不透明度可以与波导显示器或棱镜型显示器同等效果地工作。同样，这里描述的动态不透明度也可以用在同样效果的微镜式显示器上。

有很多方法可以准确地识别粗大或细腻的模糊度应该出现在哪里，但一个实施例将使用相同的眼睛跟踪作为主要的显示器/透镜，MVC将准确地知道眼睛注视的位置以及虚拟显示器在六方向轴上的每一条方向的中心和延伸距离，从而使不透明的程度与虚拟显示的空间根据眼睛跟踪软件所识别的眼睛的位置来表示相同的空间。这样，反射图像显示器就克服了在日光和其它高光条件下不够明亮的问题。同样，动态不透明度包括透明的OLED或LCD覆盖层或透镜层，也可以充当显示器的“太阳镜”，并“着色”整个显示器，以补偿明亮的灯光，就像晴天一样。或者有类似的效果，可以使用光阀，以类似的方式具有同样的效果。光阀(LV)是一种已知的装置，用于改变到达目标的光源的光量。目标的示例是计算机屏幕表面、或墙壁屏幕、或者在这种情况下虚拟显示器在眼镜透镜上的粗糙或精细覆盖。

在动态不透明度技术中，MCV可以预先编程或编程以自动补偿外部亮度，并充当即时“过渡”透镜，既可用于AR眼镜显示器，也可用于计算机智能，可用于典型的矫正透镜。在这种情况下，透明的OLED或LCD的整个外部层会很像光阀，以平衡明亮的外部光，并且仍然在显示虚拟视频或图片或图像的透镜部分提供额外的不透明。

在本发明的另一个方面中，显示器可为小显示器，如硅上OLED微型显示器。这样的显示装置由两个关键元件组成：包含驱动OLED像素的电路的硅背板和OLED发射前板层。小型微型显示器只有1英寸乘1英寸，但分辨率为2.5K×2.5K，显示器尽可能明亮(1,000NITS)，可以使用两台显示器，每只眼睛一台，作为反射式或半反射式透镜上的投影仪。在这种情况下，微型显示器可以作为用于反射式显示器的投影仪，佩戴者的眼睛会看到。矫正或微调是由包含在GFH内或GFH上的重点矫正和反射显示的投影的矫正提供的。

在本发明的另一个方面中，一个或多个微型显示器，如TSMC提供的，是1英寸×1英寸，2.5K×2.5k分辨率显示器，可用于将图像投影到连接到头戴式显示器的透明透镜上，该显示器包含通过CPU的计算机智能，并且可以被称为智能头戴式显示器(SmartMD)或GFH。在本发明的另一个方面中，在透镜上也可以有一层或两层反射膜，或者透镜的外层包含如上所述的动态不透明度技术。在这种情况下，矫正透镜或透镜可被固定到非常小的微显示器上，微显示器足够亮，以将反射图像提供到反射透镜上。在这种情况下，微显示器为了矫正和微调用于在显示器和反射透镜内部之间的超短投显示的图像，可以使用一个或多个图像矫正透镜，甚至可以与波导或偏振的中间层结合在一起，从而提供更高的图像分辨率，并引导图像光线精确地显示在反射透镜上。

在本发明的一个实施例中，两个矫正透镜夹住一个波导或偏振层。图像投影源是小显示器，如图32所示，旋转以实现最大的清晰度和视场。图像源(OLED)然后通过一个圆形偏振器。然后，圆偏振图像通过具有正屈光度的透镜通过线性偏光镜聚焦。然后，这种线偏振光通过一个负屈光度透镜，并可能通过多个负屈光度透镜，以达到所需的投影尺寸。用于与其它矫正透镜组合使用的偏振膜的目的是延迟可反射回到微显示器上的光,并将光线聚焦在所需的反射透镜的特定部分上。经过提供正确投影尺寸的透镜曲率后，图像就会用球面透镜反射到眼睛中，球面透镜可为涂有半反射或反射表面。在本发明的该方面中，显示器和镜头组合的角度与球面反射面的角度将是可调的，以为眼睛的位置提供焦点，这可以通过眼睛跟踪技术和投影图像的控制相结合来监测。此外，可以允许在与微显示器相关的矫正透镜上进行调整，并且因此可以将镜头的贴近度更改为微显示器，这将允许用户将反射透镜显示器调整得更近或离用户的面部更远，以便更好地为用户自己的矫正眼镜或大面部特征留出空间，例如戴在脸上的大鼻子或其他装备，比如氧气面罩或滤镜罩(即，对于战斗机飞行员或处于危险品中的情况下)。

眼睛跟随子系统通过硬件和软件工作。软件连接到系统GPU相关于系统模型控制器工作。眼睛跟踪被投射到眼睛上的红外线(IR)光线捕获，产生闪烁或反射，然后由红外敏感相机捕捉。通常情况下，眼睛跟踪系统会捕捉到从眼睛发出的闪烁，从每秒30帧到每秒500帧。这些信息被实时存储在模型控制器中，它可为MVC，并将这些信息处理到由XY或笛卡尔坐标表示的虚拟空间中。这些坐标为系统提供了关于用户的视线与反射透镜相关的位置的信息。当用于医疗应用时，如AMD，眼睛跟踪信息与有关人眼视觉缺陷的缓冲信息有关，因此，当被处理的图像被显示时，它是同步的用户的目光。这是必要的，因为眼睛扫描和眼球运动需要移动视频的缓冲和处理区域以对应于用户的眼睛凝视，以便缓冲的“空洞”和用户的缺陷对齐并保持同步。所有这些处理都是实时进行的，并与用户眼睛的运动保持同步。延迟是很重要的，将延迟保持在10毫秒以下将有助于防止用户感到头晕和防止眩晕。

在本发明的另一个实施例中，使用计算机化的蜗轮或驱动器，或使用非计算机化的机械装置，如蜗轮或齿轮，可用于移动GFH上的微型显示器，使显示器能够与人自己的瞳孔间距或IPD对齐。在计算机化蜗轮的情况下，这个齿轮可以从眼睛跟踪子系统得到它的信息，从一个到四个方向移动多远，这个子系统可以测量每个人眼睛中检测到的光线的距离，并将测量数据传输到运动数据中，这样蜗杆驱动器就可以将GFH中的微型显示器对准到人们自己的IPD和相对高度相对于GFH的方式上的完美位置，这样就可以完成边到边和上与下的对齐。用户的眼睛在四轴上对齐是必要的，因为这结合用户如何佩戴GFH确保了每个用户的反射图像最清晰。

在本发明的另一个方面中，GFH可以在锁定用户的地方做出，这样在机构环境中很难将其移除。在该方面中，人们，如某些类型的囚犯，将被要求佩戴这种GFH头盔，这样，如果出现麻烦或紧急情况，管理员可以切断视频传输，使用户只能使用有限的视觉资源导航。这可能会降低侵略性的愿望，或为紧急撤离提供信息。在该实施例中，显示屏幕受外部操作人员的控制，例如，可以显示和平的图片和舒缓的音乐，以使用户平静下来。或者显示可能变得不透明，并拒绝用户看到的能力。或者，显示器可以通过放大、增强颜色和更清晰的图像和声音对比来提高人们的意识。GFH还可以用来散发气味，以增强愉悦的体验，允许专注于识别一个人或事物，或者为了训练目的，比如给用户一种人造的体验，就像在模拟或目前不存在的现实世界中存在的体验一样。

在本发明的另一个方面中，GFH更像是头盔，显示器更像面罩而不是透镜。

在本发明的另一个方面中，GFH更像一个纽带，反射显示器就像两个部分球面透明透镜，每个眼睛上有一个部分球面。

在本发明的另一个方面中，不显示真实世界，而是显示视频、电视节目、电子邮件或其它在线或预先打包的信息，不管是否存在黄斑退化型像素操作，这样用户就可以用混合现实眼镜体验其它形式的娱乐、培训、学习或任务完成，而不仅仅是在显示器上投射真实世界的真实场景。GFH也可以安装夜视、红外线或其它类型的相机，从而体验超现实世界。因此，任何种类的相机可用于进行显示。在本发明的该实施例中，GFH可以编程作为其它设备的主机，使用苹果Airplay等技术，这允许GFH与其它设备“配对”，比如手机或智能手表。在这种情况下，人们会将GFH称为智能头戴式显示器或智能HMD，并且一个人的手机或平板电脑上的所有应用(应用程序)都可以无缝地传输到GFH。因此，在这种情况下，用户可以在手机或平板电脑上开始观看Hulu或Netflix电影，然后它可以被定向或传送到GFH继续观看，这将开放手机用于其它用途。在本发明的该方面中，GFH通过蜂窝或WIFI或其它无线电频率或有线或无线频率连接到互联网，并与能够连接到GFH的其它设备起着类似路由器的作用，就像计算机获取并连接到典型的互联网路由器一样。这为GFH提供了访问互联网的能力。.

在本发明的另一个方面中，GFH装载有人工智能，比如谷歌虚拟助理Siri或Alexis。在这种情况下，GFH可以用虚拟助理虚拟映像进行编程，并且能够显示可视虚拟助理(VVA)，而不仅仅是像Siri或Alexis这样的声音。像华盛顿大学的一个研究小组发明的技术，研究人员发明了一种新的工具，将音频文件转换成真实的嘴巴运动，然后将这些动作移植到现有的视频中。在此情况下，人工智能软件神经网络被训练成将一个说话的嘴的视频转换成其它的单词，可以用来创建一个VVA，它的实际拍摄对象的实际视频最少，这就是VVA。

根据本实施例，GFH可包括可控制的扬声器或已并入其声音系统的耳机式扬声器，这些扬声器可通过电线连接，或通过无线网络连接在GFH中，如蓝牙灯(Bluetooth light)。

在本发明的另一个方面中，照相机不仅可以实时地向用户显示图像，还可以记录相机捕获的图像，以便稍后重放。因此，如果用户昏昏欲睡，可以激活一个“记录”按钮，导致CPU和GPU记录真实世界的图像，例如足球比赛中的图像，当用户被唤醒时，可以使录制的显示器显示在GFH的透镜上。这一功能还可以用来回忆真实的世界体验，例如，在另一个时间录制一次大学讲座，以供回放和思考。回放可以是实时、缓慢运动、冻结帧、停止和快速转发或翻转。在本发明的该方面中，GFH具有允许存储数据和重放数据和菜单以识别所存储的信息，或者调用先前给出的指令的子系统。在此情况下，用户在服药时可以激活记录，CPU将记录这些信息，并能够对视觉、文字输入或听觉请求作出响应，例如，“我今天吃药了吗”，GFH是否会对此作出答复，这取决于是否有记录的信息。在本发明的另一个方面中，该记录功能可配置为自动记录某些功能，如图像识别软件，该软件可以激活服药记录，将其转换为数据库信息，并能够将正确的信息回放给用户。在接近其它设备(如脉搏血氧计或血压袖口)时，GFH也可以启用蓝牙，并自动记录这些信息并将其存储在数据库中，以便重新播放、记录以供以后使用，或发送给第三方，第三方可能是管理员或医疗服务提供商，也可能是供用户召回的存储库。

在本发明的另一个方面中，其它有意义的信息可以与真实世界的信息或非真实世界的信息(如电视或电影)一起显示，在这些信息中，用户可以通过文本信息或声音进行更改或修改，以执行某一基于时间的任务，例如，服用药物的警报、检查宠物或接听电话或电子邮件。在此情况下，GFH将允许用户使用D-Pad、基准标记或其它控制器从在显示器上的真实世界或非实时体验切换到基于任务的体验，例如电子邮件或电话呼叫或视频电话。这些示例仅仅是需要用户切换显示器的输入的许多任务中的一些，并且在此使用的所有示例都是示例而非限制的，在这种特定情况下，主要思想是GFH类似于可穿戴计算机，并且允许用户的环境和显示器的改变与当时所需的任务或任务相对应，无论是否看到真实世界，要查看非真实的世界，或者使用GFH作为可穿戴计算机、在线装置、Wi-Fi装置、RFID装置、近场通信装置或其它通信装置、学习装置或智能装置，像会测定流逝的时间的装置。

在本发明的另一个方面中，充当可穿戴计算装置的GFH可以处理信用卡支付或承担一些其它任务，即用户的物理限制将以其它方式禁止或增强。

在本发明的另一个方面中，GFH不提供诸如黄斑变性之类的眼睛疾病的特定矫正，其需要重新定位像素或矢量化图像，但包含所有这些子系统，这些子系统存在以通知用户，并向用户显示如何到达特定的航路点，或者优先考虑行进，所有这些都显示在GFH的透镜显示器上。而在本发明的另一个方面中，使用像素操纵，但不矫正像黄斑变性这样的眼睛缺陷，而是将显示器重新定位在透镜的特定部分上，使得用户能够同时看到显示器和实时世界。

因此，GFH可以包含其它可穿戴技术来监视、报告、跟踪或指导用户。这可以通过音频完成，也可以在显示器内完成，也可以作为单独的显示器，例如，显示真实世界的环境，并向用户显示指示、警告或任何有用的信息。还可以通过来自GFH的振动信号通知警报。GFH还可以向GFH以外的人发送信号，例如提醒第三方，有视力受损的人正在经过。或者，提醒第三方，该人有某种权威，比如在警察或应急人员的情况下的警笛或者闪光灯。

GFH还包含图像投影和透镜(IPL)系统，它是投影仪和要显示图像或矫正图像的透镜的组合，GFH还包含它们的连接器以及与其他系统和子系统的集成。

GFH还包含用于患者诊断编程的连接器以及用于可穿戴计算功能和其它子系统的计算机接口，本文将在此说明。上面的示例在此被指定为“子系统”或本发明的“子系统”，也被理解为包括所有的电源、连接、计算、显示和子系统的集成。计算和患者诊断程序可以驻留在系统中，也可以通过连接器驻留在外部。因此，例如，患者诊断程序可以在系统、GFH的电路和智能中进行，也可以通过连接到平板电脑、笔记本电脑、计算机或大型机等设备的电线或无线连接进行外部访问。GFH都可以戴在头上，也可以像头盔一样佩戴，或者作为辅助可穿戴物分散在身体的其他部位。

第二个主要系统是相机输入系统(CIS)，其典型地包括一个或多个相机及其透镜、连接器和处理系统。如上所述，相机可为传统的摄像机或照相机，或者可为专业相机，如夜视、红外线、360相机、热成像、放大、彩色、黑白、或3D相机，各有其独特的显示器。这些不同类型相机的一个或多个可结合在CIS系统中。

在典型的医学矫正配置中，GFH可包含一个或多个相机和相机系统用于捕获用户通常看到的真实世界视觉；并且也可包含监视眼睛运动的一个或多个相机，从而矫正软件可接收这样的眼睛位置信息，并且接近眼睛的空间几何架构(眼睛横向地内外、左右运动)且对其计算以及对相机的视线相对于实际的眼睛位置的偏移量计算，这样显示器几乎显示了用户的眼睛通常会看到的东西。

在本发明的另一个实施例中，CIS可部分地或全部嵌在智能接触镜上，其中在黄斑部退化的情况下，相机定位在智能接触镜(SCL)上没有视力存在的确切位置，典型地在眼睛最中心15％的位置。在SCL的情况下，它可以包含自己的电池、传感器、通信和充电设备，包括通过诸如反向散射、交叉散射、蓝牙、Wi-Fi、ZigBee、RFID和其它天线传输之类的方法进行通信。在这些情况下，GFH提供了要由SCL和通信网络和协议收集的能量，用于无线通信，所有这些都是GFH的子系统。因此，如果SCL是自己佩戴的，他们将需要另一个装置来获取能量和通信参考，这里GFH系统提供必要的能量和通信链路，并同步在一起。

在本发明的另一个实施例中，每只眼睛使用一个或多个照相机来创建单目或双目视觉。在这种情况下，GFH系统还将有一种方法来监视至少一只眼睛的运动，就像GFH中的相机向后面向一只或多只眼睛来监视眼睛的运动，用于对投影图像的视线增强，以及对聚焦在远处的眼睛的移动和近距项目的空间几何架构矫正。一种用于监视另一摄像机中的眼睛的子系统和方法，其中一个或多个被指向至少一个眼睛。该相机将利用眼睛跟踪软件向IMP提供必要的信息，以调整显示器，使所显示的图像尽可能地代表真实世界的图像，因此，至少在软件中将对空间几何架构和视线进行矫正。

在本发明的另一个实施例中，使用一个相机，产生显示到一只眼睛或两只眼睛的单目视觉。在此情况下，单目视觉可矫正每个眼睛，使每只眼睛的“切除”不同，从而每只眼睛的矫正效果是不同的。

在另一个实施例中，每只眼睛有一个或两个或多个照相机，接收真实世界的输入。在每只眼睛使用两个相机的情况下，建议将它们相互补偿，以便每个相机的FOV与另一个相机相交。这是因为当拍摄到一个广阔的视场时，相机本身就会产生一定程度的失真。一个典型的相机镜头，它不会造成很大程度的失真，只有75度左右FOV。因此，为了捕捉超过75度的FOV，这在这项专利的教导下经常是必要的，建议使用两台相机来避免广角镜头，因为广角镜头会引入畸变，并且避免从试图使用宽FOV的相机镜头中产生最大的失真。然而，通过使用来自两个摄像机的联合图像，然后在软件中将图像“缝合”在一起作为一个，将较小的失真引入要处理的实际图像中，并且从摄像机输入到图像操纵程序(IMP)保持较高的像素精度。

第三个主要系统是微控制器控制电路。这样的芯片、部件、电路和电路板组合包括一个或多个微处理器、其电路板和部件、以及典型的专用集成电路(ASIC)，可为单独的芯片或容纳在微处理器电路板中的其它芯片中的一个中。MCC是本发明的主要功能且从CIS和传感器接收输入，运行收集传感器数据和视觉图像的例程和程序，然后对用户的黄斑缺陷进行矫正并控制显示。MCC系统的部分可由用户控制，尤其是相对于黄斑变性诊断程序(MDDP)子系统。该MDDP子系统包含为患者应用缺陷地图程序的软件和固件，以建立边界、每只眼睛的一个或多个缺陷区域、以及投影区域的边界。MCC还包含视频处理程序(VMP)，它收集相机的输入并重新定位图像和像素，以便进行矫正后的视觉显示。MCC还包含应用程序接口以及图形用户界面(GUI)和例程。MCC还为所有传感器、输入和输出以及用户控制提供控制器。

如上所述，VMP可以是前面描述的任意数量的种类，或者也可以是像素操作方案或向量数学，例如从现实世界中获取图像，例如像素插值和模拟、图像拉伸或其他软件视频失真应用程序。

在一个实施例中，平面图片由相机发送到缓冲器，并被转换成“鱼眼”或“桶”变形，其中中间是较大的，然后图像被挤压在边缘。在这种情况下，中心图像尽可能接近人的疾病缺陷的缺失，被移除，图像被拉伸和显示。在护目镜的情况下，边缘不是关键的，可以简单地“裁剪”以允许在没有边缘的情况下显示视频的中心部分，这些边缘是通过切割中心部分而被推开的。在本发明的另一个实施例中，边缘很重要，例如在混合现实黄斑退化眼镜中，必须将第二阶段畸变图像重新合并为第三阶段视频图像。

因此，本发明教导，可以使用一台摄像机进行单目图像捕获和显示，此外，本发明教导，可以使用两台摄像机在护目镜/眼镜显示器上模拟真实的立体视觉，其中IMD模型包括对极曲线的因子矫正，在空间几何架构的引导下，使由两个或多个摄像机产生的立体视觉可以作为一幅PRI图像使用和显示，并被视为一幅PRI图像。

本发明使用以矩阵畸变或其他类似方式倾斜和拉伸的计算机辅助视频图像，通过打开图像中心并将其操作到投影图像中的眼睛周边锥，从而将图像的大部分或全部放在患者的周边视觉上，以便将拍摄到的视频图像投射到视觉仍活跃的眼睛锥边缘的视锥边缘。本发明的优点之一是不需要侵入性程序，并且随着患者黄斑变性的改变，软件可以被调整，以使图像现在被正确地倾斜。

按照本发明所教导的方式，所观看的体验可以使得用户几乎不可能区分实际看到的内容和由PRI创建的图像之间的区别。

因此，该图像的扩展和/或多边偏斜将矫正后的图像反射到患者佩戴的3D或高清晰度护目镜和/或眼镜上。图像通过IMD模块倾斜，以避免投影到涉及黄斑的眼睛区域，但仍有所有图像信息。想象一下这一过程，想象一下印在可拉伸和可压缩的物质上的图片。在图像的中间切割空洞，并扩展开口。图像压缩到图片的两侧。因此，图片的所有信息都还在，它只是重新排列，其中空洞在中间，图像被移动到侧面、顶部和底部。这样的“空洞切割”是通过算法和计算机软件/固件技术完成的，例如，使用如上所述的矩阵失真技术。

相机的矩阵畸变和矩阵矫正，即畸变的矫正，是相机标定的一个众所周知的领域，已经使用了很长一段时间。通常相机的畸变程度很高。然而，这种畸变与矩阵上的畸变是一样的，经过校准和一些重新映射，畸变可以得到修正。典型的失真矫正考虑了径向和切向因素。对于径向因子，可以使用以下公式：

x_corrected＝x(1+k₁r²+k₂r⁴+k₃r⁶)

y_corrected＝y(1+k₁r²+k₂r⁴+k₃r⁶)

因此，对于输入图像中(x，y)坐标处的旧像素点，其在矫正输出图像上的位置将是(x_{更正}y_{更正})。这将纠正以“桶”或“鱼眼”效应形式出现的径向失真。

由于成像透镜与成像平面不完全平行，所以会产生切向畸变。可以通过下面的公式进行矫正：

x_corrected＝x+[2p₁xy+p₂(r²+2x²)]

y_corrected＝y+[p₁(r²+2y²)+2p₂xy]

但是，对于本发明，采用了一种反向方法，这通常不会被考虑到。因此，一旦相机中的典型失真已经被固定，则本发明的教导是引入了故意失真。在一个实施例中，IMD模型将中心像素延伸到个人看不到的点，并压缩其它的东西以适应于护目镜的其余外围部分。以这种方式，计算机和软件/固件辅助操作将“空洞”人为地切割到图像中，从而将原先位于图像中心的像素挤压到外部，从而将整个图像投影在中心被人工创建的“空洞”周围。这里只显示了模型的矩阵失真部分，因为其他部分与IMD模型没有直接关系。一旦IMD模型被应用，本程序还有其他实质性部分用于投影图像。如示出的，IMD失真模型显示为“webGL”1的值，程序可与“呈现上下文(renderingContext)”2一起使用。

一旦IMD模型被应用，这个程序还有其它实质性的部分用于投影图像。如所示，IMD失真模型显示为“webGL”1的值，程序可以与“呈现上下文”2一起使用。如图所示，IMD失真模型显示为“webgl”1的值，该程序可与“呈现上下文”2一起使用。

第四个主要系统是图像投影和透镜系统。IPL投影仪和透镜可采用诸如波导、反射镜、棱镜等显示技术或其它技术，如透明背投胶片，在眼镜(透镜)或透镜的一部分上正确地显示图像。作为选择，可以使用一种“头上”型显示器，如透明屏蔽或面罩。实际上，透镜可能是许多透光显示器中的一种，比如增强现实或混合现实眼镜，或者也可以是拟真的和不透明的，像虚拟现实护目镜那样。可以采用有机发光二极管(OLED)的一些示例是无源矩阵OLED、有源矩阵OLED、透明OLED、顶部发射OLED、可折叠OLED、卢修斯棱镜OLED、白色OLED、量子点发光二极管QLED、超级LED(ULED)和超HD3840x2160像素分辨率(也称为4k)，它是全HD分辨率的两倍，具有4倍像素数。推荐的组合是技术先进的透明有源矩阵OLED(AMOLED)，因为AMOLED是薄的，具有快速的刷新速率，从电子学的角度来说不那么复杂，对单个像素提供大量的控制，并且消耗低的能量，特别是它们产生自己的光；它们具有高分辨率和产生锐利的颜色，这是本发明的最佳工作所需要的。在另一个配置中，可采用透镜，例如康宁的透明显示技术和特点

Glass。应用特定的薄功能膜，耐久的Gorilla Glass表面产生透明显示器，在GFH透镜上可接收显示实时增强视频。另外，应用技术，例如LGDisplay’s N Pixel技术，可帮助本发明使像素更清晰，无论来自任何眼睛的视图。此外，可采用诸如视网膜投影的技术，并且结合在GFH中。

第五个主要系统是诊断损伤映射(DIM)系统和工具，包括虚拟模拟和工具、用户操作的查看网格的方法和使用手势传感器或工具(如基准标记)，或连接鼠标来识别不存在视觉的区域和边界，以便从真实的“模拟”世界获得这种映射，并通过视频处理程序将其转换为数字坐标进行矫正。在这种情况下，用户会选择“诊断”设置，当一个镜头被评估时，一个Amsler网格就会出现在透镜上，一次一个，而另一个透镜将是不透明的，这样用户就不会被“看穿”而分心。用户将跟踪该视线的边界的边缘然后被MCC变换到特定的数学坐标，该特定的数学坐标创建要去除的图像并在其它地方被替换的边界。诊断测试可以经常使用，因为用户希望改进和重新矫正疾病的进展。

在本发明的另一个实施例中，GFH上的显示屏稍微弯曲，以减少来自显示器的环境光的反射，从而提高图像对比度，并将更多的图像聚焦在眼睛周边。在黄斑变性的情况下，轻微的曲率也降低了屏幕图像几何学中的光学失真(Keystone)，特别是在远离显示器中心部分的情况下，没有或很少显示图像。

在本发明的另一个实施例中，使用普通的矫正眼镜/透镜，并且使用像3M的半透明后投影膜的膜，简单地贴在矫正透镜上，或将矫正眼镜贴在OLED材料上，以便患者在同一组透镜中同时进行矫正和像素处理。

在本发明的另一个实施例中，在MCC中进行诸如散光、近视、远视或老花眼的典型非视网膜问题的矫正。像素矫正可以与像素操纵技术组合，从而所显示的视频图像就可以矫正和补偿该人固有的其他视觉损伤，通过增加焦距、增加对比度和放大视频，利用已知的技术，如固定视差屏障、透镜、预滤波光显示、可切换液晶屏障或显示器、多层显示、具有独立焦点的屈光度调节、或预滤波光场显示和预滤波光场显示技术，以及在摄像机上部署自我照明像素技术，纠正眼睛散光、近视、远视或老视的非黄斑问题。通过这种方式，本发明以软件内的计算和其它辅助手段取代矫正光学以矫正视觉。在另一个实施例中，相机透镜具有所需的矫正或在软件中与计算矫正一起工作。

如果相机透镜不正确，那么图像矫正是在软件、固件或硬件中进行的，从而装置既可以矫正视力下降的情况，如黄斑变性，也可以纠正近视等问题。以这种方式，佩戴GFH系统的人将在同一显示器中获得两种类型的矫正，(i)一个用于黄斑部退化，(ii)另一个用于近视或远视。在这种情况下，本发明教导，通过预滤，显示器上的视频计算预先过滤过的光场，或使用其它类似技术，从而在用户或患者的视网膜上产生所显示图像所需的投影，从而纠正其确切的眼睛问题。通过消除在最佳矫正所需的精确角度不直接击中视网膜的光线，可以获得用户的眼睛处方，而不需要矫正眼镜。换言之，可以通过基准标记、D垫或控制垫(“聚焦控制器”)由用户在飞行中或实时调整计算到视频中的矫正。控制垫上的调整将自动与滤波的变化相对应，以便在患者的晶状体和视网膜上显示更精确的图像。这种矫正可以对每只眼睛进行，这样一只眼睛上的显示器与另一只眼睛上的显示器不同，每只眼睛显示器都可以由焦点控制器独立调整。再者，扫描或眼睛跟踪的问题通过将矫正所需的相机在智能接触镜上而得以解决，其随后允许相机输入和显示的图像与眼睛的移动相匹配。

在另一个实施例中，增强视频可显示在透镜上，并且包括中央10度至60度FOV，例如，或任何其它所希望的FOV。这样显示的视频可围绕第一阶段和第二阶段。然后，在第二阶段增强视频的“边缘”上可采用缝合技术，这里，在该示例中，在60度FOV处开始，并且例如在另一个20度FOV上有投影/显示，用于重新插入且分段返回到真实世界而不调整视频。像素映射技术可以更好地保留图像边缘特征，提高真实图像投影的集成精度。因此，用户将具有通过投影视频增强的他或她的中心大多数视觉，而来自中心视觉的视频被重新集成到真实世界非调节视频中，然后在使用实际视觉的最外部外围区域没有视频。

在本发明的一个方面中，包括视觉模型的数据可以过滤或转换，以在建立边界(或多个边界)前消除数据中的噪声或其它不良影响。这个过程可以使用一组预定义的操作自动执行，或者也可以在模型控制器14的操作员的控制下执行。例如，数据可采用一个或多个形态变换过滤。可能的形态变换或操作可包括但不限于：侵蚀，膨胀，开放，形态梯度，顶帽，和/或黑帽。可以使用预先过滤的数据建立初始边界，并且可以在数据被过滤或转换之后建立次边界。初始边界和次边界可以自动比较，也可以由操作者进行比较，以优化所使用的边界。作为选择，布尔运算可用于过滤视觉模型和/或组合边界。

在本发明的另一个方面中，预滤波还可以包括像素处理，通过使用视差滤波器或其他滤波器，仅允许以这样的角度来忽略缺陷区域的像素被用于投影。

在本发明的一个方面中，在模型控制器14或在显示控制器16，阈值是可调整的。如果在模型控制器14处执行，这可提供对操作者的控制。在调整阈值中，操作员可能优化边界。如果在显示控制器16处执行，可提供对患者的控制。这可允许患者调整边界以优化当前条件下的边界。

一种确保数字像素处理的方法精确复制模拟的眼睛，将基准标记连接到驻留在GFH中的诊断系统。基准标记是放置在成像系统视场中的目标，它出现在所产生的图像中，作为一个参照点或一种将模拟世界与数字世界结合起来的度量。它的应用经常出现在像虚拟游戏这样的商业产品中。它可以有时放置在成像主体中或在成像主体上，也可以是在光学仪器的刻线(即被测量的相机和显示器)中的标记或标记集，在这种情况下是可取的。该诊断系统与像素操作系统相结合，使得诊断系统的输入使用户识别为无视力或有缺陷的像素移到另一个位置，如下文所述的更充分解释。在诊断状态下，Amsler网格已经包含在投影到透镜上的软件中。图22显示了视力正常人的样本Amsler网格和AMD患者的样本Amsler网格。

基准标记、鼠标或其他类似设备连接到软件，以便用户看到的可视网格上的位置对应于软件中驻留的虚拟网格。然后，用户通过眼镜观察网格，并利用基准标记识别非视觉空间的确切边缘，然后由基准标记软件或固件转换或识别为必须移动和操作像素和图像的空间。在另一个实施例中，使用可穿戴FOV试验的输出。例如，该实施例可以使用嵌入在可穿戴HMD/HUD显示装置50,60。初始启动和映射例程将通过观察来执行，例如查看Amsler网格或移动对象来检查UFOV或二者，使用现有的FOV映射来修改和优化。眼睛跟踪技术可用于确保更准确的FOV映射和验证固定。由于眼睛的运动速度可达600度/秒，而视屏的最小时间常数约为50毫秒；最小的眼罩可在60毫秒内完成，因此，作为直视系统一部分的“反相机”可以以1kHz的速度对眼睛运动进行采样，这将使系统知道如何在近实时地为空间几何架构和视线偏移线修改输出。此结果可直接用作矩阵映射技术的UFOV的数字输入。

在本发明的另一个实施例中，可以用更简单的形式调整或替换边界32(边界32’，见图6)。例如，用作为一个或多个预设形状和视觉模型的功能建立的边界可替换边界32。模型控制器14可利用一套预定义的形状，例如，矩形、三角形、椭圆，大小为包括有影响的区域。模型控制器14可自动地选择一个或多个形状，或者由操作者的帮助或用操作者的帮助可实现该过程。

参见图7，缺陷或损坏区域24’的形状可为更加复杂。复杂的边界可采用上面识别的阈值过程来建立，或通过某些其它方法来建立。作为选择，开始的边界可自动替换，或者操作员采用一个或多个预定的形状输入，大小覆盖缺陷，或者用用户使用基准标记的结果。在图8的示例中，使用两个形状34A,34B。边界可由结合形状的外边缘形成。

参见图9和10，在本发明的一个方面中，边界32内的图像数据移动到边界32的外面。在图9所示的示例中，建立第一中心点36。中心点36可为边界的实际中心，如果边界的形状为规则的，或者可通过发现或估算由边界限定的形状中心而定义，或者中心点被忽略，并且上面描述的其它项目用于决定像素如何被移动。在一个实施例中，沿着在中心点开始且向外延伸的多个射线37的图像数据移动到边界的外面。值得注意的是，在上述例子中，边界或边界内的区域是有缺陷的。然而，在某些情形下，例如，当周边视力受到影响时，边界内的区域可能与良好的视力相关联，而边界外的区域可能与较差的视力相关联。

在一个实施例中，视网膜地图包括一系列覆盖数字模型的数据点。数据点以规则模式排列在网格中，近似于Amsler网格。每个数据点由一组相对于图像数据的x,y坐标定义。如下面详细解释的，每个数据点都分配了一组坐标转换值(ΔX,ΔY)，用于变换图像数据。每个数据点位于单一射线上，并且一个或多个像素从中心点36向外延伸。对于每个数据点，发现相关的射线，并且根据一套预定的规则建立一套坐标转换值(ΔX,ΔY)。坐标转换值(ΔX,ΔY)在下面的转换方程中用作系数值。

在一个实施例中，来自相机的图像中的视频信息从中心点径向移动。例如，在一个实施例中，图像38的中心点36到边缘的图像数据从边界32压缩(在矫正图像中)到图像38的边缘。因此，射线上的任何数据点的坐标转换值(ΔX,ΔY)可根据中心点36到边界32的距离长度以及从中心点36到图像38的各边的长度计算。这更好地在沉浸环境中工作，在沉浸环境中对移动的“边缘”的关注是不存在的。

在选择性实施例中，坐标转换值(ΔX,ΔY)计算为使视觉信息从中心点不对称地移动。例如，关于图11，中心点36到边界32的视觉信息可移动到由边界32和点32’限定的射线段。边界32和点32’之间的长度可以等于或不同于中心点与边界32之间的长度。在该实施例中，在图像38的边界和边缘之间的视觉信息可以在点32’和图像38的边缘之间被压缩。视觉信息不仅可以向边缘移动，而且可以反向完成，视觉信息也可以向内移动。

一旦建立了坐标转换值，视网膜地图就保存在数据库12中且传输到显示控制器16。在使用中，视网膜地图然后用于转换从相机接收的图像，并且生成矫正后的图像。矫正后的图像然后通过显示单元18实时显示。

在本发明的一个方面中，可视信息在每个数据点被转换(或移动)。数据点之间的视觉信息可以使用样条函数(例如B样条函数)进行转换，以在数据点之间插值可视信息。在本发明的另一个方面中，与被移动的图像的数据部分相关的像素被缩小为较小的像素，这样移动的像素和预先存在的像素在显示器上占据相同的空间。或者，所移除的和替换的像素可以交错成由两个子字段组成的视频帧，每个子字段依次扫描在图像传感器的奇数行和偶数行处。在本发明的另一个方面中，像素可以通过固定的视差屏障、预滤波的光显示或可切换的液晶屏障或显示器进行操作。视差屏障将抵消具有不理想角度的像素，并允许具有正确投影角度的光线携带像素通过视网膜。同样，其它技术只允许某些射线穿过视网膜，这些光线可用于像素的切割和重新定位。在本发明的另一个实施例中，使用的处方包括在每个相机透镜中，以便在透镜段使用小透镜、渐进式透镜、双焦距或三焦透镜等在本专利中识别的其它修改之前或同时进行矫正。

显示控制器，在生成矫正图像中，作为数据点序列的函数，将矫正后的图像中的视觉信息在边界内的第一区域转移到边界以外的第二区域。坐标转换值用于将边界内存在的图像数据转移到边界以外的区域。在上面的示例中，第二个区域定义为图像中位于边界之外的任何区域。

在另一个实施例中，第二个区域可以根据视觉模型中的数据来定义。例如，第二个区域可以根据视觉模型中的数据来定义。在一个示例中，第二边界可根据满足预定标准的视觉模型建立。例如，视觉模型内的区域可以在网格30中建立单元28，其值满足预定标准。在上面的示例中，例如，第二个边界可以包含网格30中的一个区域，其中单元格28的值为3(或其他阈值)或更少的。在该实施例中，第一边界32内的信息(按比例或不成比例地)移动到由第二边界定义的区域中。图4C和图4D示出了由第一区域32A定义的区域和由第二区域32C定义的区域的示例。在两个示例中，区域32A或32C中的一个区域中的可视信息可移至或进入所述区域32A、32C中的另一个区域中的另一个区域。在所示示例中，图4C中的第二边界已经用图4D中的简单形状/形式替换。

在本发明的一个方面中，显示控制器16和显示单元18可以在合适的用户可穿戴设备中实现，例如智能眼镜或头戴显示器(HMD)。在所有情况下，这些硬件可穿戴平台都包含可穿戴眼镜，其中包括一个或两个前装相机和板上微型处理器，显示供眼睛观看的技术。此外，这些通常是供电的电池，以及能够插入到个人电脑，以便通过USB电缆等上传信息，和/或用于充电。这也可能包括HUD(头上显示器)，例如，来自Meta的产品可以戴在患者现有的眼镜上，配上处方透镜62，以便在正常视力的两种模式和增强的IDM(图像失真图)视觉之间移动。作为选择，虚拟视网膜显示器可能用来将光子直接投射到视网膜上，或者“智能”接触镜可以投射戴在眼睛上的图像。可以使用任何适当的方法或装置将矫正图像呈现给眼睛或将图像显示到眼睛上。作为选择，呈现给患者的图像可能是不透明的，因此外部世界是不可见的。

参见图12和13，在一个实施例中，显示控制器16和显示单元18实施在由患者佩戴的示范性头戴式显示(HMD)装置50中。在所示的实施例中，HMD装置50包括一套可穿戴眼镜52，包含一个或两个向前安装的相机54。显示控制器16可安装到HMD框58，并且包括板上微处理器。显示单元18包括用于眼睛观看的适当显示器。一个或多个输入或控制按钮可提供为与适当的菜单结合工作，并且软件控制显示单元18上的显示，以允许患者/用户改变选项。HMD装置50可为电池供电，并且可包括USB电缆或适当的端口62，例如，连接到计算机传输数据和软件和/或用于电池充电。

参见图14，显示控制器16和显示单元18也可实施在头上显示器(HUD)显示装置60，例如，由Meta Vision提供，这可以戴在患者现有的眼镜上具有处方透镜，以便于在正常视力和增强的IMD视力两种模式之间移动。HUD显示装置60是头戴式的，并且可包括不同的显示技术，例如分开的LCD或LED型显示器。HUD显示装置60可以将显示器嵌入到覆盖图像的眼镜的实际透镜上，以便与外部世界一起查看增强显示。

参见图15，在本发明的另一个方面中，提供根据本发明一个实施例的方法M10。在第一步骤S10中，由模型控制器14建立与患者相关的视觉模型，并且保存在数据库12中。视觉模型包括与患者视力的质量相关的数据。在第二步骤S20中，由模型控制器14建立至少一个边界，作为与视觉模型相关的数据的函数。至少一个边界表示在患者视觉内要矫正的区域。在第三步骤S30中，模型控制器14建立视网膜地图，作为边界的函数，并且将视网膜地图保存在数据库12中。数据库可结合在半导体芯片中，也可为相机芯片中的现有空间。

在第四步骤S40中，来自与患者相关的一个或多个相机的图像由显示控制器16接收。给图像施加基于视网膜地图的图像矫正，并且在第五步骤S50中生成矫正后的图像。在第六步骤S60中，矫正的图像在显示单元18接收且呈现给患者的眼睛。

系统10和方法M10，通常，重新映射由相机捕获的图像的部分，这些部分将被患者眼睛的受影响部分观看，映射到患者视力的外围部分或未受影响的部分，或者可选择地映射到患者视网膜的另一部分。通过这一映射正确，执行患者的大脑适应迅速和有效的中心(或周边)视觉被模仿。这用向前看相机作为捕获真实世界图像的传感器来实现。本发明的系统10和方法M10移动像素以形成一个矫正的图像或一系列图像，这些图像显示在安装在头部设备上的微型显示器上，例如快速适应增强现实和虚拟现实眼镜。这个过程都是非侵入性的，只依赖于眼镜中的处理器、重新映射软件、以及患者通过直接观察微显示器的大脑处理能力。所用的显示装置可实施在头装装置中，其适当的示例是由一些公司所提供的，例如Sony、Epson、Facebook、Google等，利用各种显示技术，例如LED、LCD、OLED、光子视网膜显示器、虚拟现实显示器和头上显示器。

视场影响

为了使本发明的像素重映射技术能够正确地增强中心视力(对于黄斑变性病例)和其他失明情况，必须以数字方式生成UFOV(可用视场)的初始映射，应该注意的是，本发明不局限于从中心区域到外围区域的映射，在某些情况下，周边视觉受到影响，映射可以从周边区域到中心区域。完成这项任务有多种方法，在所有情况下，初始检查、映射和校准都必须转换为数字文件，然后使用该数字文件构造UFOV的边界。UFOV被视为清晰的边缘或可用视觉的轮廓，而不是退化的。然而，这个边界可能是部分视觉的等级评估和确定的结果，然后解释为构造UFOV边界。然后利用这个UFOV边界作为IMA(图像映射算法)的基线来确定有效中心视觉可以映射到的区域以及现有的有效周边视觉。有许多方法来构造初始的UFOV边界条件，无论是通过直接的数字手段还是通过手动方法，然后可以转换成一个数字文件。在其中一些情况下，可由受过训练的医学专业人士，例如医生办公室的验光师或眼科医生，进行FOV测试。在其它情况下，自动化的FOV测试则可采用适当的数码技术进行。在第三种情况下，受过训练的专业人士可手动管理FOV映射测试，以产生UFOV。任何和所有这些个案均可用于产生所述的UFOV。

关于图18，通常的过程实施在方法M20中。通常的过程如下：

1.可穿戴GFH放在患者的头上且放在用于FOV映像的“诊断”模式。(步骤S70)

2.可穿戴GFH连接(通过外部电缆或无线通信模式)到患者反馈装置，例如具有鼠标的PC、平板电脑或移动电话(步骤S80)。或者，声音识别技术，患者给系统口头反馈，其识别命令、线索和指令，并自动完成FOV映射。

3.自动映射例程被初始化(步骤S90)。

4.眼睛跟踪和固定在整个FOV映射过程中被监测，以确定有效的结果。鉴于黄斑变性攻击中心视觉，重要的是固定和焦点测试也是在周围视觉上通过标记或目标执行。有效的结果可以通过一个二次反馈回路来驱动，方法是不断地监视固定和只使用有效的视觉数据点来映射UFOV，并根据需要重新测试以开发整个UFOV映射(步骤S170)。

5.首先对左眼(或右眼)进行FOV映射测试，通过在Amsler网格上使用视觉移动来查看图像扭曲或直线的位置(步骤S100和S110)。作为选择，通过反馈装置，产生闪烁物体以显示患者视力的不同点，以确定视觉灵敏度。这是在不同水平的强度下进行的，以验证视力下降的程度。见图19和20。作为选择，一个目标通过一系列的排序和反馈被移动，确定目标何时从模糊不见变得清晰，有效地创建视觉地图的渐变。见图21。作为选择，显示持续扩张的球体，直到边缘对患者变得明显可见。通过反馈装置对边缘进行操作，直到确定UFOV的边缘为止。后两种情况提供了更快达到FOV映像的优点，以便以后在可穿戴中使用。使用更快的绘图程序，系统不太可能因患者缺乏注意力造成固定错误。这也为更频繁地调整UFOV映射提供了更快的校准，以优化性能。可以利用患者操纵FOV边缘的能力来实现的另一优点是更好地个性化对其特别痛苦的校准(步骤S120)。

6.然后对另一只眼睛给予相同的测试(步骤S130、S140、S150)。

7.这些结果是在验证眼睛跟踪和注视的基础上被验证有效或无效的，而眼睛跟踪和注视是在进行眼睛测试的同时进行的(步骤170)。

8.然后生成数字FOV(步骤160)。利用语音识别技术可以生成自动映射和数字FOV映射，患者对系统进行口头反馈，从而识别命令、线索和指令，并自动完成FOV映射。

本发明教导使用一个或多个相机来捕捉用户的大致视线，并通过眼镜或透镜将经过矫正的像素操纵版本的真实世界显示到用户所看的眼镜或透镜上。当视线不精确时，则使用软件重新对齐图片或视频，使其最接近眼睛的实际视线。作为选择，智能接触镜与透镜中心上的相机一起佩戴。

此外，还使用软件对空间几何架构矫正进行矫正，以便对图像进行矫正，以便当眼睛看远距离时，而不是在看接近的东西时对图像进行矫正。在这些情况下，观看眼睛或一只眼睛的相机跟踪眼睛的位置并将信息发送到控制子系统。

在本发明的一个实施例中，智能接触镜与眼镜连接使用。智能接触镜(图23,26)具有位于视力受损或不存在的区域中的相机。以这种方式，将显示在透镜上的图像与正常视觉的其他部分具有相同或接近相似的方面，因为相机与每个眼球一起运动，并且当用矫正图像投射时，可以近似于现实世界的视觉。

在本发明的另一个方面中，可采用两个以上的相机。两个或多个相机可用于创建立体视觉或简单地将相同的矫正图像投射到两只眼睛。每只眼睛可以使用一台以上的相机的原因是，每个相机都会产生自己的失真，而相机捕捉到的FOV越大，失真就越大。因此，在为两只眼睛显示的一幅矫正图像的示例中，可以引入较小的失真，由两个相机捕获以创建从小于100％FOV到超过200％FOV的整个FOV。这是因为容易使用简单的现有程序将来自两个相机的图像“混合”或“缝”在一起，而不是使用一台相机，它最初必须捕获高达220％FOV的图像，然后矫正透镜的失真。这种方法也可以与下面描述的用于使用智能接触镜的方法一起使用，其中智能接触镜可以使用一台相机对两只眼睛进行矫正显示，或者可以为每只眼睛使用一台相机进行双矫正显示，或者为每只眼睛/接触镜使用一台以上的相机来显示每只眼睛或两只眼睛。除了一个或多个相机的定位之外，本发明还教导可以使用软件/固件来矫正投影图像以获得视点纵横比，这意味着使投影图像看起来就像在眼睛的视线中捕捉到的那样。使用智能接触镜与相机放置在患者视力的中心无视力部分(中心视力或黄斑视力，见图23)，还矫正用于三角形和空间几何架构的显示图像，以便单体或立体图像可精确地显示在眼镜/透镜上或直接进入视网膜并与患者自己的视力一致。

无论相机位或多个相机于哪里，无论是在智能接触镜上，还是在人上，还是在眼镜或眼镜架上，都捕获真实世界的图像，然后根据矫正修改软件/硬件进行修改，然后将其显示在眼镜或眼镜的一部分视场上。这可以在一个透镜或两个透镜上进行。以这种方式，用户通过眼镜观察现实世界的视觉，同时也会在眼镜的一部分或透镜上显示一个增强的操作和矫正版本(对于那个患者/用户)，其中只需要修改视场中需要调整的部分。在该专利中的新发明的目的是确保存在一些外围视觉，其中真实的世界图像被重新引入患者FOV，该FOV未经修改地通过眼镜以及在眼镜/透镜周围观看，从而人可以使用这种外围视觉来避免危险，确保接近导航并且能够管理台阶或其它障碍物或看到危险。

在眼镜、透镜或视网膜上的矫正显示可以通过使用透明OLED材料技术的眼镜或透镜来完成，或者例如苹果公司的

HiDPI模式显示器的技术，其中用户界面图像在宽度和高度上加倍以补偿较小的像素。在本发明使用字像素的情况下，也意味着信息射线发射的图像和光的元件传播到眼睛和视网膜。

此外，通过在透镜上使用波导影象投射不透明影像的透视技术，或利用镜子将影像投射在清晰透镜上，或在人的处方透镜上贴上清晰的背投胶卷等技术，也是合适的，此外，也可采用直接将影像投射到视网膜内的技术。所有这些的目标都是从受损的黄斑内的无视力部分中移除图像，如图24所示，该图像约占中心FOV的18’％，并将这些图像移动到包含大约60％的FOV(减去18％的黄斑视力)的近外围部分，然后将非操纵图像重新引入包含约120％FOV的中间边缘视力，并在远周边区域不留下投影，后者包括最外层的220％FOV，所有这些在头脑中结合在一起形成一个同质图像。

以这种方式，仅具有像素处理视频的需要处理的30％到60％FOV被增强了，叠加在透视透镜上，留下患者的中和远周围视觉的实际真实世界图像，从而患者可以看到台阶、行走、移动和协商他或她的真实世界环境。虽然这里说明了估计30％至60％的FOV被处理，但实际上，从低于1％到超过100％的FOV可能需要被处理，这取决于患者的受损或缺失的FOV视力，以及对FOV的调整，需要对该缺陷作出纠正。同样，对图像的去修改可以发生在患者的近、中、远周边视力，这是必要的，以获得最佳的视力。

本发明教导，将合并的增强和处理的像素视频信息叠加到某种类型透过透镜直接叠加到视网膜上。这种增强视频显示器，试图尽可能被限制在近周边视觉，包含比原来存在于现实世界更多的FOV视觉信息(像素化或其他)。这是增强视频显示，然后与非操纵的真实世界的信息合并，这些信息已经可以适合于通过透视透镜。

在合并的情况下，增强视频，是已经进行了像素处理、显示的FOV信息比现实世界存在更多的视频，与现实世界视频信息合并以创建“混合现实”显示，从而患者在眼镜、透镜或视网膜上看到图像处理过的增强视频，然后慢慢地重新融合到现实世界的视频中，尽可能地与患者的真实世界、没有修改的视觉相匹配，所有这些都在头脑中结合在一起，形成一个同质的矫正图像。

在本发明的另一个方面中，不使用眼镜或透镜，图像显示在智能接触镜上，后者从接收视频的远程源接收视频，处理图像并将修改后的图像重新投影到智能接触镜上，供患者查看。

在本发明的另一个方面中，诸如波导投影透镜、镜面投影透镜、透明OLED透镜或施加到透镜上的膜(例如3M反向投影透明薄膜)的透镜，其上要显示视频或图像，可以被胶合或类似地附着于患者的矫正透镜，使得患者将处方矫正的真实世界图像和视频投影的增强图像两者同时看到，所有这些图像组合在一起以创建一个均匀的图像。

在本发明的另一个方面中，像素算法被用来利用投影的FOV的外部边界来分散增强的视觉信息，通过跳过一些(而不是所有的)像素，允许通过透视眼镜或透镜查看真实世界的信息，从而产生一种“混合现实”的合并效果，将真实世界的图像与增强视频合并到眼睛。

在本发明的另一个方面中，规定性(prescrip)矫正透镜可以与“混合现实”透视透镜一起佩戴，而不需要粘贴或直接固定。在这种情况下，他们的矫正透镜将有一种机构，以“插入”或以其它方式保持矫正透镜在附近的增强“混合现实”透镜内。.

在本发明的另一个方面中，接触镜，其上可观看增强图像，可与患者自己的验光眼镜和/或透镜一起使用。

在本发明的另一个实施例中，这个处理过的真实世界的视频将显示在透过眼镜上，并改进以前存在的封闭护目镜，以便将处理过的视频信息与真实世界的视觉信息融合在一起。

模型控制器进一步被配置为在FOV中的某个地方建立一个边界，作为与增强视觉模型相关的数据的函数。边界表示在患者的视觉中要纠正的区域，其中要纠正的区域包含比在现实世界中的相同FOV中原来存在的更多的视觉信息。换言之，为了纠正患者的有限FOV，来自患者不能看到的区域的图像或像素被包含在患者可以看到的FOV中。

在本发明的一个实施例中，这发生像素总尺寸的减小以能包括处理的像素。在本发明的另一个方面中，像素的尺寸相同，但是逐个像素管理以包括其它视觉信息。

在本发明的一个实施例中，例如，在增强视频与现实世界视觉的矫正和合并的情况下，黄斑变性患者将使用隔行视频而不是渐进视频协议，被删除的像素驻留在交替的隔行区中。

模型控制器进一步配置为将视网膜地图建立为边界的函数，并将视网膜地图存储在数据库中。显示控制器被配置为接收和存储视网膜地图。显示控制器还被配置为从与患者相关的一个或多个相机接收图像，并根据视网膜地图对图像进行矫正，且相应地生成矫正图像。显示单元连接到显示控制器，并被配置为接收矫正图像以将矫正图像呈现给患者的眼睛。

在其它实施例中，提供一种方法。该方法包括由模型控制器建立与患者相关的视觉模型且在数据库中保存视觉模型的步骤。视觉模型包括与患者视力质量相关的数据。该方法还包括由模型控制器建立边界的步骤，边界作为与视觉模型相关的数据的函数，边界表示患者视力内要矫正为矫正FOV的区域，其中增加从患者FOV的看不见区域去除的其它像素。

该方法还包括如下步骤：由模型控制器建立视网膜地图，视网膜地图作为边界的函数，并且将视网膜地图保存在数据库中，显示控制器从与患者相关的一个或多个相机接收信息，根据视网膜地图对图像施加矫正，并且相应地生成矫正图像。此外，该方法包括在显示单元接收矫正图像且将矫正图像呈现给患者眼睛的步骤。

在再一个实施例中，一个或多个非临时计算机可读存储介质具有实施其上的计算机可执行指令。当至少一个处理器执行时，计算机可执行指令引起至少一个处理器通过模型控制器建立与患者相关的视觉模型且将视觉模型保存在数据库中。视觉模型包括与患者视力质量相关的数据。建立边界，作为与视觉模型相关的数据的函数。边界建立为与视觉模型相关的数据的函数，边界表示患者视力要被矫正的区域。视网膜地图建立为边界的函数。来自与患者相关的一个或多个相机的图像在显示控制接收。根据视网膜地图对图像施加矫正，并且生成矫正后的图像。矫正后的图像呈现给患者的眼睛。

工业应用性

参见附图且在操作中，本发明提供系统和方法，拉伸、倾斜和处理要投影在眼睛上的图像以避开视力修复或斑点的无视力部分，并且定向到其余的中心视觉，黄斑视觉和近周边视觉。本发明人发现，应当去除移位的像素或图像，但是尽可能地将其替换为接近原始位置。在这种情况下，中心视觉区域通常被称为包括眼睛的中心5度FOV，中心旁区是眼睛视觉的最中心8度，并且黄斑视觉是眼睛视觉的中心18度。典型地，对于AMD患者来说，眼睛的缺陷就在这些区域内。在黄斑视力的外部是所谓的眼睛的近周边区域，其中包括眼睛的FOV的相邻30度。如果可能的话，因为眼睛的感受器与眼睛的中心部分最相似，所以像素或图像的位移应该在眼睛的近周边视场。

整个中央凹区，包括中央凹窝、小凹斜面、凹孔和周凹，被认为是人眼的黄斑。这是由于黄斑变性而被破坏的。对于眼科医生来说熟悉的是一种黄色的色素沉着，称为黄斑。黄斑被认为是一种短波长的滤光器，附加到由透镜提供的黄斑区。凹凸是人类视觉的视网膜中最重要的部分，它包含短波长受体细胞、中等波长受体细胞和长波长受体细胞。因此，中心大约10度的眼睛FOV投射到大约3毫米的视网膜中央，或中央凹半径为1.5毫米的区域，位于0°偏心处。该区域略大于包含黄斑色素的区域，黄斑直径为4-6°(黄斑)或黄斑部。中央凹与光感受器层的峰值锥密度区域大致重合，一般集中在一个没有视网膜血管的小区域--“凹无血管带”(FAZ)。因此，像素或图像的重新定位必须尽可能集中在该区域剩余的非缺陷区域，因为这个区域中的锥非常密集，看起来几乎像棒状物体。再者，与细胞结构和神经节的关系与眼睛的任何其他区域相比，都是不相上下的一对一的，因此，如果忽略了中央凹区的可见部分，只会使“空洞”变大，就会使图像变得不那么清晰。

为此，软件不应该仅仅像椭圆形或圆圈那样“切割一个洞”作为同质观看空间，而是必须尽可能精确地将像素和图像从非目视区域移除，并在下一个最接近视力的区域替换它们，尽管这可能需要高度不规则的模式。图25示出了这是如何处理的。这样，中央凹和黄斑的其余有视力的部分被用来突出修改后的图像，以充分利用眼睛的这一特殊区域。

如果该疾病已经进展，那里没有残留的黄斑或中央凹区，那么图像将被移位并投射到最近的区域，那里有最高浓度的锥体。

视杆和视锥在视网膜表面的分布对黄斑变性的矫正也有重要影响。通常情况下，人类视网膜中的杆数约为9100万，视锥的数量超过大约450万个。因此，视网膜的大部分区域都有较高的杆密度，而视锥则更多地集中在眼睛的中央视觉部分。因为白天的视觉和视力高度依赖于锥介导的视觉，所以对修改后的图像和视频的传输比其他任何包含最多锥的区域都更好，以获得最佳的增强视力。

因为视锥与视杆的关系在直径约为1.2毫米的中央视网膜高度专业化的中央视网膜中心的中央凹区域(黄斑)发生剧烈变化，所以这是重新定位的增强像素和图像的第一个焦点区域。在中央凹中，锥密度增加了近200倍，达到视网膜中心处最高的受体填充密度。凹内锥密度的增加伴随着视杆密度的急剧下降。事实上，中央300μm的中央凹，称为小凹，是完全没有杆的。因此，本发明的一个重要方面是尽可能地将像素或图像替换到尽可能相似的眼睛区域，从而将眼睛对图像的感知投影到尽可能接近受损区域的区域，如杆和锥。

为了适应这个特定的位移区域，最多15度(通常患者没有整个黄斑区缺陷，至少在早期阶段，从而15度通常是一个外部范围，5到8度是更典型的)额外的像素和图像必须放置在离无视力区域最近的30度FOV范围内。

作为选择，如果没有一个区域存在锥体集中，那么图像必须移动到下一个最好的地方，即近周边和视网膜的周边受体。作为选择，图像可以以不规则的方式倾斜到视网膜的相邻部分，这是最接近缺陷区域的。这样，整个图像就会投射到正常的视网膜感受器上，避免了黄斑的任何卷入。根据本发明实施例的系统和方法创建全部图像的失真图，并且将其投影到眼睛的周边，而避开黄斑。可以通过使用计算机辅助的90度3D或类似的高清晰度护目镜或眼镜来完成，也可以通过光子投影将图像的虚拟视网膜显示在眼睛的视网膜上。

在本发明的一些实施例中，倾斜投影的方法和方式依赖于具有多达200万像素的外部透镜，这种分辨率仅在超高清晰度电视和平板电脑上才能看到，它们提供了将整个图像放置在周边视网膜感受器上所需的分辨率，以便由光学神经和大脑进行分析。

再者，为了引入透视，可以使用两个相机，而现代的护目镜和眼镜可以接受多个图像接口和/或信号。因此，计算机处理后的图像被实时采集，并实时显示给患者。

此外，护目镜和/或眼镜可用于容纳像虚拟视网膜显示器、视网膜扫描显示投影、和/或视网膜投影仪技术这样的技术，视网膜投影仪技术都使用视网膜投影上的光子，在这种情况下，将由IDM(图像失真图)调制到人的特定的视网膜地图，使得有意失真的图像将被投影到眼睛的具有这种方式的最佳视觉接收的区域上。以这种方式，您可以通过光子直接将图像投射到周边视网膜的一部分，该部分在黄斑变性患者中仍处于活动状态，使用了一种技术，例如虚拟视网膜显示(VRD)，也称为视网膜扫描显示(RSD)或视网膜投影仪(RP)。当结合这些技术时，由图像失真图调制的人的特定的视网膜地图可通过将光栅显示器(如电视)直接绘制在眼睛的视网膜上的技术来显示，并且在这种情况下，在眼睛的视网膜的可用部分上。关于VRD、RSD或RP，患者用户看到看起来是在它们前面的空间中漂浮的常规显示器，其被矫正为黄斑的丢失，但是仍然向患者提供了观察其它外围障碍的能力，诸如在患者的前面照相机未聚焦的台阶。另外，护目镜和/或眼镜可以用于容纳虚拟视网膜显示、视网膜扫描显示投影、视网膜投影仪(和/或)等技术，这种技术都是利用光子在视网膜投影上进行的，在这种情况下，会根据人的特定视力损失，通过像素操作来调节。通过这种方式，你可以通过光子将被处理的图像直接扫描到周边视网膜中仍在黄斑变性患者中活跃的部分。这些光子可由眼镜中的相机投射，也可由智能接触镜投射，它们可能接收到或不接收到来自GFH的信息、能量和连接。

另一个优点是，这些类型的宽视场护目镜或眼镜可以与一个或多个相机一起使用，后者通常是头戴式的。这类眼镜的另一个优点是，它们可以与邻近传感器运动传感器，头和眼跟踪相结合，这一特性有利于理解用户的特定视场进行调整，并通过三角剖分测量距离。例如，在人眼中，当图像靠近脸部时，图像就会会聚在一起，这意味着每只眼睛捕捉到的图像开始与另一只眼睛的图像重叠。在3D相机的应用中，这种收集性并不总是被考虑在内，传感器也可以用来自动改变呈现给视网膜的视场，即虚拟变焦，以确定在另一个人近距离时的面部特征。当与用户界面结合使用时，变焦、倾斜或其他操作特征可以用用户选择的简单方法来选择，以在各种环境中获得视力。还可以针对每只眼睛选择差别化调整。或者，可以利用顺序相机图像上的比较技术来使用软件派生的接近和运动感知。

因此，本发明教导，一台相机可以用于单目图像的捕获和显示。此外，本发明教导，你可以使用两个相机在护目镜/眼镜上模拟真实的立体视觉，其中IDM(图像失真映射)模型包括对极曲线的因子矫正，由空间几何架构引导，从而可以使用和显示且看到由两个或多个相机生成的立体视觉。

本发明使用以矩阵畸变或其它类似方式倾斜和拉伸的计算机辅助视频图像，将图像的大部分或全部通过打开图像中心并将其操作到眼睛的周边椎而放到患者的周边视觉，如患者在投影图像中所见，以便将拍摄到的视频图像投射到视力仍在活动的眼睛中视锥边缘。本发明的优点是不需要侵入过程，而且随着MD的改变，软件可以被调整，使图像现在正确地倾斜。提供实时反馈是本发明的另一个优点。

按照本发明所教导的方式，所观看的体验使得用户几乎不可能区分实际看到的内容和由失真图创建的图像。

因此，将矫正后的图像反射到患者佩戴的3D或高清晰护目镜或/或眼镜上，进行图像的扩展和/或多侧向偏移。图像通过IDM(图像失真映射)模块进行倾斜，以避免投影到涉及黄斑的眼睛区域，但仍然拥有所有的图像信息，想象一下这一过程，想象一幅打印在可伸缩和可压缩物质上的图像。一个洞在图像的中间切割，并被伸展开。这使得图像被压缩到图像的侧面。因此，图片中的所有信息都还在，只是重新排列中间的一个洞，然后把图像移动到侧面、顶部和底部。这个“切孔”是通过算法和计算机软件/固件技术完成的，例如使用像上面提到的图像失真映射这样的技术。

在一个实施例中，该过程将二维图像(或视频)中的每个像素从摄像机中映射出来，并将该像素映射到显示器上的新像素位置。在另一个实施例中，仅重新绘制数据点。使用在数据点之间插值数据的预定义函数来变换其它图像数据。

IDM模型获取描述护目镜装置(每只眼睛，在眼裂谷上)的透镜中心(称为“lCr”)的矢量值(数字)，以及显示的视场，并返回定义如何扭曲图像以使黄斑变性的人更容易看到的矢量对象。关键要素是将相机坐标中的图像(像素)坐标和三维射线之间的映射定义为图像坐标的非线性函数的线性组合。这允许线性算法估计非线性模型，并创建一种方法对图像进行失真，使图像具有典型的“(圆)孔”或“切割”，或者通过移动像素坐标来实现图像中心的几何畸变区域，从而使整个图像被扭曲并映射到被切割的孔周围，或补偿因泄漏容器而造成的几何失真。该图像是如何被精确切割和重新排列的，是通过与被试进行测试来完成的，这样就可以尝试使用尽可能多的外周视网膜感受器。这个图像失真图(IDM)模型因此成为了那个人指定的视网膜界面(PRI)。

本发明具有无创伤性、可穿戴或不穿戴等突出优点，由于是外部的，因此更容易调整和保持微调，并且可以根据MD患者在调整时的反馈实时调整将图像拉伸和倾斜到PRI的图像和算法。

在本发明的另一个实施例中，活性视网膜受体是通过系统评价或已知的处方来识别的，使用视网膜中影响所需的精神和视觉印象所需的最低数量的感受器来增加视刷新率，通过在少于所有感受器上显示图像来实际提高刷新率。

在本发明的另一个方面中，在数据库中保存和/或分析或跟踪各种FOV映射。数据库可保存在云中。基于知识库和决策树的公式可以用来分析FOV映射，而FOV映射的一个或多个可以作为患者的起点。使用上述方法的一个或多个可以对所选的FOV映射进行精细调整。根据患者的视觉模型、共同趋势和数据中的异常值，可以选择来自数据库的FOV作为起点。FOV模型可以根据识别的公共边界分类和/或选择。不同的FOV映射的输出，即最终矫正的图像，可以利用患者输入来分析，利用比较和消除的过程，同时观看期望的真实世界图像，即面部图、文本图表等。

本文如上所述的控制器、计算装置、服务器或计算机包括至少一个或多个处理器或处理单元和系统存储器，这可为个人电脑、服务器或其它计算装置的实施例。控制器通常还包括至少某种形式的计算机可读介质。例如但不限于，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质可以包括易失性和非易失性、可移动和不可移动的介质，这些介质是在允许存储信息的任何方法或技术中实现的，例如计算机可读指令、数据结构、程序模块或其它数据。通信介质通常在调制的数据信号中包括计算机可读指令、数据结构、程序模块或其它数据，如载波或其它传输机制，并包括任何信息传送介质。本领域技术人员应熟悉调制数据信号，其具有其一个或多个特征组或者以在信号中编码信息的方式改变。上述任一种的组合也包括在计算机可读介质的范围内。

这里所示和描述的本发明实施例中操作的执行顺序或执行顺序并不是必要的，除非另有说明。也就是说，除非另有规定，此处描述的操作可以按任何顺序执行，并且本发明的实施例可以包括比这里公开的操作更多或更少的操作。例如，预期在另一操作之前、同时或之后执行或实现特定操作在本发明的各方面的范围内。

在某些实施例中，这里描述的处理器或控制器包括任何可编程系统，包括系统和微控制器、精简指令集电路(RISC)、应用专用集成电路(ASIC)、可编程逻辑电路(PLC)以及能够执行本文所述功能的任何其它电路或处理器。上面的示例仅为示范性的，并且因此不意味着以任何方式限制术语“处理器”的定义和/或意思。

然而，这些装置和方法已经关于图纸和权利要求进行了描述，应该理解的是，除了这里所示或建议的那些外，其它和进一步的修改可以在本发明的精神和范围内进行。

Claims (17)

1.一种可穿戴式图像处理系统，包括：

相机输入系统；

图像投影系统，其中所述图像投影系统可由用户佩戴；以及

处理器，与所述相机输入系统和所述图像投影系统通信，使得所述处理器能从所述相机输入系统接收图像，修改所述图像以产生修改后的图像，并且在所述图像投影系统上显示所述修改后的图像。

2.如权利要求1所述的系统，其中所述相机输入系统包括接触镜，所述接触镜上安装有相机或嵌设有相机的至少一部分。

3.如权利要求1所述的系统，还包括眼跟踪相机，其中所述眼跟踪相机能跟踪用户眼睛的运动，并且所述系统能调整所述相机输入系统，使得由所述处理器从所述相机输入系统接收的所述图像基于所述用户眼睛的运动。

4.如权利要求3所述的系统，其中所述眼跟踪相机设置为使其在使用期间指向所述用户的眼睛。

5.如权利要求3所述的系统，还包括由所述处理器使用的软件，以根据来自所述眼跟踪相机的眼跟踪数据调整显示的修改后的图像。

6.如权利要求3所述的系统，其中修改图像包括矫正空间几何架构和视线。

7.如权利要求1所述的系统，还包括头饰，其中所述头饰容纳所述图像投影系统。

8.如权利要求7所述的系统，其中所述头饰容纳一个或多个下列传感器：运动传感器、自由度传感器、手势识别传感器、基准标记传感器、加速度计传感器、红外传感器、运动传感器、警报传感器、陀螺技术和相关传感器、位置跟踪传感器、声音传感器、光量传感器、磁传感器、声传感器和/或惯性传感器。

9.如权利要求7所述的系统，其中所述头饰容纳一个或多个下列子系统：头和眼跟踪；手与臂跟踪；身体跟踪；和/或环境映射接口。

10.如权利要求7所述的系统，其中所述头饰容纳所述处理器。

11.如权利要求7所述的系统，其中所述头饰容纳所述相机输入系统。

12.如权利要求7所述的系统，其中所述头饰能佩戴在用户的头上，并且像眼镜一样定位在所述用户的眼睛和鼻子上。

13.如权利要求7所述的系统，其中所述头饰为头盔且所述显示器是面罩。

14.如权利要求1所述的系统，其中所述相机输入系统包括摄像机、静态相机、夜视摄像机、红外摄像机、热成像相机、3D相机或它们的任何组合。

15.如权利要求1所述的系统，其中所述系统能记录来自所述相机输入系统的图像。

16.如权利要求1所述的系统，其中所述图像投影系统能同时显示至少一部分所述图像和至少一部分所述修改后的图像。

17.如权利要求1所述的系统，其中修改图像包括矫正眼缺陷。

Images