CN117770757A - 光场处理器系统 - Google Patents

光场处理器系统 Download PDF

Info

Publication number
CN117770757A
CN117770757A CN202311801820.6A CN202311801820A CN117770757A CN 117770757 A CN117770757 A CN 117770757A CN 202311801820 A CN202311801820 A CN 202311801820A CN 117770757 A CN117770757 A CN 117770757A
Authority
CN
China
Prior art keywords
light field
eye
user
wearer
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311801820.6A
Other languages
English (en)
Inventor
J·G·麦克纳马拉
N·E·萨梅茨
N·U·罗柏纳
E·拜伦洛特
C·M·哈利西斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of CN117770757A publication Critical patent/CN117770757A/zh
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0025Operational features thereof characterised by electronic signal processing, e.g. eye models
    • GPHYSICS
    • G02OPTICS
    • G02CSPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C7/00Optical parts
    • G02C7/02Lenses; Lens systems ; Methods of designing lenses
    • G02C7/024Methods of designing ophthalmic lenses
    • G02C7/027Methods of designing ophthalmic lenses considering wearer's parameters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0041Operational features thereof characterised by display arrangements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/02Subjective types, i.e. testing apparatus requiring the active assistance of the patient
    • A61B3/028Subjective types, i.e. testing apparatus requiring the active assistance of the patient for testing visual acuity; for determination of refraction, e.g. phoropters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/1015Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for wavefront analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/13Ophthalmic microscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • GPHYSICS
    • G02OPTICS
    • G02CSPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00Non-optical adjuncts; Attachment thereof
    • G02C11/10Electronic devices other than hearing aids
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/04Generating or distributing clock signals or signals derived directly therefrom
    • G06F1/14Time supervision arrangements, e.g. real time clock
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/011Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0132Head-up displays characterised by optical features comprising binocular systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0181Adaptation to the pilot/driver
    • GPHYSICS
    • G02OPTICS
    • G02CSPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C2202/00Generic optical aspects applicable to one or more of the subgroups of G02C7/00
    • G02C2202/22Correction of higher order and chromatic aberrations, wave front measurement and calculation

Abstract

本公开涉及光场处理器系统。公开了一种可穿戴的眼科装置。该装置可包括面向外的头戴式光场相机(例如,16),以接收来自用户周围环境的光并生成数值光场图像数据。该装置还可以包括光场处理器(例如,76),以访问数值光场图像数据、以获得用于用户眼睛的光学处方并基于光学处方计算地将一定量的正或负光焦度引入数值光场图像数据以生成修改的数值光场图像数据。该装置还可以包括头戴式光场显示器(例如,62),以生成与修改的数值光场图像数据对应的物理光场。

Description

光场处理器系统
本申请是申请日为2017年7月24日、PCT国际申请号为PCT/US2017/043552、中国国家阶段申请号为201780060450.1、发明名称为“光场处理器系统”的申请的分案申请。
优先权文件
本申请要求2016年7月25日提交的名称为“LIGHT FIELD PROCESSOR SYSTEM(光场处理器系统)”的美国临时专利申请62/366,524和2016年12月29日提交的名称为“LIGHTFIELD PROCESSOR SYSTEM(光场处理器系统)”的美国临时专利申请62/440,286的优先权,每一个的全部内容在此通过引入并入本文。
技术领域
本公开涉及用于诊断、监测以及治疗健康状况和疾病的各种方法和系统。
背景技术
临床医生常规地使用眼科器械和技术来诊断和治疗与眼睛相关的疾病。图1中示出了传统眼科装置的示例。在所示装置的使用期间,患者可以在手术(procedure)的整个持续时间内定位在特定的就座位置,这通常可以持续几秒钟到几分钟中的任何时间。
不希望的是,眼科装置往往是大型、笨重且昂贵的装置,并且通常专门在医生的办公室中使用。因此,可能要求患者与验光师预约并访问医生以进行任何诊断或治疗。对于许多患者来说,这可能是一个制止因素,他们可能会持续长时间段延误到医生办公室的行程,可能直到状况恶化。在患者原本可以得到及时诊断或处理以更容易缓解状况时,恶化的状况可能需要更加剧烈的治疗或手术来解决。此外,大多数眼科装置的大而体积庞大的性质迫使患者处于不舒服的位置,这反过来可能增加误诊和患者错误的风险。
因此,需要解决上述一个或多个困难的健康系统。
发明内容
本文描述了一种可穿戴的眼科装置。在一些实施例中,该可穿戴的眼科装置包括:面向外的头戴式光场相机,其被配置为接收来自用户周围环境的光并生成数值光场图像数据;光场处理器,其被配置为访问数值光场图像数据、获得用于用户眼睛的光学处方并基于光学处方计算地将一定量的正或负光焦度(power)引入数值光场图像数据以生成修改的数值光场图像数据;以及头戴式光场显示器,其被配置为生成与修改的数值光场图像数据对应的物理光场。
还公开了一种使用可穿戴的眼科装置的方法。在一些实施例中,该方法包括:使用光场相机从用户的周围环境接收光并生成数值光场图像数据;访问数值光场图像数据;获得用于用户眼睛的光学处方;基于光学处方计算地将一定量的正或负光焦度引入数值光场图像数据,以生成修改的数值光场图像数据;以及使用光场显示器生成与修改的数值光场图像数据对应的物理光场。
附图说明
附图示出了本文公开的实施例的一些示例并不限制本发明。应该注意的是,附图未按比例绘制并且在所有附图中具有相似结构或功能的元件由相同的附图标记表示。
图1示出了在临床医生办公室使用的传统眼科器械。
图2示出了人眼的横截面。
图3A-3D示出了示例性眼科装置的各种配置。
图4A-4D示出了为了为特定用户配置眼科装置而进行的各种眼睛和头部测量。
图5示出了根据一些实施例的眼科装置的各种部件的示意图。
图6示出了用于从用户的视场的至少一部分捕获光场图像数据(例如,照片和/或视频)然后处理捕获的光场图像数据并将处理的光场图像数据显示给用户的光场处理器系统。
图7是图6的光场处理器系统的实施例的示意图。
图8是示出了用于使用图6和7所示的光场处理器系统为用户校正近视、远视和/或散光的方法的流程图。
图9A-9B示出了患有近视的用户眼睛的示意性横截面图。
图10A-10B示出了患有远视的用户眼睛的示意性横截面图。
图11A-11B示出了患有散光的用户眼睛的示意性横截面图。
图12示出了用于使用光场处理器系统校正老视的示例方法。
图13示出了用于使用光场处理器系统治疗会聚缺陷(例如由斜视和/或弱视引起的那些)的示例方法。
图14是光场处理器系统的实施例的示意图,该系统包括面向外的集成成像相机、光场处理器和还包括一个或多个光电探测器的集成成像显示器。
图15示出了如何使用本文所述的可穿戴装置来用作综合屈光检查仪(phoropter)或验光仪(refractor)以确定校正或改善佩戴者或患者的视力的合适的屈光。
图16示出了用于确定被配置为用作虚拟综合屈光检查仪的光场处理器系统的佩戴者的光学处方的示例方法。
图17示出了用于测量被配置作为眼科装置以执行视网膜检影法的光场处理器系统的佩戴者的屈光误差的示例方法。
图18A-18C示出了被配置作为自动验光仪的增强和/或虚拟现实系统的示例实施例。
图19示出了用于使用本文描述的系统诊断、检测和/或识别黄斑变性的任何区域的方法。
具体实施方式
本发明的各种实施例涉及用于实现用户可穿戴的健康系统的装置、方法、系统和制品,该健康系统可用于对用户执行健康相关的诊断、监测和治疗。在详细说明、附图和权利要求中描述了本发明的某些实施例的各种目的、特征和优点,但是并不要求任何单个实施例包括或满足所有这样的目的、特征和优点。
将参考附图详细描述各种实施例,其被提供作为示例性示例,以使得本领域技术人员能够实践本发明。值得注意的是,下面的附图和示例并不意味着限制本文描述的发明的范围。在可以使用已知部件(或方法或过程)部分或完全实现本发明的某些元件的情况下,将仅描述理解本发明所必需的这些已知部件(或方法或过程)的那些部分,并且将省略对这些已知部件(或方法或过程)的其他部分的详细描述,以免模糊本发明。此外,本发明的实施例还包括本文提到的部件的当前和未来已知的等同物。
本文公开了用于通过用户可穿戴的健康系统(例如,与用户眼睛交互的用户可穿戴的眼科装置)诊断、治疗和/或监测患者健康疾病的方法和系统。在一个或多个实施例中,该装置可以是能够执行一种或多种诊断或治疗方案的头戴式系统。在一些其他实施例中,该装置可以是静止的(例如,在医生的办公室静止的)。在一个或多个实施例中,该装置可以是虚拟现实(VR)、增强现实(AR)和/或混合现实(MR)系统,其有利地将许多VR、AR和/或MR技术组合用于健康或眼科目的。VR系统为用户创建模拟环境。这可以通过显示器向用户呈现计算机生成的图像数据或其他光信号来完成。该图像数据创建了感官体验,使用户沉浸在模拟环境中。VR场景通常涉及仅呈现计算机生成的图像数据,而不是还包括实际的真实世界图像数据。AR系统通常用模拟元素补充真实世界环境。例如,AR系统可以通过显示器向用户提供周围真实世界环境的视图。然而,计算机生成的图像数据或其他光信号也可以被呈现在显示器上以增强真实世界环境。该计算机生成的图像数据可以包括与真实世界环境背景相关的元素。这些元素可以包括模拟文本、图像、对象等。模拟元素通常可以实时交互。MR场景是一种类型的AR场景并通常涉及集成到自然世界中并响应自然世界的虚拟对象。例如,在MR场景中,AR图像内容可以被呈现以便被感知为与真实世界中的对象交互。
在一些其他实施例中,临床医生可以佩戴该装置以用于诊断和/或模拟和训练的目的。下面描述的各种实施例讨论了与AR系统有关的新的健康系统范例,但是应当理解,本文公开的技术可以独立于任何现有和/或已知的AR系统使用。因此,下面讨论的示例仅用于示例目的,并且不应被理解为限于AR系统。
如上所述,本发明的实施例呈现了一种新的范例,其中患者佩戴用户可穿戴的诊断健康或健康治疗系统(本文通常称为健康系统),例如眼科器械,并且该系统可以被编程以具有一种或多种特定于各种健康相关(例如眼睛相关)疾病的应用。在一些实施例中,诊断和/或治疗可以由光学装置、机械结构、处理算法或以上的任何组合提供。在一些其他实施例中,患者佩戴的健康系统可以进一步需要感测和/或刺激能力,以用于增强的治疗或诊断目的。在一些实施例中,头戴式增强现实系统可用于提供各种健康相关(例如,眼科)测量、评估、诊断或治疗。
考虑到头戴式增强现实显示系统与用户的眼睛交互,可以为眼睛相关的诊断和治疗设想许多应用。此外,可以类似地设想非眼睛诊断和治疗中的许多其他应用。因此,本文提供的公开内容不限于诊断、监测和/或治疗眼睛。本文公开的实施例还可以应用于诊断、监视和/或治疗用户身体的其他区域,包括但不限于用户的心血管和神经健康。
将关于各种眼睛相关疾病和其他疾病讨论健康系统的许多实施例。在钻研健康系统的各种实施例之前,下面将简要讨论人眼的生物机制,以提供可能影响患者的常见疾病的背景。
参照图2,描绘了人眼的简化横截面图,其特征在于角膜42、虹膜44、水晶体或“晶状体”46、巩膜48、脉络膜层50、黄斑52、视网膜54和到大脑的视神经通路56。黄斑是视网膜的中心,用于观看中等细节。黄斑的中心处是视网膜的一部分,其被称为“中央凹(fovea)”,其用于观察最精细的细节,并且其包含比视网膜的任何其他部分更多的光感受器(每视度约120个视锥细胞)。人类视觉系统不是被动传感器类型的系统;它被配置为主动扫描环境。以某种程度与使用平板扫描仪捕获图像或使用手指从纸上读取盲文类似的方式,眼睛的光感受器响应于刺激的变化而发光,而不是不断地响应于恒定的刺激状态。因此,需要运动来向大脑呈现光感受器信息。实际上,用眼镜蛇毒(其已被用于使眼睛的肌肉瘫痪)等物质进行的实验已经证明,如果使人类主体睁开眼睛观看其中毒素诱发眼睛瘫痪的静止场景会导致人类失明。换句话说,在没有刺激的变化的情况下,光感受器不向大脑提供输入并且经历失明。据信,正常人的眼睛在被称为“微跳视”的一侧到一侧的运动中被观察到来回移动或颤动至少是一个原因。
如上所述,视网膜的中央凹包含最大密度的光感受器,并且虽然人们通常认为他们在其整个视场中具有高分辨率可视化能力,但他们通常实际上仅具有被扫过的小的高分辨率中心以及最近用中央凹捕获的高分辨率信息的持久记忆。以类似的方式,眼睛的焦距控制机制(睫状肌以以下方式可操作地连接到晶状体:即,对于用于在更远距离处观看的较长焦长,睫状松弛导致绷紧的睫状连接(connective)纤维使晶状体变平,而对于用于在较短距离处观看的较短焦长,睫状收缩导致松散的睫状连接纤维,这允许晶状体呈现更圆的几何形状)来回颤动大约1/4到1/2的屈光度,以在目标焦长的近侧和远侧周期性地诱导少量所谓的“屈光模糊”。这被大脑的调节(accommodation)控制功能用作周期性负反馈,其有助于不断地校正调节并使被注视的对象的视网膜图像保持近似对焦。
大脑的可视化中心还从两只眼睛及其部件相对于彼此的运动中获得有价值的感知信息。两只眼睛相对于彼此的聚散运动(即,瞳孔向着彼此或远离彼此以会聚眼睛的视线来注视对象的转动动作)与眼睛的晶状体的聚焦(或“调节”)紧密相关。在正常情况下,改变眼睛的晶状体的聚焦或调节眼睛以聚焦在不同距离处的对象上,将在已知为“调节-聚散反射(accommodation-vergence reflex)”的关系下自动引起到相同距离的聚散度的匹配变化。同样,在正常情况下,聚散度的变化将引发调节的匹配变化。与一些传统的立体AR或VR配置一样,对抗这种反射,已知会在使用者中产生眼睛疲劳、头痛或其他形式的不适。
容纳眼睛的头部的移动也对对象的可视化具有关键影响。人类移动他们的头部来可视化他们周围的世界;它们通常处于相对于感兴趣的对象重新定位和重新定向头部的相当恒定的状态。此外,大多数人喜欢在他们的眼睛凝视需要从中心移动超过大约20度以聚焦于特定对象时移动他们的头部(即,人们通常不喜欢“从眼角”看事物)。人类通常还会相对于声音扫描或移动他们的头部以改善音频信号捕获并利用耳朵相对于头部的几何形状。人类视觉系统从所谓的“头部运动视差”中获得强大的深度提示,该“头部运动视差”与不同距离处的对象的相对运动相关,作为头部运动和眼睛聚散距离的函数(即,如果一个人从一侧到另一侧移动他的头部并保持对对象的注视,则远离该对象的物品将看起来沿与头部相同的方向移动,而该对象前方的物品将看起来与头部运动相反而移动;这些是非常突出的提示,其中事物在空间上位于相对于人的环境中-可能与立体视觉一样强大)。当然,头部运动也用于环视对象。
此外,头部和眼睛运动与称为“前庭-眼反射”的事物协调,该事物在头部旋转期间使图像信息相对于视网膜稳定,从而保持对象图像信息大致以视网膜为中心。响应于头部旋转,眼睛在相反方向上反射(reflexively)并成比例地旋转,以维持对对象的稳定的注视。由于这种补偿关系,许多人可以在来回摇头的同时阅读书。(有趣的是,如果在头部大致静止的情况下书以相同的速度来回平移则通常也不是这样的-这个人不太可能能够阅读移动的书。前庭-眼反射是头部和眼睛运动协调中的一者,通常不为手部运动开发。)这种范例对于患者佩戴的健康系统可能是重要的,因为用户的头部运动可能与眼睛运动相对直接地相关联,并且系统优选地准备好与此关系一起工作。因此,当设计患者佩戴或静止的基于显示器的健康系统时,优选考虑人眼的特性以及有时候考虑限制,以提供有意义的虚拟内容,该内容与眼睛的自然机制一起工作而不是强调眼睛的自然机制。此外,在AR显示系统的健康相关应用的背景下,这可以提供如本文所公开的各种优点。如上所述,健康系统的显示可以独立于AR系统来实现,但是下面的许多实施例仅出于示例性目的而关于AR系统进行描述。
现在参考图3A-3D,示出了一些通用部件选项。应该理解的是,尽管图3A-3D的实施例示出了头戴式显示器,在一些实施例中,相同的部件也可以并入到静止的健康系统中。
如图3A所示,描绘了佩戴患者佩戴的眼科装置的用户60,该眼科装置包括框架64结构,框架64结构耦接到位于用户眼睛前方的显示系统62。取决于健康系统的应用,框架64可以耦接到多个眼科专用测量子系统。可以为一个或多个眼科应用构建一些实施例,并且其他实施例可以是也能够用于眼科应用的一般AR系统。在任一情况下,以下公开内容描述了用于眼科仪器和/或治疗的健康系统或AR系统的可能的部件。
在一个或多个实施例中,健康系统是患者或用户佩戴的。在一些其他实施例中,健康系统可以由另一个人(例如,医生或临床医生)佩戴,并且可以用于对不是系统的佩戴者的患者执行一组诊断测试和/或治疗方案。应当理解,下面的任何应用可以用于其他人所佩戴的健康系统,以及用于对患者进行诊断测试、治疗方案和/或监测(实时或纵向)。
扬声器(66)可以耦接到以所示配置的框架64并且位于用户的耳道附近。(在一个实施例中,另一个扬声器(未示出)位于用户的另一耳道附近以提供给立体声/可塑形声音控制。)麦克风55也可以耦接到该框架,以检测来自用户或周围环境的声音。在一些实施例中,可以设置另一个麦克风(未示出)(例如,在用户的右手侧耦接到框架64)。在一个或多个实施例中,健康系统可以具有显示器62,其可操作地(诸如通过有线引线或无线连接68)被耦接到本地处理和数据模块70,本地处理和数据模块70可以以各种配置安装,诸如被固定地附到框架64上、被固定地附到如图3B的实施例示出的头盔或帽子80上、被嵌入耳机内、以图3C的实施例示出的背包式配置可拆卸地附到用户60的躯干82、或以图3D的实施例示出的带耦接式配置可拆卸地附到用户60的臀部84。
本地处理和数据模块70可以包括功率有效的处理器或控制器以及诸如闪速存储器的数字存储器,这两者都可用于辅助处理、高速缓存和存储数据,该数据包括:a)从可以可操作地耦接到框架64的传感器捕捉的数据,所述传感器诸如为图像捕捉设备(诸如相机)、麦克风、惯性测量单元、加速度计、罗盘、GPS单元、无线电设备和/或陀螺仪;和/或b)使用远程处理模块72和/或远程数据储存库74获取和/或处理的数据,这些数据可以在这样的处理或检索之后被传送到显示器62。本地处理和数据模块70可以诸如经由有线或无线通信链路76、78可操作地耦接到远程处理模块72和远程数据储存库74,使得这些远程模块72、74可操作地彼此耦接并且可用作本地处理和数据模块70的资源。
在一些实施例中,远程处理模块72可以包括一个或多个相对强大的处理器或控制器,这些处理器或控制器被配置为分析和处理数据和/或图像信息。在一些实施例中,远程数据储存库74可以包括相对大规模的数字数据存储设施,该设施可以通过因特网或“云”资源配置中的其它网络配置而可用。在一些实施例中,存储所有数据并且在本地处理和数据模块中执行所有计算,允许从任何远程模块完全自主使用。
有利地,类似于3A-3D中所描述的那些的健康系统(或具有眼科应用的AR系统)提供对用户眼睛和头部的唯一访问。假设健康系统与用户的眼睛交互以允许用户感知3D虚拟内容,并且在许多实施例中跟踪与用户眼睛相关的各种生物(例如,眼睛聚散、眼睛运动、视网膜结构、前部和后部眼睛几何、眼睛移动的模式等),如在本文中进一步详细描述的,所得到的跟踪数据可以有利地用于健康相关的应用中。这种对用户眼睛的前所未有的访问有益于各种健康应用的实施。取决于健康疾病的类型,健康系统可以被配置为向用户的眼睛提供成像、感测(包括测量)和/或刺激以诊断和/或治疗疾病。
在一个或多个实施例中,增强现实显示系统可以用作患者佩戴或用户佩戴的眼科装置。临床医生使用眼科仪器来观察和检查患者的眼睛,以执行医疗手术和/或对用户的眼睛执行测试或治疗。传统上,眼科装置是大而体积庞大的静止装置,并且通常需要患者到医生办公室,在该办公室中临床医生或医生对患者进行眼睛相关的测试。通常,患者被限制在眼科仪器装置(例如,下巴位于眼科装置的下巴搁置部件上、头部朝前等),直到临床医生完成一系列测试。因此,当前的方法具有许多限制。
除了使用沉重且体积庞大的装置进行测试之外,传统方法需要医生监督,并且患者可能需要反复返回临床医生办公室以进行进一步的测试/进展评估并且可能需要处于不舒服或限制性的位置持续延长的时间段。此外,考虑到患者暴露于眼科装置的持续时间短,临床医生能够收集以便诊断或治疗患者的数据量存在限制。传统方法没有考虑用户的行为和用户的取向的动态变化。在传统方法下执行的许多测试要求用户被限制在特定的(通常是静态)的位置。然而,如果用户正在进行例如视场测试并且注意力范围有限,则他们可能会移动他们的头部和眼睛,从而产生噪音并可能导致不准确的测试结果。此外,传统方法不具有吸引力、有趣或互动性。
在一个或多个实施例中,患者可以使用类似于图3A-3D所示的装置的头戴式健康(例如,眼科)装置来跟踪数据、识别和校正一种或多种与眼睛相关的疾病和/或帮助防止其他健康问题。在一个或多个实施例中,AR显示系统可以用作头戴式健康(例如,眼科)装置。应当理解,下面描述的多个实施例可以在头戴式实施例中实现,而其他实施例可以在静止装置中实现。此外,一些实施例可以利用AR技术来实施用于在医生监督下诊断、监测和/或治疗的系统和方法(例如,用于医疗安全问题、监管问题等),而其他实施例可以被实现用于通过头戴式健康装置或AR装置进行自我诊断和/或监测或者可以被实现为特定疾病的治疗方案的一部分,如本文所述。出于示例的目的,本公开将主要集中于头戴式健康装置,尤其是AR装置,但是应当理解,相同的原理也可以应用于非头戴式实施例。
在一个或多个实施例中,AR显示装置可以用作患者佩戴的健康装置。该装置通常可以适合特定用户的头部和/或面部特征,并且光学部件与用户的眼睛对准。可以使用这些配置步骤以帮助确保向用户提供通常没有例如头痛、恶心、不适等的生理副作用的增强现实体验。因此,在一个或多个实施例中,为每个单独的用户配置(物理上和数字上)患者佩戴的健康系统,并且可以专门为用户校准一组程序。在其他场景中,各种用户可以舒适地使用AR装置。例如,在一些实施例中,患者佩戴的健康系统知道用户眼睛之间的距离、头戴式显示器与用户眼睛之间的距离、用户前额的曲率、到耳朵的距离或者鼻梁的高度中的一个或多个,以用于正确的安置目的。所有这些测量可用于为给定用户提供正确的头戴式显示系统。在一些其他实施例中,为了执行眼科功能,这样的测量可能不是必需的。在患者佩戴的健康系统的背景下,头戴式装置的这个方面可能是有利的,因为系统已经具有关于用户的身体特征(例如,眼睛尺寸、头部尺寸、眼睛之间的距离等)的一组测量以及可用于治疗和诊断患者的其他数据。
参考图4A-4D,可以为每个用户定制健康系统。当安置头戴式患者佩戴的健康系统时,可以考虑用户的头部形状402,如图4A所示。类似地,眼睛部件404(例如,光学器件、光学器件的结构等)可以被旋转或调节以便用户在水平和垂直方向上的舒适度,如图4B所示。在一个或多个实施例中,如图4C所示,可以基于用户头部的形状来调整头戴式耳机相对于用户头部的旋转点。类似地,可以补偿瞳孔间距(IPD)(即,用户眼睛之间的距离),如图4D所示。
除了对用户执行的各种测量和校准之外,患者佩戴的健康系统可以被配置为跟踪关于用户的一组生物数据以用于患者识别和安全通信。例如,系统可以执行虹膜识别和/或视网膜匹配以用于患者识别,可以跟踪眼睛运动、眼睛运动模式、眨眼模式、眼睛聚散度、疲劳参数、眼睛颜色的变化、焦距的变化以及许多其他参数,这可以用于向用户提供光学增强现实体验。在用于医疗保健应用的AR装置的情况下,应当理解,上述方面中的一些可以是一般可用的AR装置的一部分,并且对于特定的健康相关的应用可以结合其他特征。
现在参考图5,将描述示例性患者佩戴的健康显示装置的各种部件。应当理解,取决于使用该系统的应用(例如,特定诊断工具),其他实施例可以具有附加的或更少的部件。然而,图5提供了各种部件和可以通过患者佩戴的健康系统或AR装置收集和存储的生物数据的类型中的一些的基本概念。图5示出了用于示例目的的右侧框图中的头戴式健康系统62的简化版本。
参考图5,示出了合适的用户显示装置62的一个实施例,其包括显示器透镜106,该显示器透镜106可以通过壳体或框架108安装到用户的头部或眼睛,壳体或框架108对应于框架64(图3A-3D)。显示透镜106可包括一个或多个半透明镜,该一个或多个半透明镜由壳体108定位在用户眼睛20的前方,并被配置为将投射的光38反射到眼睛20中并促进光束成形,同时还允许来自本地环境的至少一些光透射。如图所示,两个宽视场机器视觉相机16耦接到壳体108以对用户周围的环境成像。在一些实施例中,这些相机16是双捕获可见光/不可见(例如,红外)光相机。
继续参考图5,示出了一对扫描激光成形波前(例如,用于深度)光投射器模块,其具有被配置为将光38投射到眼睛20中的显示镜和光学器件。所描绘的实施例还包括与例如发光二极管“LED”的红外光源26配对的两个微型红外相机24,该红外相机24被配置为能够跟踪用户的眼睛20以支持渲染和用户输入。系统62还以优选地以相对高的频率(例如200Hz)提供数据的传感器组件39为特征,该组件39可包括三轴加速度计能力以及磁罗盘和三轴陀螺仪能力。所描绘的系统还包括例如ASIC(专用集成电路)、FPGA(现场可编程门阵列)和/或ARM处理器(高级精简指令集机器)的传感器头部姿态处理器32,该传感器头部姿态处理器32可以被配置执行数字和/或模拟处理以根据来自传感器组件39的陀螺仪、罗盘和/或加速度计数据来计算实时或接近实时的用户头部姿态。该系统还可以包括能够使用从捕获装置16输出的宽视场图像信息来确定用户的头部姿态的图像头部姿态处理器36。
所描绘的实施例还可以以GPS(全球定位卫星)子系统37为特征以辅助姿态和定位分析。此外,GPS还可以提供关于用户环境的基于远程(例如,基于云)的信息。此信息可用于诊断目的。例如,如果用户位于周围空气具有多花粉的区域中,则该信息可用于诊断和/或治疗特定疾病。或者,在另一个示例中,当考虑特定用户的治疗选项时,可以有利地使用关于特定区域中的空气污染的信息。其他类型的信息(例如,花粉计数、污染、人口统计、环境毒素、气候和空气质量条件、生活方式统计、与健康护理供应商接近等)可以类似地用于一个或多个应用中。
所描绘的实施例还可以包括渲染引擎34,其可以运行软件程序的硬件为特征,该软件程序被配置为提供要向用户显示的虚拟内容。渲染引擎34经由有线或无线连接(例如,105、94、100、102、104、105)可操作地耦接到传感器头部姿态处理器32、图像头部姿态处理器36、眼睛跟踪相机24和/或投影子系统18,从而(例如,使用扫描激光装置18以类似于视网膜扫描显示的方式)将渲染的图像数据透射给用户。投射光束38的波前可以被修改以与投射光的期望焦距一致。
相机24(例如,最小红外相机)可被用于跟踪眼睛以支持渲染和用户输入(例如,用户正在看的地方、他或她正在聚焦的深度-眼睛聚散度可以用来估计聚焦/调节的深度等)。GPS 37、陀螺仪、指南针和加速度计39可被用于提供粗略和/或快速姿态估计。相机16图像和姿态结合来自相关云计算资源的数据可被用于绘制本地世界并与其他的和/或虚拟或增强现实社区和/或健康护理供应商共享用户视图。在一个或多个实施例中,相机16可用于分析用户摄入的食物、药物、营养素和毒素,作为综合健康护理和/或健康系统或健康护理监视系统的一部分。
继续参考图5,显示装置62可包括药物分配模块21以将药物传送给用户。药物分配模块21可包括一个或多个出口22和至少一个药物容器23,该容器23可以是储存要通过出口22分配的药物的储存器。出口22可通过一个或多个通道22a连接到容器23,该通道22a将药物(例如,液体或气体)从容器23输送到出口22。在一些实施例中,出口22可以仅仅是框架108中的开口或者可以是附接到框架108或与其集成的喷嘴。在一些实施例中,喷嘴可以是喷雾器。在一些实施例中,通道22a由框架108和/或管道中的开口形成。
在一个或多个实施例中,显示装置可包括发光模块27以选择性地向佩戴者施行(administer)光,例如用于基于治疗方案治疗佩戴者的眼睛。发光模块27可以包括光源,该光源可以包括发射多色偏振光的光发射器、激光器、发光二极管、荧光灯、二向色灯、全光谱光源等。在一些实施例中,可以为双眼提供一个发光模块27。在一些其他实施例中,显示装置可以包括多个发光模块27,并且每个眼睛可以具有被配置为将光引导到该眼睛的至少一个发光模块。
虽然图5中以之为特征的显示系统62中的大部分硬件被示出为直接耦接到与显示器106和用户的眼睛20相邻的壳体108,但是所示的硬件组件可以被安装到或调节在其它组件中,例如腰带安装组件,如图3D所示。另外,如本文所述,为了便于示例和描述,将多个传感器和其他功能模块一起示出。然而,应当理解,一些实施例可以仅包括这些传感器和/或模块中的一个或子集。
在一些实施例中,除了图像头部姿态处理器36、传感器头部姿态处理器32和渲染引擎34之外,图5以之为特征的系统62的所有组件都直接耦接到显示器壳体108,并且后三者与系统的其余部件之间的通信可以是无线通信(诸如超宽带)或有线通信。所示的壳体108优选地为由用户可安装至头部或可穿戴的。它还可以以扬声器(例如,扬声器66,图3A-3D)为特征,诸如可以插入用户耳朵并被用于向用户提供声音的扬声器。
关于将光38投射到用户的眼睛20中,在一些实施例中,可以利用相机24来测量用户的眼睛20正在看的位置(例如,两只眼睛的视线相交的位置)、哪些信息可以用来确定眼睛20的聚焦或调节的状态。由眼睛聚焦的所有点的三维表面被称为“双眼单视界”。焦距可以采用有限数量的深度或者可能是无限变化的。物理地或虚拟地从聚散距离投射的光看起来聚焦到对象眼睛20,而聚散距离前面或后面的光被模糊。
此外,不受理论的限制,已经发现,无论眼睛在何处聚焦,人眼都能正确地分辨出光束直径小于约0.7毫米的空间相干光。在给出这种理解的情况下,为了产生适当聚焦深度的错觉,可以利用相机24跟踪眼睛聚散,并且可以利用渲染引擎34和投影子系统18来渲染在对焦的双眼单视界上或靠近双眼单视界的所有虚拟对象以及不同程度的散焦处所有其他虚拟对象(即,使用有意创建的模糊)。优选地,系统62以大约每秒60帧或更高的帧速率向用户呈现。如上所述,优选地,相机24可以用于眼睛跟踪,并且软件可以被配置为不仅拾取聚散几何而且还有聚焦位置提示以用作用户输入。优选地,这种显示系统配置有适合白天或夜晚使用的亮度和对比度。
在一些实施例中,显示系统优选地具有关于视觉对象对准的小于约20毫秒的延迟时间、小于约0.1度的角度对准以及约1弧分的分辨率,不受理论限制,这被认为是大约是人眼的极限。显示系统62可以与定位系统集成以辅助位置和姿态确定,该定位系统可以涉及GPS元件、光学跟踪、罗盘、加速度计和/或其他数据源。可以利用定位信息来促进在相关世界的用户视图中的准确呈现(例如,这样的信息将促进显示系统知道它相对于真实世界的位置)。
已经描述了用户佩戴的健康系统(例如,眼科系统)的一些实施例的一般部件,下面将讨论与健康护理和诊断相关的附加部件和/或特征。应当理解,下面描述的一些特征对于用户佩戴的健康系统的各种实施例或用于健康目的的AR系统的许多实施例是共同的,而其他特征将需要用于健康诊断和治疗目的的附加的或较少的部件。
在一些实施例中,用户佩戴的健康系统被配置为基于用户眼睛的调节来显示一个或多个虚拟图像。与先前的迫使用户聚焦正被投射的图像的位置处的3D显示方法不同,在一些实施例中,用户佩戴的健康系统被配置为自动改变被投射的虚拟内容的焦点以允许更舒适地观看呈现给用户的一个或多个图像。例如,如果用户的眼睛具有1米的当前焦点,则可以投射图像以与用户的焦点一致。或者,如果用户将焦点移位3米,则投射图像以与新焦点一致。因此,一些实施例的用户佩戴的健康系统或AR显示系统允许用户的眼睛以更自然的方式工作,而不是迫使用户进入预定的焦点。
这种用户佩戴的健康系统可以消除或减少眼睛疲劳、头痛和通常相对于虚拟现实装置观察到的其他生理症状的发生率。为实现此目的,患者佩戴的健康系统的各种实施例被配置为通过一个或多个可变焦点元件(VFE)以变化的焦距投射虚拟图像。在一个或多个实施例中,可以通过在远离用户的固定焦平面处投射图像的多平面聚焦系统来实现3D感知。其他实施例采用可变平面聚焦,其中焦平面在z方向上来回移动以与用户的当前聚焦状态一致。
在多平面聚焦系统和可变平面聚焦系统中,患者佩戴的健康系统可以采用眼睛跟踪来确定用户眼睛的聚散度、确定用户的当前焦点以及将虚拟图像投射到确定的焦点。
可以将任何波长的光投射到用户的眼睛中。除了可见光之外,红外光或其他波长的光可以类似地通过患者佩戴的健康系统投射。患者佩戴的健康系统的这个方面可以用于成像、诊断、治疗和/或补偿健康异常,如下将要描述的。
在健康护理和诊断的背景下,可以有利地操纵呈现给用户的一个或多个图像的类型、频率、颜色方案、放置等,以用于一个或多个障碍的诊断、患者监测和/或治疗。例如,某些疾病可能需要相对于另一只眼睛加强一只眼睛。为此,例如,与强壮的眼睛相比,通过向较弱的眼睛提供增加的刺激,可以设计治疗方案以“训练”较弱的眼睛。或者,在另一个实例中,视网膜的特定部分可能由于黄斑变性而具有降低的敏感度。为了解决这个问题,可以调制图像或者重新格式化图像并将其投射到视网膜的周边,从而补偿用户减少的视场。因此,如下面将进一步详细描述的,健康系统的调制与虚拟图像投射相关的多个参数的能力可用于诊断、监测和/或治疗某些健康异常。
另外,使用上面概述的各种原理,健康系统可以被设计为使用刺激-响应测量分析方法来提供诊断。诸如这些的装置可以由临床医生使用,或者在其他实施例中,某些疾病可以被简单地评估或者具有患者承认的症状(例如,眼睛疲劳、干眼、高血压、中风发作或癫痫发作等)。这可以通过在某些症状发作时主动照顾他们来帮助用户积极地控制他/她的健康并预防疾病的发作。例如,可以通过利用与一个或多个跟踪的生物参数和环境变化相关的历史数据来分析同期数据而进行这种诊断和/或评估。在一个或多个实施例中,健康系统还可以被配置为提供信息提示、向用户和/或医生或其他人发送警报或者以其他响应手段辅助。
应当理解,健康系统可以被配置为如例如在用于诊断、监测或治疗用户的健康系统的软件控制实现下是自主的(即,在没有来自临床医生或其他人的输入或控制的情况下直接向用户或其他人或实体提供结果)或半自主的(即,来自临床医生或其他人的某种程度的输入或控制)。在其他实施例中,健康系统可以由临床医生或其他人完全控制(例如,在网络或基于所有远程的(例如基于云的)实施方式中或在由临床医生佩戴健康系统检查患者的实现方式中)。
在一些实施例中,健康系统可以设计有许多附加的健康相关的传感器。这些可以包括例如加速度计、陀螺仪、温度传感器、压力传感器、光传感器、非侵入式血糖传感器、ETCO2、EEG和/或其他生理传感器等,以监测用户的一个或多个生理反应。
如本文所述,在一个或多个实施例中,健康系统包括眼睛跟踪模块。眼睛跟踪模块可以被配置为确定用户眼睛的聚散度,以便确定用于投射一个或多个虚拟图像的适当的正常调节(通过聚散度和调节之间的直接关系),并且还可以是被配置为跟踪一个或多个眼睛相关的参数(例如,眼睛的位置、眼睛运动、眼睛模式等)。该数据可用于若干健康相关的诊断和治疗应用,如下将要描述的。
如从本文的描述中显而易见的,健康系统可以用于诊断、监测和治疗,其可以包括眼睛相关的诊断、监测和治疗。在眼睛相关的应用中,健康系统可以被称为眼科系统。从本文的描述中还显而易见的是,装置的用户(或佩戴者)可以被称为患者,其中由装置对该用户进行诊断、监测和治疗。在一些其他实施例中,用户可以是临床医生,并且患者可以是第三方,该第三方可以由用户评估和治疗。还应当理解,诊断和监测通常可以称为健康分析。
光场处理器系统
图6示出了用于从用户的视场的至少一部分捕获光场图像数据(例如,照片和/或视频)然后处理捕获的光场图像数据并将处理的光场图像数据显示给用户的光场处理器系统。光场处理器系统600可以包括一个或多个面向外的集成成像相机16、光场处理器70以及一个或多个集成成像显示器62。这些组件中的每一个可以作为可穿戴虚拟/增强现实和本文讨论的健康系统的一部分而提供。在一些实施例中,基本上实时地捕获、处理和显示光场图像数据,使得用户不会感知所显示的光场图像数据中的滞后或延迟。
如刚刚提到的,光场处理器系统600的一个方面是它捕获、处理和显示光场图像数据而不是传统的二维照片和/或视频。空间世界是三维的,然而传统的照片和视频只记录二维图像。因此,传统相机将三维世界中的光和物质的复杂相互作用减少到从相机视场内的对象空间检测到的光强度的平面二维映射(map)。该平坦化效果是成像的结果,其中在相机视场内的对象平面上的不同点处被发射、反射和/或散射的光线被透镜聚焦到图像平面上的对应点。角度信息在此过程中丢失;在常规图像中在给定像素处记录的光强度并不表示伴随(originate)有来自视场中对象平面上的对应点的不同的角度取向的光线的相应强度贡献。相反,在常规的照片和视频中,在图像平面中的每个点处测量的强度表示进入相机的各种光线(该光线具有来自视场中的对象平面上的对应点的不同的角度取向)的组合强度。在常规相机中从三维到二维的平面化显著地限制了图像的信息内容。
相反,光场数据包括关于来自视场内的各个点的光的方向和强度的信息。因此,虽然用常规相机获得的典型图像是二维图像辐照度映射,但是光场数据可以被认为是四维的,因为它可以包括关于光线的强度或辐照度的信息,该光线以来自视场内的多个(x,y)点中的每一个的多个角度(θx,θy)发出。当用光场显示器再现时,光场图像向观看者提供三维表示,类似于好像他或她直接观看实际物理场景。
面向外的集成成像相机16可以是能够捕获光场数据的任何相机或装置。在此关于图7描述了一个这样的装置的示例。在一些实施例中,如图3-5所示,一个或多个面向外的集成成像相机16可以与可穿戴系统集成。可以提供两个(或更多个)面向外的集成成像相机16,每个通常用于捕获将被显示给用户的一只眼睛的数值光场图像数据。具体地,可以提供左集成成像相机16并使其对准以具有与用户的左眼的正常视场重叠的视场。类似地,可以提供右集成成像相机16并使其对准以具有与用户的右眼的正常视场重叠的视场。
可以使用例如本文描述的本地处理和数据模块70来实现光场处理器70。光场处理器70从集成成像相机16和/或从非暂时性计算机存储器接收捕获的四维数值光场图像数据。光场处理器可以对捕获的光场图像数据计算地执行各种操作。这样的操作可以包括计算地将正或负球面和/或柱面光焦度添加到数值光场图像数据、识别由数值光场图像数据表示的一个或多个波前并且计算地更改这种波前的曲率;将光场图像数据聚焦在选定的深度平面上;向光场图像数据添加棱镜焦度;向图像数据添加虚拟对象或其他VR/AR内容;从图像数据中删除对象或其他内容;向上、向下、向左或向右移动光场图像数据;放大捕获的光场图像数据的选定子部分;执行图像数据的空间和/或波长过滤等。
在一些实施例中,光场处理器70基于眼科处方或用户眼睛的其他特性来处理捕获的数值光场图像数据。(眼科处方或其他眼睛特性可以从用户或其他装置(例如,非暂时性计算机存储器)输入到光场处理器70,或者可以通过光场处理器系统600本身测量眼科处方或其他眼睛特性,如本文进一步描述的。)例如,可以处理捕获的数值光场图像数据,以便改善用户视力的至少一个方面。在一些实施例中,可以处理数值光场图像数据,以便至少部分地校正用户的近视、远视、散光、老视、斜视、弱视、黄斑变性、高阶屈光误差、色差或微缺陷。其他类型的校正也是可能的。
集成成像显示器62可以是能够显示光场图像数据的任何装置。在此关于图7描述了一个这样的装置的示例。在一些实施例中,如图3-5所示,一个或多个集成成像显示器62可以与可穿戴系统集成。集成成像显示器62可以是部分透明的,以便允许用户观看他或她的真实世界环境。或者,集成成像显示器可以替代地完全依赖于面向外的集成成像相机16,以向用户提供来自他或她的真实世界环境的图像数据。可以提供两个集成成像显示器62,每个通常用于将处理的光场图像数据显示给用户的一只眼睛。具体地,可以提供左集成成像显示器62并使其对准以将光场图像数据显示给用户的左眼。类似地,可以提供右集成成像显示器62并使其对准以将光场图像数据显示给用户的右眼。
图7是图6的光场处理器系统600的实施例的示意图。面向外的集成成像相机16可包括二维微透镜阵列702和具有光敏像素的对应的二维光电探测器阵列704。光电探测器阵列704可以是例如互补金属氧化物半导体(CMOS)传感器、电荷耦合器件(CCD)传感器、CMOS或CCD传感器阵列或者能够检测和数字化光能量的任何其他装置。光电探测器阵列可以形成平坦表面或弯曲表面(例如,光电探测器阵列可以围绕眼睛径向弯曲,以促进捕获来自眼睛可能正在看的任何位置的光)。微透镜阵列702收集来自用户视场内的对象空间中的点706的光。每个微透镜或小透镜对从光场进入集成成像相机16的光的波前的空间定位区域进行采样,并且允许将局部角度信息记录在光电探测器阵列704上。这样,光电探测器阵列704可以检测从不同角度方向到达仪器的相应光的强度。例如,如图7所示,各种光锥708源自对象空间中的不同角度(θx,θy)的点706。每个小透镜702将来自具有不同角度取向的点706的光锥708聚焦到光电探测器阵列704上。虽然仅示出了单个点706,但是每个小透镜702对于对象空间中的(x,y)平面上的每个点执行该功能。换句话说,每个小透镜702在对象空间中创建场景的元素图像,该元素图像具有与由阵列中的其他小透镜702创建的元素图像略微不同的视角。每个元素图像由光电探测器阵列704中的一组光电探测器记录。总的来说,这个二维元素图像阵列形成所谓的集成图像。集成图像是场景的各种可能的光场表示中的一者。它包括元素图像的二维阵列,每个元素图像从略微不同的视角捕获。
来自集成成像相机16的捕获的光场图像数据可以在被集成成像相机数字化之后以各种数值形式表示。这允许光场处理器70对捕获的光场图像数据执行数学操作(诸如上述那些)。一旦光场处理器70对捕获的光场图像数据执行了期望的数学操作,则处理的光场图像数据然后被传递到集成成像显示器62。在一些实施例中,处理的光场图像数据可以以一个或多个处理的集成图像的形式被传递到集成成像显示器62,每个集成图像由一组处理的元素图像组成。
如图7所示,集成成像显示器62包括二维微透镜阵列712和二维光源阵列714。集成成像显示器62可包括使用例如处理的光场图像数据来调制光源阵列714的控制器。光源阵列714可以是发光二极管(LED)的例如红色、绿色、蓝色(RGB)阵列。出于本文稍后讨论的任何原因,一些实施例还可包括红外发射光源以将红外光投射到佩戴者的眼睛中。或者,光源阵列714可以实现为液晶显示器(LCD)面板或一些其他类型的显示面板。每个光源可用于发射与处理的集成图像的像素或子像素对应的光。然后,从每个光源714发射的光由小透镜712中的一个投射到用户眼前的空间中的对应点716。在一些实施例中,每个小透镜712投射处理的元素图像中的一个。来自投射的元素图像中的每一个的光的重叠重新创建了可以由用户观看的物理光场。该物理光场被用户感知为三维的,类似于好像他或她正在观看实际的三维场景。如果光场处理器70不更改由集成成像相机16收集的集成图像,那么由集成成像显示器62生成的物理光场将是存在于相机16的视场内的对象空间中的相同物理光场的表示。这如图7所示,其中所有投射的光锥718的交叉产生辐照度分布,其再现原始三维场景的辐射亮度。否则,如果光场处理器70用于更改集成图像,则由集成成像显示器62投射的物理光场是存在于相机16的视场内的对象空间中的物理光场的类似更改的版本。
而虽然图7示出了光场捕获/处理/显示系统600的一个实施例,但是其他实施例也是可能的。例如,图7中所示的集成成像相机16可以被能够捕获光场图像数据的任何类型的装置替换。类似地,图7中所示的集成成像显示器62也可以被能够显示光场图像数据的任何类型的装置替换。
近视、远视、散光和高阶像差的校正
图8是示出了用于使用图6和7所示的光场处理器系统600为用户校正近视、远视和/或散光的方法800的流程图。方法800开始于框810,其中系统600的光场处理器70接收用户的光焦度测量。光焦度测量可以包括用户眼镜的光学处方,包括球面焦度、柱面焦度和/或柱面焦度轴测量。这些测量可以由系统600本身执行(如本文进一步讨论的),或者它们可以从用户或单独的诊断装置接收。光学处方可以在光场处理器系统600的初始化期间、在系统600的校准期间、作为眼睛处方配置器程序的一部分(例如,使用综合屈光检查仪或其他视敏度检查)或者在使用光场处理器系统期间的任何时间确定。生物数据可用于识别用户和相关联的光学处方。
如刚刚提到的,有许多方式可以将用户眼睛的光焦度测量输入到光场处理器系统600。在一些实施例中,用户可以简单地向光场处理器系统600提供信息。例如,用户可以将处方输入到用户界面中。或者,在其他实施例中,光场处理器系统600可以被配置为自动地或交互地确定用户的光学处方。例如,光场处理器系统可以经历眼睛处方配置器程序来手动地且交互地确定用户的处方。可以利用关于调整收集的光场图像数据的焦点或更改的波前的离散颗粒(granular)步骤对光场处理器70预编程。调整焦点或更改波前可以包括调整球面焦度和/或调整柱面焦度/轴。用户可以通过适当的反馈机制(例如,用户界面)向光场处理器系统指定期望的焦度更改量。或者,在一些实施例中,用户可以选择渐进地(incrementally)增加或减少处方值,直到用户到达舒适的观看处方。
在一些实施例中,光场处理器系统600可以基于通过眼睛跟踪系统、自动验光、数据测量(abberometry)或本文所述的其他系统监视和跟踪眼睛来自动测量每只眼睛的用户的光学处方(并且针对每只眼睛实时地渐进地改变所应用的校正)而不需要用户输入。在一些实施例中,光场处理器系统600可以利用生物反馈系统(本文讨论的)来自动改变所应用的校正处方。
在一些实施例中,光场处理器系统600可以被配置为从第三方系统接收用户的光学处方。例如,医生可能能够无线地(例如,通过因特网、蓝牙连接等)发送用户光学处方,其由接收器接收并存储在光场处理器70的数字存储器中。
在框820,系统600的面向外的集成成像相机16捕获光场图像数据并将捕获的光场图像数据输入到光场处理器70。如本文所讨论的,捕获的光场可以在被显示给集成成像显示器62之前在数学上被操纵。虽然可以执行各种数学操作,但是数学操作中的一些可以被用来基于用户眼睛的一个或多个特性来至少部分地校正捕获的光场图像数据,该一个或多个特性例如他或她的光学处方、角膜的形状或曲率、眼睛的长度等。光场处理器70可用于在然后将更改的光场显示给用户之前对用户的入射光场进行实时改变。
在一些实施例中,当用户的视力随时间变化时,可以动态地调整由光场处理器应用的特定校正以校正视力缺陷。例如,在一些实施例中,光场处理器系统600可以通过启动眼睛处方配置器程序来实现动态视力校正。光场处理器系统可以被配置为在有或没有用户激活的情况下以时间间隔确定用户的处方。因此,光场处理器系统可以在第一时间动态识别第一光学处方并且可以基于该处方调整视力校正,并且可以在第二时间识别第二光学处方并且可以基于该第二处方调整视力校正。
可以由光场处理器70至少部分地校正的常见视力缺陷包括近视眼(即近视)、远视眼(即远视)和散光。常规地,使用球面和/或柱面透镜校正这些缺陷。然而,光场处理器系统600可以替代地通过捕获的光场的计算操作来校正这些缺陷。
在近视的情况下,与用户视场中的一个或多个对象相关联的光聚焦在视网膜的前面,如图9A所示,而不是在视网膜上。这会导致对象出现离焦。现在参考图9B,常规地,负焦度凹透镜可用于补偿该障碍,引入负焦度使光聚焦在视网膜上。光场处理器70可以替代图9B所示的校正凹透镜,其中对图6和7所示的面向外的集成成像相机16捕获的数值光场图像数据进行数学操纵。例如,如图8的框840所示,如果用户的光学处方指示他或她患有近视,则光场处理器70选择并计算地将一定量的负球面焦度波前曲率引入捕获的光场图像数据,以便至少部分地校正用户的近视。
在远视的情况下,与一个或多个对象相关联的光聚焦在视网膜后面,如图10A所示,而不是在视网膜上。这会导致对象出现离焦。现在参考图10B,常规地,正焦度凸透镜可用于补偿该障碍。再次,光场处理器70可以替代图10B所示的校正凸透镜,其中对图6和7所示的面向外的集成成像相机16捕获的光场进行数学操纵。例如,如图8的框830所示,如果用户的光学处方指示他或她患有远视,则光场处理器70选择并计算地将一定量的正球面焦度波前曲率引入捕获的光场图像数据,以便至少部分地校正用户的远视。
散光是眼睛表现出柱面光焦度的情况(即,相对于一个子午线(meridian)测量的眼睛的焦度与相对于正交子午线测量的眼睛的焦度不同)。如图11A中示意性地示出的那样,这可以由不规则形状的角膜引起。例如,沿着一个子午线的曲率可以与沿着垂直子午线的曲率不同。现在参考图11B,常规地,可以通过引入适当取向的柱面透镜来校正散光。再次,光场处理器系统600可以替代图11B中所示的校正透镜,其中对图6和7所示的面向外的集成成像相机16捕获的光场进行数学操纵。具体地说,如图8的框850所示,光场处理器70选择并计算地引入一定量的柱面焦度(定向在由用户的处方指示的角度轴上),以便至少部分地为用户的散光来校正捕获的光场图像数据。
然而,光场处理器系统600不限于校正诸如离焦和/或散光的简单低阶光学像差。实际上,光场处理器70也可以对捕获的光场应用计算校正以用于复杂的高阶光学像差。在一些情况下,这些高阶像差可占所有屈光误差的约10%。这些高阶屈光误差可能由眼睛中不规则形状的光学表面引起,并且在屈光手术后特别常见。例如,眼睛的角膜和/或晶状体中的形状不规则可能对通过眼睛到视网膜的光引入高阶屈光误差。通过适当的屈光校正可以减小这种高阶像差。
本文描述的光场处理器系统600的各种实施方式可适用于为这些高阶像差提供对入射波前的计算校正。光场处理器70可以基于用户眼睛的高阶像差的测量来应用这种计算校正。可以利用本文描述的光场处理器系统600来进行波前校正,包括由泽尼克(Zernike)模式(例如,像散、彗差、三叶(trefoil)、球面像差、四叶(quatrefoil)等)描述的所有像差的校正。
在一些实施例中,光场处理器系统600可以具有测量用户眼睛的高阶像差的能力,如本文所述。然后,光场处理器70可以使用这些测量来计算地更改由集成成像相机16收集的光场图像数据。在其他实施例中,光场处理器70从外部装置接收用户眼睛的高阶像差测量。例如,光场处理器系统600可以包括一个或多个发送器和接收器,以允许在系统和远程处理模块72和/或远程数据储存库74之间发送和接收数据。发送器和接收器可以组合成收发器。在一些实施例中,远程处理模块72和/或远程数据储存库74可以是使第三方(例如,医生或其他医疗管理员)能够给眼科装置发送例如光学处方的数据的第三方服务器和数据库的一部分。
在一些实施例中,用于校正高阶像差的方法可以类似于图8中描述的用于校正近视、远视或散光的方法800。光场处理器70首先接收用户眼睛的高阶像差的测量。这些测量可以作为泽尼克系数、作为角膜的形貌映射或以任何其他合适的格式提供。然后,光场处理器70接收由集成成像相机16收集的光场图像数据。最后,光场处理器70选择一个或多个调整以对捕获的光场数据的波前进行调整,以便至少部分地减少一个或多个高阶像差。这些校正被计算地应用的。
用户的眼睛可能经历随着调节的变化而变化的高阶屈光误差。因此,在一些实施例中,光场处理器70可以基于用户眼睛的当前调节和/或基于光场图像数据的焦平面来选择不同的波前调整组以对入射光场进行调整。
在一些实施方式中,光场处理器系统600还可被配置为更改收集的光场图像数据,以减少眼睛的角膜、晶状体和/或其他解剖中的微小缺陷的影响。这些缺陷会产生损害视觉质量的复杂的折射、反射和散射图案。光场处理器70可以在空间上过滤将与这些缺陷相互作用的光线,从而阻挡那些导致损害的视觉质量的光学通路。这可以通过识别收集的光场图像数据中的将与用户眼睛中的缺陷相互作用的光线然后从处理的光场中计算地去除那些所选择的光线来完成。
一旦光场处理器70对捕获的光场图像数据执行了期望的计算校正,则在框860,集成成像显示器62将校正的光场图像数据显示给用户。
在一些实施例中,光场处理器系统600可以包括生物反馈系统,该生物反馈系统被配置为确定用户在观看对象或图像时的舒适水平。例如,如果用户的眼睛正在移动、改变调节、改变瞳孔尺寸、改变聚散度等,则这些可能是用户不能舒适地观看对象或图像的指示符。调节或与调节相关联的行为的不稳定或振荡可能是用户正在努力聚焦对象的迹象。因此,生物反馈系统可以接收与用户眼睛的状态或性质有关的实时输入。
在各种实施例中,光场处理器系统600包括一个或多个眼睛跟踪相机或其他相机或成像系统以跟踪用户的一只或多只眼睛。例如,一些实施例可以利用与光源26(例如,红外光源)配对的相机24(例如,红外相机),该相机24被配置为监视和跟踪用户的眼睛。这些相机和光源可以可操作地耦接到光场处理器系统600。这种相机和/或成像系统可以监视眼睛的取向、眼睛的瞳孔尺寸、眼睛的聚散度以及眼睛的相应视线的对应方向。在一些实施例中,相机24可用于确定眼睛的会聚点。另外,如本文所述,系统600可以被配置为确定用户眼睛的调节。眼睛跟踪系统可以通过比较多个测量来检测眼睛的调节的波动。在一些实施例中,可以基于眼睛的晶状体的形状、眼睛的聚散度、瞳孔尺寸等来监视调节。在一些实施例中,监视调节状态可以包括将小图像投射到眼睛中(例如,点或多个点),并使用面向内的相机监测图像是否聚焦在视网膜上。调节的波动可能表示不舒服的焦深或模糊的图像。因此,光场处理器系统可以计算地增加或减少处方直到波动停止或减少,从而达到舒适的观看处方。
在一些实施例中,眼科装置包括陀螺仪传感器、加速度计、其他传感器或其组合,以监测头部位置、头部姿态或取向的变化。在一些实施例中,系统600可以包括被配置为检测由于用户头部的移动而导致的系统的移动和/或取向的传感器组件39。生物反馈系统可以被配置为接收检测的头部移动,并且如果移动的频率和/或幅度超过阈值,则系统可以被配置为确定用户不能舒适地观看图像。例如,恒定的头部移动可以指示搜索图像的舒适观看位置。如果存在人可能不能很好地聚焦的迹象,那么光场处理器系统可以被配置为警告用户是这样、执行主观视觉测试或者客观地和自动地评估用户的处方以改善视力质量。
以下段落描述了本文描述的装置、系统和方法的各种示例实施例。
一种可穿戴的眼科装置,包括:面向外的头戴式光场相机,其被配置为接收来自用户周围环境的光并生成数值光场图像数据;光场处理器,其被配置为访问数值光场图像数据、获得用于用户眼睛的光学处方、以及基于光学处方计算地将一定量的正或负光焦度引入数值光场图像数据来生成修改的数值光场图像数据;以及头戴式光场显示器,其被配置为生成与修改的数值光场图像数据对应的物理光场。
根据前一段所述的装置,其中,光焦度包括球面或柱面光焦度。
根据前述段落中任一段所述的装置,其中,关于光学处方至少部分地校正修改的数值光场图像数据。
根据前述段落中任一段所述的装置,其中,光场处理器被配置为通过识别由数值光场图像数据表示的一个或多个波前并且基于光学处方计算地修改一个或多个波前的曲率来生成修改的数值光场图像数据。
根据前述段落中任一段所述的装置,其中,光场处理器还被配置为将虚拟现实或增强现实图像内容添加到数值光场图像数据。
根据前述段落中任一段所述的装置,其中,光学处方包括关于近视的处方。
根据前述段落中任一段所述的装置,其中,光学处方包括关于远视的处方。
根据前述段落中任一段所述的装置,其中,光学处方包括关于散光的处方。
根据前述段落中任一段所述的装置,其中,光学处方包括关于用户眼睛的高阶像差的信息。
根据前述段落中任一段所述的装置,其中,光场相机包括具有二维微透镜阵列和对应的二维光电探测器阵列的集成成像相机。
根据前述段落中任一段所述的装置,其中,光场显示器包括具有二维微透镜阵列和对应的二维光源阵列的集成成像显示器。
根据前述段落中任一段所述的装置,其中,光场显示器包括被配置为将红外光投射到用户的眼睛中以测量光学处方的一个或多个红外光源。
根据前述段落中任一段所述的装置,其中,光场处理器被配置为实时生成修改的数值光场图像数据。
根据前述段落中任一段所述的装置,其中,光场处理器被配置为生成光学处方。
根据前一段所述的装置,其中,光场处理器被配置为通过以下方式生成光学处方:计算地将第一测试量的正或负光焦度引入数值光场图像数据;接收来自用户的关于第一测试量的正或负光焦度的反馈;以及计算地将第二测试量的正或负光焦度引入光场图像数据。
根据前述段落中任一段所述的装置,其中,光场处理器还被配置为通过去除如果作为物理光场的一部分生成的将与用户的角膜或晶状体中的缺陷相互作用的一个或多个光线来生成修改的数值光场图像数据。
一种使用可穿戴的眼科装置的方法,该方法包括:计算地将一定量的正或负光焦度引入用户环境的数值光场图像数据,以便生成修改的数值光场图像数据,该光焦度的量基于用户的光学处方;以及使用光场显示器生成与修改的数值光场图像数据对应的物理光场。
根据前一段所述的方法,其中,光焦度包括球面或柱面光焦度。
根据前述段落中任一段所述的方法,其中,生成修改的数值光场图像数据包括关于光学处方至少部分地校正数值光场图像数据。
根据前述段落中任一段所述的方法,其中,生成修改的数值光场图像数据包括识别由数值光场图像数据表示的一个或多个波前,并基于光学处方计算地修改一个或多个波前的曲率。
根据前述段落中任一段所述的方法,还包括将虚拟现实或增强现实图像内容添加到数值光场图像数据。
根据前述段落中任一段所述的方法,其中,光学处方包括用于近视的处方。
根据前述段落中任一段所述的方法,其中,光学处方包括用于远视的处方。
根据前述段落中任一段所述的方法,其中,光学处方包括用于散光的处方。
根据前述段落中任一段所述的方法,其中,光学处方包括关于用户眼睛的高阶像差的信息。
根据前述段落中任一段所述的方法,还包括使用光场相机从用户的环境接收光并生成数值光场图像数据,其中光场相机包括具有二维微透镜阵列的集成成像相机和对应的二维光电探测器阵列。
根据前述段落中任一段所述的方法,其中,光场显示器包括具有二维微透镜阵列和对应的二维光源阵列的集成成像显示器。
根据前述段落中任一段所述的方法,还包括将红外光投射到用户的眼睛中以测量光学处方。
根据前述段落中任一段所述的方法,还包括实时生成修改的数值光场图像数据。
根据前述段落中任一段所述的方法,还包括生成光学处方。
根据前一段所述的方法,其中,生成光学处方包括:计算地将第一测试量的正或负光焦度引入数值光场图像数据;接收来自用户的关于第一测试量的正或负光焦度的反馈;以及计算地将第二测试量的正或负光焦度引入光场图像数据。
根据前述段落中任一段所述的方法,还包括通过计算地去除如果作为物理光场的一部分生成的将与用户的角膜或晶状体中的缺陷相互作用的一个或多个光线来生成修改的数值光场图像数据。
色像差的校正
在各种实施例中,光场处理器系统600可用于至少部分地校正或补偿色像差。色像差是由不同波长的光与光场处理器系统的光学器件或用户的眼睛不同地相互作用导致的色像差。色像差通常由光学材料的折射率通常随光的波长的函数变化而变化的事实引起。通常存在两种类型的色像差:纵向色像差和横向色像差。当不同波长的光聚焦在距透镜不同的距离时,出现纵向色像差。当不同波长的光聚焦到光学系统的焦平面上的不同位置时,出现横向色像差。色像差可以使图像的颜色分量相对于彼此移位或置换。
将由光场处理器系统600投射并由用户观看的光场图像数据通常可以包括多个颜色分量。可以使用不同波长的光投射图像数据的不同颜色分量。例如,彩色光场图像数据可以包括红色分量、绿色分量和蓝色分量(尽管可以使用不同数量的颜色分量,也可以使用不同颜色的原色)。在一些实施例中,光场处理器系统600可以被配置为通过改变不同波长的光的焦点来补偿纵向色像差。如已经讨论的,光场处理器系统600可以通过引入正或负光焦度来计算地调整光场图像数据的焦点。通过在逐个颜色的基础上计算地将正或负光焦度引入光场图像数据(即,计算地将第一量的光焦度引入第一颜色分量以及将不同的第二量的光焦度引入第二颜色等),光场处理器系统600可以调整图像数据的不同颜色的焦点,以便至少部分地减少纵向色像差。
另外,光场处理器系统600可以被配置为计算地更改投射不同颜色的光的角度,以便至少部分地减少横向色像差。对于不同的颜色分量,该角度偏移的量可以是不同的。在一些实施例中,颜色分量的投射角度的变化在整个图像上是恒定的,而在其他实施例中,颜色分量的投射角度的变化可以随图像中的位置的函数而变化。
在一些实施例中,光场处理器系统600可以被配置为基于用户的光学处方或基于由光场处理器系统600自身的光学器件引入的色像差或这两者来补偿色像差。
用户的眼睛可以将色像差赋予到在视网膜处接收的图像数据。可以基于光学处方确定由眼睛引起的色像差。光学处方可包括用于纵向色像差和/或横向色像差的处方。在一些实施例中,光场处理器系统600本身可以确定用户的光学处方。另外或替代地,系统可以包括用户输入光学处方的用户界面或者光场处理器系统600可以经历眼睛处方配置器程序来确定眼睛的色像差。在一些实施例中,如本文所述,光场处理器系统600可以被配置为基于从生物反馈系统接收的输入客观地监视和动态调整(例如,实时地)用户的光学处方。
类似地,光场处理器系统600还可以将色像差赋予通过其光学器件的光场图像数据。可以基于系统的规格、制造要求和/或表征测量来确定由系统600引起的色像差。光场处理器系统600可以被配置为当将图像投射到佩戴者的眼睛时至少部分地补偿这些预定的像差。
一旦已知关于由用户的眼睛和/或光场处理器系统600本身引入的色像差的信息,系统就可以选择适当的图像修改程序以应用于通过光场处理器系统600的显示器投射给用户的图像数据。如下面进一步讨论的,图像修改程序可以例如改变图像的一个或多个颜色分量的焦点以补偿纵向色像差。在另一实施例中,替代地或组合地,图像修改程序可以改变图像的一个或多个颜色分量的投射角度以补偿横向色像差。
光场处理器70可以被配置为通过为要显示给用户的光场图像数据的每个颜色分量提供不同量的光焦度来校正色像差。例如,光场处理器70可以被配置为计算地为光场图像数据的第一颜色分量提供第一光焦度调整。光场处理器70可以被配置为计算地为光场图像数据的第二颜色分量提供与第一光焦度调整不同的第二光焦度调整。类似地,光场处理器70可以被配置为计算地为光场图像数据的第三颜色分量提供与第一和第二光焦度调整不同的第三光焦度调整。任何光焦度调整都可以是正的或负的。可以选择提供给图像数据的任何颜色分量的特定量的光焦度调整,以使与图像数据的颜色分量相关联的各个焦平面更靠近在一起。以这种方式,可以选择性地更改图像的每个颜色分量的焦深,以减少纵向色像差。
在一些实施例中,光场处理器70可以被配置为计算地改变光场图像数据的不同颜色分量的投射角度或位置。可以改变投射角度/位置,以便基本上使图像数据的不同颜色分量对准。在一些实施例中,光场处理器70可以以第一调整量计算地更改光场图像数据的第一颜色分量的投射角度和/或位置。对于图像数据的其他颜色分量也可以这样做(即,以第二调整量计算地更改第二颜色分量的投射角度和/或位置,以及以第三调整量计算地更改第三颜色分量的投射角度和/或位置),以便减少横向色像差。
在选择适当的图像修改程序以执行前述调整之后,光场处理器系统600可以应用图像修改程序以计算地补偿投射的光场图像数据中的色像差。这可以在实时的基础上完成。当系统600补偿色像差时,不一定需要去除所有色像差。例如,一些色像差可以有助于为给定用户创建深度提示的真实焦点。因此,可以控制色像差的补偿以允许一些像差,同时校正其他像差以提供改善的或最佳的视力质量。
以下段落描述了本文描述的装置、系统和方法的各种示例实施例。
一种可穿戴的眼科装置,包括:面向外的头戴式光场相机,其被配置为接收来自用户周围环境的光并生成数值光场图像数据,该数值光场图像数据包括多个颜色分量;光场处理器,其被配置为计算地修改数值光场图像数据以生成修改的数值光场图像数据,不同的颜色分量被不同地修改,以便至少部分地补偿色像差;以及头戴式光场显示器,其被配置为生成与修改的数值光场图像数据对应的物理光场。
根据前一段所述的装置,其中,色像差包括纵向色像差。
根据前一段所述的装置,其中,光场处理器被配置为计算地将第一量的光焦度引入数值光场图像数据的第一颜色分量以及计算地将第二量的光焦度引入数值光场图像数据的第二颜色分量,第二量的光焦度不同于第一量的光焦度。
根据前一段所述的装置,其中,第一量的光焦度和第二量的光焦度导致第一颜色分量的焦平面与第二颜色分量的焦平面之间的差异减小。
根据前述段落中任一段的装置,其中,色像差包括横向色像差。
根据前一段所述的装置,其中,光场处理器被配置为以第一角度投射光场图像数据的第一颜色分量并以不同于第一角度的第二角度投射光场图像数据的第二颜色分量,以补偿横向色像差。
根据前述段落中任一段所述的装置,其中,基于用户眼睛的光学处方来修改光场图像数据的颜色分量。
根据前述段落中任一段所述的装置,其中,基于装置的色像差的测量来修改光场图像数据的颜色分量。
根据前述段落中任一段所述的装置,其中,颜色分量包括红色、绿色和蓝色分量。
一种使用可穿戴的眼科装置的方法,该方法包括:使用面向外的头戴式光场相机接收来自用户环境的光并生成数值光场图像数据,该数值光场图像数据包括多个颜色分量;使用光场处理器计算地修改数值光场图像数据以生成修改的数值光场图像数据,不同的颜色分量被不同地修改以便至少部分地补偿色像差;以及使用头戴式光场显示器生成与修改的数值光场图像数据对应的物理光场。
根据前一段所述的方法,其中,色像差包括纵向色像差。
根据前一段所述的方法,还包括使用光场处理器计算地将第一量的光焦度引入数值光场图像数据的第一颜色分量以及计算地将第二量的光焦度引入数值光场图像数据的第二颜色分量,第二量的光焦度不同于第一量的光焦度。
根据前一段所述的方法,其中,第一量的光焦度和第二量的光焦度导致第一颜色分量的焦平面和第二颜色分量的焦平面之间的差异减小。
根据前述段落中任一段所述的方法,其中,色像差包括横向色像差。
根据前一段所述的方法,还包括使用光场处理器以第一角度投射光场图像数据的第一颜色分量并以不同于第一角度的第二角度投射光场图像数据的第二颜色分量,以补偿横向色像差。
根据前述段落中任一段所述的方法,其中,基于用户眼睛的光学处方来修改光场图像数据的颜色分量。
根据前述段落中任一段所述的方法,其中,基于装置的色像差的测量来修改光场图像数据的颜色分量。
根据前述段落中任一段所述的方法,其中,颜色分量包含红色、绿色和蓝色分量。
校正老视
在一些实施例中,光场处理器系统可用于补偿老视。老视是眼睛晶状体的调节幅度的减小并且通常与衰老相关联。对于近的对象,睫状肌改变晶状体的形状以提供调节性(accommodative)焦度,该调节性焦度将眼睛接收的光聚焦到视网膜上以在其上形成图像。随着年龄的增长,眼睛的晶状体改变形状并为近距离调节的能力减弱(diminish)。常规地,通过使用包括分割透镜(例如,双焦点、三焦点等)的多焦点校正透镜系统、或通过使用具有连续焦距梯度的透镜(例如,渐进透镜)或可变焦点机械可变形或液晶透镜来治疗老视。
在一些实施例中,光场处理器系统600可以被配置为辅助老视。在各种实施例中,光场处理器系统600可以计算地用作可变焦距透镜。如上所述,例如,在校正近视、远视或散光时,光场处理器系统600可以对捕获的光场图像数据应用计算变换以添加球面波前曲率,该球面波前曲率可以通过改变计算变换而被动态地更改。通过使用光场处理器70来增加用于近距离观看的正球面焦度,该系统可以提供老视校正。用于近距离观看添加的校正可以应用于整个视场或仅其一部分(例如,视场的下部)的光场图像数据。
在一些实施例中,用户可能能够手动调整由光场处理器70添加到捕获的光场中的聚焦焦度。例如,在一些实施例中,光场处理器系统600可具有反馈机制(例如,用户接口控制)以增加或减少由光场处理器70计算地应用于捕获的光场的光焦度。用户可以基于正被呈现给他或她的图像数据的焦点来提供反馈。
替代地或另外地,光场处理器系统600可以被配置为基于用户眼睛的主观或客观测量自动地或交互地调整由光场处理器70添加的光焦度。例如,在一些实施例中,光场处理器系统600包括一个或多个眼睛跟踪相机或成像系统以跟踪眼睛。这种相机和/或成像系统可以监视眼睛的取向和相应眼睛的视线的对应方向。例如,如果用户的眼睛向下看,则用户可能正在看附近的例如书的对象,或者可能正在看与放置在典型地跟附近对象相关联的位置(视场的下部)中的图像对应的投射图像内容。凝视还可以基于眼睛的聚散度-眼睛对的视线如何会聚在一个位置以及该位置相对于佩戴者的距离-来确定。因此,通过监视聚散度,可以确定观看者想要观看对象的距离。当光场处理器系统600检测到用户正在俯视或观看附近对象时,光场处理器70可以将球形焦度添加到捕获的光场图像数据以帮助校正老视。
在一些实施例中,光场处理器系统600可包括检测用户头部位置的传感器。在一个实施例中,可以基于用户的头部位置(例如,头部姿态或取向)来估计或检测观看者想要观看对象的距离。例如,如果用户的头部向前和/或向下倾斜,则佩戴者可能正在看相对近的例如书的对象,或者可能正在看与放置在典型地跟附近对象相关联的位置(视场的下部)中的图像对应的投射图像内容。
在一些实施例中,光场处理器系统600可包括具有一个或多个加速度计、陀螺仪传感器等的传感器组件39,该传感器组件39被配置为确定用户的头部位置(例如,头部姿态或头部取向-笔直、向下倾斜、抬头等)和/或头部移动,如本文其他地方所讨论的。光场处理器系统600还可以包括处理器32(例如,头部姿态处理器),其可操作地耦接到传感器组件39并且被配置为执行数字和/或模拟处理以从由传感器组件39检测到的移动中导出头部位置、头部姿态和/或取向。在一个实施例中,传感器组件39可以生成存储在数字存储器中的移动数据。在一些实施例中,移动数据可用于在诊断视觉缺陷的同时减少信号噪声(例如,在测试期间检测头部移动可指示错误的测试和结果)。处理器32可以检索该移动数据并执行处理逻辑以确定头部位置(例如,头部姿态或取向)。
在一个或多个实施例中,凝视取向还可以基于通过眼睛跟踪系统跟踪眼睛移动。在一个实施例中,处方可以与指示眼睛的焦深的一组用户眼睛会聚点相关。例如,虽然用户的头部位置可以不变,但是可以跟踪用户的眼睛到低于地平线的会聚点。这种移动可以指示眼睛聚焦在位于近场焦深处的对象上。而且,如上所述,眼睛的聚散可以辅助确定观看者引导他或她的注意力(例如,焦点)所到的距离。可以从眼睛的视线的会聚确定该距离。因此,在各种实施例中,可以跟踪到用户的眼睛距佩戴者特定距离处的会聚点。
同样地,在各种实施例中,光场处理器系统可以被配置为确定眼睛聚焦或调节的焦深。在一些实施例中,眼睛跟踪系统可用于对用户的会聚点进行三角测量并相应地调整要呈现给用户的图像的焦点。例如,眼睛跟踪系统可以确定每只眼睛正在观看的方向(例如,从每只眼睛延伸的线)并确定方向相交的会聚角。可以从确定的会聚角确定会聚点。在一些实施例中,眼睛跟踪系统可以被包括作为生物反馈系统的一部分。如上所述,在各种实施例中,光场处理器系统可以利用与光源26(例如,红外光源和红外相机)配对的相机24来跟踪每只眼睛的位置,该相机24可以可操作地耦接到本地处理模块70。本地处理模块70可以包括软件,该软件在被执行时可以被配置为确定眼睛的会聚点。根据该确定,光场处理器系统还可以执行逻辑装置以基于用户凝视的取向或方向来确定聚焦位置或深度。
在另一个实施例中,可以通过闪烁检测来确定凝视取向。眼睛跟踪系统可以被配置为辨别来自眼睛的一个或多个闪烁或反射,并确定眼睛上的一个或多个闪烁相对于眼睛的特征(例如,瞳孔、角膜等)的位置。随着眼睛移动,眼睛上闪烁的相对位置可能会改变。例如,如果闪烁位于眼睛的顶部并且闪烁与瞳孔之间的空间增加,则这可以指示凝视取向已经向下倾斜,眼睛可以调节近场焦深。
图12示出了用于使用光场处理器系统600校正老视的示例方法。方法1200涉及基于用户的处方修改呈现给用户的光场图像数据。在一些实施例中,方法1200可以由患者佩戴的眼科装置执行,例如结合图3A-5描述的那些。在各种实施例中,图6和图7描述的光场处理器系统可以用来基于用户的光学处方来提供对老视的校正。
在1202处,为用户确定老视处方。处方可以通过从用户接收信息来确定,或者可以由光场处理器系统自身通过调整呈现给用户的波前和用户选择期望的处方来确定。例如,光场处理器系统可以被配置为对于不同的调节焦平面测试光学处方。在一些实施例中,可以利用关于多个焦深来更改通过显示装置62呈现给用户的光场图像数据的波前的离散颗粒步骤对光场处理器系统进行预编程。例如,光场处理器系统可以采用综合屈光检查仪技术,如本文所述。用户可以通过用户界面进入处方,并且该处方可以存储在远程数据储存库74中。处方可以由光场处理器系统的例如远程处理模块72的一个或多个处理器检索。
在另一个实施例中,光场处理器系统可以通过生物反馈系统自动地并且可能渐进地改变用户的处方。生物反馈系统可以被配置为确定用户观看对象或图像时的舒适水平。例如,如果用户的眼睛不稳定、移位、振荡、改变调节(例如,以不稳定或随机的方式)等,则这些可能是用户不能舒适地观看对象的指示符。因此,可以监视调节、聚散度、瞳孔尺寸等和/或可以使用自动验光仪或其他装置(例如,扫描激光检眼镜(SLO))来查看图像是否被聚焦在视网膜的中央凹上。
在一些实施例中,光场处理器系统可以被配置为从第三方接收用于老视校正的光学处方(例如,增加的光角度)。例如,医生可能能够无线地(例如,通过因特网、蓝牙连接、医院网络等)发送用户的光学处方,该光学处方由接收器或收发器接收并存储在本地处理模块70的数字存储器中。
在1204处,系统可以存储关于补偿波前的信息。补偿波前可以基于用户的光学处方,用于各种调节的焦深。在一些实施例中,信息可以是用于改变焦深的输入参数。
在一些实施例中,每个校正函数包括限定调节的一组输入参数,以实现期望的波前校正。输入参数可以基于用于在佩戴者聚焦在近场焦深时校正用户老视的光学处方。该系统可以使不同的观看距离和对应的校正函数关联,以补偿与在不同焦深处的调节相关联的屈光误差。因此,调节的不同会聚点和焦深可以与不同的处方校正相关联。
在一些实施例中,该信息还可以与头部位置(例如,头部姿态、取向)和/或凝视方向的组相关联。例如,如果用户的头部向下倾斜,则眼睛可以调节在某个(例如,较近的)焦深。因此,在各种实施例中,可以将专用于老视的程序预编程到光场处理器系统中(或下载),使得右头部位置(例如,头部姿态、取向)和/或凝视取向可以与老视校正量正确地匹配。不同的凝视方向和头部方向可以与用于辅助调节的不同处方校正相关联。因此,光场处理器系统可以被配置为依赖于测量的凝视方向和/或头部位置、头部姿态或取向来提供不同的光学校正。
在1206处,系统可以通过陀螺仪、加速度计、惯性测量单元(IMU)、其他传感器或其组合来检测用户的凝视的取向和/或头部位置、头部姿态或取向。如上所述,凝视取向(例如,包括眼睛的会聚点)和/或头部位置、头部姿态或取向可以指示佩戴者是靠近地观看还是远离地观看,从而指示佩戴者是否需要调节。因此,不同的校正函数可以用于不同的调节焦深。
在一些实施例中,光场处理器系统包括传感器组件39、处理器32和可以被配置为检测用户头部的移动、倾斜和取向的头部姿态处理器36。在一些实施例中,传感器可以可操作地耦接到本地处理模块70,本地处理模块70可以执行逻辑以检索检测到的头部运动和/或确定的头部位置、头部姿态或取向。用户头部的向下移动可以指示聚焦在近场中的对象上。
在一些实施例中,凝视取向可以基于跟踪眼睛移动,如上所述。例如,用户的一只或多只眼睛的向下移动可以指示聚焦在近场中的对象上(例如,将视线从地平线转移到保持在地平线下方的书)。因此,如果眼睛跟踪系统确定用户的眼睛已向下转移,则可以基于老视处方确定适当的校正函数。在另一个实施例中,眼睛跟踪系统可以被配置为确定会聚角是否增加(即,会聚点变得更接近用户)。这种确定可以指示聚焦在近场中的对象上。因此,光场处理器系统可以能够确定调节的焦深。
在一些实施例中,系统可以利用相机24来跟踪每只眼睛的位置,该相机24可以可操作地耦接到光场处理器70。在另一个实施例中,系统可以利用相机24来执行闪烁检测和监视,其中,例如,相机24跟踪闪烁相对于眼睛的特征(例如,眼睛的边缘、眼睛与眼睑的交叉、瞳孔等)的位置。光场处理器70可以包括软件,该软件在被执行时可以被配置为跟踪眼睛移动、闪烁移动和/或确定眼睛的会聚点。在一些实施例中,凝视取向可以被存储在远程数据储存库74中。
在一些实施例中,远程处理模块72可以被配置为将凝视取向、会聚角和/或头部位置信息与光学处方相关联,所有这些信息可以被本地存储或存储在远程数据储存库74中。
在1208处,基于检测到的凝视取向和/或头部位置,系统查阅映射表(例如,在1204处存储的信息)以确定适当的校正函数以计算地应用到捕获的光场图像数据来生成补偿的波前。例如,基于凝视取向或方向和/或头部位置,系统可以确定眼睛正在调节的焦深。在各种实施例中,光学处方可以与跟调节相关联的一个或多个焦深相关。例如,与不同调节量相关联的不同会聚点或焦深可以与不同的光学处方和校正函数相关联。
在各种实施例中,在1208处,系统可以检索检测到的调节的焦深并且可以查阅在1204处存储的映射。基于该映射,系统可以确定对于该识别的焦深的适当的校正函数。
在一些实施例中,光场处理器70可以检索在1206处存储在数字存储器中的检测到的凝视取向。或者,光场处理器70可以直接从眼睛跟踪系统、传感器组件39和/或头部姿态处理器36接收检测到的凝视取向。光场处理器70可以执行逻辑以访问在1206处存储的映射表,并且基于凝视取向、会聚角和/或头部位置,选择适当的对应的校正函数以计算地应用到收集的光场图像数据来补偿老视。
在1210处,将适当的补偿波前(例如,正球面角度)计算地应用于收集的光场图像数据。在1212处,将修改的光场图像数据呈现给用户。处理的光场图像数据可以具有波前,该波前基于如在框1210处应用的所选择的校正函数而被修改。
因此,可以实施方法1200以动态地校正用户的老视。由光场处理器应用的校正可以被动态地重新配置(例如,当用户的光学处方改变时被实时地重新配置,因此在光场处理器系统的使用期间被重复地更新)。例如,可以以各种时间间隔调整老视处方校正。因此,光场处理器系统可以被配置为动态地校正用户的老视处方中的变化。间隔可以是预定的并且以视力缺陷、劣化或变化的预期速率或发生为基础。例如,用户的老视可以随着用户年龄而改变。
在一些实施例中,在1210处,光场处理器系统可以实现眼睛处方配置程序。在1210处,光场处理器系统可被配置为基于来自生物反馈系统的输入而返回到框1202以更新或调整处方,如上所述,以便在没有用户激活的情况下在每个间隔处手动且交互地确定用户的处方。这样的手术可以通过方案来安排(例如,被配置为每月检查一次、每年检查几次等)或者当确定视力-例如近视力-正在劣化时来安排。在另一个实施例中,如上所述,生物反馈系统可以监视用户眼睛中的移动和变化(例如,通过相机24和光源26)以确定用户正在努力调节。例如,光场处理器系统可以监测眼睛的聚散、瞳孔扩张和/或移动和/或自然晶状体的形状。光场处理器系统还可以使用自动验光仪或本文所述的其他技术来监测在视网膜中央凹上形成的图像。然后,光场处理器系统可以启动眼睛处方配置程序以确定新的光学处方和/或调整校正函数(例如,更新焦深和校正函数的映射表)。
在一个或多个实施例中,光场处理器系统可以允许用户手动调整呈现给用户的一个或多个图像的焦点。例如,可以用调整焦点的离散步骤对系统进行预编程。然后,用户可以通过用户界面向光场处理器系统指定所需的焦点。在一些实施例中,用户可以具有渐进地增加或减少处方(例如,改变焦点)的选择直到用户到达舒适的观看焦点。或者,光场处理器系统可以能够通过利用生物反馈系统和其他诊断技术自动渐进地增加或减少处方(参见例如本文的综合屈光检查仪和自动验光仪技术的描述)。在一些实施例中,这样的用户输入处方可以与特定凝视或头部取向相关联并且可以在佩戴者具有这样的凝视或头部取向时提供。但是在一些实施例中,可以独立于凝视或头部取向来应用这样的用户输入处方,并且该用户输入处方不随着凝视、视线和/或头部取向的改变而改变。
以下段落描述了本文描述的装置、系统和方法的各种示例实施例。
一种可穿戴的眼科装置,包括:面向外的头戴式光场相机,其被配置为接收来自用户周围环境的光并生成数值光场图像数据;光场处理器,其被配置为通过基于数值光场图像数据中的用户到对象的观看距离计算地将一定量的光焦度引入数值光场图像数据来生成修改的数值光场图像数据;以及头戴式光场显示器,其被配置为生成与修改的数值光场图像数据对应的物理光场。
根据前一段所述的装置,还包括头戴式加速计传感器以确定用户的头部取向,其中基于用户的头部取向估计观看距离。
根据前述段落中任一段所述的装置,还包括一个或多个头戴式眼睛跟踪相机以确定用户的凝视方向,其中基于用户的凝视方向估计观看距离。
根据前述段落中任一段所述的装置,还包括一个或多个头戴式眼睛跟踪相机以确定用户凝视的会聚点,其中基于用户凝视的会聚点来估计观看距离。
根据前述段落中任一段所述的装置,其中,光焦度的量基于用户的光学处方。
根据前述段落中任一段所述的装置,其中,光场相机包括集成成像相机。
根据前述段落中任一段所述的装置,其中,光场显示器包括集成成像显示器。
根据前述段落中任一段所述的装置,还包括手动控制,以指定一定量的光焦度以引入数值光场图像数据。
根据前述段落中任一段所述的装置,其中,光场处理器被配置为将一定量的光焦度引入数值光场图像数据的整个视场。
根据前述段落中任一段所述的装置,其中,光场处理器被配置为仅将一定量的光焦度引入数值光场图像数据的视场的下部。
一种使用可穿戴的眼科装置的方法,该方法包括:使用面向外的头戴式光场相机接收来自用户周围环境的光并生成数值光场图像数据;使用光场处理器通过计算地将一定量的光焦度引入数值光场图像数据来生成修改的数值光场图像数据,所引入的光焦度的量基于数值光场图像数据中用户到对象的观看距离;以及使用头戴式光场显示器生成与修改的数值光场图像数据相对应的物理光场。
根据前一段所述的方法,还包括使用头戴式加速计传感器确定用户的头部取向,其中基于用户的头部取向估计观看距离。
根据前述段落中任一段所述的方法,还包括使用一个或多个头戴式眼睛跟踪相机确定用户的凝视方向,其中基于用户的凝视方向估计观看距离。
根据前述段落中任一段所述的方法,还包括使用一个或多个头戴式眼睛跟踪相机确定用户凝视的会聚点,其中基于用户凝视的会聚点来估计观看距离。
根据前述段落中任一段所述的方法,其中,光焦度的量基于用户的光学处方。
根据前述段落中任一段所述的方法,其中,光场相机包括集成成像相机。
根据前述段落中任一段所述的方法,其中,光场显示器包括集成成像显示器。
根据前述段落中任一段所述的方法,还包括从手动控制接收一定量的光焦度以引入数值光场图像数据。
根据前述段落中任一段所述的方法,还包括将一定量的光焦度引入数值光场图像数据的整个视场。
根据前述段落中任一段所述的方法,还包括仅将一定量的光焦度引入数值光场图像数据的视场的下部。
校正斜视/弱视
另一种常见的视觉疾病是斜视,其是两只眼睛不能在单个会聚点对准以生成融合的立体图像。这通常是由于具有虚弱的眼睛肌肉的眼睛无法使其运动与其正常的对应物的运动协调所导致的。类似地,弱视是一种视觉疾病,其中一只或两只眼睛的视力下降。这种视力下降可能是由婴儿期或儿童时期的视力异常发展引起的。弱视有时被称为“懒惰的眼睛”。
在一些实施例中,可穿戴光场处理器系统600可用于治疗或校正会聚缺陷,例如由斜视或弱视引起的缺陷。作为示例,如果会聚以角度方式偏移,则可以计算地应用补偿棱镜校正以使双眼的会聚点在一起。补偿棱镜校正可以由光场处理器计算地应用于收集的光场图像数据。
在双眼的会聚有角度地偏移的情况下,可以使用以下技术中的一种或多种。在一些实施例中,眼睛跟踪系统可以确定健康眼睛的凝视向量和/或焦点。该信息可以被推断以确定双眼的目标会聚点。在某些实施例中,眼睛跟踪系统和深度感测系统可以结合使用以确定双眼的会聚点。在某些实施方式中,可以通过治疗方案“重新训练”一只或多只眼睛的肌肉以逐渐使双眼的焦点和/或会聚点对准。治疗方案可包括本文所述的方法,包括设计用于加强较弱眼睛的肌肉和/或设计用于刺激对来自较弱眼睛的光学信号的神经反应的方法。
光场处理器系统600可以被配置为选择性地在提供给佩戴者的图像中引入棱镜效果或角度偏移。这可以通过多种方式和不同目的来完成。例如,计算补偿棱镜校正可以被应用作为佩戴者的光学校正(例如,以补偿佩戴者的一只或两只眼睛中的会聚缺陷)。该校正可以应用于收集的光场图像数据以解决佩戴者的缺陷,使得即使在佩戴者患有斜视和/或弱视的情况下佩戴者也可以实现或接近双眼单视觉。
可以通过调整提供给佩戴者的图像数据的位置来实现补偿棱镜校正。光场处理器可以通过使显示在显示器中的图像的位置横向移位(垂直于视线法线或法向于光轴)来实现这一点(与没有这种干预的情况下将被投射的图像数据的位置相比)。系统600可以被配置为检测佩戴者的眼睛的焦点或对准,并且将相应的左图像和右图像的位置调整为在每只眼睛的视场内的目标点处。例如,系统600可以包括眼睛跟踪以确定每只眼睛的凝视。当确定凝视时,系统可以被配置为将相应的左图像和右图像定位在相应的左眼和右眼的视场内中心。在一些实施例中,为了重新训练较弱的眼睛,系统可以逐渐地将呈现给较弱眼睛的图像朝向期望的或目标会聚点移动。通过这种方式,可以重新训练较弱的眼睛以正确地观看与强眼相同的点。
为了确定要计算地应用的棱镜校正的量,光场处理器系统600可以被配置为监视图像和光正被投射在佩戴者的较弱的眼睛的视网膜上的何处。(这可以使用如本文所述的集成眼睛成像能力来完成。)如果棱镜校正允许光照射在视网膜的期望部分上,那么它是正确的。如果不是正确的,则需要或多或少的校正。如本文所述,自动验光仪技术或其他技术(例如,扫描激光检眼镜(SLO))可用于确定补偿棱镜校正是否已减少或校正佩戴者的未对准视力。在一些实施例中,系统600被配置为确定用户是否具有向外斜或向内斜的偏差(或接收指示用户是否具有向外斜或向内斜的偏差的输入)。一旦该装置知道该偏差,就可以计算地将棱镜校正应用于光场图像数据,直到基本上校正视力缺陷。这可以被自动地确定,或者可以根据用户输入而被确定。在一些实施例中,为了自动确定正确或合适的棱镜校正,系统600可包括一个或多个面向内的相机以测量角度偏差(例如,注视的偏移)并使用显示器在改变另一只眼睛的棱镜处方的同时遮挡一只眼睛。在一些实施例中,为了使用用户输入确定正确或合适的棱镜校正,系统600可以被配置为实施类似于马多克斯(Maddox)杆测试的测试。例如,系统600可以提供数字滤波器以过滤用于测试的光。作为另一示例,系统600可以提供来自两个不同深度平面的图像源。(这可以使用光源714来完成,光源714被配置为将光投射到佩戴者的眼睛中。)基于用户输入,系统600可以调整棱镜校正,直到满足满足条件(例如,第一图像与第二图像对准)。
作为另一示例,计算补偿棱镜校正可以应用于治疗目的(例如,逐渐重新训练眼睛以到达目标会聚点)。本文还讨论了用于重新训练眼睛的方法,该方法强调向佩戴者的各个眼睛呈现不同特性的图像。
在一些实施例中,光场处理器系统600包括眼睛跟踪系统。眼睛跟踪系统可以被配置为确定佩戴者眼睛的凝视。眼睛跟踪系统可以包括被配置为感测佩戴者的眼睛的特性的一个或多个传感器。在一些实施例中,一个或多个传感器包括相机,如本文所述。在各种实施例中,包括相机的一个或多个传感器可以被配置为对闪烁和/或浦肯野(Purkinje)图像成像以确定凝视。眼睛跟踪系统可以包括分析模块,该分析模块被配置为至少部分地基于利用一个或多个传感器获取的信息来确定佩戴者的眼睛凝视的方向。
在一些实施例中,系统600包括一个或多个面向外的相机。在某些实施方式中,一个或多个面向外的相机可以类似于本文参考图5描述的相机16。
系统600可以包括被配置为允许佩戴者或其他人向装置提供输入的一个或多个用户界面特征。用户界面特征可以与系统集成。在一些实现方式中,用户界面特征由未与系统物理集成的装置或部件提供。例如,用户界面特征可以由与装置通信的装置或系统提供。这可以是智能手机、计算机、平板电脑或与装置进行有线或无线通信的其他计算装置。在一些实施例中,用户界面特征可以由不同装置和链接到装置的系统的组合提供(例如,通过有线或无线通信网络或通过物理链接到装置或与装置集成的部件)。用户界面特征可以呈现在具有触摸屏的装置上,其中与触摸屏的交互向系统600提供输入。还可以采用语音识别和/或虚拟触摸屏技术。用户界面特征可以包括对触摸敏感的电容特征、键盘、按钮、麦克风、光电探测器或由图形用户界面提供的各种软件实现的特征。在一些实施例中,用户界面特征包括手势检测部件,以允许佩戴者通过手势提供用户输入。在一些实施例中,用户界面特征包括凝视检测组件,以允许佩戴者通过眼睛的凝视提供用户输入(例如,这可以包括当佩戴者持续一段时间注视按钮时或者当佩戴者在注视按钮的情况下眨眼时)。这种系统可以用于本文描述的其他装置和系统。用户界面特征可以呈现在具有触摸屏的装置上,其中与触摸屏的交互向可穿戴光场处理器系统提供输入。
在一些实施方式中,佩戴者、临床医生、医生或其他用户可以使用界面特征来控制视力测试和/或治疗的各方面。例如,这可以完成以改变所应用的计算棱镜校正的量、图像的计算横向偏移的量、修改增强图像的特性、或以其他方式配置对会聚缺陷的测试或治疗。
图13示出了用于使用光场处理器系统来治疗会聚缺陷(例如由斜视和/或弱视引起的那些)的示例方法1300。为了便于描述,方法1300将被描述为由光场处理器系统600执行,如本文所述。方法1300包括通过遮挡较强眼睛或对较强眼睛削减(de-emphasize)来“重新训练”懒惰的眼睛或未对准的眼睛的方法。应当理解,可以基于用户的特定处方设计许多治疗方案,并且可以改变准确的参数和/或技术。
在框1302,光场处理器系统600确定双眼的焦点和/或会聚点的差异。如本文所讨论的,可以基于用户输入或基于由光场处理器系统执行的处方测试来确定该差异。还可以使用眼睛跟踪和/或凝视检测。光场处理器系统可以被配置为例如执行本文描述的任何方法以确定焦点和/或会聚点。
在框1304,光场处理器系统600选择治疗方案以帮助治疗佩戴者的视觉缺陷。在一些实施例中,治疗方案可以由医生或临床医生设计,或者治疗方案可以在外部位置设计并下载到光场处理器系统上。治疗方案可包括各种参数。例如,治疗方案可涉及施行的治疗的频率。治疗方案可包括关于要呈现给佩戴者的图像类型的信息和/或关于显示给每只眼睛的两个显示器或图像的差异的信息。例如,治疗方案可以基于二向色呈现,其中向佩戴者显示具有不同特性的图像(例如,不同图像或相同图像,其中显示给左眼和/或右眼的图像版本被更改)。在一些实施方式中,可以增强向较弱眼睛显示的图像和/或可以减弱向较强眼睛显示的图像。例如,可以更改向较弱眼睛显示的图像以使其对佩戴者更有趣或更有吸引力(例如,增亮、增强色彩、三维增强、锐化焦点、更高分辨率、增强对比度、移动、更高刷新率等)。类似地,可以更改向较强眼睛显示的图像以使其对佩戴者不那么有趣或不那么有吸引力(例如,变暗、柔和的颜色、平坦、模糊、较低的分辨率、较低的对比度、静态、较低的刷新率等)。在各种实施方式中,仅更改向较弱眼睛显示的图像,而不更改向较强眼睛显示的图像。在各种实施方式中,仅更改向较强眼睛显示的图像,而不更改向较弱眼睛显示的图像。在各种实施方式中,更改向较弱眼睛和较强眼睛显示的图像。治疗方案可包括关于方案的持续时间的信息。治疗方案可以采用交互式虚拟对象,从而使“治疗”对于用户更加愉快并且增加用户对治疗方案的顺从性。治疗方案可以采用动态图像(例如,电影、游戏等)以使治疗更加愉快,从而提高顺从性。
在框1306,光场处理器系统可以至少部分地基于附接到治疗方案的调度器来检测或确定治疗方案的时间或时间窗口。例如,治疗方案可以被编程为使得眼睛的重新训练在每天晚上10点或在上午8点到9点之间的某个时间执行。例如,治疗方案可以每周仅规定一次。治疗方案可涉及更多治疗阶段,例如每周至少两次、每周至少五次、每天和/或一天的多次,例如每天至少一次、两次、三次、四次或五次。在一些实施例中,治疗方案可以响应于检测到眼睛变得或较多或较少未对准而被编程。在各种实施例中,治疗方案可以被编程为在眼睛从先前的治疗方案中恢复时发生。
在框1308,光场处理器系统更改一只或两只眼睛的视场。这可以包括例如部分地或完全地计算地遮挡眼睛(例如,通过使要呈现给每只眼睛的图像数据的全部或部分变黑)。在一些实施例中,光场处理器系统可以向每只眼睛呈现不同的图像(有时在视场内的不同位置)以加强较弱的眼睛或促进大脑内图像融合的适当聚散。应当理解,这仅仅是一种示例技术,并且可以使用许多其他技术来加强或重新训练眼睛的肌肉。遮挡可以是部分或完全遮挡。也可以使用对呈现给佩戴者的图像进行全部或部分离焦、模糊、削弱(attenuation)或其他更改。
在一些实施例中,光场处理器系统可以跳过框1308。例如,在一些治疗方案中,不更改较强眼睛和较弱眼睛的相应视场。光场处理器系统可以向佩戴者的眼睛呈现不同视觉特性的图像,以促使较弱的眼睛获得强度。
如本文所述,对于相应眼睛显示的内容也可以不同,无论是否更改一只眼睛或两只眼睛的视场。例如,可以向较弱的眼睛显示更有趣的内容。这可以通过将更亮、更高分辨率、更完整、移动、高对比度、三维、颜色增强、来自多个深度平面等的图像投射到较弱的眼睛来实现。作为另一个示例,可以向较强的眼睛显示不那么有趣的内容。这可以通过将到较暗的、较低分辨率、缺失部分、静态、较低对比度、平坦、颜色减弱、从单个深度平面等的图像投射到较强的眼睛来实现。可以将有趣的内容投射到较弱的眼睛同时可以将不那么有趣的内容投射到较强的眼睛,从而促进较弱的眼睛获得强度。
在框1310,光场处理器系统投射吸引较弱眼睛的注意力的刺激图像。这些刺激图像可以在指定位置呈现和/或具有增强的视觉特性-颜色饱和度、对比度、分辨率、深度提示、三维效果、亮度、强度、焦点等,从而促进眼睛聚焦和/或会聚在目标位置和/或促进来自较弱眼睛的视觉内容以加强较弱眼睛。虚拟图像可以随时间移动并以治疗方案指定的速率移动,以在多个深度平面上的聚散点处将眼睛拉到一起。当眼睛在共同的聚散点对准时,来自每只眼睛的图像融合并且大脑看到一个图像而不是两个图像。例如,这可以例如以游戏的形式实现。
在各种实施例中,例如,光场处理器系统可以被配置为同时向两只眼睛(双眼)呈现图像以用于处理或治疗目的。呈现给各个眼睛的图像在视觉特性上可以不同。这种差异可以随着时间的推移增加较弱眼睛的表现。例如,为了向佩戴者提供立体图像,可以向佩戴者呈现左图像和右图像。在治疗期间,相对于较强眼睛可以增强对应于较弱眼睛的图像。图像的增强可包括,例如但不限于,增加图像的亮度、增加图像的对比度、增加图像的色彩饱和度、增加图像的强度、增加图像的三维效果、向图像添加内容等。类似地,可以减弱对应于较强眼睛的图像。图像的减弱可包括,例如但不限于,降低图像的颜色饱和度、削弱或降低图像的强度、使图像平坦化、使图像模糊、使图像离焦、使图像阴影、部分或完全遮挡图像等。在某些实施方式中,可以通过从不同深度平面计算地将图像呈现给相应的眼睛来实现图像的离焦。在一些实施例中,治疗可包括增强对较弱眼睛的图像并将减弱对较强眼睛的图像。在某些实施例中,治疗可以包括增强对较弱眼睛的图像,而不更改对较强眼睛的图像。在各种实施例中,治疗可以包括将减弱对较强眼睛的图像,而不更改对较弱眼睛的图像。可以逐渐地和/或间歇地应用图像的增强和/或减弱。例如,可以每30-60秒逐渐增强或减弱图像的质量和/或当光场处理器系统检测到眼睛变得更加未对准时逐渐增强或减弱图像的质量。作为另一示例,可以持续时间段内增强或减弱图像,然后可以持续第二时间段去除该效果。这可以在治疗期间交替。
在一些实施例中,治疗还可以包括变化的深度平面,其中从该平面呈现图像。这可以类似于布洛克(Brock)串,其中多个深度平面用于重新训练具有会聚缺陷的眼睛。从各种深度平面投射图像,从而允许眼睛会聚并聚焦在变化的深度处的图像上。变化的深度平面也可用于提供类似于铅笔俯卧撑(pencil pushup)的治疗。该治疗包括在第一深度平面(例如,大约1英尺远或更远)处呈现图像,然后更靠近佩戴者将图像移动到第二深度平面。移动图像可以包括更靠近佩戴者逐渐将深度平面从第一深度平面移动到第二深度平面。当在该更近的深度平面处呈现图像时,可以调整图像的深度,使得佩戴者可以在难以聚焦的区域(例如,佩戴者难以会聚在图像上)中练习对图像聚焦。该治疗还包括在比第一和第二深度平面更远的第三深度平面处提供图像。当图像正在第二深度平面处呈现时,佩戴者可以在聚焦在第二深度平面处的图像和聚集在第三深度平面处呈现的图像之间交替。例如,这可以加强眼部肌肉。这些方法可以在治疗期间与图像的增强和/或减弱相结合。
在一些实施例中,治疗可包括对一只或两只眼睛的选择性遮挡。这样做可以在视网膜的目标部分呈现视觉刺激图像,以提高治疗效果。在一些实施例中,光场处理器系统被配置为使用选择性遮挡来阻挡佩戴者看到的对象的部分。选择性遮挡还包括间歇地遮挡眼睛中的图像。这样做可以交替到眼睛的图像(例如,在将图像呈现给左眼然后呈现到右眼之间交替)。
在一些实施例中,治疗可以包括对补偿棱镜校正的微小调整以逐渐影响眼睛的会聚。例如,可以在治疗期间减少补偿棱镜校正和/或横向图像偏移的量,以影响较弱的眼睛会聚到目标点。补偿棱镜校正和/或横向图像偏移的量可以在单次治疗期间或在多次治疗过程中随时间减少。
在框1312,系统可能通过检测用于调节、聚散等的眼睛的功能的正常特性来检测治疗方案的规定时间的结束。此时,光场处理器系统在框1314处停止治疗。如果已经应用了遮挡或削减,则这可以包括终止提供给佩戴者的图像数据的遮挡或削减。在一些实施例中,佩戴者可以基于佩戴者的安排手动地施行治疗方案。类似地,可以设想许多其他这样的治疗方案。
另外或替代地,可以基于监测性能参数来终止或调整规定的治疗方案。当性能参数达到期望值、状态或范围时,可以终止或调整治疗方案。在一些实施例中,性能参数是生物反馈参数。例如,在一些实施例中,在框1312,光场处理器系统通过在治疗期间跟踪佩戴者的表现来确定应该停止治疗。当佩戴者显示疲劳迹象或缺乏顺从性时,光场处理器系统在框1314停止治疗。例如,光场处理器系统可包括被配置为检测佩戴者的凝视的眼睛跟踪系统。眼睛跟踪系统可以检测到佩戴者在治疗期间的表现(例如,佩戴者成功地聚焦于正在呈现的图像的能力)随着时间的推移而劣化。这可能表明佩戴者感到疲倦,并且进一步的训练或治疗效果有限。在一些实施例中,光场处理器系统可以随时间跟踪佩戴者的表现以确定佩戴者的会聚缺陷是否随时间减少(例如,在单次治疗期间和/或在多次治疗阶段期间)。如果懒惰的眼睛漂移(drift)得更多,系统可以开始更强的治疗。或者如果懒惰的眼睛几乎与强壮的眼睛对准,则系统可以终止治疗。
在一些实施例中,在框1312,光场处理器系统接收来自用户、临床医生或外部源的输入,指示应停止治疗。当接收到这样的用户输入时,光场处理器系统在框1314处停止治疗。
在一些实施例中,在框1312,光场处理器系统在施行的治疗方案期间自动检测用户的表现。在框1312中,光场处理器系统可以被配置为基于在施行的治疗方案期间检测到的佩戴者的表现来返回到框1304以更新或调整治疗方案。例如,如果在治疗期间较弱眼睛的会聚角没有改善,则光场处理器系统可以调整治疗方案参数并继续方法1300再次在框1304处开始。这样,光场处理器系统可以在测试期间将佩戴者的表现用作反馈,以对治疗方案进行调整和/或确定何时停止治疗。
在各种实施方式中,光场处理器系统可被配置以在完成之前停止治疗方案。例如,如果光场处理器系统检测到眼睛中的疲劳(例如,较弱眼睛的会聚角变差),则光场处理器系统可以被配置为在框1312处通过进行到框1314来停止治疗方案。
弱视或“懒惰的眼睛”是其中一只眼睛比另一只眼睛弱的情况。这可能是由于大脑倾向于支持输入到较强眼睛而不是较弱眼睛。在一些实施例中,光场处理器系统可以被编程为执行与参考图13描述的方法1300类似的方法,以便通过选择性地调暗进入较强眼睛的光强度或降低进入较强眼睛的视觉刺激水平来增强对较弱眼睛的视觉刺激并由此逐渐加强较弱眼睛和/或再现眼贴(patch)的效果。也可以采用例如参考斜视的如上所述的其他治疗和训练系统以及技术。
在各种实施例中,为了减少干扰,通过光场处理器系统的位于佩戴者眼睛前方的世界的视图在检查和/或治疗期间被遮挡或以其他方式不可见。
图14是光场处理器系统的实施例的示意图,该系统包括面向外的集成成像相机16、光场处理器70和还包括一个或多个光电探测器的集成成像显示器62。图14中所示的面向外的集成成像相机16和光场处理器70可以与本文其他地方描述的那些类似。
如先前关于图7所讨论的那样,集成成像显示器62包括二维微透镜阵列712和二维光源阵列714。光源阵列714可以是例如发光二极管(LED)的红色、绿色、蓝色(RGB)阵列。一些实施例还可包括红外发射光源,用于由于本文所讨论的任何原因地将红外光投射到佩戴者的眼睛中。或者,光源阵列714可以被实现为液晶显示器(LCD)面板或一些其他类型的显示面板。每个光源可用于发射与处理的集成图像中的像素或子像素对应的光。然后,从每个光源714发射的光由小透镜712中的一者投射到用户眼前的空间中的对应点716。在一些实施例中,每个小透镜712投射一个处理的元素图像。来自每个投射的元素图像的光的重叠重新创建了可以由用户观看的物理光场。
在图14中,集成成像显示器62另外包括二维光电探测器阵列715(图示为散布有光源714的阴影(shade)框)。光电探测器715可以对可见光和/或红外光敏感。光电探测器715可用于收集来自佩戴者眼睛的光并数字化收集的光。在一些实施例中,光电探测器715对佩戴者的眼睛成像,包括其任何解剖部分。在一些实施例中,光电探测器715与光源714一起散布并散布在光源714当中。光电探测器715和光源714可以从同组小透镜712接收光。替代地,光电探测器715和光源714可以是物理间隔的(例如,在单独的集群(cluster)中)足以使得光电探测器715使用与光源714不同的一个或多个透镜。光电探测器715及其相关联的透镜的一个组或多个组可以形成用于捕获来自佩戴者的眼睛的光的一个或多个相机。在一些实施例中,一个或多个相机是用于捕获来自佩戴者的眼睛的光场图像数据的光场相机。为了本文所讨论的任何目的,图14中所示的光电探测器715可用于收集来自佩戴者的眼睛的光。例如,在本文讨论的自动验光仪和像差仪实施例中,光电探测器715可用于捕获和数字化被从佩戴者的视网膜反射的光。然后,光场处理器70可以处理这些信号,以确定关于佩戴者视力的信息(例如,他或她的光学处方和/或高阶像差)。在一些实施例中,光电探测器715捕获光场数据。在其他实施例中,光电探测器715捕获常规的2D图像。
尽管图14示出了光电探测器715与集成成像显示器62集成的实施例,这不是必需的。在其他实施例中,光电探测器715可以被设置到集成成像显示器62的一侧或者被设置到可以被配置为获得佩戴者眼睛的足够的视图(例如,使用分束器、镜子、棱镜等)的任何其他位置。
以下段落描述了本文描述的装置、系统和方法的各种示例实施例。
一种可穿戴的眼科装置,包括:左面向外的头戴式光场相机,其被配置为接收来自用户周围环境的光并且为用户的左眼生成数值光场图像数据;右面外向的头戴式光场相机,其被配置为接收来自用户周围环境的光并为用户的右眼生成数值光场图像数据;光场处理器,其被配置为基于用户凝视的会聚点,通过将平移移位引入由光场相机为用户眼睛中的一者捕获的数值光场图像数据来生成修改的数值光场图像数据;以及头戴式光场显示器,其被配置为生成与修改的数值光场图像数据对应的物理光场。
根据前述段落中任一段所述的装置,其中,计算地引入平移移位包括计算地引入棱镜焦度。
根据前述段落中任一段所述的装置,其中,光场相机包括集成成像相机。
根据前述段落中任一段所述的装置,其中,光场显示器包括集成成像显示器。
一种使用可穿戴的眼科装置的方法,该方法包括:使用左面向外的头戴式的光场相机接收来自用户周围环境的光并为用户的左眼生成数值光场图像数据;使用右面向外的头戴式的光场相机接收来自用户周围环境的光并为用户的右眼生成数值光场图像数据;使用光场处理器基于用户凝视的会聚点,通过将平移移位引入由光场相机为用户眼睛中的一者捕获的数值光场图像数据来生成修改的数值光场图像数据;以及使用头戴式光场显示器生成与修改的数值光场图像数据对应的物理光场。
根据前一段所述的方法,其中,计算地引入平移移位包括计算地引入棱镜焦度。
根据前述段落中任一段所述的方法,其中,光场相机包括集成成像相机。
根据前述段落中任一段所述的方法,其中,光场显示器包括集成成像显示器。
其他眼睛异常的校正
本文描述的系统(例如,图6、7和14中的系统600)还可以用于使用2016年3月16日提交的名称为“METHODS AND SYSTEMS FOR DIAGNOSING AND TREATING HEALTH AILMENTS(用于诊断和治疗健康疾病的方法和系统)”的美国专利申请15/072,290中描述的技术中的任何一种,来检测、诊断、评估、校正和/或治疗各种其他眼睛异常或扭曲(distortion),上述申请的全部内容通过引用结合于此。例如,本文描述的系统可用于执行对比度测试、视场测试或色盲测试,如美国专利申请15/072,290中所述并且现在简要概述。
在一些实施例中,本文描述的系统(例如,系统600)可以被配置为测试佩戴者的对比敏感度。对比敏感度测试可用于评估佩戴者区分图像中不同亮度的能力。对比敏感度测试可以指示存在诸如年龄相关的黄斑变性、弱视和/或白内障的状况。
系统(例如,系统600)可以通过使用集成成像显示器62投射静态或改变的图像来施行对比敏感度测试。然后,系统可以检测来自佩戴者的响应。图像可以是对比度逐渐减小的高对比度图像或对比度逐渐增加的低对比度图像。例如,相对于白色背景呈现的深灰色图像可以逐渐变亮,直到图像变白或接近白色。可以引导佩戴者指示何时由于与背景颜色的相似而不再能够辨别图像。可以使用相同或不同的图像多次重复测试,以获得对佩戴者的对比敏感度的更准确的估计。例如,每次照亮时图像可以改变为不同的数字/字母/形状,并且可以要求佩戴者在每次改变之后报告图像的数量/字母/形状。也可以结合图像和/或眩光测试之间的颜色变化。
在一些实施例中,系统可使用静态图像估计佩戴者的对比敏感度。例如,系统可以使用诸如佩里-罗伯森(Pelli-Robson)对比敏感度的图像。佩里-罗伯森图表包含相对于白色背景的多行大写字母。左上角的字母以黑色打印,每个连续的行和/或字母以较浅的灰色阴影打印,底行和右边字母以接近白色的阴影打印。系统可以投射佩里-罗伯森图表或增加或减少对比度的类似的字母、数字、形状或其他图案的序列。可以要求佩戴者阅读字母或数字的序列或描述形状或图案,从而通过本文所述的任何响应方法提供响应。然后,系统可以基于佩戴者能够准确地检测字母、数字、形状或其他图案的存在的最低对比度来确定佩戴者的对比敏感度。
在使用改变图像的一些实施例中,可以自动地或由诸如医学专业人员的其他用户提示佩戴者以指示图像何时出现或消失和/或指示佩戴者是否可以区分不同亮度的图像。在使用静态图像的其他实施例中,可以提示用户指示观察到的图像内容,例如可见字母、数字、形状或其他图案。然后,用户可以通过用户界面输入佩戴者的响应。
对比敏感度测试可以根据需要在离散测试中执行,或者可以随时间周期性地和/或重复地执行。重复分析可以允许通过对先前结果的历史分析来跟踪逐渐降低或增加对比敏感度以及监测或检测异常。因此,对比敏感度测试功能可以结合到仅用于眼科诊断佩戴的装置中,或者可以是例如用于娱乐、工作或其他目的的定期佩戴的装置的一部分,从而可以在定期的时间间隔和/或在一天、一周、一个月、一年等的各种时间处自动执行检查。在一些实施例中,可以基于对比敏感度测试结果的趋势自动调整定期安排的测试的频率。如果系统检测到佩戴者正在经历降低的对比敏感度,则系统可以开始进一步测试和/或联系临床医生。例如,如果系统检测到佩戴者在黑暗条件下难以看到或者表现出与努力聚焦相关联的调节/聚散波动,则系统可以联系临床医生。在增强或虚拟现实系统中,系统可以使用面向外的集成成像相机16来向佩戴者提供警报。警报可以基于对由于对比敏感度缺陷而对佩戴者不可见的危险状况的检测。系统可以基于来自集成成像相机16的图像与佩戴者的已知对比敏感度数据的相关性来确定不可见危险的存在,该对比敏感度数据例如为佩戴者具有降低的对比敏感度的光条件。当检测到佩戴者不太可能看到的例如在黑暗的夜间条件下进入的暗对象或地面上的洞的危险时,系统可以警告佩戴者。警报可能包括视觉、听觉或触觉通知。
在一些实施例中,本文描述的系统可以被配置为检测、诊断和/或补偿视场缺陷。视场测试可以用于通过分析主体在其视场的各个位置处看到静止和/或移动对象和/或图像的能力来检测中心和/或周边视觉中的视觉缺陷。视场测试可以指示存在各种状况的存在,例如暗点、角膜创伤、玻璃体撕裂、创伤性白内障、视网膜出血、视网膜脱离、黄斑变性或玻璃体出血(扭系(Torsion’s)综合征)。
系统(例如,系统600)可以通过确定主体在视场内的各个位置处检测图像的能力来施行视场测试。该系统可以使用例如集成成像显示器62将光投射到佩戴者的眼睛中以在眼睛中形成图像。然后,系统可以检测来自佩戴者的响应。例如,图像可以是如果投射在视场的健康部分中则可以被清楚地看到但是如果投影在缺陷部分中则可能不会被看到的小点。在一些实施例中,佩戴者可以自动地或由例如医疗专业人员的另一个用户提示,以指示佩戴者是否看到图像和/或佩戴者观察到图像的时间。然后,用户可以通过例如本文所讨论的任何用户界面输入佩戴者的响应。在一些实施例中,系统可能需要用户验证图像的特性(例如,数字、颜色、字母、形状等)以确保佩戴者看到图像。
在一些实施例中,该系统可用于评估佩戴者在视场周边的视场感知。例如,系统可以在光轴附近提供静止的注视目标。当佩戴者的凝视固定在注视目标时,可以在佩戴者视场之外的显示器的外部投射图像。然后,图像可以向内朝向注视目标移动,直到它进入视场。可以例如通过本文描述的任何响应方法引导佩戴者指示目标何时变得可见。在一些实施例中,可以引导佩戴者描述图像的特性,例如形状、明显对象的数量或其他特征。可以在佩戴者视场的周边的各个象限或位置中重复测试,例如在视场的左侧、右侧、顶部和/或底部。
视场测试可以根据需要在离散测试中执行,或者可以随时间周期性地和/或重复地执行。重复分析可以允许通过对先前结果的历史分析来跟踪视场缺陷的进程。因此,视场测试功能可以结合到仅用于眼科诊断佩戴的装置中,或者可以是例如用于娱乐、工作或其他目的的定期佩戴的装置的一部分,从而可以在定期的时间间隔和/或在一天、一周、一个月、一年等的各种时间处自动执行检查。在一些实施例中,可以基于对比敏感度测试结果的趋势自动调整定期安排的测试的频率。
在增强或虚拟现实系统中,系统可以使用面向外的集成成像相机16来向佩戴者提供警报。警报可以基于对由于视场缺陷而对佩戴者不可见的危险状况的检测。系统可以基于来自集成成像相机16的图像与佩戴者的已知视场数据的相关性来确定不可见危险的存在,该对视场数据例如为佩戴者具有减小的周边视觉的象限。当检测到缺陷象限中的例如进入的对象、地面上的洞或其他状况的危险时,系统可以警告佩戴者。警报可能包括视觉、听觉或触觉通知。
本文所述的系统还可以施行颜色测试以测试佩戴者在检测特定颜色方面的缺陷。例如,系统(例如,系统600)可以施行石原式(Ishihara)颜色测试,其被设计用于测试红绿色感知缺陷。该测试包括显示一系列彩色板(“石原式板”)。彩色板包含由点构成的圆,这些圆看起来尺寸随机化、颜色随机或均匀。在每个圆内是形成数字或形状的点的图案。在某些圆中,数字或形状仅对于具有正常色觉的观看者清晰可见,但对于具有红绿色感知缺陷的观看者来说难以或不可能看到。在其他圆中,数字或形状仅对具有红绿色缺陷的观看者可见。在一些实施例中,可基于已知条件和/或佩戴者的先前响应来选择和/或修改彩色板。可不断地改变颜色或其他刺激以确定佩戴者的颜色感知缺陷的界限。也就是说,色调可以通过多种色调从第一颜色变为第二颜色。例如,具有检测到的红绿色缺陷的佩戴者可以被呈现逐渐将红色变为橙色或紫色的板,并且可以记录佩戴者对每个增量变化的响应。
在一个或多个实施例中,可以以与上述处理流程类似的方式对系统进行编程,以通过提供每个彩色板的虚拟图像来施行石原式色彩测试并接收关于彩色板的用户输入。可以通过集成成像显示器62提供彩色板的图像。
系统可以响应于颜色测试,基于从佩戴者接收的输入自动确定用户是否具有红绿色视觉缺陷或其他缺陷。关于彩色板的用户输入可以通过供用户输入数字、字母、形状或其他图像特性的描述的任何合适的方法生成和/或接收。例如,可以通过诸如具有与石原式板中使用的数字对应的键或虚拟按钮的键盘、数字键盘或触摸屏的用户界面来接收输入。在一些实施例中,系统可以被配置为从佩戴者接收口头输入,并使用语音识别来确定佩戴者对测试的响应。用户界面还可以具有用于佩戴者的选项,以指示没有观察到数字或形状。
在一些实施例中,该系统可以被配置为确定佩戴者是否在没有来自佩戴者的有意识输入的情况下看到投射的石原式板中的数字或形状。例如,系统可以检测对石原式板中的数字或形状的位置上持续足够长的时间段的佩戴者的凝视的注视(例如,使用面向内的相机),其将指示可以看到形状或形状,而佩戴者扫描图像的延长时间可能指示无法看到数字或形状。例如,系统可以跟踪佩戴者的凝视达最多一秒、五秒、十秒或更长的时间段。
在各种实施例中,系统可以使用除了石原式板之外的图案和/或图像来测试佩戴者检测不同颜色的能力。例如,系统可以被配置为用作RGB色觉检查镜。基于两个图像和/或光源的颜色匹配的测试用于提供颜色检测测试。一个源或图像可以具有固定的控制颜色,而另一个源或图像是可由观看者调整的(例如,可以调整固定光谱图像的亮度)。可以向观看者呈现各种控制颜色,并且观看者尝试将可调整的图像与控制图像匹配或者确定不能进行匹配。
在各种实施例中,系统可以被配置为重复和/或周期性地施行颜色测试。例如,系统可以周期性地测试佩戴者的颜色感知,例如每天几次或每周、每月或每年一次或多次,并且比较结果随时间的变化。在一些实施例中,可以基于色盲测试结果的趋势和/或基于佩戴者难以区分颜色的检测来自动调整定期安排的测试的频率。在这种情况下,系统可以通过在一天中的各个时间和在各种光照条件下测试佩戴者的色觉来能够更好地检测佩戴者的颜色检测缺陷的严重性或时间变化。类似地,通过在不同深度平面、调节度和/或视网膜区域处重复测试佩戴者的色觉,系统可能能够获得更完整和/或准确的结果。因此,当施行色觉测试时,该系统可以能够改变深度平面、调节和/或视网膜的区域。在例如数月或数年的较长时间段内的重复测试可以允许跟踪佩戴者的颜色检测缺陷例如由于黄斑变性或任何其他进行性状况的任何改善或退化。
该系统还可以配置用于治疗功能,例如补偿佩戴者的颜色检测缺陷。治疗功能可以包括计算地修改来自世界的图像和/或光的颜色、强度和/或其他质量。例如,通过计算地增加包含检测到的减少的颜色的图像的一部分中的光强度,系统可以用作颜色增强。在一些实施例中,系统可以例如通过计算地改变光的波长或者添加不同波长的光来计算地偏移这样的区域中的颜色,以便呈现佩戴者能够更好地检测的颜色的光。
在包括增强现实装置的实施例中,系统可以类似地修改佩戴者对来自周围世界的光的视图。增强现实系统可以实时或接近实时地检测进入装置的光的颜色,并且可以计算地修改光的部分或投射附加光以校正佩戴者的颜色检测缺陷。例如,系统可以使用面向外的集成成像相机16来对佩戴者周围的世界进行成像。该系统可以使用集成成像显示器62来投射具有相同或不同颜色的附加光,以增加检测能力降低的区域中的强度,从而至少部分地减轻佩戴者的颜色检测缺陷。该系统可以进一步包括标记功能,其中可以在被确定为具有该颜色的外部光的区域上增强已知缺陷颜色的名称。在一些实施例中,可以使用叠加来例如通过向图像添加色调的通过投射期望幅度的光而增强显示器的一部分中的颜色。
综合屈光检查仪
图15示出了如何使用本文所述的可穿戴装置来用作综合屈光检查仪或折射器以确定校正或改善佩戴者或患者的视力的合适的屈光。例如,本文描述的光场处理器系统可以用于实现图15中所示的综合屈光检查仪。来自综合屈光检查仪的测试结果可用于例如确定佩戴者或患者的光学处方(例如,用于眼镜或隐形眼镜中的校正透镜或用于光场处理器系统)。应当理解,这种系统可以用于施行眼睛检查,并且该检查通常可以在医生或临床医生的办公室施行。在一个或多个实施例中,可以使用患者的独立的光场处理器系统,可能与医生监督一起,或者医生办公室可以具有其自身版本的可以用于诊断目的光场处理器系统。虽然结合增强现实讨论了图15,但是类似的特征也可以包括在诸如虚拟现实眼镜的虚拟现实装置中。
常规的综合屈光检查仪被眼睛保健专业人员用来进行眼睛检查并被使用以确定患者的屈光误差并因此确定校正屈光以补偿任何眼睛异常。使用该信息,眼睛保健专业人员可以确定患者眼睛的光学处方以改善或校正患者的视力。常规的综合屈光检查仪通常包括可以测试的不同透镜,并且通常涉及呈现具有变化尺寸的字母的视力表以测试患者的视力。患者观察视力表,并将具有不同屈光焦度的透镜放在患者眼睛前方,以确定患者的视力是否有所改善。常规的设置往往体积庞大,并且需要医生单独选择下一个尺寸的透镜。临床医生通常询问患者对图像清晰度的反馈,并相应地改变透镜。
相反,可穿戴光场处理器系统1500的一些实施例可用于执行这些相同的功能而无需体积庞大综合屈光检查仪设置。可穿戴光场处理器系统1500包括增强(或虚拟)现实显示平台1502,其被配置为将图像投射到佩戴者的眼睛。在一些实施例中,增强或虚拟现实显示平台1502可以是本文描述的任何光场处理器系统600。显示平台1502可以与显示器透镜106类似地配置,如本文所述,例如,参考图5。在一些实施方式中,例如对于光场处理器系统,显示平台1502还可被配置为使来自世界或环境的光通过显示平台1502(例如,通过其前部的透镜和/或通过集成成像相机16)到佩戴者的眼睛。以这种方式,佩戴者可以看到显示平台1502投射的图像与佩戴者在世界上可以看到的内容叠加。在一些实施例中,可以使用显示平台1502(例如,通过集成成像显示器62)将虚拟视力表1520而不是物理视力表投射到佩戴者。为了提供类似于综合屈光检查仪的功能,图像的焦点可以由光场处理器70在计算地变化(如本文所讨论的)。可穿戴光场处理器系统1500可以被配置为通过借助改变图像的焦点而自动提供光学处方的增量变化来施行或提供眼睛检查。这可以通过由显示平台1502中的光场处理器70计算地改变施加到图像数据的屈光焦度来完成。
如本文所述,光场处理器系统1500可包括光场处理器70,其被配置为计算地更改提供给它的图像数据的一个或多个光学性质。例如,光场处理器70可以通过例如更改光场图像数据中的波前曲率或者以其他方式引入正或负球面/柱面光焦度来向图像数据添加光焦度或从光学图像数据中减去光焦度。因此,光场处理器70可以提供可变光学校正,例如球面、柱面和轴或高阶像差校正。
在某些实施方式中,显示平台1502包括显示器62,显示器62还可以包括不仅将光投射到佩戴者的眼睛中而且还从其捕获光的能力(例如,如本文关于图14所讨论的)。可以对接收到的光进行成像或以其他方式进行检测。这可以在眼睛检查中使用,其中显示器62被配置为对佩戴者的视网膜成像以监测在视网膜处形成的图像。为了确定眼睛的调节状态,可以使用显示器62测量来自视网膜的反射(例如,来自投射到佩戴者眼睛中的图像的反射)。这可以导致眼睛的调节状态的快速测量。例如,一序列点源图像(例如,红外波段中的可见波长带之外)可以通过显示器62从各种表观深度投射到佩戴者的眼睛中,并且显示器62可以同时测量来自视网膜的反射。光场处理器系统1500可以被配置为通过基于最准直的反射确定哪个深度平面对应于最亮、最小或最佳聚焦图像,来实时确定眼睛的调节状态。(光场处理器70可用于提供来自不同表观深度平面的图像数据。)光场处理器系统1500可被配置为将来自光源(例如,显示器62)的光束投射到佩戴者的眼睛中。投射光束的一部分可以被佩戴者眼睛的各种解剖特征反射、散射和/或衍射,并由一个或多个成像装置接收。电子硬件处理器(例如,光场处理器70)可用于分析从佩戴者的眼睛接收的光以检查佩戴者眼睛的各种结构。这可以导致眼睛的调节状态的确定或近似,该眼睛的调节状态可以包括晶状体的形状、瞳孔收缩状态、聚散度、动态调节等。在一些实施例中,计算屈光校正可以由使用光场处理器70的增强或虚拟现实装置1500提供。
在一些实施方式中,为了进行眼睛检查,可以向用户/佩戴者呈现具有各种尺寸、形状、颜色、亮度、对比度等的图像,并且用户/佩戴者可以通过光场处理器系统的用户界面1504提供关于图像清晰度的输入。在一些实施例中,光场处理器系统被配置为至少部分地基于检测图像是否聚焦在佩戴者的视网膜上来自动确定图像的清晰度。这可以通过对用户的视网膜进行成像并测量、分析和/或观察来自投射图像的视网膜的反射而完成。如在常规的综合屈光检查仪中那样,如果用户/佩戴者指示特定图像不清晰或者图像不能被舒适地观看,可以自动计算地改变图像的焦点以提供相应或等效的光学处方的增量变化,而不是物理地改变透镜。因此,眼睛检查可以在本地或远程通过光场处理器系统无缝地进行。例如,临床医生或医生可以远程施行眼睛检查,例如但不限于,通过电话、使用视频会议、通过网络通信程序等。还应当理解,在一些实施方式中,眼睛检查可以在有或没有来自临床医生的直接交互或者以临床医生的较少或最小的努力和时间的情况下进行。
在一些实施例中,光学处方系统的调整可以在尝试调节和/或聚散时基于眼睛的物理变化由光场处理器系统自动执行。例如,光场处理器系统可以被编程为检测眼睛行为的某些模式,这些模式是弱化眼睛的症状。至少部分地基于所跟踪的眼睛行为,可以由光场处理器系统自动进行眼睛调整。该系统可以例如在检测到佩戴者努力调节时,启动诸如本文所述的综合屈光检查,或者系统可以警告佩戴者或临床医生佩戴者正在努力调节。在一些实施例中,系统通过检测调节中的微波动(例如,透镜形状、聚散度、瞳孔尺寸等的小和/或快速变化)来检测佩戴者努力调节。在某些实施方式中,可以通过监测投射到佩戴者的视网膜上的图像的焦点状态来检测调节努力,如本文所述。如果来自视网膜的反射是波动的,则系统可以被配置为确定佩戴者正在努力调节。系统可以向佩戴者呈现图像,并测试不同的光学校正,要求用户提供关于光学校正是否改善图像的反馈。在一些实施方式中,不是要求佩戴者提供反馈,或者除了要求反馈之外,系统还可以被配置为通过观察、测量和/或分析佩戴者的视网膜上的图像来确定图像是否对焦。如上所述,计算光学校正可用于在检查期间实现不同的测试校正。在一些实施例中,该系统可用于通过一次一只眼睛地向佩戴者的眼睛呈现图像来确定佩戴者的隐斜视。在某些实施方式中,该系统可用于监测佩戴者关于目标的聚散。如果佩戴者在试图聚焦于近的图像(例如,从近深度平面投射的图像)时是外隐斜视(exophoric)的,则系统可以被配置为确定佩戴者可能是老视或疲劳和/或佩戴者是否可能有斜视或弱视。该系统还可以被配置为通过从各种不同深度平面提供图像来施行各种视场测试。
由光场处理器系统提供的图像可以是存储的图像。可穿戴光场处理器系统1500可以包括数据存储器,该数据存储器包括适合于进行眼睛检查或用于确定佩戴者的光学处方的一个或多个存储的图像。存储的图像可以是例如在视力表中使用的字母、数字、符号等。图像可以在期望的深度平面处呈现给观看者,例如在无限远或其他大的表观距离处,例如,至少20、40、60、80或100英尺远。如本文所述,可以处理存储的图像以生成用于投射到佩戴者的校正的波前。校正的波前可被配置为考虑佩戴者眼睛的光学处方或异常。在一些实施例中,显示平台中的光场处理器70用于计算地提供对佩戴者看到的图像的调整以考虑光学处方。光场处理器70还可以例如更改包括图像的强度图案,例如,以补偿其中直线看起来弯曲的变形或鱼眼。例如,为了补偿枕形失真,可以将一些桶形失真引入到包括图像的强度图案中。类似地,为了补偿桶形失真,可以将一些枕形失真引入到包括图像的强度图案中。可以通过用于驱动空间光调制器或光源以生成期望强度图案的软件来引入对构成图像的强度图案的其他类型的修改。在一些实施例中,可穿戴增强或虚拟现实装置1500可以被配置为使用显示平台1502将不同尺寸的图像投射到佩戴者或者将不同深度平面的图像投射到佩戴者。在一些实施方式中,图像可以包括具有不同尺寸和/或从不同的深度平面投射的字母或形状。在各种实施方式中,在眼睛检查期间,投射到佩戴者的字母和/或形状的尺寸和/或深度平面可以变化。在一些实施例中,系统可以被配置为施行亮度或眩光测试,其包括在不同亮度和眩光条件下的功能性视敏度的客观测量。在各种实施例中,系统可以被配置为施行亮度敏度测试以确定各种亮光条件下的功能性视敏度。例如,系统可以配置为模拟三种或更多种亮光条件:1)高直射太阳光;2)中等部分地多云天;3)低亮度的商业照明。视敏度测量可以类似于使用标准视力表(例如视力表1520)在这三个条件下测量的视敏度测量。这种测试的结果可以是功能性视敏度的评估。这些测试可用于测试对强光、畏光、受损的暗视觉等的敏感度。在一些实施例中,系统可以被配置为测试各个颜色。例如,光场处理器系统可以被配置为确定各个颜色(例如,红色、绿色、蓝色、黄色等)的屈光误差。在一些实施例中,系统可以被配置为测试各种深度平面。例如,光场处理器系统可以被配置为确定各个深度平面的屈光误差。这可以导致光学处方至少部分地基于深度平面而改变。还可以确定对老视的屈光校正。
在一些实施例中,可穿戴增强(或虚拟现实)装置1500可包括一个或多个面向外的相机。在某些实施方式中,一个或多个面向外的相机可以类似于本文参考图5描述的相机16或本文参照图6-7描述的集成成像相机16。增强现实显示装置中的面向外的相机可以被配置为捕获周围环境的图像以确定例如在何处叠加诸如字母或符号的测试图像。例如,光场处理器系统可以在与验光师办公室的墙壁对应的佩戴者的视场中的区域上叠加视力表的图像,例如标准奈伦(Snellen)图表或其他视敏度图表。在另一个示例中,面向外的相机可以被配置为捕获视力表的图像,该视力表诸如标准奈伦图表或实际位于验光师办公室的墙壁上的其他视敏度图表。然后,可穿戴增强或虚拟现实装置1500可以被配置为至少部分地基于用于呈现图像的期望深度平面来修改捕获的图像。例如,所获取的图像可以由显示平台1502在无限调节处投射。然后,通过用户界面1504,来自图像的光可以由光场处理器70计算地操纵,以提供类似于使用常规的综合屈光检查仪物理地改变透镜的功能。例如,可以引入球面、柱面或高阶像差校正。如果要添加柱面,也可以确定适当的轴。以这种方式,可以进行眼睛检查以确定佩戴者的光学处方。在一些实施例中,该系统被配置为通过观察、测量和/或分析操纵的图像来客观地测量或估计光学处方,确定其是否对焦在佩戴者的视网膜上,如本文其他地方所述。
可穿戴光场处理器系统1500可包括一个或多个用户界面特征1504,其被配置为允许佩戴者或其他人向装置提供输入。用户界面特征1504可以与装置1500集成,如图5所示。在一些实现方式中,用户界面特征1504由未与装置1500物理集成的装置或部件提供。例如,用户界面特征1504可以由与装置1500通信的装置或系统提供。该装置或系统可以是智能手机、计算机、平板电脑或与装置1500进行有线或无线通信的其他计算装置。在一些实施例中,用户界面特征1504可以由链接到装置的不同装置和系统的组合提供,例如通过有线或无线通信网络或通过物理链接到装置或与装置集成的部件链接到上述装置。触摸屏、语音识别系统或虚拟触摸屏是界面的一些示例。因此,用户界面特征1504可以包括对触摸敏感的电容特征、键盘、按钮、麦克风、光电探测器、相机和/或由图形用户界面提供的各种软件实现的特征。用户界面特征1504可以呈现在具有触摸屏的装置上,其中与触摸屏的交互向可穿戴增强或虚拟现实装置1500提供输入。在各种实施例中,通过投射到用户眼睛的图像和用于感测用户移动身体(例如手指)的传感器提供虚拟触摸屏。在一些实施例中,用户界面特征1504包括手势检测部件,以允许佩戴者通过手势提供用户输入。在一些实施例中,用户界面特征1504包括凝视检测部件,以允许佩戴者通过眼睛的凝视提供用户输入(例如,这可以包括当佩戴者注视在按钮上持续一段时间或在佩戴者注视在按钮上时眨眼时选择按钮或其他元件)。这种用户界面系统可以用于本文描述的其他装置和系统。
在光场处理器系统中,佩戴者可以使用用户界面特征1504来提供关于佩戴者所感知的图像质量的反馈。例如随着渐进地提供对所应用的屈光焦度的变化(例如,球面、柱面和轴和/或高阶像差校正的增量值),佩戴者可以通过用户界面特征1504提供关于佩戴者是否可以舒适地观看投射到用户的图像的反馈。以这种方式,可以确定用于佩戴者的适合的光学处方。
在一些实施方式中,临床医生或医生还可以使用界面特征1504来改变将图像投射到佩戴者的焦点和/或深度平面或者投射的图像的尺寸。如果需要,可以渐进地使用这些变化。
图16示出了用于确定被配置为用作虚拟综合屈光检查仪的光场处理器系统的佩戴者的光学处方的示例方法1600。为了便于描述,方法1600将被描述为由例如本文中参考图15描述的增强(或虚拟)装置1500的光场处理器系统执行。然而,应理解,本文所公开的各种增强现实(或虚拟)装置的部件或子部件或其他类似装置可用于执行方法1600中的步骤中的任何步骤、步骤组合或步骤的部分。
在框1602,眼科装置启动眼睛测试程序。眼睛测试程序可以是由眼科装置提供的存储过程或功能序列。启动眼睛测试程序可以包括确定或检索起始光学处方,例如用于先前已经历眼睛测试或其他眼睛检查的佩戴者。在一些实施方式中,眼睛测试程序可以整合关于佩戴者眼睛的眼睛异常的信息,其中关于眼睛异常的信息可以由佩戴者或临床医生输入、根据先前的眼睛测试程序确定或者从数据存储(例如,作为光场处理器系统的一部分的数据存储或网络数据存储)中检索。启动眼睛测试程序可以包括确定要投射给佩戴者的潜在图像的图像或序列。启动眼睛测试程序可以包括确定临床医生或医生是否正在施行眼睛检查或者检查是否由佩戴者自我施行。在一些实施例中,眼科装置响应于从佩戴者或临床医生接收的输入启动眼睛测试程序。
在框1604,光场处理器系统将图像投射给佩戴者的眼睛。例如,光场处理器系统可以将具有目标尺寸的字母表、字母和/或形状投射给佩戴者。图像可以是存储的图像,或者图像可以由光场处理器系统获取。图像可以包括被配置为帮助确定佩戴者的视敏度的元素,其中视敏度元素包括例如但不限于图标、符号、字母、形状等。图像的视敏度元素可以具有图像内的各种尺寸和/或视敏度元素的尺寸可以由光场处理器系统改变。
在框1606,光场处理器系统接收关于图像的用户输入。用户输入可以指示佩戴者是否能够清楚地观看图像。在一个或多个实施例中,光场处理器系统可以开始于通过投射尺寸增大的相对小的字母,直到所接收的用户输入指示佩戴者可以清楚地看到投射的图像。在一些实施例中,光场处理器系统被配置为呈现视力表,例如像奈伦图表的常规视力表。在这样的实施例中,所接收的用户输入可以包括佩戴者可以清楚看到的投射图表的哪个部分。
在框1608,光场处理器系统确定用户是否可以舒适地观看图像(例如,投射的视力表)。在一些实施例中,系统被配置为通过用户界面接收关于用户是否可以舒适地观看图像的用户输入。如上所述,这种用户界面的示例可以包括语音识别系统、触摸屏或虚拟触摸系统。
在一些实施例中,通过分析佩戴者的物理和/或光学特性自动确定在框1606中接收的用户输入。例如,自动确定的用户输入包括通过观察、测量和/或分析佩戴者的视网膜来分析图像是否处于被对焦。如本文所述,通过测量来自视网膜的反射,光场处理器系统可以被配置为评估由佩戴者的眼睛形成的图像的质量或聚焦程度。在一些实施例中,光场处理器系统可以被配置为将一对光斑投射到佩戴者的眼睛中。可以测量和分析这些投射斑点的反射以确定图像的焦点质量。例如,在对准视网膜上的投射斑点的图像的情况下,光场处理器系统可以确定佩戴者正在聚焦在投射图像上或者佩戴者正在目标位置处适当地调节。
在一些实施例中,光场处理器系统被配置为至少部分地基于对放松的调节和/或聚散的检测来确定佩戴者可以舒适地观看图像。如本文所述,光场处理器系统可包括被配置为监视眼睛的眼睛检测和/或跟踪部件。这些部件可能能够检测佩戴者的调节、聚散度和/或瞳孔尺寸。可以检测透镜的调节调节,例如,测量视网膜上的图像尺寸的自动验光仪(如本文其他地方更详细描述的)。可以使用一个或多个面向内的相机测量聚散度和瞳孔尺寸。在一些实施例中,当用户试图聚焦在目标对象或图像上时,光场处理器系统监视眼睛的波动。例如,当眼睛聚焦于静止刺激时,眼睛的晶状体的焦度快速且连续地变化。当一个人努力专注于静止对象时,这些波动会增加。可以通过光场处理器系统测量和/或观察波动的这种增加,以确定佩戴者没有聚焦在目标图像或对象上。在一些实施例中,光场处理器系统可以被配置为监视这些波动并移动投射的图像(例如,改变其被投射处的表观深度平面),直到佩戴者成功地聚焦在对象上。例如,光场处理器系统可以从相对靠近佩戴者的表观深度平面投射图像并将图像推回(例如,增加佩戴者和深度平面之间的距离),直到光场处理器系统确定佩戴者正准确地聚焦在图像上。
光场处理器系统可以采用监视眼睛的调节反射来确定佩戴者是否对当前处方不舒服或者佩戴者是否需要光学校正。自动验光仪可用于通过监测通过晶状体投射到视网膜上的图像的尺寸来确定佩戴者是否调节,其示例在本文其他地方描述。这种监视调节的方法可用于确定佩戴者是否调节,这可用于评估佩戴者是否需要光学校正。
可以采用聚散来辅助确定是否还需要光学校正,其中监视聚散以测试调节反射。使用面向内的相机和处理电子器件,光场处理器系统可以被配置为跟踪左眼和右眼的相应视线的变化并确定聚散度。这种聚散信息可以用于确定佩戴者的眼睛是否如所期望的那样响应在各种深度平面处呈现的图像。例如,如果在相对近的深度平面处呈现图像时两只眼睛基本上平行并且不会聚,则光场处理器系统可以被配置为将该结果解释为指示佩戴者没有舒适地看到图像或者佩戴者有视力缺陷。可以确定不同深度平面的聚散度,并且可以评估眼睛是否匹配特定深度平面的适当聚散度。同样地,潜在地,如果观察到对于处于无限远的深度平面的聚散是向内的,则佩戴者可能需要光学校正。
作为另一示例,光场处理器系统可以通过在将图像投射给佩戴者时确定佩戴者的瞳孔的尺寸或佩戴者的瞳孔的尺寸的变化来测试调节反射。光场处理器系统可以被配置为使用面向内部的相机跟踪瞳孔尺寸的变化,该相机对眼睛尤其是虹膜成像。该信息可用于确定佩戴者的眼睛是否如所期望的那样响应于在各种深度平面处呈现的图像。例如,当观察更近的对象(与更远的对象相比)时,预期瞳孔的尺寸会收缩。因此,光场处理器系统可以被配置为从近深度平面呈现图像并跟踪佩戴者的瞳孔的响应。如果瞳孔没有收缩或充分收缩,则光场处理器系统可以被配置为将该结果解释为指示佩戴者没有舒适地看到图像。
因此,为了确定佩戴者在观看图像时的舒适度,当特定图像被投射给用户时,光场处理器系统可以确定佩戴者的调节、聚散度和/或瞳孔尺寸作为对调节反射的检查的一部分。类似地,当通过各种深度平面投射图像时,可以确定佩戴者的舒适度。在一些实施例中,光场处理器系统可以将测量的调节、聚散度和/或瞳孔尺寸与预期的调节、聚散度和/或瞳孔尺寸进行比较。如果测量的特性中的一个或多个位于一个或多个预期特性的目标范围内,则光场处理器系统可以确定佩戴者舒适地或正确地看到图像(例如,佩戴者正在以预期的、足够的或正常的视敏度看到图像)。如果测量的特性中的一个或多个位于一个或多个预期特性的目标范围之外,则光场处理器系统可以确定佩戴者没有舒适地或正确地看到图像(例如,佩戴者正在以受损的视敏度看到图像)。在一些实施例中,光场处理器系统将关于测量的特性的信息与在框1606中从用户输入接收或确定的信息组合,以确定佩戴者是否舒适地看到投射的图像。例如,当从相对近的表观深度平面观看图像时,期望佩戴者的眼睛会聚或朝向彼此移动、期望瞳孔收缩并且期望晶状体的凸度增加。偏离这些期望中的一个或多个可以被解释为指示用户没有舒适地或正确地看到投射的图像(例如,佩戴者正在以受损的视敏度看到图像)。
如果例如通过用户界面接收来自用户的输入或者通过评估用户的调节和/或聚散度,光场处理器系统确定佩戴者不能舒适地观看图像,则光场处理器系统进行到框1610以改变焦点以便渐进地增加处方(例如,增加或减去更多正或负球面焦以获得更多正或负球面波前)。该系统还可以测试散光,从而逐步改变轴和柱面。光场处理器系统然后返回到框1606以接收或确定用户输入以便再次确定用户是否可以舒适地或不舒服地观看图像(例如,以正常的视敏度)。可以重复该循环直到用户舒适地看到图像。
在一些实施例中,光场处理器系统被配置为至少部分地基于在框1606处从用户输入接收的反馈和/或在框1608处确定的客观评估或如在本文别处描述的那样,来调整框1610处的光学校正。在一些实施例中,光场处理器系统被配置为至少部分地基于当观看投射的图像时佩戴者的调节、聚散、调节反射和/或瞳孔尺寸的测量来在框1610处调整光学校正。因此,在某些实施方式中,光场处理器系统可以被配置为使用主观和客观测试来进行眼睛检查以确定佩戴者的光学处方。
在一些实施例中,眼睛检查的主观元素可以包括例如通过计算光场处理器70投射图像然后以屈光度变化(例如,±0.01D、±0.1D、±0.125D、±0.25D、±0.5D、±1.0D或者屈光度焦度的基本连续的变化投射图像,并且接收关于图像质量是否改变的用户输入。在某些实现方式中,光场处理器系统还可以被配置为确定当屈光度值改变时佩戴者眼睛的变化(例如,调节、聚散、瞳孔尺寸等)。该客观测试数据可以与佩戴者的主观反应组合以确定屈光度值的变化是否导致佩戴者的视觉质量的变化。
如果光场处理器系统确定佩戴者能够舒适地观看图像,则光场处理器系统进行到框1612以确定佩戴者眼睛的处方。应当理解,在一些实施方式中,可以对双眼重复相同的过程(例如,可以一起对两只眼睛进行处理,对每只眼睛应用相同的校正或者对左眼和右眼单独地应用不同的校正)。在一些实施例中,这可以用于治疗屈光参差,其中两个不同的光学处方应用于佩戴者的相应两只眼睛。在一些实施例中,光场处理器系统可以被配置为根据佩戴者正在观看的内容和/或佩戴者正在执行什么活动来动态地在光学处方之间切换。例如,当与佩戴者正在观看由近、中和远范围的混合的图像的情况相比较时,在主要观看近或主要远的图像的情况下,屈光参差的晶状体对于佩戴者来说可能是疲劳的。因此,光场处理器系统可以被配置为至少部分地基于用于治疗佩戴者的屈光参差、近视或远视的已知光学处方来动态地改变实时应用的光学处方。
方法1600可用于向例如本文中参考图15描述的装置1500或本文描述的其他类似装置的光场处理器系统提供信息。因此,光场处理器系统可以被配置为基于如本文所述的佩戴者的光学处方改变正被投射的图像的焦点或其他方面。在一些实施例中,佩戴者用于娱乐、作或其他目的的相同可穿戴光场处理器系统可用于执行本文所述的眼睛检查。
方法1600可用于确定关于不同深度的光学处方、光学校正或屈光校正。例如,可以存在用于远表观深度平面的第一光学处方、用于中深度(中间)平面的第二光学处方、以及用于近或远和近、远和中间、近和中间表观深度平面的第三光学处方。
方法1600和系统可用于校正或改善在佩戴者患有远视的情况下的佩戴者的视力。可以将不同的光学校正应用于不同的深度平面以及从那些深度平面投射的相关联的内容。或者可穿戴光场处理器系统可以被配置为基于感测到的用户头部或眼睛的取向在提供远距离(如果有的话)和近距离的处方之间切换。如本文所述,取向传感器或其他传感器可用于确定用户头部或眼睛的取向。
方法1600可以被实时执行以自动确定佩戴者的光学处方。该信息可以被存储在光场处理器系统中并用于将来的测试。例如,光场处理器系统可以被配置为基于检查更新关于佩戴者的佩戴者当前的光学处方。例如,光场处理器系统可以被配置为监视眼睛并记录随着时间的佩戴者的眼睛行为。至少部分地基于该信息,光场处理器系统可以随时间动态调整佩戴者的光学处方。例如,光场处理器系统可以在已知深度处呈现图像时测量眼睛的行为。光场处理器系统可以确定预期眼睛响应于图像的偏差,以确定眼睛是否表现得如预期的那样。如果光场处理器系统确定所确定的偏差在范围(例如,预期行为的目标的、可接受的范围)之外,则光场处理器系统)可以被配置为启动检查和/或更新佩戴者的光学处方或者启动或安排更新的眼睛检查。
在一些实施例中,光场处理器系统可以被配置为贸然地(obtrusively)确定光学处方。例如,这可能在光场处理器系统正在进行眼睛检查的同时不向佩戴者提供替代功能的情况下发生。换句话说,这可能在要求佩戴者仅关注眼睛检查的情况下发生。
在一些实施例中,光场处理器系统可以被配置为不贸然地确定光学处方。例如,这可以在光场处理器系统被配置为在佩戴者正在做其他事情(例如,看电影、阅读文本、查看图像等)的同时获取佩戴者的眼睛行为的测量的情况下发生。光场处理器系统可以被配置为在佩戴者正在执行这些其他活动的同时测量佩戴者眼睛的特性,以比较佩戴者眼睛的测量特性,以便确定与佩戴者眼睛的预期特性的偏差。在一些实施例中,系统可以被配置为至少部分地基于这些确定的偏差来确定光学处方。在一些实施例中,佩戴者眼睛的预期特性可以至少部分地基于投射到佩戴者的表观深度平面和图像性质。在一些实施例中,当检测到这种偏差时,系统可以要求用户进行由系统应用的检查或确认测试光学校正足够或不足。在一些实施方式中,光场处理器系统可被配置为在执行这些其他活动的同时时尝试调节和聚散的情况下跟踪佩戴者眼睛中的物理变化。在一些实施例中,可以将该信息与在不尝试调节和聚散以确定光学处方的同时时获得的测量进行比较。
在一些实施例中,光场处理器系统可以被配置为客观地测量佩戴者的光学处方。在各种实施方式中,这可以在不接收来自佩戴者的关于图像质量的反馈的情况下完成。在某些实施方式中,这可以在不向用户投射不同尺寸的图像的情况下完成。例如,光场处理器系统可以被配置为从虚拟无限深度投射图像(例如,光场处理器系统将图像置于无限远处)。然后,光场处理器系统测量佩戴者的调节反射、调节、聚散度和/或瞳孔尺寸。至少部分地基于佩戴者的调节、聚散度和/或瞳孔尺寸以及预期的佩戴者的调节、聚散度和/或瞳孔尺寸的偏差,光场处理器系统可以客观地确定佩戴者的光学处方。例如,如果当图像被置于无限远处时佩戴者的眼睛正在调节到+1D,则光场处理器系统可以客观地确定光学处方。
在一些实施例中,可以至少部分地基于显示平台的配置来校准光场处理器系统以确定适当的屈光度校正和/或考虑适当的屈光度校正。例如,当调整投射给佩戴者的图像的深度平面时,光场处理器系统可以被配置为被校准以正确地将深度平面的变化与屈光度或屈光焦度的变化相关联。在一些实施例中,在校准期间,分析佩戴者的虹膜。虹膜可以用于唯一地识别患者,并且该唯一识别可以用于访问相关的患者记录以关联这个人及其医疗记录/处方等。
在各种实施例中,为了减少干扰(distraction),通过光场处理器系统的位于佩戴者眼睛前方的世界的视图在检查期间被阻挡或以其他方式不可见。例如,当将图像呈现给观看者时,这可能发生,尽管这种方法不是必需的。
光场处理器系统可以是由医生或临床医生提供的用于在医疗机构或验光师办公室或其他地方进行测试的系统。在其他实施例中,该系统可以属于用户并且可以用于其他目的,例如娱乐(例如,游戏和电影)和/或工作活动。如上所述,在用户系统上实施检查的一个好处是可以全年方便地进行多次(至少2、3、4、5、6、8、10、12、16、18、24或者更多次)。在一些实施例中,检查的频率和/或安排可以至少部分地基于佩戴者的视力劣化的速率。例如,如果劣化的速率增加,则检查的频率可以增加。同样地,检查可以在有或没有例如验光师、眼科医生、护士、技师、医疗助理等的医疗专业人员的情况下进行。
以下段落描述了本文描述的装置、系统和方法的各种示例实施例。
一种可穿戴的眼科装置,包括:光场处理器,其被配置为通过计算地将增量的正或负光焦度引入数值光场图像数据来访问数值光场图像数据并生成修改的数值光场图像数据,从而进行眼科检查;以及头戴式光场显示器,其被配置为生成与修改的数值光场图像数据对应的物理光场。
根据前一段所述的装置,其中,光场显示器包括具有二维微透镜阵列和对应的二维光电探测器阵列的集成成像显示器。
根据前述段落中任一段所述的装置,其中,光场图像数据包括不同尺寸的字符。
根据前述段落中任一段所述的装置,还包括用户界面,其被配置为从用户接收关于物理光场的清晰度的输入。
根据前一段所述的装置,其中,光场处理器被配置为基于用户输入渐进地改变光场图像数据的光焦度。
根据前述段落中任一段所述的装置,其中,光场处理器被配置为基于用户眼睛的观察渐进地改变光场图像数据的光焦度。
根据前述段落中任一段所述的装置,其中,光场显示器包括一个或多个红外光源,其被配置为将红外光投射到用户的眼睛中以测量其调节状态,并且其中增量的正或负光焦度根据调节状态而确定。
根据前一段所述的装置,其中,一个或多个红外光源被配置为将两个或更多个具有不同聚散度的红外光束投射到用户的眼睛中以测量其调节状态。
根据前述段落中任一段所述的装置,还包括面向外的头戴式光场相机,其被配置为接收来自用户环境的光并生成附加的数值光场图像数据,其中光场处理器被配置为基于眼睛检查的结果计算地修改附加的数值光场图像数据。
一种使用可穿戴的眼科装置的方法,该方法包括:通过使用光场处理器计算地将增量的正或负光焦度引入数值光场图像数据,来访问数值光场图像数据并生成修改的数值光场图像数据,从而进行眼科检查;以及使用头戴式光场显示器生成与修改的数值光场图像数据对应的物理光场。
根据前述段落中任一段所述的方法,其中,光场显示器包括具有二维微透镜阵列和对应的二维光电探测器阵列的集成成像显示器。
根据前述段落中任一段所述的方法,其中,光场图像数据包括不同尺寸的字符。
根据前述段落中任一段所述的方法,还包括使用用户界面从用户接收关于物理光场的清晰度的输入。
根据前一段所述的方法,还包括基于用户输入渐进地改变光场图像数据的光焦度。
根据前述段落中任一段所述的方法,还包括基于用户眼睛的观察渐进地改变光场图像数据的光焦度。
根据前述段落中任一段所述的方法,还包括使用光场显示器中的一个或多个红外光源将红外光投射到用户的眼睛中以测量其调节状态,并基于调节状态确定正或负光焦度的增量。
根据前一段所述的方法,还包括使用一个或多个红外光源将两个或更多个具有不同聚散度的红外光束投射到用户的眼睛中,以测量其调节状态。
根据前述段落中任一段所述的方法,还包括:使用面向外的头戴式光场相机接收来自用户环境的光并生成附加的数值光场图像数据;以及基于眼睛检查的结果计算地修改附加的数值光场图像数据。
视网膜检影法
本文描述的可穿戴光场处理器系统可以用作视网膜检影镜以确定佩戴者或患者的视力缺陷。特别地,当作为视网膜检影镜操作时,光场处理器系统可用于检测近视、远视、散光和/或其他视力缺陷。光场处理器系统可以被配置为通过使用视网膜检影法技术(例如中和(neutralization)来确定例如患者眼睛的屈光误差。中和包括调整眼睛前方的屈光焦度,直到扫过眼睛的光束或光斑在视网膜上形成基本上停止移过穿过视网膜的图像。光场处理器系统可以被配置为提供具有不同光学校正的光束,直到实现中和。因此,光场处理器系统可以被配置为确定光学处方以校正所识别的视力缺陷。应当理解,这种装置可以用于施行眼睛检查,并且该检查通常可以在医生或临床医生的办公室或由佩戴者自动地家中施行。在一个或多个实施例中,可以使用患者的独立光场处理器系统,可能需要医生监督,或者医生办公室可以具有可以用于诊断目的地其自身版本的光场处理器系统。在各种实施例中,该光场处理器系统可以与本文公开的装置类似地配置。
在一些实施例中,可穿戴光场处理器系统可用于执行视网膜检影法以使用扫过佩戴者眼睛的光来识别视力缺陷。本文描述了可被配置为执行视网膜检影法的装置的示例,并且包括例如但不限于,本文中参考图5、6、7、14和15描述的装置。可穿戴光场处理器系统可以被配置为将光束投射到佩戴者的眼睛中。在一些实施方式中,光场处理器系统可被配置为将来自世界或环境的图像数据显示给佩戴者的眼睛。以这种方式,佩戴者可以看到佩戴者前方的世界中的对象,并且可以取决于例如视网膜检影法测试的类型而潜在地注视在远处或近处的对象上。投射到眼睛中的光束的焦点可以被改变或以其他方式被提供具有光学校正。这样,可穿戴光场处理器系统可以被配置为执行视网膜检影法以测量佩戴者的眼睛的屈光误差。
在一些实施例中,可穿戴光场处理器系统包括至少一个光源(例如,图14中的714),其被配置为将光投射到佩戴者的眼睛中。用于视网膜检影法的光源可以被配置为提供扫过佩戴者眼睛的光束。在一些实施例中,可穿戴光场处理器系统还包括一个或多个传感器(例如,图14中的715),其被配置为响应于来自扫过佩戴者的眼睛的至少一个光源的光束测量从视网膜反射的光。在各种实施例中,传感器对眼睛成像。传感器可以包括眼睛跟踪传感器或被配置为被引导到眼睛以例如对眼睛成像的其他面向内的光学传感器或相机。可穿戴光场处理器系统可以被配置为执行视网膜检影法以测量佩戴者眼睛的屈光误差。例如,光场处理器系统可以被配置为在一个或多个方向上扫过穿过佩戴者眼睛的光束,以对来自佩戴者眼睛后部(例如,视网膜、眼底等)的反射或反射作用进行检测、测量或成像,并以便通过观察或测量反射来确定视力缺陷。可以由光场处理器70计算地将光学校正引入到光束,并且可以观察反射以确定何时这种光学校正足以抵消佩戴者的屈光误差。
至少一个光源(例如,图14中的714)可以被配置为提供在光场处理器系统的佩戴者的眼睛上或周围移动的光束。在某些实施方式中,光源提供在眼睛上移动的相对窄的光束或光带。光束可以具有与其狭长的(elongate)光学路径的方向正交的横截面,其中该横截面在一个方向上比在垂直方向长。因此,在某些实施例中,光束可以在眼睛上形成光带。由光源提供的光可以被配置为在一个或多个方向上移动。当由光源提供的光是相对窄的光束或光带时,可以改变光束或光带的取向。因此,光源可以被配置为提供可以用于识别近视、远视、散光、色素、年龄相关的黄斑变性和其他视力缺陷的光。
传感器(例如,图14中的一个或多个光电探测器715)可以被配置为感测从光场处理器系统的佩戴者的眼睛后部或视网膜反射的光(例如,视网膜检影反射、视网膜反射或者反射),并且在各种实施例中,以形成眼睛的图像。因此,传感器可以是图像传感器或相机、一个或多个光电探测器或者可以响应于检测的光和可能的眼睛的图像而提供信号的其他装置。在一些实施例中,传感器可以包括一个或多个滤波器(例如,被调谐以通过预期用于反射的波段的带通滤波器),其被定制成优先地通过来自佩戴者的眼睛的反射并且优先阻挡其他波段的光。滤波器可以是物理滤波器和/或应用在信号或图像处理软件中的滤波器。
光源和传感器(例如,相机)可以耦接到控制系统(例如,光场处理器70),该控制系统被配置为处理关于由光源提供的光的特性、方向、取向和/或位置的信息,并处理关于由传感器检测到的光的特性、方向、取向和/或位置的信息。根据该信息,控制系统可以被配置为确定佩戴者眼睛的一个或多个视力缺陷。在一些实施例中,控制系统可以被配置为至少部分地基于对由传感器检测到的光的分析来修改由光源提供的光(例如,方向、取向以及提供给光束的光学校正等)。在一些实施例中,控制系统被配置为执行预定义的例程以确定视力缺陷。在一些实施例中,控制系统可以在例程期间的任何点处基于由传感器检测到的光的分析结果来调整视网膜检影法例程。
光场处理器系统可以被配置为将图像投射给佩戴者。如本文所述,光场处理器系统可以向佩戴者提供与远和近的不同表观深度平面对应的图像。因此,佩戴者可以注视在显示器上,查看模拟远和近对象的图像。以这种方式,佩戴者可以具有放松的调节或者可以依赖于测试展示调节。
因此,光场处理器系统可以被配置为提供静态和/或动态视网膜检影法。例如,对于静态视网膜检影法,光场处理器系统可以被配置为在佩戴者具有放松的调节时确定屈光误差。例如,对于动态视网膜检影法,光场处理器系统可以被配置为在佩戴者在不同距离处调节时执行视网膜检影法。这可以通过在进行视网膜检影法时提供佩戴者聚焦的虚拟图像或对象来完成。在通过本文所述的方法和系统跟踪眼睛的调节的同时,可以改变到图像或对象的表观距离。通过以如本文所述的方式改变表观深度平面,光场处理器70可以改变到图像的距离。例如,光场处理器可以改变投射到眼睛中的图像数据的波前的曲率,以对应于特定焦长和相关联的深度平面。因此可以知道从眼睛到深度平面的表观距离。在一些情况下,控制投射的光束的光场处理器70具有可以被计算地选择或调整的可变光焦度。因此,在这种情况下,可以根据需要改变或调整表观深度平面。替换地或另外,还可以通过将实际对象放置在佩戴者前方的世界中并且放置在通过光场处理器系统的显示器(例如,通过集成成像相机16)看到的佩戴者的视场内来改变到对象的表观距离,如本文所述。这些方法中的任何一种都可用于确定例如对目标距离变化的佩戴者调节响应。这些方法也可用于确定例如眼睛的近点。这可以与在其他事物当中确定了眼睛的远点的静态视网膜检影法相比较。
可穿戴光场处理器系统可包括一个或多个用户界面特征,其被配置为允许佩戴者或其他人向装置提供输入。用户界面功能可以与装置集成。在一些实现方式中,用户界面特征由未与装置物理集成的装置或部件提供。例如,用户界面特征可以由与装置通信的装置或系统提供。这可以是智能手机、计算机、平板电脑或与装置进行有线或无线通信的其他计算装置。在一些实施例中,用户界面特征可以由链接到装置的不同装置和系统的组合提供,例如通过有线或无线通信网络或通过物理链接到上述装置或与上述装置集成的部件链接到上述装置。用户界面特征可以呈现在具有触摸屏的装置上,其中与触摸屏的交互向可穿戴光场处理器系统提供输入。语音识别系统以及虚拟触摸功能可以作为补充或替代被包括在内。因此,用户界面特征可以包括对触摸敏感的电容特征、键盘、按钮、麦克风、光电探测器、相机和/或用于跟踪诸如佩戴者指向的手势的跟踪传感器或由图形用户界面提供的各种软件实现的特征。在各种实施例中,通过投射到用户眼睛的图像和用于感测用户移动身体(例如手指)的传感器提供虚拟触摸屏。在一些实施例中,用户界面特包括手势检测部件,以允许佩戴者通过手势提供用户输入。在一些实施例中,用户界面特征包括凝视检测部件,以允许佩戴者通过眼睛的凝视提供用户输入(例如,这可以包括当佩戴者注视在按钮上持续一段时间或在佩戴者注视在按钮上时眨眼时选择按钮或其他元件)。这种用户界面系统可以用于本文描述的其他装置和系统。
在一些实施方式中,佩戴者、临床医生或医生可以使用界面特征来控制视网膜检影法测试的各方面。例如,这可以完成以改变所提供的图像或光的特性和/或从其投射光或图像的深度平面。这可以用于更改提供给佩戴者的光和光学校正,以确定佩戴者的合适的光学处方。
在一些实施例中,光场处理器系统可以被配置为提供静态和动态视网膜检影法。由于可以通过光场处理器70动态地修改图像的焦点,因此可以使用相同的装置执行两种类型的视网膜检影。应当理解,光场处理器系统还可以向视网膜提供静态或扫描光通路。这可以是由诸如集成成像显示器62的光源投射的光束。在一些实施方式中,光场处理器系统可以包括被配置为扫过视网膜上的光或以其他方式在视网膜上移动光的附加部件。光场处理器系统可用于执行视网膜检影法并客观地确定屈光误差,这可能对使用来自患者的主观反馈来确定屈光误差的其他器械是有利的。
为了提供静态视网膜检影法,当放松佩戴者眼睛的调节时使用光场处理器系统。例如,这可以通过在佩戴者的眼睛中使用睫状肌麻痹液滴来实现。可以提供光斑或光束并使其横跨佩戴者的眼睛移动。可以改变波前形状的计算屈光校正可以用于中和或补偿视力缺陷。在一些实施例中,当作为静态视网膜检影操作时,由光场处理器系统提供的用于观看者注视的图像可以从远处(例如,有效地无限远)的表观深度平面提供。在一些实施例中,当作为静态视网膜检影操作时,可以从静态表观深度平面提供由扫过眼睛的光场处理器系统提供的光。投射虚拟图像的表观深度平面可以放置在无限远和约0.1米之间。在某些实施方式中,光场处理器系统包括喷雾器或其他传递装置以传递用于扩张瞳孔和/或使佩戴者眼睛放松的调节的滴眼剂或喷雾。例如,光场处理器系统可以被配置为在佩戴者的眼睛中喷射睫状肌麻痹液滴。
为了提供动态视网膜检影法,可以在允许佩戴者的眼睛调节时使用光场处理器系统。可以向佩戴者显示图像,或者可以提供对象以供佩戴者注视。可以改变图像或对象的表观距离以便引起调节。在一些实施例中,可以观察和/或测量佩戴者眼睛的调节。使用该技术,可以测量调节滞后或先导(lead)。
本文描述的光场处理器系统可用于在静态视网膜检影法和动态视网膜检影法之间切换。这可以使用光场处理器系统时完成。光场处理器系统可以被配置为从各种表观深度平面提供图像以供佩戴者观看,从而允许执行静态和动态视网膜检影法。例如,可以动态地修改由光场处理器系统提供的图像,以在静态视网膜检影法和动态视网膜检影法之间切换。
与先前实施例中的情况一样,佩戴者可以接收输入以确定诊断。在一些实施例中,光场处理器系统还可以包括眼睛扫描模块,其被配置为测量视网膜对扫描光的响应。可以基于特定于视网膜检影法的算法记录和分析该响应,以向患者提供诊断。例如,算法可以至少部分地基于视网膜检影法,其中光扫过眼睛并且观察和测量反射,其中屈光误差与观察或测量的反射的特性相关联。在一些实施方式中,反射移动的方向可用于确定屈光误差。例如,如果反射在与扫过眼睛的光相同的方向上移动,或者表现出“具有”移动,则光场处理器系统可以确定佩戴者的眼睛是远视的。类似地,如果反射在与扫过眼睛的光相反的方向上移动,或者表现出“反对”移动,则光场处理器系统可以确定佩戴者的眼睛是近视的。如果反射在与扫过眼睛的光的方向不平行的方向上移动,则光场处理器系统可以确定佩戴者的眼睛是散光的。另外,反射相对于提供给眼睛的光的移动方向的移动方向可以指示是否需要正或负屈光焦度来校正视力缺陷。例如,“具有”移动表示可能需要正屈光焦度来校正屈光误差,“反对”移动表示可能需要负屈光焦度,而斜向移动表示可能需要柱面屈光焦度。如上所述,可以提供不同的光学校正(例如,具有变化轴的球面和/或柱面)以确定佩戴者的处方和合适的屈光校正。
在一些实施方式中,反射的速度与光场处理器系统的虚拟工作距离组合,还可用于确定视觉缺陷的特性。例如,反射的速度可以与眼睛的屈光不正或屈光误差相关(例如,较快的速度表示眼睛的较低的屈光不正或较小的屈光误差)。
在一些实施方式中,反射的宽度还可用于确定视觉缺陷的特性。例如,反射的宽度可以与眼睛的屈光误差相关(例如,较宽的反射指示眼睛的较低的屈光不正或较小的屈光误差)。
在一些实施方式中,反射相对于源光束的取向也可用于确定视觉缺陷的特性。例如,反射相对于源光束的取向的旋转可以指示散光。
在一些实施方式中,反射的相对亮度还可用于确定视觉缺陷的特性。例如,反射的相对亮度可用于确定眼睛的屈光误差(例如,较亮的反射指示眼睛的较低的屈光不正或较小的屈光误差)。
也可以使用反射的上述特性的任何组合来确定屈光误差。类似地,可以单独或以彼此的任何组合使用反射的上述特性的变化,以确定屈光校正是否改善或恶化所确定的屈光误差,其中屈光校正由光场处理器系统所应用和/或由折射光学部件或引入光学校正的其他部件的增加或减少所引起的。在一些实施例中,光场处理器系统可以被配置为实时确定屈光校正是改善还是恶化所确定的屈光误差。光场处理器系统可以被配置为通过测量这些物理特性中的调节、聚散度和/或瞳孔尺寸和波动来测量或监测调节反射,以评估佩戴者是否能够使用正常视敏度看到图像。例如,当注视在静止目标上时,眼睛的调节、聚散度和/或瞳孔尺寸会波动。当眼睛难以聚焦在图像上时,这些波动会增加。因此,光场处理器系统可以被配置为监视眼睛特性的波动并使用该生物反馈来评估由佩戴者看到的图像的质量(例如,佩戴者是否正在使用正常视敏度看到对象或图像)。
图17示出了用于测量被配置为眼科装置以执行视网膜检影法的光场处理器系统的佩戴者的屈光误差的示例性方法1700。为了便于描述,方法1700将被描述为由例如本文所述的那些的光场处理器系统执行。然而,本文公开的各种光场处理器系统的一些部件或子部件或其他类似的装置可用于执行方法1700中的一些步骤、步骤的组合或步骤的部分。
在框1702,光场处理器系统启动视网膜检影法程序。视网膜检影法程序可以是由光场处理器系统提供的存储过程或功能序列。启动视网膜检影法程序可以包括确定或检索例如用于先前已经经过视网膜检影法或其他眼睛检查的佩戴者的起始光学处方。在一些实施方式中,视网膜检影法程序可以整合关于佩戴者眼睛的眼睛异常的信息,其中关于眼睛异常的信息可以由佩戴者或临床医生输入,该信息根据先前的视网膜检影法程序确定或者从数据存储(例如,作为光场处理器系统一部分的数据存储或网络数据存储)检索。启动视网膜检影法程序可包括将光束投射给佩戴者。启动检影法程序可以包括确定临床医生或医生是否正在施行眼睛检查或者检查是否由佩戴者自我施行。在一些实施例中,光场处理器系统响应于从佩戴者或临床医生接收的输入来启动视网膜检影法程序。
在框1704,光束扫过佩戴者的眼睛。光可以是例如光束(例如,投射到眼睛中的光斑)。光可以是准直的、会聚的或发散的。光可以扫过眼睛或以其他方式在眼睛周围移动。可以为光束提供一定量的光学校正/待测试的焦度(例如,球面和/或柱面(具有变化的轴)),以确定离焦误差和散光。
在框1706,光场处理器系统的眼睛扫描部件被配置为测量响应于扫描光(例如,来自佩戴者眼睛的反射)的佩戴者的眼睛的响应。眼睛扫描部件可以是本文描述的相机或其他传感器(例如,由光场处理器70控制的集成图像显示器62)。眼睛扫描部件可以被配置为分析反射的测量以确定屈光误差。例如,部件(例如,相机)可以包括分析模块,该分析模块被配置用于模式识别测量、响应模式识别、传感器测量、反射跟踪、亮度测量、速度跟踪、方向确定等。视网膜检影法程序可以被用模式识别算法进行预编码以识别模式和/或分析给定模式。视网膜检影法程序可以被用来自佩戴者的先前图像进行预编码,以识别历史分析中的变化。
在框1708,可以将佩戴者的眼睛的响应与保持各种视力缺陷的对应响应值的相关表进行比较。例如,在框1708,光场处理器系统将在框1706中测量的信息与相关表或与各种视力缺陷的测量的预期值对应的其他数据进行比较。该比较可用于基于在框1706中测量的反射的特性来确定屈光误差。
在框1710,比较这些值以便确定任何视力缺陷。在上文中描述了特征的示例及其与视力缺陷的关系。例如,反射的方向、速度、亮度和/或宽度可用于确定屈光误差。反射的形状可用于确定其他视力缺陷,例如散光。在一些实施例中,如果佩戴者正在努力聚焦或者当他们的视力出现问题时可以启动测试,如从框1710到框1702的虚线所示。
在各种实施例中,为了减少干扰,在视网膜检影法期间,穿过光场处理器系统的佩戴者眼睛前方世界的视场被阻挡或以其他方式不可见。例如,当将图像呈现给佩戴者时,这可能发生,尽管这种方法不是必需的。在一些实施例中,可以采用眼睛跟踪、头部姿态(例如,头部取向和凝视方向)跟踪和/或眼睛或面部组织的跟踪来监视佩戴者是否分心或疲劳。该系统可以被配置为基于监视眼睛跟踪系统的结果而动态地过滤掉干扰。
光场处理器系统可以是由医生或临床医生提供的用于在医疗机构或验光师办公室或其他地方进行测试的系统。在其他实施例中,该系统可以属于用户并且可以用于其他目的,例如娱乐(例如,游戏和电影)和/或工作活动。如上所述,在佩戴者的系统上实施视网膜检影法的一个好处是该手术可以方便地全年进行多次(至少2、3、4、5、6、8、10、12、16、18、24或更多)。在一些实施方式中,可以基于视网膜检影法测试结果的结果和/或趋势来更改手术的频率或安排。例如,如果测试结果表明视力缺陷正在劣化或者如果系统检测到佩戴者正在挣扎于他们的视力(例如,通过分析调节波动、聚散波动等),则该手术的频率或安排可以是更改以增加手术的频率和/或缩短手术之间的时间。同样地,检查可以在有或没有例如验光师、眼科医生、护士、技师、医疗助理等的医疗专业人员的情况下进行。
以下段落描述了本文描述的装置、系统和方法的各种示例实施例。
一种可穿戴的眼科装置,包括:头戴式光场显示器,其被配置为生成包括光束的物理光场并且使光束扫过用户的眼睛,从而产生视网膜反射;头戴式光电探测器阵列,其配置为接收视网膜反射并生成数字图像数据;以及光场处理器,其被配置为计算地将一定量的正或负光焦度引入光束,并基于响应于光束的视网膜反射确定用户眼睛的光学处方。
根据前一段所述的装置,其中,光电探测器阵列是光场相机的一部分,并且数字图像数据包括数值光场图像数据。
根据前述段落中任一段所述的装置,其中,光场显示器包括集成成像显示器。
根据前述段落中任一段所述的装置,其中,光电探测器阵列与光场显示器集成在一起。
根据前一段所述的装置,其中,光场显示器包括与光场相机共享的微透镜阵列。
根据前述段落中任一段所述的装置,还包括面向外的头戴式光场相机,其被配置为接收来自用户周围环境的光并生成数值光场图像数据,其中光场处理器被配置为基于光学处方计算地修改数值光场图像数据。
一种使用可穿戴的眼科装置的方法,该方法包括:使用头戴式光场显示器生成包括光束的物理光场并使光束扫过用户眼睛,从而产生视网膜反射;使用头戴式光电探测器阵列接收视网膜反射并生成数字图像数据;以及使用光场处理器计算地将一定量的正或负光焦度引入光束,并基于响应于光束的视网膜反射来确定用户眼睛的光学处方。
根据前一段所述的方法,其中,光电探测器阵列是光场相机的一部分,并且数字图像数据包括数值光场图像数据。
根据前述段落中任一段所述的方法,其中,光场显示器包括集成成像显示器。
根据前述段落中任一段所述的方法,其中,光电探测器阵列与光场显示器集成在一起。
根据前一段所述的方法,其中,光场显示器包括与光场相机共享的微透镜阵列。
根据前述段落中任一段所述的方法,还包括:使用面向外的头戴式光场相机接收来自用户周围环境的光并生成数值光场图像数据;基于光学处方计算地修改数值光场图像数据。
自动验光仪
在一个或多个实施例中,本文描述的眼科装置(例如,光场处理器系统600)可以被配置为用作自动验光仪。自动验光仪提供人屈光误差的客观测量。与可能涉及来自患者的主观响应的综合屈光检查仪相比,自动验光仪不依赖于来自用户的响应。睫状肌麻痹剂(例如,滴眼剂)可用于将睫状肌保持在放松位置,导致使用者失去调节。这种放松的眼睛位置提供了更一致的视网膜视图。可能要求患者观看由自动验光仪装置投射的图像。当机器读取时图像可以跨越深度平面移动以对焦和离焦,以确定图像何时在视网膜上。机器可以对结果进行平均以确定处方。
为此,眼科装置可以使用显示器(例如,由光场处理器70控制的集成成像显示器62)以提供在变化的表观深度处的一个或多个图像,并通过眼睛扫描模块(例如,图14中的光传感器715)扫描,用于在眼睛聚焦在不同表观深度处的图像时捕获视网膜的图像。与先前示例中的情况一样,可以使用各种算法来确定患者何时适当地聚焦在图像上,并且随后确定用户的光学处方。眼科装置的处理器可用于使用可见光或红外光执行多个客观的屈光检查。在一个或多个实施例中,可以在分析中使用图像质量分析/对比度峰值检测技术。类似地,也可以使用席奈尔(Scheiner)双针孔(pinhole)对准、夏克-哈特曼(Shack-Hartmann)网格对准和/或视网膜检影反射中和。
在一些实施例中,图14中的光场处理器系统600包括:可以被配置作为自动验光仪。如已经讨论的,系统600可以是头戴式的,以便与用户的眼睛对准。自动验光仪系统可以是双目自动验光仪,能够同时测试患者双眼的屈光。
集成成像显示器62可以与光场处理器70结合使用,以将具有变化量的波前曲率的光传输到眼睛。例如,集成成像显示器62可以以不同的聚散量将光束传输到眼睛,该光束包括具有正聚散或负聚散的光束以及准直光束。可以由光场处理器70基于提供给集成成像显示器62的图像数据的波前曲率来控制聚散量。这可以被计算地完成,而不需要物理透镜来改变光束的聚散度。由光源714提供的光可以是可见光或红外光谱。
如刚刚所述,集成成像显示器62可用于以不同的聚散度范围可控制地向眼睛提供光束,从具有正聚散度的光束到准直光束到具有负聚散度的光束。从集成成像显示器62输出的光束沿着视轴朝向用户的眼睛传播。在一些实施例中,这些光束可以通过分束器传输,该分束器可以设置在集成成像显示器62和眼睛之间。这种分束器可以与眼睛的视轴对准,并且可以允许单独的相机观看眼睛。
如已经讨论的,自动验光仪系统可以使用具有不同聚散度的光束向眼睛提供图像数据。当该图像数据被提供给眼睛时,集成成像显示器62中的光电探测器715(或通过分束器相机观看眼睛的单独照相机)可用于监视眼睛的视网膜。光电探测器715可以向光场处理器70提供视网膜图像。光场处理器70然后可以对视网膜图像执行图像处理算法,以确定由自动验光系统投射的图像数据何时最佳地聚焦在眼睛的视网膜上。这种图像处理算法可以包括例如对比度峰值检测。(当图像数据模糊时,投射在眼睛视网膜上的图像数据通常具有相对低的对比度;当图像数据被眼睛苛刻地聚焦时,通常具有峰值对比度。)光场处理器可以基于所需的聚散度(无论是正的、准直的还是负的)计算眼睛的屈光焦度,以允许眼睛将光聚焦在视网膜上。光场处理器70可以确定多个子午线中的图像质量,以便不仅计算眼睛的球面焦度而且计算柱面焦度和轴。
光场处理器可以控制自动验光仪系统的操作。在一个示例实施例中,控制方法可以包括使用具有第一聚散值(无论是正的、准直的还是负的)的光束使一个或多个光源714朝向眼睛投射图像。然后,光场处理器70可以使用相机光电探测器715捕获眼睛视网膜的图像。光场处理器70可以分析捕获的视网膜图像以确定当使用具有第一聚散值的光束时在视网膜上形成的图像的质量的度量。
然后,光场处理器可以使用具有不同于第一聚散值的第二聚散值的光束使一个或多个光源714朝向眼睛投射图像。然后,光场处理器70可以使用光电探测器715再次捕获眼睛视网膜的图像,并且分析视网膜图像以确定当使用具有第二聚散度的光束时在视网膜上形成的图像的质量的度量。然后,光场处理器70可以将第一图像质量度量与第二图像质量度量进行比较。基于该比较,光场处理器70可以选择在使用各种优化算法中的任何一种朝向眼睛投射图像时使用的第三聚散值。然后,当使用具有第三聚散值的光束时,光场处理器70可以计算指示在视网膜上形成的图像的质量的第三图像质量度量。可以迭代地执行该过程,直到图像质量度量被最大化或被以其他方式确定为足够的。最后,光场处理器可以基于与该图像质量度量对应的聚散值来计算眼睛的屈光焦度。另外,如果自动验光仪系统识别出高于阈值的屈光误差,则光场处理器70可以启动执行本文所述的综合屈光检查仪方法。综合屈光检查仪系统可用于检查自动验光仪系统的测量精度,反之亦然。以这种方式,本文描述的自动验光仪系统和综合屈光检查仪系统可以共同用于表征患者的视力。
图18A示出了被配置作为自动验光仪的增强和/或虚拟现实系统的另一示例实施例。自动验光仪系统可以包括图14中所示的自动验光仪系统600的所有特征(尽管未示出光场处理器70和集成成像相机16)。另外,图18A中所示的自动验光系统可以包括:位于眼睛58之前的沿着系统的光路定位的席奈尔的针孔盘1860。席奈尔盘1860可以位于例如集成成像显示器62和眼睛58之间。这是具有两个或更多小孔的不透明盘。如图18A所示,当准直光束入射到席奈尔盘1860上时,除了能够通过两个小孔的光线之外,光束被阻挡不被传输到眼睛。在正视眼的情况下,传输通过两个小孔中的每一个的光线聚焦到眼睛58的视网膜上的共同点。因此,由光传感器715拍摄的视网膜图像将展示单个光斑。
尽管图18A示出了通过席奈尔盘1860的准直光束对正视眼的影响,图18B和18C也分别显示对远视眼和近视眼的相同效果。如图18B所示,远视眼的光焦度不足以将传输通过席奈尔盘1860的两个小孔的光线聚焦到单个光斑。因此,在准直光束照射远视眼前方的席奈尔盘的情况下,由光传感器715拍摄的视网膜图像将展示两个不同的光斑。如图18C所示,近视眼的光焦度太强,这导致传输通过席奈尔盘1860的两个小孔的光线聚焦在视网膜前方。这也导致在视网膜上形成两个不同的斑点。
因此,自动验光仪系统600可以改变入射在席奈尔盘上的光束的聚散度,直到在眼睛的视网膜上形成单个斑点。可以基于在视网膜上形成单个斑点所需的光束聚散度来计算眼睛58的屈光焦度。
光场处理器70可以控制自动验光仪系统600的操作。在一个示例实施例中,控制方法可以包括使一个或多个光源714将具有第一聚散值(无论是正的、准直的或负的)的光束投射到席奈尔盘1860上。然后,光场处理器70可以使用光传感器715捕获眼睛58的视网膜的图像。光场处理器70可以分析视网膜图像以确定明显的光斑的数量。如果仅一个光斑是明显的,则处理器可以基于第一聚散值计算眼睛58的屈光焦度。或者,如果多个光斑是明显的,则处理器2606可以选择与第一聚散值不同的第二聚散值。然后,光场处理器70可以使具有第二聚散值的光束投射到席奈尔盘1860上。光场处理器70可以使用光传感器715再次捕获眼睛58的视网膜的图像,并分析视网膜图像以确定明显的光斑的数量。如果单个光斑是明显的,则光场处理器70可以基于第二聚散值计算眼睛58的屈光焦度。否则,可以选择第三聚散值,并且可以迭代地重复该过程,直到在视网膜上形成单个光斑。然后,光场处理器70可以基于该聚散值计算眼睛58的屈光焦度。
当用户正在观看内容以确保内容被聚焦时,本文描述的任何自动验光仪或其他诊断方法可用于实时调整。另外,可以长期基础上(例如,数周、数月或数年)进行用户屈光误差的监测,以提供对用户屈光误差的纵向监测和分析。可以基于测试的趋势自动调整定期安排的测试的频率。
以下段落描述了本文描述的装置、系统和方法的各种示例实施例。
一种可穿戴的眼科装置,包括:头戴式光场显示器,其被配置为生成包括光束的物理光场并将该光束引导到用户的眼睛中,从而产生视网膜反射;头戴式光电探测器阵列,其配置为接收视网膜反射并生成数字图像数据;以及光场处理器,其被配置为控制光场显示、使用数字图像数据分析视网膜反射并基于视网膜反射的分析确定用户眼睛的光学处方。
根据前一段所述的装置,其中,光场处理器还被配置为基于数值图像数据的分析,计算地将一定量的正或负光焦度引入光束。
根据前述段落中任一段所述的装置,其中,光电探测器阵列是光场相机的一部分,并且数字图像数据包括数值光场图像数据。
根据前述段落中任一段所述的装置,其中,光场显示器包括集成成像显示器。
根据前述段落中任一段所述的装置,其中,光电探测器阵列与光场显示器集成在一起。
根据前述段落中任一段所述的装置,还包括具有至少两个针孔的盘,该盘位于眼睛的前方使得光束穿过针孔。
根据前述段落中任一段所述的装置,其中,光场处理器被配置为分析视网膜反射以确定光在视网膜上的焦点。
根据前述段落中任一段所述的装置,还包括面向外的头戴式光场相机,其被配置为接收来自用户周围环境的光并生成数值光场图像数据,其中光场处理器被配置为基于视网膜反射分析计算地修改数值光场图像数据。
一种使用可穿戴的眼科装置的方法,该方法包括:使用头戴式光场显示器生成包括光束的物理光场并将光束引导到用户的眼睛中,从而产生视网膜反射;使用头戴式光电探测器阵列接收视网膜反射并生成数字图像数据;以及控制光场显示、使用数字图像数据分析视网膜反射并使用光场处理器基于视网膜反射分析来确定用户眼睛的光学处方。
根据前一段所述的方法,还包括使用光场处理器基于对数值图像数据的分析,来计算地将一定量的正或负光焦度引入光束。
根据前述段落中任一段所述的方法,其中,光电探测器阵列是光场相机的一部分,并且数字图像数据包括数值光场图像数据。
根据前述段落中任一段所述的方法,其中,光场显示器包括集成成像显示器。
根据前述段落中任一段所述的方法,其中,光电探测器阵列与光场显示器集成在一起。
根据前述段落中任一段所述的方法,还包括通过具有至少两个针孔的盘传输光束,该盘位于眼睛前方。
根据前述段落中任一段所述的方法,还包括使用光场处理器分析视网膜反射以确定光在视网膜上的焦点。
根据前述段落中任一段所述的方法,还包括:使用面向外的头戴式光场相机从用户周围环境接收光并生成数值光场图像数据;以及基于视网膜反射的分析计算地修改数值光场图像数据。
像差仪
在一个或多个实施例中,光场处理器系统600可以用作像差仪。像差仪测量眼睛中的不规则性,可能包括离焦、规则散光和高阶像差(例如,球面像差、彗差、三叶形、不规则散光)。甚至高阶像差也会对视觉质量产生重大影响,并且可能影响深度感知、对比度、颜色感知、夜视等。除了低阶像差之外,识别高阶像差可以帮助产生更准确的处方眼镜。
为了识别屈光误差,像差仪可以将光束发送到眼睛中。在一些实施例中,光束是红外光。光穿过眼睛的角膜和晶状体,并被视网膜反射回来。然后可以通过像差仪测量反射光,以生成关于眼睛的屈光误差(包括高阶屈光误差)的数据。像差仪通常用于收集用来执行激光视力校正外科手术的数据。由像差仪创建的映射指示激光的传递,该激光精确地重塑角膜。
在一些实施例中,像差仪系统可包括光场处理器系统600的元件。例如,像差仪系统可包括光场处理器70和集成成像显示器62。在一些实施例中,集成成像显示器是图14所示的种类,其包括光传感器715。光场处理器系统600的集成成像显示器62可用于生成具有所需波前的光。与先前实施例中的情况一样,可以测量对施加的刺激的响应。应当理解,可以应用不同频率的波前。类似地,可见光或不可见光可以被投射到眼睛中。在一个或多个实施例中,可以处理捕获的数据以确定任何异常。
从集成成像显示器62输出的光的波前沿着视轴朝向用户的眼睛传播。在一些实施例中,集成成像显示器62输出具有平面波前的探测光束。但是集成成像显示器62也可以由光场处理器控制,以输出具有正或负光焦度的探测光束。探测光束进入眼睛58并最终被视网膜反向散射。当探测光束传播通过眼睛时,其平面波前会受到眼睛58的光学系统中的不规则或缺陷影响。这种不规则或缺陷会导致波前同样变得不规则。
一旦反向散射的探测光束离开眼睛,它就朝向集成成像显示器62传播回去。这些离开眼睛的波前通常是不规则的。像差波前的具体形状取决于眼睛58中的不规则或缺陷。该系统可以包括中继透镜系统,该中继透镜系统将眼睛的大约瞳孔平面处的波前中继到微透镜的阵列712。
微透镜阵列712结合光传感器715可以用作能够测量和表征这些波前的形状波前像差仪。具体而言,是夏克-哈特曼型波前传感器。小透镜阵列712在许多不同位置对入射波前进行空间采样。例如可以是CCD或CMOS元件的光传感器715可以用作检测器。每个小透镜将一个光斑聚焦在探测器上。探测器上每个光斑的精确位置取决于相应小透镜位置处波前的局部曲率。因此,探测器创建由光斑阵列组成的图像。该图像可以由光场处理器70分析,以确定每个光斑的精确位置,这进而指示相应小透镜位置处的波前曲率。以这种方式,光场处理器70可以确定由小透镜阵列采样的每个空间位置处的波前的曲率。基于测量的波前的形状,处理器可以计算眼睛的像差,包括低阶像差和高阶像差。这些像差可以用数字表示为例如泽尼克系数。
一旦光场处理器70确定了眼睛58的像差,它就可以以例如数值或图形形式输出那些测量。测量可用于确定眼睛58的治疗计划,例如校正光学处方。另外,光场处理器可以使用眼睛58的像差的测量来计算地校正来自集成成像相机16的输入图像数据,从而向用户提供更清晰的(crisper)图像。例如,在一些实施例中,当光场处理器70将虚拟和/或增强现实图像数据投射到眼睛58中时,光场处理器70可用于计算地控制由集成成像显示器62输出的波前的形状。以这种方式,提供给用户的图像数据可以基于用户自己的眼睛的高和/或低像差而被特别地校正。
以下段落描述了本文描述的装置、系统和方法的各种示例实施例。
一种可穿戴的眼科装置,包括:头戴式光场显示器,其被配置为生成包括光束的物理光场并将光束引导到用户的眼睛中,从而产生视网膜反射;头戴式光场相机,其被配置为接收视网膜反射并生成数值光场图像数据;以及光场处理器,其被配置为控制光场显示、使用数值光场图像数据分析视网膜反射并基于视网膜反射的分析确定眼睛的高阶像差。
根据前一段所述的装置,其中,光场处理器还被配置为计算地将一定量的正或负光焦度引入光束。
根据前述段落中任一段所述的装置,其中,光场显示器包括集成成像显示器。
根据前述段落中任一段所述的装置,其中,光场相机与光场显示器集成在一起。
根据前一段所述的装置,其中,光场显示器包括与光场相机共享的微透镜阵列。
根据前一段所述的装置,其中,光场相机包括夏克-哈特曼传感器。
根据前述段落中任一段所述的装置,还包括面向外的头戴式光场相机,其被配置为接收来自用户周围环境的光并生成附加的数值光场图像数据,其中光场处理器被配置为基于眼睛的高阶像差计算地修改附加数值光场图像数据。
一种使用可穿戴的眼科装置的方法,该方法包括:使用头戴式光场显示器生成包括光束的物理光场并将光束引导到用户的眼睛中,从而产生视网膜反射;使用头戴式光场相机接收视网膜反射并生成数值光场图像数据;以及使用光场处理器控制光场显示、使用数值光场图像数据分析视网膜反射并基于视网膜反射分析确定眼睛的高阶像差。
根据前一段所述的方法,还包括使用光场处理器计算地将一定量的正或负光焦度引入光束。
根据前述段落中任一段所述的方法,其中,光场显示器包括集成成像显示器。
根据前述段落中任一段所述的方法,其中,光场相机与光场显示器集成在一起。
根据前一段所述的方法,其中,光场显示器包括与光场相机共享的微透镜阵列。
根据前一段所述的方法,其中,光场相机包括夏克-哈特曼传感器。
根据前述段落中任一段所述的方法,还包括:使用面向外的头戴式光场相机接收来自用户周围环境的光并生成附加的数值光场图像数据;以及使用光场处理器基于眼睛的高阶像差计算地修改附加的数值光场图像数据。
黄斑变性
在一个或多个实施例中,光场处理器系统600可以被配置为检测、诊断和/或补偿黄斑缺陷。黄斑缺陷(例如,孔、囊肿、变性等)是视网膜中黄斑和中央凹组织的损伤,该损伤产生对用户视场中的光敏感度降低或对光缺乏敏感度的异常、死点或区域。黄斑缺陷的常见形式包括年龄相关的黄斑变性(AMD)、斯特格(Stargardt)病、贝斯特(Best)病和其他退行性病。年龄相关的黄斑变性包括“干性”AMD,其特征在于视网膜色素上皮层的萎缩,还包括“湿性”AMD,其中由于视网膜中异常血管生长的并发症而发生视力丧失。黄斑缺陷可能导致对视场各部分中对光敏感度降低的异常、死点或区域,以及对比度或颜色敏感度的损失。通常,敏感度降低的异常、死点或区域发生在视场中心附近而不是周边。
光场处理器系统600可以被配置为通过确定视网膜的一部分检测图像的能力来检测或诊断黄斑缺陷。在一些实施例中,光场处理器系统可以包括用户显示装置62,例如图6、7和14所示的可以将光投射到佩戴者的眼睛中以在眼睛中形成图像的集成成像显示器。用户显示装置62可以包括能够通过外壳或框架108安装到用户的头部或眼睛显示器透镜、屏幕106等。
然后,系统可以检测来自佩戴者的响应。例如,图像可以是如果投射到视网膜的健康部分则可以被清楚地看到但是如果投射到缺陷部分则可能不会被看到的小点。在一些实施例中,可以自动地或由另一个用户(例如医疗专业人员)提示佩戴者以指示佩戴者是否看到图像。然后,用户可以通过用户界面输入佩戴者的响应。在一些实施例中,光场处理器系统可通过使用集成成像显示装置62中的光传感器715、单独的眼睛跟踪相机24或类似的检测方法来增加准确度,以观察是否响应于例如焦点或凝视的变化或持续的眼睛扫描的图像的投射而发生非自愿的反应,而不需要有意识的输入。眼睛跟踪相机24可以是面向内的(即,指向用户的眼睛)相机,如图5所示。在一些实施例中,光场处理器系统可以直接提示佩戴者指示是否观察到图像,例如通过手动输入或通过有意识地将佩戴者的凝视引导到图像或投射的虚拟按钮图像。可以通过显示透镜106投射虚拟按钮图像,并且可以通过眼睛跟踪相机24或通过手势识别来检测佩戴者对按钮的选择。
在一些实施例中,可以在视网膜的不同部分或者在视网膜的相同部分处使用不同的图像来重复上述测试,以检测黄斑缺陷的区域。例如,可以确定佩戴者可以看到图像的视网膜的特定部分是健康的,而可以确定不能看到相同图像的视网膜的一部分是不足的。在另一示例中,可以首先投射主要由较长波长可见光(例如红光)组成的图像。然后可以将主要由较短波长可见光(例如蓝光)组成的图像投射到视网膜的相同部分,并且对佩戴者的可见度的任何差异可以指示佩戴者中的颜色敏感度的损失。在一些实施例中,可以在佩戴者的视网膜上的不同位置处向佩戴者呈现对比度、饱和度、色调、强度、周期性或空间频率或任何其他特性不同的多个图像,以便诊断由于黄斑缺陷引起的各种敏感度损失。除了上述测试结果之外,还可以使用佩戴者视网膜的图像,以提高黄斑缺陷诊断的可靠性。这样的图像可以例如通过参考图14描述的系统、检眼镜或眼底镜、光学相干断层扫描或其他成像技术获得。
黄斑缺陷测试可以根据需要在离散测试中进行,或者可以随时间定期和/或重复进行。重复分析可以允许跟踪进行性黄斑缺陷,例如年龄相关的或其他黄斑变性。因此,黄斑缺陷诊断功能可以被结合到仅用于眼科诊断的装置中,或者可以是例如用于娱乐、工作或其他目的而定期佩戴的装置的一部分,从而可以以规律的间隔和/或在一天、一周、一个月、一年等的各种时间自动执行检查。在一些实施例中,可以在施行自动检查之前通知佩戴者,例如通过警报声和/或视觉显示的消息。黄斑缺陷测试的结果可以在装置上实时评估以用于评估和/或诊断,或者可以通过云或其他网络传输以进行远程评估。异常或其他黄斑缺陷的远程评估和/或诊断可以被传输回装置以实现下面描述的治疗或补偿方法。佩戴者的眼睛的唯一特性可以由装置记录并用于身份验证以确保传输的数据的安全性和隐私性。例如,光传感器715可以对虹膜成像,并且光场处理器70可以执行模式识别以确定佩戴者的身份是否对应于测试结果所对应的人的身份。然后,只有当佩戴者是测试结果所对应的人时,系统才可以显示测试结果。
光场处理器系统可以通过将光直接投射到视网膜中并且特异性地(specifically)靶向(target)黄斑周边的健康细胞来帮助补偿黄斑变性。通过改变光被投射的位置,装置可以选择性地靶向健康细胞并提高用户的力觉质量。在一个或多个实施例中,光投射源包括具有LED光源的集成成像显示器,该LED光源被配置为将图像投射到用户眼睛的不同部分中。该系统可以包括可以被配置为选择性地将光投射到视网膜的不同部分上的其他类型的显示器。可利用该技术将图像的像素选择性地投射到健康的视网膜细胞,并减少、最小化或更改投射到受损区域的光的性质。例如,投射到异常的像素可以被放大或变得更亮。还应当理解,该技术还可能需要对投射的图像数据本身的修改,并且光场处理器可以更改图像的性质,使得用户在观看图像时不会注意到显著差异。
光场处理器系统可以修改佩戴者对来自世界的光的视图。系统可以实时或接近实时地检测进入装置的光,并且可以修改部分光或投射附加的光以校正佩戴者的黄斑缺陷。例如,系统可以使用例如集成成像相机16的面向外的相机来对世界进行成像。然后,系统可以将世界的图像投射给佩戴者。投射的图像数据可以被更改,使得像素可以被选择性地投射到健康的视网膜细胞,而投射到异常的像素可以在放大率、强度、色调、饱和度、空间频率或其他质量方面被减小、最小化、放大、变亮或以其他方式被更改。该系统还可以用于通常使明亮的房间变暗和/或使由于黄斑变性引起的对变化的光照条件难以调节的佩戴者的夜间视场变亮。
光场处理器系统可以使用面向外的相机来向佩戴者提供警报。警报可以基于检测由于黄斑缺陷而对佩戴者不可见的危险状况。系统可以基于来自面向外的相机的图像与佩戴者的已知黄斑缺陷数据(例如视网膜上的异常的位置)的相关性来确定不可见危险的存在。当检测到盲点中的例如进入的对象、地面上的洞或其他状况的危险时,系统可以警告佩戴者。警报可能包括视觉、听觉或触觉通知。在完全失明的情况下,系统可以被配置为检测期望物品(例如,椅子、桌子、床等)的存在并且例如通过听觉通知向佩戴者提供接近度信息。
在一个或多个实施例中,光场处理器系统可以诊断或评估用户的眼睛解剖结构以确定黄斑变性的位置。现在参考图19,提供了用于诊断、检测和/或识别黄斑变性的任何区域的示例性过程流程1900。在1902,可以启动黄斑变性诊断/评估程序。与上述许多实施例中的情况一样,程序可以被预编码或下载到光场处理器系统中。在1904,例如通过一个或多个集成成像显示器62将图像投射到用户眼睛的特定部分。例如,图像(例如,小点、小形状等)被指向用户眼睛的中心(例如,形成在视网膜的中心)。
在1906,系统可以通过任何类型的用户界面接收关于用户看到的图像质量的输入。例如,可以要求用户将图像的质量从1到10评级。或者,在另一个实施例中,可以投射具有增加或减少的视觉刺激的图像,并且用户可能必须识别图像何时出现在用户的视觉中或者何时从用户的视觉中消失、图像何时在视觉刺激减少和/或图像何时移动。在一些实施例中,系统可以检测佩戴者回答所需的时间,因为需要长时间来回答的佩戴者可能难以看到刺激。类似地,可以使用许多这样的技术,例如佩里-罗伯森或正弦波光栅测试。在1908,基于接收的用户的输入,系统可以确定用户眼睛的该部分的健康状况。
在1910,系统可以确定是否需要类似地诊断和/或评估眼睛的其他部分。如果是,则重复步骤1904-1908。在对眼睛的各个其他部分进行类似测试之后,在1912,分析用户眼睛的各个部分的健康状况的结果,并且可以识别任何异常。
在一个或多个实施例中,AR系统的行为类似于包含用于测量偏心注视的小标线(graticule)目标的观测镜(visuscope)。光投射源可以将图像投射到患者的视网膜上,并且可以要求患者观察目标的中心。中央凹反射相对于标线目标中心的位置可以指示患者是否具有偏心注视以及具有何种程度的偏心注视。类似地,可以通过上述过程确定偏心注视的方向和程度。
如果确定用户具有一个或多个异常,则光场处理器系统可以被配置为将修改的图像投射到用户的眼睛,使得通过健康的外周视网膜细胞观看大部分图像,并且任何被投射到异常的像素被调整。应当理解,可能需要通过预定算法修改要投射的图像,使得用户通过健康细胞观看图像,但不注意图像本身的显著的变化。
以下段落描述了本文描述的装置、系统和方法的各种示例实施例。
一种可穿戴的眼科装置,包括:头戴式光场显示器,其被配置为生成包括光束的物理光场并将该光束引导到用户眼睛的视网膜的选定子部分,从而产生视网膜反射;头戴式光电探测器阵列,其被配置为接收视网膜反射并生成数字图像数据;以及光场处理器,其被配置为控制光场显示、使用来自光电探测器阵列的数值图像数据分析视网膜反射并基于视网膜反射的分析确定视网膜的选定子部分的健康状况。
根据前一段所述的装置,还包括用户界面,其被配置为从用户接收关于视网膜的选定子部分的健康状况的输入。
根据前述段落中任一段所述的装置,还包括面向外的头戴式光场相机,其被配置为接收来自用户周围环境的光并生成数值光场图像数据,其中光场处理器被配置为基于视网膜的健康状况计算地修改数值光场图像数据,以便移动光场图像数据的选定部分,使得该选定部分入射在视网膜的健康部分上。
一种使用可穿戴的眼科装置的方法,该方法包括:生成包括光束的物理光场并将该光束引导到用户眼睛的视网膜的选定子部分,从而产生视网膜反射;使用头戴式光电探测器阵列接收视网膜反射并生成数值图像数据;以及使用光场处理器控制光场显示、使用来自光电探测器阵列的数值图像数据分析视网膜反射并基于视网膜反射的分析确定视网膜的选定子部分的健康状况。
根据前一段所述的方法,还包括从用户界面接收关于视网膜的选定子部分的健康状况的输入。
根据前述段落中任一段所述的方法,还包括:使用面向外的头戴式光场相机从用户环境接收光并生成数值光场图像数据;以及使用光场处理器基于视网膜的健康状况计算地修改数值光场图像数据,以便移动光场图像数据的选定部分,使得该选定部分入射在视网膜的健康部分上。
重新渲染来自面外向的相机的图像数据
本文描述的各种系统可以包括一个或多个面向外的相机以从周围环境捕获图像信息,并且该图像信息可以随后显示为呈现给系统的佩戴者的图像和/或视频。在一些实施例中,可以重新渲染由系统呈现给佩戴者的图像信息,以提供相对于由相机原始捕获的图像信息而被修改的图像信息。该修改可以由处理器(例如,图像处理器)执行,该处理器接收由相机捕获的图像信息并处理图像信息以包括稍后被传递给生成显示的图像和/或视频的光调制器的变化。在一些实施例中,佩戴者的世界的视图和该视图中的特定特征可以根据需要进行修改以用于诊断或治疗目的。
参考图5,头戴式健康系统可包括一个或多个面向外的相机16,以对佩戴者周围的世界进行成像。系统可以处理由相机16捕获的图像信息(例如,图像和/或视频)以重新渲染图像信息用于显示给佩戴者。在一些实施例中,装置可以将来自显示装置108的光投射给佩戴者的眼睛,以便将重新渲染的世界图像投射给佩戴者。本文描述的重新渲染技术可以应用于从光场相机收集的光场图像信息,或者应用于由任何其他类型的相机收集的任何其他类型的图像信息。类似地,重新渲染的图像信息可以由光场显示装置(如果重新渲染的图像信息由光场图像数据组成)或任何其他类型的显示装置显示。
在一些实施例中,在重新渲染步骤中,处理器(例如,光场处理器70)可以被配置为选择性地修改将被显示给佩戴者的图像的性质。例如,处理器可以被配置为基于佩戴者的视网膜中的健康和不健康细胞的分布来选择性地更改图像的部分,使得这些部分被投射给健康的视网膜细胞,而被投射给不健康的视网膜细胞的图像的部分可以在放大率、强度、色调、饱和度、空间频率或其他质量上被减少、最小化、放大、增亮或以其他方式被更改。类似地,当需要减轻和/或补偿佩戴者的任何已知眼科状况时,可以在放大率、强度、色调、饱和度、空间频率或任何其他质量上修改图像的任何期望的部分。在一些实施例中,还可以修改和/或重塑图像的波前,以便减轻与焦点相关的状况。在其他示例中,通过例如根据需要使用可呈现更暗或更亮的世界视图的渲染内容替换用户的世界视图的全部或部分,该系统还可以用于通常使明亮的房间变暗和/或使关于变化的光照条件难以调整的佩戴者夜间视图变亮。可以使用已知的图像处理技术使图像数据变暗或变亮。在另一个示例中,系统可以修改或移动颜色以增强包括色盲的佩戴者的佩戴者的视力。应当理解,该系统可以包括增强现实显示器或虚拟现实显示器,并且如本文所公开的重新渲染图像信息可以应用于在任一类型的显示器上显示内容。
继续参考图5,在一些实施例中,健康系统可具有一个或多个面向前和面外向的相机16,其对佩戴者周围(例如,在其前方)的世界进行成像。该系统可以被配置为确定图像的各种特性,诸如图像的区域的强度、色调、饱和度和/或空间频率。系统可以经由显示装置108处理并向佩戴者再现基于由面向外的相机16捕获的信息的世界图像,该图像具有关于亮度、放大率、颜色、波前和/或其他的参数的修改,如上所述。在一些实施例中,显示装置可以仅将部分图像投射给佩戴者的眼睛,其中部分图像将穿过显示器的光增强(例如,如在一些增强现实实施例中)到佩戴者的眼睛以产生期望的修改。例如,增强现实系统可以基于佩戴者的已知颜色检测缺陷来切换图像的部分的颜色。在另一示例中,增强现实系统可基于佩戴者的已知对比敏感度不足来增强图像的两个或更多个部分之间的亮度差异。
以下段落描述了可以由处理器应用于使用本文描述的系统收集的图像信息的重新渲染技术的各种具体示例。
调暗(dimming)是重新渲染操作,该调暗可以在由面向外的相机收集的图像信息被显示给系统的佩戴者之前对该图像信息执行。例如,图像信息的视场的全部或部分可以被计算地调暗。或者换句话说,在将捕获的图像信息显示给用户之前,处理器可以计算地减少图像信息的亮度。可以响应于用户输入手动执行捕获的图像信息的计算调暗。或者,可以基于环境光照条件(由相机16或另一传感器检测到)自动执行捕获的图像信息的计算调暗。在许多不同的场景中,图像信息的调暗可能是有益的。例如,强光可能是引发偏头痛或导致易患癫痫的人或患有自闭症或社交焦虑的人的感觉负荷过重的主要因素。因此,在将收集的图像信息显示给用户之前对其进行调暗可以帮助防止遭受这些和其他条件的人对强光的不利响应。
在一些实施例中,图像信息所包含的整个视场是调暗的。在其他实施例中,可以将调暗选择性地应用于视场的不同部分。例如,在一些实施例中,眼睛跟踪技术(使用例如本文所述的系统和技术提供)可用于确定用户正在注视视场中的何处,并且图像信息在视场中对应于该点的部分中可被选择性地调暗。相反,除了用户注视的位置之外,图像信息可以在视场的部分中被选择性地调暗。例如,这可以被完成以提供对用户正在主动观看的图像信息的视场部分的强调。虽然可以基于用户正在观看的位置通过眼睛跟踪技术来控制图像信息的视场的一部分的选择性调暗,但是也可以基于手势或其他用户输入来控制。
与调暗相反,增加亮度是另一种重新渲染操作,其可以在由面外向的相机收集的图像信息被显示给系统的佩戴者之前对其执行。处理器可以计算地增加图像信息的亮度。替代地或另外地,可以通过一下方式增加图像信息的亮度:通过增加用于捕获图像信息的传感器的灵敏度或者通过使用可见光或红外光照射用户视场中的场景然后捕获来自场景的光的反射作为图像信息的一部分。
在一些实施例中,处理器增加图像信息所包含的整个视场的亮度。在其他实施例中,亮度可以选择性地增加到视场的不同部分。例如,使用眼睛跟踪技术,可以选择性地增加用户正在观看的视场的部分的亮度。反过来也是可能的,其中可以选择性地增加视场中的除了用户正在观看的地方之外的部分的亮度。选择性地变亮的视场部分也可以以其他方式控制,例如通过用户手势或其他控制输入。
可以以多种不同方式使用图像信息的亮度的增强。例如,增强的图像信息亮度可用于帮助患有季节性情感障碍的人。在一些实施例中,本文描述的系统可以与其他传感器结合使用并且可通信地耦接到其他传感器,该其他传感器检测用户的生理参数,例如体温、心率、血压、移动等。处理器可以监测这种感觉输入并且基于可以从感觉输入推测出来的用户的情绪、生产力、注意力等自动增强图像信息的亮度。此外,闪烁的亮度已被证明可增加血液流动和眼血管。因此,处理器可以使图像信息的亮度以选定的频率闪烁,从而刺激用户眼睛中的血液流动。
模糊是另一种重新渲染操作,其可以在由面外向的相机收集的图像信息被显示给系统的佩戴者之前对该图像信息执行。模糊可以由处理器通过例如将低通数字滤波器应用于捕获的图像信息的全部或一部分来计算地执行。低通滤波器可以是例如高斯模糊滤波器。应用模糊滤波器可以通过降低图像噪声来改善图像质量。此外,减少的噪声结合柔和的图像以及混合的细节和颜色可以减少感觉负荷过重的可能性,这可能有益于患有自闭症和/或社交焦虑的人。模糊可以应用于图像信息的整个视场或仅应用于视场的一部分。如果模糊选择性地仅应用于图像信息的视场的一部分,则可以基于用户注视的位置来选择该部分。例如,眼睛跟踪技术可以用于确定用户正在看的位置,并且模糊可以应用于视场的该部分或者视场的除了用户正在看的地方之外的部分。或者,用户可以用手势或其他控制输入选择视场的要被模糊的部分。
与模糊相反,锐化是另一种重新渲染操作,其可以在由面向外的相机收集的图像信息被显示给系统的佩戴者之前对该图像信息执行。再一次,锐化操作可以应用于图像信息的整个视场或仅应用于视场的一部分。如果锐化操作仅应用于图像信息的视场的一部分,则可以基于用户正在观看的位置使用眼睛跟踪技术来选择该部分。例如,锐化操作可以应用于视场中用户正在观看的部分或者视场中除了用户正在观看的地方之外的部分。或者也可以使用手势或其他控制输入来选择图像信息的视场的一部分以进行锐化。
边缘检测和/或边缘增强仍然是其他的重新渲染操作,其可以在由面向外的相机收集的图像信息被显示给系统的佩戴者之前对该图像信息执行。再一次,这些操作可以对图像信息的整个视场或仅视场的一部分计算地执行。
边缘检测和/或边缘增强操作可以与对象或特征识别算法结合使用,该算法也可以作为重新渲染操作应用于图像信息。这些类型的算法可以识别图像信息所示的视场内的对象。然后,处理器可以为任何识别的对象插入增强现实标记(tag)或标签。例如,标记或标签可以被插入到图像信息中并叠加在识别的对象上或在识别的对象周围或附近提供。标记或标签可以提供关于对象的任何所需类型的信息。另外,处理器可以应用增强现实特征,该特征突出显示图像信息的视场内的识别对象。例如,如果识别出对象,那么它的边缘可以被加粗。或者,可以将倾向于引起用户注意的任何其他增强现实特征添加到对象。
对象识别算法还可用于识别在用户观看时触发身体或情绪反应的对象。例如,本文描述的系统可以与其他传感器结合使用,并且可以通信地耦接到其他传感器,该其他传感器检测用户的生理参数,例如体温、心率、血压等。可以监测传感器的输出,以确定用户何时对他或她正在观看的内容做出身体或情绪反应。对象识别和眼睛跟踪技术可用于确定当发生身体或情绪反应时用户是否正在观看特定对象。然后,系统可以输出指示触发响应的对象、时间、图像数据等的数据和/或向用户提供通知。这种类型的功能可能对许多不同类型的人有益。例如,它可以帮助确定患有阿尔茨海默病的人在日常生活中如何挣扎。或者它可以帮助那些患有强迫症或创伤后应激障碍的人确定触发反应的原因。
在一些实施例中,如果对象识别算法识别出对象,则处理器可以用增强现实对象或特征替换或更改被识别的对象。例如,如果自闭症用户在社交环境中挣扎,则捕获的图像信息的视场内的已识别的人可以被用动画的增强现实角色替换。这可以帮助自闭症用户在社交环境中进行交互时感觉更舒服。另外,处理器可以实现一种曝光疗法,其中动画随着时间变得不那么剧烈,从而允许用户随着时间的推移变得对真是生活中的人更加舒适。
颜色更改是附加的重新渲染操作,其可以在捕获的图像信息被显示给用户之前对该图像信息执行。各种这样的计算颜色更改是可能的:图像信息中的选定颜色可以被映射到另一种颜色;白平衡可以被更改;色温可以被更改等。在遭受任何类型色盲的用户的情况下,处理器可以以这样的方式更改图像信息中的颜色,以便改善用户的对比度。例如,该系统可以计算地使患有色盲的人无法看到的两种颜色削弱。通过使刺激的颜色削弱并减少或去除最大光谱重叠,可以改善视锥细胞中被刺激的信号之间的区别。
此外,已显示蓝光照射(exposure)改善了决策。因此,在一些实施例中,可以计算地将蓝色色调添加到图像信息,以便利用这种效果。作为另一示例,红光照射可以影响视网膜上线粒体的氧生成,这可以帮助减少黄斑变性的影响。因此,在一些实施例中,可以计算地将红色色调添加到图像信息,以便利用这种效果。
可以应用于捕获的图像信息的附加重新渲染操作包括横向放大、缩小和移位图像信息。可以以各种方式控制这些操作,包括通过手势或其他用户输入或基于用户正在看的位置(如眼睛跟踪技术所指示的)。当计算地放大图像信息时,可以使用例如高斯函数来计算像素的加权平均,以便能够缩放图像而不会丢失其大部分细节。图像信息的放大和横向移位对于许多人是有益的,包括患有黄斑变性的人。例如,可以放大用户正在观看的图像信息的视场内的位置以减少黄斑死点的相对影响(通过增加观看目标的虚拟尺寸)和/或该图像信息可以被移位使得其出现在用户眼睛中健康的视网膜细胞上。除了放大,系统还可以缩小。例如,面向外的相机可以用于从超出佩戴者的正常视场的更大的视场捕获图像信息,然后系统可以计算地压缩来自这个更大的视场中的图像信息以适合于用户的正常视场范围。
另外,图像信息的视场的横向移位可以帮助遭受引起眼睛的不自主移动的眼球震颤的人。例如,眼睛跟踪技术可以用于监测眼球震颤患者的眼睛移动,并且图像信息的视场可以与不自主的眼睛移动同步地移位,以帮助稳定用户的视场。不是使图像信息与不自主的眼睛移动同步地移动,图像信息可以替代地稍微不同步地移动(例如,在稍微更慢的频率下)持续一定的持续时间以减慢不自主的眼睛移动作为一种治疗形式。可以使用类似的技术来帮助患有振动幻视的人,该振动幻视是其中患者的视场振荡的视觉缺陷。处理器可以使图像信息的视场与用户的眼睛同步振荡,以帮助稳定他或她的视力。另外,可以通过减慢随时间的图像信息的视场的振荡来提供治疗,以帮助训练用户的眼睛以减少它们的振荡量。
另一种重新渲染操作是计算地增加由系统的面向外的相机捕获的图像信息的分辨率。这可以使用已知的上采样技术来完成。然后可以向用户显示更高分辨率的图像信息。通过数字地增加图像信息的分辨率,系统的佩戴者可以体验到视敏度的感知增加。
在一些实施例中,到目前为止讨论的重新渲染操作可以实时应用于由面向外的相机捕获的图像信息以显示给用户。然而,可以执行的附加操作是非实时图像信息的回放。例如,可以在较早的时间点(例如,之前的数秒、数分钟、数小时、数天等)收集的图像信息被回放给用户。在这种情况下,系统可以包括存储器,该存储器连续地记录捕获的图像信息,使得可以根据命令选择来自任何期望的先前时间点的图像信息以用于回放。先前的图像信息可以在正常时间播放,或者可以比正常速度更慢或更快地播放。用户可以通过手势或其他控制输入来控制此功能。
可以自动地或基于用户输入来执行任何前述重新渲染操作。本文描述的系统可以包括各种输入控制,例如用户可以导航以便控制设置、偏好、功能等的交互式元件或菜单;眼动跟踪;手势控制;头部姿态;语音等。此外,这些功能还可以通过使用眼底相机、二极管激光器、图像传感器、红外电荷耦合器件(CCD)相机和高分辨率数字CCD相机(所有这些都可以是装置上的附件)来执行。
以下段落描述了本文描述的装置、系统和方法的各种示例实施例。
一种可穿戴的眼科装置,包括:面向外的头戴式光场相机,其被配置为接收来自用户周围环境的光并生成数值光场图像数据;光场处理器,其被配置为计算地修改数值光场图像数据以生成修改的数值光场图像数据;以及头戴式光场显示器,其被配置为生成与修改的数值光场图像数据对应的物理光场。
根据前一段所述的装置,其中光场处理器被配置为计算地调暗数值光场图像数据的至少一部分。
根据前述段落中任一段所述的装置,其中,光场处理器被配置为计算地使数值光场图像数据的至少一部分变亮。
根据前一段所述的装置,其中,光场处理器被配置为基于用户心情的指示来控制亮度。
根据前述段落中任一段所述的装置,其中,光场处理器被配置为使亮度闪烁以增强用户眼睛中的血液流动。
根据前述段落中任一段所述的装置,其中,光场处理器被配置为计算地放大数值光场图像数据的至少一部分。
根据前述段落中任一段所述的装置,其中,光场处理器被配置为计算地模糊数值光场图像数据的至少一部分。
根据前述段落中任一段所述的装置,其中,光场处理器被配置为计算地检测或增强数值光场图像数据的边缘。
根据前述段落中任一段所述的装置,其中,光场处理器被配置为使光场显示器回放与前一时刻的数值光场图像数据对应的物理光场。
根据前一段所述的装置,其中,光场处理器被配置为比正常速度更快或更慢地回放光场图像数据。
根据前述段落中任一段所述的装置,其中,光场处理器被配置为检测由光场相机捕获的数值光场图像数据中的对象。
根据前一段所述的装置,其中,光场处理器被配置为用增强现实特征替换或修改检测的对象。
根据前述段落中任一段所述的装置,其中,光场处理器被配置为确定检测的对象是否引发来自用户的可检测的身体或情绪响应。
根据前述段落中任一段所述的装置,其中,光场处理器被配置为计算地更改数值光场图像数据中的颜色。
前一段所述的装置,其中光场处理器被配置为计算地增加数值光场图像数据中的蓝色以增强用户的决策。
根据前述段落中任一段所述的装置,其中,光场处理器被配置为计算地增加数值光场图像数据中的红色以增强视网膜的健康。
一种使用可穿戴的眼科装置的方法,该方法包括:使用面向外的头戴式光场相机接收来自用户周围环境的光并生成数值光场图像数据;使用光场处理器计算地修改数值光场图像数据以生成修改的数值光场图像数据;以及使用头戴式光场显示器生成与修改的数值光场图像数据对应的物理光场。
根据前一段所述的方法,还包括计算地调暗数值光场图像数据的至少一部分。
根据前述段落中任一段所述的方法,还包括计算地增亮数值光场图像数据的至少一部分。
根据前一段所述的方法,还包括基于用户心情的指示来控制亮度。
根据前述段落中任一段所述的方法,还包括使亮度闪烁以增强用户眼睛中的血液流动。
根据前述段落中任一段所述的方法,还包括计算地放大数值光场图像数据的至少一部分。
根据前述段落中任一段所述的方法,还包括计算地模糊数值光场图像数据的至少一部分。
根据前述段落中任一段所述的方法,还包括计算地检测或增强数值光场图像数据的边缘。
根据前述段落中任一段所述的方法,还包括使光场显示器回放与前一时刻的数值光场图像数据对应的物理光场。
根据前一段所述的方法,还包括比正常速度更快或更慢地回放光场图像数据。
根据前述段落中任一段所述的方法,还包括检测由光场相机捕获的数值光场图像数据中的对象。
根据前一段所述的方法,还包括用增强现实特征替换或修改检测的对象。
根据前述段落中任一段所述的方法,还包括确定检测的对象是否引发来自用户的可检测的身体或情绪响应。
根据前述段落中任一段所述的方法,还包括计算地更改数值光场图像数据中的颜色。
根据前一段所述的方法,还包括计算地增加数值光场图像数据中的蓝色以增强用户的决策。
根据前述段落中任一段所述的方法,还包括计算地增加数值光场图像数据中的红色以增强视网膜的健康。
基于计算机视觉和传感器的触发事件检测
在本文描述的一些实施例中,光场处理器系统基于触发事件(诸如用户的状况或情绪状态)或基于用户环境中的事件或检测的条件来开始、结束、修改等诊断或治疗方案。其他触发事件也可能适用。在某些情况下,这种触发事件可以由计算机视觉系统检测。
可以使用各种技术检测触发事件。可以基于用户的反应来确定触发事件。例如,光场处理器系统可以分析由面向内的成像系统或生理传感器获取的数据。光场处理器系统可以使用该数据来确定用户的情绪状态。光场处理器系统可以通过确定用户是否处于某种情绪状态(例如生气、害怕、不舒服等)来检测触发事件的存在。作为示例,光场处理器系统可以分析用户的瞳孔扩张、心率、呼吸率或出汗率以确定用户的情绪状态。
还可以使用计算机视觉技术来检测触发事件。例如,光场处理器系统可以分析由面向外的成像系统获取的图像以执行场景重建、事件检测、视频跟踪、对象识别、对象姿态估计、学习、索引、运动估计或图像恢复等。
可以使用一个或多个计算机视觉算法来执行这些任务。计算机视觉算法的非限制性示例包括:标度(scale)不变特征变换(SIFT)、加速稳健(robust)特征(SURF)、定向(orient)FAST和旋转(rotate)BRIEF(ORB)、二进制稳健不变可缩放关键点(BRISK)、快速视网膜关键点(FREAK)、Viola-Jones算法、Eigenfaces方法、Lucas-Kanade算法、Horn-Schunk算法、Mean-shift算法、视觉同步定位和映射(vSLAM)技术、序贯(sequential)贝叶斯估计器(例如,卡尔曼滤波器、扩展卡尔曼滤波器等)、束调整、自调节阈值(和其他阈值技术)、迭代最近点(ICP)、半全局匹配(SGM)、半全局块匹配(SGBM)、特征点直方图、各种机器学习算法(诸如,支持向量机、k-最近邻算法、朴素贝叶斯、神经网络(包括卷积或深度神经网络)、或其他有监督/无监督模型等)等等。
这些计算机视觉技术中的一个或多个也可以与从其他环境传感器(诸如例如麦克风)获取的数据一起使用,以检测触发事件的存在。
可以基于一个或多个标准来检测触发事件。这些标准可以由用户限定。触发事件的存在也可以由用户的交互来指示。例如,用户可以做出某个姿态(例如,手势或身体姿态)或者起动(actuate)指示触发事件的存在的用户输入装置。
附加地或替代地,还可以基于用户的行为来学习标准。例如,光场处理器系统可以监视用户何时关断光场处理器系统。光场处理器系统可以观察到用户经常响应于某种类型的虚拟内容(例如,电影中的某些类型的场景)而关断光场处理器系统。因此,光场处理器系统可以学习用户的行为并基于用户的行为预测触发事件。作为另一示例,光场处理器系统可以基于用户先前的与虚拟内容的交互来关联用户的情绪状态。光场处理器系统可以使用该关联来预测当用户与虚拟对象交互时是否存在触发事件。
触发事件的机器学习
可以使用各种机器学习算法来学习触发事件。一旦经过训练,机器学习算法可以由光场处理器系统存储。机器学习算法的一些示例可以包括监督或非监督机器学习算法,其包括回归算法(例如,普通最小二乘回归)、基于实例的算法(例如,学习矢量量化)、决策树算法(例如,分类和回归树)、贝叶斯算法(例如,朴素贝叶斯)、聚类算法(例如,k均值聚类)、关联规则学习算法(例如,先验(a-priori)算法)、人工神经网络算法(例如,感知器)、深度学习算法(例如,深度玻尔兹曼机或深度神经网络)、维数减少算法(例如,主成分分析)、集成算法(例如,层叠泛化)和/或其他机器学习算法。在一些实施例中,可以针对各个数据组定制各个模型。例如,可穿戴装置可以产生或存储基础模型。基本模型可以用作起点以产生特定于数据类型(例如,特定用户)、数据组(例如,获得的附加图像的组)、条件情况或其他变体的附加模型。在一些实施例中,可穿戴的光场处理器系统可以被配置为利用多种技术来产生用于分析聚合数据的模型。其他技术可包括使用预限定的阈值或数据值。
标准可以包括阈值条件。如果对由环境传感器获取的数据的分析指示通过了阈值条件,则光场处理器系统可以检测触发事件的存在。阈值条件可以涉及定量和/或定性测量。例如,阈值条件可以包括与触发事件正在发生的可能性相关联的分数或百分比。光场处理器系统可以将根据环境传感器的数据计算的分数与阈值分数进行比较。如果得分高于阈值水平,则光场处理器系统可以检测触发事件的存在。在其他实施例中,如果得分低于阈值,则光场处理器系统可以用信号通知触发事件的存在。
阈值条件还可以包括字母等级,诸如“A”、“B”、“C”、“D”等。每个等级可能代表情况的严重程度。例如,“A”可能是最严重的,而“D”可能是最不严重的。当光场处理器系统确定用户环境中的事件足够严重时(与阈值条件相比),光场处理器系统可以指示存在触发事件并采取行动(例如,开始、结束或更改诊断或治疗方案)。
可以基于用户的物理环境中的对象(或人)来确定阈值条件。例如,可以基于用户的心率来确定阈值条件。如果用户的心率超过阈值数量(例如,每分钟一定数量的节拍),则光场处理器系统可以信号表示触发事件的存在。作为又一示例,可以基于用户环境中的某些对象的存在来确定阈值条件。
还可以基于虚拟内容或者基于用户与虚拟内容的交互来确定阈值条件。例如,阈值条件可以是用户观看一条虚拟内容的持续时间。
结论
如本文所讨论的,所公开的头戴式显示器可以有利地形成用户可穿戴诊断或健康系统的一部分,其可以用于对用户执行健康相关的诊断、监测和治疗。在一些实施例中,健康相关的诊断、监测和治疗可包括眼科诊断分析、监测和治疗。然而,鉴于本文的公开内容,应当理解,诊断或健康系统不限于眼科应用并且通常可以应用于健康相关的诊断、监测和治疗。
应当理解,本文描述的和/或附图描绘的过程、方法以及算法中的每一者可体现在以下项中并通过以下项被全部或部分自动化:代码模块,其由一个或多个物理计算系统、硬件计算机处理器、专用电路执行;和/或电子硬件,其被配置为执行具体和特定计算机指令。例如,计算系统能包括用具体计算机指令或专用计算机编程的通用计算机(例如服务器)、专用电路等。代码模块可被编译并链接到可执行程序中,安装在动态链接库中,或可用解释性编程语言编写。在一些实施方式中,特定操作和方法可由特定于给定功能的电路来执行。
此外,本公开的功能的特定实施方式在数学上、计算上或技术上都足够复杂,以至于为了执行所述功能(例如由于所涉及的计算量或复杂性)或为了基本实时地提供结果,专用硬件或者一个或多个物理计算设备(利用适当的专有可执行指令)可以是必需的。例如,视频可包括多个帧,每帧具有数百万个像素,为了处理视频数据以在商业合理的时间量内提供期望的图像处理任务或应用,专用编程计算机硬件是必需的。
代码模块或任何类型的数据可被存储在任何类型的非暂时性计算机可读介质上,诸如物理计算机存储器,包括硬盘驱动器、固态存储器、随机存取存储器(RAM)、只读存储器(ROM)、光盘、易失性或非易失性存储器以及相同和/或相似元件的组合。在一些实施例中,非暂时性计算机可读介质可以是光场处理器70、本地处理和数据模块70、远程处理模块72和远程数据储存库74中的一个或多个的部分。方法和模块(或数据)也可在各种计算机可读传输介质上作为生成的数据信号(例如,作为载波或其他模拟或数字播放信号的一部分)传输,所述传输介质包括基于无线的介质和基于有线/电缆的介质,且可采取多种形式(例如,作为单一或多路复用模拟信号的一部分,或者作为多个离散数字数据包或帧)。所公开的过程或处理步骤的结果可持久地或以其他方式存储在任何类型的非暂时性实体计算机存储器中,或可经由计算机可读传输介质进行传送。
本文所描述和/或附图所描绘的流程图中的任何过程、框、状态、步骤或功能应当被理解为潜在地表示代码模块、代码段或代码部分,它们包括在过程中实现具体功能(例如逻辑功能或算术功能)或步骤的一个或多个可执行指令。各种过程、框、状态、步骤或功能能够根据本文提供的说明性示例进行组合、重新排列、添加、删除、修改或其他改变。在一些实施例中,额外或不同的计算系统或代码模块可执行本文所述的一些或全部功能。本文所述方法和过程也不限于任何具体的顺序,且与其相关的框、步骤或状态能以适当的其他顺序来执行,例如以串行、并行或某种其他方式。可向所公开的示例实施例添加或从中移除任务或事件。此外,本文所述的实施方式中的分离各种系统部件是出于说明的目的,且不应被理解为在所有实施方式中都需要这样的分离。应该理解,所描述的程序部件、方法以及系统一般能一起集成在单个计算机产品中或封装到多个计算机产品中。
在前述说明书中,已经参考本发明的具体实施例描述了本发明。然而,显而易见的是,在不脱离本发明的更广泛的精神和范围的情况下,可以对其进行各种变型和改变。例如,用于本文公开的实施例的投射光和图像可以由各种类型的显示器提供,包括液晶显示器、基于微镜的显示器(例如,DLP显示器)、扫描光纤显示器(FSD)和OLED显示器。
因此,说明书和附图应被视为说明性的而非限制性的。
实际上,应当理解,本公开的系统和方法各自具有若干创新性方面,这些方面中的任一单个方面不单独负责本文所公开的期望待性或不是本文所公开的期望待性所必需的。上述各种特征和过程可彼此独立使用或可以以各种方式组合使用。所有可能的组合和子组合均旨在落入此公开的范围内。
在单独实施方式的上下文中在此说明书所述的某些特征也能在单个实施方式中组合实现。相反,在单个实施方式的上下文中所述的各种特征也能在多个实施方式中单独地或以任何合适的子组合实现。此外,尽管上文可将特征描述为以某些组合执行,甚至最初这样要求保护,但在一些情况下,来自所要求保护的组合的一个或多个特征能被从该组合中删除,且所要求保护的组合可涉及子组合或子组合的变体。任何单个特征或特征组对于每个实施例都不是必需或不可或缺的。
贯穿本申请的标题用作读者的组织辅助。这些标题可以将通常与标题中提到的特定主题相关的方法、装置和结构的示例组合在一起。然而,应当理解,虽然在标题下讨论的各种特征可能涉及特定主题,但是标题不应被理解为表示在给定标题下讨论的特征仅限于对列在标题中的主题或多个主题的适用性。
实际上,如各种图(例如,图5)所示,用于各种健康分析和/或治疗的结构可以在同一健康系统中共存。此外,如本文所公开的,可以应用相同的特征来促进多种健康分析和/或治疗。例如,如本文所公开的,用于递送药物的结构也可用于各种诊断。因此,根据一些实施例的健康系统可包括本文公开的结构特征的各种组合,包括在不同标题下公开的特征的组合。此外,健康系统可以被配置为执行本文公开的健康分析和治疗的各种组合,包括在不同标题下公开的那些。
应当理解,本文中使用的条件语,诸如(除其他项外)“能”、“能够”、“可能”、“可以”、“例如”等一般旨在表达某些实施例包括而其他实施例不包括某些特征、元素和/或步骤,另有具体说明或在上下文中另有理解除外。因此,这样的条件语一般不旨在暗示特征、元素和/或步骤以任何方式对于一个或多个实施例是必需的,或者一个或多个实施例必然包括用于在具有或没有程序设计者输入或提示的情况下决定这些特征、元素和/或步骤是否包括在或者是否将在任何具体实施例中执行的逻辑。术语“包括”、“包含”、“具有”等是同义词,且以开放式的方式包含性地使用,且不排除额外的元素、特征、动作、操作等。此外,术语“或”以其包含性含义(而不是其专有性含义)使用,因此,当被用于例如连接元素列表时,术语“或”意味着列表中的一个、一些或全部元素。另外,本申请和所附权利要求书中使用的冠词“一”、“一个”和“所述”应被解释为意味着“一个或多个”或“至少一个”,另有具体说明除外。类似地,虽然操作在附图中可以以特定顺序描绘,但应认识到,这样的操作不需要以所述特定顺序或以相继顺序执行,或执行所有例示的操作以实现期望的结果。此外,附图可以以流程图的形式示意性地描绘一个或多个示例过程。然而,未示出的其他操作能并入示意性地示出的示例方法和过程中。例如,能在任何所示操作之前、之后、同时或期间执行一个或多个附加操作。另外,在其他实施方式中,操作可被重新排列或重新排序。在某些情况下,多任务和并行处理可具有优势。此外,上述实施方式描述的各种系统部件的分离不应被理解为在所有实施方式中都需要这种分离,且应该理解,所述程序部件和系统一般能被一起集成在单个软件产品中或封装到多个软件产品中。另外,其他实施方式处于以下权利要求的范围内。在一些情况下,权利要求中列举的动作能以不同的顺序执行,且仍实现期望的结果。
因此,权利要求不旨在限于本文所示的实施例,而是符合与本文公开的本公开、原理和新颖特征一致的最宽范围。

Claims (10)

1.一种可穿戴的眼科装置,包括:
面向外的头戴式光场相机,其被配置为接收来自用户周围环境的光并生成数值光场图像数据;
光场处理器,其被配置为通过基于所述用户到对象的观看距离计算地将一定量的光焦度引入所述数值光场图像数据来生成修改的数值光场图像数据;以及
头戴式光场显示器,其被配置为生成与所述修改的数值光场图像数据对应的物理光场。
2.根据权利要求1所述的装置,还包括头戴式加速计传感器以确定所述用户的头部取向,其中基于所述用户的头部取向估计所述观看距离。
3.根据权利要求1所述的装置,还包括一个或多个头戴式眼睛跟踪相机以确定所述用户的凝视方向,其中基于所述用户的凝视方向估计所述观看距离。
4.根据权利要求1所述的装置,还包括一个或多个头戴式眼睛跟踪相机以确定所述用户凝视的会聚点,其中基于所述用户凝视的所述会聚点来估计所述观看距离。
5.根据权利要求1所述的装置,其中,所述光焦度的量基于所述用户用于校正远视的光学处方。
6.根据权利要求5所述的装置,其中,所述可穿戴的眼科装置被配置为测量所述光学处方。
7.根据权利要求1所述的装置,其中,所述光场相机包括集成成像相机。
8.根据权利要求1所述的装置,其中,所述光场显示器包括集成成像显示器。
9.根据权利要求1所述的装置,还包括手动控制,以指定所述一定量的光焦度以引入所述数值光场图像数据。
10.根据权利要求1所述的装置,其中,所述光场处理器被配置为将所述一定量的光焦度引入所述数值光场图像数据的整个视场。
CN202311801820.6A 2016-07-25 2017-07-24 光场处理器系统 Pending CN117770757A (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201662366524P 2016-07-25 2016-07-25
US62/366,524 2016-07-25
US201662440286P 2016-12-29 2016-12-29
US62/440,286 2016-12-29
CN201780060450.1A CN109788901B (zh) 2016-07-25 2017-07-24 光场处理器系统
PCT/US2017/043552 WO2018022521A1 (en) 2016-07-25 2017-07-24 Light field processor system

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201780060450.1A Division CN109788901B (zh) 2016-07-25 2017-07-24 光场处理器系统

Publications (1)

Publication Number Publication Date
CN117770757A true CN117770757A (zh) 2024-03-29

Family

ID=61016766

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780060450.1A Active CN109788901B (zh) 2016-07-25 2017-07-24 光场处理器系统
CN202311801820.6A Pending CN117770757A (zh) 2016-07-25 2017-07-24 光场处理器系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201780060450.1A Active CN109788901B (zh) 2016-07-25 2017-07-24 光场处理器系统

Country Status (6)

Country Link
US (4) US10451895B2 (zh)
EP (2) EP4235366A3 (zh)
JP (4) JP6992046B2 (zh)
KR (3) KR102520143B1 (zh)
CN (2) CN109788901B (zh)
WO (1) WO2018022521A1 (zh)

Families Citing this family (162)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9485506B2 (en) * 2012-09-11 2016-11-01 Texas Instruments Incorporated Method and system for constraining slice header processing overhead in video coding
US11126040B2 (en) 2012-09-30 2021-09-21 Optica Amuka (A.A.) Ltd. Electrically-tunable lenses and lens systems
WO2015186010A1 (en) 2014-06-05 2015-12-10 Optica Amuka (A.A.) Ltd. Control of dynamic lenses
JP6887953B2 (ja) 2015-03-16 2021-06-16 マジック リープ,インコーポレイティド 健康を損う疾病を診断して治療する方法及びシステム
CA2901477C (en) 2015-08-25 2023-07-18 Evolution Optiks Limited Vision correction system, method and graphical user interface for implementation on electronic devices having a graphical display
AU2017246901B2 (en) 2016-04-08 2022-06-02 Magic Leap, Inc. Augmented reality systems and methods with variable focus lens elements
EP3958048A1 (en) 2016-04-17 2022-02-23 Optica Amuka (A.A.) Ltd. Liquid crystal lens with enhanced electrical drive
CA3031771A1 (en) 2016-07-25 2018-02-01 Magic Leap, Inc. Imaging modification, display and visualization using augmented and virtual reality eyewear
KR102520143B1 (ko) 2016-07-25 2023-04-11 매직 립, 인코포레이티드 광 필드 프로세서 시스템
US10338409B2 (en) 2016-10-09 2019-07-02 eyeBrain Medical, Inc. Lens with off-axis curvature center
KR101803407B1 (ko) * 2016-10-19 2017-11-30 주식회사 픽셀 디스플레이 디스플레이를 제어하기 위한 사용자 장치 및 컴퓨터 판독 가능 저장 매체에 저장된 프로그램
AU2017355454A1 (en) * 2016-11-02 2019-05-30 Massachusetts Eye And Ear Infirmary System and method for the treatment of amblyopia
US10885676B2 (en) * 2016-12-27 2021-01-05 Samsung Electronics Co., Ltd. Method and apparatus for modifying display settings in virtual/augmented reality
CN106646882A (zh) * 2016-12-30 2017-05-10 北京七鑫易维信息技术有限公司 一种头戴式显示装置及其调节参数确定方法
WO2018156784A1 (en) 2017-02-23 2018-08-30 Magic Leap, Inc. Variable-focus virtual image devices based on polarization conversion
CN106932904A (zh) * 2017-02-27 2017-07-07 阿里巴巴集团控股有限公司 虚拟现实头戴设备
EP3381351A1 (en) * 2017-03-29 2018-10-03 Vivior AG System for assessing a health condition of a user
JP2018169428A (ja) * 2017-03-29 2018-11-01 セイコーエプソン株式会社 画像表示装置
US10386923B2 (en) 2017-05-08 2019-08-20 International Business Machines Corporation Authenticating users and improving virtual reality experiences via ocular scans and pupillometry
EP3639510A4 (en) 2017-06-12 2021-03-24 Magic Leap, Inc. AUGMENTED REALITY DISPLAY FEATURING AN ADAPTIVE MULTI-ELEMENT LENS FOR MODIFYING DEPTH PLANS
US10810773B2 (en) * 2017-06-14 2020-10-20 Dell Products, L.P. Headset display control based upon a user's pupil state
US11953764B2 (en) 2017-07-10 2024-04-09 Optica Amuka (A.A.) Ltd. Tunable lenses with enhanced performance features
WO2019012385A1 (en) 2017-07-10 2019-01-17 Optica Amuka (A.A.) Ltd. SYSTEMS OF VIRTUAL REALITY AND INCREASED REALITY WITH DYNAMIC VISION CORRECTION
US10546430B1 (en) * 2017-08-29 2020-01-28 Facebook Technologies, Llc Image plane adjustment in a near-eye display
US10420467B2 (en) * 2017-09-05 2019-09-24 eyeBrain Medical, Inc. Method and system for measuring binocular alignment
US11589745B2 (en) * 2017-09-05 2023-02-28 Neurolens, Inc. Method and system for measuring binocular alignment
US10930709B2 (en) 2017-10-03 2021-02-23 Lockheed Martin Corporation Stacked transparent pixel structures for image sensors
EP3698212A4 (en) * 2017-10-16 2021-07-14 Optica Amuka (A.A.) Ltd. GLASSES WITH ELECTRICALLY ADJUSTABLE LENSES CONTROLLED BY AN EXTERNAL SYSTEM
US10510812B2 (en) 2017-11-09 2019-12-17 Lockheed Martin Corporation Display-integrated infrared emitter and sensor structures
US11360329B2 (en) 2017-12-31 2022-06-14 Neurolens, Inc. Negative power eye-strain reducing lens
US10921614B2 (en) 2017-12-31 2021-02-16 Neurolens, Inc. Low-convergence negative power spectacles
US10908434B2 (en) 2018-01-01 2021-02-02 Neurolens, Inc. Negative power lens with off-axis curvature center
US10838250B2 (en) 2018-02-07 2020-11-17 Lockheed Martin Corporation Display assemblies with electronically emulated transparency
US11616941B2 (en) 2018-02-07 2023-03-28 Lockheed Martin Corporation Direct camera-to-display system
US10690910B2 (en) 2018-02-07 2020-06-23 Lockheed Martin Corporation Plenoptic cellular vision correction
US10652529B2 (en) 2018-02-07 2020-05-12 Lockheed Martin Corporation In-layer Signal processing
US10951883B2 (en) 2018-02-07 2021-03-16 Lockheed Martin Corporation Distributed multi-screen array for high density display
US10979699B2 (en) 2018-02-07 2021-04-13 Lockheed Martin Corporation Plenoptic cellular imaging system
US10594951B2 (en) 2018-02-07 2020-03-17 Lockheed Martin Corporation Distributed multi-aperture camera array
WO2019171342A1 (en) * 2018-03-09 2019-09-12 Evolution Optiks Limited Vision correction system and method, light field display and microlens array therefor
CA3021636A1 (en) 2018-10-22 2020-04-22 Evolution Optiks Limited Light field display, adjusted pixel rendering method therefor, and vision correction system and method using same
US11693239B2 (en) 2018-03-09 2023-07-04 Evolution Optiks Limited Vision correction system and method, light field display and light field shaping layer and alignment therefor
US11353699B2 (en) * 2018-03-09 2022-06-07 Evolution Optiks Limited Vision correction system and method, light field display and light field shaping layer and alignment therefor
MX2018003217A (es) * 2018-03-14 2019-09-16 Centro De Ensenanza Tecnica Ind Aparato automatizado para realizar pruebas de agudeza visual.
WO2019190174A1 (en) 2018-03-26 2019-10-03 Samsung Electronics Co., Ltd. Electronic device for monitoring health of eyes of user and method for operating the same
US11234588B2 (en) 2018-04-09 2022-02-01 Shui T Lai Concise representation for review of a subjective refraction test
US11442534B1 (en) 2018-04-10 2022-09-13 Red Pacs, Llc Smart glasses system
US11006100B1 (en) * 2018-04-10 2021-05-11 Robert Edwin Douglas Smart glasses system
CN108519824B (zh) * 2018-04-13 2021-02-05 京东方科技集团股份有限公司 一种虚拟现实显示装置、设备及视线角度计算方法
EP3567419A1 (en) * 2018-05-11 2019-11-13 Essilor International (Compagnie Generale D'optique) A system for generating a virtual image for a wearer
WO2019226691A1 (en) * 2018-05-22 2019-11-28 Magic Leap, Inc. Transmodal input fusion for a wearable system
EP3586720A1 (de) 2018-06-29 2020-01-01 Carl Zeiss Vision International GmbH Verfahren zum optimieren eines optischen hilfsmittels mittels automatischer bestimmung subjektiver sehleistung
JP7302342B2 (ja) * 2018-07-02 2023-07-04 株式会社ニデック 眼底撮影装置
JP2021529068A (ja) 2018-07-07 2021-10-28 アキュセラ インコーポレイテッド 網膜低酸素症を防止するためのデバイス
EP3598209A1 (en) * 2018-07-18 2020-01-22 Essilor International Method for determining an opththalmic equipment and system associated
CN112740099A (zh) 2018-07-30 2021-04-30 奥克塞拉有限公司 用于延缓近视进展的电子接触透镜的光学设计
US10706281B2 (en) * 2018-08-10 2020-07-07 Microsoft Technology Licensing, Llc Controlling focal parameters of a head mounted display based on estimated user age
US10997948B2 (en) * 2018-09-21 2021-05-04 Apple Inc. Electronic device with adaptive lighting system
US11966507B2 (en) 2018-10-22 2024-04-23 Evolution Optiks Limited Light field vision testing device, adjusted pixel rendering method therefor, and vision testing system and method using same
US10636116B1 (en) * 2018-10-22 2020-04-28 Evolution Optiks Limited Light field display, adjusted pixel rendering method therefor, and vision correction system and method using same
US10936064B2 (en) 2018-10-22 2021-03-02 Evolution Optiks Limited Light field display, adjusted pixel rendering method therefor, and adjusted vision perception system and method using same addressing astigmatism or similar conditions
US11500460B2 (en) 2018-10-22 2022-11-15 Evolution Optiks Limited Light field device, optical aberration compensation or simulation rendering
US10860099B2 (en) 2018-10-22 2020-12-08 Evolution Optiks Limited Light field display, adjusted pixel rendering method therefor, and adjusted vision perception system and method using same addressing astigmatism or similar conditions
US10761604B2 (en) 2018-10-22 2020-09-01 Evolution Optiks Limited Light field vision testing device, adjusted pixel rendering method therefor, and vision testing system and method using same
WO2021038421A1 (en) * 2019-08-26 2021-03-04 Evolution Optiks Limited Light field vision testing device, adjusted pixel rendering method therefor, and vision testing system and method using same
US11327563B2 (en) 2018-10-22 2022-05-10 Evolution Optiks Limited Light field vision-based testing device, adjusted pixel rendering method therefor, and online vision-based testing management system and method using same
WO2020104827A1 (en) * 2018-11-20 2020-05-28 Essilor International Device and method for placing a phoropter head in a horizontal position
US10866413B2 (en) 2018-12-03 2020-12-15 Lockheed Martin Corporation Eccentric incident luminance pupil tracking
JP7298144B2 (ja) * 2018-12-03 2023-06-27 株式会社ニデック 自覚式検眼装置及び自覚式検眼プログラム
JP2020089433A (ja) * 2018-12-03 2020-06-11 株式会社ニデック 自覚式検眼装置
WO2020121243A1 (en) * 2018-12-12 2020-06-18 Ecole Polytechnique Federale De Lausanne (Epfl) Ophthalmic system and method for clinical device using transcleral illumination with multiple points source
JP7283075B2 (ja) * 2018-12-27 2023-05-30 株式会社ニデック 表示装置
WO2020141537A1 (en) * 2019-01-03 2020-07-09 Immersix Ltd System and method for eye tracking
JP7295960B2 (ja) * 2019-01-13 2023-06-21 ビジョニクス-ルノー テクノロジー (イスラエル) 仮想現実視覚検査システム
US11789531B2 (en) 2019-01-28 2023-10-17 Evolution Optiks Limited Light field vision-based testing device, system and method
US11500461B2 (en) 2019-11-01 2022-11-15 Evolution Optiks Limited Light field vision-based testing device, system and method
CN113439231A (zh) 2019-02-13 2021-09-24 康宁股份有限公司 用于传输光的波导件
WO2020172203A1 (en) * 2019-02-18 2020-08-27 Lai Shui T Self service refraction device and method
NL2022598B1 (en) * 2019-02-19 2020-08-31 Easee Health B V A method of performing an eye examination test for examining eyes of a user as well as a corresponding computing device.
WO2020176784A1 (en) * 2019-02-27 2020-09-03 EyeQue Inc. Method and apparatus for measuring vision function
WO2020181151A1 (en) * 2019-03-05 2020-09-10 Gaston Daniel Baudat System and method of wavefront sensing with engineered images
US20200275071A1 (en) * 2019-03-20 2020-08-27 Anton Zavoyskikh Electronic visual headset
WO2020198065A1 (en) * 2019-03-22 2020-10-01 Cognoa, Inc. Personalized digital therapy methods and devices
CN109870820B (zh) * 2019-03-26 2023-10-17 成都工业学院 针孔反射镜阵列集成成像增强现实装置及方法
US10698201B1 (en) 2019-04-02 2020-06-30 Lockheed Martin Corporation Plenoptic cellular axis redirection
WO2020210937A1 (en) * 2019-04-15 2020-10-22 Shanghai New York University Systems and methods for interpolative three-dimensional imaging within the viewing zone of a display
WO2020219711A1 (en) * 2019-04-23 2020-10-29 Evolution Optiks Limited Light field display and vibrating light field shaping layer and vision testing and/or correction device
CA3134744A1 (en) 2019-04-23 2020-10-29 Evolution Optiks Limited Digital display device comprising a complementary light field display or display portion, and vision correction system and method using same
CA3134734A1 (en) * 2019-05-09 2020-11-12 Evolution Optiks Limited Corrective light field display profile management, communication and integration system and method
WO2020226023A1 (ja) * 2019-05-09 2020-11-12 株式会社ニデック 検眼装置
US11650421B1 (en) * 2019-05-23 2023-05-16 Meta Platforms Technologies, Llc Wearable display solutions for presbyopic ametropia
US11624919B2 (en) 2019-05-24 2023-04-11 Magic Leap, Inc. Variable focus assemblies
DE102019115929A1 (de) * 2019-06-12 2020-12-17 Oculus Optikgeräte GmbH Verfahren zum Überprüfen von Augen und Sehprüfsystem
EP4003250A4 (en) 2019-07-31 2023-08-23 Acucela Inc. DEVICE FOR PROJECTING IMAGES ONTO THE RETINA
US11099642B2 (en) * 2019-08-01 2021-08-24 International Business Machines Corporation Display adaptation for visual impairment
EP3782535A1 (de) * 2019-08-23 2021-02-24 Carl Zeiss Vision International GmbH Gemeinsame bestimmung von akkommodation und vergenz
WO2021038430A1 (en) * 2019-08-26 2021-03-04 Evolution Optiks Limited Light field vision-based testing device, adjusted pixel rendering method therefor, and online vision-based testing management system and method using same
ES2961643T3 (es) * 2019-08-26 2024-03-13 Evolution Optiks Ltd Pantalla de campo de luz, método de representación de píxeles ajustados para la misma y sistema y método de percepción de visión ajustada que usan el mismo tratamiento del astigmatismo o condiciones similares
US11902498B2 (en) 2019-08-26 2024-02-13 Evolution Optiks Limited Binocular light field display, adjusted pixel rendering method therefor, and vision correction system and method using same
US11430175B2 (en) 2019-08-30 2022-08-30 Shopify Inc. Virtual object areas using light fields
US11029755B2 (en) 2019-08-30 2021-06-08 Shopify Inc. Using prediction information with light fields
EP4031933A4 (en) 2019-09-16 2023-10-11 Acucela Inc. METHOD FOR ASSEMBLY OF AN ELECTRONIC SOFT CONTACT LENS DESIGNED TO INHIBIT THE PROGRESSION OF MYOPIA
USD938986S1 (en) 2019-09-17 2021-12-21 Lombart Brothers, Inc. Display screen or portion thereof with graphical user interface
US11779202B2 (en) 2019-09-17 2023-10-10 Lombart Brothers, Inc. Systems and methods for automated subjective refractions
USD938485S1 (en) 2019-09-17 2021-12-14 Lombart Brothers, Inc. Display screen or portion thereof with graphical user interface
US20220344054A1 (en) * 2019-09-27 2022-10-27 Semiconductor Energy Laboratory Co., Ltd. Statistical model creation method, state estimation method, and state estimation system
JP2021053219A (ja) * 2019-09-30 2021-04-08 ホヤ レンズ タイランド リミテッドHOYA Lens Thailand Ltd 両眼視機能測定方法、両眼視機能測定プログラム、眼鏡レンズの設計方法、眼鏡レンズの製造方法および両眼視機能測定システム
AU2020358046A1 (en) * 2019-09-30 2022-02-03 Alcon Inc. Improved ocular aberrometer systems and methods
US11823598B2 (en) 2019-11-01 2023-11-21 Evolution Optiks Limited Light field device, variable perception pixel rendering method therefor, and variable perception system and method using same
CN114930443A (zh) * 2019-11-01 2022-08-19 艾沃鲁什奥普提克斯有限公司 光场设备、用于其的多深度像素渲染方法、以及使用其的多深度视力感知系统和方法
US11487361B1 (en) 2019-11-01 2022-11-01 Evolution Optiks Limited Light field device and vision testing system using same
EP3826432A1 (en) 2019-11-22 2021-05-26 Oberalp Spa Headlamp with an ai unit
CA3162928A1 (en) 2019-11-29 2021-06-03 Electric Puppets Incorporated System and method for virtual reality based human biological metrics collection and stimulus presentation
TWI745000B (zh) * 2019-12-17 2021-11-01 中強光電股份有限公司 光場近眼顯示裝置及光場近眼顯示方法
CN114845626A (zh) * 2019-12-19 2022-08-02 爱尔康公司 基于机器学习模型和波前分析的视觉质量评估
US11687778B2 (en) 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals
US11614638B1 (en) 2020-01-15 2023-03-28 Meta Platforms Technologies, Llc Prescription optical element for selected head mounted device
US11768378B1 (en) 2020-01-15 2023-09-26 Meta Platforms Technologies, Llc Prescription optical element based on optical-mechanical profile
US11642018B1 (en) * 2020-01-15 2023-05-09 Meta Platforms Technologies, Llc Volumetric depth imaging for lens fit
EP4100780A1 (en) 2020-02-07 2022-12-14 Essilor International Method for displaying a sharp image on a retina of an eye of the person
EP3861923A1 (en) * 2020-02-07 2021-08-11 Essilor International Method for determining at least one parameter of an eye of a person
JP2023514382A (ja) 2020-02-21 2023-04-05 アキュセラ インコーポレイテッド 電子コンタクトレンズのための充電ケース
CN111427166B (zh) * 2020-03-31 2022-07-05 京东方科技集团股份有限公司 一种光场显示方法及系统、存储介质和显示面板
WO2021231684A1 (en) 2020-05-13 2021-11-18 Acucela Inc. Electro-switchable spectacles for myopia treatment
US11449004B2 (en) 2020-05-21 2022-09-20 Looking Glass Factory, Inc. System and method for holographic image display
JP2023529875A (ja) 2020-06-08 2023-07-12 アキュセラ インコーポレイテッド 非点収差を治療するための非対称投影を伴うレンズ
CA3179557A1 (en) 2020-06-08 2021-12-16 Ryo Kubota Stick on devices using peripheral defocus to treat progressive refractive error
JP2023528301A (ja) 2020-06-08 2023-07-04 アキュセラ インコーポレイテッド 屈折異常を治療するための周辺網膜上への脱焦点化された画像の投影
US11281022B2 (en) 2020-06-10 2022-03-22 Acucela Inc. Apparatus and methods for the treatment of refractive error using active stimulation
WO2021262860A1 (en) 2020-06-23 2021-12-30 Looking Glass Factory, Inc. System and method for holographic communication
CN111781739B (zh) * 2020-06-23 2022-02-01 江南大学 大景深可变视角三维显示模组及其增强现实眼镜
CN111882608A (zh) * 2020-07-14 2020-11-03 中国人民解放军军事科学院国防科技创新研究院 一种增强现实眼镜跟踪相机和人眼之间的位姿估计方法
WO2022032198A1 (en) 2020-08-07 2022-02-10 Magic Leap, Inc. Tunable cylindrical lenses and head-mounted display including the same
US11354575B1 (en) * 2020-08-14 2022-06-07 Facebook Technologies, Llc. Calibrated sensitivity model approximating the eye
CN112213859B (zh) * 2020-10-12 2022-09-23 歌尔科技有限公司 头戴显示设备成像方法及头戴显示设备
WO2022119940A1 (en) 2020-12-01 2022-06-09 Looking Glass Factory, Inc. System and method for processing three dimensional images
CN112634182A (zh) * 2020-12-18 2021-04-09 平安普惠企业管理有限公司 一种基于光场的图像校正方法、装置、设备及存储介质
US11789259B2 (en) * 2020-12-28 2023-10-17 Passion Light Inc. Vision inspection and correction method, together with the system apparatus thereof
WO2022154847A1 (en) 2021-01-12 2022-07-21 Emed Labs, Llc Health testing and diagnostics platform
CN113080842B (zh) 2021-03-15 2023-06-27 青岛小鸟看看科技有限公司 一种头戴式视力检测设备、视力检测方法及电子设备
EP4308996A1 (en) * 2021-03-15 2024-01-24 Magic Leap, Inc. Optical devices and head-mounted displays employing tunable cylindrical lenses
US11681146B2 (en) 2021-03-18 2023-06-20 Snap Inc. Augmented reality display for macular degeneration
CN113064278A (zh) * 2021-03-22 2021-07-02 海南南岛眼镜有限公司 视觉增强方法、系统、计算机存储介质及智能眼镜
US11929168B2 (en) 2021-05-24 2024-03-12 Emed Labs, Llc Systems, devices, and methods for diagnostic aid kit apparatus
US11615888B2 (en) 2021-03-23 2023-03-28 Emed Labs, Llc Remote diagnostic testing and treatment
US11209672B1 (en) 2021-04-06 2021-12-28 Acucela Inc. Supporting pillars for encapsulating a flexible PCB within a soft hydrogel contact lens
US11350506B1 (en) * 2021-05-03 2022-05-31 Ober Alp S.P.A. Adaptive illumination control via activity classification
US11366341B1 (en) 2021-05-04 2022-06-21 Acucela Inc. Electronic case for electronic spectacles
US11369454B1 (en) 2021-05-24 2022-06-28 Emed Labs, Llc Systems, devices, and methods for diagnostic aid kit apparatus
US11564568B1 (en) * 2021-05-25 2023-01-31 Agnya Perceptive Solutions, L.L.C. Eye imaging system and fundus camera positioning device
GB2623461A (en) 2021-06-22 2024-04-17 Emed Labs Llc Systems, methods, and devices for non-human readable diagnostic tests
CN113486878B (zh) * 2021-07-08 2023-09-26 南通科技职业学院 一种图形化交互式机器视觉系统
WO2023010086A1 (en) * 2021-07-29 2023-02-02 Snap Inc. Vision test and provision of prescription glasses
EP4133992A1 (en) * 2021-08-13 2023-02-15 Welch Allyn, Inc. Determining color vision ability using a vision screening device
WO2023052809A1 (en) * 2021-09-28 2023-04-06 Creal Sa Light-field projector generating optically corrected virtual images and method of generating corrected virtual images by using the light field projector
WO2023064792A1 (en) * 2021-10-12 2023-04-20 Acucela Inc. Adaptive system for the treatment of myopia progression
US20230300470A1 (en) * 2022-02-03 2023-09-21 Facebook Technologies, Llc Techniques for producing glints and iris illumination for eye tracking
WO2023172395A1 (en) * 2022-03-08 2023-09-14 Apple Inc. Accommodation tracking based on retinal-imaging
US20230296877A1 (en) * 2022-03-17 2023-09-21 Snap Inc. Prescription system for flexible lenses
GB2621148A (en) * 2022-08-03 2024-02-07 South East Technological Univ Visual acuity testing system and method
DE102022210945A1 (de) 2022-10-17 2024-04-18 Robert Bosch Gesellschaft mit beschränkter Haftung Umlenkeinheit
CN116734995B (zh) * 2023-08-16 2023-11-07 安徽猫头鹰科技有限公司 一种基于阅读书写的环境光指标检测及健康程度评估系统

Family Cites Families (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6141433A (ja) * 1984-08-02 1986-02-27 ヨセフ エヌ.トラツチマン 視調節訓練装置
CN2082601U (zh) * 1990-10-06 1991-08-14 空军航空杂志社 可变物距随机点图体视视觉检测仪
US6222525B1 (en) 1992-03-05 2001-04-24 Brad A. Armstrong Image controllers with sheet connected sensors
US5670988A (en) 1995-09-05 1997-09-23 Interlink Electronics, Inc. Trigger operated electronic device
US7597453B2 (en) * 2004-01-14 2009-10-06 Simon Jerome H Luminaires using multiple quasi-point sources for unified radially distributed illumination
CA2615705C (en) * 2005-07-29 2016-06-28 Alcon Refractivehorizons, Inc. Ophthalmic device positioning system and associated methods
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
US7771051B2 (en) * 2007-06-13 2010-08-10 Rahim Hirji Near eye opthalmic device
EP2198769A1 (en) 2008-12-22 2010-06-23 Essilor International (Compagnie Générale D'Optique) A method of and an apparatus for simulating an optical effect of an optical lens
JP5243983B2 (ja) 2009-01-30 2013-07-24 浜松ホトニクス株式会社 電子増倍機能内蔵型の固体撮像素子
US8488246B2 (en) * 2010-02-28 2013-07-16 Osterhout Group, Inc. See-through near-eye display glasses including a curved polarizing film in the image source, a partially reflective, partially transmitting optical element and an optically flat film
US20110213664A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US9192264B2 (en) * 2010-07-27 2015-11-24 Euro-Pro Operating Llc Food processor
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
US10156722B2 (en) 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
KR101997845B1 (ko) 2010-12-24 2019-10-01 매직 립, 인코포레이티드 인체공학적 머리 장착식 디스플레이 장치 및 광학 시스템
US9033502B2 (en) * 2011-03-18 2015-05-19 Sensomotoric Instruments Gesellschaft Fur Innovative Sensorik Mbh Optical measuring device and method for capturing at least one parameter of at least one eye wherein an illumination characteristic is adjustable
EP2499964B1 (en) 2011-03-18 2015-04-15 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Optical measuring device and system
US9033510B2 (en) * 2011-03-30 2015-05-19 Carl Zeiss Meditec, Inc. Systems and methods for efficiently obtaining measurements of the human eye using tracking
CN107656615B (zh) 2011-05-06 2021-09-14 奇跃公司 大量同时远程数字呈现世界
EP2760363A4 (en) 2011-09-29 2015-06-24 Magic Leap Inc TACTILE GLOVE FOR HUMAN COMPUTER INTERACTION
EP3666352B1 (en) 2011-10-28 2021-12-01 Magic Leap, Inc. Method and device for augmented and virtual reality
EP4036862A1 (en) 2011-11-23 2022-08-03 Magic Leap, Inc. Three dimensional virtual and augmented reality display system
US9060718B2 (en) * 2012-02-13 2015-06-23 Massachusetts Institute Of Technology Methods and apparatus for retinal imaging
KR102028732B1 (ko) 2012-04-05 2019-10-04 매직 립, 인코포레이티드 능동 포비에이션 능력을 갖는 와이드-fov(field of view) 이미지 디바이스들
US20130285885A1 (en) * 2012-04-25 2013-10-31 Andreas G. Nowatzyk Head-mounted light-field display
WO2013188464A1 (en) 2012-06-11 2013-12-19 Magic Leap, Inc. Multiple depth plane three-dimensional display using a wave guide reflector array projector
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
KR20150054967A (ko) 2012-09-11 2015-05-20 매직 립, 인코포레이티드 인체공학적 헤드 마운티드 디스플레이 디바이스 및 광학 시스템
CN103190883B (zh) * 2012-12-20 2015-06-24 苏州触达信息技术有限公司 一种头戴式显示装置和图像调节方法
WO2014100891A1 (en) * 2012-12-31 2014-07-03 Esight Corp. Apparatus and method for fitting head mounted vision augmentation systems
WO2014113506A1 (en) 2013-01-15 2014-07-24 Magic Leap, Inc. Ultra-high resolution scanning fiber display
US20150262424A1 (en) * 2013-01-31 2015-09-17 Google Inc. Depth and Focus Discrimination for a Head-mountable device using a Light-Field Display System
CN105188516B (zh) 2013-03-11 2017-12-22 奇跃公司 用于增强和虚拟现实的系统与方法
KR102271198B1 (ko) 2013-03-15 2021-06-29 매직 립, 인코포레이티드 디스플레이 시스템 및 방법
WO2014169148A1 (en) * 2013-04-10 2014-10-16 Eyenetra, Inc. Methods and apparatus for refractive condition assessment
US9519144B2 (en) 2013-05-17 2016-12-13 Nvidia Corporation System, method, and computer program product to produce images for a near-eye light field display having a defect
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
JP5967597B2 (ja) 2013-06-19 2016-08-10 パナソニックIpマネジメント株式会社 画像表示装置および画像表示方法
CN104434020A (zh) * 2013-09-18 2015-03-25 哈尔滨光凯科技开发有限公司 一种新型视力检测装置
EP4321915A3 (en) 2013-10-16 2024-05-01 Magic Leap, Inc. Virtual or augmented reality headsets having adjustable interpupillary distance
CN107219628B (zh) 2013-11-27 2020-05-01 奇跃公司 虚拟和增强现实系统与方法
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
JP6228300B2 (ja) 2013-12-24 2017-11-08 ライトロ, インコーポレイテッドLytro, Inc. プレノプティックカメラの分解能の改良
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
KR102207799B1 (ko) 2014-01-31 2021-01-26 매직 립, 인코포레이티드 멀티-포컬 디스플레이 시스템 및 방법
CN110376743B (zh) 2014-01-31 2022-03-04 奇跃公司 多焦点显示系统和方法
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
AU2015297035B2 (en) 2014-05-09 2018-06-28 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
KR102193052B1 (ko) 2014-05-30 2020-12-18 매직 립, 인코포레이티드 가상 또는 증강 현실 장치로 가상 콘텐츠 디스플레이를 생성하기 위한 방법들 및 시스템들
WO2016001757A2 (en) * 2014-06-30 2016-01-07 Guo Tong Medical Development Co., Ltd. Visual problem diagnosis using refractive parameters measured with a retinal camera
CN105326471B (zh) * 2014-07-31 2018-05-22 汉王科技股份有限公司 婴幼儿视力测试装置
JP2016036390A (ja) * 2014-08-05 2016-03-22 富士通株式会社 情報処理装置、焦点検出方法、および焦点検出プログラム
CN104161495B (zh) * 2014-08-25 2016-08-31 苏州四海通仪器有限公司 视力检查预测装置
US9883798B2 (en) * 2014-11-14 2018-02-06 Ricoh Company, Ltd. Simultaneous capture of filtered images of the eye
CN104618710B (zh) * 2015-01-08 2017-01-18 左旺孟 基于增强光场显示的视觉缺陷校正系统
CN104490359B (zh) * 2015-01-19 2015-12-16 天津市索维电子技术有限公司 用于少儿视力普查的便携式装置
JP6887953B2 (ja) * 2015-03-16 2021-06-16 マジック リープ,インコーポレイティド 健康を損う疾病を診断して治療する方法及びシステム
USD758367S1 (en) 2015-05-14 2016-06-07 Magic Leap, Inc. Virtual reality headset
KR102520143B1 (ko) 2016-07-25 2023-04-11 매직 립, 인코포레이티드 광 필드 프로세서 시스템

Also Published As

Publication number Publication date
CN109788901B (zh) 2024-01-02
JP2019531769A (ja) 2019-11-07
US20230333410A1 (en) 2023-10-19
EP3488284B1 (en) 2023-06-28
KR20190029727A (ko) 2019-03-20
CN109788901A (zh) 2019-05-21
EP4235366A3 (en) 2023-11-01
US20180136486A1 (en) 2018-05-17
KR102412525B1 (ko) 2022-06-23
JP7229302B2 (ja) 2023-02-27
EP4235366A2 (en) 2023-08-30
JP7441915B2 (ja) 2024-03-01
KR102520143B1 (ko) 2023-04-11
US20200073143A1 (en) 2020-03-05
US11733542B2 (en) 2023-08-22
JP2024019478A (ja) 2024-02-09
EP3488284A4 (en) 2020-03-18
KR20230050479A (ko) 2023-04-14
US20210231973A1 (en) 2021-07-29
JP2021164665A (ja) 2021-10-14
US10451895B2 (en) 2019-10-22
JP6992046B2 (ja) 2022-01-13
WO2018022521A1 (en) 2018-02-01
US11048101B2 (en) 2021-06-29
JP2022176291A (ja) 2022-11-25
EP3488284A1 (en) 2019-05-29
KR20220090591A (ko) 2022-06-29

Similar Documents

Publication Publication Date Title
US11733542B2 (en) Light field processor system
US11747627B2 (en) Augmented and virtual reality display systems and methods for diagnosing health conditions based on visual fields

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination