CN116916809A - 使用头戴式设备进行眼科成像 - Google Patents
使用头戴式设备进行眼科成像 Download PDFInfo
- Publication number
- CN116916809A CN116916809A CN202280018392.7A CN202280018392A CN116916809A CN 116916809 A CN116916809 A CN 116916809A CN 202280018392 A CN202280018392 A CN 202280018392A CN 116916809 A CN116916809 A CN 116916809A
- Authority
- CN
- China
- Prior art keywords
- user
- ophthalmic
- image
- eyes
- assessment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title description 7
- 238000000034 method Methods 0.000 claims abstract description 52
- 230000036541 health Effects 0.000 claims abstract description 11
- 230000015654 memory Effects 0.000 claims description 38
- 238000005286 illumination Methods 0.000 claims description 15
- 239000002131 composite material Substances 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 5
- 230000003190 augmentative effect Effects 0.000 abstract description 7
- 238000012360 testing method Methods 0.000 description 37
- 239000011521 glass Substances 0.000 description 35
- 238000004891 communication Methods 0.000 description 33
- 230000003287 optical effect Effects 0.000 description 26
- 230000006870 function Effects 0.000 description 20
- 230000005540 biological transmission Effects 0.000 description 12
- 230000002093 peripheral effect Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 230000004044 response Effects 0.000 description 9
- 210000001525 retina Anatomy 0.000 description 9
- 239000008186 active pharmaceutical agent Substances 0.000 description 8
- 230000008878 coupling Effects 0.000 description 8
- 238000010168 coupling process Methods 0.000 description 8
- 238000005859 coupling reaction Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 230000033001 locomotion Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 230000001413 cellular effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000005802 health problem Effects 0.000 description 4
- 210000001747 pupil Anatomy 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 230000004304 visual acuity Effects 0.000 description 4
- 208000002177 Cataract Diseases 0.000 description 3
- 208000010412 Glaucoma Diseases 0.000 description 3
- 206010064930 age-related macular degeneration Diseases 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 208000002780 macular degeneration Diseases 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 230000001151 other effect Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 239000000356 contaminant Substances 0.000 description 1
- 210000000695 crystalline len Anatomy 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000009429 electrical wiring Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- GVVPGTZRZFNKDS-JXMROGBWSA-N geranyl diphosphate Chemical compound CC(C)=CCC\C(C)=C\CO[P@](O)(=O)OP(O)(O)=O GVVPGTZRZFNKDS-JXMROGBWSA-N 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 231100001261 hazardous Toxicity 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000004478 pupil constriction Effects 0.000 description 1
- 230000008261 resistance mechanism Effects 0.000 description 1
- 230000004266 retinal recognition Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 229910001285 shape-memory alloy Inorganic materials 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0033—Operational features thereof characterised by user input arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0041—Operational features thereof characterised by display arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0041—Operational features thereof characterised by display arrangements
- A61B3/005—Constructional features of the display
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/02—Subjective types, i.e. testing apparatus requiring the active assistance of the patient
- A61B3/028—Subjective types, i.e. testing apparatus requiring the active assistance of the patient for testing visual acuity; for determination of refraction, e.g. phoropters
- A61B3/032—Devices for presenting test symbols or characters, e.g. test chart projectors
Abstract
公开了一种使用增强现实或虚拟现实头戴式设备(100,300)进行眼科评估的方法(400),该头戴式设备包括一个或更多个显示设备(210)以及在使用中面向用户的眼睛的一个或更多个摄像装置(102,208,314)。方法(400)包括:在显示设备上显示(402)眼科评估用户界面项;接收(404)对用户界面项的用户选择;照明用户的眼睛;捕获(414)用户的眼睛的至少一个图像;以及分析(422)至少一个图像以评定用户的眼睛的健康。
Description
相关申请数据
本申请要求于2021年3月3日提交的美国临时专利申请序列号63/156,184和于2022年2月21日提交的美国专利申请序列号17/651,857的优先权权益,每个专利申请的内容都被并入本文中,如同被明确阐述一样。
技术领域
本公开内容总体上涉及可穿戴设备以及使用可穿戴设备执行的视力评定(assessment)。
背景技术
头戴式设备可以实现为具有透明或半透明显示器,可穿戴设备的用户可以通过该显示器查看周围环境。这样的设备使用户能够通过该透明或半透明显示器观看以查看周围环境,并且还能够看到为显示而生成以表现为周围环境的一部分和/或叠加在周围环境上的对象(例如,虚拟对象,诸如3D渲染、图像、视频、文本等)。这通常被称为“增强现实”。
头戴式设备还可以完全遮挡用户的视野并且显示用户可以通过其移动或被移动的虚拟环境。这通常被称为“虚拟现实”。如本文所使用的,除非上下文另有指示,否则术语“增强现实”或“AR”指的是传统理解的增强现实和虚拟现实两者。
附图说明
为了容易识别对任何特定元件或动作的讨论,附图标记中的一个或多个最高位数字指代该元件被首次引入时所在的图号。
图1是根据一些示例的可穿戴设备的透视图。
图2是示出根据一个示例的包括摄像装置设备的细节的联网系统的框图。
图3示出了根据一个示例的包括与集成显示器相对应的波导的可穿戴设备。
图4是示出根据一些示例的用于进行眼科评定的过程的流程图。
图5是示出根据一些示例的可以在其中实现本公开内容的软件架构的框图。
图6是根据一些示例的计算机系统形式的机器的图形表示,在该计算机系统中可以执行一组指令,以使机器执行所讨论的方法中的任何一种或更多种。
具体实施方式
实现为具有透明或半透明显示器的可穿戴设备使用户能够通过透明或半透明显示器观看以查看周围环境。另外,可穿戴设备可以使用户能够看到为显示而生成以表现为周围环境的一部分和/或叠加在周围环境上的对象(例如,虚拟对象,诸如3D渲染、图像、视频、文本等)。这样的可穿戴设备可以为用户提供增强现实体验。
可穿戴设备包括用于向设备的穿戴者显示对象(例如虚拟对象)的集成显示器。集成显示器可以例如包括接收来自投影仪的光束的波导,但是可以使用用于向穿戴者呈现增强或虚拟内容的任何适当显示器。
使用中的可穿戴设备通常但不一定与相关联的便携式计算设备配合向穿戴者显示虚拟视力表。视力表以适当的视距离和以适当的视尺寸呈现,以呈现标准视力表,该标准视力表可以用于使用熟悉的技术来评定用户的视力,而无需拜访验光师。可以提供音频提示以引导用户浏览视力表,并且用户的响应可以由可穿戴设备或便携式设备使用语音识别技术、手势或通过与可穿戴设备相关联的一些其他输入设备例如智能手机或其他便携式计算设备来捕获和识别。可以将用户的响应与对提示的预期响应进行比较,并且可以对用户的表现进行评分。然后可以为每只眼睛生成整体视觉评分,该评分可以呈现给用户或传输给医疗办公室。
另外,可穿戴设备可以包括在使用中面向穿戴者眼睛的一个或更多个摄像装置。这些摄像装置可以用于对穿戴者眼睛进行成像,以确定是否存在可能需要进一步关注的任何眼部状况。另外,可穿戴设备可以包括在可见或近可见光谱中的一个或更多个光发射器,其可以用于照明眼睛的外表面或内表面以辅助该确定。此外,光发射器可以被配置成将图案投影至穿戴者的视网膜上,其然后可以通过面向穿戴者眼睛的摄像装置来捕获和分析。
在一些示例中,提供了一种使用头戴式设备进行眼科评估的方法,该头戴式设备包括一个或更多个显示设备以及在使用中面向用户的眼睛的一个或更多个摄像装置。该方法包括:显示眼科评估用户界面项;接收对用户界面项的用户选择;照明用户的眼睛;捕获用户的眼睛的至少一个图像;分析至少一个图像以评定用户的眼睛的健康;以及向用户提供对至少一个图像的分析的输出。照明可以由从一个或更多个显示设备发出的光提供。头戴式设备也可以包括光发射器,照明由光发射器提供。
该方法还可以包括:在与头戴式设备相关联的音频扬声器上生成可听眼科评估提示;以及在捕获至少一个图像之前确定对可听眼科评估提示的依从性。可听眼科评估提示可以包括朝一定方向看的指令;以及确定依从性可以通过对从一个或更多个摄像装置接收的图像流的帧执行的图像识别来执行。还可以通过接收证实的用户输入来执行确定依从性。
该方法还可以包括在显示设备上显示特征,其中,眼科评估提示包括观看在显示设备上显示的特征的指令。
在一些示例中,捕获用户的眼睛的至少一个图像包括:捕获用户的眼睛的多个图像;以及根据多个图像生成用户的眼睛的合成图像。该方法还可以包括:在与头戴式设备相关联的音频扬声器上生成可听眼科评估提示;以及在捕获多个图像中的每一个之前确定对每个可听眼科评估提示的依从性。
眼科评估用户界面项可以包括可供用户选择的多个眼科评估,该方法还包括:接收对具体眼科评估的用户选择;以及基于具体眼科评估设置照明和摄像装置曝光设置。
在一些示例中,提供了一种计算机系统,包括头戴式设备、一个或更多个处理器、一个或更多个显示设备以及在使用中面向用户的眼睛的一个或更多个摄像装置。该计算机系统还包括存储指令的存储器,所述指令在由一个或更多个处理器执行时将计算机系统配置成执行与以上公开的方法相对应的操作,包括但不限于:在显示设备上显示眼科评估用户界面项;接收对用户界面项的用户选择;照明用户的眼睛;捕获用户的眼睛的至少一个图像;以及分析至少一个图像以评定用户的眼睛的健康。
在一些示例中,提供了一种非暂态计算机可读存储介质,所述计算机可读存储介质包括指令,所述指令在由包括头戴式设备——其包括一个或更多个显示设备以及在使用中面向用户的眼睛的一个或更多个摄像装置——的计算机系统执行时使计算机系统执行与以上公开的方法相对应的操作,包括但不限于:在显示设备上显示眼科评估用户界面项;接收对用户界面项的用户选择;照明用户的眼睛;捕获用户的眼睛的至少一个图像;以及分析至少一个图像以评定用户的眼睛的健康。
根据所附附图、描述和权利要求,其他技术特征对于本领域技术人员可以是非常明显的。
图1是根据一些示例的可穿戴设备(例如,眼镜100)的透视图。眼镜100可以包括框架132,框架132由任何合适的材料诸如塑料或金属制成,包括任何合适的形状记忆合金。在一个或更多个示例中,框架132包括前件134,前件134包括由桥118连接的第一光学元件保持器或左光学元件保持器114(例如,显示器或透镜保持器)和第二光学元件保持器或右光学元件保持器120。前件134另外包括左端部110和右端部124。可以分别在左光学元件保持器114和右光学元件保持器120内设置有第一光学元件或左光学元件116和第二光学元件或右光学元件122。右光学元件122和左光学元件116中的每一个可以是透镜、显示器、显示组件或前述的组合。可以在眼镜100中设置有任何合适的显示组件。
框架132另外包括左臂件或左镜腿件136和右臂件或右镜腿件138,它们通过任何合适的装置如铰链(未示出)耦接至前件134的相应左端部110和右端部124以耦接至前件134,或者刚性地或可固定地固定至前件134以与前件134成为一体。在一个或更多个实现方式中,镜腿件136和镜腿件138中的每一个包括第一部108和任何合适的第二部126,第一部耦接至前件134的相应左端部110或右端部124,第二部用于耦接至用户的耳朵。在一个示例中,前件134可以由单件材料形成,以具有一元或一体的构造。在一个示例中,例如图1所示,整个框架132可以由单件材料形成,以具有一元或一体的构造。
眼镜100可以包括诸如计算机128的计算设备,该计算设备可以具有任何合适的类型以便由框架132携带,并且在一个或更多个示例中,该计算设备可以具有合适的尺寸和形状以至少部分地设置在镜腿件136和镜腿件138之一中。在一个或更多个示例中,如图1所示,计算机128的尺寸和形状类似于镜腿件138(例如,或镜腿件136)之一的尺寸和形状,并且因此如果不是完全地则几乎是完全地设置在这样的镜腿件138的结构和界限内。在一个或更多个示例中,计算机128设置在镜腿件136和镜腿件138两者中。计算机128可以包括一个或更多个处理器以及存储器、无线通信电路系统和电源。如下面所讨论的,计算机128包括低功率电路系统、高速电路系统和显示处理器。各种其他示例可以包括不同配置的或以不同方式集成在一起的这些元件。计算机128的各方面的附加细节可以如下面讨论的数据处理器202所示来实现。
计算机128另外包括电池106或其他合适的便携式电力供应装置。在一个示例中,电池106设置在镜腿件136或镜腿件138之一中。在图1所示的眼镜100中,电池106被示为设置在左镜腿件136中并且使用连接130电耦接至设置在右镜腿件138中的计算机128的其余部分。眼镜100可以包括适用于为可从框架132的外部访问的电池106充电的连接器或端口(未示出)、无线接收器、发射器或收发器(未示出)、或这样的设备的组合。
在一个或更多个实现方式中,眼镜100包括摄像装置102。尽管描绘了两个摄像装置,但是其他示例考虑使用单个或附加(即,多于两个)摄像装置。在一个或更多个示例中,除了摄像装置102之外,眼镜100还包括任何数目的输入传感器或外围设备。前件134设置有:当眼镜100安装在用户的面部上时面向前方或背对用户的面向外的、面向前的或者前或外表面112;以及当眼镜100安装在用户的面部上时面向用户的面部的相对的面向内的、面向后的或者后或内表面104。这样的传感器可以包括:面向内的视频传感器或数字成像模块,例如摄像装置,其安装在前件134的内表面104上或设置在前件134的内表面104内或框架132上的其他地方以便面向用户;以及面向外的视频传感器或数字成像模块,例如摄像装置102,其可以安装在前件134的外表面112上或设置在前件134的外表面112内或框架132上的其他地方以便背对用户。这样的传感器、外围设备或外围装置可以另外包括生物计量传感器、位置传感器或任何其他这样的传感器。
图2是示出根据一些示例的包括眼镜100的细节的联网系统200的框图。
联网系统200包括眼镜100、客户端设备228和服务器系统232。客户端设备228可以是智能电话、平板计算机、平板电话、膝上型计算机、接入点或能够使用低功率无线连接236和高速无线连接234两者与眼镜100连接的任何其他这样的设备。客户端设备228经由网络230连接至服务器系统232。网络230可以包括有线连接和无线连接的任何组合。服务器系统232可以是作为服务或网络计算系统的一部分的一个或更多个计算设备。客户端设备228以及服务器系统232和网络230的任何元件可以使用图5和图6中描述的软件架构504或机器600的细节来实现。
眼镜100包括数据处理器202、显示器210、一个或更多个摄像装置208、附加的外围元件216。外围元件216可以包括麦克风、音频扬声器、生物计量传感器、附加传感器或与数据处理器202集成的附加显示元件。关于图5和图6进一步讨论了外围元件216的示例。例如,外围元件216可以包括任何I/O部件606,I/O部件606包括输出部件628、运动部件636、或本文描述的任何其他这样的元件。在图3中讨论了显示器210的示例。在本文描述的特定示例中,显示器210包括用于用户的左眼和右眼中的每一个的显示器。
数据处理器202包括图像处理器206(例如,视频处理器)、GPU和显示驱动器238、跟踪模块240、接口212、低功率电路系统204和高速电路系统220。数据处理器202的部件通过总线242互连。
接口212指的是被提供至数据处理器202的用户命令的任何源。在一个或更多个示例中,接口212是摄像装置上的物理按钮,当按下该按钮时,将用户输入信号从接口212发送至低功率处理器214。低功率处理器214可以将按下这样的摄像装置按钮然后立即释放作为捕获单个图像的请求来处理。低功率处理器214可以将在第一时间段内按下这样的摄像装置按钮作为在按钮被按下时捕获视频数据以及在按钮被释放时停止视频捕获的请求来处理,其中将按钮被按下时捕获的视频存储为单个视频文件。在其他示例中,接口212可以是能够接受与来自摄像装置208的数据请求相关联的用户输入的任何机械开关或物理接口。在其他示例中,接口212可以具有软件部件,或者可以与从另一源诸如从客户端设备228无线接收的命令相关联。
图像处理器206包括用于接收来自摄像装置208的信号并且将来自摄像装置208的那些信号处理成适合存储在存储器224中或适合传输至客户端设备228的格式的电路系统。在一个或更多个示例中,图像处理器206(例如,视频处理器)包括针对处理来自摄像装置208的传感器数据而定制的微处理器集成电路(IC)、以及微处理器在操作中使用的易失性存储器。
低功率电路系统204包括低功率处理器214和低功率无线电路系统218。低功率电路系统204的这些元件可以实现为单独的元件或者可以在单个IC上实现为单个芯片上系统的一部分。低功率处理器214包括用于管理眼镜100的其他元件的逻辑。如上所述,例如,低功率处理器214可以接受来自接口212的用户输入信号。低功率处理器214还可以被配置成经由低功率无线连接236从客户端设备228接收输入信号或指令通信。低功率无线电路系统218包括用于实现低功率无线通信系统的电路元件。BluetoothTMSmart,也称为BluetoothTM低功耗,是可以用于实现低功率无线电路系统218的低功率无线通信系统的一种标准实现方式。在其他示例中,可以使用其他低功率通信系统。
高速电路系统220包括高速处理器222、存储器224和高速无线电路系统226。高速处理器222可以是能够管理数据处理器202所需的任何通用计算系统的高速通信和操作的任何处理器。高速处理器222包括使用高速无线电路系统226管理高速无线连接234上的高速数据传输所需的处理资源。在某些示例中,高速处理器222执行诸如LINUX操作系统的操作系统或诸如图5的操作系统512的其他这样的操作系统。除了任何其他职责之外,使用执行数据处理器202的软件架构的高速处理器222来管理与高速无线电路系统226的数据传输。在某些示例中,高速无线电路系统226被配置成实现电气和电子工程师协会(IEEE)802.11通信标准,其在本文也称为Wi-Fi。在其他示例中,高速无线电路系统226可以实现其他高速通信标准。
存储器224包括能够存储由摄像装置208和图像处理器206生成的摄像装置数据的任何存储装置。虽然存储器224被示出为与高速电路系统220集成,但是在其他示例中,存储器224可以是数据处理器202的单独的独立元件。在某些这样的示例中,电气布线可以提供通过包括高速处理器222的芯片从图像处理器206或低功率处理器214至存储器224的连接。在其他示例中,高速处理器222可以管理存储器224的寻址,使得低功率处理器214将在需要涉及存储器224的读或写操作的任何时候引导高速处理器222。
跟踪模块240估计眼镜100的位姿(pose)。例如,跟踪模块240使用来自摄像装置208和定位部件640的图像数据和相应的惯性数据以及GPS数据来跟踪眼镜100相对于参照系(例如,真实世界环境)的位置和位姿。在一个示例中,跟踪模块240使用传感器数据来确定眼镜100的三维位姿。三维位姿是眼镜100相对于用户真实世界环境所确定的取向和定位。例如,跟踪模块240可以使用用户真实世界环境的图像以及其他传感器数据,以使用诸如运动恢复结构的技术或者通过使用现有的3D点云来识别眼镜100相对于眼镜100周围的真实世界环境中的物理对象的相对定位和取向。跟踪模块240不断地收集和使用描述眼镜100的运动的更新后的图像和传感器数据来确定更新后的眼镜100的三维位姿,该位姿指示相对于真实世界环境中的物理对象的相对定位和取向的变化。跟踪模块240允许眼镜100经由显示器210在用户的视场内将虚拟对象相对于物理对象视觉放置。
GPU和显示驱动器238使用眼镜100的三维位姿来生成要在显示器210上呈现的虚拟内容的帧。例如,GPU和显示驱动器238使用三维位姿来渲染虚拟内容的帧,使得虚拟内容在显示器210中以适当的取向、定位和深度呈现,从而将虚拟内容与用户对物理对象的视图适当地集成。GPU适当地缩放和确定虚拟内容的位置,使得虚拟内容的感知大小与虚拟内容距用户的预期距离一致。GPU和显示驱动器238基于更新后的眼镜100的三维位姿来生成更新后的虚拟内容的帧,这反映了用户相对于用户真实世界环境中的物理对象的定位和取向的变化。
增强现实环境或虚拟现实环境中显示的虚拟对象通常以固定焦距(通常为无限远)显示。也就是说,从任何特定虚拟对象进入眼睛的光线是平行的(对于无限焦距),而不管基于诸如对象的大小、其相对于其他对象的放置以及呈现给左眼和右眼的图像之间的立体差异的暗示的对象的感知或虚拟距离。然而,传统的眼睛测试通常位于20ft(6m)的距离处。在一些情况下,眼镜100可以设置有Alvarez透镜或波导上的LCD涂层(见下文),以将焦距从头戴式设备中设置的任何标准或默认焦距改变为正确的焦距。在其他情况下,由眼镜100或其他头戴式设备提供的现有焦距可能提供足够准确的眼睛测试结果,即使由头戴式设备提供的焦距不对应于特定眼睛测试的焦距。
本文所描述的一个或更多个功能或操作也可以在驻留在眼镜100上或客户端设备228上或远程服务器上的应用中执行。例如,本文所描述的一个或更多个功能或操作可以由应用506诸如消息传送应用546或定制眼睛测试应用之一执行。
图3示出了根据一些示例的包括形成集成显示器的波导302的可穿戴设备(例如,眼镜300)。眼镜300可以是任何合适的类型,包括眼镜100,并且相似的附图标记已经用于描述眼镜300和眼镜100的相似部件。眼镜300包括固定在左光学元件保持器114和右光学元件保持器120中的每一个内的光学透镜304。光学透镜304中的每一个具有相应的前表面(未示出)和相对的后表面306。
眼镜300包括用于向用户显示图像的光学组件316。在图3的示例中,示出了一个光学组件316,但是通常为用户的两只眼睛(例如,为镜腿件136和镜腿件138两者)提供光学组件。光学组件316包括设置在眼镜的臂或镜腿(例如,眼镜300的右镜腿件136和左镜腿件138)中的一者或两者中的光源,例如投影仪310。投影仪310向光学透镜304发出光312,并且被盖308包围。
光学组件316还包括波导302。波导302包括衍射结构(例如光栅和/或光学元件)。由投影仪310发出的光312遇到波导302的衍射结构,以在光学透镜304的后表面306上提供叠加用户所看到的真实世界的视图的图像。
眼镜300还包括面向内的摄像装置314,其指向用户的眼睛。还提供了一个或更多个光发射器,其类似地指向用户的瞳孔和视网膜并且可以照明用户的瞳孔和视网膜。在一些示例中,光发射器318是LED光发射器,其发出适于照明眼睛的光谱以通过摄像装置314捕获视网膜或瞳孔的图像,其可以用于识别眼睛的问题或潜在问题,例如青光眼、与年龄相关的黄斑变性或用户眼睛的晶状体中白内障的存在。在其他示例中,光发射器318可以包括如下网格:将对应的网格投影至用户的视网膜上。然后,投影至视网膜上的网格的图像可以由一个或更多个摄像装置314捕获,摄像装置314可以用于通过与网格的参考或预期外观进行比较来评估用户的视敏度。在又一示例中,光发射器318可以是微型投影仪,其可以将光谱或图像例如网格投影至用户的视网膜上。如将理解的,摄像装置314和光发射器318中的每一个是可单独寻址的,以提供将根据被测试的眼睛和测试性质而变化的功能。
在另一实现方式中,投影仪310可以用于将光场投影至波导302上,其可以提供足够的照明,以允许通过摄像装置314捕获学生的眼睛的瞳孔或晶状体或视网膜的图像,其可以用于识别眼睛的问题或潜在问题,例如与年龄相关的黄斑变性、青光眼或用户眼睛的晶状体中白内障的存在。由投影仪310投影的光场(每只眼睛一个)也可以例如包括一个或更多个特征,例如网格,其在用户视网膜上的投影可以用于通过与网格的参考或预期外观进行比较来评估用户的视敏度。
虽然摄像装置314和光发射器318被示出为沿着眼镜框架的上边缘,但应当理解,摄像装置314和光发射器318可以定位在框架132上的其他位置,例如在左光学元件保持器114和右光学元件保持器120周围。左光学元件保持器114或右光学元件保持器120中的一者或另一者上的一个或更多个摄像装置314可以捕获同时或接近同时的图像,由此可以构建用户眼睛的一个或更多个特征的合成图像。
图4是示出根据一些示例的用于进行眼科评定的过程的流程图400。出于解释的目的,流程图400的操作在本文被描述为串行地或线性地发生。然而,流程图400的多个操作可以并行地发生。另外,流程图400的操作不需要按所示顺序执行以及/或者流程图400的一个或更多个框不需要执行和/或可以由其他操作替换。
图4所示的操作通常在客户端设备228上在应用诸如消息传送应用546或专用眼科测试应用中执行。在一个示例中,在客户端设备228上运行的消息传送应用546与眼镜100、300中的或与眼镜100、300相关联的数据处理器202以及相关联硬件之间联合执行操作。出于清楚的目的,本文参照这样的示例讨论流程图400。各种实现方式当然是可能的,其中一些操作发生在服务器系统232上,或者其中一个应用调用另一应用或SDK以获得所需的功能。
该方法在操作402处开始,其中消息传送应用546在显示器210中的一者或两者上或在客户端设备228的显示器上显示眼科测试用户界面。用户界面提供了用于选择要使用眼镜100、300执行的眼科测试的一个或更多个选项。例如,眼科测试可以包括白内障评定、与年龄相关的黄斑变性评定、青光眼评定等。
在一个示例中,用户界面可以提供用户可以从中选择的视觉或眼科测试的菜单或其他用户界面显示,所述视觉或眼科测试包括例如与此同时提交的题为“AugmentedReality Eye Chart”的美国临时专利申请(代理人案卷号为4218.C35PRV)中描述的视敏度测试,其内容通过引用并入本文中,如同明确阐述一样。
然后,在操作404处,由消息传送应用546接收眼科测试的选择。这可以使用包括通过接收客户端设备228上的触摸输入、姿势识别、语音输入等的任何选择技术来完成。
在选择特定眼科测试后,消息传送应用546根据所选眼科测试的特定要求,在操作406处设置或调整用于进行特定眼科测试的各种参数或模式。例如,不同的眼科测试可能需要不同的摄像装置曝光、焦点设置或模式、由光发射器318或光学组件316提供的照明的量和性质的设置、或者使用光学组件316要显示的任何图案或其他图像例如要显示的网格的设置、或者供用户在眼科测试期间观看的一个或更多个目标的显示。另外,不同的眼科测试可能需要不同的步骤。
所选眼科测试在操作408处开始。在一些情况下,眼科测试可以通过以下在一个感知步骤中(对于用户)完成:向被测试的眼睛提供适当的显示器或的照明,随后或伴随着由一个或更多个面向内的摄像装置314捕获眼睛的一个或更多个图像。在这样的情况下,该方法将在图像被捕获之后直接进行至操作418。事实上,提供快速照明和图像捕获以防止瞳孔响应于照明而收缩可能是有利的。另外,当眼科测试开始时,可能会发生准备步骤,例如通过使显示器210变暗以允许瞳孔扩张来模糊用户的视力,或者指示用户进入黑暗的房间并提供测试倒计时。
在测试期间,用于未被测试的眼睛的显示器可以不显示任何内容(即提供无障碍视图),或者可以显示纯色(例如黑色)或其他效果来使另一只眼睛模糊。在VR头戴式耳机的情况下,另一显示器可以显示用户在其中发现自己的虚拟现实环境,或者可以显示纯色(例如黑色)或其他效果来使眼睛模糊。
如果眼科测试需要用户参与,则在操作410处,消息传送应用546提供用户提示。用户提示可以是经由客户端设备228、眼镜100、300中的扬声器、或连接的扩音器例如有线或无线耳机或头戴式耳机提供的可听提示。用户提示可以例如指示用户“向上看”或“向下看”、“看目标X”或“跟随目标X”,其中目标X是与被测试的眼睛相对应的显示器上显示的静止或移动目标。
在操作412处,消息传送应用546确定用户对用户提示的依从性。在一个示例中,可以通过消息传送应用546识别由客户端设备228、眼镜100、300中的麦克风或例如诸如有线或无线耳机或头戴式耳机中的连接的麦克风接收的来自用户的证实可听响应来确定用户的依从性。可以提示用户响应提示说“完成”或“准备好”。在另一示例中,可以对眼睛执行图像识别或对象检测和跟踪,以确定眼睛被正确定位用于图像捕获。
响应于接收到用户依从性的指示,由光发射器318或光学组件316产生的照明如果被需要且尚未提供则被提供给所考虑的眼睛,并且在操作414处,由一个或更多个摄像装置314捕获一个或更多个图像。
在操作416处,消息传送应用546确定所考虑的眼睛的健康测试是否完成。例如,如果已经执行所有需要的步骤或者已经捕获所有需要的图像,则测试可以完成。如果测试未完成,则该方法返回到操作410,在操作410处由消息传送应用546提供下一提示。
如果消息传送应用546确定所考虑的眼睛的健康测试完成,则该方法进行至操作418,在操作418处消息传送应用546检查是测试了仅一只眼睛还是测试了两只眼睛。如果测试了仅一只眼睛,则该方法在操作420处进行,在操作420处测试过程切换到第二只眼睛。向先前未被测试的眼睛显示的任何模糊或其他显示内容或颜色将切换到刚刚完成测试的眼睛。
然后,流程图400如之前一样继续通过操作410至操作416以测试另一只眼睛。在如操作418处验证的那样已经测试两只眼睛之后,在操作422处,消息传送应用546分析图像。这可以在单个图像、多个图像或从每只眼睛的多个图像生成的相关眼睛的特征的合成图像上进行。可以使用任何已知的用于检测眼睛健康问题的图像处理技术来分析图像。特定的图像处理技术将根据所讨论的健康问题而不同。
例如,还可以使用机器学习分类方案来分析图像,以识别指示眼睛健康问题的图像。机器学习分类方案可以包括一组预定义的眼睛健康问题的知识。然后消息传送应用546可以使用机器学习分类方案来分析图像,以基于图像来识别适用于眼睛的至少一种健康问题。
此外,图像可以不由消息传送应用546单独处理以确定由用户选择用以进行筛查的特定眼科问题的存在,而是可以被自动分析以确定除所选眼科问题之外的许多潜在眼科问题中的任一个的存在。此外,用户界面可以不提供具体识别的眼科问题供用户选择,而是可以提供通用选项来扫描眼睛健康问题,在这种情况下,可以针对消息传送应用546支持的所有可获得的眼科问题扫描图像。如果不同的眼科问题需要,则对于每个眼科问题,可以用不同的曝光、照明或其他设置或者用户提示来自动捕获多个图像或图像集。
在某些情况下,可以同时获得两只眼睛的合适图像。在这种情况下,两只眼睛将被同时照明和成像,并且在操作418处不必检查两只眼睛是否被测试。
另外,虽然不是严格的眼科测试,但可以使用已知技术处理投影至一只或两只眼睛的视网膜上的网格的图像,以确定视敏度。
在测试两只眼睛之后,然后在操作424处输出测试结果。这可以通过在眼镜100、300上显示眼科测试的结果、通过在客户端设备228的显示器上以可听方式显示结果或通过任何其他方式来完成。如果检测到潜在的眼科问题,则结果可能仅是寻求医学专业人员建议的指示或提议。还可以将结果与之前的测试结果进行比较,以说明任何退化。可以将结果以及基础或中间数据(例如,所捕获的图像)传输给眼科专家以进行审查或记录保存。用户还可以选择保存测试结果、将它们发布到社交网站或在聊天会话中传输它们。
然后,流程图400在操作426处结束。消息传送应用546可以例如然后恢复到默认用户界面。
图5是示出可以安装在本文描述的设备中的任何一个或更多个上的软件架构504的框图500。软件架构504由诸如包括处理器520、存储器526和I/O部件538的机器502的硬件来支持。在该示例中,软件架构504可以被概念化为层的堆栈,其中每个层提供特定功能。软件架构504包括各个层诸如操作系统512、库508、框架510和应用506。在操作上,应用506通过软件堆栈来调用API调用550并且响应于API调用550接收消息552。
操作系统512管理硬件资源并且提供公共服务。操作系统512包括例如:内核514、服务516、以及驱动器522。内核514充当硬件层与其他软件层之间的抽象层。例如,内核514提供存储器管理、处理器管理(例如,调度)、部件管理、联网和安全设置以及其他功能。服务516可以为其他软件层提供其他公共服务。驱动器522负责控制底层硬件或与底层硬件接口。例如,驱动器522可以包括显示驱动器、摄像装置驱动器、或低功耗驱动器、闪存驱动器、串行通信驱动器(例如,通用串行总线(USB)驱动器)、/>驱动器、音频驱动器、电源管理驱动器等。
库508提供由应用506使用的低级公共基础设施。库508可以包括系统库518(例如,C标准库),系统库518提供诸如存储器分配功能、字符串操纵功能、数学功能等的功能。另外,库508可以包括API库524,诸如媒体库(例如,用于支持各种媒体格式的呈现和操纵的库,该媒体格式诸如运动图像专家组4(MPEG4)、高级视频编码(H.264或AVC)、运动图像专家组层3(MP3)、高级音频编码(AAC)、自适应多速率(AMR)音频编解码器、联合图像专家组(JPEG或JPG)或便携式网络图形(PNG))、图形库(例如,用于在显示器上的图形内容中以二维(2D)和三维(3D)呈现的OpenGL框架)、数据库库(例如,提供各种关系数据库功能的SQLite)、web库(例如,提供网页浏览功能的WebKit)等。库508还可以包括各种各样的其他库528,以向应用506提供许多其他API。
框架510提供由应用506使用的高级公共基础设施。例如,框架510提供各种图形用户界面(GUI)功能、高级资源管理以及高级位置服务。框架510可以提供可以由应用506使用的广范的其他API,其中一些API可以特定于特定的操作系统或平台。
在示例中,应用506可以包括家庭应用536、联系人应用530、浏览器应用532、书籍阅读器应用534、位置应用542、媒体应用544、消息传送应用546、游戏应用548和诸如第三方应用540的各种各样的其他应用。应用506是执行程序中限定的功能的程序。可以采用各种编程语言来创建以各种方式构造的一个或更多个应用506,编程语言例如面向对象的编程语言(例如,Objective-C、Java或C++)或过程编程语言(例如,C语言或汇编语言)。在具体示例中,第三方应用540(例如,由特定平台的供应商以外的实体使用ANDROIDTM或IOSTM软件开发工具包(SDK)开发的应用)可以是在诸如IOSTM、ANDROIDTM、Phone的移动操作系统或其他移动操作系统上运行的移动软件。在该示例中,第三方应用540可以调用由操作系统512提供的API调用550以有助于本文描述的功能。
图6是机器600的图形表示,在该机器600中可以执行使机器600执行本文所讨论的方法中的任何一种或更多种的指令610(例如,软件、程序、应用、小程序、app或其他可执行代码)。例如,指令610可以使机器600执行本文所描述的方法中的任何一种或更多种。指令610将通用的未编程的机器600转换成被编程为以所描述的方式执行所描述和所示出的功能的特定机器600。机器600可以作为独立设备操作,或者可以耦接(例如,联网)至其他机器。在联网部署中,机器600可以以服务器-客户端网络环境中的服务器机器或客户端机器的能力进行操作,或者作为对等(或分布式)网络环境中的对等机器进行操作。机器600可以包括但不限于:服务器计算机、客户端计算机、个人计算机(PC)、平板计算机、膝上型计算机、上网本、机顶盒(STB)、PDA、娱乐媒体系统、蜂窝电话、智能电话、移动设备、可穿戴设备(例如,智能手表)、智能家居设备(例如,智能电器)、其他智能设备、web设备、网络路由器、网络交换机、网络桥接器或能够顺序地或以其他方式执行指令610的任何机器,该指令610指定要由机器600采取的动作。此外,虽然仅示出了单个机器600,但是术语“机器”应还被视为包括机器的集合,所述机器的集合单独地或共同地执行指令610以执行本文所讨论的方法中的任何一种或更多种。
机器600可以包括处理器602、存储器604和I/O部件606,处理器602、存储器604和I/O部件606可以被配置成经由总线644彼此通信。在示例中,处理器602(例如,中央处理单元(CPU)、简化指令集计算(RISC)处理器、复杂指令集计算(CISC)处理器、图形处理单元(GPU)、数字信号处理器(DSP)、ASIC、射频集成电路(RFIC)、其它处理器或其任何合适的组合)可以包括例如执行指令610的处理器608和处理器612。术语“处理器”旨在包括可以包含可以同时执行指令的两个或更多个独立处理器(有时称为“核”)的多核处理器。尽管图6示出了多个处理器602,但是机器600可以包括具有单个核的单个处理器、具有多个核的单个处理器(例如,多核处理器)、具有单个核的多个处理器、具有多个核的多个处理器、或者其任意组合。
存储器604包括主存储器614、静态存储器616以及存储单元618,其均可由处理器602经由总线644访问。主存储器604、静态存储器616以及存储单元618存储实现本文描述的方法或功能中的任何一种或更多种的指令610。在由联网系统200执行指令610期间,指令610还可以全部地或部分地驻留在主存储器614内、在静态存储器616内、在机器可读介质620内、在存储单元618内、在处理器602中的至少一个内(例如,在处理器的高速缓冲存储器内)或者在其任何合适的组合内。
I/O部件606可以包括用于接收输入、提供输出、产生输出、发送信息、交换信息、捕获测量等的各种部件。特定机器中包括的特定I/O部件606将取决于机器的类型。例如,诸如移动电话的便携式机器可以包括触摸输入设备或其他这样的输入机构,而无头服务器(headless server)机器将可能不包括这样的触摸输入设备。将理解的是,I/O部件606可以包括图6中未示出的许多其他部件。在各种示例中,I/O部件606可以包括输出部件628和输入部件632。输出部件628可以包括视觉部件(例如,诸如等离子显示面板(PDP)、发光二极管(LED)显示器、液晶显示器(LCD)、投影仪或阴极射线管(CRT)的显示器)、声学部件(例如,扬声器)、触觉部件(例如,振动马达、阻力机构)、其他信号生成器等。输入部件632可以包括字母数字输入部件(例如,键盘、被配置成接收字母数字输入的触摸屏、光电键盘或其他字母数字输入部件)、基于点的输入部件(例如,鼠标、触摸板、轨迹球、操纵杆、运动传感器或其他指向仪器)、触觉输入部件(例如,物理按钮、提供触摸或触摸姿势的位置和/或力的触摸屏、或其他触觉输入部件)、音频输入部件(例如,麦克风)等。
在另一示例中,I/O部件606可以包括:生物计量部件634、运动部件636、环境部件638、或定位部件640以及各种各样的其他部件。例如,生物计量部件634包括用于检测表达(例如,手部表达、面部表达、声音表达、身体姿势或眼睛跟踪)、测量生物信号(例如,血压、心率、体温、出汗或脑波)、识别人(例如,声音识别、视网膜识别、面部识别、指纹识别或基于脑电图的识别)等的部件。运动部件636包括加速度传感器部件(例如,加速计)、重力传感器部件、旋转传感器部件(例如,陀螺仪)等。环境部件638包括例如照明传感器部件(例如,光度计)、温度传感器部件(例如,检测环境温度的一个或更多个温度计)、湿度传感器部件、压力传感器部件(例如,气压计)、声学传感器部件(例如,检测背景噪声的一个或更多个麦克风)、接近度传感器部件(例如,检测附近对象的红外传感器)、气体传感器(例如,为了安全而检测危险气体的浓度或者测量大气中的污染物的气体检测传感器)、或者可以提供与周围物理环境对应的指示、测量或信号的其他部件。定位部件640包括位置传感器部件(例如,GPS接收器部件)、海拔传感器部件(例如,检测可以得到海拔的气压的高度计或气压计)、取向传感器部件(例如,磁力计)等。
可以使用各种各样的技术来实现通信。I/O部件606还包括通信部件642,通信部件642能够进行操作以分别经由耦接(coupling)630和耦接626将联网系统200耦接至网络622或设备624。例如,通信部件642可以包括与网络622接口的网络接口部件或其他合适的设备。在另一示例中,通信部件642可以包括有线通信部件、无线通信部件、蜂窝通信部件、近场通信(NFC)部件、部件(例如,/>低功耗)、/>部件以及经由其他模态提供通信的其他通信部件。设备624可以是另一机器或各种外围设备中的任何一个外围设备(例如,经由USB耦接的外围设备)。
此外,通信部件642可以检测标识符或包括可操作以检测标识符的部件。例如,通信部件642可以包括射频识别(RFID)标签读取器部件、NFC智能标签检测部件、光学读取器部件(例如,用于检测下述的光学传感器:一维条形码,例如,通用产品代码(UPC)条形码;多维条形码,例如,快速响应(QR)代码、Aztec代码、数据矩阵、数据图示符(Dataglyph)、麦克斯码(MaxiCode)、PDF417、超代码、UCC RSS-2D条形码和其他光学代码)、或者声学检测部件(例如,用于识别标记的音频信号的麦克风)。另外,可以经由通信部件642得到各种信息,例如经由因特网协议(IP)地理定位的位置、经由信号三角测量的位置、经由检测可以指示特定位置的NFC信标信号的位置等。
各种存储器(例如,存储器604、主存储器614、静态存储器616和/或处理器602的存储器)和/或存储单元618可以存储由本文描述的方法或功能中的任何一个或更多个实现或使用的指令和数据结构(例如,软件)中的一组或更多组。这些指令(例如,指令610)在由处理器602执行的情况下使各种操作实现所公开的示例。
可以经由网络接口设备(例如,通信部件642中包括的网络接口部件),使用传输介质并且使用许多公知的传输协议中的任意一种传输协议(例如,超文本传输协议(HTTP)),通过网络622来发送或接收指令610。类似地,可以使用传输介质经由耦接626(例如,对等耦接)将指令610发送或接收至设备624。
“载波信号”是指能够存储、编码或携载由机器执行的指令的任何无形介质并且包括数字或模拟通信信号或其他无形介质以有助于这样的指令的通信。指令可以经由网络接口设备使用传输介质通过网络来发送或接收。
“客户端设备”是指与通信网络接口以从一个或更多个服务器系统或其他客户端设备获得资源的任何机器。客户端设备可以是但不限于移动电话、桌上型计算机、膝上型计算机、便携式数字助理(PDA)、智能电话、平板计算机、超级本、上网本、多个膝上型计算机、多处理器系统、基于微处理器或可编程消费电子产品、游戏控制台、机顶盒或用户可以用于访问网络的任何其他通信设备。
“通信网络”是指网络的一个或更多个部分,该网络可以是自组织网络、内联网、外联网、虚拟专用网络(VPN)、局域网(LAN)、无线LAN(WLAN)、广域网(WAN)、无线WAN(WWAN)、城域网(MAN)、因特网、因特网的一部分、公共交换电话网(PSTN)的一部分、普通老式电话服务(POTS)网络、蜂窝电话网络、无线网络、网络、另外类型的网络或者两个或更多个这样的网络的组合。例如,网络或网络的一部分可以包括无线网络或蜂窝网络,并且耦接可以是码分多址(CDMA)连接、全球移动通信系统(GSM)连接或其他类型的蜂窝或无线耦接。在该示例中,耦接可以实现各种类型的数据传输技术中的任何数据传输技术,例如单载波无线电传输技术(1xRTT)、演进数据优化(EVDO)技术、通用分组无线电服务(GPRS)技术、GSM演进的增强数据速率(EDGE)技术、包括3G的第三代合作伙伴计划(3GPP)、第四代无线(4G)网络、通用移动通讯系统(UMTS)、高速分组接入(HSPA)、全球微波接入互操作性(WiMAX)、长期演进(LTE)标准、由各种标准设置组织定义的其他数据传输技术、其他长距离协议或其他数据传输技术。
“部件”是指具有由功能或子例程调用、分支点、API或被提供用于对特定处理或控制功能进行分区或模块化的其他技术定义的边界的设备、物理实体或逻辑。部件可以经由它们的接口与其他部件组合以执行机器处理。部件可以是被设计用于与其他部件一起使用的经封装的功能硬件单元并且通常执行相关功能的特定功能的程序的一部分。部件可以构成软件部件(例如,体现在机器可读介质上的代码)或硬件部件。“硬件部件”是能够执行某些操作的有形单元,并且可以以某种物理方式来配置或布置。在各种示例中,可以通过软件(例如,应用或应用部分)将一个或更多个计算机系统(例如,独立计算机系统、客户端计算机系统或服务器计算机系统)或者计算机系统的一个或更多个硬件部件(例如,处理器或处理器组)配置为进行操作以执行如本文描述的某些操作的硬件部件。也可以机械地、电子地或以其任何合适的组合来实现硬件部件。例如,硬件部件可以包括被永久地配置成执行某些操作的专用电路系统或逻辑。硬件部件可以是专用处理器,诸如现场可编程门阵列(FPGA)或专用集成电路(ASIC)。硬件部件还可以包括通过软件被临时配置成执行某些操作的可编程逻辑或电路系统。例如,硬件部件可以包括由通用处理器或其他可编程处理器执行的软件。一旦通过这样的软件被配置,则硬件部件成为被唯一地定制成执行配置的功能的特定的机器(或机器的特定部件),并且不再是通用处理器。将理解的是,机械地、在专用和永久配置的电路系统中、或在临时配置的电路系统(例如,由软件配置)中实现硬件部件的决定可以由成本和时间考虑来驱动。相应地,短语“硬件部件”(或“硬件实现的部件”)应当被理解成包含有形实体,即为被物理构造、永久配置(例如,硬连线)或临时配置(例如,编程)成以某种方式操作或者执行本文所描述的某些操作的实体。考虑硬件部件被临时配置(例如,被编程)的示例,硬件部件中的每一个无需在任一时刻处均被配置或实例化。例如,在硬件部件包括通过软件配置成专用处理器的通用处理器的情况下,该通用处理器可以在不同时间处分别被配置为不同的专用处理器(例如,包括不同的硬件部件)。软件相应地配置一个或多个特定处理器以例如在一个时刻处构成特定硬件部件并且在不同的时刻处构成不同的硬件部件。硬件部件可以向其他硬件部件提供信息以及从其他硬件部件接收信息。因此,所描述的硬件部件可以被认为是通信上耦接的。在同时存在多个硬件部件的情况下,可以通过在两个或更多个硬件部件之间或者在两个或更多个硬件部件之中的信号传输(例如,通过适当的电路和总线)来实现通信。在其中多个硬件部件在不同时间处被配置或实例化的示例中,可以例如通过将信息存储在多个硬件部件可以访问的存储器结构中并且在该存储器结构中检索信息来实现这样的硬件部件之间的通信。例如,一个硬件部件可以执行操作,并且将该操作的输出存储在通信上耦接的存储器设备中。然后,另外的硬件部件可以在随后的时间访问存储器设备,以检索和处理所存储的输出。硬件部件还可以发起与输入或输出设备的通信,并且可以对资源进行操作(例如,信息的收集)。本文描述的示例方法的各种操作可以至少部分地由被临时地配置(例如,通过软件)或永久地配置成以执行相关操作的一个或更多个处理器来执行。无论是被临时地配置还是永久地配置,这样的处理器可以构成进行操作以执行本文描述的一个或更多个操作或功能的处理器实现的部件。如本文所使用的,“处理器实现的部件”是指使用一个或更多个处理器实现的硬件部件。类似地,本文描述的方法可以至少部分地由处理器实现,其中特定的一个或多个处理器是硬件的示例。例如,方法的操作中的至少一些操作可以由一个或更多个处理器或者处理器实现的部件来执行。此外,一个或更多个处理器还可以进行操作以支持“云计算”环境中的相关操作的执行或操作为“软件即服务”(SaaS)。例如,操作中的至少一些操作可以由一组计算机(作为包括处理器的机器的示例)执行,其中这些操作能够经由网络(例如,因特网)并且经由一个或更多个适当的接口(例如,API)进行访问。某些操作的执行可以分布在处理器之间,不仅驻留在单个机器内,而且跨多个机器部署。在一些示例中,处理器或处理器实现的部件可以位于单个地理位置中(例如,在家庭环境、办公室环境或服务器群内)。在其他示例中,处理器或处理器实现的部件可以跨多个地理位置分布。
“计算机可读介质”是指机器存储介质和传输介质两者。因此,术语包括存储设备/介质和载波/调制数据信号两者。术语“机器可读介质”、“计算机可读介质”和“设备可读介质”意指相同的事物并且可以在本公开内容中互换地使用。
“短暂消息”是指可以在时间有限的持续时间内访问的消息。短暂消息可以是文本、图像、视频等。短暂消息的访问时间可以由消息发送者设置。可替选地,访问时间可以是默认设置或者由接收者指定的设置。无论设置技术如何,该消息都是暂态的。
“机器存储介质”是指存储可执行指令、例程和/或数据的单个或多个存储设备和/或介质(例如,集中式或分布式数据库、和/或相关联的高速缓存和服务器)。因此,术语应被视为包括但不限于固态存储器以及光学和磁性介质,包括处理器内部或外部的存储器。机器存储介质、计算机存储介质和/或设备存储介质的具体示例包括:非易失性存储器,包括例如半导体存储器设备,例如可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、FPGA和闪存设备;磁盘,诸如内部硬盘和可移动磁盘;磁光盘;以及CD-ROM和DVD-ROM磁盘。术语“机器存储介质”、“设备存储介质”、“计算机存储介质”意指相同的事物,并且在本公开内容中可以互换地使用。术语“机器存储介质”、“计算机存储介质”和“设备存储介质”明确地排除了载波、调制数据信号和其他这样的介质,载波、调制数据信号和其他这样的介质中的至少一些被涵盖在术语“信号介质”中。
“处理器”是指根据控制信号(例如,“命令”、“操作码”、“机器码”等)操纵数据值并且产生被应用于操作机器的对应输出信号的任何电路或虚拟电路(通过在实际处理器上执行的逻辑模拟的物理电路)。例如,处理器可以是中央处理单元(CPU)、简化指令集计算(RISC)处理器、复杂指令集计算(CISC)处理器、图形处理单元(GPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、射频集成电路(RFIC)或其任何组合。处理器还可以是具有可以同时执行指令的两个或更多个独立处理器(有时称为“核”)的多核处理器。
“信号介质”是指能够存储、编码或携载由机器执行的指令的任何无形介质,并且“信号介质”包括数字或模拟通信信号或其他无形介质以有助于软件或数据的通信。术语“信号介质”应当被视为包括任何形式的调制数据信号、载波等。术语“调制数据信号”意指使其特性中的一个或更多个特性以对信号中的信息进行编码的方式来设置或改变的信号。术语“传输介质”和“信号介质”意指相同的事物并且可以在本公开内容中互换地使用。
在不脱离本公开内容的范围的情况下,可以对所公开的示例进行改变和修改。这些和其他改变或修改旨在被包括在本公开内容的范围内,如所附权利要求中所表达的。
Claims (20)
1.一种使用头戴式设备进行眼科评估的方法,所述头戴式设备包括一个或更多个显示设备以及在使用中面向用户的眼睛的一个或更多个摄像装置,所述方法包括:
显示眼科评估用户界面项;
接收对所述用户界面项的用户选择;
照明所述用户的眼睛;
捕获所述用户的眼睛的至少一个图像;
分析所述至少一个图像以评定所述用户的眼睛的健康;以及
向所述用户提供对所述至少一个图像的分析的输出。
2.根据权利要求1所述的方法,其中,所述照明由从所述一个或更多个显示设备发出的光提供。
3.根据权利要求1所述的方法,其中,所述头戴式设备包括光发射器,所述照明由所述光发射器提供。
4.根据权利要求1所述的方法,还包括:
在与所述头戴式设备相关联的音频扬声器上生成可听眼科评估提示;以及
在捕获所述至少一个图像之前确定对所述可听眼科评估提示的依从性。
5.根据权利要求4所述的方法,其中,所述可听眼科评估提示包括朝一定方向看的指令;以及
确定依从性通过对从所述一个或更多个摄像装置接收的图像流的帧执行的图像识别来执行。
6.根据权利要求4所述的方法,还包括:
在所述显示设备上显示特征,
其中,所述眼科评估提示包括观看在所述显示设备上显示的所述特征的指令。
7.根据权利要求1所述的方法,其中,确定依从性通过接收证实的用户输入来执行。
8.根据权利要求1所述的方法,其中,捕获所述用户的眼睛的至少一个图像包括:
捕获所述用户的眼睛的多个图像;以及
根据所述多个图像生成所述用户的眼睛的合成图像。
9.根据权利要求8所述的方法,还包括:
在与所述头戴式设备相关联的音频扬声器上生成可听眼科评估提示;以及
在捕获所述多个图像中的每一个之前确定对每个可听眼科评估提示的依从性。
10.根据权利要求8所述的方法,其中,所述眼科评估用户界面项包括能够供用户选择的多个眼科评估,所述方法还包括:
接收对具体眼科评估的用户选择;以及
基于所述具体眼科评估来设置照明和摄像装置曝光设置。
11.一种包括头戴式设备的计算机系统,所述计算机系统包括:
一个或更多个处理器;
一个或更多个显示设备;
在使用中面向用户的眼睛的一个或更多个摄像装置;以及
存储指令的存储器,所述指令在由所述一个或更多个处理器执行时将所述计算机系统配置成执行操作,所述操作包括:
在显示设备上显示眼科评估用户界面项;
接收对所述用户界面项的用户选择;
照明所述用户的眼睛;
捕获所述用户的眼睛的至少一个图像;以及
分析所述至少一个图像以评定所述用户的眼睛的健康。
12.根据权利要求11所述的计算机系统,其中,所述照明由从所述一个或更多个显示设备发出的光提供。
13.根据权利要求11所述的计算机系统,其中,所述指令还将所述计算机系统配置成执行操作,所述操作包括:
在与所述头戴式设备相关联的音频扬声器上生成可听眼科评估提示;以及
在捕获所述至少一个图像之前确定对所述可听眼科评估提示的依从性。
14.根据权利要求11所述的计算机系统,其中,捕获所述用户的眼睛的至少一个图像包括:
捕获所述用户的眼睛的多个图像;以及
根据所述多个图像生成所述用户的眼睛的合成图像。
15.根据权利要求14所述的计算机系统,其中,所述指令还将所述计算机系统配置成执行操作,所述操作包括:
在与所述头戴式设备相关联的音频扬声器上生成可听眼科评估提示;以及
在捕获所述多个图像中的每一个之前确定对每个可听眼科评估提示的依从性。
16.根据权利要求14所述的计算机系统,其中,所述眼科评估用户界面项包括能够供用户选择的多个眼科评估,其中,所述指令还将所述系统配置成执行操作,所述操作包括:
接收对具体眼科评估的用户选择;以及
基于所述具体眼科评估来设置照明和摄像装置曝光设置。
17.一种非暂态计算机可读存储介质,所述计算机可读存储介质包括指令,所述指令在由包括头戴式设备的计算机系统执行时使所述计算机系统执行操作,所述头戴式设备包括一个或更多个显示设备以及在使用中面向用户的眼睛的一个或更多个摄像装置,所述操作包括:
在显示设备上显示眼科评估用户界面项;
接收对所述用户界面项的用户选择;
照明所述用户的眼睛;
捕获所述用户的眼睛的至少一个图像;以及
分析所述至少一个图像以评定所述用户的眼睛的健康。
18.根据权利要求17所述的计算机可读存储介质,其中,所述指令还将所述计算机系统配置成执行操作,所述操作包括:
在与所述头戴式设备相关联的音频扬声器上生成可听眼科评估提示;以及
在捕获所述至少一个图像之前确定对所述可听眼科评估提示的依从性。
19.根据权利要求17所述的计算机可读存储介质,其中,捕获所述用户的眼睛的至少一个图像包括:
捕获所述用户的眼睛的多个图像;以及
根据所述多个图像生成所述用户的眼睛的合成图像。
20.根据权利要求19所述的计算机可读存储介质,其中,所述指令还将所述计算机系统配置成执行操作,所述操作包括:
在与所述头戴式设备相关联的音频扬声器上生成可听眼科评估提示;以及
在捕获所述多个图像中的每一个之前确定对每个可听眼科评估提示的依从性。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202163156184P | 2021-03-03 | 2021-03-03 | |
US63/156,184 | 2021-03-03 | ||
US17/651,857 | 2022-02-21 | ||
US17/651,857 US20220280037A1 (en) | 2021-03-03 | 2022-02-21 | Ophthalmic imaging using a head-worn device |
PCT/US2022/070912 WO2022187824A1 (en) | 2021-03-03 | 2022-03-02 | Ophthalmic imaging using a head-worn device |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116916809A true CN116916809A (zh) | 2023-10-20 |
Family
ID=83116603
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280018392.7A Pending CN116916809A (zh) | 2021-03-03 | 2022-03-02 | 使用头戴式设备进行眼科成像 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220280037A1 (zh) |
EP (1) | EP4301205A1 (zh) |
KR (1) | KR20230150861A (zh) |
CN (1) | CN116916809A (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11681146B2 (en) | 2021-03-18 | 2023-06-20 | Snap Inc. | Augmented reality display for macular degeneration |
-
2022
- 2022-02-21 US US17/651,857 patent/US20220280037A1/en active Pending
- 2022-03-02 KR KR1020237033290A patent/KR20230150861A/ko unknown
- 2022-03-02 CN CN202280018392.7A patent/CN116916809A/zh active Pending
- 2022-03-02 EP EP22710945.1A patent/EP4301205A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
KR20230150861A (ko) | 2023-10-31 |
EP4301205A1 (en) | 2024-01-10 |
US20220280037A1 (en) | 2022-09-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102300390B1 (ko) | 착용식 식품 영양 피드백 시스템 | |
CN103076875A (zh) | 具有全息对象的个人音频/视频系统 | |
WO2022005717A1 (en) | Generating ground truth datasets for virtual reality experiences | |
CN110945459A (zh) | 基于情绪的体验反馈 | |
US20200143773A1 (en) | Augmented reality immersive reader | |
US11953691B2 (en) | Eyewear with integrated peripheral display | |
CN115113399B (zh) | 用于黄斑变性的增强现实显示 | |
CN116916809A (zh) | 使用头戴式设备进行眼科成像 | |
WO2022187824A1 (en) | Ophthalmic imaging using a head-worn device | |
WO2022245815A1 (en) | Dynamic initialization of 3dof ar tracking system | |
CN117461309A (zh) | 对于计算机立体视觉的未对准观察点缓解 | |
WO2022245855A1 (en) | Varied depth determination using stereo vision and phase detection auto focus (pdaf) | |
US20230035668A1 (en) | Vision test and provision of prescription glasses | |
US11941184B2 (en) | Dynamic initialization of 3DOF AR tracking system | |
US11863596B2 (en) | Shared augmented reality session creation | |
US20240135633A1 (en) | Generating ground truth datasets for virtual reality experiences | |
US20230309824A1 (en) | Accommodation tracking based on retinal-imaging | |
US20240073402A1 (en) | Multi-perspective augmented reality experience | |
US20240143267A1 (en) | Electronic device for using external device in metaverse and method thereof | |
US11704931B2 (en) | Predicting display fit and ophthalmic fit measurements using a simulator | |
US20240069637A1 (en) | Touch-based augmented reality experience | |
WO2023196303A1 (en) | Wearable device ar object voice-based interaction | |
WO2023200647A1 (en) | Intelligent actuated nose bridge | |
WO2023200650A1 (en) | Intelligent actuated and adjustable glasses nose pad arms | |
CN117441331A (zh) | 用于增强现实显示的自适应亮度 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |