CN117716435A - 视力测试和处方眼镜的提供 - Google Patents
视力测试和处方眼镜的提供 Download PDFInfo
- Publication number
- CN117716435A CN117716435A CN202280052749.3A CN202280052749A CN117716435A CN 117716435 A CN117716435 A CN 117716435A CN 202280052749 A CN202280052749 A CN 202280052749A CN 117716435 A CN117716435 A CN 117716435A
- Authority
- CN
- China
- Prior art keywords
- user
- eyeglass frame
- prescription
- eye
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 100
- 230000004438 eyesight Effects 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 claims abstract description 88
- 230000003287 optical effect Effects 0.000 claims abstract description 49
- 239000011521 glass Substances 0.000 claims description 113
- 238000004891 communication Methods 0.000 claims description 47
- 230000015654 memory Effects 0.000 claims description 47
- 230000004044 response Effects 0.000 claims description 40
- 238000013475 authorization Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 description 41
- 238000012545 processing Methods 0.000 description 21
- 230000005540 biological transmission Effects 0.000 description 20
- 230000000875 corresponding effect Effects 0.000 description 19
- 230000008569 process Effects 0.000 description 14
- 230000008859 change Effects 0.000 description 13
- 238000010168 coupling process Methods 0.000 description 13
- 238000005859 coupling reaction Methods 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 13
- 230000008878 coupling Effects 0.000 description 11
- 230000006855 networking Effects 0.000 description 9
- 230000002093 peripheral effect Effects 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 210000001525 retina Anatomy 0.000 description 8
- 230000004304 visual acuity Effects 0.000 description 8
- 230000003190 augmentative effect Effects 0.000 description 7
- 230000001413 cellular effect Effects 0.000 description 7
- 230000033001 locomotion Effects 0.000 description 7
- 239000008186 active pharmaceutical agent Substances 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 239000000463 material Substances 0.000 description 6
- 238000001514 detection method Methods 0.000 description 4
- 230000001151 other effect Effects 0.000 description 4
- 210000001747 pupil Anatomy 0.000 description 4
- 238000012552 review Methods 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 201000009310 astigmatism Diseases 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000012530 fluid Substances 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 208000002177 Cataract Diseases 0.000 description 2
- 208000010412 Glaucoma Diseases 0.000 description 2
- 206010020675 Hypermetropia Diseases 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- GVVPGTZRZFNKDS-JXMROGBWSA-N geranyl diphosphate Chemical compound CC(C)=CCC\C(C)=C\CO[P@](O)(=O)OP(O)(O)=O GVVPGTZRZFNKDS-JXMROGBWSA-N 0.000 description 2
- 230000004305 hyperopia Effects 0.000 description 2
- 201000006318 hyperopia Diseases 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 208000001491 myopia Diseases 0.000 description 2
- 230000004379 myopia Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 238000010079 rubber tapping Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000008054 signal transmission Effects 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 239000000356 contaminant Substances 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 210000000695 crystalline len Anatomy 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009429 electrical wiring Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 231100001261 hazardous Toxicity 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000008261 resistance mechanism Effects 0.000 description 1
- 230000004266 retinal recognition Effects 0.000 description 1
- 229910001285 shape-memory alloy Inorganic materials 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/02—Subjective types, i.e. testing apparatus requiring the active assistance of the patient
- A61B3/024—Subjective types, i.e. testing apparatus requiring the active assistance of the patient for determining the visual field, e.g. perimeter types
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
- G06Q10/083—Shipping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/08—Payment architectures
- G06Q20/14—Payment architectures specially adapted for billing systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/38—Payment protocols; Details thereof
- G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
- G06Q20/407—Cancellation of a transaction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0621—Item configuration or customization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0641—Shopping interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0641—Shopping interfaces
- G06Q30/0643—Graphical representation of items or shoppers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/22—Social work
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Abstract
根据用户的视力处方向用户提供处方眼镜的方法包括:使用头戴式设备的显示设备执行眼睛测试,以确定用户的视力处方。在相关联的便携式设备上显示可用眼镜框架的选择,并且使用便携式设备接收对眼镜框架的用户选择。在由便携式设备的摄像装置捕获的用户的图像上显示所选择的眼镜框架的AR模型。接收对眼镜框架的最终用户选择,并且将用户的视力处方和最终选择的眼镜框架的标识发送给光学处方服务的至少一个供应商。
Description
相关申请数据
本申请要求于2021年7月29日提交的美国临时专利申请序列第63/203,734号的权益,该美国临时专利申请的内容通过引用并入,如同明确阐述一样。
技术领域
本公开内容总体上涉及可穿戴设备以及使用可穿戴设备执行的视力评定(assessment)。
背景技术
头戴式设备可以实现为具有透明或半透明显示器,可穿戴设备的用户可以通过该显示器查看周围环境。这样的设备使用户能够通过透明或半透明显示器观看以查看周围环境,并且还能够看到为显示而生成以表现为周围环境的一部分和/或叠加在周围环境上的对象(例如,虚拟对象,例如3D呈现、图像、视频、文本等)。这通常被称为“增强现实”。
头戴式设备还可以完全遮盖用户的视野并且显示用户可以通过其移动或被移动的虚拟环境。这通常被称为“虚拟现实”。如本文所使用的,除非上下文另有指示,否则术语“增强现实”或“AR”指的是传统理解的增强现实和虚拟现实两者。
附图的若干视图的简单描述
在不一定按比例绘制的附图中,相似的附图标记可以在不同视图中描述类似的部件。为了容易地识别对任何特定元素或动作的讨论,附图标记中的一个或多个最高位数字指该元素被首次引入时所在的图号。在附图的图中示出了一些非限制性示例,在附图中:
图1是根据一些示例的可以在其中部署本公开内容的联网环境的图解表示。
图2是根据一些示例的具有客户端侧功能和服务器侧功能二者的消息收发系统的图解表示。
图3是根据一些示例的可穿戴设备的透视图。
图4是示出根据一个示例的包括可穿戴设备的细节的联网系统的框图。
图5示出了根据一些示例的包括形成集成显示器的显示器410的可穿戴设备(例如,眼镜500)。
图6示出了可以与图3或图5的眼镜一起包括在内的可变焦距透镜。
图7是示出根据一个示例的增强现实视力表的定位的示意图。
图8A和图8B示出了根据一个示例的提供与提供眼睛测试和处方眼镜服务相关的服务的处理的流程图800。
图9是示出根据一个示例的用于确定用户的眼镜处方的处理的流程图。
图10是示出根据一个示例的进行AR眼睛测试的处理的流程图。
图11A是响应于接收到图8A和图8B的流程图中对眼镜框架的用户选择而在客户端设备上显示的用户界面的示例。
图11B是响应于图11A的用户界面中的捕获输入而可以显示的用户界面的示例。
图12是示出根据一些示例的可以在其中实现本公开内容的软件架构的框图。
图13是根据一些示例的呈计算机系统形式的机器的图形表示,在该计算机系统中可以执行一组指令,以使机器执行所讨论的方法中的任何一种或更多种。
具体实施方式
根据一些示例,实现为具有透明或半透明显示器的可穿戴设备使用户能够通过透明或半透明显示器观看以查看周围环境。另外,可穿戴设备可以使用户能够看到为显示而生成以表现为周围环境的一部分和/或叠加在周围环境上的对象(例如,虚拟对象,诸如3D呈现、图像、视频、文本等)。这样的可穿戴设备可以为用户提供增强现实体验
可穿戴设备包括用于向设备的穿戴者显示对象(例如虚拟对象)的集成显示器。集成显示器可以例如包括接收来自投影仪的光束的波导,但是可以使用用于向穿戴者呈现增强或虚拟内容的任何适当显示器。
使用中的可穿戴设备通常但不一定与相关联的便携式计算设备配合向穿戴者显示虚拟视力表。视力表以适当的视距离和以适当的视尺寸呈现,以呈现标准视力表,该标准视力表可以用于使用熟悉的技术来评定用户的视力,而无需拜访验光师。可以提供音频提示以引导用户浏览视力表,并且用户的响应可以由可穿戴设备或便携式设备使用语音识别技术、手势或通过与可穿戴设备相关联的一些其他输入设备例如智能手机或其他便携式计算设备来捕获和识别。可以将用户的响应与对提示的预期响应进行比较,并且可以对用户的表现进行评分。然后可以为每只眼睛生成整体视觉评分,该评分可以呈现给用户或发送给医疗办公室。在一个示例中,视觉评分是用于矫正用户视力的处方。
在一些示例中,用户可以使用在线店面浏览、选择和购买处方眼镜框架,该在线店面集成有AR功能,以向用户展示用户佩戴可用框架的样子。然后,选定的框架和用户的眼镜处方可以发送给一个或更多个供应商,以完成订单。
可穿戴设备还可以包括一个或更多个摄像装置,所述摄像装置在使用时面向穿戴者的眼睛。这些摄像装置可以用于对穿戴者眼睛进行成像,以确定是否存在可能需要进一步关注的任何眼部状况。另外,可穿戴设备可以包括在可见或近可见光谱中的一个或更多个光发射器,其可以用于照明眼睛的外表面或内表面以辅助该确定。此外,光发射器可以被配置成将图案投影至穿戴者的视网膜上,其然后可以通过面向穿戴者眼睛的摄像装置来捕获和分析。
在一些示例中,提供了由一个或更多个处理器执行的根据用户的视力处方向用户提供处方眼镜的方法。该方法包括:使用头戴式设备的显示设备执行眼睛测试以确定用户的视力处方,在便携式设备上显示眼镜框架的选择,使用便携式设备接收对眼镜框架的用户选择,在由便携式设备的摄像装置捕获的用户的图像上显示选定眼镜框架的AR模型,接收对眼镜框架的最终选择,以及将用户的视力处方和最终选择的眼镜框架的标识发送给至少一个光学处方服务的供应商。
该方法还可以包括:经由便携式设备提供关于用户是否能够访问头戴式设备的提示;以及响应于接收到指示用户无法访问头戴式设备的用户输入,发送向用户寄送头戴式设备的指令。该方法还可以包括:在发送向用户寄送头戴式设备的指令之前获得支付授权。在一些示例中,该方法还可以包括:在接收到从用户返还头戴式设备的通知时,取消或退还支付授权。
可以在用户的图像上显示AR模型的同时接收捕获媒体输入;可以捕获与AR模型在用户的图像上的显示对应的媒体;并且响应于接收到转发媒体输入,可以在消息或聊天会话中发送所捕获的媒体。
在一些示例中,该方法还可以包括:同与眼保健从业者相关联的远程设备创建联合通信会话;将与使用头戴式设备的显示设备执行的眼睛测试有关的数据发送到远程设备;以及从远程设备接收用户的视力处方的批准数据。可以将使用头戴式设备眼睛测试的显示设备执行眼睛测试期间生成的摘要数据发送到与眼保健从业者相关联的远程设备;并且可以从远程设备接收用户的视力处方的批准数据。
该方法还可以包括:显示列出处方眼镜框架的特性的用户界面元素;接收对一个或更多个特定特性的用户选择;以及按照特定特性在便携式设备上限制眼镜框架的选择。
该方法还可以包括:在轮播用户界面中显示眼镜框架的限制选择的标识;接收触摸输入,以将特定眼镜框架标识放置在轮播用户界面的中心位置;以及在由便携式设备的摄像装置捕获的用户的图像上显示特定眼镜框架的AR模型。
在一些示例中,提供了一种非暂态计算机可读存储介质,该计算机可读存储介质包括指令,该指令在被计算机系统执行时使计算机系统通过执行根据上述方法步骤和限制中的任何一个的操作来根据用户的视力处方向用户提供处方眼镜,所述操作包括但不限于:使用头戴式设备的显示设备执行眼睛测试,以确定用户的视力处方;在便携式设备上显示眼镜框架的选择;使用便携式设备接收对眼镜框架的用户选择;在由便携式设备的摄像装置捕获的用户的图像上显示所选择的眼镜框架的AR模型;接收对眼镜框架的最终选择;以及将用户的视力处方和最终选择的眼镜框架的标识发送给光学处方服务的至少一个供应商。
在一些示例中,提供了一种计算机系统,该计算机系统包括一个或更多个处理器和存储指令的存储器,该指令在被一个或更多个处理器执行时将计算机系统配置成通过执行根据上述方法步骤和限制中的任何一个的操作来根据用户的视力处方向用户提供处方眼镜,所述操作包括但不限于:使用头戴式设备的显示设备执行眼睛测试,以确定用户的视力处方;在便携式设备上显示眼镜框架的选择;使用便携式设备接收对眼镜框架的用户选择;在由便携式设备的摄像装置捕获的用户的图像上显示所选择的眼镜框架的AR模型;接收对眼镜框架的最终选择;以及将用户的视力处方和最终选择的眼镜框架的标识发送给光学处方服务的至少一个供应商。
根据以下附图、描述和权利要求,其他技术特征对于本领域技术人员可以是非常明显的。
网络化计算环境
图1是示出用于通过网络来交换数据(例如消息和相关联的内容)的示例消息收发系统100的框图。消息收发系统100包括用户设备102的多个实例,所述多个实例中的每个实例托管包括消息收发客户端104和其他应用106的若干应用。每个消息收发客户端104经由网络112(例如,因特网)通信地耦接至消息收发客户端104(例如,托管在相应的其他客户端设备102上)、消息收发服务器系统108和第三方服务器110的其他实例。消息收发客户端104还可以使用应用程序接口(API)与本地主机应用106通信。
还与客户端设备102中的一个或更多个相关联的是可穿戴设备,例如在一些示例中包括AR眼镜300/500/600。
消息收发客户端104能够经由网络112与其他消息收发客户端104以及与消息收发服务器系统108通信并交换数据。在消息收发客户端104之间以及在消息收发客户端104与消息收发服务器系统108之间交换的数据包括功能(例如,用于激活功能的命令)以及有效载荷数据(例如,文本、音频、视频或其他多媒体数据)。
消息收发服务器系统108经由网络112向特定消息收发客户端104提供服务器侧功能。虽然消息收发系统100的某些功能在本文被描述为由消息收发客户端104或由消息收发服务器系统108执行,但是某些功能的位置是在消息收发客户端104内还是在消息收发服务器系统108内可以是设计选择。例如,在技术上可能优选是:最初将某些技术和功能部署在消息收发服务器系统108内,但是后面将该技术和功能迁移至用户设备102具有足够处理能力的消息收发客户端104。
消息收发服务器系统108支持向消息收发客户端104提供的各种服务和操作。这样的操作包括向消息收发客户端104发送数据、从消息收发客户端接收数据以及对由消息收发客户端生成的数据进行处理。作为示例,该数据可以包括消息内容、客户端设备信息、地理定位信息、媒体增强和覆盖、消息内容持久化条件、社交网络信息和现场事件信息。通过经由消息收发客户端104的用户界面(UI)可用的功能来激活和控制消息收发系统100内的数据交换。
现在具体地转至消息收发服务器系统108,应用程序接口(API)服务器116耦接至应用服务器114并且向应用服务器提供编程接口。应用服务器114通信地耦接至数据库服务器120,该数据库服务器有助于对数据库130进行访问,该数据库存储与由应用服务器114处理的消息相关联的数据。类似地,web服务器132耦接至应用服务器114,并且向应用服务器114提供基于web的接口。为此,web服务器132通过超文本传输协议(HTTP)和若干其他相关协议来处理传入的网络请求。
应用程序接口(API)服务器116在用户设备102与应用服务器114之间接收和发送消息数据(例如,命令和消息有效载荷)。具体地,应用程序接口(API)服务器116提供一组接口(例如,例程和协议),该组接口可以被消息收发客户端104调用或查询以激活应用服务器114的功能。应用程序接口(API)服务器116公开由应用服务器114支持的各种功能,包括:帐户登记;登录功能;经由应用服务器114将消息从特定消息收发客户端104发送至另一消息收发客户端104;将媒体文件(例如,图像或视频)从消息收发客户端104发送至消息收发服务器118并用于另一消息收发客户端104的可能访问;设置媒体数据集合(例如,故事);检索用户设备102的用户的朋友列表;检索这样的集合;检索消息和内容;向实体图(例如,社交图)添加和删除实体(例如,朋友);在社交图内定位朋友;以及打开(例如,与消息收发客户端104相关的)应用事件。
应用服务器114托管若干服务器应用和子系统,包括例如消息收发服务器118、图像处理服务器122和社交网络服务器124。消息收发服务器118实现了若干消息处理技术和功能,特别是与从消息收发客户端104的多个实例接收到的消息中包括的内容(例如,文本和多媒体内容)的聚合和其他处理相关的消息处理技术和功能。如将进一步详细描述的,来自多个源的文本和媒体内容可以被汇集成内容的集合(例如,称为故事或图库(gallery))。然后,使这些集合可用于消息收发客户端104。鉴于对这样的处理的硬件要求,也可以由消息收发服务器118在服务器侧执行数据的其他处理器和存储器密集型处理。
应用服务器114还包括图像处理服务器122,该图像处理服务器专用于执行各种图像处理操作,通常相对于在从消息收发服务器118发送或者在消息收发服务器处接收的消息的有效载荷内的图像或视频,执行各种图像处理操作。
社交网络服务器124支持各种社交联网功能和服务,并且使这些功能和服务可用于消息收发服务器118。
眼科服务服务器126为本文所述的眼科评定和相关联的服务提供管理服务,包括但不限于为使用了本文所述的眼科服务的AR眼镜300的用户维护相关联的记录。
电子商务服务器128提供与用户基于本文所述的眼科服务订购了的处方眼镜的选择、订购和履行有关的服务。这些服务包括:向已进行或打算进行本文所述的视敏度测试的用户提供眼镜款式和选项,接收对特定款式眼镜和任何相关联的选项如框架颜色、透镜色调等的选择,接收最终订单和付款信息,以及向制造商或其他供应商下达处方眼镜的订单。电子商务服务器还可以针对没有AR眼镜300或拥有不支持本文所述的测试的AR眼镜的用户,提供AR眼镜300的订购和付款服务。在一个示例中,AR眼镜300将用于本文所述的测试,然后一旦完成了测试和订购,就由用户返还。在这种情况下,可以在操作812中将AR眼镜300寄送给用户,并附上返还寄送(return-shipping)标签和收取适当的押金,或提供其他授权,以确保返还AR眼镜300或者在一定期限内未返还时购买AR眼镜。
系统架构
图2是示出根据一些示例的关于消息收发系统100的其他细节的框图。具体地,消息收发系统100被示出为包括消息收发客户端104和应用服务器114。消息收发系统100包含若干子系统,这些子系统在客户端侧由消息收发客户端104支持并且在服务器侧由应用服务器114支持。例如,这些子系统包括产品目录系统204、增强系统208、眼科评定系统202、电子商务系统210和外部资源系统212。
产品目录系统204负责管理与可供用户购买的处方眼镜的可用品牌、款式和选项有关的媒体集或集合(例如,文本、图像视频和音频数据的集合)。特别地,产品目录系统204可以包括处方眼镜的AR模型的集合,增强系统208可以将这些集合应用到由用户设备102中的摄像装置捕获到的用户的实时馈送,或者显示诸如设备的用户或朋友的人的面部的静态图像或视频剪辑。内容集合可以使用元数据按不同类别例如基于性别身份、颜色、款式、品牌等进行组织或搜索。
产品目录系统204还包括策展接口206,该策展接口允许集合管理者管理和策展特定内容集合。例如,策展接口206使处方眼镜品牌公司能够(从第三方服务器110)访问和策展与其产品相关的内容集合,然后可供用户设备102的用户查看。
增强系统208提供使得用户能够增强(例如,注解或以其他方式修改或编辑)媒体内容的各种功能。例如,增强系统208提供与生成和发布针对由消息收发系统100处理的媒体覆盖(media overlay)内容有关的功能。媒体覆盖可以包括音频和视觉内容以及视觉效果。音频和视觉内容的示例包括图片、文本、标识、动画和声音效果。音频和视觉内容或视觉效果可应用于用户设备102处的媒体内容项(例如,实时视频馈送、照片或视频剪辑)。
在本文描述的示例中,增强系统208将与选定处方眼镜框架对应的AR效果媒体覆盖应用到用户或其朋友的面部,以提供用户佩戴眼镜时的外观预览。增强系统208通常还提供基于用户的发布平台,该发布平台使用户能够在聊天会话或与用户相关联的故事馈送中发布所应用的媒体覆盖的图像或视频剪辑,以允许其他人回应或评论用户佩戴选定眼镜时的外观。
眼科评定系统202提供下文更详细描述的与眼科评定有关的方法,并与眼科服务服务器126一起为眼科评定提供管理服务,包括但不限于为使用了本文所述的眼科服务的AR眼镜300的用户维护相关联的评定记录、处方眼镜偏好和选择等。
电子商务系统210与电子商务服务器128结合,提供与用户基于本文所述的眼科服务订购了的处方眼镜的选择、订购和履行有关的服务。
在一些示例中,本文所述的方法与消息收发客户端104或其他独立应用106集成在一起。在其他情况下,本文所述的方法可以由在消息收发客户端104或其他独立应用的上下文内访问的小程序或其他第三方资源提供。例如,产品目录系统204、眼科评定系统202和电子商务系统210可以全部或单独作为小程序提供,该小程序在消息收发客户端104或其他独立应用106的上下文中被访问。
外部资源系统212为消息收发客户端104提供接口以与远程服务器(例如,第三方服务器110)通信以启动或访问外部资源,例如应用或小程序。每个第三方服务器110托管例如基于标记语言(如HTML5)的应用或应用的小型版本。消息收发客户端104可以通过从与基于web的资源相关联的第三方服务器110访问HTML5文件来启动基于web的资源(例如,应用)。在某些示例中,利用由消息收发服务器118提供的软件开发工具包(SDK)以JavaScript对由第三方服务器110托管的应用进行编程。SDK包括应用程序接口(API),该API具有可以由基于web的应用调用或激活的功能。在某些示例中,消息收发服务器118包括JavasScript库,该库提供对消息收发客户端104的某些用户数据的给定外部资源访问。HTML5用作示例技术,但应用和小程序可以基于其他技术。
图3是根据一些示例的可穿戴设备(例如,AR眼镜300)的透视图。AR眼镜300可以包括框架332,框架由诸如塑料或金属的任何合适的材料——包括任何合适的形状记忆合金——制成。在一个或更多个示例中,框架332包括前件334,前件包括由桥318连接的第一光学元件保持器或左光学元件保持器314(例如,显示器或透镜保持器)和第二光学元件保持器或右光学元件保持器320。前件334另外包括左端部310和右端部324。可以分别在左光学元件保持器314和右光学元件保持器320内设置第一光学元件或左光学元件316以及第二光学元件或右光学元件322。右光学元件322和左光学元件316中的每一个可以是透镜、显示器、显示组件或前述的组合。可以在AR眼镜300中设置有任何合适的显示组件。
框架332另外包括左臂件或左镜腿件336和右臂件或右镜腿件338,它们通过任何合适的装置如铰链(未示出)耦接至前件334的相应左端部310和右端部324以耦接至前件334,或者刚性地或可固定地固定至前件334以与前件334成为一体。在一个或更多个实现方式中,镜腿件336和镜腿件338中的每一个包括第一部308和任何合适的第二部326,第一部耦接至前件334的相应左端部310或右端部324,第二部用于耦接至用户的耳朵。在一个示例中,前件334可以由单件材料形成,以具有一元或一体构造。在一个示例中,例如图3所示,整个框架332可以由单件材料形成,以具有一元或一体的构造。
AR眼镜300可以包括诸如计算机328的计算设备,该计算设备可以具有任何合适的类型以便由框架332承载,并且在一个或更多个示例中,该计算设备可以具有合适的尺寸和形状以至少部分地设置在镜腿件336和镜腿件338之一中。在一个或更多个示例中,如图3所示,计算机328的尺寸和形状类似于镜腿件338(例如,或镜腿件336)之一的尺寸和形状,并且因此如果不是完全地则几乎是完全地设置在这样的镜腿件338的结构和界限内。在一个或更多个示例中,计算机328设置在镜腿件336和镜腿件338两者中。计算机328可以包括一个或更多个处理器以及存储器、无线通信电路系统和电源。如下面所讨论的,计算机328包括低功率电路系统、高速电路系统和显示处理器。各种其他示例可以包括不同配置的或以不同方式集成在一起的这些元件。计算机328的各方面的附加细节可以如下面讨论的数据处理器402所示来实现。
计算机328另外地包括电池306或其他合适的便携式电源。在一个示例中,电池306设置在镜腿件336或镜腿件338之一中。在图3所示的AR眼镜300中,电池306被示为设置在左镜腿件336中并且使用连接330电耦接至设置在右镜腿件338中的计算机328的其余部分。AR眼镜300可以包括适用于为可从框架332的外部访问的电池306充电的连接器或端口(未示出)、无线接收器、发射器或收发器(未示出)、或这样的设备的组合。
在一个或更多个实现方式中,AR眼镜300包括摄像装置302。尽管描绘了两个摄像装置,但是其他示例考虑使用单个或附加(即,多于两个)摄像装置。在一个或更多个示例中,除了摄像装置302之外,AR眼镜300还包括任何数目的输入传感器或外围设备。前件334设置有:当AR眼镜300安装在用户的面部上时面向前方或背对用户的面向外的、面向前的或者前或外表面312;以及当AR眼镜300安装在用户的面部上时面向用户的面部的相对的面向内的、面向后的或者后或内表面304。这样的传感器可以包括:面向内的视频传感器或数字成像模块,例如摄像装置,其安装在前件334的内表面304上或设置在前件334的内表面104内或框架332上的其他地方以便面向用户;以及面向外的视频传感器或数字成像模块,例如摄像装置302,其可以安装在前件334的外表面312上或设置在前件的外表面内或框架332上的其他地方以便背对用户。这样的传感器、外围设备或外围装置可以另外包括生物计量传感器、位置传感器或任何其他这样的传感器。
图4是示出根据一些示例的包括AR眼镜300的细节的联网系统400的框图。
联网系统400包括AR眼镜300、客户端设备428和服务器系统432。客户端设备428可以是智能电话、平板计算机、平板电话、膝上型计算机、接入点或能够使用低功率无线连接436和高速无线连接434两者与AR眼镜300连接的任何其他这样的设备。客户端设备428经由网络430连接至服务器系统432。网络430可以包括有线连接和无线连接的任何组合。服务器系统432可以是作为服务或网络计算系统的一部分的一个或更多个计算设备。客户端设备428以及服务器系统432和网络430的任何元件可以使用图12和图13中描述的软件架构1204或机器1300的细节来实现。
AR眼镜300包括数据处理器402、显示器410、一个或更多个摄像装置408、附加的外围元件416。外围元件416可以包括麦克风、音频扬声器、生物计量传感器、附加传感器或与数据处理器402集成的附加显示元件。关于图12和图13进一步讨论了外围元件416的示例。例如,外围元件416可以包括任何I/O部件1306,I/O部件606包括输出部件1328、运动部件1336、或本文描述的任何其他这样的元件。在图5中讨论了显示器410的示例。在本文描述的特定示例中,显示器410包括用于用户的左眼和右眼中的每一个的显示器。
数据处理器402包括图像处理器406(例如,视频处理器)、GPU和显示驱动器438、跟踪模块440、接口412、低功率电路系统404和高速电路系统420。数据处理器402的部件通过总线442互连。
接口412是指被提供至数据处理器402的用户命令的任何源。在一个或更多个示例中,接口412是摄像装置上的物理按钮,当按下该按钮时,将用户输入信号从接口412发送至低功率处理器414。低功率处理器414可以将按下这样的摄像装置按钮然后立即释放作为捕获单个图像的请求来处理。低功率处理器414可以将在第一时间段内按下这样的摄像装置按钮作为在按钮被按下时捕获视频数据以及在按钮被释放时停止视频捕获的请求来处理,其中将按钮被按下时捕获的视频存储为单个视频文件。在其他示例中,接口412可以是能够接受与来自摄像装置408的数据请求相关联的用户输入的任何机械开关或物理接口。在其他示例中,接口412可以具有软件部件,或者可以与从另一源例如从客户端设备428无线接收的命令相关联。
图像处理器406包括用于接收来自摄像装置408的信号并且将来自摄像装置408的那些信号处理成适合存储在存储器424中或适合发送至客户端设备428的格式的电路系统。在一个或更多个示例中,图像处理器406(例如,视频处理器)包括针对处理来自摄像装置408的传感器数据而定制的微处理器集成电路(IC)、以及微处理器在操作中使用的易失性存储器。
低功率电路系统404包括低功率处理器414和低功率无线电路系统418。低功率电路系统404的这些元件可以实现为单独的元件或者可以在单个IC上实现为单个芯片上系统的一部分。低功率处理器414包括用于管理AR眼镜300的其他元件的逻辑。如上面所描述的,例如,低功率处理器414可以接受来自接口412的用户输入信号。低功率处理器414还可以被配置成经由低功率无线连接436从客户端设备428接收输入信号或指令通信。低功率无线电路系统418包括用于实现低功率无线通信系统的电路元件。BluetoothTMSmart,也称为BluetoothTM低功耗,是可以用于实现低功率无线电路系统418的低功率无线通信系统的一种标准实现方式。在其他示例中,可以使用其他低功率通信系统。
高速电路系统420包括高速处理器422、存储器424和高速无线电路系统426。高速处理器422可以是能够管理数据处理器402所需的任何通用计算系统的高速通信和操作的任何处理器。高速处理器422包括使用高速无线电路系统426管理高速无线连接434上的高速数据传输所需的处理资源。在某些示例中,高速处理器422执行诸如LINUX操作系统的操作系统或诸如图12的操作系统1212的其他这样的操作系统。除了任何其他职责之外,使用执行数据处理器402的软件架构的高速处理器422来管理与高速无线电路系统426的数据传输。在特定示例中,高速无线电路系统426被配置成实现电气和电子工程师协会(IEEE)802.11通信标准,其在本文也称为Wi-Fi。在其他示例中,高速无线电路系统426可以实现其他高速通信标准。
存储器424包括能够存储由摄像装置408和图像处理器406生成的摄像装置数据的任何存储装置。虽然存储器424被示出为与高速电路系统420集成,但是在其他示例中,存储器424可以是数据处理器402的单独的独立元件。在特定的这样的示例中,电气布线可以提供通过包括高速处理器422的芯片从图像处理器406或低功率处理器414至存储器424的连接。在其他示例中,高速处理器422可以管理存储器424的寻址,使得低功率处理器414将在需要涉及存储器424的读或写操作的任何时候引导高速处理器422。
跟踪模块440估计AR眼镜300的位姿(pose)。例如,跟踪模块440使用来自摄像装置408和定位部件1340的图像数据和相应的惯性数据以及GPS数据来跟踪AR眼镜300相对于参照系(例如,真实世界环境)的位置和位姿。在一个示例中,跟踪模块440使用传感器和图像数据来确定AR眼镜300的三维位姿。三维位姿是AR眼镜300相对于用户真实世界环境所确定的取向和定位。例如,跟踪模块440可以使用用户真实世界环境的图像以及其他传感器数据,以使用诸如运动恢复结构的技术或者通过使用现有的3D点云来识别AR眼镜300相对于AR眼镜300周围的真实世界环境中的物理对象的相对定位和取向。跟踪模块440不断地收集和使用描述AR眼镜300的运动的更新后的传感器数据来确定更新后的AR眼镜300的三维位姿,该三维位姿指示相对于真实世界环境中的物理对象的相对位置和取向的变化。跟踪模块440允许AR眼镜300经由显示器410在用户的视场内将虚拟对象相对于物理对象视觉放置。
GPU和显示驱动器438使用AR眼镜300的三维位姿来生成要在显示器410上呈现的虚拟内容的帧。例如,GPU和显示驱动器438使用三维位姿来呈现虚拟内容的帧,使得虚拟内容在显示器410中以适当的取向、定位和深度呈现,从而将虚拟内容与用户对物理对象的视图适当地结合。GPU适当地缩放和确定虚拟内容的位置,使得虚拟内容的感知大小与虚拟内容距用户的预期距离一致。GPU和显示驱动器438基于更新后的AR眼镜300的三维位姿来生成更新后的虚拟内容的帧,这反映了用户相对于用户真实世界环境中的物理对象的定位和取向的变化。
增强现实环境或虚拟现实环境中显示的虚拟对象通常以固定焦距(通常为无限远)显示。也就是说,从任何特定虚拟对象进入眼睛的光线是平行的(对于无限焦距),而不管基于诸如对象的大小、其相对于其他对象的放置以及呈现给左眼和右眼的图像之间的立体差异的暗示的对象的感知或虚拟距离。然而,常规眼睛测试通常位于20ft(6m)的距离处。在某些情况下,AR眼镜300可以设置有可变焦距透镜(见下文图6),以便将焦距从头戴式设备中提供的任何标准或默认焦距变为正确的焦距。在其他情况下,由AR眼镜300或其他头戴式设备提供的现有焦距可能提供足够准确的眼睛测试结果,即使由头戴式设备提供的焦距不对应于特定眼睛测试的焦距。
本文所描述的一个或更多个功能或操作也可以在驻留在AR眼镜300上或客户端设备428上或远程服务器上的应用中执行。例如,本文所描述的一个或更多个功能或操作可以由应用1206诸如消息收发应用1246或定制眼睛测试应用之一执行。
图5示出了根据一些示例的包括形成集成显示器的显示器410的可穿戴设备(例如,AR眼镜500)。AR眼镜500可以是任何合适的类型,包括AR眼镜300,并且相似的附图标记已经用于描述AR眼镜500和AR眼镜300的相似部件。AR眼镜500包括固定在左光学元件保持器314和右光学元件保持器320中的每一个内的光学透镜502。光学透镜502中的每一个具有相应的前表面(未示出)和相对的后表面504。
AR眼镜500包括用于向用户显示图像的光学组件514。在图5的示例中,示出了一个光学组件514,但是通常为用户的两只眼睛(例如,为镜腿件336和镜腿件338两者)提供光学组件。光学组件514包括设置在眼镜的臂或镜腿(例如,AR眼镜500的右镜腿件336和左镜腿件338)中的一者或两者中的光源,例如投影仪508。投影仪508在使用时可以被盖506盖住。
光学组件514还包括显示器410。显示器410各自包括衍射结构或波导(例如光栅和/或光学元件)。显示器410还可包括沿显示器410的边缘的光学内耦合元件518,如棱镜或镜面。内耦合元件518用于将投影仪508发出的光510引导到显示器410中,在此处光遇到显示器410的衍射结构。衍射结构将光510引向用户的眼睛,从而在光学透镜502的后表面504上提供图像,该图像叠加在用户看到的真实世界的视图上。
AR眼镜500还包括面向内的摄像装置512,其指向用户的眼睛。还提供了一个或更多个光发射器,其类似地指向用户的瞳孔和视网膜并且可以照明用户的瞳孔和视网膜。在一些示例中,光发射器516是LED光发射器,其发出适于照明眼睛的光谱以通过摄像装置512捕获视网膜或瞳孔的图像,该图像可以用于识别眼睛的问题或潜在问题,例如青光眼或用户眼睛的晶状体中白内障的存在。在其他示例中,光发射器516可以包括如下网格:将对应的网格投影至用户的视网膜上。然后,投影至视网膜上的网格的图像可以由一个或更多个摄像装置512捕获,摄像装置可以用于通过与网格的参考或预期外观进行比较来评估用户的视敏度。在又一示例中,光发射器516可以是微型投影仪,其可以将光谱或图像例如网格投影至用户的视网膜上。如将理解的,摄像装置512和光发射器516中的每一个是可单独寻址的,以提供将根据被测试的眼睛和测试性质而变化的功能。
在另一实现方式中,投影仪508可以用于将光场投影至显示器410上,该光场可以提供足够的照明,以允许通过摄像装置512捕获学生的眼睛的瞳孔或晶状体或视网膜的图像,该图像可以用于识别眼睛的问题或潜在问题,例如青光眼或用户眼睛的晶状体中白内障的存在。由投影仪508投影的(每只眼睛一个)以及由显示器410显示的光场也可以例如包括一个或更多个特征,例如网格,所述特征在用户视网膜上的投影可以用于通过与网格的参考或预期外观进行比较来评估用户的视敏度。
虽然摄像装置512和光发射器516被示出为沿着眼镜的框架的上边缘,但应当理解,摄像装置512和光发射器516可以定位在框架332上的其他位置,例如在左光学元件保持器314和右光学元件保持器320周围。左光学元件保持器314或右光学元件保持器320中的一者或另一者上的一个或更多个摄像装置512可以捕获同时或接近同时的图像,由此可以构建用户眼睛的一个或更多个特征的合成图像。
图6示出了可以与AR眼镜300或AR眼镜500一起被包括在内的可变焦距透镜。图6中所示的AR眼镜600包括左右可变焦距透镜602。可变焦距透镜602位于显示器410和光学透镜502与用户眼睛之间,使得可变焦距透镜602对从现实世界接收到的入射光和由显示器410提供的光二者进行操作(见图5)。可变焦距透镜602还包括用于实现可变焦距透镜602的焦距变化的致动器604。
可变焦距透镜602可以是任何类型的可变焦距透镜,但在一些示例中可以例如是液体透镜(其中改变流体压力以改变弹性膜的曲率)、阿尔瓦雷斯(Alvarez)透镜——其中可以改变两个或更多个透镜的相对位置以改变透镜的光焦度——或液晶可变焦距透镜——其中可以改变液晶分子的方向以改变透镜的光焦度。
每个可变焦距透镜602还可以包括在光轴上串联布置的多个可变焦距元件,以提供所需的光焦度变化。例如,第一可变对焦元件可以设置有用于校正用户的远距离视力的可变球面基底强度,并且第二可变对焦元件可以设置有用于校正散光的可变圆柱基底强度和可变轴线(例如,在阿尔瓦雷斯或流体透镜的情况下,通过允许第二可变对焦元件绕光轴旋转)。替选地,也可以在单个LCD可变焦距透镜中提供可变基底强度、可变圆柱强度和可变轴线。
致动器604提供所需的输入,以改变可变焦距透镜602的光焦度。致动器604的性质取决于可变焦距透镜602的性质,并且例如在LCD可变焦距透镜的情况下可以是显示驱动器,在流体透镜的情况下可以是控制电子元件和叶轮或可变容积储液器,或者在阿尔瓦雷斯透镜的情况下可以是控制电子元件和机械致动器。此外,致动器604还可提供透镜元件之间的旋转运动,以提供可变的基底和圆柱强度,以及用于圆柱强度轴调整的可变圆柱强度元件的旋转。左右可变焦距透镜602可独立控制,以为用户的左右眼提供独立的光学调节。
在使用中,致动器604由从数据处理器402或客户端设备428或其组合接收的信号控制,以改变左、右可变焦距透镜602各自的光焦度,这将在下文中详细讨论。
图7是示出根据一个示例的增强现实视力表的定位的示意图。用户702佩戴AR眼镜600。由于光学透镜502、显示器410和可变焦距透镜602的透明性质,用户将感知到真实世界中的对象,如物理对象706,这是由于光线710穿过AR眼镜600的光学元件并进入用户的眼睛。如下文将详细描述的,用户702选择了如下模式,在该模式中,虚拟AR视力表704经由显示器410显示给用户702,例如包括光学透镜502中的左或右投影仪508和相关联的显示器410。
显示器410的输出与穿过光学透镜502的任何光线710进行组合。然后,组合光线穿过左右可变焦距透镜602形成光线712,光线向用户702提供显示,其中AR视力表704以适合眼睛测试的感知距离708和大小以及适合眼睛测试的焦距(由可变焦距透镜602提供)叠加在物理对象706上。
按照常规,AR视力表704包括大小逐渐减小的各行字母,用户可以逐步尝试阅读这些字母来评定视敏度。在一个示例中,AR视力表704被显示在与受测眼睛对应的显示器上,而另一个显示器则什么也不显示(即通过该光学透镜502的视图不受遮挡),或者显示器投射出统一的颜色,例如黑色,使得未受测眼睛无法看到对应光学透镜502以外的内容。
在一些示例中,AR视力表704的位置由跟踪模块440和GPU与显示驱动器438保持在相对于真实世界中的对象例如物理对象706的持久位置,使得当用户其移动头部时,AR视力表704的外观相对于真实世界中的对象保持固定。然而,只要从AR视力表704至用户的感知距离708保持不变,就可能不需要这样做。在这种情况下,AR视力表704将相对于AR眼镜600固定,而不是相对于物理对象706固定。在另一个示例中,AR视力表704可以被示出为出现并保持在真实世界中的对象例如墙壁的表面上,前提是这种投影不会产生令人分心的不一致,例如,如果墙壁与AR视力表704的平面不够平行或距离不正确。
图8A和图8B示出了根据一个示例的用于提供与提供眼睛测试和处方眼镜服务相关的服务的处理的流程图800。出于说明的目的,流程图800的操作在本文被描述为串行地或线性地发生。然而,流程图800的多个操作可以并行地发生。另外,流程图800的操作不需要按所示出的顺序执行以及/或者流程图800的一个或更多个框不需要执行和/或可以由其他操作替换。
图8A所示的操作通常将在本文所述设备和系统的组合上执行,这一点从下文对流程图800的描述中是明显的。当然,根据实现方式,也可以存在变化。例如,具有眼镜框架的AR模型的集合的眼科服务服务器126、电子商务服务器128和产品目录系统204可以由分布在一个或更多个第三方服务器110上的一个或更多个第三方(即不是消息收发系统100的提供商)托管。
可以为流程图800提供各种输入点。例如,在决定订购处方眼镜之前,用户可能只是为了好玩而访问并虚拟试戴一系列处方眼镜框架;在决定订购处方眼镜之前,用户可能已经先做了本文所述的眼睛评定;或者用户可能从一开始就已经明确地开始于对消息收发应用1246中的选项进行用户选择以订购处方眼镜。流程图800描述的是后一种情况,但事件的顺序会根据特定的切入点而有所不同,例如在进行眼睛评定之前选择框架等。此外,事件的顺序也会有所不同。例如,如果将AR眼镜600寄送给用户,以便执行眼睛测试。用户可以在接收到AR眼镜600之前浏览、选择和订购处方眼镜框架。
流程图800在操作802处开始,使得消息收发应用1246(或其他应用,或在消息收发应用1246的上下文内执行的小程序)接收订购处方眼镜的选项的用户选择。在操作804处进行检查,以确定用户是否拥有合适的AR眼镜600,并用AR眼镜执行视力评定。这可以由消息收发应用1246或用户设备102通过检查AR眼镜600是否与用户设备102配对或相关联来自动完成。如果用户拥有AR眼镜600,则方法在操作816处继续。
如果用户在操作804中不拥有适当的AR眼镜600,则方法在操作806处继续,在该操作中,消息收发应用1246为用户提供获得AR眼镜600的提示。例如,消息收发应用1246可以为用户提供陈述需要继续使用AR眼镜600的提示,并询问用户是否愿意为此目的购买或租用AR眼镜600。
如果用户在操作806处拒绝,则方法在操作808处终止,或者替选地,可以给用户提供在策展界面206中浏览和试戴框架的选项(进一步参见图8B的操作822至操作834),这可以鼓励用户在稍后时间返回以获得AR眼镜600,从而为获得处方眼镜的目的进行所需的眼睛测试。
如果用户在操作810处接受获得AR眼镜600的提示,则例如在电子商务服务器128上运行的电子商务系统210接收并处理来自用户的付款和寄送信息,并将AR眼镜600的订单传递给履行服务以进行寄送和处理。订单的具体条款将取决于用户是购买AR眼镜600还是临时获得AR眼镜以用于图8A和图8B的方法。在后一种情况下,用户的付款信息中可能会有押金、授权或其他扣款,以待返还AR眼镜600。在AR眼镜600未在适当的时间内返还的事件中,则可以在向用户发出适当通知之后,从用户的付款信息中扣除AR眼镜600的费用。可能会收取与眼镜租赁或寄送相关联的费用,并且可以与AR眼镜600一起包括返还寄送标签,以方便返还。
在操作810中接收寄送和付款信息之后并且在接收AR眼镜600之前,用户可以进入操作822,以浏览并选择处方眼镜框架。在用户在操作814中接收到AR眼镜600之后,方法在操作818处继续。
在操作808处,消息收发应用1246结合AR眼镜600执行眼睛测试,以确定用户的眼镜处方。在一个示例中,如下文参照图9所述执行眼睛测试。在另一个示例中,如下文参照图10所述,可以提供附加的眼睛测试和评定以及相关联的信息供用户选择。
在操作818中完成眼睛测试之后,结果(例如包括用于近视或远视的“球面”透镜功率参数和用于矫正散光的“圆柱”和“轴”参数)由消息收发系统100存储。该结果也可以显示给用户,以供了解、保存或转发。附加选项(如透镜颜色/色调、双焦/三焦/渐进透镜等)可以在整个过程的某个时刻提供给用户选择,例如在操作818中完成眼睛测试时或者在操作836中选择最终框架时。
在操作820中,消息收发应用1246显示处方眼镜框架用户界面或电子商店店面,以允许用户浏览和选择眼镜框架。店面可以与特定品牌相关联,或者可以提供多个不同品牌的浏览和选择。店面提供用户可以从其中进行挑选的框架的选项,用户可以按照诸如性别身份认同、品牌、价格、颜色、尺寸、形状、框架材料等任何相关参数对这些选项进行筛选和排序。
在操作中接收到对特定框架的用户选择之后,消息收发应用1246检索或加载选定框架的AR模型,并将其应用于来自前置摄像装置的视频馈送中的用户的图像,并将其显示在用户设备102的显示器上,如图11A和图11B中的更多细节所示。此时,用户可以在操作826处例如分别通过轻敲或者轻敲并按住图像捕获图标来提供图像或视频捕获输入用于静态图像或视频捕获。作为响应,消息收发应用1246在操作828中捕获经修改的视频馈送,其中在用户的面部上显示当前选择框架的AR模型。
然后,在操作830中可以为用户提供用于保存、转发或取消捕获的媒体的选项,并且消息收发应用1246在操作832中采取对应的动作。转发媒体可以包括:将捕获的媒体发布到社交网络服务、在聊天会话中发送等。在操作832中的对应操作完成之后,方法返回到操作824,在该操作中,选定框架被显示在用户的面部上。
用户消息收发应用1246可以在操作826处再次接收用户捕获输入,或者替选地,消息收发应用也可以在操作834处接收对不同框架的选择,如果消息收发应用在操作处接收对不同框架的选择,则方法返回到操作824,在该操作中,新选择的框架的AR模型被应用于来自前置摄像装置的视频馈送中的用户的图像上,并像之前一样将其显示在用户设备102的显示器上。
在操作836中,消息收发应用1246接收对框架的用户最终选择。此时,在操作838处获得支付授权(和支付信息,如果尚未收到)。然后在操作840中将处方和框架信息发送至一个或更多个供应商。例如,框架可以从框架供应商处订购并寄送给透镜研磨供应商,然后由透镜研磨供应商研磨透镜并将透镜安装到框架上,然后再寄送给用户。在一个示例中,消息收发系统100的提供者可以因提供本文所述的服务而接收佣金、介绍费或服务费。
如果AR眼镜600已寄送到用户处供临时使用,则在操作842处接收到AR眼镜的返还之后,在操作844处,取消对应的信用授权,或者在扣除任何租金或其他费用之后返还/退还押金,此时方法结束。
流程图800可以有多种变化。在一个示例中,用户可能已经掌握了用户的处方信息,例如由已经执行过常规眼睛测试的验光师提供的信息。在这种情况下,用户将把处方信息输入到消息收发应用1246中,而不是使用AR眼镜600执行测试。在这种情况下,流程图800将大致如图8B所示。类似地,用户也可以在获得用于下订单的处方信息例如来自执行常规眼睛测试的验光师处的处方信息之前浏览并保存或“收藏”框架。
在另一个示例中,可以根据有关国家的法律要求,验光师可能需要参与眼睛测试。在这种情况下,可以为用户呈现参与的验光师的名单,从名单中选择监督验光师。在接收到对验光师的选择时,可以显示选定的验光师的可用时间,并向用户呈现日程安排选项。然后,选定的日程安排选项可以被发送给选定的验光师,并由消息收发应用1246记入日程表。
当指定时间到来时,用户将戴上AR眼镜600,并在用户设备102上运行的验光师的消息收发应用1246上开始与验光师进行联合通信会话。在一个示例中,用户和验光师可以在客户端设备上加入视频聊天会话,并且验光师可以经由从用户的用户设备102的前置摄像装置提供的视频馈送观察眼睛测试的执行情况,在执行眼睛测试时,可以适当地保持或定位以显示用户的面部。在另一个示例中,创建共享会话,在该共享会话中,AR视力表704的视图、AR眼镜300或用户设备102向用户提供的音频(测试提示)以及从用户捕获的音频(测试响应)被发送到验光师的用户设备102并呈现在验光师的用户设备上。这可以是来自用户的客户端设备1104上的前置摄像装置的视频馈送的补充或替代。
在另一个示例中,可以将在眼睛测试期间收集的摘要信息发送到选定的验光师的用户设备102,以便验光师在如上所述使用AR眼镜600完成了眼睛测试之后进行查看和批准。例如,摘要信息可以是呈现给用户的视力表、提示和响应的文本版本以及由此得出的处方信息。
在验光师完成测试和审查时,验光师可以从验光师的消息收发应用1246和用户设备102向用户的客户端设备提供电子签名、证书或其他授权,以允许用户如上所述地从用户的用户设备102下订单。向验光师支付可以包括所呈现的服务的费用作为操作838的一部分。
图9是示出根据一个示例的用于确定用户的眼镜处方的处理的流程图900。出于解释的目的,流程图900的操作在本文被描述为串行地或线性地发生。然而,流程图900的多个操作可以并行地发生。另外,流程图900的操作不需要按所示出的顺序执行以及/或者流程图900的一个或更多个框不需要执行和/或可以由其他操作替换。
图9所示的操作通常在客户端设备428上在应用诸如消息收发应用1246或专用眼睛测试应用中执行。出于清楚的目的,本文参照这样的示例讨论流程图900。各种实现方式当然是可能的,其中一些操作发生在服务器系统432上,或者其中一个应用调用另一应用或SDK以获取所需的功能。在一个示例中,在客户端设备428上运行的消息收发应用1246与AR眼镜600中的或与AR眼镜相关联的相关硬件和数据处理器402之间联合执行操作。
方法在操作902处开始,该操作将在接收到图10中的操作1006中对应于确定用户的眼镜处方的菜单项的选择之后开始。在一些情况下,在开始执行图9的方法之前,图10的方法在还未被执行的情况下被先执行,以为用户建立基线视敏度评分。在操作902处,处方确定随即在操作902处开始,使得消息收发应用1246在操作902处与用户的第一只眼睛对应的第一个显示器410上显示AR视力表704。AR视力表704如上所述被显示。此时,第二个显示器可能什么都不显示(例如提供无遮挡视图),或者可以显示纯色(如黑色)或其他效果以遮蔽另一只眼睛。在VR头戴式耳机的情况下,另一显示器可以显示用户在其中发现自己的虚拟现实环境,或者可以显示纯色(例如黑色)或其他效果来遮蔽眼睛。
此时,在操作904处可以提供初始用户提示,以引导此人查看该表的一个或更多个特征。例如,“看该表中你能读到的最小的行”。用户提示可以包括诸如“完成时说‘是’或者说‘退出’来退出”的指令。用户提示可以是经由客户端设备428、AR眼镜600或者连接的扩音器例如有线或无线耳机或头戴式耳机提供的可听提示。
如果在操作904中要求做出肯定的用户响应,则在操作906中,消息收发应用1246将等待接收到响应,然后在操作908处继续该方法。如果接收到不同的响应(例如“退出”),则消息收发应用1246采取适当的操作,例如返回到之前或更早的菜单或界面。
在操作908处,然后由信息发送应用1246对与被测眼睛对应的可变焦距透镜602进行调整,以提供光焦度的变化,这在用于确定眼镜处方的测试中是已知的。在操作910处,消息收发应用1246提供相关的用户提示,例如,在操作908中执行的光焦度变化是使用户的视力变得更好还是更差或者是否没有变化。
在操作912处,由消息收发应用1246接收用户的响应。例如,用户的响应可以是由客户端设备428、AR眼镜600中的麦克风或者例如有线或无线耳机或耳机中的连接麦克风接收到的声音响应。对用户的响应执行语音识别,并将响应(例如“更好”、“更差”或“相同”)作为输入提供给消息收发应用1246,消息收发应用然后确定眼镜处方测试的可变焦距透镜602的下一次调整,这在本领域是已知的。
在另一个示例中,操作908和操作910可以在等待用户响应时循环执行,使得可变焦距透镜602(以舒适的间隔)在先前的光焦度与新的光焦度之间切换。在这种情况下,用户提示与两个光焦度之间的变化同步,以要求用户在产生两个光焦度时在两个光焦度之间指示偏好,例如:“这个更好吗?还是这个更好?还是它们一样?”
在操作914处,在接收到有效的用户响应后,消息收发应用1246确定对所考虑的眼睛的测试是否完成。例如,如果针对被测试的眼睛对特定可变焦距透镜602的进一步调整不会导致用户视力的进一步改善,则测试可以完成。如果测试未完成,则该方法返回到操作910,在该操作处由消息收发应用1246提供下一提示。
测试的完成可能发生在单次测试完成时,或者在多次测试的情况下,第一次测试的完成可能导致对同一只眼睛的第二次或更多次测试的开始。例如,完成视敏度表的显示、用户提示和可变焦距透镜602调整以确定用于近视或远视的“球面”透镜功率参数可以导致开始显示所述表、用户提示和可变焦距透镜602调整,以确定用于矫正散光的“圆柱”和“轴”参数。在这种情况下,方法返回到操作908,以执行第二次或进一步测试,并对显示的所述表、提供的提示和预期的用户反应进行适当修改。
如果消息收发应用1246确定所考虑的眼睛的测试已完成,则该方法进行至操作916,在该操作处消息收发应用1246检查是测试了仅一只眼睛还是测试了两只眼睛。如果仅测试了一只眼睛,则方法将在操作918处继续,在该操作处切换显示器的内容,使得将AR视力表704切换到另一显示器上。视力表中使用的字母也优选地在此时进行更改,以防止用户依赖于对原来的AR视力表704的记忆。向先前未被测试的眼睛显示的任何模糊或其他显示内容或颜色将切换到刚刚完成测试的眼睛。
然后,流程图900如之前一样继续通过操作910至操作914以测试另一只眼睛。如操作916所验证的那样,在双眼都经过测试之后,消息收发应用1246基于对可变焦距透镜602的调整和用户对此的反应,在操作920处使用已知方法生成眼睛测试得分。眼睛测试得分可以是眼镜处方,包括左眼和右眼的球面、圆柱和轴参数。
在一个示例中,摄像装置512还在执行上述眼睛测试期间或之后捕获用户眼睛的一个或更多个图像。由于摄像装置512的位置和特征是已知的,因此在使用对象识别图像处理技术在图像中检测到用户的瞳孔之后,可以确定用户的瞳间距。
然后在操作922处输出眼睛测试得分。这可以通过在AR眼镜600上显示眼睛测试的结果、通过在客户端设备428的显示器上以可听方式显示结果或通过任何其他方式来完成。还可以将结果与之前的测试结果进行比较,以说明任何劣化。可以将结果与底层、中间或相关联的数据(如AR视力表704的内容、用户对该内容的反应和比较、任何确定的瞳间距)发送给眼科专家进行审查或记录。用户还可以选择保存测试结果、将它们发布到社交网站或在聊天会话中发送它们。
然后,流程图900在操作924处结束。然后,消息收发应用1246例如可以恢复到消息收发应用1246的默认用户界面。
图10是示出根据一个示例的进行AR眼睛测试的处理的流程图1000。出于说明的目的,流程图1000的操作在本文被描述为串行地或线性地发生。然而,流程图1000的多个操作可以并行地发生。另外,流程图1000的操作不需要按所示出的顺序执行以及/或者流程图1000的一个或更多个框不需要执行和/或可以由其他操作替换。
图10所示的操作通常在客户端设备428上在应用诸如消息收发应用1246或专用眼睛测试应用中执行。出于清楚的目的,本文参照这样的示例讨论流程图1000。各种实现方式当然是可能的,其中一些操作发生在服务器系统432上,或者其中一个应用调用另一应用或SDK以获得所需的功能。在一个示例中,在客户端设备428和数据处理器402上运行的消息收发应用1246与AR眼镜600或AR眼镜300或AR眼镜500中的相关联的硬件之间共同执行操作。
该方法在操作1002处开始,消息收发应用1246接收与选择眼睛测试模式的用户输入对应。作为响应,消息收发应用1246在操作1004处在显示器410中的一个或两个上或者客户端设备428的显示器上显示眼睛测试用户界面。该用户界面提供与眼睛测试相关的一个或更多个选项,例如查看先前的测试结果、选择要使用AR眼镜600执行的不同眼睛测试的选项等。
在一个示例中,用户界面可以提供视觉或眼科测试的菜单或其他用户界面显示,用户可以从中进行选择,包括例如:在同时提交的标题为“Ophthalmic Imaging Using aHead-Worn Device”的美国临时专利申请中描述的眼科成像测试,该申请的代理师案卷号为4218.C76PRV的美国临时专利申请,其内容通过引用并入本文,如同明确阐述一样;以及下文参照图9所述的用户眼镜处方的确定。
然后,在操作1006处,由消息收发应用1246接收对视敏度测试的选择。这可以使用包括通过接收客户端设备428上的触摸输入、语音输入、姿势识别等的任何选择技术来完成。
然后,视敏度测试在操作1008处开始,使得消息收发应用1246在操作1008处与用户眼睛中的第一只眼睛对应的显示器410中的第一显示器上显示AR视力表704。AR视力表704如上所述被显示。此时,显示器中的第二显示器可以不显示任何内容(例如提供无遮挡视图),或者可以显示纯色(如黑色)或者其他效果以遮蔽另一只眼睛。在VR头戴式耳机的情况下,另一显示器可以显示用户在其中发现自己的虚拟现实环境,或者可以显示纯色(例如黑色)或其他效果来遮蔽眼睛。
在操作1010处,消息收发应用1246提供相关的用户提示。用户提示可以是经由客户端设备428、AR眼镜600中的扬声器或者连接的扩音器如有线或无线耳塞或耳机提供的可听提示。例如,用户提示可以指示用户“阅读显示器的第X行”,其中X是正在考虑的AR表中的行。眼睛测试提示也可以根据用户的交互情况而变化。例如,如果用户在某一行出现错误,则可以重复提示用户阅读该行。
在操作1012处,消息收发应用1246接收用户的响应。例如,用户的响应可以是由客户端设备428、AR眼镜600中的麦克风或者例如有线或无线耳塞或耳机中的连接麦克风接收的可听响应。对用户的响应执行语音识别,并使响应与AR视力表704中的相应字母相关联。例如,使第一响应与AR视力表704中所考虑的行中的第一个字母相关联,使第二响应与所考虑的行中的第二个字母相关联,以此类推,以便通过将响应与字母进行比较来对用户的响应进行评分。
在操作1014处,消息收发应用1246确定对所考虑的眼睛的测试是否完成。例如,如果已考虑了AR视力表704中的所有行,或者如果已超过一行中错误的阈值数,则测试可以完成。如果测试未完成,则该方法返回到操作1010,在该操作处由消息收发应用1246提供下一提示。
如果消息收发应用1246确定所考虑的眼睛的测试完成,则该方法进行至操作1016,在该操作处消息收发应用1246检查是测试了仅一只眼睛还是测试了两只眼睛。如果仅测试了一只眼睛,则方法将在操作1024处继续,在该操作处切换显示器的内容,使得将AR视力表704切换到另一显示器。视力表中使用的字母也优选地在此时进行更改,以防止用户依赖于对原来的AR视力表704的记忆。向先前未被测试的眼睛显示的任何模糊或其他显示内容或颜色将切换到刚刚完成测试的眼睛。
然后,流程图1000如之前一样继续通过操作1010至操作1014以测试另一只眼睛。如操作1016所验证的那样,在测试了双眼之后,在操作1018处,消息收发应用1246通过将AR视力表704的内容与用户的反应进行比较,使用已知方法生成眼睛测试得分。
然后,在操作1020处输出眼睛测试得分。这可以通过在AR眼镜600上显示眼睛测试的结果、通过在客户端设备428的显示器上以可听方式显示结果或通过任何其他方式来完成。还可以将结果与之前的测试结果进行比较,以说明任何劣化。结果和底层或中间数据(例如,AR视力表704的内容、对该内容的用户反应和比较)可以发送给眼科专家进行审查或记录。用户还可以选择保存测试结果、将它们发布到社交网站或在聊天会话中发送它们。
然后,流程图1000在操作1022处结束。然后,消息收发应用1246可以例如恢复到消息收发应用1246的默认用户界面。
图11A是响应于在流程图800中的操作822中接收到对眼镜框架的用户选择而在用户设备102上显示的用户界面的示例。可以看到,用户1106的图像被显示在客户端设备1104的显示器1102上,其中与选定框架对应的AR眼镜框架1108被显示在用户1106的面部上。如图11B所示,示出的图像是由客户端设备1104的前置摄像装置捕获的实时馈送的一部分,并且AR眼镜框架1108相对于用户的面部是固定的,使得用户可以改变其位置以从不同角度查看或捕获用户佩戴眼镜的图像或视频。
在一个示例中,提供了可水平滚动的轮播1110,其中不同的框架以缩略图的形式(未示出)呈现在每个圆形轮播元素中。当前选择的眼镜框架位于中心的轮播元素中,并且可以通过向左或向右滚动轮播来选择另一个框架,使得另一个框架的缩略图占据中心位置,此时其AR眼镜框架1108将显示在用户的面部上。
还可以提供下拉菜单项,以允许按照一个或更多个标准筛选对可用眼镜的选择。例如,可以提供与品牌选择菜单1112、颜色选择菜单1114和框架材料选择菜单1116对应的用户界面元素。触摸相关的用户界面项将允许用户在“所有”或特定品牌、颜色或材料之间进行选择。还可以提供其他选项。
可以提供退出图标1118,以便用户返回到眼镜框架的店面。
图11B是用户界面的示例,该界面可以响应于捕获输入例如轻敲或长按中心的轮播元素而显示。捕获的媒体被预览,并且可以通过接收到轻敲退出图标1118而退出(以返回图11A所示的用户界面),或者通过接收到轻敲保存图标1120而被保存,或者基于接收到轻敲转发图标1122而被转发。选择转发图标1122提供了进一步的选项,以用于在聊天会话、社交网络活动馈送等中共享捕获的媒体。
图12是示出可以安装在本文中描述的设备中的任何一个或更多个设备上的软件架构1204的框图1200。软件架构1204由硬件例如包括处理器1220、存储器1226和I/O部件1238的机器1202支持。在该示例中,软件架构1204可以被概念化为层的堆栈,在该层的堆栈中,每个层提供特定的功能。软件架构1204包括诸如操作系统1212、库1208、框架1210和应用1206的层。在操作上,应用1206通过软件堆栈来调用API调用1250并且响应于API调用1250接收消息1252。
操作系统1212管理硬件资源并且提供公共服务。操作系统1212包括例如内核(kernel)1214、服务1216和驱动器1222。内核1214充当硬件与其他软件层之间的抽象层。例如,内核1214提供存储器管理、处理器管理(例如,调度)、部件管理、联网和安全设置等功能。服务1216可以为其他软件层提供其他公共服务。驱动器1222负责控制底层硬件或与底层硬件接口。例如,驱动器1222可以包括显示驱动器、摄像装置驱动器、或低功耗驱动器、闪存驱动器、串行通信驱动器(例如,通用串行总线(USB)驱动器)、/>驱动器、音频驱动器、电源管理驱动器等。
库1208提供由应用1206使用的低级别公共基础设施。库1208可以包括系统库1218(例如,C标准库),该系统库提供诸如存储器分配功能、字符串操纵功能、数学功能等的功能。另外,库1208可以包括API库1224,例如媒体库(例如,用于支持各种媒体格式的呈现和操纵的库,所述各种媒体格式例如运动图像专家组-4(MPEG4)、高级视频编码(H.264或AVC)、运动图像专家组层-3(MP3)、高级音频编码(AAC)、自适应多速率(AMR)音频编解码器、联合图像专家组(JPEG或JPG)或便携式网络图形(PNG))、图形库(例如,用于在显示器上的图形内容中以二维(2D)和三维(3D)呈现的OpenGL框架)、数据库库(例如,提供各种关系数据库功能的SQLite)、web库(例如,提供web浏览功能的WebKit)等。库1208还可以包括各种其他库1228,以向应用1206提供许多其他API。
框架1210提供由应用1206使用的高级别公共基础设施。例如,框架1210提供各种图形用户接口(GUI)功能、高级资源管理和高级定位服务。框架1210可以提供可以由应用1206使用的广泛的其他API,其中的一些API可以特定于特定的操作系统或平台。
在示例中,应用1206可以包括家庭应用1236、联系人应用1230、浏览器应用1232、书籍阅读器应用1234、定位应用1242、媒体应用1244、消息收发应用1246、游戏应用1248和诸如第三方应用1240的各种各样的其他应用。应用1206是执行程序中限定的功能的程序。可以采用各种编程语言来创建以各种方式构造的应用1206中的一个或更多个,编程语言例如是面向对象的编程语言(例如,Objective-C、Java或C++)或过程编程语言(例如,C语言或汇编语言)。在特定示例中,第三方应用1240(例如,由特定平台的供应商以外的实体使用ANDROIDTM或IOSTM软件开发工具包(SDK)开发的应用)可以是在诸如IOSTM、ANDROIDTM、Phone的移动操作系统或另一移动操作系统上运行的移动软件。在该示例中,第三方应用1240可以调用由操作系统1212提供的API调用1250以有助于本文中所描述的功能。
图13是机器1300的图形表示,在该机器中可以执行使机器1300执行本文中讨论的方法中的任何一种或更多种的指令1310(例如,软件、程序、应用、小程序、app或其他可执行代码)。例如,指令1310可以使机器1300执行本文中描述的方法中的任何一种或更多种。指令1310将通用的未编程的机器1300变换成被编程为以所描述的方式执行所描述和所示出的功能的特定机器1300。机器1300可以作为独立设备操作或者可以耦接(例如,联网)至其他机器。在联网的部署中,机器1300可以在服务器-客户端网络环境中以服务器机器或客户端机器的能力进行操作,或者在对等(或分布式)网络环境中作为对等机器进行操作。机器1300可以包括但不限于服务器计算机、客户端计算机、个人计算机(PC)、平板计算机、膝上型计算机、上网本、机顶盒(STB)、PDA、娱乐媒体系统、蜂窝电话、智能电话、移动设备、可穿戴设备(例如,智能手表)、智能家居设备(例如,智能家用电器)、其他智能设备、web设备、网络路由器、网络交换机、网络桥接器或能够顺序地或其他方式执行指定机器1300要采取的动作的指令1310的任何机器。此外,虽然仅示出了单个机器1300,但是术语“机器”还应被认为包括单独地或联合地执行指令1310以执行本文中讨论的任何一种或更多种方法的机器的集合。
机器1300可以包括处理器1302、存储器1304和I/O部件1306,所述处理器、存储器和I/O部件可以被配置成经由总线1344彼此通信。在示例中,处理器1302(例如,中央处理单元(CPU)、简化指令集计算(RISC)处理器、复杂指令集计算(CISC)处理器、图形处理单元(GPU)、数字信号处理器(DSP)、ASIC、射频集成电路(RFIC)、其它处理器或其任何合适的组合)可以包括例如执行指令1310的处理器1308和处理器1312。术语“处理器”旨在包括多核处理器,该多核处理器可以包括可以同时执行指令的两个或更多个独立处理器(有时被称为“核”)。尽管图13示出了多个处理器1302,但是机器1300可以包括具有单个核的单个处理器、具有多个核的单个处理器(例如,多核处理器)、具有单个核的多个处理器、具有多个核的多个处理器、或者其任意组合。
存储器1304包括主存储器1314、静态存储器1316和存储单元1318,其均可由处理器1302经由总线1344访问。主存储器1304、静态存储器1316和存储单元1318存储实现本文所述的方法或功能中的任何一种或更多种的指令1310。在由联网系统400执行指令1310期间,指令还可以全部地或部分地驻留在主存储器1314内、在静态存储器1316内、在机器可读介质1320内、在存储单元1318内、在处理器1302中的至少一个内(例如,在处理器的高速缓冲存储器内)或者在其任何合适的组合内。
I/O部件1306可以包括用于接收输入、提供输出、产生输出、发送信息、交换信息、捕获测量结果等的各种部件。包括在特定机器中的具体I/O部件1306将取决于机器的类型。例如,便携式机器例如移动电话可以包括触摸输入设备或其他这样的输入机构,而无头服务器机器将不太可能包括这样的触摸输入设备。将要理解的是,I/O部件1306可以包括图13中未示出的许多其他部件。在各种示例中,I/O部件1306可以包括输出部件1328和输入部件1332。输出部件1328可以包括视觉部件(例如,诸如等离子显示面板(PDP)、发光二极管(LED)显示器、液晶显示器(LCD)、投影仪或阴极射线管(CRT)的显示器)、声学部件(例如,扬声器)、触觉部件(例如,振动马达、阻力机构)、其他信号发生器等。输入部件1332可以包括字母数字输入部件(例如,键盘、被配置成接收字母数字输入的触摸屏、光电键盘或其他字母数字输入部件)、基于点的输入部件(例如,鼠标、触摸板、轨迹球、操纵杆、运动传感器或其他指向仪器)、触觉输入部件(例如,物理按钮、提供触摸或触摸姿势的位置和/或力的触摸屏、或其他触觉输入部件)、音频输入部件(例如,麦克风)等。
在另外的示例中,I/O部件1306可以包括生物计量部件1334、运动部件1336、环境部件1338、或位置部件1340以及各种其他部件。例如,生物计量部件1334包括用于检测表达(例如,手表达、面部表达、声音表达、身体姿势或眼睛跟踪)、测量生物信号(例如,血压、心率、体温、出汗或脑电波)、识别人(例如,语音识别、视网膜识别、面部识别、指纹识别或基于脑电图的识别)等的部件。运动部件1336包括加速度传感器部件(例如,加速计)、重力传感器部件、旋转传感器部件(例如,陀螺仪)等。环境部件1338包括例如照明传感器部件(例如,光度计)、温度传感器部件(例如,检测环境温度的一个或更多个温度计)、湿度传感器部件、压力传感器部件(例如,气压计)、声音传感器部件(例如,检测背景噪声的一个或更多个麦克风)、接近度传感器部件(例如,检测附近对象的红外传感器)、气体传感器(例如,用于检测危险气体的浓度以确保安全或者用于测量大气中的污染物的气体检测传感器)或可以提供与周围物理环境对应的指示、测量结果或信号的其他部件。位置部件1340包括定位传感器部件(例如,GPS接收器部件)、海拔传感器部件(例如,检测可以得到海拔的气压的高度计或气压计)、取向传感器部件(例如,磁力计)等。
可以使用各种技术来实现通信。I/O部件1306还包括通信部件1342,通信部件能够进行操作以分别经由耦接(coupling)1330和耦接1326将联网系统400耦接至网络1322或设备1324。例如,通信部件1342可以包括与网络1322对接的网络接口部件或另一合适的设备。在另外的示例中,通信部件1342可以包括有线通信部件、无线通信部件、蜂窝通信部件、近场通信(NFC)部件、部件(例如,/>低功耗)、/>部件以及经由其他模态提供通信的其他通信部件。设备1324可以是另一机器或各种各样的外围设备中的任何外围设备(例如,经由USB耦接的外围设备)。
此外,通信部件1342可以检测标识或者包括可操作以检测标识的部件。例如,通信部件1342可以包括射频识别(RFID)标签读取器部件、NFC智能标签检测部件、光学读取器部件(例如,用于检测下述的光学传感器:一维条形码,例如,通用产品代码(UPC)条形码;多维条形码,例如,快速响应(QR)代码、Aztec代码、数据矩阵、数据图示符(Dataglyph)、麦克斯码(MaxiCode)、PDF417、超代码、UCCRSS-2D条形码和其他光学代码)、或者声学检测部件(例如,用于识别标记的音频信号的麦克风)。另外,可以经由通信部件1342得到各种信息,例如经由互联网协议(IP)地理定位的定位、经由信号三角测量的定位、经由检测可以指示特定定位的NFC信标信号的定位等。
各种存储器(例如,存储器1304、主存储器1314、静态存储器1316和/或处理器1302的存储器)和/或存储单元1318可以存储由本文中描述的方法或功能中的任何一个或更多个实现或使用的指令和数据结构(例如,软件)中的一组或更多组。这些指令(例如,指令1310)在由处理器1302执行时使各种操作实现所公开的示例。
可以经由网络接口设备(例如,通信部件1342中包括的网络接口部件),使用传输介质并且使用许多公知的传输协议中的任意一种传输协议(例如,超文本传输协议(HTTP)),通过网络1322来发送或接收指令1310。类似地,可以使用传输介质经由耦接1326(例如,对等耦接)将指令1310发送或接收至设备1324。
“载波信号”是指能够存储、编码或携载由机器执行的指令的任何无形介质并且包括数字或模拟通信信号或其他无形介质以有助于这样的指令的通信。可以使用传输介质经由网络接口设备来通过网络发送或接收指令。
“客户端设备”是指与通信网络接口以从一个或更多个服务器系统或其他客户端设备获得资源的任何机器。客户端设备可以是但不限于移动电话、桌上型计算机、膝上型计算机、便携式数字助理(PDA)、智能电话、平板计算机、超级本、上网本、膝上型计算机、多处理器系统、基于微处理器或可编程消费电子产品、游戏控制台、机顶盒或用户可以用于访问网络的任何其他通信设备。
“通信网络”是指网络的一个或更多个部分,该网络可以是自组织网络、内联网、外联网、虚拟专用网络(VPN)、局域网(LAN)、无线LAN(WLAN)、广域网(WAN)、无线WAN(WWAN)、城域网(MAN)、因特网、因特网的一部分、公共交换电话网(PSTN)的一部分、普通老式电话服务(POTS)网络、蜂窝电话网络、无线网络、网络、另外类型的网络或者两个或更多个这样的网络的组合。例如,网络或网络的一部分可以包括无线网络或蜂窝网络,并且耦接可以是码分多址(CDMA)连接、全球移动通信系统(GSM)连接或其他类型的蜂窝或无线耦接。在该示例中,耦接可以实现各种类型的数据传输技术中的任何数据传输技术,例如单载波无线电传输技术(1xRTT)、演进数据优化(EVDO)技术、通用分组无线电服务(GPRS)技术、增强型数据速率GSM演进(EDGE)技术、包括3G的第三代合作伙伴计划(3GPP)、第四代无线(4G)网络、通用移动通讯系统(UMTS)、高速分组接入(HSPA)、全球微波接入互操作性(WiMAX)、长期演进(LTE)标准、由各种标准设置组织定义的其他数据传输技术、其他长距离协议或其他数据传输技术。
“部件”是指具有由功能或子例程调用、分支点、API或被提供用于对特定处理或控制功能进行分区或模块化的其他技术定义的边界的设备、物理实体或逻辑。部件可以经由其接口与其他部件组合以执行机器处理。部件可以是被设计用于与其他部件一起使用的封装功能硬件单元,以及通常执行相关功能的特定功能的程序的一部分。部件可以构成软件部件(例如,在机器可读介质上实施的代码)或硬件部件。“硬件部件”是能够执行某些操作的有形单元,并且可以以某种物理方式来配置或布置。在各种示例中,可以通过软件(例如,应用或应用部分)将一个或更多个计算机系统(例如,独立计算机系统、客户端计算机系统或服务器计算机系统)或者计算机系统的一个或更多个硬件部件(例如,处理器或处理器组)配置为进行操作以执行如本文中描述的某些操作的硬件部件。也可以机械地、电子地或以其任何合适的组合来实现硬件部件。例如,硬件部件可以包括被永久地配置成执行某些操作的专用电路或逻辑。硬件部件可以是专用处理器,例如现场可编程门阵列(FPGA)或专用集成电路(ASIC)。硬件部件还可以包括通过软件临时配置成执行某些操作的可编程逻辑或电路系统。例如,硬件部件可以包括由通用处理器或其他可编程处理器执行的软件。一旦通过这样的软件被配置,则硬件部件成为被唯一地定制成执行所配置的功能的特定机器(或机器的特定部件)并且不再是通用处理器。将认识到,可以出于成本和时间考虑来决定是机械地在专用且永久配置的电路系统中实现硬件部件还是在临时配置(例如,通过软件配置)的电路系统中实现硬件部件。因此,短语“硬件部件”(或“硬件实现的部件”)应当被理解成包含有形实体,即被物理构造、永久配置(例如,硬连线)或临时配置(例如,编程)成以某种方式操作或者执行本文中描述的某些操作的实体。考虑硬件部件被临时配置(例如,被编程)的示例,无需在任一时刻对硬件部件中的每个硬件部件进行配置或实例化。例如,在硬件部件包括通过软件配置而成为专用处理器的通用处理器的情况下,该通用处理器可以在不同时间处被配置为各自不同的专用处理器(例如,包括不同的硬件部件)。软件相应地对一个或多个特定处理器进行配置,以例如在一个时刻处构成特定硬件部件并且在不同时刻处构成不同的硬件部件。硬件部件可以向其他硬件部件提供信息以及从其他硬件部件接收信息。因此,所描述的硬件部件可以被认为通信地耦接。在同时存在多个硬件部件的情况下,可以通过在两个或更多个硬件部件之间或之中(例如,通过适当的电路和总线)的信号传输来实现通信。在多个硬件部件在不同时间被配置或实例化的示例中,可以例如通过将信息存储在多个硬件部件可以访问的存储器结构中并且在存储器结构中检索信息来实现这样的硬件部件之间的通信。例如,一个硬件部件可以执行操作,并且将该操作的输出存储在与其通信地耦接的存储器设备中。然后,另外的硬件部件可以在随后的时间访问存储器设备,以检索所存储的输出并对其进行处理。硬件部件还可以发起与输入设备或输出设备的通信,并且可以对资源(例如,信息的集合)进行操作。本文描述的示例方法的各种操作可以至少部分地通过临时配置(例如,通过软件)或永久配置成执行相关操作的一个或更多个处理器来执行。无论是临时配置还是永久配置,这样的处理器可以构成进行操作以执行本文中描述的一个或更多个操作或功能的处理器实现的部件。如本文中使用的,“处理器实现的部件”是指使用一个或更多个处理器实现的硬件部件。类似地,在本文中描述的方法可以至少部分地由处理器实现,其中,特定的一个或多个处理器是硬件的示例。例如,方法的操作中的至少一些可以由一个或更多个处理器或者处理器实现的部件执行。此外,一个或更多个处理器还可以进行操作以支持“云计算”环境中的相关操作的执行或作为“软件即服务”(SaaS)进行操作。例如,操作中的至少一些可以由一组计算机(作为包括处理器的机器的示例)来执行,其中这些操作可以经由网络(例如,因特网)和经由一个或更多个适当的接口(例如,API)来访问。操作中的某些操作的执行可以分布在处理器之间,不仅驻留在单个机器内,而且跨多个机器部署。在一些示例中,处理器或处理器实现的部件可以位于单个地理定位中(例如,在家庭环境、办公室环境或服务器群内)。在其他示例中,处理器或处理器实现的部件可以跨多个地理位置分布。
“计算机可读介质”是指机器存储介质和传输介质两者。因此,这些术语包括存储设备/介质和载波/调制数据信号两者。术语“机器可读介质”、“计算机可读介质”和“设备可读介质”意指相同的事物,并且可以在本公开内容中可互换地使用。
“短暂消息”是指可以在时间有限的持续时间内访问的消息。短暂消息可以是文本、图像、视频等。短暂消息的访问时间可以由消息发送者设置。替选地,访问时间可以是默认设置或者由接收者指定的设置。无论设置技术如何,该消息都是暂时的。
“机器存储介质”是指存储可执行指令、例程和/或数据的单个或多个存储设备和/或介质(例如,集中式或分布式数据库、和/或相关联的高速缓存和服务器)。因此,该术语应当被视为包括但不限于固态存储器以及光学和磁介质,包括处理器内部或外部的存储器。机器存储介质、计算机存储介质和/或设备存储介质的具体示例包括:非易失性存储器,包括例如半导体存储器设备,例如可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、FPGA和闪存设备;磁盘,例如内部硬盘和可移动磁盘;磁光盘;以及CD-ROM和DVD-ROM盘。术语“机器存储介质”、“设备存储介质”、“计算机存储介质”意指相同的事物并且可以在本公开内容中互换地使用。术语“机器存储介质”、“计算机存储介质”和“设备存储介质”明确地排除了载波、调制数据信号和其他这样的介质,所述载波、调制数据信号和其他这样的介质中的至少一些被涵盖在术语“信号介质”中。
“处理器”是指根据控制信号(例如,“命令”、“操作码”、“机器码”等)操纵数据值并且产生被应用于操作机器的对应输出信号的任何电路或虚拟电路(通过在实际处理器上执行的逻辑模拟的物理电路)。例如,处理器可以是中央处理单元(CPU)、精简指令集计算(RISC)处理器、复杂指令集计算(CISC)处理器、图形处理单元(GPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、射频集成电路(RFIC)或它们的任何组合。处理器还可以是具有两个或更多个可以同时执行指令的独立处理器(有时称为“核”)的多核处理器。
“信号介质”是指能够存储、编码或携载由机器执行的指令的任何无形介质,并且“信号介质”包括数字或模拟通信信号或其他无形介质以有助于软件或数据的通信。术语“信号介质”应当被视为包括任何形式的调制数据信号、载波等。术语“调制数据信号”意指使其特性中的一个或更多个特性以对信号中的信息进行编码的方式来设置或改变的信号。术语“传输介质”和“信号介质”意指相同的事物,并且可以在本公开内容中互换使用。
在不脱离本公开内容的范围的情况下,可以对所公开的示例进行改变和修改。这些以及其他改变或修改旨在包括在如所附权利要求书中所表达的本公开内容的范围内。
术语表
“载波信号”是指能够存储、编码或携载由机器执行的指令的任何无形介质并且包括数字或模拟通信信号或其他无形介质以便于这些指令的通信。可以使用传输介质经由网络接口设备来通过网络发送或接收指令。
“客户端设备”是指与通信网络接口以从一个或更多个服务器系统或其他客户端设备获得资源的任何机器。客户端设备可以是但不限于移动电话、桌上型计算机、膝上型计算机、便携式数字助理(PDA)、智能电话、平板计算机、超级本、上网本、膝上型计算机、多处理器系统、基于微处理器或可编程消费电子产品、游戏控制台、机顶盒或用户可以用于访问网络的任何其他通信设备。
“通信网络”是指网络的一个或更多个部分,该网络可以是自组织网络、内联网、外联网、虚拟专用网络(VPN)、局域网(LAN)、无线LAN(WLAN)、广域网(WAN)、无线WAN(WWAN)、城域网(MAN)、因特网、因特网的一部分、公共交换电话网(PSTN)的一部分、普通老式电话服务(POTS)网络、蜂窝电话网络、无线网络、网络、其他类型的网络或者两个或更多个这样的网络的组合。例如,网络或网络的一部分可以包括无线网络或蜂窝网络,并且耦接可以是码分多址(CDMA)连接、全球移动通信系统(GSM)连接或其他类型的蜂窝或无线耦接。在该示例中,耦接可以实现各种类型的数据传输技术中的任何数据传输技术,例如单载波无线电传输技术(1xRTT)、演进数据优化(EVDO)技术、通用分组无线电服务(GPRS)技术、增强型数据速率GSM演进(EDGE)技术、包括3G的第三代合作伙伴计划(3GPP)、第四代无线(4G)网络、通用移动通讯系统(UMTS)、高速分组接入(HSPA)、全球微波接入互操作性(WiMAX)、长期演进(LTE)标准、由各种标准设置组织定义的其他数据传输技术、其他长距离协议或其他数据传输技术。/>
“部件”是指具有以下边界的设备、物理实体或逻辑,该边界由功能或子例程调用、分支点、API或者对特定处理或控制功能提供分区或模块化的其他技术定义。部件可以经由它们的接口与其他部件对接以执行机器处理。部件可以是被设计用于与其他部件一起使用的封装功能硬件单元,以及通常执行相关功能的特定功能的程序的一部分。部件可以构成软件部件(例如,在机器可读介质上实施的代码)或硬件部件。“硬件部件”是能够执行某些操作的有形单元,并且可以以某种物理方式来配置或布置。在各种示例中,可以通过软件(例如,应用或应用部分)将一个或更多个计算机系统(例如,独立计算机系统、客户端计算机系统或服务器计算机系统)或者计算机系统的一个或更多个硬件部件(例如,处理器或处理器组)配置为进行操作以执行如本文中描述的某些操作的硬件部件。也可以机械地、电子地或以其任何合适的组合来实现硬件部件。例如,硬件部件可以包括被永久地配置成执行某些操作的专用电路或逻辑。硬件部件可以是专用处理器,例如现场可编程门阵列(FPGA)或专用集成电路(ASIC)。硬件部件还可以包括通过软件临时配置成执行某些操作的可编程逻辑或电路系统。例如,硬件部件可以包括由通用处理器或其他可编程处理器执行的软件。一旦通过这样的软件被配置,则硬件部件成为被唯一地定制成执行所配置的功能的特定机器(或机器的特定部件)并且不再是通用处理器。将认识到,可以出于成本和时间考虑来决定是机械地在专用且永久配置的电路系统中实现硬件部件还是在临时配置(例如,通过软件配置)的电路系统中实现硬件部件。因此,短语“硬件部件”(或“硬件实现的部件”)应当被理解成包含有形实体,即被物理构造、永久配置(例如,硬连线)或临时配置(例如,编程)成以某种方式操作或者执行本文中描述的某些操作的实体。考虑硬件部件被临时配置(例如,被编程)的示例,无需在任一时刻对硬件部件中的每个硬件部件进行配置或实例化。例如,在硬件部件包括通过软件配置而成为专用处理器的通用处理器的情况下,该通用处理器可以在不同时间处被配置为各自不同的专用处理器(例如,包括不同的硬件部件)。软件相应地对一个或多个特定处理器进行配置,以例如在一个时刻处构成特定硬件部件并且在不同时刻处构成不同的硬件部件。硬件部件可以向其他硬件部件提供信息以及从其他硬件部件接收信息。因此,所描述的硬件部件可以被认为通信地耦接。在同时存在多个硬件部件的情况下,可以通过在两个或更多个硬件部件之间或之中(例如,通过适当的电路和总线)的信号传输来实现通信。在多个硬件部件在不同时间被配置或实例化的示例中,可以例如通过将信息存储在多个硬件部件可以访问的存储器结构中并且在存储器结构中检索信息来实现这样的硬件部件之间的通信。例如,一个硬件部件可以执行操作,并且将该操作的输出存储在与其通信地耦接的存储器设备中。然后,另外的硬件部件可以在随后的时间访问存储器设备,以检索所存储的输出并对其进行处理。硬件部件还可以发起与输入设备或输出设备的通信,并且可以对资源(例如,信息的集合)进行操作。本文描述的示例方法的各种操作可以至少部分地通过临时配置(例如,通过软件)或永久配置成执行相关操作的一个或更多个处理器来执行。无论是临时配置还是永久配置,这样的处理器可以构成进行操作以执行本文中描述的一个或更多个操作或功能的处理器实现的部件。如本文中使用的,“处理器实现的部件”是指使用一个或更多个处理器实现的硬件部件。类似地,在本文中描述的方法可以至少部分地由处理器实现,其中,特定的一个或多个处理器是硬件的示例。例如,方法的操作中的至少一些可以由一个或更多个处理器或者处理器实现的部件执行。此外,一个或更多个处理器还可以进行操作以支持“云计算”环境中的相关操作的执行或作为“软件即服务”(SaaS)进行操作。例如,操作中的至少一些可以由一组计算机(作为包括处理器的机器的示例)来执行,其中这些操作可以经由网络(例如,因特网)和经由一个或更多个适当的接口(例如,API)来访问。操作中的某些操作的执行可以分布在处理器之间,不仅驻留在单个机器内,而且跨多个机器部署。在一些示例中,处理器或处理器实现的部件可以位于单个地理定位中(例如,在家庭环境、办公室环境或服务器群内)。在其他示例中,处理器或处理器实现的部件可以跨多个地理位置分布。
“计算机可读存储介质”是指机器存储介质和传输介质两者。因此,术语包括存储设备/介质和载波/调制数据信号两者。术语“机器可读介质”、“计算机可读介质”和“设备可读介质”意指相同的事物,并且可以在本公开内容中可互换地使用。
“短暂消息”是指可以在时间有限的持续时间内访问的消息。短暂消息可以是文本、图像、视频等。短暂消息的访问时间可以由消息发送者设置。替选地,访问时间可以是默认设置或者由接收者指定的设置。无论设置技术如何,该消息都是暂时的。
“机器存储介质”是指存储可执行指令、例程和数据的单个或多个存储设备和介质(例如,集中式或分布式数据库,以及相关联的高速缓存和服务器)。因此,该术语应当被视为包括但不限于固态存储器以及光学和磁介质,包括处理器内部或外部的存储器。机器存储介质、计算机存储介质和设备存储介质的具体示例包括:非易失性存储器,包括例如半导体存储器设备,例如可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、FPGA和闪存设备;磁盘,例如内部硬盘和可移除盘;磁光盘;以及CD-ROM和DVD-ROM盘。术语“机器存储介质”、“设备存储介质”、“计算机存储介质”意指相同的事物并且可以在本公开内容中互换使用。术语“机器存储介质”、“计算机存储介质”和“设备存储介质”明确地排除了载波、调制数据信号和其他这样的介质,所述载波、调制数据信号和其他这样的介质中的至少一些被涵盖在术语“信号介质”中。
“非暂态计算机可读存储介质”是指能够存储、编码或携载由机器执行的指令的有形介质。
“信号介质”是指能够存储、编码或携载由机器执行的指令的任何无形介质,并且“信号介质”包括数字或模拟通信信号或其他无形介质以便于软件或数据的通信。术语“信号介质”应当被视为包括任何形式的调制数据信号、载波等。术语“调制数据信号”意指使其特性中的一个或更多个特性以对信号中的信息进行编码的方式来设置或改变的信号。术语“传输介质”和“信号介质”意指相同的事物,并且可以在本公开内容中互换使用。
Claims (20)
1.一种由一个或更多个处理器执行的根据用户的视力处方向所述用户提供处方眼镜的方法,所述方法包括:
使用头戴式设备的显示设备执行眼睛测试,以确定所述用户的视力处方;
在便携式设备上显示眼镜框架的选择;
使用所述便携式设备接收对眼镜框架的用户选择;
在由所述便携式设备的摄像装置捕获的所述用户的图像上显示所选择的眼镜框架的AR模型;
接收对眼镜框架的最终选择;以及
将所述用户的视力处方和所述最终选择的眼镜框架的标识发送给光学处方服务的至少一个供应商。
2.根据权利要求1所述的方法,还包括:
经由所述便携式设备提供关于所述用户是否能够访问头戴式设备的提示;以及
响应于接收到指示所述用户无法访问头戴式设备的用户输入,发送向所述用户寄送头戴式设备的指令。
3.根据权利要求2所述的方法,还包括:
在发送向所述用户寄送头戴式设备的指令之前获得支付授权。
4.根据权利要求3所述的方法,还包括:
在接收到从所述用户返还所述头戴式设备的通知时,取消或退还所述支付授权。
5.根据权利要求1所述的方法,还包括:
在所述用户的图像上显示所述AR模型的同时接收捕获媒体输入;
捕获与所述AR模型在所述用户的图像上的显示对应的媒体;
接收转发媒体输入;以及
在消息或聊天会话中发送所捕获的媒体。
6.根据权利要求1所述的方法,还包括:
同与眼保健从业者相关联的远程设备创建联合通信会话;
将与使用头戴式设备的所述显示设备执行的所述眼睛测试有关的数据发送到所述远程设备;以及
从所述远程设备接收所述用户的视力处方的批准数据。
7.根据权利要求1所述的方法,还包括:
将使用头戴式设备眼睛测试的所述显示设备执行所述眼睛测试期间生成的摘要数据发送到与眼保健从业者相关联的远程设备;以及
从所述远程设备接收所述用户的视力处方的批准数据。
8.根据权利要求1所述的方法,还包括:
显示列出处方眼镜框架的特性的用户界面元素;
接收对一个或更多个特定特性的用户选择;以及
按照所述特定特性在所述便携式设备上限制所述眼镜框架的选择。
9.根据权利要求8所述的方法,还包括:
在轮播用户界面中显示眼镜框架的限制选择的标识;
接收触摸输入,以将特定眼镜框架标识放置在所述轮播用户界面的中心位置;以及
在由所述便携式设备的摄像装置捕获的所述用户的图像上显示所述特定眼镜框架的AR模型。
10.一种计算机系统,包括:
一个或更多个处理器;以及
存储指令的存储器,所述指令在被所述一个或更多个处理器执行时将所述计算机系统配置成通过执行如下操作来根据用户的视力处方向所述用户提供处方眼镜,所述操作包括:
使用头戴式设备的显示设备执行眼睛测试,以确定所述用户的视力处方;
在便携式设备上显示眼镜框架的选择;
使用所述便携式设备接收对眼镜框架的用户选择;
在由所述便携式设备的摄像装置捕获的所述用户的图像上显示所选择的眼镜框架的AR模型;
接收对眼镜框架的最终选择;以及
将所述用户的视力处方和所述最终选择的眼镜框架的标识发送给光学处方服务的至少一个供应商。
11.根据权利要求10所述的计算机系统,其中,所述操作还包括:
在所述用户的图像上显示所述AR模型的同时接收捕获媒体输入;
捕获与所述AR模型在所述用户的图像上的显示对应的媒体;
接收转发媒体输入;以及
在消息或聊天会话中发送所捕获的媒体。
12.根据权利要求10所述的计算机系统,其中,所述操作还包括:
同与眼保健从业者相关联的远程设备创建联合通信会话;
将与使用头戴式设备的所述显示设备执行的所述眼睛测试有关的数据发送到所述远程设备;以及
从所述远程设备接收所述用户的视力处方的批准数据。
13.根据权利要求10所述的计算机系统,其中,所述操作还包括:
将使用头戴式设备眼睛测试的所述显示设备执行所述眼睛测试期间生成的摘要数据发送到与眼保健从业者相关联的远程设备;以及
从所述远程设备接收所述用户的视力处方的批准数据。
14.根据权利要求10所述的计算机系统,其中,所述操作还包括:
在轮播用户界面中显示眼镜框架的限制选择的标识;
接收触摸输入,以将特定眼镜框架标识放置在所述轮播用户界面的中心位置;以及
在由所述便携式设备的摄像装置捕获的所述用户的图像上显示所述特定眼镜框架的AR模型。
15.一种非暂态计算机可读存储介质,所述计算机可读存储介质包括指令,所述指令在被计算机系统执行时使所述计算机系统通过执行如下操作来根据用户的视力处方向所述用户提供处方眼镜,所述操作包括:
使用头戴式设备的显示设备执行眼睛测试,以确定所述用户的视力处方;
在便携式设备上显示眼镜框架的选择;
使用所述便携式设备接收对眼镜框架的用户选择;
在由所述便携式设备的摄像装置捕获的所述用户的图像上显示所选择的眼镜框架的AR模型;
接收对眼镜框架的最终选择;以及
将所述用户的视力处方和所述最终选择的眼镜框架的标识发送给光学处方服务的至少一个供应商。
16.根据权利要求15所述的非暂态计算机可读存储介质,其中,所述操作还包括:
在所述用户的图像上显示所述AR模型的同时接收捕获媒体输入;
捕获与所述AR模型在所述用户的图像上的显示对应的媒体;
接收转发媒体输入;以及
在消息或聊天会话中发送所捕获的媒体。
17.根据权利要求15所述的非暂态计算机可读存储介质,其中,所述操作还包括:
同与眼保健从业者相关联的远程设备创建联合通信会话;
将与使用头戴式设备的所述显示设备执行的所述眼睛测试有关的数据发送到所述远程设备;以及
从所述远程设备接收所述用户的视力处方的批准数据。
18.根据权利要求15所述的非暂态计算机可读存储介质,其中,所述操作还包括:
将使用头戴式设备眼睛测试的所述显示设备执行所述眼睛测试期间生成的摘要数据发送到与眼保健从业者相关联的远程设备;以及
从所述远程设备接收所述用户的视力处方的批准数据。
19.根据权利要求15所述的非暂态计算机可读存储介质,其中,所述操作还包括:
在轮播用户界面中显示眼镜框架的限制选择的标识;
接收触摸输入,以将特定眼镜框架标识放置在所述轮播用户界面的中心位置;以及
在由所述便携式设备的摄像装置捕获的所述用户的图像上显示所述特定眼镜框架的AR模型。
20.根据权利要求15所述的非暂态计算机可读存储介质,其中,所述操作还包括:
经由所述便携式设备提供关于所述用户是否能够访问头戴式设备的提示;以及
响应于接收到指示所述用户无法访问头戴式设备的用户输入,发送向所述用户寄送头戴式设备的指令。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202163203734P | 2021-07-29 | 2021-07-29 | |
US63/203,734 | 2021-07-29 | ||
PCT/US2022/074269 WO2023010086A1 (en) | 2021-07-29 | 2022-07-28 | Vision test and provision of prescription glasses |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117716435A true CN117716435A (zh) | 2024-03-15 |
Family
ID=83594162
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280052749.3A Pending CN117716435A (zh) | 2021-07-29 | 2022-07-28 | 视力测试和处方眼镜的提供 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230035668A1 (zh) |
KR (1) | KR20240039018A (zh) |
CN (1) | CN117716435A (zh) |
WO (1) | WO2023010086A1 (zh) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130339043A1 (en) * | 2012-06-13 | 2013-12-19 | Advanced Vision Solutions, Inc. | Vision correction prescription and health assessment facility |
KR102520143B1 (ko) * | 2016-07-25 | 2023-04-11 | 매직 립, 인코포레이티드 | 광 필드 프로세서 시스템 |
-
2022
- 2022-07-28 WO PCT/US2022/074269 patent/WO2023010086A1/en active Application Filing
- 2022-07-28 KR KR1020247006572A patent/KR20240039018A/ko unknown
- 2022-07-28 US US17/815,887 patent/US20230035668A1/en active Pending
- 2022-07-28 CN CN202280052749.3A patent/CN117716435A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2023010086A1 (en) | 2023-02-02 |
KR20240039018A (ko) | 2024-03-26 |
US20230035668A1 (en) | 2023-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN117043718A (zh) | 激活操作电子镜像设备的免提模式 | |
US10235810B2 (en) | Augmented reality e-commerce for in-store retail | |
US10223832B2 (en) | Providing location occupancy analysis via a mixed reality device | |
US20220301231A1 (en) | Mirroring device with whole-body outfits | |
US20180357670A1 (en) | Dynamically capturing, transmitting and displaying images based on real-time visual identification of object | |
CN103076875A (zh) | 具有全息对象的个人音频/视频系统 | |
CN117043719A (zh) | 具有免提模式的镜像设备 | |
JP2011192189A (ja) | 眼鏡販売システム、レンズ企業端末、フレーム企業端末、眼鏡販売方法、および眼鏡販売プログラム | |
US20220198603A1 (en) | Recentering ar/vr content on an eyewear device | |
CN116685935A (zh) | 确定注视方向以生成增强现实内容 | |
CN115956255A (zh) | 使用广角成像设备的3d重建 | |
CN115113399B (zh) | 用于黄斑变性的增强现实显示 | |
CN116685938A (zh) | 眼镜设备上的3d绘制 | |
CN115335820A (zh) | 用于大规模增强现实的位置映射 | |
EP4268056A1 (en) | Conversation interface on an eyewear device | |
US20160335615A1 (en) | Wearable display device for displaying progress of payment process associated with billing information on display unit and controlling method thereof | |
WO2023235673A1 (en) | Augmented reality self-scanning and self-checkout | |
CN116916809A (zh) | 使用头戴式设备进行眼科成像 | |
US20230035668A1 (en) | Vision test and provision of prescription glasses | |
WO2022187824A1 (en) | Ophthalmic imaging using a head-worn device | |
WO2022147282A1 (en) | Accessing third party resources via client application | |
CN117321534A (zh) | 用于增强现实显示设备的触摸板导航 | |
KR20170079628A (ko) | 온라인을 통한 안경 판매 방법 | |
US20240012243A1 (en) | Virtual Reality Hardware | |
US11971246B2 (en) | Image-based fitting of a wearable computing device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |