CN108508629A - 具有眼睛驱动控制系统的智能接触镜片和方法 - Google Patents

具有眼睛驱动控制系统的智能接触镜片和方法 Download PDF

Info

Publication number
CN108508629A
CN108508629A CN201710404338.7A CN201710404338A CN108508629A CN 108508629 A CN108508629 A CN 108508629A CN 201710404338 A CN201710404338 A CN 201710404338A CN 108508629 A CN108508629 A CN 108508629A
Authority
CN
China
Prior art keywords
eyes
display
image
components
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710404338.7A
Other languages
English (en)
Inventor
萨图克特尔·亚历山大
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rui Yun Nuo Fa Co Ltd
Original Assignee
Rui Yun Nuo Fa Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rui Yun Nuo Fa Co Ltd filed Critical Rui Yun Nuo Fa Co Ltd
Publication of CN108508629A publication Critical patent/CN108508629A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C7/00—Optical parts
    • G02C7/02—Lenses; Lens systems ; Methods of designing lenses
    • G02C7/04—Contact lenses for the eyes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00—Non-optical adjuncts; Attachment thereof
    • G02C11/10—Electronic devices other than hearing aids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Otolaryngology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了一种具有眼睛驱动控制系统的智能接触镜片系统。所述接触镜片系统包括接触镜片基片、嵌入式显示器和板载嵌入式或板外远程处理器。所述嵌入式显示器可以形成所述接触镜片基片的一部分。所述嵌入式显示器被配置用于向用户输出各种UI组件。所述处理器被配置成使图像的至少一部分移位到所述嵌入式显示器的中央位置，以使所述图像的所述部分聚焦在所述嵌入式显示器上并且选择UI组件以及可选地将其触发；从而产生适当的系统事件。因此可以利用眼睛来控制整个系统操作。

Description

具有眼睛驱动控制系统的智能接触镜片和方法
相关申请的交叉引用
本申请要求于2016年3月16日提交的美国非临时专利申请15/071205的权益，该申请的全部内容以引用方式并入本文。相关的美国专利申请为于2015年12月9日提交的#14/963,241、于2015年7月17日提交的#14/803,022、于2016年9月17日提交的#15/268,582。
技术领域
本发明涉及智能接触镜片系统。更具体地，本发明涉及使用智能接触镜片系统的嵌入式显示器组件来产生各种显示输出的系统和方法，以及利用源于镜片用户的眼睛的信息来控制所述基于智能接触镜片的系统的系统和方法。
背景技术
通常，在大多数计算机中，通过将鼠标图标拖曳到感兴趣的UI组件，然后点击鼠标按钮从而指示选择正在进行来进行UI组件选择。可替代地，利用触摸板和手指或某种操纵杆或其他方法来执行UI选择，其中物理动作被执行并且被转化成UI组件选择。
在具有触摸屏的计算机中，UI选择是触觉型的并且通过手或手指触摸来驱动，所述手或手指触摸可由触摸屏检测。UI组件是通过对其进行触摸来选择。一些系统使用辅助触笔装置，这些辅助触笔装置也属于触觉类装置。
在许多AR(增强现实)或VR(虚拟现实)头戴式解决方案中，对被投射的UI组件的选择是例如通过追踪用户的手来执行的。
利用当前出现的AR技术，通过多种颜色或深度传感器来追踪手部运动并且将手部运动用作选择UI组件或发信号通知并触发系统动作的控制机制。利用传统的AR和VR系统，手势被用作系统命令或由特定应用程序来解译，在此情况中通过外部身体动作来执行UI选择。然后使这种动作与2D或3D UI几何形状相关联，其中与选择器相对应的选择器UI组件(箭头/手)在屏幕上的UI组件上方移动，从而触发系统选择UI组件的动作信号。这进而触发事件，该事件由系统发送到正在选择的系统/应用。该应用然后接收触发信号并且发起适当的响应动作。
利用传统的AR和VR系统，仅通过使选择身体部分(手或手指等)的几何形状与给定AR或VR系统中的UI界面的2D或3D几何形状相关联，手势就可用于进行选择，而无需选择器UI组件(箭头/手)。手势的焦点一指向特定组件，该组件就会被选择。
在具有嵌入式显示器的智能接触镜片的系统中，可以在接触镜片嵌入式显示器上展示UI组件。能够从许多UI组件中进行选择并从而触发系统动作以作为用户与支持AR或VR的智能接触镜片进行交互的方式对于使智能接触镜片有用且实用而言至关重要。然而，需要考虑人类视觉系统的某些定生理学和解剖学限制。
一般而言，人眼让从对象反射的光通过晶状体而行进，在晶状体处击中作为位于人眼的后面处的光敏表面的视网膜。通常可以将眼睛的视网膜划分成若干离散部分，所述若干离散部分通过它们各自的光敏度的水平来区分。例如，可以将视网膜划分成中央凹和周边区域，其中所述周边区域还包括外接中央凹的旁中央凹带，以及外接旁中央凹的离周边区域的中央更远的中央凹周外区。视网膜主要包括两种类型的光感受器细胞：用于日光色感知的视锥细胞和用于暗光和黑白视觉的视杆细胞。在人眼中，存在约700万个视锥细胞和大约7500万至1.5亿个视杆细胞。在视网膜的中央处的中央凹主要包括视锥细胞所以允许良好质量的彩色视觉实现。中央凹使得能实现清楚、锐聚焦且彩色的视觉，而周边区域用于低光视觉，用于检测运动并且辨别不同的颜色和形状。
锐视觉由于位于直接在人眼的晶状体前面的眼睛的底部处的中央凹区域而是可能的。然而，中央凹区域仅展示使得人能够看到锐聚焦中的被观察视野的非常有限的一部分的某些程度的可视角度。另外，周边视觉是至关重要的并且在视觉感知中起关键作用。大脑记录并处理落入到中央凹区域的区中的信息以及来自周边区域的信息。初始和部分视觉数据采集经由周边视觉来执行，并且为得到完整且详细的数据采集，眼睛移动以使感兴趣的信息聚焦；也就是说以利用中央凹区域来感测焦点中的图像。
一般地，在常规的视觉系统中，无论何时图像被显示在用户前面，诸如在TV、平板或任何其他头戴式显示器上的纸上的文本，视野的位置保持不变并且仅眼睛凝视方向相对于显示器上的图像的静止部分改变以聚焦于显示器的其他部分，以便具有完整的图像数据摄取。
然而，如果将透明或半透明或不透明显示器嵌入到接触镜片中，则可以显示叠加到在用户前面的真实世界对象视野上的图像或视频。此类嵌入式显示器自然地与人眼的位置空间上相关联并且相对于人眼的位置锁定。因为嵌入式显示器将随着眼睛的每一次运动而移位，所以正呈现在嵌入式显示器的中央处的图像的仅一部分将在锐聚焦中并且用户将不能够感知到清楚聚焦的叠加图像的其他部分。另外，人眼位置调整将无法使眼睛看到聚焦的图像的其他部分，因为嵌入式显示器随着人眼的运动而移动并且显示器上的图像布置因此不会改变。
此外，关于存在于用户前面的真实世界对象的信息在空间上相对于对用户可见的对象的几何形状被叠加到嵌入式显示器上。例如，支持增强现实(AR)的应用识别真实世界对象，确定与经识别的真实世界对象相关联的环境注释/描述并且将与真实世界对象有关的信息叠加到嵌入式显示器上，使得所述信息在视野中被覆盖在真实世界对象附近或上方。在这种应用中，所述信息将是似乎相对于用户的具体周围环境静止的虚拟对象。在另一示例性实施例中，通过应用集成到接触镜片中的显示器，可以不管对象在观察者的视野中的空间位置如何都将信息叠加在显示器上。例如，文本(文章、书籍等)、仪表盘，具有温度、时间、股票报价、成行滚动新闻和其他信息。此数据与用户经由接触镜片看到什么无关。在另一示例性实施例中，集成到接触镜片中的显示器的应用是虚拟现实(VR)，其中呈现给用户的视野是半透明的或不透明的，从而创建虚拟现实视野。存在嵌入式显示器的多个其他应用并且基于接触镜片的嵌入式显示器的任何使用将具有如上所述的相同局限性。
为了克服前述问题，可以在中央位置处示出嵌入式显示器上的图像以便使整个图像聚焦。为了将整个图像显示在中央位置处且聚焦，图像需要以远离用户的方式呈现。然而，此方法具有许多局限性，诸如：1)在“远离”时显示聚焦的信息的量和图像大小是最小的，并且2)不存在可用的周边视觉，这进一步限制了这种方法的有用性。
发明内容
本发明中提出的解决方案是：1)部分地或完全地将使所显示的图像的不同部分聚焦的任务从眼睛转移到显示器。为了聚焦，图像的部分必须在显示器的中央处、位于眼睛的视网膜前面。图像必须在显示器上移位，以便将感兴趣的图像的部分定位在显示器的中央处从而使它聚焦。2)智能接触镜片系统追踪眼睛位置的改变并且使它与由于显示器上的图像移位而进入聚焦的对应的UI组件相关联，从而系统“选择”移位到显示器的中央的UI组件。所述系统具体地可以可选地明确标记UI组件以表示它被选择。因此，系统可以紧接在UI组件已被选择之后或在随着附加的触发动作或事件而发生激活之后激活组件。因此，基于智能接触镜片的智能接触镜片系统或应用的控制单独利用眼睛或眼睛和附加的触发动作来实现。
UI组件可以表示动作或信息。UI组件可以由嵌入式显示器上的至少一个像素组成并且通过嵌入式显示器上的至少一个像素来表示。具体而言，UI组件可以包括但不限于：
●输入控件：复选框、单选按钮、下拉列表、列表框、按钮、切换框、文本字段、日期字段；
●导航组件：导览列、滑块、检索字段、编页码、滑动条、标签、图标；
●信息组件：工具提示、图标、进度条、通知、消息框、模式窗口、叠加在真实世界视野上方的任何信息或呈现在AR或VR应用中的任何信息。
一般而言，可以将UI组件细分成具有以下语义的两类：信息或事件、命令、动作触发语义。
一些UI组件可以承载信息语义，而没有事件、命令、动作触发语义。
一些UI组件可以承载事件、命令、动作触发语义。
UI组件可以是应用窗口。
UI组件可以包括一个像素或多个像素。
UI组件可以承载特定语义并且可以表示动作，例如开始记录、拍摄照片、启动应用、任何其他动作。可以存在由被执行的应用给予语义的UI组件。
UI组件可以是可编辑的或不可编辑的。
UI组件可以是可选择的或不可选择的。
UI组件可以是在AR类型的应用中叠加在真实世界视野上方的任何信息或对象或图片或符号。
UI组件可以是嵌入式显示器上的像素的任何组合，其外观可在AR或VR或任何其他类型的应用中为用户承载任何语义意义。
UI组件可以是VR类型的应用中的任何信息或对象。
UI组件可以是可选择的或不可选择的。
UI组件可以仅在没有承载语义的命令的情况下具有信息可选择的或不可选择的语义。信息可选择的UI组件不必作为命令/事件/动作触发器被激活。它仅需要被选择，以给系统提供必需信息。不可选择的信息UI组件为用户提供信息。例如：以任何方式呈现的不可编辑的文本或不可编辑的单选按钮或任何不可编辑的信息。可选择的信息组件可以向用户提供信息并且提供编辑和改变该信息的值的能力；例如：以任何方式呈现的单选按钮或复选框、可编辑的文本框或任何可编辑的信息。可选择的信息组件可以从用户往回向系统提供信息。
在一个非限制性示例性实施例中，可以一步法实现对嵌入式显示器上的UI组件的选择，而对UI组件的选择自动地激活它-创建触发事件。
在一个非限制性示例性实施例中，可以两步法实现对嵌入式显示器上的UI组件的选择：首先，将组件标记为被选择，2)在单独的步骤中激活所标记的UI组件。
在一个非限制性示例性实施例中，所述系统确定或设定锚点，所述锚点是眼睛在给定时间的位置。一旦锚点被确定，眼睛运动的追踪就开始并且运动的程度与显示器上的图像移位成比例地相关联并且图像移位被执行以使图像的新部分聚焦。一旦眼睛运动停止，位于显示器的中央处的UI组件就是感兴趣的UI组件并且被选择。在一个非限制性示例性实施例中，所述系统可以将定时器用作用于UI控件的激活的触发器，例如用户保持聚焦并且注视UI控件，持续的时帧长于作为阈值以触发激活的规定时帧。在当前实施例中，系统对用户注视/聚焦UI组件有多久进行计时并且一旦达到预定义的阈值，就发信号通知。
在一个非限制性示例性实施例中，可以利用一只或两只眼睛的至少一次眨眼来触发激活。
在一个非限制性示例性实施例中，一旦组件被选择它就可以被激活；也就是说可以向拥有UI组件并且发生激活的应用发送信号或事件。
在一个非限制性示例性实施例中，一旦组件被选择它就可以被标记为“被选择”，例如，UI组件的轮廓可以粗体或不同的颜色突出，或可以执行一些其他标记手段。
在一个非限制性示例性实施例中，一旦组件被选择，它就可以利用特定信号或触发器来激活。例如，系统可以对所选择的UI组件被选择有多久进行计时，并且在某个阈值之后，可以激活所选择的组件。
在一个非限制性示例性实施例中，所选择的组件可能需要用于激活的动作，例如眼睛的眨眼或一系列眨眼或头的预定义的信令运动或手或双手的预定义的运动，或一些其他信令手段。
在一个非限制性示例性实施例中，可以借助于声音比如说拍手一次来执行所选择的组件的激活。
在一个非限制性示例性实施例中，所述系统可以包括眼睛位置或方向追踪组件以追踪眼睛运动的程度。
在一个非限制性示例性实施例中，所述系统可以包括处理模块，所述处理模块被配置成使眼睛的位置与嵌入式显示器上的图像相关联。
在一个非限制性示例性实施例中，所述系统可以包括处理模块，所述处理模块被设置成处理针对对应的UI组件的选择和激活。
在一个非限制性示例性实施例中，所述系统可以包括处理组件，所述处理组件被布置成处理UI组件关联的激活。
在一个非限制性示例性实施例中，所述系统可以包括嵌入式显示器，所述嵌入式显示器被集成到接触镜片基片中，其中所述显示器可以与聚焦组件可选地耦接以使图像聚焦在眼睛的视网膜上。所述图像被利用各种可用的解决方案(例如通过利用菲涅耳微镜片(Fresnel micro lens)或任何其他装置)聚焦。
在一个非限制性示例性实施例中，眼睛位置或方向追踪组件可以包括至少一个取向传感器，所述至少一个取向传感器被布置成确定眼睛的方向取向，并且被布置成追踪眼睛矢量改变。
在一个非限制性示例性实施例中，眼睛位置或方向追踪组件可以包括从外部位于基于头戴式设备或基于鼻的组件上的彩色图像或深度传感器并且可以被配置成追踪眼睛的位置。
在一个非限制性示例性实施例中，眼睛位置或方向追踪组件可以包括位于接触镜片上并且被配置成追踪眼睛相对于环境的矢量的嵌入式彩色图像或深度传感器。
在一个非限制性示例性实施例中，所述系统可以包括集成环境感测模块。环境感测模块可以由多种类型的传感器组成；被嵌入到接触镜片中或为遥控的。
在一个非限制性示例性实施例中，环境感测模块可以负责用户周围的环境的3D映射并且识别在用户附近的对象。
在一个非限制性示例性实施例中，环境感测模块可以负责追踪用户的手势和手命令。
环境感测模块可以由深度传感器、测距仪传感器、激光雷达、彩色CMOS或CCD传感器或红外传感器或各种石墨烯传感器或其他MEMS类型的传感器组成。
在一个非限制性示例性实施例中，可以将环境感测模块集成到接触镜片基片中。
在一个非限制性示例性实施例中，环境感测模块可以是板外的并且位于眼睛附近并且被安装在头戴式或鼻戴式装置上。
在一个非限制性示例性实施例中，眼睛位置或方向追踪组件可以包括至少一个图像传感器，所述至少一个图像传感器与处理器组件耦接，从而使得由嵌入式图像传感器拍摄的图像能够被分析以得到深度信息。图像传感器可以是彩色图像传感器或深度图像传感器。通过追踪深度信息，系统可以利用例如SLAM(同时定位和映射)方法学来确定眼睛相对于环境的取向。
在一个非限制性示例性实施例中，图像传感器可以是微型CMOS或CCD传感器、基于纳米石墨烯的传感器或任何各种MEMS图像传感器或任何其他微型类型的传感器。
图像传感器可以是深度传感器或测距仪传感器，例如与IR发射器可选地耦接的单色CMOS传感器。
深度图像可以由系统用于追踪用户周围的3D几何形状并且确定眼睛相对于外部环境的位置。另外，深度传感器将在用户注视(聚焦)对象的同时反映出对象到用户的相对距离。
在一个非限制性示例性实施例中，眼睛位置或方向追踪组件可以包括至少一个眼睛聚焦确定传感器，所述至少一个眼睛聚焦确定传感器可能包括面向后传感器，被布置成确定眼睛中的晶状体的凸度的水平或圆周的水平。
在一个非限制性示例性实施例中，眼睛位置或方向追踪组件可以包括至少一个眼睛聚焦和调节确定组件，所述至少一个眼睛聚焦和调节确定组件可能包括面向后传感器，被布置成检测眼睛中的晶状体的形状的改变。
在一个非限制性示例性实施例中，眼睛位置或方向追踪组件可以包括至少一个眼睛聚焦和调节确定组件，所述至少一个眼睛聚焦和调节确定组件可能包括面向后传感器，被布置成检测睫状肌信号以确定眼睛的焦点的改变。
在一个非限制性示例性实施例中，眼睛位置或方向追踪组件可以包括至少一个眼睛聚焦和调节确定组件，所述至少一个眼睛聚焦和调节确定组件可以被配置成追踪重新聚焦和调节，测量和追踪瞳孔反应反射和调节反射并且检测和计算进行的重新聚焦。
在一个非限制性示例性实施例中，所述系统可以包括电源组件，所述电源组件还可以包括嵌入到接触镜片基片中的组件并且具有接触镜片外的组件。例如，系统可以包括：镜片外的FR辐射计或光源和板载集成RF感应天线，从而相应地感应来自RF辐射或微型太阳能面板的电荷。
在一个非限制性示例性实施例中，所述系统可以包括从RF天线得到电力的电源组件。
在一个非限制性示例性实施例中，电源组件可以包括板载电池或电容器或蓄电池。
在一个非限制性示例性实施例中，电源组件可以包括嵌入式太阳能电源或发电的任何其他装置。
在一个非限制性示例性实施例中，电源组件可以包括电化学电源、温度电源或以机械方式得到的电源(例如，MEM系统)；例如压电方法。
在一个非限制性示例性实施例中，所述系统可以包括通信组件，所述通信组件形式为具有RF广播的对应基于外部的收发器的嵌入式RF天线或形式为具有基于外部的靠近眼睛的(基于头戴式设备的或基于鼻的)光收发器的嵌入式光源读取器和光发射器。
在一个非限制性示例性实施例中，所述智能接触镜片系统可以包括处理模块；其可以是各种微处理器、CPU、GPU、HPU、ALU、DSP或任何其他计算和处理机制。可以在任何规模上实现所述处理器。可以在微米或纳米级上实现处理组件。在一个非限制性示例性实施例中，处理器可以是板载集成到接触镜片中的组件或可以是板外远程可用的处理组件。
附图说明
至于本公开的结构、组织、使用和操作方法以及另外的目标及其优点，将从以下附图更好地理解被认为是本公开的特性的特征，在附图中现在将通过示例图示本发明的目前优选的实施例。然而，应明确地理解，附图仅为了图示和描述，而不旨在作为本发明的限制的定义。现在将通过示例与附图关联地描述此公开的实施例，在附图中：
图1图示根据本公开的实施例的与头戴式装置具有可选关联的接触镜片系统；
图2至图7是图示根据本公开的实施例的接触镜片系统的示例性操作的流程图；
图8图示根据本公开的另一实施例的接触镜片的框图；
图9图示根据本公开的实施例的接触镜片的另一框图；
图10是图示根据本公开的实施例的接触镜片系统的示例性操作的流程图；
图11至图13是图示根据本公开的实施例的接触镜片系统的示例性操作的流程图；
图14图示根据本公开的另一实施例的接触镜片的框图；
具体实施方式
本公开中使用的术语用于描述示例性实施例的目的并且不旨在为限制性的。术语“包括”、“包括”、“包括”、“含有”和“具有”是包括性的并且因此指定陈述的特征、操作、元件和/或组件的存在，但是不排除其他特征、操作、元件和/或其组件的存在。除非具体地标识为执行的次序，否则本公开中描述的方法步骤和过程将未被解释为必定要求按照所图示的特定次序执行它们。
在一个元件被称为“在”另一元件“上”、“接合到”、“连接到”或“耦接到”另一元件的情况下，它可以直接在另一元件上、接合、连接或耦接到另一元件，或可以存在中间元件。相反，在一个元件被称为“直接在”另一元件“上”、“直接接合到”、“直接连接到”或“直接耦接到”另一元件的情况下，可以不存在中间元件。应该以同样的方式解释用于描述元件之间的关系的其他单词。另外，术语“和/或”包括所关联的列举项中的一个或多个的任何和所有组合。
尽管术语第一、第二、第三等可以在本文中用于描述各种元件、组件、区和/或部分，然而这些元件、组件、区和/或部分不应该受这些术语限制。这些术语可以仅用于区分一个元件、组件、区或部分和另一区、层或部分。除非由上下文清楚地指示，否则诸如“第一”、“第二”的术语和其他数值术语当用在本文中时不暗示顺序或次序。
出于本公开的描述的目的，术语“眼睛位置”可以与来自以下各项的术语中的一个互换地使用：“眼睛凝视取向”、“眼睛取向”、“眼睛方向”、“眼睛方向取向”、“眼睛矢量”或“凝视矢量”。
出于本公开的描述的目的，术语“移位因子”可以与术语“移位调整因子”和“显示调整因子”互换地使用。“移位因子”是指图像在显示器上的移位的方向矢量和程度。
出于本公开的描述的目的，术语参照系(FoR)是指观察者中心坐标系。2D参照系是指嵌入式显示器的二维几何形状并且由x轴和y轴来限定，2D参照系是相对于嵌入式显示器的；3D参照系是指真实世界三维几何形状并且由x轴、y轴和z轴来限定。
出于本公开的目的，术语“基准参考”和“基准点参考”及“零点参考”和“锚点”是指眼睛和显示器上的对应图像布置的相对位置，其可被视为显示器上用于后续眼睛凝视取向追踪和对应图像位置调整的起始点。
在一个非限制性示例性实施例中，一旦零点参考被确定，对眼睛的位置的追踪就针对覆盖到显示器上的当前图像而开始。随着眼睛的位置中的每个移位，可以相应地重新计算图像覆盖图，使得由眼睛寻找的图像的部分被显示在显示器的中央处，在眼睛的视网膜前面，并且因此显示聚焦。
在一个非限制性示例性实施例中，“基准点参考”可以由用户随着触发动作利用任何可检测的信号来选择。
在一个非限制性示例性实施例中，用户可以通过拍手来触发摄取基准点参考。
在一个非限制性示例性实施例中，用户可以通过眨眼来触发摄取基准点参考。
在一个非限制性示例性实施例中，用户可以通过预定义的信号来触发摄取基准点参考，所述预定义的信号由图像捕获装置捕获并且被处理以识别信号。例如手势的特定顺序和形式。在一个非限制性示例性实施例中，用户可以通过预定义的语音命令来触发摄取基准点参考。
通过追踪眼睛的焦点的改变，系统可以确定眼睛是聚焦于叠加在显示器上的图像还是在眼睛前面的真实世界对象。
在一个非限制性示例性实施例中，用户可以通过实时地追踪眼睛的焦点来触发摄取基准点参考，以确定眼睛正聚焦于一定距离处的对象还是它聚焦于显示器上的图像。此方法可以用于在参照系之间切换并且用于同时配准锚点。
在一个非限制性示例性实施例中，所述系统可以使对象/UI组件在显示器上的布置和用户的眼睛凝视矢量以及聚焦信息相关联，以确定在任何给定时间点什么聚焦。基于此确定系统可以执行各种动作。
外部真实对象与覆盖图像之间的凝视切换的各种其他检测器是可能的。上面给出的方法仅是示例性的，而不应该被视为限制本发明的范围。
在一个非限制性示例性实施例中，所述系统可以预定义或动态地确定基准点参考应该在哪里并且对照所述点参考追踪何时应该停止。系统可以停止追踪眼睛的位置并且使眼睛的矢量的改变与在停止点处显示器上的图像布置相关联。可以利用手势、语音或其他信号来发信号通知停止点。可以通过聚焦从显示器上的图像到在用户前面的真实世界对象的改变来发信号通知停止信号。可以存在用于识别或发信号通知停止点的各种其他方式。对于2D FoR，一旦停止信号被识别，显示器上的图像就可以返回到其在显示器上的原始布置；而不管眼睛的当前位置如何。
参考图1，本公开的接触镜片100可以包括具有嵌入式显示器105的有源接触镜片基片101。可以将嵌入式显示器105布置在接触镜片基片101的中央处，使得可以将嵌入式显示器105定位为正对着用户的眼睛的角膜。
在一个实例中，嵌入式显示器105可以是透明显示器、半透明显示器或不透明显示器。可以将嵌入式显示器105嵌入在接触镜片基片101的内部或上面。
在一个实例中，嵌入式显示器105可以具有圆形形状。可替代地，嵌入式显示器105可以具有正方形形状。然而，嵌入式显示器的形状不限于上面提及的形状并且嵌入式显示器105也可以拥有其他适合的形状。
在一个非限制性示例性实施例中，可以将嵌入式显示器105实现为液晶显示器(LCD)或发光二极管(LED)显示器的变型。例如，基于GaN(氮化镓)的LED。然而，嵌入式显示器105不限于LCD或LED或OLED显示器，并且也可通过各种其他微米或纳米级发光组件实现。显示器可以使用无源或有源显示技术。
在一个非限制性示例性实施例中，嵌入式显示器105可以包括任何类型的有源显示技术。
在一个非限制性示例性实施例中，嵌入式显示器105可以包括任何类型的无源显示技术。
在一个非限制性示例性实施例中，嵌入式显示器105可以包括任何类型的显示技术。
一般而言，人眼不可聚焦于与眼睛的距离近于几厘米的对象。正好定位在眼睛的角膜前面的常规显示器由于人眼的自然解剖局限性而不允许眼睛感知清楚且锐聚焦中的图像。这是实现具有内置到镜片中的透明、半透明或不透明显示器的有源接触镜片的主要困难。目前有若干所述问题的解决方案。
在一个实施例中，嵌入式显示器105组件可以包括不同类型的微镜片。例如，微镜片的阵列层被定位在嵌入式显示器105上方，使得微镜片中的每一个对应于嵌入式显示器105上的一个或多个像素。微镜片的阵列层被定位为直接面对眼睛的角膜。微镜片创建直接投射到眼睛的视网膜上的准直光束。展示图像的光线被共线地或几乎共线地布置，这导致由感知主体感知为远源的且“聚焦”的图像。图像的某些部分(偏离中心)可以离焦并且可以利用周边视觉看到。
在一个非限制性示例性实施例中，显示器105可以与变型的像菲涅耳的微镜片或镜片阵列的耦接，所述微镜片或镜片阵列将图像直接聚焦到眼睛的视网膜上。菲涅耳镜片是利用非常薄的光学组件实现适当质量聚焦的衍射聚焦组件。
在一个非限制性示例性实施例中，显示器105可以与其他类型的聚焦组件耦接。在一个非限制性示例性实施例中，可以将显示器105实现成产生光线，所述光线被作为焦点图像投射到视网膜上。
在一个非限制性示例性实施例中，接触镜片系统可以利用将整个显示聚焦到眼睛中的单个镜片。
在一个非限制性示例性实施例中，显示器105可以与具有一定折射率的变型的薄的可变聚焦镜片(诸如液晶镜片)的耦接，所述折射率可以利用电信号用电子学方法改变。用于在近距离处聚焦显示信息的各种其他方法和技术是可能的。此实施方式对具有各种眼科聚焦问题的人们来说可能是特别有用的。
应该认识到，存在能够产生图像到眼睛的视网膜上的投射使得它被感知为聚焦的多种其他策略和技术。上面提及的方法是示例性的，而决不应该被认为限制本发明的范围。
在一个实施例中，本公开的接触镜片100还可以包括集成电源模块107。电源模块107可以向接触镜片100提供电力。电源模块107可以从能量传递天线102得到电力。能量传递天线102可以从靠近能量传递天线102设置的射频(RF)电源接收电力。电源模块107可以包括电容器单元、电池或蓄电池单元以在外部电力输送不可用时从本地存储装置供应电力。
在另一实施例中，电源模块107可以从板载集成太阳能面板、射频电源、电化学电源、温度电源或以机械方式得到的电源(例如，MEM系统)或各种压电组件得到电力。
在另一实施例中，可以从被集成到接触镜片基片101中的若干传感器获得电力。例如，对光起反应的图像捕获传感器可以被配置成在无源模式下发电。另外，也可以利用热传感器、电导率传感器、磁传感器和其他机电传感器。在一个实施例中，接触镜片基片101可以并入板载集成通信模块106。通信模块106可以包括无线天线102。无线天线102可以被布置成与外部通信应答器进行通信或与另一“配对的”接触镜片进行通信。通信模块可用于各种其他数据或参数或命令的传输。
通信模块106可以用于a)从远程可用源请求信息，b)从远程可用服务提供方接收响应，并且c)从板外眼睛位置追踪子系统得到位置信息、指令和/或眼睛凝视方向。在另一实施例中，通信模块106可以从远程定位的但是与用户的接触镜片极为接近的板外位置确定子系统接收头方向。通信模块106可以向服务器发送由集成到接触镜片基片101中的图像捕获装置所收集的图像信息。在另一实施例中，通信模块106可以发送/接收来自与本公开的接触镜片100配对的另一接触镜片的信息。
在一个实施例中，通信模块106可以包括各种电子组件，诸如与无线天线102耦接的收发器。通信模块106可以包括板载存储器和子处理器以及其他微型电子组件，诸如基于微米或纳米级电子或MEMS的系统和其他类型的微型电子装置。
在实施例中接触镜片100可以包括至少一个处理器模块103。在一个实施例中，至少处理器模块103也可以由头戴式主体109包括。头戴式主体109的处理器模块103可以经由位于接触镜片内的通信模块110和位于头戴式装置中的通信模块106与接触镜片100进行通信。
在一个实施例中，处理器模块103可以经由通信模块106和/或通信模块110发起待发送到外部服务器的请求。
处理器模块103可以计算信息到嵌入式显示器105上的适当覆盖以便使得能够将所述信息显示在嵌入式显示器105的中央处，从而渲染聚焦的图像的相关部分。
在一个实施例中，处理器模块103可以提供仅硬件解决方案或既硬件又软件解决方案来确定参照系(FoR)。处理器模块103可以追踪眼睛移位并且可选地追踪头部位置移位，并且还可以计算图像在嵌入式显示器105上的适当布置。
在一个非限制性示例性实施例中，处理器模块103可以确定参照系(FoR)并且可以基于二维FoR(仅基于眼睛移位的移位)或基于三维FoR计算图像在嵌入式显示器105上的适当移位。在三维(3D)FoR中头部位置以及眼睛位置被追踪并且与用户周围的3D几何形状相关联。基于被追踪位置，覆盖图像在显示器上的位置被计算以便使图像聚焦。
在一个非限制性示例性实施例中，针对2D FoR和3D FoR两者可以基于眼睛取向模块确定眼睛的凝视的方向。在一个非限制性示例性实施例中，针对2D FoR和3D FoR两者可以基于环境感测模块确定眼睛的凝视的方向。其中环境感测模块负责利用各种传感器和技术来映射用户的环境；环境感测模块可以对照映射的环境来确定眼睛的取向。
在一个非限制性示例性实施例中，环境感测模块可以利用SLAM(同时定位和映射)方法学来映射用户的环境并且确定用户相对于环境的取向。在一个非限制性示例性实施例中，环境感测模块可以包括板载嵌入到接触镜片基片中的环境感测组件。
在一个非限制性示例性实施例中，环境感测模块可以包括位于眼睛附近的板外环境感测组件。
在一个非限制性示例性实施例中，环境感测模块可以包括各种激光雷达、测距仪、雷达、颜色或深度传感器以及使得能够确定和映射用户的环境的各种其他方法和传感器。在一个非限制性示例性实施例中，可以将环境感测模块实现为具有微米或纳米级电子组件的MEMS的改变。
在一个非限制性示例性实施例中，环境感测模块可以用于追踪用户的手势和身体运动。
在一个非限制性示例性实施例中，环境感测模块可以用于追踪在用户附近的对象的运动。
在一个非限制性示例性实施例中，在2D FoR中，处理器模块103可以从可变数量的源获取许多输入，例如，所述输入可以是：
●从集成板载取向模块104或从外部眼睛取向模块111或眼睛追踪模块112或环境追踪模块接收到的用户的眼睛的当前方向取向或相对于先前值的取向增量或两者，其中眼睛的取向是相对并对照环境而确定的；
●嵌入式显示器105上的当前图像布置；或
●图像处理；
●识别锚点的信息。
另外，处理器模块103可以计算移位因子；基于所述移位因子图像在嵌入式显示器105上移位。为了在2D FoR中确定移位因子，对眼睛的凝视方向的改变和所述改变的程度进行计算。处理器模块103可以对图像应用移位因子以计算显示器上的图像布置。在一个实施例中，矩阵运算可以用于计算图像在显示器上的布置；另一其他方法可以用于计算图像在显示器上的布置。然而，其他计算方法是可能的，例如可以使用代数方程和其他方法。因此，图像以新计算的布置显示。
此外，移位的程度取决于眼睛在特定比例下的运动的水平并且与眼睛在特定比例下的运动的水平相关联。眼睛运动与图像布置移位的对应程度之间的相关性可以被预配置在接触镜片系统中或可以基于各种因子被动态地确定和调整。例如，接触镜片的用户可以在使用接触镜片系统开始时校准他优选的相关性的水平，可以利用被预配置成控制接触镜片系统的各种手势在使用接触镜片时配置相关性。系统可以使用其他动态因子来调整相关性。
在一个非限制性示例性实施例中，可以相对于基准点参考或相对于特定预定义的或预配置的或动态地确定的坐标取向来计算移位因子。
应该理解，显示器上的图像布置的移位的方法的描述在这里通过示例来提供，而决不应该被认为限制本发明的范围。如本公开中所描述的“移位因子”的术语通过示例用于说明如何可以计算显示器上的图像布置；在这里提供的描述通过示例并且不应该被视为限制本发明的范围；其他术语和方法学可以用于描述类似的功能。
在一个非限制性示例性实施例中，在3D FoR中，处理器模块103可以从可变数量的源取许多输入，例如，所述输入可以是：
●从集成板载取向模块104或从外部取向模块112接收到的眼睛的当前方向取向或相对于先前值的取向增量或两者。无论如何，取向模块104追踪眼睛在3D中的取向，然后不需要附加的头追踪。否则，为了确定眼睛在3D中的实际取向，3D测量取向传感器被实现；可以从环境感测模块得到用户的眼睛的方向取向。其中环境感测模块可以确定眼睛相对于用户的映射环境的取向。
●可选地，从头追踪模块113接收到的头的当前方向取向或头的方向取向的增量。无论如何，取向模块103和外部取向模块112仅追踪眼睛的2D取向，需要附加的头部位置追踪以便提供眼睛凝视矢量相对于3D几何形状的绝对移位。
●嵌入式显示器105上的当前图像布置；以及
●图像处理；
●识别锚点的信息。
为了在3D FoR中确定移位因子，用户周围的3D几何形状和相对于3D几何形状的眼睛凝视位置的改变被追踪。移位因子被应用于图像以计算嵌入式显示器105上的图像布置。在一个实施例中，矩阵运算是用于计算图像在嵌入式显示器105上的布置的最佳方式之一。然而，可以使用计算的其他方法。另外，图像被以新计算的布置叠加在显示器上。
在一个非限制性示例性实施例中，针对计算移位因子的现时进程，考虑嵌入式显示器105校准参数、嵌入式显示器105的分辨率、诸如菲涅耳的镜片的光学强度、图像的大小和/或嵌入式显示器105的其他光学参数。
在一个非限制性示例性实施例中，被动过程可以对用户触发动作做出响应并且可以在无需让用户重新定位他的/她的眼睛的情况下执行图像在嵌入式显示器105上的移位。
在一个非限制性示例性实施例中，处理器模块103被配置成识别和处理UI组件选择和UI组件激活。处理器模块103追踪多个变量以确定是否选择感兴趣的UI组件并且是否激活它。
处理器模块103可以包括可以为通用处理器(CPU)的处理器或能够处理计算机指令的处理单元。处理器模块103还可以包括工作RAM存储器、ROM存储器、EPROM存储器、EEPROM或DROM存储器以及非易失性RAM(NVRAM)存储器，或任何其他种类的工作存储器。在一个实施例中，处理器模块103也可以包括永久性存储器。在一个实施例中，处理器模块103可以包括基于微型微机电系统(MEMS)的或纳米级子系统。处理器可以是板载嵌入到接触镜片基片中的单元或可替代地可以是远程可用的。例如可以将处理器集成到用户的眼镜或头戴式设备中。
在一个非限制性示例性实施例中，处理器模块103可以被构建有基于碳纳米管的交错型存储器，例如Nano-RAM或忆阻器技术。可替代地，也可以将基于自旋电子学原理的任何其他存储器装置用于构建存储器。在另一示例中，可以将基于GMR和TMR效应的MRAM用于构建存储器。存储器构造不限于前述技术并且可以使用任何其他技术，诸如微米或纳米电子组件。可以在板载或在板外利用任何规模的任何其他处理技术。
处理器模块103可以与接触镜片和远程可用服务进行通信。处理器模块103可以向嵌入式显示器装置105输出视觉信息并且向音频输出装置输出音频信息。与音频信号耦接的图像数据提供更好的增强现实体验。
处理器模块103可以与接触镜片100集成或可为与接触镜片100具有无线连接性的外部同级装置。系统可以组合在系统中起类似或不同作用的两个处理器，其中第一处理器被集成到接触镜片100中并且第二处理器远程地位于在接触镜片100外部的同级装置上。
应该理解，在这里提供的系统的处理器模块103或其他电子组件的结构和功能描述是示例性和说明性的，而不应该被认为限制本发明的范围。可以将任何微型信息处理组件用于处理模块103。
在一个非限制性示例性实施例中，有源接触镜片100可以被配备有板载眼睛取向模块104。眼睛取向模块104可以用于确定眼睛的方向取向。眼睛位置相对于头的恒定位置而改变。可以根据2D FoR在两个维度上测量眼睛位置。
在一个非限制性示例性实施例中，有源接触镜片100可以被配备有板载眼睛取向模块104。眼睛取向模块104可以在3D中追踪组合眼睛和头的方向的凝视方向。根据3D FoR在三个维度上测量凝视方向。
另外，智能接触镜片100可以包括嵌入式方向取向传感器模块104。该方向取向传感器可以包括罗盘、陀螺仪、倾斜传感器和加速器，或能够确定方向取向或能够追踪方向取向的改变的任何其他传感器。方向取向传感器模块104可以包括惯性测量单元(IMU)或姿态航向参考系统(AHRS)。可以利用微机电系统(MEMS)技术来实现传感器。此外，可以将传感器实现为纳米或微米级传感器。
在一个非限制性示例性实施例中，方向取向传感器模块104可以包含多维陀螺仪、倾斜传感器和/或可选地加速器。这种取向传感器模块104可以准确地确定和追踪眼睛在两个维度上的凝视的方向；可以在叠加图像的2D FoR中相对于基准点参考做出眼睛的凝视的方向的测量。在一个实施例中，头部运动被完全忽视并且针对眼睛的凝视的方向的测量考虑仅眼睛运动。这里，聚焦在叠加到显示器上的图像(例如，文本图像)上。随着眼睛的每个运动文本图像被重新绘制，使得文本图像的下一个适当的部分得到聚焦。
在一个非限制性示例性实施例中，眼睛取向传感器模块104可以包含罗盘、多维陀螺仪、倾斜传感器和可选地加速器的组合。这种眼睛取向传感器模块104可以准确地确定和追踪眼睛在两个维度上的凝视的方向；可以在叠加图像的3D FoR中相对于基准点参考做出眼睛的凝视的方向的测量。在一个示例中，眼睛运动和头部运动两者被考虑用于测量眼睛的凝视的方向。可以将在用户前面的对象的注释叠加到所注视的对象上并且屏幕上的注释信息的位置被重新计算以使图像的各部分聚焦。
在一个非限制性示例性实施例中，眼睛取向模块104可以是远程可用的并且可以被嵌入到诸如可穿戴眼镜的配对的同级装置中。这种远程眼睛取向模块104可以观察眼睛运动并且测量眼睛移动的程度和方向。
在一个非限制性示例性实施例中，所述系统100可以包括安装在头戴式主体109上的取向模块111。在本实施例中，取向模块111可以被配备有眼睛位置追踪模块112和头部位置追踪模块113。
在一个非限制性示例性实施例中，眼睛位置追踪模块112可以包括至少一个图形捕获装置。另外，位置追踪模块112可以可选地包括光发射器，例如红外(IR)发射器。眼睛位置追踪模块112可以包括处理单元，所述处理单元分析图像的顺序，识别眼睛的虹膜/瞳孔的位置并且追踪眼睛的位置的改变。
应该理解，存在可用于追踪眼睛位置的各种技术和方法。上面描述的在性质上是说明性的，而不应该被认为限制本发明的范围。
在一个非限制性示例性实施例中，眼睛位置追踪模块112可用于管理叠加图像相对于参考参考点在2D FoR中的位置。在本实施例中，不考虑头部位置并且仅眼睛位置被考虑用于管理叠加图像的位置。
在一个非限制性示例性实施例中，远程或头戴式取向模块111可以包括头部位置追踪模块113。头戴式取向模块111可以包括罗盘、陀螺仪、加速器或其他方向/取向感测组件。
在一个非限制性示例性实施例中，眼睛位置追踪模块112和头部位置追踪模块113的组合可用于管理叠加图像相对于基准参考点在3D FoR中的位置。在本实施例中，在计算显示器上的图像位置的移位的同时考虑头部位置以及眼睛的位置两者。
在一个非限制性示例性实施例中，所述系统可以利用环境感测模块来追踪朝外几何形状，所述环境感测模块包括图像捕获或深度捕获或任何其他环境感测装置/传感器。可以通过使深度图像的改变与例如SIFT(尺度不变特征变换)相关联以识别相同时间窗口内的头方向改变以及眼睛运动来确定3D FoR中的眼睛位置改变。环境感测深度图像捕获装置可以被集成到接触镜片中或可以位于头戴式装置上。如果深度捕获装置在接触镜片板载，则SIFT可在无需考虑头部位置改变的情况下确定3D中的绝对取向改变。
应该注意，集成接触镜片取向模块或头戴式取向模块中的任何一个可以孤立地或一起用于实现目标。取向模块或环境感测模块或眼睛追踪模块可以用于确定和追踪眼睛的凝视取向。任何其他装置或方法可以用于确定眼睛的取向矢量。
在一个非限制性示例性实施例中，有源接触镜片100可以布置有一个或多个RF天线102。RF天线可以由通信模块106用于发送和接收数据。RF天线也可以由电源模块用于以无线方式产生电能。
在一个非限制性示例性实施例中，有源接触镜片100可以布置有太阳能面板以产生电能。
在一个非限制性示例性实施例中，有源接触镜片100可以布置有压电发生器。在一个非限制性示例性实施例中，有源接触镜片100可以布置有其他各种电产生或收集组件。
在一个非限制性示例性实施例中，有源接触镜片100可以布置有电容器、电池、蓄电池和其他各种电能存储系统。
在图1中，部分108描绘数据可以清楚聚焦的嵌入式显示器上的区域。显示器的此区域是用于基于眼睛的运动和可选地头的运动重新聚集的目标区域。
在一个非限制性示例性实施例中，处理器模块103可以被配置成“选择”被带到接触镜片的中央的UI组件。
在一个非限制性示例性实施例中，处理器模块103可以被配置成通过例如使UI组件粗体地出现或使它变得更大来使UI组件变成为“被选择”来选择。任何种类的视觉标记可以用于区分当前选择的UI组件和嵌入式显示器上的任何其他UI组件。
在一个非限制性示例性实施例中，可以在对另一UI组件的选择发生的同时取消选择先前选择的UI组件。
在一个非限制性示例性实施例中，处理器模块103可以被配置成启动(激活)紧接在其选择之后选择的UI组件。
在一个非限制性示例性实施例中，处理器模块103可以被配置成利用定时器在选择发生之后启动(激活)UI组件；系统可以定义时帧阈值，例如，聚焦由眼睛保持在控件上两秒钟并因此激活它。
在一个非限制性示例性实施例中，处理器模块103可以被配置成基于某个触发动作来启动(激活)UI组件，所述某个触发动作包括但不限于眨眼、拍手、手部运动，或任何物理身体动作或语音命令。
在一个非限制性示例性实施例中，所述系统可以被配置成通过给予它们不同的语义来不同地处理右眼的眨眼和左眼的眨眼。类似于计算机处理鼠标右击与鼠标左击的关系。
在一个非限制性示例性实施例中，智能接触镜片系统可以被配置成基于来自也称为脑机接口(BMI)的大脑计算机接口(BCI)的激活信号来启动(激活)UI组件。
在图2中，描绘了提出的系统的一个可能的过程流程。该过程检测从一个FoR转变到另一FoR的需要并且将系统相应到切换到操作的替代模式。该过程在例如使接触镜片变成为“ON”状态的步骤201处开始。在步骤202，确定系统的操作的模式。在步骤202，可选地，用户可以将系统切换到一个模式中，否则系统可以自动检测所需模式并且切换到该模式或系统可以触发缺省设定以达到初始预配置的模式。可能的模式是：被动模式203(眼睛不移动-图像移动205)和主动模式204-显示器上图像移位是根据参照系和基准点参考，以与眼睛方向改变或头部位置改变或两者成比例的方式来计算。该过程在步骤202处循环，不变地监测和确定系统所处于的操作的模式。该过程可以在步骤202处改变模式(参照系)。可以利用各种方法来在2D FoR或3D FoR之间切换。例如，可以利用各种技术来监测眼睛的聚焦，即晶状体形状的改变可以指示焦点的改变。
在一个非限制性示例性实施例中，可以通过追踪睫状肌的活动来检测和追踪焦点改变。嵌入到接触镜片基片中的至少一个肌电图传感器被配置成检测眼睛的睫状肌中的电场，所述电场与由睫状肌在改变晶状体的形状的同时所施加的力成比例。睫状肌用力导致眼睛的晶状体的形状的改变并且因此导致眼睛的焦点的改变。
在一个非限制性示例性实施例中，可以利用嵌入式压电传感器的改变来识别焦点改变。压电传感器被配置成检测和追踪通过睫状肌的活动所引起的电信号/场。电信号的强度指示肌用力的水平。
在一个非限制性示例性实施例中，一旦焦点的改变被确定它就可以与眼睛的“期望”焦点可选地相关联并且基于在眼睛前面的对象有多远来对照眼睛的“期望焦点”并置。可以通过使用深度传感器或测距仪或激光雷达或对彩色图像传感器输出的分析来确定期望焦点。例如，系统可以通过使由图像传感器拍摄的若干图像相关联来确定到在眼睛前面的对象的距离。各种技术可用于从任何一个传感器构建现实的3D模型。
无论何时，焦点改变不对应于到现实中注视的对象的距离，系统可推断出聚焦是在覆盖图像上。这假定被覆盖图像示出在与在用户前面的对象不同的焦点处。并且反之亦然，聚焦从显示器上的图像到“期望”焦点的改变是类似地可检测的。
在一个非限制性示例性实施例中，可以通过追踪调节反射并且使它与期望焦点相关联；通过对照用户周围的现实的3D模型使它相关联来检测焦点的改变。
在一个非限制性示例性实施例中，可选地，系统也可以监测和追踪瞳孔反应反射。系统可以利用比如说利用发光传感器来追踪进入眼睛的光的量。系统因此可以计算瞳孔扩大的程度并且使它与针对当前期望距离的瞳孔反应相关联。如果两者不对应，则用户正以不同的焦点将过载图像聚焦于显示器上。
在一个非限制性示例性实施例中，可以利用各种电容传感器来检测调节。
应该理解，可以使用任何其他焦点检测和追踪方法。本专利公开中提供的方法和技术仅是示例性的，而不应该被视为限制本发明的范围。
在一个非限制性示例性实施例中，预定义的手势或声音或眨眼或眼睛向侧面或向上下的急剧运动、其他信令技术可以发信号通知并触发切换到另一模式。
预定义的手势或声音或其他信令技术可以发信号通知并触发图像在显示器上的移位以使感兴趣的图像的部分聚焦。这些信号可以用于确定图像在显示器上的移位的方向和程度。
在一个非限制性示例性实施例中，对从注视真实世界对象切换到注视叠加图像信息的兴趣或意图可以通过利用测量大脑活动和状态的各种方法(例如，使用侵入性或非侵入性BMI(大脑计算机接口))监测大脑活动和大脑状态来识别。
非侵入性计算机接口可以例如包括头戴式装置，所述头戴式装置被布置成利用脑电图(EEG)设备来监测和测量特定大脑波(被称作阿尔法波)。这种设备可以用于检测各种大脑活动、意志、随意意图或视觉刺激。这种装置可以追踪、过滤并检测如下意图：改变聚焦并且聚焦于叠加图像或反之亦然，从聚焦于叠加图像翻转到在用户前面的视野。此外，这种BMI装置可以用于也确定所需图像的移位的程度和移位的方向。
在一个实施例中，BMI可以用于在2D FoR与3D FoR之间翻转以及取零参考点，并且控制和管理图像在显示器上的移位以使图像聚焦。
可以基于通过眼睛的取向(眼睛的方向)206的改变所表示的2D FoR来实现主动模式。可替代地，可以基于通过眼睛和头的取向的两个改变207所表示的3D FoR来实现主动模式。针对3D FoR，系统可以利用从嵌入到接触镜片中的3D取向模型得到的绝对取向信息。可替代地，系统可以利用眼睛的相对取向信息和头部运动追踪信息的组合。可替代地，系统可以利用环境感测模块来反向计算相对于用户的当前环境的对象。
在步骤208，基于若干因子(诸如显示器参数和聚焦组件(菲涅耳镜片)参数)计算显示调整因子(移位因子)，在主动模式下，相对于2D FoR(仅眼睛移位)或3D FoR(说明头部位置改变)计算眼睛的第一位置和眼睛的最后位置，可以将眼睛的位置增量计算为矢量值以指示角移位和移位的程度两者。针对被动模式，可以基于预定义的移位参数或动态地设定的移位参数来计算调整因子；移位参数可以以图像在显示器上的移位的速度和/或间隔为前提。针对主动模式，可以针对眼睛的或头的位置增量或基于眼睛的凝视取向相对于镜片穿戴者的环境的改变来计算移位。
随后，在步骤209处计算图像在显示器上的位置。这里，在步骤210处每像素图像矩阵被计算并且因此图像被叠加到显示器上。步骤211表示过程的结束，例如步骤211，现在可以使装置变成为“OFF”状态。所述过程在循环中工作，其中随着眼睛的位置中的每个改变，图像在显示器上的布置的重新编译接着。因此，重新计算的像素值在嵌入式显示器上更新。
图3描绘针对主动模式过程的2D FoR改变的详细流程图。该过程例如通过使接触镜片系统变成为“ON”状态在步骤301处开始。在步骤305，基准参考被确定并且用作起始位置以在步骤302处确定眼睛的凝视移位。在步骤303，确定眼睛的位置中的方向改变。
在一个非限制性示例性实施例中，可以利用取向模块来确定和追踪眼睛的方向取向。
在一个非限制性示例性实施例中，可以利用观察眼睛位置的外部工具来确定和追踪眼睛的方向取向。
在一个非限制性示例性实施例中，可以利用环境感测模块来确定和追踪眼睛的方向取向，所述环境感测模块映射环境，可选地构建环境的3D图；这种环境感测模块可以使相对于经映射的环境的3D图的当前相对位置相关联并且因此得到眼睛的方向取向。
在步骤304，系统基于基准参考和眼睛相对于基准参考点的方向增量来计算移位调整因子。可以将移位调整因子表示为矢量值，所述矢量值指示在图像的布置中需要的移位的角度和程度。可以将移位调整因子表示为角度量度和值量度，然而角度指示移位的角度(方向)并且值量度指示在角度方向上的移位的程度。应该注意，可以以各种方式表达移位因子(也被称为移位调整因子)，并且这里给出的建议仅用于图示而决不限制本发明的范围。此外，在步骤307处系统基于移位调整因子来计算每像素图像矩阵。存在可以实现所述计算的各种方式，例如利用矩阵数学、三角模型等。另外，在步骤308处经计算的图像被输出到显示器，使得图像的寻找部分被显示在中央处并且位于眼睛的中央处，对着眼睛的视网膜并且因此图像的新部分得到聚焦。同时，先前已经聚焦的图像的部分移位到显示器的周边区域。在循环306中重复此过程。步骤309表示过程的结束并且可以通过切换到另一参照系例如通过用户命令来触发。可以通过眼睛将聚集从覆盖图像改变到外部视野来触发步骤309。
应该理解，上述过程流程在这里以示例的方式提供并且不限制本发明的范围。存在用于例如实现对显示器上的图像位置的计算的许多方式，其中的一些在本文中未描述。
图4描绘针对主动模式过程的3D FoR改变的详细流程图。该过程例如通过使接触镜片系统变成为“ON”状态在步骤401处开始。在步骤409，基准参考被确定为3D FoR。
此外在步骤403，确定眼睛凝视方向。在步骤404，确定头部方向。可以组合步骤404和404并且眼睛的凝视的方向可以通过嵌入到接触镜片中的取向模块来确定。然而，取向模块可以确定眼睛的方向矢量的绝对或相对方向。可以按照各种方式(例如，作为线性矢量、旋转矩阵、欧拉角、三角角度量度或任何其他数学构造)表示测量结果。在步骤402，相对于3D FoR确定凝视的方向取向。
此外，在步骤405，基于头和眼睛相对于基准参考位置的凝视方向上的组合增量来计算显示调整因子。
在一个非限制性示例性实施例中，显示调整因子是基于来自取向确定和凝视追踪机制的任何组合的测量结果进行计算。
在一个非限制性示例性实施例中，显示调整因子是基于眼睛的估计方向上的差异而计算的。
在一个非限制性示例性实施例中，通过分析由集成到接触镜片中的图像或深度捕获传感器或位于外部的传感器所拍摄的彩色或深度图像来执行方向的估计。
在一个非限制性示例性实施例中，各种集成测距仪可以用于估计深度/距离。可以通过利用相似度不变描述符(SID)(例如，尺度不变特征变换(SIFT)或梯度定位和取向直方图(GLOH)算法)来执行眼睛凝视方向的估计。可以应用这些算法以并置并使在不同时间拍摄的两个图像相关联，以检测差异并且以计算凝视方向和凝视随着时间的推移的改变。
取向模块或环境感测模块可以孤立地或共同地用于确定移位调整因子。
进一步在步骤406，计算每像素显示矩阵，使得图像移位反映眼睛的位置中的移位。最新显示矩阵的计算可以由系统的处理模块来执行；处理模块可以被集成到接触镜片中或可替代地可以被布置在远程装置上。在步骤407，刷新屏幕并显示重新计算的图像，使得图像的寻找部分在显示器的中央处得到聚焦。可循环执行此过程。该过程随着预定义的用户触发的动作而在步骤408停止或随着一些其他信号而重新聚焦或切换到另一参照系或任何参照系。
在一个非限制性示例性实施例中，对显示调整因子进行计算并且实际显示随着眼睛位置的每次改变或在眼睛追踪阶段期间显示的数据的每次改变而得以实时重新绘制。
图5、图6和图7示出根据2D FoR的眼睛的凝视通过覆盖图像的顺序“游移”。然而，类似的技术可用于3D FoR。
图5描绘具有嵌入式板载显示器502的有源接触镜片501。显示器502可以具有任何形状。在一个实施例中，显示器可以是圆形的。在替代实施例中，显示器可以是正方形或矩形等。部分503示出将在锐聚焦中看到图像的显示器的部分。在图5中，基准参考是屏幕的中间并且504箭头指向显示有一些数据的显示器上的位置。由504箭头指向的数据部分是对用户感兴趣的。首先，系统取基准参考，即，系统确定眼睛的位置和图像在显示器上的当前布置。其次，随着眼睛的移位，按照图6，有源接触镜片601的系统相应地使图像移位以使得它在显示器的部分603处聚焦在显示器602上可见。图6描绘在基准参考被确定之后的第一图像调整。箭头604指向如由眼睛追踪子系统配准的此后对用户感兴趣的叠加图像的部分。系统按照示例性图7相应到调整屏幕上的图像位置，有源接触镜片701包含显示器702和移位的图像，其中图像数据的寻找部分在703处的镜片的中央处并且因此聚焦。图7描绘在基准参考被确定之后的第二图像调整。一旦数据摄取结束，就可以利用新数据来刷新屏幕上的图像并且可以再次取基准参考。可替代地，如果穿戴者的眼睛的焦点改变为不同的模式，则基于2D FoR的图像可以返回到其缺省位置。
因此，眼睛被呈现有宽周边视觉，并且后续眼睛运动使图像的不同部分聚焦以得到完整数据摄取。在本实施例中，系统基于眼睛运动移位使图像移位，其中眼睛正集中于被覆盖图像(2D FoR)。对于3D FoR，方案是类似的但是当考虑3D FoR时，即，当追踪眼睛方向的改变时，系统追踪相对于用户周围的真实世界的3D几何形状的方向，使得重叠到真实世界视野上的图像与3D真实世界几何形状具有关联，所述3D真实世界几何形状将根据眼睛方向上的3D移位在显示器上移位。
在一个实施例中，可以将针对聚焦移位的任务一起移动到显示器。例如，在用户正在阅读覆盖在嵌入式显示器上的文本的同时，可在眼睛没有运动的情况下相对于眼睛移动文本图像(稳定的眼睛移位图像)；在本公开中它也被称作被动模式。
在一个实施例中，预定义的触发器发信号通知覆盖图像的移位需要发生。示例预定义的触发器可以是手信号或来自用户的声音/命令或智能手机上的按钮的按压、眼睛焦点改变等。在一个实施例中，手势可以用于识别所需移位的矢量和程度。例如，手势可以是手向右移动10cm，这将触发图像向右移位特定比例的度量单位。
在一个实施例中，可以定义时间频率，使得屏幕上的图像数据移位可以发生并且图像可相应地移动。
也可以预定义或通过用户的外部动作来触发图像数据移位的几何形状和移位的定序。
在一个实施例中，系统可以通过主动地识别眼睛的聚焦并且追踪眼睛的调节反射和重新焦点的改变来确定当前(2D对3D)FoR并且因此确定据此在显示器上计算图像覆盖图的模式。
调节反射是由重新聚焦于近的或远离的对象的需要所导致的眼睛的无条件反射。人类视觉系统利用改变的三元组来实现重新聚焦：1)晶状体的形状的改变、2)瞳孔直径的对应比例改变以及3)转向，所述转向是两只眼睛为了获得单个双目视觉在相反方向上的同时运动。眼睛随着它们聚焦于附近的对象而会聚并且在它们聚焦于远离的对象时发散。当主体聚焦于远离的对象时，它也导致晶状体的变平和增加的瞳孔大小；然而当聚焦于附近的对象时，晶状体变得更像球形并且伴随减小的瞳孔大小。需要通过改变镜片的形状来改变镜片的屈光力。
调节的过程是眼睛用来改变其弹性晶状体的形状从而使得眼睛能够聚焦于对象的过程。每当到对象的距离改变时，眼睛需要调节以改变晶状体的光学部件(眼睛的屈光力)。健康的(年轻的)人眼的屈光力是大约13个屈光度，这使得眼睛能够近似地在350毫秒内将聚焦从无限远距离改变到离眼睛大约7cm。存在控制晶状体的形状的一种肌肉：通过悬韧带(可以伸展的韧带纤维)附着到镜片边缘的睫状肌。无论何时，悬韧带纤维放松，镜片变得更像球形，从而调整到更短的距离聚焦并且反之亦然。睫状肌的放松对悬韧带纤维有相反的效应并且镜片变平，从而导致焦距的增加并且使镜片重新聚焦到更长的范围。
本发明中公开的机构监测并识别晶状体的焦长和所述焦长的改变。本文中公开的另一机构识别睫状肌的激活和程度，所述睫状肌的程度指示焦长的改变。
在一个非限制性示例性实施例中，为了追踪镜片的聚焦、对应的焦距及其改变，设置了集成到面对眼睛的角膜(面向后)的接触镜片中的专门传感器。该传感器可以是被设计成对可见或不可见光谱敏感的各种电磁传感器。
此外，系统可以可选地使调节反射和重新聚焦的程度与深度图像信息相关联。然而深度信息可以从各种深度图像传感器、测距仪、激光雷达或主动深度估计的任何其他装置主动地得到或可以通过2D图像分析来被动地计算。关于凝视方向的改变的信息可以与深度图信息的改变结合以针对当前深度(视野的距离)计算调节和对应的期望聚焦的期望水平。可以以各种方式测量和表示期望聚焦。例如，它可用屈光度或米来测量或可以通过晶状体在任何给定时间的形状或到应该在晶状体的当前形状下聚焦的对象的距离来描述。因此，如果直接在眼睛前面的图像的深度是10米(到所注视的对象的距离)，则眼睛应该相应地调节晶状体以聚焦在10米处。当系统检测到晶状体不适应10米的焦点深度时，表明眼睛聚焦于其他物体，例如显示器上的图像；假定显示器上的图像需要与在一定距离处的真实对象不同的焦点深度。
在一个非限制性示例性实施例中，为了追踪眼睛的聚焦，可以追踪瞳孔扩大。瞳孔扩大以许多因素为条件，其中最重要的因素是：调节反射(重新聚焦)、瞳孔反射(对光的量的调整)、瞳孔扩大可能由意识任务参与(TERP)导致所达到的更小效应。因此，如果可通过追踪发光的水平来低估或说明瞳孔反射并且可选地可以低估或说明TERP，则可以计算可对重新聚焦做出贡献的瞳孔扩大。因此，瞳孔扩大可以用于确定眼睛的焦点的改变。
此外，系统可以确定当前聚焦是否对应于到在眼睛前面的对象的距离。相对于当前参照系的所需聚焦的焦点的改变可以用作指示系统需要从2D FoR切换到3D FoR或反之亦然的信号。
图8描绘具有集成眼睛焦点检测传感器(眼睛晶状体焦点传感器)804的接触镜片801。
在一个实施例中，眼睛焦点检测传感器804可以被嵌入到接触镜片基片的中间中并且定位在从眼睛的角膜或重叠角膜802起的任何一侧或可以定位在眼睛的虹膜/瞳孔上方。附图标记802涉及眼睛的角膜部分。
在一个实施例中，眼睛焦点检测传感器804可以定位在接触镜片基片上或与可选地嵌入式显示器803一起集成到接触镜片基片中。
在一个实施例中，眼睛焦点检测传感器804可以嵌入到接触镜片基片的底部中并且定位在从角膜或重叠角膜起的侧。
眼睛焦点检测传感器804可以定位在这种角度下以便相对于眼睛的晶状体在特定角度下。
在一个实施例中，可以将眼睛焦点检测传感器804实现为专门变型的微型CMOS传感器。
另外，可以将眼睛焦点检测传感器804实现为与嵌入到接触镜片中的IR发射器(例如，发光二极管-LED)811可选地耦接的专门变型的单色CMOS传感器，使得IR发射器可以以待在CMOS传感器上反射的IR光击中晶状体。镜片的形式/形状图像将被反射到CMOS传感器中。
可以将眼睛焦点检测传感器804实现为EM-CCD传感器。另外，可以将眼睛焦点检测传感器804实现为CIS(接触图像传感器)。一般而言，CIS在产生的输出图像质量方面优于CCD。然而，给定CIS使用少许多倍的电力并且微型CIS传感器可以很适于追踪虹膜的直径的改变。
在一个实施例中，可以利用CCD传感器的改变来实现眼睛焦点传感器804。另外，可以将眼睛焦点检测传感器804实现为微型HPD(混合光电检测器)。另外，可以将眼睛焦点检测传感器804实现为PIR(无源红外传感器)。这些类型的传感器检测不需要可见光的红外辐射的改变。
在一个实施例中，可以利用高莱探测器(Golay-cell)的原理将眼睛焦点检测传感器804实现为微型电容检测类型的红外传感器。
在一个实施例中，可以利用集成的微型巴达尔视力计来实现眼睛焦点检测。
可以将眼睛焦点传感器804实现在微米MEME组件或纳米级组件上。
应该注意，任何其他方法或任何类型的传感器可以用于识别和检测晶状体的形状的改变并且检测重新聚焦(调节)。这里给出的是可被用于检测晶状体形状的一些可能的技术中的列表。然而，改变仅是示例性的而不应该被视为限制本发明的范围。可以采用多种其他类型的传感器以充当眼睛焦点检测传感器804。
在一个非限制性示例性实施例中，接触镜片基片可以集成电源模块805和通信模块806。接触镜片基片可以集成RF天线以支持两者，通信模块806需要发送和接收响应以及电源模块805需要从位于附近的RF发送器产生电力。
在一个非限制性示例性实施例中，电源模块805可以从其他组件(诸如太阳能面板、压电传感器)得到电力。电荷可以被存储在板载电容器、电池或蓄电池中。
在一个实施例中，接触镜片基片可以集成处理器模块810，所述处理器模块810可以用作显示器和其他嵌入式光电组件的控制器。处理器模块可以被布置成执行可执行代码并且运行各种程序和应用。
处理器模块810可以包括a)可以为通用处理器(CPU)的处理器、b)工作RAM存储器、ROM传感器、EPROM存储器、EEPROM或DROM存储器和非易失性RAM(NVRAM)存储器、c)永久性存储器。
在一个实施例中，处理器模块810可以包括各种微型微机电系统(MEMS)或基于纳米级的子系统。
处理器模块810可以被构建有基于碳纳米管的交错型存储器，例如Nano-RAM或忆阻器技术。也可以利用基于自旋电子学原理的任何其他存储器装置。
在一个实施例中，可以将基于GMR和TMR效应的MRAM用于存储器构造。
可以将接触镜片的所有电子组件实现为MEMS、微米级或纳米级组件。
在一个实施例中，接触镜片基片可以可选地集成图像捕获装置809。可以将图像捕获装置实现为微型CMOS或CCD传感器。可替代地，可以利用微型石墨烯图像传感器来实现图像捕获装置。可以将基于石墨烯的图像传感器实现为CMOS传感器。面朝外的图像捕获装置可以用于收集关于正被用户观察的环境的信息。
在一个实施例中，接触镜片基片可以集成控制电路和电子通信总线807。板载装置可以经由电子通信总线807与彼此进行通信。接触镜片的板载通信总线和电路可以被实现有石墨烯和纳米线。可以利用石墨烯或银纳米线或对接触镜片的透明性需要而言导电的其他材料来实现布线。
在一个实施例中，处理器模块110可以被布置成处理来自镜片焦点传感器804的输出并且确定晶状体的形状的改变以及确定也被称为焦距的镜片的焦点。此信息可用于各种目的。
在一个实施例中，焦点信息可以用于将关于聚焦的对象的靶向信息作为覆盖图呈现在嵌入式显示器上。
在一个实施例中，焦点信息可以用于追踪和监测主体的眼睛凝视和主体的兴趣。
本发明描述用于3D对象映射、追踪和识别的新颖方法和设备。
图9描述智能接触镜片系统的操作过程流程。
过程在步骤901处开始，过程可以从眼睛的眨眼或来自激活接触镜片中的板载发电组件的RF辐射的眼源附近的RF传输的启动或任何其他触发动作或信号开始。在步骤902，系统：
●计算显示调整因子
●计算图像矩阵的移位
●在嵌入式显示器上以新布置显示图像。
显示调整因子是基于可以以各种方式得到的确定的凝视矢量改变(例如，追踪的凝视改变以及可选地在步骤903确定的头部位置改变)而计算的，评估在步骤904确定的选择的FoR的上下文中发生，所述FoR可以是2D或3D。
在步骤905，系统确定正聚焦于哪一个UI组件。也就是说，哪一个UI组件由系统移动到嵌入式显示器的中央。系统可以紧接在它来到显示器的中央之后或在达到预定义的时帧阈值并且用户正聚焦/注视UI控件达特定持续时间之后选择在显示器的中央处的组件。
在一个非限制性示例性实施例中，选择可以由系统通过改变所选择的UI组件的外观来标记。例如如果在UI控件上存在文本，则它可以用粗字体标记。替换地，可以使UI控件的边界变得更加可见且显著。替换地，如果UI组件是像素，则它可改变颜色或可被改变为待放大的2、3个像素。可能存在控件/组件已被选择的视觉线索。
此外，在步骤906，系统确定是否激活UI组件。
UI组件的激活暗示触发由UI组件预先假定和表示的事件/动作、发出待由系统执行和处理的命令或事件。例如，激活红圆UI组件可以在具有嵌入式图像捕获装置的智能接触镜片中触发“开始记录”动作。
一旦UI组件被激活，触发事件就被分派给系统，该触发事件用作系统要执行的命令。
在一个非限制性示例性实施例中，按照步骤907，激活可以是被动的。在步骤907，系统一选择UI组件，系统就激活。
在一个非限制性示例性实施例中，可以利用附加的动作在步骤908处主动地触发激活。物理动作可以是眼睛的眨眼、手指的打响指、给系统的语音命令(假定系统集成语音识别能力)。
在一个非限制性示例性实施例中，可以利用正由深度或颜色传感器监测的手信号在步骤908处主动地触发激活。可着手许多其他物理动作以表示激活。
在一个非限制性示例性实施例中，可以基于时帧触发器在步骤908处主动地触发激活，当UI组件被选择时，系统将定时器设定为开启特定时帧阈值。如果用户在预定义的时帧阈值之后仍然聚焦于UI组件，则接着激活。
应该理解，对任何给定类型的UI组件来说步骤907和908可以是人工独占的。可替代地，步骤907和908可以是同一个相同的动作。
如果在步骤909发生激活，则在步骤911，系统产生需要系统执行由UI组件暗示的命令的触发事件。
在激活不跟随选择(步骤910)的情况下，系统可以环回到追踪眼睛凝视和头取向、眼睛的焦点并且确定下一个锚点。
过程在步骤912处停止。存在用于表示过程的结束的多个方式，例如眨眼的顺序、拍手的顺序、语音命令、利用眼睛聚焦于表示“关闭”命令的UI组件、叠加在嵌入式显示器上等。
此外，图10描绘智能接触镜片系统的操作过程流程。按照本发明的一个非限制性示例性实施例，过程在1001处开始。该过程可以利用多个信号和方法来发起，所述多个信号和方法例如眨眼的预定义的顺序、拍手、语音命令、在眼睛附近的RF辐射的源被打开，这在智能接触镜片上的接收嵌入式RF天线上发电。
紧跟根据选择的FoR来选择锚点、眼睛位置和焦点以及可选地头部位置追踪之后，在步骤1002处UI组件被选择。
在步骤1003，识别或检查所选择的组件的信息或命令产生类型。
在步骤1004，如果控件是纯信息的，例如复选框、单选框，则系统将使用在步骤1007选择的信息。
在步骤1005，系统将UI组件识别为命令/动作产生事件，并且因此在步骤1008使它动作。在步骤1008系统可以考虑到对信息UI组件的任何选择使命令动作。正在执行的实际应用规定信息UI组件如何被解译。
过程在步骤1009处结束。过程的结束可以利用接触镜片的关闭的任何活动来发信号通知，所述任何活动可以利用眨眼或拍手的预定义的顺序、语音命令来触发，可以使用任何其他信令方法和机制。
图11、图12、图13描绘叠加在嵌入式显示器上的图像和从一个位置到另一个位置的图像移位。此外，三个图像示出每当适用时UI组件选择和激活的进展。
按照图11，描绘了智能接触镜片基片1101。SCL基片集成嵌入式显示器1102。部分1103指示显示器上可以被聚焦的眼睛感知到的区。箭头1104指示在眼睛的凝视矢量和聚焦移位的情况下对用户感兴趣的UI控件。描绘了若干UI组件：两个单选按钮、复选框以及具有文本“批准”和“拒绝”的两个按钮。箭头1104指向用户对复选框感兴趣。
按照图12，系统使显示器上的图像布置移位，以使感兴趣的UI组件聚焦在显示器的中央处。1201指示集成嵌入式显示器1202的智能接触镜片基片并且1203指示显示器上可以被聚焦的眼睛感知到的区。一旦用户保持眼睛凝视并且聚焦于复选框，系统就选择该复选框并且将勾选标记放置到其中。然后箭头1204指示用户对显示器的下一个兴趣，即按钮“批准”。
按照图13，系统使显示器上的图像布置移位，以使感兴趣的UI组件聚焦在显示器的中央处。1301指示集成嵌入式显示器1302的智能接触镜片基片并且1303指示显示器上可以被聚焦的眼睛感知到的区。在显示按钮“批准”的中央处，当用户保持聚焦并凝视在按钮上时，系统选择它并且可以立即激活按钮(按压按钮)或系统可以选择按钮“批准”并且等待用于激活UI组件的附加的信号。如果发生激活，则系统被通知UI组件已被激活并且可以由系统采取适当的动作。
图14示出本发明的另一新颖方面。显示在嵌入式显示器上以控制嵌入式板载图像捕获装置的UI组件的使用。智能接触镜片基片1401并入若干电子和光电组件。1402是嵌入到接触镜片中的透明或半透明或不透明显示器。1403描绘具有集成聚焦镜片(这里未示出)的图像捕获装置。接触镜片集成电源模块1404。电源模块可以包括：基于RF天线1406的电力发生器、太阳能面板、蓄电池、电池、电容器、微型压电发生器以及产生并存储电能的其他装置。
接触镜片基片也包括通信模块1405，其中通信信道被布置成与极为接近的其他装置进行通信。通信可以利用像蓝牙或Wi-Fi这样的多个协议或任何其他通信协议。通信模块可以包括任何种类的通信硬件和软件。它可以包括：通信控制器，假定存在基于头戴式设备的或基于鼻的光收发器，可以利用RF天线1406或光发射器和光接收器来实现数据传输。其他通信硬件平台也是可能的。
图14也描绘了呈现于显示器上的两个UI组件：可以用红色描绘或一旦被激活就可以变成红色的1407记录按钮以及1408停止按钮。此外，接触镜片基片也集成处理器模块1409。处理模块可以包括能够执行微程序或程序的MCU、HPU、CPU、任何其他微米或纳米级电子处理组件。
处理器模块1409可以包括a)可以为通用处理器(CPU)的处理器、b)工作RAM存储器、ROM传感器、EPROM存储器、EEPROM或DROM存储器和非易失性RAM(NVRAM)存储器、c)永久性存储器。
在一个实施例中，处理器模块1409可以包括各种微型微机电系统(MEMS)或基于纳米级的子系统。
处理器模块1409可以被构建有基于碳纳米管的交错型存储器，例如Nano-RAM或忆阻器技术。也可以利用基于自旋电子学原理的任何其他存储器装置。
在一个实施例中，可以将基于GMR和TMR效应的MRAM用于存储器构造。
可以将接触镜片的所有电子组件实现为MEMS、微米级或纳米级组件。
本公开的智能接触镜片系统允许用户利用眼睛控制图像捕获装置。一旦眼睛聚焦和凝视切换到显示器上图片，屏幕上的图像就移位以使记录按钮在显示器的中央处聚焦(假定用户想要激活图像记录或视频记录)。一旦图像移动到显示器上的中央布置，系统就激活记录按钮。系统可以利用许多附加的激活信号中的一个来激活记录按钮。在一个非限制性示例性实施例中，记录按钮的激活可以是定时触发器，其中在特定预定义的时间阈值之后，记录按钮激活。
在一个非限制性示例性实施例中，假定智能接触镜片被配备有各种眨眼检测传感器，例如电容传感器，可以利用眨眼来实现激活。
在一个非限制性示例性实施例中，可以利用特定顺序的拍手来实现激活。
在一个非限制性示例性实施例中，可以利用语音命令来实现激活。
应该理解，这里提供的激活方法仅是示例性的，而不应该被理解为限制本发明的范围。
在一个非限制性示例性实施例中，激活暗示SCL系统通过打开图像捕获装置并且开始在拍摄照片的情况下在快照模式下或在拍摄视频的情况下在连续模式下从图像捕获装置读出来响应的激活事件的产生。
在一个非限制性示例性实施例中，可以经由通信模块从基于接触镜片的存储器存储装置向接触镜片的外部流式传输和发送所拍摄的图片或视频。
在一个非限制性示例性实施例中，图像读出从图像捕获装置执行到板载存储器装置中，所述板载存储器装置可以作为处理器模块的一部分被布置。
此外，当在连续模式(视频捕获模式)下激活图像捕获时，需要停用它。停止视频捕获按钮1408需要被聚焦并且需要移位到嵌入式显示器的中央。一旦1408UI组件移动到显示器的中央，SCL系统就选择它。
在一个非限制性示例性实施例中，此后，用于停止记录的选择的UI组件得以激活并且停止视频捕获过程。
在一个非限制性示例性实施例中，此后系统将最后图像从图像捕获传感器拍出到存储器中并且可选地停止给嵌入式图像捕获装置的电力。
因此，可以通过眼睛运动和聚焦完全地控制图像捕获装置。

Claims (21)

1.一种具有眼睛驱动控制系统的智能接触镜片系统，所述智能接触镜片系统包括：
接触镜片基片；
嵌入式显示器，所述嵌入式显示器被集成到所述接触镜片基片中；
处理器模块，所述处理器模块被配置成选择显示器上的UI组件以及可选地将其触发。
2.根据权利要求1所述的智能接触镜片系统，还包括：
眼睛位置或眼睛取向追踪模块。
3.根据权利要求1所述的智能接触镜片系统，还包括：
眼睛焦点追踪模块。
4.根据权利要求1所述的智能接触镜片系统，还包括：
外部环境追踪模块，所述外部环境追踪模块被配置成追踪所述用户周围的环境或追踪用户手势和手命令。
5.根据权利要求1所述的智能接触镜片系统，还包括：
处理器模块，所述处理器模块被配置成确定待选择的UI组件或待选择并触发的UI组件。
6.根据权利要求4所述的智能接触镜片系统，还包括：
处理器模块，所述处理器模块被配置成追踪所述眼睛的焦点的改变并且识别所注视的所述UI组件以及选择当前UI组件。
7.根据权利要求1所述的智能接触镜片系统，还包括：
处理器模块，所述处理器模块被配置成：
a.确定锚点；
b.追踪焦点改变或眼睛取向矢量改变；
c.使显示器上的图像移位，以将感兴趣的图像的部分定位在所述显示器的中央处并且在所述眼睛的视网膜的前面；
d.通过产生选择事件来确定用于UI组件选择的标准已被满足并且选择所述UI组件。
8.根据权利要求4所述的智能接触镜片系统，还包括：
a.环境追踪模块，所述环境追踪模块用于追踪用户手势或手命令；
b.处理器模块，所述处理器模块追踪人体手势以使显示器上的图像移位，以将感兴趣的图像的部分定位在显示器的中央处、位于视网膜的前面。
9.一种智能接触镜片系统，所述智能接触镜片系统包括：
接触镜片基片；
嵌入式显示器，所述嵌入式显示器被集成到所述接触镜片基片中；
处理器模块，所述处理器模块被配置成使嵌入式显示器上的图像移位以将感兴趣的图像的部分定位到所述显示器的中央处并且可选地选择显示器上的UI组件以及可选地将其触发。
10.根据权利要求1所述的智能接触镜片系统，还包括：
图像捕获装置，所述图像捕获装置被集成到所述接触镜片基片中；
嵌入式显示器，所述嵌入式显示器被配置成显示表明图像或音频记录命令的开始或停止或暂停的UI组件；
处理器，所述处理器被配置成根据适当UI组件的选择来开始记录或拍摄图像；
另一处理器，所述另一处理器被配置成根据适当UI组件的选择来停止记录；以及
另一处理器，所述另一处理器被配置成根据适当UI组件的选择来暂停记录。
11.一种利用眼睛来控制SCL的方法，包括以下步骤：
在嵌入到所述接触镜片基片中的所述显示器上展示UI组件；
选择或触发所述显示器上的UI组件；
产生适当的UI选择或触发事件。
12.根据权利要求11所述的方法，还包括：
追踪眼睛取向的步骤；
计算图像移位因子；
使所述嵌入式显示器上的图像移位。
13.根据权利要求11所述的方法，还包括：
追踪眼睛焦点以确定参考系之间的转变或确定锚点和所述移位因子的步骤；
通过测量眼睛凝视的方向的改变的程度来计算所述移位因子。
14.根据权利要求11所述的方法，还包括：
追踪所述用户的环境以确定所述用户周围的环境的步骤。
15.根据权利要求14所述的方法，还包括：
追踪所述用户的环境以识别用户手势和用户的手命令的步骤。
16.根据权利要求11所述的方法，还包括：
通过选择嵌入式显示器上的相关UI组件来控制嵌入式图像捕获装置的步骤。
17.根据权利要求16所述的方法，其中UI组件可由控制组件组成，所述控制组件选自开始记录组件、结束记录组件和暂停控制组件。
18.根据权利要求11所述的方法，其中通过追踪所述眼睛的睫状肌并且使所述眼睛的所测量到的实际焦点水平与所述环境的当前深度的预期焦点水平相关联来检测焦点改变。
19.根据权利要求11所述的方法，其中通过识别或追踪所述眼睛的晶状体的形状来检测焦点改变。
20.根据权利要求1所述的系统，还包括焦点追踪模块，所述焦点追踪模块追踪所述眼睛的睫状肌并且使所述眼睛的所测量到的实际焦点水平与所述环境的当前深度的预期焦点水平相关联。
21.根据权利要求1所述的系统，还包括焦点追踪模块，所述焦点追踪模块识别并追踪所述眼睛的晶状体的形状。
CN201710404338.7A 2017-02-26 2017-06-01 具有眼睛驱动控制系统的智能接触镜片和方法 Pending CN108508629A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/442,674 2017-02-26
US15/442,674 US10353463B2 (en) 2016-03-16 2017-02-26 Smart contact lens with eye driven control system and method

Publications (1)

Publication Number Publication Date
CN108508629A true CN108508629A (zh) 2018-09-07

Family

ID=59855847

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710404338.7A Pending CN108508629A (zh) 2017-02-26 2017-06-01 具有眼睛驱动控制系统的智能接触镜片和方法

Country Status (2)

Country Link
US (1) US10353463B2 (zh)
CN (1) CN108508629A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109671125A (zh) * 2018-12-17 2019-04-23 电子科技大学 一种高度融合的gan网络模型及实现文本生成图像的方法
CN109840886A (zh) * 2019-01-14 2019-06-04 陕西科技大学 确定基于人眼视觉特性的微型信息最佳放大效果的方法
CN110727343A (zh) * 2018-07-17 2020-01-24 国际商业机器公司 智能接触镜片控制系统
CN113109943A (zh) * 2021-04-06 2021-07-13 深圳市思麦云科技有限公司 一种基于xr的模拟多人交互系统

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10719193B2 (en) * 2016-04-20 2020-07-21 Microsoft Technology Licensing, Llc Augmenting search with three-dimensional representations
US10499001B2 (en) * 2017-03-16 2019-12-03 Gvbb Holdings S.A.R.L. System and method for augmented video production workflow
US10495902B2 (en) * 2017-03-22 2019-12-03 Johnson & Johnson Vision Care, Inc. Systems and methods for ciliary muscle vibration detection
US11373450B2 (en) 2017-08-11 2022-06-28 Tectus Corporation Eye-mounted authentication system
CN107633206B (zh) * 2017-08-17 2018-09-11 平安科技（深圳）有限公司 眼球动作捕捉方法、装置及存储介质
DE102017216845B3 (de) 2017-09-22 2019-02-21 Audi Ag Anzeigevorrichtung und Kraftfahrzeug zum Anzeigen eines Bilds mit einer Folie zum Anzeigen eines Bilds mit wenigstens einer weiteren elektrischen Komponente
US11157073B2 (en) * 2017-10-04 2021-10-26 Tectus Corporation Gaze calibration for eye-mounted displays
US11333902B2 (en) * 2017-12-12 2022-05-17 RaayonNova LLC Smart contact lens with embedded display and image focusing system
CN108345844B (zh) * 2018-01-26 2020-11-20 上海歌尔泰克机器人有限公司 控制无人机拍摄的方法及装置、虚拟现实设备及系统
US10673414B2 (en) 2018-02-05 2020-06-02 Tectus Corporation Adaptive tuning of a contact lens
US10505394B2 (en) 2018-04-21 2019-12-10 Tectus Corporation Power generation necklaces that mitigate energy absorption in the human body
US10838239B2 (en) 2018-04-30 2020-11-17 Tectus Corporation Multi-coil field generation in an electronic contact lens system
US10895762B2 (en) 2018-04-30 2021-01-19 Tectus Corporation Multi-coil field generation in an electronic contact lens system
US10790700B2 (en) 2018-05-18 2020-09-29 Tectus Corporation Power generation necklaces with field shaping systems
WO2020014074A1 (en) * 2018-07-07 2020-01-16 Acucela Inc. Device to prevent retinal hypoxia
US11137622B2 (en) 2018-07-15 2021-10-05 Tectus Corporation Eye-mounted displays including embedded conductive coils
US11681164B2 (en) * 2018-07-27 2023-06-20 Tectus Corporation Electrical interconnects within electronic contact lenses
JP2021533403A (ja) * 2018-07-30 2021-12-02 アキュセラ インコーポレイテッド 近視の進行を減少させるための電子コンタクトレンズの光学設計
CN109285066B (zh) * 2018-08-30 2020-12-08 福建省农村信用社联合社 一种基于银行业务流的智能合约生成与执行的方法
US10838232B2 (en) 2018-11-26 2020-11-17 Tectus Corporation Eye-mounted displays including embedded solenoids
US10871660B2 (en) * 2018-12-20 2020-12-22 Tectus Corporation Dynamic presbyopia correction in electronic contact lenses
US10644543B1 (en) 2018-12-20 2020-05-05 Tectus Corporation Eye-mounted display system including a head wearable object
US11061254B2 (en) 2019-01-24 2021-07-13 International Business Machines Corporation Adjusting contact lens prescription while wearing lens
US11099406B2 (en) * 2019-01-24 2021-08-24 International Business Machines Corporation Delivering augmented reality via embedded contact lens
US11435820B1 (en) * 2019-05-16 2022-09-06 Facebook Technologies, Llc Gaze detection pipeline in an artificial reality system
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
US11907417B2 (en) 2019-07-25 2024-02-20 Tectus Corporation Glance and reveal within a virtual environment
WO2021022193A1 (en) 2019-07-31 2021-02-04 Acucela Inc. Device for projecting images on the retina
US10944290B2 (en) 2019-08-02 2021-03-09 Tectus Corporation Headgear providing inductive coupling to a contact lens
US11237410B2 (en) 2019-08-28 2022-02-01 Tectus Corporation Electronics assembly for use in electronic contact lens
US11062313B2 (en) * 2019-09-13 2021-07-13 International Business Machines Corporation Smart contract enabled smart contact-based computing
US11295309B2 (en) * 2019-09-13 2022-04-05 International Business Machines Corporation Eye contact based financial transaction
WO2021056018A1 (en) 2019-09-16 2021-03-25 Acucela Inc. Assembly process for an electronic soft contact lens designed to inhibit progression of myopia
US11662807B2 (en) 2020-01-06 2023-05-30 Tectus Corporation Eye-tracking user interface for virtual tool control
US10901505B1 (en) 2019-10-24 2021-01-26 Tectus Corporation Eye-based activation and tool selection systems and methods
US11777340B2 (en) 2020-02-21 2023-10-03 Acucela Inc. Charging case for electronic contact lens
US11335342B2 (en) * 2020-02-21 2022-05-17 International Business Machines Corporation Voice assistance system
US11320674B2 (en) 2020-05-13 2022-05-03 Acucela Inc. Electro-switchable spectacles for myopia treatment
US11195490B1 (en) 2020-05-29 2021-12-07 International Business Machines Corporation Smart contact lens with adjustable light transmittance
CN115698832A (zh) 2020-06-08 2023-02-03 奥克塞拉有限公司 用于治疗散光的非对称投影透镜
AU2021287803A1 (en) 2020-06-08 2022-10-27 Acucela Inc. Stick on devices using peripheral defocus to treat progressive refractive error
EP4161636A4 (en) 2020-06-08 2024-06-26 Acucela Inc PROJECTION OF DEFOCUSED IMAGES ON THE PERIPHERAL RETINA TO TREAT REFRACTIVE ERRORS
US11281022B2 (en) 2020-06-10 2022-03-22 Acucela Inc. Apparatus and methods for the treatment of refractive error using active stimulation
US11353954B2 (en) 2020-08-26 2022-06-07 Tectus Corporation Operating an electronic contact lens based on recognized objects in captured images
US11687317B2 (en) 2020-09-25 2023-06-27 International Business Machines Corporation Wearable computing device audio interface
US11353960B1 (en) * 2020-11-24 2022-06-07 Strathspey Crown, LLC Intraocular brain interface
US11343420B1 (en) * 2021-03-30 2022-05-24 Tectus Corporation Systems and methods for eye-based external camera selection and control
US11209672B1 (en) 2021-04-06 2021-12-28 Acucela Inc. Supporting pillars for encapsulating a flexible PCB within a soft hydrogel contact lens
US11988901B2 (en) 2021-04-29 2024-05-21 Tectus Corporation Two-eye tracking based on measurements from a pair of electronic contact lenses
US11366341B1 (en) 2021-05-04 2022-06-21 Acucela Inc. Electronic case for electronic spectacles
US11416072B1 (en) 2021-07-20 2022-08-16 Bank Of America Corporation Data entry apparatus leveraging smart contact lenses
US11875323B2 (en) 2021-10-05 2024-01-16 Bank Of America Corporation Automated teller machine (ATM) transaction processing leveraging smart contact lenses
US11592899B1 (en) 2021-10-28 2023-02-28 Tectus Corporation Button activation within an eye-controlled user interface
NO20211545A1 (en) * 2021-12-20 2023-06-21 Luminor As Smart contect lenses for Extended Reality
US11619994B1 (en) 2022-01-14 2023-04-04 Tectus Corporation Control of an electronic contact lens using pitch-based eye gestures
US20230350203A1 (en) * 2022-04-29 2023-11-02 Snap Inc. Ar/vr enabled contact lens
US11874961B2 (en) 2022-05-09 2024-01-16 Tectus Corporation Managing display of an icon in an eye tracking augmented reality device
US20240129604A1 (en) * 2022-10-14 2024-04-18 Motional Ad Llc Plenoptic sensor devices, systems, and methods

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060227067A1 (en) * 2005-04-07 2006-10-12 Sony Corporation Image display apparatus and method
WO2008109867A2 (en) * 2007-03-07 2008-09-12 University Of Washington Active contact lens
US20140085602A1 (en) * 2012-09-25 2014-03-27 Google Inc. Wearable device
US20140193045A1 (en) * 2012-05-15 2014-07-10 Google Inc. Contact lenses
TW201539037A (zh) * 2014-03-13 2015-10-16 Julian Michael Urbach 電子式隱形眼鏡與其成像系統
CN105122121A (zh) * 2013-05-09 2015-12-02 索尼公司 成对的隐形眼镜、隐形眼镜和存储介质
CN105122119A (zh) * 2012-12-06 2015-12-02 E-视觉有限公司 提供影像的系统、装置、和/或方法
CN105378598A (zh) * 2013-07-19 2016-03-02 索尼公司 检测装置和方法
CN105467615A (zh) * 2014-09-26 2016-04-06 三星电子株式会社 用于增强真实性的智能隐形眼镜及其制造和操作方法
US20160299354A1 (en) * 2014-12-08 2016-10-13 RaayonNova LLC Smart Contact Lens
US20170023793A1 (en) * 2015-03-16 2017-01-26 RaayonNova, LLC Smart Contact Lens with Embedded Display and Image Focusing System
CN106361272A (zh) * 2015-07-24 2017-02-01 庄臣及庄臣视力保护公司 用于基于生物计量的信息通信的生物医疗装置
US20170371184A1 (en) * 2015-07-17 2017-12-28 RaayonNova LLC Smart Contact Lens With Orientation Sensor
US20180074330A1 (en) * 2016-09-12 2018-03-15 Michael Callahan Method And System For A Visual Overlay Display
US20180224669A1 (en) * 2016-09-17 2018-08-09 RaayonNova LLC Master Slave Smart Contact Lens System
US10474230B2 (en) * 2016-12-15 2019-11-12 Tectus Corporation Brightness control for an augmented reality eye-mounted display

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5682210A (en) * 1995-12-08 1997-10-28 Weirich; John Eye contact lens video display system
US6351273B1 (en) * 1997-04-30 2002-02-26 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
US6851805B2 (en) 1999-07-02 2005-02-08 E-Vision, Llc Stabilized electro-active contact lens
US6579235B1 (en) 1999-11-01 2003-06-17 The Johns Hopkins University Method for monitoring intraocular pressure using a passive intraocular pressure sensor and patient worn monitoring recorder
US7998412B2 (en) 2000-01-07 2011-08-16 Smart Holograms Limited Ophthalmic device comprising a holographic sensor
US6447449B1 (en) 2000-08-21 2002-09-10 Cleveland Clinic Foundation System for measuring intraocular pressure of an eye and a MEM sensor for use therewith
US6749568B2 (en) 2000-08-21 2004-06-15 Cleveland Clinic Foundation Intraocular pressure measurement system including a sensor mounted in a contact lens
JP4455216B2 (ja) 2004-08-06 2010-04-21 キヤノン株式会社 検出装置
EP1679577A1 (en) * 2005-01-10 2006-07-12 Tobii Technology AB Adaptive display of eye controllable objects
WO2006098813A1 (en) 2005-02-01 2006-09-21 Second Sight Medical Products, Inc. Micro-miniature implantable coated device
MX2009002193A (es) 2006-08-29 2009-04-28 California Inst Of Techn Sensor de presion inalambrico microfabricado implantado para uso en aplicaciones biomedicas y la medicion de la presion y los metodos de implantacion del sensor.
AR064985A1 (es) 2007-01-22 2009-05-06 E Vision Llc Lente electroactivo flexible
US8446341B2 (en) * 2007-03-07 2013-05-21 University Of Washington Contact lens with integrated light-emitting component
US9812096B2 (en) * 2008-01-23 2017-11-07 Spy Eye, Llc Eye mounted displays and systems using eye mounted displays
CA2683467C (en) 2008-10-24 2016-01-26 Jin Zhang Contact lens integrated with a biosensor for detection of glucose and other components in tears
GB2497424B (en) * 2011-12-06 2014-02-19 E Vision Smart Optics Inc Systems, devices, and/or methods for providing images
US9125721B2 (en) 2011-12-13 2015-09-08 Alcon Research, Ltd. Active drainage systems with dual-input pressure-driven valves
US9155653B2 (en) 2012-02-14 2015-10-13 Alcon Research, Ltd. Pressure-driven membrane valve for pressure control system
US8986240B2 (en) 2012-02-14 2015-03-24 Alcon Research, Ltd. Corrugated membrane actuators
US9389420B2 (en) * 2012-06-14 2016-07-12 Qualcomm Incorporated User interface interaction for transparent head-mounted displays
US9241669B2 (en) * 2012-07-18 2016-01-26 Johnson & Johnson Vision Care, Inc. Neuromuscular sensing for variable-optic electronic ophthalmic lens
US9158133B1 (en) 2012-07-26 2015-10-13 Google Inc. Contact lens employing optical signals for power and/or communication
US8857981B2 (en) 2012-07-26 2014-10-14 Google Inc. Facilitation of contact lenses with capacitive sensors
US8971978B2 (en) 2012-08-21 2015-03-03 Google Inc. Contact lens with integrated pulse oximeter
US9111473B1 (en) 2012-08-24 2015-08-18 Google Inc. Input system
US8870370B1 (en) 2012-09-24 2014-10-28 Google Inc. Contact lens that facilitates antenna communication via sensor impedance modulation
US8960898B1 (en) 2012-09-24 2015-02-24 Google Inc. Contact lens that restricts incoming light to the eye
US8979271B2 (en) 2012-09-25 2015-03-17 Google Inc. Facilitation of temperature compensation for contact lens sensors and temperature sensing
US8960899B2 (en) 2012-09-26 2015-02-24 Google Inc. Assembling thin silicon chips on a contact lens
US8985763B1 (en) 2012-09-26 2015-03-24 Google Inc. Contact lens having an uneven embedded substrate and method of manufacture
US9063351B1 (en) 2012-09-28 2015-06-23 Google Inc. Input detection system
US8965478B2 (en) 2012-10-12 2015-02-24 Google Inc. Microelectrodes in an ophthalmic electrochemical sensor
US9176332B1 (en) 2012-10-24 2015-11-03 Google Inc. Contact lens and method of manufacture to improve sensor sensitivity
WO2014106330A1 (en) * 2013-01-05 2014-07-10 Empire Technology Development Llc Contact lens for measuring eyeball focus
US9050185B2 (en) * 2013-02-28 2015-06-09 Johnson & Johnson Vision Care, Inc. Electronic ophthalmic lens with pupil convergence sensor
US20140247210A1 (en) * 2013-03-01 2014-09-04 Tobii Technology Ab Zonal gaze driven interaction
US9161712B2 (en) 2013-03-26 2015-10-20 Google Inc. Systems and methods for encapsulating electronics in a mountable device
US9113829B2 (en) 2013-03-27 2015-08-25 Google Inc. Systems and methods for encapsulating electronics in a mountable device
US9170646B2 (en) * 2013-09-04 2015-10-27 Johnson & Johnson Vision Care, Inc. Ophthalmic lens system capable of interfacing with an external device
US9184698B1 (en) 2014-03-11 2015-11-10 Google Inc. Reference frequency from ambient light signal
US9442310B2 (en) * 2014-06-13 2016-09-13 Verily Life Sciences Llc Capacitive gaze tracking for auto-accommodation in a contact lens
US10176642B2 (en) * 2015-07-17 2019-01-08 Bao Tran Systems and methods for computer assisted operation
US10495902B2 (en) * 2017-03-22 2019-12-03 Johnson & Johnson Vision Care, Inc. Systems and methods for ciliary muscle vibration detection
US10338407B2 (en) * 2017-06-26 2019-07-02 International Business Machines Corporation Dynamic contextual video capture
TWI662316B (zh) * 2017-07-24 2019-06-11 麥塔優光學股份有限公司 智慧型隱形眼鏡及其透光本體

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060227067A1 (en) * 2005-04-07 2006-10-12 Sony Corporation Image display apparatus and method
WO2008109867A2 (en) * 2007-03-07 2008-09-12 University Of Washington Active contact lens
US20140193045A1 (en) * 2012-05-15 2014-07-10 Google Inc. Contact lenses
US20140085602A1 (en) * 2012-09-25 2014-03-27 Google Inc. Wearable device
CN105122119A (zh) * 2012-12-06 2015-12-02 E-视觉有限公司 提供影像的系统、装置、和/或方法
CN105122121A (zh) * 2013-05-09 2015-12-02 索尼公司 成对的隐形眼镜、隐形眼镜和存储介质
CN105378598A (zh) * 2013-07-19 2016-03-02 索尼公司 检测装置和方法
TW201539037A (zh) * 2014-03-13 2015-10-16 Julian Michael Urbach 電子式隱形眼鏡與其成像系統
CN105467615A (zh) * 2014-09-26 2016-04-06 三星电子株式会社 用于增强真实性的智能隐形眼镜及其制造和操作方法
US20160299354A1 (en) * 2014-12-08 2016-10-13 RaayonNova LLC Smart Contact Lens
US20170023793A1 (en) * 2015-03-16 2017-01-26 RaayonNova, LLC Smart Contact Lens with Embedded Display and Image Focusing System
US20170371184A1 (en) * 2015-07-17 2017-12-28 RaayonNova LLC Smart Contact Lens With Orientation Sensor
CN106361272A (zh) * 2015-07-24 2017-02-01 庄臣及庄臣视力保护公司 用于基于生物计量的信息通信的生物医疗装置
US20180074330A1 (en) * 2016-09-12 2018-03-15 Michael Callahan Method And System For A Visual Overlay Display
US20180224669A1 (en) * 2016-09-17 2018-08-09 RaayonNova LLC Master Slave Smart Contact Lens System
US10474230B2 (en) * 2016-12-15 2019-11-12 Tectus Corporation Brightness control for an augmented reality eye-mounted display

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110727343A (zh) * 2018-07-17 2020-01-24 国际商业机器公司 智能接触镜片控制系统
CN109671125A (zh) * 2018-12-17 2019-04-23 电子科技大学 一种高度融合的gan网络模型及实现文本生成图像的方法
CN109840886A (zh) * 2019-01-14 2019-06-04 陕西科技大学 确定基于人眼视觉特性的微型信息最佳放大效果的方法
CN109840886B (zh) * 2019-01-14 2022-10-11 陕西科技大学 确定基于人眼视觉特性的微型信息最佳放大效果的方法
CN113109943A (zh) * 2021-04-06 2021-07-13 深圳市思麦云科技有限公司 一种基于xr的模拟多人交互系统

Also Published As

Publication number Publication date
US20170270636A1 (en) 2017-09-21
US10353463B2 (en) 2019-07-16

Similar Documents

Publication Publication Date Title
CN108508629A (zh) 具有眼睛驱动控制系统的智能接触镜片和方法
EP3807710B1 (en) Augmented reality display with frame modulation functionality
US11169623B2 (en) External user interface for head worn computing
EP3571673B1 (en) Method for displaying virtual image, storage medium and electronic device therefor
Kar et al. A review and analysis of eye-gaze estimation systems, algorithms and performance evaluation methods in consumer platforms
JP6664512B2 (ja) アイブレインインターフェースシステムのキャリブレーション方法、及びシステム内のスレーブデバイス、ホストデバイス
CN106873778B (zh) 一种应用的运行控制方法、装置和虚拟现实设备
US20170023793A1 (en) Smart Contact Lens with Embedded Display and Image Focusing System
CN108170279B (zh) 头显设备的眼动和头动交互方法
CN104603673B (zh) 头戴式系统以及使用头戴式系统计算和渲染数字图像流的方法
CN117120962A (zh) 用于控制虚拟和图形元素的映射手部区域之间的双手交互
CN110018736A (zh) 人工现实中的经由近眼显示器界面的对象增强
US10663729B2 (en) Peripheral device for head-mounted display
CN104272218A (zh) 基于联合数据的虚拟手
US20180074599A1 (en) Peripheral device for head-mounted display
Bigdelou et al. An adaptive solution for intra-operative gesture-based human-machine interaction
CN103443742A (zh) 用于凝视和姿势接口的系统和方法
Toet Gaze directed displays as an enabling technology for attention aware systems
US11333902B2 (en) Smart contact lens with embedded display and image focusing system
JP6220937B1 (ja) 情報処理方法、当該情報処理方法をコンピュータに実行させるためのプログラム及びコンピュータ
JP7271909B2 (ja) 表示装置、及び、表示装置の制御方法
Lim et al. Development of gaze tracking interface for controlling 3D contents
US20240019938A1 (en) Systems for detecting gestures performed within activation-threshold distances of artificial-reality objects to cause operations at physical electronic devices, and methods of use thereof
US20220236795A1 (en) Systems and methods for signaling the onset of a user's intent to interact
EP3922166B1 (en) Display device, display method and display program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180907

RJ01 Rejection of invention patent application after publication