CN115004129A - 基于眼睛的激活和工具选择系统及方法 - Google Patents

Abstract

提出了眼睛控制用户机器交互系统和方法，其基于包括电子隐形眼镜的定向和运动的输入变量，帮助携带毫微微投影仪的隐形眼镜的佩戴者来控制和导航虚拟场景，该虚拟场景可以被叠加到现实世界环境上。各种实施例提供了佩戴者与虚拟环境之间的流畅、直观和自然流动的眼睛控制交互操作。在一些实施例中，眼睛运动信息用于在无需眨眼、挤眼、手势和使用按钮的情况下来唤醒智能电子隐形眼镜、激活虚拟场景中的工具或其任意组合。

Description

基于眼睛的激活和工具选择系统及方法

相关申请的交叉引用

本申请要求以下美国未决申请的优先权权益：于2019年10月24日提交的、名称为“EYE-BASED ACTIVATION AND TOOL SELECTION SYSTEMS ANDMETHODS”、发明人列为Dominic Philip Haine、Scott Herz、Renaldi Winoto、Abhishek Bhat、Ramin Mirjalili和Joseph Czompo、美国专利申请第16/662,842号[案卷号20156-2273(R124)]；以及于2020年1月6日提交的、名称为“Eye-Gesture User Interface”、发明人列为Dominic PhilipHaine和Scott Herz的、美国临时专利申请第62/957,734号[案卷号20156-2382P(R140P)]；以及于2020年7月27日提交的、名称为“Eye-Tracking User Interface forVirtual ToolControl”、发明人列为Dominic Philip Haine和Scott Herz的美国专利申请第16/940,152号[案卷号20156-2382(R142)]。上述专利文件的全部内容通过引用并入本文。

技术领域

本公开总体上涉及用于在虚拟环境中激活工具的眼睛控制系统及方法，具体而言，涉及允许用户基于由该用户佩戴的隐形眼镜内的传感器跟踪的眼睛运动来激活和选择虚拟工具的隐形眼镜系统。

背景技术

AR/VR技术在庞大且多样化的市场中的发展是本领域技术人员所熟知的。诸如游戏、媒体、搜索和信息管理之类的市场实施了各种不同的AR/VR产品，以允许个人与虚拟环境进行交互。这些AR/VR产品为个人提供了丰富且动态的平台，用户可以在其中检索信息、查看媒体内容、导航虚拟场景并以AR/VR环境特有的方式与其他人互动。重要的是，这些AR/VR产品在整个使用过程中保持用户友好的体验，避免让用户承受过多的内容和信息，同时管理用户与虚拟环境交互的方式；鉴于当今AR/VR产品的限制，这项任务通常很困难。

虽然AR/VR技术为用户提供了在虚拟媒体中与虚拟内容进行独特交互并且享受身临其境的用户体验的能力，但这些技术并非没有限制。这些技术通常受到个人所能与虚拟环境进行交互的方式的限制。例如，许多AR/VR产品依赖于姿态、手控制器或其他类型的运动，这些运动必须转化为虚拟环境本身。这些交互动作可能是突兀的、难以学习的、随着时间的推移而疲劳、使用不方便，并且对于那些手臂或手无法轻松运动的用户而言是不可用的。此外，这些动作在社交环境中可以显得很尴尬，因此会对整体体验产生负面影响。

因此，需要允许用户按需激活智能隐形眼镜并且在虚拟场景中导航工具同时保持积极的整体体验的系统及方法。

附图说明

图1A示出了根据本公开实施例的示例性眼戴式显示(“EMD”)系统。

图1B示出了根据本公开的实施例的用于EMD系统的示例性隐形眼镜组件。

图1C示出了根据本公开的实施例的示例性电子隐形眼镜。

图2A示出了根据本公开的实施例的包括运动传感器的示例性电子隐形眼镜。

图2B示出了极坐标系系统，该极坐标系系统用作图1所示电子隐形眼镜中组件的参考系。

图2C和图2D示出了图1所示的电子隐形眼镜的参考系的各种约定。

图3示出了根据本公开的实施例的偏心跨度(SoE)的概念。

图4A示出了根据本公开的实施例将虚拟图像的可见部分投影到视网膜上。

图4B和图4C使用手电筒类比说明SoE的概念。

图5A示出了根据本公开的实施例的包括示例性激活阈值的“虚拟工具激活图表”。

图5B示出了根据本公开的实施例的用于使用激活阈值来选择工具的方法。

图5C示出了根据本公开的实施例的用于显示所选择工具的方法。

图5D示出了根据本公开的实施例的用于使用辅助设备来选择用于显示的若干工具的方法。

图5E示出了根据本公开的实施例的用于促进激活的一组示例性角度。

图5F示出了根据本公开的实施例的用于校准用户的眼睛运动范围的示例性方法。

图5G示出了根据本公开的实施例的用于自动调节激活灵敏度的示例性过程。

图6A至图6C示出了根据本公开的实施例的使用隐形眼镜中的电容性皮肤传感器测量眼窝中眼睛位置的示例性方法。

图7示出了根据本公开的实施例的通过观察周边来激活工具的示例性方法。

图8示出了根据本公开的实施例的示例性引导特征。

图9示出了根据本公开的实施例的分层工具集中的示例性工具如何揭示可选子工具的存在。

图10A至图10D示出了根据本公开的实施例的用于突出显示工具的示例性方法。

图11示出了根据本公开的实施例的用于将用户的眼睛运动解释为系统的激活或暂时激活的示例性方法。

图12示出了根据本公开的实施例的基于眼睛的激活和工具选择系统。

图13示出了根据本公开的实施例的使用基于眼睛的激活和工具选择系统的过程。

图14示出了根据本公开的实施例的使用基于眼睛的激活和工具选择系统的另一过程。

图15示出了根据本公开的实施例使用虚拟场景的可见部分中的触发器来揭示附近的虚拟对象。

图16A示出了利用根据本公开的实施例的连接符的虚拟对象。

图16B示出了根据本公开的实施例的在不使用可见连接符的情况下揭示存在其他不可见虚拟对象的虚拟对象。

图16C示出了根据本公开的实施例的具有连接符的代理或指针。

图16D示出了根据本公开的实施例的没有连接符的代理或指针。

图16E示出了根据本公开的实施例的用作存在不可见对象的提示的项。

图17示出了根据本公开的实施例的虚拟场景中的虚拟对象的示例性布置。

图18A和图18B示出了根据本公开的实施例的用于使用佩戴者的注视来揭示示例性虚拟场景中的对象的方法。

图19示出了根据本公开的实施例的用于在虚拟空间中揭示虚拟对象的方法。

图20A和图20B示出了根据本公开的实施例的用于在视觉上导航虚拟对象的方法。

图21示出了根据本公开的实施例的用于在视觉上导航虚拟信息的另一方法。

图22示出了根据本公开的实施例的用于导航虚拟对象的虚拟瞥视探测器。

图23示出了根据本公开的实施例的用于使用虚拟瞥视探测器系统来导航虚拟工具的过程。

图24示出了根据本公开的各种实施例的划分为多个区域的虚拟场景。

图25示出了根据本公开的各种实施例的与虚拟场景内的用户的眼睛运动范围相关的示例性虚拟工具环。

图26A示出了根据本公开的实施例的在工具环的内部区域内生成窥视窗口的用户选择的虚拟工具。

图26B示出了根据本公开的实施例的与窥视窗口相关的用户选择的虚拟窗口。

图27A示出了根据本公开的实施例的在工具环的内部区域内生成时间和日历窥视窗口的示例性用户选择的虚拟时钟工具。

图27B示出了根据本公开的各种实施例的与时间和窥视窗口相关的示例性日历。

图28A示出了根据本公开实施例的在工具环的内部区域内生成简单音乐控制的示例性用户选择的虚拟音乐工具。

图28B示出了根据本公开的各种实施例的与简单音乐控制相关的详细音乐控制。

图29A示出了根据本公开的实施例的在工具环的内部区域内生成简单书籍/文档列表的示例性用户选择的虚拟文本工具。

图29B示出了根据本公开的实施例的向用户提供文档或文本的示例性虚拟文本窗口。

图30示出了根据本公开的各种实施例的眼睛跟踪用户界面管理器。

图31示出了根据本公开的实施例的具有用于在视窗内滚动图像的滚动区域的视窗。

图32示出了根据本公开的实施例的具有用于在视窗内滚动文本的滚动区域的视窗。

图33示出了根据本公开的实施例的用于在视窗中滚动的过程。

图34A示出了根据本公开的实施例的具有用于通过用户注视进行缩放的缩放区域的视窗。

图34B示出了根据本公开实施例的具有缩放场景区域的视窗。

图35示出了根据本公开的实施例的用于虚拟场景缩放的过程。

图36示出了根据本公开的实施例的用于虚拟场景取消缩放的过程。

具体实施方式

附图和以下描述通过说明的方式涉及各种实施例。注意，根据以下讨论，本领域技术人员将容易地认识到本文公开的结构和方法的替代实施例是可行的。还应注意，本文使用的任何标题仅用于组织目的，不应用于限制描述或权利要求的范围。引用的所有文件都通过引用整体并入本文。

本发明的实施例允许用户佩戴动态隐形眼镜，该动态隐形眼镜为用户检索信息并且与他/她的环境交互提供虚拟框架。用户可以在由隐形眼镜生成的虚拟环境中选择一个或多个工具。虚拟工具的这种选择被设计成允许用户通过执由行系统识别的预定义眼睛运动来选择和激活虚拟工具。虚拟工具的选择还可以包括使用辅助设备，诸如手表、首饰或隐形眼镜外部的其他设备，这允许用户向系统标识激活一个或多个工具的意图。这种激活虚拟工具的独特方式允许用户与由隐形眼镜生成的虚拟环境以这样的方式进行交互，这种方式对于用户附近的其他人来说并不明显。

A.眼戴式显示系统

图1A和图1B示出了根据本公开的实施例的示例性眼戴式显示(“EMD”)系统。EMD系统102允许用户使用被转换成虚拟场景的眼睛运动与包括虚拟工具和窗口的虚拟对象进行交互。在一个或多个实施例中，EMD系统102可以是隐形眼镜140，诸如被设计成固定在佩戴者眼球上的巩膜隐形眼镜。显示器104、传感器、电源部件、通信设备、控制系统和在系统内提供各种功能的其他部件可以被嵌置在隐形眼镜140上。显示器104可以实现为微型视频投影仪，其将图像投影到佩戴者视网膜的在中央凹上居中的部分上；当眼睛直接注视或检视对象时所指的视网膜的高度敏感和高分辨率区域。在一个或多个实施例中，显示器104可以被定义为图1B中的毫微微投影仪120，这在以下标识的某些美国申请和专利中进行了描述。

传感器可以包括任何类型的运动传感器125，诸如加速度计、磁力计和陀螺仪、以及可以用于眼睛跟踪功能的图像传感器(诸如相机)。电力、通信和控制系统包括能够进行感应电力传输的线圈，或诸如电池165之类的能量存储设备，该能量存储设备能够输送足够的能量以使EMD系统102运行一段时间。还可以提供电源电路170，该电源电路170调节和控制到系统上各种设备的功率。各种EMD系统还可以包括用于与内部和/或外部设备通信的收发器115、以及控制电路和子电路的各种控制器。

眼睛控制EMD系统102的用户可以使用眼睛运动和其他信号的任何组合来与虚拟场景交互。这种交互可以用各种辅助设备来补充，诸如头戴式头部跟踪设备、智能手机、手持控制器、其他身体传感器、电子首饰或任何其他类型的能够与EMD系统通信的设备。

注意，由EMD系统102执行的某些任务可以例如由可以与EMD系统102通信耦合并且在各实施例中经由感应耦合提供电力的附件设备(图1中未示出)等同地执行。示例性附件设备、EMD及其功能和部件在以下中更详细地描述：于2018年4月21日提交的、名称为“PowerGeneration Necklaces that Mitigate EnergyAbsorption in the Human Body”、发明人列为Miller等的美国专利申请第15/959,169号；于2018年4月30日提交的、名称为“Multi-Coil Field Generation InAn Electronic Contact Lens System”、发明人列为Owens等人的美国专利申请第15/966,481号；于2018年4月30日提交的、名称为“Multi-Coil FieldGeneration InAn Electronic Contact Lens System”、发明人列出为Owens等人的美国专利申请系列第15/966,475号；于2018年5月18日提交的、名称为“PowerGenerationNecklaces that Reduce EnergyAbsorption inthe Human Body”、发明人列为Owens等人的美国专利申请第15/984,182号；于2018年7月15日提交的、名称为“Eye-mounted Displays Include Embedded Conductive Coils”、发明人列出为Mirjalili等人的、美国专利申请第16/035,640号；以及于2018年12月20日提交的、名称为“Eye-MountedDisplay System Include A Head Wearable Object”的发明人列出为Pang等人的美国专利申请号16/227,139，这些专利文件的全部内容以引用的方式并入本文并且用于所有目的。

在各实施例中，EMD系统102管理在给定坐标空间内如何、在何处以及何时激活、选择、显示和消除虚拟场景中的诸如虚拟工具、窥视窗口和虚拟窗口之类的虚拟对象。EMD系统102根据用户的眼睛运动控制虚拟场景的包括显示器上的虚拟对象的图形表示的内容和布局。这种控件允许用户有效地与虚拟对象交互，以在虚拟场景中以有组织和结构化的方式激活、选择和关闭工具和窗口。

在各实施例中，可以基于运动、图像、传感器数据或其组合来跟踪、估计(例如，使用卡尔曼滤波器算法)和/或预测眼睛运动。从这种眼睛运动导出的数据可以包括扫视运动的时间和顺序、眼睛方向(例如，眼睛角度、倾斜、滚动、偏航)、空间中的注视点、头部/身体的定向和身体位置数据。该数据还可以考虑与用户的眼睛运动范围、眼部肌肉不规则性以及可以随时间变化的其他限制因素和背景相关的佩戴者特定条件，诸如身体和生物特征等。

图1C示出了根据本公开的实施例的示例性电子隐形眼镜。电子隐形眼镜100允许用户与虚拟环境交互，从而将眼睛运动转化为更大虚拟环境中的可见虚拟场景。电子隐形眼镜100可以被实施为隐形眼镜102，诸如被设计为固定在佩戴者眼球上的巩膜隐形眼镜。毫微微投影仪104、传感器106以及电力、通信和控制系统110可以被嵌置在隐形眼镜102上。毫微微投影仪104可以被实现为微型视频投影仪，该微型视频投影仪将图像投影到佩戴者视网膜的在中央凹上居中的部分上--当眼睛直接注视或检视对象时所指的视网膜的高度敏感区域，即高分辨率区域。传感器106可以包括任何类型的运动传感器，诸如加速度计、磁力计和陀螺仪，以及可以用于眼睛跟踪功能的图像传感器(诸如相机)。

电力、通信和控制系统110包括能够进行感应电力传输的线圈，或诸如电池之类的能量存储设备，该能量存储设备可以传输足够的能量来使电子隐形眼镜100运行一段时间。各种电子隐形眼镜还可以包括用于与内部和/或外部设备通信的收发器、以及控制电路和子电路的各种控制器。

眼睛控制电子隐形眼镜100的用户可以使用眼睛运动和其他信号的任何组合来与虚拟环境中的虚拟场景交互。这种交互可以用各种辅助设备来补充，诸如可佩戴的头戴式眼睛运动跟踪设备、智能手机、手持控制器、其他身体传感器、电子首饰或任何其他类型的能够与电子隐形眼镜通信的设备。

注意，由电子隐形眼镜100执行的某些任务可以例如由能够与电子隐形眼镜100通信耦合并且在各实施例中通过感应提供电力的辅助设备(未在图1C中示出)等同地执行。示例性附件设备、毫微微投影仪以及它们的功能和部件在以下中更详细地描述：于2018年4月21日提交的、名称为“Power Generation Necklaces that Mitigate Energy Absorptionin the Human Body”、发明人列为Miller等的美国专利申请第15/959,169号；于2018年4月30日提交的、名称为“Multi-Coil Field Generation In An Electronic Contact LensSystem”、发明人列为Owens等人的美国专利申请第15/966,481号；于2018年4月30日提交的、名称为“Multi-Coil Field Generation InAn Electronic Contact Lens System”、发明人列出为Owens等人的美国专利申请第15/966,475号；于2018年5月18日提交的、名称为“Power Generation Necklaces that Reduce EnergyAbsorption in the Human Body”、发明人列为Owens等人的美国专利申请第15/984,182号；于2018年7月15日提交的、名称为“Eye-mounted Displays Include Embedded Conductive Coils”、发明人列出为Mirjalili等人的、美国专利申请第16/035,640号；以及于2018年12月20日提交的、名称为“Eye-Mounted Display System Include A Head Wearable Object”的发明人列出为Pang等人的美国专利申请第16/227,139号，这些专利文件的全部内容以引用的方式并入本文并用于所有目的。

在各实施例中，辅助设备可以包括通过电子通信协议与隐形眼镜102通信并且直接或间接(例如，经由用户的电话)与外部网络(例如，互联网)通信的电路。辅助设备可以代替电子隐形眼镜102执行各种计算密集型任务，例如计算用于毫微微投影仪104的一些或全部显示数据。此外，附件设备可以用作增加电子隐形眼镜100的储存容量的中间数据储存工具。

在各实施例中，电子隐形眼镜100和/或辅助设备管理虚拟场景中的虚拟对象在给定坐标空间内的显示方式、位置和时间。电子隐形眼镜和/或辅助设备可以根据用户的眼睛运动更新虚拟场景的包括在显示器上的对象的图形表示的内容和布局。如以下将详细解释的，该内容更新允许用户通过有效地更新与用户在场景本身内观看的位置相关的投影图像来扫描虚拟场景。

在各实施例中，可以基于运动、图像、传感器数据或其组合来跟踪、估计(例如，使用卡尔曼滤波器算法)和/或预测眼睛运动。从这种眼睛运动导出的数据可以包括扫视运动的时间和顺序、眼睛方向(例如，眼睛角度、倾斜、滚动、偏航)、空间中的注视点、头部/身体的定向和身体位置数据。该数据还可以考虑与用户的眼睛运动范围、眼部肌肉不规则性以及可能随时间变化的其他限制因素和背景相关的佩戴者特定条件，诸如身体和生物特征。

图2A示出了根据本公开的实施例的包括运动传感器的示例性隐形眼镜。如图2A所示，隐形眼镜102可以是巩膜隐形眼镜。隐形眼镜102包括可以嵌置在隐形眼镜102内的磁力计201和加速度计202A、202B。应理解，可以使用任何数量和类型的传感器来执行与本公开的目标相关的任务。合适的传感器可用于感测眼睛运动，以确定距离、速度、加速度、定向、路径、角度、速率等。各种类型的传感器及其在隐形眼镜102上的重要位置在以下中有更详细的描述：于2018年6月11日提交的、名称为“Contact lens gaze trackingarchitectures”、发明人列为Mirjalili等人的美国专利申请第16/005,379号，于2018年11月26日提交的、名称为“Eye-mounted Displays Include Embedded Solenoids”、发明人列为Mirjalili等人的美国专利申请第16/200,039号，这些专利文件的全部内容通过引用并入本文并且用于所有目的。

在各实施例中，磁力计201和加速度计202A、202B可以用作运动传感器，以检测和跟踪隐形眼镜102的定向，从而检测和跟踪用户眼睛的定向。在其他实施例中，陀螺仪或面向外的图像传感器可以部署在隐形眼镜102内，以替换或补充上述传感器。也可以包括位于身体或头部的其他传感器。

在各实施例中，来自传感器201、202的原始传感器数据可以被转换成可用于控制、激活、停用、导航或选择虚拟场景中的虚拟对象的控制信号。用户与虚拟场景之间的这种类型的交互允许用户能够以流畅、直观和轻松的方式导航场景并从中提取信息。

B.参考系

图2B示出了可用作图1C所示的电子隐形眼镜中的各部件的参考系的球坐标系。根据图2B中呈现的约定，诸如加速度计之类的倾斜传感器的参考可以是沿地球引力场定向的极角θ。偏航传感器(诸如磁力计)的参考可以是磁北极，并且可以使用方位角

跟踪。应理解，参考系可以以任何约定来限定，包括极坐标系、柱坐标系或本领域已知的任何其他系统。

图2C和图2D示出了图1所示的电子隐形眼镜的参考系的各种约定。图2C是指用户的眼睛204或头部的坐标空间，以通过跟踪极角θ(即，上/下倾斜)和方位角

(即，左/右旋转)实现眼睛跟踪或头部跟踪。图2D是指用户环境的坐标空间，以通过跟踪分别表示倾斜和偏航的角度θ和

实现“世界跟踪”。在世界跟踪系统中，虚拟环境中的对象似乎锁定在用户环境中的位置处，而不管用户使他/她的眼睛、头部或身体如何运动。

在各实施例中，可以利用数学变换来促进参考系、坐标和参数之间的转换，以在用户在虚拟场景的坐标空间中视觉地导航和与虚拟对象交互时以合适的速率实现平滑的转换。转换可以涉及从用户的眼睛或头部所固定到的参考系切换到用户的身体所固定到的参考系。例如，通过考虑到用户眼睛的定向和用户的头部跟随用户眼睛的方式，可以从用于用户眼睛的第二参考系得到例如用于用户头部的第一参考系。此外，转换可以涉及与虚拟场景中的不同对象相关联的各种参考系之间的转换，所述不同对象例如为固定到不同参考系的对象。

C.偏心跨度的概念

图3示出了根据本公开的实施例的偏心跨度(以下称为“SoE”)的概念。在本文档中，术语“投影/投射”能够与术语“显示”互换使用。类似地，术语“用户”能够与术语“佩戴者”互换使用。“激活”是指退出待机(睡眠)模式或切换到唤醒模式；触发；或选择、启用、显示或以其他方式使虚拟工具、事件或区域可用。“偏心跨度”是指图像210的以视线为中心、延伸到周边视界(peripheral vision)的角宽度。如图3所示，所投射的图像210是虚拟场景的可见部分，诸如图4B所示的可见部分。在各实施例中，从眼睛204向外看，由电子隐形眼镜100投影到视网膜206上的图像210看上去具有在外部世界中等于SoE 304的角宽度。

在各实施例中，由于电子隐形眼镜100被固定在眼球204上，因此由电子隐形眼镜100投射的图像210通常固定(即，锁定)到眼球204并与眼球204一起运动。其结果是，不管电子隐形眼镜100的佩戴者将他/她的眼睛204(或任何其他身体部位)指向何处，佩戴者都会看到显示在视网膜206上的投影图像210。事实上，电子隐形眼镜100的佩戴者甚至不能使眼睛204观看或注视SoE 304的中心附近以外的任何地方；具体而言，中央凹视觉区域308(中央凹从零延伸到约1.5°，在SoE内约3°的偏心率)。因此，不管眼睛204运动到什么位置，佩戴者都不能观看或检视出现在SoE304边缘处的在中央凹视觉区域308之外的对象或图像，因为这些图像仅保留在佩戴者的周边视界区域306中。换言之，虽然电子隐形眼镜100的佩戴者可以识别出虚拟对象存在于投影图像210的边缘处，但是没有额外的能力，佩戴者不能将他/她的视线引导到那里。因为单独的眼睛运动不会改变投射在佩戴者的视网膜206上的内容和位置，因此注视被显示在周边视界区域306中的对象的尝试是徒劳的。

本领域的技术人员将理解到，SoE的概念与诸如电脑显示器、电视或眼镜上的显示器(即显示边缘之间的角度间隔)之类的传统显示器所使用的“视场”概念明显不同，而且不能与之相混淆。例如，如果用户需要将他/她的眼睛50度的角度才能从传统显示器的一个边缘移动到另一个边缘，则视场被称为50度宽。

与传统显示器相比，画布具有限定用户视场的固定宽度和高度，在这里，用户头部/眼睛周围的整个世界都是虚拟画布。即使显示在视网膜206上的图像是画布的被SoE304覆盖的一部分，即在眼睛204不运动的任何时刻所看到的，这也是正确的。虚拟画布的范围实际上是无限的，因为运动的SoE 304(即，可见部分)允许用户在所有方向(即，围绕用户的360度)查看虚拟场景，而没有边界并且没有“视场”的限制。在AR系统中，可视区域与显示区域的视场相同。尽管视场有限，但用户可以通过转动头部来环顾AR系统中更大的虚拟场景。

如下文更详细讨论的，为了能够用高度敏感的中央凹208直接检视虚拟场景中的位于中央凹区域308之外或SoE 304之外的对象，投影图像210被更新以将SoE 304运动到虚拟场景内的新位置。更新的图像与眼睛204和电子隐形眼镜100的运动相关，以将虚拟场景的合适片段呈现给用户。例如，如果眼睛204在一个方向上发生运动，则投影图像210可以在相反方向上更新，以允许用户扫描虚拟场景。

总体而言，与传统显示器(诸如监视器、电话屏幕、AR眼镜/护目镜或相关领域中的其他类型的显示器)不同，包括电子隐形眼镜100的隐形眼镜的佩戴者不会感知由图像投影仪生成并且在SoE 304中显示为处于“视场”中的图像。

图4A示出了根据本公开的实施例将虚拟图像的可见部分投影到视网膜上。电子隐形眼镜100包括可嵌入隐形眼镜的毫微微投影仪104。在各实施例中，毫微微投影仪104可以被实现为微型视频投影仪(以下称为“毫微微投影仪”)，其包括图像源(例如，发光二极管微型显示器)和将由该图像源生成的图像直接投影到视网膜206上以使图像出现在用户的视场中的光学系统。Deering提出了一种毫微微投影仪。参见例如US8,786,675、“使用眼戴式显示器的系统”。一种类型的毫微微投影仪基于安装在隐形眼镜内的微型投影仪。投影仪将图像投影到佩戴隐形眼镜的人的视网膜上。投影仪必须足够小(按立方体积计算小于2mm×2mm×2mm)，以安装在可佩戴在人眼球上的隐形眼镜内或其上，因此，为方便起见，Deering将其称为“毫微微投影仪”。毫微微投影仪在任何尺寸上优选地不大于约一或两毫米。在各实施例中，毫微微投影仪的光学系统可以使用圆柱形、实心塑料、双镜设计来实现。虽然受限于隐形眼镜的物理尺寸，但光学系统提供了合适的放大倍率和足够的图像质量。

应理解，可以使用一个或多个毫微微投影仪104，例如，一个毫微微投影仪104将图像直接投射到中央凹208上，中央凹208包含最多数量的视网膜感受野，即，在视网膜206上生成最高分辨率的图像。并且可以使用不同的、较低分辨率的毫微微投影仪104将图像主要投射到不能分辨较高分辨率图像的视网膜206的“较低分辨率”周边区域上。

注意，电子隐形眼镜100可用于VR应用、AR应用、混合现实应用等。在虚拟现实应用中，由电子隐形眼镜100投射的图像取代了用户通常在外部环境中看到的图像，而在AR和混合现实应用中，投影图像看起来叠加在外部环境上，使得投影图像增强或添加到用户在现实世界中看到的内容。

图4B和图4C通过使用手电筒类比示出了SoE的概念。在某些方面，SoE使较大虚拟场景的仅一部分可见的概念类似于观察在仅黑暗环境(图4C)中的通过手电筒400(图4B)照亮的对象。在这两种情况下，只有2D或3D场景的被SoE 304或手电筒的锥形光束312“照亮”的部分在给定时刻可见。该类比假设在投射手电筒的圆周410周围存在限定的圆形边缘，其相对于虚拟场景有效地限制了手电筒圆周内的可见区域。

图4C中描绘的是包括虚拟场景406的由在任何时刻在SoE 304内显示的内容所限定的可见部分310和不可见部分的虚拟场景。在可见部分310中显示的图像具有圆形形状，类似于由手电筒400产生的投影。由于通过将手电筒照射到它们上而被照亮的项的可见性被限制在被照亮的表面，因此毫微微投影仪将图像投影到与例如25度宽的SoE 304相对应的有限(这里是圆形)可见部分310上。因此，如图4C所示，包括中央凹视觉区域308和周边视界区域306的可见部分310对应于虚拟场景的坐标空间中25度宽的圆锥体的底部。

图4C中没有落入可见部分310内的对象406A和部分对象406B没有显示在视网膜上，因此保持对眼不可见，直到响应于用户将眼睛转向这些对象的方向而被从计算机存储器中调用(或从存储的信息中提取)并通过使被调用的对象呈现到视网膜上的图像投影仪来被包括在SoE 304内。简而言之，使眼睛和SoE 304移动以环顾虚拟图像或场景与在黑暗中通过用手电筒照亮表面而扫描表面相似。因此，图像投影仪通过加载虚拟图像的相应部分并更新被投射到眼睛上的内容，有效地更新相对于用户的眼睛运动的SoE 304。

注意，虽然被呈现到视网膜上的图像在图4A至图4C中被描绘为圆形，但这并不旨在限制本公开的范围，因为任何形状，诸如椭圆体、矩形、六边形或任何可以同样使用任意形状。

与允许眼睛检视(即，移向或查看)所照亮区域的任何部分(包括位于所照亮区域边缘处或其附近的对象)的实际手电筒不同，SoE的概念不允许佩戴者EMD系统的佩戴者检视或使眼睛运动以直接查看可见部分310的边缘从而查看可见部分310的被投射到中央凹视觉区域308之外的偏心区域306。在各实施例中，响应于检测到检视被显示在可见部分310的边缘处的对象或图像的尝试，可以重新呈现所显示的对象，例如从用户的周边视界区域306的边缘移动到用户的中央凹视觉区域308，以使用户能够检视虚拟场景中任何位置的对象，包括最初位于中央凹视觉区域308之外的对象。

注意，本文提出的各实施例可以同样用于相关应用中的非EMD系统，例如AR、VR、MR和XR显示，以实现无杂乱、自然流畅和用户友好的导航。本领域技术人员将认识到，允许用户与被显示在用户视网膜上的虚拟环境中可用的虚拟工具交互的困难。下面的讨论标识了允许用户基于跟踪的眼睛运动和/或与辅助设备的简单物理交互来选择和激活虚拟工具的不同实施例。

D.基于眼睛的激活和工具选择的实施例

图5A示出了根据本公开的实施例的包括示例性激活阈值的虚拟工具激活图表。图表500表示一对人眼的共同运动范围502，不考虑个体之间的变化。一般而言，激活图表500显示了从人在不使头部移动的情况下可以直接瞄准其眼睛的中心焦点的中心点的各角度。注意，图表500没有考虑周边视界。人眼的运动范围502在水平上大于95°，在竖向上大于75°。然而，大多数时候，眼睛在范围502的中心区域进行操作，而不是在范围502的周边。因此，在各实施例中，朝向或指向范围502的周边的眼睛运动可以有利地用于唤醒或激活虚拟工具。在某些示例中，特定虚拟工具与沿激活阈值503的某些点相关联，这允许用户通过观察超出沿着激活阈值503的关联点来激活期望的虚拟工具。

如图5A中所描绘，图表500包括电子隐形眼镜可以利用作为触发器来启动动作的激活阈值503。如下文更详细讨论的，电子隐形眼镜、AR头戴式耳机的外部眼睛运动仪等可以监测眼睛运动，以确定眼睛在范围502中的指向，从而确定是否已经超过激活阈值503。如果确定已经超过激活阈值503，则相应的眼睛运动可以被解释为用户启动动作的意图，所述用户启动动作诸如激活电子隐形眼镜(例如，通过退出睡眠模式)、激活虚拟工具、或任何动作序列，诸如例如在单个动作中激活电子隐形眼镜并选择工具两者。

各种实施例确定注视达到激活阈值503或者注视接近眼睛运动范围的边缘502，例如，通过检测眼睛相对于用户的头部或眼窝旋转。在各实施例中，可以使用设置在智能隐形眼镜内的磁力计来测量相对于地球磁场的眼睛朝向，以及可以使用加速度计来测量相对于地球引力场的俯仰。

头部位置可以通过能够跟踪用户头部位置的头部跟踪装置来测量，例如通过使用惯性测量单元(IMU)，IMU可以包括被附接到头部的磁力计，以检测头部相对于地球磁场的罗盘方向，以及包括加速度计，以跟踪相对于地球引力场的头部俯仰。

在各实施例中，可以将眼睛角度与头部角度进行比较，以确定眼睛相对于头部的偏航和俯仰。如果对于相距图5A中图表500的中心点的给定角度，眼睛超出阈值角度，则这可以被认为是激活事件。

在各实施例中，确定用户的注视达到激活阈值503或接近范围502的边缘包括模拟用户头部的位置。例如，不是直接测量头部位置，而是可以确定眼睛角度的运动平均值，并将其用于推断用户的头部位置。这种确定可以利用用户在短暂延迟后自然地将头转向其想要查看的对象这一事实。

图5B示出了根据本公开的实施例的用于使用激活阈值来选择工具的方法。描绘了眼睛运动范围502、激活阈值503，该激活阈值503包括与要激活但尚不可见的工具520和工具522分别相关联的横过位置510和横过位置512。由于用户倾向于不像他们向左、向右或向下瞥视那样频繁地向上瞥视，因此在各实施例中，向上瞥视超过激活阈值503可以被解释为激活或选择事件。用户的眼睛运动504在给定角度或沿着在横过位置510处穿过激活阈值503的给定路径可用作用户意图激活或选择一个工具520而不是另一工具522的指示。

在各实施例中，一个或多个预定角度或激活区域(例如，在给定横过位置附近)可用于启动一个或多个动作。应理解，激活可以完全独立于工具部分。例如，瞥视到激活阈值503处或超出激活阈值503可以被解释为不涉及工具选择的激活。

一些实施例可以利用现有加速度计设备的低功率“看门狗模式(watchdog)”特征，其能够在检测到相对大的加速度时退出睡眠模式。应理解，在电子隐形眼镜中，加速度可以独立于激活阈值503或横过位置510。例如，电子隐形眼镜可以设置一个或多个加速度计，以检测由相对较大的扫视引起的加速度，并且在检测到扫视时唤醒系统。在各实施例中，相对较大的扫视和加速度的组合可以唤醒系统。在各实施例中，这种组合可以用作确定唤醒信号的存在的第一遍，例如，结合能够检测眼睛是否处于或横过某个角度，如果眼睛没有处于或横过某个角度，则保持在睡眠/待机模式。

可以具有一定距离范围的扫视可以被引导朝向或到达运动范围502的边缘。可以使用本文描述的任何眼睛跟踪方法来估计扫视的距离。例如，假设较大的扫视可能到达运动范围502的末端，检测到的角度变化或该变化的速度可用于推断相对较长的扫视，然后可以将其例如在给定的方向解释为激活。

用户在转动头部时的颈部运动通常伴随着在新目标方向上的快速扫视。因此，在各实施例中，为了避免基于将用户在他们的环境中转动头部的错误解释为长时间的扫视而触发错误激活，EMD系统可以考虑用户可能已经在转动头部之前被指示做出的暂停或其他姿态。在各实施例中，用户激活或选择的意图可以源自用户将主视(例如，通过抬起下巴)引导至预定方向或位置，该预定方向或位置包括虚拟场中的持久或预期元素，例如位于一定的倾斜阈值处或在一定的倾斜阈值上方的点。应理解，阈值不一定在眼睛运动范围502内。在各实施例中，一旦用户将注视引导至这样的方向或位置，用户界面激活元素(在此为点)可以在电子隐形眼镜中变得可见。如图7和图8所示，一旦检测到用户注视激活元素，系统就可以激活并且例如在虚拟场景中调出一圈工具。

图5C示出了根据本公开的实施例的用于显示所选工具的方法。如前所述，用户具有眼睛运动范围502，在该范围中用户可以与虚拟场景内的各种工具交互。该眼睛运动范围可以通过激活阈值503划分为内部区域511和外部区域512。眼睛运动范围502的这种划分允许用户选择和激活工具。在各实施例中，一旦已经选择了工具(例如，524)，这些工具就可以被显示在眼睛运动范围502内。显示所选工具(例如，524)的(一个或多个)位置可以在预定位置，例如默认位置526。在某些示例中，未激活的一个或多个工具被示出在外部区域512内，并且可以在眼睛位置越过激活阈值503并注视特定工具时由用户激活。在其他示例中，工具未显示在外部区域512内，但是某些工具与外部区域512的部分相关联，使得当用户的眼睛位置越过激活阈值503时，系统将外部区域512的一部分与一个工具相关联，然后激活该工具。在各实施例中，可以根据可能已经存在于用户的运动范围502中的虚拟或真实对象来自适应地选择位置，例如从而防止某些虚拟对象与某些现实世界对象交叠。

在各实施例中，一旦眼睛运动接近范围502的边缘，就可以显示工具、引导线、环或任何(一个或多个)其他结构，以帮助用户在虚拟场景中识别和/或选择已经被激活的工具和尚未被激活的工具。例如，可以在虚拟场景内实现不同的颜色，以识别被激活的工具与未被激活的工具。此外，虚拟场景内的阈值可以具有各种形状，以区分被激活的工具和未被激活的工具。

图5D示出了根据本公开的实施例的用于使用辅助设备来选择若干工具以用于显示的方法。图5D中的辅助设备566可以是智能手机、传感器或能够与EMD系统通信的任何其他电子设备。在各实施例中，一旦被激活，例如通过轻敲，辅助设备566可以激活隐形眼镜的显示器并且使触发元素568激活隐形眼镜和/或多个工具并选择一个子集或所有激活的工具以用于显示在运动范围502中，该运动范围502包括内部区域511和外部区域512。如图5D中所描绘的，所有工具540-548都被激活，但是仅那些已经(预先)选择540、546的工具被显示，即，在范围502中使530、532可见。在某些示例中，一个或多个工具可以最初显示在外部区域512内，然后由用户选择一个，这导致所选择工具然后转换到内部区域511。在其他示例中，一旦工具被与辅助设备566交互的用户激活，所选择工具可以出现在内部区域511内。在其他实施例中，多个工具540-548可以在用户的眼睛位置超过激活阈值503之后初始显示在外部区域内。其结果是，用户然后可以选择这些工具中的一者，这将导致工具转换到内部区域511。

在各实施例中，可以基于环境来选择工具560、562的子集。例如，可以基于EMD系统检测到其当前环境是银行来选择用于传递银行账户信息的工具。

图5E示出了根据本公开的实施例的用于促进激活的一组示例性角度。除了在给定位置使用越过激活阈值的眼睛运动之外，可以从眼睛运动和/或眼睛运动的距离(例如，以预定角度)推断激活或触发隐形眼镜显示的用户意图。

在各实施例中，有利的是限制激活EMD系统的俯仰角度和偏航角度，例如，以减少误报的数量，或便于检测，而不是允许从任何任意角度激活。这可以通过防止与常规现实世界眼睛运动相关联的某些模式激活系统来实现。此外，俯仰角度和偏航角度可能会受到限制，以允许使用技术不太先进的EMD系统进行激活。作为示例，激活方向可以被限制为8、4或2个允许方向，或者甚至单个方向。

图5F示出了根据本公开的实施例的用于校准用户的眼睛运动范围的示例性方法。在各实施例中，可以测量用户的眼睛运动范围，例如，作为校准过程的一部分，该校准过程可以基于个体特征(例如年龄和其他视觉相关特征)自适应地调节阈值并补偿用户的眼睛运动范围。例如，在VR系统中，校准可以包括例如提示用户通过用他们的眼睛扫描虚拟场景580来尽可能多地发现头部锁定的虚拟场景580。随后，用户能够在虚拟场景580中揭示的区域的范围可以确定从正前方视图以任何给定角度的自定义运动范围。在EMD系统中，可以使用头部锁定显示器，并且可以要求用户尽可能地像“橡皮筋”那样展开。

在各实施例中，例如，作为校准程序的一部分，用户可以调节，即增大或缩小激活阈值，或调节激活阈值的形状，即系统将识别激活所超出的周边形状。在各实施例中，用户可以通过使用任何类型的物理或虚拟按钮、语音命令、配套运动电话应用程序等来执行调节任务。

图5G示出了根据本公开的实施例的用于自动调节激活灵敏度的示例性过程。在各实施例中，过程590开始于步骤591，此时检测到用户的“正常”运动范围，而用户在系统不活动的真实世界环境中表现正常。

在步骤592，响应于用户的眼睛运动超出正常范围某个阈值，可以激活系统。

在步骤593，如果用户在给定时间段内忽略或取消系统激活，则在步骤592的激活被认为是错误激活，并且阈值可以增加一定量以用于后续调用。

相反，在步骤594，如果用户接受系统激活，例如通过参与和使用系统，则在步骤592的激活被认为是成功的，并且维持阈值。

在步骤595，如果用户的眼睛在相对较长的时间内保持在大角度，这可以被解释为尝试激活系统，从而在步骤596激活系统，并且阈值被降低以用于后续调用。注意，对于用户的运动范围内的各种角度，可能存在任意数量的阈值。例如，向上方向的阈值可能小于用户倾向于花费更多时间的向右或向左方向的阈值。

有利地，这里的校准和补偿方法可以自动适应不同的用户并且随着特定用户变得更加熟悉系统而自动适应该用户。例如，系统可以监控用户的特定能力，并且基于用户在激活虚拟工具时如何成功交互和不成功交互的历史分析来调节激活阈值或显示虚拟工具的方式。此外，这些方法便于激活，同时减少误报的数量。

图6A至图6C示出了根据本公开实施例的使用隐形眼镜中的电容性皮肤传感器测量眼窝中眼睛位置的示例性方法。在各实施例中，可以使用电容性皮肤传感器(例如，606)来测量眼睛604在其眼窝内的位置。智能隐形眼镜602可以包括若干个电容传感器，这些电容传感器可以内置并且用于检测皮肤(这里是眼睑)遮挡多个传感器(例如，610)的角度。当眼604在眼窝中旋转时，对于隐形眼镜602的被皮肤遮挡的部分，电容读数将更大，而对于在给定角度，被皮肤遮挡较少的那些部分，电容读数将更低。

例如，在图6A中用户直视前方的场景中，顶部传感器610和底部传感器606都被皮肤遮挡，而左侧传感器616和右侧传感器616没有被皮肤遮挡。在图6B中，一旦用户向上看，底部传感器606就不再被皮肤遮挡。在图6C中，当用户向右看时，除了顶部传感器610和底部传感器606都保持被遮挡之外，右侧传感器616也被皮肤遮挡。

如本领域技术人员将理解的，电容读数可用作眼睛604的旋转、即相对角度的量度。本领域技术人员将进一步理解到，可以选择合适数量的电容传感器来实现期望的精度。

在各实施例中，一旦检测到用户看向虚拟场景中的虚拟对象的示例性布置或其周边，则能够以各种方式激活沿可见或部分可见路径布置的工具。例如，如图7所示，响应于检测到用户向上看向虚拟场景700中的部分可见环702，工具704可以被激活并显示先前不可见的项，这里是位于周边处的汽车图标。此外，行驶时间工具706例如被显示在处于另一角度的预定位置。

如图8所示，工具806可以是存在于环804的可见部分802上的虚拟对象，可见部分802即环804的位于用户的SoE内的部分。环804可以给其他工具(图8中未示出)提供可见的引导808。该视觉框架将允许用户通过视觉跟随标识与第一工具806相关的第二虚拟工具的引导特征808来识别和选择一系列相关的虚拟工具。相关虚拟工具的激活的一些实施例在下面更详细。

图9示出了根据本公开的实施例的分层工具集中的示例性工具如何显示可选子工具的存在。用户的注视可用于显示示例性虚拟场景900中的对象。图9描绘了包括多级分层导航工具的虚拟对象的二维排列。两个层次级别由工具906(标记为“返回”)和子工具908(标记为“音乐”、“恒温器”、“安保”和“太阳能”)表示，它们被显示为沿环804排列的文字，以将用户的注意力从一个子工具909引导到另一子工具。

图9中工具906和子工具909的布置被选择成使得代表工具806(“返回”)的子工具909的一组文字被连接符904分开。子工具909出现在连接符904的一侧并且与工具906相反。在各实施例中，虚拟对象之间的连接符904在虚拟场景900的坐标空间中引导用户的注视。在各实施例中，随着用户的注视运动，可见部分802的内容被控制，与用户的眼睛运动一致，以平滑过渡和显示虚拟场景900的不同部分。这样，用户就有了在虚拟场景900中“环顾四周”的体验。

在各实施例中，工具906可以用作可选择的导航工具，一旦被前面提及的方法中的一种或多种方法调用，就会显示子工具909，该子工具909本身可以是可选择的。子工具909进而可以显示其他层次的层次结构(未示出)，从而有利地促进多层次分级结构的导航，而不需要使用外部或辅助选择设备。

注意，该实施例在视觉上分离了两级层次结构。然而，这并不旨在限制本公开的范围。可以以任何其他方式引导用户的注视以选择任何层次的工具。

在各实施例中，可以激活和突出显示工具(例如，以图标的形式显示)，例如，通过可见地改变工具的外观以将其与其他虚拟或现实世界对象区分开来，例如，通过对其进行动画处理或通过改变所选工具和/或与之相关的任何项的特性或外观(颜色、形状、大小、深度等)。这可以表明该工具已准备好被激活或准备好调用另一工具。

在各实施例中，除了以这种方式激活工具，工具还是可以在被选择时立即调用或激活另一工具。例如，一旦眼睛到达工具，该工具可以被激活并且投影在用户运动范围的中心处或附近，该中心可以是或者不是用户注视所指向的方向。

图10A至图10D示出了根据本公开的实施例的用于在一个或多个步骤中突出显示工具的示例性方法。如图10A中所描绘的，用户可以将眼睛从眼睛的运动范围502内的标称位置1002向运动范围502的周边1004处的指定区域移动，以在接收或不接收成功激活的视觉反馈的情况下唤醒和/或立即激活系统。当用户的注视到达工具1006的位置时，或者甚至在用户的注视到达工具1006的位置之前，这种激活可以使工具1006在虚拟场景中立即可用。在各实施例中，一旦用户到达工具区域，可以使工具1006在虚拟场景的可见区域1008内可见。在各实施例中，一旦用户的眼睛以某个角度扫视在运动范围502的边缘处的激活阈值的横过位置以激活工具(例如，1006)，然后扫视回来(例如，到起点1002)，待激活工具1006可以已经被激活并且在用户注视返回到起始点1002时可用，以便例如允许快速工具激活。

用户在转动头部环顾四周时使眼睛指向眼睛运动范围502的边缘(例如，1004)的倾向是触发错误激活的潜在来源。因此，为了减少误报的数量，可以通过检测(例如，通过头戴式IMU或通过从最近的眼睛位置或运动历史中推断出用户的头部恰好在之前或之后运动)来抑制激活眼睛运动事件。在各实施例中，通过例如向侧面瞥视来激活系统的能力能够以用户的头部运动不超过诸如距离、角度等的某种类型的阈值速度为前提。

图11示出了根据本公开的实施例的用于将用户的眼睛运动解释为系统的激活或暂时激活的示例性方法。为了进一步减少可能导致无意激活的误报，可以评估与眼部姿态相关的数据以确定是否有意地进行了眼部运动或眼部运动序列。

在各实施例中，一旦用户在眼睛运动范围内的期望方向上瞥视(例如以某个角度)之前进行瞥视以做出相对小的扫视预定义方向(例如向上)，向上瞥视可以被解释为系统的试探性激活。可以涉及较大扫视的随后瞥视可以被解释为启动激活的意图。在各实施例中，第二扫视的方向可以用作用户想要选择哪个工具的指示。例如，向上扫视1102，接着左手侧扫视1104，可以调用工具1；相对较小的向上扫视1110，随后另一个向上扫视1112，可以调用工具2；向上的扫视1120，接着右手侧扫视1122，可以调用工具3，等等。相反，向上扫视1102或1120，接着“正常”模式(例如，在以未与一组预定模式或方向匹配的非可辨别模式瞥视周围)，可以被丢弃和/或解释为用户意图不(尚未)激活系统或选择工具。

可以被解释为激活系统的意图的其他眼睛姿态包括用户向极端方向瞥视并且暂时停顿，或者用户在一个方向上进行长时间扫视，接着在与起点相反的方向上进行长时间扫视，例如，上到下、下到上、左到右或右到左。

应理解，任何姿态，诸如图11中例示的姿态，可以与其他姿态和/或动作组合，并且可以使用任何数量的步骤来限定一组姿态。例如，点头，接着向边缘扫视；按下按钮以激活系统，接着瞥视边缘；等等。还应理解，本文公开的一些方法与不利用头部跟踪、眼睛跟踪或眼窝内的眼睛跟踪的系统兼容，诸如现有的AR/VR技术。

图12示出了根据本公开的实施例的基于眼睛的激活和工具选择系统。如图所示，基于眼睛的激活和工具选择系统1200包括(一个或多个)处理器1220，该处理器1220通信地耦合到系统1200的各个模块并协调其功能。这些模块可以包括电源和通信控制器1202、激活阈值检测器1204、运动检测器1206、坐标空间显示管理器1208、工具选择器1210和虚拟对象生成器1212。此外，系统1200可以耦合到辅助设备1214。应理解，激活和工具选择系统1200的任何部分可以在根据本文提出的实施例彼此通信的隐形眼镜和/或附件设备(未示出)上实施。

在操作中，电力和通信控制器1202可以帮助电力的分配、获取、监测和控制，以促进激活和工具选择系统1200的操作，包括在部件和子部件之间的数据和控制命令的内外部通信。在各实施例中，坐标空间显示管理器1208可以根据如图2B所示的坐标系限定虚拟空间，以将虚拟对象映射到虚拟空间上。坐标空间显示管理器1208可以控制坐标系统内的虚拟对象的内容和空间关系，该坐标系统相对于至少一个真实世界对象(例如用户的头饰)或相对于重力以一个或多个自由度固定和地球磁场。在各实施例中，坐标空间显示管理器1208可以通信地耦合到显示控制器，该显示控制器可以确定显示光学器件在用户视网膜上呈现什么图像。

激活阈值检测器1204控制激活阈值相对于用户的眼睛运动范围的生成、出现和位置。工具选择器1210可以响应于从能够包括运动和其他传感器的运动检测器1206输入的数据来显示或隐藏虚拟对象的存在。从运动检测器1206收集的数据被用于以这样的方式跟踪和解释用户的眼睛运动，该方式例如以区分旨在启动涉及激活的动作的眼睛和/或头部运动与涉及选择一个或多个虚拟对象(诸如可用于根据用户的眼睛运动选择要显示的信息类型的导航工具)的动作。

图13示出了根据本公开的实施例的用于使用基于眼睛的激活和工具选择系统的过程。当在一个或多个自由度(例如，相对于参考系)中跟踪眼睛的位置、定向或运动中的至少一个以生成跟踪数据时，过程1300可以在步骤1302开始。

可以根据本文使用的任何方法执行眼睛跟踪。生成的跟踪数据可以包括指示用户意图的信息。例如，眼睛运动可以包括指示用户执行动作的意图的任意数量的眼睛姿态，例如激活工具、选择工具或其任意组合。

在步骤1304，在确定跟踪数据满足预定的眼睛运动或姿态时，可以根据用户的意图激活和/或选择工具。

在步骤1306，如果已经选择了工具，则可以选择位置以显示该工具，例如，在虚拟场景的可见部分中。

最后，在步骤1308，可以如此显示该工具。

图14示出了根据本公开实施例的使用基于眼睛的激活和工具选择系统的另一过程。过程1400可以在步骤1402开始，当响应于用户激活与电子隐形眼镜相关联的辅助设备(例如智能手表)时，一组虚拟工具例如基于环境(诸如用户的真实世界环境)被激活。

在步骤1404，跟踪眼睛的位置、定向或运动中的至少一个，例如，在相对于诸如用户眼窝之类的参考系的一个或多个自由度中，以生成指示用户工具选择的跟踪数据。

在步骤1406，在跟踪数据满足根据工具选择的预定眼睛运动或姿态时，可以例如在虚拟场景的可见部分中选择显示(一个或多个)工具的位置。

在步骤1408，可以随后在该虚拟场景中显示该工具。

E.使用触发器和子元素的瞥视和揭示操作的实施例

图15示出了根据本公开的实施例使用虚拟场景的可见部分中的触发器来显示附近的虚拟对象。注意，触发器1502代表任何虚拟对象，诸如元素、内容(例如静态或动态文本字母数字字符、图像、图标或任何任意符号)或工具，例如用于导航层次结构的各个层次的工具，或该虚拟对象附近的区域。由触发元素1502揭示的子元素1506本身可以是或者可以变成用于另一子元素的触发元素(未在图15中示出)。

在各实施例中，可见部分310包括触发器1502，该触发器1502可以通过被注视(即，直接或间接地用眼睛选择，例如通过看或瞥视触发器1502处或其附近的位置)或者通过被标识为眼睛运动的目标位置，或者简单地通过响应于落入可见部分310而被突出显示。在各实施例中，触发器1502可以在眼睛的注视已经到达触发器之前由在触发器1502的方向上的扫眼睛运动来调用，并且其注定要落在触发器上或其附近或触发器的方向上，这可以通过使用数学扫视预测来确定。触发器1502还可以由执行一系列眼睛运动和停留(也称为眼睛姿态)的用户调用。一旦触发器1502被调用，其可以启动导致触发器1502的例如以下多个动作：(1)变得可选择；(2)被选中；(3)揭示虚拟对象，诸如子元素1506(这里，部分可见的对象1506A出现在SoE 304的周边视界区域中，使得子元素1506B的可视部分未被投射到视网膜上)或其存在(这里，子元素1506的可见部分提供了关于其存在的线索或提示，使得其可以被选择/激活并且例如运动到中央凹视觉区域)；(4)部分或全部显示可视区域中的虚拟对象；(5)将对象添加到可视区域之外的虚拟环境中；和/或(6)选择一个或多个虚拟对象。注意，调用触发器1502可以具有其他和附加的效果，例如从虚拟场景中移除元素、更新或替换元素、调用任何类型的动作或其任何组合。

选择特定对象(诸如触发器1502)，可以例如根据可选对象或指示符的层次结构来实现任意数量的可能后续选择，并且确定这种选择的类型和方式。在各实施例中，调用选择可以伴随反馈机制，该反馈机制可以包括临时视觉、听觉、触觉或其他类型的反馈的任何组合。反馈机制可以包括改变所选项和/或与其相关联的任何项的特性或外观(颜色、形状、大小、深度等)。例如，特定指示符或虚拟对象的选择可以通过突出显示对象来进一步动画化对象，这可以包括以诸如将其与其他虚拟或现实世界对象区分开来的方式明显地改变对象的外观。如下文将更详细讨论的，选择还可以导致将虚拟对象运动到或靠近可见位置或路径的中心或边缘。此外，选择可以包括改变可选对象的大小或在外观之间交替变换。在各实施例中，虚拟对象可以被放置或重新布置在彼此靠近的位置处，例如响应于选择，以支持快速导航并减少眼睛运动时间并减少远距离眼睛运动，以防止过早疲劳并增加眼睛跟踪精度。

应注意，本文提出的实施例可同样用于相关应用中的非EMD系统，例如AR、VR、MR和XR显示，以实现无杂乱、自然流畅和用户友好的导航。

F.使用连接符和指针的瞥视和揭示操作的实施例

图16A示出了利用根据本公开实施例的连接符的虚拟对象。如图所示，触发器1502包括连接符1602，该连接符1602可视地连接到另一虚拟对象，诸如子元素1606A。在各实施例中，连接符1602可以用作暗示、信号或揭示子元素1606A的位置和/或存在的引导、引线或线索。连接符1602可以结合触发器1502可见，或者一旦触发器1502已经被调用，连接符1602就可以变得可见，使得连接符1602结合子元素1606A被包括到虚拟场景中。在各实施例中，子元素1606A可以是部分或完全位于SoE 304外部并且可以仅部分可见或在调用时对观察者不可见的可选择对象。应理解，连接符1602本身也可以是可调用的，以启动一个动作或一系列动作，诸如参考图15提到的那些。还应理解，任何数量的虚拟对象可以被布置成与每个虚拟对象在空间上彼此交叠。

图16B示出了根据本公开的实施例的在不使用可见连接符的情况下揭示存在其他不可见虚拟对象的虚拟对象。图16B中的触发器或元素1610可以是节指示符，诸如可以通过查看来选择并且不包括连接符、代理或指针的词。在各实施例中，触发器/元素1610本身的存在可以用作揭示子元素1606B的线索，该子元素1606B由于其在SoE 304之外的位置而没有呈现在视网膜上并且在图16B中对眼睛不可见。在各实施例中，根据本文提及的任何方法调用触发器/元素1610可以用于在虚拟场景中添加或移除虚拟场景中的位于SoE 304之外并且因此直到观察者注视该方向以将子元素1606B渲染到SoE 304中才立即可见的子元素(例如，606B)。

图16C示出了根据本公开的实施例的具有连接符的代理或指针。如图16C中所描绘的代理/指针1604包括被显示为填充圆的点。然而，应注意，任何标记或符号、或靠近这种符号的位置，都可以作为代理/指针使用。在各实施例中，代理/指针1604将用户的注意力吸引向子元素1606C的存在，并且例如通过被定位成指示位于可见区域之外的子元素1606C的方向来给用户的眼睛提供可以进行扫视的地方。在各实施例中，一旦代理/指针1604被调用，代理/指针1604本身可以作为触发元素。

图16D示出了根据本公开的实施例的没有连接符的代理或指针。相当熟悉两个或多个虚拟对象之间的空间关系或预期这种(多个)空间关系的佩戴者可以从元素1620的存在中暗示附近子元素1606D的存在和/或位置，尽管子元素1606D不存在于可见区域，例如，来自不需要与元素1620连接的代理/指针1608的存在。与图16C中的代理/指针一样，一旦触发器/元素1610激活子元素1606D，图16D中的代理/指针1608可以将用户的注意力吸引向位于可见区域之外的子元素1606D的存在。在各实施例中，如图16D所示，代理/指针1608可以被放置在可见区域的边缘附近并且在子元素1606D的方向上以指示子元素1606D的方向。在各实施例中，响应于检测到用户试图查看或看向代理/指针1608或子元素1606D，代理/指针1608可以“运动”或指向子元素1606D的方向，即更靠近可见区域的边缘，例如直到子元素1606D被揭示或部分揭示。在各实施例中，一旦用户扫视到代理/指针1608，代理/指针1608可以再次跳转/运动到边缘，即更靠近子元素1606D。

图16E示出了根据本公开的实施例的用作不可见对象的存在的提示的项。在各实施例中，引导、引线或提示1650可以用于将佩戴者的视线引导到子元素1652，而不显示或揭示触发器本身。例如，引导1650可以是当视线从元素1620被引导到子元素1652时所经过的中间元素。

应理解，诸如触发器、元素和子元素之类的虚拟对象或指示符能够以任何期望的模式布置在虚拟场景内。例如，虚拟对象可以沿着可见的、部分可见的和不可见的路径排列，例如容易直观地用肉眼导航的几何形状。在各实施例中，虚拟对象可以排列成使得更容易检测和/或解释检测到的眼睛运动以区分某些眼睛运动和注视方向的模式。

G.虚拟场景中虚拟对象的布置实施例

图17示出了根据本公开的实施例的虚拟场景中的虚拟对象的示例性布置。如所描绘的，虚拟对象(例如，1704)可以沿着可见或部分可见的路径/引导线1702布置，在图17中，路径/引导线1702类似于在各实施例中将用户的注意力从一个对象引导到另一对象的弧形。虚拟场景1700的内容可以平面地映射到虚拟平面上，弯曲到圆柱体或球体的内部，或者以二维或三维的任何其他格式排列。

当佩戴者注视位于SoE 310内的虚拟对象1706时，这种瞥视导致图像210被呈现到视网膜206上。在各实施例中，一旦佩戴者将眼睛204从虚拟对象1706移向位于可见区域310之外的区域，则投影图像210可以沿着路径/引导线1702重新呈现。这种重新呈现有效地更新投影图像，以将可见区域310移向虚拟场景1700中的其他虚拟对象1704。

如之前参考图2B至图2D所讨论的，在各实施例中，路径/引导线1702可以被映射到合适的坐标系上，并且参考一个或多个参考系，诸如佩戴者的身体、周围环境等。通过使用用户的头部作为参考系，无论用户的头部如何转动，对象1706都出现在用户视场的可见部分310中。在各实施例中，这允许用户通过在用户的眼睛运动范围内移动他/她的眼睛204来扫描场景1700。由于场景1700被锁定到用户的头部并随其运动，无论用户面朝地方，场景1700都可用。

H.在虚拟场景中瞥视和揭示虚拟对象的实施例

图18A和图18B示出了根据本公开的实施例的用于使用用户的注视来揭示示例性虚拟场景中的对象的方法。描绘的是虚拟场景1800中虚拟对象的二维布置，其包括多级分层导航工具。在图18A和图18B中，两个层次结构级别由元素1806(被标记为“返回”)和子元素1808(被标记为“音乐”、“恒温器”、“安保”和“太阳能”)代表，它们显示为沿引导线1702排列的文字，以引导用户的注意力从一个子元素1808到另一子元素。

图18A和图18B中的元素1806和子元素1808的布置被选择成使得代表元素1806(“返回”)的子元素1808的一组文字被连接符1804分开。子元素1808出现在连接符1804的一侧，并且与元素1806相反。在各实施例中，虚拟对象之间的连接符1804在虚拟场景1800的坐标空间中引导用户的注视。在各实施例中，随着用户的注视移动，可见部分310的内容被控制，与用户的眼睛运动一致，以平滑过渡和显示虚拟场景1800的不同部分。通过这种方式，用户就有了在虚拟场景1800中“环顾四周”的体验。

在各实施例中，元素1806可以被用作导航工具，一旦被前述方法中的一个或多个调用，则揭示子元素1808。子元素1808继而可以揭示其他层次的层次结构(未示出)，从而有利地促进多层次分级结构的导航，而无需使用外部或辅助选择设备。在各实施例中，通过以任何提及的方式调用元素1806，用户可以揭示经由连接符1803连接到子元素1808的指针1802，使得通过瞥视指针1802，用户能够激活子元素1808并导致可见部分310沿引导线1702运动，直到子元素1808在可见部分310内。

注意，该实施例在视觉上分离了两个层次结构级别。然而，这并不旨在限制本公开的范围。能够以任何其他方式引导用户的注视，其可以包括或者不包括元素和子元素的逻辑或空间分组。

图19示出了根据本公开的实施例的用于在虚拟空间中揭示虚拟对象的方法。一旦触发器1904以任何前述方式被调用元素，工具1908就可以呈现在虚拟场景1900中的公共工具或揭示区域1902中。

图20A和图20B示出了根据本公开的实施例的用于在视觉上导航虚拟对象的方法。图20A示出了在可见部分310内能够观察到的元素2002和子元素(例如，2004)，以及在可见部分310之外的子元素(例如，2008)。在各实施例中，响应于确定注视方向，诸如元素2002和子元素2004之类的虚拟对象可以出现、滑入和滑出可见部分310或虚拟场景2000、2030。场景2000、2030中的虚拟对象可以通过它们的连接符并且通过浮动、运动和/或改变它们的外观来表示它们的存在和可用性。

在各实施例中，虚拟对象的运动可以通过将眼睛引导到对象和/或揭示虚拟场景2000中的一个或多个底层或附加对象来帮助视觉导航。例如，可见部分310中的元素2002可以揭示存在子元素2004，其中元素2002经由连接符联接到该子元素2004。子元素2004和子元素2008之间的连接符又可以揭示子元素2008的存在，根据图20A，由于子元素2008的位置在可见部分310之外，即在用户的SoE之外，子元素2008对眼睛不可见。

如控制器所预测或计算的，调用对象可以使该对象朝向可见部分310的中心或虚拟场景中能够更舒适地观看内容的任何位置运动。在各实施例中，对象的运动可以促进流畅的流动并产生直观的过渡，而不需要眼睛进行长距离扫视并且不需要头部转向不断增加的角度来达到。有利地，使交互发生在虚拟场景2000、2030中的限定区域中还允许更深层次的舒适导航。一旦元素2036的子元素2034被调用，如虚拟场景2030中所示，子元素2034本身可以转变为揭示子元素2038和2040的触发元素。

图21示出了根据本公开的实施例的用于在视觉上导航虚拟信息的另一方法。图21示出了以表格格式排列为表2070和子表2180中的条目的元素2182和子元素2184。可见部分310显示表格2070中的元素2182的一部分。在各实施例中，元素2182一旦被调用，例如通过被查看，就揭示了在可见部分310内不可见或仅部分可见的下一级层次结构的存在。一旦调用了下一级层次结构，它就可以以包括子元素2184的子表(例如，2180)的形式显示。

作为示例，一旦例如响应于检测到用户查看表2070中的元素2182“蓝调(BLUES)”，表2070中的元素2182“蓝调”被调用，下一级层次结构表、子表2180及其子元素2184可以被激活并且在可见部分310中变得(部分)可见。如果随后调用表2070中的不同触发元素，诸如“儿童歌曲”，则子表2180可以被移除、更新或以其他方式替换为不同的子表或包括与该不同触发元素相关联的子元素的内容。应理解，到不同内容或(子)表的转换可以涉及动画显示该变化的任何数量的方式。在各实施例中，虚拟场景2100可以包括本领域已知的任何适合通过眼睛选择的导航工具，诸如网格、树、矩阵、清单等，其可以位于虚拟场景2100内的任何位置。本领域技术人员将理解到，在各实施例中，虚拟对象可以在视觉上指示选择过程、层次结构等的完成。

在各实施例中，在诸如VR的可选应用中，可以向用户呈现不限于SoE(即，可见部分310)的完整类别列表，使得响应于检测到用户查看元素2182，子表2180可以被自动激活/显示在虚拟场景2100中。在各实施例中，响应于检测到用户查看元素2182，可以突出显示元素2182，并且连接符或具有连接符的代理/指针(诸如参考图16C和图17所讨论的那些)可以是自动显示并且用作子表2180的触发器或引导线。例如通过查看代理/指针调用子表2180，可以使子表2180移向虚拟场景2100中能够更舒适地查看的位置，再次，促进流畅的流程并创建直观的过渡，与现有的AR、VR和其他系统相比，这显著地减少了眼睛/头部运动。在各实施例中，为了减少混乱，较低级别的层次结构可以保持至少部分不可见，直到用户通过查看与较高级别层次结构相关联的某个触发元素来解锁该层次结构级别。应理解，现有系统的任何特征，例如内置于现有系统的惯性测量单元，都可以用于实现本公开的目标。

在各实施例中，诸如元素2182之类的虚拟对象可以用作能够通过填充子表2180来揭示对象的触发器。子表2180中的子元素2184又可以扩展以揭示附加的虚拟对象，诸如包括与子元素2184相关的文本内容(未示出)的子元素。在各实施例中，表格2070和子表格2180能够以使得随后的层次级别保持在限定区域中的方式运动，例如以减少眼睛或颈部运动。

在各实施例中，这可以通过检测用户扭动脖子的程度来完成。例如，可以检测在交互已经开始的注视位置与某些内容所在(或前往)的目标位置之间的诸如用户的头部角度之类的角度或者距离，并且如果角度或距离满足阈值，则对象可以开始朝着注视位置回移。在各实施例中，这种回到起始位置或可见部分310中的任何其他位置的运动可以取决于角度或距离，使得角度或距离越大，运动可以越快。

在各实施例中，除了切换内容，虚拟场景2100中的虚拟对象还能够以诸如在空间中看起来静止的方式来显示，例如启用“宽显示”，其允许用户通过转动他们的头部和/或身体查看虚拟场景中的虚拟对象2100。这给用户提供了空间感和大工作空间。如果用户不关心头部运动幅度是否小，则很有用。

I.用于瞥视和揭示的系统实现的实施例

图22示出了根据本公开的实施例的用于导航虚拟对象的虚拟瞥视探测器。在各实施例中，虚拟瞥视探测器2200包括(一个或多个)处理器2220，其通信地耦合到虚拟瞥视探测器2200的各个模块并协调其功能。这些其他模块可以包括电源和通信控制器2202、坐标空间显示管理器2204、虚拟对象生成器2206、子元素优先化和选择器2208、触发元素/子元素管理器1210和运动检测器2212。应理解，虚拟瞥视探测器2200的任何部分都可以在根据本文提出的实施例与EMD系统通信的隐形眼镜和/或附件设备上实现。

在操作中，电力和通信控制器2202可以帮助分配、获取、监视和控制电力，以促进虚拟瞥视探测器2220的操作，该操作包括虚拟瞥视探测器系统的部件和子部件之间的数据和控制命令的内外部通信。在各实施例中，坐标空间显示管理器2204可以根据如图2B所示的坐标系统限定虚拟空间，以将虚拟对象映射到虚拟空间上。坐标空间显示管理器2204可以控制坐标系统内的虚拟对象的内容和空间关系，该坐标系统相对于至少一个真实世界对象(例如用户的头饰)或者相对于重力和地球磁场以一个或多个自由度固定。在各实施例中，坐标空间显示管理器2204可以通信地耦合到显示控制器，该显示控制器可以确定显示光学器件在用户视网膜上呈现什么图像。

虚拟对象生成器2206控制用户眼睛可见的虚拟空间部分内的虚拟对象的生成、外观和位置。一个或多个虚拟对象(诸如元素、子元素和触发器)的位置和外观信息可以基于由子元素优先化和确定要揭示哪些虚拟对象的选择器模块2208的决定来提供。可以响应于来自运动检测器2212的数据输入来选择这些所揭示虚拟对象，运动检测器2212可用于区分用户动作，诸如眼睛运动、眼睛对元素的选择或头部运动。

子元素优先化和选择器模块2208通过基于用户动作选择要显示的(一个或多个)信息类型来限定一个或多个导航工具的外观。在各实施例中，触发元素/子元素管理器可以通过根据本文呈现的实施例揭示或隐藏虚拟对象的存在来促进元素的选择。虚拟瞥视探测器2220的任意数量的部件可以利用来自运动检测器2212的数据输入，运动检测器2212包括根据本文提出的实施例的运动和其他传感器。

图23示出了根据本公开的实施例的用于使用虚拟瞥视探测器系统来导航虚拟工具的过程。过程2300可以开始于步骤2302，在步骤2302生成包括可视部分的虚拟场景，该可视部分可以相对于参考系看起来是静止的。显示器将能够由SoE限定的可见部分投影到用户的视网膜上。

在步骤2304，在可见部分内显示与第二虚拟对象相关联的第一虚拟对象，诸如触发器或子元素。

在步骤2306，通过测量、推断或预测包括眼睛或头部运动或其任何组合的运动来检测相对于参考系的运动。该运动代表用户调用触发器，或者被解释为触发器命令，而不是无意或意外的动作。

在步骤2308，一旦通过基于眼睛运动的扫视的开始位置检测目标位置来检测到动作。在用户将其注视指向目标位置之前，启动指示第二虚拟对象的存在的动作，该第二虚拟对象帮助用户导航虚拟空间。第二虚拟对象可以响应于该动作而被调用，即在处于可见部分之前。在各实施例中，动作可以包括用于降低误报检测的可能性的动作。

在各实施例中，导航虚拟工具可以包括在参考系之间转换。例如，第一参考系可以随着用户头部而运动，而第二参考系可以随着用户身体运动。

转换可以包括改变内容或导航工具的外观。在各实施例中，响应于用户将其注视指向预定方向或远离内容或导航工具预定距离或角度，将导致该内容或导航工具被停用。

在各实施例中，视线远离诸如子元素的用户可选虚拟对象观察可以导致该对象例如通过使对象变暗来改变其外观对象或通过改变其相对于其他虚拟或真实对象的运动而被停用。在各实施例中，视线远离一组可选对象观察可以例如取决于眼睛运动的距离或眼睛的固定点位于虚拟内容的远处或前方而导致整个可选对象组被停用。

J.划分虚拟场景的实施例

图24示出了示例性划分结构，其中区域被标识以组织虚拟对象(包括虚拟工具、虚拟窥视窗口和虚拟详细窗口)在虚拟场景内的显示位置。重要的是应注意，提供将虚拟环境划分为区域的这种描述是为了解释与本发明相关的某些概念，并且在本发明的许多实现方式中不需要。在这个特定的描述中，这些区域位于头部固定坐标系中，因为它们与相对于头部的眼睛运动有关。图24显示了被划分为三个区域的虚拟环境。第一区域2401位于虚拟环境的中心附近，第二区域2402位于第一区域2401之外，第三区域2403位于用户视场的周边。第三区域2403限定了接近用户周边的虚拟区域，用户难以在该虚拟区域中长时间保持眼睛聚焦位置。虚拟环境内的用户界面的激活可以由用户的到该第三区域2403内特定位置持续特定时间段的眼睛运动来启动。由于用户在该区域2403中保持焦点是不常见的，因此用户不太可能在使用EMD 102期间无意中激活界面或虚拟工具。换言之，用户激活界面和/或一个或多个虚拟工具的意图通过将激活机制定位在虚拟环境的区域内来更准确地识别，该区域在EMD的正常操作期间通常不被看到和/或用户对其保持焦点不太舒服。

相比之下，相对于第三区域2403，第一区域2401更容易让用户在较长时间内对其保持聚焦。该第一区域2401在虚拟环境中提供空间，用户可以在其中舒适地查看大量信息或以其他方式与虚拟对象交互更长的时间。由于用户在该区域内更精确地控制眼睛运动的能力，用户的眼睛运动对该第一区域2401内的虚拟对象的控制也可能更敏感。因此，可以将更多细微差别的虚拟对象放置在该第一区域2401内，从而允许用户以较小的眼睛运动进行交互。如以下将更详细讨论的，虚拟对象如详细的文本窗口、用户地理空间内的电子设备的动态控制、详细的日历、书籍、网络浏览和本领域技术人员已知的其他虚拟对象。

在一些实施例中，第二区域2402可以用作向用户提供与被激活的工具相关的概要信息或基本控制的过渡区域。该第二区域2402内的虚拟对象可以向用户提供内容概要或将被激活的虚拟工具桥接到随后显示在第一区域2401中的详细虚拟窗口的简单控制器。例如，在选择虚拟工具之后，下面更详细描述的窥视窗口可以出现在该第二区域2402中。这个窥视窗口可以提供概要信息或与虚拟工具相关联的内容的基本控制。如果用户想要更多信息或对该内容的控制，则用户可以启动到第一区域2401内的与该窥视窗口相对应的详细窗口的转换。与现有技术系统相比，虚拟环境内的虚拟对象的这种有组织的结构将其自身与用户的自然眼睛运动对齐，并促进相对更准确的虚拟化眼睛运动控制框架。本领域技术人员将认识到，虚拟环境的划分可以基于每个用户的视觉特征(诸如视场、扫视运动等)在不同用户之间进行调节。

K.眼睛运动跟踪用户界面的实施例

图25示出了根据本公开的各种实施例的虚拟化眼睛运动控制框架的一个示例。激活阈值2510被提供在用户眼睛的运动范围2505的边缘附近，并且允许用户激活虚拟用户界面以与各种虚拟对象交互。该阈值2510的形状可以在各种实施例中变化，并且可以是对称的、不对称的、连结的、不连结的、或采用适合虚拟环境的任何形状。在一些实施例中，阈值2510的形状可以是豆形的，以便与用户的自然眼睛运动范围相关。为简单起见，图25将该阈值2510示出为靠近用户的眼睛运动范围2505的边缘的环。例如，阈值2510可以放置在第三区域2403内、第三区域2403和第二区域2402之间的边界处、或其组合处。在一些实施例中，阈值2510位于距眼睛运动范围2505的边缘的优选距离处，该距离是在执行标识用户特定视场的校准程序之后限定的。为了在一些实施例中限定用户的运动范围，EMD 102将让用户在各个方向上看他/她的最远范围并跟踪这些眼睛运动以构建模型。在限定运动范围2505之后，激活阈值2510被设置在虚拟场景内足够靠近运动范围边缘的点处，使得可以可靠地预测用户激活界面的意图。重要的是，激活阈值2510足够靠近用户的眼睛位置通常位于的运动范围2505的边缘以最小化界面的错误激活。在一些实施例中，阈值2510用作阈值并且当处于停用/解除状态时在虚拟环境中未示出。在其他实施例中，阈值2510在处于停用/解除状态时是可见的，以在视觉上将用户引导至激活阈值。激活运动被限定为跨越激活阈值的用户的眼睛运动。这种激活运动可以构成一个或多个眼睛运动。在确定是否超过激活阈值时，系统还可以考虑向周边扫视的眼睛运动。在其他实施例中，在用户的眼睛运动越过激活阈值之后应用时间阈值，使得用户必须将眼睛位置保持在激活阈值之外持续预定时间段。

如本说明书中更详细描述的，系统可以根据所使用的AR/VR系统以各种方式跟踪眼睛朝着周边的运动。如本说明书中更详细描述的，在EMD系统中，眼睛运动由安装在隐形眼镜中的惯性传感器跟踪。惯性传感器可以独立且专门地操作以跟踪到周边的眼睛运动，或者可以利用诸如头带之类的辅助设备来跟踪头部运动。如果采用这种头戴式辅助，则系统可以通过结合使用惯性传感器测量的眼睛运动和使用辅助设备测量的头部运动来跟踪到周边的眼睛运动。

在使用惯性传感器的情况下，在世界固定(参考矢量：磁北，重力向下)参考系中进行跟踪眼睛运动。朝向眼窝周边的眼睛运动可能难以直接跟踪，但可以通过利用暗示用户眼睛运动运动的用户眼睛运动特征来推断。例如，其可以通过在短时间内保持跟踪眼角度的历史来推断。大多数时候，人的眼睛大致居中在眼窝的中心。可以利用对用户的激活和工具选择指令来限定用户模式和运动范围。例如，系统可以指示用户“直视前方”和“看向周边”，同时系统监控这些运动。这种特定的运动可以被存储并用于识别眼睛运动何时朝向周边。

如果使用辅助设备，则头部运动直接由头戴式显示器的主体中的传感器跟踪。眼睛运动由头戴式显示器中瞄准眼球的小型相机跟踪。这些相机可以与虚拟现实或增强现实护目镜或眼镜一起定位。在这些类型的系统中，眼睛运动在固定头部的参考系中被跟踪，从而直接跟踪朝向眼窝周边的眼睛运动。因此，这些类型的头戴式和基于相机的类型不需要推断任何东西。

在激活界面之后，一组虚拟工具沿着创建虚拟场景内的内部区域310和外部区域的轮廓的路径显示。该组虚拟工具的这种激活可以在界面被激活之后立即发生。这样，界面的激活和虚拟工具的显示对于用户来说可以表现为同时发生的事件。取决于阈值的形状，内部区域310可以涉及封闭区域或开放区域。在各种实施例中，虚拟工具2550A至2550D被定位在激活阈值2510内。再次，虚拟工具2550A至2550D被定位在其上的轮廓的形状可以随实施例而变化，并且可以是对称的、不对称的、连结的、不连结的、或采用适合虚拟环境的任何形状。轮廓2530的形状也可以是豆形、圆形、椭圆形、矩形、弧形、工具线等。为简单起见，图25将该轮廓2530示出为激活阈值2510内部的环。在一些实施例中，环2530未被显示在虚拟场景内，并且虚拟工具2550A至2550D显示为离散图标。在其他实施例中，环2530是可见的，并且沿着其轮廓连接虚拟工具2550A至2550D。该线可以向用户传达存在落在可见投影的偏心跨度范围之外的附加工具。该线还可以引导用户朝着其他可用工具瞥视。本领域技术人员将认识到，在偏心跨度限制用户查看所有可用工具的能力的一些实施例中，该线将帮助用户理解某些工具在虚拟环境内的位置或进一步组织在虚拟场景内的工具。

虚拟工具2550A至2550D代表可以在虚拟场景内查看或操作的内容、功能、控件、菜单或其他事物。这些工具的示例可以包括文本图标、时间/日期符号、设备控件、菜单符号或代表虚拟内容的其他图标。在一些实施例中，眼睛跟踪器在虚拟场景内监视用户的眼睛，以确定用户何时瞥视或接近工具以便选择特定工具。这种瞥视可以在确定是否选择工具时考虑多种因素，多种因素包括瞥视聚焦在或接近工具的时间段、与瞥视相关联的头部运动(或缺乏头部运动)、瞥视眼睛运动的扫视特征、瞥视所经过的眼睛距离、以及可以表示意图激活特定工具的其他眼睛运动。

在工具由用户选择之后，以有组织的方式在内部区域310内向用户提供内容或功能，使得用户可以与系统交互，以访问各种粒度的内容和/或控制。在一些实施例中，所选择的工具和/或窗口相对于用户的头部、身体或物理环境被锁定在虚拟空间中，以允许用户更有效地与其交互。这种内容组织与个人同其环境进行视觉交互的方式相一致。详细的内容或细微的虚拟控制位于用户视场的中心附近，而摘要信息位于靠近中心的距离处。该组织提供了更舒适的首选虚拟界面，并且在通过跟踪用户的眼睛运动来控制这种交互时减少了错误。

图26A示出了根据各种实施例的响应于选择虚拟工具而显示的窥视窗口的示例。被定位在工具环2530上的虚拟工具2550C由用户选择。作为响应，窥视窗口2620被显示在内部区域310内，并且提供与所选工具2550C相关的一般信息。在一些实施例中，该窥视窗口2620可以提供与工具2550C相关的基本概要信息，或者可以提供允许用户与另一虚拟设备或虚拟环境外部的设备交互的基本控制机制。窥视窗口2620可以被定位在虚拟场景内相对于虚拟工具2550C更靠近中心点的位置处。例如，窥视窗口2620可以被定位在与先前讨论中的第二区域2502相关的位置中。与虚拟工具2550C相比，这种定位允许用户使用眼睛运动与窥视窗口2620更舒适地交互，但仍不在理想的中心区域(例如，第三区域2503)。

用户可以通过使视线从窗口移开预定时间段来关闭窥视窗口2620。系统可以通过测量相对于窗口的瞥视角度来识别用户何时将视线从窗口移开。如果该瞥视角度超过阈值达预定时间量，则可以推断出用户关闭窗口的意图的合理推断。窥视窗口2620的消除导致窗口从虚拟场景中消失。另一消除方法：一些工具是沉浸式的，这意味着这些工具覆盖了用户头部和身体周围的全部或大部分球体。在这些情况下，可能没有清晰或容易到达的地方可以远离所显示的虚拟内容。另一消除它的方法是重复激活姿态(例如保持头部稳定并再次看向运动范围的周边)。

如果用户想要更多信息，则在窥视窗口2620附近提供一个或多个激活符号2630，其允许用户选择和启动显示更详细信息或提供与窥视窗口2620相关的更复杂控制的第二窗口。尽管该激活符号2630被显示为与窥视窗口2620相邻的三角形，但是本领域技术人员将认识到该符号2630可以是任何形式并且位于靠近窗口2620的任何位置。

图26B示出了根据本公开的各种实施例的被激活的虚拟窗口。被激活的虚拟窗口2640可以提供更详细的信息、更大量的文本、更复杂的控制或与窥视窗口2620相关的任何其他内容。此外，在一些实施例中，虚拟窗口2640定位成更靠近虚拟环境的中心(即，在第一区域2501内)，以允许用户以最舒适的眼睛和头部位置与虚拟窗口2640交互。

用户可以通过远离窗口观察持续预定时间段来关闭虚拟窗口2640。虚拟窗口2640的关闭导致窗口从虚拟场景中消失并且系统可能地进入待机或睡眠状态。

本领域技术人员将认识到，本发明的各种实施例将虚拟对象的信息级别和/或交互级别与它在虚拟环境中显示的位置对齐。在这些示例中，随着信息和/或交互级别的增加，虚拟对象的级联朝向虚拟环境的中心的位置。下面提供几个示例来说明这种组织方法，以及显示根据本发明的许多实施例可以向用户提供的各种内容和功能。

图27A和图27B示出了根据本发明的各种实施例的在虚拟环境中向用户提供时间、日期和日历信息的示例。在该示例中，时钟图标2703C在激活之后被显示为环2530上的虚拟工具。在用户通过查看图标处或超出图标来选择时钟图标2703C之后，在虚拟场景的内部区域310内显示窥视窗口2720。窥视窗口2720显示当前时间和日期以及关于用户日历的概要信息。在用户通过聚焦在激活符号2730上持续一段时间来触发激活符号2730之后，显示提供来自用户的个人日历的详细信息的虚拟窗口2740。该虚拟窗口2740显示在虚拟场景的中心处或附近。

图28A和图28B示出了根据本发明的各种实施例的在虚拟环境中向用户提供音乐控制器的示例。在该示例中，音乐图标2803C在激活之后显示为环2530上的虚拟工具。在用户通过查看图标处或超出图标来选择音乐图标2803C之后，在虚拟场景的内部区域310内显示窥视窗口2820。窥视窗口2820显示基本音乐控制器，其提供基本控制以允许用户播放、暂停或跳过正在音乐设备上播放的歌曲。在用户通过聚焦在激活符号2830上持续一段时间来触发激活符号2830之后，虚拟窗口840被显示为更加动态的音乐控制器，其给用户提供控制音乐设备的各种功能的能力。该虚拟窗口2840被显示在虚拟场景的中心处或附近。

图29A和图29B示出了根据本发明的各种实施例的以摘要格式或完整格式向用户提供文本的示例。在该示例中，文本图标2903C在激活之后显示为环2530上的虚拟工具。在用户通过查看图标处或超出图标来选择文本图标2903C之后，在虚拟场景的内部区域310内显示窥视窗口2920。窥视窗口2920显示允许用户选择主题的书籍、文本或文本摘要的列表。用户通过聚焦在激活符号2930上持续一段时间来触发激活符号2930之后，显示虚拟窗口2940，在该虚拟窗口2940中向用户提供更详细的文本。在阅读文本时监视用户的眼睛位置，从而在窗口2940内滚动文本。其他控制特征可以包括在虚拟窗口2940中以允许用户跳过文本。该虚拟窗口2940显示在虚拟场景的中心处或附近。

L.眼睛跟踪用户界面管理器的实施例

图30示出了根据本公开的各种实施例的眼睛跟踪用户界面管理器。管理器3000可以被实现为硬件、软件、固件或其组合。管理器3000可以在EMD、与EMD接口的辅助设备、与EMD接口的云设备或控制各种眼球跟踪功能的任何其他设备中实现，这些功能使用户能够激活、选择和取消虚拟场景中的虚拟对象。

管理器3000包括与各种传感器和部件接口的处理单元3020。环校准和初始设置模块3002初始化环并限定环在虚拟场景内的位置。该模块3002可以通过限定视场边缘的一系列眼监测测试来识别用户的视场，以限定环的这种位置。工具设置模块3004沿环设置多个虚拟工具。工具的这种设置可以取决于用户选择一个或多个工具并将这些工具设置在最准确地识别用户选择工具的意图的位置的频率。眼睛运动和瞥视检测器3012从传感器接收眼睛运动数据并将该数据转换为与虚拟场景相关的参考系。使用此功能，系统可以跟踪与虚拟场景中的虚拟对象相关的眼睛运动。

窥视工具窗口控件3006根据上述方法管理从选定虚拟工具到窥视窗口的转变。窥视虚拟窗口控件3008根据上述方法控制从选定激活符号到虚拟窗口的转换。

管理器3000还可以包含用户历史和系统优化器3010，以基于对用户如何与虚拟对象交互的分析来调节用户界面的各种参数或特性。该优化器3010可以记录在使用用户界面期间产生的错误并调节参数以提高用户激活、选择或解除虚拟场景内的虚拟对象的准确性。

M.使用注视进行滚动的实施例

在本节中描述的是使用注视滚动虚拟图像或文本的实施例。当用户佩戴智能隐形眼镜时，存在对用户可见的一个或多个视窗。在一个或多个实施例中，视窗可以被限定为相关虚拟内容的一部分并且当用户的视线与它相交时可见。每个视窗可以包括一个或多个滚动区域，以实现虚拟内容在视窗内的滚动。出于感知的目的，视窗可以类似于桌面电脑的图形用户界面(GUI)中的窗口。GUI界面可以包括一个或多个窗口，每个窗口呈现单独的内容。类似地，用户可见的场景可以包括一个或多个视窗。一个或多个视窗中的每个内的内容可以彼此相关或独立。视窗通常可以是矩形的，但也可以是任何形状。

在一个或多个实施例中，要在视窗内显示的完整内容(例如完整的图像或文本)超出视窗的大小。可能需要对视窗内的全部内容进行滚动，也称为平移，以允许用户访问视窗外的部分内容。

图31示出了根据本公开的实施例的具有用于在视窗内滚动内容的滚动区域的视窗。视窗3104具有允许在视窗内呈现虚拟场景3102的一部分，例如完整的图像或视频、具有多个图像和文本的杂志版面等的尺寸。视窗3104可以具有一个或多个指定的滚动区域，以实现虚拟场景的滚动。当由布置在将虚拟场景投影到用户视网膜上的隐形眼镜内的一个或多个传感器生成的眼睛跟踪数据识别用户的注视点或视点在一个或多个指定滚动区域中的一个内时，虚拟场景3102在一个或多个方向上滚动，使得虚拟场景3102的先前隐藏的内容以期望的方式在视窗3104中呈现。在一个或多个实施例中，术语“滚动”、“滚动中”或“被滚动”被称为与虚拟场景(诸如图31中所示的完整图像或视频)相对于视窗的移位相关。在一个或多个实施例中，虚拟场景3102的滚动在用户在滚动区域内的注视点或视点3120时开始，或在用户在滚动区域内的注视点或视点超过阈值(例如0.1秒)的时间时开始。

在一个或多个实施例中，视窗内的一个或多个滚动区域被建立以使滚动成为可能。滚动区域通常可以位于视窗的四个边缘处，并且它们可以交叠。如图31所示，滚动区域可以包括顶部竖向滚动区域3105、底部竖向滚动区域3106、左侧水平滚动区域3107和右侧水平滚动区域3108。在用户的注视点或视点处于滚动区域内时，每个滚动区域可以具有其自己的关联滚动动作。例如，用户查看顶部竖向滚动区域3105的动作具有将完整图像3102推到视窗内的相反方向(向下)的效果。这种滚动可以称为向下滚动或向下平移。类似地，完整的图像/视频可以通过用户查看底部竖向滚动区域3106的动作来滚动/平移。水平滚动可以类似地实现，通过查看左侧水平滚动区域3107以进行右滚动，并且查看右侧水平滚动区域3108以进行左滚动。在一个或多个实施例中，视窗3104可以包括非滚动区域3105。当用户注视非滚动区域内的点时或当达到完整图像3102的滚动限制时，完整图像3102不滚动。

在一个或多个实施例中，水平和竖向滚动区域可以交叠，以形成多个交叠或角部滚动区域3112。注视交叠区域中的某个点可能会导致同时水平滚动和竖向滚动。例如，查看右侧滚动区域和底部滚动区域交叠的右下区域3112可以同时向左和向上滚动完整图像3102。

在一个或多个实施例中，取决于注视点在一个或多个滚动区域中的一个中的位置，完整图像3102的滚动速度可以是恒定的，或者可以是变化的。例如，滚动速度可以被调节，使得当用户在滚动区域内朝着比滚动区域的外边缘更靠外的位置处注视时，滚动速度会变快，而当用户在滚动区域内朝着比滚动区域的内边缘更靠内的位置处注视时，滚动速度会变慢。通过这种方式，用户可以在完整图像滚动到视图中的同时平滑地跟随完整图像中的点。在另一示例中，可以将滚动速度调节为取决于滚动区域内的注视点的时间。例如，用户在滚动区域内注视的时间越长，滚动可能越快。

在一个或多个实施例中，完整图像3102在一个方向上的滚动速度可以与完整图像3102在另一方向上的滚动速度相同或不同。根据完整图像3102的纵横比，水平滚动速度可以被指定为与竖向滚动速度成比例。例如，当完整图像3102是长度远大于高度的全景照片时，期望将水平滚动速度设置为与竖向滚动速度相比更高的值。

图32示出了根据本公开的实施例的具有用于在视窗内滚动文本的滚动区域的视窗。类似于图31所示的视窗3104，视窗3204具有仅允许较大虚拟场景3202(例如完整的文本消息或文档)的一部分在视窗内呈现的尺寸。视窗3204可以具有顶部滚动区域3205和底部滚动区域3206，以使得能够相应地向下或向上滚动文本消息。当眼睛跟踪数据识别出用户的注视点或视点在顶部或底部滚动区域内时，虚拟场景3202向下或向上滚动以供用户查看附加内容。在一个或多个实施例中，文本消息3202的滚动开始于用户在顶部或底部滚动区域内的注视点或视点3220，或者开始于用户在顶部或底部滚动区域内的注视点或视点开始持续一时间长于阈值，例如0.1秒。视窗3204还可以具有非滚动区域3210。当用户注视非滚动区域3210内的点时，文本消息3202不滚动。虽然图32中的实施例仅在视窗中显示纯文本，但本领域技术人员应该理解，可以在视窗中单独或组合地显示各种格式，包括文本、图像、视频、图标、表情符号等。

在一个或多个实施例中，视窗3204可以大于由SoE 304限定的可见部分3212。以注视点3220为中心的可见部分3212显示视窗3204的落入可见部分3212内的部分。在这种情况下，视窗3204的一些滚动区域(例如，顶部滚动区域3205)可以在可见部分3212之外并且因此可能不起作用。如果用户希望向下滚动文本，则用户需要向上看以向上移动可见部分，从而揭示顶部滚动区域3205的至少一部分以启用向下滚动。

在一个或多个实施例中，视窗3204可以完全适配在可见部分内，并且因此所有滚动区域都被揭示并且可用于启用滚动。

图33示出了根据本公开的实施例的用于在视窗中滚动虚拟场景的过程。当虚拟场景的可见部分的至少一部分从隐形眼镜投影到用户的视网膜上时，过程3300在步骤3302开始。可见部分包括一个或多个视窗。每个视窗可以被限定为相关联的虚拟内容的一部分，其具有大于视窗的全尺寸，并且当用户的视线与其相交时可见。每个视窗可以包括一个或多个滚动区域，以实现虚拟内容在视窗内的滚动。

在步骤3304，跟踪用户眼睛在视窗内的位置、定向或运动中的至少一个，以生成指示用户意图的跟踪数据。眼睛跟踪可以由设置在隐形眼镜内的一个或多个传感器执行，该隐形眼镜将虚拟场景投影到用户的视网膜上。

在步骤3306，响应于跟踪数据代表用户的注视点或视点在视窗的滚动区域内，在视窗内以预定方向和滚动速度滚动虚拟内容。虚拟内容可以是图像、文本、视频等。与图31和图32相关联的滚动的实施例也可以应用于步骤3306。

在步骤3308，在满足一个或多个滚动停止条件时停止滚动。一个或多个滚动停止滚动条件可以是非滚动区域内的注视点、虚拟内容被滚动到结束位置(例如，最顶部、最底部、最左侧或最右侧)等。

N.使用注视进行缩放/取消缩放的实施例

本节描述的是使用注视进行虚拟场景缩放/取消缩放的实施例。在某些情况下，要在视窗中呈现的虚拟内容(诸如图像)是可缩放的，使得用户可以改变虚拟场景的查看区域的比例以便查看更多或更少的细节。

图34A和图34B示出了本公开的实施例的用于在视窗内进行缩放和取消缩放的视窗。视窗3404显示例如完整的图像或视频的虚拟场景3402的至少一部分。视窗3404可以具有指定的缩放区域3410和取消缩放区域3406。当由布置在隐形眼镜内的一个或多个传感器生成的眼睛跟踪数据识别出用户的注视点或视点3408在缩放区域3410内的预定范围(例如2°圆)内持续至少时间阈值(例如0.2秒)，虚拟场景3402被缩放，使得虚拟场景3402的比例被放大以揭示注视点周围的更多细节。在一个或多个实施例中，可以结合滚动来完成缩放，以在视窗内尽可能多地居中内容(以及因此注视点)。在一个或多个实施例中，缩放区域3410和取消缩放区域3406可以分别对应于非滚动区域3110和滚动区域(3105-3108)。在一个或多个实施例中，如眼睛跟踪数据所指示的，注视点可以被称为眼定向和虚拟场景的可见部分之间的交叉点或区域。在一个或多个实施例中，用于缩放开始的时间阈值可以是接近零甚至为零的时间间隔，使得当注视点在缩放区域内的预定范围内时，缩放可以立即或几乎立即开始瞬间或几乎瞬间的反馈。

如图34A所示，当用户注视注视点3408(萨克斯管)的时间超过阈值时，视窗内的虚拟场景开始缩放，同时如图34B所示，向上和向左运动以围绕注视点居中3408(萨克斯管)。

在一个或多个实施例中，完整图像3402的缩放速度可以是恒定的或可变的。在一个示例中，缩放速度可以与在视窗的边缘缩放区域的边界之间沿着注视点有多近或多远成比例地调节。注视点越靠近缩放区域边界，缩放速度越慢。在另一示例中，可以将缩放速度设置为取决于缩放区域内的注视点的时间，使得用户注视缩放区域内的点的时间越长，缩放变得越快。在一个或多个实施例中，缩放速度可以具有预定的最大值。

在一个或多个实施例中，取消缩放可以使用在视窗边缘周围的取消缩放区域3406。取消缩放区域3406可以与之前描述的滚动区域相同或不同。注视取消缩放区域开始朝该取消缩放区域的方向缩小，换言之，以这样的方式在用户所看的方向上揭示更多完整图像。

在一个或多个实施例中，完整图像3402在视窗3404内的取消缩放速度可以是恒定的或可变的。例如，与滚动的速度一样，可以将取消缩放速度设置为与注视点和视窗边缘之间的距离有关。注视点越靠近视窗的边缘，取消缩放的速度就越快。

图35示出了根据本公开的实施例的用于虚拟场景缩放的过程。当虚拟场景的至少一部分从隐形眼镜投影到用户的视网膜上时，过程3500在步骤3502开始。虚拟场景可以包括一个或多个视窗。每个视窗可以被定义为相关虚拟内容的一部分，其全尺寸大于视窗，并且当用户的视线与其相交时可见。每个视窗包括缩放区域，以实现视窗内的虚拟内容的缩放。

在步骤3504，跟踪用户眼睛在视窗内的位置、定向或运动中的至少一个以生成指示用户意图的跟踪数据。眼睛跟踪可以由设置在隐形眼镜内的一个或多个传感器执行，该传感器将虚拟场景投影到用户的视网膜上。

在步骤3506，响应于跟踪数据代表用户的注视点或视点在视窗的缩放区域内持续至少缩放时间阈值，在视窗内以预定的缩放速度缩放虚拟内容。该虚拟内容可以是图像、文本、视频等。预定缩放速度可以是恒定的，也可以取决于注视点与视窗边缘之间的距离。

在步骤3508，当满足一个或多个缩放停止条件时停止缩放。一个或多个缩放停止条件可以是围绕缩放开始的缩放区域外的注视点、取消缩放区域内的注视点、虚拟内容被缩放到终点位置(例如，接触镜支持的最大比例)等。

图36示出了根据本公开的实施例的用于虚拟场景取消缩放的过程。图36示出了根据本公开的实施例的用于虚拟场景缩放的过程3600。当虚拟场景的至少一部分从隐形眼镜投影到用户的视网膜上时，过程3600在步骤3602开始。虚拟场景可以包括一个或多个视窗。每个视窗可以被限定为相关虚拟内容的一部分，其全尺寸大于视窗，并且当用户的视线与其相交时可见。每个视窗包括取消缩放区域，以使视窗内的虚拟内容能够取消缩放。步骤3604可以类似于图35中所示的步骤3504。

在步骤3606，响应于跟踪数据代表用户的注视点或视点在视窗的取消缩放区域内持续超过阈值的时间，在视窗内以预定的取消缩放速度取消缩放虚拟内容，以显示视窗内的更多内容。预设的取消缩放速度可以是恒定的，也可以取决于注视点与视窗边缘之间的距离。

在一个或多个实施例中，与缩放一样，取消缩放可以与滚动/平移并行发生。当用户注视视窗内的取消缩放区域中的点持续超过阈值的时间时，显示在视窗中的虚拟内容开始取消缩放并且可以同时水平、竖向或以这两者运动，从而使用户注视的点在取消缩放期间朝着视窗的中心移动。

在步骤3608，当满足一个或多个取消缩放停止条件时停止取消缩放。一个或多个取消缩放停止条件可以是缩放区域内的注视点、虚拟内容被取消缩放到结束位置(例如，隐形眼镜支持的最宽视场)等。

在一个或多个实施例中，图35和图36中示出的用于缩放/取消缩放的过程可以结合图33中示出的用于滚动的过程来实施。在一个或多个实施例中，视窗的缩放区域和取消缩放区域也可以分别被配置为非滚动区域和滚动区域。缩放区域(非滚动区域)和取消缩放区域(滚动区域)可以默认指定为缩放和取消缩放。当视窗内的虚拟内容被完全缩放到最大时，缩放区域(非滚动区域)和取消缩放区域(滚动区域)随后可用于滚动控制。类似地，当视窗内的虚拟内容(虚拟场景的一部分)完全取消缩放并且虚拟场景仍然超出视窗的大小时，缩放区域(非滚动区域)和取消缩放区域(滚动区域)可以然后被用于滚动控制。

本领域技术人员将理解到，前述示例和实施例是示例性的并且不限制本公开的范围。旨在将本领域技术人员在阅读说明书和研究附图后显而易见的所有排列、增强、等效物、组合和改进包括在本公开的真实精神和范围内。还应注意，任何权利要求的元素可以不同地布置，包括具有多个依赖关系、配置和组合。

Claims (20)

1.一种基于眼睛的激活方法，包括：

跟踪用户的眼睛的位置、定向或运动中的至少一个以生成跟踪数据，眼睛跟踪由设置在隐形眼镜内的一个或多个传感器执行，所述隐形眼镜在被激活时将虚拟场景的至少一部分投射到所述用户的视网膜上；

分析所述跟踪数据，以识别所述用户的眼睛的至少一个位置、定向或运动何时越过将眼睛运动范围的内部区域与外部区域分开的激活阈值，所述外部区域具有与工具相关联的第一位置；

响应于所述用户的眼睛越过所述激活阈值到所述第一位置，激活隐形眼镜显示器；

在所述内部区域内确定第二位置；以及

在所述内部区域内在所述第二位置处显示所述工具，以允许所述用户与所述工具进行交互。

2.根据权利要求1所述的基于眼睛的激活方法，其特征在于，所述虚拟场景被使用所述隐形眼镜内的毫微微投影仪投射在所述视网膜上。

3.根据权利要求1所述的基于眼睛的激活方法，其特征在于，所述跟踪数据是通过跟踪所述用户的眼睛相对于所述用户的眼睛的眼窝的位置、定向或运动而生成的。

4.根据权利要求1所述的基于眼睛的激活方法，其特征在于，与所选的工具相关联的至少一个子工具在所述工具在所述第二位置处被激活之后，被显示在所述内部区域内。

5.根据权利要求1所述的基于眼睛的激活方法，其特征在于，跟踪所述用户的眼睛的位置、定向或运动中的至少一个的步骤还包括跟踪所述用户的头部运动以补充所述跟踪数据。

6.根据权利要求1所述的基于眼睛的激活方法，其特征在于，所述跟踪数据的处理由在所述隐形眼镜外部的辅助设备进行分析，所述辅助设备经由至少一个无线通信信道与所述隐形眼镜通信，并且存储用户的眼睛的位置、定向或运动中的至少一个的数据。

7.根据权利要求6所述的基于眼睛的激活方法，其特征在于，分析所述跟踪数据的步骤还包括以下步骤：对所存储的数据进行处理，使得与所述用户相关联的先前眼睛扫视运动被用于补充对所述用户的眼睛越过所述激活阈值到所述第一位置的识别。

8.根据权利要求6所述的基于眼睛的激活方法，其特征在于，所存储的数据被用于基于所述用户的先前眼睛运动修改所述激活阈值被设置在所述眼睛运动范围内的位置。

9.一种基于眼睛的滚动方法，包括：

通过隐形眼镜将虚拟场景的至少一部分投射到用户的视网膜上，所述虚拟场景包括一个或多个视窗，每个视窗包括一个或多个滚动区域，以使得虚拟内容能够在每个视窗内的滚动；

通过设置在所述隐形眼镜内的一个或多个传感器追踪所述用户的眼睛的在一个或多个自由度上的位置、定向或运动中的至少一个，以生成跟踪数据，所述跟踪数据指示用户的意图；

响应于所述跟踪数据代表所述用户在一个视窗的一个或多个滚动区域中的一个内的注视点，使所述一个视窗内的虚拟内容以预定方向和滚动速度滚动；以及

当满足一个或多个滚动停止条件时，停止所述滚动。

10.根据权利要求9所述的基于眼睛的滚动方法，其特征在于，当跟踪数据指示所述用户的注视点与每个视窗相交时，所述每个视窗对所述用户可见。

11.根据权利要求9所述的基于眼睛的滚动方法，其特征在于，每个视窗的一个或多个滚动区域是所述视窗的边缘，所述一个或多个滚动区域中的每个使得虚拟内容能够朝着相反的方向滚动。

12.根据权利要求9所述的基于眼睛的滚动方法，其特征在于，所述滚动速度是恒定的，或者与所述注视点在所述一个或多个滚动区域中的一个中的位置相关。

13.根据权利要求9所述的基于眼睛的滚动方法，其特征在于，所述滚动速度在不同的滚动方向上是不同的。

14.根据权利要求9所述的基于眼睛的滚动方法，其特征在于，所述一个或多个滚动停止条件包括以下中的一个或多个：

所述用户的所述注视点在所述一个视窗的非滚动区域内；或

所述虚拟内容被滚动到结束位置。

15.一种基于眼睛的缩放方法，包括：

通过隐形眼镜将虚拟场景的至少一部分投射到用户的视网膜上，所述虚拟场景包括一个或多个视窗，每个视窗包括缩放区域，以使得能对每个视窗内的虚拟内容进行缩放；

通过设置在所述隐形眼镜内的一个或多个传感器追踪所述用户的眼睛的在一个或多个自由度上的位置、定向或运动中的至少一个，以生成跟踪数据，所述跟踪数据指示用户的意图；

响应于所述跟踪数据代表所述用户的视点在一个视窗中的缩放区域内的阈值范围内持续至少一段缩放时间阈值，缩放所述视窗内的虚拟内容；以及

当满足一个或多个缩放停止条件时，停止所述缩放。

16.根据权利要求15所述的基于眼睛的缩放方法，其特征在于，所述一个或多个缩放停止条件包括以下项中的一个或多个：

所述注视点在所述缩放区域以外；或

所述虚拟内容被缩放到结束位置。

17.根据权利要求15所述的基于眼睛的缩放方法，其特征在于，所述缩放速度是恒定的，或者与所述注视点在所述缩放区域中的位置相关。

18.根据权利要求15所述的基于眼睛的缩放方法，其特征在于，每个视窗还包括取消缩放区域，以使得能取消缩放每个视窗内的虚拟内容，所述取消缩放区域对应于每个视窗的边缘。

19.根据权利要求18所述的基于眼睛的缩放方法，其特征在于，响应于所述跟踪数据代表所述用户的视点在一个视窗中的取消缩放区域内持续至少一段取消缩放时间阈值，在所述视窗内取消缩放虚拟内容，直到满足一个或多个取消缩放停止条件。

20.根据权利要求19所述的基于眼睛的缩放方法，其特征在于，每个视窗的取消缩放区域用于在所述虚拟内容被完全取消缩放之后，使得所述虚拟内容能够在每个视窗内滚动。

Images