CN105359082B - 用于用户接口导航的系统和方法 - Google Patents
用于用户接口导航的系统和方法 Download PDFInfo
- Publication number
- CN105359082B CN105359082B CN201480036261.7A CN201480036261A CN105359082B CN 105359082 B CN105359082 B CN 105359082B CN 201480036261 A CN201480036261 A CN 201480036261A CN 105359082 B CN105359082 B CN 105359082B
- Authority
- CN
- China
- Prior art keywords
- visual elements
- target location
- area
- user
- homing position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 230000000007 visual effect Effects 0.000 claims abstract description 160
- 241000287181 Sturnus vulgaris Species 0.000 claims abstract description 14
- 230000002829 reductive effect Effects 0.000 claims description 3
- 235000012779 flatbread Nutrition 0.000 claims 1
- 238000009877 rendering Methods 0.000 claims 1
- 238000012423 maintenance Methods 0.000 abstract 1
- 230000008569 process Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 11
- 230000008859 change Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 210000003128 head Anatomy 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000000977 initiatory effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 230000002045 lasting effect Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000001737 promoting effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 description 1
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 description 1
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 description 1
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 description 1
- 208000003443 Unconsciousness Diseases 0.000 description 1
- LSNBAGMWJRMBEO-PTKVLMSTSA-N [(3s,4e,6e,9s,10e,12e,14r,18r)-9-hydroxy-6,12,15,18-tetramethyl-16,19-dioxo-14-(2-oxopropanoylamino)-17-oxabicyclo[13.2.2]nonadeca-4,6,10,12-tetraen-3-yl] acetate Chemical compound C1[C@H](OC(C)=O)\C=C\C(\C)=C\C[C@H](O)\C=C\C(\C)=C\[C@@H](NC(=O)C(C)=O)C2(C)C(=O)[C@H](C)C1OC2=O LSNBAGMWJRMBEO-PTKVLMSTSA-N 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001112 coagulating effect Effects 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 230000004434 saccadic eye movement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002463 transducing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0485—Scrolling or panning
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- User Interface Of Digital Computer (AREA)
- Navigation (AREA)
- Position Fixing By Use Of Radio Waves (AREA)
Abstract
公开了涉及导航可视元素的层级的实施例。在一个实施例中，方法包括经由显示设备呈现来自二维平面的一个或多个可视元素。建立显示器的可查看区内的归属位置。建立每个元素与其他元素中的每一个之间的比例尺寸关系。使用凝视跟踪数据，确定可查看区内用户正在凝视的凝视位置。将凝视位置映射到目标位置，并且发起目标位置朝向归属位置的移动。随着目标位置移动到更接近归属位置，渐进地放大可视元素中的每一个，同时还维持可视元素中的每一个与其他可视元素中的每一个之间的比例尺寸关系。
Description
背景技术
导航电子内容以搜索和选择内容的相关部分是常见的任务。在许多示例中，内容经由与计算设备相关联的显示器显示给用户。对于较大的内容集合而言，内容的完整范围和程度可能在用户显示器的有限空间内不是一次性可查看的。在这些示例中，用户通常通过滚动或平动来导航内容以揭示新的内容。在一些示例中，眼睛跟踪技术可以用来监视用户的凝视相对于显示器的位置，并且使用这样的凝视位置来移动或滚动内容。
然而，典型的眼睛跟踪接口在经由显示器导航内容时可能不能提供直观和令人愉悦的用户体验。特别地，当内容包括大量信息层级时，这样的眼睛跟踪接口通常不能够提供可接受的用户体验以用于导航完整范围和程度的信息层级。该缺陷在显示器具有有限尺寸、诸如对于智能电话而言的情况下可能特别明显。
发明内容
本文中公开了涉及用于导航可视元素层级的系统和方法的各种实施例。例如，一个公开的实施例提供一种用于导航可视元素层级的方法，其中层级包括二维平面，该二维平面包括第一轴和与该第一轴正交的第二轴。所述方法包括经由包括凝视跟踪系统的显示设备的显示系统呈现可视元素中的一个或多个，该显示设备操作地连接到计算设备。
在显示设备的可查看区内建立归属位置(home location)。还建立可视元素中的每一个与其他可视元素中的每一个之间的比例尺寸关系。所述方法包括从凝视跟踪系统接收凝视跟踪数据，以及使用凝视跟踪数据确定可查看区内用户正在凝视的凝视位置。所述方法进一步包括将凝视位置映射到二维平面中的目标位置，其中目标位置沿着第一轴与归属位置隔开。
所述方法包括发起目标位置朝向归属位置的移动，其中移动包括沿着第一轴的第一分量。随着目标位置沿着第一轴移动到更接近归属位置，所述方法包括渐进地放大在可查看区内可查看的可视元素中的每一个，同时还维持可视元素中的每一个与其他可视元素中的每一个之间的比例尺寸关系。
该发明内容被提供来以简化形式介绍下面在具体实施方式中进一步描述的概念的选择。该发明内容不意图标识要求保护的主题的关键特征或必要特征，其也不意图用来限制要求保护的主题的范围。此外，要求保护的主题不限于解决该公开内容的任一部分中指出的任一或所有缺点。
附图说明
图1是根据本公开内容的实施例的用于导航可视元素层级的用户接口系统的示意性视图。
图2示出了根据本公开内容的实施例的示例头戴式显示设备。
图3是包括穿戴图2的头戴式显示设备的用户、壁挂式显示器以及握持平板计算机的另一个用户的房间的示意性透视图。
图4是正在显示来自二维平面的可视元素的一部分的显示设备的可查看区的示意性视图，和设置在该二维平面中的可视元素层级的对应的示意性视图。
图5是显示可视元素层级的一部分且示出归属位置和凝视位置的图4的显示设备的可查看区的示意性视图。
图6是示出相对于可查看区被平移的可视元素的平面和被对应地放大的可视元素的图5的显示设备的可查看区的示意性视图。
图7是示出相对于可查看区被进一步平移的可视元素的平面和被对应地进一步放大的可视元素的图6的显示设备的可查看区的示意性视图。
图8是示出可查看区中在归属位置上方的凝视位置的显示设备的可查看区的示意性视图。
图9是示出相对于可查看区被向下平移的可视元素的平面和在尺寸上被对应地未修改的可视元素的图8的显示设备的可查看区的示意性视图。
图10A和10B是根据本公开内容的实施例的用于导航可视元素层级的方法的流程图。
图11是计算设备的实施例的简化示意性图示。
具体实施方式
图1示出了用于导航可视元素层级的用户接口系统10的一个实施例的示意性视图。用户接口系统10包括导航模块14，其可以存储在计算设备22的大容量存储装置18中。导航模块14可以加载到存储器26中并且由计算设备22的处理器30执行以执行下面更详细描述的方法和过程中的一个或多个。
用户接口系统10可以包括操作地连接到计算设备22的显示设备。在一个示例中，显示设备可以包括经由有线或无线连接操作地连接到计算设备22的单独的显示器34，诸如例如独立的监视器。如下面更详细描述的，显示器34可以包括用于向用户呈现一个或多个可视元素的显示系统36和凝视跟踪系统60。
在其他示例中，计算设备22可以集成到显示器34中以形成单个设备。这样的设备可以包括例如手持式智能电话、电子阅读器、膝上型计算机、笔记本计算机和平板计算机等。将领会的是，具有各种形状因数的许多其他类型和配置的显示设备(无论是与计算设备22分离的还是集成的)也可以被使用并且在本公开内容的范围内。
计算设备22可以采取台式计算设备、移动计算设备(诸如智能电话、膝上型计算机、笔记本计算机或平板计算机)、网络计算机、家庭娱乐计算机、交互式电视、游戏系统或其他适当类型的计算设备的形式。下面参照图11更详细地描述关于计算设备22的组件和计算方面的附加细节。
在其他示例中，显示设备可以采取可以创建混合现实环境58的能够虚拟或混合现实的设备，诸如头戴式显示器(HMD)设备38。在这些示例中，用户接口系统10可以包括混合现实显示程序40，其可以生成用于经由HMD设备38显示的虚拟环境42。虚拟环境42可以包括经由HMD设备38生成和显示的一个或多个虚拟图像，诸如三维(3D)全息对象和二维(2D)虚拟图像。
计算设备22可以使用有线连接与HMD设备38操作地连接或者可以经由WiFi、蓝牙或任何其他适当的无线通信协议而采用无线连接。例如，计算设备22可以通信地耦合到网络44。网络44可以采取局域网(LAN)、广域网(WAN)、有线网络、无线网络、个域网或其组合的形式，并且可以包括因特网。附加地，图1中图示的示例将计算设备22示出为与HMD设备38分离的组件。将领会到的是，在其他示例中计算设备22可以集成到HMD设备38中。
现在还参照图2，提供了一副具有透明显示器52的可穿戴眼镜形式的HMD设备200的一个示例。将领会到的是，在其他示例中，HMD设备200可以采取其他适当形式，其中透明、半透明或不透明显示器被支撑在查看者的眼睛或两眼前面。还将领会到的是，图1中所示的HMD设备38可以采取HMD设备200的形式，如下面更详细描述的，或者任何其他适当的HMD设备。
参照图1和2，HMD设备38包括HMD显示系统48和使得诸如全息对象之类的图像能够被递送到用户46的眼睛的透明显示器52。透明显示器52可以被配置成向通过透明显示器查看物理环境的用户46视觉地增大物理环境56的外观。例如，物理环境56的外观可以由经由透明显示器52呈现的图形内容(例如，一个或多个像素，每个像素都具有相应的颜色和亮度)增大以创建混合现实环境58。
透明显示器52还可以被配置成使得用户能够通过正在显示虚拟对象表示的一个或多个部分透明的像素查看物理环境56中的物理真实世界对象。如图2中所示，在一个示例中，透明显示器52可以包括位于透镜204内的图像产生元件(诸如例如透视有机发光二极管(OLED)显示器)。作为另一个示例，透明显示器52可以在透镜204的边缘上包括光调制器。在该示例中，透镜204可以充当用于将光从光调制器递送到用户的眼睛的光导。这样的光导可以使得用户能够感知位于用户正在查看的物理环境56内的3D全息图像，同时还允许用户查看物理环境中的物理对象，从而创建混合现实环境。
HMD设备38还可以包括各种传感器和相关的系统。例如，HMD设备38可以包括利用至少一个向内面向的传感器212的凝视跟踪系统60。该向内面向的传感器212可以是被配置成从用户的眼睛获取凝视跟踪数据64形式的图像数据的图像传感器。假如用户已经同意获取和使用该信息，凝视跟踪系统60就可以使用该信息来跟踪用户眼睛的定位和/或移动。
在一个示例中，凝视跟踪系统60包括被配置成检测用户每个眼睛的凝视方向的凝视检测子系统。凝视检测子系统可以被配置成以任何适当的方式确定用户眼睛的每个的凝视方向。例如，凝视检测子系统可以包括诸如红外光源之类的一个或多个光源，其被配置成促使光的闪烁从用户的每个眼睛的角膜反射。一个或多个图像传感器然后可以被配置成捕捉用户眼睛的图像。
如根据从图像传感器收集的图像数据确定的闪烁图像和瞳孔图像可以用来确定每个眼睛的光轴。使用该信息，凝视跟踪系统60然后可以确定用户正在凝视的方向和/或正在凝视什么物理对象或虚拟对象。凝视跟踪系统60可以进一步确定用户正在凝视物理或虚拟对象上的什么点。这样的凝视跟踪数据64然后可以提供给计算设备22。将理解的是，凝视检测子系统可以具有任何适当数目和布置的光源和图像传感器。
HMD设备38还可以包括从物理环境56接收物理环境数据66的传感器系统。例如，HMD设备38可以包括利用至少一个向外面向的传感器216(诸如光学传感器)来捕获图像数据的光学传感器系统68。向外面向的传感器216可以检测其视场内的移动，诸如基于姿势的输入或者由用户46或由视场内的人或物理对象执行的其他移动。向外面向的传感器216还可以捕获来自物理环境56和环境内的物理对象的二维图像信息和深度信息。例如，向外面向的传感器216可以包括深度相机、可见光相机、红外光相机和/或定位跟踪相机。
HMD设备38可以包括经由一个或多个深度相机的深度感测。在一个示例中，每个深度相机可以包括立体视觉系统的左相机和右相机。来自这些深度相机中的一个或多个的时间分辨图像可以与彼此对准(register)和/或与来自诸如可见光谱相机之类的另一个光学传感器的图像对准，并且可以被组合来产出深度分辨视频。
在另一个示例中，结构化光深度相机可以被配置成投射结构化红外光照，并且对从光照被投射到其上的场景反射的光照进行成像。可以基于被成像场景的各个区中的相邻特征之间的间距来构建场景的深度图。又在其他示例中，深度相机可以采取被配置成将脉冲红外光照投射到场景上并且检测从该场景反射的光照的飞行时间深度相机的形式。将领会到的是，在本公开内容的范围内可以使用任何其他适当的深度相机。
向外面向的传感器216可以捕获用户46位于其中的物理环境56的图像。在一个示例中，混合现实显示程序40可以包括使用这样的输入来生成对围绕用户46的物理环境56进行建模的虚拟环境42的3D建模系统。
HMD设备38还可以包括定位传感器系统72，其利用一个或多个运动传感器220来捕获位置数据76，并且由此使得能够实现HMD设备的运动检测、定位跟踪和/或取向感测。例如，定位传感器系统72可以用来确定用户头部的方向、速度和加速度。定位传感器系统72还可以用来确定用户头部的头部姿态取向。在一个示例中，定位传感器系统72可以包括被配置为六轴或六自由度定位传感器系统的惯性测量单元。该示例位置传感器系统可以例如包括三个加速度计和三个陀螺仪来指示或测量HMD设备38在三维空间内沿着三个正交轴(例如，x、y、z)的位置改变以及HMD设备关于三个正交轴的取向改变(例如，滚转、倾斜、偏航)。
定位传感器系统72可以支持其他适当的定位技术，诸如GPS或其他全球导航系统。进一步地，虽然描述了定位传感器系统的特定示例，但是将领会到的是，可以使用其他适当的定位传感器系统。在一些示例中，运动传感器220还可以用作用户输入设备，使得用户可以经由颈部和头部的姿势或者甚至身体的姿势来与HMD设备38交互。HMD设备38还可以包括麦克风系统80，其包括捕获音频数据的一个或多个麦克风224。在其他示例中，可以经由HMD设备38上的一个或多个扬声器228向用户呈现音频。
HMD设备38还可以包括具有逻辑子系统和存储子系统的处理器230，如下面关于图11更详细讨论的，所述逻辑子系统和存储子系统与HMD设备的各种传感器和系统进行通信。在一个示例中，存储子系统可以包括由用以从传感器接收信号输入并且将这样的输入转发到计算设备22(以未处理或已处理形式)并且经由透明显示器52向用户呈现图像的逻辑子系统可执行的指令。
将领会到的是，以上描述且在图1和2中图示的HMD设备38和相关传感器和其他组件是以示例的方式提供的。这些示例不意图以任何方式进行限制，因为可以利用任何其他适当的传感器、组件和/或传感器和组件的组合。因此，要理解的是，HMD设备38可以包括附加的和/或可替换的传感器、相机、麦克风、输入设备、输出设备等而不偏离本公开内容的范围。进一步地，HMD设备38的物理配置以及其各种传感器和子组件可以采取各种各样不同形式而不偏离本公开内容的范围。
现在参照图3-9，现在将提供示例使用案例和用户接口系统10的实施例的描述。图3提供了位于与包括起居室308的物理环境中的用户304的示意性图示，其中用户经由HMD设备200形式的HMD设备38体验混合现实环境58。如下面更详细讨论的，导航模块14可以被配置成经由HMD设备200显示可视元素的层级，并且使得用户304能够经由凝视跟踪导航层级。
另一个用户312可以握持包括用户接口系统10且包括如以上描述的凝视跟踪系统的平板计算机316。起居室308还可以包括可以操作地连接到游戏系统324的壁挂式显示器320。游戏系统324和/或显示器320还可以包括用户接口系统10和如以上描述的凝视跟踪系统。出于以下描述的目的，将结合平板计算机316描述用户接口系统10的使用案例。还将领会到的是，还可以利用任何适当的显示设备。
如图1中所示，导航模块14可以接收其中遍及2D平面74设置元素的可视元素70层级或者可以生成该可视元素70层级。现在参照图4，提供设置在2D平面74中的可视元素70层级的一个示例的示意性视图。图4还图示了正在显示2D平面74中的可视元素70的一部分的显示设备408(诸如平面计算机316)的可查看区404的对应示意性视图。如下面更详细描述的，导航模块14使得用户能够通过经由眼睛凝视将一个或多个期望的元素拉到可查看区404中来自然地且直观地在2D平面74中的可视元素70之间导航。
在该示例中，可视元素70涉及闹钟程序78并且包括标示AM、PM和MIL(代表军事)，以及用于闹铃的表示小时设置的一列数字和表示分钟设置的一列数字。2D平面74内的位置和移动方向可以参考于水平轴X和垂直轴Y。将领会到的是，在其他示例中，可以使用如本文中描述的用户接口系统10导航由可视元素表示的任何适当的数据层级。
如图4中所示，2D平面74中的可视元素70以层级方式进行布置，使得元素中的每一个直接附属于不超过一个其他元素。在该示例中，可视元素70层级包括三个级别或者列A、B和C。可视元素PM、AM和MIL可以描述为所有其他可视元素所附属的(无论直接地还是间接地)顶点元素。例如，数字5直接附属于顶点元素AM，并且间接附属于顶点元素PM和MIL。附加地，在该示例中，诸如数字12之类的一些可视元素70并不直接附属于某一父可视元素。
进一步地，在该示例中，为每个父可视元素提供不超过三个子可视元素的层级。例如，数字1、2和3是相对于父可视元素PM的子可视元素。将领会到的是，可以结合本文中描述的用户接口系统10使用可视元素层级的许多其他变型和不同配置。这样的其他层级可以包括更少或更多的可视元素70级别。
如以上指出的，图4示出了正在显示在显示设备下面图示出的2D平面74中的可视元素70的一部分的显示设备408的可查看区404的示意性视图。为了促进描述，可查看区404的指示404’和显示设备408的指示408’被提供为覆盖2D平面74以指示2D平面被显示在可查看区内的对应部分。
为了促进导航，导航模块14可以建立2D平面74中的每个可视元素70与该平面中的其他可视元素中的每个可视元素之间的比例尺寸关系。出于本公开内容的目的，两个可视元素70之间的“比例尺寸关系”被定义为当在可查看区404中查看时第一可视元素具有与第二可视元素的第二尺寸成比例的第一尺寸。
例如，并且在图4-7中所示的示例中，列B中的数字7具有相对于列B中的其他数字的比例尺寸关系。在该比例尺寸关系中，数字7和列B中的其他数字具有相同的尺寸。进一步地，列B中的可视元素70之间的该比例尺寸关系被维持，而无论其在显示器408的可查看区404内的定位或实际显示尺寸如何。换言之，列B中的可视元素70相对于彼此维持相同的尺寸，而无论其在可查看区404内的定位如何。在本示例中，该比例尺寸关系还适用于列A和C中的可视元素70。
列B中的可视元素70还具有相对于列A和C中的可视元素70的比例尺寸关系。在另一个示例中且如图4-7中所示，列A中的可视元素PM、AM和MIL中的每一个可以比列B中的可视元素中的每一个大150％。该比例尺寸关系还被维持，而无论这些可视元素70在可查看区404内的定位或实际尺寸如何。
例如，可视元素AM可以以比数字7的尺寸大150％的尺寸进行显示，而无论这些可视元素在可查看区404内的定位或实际尺寸如何。以类似的方式，列B中的可视元素70中的每一个可以比列C中的可视元素中的每一个大120％，而无论这些可视元素在可查看区404内的定位或显示尺寸如何。
将领会到的是，还可以利用在不同列的可视元素70之间具有不同尺寸差异的各种其他比例尺寸关系。还将领会到的是，在图4-7中所示的公开示例中，比例尺寸关系关于水平或X轴方向变化。在其他示例中，比例尺寸关系可以关于垂直或Y轴方向变化。还将领会到的是，图4-7是示意性图示并且可以不按比例再现。
在其他示例中，导航模块14可以被配置为使得显示在可查看区404的中心的所有可视元素70可以以相同的尺寸进行显示。在这些示例中，可以相应地按比例调节可视元素之间的比例尺寸关系。在一个示例中，几何级数之和可以用来确保下面更详细描述的可视元素70的渐进式放大，其均匀地导致在可查看区404的中心处一致的可视元素尺寸。
如图4-7中示意性地图示的，并且如沿着X轴从右至左查看的，可视元素70从一列到下一列在尺寸上增加。进一步地，如以上指出的且下面更详细解释的，随着用户导航通过可视元素70层级，并且随着不同的元素在它们移动通过显示器408的可查看区404时改变尺寸，比例尺寸关系被维持。有利地，以这种方式维持可视元素70之间的比例尺寸关系向用户提供导航通过可视元素层级的多个级别的一致且自然的可视体验。
现在将提供经由凝视跟踪促进可视元素70的2D平面74的导航的示例。现在参照图5，提供了显示设备408的可查看区404的示意性视图。可查看区404正在图4中所示的2D平面74中显示可视元素70层级的一部分。图5还示出了由导航模块14建立的且在该示例中位于可查看区404的中心处的归属位置H。在其他示例中，归属位置H可以位于可查看区404中的其他地方。如图4中所示，归属位置H还被映射到2D平面74中的对应位置。
如下面更详细解释的且在图6和7中图示的，归属位置H在相对于可查看区404所示的位置处保持固定，而可视元素70层级可以在用户导航层级时滚动或平动通过可查看区404。在一些示例中，归属位置H可以显示给查看显示设备408的用户，并且可以由如所示的圆圈中的H或以任何其他适当方式来指示。在其他示例中，归属位置可以不显示给用户。
显示设备408的凝视跟踪系统可以向导航模块14提供凝视跟踪数据64。使用该凝视跟踪数据，导航模块14可以确定显示设备408的可查看区408内用户312正在凝视的凝视位置。在图5-7中，凝视位置504由星形指示，其可以或可以不显示给用户312。如图4中所示，凝视位置504还被映射到2D平面74中的对应目标位置504’。
在该示例中，凝视位置504和对应的目标位置504’沿着水平的X轴和垂直的Y轴与归属位置H相间隔。将领会到的是，在其他示例中，凝视位置504和对应的目标位置504’可以仅仅沿着水平的X轴与归属位置H相间隔(也即，与归属位置H垂直地对齐)。在其他示例中，凝视位置504和对应的目标位置504’可以仅仅沿着垂直的Y轴与归属位置H相间隔(也即，与归属位置H水平地对齐)。
基于在2D平面74中确定凝视位置504和对应的目标位置504’，导航模块14被配置成发起目标位置504’朝向归属位置H的移动，其中这样的移动一般由动作箭头M指示。进一步地，2D平面74中的目标位置504’被“固定”到2D平面，使得目标位置的移动促使2D平面的对应移动。可替换地表达的且参照图4，在目标位置504’朝向归属位置H移动时，2D平面74中的所有可视元素70与2D平面一起对应地移动。
导航模块14被配置成以对应于特定采样率或频率(诸如30Hz、60Hz、120Hz或任何其他适当的率)的周期性间隔确定用户的凝视位置。对于每个样本，如果用户的凝视位置已经从先前的样本改变，则导航模块14更新凝视位置504和对应的目标位置504’。导航模块14然后发起目标位置504’朝向归属位置的移动。以这种方式，将领会到的是，用户接口系统10创建其中2D平面74和处于用户的凝视位置504或靠近用户的凝视位置504的可视元素70被感知为朝向归属位置H移动的导航体验。
在一个示例中且参照图4和5，用户可能对从2D平面74中选择数字7感兴趣。用户可以初始地凝视对应于目标位置504’的凝视位置504。随着目标位置504’和2D平面74上的对应定位然后朝向归属位置H移动，用户的凝视可以跟随2D平面上的该定位直到用户的凝视位置504与归属位置H会合为止，如图7中图示的。以这种方式，用户接口系统10使得用户能够将数字7引导或操纵到可查看区的中心的归属位置H。还将领会到的是，图6图示了2D平面74的定位和图5中所示的初始定位与图7中所示的归属位置处的定位之间的凝视位置504。
附加地，并且如图5-7中所图示的，随着目标位置504’移动到更接近归属位置H，在可查看区404内可查看的可视元素70中的每一个被渐进地放大，而每个元素与每个其他元素之间的比例尺寸关系也得以维持。例如，将领会到的是，数字7随着其从图5中所示的定位移动到图7中所示的定位而在尺寸上增加。作为另一个示例，可视元素AM中的字母M从图5到图6在尺寸上增加。将领会到的是，在图7中字母M已经移动到超出显示器408的可查看区404，并且因此不再处于视图中。
在一些示例中，在给定列中的可视元素70的尺寸可以在垂直方向上是均匀的，并且仅沿着X轴与元素的水平位置成比例。可替换地表达的并且参照图4，列A中的可视元素PM、AM和MIL可以均具有相同的尺寸，诸如72点类型。类似地，列B中的可视元素1-23可以均具有相同的尺寸，诸如28点类型。列C中的可视元素0-59可以均具有相同的尺寸，诸如8点类型。因此，随着可视元素70移动通过2D平面74中的特定位置，每个元素都将在该位置处具有相同的尺寸。附加地，在一些示例中，到达归属位置H的每个可视元素70将以相同的尺寸进行显示。
在一个示例中，可视元素70仅相对于目标位置504’和2D平面74在负X轴方向(换言之，在图4-7中从右至左)上的移动而渐近地放大。对应地，可视元素70仅相对于目标位置504’和2D平面74在正X轴方向(换言之，在图4-7中从左至右)上的移动而渐进地缩小。因此，在该示例中，显示在可查看区404中的可视元素70的尺寸与其在该区中沿着X轴的位置直接相关。
附加地，在该示例中，可视元素70未相对于目标位置504’和2D平面74在Y轴方向上的移动(无论是正的还是负的(换言之，在图4-7中向上和向下))而调整尺寸或者以其他方式进行修改。例如并且参照图8和9，随着用户的凝视位置504和对应的目标位置504’朝向归属位置H垂直地向下移动，可视元素PM、AM、MIL和数字1-8在尺寸上维持固定，同时还维持其与彼此的比例尺寸关系。
导航模块14还可以被配置成基于目标位置504’离归属位置H的距离来控制目标位置504’和2D平面74的移动速度。在一个示例中，导航模块14可以随着目标位置离归属位置H的距离减小而成比例地减小目标位置504’朝向归属位置H的移动速度。
例如并且参照图5，在发起对应于凝视位置504的目标位置504’朝向归属位置H的移动时，可查看区404中的可视元素70可以被给定4厘米/秒的速度。当目标位置504’和对应的凝视位置504到达更接近图6中所示的归属位置H的位置时，可查看区404中的可视元素70可以被给定更低的速度，该速度与到归属位置H的减小距离成比例，诸如2厘米/秒。可视元素70的速度还可以在图5和6的目标位置504’之间线性地减小。
参照图7，可视元素70的速度可以进一步在图6和7的凝视位置504与对应的目标位置504’之间减小。当目标位置504’和对应的凝视位置504到达归属位置H时，可视元素70和2D平面74的移动可以停止。此时，并且如下面更详细描述的，用户可以选择与目标位置504’相关联的可视元素70。在一个示例中，最接近目标位置504’的可视元素70可以与目标位置相关联。在图7中所示的示例中，数字7可以与目标位置504’相关联。
显示设备408然后可以接收指示数字7的用户选择的用户输入。基于该用户输入，导航模块14然后可以选择数字7。用户输入可以包括例如来自用户的口头指令、用户的手、头部、身体等做出的姿势、凝视跟踪系统接收的输入(诸如连续的眼睛眨动)、停留在特定位置处达到预定时间的眼睛凝视、经由诸如键盘或鼠标之类的单独的输入设备的输入、或者任何其他适当的用户输入。
在一个示例中，导航模块14可以被配置成仅当目标位置位于围绕归属位置的暂停区内时才基于用户输入选择与目标位置504’相关联的可视元素70。参照图7，在一个示例中，暂停区704可以包括具有预定直径且围绕归属位置H的圆形区。当目标位置504’和对应的凝视位置504位于暂停区704内时，导航模块14可以允许经由用户输入对可视元素的选择。将领会到的是，暂停区704和归属位置H可以位于可查看区404内的任何适当的位置。进一步地，暂停区704可以具有任何适当的尺寸和形状。
在另一个示例中，导航模块14可以被配置成当目标位置的至少一部分位于暂停区704内时制止发起目标位置504’朝向归属位置H的移动。可替换地表达的，当目标位置的至少一部分位于暂停区704内时，目标位置504’朝向归属位置H的移动可以终止。例如，一旦目标位置504’和对应的凝视位置504跨过暂停区704的边界，可视元素70和2D平面74的移动就可以终止。
有利地，当相关联的目标位置504’到达可查看区404的暂停区704时，这可以使得能够实现并且辅助用户聚焦于特定的可视元素70，诸如数字7。进一步地，以这种方式利用暂停区704可以在用户312移动其凝视以阅读或检查元素或者用户的眼睛体验到眼扫视或其他无意识移动时帮助避免特定可视元素70的非意图的移动。因此，暂停区704可以提供休息状态，该休息状态提供静止可视元素70以便于阅读。
在另一个示例中，导航模块14可以被配置成当目标位置位于暂停区704内时显著地减慢目标位置504’和对应的凝视位置504朝向归属位置H的移动。例如，就在暂停区704外部，目标位置504’朝向归属位置H的速度可以是1.0厘米/秒。一旦目标位置504’的至少一部分位于暂停区704内，目标位置的速度就可以降低到0.1厘米/秒。将领会到的是，可以利用任何适当的速度和速度差异。
还将领会到的是，用户可以水平地滚动通过可视元素70层级。在一个示例中，用户可以将其凝视固定在可查看区404中在归属位置H的右边的一个位置，诸如在图4中的数字5上。随着用户继续凝视显示器上的该位置，2D平面74将从右至左前进跨过显示器408以使得列C上的数字进入可查看区404。类似地，用户可以将其凝视固定在可查看区404中在归属位置H的左边的一个位置，诸如在图7中的数字7的左边。随着用户继续凝视显示器上的该位置，2D平面74将从左至右前进跨过显示器408，并且可视元素70将对应地在尺寸上减小。
再次参照图6并且在另一个示例中，当凝视位置504到达所示的位置时，用户可以将其凝视转向数字6内部的不同凝视位置512。此时，凝视位置512和对应的新目标位置512’(未示出)可以由导航模块14利用来发起新目标位置512’朝向归属位置H的移动。因此，对应的目标位置512’、2D平面74和可视元素70也对应地移动。
将领会到的是，用户接口系统10和以上描述的各种实施例可以使得用户能够自然地且平滑地导航可视元素层级。通过沿着一个轴将运动映射到施加到可视元素70的变焦或放大函数，用户接口系统10可以操作以提供在层级的所有级别上一致的元素尺寸。还将领会到的是，可以与可以在2D平面中表示的可视元素的任何层级一起利用用户接口系统10。
在一个使用案例示例中，用户可以使闹钟程序78实例化以经由例如平板计算机316设定闹铃时间。在该示例中，用户可能期望设定7:30am的闹铃时间。参照图4，导航模块14可以初始地在可查看区404内显示2D平面74内的可视元素70的列A。在AM可视元素被显示在归属位置H上时，用户可以以如以上描述的任何适当的方式选择AM。
用户接下来可以看向例如在凝视位置504和对应的目标位置504’处的数字7。如以上描述的，目标位置504’然后可以朝向归属位置H移动。用户可以使其凝视保持在挨着数字7的位置并且跟随该位置到归属位置H，其中在归属位置H处目标位置和可视元素在2D平面74中的移动停止。用户然后可以选择数字7。
参照图7，用户然后可以将其凝视导向可查看区404的右上区域，并且由此促使可视元素70向下滚动并且到左边，直到数字30在可查看区中进入视图为止。用户然后可以凝视数字30或者凝视数字30附近并且跟随该位置到归属位置H。用户然后可以选择数字30，并且由此录入7:30am的闹铃时间。
图10A和10B图示了根据本公开内容的实施例的用于导航可视元素层级的方法1000的流程图。参照以上描述的且在图1-9中示出的用户接口系统10的软件和硬件组件提供对方法1000的以下描述。将领会到的是，还可以使用其他适当的硬件和软件组件而在其他上下文中执行方法1000。
参照图10A，在1002处，方法1000包括提供包括2D平面的可视元素层级，所述2D平面包括第一轴和正交于第一轴的第二轴。在1006处，方法1000可以包括经由包括凝视跟踪系统的显示设备的显示系统呈现一个或多个可视元素。在1008处，可视元素可以包括一个或多个顶点元素和附属于所述一个或多个顶点元素的多个附属元素，其中每个附属元素附属于可视元素的不多于一个其他元素。在1010处，方法1000可以包括在显示设备的可查看区内建立归属位置。
在1012处，方法1000可以包括建立可视元素中的每一个与平面中的其他可视元素中的每一个之间的比例尺寸关系。在1014处，方法1000可以包括从凝视跟踪系统接收凝视跟踪数据。在1018处，方法1000可以包括使用凝视跟踪数据确定用户在可查看区内正在凝视的凝视位置。在1022处，方法1000可以包括将凝视位置映射到2D平面中的目标位置，其中目标位置沿着第一轴与归属位置相间隔。
在1026处，方法1000可以包括发起目标位置朝向归属位置的移动，其中移动包括沿着第一轴的第一分量。现在参照图10B，在1030处，方法1000可以包括随着目标位置移动到更接近归属位置而渐进地放大在可查看区内的可视元素中的每一个，同时还维持可视元素中的每一个与其他可视元素中的每一个之间的比例尺寸关系。
在1034处，方法1000可以包括随着目标位置在沿着第一轴的第一方向上移动到更接近归属位置而渐进地放大可视元素中的每一个。在1038处，方法1000可以包括随着目标位置在与沿着第一轴的第一方向相反的第二方向上移动到更接近归属位置而渐进地缩小可视元素中的每一个。
在1042处，方法1000可以包括当目标位置位于围绕归属位置的暂停区内时制止发起目标位置朝向归属位置的移动。在1046处，方法1000可以包括随着目标位置离归属位置的距离减小而成比例地减小目标位置朝向归属位置的移动的速度。在1050处，方法1000可以包括在目标位置还沿着第二轴与归属位置相间隔并且移动进一步包括沿着垂直轴的第二分量的情况下，制止相对于目标位置的移动的第二分量修改经由显示器可查看的可视元素。
在1058处，方法1000可以包括接收用户输入。在1062处，方法1000可以包括基于用户输入选择与目标位置相关联的可视元素之一。在1066处，方法1000可以包括仅当目标位置位于围绕归属位置的暂停区内时才基于用户输入选择与目标位置相关联的可视元素。
将领会到的是，方法1000是作为示例而提供的并且不意在是限制性的。因此，要理解的是，方法1000可以包括图10A和10B中图示的那些之外的附加和/或可替换步骤。进一步地，要理解的是，方法1000可以以任何适当的次序来执行。又进一步地，要理解的是，可以从方法1000省略一个或多个步骤而不偏离本公开内容的范围。
图11示意性地示出了可以执行以上描述的方法和过程中的一个或多个的计算系统1100的非限制性实施例。计算设备22可以采取计算系统1100的形式。计算系统1100是以简化形式示出的。要理解的是，实际上可以使用任何计算机架构而不偏离本公开内容的范围。在不同的实施例中，计算系统1100可以采取大型计算机、服务器计算机、台式计算机、膝上型计算机、平板计算机、家庭娱乐计算机、网络计算设备、移动计算设备、移动通信设备、游戏设备等的形式。如以上指出的，在一些示例中计算系统1100可以集成到显示设备中。
如图11中所示，计算系统1100包括逻辑子系统1104和存储子系统1108。计算系统1100可以可选地包括显示子系统1112、通信子系统1116、传感器子系统1120、输入子系统1122和/或图11中未示出的其他子系统和组件。计算系统1100还可以包括计算机可读介质，其中计算机可读介质包括计算机可读存储介质和计算机可读通信介质。计算系统1100还可以可选地包括其他用户输入设备，诸如例如键盘、鼠标、游戏控制器和/或触摸屏。进一步地，在一些实施例中，本文中描述的方法和过程可以被实现为计算机应用、计算机服务、计算机API、计算机库和/或包括一个或多个计算机的计算系统中的其他计算机程序产品。
逻辑子系统1104可以包括被配置成执行一个或多个指令的一个或多个物理设备。例如，逻辑子系统1104可以被配置成执行作为一个或多个应用、服务、程序、例程、库、对象、组件、数据结构或其他逻辑构造的一部分的一个或多个指令。可以实现这样的指令来执行任务、实现数据类型、转换一个或多个设备的状态或以其他方式得到期望的结果。
逻辑子系统1104可以包括被配置成执行软件指令的一个或多个处理器。附加地或可替换地，逻辑子系统可以包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机器。逻辑子系统的处理器可以是单核或多核的，并且其上执行的程序可以被配置用于并行或分布式处理。逻辑子系统可以可选地包括分布在两个或更多设备上的单独的组件，所述两个或更多设备可以位于远程位置和/或被配置用于协同处理。逻辑子系统的一个或多个方面可以被虚拟化并且由用云计算配置进行配置的远程可访问的联网计算设备执行。
存储子系统1108可以包括被配置成保持可由逻辑子系统1104执行来实现本文中描述的方法和过程的数据和/或指令的一个或多个物理、持久设备。当这样的方法和过程被实现时，可以转换存储子系统1108的状态(例如，以保持不同的数据)。
存储子系统1108可以包括可移除介质和/或内置设备。存储子系统1108除了别的之外可以包括光学存储器设备(例如，CD、DVD、HD-DVD、蓝光盘等)、半导体存储器设备(例如，RAM、EPROM、EEPROM等)和/或磁存储器设备(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)。存储子系统1108可以包括具有以下特性中的一个或多个的设备：易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址和内容可寻址。
在一些实施例中，逻辑子系统1104和存储子系统1108的方面可以集成到一个或多个常见设备中，通过所述一个或多个常见设备可以至少部分地制定本文中描述的功能性。这样的硬件逻辑组件可以包括例如现场可编程门阵列(FPGA)、程序和应用特定集成电路(PASIC/ASIC)、程序和应用特定标准产品(PSSP/ASSP)、片上系统(SOC)系统和复杂可编程逻辑器件(CPLD)。
图11还示出了可移除计算机可读存储介质1124形式的存储子系统1108的方面，所述存储子系统1108可以用来存储可执行来实现本文中描述的方法和过程的数据和/或指令。可移除计算机可读存储介质1124除了别的之外可以采取CD、DVD、HD-DVD、蓝光盘、EEPROM和/或软盘的形式。
要领会到的是，存储子系统1108包括一个或多个物理、持久设备。相比之下，在一些实施例中，本文中描述的指令的方面可以通过不由物理设备保持至少有限持续时间的纯信号(例如，电磁信号、光学信号等)以瞬态方式来传播。此外，关于本公开内容的数据和/或其他形式的信息可以经由计算机可读通信介质通过纯信号来传播。
当被包括时，显示子系统1112可以用来呈现由存储子系统1108保持的数据的可视表示。随着以上描述的方法和过程改变由存储子系统1108保持的数据，并且因此变换存储子系统的状态，显示子系统1112的状态可以同样地被变换成可视地表示底层数据的改变。显示子系统1112可以包括利用实际上任何类型的技术的一个活多个显示设备。这样的显示设备可以与逻辑子系统1104和/或存储子系统1108组合在共享的外壳中，或者这样的显示设备可以是外围显示设备。显示子系统1112可以包括例如HMD设备38的显示系统48和透明显示器52。
当被包括时，通信子系统1116可以被配置成将计算系统1100与一个或多个网络和/或一个或多个其他计算设备通信地耦合。通信子系统1116可以包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统1116可以被配置用于经由无线电话网络、无线局域网、有线局域网、无线广域网、有线广域网等进行通信。在一些实施例中，通信子系统可以允许计算系统1100经由诸如因特网之类的网络发送消息到其他设备和/或从其他设备接收消息。
传感器子系统1120可以包括被配置成感测如以上描述的不同物理现象(例如，可见光、红外光、声音、加速度、取向、定位等)的一个或多个传感器。传感器子系统1120可以被配置成例如向逻辑子系统1104提供传感器数据。如以上描述的，这样的数据可以包括眼睛跟踪信息、图像信息、音频信息、环境照明信息、深度信息、定位信息、运动信息、用户位置信息和/或可以用来执行以上描述的方法和过程的任何其他适当传感器数据。
当被包括时，输入子系统1122可以包括诸如游戏控制器、手势输入检测设备、话音识别器、惯性测量单元、键盘、鼠标或触摸屏之类的一个或多个传感器或用户输入设备或者与之相接合。在一些实施例中，输入子系统1112可以包括所选自然用户输入(NUI)部件或者与之相接合。这样的部件可以是集成的或者外围的，并且可以板载或离板地处置对输入动作的换能和/或处理。示例NUI部件可以包括用于语音和/或话音识别的麦克风；用于机器视觉和/或手势识别的红外、颜色、立体和/或深度相机；用于运动检测和/或意图识别的头部跟踪器、眼睛跟踪器、加速度计和/或陀螺仪；以及用于评估大脑活动的电场感测部件。
术语“模块”可以用来描述被实现成执行一个或多个特定功能的用户接口系统10的方面。在一些情况下，这样的模块可以经由执行由存储子系统1108保持的指令的逻辑子系统1104来实例化。要理解的是，不同模块可以实例化自同一应用、服务、代码块、对象、库、例程、API、函数等。同样地，同一模块可以由不同应用、服务、代码块、对象、例程、API、函数等来实例化。术语“模块”意指涵盖可执行文件、数据文件、库、驱动器、脚本、数据库记录等的个体或群组。
要理解的是，本文中描述的配置和/或方案本质上是示例性的，并且不应在限制性意义上考虑这些特定实施例或示例，因为很多变型是可能的。本文中描述的特定例程或方法可以表示任何数目的处理策略中的一个或多个。像这样地，所图示的各种动作可以以图示的顺序、以其他顺序、并行地执行或者在一些情况下被省略。同样地，可以改变以上描述的过程的次序。
本公开内容的主题包括本文中公开的各种过程、系统和配置、和其他特征、功能、动作和/或性质的所有新颖和非显而易见的组合和子组合，以及其任何和所有等同物。
Claims (10)
1.一种用于导航可视元素层级的用户接口系统，所述层级包括二维平面，所述二维平面包含可视元素并且包括第一轴和正交于第一轴的第二轴，所述用户接口系统包括：
显示设备，其可操作地连接到计算设备，所述显示设备包括凝视跟踪系统和用于呈现可视元素中的一个或多个可视元素的显示系统；以及
导航模块，其由所述计算设备的处理器执行，所述导航模块被配置成：
在所述显示设备的可查看区内建立归属位置；
建立所述可视元素中的每一个与所述平面中的其他可视元素中的每一个之间的比例尺寸关系；
从所述凝视跟踪系统接收凝视跟踪数据；
使用所述凝视跟踪数据，确定用户在所述显示设备的可查看区内正在凝视的凝视位置；
将所述凝视位置映射到所述平面中的目标位置，其中所述目标位置沿着所述第一轴与所述归属位置相间隔；
发起所述目标位置朝向所述归属位置的移动，其中所述移动包括沿着所述第一轴的第一分量；以及
随着所述目标位置移动到更接近所述归属位置，渐进地放大在所述可查看区内可查看的可视元素中的每一个，同时还维持所述可视元素中的每一个与其他可视元素中的每一个之间的比例尺寸关系。
2.权利要求1所述的用户接口系统，其中所述导航模块进一步被配置成随着所述目标位置在沿着所述第一轴的第一方向上移动到更接近所述归属位置，渐进地放大在所述可查看区内可查看的可视元素中的每一个，同时还维持所述可视元素中的每一个与其他可视元素中的每一个之间的比例尺寸关系。
3.权利要求2所述的用户接口系统，其中所述导航模块被进一步配置成随着所述目标位置在与沿着所述第一轴的所述第一方向相反的第二方向上移动到更接近所述归属位置，渐进地缩小在所述可查看区内可查看的可视元素中的每一个，同时还维持所述可视元素中的每一个与其他可视元素中的每一个之间的比例尺寸关系。
4.权利要求1所述的用户接口系统，其中所述导航模块被进一步配置成当所述目标位置位于围绕所述归属位置的暂停区内时，制止发起所述目标位置朝向所述归属位置的移动。
5.权利要求1所述的用户接口系统，其中所述导航模块被进一步配置成随着所述目标位置离所述归属位置的距离减小，成比例地减小所述目标位置朝向所述归属位置的移动速度。
6.一种用于导航可视元素层级的方法，所述层级包括二维平面，所述二维平面包括第一轴和正交于所述第一轴的第二轴，所述方法包括：
经由可操作地连接到计算设备的显示设备的显示系统呈现所述可视元素中的一个或多个，所述显示设备包括凝视跟踪系统；
在所述显示设备的可查看区内建立归属位置；
建立所述可视元素中的每一个与所述平面中的其他可视元素中的每一个之间的比例尺寸关系；
从所述凝视跟踪系统接收凝视跟踪数据；
使用所述凝视跟踪数据，确定用户在所述可查看区内正在凝视的凝视位置；
将所述凝视位置映射到所述平面中的目标位置，其中所述目标位置沿着所述第一轴与所述归属位置相间隔；
发起所述目标位置朝向所述归属位置的移动，其中所述移动包括沿着所述第一轴的第一分量；以及
随着所述目标位置沿着所述第一轴移动到更接近所述归属位置，渐进地放大在所述可查看区内可查看的可视元素中的每一个，同时还维持所述可视元素中的每一个与其他可视元素中的每一个之间的比例尺寸关系。
7.权利要求6所述的方法，其中所述目标位置还沿着所述第二轴与所述归属位置相间隔，所述移动进一步包括沿着所述第二轴的第二分量，并且所述方法进一步包括制止相对于所述目标位置的移动的所述第二分量修改经由所述显示器可查看的可视元素。
8.权利要求6所述的方法，其中所述可视元素包括一个或多个顶点元素和附属于所述一个或多个顶点元素的多个附属元素，并且其中所述附属元素中的每一个直接附属于所述可视元素中不多于一个其他元素。
9.权利要求6所述的方法，进一步包括：
接收用户输入；以及
基于所述用户输入，选择与所述目标位置相关联的可视元素之一。
10.权利要求9所述的方法，进一步包括当所述目标位置位于围绕所述归属位置的暂停区内时，基于所述用户输入选择与所述目标位置相关联的可视元素之一。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US13/927045 | 2013-06-25 | ||
| US13/927,045 US8988344B2 (en) | 2013-06-25 | 2013-06-25 | User interface navigation |
| PCT/US2014/043305 WO2014209771A1 (en) | 2013-06-25 | 2014-06-20 | User interface navigation |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105359082A CN105359082A (zh) | 2016-02-24 |
| CN105359082B true CN105359082B (zh) | 2018-11-06 |
Family
ID=51168458
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201480036261.7A Active CN105359082B (zh) | 2013-06-25 | 2014-06-20 | 用于用户接口导航的系统和方法 |
Country Status (11)
| Country | Link |
|---|---|
| US (1) | US8988344B2 (zh) |
| EP (1) | EP3014411B1 (zh) |
| JP (1) | JP6359099B2 (zh) |
| KR (1) | KR102296121B1 (zh) |
| CN (1) | CN105359082B (zh) |
| AU (1) | AU2014302873B2 (zh) |
| BR (1) | BR112015031655B1 (zh) |
| CA (1) | CA2914060C (zh) |
| MX (1) | MX357057B (zh) |
| RU (1) | RU2663477C2 (zh) |
| WO (1) | WO2014209771A1 (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11010042B2 (en) * | 2014-02-13 | 2021-05-18 | Lenovo (Singapore) Pte. Ltd. | Display of different versions of user interface element |
| US9898078B2 (en) | 2015-01-12 | 2018-02-20 | Dell Products, L.P. | Immersive environment correction display and method |
| US10740971B2 (en) | 2015-01-20 | 2020-08-11 | Microsoft Technology Licensing, Llc | Augmented reality field of view object follower |
| TWI670625B (zh) * | 2015-10-19 | 2019-09-01 | 日商鷗利硏究所股份有限公司 | 視線輸入裝置、視線輸入方法、及程式 |
| US10977435B2 (en) * | 2015-12-28 | 2021-04-13 | Informatica Llc | Method, apparatus, and computer-readable medium for visualizing relationships between pairs of columns |
| US10176641B2 (en) * | 2016-03-21 | 2019-01-08 | Microsoft Technology Licensing, Llc | Displaying three-dimensional virtual objects based on field of view |
| CN107015637B (zh) * | 2016-10-27 | 2020-05-05 | 阿里巴巴集团控股有限公司 | 虚拟现实场景下的输入方法和装置 |
| US11099716B2 (en) | 2016-12-23 | 2021-08-24 | Realwear, Inc. | Context based content navigation for wearable display |
| US10620910B2 (en) | 2016-12-23 | 2020-04-14 | Realwear, Inc. | Hands-free navigation of touch-based operating systems |
| US11507216B2 (en) | 2016-12-23 | 2022-11-22 | Realwear, Inc. | Customizing user interfaces of binary applications |
| US10936872B2 (en) | 2016-12-23 | 2021-03-02 | Realwear, Inc. | Hands-free contextually aware object interaction for wearable display |
| JP6426225B2 (ja) * | 2017-04-05 | 2018-11-21 | シャープ株式会社 | 表示装置、テレビジョン受像機、表示制御方法、表示制御プログラム、および記録媒体 |
| US10620779B2 (en) | 2017-04-24 | 2020-04-14 | Microsoft Technology Licensing, Llc | Navigating a holographic image |
| CN109471579B (zh) * | 2018-11-13 | 2023-08-01 | 努比亚技术有限公司 | 终端屏幕信息布局调整方法、装置、移动终端及存储介质 |
| JP7307568B2 (ja) * | 2019-03-20 | 2023-07-12 | 任天堂株式会社 | 画像表示システム、画像表示プログラム、表示制御装置、および画像表示方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007085682A1 (en) * | 2006-01-26 | 2007-08-02 | Nokia Corporation | Eye tracker device |
| CN101405680A (zh) * | 2006-03-23 | 2009-04-08 | 皇家飞利浦电子股份有限公司 | 用于图像操作的眼睛跟踪控制的热区 |
| CN101840265A (zh) * | 2009-03-21 | 2010-09-22 | 深圳富泰宏精密工业有限公司 | 视觉感知装置及其控制方法 |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6359601B1 (en) * | 1993-09-14 | 2002-03-19 | Francis J. Maguire, Jr. | Method and apparatus for eye tracking |
| US6127990A (en) * | 1995-11-28 | 2000-10-03 | Vega Vista, Inc. | Wearable display and methods for controlling same |
| US5731805A (en) * | 1996-06-25 | 1998-03-24 | Sun Microsystems, Inc. | Method and apparatus for eyetrack-driven text enlargement |
| US6437758B1 (en) * | 1996-06-25 | 2002-08-20 | Sun Microsystems, Inc. | Method and apparatus for eyetrack—mediated downloading |
| US5850211A (en) | 1996-06-26 | 1998-12-15 | Sun Microsystems, Inc. | Eyetrack-driven scrolling |
| US6351273B1 (en) | 1997-04-30 | 2002-02-26 | Jerome H. Lemelson | System and methods for controlling automatic scrolling of information on a display or screen |
| JP3854030B2 (ja) * | 2000-03-06 | 2006-12-06 | 日本電信電話株式会社 | 情報閲覧装置及び情報閲覧プログラムを記憶した媒体 |
| US6603491B2 (en) | 2000-05-26 | 2003-08-05 | Jerome H. Lemelson | System and methods for controlling automatic scrolling of information on a display or screen |
| US6886137B2 (en) | 2001-05-29 | 2005-04-26 | International Business Machines Corporation | Eye gaze control of dynamic information presentation |
| JP2007525757A (ja) | 2004-02-23 | 2007-09-06 | ヒルクレスト・ラボラトリーズ・インコーポレイテッド | リアルタイムの漸進的ズームの方法 |
| DE102004027289B4 (de) | 2004-06-04 | 2006-08-24 | Siemens Ag | Verfahren und Anordnung zur berührungslosen Navigation in einem Dokument |
| US8082518B2 (en) * | 2008-08-29 | 2011-12-20 | Microsoft Corporation | Scrollable area multi-scale viewing |
| KR101602363B1 (ko) * | 2008-09-11 | 2016-03-10 | 엘지전자 주식회사 | 3차원 사용자 인터페이스의 제어방법과 이를 이용한 이동 단말기 |
| JP2010113040A (ja) * | 2008-11-05 | 2010-05-20 | Toshiba Corp | 画像表示装置及び画像表示方法 |
| JP2010258603A (ja) * | 2009-04-22 | 2010-11-11 | Ntt Docomo Inc | 通信端末及び表示サイズの調整方法 |
| JP5658451B2 (ja) * | 2009-11-30 | 2015-01-28 | ソニー株式会社 | 情報処理装置、情報処理方法及びそのプログラム |
| US9507418B2 (en) | 2010-01-21 | 2016-11-29 | Tobii Ab | Eye tracker based contextual action |
| JP2012104070A (ja) * | 2010-11-15 | 2012-05-31 | Osamu Shichinohe | 情報装置、情報処理方法、プログラム、及びコンピュータ読み取り可能な記録媒体 |
| US8493390B2 (en) | 2010-12-08 | 2013-07-23 | Sony Computer Entertainment America, Inc. | Adaptive displays using gaze tracking |
| US8643680B2 (en) * | 2011-04-08 | 2014-02-04 | Amazon Technologies, Inc. | Gaze-based content display |
| US8881051B2 (en) | 2011-07-05 | 2014-11-04 | Primesense Ltd | Zoom-based gesture user interface |
-
2013
- 2013-06-25 US US13/927,045 patent/US8988344B2/en active Active
-
2014
- 2014-06-20 CN CN201480036261.7A patent/CN105359082B/zh active Active
- 2014-06-20 BR BR112015031655-7A patent/BR112015031655B1/pt active IP Right Grant
- 2014-06-20 JP JP2016521829A patent/JP6359099B2/ja active Active
- 2014-06-20 AU AU2014302873A patent/AU2014302873B2/en active Active
- 2014-06-20 KR KR1020167002035A patent/KR102296121B1/ko active IP Right Grant
- 2014-06-20 MX MX2015017631A patent/MX357057B/es active IP Right Grant
- 2014-06-20 EP EP14737475.5A patent/EP3014411B1/en active Active
- 2014-06-20 WO PCT/US2014/043305 patent/WO2014209771A1/en active Application Filing
- 2014-06-20 CA CA2914060A patent/CA2914060C/en active Active
- 2014-06-20 RU RU2015155541A patent/RU2663477C2/ru active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007085682A1 (en) * | 2006-01-26 | 2007-08-02 | Nokia Corporation | Eye tracker device |
| CN101405680A (zh) * | 2006-03-23 | 2009-04-08 | 皇家飞利浦电子股份有限公司 | 用于图像操作的眼睛跟踪控制的热区 |
| CN101840265A (zh) * | 2009-03-21 | 2010-09-22 | 深圳富泰宏精密工业有限公司 | 视觉感知装置及其控制方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102296121B1 (ko) | 2021-08-30 |
| AU2014302873B2 (en) | 2019-05-02 |
| BR112015031655A2 (pt) | 2017-07-25 |
| JP2016525743A (ja) | 2016-08-25 |
| JP6359099B2 (ja) | 2018-07-18 |
| US20140375544A1 (en) | 2014-12-25 |
| EP3014411A1 (en) | 2016-05-04 |
| CN105359082A (zh) | 2016-02-24 |
| KR20160022922A (ko) | 2016-03-02 |
| RU2663477C2 (ru) | 2018-08-06 |
| RU2015155541A (ru) | 2017-06-27 |
| MX357057B (es) | 2018-06-25 |
| US8988344B2 (en) | 2015-03-24 |
| MX2015017631A (es) | 2016-04-15 |
| BR112015031655B1 (pt) | 2022-05-10 |
| CA2914060C (en) | 2021-06-01 |
| AU2014302873A1 (en) | 2015-12-17 |
| WO2014209771A1 (en) | 2014-12-31 |
| CA2914060A1 (en) | 2014-12-31 |
| BR112015031655A8 (pt) | 2021-05-25 |
| EP3014411B1 (en) | 2018-08-29 |
| RU2015155541A3 (zh) | 2018-05-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105359082B (zh) | 用于用户接口导航的系统和方法 | |
| CN105900041B (zh) | 利用视线跟踪进行的目标定位 | |
| US9734636B2 (en) | Mixed reality graduated information delivery | |
| EP3137976B1 (en) | World-locked display quality feedback | |
| US9977492B2 (en) | Mixed reality presentation | |
| CN106537261B (zh) | 全息键盘显示 | |
| EP2948227B1 (en) | Mixed reality experience sharing | |
| EP2946264B1 (en) | Virtual interaction with image projection | |
| US20170287227A1 (en) | Mixed reality data collaboration | |
| US20140071163A1 (en) | Augmented reality information detail | |
| JP2018525721A (ja) | コンテンツ閲覧 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |