CN105612478A - 用户接口程序化的缩放 - Google Patents

用户接口程序化的缩放 Download PDF

Info

Publication number
CN105612478A
CN105612478A CN201480055970.XA CN201480055970A CN105612478A CN 105612478 A CN105612478 A CN 105612478A CN 201480055970 A CN201480055970 A CN 201480055970A CN 105612478 A CN105612478 A CN 105612478A
Authority
CN
China
Prior art keywords
described
user
visual element
example
display device
Prior art date
Application number
CN201480055970.XA
Other languages
English (en)
Other versions
CN105612478B (zh
Inventor
B·J·克尔
E·埃利奥特
M·K·维纳布尔
Original Assignee
微软技术许可有限责任公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US14/051,890 priority Critical
Priority to US14/051,890 priority patent/US9400553B2/en
Application filed by 微软技术许可有限责任公司 filed Critical 微软技术许可有限责任公司
Priority to PCT/US2014/059380 priority patent/WO2015054170A1/en
Publication of CN105612478A publication Critical patent/CN105612478A/zh
Application granted granted Critical
Publication of CN105612478B publication Critical patent/CN105612478B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance interaction techniques based on cursor appearance or behaviour being affected by the presence of displayed objects, e.g. visual feedback during interaction with elements of a graphical user interface through change in cursor appearance, constraint movement or attraction/repulsion with respect to a displayed object
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/041012.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04805Virtual magnifying lens, i.e. window or frame movable on top of displayed information to enlarge it for better reading or selection
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Abstract

公开了涉及对经由显示设备所显示的视觉元素进行缩放的实施例。在一个实施例中,一种方法包括接收并使用凝视跟踪数据来确定所述显示设备上的用户正在凝视的凝视位置。接收并使用深度跟踪数据来确定用户的指针处于预先确定的位置处。作为响应,锁住屏幕上的锁定凝视位置,其中,锁定凝视位置包括视觉元素的至少一部分。响应于锁住锁定凝视位置,视觉元素被程序化地缩放预先确定的量至放大的尺寸。随后接收选择视觉元素的用户输入。

Description

用户接口程序化的缩放

背景技术

[0001]导航电子内容来查找并选择内容的相关部分通常是重复的任务。在许多示例中,经由与计算设备相关联的显示设备来向用户显示内容项目。某些内容项目可以是可由用户经由输入设备或其它机制来选择的。例如,利用触摸屏设备,用户可以通过对触摸屏上的显示内容项目的位置进行触摸来选择可选择的内容项目。

[0002]然而,在某些情形下,可能用太小以至于不允许有效的触摸选择的尺寸来显示可选择的内容项目。例如,在两个或更多个可选择的内容项目靠近在一起显示并且尺寸很小的情况下,仅触摸期望的项目而不会还触摸到相邻的项目可能是困难的或者特别繁琐的。为了解决这个顾虑,某些触摸屏设备使得用户能够经由屏幕上的触摸手势来放大显示的内容项目,例如双击位置或执行反向捏拉缩放手势(在该手势中,用户在接触屏幕时扩大拇指与食指之间的距离)。

[0003]然而,使用这些触摸手势来放大内容项目致使额外的努力和用户的移动来准备显示设备和用于选择的期望的项目。执行这些手势还增加了用户形成选择项目的意图与实际选择该项目之间的延迟。此外,这些触摸手势可能对于与不同的设备(例如,电视、安装于墙上的显示设备、可穿戴显示设备、等等)相关联的其它用户接口是不适合的或者甚至是没有作用的。

发明内容

[0004]本文中公开了涉及用于对经由显示设备显示的视觉元素进行缩放的系统和方法的各实施例。例如,一个公开的实施例提供了一种用于缩放视觉元素的方法,该方法包括接收并使用凝视跟踪数据来确定显示设备的屏幕上的用户正凝视的多个凝视位置。接收深度跟踪数据并且该深度跟踪数据用于确定用户的指针(pointer)位于预先确定的位置处。

[0005]响应于确定用户的指针位于预先确定的位置处,锁住屏幕上的锁定凝视位置。锁定凝视位置包括视觉元素的至少一部分。响应于锁住锁定凝视位置,视觉元素被程序化地缩放预先确定的量至放大的尺寸。随后接收选择视觉元素的用户输入。

[0006]提供了本发明内容,以便以简化的形式介绍一系列概念,下面在具体实施方式中进一步描述了这些概念。本发明内容并非旨在识别所请求保护的主题的关键特征或重要特征,也并非旨在用于限制所请求保护的主题的范围。此外,所请求保护的主题并非限制于解决了在本公开内容的任何部分中所指出的任何缺点或所有缺点的实施方式。

附图说明

[0007]图1是根据本公开内容的实施例的用于缩放视觉元素的用户接口系统的示意性视图。

[0008]图2示出了根据本公开内容的实施例的示例的头戴式的显示设备。

[0009]图3是包括握持平板计算机的用户、穿戴图2中的头戴式的显示设备的用户,以及与安装于墙壁的显示设备交互的用户的房间的示意性透视图。

[0010]图4是显示来自网页的视觉元素的显示设备屏幕的示意性视图。

[0011]图5是示出了用户的手朝向屏幕移动的图4中的屏幕的示意性视图。

[0012]图6是图5中的屏幕和用户的手的示意性透视图。

[0013]图7是图5中的屏幕和用户的手的示意性侧视图。

[0014]图8是示出了用户的手接近屏幕并且视觉元素被放大的图5中的屏幕的示意性视图。

[0015]图9是示出了用户的手进一步接近屏幕并且视觉元素被进一步放大的图8中的屏幕的示意性视图。

[0016]图10是图9中的屏幕和用户的手的示意性透视图。

[0017]图11是图9中的屏幕和用户的手的示意性侧视图。

[0018]图12是示出了用户的手指触摸屏幕并且视觉元素被进一步放大的图9中的屏幕的示意性视图。

[0019]图13A、图13B以及图13C是根据本公开内容的实施例的用于对经由显示设备显示的视觉元素进行缩放的方法的流程图。

[0020]图14是计算设备的实施例的简化的示意性例示。

具体实施方式

[0021]图1示出了用于对经由显示设备显示的视觉元素进行缩放的用户接口系统10的一个实施例的示意性视图。用户接口系统10包括可以储存在计算设备22的大容量储存器18中的缩放模块14。缩放模块14可以被加载到存储器26中并且由计算设备22的处理器30来执行,以执行下面更详细描述的方法和过程中的一个或多个方法和过程。

[0022]用户接口系统10可以包括可操作地连接到计算设备22的显示设备。在某些示例中,显示设备可以包括经由有线连接或无线连接而可操作地连接到计算设备22的分开的显示设备34,例如独立的显示器、安装于墙壁的显示设备、交互式白板、等等。如下面更详细地描述的,显示设备34可以包括用于将一个或多个视觉元素38呈现给用户的一个或多个显示系统36、凝视跟踪系统40、光学传感器系统44、深度跟踪系统46、方位传感器系统48、以及麦克风系统52。

[0023]在其它示例中,计算设备22可以被集成到显示设备34中以形成单个设备。这些设备例如可以包括手持式智能电话、电子阅读器、膝上计算机、笔记本和平板计算机、等等。将意识到,也可以使用具有各种形状因数的许多其它类型和配置的显示设备(不管与计算设备22分开还是与计算设备22集成在一起)并且它们落入本公开内容的范围内。

[0024]计算设备22可以采用以下形式:台式计算设备,诸如智能电话、膝上、笔记本或平板计算机之类的移动计算设备、网络计算机、家庭娱乐计算机、交互式电视机、游戏系统、或者其它适当类型的计算设备。下面参照图14更详细地描述了关于计算设备22的部件和计算方面的额外细节。

[0025] 在其它示例中,显示设备可以采用能够创建混合现实环境58的支持虚拟现实或混合现实的设备的形式,例如头戴式显示(HMD)设备54。在这些示例中,用户接口系统10可以包括混合现实显示程序60,该混合现实显示程序60可以经由HMD设备54生成用于显示的虚拟环境62。虚拟环境62可以包括以虚拟图像(例如,经由HMD设备54生成和显示的三维(3D)全息物体和二维(2D)虚拟图像)的形式的一个或多个视觉元素38。

[0026]计算设备22可以使用有线连接来可操作地与HMD设备54连接,或者可以采用经由WiF1、蓝牙、或者任何其它适当的无线通信协议的无线连接。例如,计算设备22可以通信地耦合到网络64。网络64可以采用以下形式:局域网(LAN)、广域网(WAN)、有线网络、无线网络、个人局域网、或者它们的组合,并且网络64可以包括互联网。此外,图1中所例示的示例示出了计算设备22作为与HMD设备54分开的部件。将意识到,在其它示例中,计算设备22可以集成到HMD设备54中。

[0027] 现在还参照图2,提供了以具有透明的显示设备68的一副可穿戴眼镜的形式的HMD设备200的一个示例。将意识到,在其它示例中,HMD设备200可以采用其它适当的形式,其中,在观看者的一只眼睛或两只眼睛前方支持透明的、半透明的或者不透明的显示设备。还将意识到,图1中示出的HMD设备54可以采用如下面更详细描述的HMD设备200或者任何其它适当的HMD设备的形式。

[0028] 参照图1和图2中示出的示例,HMD设备54包括HMD显示系统66和透明的显示设备68,该透明的显示设备68使得诸如全息物体之类的图像能够被传送到用户的眼睛70。透明的显示设备68可以被配置为视觉上增强通过透明的显示设备向观看物理环境的用户70显现物理环境74。例如,可以由经由透明的显示设备68呈现的图形内容(例如,每个都具有相应颜色和亮度的一个或多个像素)来增强物理环境74的显现,以便创建混合现实环境58。

[0029] 透明的显示设备68还可以被配置为使得用户能够通过显示虚拟物体表示的一个或多个部分透明的像素来观看物理环境74中的物理的、现实世界的物体。如图2中示出的,在一个示例中,透明的显示设备68可以包括位于镜头204(举例来说,例如,透视有机发光二极管(OLED)显示设备)内的图像产生元素。作为另一个示例,透明的显示设备68可以包括在镜头204的边缘上的光调制器。在该示例中,镜头204可以作为用于将来自光调制器的光传送到用户的眼睛的导光设备。这种导光设备可以使得用户能够察觉到位于用户正在观看的物理环境74内的3D全息图像,同时还允许用户观看物理环境中的物理物体,从而创建混合现实的环境。

[0030] HMD设备54以及显示设备34还可以包括各种传感器和相关系统。例如,HMD设备54和显示设备34可以包括凝视跟踪系统40,该凝视跟踪系统40包括被配置为从用户的眼睛获取以凝视跟踪数据76的形式的图像数据的一个或多个图像传感器。假设用户已经同意获取并使用该信息,则凝视跟踪系统40可以使用该信息来跟踪用户的眼睛的方位和/或移动。

[0031]在一个示例中,凝视跟踪系统40包括被配置为检测用户的每只眼睛的凝视方向的凝视检测子系统。该凝视检测子系统可以被配置为以任何适当的方式来确定用户眼睛中的每只眼睛的凝视方向。例如,凝视检测子系统可以包括被配置为使得从用户的每只眼睛的角膜反射出闪烁的光的一个或多个光源,例如红外光源。一个或多个图像传感器随后可以被配置为捕捉用户的眼睛的图像。

[0032]可以使用如根据从图像传感器收集到的图像数据所确定的闪烁的图像和瞳孔的图像,来确定每只眼睛的光轴。使用该信息,凝视跟踪系统40随后可以确定用户正凝视的物理物体和/或虚拟物体的方向和/或用户正凝视的物理物体和/或虚拟物体处于哪个位置。凝视跟踪系统40还可以确定用户正凝视物理物体或虚拟物体上的哪个位置。这些凝视跟踪数据76随后可以被提供给计算设备22。在某些示例中,凝视跟踪系统40还可以用于经由虹膜识别、视网膜扫描、或其它适当的眼睛相关的生物识别技术来识别用户。

[0033]将理解的是,凝视检测子系统可以具有任何适当数量的光源和图像传感器以及光源和图像传感器的任何适当的布置。例如并参照图2,HMD设备200的凝视跟踪系统40可以利用至少一个面向内的传感器212。

[0034] HMD设备54和显示设备34还可以包括从物理环境74接收物理环境数据80的传感器系统。例如,HMD设备54和显不设备34可以包括利用一个或多个面向外的传感器(例如HMD设备200上的光学传感器216)来捕获图像数据的光学传感器系统44。一个或多个面向外的传感器可以检测其视野内的移动,例如由用户70或者由视野内的人员或物理物体执行的基于手势的输入或其它移动。一个或多个面向外的传感器还可以从物理环境74和环境内的物理物体捕获2D图像信息和深度信息。例如,一个或多个面向外的传感器可以包括深度摄像头、可见光摄像头、红外光摄像头、和/或方位跟踪摄像头。

[0035]光学传感器系统44可以包括经由一个或多个深度摄像头生成深度跟踪数据86的深度跟踪系统46。在一个示例中,每个深度摄像头都可以包括立体视觉系统的左摄像头和右摄像头。来自这些深度摄像头中的一个或多个深度摄像头的时间分辨的(time-resolved) 图像可以彼此注册 (register) 和/或与来自诸如可见光谱摄像头之类的另一个光学传感器的图像注册,并可以进行组合以产生深度分辨的视频。

[0036]在其它示例中,结构化的光深度摄像头可以被配置为投影结构化的红外照明,并且被配置为对从照明投影到上面的场景所反射的照明进行成像。可以基于在经成像的场景的各个区域中的相邻特征之间的间隔来构建场景的深度地图。仍然在其它示例中,深度摄像头可以采用被配置为将脉冲式红外照明投射到场景上并检测从场景反射的照明的飞行时间深度摄像头的形式。将意识到,可以在本公开内容的范围内使用任何其它适当的深度摄像头。

[0037] —个或多个面向外的传感器可以捕获用户70位于其中的物理环境74的图像。相对于HMD设备54,在一个示例中,混合现实的显示程序60可以包括使用这些所捕获的图像来生成虚拟环境62的3D建模系统,该建模系统对用户70周围的物理环境74进行建模。

[0038] HMD设备54和显示设备34还可以包括利用一个或多个运动传感器(例如,HMD设备200上的运动传感器220)的方位传感器系统48,以捕获方位数据并由此实现HMD设备和显示设备34的运动检测、方位跟踪和/或朝向感测。在HMD设备54的示例中,方位传感器系统48可用于确定用户的头部的方向、速度和加速度。方位传感器系统48还可以用于确定用户头部的头部姿势朝向。在一个示例中,方位传感器系统48可以包括被配置为六个轴或六个自由度的方位传感器系统的惯性测量单元。该示例方位传感器系统例如可以包括三个加速度计和三个陀螺仪,它们用于指示或测量HMD设备54或显示设备34在3D空间内沿着三个正交轴(例如,X、y、z)的位置变化、以及HMD设备或显示设备围绕三个正交轴的朝向变化(例如,滚转、俯仰、偏航)。

[0039]方位传感器系统48还可以支持其它适当的定位技术,例如GPS或其它全球导航系统。此外,尽管已经描述了方位传感器系统的具体示例,但将意识到,可以使用其它适当的方位传感器系统。在某些示例中,运动传感器还可以被用作为用户输入设备,以使得用户可以经由手、身体、颈部和/头部的运动来与HMD设备54或显示设备34进行交互。HMD设备54和显示设备34还可以包括麦克风系统52,该麦克风系统52包括捕获音频数据的一个或多个麦克风,例如HMD设备200上的麦克风224。在其它示例中,音频可以经由一个或多个扬声器(例如,HMD设备200上的扬声器228)来呈现给用户。

[0040] HMD设备200和显示设备34还可以包括处理器,例如HMD设备上的处理器230。处理器包括与HMD设备和显示设备的各种传感器和系统进行通信的逻辑子系统和储存子系统(如下面参照图14更详细讨论的)。在一个示例中,储存子系统可以包括可由逻辑子系统执行以从传感器接收信号输入并将这些输入转发到计算设备22(以未处理的或经处理的形式)、并经由显示设备34或HMD设备200将图像呈现给用户的指令。

[0041] 将意识到,以举例方式提供了显示设备34、HMD设备200和相关传感器以及上面描述并在图1和图2中例示的其它部件。这些示例并非旨在以任何方式进行限制,这是因为可以利用任何其它适当的传感器、部件、和/或传感器和部件的组合。因此,应当理解,在不脱离本公开内容的范围的情况下,显示设备34和HMD设备200可以包括另外的和/或替代的传感器、摄像头、麦克风、输入设备、输出设备、等等。此外,在不脱离本公开内容的范围的情况下,显示设备34和HMD设备200及其各种传感器和子部件的物理配置可以采用多种不同的形式。

[0042]现在参照图3-图12,现在将提供对用户接口系统10的示例使用情况和实施例的描述。图3提供了对位于包括家庭活动室308的物理环境中的第一用户304的示意性例示。第一用户304被示出为握持以触摸屏平板计算机312的形式的显示设备34,该触摸屏平板计算机312包括如上面所描述的用户接口系统10和凝视跟踪系统40以及深度跟踪系统46。如下面将更详细讨论的,缩放模块14可以被配置为使用凝视跟踪数据76和深度跟踪数据86来经由触摸屏平板计算机312显示并程序化地缩放一个或多个视觉元素38。

[0043] 家庭活动室308可以还包括安装于墙壁的显示设备316,其可操作地连接到游戏系统320。游戏系统320和/或显示设备316可以还包括如上面所描述的用户接口系统10和凝视跟踪系统40以及深度跟踪系统46。如下面将更详细描述的,第二用户330可以经由用户接口系统10来与在安装于墙壁的显示设备316上显示的视觉元素38进行交互。

[0044] 第三用户334可以经由如上面所描述的HMD设备200来体验混合现实的环境58。第三用户334可以使用本文中所描述的用户接口系统10来与经由HMD设备200显示的诸如3D虚拟图像338之类的视觉元素进行交互。为了以下描述的目的,将描述与平板计算机312、安装于墙壁的显示设备316以及HMD设备200连接的用户接口系统10的使用情况。还将意识到,还可以利用并入了用户接口系统10的任何适当的显示设备。

[0045] 现在参照图4,提供了在显示设备的显示屏404上显示的多个视觉元素的一个示例的示意性视图。在该示例中,视觉元素包括新闻源网页400。为了本示例的目的,显示屏404将被描述为图3中示出的平板计算机312的触摸屏。还将意识到,本示例的原理可以应用于其它显示设备,例如图3中示出的安装于墙壁的显示设备316和HMD设备200。此外,将意识至IJ,本公开内容的原理可以应用于经由显示设备显示的多个内容,包括但不限于,网页、视频游戏图形、(包括电影、视频电话或视频聊天、在线会议、演讲和其它交互协作等等的)流式内容、二维和三维全息图像、以及经由显示设备显示的任何其它适当的内容。

[0046] 在第一用户304阅读网页400时,用户的眼睛将在各个凝视位置处浏览通过显示屏404的表面408,其中示出了凝视位置412a、412b、412c以及412d。使用来自平板计算机312的凝视跟踪系统40的凝视跟踪数据76,缩放模块14可以被配置为确定显示屏404上用户正凝视的凝视位置。如图4中示出的,在某些示例中,凝视跟踪系统可以确定以位于显示屏404上的点的形式的凝视位置。将意识到,可能不会向用户显示凝视位置。

[0047]还将意识到,人类的眼睛经受自然的、无意识的运动,举例来说,例如,扫视、微小扫视、抖动、颤动、以及漂移。这些自然的运动可能影响凝视跟踪系统的准确性。因此,为了考虑凝视跟踪系统的准确性局限和/或为了估计用户的实际凝视位置,在某些示例中,可以确定以凝视位置为中心的凝视框。

[0048]参照图4,在一个示例中,凝视框414可具有与角度420相对应的高度,该角度420具有从用户的眼睛处的点或接近用户的眼睛的点延伸到屏幕的顶点424。图4示意性地例示了第一用户304的眼睛306以及与对角420相对应的凝视位置412c。在图4中示出的示例中,凝视框414是正方形的。在其它示例中,凝视框可以是宽度与高度不同的矩形。在另外的其它示例中,可以确定其它形状和配置,并且其它形状和配置可用于考虑凝视跟踪系统的准确度能力和/或用于估计用户的实际凝视位置。

[0049]将意识到,屏幕404的表面408上的凝视框的尺寸将依赖于表面与对应于凝视位置框的角度的顶点424之间的距离。如图3中例示出的,该距离可能依赖于所使用的显示设备的类型和相对应的用户的位置而变化。例如,在图4中,其中角度420大约为I度并且第一用户304将平板计算机312握持在离用户的眼睛大约为400mm的距离D1*,平板计算机的显示表面408上的相对应的凝视位置框将具有大约17mm的高度。

[0050]在角度420大约为I度的情况下,显示表面与用户的眼睛之间的距离以及凝视位置框的对应高度的其它示例包括但不限于10mm的距离和4mm的高度、200mm的距离和8mm的高度、300mm的距离和13mm的高度、500mm的距离和2 Imm的高度、600mm的距离和25mm的高度、700mm的距离和29mm的高度、800mm的距离和33mm的高度、100mm的距离和42mm的高度、1200mm的距离和50mm的高度、1600mm的距离和67mm的高度、1800mm的距离和75mm的高度。将意识到,对于大约I度的角度420,可以使用与距离/高度=24的大致比例相对应的其它距离/高度的组合。还将意识到,还可以利用与角度420的其它值相对应的其它距离/高度的组入口 ο

[0051] 为了增加凝视检测框落到显示表面上的单个视觉元素上的可能性,在一个示例中,可以设置显示表面上的每个视觉元素的大小,以使其高度至少为凝视检测框的高度。然而,在某些示例中,一个或多个视觉元素的高度可能不等于或不大于凝视检测框的高度。在这些示例中,并取决于凝视检测框相对于显示表面区域的尺寸,2个、3个、4个或更多个视觉元素可能完全或部分地被凝视检测框包围。例如,并参照图4,凝视检测框428落在2个可选择的视觉元素(商业超链接430和U.S.超链接434)上。在这种情形下,使用凝视检测来确定用户对多个视觉元素中的哪个视觉元素感兴趣可能是困难的。

[0052]对于触摸屏设备,另一个考虑可能是相对于将触摸设备的触摸表面的用户的手指的尺寸的可选择的视觉元素的尺寸。在一个示例中,可以确定当用户的手指触摸表面时所接触的触摸表面上的表面区域的估计。使用该估计,随后可以确定最小的视觉元素尺寸。在一个示例中,以如下的方式,最小的视觉元素尺寸可以与所估计的表面区域相对应:增加意图触摸显示有特定视觉元素的屏幕上的位置的用户将持续成功触摸与该特定视觉元素相对应的位置的可能性。在一个示例中,使用各用户的手指在触摸屏选择接触期间所接触的触摸屏表面区域的经验数据,最小的视觉元素的尺寸可以被限定为9_高度。

[0053] 如上面指出的,当第一用户304浏览网页400时,凝视跟踪系统40可以生成与用户随着时间正凝视的显示屏上的各凝视位置相对应的凝视跟踪数据76。现在参照图5,在一个示例中,第一用户304期望选择健康超链接504视觉元素并导航到新闻源的健康页。当第一用户304看着健康超链接504视觉元素时,用户将用户的指针(在该示例中,食指346伸出的她的手342)朝向显示屏404移动。深度跟踪系统46生成与用户的手342的位置相对应的深度跟踪数据86。将意识到,可以使用其它类型的用户的指针来与触摸屏平板计算机312进行交互。其它用户的指针的示例可以包括但不限于,触控笔、钢笔或铅笔、或者由用户操纵的任何其它指示工具或物品。

[0054]使用深度跟踪数据86,缩放模块14可以确定用户的手342位于预先确定的位置处。在一个示例中,预先确定的位置可以是从用户的手342上的点到显示屏404的表面408的预先确定的距离。例如,预先确定的距离D2可以与从用户的食指346的尖端348到显示屏404的表面408的距离相对应。预先确定的距离的示例的值可以是100mm、150mm、200mm、或者任何其它适当的距离。在另一个示例中并参照图3中穿戴HMD设备200的第三用户334,预先确定的位置可以包括指向由HMD设备生成的虚拟屏幕或虚拟图像(例如,虚拟图像338)的第二用户的食指352。在某些示例中,预先确定的位置还可以包括从第二用户的食指352的尖端到虚拟屏幕或虚拟图像的预先确定的距离。

[0055]响应于确定用户的手处于预先确定的位置处,缩放模块14锁住显示屏404上的锁定凝视位置,该锁定凝视位置与如由凝视跟踪系统40所确定的用户的当前凝视位置相对应。在图5中的示例中,凝视跟踪系统40可以确定,当用户的手处于502处指示的预先确定的位置处时,第一用户304正看着与图4中的凝视位置412c相对应的屏幕位置。因此,缩放模块14在该位置处创建了锁定凝视位置510。在图5中的示例中,锁定凝视位置510与图4中示出的凝视框414相对应。在其它示例中,锁定凝视位置可以对应于凝视位置点(例如凝视位置412c),或者对应于可以估算用户的实际凝视位置或捕获所估计的凝视位置周围的邻近部位(ne i ghborhood)的其它形状或边界区域。

[0056]如上面指出的,2个、3个、4个或更多个视觉元素38可以完全或部分地被锁定凝视位置包围。在图5中示出的示例中,健康超链接504可选择的视觉元素和政治超链接514可选择的视觉元素部分地被锁定凝视位置510包围。在某些示例中,锁定凝视位置510可以向用户显示并且对用户是可见的。在其它示例中,锁定凝视位置510可以不向用户显示或者对用户是不可见的。

[0057]在某些示例中,响应于确定了用户的手处于预先确定的位置处,缩放模块14可能使得凝视跟踪系统40停止收集凝视跟踪数据76和/或向缩放模块14发送凝视跟踪数据76。有利地并且在该示例中,通过使得凝视跟踪系统40停止收集凝视跟踪数据76和/或发送凝视跟踪数据76,可以保存相对应的显示设备的电力、电池寿命、和/或计算资源。

[0058]在其它示例中,凝视跟踪系统40可以在通常情况下禁用,并且可以当光学传感器系统44感测到用户的手时启用。例如并且如下面更详细地描述的,凝视跟踪系统40可以当感测到用户的手朝向显示屏404移动并破坏用户的眼睛与屏幕之间的虚拟平面时启用。在某些示例中,当用户的手破坏了触发虚拟元素38的选择的第二虚拟平面时凝视跟踪系统40可以随后禁用,或者当用其它手段选择虚拟元素时禁用。在其它示例中,当用户的手移动远离屏幕预先确定的距离时凝视跟踪系统40可以随后禁用。

[0059] 一旦已经识别了用户的手处于预先确定的位置处并且已经创建了锁定凝视位置510,缩放模块14就可以继续如下面更详细描述的对一个或多个视觉元素进行缩放。更具体来说,响应于锁住锁定凝视位置510,缩放模块14可以程序化地将健康超链接504和政治超链接514视觉元素缩放预先确定的量至放大的尺寸。

[0060]在一个示例中并且在程序化的缩放之前,健康超链接504可选择的视觉元素可以以默认尺寸显示在显示屏404上,该默认尺寸小于对于准确触摸选择所需要的最小视觉元素的尺寸,例如9m高。例如,健康超链接504可选择的视觉元素可以被显示为具有6mm的高度。类似地,紧接着位于健康超链接504下方的政治超链接514可选择的视觉元素也可以被显不为具有6mm的尚度。

[0061]有利地,并且响应于锁住锁定凝视位置510,缩放模块14可以程序化地将健康超链接504和政治超链接514可选择的视觉元素(其部分地被锁定凝视位置510包围)缩放预先确定的量至放大的尺寸,该放大的尺寸大于或等于9mm高度。以这种方式并且在用户的手指346接触显示表面408之前,用户期望选择的健康超链接504可能被放大到实现对该链接的准确触摸选择的尺寸。用户随后可以通过触摸并由此在放大的尺寸处选择健康超链接504来提供用户输入。

[0062]在一个示例中,缩放模块14可以将整个网页400以及网页的所有可选择和不可选择的视觉元素38程序化地缩放预先确定的缩放因子至放大的尺寸。在一个示例中,可以将网页400以及其视觉元素38中的所有视觉元素成比例地放大预先确定的缩放因子至在网页400上所显示的最小可选择的视觉元素的尺寸,该预先确定的缩放因子与对于准确触摸选择所需要的最小的视觉元素尺寸的比率相对应。

[0063]如上面指出的,在一个示例中,对于准确触摸选择所需要的最小的视觉元素尺寸可以是9mm。在网页400上所显示的最小可选择的视觉元素例如可以是6mm。在该示例中,预先确定的缩放因子是9mm/6mm= 1.5或50%缩放。因此,可以将网页400中的视觉元素38中的所有视觉元素放大到它们初始尺寸的1.5倍。将意识到,各个其它缩放因子将与对于准确触摸选择所需要的不同的最小视觉元素尺寸和显示设备上不同的最小视觉元素尺寸相对应。

[0064]在另一个示例中,代替利用在网页400上的任何地方所显示的最小可选择的视觉元素,缩放模块14可以利用当前凝视位置周围的预定义的邻近部位来选择最小可选择的视觉元素。例如并参照图5,可以对至少部分地被锁定凝视位置510覆盖的可选择的视觉元素进行检查,以确定最小可选择的视觉元素。

[0065] 将意识到,凝视位置周围的任何其它适当的邻近部位或预定义的位置还可以用于确定预先确定的缩放因子。还将意识到,在其它示例中,可以以任何其它适当的方式来确定预先确定的缩放因子。此外,可以基于一个或多个其它考虑(举例来说,例如从用户的眼睛到物理显示屏或虚拟显示屏或投影的虚拟物体的距离)来确定预先确定的缩放因子。

[0066]在一个示例中,缩放模块14可以通过单个步骤来将视觉元素38程序化地缩放到放大的尺寸。例如并参照图12,与如图5中示出的视觉元素的尺寸相比,包括健康超链接504和政治超链接514可选择的视觉元素的视觉元素被放大。在该示例中,当用户的手指346移动靠近显示屏404来触摸并选择健康超链接504时,包括健康超链接504和政治超链接514可选择的视觉元素的视觉元素可以保持该放大的尺寸。替代地来说,在该示例中,视觉元素38的放大的尺寸独立于用户的手指346和手342距显示屏404的距离。

[0067]在另一个示例中,缩放模块14可以使视觉元素38动画化,从而以连续的方式从初始尺寸增大至放大的尺寸。在该示例中,代替通过单个步骤来将视觉元素38缩放到放大的尺寸,缩放模块14可以例如使用缓动函数创建平滑的缩放效果来使元素的维度变化动画化。此外,在该示例中,视觉元素可以以连续的方式从初始尺寸增大至放大的尺寸,该放大的尺寸独立于用户的手距屏幕的距离。

[0068]在另一个示例中,缩放模块14可以通过借助一个或多个渐增的尺寸逐渐放大来程序化地缩放视觉元素38,该一个或多个渐增的尺寸的每个都与用户的手342距显示屏404的距离成比例。例如并参照图5-图12,当用户的手342移动靠近显示屏404时,包括健康超链接504和政治超链接514可选择的视觉元素的视觉元素被逐渐放大,直到在图12中,用户的手指346的尖端348接触屏蒂为止。

[0069]在图5至图12中示出的示例中,视觉元素38通过3个渐增的尺寸而被放大,直到以如图12中示出的放大的尺寸来显示元素为止,这3个渐增的尺寸共同可以包括预先确定的量。将意识到,在其它示例中,视觉元素38可以通过2个、4个、5个或更多个渐增的尺寸而被放大。如上面指出的,在某些示例中,视觉元素38可以独立于用户的手342与显示屏404之间的距离而被放大。在其它示例中,两个或更多个渐增的尺寸中的每个尺寸都可以与用户的手342距显示屏404的相应距离成反比。

[0070]如在图5-图12中示出的,在某些示例中,当视觉元素被放大时,锁定凝视位置510的位置可以被保持在相对于视觉元素38大致固定的位置。此外,图5中示出的网页400可以包括网页的完整视图,其中,包括网页的视觉元素38尚未被放大。如图8至图12中示出的,将意识到,随着用户接口系统10放大视觉元素38,因为视觉元素被放大,因此在图5中的完整视图中所显示的并可见的网页400的一个或多个部分将不会显示或可见。

[0071]在某些示例中,当视觉元素38被放大时,锁定凝视位置510可以朝向显示屏404的中心平移。在当显示元素38被放大时也相对于视觉元素38保持锁定凝视位置510的位置的情况下,视觉元素相应地朝向屏幕的中心移动,而也保持元素之间按比例间隔开的关系。在一个示例中,可以执行视觉元素38的两种同时的几何变换一一将锁定凝视位置510平移到显示屏404的中心并按比例放大围绕该点的显示的视觉元素中的所有视觉元素。在其中经由动画来执行视觉元素38的缩放的某些示例中,对于动画的每一帧,可以执行视觉元素的三种几何变换一一将锁定凝视位置处的视觉元素平移到几何原点(例如,视图坐标的左上角)、围绕该原点缩放视觉元素、并将视觉元素从原点平移到显示屏的中心。

[0072]在另一个示例中,当锁定凝视位置位于所显示的内容的外围边缘附近时,即使在按比例放大视觉元素38之后,将该位置移动到显示屏404的中心可能造成屏幕上的空白区域。例如并参照图5,如果锁定凝视位置510移动到显示屏404的中心,并且相应地平移和缩放视觉元素38,则即使在按比例放大内容之后,也将在显示屏404的左侧上存在空白区域。因此,在该示例中,锁定凝视位置510可以朝向显示屏404的中心移动有限的量,该有限的量足以使得经放大的视觉元素38的左边缘与屏幕的左边缘齐平。将意识到,当锁定凝视位置接近于显示屏的任何边缘时,可以执行对锁定凝视位置的这些受限的平移。

[0073]在某些示例中,缩放模块14可以被配置为随着时间监控用户对用户接口系统10的使用。基于用户的使用,缩放模块14可以通过将哪一个或哪几个视觉元素缩放到特定于用户的量来修改预先确定的量。缩放模块14随后可以将一个或多个视觉元素程序化地缩放特定于用户的量至特定于用户的尺寸。

[0074]在一个示例中并参照图12,缩放模块可以通过以下来确定特定于用户的量:对用户作出的、至健康超链接504可选择的视觉元素和/或其它经放大的视觉元素的放大的尺寸的用户调整进行平均(通过预先确定的次数的用户调整)。例如,用户可以重复观看来自邮报(The Post)新闻源的网页,例如图5-图12中示出的网页400。在3个分开的场合下,在缩放模块14已经将视觉元素38程序化地缩放预先确定的量(例如,等于20%)至放大的尺寸之后,用户可能已经进一步将视觉元素放大到更大的尺寸。例如,用户可能已经使用反向捏合(reverse-pinch)的触摸手势来进一步放大视觉元素。

[0075]在3个场合下,用户可能已经进一步将放大的尺寸增大额外的4%、8%和6%。因此,缩放模块14可以对这3个额外缩放量进行平均,以达到6%的平均的额外缩放量。缩放模块14随后可以将该6%的额外的量与预先确定的20%的量相加,以达到26%的特定于用户的量。接下来,缩放模块14随后可以将视觉元素程序化地缩放26%的特定于用户的量。有利地,这种定制的、特定于用户的量可以更精确地与个体的用户的偏好相匹配。

[0076]在其它示例中,在缩放模块14已经将视觉元素38程序化地缩放预先确定的量(例如,等于20%)至放大的尺寸之后,在多个场合下,用户可能已经将视觉元素缩小到较小的尺寸。例如,用户可能已经使用了捏合触摸手势来使视觉元素缩小并在元素周围创建了更多视觉上下文。因此,缩放模块14可以对这些多个缩小量进行平均,以达到平均的缩小的缩放量,其中从预先确定的量减去该平均的缩小的缩放量以达到经修正的特定于用户的量。接下来,缩放模块14随后可以将视觉元素程序化地缩放该经修正的特定于用户的量。

[0077]在其它示例中,缩放模块可以通过确定用户的身份来确定特定于用户的量。基于用户身份,缩放模块14可以将预先确定的缩放量修改至特定于用户的量。缩放模块14随后可以将一个或多个视觉元素程序化地缩放特定于用户的量至特定于用户的尺寸。

[0078]在一个示例中,用户接口系统10可以经由登录数据的用户输入来确定用户的身份。在其它示例中,用户接口系统10可以经由用户的生物计量(举例来说,例如,从凝视跟踪系统40接收到的眼睛信息、从麦克风系统52接收到的语音识别信息、和/或从光学传感器系统44接收到的面部识别信息)来确定用户的身份。将意识到,也可以使用任何其它适当的用户的生物计量来确定用户的身份。用户接口系统10随后可以访问与用户的身份相对应的用户配置文件,并可以获取特定于用户的尺寸,以便程序化地缩放视觉元素。

[0079]图12示意性地示出了在与健康超链接504可选择的视觉元素相对应的位置处接触显示屏404的表面408的用户的手指346的尖端348。手指尖端的接触通过触摸指示符1204可视地指示在显示屏404上。以此方式,用户可以选择该超链接并导航到相对应的网页。在某些示例中,用户接口系统10可以使得用户能够在不需要物理触摸显示屏404的情况下选择可选择的视觉元素。例如并如下面更详细描述的,用户接口系统10可以利用一个或多个平面来锁住凝视位置、缩放视觉元素、和/或选择视觉元素。在某些示例中,一个或多个平面可以平行于显示屏404的表面408。平面可以由缩放模块14生成和定位,并可以针对特定的显示设备34来预设。在某些示例中,一个或多个平面的位置可以由用户设置和/或校准。在其它示例中,缩放模块14可以利用反映了用户对用户接口系统10的使用的交互数据,来程序化地确定对于用户来说更舒适的平面中的一个或多个位置。

[0080] 在一个示例中并参照图3和图5-图7,用户接口系统10可以定义第一用户304与屏幕404之间的平面534。用户的手342可以在朝向屏幕404的行动箭头A的方向上移动。使用深度跟踪数据86,缩放模块14可以确定用户的手342上的用户手指346的尖端348穿过平面534,这与选择视觉元素38(例如,健康超链接504)的用户意图相对应。响应于用户的手342穿过平面534,缩放模块14可以锁住屏幕404上的锁定凝视位置510,并程序化地缩放健康超链接504和其它视觉元素。例如,缩放模块14可以使超链接和其它视觉元素动画化,以从如图5中示出的其初始尺寸平滑增大至如图12中示出的放大的尺寸。

[0081 ] 现在参照图9-图11,在某些示例中,用户接口系统10还可以定义平面534与显示屏404之间的另外的平面540。使用深度跟踪数据,缩放模块14可以确定,用户的手342上的用户手指346的尖端348随后穿过另外的平面540,如图9-图11中示出的。将意识到,为了例示的清楚起见,图10中的显示屏404被示意性地例示为不具有在图9中的屏幕上所显示的视觉元素和其它图形。响应于用户的手穿过另外的平面540,用户接口系统10可以使得健康超链接504可选择的视觉元素被选择,该健康超链接504可选择的视觉元素部分地被锁定凝视位置510捕获。以此方式,用户接口系统10可以使得用户能够在不需要物理触摸显示屏404的情况下选择视觉元素。

[0082]在某些示例中,缩放模块14可以被配置为向用户提供反馈,该反馈和用户与显示设备的交互相关。例如,当锁定凝视位置被锁住时,缩放模块14可以提供凝视锁定反馈。参照图5,这种凝视锁定反馈可以包括显示框510,该框510指示锁定凝视位置。在其它示例中,凝视锁定反馈可以包括其它视觉反馈、音频反馈、触觉反馈、和/或任何其它适当的反馈。

[0083]在某些示例中,缩放模块14可以提供指示用户的手相对于显示设备的位置的渐进式反馈。例如并参照图5和图8,当用户的手指移动靠近于显示屏404时,可以在指示锁定凝视位置510的框内显示空心圆804。如在图9中示出的,当用户的手指移动更近时,空心圆804可以被填满。以此方式,用户接口系统10提供了与用户的手指346的用户移动相对应的视觉指示符。在其它示例中,缩放模块14可以提供指示用户的手相对于平面534、另外的平面540、或视觉元素38的位置的渐进式反馈。

[0084] 在某些示例中,当用户的手移动远离显示屏404时,缩放模块14可以利用手的位置来将经放大的视觉元素38缩小回它们的初始尺寸。例如并参照图11,随着用户的手342在远离屏幕404的行动箭头B的方向上移动,当用户的手指346的尖端348通过另外的平面540或平面534时,缩放模块14可以将经放大的视觉元素缩小至其初始尺寸。以此方式,用户可以通过简单地撤回她的手而越过预先确定的位置,来容易地缩减视觉元素38。

[0085]在某些示例中,缩放模块14可以在视觉元素的至少一部分包括在锁定凝视位置中的情况下不会程序化地缩放视觉元素。在一个示例中,锁定凝视位置可能包含网页400上的一个或多个不可选择的视觉元素38的部分,并可能不包含可选择的视觉元素38的部分。在该示例中,基于不包括可选择的视觉元素38的锁定凝视位置,当用户的手位于预先确定的位置处时,缩放模块14可以不会程序化地缩放不可选择的视觉元素。

[0086]有利地,在该示例中,用户可以在不触发程序化的缩放的情况下被给予另外的用户接口能力。例如,用户可以朝向显示屏404移动用户的手指,以触发平摇(pan)或滚动功能,其允许用户在不需要触发程序化的缩放的情况下在一个或多个方向上平摇或滚动网页400。

[0087]再次参照图3,将意识到,以上描述的方法和过程可以结合触摸屏平板计算机312以外的显示设备(例如,安装于墙壁的显示设备316、HMD设备200、以及任何其它适当的显示设备)来使用。例如,第二用户330可以利用用户接口系统10、以与以上所描述的方式类似的方式经由第一平面和第二平面来与安装于墙壁的显示设备316进行交互。在其它示例中,第三用户334可以利用用户接口系统10来与虚拟图像338进行交互。在某些示例中,虚拟图像338上的位置可以与如上面所描述的虚拟元素在显示屏404上的位置相对应。因此,第三用户334可以利用用户接口系统10、以与上面所描述的方式类似的方式经由一个或多个平面来与虚拟图像338进行交互。

[0088]图13A、图13B、以及图13C例示了根据本公开内容的实施例的用于缩放视觉元素的方法1300的流程图。参照上面所描述的以及在图1-图12中所示出的用户接口系统10的软件部件和硬件部件提供了对方法1300的以下描述。将意识到,还可以使用其它适当的硬件和软件部件来在其它背景中执行方法1300。

[0089 ] 参照图13A,在1302处,方法1300可以包括接收凝视跟踪数据。在1304处,方法1300可以包括使用凝视跟踪数据来确定显示设备的屏幕上的用户正在凝视的多个凝视位置。在1306处,方法1300可以包括接收深度跟踪数据。在1308处,方法1300可以包括使用深度跟踪数据来确定用户的指针位于预先确定的位置处。在1310处,方法1300可以包括:响应于确定用户的指针位于预先确定的位置处,锁住屏幕上的锁定凝视位置,其中,锁定凝视位置包括视觉元素的至少一部分。

[0090]在1312处,方法1300可以包括停止从凝视跟踪系统接收凝视跟踪数据。在1314处,方法1300可以包括:响应于锁住锁定凝视位置,将视觉元素程序化地缩放预先确定的量至放大的尺寸。在1316处,方法1300可以包括通过单个步骤来将视觉元素程序化地缩放至放大的尺寸。在1318处,方法1300可以包括通过借助一个或多个渐增的尺寸逐渐放大来缩放视觉元素,该一个或多个渐增的尺寸的每个都与用户的指针距屏幕的距离成比例。

[0091]在1320处,方法1300可以包括通过使视觉元素动画化以增大至独立于用户的指针距屏幕的距离的放大的尺寸,来程序化地缩放视觉元素。在1322处,方法1300可以包括接收对以放大的尺寸的视觉元素进行选择的用户输入。现在参照图13B,在1324处,方法1300可以包括监控用户对用户接口系统的使用。在1326处,方法1300可以包括:基于用户的使用来将预先确定的量修改至特定于用户的量。在1328处,方法1300随后可以包括将视觉元素程序化地缩放特定于用户的量至特定于用户的尺寸。

[0092]在1330处,方法1300可以包括通过对至放大的尺寸的多个用户调整进行平均,来确定特定于用户的量。在1332处,方法1300可以包括确定用户的身份。在1334处,方法1300可以包括经由登录数据的用户输入来确定用户的身份。在1336处,方法1300可以包括经由从包括以下项的组中所选择的用户的生物计量来确定用户的身份:从凝视跟踪系统接收的眼睛信息、语音识别信息和面部识别信息。

[0093]在1338处,方法1300可以包括:基于用户身份来将预先确定的量修改至特定于用户的量。在1340处,方法1300随后可以包括程序化地将视觉元素缩放特定于用户的量至特定于用户的尺寸。

[0094] 现在参照图13C,在1342处,方法1300可以包括限定用户与显示设备的屏幕之间的第一平面。在1344处,方法1300可以包括:使用深度跟踪数据来确定用户的指针穿过第一平面。在1346处,方法1300可以包括:响应于确定用户的指针穿过第一平面,锁住屏幕上的锁定凝视位置并程序化地缩放视觉元素。

[0095] 在1348处,方法1300可以包括定义第一平面与显示设备的屏幕之间的第二平面。在1350处,方法1300可以包括:使用深度跟踪数据,确定用户的指针随后穿过第二平面。在1352处,方法1300可以包括:响应于确定用户的指针穿过第二平面,选择视觉元素。在1354处,第二方法1300可以包括:经由显示设备向用户提供反馈,该反馈包括当锁定凝视位置被锁住时的凝视锁定反馈和指示用户的指针相对于显示设备的位置的渐进式反馈。

[0096]将意识到,以举例方式提供了方法1300,并且方法1300并不表示为限制。因此,将理解的是,方法1300可以包括除了图13A、图13B、以及图13C中例示出的那些步骤以外的额外的和/或替代的步骤。此外,将理解的是,可以以任何适当的顺序来执行方法1300。再进一步,将理解的是,在不脱离本公开内容的范围的情况下,可以从方法1300中省略一个或多个步骤。

[0097]图14示意性地示出了计算系统1400的非限制性实施例,该计算系统1400可能执行以上所描述的方法和过程中的一个或多个方法和过程。计算设备22可以采用计算系统1400的形式。以简化的形式示出了计算系统1400。将理解的是,可以在不脱离本公开内容的范围的情况下使用实质上任何计算机架构。在不同的实施例中,计算系统1400可以采用主机计算机、服务器计算机、台式计算机、膝上计算机、平板计算机、家庭娱乐计算机、网络计算设备、移动计算设备、移动通信设备、游戏设备等等的形式。如上面指出的,在某些示例中,计算系统1400可以被集成到显示设备中。

[0098] 如图14中示出的,计算系统1400可以包括逻辑子系统1404、储存子系统1408、显示子系统1412、通信子系统1416、传感器子系统1420、以及输入子系统1422。计算系统1400可以可选地包括未在图14中示出的其它子系统和部件。计算系统1400还可以包括计算机可读介质,其中,计算机可读介质包括计算机可读储存介质和计算机可读通信介质。计算系统1400还可以可选地包括诸如键盘、鼠标、游戏控制器、和/或触摸屏等等之类的其它用户输入设备。此外,在某些实施例中,本文中所描述的方法和过程可以被实现为计算机应用、计算机AP1、计算机库、和/或包括一个或多个计算机的计算系统内的其它计算机程序产品。

[0099]逻辑子系统1404可以包括被配置为执行一条或多条指令的一个或多个物理设备。例如,逻辑子系统1404可以被配置为执行一条或多条指令,该一条或多条指令是一个或多个应用、程序、例程、库、对象、部件、数据结构、或其它逻辑构造的部分。这些指令可以被实现来执行任务、实现数据类型、转换一个或多个设备的状态、或者以其它方式达到期望的结果O

[0100]逻辑子系统1404可以包括被配置为执行软件指令的一个或多个处理器。另外地或替代地,逻辑子系统可以包括被配置为执行硬件或固件指令的一个或多个硬件或固件逻辑机。逻辑子系统的处理器可以是单核的或多核的,并且在其上执行的程序可以被配置用于平行处理或分布式处理。逻辑子系统可以可选地包括遍及两个或更多个设备而分布的个体的部件,该两个或更多个设备可以位于远处和/或被配置用于协调式处理。逻辑子系统的一个或多个方面可以被虚拟化并且由用云计算配置来进行配置的远程可访问的联网计算设备来执行。

[0101]储存子系统1408可以包括被配置为保存可由逻辑子系统1404执行以实现本文中所描述的方法和过程的数据和/或指令的一个或多个物理的、持续的设备。当实现这些方法和过程时,可以转换储存子系统1408的状态(例如,以保存不同的数据)。

[0102]储存子系统1408可以包括可移动介质和/或内置设备。储存子系统1408可以包括光学存储器设备(例如,CD、DVD、HD-DVD、蓝光盘、等等)、半导体存储器设备(例如,RAM、EPR0M、EEPR0M、等等)和/或磁存储器设备(例如,硬盘驱动器、软盘驱动器、磁带驱动器、MRAM、等等)、等等。储存子系统1408可以包括具有以下特性中的一个或多个特性的设备:易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址、以及内容可寻址。

[0103]在某些实施例中,逻辑子系统1404和储存子系统1408的方面可以被集成到一个或多个公共的设备中,通过该一个或多个公共的设备可以至少部分地展现本文中所描述的功能。这些硬件-逻辑部件例如可以包括现场可编程门阵列(FPGA)、特定于程序和特定于应用的集成电路(PASIC/ASIC)、特定于程序和特定于应用的标准产品(PSSP/ASSP)、片上系统(SOC)系统、以及复杂可编程逻辑器件(CPLD)。

[0104]图14还示出了以可移动计算机可读储存介质1424的形式的储存子系统1408的方面,该储存子系统1408可用于储存可以被执行来实现本文中所描述的方法和过程的数据和/或指令。可移动的计算机可读储存介质1424是可以采用CD、DVD、HD-DVD、蓝光盘、EEPROM、和/或软盘、等等的形式的物理设备,并以持续的方式保存数据和/或指令有限的时间段。

[0105]相反,在某些实施例中,可以由计算机可读通信介质(例如,通信总线、端口、或光纤、等等)以瞬态的方式借助纯粹的信号(例如,电磁信号、光信号、等等)来传播本文中所描述的指令的方面,其中,物理设备并未将该纯粹的信号保存至少有限的时间段。

[0106] 显示子系统1412可用于呈现对由储存子系统1408保存的数据的视觉表示。如上面所描述的方法和过程改变了由储存子系统1408所保存的数据,并因此转换储存子系统的状态,显示子系统1412的状态可以类似地被转换为视觉表示下层数据的变化。显示子系统1412可以包括实质上利用任何类型的技术的一个或多个显示设备。这些显示设备可以在共享的外壳中与逻辑子系统1404和/或储存子系统1408进行组合,或者这些显示设备可以是周边显示设备。还参照图1,显示子系统1412例如可以包括显示设备34的显示系统36和/或HMD设备54的显示系统66和透明的显示设备68。

[0107]当包括通信子系统1416时,通信子系统1416可以被配置为将计算系统1400通信地与一个或多个网络和/或一个或多个其它计算设备耦合。通信子系统1416可以包括与一个或多个不同的通信协议相兼容的有线的和/或无线的通信设备。作为非限制性的示例,通信子系统1416可以被配置用于经由无线电话网络、无线局域网、有线局域网、无线广域网、有线广域网等的通信。在某些示例中,通信子系统可以允许计算系统1400经由诸如互联网之类的网络向其它设备发送和/或从其它设备接收消息。

[0108]传感器子系统1420可以包括被配置为感测如上面所描述的不同的物理现象(例如,可见光、红外光、声音、加速度、朝向、位置、等等)的一个或多个传感器。传感器子系统1420例如可以被配置为向逻辑子系统1404提供传感器数据。如上面所描述的,这些数据可以包括凝视跟踪信息、深度跟踪信息、图像信息、音频信息、环境照明信息、位置信息、运动信息、用户位置信息、和/或可用于执行上面所描述的方法和过程的任何其它适当的传感器数据。

[0109]当包括输入子系统1422时,输入子系统1422可以包括一个或多个传感器或用户输入设备(例如游戏控制器、手势输入检测设备、语音识别装置、惯性测量单元、键盘、鼠标、或触摸屏)或者与该一个或多个传感器或用户输入设备接合。在某些实施例中,输入子系统1422可以包括所选择的自然用户输入(NUI)元件部分或者与该元件部分接合。这种元件部分可以是集成的或外围的,并且输入动作的转换和/或处理可以在板上或板下处置。示例的NUI元件部分可以包括用于说话和/或语音识别的麦克风;用于机器视觉和/或手势识别的红外摄像头、彩色摄像头、立体摄像头、和/或深度摄像头;用于运动检测和/或意图识别的头部跟踪装置、眼睛跟踪装置、加速度计、和/或陀螺仪;以及用于评估脑部活动的电场感测元件部件。

[0110]术语“模块”可用于描述被实现为执行一个或多个特定功能的用户接口系统10的方面。在某些情形下,可以经由执行由储存子系统1408所保存的指令的逻辑子系统1404来举例说明这种模块。将理解的是,可以根据相同的应用、代码块、对象、库、例程、AP1、功能等来举例说明不同的模块。类似地,可以由不同的应用、代码块、对象、例程、AP1、功能等来举例说明相同的模块。术语“模块”意在包含可执行文件、数据文件、库、驱动器、脚本、数据库记录等等的个体或组。

[0111]将意识到,本文中所描述的配置和/或方法本质上是示例性的,并且并不在限制的意义上考虑这些具体的实施例或示例,因为大量的变化是可能的。本文中所描述的具体例程或方法可以表示任意数量的处理策略中的一个或多个处理策略。因此,所例示的各种行为可以以所例示的顺序、以其它顺序、平行地执行,或者在某些情况下省略这些行为。类似地,可以改变上面所描述的过程的次序。

[0112]本公开内容的主题包括各种过程、系统和配置、以及本文中所公开的其它特征、功能、行为、和/或属性的所有新颖的和非显而易见的组合和子组合、以及其任何和所有的等同物。

Claims (10)

1.一种用于对经由显示设备显示的视觉元素进行缩放的用户接口系统,所述用户接口系统包括: 计算设备,所述计算设备操作地连接到所述显示设备,其中,所述显示设备包括凝视跟踪系统和用于呈现所述视觉元素的显示系统;以及 缩放模块,所述缩放模块由所述计算设备的处理器来执行,所述缩放模块被配置为: 从所述凝视跟踪系统接收凝视跟踪数据; 使用所述凝视跟踪数据,确定所述显示设备的屏幕上用户正在凝视的多个凝视位置; 从深度跟踪系统接收深度跟踪数据; 使用所述深度跟踪数据,确定用户的指针位于预先确定的位置处; 响应于确定所述用户的指针位于所述预先确定的位置处,锁住所述屏幕上的锁定凝视位置,其中,所述锁定凝视位置包括所述视觉元素的至少一部分; 响应于锁住所述锁定凝视位置,将所述视觉元素程序化地缩放预先确定的量至放大的尺寸;以及 接收对所述放大的尺寸的所述视觉元素进行选择的用户输入。
2.根据权利要求1所述的用户接口系统,其中,所述缩放模块还被配置为:响应于确定所述用户的指针位于所述预先确定的位置处,停止从所述凝视跟踪系统接收所述凝视跟踪数据。
3.根据权利要求1所述的用户接口系统,其中,所述缩放模块还被配置为:通过使所述视觉元素动画化来增大至所述放大的尺寸而程序化地缩放所述视觉元素,所述放大的尺寸独立于所述用户的指针距所述屏幕的距离。
4.根据权利要求1所述的用户接口系统,其中,所述缩放模块还被配置为:要么通过单个步骤来将所述视觉元素程序化地缩放至所述放大的尺寸,要么通过借助一个或多个渐增的尺寸逐渐放大所述视觉元素来将所述视觉元素程序化地缩放至所述放大的尺寸,所述一个或多个渐增的尺寸的每个都与所述用户的指针距所述屏幕的距离成比例。
5.根据权利要求1所述的用户接口系统,其中,所述缩放模块还被配置为: 监控所述用户对所述用户接口系统的使用; 基于所述用户的使用,修改所述预先确定的量至特定于用户的量;以及 将所述视觉元素程序化地缩放所述特定于用户的量至特定于用户的尺寸。
6.—种用于对经由显示设备显示的视觉元素进行缩放的方法,所述方法包括: 接收凝视跟踪数据; 使用所述凝视跟踪数据,确定所述显示设备的屏幕上用户正在凝视的多个凝视位置; 接收深度跟踪数据; 使用所述深度跟踪数据,确定用户的指针位于预先确定的位置处; 响应于确定所述用户的指针位于所述预先确定的位置处,锁住所述屏幕上的锁定凝视位置,其中,所述锁定凝视位置包括所述视觉元素的至少一部分; 响应于锁住所述锁定凝视位置,将所述视觉元素程序化地缩放预先确定的量至放大的尺寸;以及 接收对所述放大的尺寸的所述视觉元素进行选择的用户输入。
7.根据权利要求6所述的方法,还包括:响应于确定所述用户的指针位于所述预先确定的位置处,停止从所述凝视跟踪系统接收所述凝视跟踪数据。
8.根据权利要求6所述的方法,还包括: 确定所述用户的身份; 基于所述用户的身份,将所述预先确定的量修改至特定于用户的量;以及 将所述视觉元素程序化地缩放所述特定于用户的量至特定于用户的尺寸。
9.根据权利要求8所述的方法,其中,确定所述用户的身份是经由登录数据的用户输入来执行的,或者是经由从包括以下项的组中选择的用户生物计量来执行的:语音识别信息、面部识别信息和从所述凝视跟踪系统接收到的眼睛信息。
10.根据权利要求6所述的方法,还包括: 定义所述用户与所述显示设备的所述屏幕之间的平面; 使用所述深度跟踪数据,确定所述用户的指针穿过所述平面;以及响应于确定所述用户的指针穿过所述平面,锁住所述屏幕上的所述锁定凝视位置并程序化地缩放所述视觉元素。
CN201480055970.XA 2013-10-11 2014-10-07 用户接口程序化的缩放 CN105612478B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US14/051,890 2013-10-11
US14/051,890 US9400553B2 (en) 2013-10-11 2013-10-11 User interface programmatic scaling
PCT/US2014/059380 WO2015054170A1 (en) 2013-10-11 2014-10-07 User interface programmatic scaling

Publications (2)

Publication Number Publication Date
CN105612478A true CN105612478A (zh) 2016-05-25
CN105612478B CN105612478B (zh) 2019-06-04

Family

ID=51862540

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480055970.XA CN105612478B (zh) 2013-10-11 2014-10-07 用户接口程序化的缩放

Country Status (5)

Country Link
US (1) US9400553B2 (zh)
EP (1) EP3055755A1 (zh)
KR (1) KR20160071404A (zh)
CN (1) CN105612478B (zh)
WO (1) WO2015054170A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106951087A (zh) * 2017-03-27 2017-07-14 联想(北京)有限公司 一种基于虚拟交互平面的交互方法及装置
WO2018040425A1 (zh) * 2016-09-05 2018-03-08 深圳Tcl新技术有限公司 图标显示方法及系统

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9934614B2 (en) * 2012-05-31 2018-04-03 Microsoft Technology Licensing, Llc Fixed size augmented reality objects
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
EP2962175B1 (en) * 2013-03-01 2019-05-01 Tobii AB Delay warp gaze interaction
WO2014141918A1 (ja) * 2013-03-11 2014-09-18 コニカミノルタ株式会社 ウェアラブルコンピューター
US9864498B2 (en) 2013-03-13 2018-01-09 Tobii Ab Automatic scrolling based on gaze detection
EP3063606A4 (en) * 2013-10-30 2017-08-09 Technology Against ALS Communication and control system and method
JP5825328B2 (ja) * 2013-11-07 2015-12-02 コニカミノルタ株式会社 透過型hmdを有する情報表示システム及び表示制御プログラム
US10317995B2 (en) 2013-11-18 2019-06-11 Tobii Ab Component determination and gaze provoked interaction
US9541415B2 (en) * 2014-08-28 2017-01-10 Telenav, Inc. Navigation system with touchless command mechanism and method of operation thereof
US10372317B1 (en) * 2015-06-12 2019-08-06 Google Llc Method for highly accurate selection of items on an axis with a quadrilateral control surface
US10409443B2 (en) 2015-06-24 2019-09-10 Microsoft Technology Licensing, Llc Contextual cursor display based on hand tracking
WO2017054847A1 (en) * 2015-09-29 2017-04-06 Telefonaktiebolaget Lm Ericsson (Publ) Touchscreen device and method thereof
WO2017096509A1 (zh) * 2015-12-07 2017-06-15 华为技术有限公司 一种显示、处理的方法及相关装置
GB2566280A (en) * 2017-09-06 2019-03-13 Fovo Tech Limited A method of modifying an image on a computational device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110285657A1 (en) * 2009-03-31 2011-11-24 Mitsuo Shimotani Display input device
CN102834789A (zh) * 2010-04-16 2012-12-19 高通股份有限公司 用于使虚拟键盘尺寸与用户手指大小动态相关的设备和方法
CN102915112A (zh) * 2011-06-23 2013-02-06 奥美可互动有限责任公司 用于近距离动作跟踪的系统和方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050047629A1 (en) 2003-08-25 2005-03-03 International Business Machines Corporation System and method for selectively expanding or contracting a portion of a display using eye-gaze tracking
EP1769328A2 (en) 2004-06-29 2007-04-04 Philips Electronics N.V. Zooming in 3-d touch interaction
US8941588B2 (en) 2008-04-24 2015-01-27 Oblong Industries, Inc. Fast fingertip detection for initializing a vision-based hand tracker
US9250703B2 (en) * 2006-03-06 2016-02-02 Sony Computer Entertainment Inc. Interface with gaze detection and voice input
WO2008137708A1 (en) 2007-05-04 2008-11-13 Gesturetek, Inc. Camera-based user input for compact devices
WO2010118292A1 (en) 2009-04-09 2010-10-14 Dynavox Systems, Llc Calibration free, motion tolerant eye-gaze direction detector with contextually aware computer interaction and communication methods
US9507418B2 (en) * 2010-01-21 2016-11-29 Tobii Ab Eye tracker based contextual action
US20120257035A1 (en) 2011-04-08 2012-10-11 Sony Computer Entertainment Inc. Systems and methods for providing feedback by tracking user gaze and gestures
US8881051B2 (en) 2011-07-05 2014-11-04 Primesense Ltd Zoom-based gesture user interface
US10013053B2 (en) 2012-01-04 2018-07-03 Tobii Ab System for gaze interaction

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110285657A1 (en) * 2009-03-31 2011-11-24 Mitsuo Shimotani Display input device
CN102834789A (zh) * 2010-04-16 2012-12-19 高通股份有限公司 用于使虚拟键盘尺寸与用户手指大小动态相关的设备和方法
CN102915112A (zh) * 2011-06-23 2013-02-06 奥美可互动有限责任公司 用于近距离动作跟踪的系统和方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018040425A1 (zh) * 2016-09-05 2018-03-08 深圳Tcl新技术有限公司 图标显示方法及系统
CN106951087A (zh) * 2017-03-27 2017-07-14 联想(北京)有限公司 一种基于虚拟交互平面的交互方法及装置

Also Published As

Publication number Publication date
US20150103003A1 (en) 2015-04-16
CN105612478B (zh) 2019-06-04
WO2015054170A1 (en) 2015-04-16
EP3055755A1 (en) 2016-08-17
US9400553B2 (en) 2016-07-26
KR20160071404A (ko) 2016-06-21

Similar Documents

Publication Publication Date Title
US9342610B2 (en) Portals: registered objects as virtualized, personalized displays
US9389420B2 (en) User interface interaction for transparent head-mounted displays
US8988345B2 (en) Adaptive event recognition
EP2834723B1 (en) Touch sensitive user interface
US10095030B2 (en) Shape recognition device, shape recognition program, and shape recognition method
EP2601640B1 (en) Three dimensional user interface effects on a display by using properties of motion
US10133342B2 (en) Human-body-gesture-based region and volume selection for HMD
US9541383B2 (en) Optical system having a return planar waveguide
US20100050134A1 (en) Enhanced detection of circular engagement gesture
EP2732357B1 (en) Methods and systems for a virtual input device
US9671566B2 (en) Planar waveguide apparatus with diffraction element(s) and system employing same
CN104204901B (zh) 移动设备光导显示
US9953214B2 (en) Real time eye tracking for human computer interaction
US8760395B2 (en) Gesture recognition techniques
US20140160055A1 (en) Wearable multi-modal input device for augmented reality
US9851788B2 (en) Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
CN105247447B (zh) 眼睛跟踪校准系统及方法
US8228315B1 (en) Methods and systems for a virtual input device
JP2016525741A (ja) 共有ホログラフィックオブジェクトおよびプライベートホログラフィックオブジェクト
US9804753B2 (en) Selection using eye gaze evaluation over time
KR101784328B1 (ko) 증강 현실 표면 디스플레잉
US8179604B1 (en) Wearable marker for passive interaction
KR20160106629A (ko) 시선 추적을 갖는 타겟 위치결정
US9536354B2 (en) Object outlining to initiate a visual search
US8928590B1 (en) Gesture keyboard method and apparatus

Legal Events

Date Code Title Description
PB01 Publication
C06 Publication
SE01 Entry into force of request for substantive examination
C10 Entry into substantive examination
GR01 Patent grant
GR01 Patent grant