CN106575152B - 可对准的用户界面 - Google Patents

可对准的用户界面 Download PDF

Info

Publication number
CN106575152B
CN106575152B CN201580040844.1A CN201580040844A CN106575152B CN 106575152 B CN106575152 B CN 106575152B CN 201580040844 A CN201580040844 A CN 201580040844A CN 106575152 B CN106575152 B CN 106575152B
Authority
CN
China
Prior art keywords
user interface
sight
aligned
interface object
reference vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580040844.1A
Other languages
English (en)
Other versions
CN106575152A (zh
Inventor
D·科恩
S·卡茨
D·丹尼尔
G·叶海弗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN106575152A publication Critical patent/CN106575152A/zh
Application granted granted Critical
Publication of CN106575152B publication Critical patent/CN106575152B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

公开了涉及以便于脱手操作的方式与图形用户界面进行交互的各实施例。例如，一个公开的实施例提供了一种方法，该方法包括向显示设备输出显示多个可对准的用户界面对象的图形表示的用户界面，每个可对准的用户界面对象表示可选的对象。该方法进一步包括从成像设备接收深度数据，图像数据捕捉朝向显示设备的面部的图像。该方法进一步包括改变多个可对准的用户界面对象中的第一用户界面对象的对准状态以将第一用户界面对象移入经对准的状态，并基于所接收的图像数据来改变第二用户界面对象的对准状态以将第二用户界面对象移出经对准的状态。

Description

可对准的用户界面
技术领域
本发明涉及用户界面，尤其涉及可对准的用户界面。
背景技术
图形用户界面通常被用于允许用户控制计算设备软件和硬件功能。诸如计算机鼠标信号、触摸屏或触摸板输入等的位置信号可与选择输入机制(例如，鼠标上的按钮)相结合地使用以接收输入。此外，视觉反馈可被显示，例如通过例示出多个显示项中的哪些图形用户界面项是当前可选的，来便于与图形用户界面的用户交互。
发明内容
公开了涉及以可便于脱手(hands-free)操作的方式与图形用户界面进行交互的各实施例。例如，一个公开的实施例提供了一种方法，该方法包括向显示设备输出显示多个可对准的用户界面对象的图形表示的用户界面，每个可对准的用户界面对象表示可选的对象。该方法进一步包括从成像设备接收深度数据，图像数据捕捉朝向显示设备的面部的图像。该方法进一步包括改变多个可对准的用户界面对象中的第一用户界面对象的对准状态以将第一用户界面对象移入经对准的状态，并基于所接收的图像数据来改变第二用户界面对象的对准状态以将第二用户界面对象移出经对准的状态。
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。
附图说明
图1示出了包括可对准的用户界面对象的示例图形用户界面，并且例示出了与该图形用户界面的用户交互。
图2是例示出了用于为与具有可对准的用户界面对象的图形用户界面的用户交互提供视觉反馈的示例方法的流程图。
图3A和3B示出了可用于为与图形用户界面的用户交互提供视觉反馈的虚拟视线参考矢量的示意性示例。
图4示出了可用于为与图形用户界面的用户交互提供视觉反馈的另一虚拟视线参考矢量的示例布置。
图5示出了示例计算设备的框图。
具体实施方式
如上所述，反馈可在图形用户界面上被提供以促进与图形用户界面的交互。例如，图形用户界面可将图形用户界面菜单显示为项列表，并且可通过突出显示可选项或以其他方式在视觉上将可选菜单项与其他所显示的菜单项进行区分来指示当前可选菜单项。这样的图形用户界面可很好地适用于基于鼠标的交互、基于触摸的交互、或其他这样的交互模式。
然而，这样的用户界面可能不太适用于利用针对图形用户界面的基于面部的交互的脱手用户界面，因为这样的交互可能缺乏基于鼠标或基于触摸的位置信号的精度。因此，本文公开了涉及使用面部和/或眼睛位置确定作为位置信号以便于脱手交互的用户界面的呈现的各实施例。如下所述，在一些情况下，即使在系统不利用基于针对精确位置信号的瞳孔跟踪的眼睛注视投影的情况下，所公开的各实施例可允许用户选择特定图形用户界面对象的意图的明确且不含糊的标识。
简言之，所公开的用户界面利用处于不同对准的状态的可对准的用户界面对象的所显示图形表示，其中每个可对准的用户界面对象表示用户可与之交互的可选对象。随着所确定的用户面部的视线改变(其可基于或可不基于瞳孔跟踪)，计算设备可跟踪该改变，并改变可对准的用户界面对象的对准显示，使得可对准的用户界面对象之一被带入经对准的状态。通过观察哪个用户界面对象处于经对准的状态(例如，如由用户界面对象的相关联的图形表示的经对准的状态所证明的)，用户可看到哪个作为目标的用户界面对象当前是可选的。所公开的各实施例可因此允许脱手方式的直观的用户界面交互。
图1示出了根据一个实现的与呈现图形用户界面菜单的显示设备的交互的示例。首先，在位置(A)，用户102的面部具有相对于计算设备105的显示设备104的第一角度。该角度通过从用户的面部向外延伸的面矢量106与显示屏法线108之间的偏移来例示出。虽然显示设备104被描绘为平板设备的显示器(例如，其中显示设备104被集成到计算设备105中)，但是将理解，所公开的各实施例可与任何其他合适的显示设备一起使用，包括但不限于用于平板计算机、膝上型计算机、智能电话、头戴式显示设备、以及其他可穿戴和/或便携式设备的集成显示器。此外，在一些实现中，用于显示图形用户界面的显示设备可与计算设备分开，并且作为外围设备(例如，用于台式计算机的监视器，通信地耦合到台式计算机的电视、视频游戏控制台和/或其他家庭娱乐设备等)通信地连接到其上。
面矢量106可以以任何合适的方式确定。例如，在一些实现中，面部矢量106可通过用深度成像设备110对面部进行成像并基于来自深度成像设备的深度数据映射面部的特征确定面部所指向的方向来确定。如所示，深度成像设备110可包括(例如，用于投影红外光的)投影仪和传感器。深度成像设备110可表示被定位和适于生成显示设备104的用户的面部的深度图像的任何合适的深度成像设备(例如，飞行时间深度相机、结构化光深度相机、超声成像设备、立体相机等)。虽然被描绘成被集成到计算设备105中，但是将理解，在一些实现中，深度成像设备110可采取任何其他合适的形式，并可以是位于远离显示设备104和/或向该显示设备提供显示输出的计算设备的独立设备。
除了面部矢量之外，深度成像设备110还可被用于确定与用户102的面部的一只或更多只眼睛112相关联的眼睛坐标。眼睛坐标可表示从深度图像数据确定的用户的一只或两只眼睛相对于显示器104的三维坐标。基于所确定的眼睛坐标和面部矢量，可确定视线在面矢量的方向上从用户的面部上的所确定的位置(例如，用户的一只眼睛的位置，用户的两只眼睛之间的位置等)向外延伸。这可允许在不利用瞳孔跟踪的情况下的视线估计的确定。
所描绘的用户界面114包括诸如可对准的用户界面对象116a和116b之类的可对准的用户界面对象的多个图形表示。每个可对准的用户界面对象可表示可选对象。每个可对准的用户界面对象可具有与其相关联的对准状态，使得当处于经对准的状态时该可对准的用户界面对象是可选的。每个可对准的用户界面对象的显示的朝向可以以任何合适的方式来确定。例如，虚拟相机可被定义于具有在眼睛坐标处的原点以及在视线方向上的z轴的用户坐标空间中，并且可基于此虚拟相机位置来确定每个可对准的用户界面对象的朝向。在所描绘的实施例中，可对准的用户界面对象采取从虚拟相机角度观察的虚拟管的形式，但可采取在不同朝向上具有不同外观的任何其他合适的形式。例如，可对准的用户界面对象可包括体积几何形状(诸如立方体或金字塔)的二维渲染，可被放入空间对准的二维对象(例如，每个可对准的对象包括具有相同形状和大小的两个或更多个二维形状，使得当在经对准的状态中时它们看上去像一个)，当在经对准的状态中时形成可识别的字符(例如仅当在经对准的状态中时看上去像可识别的字母的字母的部分)的对象等。
在图1的用户界面114的位置(A)，用户界面对象116a被描绘成处于经对准的状态，而其他用户界面对象(例如，用户界面对象116b)处于未经对准的状态。在此示例中，在图1的位置(A)中的用户的视线1与位于显示器左侧的用户界面对象(例如，用户界面对象116a)(和/或与其相关联的图形表示)对准。
接着，在图1的位置(B)中，当用户的面部指向显示设备的中心(例如，显示设备没有相对于用户的面部成角度)时，面部矢量106与显示设备104的屏幕法线108平行。因此，在图1的位置(A)中的用户的视线1与位于显示器中心的用户界面对象(和/或与其相关联的图形表示)对准。响应于这种对准，中心用户界面对象可处于经对准的状态，而其他用户界面对象处于未经对准的状态，如响应于位置(B)而显示的用户界面114所示。
接着，在图1的位置(C)中，用户102的面部相对于显示设备104以朝着相对于位置(A)的显示器104的相对侧来成角度。因此，用户的确定的视线(其平行于面部矢量106)指向显示设备的右侧，并且与位于显示器右侧的用户界面对象(和/或与其相关联的图形表示)对准。响应于这种对准，最右侧的用户界面对象可处于经对准的状态，而其他用户界面对象处于未经对准的状态。
将理解，图1中所例示的用户界面对象和相关联的图形表示是示例，并且可呈现任何合适的用户界面对象和相关联的图形表示，以及指示各种经对准和未经对准的状态的任何显示配置，而不脱离本公开的范围。如上所述，所例示的用户界面对象和相关联的图形表示采取中空圆柱形对象的形式，以在经对准的和未经对准的状态之间具有容易区分的外观差异。在其他示例中，任何其他合适的二维或三维用户界面对象的表示可被显示，使得三维投影的视角随着用户的视线而改变。
图2示出了描绘用于经由由计算设备向显示设备输出的图形用户界面菜单来提供视觉反馈的方法200的示例的流程图。在202，方法200包括显示多个用户界面对象以形成图形用户界面菜单。如在204所指示的，用户界面对象的外观和/或图形表示可基于显示设备的用户的确定的视线。例如，方法200可被迭代地执行，使得每次都通过将用户界面从先前状态更新。在一些示例中，响应于对新面部的检测，和/或响应于打开设备，可在用户界面的发起之际呈现用户界面对象和/或相关联的图形表示的默认外观。
在206，方法200包括接收来自深度成像设备(例如，来自图1的深度成像设备110)的深度数据。例如，深度数据可包括从飞行时间相机(如在208所指示的)、超声成像设备(如在210所指示的)、结构化光深度传感器211、和/或任何其他合适的深度成像设备接收的数据。深度图像数据可提供用于位于深度成像设备的视野内的对象的深度信息。
在212，方法200包括标识深度图像数据中的面部。如果多个面部被检测到，则主面部(例如，在方法200的执行期间被跟踪和并被利用的面部)可基于相对于成像设备的视野中的其他面部的与每个面部相关联的位置、大小、朝向、清晰度和/或其他参数被确定。
在214，将所标识的面部适配到面部模型以确定该面部的特征和/或朝向。作为一个示例，如在216所指示的，可使用迭代最近点方法(例如，将所标识的面部的每个点与面部模型中的最近点相匹配)来将该面部适配到该模型。将理解，任何合适机制可被用于确定面部的特征和/或朝向。
在218，方法200包括确定与所标识的面部相关联的面部矢量和眼睛坐标。例如，使用面部所适配的模型，指示面部的方向性/朝向特征的位置(例如，鼻子的位置/方向、眼睛/鼻子/嘴巴相对于彼此的位置和/或成像面部的整体形状等)的可确定以便指示面部的前部/中心所指向的方向。眼睛坐标可通过标识由深度成像设备成像的三维平面中的面部中的一只或更多只眼睛的位置来确定(例如，使用面部被映射到的面部模型和/或基于眼睛的标识特征)。如果面部仅有一只眼睛被成像，则可基于该成像的眼睛的位置和/或其他检测到的面部特征来估计另一只眼睛的坐标。
在220，方法200包括基于在218处确定的面部矢量和眼睛坐标来计算面部的视线(LOS)。例如，可通过将矢量定位在眼睛的中心点处和/或定位在面部的两只眼睛之间并在面部矢量的方向上引导矢量(例如，使得它平行于面矢量)来计算LOS。
在222处，方法200包括确定LOS是否与视线参考矢量共线(例如，在共线性的阈值程度内)。视线参考矢量可包括，例如，延伸到虚拟空间(例如，在显示设备“背面”)并基于所选的用户界面对象的位置来定位和/或朝向的虚拟对象。换言之，每个视线参考矢量定义了穿过用户界面对象和空间中所选的体积的线。该体积可以是固定的和/或可响应于面部的视线的改变而在空间中旋转。虚拟对象可在显示器上被呈现成具有基于相对于视线参考矢量的面部视线的外观的用户界面对象的图形表示。简要地转向图3A和3B，示例视线参考矢量302被例示出。在图3A中，面部304a相对于显示器306的五个不同的朝向被例示出。每个面部304a具有指向显示器306的相关联的视线308a。视线参考矢量302可被定位成使得与面部304a的所例示的姿势相关联的每个视线与相应的视线参考矢量共线。例如，姿势#5处的面部的视线可与视线参考矢量302a共线。因此，与视线参考矢量302a相关联的用户界面对象(例如，位于显示器306的最左侧的用户界面对象)的图形表示可看上去像用户正通过与该对象对准的通道查看该对象。与其他视线参考矢量对准的其他用户界面对象可以不允许用户“查看”该用户界面对象的方式来朝向，从而清楚地区分可选的和不可选的用户界面对象。
在图3A所例示的示例中，视线参考矢量可以在第一末端处(例如，远离显示器306)彼此分开而在第二末端处(例如，朝向显示器306和/或与面部304a相关联的眼睛坐标)彼此汇聚。以此方式，用户可通过用户的头部和/或设备的平移和旋转来与用户界面进行交互，如每个所例示的姿势中的面部304a的不同位置和朝向所例示。图3B示出了另一个示例，其中视线参考矢量彼此分开并彼此平行。在图3B的示例中，视线参考矢量中的每一个可与相对于彼此具有不同位置的面部304b中的一个对准。在这样的实施例中，用户可通过平移显示用户界面的设备(或者侧向地移动他/她的头部)而不是旋转设备和/或头部，来改变所显示的用户界面对象的对准状态来与用户界面进行交互。在其他实施例中，用户可通过头部和/或设备的旋转和平移两者来进行交互。将理解，视线参考矢量的任何合适的布置可被使用，并且视线矢量可采取任何合适的形式。
返回图2，如果面部的视线与视线参考矢量不共线(例如，在222处为“否”)，则在224处，方法200可包括基于面部的视线来改变每个用户界面对象的对准度和/或相关联的图形表示。例如，图1例示出了不与面部的视线对准的图形表示的不同对准程度(例如，响应于位置(A)而显示的用户界面114中最右边的图形表示比下一个左边的图形表示“更加地”不对准)。
在一些实现中，每个视线参考矢量可具有相关联的对准公差区域，使得面部的视线可被认为与该视线参考矢量对准，并因此如果LOS落入该对准公差区域内就在在经对准的状态中。对准公差区域可允许一定范围的视线与给定的视线参考矢量(和相关联的用户界面对象)对准。因此，在一些实施例中落入对准公差区域内的视线可以是满足经对准的状态的示例。在一些示例中，当面部矢量不与任何一个视线参考矢量对准时，可对准的用户界面对象的对准可被显示以拟合到最接近的对准状态，而在其他示例中，可对准的用户界面对象可连续地旋转并改变面部矢量，而不是拟合到所显示的对准状态。
继续方法200，如果视线与视线参考矢量共线(例如，在222处为“是”)，则在226处，方法200包括改变(或如果与在该方法的紧接的先前迭代中确定的相同参考矢量对准，则维持)与所述视线参考矢量相关联的用户界面对象的对准状态。例如，对准状态可从未经对准改变到经对准，或从经对准改变到未经对准。将理解，如上所述，视线与视线参考矢量共线的确定可对应于落入视线参考矢量的对准公差区域内的视线。
如上所述，处于经对准的状态的用户界面对象可被选择以执行计算设备功能。例如，基于视线与视线参考矢量的比较，与被确定来满足关于时间的对准状态的视线参考矢量相关联的可选的用户界面对象的选择能够被启用来供选择。任何合适类型的用户输入可被用于选择用户界面对象。作为一个示例，对经对准的状态达阈值时间量的维持可被用于选择处于经对准的状态的用户界面对象。因此，在228，方法200可包括确定面部视线是否被维持(例如，如果对准状态被维持)得比选择阈值长。如果没有维持视线(例如，在228处为“否”)，则方法200可返回。另一方面，如果视线被维持的比选择阈值长(例如，在228处为“是”)，则该方法可前进到230以选择(或确认选择)与视线参考矢量相关联的用户界面对象。
应当理解，方法200的228和230处所描述的选择可通过完成方法200的多次迭代并确定用户界面对象的对准状态是否维持在“对准”达方法的连续迭代的阈值数量来执行。在选择用户界面对象时，与对象相关联的动作可由计算设备执行/施行。任何合适的选择机制可被用于选择用户界面对象。示例包括但不限于机械致动器(例如经由按钮)、触摸传感器(例如经由静态触摸或触摸手势)、运动传感器(例如经由加速度计陀螺仪和/或图像传感器检测到的示意动作，诸如点头，眨眼等)、声学传感器(例如通过语音命令)和/或任何其他合适的输入机制。
图4示出了视线参考矢量和相关联的图形用户界面的另一示例。如图所示，单个视线参考矢量402可被虚拟地投影，使得其看上去像在显示器404前并朝着面部406延伸。虽然在图3A和3B中例示出的示例示出了针对每个用户界面对象的不同视线矢量，但在图4中例示出的示例包括围绕中心点旋转和/或被定位成与面部视线对准的单个视线参考矢量。用户界面408可具有通过视线参考矢量(例如，通过视线参考矢量的中心的中空区域)来表示用户界面的用户视图和/或用户界面的区域的外观。例如，如所示，除了与面部406的视线对准的用户界面对象之外，用户界面408的每个区域(例如，与特定可选菜单相关的每个区域)可被加阴影。
上述示例可帮助提供直观的用户界面，该用户界面在用户面部的视线改变时改变可对准的用户界面对象的图形表示的对准状态，从而在试图选择用户界面对象时提供易于理解的视觉反馈。因此，即使没有利用角膜闪光光源和眼睛跟踪相机的专用眼睛跟踪系统，直观的、脱手的用户界面也可被提供用于与计算设备的动态用户进行交互。
在一些示例中，本文中描述的方法和过程可以与一个或多个计算设备的计算系统绑定。具体而言，这样的方法和过程可被实现为计算机应用程序或服务、应用编程接口(API)、库和/或其他计算机程序产品。
图5示意性地示出了可执行上述方法和过程中的一个或多个的计算系统500的非限制性实施例。以简化形式示出了计算系统500。计算系统500可采取以下形式：一个或多个个人计算机、平板计算机、家庭娱乐计算机、网络计算设备、游戏设备、移动计算设备、移动通信设备(例如，智能电话)、服务器计算机和/或其他计算设备。
计算系统500包括逻辑设备502和存储设备504。计算系统500可任选地包括显示子系统506、通信子系统508、输入子系统510和/或在图5中未示出的其他组件。
逻辑设备502包括被配置为执行指令的一个或多个物理设备。例如，逻辑设备可被配置为执行作为以下各项的一部分的机器可读指令：一个或多个应用、服务、程序、例程、库、对象、组件、数据结构、或其他逻辑构造。这种指令可被实现以执行任务、实现数据类型、转换一个或多个部件的状态、实现技术效果、或以其他方式得到期望结果。
逻辑设备可以包括被配置成执行软件指令的一个或多个处理器。附加地或替换地，逻辑设备可包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑设备。逻辑设备的处理器可以是单核的或多核的，其上执行的指令可以被配置用于串行、并行和/或分布式处理。逻辑设备的个体组件可任选地分布在两个或更多个分开的设备之间，所述设备可以位于远程以及/或者被配置用于协同处理。逻辑设备的各方面可由以云计算配置进行配置的可远程访问的联网计算设备来虚拟化和执行。
存储设备504包括被配置成保持可由逻辑设备执行的指令以实现本文描述的方法和过程的一个或多个物理设备。当实现这样的方法和过程时，存储设备504的状态可以被转换—例如以保存不同的数据。
存储设备504可包括可移动和/或内置设备。存储设备504可包括光学存储器(例如，CD、DVD、HD-DVD、蓝光碟等)、半导体存储器(例如，RAM、EPROM、EEPROM等)和/或磁性存储器(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)、等等。存储设备504可包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址和/或内容可寻址设备。
可以理解，存储设备504包括一个或多个物理设备。然而，本文描述的指令的各方面可替换地通过不由物理设备在有限时长内持有的通信介质(例如，电磁信号、光信号等)来传播。
逻辑设备502和存储设备504的各方面可以被一起集成到一个或多个硬件逻辑组件中。这些硬件逻辑组件可包括例如现场可编程门阵列(FPGA)、程序和应用专用的集成电路(PASIC/ASIC)、程序和应用专用的标准产品(PSSP/ASSP)、片上系统(SOC)以及复杂可编程逻辑器件(CPLD)。在包括显示子系统506时，显示子系统506可用于呈现由存储设备504所保持的数据的视觉表示。此视觉表示可采用图形用户界面(GUI)的形式。例如，显示子系统506可向相关联的显示设备(例如，图1的显示设备104)提供指令以显示图形用户界面(例如，图1的图形用户界面114)。由于本文所描述的方法和过程改变了由存储设备保存的数据，并由此转换存储设备的状态，因此同样可以转换显示子系统506的状态以可视地表示底层数据的改变。显示子系统506可包括使用实质上任何类型的技术的一个或多个显示设备。这样的显示设备可与逻辑设备502和/或存储设备504一起组合在共享封装中，或者这样的显示设备可以是外围显示设备。
当包括通信子系统508时，通信子系统508可被配置成将计算系统500与一个或多个其他计算设备通信地耦合。通信子系统508可包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统可被配置成用于经由无线电话网络或者有线或无线局域网或广域网来进行通信。在一些实施例中，通信子系统可允许计算系统500经由诸如因特网这样的网络将消息发送至其他设备以及/或者从其他设备接收消息。
在包括输入子系统510时，输入子系统510包括诸如键盘、鼠标、触摸屏或游戏控制器之类的一个或多个用户输入设备或者与其对接。在一些实施例中，输入子系统可以包括所选择的自然用户输入(NUI)部件或与其对接。这种元件部分可以是集成的或外围的，并且输入动作的转导和/或处理可以在板上或板外被处理。NUI部件的示例可包括用于语言和/或语音识别的话筒；用于机器视觉和/或姿势识别的红外、色彩、立体显示和/或深度相机；用于运动检测和/或意图识别的头部跟踪器、眼睛跟踪器、加速计和/或陀螺仪；以及用于评估脑部活动的电场感测部件。
将会理解，本文描述的配置和/或方式本质是示例性的，这些具体实施例或本文示例不应被视为限制性的，因为许多变体是可能的。本文描述的具体例程或方法可以表示任何数量的处理策略中的一个或多个。如此，所示和/或所述的各种动作可以以所示和/或所述顺序、以其他顺序、并行地执行，或者被省略。同样，上述过程的次序可以改变。
本公开的主题包括各种过程、系统和配置以及此处公开的其他特征、功能、动作和/或属性、以及它们的任一和全部等价物的所有新颖且非显而易见的组合和子组合。

Claims (22)

1.一种用于为用户交互提供视觉反馈的方法，所述用户交互具有被计算设备输出到显示设备的图形用户界面菜单，所述方法包括：
向所述显示设备输出显示多个可对准的用户界面对象的图形表示的用户界面，每个可对准的用户界面对象表示可选对象；
从成像设备接收深度数据，图像数据捕捉朝向所述显示设备的面部的图像；
以及
改变所述多个可对准的用户界面对象中的第一用户界面对象的对准状态以将所述第一用户界面对象显示为被移入经对准的状态，并基于所接收的图像数据来改变第二用户界面对象的对准状态以将所述第二用户界面对象显示为被移出经对准的状态；
其中所述对准状态包括所述第一用户界面对象的视线参考矢量在与所述面部的视线共线的阈值程度内。
2.如权利要求1所述的方法，其特征在于，所述成像设备包括飞行时间深度相机。
3.如权利要求1所述的方法，其特征在于，所述成像设备包括超声设备。
4.如权利要求1所述的方法，其特征在于，进一步包括使用面部矢量和眼睛坐标来确定所述面部的视线。
5.如权利要求4所述的方法，其特征在于，进一步包括将所述视线与多个视线参考矢量进行比较，所述多个视线参考矢量中的每一个视线参考矢量相对于所述多个视线参考矢量中的一个或多个其他的视线参考矢量具有不同的位置，并且所述多个视线参考矢量中的每一个视线参考矢量与相应的可选用户界面对象相关联。
6.如权利要求5所述的方法，其特征在于，响应于所述视线与所述多个视线参考矢量的所述比较，所述第一用户界面对象的所述对准状态被改变。
7.如权利要求4所述的方法，其特征在于，进一步包括将视线参考矢量与所述面部的所述视线进行对准，所述视线参考矢量可绕虚拟中心点旋转，并且其中所述第一用户界面对象的所述对准状态响应于被指向所述第一用户界面对象的所述视线参考矢量来被改变。
8.一种用于提供与计算系统的用户交互的视觉反馈的计算系统，所述计算系统包括：
显示设备；
深度成像设备；
逻辑设备；以及
存储指令的存储设备，所述指令能由所述逻辑设备执行以
向所述显示设备发送用于显示的用户界面，所述用户界面包括多个可选的用户界面对象；
从所述深度成像设备接收深度数据；
从所述深度数据，确定在所述深度数据中成像的面部的视线；
将所述视线与多个视线参考矢量进行比较，所述多个视线参考矢量中的每一个视线参考矢量相对于所述多个视线参考矢量中的一个或多个其他的视线参考矢量具有不同的位置，并且所述多个视线参考矢量中的每一个视线参考矢量与相应的可选用户界面对象相关联；以及
至少部分地基于所述比较，使得能够选择与被确定为满足在与所述视线共线的阈值程度内的对准的状态的视线参考矢量相关联的可选用户界面对象。
9.如权利要求8所述的计算系统，其特征在于，所述指令进一步可执行以便选择与被确定为满足相对于所述视线的对准的状态的所述视线参考矢量相关联的所述可选用户界面对象，并执行与所选的用户界面对象相关联的动作。
10.如权利要求9所述的计算系统，其特征在于，选择所述可选用户界面包括检测所述视线保持与所述视线参考矢量对准，所述视线参考矢量被确定成满足相对于所述视线的对准的状态达阈值时间量。
11.如权利要求9所述的计算系统，其特征在于，所述多个视线参考矢量中的每一个定义穿过用户界面对象和空间中的所选体积的线。
12.如权利要求11所述的计算系统，其特征在于，所述体积被固定在空间中。
13.如权利要求11所述的计算系统，其特征在于，所述体积响应于所述面部的所述视线的改变而在空间中旋转。
14.如权利要求9所述的计算系统，其特征在于，所述多个视线参考矢量以彼此平行的方式被布置。
15.如权利要求9所述的计算系统，其特征在于，所述多个视线参考矢量在第一末端处彼此分开而在第二末端处彼此汇聚并朝向眼睛坐标。
16.如权利要求9所述的计算系统，所述指令进一步可执行以将虚拟相机定义于具有在眼睛坐标处的原点以及在视线方向上的z轴的用户坐标空间中。
17.如权利要求16所述的计算系统，所述指令进一步可执行，以从所述虚拟相机的视角观察以虚拟管的二维表示的形式通过菜单项来显示反馈。
18.一种用于为具有图形用户界面菜单的用户交互提供视觉反馈的计算系统，所述计算系统包括：
显示设备；
深度成像设备；
逻辑设备；以及
存储指令的存储设备，所述指令能由所述逻辑设备执行以
向所述显示设备输出显示多个可对准的用户界面对象的图形表示的用户界面，所述多个可对准的用户界面对象中的每一个表示可选对象；
从成像设备接收深度数据，所述深度数据捕捉朝向显示设备的面部的图像；
基于所述深度数据来检测面部相对于所述显示设备的朝向的改变；
至少部分地基于所述面部的所述朝向的所述改变，改变所述多个可对准的用户界面对象中的每一个的所显示角度，以使所述多个可对准的用户界面对象中的第一个被带入经对准的状态，其中所述经对准的状态包括所述第一个可对准的用户界面对象的视线参考矢量在与所述面部的视线共线的阈值程度内；
当所述多个可对准的用户界面对象中的第一个处于所述经对准的状态时，接收选择输入；以及
响应于所述选择输入，基于与所述多个可对准的用户界面对象中的第一个相关联的可选用户界面对象来在所述计算系统上采取动作。
19.如权利要求18所述的计算系统，其特征在于，所述指令进一步可执行以基于所接收的深度数据将所述面部的所述图像适配到面部模型，且其中所述面部的所述朝向的确定至少部分地基于面部矢量的确定以及从所述面部适配到所述面部模型所导出的眼睛坐标。
20.如权利要求18所述的计算系统，其特征在于，用于接收选择输入的所述指令包括：确定所述面部的所述朝向被维持的持续时间长于选择阈值的指令。
21.一种具有指令的计算机可读存储介质，当所述指令被执行时使得机器执行如权利要求1-7中任一权利要求所述的方法。
22.一种计算机系统，包括用于执行如权利要求1-7中任一权利要求所述的方法的装置。
CN201580040844.1A 2014-07-23 2015-07-20 可对准的用户界面 Active CN106575152B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/338,768 2014-07-23
US14/338,768 US9846522B2 (en) 2014-07-23 2014-07-23 Alignable user interface
PCT/US2015/041049 WO2016014371A1 (en) 2014-07-23 2015-07-20 Alignable user interface

Publications (2)

Publication Number Publication Date
CN106575152A CN106575152A (zh) 2017-04-19
CN106575152B true CN106575152B (zh) 2019-09-27

Family

ID=53794490

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580040844.1A Active CN106575152B (zh) 2014-07-23 2015-07-20 可对准的用户界面

Country Status (4)

Country Link
US (1) US9846522B2 (zh)
EP (1) EP3172645A1 (zh)
CN (1) CN106575152B (zh)
WO (1) WO2016014371A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017113757A1 (zh) * 2015-12-31 2017-07-06 北京小鸟看看科技有限公司 一种环绕式界面布局方法、三维沉浸式环境下内容切换方法和列表切换方法
TWI610059B (zh) * 2016-08-04 2018-01-01 緯創資通股份有限公司 三維量測方法及應用其之三維量測裝置
US10395099B2 (en) * 2016-09-19 2019-08-27 L'oreal Systems, devices, and methods for three-dimensional analysis of eyebags
JP6958141B2 (ja) * 2017-09-05 2021-11-02 富士フイルムビジネスイノベーション株式会社 情報処理装置、画像形成装置、および、プログラム
US10678116B1 (en) * 2017-11-09 2020-06-09 Facebook Technologies, Llc Active multi-color PBP elements
JP7075237B2 (ja) * 2018-02-23 2022-05-25 ラピスセミコンダクタ株式会社 操作判定装置及び操作判定方法
WO2019213103A1 (en) * 2018-04-30 2019-11-07 Aih Llc System and method for real image view and tracking guided positioning for a mobile radiology or medical device
US11079911B2 (en) * 2018-12-26 2021-08-03 Synaptics Incorporated Enrollment-free offline device personalization
JP7307568B2 (ja) * 2019-03-20 2023-07-12 任天堂株式会社 画像表示システム、画像表示プログラム、表示制御装置、および画像表示方法
CN111443801B (zh) * 2020-03-25 2023-10-13 北京百度网讯科技有限公司 人机交互方法、装置、设备及存储介质
CN114690120A (zh) * 2021-01-06 2022-07-01 杭州嘉澜创新科技有限公司 一种定位方法、装置和系统、计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101311882A (zh) * 2007-05-23 2008-11-26 华为技术有限公司 视线跟踪人机交互方法及装置
CN102830793A (zh) * 2011-06-16 2012-12-19 北京三星通信技术研究有限公司 视线跟踪方法和设备
CN102830797A (zh) * 2012-07-26 2012-12-19 深圳先进技术研究院 一种基于视线判断的人机交互方法及系统

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8159458B2 (en) 2007-12-13 2012-04-17 Apple Inc. Motion tracking user interface
JP4998364B2 (ja) 2008-04-28 2012-08-15 オムロン株式会社 視線検出装置および方法、並びに、プログラム
KR101602363B1 (ko) 2008-09-11 2016-03-10 엘지전자 주식회사 3차원 사용자 인터페이스의 제어방법과 이를 이용한 이동 단말기
JP2010086336A (ja) * 2008-09-30 2010-04-15 Fujitsu Ltd 画像制御装置、画像制御プログラムおよび画像制御方法
WO2010057304A1 (en) 2008-11-21 2010-05-27 London Health Sciences Centre Research Inc. Hands-free pointer system
WO2012107892A2 (en) 2011-02-09 2012-08-16 Primesense Ltd. Gaze detection in a 3d mapping environment
US8643680B2 (en) 2011-04-08 2014-02-04 Amazon Technologies, Inc. Gaze-based content display
US20120257035A1 (en) 2011-04-08 2012-10-11 Sony Computer Entertainment Inc. Systems and methods for providing feedback by tracking user gaze and gestures
CN103797440B (zh) 2011-09-15 2016-12-21 皇家飞利浦有限公司 具有用户反馈的基于姿势的用户界面
KR101850034B1 (ko) 2012-01-06 2018-04-20 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR101180119B1 (ko) * 2012-02-23 2012-09-05 (주)올라웍스 카메라 모듈을 통해 사용자의 머리를 트래킹하여 화면을 제어하는 방법, 제어장치 및 컴퓨터 판독 가능한 기록 매체
JP6028351B2 (ja) * 2012-03-16 2016-11-16 ソニー株式会社 制御装置、電子機器、制御方法、及びプログラム
US9423870B2 (en) 2012-05-08 2016-08-23 Google Inc. Input determination method
US9823742B2 (en) * 2012-05-18 2017-11-21 Microsoft Technology Licensing, Llc Interaction and management of devices using gaze detection
US9117382B2 (en) 2012-09-28 2015-08-25 Intel Corporation Device and method for automatic viewing perspective correction
KR20150003560A (ko) * 2013-07-01 2015-01-09 삼성전자주식회사 사용자의 모션 정보에 기초하여 사용자 인터페이스(ｕｉ)를 변경시키는 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101311882A (zh) * 2007-05-23 2008-11-26 华为技术有限公司 视线跟踪人机交互方法及装置
CN102830793A (zh) * 2011-06-16 2012-12-19 北京三星通信技术研究有限公司 视线跟踪方法和设备
CN102830797A (zh) * 2012-07-26 2012-12-19 深圳先进技术研究院 一种基于视线判断的人机交互方法及系统

Also Published As

Publication number Publication date
EP3172645A1 (en) 2017-05-31
CN106575152A (zh) 2017-04-19
WO2016014371A1 (en) 2016-01-28
US9846522B2 (en) 2017-12-19
US20160026342A1 (en) 2016-01-28

Similar Documents

Publication Publication Date Title
CN106575152B (zh) 可对准的用户界面
CN105518575B (zh) 与自然用户界面的双手交互
US20220011859A1 (en) Eye tracking calibration techniques
CN106164818B (zh) 使用随着时间的眼睛注视评估进行选择
CN107810465B (zh) 用于产生绘制表面的系统和方法
CN109496331B (zh) 用户界面菜单的情景感知
US11755122B2 (en) Hand gesture-based emojis
EP2946264B1 (en) Virtual interaction with image projection
CN113826058B (zh) 具有自触觉虚拟键盘的人工现实系统
US10186086B2 (en) Augmented reality control of computing device
US9766806B2 (en) Holographic keyboard display
JP2022535325A (ja) 人工現実システムのための腕注視駆動のユーザインターフェース要素ゲーティング
US20110304632A1 (en) Interacting with user interface via avatar
US10921879B2 (en) Artificial reality systems with personal assistant element for gating user interface elements
KR20220018562A (ko) 인공 현실 시스템을 위한 모서리-식별 제스처-구동 사용자 인터페이스 요소 게이팅
US20200074734A1 (en) REAL-WORLD OBJECT INTERFACE FOR VIRTUAL, AUGMENTED, AND MIXED REALITY (xR) APPLICATIONS
CN116868152A (zh) 用于在三维环境中呈现化身的界面

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant