CN105683893A - 基于运动或运动的缺乏在启用触摸的设备上呈现控制界面 - Google Patents

基于运动或运动的缺乏在启用触摸的设备上呈现控制界面 Download PDF

Info

Publication number
CN105683893A
CN105683893A CN201480052612.3A CN201480052612A CN105683893A CN 105683893 A CN105683893 A CN 105683893A CN 201480052612 A CN201480052612 A CN 201480052612A CN 105683893 A CN105683893 A CN 105683893A
Authority
CN
China
Prior art keywords
control inerface
touch
screen
state
finger
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480052612.3A
Other languages
English (en)
Other versions
CN105683893B (zh
Inventor
D·J·黄
J（L）·戴
S·维斯瓦那山
J·B·托本斯
J·A·罗德里格斯
P·G·戴维斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN105683893A publication Critical patent/CN105683893A/zh
Application granted granted Critical
Publication of CN105683893B publication Critical patent/CN105683893B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04804—Transparency, e.g. transparent or translucent windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本文中描述了能够基于运动或运动的缺乏致使控制界面被呈现在启用触摸的设备上的各技术。运动，诸如悬停姿势，可被检测并且响应于该检测控制界面被呈现。替换地，运动的缺乏可被检测并且响应于该检测控制界面被呈现。悬停姿势可发生，而用户没有物理地触摸启用触摸的设备的触摸屏。相反，用户的一个或多个手指可被定位在触摸屏之上的某一间隔距离处。触摸屏可(诸如通过电容感测)检测用户的手指在触摸屏的附近。附加地，手指移动可在手指正在悬停时被检测以扩展对于姿势输入的现有选项。

Description

基于运动或运动的缺乏在启用触摸的设备上呈现控制界面
背景
触摸屏已经在最近几年得到了很大的增长。触摸屏现在在以下场所中常见：诸如机场处的信息亭、自动取款机(ATM)、自动贩卖机、计算机、移动电话等。
触摸屏通常通过图标向用户提供多个选项，并且用户可选择那些图标来启动应用、控制应用、获得与图标相关联的附加信息等。如果选择的结果没有向用户提供理想的结果，则他/她通常选择“回退”按钮或“主页”按钮或以其它方式从该应用或信息中回退。
此外，通过选择图标来控制应用通常涉及多个步骤。例如，用户可选择一图标来获得对包括对应于控件的多个图标的控制面板的访问。用户可接着选择对应于用于控制该应用的控件的图标中的一个或多个。一旦用户完成使用该控制面板，用户通常选择一个或多个图标来致使该控制面板从触摸屏中移除。选择用于实现想要的结果的多个图标浪费用户的时间。此外，对于移动电话用户而言，电池寿命可能被不必要地浪费。
概述
本文中描述的各个方法尤其用于基于运动或运动的缺乏致使控制界面被呈现在启用触摸的设备上。运动(诸如悬停姿势)可被检测并且响应于该检测控制界面被呈现。替换地，运动的缺乏可被检测并且响应于该检测控制界面被呈现。悬停姿势可发生，而用户没有物理地触摸启用触摸的设备的触摸屏。相反，用户的一个或多个手指可被定位在触摸屏之上的某一间隔距离处。触摸屏可(诸如通过电容感测)检测用户的手指在触摸屏的附近。附加地，手指移动可在手指正在悬停时被检测以扩展对于姿势输入的现有选项。
描述了各示例方法。根据第一示例方法，在悬停位置中检测手指。手指可距离触摸屏某一间隔距离。检测手指中的至少一个的运动。运动是用来呈现控制界面的用户命令，该控制界面被配置成控制与被显示在触摸屏上的虚拟元素相关联的内容。控制界面可基于该运动被致使呈现在触摸屏上。
根据第二示例方法，在悬停位置中检测手指。手指可距离触摸屏某一间隔距离。检测手指中的至少一个的运动。运动是用于增加至少部分地在触摸屏上可见的控制界面的可见性的用户命令。控制界面被配置成控制与显示在触摸屏上的虚拟元素相关联的内容。控制界面在触摸屏上的可见性基于该运动被致使增加。
根据第三示例方法，在悬停位置中检测手指。手指可距离触摸屏某一间隔距离。检测用于呈现控制界面的用户命令。控制界面被配置成控制与显示在触摸屏上的虚拟元素相关联的内容。用户命令由手指保持在悬停位置中达至少指定的时间段来表征并进一步由手指保持不动达至少该指定的时间段来表征。控制界面基于对用户命令的检测被致使呈现在触摸屏上。
还描述了示例系统。第一示例系统包括触摸屏传感器、姿势引擎和渲染引擎。触摸屏传感器被配置成在悬停位置中检测手指。手指可距离触摸屏某一间隔距离。姿势引擎被配置成检测手指中的至少一个的运动。运动是用来呈现控制界面的用户命令，该控制界面被配置成控制与被显示在触摸屏上的虚拟元素相关联的内容。渲染引擎被配置成基于该运动致使控制界面被呈现在触摸屏上。
第二示例系统包括触摸屏传感器、姿势引擎和渲染引擎。触摸屏传感器被配置成在悬停位置中检测手指。手指可距离触摸屏某一间隔距离。姿势引擎被配置成检测手指中的至少一个的运动。运动是用于增加至少部分地在触摸屏上可见的控制界面的可见性的用户命令。控制界面被配置成控制与显示在触摸屏上的虚拟元素相关联的内容。渲染引擎被配置成基于该运动致使控制界面在触摸屏上的可见性增加。
第三示例系统包括触摸屏传感器、姿势引擎和渲染引擎。触摸屏传感器被配置成在悬停位置中检测手指。手指可距离触摸屏某一间隔距离。姿势引擎被配置成检测用于呈现控制界面的用户命令。控制界面被配置成控制与显示在触摸屏上的虚拟元素相关联的内容。用户命令由手指保持在悬停位置中达至少指定的时间段来表征并进一步由手指保持不动达至少指定的时间段来表征。渲染引擎被配置成基于对用户命令的检测致使控制界面被呈现在触摸屏上。
还描述了计算机程序产品。第一示例计算机程序产品包括计算机可读介质，该计算机可读介质具有被记录在其上的用于使得基于处理器的系统能够致使控制界面被呈现的计算机程序逻辑。计算机程序产品包括第一程序逻辑模块、第二程序逻辑模块和第三程序逻辑模块。第一程序逻辑模块用于使得基于处理器的系统能够在悬停位置中检测手指。手指可距离触摸屏某一间隔距离。第二程序逻辑模块用于使得基于处理器的系统能够检测手指中的至少一个的运动。运动是用来呈现控制界面的用户命令，该控制界面被配置成控制与被显示在触摸屏上的虚拟元素相关联的内容。第三程序逻辑模块用于使得基于处理器的系统能够基于该运动致使控制界面被呈现在触摸屏上。
第二示例计算机程序产品包括计算机可读介质，该计算机可读介质具有被记录在其上的用于使得基于处理器的系统能够致使控制界面的可见性增加的计算机程序逻辑。计算机程序产品包括第一程序逻辑模块、第二程序逻辑模块和第三程序逻辑模块。第一程序逻辑模块用于使得基于处理器的系统能够在悬停位置中检测手指。手指可距离触摸屏某一间隔距离。第二程序逻辑模块用于使得基于处理器的系统能够检测手指中的至少一个的运动。运动是用于增加至少部分地在触摸屏上可见的控制界面的可见性的用户命令。控制界面被配置成控制与显示在触摸屏上的虚拟元素相关联的内容。第三程序逻辑模块用于使得基于处理器的系统能够基于该运动致使控制界面在触摸屏上的可见性增加。
第三示例计算机程序产品包括计算机可读介质，该计算机可读介质具有被记录在其上的用于使得基于处理器的系统能够致使控制界面被呈现的计算机程序逻辑。计算机程序产品包括第一程序逻辑模块、第二程序逻辑模块和第三程序逻辑模块。第一程序逻辑模块用于使得基于处理器的系统能够在悬停位置中检测手指。手指可距离触摸屏某一间隔距离。第二程序逻辑模块用于使得基于处理器的系统能够检测用于呈现控制界面的用户命令。控制界面被配置成控制与显示在触摸屏上的虚拟元素相关联的内容。用户命令由手指保持在悬停位置中达至少指定的时间段来表征并进一步由手指保持不动达至少指定的时间段来表征。第三程序逻辑模块用于使得基于处理器的系统能够基于对用户命令的检测致使控制界面被呈现在触摸屏上。
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，注意到本发明不限于在详细描述和/或本文的其它章节中所述的特定实施例。本文呈现这些实施例仅用于说明性的用途。基于本文所包含的描述，其它实施例对于相关领域的技术人员将是显而易见的。
附图说明
本文结合的并且组成本说明书的一部分的附图示出了本发明的各实施例，并且还与本描述一起用于解释所涉及的原理以及使相关领域的技术人员能够实现和使用所公开的技术。
图1是具有用于感测手指悬停、运动和/或运动的缺乏、姿势等的触摸屏的示例性移动设备的系统图示。
图2是可被用于接收基于手指的悬停输入的示例性系统组件的说明。
图3描绘了根据一实施例的用于致使控制界面被呈现的示例方法的流程图。
图4-17是根据各实施例的显示启用触摸的设备(例如图1中显示的移动设备)的各个示例性状态的框图。
图18显示可被用于致使控制界面被呈现在启用触摸的设备上的一些悬停输入姿势的示例。
图19描绘了根据一实施例的用于致使控制界面的可见性被增加的示例方法的流程图。
图20描绘了根据一实施例的用于致使控制界面被呈现的示例方法的流程图。
图21描绘了其中可实现各实施例的示例计算机。
通过下面的结合附图对本发明进行的详细说明，所公开的技术的特点和优点将变得更加显而易见，在附图中，类似的附图标记在整个说明书中标识对应的元素。在附图中，相同的参考标号一般指相同的、功能上相似的和/或结构上相似的元素。其中元素第一次出现的附图由对应的参考标号中最左侧的数字指示。
详细描述
I.引言
以下详细描述参考示出本发明的示例性实施例的附图。但是，本发明的范围不限于这些实施例，而是由所附权利要求书定义。因此，诸如所示实施例的修改版本之类的在附图所示之外的实施例仍然由本发明所包含。
本说明书中对“一个实施例”、“实施例”、“示例实施例”等的引用指的是所述实施例可包括特定的特征、结构或特点，但是每一实施例不一定包括该特定的特征、结构或特点。此外，这些短语不一定指相同的实施例。此外，当结合实施例描述具体特征、结构或特性时，应当理解在相关领域的技术人员的知识范围内能够结合其他实施例来实现具体特征、结构或特性，无论是否被显式地描述。
II.示例实施例
本文中描述的示例实施例能够接收触摸屏上或其它触摸响应表面上的用户输入。这样的触摸响应表面的示例包括对电阻、电容或灯光进行响应来检测触摸或邻近姿势的材料。运动(例如，悬停姿势)或运动的缺乏可被检测并且某一动作响应于该检测被执行。悬停姿势可发生，而无需用户物理地触摸触摸屏。相反，用户的一个或多个手指可被定位在触摸屏之上的某一间隔距离处。触摸屏可(诸如通过电容感测)检测用户的手指在触摸屏的附近。附加地，手指移动可在手指正在悬停时被检测以扩展对于姿势输入的现有选项。
与用于接收触摸屏上的用户输入的常规技术相比，本文中所述的示例技术具有多种益处。例如，各技术可以能够基于运动的发生或运动的缺乏来致使控制界面被呈现在触摸屏上。运动或运动的缺乏可由用户的手指来执行。例如，运动或运动的缺乏可在手指距离触摸屏某一间隔距离时被执行。因此，控制界面可在无需手指触摸触摸屏的情况下被调用。示例技术可减少被消耗来致使控制界面被呈现的时间量和/或资源(例如，处理资源)。例如，各技术可消除选择触摸屏上的图标来致使控制界面被呈现的需要。用于致使控制界面被呈现的运动可包括悬停姿势。这样的悬停姿势不需要与某些其它类型的为了对其准确的检测发生的姿势(例如，触摸姿势)那样精确。
本文中描述的实施例关注于移动设备，诸如移动电话。然而，描述的实施例可被应用到任意具有触摸屏或触摸表面的设备，包括膝上型计算机、平板、台式计算机、电视机、可穿戴设备等。
各实施例针对悬停触摸姿势(又称悬停姿势)来描述，这是出于说明性目的而非旨在作出限制。可以认识到，本文中描述的各实施例可使用任意合适类型的运动来实现。这样的运动不需要非得包括悬停触摸姿势。
悬停触摸被构建到触摸框架内以检测屏幕之上的手指以及跟踪手指移动。例如，姿势引擎可被用于检测手指的运动或这种运动的缺乏。运动可包括悬停触摸姿势，但是各示例实施例的范围不限于这个方面。可以认识到，允许悬停识别显著地扩展了用于实现在触摸屏设备上的可用姿势库。
姿势引擎可被用于识别悬停触摸姿势，包括如以下示例：(1)手指悬停平移－将手指悬浮在屏幕之上并以任一方向来平移手指；(2)手指悬停挠痒/轻拂－将手指悬浮在屏幕之上并快速地轻拂手指一次或多次，就像与手指的挠痒运动；(3)手指悬浮画圈－将手指或拇指悬浮在屏幕之上并在空气中绘制正向圆圈或反向圆圈；(4)手指悬停保持－将手指悬浮在屏幕之上并将手指保持静止；(5)手掌滑扫－将手的边缘或手的手掌悬浮并跨屏幕滑扫；(6)空中捏合/提升/放置－使用拇指和指点手指在屏幕之上做出捏合手势、拖曳、接着释放运动；(7)手部挥动手势－将手部悬浮在屏幕之上并以手部挥动运动来来回移动手部。
悬停触摸姿势与用户输入命令有关，其中用户的手部(例如，一个或多个手指、手掌等)距离触摸屏某一间隔距离表明用户没有与该触摸屏接触。此外，用户的手部应当处于接近于触摸屏的范围内，诸如在0.1到0.25英寸之间、或在0.25英寸到0.5英寸之间、或在0.5英寸到0.75英寸之间或在0.75英寸到1英寸之间或在1英寸到1.5英寸之间，等等。可使用任意理想的距离，但是在许多实施例中，一般而言，这样的距离可以少于2英寸。
可使用各种范围。对用户的手部的感测可基于电容感测，但是其它技术可被使用，诸如超声波距离传感器或基于相机的感测(对用户的手部拍摄的图像以获得距离和移动)。
一旦运动被检测(例如，一旦悬停触摸姿势被识别)，控制界面就可被呈现(例如，被自动地呈现)在触摸屏上，如以下进一步描述的。
图1是描绘示例性移动设备100的系统图，该移动设备包括各种可选的硬件和软件组件，在102处概括地示出。该移动设备中的任何组件102可与任何其他组件通信，但为了方便说明，并非所有连接都被示出。移动设备可以是各种计算设备(例如，蜂窝电话、智能电话、手持式计算机、个人数字助理(PDA)等)中的任一个，并且可允许与诸如蜂窝或卫星网络的一个或多个移动通信网络104或与局域网或广域网进行无线双向通信。
所示移动设备100可包括用于执行如信号编码、数据处理、输入/输出处理、电源控制和/或其他功能等任务的控制器或处理器110(例如，信号处理器、微处理器、ASIC、或其他控制和处理逻辑电路)。操作系统112可控制对组件102的分配和使用，并支持一个或多个应用程序114(又称应用)。应用程序114可包括公共移动计算应用程序(例如，电子邮件应用程序、日历、联系人管理器、web浏览器、消息接发应用程序)、或任何其他计算应用(例如字处理应用、地图应用、媒体播放器应用)。
所示移动设备100可包括存储器120。存储器120可包括不可移动存储器122和/或可移动存储器124。不可移动存储器122可包括RAM、ROM、闪存、硬盘、或其它众所周知的存储器存储技术。可移动存储器124可包括闪存或在GSM通信系统中公知的订户身份模块(SIM)卡，或者诸如“智能卡”的其它公知存储器存储技术。存储器120可用于存储数据和/或用于运行操作系统112和应用114的代码。示例数据可包括经由一个或多个有线或无线网络发送给和/或接收自一个或多个网络服务器或其它设备的网页、文本、图像、声音文件、视频数据、或其它数据集。存储器120可用于存储诸如国际移动订户身份(IMSI)等订户标识符，以及诸如国际移动设备标识符(IMEI)等设备标识符。可将此类标识符传送给网络服务器以标识用户和设备。
移动设备100可支持诸如触摸屏132、话筒134、相机136、物理键盘138、和/或跟踪球140等一个或多个输入设备130，以及诸如扬声器152和显示器154等一个或多个输出设备150。诸如触摸屏132的触摸屏可以不同方式检测输入。例如，电容式触摸屏在物体(例如，指尖)使流过表面的电流变形或中断时检测到触摸输入。作为另一示例，触摸屏可使用光学传感器，在来自光学传感器的光束被中断时检测到触摸输入。对于通过某些触摸屏被检测到的输入来说，与屏幕表面的物理接触并不是必需的。例如，如本领域公知地，触摸屏132可使用电容感测来支持手指悬停检测。可使用如以上已经描述的其它检测技术，包括基于相机的检测和基于超声波的检测。为了实现手指悬停，用户的手指通常在触摸屏上方预定间隔距离内，诸如在0.1至0.25英寸之间、或0.25至0.5英寸之间、或0.5至0.75英寸之间、或0.75至1英寸之间、或1至1.5英寸之间等等。
为了说明目的，触摸屏132被示为包括控制界面192。控制界面192被配置成控制与显示在触摸屏132上的虚拟元素相关联的内容。在一示例实施例中，控制界面192被配置成控制由一个或多个应用114提供的内容。例如，当移动设备102的用户利用应用时，控制界面192可在触摸屏132上被呈现给用户以使用户能够访问控制这种内容的控件。控制界面192的呈现可基于(例如触发于)距触摸屏132指定距离内的运动的检测、或者没有此类运动。用于基于运动或没有运动使控制界面(例如控制界面192)呈现在触摸屏(例如触摸屏132)上的示例实施例在以下更具体地描述。
其他可能的输出设备(未示出)可包括压电或其他触觉输出设备。一些设备可提供一个以上的输入/输出功能。例如，触摸屏132和显示器154可被组合在单个输入/输出设备中。输入设备130可包括自然用户接口(NUI)。NUI是使得用户能够以“自然”方式与设备交互而不受由诸如鼠标、键盘、遥控器等输入设备强加的人为约束的任何接口技术。NUI方法的示例包括依赖于语音识别、触摸和指示笔识别、屏幕上和屏幕附近的姿势识别、空中姿势、头部和眼睛跟踪、嗓音和语音、视觉、触摸、姿势、以及机器智能的那些方法。NUI的其它示例包括使用加速计/陀螺仪、脸部识别、3D显示、头、眼以及凝视跟踪、身临其境的增强现实和虚拟现实系统的运动姿势检测(所有这些都提供更为自然的接口)，以及用于通过使用电场感测电极(EEG和相关方法)感测脑部活动的技术。由此，在一特定示例中，操作系统112或应用114可包括作为允许用户经由语音命令来操作设备100的语音控制界面的一部分的语音识别软件。此外，设备100可包括允许经由用户的空间姿势进行用户交互(诸如检测和解释姿势以向游戏应用提供输入)的输入设备和软件。
无线调制解调器160可被耦合到天线(未示出)，并可支持处理器110和外部设备之间的双向通信，如本领域中清楚理解的。调制解调器160被一般性地示出，并且可以包括用于与移动通信网络104通信的蜂窝调制解调器166和/或其它基于无线电的调制解调器(例如蓝牙164或Wi-Fi162)。无线调制解调器160的至少之一通常被配置用于与一个或多个蜂窝网络(诸如，用于在单个蜂窝网络内、蜂窝网络之间、或移动设备与公共交换电话网络(PSTN)之间的数据和语音通信的GSM网络)进行通信。
移动设备还可包括至少一个输入/输出端口180、电源182、诸如全球定位系统(GPS)接收机之类的卫星导航系统接收机184、加速度计186、和/或物理连接器190，物理连接器可以是USB端口、IEEE1394(火线)端口、和/或RS-232端口。所示的组件102的各组件并非是必需或者涵盖全部的，因为如本领域技术人员所认识到的，任何组件可不被删除且其它组件可被添加。
图2是示出可被用于实现悬停用户输入的组件的进一步细节的系统图示。触摸屏传感器210可检测在触摸屏(例如，触摸屏132)之上间隔距离(即，非零距离)处的手指悬停。这种技术的一些示例可从CypressSemiconductorCorp.(柏半导体公司)处获得，但是提供类似检测功能性的其它系统也在本领域中已知。
姿势引擎212可接收来自触摸屏传感器的输入以解释用户输入，该用户输入包括在悬停位置(在触摸屏之上某一距离处的位置)中的手指、手指中的至少一个的运动或这种运动的缺乏等。运动可包括悬停姿势(用于执行某一动作的用户输入命令)。悬停姿势可包括用户手指维持在固定位置中达预先确定的时间段或某个预先确定的手指移动。一些预先确定的手指移动可包括挠痒(tickle)移动或画圈移动或勾选移动(类似用户勾选框)等等，在挠痒移动中，用户以快速运动将他/她的手指来回移动以模仿挠痒。特定的姿势包括但不限于，(1)手指悬停平移－将手指悬浮在屏幕之上并以任一方向来平移手指；(2)手指悬停挠痒/轻拂－将手指悬浮在屏幕之上并快速地轻拂手指一次或多次，就像与手指的挠痒运动；(3)手指悬浮画圈－将手指或拇指悬浮在屏幕之上并在空气中绘制正向圆圈或反向圆圈；(4)手指悬停保持－将手指悬浮在屏幕之上并将手指保持静止；(5)手掌滑扫－将手的边缘或手的手掌悬浮并跨屏幕滑扫；(6)空中捏合/提升/放置－使用拇指和指点手指在屏幕之上做出捏合手势、拖曳、接着释放运动；(7)手部挥动手势－将手部悬浮在屏幕之上并以手部挥动运动来来回移动手部。使用这些姿势中的每一个，用户的手指不触摸屏幕。
一旦姿势引擎212解释用户输入，姿势引擎212就能向操作系统214提醒运动(例如，姿势)、运动的缺乏等等。作为响应，操作系统214能致使使用渲染引擎216将控制界面(例如，控制界面192)呈现在触摸屏上。也可以说，渲染引擎致使控制界面被呈现在触摸屏上。
图3描绘了根据一实施例的用于致使控制界面被呈现的示例方法的流程图300。流程图300可由移动设备(诸如图1中显示的移动设备100)来执行。可以认识到，这样的移动设备可包括图2中显示的系统组件中的任意一个或多个。例如，移动设备可包括触摸屏传感器210、姿势引擎212、操作系统214和/或渲染引擎216。出于说明性目的，流程图300相对图2中显示的系统组件来描述。基于有关流程图300的讨论，其他结构及操作的实施例对于相关领域的技术人员将是显而易见的。
如图3所示，流程图300的方法在步骤302处开始。在步骤302，在悬停位置中检测手指。例如，可在悬停位置中检测手指的存在。手指距离触摸屏某一间隔距离。当一个或多个手指被检测到在触摸屏之上间隔距离(其可以是任意距离，无论是预先确定的还是基于对信号的接收)处，但该一个或多个手指没有物理地触摸该触摸屏时，悬停位置出现。检测表明触摸传感器(例如，触摸屏传感器210)识别到一个或多个手指在触摸屏附近。在一示例实现中，触摸屏传感器210在悬停位置中检测到手指。根据这个实现，手指距离触摸屏132某一间隔距离。例如，手指可距离触摸屏132上的触摸屏传感器210某一间隔距离。
在一示例实现中，在步骤302处在悬停位置中检测到手指致使进入悬停模式。根据这个实施例，一旦进入悬停模式，如以下更加详细描述的，则运动(例如，悬停姿势)就可被检测。
在步骤304，检测手指中的至少一个的运动。运动是用来呈现控制界面的用户命令，该控制界面被配置成控制与被显示在触摸屏上的虚拟元素相关联的内容。运动在手指中的至少一个没有触摸触摸屏的情况下发生。在一示例实现中，姿势引擎212检测手指中的至少一个的运动。
可在步骤304处在触摸屏中的虚拟元素被显示在其中的一区域上基于被显示在该区域中的虚拟元素来检测运动。替换地，可在步骤304处在触摸屏中的一区域上检测运动，而不管虚拟元素被显示在触摸屏上的何处。虚拟元素的示例包括但不限于，窗口(例如，内容被显示在其中或要被显示在其中的窗口)；图标；虚拟按钮；照片；绘图；文本文档(例如，电子邮件)；以及项的表示，该项诸如地图(或其上感兴趣的点)、歌曲、电影或计算机程序(例如，图形编辑程序、文字处理程序、电子邮件程序、地图程序、媒体播放器等)。与虚拟元素相关联的内容可以是被显示在虚拟元素中的内容，但是示例实施例的范围在这个方面不被限制。内容的示例包括但不限于，媒体内容(例如，音频、视频、照片或它们的组合)、音频/可视内容(例如，具有声音的视频)、音频内容、可视内容等。可视内容可包括非文本内容(例如，地图、照片、不具有声音的视频)和/或文本内容。以下进一步详细描述使用以上提到的示例虚拟元素和内容中的一些的示例实现。
在一示例实施例中，步骤304包括检测运动发生达至少指定的时间段。例如，指定的时间段可以是固定的(例如，预先确定的)时间段(例如，0.5秒、0.8秒、1.0秒、1.2秒、1.5秒)。在另一示例中，指定的时间段可以是基于一个或多个因素的可变的时间段。这样的因素的示例包括但不限于，用户的偏好(例如，偏好的时间段)、关于用户的历史信息(例如，用户历史上完成该运动(例如，为了作出指定的悬停姿势)所采取的平均、最大或最小时间)等。
在另一示例实施例中，在步骤304处检测到的运动包括悬停姿势。在这个实施例的一方面中，步骤304包括检测由手指中的至少一个执行的手指悬停轻拂。在另一方面中，步骤304包括检测由手指中的至少一个执行的高速轻拂。根据这个方面，高速轻拂由手指中的至少一个以大于或等于阈值速度的速度行进来定义。进一步根据这个方面，检测手指悬停轻拂可包括测量手指中的至少一个行进的速度，将该速度与阈值速度进行比较，并且确定该速度大于或等于阈值速度。在还一方面中，步骤304包括检测由手指中的至少一个执行的手指悬停平移。例如，步骤304可包括基于手指中的至少一个相对于触摸屏以指定的(例如，预先确定的)方向移动来检测手指悬停平移。在还一方面中，步骤304包括检测由手指中的至少一个执行的手指悬停画圈。
在另一方面中，手指中的至少一个包括多个手指(例如，数个手指)。例如，步骤304可包括检测该多个手指被移动到一起(例如，捏合在一起)。在另一示例中，步骤304可包括检测该多个手指移动而分开。
以上关于步骤304描述的示例悬停姿势是出于说明性目的被提供的，而非旨在作出限制。可以认识到，在步骤304检测到的运动可包括涉及运动的任意合适的悬停姿势。
在步骤306，控制界面可基于该运动被致使呈现在触摸屏上。在一示例实现中，操作系统214和/或渲染引擎216基于该运动致使控制界面被呈现在触摸屏132上。
在步骤306处致使控制界面被呈现可用各种方式中的任一种来执行。在第一示例实施例中，步骤306包括从其中控制界面没有被显示在触摸屏上的第一状态转换到其中控制界面被显示在触摸屏上的第二状态。在这个实施例的一方面中，转换是平滑的。根据这个方面，转换可对用户而言看起来是连续的(例如，在从第一状态转换到第二状态中没有中断或暂停)。因此，控制界面可在触摸屏上淡入视野。在另一方面中，转换是周期性的并包括第一状态和第二状态之间的一个或多个离散的中间状态。根据这个方面，每个连续中间状态由控制界面的递增地越来越好的可见性来表征。进一步根据这个方面，第二状态由控制界面的大于控制界面的由一个或多个离散的中间状态中的每一个表征的可见性的可见性表征。在还一方面中，转换具有相对短的历时(例如，1.0秒或更少的历时、0.8秒或更少的历时、0.6秒或更少、0.4秒或更少等)。在还一方面中，转换具有相对长的历时(例如，1.5秒或更多的历时、2.0秒或更多的历时、2.5秒或更多的历时、3.0秒或更多的历时等)。
在第二示例实施例中，步骤306包括致使控制界面从其中控制界面的一部分被显示在触摸屏上的第一状态改变到其中控制界面的大于该部分的程度(例如，整个控制界面)被显示在触摸屏上的第二状态。控制界面的该部分少于全部控制界面。例如，控制界面的被显示在触摸屏上的比例可从大于0的第一比例(例如，0.01、2.2％、1/20、10％等)增加到大于第一比例的第二比例(例如，9/10、0.963，100％)。
在第三示例实施例中，步骤306包括致使控制界面从其中控制界面是部分地透明的第一状态改变到其中控制界面是不透明的第二状态。例如，控制界面的不透明度的程度可从大于0的第一程度的不透明度(例如，10％)被增加到100％的第二程度的不透明度。在另一示例中，控制界面的透明度的程度可从少于百分之一百的第一程度的透明度(例如，90％)被减少到0％的第二程度的透明度。
在第四示例实施例中，步骤306包括致使控制界面从第一状态改变到第二状态。在第一状态中，控制界面是部分地透明的以提供第一程度的透明度。在第二状态中，控制界面是部分地透明的以提供少于第一程度的第二程度的透明度。第一程度的透明度和第二程度的透明度中的每一个都大于0％并少于100％。
可以认识到，不透明度和透明度是逆相关的。例如，如果透明度的程度是0％，则对应的不透明度的程度是100％。如果透明度的程度是100％，则对应的不透明度的程度是0％。根据以上描述的第四示例实施例，控制界面的不透明度的程度可从大于0的第一程度的不透明度(例如，5％)被增加到大于第一不透明度并少于100％的第二程度的不透明度(例如，99％)。根据这个示例，第一程度的不透明度对应于第一程度的透明度，而第二程度的不透明度对应于第二程度的透明度。因此，将不透明度的程度从5％增加到99％等同于将透明度的程度从95％减少到1％。可以认识到，本文中提到的示例不透明度和透明度值是出于说明性目的被提供的，而非旨在作出限制。透明度或不透明度的程度可以是任意合适的值。
以上描述的用于在步骤306处致使控制界面被呈现的示例方式是出于说明性目的被提供的，而非旨在作出限制。任意合适的技术可在步骤306被采用来致使控制界面被呈现。例如，触摸屏上控制界面的分辨率可被增加；触摸屏上控制界面的对比度可被增加等等。
在某些示例实施例中，可以不执行流程图300的一个或多个步骤302、304和/或306。此外，可以执行作为步骤302、304、和/或306的补充或替换的步骤。例如，在一示例实施例中，流程图300的方法包括检测手指从悬停位置中的移除。根据这个实施例，基于手指从悬停位置中的移除来致使触摸屏上控制界面的呈现中断。例如，控制界面可滑动到触摸屏的边缘或滑动出触摸屏，变得较透明(例如，淡出)等。
现在将描述用于显示对流程图300的方法的可能使用的所选的示例实现。在第一示例实现中，虚拟元素是地图。根据这个实现，基于在步骤304处检测到的手指中的至少一个的运动，具有使得用户能够相对于地图上的某一位置来放大(zoomin)和/或缩小(zoomout)的控件的控制界面在步骤306处被致使呈现在触摸屏上。例如，控制界面可包括该缩放滑块控件，缩放滑块控件使得用户能够将虚拟开关向上(或向右)滑动来增加关于该位置的放大倍数和/或将虚拟开关向下(或向左)滑动来降低关于该位置的放大倍数。上面提及的示例方向是仅出于说明的目的来提供的，并且不旨在进行限制。缩放滑块控件可被配置成使得虚拟开关可沿着任意合适的轴以任意合适的方向来被滑动，以增加或降低放大倍数。
在第二示例实现中，虚拟元素是媒体内容(例如，歌曲或视频)的表示或能够播放这类内容的媒体播放器的表示。根据这个实现，具有使得用户能够控制媒体内容的控件的控制界面在步骤306处被致使呈现在触摸屏上。例如，控制界面可包括穿梭控件。穿梭控件可使得用户能够逐帧地移动媒体内容，控制(例如，设置)媒体内容被快进和/或回放的速度等。在另一示例中，控制界面可包括拖动滑块控件，该拖动滑块控件使得用户能够沿着某一轴拖动开关以快进和/或回放到媒体内容中理想的点或帧。例如，向右拖动开关可将媒体内容从媒体内容中当前播放的点或帧快进。向左拖动开关可将媒体内容从媒体内容中当前播放的点或帧回放。可以认识到，拖动滑块控件可被配置成使得开关可沿着任意合适的轴以任意合适的方向被滑动来快进或回放媒体内容。
在第三示例实现中，虚拟元素是用户界面。根据这个实现，用户界面的使得用户能够添加、移除和/或改变被显示在用户界面中的内容的来自浏览器(chrome)的项(例如，应用栏或应用托盘)在步骤306处被致使呈现在触摸屏上。
在第四示例实现中，虚拟元素是消息(例如，电子邮件、短消息服务(SMS)、即时消息(IM)等)、这样的消息的列表或管理这样的消息的传送的消息收发应用的表示。在这个实现的一个方面中，基于在步骤304处检测到的手指中的至少一个的运动，具有使得用户能够相对于消息(例如，消息列表中的)来执行操作(例如，转发、回复、删除)的控件的控制界面在步骤306处被致使呈现在触摸屏上。
在这个实现的另一方面中，软输入面板(SIP)(例如，虚拟键盘)基于该运动在步骤306处被致使呈现在触摸屏上。例如，与该消息相关联的历史可被显示在触摸屏上。当在步骤304处检测到该运动时，SIP可作为步骤306的结果被呈现在触摸屏上，使得用户可将文本键入到该消息中。当用户将他/她的手指移动离开SIP时(例如，达指定的时间段)，SIP的呈现可被中断。例如，SIP可从触摸屏中消失、移动到屏幕的边缘、变得较透明(其可使得用户能够查看历史)等。当用户将他/她的手指移动回SIP被呈现在其中的附近时，SIP可再次被呈现在触摸屏上，以此类推。
在第五示例实现中，虚拟元素是因特网浏览器的表示。根据这个实现，具有使得用户能够控制被显示在浏览器中的内容的控件的控制界面在步骤306处被致使呈现在触摸屏上。例如，控制界面可包括用于在网页之间导航(例如，从一个网页到另一个网页)的控件。在另一示例中，如果内容是媒体内容，则控制界面可包括用于控制媒体内容的穿梭控件、拖动滑块控件等。
在第六示例实现中，虚拟元素是相机的虚拟视口或被相机捕捉的图像的表示。根据这个实现，具有使得用户能够控制图像或与其相关联的其它图像的表示中的内容的控件的控制界面在步骤306处被致使呈现在触摸屏上。例如，控制界面可包括使得用户能够对于图像中的对象来放大和/或缩小、开启和/或关闭相机的闪光灯、开启和/或关闭相机的视频模式、选择要针对图像所使用的镜头类型和/或一个或多个滤镜等的控件。
图4-17是根据各实施例的显示启用触摸的设备(诸如图1中显示的移动设备102)的各个示例性状态的框图。图4-11显示在如以上关于流程图300的步骤304描述的检测运动之前可出现的各个状态。图12-17显示作为如以上关于流程图300的步骤306描述的致使控制界面被呈现的结果来出现的各个状态。
图4描绘了启用触摸的设备400的一状态，其中启用触摸的设备400的触摸屏402显示虚拟元素404。被配置成控制与虚拟元素404相关联的内容的控制界面没有被示出(例如，没有被显示)在触摸屏402上。
图5描绘了启用触摸的设备500的一状态，其中启用触摸的设备500的触摸屏502显示虚拟元素504。可被配置成控制与虚拟元素504相关联的内容的控制界面506被部分地显示在触摸屏502上。出于说明性目的而非进行限制，控制界面506的一部分被显示为被触摸屏502的底部截断。可以认识到，控制界面506的各部分可沿着触摸屏502的一侧或多侧被截断或可被隐藏到触摸屏502上的一个或多个虚拟元素的后面。虚拟元素504和控制界面506在图5中是非重叠的(即，没有重叠)，但是示例实施例的范围不在这个方面被限制(如在图6中看到的)。
图6描绘了启用触摸的设备600的一状态，其中启用触摸的设备600的触摸屏602显示虚拟元素604。控制界面600被部分地显示在触摸屏602上。图6中描绘的状态类似于图5中描绘的状态，除了图6中的虚拟元素604和控制界面606部分地重叠。如图6中显示的，少于控制界面606的全部与虚拟元素604重叠。
图7描绘了启用触摸的设备700的一状态，其中启用触摸的设备700的触摸屏702显示虚拟元素704。控制界面706的整体被显示在触摸屏702上。控制界面706在图7中被显示为部分地透明，如被其虚线外边界指示的。控制界面704完全与虚拟元素704重叠，使得控制界面706的外边界被包括在虚拟元素704的外边界内。
图8描绘了启用触摸的设备800的一状态，其中启用触摸的设备800的触摸屏802显示虚拟元素804。控制界面806的整体被显示在触摸屏802上。控制界面806在图8中被显示为部分地透明，如被其虚线外边界指示的。图8中描绘的状态类似于图7中描绘的状态，除了图6中的虚拟元素804和控制界面806不重叠。
图9描绘了启用触摸的设备900的一状态，其中启用触摸的设备900的触摸屏902显示虚拟元素904。控制界面906被部分地显示在触摸屏902上。控制界面906在图9中被显示为部分地透明，如被其虚线外边界指示的。图9中描绘的状态类似于图8中描绘的状态，除了图9中的控制界面906被部分地显示在触摸屏902上。出于说明性目的而非进行限制，控制界面906的一部分被显示为被触摸屏902的底部截断。
图10描绘了启用触摸的设备1000的一状态，其中启用触摸的设备1000的触摸屏1002显示虚拟元素1004。控制界面1006的整体被显示在触摸屏1002上。控制界面1006在图10中被显示为部分地透明，如被其虚线外边界指示的。图10中描绘的状态类似于图8中描绘的状态，除了图10中的虚拟元素1004和控制界面1006部分地重叠。
图11描绘了启用触摸的设备1100的一状态，其中启用触摸的设备1100的触摸屏1102显示虚拟元素1104。控制界面1106被部分地显示在触摸屏1102上。控制界面1106在图11中被显示为部分地透明，如被其虚线外边界指示的。图11中描绘的状态类似于图9中描绘的状态，除了图11中的虚拟元素1104和控制界面1106部分地重叠。
图12描绘了启用触摸的设备1200的一状态，其中启用触摸的设备1200的触摸屏1202显示虚拟元素1204。控制界面1206基于手指1210的运动(如被运动指示线1212描绘的)被致使呈现在触摸屏1202上。控制界面1206被显示完全地移动到触摸屏上的视图中，如被箭头1208所描绘的。
出于说明性的目的而非旨在作出限制，控制界面1206被显示从触摸屏的底部完全地移动到视图中。可以认识到，控制界面126可从触摸屏1202的任意侧和/或定义触摸屏1202的平面中的任意角度中完全地移动到视图中。还可以认识到，控制界面1206不需要非得移动到视图中。例如，控制界面126可完整地出现在触摸屏1202上，而不接触触摸屏1202的外边界(例如，从其中控制界面1206不被显示的一状态到其中控制界面1206被部分地显示和/或为部分地透明的状态)。根据这个示例，控制界面1206可淡入触摸屏1202上的视图中。
控制界面1206完全地与虚拟元素1204重叠，使得控制界面1206的外边界被包括在虚拟元素1204的外边界内，但是示例实施例的范围不在这个方面进行限制(如将在图13和14中看到的)。
图13描绘了启用触摸的设备1300的一状态，其中启用触摸的设备1300的触摸屏1302显示虚拟元素1304。控制界面1306被致使呈现在触摸屏1302上，如被箭头1308所描绘的。控制界面1306的整体被显示在触摸屏1302上。图13中描绘的状态类似于图12中描绘的状态，除了图13中的虚拟元素1304和控制界面1306不重叠。
图14描绘了启用触摸的设备1400的一状态，其中启用触摸的设备1400的触摸屏1402显示虚拟元素1404。控制界面1406被致使呈现在触摸屏1402上，如被箭头1408所描绘的。控制界面1406的整体被显示在触摸屏1402上。图14中描绘的状态类似于图12中描绘的状态，除了图14中的虚拟元素1404和控制界面1406部分地重叠。
图15描绘了启用触摸的设备1500的一状态，其中启用触摸的设备1500的触摸屏1502显示虚拟元素1504。控制界面1506基于运动被致使呈现在触摸屏1502上。控制界面1506的整体被显示在触摸屏1502上。图15中描绘的状态类似于图12中描绘的状态，除了图15中的控制界面1506部分地透明，如被其虚线外边界所指示的。图15中描绘的状态类似于图7中描绘的状态，除了图7中显示的控制界面706的透明度的程度大于图15中显示的控制界面1506的透明度的程度。因此，图7中显示的控制界面706的不透明度的程度小于图15中显示的控制界面1506的不透明度的程度。
图16描绘了启用触摸的设备1600的一状态，其中启用触摸的设备1600的触摸屏1602显示虚拟元素1604。控制界面1606基于运动被致使呈现在触摸屏1602上。控制界面1606的整体被显示在触摸屏1602上。图16中描绘的状态类似于图13中描绘的状态，除了图16中的控制界面1606部分地透明，如被其虚线外边界所指示的。图16中描绘的状态类似于图8中描绘的状态，除了图8中显示的控制界面806的透明度的程度大于图16中显示的控制界面1606的透明度的程度。因此，图8中显示的控制界面806的不透明度的程度小于图16中显示的控制界面1606的不透明度的程度。
图17描绘了启用触摸的设备1700的一状态，其中启用触摸的设备1700的触摸屏1702显示虚拟元素1704。控制界面1706基于运动被致使呈现在触摸屏1702上。控制界面1706的整体被显示在触摸屏1702上。图17中描绘的状态类似于图14中描绘的状态，除了图17中的控制界面1706部分地透明，如被其虚线外边界所指示的。图17中描绘的状态类似于图10中描绘的状态，除了图10中显示的控制界面1006的透明度的程度大于图17中显示的控制界面1706的透明度的程度。因此，图10中显示的控制界面1006的不透明度的程度小于图17中显示的控制界面1706的不透明度的程度。
图4-17中描绘的示例状态是仅出于说明的目的来提供的，并且不旨在进行限制。可以认识到，任何合适的状态(包括除了本文中描述的那些状态之外的状态)可被用在本文中描述的示例技术中以用于致使控制界面被呈现在启用触摸的设备上。
图18显示可被用于致使控制界面被呈现在启用触摸的设备上的一些悬停输入姿势的示例。第一悬停姿势1810是画圈姿势，其中用户的手指以圆圈运动来移动。顺时针画圈姿势可与逆时针画圈姿势不同地解释。例如，逆时针画圈姿势可被解释为致使与被顺时针画圈姿势所致使的动作相反的动作(例如，放大和缩小、对控制界面的呈现和对呈现的中断等)。第二悬停姿势1820被显示为挠痒运动，其中用户的指尖以来回运动来移动。虽然未在图18中显示，第三悬停姿势是其中用户的指点手指维持在同一悬停位置中达预先确定的时间段。其它悬停姿势可被使用，诸如举例而言用户在启用触摸的设备的触摸屏之上描绘出勾选标记。在任一情况下，可基于在距离触摸屏某一间隔距离处的预先定义的手指运动来检测各种悬停姿势。其它悬停姿势可以是快速移入和移出，而不触摸该屏幕。由此，用户的手指在预先确定的时间段内进入和离开悬停区域。另一悬停姿势可以是高速轻拂，其涉及手指在某一距离上以特定最小速度行进。还一悬停姿势是基于手掌的挥动姿势。这些和其它悬停姿势可根据本文中描述的示例实施例构成致使控制界面被呈现的运动。
图19描绘了根据一实施例的用于致使控制界面的可见性被增加的示例方法的流程图1900。图20描绘了根据一实施例的用于致使控制界面被呈现的示例方法的流程图2000。流程图1900和2000可由移动设备(诸如图1中显示的移动设备100)来执行。可以认识到，这样的移动设备可包括图2中显示的系统组件中的任意一个或多个。例如，移动设备可包括触摸屏传感器210、姿势引擎212、操作系统214和/或渲染引擎216。出于说明性目的，流程图1900和2000相对图2中显示的系统组件来描述。基于有关流程图1900和2000的讨论，进一步的结构及操作的实施例对于相关领域的技术人员将是显而易见的。
如图19所示，流程图1900的方法在步骤1902处开始。在步骤1902，在悬停位置中检测手指。手指距离触摸屏某一间隔距离。在一示例实现中，触摸屏传感器210在悬停位置中检测手指。根据这个实现，手指距离触摸屏132某一间隔距离。例如，手指可距离触摸屏132上的触摸屏传感器210某一间隔距离。
在步骤1904，检测手指中的至少一个的运动。运动是用于增加至少部分地在触摸屏上可见的控制界面的可见性的用户命令。运动在手指中的至少一个没有触摸触摸屏的情况下发生。控制界面被配置成控制与显示在触摸屏上的虚拟元素相关联的内容。在一示例实现中，姿势引擎212检测手指中的至少一个的运动。
在一示例实施例中，步骤1904包括检测运动发生达至少指定的时间段。在另一示例实施例中，运动包括悬停姿势(例如，手指悬停轻拂、高速轻拂、手指悬停平移、手指悬停画圈、手指移动到一起、手指移动而分开、挥动或滑扫包括手指中的至少一个手指在内的手部等)。
在步骤1906，控制界面在触摸屏上的可见性基于该运动被致使增加。在一示例实现中，操作系统214和/或渲染引擎216基于该运动致使控制界面在触摸屏132上的可见性被增加。
在步骤1906处致使控制界面的可见性被增加可用各种方式中的任一种来执行。在第一示例实施例中，步骤1906包括致使控制界面从其中控制界面的一部分被显示在触摸屏上的第一状态改变到其中控制界面的大于该部分的程度(例如，整个控制界面)被显示在触摸屏上的第二状态。控制界面的该部分少于全部控制界面。
在第二示例实施例中，步骤1906包括致使控制界面从其中控制界面是部分地透明的第一状态改变到其中控制界面是不透明的第二状态。
在第三示例实施例中，步骤1906包括致使控制界面从第一状态改变到第二状态。根据这个实施例，在第一状态中，控制界面是部分地透明的，以提供第一程度的透明度。进一步根据这个实施例，在第二状态中，控制界面是部分地透明的以提供少于第一程度的第二程度的透明度。
在图19的实施例中，当在步骤1904检测到手指中的至少一个的运动时，控制界面至少部分地在触摸屏上可见。由此，步骤1906可包括从第一状态转换到第二状态，其中第一状态可以是图5-11中所描绘的状态中的任一种，并且第二状态可以是图12-17中所描绘的状态中的任一种。然而，可以认识到，在这个实施例中，第一状态不可能是图4中所描绘的状态。控制界面在图4中没有被显示在触摸屏上并且由此没有至少部分地在触摸屏上可见。
在某些示例实施例中，可以不执行流程图1900的一个或多个步骤1902、1904和/或1906。此外，可以执行作为步骤1902、1904、和/或1906的补充或替换的步骤。
如图20所示，流程图2000的方法在步骤2002处开始。在步骤2002，在悬停位置中检测手指。手指可距离触摸屏某一间隔距离。在一示例实现中，触摸屏传感器210在悬停位置中检测手指。根据这个实现，手指距离触摸屏132某一间隔距离。例如，手指可距离触摸屏132上的触摸屏传感器210某一间隔距离。
在步骤2004，检测用于呈现控制界面的用户命令，该控制界面被配置成控制与被显示在触摸屏上的虚拟元素相关联的内容。用户命令由手指保持在悬停位置中达至少指定的时间段来表征。用户命令进一步由手指保持不动达至少该指定的时间段来表征。在一示例实现中，姿势引擎212检测用户命令。例如，姿势引擎212可检测手指保持在悬停位置中达至少指定的时间段以及手指保持不同达至少指定的时间段。
在一示例实施例中，用户命令进一步由至少一个非悬停姿势的发生来表征。非悬停姿势是不包括悬停的姿势。非悬停姿势的示例包括但不限于，注视姿势(例如，注视达至少阈值时间段)、看并眨眼姿势(例如，在看时眨眼)、语音姿势(例如，说出命令)等。在一示例实现中，姿势引擎212检测该至少一个非悬停姿势。
在步骤2006，控制界面基于对用户命令的检测被致使呈现在触摸屏上。在一示例实现中，操作系统214和/或渲染引擎216基于对用户命令的检测致使控制界面被呈现在触摸屏132上。
在步骤2006处致使控制界面被呈现可用各种方式中的任一种来执行。在第一示例实施例中，步骤2006包括从其中控制界面没有被显示在触摸屏上的第一状态转换到其中控制界面被显示在触摸屏上的第二状态。
在第二示例实施例中，步骤2006包括致使控制界面从其中控制界面的一部分被显示在触摸屏上的第一状态改变到其中控制界面的大于该部分的程度(例如，整个控制界面)被显示在触摸屏上的第二状态。控制界面的该部分少于全部控制界面。
在第三示例实施例中，步骤2006包括致使控制界面从其中控制界面是部分地透明的第一状态改变到其中控制界面是不透明的第二状态。
在第四示例实施例中，步骤2006包括致使控制界面从第一状态改变到第二状态。根据这个实施例，在第一状态中，控制界面是部分地透明的，以提供第一程度的透明度。进一步根据这个实施例，在第二状态中，控制界面是部分地透明的以提供少于第一程度的第二程度的透明度。
在图20的实施例中，步骤2006可包括从第一状态转换到第二状态，其中第一状态可以是图4-11中所描绘的状态中的任一种，并且第二状态可以是图12-17中所描绘的状态中的任一种。
在某些示例实施例中，可以不执行流程图2000的一个或多个步骤2002、2004和/或2006。此外，可以执行作为步骤2002、2004、和/或2006的补充或替换的步骤。
虽然为方便呈现起见所公开的方法的一些操作是以特定的顺序次序来描述的，但应当理解，这一描述方法涵盖重新安排，除非以下阐明的具体语言需要特定排序。例如，在某些情况下，可以重新安排或并发执行顺序地描述的操作。此外，为简明起见，附图可能未示出其中所公开的方法可结合其他方法使用的各种方式。
图1中显示的组件102中的任意一个或多个、渲染引擎216、姿势引擎212、流程图300、流程图1900和/或流程图2000可被实现在硬件、软件、固件或其任意组合中。
例如，组件102中的任意一个或多个、渲染引擎216、姿势引擎212、流程图300、流程图1900和/或流程图2000可被实现为被配置成在一个或多个处理器中执行的计算机程序代码。
为清楚起见，只描述了基于软件和基于固件的各实现的某些所选择的方面。省略了本领域公知的其他细节。例如，应当理解，所公开的技术不限于任何特定计算机语言、或程序。例如，所公开的技术可由用C++、Java、Perl、JavaScript、AdobeFlash或任何其他合适的编程语言编写的软件和/或固件来实现。
在另一示例中，组件102中的任意一个或多个、渲染引擎216、姿势引擎212、流程图300、流程图1900和/或流程图2000可被实现为硬件逻辑/电子电路。
例如，在一实施例中，组件102中的一个或多个、渲染引擎216、操作系统214、姿势引擎212、触摸屏传感器210、流程图300、流程图1900和/或流程图2000可被实现在片上系统(SoC)中。SoC可包括集成电路芯片，该集成电路芯片包括以下一个或多个：处理器(如微控制器、微处理器、数字信号处理器(DSP)等等)、存储器、一个或多个通信接口、和/或用于执行其功能的进一步的电路和/或嵌入的固件。
III.示例计算机系统
图21描绘其中可实现各实施例的示例计算机2100。例如，图1中显示的移动设备100可使用计算机2100来实现，包括计算机2100的一个或多个特征和/或替换的特征。计算机2100可以是例如常规个人计算机、移动计算机或工作站形式的通用计算设备，或者计算机2100可以是专用计算设备。此处所提供的对计算机2100的描述只是为了说明，并不是限制性的。各实施例也可以在相关领域的技术人员所知的其它类型的计算机系统中实现。
如图21所示，计算机2100包括处理单元2102、系统存储器2104和总线2106，总线2106将包括系统存储器2104在内的各种系统组件耦合到处理单元2102。总线2106表示若干类型的总线结构中的任何一种总线结构的一个或多个，包括存储器总线或存储器控制器、外围总线、加速图形端口，以及处理器或使用各种总线体系结构中的任何一种的局部总线。系统存储器2104包括只读存储器(ROM)2108和随机存取存储器(RAM)2110。基本输入/输出系统2112(BIOS)储存在ROM2108中。
计算机2100还具有一个或多个以下驱动器：用于读写硬盘的硬盘驱动器2114、用于读或写可移动磁盘2118的磁盘驱动器2116、以及用于读或写诸如CDROM、DVDROM或其他光介质之类的可移动光盘2122的光盘驱动器2120。硬盘驱动器2114、磁盘驱动器2116，以及光盘驱动器2120分别通过硬盘驱动器接口2124、磁盘驱动器接口2126，以及光学驱动器接口2128连接到总线2106。驱动器以及它们相关联的计算机可读介质为计算机提供了对计算机可读指令、数据结构、程序模块，及其他数据的非易失存储器。虽然描述了硬盘、可移动磁盘和可移动光盘，但是，也可以使用诸如闪存卡、数字视频盘、随机存取存储器(RAM)、只读存储器(ROM)等等之类的其他类型的计算机可读存储介质来储存数据。
数个程序模块可被储存在硬盘、磁盘、光盘、ROM或RAM上。这些程序包括操作系统2130、一个或多个应用程序2132、其他程序模块2134以及程序数据2136。应用程序2132或程序模块2134可包括例如，用于实现如本文中描述的组件102中的任意一个或多个、渲染引擎216、姿势引擎212、流程图300(包括流程图300中的任一步骤)、流程图1900(包括流程图1900的任一步骤)和/或流程图2000(包括流程图2000的任一步骤)的计算机程序逻辑。
用户可以通过诸如键盘2138和定点设备2140之类的输入设备向计算机2100中输入命令和信息。其它输入设备(未示出)可包括话筒、操纵杆、游戏手柄、圆盘式卫星天线、扫描仪、触敏屏、相机、加速度计、陀螺仪等等。这些及其他输入设备常常通过耦合到总线2106的串行端口接口2142连接到处理单元2102，但是，也可以通过其他接口，诸如并行端口、游戏端口或通用串行总线(USB)，来进行连接。
显示设备2144(例如监视器)也通过诸如视频适配器2146之类的接口连接到总线2106。除了显示设备2144之外，计算机2100还可包括其他外围输出设备(未示出)，如扬声器和打印机。
计算机2100通过网络接口或适配器2150、调制解调器2152、或用于通过网络建立通信的其他装置连接到网络2148(例如，因特网)。调制解调器2152(可以是内置的或外置的)通过串行端口接口2142连接到总线2106。
如此处所用的，术语“计算机程序介质”以及“计算机可读介质”用于泛指介质，诸如与硬盘驱动器2114相关联的硬盘、可移动磁盘2118、可移动光盘2122，以及其他介质，诸如闪存卡、数字视频盘、随机读取存储器(RAM)、只读存储器(ROM)等。这些计算机可读存储介质与通信介质(不包括通信介质)相区别且不重叠。通信介质通常在诸如载波等已调制数据信号中承载计算机可读指令、数据结构、程序模块或者其它数据。术语“已调制数据信号”是指使得以在信号中编码信息的方式来设置或改变其一个或多个特性的信号。作为示例而非限制，通信介质包括无线介质，如声学、RF、红外和其它无线介质。各个示例实施例也针对这些通信介质。
如上文所指示的，计算机程序和模块(包括应用程序2132及其他程序模块2134)可被储存在硬盘、磁盘、光盘、ROM或RAM上。这样的计算机程序也可以通过网络接口2150或串行端口接口2142来接收。这些计算机程序在由应用程序执行或加载时使得计算机2100能够实现此处所讨论的实施例的特征。相应地，这样的计算机程序表示计算机2100的控制器。
示例实施例还涉及包括存储在任何计算机可用介质上的软件(例如计算机可读指令)的计算机程序产品。这样的软件，当在一个或多个数据处理设备中执行时，使数据处理设备如此处所描述的那样操作。实施例可使用现在已知或将来知晓的任何计算机可使用或计算机可读介质。计算机可读介质的示例包括，但不仅限于，诸如RAM、硬盘驱动器、软盘、CDROM、DVDROM、zip磁盘、磁带、磁存储设备、光存储设备、基于MEMS的存储设备、基于纳米技术的存储设备等等之类的存储设备。
可以认识到，所公开的技术不限于任何特定计算机或硬件类型。合适计算机和硬件的某些细节是众所周知的，因此无需在本公开中进行详细阐述。
IV.结语
虽然以上描述了不同的实施例，但应当理解的是它们只是作为示例而非限制。对于相关领域的技术人员显而易见的是，可以对其做出各种改变而不背离本发明的精神和范围。因此，此处所公开的本发明的宽度和范围不应被上述所公开的示例性实施例所限制，而应当仅根据所附权利要求书及其等同替换来定义。

Claims (15)

1.一种方法，包括：
在悬停位置中检测一个或多个手指，所述一个或多个手指距离触摸屏一间隔距离；
检测所述一个或多个手指中的至少一个手指的运动，所述运动是用于呈现控制界面的用户命令，所述控制界面被配置成控制与被显示在所述触摸屏上的虚拟元素相关联的内容，所述运动在所述一个或多个手指中的所述至少一个手指没有触摸所述触摸屏的情况下发生；以及
基于所述运动致使所述控制界面被呈现在所述触摸屏上。
2.如权利要求1所述的方法，其特征在于，致使所述控制界面被呈现在所述触摸屏上包括：
从其中所述控制界面没有被显示在所述触摸屏上的第一状态转换到其中所述控制界面被显示在所述触摸屏上的第二状态。
3.如权利要求1所述的方法，其特征在于，致使所述控制界面被呈现在所述触摸屏上包括：
致使所述控制界面从其中所述控制界面是部分地透明的第一状态改变到其中所述控制界面是不透明的第二状态。
4.如权利要求1所述的方法，其特征在于，致使所述控制界面被呈现在所述触摸屏上包括：
致使所述控制界面从第一状态改变到第二状态；
其中，在所述第一状态中，所述控制界面是部分地透明的以提供第一程度的透明度；以及
其中，在所述第二状态中，所述控制界面是部分地透明的以提供少于所述第一程度的第二程度的透明度。
5.如权利要求1所述的方法，其特征在于，致使所述控制界面被呈现在所述触摸屏上包括：
致使所述控制界面从其中所述控制界面的一部分被显示在所述触摸屏上的第一状态改变到其中所述控制界面的整体被显示在所述触摸屏上的第二状态，所述一部分少于所述控制界面的全部。
6.如权利要求1所述的方法，其特征在于，检测运动包括：
检测所述运动发生达至少指定的时间段。
7.一种系统，包括：
被配置成在悬停位置中检测一个或多个手指的触摸屏传感器，所述一个或多个手指距离触摸屏一间隔距离；
姿势引擎，所述姿势引擎被配置成响应于对所述一个或多个手指的检测来检测在所述一个或多个手指中的至少一个手指没有触摸所述触摸屏的情况下所述一个或多个手指中的所述至少一个手指的运动，所述运动是用于增加在所述触摸屏上至少部分地可见的控制界面的可见性的用户命令，所述控制界面被配置成控制与被显示在所述触摸屏上的虚拟元素相关联的内容；以及
渲染引擎，所述渲染引擎被配置成基于所述运动致使所述控制界面在所述触摸屏上的所述可见性增加。
8.如权利要求7所述的系统，其特征在于，所述渲染引擎被配置成致使所述控制界面从其中所述控制界面是部分地透明的第一状态改变到其中所述控制界面是不透明的第二状态。
9.如权利要求7所述的系统，其特征在于，所述渲染引擎被配置成致使所述控制界面从第一状态改变到第二状态；
其中，在所述第一状态中，所述控制界面是部分地透明的以提供第一程度的透明度；以及
其中，在所述第二状态中，所述控制界面是部分地透明的以提供少于所述第一程度的第二程度的透明度。
10.如权利要求7所述的系统，其特征在于，所述渲染引擎被配置成致使所述控制界面从其中所述控制界面的一部分被显示在所述触摸屏上的第一状态改变到其中所述控制界面的整体被显示在所述触摸屏上的第二状态，所述一部分少于所述控制界面的全部。
11.一种包括计算机可读介质的计算机程序产品，所述计算机可读介质上记录了计算机程序逻辑，所述计算机程序逻辑用于使得基于处理器的系统能够致使控制界面被呈现在触摸屏上，所述计算机程序产品包括：
第一程序逻辑模块，所述第一程序逻辑模块用于使得所述基于处理器的系统能够在悬停位置中检测一个或多个手指，所述一个或多个手指距离所述触摸屏一间隔距离；
第二程序逻辑模块，所述第二程序逻辑模块用于使得所述基于处理器的系统能够检测用于呈现被配置成控制与被显示在所述触摸屏上的虚拟元素相关联的内容的所述控制界面的用户命令，所述用户命令由所述一个或多个手指保持在所述悬停位置中达至少指定的时间段来表征并且进一步由所述一个或多个手指保持不动达至少所述指定的时间段来表征；以及
第三程序逻辑模块，所述第三程序逻辑模块用于使得所述基于处理器的系统能够基于对所述用户命令的检测致使所述控制界面被呈现在所述触摸屏上。
12.如权利要求11所述的计算机程序产品，其特征在于，所述第三程序逻辑模块包括：
用于使得所述基于处理器的系统能够致使从其中所述控制界面没有被显示在所述触摸屏上的第一状态转换到其中所述控制界面被显示在所述触摸屏上的第二状态的逻辑。
13.如权利要求11所述的计算机程序产品，其特征在于，所述第三程序逻辑模块包括：
用于使得所述基于处理器的系统能够致使所述控制界面从其中所述控制界面是部分地透明的第一状态改变到其中所述控制界面是不透明的第二状态的逻辑。
14.如权利要求11所述的计算机程序产品，其特征在于，所述第三程序逻辑模块包括：
用于使得所述基于处理器的系统能够致使所述控制界面从第一状态改变到第二状态的逻辑；
其中，在所述第一状态中，所述控制界面是部分地透明的以提供第一程度的透明度；以及
其中，在所述第二状态中，所述控制界面是部分地透明的以提供少于所述第一程度的第二程度的透明度。
15.如权利要求11所述的计算机程序产品，其特征在于，所述第三程序逻辑模块包括：
用于使得所述基于处理器的系统能够致使所述控制界面从其中所述控制界面的一部分被显示在所述触摸屏上的第一状态改变到其中所述控制界面的整体被显示在所述触摸屏上的第二状态的逻辑，所述一部分少于所述控制界面的全部。
CN201480052612.3A 2013-09-24 2014-09-19 基于运动或运动的缺乏在启用触摸的设备上呈现控制界面 Active CN105683893B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/035,888 US9645651B2 (en) 2013-09-24 2013-09-24 Presentation of a control interface on a touch-enabled device based on a motion or absence thereof
US14/035,888 2013-09-24
PCT/US2014/056423 WO2015047880A1 (en) 2013-09-24 2014-09-19 Presentation of a control interface on a touch-enabled device based on a motion or absence thereof

Publications (2)

Publication Number Publication Date
CN105683893A true CN105683893A (zh) 2016-06-15
CN105683893B CN105683893B (zh) 2019-07-26

Family

ID=51663494

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480052612.3A Active CN105683893B (zh) 2013-09-24 2014-09-19 基于运动或运动的缺乏在启用触摸的设备上呈现控制界面

Country Status (17)

Country Link
US (2) US9645651B2 (zh)
EP (1) EP3049908B1 (zh)
JP (1) JP2016534483A (zh)
KR (1) KR102343783B1 (zh)
CN (1) CN105683893B (zh)
AU (1) AU2014327146A1 (zh)
BR (1) BR112016004430A8 (zh)
CA (1) CA2922493C (zh)
CL (1) CL2016000678A1 (zh)
HK (1) HK1223713A1 (zh)
IL (1) IL244367A0 (zh)
MX (1) MX356479B (zh)
PH (1) PH12016500257B1 (zh)
RU (1) RU2016110571A (zh)
SG (2) SG10201807806UA (zh)
WO (1) WO2015047880A1 (zh)
ZA (1) ZA201600966B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112764656A (zh) * 2020-12-29 2021-05-07 北京谊安医疗系统股份有限公司 基于穿梭钮的生命支持系统多合一显示系统的操作方法

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9576285B2 (en) * 2002-10-01 2017-02-21 Dylan T X Zhou One gesture, one blink, and one-touch payment and buying using haptic control via messaging and calling multimedia system on mobile and wearable device, currency token interface, point of sale device, and electronic payment card
US9563890B2 (en) * 2002-10-01 2017-02-07 Dylan T X Zhou Facilitating mobile device payments using product code scanning
US11209961B2 (en) * 2012-05-18 2021-12-28 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs
KR102130797B1 (ko) 2013-09-17 2020-07-03 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
US9645651B2 (en) 2013-09-24 2017-05-09 Microsoft Technology Licensing, Llc Presentation of a control interface on a touch-enabled device based on a motion or absence thereof
US20150153854A1 (en) * 2013-12-03 2015-06-04 Lenovo (Singapore) Pte. Ltd. Extension of wearable information handling device user interface
US20150346943A1 (en) * 2014-06-02 2015-12-03 Vidya Srinivas Storage device for touch screen displays
US10579236B2 (en) * 2014-06-20 2020-03-03 Ati Technologies Ulc Responding to user input including providing user feedback
US20160378967A1 (en) * 2014-06-25 2016-12-29 Chian Chiu Li System and Method for Accessing Application Program
US9594489B2 (en) 2014-08-12 2017-03-14 Microsoft Technology Licensing, Llc Hover-based interaction with rendered content
US20160139628A1 (en) * 2014-11-13 2016-05-19 Li Bao User Programable Touch and Motion Controller
US10156908B2 (en) * 2015-04-15 2018-12-18 Sony Interactive Entertainment Inc. Pinch and hold gesture navigation on a head-mounted display
US9715366B2 (en) * 2015-09-16 2017-07-25 International Business Machines Corporation Digital map of a physical location based on a user's field of interest and a specific sound pattern
US10606457B2 (en) * 2016-10-11 2020-03-31 Google Llc Shake event detection system
CN106601254B (zh) * 2016-12-08 2020-11-06 阿里巴巴（中国）有限公司 信息输入方法和装置及计算设备
US10649640B2 (en) 2017-05-02 2020-05-12 Microsoft Technology Licensing, Llc Personalizing perceivability settings of graphical user interfaces of computers
US10990240B1 (en) * 2019-06-07 2021-04-27 Facebook Technologies, Llc Artificial reality system having movable application content items in containers
KR20210100850A (ko) * 2020-02-07 2021-08-18 삼성전자주식회사 사용자 입력을 처리하는 전자 장치 및 방법
US11995359B2 (en) * 2021-12-14 2024-05-28 Canon Kabushiki Kaisha Image forming apparatus with touch and touchless input portion

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102719990A (zh) * 2012-06-18 2012-10-10 三明学院 智能经编多速电子送经系统
US20120304133A1 (en) * 2011-05-27 2012-11-29 Jennifer Nan Edge gesture
US20120306738A1 (en) * 2011-05-30 2012-12-06 Canon Kabushiki Kaisha Image processing apparatus capable of displaying operation item, method of controlling the same, image pickup apparatus, and storage medium
US20130050131A1 (en) * 2011-08-23 2013-02-28 Garmin Switzerland Gmbh Hover based navigation user interface control
US20130194314A1 (en) * 2012-01-26 2013-08-01 Nokia Corporation Desktop extension

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8479122B2 (en) 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US7760187B2 (en) 2004-07-30 2010-07-20 Apple Inc. Visual expander
US7663607B2 (en) 2004-05-06 2010-02-16 Apple Inc. Multipoint touchscreen
US7256770B2 (en) 1998-09-14 2007-08-14 Microsoft Corporation Method for displaying information responsive to sensing a physical presence proximate to a computer input device
US6501464B1 (en) 2000-10-31 2002-12-31 Intel Corporation On-screen transparent keyboard interface
US20030020733A1 (en) 2001-07-24 2003-01-30 Yin Memphis Zhihong Computer display having selective area magnification
US20030025676A1 (en) 2001-08-02 2003-02-06 Koninklijke Philips Electronics N.V. Sensor-based menu for a touch screen panel
US7411575B2 (en) 2003-09-16 2008-08-12 Smart Technologies Ulc Gesture recognition method and touch system incorporating the same
US8381135B2 (en) * 2004-07-30 2013-02-19 Apple Inc. Proximity detector in handheld device
US7489306B2 (en) 2004-12-22 2009-02-10 Microsoft Corporation Touch screen accuracy
JP4602166B2 (ja) 2005-06-07 2010-12-22 富士通株式会社 手書き情報入力装置。
US7636794B2 (en) * 2005-10-31 2009-12-22 Microsoft Corporation Distributed sensing techniques for mobile devices
US7778874B1 (en) 2005-11-14 2010-08-17 A9.Com, Inc. Automated generation of suggested online advertising campaign parameters
US20070268317A1 (en) 2006-05-18 2007-11-22 Dan Banay User interface system and method for selectively displaying a portion of a display screen
US7956847B2 (en) 2007-01-05 2011-06-07 Apple Inc. Gestures for controlling, manipulating, and editing of media files using touch sensitive devices
US7877707B2 (en) * 2007-01-06 2011-01-25 Apple Inc. Detecting and interpreting real-world and security gestures on touch and hover sensitive devices
US8650505B2 (en) * 2007-02-28 2014-02-11 Rpx Corporation Multi-state unified pie user interface
US8219936B2 (en) * 2007-08-30 2012-07-10 Lg Electronics Inc. User interface for a mobile device using a user's gesture in the proximity of an electronic device
US8363019B2 (en) 2008-05-26 2013-01-29 Lg Electronics Inc. Mobile terminal using proximity sensor and method of controlling the mobile terminal
US9658765B2 (en) 2008-07-31 2017-05-23 Northrop Grumman Systems Corporation Image magnification system for computer interface
US8237666B2 (en) 2008-10-10 2012-08-07 At&T Intellectual Property I, L.P. Augmented I/O for limited form factor user-interfaces
US20100107067A1 (en) 2008-10-27 2010-04-29 Nokia Corporation Input on touch based user interfaces
US8564555B2 (en) 2009-04-30 2013-10-22 Synaptics Incorporated Operating a touch screen control system according to a plurality of rule sets
EP2252055B1 (en) * 2009-05-13 2013-09-18 Sony Europe Limited A system for retrieval of executable applications for broadcast television
US8493344B2 (en) 2009-06-07 2013-07-23 Apple Inc. Devices, methods, and graphical user interfaces for accessibility using a touch-sensitive surface
US8466934B2 (en) 2009-06-29 2013-06-18 Min Liang Tan Touchscreen interface
US8347221B2 (en) 2009-10-07 2013-01-01 Research In Motion Limited Touch-sensitive display and method of control
US8358281B2 (en) 2009-12-15 2013-01-22 Apple Inc. Device, method, and graphical user interface for management and manipulation of user interface elements
US8384683B2 (en) 2010-04-23 2013-02-26 Tong Luo Method for user input from the back panel of a handheld computerized device
US20110261030A1 (en) 2010-04-26 2011-10-27 Bullock Roddy Mckee Enhanced Ebook and Enhanced Ebook Reader
US9098138B2 (en) 2010-08-27 2015-08-04 Apple Inc. Concurrent signal detection for touch and hover sensing
US8780060B2 (en) 2010-11-02 2014-07-15 Apple Inc. Methods and systems for providing haptic control
US20120120002A1 (en) 2010-11-17 2012-05-17 Sony Corporation System and method for display proximity based control of a touch screen user interface
US9575561B2 (en) 2010-12-23 2017-02-21 Intel Corporation Method, apparatus and system for interacting with content on web browsers
JP2012168932A (ja) * 2011-02-10 2012-09-06 Sony Computer Entertainment Inc 入力装置、情報処理装置および入力値取得方法
JP5774327B2 (ja) 2011-02-16 2015-09-09 株式会社テイエルブイ 気液分離器
US8314790B1 (en) 2011-03-29 2012-11-20 Google Inc. Layer opacity adjustment for a three-dimensional object
US9285950B2 (en) 2011-03-30 2016-03-15 Google Inc. Hover-over gesturing on mobile devices
KR101748668B1 (ko) * 2011-04-14 2017-06-19 엘지전자 주식회사 이동 단말기 및 그의 입체영상 제어방법
US9477348B2 (en) 2011-04-15 2016-10-25 Hewlett-Packard Development Company, L.P. Focus-based touch and hover detection
US20120304107A1 (en) * 2011-05-27 2012-11-29 Jennifer Nan Edge gesture
RU2455676C2 (ru) 2011-07-04 2012-07-10 Общество с ограниченной ответственностью "ТРИДИВИ" Способ управления устройством с помощью жестов и 3d-сенсор для его осуществления
JP5836105B2 (ja) 2011-12-20 2015-12-24 シャープ株式会社 情報処理装置、情報処理装置の制御方法、情報処理装置制御プログラムおよび該プログラムを記録したコンピュータ読み取り可能な記録媒体
EP2810188A1 (en) 2012-01-30 2014-12-10 Telefonaktiebolaget LM Ericsson (Publ) An apparatus having a touch screen display
JP5721662B2 (ja) * 2012-04-26 2015-05-20 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 入力受付方法、入力受付プログラム、及び入力装置
US8907927B2 (en) 2012-09-13 2014-12-09 Sap Portals Israel Ltd Camera based hover detection for touch-based mobile devices
JP5798103B2 (ja) 2012-11-05 2015-10-21 株式会社Ｎｔｔドコモ 端末装置、画面表示方法、プログラム
US20140267094A1 (en) 2013-03-13 2014-09-18 Microsoft Corporation Performing an action on a touch-enabled device based on a gesture
US20140267130A1 (en) 2013-03-13 2014-09-18 Microsoft Corporation Hover gestures for touch-enabled devices
US9170736B2 (en) 2013-09-16 2015-10-27 Microsoft Corporation Hover controlled user interface element
US9645651B2 (en) 2013-09-24 2017-05-09 Microsoft Technology Licensing, Llc Presentation of a control interface on a touch-enabled device based on a motion or absence thereof
US20150177866A1 (en) 2013-12-23 2015-06-25 Microsoft Corporation Multiple Hover Point Gestures
US9501218B2 (en) 2014-01-10 2016-11-22 Microsoft Technology Licensing, Llc Increasing touch and/or hover accuracy on a touch-enabled device
US9594489B2 (en) 2014-08-12 2017-03-14 Microsoft Technology Licensing, Llc Hover-based interaction with rendered content

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120304133A1 (en) * 2011-05-27 2012-11-29 Jennifer Nan Edge gesture
US20120306738A1 (en) * 2011-05-30 2012-12-06 Canon Kabushiki Kaisha Image processing apparatus capable of displaying operation item, method of controlling the same, image pickup apparatus, and storage medium
US20130050131A1 (en) * 2011-08-23 2013-02-28 Garmin Switzerland Gmbh Hover based navigation user interface control
US20130194314A1 (en) * 2012-01-26 2013-08-01 Nokia Corporation Desktop extension
CN102719990A (zh) * 2012-06-18 2012-10-10 三明学院 智能经编多速电子送经系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112764656A (zh) * 2020-12-29 2021-05-07 北京谊安医疗系统股份有限公司 基于穿梭钮的生命支持系统多合一显示系统的操作方法
CN112764656B (zh) * 2020-12-29 2022-05-20 北京谊安医疗系统股份有限公司 基于穿梭钮的生命支持系统多合一显示系统的操作方法

Also Published As

Publication number Publication date
SG11201601827UA (en) 2016-04-28
BR112016004430A8 (pt) 2020-02-11
CA2922493A1 (en) 2015-04-02
RU2016110571A (ru) 2017-09-28
US9645651B2 (en) 2017-05-09
US20150089419A1 (en) 2015-03-26
CA2922493C (en) 2022-11-08
EP3049908A1 (en) 2016-08-03
IL244367A0 (en) 2016-04-21
CL2016000678A1 (es) 2016-10-07
SG10201807806UA (en) 2018-10-30
RU2016110571A3 (zh) 2018-07-03
AU2014327146A1 (en) 2016-02-25
KR102343783B1 (ko) 2021-12-24
US10775997B2 (en) 2020-09-15
PH12016500257A1 (en) 2016-05-16
ZA201600966B (en) 2018-05-30
HK1223713A1 (zh) 2017-08-04
JP2016534483A (ja) 2016-11-04
PH12016500257B1 (en) 2016-05-16
US20170228150A1 (en) 2017-08-10
MX2016003720A (es) 2016-05-31
WO2015047880A1 (en) 2015-04-02
KR20160060109A (ko) 2016-05-27
EP3049908B1 (en) 2021-10-13
CN105683893B (zh) 2019-07-26
MX356479B (es) 2018-05-30

Similar Documents

Publication Publication Date Title
CN105683893A (zh) 基于运动或运动的缺乏在启用触摸的设备上呈现控制界面
EP2813938B1 (en) Apparatus and method for selecting object by using multi-touch, and computer readable recording medium
US9367161B2 (en) Touch sensitive device with stylus-based grab and paste functionality
CN103649900B (zh) 边缘手势
CN102473066B (zh) 在多功能手持设备上显示、导航和选择电子方式存储内容的系统和方法
CN102609171B (zh) 具有信息处理机制的电子设备系统及其操作方法
EP2661664B1 (en) Natural input for spreadsheet actions
KR20140111497A (ko) 터치 스크린의 화면에 표시된 아이템을 삭제하는 방법, 저장 매체 및 휴대 단말
US9501218B2 (en) Increasing touch and/or hover accuracy on a touch-enabled device
CN105229589A (zh) 基于姿态在触摸使能设备上执行动作
CN104737115B (zh) 具有手势取消的手势键盘
EP2770416A2 (en) Context awareness-based screen scroll method, machine-readable storage medium and terminal therefor
CN105190520A (zh) 用于使能触摸的设备的悬停手势
CN107223229A (zh) 柔性装置及操作该装置的方法
EP2787506A2 (en) Electronic device and method of displaying playlist thereof
US10572144B2 (en) Input processing method and apparatus of electronic device
CN103631513A (zh) 便携式装置及其指导信息提供方法
IL261497B2 (en) Enabling visual user interface controls with ink commands
CN107111441A (zh) 多级用户界面
KR102118091B1 (ko) 오브젝트에 대한 사전 실행 기능을 가지는 모바일 장치 및 그 제어방법
KR20150007577A (ko) 데이터 병합을 제어하는 휴대 단말 및 방법
KR20140092106A (ko) 터치 스크린 상의 사용자 입력을 처리하는 방법 및 단말과 저장 매체
KR102129319B1 (ko) 터치 입력을 처리하는 방법, 저장 매체 및 전자 장치
CN106445358A (zh) 滑动控制方法和终端设备
CA3014942C (en) Operating visual user interface controls with ink commands

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1223713

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1223713

Country of ref document: HK