CN105009033A - 用于后台任务的交互输入 - Google Patents

用于后台任务的交互输入 Download PDF

Info

Publication number
CN105009033A
CN105009033A CN201480011210.9A CN201480011210A CN105009033A CN 105009033 A CN105009033 A CN 105009033A CN 201480011210 A CN201480011210 A CN 201480011210A CN 105009033 A CN105009033 A CN 105009033A
Authority
CN
China
Prior art keywords
application
dumb show
tactile
input
background application
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480011210.9A
Other languages
English (en)
Inventor
J·K·基斯
F·B·麦克杜格尔
S·阿雷拉诺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN105009033A publication Critical patent/CN105009033A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

根据本发明的一或多个实施例的系统及方法在用户装置上提供改进型多任务处理。在一实施例中，一种用于多任务处理的方法包括检测由用户装置接收的非触摸示意动作输入。所述方法还包括使所述非触摸示意动作输入与在后台中运行的应用程序相关联，其中不同专注应用程序正在前台中运行。并且，所述方法还包括在不影响所述前台应用程序的情况下通过所述相关联非触摸示意动作输入控制所述后台应用程序。

Description

用于后台任务的交互输入
技术领域
本发明的实施例大体上涉及用户装置，且更特定来说涉及检测非触摸交互输入以影响任务或应用程序。
背景技术
当前，用户装置(例如，智能电话、平板计算机、膝上型计算机等)通常具有能够同时运行一个以上应用程序或任务的计算装置处理器。为了控制应用程序或任务，用户可能能够导览用户想要控制的应用程序或任务，或替代地，用户可能能够“下拉”应用程序或任务的控制选单或列表。
在一体式车载系统的实例中，语音控制可允许用户在对主任务首次进行语音输入之后提供针对功能的输入。举例来说，当无线电正在播放时，用户可按压针对语音命令的按钮。无线电接着静音，且用户可提供例如“设定温度为78度”等语音命令。改变温度，且无线电接着取消静音。因此，语音控制在其对主任务进行时可允许用户将输入提供给应用程序。然而，这些可用控制在其它情形下可不起作用。
因此，在此项技术中需要改进用户装置上的多任务处理。
发明内容
提供根据一或多个实施例的系统及方法，其用于使用例如非触摸示意动作等交互输入作为输入命令从而在不影响专注任务或应用程序(例如，前景任务或应用程序)的情况下影响或控制应用程序或任务，例如，并非当前专注任务或应用程序的应用程序(例如，后台任务或应用程序)。
根据一实施例，一种用于控制后台应用程序的方法包括检测由用户装置接收的非触摸示意动作输入。所述方法还包括使所述非触摸示意动作输入与在背景中运行的应用程序相关联，其中不同专注应用程序正在前景中运行。且方法进一步包括在不影响所述前台应用程序的情况下通过所述相关联非触摸示意动作输入控制所述后台应用程序。
根据另一实施例，一种装置包括经配置以检测非触摸示意动作输入的输入；以及一或多个处理器，其经配置以：使所述非触摸示意动作输入与在背景中运行的应用程序相关联，其中不同专注应用程序正在前景中运行；以及在不影响所述前台应用程序的情况下通过所述相关联非触摸示意动作输入控制所述后台应用程序。在一实施例中，处理器经进一步配置以在所述用户装置的所述接口上将覆叠显示于所述专注应用程序上方，其中所述覆叠指示非触摸示意动作输入可用来影响所述后台应用程序。在另一实施例中，所述非触摸示意动作输入包括通过对象、凝视或眼睛跟踪进行的姿势或运动。在另一实施例中，处理器经进一步配置以使用全局查找表，所述全局查找表指示指派给用于对应特定应用程序的对应命令的特定非触摸示意动作输入。在另一实施例中，处理器经进一步配置以基于所述用户装置的当前输出状态将非触摸示意动作输入指派给用于应用程序的对应命令。在另一实施例中，处理器经进一步配置以：检测向所述前台应用程序及所述后台应用程序注册的非触摸示意动作输入；以及选择用于应用所述检测到的非触摸示意动作输入的作用中非触摸示意动作输入应用程序。在另一实施例中，处理器经进一步配置以检测指定后台应用程序以进行控制且经维持历时预定时间周期的接洽姿势，及提供允许用户切换对所述后台应用程序的控制的覆叠。在另一实施例中，处理器经进一步配置以检测指定后台应用程序以进行控制且经维持历时预定时间周期的接洽姿势，及自动地切换到控制所述后台应用程序而不失去对所述前台应用程序的专注。在另一实施例中，处理器经进一步配置以检测表示用户想要与所述后台应用程序接洽的特定非触摸示意动作输入。在另一实施例中，处理器经进一步配置以检测经分配用于在两个或两个以上应用程序之间作出选择的单个非触摸示意动作输入。在另一实施例中，处理器经进一步配置以启用非触摸示意动作输入接洽自动地连接到最后选择应用程序的模式。在另一实施例中，处理器经进一步配置以当所述后台应用程序启动时向所述后台应用程序注册特定非触摸示意动作输入，及当所述后台应用程序结束时向所述后台应用程序取消注册所述特定非触摸示意动作输入。在另一实施例中，在所述专注应用程序正在前景中运行时不显示所述后台应用程序的元素。
根据另一实施例，一种用于控制后台应用程序的设备，其包括：用于检测通过所述设备接收的非触摸示意动作输入的装置；用于使所述非触摸示意动作输入与在背景中运行的应用程序相关联的装置，其中不同专注应用程序正在前景中运行；以及用于在不影响所述前台应用程序的情况下通过所述相关联非触摸示意动作输入控制所述后台应用程序的装置。在一实施例中，专注应用程序显示于所述设备的显示装置上。在另一实施例中，所述设备进一步包括用于在所述设备的所述显示装置上将覆叠显示于所述专注应用程序上方的装置，其中所述覆叠指示非触摸示意动作输入可用来影响所述后台应用程序。在另一实施例中，所述非触摸示意动作输入包括通过对象、凝视或眼睛跟踪进行的姿势或运动。在另一实施例中，所述设备进一步包括用于使用全局查找表的装置，所述全局查找表指示指派给用于对应特定应用程序的对应命令的特定非触摸示意动作输入。在另一实施例中，所述设备进一步包括用于基于所述用户装置的当前输出状态将非触摸示意动作输入指派给用于应用程序的对应命令的装置。在另一实施例中，所述设备进一步包括用于检测向所述前台应用程序及所述后台应用程序注册的非触摸示意动作输入的装置；以及用于选择用于应用所述检测到的非触摸示意动作输入的作用中非触摸示意动作输入应用程序的装置。在另一实施例中，所述设备进一步包括用于检测指定后台应用程序以进行控制且经维持历时预定时间周期的接洽姿势的装置，及用于提供允许用户切换对所述后台应用程序的控制的覆叠的装置。在另一实施例中，所述设备进一步包括用于检测指定后台应用程序以进行控制且经维持历时预定时间周期的接洽姿势的装置，及用于自动地切换到控制所述后台应用程序而不失去对所述前台应用程序的专注的装置。在另一实施例中，所述设备进一步包括用于检测表示用户想要与所述后台应用程序接洽的特定非触摸示意动作输入的装置。在另一实施例中，所述设备进一步包括用于检测经分配用于在两个或两个以上应用程序之间作出选择的单个非触摸示意动作输入的装置。在另一实施例中，所述设备进一步包括用于启用非触摸示意动作输入接洽自动地连接到最后选择应用程序的模式的装置。在另一实施例中，所述设备进一步包括用于当所述后台应用程序启动时向所述后台应用程序注册特定非触摸示意动作输入的装置，及用于当所述后台应用程序结束时向所述后台应用程序取消注册所述特定非触摸示意动作输入的装置。在另一实施例中，所述设备进一步包括在所述专注应用程序正在前景中运行时不显示的所述后台应用程序的元素。
根据另一实施例，一种存储有计算机可读指令的非暂时性计算机可读媒体，所述计算机可读指令在由处理器执行时致使所述处理器：检测由用户装置接收的非触摸示意动作输入，使所述非触摸示意动作输入与在背景中运行的应用程序相关联，其中不同专注应用程序正在前景中运行；且在不影响所述前台应用程序的情况下通过所述相关联非触摸示意动作输入控制所述后台应用程序。在一实施例中，所述指令经进一步配置以致使所述处理器在所述用户装置的所述接口上将覆叠显示于所述专注应用程序上方，其中所述覆叠指示非触摸示意动作输入可用来影响所述后台应用程序。在另一实施例中，所述非触摸示意动作输入包括通过对象进行的姿势或运动。在另一实施例中，所述指令经进一步配置以致使所述处理器使用全局查找表，所述全局查找表指示指派给用于对应特定应用程序的对应命令的特定非触摸示意动作输入。在另一实施例中，所述指令经进一步配置以致使所述处理器基于所述用户装置的当前输出状态将非触摸示意动作输入指派给用于应用程序的对应命令。在另一实施例中，所述指令经进一步配置以致使所述处理器：检测向所述前台应用程序及所述后台应用程序注册的非触摸示意动作输入；以及选择用于应用所述检测到的非触摸示意动作输入的作用中非触摸示意动作输入应用程序。在另一实施例中，所述指令经进一步配置以致使所述处理器检测指定后台应用程序以进行控制且经维持历时预定时间周期的接洽姿势，及提供允许用户切换对所述后台应用程序的控制的覆叠。在另一实施例中，所述指令经进一步配置以致使所述处理器检测指定后台应用程序以进行控制且经维持历时预定时间周期的接洽姿势，及自动地切换到控制所述后台应用程序而不失去对所述前台应用程序的专注。在另一实施例中，所述指令经进一步配置以致使所述处理器检测表示用户想要与所述后台应用程序接洽的特定非触摸示意动作输入。在另一实施例中，处理器经进一步配置以检测经分配用于在两个或两个以上应用程序之间作出选择的单个非触摸示意动作输入。在另一实施例中，所述指令经进一步配置以致使所述处理器启用非触摸示意动作输入接洽自动地连接到最后选择应用程序的模式。在另一实施例中，所述指令经进一步配置以致使所述处理器当所述后台应用程序启动时向所述后台应用程序注册特定非触摸示意动作输入，及当所述后台应用程序结束时向所述后台应用程序取消注册所述特定非触摸示意动作输入。在另一实施例中，在所述专注应用程序正在前景中运行时不显示所述后台应用程序的元素。
附图说明
图1为根据本发明的实施例的说明用于用户装置上的多任务处理的方法的流程图。
图2为根据本发明的实施例的说明音乐控制使用状况的流程图。
图3为根据本发明的实施例的说明用于确定交互输入应用于的应用程序的方法的流程图。
图4为根据本发明的实施例的说明用于使用经注册的非触摸示意动作来控制应用程序的方法的流程图。
图5为根据本发明的实施例的说明处置作用中示意动作应用程序选择的框图。
图6为根据本发明的实施例的说明处置后台任务示意动作的实例的图解。
图7为根据本发明的实施例的说明用于实施装置的系统的框图。
图8为根据本发明的实施例的说明用于控制应用程序的方法的框图。
具体实施方式
提供根据一或多个实施例的系统及方法，其用于在不影响当前专注任务或应用程序(即，前景任务或应用程序)情况下使例如非触摸示意动作等交互命令或输入与特定应用程序或任务相关联，即使在应用程序或任务正在背景中运行时。
专注任务或应用程序可为(例如)当前显示于用户装置的接口上的应用程序。非触摸示意动作可用作针对并非当前专注或所显示应用程序的应用程序的输入。以此方式，在用户装置上特别是在同时可显示仅一个任务或应用程序的用户装置上可允许真实多任务处理。
参看其中展示是出于仅说明本发明的实施例的用途且并非出于限制所述实施例的用途的图式，图1为根据本发明的一实施例的说明用于用户装置上的多任务处理的方法的流程图。
在框102中，作用中应用程序或任务(“前台应用程序”)可显示于用户装置接口上，例如说明于图7中的显示组件1514上。用户装置通常可能能够显示无限类型的应用程序，例如电子邮件、音乐、游戏、电子商务，及许多其它合适应用程序。
在框104中，用户装置可(例如)经由说明于图7中的输入组件1516接收至少一个非触摸示意动作输入或命令以影响或控制应用程序。非触摸交互示意动作输入或命令可包含直接在用户装置接口上方(例如，屏幕上)或者脱离用户装置接口例如在用户装置的侧面、顶部、底部或背部上(例如，离屏幕)使用例如手、手指、笔等对象的姿势或运动。在各种实施例中，用户装置可包含例如凝视或眼睛跟踪等交互输入能力(例如)作为说明于图7中的输入组件1516的部分。举例来说，用户装置可经由例如摄影机等图像或视频俘获能力来检测用户的面部凝视用户装置或查看用户装置。
在本文中的实施例中，用户装置可包含移动装置、平板计算机、膝上型计算机、PC、电视、扬声器、打印机、游戏盒子等。一般来说，用户装置可包含或为任何装置的包含非触摸示意动作辨识的部分，即，非触摸示意动作可通常通过不同于触摸屏示意动作交互的传感器或技术俘获。举例来说，非触摸示意动作辨识可经由以下各者来进行：超音波示意动作检测、例如摄影机(例如，可见光摄影机、例如飞行时间摄影机等距离成像摄影机、结构化光摄影机、立体摄影机，或其类似者)等图像或视频俘获组件、深度传感器、IR、超音波笔势检测等。即，装置可具有使用摄影机或其它图像跟踪技术来俘获用户的不触碰装置情况下的示意动作(即，例如在摄影机前方的手姿势等非触摸示意动作)的基于视觉的示意动作能力，或可具有不同于基于视觉的能力的检测非触摸示意动作的能力。
而且，非触摸示意动作俘获传感器或技术可为用户装置的部分，或位于用户装置的各种表面上例如用户装置的顶部、底部、左侧、右侧及/或背部上的系统，使得非触摸示意动作在其直接在用户装置前部(屏幕上)以及脱离用户装置的屏幕的直视视线执行时可被俘获。
在框106中，可使接收到的交互输入与作用中应用程序例如与并非显示于用户装置接口上但替代地在背景中正在运行的作用中应用程序(“后台应用程序”)相关联(例如，通过说明于图7中的处理组件1504)。在此方面，后台应用程序不同于所显示前台应用程序。举例来说，电子邮件应用程序可正在运行，且正显示于用户装置接口的前景中，而音乐应用程序可正在背景中运行。
在框108中，可将输入命令(例如，如经由说明于图7中的输入组件1516所接收)应用(例如，通过说明于图7中的处理组件1504)到后台应用程序而不影响前台应用程序。举例来说，在用户正对所显示电子邮件应用程序工作同时，用户可使用示意动作来控制正在背景中运行的音乐应用程序，使得示意动作并不与电子邮件应用程序干扰。
因此，根据一或多个实施例，用户可具有从显示不同前台应用程序的屏幕来控制在背景中运行的作用中应用程序的能力。而且，在各种实施例中，用户可具有将在背景中运行的作用中应用程序带到前景中的能力。
本发明的实施例可应用于如下的许多使用状况：其中用户可使用交互输入(例如，非触摸示意动作)，使得系统可将关联交互输入应用于除显示于用户装置上的应用程序的应用程序而不影响或中断前台应用程序。使用状况的实例可包含以下各者：
使用状况：电子邮件应用程序经显示同时的音乐控制。
参看图2，流程图说明根据本发明的实施例的音乐控制使用状况。在框202中，用户装置或系统可具有(例如)经由说明于图7中的显示组件1514显示于用户装置的接口上的作用中音乐控制画面。
在框204中，系统可提供如所请求的示意动作模式，其中用户可经由非触摸示意动作控制音乐控制画面。在框206中，例如超音波技术等非触摸示意动作俘获传感器或技术可经接通，且可为说明于图7中的输入组件1516中的部分。
在框208中，在接收到电子邮件后，且基于用户的请求或输入，系统就确定(例如，通过说明于图7中的处理组件1504)是否显示电子邮件画面。如果系统接收到指示用户并不想要检视电子邮件画面的输入，则系统行进到框212，且音乐画面继续显示于用户装置接口上。
但如果系统接收到指示用户想要检视电子邮件画面的输入(例如，因为用户可想要回复电子邮件)，则系统行进到框210，且电子邮件画面经由(例如)说明于图7中的显示组件1514显示于用户装置接口上。显著地，音乐应用程序继续在后台中运行。
在框214中，与音乐应用程序相关联的示意动作图标可(例如)通过说明于图7中的显示组件1514显示于电子邮件画面上。在实施例中，例如示意动作图标216等示意动作图标可浮动在电子邮件画面的顶部上，或以其它方式显示于电子邮件画面上。示意动作图标216可指示继续在后台中运行的音乐应用程序可与特定示意动作输入相关联并通过特定示意动作输入控制。一般来说，例如示意动作图标216等示意动作图标可具有任何形式、大小或形状以指示后台应用程序可与示意动作输入相关联并通过示意动作输入控制。在此实例中，示意动作图标216包含张开的手与手的部分上方的乐谱。在其它实施例中，当可使其它运行程序与特定示意动作输入相关联且通过特定示意动作输入控制时，乐谱可通过另一运行程序(例如，车辆导航系统、无线电等)的指示替换。在各种实施例中，示意动作图标216的手部分可用作示意动作的指示符，例如，其可指示握拳而非张开的手，或手与指示运动的箭头，或示意动作的任何其它适当指示符。
在框218中，系统可确定用户是否想要输入针对后台应用程序的命令，例如，用户可想要输入针对音乐应用程序的跳过首歌曲的命令(例如，经由说明于图7中的输入组件1516)。
在框222中，如果用户并不想要输入针对音乐应用程序的例如跳过首歌曲等命令，则不存在动作。在框226中，系统可接着等待另一非触摸示意动输入(例如，手示意动作)以控制音乐应用程序。
在框220中，如果用户想要输入针对音乐应用程序的例如跳过首歌曲等命令，则用户可使用特定非触摸示意动作输入(例如，与跳过首歌曲相关联的手示意动作)(例如，经由说明于图7中的输入组件1516)。在接收到或检测到特定非触摸示意动作输入后，在框224中，音乐应用程序就播放下一首歌曲。
因此，在用户是在电子邮件画面上同时，用户可使用非触摸示意动作输入(例如，手姿势及/或动态示意动作)来控制音乐应用程序并对例如PandoraTM等音乐应用程序提供命令，例如“喜欢”、“不喜欢”、“跳到下一首歌曲”、“是，我正在听”等。按照惯例，用户可继续与电子邮件应用程序交互(例如，键打或读取电子邮件)，同时听音乐。
使用状况：背景中的电话通话
在用户装置上进行电话通话的用户可转到显示于用户装置上的联系人列表画面以查找电话号码，或为了另一用途转到另一应用程序，例如转到浏览器以审阅因特网内容，或转到消息编排(message compose)画面。从联系人列表画面或其它应用程序，用户装置可检测例如非触摸示意动作(例如，手姿势)以输入用于控制电话通话的命令的用户输入，从而(例如)使电话静音、改变音量或转变到扬声器电话。因此，在联系人列表或其它应用程序显示于用户装置的画面上同时，用户装置可对控制在背景中运行的电话通话的用户输入作出响应。
存在后台任务或应用程序在运行作用中前台应用程序同时可受到控制的许多其它使用状况。后台任务或应用程序的实例可包含：接通/关断闪光灯；控制语音记录器，例如记录/播放；改变输入模式，例如，语音、示意动作；通过转向导航控制转向，例如，重放指令，下一指令等；控制装置状态及设定，例如，控制音量、亮度等；以及许多其它使用状况。应了解，本发明的实施例可应用于许多使用状况，包含本文中未描述的使用状况。
参看图3，流程图说明根据本发明的实施例的用于确定交互输入应用于的应用程序的方法。根据一或多个实施例，系统可具有确定例如特定非触摸示意动作事件等特定交互输入可应用于哪一作用中应用程序(后台应用程序或前台应用程序)的能力。若干因数可确定例如特定非触摸示意动作事件等特定交互输入可应用于哪一作用中应用程序。举例来说，因数可包含前台应用程序是否具有支持例如非触摸示意动作事件等交互输入的能力。
在框302中，如上文根据一或多个实施例所描述，用户装置接口可运行(例如，例如在说明于图7中的显示组件1514上显示)作用中应用程序(“前台应用程序”)，同时另一应用程序正在背景中运行(“后台应用程序”)。在一些实施例中，后台应用程序的元素皆不被显示，而前台应用程序是在专注中或正由用户装置进行显示。
在框304中，系统确定(例如，使用说明于图7中的处理组件1504)前台应用程序是否具有支持可被接收(例如，经由说明于图7中的输入组件1516)的例如非触摸示意动作事件等交互输入的能力。
在框306中，如果系统确定前台应用程序自身并不支持例如非触摸示意动作事件等交互输入，则另一应用程序(例如，向示意动作解译服务注册且具有支持非触摸示意动作事件的能力的最后应用程序)或(例如)后台应用程序可接收非触摸示意动作事件。在一或多个实施例中，如下文将更详细地描述，服务或过程(例如，经由说明于图7中的处理组件1504)可正运行以识别、解译及/或指派示意动作事件。在一实施例中，(例如)如通过以下表1及表2所说明的全局示意动作查找表可包含多个示意动作以及对应应用程序及所述应用程序的命令，(例如)以指示示意动作X对应于针对特定应用程序APP1的输入命令X。在一些实施例中，某些应用程序可具有预先指派的示意动作以进行所述应用程序的特定命令。
如果系统确定前台应用程序经配置以(例如)经由说明于图7中的输入组件1516接收例如非触摸示意动作事件等交互输入，则可存在包含以下两个可能性的各种可能性：
在框308中，可能性1可发生，其中相较于后台应用程序向前台应用程序注册非触摸示意动作事件的不同集合。即，特定非触摸示意动作可经注册，且仅结合特定应用程序或任务来使用。在此状况下，在框312中，示意动作系统(例如，通过说明于图7中的处理组件1504)可将特定非触摸示意动作事件投送到适当应用程序从而允许两个应用程序同时接收非触摸示意动作事件。下文根据本发明的实施例关于图4来描述用于使用经注册的示意动作来控制应用程序的方法。在一实施例中，(例如)如通过以下表1及表2所说明的全局示意动作查找表可包含多个示意动作以及对应应用程序及所述应用程序的命令，(例如)以指示示意动作X对应于针对特定应用程序APP1的输入命令X。在一些实施例中，某些应用程序可具有预先指派的示意动作以进行所述应用程序的特定命令。在一或多个实施例中，服务或过程(例如，经由说明于图7中的处理组件1504)可正运行以识别、解译及/或指派示意动作事件。而且，示意动作事件可为独特的，或者服务或过程可确保不向应用程序注册相同示意动作事件(例如，通过不允许现有示意动作关联的覆写，或通过警告用户并让用户选择哪一应用程序将由给定示意动作进行控制等)。当然，两个应用程序详言的可仅接受不同示意动作。在一实施例中，如果前台应用程序支持示意动作，则前台应用程序可尝试解译检测到的示意动作，且如果前台应用程序并未辨识出检测到的示意动作，则前台应用程序可将关于示意动作的信息传递到另一应用程序，或到或可确定如何处置示意动作(例如，将信息发射到另一应用程序、忽略信息等)的服务或过程。或者，在另一实施例中，服务或过程可首先检测运动，确定对应于运动的示意动作，且接着将示意动作信息选择性地投送到适当应用程序(前台应用程序，多个后台应用程序中的一者等)。
在框310中，可能性2可发生，其中向前台应用程序注册与后台应用程序相同的非触摸示意动作事件中的至少一者。在此状况下，在框314中，可执行应用程序选择程序(例如，经由说明于图7中的处理组件1504)。即，可执行用于确定哪一应用程序应接收检测到的示意动作事件的冲突解决方案，所述检测到的示意动作事件可向前台应用程序及一或多个后台应用程序注册。显著地，可不需要前台应用程序失去专注。下文描述的图5为说明根据本发明的实施例的示意动作应用程序选择程序的图解。
现参看图4，流程图说明根据本发明的实施例的用于使用经注册的非触摸示意动作控制应用程序的方法。
在框402中，可在全局示意动作查找表(其可存储于例如说明于图7中的存储组件1508中)中将非触摸示意动作指派给用于特定应用程序的对应命令或输入。举例来说，(例如)如通过以下表1及表2所说明的全局示意动作查找表可包含多个示意动作以及对应应用程序及所述应用程序的命令，(例如)以指示示意动作X对应于针对特定应用程序APP1的输入命令X。在一些实施例中，某些应用程序可具有预先指派的示意动作以进行所述应用程序的特定命令。在一些实施例中，服务或模块(例如，经由说明于图7中的处理组件1504)可管理示意动作、命令及应用程序之间的关联，且可起作用解决任何冲突及/或潜在冲突。在一些实施例中，应用程序可在初始化后或在启动系统1500时就向功能或模块注册，且应用程序或模块可确定是否可将特定示意动作指派给特定应用程序及/或命令。
表1 说明根据本发明的实施例的实例示意动作与对应实例命令及应用程序指派。
表1：实例示意动作与实例命令及应用程序指派
全局示意动作查找表(例如，表1)可指示示意动作X经指派给或对应于特定应用程序APP1的输入命令X。举例来说，例如呈“覆盖”的形式的张开的手掌示意动作等手姿势可对应于“静音/取消静音”的命令，且被指派给电话通话应用程序。“向右拨动”示意动作(例如，通过张开的手的运动)可对应于“跳到下一首歌曲”的命令，且被指派给MP3播放器应用程序。“上方的一根手指”示意动作可对应于“开始/停止”命令，且经指派给语音记录器应用程序，等等。
替代地，全局示意动作查找表(例如，表2)可基于用户装置的当前输出状态指派命令，但可能并非是关于正受到影响的应用程序的专注。
表2：基于输出状态的实例指派
如表2中所说明，“覆盖”示意动作基于用户装置的当前输出视应用程序而可对应于“静默”、“暂停”或“静音”命令。举例来说，如果用户装置并未正在运行电话通话应用程序，则“覆盖”示意动作可应用于另一音频播放应用程序，例如，铃声、闹铃(应用“静默”命令)或PandoraTM或MP3TM(应用“暂停”命令)。如果用户装置正在运行电话通话应用程序，则可应用“静音”命令(如表1的实例中所说明)。
在一些实施例中，当已检测到示意动作时，一或多个应用程序可存取查找表，例如以上查找表中的一者或两者。可(例如)经由应用程序设计接口(API)来执行此存取。可(例如)经由API向应用程序告知应用哪一示意动作命令。在一些实施例中，API还可(例如)基于查找表指示是否存在与示意动作的冲突，且如果存在冲突，则指示如何调解或解决冲突。
回看图4，在框404中，系统可从用户(例如，经由说明于图7中的输入组件1516)接收输入以起始第一应用程序(例如，APP1)，所述第一应用程序可具有全局示意动作查找表中的关联示意动作。举例来说，用户可想要启动具有关联示意动作的电话通话，例如，如在表1的实例中所阐述，“覆盖”示意动作可对应于电话通话的“静音/取消静音”。在一些实施例中，框402及404可以相反次序执行。举例来说，替代首先在402处映射潜在示意动作到应用程序，可在404处初始化应用程序，且应用程序可向服务注册，所述服务可将通过应用程序接受的示意动作新增到堆叠、查找表、数据库及/或可存储示意动作、命令及应用程序之间的关联的其它元件。在各种实施例中，在起始应用程序后，系统就可指示或验证应用程序具有提供于例如上文所描述的表1或表2的示意动作查找表中的关联示意动作，示意动作查找表可存储于(例如)说明于图7中的存储组件1508中。在一些实施例中，对全局示意动作查找表的存取可经由说明于图7中的显示组件1514来提供，例如，以链路、图示、快显视窗的形式、在小视窗中，等等，使得用户可确定哪些示意动作在任何给定时间可用，确定哪些映射已建立于查找表中，及/或编辑表中的关联。然而，在一些实施例中，表对于用户为不可存取的。在一些这些实施例中，表可仅通过经配置以接受如上文所论述的示意动作及/或服务的应用程序或程序来存取，所述服务可管理示意动作、命令及应用程序之间的关联。在一些实施例中，基于表的用户接口可显示给用户以允许用户解决多个示意动作命令关联之间的冲突或潜在冲突。
在框406中，系统可从用户接收输入(例如，经由说明于图7中的输入组件1516)以起始第二应用程序(APP2)。第二应用程序(APP2)变为专注应用程序，且显示于用户装置接口上(例如，经由说明于图7中的显示组件1514)。APP2可从任何数目个模态接收输入，包含触摸输入及/或非触摸或示意动作输入。
在框408中，视需要，用户接口(例如，说明于图7中的显示组件1514)可指示示意动作可用，且其可影响第一应用程序APP1。举例来说，标头中的图示可浮动，或经提供或显示(例如)例如说明于图2的实例中的图示216的图示。
在框410中，可接收用户输入(例如，经由说明于图7中的输入组件1516)，其中用户执行非触摸示意动作X(例如，根据实施例上文在表1或表2中列出的示意动作中的一者)。
在框412中，可检测到对第一应用程序APP1执行的所指派输入命令X，同时第二应用程序维持于专注中。举例来说，可检测到由用户执行的“覆盖”示意动作，且可应用“静音”的对应命令(例如，经由说明于图7中的处理组件1504)到电话通话(APP1)，同时用户装置正显示专注应用程序APP2(例如，经由说明于图7中的显示组件1514)。
现参看图5，框图说明根据本发明的实施例的处置作用中示意动作应用程序选择。在向前台应用程序及后台应用程序注册例如非触摸示意动作事件的至少一个共同交互输入事件的实施例中，可使得用户能够识别哪一应用程序应接收交互输入(即，非触摸示意动作)事件。
在框502中，系统可开始处置向前台应用程序及后台应用程序注册至少一个共同交互输入(例如，非触摸示意动作)的作用中示意动作应用程序。
在框504中，系统确定是否已检测到指定后台应用程序以进行控制的示意动作。用户可想要控制后台任务或应用程序。举例来说，如根据一或多个实施例在下文结合框508到514将更详细地描述，可经由用户装置接口(例如，经由说明于图7中的输入组件1516)接收输入，从而指示后台应用程序将受到影响或控制。框508到514呈现确定是否已检测到指定后台应用程序以进行控制的示意动作的不同实施例及用于对示意动作作出响应的实施例。然而，这些框既不必同时执行，也不必包括相互排斥的实施例。另外，这些框并非为详尽的，这是由于其它过程可用以确定是否已检测到指定后台应用程序以进行控制的示意动作，及/或用以控制此应用程序。
在框506中，如果未检测到指定后台应用程序以进行控制的示意动作(例如，用户并不想要控制后台任务)，则默认应用程序选择可发生，使得交互输入连接(例如，示意动作连接)对于是在“专注”中的应用程序(例如，显示于用户装置接口上的应用程序)默认地具有优先权。举例来说，如果用户使用例如用户以接洽姿势升高其手的非触摸示意动作事件，则专注中的应用程序接收到所述接洽姿势且如应用程序正常地将作出响应一般作出响应而不考虑可被注册同一示意动作的后台任务。否则，如果用户想要控制后台任务，则可存在包含以下各者的若干选项。
在框508中，如果已检测到用户已维持接洽姿势历时预定时间周期，则可显示允许用户切换到控制后台应用程序的覆叠系统。举例来说，在交互输入包含接洽示意动作的实施例中，系统可检测到经维持历时预定时间周期例如关于针对前台应用程序的接洽需要的时间经延长的时间周期的用户的接洽示意动作姿势(例如，张开的手保持于用户接口前方历时2到3秒)。因此，维持接洽姿势历时某时间周期可接洽前台应用程序，而维持接洽姿势历时较长时间周期可接洽后台应用程序。在各种实施例中，可提供用于接洽前台应用程序或后台应用程序的反馈；举例来说，当接洽前台应用程序时，可存在一个哔声，或当接洽后台应用程序时，可存在两个哔声。在其它实施例中，当接洽前台应用程序时，可显现图标；且当接洽后台应用程序时，所述图标可(例如)通过乐谱(或正受到控制的应用程序的其它指示)扩增。即，在一实施例中，检测到经维持历时预定时间周期的用户的接洽示意动作姿势(其可对应于后台应用程序的接洽)可继之以进入显示示意动作可选择应用程序图标的“系统模式”的示意动作覆叠系统，从而允许用户切换示意动作系统以便控制后台应用程序。举例来说，示意动作覆叠系统可包括(例如)叠加于用户装置的屏幕上的辉光蓝色图标。覆叠的其它实例可包含例如说明于图2的实例中的示意动作图标216的方框或图标，所述方框或图标可显现以浮动于用户装置的接口或屏幕的顶部上。例如示意动作图标216的图标可指示应用程序可继续在后台中运行，且可与特定示意动作输入(例如，音乐应用程序)相关联。一般来说，示意动作覆叠系统可具有任何形式、大小或形状，以指示后台应用程序可与示意动作输入相关联并通过示意动作输入控制。显著地，语音或其它过程或类型的输入可又用以选择作用中示意动作应用程序。在一些实施例中，替代展示指示哪一后台应用程序正受到控制的覆叠，多个可选择图标(每一图标对应于后台应用程序)可显示于覆叠中，使得用户可选择哪一后台应用程序进行控制。
在框510中，如果已检测到用户已维持接洽姿势历时预定时间周期，则系统1500可切换到控制示意动作控制应用程序到后台应用程序而不失去对前台应用程序的专注。在由用户进行的交互输入包含接洽示意动作的实施例中，系统可检测到经维持历时预定时间周期或关于针对前台应用程序的接洽需要的时间经延长的时间周期的用户的接洽示意动作姿势(例如，张开的手保持于用户接口前方历时2到3秒)。因此，检测到经维持历时某时间周期的接洽姿势可接洽前台应用程序，而检测到经维持历时较长时间周期的接洽姿势可接洽后台应用程序。在各种实施例中，可提供用于接洽前台应用程序或后台应用程序的反馈，举例来说，当接洽前台应用程序存在一个哔声，或当接洽后台应用程序时，可存在两个哔声。在其它实施例中，当接洽前台应用程序时，可显现图示；且当接洽后台应用程序时，所述图示可(例如)通过乐谱(或正受到控制的应用程序的其它指示)扩增。即，在一实施例中，检测到经维持历时延长时间周期的用户的接洽示意动作姿势(其可对应于后台应用程序的接洽)可继之以将系统自动地切换到后台任务中的示意动作应用程序。在此状况下，用户接口可改变以在不失去对前台应用程序的专注情况下反映后台应用程序的覆叠，或其可反映控制已使用另一类型的视觉或听觉过程而改变。
在各种实施例中，覆叠系统可包括(例如)叠加于用户装置的屏幕上的辉光图示。覆叠的其它实例可包含例如说明于图2的实例中的图示216的方框或图示，所述方框或图示可显现以浮动于用户装置的接口或屏幕的顶部上。
在可存在被注册示意动作事件的若干后台应用程序的实施例中，如果需要，则这些应用可经依序单步调试。替代地，“示意动作轮”可显现于用户接口上，其可允许用户更快速地选择所要示意动作应用程序。举例来说，呈轮或圆弧的形式的表示可显现为浮动于画面顶部上，且可被分成数个区段，每一区段对应于后台应用程序，例如，一个区段中的乐谱可对应于音乐应用程序，另一区段中的电话图示可对应于电话应用程序，等等。后台应用程序可通过选择对应区段例如通过检测手的拨动及/或位置来作出选择。
在框512中，如果已检测到与后台应用程序相关联的用户姿势，则可与后台应用程序接洽。在系统1500接受若干接洽示意动作姿势的实施例中，例如，用户的特定姿势可经检测以表示用户希望与和所述特定姿势相关联的特定后台应用程序接洽。举例来说，张开的手掌姿势可一直接洽前台应用程序，而两个手指摆出的胜利手姿势在一些实施例中可直接接洽第一后台应用程序，且握拳示意动作可直接接洽第二后台应用程序。因此，特定应用程序可独特地经注册以对应于某些手姿势，使得特定应用程序在检测到特定手姿势时总是作出响应。这些背景特定示意动作可先验地确定及/或可为持久的，或可在运行时间被确定。
在框514中，如果已检测到用于在两个或两个应用程序之间作出选择的示意动作，则系统1500可在应用程序之间进行切换。举例来说，在系统1500支持多个不同示意动作的实施例中，特定非触摸示意动作可经分配用于在两个或两个示意动作应用程序之间作出选择。举例来说，如果顺时针方向上的“圆形”示意动作单独经分配用于此用途，则当检测到“圆形”示意动作时，系统可选择经注册示意动作应用程序列表中的另一示意动作应用程序或下一示意动作应用程序。
请注意，在用于处置其中根据一或多个实施例如上文所描述向前台应用程序及后台应用程序注册至少一个共同示意动作事件的作用中示意动作应用程序的不同可能性中，如果不存在背景示意动作应用程序，则可通过一只手拨动的通用“系统示意动作选单”或“示意动作轮”可显现，且可被用作应用程序启动器或其它默认行为(例如，电话拨号盘、语音记录器等)。
在一些实施例中，本文中被称作后台任务的任务包括正运行及/或显示于副装置或监视器上的任务。影响及/或控制副装置或显示器的示意动作在一些这些实施例中可通过系统1500检测到，而不影响正运行及/或显示于系统1500上的前台应用程序的操作。举例来说，用户可具有副任务正控制所显示数据的副显示装置。副显示装置在一些实施例中可为集成到副眼镜中的题头显示器，或集成到腕表中的显示器，或到TV的无线链路或其它大型显示器。在此实例中，主显示器可用于用户选择的任何主任务，而又同时将使得用户能够经由示意动作控制副显示器上的副任务。在一些这些实施中，用于示意动作检测的硬件可与副显示器相关联或被集成到主装置中。系统可能能够基于用户示意动作来控制副任务，而不与主装置显示器上的主任务的操作干扰。在一些实施例中，与示意动作相关联的任何图示或用户接口组件可作为副显示器而非主显示器的部分而显示，以进一步关于示意动作控制选项来导引用户。
根据一或多个实施例，对于上文针对处置向前台应用程序及后台应用程序注册至少一个共同示意动作事件的作用中示意动作应用程序选择描述的可能性中的任一者，有可能的是使用可被称作“粘性示意动作”的功能。在此方面，“粘性示意动作”可指接收接洽的通知的应用程序可接收其它示意动作的个例，其它示意动作可由用户以包含(例如)以下各者的不同方式来选择：
A.在一实施例中，用户的识别哪一应用程序接收示意动作的一种方法可包含使应用程序明确配置为系统设定。作为实例，用户可配置示意动作系统，使得“如果吾人的音乐应用程序正在背景中运行，则所有示意动作被投送到所述音乐应用程序”。此情形可防止前台应用程序接收任何示意动作，除非用户明确地改变模式。
B.在另一实施例中，用户的识别哪一应用程序接收非触摸示意动作的一种方法可包含只要示意动作接洽发生且存在经注册用于从示意动作系统接收事件的一个以上应用程序便使提示发生。在此点上，用户可通过使用例如非触摸示意动作等交互输入或经由任何所提供选择过程来选择后台应用程序或前台应用程序中的任一者。一旦用户结束了与所选择应用程序的示意动作交互，系统便可：i)启用“粘性示意动作”，使得在示意动作接洽下次发生时，系统可自动地连接到最后选择应用程序，或ii)其可经配置以每次进行提示，或iii)其可经配置以提示是否存在针对示意动作注册的应用程序的列表上的改变。
C.在又一实施例中，用户的识别哪一应用程序接收非触摸示意动作的另一方式可包含组合“经延长接洽”技术与“粘性示意动作”。在此实施例中，与新运行的应用程序的首次接洽可引出其自己的示意动作接口。如果用户延长接洽(例如，通过将手保持为静止)或以其它方式发信对切换模式的需要，则用户可存取后台应用程序中的一者。在下次接洽时，“粘性示意动作”可在操作中，且示意动作系统可直接连接到上一次所选择的应用程序。用户在此点上可选择重复延长的接洽，且在需要时回复到前台应用程序。
现参看图6，图解说明根据本发明的实施例的处置后台任务示意动作的实例。此实施例可类似于说明于图2的实施例中的方法而实施。举例来说，在602处，在初始状态A中，音乐应用程序可正在播放，且可被注册如下3个示意动作：向左、向右及向上。在此实施例中，向左可致使音乐应用程序后退一个曲目，向右可致使音乐应用程序前进一个曲目，且向上可致使音乐应用程序暂停音乐的回放。
在604处，在状态B中，可接收电话通话。电话通话应用程序可占据优先权，且被注册向左及向右示意动作。在此状态B中，向左及向右示意动作可不再被转递并应用于音乐应用程序，而是可替代地用以接听电话通话(向右示意动作)或将电话通话发送到语音邮件(向左示意动作)。如果用户在电话正在响铃时作出向上示意动作，则音乐将暂停，此是因为向上示意动作仍被转递并应用于后台应用程序。一旦完成了电话通话，则系统返回到仅音乐应用程序被注册示意动作事件的状态C 606，且因此向右、向左及向上示意动作可皆被转递并应用于音乐应用程序。
根据本发明的一或多个实施例，可实施可管理系统中的示意动作数据的示意动作服务。示意动作服务可跟踪哪些应用程序利用哪些示意动作及/或解决使用类似示意动作的应用程序之间的潜在冲突。示意动作服务可经配置以使特定非触摸示意动作与特定应用程序相关联，或当每一应用程序启动时向所述应用程序注册特定非触摸示意动作，且当所述应用程序结束时取消注册特定非触摸示意动作。
在仅一个示意动作应用程序正在运行的实施例中，服务可将所有消息仅发送到已进行注册的所述应用程序。在新应用程序启动且变成后台应用程序且先前注册的示意动作应用程序继续运行但现处于背景中(例如，音乐播放器应用程序)的另一实施例中，则前台应用程序针对与前台应用程序相关联的所有示意动作事件可获得优先权。因此，如果已向后台应用程序注册了与前台应用程序注册的非触摸示意动作事件相同的非触摸示意动作事件，则前台应用程序而非后台应用程序可接收那些非触摸示意动作事件。如果存在向后台应用程序注册但未向前台应用程序注册的任何非触摸示意动作事件，则后台应用程序可继续接收这些非触摸示意动作事件。如果前台应用程序放弃或结束，则后台应用程序可经恢复作为那些示意动作中的任一者的主接收器，所述示意动作已通过前台应用程序篡夺。在另一实施例中，注册示意动作的第一应用程序可维持对示意动作的控制。在又一实施例中，当存在冲突时，可提示用户选择哪一应用程序通过某示意动作来控制。在另一实施例中，“拥有”示意动作的应用程序可基于应用程序的使用频率而被指派重要性(例如，紧急响应功能相较于音乐为更重要的)或某类别的阶层或优先权。
在用户可想要输入非触摸示意动作事件到后台应用程序且还向前台应用程序注册非触摸示意动作事件的实施例中，(例如)如上文关于图5的实施例所描述，接着服务可提供机制以实施示意动作消息切换。用于实施此情形的一个实例可为使用延长的非触摸示意动作，例如，保持历时延长的时间周期的静态手姿势或例如独特手姿势等习惯示意动作，或调用特殊“示意动作模式覆叠”的任何其它机制。覆叠可通过服务绘制或浮动于当前在显示器上的每一事件顶部上，而不影响当前前台应用程序。覆叠可指示哪一应用程序当前将接收示意动作输入或受示意动作输入影响，或可指示可经选择以接收示意动作输入的多个多个应用程序(背景及/或前景)。一旦系统处于特殊示意动作模式覆叠状态，便可提示用户选择哪一应用程序应接收示意动作。作为实例，两个应用程序的图示(前景及背景)可经展示，且用户可通过到一侧或另一侧的简单示意动作来选择所述图示。替代地，大量选项可经展示，且用户可在不触摸屏屏幕的情况下移动其手，并控制游标以选择所要选项。一旦用户已选择了所要选项(例如，后台应用程序)，则服务可改变所注册示意动作的优先权以使得后台应用程序为较高优先权服务，且后台应用程序可开始接收通过前台应用程序先前篡夺的示意动作消息。此“粘性”示意动作模式可保持有效，直到用户明确地使用示意动作模式覆叠改变“粘性”示意动作模式，或在应用程序中的一者结束情况下。
在一或多个实施例中，与应用程序相关联的示意动作的列表、库或词汇可基于进行注册的应用程序而改变。举例来说，可向音乐应用程序注册包含向左、向右运动的示意动作，其中向左可致使音乐应用程序后退一个曲目，且向右可致使音乐应用程序前进一个曲目。因此，也可向电话应用程序注册包含向左、向右运动的示意动作，其中向左可致使电话应用程序发送通话到语音邮件，且向右可致使电话应用程序接听电话通话。在一些实施例中，当电话应用程序进行注册时，与向左及向右相关联的命令将改变。另外，如果随后向浏览器应用程序注册包含刷新网页的圆形示意动作及为网页加书签的向上运动的示意动作，则额外示意动作与注册仅音乐应用程序及电话应用程序时相比较可为可用的以供用户使用。因此，示意动作的列表、库或词汇可基于所注册的应用程序(或其优先权)而改变。
根据本发明的一或多个实施例，系统可提供与应用程序相关联的动作的通知，例如，当接收到新电子邮件时或当开始播放新歌曲时，可(例如)在显示器的角落的边缘附近将快显通知显示于用户装置的屏幕上。在快显通知显现于屏幕上之后，或在快显通知正经显示同时，与快显通知相关联的应用程序对于示意动作可具有优先权历时某时间量(例如，3到5秒)。用户可具有通过某示意动作解除快显通知的选项，或以其它方式指示其并不想要控制与快显通知相关联的应用程序。
有利地，根据本发明的一或多个实施例，后台应用程序可受关联命令控制，即使应用程序并非在专注中。此外，不同于使用例如按钮等专用接口或用户可必须记住并说出语法命令的语音命令的典型系统，在本文中的实施例中，有限数目个示意动作可同时被指派到不同应用程序，此情形可使得示意动作对于用户更易于记住。因此，即使在示意动作的可用词汇为小之处，用户仍可与数个应用程序有效地交互。
现参看图7，说明根据本发明的实施例的用于实施装置的系统的框图。
应了解，本文中所揭示的方法及系统可通过广泛的多种电子系统或装置实施，或并入的所述电子系统或装置中。举例来说，系统1500可用以实施包含有线或无线装置的任何类型的装置，例如移动装置、智能电话、个人数字助理(PDA)、平板计算机、膝上型计算机、个人计算机、TV或其类似者。例如音乐播放器、视频播放器、通信装置、网络服务器等其它示范性电子系统也可根据本发明进行配置。
系统1500可适合于实施本发明的实施例，包含各种用户装置。例如装置(例如，智能电话、平板计算机、个人计算机及/或网络服务器)的部分的系统1500包含互连子系统及组件的总线1502，或用于传达信息的其它通信机制，所述子系统及组件包含以下各者中的一或多者：处理组件1504(例如，处理器、微控制器、数字信号处理器(DSP)等)、系统存储器组件1506(例如，RAM)、静态存储组件1508(例如，ROM)、网络接口组件1512、显示组件1514(或替代地到外部显示器的接口)、输入组件1516(例如，小键盘或键盘、例如触摸屏等交互输入组件、示意动作辨识等)，及游标控制组件1518(例如，鼠标垫)。如上文根据一或多个实施例所描述，可经由显示组件1514显示应用程序，而另一应用程序可(例如)通过处理组件1504在背景中运行。可实施例于处理组件1504中的示意动作服务可管理与每一应用程序相关联的示意动作，其中示意动作可经由输入组件1516来检测。在各种实施例中，例如上文描述的表1及表2的示意动作查找表可存储于存储组件1508中。
根据本发明的实施例，系统1500通过执行含有于系统存储器组件1506中的一或多个指令的一或多个序列的处理组件1504执行特定操作。这些指令可从例如静态存储组件1508等另一计算机可读媒体读取到系统存储器组件1506中。这些可包含指令以经由交互输入控制应用程序或任务等。在其它实施例中，硬连线电路可替代用于实施本发明的一或多个实施例的软件指令或结合所述软件指令来使用。
逻辑可编码于计算机可读媒体中，所述计算机可读媒体可指参与提供指令到处理组件1504以供执行的任何媒体。此媒体可采用许多形式，包含但不限于非易失性媒体、易失性媒体及发射媒体。在各种实施方案中，易失性媒体包含例如系统存储器组件1506等动态存储器，且发射媒体包含同轴缆线、铜导线及光纤，包含包括总线1502的导线。在实施例中，发射媒体可采用音波或光波的形式，例如在无线电波及红外线数据通信中产生的那些。一些常见形式的计算机可读媒体包含(例如)RAM、PROM、EPROM、FLASH-EPROM、任何其它存储器芯片或匣、载波，或计算机经调适以进行读取的任何其它媒体。计算机可读媒体可为非暂时性的。
在本发明的各种实施例中，执行指令序列以实践本发明可通过系统1500来执行。在各种其它实施例中，通过通信链路1520(例如，WiFi或各种其它有线或无线网络)耦合的多个系统1500可执行指令序列以彼此配合实践本发明。系统1500可经由通信链路1520及网络接口组件1512接收并扩展输入、消息、数据、信息及指令，包含一或多个程序(即，应用程序代码)。所接收程序代码可如接收及/或存储于磁盘驱动器组件1510或某其它非易失性存储组件中以供执行一般通过处理组件1504执行。
参看图8，流程图说明根据本发明的实施例的用于控制应用程序的方法。请注意，说明于图8中的方法可通过根据一实施例说明于图7中的系统1500来实施。
在框802中，可为用户装置的部分的系统1500可运行显示于用户装置的接口上例如显示组件1514上的前台应用程序。
在框804中，系统可在用户装置上于背景中运行至少一个应用程序。应用程序可在背景中运行，同时前台应用程序在专注中，例如，经由显示组件1514显示。
在框806中，系统可(例如)经由输入组件1516从用户装置的用户检测非触摸示意动作输入。在各种实施例中，非触摸示意动作输入可包含直接在用户装置接口上方(例如，屏幕上)或者脱离用户装置接口例如在用户装置的侧面、顶部、底部或背部上(例如，离屏幕)使用例如手、手指、笔等的对象的姿势或运动。在各种实施例中，用户装置可包含例如凝视或眼睛跟踪等交互输入能力。
在框808中，系统可确定(例如，通过处理组件1504)检测到的非触摸示意动作输入应用于前台应用程序及背景中的至少一个应用程序中的哪一者。
如所属领域的技术人员现将了解且视即将到来的特定应用而定，可在使用本发明的装置的材料、设备、配置及方法上且对前面各者进行许多修改、取代及变化而不偏离本发明的精神及范围。鉴于此此情形，本发明的范围不应限于本文中所说明并描述的特定实施例的范围，这是由于其系仅借助于其一些实例，但确切来说应与以下附加的权利要求书及其功能等效物的范围完全相称。

Claims (38)

1.一种用于控制后台应用程序的方法，所述方法包括：
检测由用户装置接收的非触摸示意动作输入；
使所述非触摸示意动作输入与在后台中运行的应用程序相关联，其中不同专注应用程序正在前台中运行；
在不影响所述前台应用程序的情况下通过所述相关联非触摸示意动作输入控制所述后台应用程序。
2.根据权利要求1所述的方法，其中所述专注应用程序显示于所述用户装置的接口上。
3.根据权利要求2所述的方法，其进一步包括在所述用户装置的所述接口上将覆叠显示于所述专注应用程序上方，其中所述覆叠指示非触摸示意动作输入可用来影响所述后台应用程序。
4.根据权利要求1所述的方法，其中所述非触摸示意动作输入包括通过对象、凝视或眼睛跟踪进行的姿势或运动。
5.根据权利要求1所述的方法，其中所述关联包括使用全局查找表，所述全局查找表指示指派给用于对应特定应用程序的对应命令的特定非触摸示意动作输入。
6.根据权利要求1所述的方法，其进一步包括基于所述用户装置的当前输出状态将非触摸示意动作输入指派给用于应用程序的对应命令。
7.根据权利要求1所述的方法，其进一步包括：
检测向所述前台应用程序及所述后台应用程序注册的非触摸示意动作输入；以及
选择用于应用所述检测到的非触摸示意动作输入的作用中非触摸示意动作输入应用程序。
8.根据权利要求7所述的方法，其中所述检测进一步包括检测指定后台应用程序以进行控制且经维持历时预定时间周期的接洽姿势，及提供允许用户切换对所述后台应用程序的控制的覆叠。
9.根据权利要求7所述的方法，其中所述检测进一步包括检测指定后台应用程序以进行控制且经维持历时预定时间周期的接洽姿势，及自动地切换到控制所述后台应用程序而不失去对所述前台应用程序的专注。
10.根据权利要求7所述的方法，其中所述检测进一步包括检测表示用户想要与所述后台应用程序接洽的特定非触摸示意动作输入，所述后台应用程序为多个后台应用程序中的一者。
11.根据权利要求7所述的方法，其中所述检测进一步包括检测经分配用于在两个或两个以上应用程序之间作出选择的单个非触摸示意动作输入。
12.根据权利要求7所述的方法，其进一步包括启用非触摸示意动作输入接洽自动地连接到最后选择应用程序的模式。
13.根据权利要求1所述的方法，其进一步包括当所述后台应用程序启动时向所述后台应用程序注册特定非触摸示意动作输入，及当所述后台应用程序退出时向所述后台应用程序取消注册所述特定非触摸示意动作输入。
14.根据权利要求1所述的方法，其中在所述专注应用程序正在前台中运行时不显示所述后台应用程序的元素。
15.一种用于控制应用程序的方法，其包括：
运行显示于用户装置的接口上的前台应用程序；
在所述用户装置上于后台中运行至少一个应用程序；
从所述用户装置的用户检测非触摸示意动作输入；以及
确定所述检测到的非触摸示意动作输入应用于所述前台应用程序及所述后台中的所述至少一个应用程序中的哪一者。
16.根据权利要求15所述的方法，其进一步包括：
确定是否向所述前台应用程序及应用程序所述后台应用程序注册非触摸示意动作输入事件的不同集合；
在相较于所述后台应用程序向所述前台应用程序注册非触摸示意动作输入事件的不同集合的情况下，将所述检测到的非触摸示意动作输入投送到所述非触摸示意动作输入被注册的应用程序；以及
在向所述前台应用程序注册与针对所述后台应用程序的经注册输入事件相同的至少一个非触摸示意动作输入事件的情况下，在所述前台应用程序与所述后台应用程序之间作出选择。
17.根据权利要求16所述的方法，其中所述在所述前台应用程序与所述后台应用程序之间作出选择进一步包括：检测经维持历时预定时间周期的接洽姿势，及提供允许用户切换对所述后台应用程序的控制的覆叠。
18.根据权利要求16所述的方法，其中所述在所述前台应用程序与所述后台应用程序之间作出选择进一步包括：检测经维持历时预定时间周期的接洽姿势，及自动地切换到控制所述后台应用程序而不失去对所述前台应用程序的专注。
19.根据权利要求16所述的方法，其中所述在所述前台应用程序与所述后台应用程序之间作出选择进一步包括：检测表示用户想要与所述后台应用程序接洽的特定非触摸示意动作输入，所述后台应用程序为多个后台应用程序中的一者。
20.根据权利要求16所述的方法，其中所述在所述前台应用程序与所述后台应用程序之间作出选择进一步包括：检测经分配用于在两个或两个以上应用程序之间作出选择的单个非触摸示意动作输入。
21.根据权利要求15所述的方法，其进一步包括当所述后台应用程序启动时向所述后台应用程序注册特定非触摸示意动作输入，及当所述后台应用程序退出时取消注册所述后台应用程序。
22.一种装置，其包括：
输入，其经配置以检测非触摸示意动作输入；以及
一或多个处理器，其经配置以：
运行显示于所述装置的接口上的前台应用程序；
在所述装置上于后台中运行至少一个应用程序；
检测非触摸示意动作输入；以及
确定所述检测到的非触摸示意动作输入应用于所述前台应用程序及所述后台中的所述至少一个应用程序中的哪一应用程序。
23.根据权利要求22所述的装置，其中所述一或多个处理器经进一步配置以：
确定是否向所述前台应用程序及所述后台应用程序注册非触摸示意动作输入事件的不同集合；以及
在相较于所述后台应用程序向所述前台应用程序注册非触摸示意动作输入事件的不同集合的情况下，将所述检测到的非触摸示意动作输入投送到所述非触摸示意动作输入被注册的应用程序；以及
在向所述前台应用程序注册与针对所述后台应用程序的经注册输入事件相同的至少一个非触摸示意动作输入事件的情况下，在所述前台应用程序与所述后台应用程序之间作出选择。
24.根据权利要求23所述的装置，其中所述一或多个处理器经进一步配置以：在向所述前台应用程序注册与针对所述后台应用程序的经注册输入事件相同的至少一个非触摸示意动作输入事件的情况下，检测经维持历时预定时间周期的接洽姿势，及提供允许用户切换对所述后台应用程序的控制的覆叠。
25.根据权利要求23所述的装置，其中所述一或多个处理器经进一步配置以：在向所述前台应用程序注册与针对所述后台应用程序的经注册输入事件相同的至少一个非触摸示意动作输入事件的情况下，检测经维持历时预定时间周期的接洽姿势，及自动地切换到控制所述后台应用程序而不失去对所述前台应用程序的专注。
26.根据权利要求23所述的装置，其中所述一或多个处理器经进一步配置以：在向所述前台应用程序注册与针对所述后台应用程序的经注册输入事件相同的至少一个非触摸示意动作输入事件的情况下，检测表示用户想要与所述后台应用程序接洽的特定非触摸示意动作输入，所述后台应用程序为多个后台应用程序中的一者。
27.根据权利要求23所述的装置，其中所述一或多个处理器经进一步配置以：在向所述前台应用程序注册与针对所述后台应用程序的经注册输入事件相同的至少一个非触摸示意动作输入事件的情况下，检测经分配用于在两个或两个以上应用程序之间进行切换的单个非触摸示意动作输入。
28.根据权利要求22所述的装置，其中所述一或多个处理器经进一步配置以：当所述后台应用程序启动时向所述后台应用程序注册特定非触摸示意动作输入，及当所述后台应用程序退出时取消注册所述后台应用程序。
29.根据权利要求22所述的装置，其中所述输入进一步包括以下各者中的至少一者：对超音波频率敏感的麦克风、图像或视频俘获组件、凝视或眼睛跟踪传感器、红外检测器、深度传感器、微机电系统装置传感器，及电磁辐射检测器，或其组合。
30.根据权利要求29所述的装置，其中所述输入位于所述装置的至少一个表面上，且经配置以检测直接在所述装置前方执行的非触摸示意动作输入，或经配置以检测脱离所述装置的直视视线的非触摸示意动作输入。
31.一种用于控制应用程序的设备，其包括：
用于运行显示于显示装置上的前台应用程序的装置；
用于在后台中运行至少一个应用程序的装置；
用于从所述设备的用户检测非触摸示意动作输入的装置；以及
用于确定所述检测到的非触摸示意动作输入应用于所述前台应用程序及所述后台中的所述至少一个应用程序中的哪一者的装置。
32.根据权利要求31所述的设备，其进一步包括：
用于确定是否向所述前台应用程序及所述后台应用程序注册非触摸示意动作输入事件的不同集合的装置；
用于在相较于所述后台应用程序向所述前台应用程序注册非触摸示意动作输入事件的不同集合的情况下将所述检测到的非触摸示意动作输入事件投送到所述非触摸示意动作输入被注册的应用程序的装置；以及
用于在向所述前台应用程序注册与针对所述后台应用程序的经注册输入事件相同的至少一个非触摸示意动作输入事件的情况下在所述前台应用程序与所述后台应用程序之间作出选择的装置。
33.根据权利要求32所述的设备，其中所述用于在所述前台应用程序与所述后台应用程序之间作出选择的装置进一步包括：用于检测经维持历时预定时间周期的接洽姿势的装置，及用于提供允许用户切换对所述后台应用程序的控制的覆叠的装置。
34.根据权利要求32所述的设备，其中所述用于在所述前台应用程序与所述后台应用程序之间作出选择的装置进一步包括：用于检测经维持历时预定时间周期的接洽姿势的装置，及用于自动地切换到控制所述后台应用程序而不失去对所述前台应用程序的专注的装置。
35.根据权利要求32所述的设备，其中所述用于在所述前台应用程序与所述后台应用程序之间作出选择的装置进一步包括：用于检测表示用户想要与所述后台应用程序接洽的特定非触摸示意动作输入的装置，所述后台应用程序包括多个后台应用程序中的一者。
36.根据权利要求32所述的设备，其中所述用于在所述前台应用程序与所述后台应用程序之间作出选择的装置进一步包括：用于检测经分配用于在两个或两个以上应用程序之间作出选择的单个非触摸示意动作输入的装置。
37.根据权利要求32所述的设备，其进一步包括用于当所述后台中的所述至少一个应用程序中的一或多者启动时向所述后台中的所述至少一个应用程序中的所述一或多者注册特定非触摸示意动作输入的装置，及用于当所述后台中的所述至少一个应用程序中的所述一或多者退出时取消注册的装置。
38.一种存储有计算机可读指令的非暂时性计算机可读媒体，所述计算机可读指令在由处理器执行时致使所述处理器：
运行显示于用户装置的接口上的前台应用程序；
在所述用户装置上于后台中运行至少一个应用程序；
检测非触摸示意动作输入；以及
确定所述检测到的非触摸示意动作输入应用于所述前台应用程序及所述后台中的所述至少一个应用程序中的哪一者。
CN201480011210.9A 2013-03-15 2014-03-05 用于后台任务的交互输入 Pending CN105009033A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/837,006 2013-03-15
US13/837,006 US20140282272A1 (en) 2013-03-15 2013-03-15 Interactive Inputs for a Background Task
PCT/US2014/020464 WO2014149698A1 (en) 2013-03-15 2014-03-05 Interactive inputs for a background task

Publications (1)

Publication Number Publication Date
CN105009033A true CN105009033A (zh) 2015-10-28

Family

ID=50424728

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480011210.9A Pending CN105009033A (zh) 2013-03-15 2014-03-05 用于后台任务的交互输入

Country Status (7)

Country Link
US (1) US20140282272A1 (zh)
EP (1) EP2972670A1 (zh)
JP (1) JP6270982B2 (zh)
KR (1) KR20150129830A (zh)
CN (1) CN105009033A (zh)
TW (1) TWI531927B (zh)
WO (1) WO2014149698A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109144600A (zh) * 2018-06-21 2019-01-04 连尚（新昌）网络科技有限公司 一种应用程序的运行方法、设备及计算机可读介质
CN109857321A (zh) * 2019-01-23 2019-06-07 努比亚技术有限公司 基于屏幕投影的操作方法、移动终端、可读存储介质
CN112306450A (zh) * 2020-10-27 2021-02-02 维沃移动通信有限公司 信息处理方法、装置

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8788977B2 (en) 2008-11-20 2014-07-22 Amazon Technologies, Inc. Movement recognition as input mechanism
US20140082520A1 (en) * 2012-05-24 2014-03-20 Monir Mamoun Method and System for Gesture- and Animation-Enhanced Instant Messaging
US9035874B1 (en) 2013-03-08 2015-05-19 Amazon Technologies, Inc. Providing user input to a computing device with an eye closure
US9832452B1 (en) 2013-08-12 2017-11-28 Amazon Technologies, Inc. Robust user detection and tracking
DE102013013698B4 (de) * 2013-08-16 2024-10-02 Audi Ag Verfahren zum Betreiben einer elektronischen Datenbrille
KR101488193B1 (ko) * 2013-09-04 2015-01-30 에스케이 텔레콤주식회사 상황 인지 기반의 명령 수행 방법 및 장치
US11199906B1 (en) * 2013-09-04 2021-12-14 Amazon Technologies, Inc. Global user input management
US10234988B2 (en) * 2013-09-30 2019-03-19 Blackberry Limited User-trackable moving image for control of electronic device with touch-sensitive display
US10218660B2 (en) * 2013-12-17 2019-02-26 Google Llc Detecting user gestures for dismissing electronic notifications
TWI616803B (zh) * 2013-12-27 2018-03-01 宏碁股份有限公司 螢幕畫面的縮放及操作方法、裝置與電腦程式產品
US20150185827A1 (en) * 2013-12-31 2015-07-02 Linkedln Corporation Techniques for performing social interactions with content
JP2015153195A (ja) * 2014-02-14 2015-08-24 オムロン株式会社 ジェスチャ認識装置およびジェスチャ認識装置の制御方法
GB201408751D0 (en) 2014-05-16 2014-07-02 Microsoft Corp Notifications
US10402079B2 (en) 2014-06-10 2019-09-03 Open Text Sa Ulc Threshold-based draggable gesture system and method for triggering events
EP2983080A1 (en) * 2014-08-07 2016-02-10 Nokia Technologies OY Audio source control
US9405967B2 (en) * 2014-09-03 2016-08-02 Samet Privacy Llc Image processing apparatus for facial recognition
KR102302721B1 (ko) 2014-11-24 2021-09-15 삼성전자주식회사 복수의 어플리케이션을 실행하는 전자 장치 및 그 제어 방법
US20160210109A1 (en) * 2015-01-19 2016-07-21 Mediatek Inc. Method for controlling audio playing of an electronic device, and associated apparatus and associated computer program product
US9639234B2 (en) 2015-09-10 2017-05-02 Qualcomm Incorporated Dynamic control schemes for simultaneously-active applications
US20170090606A1 (en) * 2015-09-30 2017-03-30 Polycom, Inc. Multi-finger touch
US10764860B2 (en) * 2015-10-27 2020-09-01 Blackberry Limited Monitoring resource access
WO2017075087A1 (en) 2015-10-27 2017-05-04 Blackberry Limited Detecting resource access
CN106169043A (zh) * 2016-06-30 2016-11-30 宇龙计算机通信科技(深圳)有限公司 应用程序的管理方法、管理装置和终端
JP6091693B1 (ja) * 2016-09-21 2017-03-08 京セラ株式会社 電子機器
US10536691B2 (en) * 2016-10-04 2020-01-14 Facebook, Inc. Controls and interfaces for user interactions in virtual spaces
JP6517179B2 (ja) 2016-11-15 2019-05-22 京セラ株式会社 電子機器、プログラムおよび制御方法
JP2018082275A (ja) * 2016-11-15 2018-05-24 京セラ株式会社 電子機器、プログラムおよび制御方法
US10775998B2 (en) * 2017-01-04 2020-09-15 Kyocera Corporation Electronic device and control method
DE102017000569A1 (de) * 2017-01-23 2018-07-26 e.solutions GmbH Verfahren, Computerprogrammprodukt und Vorrichtung zum Ermitteln von Eingabebereichen an einer grafischen Benutzeroberfläche
KR102389996B1 (ko) * 2017-03-28 2022-04-25 삼성전자 주식회사 전자 장치 및 이를 이용한 사용자 입력을 처리하기 위한 화면 제어 방법
CN107219972B (zh) * 2017-05-23 2021-01-01 努比亚技术有限公司 一种应用管理的方法、设备及计算机可读存储介质
CN108228073B (zh) * 2018-01-31 2021-06-15 北京小米移动软件有限公司 界面显示方法及装置
US10751612B1 (en) * 2019-04-05 2020-08-25 Sony Interactive Entertainment LLC Media multi-tasking using remote device
US11442550B2 (en) * 2019-05-06 2022-09-13 Samsung Electronics Co., Ltd. Methods for gesture recognition and control
CN110489215A (zh) * 2019-06-29 2019-11-22 华为技术有限公司 一种应用程序中等待场景的处理方法和装置
CN110502108B (zh) * 2019-07-31 2021-08-17 Oppo广东移动通信有限公司 设备控制方法、装置以及电子设备
KR20210121923A (ko) * 2020-03-31 2021-10-08 삼성전자주식회사 백 그라운드 어플리케이션의 제어 방법 및 이를 지원하는 전자 장치
CN113821128B (zh) * 2020-06-18 2024-09-20 花瓣云科技有限公司 终端设备及其手势操作方法和介质
WO2022159639A1 (en) * 2021-01-20 2022-07-28 Apple Inc. Methods for interacting with objects in an environment
AU2022258962A1 (en) 2021-04-13 2023-10-19 Apple Inc. Methods for providing an immersive experience in an environment
US20230315208A1 (en) * 2022-04-04 2023-10-05 Snap Inc. Gesture-based application invocation
US12112011B2 (en) 2022-09-16 2024-10-08 Apple Inc. System and method of application-based three-dimensional refinement in multi-user communication sessions
US12099653B2 (en) 2022-09-22 2024-09-24 Apple Inc. User interface response based on gaze-holding event assessment
US12108012B2 (en) 2023-02-27 2024-10-01 Apple Inc. System and method of managing spatial states and display modes in multi-user communication sessions
US12118200B1 (en) 2023-06-02 2024-10-15 Apple Inc. Fuzzy hit testing
US12099695B1 (en) 2023-06-04 2024-09-24 Apple Inc. Systems and methods of managing spatial groups in multi-user communication sessions

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101437124A (zh) * 2008-12-17 2009-05-20 三星电子（中国）研发中心 面向电视控制的动态手势识别信号处理方法
CN101923437A (zh) * 2010-09-02 2010-12-22 宇龙计算机通信科技(深圳)有限公司 一种智能移动终端的屏幕提示方法及该智能移动终端
US20110173574A1 (en) * 2010-01-08 2011-07-14 Microsoft Corporation In application gesture interpretation
CN102843460A (zh) * 2011-06-03 2012-12-26 三星电子株式会社 用于提供多任务界面的方法和设备
WO2013021385A2 (en) * 2011-08-11 2013-02-14 Eyesight Mobile Technologies Ltd. Gesture based interface system and method
EP2365422A3 (en) * 2010-03-08 2015-01-21 Sony Corporation Information processing apparatus controlled by hand gestures and corresponding method and program

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6233559B1 (en) * 1998-04-01 2001-05-15 Motorola, Inc. Speech control of multiple applications using applets
US6636763B1 (en) * 1998-12-10 2003-10-21 Andrew Junker Brain-body actuated system
US8312479B2 (en) * 2006-03-08 2012-11-13 Navisense Application programming interface (API) for sensory events
US8565535B2 (en) * 2007-08-20 2013-10-22 Qualcomm Incorporated Rejecting out-of-vocabulary words
JP2009112550A (ja) * 2007-11-07 2009-05-28 Sony Computer Entertainment Inc ゲーム装置、画像処理方法、プログラム及び情報記憶媒体
US8555207B2 (en) * 2008-02-27 2013-10-08 Qualcomm Incorporated Enhanced input using recognized gestures
JP5136292B2 (ja) * 2008-08-26 2013-02-06 日本電気株式会社 情報処理端末のアプリケーション起動方法、情報処理端末及びプログラム
JP4591798B2 (ja) * 2008-10-23 2010-12-01 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 端末装置及びプログラム
KR101019335B1 (ko) * 2008-11-11 2011-03-07 주식회사 팬택 제스처를 이용한 이동단말의 어플리케이션 제어 방법 및 시스템
US8619029B2 (en) * 2009-05-22 2013-12-31 Motorola Mobility Llc Electronic device with sensing assembly and method for interpreting consecutive gestures
KR101071843B1 (ko) * 2009-06-12 2011-10-11 엘지전자 주식회사 이동단말기 및 그 제어방법
JP2011192081A (ja) * 2010-03-15 2011-09-29 Canon Inc 情報処理装置及びその制御方法
US9098333B1 (en) * 2010-05-07 2015-08-04 Ziften Technologies, Inc. Monitoring computer process resource usage
JP2012073658A (ja) * 2010-09-01 2012-04-12 Shinsedai Kk コンピュータシステム
US20120257035A1 (en) * 2011-04-08 2012-10-11 Sony Computer Entertainment Inc. Systems and methods for providing feedback by tracking user gaze and gestures
US20120304131A1 (en) * 2011-05-27 2012-11-29 Jennifer Nan Edge gesture
US9104307B2 (en) * 2011-05-27 2015-08-11 Microsoft Technology Licensing, Llc Multi-application environment
US20120304132A1 (en) * 2011-05-27 2012-11-29 Chaitanya Dev Sareen Switching back to a previously-interacted-with application
KR101295709B1 (ko) * 2011-08-24 2013-09-16 주식회사 팬택 백그라운드 프로세스에 대한 보안 정보 제공 장치 및 방법
US20130106707A1 (en) * 2011-10-26 2013-05-02 Egalax_Empia Technology Inc. Method and device for gesture determination

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101437124A (zh) * 2008-12-17 2009-05-20 三星电子（中国）研发中心 面向电视控制的动态手势识别信号处理方法
US20110173574A1 (en) * 2010-01-08 2011-07-14 Microsoft Corporation In application gesture interpretation
EP2365422A3 (en) * 2010-03-08 2015-01-21 Sony Corporation Information processing apparatus controlled by hand gestures and corresponding method and program
CN101923437A (zh) * 2010-09-02 2010-12-22 宇龙计算机通信科技(深圳)有限公司 一种智能移动终端的屏幕提示方法及该智能移动终端
CN102843460A (zh) * 2011-06-03 2012-12-26 三星电子株式会社 用于提供多任务界面的方法和设备
WO2013021385A2 (en) * 2011-08-11 2013-02-14 Eyesight Mobile Technologies Ltd. Gesture based interface system and method

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109144600A (zh) * 2018-06-21 2019-01-04 连尚（新昌）网络科技有限公司 一种应用程序的运行方法、设备及计算机可读介质
CN109144600B (zh) * 2018-06-21 2021-10-29 连尚（新昌）网络科技有限公司 一种应用程序的运行方法、设备及计算机可读介质
CN109857321A (zh) * 2019-01-23 2019-06-07 努比亚技术有限公司 基于屏幕投影的操作方法、移动终端、可读存储介质
CN112306450A (zh) * 2020-10-27 2021-02-02 维沃移动通信有限公司 信息处理方法、装置

Also Published As

Publication number Publication date
KR20150129830A (ko) 2015-11-20
EP2972670A1 (en) 2016-01-20
TW201447645A (zh) 2014-12-16
JP2016512357A (ja) 2016-04-25
JP6270982B2 (ja) 2018-01-31
US20140282272A1 (en) 2014-09-18
TWI531927B (zh) 2016-05-01
WO2014149698A1 (en) 2014-09-25

Similar Documents

Publication Publication Date Title
CN105009033A (zh) 用于后台任务的交互输入
US11692840B2 (en) Device, method, and graphical user interface for synchronizing two or more displays
CN108776568B (zh) 网页页面的显示方法、装置、终端及存储介质
KR102481878B1 (ko) 휴대 장치 및 휴대 장치의 화면 표시방법
WO2021244443A1 (zh) 分屏显示方法、电子设备及计算机可读存储介质
US20190339840A1 (en) Augmented reality device for rendering a list of apps or skills of artificial intelligence system and method of operating the same
US9753560B2 (en) Input processing apparatus
JP6494926B2 (ja) 携帯端末、ジェスチャ制御プログラムおよびジェスチャ制御方法
US20160139671A1 (en) Method for providing haptic effect in electronic device, machine-readable storage medium, and electronic device
US20150199067A1 (en) Operating method of terminal based on multiple inputs and portable terminal supporting the same collected by portable terminals
US20150177903A1 (en) Method and apparatus for controlling scale resolution in electronic device
KR102657519B1 (ko) 음성을 기반으로 그래픽 데이터를 제공하는 전자 장치 및 그의 동작 방법
KR20150007760A (ko) 수신 데이터를 이용하여 어플리케이션을 운영하는 전자 장치
CN102144209A (zh) 电子设备中的多层次话音反馈
CN112044065B (zh) 虚拟资源的显示方法、装置、设备及存储介质
US11848007B2 (en) Method for operating voice recognition service and electronic device supporting same
CN112068762A (zh) 应用程序的界面显示方法、装置、设备及介质
US20140282204A1 (en) Key input method and apparatus using random number in virtual keyboard
CN109800003B (zh) 应用下载方法、装置、终端及存储介质
KR20140056860A (ko) 광 센서를 구비한 전자 기기 및 이의 제어 방법, 이 전자 기기를 위한 제스처 인식 장치와 방법
CN112230914A (zh) 小程序的制作方法、装置、终端及存储介质
KR20170065904A (ko) 콘텐트 프리로딩 방법 및 이를 지원하는 전자 장치
KR20140036532A (ko) 어플리케이션 실행 방법 및 시스템, 단말과 그 기록 매체
CN113282355A (zh) 基于状态机的指令执行方法、装置、终端及存储介质
US20240231561A1 (en) Service widget processing method and electronic device

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20151028

WD01 Invention patent application deemed withdrawn after publication