CN103914138B - 接近传感器的手势的识别和用途 - Google Patents

接近传感器的手势的识别和用途 Download PDF

Info

Publication number
CN103914138B
CN103914138B CN201310722363.1A CN201310722363A CN103914138B CN 103914138 B CN103914138 B CN 103914138B CN 201310722363 A CN201310722363 A CN 201310722363A CN 103914138 B CN103914138 B CN 103914138B
Authority
CN
China
Prior art keywords
gesture
input
equipment
gesture input
prearranged
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310722363.1A
Other languages
English (en)
Other versions
CN103914138A (zh
Inventor
米夏埃拉·罗斯·卡塞
亚伦·迈克尔·斯图尔特
韦斯利·艾布拉姆·勒特雷尔
冈田守
峰新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Singapore Pte Ltd
Original Assignee
Lenovo Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Singapore Pte Ltd filed Critical Lenovo Singapore Pte Ltd
Publication of CN103914138A publication Critical patent/CN103914138A/zh
Application granted granted Critical
Publication of CN103914138B publication Critical patent/CN103914138B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/0202—Constructional details or processes of manufacture of the input device
    • G06F3/021—Arrangements integrating additional peripherals in a keyboard, e.g. card or barcode reader, optical scanner
    • G06F3/0213—Arrangements providing an integrated pointing device in a keyboard, e.g. trackball, mini-joystick
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及接近传感器的手势的识别和用途。一方面提供了一种方法，包括：操作一个或更多个传感器以检测接近信息处理设备的输入设备的表面的手势输入，其中，输入设备被配置成除了接收手势输入以外，还接收一个或更多个输入类型；使用处理器确定检测到的手势输入是否与预定手势匹配；并且执行与预定手势相关联的至少一个响应动作。其他方面也被描述并要求保护。

Description

接近传感器的手势的识别和用途
技术领域
本发明涉及一种接近传感器的手势的识别和用途。
背景技术
信息处理设备(“设备”)例如膝上型计算机或者台式计算机、平板计算设备、智能电视、公用电话亭等被用于执行许多任务。通常，用户使用各种用户输入设备与这类设备接口。示例的用户输入设备包括但不限于触摸输入设备，例如触摸屏和触摸板，以及机械输入设备，例如具有机械按键的物理键盘。某些设备已经开始实现手势输入功能，例如响应于手势输入(例如手指轻扫或者手部运动)执行动作，该手势输入例如通过使用光学传感器或者电容式传感器而被感测。
发明内容
总之，一个方面提供方法，包括：操作一个或更多个传感器以检测接近信息处理设备的输入设备的表面的手势输入，其中，输入设备被配置成除了接收手势输入以外，还接收一个或更多个输入类型；使用处理器确定所检测到的手势输入是否与预定手势匹配；以及执行与预定手势相关联的至少一个响应动作。
另一个方面提供信息处理设备，包括：具有表面的输入设备，其中，输入设备被配置成除了接收手势输入以外，还接收一个或更多个输入类型；一个或更多个传感器；一个或更多个处理器；在操作上耦接至一个或更多个处理器的存储器，存储器存储能够由一个或更多个处理器执行以进行下述动作的指令，该动作包括：操作一个或更多个传感器以检测接近输入设备的表面的手势输入；确定所检测到的手势输入是否与预定手势匹配；并且执行与预定手势相关联的至少一个响应动作。
前述是概要，从而会包含对细节的简化、概括和省略；因此，本领域技术人员将理解的是，该概要仅仅是说明性的并且不意在以任何方式进行限制。
为了更好地理解实施方式以及实施方式的其他的和进一步的特征和优点，参照以下的结合附图的描述。本发明的范围将在所附权利要求中指出。
附图说明
图1示出了示例信息处理设备及其组件。
图2示出了识别和使用接近接传感器的手势的示例方法。
图3示出了手势输入的示例。
图4示出了手势输入的另一个示例。
图5示出了手势输入的另一个示例。
图6示出了手势输入的另一个示例。
图7示出了手势输入的另一个示例。
图8示出了手势输入的另一个示例。
图9A和图9B示出了手势输入的另一个示例。
图10示出了手势输入的另一个示例。
具体实施方式
将容易地理解，此处附图中具体描述和示出的实施方式的组件可以除所描述的示例实施方式以外的多种不同的配置来布置和设计。从而，以下如示出在附图中的、示例实施方式的更详细的描述，不意在限制所要求保护的实施方式的范围，而只是典型的示例实施方式的表示。
本说明书全文中，对“一个实施方式”或“一种实施方式”等的引用意味着结合实施方式所描述的特定特征、结构或特性包含在至少一个实施方式中。因此，在本说明书全文的各处所出现的短语“在一个实施方式中”或“在一种实施方式中”等未必都指同一实施方式。
而且，在一个或更多个实施方式中，所描述的特征、结构或特性可以以任何适当的方式进行组合。在下面的描述中，提供了许多具体的细节以给出对实施方式的透彻的理解。然而，相关领域的技术人员将认识到，可以在没有一个或更多个具体细节的情况下实施各种实施方式，或可以使用其他的方法、组件、材料等来实施各种实施方式。在其他的示例中，不再详细地示出或描述公知的结构、材料或操作以避免困惑。
尽管各种设备已经实现了基于手势输入的功能，但是当下对于信息处理设备的表面(例如含有键盘的翻盖膝上型计算设备的表面)的手势输入被严重限制(例如限于触摸板输入)。而且，目前被接受的手势输入没有被整合到输入的相关系统中，由此信息处理设备的其他控制，例如，诸如键盘等输入设备的按键或者区域，与手势输入一起使用。例如，没有将对触摸板设备的手势输入整合成多输入机制，例如压低键盘上的键的同时提供手势输入来执行特定的功能。
当前的输入设备所提供的各种输入之间整合的缺乏涉及到更多的场景。例如，键盘输入与手势输入之间没有逻辑链接。这样，用户不能在压低键盘上的键的同时提供手势输入来改变手势输入。这样，对于传统的设备，在键盘上压低键会导致记录多次按键。这对于某些键例如“退格键”是有用的。然而，这对于大多数键(字母键、数字键、符号键等)是没有用的，而且肯定不能被利用来改变其他(例如手势)输入。
此外，经由触摸表面提供的手势输入(例如对触摸板的物理触摸)会带来若干个问题。例如，触摸板对于某些人的手来说可能太小了，使得难以用于手势的使用。在触摸板上做手势也需要用户将他的/她的手从键盘上移开来做出手势。这样会扰乱工作流程。如果用户优选的指示设备是触摸板，那么在触摸板上做手势会导致不慎的光标移动等。如某些设备实现的那样，在触摸屏上做出手势(对照触摸板)时具有类似的限制性，这是因为手势对象(例如用户的一个或更多个手指)掩盖了显示器的一部分或者多个部分。取决于手势的类型，例如五指收放(pinching)，这可能会干扰显示器的主要部分。
因此，实施方式提供整合的手势输入功能。由实施方式提供的整合的手势输入功能使得更精确的手势输入能够被提供和解译，并且提供将手势输入与标准输入整合的机制以取得迄今未实现的附加功能。作为示例，实施方式提供了在键盘上压低键的同时使用手势输入或者在使用手势输入的同时在键盘上压低键的更有用的功能。作为另一个示例，实施方式提供较高分辨率的手势输入，例如将输入设备的表面(例如键盘)划分成对于在其附近检测到的手势输入的响应有影响的子区域(以“x”、“y”的大小)。此外，实施方式提供，使用所检测到的手势输入相对于表面的接近程度(例如手势的高度)作为可以对手势输入的响应产生影响的附加特性。如同本文进一步描述的，这些和其他增加的输入机会在进行数据处理以及处理涉及手势输入的操作任务时给用户提供更丰富和更有用的经验。
可以通过参考附图来最好地理解所示出的示例实施方式。下面的描述意在仅作为示例，并且仅示出了某些示例实施方式。
图1描绘了信息处理设备电路、电路系统或组件的一个示例的框图。图1中描绘的示例可以对应于计算系统，例如由位于北卡罗来纳州莫里斯维尔的联想(美国)公司销售的THINKPAD系列个人电脑或其他设备。根据此处的描述明显的是，实施方式可以包括图1中示出的示例的特征中的仅一些特征或其他特征。
图1的示例包括所谓的芯片组110(一组一起工作的集成电路或芯片、芯片组)，该芯片组110具有可以根据制造商(例如，INTEL、AMD、ARM等)而变化的架构。芯片组110的架构包括核和存储器控制组120以及I/O控制器中枢150，该I/O控制器中枢150经由直接管理接口(DMI)142或链路控制器144交换信息(例如，数据、信号、命令等)。在图1中，DMI 142是芯片到芯片的接口(有时被称为“北桥”与“南桥”之间的链路)。核和存储器控制组120包括经由前端总线(FSB)124交换信息的一个或更多个处理器122(例如，单核或多核)和存储器控制器中枢126；注意，核和存储器控制组120的组件可以被集成在代替传统的“北桥”式架构的芯片中。
在图1中，存储器控制器中枢126与存储器140有接口(例如，为可被称为“系统存储器”或“存储器”的一类RAM提供支持)。存储器控制器中枢126还包括用于显示设备192(例如，CRT、平板、触摸屏等)的LVDS(低压差分信号)接口132。模块138包括可以经由LVDS接口132支持的一些技术(例如，串行数字视频、HDMI/DVI(高清晰度多媒体接口/数字视频接口)和显示端口)。存储器控制器中枢126还包括可以支持独立显卡136的PCI-express(串行总线)接口(PCI-E)134。
在图1中，I/O控制器中枢150包括SATA(串行高级技术附件)接口151(例如，用于HDD(硬盘驱动器)、SDD(固态硬盘)180等)、PCI-E接口152(例如，用于无线连接182)、USB接口153(例如，用于诸如数字转换器、键盘、鼠标、照相机、电话、传声器、存储器、其他连接设备等的设备184)、网络接口154(例如，LAN)、GPIO(通用输入输出)接口155、LPC(低引脚数)接口170(用于ASIC(专用集成电路)171、TPM(可信平台模块)172、超级I/O 173、固件集线器174、BIOS(基本输入输出系统)支持175以及诸如ROM(只读存储器)177、闪存178和NVRAM(非易失性随机存储器)179等各种类型的存储器176)、电力管理接口161、时钟发生器接口162、音频接口163(例如，用于扬声器194)、TCO(温度保险丝)接口164、系统管理总线接口(SM/I2C)165和可以包括BIOS(基本输入输出系统)168和引导代码190的SPI(串行)闪存166。I/O控制器中枢150可以包括千兆以太网支持。
系统在通电时可以被配置来执行在SPI闪存166内存储的、用于BIOS 168的引导代码190，此后，在一个或更多个操作系统和应用软件(例如，存储在系统存储器140中)的控制下处理数据。操作系统可以存储在多种位置中的任何位置处，并例如根据BIOS 168的指令来访问。如此处所述，设备可以包括比在图1的系统中示出的特征更少或者更多的特征。
例如在图1中概述的信息处理设备可以包括例如输入设备的用户设备，例如表面具有一个或更多个标准控件(例如机械键、触摸板、跟踪点等)的键盘。输入设备可以配置成除了响应手势输入以外，还可以响应一个或更多个非手势输入(例如机械按键、触摸板输入等)。此外信息处理设备包括检测手势输入，包括手势输入的二维特性(例如其“x”、“y”坐标)和/或手势输入的接近程度(例如表面以上的高度，例如膝上型计算设备的键盘以上的“z”距离)的一个或更多个传感器。可以根据待检测的手势输入的类型选择一个或更多个传感器。例如，一个或更多个传感器可以包括光学传感器或者电容式传感器或者其组合。这样，可以采用多于一个的传感器以及多于一个的传感器类型。
参考图2，示出了手势辨识系统的操作的一般概况。在实施方式中，例如在信息处理设备启动时激活手势系统并且保持准备检测可能的手势。手势系统可以以若干种方式返回到准备状态，包括但不限于进行特定的手势、在可能的检测手势过程中的空闲超时或者如本文中进一步描述的未能识别检测到的手势。
可能发生通过一个或更多个传感器而识别为可能的手势的用户移动(例如用户在键盘的表面上方提供手势输入)。例如，响应于用户手部移动来识别输入(例如超过最小噪声阈值)并且系统进行到210，尝试将移动识别成手势。如果移动超过手势阈值，例如，是在210处检测到的高于最低噪音水平的运动，则系统可以尝试对检测到的手势进行识别。否则，即使在一定程度上检测到输入，也可以将其视为非手势输入(例如，如果输入超过预定噪声阈值但是没有超过预定手势阈值)。这样，如果系统在210处确定检测到的输入不是手势，那么系统返回到初始状态，准备检测可能的手势。
然而，如果在210处输入被检测为手势输入，那么在220处手势引擎对输入进行分析并且确定做什么。如果在220手势输入成功(例如，意味着检测到的手势输入与手势库中的手势匹配)，那么手势引擎输出成功的手势识别并且在230处开始执行对应于特定手势的响应动作。另一方面，如果在220处的手势识别失败(例如，意味着手势与手势库中的任何手势都不匹配)，那么系统返回到初始状态，准备检测可能的手势。当手势输入成功并且系统在230处执行适当的响应动作，在完成这个步骤之后，系统返回210处准备检测手势的初始状态。
这样，只要系统是开启的并且准备检测手势，它就开始监视在相关表面上方的区域的潜在手势输入。如果满足图2中概述的所有或者某些部分条件，手势引擎用于对手势输入数据进行解译并且采取适当的响应动作。手势引擎可以用来检测可能的手势输入并且用于选择一个或更多个适当的响应动作的某些示例参数，包括但不限于与检测到的手势相关联的层/高度、检测到的手势的位置(例如手势的“x”，“y”大小)、检测到的手势的形状以及检测到的手势的速度。
通过澄清的方式，在此将用于整个说明书中一些术语定义如下。如本文所述的术语“传感器”指的是通过收集有关手势的信息、分析该信息来检测、辨识、解译并且行动以及提供用于确定哪一个(如果有的话)手势是由用户执行的信息的硬件和软件的组合。传感器可以是例如光学的(例如基于红外线或可见光的传感器)或者基于投射电容的传感器或者其组合；然而，可以采用如本文中还将描述的适于感应手势输入的其他传感器类型。此外，在本文中使用的术语“悬浮(hover)”(或者hovering等)，意为在检测对象和传感器之间没有物理接触时通过传感器检测到的输入。本文中用到的术语“轻擦(grazing)”(或类似的变化)意为轻的物理接触(例如，与键盘的键表面的物理接触不足以压下并且激活控制，例如在使用电容的键盘的键上按压键来激活输入)。
在实施方式中，检测到的手势输入的层/高度(例如，传感器或者与传感器相关联的表面上的“z”距离)可以被实施方式用来改进对于手势输入的响应。例如，检测到的手势输入越近(相对于传感器或者与传感器相关联的表面)就有越多的“x”，“y”子区域。这样，离传感器更近的手势输入与离传感器更远的手势输入(例如，用户提供路线手势输入)相比可以提供更精确的输入数据(由于“x”，“y”子区域的数目的增加)。此外，通过传感器检测到的出现手势的层可以通知选择适当的响应动作。“层”是在实施方式中可以用于确定手势体(例如，用户的手或者手指)距离传感器的垂直距离的高度度量。如下面的示例所描述的，层可以分为多个子层。
对于检测与高度相关的悬浮手势，实施方式可以根据手势在表面上方的高度(利用一个或更多个传感器共同定位，例如布置在膝上型计算设备的键盘周围的光学传感器)来解译手势输入。因此，可以检测到与表面没有实际接触的表面上方的手势(例如，用户在键盘上方挥动单手或者双手而不触碰键盘)，并且可以根据检测到的高度(例如，在键盘上方的用户的手的高度)来响应手势输入。可以以各种方式实现高度检测，例如手势输入产生的电容性信号或者光反射的强度。
对于与高度无关的悬浮手势，实施方式可以将手势输入的解译设定为独立于表面上方的手势移动的高度。例如，如果手势移动在表面上方而没有实际的接触(例如悬浮输入)，那么不论该手势输入的高度，对于提供手势输入的手势移动的响应可以是相同的。此外，可以忽略检测或者推断该手势输入的高度的步骤(例如对于特定的手势输入场景的实施方式可以忽略手势输入的高度)。
对于轻擦手势输入，实施方式可以使用手势输入以及与表面的亚阈值接触来提供响应动作。例如，用户可能超过接触的第一阈值(例如与诸如键盘上的键的表面进行的最小接触)而没有激活表面或者专门用于激活表面的控制(例如用户可能没有以足够的力去接触键盘上的键，该力超过实际压下并且激活键的阈值)。作为示例，用户可以用一根手指在“Backspace”键的表面上方从右向左轻扫来删除整个单词。在这个示例中，实施方式检测轻擦手势输入(键的轻扫)，但是因为用户没有按Backspace键，实施方式将有方向的轻扫的手势输入解译成实现删除单词的动作而没有利用键按压。
对于按压输入，实施方式可以使用手势输入以及对表面的按压接触来激活表面或者专门用于表面的控制。例如，响应于用户按压“C”键且保持并且在压下“C”键的同时(用第二只手)向上轻扫，实施方式可以实现选择和/或复制动作，而不是输入“C”字母的输入动作。
对于分层输入，实施方式可以实现“模糊的”或者不确定的地带。例如，对于最上面的层(表面/传感器的远端)，尽管传感器还可以感测手势体，但是传感器可能检测不到足够具体的数据来确定可能的手势。在接收模糊地带的手势输入的事件时，系统尽管检测到手势，也可能将其忽略，或者可以提示用户重复输入。这可以对应于图2中210的动作，例如，感测到输入但是没有检测到手势，或者可以对应于图2中220的动作，例如，感测到手势输入但是没有完成与预定手势的匹配。再者，可以给这个确定补充指示，以指示用户检测到了手势体/手势体的输入，但是还需要更多的信息(例如反复地尝试、提供离传感器更近的手势输入等)。
实施方式可以利用静态或者动态形式的悬浮手势(例如，在移动或者不移动的情况下与表面没有接触的手势输入)来实现响应动作。例如，手势系统可以基于但不限于在传感器上方提供的悬浮手势中的属性和/或属性的组合来表征悬浮手势。在表1中提供了某些非限制性的属性及其描述的示例。
表1：悬浮属性的示例
实施方式可以采用二维(2-D)的“x”，“y”位置检测来改进对各种手势输入的响应动作。例如，实施方式可以使用位置数据来在手势传感器的范围内确定手势对象(例如手、手指和/或人工制品例如笔、手写笔、手机)在二维区域上的位置。如本文所述，采集的数据的量可以与高度/层的确定相协调，例如可以基于检测到的手势输入的高度来不同地划分x”、“y”子区域。例如，实施方式可以限定包括但不限于键盘、跟踪垫以及手掌休息区域的区域。这样，对这些区域中的任何区域的手势输入可以被不同地处理/解译(并且可以响应于对已经提供给不同的子区域或者区域的手势输入的确定来执行不同的动作)。
实施方式可以给手势输入提供与控制相关的解译。这样，可以根据在手势输入支配下的控制进行解译。作为示例，在键盘表面上的“Backspace”键上方轻扫被解译成不同于在“Spacebar”键上方轻扫。作为另一个示例，在键盘表面上的数字键盘区域上方的手势可被解译成不同于字母键区域上方的手势。
实施方式可以单独使用或者与其他手势属性组合地使用手势输入的形状(例如静态手势输入)来确定适当的响应动作。例如，实施方式可以确定手势体的形状，例如检测到的张开或者握住的手来实现给出的响应动作。可以检测到的不同形状的手势体有，例如握住的与张开的手、多个伸开的手指、伸出的手指之间的间距、一样的手势体和不一样的手势体或者前述的适当组合。这些静态手势输入可以用于确定手势的形状以执行不同的响应动作。
实施方式可以将形状与手势的其他属性一起利用，例如手势输入垂直投影到其中的表面或者区域的面积。实施方式可以通过但不限于在可由传感器检测到的投影区域中检测二维形状、检测三维形状、推断手势体的姿势和方向等来确定形状。例如，实施方式可以利用对包括在手势区域中的一个或更多个手指、手、身体部分(例如面部)和/或人工制品的检测。可以检测到的不同形状的示例包括但不限于一个或者多个手指伸开、手指弯曲或者弯曲度(在收放和展开之间)的组合。实施方式可以检测伸开的不同数目的手指以辨别手势的不同类型。检测到的手指可以属于同一只手或者属于不同的手，由此得到不同的手势输入检测。此外实施方式可以检测表示不同的手势输入的握住的、张开的或者中间姿势的单手或者双手的组合。同样地，手指伸展(主动移动手指使其彼此更靠近或者更远离)可以被检测为动态的形状手势。以上示例的组合或者类似的示例可以作为形状输入被检测，所述形状输入确定由系统执行的手势输入动作。
实施方式可以使用手势输入的动态特性来确定手势输入动作。例如，实施方式可以使用手势的速度(相对于表面)作为手势输入的动态特性来选择要执行的动作。与静态输入相比，动态输入可以是与速度无关的或者与速度相关的。例如，静态手势中手势保持在一个位置(因此速度为零或者基本上为零)。动态且与速度无关的手势是整个手势相对于表面移动的手势；然而手势输入的解译不取决于手势的速度。动态且与速度相关的手势是整个手势输入相对于表面移动并且手势的解译取决于检测到的速度。
此外实施方式可以利用时长或者重复、单独或者彼此组合或者与其他手势的属性一起使用来解译手势输入。例如，根据时长的预触发事件可以包括使用触发响应动作的手势输入所需要的时间阈值。这样，触发可以被设置成一旦确认手势输入，基本上就会瞬间触发响应动作。触发也可以设置成需要一定时长的输入(例如输入时长所需的阈值)，响应动作只发生在以超过时间阈值的时间段来记录手势输入之后。
关于重复的预触发可以包括，要求重复手势输入来触发响应动作。例如，与在确认手势输入时就执行响应动作相比，实施方式可能需要要求进行重复，以作为触发事件。这样，响应动作仅发生在手势重复了一定次数之后(例如，将重复运动模式作为手势输入)。
此外，可以利用手势输入的轨迹解译手势输入并且触发响应动作。例如，实施方式可以在三维(3-D)空间确定手势相对于表面的移动路径。例如可以通过手指、手、身体其他部分和/或人工制品的运动(包括手势)或者整个手势实体的运动(例如一起平均)的运动来确定轨迹。值得注意的是，轨迹是手势在时间窗口上而不是某一时间点的移动路径，其更适当地表征为手势形状(例如，手势输入的方向)。因此，轨迹属性不适用于静态手势。轨迹手势的示例可以包括但不限于：轻扫运动(例如在表面上)，旋转运动(例如在表面上或表面上方)、收放运动(例如在表面上或表面上方)、挥动运动(例如在表面上或表面上方)、滚动运动(例如在表面上或表面上方)、改变手指和/或手的方向(例如随着时间的推移改变手势体的形状)和/或画图运动(例如在表面上或表面上方的自由形式的输入)。
响应于手势输入的解译而采取的单个响应动作或者多个响应动作可以采取各种形式。进而，可以修改响应于一个或更多个附加的手势输入或者输入设备的其他输入的响应动作。例如，响应动作的流模式可以是不连续的或者连续的。这样，手势输入可以触发具有不连续的流模式的响应动作，例如，响应动作由单一事件被触发。不连续的响应动作的示例是画叉形或者“X”形的手势输入，随后关闭屏幕上的应用程序窗口。即，只要确定“X”形的手势输入，那么触发的响应是不连续的。
流模式也可以是连续的，例如，在进行手势输入的同时，响应动作发生和继续(并且可以被修改)。连续流模式响应动作的示例是两根手指移动以滚动网页。这里，可以在手势输入开始时启动滚动的初始响应并且可以在收到手势输入的整个过程中继续滚动。
响应动作也可以由修改工具进行修改。例如，可以在提供手势输入之前、之中或者之后由一个或者多个激活的控制(例如键、触摸板、按钮等)对响应进行修改。修改工具的示例可以包括但不限于按压一个或更多个键、按压一个或更多个按钮或者前述的组合。
图3至图10示出手势输入和响应动作的示例。给出的每个示例是为了突出各种实施方式的各个方面并且每个示例可以与一个或更多个其他示例一起使用。在每个示例中，基于一个或更多个属性对某些形式的手势输入进行识别并且响应于识别的手势输入与例如手势库中存储的预定手势输入的匹配来执行单个响应动作或者多个响应动作。
示例1：双手旋转
如图3所示，用户将双手在表面(例如示例中示出的电容性的键盘表面)上轻擦或者悬浮，并且将一个手向上移动同时另一个手向下移动。用户使用这个手势运动模拟了例如屏幕上内容所需的顺时针/逆时针旋转。手势系统(如图2中的概述)会检测手势输入，将它与手势库中存储的手势匹配，并且执行响应动作，例如将适当的内容(例如照片，网页，文件等)进行旋转。当双手在这个圆形的运动中保持移动的同时，不断地接收手势输入，并且实现连续流模式响应动作的实施方式可以继续旋转响应动作。旋转的速度可以与手的移动速度匹配，例如手势输入可以修改响应动作。
表2包含表示图3的示例中所检测到的手势输入的属性或者特性及其值的属性/值对。
属性 值
层 轻擦
位置 不可用
形状 双手打开
速度 动态，与速度相关
预触发时长 瞬间的
预触发重复 一次
时长 连续的
轨迹 旋转
修改工具 不可用
表2.双手旋转
示例2：双手收放
如图4所示，用户将双手放在表面(例如作为示例示出的电容性的键盘表面)上方并且执行收放运动。当手势输入与手势库中存储的收放运动匹配(例如与收拢或者放开的手势匹配)时，手势系统会检测到该手势输入，并且向显示屏幕输出信号以将适当的内容(例如照片，网页或者文件等)放大/缩小。在用户在收放运动中持续移动他的或者她的双手的同时，缩放会继续，例如本文所述的连续流模式。缩放的速度可以取决于手的运动速度，例如手势的速度用作响应动作的修改工具。
表3包含表示图4的示例中所检测到的手势输入的属性或者特性及其值的属性/值对。
属性 值
层 轻擦
位置 不可用
形状 双手张开
速度 动态，与速度相关
预触发时长 瞬间的
预触发重复 一次
时长 连续的
轨迹 收放
修改工具 不可用
表3：双手收放
示例3：单手挥动
如图5所示，用户可以在表面(再次重申，图5所示的例子是键盘)上方以预定次数(例如三次)横向前后运动地来回挥动张开的手(或可选地，以手腕为轴并且移动手做弧线运动)。响应这一手势输入(包括触发)，手势系统可以将检测到的手势输入与手势库中的手势输入匹配，并且可以切换到所安装的不同键盘或者输入法。例如可以在键盘布局(例如从QWERTY布局切换到DVORAK布局)或者键盘语言(例如从英文切换到法文)之间切换。这样，实施方式使用预触发模式(例如重复三次挥动动作)来发出不连续的响应动作，例如键盘布局切换。
表4包含表示图5的示例中所检测到的手势输入的属性或者特性及其值的属性/值对。
属性 值
层 轻擦
位置 不可用
形状 单手张开
速度 动态，与速度无关
预触发时长 不可用
预触发重复 三次
时长 不连续的
轨迹 挥动
修改工具 不可用
表4：单手挥动
示例4：一根手指在区域中画图
如图6所示，用户可以将手指(或者人工制品，例如笔)定位在数字键盘部分上方，并且以预定义的画图方式移动手指。如果用户成功地画出预定符号图案，例如数学函数，手势系统会将手势输入与手势库中存储的针对该符号的手势匹配。接着手势系统会输出信号以启动适当的响应动作。作为示例，当用户在数字键盘部分上方画出“√”，这个手势输入会被解译/匹配成数学符号“√”，并且可以显示这个数学符号，就好像用户在应用程序中选择了这个数学符号(例如，在MICROSOFT WORD文件中从符号菜单插入该符号)似的。因此，实施方式使用区域性的解译(例如，在数字键盘部分上方的手势输入)来执行不连续的响应动作(例如，插入数学符号)。
表5包含表示图6的示例中所检测到的手势输入的属性或者特性及其值的属性/值对。
表5：一根手指画图。
示例5：在表面的子区域上方用一根手指轻扫的手势来执行不连续的动作
如图7所示，用户可以提供相对于特定的表面子区域的手势输入来执行动作。例如，在适当的内容(例如显示屏幕上的文件等)中，用户可以提供一根手指轻扫的手势输入，例如在“Backspace”键上方轻擦，来删除最后输入的字。这样，实施方式使用区域性的解译(例如，在具体的键上方的手势输入)与高度解译一起(例如，轻擦输入)来执行不连续的响应动作(例如，对预定输入例如最后输入的单词进行删除)。
表6包含表示图7的示例中所检测到的手势输入的属性或者特性及其值的属性/值对。
属性 值
层 轻擦
位置 与控制相关：手势是在“Backspace”键上方
形状 一根手指伸开
速度 动态，与速度相关
预触发时长 瞬间的
预触发重复 一次
流 不连续的
轨迹 轻扫
修改工具 不可用
表6：一根手指在Backspace键上轻扫
示例6：在“Enter”键上方用一根手指轻扫的手势来进行选择
如图8所示，用户可以在用户界面控制(例如膝上型键盘)上的“Enter”键上方提供一根手指的轻扫手势(轻擦输入)。响应于对这个输入的接收，手势系统可以将手势输入与手势库中的手势匹配并且提供信号，该信号提示主系统向用户显示提示。向用户显示的提示可以提示用户做出选择(例如列表框、组合框、对话框等)。手势输入可以交替用于使用户可以浏览已经列出的可选的项目，例如根据轻扫手势的方向在列表中向前或者向后移动。
此外，实施方式可以利用速度作为手势输入特性，例如将更快的轻扫动作(例如，超过预定速度的轻弹动作)解译为更迅速地浏览选项。此外，实施方式可以将不同的手势输入解译为执行不同的不连续的响应动作。例如，在“Enter”键上向上或者向下轻扫的手势可以触发分别将选择指示器移动到列表的顶部或者到列表底部的响应动作。只要用选择指示器突出显示了所需的项目，用户就可以提供附加的输入(例如，机械按压Enter键)以做出选择。
表7包含表示图8A-图8B的示例中所检测到的手势输入的属性或者特性及其值的属性/值对。
属性 值
层 轻擦
位置 与控制相关：手势是在“Enter”键上方
形状 一根手指伸开
速度 动态，与速度相关
预触发时长 瞬间的
预触发重复 一次
流 不连续的
轨迹 轻扫
修改工具 不可用
表7：在Enter键上方用一根手指轻扫的手势
示例7：按压热键并且保持住的手势输入
如图9A所示，用户可以按下热键(例如字母键)并且保持预定阈值时间(例如一秒)。实施方式可以将这种输入解译为启动手势输入/响应动作对。例如，响应于按压热键并且保持住，系统将通过能接受一定的手势输入来回应。例如，如图9A所示，用户可以在多个方向上轻扫以选择关于该字母的热键手势动作。例如，保持住字母键“C”并且向左轻扫可以导致“Copy”(Ctrl+C)，向上轻扫可以导致大写“C”(对应于机械输入的Shift+C)，向右轻扫可以导致Alt+C，或者向下轻扫可以导致Fn+C。在图9B示出的示例中，只有一定的手势可以导致基于手势的热键功能，而没有可以与另一个热键/手势输入(例如，按压字母键“C”并且向右轻扫)相关联的功能。
表8包含表示图9A-图9B的示例中所检测到的手势输入的属性或者特性及其值的属性/值对。
属性 值
层 按压
位置 与控制相关：手势是在特定的字母键(例如“C”)上。
形状 一根手指伸开
速度 动态，与速度无关
预触发时长 所需阈值
预触发重复 一次
流 不连续的
轨迹 轻扫
修改工具 字母键(例如“C”)
表8：按压热键并且保持住的手势输入
示例8：变化形状以执行功能
如图10中示出的，手指伸出并且展开(例如，用户以使手指之间相互分离的姿势伸出五指)可用于查看打开的应用程序或者固定在操作系统(例如WINDOWS 8操作系统)的任务栏上的应用程序。这样，系统检测到预定手势，例如如图10所示，用户打开他的或者她的左手，并且将该检测到的手势输入映射到手势库中的手势。响应于匹配，实施方式执行预定的不连续的功能，例如提供对打开的应用程序或者固定在任务栏上的应用程序的显示。
因此，如同本文中描述的各种示例实施方式中概述的那样，手势系统可以检测到手势输入并且将这些手势映射到存储了手势输入的库中的一个手势输入。响应于该匹配，实施方式可以执行不连续的或者持续的响应动作，该响应动作可以通过附加输入进行修改。因此，各种实施方式提供用于接收例如膝上型计算设备的键盘等表面上方的手势输入并且执行与之相称的动作。
虽然结合本文提供的例子描述了各种示例实施方式，但是它们被提供作为非限制性的实施方式。因此，实施方式可以在类似情境下与类似的设备和方法一起使用。同样地，尽管在描述中使用设备(例如膝上型计算设备)作为具体的示例，可以将实施方式连同其他类型的设备(例如台式计算机、智能电视和显示器、公用电话亭等)一起利用。
还要理解的是各种实施方式可以在适当配置成执行符合本文所描述的实施方式的功能的程序指令的一个或更多个信息处理设备中实现。在这方面，图1示出了这类设备及其组件的非限制性的例子。
本领域的普通技术人员将理解的是，本发明的各个方面可以实施为系统、方法或设备程序产品。因此，本发明的各个方面可以采用完全硬件实施方式的形式或采用包括软件的实施方式的形式，所述软件在本文中可以全部统称为“电路”、“模块”或“系统”。而且，本发明的各个方面可以采用在一个或更多个设备可读介质中实施的设备程序产品的形式，所述一个或更多个设备可读介质包含有设备可读程序代码。
可以利用一个或更多个无信号设备可读介质的任何组合。无信号介质可以是存储介质。存储介质可以是例如电子的、磁的、光学的、电磁的、红外线的或半导体的系统、装置或设备，或前述的任何适当的组合。存储介质的更多的具体示例包括如下：便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、光纤、便携式光盘只读存储器(CD-ROM)、光学储存设备、磁存储设备，或前述的任何适当的组合。
可以使用任何适当的介质，包括但不限于无线、有线、光缆、RF等或前述的任何适当的组合，来传输在存储介质上所包含的程序代码。
可以以一种或更多种编程语言的任何组合来编写用于执行操作的程序代码。程序代码可以完全在单个设备上执行或部分地在单个设备上执行、作为独立软件包，部分地在单个设备上且部分地在另一设备上执行或完全在其他设备上执行。在一些情况下，可以通过任何类型的连接或网络(包括局域网(LAN)或广域网(WAN))来连接设备，或可以通过其他设备(例如，通过使用因特网服务提供商的因特网)或通过硬线连接(例如通过USB连接)来进行连接。
在此参考示出了根据各种示范示例实施方式的方法、设备和程序产品的附图来描述各个方面。将理解的是，示出的动作和功能可以至少部分地由程序指令来实现。可以将这些程序指令提供给通用信息处理设备、专用信息处理设备或其他可编程数据处理设备或信息处理设备的处理器以产生机制，使得指令实现指定的功能/动作，所述指令经由设备的处理器来执行。
也可以将程序指令存储在设备可读介质中，该设备可读介质可以以特定的方式引导设备运行，以使得存储在设备可读介质中的指令生成制品，该制品包括实现指定的功能/动作的指令。
也可以将程序指令加载到设备上以使得待在设备上执行的一系列操作步骤生成设备实现的处理，使得在设备上执行的指令提供用于实现指定功能/动作的处理。
给出本公开内容是为了说明和描述，而非意在是穷举或限制。对本领域技术人员来说，许多修改和变化是明显的。选择并描述示例实施方式是为了说明原理和实际应用，并且使得除了本领域技术人员以外的其他人员能够理解本公开内容，本公开内容对应于与预期的特定使用相称的、具有多种修改的多种实施方式。
从而，尽管在此参考附图描述了说明性的示例实施方式，但要理解的是，该描述不是限制性的，并且在不偏离本公开内容的范围或精神的情况下本领域技术人员可以作出各种其他变化和修改。

Claims (19)

1.一种方法，包括：
操作一个或更多个传感器以检测接近信息处理设备的输入设备的表面的手势输入，其中，所述输入设备被配置成除了接收手势输入以外，还接收一个或更多个输入类型；
使用处理器确定所检测到的手势输入是否与预定手势匹配；以及
执行与所述预定手势相关联的至少一个响应动作；
其中，所述输入类型为键盘输入时，当按下按键的同时接收到所述手势输入，整合所述键盘输入和所述手势输入，执行附加的功能。
2.根据权利要求1所述的方法，其中，所述操作一个或更多个传感器以检测接近输入设备的表面的手势输入还包括：确定一个或更多个手势对象和所述输入设备的表面之间的距离。
3.根据权利要求2所述的方法，其中，所述使用处理器确定所检测到的手势输入是否与预定手势匹配，为：
确定所述手势输入是否与在层中的预定手势输入匹配，其中，所述层由对所述一个或更多个传感器的接近程度来限定；所述层是用于确定手势对象距离传感器的垂直距离的高度度量；
确定所述手势输入是否与在层的组合中的预定手势输入匹配，其中，所述层的组合由对所述一个或更多个传感器的接近程度来限定；或者
确定所述手势输入是否与对应于经过多个层的运动的预定手势输入匹配，其中，所述多个层由对所述一个或更多个传感器的接近程度来限定。
4.根据权利要求1所述的方法，还包括检测在所述输入设备的表面上的物理接触。
5.根据权利要求4所述的方法，其中，在所述输入设备的表面上的物理接触不激活对所述输入设备的控制。
6.根据权利要求4所述的方法，其中，在所述输入设备的表面上的物理接触激活对所述输入设备的控制。
7.根据权利要求6所述的方法，还包括响应于激活对所述输入设备的控制来修改与所述预定手势相关联的至少一个响应动作。
8.根据权利要求1所述的方法，其中，所述操作一个或更多个传感器以检测接近信息处理设备的输入设备的表面的手势输入还包括：检测在所述输入设备的表面的特定区域内的手势输入。
9.根据权利要求8所述的方法，其中，所述使用信息处理设备确定所检测到的手势输入是否与预定手势匹配还包括：确定在所述输入设备的表面的特定区域内的手势输入是否与所述预定手势匹配。
10.根据权利要求9所述的方法，其中，所述表面的区域根据所检测到的手势输入对所述表面的接近程度来限定。
11.一种信息处理设备，包括：
具有表面的输入设备，其中，所述输入设备被配置成除了接收手势输入以外，还接收一个或更多个输入类型；
一个或更多个传感器；
一个或更多个处理器；以及
在操作上耦接至所述一个或更多个处理器的存储器，所述存储器存储能够由所述一个或更多个处理器执行以进行下述动作的指令，所述动作包括：
操作所述一个或更多个传感器以检测接近所述输入设备的表面的手势输入；
确定所检测到的手势输入是否与预定手势匹配；以及
执行与所述预定手势相关联的至少一个响应动作；
其中，所述输入类型为键盘输入时，当按下按键的同时接收到所述手势输入，整合所述键盘输入和所述手势输入，执行附加的功能。
12.根据权利要求11所述的信息处理设备，其中，所述操作一个或更多个传感器以检测接近输入设备的表面的手势输入还包括：确定一个或更多个手势对象和所述输入设备的表面之间的距离。
13.根据权利要求12所述的信息处理设备，其中，所述确定所检测到的手势输入是否与预定手势匹配，为：
确定所述手势输入是否与在层中的预定手势输入匹配，其中，所述层由对所述一个或更多个传感器的接近程度来限定；所述层是用于确定手势对象距离传感器的垂直距离的高度度量；
确定所述手势输入是否与在层的组合中的预定手势输入匹配，其中，所述层的组合由对所述一个或更多个传感器的接近程度来限定；或者
确定所述手势输入是否与对应于经过多个层的运动的预定手势输入匹配，其中，所述多个层由对所述一个或更多个传感器的接近程度来限定。
14.根据权利要求11所述的信息处理设备，其中，所述动作还包括检测在所述输入设备的表面上的物理接触。
15.根据权利要求14所述的信息处理设备，其中，在所述输入设备的表面上的物理接触不激活对所述输入设备的控制。
16.根据权利要求14所述的信息处理设备，其中，在所述输入设备的表面上的物理接触激活对所述输入设备的控制。
17.根据权利要求16所述的信息处理设备，其中，所述动作还包括响应于激活对所述输入设备的控制来修改与所述预定手势相关联的至少一个响应动作。
18.根据权利要求11所述的信息处理设备，其中，所述操作一个或更多个传感器以检测接近输入设备的表面的手势输入还包括：检测在所述输入设备的表面的特定区域内的手势输入。
19.根据权利要求18所述的信息处理设备，其中，所述表面的区域根据检测到的手势输入对所述表面的接近程度来动态地限定。
CN201310722363.1A 2013-01-04 2013-12-24 接近传感器的手势的识别和用途 Active CN103914138B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/734,463 US10331219B2 (en) 2013-01-04 2013-01-04 Identification and use of gestures in proximity to a sensor
US13/734,463 2013-01-04

Publications (2)

Publication Number Publication Date
CN103914138A CN103914138A (zh) 2014-07-09
CN103914138B true CN103914138B (zh) 2018-07-31

Family

ID=49918033

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310722363.1A Active CN103914138B (zh) 2013-01-04 2013-12-24 接近传感器的手势的识别和用途

Country Status (4)

Country Link
US (1) US10331219B2 (zh)
CN (1) CN103914138B (zh)
DE (1) DE102013111978B4 (zh)
GB (1) GB2509599C (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103577079B (zh) * 2012-07-24 2017-11-07 腾讯科技（深圳）有限公司 电子设备中实现与应用交互的方法及电子设备
US9720504B2 (en) * 2013-02-05 2017-08-01 Qualcomm Incorporated Methods for system engagement via 3D object detection
US9159140B2 (en) * 2013-03-14 2015-10-13 Microsoft Technology Licensing, Llc Signal analysis for repetition detection and analysis
US9423890B2 (en) * 2013-06-28 2016-08-23 Lenovo (Singapore) Pte. Ltd. Stylus lexicon sharing
US20150185869A1 (en) * 2013-12-30 2015-07-02 Google Inc. Keyboard proximity sensing
US11226686B2 (en) * 2014-01-20 2022-01-18 Lenovo (Singapore) Pte. Ltd. Interactive user gesture inputs
JP2015154377A (ja) * 2014-02-18 2015-08-24 キヤノン株式会社 画像処理装置、画像処理装置の制御方法およびプログラム
CN104432711A (zh) * 2014-11-04 2015-03-25 深圳市鼎芯无限科技有限公司 智能手套及其使用方法
US9619043B2 (en) 2014-11-26 2017-04-11 At&T Intellectual Property I, L.P. Gesture multi-function on a physical keyboard
US9612664B2 (en) * 2014-12-01 2017-04-04 Logitech Europe S.A. Keyboard with touch sensitive element
JP2016133934A (ja) * 2015-01-16 2016-07-25 シャープ株式会社 情報処理装置、情報処理装置の制御方法、および制御プログラム
CN104679417B (zh) * 2015-03-23 2018-05-22 广东欧珀移动通信有限公司 移动终端中接近传感器的应用方法及系统
US9646167B2 (en) * 2015-06-01 2017-05-09 Light Cone Corp. Unlocking a portable electronic device by performing multiple actions on an unlock interface
CN105635779B (zh) * 2015-12-29 2019-10-01 深圳Tcl数字技术有限公司 智能电视输入法的控制方法及装置
DE102016003147B4 (de) * 2016-03-16 2021-07-15 Audi Ag Beleuchtungssystem mit einer Beleuchtungseinrichtung und Sensoreinrichtung zur Detektion eines Bewegungsablaufs
US20190079668A1 (en) * 2017-06-29 2019-03-14 Ashwin P Rao User interfaces for keyboards
GB2574786B (en) * 2017-10-12 2020-12-02 Wexler David Electronic body percussion
US20210247849A1 (en) * 2018-06-11 2021-08-12 Clevetura Llc Input device, signal processing unit thereto, and method to control the input device
US11221683B2 (en) * 2019-05-09 2022-01-11 Dell Products, L.P. Graphical user interface (GUI) manipulation using hand gestures over a hovering keyboard
US10852844B1 (en) * 2019-05-09 2020-12-01 Dell Products, L.P. Configuring the layout of a keyboard using gestures
CN110187795B (zh) * 2019-05-31 2021-03-19 联想(北京)有限公司 一种数据处理方法及电子设备
US11916900B2 (en) * 2020-04-13 2024-02-27 Ouraring, Inc. Authorized remote control device gesture control methods and apparatus
WO2022046082A1 (en) * 2020-08-28 2022-03-03 Hewlett-Packard Development Company, L.P. Translate a hand gesture to an action
CN113791699A (zh) * 2021-09-17 2021-12-14 联想(北京)有限公司 一种电子设备操纵方法以及电子设备

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7161524B2 (en) * 2003-03-28 2007-01-09 Universal Electronics Inc. System and method for using an universal remote control to access extended operational functions of a device
US20070130547A1 (en) 2005-12-01 2007-06-07 Navisense, Llc Method and system for touchless user interface control
WO2008020446A1 (en) * 2006-08-15 2008-02-21 N-Trig Ltd. Gesture detection for a digitizer
KR20100041006A (ko) 2008-10-13 2010-04-22 엘지전자 주식회사 3차원 멀티 터치를 이용한 사용자 인터페이스 제어방법
US20100100854A1 (en) 2008-10-16 2010-04-22 Dell Products L.P. Gesture operation input system
US20100149099A1 (en) * 2008-12-12 2010-06-17 John Greer Elias Motion sensitive mechanical keyboard
US10585493B2 (en) * 2008-12-12 2020-03-10 Apple Inc. Touch sensitive mechanical keyboard
US20100259482A1 (en) * 2009-04-10 2010-10-14 Microsoft Corporation Keyboard gesturing
KR101633332B1 (ko) * 2009-09-30 2016-06-24 엘지전자 주식회사 단말기 및 그 제어 방법
KR101092722B1 (ko) 2009-12-02 2011-12-09 현대자동차주식회사 차량의 멀티미디어 시스템 조작용 사용자 인터페이스 장치
US8232990B2 (en) 2010-01-05 2012-07-31 Apple Inc. Working with 3D objects
WO2011119154A1 (en) * 2010-03-24 2011-09-29 Hewlett-Packard Development Company, L.P. Gesture mapping for display device
CN102713822A (zh) 2010-06-16 2012-10-03 松下电器产业株式会社 信息输入装置、信息输入方法以及程序
US20120050007A1 (en) 2010-08-24 2012-03-01 Babak Forutanpour Methods and apparatus for interacting with an electronic device application by moving an object in the air over an electronic device display
KR101816721B1 (ko) * 2011-01-18 2018-01-10 삼성전자주식회사 센싱 모듈, ｇｕｉ 제어 장치 및 방법
US8686946B2 (en) * 2011-04-07 2014-04-01 Hewlett-Packard Development Company, L.P. Dual-mode input device
GB2490108B (en) 2011-04-13 2018-01-17 Nokia Technologies Oy A method, apparatus and computer program for user control of a state of an apparatus
US20130257734A1 (en) * 2012-03-30 2013-10-03 Stefan J. Marti Use of a sensor to enable touch and type modes for hands of a user via a keyboard
US8928590B1 (en) * 2012-04-03 2015-01-06 Edge 3 Technologies, Inc. Gesture keyboard method and apparatus
US20140152566A1 (en) * 2012-12-05 2014-06-05 Brent A. Safer Apparatus and methods for image/sensory processing to control computer operations

Also Published As

Publication number Publication date
US10331219B2 (en) 2019-06-25
GB2509599C (en) 2017-08-16
GB2509599A (en) 2014-07-09
US20140191972A1 (en) 2014-07-10
GB2509599B (en) 2017-08-02
CN103914138A (zh) 2014-07-09
DE102013111978B4 (de) 2020-08-27
GB201320620D0 (en) 2014-01-08
DE102013111978A1 (de) 2014-07-10

Similar Documents

Publication Publication Date Title
CN103914138B (zh) 接近传感器的手势的识别和用途
Yi et al. Atk: Enabling ten-finger freehand typing in air based on 3d hand tracking data
US8941600B2 (en) Apparatus for providing touch feedback for user input to a touch sensitive surface
Hinckley Input technologies and techniques
US20120105367A1 (en) Methods of using tactile force sensing for intuitive user interface
EP2717120B1 (en) Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications
Cheng et al. iGrasp: grasp-based adaptive keyboard for mobile devices
CN104199552B (zh) 多屏显示方法、设备及系统
Wigdor et al. Ripples: utilizing per-contact visualizations to improve user interaction with touch displays
US8432301B2 (en) Gesture-enabled keyboard and associated apparatus and computer-readable storage medium
US20100229090A1 (en) Systems and Methods for Interacting With Touch Displays Using Single-Touch and Multi-Touch Gestures
EP1942399A1 (en) Multi-event input system
CN105814531A (zh) 根据输入源标识符改变的用户界面适配
US20110216015A1 (en) Apparatus and method for directing operation of a software application via a touch-sensitive surface divided into regions associated with respective functions
US20130120282A1 (en) System and Method for Evaluating Gesture Usability
US20150160779A1 (en) Controlling interactions based on touch screen contact area
Heo et al. Expanding touch input vocabulary by using consecutive distant taps
JP2012508427A (ja) 表面に載せた手に合わせたジェスチャーの発生
Guimbretière et al. Bimanual marking menu for near surface interactions
Zhang et al. Gestkeyboard: enabling gesture-based interaction on ordinary physical keyboard
Le et al. PredicTouch: A system to reduce touchscreen latency using neural networks and inertial measurement units
Matulic et al. Hand contact shape recognition for posture-based tabletop widgets and interaction
CN106796810A (zh) 在用户界面上从视频选择帧
JP2009070416A (ja) 制御システムおよび制御方法
US20200356251A1 (en) Conversion of handwriting to text in text fields

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant