CN104220962B - 利用触摸手势的手势仿真的设备的命令 - Google Patents

利用触摸手势的手势仿真的设备的命令 Download PDF

Info

Publication number
CN104220962B
CN104220962B CN201380009029.XA CN201380009029A CN104220962B CN 104220962 B CN104220962 B CN 104220962B CN 201380009029 A CN201380009029 A CN 201380009029A CN 104220962 B CN104220962 B CN 104220962B
Authority
CN
China
Prior art keywords
remote control
touch
user
gesture
machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380009029.XA
Other languages
English (en)
Other versions
CN104220962A (zh
Inventor
D·戈麦斯
H·M·R·科腾拉德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Movea SA
Original Assignee
Movea SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Movea SA filed Critical Movea SA
Publication of CN104220962A publication Critical patent/CN104220962A/zh
Application granted granted Critical
Publication of CN104220962B publication Critical patent/CN104220962B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种模仿屏幕上的触摸界面的用户对机器的接口及其操作方法。本发明的接口被配置为基于触发事件来以触摸仿真模式工作。触发事件可以是围绕第一个轴旋转的角度大于第一个阈值。对围绕第二个轴旋转的量的分析可以用于确定限定了特定触摸手势的手指的数量。因此可以由遥控器基于应用程序语境来模仿触摸手势的无限变化，因此允许触摸屏幕机器来自远处的多种使用。

Description

利用触摸手势的手势仿真的设备的命令
背景技术
本发明涉及能够向电子设备远程发送命令的人机接口。更具体地，它应用于诸如遥控器或空中鼠标之类的运动捕捉设备，其用于识别用作电子设备的命令代码的手势，所述电子设备具有触摸屏幕，例如来自AppleTM的i-PadTM、来自SamsungTM的GalaxyTM、来自GoogleTM的NexusTM、或来自MicrosoftTM的SurfaceTM这类的平板电脑。这些触摸屏幕设备在其标准操作模式中由用户与屏幕的触觉表面的直接交互来控制。但这种平板电脑可以用于看电影、玩游戏、或显示图像。在这种情况下，用户坐在或站在距平板电脑一定距离的位置，并且有利的是在没有触摸平板电脑的情况下仍然能够对设备进行控制。遥控器或空中鼠标通常控制所指向的屏幕上的单个点(光标)的运动，并且可以由遥控器上的按钮来触发由光标控制的功能。利用遥控器在本质上不同于与触摸屏幕的直接交互，在直接交互的情况下，用户通过直接在屏幕上利用一个或多个手指进行点击、保持、滚动、拖动或旋转来控制平板电脑的操作。在这一直接交互中，不存在光标和按钮，并且控制是更直观的。此外，当使用多于一个手指时，不存在与由遥控器/空中鼠标控制的单个光标的直接对应。
根据n°US2007/0208528出版的US专利申请公开了一种系统，其中由产生传感器信号的输入设备来控制设备，所述传感器信号被转换成第二组信号，所述第二组信号包括与来自触摸屏幕设备的触屏输入信号基本相似的信号。
但是该现有技术系统的信号转换过程复杂，并且无法解决如何使用遥控器利用触摸命令来控制设备的功能的问题，尤其是当这些触摸命令由多点触摸动作组成时，在多点触摸动作情况下需要由目标设备来解译多于一个手指的交互。
发明内容
本发明的系统利用例程解决了这一问题，该例程允许设备的触摸命令的直接控制，该设备的触摸命令来自由用户利用特定手势、尤其是围绕特定的轴的手势给予的遥控器的取向/运动，并且不需要将运动信号转换成另一类信号。
为达到这种效果，本发明公开了一种用户对机器的接口，其包括至少具有运动感测能力的遥控器、遥控器与机器之间的通信链路、用于处理来自所述运动感测能力的运动信号的处理能力；所述处理能力还被配置为：基于触发事件来初始化触摸仿真模式、至少识别具有利用遥控器的用户的手势、以及向机器的操作系统传送所述识别的输出。
有利地，触摸仿真模式包括表示与机器连接的屏幕上的点的数量的数量N的限定，所述点的运动和/或位置由识别的输出来控制。
有利地，点的运动和/或位置是识别的输出的一部分。
有利地，触发事件是以下项中的一种：由机器运行的应用程序中的语境变化；用户对遥控器上的按钮的按压；以及具有遥控器的用户的手势。
有利地，具有遥控器的用户的手势控制了屏幕上的N点的联合运动。
有利地，触发事件是用户向遥控器给予的围绕所述遥控器的预定轴的旋转的手势，其中旋转角度和运动能量中的一个大于预设的阈值。
有利地，对数量N的限定由触发事件和具有遥控器的用户的手势中的一个给出。
有利地，手势是围绕预定轴的旋转，并且数量N的限定取决于遥控器围绕所述轴的旋转角度α。
有利地，对于从阈值αmin到最大值αmax的角度α的范围、以及遥控器要控制的点的最大数量Nmax而言，N被限定为二加上(α-αmin)/(αmax-αmin)*(Nmax-1)的整数商。
有利地，要识别的手势限定了用户施加到与机器连接的屏幕的压力。
有利地，手势是围绕预定轴旋转角度α，所述角度α限定了用户施加到屏幕的压力。
有利地，本发明的接口还被配置为由至少两个用户使用，他们中的至少一个用户具有用于以触摸仿真模式操作接口的遥控器。
有利地，通过用于辨认要识别的手势的索引来限定使用遥控器的用户中的每一位用户。
有利地，处理能力可以使遥控器基于机器能够识别点的运动和/或位置的确定来以触摸仿真模式操作。
本发明还公开了一种操作用户对机器的接口的方法，该方法包括：至少由用户在空间中移动具有运动感测能力的遥控器；使用遥控器与机器之间的通信链路；处理来自运动感测能力的信号；所述方法还包括基于触发事件来初始化触摸仿真模式、识别由用户对遥控器给予的手势、以及向机器的操作系统传送所述识别的输出。
有利地，触摸仿真模式包括对表示与机器连接的屏幕上的点的数量的数量N的限定，所述点的运动和/或位置由识别的输出来控制。
有利地，围绕遥控器的预定轴旋转角度α限定了因子k的捏紧/展开缩放的触摸手势，缩放的所述因子k是所述角度α的函数。
有利地，围绕遥控器的预定轴旋转角度α限定了所述角度α的旋转的触摸手势。
有利地，数量N至少部分地被限定为由所述遥控器的用户给予的围绕遥控器的轴旋转的角度相对于阈值角度的值。
本发明的能够感测运动的遥控器不需要硬件或运动算法(指向或手势识别)的任何修改就能够以触摸仿真模式工作，如本发明中所提出的那样。可以通过包含函数库来容易地将遥控器系统调整为将运动手势和命令转换成触摸命令。
同样，相同的设备可以用于控制装置的多样性(触摸灵敏或不灵敏)，所述装置可以被编程用于在不同操作系统上运行的不同类型的应用程序。由于本发明的设备(通过模拟触摸命令)直接控制这些功能，因而所述设备不干扰自身由触摸命令所产生的信号。因此，很容易确保本发明与这些各种类型的设备、不同操作系统和各种类型的应用程序的兼容性。开发者仅需要知道能够将代表触摸命令的遥控器配置的正确定义插入到应用程序接口中的每个触摸命令的功能性定义是什么。有利地，如果将足够的运动传感器轴嵌入遥控器中，则本发明的设备可以利用三个自由度。如果是这样的情况，所述设备不仅能够模仿触摸表面上的2D手指/触笔运动，而且还可以模仿该表面上的触摸压力。
附图说明
根据各种实施例和以下附图的描述，本发明将得到更好的理解，并且其各种特征和优点将变得明显。
图1a和1b分别表示单点触摸和多点触摸手势的示例；
图2示出本发明实施例中的设置在触摸屏幕前方的遥控器；
图3示出遥控器用于模仿单点触摸手势的本发明的实施例；
图4示出遥控器用于模仿来自滚动(roll)取向的缩放命令的本发明的实施例；
图5示出遥控器用于模仿来自摇摆(yaw)取向的缩放命令的本发明的实施例；
图6示出由根据本发明的各种实施例的系统所执行的功能的总流程图；
图7示出由根据本发明的第一个具体实施例的系统所执行的功能的流程图；
图8示出由根据本发明的第二个具体实施例的系统所执行的功能的流程图；
图9a和9b示出本发明的特定实施例中的遥控器、用户的手势和对应的触摸命令；
图10a、10b和10c分别示出本发明的特定实施例中的在命令位置上的遥控器和用户的手指的位置；
图11示出说明了根据本发明的各种实施例的动态旋转应用的流程图；
图12示出“返回(home)”运动手势与“返回”多点触摸手势之间的转换的示例；
图13示出运动手势与多点触摸手势之间的转换的流程图。
具体实施方式
图1a和1b分别表示单点触摸和多点触摸手势的示例。
触摸交互具有以下特点：
-它可以是多点触摸；即，用户可以同时在多个位置触摸触觉表面；
-存在三个自由度：在触觉表面上水平(1)和垂直(2)平移、以及
在触觉表面上的压力(3)；
-用户以1:1的关系知道他/她想要实现的结果：他/她直接触摸他/她想要与之交互的位置；在图形用户界面(GUI)中不需要定位或“过渡(on over)”反馈。
商用的触觉操作系统例如是Apple iOS、Google Android和Microsoft Windows以及其它基于触摸的系统。在图1a和1b上分别显示了这些系统中所限定的标准单点触摸和多点触摸手势的示例。
图1a：
-手指在触摸屏幕上的单个敲击利用在敲击的位置处的图标触发了应用程序的开启；
-“敲击并保持”触摸开启了带有选项的语境菜单；
-“轻击(flick)/快速移动(fling)”用于在上一屏/下一屏(左/右)之间导航或在垂直布局(上/下)的项目之间导航。术语滑动(swipe)也是常用的；
-垂直滚动用于滚动页面的内容；
-水平滚动用于滚动项目或翻页；
-2D拖动用于导航图片或文件。
图1b：
-捏紧/展开用于媒体内容内的放大或缩小；
-“两个手指旋转”用于旋转页面、图片或映射；
-“N次触摸轻击/滑动”(N在2到4之间)用于根据用户或系统的设定来产生特定命令。也被称为多指滑动；
-“5触摸捏紧/展开”。5指捏紧可以例如用作“返回”命令；
图2示出本发明的实施例中的设置于触摸屏幕前方的遥控器。
利用遥控器210的运动感测交互具有以下特点：
-它是单点的；
-存在三个自由度：摇摆旋转(230)、俯仰旋转(240)和滚动旋转(250)。(此外，存在3个平移度，但是这些并不常用在可启用运动的遥控器中。)
当使用遥控器控制具有图形用户界面(GUI)的屏幕220时，用户非直接交互。在用户想要实现的操作与控制之间不存在直接联系。通常，GUI实施反馈，用于显示屏幕上的位置(光标)，或用于在点击按钮或对简单或较复杂的手势进行识别之后，确认元素的激活。例如，US申请n°13/631134所公开的设备就是如此，其中用户可以在指向与手势识别模式之间无缝切换，所述申请在此通过引用的方式并入本申请中。指向设备210或指示器有利地具有电视机遥控器的外形和形状，也就是说，指向设备210或指示器具有细长的外形，能够被握在用户手中。指示器与移动元素(例如能够在由基站控制的屏幕220上移动的光标)相关联。基站可以是固定的计算机、移动计算机、平板电脑、游戏机、机顶盒等。由指示器的运动来控制该移动元素的运动。指示器有利地在其表面的若干面上具有按钮，以控制基站的功能，对于基站的访问可由遥控器来实现。指示器包括电源和通向要控制的目标的基站的传输通道(未示出)。射频传输可能受蓝牙波形和协议或Wi-Fi波形和协议(802.11g标准)的影响。可以由红外或射频来执行传输。传输的信号是以下命令，所述命令一方面与指示器的主体上存在的按钮之一被压下相对应，该按钮被压下触发了功能的执行，而另一方面与指示器的运动的感测相对应，从而对控制屏幕上的光标的运动进行控制或执行手势识别功能。这些控制信号可以由计算模块(未示出)产生，该计算模块或嵌入指示器自身中，或嵌入基站中，或分布在指示器与基站之间。计算模块可以有利地包括用于补偿由用户给予指示器的扭转的子模块。指示器至少包括计算模块，该计算模块涉及按钮的一些处理和运动传感器的一些处理。该计算模块包括微处理器，例如就计算时间而言用于最需要的应用的DSP TexasInstruments TMS320VC5509；或具有ARM核的32位微控制器，例如来自STR9家族的那些器件中的一个，尤其是来自STM的STR9F12FAW32。计算模块还优选地包括闪存存储器和动态工作存储器，所述闪存存储器对于存储要执行的代码和它要求的永久数据而言是必需的。计算模块接收来自运动感测能力的输出作为输入。例如，系统可以使用角速度传感器(未示出)，其具有对指示器关于两轴或三轴的旋转进行测量的功能。这些传感器优选为陀螺仪。它可以是两轴陀螺仪或三轴陀螺仪。例如，可以使用由参考ADXRS300的Analog Devices所提供的陀螺仪。但是，可以使用能够测量角速率或角速度的任何传感器。也可以使用磁力计，其中该磁力计相对于地磁场的位移的测量能够使得测量相对于该场的参照系的旋转。例如，可以使用参考Honeywell公司的HMC1001或HMC1052、或NXP公司的KMZ41的磁力计。无论使用哪个传感器，均可在指示器的参照系中读取它们的测量结果。在手势期间，难以使该参照系与用户的参照系和屏幕的参照系保持相同。因此，测量结果可能存在偏差，该偏差将导致移动元素的不一致的位移。这就是为什么要在计算模块中提供功能为计算屏幕上的移动元素的位移的补偿子模块的原因，所述移动元素的位移是持有指示器的用户的肢体的位移的函数，对于由用户给予指示器的扭转的影响对所述函数进行修正。补偿子模块恢复来自测量指示器的线性角速度ax、ay、az的传感器的输出作为输入。优选地，传感器是三轴加速度计(未示出)。有利地，这两种传感器均由MEMS(微机电系统)技术产生，任选地在同一个电路中(例如，来自Analog Devices的ADXL103、来自ST MicroElectronics的LIS302DL作为参考加速度计，来自Melixis的MLX90609、来自Analog Devices的ADXR300作为参考陀螺仪)。然而，应该注意的是，补充有图像处理设备的相机还可以替换这两种传感器；可以根据连续图像的相关性和/或根据帧图像处理的帧来推断指示器的角速率/速度和位移的线性加速度。
图2的遥控器能够以空中指向模式工作，其中显示器上的光标由设备的俯仰旋转和摇摆旋转来控制。可以对滚动进行补偿，以避免由用户给予的滚动所产生的失真到遥控器中，并且使光标的运动与用户的意向较好地匹配。
遥控器还能够以手势识别模式工作，以向基站发送由用户产生的手势所限定的命令，所述用户产生的手势在预定手势的数据库中选择。
此外，遥控器可用于动态旋转模式。在该模式中，系统识别用户何时执行围绕单个轴(滚动轴、俯仰轴或摇摆轴)的旋转。当围绕另外两个轴的角度的变化在预设的阈值以下时，检测到这种围绕单个轴的旋转。在转让给本申请的受让人的法国专利申请n°12/50140和美国专利申请n°13/631134中详细描述了算法，所述两项专利申请通过引用并入于此。在完全手势识别模式中，在用户完成手势之后，系统开始分析该手势。动态旋转模式的不同之处在于，系统一旦检测到用户正在执行沿着单轴的旋转操作，该系统就开始控制作为旋转角的函数的系统参数。例如，可以将动态滚动旋转映射到声音的音量，这意味着如果用户执行围绕滚动轴的单轴旋转，则系统显示声级控制条，其中滚动角度用于设定声级。在触摸仿真模式中，动态旋转也非常方便，这将从以下示例中变得明显。
转让给本申请的受让人的US申请n°13/631134公开了将遥控器的这些不同模式以直观并且用户友好的方式进行组合的方法。
可以利用本发明的设备和算法来模仿单点触摸和多点触摸手势。可以例如利用与图2的附图标记210所代表的遥控器具有相同硬件的3D遥控器来实施本发明。这种遥控器包括3轴加速度计，并且可能包括3轴陀螺仪。该遥控器可以由触摸设备(例如由本申请的申请人销售的MotionToolsTM)上具备的嵌入式软件与软件模块的组合来控制。MotionToolsTM允许用户将功能映射为设备上运行的应用程序。当由指向手势模仿触摸手势时，所述功能将被映射到所述触摸手势(单点或多点触摸)。同样，可以将一些运动信号传送到触摸设备的操作系统的功能，以使触摸功能能够由控制遥控器的软件进行控制，或由触摸设备的操作系统进行控制。
图3表示遥控器用于模仿单点触摸手势的本发明的实施例(触摸仿真模式)。
可以根据运动感测设备的摇摆旋转和俯仰旋转来模仿单点触摸交互。例如，当遥控器310在摇摆方向(330a)上旋转时，作为摇摆量的函数，系统模仿单点触摸在屏幕320上水平移动(330b)。当遥控器在俯仰方向(340a)上旋转时，作为俯仰量的函数，系统模仿单点触摸在屏幕320上垂直移动(340b)。任选地，系统可以添加位置反馈(光标)。
当使用水平和俯仰旋转来控制位置时，可能的是，一些滚动运动将影响2D表示。随后系统对用户的滚动运动进行补偿，以使屏幕上的2D运动保持没有这些人为缺陷。可以将运动感测设备领域中的技术人员所公知的算法用于实施这些滚动补偿机制。
利用触摸屏幕，用户可以直接触摸他或她想要触摸的屏幕位置。当使用遥控器时，需要例如光标之类的可视反馈来表明遥控器所指的位置。利用该反馈，用户可以决定何时激活触摸仿真模式，从而在期望的位置“触摸”屏幕。
通过用户按压按钮或通过系统取决于应用程序语境，可以激活遥控器中的运动传感器以开始空中指向。随后遥控器上的软件模块将计算该指向反馈，并且用户的运动在设备屏幕上可视。
如果通过用户按压第一个按钮来激活指向，则需要第二个按钮来控制“触摸”动作；用户按压该第二按钮等价于“触摸”屏幕。用户可以通过按钮的简单的点击并释放动作来模拟敲击屏幕。通过按住所按压的按钮并移动遥控器，用户还可以执行拖动、滚动和所有单点触摸移动操作。
如果通过系统取决于应用程序语境来激活指向，则遥控器上仅需要控制触摸动作的一个按钮。
同样，运动感测设备相较于触摸交互具有附加的自由度：滚动旋转，其在空中指向应用中不常用。因此，用户可以通过以滚动方式旋转设备来初始化触摸动作，并且不需要附加的第二个按钮来控制触摸动作。
用户可以将遥控器围绕滚动轴旋转预定的角度，以激活触摸仿真模式，并且随后在保持滚动角度相对不变的同时，通过指向(沿着摇摆和俯仰方向移动)来执行拖动操作。可以通过围绕滚动轴在相反方向上第二次旋转预定的角度来停用触摸仿真模式。可以为(停用)激活触摸仿真的滚动旋转设定速度阈值。这避免了用户在执行拖动动作时，由于他或她在拖动期间改变了滚动角度而意外地停用触摸仿真的情形。
图4表示遥控器410用于模仿来自遥控器的滚动取向(430)的触摸缩放命令(450、460)的本发明的实施例。
本发明的设备能够检测用户何时执行围绕三个坐标轴之一旋转，并且随后系统将进入动态旋转模式。在动态旋转模式中，旋转的角度可以用于模仿1到N个触摸点(Pi)和它们的轨迹。
[P1,…,Pn]＝f(α)
对于三种可能的旋转(摇摆、俯仰、滚动)中的每一个，系统可以模仿不同的多点触摸手势。取决于触摸设备上激活的应用程序，映射<运动手势，触摸手势>可以由系统来动态地确定。例如，仅通过说明性示例的方式，在映射应用程序中，滚动旋转将被映射到旋转映射手势。在游戏中，可以自动地将滚动映射到缩放。可替换地，用户可以限定将哪个动态旋转优选地映射到不同的功能。
通过以下所描述的实施例，仅通过说明的方式对本发明的这些功能进行举例说明。一旦多点触摸仿真已经被激活，运动感测设备领域中的技术人员所已知的算法可以用于实施这些控制。
如图4的示例上可以看到的，遥控器的滚动旋转用于模仿缩放手势，其也被称为捏紧/展开多点触摸手势，在进入触摸仿真模式以后：
-当沿着滚动旋转方向旋转设备时，本发明的系统模仿两个点，从P0处开始；P0(440)例如是在触摸仿真模式开始时屏幕420上的光标的位置；
-当滚动的值增大时(例如向右旋转)，两个触摸点移动分开。两个点的位置被实时传输到操作系统(OS)；OS感知具有移动分开的点的2点触摸手势，并且因此执行放大操作；
-当滚动的值减小时(例如向左旋转)，两个触摸点靠近；OS执行缩小操作。
要模仿的点的数量取决于运动手势与触摸手势之间的映射。在该实例中，捏紧/展开缩放手势映射到遥控器的滚动轴。因此，一旦系统检测到围绕滚动轴的动态旋转，则系统就知道用户想要执行缩放操作，并且确定需要N＝2点，并且滚动角α控制两点之间的距离：
[P1,P2]＝f(α)
P1＝P0-Kα
P2＝P0+Kα
缩放因子由点P1与P2之间的距离确定。因子K可以取决于系统(例如，激活的应用程序或屏幕尺寸/分辨率)或取决于用户的设定项。
图5示出遥控器510用于模仿来自遥控器的摇摆取向(530)的触摸旋转命令(550、560)的本发明的实施例。
旋转手势是两点触摸手势，其中每个点遵循沿着单个圆的轨迹：用户用两个手指画圆。
-当设备围绕摇摆轴旋转时，本发明的系统模仿两个点，在一定距离处从P0(540)开始；P0例如是在触摸仿真模式开始时在屏幕620上的光标的位置；
-当摇摆角的值增大时(例如向右旋转)，两个触摸点沿着圆向右移动；如图5的前一示例中一样，两个点的位置被实时传输到OS。OS利用进行旋转运动的两个点来感知2点触摸手势，并且因此执行向右旋转命令；
-当摇摆角的值减小时(例如向左旋转)，两个触摸点沿着圆向左移动，并且OS执行向左旋转命令。
在该情况下，取N＝2，并且α是如下的摇摆角：
[P1,P2]＝f(α)
P1[x,y]＝P0-K[cos(α),sin(α)]
P2[x,y]＝P0+K[cos(α),sin(α)]
因子K确定了屏幕上围绕P0的圆的半径。由操作系统执行的旋转由向量(P1,P2)相较于在触摸仿真模式开始时的初始向量的角度来确定，或换言之，由触摸仿真模式期间的总的旋转角度来确定。对用户来说，如果屏幕上的旋转角度等于遥控器的旋转角度α可能更直观，但是如果期望的话，可以施加增益。
用于实施本发明的其它仿真可以体现为：利用可能源自于以上所述的实施例中所使用的算法的算法来对控制遥控器的软件进行编程。例如，如果在触摸设备的屏幕上显示映射，可以对利用一个手指或两个手指的触摸手势进行编程，从而使用户可以控制映射的取向，放大或缩小，以及选择映射上的位置。运动手势与仿真触摸手势之间的转换可以取决于应用程序，但是也取决于用户偏好。
本发明是特别有利的，这是因为根据用户相对于触摸设备的位置(在臂长处或更远)，他或她可以决定选择触摸设备的两种控制模式之一：1)直接触摸，其中用户实际触摸屏幕，或2)利用可启用运动的遥控器的仿真触摸模式。
本发明的另一个优势在于如下事实：触摸屏幕可以由多个用户同时使用。在直接触摸模式中很难满足多用户的使用，因为不可能确定哪个触摸点属于哪个用户。本发明允许一个用户与触摸屏幕直接交互，并且允许一个或多个用户通过遥控器的方式使用触摸仿真模式。在本实施例中，由不同遥控设备产生的“触摸”点可以被索引，从而使操作系统能知道哪个点属于哪个遥控器/用户。因此，不同用户可以同时“触摸”屏幕，例如用于玩游戏。
在本发明的其它实施例中，我们可以利用设备的滚动取向来模仿平板电脑上的触摸压力。当使用压力敏感的触摸平板电脑时，类似例如WACOMTM销售的那些，本发明可以用于模仿触摸压力。随后用户可以同时使用2D指向(由摇摆和俯仰方向控制)与压力信息(由滚动方向控制)，从而采用与他或她利用触笔以可变的力按压平板电脑的表面来使用平板电脑相同的方式来控制平板电脑应用程序。旋转角度与压力之间的映射可取决于应用程序和用户偏好。
图6表示由根据本发明的各种实施例的系统所执行的功能的总流程图。
根据本发明的设备的总逻辑是在步骤610中对触摸仿真模式进行初始化。随后，在步骤620处利用例如不同类型的手势识别(数据库中的预设手势的识别；动态旋转……)来确定遥控器的运动。取决于运动，在步骤630处创建N个“触摸”点来模仿N个手指触摸屏幕。这N个触摸点的位置和位移由遥控器的运动来控制。
在一个实施例中，在步骤640处，N点和其相应的位移被传输到操作系统，该操作系统将这些点的位移解译为好似手指触摸屏幕的运动。随后操作系统执行相关联的命令，所述命令可以取决于当前运行的应用程序。
在另一个实施例中，可以将较高等级的命令发送到操作系统。在该情况下，由遥控器系统进行的手指的位移的解译将产生例如发送到操作系统的“放大”命令。
基于触摸设备操作系统设定项，在步骤650处的由触摸仿真产生的命令的执行是语境相关的。
图7示出由根据图4所显示的本发明的实施例的系统所执行的功能的流程图。
图8示出由根据图5所显示的本发明的实施例的系统所执行的功能的流程图。
这些流程图非常相似。触摸仿真模式开始于步骤710、810处，其中触摸屏幕上的光标处于位置P0处。随后用户开始进行动态旋转：在图7和图8中分别为滚动旋转(720)或摇摆旋转(820)。随后系统创建(730、830)数量为N的触摸点，其中N取决于映射到激活的旋转轴的功能，并且在该示例中N＝2(P1、P2)。在步骤740、840处，代数关系确定了作为旋转角度的函数的N个触摸点相对于P0的运动。可以使用诸如图8和9上所显示的表达式之类的一些代数表达式，其中α分别是滚动角和摇摆角。可以使用其它代数或三角表达式。尽管这些示例在函数的映射(分别为缩放和旋转)中使用了遥控器的滚动轴和摇摆轴，但是可以使用任何预定的旋转轴，或甚至平移。
在图7和8的示例中，模仿了用于缩放和旋转的两个点。当进入触摸仿真模式时将模仿的触摸点的数量由处理能力来限定。在这两个示例中，系统一旦检测到动态旋转就会显示两个点。存在许多应用程序，其中系统确定了要模仿的触摸点的数量这个事实并非用于限制。例如，照片浏览器应用程序，其中用户可以选择利用动态旋转来缩放和旋转图片以及使用手势来浏览。在动态旋转中，系统创建N个触摸点，如以上所说明的，并且在其它手势中，单个触摸点用于将遥控器的手势转换成屏幕上仿真的触摸手势。
为了创建更多选择和自由度，用户需要能够限定触摸点的数量，即要模仿的手指的数量。触摸屏幕上的多指动作是多步骤处理：
1.用户决定要使用几个手指
2.用户决定每个手指要从哪里开始触摸屏幕
3.用户根据图案来移动每个手指。
为了让用户更直观，可以将相似的策略用于使用能够启用运动的遥控器的触摸仿真模式。首先，用户限定要模仿几个手指，并且随后利用遥控器来做出手势。
如果没有执行预定的动作来限定手指的数量，则认为手势是标准的1指手势。存在若干选择来限定要模仿的手指的数量。用户可以通过使用按钮来限定手指的数量。该按钮可以是遥控器上的实际的按钮，或屏幕上的虚拟按钮。例如：
-在做出手势之前按数字3来表示3指手势。
-按两次触发按钮(并且第二次在手势期间保持)来表示2指手势。
-在做出手势之前点击屏幕上的虚拟按钮。
代替利用按钮来限定手指的数量，可以使用遥控器的预定的运动。在一个实施例中，可以使用遥控器的滚动角来表示要模仿的手指的数量。
图9a和9b示出在本发明的特定实施例中的遥控器、用户的手势和相应的触摸命令。例如，在图10a中，用户沿着滚动轴x做出快速旋转，以表示接下来将是多指手势(910a)，并且随后向右滑动(920a)。因此认为向右滑动是多指向右滑动。如果向右滑动之前没有快速滚动运动，则认为滑动是1个手指滑动。旋转可以如图9a中一样在一个方向上，或可以如图9b中一样前后运动。
快速旋转的角度可以用于限定手指的数量。
图10a示出利用遥控器的手势(1010a)，在该手势之前没有进行快速滚动运动，并且因此是1个手指手势(1020a)。尽管图10a示出遥控器在水平位置上，但是在手势开始时允许任何滚动角度。滚动角度α在30到60度之间的快速旋转(1010b)表示接下来的手势应该被解译为2指手势(1020b)。相似地，60与90度之间的旋转(1010c)表明3指手势(1020c)。
图11示出图9和10中的多指触摸仿真的流程图。用户执行角度α的旋转(1110)。一旦用户停止旋转并且开始做出手势，角度α就被转换成要模仿的手指的数量N(1120)，并且创建N个触摸点(1130)。随后在初始(滚动)旋转之后，根据由用户给予遥控器的运动来移动N个触摸点(1140)，并且N个点的位置被实时传输到操作系统(1150)。在手势结束时，操作系统考虑触摸点的数量，执行手势识别例程。
在一个实施例中，不同触摸点的位移是相同的，这表示触摸点将根据遥控器的运动来一起移动。换言之，在该实施例中，系统模仿例如用户一齐移动手指的多指滑动。在照片浏览器应用程序中使用该实施例，可以使用1手指向右/向左滑动来转到下一张/前一张照片，以及使用2手指向右/向左滑动操作来转到下一个/上一个相册。
在另一个实施例中，触摸点的位移是不同的，这表示每个点可能沿着不同路径移动。每个路径可以通过遥控器的运动与由系统控制的预定功能的组合来控制，该预定功能可取决于应用程序。
在图10中，可以选择的手指的最大数量为Nmax＝3，映射在最大旋转角度αmax＝90°内，并且用于选择多于1个手指的最小角度αmin为30°。对于在角度α上的旋转而言，手指的数量N由下式给出：
其中int表示计算结果的整数部分。
Nmax、αmin和αmax的定义可取决于用户的偏好、应用程序、以及系统的精确度。例如，如果用户想要在角度αmax＝90°上选择多达5个手指(Nmax＝5)，则每个手指的角度部分仅为18°(αmin＝18°)。系统的精确度必须允许可靠的并且符合人体工程学的手指数量的选择。每个手指的角度部分可以是常数，但是也可以是变化的，以改进例如系统的人体工程学。
在以上示例中，滚动轴被用于确定要模仿的手指的数量，但是可以使用任何其它的预定轴，并且可以取决于用户的偏好。如果还将选择的轴用于动态旋转，则可引入附加的速度阈值。例如，在滚动轴的动态旋转用于缩放(图4和7)而滚动轴还用于选择手指的数量(图9和10)的情况中。动态旋转通常是慢速运动，具有有限的角速度。因此，可以限定阈值，其中，如果角速度低于阈值，则认为运动是动态旋转，但是如果角速度高于阈值，则利用旋转来限定手指的数量。
图12显示本发明的另一个实施例，其中利用遥控器做出的手势被转换成另一个触摸手势。在该示例中，由遥控器做出的“返回”手势(1210)被转换成5手指捏紧触摸手势(1220)，随后该5手指捏紧触摸手势被操作系统解译为“返回”触摸手势。
图13显示本发明的实施例的流程图。用户执行手势(1310)，其随后在手势识别能力中由遥控器系统解译(1320)。手势识别库还包含如何将运动手势转换成多点触摸手势的信息。随后，创建N个触摸点(1330)，其中N取决于多点触摸手势，并且触摸点的位移由遥控器的处理能力来模拟(1340)。移动点的位置被传输到操作系统(1350)，随后所述操作系统将执行其自身的手势识别过程(1360)。模拟的触摸手势的速度应该在操作系统允许的范围内尽可能快，从而使延迟最小化，并且具有尽可能高的系统的反应性能。
多点触摸手势的仿真表明确定手势的类型、所涉及的手指的数量以及手指的轨迹。并非必需将运动传感器的信号转换成用于实现该结果的触摸信号。仅需要能够识别由用户利用遥控器来执行的手势。例如，选择手指的数量、以及随后执行手势的顺序可以完全由遥控器系统的处理能力来分析，并且手势识别所产生的(高级)命令可以被传输到操作系统，用于执行。这将表示，根据本发明，用户可以与屏幕进行远程交互，就像是触摸屏幕一样，即使屏幕并不具有任何触摸处理能力。可替代地，根据用户所使用的屏幕的类型(触摸屏幕或非触摸屏幕)，遥控器可以自动调整其应该工作的模式。
在本说明书中公开的实施例仅是本发明的一些实施例的说明。它们不以任何形式对所述发明的范围进行限制，所述发明的范围由所附权利要求来限定。

Claims (19)

1.一种用户对机器的接口，包括：
-至少具有运动感测能力的遥控器，
-所述遥控器与所述机器之间的通信链路，
-用于处理来自所述运动感测能力的运动信号的处理能力，
其中，所述机器运行操作系统，所述操作系统被配置为在用户触摸连接到所述机器的屏幕时，接收触摸输入点，所述处理能力还被配置为：基于触发事件来初始化触摸仿真模式，至少识别具有遥控器的用户的手势，基于所述识别来产生至少一个仿真的触摸点，以及将所述至少一个仿真的触摸点发送给所述机器的所述操作系统。
2.根据权利要求1所述的接口，其中所述触摸仿真模式包括对表示连接到所述机器的所述屏幕上的仿真的触摸点的数量的数量N的限定，所述点的运动和/或位置由所述识别的输出来控制。
3.根据权利要求2所述的接口，其中所述仿真的触摸点的运动和/或位置是所述识别的输出的一部分。
4.根据权利要求1所述的接口，其中所述触发事件是以下中的一种：由所述机器运行的应用程序中的语境变化；用户对遥控器上的按钮的按压；以及具有遥控器的用户的手势。
5.根据权利要求2所述的接口，其中具有遥控器的用户的手势控制所述屏幕上的所述N个仿真的触摸点的联合运动。
6.根据权利要求2所述的接口，其中所述触发事件是由用户给予遥控器的围绕所述遥控器的预定轴旋转的手势，其中旋转角度和运动能量中的一个高于预设的阈值。
7.根据权利要求2所述的接口，其中对数量N的限定由所述触发事件和具有遥控器的用户的手势中的一个给出。
8.根据权利要求7所述的接口，其中所述手势是围绕预定轴的旋转，并且对所述数量N的限定取决于所述遥控器围绕所述轴的旋转角度α。
9.根据权利要求8所述的接口，其中，对于角α从阈值αmin到最大值αmax的范围和由所述遥控器控制的仿真的触摸点的最大数量Nmax而言，N由二加上(α-αmin)/(αmax-αmin)*(Nmax-1)的整数商来限定。
10.根据权利要求1所述的接口，其中被识别的手势限定了由用户向连接到所述机器的屏幕所施加的压力。
11.根据权利要求10所述的接口，其中所述手势是围绕预定轴旋转角度α，所述角度α限定了由所述用户向所述屏幕施加的压力。
12.根据权利要求1所述的接口，还被配置为由至少两个用户使用，他们中的至少一个具有用于以触摸仿真模式操作所述接口的遥控器。
13.根据权利要求12所述的接口，其中使用遥控器的用户中的每一个用户由用于辨认被识别的手势的索引来限定。
14.根据权利要求3所述的接口，其中所述处理能力能够使遥控器基于所述机器能够识别所述仿真的触摸点的运动和/或位置的确定，而以所述触摸仿真模式操作。
15.一种操作用户对机器的接口的方法，包括：
-至少由用户在空间中移动具有运动感测能力的遥控器，
-使用所述遥控器与所述机器之间的通信链路，
-处理来自所述运动感测能力的信号，
其中，所述机器运行操作系统，所述操作系统被配置为在用户触摸连接到所述机器的屏幕时，接收触摸输入点，所述方法还包括：基于触发事件来初始化触摸仿真模式；识别由用户给予遥控器的手势；基于所述识别来给所述机器的所述操作系统产生至少一个仿真的触摸点。
16.根据权利要求15所述的方法，其中所述触摸仿真模式包括对表示连接到所述机器的所述屏幕上的仿真的触摸点的数量的数量N的限定，所述点的运动和/或位置由所述识别的输出来控制。
17.根据权利要求15所述的方法，其中围绕所述遥控器的预定轴旋转角度α限定因子k的捏紧/展开缩放的触摸手势，缩放的所述因子k是所述角度α的函数。
18.根据权利要求15所述的方法，其中围绕所述遥控器的预定轴旋转角度α限定了所述角度α的旋转的触摸手势。
19.根据权利要求16所述的方法，其中数量N至少部分地由所述遥控器的用户给予的围绕遥控器的轴旋转的角度相对于阈值角度的值来限定。
CN201380009029.XA 2012-01-09 2013-01-07 利用触摸手势的手势仿真的设备的命令 Active CN104220962B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261584643P 2012-01-09 2012-01-09
US61/584,643 2012-01-09
PCT/EP2013/050132 WO2013104570A1 (en) 2012-01-09 2013-01-07 Command of a device by gesture emulation of touch gestures

Publications (2)

Publication Number Publication Date
CN104220962A CN104220962A (zh) 2014-12-17
CN104220962B true CN104220962B (zh) 2017-07-11

Family

ID=47522668

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380009029.XA Active CN104220962B (zh) 2012-01-09 2013-01-07 利用触摸手势的手势仿真的设备的命令

Country Status (5)

Country Link
US (1) US9841827B2 (zh)
EP (1) EP2802967A1 (zh)
KR (1) KR20140138627A (zh)
CN (1) CN104220962B (zh)
WO (1) WO2013104570A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9792017B1 (en) 2011-07-12 2017-10-17 Domo, Inc. Automatic creation of drill paths
US9202297B1 (en) * 2011-07-12 2015-12-01 Domo, Inc. Dynamic expansion of data visualizations
US20130307788A1 (en) * 2012-05-16 2013-11-21 Motorola Solutions, Inc. Device and method for automated use of force sensing touch panels
US9671874B2 (en) * 2012-11-08 2017-06-06 Cuesta Technology Holdings, Llc Systems and methods for extensions to alternative control of touch-based devices
US10496177B2 (en) * 2013-02-11 2019-12-03 DISH Technologies L.L.C. Simulated touch input
CN104350335B (zh) * 2013-02-20 2017-10-20 松下电器（美国）知识产权公司 便携信息终端、便携信息终端的控制方法以及记录介质
CN104321593B (zh) * 2013-02-20 2017-08-15 松下电器（美国）知识产权公司 便携信息终端及其控制方法
US9665264B1 (en) * 2013-07-24 2017-05-30 Draeger Medical Systems, Inc. Medical data display system graphical user interface
US9740923B2 (en) * 2014-01-15 2017-08-22 Lenovo (Singapore) Pte. Ltd. Image gestures for edge input
US9665205B1 (en) * 2014-01-22 2017-05-30 Evernote Corporation Programmable touch emulating device
EP3167445B1 (en) 2014-07-10 2021-05-26 Intelligent Platforms, LLC Apparatus and method for electronic labeling of electronic equipment
KR101588372B1 (ko) * 2014-10-31 2016-01-25 동국대학교 산학협력단 멀티 터치 응용프로그램 개발을 위한 제스처 데이터 제공 방법 및 시스템
US10234953B1 (en) * 2015-09-25 2019-03-19 Google Llc Cross-device interaction through user-demonstrated gestures
US10678326B2 (en) 2015-09-25 2020-06-09 Microsoft Technology Licensing, Llc Combining mobile devices with people tracking for large display interactions
US10156907B2 (en) * 2015-12-14 2018-12-18 Invensense, Inc. Device for analyzing the movement of a moving element and associated method
CN105700707B (zh) * 2016-01-08 2018-09-25 中国科学院软件研究所 一种面向大屏显示设备的双层光标点选交互方法
US10067738B2 (en) * 2016-01-11 2018-09-04 Motorola Mobility Llc Device control based on its operational context
CN105744172A (zh) * 2016-04-27 2016-07-06 广东欧珀移动通信有限公司 一种拍照方法、装置和移动终端
US10845987B2 (en) 2016-05-03 2020-11-24 Intelligent Platforms, Llc System and method of using touch interaction based on location of touch on a touch screen
US11079915B2 (en) 2016-05-03 2021-08-03 Intelligent Platforms, Llc System and method of using multiple touch inputs for controller interaction in industrial control systems
US10253994B2 (en) * 2016-07-22 2019-04-09 Ademco Inc. HVAC controller with ventilation review mode
USD825584S1 (en) 2017-03-29 2018-08-14 Becton, Dickinson And Company Display screen or portion thereof with transitional graphical user interface
WO2020173388A1 (zh) * 2019-02-28 2020-09-03 华为技术有限公司 一种可折叠式电子设备的控制方法和相关设备
KR20220124425A (ko) * 2021-03-03 2022-09-14 경인전자 주식회사 인풋 디바이스

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0961195A2 (en) * 1998-05-27 1999-12-01 Diebold, Incorporated Function for mapping the keys of a keypad
WO2011058528A1 (en) * 2009-11-15 2011-05-19 Ram Friedlander An enhanced pointing interface
CN102265250A (zh) * 2008-12-31 2011-11-30 微软公司 控制功能手势

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR1250140A (fr) 1960-02-22 1961-01-06 Acf Ind Inc Dispositif enregistreur notamment pour appareil d'entraînement de pilotes
WO2002059868A1 (en) 2001-01-24 2002-08-01 Interlink Electronics, Inc. Game and home entertainment device remote control
US7142195B2 (en) * 2001-06-04 2006-11-28 Palm, Inc. Interface for interaction with display visible from both sides
FI20022282A0 (fi) * 2002-12-30 2002-12-30 Nokia Corp Menetelmä vuorovaikutuksen mahdollistamiseksi elektronisessa laitteessa ja elektroninen laite
US7233316B2 (en) * 2003-05-01 2007-06-19 Thomson Licensing Multimedia user interface
KR100791294B1 (ko) 2006-03-02 2008-01-04 삼성전자주식회사 그래픽 객체의 이동을 제어하는 방법 및 이를 이용한리모트 컨트롤
US7969418B2 (en) 2006-11-30 2011-06-28 Cherif Atia Algreatly 3-D computer input device and method
US8970503B2 (en) 2007-01-05 2015-03-03 Apple Inc. Gestures for devices having one or more touch sensitive surfaces
US8462109B2 (en) * 2007-01-05 2013-06-11 Invensense, Inc. Controlling and accessing content using motion processing on mobile devices
US20090153289A1 (en) 2007-12-12 2009-06-18 Eric James Hope Handheld electronic devices with bimodal remote control functionality
US8490025B2 (en) * 2008-02-01 2013-07-16 Gabriel Jakobson Displaying content associated with electronic mapping systems
US20090213083A1 (en) * 2008-02-26 2009-08-27 Apple Inc. Simulation of multi-point gestures with a single pointing device
US8456381B2 (en) * 2008-03-31 2013-06-04 Intel Corporation Device, system, and method of providing an extended display with desired relative display orientation
US8089017B2 (en) 2008-10-07 2012-01-03 Research In Motion Limited Sealed dome switch for mobile electronic device
US20110157015A1 (en) 2009-12-25 2011-06-30 Cywee Group Limited Method of generating multi-touch signal, dongle for generating multi-touch signal, and related control system
US20110179376A1 (en) * 2010-01-21 2011-07-21 Sony Corporation Three or higher dimensional graphical user interface for tv menu and document navigation
US9298333B2 (en) * 2011-12-22 2016-03-29 Smsc Holdings S.A.R.L. Gesturing architecture using proximity sensing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0961195A2 (en) * 1998-05-27 1999-12-01 Diebold, Incorporated Function for mapping the keys of a keypad
CN102265250A (zh) * 2008-12-31 2011-11-30 微软公司 控制功能手势
WO2011058528A1 (en) * 2009-11-15 2011-05-19 Ram Friedlander An enhanced pointing interface

Also Published As

Publication number Publication date
US20150029095A1 (en) 2015-01-29
US9841827B2 (en) 2017-12-12
WO2013104570A1 (en) 2013-07-18
CN104220962A (zh) 2014-12-17
KR20140138627A (ko) 2014-12-04
EP2802967A1 (en) 2014-11-19

Similar Documents

Publication Publication Date Title
CN104220962B (zh) 利用触摸手势的手势仿真的设备的命令
CN101520702B (zh) 一种模拟多点输入的系统及方法
Hinckley Input technologies and techniques
US8122384B2 (en) Method and apparatus for selecting an object within a user interface by performing a gesture
Rekimoto SmartSkin: an infrastructure for freehand manipulation on interactive surfaces
EP2676178B1 (en) Breath-sensitive digital interface
CN109643210B (zh) 使用悬停的设备操纵
CN105760019B (zh) 基于交互式电子白板的触摸操作方法及其系统
US20120105367A1 (en) Methods of using tactile force sensing for intuitive user interface
EP2538309A2 (en) Remote control with motion sensitive devices
CN101438225A (zh) 多重触摸使用、姿势及实现
CN110362226A (zh) 使用触摸屏设备确定用户利手和定向
CN108932481A (zh) 利用多点感测设备进行的手势操作
US9778780B2 (en) Method for providing user interface using multi-point touch and apparatus for same
CN104035719A (zh) 大屏幕触摸操作方法、装置及大屏幕触摸终端
Rekimoto Organic interaction technologies: from stone to skin
CN102478996A (zh) 对映触控面板上的手指动作至电脑屏幕的方法
JP2016110522A (ja) 電子黒板、情報処理プログラムおよび情報処理方法
Mäkelä et al. " It's Natural to Grab and Pull": Retrieving Content from Large Displays Using Mid-Air Gestures
EP2538308A2 (en) Motion-based control of a controllled device
KR101442438B1 (ko) 듀얼 터치 경험 필드를 달성하기 위한 싱글 터치 프로세스
Mistry et al. Mouseless: a computer mouse as small as invisible
Freitag et al. Enhanced feed-forward for a user aware multi-touch device
CN103472931A (zh) 鼠标仿真触控屏幕操作的方法
KR20200019426A (ko) 스마트 터치패드 인터페이스 방법 및 그 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant