CN102150123A - 具有相对姿势识别模式的便携式电子设备 - Google Patents

具有相对姿势识别模式的便携式电子设备 Download PDF

Info

Publication number
CN102150123A
CN102150123A CN200980135963XA CN200980135963A CN102150123A CN 102150123 A CN102150123 A CN 102150123A CN 200980135963X A CN200980135963X A CN 200980135963XA CN 200980135963 A CN200980135963 A CN 200980135963A CN 102150123 A CN102150123 A CN 102150123A
Authority
CN
China
Prior art keywords
control
posture
user
input
contact point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200980135963XA
Other languages
English (en)
Other versions
CN102150123B (zh
Inventor
A·安德鲁斯
T·阿巴那米
J·冯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102150123A publication Critical patent/CN102150123A/zh
Application granted granted Critical
Publication of CN102150123B publication Critical patent/CN102150123B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G06F9/44568—Immediately runnable code
    • G06F9/44584—Portable applications, i.e. making applications self-contained, e.g. U3 standard
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了一种可在具有触摸屏传感器的便携式电子设备上执行的计算机程序。该计算机程序可以包括一输入模式切换模块，所述输入模式切换模块被配置成接收模式切换用户输入以便在直接输入模式和相对姿势识别模式之间进行切换。该计算机程序还可以包括基于姿势的控制模块，配置用于在相对姿势识别模式中在图形用户界面元素不可选的所定义的区域中识别触摸屏传感器上在用户手指和触摸屏传感器表面之间的接触点，用于基于始发自接触点的用户触摸输入来标识所检测的姿势，并且用于向应用程序发送一消息以便基于所检测的姿势来调节便携式电子设备的操作。

Description

具有相对姿势识别模式的便携式电子设备
背景
装备有触摸屏的便携式电子设备使用户能经由触摸屏传感器所传感到的触摸输入直接与屏幕上显示的图形用户界面元素进行交互。用户在视觉上检验屏幕，在显示图形用户界面元素的位置处触摸屏幕。触摸输入被设备传感为出现在图形用户界面元素的位置处，触发便携式电子设备上的适当功能。
这种设备的一个缺陷在于，当用户不能或者不愿意在视觉上检验屏幕时，这种设备是难以交互的。例如，当用户正在锻炼、乘坐地铁等时，用户可能觉得不方便或不期望延长观看屏幕的时间。这会导致用户的输入差错，或使用户在不期望的时间观看屏幕，一般会降低用户体验。
发明内容
提供了一种可在具有触摸屏传感器的便携式电子设备上执行的计算机程序。计算机程序可以包括一输入模式切换模块，所述输入模式切换模块被配置成接收模式切换用户输入，以便响应于用户输入而在直接输入模式和相对姿势识别模式之间进行切换。在直接输入模式中，可经由用户的触摸输入来选择便携式电子设备的图形用户界面的一个或多个图形用户界面元素。在相对姿势识别模式中，使至少在图形用户界面的所定义区域中的图形用户界面元素不可选。计算机程序还可以包括基于姿势的控制模块，所述基于姿势的控制模块在相对姿势识别模式中被配置成：在其中图形用户界面元素不可选的所定义区域中识别用户手指和触摸屏传感器的表面之间的触摸屏传感器上的接触点；并且在所定义的区域中呈现邻近于接触点的姿势控制。基于姿势的控制模块还可以被配置成基于始发自接触点的用户触摸输入来标识所检测姿势，并且基于所检测的姿势向应用程序发送消息以调节便携式电子设备的操作。
提供本发明内容以便以简化形式介绍将在以下的具体实施方式中进一步描述的一些概念。本概述并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于限定所要求保护的主题的范围。此外，所要求保护的主题不限于解决在本发明的任一部分中提及的任何或所有缺点的实现。
附图简述
图1是计算设备的一个实施例的示意图，该计算设备具有带有触摸屏传感器的显示器，并且被配置成执行计算机程序以便在直接输入模式和相对姿势识别模式之间切换。
图2示出相对姿势识别模式中的传送控制，用于图1的便携式电子设备上的媒体回放应用程序。
图3示出相对姿势识别模式中的虚拟游戏控制，用于图1的便携式电子设备上的计算机游戏应用程序。
图4示出一种用于控制具有触摸屏传感器的便携式电子设备的方法。
详细描述
图1示出一计算设备，例如，所述计算设备可以是诸如便携式媒体播放器或web启用的移动电话这样的便携式电子设备100。便携式电子设备100包括处理器104，处理器104经由通信总线102与存储器108和大容量存储106进行电通信、并且被配置成使用存储器108的部分来执行一个或多个应用程序110。便携式电子设备100还包括具有触摸屏传感器162的显示器160。显示器160可以表示具有一个或多个图形用户界面元素165的图形用户界面164。
图形用户界面164可以配置有直接输入模式，其中图形用户界面的一个或多个图形用户界面元素165是可选图形用户界面元素166，所述可选图形用户界面元素166可以在其在显示器160上的位置处经由触摸屏传感器162所传感的用户触摸输入来选择。可选图形用户界面元素166的例子包括按钮、滑块、滚动条、超链接、下拉菜单、图标等。这些各种可选图形用户界面元素166的行为可以例如经由计算机程序130来编程，计算机程序130可以是应用程序编程接口。由此，响应于选择了可选图形用户界面元素166的用户触摸输入，便携式电子设备可以展示出与可选图形用户界面元素166相关联的已编程行为，例如选择下拉菜单选项、滚动窗口等。
为了使用户能切换输入模式，便携式电子设备100可以包括诸如应用程序编程接口这样的计算机程序130，它包括输入模式切换模块135，所述输入模式切换模块135被配置成接收模式切换用户输入152以便响应于模式切换用户输入152而在直接输入模式和相对姿势识别模式之间切换。在相对姿势识别模式中，使至少在图形用户界面164的所定义区域170中的一个或多个图形用户界面元素165成为不可选图形用户界面元素168。换言之，相对姿势输入模式中在特定不可选图形用户界面元素168附近的位置处接收到的输入不会使便携式电子设备100执行在直接输入模式中和该用户界面元素相关联的已编程功能。相反，如下所述，相对姿势识别模式中的触摸输入156会作为相对姿势输入被处理，不管底层的图形用户界面元素165。
在相对姿势识别模式中，计算机程序130内的基于姿势的控制模块140被配置成：在其中图形用户界面元素168不可选的所定义区域170中识别用户手指和触摸屏传感器162的表面之间的触摸屏传感器162上的接触点174；并且在所定义区域170中呈现邻近于接触点174的姿势控制172。基于姿势的控制模块140还被配置成基于始发自接触点174的用户触摸输入156来标识所检测的姿势158，并且基于所检测的姿势158向应用程序110发送消息以调节便携式电子设备100的操作。
计算机程序130还可以被配置成使基于姿势的控制模块140能访问开发者指定的控制参数149，姿势控制172被配置成按照所述指定的控制参数进行操作。开发者指定的控制参数149可由基于姿势的控制模块140从开发者指定的控制参数界面180接收。开发者指定的控制参数149可由例如应用程序开发者经由软件开发包(SDK)指定，并且可以包括定制姿势控制172的特征和功能的参数。例如，开发者指定的控制参数149可以包括音量参数、回放速度参数、回放方向参数、控制周界定义参数以及所定义的区域定义参数。这样，开发者可以将姿势控制172定义为音量控制或回放控制，并且可以指定控制的控制周界或其他地理属性，以及显示器中将被配置成接收姿势输入的所定义的区域。
根据这些开发者指定的控制参数，或者根据计算机程序130指定的其他预定义的参数，在相对姿势识别模式中，基于姿势的控制模块140被配置成在所定义的区域170内呈现姿势控制172，所定义的区域170被配置成接收触摸输入156。通过标识所定义的区域170内的所检测的姿势158，在相对姿势识别模式中，基于姿势的控制模块140用作前端处理器以接收在直接输入模式中会被定向到图形用户界面164的输入。可以理解，由于基于姿势的控制模块140担当前端处理器，因此它可以被配置成与在便携式电子设备100的图形用户界面164上显示的各个元素相独立地定位所定义的区域170，使得所定义的区域170浮于图形用户界面164的一部分或全部之上。
通过计算机程序130的输入模式切换模块135接收模式切换用户输入152，可以开始相对姿势识别模式。模式切换用户输入152在图1中示出为触摸输入，它可以通过和便携式电子设备100相关联的离合键154来接收。离合键154可以是诸如开关或按钮这样的键，在物理上位于便携式电子设备100的外壳上或者可以位于附件上，所述附件诸如与便携式电子设备100通信的一对耳机。离合键154可以是例如按钮或电容性开关。或者，模式切换用户输入152可以通过用户的手指和触摸屏传感器162的表面之间的接触来接收，所述接触可以是例如屏幕上按钮、轻击或姿势的选择。
在接收到模式切换用户输入152后，输入模式切换模块135可以开始相对姿势识别模式，并且向基于姿势的控制模块140输出消息。特别是，输入模式切换模块135向基于姿势的控制模块140内的接触点识别器142发送一请求消息，指示已经开始相对姿势识别模式并且请求接触点识别器142在所定义的区域170内返回接触点174，其中图形用户界面元素168在该所定义的区域170内是不可选的。
在接收到请求消息后，接触点识别器142在触摸屏传感器162的表面上识别所定义的区域170内的接触点。接触点174通过(图1中表示为触摸输入156的)用户的手指以及触摸屏传感器162的表面之间的在所定义的区域170内的接触而形成。
在识别接触点174后，接触点识别器142可以被配置成呈现一姿势控制172，该姿势控制172具有在所定义的区域170内在所识别的接触点174附近的所定义的周界176。接触点识别器142可以从控制周界定义器144接收指定控制周界176的参数的输入。接触点识别器142可以从控制周界定义器144接收控制周界定义参数。控制周界定义参数可以指定例如用于计算控制周界的公式，它可以基于距接触点174的距离D。在一个例子中，控制周界可以是来自可经由计算机程序130可访问的一组标准控制定义的预设控制周界。在另一个例子中，控制周界定义器144可以接收包括控制周界定义参数的输入，所述控制周界定义参数被包括在来自开发者指定的参数模块148的一组开发者指定的控制参数149中，从而使开发者能指定控制周界的大小和形状。
可以理解，姿势控制172可以包括相关联的图标，它可以是部分半透明的，然而在其他实施例中，姿势控制172可以是在视觉上不可辨的。图标如果存在则在视觉上表示控制周界和/或接触点，或者可以向用户提供其他图标图形信息。该其他图标图形信息可以包括例如：在虚拟控制棒的控制下的偏转角度和程度，或者在线性滑块控制下的偏转程度。在一些实施例中，除了这里所述的接受姿势之外，图标可以对应于轻击输入。
在呈现了姿势控制172后，接触点识别器142被配置成向标识器146发送消息，请求标识所检测的姿势158，这在图1中示出为始发自接触点174。标识器146驻留在基于姿势的控制模块140中，并且接收来自接触点识别器142的消息以及来自库190和开发者指定的参数模块148的输入。
基于这些输入，标识器146被配置成把经由触摸传感器接收到的触摸输入标识为始发自接触点174的所检测的姿势158。例如，在图1中，标识器146被示出为接收来自库190的输入，库190被描述为包括预定义的姿势192的定义。由此，标识器146可以至少部分基于对所检测的姿势158的解释来标识所检测的姿势158，所述解释包括所检测的姿势158和定义之间的比较，所述所检测的姿势158在图形用户界面元素168经由触摸屏传感器162不可选的所定义的区域170中由姿势控制172所接收，而所述定义和库190内的一组一个或多个预定义的姿势192中的一个相对应。
可以理解，所检测的姿势158的解释可以基于一个或多个开发者指定的控制参数149，例如包括在开发者指定的参数模块148中以及从开发者指定的控制参数界面180接收到的参数。这样，应用程序110的开发者可以指定所检测的姿势158的解释。例如，开发者可以表示所定义的区域170中可以忽略所检测的姿势158的域(例如“死区”)、根据开发者指定的规则来解释所检测的姿势158的区别参数、被配置成区别实际检测的姿势和假检测姿势的逻辑、等等。这样，开发者可以根据特定的应用程序110定制标识器146的操作。
在解释了所检测的姿势158之后，标识器146经由基于姿势的控制模块的通信模块150向应用程序110发送消息。消息向应用程序110通知所检测的姿势158，并且可用于使应用程序基于所检测的姿势158调节便携式电子设备100的操作。
例如，标识器146可以被配置成指示应用程序110基于从接触点174到已被标识的所检测的姿势158的相对距离来调节便携式电子设备100的操作。图2中示出一个例子，其中计算机程序130的基于姿势的控制模块140被配置成向媒体回放应用程序发送消息，以便根据由基于姿势的控制模块140所标识的所检测的姿势158来调节便携式电子设备100的操作。轴H表示水平方向，轴V表示和轴H正交的垂直方向。
继续图2，姿势控制172(图1)在便携式电子设备100的触摸屏传感器162中被表示为所定义的区域170中的传输控制200。在便携式电子设备100的边缘上示出的离合键154可用于开始相对姿势识别模式。在所定义的区域170内接收到手指触摸后，接触点识别器142呈现传输控制200。传输控制200被配置成把传输控制200的参考210的一帧拟合到所定义的区域170中的接触点174。在表示传输控制200的回放控制模式的该例中，所检测的姿势158由标识器146基于检测到用户手指方向与参考210的帧基本垂直来标识，响应于此，通信模块150把消息从标识器146发送到应用程序110以调节媒体回放的音量。
所检测的姿势158的基本正垂直的方向可以被解释为和库190内用于提高媒体回放音量的预定义的姿势192相对应。而且，媒体回放的音量强度可以根据所示的距离B来确定，距离B示出接触点174和所检测的姿势158的端点之间的距离。例如，音量强度可以通过距离B的绝对测量来确定。由此，如果B被确定为是五个测量的距离单位，则音量强度可以改变例如五个音量单位。在另一例中，音量强度可以通过相对于特定音量级的距离B来确定，所示特定音量级可以在应用程序110的开发者所指定的一组开发者指定的控制参数149(图1)中指定。由此，如果B被确定为是五个测量的距离单位，则音量强度可以改变例如预定义的音量级的百分之五。在可替代的例子中，如果距离B被确定为是和控制周界定义参数(未示出)相对应的距离的百分之五，则音量强度可以改变相应的百分之五。
为了实现暂停控制，例如，所检测的姿势158可以基于检测到用户手指相对于参考210的帧的轻击移动来标识。响应于此，基于姿势的控制模块可以把轻击输入发送至应用程序，应用程序可以把轻击输入解释为改变媒体回放的暂停状态。为了实现快进和/或倒带控制，所检测的姿势158可以基于检测到用户手指相对于参考210的帧的基本水平方向的移动来标识，响应于此，基于姿势的控制模块可以把所检测的姿势158发送至应用程序，应用程序又调节媒体回放的时间位置。可以理解，媒体回放可以是存储在便携式电子设备100上的音频或可视媒体，或者可以是由便携式电子设备100从网络接收到的媒体。而且，传输控制200可以根据媒体回放的类型来配置。例如，如果媒体回放是来自广播站的广播流，则上述快进和/或倒带控制可以改为控制前向扫描或后向扫描无线电频率，上述轻击输入可以激活预设站，等等。
还可以理解，除了基于姿势的传输控制以外，传输控制200还可以根据应用程序的上下文来呈现控制选项，所述上下文可以是基于姿势的或不基于姿势的。例如，如果在web浏览器应用程序的上下文中呈现传输控制200，则除了用于控制媒体回放的传输控制以外，可以呈现关于web浏览器的控制。在另一例中，如果在计算机游戏应用程序的上下文中呈现传输控制200，则可以呈现关于计算机游戏的控制，例如控制游戏音乐的传输控制以及用于暂停游戏和选择游戏选项的基于姿势的菜单。这样，开发者能够使传输控制200与应用程序协调。
此外，基于姿势的控制模块可以被配置成指示应用程序基于从所定义的控制周界176上的预定位置178到所检测的姿势158的相对距离来调节便携式电子设备100的操作。例如，如图3所示，计算机程序可以是计算机游戏应用程序，计算机程序130的基于姿势的控制模块140可以被配置成向计算机游戏应用程序发送消息，以便基于虚拟控制棒控制302到控制周界176或接触点174的相对距离来调节便携式电子设备100的操作。可以理解，在图3中，轴X表示水平方向，轴Y表示和轴X正交的垂直方向。另一参考R表示绕垂直于平面XY的旋转轴的旋转方向，平面XY与触摸屏传感器162的表面平行。在该例中，旋转轴与平面XY在接触点174相交。可以理解
继续图3，姿势控制172(图1)被表示为虚拟游戏控制300。虚拟游戏控制300被配置成在相对姿势识别模式中在所定义的区域内接收到触摸输入后，在接触点174产生虚拟控制棒控制302。产生虚拟控制棒控制302的过程可以被理解成在接触点174创建虚拟控制棒控制302的实例。基于姿势的控制模块140还被配置成在便携式电子设备100的触摸屏传感器162中，定义在所定义的区域170中围绕虚拟游戏控制棒控制302的控制周界176。基于姿势的控制模块140还被配置成定义虚拟控制棒控制302在控制周界176处的全尺寸偏转F。而且，当基于虚拟游戏控制300经由虚拟控制棒控制302接收到的用户触摸输入156(图1)的所检测的姿势158处在控制周界176内时，向计算机游戏应用程序发送消息，该消息与虚拟控制棒控制302相对于虚拟控制棒控制302的全尺寸偏转F的测得的偏转P成比例。而且，当基于虚拟游戏控制300经由虚拟控制棒控制302接收到的用户触摸输入156的所检测的姿势158在控制周界176外被接收时，向计算机游戏应用程序发送消息，该消息与虚拟控制棒控制302的全尺寸偏转F基本相同。
图3所示的例子表示虚拟游戏控制300的计算机游戏控制模式，描述了在距控制周界176中的接触点174的距离P处的虚拟控制棒控制302。在这一例子中，由标识器146(图1)基于接触点174处用户手指和触摸屏传感器162之间的所检测的接触来标识所检测的姿势158。响应于此，通信模块150向应用程序110发送消息以便基于虚拟控制棒控制302的距离P和全尺寸偏转F的比例来调节便携式电子设备100的操作。例如，如果成比例响应是线性比例，并且测得的距离P表示了全尺寸偏转F的80％，则通信模块150会向应用程序110发送消息以便将便携式电子设备100的输出调节操作参数的80％。在计算机游戏应用程序的上下文中，操作参数可能是行进速度，然而可以理解，也可以类似地调节其他操作参数。例如，所定义的区域170内虚拟控制棒控制302相对于接触点174的相对位置可以提供方向操作参数。特别是，虚拟控制棒控制302沿着所检测的姿势158所述的路径的移动可以被解释和输出为游戏人物的行进路径、旋转移动的方向(例如人物或观察点旋转)等。还可以理解，这些操作参数的例子以及对与其相关联的输出定比例的方法可以在由应用程序110的开发者所指定的一组开发者指定的控制参数149(图1)中指定。这样，基于姿势的控制模块140可以向应用程序110发送消息以调节便携式电子设备100的操作。
在上述各个实施例中，可以理解，例如，当接触点识别器检测到用户手指和触摸屏传感器之间的接触已经终止了预定的时间段时，基于姿势的控制模式模块140停止经由标识器146标识姿势，并且开始尝试检测触摸。当检测到新的接触点174时，可以理解，可以例示新的姿势控制172，结果，参考210的帧会有效地拟合到新接触点174的位置。这样，无论用户在哪里选择与所定义的区域170内的触摸屏传感器162接触，都会在该位置产生姿势控制，因此使用户能在显示器160上的各个位置进行用户输入。有了这样灵活的输入，用户能容易地控制便携式电子设备100，而无须视觉上检查显示器160并且无须无心地激活不可选的图形用户界面元素。
图4示出一流程图，描述了用于控制具有触摸板传感器的便携式电子设备的方法400的实施例。方法400可由具有触摸屏传感器的任何合适的便携式电子设备来实现，包括图1-3的便携式电子设备100。
方法400包括，在402，响应于模式切换用户输入开始相对姿势识别模式，其中在相对姿势识别模式中，使图形用户界面的所定义区域中的一个或多个图形用户界面元素成为不可选的。模式切换用户输入可以从由经与便携式电子设备相关联的离合键的用户输入以及经用户手指和触摸屏传感器的表面间的接触的用户输入组成的组中选择。在一些例子中，在402开始相对姿势还可以包括定位图形用户界面的所定义的区域，在所定义的区域中，图形用户界面元素独立于图形用户界面而不可选择。换言之，一旦激活了相对姿势识别模式，所定义的区域就可以被定位在触摸屏传感器上的任何位置，并且可以包括触摸屏传感器的子区域或整个触摸屏传感器。
方法400还包括，在404，在图形用户界面元素在相对姿势识别模式中不可选的所定义的区域中，识别触摸屏传感器上在用户手指和触摸屏传感器表面之间的接触点。接着，方法400包括，在406，在图形用户界面元素在相对姿势识别模式中是不可选的所定义的区域中，呈现具有位于所述接触点附近的控制周界的姿势控制。
可以理解，在406呈现姿势控制可以包括如上所述地呈现传输控制。此外，呈现姿势控制还可以包括将传输控制的参考的帧拟合到所定义区域内的接触点。而且，呈现具有在接触点附近的所定义控制周界的姿势控制可以包括：在接触点处产生虚拟游戏控制的虚拟控制棒控制，其中所定义的控制周界具有虚拟控制棒控制在所定义的控制周界处的全尺寸偏转。由于设备处在相对姿势识别模式且以此方式呈现姿势控制，因此所检测的姿势可以在触摸屏传感器的所定义的区域中被接收，并且被标识。
方法400还包括，在408，在图形用户界面元素在触摸屏传感器内不可经由触摸屏传感器选择的所定义的区域中，基于从姿势控制所接收到的接触点始发的用户触摸输入来标识所检测的姿势。在一例中，标识所检测的姿势还包括：至少部分基于对所检测的姿势和定义之间的比较来解释所检测的姿势，所述所检测的姿势在图形用户界面元素经由触摸屏传感器不可选的所定义的区域中由姿势控制所接收，所述定义和预定义姿势的库中的一组一个或多个预定义姿势中的一个相对应。
方法400还可以包括，在408，使基于姿势的控制模块能访问开发者指定的控制参数，姿势控制被配置成根据控制参数来进行操作。在一例中，开发者指定的控制参数可以从由音量参数、回放速度参数、回放方向参数、控制周界定义参数以及所定义的区域定义参数组成的组中进行选择。这样，开发者可以经由软件开发包来指定例如对于特定应用程序特有的便携式电子设备的控制参数。
最后，方法400还包括，在410，基于从所定义的控制周界上的预定位置到如此标识的所检测的姿势的相对距离，或者基于从接触点到如此标识的所检测的姿势的相对距离，来调节便携式电子设备的操作。在一例中，调节便携式电子设备的操作包括：响应于由用户手指相对于参考的帧的基本水平方向所标识的所检测的姿势来调节媒体回放的时间位置。在另一例中，调节设备的操作包括：响应于由用户手指相对于参考的帧的基本垂直方向所标识的所检测的姿势来调节媒体回放的音量。在还有一例中，调节设备的操作包括：响应于由用户手指相对于参考的帧的轻击移动所标识的所检测的姿势来调节媒体回放的暂停状态。
此外，调节便携式电子设备的操作可以包括：当触摸屏传感器所接收的姿势在所定义的控制周界内被接收时，从虚拟游戏控制输出一响应，该响应与虚拟控制棒控制相对于虚拟控制棒控制的全尺寸偏转的测得的偏转成比例。而且，调节便携式电子设备的操作还可以包括：当相对姿势在所定义的控制周界外被接收到时，从虚拟游戏控制输出一响应，该响应与虚拟控制棒的全尺寸偏转基本相同。
和这里所述的系统相似，上述方法可用于在用户并未视觉地检查设备的情况下便于用户控制便携式电子设备，而且不会无心地选择已经不可选的图形用户界面元素。
可以理解，图4所示的方法可以驻留在计算机可读存储介质上，所述计算机可读存储介质包括可由计算设备执行以执行所述方法的指令。还可以理解，此处所描述的计算设备可以是被配置成执行此处所描述的程序的任何合适的计算设备。例如，计算设备可以是大型计算机、个人计算机、膝上型计算机、便携式数据助理(PDA)、启用计算机的无线电话、联网计算设备，或其他合适的计算设备，并可以经由诸如因特网等计算机网络彼此连接。这些计算设备通常包括处理器以及相关联的易失性和非易失性存储器，并被配置成使用易失性存储器的各部分和处理器来执行存储在非易失性存储器中的程序。如此处所使用的，术语“程序”指的是可由此处所描述的一个或多个计算设备执行或利用的软件或固件组件，并且意味着包含单独的或各组可执行文件、数据文件、库、驱动程序、脚本、数据库记录等等。可以理解，可以提供其上存储有程序指令的计算机可读介质，该程序指令在由计算设备执行时使该计算设备执行上文所描述的方法并使得系统如上操作。
应当理解，此处的各实施例是说明性而非限制性的，因为本发明的范围由所附权利要求书而非之前的说明书来限定，并且落入权利要求的边界和范围内的所有改变或这些边界和范围的等效技术方案因此都旨在被权利要求所涵盖。

Claims (15)

1.一种可在具有触摸屏传感器(162)的便携式电子设备(100)上执行的计算机程序，所述计算机程序包括：
输入模式切换模块(135)，其被配置成接收模式切换用户输入(152)以便响应于用户输入(152)在直接输入模式和相对姿势识别模式之间切换，其中在所述直接输入模式中，所述便携式电子设备(100)的图形用户界面(164)的一个或多个图形用户界面元素可经由用户的触摸输入来选择，而在所述相对姿势识别模式中，至少在所述图形用户界面(164)的所定义的区域(170)中的图形用户界面元素(165)成为不可选择；以及
基于姿势的控制模块(140)，在相对姿势识别模式中，所述基于姿势的控制模块(140)被配置成：用于在图形用户界面元素(168)不可选的所定义的区域(170)中识别触摸屏传感器(162)上在用户手指和触摸屏传感器(162)的表面之间的接触点(174)，以及用于在所定义的区域(170)中呈现位于接触点(174)附近的姿势控制(172)，所述基于姿势的控制模块(140)还被配置成：用于基于始发自所述接触点(174)的用户触摸输入(156)来标识所检测的姿势(158)，并且用于向应用程序(110)发送一消息以便基于所检测的姿势(158)来调节所述便携式电子设备(100)的操作。
2.如权利要求1所述的计算机程序，其特征在于，所述模式切换用户输入从经由与便携式电子设备相关联的离合键的用户输入以及经用户手指和触摸屏传感器的表面间的接触的用户输入组成的组中选择。
3.如权利要求1所述的计算机程序，其特征在于，所述姿势控制包括传输控制，所述传输控制被配置成将传输控制的参考的帧拟合到所定义的区域内的接触点。
4.如权利要求3所述的计算机程序，
其中所述基于姿势的控制模块被配置成向媒体回放应用程序发送一消息以便根据所述基于姿势的控制模块所标识的所检测的姿势来调节所述便携式电子设备的操作；
其中在所述传输控制的回放控制模式中，所检测的姿势基于检测到用户手指相对于参考的帧的基本水平方向的移动来标识，并且响应于此而调节媒体回放的时间位置；
其中在所述传输控制的音量控制模式中，所检测的姿势基于检测到用户手指相对于参考的帧的基本垂直方向的移动来标识，并且响应于此而调节所述媒体回放的音量；以及
其中在所述传输控制的暂停控制模式中，所检测的姿势基于检测到用户手指相对于参考的帧的轻击移动来标识，并且响应于此而调节所述媒体回放的暂停状态。
5.如权利要求1所述的计算机程序，
其中所述姿势控制包括虚拟游戏控制，所述虚拟游戏控制被配置成在所述接触点处产生用于虚拟游戏控制的虚拟控制棒控制；
其中所述基于姿势的控制模块还被配置成定义围绕所述虚拟游戏控制棒的控制周界；
其中所述基于姿势的控制模块还被配置成向计算机游戏应用程序发送一消息，以便基于所述虚拟控制棒控制距所述控制周界或所述接触点的相对距离来调节所述便携式电子设备的操作。
6.如权利要求5所述的计算机程序，
其中所述基于姿势的控制模块还被配置成在所述控制周界处定义所述虚拟游戏控制棒的全尺寸偏转；
当基于虚拟游戏控制经由虚拟控制棒控制接收到的用户触摸输入的所检测的姿势处在控制周界内时，向计算机游戏应用程序发送消息，该消息与虚拟控制棒控制相对于虚拟控制棒控制的全尺寸偏转的测得的偏转成比例；
其中，当基于虚拟游戏控制经由虚拟控制棒控制接收到的用户触摸输入的所检测的姿势在控制周界外被接收时，向计算机游戏应用程序发送消息，该消息与虚拟控制棒控制的全尺寸偏转基本相同。
7.如权利要求1所述的计算机程序，其中所述基于姿势的控制模块还被配置成独立于所述便携式电子设备的图形用户界面而定位所述所定义的区域。
8.如权利要求1所述的计算机程序，还被配置成使所述基于姿势的控制模块能访问开发者指定的控制参数，姿势控制被配置成根据所述控制参数来进行操作。
9.如权利要求8所述的计算机程序，其特征在于，所述开发者指定的控制参数从由音量参数、回放速度参数、回放方向参数、控制周界定义参数以及所定义的区域定义参数组成的组中进行选择。
10.一种控制具有触摸屏传感器(162)的便携式电子设备(100)的方法，包括：
响应于模式切换用户输入(152)开始相对姿势识别模式，其中在所述相对姿势识别模式中，使图形用户界面(164)的所定义区域(170)中的一个或多个图形用户界面元素(165)成为不可选；
在图形用户界面元素(168)在相对姿势识别模式中不可选的所定义的区域(170)中，识别触摸屏传感器(162)上在用户手指和触摸屏传感器(162)的表面之间的接触点(174)
在图形用户界面元素(168)在相对姿势识别模式中是不可选的所定义的区域(170)中，呈现具有位于所述接触点(174)附近的所定义的控制周界(176)的姿势控制(172)；
在图形用户界面元素(168)在触摸屏传感器(162)内不可经由触摸屏传感器(162)选择的所定义的区域(170)中，基于从姿势控制(172)所接收到的接触点(174)始发的用户触摸输入(156)来标识所检测的姿势(158)
基于从所定义的控制周界(176)上的预定位置(178)到所检测的姿势(158)的相对距离，或者基于从接触点(174)到所检测的姿势(158)的相对距离，来调节所述便携式电子设备(100)的操作。
11.如权利要求10所述的方法，其特征在于，所述模式切换用户输入从由经与便携式电子设备相关联的离合键的用户输入以及经用户手指和触摸屏传感器的表面间的接触的用户输入组成的组中选择。
12.如权利要求10所述的方法，
其中呈现姿势控制包括呈现传输控制；
其中，呈现姿势控制还包括将传输控制的参考的帧拟合到所定义区域内的接触点。
13.如权利要求12所述的方法，其中调节所述便携式电子设备的操作包括：
响应于由用户手指相对于参考的帧的基本水平方向所标识的所检测的姿势，来调节媒体回放的时间位置；
响应于由用户手指相对于参考的帧的基本垂直方向所标识的所检测的姿势，来调节媒体回放的音量；以及
响应于由用户手指相对于参考的帧的轻击移动所标识的所检测的姿势，来调节媒体回放的暂停状态。
14.如权利要求10所述的方法，其特征在于，呈现具有在接触点附近的所定义控制周界的姿势控制包括：在接触点处产生虚拟游戏控制的虚拟控制棒控制，其中所定义的控制周界具有虚拟控制棒控制在所定义的控制周界处的全尺寸偏转。
15.如权利要求14所述的方法，其中调节所述便携式电子设备的操作包括：
当触摸屏传感器所接收的姿势在所定义的控制周界内被接收时，从虚拟游戏控制输出一响应，该响应与虚拟控制棒控制相对于虚拟控制棒控制的全尺寸偏转的测得的偏转成比例；
当所述相对姿势在所定义的控制周界外被接收时，从虚拟游戏控制输出一响应，该响应与所述虚拟控制棒控制的全尺寸偏转基本相同。
CN200980135963.XA 2008-09-09 2009-09-09 具有相对姿势识别模式的便携式电子设备 Expired - Fee Related CN102150123B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/206,747 US20100064261A1 (en) 2008-09-09 2008-09-09 Portable electronic device with relative gesture recognition mode
US12/206,747 2008-09-09
PCT/US2009/056357 WO2010030662A2 (en) 2008-09-09 2009-09-09 Portable electronic device with relative gesture recognition mode

Publications (2)

Publication Number Publication Date
CN102150123A true CN102150123A (zh) 2011-08-10
CN102150123B CN102150123B (zh) 2013-08-14

Family

ID=41800241

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980135963.XA Expired - Fee Related CN102150123B (zh) 2008-09-09 2009-09-09 具有相对姿势识别模式的便携式电子设备

Country Status (7)

Country Link
US (1) US20100064261A1 (zh)
EP (1) EP2327011A4 (zh)
JP (1) JP2012502393A (zh)
KR (1) KR20110056286A (zh)
CN (1) CN102150123B (zh)
RU (1) RU2011108470A (zh)
WO (1) WO2010030662A2 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103257813A (zh) * 2012-02-21 2013-08-21 海尔集团公司 一种共享设备的确定方法和文件传输方法以及系统
CN103257817A (zh) * 2012-02-21 2013-08-21 海尔集团公司 共享设备的确定方法和文件传输方法及系统
CN104267904A (zh) * 2014-09-26 2015-01-07 深圳市睿德网络科技有限公司 一种具有触摸屏虚拟单位控制的方法及移动终端
TWI490771B (zh) * 2013-05-27 2015-07-01 Mitsubishi Electric Corp 可編程顯示器及其畫面操作處理程式
CN112462986A (zh) * 2016-05-16 2021-03-09 谷歌有限责任公司 用户界面的基于控制物品的控制
CN114446030A (zh) * 2022-01-25 2022-05-06 惠州Tcl移动通信有限公司 姿势识别方法、装置、存储介质及电子设备

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8162816B2 (en) 2001-03-09 2012-04-24 Boston Scientific Scimed, Inc. System for implanting an implant and method thereof
US8769427B2 (en) * 2008-09-19 2014-07-01 Google Inc. Quick gesture input
US9250797B2 (en) * 2008-09-30 2016-02-02 Verizon Patent And Licensing Inc. Touch gesture interface apparatuses, systems, and methods
US20100162181A1 (en) * 2008-12-22 2010-06-24 Palm, Inc. Interpreting Gesture Input Including Introduction Or Removal Of A Point Of Contact While A Gesture Is In Progress
KR101471801B1 (ko) * 2009-08-21 2014-12-10 애플 인크. 정전용량 감지를 위한 방법 및 장치
US20110148786A1 (en) * 2009-12-18 2011-06-23 Synaptics Incorporated Method and apparatus for changing operating modes
US9465532B2 (en) 2009-12-18 2016-10-11 Synaptics Incorporated Method and apparatus for operating in pointing and enhanced gesturing modes
US8621380B2 (en) 2010-01-06 2013-12-31 Apple Inc. Apparatus and method for conditionally enabling or disabling soft buttons
US9268404B2 (en) * 2010-01-08 2016-02-23 Microsoft Technology Licensing, Llc Application gesture interpretation
US20110283241A1 (en) * 2010-05-14 2011-11-17 Google Inc. Touch Gesture Actions From A Device's Lock Screen
US9542091B2 (en) * 2010-06-04 2017-01-10 Apple Inc. Device, method, and graphical user interface for navigating through a user interface using a dynamic object selection indicator
US20120102437A1 (en) * 2010-10-22 2012-04-26 Microsoft Corporation Notification Group Touch Gesture Dismissal Techniques
US8659562B2 (en) 2010-11-05 2014-02-25 Apple Inc. Device, method, and graphical user interface for manipulating soft keyboards
US8587547B2 (en) 2010-11-05 2013-11-19 Apple Inc. Device, method, and graphical user interface for manipulating soft keyboards
US9361009B2 (en) * 2010-12-01 2016-06-07 Adobe Systems Incorporated Methods and systems for setting parameter values via radial input gestures
US8612874B2 (en) 2010-12-23 2013-12-17 Microsoft Corporation Presenting an application change through a tile
US20120166944A1 (en) 2010-12-23 2012-06-28 Stephen Hayden Cotterill Device, Method, and Graphical User Interface for Switching Between Two User Interfaces
US8689123B2 (en) 2010-12-23 2014-04-01 Microsoft Corporation Application reporting in an application-selectable user interface
US9411509B2 (en) * 2010-12-29 2016-08-09 Microsoft Technology Licensing, Llc Virtual controller for touch display
US9092132B2 (en) 2011-01-24 2015-07-28 Apple Inc. Device, method, and graphical user interface with a dynamic gesture disambiguation threshold
US10365819B2 (en) 2011-01-24 2019-07-30 Apple Inc. Device, method, and graphical user interface for displaying a character input user interface
CN102156573B (zh) * 2011-03-25 2015-05-20 中兴通讯股份有限公司 触摸屏电子设备及其可点触响应功能的定位方法
US9658766B2 (en) 2011-05-27 2017-05-23 Microsoft Technology Licensing, Llc Edge gesture
US20120304131A1 (en) * 2011-05-27 2012-11-29 Jennifer Nan Edge gesture
US9158445B2 (en) 2011-05-27 2015-10-13 Microsoft Technology Licensing, Llc Managing an immersive interface in a multi-application immersive environment
US9104307B2 (en) 2011-05-27 2015-08-11 Microsoft Technology Licensing, Llc Multi-application environment
US20120304132A1 (en) 2011-05-27 2012-11-29 Chaitanya Dev Sareen Switching back to a previously-interacted-with application
WO2013012424A1 (en) * 2011-07-21 2013-01-24 Research In Motion Limited Electronic device including a touch-sensitive display and a navigation device and method of controlling the same
TWI446255B (zh) 2011-07-28 2014-07-21 Wistron Corp 具有螢幕顯示選單功能之顯示裝置
US20130057587A1 (en) 2011-09-01 2013-03-07 Microsoft Corporation Arranging tiles
US9146670B2 (en) 2011-09-10 2015-09-29 Microsoft Technology Licensing, Llc Progressively indicating new content in an application-selectable user interface
US10318146B2 (en) * 2011-09-12 2019-06-11 Microsoft Technology Licensing, Llc Control area for a touch screen
KR20130050607A (ko) * 2011-11-08 2013-05-16 삼성전자주식회사 단말기에서 독서 관리 방법 및 장치
US9395901B2 (en) 2012-02-08 2016-07-19 Blackberry Limited Portable electronic device and method of controlling same
US9225307B2 (en) 2012-06-28 2015-12-29 Sonos, Inc. Modification of audio responsive to proximity detection
WO2014017831A2 (ko) * 2012-07-25 2014-01-30 Park Chul 터치패널을 갖는 개인휴대단말기의 작동방법
CN103135929A (zh) * 2013-01-31 2013-06-05 北京小米科技有限责任公司 控制应用界面移动的方法、装置和终端设备
US9189149B2 (en) 2013-03-21 2015-11-17 Sharp Laboratories Of America, Inc. Equivalent gesture and soft button configuration for touch screen enabled device
US9405377B2 (en) * 2014-03-15 2016-08-02 Microsoft Technology Licensing, Llc Trainable sensor-based gesture recognition
KR102302233B1 (ko) * 2014-05-26 2021-09-14 삼성전자주식회사 사용자 인터페이스 제공 장치 및 방법
US9898162B2 (en) 2014-05-30 2018-02-20 Apple Inc. Swiping functions for messaging applications
US20170192465A1 (en) * 2014-05-30 2017-07-06 Infinite Potential Technologies Lp Apparatus and method for disambiguating information input to a portable electronic device
US9971500B2 (en) 2014-06-01 2018-05-15 Apple Inc. Displaying options, assigning notification, ignoring messages, and simultaneous user interface displays in a messaging application
US11567626B2 (en) * 2014-12-17 2023-01-31 Datalogic Usa, Inc. Gesture configurable floating soft trigger for touch displays on data-capture electronic devices
JP6497549B2 (ja) * 2015-03-05 2019-04-10 カシオ計算機株式会社 電子機器、タッチ操作制御方法及びプログラム
US10739972B2 (en) 2016-06-10 2020-08-11 Apple Inc. Device, method, and graphical user interface for managing electronic communications
CN106028172A (zh) * 2016-06-13 2016-10-12 百度在线网络技术（北京）有限公司 音/视频处理方法及装置
US10466344B2 (en) * 2016-07-07 2019-11-05 Tactual Labs Co. Human-computer interaction applications of precise ranging technology and geometric dilution of precision in a ranging positioning system for VR
JP6729338B2 (ja) * 2016-12-13 2020-07-22 ヤマハ株式会社 表示装置
KR20190112160A (ko) * 2017-03-23 2019-10-02 미쓰비시덴키 가부시키가이샤 터치 입력 판정 장치, 터치 입력 판정 방법, 및 터치 입력 판정 프로그램
CN111399742B (zh) * 2020-03-13 2024-04-26 华为技术有限公司 界面切换方法、装置和电子设备
CN111522446B (zh) * 2020-06-09 2023-10-03 宁波视睿迪光电有限公司 基于多点tof的手势识别方法及装置
CN112535862A (zh) * 2020-09-30 2021-03-23 深圳德深通商贸有限公司 一种虚拟摇杆的控制方法及控制系统
CN114639158A (zh) * 2020-11-30 2022-06-17 伊姆西Ip控股有限责任公司 计算机交互方法、设备和程序产品
US11785300B2 (en) * 2022-02-17 2023-10-10 Roku, Inc. HDMI customized ad insertion

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060008735A (ko) * 2004-07-24 2006-01-27 주식회사 대우일렉트로닉스 터치패드가 장착된 리모콘
US20070150842A1 (en) * 2005-12-23 2007-06-28 Imran Chaudhri Unlocking a device by performing gestures on an unlock image
US20070273666A1 (en) * 2006-05-24 2007-11-29 Sang Hyun Shin Touch screen device and operating method thereof
US20080094370A1 (en) * 2006-09-06 2008-04-24 Bas Ording Portable Electronic Device Performing Similar Operations for Different Gestures
US20080189613A1 (en) * 2007-02-05 2008-08-07 Samsung Electronics Co., Ltd. User interface method for a multimedia playing device having a touch screen

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8479122B2 (en) * 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
JPH11212726A (ja) * 1998-01-29 1999-08-06 Omron Corp 入力装置
JP3874571B2 (ja) * 1999-05-21 2007-01-31 シャープ株式会社 ジェスチャー処理装置及びジェスチャー処理方法
JP2001117686A (ja) * 1999-10-20 2001-04-27 Toshiba Corp ペン入力装置およびペン入力装置のポインティング処理方法
JP4532631B2 (ja) * 1999-10-26 2010-08-25 キヤノン株式会社 情報入出力装置、その制御方法、及びその制御プログラムを格納したコンピュータにより読み取り可能な記録媒体
JP2001202174A (ja) * 2000-01-21 2001-07-27 Canon Inc 画像表示装置、方法および記憶媒体
FI20021655A (fi) 2002-06-19 2003-12-20 Nokia Corp Menetelmä lukituksen avaamiseksi ja kannettava elektroninen laite
JP2006527439A (ja) * 2003-06-13 2006-11-30 ユニヴァーシティ オブ ランカスター ユーザインタフェース
US7176886B2 (en) * 2004-03-23 2007-02-13 Fujitsu Limited Spatial signatures
US7519223B2 (en) * 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
JP4903371B2 (ja) * 2004-07-29 2012-03-28 任天堂株式会社 タッチパネルを用いたゲーム装置およびゲームプログラム
EP2000894B1 (en) * 2004-07-30 2016-10-19 Apple Inc. Mode-based graphical user interfaces for touch sensitive input devices
JP2006093901A (ja) * 2004-09-21 2006-04-06 Saxa Inc ジェスチャ操作可能な電話機
JP2006139615A (ja) * 2004-11-12 2006-06-01 Access Co Ltd 表示装置、メニュー表示プログラムおよびタブ表示プログラム
US8464176B2 (en) * 2005-01-19 2013-06-11 Microsoft Corporation Dynamic stacking and expansion of visual items
KR20160150116A (ko) * 2005-03-04 2016-12-28 애플 인크. 다기능 휴대용 장치
JP4832826B2 (ja) * 2005-07-26 2011-12-07 任天堂株式会社 オブジェクト制御プログラムおよび情報処理装置
US8078990B2 (en) * 2006-02-01 2011-12-13 Research In Motion Limited Secure device sharing
US8587526B2 (en) * 2006-04-12 2013-11-19 N-Trig Ltd. Gesture recognition feedback for a dual mode digitizer
US7422145B2 (en) * 2006-05-08 2008-09-09 Nokia Corporation Mobile communication terminal and method
US8375326B2 (en) * 2006-05-30 2013-02-12 Dell Products Lp. Contextual-based and overlaid user interface elements
JP2008140182A (ja) * 2006-12-01 2008-06-19 Sharp Corp 入力装置、送受信システム、入力処理方法、および制御プログラム
US9772751B2 (en) * 2007-06-29 2017-09-26 Apple Inc. Using gestures to slide between user interfaces
US20090227369A1 (en) * 2008-03-10 2009-09-10 Merit Entertainment Amusement Device Having a Configurable Display for Presenting Games Having Different Aspect Ratios
US20110163972A1 (en) * 2010-01-06 2011-07-07 Freddy Allen Anzures Device, Method, and Graphical User Interface for Interacting with a Digital Photo Frame

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060008735A (ko) * 2004-07-24 2006-01-27 주식회사 대우일렉트로닉스 터치패드가 장착된 리모콘
US20070150842A1 (en) * 2005-12-23 2007-06-28 Imran Chaudhri Unlocking a device by performing gestures on an unlock image
US20070273666A1 (en) * 2006-05-24 2007-11-29 Sang Hyun Shin Touch screen device and operating method thereof
US20080094370A1 (en) * 2006-09-06 2008-04-24 Bas Ording Portable Electronic Device Performing Similar Operations for Different Gestures
US20080189613A1 (en) * 2007-02-05 2008-08-07 Samsung Electronics Co., Ltd. User interface method for a multimedia playing device having a touch screen

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103257813A (zh) * 2012-02-21 2013-08-21 海尔集团公司 一种共享设备的确定方法和文件传输方法以及系统
CN103257817A (zh) * 2012-02-21 2013-08-21 海尔集团公司 共享设备的确定方法和文件传输方法及系统
WO2013123695A1 (zh) * 2012-02-21 2013-08-29 海尔集团公司 共享设备的确定方法和文件传输方法及系统
WO2013123697A1 (zh) * 2012-02-21 2013-08-29 海尔集团公司 一种共享设备的确定方法和文件传输方法以及系统
CN103257813B (zh) * 2012-02-21 2017-12-22 海尔集团公司 一种共享设备的确定方法和文件传输方法以及系统
TWI490771B (zh) * 2013-05-27 2015-07-01 Mitsubishi Electric Corp 可編程顯示器及其畫面操作處理程式
CN105247468A (zh) * 2013-05-27 2016-01-13 三菱电机株式会社 可编程显示器及其画面操作处理程序
CN105247468B (zh) * 2013-05-27 2018-01-05 三菱电机株式会社 可编程显示器及其画面操作处理程序
CN104267904A (zh) * 2014-09-26 2015-01-07 深圳市睿德网络科技有限公司 一种具有触摸屏虚拟单位控制的方法及移动终端
CN112462986A (zh) * 2016-05-16 2021-03-09 谷歌有限责任公司 用户界面的基于控制物品的控制
CN114446030A (zh) * 2022-01-25 2022-05-06 惠州Tcl移动通信有限公司 姿势识别方法、装置、存储介质及电子设备
CN114446030B (zh) * 2022-01-25 2024-04-09 惠州Tcl移动通信有限公司 姿势识别方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN102150123B (zh) 2013-08-14
WO2010030662A2 (en) 2010-03-18
RU2011108470A (ru) 2012-09-10
JP2012502393A (ja) 2012-01-26
EP2327011A4 (en) 2012-02-01
WO2010030662A3 (en) 2010-05-06
KR20110056286A (ko) 2011-05-26
US20100064261A1 (en) 2010-03-11
EP2327011A2 (en) 2011-06-01

Similar Documents

Publication Publication Date Title
CN102150123B (zh) 具有相对姿势识别模式的便携式电子设备
JP5721662B2 (ja) 入力受付方法、入力受付プログラム、及び入力装置
US9946345B2 (en) Portable terminal and method for providing haptic effect to input unit
US10387014B2 (en) Mobile terminal for controlling icons displayed on touch screen and method therefor
EP3404520B1 (en) Method of displaying information by using touch input in mobile terminal
US8650508B2 (en) Mobile terminal and operating method thereof
KR101020029B1 (ko) 터치 스크린을 구비한 휴대 단말기 및 그 휴대 단말기에서터치를 이용한 키 입력 방법
CN102934067B (zh) 信息处理系统、操作输入装置、信息处理装置、信息处理方法
CN101098533B (zh) 小键盘触摸用户接口方法与使用其的移动终端
US20150035781A1 (en) Electronic device
EP2809055A2 (en) Method and apparatus for controlling screen display using environmental information
US20150325211A1 (en) Display device and control method therefor
CN107077295A (zh) 一种快速分屏的方法、装置、电子设备、显示界面以及存储介质
CN102576268A (zh) 利用多种输入检测技术的交互表面
CN104765584A (zh) 用户终端装置及其控制方法
CN102129291B (zh) 带有运动控制光标的手持式电子装置
CN104965649B (zh) 一种内容展示方法、装置及终端
CN102141881A (zh) 移动终端和信息显示方法
CN104166553A (zh) 一种显示方法及电子设备
KR20140136803A (ko) 진동 제어 방법 및 장치
CN103294392A (zh) 用于在移动装置中编辑内容视图的方法和设备
CN104182166A (zh) 智能终端应用程序的控制方法和装置
CN109857289A (zh) 显示控制方法及终端设备
CN103777788A (zh) 一种控制方法及电子设备
US9501166B2 (en) Display method and program of a terminal device

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150429

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150429

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130814

Termination date: 20190909