CN102609176A - 用于手势识别的方法及设备 - Google Patents

用于手势识别的方法及设备 Download PDF

Info

Publication number
CN102609176A
CN102609176A CN2011104043820A CN201110404382A CN102609176A CN 102609176 A CN102609176 A CN 102609176A CN 2011104043820 A CN2011104043820 A CN 2011104043820A CN 201110404382 A CN201110404382 A CN 201110404382A CN 102609176 A CN102609176 A CN 102609176A
Authority
CN
China
Prior art keywords
touch
user interface
pattern
interface elements
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011104043820A
Other languages
English (en)
Inventor
R·W·斯帕克斯
J·恩格斯
J·沃尔特坎普
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honeywell International Inc
Original Assignee
Honeywell International Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honeywell International Inc filed Critical Honeywell International Inc
Publication of CN102609176A publication Critical patent/CN102609176A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明涉及用于手势识别的方法及设备。一种触摸屏装置被配置为根据菜单层级显示若干用户界面元件。当接收到预定的触摸屏手势(例如操纵器的圆周运动)时，该菜单层级被绕开并且用户被给予对所选功能的直接控制，例如，如声音音量、屏幕对比度等的调整功能。

Description

用于手势识别的方法及设备
技术领域
本发明一般涉及用户界面，特别是涉及用在车辆、飞机等中的该类型的触摸屏用户界面中的手势识别。
背景技术
在各种环境中，都希望将传统的电子机械控件，例如旋钮、开关、滑块、按钮等替换为利用计算机用户界面的可比拟的控制系统。触摸屏装置，例如，通过使用用户界面元件如按钮、下拉菜单、单选按钮(radio button)和其他这样的控件，提供了方便的方法来加强控件，由此减少了机械致动器和控件所需的“不动产”。在空间总是奇缺的飞机机舱和汽车座舱环境中，这尤其需要。
然而，由触摸屏显示器提供的控件的密度却也伴随着代价。由于用户界面元件一般布置在分层级的菜单结构里，其中每页只有一个元件的子集(为了减少必要的屏幕尺寸)，用户通常必须浏览多个菜单或页面以达到所需的控制功能。例如，在飞机机舱环境中，飞行员经常需要减小或增加他或她的头戴式耳机音量。为了从主显示屏幕或默认显示屏幕执行这个任务，经常必须要浏览两个或更多菜单屏幕。就改变显示屏幕对比度和其他这样的“调整功能”而言，都会产生相同的问题。
因此，希望提供改进的用户界面方法，其允许对某些功能的简单访问。此外，结合本发明附图和本背景技术，本发明其他的所需特性和特征将从随后本发明的具体实施方式和附加的权利要求中变得显而易见。
发明内容
根据一个实施例，一种用户界面方法包括在触摸屏显示器上显示多个用户界面元件，进入第一模式，该第一模式包括提供响应于与用户界面元件相关联的触摸事件的信号；确定触摸事件是否对应预定的触摸屏手势；并且当该触摸事件对应该预定的触摸屏手势时，从该第一模式切换到第二模式，该第二模式包括在该触摸事件期间提供指示所选功能的数值的信号，该所选功能不与所显示的多个用户界面元件相关联。
根据一个实施例的一种触摸屏装置包括：触摸屏显示器，被配置为从用户处接收触摸事件；以及处理器，与该触摸屏显示器耦合。该处理器被配置为指示该触摸屏显示器显示多个用户界面元件；接收与该触摸事件相关联的信号；进入第一模式，该第一模式包括当该触摸事件与一个或多个的该用户界面元件相关联时，提供响应于该触摸事件的信号；确定该触摸事件是否对应预定的触摸屏手势；并且当该触摸事件对应该预定的触摸屏手势时，从该第一模式切换到第二模式，该第二模式包括在该触摸事件期间提供指示调节功能的数值的信号。
根据一个实施例的一种座舱控制装置包括在其上显示多个用户界面元件的触摸屏装置，该触摸屏装置包括至少一个用户界面控件，配置为对在被该至少一个用户界面控件占用的区域内发生的触摸事件作出反应。该触摸屏装置被配置为，当接收到预定的触摸屏手势，则暂时忽略该至少一个用户界面控件并提供对该调节功能的立即访问以便基于该预定的触摸屏手势修改该调节功能的数值。
附图说明
本发明以下将结合下列附图进行描述，其中相同附图标记代表相同元件，并且
图1示出根据本发明一个实施例的触摸屏系统的概念框图；
图2示出根据本发明一个实施例的触摸屏装置的操作；
图3示出根据本发明替换实施例的触摸屏装置的操作；
图4示出根据本发明另一个实施例的触摸屏装置的操作；
图5示出根据本发明另一个实施例的触摸屏装置的操作；
图6描述了可应用于本发明的各种类型的触摸屏手势；
图7概念地描述了包括各种用户界面元件的一层级的显示页面。
具体实施方式
以下对本发明细节的描述本质上仅仅是示例性的，并非用来限制本发明或本申请以及本发明的用途。而且，也不意图受到本发明之前背景技术中展现的任何理论或本发明以下的细节描述的限制。
总的来说，本发明旨在一种触摸屏装置，该触摸屏装置被配置为，在“正常”模式下，显示根据传统层级集合在页面上的若干用户界面元件。然而，当接收到预定的触摸屏手势(如手指的圆周运动)，则绕开菜单层级且给予用户对所选功能(例如诸如声音音量、屏幕对比度等的调整功能)的直接控制。
正文开始前，应该认识到以下描述的用户界面和手势输入方法可以在各种装置中实施，例如包括：蜂窝电话(或“智能电话”)、个人数字助理(PDA)、全球定位(GPS)系统，导航系统和显示器、电子书阅读器、平板电脑、上网本、点售装置、游戏装置、手写板以及任何其他可以包含用以遍历多页面层级的触摸屏装置。因为以下公开的系统如下环境中特别有用：对于用户不希望被显示分心延长的时间长度的环境——如当驾驶车辆或驾驶飞机时，所以所示出的示例可能，不失普遍性地，在飞机机舱控制系统的环境中被描述。然而，本发明不被限定于此。
现在参见图1，示例性的触摸屏装置100一般包括触摸屏显示器(或仅仅是“显示器”)130，处理器(如CPU、微控制器)110，以及存储器120。触摸屏装置100被配置为与外部控制器150通过合适的数据连接151(如硬连线、无线等)通信，该外部控制器150可以是较大控制系统例如飞机控制系统的一部分。控制器150还可以被适配为通过各种开关、旋钮、滑块、键盘，以及其他用户界面部件提供附加的反馈信号给用户(通过一个或更多的连接152)，例如声音反馈160和/或视觉反馈162。
触摸屏显示器130(连同处理器110)被配置为与一个或多个的操纵器(未示出)交互，例如指示笔、一个或多个用户手指等。当操纵器接触或靠近触摸屏130，其产生信号，该信号被处理器110接收和解释为触摸事件，该处理器110被配置(通过硬件和软件部件的任何组合)来确定该触摸事件的位置以及任何其他所选属性。该触摸事件可以存储在存储器内，如存储器120，和/或与控制器150通信以进行更进一步的控制动作，如在特定的应用中这是合适的。
显示器130可以包括薄而透明的触摸传感器部件，其叠加在被用户可见的显示器(例如，LCD显示器或其他类型的显示器，未示出)上。这种显示器的示例包括电容显示器、电阻显示器、表面声波(SAW)显示器、光学成像显示器等。显示器130也可以提供触觉反馈给用户——例如，响应于触摸事件的点击响应或按键感觉。本实施例设想任何适合的触摸敏感表面或传感器。
触摸屏显示器130可以有任意期望的二维或三维直线的和/或曲线的形状。触摸屏显示器130也可以是刚性的或挠性的，与各种有机LED(OLED)显示器的情况一样。所示的实施例，不失普遍性地，一般描绘了以纵向或横向方向(即，相对于观看该装置的用户)定向的矩形区域；然而，本发明包括任意范围的形状、尺寸和方向。
将认识到的是图1中的框图为了简明已被简化，实际的实施例可以包括任意数量的其他部件，例如图形控制器、一个或多个附加存储装置(如闪存、硬盘驱动器、微型SD卡等)、电源模块(如电池、充电电路等)、外围接口、一个或多个外部端口(如USB、火线等)、RF收发器模块(如依照IEEE 802.11、Zigbee等)、音频模块、一个或多个传感器如加速度传感器(如三轴传感器)、方向传感器、接近传感器和附加I/O部件(如按钮、LED等)。为了简明，这样的部件未被示出。
图2示出了一种特别的触摸屏装置200，其对应于图1所示的触摸屏装置100的一个实施例。如所示，触摸屏装置包括触摸屏显示器202，若干用户界面元件210、211和220显示其上。可能的用户界面元件包括，但不限于，文本对象、文本框、按钮、复选框、单选按钮、静态图像、视频图像、动画、导航图标、窗口小部件、窗口、下拉菜单、超链接，以及任何其他交互或非交互图形元件。
一般来说，用户界面元件将包括“控制”元件，其从操纵器204接收输入(即，经由“触摸事件”)并相应作出反应(如图2中元件210和211所示)。用户界面元件也可以包括各种非控制元件如图像、文本、指示器等，非控制元件可以随时间变化，但是不对来自操纵器204的触摸事件作出反应。
通常，触摸屏装置200至少在两种模式下运行。第一模式(“正常”或“默认”模式)对应于标准运行模式，在该模式下用户界面元件210和211以正常形式根据触摸事件作出响应，并且触摸屏装置200提供信号(例如，通过图1中的数据连接151)，其响应于与该用户界面元件相关联的触摸事件。例如，如果用户，经由操纵器204，轻击元件211，触摸屏显示器202可以变成用户界面元件的不同的页面(如主菜单屏幕等)。类似地，元件210可以与一滑块元件对应，在第一模式中，该滑块元件用来当操纵器204在其上滑动或拖拽时改变某些属性或功能的数值。
根据本发明，触摸屏装置200也可在第二模式下运行，当触摸屏装置200确定触摸事件对应于预定的触摸屏手势208时进入该模式。在第二模式，触摸屏装置200在该触摸事件期间提供指示所选功能的数值的信号，该所选功能与当前所显示的用户界面元件220、210和211不相关联。即，通过使用一个或多个特殊手势时，用户可以快速地绕开标准菜单层级且直接执行所选功能。
根据前文所提，整组可用的用户界面元件(元件210、211和220只是少数例子)通常将根据菜单层级被分组到若干页面中。其在图7中被概念性地示出，其中层级可以包括顶级菜单或页面702，随后为“子”页面704和706。页面706也可以有子页面708、710和712，其中712本身可以有子页面714。在该层级中遍历通常需要用户轻击一个或多个按钮(“后退”、“主页”、“前进”等)或“面包屑(bread crumbs)”式导航(即，一个层级路径通常在显示器202的顶部或底部显示)。
根据本发明的一个实施例，菜单层级(702-714)包括对应所选功能的用户界面元件，但是从第一模式到第二模式的切换包括绕开该菜单层级以直接修改所选功能的数值。
预定的触摸屏手势可以包括任何单点或多点触摸事件或事件的组合。简单参考图6，例如，一般触摸屏手势包括轻击(602)、双击(604)、拖拽(606)、轻拂(608)和捏/多点触摸(610)。图6所示的手势是仅以示例的方式提供的，并非意图限定预定触摸屏手势的范围。
再次参考图2，在该示出的示例中圆形拖拽运动被用作预定的触摸屏手势208。即，用户将操纵器204放置在初始位置206，与触摸屏显示器202相接触，并且然后以圆形路径207拖拽，如所示。在此实施例中，可以期望将所选功能的数值与相对于初始位置206由圆形路径207对向的弧成比例地改变。例如，当路径207以顺时针移动时用户头戴式耳机的音量可以增加，而当路径207以逆时针移动时将减小。圆形路径207和所选功能的数值之间的其他线性或非线性关系也都可以利用。
当触摸屏手势208正被执行时，且触摸屏装置200处于第二模式时，优选地，操纵器204掠扫或拖拽过元件210不会触发元件210在第一模式中通常所提供的功能(例如，之前例子中描述的滑块功能)，即使元件210仍然在显示。即，优选地，用户不用担心当他或她执行触摸屏手势208时会激活其他用户界面元件，并且触摸屏装置200暂时忽略与用户界面元件210的任何接触，而相反提供所选功能的立即访问。
图3示出替换实施例，该实施例中预定触摸屏手势为捏的手势，由两个手指或操纵器204实施，如所示。在这个实施例中，基于手指204相对于手指204的初始位置206之间的距离，所选功能的数值增加和减小(线性或非线性地)。例如，可以使用这个手势增加和减少触摸屏显示器202的亮度和/或对比度。
触摸屏装置100可以响应多个预定的触摸屏手势，每个对应于一个特别的所选功能。即，一个手势可能用来控制头戴式耳机音量，而另一个手势可以用来控制显示器202的对比度和亮度。手势，以及其被映射到所选功能的方式，可以由用户配置或事先存储于触摸屏装置100中(如图1中的存储器120)。另外，一个预定的手势可以用来进入第二模式，然后一个或多个附加预定手势可以用来控制一个或多个所选功能的数值。
根据另一个实施例，当预定的触摸屏手势208被执行时，触摸屏装置200可以暂时显示调整功能的数值的图形描述。即，参照图4，当所选功能的数值被改变时，条402或其他这样的图形可被显示。在该所示实施例中，例如，当数值增加时条402可以向右扩展尺寸，并且，相反地，当数值减少时缩短尺寸。图5示出了替换图形描述，其中典型的圆形旋钮505暂时地被显示。这两个实施例都提供了对用户确认已成功进入了第二模式的直觉方式，以及所选功能正被修改。将要理解的是图4和图5所示示例没有任何方式限制，而且任何合适的图形描述例如拨号盘、指针显示、分段条形图等都可以被使用。
通过预定的触摸屏手势控制的所选功能可以是用户将通过触摸屏装置100通常控制的任何功能，或者实际上任何其他功能。在一个实施例中，所选功能是“调整功能”—即，对用户与触摸屏装置100或该用户周边的其他某些机械或电机械控件交互的某些方面进行“调整”的功能。如上所述，典型的调整功能包括，例如，提供给用户的声音信号音量(图1中160)，触摸屏装置100的视觉特性(例如，亮度和/或对比度)。其他包括，但不限于，改变预设、改变频率、从选项列表中选择(如下拉菜单)、改变静噪设置、提供声音均衡等。
一般而言，根据一个实施例的计算机程序产品包括包含计算机可用介质(例如，标准RAM、光盘、USB驱动器等)，在其中包含计算机可读程序代码，其中该计算机可读程序代码适合被处理器110执行(连同操作系统工作)以实施上述方法和系统。该程序代码可以用任何期望的语言实施，并可以实施为机器代码、汇编代码、二进制代码、可解释源代码等(例如C、C++、Java等)。代码和/或处理器硬件的组合可以在逻辑上和功能上分割为各种模块—例如，触摸屏事件接口模块，触摸屏事件解释模块，以及信号接口模块。
虽然在本发明前述具体实施方式中示出了至少一个示例性的实施例，但是应该认识到还有大量的变化存在。还应该认识到一个或多个示例性的实施例只是举例，并非意图以任何方式来限制本发明的范围、适用性或配置。相反，前述具体实施方式给本领域技术人员提供了一个方便的路线图以实施本发明示例性实施例。应该理解，在不脱离所附权利要求所阐明的本发明范围的情况下，可以在示例性实施例中描述的元件的功能和布置方面进行各种改变。

Claims (10)

1.一种用户界面方法，包括：
在触摸屏显示器上显示多个用户界面元件；
进入第一模式，该第一模式包括提供响应于与该用户界面元件相关联的触摸事件的信号；
确定触摸事件是否对应预定的触摸屏手势；以及
当该触摸事件对应该预定的触摸屏手势时，从该第一模式切换到第二模式，该第二模式包括在该触摸事件期间提供指示所选功能的数值的信号，该所选功能不与所显示的多个用户界面元件相关联。
2.如权利要求1所述的用户界面方法，其中该所选功能是和用户与触摸屏显示器交互相关联的调整功能。
3.如权利要求2所述的方法，其中该调整功能是被配置为提供给用户的声音信号的音量级别。
4.如权利要求2所述的方法，其中该调整功能是触摸屏显示器的视觉特性。
5.如权利要求1所述的方法，其中该预定的触摸屏手势包括圆周运动。
6.如权利要求5所述的方法，其中该圆周运动从触摸屏显示器上与用户界面元件不相关联的初始位置开始，并且其中该调整功能的数值基于相对于该初始位置由该圆周运动对向的弧。
7.如权利要求1所述的方法，进一步包括在触摸事件期间暂时显示该调整功能的数值的图形描述。
8.如权利要求1所述的方法，其中：
根据菜单层级显示该用户界面元件；
该菜单层级包括对应该所选功能的用户界面元件；以及
从第一模式到第二模式的切换包括绕开该菜单层级以修改该所选功能的数值。
9.如权利要求2所述的方法，其中多个用户界面元件在集成进机舱显示系统的触摸屏显示器上显示。
10.如权利要求9所述的方法，其中该调整功能是被配置为提供给飞行员的声音信号的音量级别，或是触摸屏显示器的视觉特性。
CN2011104043820A 2010-10-29 2011-10-28 用于手势识别的方法及设备 Pending CN102609176A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/915452 2010-10-29
US12/915,452 US20120110517A1 (en) 2010-10-29 2010-10-29 Method and apparatus for gesture recognition

Publications (1)

Publication Number Publication Date
CN102609176A true CN102609176A (zh) 2012-07-25

Family

ID=44925353

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011104043820A Pending CN102609176A (zh) 2010-10-29 2011-10-28 用于手势识别的方法及设备

Country Status (5)

Country Link
US (2) US20120110517A1 (zh)
EP (1) EP2447823A3 (zh)
KR (1) KR20120046059A (zh)
CN (1) CN102609176A (zh)
TW (1) TWI514234B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104298454A (zh) * 2013-07-15 2015-01-21 霍尼韦尔国际公司 用于智能家居系统的用户界面导航系统和方法
CN105102273A (zh) * 2013-04-16 2015-11-25 本田技研工业株式会社 车辆用电子设备
CN105408852A (zh) * 2013-07-25 2016-03-16 三星电子株式会社 处理输入的方法及其电子设备
CN105808131A (zh) * 2015-01-20 2016-07-27 现代自动车株式会社 输入设备和包括输入设备的车辆
CN105916720A (zh) * 2014-01-20 2016-08-31 大众汽车有限公司 用户界面和用于借助触敏的显示单元控制音量的方法
CN106325297A (zh) * 2016-09-09 2017-01-11 腾讯科技（深圳）有限公司 一种飞行器的控制方法及控制终端
CN106605193A (zh) * 2014-08-20 2017-04-26 微晶片科技德国公司 用于手势检测及跟踪的电极布置
CN107402740A (zh) * 2014-01-24 2017-11-28 广东欧珀移动通信有限公司 音量调节方法和系统
CN113253847A (zh) * 2021-06-08 2021-08-13 北京字节跳动网络技术有限公司 终端的控制方法、装置、终端和存储介质

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9710154B2 (en) 2010-09-03 2017-07-18 Microsoft Technology Licensing, Llc Dynamic gesture parameters
US20130014053A1 (en) * 2011-07-07 2013-01-10 Microsoft Corporation Menu Gestures
KR101828306B1 (ko) * 2011-10-18 2018-02-13 삼성전자 주식회사 휴대 단말기의 운영 방법 및 장치
US9517812B2 (en) * 2011-12-13 2016-12-13 Shimano Inc. Bicycle component operating device for controlling a bicycle component based on a sensor touching characteristic
FR2991070B1 (fr) * 2012-05-23 2015-04-17 Airbus Operations Sas Dispositif d'affichage a ecran tactile pour environnement vibrant et applications.
US10444836B2 (en) 2012-06-07 2019-10-15 Nook Digital, Llc Accessibility aids for users of electronic devices
US9658746B2 (en) 2012-07-20 2017-05-23 Nook Digital, Llc Accessible reading mode techniques for electronic devices
US9507513B2 (en) 2012-08-17 2016-11-29 Google Inc. Displaced double tap gesture
US20140075311A1 (en) * 2012-09-11 2014-03-13 Jesse William Boettcher Methods and apparatus for controlling audio volume on an electronic device
US9671943B2 (en) * 2012-09-28 2017-06-06 Dassault Systemes Simulia Corp. Touch-enabled complex data entry
US9411507B2 (en) 2012-10-02 2016-08-09 Toyota Motor Engineering & Manufacturing North America, Inc. Synchronized audio feedback for non-visual touch interface system and method
US20140189603A1 (en) * 2012-12-28 2014-07-03 Darryl L. Adams Gesture Based Partition Switching
US9971495B2 (en) * 2013-01-28 2018-05-15 Nook Digital, Llc Context based gesture delineation for user interaction in eyes-free mode
US20140215339A1 (en) * 2013-01-28 2014-07-31 Barnesandnoble.Com Llc Content navigation and selection in an eyes-free mode
US10452243B2 (en) 2013-01-31 2019-10-22 Bombardier Inc. System and method of operation of the system incorporating a graphical user interface in a side ledge of a vehicle cabin
US11021269B2 (en) * 2013-01-31 2021-06-01 Bombardier Inc. System and method for representing a location of a fault in an aircraft cabin
US9205914B1 (en) 2013-01-31 2015-12-08 Bombardier Inc. Distributed architecture for a system and a method of operation of the system incorporating a graphical user interface controlling functions in a vehicle cabin
US9650141B2 (en) 2013-01-31 2017-05-16 Bombardier Inc. System and a method of operation of the system incorporating a graphical user interface in a bulkhead of a vehicle cabin
US10222766B2 (en) 2013-01-31 2019-03-05 Bombardier Inc. System and method of operation of the system incorporating a graphical user interface on a mobile computing device for a member of a flight crew in a vehicle cabin
CN104062909A (zh) * 2013-03-19 2014-09-24 海尔集团公司 家电设备及其控制装置和方法
US10384925B2 (en) 2013-08-07 2019-08-20 The Coca-Cola Company Dynamically adjusting ratios of beverages in a mixed beverage
US9317183B2 (en) * 2013-08-20 2016-04-19 Google Inc. Presenting a menu at a mobile device
US20150185858A1 (en) * 2013-12-26 2015-07-02 Wes A. Nagara System and method of plane field activation for a gesture-based control system
US20150227269A1 (en) * 2014-02-07 2015-08-13 Charles J. Kulas Fast response graphical user interface
KR101538576B1 (ko) * 2014-02-10 2015-07-22 한국과학기술원 사용자 입력 공간과 디지털 데이터의 구조를 연결하는 구조 인지 이동 및 탐색 방법
US10347140B2 (en) 2014-03-11 2019-07-09 Textron Innovations Inc. Flight planning and communication
WO2015138318A1 (en) * 2014-03-11 2015-09-17 Cessna Aircraft Company Standby instrument panel for aircraft
US9428056B2 (en) 2014-03-11 2016-08-30 Textron Innovations, Inc. Adjustable synthetic vision
US9524142B2 (en) 2014-03-25 2016-12-20 Honeywell International Inc. System and method for providing, gesture control of audio information
DE102014205653A1 (de) * 2014-03-26 2015-10-01 Continental Automotive Gmbh Steuersystem
JP6813254B2 (ja) * 2014-07-15 2021-01-13 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
KR20160034776A (ko) 2014-09-22 2016-03-30 삼성전자주식회사 디바이스 및 상기 디바이스의 제어 방법
KR102220227B1 (ko) 2014-12-15 2021-02-25 삼성전자주식회사 음향 기기를 제어하는 디바이스 및 그 제어 방법
US10481645B2 (en) 2015-09-11 2019-11-19 Lucan Patent Holdco, LLC Secondary gesture input mechanism for touchscreen devices
US20200192626A1 (en) * 2018-12-14 2020-06-18 Honeywell International Inc. Systems and methods for managing communications on a vehicle
EP3882755A1 (en) * 2020-03-18 2021-09-22 Bayerische Motoren Werke Aktiengesellschaft System and method for multi-touch gesture sensing
CN115344121A (zh) * 2022-08-10 2022-11-15 北京字跳网络技术有限公司 用于处理手势事件的方法、装置、设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101052939A (zh) * 2004-07-30 2007-10-10 苹果电脑有限公司 用于触敏输入设备的基于模式的图形用户接口
US20090273571A1 (en) * 2008-05-01 2009-11-05 Alan Bowens Gesture Recognition
CN101634919A (zh) * 2009-09-01 2010-01-27 北京途拓科技有限公司 一种手势识别的装置与方法
CN101685343A (zh) * 2008-09-26 2010-03-31 联想(北京)有限公司 一种实现手势识别的方法、装置及电子设备

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6883145B2 (en) * 2001-02-15 2005-04-19 Denny Jaeger Arrow logic system for creating and operating control systems
US20050134578A1 (en) * 2001-07-13 2005-06-23 Universal Electronics Inc. System and methods for interacting with a control environment
US20040145574A1 (en) * 2003-01-29 2004-07-29 Xin Zhen Li Invoking applications by scribing an indicium on a touch screen
US7210107B2 (en) * 2003-06-27 2007-04-24 Microsoft Corporation Menus whose geometry is bounded by two radii and an arc
US7454717B2 (en) * 2004-10-20 2008-11-18 Microsoft Corporation Delimiters for selection-action pen gesture phrases
EP1920408A2 (en) * 2005-08-02 2008-05-14 Ipifini, Inc. Input device having multifunctional keys
TW200743993A (en) * 2006-05-26 2007-12-01 Uniwill Comp Corp Input apparatus and input method thereof
US8106856B2 (en) * 2006-09-06 2012-01-31 Apple Inc. Portable electronic device for photo management
US9152381B2 (en) * 2007-11-09 2015-10-06 Psyleron, Inc. Systems and methods employing unique device for generating random signals and metering and addressing, e.g., unusual deviations in said random signals
KR101526973B1 (ko) * 2008-07-07 2015-06-11 엘지전자 주식회사 이동단말기 및 그 제어 방법
US20100073303A1 (en) * 2008-09-24 2010-03-25 Compal Electronics, Inc. Method of operating a user interface
TWI381305B (zh) * 2008-12-25 2013-01-01 Compal Electronics Inc 使用者介面的顯示與操作方法以及電子裝置
US20100169842A1 (en) * 2008-12-31 2010-07-01 Microsoft Corporation Control Function Gestures
KR101510484B1 (ko) * 2009-03-31 2015-04-08 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
GB0908038D0 (en) * 2009-05-11 2009-06-24 Bluebox Avionics Ltd A content distribution system and method
US8493344B2 (en) * 2009-06-07 2013-07-23 Apple Inc. Devices, methods, and graphical user interfaces for accessibility using a touch-sensitive surface
US8364855B2 (en) * 2009-11-20 2013-01-29 Apple Inc. Dynamic interpretation of user input in a portable electronic device
US8972903B2 (en) * 2010-07-08 2015-03-03 Apple Inc. Using gesture to navigate hierarchically ordered user interface screens

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101052939A (zh) * 2004-07-30 2007-10-10 苹果电脑有限公司 用于触敏输入设备的基于模式的图形用户接口
US20090273571A1 (en) * 2008-05-01 2009-11-05 Alan Bowens Gesture Recognition
CN101685343A (zh) * 2008-09-26 2010-03-31 联想(北京)有限公司 一种实现手势识别的方法、装置及电子设备
CN101634919A (zh) * 2009-09-01 2010-01-27 北京途拓科技有限公司 一种手势识别的装置与方法

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105102273B (zh) * 2013-04-16 2017-06-23 本田技研工业株式会社 车辆用电子设备
CN105102273A (zh) * 2013-04-16 2015-11-25 本田技研工业株式会社 车辆用电子设备
CN104298454A (zh) * 2013-07-15 2015-01-21 霍尼韦尔国际公司 用于智能家居系统的用户界面导航系统和方法
CN105408852A (zh) * 2013-07-25 2016-03-16 三星电子株式会社 处理输入的方法及其电子设备
US10430071B2 (en) 2013-07-25 2019-10-01 Samsung Electronics Co., Ltd Operation of a computing device functionality based on a determination of input means
CN105408852B (zh) * 2013-07-25 2019-07-19 三星电子株式会社 处理输入的方法及其电子设备
CN105916720A (zh) * 2014-01-20 2016-08-31 大众汽车有限公司 用户界面和用于借助触敏的显示单元控制音量的方法
CN105916720B (zh) * 2014-01-20 2019-06-14 大众汽车有限公司 用户界面和用于借助触敏的显示单元控制音量的方法
CN107402740A (zh) * 2014-01-24 2017-11-28 广东欧珀移动通信有限公司 音量调节方法和系统
CN107728992A (zh) * 2014-01-24 2018-02-23 广东欧珀移动通信有限公司 音量调节方法和系统
CN106605193A (zh) * 2014-08-20 2017-04-26 微晶片科技德国公司 用于手势检测及跟踪的电极布置
US10649488B2 (en) 2014-08-20 2020-05-12 Microchip Technology Germany Gmbh Electrode arrangement for gesture detection and tracking
CN106605193B (zh) * 2014-08-20 2020-09-01 微晶片科技德国公司 用于手势检测及跟踪的电极布置
CN105808131A (zh) * 2015-01-20 2016-07-27 现代自动车株式会社 输入设备和包括输入设备的车辆
CN106325297B (zh) * 2016-09-09 2018-09-07 腾讯科技（深圳）有限公司 一种飞行器的控制方法及控制终端
CN106325297A (zh) * 2016-09-09 2017-01-11 腾讯科技（深圳）有限公司 一种飞行器的控制方法及控制终端
CN113253847A (zh) * 2021-06-08 2021-08-13 北京字节跳动网络技术有限公司 终端的控制方法、装置、终端和存储介质
CN113253847B (zh) * 2021-06-08 2024-04-30 北京字节跳动网络技术有限公司 终端的控制方法、装置、终端和存储介质

Also Published As

Publication number Publication date
US20120110517A1 (en) 2012-05-03
KR20120046059A (ko) 2012-05-09
EP2447823A3 (en) 2017-04-12
TWI514234B (zh) 2015-12-21
TW201229874A (en) 2012-07-16
US20150317054A1 (en) 2015-11-05
EP2447823A2 (en) 2012-05-02

Similar Documents

Publication Publication Date Title
CN102609176A (zh) 用于手势识别的方法及设备
US8245155B2 (en) Computer implemented display, graphical user interface, design and method including scrolling features
KR102042556B1 (ko) 이동 단말기 및 이동 단말기의 제어 방법
CN102439656B (zh) 基于使用历史的gui布局的定制
EP2315109B1 (en) Mobile terminal
EP3312706A1 (en) Electronic device having input device
US20160320810A1 (en) Cover and electronic device including the same
KR102264444B1 (ko) 전자 장치에서 기능 실행 방법 및 장치
KR101611866B1 (ko) 케이스에 장착된 터치 센서를 이용한 이동 단말기 및 그 제어 방법
KR20190100339A (ko) 애플리케이션 스위칭 방법, 디바이스 및 그래픽 사용자 인터페이스
EP2175367A2 (en) Method and apparatus for configurating idle screen of portable terminal
US20140055388A1 (en) Method and apparatus for constructing a home screen in a terminal having a touch screen
CN105122176A (zh) 用于管理在电子设备上显示的内容的系统和方法
WO2011131989A1 (en) Virtual keyboard with strip of auxiliary keys
KR20110073857A (ko) 이동 단말기 및 그 제어방법
WO2011033519A1 (en) Methods circuits apparatus and systems for human machine interfacing with an electronic appliance
WO2007132305A1 (en) Multi-function key with scrolling
KR20140105689A (ko) 사용자의 입력에 응답하여 피드백을 제공하는 방법 및 이를 구현하는 단말
US9690391B2 (en) Keyboard and touch screen gesture system
KR20140105331A (ko) 터치 스크린 상에서 객체 디스플레이를 제어하는 휴대 단말 및 방법
CN103197876A (zh) 在有电子书阅读器功能的终端中显示电子书的方法和装置
KR102152383B1 (ko) 단말 장치 및 그 제어 방법
TWI442274B (zh) 一種電子裝置及其圖形化使用者介面控制方法
KR102619538B1 (ko) 멀티윈도우 운용 방법 및 이를 지원하는 전자 장치
US20200241743A1 (en) Electronic device with flick operation and scrolling

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120725