CN102947783A - 多点触控标记菜单和有方向性的和弦手势 - Google Patents

多点触控标记菜单和有方向性的和弦手势 Download PDF

Info

Publication number
CN102947783A
CN102947783A CN2011800156423A CN201180015642A CN102947783A CN 102947783 A CN102947783 A CN 102947783A CN 2011800156423 A CN2011800156423 A CN 2011800156423A CN 201180015642 A CN201180015642 A CN 201180015642A CN 102947783 A CN102947783 A CN 102947783A
Authority
CN
China
Prior art keywords
chord
finger
point touch
touch surface
relevant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800156423A
Other languages
English (en)
Other versions
CN102947783B (zh
Inventor
乔治·菲茨莫里斯
托维·格罗斯曼
杰勒德·朱利安·列平斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Autodesk Inc
Original Assignee
Autodesk Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Autodesk Inc filed Critical Autodesk Inc
Publication of CN102947783A publication Critical patent/CN102947783A/zh
Application granted granted Critical
Publication of CN102947783B publication Critical patent/CN102947783B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0235—Character input methods using chord techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Abstract

本发明提供了一种用于与多点触控表面交互以执行操作的方法。该方法包括检测到至少一个手指接触多点触控表面、识别通过与接触多点触控表面的至少一个手指相关的手指组合定义的和弦、并且执行与基于和弦的操作相关的第一功能。该方法可以还包括将和弦结合到有方向性的移动手势中，并且使用该手势控制系统功能。

Description

多点触控标记菜单和有方向性的和弦手势
相关申请的交叉引用
本申请要求2010年3月26日提交的第12/732,978号美国专利申请的利益，通过引用将其并入本文。
技术领域
本发明的实施例一般地涉及多点触控表面，并且更具体地涉及多点触控标记菜单和有方向性的和弦（chord）手势。
背景技术
用于软件程序的用户界面（UIs）被设计成包括使用输入设备（诸如鼠标、键盘、或触控笔）可选择的界面元素。通常使用输入设备选择特定的界面元素。诸如触控板或触控屏幕等多点触摸表面允许使用一个或更多个手指来导航UI。然而，在多点触控表面上使用一个或更多个手指不能完全提供有效地导航UI所需要的输入精度。
已经尝试在UI设计中进行一些修改以增加通过一个或更多个手指对多点触控屏幕的输入的精确度，包括对于在UI中包括的元素的放大和缩小的能力或构造UI以包括一列大的可选择的元素。因为可以将UI元素放大至通过使指尖接触多点触控屏幕可容易选择的宽度和高度，因此放大和缩小的特征允许用户更有效地与在UI中包括的小的界面元素交互。类似地，因为每个大的可选的元素通常超过用于提供对于多点触控屏幕的输入的指尖的尺寸，因此用户容易对包括多列大的可选择的元素的UI进行导航。然而，这些UI技术消耗了宝贵的屏幕实际使用面积和/或要求用户连续地调整用于精确输入的界面的缩放水平，这导致了低效的和繁琐的交互。
如前所述，在本领域内存在对于克服了传统方法相关的缺点的用户界面技术的需求。
发明内容
本发明的一个实施例提供了用于与多点触控表面交互以执行操作的方法。该方法包括：检测到至少一个手指接触多点触控表面；识别由手指的组合定义的和弦，所述手指的组合与接触所述多点触控表面的所述至少一个手指相关联；以及基于所述和弦执行与操作相关的第一功能。
本发明的实施例的一个优点是作为通过多点触控表面通过上述技术可检测到的和弦的结果，显著地扩展了多点触控表面的输入能力。
附图说明
通过参照实施例（在附图中示出一些实施例），以这样的方式，可以详细地理解本发明实施例的上述特征、能够获得以上简要概述的本发明的更具体的描述。然而应当注意，附图仅示出了本发明的典型的实施例，并且因此不应被认为是限制了本发明的范围，对于本发明可以具有其它等效的实施例；
图1是根据本发明的一个实施例，示出了通过使用一个手的五个手指的不同组合可能引起的三十一种可能的和弦的表格的概念图；
图2A是根据本发明的一个实施例，用于使用提起和敲击（lift-and-stroke）技术确定和弦的方法步骤的流程图；
图2B是示出根据本发明的一个实施例的使用提起和敲击技术创建和弦的概念图；
图3A是根据本发明的一个实施例的用于使用照相机系统确定和弦的方法步骤的流程图；
图3B是示出根据本发明的一个实施例的使用照相机系统创建和弦的概念图；
图4是示出根据本发明的一个实施例的八个和弦的映射和对应功能的概念图；
图5是示出根据本发明的一个实施例的创建和弦并且执行和弦手势的概念图；
图6是根据本发明的一个实施例，用于使用和弦手势执行包括在标记菜单中的命令的方法步骤的流程图；
图7是示出根据本发明的一个实施例的使用和弦手势执行包括在标记菜单中的命令的概念图；
图8是示出根据本发明的一个实施例的使用数字触控笔连同和弦手势的概念图；以及
图9是示出了被配置成执行本发明的一个或多个方面的计算机的概念图。
具体实施方式
在以下描述中，陈述大量的特定的细节以提供对本发明的实施例的更深入的理解。然而，对于本领域技术人员将是明显的，可以缺少一个或更多个这些特定的细节而实施本发明的实施例。在其它情况下，没有描述公知的特征以避免模糊本发明的实施例。
图1是示出了根据本发明的一个实施例，通过使用一只手的五个手指的不同组合可能引起的三十一种可能的和弦的表格100的概念图。如图所示，表格100包括行10、行20、行30、行40、行50、和弦102-和弦162、手指向上表示164、以及手指向下表示166。
行10、20、30、40、以及50包括了使用手的五个手指在多点触控表面上可能创建的不同和弦。在表格100中描述的和弦102-和弦162中的每一个包括五个圆，其中每个圆映射到手的特定的手指。手指向上表示164代表不接触多点触控表面的手指；反之，手指向下表示166代表接触多点触控表面的手指。
行10包括通过使手的单个手指接触多点触控表面可以创建的和弦102、104、106、108以及110。行20包括通过使手的两个手指接触多点触控表面可以创建的和弦112、114、116、118、120、122、124、126、128以及130。行30包括通过使手的三个手指接触多点触控表面可以创建的和弦132、134、136、138、140、142、144、146、148以及150。行40包括通过使手的四个手指接触多点触控表面可以创建的和弦152、154、156、158以及160。行50包括通过使手的五个手指接触多点触控表面可以创建的和弦162。
在一个实施例中，如果使用右手创建在表格100中所示的和弦102-和弦162，则大拇指对应和弦中最左边的圆并且小拇指对应和弦中最右边的圆。例如，如果使用右手，则和弦120代表其中食指和中指接触多点触控表面而其它手指不接触多点触控表面的和弦。在另一实施例中，和弦160代表其中食指、中指、无名指、以及小拇指接触多点触控表面而大拇指不接触多点触控表面的和弦。在替选的实施例中，如果使用左手创建和弦102-和弦162，则小拇指对应在和弦中最左边的圆并且大拇指对应在和弦中最右边的圆。例如，在使用左手的实施例中，和弦136代表在其中大拇指、中指、以及无名指接触多点触控表面而其它手指不接触多点触控表面的和弦。
在传统的系统中，多点触控表面不能确定哪个特定的手指接触了多点触控表面。如将在下面所详细描述的，本发明的实施例提供了用于确定哪个特定的手指接触多点触控表面并且根据该确定提供某种功能的技术。
图2A是根据本发明的一个实施例，用于使用提起和敲击技术确定和弦的方法步骤的流程图。本领域的技术人员将会理解，即使结合图1，图2B，图3B-图5，以及图7-图9的系统描述了方法200，但是任何被配置成执行该方法步骤（以任何顺序）的系统都在本发明的实施例的范围内。
如图所示，方法200开始于步骤202，在该步骤中包括在计算机系统中的处理器确定用户已经使手的全部五个手指接触多点触控表面。在一些实施例中，多点触控表面可以被编程为当五个手指接触多点触控表面时向用户发出声音。在一些实施例中，计算机系统包括多点触控表面。
在步骤204，处理器识别五个接触点并且确定手的每个手指的位置。在一个实施例中，多点触控表面使用（x，y）坐标系统。当在手的五个手指与多点触控表面之间创建了五个接触点中的每一个时，将用于五个接触点中的每一个的（x，y）坐标信息从多点触控表面传递到处理器。处理器接收与每个手指相关的（x，y）坐标信息并且执行计算以确定手的哪些手指对应于五个（x，y）坐标。该计算可能包括确定用于一对手指的（x，y）坐标信息之间的距离、用于一对手指的（x，y）坐标信息之间的斜率等。在一些实施例中，多点触控表面可以被配置成用于惯用右手的或惯用左手的操作模式中。在这些实施例中，当执行计算以确定手的哪些手指对应于五个（x，y）坐标时，处理器可能考虑操作模式。当多点触控表面的处理器完成关于五个（x，y）坐标的计算时，将手指坐标映射存储在存储器中，该映射为与五个（x，y）坐标信息相关的特定手指的映射。该存储器可以包括在计算机系统和/或多点触控表面装置中。
在步骤206，处理器检测从多点触控表面提起零个或更多个手指。在一个实施例中，用户提起他或/她的中指、无名指、以及小拇指，使得仅拇指和食指保持接触多点触控表面。多点触控表面可以被编程为显示脉冲动画，该动画向用户传达一个或更多个接触点不再接触多点触控表面。例如，在多点触控表面上在从多点触控表面提起的接触点中的每一个上显示三个扩展的圆的动画。动画为用户提供他或她已经更改了接触多点触控表面的手指的数量的通知。在一些实施例中，处理器连续地和/或周期性地确定哪些手指接触多点触控表面。
在步骤208，处理器确定是否有至少一个手指保持接触多点触控表面。如在步骤206所描述，处理器可以连续地和/或周期性地确定哪些手指接触多点触控表面。以这样的方式，处理器可以识别对于多点触控表面的用户输入的任何改变。例如，如果用户从多点触控表面上移除他或她的无名指和小拇指，则处理器会接收到三个（x，y）坐标信息，并且知道只有三个手指保持接触多点触控表面。
如果处理器确定没有手指保持接触多点触控表面，则方法200返回到如上所述的步骤202。在一个实施例中，当他或她决定取消对多点触控表面的输入时，用户移除他或她的所有五个手指。
如果，在步骤208，处理器确定至少有一个手指保持接触多点触控表面，则方法200继续步骤210。在步骤210，处理器确定与和多点触控表面保持接触的手指对应的和弦。如在步骤204中所描述，存储器可以包括初始接触多点触控表面的用户的五个手指的手指坐标映射。例如，用户是惯用右手的，并且已经提起他或她的食指、无名指、以及小拇指（仅留下他或她的大拇指和中指接触多点触控表面）。多点触控表面的处理器然后接收到两个（x，y）坐标信息：用于大拇指的接触点的一个（x，y）坐标信息，和用于中指的接触点的另一个（x，y）坐标信息。处理器从存储器调出手指坐标映射并且将两个（x，y）坐标信息与存储在手指坐标映射中的坐标对比。处理器然后识别与两个（x，y）坐标信息对应的用户的两个手指，并且确定用户当前的手指配置。在用户保持大拇指和中指接触的示例中，处理器确定用手势表示的和弦是和弦114，如在图1中所示。在一些实施例中，处理器被编程为容许某一范围的移动以补偿当在步骤206中用户从多点触控表面移除一个或更多个手指时可能发生的接触多点触控表面中的手指的小的移动。
在步骤212，处理器执行与和弦相关的动作。在一个实施例中，处理器识别和弦并且执行与该和弦相关的存储器查找的功能。在一个实施例中，用手势表示和弦是与显示用户界面（UI）菜单相关的，其中基于用手势表示了哪个和弦而显示UI菜单。在一些实施例中，可以通过用户定制与每个和弦相关的功能。
方法200的实施例可以包括对于用户的输入，多点触控表面的响应时间中的编程的延迟。更具体地，在步骤206中，用户不太可能会在完全相同的时间提起所有手指。在一个实施例中，如果用户计划提起他或她的无名指和小拇指，但是首先提起他或她的小拇指，则处理器接收到四个手指接触多点触控表面的更新，识别到图1中的和弦152并且执行与和弦152相关的功能。在替选的实施例中，如果处理器被编程为在步骤206等待随后的输入，则可能提供给用户足够的时间提起他或她的无名指而不执行与和弦152相关的功能。因此，当在时间的阈值量内还提起无名指时，处理器接收到用户想要的和弦，即图1中的和弦150，并且处理器执行与和弦150相关的功能。以这样的方式实现阈值时间为用户提供了更直观的用户输入技术，并且补偿了与用户输入相关的延迟和错误。
图2B是示出根据本发明的一个实施例的使用提起和敲击技术创建和弦的概念图。如在图2A中所描述，当用户使手的所有五个手指接触多点触控表面时运行提起和敲击技术，以使得可以创建手指的坐标映射并且将其存储在存储器中。如在图2B中所示，提起和敲击起始点220与用户向下在多点触控表面上放置所有五个手指相关联。提起和敲击起始点220示出了使他或她的所有五个手指接触多点触控表面的惯用右手的用户。在一个实施例中，多点触控表面被编程为当用户的所有五个手指接触多点触控表面时，在多点触控表面上显示动画。例如，如在步骤208中所描述，多点触控表面的背景可能闪现以向用户传达多点触控表面已经准备好用户使用提起和敲击技术创建特定的和弦。在替选的实施例中，从包括在多点触控表面中的扬声器发出听得见的鸣响，该鸣响也可以有效地向用户传达多点触控表面已经准备好用户创建包括在图1中的和弦102-和弦160中的一个。应当注意，和弦162等同于提起和敲击起始点220，其中使用户的手的所有五个手指接触多点触控表面。
还在图2B中示出了提起和敲击终止点230、232、234。当在使所有五个手指接触多点触控表面之后用户移除他或她的中指时创建提起和敲击终止点230。当在使所有五个手指接触多点触控表面之后用户移除他或她的食指和中指时创建提起和敲击终止点232。当在使所有五个手指接触多点触控表面之后用户移除他或她的大拇指和小拇指时创建提起和敲击终止点234。通过利用提起和敲击技术多点触控表面可以识别在图1中包括的和弦120-和弦160中的每一个。
图3A是根据本发明的一个实施例，用于使用照相机系统确定和弦的方法步骤的流程图。本领域的技术人员将会理解，即使结合图1，图2B，图3B-图5，以及图7-图9的系统描述了方法300，但是任何被配置成执行该方法步骤（以任何顺序）的系统都在本发明的实施例的范围内。
如图所示，方法300开始于步骤302，其中处理器确定使用户的手的一个或更多个手指接触了多点触控表面。在一个实施例中，多点触控表面包括处理器，该处理器连同一个或更多个照相机一起执行方法300的步骤。在替选的实施例中，在被连接到多点触控表面的计算机系统中包括的处理器可以包括执行方法300的步骤的处理器。在一些实施例中，多点触控表面可能被编程为当一个或更多个手指接触多点触控表面时发出声音。例如，用户可以使他或她的大拇指、食指、以及中指接触多点触控表面（由包括在图1中的和弦150表示）。
在步骤304，当一个或更多个手指接触多点触控表面时，一个或更多个照相机捕获手和手指的图像。在一个实施例中，一个或更多个照相机放置在多点触控表面之下并且能够捕获在多点触控表面边界内的任何运动或接触点。例如，可以将多点触控表面分为四个象限，其中通过分配给每个象限的不同的照相机捕获在每个象限中发生的运动。
如在上述实施例中所描述，通过用户的手可以创建图1的和弦150。在步骤304，多点触控表面的照相机系统追踪并且捕获用户的手和手指的图像，并将每个图像存储在包括在多点触控表面的存储器中。在一些实施例中，执行输入延迟，其中当用户停止移动他或她的手和/或手指时，通过分析存储在存储器中的多个图像，处理器确定用户已经完成了制作和弦手势。在一个实施例中，多点触控表面的照相机每秒捕获两个图像并且将其存储到多点触控表面的存储器中。因此，如果两个连续的图像几乎相同，则处理器确定用户的手并且因此确定和弦手势已经持续了至少一秒。
在步骤306，处理器围绕图像中的手和一个或更多个手指创建边界框。在一个实施例中，处理器分析存储在多点触控表面的存储器中的最新的图像以确定在图像中的手和手指的区域。然后处理器可以围绕手和一个或更多个手指生成边界，并且剪裁位于边界外部的图像的任何部分。然后可以将剪裁过的图像作为边界框存储在存储器中。
在步骤308中，处理器分析边界框以确定与接触多点触控表面的手指对应的和弦。在一个实施例中，处理器首先载入图像识别软件以辅助与边界框相关的数据的处理。例如，图像识别软件通过识别手的手掌部分和内部部分而识别手的边界和方向。图像识别软件还通过识别指尖而识别手的手指的边界和方向。图像识别软件合并边界并且剪裁边界框，其中剪裁过的边界框完美地标明手和手指的界限。图像识别软件然后分析在剪裁过的边界框中的手指以确定大拇指、食指、中指、无名指、以及小拇指。根据一些实施例，通过分析相对于接触点之间的接触点的位置以及相对于边界框几何结构的接触点的位置来确定各个手指。例如，在一个实施例中，在边界框水平中心的阈值距离内的接触点可以确定为中指。在另一实施例中，在边界框左边缘的接触点可以确定为大拇指（例如，对于惯用右手的用户）。
在一些实施例中，进一步剪裁边界框以使得剩余的边界框仅包括手指。这被称为“分割的边界框”。最终，图像识别软件通过分析各种要素（诸如压力点、手指弯曲等）确定五个手指中的哪些手指实际接触多点触控表面。当图像识别软件完成其处理时，识别通过用户输入的实际和弦（例如图1中的和弦150）。在一些实施例中，图像识别软件被安装在计算机系统中，并且通过包括在计算机系统中的处理器执行图像识别软件。
在步骤310，处理器执行与和弦相关的动作。在一个示例中，处理器确定用户用手势表示了图1的和弦150，并且执行存储器查找以确定与和弦150相关的功能。在一些实施例中，可以通过用户定制和弦150的功能以显示正被显示在多点触控表面上的计算机辅助设计（CAD）软件中的编辑菜单。用户然后可以提起他或她的大拇指、食指、以及中指（即，与和弦150相关的手指）并且保持显示编辑菜单。用户然后可以通过单个手指接触多点触控菜单来选择在编辑菜单中的元素，其中单个手指接触点位于所选择的编辑菜单元素的边界内。在替选的实施例中，在响应于检测到和弦150而显示编辑菜单之后，用户可以在不从多点触控表面上提起手指的情况下，在编辑菜单选项的方向上滑动他或她的手指，以选择编辑菜单选项。
图3B是示出根据本发明的一个实施例的使用照相机系统创建和弦的概念图。图3B示出了照相机310、和弦输入320、边界框322、剪裁过的边界框330、分割后的边界框340、以及和弦350。
照相机320追踪用户手和手指的运动。在一个实施例中，单个照相机放置在多点触控表面之下，以使得照相机可以追踪用户的手和手指。在其它的实施例中，两个或更多的照相机放置在多点触控表面之后，以使得可以对多点触控表面进行划分，并且更精确地追踪用户的手和手指。在另一实施例中，一个或更多个照相机可以放置在多点触控表面的上面或多点触控表面的侧面。
在图3B中所示的示例中，当用户使他或她的大拇指、食指、以及中指接触多点触控表面时，创建和弦输入320。在一个实施例中，从包括在多点触控表面中的扬声器中发出可听得见的鸣响，该鸣响向用户传达他或她已经建立了与多点触控表面的接触。多点触控表面的处理器围绕和弦输入320创建了边界框322，其中边界框322为用户的手和手指的整个图像的边界。在一个实施例中，如在图3A的步骤306中所描述地创建边界框322。处理器通过分析边界框322并剪裁不包括一部分手和/或手指的边界框322中的每个部分然后确定剪裁过的边界框330。
然后，处理器通过分析剪裁过的边界框330并孤立手的每个手指来确定分割后的边界框340。如通过分割后的边界框340所示，处理器剪掉与手的每个手指不相关的所有信息，。如在图3A的步骤306中所描述地处理分割后的边界框340。
然后通过处理器识别与手势相关的和弦350。另外，在一个实施例中，处理器以被剪裁为边界框330的边界框332开始。边界框330然后被剪裁为分割后的边界框340，并且分割后的边界框340被剪裁为实际的和弦350。然后，处理器将和弦350与存储在存储器中的和弦的映射进行比较以确定响应于检测到和弦350该采取什么动作。
图4是示出根据本发明的一个实施例的八个和弦和对应功能的映射的概念图。图4包括和弦图例402和和弦模板404、406、408、410、412、414、416、418。在一个实施例中，和弦图例402显示在与在计算机系统上执行的图形应用相关的用户界面的右上方。根据各种实施例，如本文所描述的，可以由用户经由提起和敲击技术或经由照相机系统技术来以手势表示和弦模板404、406、408、410、412、414、416、418中的每一个。
和弦图例402可以显示任何数量的和弦模板。在一个实施例中，如在图4中所示，和弦图例402显示八个不同的和弦模板。和弦模板是和弦及其对应的功能的视觉表示。和弦图例402为用户提供了用于一些可获得的功能（该功能可以通过用手势表示不同的和弦实现）的参考，而不要求用户记住每个和弦。例如，和弦模板404代表用于当使用户的大拇指接触多点触控表面时显示选择的家具的预定图样的功能。在一些实施例中，和弦模板404、406、408、410、414、414、418中的每一个是可定制的，并且可以包括和弦102-和弦162中的任一个。用手势表示每个和弦并且将每个和弦与相关的功能相联系。
另外，在一些实施例中，和弦图例402是动态的并且基于用户选择的和弦模板而改变。例如，如果用户选择水果和弦模板408，显示选择的不同的水果图样，并且和弦图例402用八个新和弦模板替换和弦模板404-418中的每一个，八个新的和弦模板显示对于显示的水果图样选择(诸如颜色、形状等）可用的过滤功能。
在替选的实施例中，在和弦图例402中可以包括任何数量的和弦手势。
图5是示出根据本发明的一个实施例的创建和弦并且执行和弦手势的概念图。如图所示，在用户创建和弦之后，用户可以沿多点触控表面在八个不同的手势可能性502中的一个上滑动他或她的手。例如，用户可以使他或她的大拇指和小拇指接触多点触控表面，并且然后在向上的方向上沿多点触控表面滑动拇指和小拇指。通过使用提起和敲击技术或照相机系统技术通过创建和弦可以实现和弦手势，并且然后在保持和弦的同时沿多点触控表面执行有方向性的移动。
和弦手势可能性502代表当通过多点触控表面检测到和弦时可获得的和弦手势。在图5中所示的实施例中，通过多点触控表面识别八个不同的手势可能性502。八个可能的方向包括北、东北、东、东南、南、西南、西、以及西北。在替选的实施例中，多点触控表面识别额外的方向（如，东北偏北），或识别图案（如环形图案）。
图5还示出了用户执行东和弦手势504、北和弦手势506、以及西南和弦手势508的示例。如本文所描述的，和弦手势504、506、508中的每一个可以联系到特定的功能或动作。与和弦手势相关的动作的一个示例是显示用户界面选择菜单。
图6是根据本发明的一个实施例，用于使用和弦手势执行包括在标记菜单中的命令的方法步骤的流程图。本领域的技术人员将会理解，即使结合图1，图2B，图3B-图5，以及图7-图9的系统描述了方法600，但是任何被配置成执行这些方法步骤（以任何顺序）的系统都在本发明的实施例的范围内。
如图所示，方法600开始于步骤602，在该步骤中处理器检测和弦。在各种的实施例中，处理器通过使用提起和敲击技术或照相机系统技术检测和弦。
在步骤604，处理器执行与检测到的和弦相关的动作。在一个实施例中，用户通过使他或她的大拇指和中指接触多点触控表面来创建图1中的和弦114。处理器执行查找，并且基于和弦输入确定将标记菜单显示给用户。在图7中作为标记菜单715示出标记菜单的示例，将在以下对其进行详细描述。标记菜单随后显示给用户。
在步骤606，处理器检测和弦手势。在一个实施例中，用户在北方向上朝着在标记菜单内显示的最上方的元素滑动和弦114。例如，用户可以沿向上的方向拖动他或她的大拇指和中指同时保持他或她的大拇指和中指接触多点触控表面。在另一实施例中，用户在南方向上朝着在标记菜单内显示的最下方元素滑动和弦114。
在步骤608，处理器确定通过和弦手势选择的标记菜单元素。在以上描述的示例中，用户执行北和弦手势并且朝着标记菜单内的最上方的元素拖动他或她的大拇指和中指。处理器检测此和弦手势并且确定应当选择与最上方的元素相关的功能。
在步骤610，多点触控表面执行与所选择的标记菜单元素相关的动作。在一个实施例中，与选择的元素相关的动作包括使多点触控表面进入睡眠模式。在替选的实施例中，与选择的元素相关的动作包括显示嵌套标记菜单，其中用户可以随后执行第二和弦手势以选择在嵌套标记菜单中包括的一个或更多个项。嵌套标记菜单为用户提供直观的方式与多层级菜单交互，多层级菜单有利地提供了大量的可以通过简单的和弦手势链执行的功能。因此，在一些涉及嵌套标记菜单的实施例中，在步骤610之后方法600返回步骤602以确定并且执行与不同的嵌套标记菜单等级相关的命令。
图7是示出根据本发明的一个实施例使用和弦手势执行包括在标记菜单中的命令的概念图。如图所示，用户用多点触控表面创建和弦，从而导致标记菜单715被显示。标记菜单715包括中心点708和标记菜单项720、722、724、726、728、730、732、以及734。
在一些实施例中，标记菜单715被配置为显示在距离输入区域702偏移706的多点触控表面上。例如，偏移706的长度和方向被分别地配置为向着输入区域702的东北方向100像素。这样的偏移防止用户的手阻碍他或她看见标记菜单715，这通常发生在如果标记菜单715显示在与输入区域702相同的位置时。
在一个实施例中，中心点707显示为位于标记菜单715的中心的星状图标。中心点708为用户可以输入的任何和弦手势提供起始点。还如在图7中所示，然后用户可以执行西南和弦手势704。执行西南和弦手势704导致将要执行标记菜单选择710。标记菜单选择选择标记菜单项726。在一些实施例中，在用户执行和弦手势的同时在多点触控表面上绘制代表标记菜单选择710的线，以使得如果其偏离轨道则用户可以调整和弦手势的方向。同样地，显示线帮助防止错误输入。
在一些实施例中，标记菜单项720-734中的每一个可以与嵌套标记菜单相关。例如，当选择标记菜单项728时，标记菜单项728可以被配置成显示随后的标记菜单，该标记菜单以特定的长度和方向偏离标记菜单715。这样的嵌套标记菜单允许用户使用和弦手势选择更大量的选项。在一些实施例中，处理器被配置成在多点触控表面上以锯齿形（zig-zag）风格显示每个嵌套标记菜单，其中每个之前选择的标记菜单保持显示在多点触控表面上。同样地，在一些实施例中，用户可以可选地执行与最近执行的和弦手势相反的和弦手势以取消最近显示的标记菜单，并且返回之前的标记菜单，即，执行与所执行的用于选择特定的标记菜单项相反的和弦手势。
在其它实施例中，与在图7中所示的八个菜单项相比，标记菜单715被配置成包括较少或较多的UI项。例如，在标记菜单中包括较少的UI项可以允许通过多点触控表面输入并识别简单的北、东、南、以及西和弦手势，以使得新用户可以有效地对标记菜单进行导航。在标记菜单中包括较多的UI项可以允许通过多点触控表面识别高级的和弦手势，包括例如东北偏北和弦手势。
图8是示出根据本发明的一个实施例的联合和弦手势使用数字触控笔的概念图。如图所示，多点触控表面802可以允许双手交互。例如，可以用右手806持有触控笔808，并且通过左手804执行和弦手势。
在一些实施例中，双手交互系统为多点触控表面的用户提供了用于输入数据和进行选择的更精确的方法。在一些实施例中，双手交互允许用户与较小的UI元素交互并且允许提供额外的选项。例如，用户可以使用由包括在多点触控表面中的处理器正在执行的软件创建示例。如在图7中所描述，结合标记菜单使用的和弦手势为用户提供了直观并有用的方式来对与多点触控装置的当前操作模式相关的功能进行导航。用户可以使用软件以创建示例，该示例的创建使用右手806和触控笔808，同时使用左手执行调整触控笔808的参数（诸如笔画的宽度，笔画的颜色、笔画的纹理等）的和弦手势。联合和弦手势使用触控笔808是有效的用户输入技术，因为用户不需要为了选择与触控笔808相关的不同选项而穿越多点触控表面改变触控笔808的位置。
替选的实施例包括在其中用户是惯用左手的并且使用右手执行和弦手势同时用左手持有触控笔的配置。
图9示出了被配置成执行本发明的一个或更多个方面的计算机系统900。计算机系统900包括而不限于，中央处理器单元（CPU）930、系统存储器910、图像处理单元（GPU）934、GPU存储器920、存储器桥905、显示装置936、系统磁盘940、装置桥942、网络接口944，以及例如鼠标、键盘、触控板等输入装置946。当显示装置936是多点触控显示装置时，可以省略输入装置946中的一个或更多个，并且用户可以使用他或她的手以直接地对多点触控显示装置936提供输入。显示装置936可以被配置成使用电容感应、照相机生成的图像、或任何技术上可行的用于检测多个手指和多个手的输入的技术。在其它实施例中，多点触控输入装置（诸如多点触控触控板）独立于显示装置936。在一个实施例中，系统存储器910被配置成存储应用程序912，当通过CPU 930执行应用程序912时，应用程序912被配置用于提供用于多个手指鼠标仿真的界面。在其它实施例中，通过一个或更多个不同的处理器（包括在多点触控输入装置中包括的处理器）执行应用程序912。
CPU 930经由存储器桥905与系统存储器910通信，存储器桥905可以是例如北桥装置或子系统。系统存储器910被配置成存储应用程序以及通过CPU 930生成或使用的数据。系统存储器910经由系统存储器总线950连接到存储器桥905。存储器桥905经由GPU系统总线952连接到GPU 934。GPU系统总线952可能包括任何技术上可行的数据互联，诸如公知的个人电脑互联（PCI）串行总线。还使用互联系统（诸如PCI）将存储器桥905连接到装置桥942。GPU 934按通常方式并入用于渲染三维（3D）和二维（2D）图像的实时图像渲染装置。GPU 934将像素数据传送到可以包括传统的CRT或LCD显示器的显示装置936。GPU 934使用GPU存储器总线954连接到GPU存储器920。GPU存储器920可能被配置成存储通过GPU 934使用或生成的数据。当存储在GPU存储器920中的数据被CPU 930访问时，该数据通过GPU 934和存储器桥905。在一些实施例中，实现CPU 930的集成电路可以并入额外的功能模块，诸如存储器桥905和装置桥942。在替选的实施例中，实现GPU 934的集成电路可以并入额外的功能模块，诸如存储器桥905和装置桥942。
装置桥942连接到硬盘驱动器940、网络接口944、以及输入装置946。硬盘驱动器940提供大量存储的程序和数据。网络接口944使用本地局域网（LAN）接口使用任何合适的技术（诸如以太网）提供对其它计算机的网络连接。输入装置946提供用户输入。包括USB或其它端口连接器、CD驱动器、DVD驱动器、膜记录装置等的其它组件（没有明确示出）也可以连接到I/O桥907。将图9中的各种组件互连的通信通道可以使用任何合适的协议，诸如PCI（外围设备互联）、PCI-Express（PCI-E）、AGP（加速图形接口）、超传输、快速通道互联、或任何其它总线或点对点通信协议实现，并且在不同的装置之间的连接可以使用本领域内公知的不同的协议。
总之，本发明的实施例提供了用于当用户使一个或更多个手指接触多点触控表面时检测和弦的技术。提起和敲击技术涉及使手的所有五个手指接触多点触控表面从而可以创建手指映射。然后从多点触控表面上提起一个或更多个手指，从而可以通过分析手指映射和不再接触多点触控表面的一个或更多个手指来确定和弦。还可以使用照相机系统检测和弦。照相机系统可以包括追踪用户的手和手指穿越多点触控表面的运动的一个或更多个照相机。处理器然后可以分析通过一个或更多个照相机捕获的图像以确定用户创建了哪个和弦。另外，本发明的实施例提供了用于将和弦与有方向性的移动手势相结合并且使用该手势控制系统功能的技术。具体地，一些实施例允许使用和弦和有方向性的移动和弦手势控制的应用菜单，诸如单层级和嵌套标记菜单。
作为通过多点触控表面通过上述技术可检测到的和弦的结果，本发明实施例的一个优势是显著地扩展了多点触控表面的输入性能。另一个优势是和弦手势创建了与每个和弦相关的额外的输入功能。又一个优势是标记菜单允许多点触控表面的用户容易地并且方便地查看并且与可获得的特征交互，该可获得的特征是通过使用和弦以及和弦手势由多点触控表面提供的。
虽然以上描述针对本发明的实施例，但是可能想到本发明的其它的和另外的实施例而不背离其基本的范围。例如，本发明的方面可以实现为硬件或软件或硬件和软件的组合。本发明的一个实施例可以实现为用于和计算机系统一起使用的软件产品。程序产品的程序限定了实施例（包括在此描述的方法）的功能并且可以包含在不同的计算机可读的存储介质中。示例的计算机可读的存储介质包括但不限于：（i）在其上永久存储信息的非可写存储介质（例如在计算机中的只读存储装置，诸如通过CD-ROM驱动器可读的CD-ROM磁盘、快闪存储器、ROM芯片或任何类型的非易失性半导体存储器）；以及（ii）在其上存储可更改信息的可写存储介质（例如在磁盘驱动器中的软盘或硬盘驱动器或任何类型的固态随机存取半导体存储器）。当这样的计算机可读的存储介质包含指向本发明的功能的计算机可读指令时，其是本发明的实施例。
鉴于前述，通过下面的权利要求确定本发明的范围。

Claims (20)

1.一种用于与多点触控表面交互以执行操作的方法，所述方法包括：
检测到至少一个手指接触所述多点触控表面；
识别由手指的组合定义的和弦，所述手指的组合与接触所述多点触控表面的所述至少一个手指相关联；以及
基于所述和弦执行与所述操作相关的第一功能。
2.根据权利要求1所述的方法，其中执行所述第一功能的步骤包括在所述多点触控表面上显示与所述和弦相关的一个或更多个用户界面元素。
3.根据权利要求2所述的方法，其中所述一个或更多个用户界面元素包括放射状的标记菜单。
4.根据权利要求3所述的方法，其中所述放射状的标记菜单以固定的距离偏离所述至少一个手指与所述多点触控表面接触的位置。
5.根据权利要求1所述的方法，其中识别所述和弦的步骤包括：
确定五个手指接触所述多点触控表面；
对于所述五个手指中的每一个手指，识别在所述多点触控表面上与所述手指相关的接触点；
检测已经从所述多点触控表面提起所述五个手指中的零个或更多个手指；以及
基于将与所述多点触控表面保持接触的每个手指与在所述多点触控表面上的对应接触点相关联，识别与所述至少一个手指相关的所述和弦。
6.根据权利要求1所述的方法，其中识别所述和弦的步骤包括：
捕获接触所述多点触控表面的所述至少一个手指的一个或更多个图像；
确定在所述一个或更多个图像内的边界框，所述边界框围绕与所述多点触控表面接触的所述至少一个手指；以及
分析所述边界框以识别与接触所述多点触控表面的所述至少一个手指相关的所述和弦。
7.根据权利要求6所述的方法，其中从所述多点触控表面下方捕获所述一个或更多个图像。
8.根据权利要求1所述的方法，还包括所述如下步骤：
检测通过所述至少一个手指沿所述多点触控表面滑动产生的和弦手势；以及
基于所述和弦手势执行与所述操作相关的第二功能。
9.根据权利要求8所述的方法，其中执行所述第一功能的步骤包括在所述多点触控表面上显示与所述和弦相关的一个或更多个用户界面元素，并且其中执行所述第二功能的步骤包括选择与所述和弦手势相关的用户界面元素。
10.一种存储指令的计算机可读存储介质，当通过处理器执行所述指令时，所述指令通过执行所述如下步骤使计算装置与多点触控表面交互来执行操作：
检测到至少一个手指接触所述多点触控表面；
识别由手指的组合定义的和弦，所述手指的组合与接触所述多点触控表面的所述至少一个手指相关联；以及
基于所述和弦执行与所述操作相关的第一功能。
11.根据权利要求10所述的计算机可读存储介质，其中执行所述第一功能的步骤包括显示与在所述多点触控表面上的所述和弦相关的一个或更多个用户界面元素。
12.根据权利要求11所述的计算机可读存储介质，其中所述一个或更多个用户界面元素包括放射状的标记菜单。
13.根据权利要求12所述的计算机可读存储介质，其中所述放射状的标记菜单以固定的距离偏离所述至少一个手指与所述多点触控表面接触的位置。
14.根据权利要求10所述的计算机可读存储介质，其中识别所述和弦的步骤包括：
确定五个手指接触所述多点触控表面；
对于所述五个手指中的每一个手指，识别在所述多点触控表面上与所述手指相关的接触点；
检测已经从所述多点触控表面提起所述五个手指中的零个或更多个手指；以及
基于将与所述多点触控表面保持接触的每个手指与在所述多点触控表面上的对应接触点相关联，识别与所述至少一个手指相关的所述和弦。
15.根据权利要求10所述的计算机可读存储介质，其中识别所述和弦的步骤包括：
捕获与所述多点触控表面接触的所述至少一个手指的一个或更多个图像；
确定在所述一个或更多个图像内的边界框，所述边界框围绕与所述多点触控表面接触的所述至少一个手指；以及
分析所述边界框以识别与接触所述多点触控表面的所述至少一个手指相关的所述和弦。
16.根据权利要求15所述的计算机可读存储介质，其中从所述多点触控表面下方捕获所述一个或更多个图像。
17.根据权利要求10所述的计算机可读存储介质，还包括如下所述步骤：
检测通过所述至少一个手指沿所述多点触控表面滑动产生的和弦手势；以及
基于所述和弦手势执行与所述操作相关的第二功能。
18.根据权利要求17所述的计算机可读存储介质，其中执行所述第一功能的步骤包括在所述多点触控表面上显示与所述和弦相关的一个或更多个用户界面元素，并且其中执行所述第二功能的步骤包括选择与所述和弦手势相关的用户界面元素。
19.一种计算机系统，包括：
处理器；以及
存储指令的存储器，当通过处理器执行所述指令时，所述指令通过执行所述如下步骤使计算装置与多点触控表面交互以执行操作：
检测到至少一个手指接触所述多点触控表面；
识别由手指的组合定义的和弦，所述手指的组合与接触所述多点触控表面的所述至少一个手指相关联；以及
基于所述和弦执行与所述操作相关的第一功能。
20.根据权利要求19所述的计算机系统，其中执行所述第一功能的步骤包括在所述多点触控表面上显示与所述和弦相关的一个或更多个用户界面元素。
CN201180015642.3A 2010-03-26 2011-03-25 多点触控标记菜单和有方向性的和弦手势 Active CN102947783B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/732,978 2010-03-26
US12/732,978 US9405404B2 (en) 2010-03-26 2010-03-26 Multi-touch marking menus and directional chording gestures
PCT/US2011/030024 WO2011119978A1 (en) 2010-03-26 2011-03-25 Multi-touch marking menus and directional chording gestures

Publications (2)

Publication Number Publication Date
CN102947783A true CN102947783A (zh) 2013-02-27
CN102947783B CN102947783B (zh) 2015-12-16

Family

ID=44655802

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180015642.3A Active CN102947783B (zh) 2010-03-26 2011-03-25 多点触控标记菜单和有方向性的和弦手势

Country Status (5)

Country Link
US (1) US9405404B2 (zh)
EP (1) EP2553559A4 (zh)
CN (1) CN102947783B (zh)
DE (1) DE202011110907U1 (zh)
WO (1) WO2011119978A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108780365A (zh) * 2015-08-20 2018-11-09 因普里斯创新产品有限公司 用于使用触摸屏输入命令或字符的装置、系统和方法
CN109766054A (zh) * 2019-01-31 2019-05-17 恒生电子股份有限公司 一种触屏设备及其控制方法、介质
CN110262743A (zh) * 2013-08-06 2019-09-20 Lg电子株式会社 移动终端

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8810509B2 (en) * 2010-04-27 2014-08-19 Microsoft Corporation Interfacing with a computing application using a multi-digit sensor
US8749499B2 (en) * 2010-06-08 2014-06-10 Sap Ag Touch screen for bridging multi and/or single touch points to applications
US9465457B2 (en) 2010-08-30 2016-10-11 Vmware, Inc. Multi-touch interface gestures for keyboard and/or mouse inputs
EP2686759B1 (en) * 2011-03-17 2019-11-06 Laubach, Kevin Touch enhanced interface
US20130132903A1 (en) * 2011-03-22 2013-05-23 Aravind Krishnaswamy Local Coordinate Frame User Interface for Multitouch-Enabled Applications
US20120256860A1 (en) * 2011-04-05 2012-10-11 James Robert Justice Directional Finger Recognition Authoring
US10146428B2 (en) * 2011-04-21 2018-12-04 Inpris Innovative Products From Israel Ltd Device, system, and methods for entering commands or characters using a touch screen
DE112011105305T5 (de) * 2011-06-03 2014-03-13 Google, Inc. Gesten zur Textauswahl
WO2013009413A1 (en) * 2011-06-06 2013-01-17 Intellitact Llc Relative touch user interface enhancements
US9792017B1 (en) 2011-07-12 2017-10-17 Domo, Inc. Automatic creation of drill paths
US9202297B1 (en) * 2011-07-12 2015-12-01 Domo, Inc. Dynamic expansion of data visualizations
US9594504B2 (en) * 2011-11-08 2017-03-14 Microsoft Technology Licensing, Llc User interface indirect interaction
US20130113719A1 (en) * 2011-11-09 2013-05-09 Jason Tyler Griffin Touch-sensitive display method and apparatus
US9035162B2 (en) * 2011-12-14 2015-05-19 Smule, Inc. Synthetic multi-string musical instrument with score coded performance effect cues and/or chord sounding gesture capture
CH705918A2 (de) * 2011-12-19 2013-06-28 Ralf Trachte Feld-Analysen für flexible Computer-Eingabe.
US8796566B2 (en) 2012-02-28 2014-08-05 Grayhill, Inc. Rotary pushbutton and touchpad device and system and method for detecting rotary movement, axial displacement and touchpad gestures
US8940992B2 (en) * 2012-03-06 2015-01-27 Apple Inc. Systems and methods thereof for determining a virtual momentum based on user input
CA2793763C (en) * 2012-05-24 2015-12-29 Research In Motion Limited Presentation of image on display screen with combination crop and rotation and with auto-resizing of crop field
US20130339896A1 (en) * 2012-06-01 2013-12-19 Sas Ip User interface and method of data navigation in the user interface of engineering analysis applications
US9508119B2 (en) * 2012-07-13 2016-11-29 Blackberry Limited Application of filters requiring face detection in picture editor
US9195368B2 (en) 2012-09-13 2015-11-24 Google Inc. Providing radial menus with touchscreens
US9261989B2 (en) 2012-09-13 2016-02-16 Google Inc. Interacting with radial menus for touchscreens
US20140130090A1 (en) * 2012-11-05 2014-05-08 Microsoft Corporation Contextual gesture controls
CN103853370B (zh) * 2012-12-04 2017-01-25 北京富纳特创新科技有限公司 触摸式鼠标垫及其应用方法
US9075462B2 (en) * 2012-12-10 2015-07-07 Sap Se Finger-specific input on touchscreen devices
US9223403B2 (en) * 2012-12-19 2015-12-29 Panasonic Intellectual Property Management Co., Ltd. Tactile input and output device
KR20140099111A (ko) * 2013-02-01 2014-08-11 삼성전자주식회사 카메라 장치의 동작을 제어하는 방법 및 상기 카메라 장치
JP5783385B2 (ja) * 2013-02-27 2015-09-24 カシオ計算機株式会社 データ処理装置及びプログラム
US9785240B2 (en) * 2013-03-18 2017-10-10 Fuji Xerox Co., Ltd. Systems and methods for content-aware selection
US11422695B2 (en) * 2013-03-27 2022-08-23 Texas Instruments Incorporated Radial based user interface on touch sensitive screen
TWI601056B (zh) * 2013-06-26 2017-10-01 Insyde Software Corp Touch device and its boot method
US20150261405A1 (en) * 2014-03-14 2015-09-17 Lynn Jean-Dykstra Smith Methods Including Anchored-Pattern Data Entry And Visual Input Guidance
EP2977882A1 (en) * 2014-07-25 2016-01-27 Motorola Solutions, Inc. Method and apparatus for identifying fingers in contact with a touch screen
US20160091996A1 (en) * 2014-09-30 2016-03-31 Apple Inc. Liftoff input detection
US9965173B2 (en) 2015-02-13 2018-05-08 Samsung Electronics Co., Ltd. Apparatus and method for precise multi-touch input
US10120567B2 (en) 2015-04-02 2018-11-06 Inpris Innovative Products From Israel Ltd System, apparatus and method for vehicle command and control
US9980304B2 (en) 2015-04-03 2018-05-22 Google Llc Adaptive on-demand tethering
WO2017034425A1 (en) * 2015-08-21 2017-03-02 Motorola Solutions, Inc. System and method for disambiguating touch interactions
DE102016003072A1 (de) * 2016-03-12 2017-09-14 Audi Ag Bedienvorrichtung und Verfahren zum Erfassen einer Benutzerauswahl zumindest einer Bedienfuktion der Bedienvorrichtung
US9805702B1 (en) 2016-05-16 2017-10-31 Apple Inc. Separate isolated and resonance samples for a virtual instrument
US10537792B1 (en) * 2016-07-10 2020-01-21 Darien Harte Touchscreen game mechanic involving sequences of arrangements of input areas
WO2019002937A2 (en) * 2017-06-26 2019-01-03 Inpris Innovative Products Form Israel, Ltd SYSTEMS USING DUAL TOUCH CONTROL AND SOUND AND METHODS THEREOF
US11797150B2 (en) * 2018-05-07 2023-10-24 Apple Inc. Devices, methods, and graphical user interfaces for navigating between user interfaces, displaying a dock, and displaying system user interface elements
US10908811B1 (en) * 2019-12-17 2021-02-02 Dell Products, L.P. System and method for improving a graphical menu

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1521688A (zh) * 2003-02-14 2004-08-18 微软公司 确定电子笔笔尖的位置
US20050198592A1 (en) * 1998-11-20 2005-09-08 Microsoft Corporation Pen-based interface for a notepad computer
CN101410781A (zh) * 2006-01-30 2009-04-15 苹果公司 利用多点感测设备进行的手势操作
CN102007465A (zh) * 2008-02-28 2011-04-06 纽约大学 用于给处理器提供输入的方法和设备以及传感器垫

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1717682B1 (en) 1998-01-26 2017-08-16 Apple Inc. Method and apparatus for integrating manual input
US7755608B2 (en) 2004-01-23 2010-07-13 Hewlett-Packard Development Company, L.P. Systems and methods of interfacing with a machine
CA2620287A1 (en) * 2005-08-24 2007-03-01 Nathan P. Watkins Measuring roller and spray device
US7881923B2 (en) 2006-03-31 2011-02-01 Research In Motion Limited Handheld electronic device including toggle of a selected data source, and associated method
US8441467B2 (en) 2006-08-03 2013-05-14 Perceptive Pixel Inc. Multi-touch sensing display through frustrated total internal reflection
US9311528B2 (en) 2007-01-03 2016-04-12 Apple Inc. Gesture learning
US20090037813A1 (en) 2007-07-31 2009-02-05 Palo Alto Research Center Incorporated Space-constrained marking menus for mobile devices
KR20090077480A (ko) * 2008-01-11 2009-07-15 삼성전자주식회사 조작 가이드를 표시하는 ｕｉ 제공방법 및 이를 적용한멀티미디어 기기
US20090219253A1 (en) * 2008-02-29 2009-09-03 Microsoft Corporation Interactive Surface Computer with Switchable Diffuser
US20100087230A1 (en) * 2008-09-25 2010-04-08 Garmin Ltd. Mobile communication device user interface
US20100229090A1 (en) * 2009-03-05 2010-09-09 Next Holdings Limited Systems and Methods for Interacting With Touch Displays Using Single-Touch and Multi-Touch Gestures
US8255830B2 (en) * 2009-03-16 2012-08-28 Apple Inc. Methods and graphical user interfaces for editing on a multifunction device with a touch screen display
US8493344B2 (en) * 2009-06-07 2013-07-23 Apple Inc. Devices, methods, and graphical user interfaces for accessibility using a touch-sensitive surface
KR100923755B1 (ko) * 2009-07-06 2009-10-27 라오넥스(주) 멀티터치 방식 문자입력 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050198592A1 (en) * 1998-11-20 2005-09-08 Microsoft Corporation Pen-based interface for a notepad computer
CN1521688A (zh) * 2003-02-14 2004-08-18 微软公司 确定电子笔笔尖的位置
CN101410781A (zh) * 2006-01-30 2009-04-15 苹果公司 利用多点感测设备进行的手势操作
CN102007465A (zh) * 2008-02-28 2011-04-06 纽约大学 用于给处理器提供输入的方法和设备以及传感器垫

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110262743A (zh) * 2013-08-06 2019-09-20 Lg电子株式会社 移动终端
CN110262743B (zh) * 2013-08-06 2022-03-18 Lg电子株式会社 移动终端
CN108780365A (zh) * 2015-08-20 2018-11-09 因普里斯创新产品有限公司 用于使用触摸屏输入命令或字符的装置、系统和方法
CN108780365B (zh) * 2015-08-20 2020-07-14 因普里斯创新产品有限公司 用于使用触摸屏输入命令或字符的装置、系统和方法
CN109766054A (zh) * 2019-01-31 2019-05-17 恒生电子股份有限公司 一种触屏设备及其控制方法、介质
CN109766054B (zh) * 2019-01-31 2021-02-02 恒生电子股份有限公司 一种触屏设备及其控制方法、介质

Also Published As

Publication number Publication date
EP2553559A1 (en) 2013-02-06
WO2011119978A1 (en) 2011-09-29
US9405404B2 (en) 2016-08-02
DE202011110907U1 (de) 2017-02-27
CN102947783B (zh) 2015-12-16
US20110234503A1 (en) 2011-09-29
EP2553559A4 (en) 2015-03-18

Similar Documents

Publication Publication Date Title
CN102947783B (zh) 多点触控标记菜单和有方向性的和弦手势
US20220129060A1 (en) Three-dimensional object tracking to augment display area
KR102201658B1 (ko) 상호작용적 디지털 디스플레이
US8860675B2 (en) Drawing aid system for multi-touch devices
CN107077197B (zh) 3d可视化图
JP4560062B2 (ja) 筆跡判定装置、方法およびプログラム
JP5978660B2 (ja) 情報処理装置及び情報処理方法
US9128537B2 (en) Bimanual interactions on digital paper using a pen and a spatially-aware mobile projector
RU2413970C2 (ru) Системы, способы и машиночитаемый носитель данных для активации интерфейса с электронными чернилами или рукописным вводом
JP5377709B2 (ja) 情報処理装置，情報処理方法，及びゲーム装置
KR20160046150A (ko) 도형 컨텐트를 생성 및 해석하는 방법 및 장치
CN104011629A (zh) 用于能够进行基于触摸的输入的用户界面的经增强的目标选择
US20160370986A1 (en) Hand-written recording device and hand-written recording method
US20140267089A1 (en) Geometric Shape Generation using Multi-Stage Gesture Recognition
WO2015102974A1 (en) Hangle-based hover input method
CN105488832B (zh) 光学数字尺
US10073612B1 (en) Fixed cursor input interface for a computer aided design application executing on a touch screen device
JP6131004B2 (ja) オブジェクト表示方法、プログラム、及び装置
KR102298618B1 (ko) 바운딩 박스 생성 장치 및 그를 이용한 바운딩 박스 생성 방법
CN105302466B (zh) 一种文字操作方法及终端
JP6480537B2 (ja) 情報処理装置，情報処理方法，及びゲーム装置
JP6230136B2 (ja) 情報処理装置，情報処理方法，及びゲーム装置
JP6256545B2 (ja) 情報処理装置、その制御方法、及びプログラム、並びに、情報処理システム、その制御方法、及びプログラム
JP4774911B2 (ja) 作図処理プログラム、作図処理プログラムを記録した記録媒体、作図処理方法及び作図処理システム
JP6192793B2 (ja) オブジェクト表示方法、プログラム、及び装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant