CN105210012B - 用于与触敏表面一起使用的虚拟工具 - Google Patents
用于与触敏表面一起使用的虚拟工具 Download PDFInfo
- Publication number
- CN105210012B CN105210012B CN201480022056.5A CN201480022056A CN105210012B CN 105210012 B CN105210012 B CN 105210012B CN 201480022056 A CN201480022056 A CN 201480022056A CN 105210012 B CN105210012 B CN 105210012B
- Authority
- CN
- China
- Prior art keywords
- touch
- interaction
- specific physical
- physical instrument
- movement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003993 interaction Effects 0.000 claims abstract description 67
- 238000012512 characterization method Methods 0.000 claims abstract description 8
- 238000000034 method Methods 0.000 claims description 43
- 230000002452 interceptive effect Effects 0.000 claims description 13
- 230000009471 action Effects 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 8
- 238000010008 shearing Methods 0.000 claims description 4
- 230000005611 electricity Effects 0.000 claims description 3
- 239000003550 marker Substances 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 239000011800 void material Substances 0.000 claims description 3
- 230000036410 touch Effects 0.000 claims 104
- 230000015572 biosynthetic process Effects 0.000 claims 2
- 230000004069 differentiation Effects 0.000 claims 2
- 210000003811 finger Anatomy 0.000 description 21
- 230000000875 corresponding effect Effects 0.000 description 15
- 210000003813 thumb Anatomy 0.000 description 8
- 238000013500 data storage Methods 0.000 description 6
- 210000004247 hand Anatomy 0.000 description 6
- 238000004088 simulation Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000001276 controlling effect Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000036544 posture Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 239000003990 capacitor Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 241000905957 Channa melasoma Species 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 210000004905 finger nail Anatomy 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 210000004936 left thumb Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 210000004935 right thumb Anatomy 0.000 description 1
- 239000011540 sensing material Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
一种电子装置包括触敏表面，如触摸板或触摸屏。用户与触敏表面进行交互而产生触摸交互。可以将这些触摸交互中的一些检测为表示用于操作物理工具的抓持(例如，用于握笔的抓持)。当遇到这些触摸交互时，对相应的虚拟工具进行实例化。虚拟工具对电子装置上的与能够由物理工具执行的动作类似的动作进行控制。例如，虚拟笔可以被用于在显示器上进行绘制，而物理笔在纸上进行绘制。在电子装置的显示器上的与所检测到的触摸交互的位置相对应的位置处还显示虚拟工具的表征，能够提供附加的可视性。
Description
技术领域
本发明一般地涉及例如经由触敏表面与电子装置进行交互。
背景技术
当今，很多触摸板和触摸屏能够支持一小组手势。例如，通常使用一根手指来操作光标或者使显示器滚动。另一示例是以掐捏方式(pinching manner)使用两根手指来对内容如图片或地图进行放大和缩小。然而，这是手指和手能够做的事情的总体简化。无论在其运动能力方面还在是其解剖构造方面，手指都是变化多样的附肢。此外，除了自身做出手势以外，还可以使用手指和手来操作工具。
因此，存在以下需求：更好地利用手指和手的功能来控制与电子装置的交互。
发明内容
本发明使得用户能够以与他们如何抓持和操作相应的物理工具类似的方式对虚拟工具进行实例化和操作。
在一个方面，电子装置包括触敏表面如触摸板(其不也用作显示器)或触摸屏(其也用作显示器)。用户与触敏表面进行交互而产生触摸交互。可以将这些触摸交互中的一些检测为表示用于操作物理工具的抓持(例如，用于握笔的抓持)。当遇到这些触摸交互时，对相应的虚拟工具进行实例化。虚拟工具对电子装置上的与能够由现实世界中的物理工具执行的动作类似的动作进行控制。例如，可以使用虚拟笔在显示器上进行绘制，而使用物理笔在纸上进行绘制。在电子装置的显示器上的与所检测到的触摸交互的位置相对应的位置处还显示虚拟工具的图像(或其他表征(representation))。
虚拟工具可以以不同的方式来控制动作。对于一些虚拟工具，检测正确的触摸交互并且对虚拟工具进行实例化还可以对相应的动作进行初始化。例如，在实例化时，虚拟放大镜可以立即放大显示区域。对于其他虚拟工具，可能需要附加动作来指定动作。例如，虚拟笔可能需要触摸交互的后续转化以在显示器上画一条线。再例如，虚拟相机可能需要模仿按下快门按钮的后续动作以捕获图像。虚拟工具还可以响应于这些后续动作来移动、旋转和/或变化。
在一种方法中，基于各个触摸触点(contact)的图案对触摸交互进行分类。例如，可以仅为具有三个或更多个同时触摸触点的那些触摸交互分配虚拟工具，留下单触摸图案和双触摸图案用于已有功能，如滚动或缩放。不仅可以单独地而且可以整体地基于触摸触点的数量以及特征(如触摸触点的位置、形状、大小和/或方向)来对这些更复杂的触摸触点图案进行分类。
在另一方面，由触敏表面报告的触摸触点的类型可以变化。在一些系统中，触摸屏可以报告一系列触摸点(例如，x/y位置，有时使用长轴和短轴)。其他触摸屏可以提供电容、红外反射、z距离或其他感测方法的二维图像。一般地，我们使用术语“触摸触点”来涵盖所有类型的触摸技术和触摸性能。
虚拟工具的示例包括下列各项。虚拟笔、铅笔、画笔、标记笔和其他书写工具可以用于绘制线、数字绘画、突出显示(highlighting)以及其他类似动作。不同类型的虚拟擦除器可以用于擦除。虚拟尺子、卷尺和其他距离测量工具可以用于与长度或距离有关的功能。虚拟剪刀、刀子和其他剪切工具可以用于数字剪切。虚拟相机可以用于图像捕获。虚拟放大器可以用于图像缩放。虚拟镊子和其他抓持工具可以用于数字抓取。
本发明的其他方面包括与上述方法有关的方法、装置、系统、组件和应用程序。
附图说明
本专利或申请文件包括至少一个以彩色完成的附图。在请求并且支付了所需的费用之后，将由专利局提供具有彩色附图(一个或多个)的本专利或专利申请公开的副本。
本发明具有其他优点和特征，根据结合附图进行的本发明的下面的详细描述和所附权利要求，这些优点和特征将更显见，在附图中：
图1是根据本发明的电子装置的框图；
图2是示出了使用图1的装置进行触摸交互的流程图；
图3是示出了对触摸交互进行分析的一种方法的流程图；
图4A至图4D分别示出了物理笔的使用、虚拟笔的使用以及虚拟笔的两个触摸触点图案；
图5A至图5C分别示出了物理擦除器的使用、虚拟擦除器的使用以及虚拟擦除器的触摸触点图案；
图5D至图5E分别示出了较小的虚拟擦除器的使用以及较小的虚拟擦除器的触摸触点图案；
图6A至图6C分别示出了物理放大器的使用、虚拟放大器的使用以及虚拟放大器的触摸触点图案；
图7A至图7C分别示出了物理相机的使用、虚拟相机的使用以及虚拟相机的触摸触点图案；以及
图8A至图8C分别示出了物理卷尺的使用、虚拟卷尺的使用以及虚拟卷尺的触摸触点图案。
仅出于说明的目的，附图示出了本发明的实施方式。本领域的技术人员根据下面的论述将容易地认识到：在不偏离本文中描述的本发明的原理的情况下，可以采用本文中图示的结构和方法的可替换实施方式。
具体实施方式
附图和下面的描述仅通过实例说明来涉及优选实施方式。应当注意，根据下面的讨论，本文中公开的结构和方法的可替换实施方式将容易地被理解为在不偏离要求保护的原理的情况下可以采用的可行的可替换方式。
图1是根据本发明的电子装置100的框图。装置100包括触敏表面110，例如触摸板或触摸屏。装置100还包括计算资源，如处理器102、存储器104和数据存储装置106(例如，光驱、磁介质硬盘驱动器或固态硬盘)。检测电路系统112提供触敏表面110与装置100的其余部分之间的接口。指令124(例如，软件)当由处理器102执行时，使得该装置能够执行某些功能。在该示例中，指令124包括触摸分析模块，该触摸分析模块对与触敏表面110进行的用户交互进行分析。指令124还使得处理器102能够控制显示器120并且在电子装置上执行其他动作。
在常见架构中，数据存储装置106包括存储指令124(例如，软件)的主体的机器可读介质。指令124在执行期间还可以全部地或至少部分地驻留在存储器104内或处理器102内(例如，处理器的高速缓冲存储器内)。存储器104和处理器102还构成机器可读介质。
在该示例中，虽然不同的部件使用公共总线进行通信，但是也可以使用其他通信机制。作为一个示例，处理器102可以用作具有直接通道的中枢(hub)或者对其他部件中的每个进行控制。
装置100可以是服务器计算机、客户端计算机、个人计算机(PC)、平板计算机、手持移动装置或能够(顺序地或以其他方式)执行指定要由该装置采取的行动的指令124的任何装置。此外，尽管仅示出单个装置，术语“装置”还应当被用来包括独自地或联合地执行指令124以执行本文中讨论的方法中的任意一个或更多个方法的装置的任意集合。对于每个单独的部件亦是如此。例如，处理器102可以是多核处理器或以协作方式工作的多个处理器。处理器102还可以是或者包括中央处理单元(CPU)、图形处理单元(GPU)、网络处理单元(NPU)、数字信号处理器(DSP)、一个或更多个专用集成电路(ASIC)或上述的组合。存储器104和数据存储装置106可以专门用于单独的处理器、由很多处理器共享，或者很多存储器和数据存储装置可以服务于单个处理器。
作为一个示例，装置100可以是独立的(self-contained)移动装置，如具有触摸屏的蜂窝电话或平板计算机。在这种情况下，触摸屏用作触敏表面110和显示器120两者。作为另一示例，装置100可以在网络上以分布式方式来实现。处理器102可以是基于云的产品的一部分(例如，来自云产品的租用处理器时间)，数据存储装置106可以是网络附接的存储装置(network attached storage)或者其他分布式或共享式数据存储装置，类似地，存储器104可以是分布式的或共享式的。触敏表面110和显示器120可以是使得用户能够与不同的联网部件进行交互的用户I/O装置。
图2是示出了使用装置100的触摸交互的流程图。用户与触敏表面110进行交互，例如，他的手(一只或两只)可以形成某些姿势，这些姿势意在指导电子装置执行相应的动作。触敏表面110和检测电路系统112对该触摸交互进行检测210。例如，触敏显示器可以基于电阻、电容、光、声学(例如，表面声波)、压力感测材料(例如，压力、剪力)、压电材料或形成触摸交互的基本基础的其他技术。无论操作的基本原理如何，对触敏表面的触摸都将产生信号。然而，在数字计算环境中通常不能直接使用这些原始信号。例如，信号实际上是模拟的。检测电路系统112通常提供对这些信号进行处理和/或调节使得其适于在数字计算环境中使用的中间级。
触摸分析模块(在该示例中由指令124来实现)对所检测到的触摸交互进行分析220作为初始步骤，以确定要采取的适当动作。在本示例中，该分析确定触摸交互是否表示用于操作物理工具的抓持。如果触摸交互表示用于操作物理工具的抓持，则电子装置100对控制与可以由物理工具采取的动作类似的动作的相应的虚拟工具进行实例化。例如，用户可以使其手形成用于抓持物理笔的形状，这意在指导装置100对虚拟笔进行实例化以在显示器120上进行绘制。作为另一示例，用户可以将两只手形成用于抓持并操作物理相机的形状，这意在指导装置100对虚拟相机进行实例化以进行屏幕快照或者对该装置内的物理相机进行操作。如果存在虚拟工具的话，触摸分析模块124确定这些虚拟工具中的哪些虚拟工具由所检测的触摸交互表示。
基于该分析，处理器102然后采取适当的动作。处理器102对相应的虚拟工具进行实例化230并且使虚拟工具的图像(或其他表征)显示230在显示器120上。处理器102还使任何相应的动作被执行240。在笔的示例中，当笔抓持被识别220时，则虚拟笔被实例化并且虚拟笔的图像被显示230。用户还操作虚拟工具(例如，当用户的抓持在触敏表面110上四处移动时，虚拟笔可以在显示器120上四处移动)，并且绘制直线的相应动作也发生240。在相机示例中，当相机抓持被识别220时，则虚拟相机被实例化并且相机的图像(或者取景器，或者表征虚拟相机的其他图像)被显示。可以进一步操作虚拟相机并且屏幕捕获的相应动作也发生240。注意物理世界和虚拟世界之间的对应。在物理世界中，用户作出适合于操作物理工具的抓持。该抓持通过触敏表面而被检测到。相应的虚拟工具被实例化并且被显示，并且电子装置采取与可以由物理工具执行的动作类似的动作。
图3是示出了对触摸交互进行分析的一种方法的流程图。在运行iOS的iPad平板电脑上已经成功实现了该方法。该软件以使用OpenFrameworks应用框架的Objective-C++来实现。在高层次上，该实现捕获310用户的触摸，使用机器学习分类器对触摸进行分类320，并且然后对用户请求的虚拟工具进行实例化330。
为了捕获310用户的触摸交互，系统对触摸屏上的第一用户触摸进行检测312，并且然后等待314三十毫秒以进行另外的触摸。直到该时刻，系统捕获314由触摸屏报告的触摸触点，并且这些触点的触摸被视为是同时的。延迟使得触摸屏能够具有足够的时间来报告所有触摸触点，而避免实例化虚拟工具中过长的等待时间。其他的等待时间也是可能的。在该特定示例中，所有虚拟工具要求三个或更多个同时触摸。因此，如果315在所捕获的集合中存在两个或较少的触摸，则无需针对虚拟工具做进一步的分类316。一次触摸交互或两次触摸交互可以进一步被解释为开始常规动作如轻击、平移(pan)、掐捏以缩放(pinch-to-zoom)或旋转。该方法意味着针对具有一个和两个触摸姿势的先前经验的那些人可以添加虚拟工具作为额外功能。
另外，系统进行至基于由各个触摸或触摸触点形成的触摸触点图案来对工具进行分类320。在该特定实现方式中，系统对作为触摸触点的图案(称为触摸触点图案)的函数的一组特征以及各个触摸触点的x-y位置和大小进行计算322。在该示例中，为了旋转不变性而特别地选择了特征集合，使得可以以任何角度对虚拟工具进行实例化。该示例性特征集合包括触摸触点的数量、触摸触点图案的总触摸面积(即，所有触摸触点的总面积)以及触摸触点图案的第一主要分量和第二主要分量的大小(即，触摸触点图案的长轴和短轴的长度)。该示例性特征集合还计算323关于下述四组数据的统计量(平均值、中值、最小值、最大值、标准差)：每对触摸触点之间的距离、从每个单独的触摸点到触摸触点图案的形心的距离、当从触摸触点图案的形心测量时连续顺时针触摸之间的角度以及每个触摸触点的大小。
这仅仅是一个示例。可以计算其他特征和/或统计信息。例如，如果触摸触点图案的二维图像是可获得的，则示例性特征集合可以包括轮廓分析、梯度方向直方图(其对不同梯度方向的发生进行计数)、触摸图像中的触摸触点的第一主要分量和第二主要分量(例如，尺度不变特征变换)和/或哈尔特征(Haar-like features)。
所计算的特征集合322和统计量323被用作二次(非线性)支持向量机分类器325的输入，已经针对先前记录的数据对该二次(非线性)支持向量机分类器325进行了训练。包括决策树、朴素贝叶斯(naive Bayes)和神经网络的其他分类器也是可行的。然后，对由分类器325表示的虚拟工具进行实例化332，使得该虚拟工具在屏幕上可见并且使得工具特定动作334能够进行。
图3中所示的过程仅仅是一个示例。其他方法将是显见的。例如，特征组合的不同特征可以用于对触摸交互进行分类。各个触摸可以由如下内容来被特征化：大小、形状、位置、方向、压力、时间长度和/或触点部位(手指尖、手指甲、指垫、指关节、拇指等)。这些量可以是绝对的或相对的。例如，触摸的大小可以是触摸触点的绝对物理大小或与触摸交互中的其他触摸相比的相对大小。作为另一示例，位置可以是触敏表面上的绝对位置或者整个触摸触点图案中的相对位置。类似的可能性适用于整个触摸触点图案的特征。也可以使用时间信息，如触摸交互随着时间的变化。此外，也可以使用从其他源收集的信息(例如关于触摸交互或装置使用的历史数据)来帮助对触摸交互进行分类。
图4至图8示出了虚拟工具的不同示例。每个图具有三个部分A至C。部分A示出了抓持物理工具的手。部分B示出了“抓持”相应的虚拟工具的手。部分C示出了由部分B的手抓持产生的示例触摸触点(模拟的二维电容式或压力图像)。
图4A示出了抓持笔(或其他书写工具)的手。图4B示出了显示虚拟笔连同“抓持”该虚拟笔的手的触摸屏。该笔刚在触摸屏上被实例化。当用户移动其抓持动作时，虚拟笔将在触摸屏上显示的内容上进行绘制。注意，在图4A和图4B中，手抓持并不完全相同。图4B中的抓持更类似于抓持位于触摸屏顶部的笔的手。图4C示出了由图4B的手抓持的手指产生的示例触摸触点图案(模拟的二维电容式图像)。在图4D中所示的另一示例中，触摸触点410和触摸触点411是拇指、手指、手掌和手的其他部分的组合。很多其他触摸触点也是可能的，可以因用户而异，但是所有触摸触点都是工具的手抓持的示例。
注意，在一种方法中，不要求手抓持是一种特定抓持。例如，很多不同类型的手抓持可以被分类为对虚拟笔进行实例化。图4C和图4D示出了由不同的手抓持产生的不同的触摸触点，但是这两种不同的手抓持都被分类为对虚拟笔进行实例化。在该方法中，不要求用户在完全相同的每个时间执行相同的抓持或者甚至执行与其他人执行的抓持相同的抓持。在一种方法中，分类器支持不同类型的手抓持。例如，这些手抓持可以是几种公认的抓持铅笔的方式。分类器学习不同的抓持。
图5示出了使用大的擦除器的示例。图5A示出了抓持物理擦除器，图5B示出了抓持正在擦除一大片区域(broad swath)的虚拟擦除器。图5C是相应的触摸触点图案(模拟的二维电容式图像)。将图5D和图5E与图5A至图5C进行比较。图5D示出了抓持擦除更窄的一片区域的较小的虚拟擦除器，图5E示出了相应的触摸触点图案。可以通过不同的触摸触点图案来区分这两个擦除器。图5C中的触摸触点图案示出了拇指和四个手指，而图5E中的触摸触点图案示出了拇指和仅两个手指。还应当注意，由于拇指和两个手指之间的间距不同，所以可以通过分类器来区分图5E中的触摸触点图案和图4C中的触摸触点图案。
图6示出了使用虚拟放大器来控制图像缩放的动作的示例。一旦放大器抓持被识别，辅助动作可以允许对该动作进行另外的控制。例如，通过辅助手运动可以调整缩放的量。在一个示例中，一只手保持放大器控制而另一只手移动缩放的量或者增大或减小缩放。还应当注意，图6C中的相应的触摸触点图案(模拟的二维电容式图像)不仅仅是指尖的图案。将手按在触摸屏上产生一系列的不规则触点。
图7示出了使用虚拟相机控制图像捕获的动作的示例。这可以是装置的相机捕获真实世界的图像的操作，或者这可以是捕获显示器的屏幕快照。注意，抓持涉及两只手，在图7C的触摸触点(模拟的二维电容式图像)中可以看见这两只手。三个触摸触点710是右拇指、右食指和右中指；而三个触摸触点720是左拇指、左食指和左中指。还应当注意，拇指触点不是指尖触点。反而，如图7B中可见，拇指的一侧正接触触摸屏。这仅仅是一个示例；其他抓持也是可能的。相机虚拟工具是可以具有辅助控制的工具的另一示例。通常，在相机的右上顶端上具有按钮，可以按下该按钮进行拍照。因此，当使用相机虚拟工具时，用户可以做出下述动作，该动作表现为按下他的右食指来触发捕获图像。还可以通过包括其他手指的辅助控制对附加控制(如变焦距(zoom)和闪光(flash))进行控制。
图8示出了使用虚拟卷尺的示例。与图7中使用相机一样，该抓持也使用两只手。相应的动作可以是测量距离、显示距离或其他类型的距离功能。注意，图8C中所示的触摸触点图案用于虚拟卷尺的使用，但是不只用于图8B中所示的位置。
图4至图8仅仅是几个示例。其他示例将是显见的。例如，对于图7中的相机，触摸的位置可能与图7C中所示的位置不同。触摸点的数量也可以发生变化。可以使用形成大致矩形的仅四个手指保持相机。人们可以以不同的方式保持对象。在一种方法中，系统优选地被设计成对各种各样的抓持进行识别而不仅仅对一种抓持进行识别。
也可以实现其他虚拟工具。例如，可以使用虚拟画笔对数字绘画进行控制，以及可以使用虚拟标记笔对突出显示进行控制。也可能存在功能层级。笔抓持、铅笔抓持、画笔抓持和标记笔抓持相当相似。当遇到抓持中的一种时，除了设法单独基于触摸交互对这些抓持进行区分以外，系统可以产生列出这些不同选项的菜单。然后用户对他想要使用哪种虚拟工具进行选择。
下面是一些另外的示例。可以使用虚拟剪刀、虚拟刀子、虚拟解剖刀或其他类型的剪切工具来控制数字剪切。可以使用虚拟镊子、虚拟钳子或其他夹持工具来控制对象的数字抓取。可以使用虚拟压印工具来控制数字压印。可以使用虚拟图钉或其他固定装置对将对象数字“锁定(pinning)”在一起进行控制。
作为另外的变化形式，可以基于超出仅触摸触点图案的信息或除了仅触摸触点图案以外的信息来辨识抓持。例如，用户界面可以包括(例如，使用深度相机)对手进行三维成像，并且可以另外使用该信息来确定抓持。
虽然详细描述包括很多细节，但是不应当将这些细节视为对本发明的范围进行限制而应当将这些细节仅视为示出了本发明的不同示例和不同方面。应当理解，本发明的范围包括上面未详细论述的其他实施方式。在不偏离如在所附权利要求中限定的本发明的精神和范围的情况下，可以在本文中公开的本发明的方法和装置的布置、操作和细节中作出对于本领域技术人员而言将为显见的各种其他修改、改变和变化形式。因此，本发明的范围应该由所附权利要求及其法律等同物来确定。
术语“模块”并不意在被限于特定物理形式。取决于特定应用，模块可以被实现为硬件、固件、软件和/或上述的组合。此外，不同的模块可以共享公共部件或者不同的模块甚至可以由相同的部件来实现。不同的模块之间可以存在或不存在清晰的界限。
取决于模块的形式，模块之间的“耦接”也可以采用不同的形式。例如，专用电路可以通过硬连线或通过访问公共寄存器或存储器位置彼此耦接。可以通过任意数量的方式发生软件“耦接”以在软件组件之间传递信息(或者在软件和硬件之间，只要情况如此)。术语“耦接”意在包括所有这些但是并不意在对两个部件之间的硬连线的永久连接进行限制。另外，可以存在中间元件。例如，当两个元件被描述为彼此耦接时，这并不暗示这两个元件彼此直接耦接，也不暗示排除在这两个元件之间使用其他元件。
Claims (28)
1.一种在用户与具有触摸屏的电子装置之间进行交互的方法，所述方法包括：
检测所述用户的手与所述触摸屏之间的触摸交互，其中所述触摸交互由触摸触点图案来特征化，所述触摸触点图案包括在所述用户的手空着但形成由适于操作特定物理工具的抓持而定义的形状的情况下所述用户的手对所述触摸屏的至少三个同时触摸触点；
至少部分地基于所述至少三个同时触摸触点的第一集合与所述至少三个同时触摸触点的第二集合的位置、形状、大小、方向、压力或所述用户的手的触点部位中的至少之一间的至少一个差别来区分第一触摸交互和第二触摸交互，其中，所述第一触摸交互具有与所述至少三个同时触摸触点的所述第一集合相关联的第一触摸触点图案，所述第二触摸交互具有与所述至少三个同时触摸触点的所述第二集合相关联的第二触摸触点图案；
至少部分地基于被分类为针对形成由适于操作所述特定物理工具的抓持而定义的形状的用户的手的多个不同触摸交互中的任意触摸交互的触摸交互，将所述触摸交互分类为表示所述特定物理工具，其中与操作所述特定物理工具的不同方式相关联的所述多个不同触摸交互全被分类为表示所述特定物理工具，其中，对所述触摸交互的所述分类包括基于对所述第一触摸交互和所述第二触摸交互的所述区分来对所述触摸交互进行分类，并且其中所述第一触摸交互和所述第二触摸交互对应于不同的虚拟工具；以及
响应于将所述触摸交互分类为表示所述特定物理工具，对与所述特定物理工具相对应的虚拟工具进行实例化，其中，所述虚拟工具对所述电子装置上的与能够由所述特定物理工具执行的动作类似的动作进行控制，并且对所述虚拟工具进行实例化包括在所述触摸屏上的位置处显示所述虚拟工具的表征，使得显得所述用户在抓持所述虚拟工具。
2.根据权利要求1所述的方法，还包括：
响应于检测到所述触摸交互，执行所述电子装置上的动作。
3.根据权利要求1所述的方法，还包括：
检测所述触摸交互的运动；以及
响应于检测到所述运动，至少部分地基于检测到所述运动来对所述虚拟工具的表征进行调整，并且至少部分地基于检测到所述运动来执行所述电子装置上的动作。
4.根据权利要求1所述的方法，还包括：
在对所述虚拟工具进行实例化之后，检测由所述用户作出的附加用户动作；以及
响应于检测到所述附加用户动作，至少部分地基于所述附加用户动作来执行所述电子装置上的动作。
5.根据权利要求1所述的方法，其中，所述虚拟工具的表征是所述特定物理工具的图像。
6.根据权利要求1所述的方法，其中，检测所述触摸交互包括确定所述触摸触点图案的形状、轮廓、大小或方向中的至少之一。
7.根据权利要求1所述的方法，其中，检测所述触摸交互包括确定与所述触摸交互相关联的对所述触摸屏的同时触摸触点的数量。
8.根据权利要求1所述的方法，其中，检测所述触摸交互包括确定与所述触摸交互相关联的对所述触摸屏的所述至少三个同时触摸触点的相对位置。
9.根据权利要求1所述的方法，其中，检测所述触摸交互包括确定所述触摸交互随着时间的变化。
10.根据权利要求1所述的方法，其中，由适于操作所述特定物理工具的抓持定义的形状与使用一只手抓持所述特定物理工具相关联。
11.根据权利要求1所述的方法，其中，由适于操作所述特定物理工具的抓持定义的形状与使用两只手抓持所述特定物理工具相关联。
12.根据权利要求1所述的方法，其中，所述特定物理工具是书写工具，并且所述电子装置上的动作是使用所述虚拟工具进行绘制。
13.根据权利要求1所述的方法，其中，所述特定物理工具是画笔，并且所述电子装置上的动作是使用所述虚拟工具进行数字绘画。
14.根据权利要求1所述的方法，其中，所述特定物理工具是标记笔，并且所述电子装置上的动作是使用所述虚拟工具进行突出显示。
15.根据权利要求1所述的方法，其中，所述特定物理工具是擦除器，并且所述电子装置上的动作是使用所述虚拟工具进行擦除。
16.根据权利要求1所述的方法，其中，所述特定物理工具是距离测量工具，并且所述电子装置上的动作是以下动作中的至少之一：使用所述虚拟工具进行测量距离或使用所述虚拟工具显示所述距离。
17.根据权利要求1所述的方法，其中，所述电子装置是具有触敏表面的显示器。
18.根据权利要求1所述的方法，其中，所述特定物理工具是剪切工具，并且所述电子装置上的动作是使用所述虚拟工具进行数字剪切。
19.根据权利要求1所述的方法，其中，所述特定物理工具是相机，并且所述电子装置上的动作是使用所述虚拟工具进行图像捕获。
20.根据权利要求1所述的方法，其中，所述特定物理工具是放大器，并且所述电子装置上的动作是使用所述虚拟工具进行图像缩放。
21.根据权利要求1所述的方法，其中，所述特定物理工具是压印工具，并且所述电子装置上的动作是使用所述虚拟工具进行数字压印。
22.根据权利要求1所述的方法，其中，所述特定物理工具是抓持工具，并且所述电子装置上的动作是使用所述虚拟工具进行数字抓取。
23.根据权利要求1所述的方法，其中，所述特定物理工具是固定装置，并且所述电子装置上的动作是使用所述虚拟工具进行数字锁定。
24.根据权利要求1所述的方法，其中，所述电子装置是具有所述触摸屏的电话。
25.根据权利要求1所述的方法，其中，所述电子装置是具有所述触摸屏的平板电脑。
26.根据权利要求1所述的方法，其中，所述电子装置是具有所述触摸屏的计算机。
27.一种电子装置，包括：
触摸屏；
耦接至所述触摸屏的检测电路系统，所述检测电路系统用于检测用户的手与所述触摸屏之间的触摸交互，其中所述触摸交互由触摸触点图案来特征化，所述触摸触点图案包括在所述用户的手空着但形成由适于操作特定物理工具的抓持而定义的形状的情况下所述用户的手对所述触摸屏的至少三个同时触摸触点；
耦接至所述检测电路系统的触摸分析模块，用于至少部分地基于所述至少三个同时触摸触点的第一集合与所述至少三个同时触摸触点的第二集合的位置、形状、大小、方向、压力或所述用户的手的触点部位中的至少之一间的至少一个差别来区分第一触摸交互和第二触摸交互，其中，所述第一触摸交互具有与所述至少三个同时触摸触点的所述第一集合相关联的第一触摸触点图案，所述第二触摸交互具有与所述至少三个同时触摸触点的所述第二集合相关联的第二触摸触点图案，并且所述触摸分析模块用于至少部分地基于被分类为针对形成由适于操作所述特定物理工具的抓持而定义的形状的用户的手的多个不同触摸交互中的任意触摸交互的触摸交互，将所述触摸交互分类为表示所述特定物理工具，其中与操作所述特定物理工具的不同方式相关联的所述多个不同触摸交互全被分类为表示所述特定物理工具，其中，对所述触摸交互的所述分类包括基于对所述第一触摸交互和所述第二触摸交互的所述区分来对所述触摸交互进行分类，并且其中所述第一触摸交互和所述第二触摸交互对应于不同的虚拟工具；以及
耦接至所述触摸分析模块的处理器，所述处理器用于响应于将所述触摸交互分类为表示所述特定物理工具，对与所述特定物理工具相对应的虚拟工具进行实例化，其中，所述虚拟工具对所述电子装置上的与能够由所述特定物理工具执行的动作类似的动作进行控制，并且对所述虚拟工具进行实例化包括在所述触摸屏上的位置处显示所述虚拟工具的表征，使得显得所述用户在抓持所述虚拟工具。
28.一种电子装置，包括：
触摸屏；
用于检测用户的手与所述触摸屏之间的触摸交互的装置，其中所述触摸交互由触摸触点图案来特征化，所述触摸触点图案包括在所述用户的手空着但形成由适于操作特定物理工具的抓持而定义的形状的情况下所述用户的手对所述触摸屏的至少三个同时触摸触点；
用于对所述触摸交互进行分析以进行以下操作的装置：至少部分地基于所述至少三个同时触摸触点的第一集合与所述至少三个同时触摸触点的第二集合的位置、形状、大小、方向、压力或所述用户的手的触点部位中的至少之一间的至少一个差别来区分第一触摸交互和第二触摸交互，其中，所述第一触摸交互具有与所述至少三个同时触摸触点的所述第一集合相关联的第一触摸触点图案，所述第二触摸交互具有与所述至少三个同时触摸触点的所述第二集合相关联的第二触摸触点图案，以及至少部分地基于被分类为针对形成由适于操作所述特定物理工具的抓持而定义的形状的用户的手的多个不同触摸交互中的任意触摸交互的触摸交互来将所述触摸交互分类为表示所述特定物理工具，其中与操作所述特定物理工具的不同方式相关联的所述多个不同触摸交互全被分类为表示所述特定物理工具，并且其中，用于分析的所述装置包括用于基于对所述第一触摸交互和所述第二触摸交互进行区分来对所述触摸交互进行分析的装置，并且其中所述第一触摸交互和所述第二触摸交互对应于不同的虚拟工具；以及
用于响应于将所述触摸交互分类为表示所述特定物理工具而对与所述特定物理工具相对应的虚拟工具进行实例化的装置，其中，所述虚拟工具对所述电子装置上的与能够由所述特定物理工具执行的动作类似的动作进行控制，并且对所述虚拟工具进行实例化包括在所述触摸屏上的位置处显示所述虚拟工具的表征，使得显得所述用户在抓持所述虚拟工具。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US13/863,193 US10082935B2 (en) | 2013-04-15 | 2013-04-15 | Virtual tools for use with touch-sensitive surfaces |
| US13/863,193 | 2013-04-15 | ||
| PCT/US2014/033380 WO2014172148A2 (en) | 2013-04-15 | 2014-04-08 | Virtual tools for use with touch-sensitive surfaces |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105210012A CN105210012A (zh) | 2015-12-30 |
| CN105210012B true CN105210012B (zh) | 2019-04-05 |
Family
ID=51687676
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201480022056.5A Active CN105210012B (zh) | 2013-04-15 | 2014-04-08 | 用于与触敏表面一起使用的虚拟工具 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US10082935B2 (zh) |
| EP (1) | EP2987063B1 (zh) |
| CN (1) | CN105210012B (zh) |
| WO (1) | WO2014172148A2 (zh) |
Families Citing this family (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013059488A1 (en) | 2011-10-18 | 2013-04-25 | Carnegie Mellon University | Method and apparatus for classifying touch events on a touch sensitive surface |
| KR20140114766A (ko) | 2013-03-19 | 2014-09-29 | 퀵소 코 | 터치 입력을 감지하기 위한 방법 및 장치 |
| US9612689B2 (en) | 2015-02-02 | 2017-04-04 | Qeexo, Co. | Method and apparatus for classifying a touch event on a touchscreen as related to one of multiple function generating interaction layers and activating a function in the selected interaction layer |
| US9013452B2 (en) | 2013-03-25 | 2015-04-21 | Qeexo, Co. | Method and system for activating different interactive functions using different types of finger contacts |
| US20190004698A1 (en) * | 2013-04-15 | 2019-01-03 | Carnegie Mellon University | Virtual tools for use with touch-sensitive surfaces |
| US20150046862A1 (en) * | 2013-08-11 | 2015-02-12 | Silicon Graphics International Corp. | Modifying binning operations |
| US9477403B2 (en) * | 2013-11-26 | 2016-10-25 | Adobe Systems Incorporated | Drawing on a touchscreen |
| US11144184B2 (en) | 2014-01-23 | 2021-10-12 | Mineset, Inc. | Selection thresholds in a visualization interface |
| US10627918B2 (en) | 2014-02-13 | 2020-04-21 | Microsoft Technology Licensing, Llc | Low-profile pointing stick |
| US10528155B2 (en) | 2014-02-13 | 2020-01-07 | Microsoft Technology Licensing, Llc | Low-profile pointing stick |
| US9874945B2 (en) * | 2014-02-13 | 2018-01-23 | Microsoft Technology Licensing, Llc | Low-profile pointing stick |
| US9329715B2 (en) | 2014-09-11 | 2016-05-03 | Qeexo, Co. | Method and apparatus for differentiating touch screen users based on touch event analysis |
| US11619983B2 (en) | 2014-09-15 | 2023-04-04 | Qeexo, Co. | Method and apparatus for resolving touch screen ambiguities |
| US10606417B2 (en) | 2014-09-24 | 2020-03-31 | Qeexo, Co. | Method for improving accuracy of touch screen event analysis by use of spatiotemporal touch patterns |
| US10007421B2 (en) * | 2015-08-03 | 2018-06-26 | Lenovo (Singapore) Pte. Ltd. | Natural handwriting detection on a touch surface |
| US10642404B2 (en) | 2015-08-24 | 2020-05-05 | Qeexo, Co. | Touch sensitive device with multi-sensor stream synchronized data |
| CN110058782B (zh) * | 2016-02-22 | 2020-11-24 | 广州视睿电子科技有限公司 | 基于交互式电子白板的触摸操作方法及其系统 |
| US10871880B2 (en) | 2016-11-04 | 2020-12-22 | Microsoft Technology Licensing, Llc | Action-enabled inking tools |
| JP6903999B2 (ja) * | 2017-03-29 | 2021-07-14 | 富士フイルムビジネスイノベーション株式会社 | コンテンツ表示装置およびコンテンツ表示プログラム |
| US10388055B2 (en) | 2017-06-02 | 2019-08-20 | Apple Inc. | Rendering animated user input strokes |
| US10768780B2 (en) | 2017-12-11 | 2020-09-08 | International Business Machines Corporation | Method and system for context-driven displaying of shortcuts on touchscreen |
| CN110543246A (zh) * | 2018-05-28 | 2019-12-06 | 深圳市鸿合创新信息技术有限责任公司 | 一种触控事件处理方法及触控屏装置 |
| US11009989B2 (en) | 2018-08-21 | 2021-05-18 | Qeexo, Co. | Recognizing and rejecting unintentional touch events associated with a touch sensitive device |
| US10942603B2 (en) | 2019-05-06 | 2021-03-09 | Qeexo, Co. | Managing activity states of an application processor in relation to touch or hover interactions with a touch sensitive device |
| US11231815B2 (en) | 2019-06-28 | 2022-01-25 | Qeexo, Co. | Detecting object proximity using touch sensitive surface sensing and ultrasonic sensing |
| DE102020130987A1 (de) | 2020-01-24 | 2021-07-29 | Schaeffler Technologies AG & Co. KG | Verfahren zur Herstellung eines Bauteils eines Elektromotors, Elektromotorbauteil und Elektromotor |
| US11592423B2 (en) | 2020-01-29 | 2023-02-28 | Qeexo, Co. | Adaptive ultrasonic sensing techniques and systems to mitigate interference |
| DE102020113047A1 (de) | 2020-05-14 | 2021-11-18 | Schaeffler Technologies AG & Co. KG | Elektromotorbauteil und Verfahren zur Herstellung eines Elektromotorbauteils eines Axialflussmotors |
| CN112241231B (zh) * | 2020-10-22 | 2021-12-07 | 北京字节跳动网络技术有限公司 | 构建虚拟装配体的方法、装置和计算机可读存储介质 |
| US11886768B2 (en) * | 2022-04-29 | 2024-01-30 | Adobe Inc. | Real time generative audio for brush and canvas interaction in digital drawing |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1797305A (zh) * | 2004-11-23 | 2006-07-05 | 微软公司 | 降低意外激活触敏设备 |
| CN102789332A (zh) * | 2011-05-17 | 2012-11-21 | 义隆电子股份有限公司 | 于触控面板上识别手掌区域方法及其更新方法 |
Family Cites Families (47)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5483261A (en) * | 1992-02-14 | 1996-01-09 | Itu Research, Inc. | Graphical input controller and method with rear screen image detection |
| US20020126161A1 (en) * | 1994-07-05 | 2002-09-12 | Hitachi, Ltd. | Information processing system |
| US6028593A (en) * | 1995-12-01 | 2000-02-22 | Immersion Corporation | Method and apparatus for providing simulated physical interactions within computer generated environments |
| US5867163A (en) * | 1995-12-01 | 1999-02-02 | Silicon Graphics, Inc. | Graphical user interface for defining and invoking user-customized tool shelf execution sequence |
| US7084884B1 (en) * | 1998-11-03 | 2006-08-01 | Immersion Corporation | Graphical object interactions |
| US6337698B1 (en) * | 1998-11-20 | 2002-01-08 | Microsoft Corporation | Pen-based interface for a notepad computer |
| US6222465B1 (en) * | 1998-12-09 | 2001-04-24 | Lucent Technologies Inc. | Gesture-based computer interface |
| US7212197B1 (en) * | 1999-02-01 | 2007-05-01 | California Institute Of Technology | Three dimensional surface drawing controlled by hand motion |
| US7050955B1 (en) * | 1999-10-01 | 2006-05-23 | Immersion Corporation | System, method and data structure for simulated interaction with graphical objects |
| US6772396B1 (en) | 1999-10-07 | 2004-08-03 | Microsoft Corporation | Content distribution system for network environments |
| US7443396B2 (en) * | 2000-11-29 | 2008-10-28 | National Instruments Corporation | Instrument having a virtual magnifying glass for displaying magnified portions of a signal waveform |
| US7058902B2 (en) * | 2002-07-30 | 2006-06-06 | Microsoft Corporation | Enhanced on-object context menus |
| US7814439B2 (en) * | 2002-10-18 | 2010-10-12 | Autodesk, Inc. | Pan-zoom tool |
| US7593593B2 (en) * | 2004-06-16 | 2009-09-22 | Microsoft Corporation | Method and system for reducing effects of undesired signals in an infrared imaging system |
| US7519223B2 (en) * | 2004-06-28 | 2009-04-14 | Microsoft Corporation | Recognizing gestures and using gestures for interacting with software applications |
| US8018579B1 (en) | 2005-10-21 | 2011-09-13 | Apple Inc. | Three-dimensional imaging and display system |
| US8086971B2 (en) * | 2006-06-28 | 2011-12-27 | Nokia Corporation | Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications |
| US8180114B2 (en) * | 2006-07-13 | 2012-05-15 | Northrop Grumman Systems Corporation | Gesture recognition interface system with vertical display |
| EP1909162A1 (en) * | 2006-10-02 | 2008-04-09 | Koninklijke Philips Electronics N.V. | System for virtually drawing on a physical surface |
| KR100790896B1 (ko) * | 2006-11-17 | 2008-01-03 | 삼성전자주식회사 | 촬상부의 움직임을 이용한 어플리케이션의 제어 방법 및장치 |
| US7877707B2 (en) * | 2007-01-06 | 2011-01-25 | Apple Inc. | Detecting and interpreting real-world and security gestures on touch and hover sensitive devices |
| US8674948B2 (en) * | 2007-01-31 | 2014-03-18 | Perceptive Pixel, Inc. | Methods of interfacing with multi-point input devices and multi-point input systems employing interfacing techniques |
| US7911453B2 (en) * | 2007-06-29 | 2011-03-22 | Microsoft Corporation | Creating virtual replicas of physical objects |
| US8564574B2 (en) * | 2007-09-18 | 2013-10-22 | Acer Incorporated | Input apparatus with multi-mode switching function |
| EP2212764B1 (en) * | 2007-10-11 | 2017-06-14 | Microsoft Technology Licensing, LLC | Method for palm touch identification in multi-touch digitizing systems |
| US8413075B2 (en) * | 2008-01-04 | 2013-04-02 | Apple Inc. | Gesture movies |
| EP2289261A4 (en) | 2008-06-18 | 2013-10-02 | Blackberry Ltd | METHOD AND SYSTEM FOR REPEATING MOBILE CONTENT |
| US8154524B2 (en) * | 2008-06-24 | 2012-04-10 | Microsoft Corporation | Physics simulation-based interaction for surface computing |
| US8386963B2 (en) * | 2009-05-28 | 2013-02-26 | Microsoft Corporation | Virtual inking using gesture recognition |
| US8275590B2 (en) * | 2009-08-12 | 2012-09-25 | Zugara, Inc. | Providing a simulation of wearing items such as garments and/or accessories |
| US8441790B2 (en) | 2009-08-17 | 2013-05-14 | Apple Inc. | Electronic device housing as acoustic input device |
| US8232990B2 (en) * | 2010-01-05 | 2012-07-31 | Apple Inc. | Working with 3D objects |
| US8842096B2 (en) * | 2010-01-08 | 2014-09-23 | Crayola Llc | Interactive projection system |
| US8487889B2 (en) * | 2010-01-15 | 2013-07-16 | Apple Inc. | Virtual drafting tools |
| US9003334B2 (en) * | 2010-03-05 | 2015-04-07 | Adobe Systems Incorporated | Editing content using multiple touch inputs |
| US8576253B2 (en) * | 2010-04-27 | 2013-11-05 | Microsoft Corporation | Grasp simulation of a virtual object |
| WO2012030958A1 (en) | 2010-08-31 | 2012-03-08 | Activate Systems, Inc. | Methods and apparatus for improved motion capture |
| US8988398B2 (en) * | 2011-02-11 | 2015-03-24 | Microsoft Corporation | Multi-touch input device with orientation sensing |
| US9182882B2 (en) * | 2011-04-12 | 2015-11-10 | Autodesk, Inc. | Dynamic creation and modeling of solid models |
| US9898122B2 (en) * | 2011-05-12 | 2018-02-20 | Google Technology Holdings LLC | Touch-screen device and method for detecting and ignoring false touch inputs near an edge of the touch-screen device |
| US8896555B2 (en) * | 2011-05-20 | 2014-11-25 | Robert H Duffield | Touch alphabet and communication system |
| US8760395B2 (en) * | 2011-05-31 | 2014-06-24 | Microsoft Corporation | Gesture recognition techniques |
| US9075561B2 (en) | 2011-07-29 | 2015-07-07 | Apple Inc. | Systems, methods, and computer-readable media for managing collaboration on a virtual work of art |
| US9030498B2 (en) * | 2011-08-15 | 2015-05-12 | Apple Inc. | Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface |
| WO2013095679A1 (en) * | 2011-12-23 | 2013-06-27 | Intel Corporation | Computing system utilizing coordinated two-hand command gestures |
| KR101620777B1 (ko) * | 2012-03-26 | 2016-05-12 | 애플 인크. | 증강된 가상 터치패드 및 터치스크린 |
| US9552673B2 (en) * | 2012-10-17 | 2017-01-24 | Microsoft Technology Licensing, Llc | Grasping virtual objects in augmented reality |
-
2013
- 2013-04-15 US US13/863,193 patent/US10082935B2/en active Active
-
2014
- 2014-04-08 CN CN201480022056.5A patent/CN105210012B/zh active Active
- 2014-04-08 WO PCT/US2014/033380 patent/WO2014172148A2/en active Application Filing
- 2014-04-08 EP EP14785422.8A patent/EP2987063B1/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1797305A (zh) * | 2004-11-23 | 2006-07-05 | 微软公司 | 降低意外激活触敏设备 |
| CN102789332A (zh) * | 2011-05-17 | 2012-11-21 | 义隆电子股份有限公司 | 于触控面板上识别手掌区域方法及其更新方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2014172148A2 (en) | 2014-10-23 |
| WO2014172148A3 (en) | 2015-05-07 |
| EP2987063B1 (en) | 2020-01-01 |
| US10082935B2 (en) | 2018-09-25 |
| EP2987063A4 (en) | 2016-09-14 |
| CN105210012A (zh) | 2015-12-30 |
| US20140310631A1 (en) | 2014-10-16 |
| EP2987063A2 (en) | 2016-02-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105210012B (zh) | 用于与触敏表面一起使用的虚拟工具 | |
| US11048333B2 (en) | System and method for close-range movement tracking | |
| CN105992991B (zh) | 低外形指点杆 | |
| CN107710111B (zh) | 确定用于接近敏感相互作用的俯仰角 | |
| US9910498B2 (en) | System and method for close-range movement tracking | |
| US8941600B2 (en) | Apparatus for providing touch feedback for user input to a touch sensitive surface | |
| US8842084B2 (en) | Gesture-based object manipulation methods and devices | |
| US9477874B2 (en) | Method using a touchpad for controlling a computerized system with epidermal print information | |
| US20120105367A1 (en) | Methods of using tactile force sensing for intuitive user interface | |
| CN105992992B (zh) | 低外形指点杆 | |
| TWI471815B (zh) | 手勢辨識裝置及方法 | |
| US20140240267A1 (en) | Method Using a Finger Above a Touchpad for Controlling a Computerized System | |
| US20150363038A1 (en) | Method for orienting a hand on a touchpad of a computerized system | |
| CN109933206B (zh) | 一种基于Leap Motion的手指无接触绘图方法及系统 | |
| KR20170107357A (ko) | 하나의 단일 감지 시스템을 이용하는 멀티 모드 제스처 기반의 상호작용 시스템 및 방법 | |
| EP1507192A3 (en) | Detection of a dwell gesture by examining parameters associated with pen motion | |
| JP2005100391A (ja) | ハンドジェスチャを認識する方法 | |
| TW200945174A (en) | Vision based pointing device emulation | |
| WO2016095640A1 (zh) | 移动终端的控制方法及移动终端 | |
| Matulic et al. | Hand contact shape recognition for posture-based tabletop widgets and interaction | |
| WO2015102974A1 (en) | Hangle-based hover input method | |
| Mallik et al. | Virtual Keyboard: A Real-Time Hand Gesture Recognition-Based Character Input System Using LSTM and Mediapipe Holistic. | |
| CN113515228A (zh) | 一种虚拟标尺显示方法以及相关设备 | |
| CN103472931A (zh) | 鼠标仿真触控屏幕操作的方法 | |
| TWI666574B (zh) | 判斷觸控裝置上之觸控物件力道及觸控事件的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |