CN105210012A - 用于与触敏表面一起使用的虚拟工具 - Google Patents

用于与触敏表面一起使用的虚拟工具 Download PDF

Info

Publication number
CN105210012A
CN105210012A CN201480022056.5A CN201480022056A CN105210012A CN 105210012 A CN105210012 A CN 105210012A CN 201480022056 A CN201480022056 A CN 201480022056A CN 105210012 A CN105210012 A CN 105210012A
Authority
CN
China
Prior art keywords
touch
virtual tool
physical instrument
alternately
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480022056.5A
Other languages
English (en)
Other versions
CN105210012B (zh
Inventor
克里斯托弗·哈里森
茱莉亚·施瓦茨
罗伯特·波·肖
斯科特·E·胡德森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carnegie Mellon University
Original Assignee
Carnegie Mellon University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carnegie Mellon University filed Critical Carnegie Mellon University
Publication of CN105210012A publication Critical patent/CN105210012A/zh
Application granted granted Critical
Publication of CN105210012B publication Critical patent/CN105210012B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种电子装置包括触敏表面，如触摸板或触摸屏。用户与触敏表面进行交互而产生触摸交互。可以将这些触摸交互中的一些检测为表示用于操作物理工具的抓持(例如，用于握笔的抓持)。当遇到这些触摸交互时，对相应的虚拟工具进行实例化。虚拟工具对电子装置上的与能够由物理工具执行的动作类似的动作进行控制。例如，虚拟笔可以被用于在显示器上进行绘制，而物理笔在纸上进行绘制。在电子装置的显示器上的与所检测到的触摸交互的位置相对应的位置处还显示虚拟工具的表征，能够提供附加的可视性。

Description

用于与触敏表面一起使用的虚拟工具
技术领域
本发明一般地涉及例如经由触敏表面与电子装置进行交互。
背景技术
当今，很多触摸板和触摸屏能够支持一小组手势。例如，通常使用一根手指来操作光标或者使显示器滚动。另一示例是以掐捏方式(pinchingmanner)使用两根手指来对内容如图片或地图进行放大和缩小。然而，这是手指和手能够做的事情的总体简化。无论在其运动能力方面还在是其解剖构造方面，手指都是变化多样的附肢。此外，除了自身做出手势以外，还可以使用手指和手来操作工具。
因此，存在以下需求：更好地利用手指和手的功能来控制与电子装置的交互。
发明内容
本发明使得用户能够以与他们如何抓持和操作相应的物理工具类似的方式对虚拟工具进行实例化和操作。
在一个方面，电子装置包括触敏表面如触摸板(其不也用作显示器)或触摸屏(其也用作显示器)。用户与触敏表面进行交互而产生触摸交互。可以将这些触摸交互中的一些检测为表示用于操作物理工具的抓持(例如，用于握笔的抓持)。当遇到这些触摸交互时，对相应的虚拟工具进行实例化。虚拟工具对电子装置上的与能够由现实世界中的物理工具执行的动作类似的动作进行控制。例如，可以使用虚拟笔在显示器上进行绘制，而使用物理笔在纸上进行绘制。在电子装置的显示器上的与所检测到的触摸交互的位置相对应的位置处还显示虚拟工具的图像(或其他表征(representation))。
虚拟工具可以以不同的方式来控制动作。对于一些虚拟工具，检测正确的触摸交互并且对虚拟工具进行实例化还可以对相应的动作进行初始化。例如，在实例化时，虚拟放大镜可以立即放大显示区域。对于其他虚拟工具，可能需要附加动作来指定动作。例如，虚拟笔可能需要触摸交互的后续转化以在显示器上画一条线。再例如，虚拟相机可能需要模仿按下快门按钮的后续动作以捕获图像。虚拟工具还可以响应于这些后续动作来移动、旋转和/或变化。
在一种方法中，基于各个触摸触点(contact)的图案对触摸交互进行分类。例如，可以仅为具有三个或更多个同时触摸触点的那些触摸交互分配虚拟工具，留下单触摸图案和双触摸图案用于已有功能，如滚动或缩放。不仅可以单独地而且可以整体地基于触摸触点的数量以及特征(如触摸触点的位置、形状、大小和/或方向)来对这些更复杂的触摸触点图案进行分类。
在另一方面，由触敏表面报告的触摸触点的类型可以变化。在一些系统中，触摸屏可以报告一系列触摸点(例如，x/y位置，有时使用长轴和短轴)。其他触摸屏可以提供电容、红外反射、z距离或其他感测方法的二维图像。一般地，我们使用术语“触摸触点”来涵盖所有类型的触摸技术和触摸性能。
虚拟工具的示例包括下列各项。虚拟笔、铅笔、画笔、标记笔和其他书写工具可以用于绘制线、数字绘画、突出显示(highlighting)以及其他类似动作。不同类型的虚拟擦除器可以用于擦除。虚拟尺子、卷尺和其他距离测量工具可以用于与长度或距离有关的功能。虚拟剪刀、刀子和其他剪切工具可以用于数字剪切。虚拟相机可以用于图像捕获。虚拟放大器可以用于图像缩放。虚拟镊子和其他抓持工具可以用于数字抓取。
本发明的其他方面包括与上述方法有关的方法、装置、系统、组件和应用程序。
附图说明
本专利或申请文件包括至少一个以彩色完成的附图。在请求并且支付了所需的费用之后，将由专利局提供具有彩色附图(一个或多个)的本专利或专利申请公开的副本。
本发明具有其他优点和特征，根据结合附图进行的本发明的下面的详细描述和所附权利要求，这些优点和特征将更显见，在附图中：
图1是根据本发明的电子装置的框图；
图2是示出了使用图1的装置进行触摸交互的流程图；
图3是示出了对触摸交互进行分析的一种方法的流程图；
图4A至图4D分别示出了物理笔的使用、虚拟笔的使用以及虚拟笔的两个触摸触点图案；
图5A至图5C分别示出了物理擦除器的使用、虚拟擦除器的使用以及虚拟擦除器的触摸触点图案；
图5D至图5E分别示出了较小的虚拟擦除器的使用以及较小的虚拟擦除器的触摸触点图案；
图6A至图6C分别示出了物理放大器的使用、虚拟放大器的使用以及虚拟放大器的触摸触点图案；
图7A至图7C分别示出了物理相机的使用、虚拟相机的使用以及虚拟相机的触摸触点图案；以及
图8A至图8C分别示出了物理卷尺的使用、虚拟卷尺的使用以及虚拟卷尺的触摸触点图案。
仅出于说明的目的，附图示出了本发明的实施方式。本领域的技术人员根据下面的论述将容易地认识到：在不偏离本文中描述的本发明的原理的情况下，可以采用本文中图示的结构和方法的可替换实施方式。
具体实施方式
附图和下面的描述仅通过实例说明来涉及优选实施方式。应当注意，根据下面的讨论，本文中公开的结构和方法的可替换实施方式将容易地被理解为在不偏离要求保护的原理的情况下可以采用的可行的可替换方式。
图1是根据本发明的电子装置100的框图。装置100包括触敏表面110，例如触摸板或触摸屏。装置100还包括计算资源，如处理器102、存储器104和数据存储装置106(例如，光驱、磁介质硬盘驱动器或固态硬盘)。检测电路系统112提供触敏表面110与装置100的其余部分之间的接口。指令124(例如，软件)当由处理器102执行时，使得该装置能够执行某些功能。在该示例中，指令124包括触摸分析模块，该触摸分析模块对与触敏表面110进行的用户交互进行分析。指令124还使得处理器102能够控制显示器120并且在电子装置上执行其他动作。
在常见架构中，数据存储装置106包括存储指令124(例如，软件)的主体的机器可读介质。指令124在执行期间还可以全部地或至少部分地驻留在存储器104内或处理器102内(例如，处理器的高速缓冲存储器内)。存储器104和处理器102还构成机器可读介质。
在该示例中，虽然不同的部件使用公共总线进行通信，但是也可以使用其他通信机制。作为一个示例，处理器102可以用作具有直接通道的中枢(hub)或者对其他部件中的每个进行控制。
装置100可以是服务器计算机、客户端计算机、个人计算机(PC)、平板计算机、手持移动装置或能够(顺序地或以其他方式)执行指定要由该装置采取的行动的指令124的任何装置。此外，尽管仅示出单个装置，术语“装置”还应当被用来包括独自地或联合地执行指令124以执行本文中讨论的方法中的任意一个或更多个方法的装置的任意集合。对于每个单独的部件亦是如此。例如，处理器102可以是多核处理器或以协作方式工作的多个处理器。处理器102还可以是或者包括中央处理单元(CPU)、图形处理单元(GPU)、网络处理单元(NPU)、数字信号处理器(DSP)、一个或更多个专用集成电路(ASIC)或上述的组合。存储器104和数据存储装置106可以专门用于单独的处理器、由很多处理器共享，或者很多存储器和数据存储装置可以服务于单个处理器。
作为一个示例，装置100可以是独立的(self-contained)移动装置，如具有触摸屏的蜂窝电话或平板计算机。在这种情况下，触摸屏用作触敏表面110和显示器120两者。作为另一示例，装置100可以在网络上以分布式方式来实现。处理器102可以是基于云的产品的一部分(例如，来自云产品的租用处理器时间)，数据存储装置106可以是网络附接的存储装置(networkattachedstorage)或者其他分布式或共享式数据存储装置，类似地，存储器104可以是分布式的或共享式的。触敏表面110和显示器120可以是使得用户能够与不同的联网部件进行交互的用户I/O装置。
图2是示出了使用装置100的触摸交互的流程图。用户与触敏表面110进行交互，例如，他的手(一只或两只)可以形成某些姿势，这些姿势意在指导电子装置执行相应的动作。触敏表面110和检测电路系统112对该触摸交互进行检测210。例如，触敏显示器可以基于电阻、电容、光、声学(例如，表面声波)、压力感测材料(例如，压力、剪力)、压电材料或形成触摸交互的基本基础的其他技术。无论操作的基本原理如何，对触敏表面的触摸都将产生信号。然而，在数字计算环境中通常不能直接使用这些原始信号。例如，信号实际上是模拟的。检测电路系统112通常提供对这些信号进行处理和/或调节使得其适于在数字计算环境中使用的中间级。
触摸分析模块(在该示例中由指令124来实现)对所检测到的触摸交互进行分析220作为初始步骤，以确定要采取的适当动作。在本示例中，该分析确定触摸交互是否表示用于操作物理工具的抓持。如果触摸交互表示用于操作物理工具的抓持，则电子装置100对控制与可以由物理工具采取的动作类似的动作的相应的虚拟工具进行实例化。例如，用户可以使其手形成用于抓持物理笔的形状，这意在指导装置100对虚拟笔进行实例化以在显示器120上进行绘制。作为另一示例，用户可以将两只手形成用于抓持并操作物理相机的形状，这意在指导装置100对虚拟相机进行实例化以进行屏幕快照或者对该装置内的物理相机进行操作。如果存在虚拟工具的话，触摸分析模块124确定这些虚拟工具中的哪些虚拟工具由所检测的触摸交互表示。
基于该分析，处理器102然后采取适当的动作。处理器102对相应的虚拟工具进行实例化230并且使虚拟工具的图像(或其他表征)显示230在显示器120上。处理器102还使任何相应的动作被执行240。在笔的示例中，当笔抓持被识别220时，则虚拟笔被实例化并且虚拟笔的图像被显示230。用户还操作虚拟工具(例如，当用户的抓持在触敏表面110上四处移动时，虚拟笔可以在显示器120上四处移动)，并且绘制直线的相应动作也发生240。在相机示例中，当相机抓持被识别220时，则虚拟相机被实例化并且相机的图像(或者取景器，或者表征虚拟相机的其他图像)被显示。可以进一步操作虚拟相机并且屏幕捕获的相应动作也发生240。注意物理世界和虚拟世界之间的对应。在物理世界中，用户作出适合于操作物理工具的抓持。该抓持通过触敏表面而被检测到。相应的虚拟工具被实例化并且被显示，并且电子装置采取与可以由物理工具执行的动作类似的动作。
图3是示出了对触摸交互进行分析的一种方法的流程图。在运行iOS的iPad平板电脑上已经成功实现了该方法。该软件以使用OpenFrameworks应用框架的Objective-C++来实现。在高层次上，该实现捕获310用户的触摸，使用机器学习分类器对触摸进行分类320，并且然后对用户请求的虚拟工具进行实例化330。
为了捕获310用户的触摸交互，系统对触摸屏上的第一用户触摸进行检测312，并且然后等待314三十毫秒以进行另外的触摸。直到该时刻，系统捕获314由触摸屏报告的触摸触点，并且这些触点的触摸被视为是同时的。延迟使得触摸屏能够具有足够的时间来报告所有触摸触点，而避免实例化虚拟工具中过长的等待时间。其他的等待时间也是可能的。在该特定示例中，所有虚拟工具要求三个或更多个同时触摸。因此，如果315在所捕获的集合中存在两个或较少的触摸，则无需针对虚拟工具做进一步的分类316。一次触摸交互或两次触摸交互可以进一步被解释为开始常规动作如轻击、平移(pan)、掐捏以缩放(pinch-to-zoom)或旋转。该方法意味着针对具有一个和两个触摸姿势的先前经验的那些人可以添加虚拟工具作为额外功能。
另外，系统进行至基于由各个触摸或触摸触点形成的触摸触点图案来对工具进行分类320。在该特定实现方式中，系统对作为触摸触点的图案(称为触摸触点图案)的函数的一组特征以及各个触摸触点的x-y位置和大小进行计算322。在该示例中，为了旋转不变性而特别地选择了特征集合，使得可以以任何角度对虚拟工具进行实例化。该示例性特征集合包括触摸触点的数量、触摸触点图案的总触摸面积(即，所有触摸触点的总面积)以及触摸触点图案的第一主要分量和第二主要分量的大小(即，触摸触点图案的长轴和短轴的长度)。该示例性特征集合还计算323关于下述四组数据的统计量(平均值、中值、最小值、最大值、标准差)：每对触摸触点之间的距离、从每个单独的触摸点到触摸触点图案的形心的距离、当从触摸触点图案的形心测量时连续顺时针触摸之间的角度以及每个触摸触点的大小。
这仅仅是一个示例。可以计算其他特征和/或统计信息。例如，如果触摸触点图案的二维图像是可获得的，则示例性特征集合可以包括轮廓分析、梯度方向直方图(其对不同梯度方向的发生进行计数)、触摸图像中的触摸触点的第一主要分量和第二主要分量(例如，尺度不变特征变换)和/或哈尔特征(Haar-likefeatures)。
所计算的特征集合322和统计量323被用作二次(非线性)支持向量机分类器325的输入，已经针对先前记录的数据对该二次(非线性)支持向量机分类器325进行了训练。包括决策树、朴素贝叶斯(naiveBayes)和神经网络的其他分类器也是可行的。然后，对由分类器325表示的虚拟工具进行实例化332，使得该虚拟工具在屏幕上可见并且使得工具特定动作334能够进行。
图3中所示的过程仅仅是一个示例。其他方法将是显见的。例如，特征组合的不同特征可以用于对触摸交互进行分类。各个触摸可以由如下内容来被特征化：大小、形状、位置、方向、压力、时间长度和/或触点部位(手指尖、手指甲、指垫、指关节、拇指等)。这些量可以是绝对的或相对的。例如，触摸的大小可以是触摸触点的绝对物理大小或与触摸交互中的其他触摸相比的相对大小。作为另一示例，位置可以是触敏表面上的绝对位置或者整个触摸触点图案中的相对位置。类似的可能性适用于整个触摸触点图案的特征。也可以使用时间信息，如触摸交互随着时间的变化。此外，也可以使用从其他源收集的信息(例如关于触摸交互或装置使用的历史数据)来帮助对触摸交互进行分类。
图4至图8示出了虚拟工具的不同示例。每个图具有三个部分A至C。部分A示出了抓持物理工具的手。部分B示出了“抓持”相应的虚拟工具的手。部分C示出了由部分B的手抓持产生的示例触摸触点(模拟的二维电容式或压力图像)。
图4A示出了抓持笔(或其他书写工具)的手。图4B示出了显示虚拟笔连同“抓持”该虚拟笔的手的触摸屏。该笔刚在触摸屏上被实例化。当用户移动其抓持动作时，虚拟笔将在触摸屏上显示的内容上进行绘制。注意，在图4A和图4B中，手抓持并不完全相同。图4B中的抓持更类似于抓持位于触摸屏顶部的笔的手。图4C示出了由图4B的手抓持的手指产生的示例触摸触点图案(模拟的二维电容式图像)。在图4D中所示的另一示例中，触摸触点410和触摸触点411是拇指、手指、手掌和手的其他部分的组合。很多其他触摸触点也是可能的，可以因用户而异，但是所有触摸触点都是工具的手抓持的示例。
注意，在一种方法中，不要求手抓持是一种特定抓持。例如，很多不同类型的手抓持可以被分类为对虚拟笔进行实例化。图4C和图4D示出了由不同的手抓持产生的不同的触摸触点，但是这两种不同的手抓持都被分类为对虚拟笔进行实例化。在该方法中，不要求用户在完全相同的每个时间执行相同的抓持或者甚至执行与其他人执行的抓持相同的抓持。在一种方法中，分类器支持不同类型的手抓持。例如，这些手抓持可以是几种公认的抓持铅笔的方式。分类器学习不同的抓持。
图5示出了使用大的擦除器的示例。图5A示出了抓持物理擦除器，图5B示出了抓持正在擦除一大片区域(broadswath)的虚拟擦除器。图5C是相应的触摸触点图案(模拟的二维电容式图像)。将图5D和图5E与图5A至图5C进行比较。图5D示出了抓持擦除更窄的一片区域的较小的虚拟擦除器，图5E示出了相应的触摸触点图案。可以通过不同的触摸触点图案来区分这两个擦除器。图5C中的触摸触点图案示出了拇指和四个手指，而图5E中的触摸触点图案示出了拇指和仅两个手指。还应当注意，由于拇指和两个手指之间的间距不同，所以可以通过分类器来区分图5E中的触摸触点图案和图4C中的触摸触点图案。
图6示出了使用虚拟放大器来控制图像缩放的动作的示例。一旦放大器抓持被识别，辅助动作可以允许对该动作进行另外的控制。例如，通过辅助手运动可以调整缩放的量。在一个示例中，一只手保持放大器控制而另一只手移动缩放的量或者增大或减小缩放。还应当注意，图6C中的相应的触摸触点图案(模拟的二维电容式图像)不仅仅是指尖的图案。将手按在触摸屏上产生一系列的不规则触点。
图7示出了使用虚拟相机控制图像捕获的动作的示例。这可以是装置的相机捕获真实世界的图像的操作，或者这可以是捕获显示器的屏幕快照。注意，抓持涉及两只手，在图7C的触摸触点(模拟的二维电容式图像)中可以看见这两只手。三个触摸触点710是右拇指、右食指和右中指；而三个触摸触点720是左拇指、左食指和左中指。还应当注意，拇指触点不是指尖触点。反而，如图7B中可见，拇指的一侧正接触触摸屏。这仅仅是一个示例；其他抓持也是可能的。相机虚拟工具是可以具有辅助控制的工具的另一示例。通常，在相机的右上顶端上具有按钮，可以按下该按钮进行拍照。因此，当使用相机虚拟工具时，用户可以做出下述动作，该动作表现为按下他的右食指来触发捕获图像。还可以通过包括其他手指的辅助控制对附加控制(如变焦距(zoom)和闪光(flash))进行控制。
图8示出了使用虚拟卷尺的示例。与图7中使用相机一样，该抓持也使用两只手。相应的动作可以是测量距离、显示距离或其他类型的距离功能。注意，图8C中所示的触摸触点图案用于虚拟卷尺的使用，但是不只用于图8B中所示的位置。
图4至图8仅仅是几个示例。其他示例将是显见的。例如，对于图7中的相机，触摸的位置可能与图7C中所示的位置不同。触摸点的数量也可以发生变化。可以使用形成大致矩形的仅四个手指保持相机。人们可以以不同的方式保持对象。在一种方法中，系统优选地被设计成对各种各样的抓持进行识别而不仅仅对一种抓持进行识别。
也可以实现其他虚拟工具。例如，可以使用虚拟画笔对数字绘画进行控制，以及可以使用虚拟标记笔对突出显示进行控制。也可能存在功能层级。笔抓持、铅笔抓持、画笔抓持和标记笔抓持相当相似。当遇到抓持中的一种时，除了设法单独基于触摸交互对这些抓持进行区分以外，系统可以产生列出这些不同选项的菜单。然后用户对他想要使用哪种虚拟工具进行选择。
下面是一些另外的示例。可以使用虚拟剪刀、虚拟刀子、虚拟解剖刀或其他类型的剪切工具来控制数字剪切。可以使用虚拟镊子、虚拟钳子或其他夹持工具来控制对象的数字抓取。可以使用虚拟压印工具来控制数字压印。可以使用虚拟图钉或其他固定装置对将对象数字“锁定(pinning)”在一起进行控制。
作为另外的变化形式，可以基于超出仅触摸触点图案的信息或除了仅触摸触点图案以外的信息来辨识抓持。例如，用户界面可以包括(例如，使用深度相机)对手进行三维成像，并且可以另外使用该信息来确定抓持。
虽然详细描述包括很多细节，但是不应当将这些细节视为对本发明的范围进行限制而应当将这些细节仅视为示出了本发明的不同示例和不同方面。应当理解，本发明的范围包括上面未详细论述的其他实施方式。在不偏离如在所附权利要求中限定的本发明的精神和范围的情况下，可以在本文中公开的本发明的方法和装置的布置、操作和细节中作出对于本领域技术人员而言将为显见的各种其他修改、改变和变化形式。因此，本发明的范围应该由所附权利要求及其法律等同物来确定。
术语“模块”并不意在被限于特定物理形式。取决于特定应用，模块可以被实现为硬件、固件、软件和/或上述的组合。此外，不同的模块可以共享公共部件或者不同的模块甚至可以由相同的部件来实现。不同的模块之间可以存在或不存在清晰的界限。
取决于模块的形式，模块之间的“耦接”也可以采用不同的形式。例如，专用电路可以通过硬连线或通过访问公共寄存器或存储器位置彼此耦接。可以通过任意数量的方式发生软件“耦接”以在软件组件之间传递信息(或者在软件和硬件之间，只要情况如此)。术语“耦接”意在包括所有这些但是并不意在对两个部件之间的硬连线的永久连接进行限制。另外，可以存在中间元件。例如，当两个元件被描述为彼此耦接时，这并不暗示这两个元件彼此直接耦接，也不暗示排除在这两个元件之间使用其他元件。

Claims (32)

1.一种在用户与具有显示器和触敏表面的电子装置之间进行交互的方法，所述方法包括：
检测所述用户与所述触敏表面之间的触摸交互，所述触摸交互表示用于操作物理工具的抓持；以及
响应于检测到所述触摸交互，对与所述物理工具相对应的虚拟工具进行实例化，其中，所述虚拟工具对所述电子装置上的与能够由所述物理工具执行的动作类似的动作进行控制，并且对所述虚拟工具进行实例化包括在所述显示器上的与所检测到的触摸交互的位置相对应的位置处显示所述虚拟工具的表征。
2.根据权利要求1所述的方法，还包括：
响应于检测到所述触摸交互，执行由所述虚拟工具控制的动作。
3.根据权利要求1所述的方法，还包括：
检测所述触摸交互的运动；以及
响应于检测到所述运动，根据所检测到的运动对所述虚拟工具的表征进行调整，并且根据所检测到的运动来执行由所述虚拟工具控制的动作。
4.根据权利要求1所述的方法，还包括：
在对所述虚拟工具进行实例化之后，检测由所述用户作出的附加动作；以及
响应于检测到所述附加用户动作，根据所述附加用户动作来执行由所述虚拟工具控制的动作。
5.根据权利要求1所述的方法，其中，所述虚拟工具的表征是所述物理工具的图像。
6.根据权利要求1所述的方法，其中，所述电子装置包括触摸屏，并且在所述触摸屏上的由所检测到的触摸交互表示的抓持的位置处显示所述虚拟工具的表征。
7.根据权利要求1所述的方法，其中，所述触摸交互表示用于抓持位于所述触敏表面上的物理工具的抓持。
8.根据权利要求1所述的方法，其中，所述触摸交互由触摸触点图案来特征化，并且检测所述触摸交互包括确定所述触摸触点图案的形状、轮廓、大小和/或方向。
9.根据权利要求1所述的方法，其中，所述触摸交互包括至少三个同时触摸触点，并且检测所述触摸交互包括确定所述触摸交互中的同时触摸触点的数量。
10.根据权利要求1所述的方法，其中，所述触摸交互包括至少三个同时触摸触点，并且检测所述触摸交互包括确定所述触摸交互中的所述触摸触点的相对位置。
11.根据权利要求1所述的方法，其中，检测所述触摸交互包括确定所述触摸交互随着时间的变化。
12.根据权利要求1所述的方法，其中，所述抓持是使用一只手的抓持。
13.根据权利要求1所述的方法，其中，所述抓持是使用两只手的抓持。
14.根据权利要求1所述的方法，其中，所述触摸交互由包括至少三个同时触摸触点的触摸触点图案来特征化。
15.根据权利要求1所述的方法，其中，所述物理工具是书写工具，并且由所述虚拟工具控制的动作是绘制。
16.根据权利要求1所述的方法，其中，所述物理工具是画笔，并且由所述虚拟工具控制的动作是数字绘画。
17.根据权利要求1所述的方法，其中，所述物理工具是标记笔，并且由所述虚拟工具控制的动作是突出显示。
18.根据权利要求1所述的方法，其中，所述物理工具是擦除器，并且由所述虚拟工具控制的动作是擦除。
19.根据权利要求1所述的方法，其中，所述物理工具是距离测量工具，并且由所述虚拟工具控制的动作是测量距离。
20.根据权利要求1所述的方法，其中，所述物理工具是距离测量工具，并且由所述虚拟工具控制的动作是显示距离。
21.根据权利要求1所述的方法，其中，所述物理工具是剪切工具，并且由所述虚拟工具控制的动作是数字剪切。
22.根据权利要求1所述的方法，其中，所述物理工具是相机，并且由所述虚拟工具控制的动作是图像捕获。
23.根据权利要求1所述的方法，其中，所述物理工具是放大器，并且由所述虚拟工具控制的动作是图像缩放。
24.根据权利要求1所述的方法，其中，所述物理工具是压印工具，并且由所述虚拟工具控制的动作是数字压印。
25.根据权利要求1所述的方法，其中，所述物理工具是抓持工具，并且由所述虚拟工具控制的动作是数字抓取。
26.根据权利要求1所述的方法，其中，所述物理工具是固定装置，并且由所述虚拟工具控制的动作是数字锁定。
27.根据权利要求1所述的方法，其中，所述电子装置是具有触摸屏的电话。
28.根据权利要求1所述的方法，其中，所述电子装置是具有触摸屏的平板电脑。
29.根据权利要求1所述的方法，其中，所述电子装置是具有触摸屏的计算机。
30.一种其上存储有表征指令序列的数据的机器可读有形存储介质，所述指令序列当由具有触敏表面的电子装置执行时使所述电子装置执行包括以下步骤的方法：
检测用户与所述触敏表面之间的触摸交互，所述触摸交互表示用于操作物理工具的抓持；以及
响应于检测到所述触摸交互，对与所述物理工具相对应的虚拟工具进行实例化，其中，所述虚拟工具对所述电子装置上的与能够由所述物理工具执行的动作类似的动作进行控制，并且对所述虚拟工具进行实例化包括在所述显示器上的与所检测到的触摸交互的位置相对应的位置处显示所述虚拟工具的表征。
31.一种电子装置，包括：
触敏表面；
耦接至所述触敏表面的检测电路系统，所述检测电路系统用于检测与所述触敏表面进行的触摸交互；
耦接至所述检测电路系统的触摸分析模块，所述触摸分析模块用于对所述触摸交互进行分析以确定所述触摸交互是否表示用于操作物理工具的抓持；以及
耦接至所述触摸分析模块的处理器，所述处理器用于响应于对所述触摸交互进行分析，对与所述物理工具相对应的虚拟工具进行实例化，其中，所述虚拟工具对所述电子装置上的与能够由所述物理工具执行的动作类似的动作进行控制，并且对所述虚拟工具进行实例化包括在所述显示器上的与所检测到的触摸交互的位置相对应的位置处显示所述虚拟工具的表征。
32.一种电子装置，包括：
触敏表面；
用于检测与所述触敏表面进行的触摸交互的装置；
用于对所述触摸交互进行分析以确定所述触摸交互是否表示用于操作物理工具的抓持的装置；以及
用于响应于对所述触摸交互进行分析而对与所述物理工具相对应的虚拟工具进行实例化的装置，其中，所述虚拟工具对所述电子装置上的与能够由所述物理工具执行的动作类似的动作进行控制，并且对所述虚拟工具进行实例化包括在所述显示器上的与所检测到的触摸交互的位置相对应的位置处显示所述虚拟工具的表征。
CN201480022056.5A 2013-04-15 2014-04-08 用于与触敏表面一起使用的虚拟工具 Active CN105210012B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/863,193 2013-04-15
US13/863,193 US10082935B2 (en) 2013-04-15 2013-04-15 Virtual tools for use with touch-sensitive surfaces
PCT/US2014/033380 WO2014172148A2 (en) 2013-04-15 2014-04-08 Virtual tools for use with touch-sensitive surfaces

Publications (2)

Publication Number Publication Date
CN105210012A true CN105210012A (zh) 2015-12-30
CN105210012B CN105210012B (zh) 2019-04-05

Family

ID=51687676

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480022056.5A Active CN105210012B (zh) 2013-04-15 2014-04-08 用于与触敏表面一起使用的虚拟工具

Country Status (4)

Country Link
US (1) US10082935B2 (zh)
EP (1) EP2987063B1 (zh)
CN (1) CN105210012B (zh)
WO (1) WO2014172148A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110543246A (zh) * 2018-05-28 2019-12-06 深圳市鸿合创新信息技术有限责任公司 一种触控事件处理方法及触控屏装置

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2769291B1 (en) 2011-10-18 2021-04-28 Carnegie Mellon University Method and apparatus for classifying touch events on a touch sensitive surface
KR20140114766A (ko) 2013-03-19 2014-09-29 퀵소 코 터치 입력을 감지하기 위한 방법 및 장치
US9013452B2 (en) 2013-03-25 2015-04-21 Qeexo, Co. Method and system for activating different interactive functions using different types of finger contacts
US9612689B2 (en) 2015-02-02 2017-04-04 Qeexo, Co. Method and apparatus for classifying a touch event on a touchscreen as related to one of multiple function generating interaction layers and activating a function in the selected interaction layer
US20190004698A1 (en) * 2013-04-15 2019-01-03 Carnegie Mellon University Virtual tools for use with touch-sensitive surfaces
US20150046862A1 (en) * 2013-08-11 2015-02-12 Silicon Graphics International Corp. Modifying binning operations
US9477403B2 (en) * 2013-11-26 2016-10-25 Adobe Systems Incorporated Drawing on a touchscreen
US11144184B2 (en) 2014-01-23 2021-10-12 Mineset, Inc. Selection thresholds in a visualization interface
US10528155B2 (en) 2014-02-13 2020-01-07 Microsoft Technology Licensing, Llc Low-profile pointing stick
US10627918B2 (en) 2014-02-13 2020-04-21 Microsoft Technology Licensing, Llc Low-profile pointing stick
US9874945B2 (en) * 2014-02-13 2018-01-23 Microsoft Technology Licensing, Llc Low-profile pointing stick
US9329715B2 (en) 2014-09-11 2016-05-03 Qeexo, Co. Method and apparatus for differentiating touch screen users based on touch event analysis
US11619983B2 (en) 2014-09-15 2023-04-04 Qeexo, Co. Method and apparatus for resolving touch screen ambiguities
US10606417B2 (en) 2014-09-24 2020-03-31 Qeexo, Co. Method for improving accuracy of touch screen event analysis by use of spatiotemporal touch patterns
US10007421B2 (en) * 2015-08-03 2018-06-26 Lenovo (Singapore) Pte. Ltd. Natural handwriting detection on a touch surface
US10642404B2 (en) 2015-08-24 2020-05-05 Qeexo, Co. Touch sensitive device with multi-sensor stream synchronized data
CN110058782B (zh) * 2016-02-22 2020-11-24 广州视睿电子科技有限公司 基于交互式电子白板的触摸操作方法及其系统
US10871880B2 (en) 2016-11-04 2020-12-22 Microsoft Technology Licensing, Llc Action-enabled inking tools
JP6903999B2 (ja) * 2017-03-29 2021-07-14 富士フイルムビジネスイノベーション株式会社 コンテンツ表示装置およびコンテンツ表示プログラム
US10650565B2 (en) * 2017-06-02 2020-05-12 Apple Inc. Rendering animated user input strokes
US10768780B2 (en) 2017-12-11 2020-09-08 International Business Machines Corporation Method and system for context-driven displaying of shortcuts on touchscreen
US11009989B2 (en) 2018-08-21 2021-05-18 Qeexo, Co. Recognizing and rejecting unintentional touch events associated with a touch sensitive device
US10942603B2 (en) 2019-05-06 2021-03-09 Qeexo, Co. Managing activity states of an application processor in relation to touch or hover interactions with a touch sensitive device
US11231815B2 (en) 2019-06-28 2022-01-25 Qeexo, Co. Detecting object proximity using touch sensitive surface sensing and ultrasonic sensing
DE102020130987A1 (de) 2020-01-24 2021-07-29 Schaeffler Technologies AG & Co. KG Verfahren zur Herstellung eines Bauteils eines Elektromotors, Elektromotorbauteil und Elektromotor
US11592423B2 (en) 2020-01-29 2023-02-28 Qeexo, Co. Adaptive ultrasonic sensing techniques and systems to mitigate interference
DE102020113047A1 (de) 2020-05-14 2021-11-18 Schaeffler Technologies AG & Co. KG Elektromotorbauteil und Verfahren zur Herstellung eines Elektromotorbauteils eines Axialflussmotors
CN112241231B (zh) * 2020-10-22 2021-12-07 北京字节跳动网络技术有限公司 构建虚拟装配体的方法、装置和计算机可读存储介质
US11886768B2 (en) * 2022-04-29 2024-01-30 Adobe Inc. Real time generative audio for brush and canvas interaction in digital drawing

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020126161A1 (en) * 1994-07-05 2002-09-12 Hitachi, Ltd. Information processing system
CN1797305A (zh) * 2004-11-23 2006-07-05 微软公司 降低意外激活触敏设备
US20100306649A1 (en) * 2009-05-28 2010-12-02 Microsoft Corporation Virtual inking using gesture recognition
US20110175821A1 (en) * 2010-01-15 2011-07-21 Apple Inc. Virtual Drafting Tools
US20110261083A1 (en) * 2010-04-27 2011-10-27 Microsoft Corporation Grasp simulation of a virtual object
US20110298798A1 (en) * 2005-10-21 2011-12-08 Apple Inc. Three-dimensional imaging and display system
US20120051596A1 (en) * 2010-08-31 2012-03-01 Activate Systems, Inc. Methods and apparatus for improved motioin capture
CN102789332A (zh) * 2011-05-17 2012-11-21 义隆电子股份有限公司 于触控面板上识别手掌区域方法及其更新方法
US20130027404A1 (en) * 2011-07-29 2013-01-31 Apple Inc. Systems, methods, and computer-readable media for managing collaboration on a virtual work of art

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5483261A (en) * 1992-02-14 1996-01-09 Itu Research, Inc. Graphical input controller and method with rear screen image detection
US5867163A (en) * 1995-12-01 1999-02-02 Silicon Graphics, Inc. Graphical user interface for defining and invoking user-customized tool shelf execution sequence
US6028593A (en) * 1995-12-01 2000-02-22 Immersion Corporation Method and apparatus for providing simulated physical interactions within computer generated environments
US7084884B1 (en) * 1998-11-03 2006-08-01 Immersion Corporation Graphical object interactions
US6337698B1 (en) * 1998-11-20 2002-01-08 Microsoft Corporation Pen-based interface for a notepad computer
US6222465B1 (en) * 1998-12-09 2001-04-24 Lucent Technologies Inc. Gesture-based computer interface
US7212197B1 (en) * 1999-02-01 2007-05-01 California Institute Of Technology Three dimensional surface drawing controlled by hand motion
US7050955B1 (en) * 1999-10-01 2006-05-23 Immersion Corporation System, method and data structure for simulated interaction with graphical objects
US6772396B1 (en) 1999-10-07 2004-08-03 Microsoft Corporation Content distribution system for network environments
US7443396B2 (en) * 2000-11-29 2008-10-28 National Instruments Corporation Instrument having a virtual magnifying glass for displaying magnified portions of a signal waveform
US7058902B2 (en) * 2002-07-30 2006-06-06 Microsoft Corporation Enhanced on-object context menus
US7814439B2 (en) * 2002-10-18 2010-10-12 Autodesk, Inc. Pan-zoom tool
US7593593B2 (en) * 2004-06-16 2009-09-22 Microsoft Corporation Method and system for reducing effects of undesired signals in an infrared imaging system
US7519223B2 (en) * 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
US8086971B2 (en) * 2006-06-28 2011-12-27 Nokia Corporation Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications
US8180114B2 (en) * 2006-07-13 2012-05-15 Northrop Grumman Systems Corporation Gesture recognition interface system with vertical display
EP1909162A1 (en) * 2006-10-02 2008-04-09 Koninklijke Philips Electronics N.V. System for virtually drawing on a physical surface
KR100790896B1 (ko) * 2006-11-17 2008-01-03 삼성전자주식회사 촬상부의 움직임을 이용한 어플리케이션의 제어 방법 및장치
US7877707B2 (en) * 2007-01-06 2011-01-25 Apple Inc. Detecting and interpreting real-world and security gestures on touch and hover sensitive devices
WO2008095132A2 (en) * 2007-01-31 2008-08-07 Perceptive Pixel, Inc. Methods of interfacing with multi-point input devices and multi-point input systems employing interfacing techniques
US7911453B2 (en) * 2007-06-29 2011-03-22 Microsoft Corporation Creating virtual replicas of physical objects
US8564574B2 (en) * 2007-09-18 2013-10-22 Acer Incorporated Input apparatus with multi-mode switching function
EP2212764B1 (en) * 2007-10-11 2017-06-14 Microsoft Technology Licensing, LLC Method for palm touch identification in multi-touch digitizing systems
US8413075B2 (en) * 2008-01-04 2013-04-02 Apple Inc. Gesture movies
CA2727121C (en) 2008-06-18 2017-08-22 Chalk Media Service Corp. Method and system for republishing mobile content
US8154524B2 (en) * 2008-06-24 2012-04-10 Microsoft Corporation Physics simulation-based interaction for surface computing
US8275590B2 (en) * 2009-08-12 2012-09-25 Zugara, Inc. Providing a simulation of wearing items such as garments and/or accessories
US8441790B2 (en) 2009-08-17 2013-05-14 Apple Inc. Electronic device housing as acoustic input device
US8232990B2 (en) * 2010-01-05 2012-07-31 Apple Inc. Working with 3D objects
US8842096B2 (en) * 2010-01-08 2014-09-23 Crayola Llc Interactive projection system
US9003334B2 (en) * 2010-03-05 2015-04-07 Adobe Systems Incorporated Editing content using multiple touch inputs
US8988398B2 (en) * 2011-02-11 2015-03-24 Microsoft Corporation Multi-touch input device with orientation sensing
US9182882B2 (en) * 2011-04-12 2015-11-10 Autodesk, Inc. Dynamic creation and modeling of solid models
US9898122B2 (en) * 2011-05-12 2018-02-20 Google Technology Holdings LLC Touch-screen device and method for detecting and ignoring false touch inputs near an edge of the touch-screen device
US8896555B2 (en) * 2011-05-20 2014-11-25 Robert H Duffield Touch alphabet and communication system
US8760395B2 (en) * 2011-05-31 2014-06-24 Microsoft Corporation Gesture recognition techniques
US9030498B2 (en) * 2011-08-15 2015-05-12 Apple Inc. Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface
WO2013095679A1 (en) * 2011-12-23 2013-06-27 Intel Corporation Computing system utilizing coordinated two-hand command gestures
CN104246682B (zh) * 2012-03-26 2017-08-25 苹果公司 增强的虚拟触摸板和触摸屏
US9552673B2 (en) * 2012-10-17 2017-01-24 Microsoft Technology Licensing, Llc Grasping virtual objects in augmented reality

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020126161A1 (en) * 1994-07-05 2002-09-12 Hitachi, Ltd. Information processing system
CN1797305A (zh) * 2004-11-23 2006-07-05 微软公司 降低意外激活触敏设备
US20110298798A1 (en) * 2005-10-21 2011-12-08 Apple Inc. Three-dimensional imaging and display system
US20100306649A1 (en) * 2009-05-28 2010-12-02 Microsoft Corporation Virtual inking using gesture recognition
US20110175821A1 (en) * 2010-01-15 2011-07-21 Apple Inc. Virtual Drafting Tools
US20110261083A1 (en) * 2010-04-27 2011-10-27 Microsoft Corporation Grasp simulation of a virtual object
US20120051596A1 (en) * 2010-08-31 2012-03-01 Activate Systems, Inc. Methods and apparatus for improved motioin capture
CN102789332A (zh) * 2011-05-17 2012-11-21 义隆电子股份有限公司 于触控面板上识别手掌区域方法及其更新方法
US20130027404A1 (en) * 2011-07-29 2013-01-31 Apple Inc. Systems, methods, and computer-readable media for managing collaboration on a virtual work of art

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110543246A (zh) * 2018-05-28 2019-12-06 深圳市鸿合创新信息技术有限责任公司 一种触控事件处理方法及触控屏装置

Also Published As

Publication number Publication date
US10082935B2 (en) 2018-09-25
CN105210012B (zh) 2019-04-05
EP2987063B1 (en) 2020-01-01
EP2987063A4 (en) 2016-09-14
WO2014172148A2 (en) 2014-10-23
US20140310631A1 (en) 2014-10-16
WO2014172148A3 (en) 2015-05-07
EP2987063A2 (en) 2016-02-24

Similar Documents

Publication Publication Date Title
CN105210012A (zh) 用于与触敏表面一起使用的虚拟工具
US11048333B2 (en) System and method for close-range movement tracking
US12073008B2 (en) Three-dimensional object tracking to augment display area
Lin et al. Ubii: Physical world interaction through augmented reality
CN104769533B (zh) 使用手指触摸类型与电子设备交互
KR101757080B1 (ko) 손위의 단일한 관심 포인트를 이용한 인간-컴퓨터 제스처 기반 동시 상호작용을 위한 방법 및 시스템
KR20150014083A (ko) 전자 장치 및 전자 장치의 입력 인식 방법
US20120327125A1 (en) System and method for close-range movement tracking
US20120326995A1 (en) Virtual touch panel system and interactive mode auto-switching method
EP2482176A2 (en) Multi-input gesture control for a display screen
CN107710111A (zh) 确定用于接近敏感相互作用的俯仰角
CN109933206B (zh) 一种基于Leap Motion的手指无接触绘图方法及系统
JP2005100391A (ja) ハンドジェスチャを認識する方法
CN109643213A (zh) 用于协同编辑工具的触摸屏用户界面的系统和方法
JP5306528B1 (ja) 電子機器および手書き文書処理方法
EP3413179B1 (en) Rejecting extraneous touch inputs in an electronic presentation system
DE112012006448T5 (de) Umsetzung einer Berührungseingabe in eine lokale Eingabe auf der Grundlage eines Umsetzungsprofils für eine Anwendung
Matulic et al. Hand contact shape recognition for posture-based tabletop widgets and interaction
CN103455262A (zh) 一种基于移动计算平台的笔式交互方法及系统
US11715260B2 (en) Offline teaching device, measurement control device, and program
CN113515228A (zh) 一种虚拟标尺显示方法以及相关设备
WO2019134606A1 (zh) 终端的控制方法、装置、存储介质及电子设备
JP2015122124A (ja) 仮想マウスによるデータ入力機能を有する情報装置
Walther-Franks et al. Left and right hand distinction for multi-touch displays
US20130187893A1 (en) Entering a command

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant