CN102693035A

CN102693035A - 模态触摸输入

Info

Publication number: CN102693035A
Application number: CN2012100379042A
Authority: CN
Inventors: S.R.洪吉
Original assignee: Microsoft Corp
Current assignee: Microsoft Technology Licensing LLC
Priority date: 2011-02-18
Filing date: 2012-02-20
Publication date: 2012-09-26
Anticipated expiration: 2032-02-20
Also published as: US20120212421A1; US9235340B2; CN102693035B

Abstract

本发明涉及模态触摸输入。提供了一种持有逻辑子系统（1804）可执行的指令的数据持有子系统（1802）。指令被配置成：接收报告由触摸输入设备辨识的触摸接触的一个或更多个触摸输入消息（1402）；如果一个或更多个触摸输入消息报告的触摸接触满足第一准则，则发起虚拟鼠标输入模式（1405）；在虚拟鼠标输入模式中，输出与满足第一准则的触摸接触的位置对应的光标位置（1409）；如果一个或更多个触摸输入消息报告的触摸接触不满足第一准则，以及一个或更多个触摸输入消息报告的一个或更多个触摸接触满足第二准则，则发起多点触摸输入模式（1418）；以及在多点触摸输入模式中，输出与满足第二准则的一个或更多个触摸接触对应的多点触摸姿态命令（1420）。

Description

模态触摸输入

背景技术

可以把计算设备（诸如，桌面和移动计算平台）设计为支持诸如触控板、指控板、轨迹球、等距操纵杆、数位板、触摸板、触摸屏、鼠标设备等的一个或更多个外围设备。可以把前述外围设备称作空间输入和控制（SIC）设备。SIC设备允许用户提供去往系统和应用的定向输入、访问用户界面中的任意地点、以及发出控制命令。每个SIC设备和主机计算机组合定义用户功能、动作和模态的范围、交互模型、或者方法，其给予系统上的用户空间输入和控制。每个SIC方法具有针对具体活动的不同优点。许多计算设备以单个专用SIC方法为特征，因此针对限制范围的交互设计它们的应用。

前述SIC设备中的许多SIC设备具有各种缺陷。例如，触摸屏设备可能需要用户以扩展、不支持的形态经由多点触摸表面进行交互。用户的手部、腕部、臂部、以及肩部可能在与触摸输入设备交互达延伸的时间段之后变得疲劳。作为结果，用户与设备的交互可能变得越来越不舒服和不精确。再者，直接触摸交互可能在视觉上遮挡触摸屏上呈现的图形的一部分。当运用密集用户界面时可能加剧这些问题。

发明内容

相应地，描述针对持有如下这种指令的数据持有子系统：所述指令可由逻辑子系统执行以接收报告触摸输入设备辨识的触摸接触的一个或更多个触摸输入消息。如果一个或更多个触摸输入消息报告的触摸接触满足第一准则，则发起虚拟鼠标输入模式。在虚拟鼠标输入模式中，输出与满足第一准则的触摸接触的位置对应的光标位置。如果一个或更多个触摸输入消息报告的触摸接触不满足第一准则，以及一个或更多个触摸输入消息报告的一个或更多个触摸接触满足第二准则，则发起多点触摸输入模式。在多点触摸输入模式中，输出与满足第二准则的一个或更多个触摸接触中的每个触摸接触对应的多点触摸姿态命令。

以此方式，用户可以使用单个触摸输入设备在虚拟鼠标输入模式与多点触摸输入模式之间迅速和高效转变。因而，用户可以采用赞同方式的输入模式。

提供此发明内容以介绍下面在具体实施方式中进一步描述的简化形式的概念的选择。此发明内容并非意在识别要求保护的主题的关键特征或必要特征，它也并非意在用来限制要求保护的主题的范围。此外，要求保护的主题不限于解决本公开的任何部分中指出的任何或所有优点的实施方式。

附图说明

图1示出了包括远程触摸输入设备、显示器、以及计算设备的计算系统。

图2示出了触发虚拟鼠标输入模式发起的触摸输入。

图3示意性地示出了由图2中示出的触摸输入引起的触摸接触图像。

图4和5示出了触摸输入设备的多点触摸输入表面上随从触摸输入的实施引起的触摸接触图像。

图6和7示出了触摸输入设备的多点触摸输入表面上另一随从触摸输入的实施引起的其它触摸接触图像。

图8和9示出了触摸输入设备的多点触摸输入表面上多点触摸输入姿态或操控的实施引起的触摸接触图像。

图10示出了触发手写笔输入模式发起的实例触摸输入。

图11示意性地示出了图10中示出的触摸输入引起的触摸接触图像。

图12和13示出了触摸输入设备的多点触摸输入表面上手写笔的实施引起的触摸接触图像。

图14、15A、以及15B示出了用于发起计算设备中输入模式的示范性方法。

图16－17示出了用于在计算设备中的输入模式之间转变的各种方法。

图18示出了计算系统的示意性表示。

具体实施方式

模态触摸输入允许单个多点触摸输入表面提供先前需要使用单独输入设备的输入功能性。如下面更详细解释的，可以经由涉及直接和以符合人体工学的合意方式与多点触摸输入表面交互的一个或两个手部的单个交互模型取得鼠标、笔、和/或多点触摸输入模态的益处。在一些实施例中，把掌部的跟部或手部的边缘施加到多点触摸输入表面使得设备作为鼠标，或者如果检测到手写笔，则作为笔。在这种实施例中，在不存在手部接触的掌部或边缘的情况下的指部接触使得设备作为多点触摸数位仪。根据本公开，用户可以通过以不同手部形态触摸多点触摸输入表面（例如，手部的掌部或边缘向多点触摸输入表面的选择性施加）在鼠标、笔、触摸、和/或空闲模式之间转变。

模态触摸输入允许单个触摸设备提供鼠标、笔、以及多点触摸设备的最有益特性。进一步地，用户能够使用触摸设备在不同输入模式之间无缝转变。

图1示出了包括合作以提供这种模态触摸输入的显示器52、计算设备54、以及随从触摸输入设备56的计算系统50。显示器、计算设备、和/或触摸输入设备可以处于相互有线和/或无线通信。如所示例的，前述系统组件每个被单独装载和隔开。然而，可以运用大量其它合适系统配置。因此，在其它实施例中可以把前述组件中的一个或更多个组件合并到单个机壳中。例如，可以在一些实施例中使用把显示器、计算设备、以及触摸输入设备集成到单个壳体中的笔记本计算设备。进一步地，在其它实施例中，可以把触摸输入设备集成到显示器中以形成触摸屏设备。在这种触摸屏应用中，显示器可以被配置成用于水平或其它非竖直朝向。在一些实施例中，可以把组件以合作方式装载在移动和/或手持机壳中。

触摸输入设备56可以被配置成辨识多点触摸输入表面62上的触摸输入。多点触摸输入表面可以等距、向显示器52注册、以及与显示器52直接接触或为相对于显示器52的任意尺寸、朝向和距离。此外，可以通过数字和/或模拟技术的任何组合完成触摸输入设备56进行的接触辨识。

触摸输入设备56可以被配置成确定多点触摸输入表面62上一个或更多个接触的尺寸、形状、以及地点。接触可以是触摸接触和/或手写笔接触。因而触摸输入设备56可以被配置成检测和跟踪多个触摸接触和/或手写笔接触。此外，触摸输入设备56可以被配置成区分一起或隔离地施加的大接触与小接触。在一些实例中，大接触与小接触之间的尺寸阈值可以是可配置参数。另外，触摸输入设备56可以被配置成区分小聚焦手写笔接触与经由用户手部的指部、掌部或边缘实施的触摸接触。进一步地，在一些实例中，触摸感测子系统64可以被配置成确定触摸接触的2维朝向。以此方式，触摸感测子系统可以能够区分各种各样的触摸输入。

触摸输入可以包括多点触摸输入表面62上一个或更多个触摸接触的施加、移除、和/或移动。此外，触摸输入设备56可以被配置成生成报告触摸输入设备56辨识的触摸接触的触摸输入消息。可以把触摸输入消息发送给内置或外置计算设备以便处理。可以根据与触摸输入设备和计算设备兼容的任何通信协议把触摸输入消息格式化。在一些实施例中，触摸输入消息可以包括表明正触摸多点触摸输入表面的哪些像素/区域、触摸接触的朝向和几何、正触摸这种像素/区域的压力、和/或与触摸有关的其它信息的一个或更多个不同数据结构。可以在单个消息中报告所有像素/区域，或者可以使用不同消息报告不同像素/区域和/或不同触摸。可以实时传送触摸输入消息，以使得可以随着出现改变而辨识和处理对多点触摸输入表面的触摸状态的改变。

在一些实例中，触摸输入设备56可以进一步被配置成接收手写笔输入信号和把报告信号的消息发送给内置或外置计算设备以便处理。可以从手写笔68中包括的通信设备66发送手写笔输入信号。因而，计算系统50可以使用合适发现和通信协议使得触摸输入设备56能够辨识手写笔。这种发现和通信协议的非限制性实例可以运用RFID感测和/或无线通信协议，诸如IEEE 802.15。在一些实施例中，可以在不排斥的情况下通过尺寸、相对于其它接触的位置、和/或来自多点触摸输入表面上手写笔的触摸接触的形状而至少部分地执行手写笔辨识——即，小、聚焦、点接触表明手写笔触摸。

如所示，多点触摸输入表面62可以基本上是平面的。然而，在其它实例中，多点触摸输入表面可以具有非平面轮廓（例如，曲线的）。

触摸输入设备56可以被配置成在虚拟鼠标输入模式和多点触摸输入模式中操作。进一步地，在一些实施例中，触摸输入设备可以被配置成在手写笔输入模式中操作。前述输入模式中的每个输入模式可以具有可以响应于在计算系统50在操作的特定输入模式中时执行的不同类型输入而发起的一套相应命令。

每个模式可以具有确定何时发起该输入模式的至少一个发起准则。例如，如果一个或更多个触摸输入消息报告的触摸接触符合第一准则，则发起虚拟鼠标输入模式。当用户施加大扩散接触（诸如，掌部跟部或手部侧部对多点触摸输入表面62的大扩散接触）时，可以符合第一准则，并且例如可以发起虚拟鼠标输入模式。

图2描绘了用户201执行触摸输入设备56的多点触摸输入表面62上的实例触摸输入200。将会明白，图2中示出的触摸输入设备56的描绘在本质上是示范性的并且触摸输入设备56可以如先前所讨论的那样在其它实施例中采取各种形式。如所示，用户可以把他们手部的一部分（例如，掌部、无名指和小指的指关节、拇指、食指、以及中指的尖端）驻留在多点触摸输入表面62上。这种手部形态类似于握持鼠标的手部形态，并且以与握持鼠标时十分一样的方式支撑手部。因而，在输入的长时段期间用户可能经历相比于需要用户保持在多点触摸输入表面上方提升他们掌部的其它类型的触摸输入技术时他们手部、腕部、臂部、以及肩部中减少的疲劳量。

图3示意性地示出了图2的触摸输入200引起的触摸接触图像300。要理解，把触摸接触图像300示例为在视觉上勾勒可以用来以计算设备可理解的机器可读形式表示触摸接触的（一个或多个）数据结构。在实践中，（一个或多个）数据结构可以包括像素单元的矩阵，并且矩阵中的每个像素单元可以持有表明该像素处的触摸状态（例如，存在触摸、触摸压力等）的一个或更多个值。图3在视觉上勾勒此类型的信息以便解释的清楚性。虽然作为实例数据结构提供矩阵，但它并非意在是限制性的。可以使用（一个或多个）任何合适数据结构。

图3还示意性地示出了可以在显示器（诸如，图1的显示器52）上显示的用户界面301。用户界面可以属于操作系统、应用、和/或计算系统（诸如，图1的计算系统50）的其它程序。

在图3中，触摸接触图像300包括扩散触摸接触图像302和随从触摸接触图像304。要理解，扩散触摸接触图像302表示向多点触摸输入表面施加的扩散接触，而随从触摸接触图像304表示向多点触摸输入表面施加的随从触摸接触。

如果触摸接触中的一个触摸接触满足第一准则，则可以发起虚拟鼠标输入模式。具体地，可以在扩散触摸接触的尺寸状况大于尺寸阈值的情况下，在尺寸状况在阈值尺寸的范围内、和/或扩散触摸接触的形状状况与掌部轮廓匹配的情况下满足第一准则。进一步地，可以根据两个或更多个不同参数（例如，尺寸、形状、相对于其它接触的位置等）分析每个触摸接触。可以按照不同参数的个别分析来计算触摸接触由特定身体部分引起的置信度。在这种实施例中，可以针对置信度阈值比较第一准则（即，在计算的置信度在预定置信度阈值以上的情况下满足第一准则）。以此方式，特定触摸接触是否由用户掌部引起的确定可以基于接触的尺寸、接触的形状、接触相比于其它接触而言的相对位置、和/或其它因素。

在一些实施例中，可以使用对单个或模块化、整个或部分手部模板匹配的最佳拟合匹配以确定什么身体部分归责于不同触摸接触。模板是定义用来识别手部各种接触的区域的几何构造。可以在任何特定方向上限定或不限定表示一个或多个接触的模板区域。模板可以针对用户的手部进行尺寸校准，但是以容纳接触放置的变化，模板区域的放置是非静态的且有赖于它们的相关联接触之中的空间关系。可以使用多于一个模板。每个模板可以表示从设备形式因素和设备的使用方面预期的不同手部形态。系统可以使用几何拟合启发向模板区域匹配接触以便解释触摸输入事件的目的。

在示例的实例中，扩散接触图像302表示的扩散触摸接触可以满足第一准则，因此可以发起虚拟鼠标模式。

在虚拟鼠标输入模式中，可以确定与满足第一准则的触摸接触的位置对应的光标位置并且使用该光标位置来定位用户界面上的光标。相应地，在虚拟鼠标输入模式中，可以响应于虚拟鼠标输入模式的发起在用户界面301上呈现光标306，并且用户界面内光标的位置可以响应于多点触摸输入表面上触摸输入的移动而移动。在图3中，作为箭头描绘了光标。然而，在其它实施例中光标可以具有另一合适形状。

光标的位置可以跟踪扩散触摸接触图像302和/或随从触摸接触图像304的位置。在一些实施例中，光标位置可以跟踪触摸接触图像300的几何中心308或边界框310。边界框310可以是可以包含多点触摸接触图像300中包括的触摸接触的四边形或其它合适形状。作为非限制性实例提供限定框的几何中心308。在其它实施例中，可以通过最大触摸接触的几何中心或另一合适准则确定光标位置。

当发起虚拟鼠标输入模式和在显示器上呈现光标306时，触摸接触位置的后续改变可以使得在用户界面301中相应改变光标306的位置。因此，如果在多点触摸输入表面上移动扩散触摸接触，则可以在用户界面301上相应移动光标。

在一些实施例中，可以在不改变用户界面上光标的位置的情况下抬升和向多点触摸输入表面上的不同位置重新施加触摸接触。重复此交互允许沿着相对较小多点触摸输入表面上用户界面的长路径移动光标。在一些实施例中，可以把用户界面上光标的位置调节为随着触摸接触在多点触摸输入表面上的速度增加而移动得相对更远。

在一些实施例中，可以使光标位置从触摸接触图像300的几何中心308或边界框310（或另一确定的点）偏移。使光标偏移可能在把用户界面301集成到触摸屏设备中时特别有益，其中使光标偏移可以防止用户的手部遮蔽他们对光标306的观看。

在一些实施例中，手部的掌部或边缘的接触可以发起虚拟鼠标模式，但是光标跟踪可以在食指或其它指部而非手部的掌部或边缘下发生。

在一些实施例中，可以给予掌部或手部边缘与一个或更多个指部之间光标跟踪的实时转移。例如，使用外围触摸设备、在可配置时间间隔（两指敲击）内抬高和把食指和中指重新施加到多点触摸输入表面上的同样地点，可以向那些指部转移光标跟踪。遵照此顺序，掌部可以仍然驻留或抬高。如果抬升指部中的一个指部，跟踪光标可以在剩余指部接触下继续。如果抬升两个指部或抬高和随后在可配置时间间隔之后重新施加掌部，则可以把光标跟踪恢复为掌部或手部边缘。在另一实例中，在维持手部的掌部或边缘的扩散接触的情况下除了食指和/或拇指以外抬升所有驻留指部可以使得鼠标跟踪点转移到食指。在此实施例中，恢复随从接触恢复了对掌部或手部边缘的几何中心的光标跟踪。

使用指部接触占用虚拟鼠标模式中用户界面中的对象或视图也可以向该指部转移鼠标光标跟踪。通过移除指部脱离对象或视图可以在假定掌部或手部边缘在脱离发生时与多点触摸输入表面相接触的情况下恢复对掌部或手部边缘的跟踪。

在使用外围触摸设备在触摸接触之中跟踪的鼠标光标的转移中，光标的位置可以不改变。光标位置的位移可能需要多点触摸输入表面上光标跟踪接触的移动。进一步地，在一些实施例中，可以提供鼠标控制区域312以跟踪鼠标命令事件，诸如按钮点击和滚动和调节操作。在鼠标控制区域内，可以把触摸输入解释成虚拟鼠标接触，在鼠标跟踪区域外部可以把触摸输入解释成多点触摸姿态或操控。鼠标控制区域可以被定制尺寸和定位以使得所有同样手部接触可以认为是来自鼠标手部的鼠标事件，而可以把来自其它手部的手部外接触分析成单独多点触摸事件。

可以在虚拟鼠标输入模式中实施各种随从触摸输入。图4－5示意性地示出了由多点触摸输入表面（诸如，图1和2中示出的多点触摸输入表面62）上执行的随从触摸输入引起的触摸接触图像405和505。触摸接触图像405包括表示向多点触摸输入表面施加的扩散触摸接触的扩散触摸接触图像401。另外，触摸接触图像505包括表示扩散触摸接触的扩散接触图像401和表示向多点触摸输入表面施加的随从触摸接触的随从触摸接触图像504。经由扩散触摸接触图像401表示的扩散触摸接触可以符合第一准则，因此可以在图4和5中发起虚拟鼠标模式。

如图4和5中所示，可以在虚拟鼠标输入模式中定义控制区域402。控制区域402的地点可以基于扩散触摸接触的位置和/或形状。同样地，控制区域402的尺寸可以基于扩散触摸接触的尺寸。换言之，可以根据来自该用户掌部的触摸接触的尺寸和形状来推断用户的食指和/或中指将会可能触摸多点触摸输入表面的总体位置。

控制区域402内执行的且匹配某些额外准则的触摸输入可以触发相应命令的执行。另一方面，可以忽略控制区域外部执行的触摸输入。以此方式，用户可以在不触发输入命令的情况下把他们的拇指、小拇指、指关节等驻留在多点触摸输入表面62上。在一些实例中，可以建立用以执行随从触摸输入以减小随从鼠标命令无意激活的可能性的可配置时间间隔。

示范性随从触摸输入是鼠标点击触摸输入。例如，鼠标点击触摸输入可以包括图4中的随从触摸图像404表示的从多点触摸输入表面移除随从触摸接触、以及图5中的随从触摸接触图像504表示的把随从触摸接触重新施加到多点触摸输入表面。将会明白，在控制区域402内执行随从触摸接触。可替选地，鼠标点击触摸输入可以包括控制区域内多点触摸输入表面上随从触摸接触的施加和后续移除。

另一示范性随从触摸输入是鼠标拖动触摸输入。鼠标拖动触摸输入可以包括（1）用以向系统发送点击消息和占用用户界面元素的指部下的敲击或增加的压力、（2）光标跟踪向指部的转移、（3）用以把元素移位的移动、以及（4）用以脱离元素和终止拖动的指部抬升。

响应于控制区域402内多点触摸输入表面上随从触摸输入的实施，可以输出随从鼠标命令。随从鼠标命令可以例如是右击命令、左击命令、或者辅助按钮命令。点击命令可以包括多击命令（例如，双击命令）。随从鼠标命令和相应随从触摸输入可以与外围鼠标可以提供的输入的类型类似。作为结果，用户可以迅速得知如何实施虚拟鼠标输入模式中的鼠标命令。

如同样5中所示，随从鼠标命令可以触发用户界面301上呈现的对象406的占用。因此，用户界面在占用对象时可以在占用状态中。在一些实施例中，扩散触摸接触和/或随从触摸接触的移动可以触发用户界面301上呈现的占用对象406的移动。另一方面，用户界面在可以在不引起对用户界面中视图或对象的致动或持久改变的情况下围绕显示器自由移动光标306时在脱离状态中。其它输入模式也可以在本文中更详细讨论的占用和脱离状态中。

可以通过随从触摸输入的地点区分前述随从鼠标命令（即，右击命令、左击命令、和/或辅助按钮命令）。如图5中所示，可以在虚拟鼠标输入模式中指定左击区域506、右击区域508、以及辅助按钮区域510。如图5中所示，在控制区域402中包括右击区域、左击区域、以及辅助输入区域。在一些实例中，可以基于扩散触摸接触的位置和/或形状选择区域的地点。在额外实例中，辅助输入命令可以经由用户可分配。再者，用户可以校准右击、左击、以及辅助按钮区域。以此方式，可以根据用户的偏好和/或解剖学定制虚拟鼠标输入模式。

在一些实例中，扩散触摸接触的移除可以触发鼠标输入模式的中止，因此可以停止解释和/或传输鼠标命令（例如，光标命令、点击命令等）。然而在一些实例中，可以在虚拟鼠标输入模式的中止之后输出光标位置——即，以允许用户抬升手部以从多点触摸输入表面的另一部分重新开始跟踪。

图6－7示意性地示出了可以由在多点触摸输入表面（诸如，图1和2中示出的多点触摸输入表面62）上执行的另一随从触摸输入引起的触摸接触图像605和705。触摸接触图像605包括表示向多点触摸输入表面施加的扩散触摸接触的扩散触摸接触图像602和表示向多点触摸输入表面施加的随从触摸接触的随从触摸接触图像604。如先前所讨论的，扩散触摸接触会可以符合第一准则，因此可以在图6和7中发起虚拟鼠标模式。

图6和7的随从触摸输入是鼠标滚动触摸输入。鼠标滚动触摸输入包括图6的随从触摸接触图像604表示的向多点触摸输入表面施加随从触摸接触，拖动控制区域内的随从触摸接触，以及然后从多点触摸输入表面移除随从触摸接触，如图7中所示。响应于鼠标滚动触摸输入的执行，可以输出滚动命令。滚动命令可以通过用户界面301上呈现的一列对象606触发滚动。描绘了竖直滚动，然而可以在其它实施例中实施水平和/或轴外滚动。滚动的方向可以对应于与扩散触摸接触相关的随从触摸输入的方向。例如，如果随从触摸输入在总体上朝向或远离扩散触摸接触的方向上移动，则可以实施竖直滚动。

在虚拟鼠标模式中，可以给予诸如缩放、平移、以及旋转的多点触摸空间输入控制（SIC）的一定操控特性。在凭借与多点触摸输入表面相接触的掌部或手部边缘，激活虚拟鼠标模态的情况下，用户可以同时且在可配置时间间隔（敲击）内抬高拇指和一个或更多个指部并且把拇指和一个或更多个指部重新施加到多点触摸输入表面上它们的开始地点，或者在压力敏感多点触摸输入表面上同时增加拇指和指部的压力超过可配置阈值，以信号通知多点触摸输入操控的开始。此交互使得计算系统离开虚拟鼠标模式和进入多点触摸输入模式。在多点触摸输入模式中，可以抑制鼠标导航事件。用户可以通过在保持施加的手部的掌部或侧部的扩散接触时从多点触摸输入表面抬升或释放拇指和指部的压力而离开多点触摸输入模式且回到虚拟鼠标模式。

如果触摸接触不满足第一准则（即，不使接触如同掌部接触一样进行定制尺寸或成型），以及一个或更多个接触满足第二准则，则可以发起多点触摸输入模式。作为非限制性实例，第二准则可以是辨识的一个或更多个指尖定制尺寸的和成型的接触。如此，可以在一个或更多个触摸接触的尺寸状况小于阈值尺寸和/或一个或更多个触摸接触在预定义的多点触摸区域中的情况下满足第二准则。进一步地，在一些实施例中，满足第一准则的大扩散接触对多点触摸输入表面的施加可以引起多点触摸输入模式的间断和虚拟鼠标输入模式的发起。在其它实施例中，可以对于一些触摸接触（例如，右手接触）发起鼠标模式，而对于其它触摸接触（例如，左手触摸接触）发起多点触摸输入模式。

在多点触摸输入模式中，可以响应于多点触摸感测表面（诸如，图1中示出的多点触摸感测表面62）上多点触摸输入的实施而输出多点触摸姿态命令。多点触摸姿态命令可以对应于满足第二准则的一个或更多个触摸接触。特别地，多点触摸姿态命令可以对应于输入姿态和操控事件中的一个或二者。输入姿态的实例是用户追踪字母“S”的形状以保存文档。在这种情形中，多点触摸姿态命令可以对应于完成的姿态。操控事件的实例是可以执行以调节照片的用户指部和拇指的夹捏移动。在这种情形中，可以连续更新（一个或多个）多点触摸姿态命令以便实时跟踪调节。

图8－9示意性地示出了多点触摸输入模式中实施的实例多点触摸输入姿态引起的触摸接触图像805和905。可以在多点触摸输入表面（诸如，图1和2中示出的多点触摸输入表面62）上执行多点触摸输入姿态。触摸接触图像805包括描绘向多点触摸输入表面施加的随从触摸接触的触摸接触表示802。经由触摸接触表示802描绘的触摸接触中的一个或二者可以在触摸接触不满足第一准则（即，没有由掌部触摸接触引起的大扩散接触）时符合第二准则。当用户在不存在扩散触摸接触的情况下向多点触摸输入表面施加指尖接触时，计算系统可以进入多点触摸输入模式。将会明白，当多点触摸输入模式从虚拟鼠标输入模式转变时，多点触摸输入模式的焦点初始地可以位于光标的位置处。在一些实施例中，当在多点触摸输入表面上跟踪两个单独手部时，手部中的只有一个手部可以触发从多点触摸输入模式到虚拟鼠标输入模式的转变。然而，在其它实施例中手部中的二者可以触发从多点触摸输入模式到虚拟鼠标输入模式的转变。

作为一个非限制性实例，多点触摸输入姿态或操控可以包括向多点触摸输入表面施加由图8的触摸接触表示802描绘的两个触摸接触和然后把触摸接触分开，如图9中所示。这种交互可以例如是缩放操控。

响应于多点触摸姿态或操控的执行，在用户界面（分别地为301）中输出和执行具体命令或多点触摸事件。在此特定实例中，多点触摸交互是缩放操控。因此，用户界面301上呈现的对象804随着接触分散而放大，以及随着接触汇合而变小。

将会明白，可以响应于多点触摸输入而输出众多不同的多点触摸姿态命令和/或操控事件。多点触摸姿态命令可以包括激活或启动命令、占用/脱离命令、平移事件、拖动事件、调整尺寸事件、视口调节事件、旋转事件、和/或倾斜事件等。

例如，为了实施多点触摸输入模式中的占用命令，可以向多点触摸输入表面施加触摸接触，并且符合第二准则，诸如多点触摸输入表面上接触的压力超越机械或电子阈值。这些条件可以使得用户界面上呈现的对象变得被占用301。占用使得能够进行包括但不限于仿射变换（例如，位移、旋转、调节和/或倾斜）的对对象的额外操作。

如图8和9中所示，在多点触摸输入模式中可以维持先前发起的操作模式（例如，虚拟鼠标输入模式）中输出的光标306的位置。因此，可以在多点触摸输入模式中维持虚拟鼠标输入模式中的光标位置。光标位置可以提供诸如位移、平移、调节、旋转、倾斜等的仿射变换的原点。

如果触摸输入设备56生成的一个或更多个触摸输入消息报告的触摸接触满足第三准则，则可以发起手写笔输入模式。图10描绘了执行触摸输入设备56的多点触摸输入表面62上手写笔输入1000的用户。如所示，用户可以把他们手部的一部分驻留在多点触摸输入表面62上。因而，在输入的长时段期间用户可能经历相比于需要用户在执行输入时在未支撑位置中握持他们手部的其它类型的触摸输入技术时他们手部、腕部、臂部、以及肩部中减少的疲劳量。

图11示意性地示出了图10中示出的手写笔输入1000引起的触摸接触图像1100。要理解，把触摸接触图像1100示例为在视觉上勾勒可以用来以计算设备可理解的机器可读形式表示触摸接触的（一个或多个）数据结构。在实践中，（一个或多个）数据结构可以包括像素单元的矩阵，并且矩阵中的每个像素单元可以持有表明该像素处的触摸状态（例如，存在触摸、触摸压力等）的一个或更多个值。图11在视觉上勾勒此类型的信息以便解释的清楚性。

图11还示意性地示出了可以在显示器（诸如，图1的显示器52）上显示的用户界面1101。用户界面可以属于操作系统、应用、和/或计算系统（诸如，图1中示出的计算系统50）的其它程序。

如图11中所示，触摸接触图像1100包括扩散触摸接触图像1102和聚焦手写笔接触图像1104。要理解，聚焦手写笔接触图像1104表示向多点触摸输入表面施加的聚焦手写笔接触，而扩散触摸接触图像1102表示向多点触摸输入表面施加的扩散触摸接触。聚焦手写笔接触和/或扩散触摸接触可以满足第三准则。在一些实例中，在触摸接触遵从聚焦点接触的特定尺寸、形状、位置和/或压力轮廓，和/或触摸接触的形状状况与尺骨轮廓匹配的情况下满足第三准则。将会明白，尺骨轮廓可以是与用户手部尺骨侧的轮廓对应的预定形状范围。进一步地，在一些实例中，可以在触摸输入设备接收电子手写笔接触中信号时发起手写笔输入模式。这种信号可以起源于无线电、电阻式、电容式、光学或其它传感器技术。

以上准则是非限制性实例。可以运用任何合适准则以便确定用户何时正使用手写笔触摸多点触摸输入表面。当做出这种确定时，可以发起手写笔输入模式。

在图11中，可以从操作的先前模式（诸如，操作的鼠标输入模式）维持用户界面1101上呈现的光标306的位置，或者光标位置可以跳转到新位置。作为非限制性实例，当触摸输入设备是触摸屏设备时光标的位置可以跳转到手写笔的尖端下的地点。然而，当触摸输入设备是外围输入设备时，可以在从虚拟鼠标输入模式切换到手写笔输入模式时维持光标的位置。

可以在手写笔输入模式中实施各种输入。图12和13示意性地示出了多点触摸输入表面（诸如，图1和2中示出的多点触摸输入表面62）上执行的手写笔输入引起的触摸接触图像1205和1305。触摸接触图像1205包括表示向多点触摸输入表面施加的扩散触摸接触的扩散触摸接触图像1202和表示向多点触摸输入表面施加的聚焦手写笔接触的聚焦手写笔接触图像1204。聚焦手写笔接触和/或扩散触摸接触可以满足第三准则。因此，可以在用户界面1101中发起手写笔输入模式。

手写笔输入包括施加经由图12的聚焦手写笔接触图像1204表示的聚焦手写笔接触、沿着路径1206滑动聚焦手写笔接触、以及移除聚焦手写笔接触，如图13中所示。

响应于手写笔输入的实施，可以输出手写笔命令。手写笔命令可以包括被配置成呈现与路径1206对应的用户界面1101上线1302的拖动命令。然而，可以在其它实例中实施其它手写笔命令。

在一些实施例中，扩散触摸接触从多点触摸输入表面的移除可以触发手写笔输入模式的终止。进一步地，在一些实施例中，聚焦手写笔接触的移除可以无论扩散触摸接触如何均触发手写笔输入模式的终止。手写笔信号的丢失也可以触发手写笔输入模式的终止。进一步地，在一些实施例中，在把扩散触摸接触施加到多点触摸输入表面时聚焦手写笔接触的移除可以使得终止手写笔输入模式和发起虚拟鼠标输入模式。

此外，可以在手写笔输入模式中忽略向多点触摸输入表面施加的触摸输入。因此，在一些实施例中忽略手写笔输入模式中的指部敲击（即，多点触摸输入表面上触摸接触的施加和后续移除）和其它指部移动。

在其它实施例中，可以同时启用手写笔输入模式和多点触摸输入模式。例如，用户可以使用一个手部实施手写笔输入和使用另一手部实施多点触摸姿态。因此在一些实施例中，可以把小于与扩散触摸接触的最小尺寸对应的阈值和具有离散几何的触摸接触视作触摸接触，而可以把尖锐和聚焦（例如，尺寸状况小于阈值）的尖端接触视作手写笔接触。进一步地在一些实施例中，可以在未向多点触摸输入表面施加接触时发起空闲模式。同样地，可以在向多点触摸输入表面施加一个或更多个接触时使空闲模式间断。

图14、15A、以及15B示例了用于发起计算系统中输入模式的实例方法1400。可以使用本文中描述的系统和设备的硬件和软件组件、和/或经由任何其它合适硬件和软件组件来实施方法1400。

在1402，方法包括接收报告触摸输入设备辨识的触摸接触的一个或更多个触摸输入消息。在1404，确定一个或更多个触摸输入消息报告的触摸接触是否满足第一准则。如先前所讨论的，可以在触摸接触的一个或更多个状况遵从一个或更多个独特接触（例如，掌部）的触摸接触的特定尺寸范围、形状状况、以及相对位置的情况下满足第一准则。

如果满足第一准则（在1404，是），则方法前往1405，其中方法包括发起虚拟鼠标输入模式。在1406，方法包括选择报告的触摸接触中包括的跟踪触摸接触。在1407，方法包括在跟踪触摸接触之间切换。方法在1408包括接收报告跟踪触摸接触移动的一个或更多个触摸输入消息。在1409，方法包括基于跟踪触摸接触的移动而输出鼠标移动事件。

移动到图15A的1410，方法包括确定是否在控制区域处辨识出除了满足第一准则的触摸接触以外的随从触摸接触。将会明白，可以在1402接收的一个或更多个触摸输入消息所报告的一个或更多个触摸接触中包括随从触摸接触。

如果确定在控制区域处未辨识出随从触摸接触（在1410，否），则在1412方法包括忽略随从触摸接触。

然而如果确定在控制区域处辨识出随从触摸接触（在1410，是），则在1414方法包括输出与随从触摸接触对应的随从鼠标命令。

回到图14，如果确定一个或更多个触摸输入消息报告的触摸接触不满足第一准则（在1404，否），则在1416方法包括确定一个或更多个触摸输入消息报告的一个或更多个触摸接触是否满足第二准则。如先前所讨论的，可以例如在一个或更多个触摸接触小于阈值尺寸和/或在预定义的多点接触区域中的情况下满足第二准则。

如果一个或更多个触摸输入消息报告的一个或更多个触摸接触满足第二准则（在1416，是），则在1418方法包括发起多点触摸输入模式。在1420，方法包括输出与满足第二准则的一个或更多个触摸接触中的每个触摸接触对应的多点触摸姿态命令。

移动到图15B的1422，如果确定一个或更多个触摸接触不满足第二准则（在图14的1416，否），则方法包括确定一个或更多个触摸输入消息报告的触摸接触是否满足第三准则。可以例如在触摸输入的尺寸和形状状况在预定范围内和/或触摸接触的形状状况与尺骨轮廓匹配的情况下满足第三准则。

如果一个或更多个触摸输入消息报告的触摸接触满足第三准则（在1422，是），则在1424方法包括发起手写笔输入模式。另外，可以响应于与尖端接触无关的电子（例如，无线电、光学等）范围中手写笔信号的接收而发起手写笔输入模式。在1426，方法包括输出接收的触摸输入消息中的一个或更多个触摸输入消息对应的手写笔命令。

在前述模式中的每个模式（即，虚拟鼠标输入模式、多点触摸输入模式、以及手写笔输入模式）内，显示器上呈现的用户界面的元素可以在正实施目标获取的脱离状态中。目标获取可以包括寻求或针对要交互的一个或更多个用户界面对象。另一方面，用户界面可以在用户正与用户界面对象直接交互的占用状态中。例如，在脱离状态中，可以在虚拟鼠标输入模式中围绕用户界面移动光标。然后，用户可以实施触发点击命令致动的随从触摸输入。点击命令可以占用在其上放置光标的对象，从而使用户界面置于占用状态中。

另外在一些实例中，在虚拟鼠标输入模式中按钮向下命令（例如，左或右按钮向下命令）、滚动命令、和/或缩放命令可以触发用户界面的占用。在多点触摸输入模式中，可以在多点触摸输入表面上正执行姿态或操控（例如，随从接触正被施加和/或在运动中）时触发占用。进一步地在一些实例中，用于在占用状态中的准则可以基于输入姿态或操控的类型而变化。在手写笔输入模式中可以在笔命令、桶状向下按钮、和/或笔尖与多点触摸输入表面相接触时触发占用。可以在从多点触摸输入表面移除或释放维持用户界面占用的随从接触、笔接触、姿态、操控等时触发虚拟鼠标输入模式、多点触摸输入模式、和/或手写笔输入模式中的脱离。显示器上呈现的用户界面所在的状态（即，占用或脱离）可以影响操作的输入模式（即，虚拟鼠标输入模式、多点触摸输入模式、以及手写笔输入模式）之间的转变。例如，当用户界面在脱离状态中时输入模式可以响应于触摸接触提示发起另一输入模式而直接转变成另一输入模式。例如，如果从多点触摸输入表面移除满足第一准则的扩散接触，则可以发起多点触摸输入模式。作为推论，在从第一输入模式中的脱离状态向第二输入模式的转变中，可以在输入模式支持脱离状态的情况下维持脱离状态。然而，如果不支持脱离状态，则可以忽略任何剩余接触直到用户在多点触摸输入表面上移除和更换它们为止。此外，如果向占用状态中的多点触摸输入表面施加或从占用状态中的多点触摸输入表面移除满足第一准则的触摸接触，则可以维持计算系统正操作所处的模式。

图16－17示例了用于在输入模式之间转变的各种方法。具体地，图16示出了用于在虚拟鼠标输入模式与多点触摸输入模式之间转变的方法1600。可以使用本文中描述的系统和设备的硬件和软件组件、和/或经由任何其它合适硬件和软件组件来实施方法1600。具体地，可以经由其中触摸输入设备是外围触摸设备的如上所述的计算系统来实施方法1600。

在1602，方法包括确定是否发起了虚拟鼠标输入模式。如果发起了虚拟鼠标输入模式（在1602，是），则方法前往1604，其中方法包括确定是否从多点触摸输入表面移除了满足第一准则的触摸接触。将会明白，在方法1600中在外围触摸设备中包括多点触摸输入表面。如果确定尚未从多点触摸输入表面移除满足第一准则的触摸接触（在1604，否），则方法回到1602。然而，如果确定从多点触摸输入表面移除了满足第一准则的触摸接触（在1604，是），则方法前往1606，其中方法包括确定显示器上呈现的用户界面是否在占用状态中。作为一个实例，点击命令可以使用户界面设置成占用状态。再者，用户可以在一些实施例中使用随从输入来操控占用状态中用户界面中呈现的对象。

如果确定用户界面在占用状态中（在1606，是），则方法回到1602。将会明白，随从接触的中止可以触摸占用状态的终止。然而，如果确定用户界面在脱离状态中（在1606，否），则方法前往1608，其中方法包括以脱离状态发起多点触摸输入模式。在1610，方法包括输出光标的位置处或贴近处的触摸接触位置。然而在一些实施例中在方法1600中可以不包括步骤1610。

图17示出了用于在多点触摸输入模式与虚拟鼠标输入模式之间转变的方法1700。可以使用本文中描述的系统和设备的硬件和软件组件、和/或经由任何其它合适硬件和软件组件来实施方法1700。具体地，可以经由触摸输入设备是触摸屏设备或外围设备的如上所述的计算系统来实施方法1700。

在1702方法确定是否发起了多点触摸输入模式。如果确定发起了多点触摸输入模式（在1702，是），则方法前进到1704，其中确定是否把满足第一准则的触摸接触施加到了多点触摸输入表面。将会明白，可以在外围触摸设备中包括多点触摸输入表面。

如果确定尚未把满足第一准则的触摸接触施加到多点触摸输入表面（在1704，否），则方法回到1702。然而，如果确定把满足第一准则的触摸接触施加到了多点触摸输入表面（在1704，是），则方法前往1706，其中确定显示器上呈现的用户界面是否在占用状态中。如果确定显示器上呈现的用户界面在占用状态中（在1706，是），则方法回到1702。如果确定显示器上呈现的用户界面未在占用状态中（在1706，否），则方法前进到1708，其中在脱离状态中发起虚拟鼠标输入模式。

可以把上述方法和过程结合到计算系统，诸如图1的计算系统50。图18示意性地示例了较通常形式的计算系统1800。可以如参照计算系统1800所述的那样配置计算系统50、或者与本公开兼容的其它计算系统。要理解，可以在不脱离本公开范围的情况下使用任何计算系统。

计算系统1800包括数据持有子系统1802、逻辑子系统1804和触摸感测子系统1806。逻辑子系统1804可以包括被配置成执行一个或更多个指令的一个或更多个物理设备。例如，逻辑子系统可以被配置成执行作为一个或更多个程序、例程、对象、组件、数据结构、或者其它逻辑构造的一部分的一个或更多个指令。可以实施这种指令以执行任务、实施数据类型、变换一个或更多个设备的状态、或者以其它方式达到期望结果。逻辑子系统可以包括被配置成执行软件指令的一个或更多个处理器。另外或可替选地，逻辑子系统可以包括被配置成执行硬件或固件指令的一个或更多个硬件或固件逻辑机器。此外逻辑子系统1804可以处于与触摸感测子系统1806的可操作通信。

数据持有子系统1802可以包括被配置成持有逻辑子系统可执行的数据和/或指令以实施本文中描述的方法和过程的一个或更多个物理设备。当实施这种方法和过程时，可以变换数据持有子系统1802的状态（例如，以持有不同数据）。数据持有子系统1802可以包括可移除介质和/或嵌入设备。数据持有子系统1802可以包括光学存储器设备、半导体存储器设备、和/或磁存储器设备等。数据持有子系统1802可以包括具有以下特性中一个或更多个特性的设备：易失性、非易失性、动态、静态、读/写、只读、随机访问、顺序访问、地点可寻址、文件可寻址、以及内容可寻址。在一些实施例中，可以把逻辑子系统1804和数据持有子系统1802集成到一个或更多个共同设备（诸如，专用集成电路或片上系统）中。另外，可以使用图1中示出的显示器52来呈现数据持有子系统1802持有的数据的视觉表示。

可以在图1中示出的触摸输入设备56或计算设备54中包括逻辑子系统1804和数据持有子系统1802。另一方面，逻辑子系统1804和数据持有子系统1802可以可选地包括遍布可以在一些实施例中位于远程的两个或更多个设备分布的个别组件。

触摸感测子系统1806被配置成使得计算系统1800能够确定多点触摸输入表面（诸如，图1中示出的多点触摸输入表面62）上一个或更多个接触的尺寸和地点。触摸感测子系统1806可以是光学感测子系统、电容式感测子系统、电阻式感测子系统、机械压力感测子系统、或者任何其它合适多点触摸功能输入设备。

要理解，本文中描述的配置和/或途径在本质上是示范性的，而不要在限制性意义上考虑这些具体实施例或实例，因为大量变化是可能的。本文中描述的具体例程或方法可以表示任何数量处理策略中的一个或更多个处理策略。如此，示例的各种动作可以按示例的顺序、按其它顺序、并行地执行，或者在一些情形中略去。同样地，可以改变上述过程的次序。

本公开的主题包括本文中公开的各种过程、系统和配置、以及其它特征、功能、动作、和/或属性的所有新颖和不显而易见的组合和子组合，以及其任何和所有等同物。

Claims

1. 一种数据持有子系统（1802），用于持有逻辑子系统（1804）可执行的指令以：

接收报告触摸输入设备辨识的触摸接触的一个或更多个触摸输入消息（1402）；

如果一个或更多个触摸输入消息报告的触摸接触满足第一准则，则发起虚拟鼠标输入模式（1405）；

在虚拟鼠标输入模式中，输出与满足第一准则的触摸接触的位置对应的光标位置（1409）；

如果一个或更多个触摸输入消息报告的触摸接触不满足第一准则，以及一个或更多个触摸输入消息报告的一个或更多个触摸接触满足第二准则，则发起多点触摸输入模式（1418）；以及

在多点触摸输入模式中，输出与满足第二准则的一个或更多个触摸接触中的每个触摸接触对应的多点触摸姿态命令（1420）。

2. 如权利要求1所述的数据持有子系统，其中在触摸接触的尺寸状况大于尺寸阈值和/或触摸接触的形状状况与掌部轮廓匹配的情况下满足第一准则。

3. 如权利要求1所述的数据持有子系统，进一步包括：如果一个或更多个触摸输入消息报告的触摸接触满足第三准则或如果接收到发起手写笔输入模式的手写笔信号则发起手写笔输入模式。

4. 如权利要求3所述的数据持有子系统，其中在触摸接触的尺寸状况小于尺寸阈值、触摸接触的形状状况是聚焦点接触、和/或触摸接触的形状状况与尺骨轮廓匹配的情况下满足第三准则。

5. 如权利要求1所述的数据持有子系统，进一步包括：在虚拟鼠标输入模式中，如果在控制区域处辨识出不包括满足第一准则的触摸接触的随从触摸输入，则输出与随从触摸输入对应的随从鼠标命令。

6. 如权利要求5所述的数据持有子系统，其中随从鼠标命令是左击命令、右击命令、辅助按钮命令、竖直滚动命令、对象调节命令、以及水平滚动命令中的一个。

7. 如权利要求1所述的数据持有子系统，进一步包括：在虚拟鼠标输入模式中，如果在控制区域的外部辨识出随从触摸接触，则忽略随从触摸接触。

8. 如权利要求1所述的数据持有子系统，其中在虚拟鼠标输入模式中使光标位置从满足第一准则的触摸接触的位置偏移。

9. 如权利要求1所述的数据持有子系统，其中继鼠标输入模式的中止后维持输出光标位置输出。

10. 一种用于发起计算系统（50）中输入模式的方法，方法包括：

接收报告触摸屏设备辨识的触摸接触的一个或更多个触摸输入消息（1402）；

如果一个或更多个触摸输入消息报告的触摸接触不满足第一准则，以及一个或更多个触摸输入消息报告的一个或更多个触摸接触满足第二准则，则发起多点触摸输入模式（1418）；

在多点触摸输入模式中，输出与满足第二准则的一个或更多个触摸接触中的每个触摸接触对应的多点触摸姿态命令（1420）；以及

在虚拟鼠标输入模式中，如果在控制区域处辨识出不包括满足第一准则的触摸接触的随从触摸输入，则输出与随从触摸输入对应的随从鼠标命令（1414）。