CN106489117B - 使用时空触摸特征和迭代分类的概率性防手掌误触 - Google Patents

Abstract

本发明是利用时间特征、迭代分类和概率性投票的防手掌误触技术。基于从尺寸增加的时间窗周期性地提取的特征来分类触摸事件，所述尺寸增加的时间窗总是以事件的起源为中心。该分类过程使用作用于所述特征的一系列决策树。

Description

使用时空触摸特征和迭代分类的概率性防手掌误触

相关申请

本申请要求2014年4月14日提交的美国临时专利申请No.61/995578的权益。

政府权利

本发明是在NSF编号IIS1217929下利用政府支持做出的。政府拥有本发明的某些权利。

技术领域

本发明涉及人/机交互，并且更具体地，涉及典型地在平板电脑或智能电话上发现的类型的触摸敏感屏幕与使用触控笔的人手之间的交互。

背景技术

平板电脑经常被要求模仿经典的笔和纸输入。然而，如今大多数触摸设备(最著名的是非常受欢迎的苹果iPad平板电脑)缺乏防手掌误触(plam rejection)特征。在笔或触摸输入系统中未能有效地防手掌误触导致人体工程学问题、意外激活和不想要的输入，从而妨碍这些输入系统的流畅且高效的使用。这个问题在现有技术中是众所周知的。

目前，消除来自人输入的触控笔输入的歧义的最可靠方式是使用特殊的硬件。例如，超声换能器可以被放置在屏幕的外围处以感测由有源笔(active pen)发射的超声脉冲。还可以使用红外发射笔与两个或更多个相机来三角测量屏幕上的平面位置。另一种方法使用模拟手指触摸的无源电容性尖端。笔本身是被供电的并且是压力敏感的，以通过蓝牙将数据发送到设备。利用定时信息，可以将触摸事件与落笔事件相关联。

现有技术中已知的另一种方法使用谐振电感耦合，其使用特殊的笔和在传统电容性触摸屏后面操作的传感器板。该技术被用在诸如微软Surface和三星Galaxy Note之类的设备中。类似地，另一种方法使用在触摸屏后面的霍尔效应传感器的网格来感测特殊的笔的磁性尖端。还已知的是使用红外接近传感器的网格和计算机视觉来分离手掌输入与手指输入。最后，先进的电容性触摸屏可以通过查看接触尺寸和电容性性质来区分无源触控笔。

即使利用用于触控笔支持的特殊硬件，如果手指仍然可以用于输入，则简单地区分笔和手指也是不够的。在这种情况下，在缺少笔时，不想要的手掌触摸仍然可能被解释为手指触摸。因此，仍然需要软件来可靠地区分笔和手指与手掌，而以上解决方案没有解决这些。

虽然特殊的触控笔趋于提供优异的精确度，但是显著的缺点是需要专用的附件，而专用的附件通常是平台特定的。此外，通常需要附加的内部硬件来支持这些笔，从而增加了移动设备的构建成本、尺寸和功率消耗。因此，可以易于部署和更新的仅软件解决方案是有吸引力的。此外，软件解决方案提供了消除手指和手掌输入之间的歧义的能力。然而，在没有消除触摸事件的歧义的固有方式的情况下，软件解决方案必须依赖于巧妙的处理或交互技术。

对于光学多点触摸设备，一种方法是识别从相机图像可见的手掌区域。在具有电容性屏幕的移动设备上，该任务更具挑战性，因为应用程序一般没有权限访问手图像，或者甚至没有权限访问触摸屏的电容性响应。相反，应用程序必须依赖于关于触摸位置、方向(如果可用的话)和尺寸的信息。在iOS和Android应用商店中有许多声称具有防手掌误触特征的应用程序。遗憾的是，它们均没有充分地解决防手掌误触的问题。

本领域中已知的一种方法是指定特殊的“防手掌误触区域”，在该“防手掌误触区域”中所有触摸都被忽略，虽然这是不实用的。遗憾的是，在输入区域外部的手掌触摸仍然可以提供意外的输入(例如，意外的按钮按压)。一种已知的方法利用更复杂的几何模型来指定防误触区域，提供五个参数的可缩放的圆和绕轴旋转的矩形，该防误触区域比矩形区域更好地捕获由手掌覆盖的区域。

第二种方法使用时空特征，以查看触摸性质的演变和在短时间窗上的移动。我们假设：首先绘制然后去除笔划的应用程序必须在检测意外触摸之前等待某一时间段。现有技术的应用程序需要用户指定关于他们用手习惯的方向的信息并且在固定方向上使用平板电脑。另外，一种现有技术的应用程序需要用户指定他们使用的三个手写姿势之一。

发明内容

本发明是一种新颖的、迭代式的、概率性的防手掌误触方法。系统不需要初始的配置，并且独立于屏幕方向和用户的用手习惯。在一个示例中，该方法被用在没有本地防手掌误触或触控笔输入的平台上。然而，该方法是平台不可知的，并且将在报告多个触摸接触连同位置和触摸区域的任何系统上起作用。

附图说明

图1呈现了在不同时间点出现的相对于感兴趣的触摸接触(D，点)的触摸的图示示例。由手掌(空心圆)导致的触摸点经常是短暂的、大的并且具有低速度。我们的方法使用不同尺寸的时间窗来在若干个时间点提取每个触摸点的特征并执行分类。在此示例中，我们示出：针对该点的分类如何随窗口尺寸的变化而变化。

图2示出在不同持续时间上的分类精确度(真阳性)。最左的点为t＝1ms。

图3示出在特征的评估和投票过程中使用决策树。

具体实施方式

五个性质区分手掌输入与指示器(即，手指或触控笔)输入；1)手掌的触摸区域趋于是大的，而指示器具有小尖端；2)在大多数触摸屏上，大的手掌接触区域被分割成经常闪烁和熄灭的触摸点的集合；3)这些手掌点趋于聚集在一起，而指示器典型地是孤立的；4)不同于手掌，触控笔触摸具有一致的面积，而手掌的面积随它们抵着屏幕变形而变化；以及5)手掌一般移动很小，而指示器输入趋于具有更长的、更平滑的轨迹。

经常具有在触摸点出现在屏幕上之前就存在的显著的上下文。例如，当打点“i”时，触控笔触摸可能仅仅存在50ms，然而，手掌可能已经预先在显示器上长达几秒。因为本方法记录所有触摸数据，包括来自正在讨论的触摸之前的数据，所以可以进行更确信的分类。

在该发明的一个实施例中，使用了表征感兴趣的触摸点以及其与相邻点的关系的一系列特征。这些特征是针对对应于特定触摸接触(其需要将接触分类为触控笔或手掌的一部分)并且在以t＝0(触摸点的起源)为中心的时间窗上发生的触摸事件序列而计算的。时间窗关于t＝0对称地扩展，确保包括了来自初始触摸事件之前和之后的数据(图1)。

每个触摸事件具有表示触摸区域的近似中心的形心位置，以及指示从触摸区域的形心到周边的最大距离的半径。在一个示例中，特征包括对于每个时间窗通过针对与特定触摸接触对应的触摸事件序列计算的统计值(平均值/标准偏差/最小值/最大值)。这些统计值是为每个事件的半径以及连续事件的速度和加速度而计算的。附加的特征包括序列中的事件总数以及针对在t＝0时的触摸事件和在任何并发序列(属于其它触摸接触)中的所有触摸事件的形心之间的笛卡尔距离计算的平均值/标准偏差/最小值/最大值。所有这些特征是旋转和翻转不变的。这应当最小化了设备和手方向以及用手习惯对分类的影响。

为了了解哪些特征区分手掌和触控笔，通过使用利用最佳优先搜索的基于相关的特征子集选择来对训练数据集执行特征选择。为了确定最重要的特征，使用用于数据挖掘任务的机器学习算法的集合Weka。Weka是使得计算机程序能够自动分析大量数据并决定哪个信息最相关的工具的工作台。经发现，到其它触摸的最小距离、触摸事件的数量以及触摸半径的最小值/平均值/最大值/标准偏差是最具可预测性的。

本方法记录由触摸屏报告的所有触摸事件。在一个示例中，在触摸点已经存续至少25ms之后，系统将触摸分类为“指示器”或“手掌”。在一个示例中，如果触摸在25ms过去之前终止，则使用所有可用数据来将其分类。在起源之后的50ms时，执行另一次分类。对于此后的每隔50ms，直到自起源起的500ms，重复此分类，每次分类贡献一个“投票”。基于迄今累积的投票中的多数，分配临时触摸类型(笔或者手掌)。在500ms之后，或者如果接触点消失(以先到者为准)，投票停止，并且最终投票被用于分配永久分类。注意：投票隐含地编码可以在概率性输入系统中使用的置信度得分。这在示出了投票120的图1中得到图示。在100ms时，触摸事件被分类为指示器触摸。在300ms时，投票变成手掌触摸，但是在500ms时，投票退回到指示器触摸。

在一个实施例中，迭代分类方法允许系统向用户示出直接反馈。如图2中所示，系统最初示出其最佳猜测(在一个示例中，大约98％精确)，并且稍后随着有更多信息变得可用而将此改善。例如，如果触摸最初被猜测为触控笔触摸(1个投票)，应用程序将在画布上渲染笔划。如果此猜测稍后改变(即，随着更多投票被贡献而导致共识反转)，则从画布去除笔划。

在该发明的一个方面中，在窗口尺寸的范围为从50到1000ms的情况下，通过使用在前面的部分中描述的特征来训练十一个决策树，例如，在25ms、50ms、100ms、150ms等直到500ms时触发的分类器。图1示出了三个这样的窗口。在100ms时，时间窗100被示为具有以时间t＝0为中心的200ms的宽度。同样地，在300ms和500ms时，窗口102和104也被示为以时间t＝0为中心、宽度分别为500ms和1000ms。

使用来自直到最大窗口尺寸的所有在前窗口的触摸特征来训练每个树。例如，在200ms时触发的分类器使用从50、100、200、300和400ms的窗口尺寸获得的特征(窗口是对称的，以t＝0为中心)。在一个示例中，Weka用于使用C4.5算法来训练决策树。

在一个示例中，使用定制的iOS应用程序来收集训练数据。对于每个训练实例，1cm半径的点被随机放置在屏幕上。用户被告知以他们认为合适的任何方式将他们的手掌放在屏幕上，使得他们可以绘制他们选择的在这个圆中开始的笔划。该过程允许收集标记的指示器和手掌点数据。总体上，从使用各种手姿势、平板方向和用手习惯的五个人捕获22251个触摸事件实例(其中2143个是触控笔笔划)。

为了估计这种迭代方法的有效性，用户研究数据被分成11373个训练实例(来自3个参与者)和10878个测试实例(来自2个其他人)。图2示出了在增加的时间窗上的测试精确度。在t＝1ms时的分类被包括以近似瞬时分类。在一个示例中，精确度随着窗口尺寸增加而提高，在200ms时稳定在大约99.5％。分类可以持续到500ms，但是如图2所示，主要的精确度增益出现在第一个100ms中。这个实验结果强调了利用时间特征并且还延迟最终分类的重要性。

图2示出了立即执行分类(在t＝1ms时)得到98.4％的分类精确度(kappa＝0.79)。这是足够精确的，可以立即渲染实时图形反馈，而仅偶尔需要随后的反转。在50ms时的重新分类减少44％的错误。通过继续迭代分类并且投票达到100ms，精确度增加到(kappa＝0.94)，错误率进一步降低29％。

本发明的实施例已经使用运行iOS 6的苹果iPad2来实现，然而，本领域技术人员将认识到的是，本发明的方法还可能用在报告多个触摸接触连同位置和触摸区域的任何系统上。

Claims (15)

1.一种用于在具有触摸敏感屏幕的计算设备上区分手掌触摸和指示器触摸的方法，所述方法包括以下步骤：

从所述计算设备接收与所述触摸敏感屏幕相关联的触摸事件的通知；

基于表征所述触摸事件以及所述触摸事件与其它事件的关系的一系列特征，分类所述触摸事件；

在以接收所述触摸事件的时间为中心的时间窗上，周期性地重新分类所述触摸事件；

其中，对于重新分类所述触摸事件的重新分类，所述时间窗从接收所述触摸事件的时间向前和向后对称地扩展，同时维持所述时间窗以该时间为中心；

其中，所述重新分类基于所述一系列特征、从与所述触摸敏感屏幕相关联的在所述时间之前出现的先前触摸事件获得的先前特征、以及从与所述触摸敏感屏幕相关联的在所述时间之后出现的后续触摸事件获得的后续特征；以及

其中，所述分类和所述重新分类贡献用于确定所述触摸事件的最终分类的相应投票。

2.根据权利要求1所述的方法，其中，由包括所述分类和所述重新分类的各个分类所贡献的相应投票将所述触摸事件表征为手掌触摸或指示器触摸，并且其中，基于包括相应投票的投票的累积来确定最终分类。

3.根据权利要求1所述的方法，其中，所述方法还包括以下步骤：

如果将所述触摸事件分类为指示器触摸，则通过在所述触摸敏感屏幕上渲染笔划而向用户示出即时反馈；以及

如果相应投票的累积曾经指示所述触摸事件将被分类为手掌触摸，则去除所述笔划。

4.根据权利要求1所述的方法，其中，所述特征包括针对触摸事件序列计算的统计值，所述触摸事件序列包括所述先前触摸事件、所述触摸事件、所述后续触摸事件。

5.根据权利要求4所述的方法，其中，包括所述触摸事件、所述先前触摸事件、所述后续触摸事件在内的相应触摸事件包括形心和半径，并且其中所述特征包括针对相应触摸事件中的每个触摸事件的半径计算的平均值、标准偏差值、最小值和最大值。

6.根据权利要求5所述的方法，其中，相应特征还包括所述触摸事件序列中的触摸事件的总数。

7.根据权利要求5所述的方法，其中，所述一系列特征还包括所述触摸事件在所述触摸事件被接收时的形心与相应触摸事件中的其它触摸事件的形心之间的笛卡尔距离。

8.根据权利要求1所述的方法，其中，通过使用针对时间窗口的变化的窗口尺寸利用所述一系列特征或其它特征训练的一系列决策树来执行所述分类，其中所述其它特征包括所述先前特征和所述后续特征。

9.根据权利要求5所述的方法，其中，所述特征还包括到相应触摸事件中的其它触摸事件的最小距离以及相应触摸事件中的触摸事件的数量。

10.根据权利要求1所述的方法，其中，由所述计算设备报告的所有触摸事件被记录和分类。

11.根据权利要求1所述的方法，其中，所述触摸事件的所述分类在已经接收所述触摸事件之后的大约25ms时发生。

12.根据权利要求2所述的方法，其中，所述重新分类在已经接收所述触摸事件之后的大约50ms时发生，并且另一次重新分类在此后的大约50ms时发生。

13.根据权利要求12所述的方法，其中，所述最终分类在预定时间或当所述触摸事件终止时发生。

14.根据权利要求1所述的方法，其中，所述触摸事件持续小于25ms，并且其中，所述最终分类基于在所述触摸事件终止时可用的所有数据。

15.根据权利要求1所述的方法，还包括在接收到所述触摸事件时执行分类的步骤。