CN108762577A - 用于分类触敏表面上的触摸事件的方法和设备 - Google Patents

Abstract

一种分类触摸事件的设备。该设备包括触敏表面，其配置成在物体触摸该触敏表面时生成触摸事件。触摸事件在与表面接触时需要机械振动。该设备包括：触摸事件检测器，配置成检测触摸的开始；以及触摸事件分类器，配置成分类触摸事件，以识别用于触摸事件的物体。机械振动经由包括指尖、指垫、指甲和指节的任一个手指部分来创建，其各具有相互不同的唯一特征。

Description

用于分类触敏表面上的触摸事件的方法和设备

本申请是申请日为2012年10月18日、申请号为201280062500.7、名称为“用于分类触敏表面上的触摸事件的方法和设备”的发明申请的分案。

本申请要求2011年10月18日提交的美国临时专利申请No.61/627831的权益，通过引用将其结合于此，如同本文中完全提出一样。

技术领域

本发明涉及对触摸交互的增强；以及更具体来说，涉及用于分类触敏表面上的触摸事件的设备和方法。

背景技术

计算机越来越多地包含直接触摸界面，其见于包括从售货亭和互动桌面到平板计算机和手持移动装置在内的形式。当前，触摸屏上的手指输入以过分简单化方式来操控，常常简化为X/Y坐标。存在许多技术，其具有数字化不同类型的输入的能力。存在两种主要触摸感测方式：有源和无源。有源方式的主要不利方面在于，必须使用显式物体(例如特殊笔)，其采用电子器件(以及电池(若没有附连的话))来实现。例如，采用笔尖上的红外光发射器所扩充的笔能够在市场销售的Microsoft Surface上使用。还致力于使用笔以外的工具，包括例如用于绘画应用的红外光发射刷。当前系统一般没有尝试区分不同的笔(也许只是区分笔与手指输入)。可变调制红外光实现识别，但是要求专门硬件。另外，超声波能够用于输入定位，并且也能够提供笔ID。电容耦合允许用户或物体被定位和识别，但是这要求接地板或物理连接起作用。

另一种方法、即基于电磁谐振的感测在有源与无源之间进行操作。虽然工具和实物无需加电，但是它们包含谐振线圈，其由它们在其上进行操作的专门平板所生成的接近EM场来激励。虽然具有极高能力、包括提供ID的能力，但是桌面大小的装备在当前是极昂贵的。还有可能支持经过RFID和视觉处理的组合的物体标识，其提供更大的可缩放性。

基准标记是真正的无源方式。它们经过唯一建模标签—常常按照贴签形状因数—来提供物体的ID。这种方法已经表明是极高能力的—唯一主要缺点是标记的大小，其一般阻止放置于小表面、例如笔尖上。基准标记还能够按照电容感测方式进行工作，从而允许标签嵌入物体中。另外，物体的形状能够以光学方式来捕获，并且用于分类(例如鼠标和键盘)。

一般来说，上述技术要求提供输入的物体的仪表，这对手指是成问题的(即，人们不喜欢在其手指或手上佩戴东西)。研究人员还着眼于手腕戴的声传感器，其能够分类手指配合(finger on finger)的动作、例如收聚或弹开。手指轻叩也能够经过声指纹在人体上定位。但是，后一类系统要求传感器放置于用户。

没有仪表，手指的某些区域能够经过计算机视觉(例如垫和尖)来确定。使用加速计，能够区分软和硬轻叩。最后，飞行时间分析能够用来定位物体表面的触摸事件。

当代互动表面一般将手指触摸看作是单类输入(这个方面的部分例外是指纹扫描系统，其能够捕获高分辨率指纹图像，以推断手指的3D“手势”；另外，经由光或电容感测的接触区域能够被认为是额外输入维)。但是，这是粗略简化—手指在其运动能力和解剖组成方面均是不同附属物。在很大程度上忽略支持手指输入的附加维，因为为用户装备有源或无源组件是有创的。

发明内容

当前，为了让手指在空间的单个点执行不同操作，它必须被超载(overload)、通常通过手指的轻叩-保持周期或调弦(例如，双指轻叩表示右击)来触发。这能够触发临时上下文菜单，其允许用户选择若干动作之一。手指超载的一个备选方案是使功能性进入一个或多个按钮。例如，存在一种方案，其中按钮用于使窗口为最小，以及另一个用于将它关闭。但是，这对于具有有限屏幕不动产的移动装置是成问题的。

鉴于以上所述，本发明提供用于分类触敏表面上的触摸事件的设备和方法。

按照本发明的一个方面，提供一种用于分类触摸事件的设备，其包括：触敏表面，配置成在物体触摸触敏表面时生成触摸事件，其中触摸事件在与表面接触时需要机械振动；触摸事件检测器，配置成检测触摸的开始；以及触摸事件分类器，配置成分类触摸事件，以识别用于触摸事件的物体。

在一个示范实施例中，触摸事件分类器包括：转换单元，配置成将机械振动信号转换为电信号；提取单元，配置成从电信号来得出表示触摸事件的一系列特征；以及分类单元，配置成使用特征来分类触摸输入，以识别用于触摸事件的物体。

在一个示范实施例中，触摸事件检测器嵌入设备中，以检测触摸事件。

在一个示范实施例中，触摸事件检测器附连到触敏表面，以检测触摸事件。

在一个示范实施例中，机械振动包括声信号。

在一个示范实施例中，机械振动经由任一个手指部分(包括指尖、指垫、指甲和指节)来创建，或者机械振动通过使用碰撞触敏表面的无源工具来创建。

在一个示范实施例中，手指部分的每个用来向基于触摸的界面提供输入，以及手指部分的每个能够绑定到不同的用户界面动作。

按照本发明的另一方面，提供一种用于分类触摸事件的方法，其包括：检测触摸事件，其中触摸事件通过物体触摸/击打触敏表面进行，并且因碰撞触敏表面而需要生成声信号；从声信号来得出表示触摸事件的一组特征；以及使用特征来分类触摸事件，以识别用于触摸事件的物体。

在一个示范实施例中，检测触摸事件包括捕获机械振动信号。

在一个示范实施例中，分类触摸事件包括：将机械振动信号转换为电信号；从电信号中提取表示触摸事件的一系列特征；以及使用特征来分类触摸事件，以识别用于触摸事件的物体。

在一个示范实施例中，机械振动经由手指的多个部分的任一个(包括指尖、指垫、指甲和指节)来创建，或者机械振动通过使用碰撞触敏表面的无源工具来创建。

在一个示范实施例中，手指部分的每个用来提供基于触摸的界面，以及手指部分的每个用来输入辅助动作。

附图说明

通过以下结合附图提供的实施例的说明，本发明的以上及其它目的和特征将变得非常明显，附图包括：

图1是按照本发明的第一实施例、用于分类触敏表面上的触摸事件的设备的框图；

图2示出按照本发明的实施例、用于产生不同触摸事件的手指的不同部分；

图3示出按照本发明的实施例的四种手指输入类型的谱图；

图4示出手指和具有附于其尖部的不同材料的六个无源工具(即，不要求电力的物体)，由左至右例如聚碳酸酯块、木旋钮、丙烯酸球、金属螺杆、乒乓球和泡沫；

图5A示出表示不同的“刷”颜色、从而允许若干用户在无需颜色或模式切换的情况下同时绘画的无源工具(即，不要求电力的物体)；以及

图5B、示出无源笔(即，不要求电力的固体材料)，从而允许触敏表面识别哪一个用户正执行哪一个动作。

具体实施方式

此后，将参照附图详细描述本发明的实施例，附图中，相似参考标号和相似组件表示相似元件。

图1示出按照本发明的第一实施例、用于分类触敏表面上的触摸事件的设备的框图。

第一实施例的设备包括触敏表面100、触摸事件检测器110和触摸事件分类器120。

触敏表面100是电子可视显示器，其能够检测和跟踪在其上采用手指或其它无源物体、例如触控笔所执行的触摸事件的存在和位置。触敏表面100包括互动用户界面102，由用户在其上生成多种触摸事件。触摸事件可包括使用手指触摸的触摸事件、使用如图2所示的手指的不同部分的触摸事件以及使用如图4所示的无源工具的触摸事件。可使用多种技术，包括光、电阻和电容触摸屏，以检测和跟踪触摸事件的存在和位置。例如，触敏表面100可用于便携装置、例如移动电话、PDA、智能电话等中，但是并不局限于此。

触敏表面100可提供用户界面、例如其上的虚拟软键盘104。虚拟键盘104具有在按键或按钮上用来键入文本的字母字符集。为了键入主字符，用户可如常使用其指垫。便携装置上的这种软键盘特别成问题—存在需要在极小空间上提供的许多按键。作为响应，键盘通常可分解为采用形态按钮所切换的按键的若干“页”。这不仅增加键入交互的额外点击，而且还进一步使小屏幕拥挤。

这个实施例的设备针对通过采用经由物体(包括手指部分或无源工具)的触摸事件来减轻这些问题的一部分。它还包含并行操作的两个按键集。

手指在其运动能力和解剖组成方面均是不同附属物。单指包含不同部分，例如一个或多个指节、指尖、指垫和指甲，如图2所示。这些手指可用来生成触摸事件。此外，如图4所示，不要求电力的一组无源物体也可用来生成触摸事件。无源物体可包括具有附于其尖部的不同材料的六个工具，由左至右例如聚碳酸酯块、木旋钮、丙烯酸球、金属螺杆、乒乓球和泡沫。这些无源物体只是胶合到干擦标记的头部的不同材料。

当物体击打表面时，机械振动的总体经过材料向外传播。通常，互动表面使用刚性材料、例如塑料或玻璃，其均快速分配并且如实地保存信号。因此，使用相应手指部分或者相应无源工具的物理碰撞事件在与触敏表面100接触时引起机械振动。机械振动需要各手指部分或无源工具的不同特征。例如，图3示出四种类型的触摸输入的谱图。如从图3已知，手指的不同部分产生不同的机械振动(即，声)签名。

按照一个示范实施例，该设备设计成识别无源工具的小集合以及基于不同特征来区分手指的不同部分。识别哪一个物体用于触摸事件的这种能力通过特征分类来实现。它依靠如下物理原理：不同材料产生不同特征，并且具有如图3所示的不同谐振频率。

在一个示范实施例中，当手指的触摸事件如常用来提供常规的基于触摸的界面时，物体的触摸事件可用来表示改变手指的另一按压按键的功能或触摸事件的辅助动作。例如，“ALT”输入可通过使用手指的指节在触敏表面100上的物理碰撞事件(其可对应于台式计算系统上的“右击”)来实现，“BACKSPACE”输入可通过使用指甲在触敏表面100上的物理碰撞来实现，等等。碰撞的强度无需很大。实际上，用户需要不强于在键盘上进行键入所需的轻叩。这种方式的按键性质在于，碰撞触敏表面100的物品不要求有源组件。输入物体只是由不同材料组成，并且完全是无源的。因此，用户有权访问整个字符集，而无需切换页。

再次参照图1，触摸事件检测器110设置成检测由使用如图2所示的手指部分或者如图5所示的无源工具的触摸事件所引起的机械振动。

触摸事件检测器110能够由触敏表面100或者通过产生于物体触摸屏幕的适当机械振动的开始来触发。为了捕获事件和随后的机械振动，触摸事件检测器110可包括一个或多个碰撞传感器、振动传感器、加速计、应变仪或声传感器、例如电容话筒、压电话筒、MEMS话筒等。

一旦由触摸事件检测器110捕获到触摸事件的机械振动信号，触摸事件分类器120处理机械振动信号以分类触摸事件，使得能够分类用于触摸事件的物体。

触摸事件分类器120包括：分段单元122，配置成按照数字表示对机械振动信号进行分段；转换单元124，配置成将数字化振动信号转换为电信号；特征提取单元126，配置成从电信号来得出一系列特征；以及分类单元128，配置成使用特征来分类触摸事件，以识别手指或无源工具的哪一部分用于触摸输入。

分段单元122使用4096的滑动窗口(其包含机械振动信号的43ms段)、例如以取样率96kHz对机械振动信号进行取样。

然后，转换单元124对所取样时间关振动信号执行例如傅立叶变换，以产生具有频域表示的电信号。例如，这个窗口的傅立叶变换可产生频率功率的2048频带。在它们之间，表示从0至10kHz的声(即，机械振动)功率的较低的500频带可选择用于对其的进一步处理。备选地，可选择例如低于1kHz的其它频带，其如图3所示可表达。

触摸事件分类器120还可将这个数据缩减取样为附加向量(即，十桶(buckets often))，从而提供不同的混叠。另外，附加特征可从机械振动信号(例如平均绝对幅度、总绝对幅度、绝对幅度的标准偏差以及分段输入信号和傅立叶变换信号的质心)来计算。

特征提取单元126还可从机械振动的频域表示、例如碰撞波形的基频来计算一系列特征。

分类单元128使用特征来分类触摸事件，以识别哪一个物体用来生成触摸事件。

为了帮助分类，用户能够向分类器提供补充训练样本。

在一个示范实施例中，分类单元128可采用特征分类的支持向量机(SVM)来实现。SVM是具有关联学习算法(其分析数据并且识别用于分类和回归分析的模式)的监控学习模型。

一旦进行了分类，所产生的类型用来标记未指配输入点，其通过许多触摸感测技术之一来数字化。这个匹配过程可按照若干方式进行。在一个示范实施例中，这能够通过选择具有最接近开始时间戳的输入事件进行。开始于碰撞开始的整个分类过程能够在100ms或更少发生，从而允许实时交互。

实际上，这种方法看来相当适用，并且使具有多个输入物体的若干用户在共同表面上同时工作。但是，存在一种特殊情况，其中这个过程中止，并且对其不存在直接解决方案—定时冲突。具体来说，如果两个物体在充分靠近的时间接近性中击打触敏表面，则其振动信号将不会单独分段，并且因此不允许准确分类。这个周期的时长通过四个因素来定义：1)分段器的进取性(分类可能潜在地使用例如机械振动信号的前10ms)，2)碰撞材料的谐振频率(较低频率花费较长时间进行耗散)，3)触敏表面的阻尼(以耗散先前碰撞)，以及4)触敏表面的大小(较大质量花费较长时间进行阻尼)。

一种备选解决方案是采用复杂算法(例如波束形成)，其能够定位碰撞声音并且将它们分离为不同的声波形。虽然这一般适用于环境噪声、例如话音，但是原理也可适用于触摸表面。但是，这个问题对于移动装置(因其小尺寸和轻重量而快速减少声能)多半是不必要的。轻叩能够在本实施例的设备上接近～50ms分离处发生。此外，移动装置通常具有单个用户。这降低同时碰撞的可能性。

本发明的实施例示出和描述成对触摸交互的增强，其允许触敏表面识别用于触摸输入的物体的类型。本实施例还可用于大量应用域中，并且使用诸如如下所述的简单绘画界面之类的上下文。

例如，为了徒手绘制，用户可以只使用指垫、例如刷子。为了绘制线段，指尖轻叩触敏表面，并且然后拖曳到预期位置。为了撤消上一笔，用户能够用指甲轻叩互动触摸屏上的任何位置。与第一实施例的键盘演示相似，这示出从交互中去除形态按钮并且将这个复杂度推送到极灵巧手指的简单方式。其它交互可涉及工具(例如填充工具、擦除工具)与模式(例如刷厚度、不透明性、颜色)之间的快速切换。

感兴趣的是要注意，人们按照不同方式使用其手指的不同部分—挠痒、键盘上键入、拍同伴的肩膀或者敲门。通过仔细设计，也许有可能的是平衡这些规范，使得现有手指行为可移植到数字域并且使其在数字域中相关。

例如，考虑其中指节“敲击”用来开启文件或应用的系统。采用指尖的轻叩(即，戳)可能用来使某个事物引起关注、也许是最大或给定焦点，而指甲“弹开”可能用来使物品最小化或删除。这种功能性可与常规手指驱动界面(其趋向于依靠用于指向和“点击”的指垫)一致地进行操作。

人们对手持工具具有显著灵巧性，以及许多研究项目对互动系统引入了物理操纵器。这些常常以笔、指针装置、戳记(例如用于例示)和各种工具(例如拨号盘、滑块、导杆)的形式出现。

这类物品可能易于结合声学上相异的材料，并且使其较小和很尖，例如实际的笔和铅笔。这些是极为耐用的，并且对批量生产是低成本的。

此外，例如，常规互动表面上的绘画应用通常使用基于调色板的颜色模式选择。当选择颜色时，迫使所有用户切换到这种颜色。但是，如图5A所示，第二实施例的设备允许多个用户采用图4所示的六个工具来拣选若干颜色“刷”其中之一，并且同时使用它们。此外，在各端具有不同材料的工具可用来绘制并且然后翻转以进行擦除，像铅笔一样。

另一种可能性是指配唯一识别的输入工具。这允许系统上的动作被分配给特定的人、例如Greg、Bill或Eileen，如图5B所示。这个实施例还可用于例如协作文档编辑、个性化撤消栈和读/写准许。

虽然针对优选实施例来示出和描述了本发明，但是本发明并不局限于此。本领域的技术人员会理解，可进行各种变更和修改，而没有背离以下附权利要求书所限定的本发明的范围。

Claims (21)

1.一种用于分类触摸事件的设备，所述设备包括：

触敏表面，配置成在物体或手指触摸所述触敏表面时生成触摸事件，其中所述触摸事件需要在与所述表面接触时生成的机械振动；

取样器，配置成在从触摸事件前到触摸事件后的一段时间连续取样并存储机械振动数据；

触摸事件检测器，配置成检测该触摸事件的开始；以及

触摸事件分类器，配置成根据包括与该触摸事件相关频域质心的整个触摸事件过程中捕获的取样机械振动数据分类所述触摸事件，以识别用于所述触摸事件的所述物体。

2.如权利要求1所述的设备，其中，所述触摸事件分类器包括：

转换单元，配置成将机械振动信号转换为电信号；

提取单元，配置成从所述电信号来得出表示所述触摸事件的一系列特征；以及

分类单元，配置成使用所述特征来分类所述触摸输入，以识别用于所述触摸事件的所述物体。

3.如权利要求1所述的设备，其中，所述取样器包括滑动窗口取样器，其存储特定时间长度相关的机械振动数据，并在所述特定时间长度后用新的机械振动数据覆写旧的数据。

4.如权利要求1所述的设备，其中，所述触摸事件检测器嵌入所述设备中，以检测所述触摸事件。

5.如权利要求1所述的设备，其中，所述触摸事件检测器附连到所述触敏表面，以检测所述触摸事件。

6.如权利要求1所述的设备，其中，所述机械振动经由包括指尖、指垫、指甲和指节的任一个手指部分来创建。

7.如权利要求6所述的设备，其中，每个所述手指部分用来提供基于触摸的界面。

8.如权利要求6所述的设备，其中，每个所述手指部分绑定到不同的用户界面动作。

9.如权利要求2所述的设备，其中，所述声信号通过使用碰撞所述触敏表面的无源工具来创建。

10.一种用于分类触摸事件的方法，所述方法包括：

在从触摸事件前到触摸事件后的一段时间在取样器中连续取样并存储声信号数据；

检测该触摸事件，其中所述触摸事件通过物体触摸或击打触敏表面进行，并且因碰撞触敏表面而需要声信号；

从在整个触摸事件中捕获的取样器中存储的所述声信号数据来得出表示所述触摸事件的一组特征，该特征包括与该触摸事件相关的频域质心；以及

使用所述特征来分类所述触摸事件，以识别用于所述触摸事件的所述物体。

11.如权利要求10所述的方法，其中，所述检测触摸事件包括捕获机械振动信号。

12.如权利要求11所述的方法，其中，所述触摸事件的所述分类包括：

将所述机械振动信号转换为电信号；

从所述电信号中提取表示所述触摸事件的一系列特征；以及

使用所述特征来分类所述触摸事件，以识别用于所述触摸事件的所述物体。

13.如权利要求10所述的方法，其中，所述机械振动经由包括指尖、指垫、指甲和指节的任一个手指部分来创建。

14.如权利要求13所述的方法，其中，每个所述手指部分用来向基于触摸的界面提供输入。

15.如权利要求13所述的方法，其中，每个所述手指部分用来输入不同的用户界面动作。

16.如权利要求10所述的设备，其中，所述机械振动通过使用碰撞所述触敏表面的无源工具来创建。

17.如权利要求1所述的装置，其中所述触摸事件分类器根据该触摸事件的平均绝对幅度、总绝对幅度和绝对幅度的标准偏差进行分类。

18.如权利要求1所述的装置，其中所述触摸事件分类器将触摸事件分类为指节触摸事件。

19.如权利要求1所述的装置，其中当该触摸事件分类器将触摸事件分类为第一类触摸事件时，用户界面显示右击菜单，且当该触摸事件分类器将触摸事件分类为第二类触摸事件时，用户界面显示物品。

20.如权利要求2所述的装置，其中所述分类单元采用特征分类的支持向量机(SVM)来实现。

21.如权利要求10所述的方法，其中，采用特征分类的支持向量机(SVM)来实现使用所述特征来分类所述触摸事件，以识别用于所述触摸事件的所述物体。