CN108803933B

CN108803933B - 捕捉用于确定触摸类型的振动声学数据

Info

Publication number: CN108803933B
Application number: CN201810617137.XA
Authority: CN
Inventors: 克里斯多佛·哈里森; 罗伯特·博·肖; 朱莉娅·施华兹
Original assignee: Zicosio
Current assignee: Zicosio
Priority date: 2013-08-02
Filing date: 2014-08-01
Publication date: 2021-06-29
Anticipated expiration: 2034-08-01
Also published as: US20150035759A1; WO2015017831A3; EP3028125A4; CN105431799A; EP3028125B1; CN108803933A; WO2015017831A2; CN105431799B; EP3028125A2

Abstract

本发明涉及捕捉用于确定触摸类型的振动声学数据。一种电子设备包括触敏表面，例如，触摸板或触摸屏。使用者与该触敏表面进行物理交互，从而产生触摸事件。所采取的产生的界面动作至少部分地取决于触摸类型。部分地基于该触摸事件所产生的振动声学数据和触摸数据确定该触摸类型。

Description

捕捉用于确定触摸类型的振动声学数据

本申请是申请日为2014年8月1日，申请号为201480002856.0，发明名称为“捕捉用于确定触摸类型的振动声学数据”的申请的分案申请。

技术领域

本发明总体上涉及通过触敏表面与电子设备进行交互。

背景技术

现在，许多触摸板和触摸屏都能够支持一小组手势。例如，一根手指通常用于操纵光标或滚动显示屏。另一示例为，以收聚的方式使用两根手指放大和缩小内容，如照片或地图。然而，这是手指和手所能够做的事情的粗略简化。手指在其肌肉运动能力及其解剖学组成两方面上为不同的附属器。进而，除了自己做手势之外，手指和手还可以用于操纵工具。

因此，需要更好地利用手指和手的能力来控制与电子设备的交互。

发明内容

本发明的实施方式提供了以下方面：

(1)一种在使用者和具有触敏表面的电子设备之间进行交互的方法，该方法包括：

接收一个触摸事件触发，该触摸事件触发指示该触敏表面上一个物理触摸事件的发生；

访问该触摸事件所产生的触摸数据；

针对一个开始于接收到该触摸事件触发之前的一个时间的时间窗口，访问该物理触摸事件所产生的一个振动声学信号的振动声学数据；以及

基于该触摸数据和振动声学数据确定该触摸事件的触摸类型。

(2)如项(1)所述的方法，其中，针对一个时间窗口访问振动声学数据的步骤包括：

连续地捕捉与该触敏表面相关联的振动声学数据并维护其一个缓冲区；

在接收到该触摸事件触发之后，确定该时间窗口；以及

针对所确定的时间窗口访问所缓冲的振动声学数据。

(3)如项(1)所述的方法，其中，针对一个时间窗口访问振动声学数据的步骤包括：

在一次物理触摸发生之前预测一个可能的触摸事件；以及

根据这种预测，开始捕捉与该触敏表面相关联的振动声学数据。

(4)如项(3)所述的方法，其中，预测一个可能的触摸事件的步骤包括：

基于来自触摸传感器的与该触敏表面相关联的数据预测一个可能的触摸事件。

(5)如项(4)所述的方法，其中，所述触摸数据指示该触敏表面附近的一根手指或一个仪器。

(6)如项(4)所述的方法，其中，所述触摸数据指示正在接近该触敏表面的一根手指或一个仪器。

(7)如项(1)所述的方法，其中，接收该触摸事件触发时的延迟是该物理触摸事件发生之后的至少一毫秒。

(8)如项(1)所述的方法，其中，该时间窗口开始于该物理触摸事件的开始之前的一个时间。

(9)如项(1)所述的方法，其中，该时间窗口结束于接收到该触摸事件触发之前的一个时间。

(10)如项(1)所述的方法，其中，使用一次等待，这样使得该时间窗口结束于接收到该触摸事件触发之后的一个时间。

(11)如项(1)所述的方法，其中，该振动声学数据包括该物理触摸事件所引起的振动数据。

(12)如项(1)所述的方法，其中，该振动声学数据包括该物理触摸事件所引起的声学数据。

(13)如项(1)所述的方法，其中，确定触摸类型的步骤包括：

从该触摸数据和振动声学数据提取多种特征；以及

对这些特征进行分类以确定该触摸事件的触摸类型。

(14)如项(13)所述的方法，其中，所提取的这些特征包括至少一种基于该触摸事件的位置、形状、取向、和/或大小的特征。

(15)如项(13)所述的方法，其中，所提取的这些特征包括至少一种基于该触摸事件的长轴值、短轴值、离心率、和/或长轴与短轴之比的特征。

(16)如项(13)所述的方法，其中，所提取的这些特征包括至少一种基于该触摸事件的压力的特征。

(17)如项(13)所述的方法，其中，所提取的这些特征包括至少一种基于该触摸事件的电容的特征。

(18)如项(13)所述的方法，其中，所提取的这些特征包括至少一种基于该振动声学数据的时域表示或基于该振动声学数据的该时域表示的导数的特征。

(19)如项(13)所述的方法，其中，所提取的这些特征包括至少一种基于该振动声学数据的频域表示或基于该振动声学数据的频域表示的导数的特征。

(20)如项(13)所述的方法，其中，所提取的这些特征包括至少一种基于该振动声学数据的频域表示的或该振动声学数据的频域表示的导数的多个不同频带中的多个功率的特征。

(21)如项(13)所述的方法，其中，所提取的这些特征包括至少一种基于该振动声学数据的频域表示或该振动声学数据的频域表示的导数的多个不同频带中的多个功率之比的特征。

(22)如项(13)所述的方法，其中，所提取的这些特征包括至少一种基于该振动声学数据的统计值的特征。

(23)如项(13)所述的方法，其中，所提取的这些特征包括至少一种基于该振动声学数据的以下各项中的至少一项的特征；偏斜度、离散度、均方根、零交叉、功率和、范围、平均值、质心和标准偏差。

(24)如项(13)所述的方法，其中，对这些特征进行分类的步骤包括：使用支持向量机、神经网络、决策树、或随机森林来对这些特征进行分类。

(25)如项(1)所述的方法，进一步包括：

响应于该触摸事件和触摸类型对该电子设备进行一种动作，其中，同一触摸事件致使针对第一触摸类型执行一种第一动作并致使针对第二触摸类型执行一种第二动作。

(26)如项(1)所述的方法，其中，该触敏表面是一个触摸屏。

(27)一种其上存储有表示指令序列的数据的机器可读有形存储介质，当被具有一个触敏表面的一个电子设备执行时，这些指令序列致使该电子设备执行一种包括以下步骤的方法：

访问该触摸事件所产生的触摸数据；

针对一个时间窗口访问振动声学数据，该振动声学数据由该触摸事件物理地产生，该时间窗口开始于接收到该触摸事件触发之前的一个时间；以及

(28)一种电子设备，包括：

一个触敏表面；

用于接收一个触摸事件触发的装置，该触摸事件触发指示该触敏表面上一个物理触摸事件的发生；

用于访问该触摸事件所产生的触摸数据的装置；

用于针对一个时间窗口访问振动声学数据的装置，该振动声学数据由该触摸事件物理地产生，该时间窗口开始于接收到该触摸事件触发之前的一个时间；以及

用于基于该触摸数据和振动声学数据确定该触摸事件的触摸类型的装置。

本发明允许使用者以对不同触摸类型进行区分的方式与触敏表面进行交互。例如，指垫、指甲、指节或不同类型的仪器所执行的相同触摸事件会致使对电子设备执行不同的动作。

在一种方式中，使用者使用其手指(多根)或仪器通过触敏表面(如触摸板或触摸屏)与电子设备进行交互。触摸事件触发指示使用者与触敏表面之间的触摸事件的发生。物理触摸事件所产生的触摸数据和振动声学数据用于确定触摸事件的触摸类型。然而，由于例如感应时延和过滤，生成触摸事件触发会花费一些时间。进一步地，由于例如软件处理、滞后、和开销，事件触发会花费一些时间在设备中从低层次事件处理(例如，中断)向上经过操作系统传播至最终使用者应用。因为将一直存在一定量的时延，来自触摸碰撞的振动声学数据将总是在接收到触摸事件触发之前就已经发生。

在大多数移动电子设备上，振动声学信号的区别性分量(即，那些对于分类最有用的分量)发生在触摸碰撞的前10ms。对于当前的移动电子装置而言，通常在物理触摸接触之后几十毫秒的量级上接收到触摸事件触发。因此，如果仅在接收到触摸事件触发时捕捉振动声学数据，振动声学信号的最重要的部分将已经发生并且将丢失(即，永远不被捕捉到)。这妨碍了许多平台的可靠触摸类型分类。

在一种方式中，例如，用环形缓冲区连续地捕捉和缓冲振动声学数据。在接收到触摸事件触发之后，就从该缓冲区访问振动声学数据(该数据可以包括接收到触摸事件触发之前或甚至在物理触摸事件之前的时间)的(基于设备时延的)适当窗口。例如，可以访问接收到触摸事件触发之前30ms开始的10ms窗口(即，从-30ms至-20ms)。另外，在提取振动声学数据的窗口之前，系统可以在接收到触摸事件触发之后等待预先定义的时长。例如，系统可以在接收到触摸事件触发之后等待20ms，并且然后从缓冲区提取前100ms的数据。

在一种替代方式中，事先预测触摸事件的发生。例如，触敏表面可以在实际接触之前感应手指的接近(例如，使用电容屏幕的悬空感应能力、漫射照明光学屏幕、以及其他技术)。然后将此预测用于触发对振动声学数据的捕捉或发起振动声学数据捕捉和缓冲。如果未发生所预测的触摸事件，捕捉和/或缓冲可以停止，以等待另一次所预测的触摸。

在另一方面，触摸事件的触摸类型确定后续动作。响应于触摸事件和触摸类型对电子设备采取动作。即，同一触摸事件可以致使对一种触摸类型执行一种动作并对不同的触摸类型执行不同的动作。

本发明的其他方面包括与上文所描述的方式有关的方法、设备、系统、组件和应用。

附图说明

本发明具有其他优点和特征，当与附图结合时，这些优点和特征将从本发明的以下详细说明和所附权利要求书中更加轻易地明显，在附图中：

图1是根据本发明的电子设备的框图。

图2A是展示了延迟触摸事件触发的时序图。

图2B至图2C是展示了振动声学数据的适当窗口的时序图。

图3A至图3B是用于访问更早的振动声学数据的一种实现方式的框图和时序图。

图4A至图4B是用于访问更早的振动声学数据的另一种实现方式的框图和时序图。

图5是展示使用图1的设备进行的触摸事件分析的流程图。

图6是三种触摸类型的声谱图。

附图仅出于展示的目的描绘了本发明的实施例。本领域技术人员将从以下讨论中轻易地认识到，在不背离在此所描述的本发明的原理的情况下，可以采用在此所展示的结构和方法的替代性实施例。

具体实施方式

附图和以下说明仅通过展示的方式涉及优选实施例。从以下讨论应当注意到，在此所披露的结构和方法的替代性实施例将被轻易地认为是在不背离权利要求书的原则的情况下可以采用的可行的替代方案。

图1是根据本发明的电子设备100的框图。设备100包括触敏表面110，例如，触摸板或触摸屏。该设备还包括计算资源，如处理器102、存储器104和数据存储设备106(例如，光驱、磁介质硬盘驱动器或固态驱动器)。传感器电路112提供触敏表面110和设备100的剩余部分之间的接口。当被处理器102执行时，指令124(例如，软件)致使该设备执行某些功能。在此示例中，指令124包括对与触敏表面110的使用者交互进行分析的触摸分析模块。指令124还允许处理器102控制显示器120并对电子设备执行其他动作。

在常见体系结构中，数据存储设备106包括对指令124(例如，软件)的主体进行存储的机器可读介质。指令124在执行的过程中还可以(完全地或至少部分地)驻留在存储器104内或处理器102内(例如，处理器的高速缓冲存储器内)。存储器104和处理器102还构成机器可读介质。

在此示例中，不同组件使用公共总线进行通信，尽管可以使用其他通信机制。作为一个示例，处理器102可以充当能直接访问或控制其他组件中的每一个组件的中枢。

设备100可以是服务器计算机、客户端计算机、个人计算机(PC)、或任何能够执行(顺序的或以其他方式)指令124的设备，这些指令指定该设备要采取的动作。进一步地，虽然仅展示了单个设备，同样将采取术语“设备”以包括单独地或共同地执行指令124以完成在此所讨论的方法中的任何一种或多种方法的设备的任何集合。对于单独组件中的每一个组件而言也同样如此。例如，处理器102可以是多核处理器、或以协调的方式工作的多个处理器。该处理器还可以是或包括中央处理单元(CPU)、图形处理单元(GPU)、网络处理单元(NPU)、数字信号处理器(DSP)、一个或多个专用集成电路(ASIC)、或前述各项的组合。存储器104和数据存储设备106可以专用于单独的处理器、由许多处理器共享，或单个处理器可以由许多存储器和数据存储设备所服务。

作为一个示例，设备100可以是自含式移动设备，如具有触摸屏的手机或平板计算机。在这种情况下，触摸屏充当触敏表面110和显示器120两者。作为另一示例，可以用分布式方式在网络上实现设备100。处理器102可以是基于云的产品的一部分(例如，从云产品租赁处理器时间)，数据存储设备106可以是网络附接存储或其他分布式或共享的数据存储设备，并且存储器104可以类似地分布或共享。触敏表面110和显示器120可以是使用者I/O设备，以允许使用者与不同的联网组件进行交互。

返回图1，传感器电路112包括两个部分：触摸传感器112A和振动声学传感器112B。触摸传感器112A感应使用者引起的与触敏表面的触摸接触。例如，触敏表面可以基于电容式、光学、电阻式、电场、声学或形成触摸感应的底层基础的其他技术。触摸传感器112A包括感应所选择的现象的组件。

触摸事件还物理地引起振动或声学信号。触摸表面会引起声学信号(如指甲或指垫接触玻璃的声音)和/或可以引起电子设备的底层结构(例如，底盘、外壳、电子板(例如，PCB))的振动。传感器电路112包括传感器112B以检测振动声学信号。可以将振动声学传感器安排在触敏表面的后侧，从而使得可以捕捉到物理触摸事件所引起的振动声学信号。还可以将其安装在设备内部任何数量的位置处，包括但不限于底盘、触摸屏、主板、印刷电路板、显示面板、和外壳。振动声学传感器的示例包括碰撞传感器、振动传感器、加速度计、应变仪、和声学传感器(如电容传声器、压电传声器、MEM传声器等)。附加传感器类型包括压电弯曲元件、压电薄膜、加速度计(例如，线性可变差动变压器(LVDT)、电位计式、可变磁阻、压电式、压阻式、电容式、伺服(力平衡)、MEMS)、位移传感器、速度传感器、振动传感器、陀螺仪、接近传感器、电传声器、水听器、电容传声器、驻极体电容传声器、动态传声器、带式传声器、碳粒传声器、压电传声器、光纤传声器、激光传声器、液体传声器、和MEMS传声器。许多触摸屏计算设备现在已经内置传声器和加速度计(例如，用于声音和输入感应)。这些可以在不需要附加传感器的情况下使用，或可以与专门的传感器协同工作。

不管底层操作原理是什么，触敏表面上的触摸将产生信号——触摸信号和振动声学信号两者。然而，这些原始信号通常不是直接可用于数字计算环境下的。例如，这些信号本质上可以是模拟的。传感器电路112A-B通常提供中间阶段以处理和/或调节这些信号，从而使得它们适合用于数字计算环境。如图1中所示，触摸传感器电路112A产生触摸数据以供后续处理，并且振动声学传感器电路112B产生振动声学数据以供后续处理。

触摸传感器电路112A还产生触摸事件触发，该触摸事件触发指示触摸事件的发生。触摸事件触发可能以不同形式出现。例如，触摸事件触发可以是来自控制触摸感应系统的处理器的中断。可替代地，触摸事件触发可以是在触摸屏控制器的轮询状态的改变。还可以将触摸事件触发实现为对文件系统上的设备文件(例如，“/dev/input/event6”)的修改，或实现为发布给驱动器工作队列的消息。作为最后一个示例，可以将触摸事件触发实现为图形使用者界面程序中的onTouchDown()事件。

然而，由于触摸传感器电路112A的时延，触摸事件触发的生成和接收会被延迟。因而，如果振动声学传感器电路112B要等到它接收到触摸事件触发并且然后打开，它会错过振动声学数据的开始部分。

图2A展示了此情形。信号210示出了触摸事件的持续时间。信号210A示出了相应的触摸信号，并且信号210B示出了相应的振动声学信号。触摸传感器电路112A(以及可能还有指令124)对触摸信号210A进行处理以产生触摸事件触发212。此处理需要一定量的时间，在图2A-2C中标记为Δt。如果对振动声学信号的捕捉开始于那个时间，那个时间之前的振动声学信号将已丢失。

在许多情况下，延迟Δt会非常显著。它可能比整个信号窗口更长。例如，当前设备的典型延迟Δt为20ms、35ms、50ms、或可能更长；同时所期望的振动声学信号窗口210B可以是例如前5ms。在这些情况下，等待触摸事件触发212会错过整个振动声学信号。其他时间，延迟Δt可能较短而窗口较长，例如，10ms的延迟伴随100ms的窗口。

图2B至图2C是展示了振动声学数据的适当窗口的某些示例的时序图。在图2B中，物理触摸事件开始于时间211，并且在触摸事件触发212准备好之前存在延迟Δt。图2B中所示的信号是同样开始于时间211的振动声学数据210B。振动声学数据210B的所期望的时间窗口开始于时间214并且结束于时间215。注意，窗口稍微在物理触摸事件开始211之前开始214，并在触摸事件触发212和振动声学数据的结束两者之前结束215。即，并未使用所有的振动声学数据。

在某些情况下，在接收到触摸事件触发212之后，有用的振动声学数据可以持续。在这种情况下，在访问振动声学缓冲区之前可以使用较小的等待期，该等待期可以包含触摸事件触发之前和之后两者的时期。这在图2C中示出。在此示例中，所期望的窗口延伸超过触摸事件触发212。如果在触摸事件触发212的时间访问缓冲区，将错过窗口的最后一部分。而是，设备等待时间段217并且然后访问缓冲区。

图3A-3B和图4A-4B是展示了在接收到触摸事件触发之前多次访问振动声学数据的两种不同方式的框图。在图3A中，连续地捕捉和缓冲来自触敏表面的振动声学信号。缓冲区310包含振动声学数据的某个样本窗口，包括在当前时间之前所捕捉的数据。触摸事件触发212和可能还有触摸数据由模块311用于确定相关时间窗口210B。在一种方式中，时间窗口的长度是预先确定的。例如，可能已知触摸事件触发的时延在20和40ms之间，因此可以假定最坏情况时延(40ms)但以足够的缓冲区大小和窗口大小来设计系统，以容纳更短的时延(20ms)。在某些系统上，时延非常一致，例如，一直是30ms。在那种情况下，可以更严格地设计时间窗口和缓冲区大小。

然后从缓冲区310访问此时间窗口的振动声学数据。换言之，图3A-3B的方式仍然使用延迟触发212，但缓冲区310允许设备及时有效地返回以从时间窗口210的开始访问振动声学数据。这在图3A-3B中由箭头312所指示，这些箭头指示相对于触摸事件触发212及时后移。

在图4A中，使用了更快的触发。在一种方式中，触摸事件在其发生之前被预测。例如，触摸数据可以是预测性的，或触敏表面可以能够在实际接触之前检测接近，如图4B中的窗口410所指示。即，触摸事件表面可以能够感应正在接近触敏表面的手指或仪器。从此数据，模块411预测何时将发生实际接触，如图4A-4B中由箭头512所指示。这开始对振动声学信号的捕捉和缓冲。以此方式，可以捕捉触摸碰撞的振动声学数据。

图5是展示使用设备100的触摸事件的流程图。使用者使用其手指(多根)或其他仪器与触敏表面110进行交互。例如，他可以使用他的手指触摸设备上所显示的元素、或触摸并拖拽元素、或在某个区域上触摸并拖拽他的手指。这些交互旨在指示电子设备执行相应的动作。触敏表面110和传感器电路112检测510触摸事件的发生并产生520触摸事件触发。该设备访问530触摸事件所产生的触摸数据，并且还访问540触摸事件所产生的振动声学数据。由于产生触摸事件触发的延迟，振动声学数据的时间窗口包括接收到触摸事件触发520之前的时间。触摸数据和振动声学数据用于确定550触摸事件的触摸类型。

可以根据不同标准定义触摸类型。例如，可以取决于接触的次数定义不同的触摸类型。当用与单根手指(或仪器)的单个部分的交互来定义触摸事件时，发生“单触摸”，尽管交互可以随着时间的推移而发生。单触摸的示例包括简单触摸(例如，单次轻击)、触摸并拖拽、和双触摸(例如，双轻击——快速连续的两次轻击)。在多触摸中，由不同手指或手指部分的组合来定义触摸事件。例如，两根手指同时触摸的情况下的触摸事件是多触摸。另一示例将是何时使用相同的手指的不同部分，或者同时或者随着时间推移。

还可以根据手指或仪器的哪一部分进行触摸来对触摸类型进行分类。例如，可以认为用指垫、指甲或指节触摸是不同的触摸类型。指垫是指尖周围的多肉部分。它包括多肉指尖和从指尖到第一关节的多肉区域。指节指的是手指关节中的任何一个关节。术语“手指”还旨在包括大拇指。应认识到，手指本身不需要用于触摸；可以用其他方式产生类似的触摸。例如，“指垫”触摸类型实际上是具有与指垫触摸触敏表面所产生的那些特性相似的特性的一类触摸事件，但实际触摸对象可以是人造仪器或戴手套的手或被覆盖的手指，只要触摸特性与指垫足够相似以落在该类内。

触摸类型部分地由来自触摸事件的振动声学信号的分类来确定。当对象敲击某种材料时，振动声波通过该材料或沿着该材料的表面向外传播。通常，触敏表面110使用刚性材料，如塑料或玻璃，这两者快速地散布并忠实地保持信号。这样，当对应的手指部分触摸或接触触敏表面110的表面时，产生振动声学响应。对应的手指部分的振动声学特性是独特的，反映其独特的解剖学组成。

例如，图6展示了三种类型的手指触摸的示例振动声谱图。如图6中所示，指垫、指节、和指甲产生不同的振动声学响应。用不同的手指/手指部分、用不同的传声器、在不同的环境下轻击不同的材料会产生不同的声谱图。一旦捕捉到了振动声学信号，振动声学分类器(主要实现为图1中的指令124的一部分)对振动声学信号进行处理以确定触摸类型。

图5还示出了示例触摸分析模块550的框图。它包括转换554、特征提取556、和分类558。转换模块554对缓冲区中的所采样的取决于时间的振动声学信号进行频域变换(例如，傅里叶变换或方法)。例如，此窗口的傅里叶变换可以产生2048个频率功率频带。转换模块554还可以执行其他功能。这些功能可以包括对波形进行滤波(例如，卡尔曼滤波、指数移动平均、2kHz高通滤波、一欧罗滤波(One Euro filter)、Savitzky-Golay滤波)。其还可以包括变换成其他表示(例如，小波变换、导数)，包括频域表示(例如，频谱图、周期图、平均周期图法、傅里叶变换、最小平方频谱分析、韦氏法、离散余弦变换(DCT)、快速折叠算法)。

然后，特征提取模块556生成各种特征。这些特征可以包括振动声学信号(或其经滤波版本)的时域和/或频域表示，及其一阶、二阶、和更高阶导数。这些特征还可以包括将时域和频域数据下采样成附加向量(例如，十个向量组成的存储桶(bucket))，从而提供不同的混叠。可以从时域和/或频域表示及其导数进一步推导出附加特征，包括平均值、标准偏差、标准偏差(经整体幅度标准化)、范围、方差、偏斜度、峰度、和、绝对值和、均方根(rms)、峰值因数、离差、熵、功率和、质心(矩心)、变差系数、交叉相关(例如，滑动点积)、零交叉、季节性(即，周期性变化)、和DC偏置。基于频域表示及其导数的附加特征包括频域表示的不同频带中的功率(例如，线性二进制或倍频程的功率)以及不同频带中功率之比(例如，1倍频程的功率与4倍频程的功率之比)。

特征还可以包括一组使用以下方法中的任何一种的已知标本信号的模板匹配得分：卷积、逆滤波匹配技术、和平方差(SSD)、动态时间规整、和弹性匹配。

频谱矩心、频谱密度、球谐函数、总平均频谱能量、频谱转降、频谱平坦度、频带能量比(例如，针对每一倍频程)、以及频谱带对数比(例如，针对每对倍频程，以及每对三分之一)是可以从频域表示中推导出的特征。

附加振动声学特征包括基于线性预测的倒谱系数(LPCC)、感知线性预测(PLP)倒谱系数、倒谱系数、梅尔频率倒谱系数(MFCC)、以及频率相位(例如，如通过FFT生成的)。可以在振动声学数据的整个窗口上计算上述特征，但还可以针对(例如，波形的波峰周围、波形的末端处)子区域计算上述特征。进一步地，可以对以上振动声学特征进行组合以形成混合特征，例如比率(例如，零交叉/频谱矩心)或差(零交叉——频谱矩心)。

特征提取模块556还可以从触摸数据生成特征。示例包括触摸的位置(2D、或在曲面玻璃或其他非平面几何形状情况下3D)、触摸的大小和形状(某些触摸技术提供椭圆触摸，具有长轴和短轴、离心率、和/或长轴和短轴之比)、触摸的取向、触摸的表面面积(例如，以平方毫米或像素为单位)、触摸次数、(某些触摸系统上可获得的)触摸的压力、以及触摸的切变。还称为“切向力”的“切应力”由垂直于触摸屏的表面法线(即，平行于触摸屏表面)的力向量引起。这类似于法向应力(一般称为压力)，该法向应力由平行于表面法线的力向量引起。某些特征取决于触敏表面的类型。例如，触摸的电容、触摸的扫频电容、和触摸的扫频阻抗可供用于(扫频)电容式触摸屏。还可以计算上述量的导数作为特征。可以在较短时间段上计算这些导数，例如，触摸速度和压力速度。另一可能的特征是手势的图像(如由例如光学传感器、具有照相机的漫射受光面、近距离电容式感应所成像的)。

分类模块558使用来自振动声学信号的所提取的特征以及可能其他非振动声学特征(包括触摸特征)对触摸进行分类。在一个示例性实施例中，用一种用于特征分类的支持向量机(SVM)实现分类模块558。SVM是具有相关联的学习算法的监督学习模型，这些学习算法分析数据并识别模式，以用于分类和回归分析。为了帮助分类，使用者可以向振动声学分类器提供补充训练样本。其他适合分类模块558的技术包括基本启发法、决策树、随机森林、朴素贝叶斯、弹性匹配、动态时间规整、模板匹配、K均值聚类、K最近邻居算法、神经网络、多层感知器、多项逻辑回归、高斯混合模型、和AdaBoost。

返回图5，设备对触摸事件进行分析以确定550触摸类型。基于此分析，处理器102然后执行560适当的动作。该适当的动作取决于触摸事件(例如，触摸、触摸并拖拽等)，但它还取决于触摸类型。针对不同触摸类型，同一触摸事件可以引起处理器102的不同动作。例如，指垫的触摸、指甲的触摸和仪器的触摸可以触发三种不同动作。

此方式允许同一触摸事件控制不只一种动作。这出于各种原因会是令人期望的。首先，它增大了给定触摸事件组的可用动作数量。例如，如果未区分触摸类型，则单次轻击仅可以用于一个目的，因为不能区分指垫的单次轻击、指甲的单次轻击和仪器的单次轻击。然而，如果可以区分所有这三种触摸类型，则取决于触摸类型，单次轻击可以用于三个不同目的。

相反地，对于给定数量的动作，此方式可以减少实现此动作所需的使用者输入的次数。继续上述示例，如果通过区分触摸类型期望三种动作，使用者将能够通过单次运动——单次轻击来发起该动作。如果未区分触摸类型，则会需要更加复杂的运动或更深的界面决策树。例如，在没有不同触摸类型的情况下，会需要使用者首先进行单次轻击以弹出具有三个选择的菜单。然后，他将进行第二次触摸以从该菜单中进行选择。

虽然详细说明包含许多细节，不应将这些理解为限制本发明的范围，而仅将其解释为展示本发明的不同示例和方面。应认识到，本发明的范围包括上文未详细讨论的其他实施例。在不背离如所附权利要求书中所定义的发明精神和范围的情况下，在此所披露的本发明的方法和装置的安排、操作和细节中可以做出对于本领域技术人员将明显的各种其他修改、改变和变化。因此，本发明的范围应当由所附权利要求书及其法律等效物来确定。

术语“模块”不旨在限于特定物理形式。取决于特定应用，可以将模块实现为硬件、固件、软件、和/或这些的组合。进而，不同模块可以共享公共组件，或甚至由相同的组件实现。不同模块之间可以或可以不存在清晰的界限。

取决于模块的形式，模块之间的“耦合”还可以采取不同形式。专用电路可以例如通过硬连线或通过访问公共寄存器或存储器位置彼此耦合。软件“耦合”可以通过任何数量的方式发生，从而在软件组件之间(或软件和硬件之间，如果是这样的情况)传递信息。术语“耦合”旨在包括所有这些并且不旨在限于两个组件之间的硬连线的永久连接。另外，可以存在介入元件。例如，当两个元件被描述为彼此耦合时，这并不暗示这些元件彼此直接耦合也不排除两者之间其他元件的使用。

Claims

1.一种在使用者和具有触敏表面的电子设备之间进行交互的方法，该方法包括：

在一次物理触摸发生之前预测一个可能的触摸事件；

根据这种预测，开始捕捉与该触敏表面相关联的振动声学数据；

如果未发生所预测的触摸事件，停止所述捕捉并等待另一次所预测的触摸事件；

如果接收到触摸事件触发，访问该触摸事件所产生的触摸数据；并且

基于该触摸数据和该振动声学数据确定该触摸事件的触摸类型。

2.如权利要求1所述的方法，其中，预测一个可能的触摸事件的步骤包括：

3.如权利要求2所述的方法，其中，所述触摸数据指示该触敏表面附近的一根手指或一个仪器。

4.如权利要求2所述的方法，其中，所述触摸数据指示正在接近该触敏表面的一根手指或一个仪器。

5.如权利要求1所述的方法，其中，该振动声学数据包括该触摸事件所引起的振动数据。

6.如权利要求1所述的方法，其中，该振动声学数据包括该触摸事件所引起的声学数据。

7.如权利要求1所述的方法，其中，确定触摸类型的步骤包括：

从该触摸数据和振动声学数据提取多种特征；以及

对这些特征进行分类以确定该触摸事件的触摸类型。

8.如权利要求7所述的方法，其中，所提取的这些特征包括至少一种基于该触摸事件的位置、形状、取向、和/或大小的特征。

9.如权利要求7所述的方法，其中，所提取的这些特征包括至少一种基于该触摸事件的长轴值、短轴值、离心率、和/或长轴与短轴之比的特征。

10.如权利要求7所述的方法，其中，所提取的这些特征包括至少一种基于该触摸事件的压力的特征。

11.如权利要求7所述的方法，其中，所提取的这些特征包括至少一种基于该触摸事件的电容的特征。

12.如权利要求7所述的方法，其中，所提取的这些特征包括至少一种基于该振动声学数据的时域表示的特征或基于该振动声学数据的该时域表示的导数的特征。

13.如权利要求7所述的方法，其中，所提取的这些特征包括至少一种基于该振动声学数据的频域表示的特征或基于该振动声学数据的频域表示的导数的特征。

14.如权利要求7所述的方法，其中，所提取的这些特征包括至少一种基于该振动声学数据的频域表示的或该振动声学数据的频域表示的导数的多个不同频带中的多个功率的特征。

15.如权利要求7所述的方法，其中，所提取的这些特征包括至少一种基于该振动声学数据的频域表示的或该振动声学数据的频域表示的导数的多个不同频带中的多个功率之比的特征。

16.如权利要求7所述的方法，其中，所提取的这些特征包括至少一种基于该振动声学数据的统计值的特征。

17.如权利要求7所述的方法，其中，所提取的这些特征包括至少一种基于该振动声学数据的以下各项中的至少一项的特征：偏斜度、离散度、均方根、零交叉、功率和、范围、平均值、质心和标准偏差。

18.如权利要求7所述的方法，其中，对这些特征进行分类的步骤包括：使用支持向量机、神经网络、决策树、或随机森林来对这些特征进行分类。

19.如权利要求1所述的方法，进一步包括：

20.如权利要求1所述的方法，其中，该触敏表面是一个触摸屏。

21.一种其上存储有表示指令序列的数据的机器可读有形存储介质，当被具有一个触敏表面的一个电子设备执行时，这些指令序列致使该电子设备执行一种包括以下步骤的方法：

在一次物理触摸发生之前预测一个可能的触摸事件；

22.一种电子设备，包括：

一个触敏表面；

用于在一次物理触摸发生之前预测一个可能的触摸事件的装置；

用于根据这种预测开始捕捉与该触敏表面相关联的振动声学数据的装置，

用于如果未发生所预测的触摸事件则停止所述捕捉并等待另一次所预测的触摸事件的装置；

用于如果接收到触摸事件触发则访问该触摸事件所产生的触摸数据的装置；以及

23.一种确定使用者与电子设备的触摸表面的触摸事件的触摸类型的方法，包括如下步骤：

获取触摸事件所产生的触摸数据和振动声学数据；

从该触摸数据和该振动声学数据提取多种特征；

所述特征包括振动声学数据的时域和/或频域表示，及其一阶、二阶、和更高阶导数，所述特征还包括将所述时域和/或频域表示下采样成附加向量，从而提供不同的混叠；

以及

对这些特征进行分类以确定该触摸事件的该触摸类型。