CN102707829B - 多通路触摸接触跟踪 - Google Patents

Abstract

在多通路触摸接触跟踪的实施例中，触摸输入传感器数据被辨识为触摸屏显示器上接触的一系列分量。可以基于包括分量的正向最近邻近者接触映射和分量的反向最近邻近者接触映射的多通路最近邻近者接触映射来确定分量与接触相关。可以随后关联分量以表示接触的轨迹。还可以确定接触的后续分量并使之与接触的先前分量相关联以进一步表示接触的轨迹。

Description

多通路触摸接触跟踪

相关申请

本申请要求对于赵等人2011年3月4日提交的题为“Multi-Pass Touch ContactTracking”的美国临时申请序列号61/449,538的优先权，其公开内容整体经引用并入本文。

背景技术

便携式运算设备（如，移动电话、便携式和平板计算机、娱乐设备、手持导航设备等）越来越提供更多的功能和特征，这可以使得用户难以导航和选择与用户想要在设备上启用的功能有关的命令。除了用来与运算设备交互的传统技术（如，鼠标、键盘、以及其它输入设备）之外，通常触摸传感器和触摸屏显示器被整合在移动电话和平板计算机中，并且被用于显示和用户可选择的触摸和姿态输入。对于具有触摸传感器和/或触摸屏显示器的这些类型的便携式设备的持续设计挑战是用以跟踪根据传感器图像数据的连续帧识别的触摸和姿态输入的触摸信号处理。触摸屏显示器上的触摸接触表示姿态的运动轨迹，如，当用户使用他或她的手指接触触摸屏显示器和在维持与显示器的接触的情况下做姿态时。正确跟踪和解释姿态输入触摸接触的运动轨迹的故障会导致姿态辨识操作和姿态跟踪处理的故障。

对于作为相对较小或短姿态的姿态运动，传统跟踪处理可以静态匹配来自连续帧的空间共存触摸接触。然而，此途径对于作为相对较大或长姿态的姿态运动并不有效，如，通常可以用在涉及诸如闪动或平移等快速姿态的平板计算机或其它类型板材形式因素上。跟踪处理不会对如下情况的完整姿态运动灵敏：该完整姿态运动会引起姿态“中断”、其随后会被辨识和处理为比实际姿态运动短得多的运动范围。可替选地，如果跟踪处理对姿态运动过于灵敏，则这会导致误跟踪触摸接触，如，当用户通过触摸屏显示器上显示的软键盘或虚拟键盘输入文本时。

发明内容

此发明内容介绍多通路触摸接触跟踪的简化概念，下面在具体实施方式中进一步描述和/或在图中示出。此发明内容不应当被视为描述要求保护主题的必要特征，也不用来确定或限制要求保护主题的范围。

描述多通路触摸接触跟踪。在实施例中，触摸输入传感器数据被辨识为触摸屏显示器上接触的一系列分量。可以基于多通路最近邻近者接触映射来确定分量与所述接触相关，其中多通路最近邻近者接触映射包括分量的正向最近邻近者接触映射和分量的反向最近邻近者接触映射。当未映射的分量在正向最近邻近者接触映射之后仍保留时启用反向最近邻近者接触映射。可以随后关联分量以表示所述接触的轨迹。还可以确定所述接触的后续分量并使之与所述接触的先前分量相关联以进一步表示该接触的轨迹。

附图说明

参照附图描述多通路触摸接触跟踪的实施例。可以通篇使用同样标号以引用图中示出的相似特征和组件：

图1示例了可以实施多通路触摸接触跟踪实施例的实例系统。

图2示例了按照一个或更多个实施例的多通路触摸接触跟踪的实例方法。

图3示例了按照一个或更多个实施例的接触跟踪服务的实例架构。

图4示例了按照一个或更多个实施例的用于处理多通路触摸接触跟踪的实例架构。

图5示例了按照一个或更多个实施例的多通路触摸接触跟踪的高级流程图。

图6示例了按照一个或更多个实施例的多通路触摸接触跟踪的另一流程图。

图7示例了按照一个或更多个实施例的多通路最近邻近者接触映射的实例。

图8示例了按照一个或更多个实施例的判定区域的运动预测的实例。

图9示例了按照一个或更多个实施例的多级最大距离确定的最小最大距离确定的实例。

图10示例了按照一个或更多个实施例的可以表明无用分量关联的交叉轨道的实例。

图11示例了按照一个或更多个实施例的如何运算和考虑（account for）如图9中所示的交叉轨道的实例。

图12示例了按照一个或更多个实施例的多通路触摸接触跟踪的实例方法。

图13示例了可以实施多通路触摸接触跟踪实施例的实例设备的各种组件。

具体实施方式

描述多通路触摸接触跟踪的实施例。如以上所注意到的，运算设备（如，移动电话或便携式计算机）的触摸屏显示器上的触摸和姿态输入不会被准确跟踪和/或处理。多通路触摸接触跟踪使用来自先前帧的触摸位置处分量的预测，可以在高运动的情形中可靠实现跟踪，而同时可以避免在软键盘的情形中的误跟踪。触摸接触跟踪可以在一套规则定义通过预测获得的跟踪的有效范围的情况下、基于接触的先前识别分量的预测位置。在实施例中，通过基于最近邻近者距离匹配（例如，算法或流程）的预测对于接触跟踪实施多通路接触跟踪，以及在正向和反向方向这二者上实施用于最近邻近者距离匹配的技术。

触摸信号处理涉及跟踪根据触摸输入传感器数据的连续帧识别的触摸接触。当所述触摸接触的运动相对较高时，可以实施经由最小最大距离确定的预测以把最大距离归类在针对多手指姿态输入的不同手指接触的可能的分量映射的不同排列中。运算成本与N!成比例，其中，N是用于姿态输入的手指的数量。这会在N多于十个手指时禁止，如，当两个或更多个用户与触摸屏交互和/或玩游戏时。替选解决方案实施正向和反向通路（多通路）最近邻近者距离匹配。

在运动速度较小时跟踪准确性和结果可媲美最小最大距离确定技术，运算成本与N²而非N!成比例，该处理较不密集。实施例提供了通过基于正向和反向方向这二者的最近邻近者距离匹配的多通路解决方案计算接触跟踪的解决方案，如，当根据先前帧对所述接触的预测被良好地定义时。在预测不存在的情况下，可以仍应用经由最小最大距离确定发起预测的原始解决方案。可替代地，可以实施一些限制途径以共同避免最小最大方案。

多通路触摸接触跟踪的实施例可以包括基于预测的分量识别和接触跟踪两级流程。使用第一级流程基于预测建立姿态输入跟踪的接触分量的初始关联，使用第二级流程基于最近邻近者接触映射准则验证以生成接触分量的最终关联。还有关的是定义多手指触摸和姿态辨识操作的一套规则。这可以针对具有触摸屏显示器的任何基于板材的设备、平板设备、移动电话或计算机，以及针对诸如表面、间接触摸等的其它类似技术来实施。

尽管可以在任何数量的不同设备、系统、环境、网络、和/或配置中实施多通路触摸接触跟踪的特征和概念，但多通路触摸接触跟踪的实施例在以下实例设备、系统、以及方法的上下文中进行描述。

图1示例了可以实施多通路触摸接触跟踪的各种实施例的实例系统100。实例系统包括运算设备102，其可以是移动电话104、娱乐设备、导航设备、用户设备、无线设备、便携式设备、平板计算机106、双屏折叠设备108等中任何一个或组合。运算设备包括集成的触摸屏显示器110，其被实施以感测姿态输入112，如，触摸屏显示器上显示的用户界面中的用户发起的姿态。在此实例中，姿态输入是箭头表明的靠近方向上触摸屏显示器上的两手指姿态，但是也可以是单手指姿态输入、或者多手指姿态输入（例如，三个或更多手指姿态输入）。可以通过各种组件（如，一个或更多个处理器和存储器设备）、以及如参照图13中示出的实例设备所进一步描述的不同组件中任何数量的不同组件和组合来实施运算设备中的任何运算设备以实施多通路触摸接触跟踪的实施例。

在实例系统100中，运算设备102包括触摸输入模块114（例如，较下层组件），其被实施作为触摸屏显示器110上的姿态输入112来辨识触摸输入传感器数据116。运算设备还包括姿态辨识应用118（例如，较高层组件），其接收来自触摸输入模块的触摸输入传感器数据作为HID报告120（即，人类接口设备报告）。HID报告包括与运算设备的触摸屏显示器上的姿态输入相关的时间和位置数据、以及确定的触摸接触跟踪。实施姿态辨识应用118以辨识和生成如根据与输入或输入的组合（如，姿态输入112）相关联的触摸输入数据（例如，HID报告120）所确定的各种姿态。姿态辨识应用可以根据各种用户可选择的输入来生成各种姿态，如，选择姿态、握持姿态、运动姿态、敲击姿态、以及其它类型的姿态。

运算设备102的输入辨识系统可以包括用以区分各种类型输入的任何类型的输入检测特征和/或设备，如，传感器（电容式或电阻式）、光感测像素、触摸传感器、摄像机，和/或解释用户交互、姿态、输入、以及运动的自然用户接口。在实施中，输入辨识系统可以根据可辨别变量（如，根据方向变量、根据开始区域位置变量和结束区域位置变量、和/或根据运动速率变量（例如，每秒特定数量的像素）来检测运动输入。

如本文所述，姿态输入可以作为在设备的触摸屏显示器上通过一个或更多个手指的用户输入来辨识，并且姿态输入包括各自与触摸屏显示器上手指的输入相关的一个或更多个接触。在图1实例中，两手指姿态输入112包括被识别为与姿态输入的第一手指相关的第一接触122、以及与姿态输入的第二手指相关的第二接触124的两个接触。

姿态输入数据作为一系列帧被接收，帧包括表示接触的一个触摸位置（例如，沿着作为一个手指的姿态输入）的分量。对于两手指姿态输入，帧可以包括与第一手指的输入相关的第一接触的分量，以及包括与第二手指的输入相关的第二接触的分量（对于多于两手指姿态输入诸如此类）。

在图1实例中，姿态输入112的第一接触122包括如下连续分量，如，在沿着第一接触的不同触摸位置处的分量126、分量128、以及分量130。类似地，姿态输入112的第二接触124包括如下连续分量，如，在沿着第二接触的不同触摸位置处的分量132、分量134、以及分量136。相应地，两手指姿态输入的第一帧包括分量系列中N－2处各第一和第二接触的分量126和分量132。类似地，N－1处姿态输入的下一帧包括各第一和第二接触的分量128和分量134，N处姿态输入的当前帧包括各第一和第二接触的分量130和分量136。

因此，姿态输入的接触跨越多个帧并且包括来自被识别成与接触、或者与接触的片段相关的每个连续帧的分量。分量表示帧中接触的触摸位置（例如，在把分量识别成与所述接触相关之后）。如实施例中所述，可以基于评估分量位置之间距离的最近邻近者接触映射准则把分量识别成与特定接触相关。然而，如果最近邻近者接触映射未识别对已有接触中的一个的分量，则可以生成姿态输入的新接触以表示用来在触摸屏显示器上做姿态的额外手指的跟踪。

触摸输入模块114辨识触摸输入传感器数据116作为运算设备102的触摸屏显示器110上姿态输入112的两个接触122、124的分量系列。在实施例中，实施触摸输入模块114以根据每个接触的每个分量的触摸输入传感器数据116生成传感器映射（map）138。传感器映射表示接触的各个分量，如，当用户发起触摸屏显示器110上的姿态输入112时。在此实例中，传感器映射包括作为表示传感器映射中元素位置处信号强度的8位十六进制值示出的元素140。触摸输入传感器数据的较强传感器信号表明与传感器映射中元素的较多触摸接触。可以将传感器映射生成为二维阵列，二维网格中元素的阵列索引与来自触摸屏显示器上姿态输入的感测的触摸接触相关。可以减去静止基线电平（level），使得传感器映射周围区域中未作为触摸接触的一部分被检测到的元素被归一化为零电平。

运算设备102还包括接触跟踪服务142，其被实施以确定触摸屏显示器110上姿态输入（如，姿态输入112）的一个或更多个接触对应的预测触摸接触跟踪144。接触跟踪服务可以作为计算机可执行指令（如，软件应用）实施、以及通过一个或更多个处理器执行以实施本文中描述的各种实施例。接触跟踪服务还可以作为运算设备中专用传感器设备硬件上的固件实施。在此实例中，把接触跟踪服务示出为作为触摸输入模块114的组件实施。可替选地，接触跟踪服务可以实施为用以预测触摸接触跟踪的独立软件应用或服务。

在实施例中，实施接触跟踪服务142以执行多通路触摸接触跟踪的各种流程和/或算法。接触跟踪服务可以识别和预测作为两个接触映射（例如，相关、相关联）的姿态输入的分量。分量126－130表示第一接触122的跟踪，分量132－136表示第二接触124的跟踪。为识别成与特定接触相关的分量都分配同样标识。例如，为第一接触122的分量126－130都分配同样的第一标识，为第二接触124的分量132－136都分配同样的第二标识，其中，第一和第二标识不同以区分单独的接触。如下面所进一步描述的，接触跟踪服务可以基于评估从预测分量位置至接触的额外分量的距离的最近邻近者准则来验证预测分量位置与该接触的后续分量相关。另外，接触跟踪服务可以基于接触的分量之间的最小最大距离确定来确定分量与特定接触相关。

按照多通路触摸接触跟踪的一个或更多个实施例参照各图2和12描述实例方法200和1200。通常，可以使用软件、固件、硬件（例如，固定逻辑电路）、人工处理、或者其任何组合实施本文中描述的服务、功能、方法、流程、组件、以及模块中的任何一个。软件实施表示在通过计算机处理器执行时执行指定任务的程序代码。可以在可以包括软件、应用、例程、程序、对象、组件、数据结构、流程、模块、功能等的计算机可执行指令的总体上下文中描述实例方法。可以把程序代码存储在计算机处理器本地和/或远程的一个或更多个计算机可读存储介质设备中。也可以通过多个计算机设备在分布式运算环境中实践所述方法。进一步地，本文中描述的特征是平台独立的、并且可以在具有各种处理器的各种运算平台上实施。

图2示例了多通路触摸接触跟踪的实例方法200。描述方法块的次序并非意在解释成限制，可以按实施方法、或者替代方法的任何次序来组合任何数量的描述的方法块。

在块202，在触摸屏显示器上辨识姿态输入。例如，运算设备102处的触摸输入模块114（图1）辨识各种输入或输入的组合，如，实例设备104的触摸屏显示器110上的姿态输入112。在此实例中，姿态输入112是两手指姿态接触，其包括识别成与姿态输入的第一手指相关的第一接触122、以及与姿态输入的第二手指相关的第二接触124的两个接触。

在块204，确定多通路触摸接触跟踪对应于姿态输入。在块206，基于所述接触的一个或更多个先前分量来预测姿态输入接触接下来的分量位置。在块208，基于接触分量的正向最近邻近者接触映射来预测所述接触接下来的分量。在块210，基于接触分量的反向最近邻近者接触映射预测接触接下来的分量。在块212，姿态输入的每个接触的分量被映射以表示每个接触的轨迹。在块214，基于正向和反向最近邻近者接触映射来验证接触分量的最终关联。

例如，运算设备102处的接触跟踪服务142（图1）确定实例设备104的触摸屏显示器110上的姿态输入112对应的多通路触摸接触跟踪。接触跟踪服务还基于接触分量的正向最近邻近者接触映射来预测姿态输入接触接下来的分量位置；基于接触分量的反向最近邻近者接触映射来预测所述接触接下来的分量；映射（例如，相关、关联）姿态输入的每个接触的分量以表示每个接触的轨迹；和/或基于正向和反向最近邻近者接触映射来验证接触分量的最终关联。

图3示例了针对触摸信号处理实施的参照图1描述的接触跟踪服务142的实例实施和各种组件。图4示例了用于处理多通路触摸接触跟踪的实例架构400并参照图1中示出的触摸输入模块114、以及参照图1和3中示出的接触跟踪服务142来描述。图5示例了作为图3中接触跟踪服务142的组件示出的触摸接触跟踪器模块300（也称作“接触跟踪器”）所实施的多通路触摸接触跟踪的高级流程图500。

在402（图4）输入（例如，在触摸输入模块114处接收）触摸输入传感器数据116，触摸输入模块的传感器单元根据姿态输入的接触的每个分量的触摸输入传感器数据生成传感器映射302（图3）。可以在404对于归一化为零电平的传感器映射周围的元素减去、或者如若不然去除基线电平。例如，传感器映射138可以被生成为具有5mm间距（pitch）和八至十六位元素深度的二维网格。在406实施连接的分量分析器304以便连接的分量分析。连接的分量分析器接收归一化传感器映射420作为输入并生成表示被姿态输入的分量代替的触摸接触的所连接的接触分量的阵列306。在408实施触摸接触跟踪器模块300以便分量识别和接触跟踪，从而关联（例如，相关或映射）来自先前帧的分量和当前帧中触摸位置处的分量，其表示连续姿态运动的跟踪（例如，轨迹），如，第一接触122的轨迹和第二接触124的轨迹。

在图5中，在块502当接收每个新帧作为输入时、针对可预测性检查来自先前帧的一组触摸接触。在块504把仍在初始跟踪阶段（即，来自块502的“是”）中、以及在建立了触摸接触关联的足够历史之前的触摸接触输入到用于最小最大接触映射的触摸接触映射模块308（也称作“接触映射器”）。最小最大接触映射生成映射接触分量310的初始关联，其随后被输出和缓存为具有用于未来帧的关联历史的确定分量312。

在块506把并非初始触摸接触（即，来自块502的“否”）的触摸接触（例如，当接收了至少两个先前帧时）输入到用于运动预测的运动预测模块314以生成触摸接触预测位置316。在块510把连同当前帧的连接分量508一起的这些触摸接触预测位置输入到用于最近邻近者接触映射的触摸接触映射模块308，这基于正向最近邻近者距离匹配算法（例如，流程或确定）。在512针对准则核对最近邻近者距离匹配的结果以确定是否把当前帧的分量成功映射到了接触的先前分量。

如果分量的映射成功（即，来自块512的“是”），则在块514把映射关联输入到触摸接触合并器模块318。如果分量的映射未成功（即，来自块512的“否”），则在块516把分量输入到用于最小最大接触映射的触摸接触映射模块308并调用两级组合映射。通过来自运动预测模块314的输入（即，作为在块506的输出）和连接分量508，最小最大接触映射试图基于最小最大距离确定、连同涉及手部和/或手指运动动力学的一组规则一起，建立这两组分量位置之间的第一级最近邻近者关联。

可以实施最小最大方案以运算潜在匹配中所有分量对之间的距离。对于具有映射到N个分量的N个触摸位置的配置，潜在匹配的数量等于N!并且对于每个匹配，确定距离的运算及其最大距离的归类。如果在正向最近邻近者距离确定未能匹配分量时发起最小最大距离确定，则处理中的延迟会作为干扰引起用户注意。

对于不具有在第一级建立的映射（例如，在块518）的那些接触，在块520在所有分量上路由它们以便接触混叠（aliasing）核对以确定可以是由触摸接触合并器模块318在块514所确定的合并接触的可能的混叠。单个分量可以关联到多个触摸接触位置，这会在姿态输入运动的多个手指较贴近地移动以基于触摸输入传感器数据作为单个分量显现时发生。为了检测触摸接触合并器，对于第一级接触关联之后的任何未映射分量，可以针对所有分量发起最近邻近者检验以便接触关联，任何匹配表明单个分量与多个触摸位置之间的混叠关联。

触摸接触合并器模块318处理和解析合并分量，以便独立核对两个触摸位置是否具有一样的[x,y]网格点坐标。接触合并器可以包括混叠于一个分量的多个触摸位置、以及随着第一手指在触摸屏显示器上触摸而已经感测或检测第一触摸位置且用户贴近第一手指旁边使第二手指到达时的到达时合并（merge-on-landing）的场景。随后两个触摸位置可以被检测为在一个较大分量中合并在一起。

图6示例了作为图3中接触跟踪服务142的组件示出的触摸接触跟踪器模块300（也称作“接触跟踪器”）所实施的多通路触摸接触跟踪的另一高级流程图600。实例图600除了用在616的反向最近邻近者接触映射代替最小最大映射516、针对关联的最近邻近判定518、以及在520的接触混叠核对的三个操作以外，与图5中示出的图500类似。另外，用在610的正向最近邻近接触映射代替在510的最近邻近者接触映射。多通路最近邻近者距离确定包括分量的正向最近邻近者接触映射和分量的反向最近邻近者接触映射。

图7示例了如应用于两手指姿态输入的多通路最近邻近者接触映射的实例700，其中两手指姿态输入包括识别成与姿态输入的第一手指相关的第一接触702、以及与姿态输入的第二手指相关的第二接触704的两个接触。第一接触702包括如下连续分量，如，在沿着第一接触的不同触摸位置处的分量A和分量C。类似地，第二接触704包括如下连续分量，如，在沿着第二接触的不同触摸位置处的分量B和分量D。正向最近邻近接触映射610的操作查找距接触的预测地点最近的分量。当发现这种分量且距接触的预测点的距离小于定义的阈值时，可以建立关联以使分量与接触相关联。注意，定义的距离并非按均匀尺度，而是沿着速度的方向伸展以补偿由高速预测引起的可能的不准确。

正向最近邻近者接触映射的故障可以归因于用于最近邻近者距离确定的距离的不均匀本性。如图7中所示，分量A在应当与第一接触702的分量C匹配的预测位置处，类似地，分量B在应当与第二接触704的分量D匹配的预测位置处。接触的虚线表示距离比较的速度倾斜尺度。然而，由于接近，正向最近邻近者接触映射610将会把分量B的预测位置与如在706所示的分量C匹配。此正向最近邻近者接触映射的结果是将会把分量A和B这二者匹配到分量C作为2－1接触合并，分量D未映射，其可以随后确定为新接触的开始，从而引起接触704的接触匹配中断。

在实施例中，实施反向最近邻近者接触映射616以通过正向最近邻近者匹配通路之后的反向通路，解析未映射分量的状况。反向通路以未映射分量D开始，以及根据接触中所有其它分量确定最佳匹配。一旦确定最佳分量匹配，如，此实例中的分量B，就释放正向最近邻近者映射期间先前建立的分量B上的所有关联。这造成新的未映射分量，如，分量C，在反向方向上把反向最近邻近者接触映射应用于这些新的未映射分量直到不存在更多未映射分量为止。

对于每个未映射分量在610发起正向最近邻近者接触映射以确定匹配接触。在612核对正向最近邻近者接触映射的结果以确定是否把当前帧的所有未映射分量成功映射到接触的先前分量。如果分量的映射未成功（即，来自块612的“否”），则在616断开（例如，释放）对接触映射的所有分量以及发起反向最近邻近者接触映射。

由于未匹配分量的比例数量导致反向最近邻近者接触映射的处理资源的使用最小。反向方向上的传播也最小，这是由于过程与呆在一起并沿着姿态输入跨越（span）的方向快速移动的用户手部的三个或四个手指相关。对于由于新手指与触摸屏显示器接触而确定成未映射的任何分量，多通路触摸接触跟踪并未危害作为新输入的新接触的有效性，因为新确定的触摸接触通常距预测触摸位置距离足够远，因此反向最近邻近者接触映射将会在第一个迭代之后退出。

图8示例了给定接触（如，实例设备104（图1）的触摸屏显示器110上姿态输入112的接触）的轨迹的情况下表示接触的预测分量位置804的判定区域802的运动预测的实例800。在实施例中，当姿态输入在触摸屏显示器上位置N－2处开始并继续接触的跟踪至位置N－1随后至位置N时，实施接触跟踪服务142的运动预测模块314（图3）以便运动预测。基于对预测分量位置804的接近，位置N处的分量被确定为与N－2和N－1处的分量相关联的分量。当存在被识别为先前N个帧中的i的分量的关联时，则可以如以下公式中一样，通过接触的先前分量位置的线性组合来预测X_i的当前帧中分量的位置：

如果例如N＝3，则一个解是经由简单恒定加速度条件确定的常数a1＝2.5、a2＝－2、以及a3＝0.5。如果例如N＝2，则解是a1＝2和a2＝－1。通常，这些系数可以是时间相关变量，可以运用更先进的技术（如，卡尔曼滤波器）通过迭代流程确定这些参数。

对于以上预测阶段中生成的第i个触摸位置的每个分量，最近邻近者接触映射试图关联当前帧的分量X(t)。可以如本文中所述和/或通过其它技术和算法解析最近邻近者接触映射。可以在考虑当前帧的所有分量以确定X(t)在围绕预测位置为中心的二维判定区域802内的分量时建立映射关联。可以首先通过与帧t－1处第i个接触的实际触摸形状匹配的区域对应的、半径为r的圆形形状来构建判定区域。随后沿着速度的方向通过速度相关扩展、以及通过与速度的范数成比例的扩展因子λ修改圆形形状区域。此扩展是速度预测的不准确引入误差的原因。通常，λ的上限λmax可以避免沿着速度的方向靠拢的姿态输入运动的手指之间的错误关联。在一个实施中，λ＝（1+λmax|v|）/（1+|v|），然而λ的其它选项也可以。

在实践中，可以在反向流程中执行检验最近邻近者接触映射准则的流程。首先运算差向量：，随后通过沿着速度向量v＝X(t－1)－X(t－2)方向的因子1/λ执行对d的反向缩放（scaling）。随后针对判定区域的半径r核对所得向量的范数，小于r的值表明确定了关联。最近邻近者接触映射的另一延伸是实施概率途径，其中，定义向量d的概率分布函数，以及概率分布在所有分量之中传递（pass），而非传递分量X(t)属于哪个触摸的硬判定。可以通过HID报告传递此信息以使得姿态辨识应用118（图1）（例如，较高层）可以运用该信息。

在实施例中，可以建立最近邻近者接触映射成功的准则，以在块512（图5）确定成功映射。通常，最近邻近者接触映射生成可靠触摸分量关联。然而，在触摸接触速度的一些分布中，可以确定不可靠关联，如，当涉及的触摸位置的速度快且在某些方向上的加速度显著时。所得预测分量地点变得较贴近邻近分量而非应当与预测分量相关联的跟踪接触分量的地点。

用以检测此不可靠关联状况的简单条件是确定最近邻近者映射之后不相关联分量的总数量大于分量的数量与触摸的数量之间的差。注意，这是个充分条件，原因是理论上会存在分类成差映射的良好映射。由于帧的绝大多数具有可靠的关联预测，所以不可靠关联的状况（例如，故障情形）将会在可忽略运算成本的情况下占很小的百分比（例如，小于5%）。如果检测到故障情形，则如接触跟踪服务的触摸接触映射模块308所实施的，可以调用组合接触映射的算法或流程以确定正确关联。

组合接触映射可以建立先前帧中建立的接触的给定集合与当前帧中分量的给定集合之间的可靠映射。当确定预测且最近邻近者接触映射故障时，可以使用组合接触映射通过匹配预测位置与分量的位置之间的预测余量建立两个集合（例如，触摸位置与分量）之间的第一级关联。当在接触期限的初始阶段未确定预测时，还可以使用组合接触映射建立初始关联。如果如会在新接触的前两个帧中发生的一样，不存在接触的初始关联，则触摸接触映射模块308可以随后把原始位置设置成预测位置，不存在预测余量。触摸接触映射模块可以包括组合接触映射算法、距离映射的最小最大距离确定算法、以及用于使彼此交叉的姿态输入运动轨道恶化的交叉轨道抑制因子。可以经由最小最大算法和/或通过其它技术和算法（如，Hungarian算法）如本文中所述那样实施组合接触映射算法。

在实施例中，可以实施接触的最近邻近者检验和分量关联。可以通过与最近邻近者接触映射类似的第二级检验过程评估通过最小最大距离确定来建立的第一级关联（如下面进一步描述）。具体地，在最小最大映射阶段对的初始关联建立之后，当前帧的分量X(t)被确认在X(t)落到围绕第i个接触的预测位置为中心的二维预测区域中的情况下属于第i个接触。通常，与最近邻近者接触映射的差异在于并非评估给定的所有可能的分量，而是选择具有第一级关联的分量用于检验过程。

图9示例了针对多级最大距离确定的最小最大距离确定的实例900。在实施例中，实施接触跟踪服务142的触摸接触映射模块308（图3）以确定用以把先前帧的分量关联（例如，确定、相关）到当前帧的分量、使得映射内所有映射对之间的最大距离被最小化的最佳映射。根据如何应用最小最大距离确定，被映射的先前帧的分量位置可以是后续帧中分量的预测位置。

最小最大距离确定旨在确定先前帧的分量与当前帧的分量之间的最大距离最小的映射。在此实例中，已经识别了从分量904至后续分量触摸位置906的最大距离902。随后从当前帧中的分量908至先前帧中的分量910确定映射。例如，第一接触的确定是：是选择912处的虚线还是实线表示的分量关联，第二接触的确定是：是选择914处的虚线还是实线表示的分量关联。

在公式中，P(i)定义从N向M的映射，其中，N表示根据先前帧的接触上数字标记的集合，M表示当前帧中分量的标记。更具体地，P(i)是取M中的值（范围0…M－1）的i∈N（范围0…N－1）的函数，以使得对于i≠j，P(i)≠P(j)。此外，P表示所有可能P(i)的整个集合，确定P内的最佳P(i)以使得所述映射定义当前分量与做出最多感测的先前触摸位置的关联。

对于P中的任何P(i)，阵列D(i,P)：i∈N表示映射中每对i的距离。更具体地，对于映射中的每对i，把距离D(i,P)定义成当前帧的分量的位置与存在预测的情况下先前帧的分量的预测位置、或者先前帧的分量的位置之间的L²距离。随后发起D(i,P)的阵列的降序排序，把结果表示成排序的D(k,P)，其中0 ≤ k < N和：

排序的D(0,P) ≥ 排序的D(1,P)…≥ 排序的D(N－1,P)

可以在解以下最小化问题时获得最佳P：最佳P＝argmin_P∈P(ED(P)＋λ₀ * EC(P))；其中：

(排序的D(k,P) * MAXD^N－K)

值ED是来自最大距离匹配的贡献，值MAXD是显示屏上的最大距离（通常是对角距离）。一旦匹配了距离较大的分量，此实例中的分层最大距离匹配就考虑配置的退化。

图10示例了可以表明当前帧中的分量1002与来自先前帧的分量1004之间无用关联的交叉轨道（crossing trajectory）的实例1000。最小最大距离确定可以将当前分量不正确地关联到先前分量。把值EC(P)定义成与映射P中所有的标记对的轨道中交叉的数量成比例，在大约100Hz的采样速率，可以把交叉视作伪映射。在此实例中，分量A向分量C、以及分量B向分量D的映射优选地在分量A至D和B至C的交叉轨道上。然而，在没有EC(P)的情况下，纯ED(p)将可能不正确地将分量A的交叉轨道关联至D和B至C，这是明显不期望的。

图11示例了如何运算和考虑交叉轨道（如，图10中示出的）的实例1100。EC的运算认为对于轨道对和，它们彼此交叉的条件是在以下不等式同时成立时：

0 < (b₁ * c₀－b₀ * c₁)/det < 1

0 < (a₀ * c₁－a₁ * c₀)/det < 1

(det＝b₁ * a₀－b₀ * a₁)；其中

a＝(a₀, a₁)＝x₁－x₀

b＝(b₀, b₁)＝x₂－x₃

c＝(c₀, c₁)＝x₂－x₀。

图12示例了多通路触摸接触跟踪的实例方法1200。描述方法块的次序并非意在解释成限制，可以按任何次序组合任何数量的描述的方法块以实施方法、或者替代方法。

在块1202，触摸输入传感器数据被辨识为触摸屏显示器上接触的一系列分量。例如，运算设备102处的触摸输入模块114（图1）将触摸输入传感器数据116辨识为触摸屏显示器110上（如，实例设备104上）姿态输入112的接触（例如，两个接触122、124中的任一个）的分量系列。

在块1204，基于多通路最近邻近者接触映射把分量确定成与所述接触相关。例如，运算设备102处的接触跟踪服务142（图1）基于包括分量的正向最近邻近者接触映射和分量的反向最近邻近者接触映射的多通路最近邻近者接触映射来确定接触122的分量与接触相关。

在块1206，发起正向最近邻近者接触映射。例如，接触跟踪服务142发起正向最近邻近者接触映射以评估从接触的一个或更多个额外分量至分量的预测分量位置的距离。在块1208，关于在正向最近邻近者接触映射之后是否剩余任何未映射分量做出确定。如果剩余未映射分量（即，来自块1208的“是”），则在块1210，释放正向最近邻近者接触映射所映射的映射分量关联，在块1212，发起反向最近邻近者接触映射。例如，接触跟踪服务142确定在正向最近邻近者接触映射之后是否剩余未映射分量，如果是，则释放任何映射分量关联并发起反向最近邻近者接触映射以评估从预测分量位置至接触的一个或更多个额外分量的距离。

在块1214，接触的分量被关联以表示接触的轨迹，在块1216，随后向与接触相关联的所有分量分配同样标识。例如，接触跟踪服务142关联接触的所有分量以表示接触的轨迹并把相同标识分配给所有分量。

图13示例了可以作为参照先前图1－12描述的设备中的任何设备、或者设备实施的服务来实施的实例设备1300的各种组件。在实施例中，可以通过消费者、计算机、便携式、用户、通信、电话、导航、电视、家电、游戏、媒体回放、和/或电子设备的任何形式，将设备实施为固定或移动设备中的任何一个或组合。设备还可以与操作设备的用户（即，人）和/或实体相关联以使得设备描述包括用户、软件、固件、硬件、和/或设备组合的逻辑设备。

设备1300包括实现设备数据1304（如，接收的数据、正接收的数据、对于广播调度的数据、数据的数据包等）的有线和/或无线通信的通信设备1302。设备数据或其它设备内容可以包括设备的配置设置、设备上存储的媒体内容、和/或与设备的用户相关联的信息。设备上存储的媒体内容可以包括任何类型的音频、视频、和/或图像数据。设备包括可以接收任何类型的数据、媒体内容、和/或输入的一个或更多个数据输入1306，如，用户可选择的输入和从任何内容和/或数据源接收的任何其它类型的音频、视频、和/或图像数据。

设备1300还包括通信接口1308，如，串行、并行、网络、或者无线接口中的任何一个或更多个。通信接口提供设备与其它电子、运算、以及通信设备与设备传送数据的通信网络之间的连接和/或通信链路。

设备1300包括处理各种计算机可执行指令以控制设备操作的一个或更多个处理器1310（例如，微处理器、控制器等中的任何一个）。可替选地或另外，可以通过结合通常以1312标识的处理和控制电路实施的软件、硬件、固件、或者固定逻辑电路中的任何一个或组合来实施设备。在实施例中，设备1300还可以包括被实施以辨识触摸输入传感器数据的触摸输入模块1314。虽然未示出，但设备可以包括耦合设备内各种组件的系统总线或数据传送系统。系统总线可以包括不同总线结构（如，存储器总线或存储器控制器、外围总线、通用串行总线、和/或运用各种总线架构中任何总线架构的处理器或本地总线）中的任何一个或组合。

设备1300还包括实现数据存储的一个或更多个存储器设备1316（例如，计算机可读存储介质），如，随机访问存储器（RAM）、非易失性存储器（例如，只读存储器（ROM）、闪存等）、以及盘存储设备。可以盘存储设备可以实施为任何类型的磁或光学存储设备（如，硬盘驱动器、可刻录和/或可重写盘等）。设备还可以包括海量存储介质设备。

计算机可读介质可以是运算设备访问的任何可用介质或媒体。以实例而非限制的方式，计算机可读介质可以包括存储介质和通信媒体。存储介质包括以存储信息（如，计算机可读指令、数据结构、程序模块、或者其它数据）的任何方法或技术实施的易失性和非易失性、可移除和不可移除介质。存储介质包括但不限于RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘（DVD）或其它光学存储部件、磁盒、磁带、磁盘存储或其它磁存储设备、或者可以用来存储信息和可以通过计算机访问的任何其它介质。

通信媒体通常在调制数据信号（如，载波或其它传输机制）中实施计算机可读指令、数据结构、程序模块、或者其它数据。通信媒体还包括任何信息输送媒体。调制数据信号通过在信号中编码信息的这种方式来设置或改变其一个或更多个特性。以实例而非限制的方式，通信媒体包括诸如有线网络或直接连线连接的有线媒体，以及诸如声学、RF、红外、和其它无线媒体的无线媒体。

存储器设备1316提供用以存储设备数据1304、其它类型的信息和/或数据、各种设备应用1318的数据存储机制。例如，可以通过存储器设备将操作系统1320作为软件应用来维持并在处理器上执行。设备应用还可以包括设备管理器，如，任何形式的控制应用、软件应用、信号处理和控制模块、对特定设备原生的代码、特定设备的硬件抽象层等。在此实例中，设备应用1318包括实施如本文中所述角度接触几何实施例的姿态辨识应用1322和接触跟踪服务1324。

设备1300还包括生成音频系统1328的音频数据和/或生成显示系统1330的显示数据的音频和/或视频处理系统1326。音频系统和/或显示系统可以包括处理、显示、和/或如若不然重现音频、视频、显示、和/或图像数据的任何设备。可以经由RF（射频）链路、S视频链路、合成视频链路、分量视频链路、DVI（数字视频接口）、模拟音频连接、或者其它类似通信链路向音频设备和/或向显示设备传送显示数据和音频信号。在实施中，音频系统和/或显示系统是设备的外界组件。可替选地，音频系统和/或显示系统是实例设备的集成的组件，如，集成的触摸屏显示器。

虽然以特定于特征和/或方法的语言描述了多通路触摸接触跟踪的实施例，但所附权利要求的主题并非必定限于描述的具体特征或方法。而是，具体特征和方法作为多通路触摸接触跟踪的实例实施方式被公开。

Claims (7)

1.一种多通路触摸接触跟踪方法（1200），包括：

辨识（1202）触摸输入传感器数据（116）作为触摸屏显示器（110）上接触（122）的一系列分量（126）；

基于多通路最近邻近者接触映射（700）确定（1204）分量与接触相关，所述多通路最近邻近者接触映射包括分量的正向最近邻近者接触映射和分量的反向最近邻近者接触映射；以及

关联（1214）分量以表示接触的轨迹（144），

其中，正向最近邻近者接触映射评估从接触的一个或更多个额外分量至分量的预测分量位置的距离；并且

其中，反向最近邻近者接触映射评估从预测分量位置至接触的一个或更多个额外分量的距离。

2.如权利要求1所述的方法，其中，当在正向最近邻近者接触映射之后剩余未映射分量时发起反向最近邻近者接触映射。

3.如权利要求2所述的方法，其中，当发起反向最近邻近者接触映射时释放正向最近邻近者接触映射所映射的映射分量关联。

4.如权利要求1所述的方法，进一步包括：

向与接触相关的分量分配相同标识；

基于多通路最近邻近者接触映射确定后续分量与接触相关；以及

把所述相同标识分配给与分量组合的后续分量以表示接触的轨迹。

5.如权利要求1所述的方法，进一步包括：

根据接触的轨迹来预测接触的分量位置；以及

使预测的分量位置与接触的后续分量相关。

6.如权利要求5所述的方法，其中，预测分量位置基于表示接触的轨迹的分量被预测。

7.一种运算设备（102），包括：

触摸屏显示器（110）；

触摸输入模块（114），被配置成辨识触摸输入传感器数据（116）作为触摸屏显示器上接触（122）的一系列分量（126）；

至少用以实施接触跟踪服务（142）的存储器（1316）和处理器（1310），所述接触跟踪服务被配置成：

基于多通路最近邻近者接触映射（700）确定分量与接触相关，所述多通路最近邻近者接触映射包括分量的正向最近邻近者接触映射和分量的反向最近邻近者接触映射；以及

关联所述分量以表示接触的轨迹（144），

其中，正向最近邻近者接触映射评估从接触的一个或更多个额外分量至分量的预测分量位置的距离；并且

其中，反向最近邻近者接触映射评估从预测分量位置至接触的一个或更多个额外分量的距离。