CN110799933A - 使用多维热图消除手势输入类型的歧义 - Google Patents

Abstract

描述了一种计算设备，所述计算设备接收表示在持续时间内在存在敏感型屏幕的区域处输入的用户输入的指示。所述计算设备可以基于表示所述用户输入的指示确定指示所述用户输入的多个多维热图。基于所述多个多维热图，所述计算设备可以确定所述多个多维热图的形状在所述持续时间内的变化，并且响应于所述多个多维热图的形状的变化，确定所述用户输入的分类。所述计算设备然后可以执行与所述用户输入的分类相关联的操作。

Description

使用多维热图消除手势输入类型的歧义

背景技术

一些计算设备(例如，移动电话、平板计算机)可以接收在存在敏感型屏幕处输入的用户输入。例如，计算设备的存在敏感型屏幕可以输出图形用户界面(例如，游戏或操作系统的界面)，该图形用户界面允许用户通过在存在敏感型屏幕处显示的其他图形元素(例如，按钮、滚动条、图标等)上轻击和/或打手势来输入命令。命令可以与计算设备可以执行的不同操作相关联，诸如，调用与图形元素相关联的应用，在图形用户界面内重新定位图形元素，在图形用户界面的不同方面(例如，页面)之间切换，在图形用户界面的各个方面内滚动等。

为了在不同类型的手势输入之间进行区分，计算设备可以确定指示例如在存在敏感型显示器内发起手势的相关位置、指示在存在敏感型显示器内终止手势的结束位置以及指示在起始位置和结束位置之间发生的手势位置的可能的一个或多个中间位置。计算设备还可以确定手势的一个或多个持续时间(例如，与每个相关位置相关联的持续时间)。基于手势的持续时间和相关位置，计算设备可以确定手势的类型的分类，诸如，手势是否是轻击、长按(例如，通过所确定的持续时间超过长按持续时间阈值来测量)、长按滑动、长按挥动等。

这种基于持续时间的手势分类可能很慢(由于必须等待各种持续时间阈值通过)。此外，考虑到将手势减少到一个或多个位置和一个或多个持续时间的序列，基于持续时间的手势分类可能不精确。基于持续时间的手势分类的缓慢、不精确的性质可能导致计算设备确定与用户旨在经由手势输入的命令不一致的命令的分类。导致潜在的无响应和不直观的用户体验。

发明内容

在一个示例中，本公开涉及一种方法，该方法包括：通过计算设备的一个或多个处理器，接收表示在持续时间内在存在敏感型屏幕的区域处输入的用户输入的指示；以及通过一个或多个处理器并且基于表示用户输入的指示，确定指示用户输入的多个多维热图。该方法还包括：通过一个或多个处理器并且基于多个多维热图，确定多个多维热图的形状在持续时间内的变化；以及通过一个或多个处理器并且响应于多个多维热图的形状的变化，确定用户输入的分类。该方法进一步包括：通过一个或多个处理器，执行与用户输入的分类相关联的操作。

在另一示例中，本公开涉及一种计算设备，该计算设备包括：存在敏感型屏幕，该存在敏感型屏幕被配置为输出表示在持续时间内在存在敏感型屏幕的区域处输入的用户输入的指示；以及一个或多个处理器，该一个或多个处理器被配置为基于表示用户输入的指示确定指示用户输入的多个多维热图。一个或多个处理器还被配置为：基于多个多维热图，确定多个多维热图的形状在持续时间内的变化；以及响应于多个多维热图的形状的变化，确定用户输入的分类。一个或多个处理器还被配置为执行与用户输入的分类相关联的操作。

在另一示例中，本公开涉及一种在其上存储有指令的计算机可读介质，该指令在被执行时使一个或多个处理器：接收表示在持续时间内在存在敏感型屏幕的区域处输入的用户输入的指示；基于表示用户输入的指示，确定指示用户输入的多个多维热图；基于多个多维热图，确定多个多维热图的形状在持续时间内的变化；响应于多个多维热图的形状的变化，确定用户输入的分类；以及执行与用户输入的分类相关联的操作。

在下面的附图和描述中陈述了一个或多个示例的细节。本公开的其他特征、目的和优点将通过描述和附图以及通过权利要求而显而易见。

附图说明

图1是图示了根据本公开的一个或多个方面的被配置为消除用户输入的歧义的示例计算设备的框图。

图2是图示了根据本公开的一个或多个方面的被配置为消除用户输入的歧义的另一示例计算设备的框图。

图3是图示了根据本公开的一种或多种技术的输出图形内容以显示在远程设备处的示例计算装置的框图。

图4A至4C是图示了根据本公开所描述的技术的各个方面的由计算设备用于执行用户输入的消歧的热图的示例序列的概念图。

图5是图示了根据本公开所描述的技术的各个方面的由计算设备用于确定用户输入的分类的示例热图的概念图。

图6是图示了根据本公开的一个或多个方面的被配置为执行用户输入的消歧的计算设备的示例操作的流程图。

具体实施方式

一般地，本公开涉及用于使计算设备能够基于与经由存在敏感型屏幕在持续时间内接收到的用户输入相关联的多个多维热图来消除用户输入的歧义的技术。通过分析多维热图在持续时间内如何改变形状，计算设备可以执行可以称为基于形状的消歧的操作。除了依靠仅考虑用户与计算设备交互的持续时间的消歧方案之外，本公开所陈述的基于形状的消歧技术可以考虑与用户输入相关联的热图的实际形状和/或与用户输入相关联的热图的形状在持续时间内如何变化。

计算设备可以基于形状在持续时间内如何变化来识别用户何时按压存在敏感型屏幕。即，使用指示经由存在敏感型显示器的二维区域检测到的电容的多维热图，计算设备可以使用基于形状的消歧来识别用户何时用力按压存在敏感型显示器而不是轻击存在敏感型显示器。为了说明，当多维热图中的电容值增加时，计算设备可以确定用户正在按压存在敏感型显示器。

这样，本公开的技术可以改善计算设备的操作。作为一个示例，与仅依赖于时间阈值的消歧方案相比，该技术可以以促进对用户输入的更快分类的方式来配置计算设备。此外，该技术可以通过增加的信息量来促进用户输入的更准确分类，从而导致较少的用户输入错误分类。两种益处都可以改善用户与计算设备的交互，从而允许计算设备更有效地(就处理器周期和功率利用而言)识别用户输入。该技术提供的更快分类可以允许计算设备利用更少的时间处理周期，从而节省功率。该技术提供的更好的准确性可以允许计算设备按照用户期望的方式进行响应，使得用户无需撤消通过对用户输入的错误分类而启动的意外操作，并且可以重新输入用户输入以尝试执行预期操作，这可以减少处理周期的数量，从而节省功率。

在整个本公开中，描述了示例，其中，仅当计算设备和/或计算系统接收到来自计算设备的用户的明确许可以分析信息时，计算设备和/或计算系统才可以分析与该计算设备、计算设备的用户相关联的信息(例如，热图)。例如，在下面讨论的情况下，其中，计算设备和/或计算系统可以收集或可以利用与用户和计算设备相关联的通信信息，可以向用户提供机会以提供输入来控制计算设备和/或计算系统的程序或特征是否可以收集和利用用户信息(例如，热图)，或指示计算设备和/或计算系统是否和/或如何可以接收与用户相关的内容。另外，某些数据可以在被计算设备和/或计算系统存储或使用之前以一种或多种方式被处理，使得个人可识别信息被去除。例如，可能会处理用户的身份，使得无法确定有关该用户的个人可识别信息。因此，用户可以控制如何收集关于用户的信息以及如何被计算设备和/或计算系统使用。

图1是图示了根据本公开的一个或多个方面的被配置为消除用户输入的歧义的作为示例计算设备的计算设备110的概念图。计算设备110可以表示移动设备，诸如，智能电话、平板计算机、膝上型计算机、计算机化的手表、计算机化的眼镜、计算机化的手套或任何其他类型的便携式计算设备。计算设备110的附加示例包括台式计算机、电视、个人数字助理(PDA)、便携式游戏系统、媒体播放器、电子书阅读器、移动电视平台、汽车导航和娱乐系统、车辆座舱显示器或任何其他类型的可穿戴和不可穿戴的移动或非移动计算设备，其可以输出图形键盘以进行显示。

计算设备110包括存在敏感型显示器(PSD)112(可以表示存在敏感型屏幕的一个示例)、用户界面(UI)模块120、手势模块122和一个或多个应用模块124A至124N(“应用模块124”)。模块120至124可以执行使用硬件或在计算设备110中驻留和/或执行的硬件和软件和/或固件的组合描述的操作。计算设备110可以利用多个处理器或多个设备来执行模块120至124。计算设备110可以将模块120至124执行为在底层硬件上执行的虚拟机。模块120至124可以作为操作系统或计算平台的一个或多个服务执行。模块120至124可以在计算平台的应用层处作为一个或多个可执行程序执行。

计算设备110的PSD 112可以表示存在敏感型屏幕的一个示例，并且充当计算设备110的相应输入和/或输出设备。可以使用各种技术来实施PSD 112。例如，PSD 112可以充当使用存在敏感型输入屏幕的输入设备，诸如，电阻式触摸屏、表面声波触摸屏、电容式触摸屏、投射电容触摸屏、压敏屏幕、声脉冲识别触摸屏或另一存在敏感型屏幕技术。PSD 112还可以充当使用任何一个或多个显示设备的输出(例如，显示)设备，诸如，液晶显示器(LCD)、点矩阵显示器、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、电子墨水或类似的单色或彩色显示器，其能够向计算设备110的用户输出可见信息。

PSD 112可以从相应计算设备110的用户接收触觉输入。PSD 112可以通过检测来自用户的一个或多个手势来接收触觉输入的指示(例如，用户用手指或手写笔触摸或指向PSD 112的一个或多个位置)。PSD 112可以将信息输出给用户作为用户界面，其可以与计算设备110提供的功能性相关联。例如，PSD 112可以呈现与键盘、应用模块124、操作系统或在计算设备110处执行或可从计算设备110访问的计算平台、操作系统、应用和/或服务的其他特征有关的各种用户界面(例如，电子消息应用、互联网浏览器应用、移动或台式操作系统等)。

UI模块120管理与PSD 112和计算设备110的其他组件的用户交互。例如，UI模块120可以输出用户界面，并且可以使PSD 112在计算设备110的用户查看输出和/或在PSD112处提供输入时显示该用户界面。在图1的示例中，UI模块120可以与PSD 112接口连接以呈现用户界面116。用户界面116包括显示在PSD 112的各个区域处的图形元素118A至118C。当用户与用户界面(例如，PSD 112)交互时，UI模块120可以从用户接收一个或多个输入指示。UI模块120可以解释在PSD 112处检测到的输入，并且可以将与检测到的输入有关的信息中继到在计算设备110处执行的一个或多个关联平台、操作系统、应用模块124和/或服务，例如，以使计算设备110执行操作。

换言之，UI模块120可以表示被配置为与PSD 112接口连接以呈现用户界面(诸如，用户界面116)，并且在PSD 112的区域处接收表示用户输入的指示两者的单元。PSD 112可以将表示用户输入的指示输出到UI模块120，包括识别接收用户输入的PSD 112的区域。在手势模块112对用户输入进行分类之前，UI模块120可以接收并处理来自PSD 112的输出。UI模块120可以以任何数量的方式处理指示，诸如，作为一个示例，处理指示以将指示减少到在持续时间内发生的一个或多个点的序列。

为了处理用户输入，UI模块120可以接收表示用户输入的指示作为电容指示的序列。电容指示可以表示在初始区域119A处反映用户输入的电容。电容指示可以定义PSD 112的区域119A中的二维网格的每个点的电容(从而定义了可以称为“热图”或“电容热图”的图)。UI模块120可以评估区域119A的电容指示以确定在区域119A处用户输入的主要点的质心反射。即，用户输入可以跨越二维网格中的多个电容点，其具有反映用户与PSD 112接触的程度的不同电容值。电容值越高，与PSD 112的接触越广泛，并且更好地指示下面的电容点是用户输入的预期位置。UI模块120可以使用任何数量的过程来确定质心坐标，其中一些过程可能涉及空间模型的实施(诸如，虚拟键盘用户界面的质心的计算)，该空间模型涉及用于图形元素(例如，虚拟键盘用户界面中的键)的双变量高斯模型。

UI模块120可以输出一个或多个质心坐标而不是电容指示作为表示用户输入的指示，以促进用户输入的实时或近实时处理。用户输入的实时或近实时处理可以通过延迟等待时间并实现更好的响应性来改善用户体验。UI模块120可以针对每个质心坐标输出质心坐标以及时间戳，其指示何时确定质心坐标的每个指示。为了便于说明过程，UI模块120可以将质心坐标和对应的时间戳作为表示用户输入的指示输出到手势模块122和/或未在图1的示例中示出的其他模块。

尽管示出为与PSD 112分离，但是UI模块112可以集成在PSD 112内。换言之，PSD112可以以硬件或硬件和软件的组合来实施关于UI模块120所描述的功能性。

手势模块122可以表示被配置为处理表示用户输入的一个或多个指示以确定用户输入的分类的组件。手势模块122可以确定不同类型的分类，包括长按事件、轻击事件、滚动事件、拖动事件(可能指的是长按之后是移动)等。

手势模块122可以执行基于时间的阈值化，以便基于表示用户输入的指示来确定用户输入的分类。例如，当质心坐标在超过长按持续时间阈值的持续时间(通过对应时间戳的差异测量)内保持在相对稳定的位置时，手势模块122可以确定长按事件分类。当按照时间戳的时间顺序的最终时间戳小于轻击持续时间阈值时，手势模块122可以在基于时间的阈值化中确定轻击事件分类。

手势模块122还可以执行空间阈值化，以便基于表示用户输入的指示来确定各种空间事件分类，诸如，滚动事件分类、挥动事件分类、拖动事件分类等。例如，当两个质心坐标之间的差异超过距离阈值时，手势模块122确定滚动事件分类。

手势模块122可以将用户输入的分类输出到UI模块120。UI模块120可以执行与用户输入的分类相关联的操作，诸如，当分类指示滚动事件时滚动用户界面116，当分类指示长按事件时打开菜单，或者当分类指示轻击事件时调用应用模块124之一。

在一些情况下，UI模块120可以相对于图形元素(诸如，图形元素118)执行操作。例如，UI模块120可以确定在由一个或多个质心(或换言之，质心坐标)识别的PSD 112内的位置处显示的一个或多个基础图形元素118。UI模块120然后可以相对于一个或多个图形元素118执行与用户输入的分类相关联的操作。为了说明，考虑到用户输入被分类为以图形元素118A为中心的长按事件，并且图形元素118A是与应用模块124之一相关联的图标，UI模块120可以生成包括能够由应用模块124之一执行的操作的长按菜单，并且与PSD 112接口连接以更新用户界面116以显示长按菜单，该长按菜单具有快速链接以执行应用模块124之一提供的附加操作。

每个应用模块124是可执行的应用或其子组件，其执行计算设备110的一个或多个特定功能或操作，诸如，电子消息传递应用、文本编辑器、互联网网页浏览器或游戏应用。每个应用模块124可以独立地执行计算设备110的各种功能，或者可以与其他应用模块124协作地操作以执行功能。

如上面提到的，手势模块122可以执行基于时间的阈值化以确定用户输入的多个不同分类。尽管基于时间的阈值化可以允许经由PSD112与计算设备110进行功能交互，但是各种持续时间阈值通常会引入可能影响用户体验的等待时间，并且将任意及时性引入用户输入检测。虽然缩短持续时间阈值可能会改善整体用户体验，但是缩短的持续时间阈值可能会导致用户输入的错误消岐(其中，例如，预期为长按的用户输入被错误地分类为滚动事件)或用户输入的其他错误分类。甚至不经常的错误分类也可能会导致令人沮丧的用户体验，因为用户可能认为计算设备110的使用不直观，并且其操作不正确且失败。

根据本公开所描述的技术，手势模块122可以对用户输入执行基于热图的消歧。手势模块122可以接收热图序列(全部或部分地)，而不是将热图减小为映射到PSD 112的一个像素的单个质心坐标，如上面提到的，UI模块120可以基于表示用户输入的指示确定该热图序列。与质心坐标序列相比，该热图序列(由于该技术可以相对于以非连续顺序接收到的热图进行操作，因此该热图序列也可以更一般地称为“多个热图”)可以提供用户输入的更详细的表示，从而潜在地允许更快、更准确地消除用户输入的歧义。

假设热图提供了用户输入的二维表示(例如，质心坐标周围的电容指示的平方)，并且该热图序列在第三维(即，时间)上变化，则该热图序列可以被称为多维热图序列。基于表示持续时间内的用户输入的多维热图序列，手势模块122可以确定多维热图序列的形状在持续时间内的变化。

形状的变化可以表示许多不同类型的事件。例如，当用户将他们的手指压在屏幕上时，手指的自然可塑性可能会导致形状扩展，可能表示向PSD 112施加更多的压力，而手势模块122可能会将该压力消岐为硬压事件。作为另一示例，手势模块122可以将形状的微小变化消岐为轻击事件或轻压事件。在这方面中，手势模块122可以响应于多维热图的形状的变化来确定用户输入的分类。

在一些示例中，手势模块122可以使用基于形状的消歧来组合基于时间的消歧和基于形状的消歧，以潜在地更快速地确定用户输入的分类或促进分类过程的准确性。例如，手势模块122可以使用形状的变化更快地确定用户输入是按压事件(例如，快达100毫秒(ms))，从而允许将基于时间的阈值设置得较低(通常在唯一的基于时间的消歧方案中，多达500ms)。作为另一示例，手势模块122可以使用形状变化的形式的附加信息来基于形状的变化和相对于轻击事件阈值确定用户输入是轻击事件，以促进轻击事件的验证并且减少将预期的轻击用户输入误认为滚动事件的情况。

手势模块122还可以利用热图序列中的任何一个的形状来导出关于用户输入的附加信息。例如，手势模块122可以基于多维热图序列中的一个或多个的形状来确定用户的哪只手被用于输入用户输入。作为另一示例，手势模块122还可以确定用户的哪个手指被用于输入用户输入。

手势模块122可以将分类输出到操作系统的其他模块(为了便于说明，未在图1的示例中示出)，其可以执行与用户输入的分类相关联的一些操作(例如，调用应用模块124之一，将分类传递给应用模块124之一–应用模块124本身可以执行操作，诸如，滚动、过渡、当前菜单等)。通常，在这方面中，计算设备110可以执行与用户输入的分类相关联的操作。

这样，本公开的技术可以改善计算设备110的操作。作为一个示例，与仅依赖于时间阈值的消歧方案相比，该技术可以以促进对用户输入的更快分类的方式来配置计算设备110。此外，该技术可以通过增加的信息量来促进用户输入的更准确分类，从而导致较少的用户输入错误分类。两种益处都可以改善用户与计算设备110的交互，从而允许计算设备110更有效地(就处理器周期和功率利用而言)识别用户输入。该技术提供的更快分类可以允许计算设备110利用更少的时间处理周期，从而节省功率。该技术提供的更好的准确性可以允许计算设备110按照用户期望的方式进行响应，使得用户无需撤消通过对用户输入的错误分类而启动的意外操作，并且可以重新输入用户输入以尝试执行预期操作，这可以减少处理周期的数量，从而节省功率。

图2是图示了根据本公开的一个或多个方面的被配置为呈现图形键盘的示例计算设备的框图。下面将图2的计算设备210描述为图1所图示的计算设备110的示例。图2仅图示了计算设备110的一个特定示例，并且计算设备210的许多其他示例可以在其他实例中使用，并且可以包括示例计算设备210中包括的组件的子集，或者可以包括未在图2中示出的附加组件。

如在图2的示例中所示，计算设备110包括PSD 212、一个或多个处理器240、一个或多个通信单元242、一个或多个输入组件244、一个或多个输出组件246以及一个或多个存储组件248。存在敏感型显示器212包括显示组件202和存在敏感型输入组件204。计算设备210的存储组件248可以包括UI模块220、手势模块222和一个或多个应用模块224。另外，存储组件248被配置为存储多维热图(“MDHM”)存储库260A和阈值数据存储库260B(统称为“数据存储库260”)。手势模块222可以包括基于形状的消歧(“SBD”)模型模块226和基于时间的消歧(“TBD”)模型模块228。通信信道250可以互连组件212、240、242、244、246、248、220、222、224、226、228和260中的每一个，以进行组件间通信(物理上、通信上和/或可操作地)。在一些示例中，通信信道250可以包括系统总线、网络连接、过程间通信数据结构或用于传递数据的任何其他方法。

计算设备210的一个或多个通信单元242可以通过在一个或多个网络上传输和/或接收网络信号来经由一个或多个有线和/或无线网络与外部设备通信。通信单元242的示例包括：网络接口卡(例如，诸如，以太网卡)、光学收发器、射频收发器、GPS接收器或者可以发送和/或接收信息的任何其他类型的设备。通信单元242的其他示例可以包括短波无线电、蜂窝数据无线电、无线网络无线电以及通用串行总线(USB)控制器。

计算设备210的一个或多个输入组件244可以接收输入。输入的示例是触觉输入、音频输入和视频输入。在一个示例中，计算设备210的输入组件242包括存在敏感型输入设备(例如，触敏屏幕、PSD)、鼠标、键盘、语音响应系统、摄像机、麦克风或用于检测来自人或机器的输入的任何其他类型的设备。在一些示例中，输入组件242可以包括一个或多个传感器组件、一个或多个位置传感器(GPS组件、Wi-Fi组件、蜂窝组件)、一个或多个温度传感器、一个或多个移动传感器(例如，加速度计、陀螺仪)、一个或多个压力传感器(例如，气压计)、一个或多个环境光传感器以及一个或多个其他传感器(例如，麦克风、相机、红外接近传感器、湿度计等)。仅举几个其他非限制性示例，其他传感器可以包括心率传感器、磁力计、葡萄糖传感器、湿度计传感器、嗅觉传感器、罗盘传感器、步数计数器传感器。

计算设备110的一个或多个输出组件246可以生成输出。输出的示例是触觉输出、音频输出和视频输出。在一个示例中，计算设备210的输出组件246包括PSD、声卡、视频图形适配卡、扬声器、阴极射线管(CRT)监视器、液晶显示器(LCD)或者用于生成对人或机器的输出的任何其他类型的设备。

计算设备210的PSD 212包括显示组件202和存在敏感型输入组件204。显示组件202可以是PSD 212显示信息的屏幕，并且存在敏感型输入组件204可以检测显示组件202处和/或附近的对象。作为一个示例范围，存在敏感型输入组件204可以检测在显示组件202的两英寸或更短范围内的物体，诸如，手指或手写笔。存在敏感型输入组件204可以确定检测到对象的显示组件202的位置(例如，[x，y]坐标)。在另一示例范围中，存在敏感型输入组件204可以检测距显示组件202六英寸或者更短范围的对象，并且其他范围也是可能的。存在敏感型输入组件204可以使用电容、感应和/或光学识别技术来确定由用户的手指选择的显示组件202的位置。在一些示例中，存在敏感型输入组件204还使用关于显示组件202描述的触觉、音频或视频刺激向用户提供输出。在图2的示例中，PSD 212可以呈现用户界面(诸如，用于接收文本输入并且输出从图1所示的文本输入推断出的字符序列的图形用户界面116)。

虽然被图示为计算设备210的内部组件，但是PSD 212还可以表示与计算设备210共享数据路径以传输和/或接收输入和输出的外部组件。例如，在一个示例中，PSD 212表示计算设备210的内置组件，该内置组件位于计算设备210的外部封装(例如，移动电话上的屏幕)内并且物理地连接至计算设备210的外部封装。在另一示例中，PSD 212表示计算设备210的外部组件，该外部组件位于计算设备210的封装或壳体(例如，与计算设备210共享有线和/或无线数据路径的监视器、投影仪等)外部并且与计算设备210的封装或壳体物理地分离。

计算设备210的PSD 212可以从计算设备210的用户接收触觉输入。PSD 212可以通过检测来自计算设备210的用户的一个或多个轻击或非轻击手势来接收触觉输入的指示(例如，用户用手指或手写笔触摸或指向PSD 212的一个或多个位置)。PSD 212可以向用户呈现输出。PSD 212可以将输出呈现为图形用户界面(例如，图1的图形用户界面114)，其可以与计算设备210的各种功能性所提供的功能性相关联。例如，PSD 212可以呈现在计算设备210处执行或可由计算设备210访问的计算平台、操作系统、应用或服务的组件的各种用户界面(例如，电子消息应用、导航应用、互联网浏览器应用、移动操作系统等)。用户可以与相应用户界面交互以使计算设备210执行与各种功能中的一个或多个相关的操作。计算设备210的用户可以查看呈现为与文本输入功能相关联的反馈的输出，并且使用文本输入功能向PSD 212提供输入以撰写文本。

计算设备210的PSD 212可以将二维和/或三维手势检测为来自计算设备210的用户的输入。例如，PSD 212的传感器可以在PSD 212的传感器的阈值距离内检测用户的移动(例如，移动手、手臂、钢笔、手写笔等)。PSD 212可以确定移动的二维或者三维矢量表示并且将该矢量表示与具有多维的手势输入(例如，挥手、捏、鼓掌、笔触等)互相关联。换言之，PSD 212可以在不需要用户在屏幕或者表面处或者附近做手势的情况下检测多维手势，在屏幕或者表面处，PSD 212输出信息以进行显示。相反，PSD 212可以检测在传感器处或者附近执行的多维手势，该传感器可以或者可以不定位在PSD 212输出信息以便显示的屏幕或者表面附近。

一个或多个处理器240可以实施功能性和/或执行与计算设备210相关联的指令。处理器240的示例包括应用处理器、显示控制器、辅助处理器、一个或多个传感器集线器以及被配置为充当处理器、处理单元或处理设备的任何其他硬件。模块220、222、224、226和228可以由处理器240操作以执行计算设备210的各种动作、操作或功能。例如，计算设备210的处理器240可以检索并执行由存储组件248存储的指令，该指令使处理器240执行操作模块220、222、224、226和228。指令在由处理器240执行时可以使计算设备210将信息存储在存储组件248内。

计算设备210内的一个或多个存储组件248可以存储用于在计算设备210的操作期间进行处理的信息(例如，计算设备210可以存储在计算设备210处执行期间由模块220、222、224、226和228访问的数据)。在一些示例中，存储组件248是临时存储器，这意味着存储组件248的主要目的不是长期存储。计算设备210上的存储组件248可以被配置用于信息的短期存储作为易失性存储器，因此，如果停电，则不会保留所存储的内容。易失性存储器的示例包括随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)和在本领域中已知的其他形式的易失性存储器。

在一些示例中，存储组件248还包括一个或多个计算机可读存储介质。在一些示例中，存储组件248包括一个或多个非暂时性计算机可读存储介质。存储组件248可以被配置为存储比通常由易失性存储器存储的信息量更多的信息。存储组件248可以进一步被配置用于信息的长期存储作为非易失性存储器空间，并且在通电/停电周期之后保留信息。非易失性存储器的示例包括磁硬盘、光盘、软盘、闪速存储器或者电可编程存储器(EPROM)或者电可擦除可编程(EEPROM)存储器的形式。存储组件248可以存储与模块220、222、224、226和228以及数据存储库260相关联的程序指令和/或信息(例如，数据)。存储组件248可以包括被配置为存储与模块220、222、224、226和228以及数据存储库260相关联的数据或其他信息的存储器。

UI模块220可以包括图1的计算设备110的UI模块120的所有功能性，并且可以执行与UI模块120类似的操作，以管理计算设备210在存在敏感型显示器212处提供的用于处理来自用户的输入的用户界面(例如，用户界面116)。UI模块220可以在通信信道250上传输显示命令和数据，以使PSD 212在PSD 212处呈现用户界面。例如，UI模块220可以检测选择图形键盘的一个或多个键的初始用户输入。响应于检测到一个或多个键的初始选择，UI模块220可以基于一个或多个键的初始选择来生成一个或多个触摸事件。

应用模块224表示在计算设备210处执行并且可从其访问的所有各种单独的应用和服务。计算设备210的用户可以和与一个或多个应用模块224相关联的界面(例如，图形用户界面)交互，以使计算设备210执行功能。应用模块224的许多示例可以存在并且包括健身应用、日历应用、个人助理或预测引擎、搜索应用、地图或导航应用、运输服务应用(例如，公共汽车或火车追踪应用)、社交媒体应用、游戏应用、电子邮件应用、消息传递应用、互联网浏览器应用或可以在计算设备210处执行的任何和所有其他应用。

手势模块222可以包括图1的计算设备110的手势模块122的所有功能性，并且可以执行与手势模块122类似的操作以消除用户输入的歧义。即，手势模块222可以执行本公开所描述的技术的各个方面，以消除用户输入的歧义，基于上述的热图序列来确定用户输入的分类。

手势模块222的SBD模型模块226可以表示被配置为基于存储到MDHM数据存储库260A的多维热图序列的形状来消除用户输入的歧义的模型。在一些示例中，多维热图序列的每个热图表示在8ms的持续时间内存在敏感型显示器212的区域的电容值。作为一个示例，SBD模型模块226可以包括神经网络或其他机器学习模型，该神经网络或其他机器学习模型被训练为执行本公开所描述的消歧技术。

TBD模型模块228可以表示被配置为基于基于时间或换言之基于持续时间的阈值来消除用户输入的歧义的模型。TBD模型模块228可以执行基于时间的阈值化以消除用户输入的歧义。作为一个示例，TBD模型模块228可以表示神经网络或其他机器学习模型，该神经网络或其他机器学习模型被训练为执行本公开所描述的技术的基于时间的消岐方面。尽管被示出为单独模型，但是SBD模型模块226和TBD模型模块228可以被实施为能够执行本公开所描述的技术的基于形状和基于时间两者的消歧方面的单个模型。

当应用神经网络或其他机器学习算法时，SBD模型模块226和TBD模型模块228都可以基于表示用户输入的一组示例指示(诸如，分别为上面提到的热图和质心)来训练。即，可以使用表示用户输入的不同热图序列、与不同的分类事件(例如，长按事件、轻击事件、滚动事件等)相关联的热图序列中的每一个来训练SBD模型模块226。可以训练SBD模型模块226，直到将其配置为以某个置信度(或百分比)正确地对未知事件进行分类。类似地，可以使用表示用户输入的不同质心序列、与不同的分类事件(例如，长按事件、轻击事件、滚动事件等)相关联的质心序列中的每一个来训练TBD模型模块228。

MDHM数据存储库260A可以存储多个多维热图。尽管被描述为存储多维热图序列，但是MDHM数据存储库260可以存储与手势消歧有关的其他数据，包括偏手性、手指识别或其他数据。阈值数据存储库260B可以包括一个或多个时间阈值、基于距离或空间的阈值、概率阈值或手势模块222用于从用户输入中推断出分类事件的其他比较值。存储在阈值数据存储库260B处的阈值可以是可变阈值(例如，基于函数或查找表)或固定值。

尽管相对于偏手性(例如，右手、左手)和手指识别(例如，食指、拇指或其他手指)进行了描述，但是该技术可以基于热图来确定其他数据，诸如，热图的加权区域、热图的周长(在边缘查找操作之后)、热图的行/列值的直方图、热图的峰值、相对于边缘的峰值位置、这些特征的质心相关计算或这些特征的衍生物。阈值数据存储库260B也可以存储该其他数据。

存在敏感型输入组件204最初可以接收电容指示，该存在敏感型输入组件204将其形成为表示存在敏感型显示器212的区域(例如，区域114)中的电容的多个电容热图，其反映在持续时间内在存在敏感型显示器212的区域处输入的用户输入。在一些情况下，通信信道250(也可以称为“总线250”)可以具有有限的吞吐量(或者换言之，带宽)。在这些情况下，存在敏感型输入组件204可以减少指示的数量以获得减少的指示集合。例如，存在敏感型输入组件204可以确定发生与存在敏感型显示器212的主要接触的质心，并且将指示减少到以质心为中心的指示(诸如，以质心为中心的7x7网格)。存在敏感型输入组件204可以基于减少的指示集合来确定多个多维热图，经由总线250将多个多维热图存储到MDHM数据存储库260A。

SBD模型模块226可以访问存储到MDHM数据存储库260A的热图，应用一个或多个神经网络来确定多维热图序列的形状在持续时间内的变化。SBD模型模块226接下来可以响应于多个多维热图的形状的变化而应用一个或多个神经网络，以确定用户输入的分类。

SBD模型模块226还可以基于多维热图的形状的变化来确定输入用户输入的用户的偏手性或者使用了输入该输入的用户的哪个手指来输入用户输入。SBD模型模块226可以应用一个或多个神经网络来确定偏手性或哪个手指，并且应用一个或多个神经网络来基于偏手性的确定或哪个手指的确定而确定用户输入的分类。

手势模块222还可以调用TBD模型模块228，以使用基于时间的阈值(可能除了热图序列的质心之外)来确定用户输入的分类。作为示例，TBD模型模块228可以基于持续时间阈值来确定轻击事件，该轻击事件指示输入用户输入的用户在存在敏感型屏幕上执行至少一次轻击。手势模块222然后可以从由SBD模型模块226和TBD模型模块228输出的组合结果确定分类。

图3是图示了根据本公开的一种或多种技术的输出图形内容以显示在远程设备处的示例计算设备的框图。通常，仅举几个示例，图形内容可以包括可以输出以进行显示的任何视觉信息，诸如，文本、图像和一组运动图像。图3所示的示例包括计算设备310、PSD 312、通信单元342、投影仪380、投影仪屏幕382、移动设备386和视觉显示组件390。在一些示例中，PSD 312可以是图1至2所描述的存在敏感型显示器。尽管在图1和2中出于示例目的分别示出为独立计算设备110和210，诸如计算设备310等的计算设备通常可以是包括用于执行软件指令的处理器或其他合适的计算环境的任何组件或系统，并且例如不需要包括存在敏感型显示器。

如图3的示例所示，计算设备310可以是包括相对于图2中的处理器240描述的功能性的处理器。在这种示例中，计算设备310可以通过通信信道362A可操作地耦合至PSD 312，该通信信道362A可以是系统总线或者其他合适的连接。在下面进一步描述的，计算设备310还可以通过通信信道362B可操作地耦合至通信单元342，该通信信道362B也可以是系统总线或者其他合适的连接。虽然在图3中单独示出为示例，但是计算设备310可以通过任何数量的一条或多条通信信道可操作地耦合至PSD 312和通信单元342。

在其他示例中，诸如先前分别由图1和2中的计算设备110和210所图示的，计算设备可以指便携式或移动设备，诸如，移动电话(包括智能电话)、膝上型计算机等。在一些示例中，计算设备可以是台式计算机、平板计算机、智能电视平台、相机、个人数字助理(PDA)、服务器或大型机。

PSD 312可以包括显示组件302和存在敏感型输入组件304。显示组件302可以例如从计算设备310接收数据并且显示图形内容。在一些示例中，存在敏感型输入组件304可以使用电容、感应和/或光学识别技术来确定在PSD 312处的一个或多个用户输入(例如，连续的手势、多触摸手势、单触摸手势)，并且使用通信信道362A将这种用户输入的指示发送到计算设备310。在一些示例中，存在敏感型输入组件304可以物理地定位在显示组件302的顶部上，从而使得，当用户将输入单元定位在由显示组件302显示的图形元素上方时，存在敏感型输入组件304所在的位置与显示图形元素的显示组件302的位置相对应。

如图3所示，计算设备310还可以包括通信单元342和/或与通信单元342可操作地耦合。通信单元342可以包括图2所描述的通信单元242的功能性。通信单元342的示例可以包括：网络接口卡、以太网卡、光学收发器、射频收发器或者可以发送并且接收信息的任何其他类型的设备。这种通信单元的其他示例可以包括蓝牙、3G和WiFi无线电、通用串行总线(USB)接口等。为了简洁和说明的目的，计算设备310还可以包括未在图3中示出的一个或多个其他设备(例如，输入设备、输出组件、存储器、存储设备)和/或与一个或多个其他设备可操作地耦合。

图3还图示了投影仪380和投影仪屏幕382。投影设备的其他这种示例可以包括电子白板、全息显示组件和用于显示图形内容的任何其他合适的设备。投影仪380和投影仪屏幕382可以包括使相应设备能够与计算设备310通信的一个或多个通信单元。在一些示例中，该一个或多个通信单元可以实现投影仪380与投影仪屏幕382之间的通信。投影仪380可以接收来自计算设备310的数据，该数据包括图形内容。响应于接收到数据，投影仪380可以将图形内容投影到投影仪屏幕382上。在一些示例中，投影仪380可以使用光学识别技术或者其他合适的技术来确定在投影仪屏幕处的一个或多个用户输入(例如，连续的手势、多触摸手势、单触摸手势)并且使用一个或多个通信单元来将这种用户输入的指示发送到计算设备310。在这种示例中，投影仪屏幕382可以是不必要的，并且投影仪380可以将图形内容投影在任何合适的介质上并且使用光学识别技术或者其他这种合适的技术来检测一个或多个用户输入。

在一些示例中，投影仪屏幕382可以包括存在敏感型显示器384。存在敏感型显示器384可以包括本公开所描述的存在敏感型显示器112、212和/或312的功能性的子集或所有功能性。在一些示例中，存在敏感型显示器384可以包括附加的功能性。投影仪屏幕382(例如，电子白板)可以从计算设备310接收数据并且显示图形内容。在一些示例中，存在敏感型显示器384可以使用电容、感应和/或光学识别技术来确定投影仪屏幕382处的一个或多个用户输入(例如，连续的手势、多触摸手势、单触摸手势)并且使用一个或多个通信单元来将这种用户输入的指示发送到计算设备310。

图3还图示了移动设备386和视觉显示组件390。移动设备386和视觉显示组件390可以分别包括计算能力和连接能力。移动设备386的示例可以包括电子阅读器设备、可转换笔记本设备、混合平板设备等。视觉显示组件390的示例可以包括其他半固定式设备，诸如，电视、计算机监视器等。如图3所示，移动设备386可以包括存在敏感型显示器388。视觉显示组件390可以包括存在敏感型显示器392。存在敏感型显示器388、392可以包括本公开所描述的存在敏感型显示器112、212和/或312的功能性的子集或所有功能性。在一些示例中，存在敏感型显示器388、392可以包括附加的功能性。在任何情况下，存在敏感型显示器392例如可以从计算设备310接收数据并且显示图形内容。在一些示例中，存在敏感型显示器392可以使用电容、感应和/或光学识别过程来确定投影仪屏幕处的一个或多个用户输入(例如，连续的手势、多触摸手势、单触摸手势)并且使用一个或多个通信单元来将这种用户输入的指示发送到计算设备310。

如上所述，在一些示例中，计算设备310可以输出图形内容以显示在通过系统总线或者其他合适的通信信道耦合至计算设备310的PSD 312处。计算设备310还可以输出图形内容以显示在一个或多个远程设备处，诸如，投影仪380、投影仪屏幕382、移动设备386和视觉显示组件390。例如，根据本公开的技术，计算设备310可以执行一个或多个指令以生成和/或修改图形内容。计算设备310可以将包括图形内容的数据输出到计算设备310的通信单元，诸如，通信单元342。通信单元342可以将该数据发送到一个或多个远程设备，诸如，投影仪380、投影仪屏幕382、移动设备386和/或视觉显示组件390。通过这种方式，计算设备310可以输出图形内容以显示在一个或多个远程设备处。在一些示例中，一个或多个远程设备可以将图形内容输出在包括在相应远程设备中和/或可操作地耦合至相应远程设备的存在敏感型显示器处。

在一些示例中，计算设备310可以不将图形内容输出在可操作地耦合至计算设备310的PSD 312处。在其他示例中，计算设备310可以输出图形内容以显示在通过通信信道362A耦合至计算设备310的PSD 312处和一个或多个远程设备处两者。在这种示例中，图形内容可以大体上同时地显示在每一个相应设备处。例如，可以通过通信等待时间引入一些延迟以将包括图形内容的数据发送到远程设备。在一些示例中，由计算设备310生成并且输出以显示在PSD 312处的图形内容可以与用于在一个或多个远程设备处显示的图形内容显示输出不同。

计算设备310可以使用合适的通信技术来发送和接收数据。例如，计算设备310可以使用网络链路373A可操作地耦合至外部网络374。图3所图示的每个远程设备可以通过相应网络链路373B、373C或373D中的一个可操作地耦合至网络外部网络374。外部网络374可以包括可操作地互相耦合从而在图3所图示的计算设备310与远程设备之间提供信息交换的网络集线器、网络开关、网络路由器等。在一些示例中，网络链路373A至373D可以是以太网、ATM或者其他网络连接。这种连接可以是无线和/或有线连接。

在一些示例中，计算设备310可以使用直接设备通信378可操作地耦合至包括在图3中的一个或多个远程设备。直接设备通信378可以包括通信，通过该通信，计算设备310使用有线或无线通信来与远程设备直接地发送和接收数据。即，在直接设备通信378的一些示例中，在远程设备处接收由计算设备310发送的数据之前，可以不通过一个或多个附加的设备转发该数据，反之亦然。直接设备通信378的示例可以包括蓝牙、近场通信、通用串行总线、WiFi、红外等。图3所图示的一个或多个远程设备可以通过通信链路376A至376D与计算设备310可操作地耦合。在一些示例中，通信链路376A至376D可以是使用蓝牙、近场通信、通用串行总线、红外等的连接。这种连接可以是无线和/或有线连接。

根据本公开的技术，计算设备310可以使用外部网络374可操作地耦合到视觉显示组件390。计算设备310可以输出图形用户界面以在PSD 312处显示。例如，计算设备310可以将包括图形用户界面的表示的数据发送到通信单元342。通信单元342可以使用外部网络374将包括图形用户界面的表示的数据发送到视觉显示组件390。响应于使用外部网络374接收到数据，视觉显示组件390可以使PSD 312输出图形用户界面。响应于在PSD 312处接收到用户输入以选择图形用户界面的一个或多个图形元素，视觉显示设备130可以使用外部网络374将用户输入的指示发送给计算设备310。通信单元342可以接收用户输入的指示，并且将该指示发送给计算设备310。

计算设备310可以接收表示在持续时间内在存在敏感型屏幕312的区域处输入的用户输入的指示。接下来，计算设备310可以基于表示用户输入的指示确定指示用户输入的多个多维热图。基于多个多维热图，计算设备310然后可以确定多个多维热图的形状在持续时间内的变化，并且响应于多个多维热图的形状的变化来确定用户输入的分类。然后，计算设备310可以执行与用户输入的分类相关联的一些操作，该操作可以包括更新图形用户界面。通信单元342可以接收更新的图形用户界面的表示，并且可以将该表示发送到视觉显示组件390，使得视觉显示组件390可以使PSD 312输出更新的图形用户界面。

图4A至4C是图示了根据本公开所描述的技术的各个方面的由计算设备用于执行用户输入的消歧的示例热图序列的图。在图4A至4C的示例中，热图402A至402E(“热图402”)、热图404A至404E(“热图404”)和热图406A至406E(“热图406”)包括电容值的7x7网格，其中，颜色更深的框指示相对于颜色更浅的框而言较高或较低的电容值。热图402表示在持续时间内从热图402A开始并按时间顺序通过热图402E收集的热图序列。这样，热图402可以表示该区域的持续时间内电容的变化。在这些方面中，热图404和406也与热图402类似。

首先参照图4A，在用户轻击存在敏感型显示器212之后捕获热图402。手势模块222(在图2的示例中示出)可以调用SBD模型模块226和TBD模型模块228，以基于持续时间内热图402的形状变化来确定用户输入的分类。在一些示例中，每个热图402表示8ms的时间。因此，热图402的整个序列可以表示40ms。响应于接收到热图402，SBD模型模块226可以在给定电容值的形状和强度的一致性的情况下确定发生轻击。TBD模型模块228可以确定由于热图序列402的短持续时间而发生的轻击事件。

接下来参照图4B，在用户按压存在敏感型显示器212之后捕获热图404。手势模块222可以调用SBD模型模块226和TBD模型模块228，以基于持续时间内热图404的形状变化来确定用户输入的分类。再次，每个热图404可以表示8ms的时间。因此，热图404的整个序列可以表示40ms。响应于接收到热图404，SBD模型模块226可以确定在给定随着时间强度增加的情况下发生了按压事件。TBD模型模块228可以确定由于热图序列404的较长持续时间而发生的按压事件(为了便于说明，其仅表示整个热图序列404中的较大数量的子集)。

接下来参照图4C，在用户在存在敏感型显示器212上滚动之后捕获热图406。手势模块222可以调用SBD模型模块226和TBD模型模块228，以基于持续时间内热图406的形状变化来确定用户输入的分类。再次，每个热图406可以表示8ms的时间。因此，热图406的整个序列可以表示40ms。响应于接收到热图406，SBD模型模块226可以确定在给定随着时间强度高度可变(以及质心的位置可能变化)的情况下发生了滚动事件。TBD模型模块228可以确定由于热图序列406的较长持续时间(以及质心的位置变化)而发生的按压事件。

图5是图示了根据本公开所描述的技术的各个方面的由计算设备用于确定用户输入的分类的示例热图的图。如在图5的示例中所示，热图502A至502C(“热图502”)表示经由(图2的)存在敏感型显示器212输入的同一用户输入的不同分类。计算设备210可以响应于接收到热图502来调用手势模块222。手势模块222可以继而调用SBD模型模块226，以基于热图502的形状来确定用户输入的分类。

如关于热图502A所示，SBD模型模块226可以基于热图502A确定用户输入的面积。SBD模型模块226可以将面积确定为热图502A的值的总和。

如关于热图502B所示，SBD模型模块226可以确定热图502B的周长。SBD模型模块226首先可以执行某种形式的二进制阈值化(以消除偶然的或可忽略的电容值)。SBD模型模块226接下来可以将热图502B的周长确定为热图502B的剩余外部值的总和。

如关于热图502C所示，SBD模型模块226可以确定用户输入的定向。为了确定定向，SBD模型模块226可以将神经网络应用于热图502C，其可以分析电容值以识别定向504。在图5的示例中，基于热图502C，用户输入具有在X轴上方大约45度角的从左到右的定向。基于定向、面积和/或周长，SBD模型模块226可以确定使用哪个手指来输入用户输入或输入用户输入的用户的偏手性。

图6是图示了根据本公开的一个或多个方面的被配置为执行用户输入的消歧的计算设备的示例操作的流程图。下面在图2的计算设备210的上下文中描述了图6。

计算设备210可以接收表示在持续时间内在存在敏感型屏幕212的区域处输入的用户输入的指示(602)。接下来，计算设备210可以基于表示用户输入的指示来确定指示用户输入的多个多维热图(诸如，在图4A至4C的示例中示出的热图402、404和/或406)(604)。基于多个多维热图，计算设备210然后可以确定多个多维热图的形状在持续时间内的变化(606)，并且响应于多个多维热图的形状的变化来确定用户输入的分类(608)。然后，计算设备310可以执行与用户输入的分类相关联的一些操作，该操作可以包括更新图形用户界面(610)。

本公开所陈述的技术可以解决与基于通过用户手指在屏幕上的接触区域估计精确触摸点(例如，以1毫米(mm)的分辨率)的质心算法来报告用户的触摸位置的触摸屏(这是指存在敏感型显示器的另一种方式)有关的问题。然而，通过用户的触摸接触区域传递的信息可能比该质心算法捕获的信息多得多，这可能导致交互错误。例如，在手指与屏幕接触的初始阶段以及手指从屏幕脱离的最后阶段，信号值中的噪声和抖动可能会导致质心偶发运动并且表现为快速移动，而不是轻微的触碰或提升。这种移动通常被转换为滚动事件，从而引起不必要的交互(所谓的“微翻转”)。

此外，质心算法可能会丢弃有关用户的触摸接触如何随时间演变的潜在有用信息。该算法的唯一输出是位置，该位置可以随时间转换(指示用户拖动)；但是这种移动的性质(就手指在与屏幕接触时的重新放置方式而言)可能会丢失。这意味着现有的基于质心的实施方式只能使用基于阈值的算法利用简单的质心移动和接触时间信息来区分用户的触摸意图，这可能会增加等待时间和不精确度。

具有有关手指与屏幕接触的性质以及其如何随时间变化的附加信息可以用于增强现有的触摸交互，并且消除由于用户的触摸意图含糊不清而导致的错误。触摸屏使用电极网格来检测交互，该电极网格通过人体“浸出”电容所引起的电极处的电容变化来感测人手指的存在。通过分析网格上的每个位置处的电容值，可以根据本公开所描述的技术导出“热图”。

即，每个位置处的值是大致对应于接触区域的集中度的模拟信号(即，手指的接触中心附近的位置通常比周围的位置具有更高的值)。每个位置处的值高度依赖于用户手指和设备的电气特性(例如，在握住设备的铝框的同时进行触摸所产生的值与在桌子上进行触摸所产生的值基本上不同)。

在一些示例中，这些电容值与施加的力几乎没有关系，即，仅在屏幕上用力按压不会改变测量得到的电容。然而，当用户用力按压屏幕时会发生器质性变化：手指与屏幕之间的接触面积由于皮肤的可塑性以及其背后的作用力增加而增加。手指的这种扩大的接触面积可以在新的接触位置处/附近产生增加的热图值。在手指接触或离开触摸屏的阶段期间可能会观察到类似的变化，其中，手指的光滑弯曲形状会产生扩大/收缩的接触面积，即，当用户正常触摸屏幕时，他们的手指尖端首先接触屏幕，屏幕随着接触增加到舒适的作用力水平而扩张。当用户轻击屏幕时，接触区域的形状也可能会随着手指和手势的用户选择而改变。

本公开所描述的技术考虑了检查在热图中所表示的这种扩张的形状，并且使用该形状来消除用户意图的歧义。这些意图包括用户是否正在轻击目标、是否试图按压目标(即，以更大的作用力水平，但是以与轻击类似的时间分布)、尝试启动滚动动作、用户的手指选择(即，食指与拇指)和用户的偏手性(即，用左手或右手握住设备)。

从触摸动作开始就可以识别这些意图的速度越快，用户体验就越好-即，减少对时间或距离质心阈值的依赖性以减少交互延迟。例如，可以通过观察原始接触区域的一侧的触摸扩展来检测用户增加其触摸力的上述交互。这是由于手指的生物力学结构引起的，压力的增加主要通过指尖根部(而不是指甲上方)的扩张反映出来。因此，如果扩展似乎至少在一侧“锚定”，而在另一侧扩展(例如，相对于原始质心位置的扩展比例)，则触摸意图可以解释为触摸力的增加，即是“按压”。

还可以通过在特定手指中发生的在热图中观察到的接触区域的定向上的扭曲(例如，与他们的拇指的单手交互)来检测用户的偏手性。然后，可以使用该附加信息来调整质心计算，以调整由用户的手势引起的定位偏差。

其他的有趣特征包括：热图的加权区域、热图的周长(在边缘查找操作之后)、热图的行/列值的直方图、热图的峰值、相对于边缘的峰值位置、这些特征的质心相关计算或这些特征的衍生物。这些特征的分析可能会在时间范围内潜在地进行，即，并非仅从单个帧中识别出意图，而是从某段时间内演变而来的信号中识别出意图。

这些特征可以与启发式算法(如上所述)一起使用，或者可以与提取与各种触摸意图相对应的基本特征的机器学习算法一起使用。在一些示例中，该技术不需要检查整个屏幕的热图，而只需检查与触摸接触的当前位置接近的区域(例如，以该位置为中心的7x 7网格)。在这些和其他示例中，该技术也不一定替代当前的基于阈值的过程，但是如果对热图信号有足够的信心，则它们可以充当用于消歧意图的加速器(保留现有方法作为后备方法)。

以下编号的示例可以说明本公开的一个或多个方面：

示例1：一种方法，该方法包括：通过计算设备的一个或多个处理器，接收表示在持续时间内在存在敏感型屏幕的区域处输入的用户输入的指示；通过一个或多个处理器并且基于表示用户输入的指示，确定指示用户输入的多个多维热图；通过一个或多个处理器并且基于多个多维热图，确定多个多维热图的形状在持续时间内的变化；通过一个或多个处理器并且响应于多个多维热图的形状的变化，确定用户输入的分类；以及通过一个或多个处理器，执行与用户输入的分类相关联的操作。

示例2：示例1的方法，其中，指示包括在持续时间内存在敏感型屏幕的区域中的电容指示，以及其中，确定多个多维热图包括：基于电容指示，确定表示存在敏感型屏幕的区域中的电容的多个电容热图，其反映了在持续时间内在存在敏感型屏幕的区域处输入的用户输入。

示例3：示例1和2的任何组合的方法，其中，确定多个多维热图包括：减少指示的数量以获得减少的指示集合；以及基于减少的指示集合，确定指示用户输入的多个多维热图。

示例4：示例1至3的任何组合的方法，其中，确定用户输入的分类包括：响应于多个多维热图的形状的变化，确定按压事件，该按压事件指示输入用户输入的用户在持续时间内向存在敏感型屏幕施加增加的压力。

示例5：示例1至4的任何组合的方法，其中，确定用户输入的分类包括：响应于多个多维热图的形状的变化并且基于持续时间阈值，确定轻击事件，该轻击事件指示输入用户输入的用户对存在敏感型屏幕执行至少一次轻击。

示例6：示例1至5的任何组合的方法，该方法进一步包括：响应于多个多维热图的形状的变化，确定输入用户输入的用户的偏手性，其中，确定用户输入的分类包括：基于输入用户输入的用户的偏手性的确定并且响应于热图的形状的变化，确定用户输入的分类。

示例7：示例1至6的任何组合的方法，该方法进一步包括：响应于多个多维热图的形状的变化，确定输入用户输入的用户的哪个手指被用于输入用户输入，其中，确定用户输入的分类包括：基于输入用户输入的用户的哪个手指被用于输入用户输入的确定并且响应于热图的形状的变化，确定用户输入的分类。

示例8：示例1至7的任何组合的方法，其中，确定用户输入的分类包括：响应于多个多维热图的形状的变化并且基于持续时间阈值，确定用户输入的分类。

示例9：示例1至8的任何组合的方法，该方法进一步包括：响应于确定指示用户输入的多个多维热图，确定一个或多个质心坐标，该一个或多个质心坐标指示多个多维热图中的一个或多个在存在敏感型屏幕的区域内的相对中心；以及确定在由一个或多个质心坐标识别的存在敏感型显示器内的位置处显示的一个或多个基础图形元素，其中，执行与用户输入的分类相关联的操作包括：相对于一个或多个基础图形元素，执行与用户输入的分类相关联的操作。

示例10：一种计算设备，该计算设备包括：存在敏感型屏幕，该存在敏感型屏幕被配置为输出表示在持续时间内在存在敏感型屏幕的区域处输入的用户输入的指示；以及一个或多个处理器，该一个或多个处理器被配置为：基于表示用户输入的指示，确定指示用户输入的多个多维热图；基于多个多维热图，确定多个多维热图的形状在持续时间内的变化；响应于多个多维热图的形状的变化，确定用户输入的分类；以及执行与用户输入的分类相关联的操作。

示例11：示例10的设备，其中，指示包括在持续时间内存在敏感型屏幕的区域中的电容指示，以及其中，一个或多个处理器被配置为：基于电容指示，确定表示存在敏感型屏幕的区域中的电容的多个电容热图，其反映了在持续时间内在存在敏感型屏幕的区域处输入的用户输入。

示例12：示例10和11的任何组合的设备，其中，一个或多个处理器被配置为：减少指示的数量以获得减少的指示集合；以及基于减少的指示集合，确定指示用户输入的多个多维热图。

示例13：示例10至12的任何组合的设备，其中，一个或多个处理器被配置为：响应于多个多维热图的形状的变化，确定按压事件，该按压事件指示输入用户输入的用户在持续时间内向存在敏感型屏幕施加增加的压力。

示例14：示例10至13的任何组合的设备，其中，一个或多个处理器被配置为：响应于多个多维热图的形状的变化并且基于持续时间阈值，确定轻击事件，该轻击事件指示输入用户输入的用户对存在敏感型屏幕执行至少一次轻击。

示例15：示例10至14的任何组合的设备，其中，一个或多个处理器进一步被配置为：响应于多个多维热图的形状的变化，确定输入用户输入的用户的偏手性，以及其中，一个或多个处理器被配置为：基于输入用户输入的用户的偏手性的确定并且响应于热图的形状的变化，确定用户输入的分类。

示例16：示例10至15的任何组合的设备，其中，一个或多个处理器进一步被配置为：响应于多个多维热图的形状的变化，确定输入用户输入的用户的哪个手指被用于输入用户输入，以及其中，一个或多个处理器被配置为：基于输入用户输入的用户的哪个手指被用于输入用户输入的确定并且响应于热图的形状的变化，确定用户输入的分类。

示例17：示例10至16的任何组合的设备，其中，一个或多个处理器被配置为包括响应于多个多维热图的形状的变化并且基于持续时间阈值来确定用户输入的分类。

示例18：示例10至17的任何组合的设备，其中，一个或多个处理器进一步被配置为：响应于确定指示用户输入的多个多维热图，确定一个或多个质心坐标，该一个或多个质心坐标指示多个多维热图中的一个或多个在存在敏感型屏幕的区域内的相对中心；以及确定在由一个或多个质心坐标识别的存在敏感型显示器内的位置处显示的一个或多个基础图形元素，以及其中，一个或多个处理器被配置为：相对于一个或多个基础图形元素，执行与用户输入的分类相关联的操作。

示例19：一种系统，该系统包括用于执行示例1至9的任何方法的装置。

示例20：一种计算设备，该计算设备包括用于执行示例1至9的任何方法的装置。

在一个或多个示例中，可以以硬件、软件、固件或其任何组合来实施所描述的功能。如果以软件实施，则功能可以作为一个或多个指令或代码存储在计算机可读介质上或通过计算机可读介质传输，并且由基于硬件的处理单元执行。计算机可读介质可以包括计算机可读存储介质，该计算机可读存储介质与有形介质(诸如，数据存储介质或者通信介质)相对应，其包括促进计算机程序，例如，根据通信协议从一个地方传送到另一个地方的任何介质。通过这种方式，计算机可读介质大体上可以与(1)非暂时性的有形计算机可读存储介质或者(2)通信介质(诸如，信号或者载波)相对应。数据存储介质可以是可以通过一个或多个计算机或者一个或多个处理器访问以检索用于本公开所描述的技术的实现方式的指令、代码和/或数据结构的任何可用介质。计算机程序产品可以包括计算机可读介质。

通过示例但不限于，这种计算机可读存储介质可以包括RAM、ROM、EEPROM、CD-ROM或者其他光盘存储装置、磁盘存储装置或者其他磁性存储设备、闪速存储器或者可以用于以指令或者数据结构的形式存储期望的程序代码并且可以通过计算机访问的任何其他介质。而且，任何连接适当地称为计算机可读介质。例如，如果指令是使用同轴电缆、光缆、双绞线、数字用户线(DSL)或者无线技术(诸如，红外、无线电和微波)从网站、服务器或者其他远程源传输，那么同轴电缆、光缆、双绞线、DSL或者无线技术(诸如，红外、无线电和微波)被包括在介质的定义中。然而，应该理解的是，计算机可读存储介质和数据存储介质不包括连接、载波、信号或者其他暂时性介质，而是涉及非暂时性有形存储介质。所使用的磁盘和光盘包括：压缩盘(CD)、激光盘、光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中，磁盘通常磁性地复制数据，而光盘利用激光光学地复制数据。上述的组合也应该被包括在计算机可读介质的范围内。

指令可以通过一个或多个处理器(诸如，一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或者其他等效的集成或离散逻辑电路系统)执行。因此，所使用的术语“处理器”可以指任何前述的结构或者适合于实施所描述的技术的任何其他结构。另外，在一些方面中，可以将所描述的功能性提供在专用的硬件模块和/或软件模块内。而且，可以将该技术充分地实施在一个或多个电路或者逻辑元件中。

本公开的技术可以实施在各种设备或者装置中，包括无线手机、集成电路(IC)或者一组IC(例如，芯片集)。在本公开中，将各种组件、模块或者单元描述为用于强化配置为执行所公开的技术的设备的功能方面，但并不一定需要通过不同的硬件单元实现。相反，如上所述，结合合适的软件和/或固件，可以将各种单元组合在硬件单元中或者通过交互操作的硬件单元的集合(包括上述的一个或多个处理器)来提供。

已经对各种示例进行了描述。这些和其他示例在以下权利要求的范围内。

Claims (15)

1.一种方法，包括：

通过计算设备的一个或多个处理器接收表示在持续时间内在存在敏感型屏幕的区域处输入的用户输入的指示；

通过所述一个或多个处理器并且基于表示所述用户输入的所述指示来确定指示所述用户输入的多个多维热图；

通过所述一个或多个处理器并且基于所述多个多维热图来确定所述多个多维热图的形状在所述持续时间内的变化；

通过所述一个或多个处理器并且响应于所述多个多维热图的形状的变化，确定所述用户输入的分类；以及

通过所述一个或多个处理器执行与所述用户输入的分类相关联的操作。

2.根据权利要求1所述的方法，

其中，所述指示包括在所述持续时间内所述存在敏感型屏幕的区域中的电容指示，以及

其中，确定所述多个多维热图包括：基于所述电容指示，确定表示所述存在敏感型屏幕的区域中的电容的多个电容热图，所述多个电容热图反映在所述持续时间内在所述存在敏感型屏幕的区域处输入的所述用户输入。

3.根据权利要求1和2的任何组合所述的方法，其中，确定所述多个多维热图包括：

减少指示的数量以获得减少的指示集合；以及

基于所述减少的指示集合，确定指示所述用户输入的所述多个多维热图。

4.根据权利要求1至3的任何组合所述的方法，其中，确定所述用户输入的分类包括：响应于所述多个多维热图的形状的变化，确定按压事件，所述按压事件指示输入所述用户输入的用户在所述持续时间内向所述存在敏感型屏幕施加增加的压力。

5.根据权利要求1至4的任何组合所述的方法，其中，确定所述用户输入的分类包括：响应于所述多个多维热图的形状的变化并且基于持续时间阈值，确定轻击事件，所述轻击事件指示输入所述用户输入的用户在所述存在敏感型屏幕上执行至少一次轻击。

6.根据权利要求1至5的任何组合所述的方法，进一步包括：响应于所述多个多维热图的形状的变化，确定输入所述用户输入的用户的偏手性，

其中，确定所述用户输入的分类包括：基于输入所述用户输入的用户的偏手性的确定并且响应于所述热图的形状的变化，确定所述用户输入的分类。

7.根据权利要求1至6的任何组合所述的方法，进一步包括：响应于所述多个多维热图的形状的变化，确定输入所述用户输入的用户的哪个手指被用于输入所述用户输入，

其中，确定所述用户输入的分类包括：基于输入所述用户输入的用户的哪个手指被用于输入所述用户输入的确定并且响应于所述热图的形状的变化，确定所述用户输入的分类。

8.根据权利要求1至7的任何组合所述的方法，其中，确定所述用户输入的分类包括：响应于所述多个多维热图的形状的变化并且基于持续时间阈值，确定所述用户输入的分类。

9.根据权利要求1至8的任何组合所述的方法，进一步包括：

响应于确定指示所述用户输入的所述多个多维热图，确定一个或多个质心坐标，所述一个或多个质心坐标指示所述多个多维热图中的一个或多个在所述存在敏感型屏幕的区域内的相对中心；以及

确定在由所述一个或多个质心坐标识别的所述存在敏感型显示器内的位置处显示的一个或多个基础图形元素，

其中，执行与所述用户输入的分类相关联的操作包括：相对于所述一个或多个基础图形元素，执行与所述用户输入的分类相关联的操作。

10.一种计算设备，包括：

存在敏感型屏幕，所述存在敏感型屏幕被配置为输出表示在持续时间内在存在敏感型屏幕的区域处输入的用户输入的指示；以及

一个或多个处理器，所述一个或多个处理器被配置为：

基于表示所述用户输入的指示来确定指示所述用户输入的多个多维热图。

基于所述多个多维热图来确定所述多个多维热图的形状在所述持续时间内的变化；

响应于所述多个多维热图的形状的变化，确定所述用户输入的分类；以及

执行与所述用户输入的分类相关联的操作。

11.根据权利要求10所述的设备，

其中，所述指示包括在所述持续时间内所述存在敏感型屏幕的区域中的电容指示，以及

其中，所述一个或多个处理器被配置为：基于所述电容指示，确定表示所述存在敏感型屏幕的区域中的电容的多个电容热图，所述多个电容热图反映在所述持续时间内在所述存在敏感型屏幕的区域处输入的所述用户输入。

12.根据权利要求10和11的任何组合所述的设备，其中，所述一个或多个处理器被配置为：

减少所述指示的数量以获得减少的指示集合；以及

基于所述减少的指示集合，确定指示所述用户输入的所述多个多维热图。

13.根据权利要求10所述的设备，其中，所述一个或多个处理器被配置为执行由权利要求2至9所述的方法记载的步骤的任何组合。

14.一种其上存储有指令的计算机可读介质，所述指令在被执行时使一个或多个处理器：

接收表示在持续时间内在存在敏感型屏幕的区域处输入的用户输入的指示；

基于表示所述用户输入的指示来确定指示所述用户输入的多个多维热图。

基于所述多个多维热图来确定所述多个多维热图的形状在所述持续时间内的变化；

响应于所述多个多维热图的形状的变化，确定所述用户输入的分类；以及

执行与所述用户输入的分类相关联的操作。

15.根据权利要求19所述的计算机可读介质，进一步其上存储有指令，所述指令在被执行时使所述一个或多个处理器执行由权利要求2至9所述的方法记载的步骤的任何组合。

Images