CN105556438A - 用于使用关于状态变化的信息来提供对用户输入的响应并预测未来用户输入的系统和方法 - Google Patents

用于使用关于状态变化的信息来提供对用户输入的响应并预测未来用户输入的系统和方法 Download PDF

Info

Publication number
CN105556438A
CN105556438A CN201480051211.6A CN201480051211A CN105556438A CN 105556438 A CN105556438 A CN 105556438A CN 201480051211 A CN201480051211 A CN 201480051211A CN 105556438 A CN105556438 A CN 105556438A
Authority
CN
China
Prior art keywords
data
prediction
incoming event
model
touch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480051211.6A
Other languages
English (en)
Inventor
C·福林斯
R·J·J·科斯塔
D·威格多
K·辛格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tactual Labs Co
Original Assignee
Tactual Labs Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tactual Labs Co filed Critical Tactual Labs Co
Publication of CN105556438A publication Critical patent/CN105556438A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04162—Control or interface arrangements specially adapted for digitisers for exchanging data with external devices, e.g. smart pens, via the digitiser sensing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/048—Fuzzy inferencing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Fuzzy Systems (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Input From Keyboards Or The Like (AREA)

Abstract

公开了用于对信息进行高速缓存并使用所述信息的系统和方法，所述信息关于电子设备中的图形和应用状态变化。在实施例中，系统和方法利用来自触摸传感器的用户输入的模型，所述触摸传感器能够感测手指或对象在触摸表面上方的位置。在电子设备中，创建表示对电子设备的当前用户输入的数据。将用户输入的模型应用于表示当前用户输入的数据，以便创建反映对未来用户输入事件的预测的数据。使用那个数据来标识与所预测的未来用户输入事件相关联的至少一个特定的响应。对于实现图形和应用状态变化有用的数据被高速缓存在电子设备的存储器中，所述数据包括反映与所预测的未来用户输入相关联的特定的响应的数据。从电子设备的存储器中检索经高速缓存的数据，使用所述数据来实现状态变化。

Description

用于使用关于状态变化的信息来提供对用户输入的响应并预测未来用户输入的系统和方法
本申请是2013年9月18日提交的美国临时专利申请No.61/879,245和2013年9月21日提交的美国临时专利申请No.61/880,887的非临时申请，并且要求这两项美国临时专利申请的优先权，这两项美国临时申请的完整公开内容被整体结合在本文中。本申请包括受版权保护的材料。版权所有者不反对任何人影印专利公开，因为它出现在美国专利局的文件或记录中，但是版权所有者以其他方式保留所有版权。
本申请涉及诸如在下列专利申请中公开的快速多点触摸传感器：2013年3月15日提交的题为“低等待时间触敏期间”(“Low-LatencyTouchSensitiveDevice”)的美国专利申请No.13/841,436、2013年3月15日提交的题为“快速多点触摸笔”(“FastMulti-TouchStylus”)的美国专利申请No.61/798,948、2013年3月15日提交的题为“利用用户标识技术的快速多点触摸传感器”(“FastMulti-TouchSensorWithUser-IdentificationTechniques”)的美国专利申请No.61/799,035、2013年3月15日提交的题为“快速多点触摸降噪”(“FastMulti-TouchNoiseReduction”)的美国专利申请No.61/798,828、2013年3月15日提交的题为“主动式光学笔”(“ActiveOpticalStylus”)的美国专利申请No.61/798,708、2012年10月5日提交的题为“用于低等待时间用户输入处理和反馈的混合型系统和方法”(“HybridSystemsAndMethodsForLow-LatencyUserInputProcessingAndFeedback”)的美国专利申请No.61/710,256以及2013年7月12日提交的题为“快速多点触摸后处理”(“FastMulti-TouchPostProcessing”)的美国专利申请No.61/845,892。那些申请的完整公开内容以引用的方式并入本文中。
本申请包括由10页组成的、题为“蛇上的平面：用于预测自由空间指点手势的模型”(“PlanesonaSnake:aModelforPredictingContactLocationFree-SpacePointingGestures”)的附录，此附录被合并到本公开中并且是本公开的部分。
技术领域
本发明总体涉及用户输入领域，并且尤其涉及包括用于预测用户输入的设施的系统和方法。
附图说明
通过在所附附图中所示下列对实施例的更特定的描述，所公开的系统和方法的特征和优点将变得显而易见，在附图中，贯穿各个视图，参考符号表示相同的部分。附图不一定是按比例的，重点在于说明所公开实施例的原理。
图1是示出对触摸前数据的建模的三维图形。
图2是示出实际的触摸前数据的三维图形。
图3是示出抬起(liftoff)步骤的示例的三维图形。
图4是示出校正逼近步骤的示例的三维图形。
图5是示出落下(drop-down)或弹道(ballistic)步骤的示例的三维图形。
具体实施方式
以下描述和附图是说明性的，并且不解释为限制性的。描述了众多特定的细节以提供透彻的理解。然而，在某些实例中，不描述公知的或常规的细节以避免使描述变得模糊。在本公开中，对一个实施例或实施例的引用不一定是对同一个实施例的引用；此类引用意味着至少一个实施例。
在本说明书中对“一个实施例”或“实施例”的引用意味着结合所述实施例所描述的特定的特征、结构或特性可以被包括在本公开的至少一个实施例中。在本说明书中的不同位置处出现短语“在一个实施例中”不一定全都是指同一个实施例，也不是指与其他实施例互相排斥的单独的或替代实施例。此外，还描述了可由一些实施例呈现而不可由其他实施例呈现的各种特征。类似地，还描述了可能是对于一些实施例但不是对于其他实施例的要求的各种要求。
贯穿本公开中，可以使用术语“触摸”、“接触”或其他描述符来描述由传感器检测到用户的手指、指示笔、对象或身体部位的时间段。在一些实施例中，这些检测仅当用户与传感器或传感器具体化在其中的设备物理地接触时才发生。在其他实施例中，可以调谐传感器以允许检测悬停(hover)在触摸表面上方的固定的距离的“触摸”或“接触”。因此，在本描述内使用暗示依赖于感测到的物理接触的语言不应当理解为意味着所描述的技术仅适用于那些实施例；实际上，本文中所描述的几乎全部(如果不是全部的)内容将同等地适用于“触摸”和“悬停”传感器。
端对端等待时间(用户的输入与系统对此输入的响应的呈现之间所需的总时间)是用户性能方面已知的限制因素。在直接触摸系统中，由于对用户输入的手机以及对系统响应的显示的并置，等待时间是特别明显的。已发现此类系统的用户在低至25毫秒的等待时间下具有损害的性能，并且可注意到触摸时间与系统响应之间的甚至2毫秒的延迟的效应。
如本文中所使用的实际等待时间是指系统计算并呈现对用户选择或输入的响应所需的总时间量。实际等待时间是交互式计算特有的。如本文中所讨论，如果使用预测性方法来预期用户输入的位置和用户状态，则具有减少实际等待时间的极大潜力。此类预测(如果足够准确)可准许系统在输入本身之前或与输入本身并发地来响应于输入或开始作出响应。在正确地定时的情况下，如果正确地预测了用户的实际输入，则系统对所预测的输入的响应可与用户的实际输入的实际时刻对准。此外，如果充分正确地预测了用户的实际输入，则可以缩短系统对所预测的输入的响应所需的时间。换言之，用户的实际选择与系统的对那个实际选择的响应之间的时间可以小于实际等待时间。尽管这不减少响应于所预测的输入所需的总时间量(即，实际等待时间)，但是，它确实减少了系统的明显的等待时间(即，实际输入与系统的对此实际输入的响应之间的总时间量)。
在实施例中，所公开的系统和方法通过经由预测未来用户输入来智能地对关于图形状态变化和应用状态变化的信息进行高速缓存，以便提供对用户输入的更快的响应。通过当用户的手指/手/笔与触摸表面接触时以及当它“悬停”在触摸表面上方时感测它的移动，所公开的系统和方法可以通过应用用户输入模型来(以某一准确度)测未来输入事件(诸如，未来触摸的位置)。用户输入模型使用当前的和先前的输入事件来预测未来输入事件。例如，通过看手指在触摸屏上方穿过空气的路径，所公开的系统和方法可以(以某个准确度)预测手指将与显示器接触的位置。在实施例中，将关于未来用户输入的预测与软件或硬件配对，所述软件或硬件使用户接口和应用状态在所预测的输入发生的情况下快速地对它作出响应。
使用能够(除了当手指/笔与表面接触时进行感测之外)感测手指/笔在触摸表面上方的位置的快速触摸传感器，所公开的系统和方法能以某个准确度来预测未来输入事件。此类输入设备的高速度、低等待时间的性质可以提供丰富且及时的输入事件来进行这些预测。所预测的输入事件可包括但不仅限于，落触位置(手指/笔/手/等将与显示器接触的位置)、抬起位置(手指/笔/等将从显示器提起的位置)、单指或多指手势、拖曳路径，等等。下文中更详细地讨论所预测的事件。
在实施例中，除位置信息之外，所预测的输入事件还可包括对时序的预测，即，何时将进行事件。
在一个实施例中，所预测的输入事件可以附加地包括指示模型与所预测的事件相关联的置信度的可能性度量(例如，在0％与100％之间)。由此，在实施例中，模型可以预测多个未来事件，并且将指示它们在未来实际发生的似然率的概率分配给它们中的每一个。
在实施例中，所预测的事件可以与使设备或应用为那些未来事件作好准备的系统组件配对。例如，当来自模型的所预测的事件指示“打开”按钮可能被按下时，GUI中的“打开……”按钮可以对当前目录的内容进行预高速缓存。在此示例中，由于此预高速缓存，GUI可能能够比它将不能够使预测发生时更快地向用户显示当前目录的内容。作为另一示例，考虑GUI中的具有两个视觉外观(被按下和未被按下)的“保存”按钮。使用本申请中所描述的技术，如果模型预测用户将按下此按钮，则软件可以预渲染“保存”按钮的被按下的外观，使得一旦实际执行了输入事件，它就能够快速地呈现此外观。在本文中所描述的系统和方法不存在的情况下，软件在渲染被按下的外观之前可能要等待到输入事件发生，从而导致输入事件与对那个输入的图形响应之间的较长的延迟。在实施例中，用户输入事件是由用户进行的交互的临时结束，并且经高速缓存的数据由用于将设备置于低功率模式的命令组成。以此方式，设备可配置成预测用户将不会再次触摸此触摸界面或将在下一触摸之前将暂停，并且通过对设备的多个部分节流来节省相大量功率。在实施例中，使用模型以及对触摸位置的预测来校正触摸中的人为错误。例如，当按下靠近其他按钮的按钮时，可由处理器使用手指方法和模型来确定用户打算点击在左边的按钮，但是却点击了在右边的按钮的左边缘。
建模
尽管本文中讨论了某些特定的建模技术，但是将先前的输入事件的向量作为输入且将一个或多个未来输入事件作为输出的其他技术也可以与本发明兼容。
使用从高保真跟踪系统收集的数据，构建用户手指移动的模型。所允许的模型输出由手指触摸的一个或多个所预测的位置以及一个或多个所预测的时序。如图1中所示，在实施例中，对触摸前数据(黑色)建模。在实施例中，此建模涉及三个主要步骤：初始的上升(红色)、朝着目标的校正移动(蓝色)以及最终的落下动作(绿色)。在实施例中，为每一个步骤拟合平面，并且将平面投影到触摸表面上。所投影的平面与触摸表面的交叉可用于提供可能的触摸位置的区域。如图1中所示，在实施例中，初始的上升可能产生较大的可能性区域(红色矩形)，校正移动可能产生较小的区域(蓝色矩形)，而最终的落下动作可能产生更小的区域(绿色矩形)。在实施例中，相对于最终的落下动作，可以通过将抛物线拟合到逼近数据(approachdata)来缩窄预测。如图1中所示，在实施例中，模型是自适应的，因为随着用户的手势继续朝向屏幕，它可提供可能的触摸事件的逐渐窄的区域。
经收集以形成模型的数据(以及实际上模型对于预测触摸位置的应用)要求高保真跟踪触摸设备。在实施例中，此类高保真跟踪可能要求超出典型的现代的触摸设备的感测能力但不超出典型的指示笔跟踪技术的感测能力的感测能力。在实施例中，此类高保真跟踪可能要求现今对于在常见的设备上的商业实现过于昂贵但在不久的将来可能被合并到常见的设备中的感测能力。在实施例中，此类高保真跟踪可能要求传感器的组合，包括例如，使用诸如视频输入和容性输入之类的单独的输入的组合的保真度。
尽管由本文中所公开的模型利用的感测能力通常被称为“悬停”，但是，此类输入流被更准确地重新称为“触摸前”，以便在其用于预测触摸位置的用途与可能呈现给用户的任何种类的基于悬停的反馈(视觉的或以其他方式)或任何基于悬停的交互技术之间进行区别。
在实施例中，使用触摸前信息来为计算设备预测用户动作，特别是为移动设备(诸如，触摸板和智能电话)预测用户动作。具体而言，在实施例中，可使用触摸前信息来预测用户将在何处以及何时触摸设备。
观察
参与者使用约束到表面的两个触摸设备来执行数据收集研究。在平板的中心，10英寸平板负责试验元件和用户反馈。这是要求参与者来执行试验动作的主表面。手势起始位置对于此方法是重要的，定义了水平迎角(horizontalangleofattack)。为了控制此角度，我们要求参与者从定位在使用者与平板之间的电话机处开始所有的手势。为了开始试验，要求参与者触摸并持有电话显示器，直到音频反馈指示试验开始为止。电话和平板两者对于用户位置居中，并且定位在距平板的边缘的13cm和30cm处。
为了与这两个设备进行交互，参与者使用由标记跟踪系统跟踪的伪像(笔或手套)，所述标记跟踪系统跟踪在平板显示器上居中的2立方米的区域。此系统每隔120ms提供所跟踪的伪像的3D位置和旋转，利用此信息，我们可以计算3D空间中的手指或笔尖位置。
设备和标记跟踪系统连接之控制实验的流程的PC。计算机运行Python应用，所述Python应用设计成用于：(1)读取伪像的位置和旋转；(2)从平板和电话机接收落触和抬起；(3)将命令发布给平板；以及(4)记录所有数据。计算机不负责任何触摸或视觉反馈；所有视觉都由平板提供。
对于每一个动作，要求参与者求触摸并持有电话显示器，这触发了系统进展到在平板显示器上示出的下一试验。为了控制狩猎-寻找动机(hunting-and-seekmotion)，要求使用者等待声反馈，所述声反馈由电话机输出，并且在显示反馈之后的0.7与1秒之间随机地触发。此任务由以下操作组成：敲击指定的位置，跟随直路径或弯路径，或遵循绘制简单形状的指令。一旦执行了试验，就指示用户返回到电话机以指示试验已结束，并且等待声反馈来开始下一试验。重复任何错误的任务，反馈指示由平板提供的失败。
参与者填写同意书和问卷以收集人口统计信息。随后，他们接收关于如何与设备进行交互的指令，并且完成用于实践声反馈的30次训练试验、所要求的任务以及试验的总流程。
在执行每一次试验之后，对话框显示出来以指示结果(“成功”或“错误”)以及累积错误率(以％示出)。如果错误率高于5％，则指示参与者减慢速度，但是在关于触摸前移动方面来指示参与者。一旦试验结束，下一试验就将显示在平板上，并且提供声反馈以指示试验开始。过程持续大致15分钟，整个会话在约1小时内执行。
针对三个独立变量来相应地设计任务：起始位置(对于手势的9个起始位置以及对于敲击的5个起始位置，在平板表面中均匀地分布)、动作类型(敲击、手势和绘图动作)以及方向(左、右、上、下)。我们研究了6个绘图动作，144个手势和5个敲击位置，总共155个。参与者使用笔伪像或者手指手套来执行这些任务。
每一个参与者都执行触摸动作的6次重复(对于位置和方向的每一个手势组合的2次重复以及对于绘图动作的一次重复)，对于每次研究，总计330个动作。试验的排序在参与者之间是随机化的。要求参与者执行两个会话，一个会话使用笔伪像，而另一个会话跟踪手指。两个会话的排序是参与者之间的循环安排。
概括地说，18名参与者中的每一名都执行了660次试验，总计11880次试验。图2示出为单次试验收集的数据的示例。以黑色显示的全都是触摸前点，它们在电话机位置上开始，并且在平板上的目标位置上结束。紫色X表示平板显示器中的配准的触摸点。
对于每一次试验，我们捕捉总完成时间；伪像位置、旋转以及每一个位置的时间戳；参与者何时正在触摸平板(通过标记跟踪系统以及平板自己的输入(甚至流))；以及每一次试验的结果。如此来分配作为错误的试验的重复的试验。随后，分析试验以发现伪像位置处的许多异常点(由于对伪像的跟踪错位)，并且将具有80％(或更高的)的准确跟踪的试验用于分析。在那些试验中，丢弃所有经分类的异常点。基于跟踪系统的速率(120ms)和手势的速度，远离其前一近邻大于3.5cm的任何事件都被视为异常点。
从可接受的试验中，我们选择手指敲击动作来用作创建模型的基础。这将可接受的试验划分为被用作“培训集”的500个试验，并且保留其余的试验来验证我们的方法。
为了创建模型，我们着手观察500个所选择的试验，并且标识大部分移动表达了什么步骤。在本节中，我们描述了我们基于这些观察而创建的模型。所有的空间参考都相对于基于平板的右上方的x,y,z参考空间，与触摸框架中常见的x,y参考空间类似。在我们的情况下，z是到显示器的竖直距离。
抬起、校正和落下
如此收集的数据揭示了有区别的三阶段手势方法，此方法可以被分成三个主要组成部分，我们称这三个主要组成部分为抬起、校正方法和落下。除了这些步骤之外，为了定义模型，还包括了三个可标识的速度元素：最高总速度、初始下降和最终下降。
最高速度、初始下降和最终下降
收集到的数据还揭示，触摸前方法接近于弹道移动，其中，手指到到达距显示器的最大竖直距离，并开始向目标落下。
看反映总速度的数据，人们可以标识移动何时达到其最高速度。收集到的数据揭示，在通过运动的半途中实现了最高速度，并且可以通过直线来拟合加速和减速两者。在实施例中，此信息可用于标识抬起步骤何时终止，和/或何时开始寻找初始下降。
初始下降被定义为当手指开始朝着触摸显示器竖直地移动时的点。在实施例中，可以通过确定手指的加速(以z值表示)何时穿过零值来标识初始的下降。然而，甚至当加速穿过零时，加速的此类变化也不一定地指示手指将朝着显示器加速而不作进一步的调整。相反，已经发现情况经常是，在发起最终的下降之前具有减速。在实施例中，此细节提供关于触摸何时将发生的基本信息，并且指示最终的落下、弹道步骤。在实施例中，这些线索有助于检测接下来描述的三个步骤中的每一个步骤。
对触摸方法建模
在实施例中，由三个步骤构成的模型成功地概括了对感兴趣的表面的触摸方法。
抬起
抬起被定义为用户开始将手指移离显示器的的部分。它以朝向目标的竖直向上的速度和方向的增大来表征。尽管抬起的方向并不总是与目标直接对齐且经常要求校正逼近，但是径最小化以拟合抬起数据并与平板交叉的平面足以在很早期就创建对触摸事件的位置的预测(即，所预测的区域)，并且由此还预测在显示器的某些部分中的触摸的低似然率。
图3示出了抬起步骤的示例。在此示例中，由从目标略向左偏离的平面来拟合此上升。在抬起期间，移动可能是快速的，并在目标的总体方向上，但是可能要求未来的校正。
校正逼近
图4示出校正逼近步骤的示例。在此示例中，此校正正在补偿抬起偏差。在实施例中，模型可以通过拟合新的平面并减小预测性触摸区域来考虑此偏差。
校正逼近由竖直速度的逆转来表征；这是因为，手指正开始其朝向目标的初始下降。可以观察到总速度的轻微的降低；考虑到竖直速度的显著降低，此类降低可以表明水平速度正在增大，由此补偿了竖直速度的减慢。人们相信此效果是手指正在移离在抬起期间定义的平面的结果，因为它校正其朝向目标的路径。在实施例中，第二平面被拟合到偏离抬起所定义的平面的数据点。在实施例中，模型可以假设，由校正数据形成的平面的表面交叉相对于由抬起数据形成的平面的表面交叉的偏差对最终的目标位置具有强相关性。例如，如果观察到向抬起平面的左侧的偏离，则可以忽略抬起平面的右侧，并目标也在抬起平面的左侧。
落下
如图5中所示，快速的向下移动指示已经到达第三步骤(落下或弹道步骤)。在实施例中，第三平面(即，弹道平面)被拟合到来自落下步骤的数据。第三平面可以考虑从校正逼近平面的偏差，并且在实施例中，此第三平面尝试将抛物线拟合到落下/弹道事件。在实施例中，在弹道步骤期间，模型能以某种程度的似然率来准确地预测触摸事件。在实施例中，可以使用此模型来预测在半径为1.5cm的圆内的、相距2.5cm竖直距离的触摸(有很高程度的似然率)。在实施例中，可以使用此模型来准确地预测半径1.5cm的圆内的、相距2.5cm的竖直距离的非中断的触摸(例如，不具有用户的期望的变化，并且不具有可以移动表面的外部事件)。
在落下步骤中，手指相对地接近平板，朝向目标加速。手指可能由于重力而正在加速，或通过用户采用使手指加速直到触摸到显示器的最终调整而正在加速。在任何一种情况下，此落下或者弹道步骤由竖直速度的显著增大来表征，并且可以伴随偏离校正逼近的第二偏离。
弹道步骤是触摸前移动的最后一个步骤，这是在期间如果被完成，则用户将触摸显示器的步骤。弹道步骤期间的移动也可以被拟合到平面。在实施例中，弹道步骤移动被拟合到检测到从校正逼近平面的材料偏离的平面。平面被拟合到从校正平面偏离的数据点。在实施例中，弹道步骤移动被建模为抛物线以进一步减小可能的触摸区域的尺寸。在实施例中，为了将弹道步骤建模为抛物线以进一步减少预测，使用下列约束：抛物线被约束到当前平面(即，弹道平面)；它遵循可用的数据点的方向；在z＝0上，假设抛物线的切线垂直于平板显示器。
这三个预测创建了带有单一解的线性方程组。抛物线预测触摸点有多准确取决于抛物线多快匹配到数据点；抛物线越迟在手势中拟合，它的拟合将更接近实际触摸点的可能性就越大，因此，预测就更好。
虽然上文提供了一个示例，但是也可以对其他预测和状态建模。可以被建模的预测和状态的示例包括例如，触摸或其他事件将发生的时刻、触摸或其他事件的位置、与所预测的触摸或其他事件相关联的置信度、正在预测哪一个手势的标识、正在使用哪一只手的标识、正在使用哪一只手臂的标识、用手习惯、对多久可以作出预测的估计、用户状态(包括但不仅限于：沮丧的、疲劳的、摇晃的、酗酒的、用户的意图、混乱水平、以及其他身体和心理状态)、多个用户中的哪一个正在触摸传感器的生物计量标识(例如，一局棋中的哪一个玩家)，传感器的朝向或计划的取向(横向vs纵向)。此类预测和状态不仅可用于减少等待时间，而且还用于其他软件功能和决策。例如，可以使用用户的手指从显示在传感器上的虚拟键盘上的“T”键朝向“H”键的轨迹来将当前键入的单词与词典比较来增加预测性文本分析的准确性(例如，当用户正在键入单词时对所预测的单词的实时显示)。此类轨迹还可以用于例如增加被预测为接下来被按下的字母的目标尺寸。可以随着时间的推移在软件中解释此类轨迹以定义由模型用来预测用户输入位置和时间的曲线。也可以在软件中使用上述预测和状态以拒绝对用户输入的软件解释中的误报。
使用模型和预测来更好地在手指的接触区域与显示器上的像素之间进行映射。在触摸设备中，传感器感测对应于手指与显示器之间的接触区域的区域。以许多方式中的一种方式将此焊盘(pad)映射至像素，诸如，挑选重心、质心、边界框的顶端，等等。可以使用如上文所描述的预测性模型，以便基于关于按压到屏幕中的手指的逼近与可能的形状的信息来通知接触区域至像素的映射。接触区域不总是与计划的目标一致。已提出尝试校正此差异的模型。可以使用如上所述的触摸前的可用性，以便通过不仅提供接触区域，而且还区分被等效地感测到但具有不同的逼近的触摸来训练模型。例如，具有从左边拱起的最终逼近的轨迹可能针对初始接触的目标左侧，其中，具有强的竖直下落的逼近可能针对与手指甲最接近的目标。接触的形状(当前地、唯一地基于感测到触摸的区域)也可以受益于逼近轨迹。例如，随着用户作手势以解锁移动设备，由于落触时的迎角，感测到的手指区域略微偏移。可以使用关于手指如何逼近的数据来理解接触形状的偏移，并判断它们是否是刻意的(手指摇摆)，还是仅是在落触之后发起手指滚动的快速逼近的次级效应。最后，上文所描述的模型预测指示用户将最有可能触摸何处以及显示器的什么区域不太可能接收触摸。触摸技术的一个问题是手掌误触——即：由于系统如何判断何时触摸是刻意的而触摸何时是由于感测到除手指以外的手的部位而造成的误报。一旦进行了预测，则所预测的区域外部识别的任何触摸都可以被安全地分类为误报，并且被忽略。这有效地允许用户使她的手搁在显示器上，或者甚至训练传感器以在打算抓握设备的逼近(从侧面的低逼近)或敲击(如通过我们的数据收集所描述)之间进行区分。
上文中参照使用关于状态变化的信息并预测未来用户输入来提供对用户输入的响应的方法和设备的框图和操作说明来描述本发明。应当理解，可以借助于模拟或数字硬件和计算机程序指令来实现框图或操作说明中的每一个框以及框图或操作说明中的框的组合。这些计算机程序指令可以存储在计算机可读介质上，并且被提供至通用计算机、专用计算机、ASIC或其他可编程数据处理设备的处理器，使得经由计算机或其他可编程数据处理设备的处理器执行的指令实现在框图或一个或多个操作框中所指定的功能/动作。在一些替代实现中，在框中所标注的功能/动作可以不按照操作说明中所标注的顺序发生。例如，取决于所涉及的功能/动作，连续示出的两个框实际上可基本上并发地执行，或者这些框有时可以逆序地执行。
可以至少部分地在软件中具体化所公开的至少一些方面。也就是说，可以响应于其处理器(诸如微处理器)执行存储器(诸如，ROM、易失性RAM、非易失性存储器、高速缓存或远程存储设备)中所包含的指令序列而在专用或通用计算机系统或其他数据处理系统中执行这些技术。
经执行以实现实施例的例程可以被实现为操作系统的部分、固件、ROM、中间件、服务递送平台、SDK(软件开发工具包)组件、web服务，或其他特定的应用、组件、程序、对象、模块或被称为“计算机程序”的指令序列。对这些例程的调用接口可以作为API(应用编程接口)而暴露于软件开发社区。计算机程序通常包括在各时刻、在计算机中的存储器和存储设备中的一个或多个指令集，当由计算机中的一个或多个处理器读取并执行这一个或多个指令集时，这一个或多个指令集使计算机执行实施涉及各方面的元件所需的操作。
可以使用非暂态机器可读介质来存储软件和数据，当由数据处理系统执行所述软件和数据时，所述软件和数据使系统执行各种方法。可执行软件和数据可以被存储在各种位置中，包括，例如，ROM、易失性RAM、非易失性存储器和/或高速缓存。此软件和/或数据的多个部分可以存储在这些存储设备中的任何一个中。此外，可以从集中式服务器或对等网络中获取数据和指令。可以在不同的时刻、在不同的通信会话中或在相同通信会话中、从不同的集中式服务器和/或对等网络中获取数据和指令的不同的部分。可以在执行应用之前完整地获取数据和指令。或者，当需要执行时，可以动态地恰及时地获取数据和指令的多个部分。如此，在特定的时间实例，不要求数据和指令完整地在机器可读介质上。
计算机可读介质的示例包括但不仅限于，可记录和非可记录类型的介质，诸如，易失性和非易失性存储器设备、只读存储器(ROM)、随机存取存储器(RAM)、闪存设备、软盘与其他可移动磁盘、磁盘存储介质、光存储介质(例如，紧致盘只读存储器(CDROM)，数字多功能盘(DVD)，等等)，等等。
一般而言，机器可读介质包括提供(例如，存储)可由机器(例如，计算机、网络设备、个人数字助理、制造工具、具有一组一个或多个处理器的任何设备，等等)访问形式的信息的任何机制。
在各实施例中，可以与软件指令相结合地使用硬连线电路来实现各技术。由此，技术既不限于硬件电路和软件的任何特定的组合，也不限于由数据处理系统执行的指令的任何特定的源。
以上实施例和优选是说明本发明的。本专利既不需要也不旨在概述或定义每一个可能的组合或实施例。发明人已公开了足够的信息以准许本领域技术人员实施本发明的至少一个实施例。以上描述和发截图仅说明本发明，并且组件、结构和程序的变化是可能的而不背离所附权利要求书所定义的本发明的范围。例如，能以不同的顺序来实施在上文中和/或所附权利要求书中以特定的顺序描述的元件和/或步骤。由此，虽然已参考本发明的实施例示出并描述了本发明的，但是，本领域技术人员将理解，可在本发明中作出形式和细节的改变而不背离本发明的精神和范围。

Claims (111)

1.一种用于对信息进行高速缓存并使用所述信息的方法，所述信息关于电子设备中的图形状态变化，所述方法包括以下步骤：
存储来自触摸传感器的用户输入的模型，所述触摸传感器能够感测手指或对象在触摸表面上方的位置；
在所述电子设备中创建表示对所述电子设备的当前用户输入的数据；
将所述用户输入的模型应用于所述表示当前用户输入的数据，以便创建反映对未来用户输入事件的预测的数据；
使用反映对所述未来用户输入事件的预测的数据来标识与所述至少一个所预测的未来用户输入事件相关联的至少一个特定的响应；
将对实现图形状态变化有用的数据高速缓存在所述电子设备的存储器中，所述数据包括反映与所述所预测的未来用户输入相关联的至少一个特定的响应的数据；
从所述电子设备的所述存储器中检索反映所述至少一个特定的响应的所述经高速缓存的数据，并且使用所述数据来实现所述图形状态变化中的至少一种。
2.如权利要求1所述的方法，其中，反映所述至少一个特定的响应的数据是响应于所述所预测的用户输入事件而从所述电子设备的所述存储器中检索到的。
3.如权利要求1所述的方法，其中，反映所述至少一个特定的响应的数据是在所述所预测的用户输入事件之前来从所述电子设备的所述存储器中检索到的。
4.如权利要求1所述的方法，其中，在与所述电子设备集成的硬件中实现所述检索所述经高速缓存的数据并使用所述数据的步骤。
5.如权利要求1所述的方法，其中，在运行在所述电子设备上的软件中实现所述检索所述经高速缓存的数据并使用所述数据的步骤。
6.如权利要求1所述的方法，其中，所述对未来用户输入事件的预测包括对落触的位置的预测。
7.如权利要求1所述的方法，其中，所述对未来用户输入事件的预测包括对抬起的位置的预测。
8.如权利要求1所述的方法，其中，所述对未来用户输入事件的预测包括对手势的预测。
9.如权利要求8所述的方法，其中，所述手势包括多手指手势。
10.如权利要求1所述的方法，其中，所述对未来用户输入事件的预测包括对拖曳路径的预测。
11.如权利要求1所述的方法，其中，所述对未来用户输入事件的预测包括对所述未来用户输入的时序的预测。
12.如权利要求1所述的方法，其中，所述对未来用户输入事件的预测包括指示所述模型与所述所预测的未来事件相关联的置信度的概率的一个或多个度量。
13.如权利要求12所述的方法，其中，所述概率的一个或多个度量包括：所述未来用户输入事件将在特定的位置处发生的概率的度量；以及所述未来用户输入事件将在特定的时刻或时间帧发生的概率的度量。
14.如权利要求12所述的方法，其中，使用所述概率的一个或多个度量来确定要被高速缓存的数据。
15.如权利要求1所述的方法，其中，所述对象是指示笔。
16.如权利要求1所述的方法，其中，所述模型在所述设备中被存储为表。
17.如权利要求1所述的方法，其中，所述模型包括抬起阶段的模型。
18.如权利要求1所述的方法，其中，所述模型包括校正阶段的模型。
19.如权利要求1所述的方法，其中，所述模型包括落下阶段的模型。
20.如权利要求1所述的方法，其中，所述模型利用所述手指或对象的运动的速度变化。
21.一种用于对信息进行高速缓存并使用所述信息的方法，所述信息关于电子设备中的应用状态变化，所述方法包括以下步骤：
存储来自触摸传感器的用户输入的模型，所述触摸传感器能够感测手指或对象在触摸表面上方的位置；
在所述电子设备中创建表示对所述电子设备的当前用户输入的数据；
将所述用户输入的模型应用于所述表示当前用户输入的数据，以便创建反映对未来用户输入事件的预测的数据；
使用反映对所述未来用户输入事件的预测的数据来标识与所述至少一个所预测的未来用户输入事件相关联的至少一个特定的响应；
将对实现应用状态变化有用的数据高速缓存在所述电子设备的存储器中，所述数据包括反映与所述所预测的未来用户输入相关联的至少一个特定的响应的数据；
从所述电子设备的所述存储器中检索反映所述至少一个特定的响应的所述经高速缓存的数据，并且使用所述数据来实现所述应用状态变化中的至少一种。
22.如权利要求21所述的方法，其中，反映所述至少一个特定的响应的数据是响应于所述所预测的用户输入事件而从所述电子设备的所述存储器中检索出的。
23.如权利要求21所述的方法，其中，反映所述至少一个特定的响应的数据是在所述所预测的用户输入事件之前来从所述电子设备的所述存储器中检索出的。
24.如权利要求21所述的方法，其中，在与所述电子设备集成的硬件中实现检索所述经高速缓存的数据并使用所述数据的步骤。
25.如权利要求21所述的方法，其中，在运行在所述电子设备上的软件中实现所述检索所述经高速缓存的数据并使用所述数据的步骤。
26.如权利要求21所述的方法，其中，所述对未来用户输入事件的预测包括对落触的位置的预测。
27.如权利要求21所述的方法，其中，所述对未来用户输入事件的预测包括对抬起的位置的预测。
28.如权利要求21所述的方法，其中，所述对未来用户输入事件的预测包括对手势的预测。
29.如权利要求28所述的方法，其中，所述手势包括多手指手势。
30.如权利要求21所述的方法，其中，所述对未来用户输入事件的预测包括对拖曳路径的预测。
31.如权利要求21所述的方法，其中，所述对未来用户输入事件的预测包括对所述未来用户输入的时序的预测。
32.如权利要求21所述的方法，其中，所述对未来用户输入事件的预测包括指示所述模型与所述预测的未来事件相关联的置信度的概率的一个或多个度量。
33.如权利要求32所述的方法，其中，所述概率的一个或多个度量包括：所述未来用户输入事件将在特定的位置处发生的概率的度量；以及所述未来用户输入事件将在特定的时刻或时间帧发生的概率的度量。
34.如权利要求32所述的方法，其中，使用所述概率的一个或多个度量来确定要被高速缓存的数据。
35.如权利要求21所述的方法，其中，所述对象是指示笔。
36.如权利要求21所述的方法，其中，所述在所述设备中被存储为表。
37.如权利要求21所述的方法，其中，所述模型包括抬起阶段的模型。
38.如权利要求21所述的方法，其中，所述模型包括校正阶段的模型。
39.如权利要求21所述的方法，其中，所述模型包括落下阶段的模型。
40.如权利要求21所述的方法，其中，所述模型利用所述手指或对象的运动的速度变化。
41.一种用于对信息进行高速缓存并使所述信息的方法，所述信息使设备或应用为至少一个未来事件作好准备，所述方法包括以下步骤：
存储来自触摸传感器的用户输入的模型，所述触摸传感器能够感测手指或对象在触摸表明上方的位置；
在所述电子设备中创建表示对所述电子设备的当前用户输入的数据；
将所述用户输入的模型应用于所述表示当前用户输入的数据，以便创建反映对未来用户输入事件的预测的数据；
使用反映对所述未来用户输入事件的预测的数据来标识对于使所述设备或应用为至少一个特定的事件作好准备有用的数据；
将对于使所述设备或应用为至少一个未来事件作好准备有用的数据高速缓存在所述电子设备的存储器中，所述数据包括对于使所述设备或应用为至少一个特定的事件作好准备有用的数据；以及，
从所述电子设备中的所述存储器中检索所述经高速缓存的数据。
42.如权利要求41所述的方法，其中，所述设备或应用是图形用户界面的用户界面元件。
43.如权利要求41所述的方法，其中，所述特定的用户输入事件包括由所述用户进行的交互的临时结束，并且所述经高速缓存的数据包括用于将所述设备置于低功率模式的命令。
44.如权利要求42所述的方法，其中，所述界面元件是按钮，所述特定的事件是对所述按钮的按压，并且所述经高速缓存的数据是对所述按钮的外观的预渲染。
45.如权利要求42所述的方法，其中，所述界面元件是打开按钮，所述特定的事件是对所述按钮的按压，并且所述经高速缓存的数据是当前目录的内容。
46.如权利要求41所述的方法，其中，所述经高速缓存的数据是响应于所述所预测的用户输入事件而从所述电子设备的所述存储器中检索到的。
47.如权利要求41所述的方法，其中，所述经高速缓存的数据是在所述所预测的用户输入事件之前来从所述电子设备的所述存储器中检索到的。
48.如权利要求41所述的方法，其中，在与所述电子设备集成的硬件中实现所述检索所述经高速缓存的数据并使用所述数据的步骤。
49.如权利要求41所述的方法，其中，在运行在所述电子设备上的软件中实现所述检索所述经高速缓存的数据并使用所述数据的步骤。
50.如权利要求41所述的方法，其中，所述对未来用户输入事件的预测包括对落触的位置的预测。
51.如权利要求41所述的方法，其中，所述对未来用户输入事件的预测包括对抬起的位置的预测。
52.如权利要求41所述的方法，其中，所述对未来用户输入事件的预测包括对手势的预测。
53.如权利要求52所述的方法，其中，所述手势包括多手指手势。
54.如权利要求41所述的方法，其中，所述对未来用户输入事件的预测包括对拖曳路径的预测。
55.如权利要求41所述的方法，其中，所述对未来用户输入事件的预测包括对所述未来用户输入的时序的预测。
56.如权利要求41所述的方法，其中，所述对未来用户输入事件的预测包括指示所述模型与所述所预测的未来事件相关联的置信度的概率的一个或多个度量。
57.如权利要求56所述的方法，其中，所述概率的一个或多个度量包括：所述未来用户输入事件将在特定的位置处发生的概率的度量；以及所述未来用户输入事件将在特定时刻或时间帧发生的概率的度量。
58.如权利要求47所述的方法，其中，使用所述概率的一个或多个度量来确定要被高速缓存的数据。
59.如权利要求41所述的方法，其中，所述对象是指示笔。
60.如权利要求41所述的方法，其中，所述模型在所述设备中被存储为表。
61.如权利要求41所述的方法，其中，所述模型包括抬起阶段的模型。
62.如权利要求41所述的方法，其中，所述模型包括校正阶段的模型。
63.如权利要求41所述的方法，其中，所述模型包括落下阶段的模型。
64.如权利要求41所述的方法，其中，所述模型利用所述手指或对象的运动的速度变化。
65.一种低等待时间触敏设备，包括：
a.触摸传感器，所述触摸传感器能够感测手指或对象在触摸表面上方的位置，并且能够创建表示对所述电子设备的当前用户输入的数据；
b.存储器，所述存储器具有存储在所述存储器中的、来自所述触摸传感器的用户输入的模型；
c.处理器，所述处理器配置成：
i.将所述用户输入的模型应用于所述表示当前用户输入的数据，以便创建反映对未来用户输入事件的预测的数据；
ii.使用反映对所述未来用户输入事件的预测的数据来标识与所述至少一个所预测的未来用户输入事件相关联的至少一个特定的响应；
iii.将对实现图形状态变化有用的数据高速缓存在所述电子设备的存储器中，所述数据包括反映与所述所预测的未来用户输入相关联的至少一个特定的响应的数据；以及，
iv.从所述电子设备的所述存储器中检索反映所述至少一个特定的响应的所述经高速缓存的数据，并且使用所述数据来实现所述图形状态变化中的至少一种。
66.如权利要求65所述的低等待时间触敏设备，其中，所述处理器配置成：响应于所述所预测的用户输入事件而从所述电子设备的所述存储器中检索所述经高速缓存的数据。
67.如权利要求65所述的低等待时间触敏设备，其中，所述处理器配置成：在所述所预测的用户输入事件之前，从所述电子设备的所述存储器中检索所述经高速缓存的数据。
68.如权利要求65所述的低等待时间触敏设备，其中，所述设备包括配置成检索所述经高速缓存的数据并使用所述数据的硬件。
69.如权利要求65所述的低等待时间触敏设备，其中，所述设备包括配置成检索所述经高速缓存的数据并使用所述数据的软件。
70.如权利要求65所述的低等待时间触敏设备，其中，所述处理器配置成预测落触的位置。
71.如权利要求65所述的低等待时间触敏设备，其中，所述处理器配置成预测抬起的位置。
72.如权利要求65所述的低等待时间触敏设备，其中，所述处理器配置成预测手势。
73.如权利要求72所述的低等待时间触敏设备，其中，所述手势包括多手指手势。
74.如权利要求65所述的低等待时间触敏设备，其中，所述处理器配置成预测拖曳路径。
75.如权利要求65所述的低等待时间触敏设备，其中，所述处理器配置成预测未来用户输入的时序。
76.如权利要求65所述的低等待时间触敏设备，其中，所述处理器配置成计算表示所述模型与所述所预测的未来事件相关联的置信度的概率的一个或多个度量。
77.如权利要求76所述的低等待时间触敏设备，其中，所述概率的一个或多个度量包括：所述未来用户输入事件将在特定的位置处发生的概率的度量；以及所述未来用户输入事件将在特定的时刻或时间帧发生的概率的度量。
78.如权利要求76所述的低等待时间触敏设备，其中，使用所述概率的一个或多个度量来确定要被高速缓存的数据。
79.如权利要求65所述的低等待时间触敏设备，其中，所述对象是指示笔。
80.如权利要求65所述的低等待时间触敏设备，其中，所述模型所述设备中被存储为表。
81.如权利要求65所述的低等待时间触敏设备，其中，所述模型包括抬起阶段的模型。
82.如权利要求65所述的低等待时间触敏设备，其中，所述模型包括校正阶段的模型。
83.如权利要求65所述的低等待时间触敏设备，其中，所述模型包括落下阶段的模型。
84.如权利要求65所述的方法，其中，所述模型使用所述手指或对象的运动的速度变化。
85.一种低等待时间触敏设备，包括：
a.触摸传感器，所述触摸传感器能够感测手指或对象在触摸表面上方的位置，并且能够创建表示对所述电子设备的当前用户输入的数据；
b.存储器，所述存储器存储来自所述触摸传感器的用户输入的模型；
c.处理器，所述处理器配置成：
i.将所述用户输入的模型应用于所述表示当前用户输入的数据，以便创建反映对未来用户输入事件的预测的数据；
ii.使用反映对所述未来用户输入事件的预测的数据来标识与所述至少一个所预测的未来用户输入事件相关联的至少一个特定的响应；
iii.将对实现应用状态变化有用的数据高速缓存在所述电子设备的存储器中，所述数据包括反映与所述所预测的未来用户输入相关联的至少一个特定的响应的数据；以及，
iv.从所述电子设备的所述存储器中检索反映所述至少一个特定的响应的所述经高速缓存的数据，并且使用所述数据来实现所述应用状态变化中的至少一种。
86.如权利要求85所述的低等待时间触敏设备，其中，所述处理器配置成：响应于所述所预测的用户输入事件而从所述电子设备的所述存储器中检索所述经高速缓存的数据。
87.如权利要求85所述的低等待时间触敏设备，其中，所述处理器配置成：在所述所预测的用户输入事件之前，从所述电子设备的所述存储器中检索所述经高速缓存的数据。
88.如权利要求85所述的低等待时间触敏设备，其中，所述设备包括配置成检索所述经高速缓存的数据并使用所述数据的硬件。
89.如权利要求85所述的低等待时间触敏设备，其中，所述设备包括配置成检索所述经高速缓存的数据并使用所述数据的软件。
90.如权利要求85所述的低等待时间触敏设备，其中，所述处理器配置成预测落触的位置。
91.如权利要求85所述的低等待时间触敏设备，其中，所述处理器配置成预测抬起的位置。
92.如权利要求85所述的低等待时间触敏设备，其中，所述处理器配置成预测手势。
93.如权利要求92所述的低等待时间触敏设备，其中，所述手势包括多手指手势。
94.如权利要求85所述的低等待时间触敏设备，其中，所述处理器配置成预测拖曳路径。
95.如权利要求85所述的低等待时间触敏设备，其中，所述处理器配置成预测未来用户输入的时序。
96.如权利要求85所述的低等待时间触敏设备，其中，所述处理器配置成计算指示所述模型与所述所预测的未来事件相关联的置信度的概率的一个或多个度量。
97.如权利要求96所述的方法，其中，所述概率的一个或多个度量包括：所述未来用户输入事件将在特定的位置处发生的概率的度量；以及所述未来用户输入事件将在特定的时刻或时间帧发生的概率的度量。
98.如权利要求96所述的低等待时间触敏设备，其中，使用所述概率的一个或多个度量来确定要被高速缓存的数据。
99.如权利要求85所述的低等待时间触敏设备，其中，所述对象是指示笔。
100.如权利要求85所述的低等待时间触敏设备，其中，所述模型在所述设备中被存储为表。
101.如权利要求85所述的低等待时间触敏设备，其中，所述模型包括抬起阶段的模型。
102.如权利要求85所述的低等待时间触敏设备，其中，所述模型包括校正阶段的模型。
103.如权利要求85所述的低等待时间触敏设备，其中，所述模型包括落下阶段的模型。
104.如权利要求85所述的低等待时间触敏设备，其中，所述模型利用所述手指或对象的运动的速度变化。
105.一种低等待时间触敏设备，包括：
a.触摸传感器，所述触摸传感器能够感测手指或对象在触摸表面上方的位置，并且能够创建表示对所述电子设备的当前用户输入的数据；
b.存储器，所述存储器具有存储在所述存储器中的、来自所述触摸传感器的用户输入的模型；
c.处理器，所述处理器配置成：
i.将所述用户输入的模型应用于所述表示当前用户输入的数据，以便创建反映对未来用户输入事件的预测的数据；
ii.使用反映对所述未来用户输入事件的预测的数据来标识对于使所述设备或应用为至少一个特定的事件作好准备有用的数据；
iii.将对于使所述设备或应用为所述至少一个特定的事件作好准备有用的数据高速缓存在存储器中；以及，
iv.响应于所述所述预测的用户输入事件来检索对于使所述设备或应用为所述至少一个特定的时间有用的所述经高速缓存的数据，并且使用所述数据来实现至少状态变化。
106.一种低等待时间触敏设备，包括：
a.触摸传感器，所述触摸传感器能够感测手指或对象在触摸表面上方的位置，并且能够创建表示对所述电子设备的当前用户输入的数据；
b.存储器，所述存储器具有存储在所述存储器中的、来自所述触摸传感器的用户输入的模型；
c.处理器，所述处理器配置成：
i.将所述用户输入的模型应用于所述表示当前用户输入的数据，以便创建反映对未来用户输入事件的预测的数据；
ii.使用反映对所述未来用户输入事件的预测的数据来标识在与所述触摸传感器进行交互时的错误；
iii.校正所述所标识的错误。
107.如权利要求106所述的低等待时间触敏设备，其中，所述错误包括人为错误。
108.如权利要求106所述的低等待时间触敏设备，其中，所述人为错误包括在除所计划的位置之外的位置处触摸所述触摸传感器。
109.如权利要求106所述的低等待时间触敏设备，其中，所述错误包括假触摸。
110.一种低等待时间触敏设备，包括：
a.触摸传感器，所述触摸传感器能够感测手指或对象在触摸表面上方的位置，并且能够创建表示对所述电子设备的当前用户输入的数据；
b.存储器，所述存储器具有存储在所述存储器中的、来自所述触摸传感器的用户输入的模型；
c.处理器，所述处理器配置成：
i.将所述用户输入的模型应用于所述表示当前用户输入的所述数据，以便创建反映逼近的数据；
ii.使用所述反映所述逼近的数据来将接触区域映射至像素；
iii.使用所述接触区域至像素的映射来标识用户输入事件。
111.如权利要求110所述的低等待时间触敏设备，其中，所述处理器进一步配置成使用按压到屏幕中的手指的可能的形状来将接触区域映射至像素。
CN201480051211.6A 2013-09-18 2014-09-18 用于使用关于状态变化的信息来提供对用户输入的响应并预测未来用户输入的系统和方法 Pending CN105556438A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361879245P 2013-09-18 2013-09-18
US61/879,245 2013-09-18
US201361880887P 2013-09-21 2013-09-21
US61/880,887 2013-09-21
PCT/US2014/056361 WO2015042292A1 (en) 2013-09-18 2014-09-18 Systems and methods for providing response to user input using information about state changes predicting future user input

Publications (1)

Publication Number Publication Date
CN105556438A true CN105556438A (zh) 2016-05-04

Family

ID=52689400

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480051211.6A Pending CN105556438A (zh) 2013-09-18 2014-09-18 用于使用关于状态变化的信息来提供对用户输入的响应并预测未来用户输入的系统和方法

Country Status (12)

Country Link
US (1) US20150134572A1 (zh)
EP (1) EP3047360A4 (zh)
JP (1) JP2016534481A (zh)
KR (1) KR20160058117A (zh)
CN (1) CN105556438A (zh)
AU (1) AU2014323480A1 (zh)
BR (1) BR112016006090A2 (zh)
CA (1) CA2923436A1 (zh)
IL (1) IL244456A0 (zh)
MX (1) MX2016003408A (zh)
SG (1) SG11201601852SA (zh)
WO (1) WO2015042292A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108604142A (zh) * 2016-12-01 2018-09-28 华为技术有限公司 一种触屏设备操作方法及触屏设备
CN108604122A (zh) * 2016-05-10 2018-09-28 谷歌有限责任公司 在虚拟现实环境中使用预测动作的方法和装置
CN110325949A (zh) * 2016-12-29 2019-10-11 谷歌有限责任公司 用于预测触摸解释的多任务机器学习
CN114237382A (zh) * 2017-02-24 2022-03-25 英特尔公司 基于使用参数配置处理器的基本时钟频率

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9715282B2 (en) * 2013-03-29 2017-07-25 Microsoft Technology Licensing, Llc Closing, starting, and restarting applications
US9483134B2 (en) 2014-10-17 2016-11-01 Elwha Llc Systems and methods for actively resisting touch-induced motion
US20170123622A1 (en) * 2015-10-28 2017-05-04 Microsoft Technology Licensing, Llc Computing device having user-input accessory
US10552752B2 (en) * 2015-11-02 2020-02-04 Microsoft Technology Licensing, Llc Predictive controller for applications
EP3400505A1 (en) 2016-05-10 2018-11-14 Google LLC Volumetric virtual reality keyboard methods, user interface, and interactions
US9847079B2 (en) * 2016-05-10 2017-12-19 Google Llc Methods and apparatus to use predicted actions in virtual reality environments
US10732759B2 (en) 2016-06-30 2020-08-04 Microsoft Technology Licensing, Llc Pre-touch sensing for mobile interaction
US10061430B2 (en) * 2016-09-07 2018-08-28 Synaptics Incorporated Touch force estimation
GB201618288D0 (en) * 2016-10-28 2016-12-14 Remarkable As Interactive displays
EP3316186B1 (en) * 2016-10-31 2021-04-28 Nokia Technologies Oy Controlling display of data to a person via a display apparatus
US20180239509A1 (en) * 2017-02-20 2018-08-23 Microsoft Technology Licensing, Llc Pre-interaction context associated with gesture and touch interactions
WO2020045925A1 (en) * 2018-08-27 2020-03-05 Samsung Electronics Co., Ltd. Methods and systems for managing an electronic device
US11119621B2 (en) * 2018-09-11 2021-09-14 Microsoft Technology Licensing, Llc Computing device display management
US11717748B2 (en) * 2019-11-19 2023-08-08 Valve Corporation Latency compensation using machine-learned prediction of user input
US11354969B2 (en) * 2019-12-20 2022-06-07 Igt Touch input prediction using gesture input at gaming devices, and related devices, systems, and methods
KR20220004894A (ko) * 2020-07-03 2022-01-12 삼성전자주식회사 터치 입력의 디스플레이 출력 지연을 줄이는 디바이스 및 방법
KR20220093860A (ko) * 2020-12-28 2022-07-05 삼성전자주식회사 이미지 프레임 처리 방법 및 이를 지원하는 전자 장치
US11803255B2 (en) * 2021-06-01 2023-10-31 Microsoft Technology Licensing, Llc Digital marking prediction by posture

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1478248A (zh) * 2000-11-06 2004-02-25 Ħ��������˾ 利用输入装置的位置预存用户交互元素的方法
CN1820248A (zh) * 2003-06-28 2006-08-16 国际商业机器公司 具有推测执行的预测性图形用户界面
CN102246132A (zh) * 2008-12-11 2011-11-16 诺基亚公司 为使用触摸屏设备的绘画提供预测模型的方法和装置
CN102609130A (zh) * 2010-12-29 2012-07-25 微软公司 计算设备中的触摸事件预期
EP2634680A1 (en) * 2012-02-29 2013-09-04 BlackBerry Limited Graphical user interface interaction on a touch-sensitive device

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7379562B2 (en) * 2004-03-31 2008-05-27 Microsoft Corporation Determining connectedness and offset of 3D objects relative to an interactive surface
US20060244733A1 (en) * 2005-04-28 2006-11-02 Geaghan Bernard O Touch sensitive device and method using pre-touch information
US7567240B2 (en) * 2005-05-31 2009-07-28 3M Innovative Properties Company Detection of and compensation for stray capacitance in capacitive touch sensors
US20090243998A1 (en) * 2008-03-28 2009-10-01 Nokia Corporation Apparatus, method and computer program product for providing an input gesture indicator
CN102187305A (zh) * 2008-10-20 2011-09-14 3M创新有限公司 采用定制传感器和通用控制器的触摸系统和方法
US20100315266A1 (en) * 2009-06-15 2010-12-16 Microsoft Corporation Predictive interfaces with usability constraints
JP2011170834A (ja) * 2010-01-19 2011-09-01 Sony Corp 情報処理装置、操作予測方法及び操作予測プログラム
CN103034362B (zh) * 2011-09-30 2017-05-17 三星电子株式会社 移动终端中处理触摸输入的方法和设备
US10452188B2 (en) * 2012-01-13 2019-10-22 Microsoft Technology Licensing, Llc Predictive compensation for a latency of an input device
US8484573B1 (en) * 2012-05-23 2013-07-09 Google Inc. Predictive virtual keyboard
US9122351B2 (en) * 2013-03-15 2015-09-01 Verizon Patent And Licensing Inc. Apparatus for detecting proximity of object near a touchscreen

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1478248A (zh) * 2000-11-06 2004-02-25 Ħ��������˾ 利用输入装置的位置预存用户交互元素的方法
CN1820248A (zh) * 2003-06-28 2006-08-16 国际商业机器公司 具有推测执行的预测性图形用户界面
CN102246132A (zh) * 2008-12-11 2011-11-16 诺基亚公司 为使用触摸屏设备的绘画提供预测模型的方法和装置
CN102609130A (zh) * 2010-12-29 2012-07-25 微软公司 计算设备中的触摸事件预期
EP2634680A1 (en) * 2012-02-29 2013-09-04 BlackBerry Limited Graphical user interface interaction on a touch-sensitive device

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108604122A (zh) * 2016-05-10 2018-09-28 谷歌有限责任公司 在虚拟现实环境中使用预测动作的方法和装置
CN108604122B (zh) * 2016-05-10 2022-06-28 谷歌有限责任公司 在虚拟现实环境中使用预测动作的方法和装置
CN108604142A (zh) * 2016-12-01 2018-09-28 华为技术有限公司 一种触屏设备操作方法及触屏设备
CN108604142B (zh) * 2016-12-01 2021-05-18 华为技术有限公司 一种触屏设备操作方法及触屏设备
CN110325949A (zh) * 2016-12-29 2019-10-11 谷歌有限责任公司 用于预测触摸解释的多任务机器学习
CN114237382A (zh) * 2017-02-24 2022-03-25 英特尔公司 基于使用参数配置处理器的基本时钟频率
CN114237382B (zh) * 2017-02-24 2024-03-22 英特尔公司 基于使用参数配置处理器的基本时钟频率

Also Published As

Publication number Publication date
WO2015042292A1 (en) 2015-03-26
BR112016006090A2 (pt) 2017-08-01
KR20160058117A (ko) 2016-05-24
MX2016003408A (es) 2016-06-30
SG11201601852SA (en) 2016-04-28
EP3047360A1 (en) 2016-07-27
JP2016534481A (ja) 2016-11-04
IL244456A0 (en) 2016-04-21
AU2014323480A1 (en) 2016-04-07
CA2923436A1 (en) 2015-03-26
US20150134572A1 (en) 2015-05-14
EP3047360A4 (en) 2017-07-19

Similar Documents

Publication Publication Date Title
CN105556438A (zh) 用于使用关于状态变化的信息来提供对用户输入的响应并预测未来用户输入的系统和方法
US11829720B2 (en) Analysis and validation of language models
CN109117215B (zh) 自学习机器人过程自动化
CN106462354B (zh) 管理多个显示窗口的设备、方法和图形用户界面
US8959013B2 (en) Virtual keyboard for a non-tactile three dimensional user interface
US10282090B2 (en) Systems and methods for disambiguating intended user input at an onscreen keyboard using dual strike zones
CN103529942B (zh) 基于免接触的手势的输入
CN104137038B (zh) 具有手指鉴别的智能触摸屏键盘
CN105183211B (zh) 用于管理并行打开的软件应用的方法和相关设备
CN103314343B (zh) 使用手势控制键盘应用，例如移动设备上的键盘应用
US20120139857A1 (en) Gesture On Touch Sensitive Input Devices For Closing A Window Or An Application
CN103562820A (zh) 目标歧义消除和校正
CN113535055B (zh) 一种基于虚拟现实播放点读物的方法、设备及存储介质
US20200233523A1 (en) Sequential two-handed touch typing on a mobile device
CN105474164B (zh) 间接输入的歧义消除
CN107787478A (zh) 在用户界面显示器中选择内容项
WO2019134606A1 (zh) 终端的控制方法、装置、存储介质及电子设备
CN103547982A (zh) 利用空间和时间特征识别触摸传感器数据中的接触和接触属性
JP2013077180A (ja) 認識装置およびその制御方法
JP2014082605A (ja) 情報処理装置、その制御方法及びプログラム
Alavi A Framework for Optimal In-Air Gesture Recognition in Collaborative Environments
Machda et al. Designing a Big Screen Interaction Based on Smartphone Touch Gestures
Mäki-Kihniä Profiling soft biometric traits from a gesture-driven mobile game
Wigdor 57.4: Invited paper: The breadth—depth dichotomy: Opportunities and crises in expanding sensing capabilities
Wigdor The Breadth–Depth Dichotomy: Opportunities and Crises in Expanding Sensing Capabilities

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160504

WD01 Invention patent application deemed withdrawn after publication