CN105378639A - 用限定的交叉控制行为降低控件响应等待时间 - Google Patents

用限定的交叉控制行为降低控件响应等待时间 Download PDF

Info

Publication number
CN105378639A
CN105378639A CN201480039838.XA CN201480039838A CN105378639A CN 105378639 A CN105378639 A CN 105378639A CN 201480039838 A CN201480039838 A CN 201480039838A CN 105378639 A CN105378639 A CN 105378639A
Authority
CN
China
Prior art keywords
input
user
treatment
response
subsystem
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480039838.XA
Other languages
English (en)
Inventor
B·麦肯尼
C·福林斯
D·威格多
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tactual Labs Co
Original Assignee
Tactual Labs Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US14/046,819 external-priority patent/US9507500B2/en
Application filed by Tactual Labs Co filed Critical Tactual Labs Co
Publication of CN105378639A publication Critical patent/CN105378639A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Systems (AREA)

Abstract

一种用降低的控件响应等待时间来处理用户输入的系统包括输入设备、输入处理单元、高等待时间子系统、低等待时间子系统、用于产生信号的输入处理单元软件、以及输出设备。该低等待时间子系统接收该信号并产生低等待时间输出而该高等待时间子系统处理该信号并产生高等待时间输出。在实施例中，该信号包含限定的交叉控制行为的识别。

Description

用限定的交叉控制行为降低控件响应等待时间
此申请是非临时的且对2013年7月12号提交的美国临时专利申请No.61/845,879要求优先权。此申请是2013年10月4日提交的名为“HybridSystemsAndMethodsForLow-LatencyUserInputProcessingAndFeedback(用于低等待时间用户输入处理与反馈的混合系统和方法)”的美国专利申请no.14/046,819的部分继续申请。这些申请的全部公开内容通过引用结合于此。
此申请包括经受版权保护的材料。版权所有者不反对本专利公开的任何人作出的拓制，就像它出现在专利和商标局的文件或记录中的内容，但在其它情况下保留任何版权。
领域
本发明总体涉及用户输入的领域，尤其涉及使用限定的交叉控制行为来给予低等待时间用户体验的用户输入系统。
附图说明
如附图中所示，根据以下对实施例的更具体说明，本公开的上述和其它目的、特征以及优点将变得显而易见，在附图中，各个图中的附图标记指示相同部件。这些附图不一定按比例绘制，而是着重于说明所公开实施例的原理。
图1示出触摸用户界面中的拖动等待时间在100ms、50ms、10ms和1ms时的效果的演示。
图2示出收件箱的用户界面元件的示例，其中该元件具有对触摸用户交互的低等待时间、低保真响应以及对触摸用户交互的高等待时间、高保真响应。
图3示出滑动双态元件(toggleelement)的用户界面的示例。光标310(由含有“十字”字符的框所表示)可被拖动到目标320(第二个空框，在右边)以激活UI元件。使用提供触摸交互的低等待时间和高等待时间系统两者来启用此元件，其中加速了移动的元件310，因此提供低等待时间体验。
图4示出用于等待时间感知研究的原型(prototype)高性能触摸系统的基本架构的说明性实施例。
图5示出使用图4的原型设备的等待时间感知研究的结果。
图6示出按钮的用户界面元件的示例，其中该元件具有对触摸用户交互的低等待时间、低保真响应以及对触摸用户交互的高等待时间、高保真响应。
图7示出可变尺寸框的用户界面元件的示例，其中该元件具有对触摸用户交互的低等待时间、低保真响应以及对触摸用户交互的高等待时间、高保真响应。
图8示出滚动列表的用户界面元件的示例，其中该元件具有对触摸用户交互的低等待时间、低保真响应以及对触摸用户交互的高等待时间、高保真响应。
图9示出低等待时间输入设备的基本构架和信息流的说明性实施例。
图10示出用于音量控制的UI。当拖动滑动件时，工具提示(tooltip)出现，显示电流设置的数字表示。使用提供触摸交互的低等待时间和高等待时间系统两者来激活此元件，其中加速了移动的元件，因此提供低等待时间体验。
图11示出与本混合反馈用户界面系统中的笔输入的UI的实施例相比，现有技术系统中的笔输入的系统的响应。在此混合系统中，墨水笔划对笔输入有低等待时间响应，以及对笔用户输入有高等待时间响应。
图12示出本系统的实施例，其中数据流过经过系统的组件的两个重叠路径以支持高与低等待时间反馈。
图13示出本领域公知的编程范式，称为模型视图控制器(ModelViewController)。
图14示出系统的架构的实施例，该系统的架构支持开发和运行对用户输入有混合的高与低等待时间响应的应用。
图15示出描绘具有会话框的触摸用户界面的屏幕截图。
图16示出描绘具有开始新窗口和应用的按钮的触摸用户界面的屏幕截图。
具体实施方式
以下描述和附图是说明性的且不被解释为限制性的。描述数个特定细节以提供透彻的理解。然而，在某些情况中，没有描述公知的或常规的细节以避免使说明书模糊不清。本公开中对一个或一实施例的引用不一定引用同一实施例；而且，这种引用意味着至少一个。
在本说明书中对“一个实施例”或“一实施例”的引用表示结合该实施例描述的特定特征、结构或特性被包括在本公开的至少一个实施例中。在本说明书中的不同位置出现短语“在一个实施例中”不一定都是指同一个实施例，也不是指与其他实施例互相排斥的单独的或备选实施例。此外，描述了可由一些实施例呈现而不由其他实施例呈现的不同特征。类似地，描述了可以是一些实施例的要求而不是其他实施例的要求的不同要求。
此申请涉及具有低等待时间的直接操控用户界面，诸如在2013年10月4日提交的名为“HybridSystemsAndMethodsForLow-LatencyUserInputProcessingAndFeedback(用于低等待时间用户输入处理与反馈的混合系统和方法)”的美国专利申请No.14/046,819和在2012年10月5日提交的名为“HybridSystemsAndMethodsForLow-LatencyUserInputProcessingAndFeedback(用于低等待时间用户输入处理与反馈的混合系统和方法)”的美国专利申请No.61/710,256中所公开的。此申请还涉及在2013年3月15日提交的名为“Low-LatencyTouchSensitiveDevice(低等待时间触摸敏感设备)”的美国专利申请No.13/841,436、在2013年3月15日提交的名为“FastMulti-TouchStylus(快速多触摸触笔)”的美国专利申请No.61/798,948、在2013年3月15日提交的名为“FastMulti-TouchSensorWithUser-IdentificationTechniques(具有用户识别技术的快速多触摸传感器)”的美国专利申请No.61/799,035、在2013年3月15日提交的名为“FastMulti-TouchNoiseReduction(快速多触摸噪声减少)”的美国专利申请No.61/798,828和在2013年3月15日提交的名为“ActiveOpticalStylus(有效光触笔)”的美国专利申请No.61/798,708的公开内容。这些申请中的每一个的全部公开内容通过引用结合于此。
将在下文首先讨论等待时间和低等待时间用户输入处理的混合系统，然后跟随着用限定的交叉控制行为来降低控件响应等待时间的当前公开的系统和方法的说明。
等待时间和混合系统
本公开针对提供具有低等待时间的直接操控用户界面的系统和方法。伪“真实世界”对象的直接物理操控是针对很多类型的输入设备(诸如实现直接触摸输入、触笔输入、空中手势输入(in-airgestureinput)的那些输入设备)以及间接设备(包括鼠标、触控板(trackpad)、笔感应板(pentablet)等)所使用的普通用户界面隐喻。出于本公开的目的，用户界面中的等待时间涉及为用户呈现出对物理输入动作的响应所花费的时间。测试已表明用户偏爱低等待时间且用户确实能感知到低至5-10ms的等待时间，如将在下文更加详细地描述。
图1示出示例性触摸用户界面中的等待时间分别在100ms(附图标记110)、50ms(附图标记120)、10ms(附图标记130)和1ms(附图标记140)时的效果的演示。当拖动对象时，增加的等待时间被反映为用户的手指与正在被拖动的物体(在此情况中为正方形用户界面元件)之间增加的距离。如可观察到，等待时间的效果在100ms(附图标记110)和50ms(附图标记120)时显著，而在10ms(附图标记130)时变得逐渐较不显著，且实际上在1ms(附图标记140)时消失。图11示出等待时间在示例性触笔或笔用户界面(1110、1120)中的效果。在此示例中，滞后1120是可见的，作为触笔1100尖与所计算笔划1110之间的增加的距离。利用低等待时间系统的引入，触笔1100尖与所计算笔划1130之间的距离将显著减小。
名为“HybridSystemsAndMethodsForLow-LatencyUserInputProcessingAndFeedback(用于低等待时间用户输入处理与反馈的混合系统和方法)”的美国专利申请No.14/046,819中所公开的系统和方法提供混合触摸用户界面，该混合触摸用户界面提供具有小于10ms的等待时间的立即视觉反馈，与较高级的等待时间处的附加时间响应交织(inter-weave)或重叠。在一些实施例中，这两组响应的设计可被设计成在视觉上统一的，使得用户不能够区分它们。在一些实施例中，“低等待时间”响应可在等待时间上超过10ms。
用户输入设备和处理其输入的系统中的等待时间可具有许多来源，包括：捕捉触摸事件的物理传感器；处理触摸事件并为显示器产生输出的软件；显示器本身组件(包括总线)之间的数据传输；存储器存储或短暂缓冲器(buffer)中的数据内部存储；系统资源的中断与竞争；可引入等待时间的电路的其他来源；物理限制，诸如光速及其在电路构架中的反射(repercussion)；以及机械限制，诸如有阻力的触摸传感器弯曲回到其“中性”状态所需的时间。
可通过改进这些组件中的一个或多个中的等待时间来降低系统等待时间。在实施例中，当前公开的系统和方法提供一种输入设备，该输入设备可通过将低等待时间输入传感器与具有专用处理系统的显示器结合来获得1ms或更低的等待时间。在实施例中，当前公开的系统和方法提供一种输入设备，该输入设备可通过将低等待时间输入传感器与具有专用处理系统的显示器结合来获得5ms或更低的等待时间。在进一步实施例中，当前公开的系统和方法提供一种输入设备，该输入设备可通过将低等待时间输入传感器与具有专用处理系统的显示器结合来获得0.1ms或更低的等待时间。在进一步实施例中，当前公开的系统和方法提供一种输入设备，该输入设备可通过将这种低等待时间输入传感器与具有专用处理系统的显示器结合来获得10ms或更低的等待时间。在实施例中，为了获得这种极低的等待时间，当前公开的系统和方法可用专用的定制编程的现场可编程门阵列(FPGA)或专用集成电路(ASIC)来替换常规的操作系统(OS)和计算硬件。在实施例中，FPGA或ASIC替换常规的OS和计算硬件以提供低等待时间响应，同时将传统的OS和计算硬件保留在位以提供较高的等待时间响应(在除了低等待时间响应的另外情况中使用)。在另一实施例中，可通过将附加的逻辑集成到现有组件(诸如但不限于图形处理单元(GPU)、输入设备控制器、中央处理器(CPU)或芯片上的系统(SoC))中来替换所描述的FPGA或ASIC的功能中的一些或全部。可将低等待时间逻辑编码在硬件中或在由那些组件或其他组件所储存和/或执行的软件中。在需要多种组件的实施例中，可通过使用共享的存储器来帮助通信和/或同步化。在这些实施例的任何一个中，以高或低等待时间提供的响应可被混合在一起，或者响应于任何给定输入事件，可仅提供高等待时间或低等待时间。
在不同的实施例中，所公开的系统和方法提供的在本文中被称为“混合反馈”。在混合反馈系统中，对输入的基本系统响应中的一些在逻辑上与较宽泛的应用逻辑分开。此结果提供具有灵敏输入处理器的系统，能够对用户输入事件提供几乎立即的系统反馈，基于以传统水平的等待时间所提供的应用逻辑具有更多的反馈。在一些实施例中，在视觉上提供了这些系统响应。在不同的实施例中，可通过音频或震动触觉反馈来提供混合反馈系统的低等待时间组件。在一些实施例中，可在与应用逻辑反馈相同的模态中提供几乎立即的反馈。在一些实施例中，可在不同的模态或多个模态中提供低等待时间反馈。图2中示出了全视觉实施例的示例，在此情况中示出触摸输入设备的使用。具体地，图2示出在用户触摸然后拖动表示收件箱的图标210后的结果。当用户触摸图标210时，可显示边框220或其他适当的基元(primitive)。在实施例中，在全视觉低等待时间反馈中，由于其容易渲染，可选择适当的低等待时间表示。在实施例中，可使用可提供适当低等待时间表示的一个或多个基元来提供低等待时间反馈。在实施例中，如果用户在触摸显示器200上将图标拖动到另一个地方，则显示低保真边界230且可用例如1ms的低等待时间来操控(例如，移动)低保真边界230。同时地，可用较高的等待时间来示出图标210的移动。在实施例中，用户可感知到几乎立即的低等待时间响应与可能较慢的应用逻辑反馈之间在响应中的差异。在另一实施例中，低等待时间与传统响应之间在响应中的此差异被混合且对于用户是较不容易看见的或不可容易看见的。在实施例中，与传统路径应用逻辑反馈相比，可以以较低的等待时间提供几乎立即的反馈。在实施例中，至少在一些情况中，与应用逻辑反馈相比，可以以类似的或甚至较高的保真度提供低等待时间响应。在实施例中，低等待时间几乎立即的反馈的形式由应用逻辑所规定，或者由存在于系统软件(诸如用户界面工具箱)中的逻辑所规定。例如，在实施例中，应用逻辑可预渲染多种图形基元，然后低等待时间子系统可使用该图形基元。类似地，在实施例中，软件工具箱可提供开发图形基元的工具，可在低等待时间系统需要之前渲染图形基元。在实施例中，可预先确定低等待时间响应，或者在其他情况下不考虑应用和/或系统软件逻辑来确定低等待时间响应。在实施例中，单个预渲染或部分渲染的低等待时间响应，或预渲染或部分渲染的低等待时间响应可被预加载到存储器中以便被需要用来响应于用户输入事件之前可被低等待时间子系统访问。
在实施例中，低等待时间输出的模态可以是音频的。在实施例中，例如，可使用低等待时间系统以向音频输出系统快速发送麦克风输入，可为用户提供说出到系统的用户自己声音的“回声”。这样的低等待时间输出可提供具有与传统模拟电话相同类型的回声特征的效果，允许用户听见它们自己的声音。在实施例中，响应于用户输入事件(例如，触摸、手势、笔输入或口头输入)，可提供低等待时间音频反馈，如果在视觉上则具有较高的等待时间响应。
在图3中示出采用本方法和系统的系统的另一说明性实施例。在该说明性实施例中，光标310(由含有“十字”字符的框表示)可被拖动到设备的屏幕300上的任何地方。当光标310被拖动到目标框320时，接受UI动作。如果光标310被拖动到屏幕300上的其他地方，则拒绝该动作。在实施例中，当被拖动时，用低等待时间拖拽光标310，因此该光标310跟踪用户的手指而没有可感知的等待时间。在实施例中，可用较高的等待时间拖拽目标320而不影响用户感知。类似地，在实施例中，“拒绝”或“接受”的响应330随后可容易感知地发生，因此可以以较高的等待时间来拖拽(例如，不使用低等待时间子系统)而不影响用户感知。
应该理解到，图示的实施例是示例性的。图3中示出的原理可被应用到任意种类的UI元件，包括本领域中现今已知的或以后开发的所有UI元件。类似地，基本上可在不同类型的输入设备和/或输出设备上与任意种类的输入事件一起使用图3中示出的原理。例如，在实施例中，除了如上所述的“触摸”事件之外，输入事件可包括而不限于，空中或表面上手势、语言、故意的(或非故意的)眼睛运动、以及笔。在实施例中，一旦发生手势，任何UI元件的响应就可分为两部分，其中，低等待时间响应(例如，UI元件的低等待时间表示被表示且快速地响应，例如，在0.01ms内)，以及用由系统所普通呈现的等待时间提供非低等待时间响应(例如，UI元件的进一步细化表示)，该系统不提供加速的输入。在实施例中，在混合系统中可不分离响应，响应代替地可以是完全低等待时间，而另外用较高的等待时间执行不负责低等待时间响应的应用逻辑。
在实施例中，可使用多种技术来获得触摸和/或手势输入事件，包括而不限于：阻式、直接照明、受抑(frustrated)全内反射、漫射照明、投射电容、电容耦合、声波、以及像素传感器。在实施例中，可使用阻式、视觉的、电容的、磁的、红外的、光成像、色散信号、声脉冲或其他技术来实现笔输入。在实施例中，也可使用视觉传感器或手持物体(包括含有传感器的那些和仅用于跟踪的那些)或者诸如用2D和3D传感器之类的不需要手持的物体来实现手势输入。也预期用于识别输入事件的传感器或技术的组合，如作为事件类型(即，触摸、笔、手势、视网膜运动等)的组合。识别或捕捉输入事件的技术共有的一个属性是它们有助于用户动作与系统对动作的响应之间的等待时间。此贡献的衡量随着技术和实施而变化。
在典型的多触摸系统中，在输入设备与可包括通信的显示器、操作系统、UI工具箱、应用层和/或最终的音频或图形控制器之间存在信息流的路径，这些中的每一个可增加等待时间。此外，由操作系统，尤其是非实时操作系统所引入的等待时间是可变的。Windows、iOS、OSX、Android等不是实时操作系统，因此使用这些操作系统，不保证响应将在某一时期内发生。例如，如果大量地加载处理器，那么等待时间可急剧增加。此外，一些操作在软件栈中非常低的级别处被处理且具有高优先级。例如，通常高度优化鼠标指针从而即使当处理器处于大量负载下时，感知的负载也相对较低。相比之下，诸如在触摸或手势系统上用两个手指调制照片大小之类的操作通常是更加计算密集的，因为它需要在应用和/或UI工具箱等级处持续改变图像尺寸。因此，当处理器处于大量负载下时，这样的操作几乎不能够具有低感知的等待时间。
在典型的多触摸系统中，显示器系统(包括图像系统以及显示器本身)也可贡献等待时间。具有高帧速率的系统可使经过该系统的实际等待时间不明显。例如，60Hz监视器可包括一帧或多帧的缓冲器以允许复杂的图像处理效果。类似地，诸如投影仪之类的一些显示器设备在电子设备中包含双缓冲，实际上加倍显示器等待时间。对3D电视和降低的运动伪像的期望推动较快LCD的发展，然而，液晶本身的物理性质不大可能使传统LCD的性能超过480Hz。在实施例中，本文中所述的低等待时间系统可使用LCD显示器。与LCD显示器的性能相反，OLED或AMOLED显示器能够良好地有1ms以下的响应时间。因此，在实施例中，本文中所述的高性能触摸(或手势)系统可被实现在具有快速响应时间的显示器上，包括而不限于，基于以下技术中的一个或多个的显示器：OLED、AMOLED、等离子体、电湿润、彩色场序(color-field-sequential)LCD、光学补偿弯曲模式(OCB或Pi-Cell)LCD、电子墨水等。
等待时间感知研究
着手一些研究以确定用户将直接触摸界面中什么程度的等待时间感知为基本上同时发生的。图4中的框图所表示的原型设备示出原型高性能触摸系统400的基本构架的说明性实施例。在实施例中，高速输入设备420是多触摸阻式触摸传感器，其具有24cmx16cm的有效区域和允许非常高速操作的电子设备。经过此传感器的延迟微微小于1ms。在实施例中，可在光链路上连续地发送触摸数据。
在说明性测试系统中，显示器460是基于德州仪器的数字光处理技术的DLP显像4100套件(DLPDiscovery4100kit)。说明性测试系统在触摸传感器上利用前投影，因此消除可扰乱手指与图像对准的用户感知的视差。所采用DLP投影仪使用数字微镜设备(DMD)，即以非常高的速度有效地接通和断开像素的镜子矩阵。镜子的高速可被用于改变接通相对于断开的时间百分比以创建连续的彩色图像的表现。在实施例中，其中仅使用了简单的二值图像，可以以更高的速率来产生这些图像。在说明性测试系统中，投影仪开发系统用低于40μs的等待时间以1024x768分辨率显示32000个二值帧/秒。在为了获得此速度的说明性测试系统中，视频数据以25.6Gbps流向DMD。
在说明性测试系统中，为了获得最小的等待时间，所有触摸处理被执行在专用的FPGA440上，在触摸输入与低等待时间输出的显示器之间没有采用PC或操作系统。DLP套件的板载XC5VLX50应用FPGA可被用于处理触摸数据并渲染视频输出。与FPGA串联的USB允许参数被动态地改变。在说明性测试系统中，可用1ms分辨率将等待时间从1ms调节到数百ms。可获得不同的测试模式，且端口允许收集触摸数据以供分析。
在说明性测试实施例中，为了从传感器420接收触摸数据，系统通过定制高速UART通信。为了最小化等待时间，可使用2Mbps的波特率，这表示可使用的高波特率而不会由于通信信道上的高频噪声损失信号完整性。在说明性测试系统中，然后由实现在FPGA440上的触摸检测有限状态机来处理压缩的触摸数据的各个字节。有限状态机(FSM)同时地对数据解码并执行质心团块检测(blob-detection)算法以识别触摸的坐标。在说明性测试系统中，系统是流水式的使得FSM的每次迭代运行在上一次接收的字节上从而不发生触摸数据的缓冲。
在说明性测试系统中，触摸坐标然后被发送到10阶段可变延迟块。每个延迟阶段是具有计数器的简单FSM并采用指示时钟周期的数量的控制信号以使触摸坐标延迟，允许不同等级的等待时间。延迟块在迭代的开始处闭锁触摸样本且在发送样本并锁闭下一个样本之前等待适当数量的周期。延迟块因此通过延迟计数的系数降低了样本速率。在实施例中，为了将样本速率保持在合理的等级处，可使用10个延迟阶段，从而使得，例如，为了获得100ms的等待时间，对于100Hz的样本速率，块在样本之间等待10ms。在说明性测试系统中，为了运行基本的应用，MicroBlaze软处理器被用于渲染显示器。
在实施例中，测试系统可使用硬编码控制FSM来代替MicroBlaze以便改进性能。在实施例中，可使用另一个软处理器。在说明性测试系统中，MicroBlaze是32位哈佛构架RISC处理器，其被优化为合成在XilinxFPGA中。MicroBlaze软处理器实例化允许仅所需的核、外围设备和存储器结构的选择。在说明性测试系统中，除了基础MicroBlaze配置之外，可使用中断控制器，例如用于触摸数据的多个GPIO、设置可变等待时间的GPIO、用于图像缓冲的BRAM存储器控制器、以及与PC通信的UART单元。在说明性测试系统中，以100MHz来时钟控制MicroBlaze。MicroBlaze使用中断系统来检测有效的触摸坐标。当触摸数据从延迟块到达GPIO时，产生触摸准备中断事件，并且对应的图像被写入图像缓冲器。由于基于中断的系统的非一致性质，不可计算准确的等待时间，但通过设计，与归因于输入设备的1ms等待时间相比，这是无关紧要的。
在说明性测试系统中，图像缓冲器被合成在芯片上的BRAM块中。这些块可提供双端口高速可配置的存储器缓冲器，其具有足够的带宽以支持高帧速率显示。在说明性测试系统中，对于25.6Gbps的总带宽，用128位的总线宽度以200MHz来时钟控制图像缓冲器，如DLP所需。最后，DMD控制器从图像缓冲器连续地读出帧并产生具有适当定时的信号以控制DMD。
在说明性测试系统中，用户输入被同时地发送到传统的PC并被处理以产生传统的较高等待时间响应。此较高等待时间响应被传统的数据投影仪输出，且被对齐以与投射的较低等待时间响应重叠。
进行了一些研究以确定当在触摸屏界面上执行普通任务时用户能够感知的表现的精确等级。为此目的，进行了一些研究以确定不同表现等级的刚好可注意到的差异(JND)。JND是可由观察者检测到的刺激的两个等级之间差异的度量。在此情况下，JND被定义为参与者能够在两个不等的刺激之间作出区分的阈值等级，一个刺激始终表现在同一等级，称为参考，而一个刺激的值在整个实验期间动态变化，称为探查(probe)。针对某一任意参考值处的JND的一般接收值是参与者可在75％的时间正确地识别参考的探查。不能与参考区分的探查值且具有此准确度等级的探查值被认为是与参考没有显著差异的。
进行了一些研究以当与用作参考的1ms的等待时间的最大表现相比时确定探查等待时间的JND等级。尽管这种确定不提供最大可感知表现的绝对值，但它可用作我们的“最好情况”下限条件，假定它是我们的原型可获得的最快速度，对照该条件可测量等待时间的其他等级。发现参与者能够分辨显著较低(<20ms)的等待时间值，典型的电流产生硬件(例如，电流平板和触摸计算机)提供显著较低的等待时间值(～50-200ms)。
从本地社区招募十位用右手的参与者(3位女性)。年龄范围在24和40之间(平均27.80，标准差4.73)。所有的参与者有过触摸屏设备的在先经验，且所有的参与者拥有一个或多个触摸设备(诸如基于iOS或Android的电话或平板)。参与者被重复地呈现多对等待时间条件：参考值(1ms)和探查(在1和65ms的等待时间之间)。参与者在触摸屏显示器上从左向右拖动他们的手指，然后从右向左。尽管任何拖动任务是适当的，但左/右运动降低高等待时间情况中的阻塞。参与者被请求在两个方向上移动以确保他们不“匆忙做完”此研究。在用户的触点之下，系统渲染了实线白色2cm×2cm正方形，如图1所示。留给参与者来决定运动的速度。对于每对随机化条件的顺序。此研究被设计成双项必选实验；指示参与者在每次试验内选择哪个情况是参考(1ms)值且不允许作出“不知道”或“不确定”选择。在每对之后，参与者告知实验者两个中的哪一个“更快”。
为了使每次试验收敛在75％的期望JND等级处，根据自适应阶梯算法来控制增加的等待时间的量。对参考值的每一次正确识别导致探查中的等待时间的量减小，而每次不正确的响应导致探查的等待时间增加。为了达到75％置信度等级，增加与减小遵循由Kaernbach所描述的简单加权的自上而下方法(Kaernbach,C.1991.知觉&心理物理学49,227-229)，其中增加具有施加到基础步长的三倍乘数，而减小是基础步长(最初8ms)。
当参与者在正确响应之后不正确地响应时，或者在不正确响应之后正确地响应时，这被称为反转，因为它导致阶梯(增加或减小)的方向反转。步长，最初8ms，在每次反转时二等分，直到1ms的最小步长。这继续直到总共10个反转发生为止，结果是收敛到75％正确性。每个参与者完成八个阶梯“运行”。这些中的四个起始于最小探查等待时间(1ms)而另外四个于最大(65ms)。选择阶梯的较高起始值，因为它与商业提供的粗略地相符，且因为引导(pilot)测试使得该值与1ms参考以接近100％准确度来清楚地区分，避免天花板效应。可在交织的对中一次运行两个阶梯以防止响应偏差，该响应偏差是由参与者在连续刺激之间跟踪他们的进展的能力导致的。为这些对中的每一对随机地选择阶梯条件而没有来自概率的替代(2起始等级×4重复)。每个参与者在单个1小时时间内完成整个实验，包括阶梯之间的休息。
此研究被设计成针对大于1ms的等待时间值找到刚好可注意到的差异(JND)等级。此JND等级一般被约定为参与者能够在75％的时间正确识别参考的等级。参与者JND等级范围从2.38ms到11.36ms，对于所有参与者有6.04ms的平均JND(标准差4.33ms)。对于每个参与者，JND等级在阶梯的8次运行上没有显著地变化。图5中呈现每个参与者的结果。
此结果示出参与者能够分辨远远低于消费者设备的典型阈值(50-200ms)的等待时间的差异。注意到，参与者很可能经常通过当手指在触摸屏上移动时估计屏幕上对象与他们的手指之间的距离来确定等待时间；这是在UI中使用的输入基元的伪像(具体地，拖动)。测试不同的输入基元(轻触(tapping)，例如)将呈现等待时间的不同感知。结果证实触摸设备的用户将注意到并感激等待时间的数量级改进。
低等待时间直接触摸输入设备的构架
在实施例中，倘若低等待时间系统存在，软件界面可被设计成使应用开发者能够继续使用基于工具箱的应用设计过程，而且使那些工具箱能够以极低的等待时间提供反馈。在实施例中，本公开所概括的系统和方法可被实现在UI开发的模型视图控制器(“MVC”)模型上，很多UI工具箱是基于该模型的。MVC允许应用逻辑与应用的视觉表示分开。在实施例中，MVC可包括该应用的第二个重叠的实际视图。具体地，在实施例中，触摸输入从UI控件接收立即响应，该立即响应部分地基于作出触摸的时刻处该应用的状态。目标是提供与底层应用前后联系的几乎立即的响应。
在对触摸的应用无关的视觉响应上的先前工作是甚至与UI的视觉元件完全分开的，增加视觉复杂性。在实施例中，根据本文中所概括的系统和方法，一组视觉响应更加完整地集成到UI元件本身中以减少视觉复杂性。因此，在实施例中，其中示出的特定视件(visual)为触摸提供实际“鼠标指针”，目标是将高性能响应集成到控件本身(即，屏幕上内容被“触摸”、“操控”等)中，提供更加统一的可视化。依然在实施例中，系统和方法通过低等待时间子系统允许前后无关的响应的渲染，该前后无关的响应随后与来自高等待时间子系统的响应融合。在实施例中，不需要在与剩余的系统的响应相同的渲染管道中表示视件。相反，除了由传统系统所产生的较高等待时间响应之外，利用如本文中所讨论的混合反馈的系统或方法可对用户输入表现较低的等待时间响应。
因此，在实施例中，设计加速的输入交互从而使得传统的直接触摸软件如同它一般具有高等待时间响应那样运行，同时以较低的等待时间提供针对UI元件定制的一组附加的反馈；具有用户感知不到的等待时间的目标。在实施例中，通过叠加两个或多个图像来组合这两层。在实施例中，两个组合的图像可包括来自低等待时间触摸设备的一个投射图像，和来自与桌面计算机连接的传统投影仪的第二图像，该桌面计算机运行定制的触摸软件并从低等待时间子系统接收输入。
以上所述的两个投影仪解决方案仅仅表示用作将低等待时间响应与传统响应组合的更通用思想的一个特定实施例。在实施例中，来自低等待时间与高等待时间子系统的视觉输出在被发送到显示器之前在系统中的显示器缓冲器或其他地方中逻辑地组合。在实施例中，透明的重叠的显示向用户呈现低等待时间与高等待时间输出。在实施例中，使显示器的像素交错(interlace)从而使得一些像素由低等待时间子系统来控制，一些像素由高等待时间子系统来控制；由于交错，这些显示可对用户表现为重叠。在实施例中，使显示器上呈现的帧交错从而使得一些帧由低等待时间子系统来控制，一些帧由高等待时间子系统来控制；由于帧交错，显示可对用户表现为含有组合的图像。在实施例中，可在硬件中主要地或完全地产生低等待时间响应。在实施例中，可从输入传感器直接接收的输入传感器数据来产生低等待时间响应。在实施例中，由至显示器硬件的高带宽链路来显示低等待时间响应。
在为低等待时间子系统设计用户界面中，可考虑以下约束中的一个或多个：
●信息：高等待时间子系统用来形成系统对输入的响应所需要的任何信息或处理将必然具有高等待时间，除非例如预先渲染或预先供给了这种信息或处理。
●性能：以低等待时间形成响应所允许的时间必然受限。即使利用硬件加速，也必须谨慎地性能驱动响应的设计以保证响应满足期望的低等待时间。
●保真度：所渲染的低等待时间图像的保真度可与较高等待时间渲染(实际上，它被高等待时间系统预渲染)难以区分；附加的约束可被设置在保真度上以改善性能，诸如例如，视件仅仅是单色的，和/或对视觉基元进行限制，和/或限制音频或触觉响应的持续时间或特性。可由系统的不同元件来引入此类型的约束，包括加速硬件或由输出硬件(诸如显示器、触摸输出设备、或扬声器)。
●无干扰：在响应是混杂组合的实施例中，可在低等待时间层中产生应用的响应中的一些，在高等待时间层中产生一些，考量可以是怎样混合这两者，例如，为了向用户的输入提供无缝响应。在实施例中，低等待时间响应不干扰任何可能的应用响应，这必然将在随后发生。在实施例中，在低等待时间响应与传统响应之间可发生干扰，但此干扰可通过设计或通过响应的混合来处理。
在实施例中，进行设计过程以创建一组视觉UI控件，具有对触摸有区别的低等待时间与高等待时间视觉响应。寻求将实现两层响应之间的无缝转变的隐喻。这些可视化包括诸如对象位置和状态之类的信息。使用上述约束基于可行性来精选设计。类似于在军用飞行器中使用的可视化，这种实施例的最终设计基于抬头(heads-up)显示器(HUD)隐喻。HUD是合适的，因为传统的HUD在几何学上是简单的，并且它相对容易地以真实保真度实现几何上简单的显示器。HUD表示组合的两个视觉层的仅一个示例，然而在很多HUD中，计算机化的显示被叠加在视频或“真实世界”本身上。因此，HUD通常被设计成无干扰的。
基于HUD隐喻，为在很多直接触摸系统中发现的一组UI元件开发了一组示例性的触摸事件和UI元件特定的低等待时间层可视化。这些示例性元件是既普通又有代表性的；他们的交互(轻触、拖动、两手指收聚(pinching))覆盖在电流直接触摸设备中使用的大多数交互空间。在这样的实施例中开发的低等待时间响应在表1中描述，并且它们在图6-8中示出。
表1：针对每个元件和触摸事件的加速视件，补偿对触摸输入的标准高等待时间响应。
这三个元件表示针对触摸输入的标准UI工具箱的广泛使用范围。最高阶UI元件由这些较简单的元件组成(例如单选按钮(radiobutton)和复选框(checkbox)都是“按钮”，滚动条是具有受限平移和旋转的“滚动/可变尺寸件”)。本文中所述的加速的输入系统和方法依赖于以两个明显不同的等待时间等级工作的视件的结合；此等待时间差异已被纳入低等待时间可视化的设计中。在实施例中，可通知用户两个系统的状态，当各视觉层取得对齐时具有相关的同步性。在实施例中，用户能够在系统反馈的高与低等待时间部分之间作出区分。在实施例中，以在低等待时间响应与传统响应之间提供不明显差别的方式来混合视觉元件。
在实施例中，应用开发者利用工具箱经由组建GUI控件的一般过程来建立他们的应用。在执行后，UI元件将它们的可视化分为在单个显示器上渲染且重叠的高与低等待时间可视化两部分。如在图9中示出通过这种系统的信息流的实施例。信息从输入设备910流到系统中且由输入处理单元(IPU)920首先处理，经由IPU软件工具箱930来编程。然后由两个子系统(低等待时间低保真度子系统940和高等待时间子系统950(诸如例如在常规软件栈中运行的常规软件))平行地处理UI事件。在实施例中，可在硬件(诸如图4的FPGA440)中实现低等待时间低保真度子系统940。
在此实施例中描述的分为两部分创建了基本的通信问题，其中必须在用户开始给予输入之前限定由应用逻辑所需的低等待时间子系统940所提供的初始响应的参数化。需要在由应用进行表示的时刻处理的任何响应将引入低等待时间系统940对高等待时间系统950的依赖性，因此可将滞后引入回到系统中。在实施例中，低等待时间系统940对输入的响应的随后阶段可依赖于高等待时间子系统950。在实施例中，管理低等待时间系统940对输入的响应的随后阶段对于高等待时间子系统950的依赖性从而使得该依赖性不引入附加的等待时间。在实施例中，将完全避免该依赖性。
在实施例中，UI元件逻辑可被建立到低等待时间子系统中。在用户输入之间，在高等待时间子系统950中执行的应用有机会为UI元件的低等待时间子系统940的模型提供参数。因此，在实施例中，可通过提供为低等待时间反馈负责的单独控制器来扩展UI软件设计的MVC模型。在实施例中，在软件设计中，可针对每种控件指定以下中的一个或多个：
●元件类型(例如，按钮、可拖动对象、滚动列表等)。
●边界尺寸(例如，x位置、y位置、宽度、高度等)。
●有条件的：附加的基元信息(例如，滚动列表的情况中的列表项的尺寸等)。
在实施例中，给定元件类型对触摸输入的响应的逻辑被储存在低等待时间子系统940中。可用同样的方式来传递低等待时间子系统对用户输入的响应的进一步参数化，允许更大程度的定制。在实施例中，处理传感器数据以产生事件(或输入流的其他处理形式)，该事件然后被单独分配到低等待时间子系统和高等待时间子系统950。可对低等待时间子系统940和高等待时间子系统950以不同速率产生事件，因为低等待时间子系统能够比高等待时间子系统更快地处理事件，且以高速率向高等待时间子系统发送事件可压垮该子系统。低等待时间与高等待时间子系统对用户输入的响应因此是独立的但协调的。在实施例中，一个子系统担当“主控器”，在用户输入之间设置另一个子系统的状态。在实施例中，低等待时间与高等待时间子系统之间的关系包括两个子系统之间的同步性。在实施例中，低等待时间与高等待时间子系统之间的关系包括高等待时间子系统为低等待时间子系统卸载处理的能力。在实施例中，低等待时间与高等待时间子系统之间的关系包括低等待时间子系统940降低减少其处理负载和/或利用高等待时间子系统950来预处理或预渲染的能力。在实施例中，第二图形处理和输出系统的响应依赖于第一图形处理和输出系统，并且状态信息从第一图形处理和输出系统传递到第二图形处理和输出系统在这种实施例中，从第一图形处理和输出系统传递到第二图形处理和输出系统的信息由一片或多片数据组成，该一片或多片数据描述了用户界面中的一个或多个图形元件。例如，此数据可以是用户界面中的图形元件的尺寸、位置、外观、可选的外观、对用户输入的响应、以及类型。从第一图形处理和输出系统传递到第二图形处理和输出系统的数据可被储存在第二图形处理和输出系统可用的高速存储器中。传递的数据可描述按钮、滑动件、可拖动和/或可变尺寸GUI元件、滚动列表、旋转件、下拉列表、菜单、工具条、组合框、可移动图标、固定图标、树状图、网格视图、滚动条、滚动窗或用户界面元件的外观和/或行为。
在实施例中，在用户输入信号被第一或第二图形处理和输出系统中的一个或两者接收之前，输入处理系统在用户输入信号上执行抽取(decimation)。基于从第一图形处理和输出系统发送的关于用户界面的信息从全部输入信号组中选择抽取的输入信号或未抽取的信号。可通过将输入信号组在逻辑上组合成较小的输入信号组来执行输入信号的抽取。可通过窗口求平均值来执行输入信号的逻辑组合。当减小输入信号组的尺寸时，该抽取考虑用户输入信号的时间。可通过加权求平均值来执行输入信号的逻辑组合。在实施例中，已经有区别地处理了由第一和第二图形处理和输出系统接收的用户输入信号。
在实施例中，高等待时间和低等待时间层之间的通信可以是重要的。以下说明在确定高与低等待时间子系统怎样保持同步化中要考虑的一些重点：
●等待时间差异：低等待时间响应可使用关于高与低等待时间层之间的等待时间差异的信息以使响应同步。在实施例中，这些等待时间值是静态的，且因此被预编程到FPGA中。在等待时间等级可在任一子系统中变化的实施例中，可有利地将等待时间等级固定在始终可达到的常数，而不是具有可变得不同步的动态值，或者有利地提供明确的同步化机制。在等待时间等级可在任一子系统中变化的实施例中，可使用动态值，然而应该当心避免变得不同步。在等待等级可在任一子系统中变化的实施例中，可在子系统940、950之间提供明确的同步化机制。
●点击测试：点击测试决定通常以关于可见UI元件的视觉层次和属性的数据为条件。在实施例中，可通过不允许边界矩形重叠、要求UI的平面“点击测试友好的”映射来解决此考虑。在实施例中，单独的点击测试可为低等待时间子系统提供必要的信息(对象状态、z顺序、和收听站)。在实施例中，低等待时间与高等待时间子系统可并列地进行点击测试。在实施例中，低等待时间子系统进行点击测试，并且向高等待时间子系统提供结果。
●条件响应：很多界面可视化不仅以立即用户输入为条件，而且以应用逻辑中所限定的进一步作出决定逻辑为条件。
条件响应逻辑的两个说明性示例如下：考虑信用卡购买提交按钮，其被编程为当按压时禁用(为了防止双重记账)，而且仅基于输入表单的数据的有效性。在这种情况中，按钮的行为不仅依赖于立即用户交互，而是进一步以附加的信息和处理为条件。还考虑关联的可视化，诸如图10中示出的一个。在此情况中，不仅由用户操控的UI元件1010，而且还由第二UI元件1020来为用户提供反馈。这些示例可被直接编程到低等待时间子系统中。
在实施例中，高与低等待时间子系统之间的划分可与任意用户界面元素无关。实际上，子系统之间责任的划分可基于任意数量的因素来定制，且仍有可能存在于缺乏用户界面工具箱的系统中，或者包括使用和不使用可能获得的UI工具箱两者来开发应用的机制的系统中。在实施例中，可在子系统运行时动态地改变两个子系统之间的责任的划分。在实施例中，UI工具箱自身可被包括在低等待时间子系统内。可用数个方式来向应用开发者提供定制响应的能力而不脱离本文所述的系统和方法。在实施例中，响应可被定制为要在UI控件中调节的参数。在实施例中，可在低等待子系统中本身执行的代码中，或者在另一个高或低等待时间组件中，通过允许向低等待时间子系统直接提供指令的能力来定制响应。在实施例中，例如在运行时间，可使用由应用代码所产生的数据来设置低等待时间子系统的状态。
尽管以上所述的示例是在触摸输入的情况下提供的，但预期其他的实施例，包括但不限于，笔输入、鼠标输入、间接触摸输入(例如，触控板)、空中手势输入、口头输入和/或其他输入模态。所述的架构同等地可应用到任何种类的用户输入事件，包括但不限于混合的输入事件(即支持来自超过一个模态的输入)。在实施例中，混合输入设备可导致产生相同数量的事件以便被低和高等待时间子系统中的每一个处理。在实施例中，将以所产生的事件的数量来区别混合输入设备，如此例如，触摸输入可比笔输入具有较少的事件。在实施例中，每个输入模态包含其自己的低等待时间子系统。在实施例中，在包含针对多个输入模态的多个低等待时间子系统的系统中，各子系统可通信以协调他们的响应。在实施例中，在包含针对多个输入模态的多个低等待时间子系统的系统中，多个子系统可共享公共存储器区域以实现协调。
输入处理
在本发明的实施例中，来自输入硬件的低等待时间输入数据被最小程度地处理为快速的输入事件流。此事件流被直接发送到低等待时间子系统以便进一步处理。然后在事件流被发送到高等待时间子系统之前，可删除来自这同一流的事件，或者可缩减或过滤该流。可对低等待时间子系统940和高等待时间子系统950以不同速率产生事件，因为低等待时间子系统能够比高等待时间子系统更快地处理事件，且以高速率向高等待时间子系统发送事件可压垮该子系统。低等待时间与高等待时间子系统对用户输入的响应因此可以是独立的且协调的。
可优化事件的缩减。在实施例中，可基于与应用、UI元件、输入设备等中的一个或多个相关联的标准在候选事件之中选择代表性事件。对于当用户绘制数字墨水笔划的笔输入的这个示例可包括选择最适于用户所绘笔划的事件。对于语言输入的另一个示例是偏向于输出流中的随后事件将具有类似音量的事件，由此“校平”来自麦克风的声音。对于触摸输入的另一个示例是偏向于将产生具有一致速度的输出事件流的事件，提供更加“光滑的”输出。这种形式的智能缩减担当智能过滤器，而不会降低高等待时间子系统的性能。在实施例中，可产生新的事件(例如，合并的事件或虚事件)，代表输入流中其他事件的聚集。在实施例中，可产生新的事件(例如，校正的事件、合并的事件或虚事件)，代表更加期望的输入流，例如校正或平滑化。例如，对于空中手势输入，对于来自高速输入设备的每10次事件，可对高等待时间子系统发送相同数量或较少的事件，这些事件提供实际输入事件的“平均”，因此平滑化输入并去除抖动。还可产生新的事件，作为输入设备的不同参数的多个“期望”等级的混合(amalgam)。例如，如果笔的倾斜和压力属性的智能缩减将导致不同事件的选择，则可创建单个新的事件对象(或者经改进的一个或多个现有事件对象)以包括这些属性中的每一个的期望值。
在实施例中，IPU或低等待时间子系统系统可被用于向高等待时间系统提供经处理的输入信息。一个或多个方法可被用于协调两个子系统的活动。这些方法包括：
a.在实施例中，低等待时间子系统可立即响应于所有用户输入，但在向高等待时间系统提供输入之前等待用户停止输入(例如抬起手指或笔，终止手势)。这在用户交互期间具有避免阻塞系统同时仍处理全体数据的优点。
b.在实施例中，低等待时间系统可几乎实时提供输入的缩减估计；并且可任选地储存完整的输入队列，高等待时间系统可在请求时获得该完整的输入队列。
c.在实施例中，用户反馈可被分成两个步骤。第一，低等待时间反馈将提供图11中用户输入1130的粗略的立即的表示。第二，只要高等待时间系统能够计算细化的响应，例如在笔1150尖提起之后，高等待时间系统响应1140就可替代第一响应1130。可选地，高等待时间反馈可连续地“追赶”(且有可能包含)低等待时间反馈。
d.在实施例中，低等待时间系统可从输入流中推断简单的手势动作，且因此产生不同于或者代替原始事件的手势事件，该手势事件被包括在输入队列中。
e.在实施例中，IPU或低等待时间子系统可使用多个输入位置来预测进一步输入位置。此预测可被传递到高等待时间子系统以减小其有效等待时间。
f.在实施例中，在IPU或低等待时间子系统中执行可受益于附加样本或早期检测的算法。在实施例中，可在时间上限制这些事件的执行。例如，可使用最初的50个事件以将输入分类为特定手指，或在手指与笔输入之间作出区分。在实施例中，这些算法可连续运行。
g.在实施例中，将事件流传递到高等待时间子系统的低等待时间子系统的过程可被延迟以接收并处理附加的连续或同时的相关输入，此相关输入可能被不正确地视为不相关输入。例如，字母“t”通常被绘制为两个单独的、但相关的笔划。在一般进程中，从低等待时间系统传递到高等待时间系统的输入流的一部分将包括绘制第一条线的端处的“抬笔”信号。在实施例中，缩减过程等待样本窗口内的输入的最后帧以传递到“抬起”事件，以免在窗口内的显示器上再次检测到笔，因此排除对事件的需要。
硬件架构
在实施例中，数据流过经过系统的组件的两个重叠路径以同时支持高等待时间与低等待时间反馈。图12示出一个这样的系统，包括输入设备1210、IPU1220、系统总线1230、CPU1240和连接到显示器1290的GPU1280。用户1200使用输入设备1210执行输入。此输入由IPU1220来感测，在不同的实施例中，IPU1220可以是FPGA、ASIC或者集成到GPU1280、MPU或SoC的附加软件和硬件逻辑。此时，控制流分成且跟随经过系统的两个单独的路径。对于输入的低等待时间响应，IPU1220将输入事件经由系统总线1230发送到GPU1280，绕过CPU1240。GPU1280然后快速地显示对用户1200的反馈。对于输入的高等待时间响应，IPU1220将输入事件经由系统总线1230发送到CPU1240，CPU1230运行图形应用且可与其他系统组件交互。CPU1240然后将指令经由系统总线1230发送到GPU1280以向用户1200提供图形反馈。从输入设备1210到IPU1220到系统总线1230到GPU1280的低等待时间路径主要是硬件且用低等待时间来运行。从输入设备1210到IPU1220到系统总线1230到CPU1240再回到系统总线1230到GPU1280的高等待时间路径是高等待时间的，由于在此说明书早先所述的因素。在相关实施例中，输入设备1210与GPU1280之间通信且绕过系统总线1230。
图13示出惯用的编程范例，称为模型视图控制器。在此范例中，用户1300在控制器1310上执行输入，控制器1310进而基于此输入操控模型1320。模型1320中的变化导致视图1330变化，这被用户1300观察到。本发明所传达的等待时间中的一些是由于输入、这些组件之间的通信、以及由视图1300组件所产生的图形的显示中的等待时间。
图14示出支持在系统上开发并运行应用的架构的实施例，此系统对用户输入有混合的高等待时间与低等待时间响应。用户1400用输入设备1410执行输入。此输入由IPU1420接收。IPU1420同时将输入事件经由传统机制发送到高等待时间子系统中运行的控制器1430并发送到低等待时间中运行的视图模型(L)1490。输入由控制器1430来处理，该控制器1430操控高等待时间子系统中运行的模型1440，该模型1440可与易失性存储器1450、固定存储器1470、网络资源1460等中的数据交互(所有交互引入滞后)。由视图模型(L)1490接收的输入事件导致视图模型(L)变化，该变化体现在视图(L)1491的变化中，这被用户1400观察到。模型1440的变化导致高等待时间子系统的视图(H)1480变化，这也被用户1400观察到。在实施例中，在同一显示器上示出用户所观察到这两种类型的变化。在实施例中，这两种类型的变化经由其他输出模态(诸如例如，声音或振动)体现到用户。在实施例中，在输入之间，模型1440更新视图模型(L)1490和视图(L)1491的状态，从而使得视图模型(L)1490包含需要的数据以在系统的显示器上的正确位置中呈现GUI的组件且使得视图模型(L)1490可以以模型1440的当前状态的情况来正确地解释来自IPU1420的输入；且使得视图(L)1491可以以模型1440的电流状态的情况来正确地产生用于显示的图形。
借助示例，考虑具有按钮的触摸敏感的应用，在按钮的功能之中，通过改变其外观对用户的触摸进行响应，指示它已被激活。当应用运行时，应用从存储器和编译的应用代码中读取按钮的位置、尺寸和外观的细节。视图(H)1480代码产生必要的图形，该必要的图形被呈现给用户以显示按钮。模型1440更新视图模型(L)1490的状态以记录此图形元件是按钮，且记录按钮当被触摸时应该改变外观，从“正常”外观到“按压”外观。模型1440还更新视图(L)1491的状态以记录针对视图模型(L)1490中的“正常”和“按压”状态的正确外观。此外观可以是低保真度图形元件的描述或完整的栅格(raster)以用于显示。在此示例中，通过在按钮的位置周围显示白框来表示“按压”状态。
用户触摸触摸屏显示器，且由IPU1420在小于1ms之后接收描述该触摸的输入数据。IPU1420从输入数据创建代表触下事件的输入事件并将此输入发送到应用控制器1430。控制器1430操控模型1440。在此情况下，控制器1430对模型1440指示按钮已被触摸且应用应该执行与此按钮有关联的任何命令。在IPU1420向控制器1430发送事件的同一时刻，它向视图模型(L)1490发送事件，指示按钮已被触摸。先前由模型1440对视图模型(L)1490下指令以在触摸的情况下工作，且在此情况中它通过将其状态改变为“按压”来响应触摸事件。视图(L)1491通过在按钮周围显示白框(对应于其“按压”外观的反馈)来响应此变化。触摸了按钮对模型1440的改变导致视图(H)1480的更新，从而使得它也反映现在触摸了按钮。观察视图(H)1480和视图(L)1491两者的输出的用户观察到他们的触摸由视图(L)1491的立即反馈，在一秒内跟随着由视图(H)1480的反馈。
减小控件响应等待时间
在采用图形用户界面(GUI)的典型交互计算机系统中，交互的基元可被分解成控件，可被集合到库中。应用设计的任务通常是已知控件的汇编集合中的一个以促进期望的用户交互。例如，如果开发者期望用户输入他们的地址，他或她可利用文本域控件来实现街道号码和名称的自由格式输入，利用州的下拉式列表来强迫用户从有效的选项卡当中作出选择，以及利用另一个自由格式文本域来实现邮编输入。按钮也可被用来允许用户指示他们已经完成输入数据的任务。很多系统包括库，库包括文本域、下拉式列表和按钮，以及很多其他类型的控件。
一旦应用开发者已选择控件以组成期望的交互流，它们通常将在随后设计那些控件的行为。可通过参数的选择来指定这种行为，诸如在设计时间指定下拉式列表的内容，或者设置旗标(flag)来禁用控件。也可通过计算机代码来指定这样的行为。在一些实施例中，这种代码可被添加到“事件处理器”或“回叫(callback)”，其由系统的事件分配系统在满足了期望的情况时触发。例如，每当控件被“点击”时，可调用“onClick”回叫。此时，将执行由应用开发者所指定的代码以控制控件的行为。
在一些实施例中，应用软件可在系统上运行，其中在回叫的执行之前通过处理控件参数来获得效率。例如，在设计时间将控件的“启用”旗标设置成“假”通常将导致控件在它被首次显示在屏幕上时被禁用，而不是首先将旗标设置成其默认值(诸如“真”)，仅之后在代码中反转。
加速输入的一个方法是在硬件中实现公共控件，如在上文且在美国专利申请No.14/046,819中所述。在这种系统中，如在本文中所述，行为的参数化可在软件代码中指定的行为上导致充分改进的性能，因为可通过硬件中的动作来注意(heed)此参数化，硬件中的动作通常比那些在软件中实施的更快。
尽管这种方法可显著地出产较好的性能，但它可在一些实施例中忽略在控件上跨越的交互。例如，考虑图15中示出的窗口。在此图示中，我们看见会话消息和标记“OK”的按钮。当用户按压OK按钮时，如果用上文和美国专利申请No.14/046,819中所述的方法来加速，那么按钮自身可提供对用户的触摸的响应的立即视觉指示。图15中示出的应用的开发者可使此“OK”按钮旨在解除包含它的窗口。在这种情况中，在一些面向对象的实施方式中，开发者可在事件处理器中写入源代码，将通过解除窗口来响应于用户的输入。在上文和美国专利申请No.14/046,819中所述的发明的一些实施例中，此源代码将由CPU来执行，因此比针对按钮按压本身由IPU所提供的视觉响应更加缓慢地运行。
用于减小控件响应等待时间的当前公开的系统和方法提供一种方法，通过该方法，也可加速这种交叉控制行为。在实施例中，诸如上文所述的设计模式(当点击按钮时关闭父窗口)的逻辑被编码在硬件中，例如与上文所讨论的输入处理单元(IPU)相关联的硬件。在一些实施例中，为了指定应该利用设计模式，配置系统使得开发者可在按钮控件上设置旗标(例如，一个名为“closeParentWindowWhenClicked”)，当用户点击按钮时指示IPU使用硬件以立即关闭父窗口，而不是运行提供指令来关闭窗口的开发者提供的代码。在其他实施例中，IPU被实施为在二级处理器(诸如GPU、SOC、微控制器、或与执行应用软件的CPU分开的CPU的核心)上运行的软件，在其他实施例中，IPU被实施为与其他元件相同的处理器/核心上的软件，且被OS或其他资源管理器给予高优先级。参见图15。在布局时间或响应于用户输入，可识别由IPU处理的特定交叉控制行为。
在实施例中，用于减小控件响应等待时间的当前公开的系统和方法提供包含输入设备的输入子系统，此子系统适合于将响应于用户输入的信号输出到输入设备，此信号包含关于输入的信息。低等待时间子系统被设置为接收信号并产生响应于一个或多个信号的等等待时间响应，且向高等待时间子系统发送信号中的至少一个由低等待时间子系统所接收的信号包含触发交叉控制行为的输入。低等待时间子系统作出交叉控制行为的识别，且低等待时间子系统产生反映交叉控制行为的低等待时间响应。高等待时间子系统适于接收信号中的至少一个，并且响应于信号中的至少一个中的一个或多个，产生高等待时间响应。低等待时间子系统相对于高等待时间子系统用低等待时间产生低等待时间响应，而高等待时间子系统相对于低等待时间子系统用高等待时间产生高等待时间响应。
在实施例中，用于减小控件响应等待时间的当前公开的系统和方法提供包含输入设备的输入子系统，此子系统适合于将响应于用户输入的信号输出到输入设备，此信号包含关于输入的信息。低等待时间子系统被设置为接收信号并产生响应于一个或多个信号的等等待时间响应，且向高等待时间子系统发送信号中的至少一个由低等待时间子系统所接收的信号包含交叉控制行为的识别，且产生的低等待时间响应包含反映交叉控制行为的数据。高等待时间子系统适于接收信号中的至少一个，并且响应于信号中的一个或多个，产生高等待时间响应。低等待时间子系统相对于高等待时间子系统用低等待时间产生低等待时间响应，而高等待时间子系统相对于低等待时间子系统用高等待时间产生高等待时间响应。
实施例的细节
选项卡布局
组织大量信息和/或控件的一个通用方法是将它们安排到小数量的类别中。然后可在界面中的一系列有标签的选项卡后安排这种类别。在一些环境中，用户通过在控件的顶部触摸类别相应的“选项卡”来选择类别。然后显示与此选项卡标签相关联的元件。
诸如彩色水平条之类的视觉指示符可被用来加亮当前选择的选项卡。在一些情况中，界面可被设计成表现得好像目录类别本身而不仅仅是标签彼此紧靠地排列，每种类别有显示器的宽度的大小；因此可一次仅显示一个完整的类别。当改变选项卡时，目录可执行动画转变，诸如水平滑动，其中先前显示的目录滑出视图，被其最近邻居所替换，且如果这不是最新选择的选项卡的目录，那么进一步水平运动发生，直到期望的目录全在视图中为止。在一些实施例中，用户可滑动目录以在选项卡之间移动，根据手势的表现目录跟随向侧面拖动或动画转变至下一类别。
在用于减小控件响应等待时间的当前公开的系统和方法的一些实施例中，采用定制设计的硬件以将选项卡目录渲染为水平排列的系列位图，当响应于输入时改变显示的选项卡。在基于选项卡的布局的第一CPU渲染时，CPU可将界面的组件的渲染位图传递到硬件控制器，还有关于他们在界面中的位置的信息，以及哪些是可选择的选项卡标签的位图的指示和哪些是选项卡的目录的指示。
关闭窗口的按钮
参见图15，图中示出的应用的开发者可使此“OK”按钮旨在解除包含它的窗口。用于减小控件响应等待时间的当前公开的系统和方法提供一种方法，通过该方法，可加速这种交叉控制行为。在实施例中，可在IPU中对当点击按钮时用于关闭父窗口的逻辑进行编码。在一些实施例中，为了指定应该利用的设计模式，开发者在按钮控件上设置旗标(也许名为“closeParentWindowWhenClicked”)，当用户点击按钮时指示IPU执行立即关闭父窗口的代码，而不是运行提供指令来关闭窗口的开发者提供的代码。
禁用按钮
另一个一般的设计模式是当按钮被点击时立即禁用该按钮，以防止用户发送多次请求。在此，在一些面对对象的系统中，开发者在用于按钮的“点击”事件的事件处理器中提供代码，指示该系统当点击时禁用它。在一些系统中，禁用按钮改变其视觉外观，诸如“变灰”，以使用户清楚此按钮将不响应于随后的输入。在用于减小控件响应等待时间的当前公开的系统和方法的一些实施例中，提供了一种方法，不同于通过提供要在CPU中执行的源代码，开发者通过该方法指定系统在按钮被点击时，应该禁用该按钮。在实施例中，提供按钮对象的旗标，也许名为“disableOnClick”，当其被设置为真时，指示系统当用户点击按钮时立即禁用该按钮，而不是等待执行由开发者所提供的源代码指令。在一些实施例中，在禁用按钮后，系统然后将处理“点击”事件处理器，执行由开发者在源代码中提供的指令。
界面的按钮禁用部件
在应用设计中，普通技术是设计由表单控件构成的界面使得控件中的一个(通常是复选框控件)被用来启用或禁用其他的控件组。当点击了未选中的复选框时，它变成选中的且其他的控件组变成启用的，允许用户在它们上点击或改变它们的值。当第二次点击复选框时，同一控件组变成禁用的，防止任何变化，在一些情况下，通过视觉变化(通常是控件的文本的变灰)反映此禁用。
用于减小控件响应等待时间的当前公开的系统和方法的一个实施例将提供一种用控件使目录禁用的技术，该控件值将触发此禁用。这将允许IPU在触发控件的点击的处理上容易地识别和调节受影响的控件。通过使用此技术，IPU能够处置此处理且由此改进系统对输入的响应性。
按钮改变外观
当按钮执行动作点击时，有时有利地提供动作正在进行的视觉反馈。这是特别真实的，如果动作花费若干秒来完成的话，诸如需要网络连接的动作。示例包括“刷新”按钮，这有时包含两个循环箭头的图标。当点击时，这些按钮有时变成圆形加载动画图标，正在进行刷新例程的指示符。
在用于减小控件响应等待时间的当前公开的系统和方法的一些实施例中，提供一种方法，开发者通过该方法可指定IPU在这些类型的按钮被点击时，它们应该变成另一类型的图标，另一类型的图标对于定义是开放的。在一些实施例中，当动作完成时，CPU然后负责恢复原始图标。
菜单或窗口打开按钮
菜单是用于组织在一个标题下具有多种动作的按钮的普通技术。例如参见图16中示出的应用菜单。在很多情况中，通过点击菜单的标签按钮来使菜单可见或隐藏。在一些变体中，初始化动画以将菜单从可见转变到隐藏。通常在菜单按钮下方垂直排列菜单本身中显示的菜单项目。
在用于减小控件响应等待时间的当前公开的系统和方法的实施例中，应用开发者可用一机制以允许菜单及其目录、外观和行为被IPU解读以用于在菜单按钮上的点击事件的显示和处理。这允许通常由CPU执行的任务被IPU处理，改进表现和界面响应性。图16示出开始新窗口和应用的按钮。
有规律地将应用分成多个视图。当用户期望从一个视图转变到另一个视图时，他或她通常通过点击具有实现此任务的功能的按钮来获得。在一些示例中，以相似的方式，这些按钮可开始其他应用。其他按钮开始仅占用一部分屏幕的模式窗口。动画有时伴随向这些新视图的转变，在当前视图和下一视图之间创建视觉和隐喻的联系。
在实施例中，用于减小控件响应等待时间的当前公开的系统和方法提供一种方法，IPU可通过该方法识别这些按钮和他们的功能，具有将视图转变为期望新视图的缓存位图渲染的目标，如果存在的话。
长按上下文界面
一些界面利用长按以触发上下文界面元件(诸如菜单或特殊菜单条)的显示。在当前公开的系统和方法的一些实施例中，使用参数以指定给定按钮或其他控件应该开始这样的菜单或菜单条的显示。另一个参数可指定哪个UI对象包含菜单且因此应该显示。
选项卡-停止位(Tab-Stop)上升
在一些实施例中，提供参数以指定当用户在“选项卡”或其他指示符上按压或作出另一手势时，应该使焦点对准(in-focus)控件上升(advance)。
文本输入
在一些实施例中，可包括参数以指定当在键盘上打字时，或利用其他文本输入机制时，本文应该被插入在本文插入(光标)点处。相反地，当选择了本文域时，IPU应该导致屏幕上键盘出现。
与打开和关闭导航“抽屉”有关联的按钮
普通界面设计分组并随后隐藏滑动“抽屉”菜单内的很多导航项抽屉具有两个状态，展开的和收缩的。固定按钮通常位于界面中的他处，根据按压切换(toggle)抽屉的状态。
在当前公开的系统和方法的一个实施例中，提供了指定按钮在抽屉上具有此行为的方式，以及指示哪个控件对应于滑出抽屉的方式。这将允许IPU响应于按钮按压而打开和关闭抽屉(在一些实施例中动画化不同抽屉状态之间的转变)。
与滑动条、进度条和搜索条相关联的本文
很多应用使用以水平条的形式的图像表示以指示已经完成的任务的部分，或者作为输入连续变化参数的交互式组件。这包括“搜索”条，例如，其允许用户使视频和音频回放向前移动或倒回。这些种类的控件中的很多具有相关的文本标签，在条的当前值的位置上为用户提供反馈。此信息必须与控件本身同步以保持最新的。
在一个实施例中，提供一种方法以用于指示条表示的值的范围，允许IPU用高度响应的正确更新的值来渲染本文标签。
同步的响应
很多系统包括元件，可期望同步该元件的移动或行为。例如，一个元件可以是“可拖动的”，且当拖动时，可示出在旁边拖动的附加元件。例如，在视频界面中，可示出滑动件，其允许用户通过将拇指拖动到不同的位置来选择视频中的位置。当拖动时，可在用户的手指上显示小窗口，示出来自视频的内容。两方面的同步性将是有用的：首先，确保窗口的运动在拖动的拇指旁边是瞬时的且联动以确保相对于拇指的一致间隔。第二，在窗口中示出的视频内容应该对应于拇指在时间线中的物理位置：因此，“帧”属性应该与拇指的“位置”属性同步。在本发明的一些实施例中，提供一些方法(诸如旗标、或开发者可选择或指定同步性目标/源的域)以创建临时的任意同步性。这些同步性将被IPU使用以确保响应在控件上是同步的。
按钮揭露搜索界面
很多应用包括搜索功能。这通常由有搜索标签的按钮来触发或用放大镜来指示。当按压按钮时，搜索文本框在界面中出现，在很多情况中具有伴随它的键盘以用于文本输入。
在当前公开的系统和方法的实施例中，旗标对于开发者是可用来指示哪个按钮触发这些搜索框的显示，允许IPU根据旗标按钮的触摸来显示搜索界面的加速表示。
贯穿此申请的文本，词语“事件”被用于描述说明用户输入的属性的信息。一般使用此项，且此项包括采用事件驱动架构的实施例(实际事件对象在软件元件之间传递)，以及正在描述的“事件”的更加基本的输入流仅存在于信息流中。例如，这种事件可以是非面对对象类型的事件或面对对象型事件。
当前系统和方法已在前面参照包含能够接收用户输入并对其作出响应的计算机系统的方法和设备的框图和操作示图进行了描述。要理解，这些框图或操作示图中的每个框以及这些框图或操作示图中的框的任意组合可借助模拟或数字硬件和计算机程序指令来实现。这些计算机程序指令可被提供给通用计算机、专用计算机、ASIC或其它可编程数据处理装置的处理器，以使经由计算机的处理器或其它可编程数据处理装置执行的指令实现框图或一个或多个操作框中指定功能/动作。在一些替代实施方式中，方框中提到的功能/动作可以操作示图中提到的不同顺序发生。例如，取决于所涉及的功能/动作，连续示出的两个框实际上可以基本上同时执行，或者这些框有时可以按相反的次序来执行。
虽然已经参照优选实施例具体示出和描述了本发明，然而要理解的是，本领域内技术人员可在形式上和细节上对其作出多种改变，而不背离本发明的精神和范围。
权利要求书(按照条约第19条的修改)
1.一种用于处理用户输入的系统，包括：
显示器，包含用户界面的可视化；
用户输入设备，包含从由触摸输入和笔输入组成的组中选择的至少一个，所述用户输入设备适合于输出对应于用户输入的信号；
输入处理系统，操作地连接至所述用户输入设备，所述输入处理系统适合于接收对应于用户输入的信号并发射对应于所接收信号的信号；
第一图形处理和输出系统，包含在软件栈中运行的软件，所述第一图形处理和输出系统适合于接收所发射的信号中的至少一些，并响应于所发射的信号中的至少一些，产生可影响所述显示器上的用户界面的可视化的高等待时间数据且输出所述高等待时间数据以供所述显示器使用；
第二图形处理和输出系统，至少部分地实施在硬件中，所述第二图形处理和输出系统适合于基本上同时地接收所发射的信号中的至少一些，并响应于所发射的信号中的至少一些，产生可影响所述显示器上的用户界面的可视化的低等待时间数据且输出所产生的低等待时间数据以供所述显示器使用；
其中，由所述第二图形处理和输出系统接收的所发射的信号中的至少一些包含交叉控制行为的识别，所述第二图形处理和输出系统包含配置为实施所述交叉控制行为的硬件，以及所产生的低等待时间数据包含反映所述交叉控制行为的数据；
其中，关于对所发射的信号中的至少一些的响应，相对于所述第一图形处理和输出系统输出所述高等待时间数据，所述第二图形处理和输出系统适合于用低等待时间输出所产生的低等待时间数据；以及
所述显示器被配置为在所述用户界面的可视化上显示所述低等待时间数据中的至少一些和所述高等待时间数据中的至少一些。
2.如权利要求1所述的用于处理用户输入的系统，其特征在于，配置为实施所述交叉控制行为的硬件包含具有逻辑的硬件以用于实施在其中编码的所述交叉控制行为。
3.如权利要求1所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含第一控件与第二控件之间的交互。
4.如权利要求3所述的用于处理用户输入的系统，其特征在于，所述第一控件包含按钮而所述第二控件包含窗口。
5.如权利要求1所述的用于处理用户输入的系统，其特征在于，配置为实施所述交叉控制行为的硬件包含配置为渲染选项卡目录的硬件。
6.如权利要求5所述的用于处理用户输入的系统，其特征在于，配置为渲染选项卡目录的硬件被配置为将所述选项卡目录渲染为水平排列的系列位图，且响应于输入以改变被显示的选项卡。
7.如权利要求1所述的用于处理用户输入的系统，其特征在于，配置所述系统使得所述第一图形处理和输出系统将所述用户界面的组件的渲染位图传递到所述第二图形处理和输出系统。
8.如权利要求1所述的用于处理用户输入的系统，其特征在于，所述输入处理系统被配置为通过执行代码来响应于与控件相关联的旗标，所述代码根据用户输入的接收来实施所述交叉控制行为。
9.如权利要求1所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含控件的禁用。
10.如权利要求1所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含根据控件的激活来禁用所述用户界面的一部分。
11.如权利要求10所述的用于处理用户输入的系统，其特征在于，所述控件是复选框。
12.如权利要求1所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含按钮的外观中的变化。
13.如权利要求1所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含菜单的目录、外观或行为中的变化。
14.如权利要求1所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含至少一个上下文界面元件的显示。
15.如权利要求14所述的用于处理用户输入的系统，其特征在于，所述至少一个上下文界面元件包含菜单或菜单条。
16.如权利要求14所述的用于处理用户输入的系统，其特征在于，所述至少一个上下文界面元件的显示是响应于长按的。
17.如权利要求1所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含焦点对准控件的上升。
18.如权利要求1所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含文本的插入。
19.如权利要求1所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含打开或关闭导航抽屉。
20.如权利要求1所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含呈现搜索界面。
21.一种用于处理用户输入的系统，包括：
显示器，包含用户界面的可视化；
用户输入设备，适合于输出对应于用户输入的信号；
输入处理系统，操作地连接至所述用户输入设备，所述输入处理系统适合于接收对应于用户输入的信号并发射对应于所接收信号中的至少一些的信号流；
第一图形处理和输出系统，适合于接收所述信号流中的至少一部分，且响应于所述第一图形处理和输出系统所接收的信号流中的至少一部分中的信号中的至少一些，产生可影响所述显示器上的用户界面的可视化的高等待时间数据并输出所述高等待时间数据以供所述显示器使用；
第二图形处理和输出系统，适合于接收所述信号流中的至少一部分，且响应于由所述第二图形处理和输出系统所接收的信号流中的至少一部分中的信号中的至少一些，产生可影响所述显示器上的用户界面的可视化的低等待时间数据并输出所产生的低等待时间数据以供所述显示器使用，相对于所述第一输出图形处理和输出系统输出所述高等待时间数据，所述第二图形处理和输出系统被配置为用低等待时间来输出所产生的低等待时间数据；
其中，由所述第二图形处理和输出系统接收的信号流中的至少一部分包含交叉控制行为的识别，而所产生的低等待时间数据包含反映所述交叉控制行为的数据；
以及
所述显示器被配置为将所述低等待时间数据中的至少一些和所述高等待时间数据中的至少一些融合到所述用户界面的可视化上。
22.如权利要求21所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含第一控件与第二控件之间的交互。
23.如权利要求22所述的用于处理用户输入的系统，其特征在于，所述第一控件包含按钮而所述第二控件包含窗口。
24.如权利要求21所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含选项卡目录的显示。
25.如权利要求24所述的用于处理用户输入的系统，其特征在于，所述第二图形处理和输出系统被配置为将所述选项卡目录渲染为水平排列的系列位图，且响应于输入以改变被显示的选项卡。
26.如权利要求21所述的用于处理用户输入的系统，其特征在于，配置所述系统使得所述第一图形处理和输出系统将所述用户界面的组件的渲染位图传递到所述第二图形处理和输出系统。
27.如权利要求21所述的用于处理用户输入的系统，其特征在于，所述输入处理系统被配置为通过执行代码来响应于与控件相关联的旗标，所述代码根据用户输入的接收来实施所述交叉控制行为。
28.如权利要求21所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含控件的禁用。
29.如权利要求21所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含根据控件的激活来禁用所述用户界面的一部分。
30.如权利要求29所述的用于处理用户输入的系统，其特征在于，所述控件是复选框。
31.如权利要求21所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含按钮的外观中的变化。
32.如权利要求21所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含菜单的目录、外观或行为中的变化。
33.如权利要求21所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含至少一个上下文界面元件的显示。
34.如权利要求33所述的用于处理用户输入的系统，其特征在于，所述至少一个上下文界面元件包含菜单或菜单条。
35.如权利要求33所述的用于处理用户输入的系统，其特征在于，所述至少一个上下文界面元件的显示是响应于长按的。
36.如权利要求21所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含焦点对准控件的上升。
37.如权利要求21所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含文本的插入。
38.如权利要求21所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含打开或关闭导航抽屉。
39.如权利要求21所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含呈现搜索界面。
40.一种用于处理用户输入的系统，包括：
输入子系统，包括输入设备，所述输入子系统适合于响应于对输入设备的多个用户输入而输出信号，所述信号包含关于所述输入的信息；
低等待时间子系统，适合于接收所述信号，且响应于所述信号中的一个或多个，产生低等待时间响应并向高等待时间子系统发送所述信号中的至少一个；
其中，由所述低等待时间子系统接收的信号包含交叉控制行为的识别，且所产生的低等待时间响应包含反映所述交叉控制行为的数据；
所述高等待时间子系统适于接收所述信号中的至少一个，并且响应于所述信号中的至少一个中的一个或多个，产生高等待时间响应；以及，
其中，相对于所述高等待时间子系统，所述低等待时间子系统用低等待时间产生所述低等待时间响应，并且相对于所述低等待时间子系统，所述高等待时间子系统用高等待时间产生所述高等待时间响应。
41.一种用于处理用户输入的系统，包括：
输入子系统，包括输入设备，所述输入子系统适合于响应于对输入设备的多个用户输入而输出信号，所述信号包含关于所述输入的信息；
低等待时间子系统，适合于接收所述信号，且响应于所述信号中的一个或多个，产生低等待时间响应并向高等待时间子系统发送所述信号中的至少一个；
其中，由所述低等待时间子系统接收的信号包含触发交叉控制行为的输入，所述低等待时间子系统作出所述交叉控制行为的识别，且所述低等待时间子系统产生反映所述交叉控制行为的低等待时间响应；
所述高等待时间子系统适于接收所述信号中的至少一个，并且响应于所述信号中的至少一个中的一个或多个，产生高等待时间响应；
其中，相对于所述高等待时间子系统，所述低等待时间子系统用低等待时间产生所述低等待时间响应，并且相对于所述低等待时间子系统，所述高等待时间子系统用高等待时间产生所述高等待时间响应。
42.如权利要求41所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含第一控件与第二控件之间的交互。
43.如权利要求42所述的用于处理用户输入的系统，其特征在于，所述第一控件包含按钮而所述第二控件包含窗口。
44.如权利要求41所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含选项卡目录的显示。
45.如权利要求44所述的用于处理用户输入的系统，其特征在于，所述低等待时间子系统被配置为将所述选项卡目录渲染为水平排列的系列位图，且响应于输入以改变被显示的选项卡。
46.如权利要求41所述的用于处理用户输入的系统，其特征在于，配置所述系统使得所述高等待时间子系统将所述用户界面的组件的渲染位图传递到所述低等待时间子系统。
47.如权利要求41所述的用于处理用户输入的系统，其特征在于，所述输入子系统被配置为通过执行代码来响应于与控件相关联的旗标，所述代码根据用户输入的接收来实施所述交叉控制行为。
48.如权利要求41所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含控件的禁用。
49.如权利要求41所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含根据控件的激活来禁用所述用户界面的一部分。
50.如权利要求49所述的用于处理用户输入的系统，其特征在于，所述控件是复选框。
51.如权利要求41所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含按钮的外观中的变化。
52.如权利要求41所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含菜单的目录、外观或行为中的变化。
53.如权利要求41所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含至少一个上下文界面元件的显示。
54.如权利要求53所述的用于处理用户输入的系统，其特征在于，所述至少一个上下文界面元件包含菜单或菜单条。
55.如权利要求53所述的用于处理用户输入的系统，其特征在于，所述至少一个上下文界面元件的显示是响应于长按的。
56.如权利要求41所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含焦点对准控件的上升。
57.如权利要求41所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含文本的插入。
58.如权利要求41所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含打开或关闭导航抽屉。
59.如权利要求41所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含呈现搜索界面。
60.一种用低等待时间来处理用户输入的系统，包括：
输入设备；
输入处理单元；
高等待时间子系统；
低等待时间子系统；
输入处理单元软件，适合于响应于用户输入而产生信号；以及，
输出设备；
其中，相对于所述高等待时间子系统，所述低等待时间子系统用低等待时间处理所述信号中的多个，并且相对于所述低等待时间子系统，所述高等待时间子系统用高等待时间处理所述信号中的多个；
其中，所述输入设备、所述输入处理单元、所述高等待时间子系统、所述低等待时间处理子系统、所述输入处理单元软件以及所述输出设备被安排成使得：
由所述低等待时间子系统和所述高等待时间子系统并列地处理所述信号中的至少一些，所述低等待时间子系统创建可编程的响应以用低等待时间在所述输出设备上输出，而所述高等待时间子系统创建响应以用高等待时间在所述输出设备上输出；
其中，由所述低等待时间子系统处理的所述信号中的多个包含来自所述用户的输入，响应于所述输入，所述低等待时间子系统作出交叉控制行为的识别，且所述可编程的响应包含反映所述交叉控制行为的数据；以及
当响应被输出到所述输出设备时，所述输出设备输出来自所述低等待时间子系统的响应和来自所述高等待时间子系统的响应中的一个或两者。
61.如权利要求60所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含第一控件与第二控件之间的交互。
62.如权利要求61所述的用于处理用户输入的系统，其特征在于，所述第一控件包含按钮而所述第二控件包含窗口。
63.如权利要求60所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含选项卡目录的显示。
64.如权利要求63所述的用于处理用户输入的系统，其特征在于，所述低等待时间子系统被配置为将所述选项卡目录渲染为水平排列的系列位图，且响应于输入以改变被显示的选项卡。
65.如权利要求60所述的用于处理用户输入的系统，其特征在于，配置所述系统使得所述高等待时间子系统将所述用户界面的组件的渲染位图传递到所述低等待时间子系统。
66.如权利要求60所述的用于处理用户输入的系统，其特征在于，所述输入处理单元被配置为通过执行代码来响应于与控件相关联的旗标，所述代码根据用户输入的接收来实施所述交叉控制行为。
67.如权利要求60所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含控件的禁用。
68.如权利要求60所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含根据控件的激活来禁用所述用户界面的一部分。
69.如权利要求68所述的用于处理用户输入的系统，其特征在于，所述控件是复选框。
70.如权利要求60所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含按钮的外观中的变化。
71.如权利要求60所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含菜单的目录、外观或行为中的变化。
72.如权利要求60所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含至少一个上下文界面元件的显示。
73.如权利要求72所述的用于处理用户输入的系统，其特征在于，所述至少一个上下文界面元件包含菜单或菜单条。
74.如权利要求72所述的用于处理用户输入的系统，其特征在于，所述至少一个上下文界面元件的显示是响应于长按的。
75.如权利要求60所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含焦点对准控件的上升。
76.如权利要求60所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含文本的插入。
77.如权利要求60所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含打开或关闭导航抽屉。
78.如权利要求60所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含呈现搜索界面。
79.一种用低等待时间来处理用户输入的系统，包括：
输入设备；
输出设备；
输入处理单元；
输入处理单元软件，适合于响应于用户输入而产生信号；
高等待时间响应子系统，适合于对所述信号中的至少一些创建高等待时间响应；
低等待时间响应子系统，至少部分地实施在硬件中，所述低等待时间响应子系统适合于对所述信号中的至少一些创建低等待时间响应，所述低等待时间响应子系统包含影响所述低等待时间响应的一个或多个参数；
其中，所述信号中的至少一些包含交叉控制行为的识别，所述低等待时间响应子系统包含配置为实施所述交叉控制行为的硬件，且所述低等待时间响应包含反映所述交叉控制行为的数据；
其中，关于普通的信号，所述低等待时间响应不比高等待时间响应具有更高的等待时间，且所述高等待时间响应不比所述低等待时间响应具有更低的等待时间；
其中，所述输入设备、输出设备、所述输入处理单元、输入处理单元软件、所述高等待时间响应子系统以及所述低等待时间响应子系统被安排成使得：
所述输出设备输出所述低等待时间响应和所述高等待时间响应；以及
其中，应用软件可修改影响所述低等待时间响应的所述一个或多个参数。
80.如权利要求79所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含第一控件与第二控件之间的交互。
81.如权利要求80所述的用于处理用户输入的系统，其特征在于，所述第一控件包含按钮而所述第二控件包含窗口。
82.如权利要求79所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含选项卡目录的显示。
83.如权利要求82所述的用于处理用户输入的系统，其特征在于，所述低等待时间响应子系统被配置为将所述选项卡目录渲染为水平排列的系列位图，且响应于输入以改变被显示的选项卡。
84.如权利要求79所述的用于处理用户输入的系统，其特征在于，配置所述系统使得所述高等待时间响应子系统将所述用户界面的组件的渲染位图传递到第二图形处理和输出系统。
85.如权利要求79所述的用于处理用户输入的系统，其特征在于，所述输入处理单元被配置为通过执行代码来响应于与控件相关联的旗标，所述代码根据用户输入的接收来实施所述交叉控制行为。
86.如权利要求79所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含控件的禁用。
87.如权利要求79所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含根据控件的激活来禁用所述用户界面的一部分。
88.如权利要求87所述的用于处理用户输入的系统，其特征在于，所述控件是复选框。
89.如权利要求79所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含按钮的外观中的变化。
90.如权利要求79所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含菜单的目录、外观或行为中的变化。
91.如权利要求79所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含至少一个上下文界面元件的显示。
92.如权利要求91所述的用于处理用户输入的系统，其特征在于，所述至少一个上下文界面元件包含菜单或菜单条。
93.如权利要求91所述的用于处理用户输入的系统，其特征在于，所述至少一个上下文界面元件的显示是响应于长按的。
94.如权利要求79所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含焦点对准控件的上升。
95.如权利要求79所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含文本的插入。
96.如权利要求79所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含打开或关闭导航抽屉。
97.如权利要求79所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含呈现搜索界面。
98.如权利要求79所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含在至少两个界面元件之间的同步响应。

Claims (98)

1.一种用于处理用户输入的系统，包括：
显示器，包含用户界面的可视化；
用户输入设备，包含从由触摸输入和笔输入组成的组中选择的至少一个，所述用户输入设备适合于输出对应于用户输入的信号；
输入处理系统，操作地连接至所述用户输入设备，所述输入处理系统适合于接收对应于用户输入的信号并发射对应于所接收信号的信号；
第一图形处理和输出系统，包含在软件栈中运行的软件，所述第一图形处理和输出系统适合于接收所发射的信号中的至少一些，并响应于所发射的信号中的至少一些，产生可影响所述显示器上的用户界面的可视化的高等待时间数据且输出所述高等待时间数据以供所述显示器使用；
第二图形处理和输出系统，至少部分地实施在硬件中，所述第二图形处理和输出系统适合于基本上同时地接收所发射的信号中的至少一些，并响应于所发射的信号中的至少一些，产生可影响所述显示器上的用户界面的可视化的低等待时间数据且输出所产生的低等待时间数据以供所述显示器使用；
其中，由所述第二图形处理和输出系统接收的所发射的信号中的至少一些包含交叉控制行为的识别，所述第二图形处理和输出系统包含配置为实施所述交叉控制行为的硬件，以及所产生的低等待时间数据包含反映所述交叉控制行为的数据；
其中，关于对所发射的信号中的至少一些的响应，相对于所述第一图形处理和输出系统输出所述高等待时间数据，所述第二图形处理和输出系统适合于用低等待时间输出所产生的低等待时间数据；以及
所述显示器被配置为在所述用户界面的可视化上显示所述低等待时间数据中的至少一些和所述高等待时间数据中的至少一些。
2.如权利要求1所述的用于处理用户输入的系统，其特征在于，配置为实施所述交叉控制行为的硬件包含具有逻辑的硬件以用于实施在其中编码的所述交叉控制行为。
3.如权利要求1所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含第一控件与第二控件之间的交互。
4.如权利要求3所述的用于处理用户输入的系统，其特征在于，所述第一控件包含按钮而所述第二控件包含窗口。
5.如权利要求1所述的用于处理用户输入的系统，其特征在于，配置为实施所述交叉控制行为的硬件包含配置为渲染选项卡目录的硬件。
6.如权利要求5所述的用于处理用户输入的系统，其特征在于，配置为渲染选项卡目录的硬件被配置为将所述选项卡目录渲染为水平排列的系列位图，且响应于输入以改变被显示的选项卡。
7.如权利要求1所述的用于处理用户输入的系统，其特征在于，配置所述系统使得所述第一图形处理和输出系统将所述用户界面的组件的渲染位图传递到所述第二图形处理和输出系统。
8.如权利要求1所述的用于处理用户输入的系统，其特征在于，所述输入处理系统被配置为通过执行代码来响应于与控件相关联的旗标，所述代码根据用户输入的接收来实施所述交叉控制行为。
9.如权利要求1所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含控件的禁用。
10.如权利要求1所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含根据控件的激活来禁用所述用户界面的一部分。
11.如权利要求10所述的用于处理用户输入的系统，其特征在于，所述控件是复选框。
12.如权利要求1所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含按钮的外观中的变化。
13.如权利要求1所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含菜单的目录、外观或行为中的变化。
14.如权利要求1所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含至少一个上下文界面元件的显示。
15.如权利要求14所述的用于处理用户输入的系统，其特征在于，所述至少一个上下文界面元件包含菜单或菜单条。
16.如权利要求14所述的用于处理用户输入的系统，其特征在于，所述至少一个上下文界面元件的显示是响应于长按的。
17.如权利要求1所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含焦点对准控件的上升。
18.如权利要求1所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含文本的插入。
19.如权利要求1所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含打开或关闭导航抽屉。
20.如权利要求1所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含呈现搜索界面。
21.一种用于处理用户输入的系统，包括：
显示器，包含用户界面的可视化；
用户输入设备，适合于输出对应于用户输入的信号；
输入处理系统，操作地连接至所述用户输入设备，所述输入处理系统适合于接收对应于用户输入的信号并发射对应于所接收信号中的至少一些的信号流；
第一图形处理和输出系统，适合于接收所述信号流中的至少一部分，且响应于所述第一图形处理和输出系统所接收的信号流中的至少一部分中的信号中的至少一些，产生可影响所述显示器上的用户界面的可视化的高等待时间数据并输出所述高等待时间数据以供所述显示器使用；
第二图形处理和输出系统，适合于接收所述信号流中的至少一部分，且响应于由所述第二图形处理和输出系统所接收的信号流中的至少一部分中的信号中的至少一些，产生可影响所述显示器上的用户界面的可视化的低等待时间数据并输出所产生的低等待时间数据以供所述显示器使用，相对于所述第一输出图形处理和输出系统输出所述高等待时间数据，所述第二图形处理和输出系统被配置为用低等待时间来输出所产生的低等待时间数据；
其中，由所述第二图形处理和输出系统接收的信号流中的至少一部分包含交叉控制行为的识别，而所产生的低等待时间数据包含反映所述交叉控制行为的数据；
以及
所述显示器被配置为将所述低等待时间数据中的至少一些和所述高等待时间数据中的至少一些融合到所述用户界面的可视化上。
22.如权利要求21所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含第一控件与第二控件之间的交互。
23.如权利要求22所述的用于处理用户输入的系统，其特征在于，所述第一控件包含按钮而所述第二控件包含窗口。
24.如权利要求21所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含选项卡目录的显示。
25.如权利要求24所述的用于处理用户输入的系统，其特征在于，所述第二图形处理和输出系统被配置为将所述选项卡目录渲染为水平排列的系列位图，且响应于输入以改变被显示的选项卡。
26.如权利要求21所述的用于处理用户输入的系统，其特征在于，配置所述系统使得所述第一图形处理和输出系统将所述用户界面的组件的渲染位图传递到所述第二图形处理和输出系统。
27.如权利要求21所述的用于处理用户输入的系统，其特征在于，所述输入处理系统被配置为通过执行代码来响应于与控件相关联的旗标，所述代码根据用户输入的接收来实施所述交叉控制行为。
28.如权利要求21所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含控件的禁用。
29.如权利要求21所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含根据控件的激活来禁用所述用户界面的一部分。
30.如权利要求29所述的用于处理用户输入的系统，其特征在于，所述控件是复选框。
31.如权利要求21所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含按钮的外观中的变化。
32.如权利要求21所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含菜单的目录、外观或行为中的变化。
33.如权利要求21所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含至少一个上下文界面元件的显示。
34.如权利要求33所述的用于处理用户输入的系统，其特征在于，所述至少一个上下文界面元件包含菜单或菜单条。
35.如权利要求33所述的用于处理用户输入的系统，其特征在于，所述至少一个上下文界面元件的显示是响应于长按的。
36.如权利要求21所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含焦点对准控件的上升。
37.如权利要求21所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含文本的插入。
38.如权利要求21所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含打开或关闭导航抽屉。
39.如权利要求21所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含呈现搜索界面。
40.一种用于处理用户输入的系统，包括：
输入子系统，包括输入设备，所述子系统适合于响应于对输入设备的多个用户输入而输出信号，所述信号包含关于所述输入的信息；
低等待时间子系统，适合于接收所述信号，且响应于所述信号中的一个或多个，产生低等待时间响应并向高等待时间子系统发送所述信号中的至少一个；
其中，由所述低等待时间子系统接收的信号包含交叉控制行为的识别，且所产生的低等待时间响应包含反映所述交叉控制行为的数据；
所述高等待时间子系统适于接收所述信号中的至少一个，并且响应于所述信号中的至少一个中的一个或多个，产生高等待时间响应；以及，
其中，相对于所述高等待时间子系统，所述低等待时间子系统用低等待时间产生所述低等待时间响应，并且相对于所述低等待时间子系统，所述高等待时间子系统用高等待时间产生所述高等待时间响应。
41.一种用于处理用户输入的系统，包括：
输入子系统，包括输入设备，所述子系统适合于响应于对输入设备的多个用户输入而输出信号，所述信号包含关于所述输入的信息；
低等待时间子系统，适合于接收所述信号，且响应于所述信号中的一个或多个，产生低等待时间响应并向高等待时间子系统发送所述信号中的至少一个；
其中，由所述低等待时间子系统接收的信号包含触发交叉控制行为的输入，所述低等待时间子系统作出所述交叉控制行为的识别，且所述低等待时间子系统产生反映所述交叉控制行为的低等待时间响应；
所述高等待时间子系统适于接收所述信号中的至少一个，并且响应于所述信号中的至少一个中的一个或多个，产生高等待时间响应；
其中，相对于所述高等待时间子系统，所述低等待时间子系统用低等待时间产生所述低等待时间响应，并且相对于所述低等待时间子系统，所述高等待时间子系统用高等待时间产生所述高等待时间响应。
42.如权利要求41所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含第一控件与第二控件之间的交互。
43.如权利要求42所述的用于处理用户输入的系统，其特征在于，所述第一控件包含按钮而所述第二控件包含窗口。
44.如权利要求41所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含选项卡目录的显示。
45.如权利要求44所述的用于处理用户输入的系统，其特征在于，所述低等待时间子系统被配置为将所述选项卡目录渲染为水平排列的系列位图，且响应于输入以改变被显示的选项卡。
46.如权利要求41所述的用于处理用户输入的系统，其特征在于，配置所述系统使得所述高等待时间子系统将所述用户界面的组件的渲染位图传递到所述低等待时间子系统。
47.如权利要求41所述的用于处理用户输入的系统，其特征在于，所述输入子系统被配置为通过执行代码来响应于与控件相关联的旗标，所述代码根据用户输入的接收来实施所述交叉控制行为。
48.如权利要求41所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含控件的禁用。
49.如权利要求41所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含根据控件的激活来禁用所述用户界面的一部分。
50.如权利要求49所述的用于处理用户输入的系统，其特征在于，所述控件是复选框。
51.如权利要求41所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含按钮的外观中的变化。
52.如权利要求41所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含菜单的目录、外观或行为中的变化。
53.如权利要求41所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含至少一个上下文界面元件的显示。
54.如权利要求53所述的用于处理用户输入的系统，其特征在于，所述至少一个上下文界面元件包含菜单或菜单条。
55.如权利要求53所述的用于处理用户输入的系统，其特征在于，所述至少一个上下文界面元件的显示是响应于长按的。
56.如权利要求41所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含焦点对准控件的上升。
57.如权利要求41所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含文本的插入。
58.如权利要求41所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含打开或关闭导航抽屉。
59.如权利要求41所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含呈现搜索界面。
60.一种用低等待时间来处理用户输入的系统，包括：
输入设备；
输入处理单元；
高等待时间子系统；
低等待时间子系统；
输入处理单元软件，适合于响应于用户输入而产生信号；以及，
输出设备；
其中，相对于所述高等待时间子系统，所述低等待时间子系统用低等待时间处理所述信号中的多个，并且相对于所述低等待时间子系统，所述高等待时间子系统用高等待时间处理所述信号中的多个；
其中，所述输入设备、所述输入处理单元、所述高等待时间子系统、所述低等待时间处理子系统、所述输入处理单元软件以及所述输出设备被安排成使得：
由所述低等待时间子系统和所述高等待时间子系统并列地处理所述信号中的至少一些，所述低等待时间子系统创建可编程的响应以用低等待时间在所述输出设备上输出，而所述高等待时间子系统创建响应以用高等待时间在所述输出设备上输出；
其中，由所述低等待时间子系统处理的所述信号中的多个包含来自所述用户的输入，响应于所述输入，所述低等待时间子系统作出交叉控制行为的识别，且所述可编程的响应包含反映所述交叉控制行为的数据；以及
当响应被输出到所述输出设备时，所述输出设备输出来自所述低等待时间子系统的响应和来自所述高等待时间子系统的响应中的一个或两者。
61.如权利要求60所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含第一控件与第二控件之间的交互。
62.如权利要求61所述的用于处理用户输入的系统，其特征在于，所述第一控件包含按钮而所述第二控件包含窗口。
63.如权利要求60所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含选项卡目录的显示。
64.如权利要求63所述的用于处理用户输入的系统，其特征在于，所述低等待时间子系统被配置为将所述选项卡目录渲染为水平排列的系列位图，且响应于输入以改变被显示的选项卡。
65.如权利要求60所述的用于处理用户输入的系统，其特征在于，配置所述系统使得所述高等待时间子系统将所述用户界面的组件的渲染位图传递到所述低等待时间子系统。
66.如权利要求60所述的用于处理用户输入的系统，其特征在于，所述输入处理单元被配置为通过执行代码来响应于与控件相关联的旗标，所述代码根据用户输入的接收来实施所述交叉控制行为。
67.如权利要求60所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含控件的禁用。
68.如权利要求60所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含根据控件的激活来禁用所述用户界面的一部分。
69.如权利要求68所述的用于处理用户输入的系统，其特征在于，所述控件是复选框。
70.如权利要求60所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含按钮的外观中的变化。
71.如权利要求60所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含菜单的目录、外观或行为中的变化。
72.如权利要求60所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含至少一个上下文界面元件的显示。
73.如权利要求72所述的用于处理用户输入的系统，其特征在于，所述至少一个上下文界面元件包含菜单或菜单条。
74.如权利要求72所述的用于处理用户输入的系统，其特征在于，所述至少一个上下文界面元件的显示是响应于长按的。
75.如权利要求60所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含焦点对准控件的上升。
76.如权利要求60所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含文本的插入。
77.如权利要求60所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含打开或关闭导航抽屉。
78.如权利要求60所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含呈现搜索界面。
79.一种用低等待时间来处理用户输入的系统，包括：
输入设备；
输出设备；
输入处理单元；
输入处理单元软件，适合于响应于用户输入而产生信号；
高等待时间响应子系统，适合于对所述信号中的至少一些创建高等待时间响应；
低等待时间响应子系统，至少部分地实施在硬件中，所述低等待时间响应子系统适合于对所述信号中的至少一些创建低等待时间响应，所述低等待时间响应子系统包含影响所述低等待时间响应的一个或多个参数；
其中，所述信号中的至少一些包含交叉控制行为的识别，所述低等待时间响应子系统包含配置为实施所述交叉控制行为的硬件，且所述低等待时间响应包含反映所述交叉控制行为的数据；
其中，关于普通的信号，所述低等待时间响应不比高等待时间响应具有更高的等待时间，且所述高等待时间响应不比所述低等待时间响应具有更低的等待时间；
其中，所述输入设备、输出设备、所述输入处理单元、输入处理单元软件、所述高等待时间响应子系统以及所述低等待时间响应子系统被安排成使得：
所述输出设备输出所述低等待时间响应和所述高等待时间响应；以及
其中，应用软件可修改影响所述低等待时间响应的所述一个或多个参数。
80.如权利要求79所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含第一控件与第二控件之间的交互。
81.如权利要求80所述的用于处理用户输入的系统，其特征在于，所述第一控件包含按钮而所述第二控件包含窗口。
82.如权利要求79所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含选项卡目录的显示。
83.如权利要求82所述的用于处理用户输入的系统，其特征在于，所述低等待时间响应子系统被配置为将所述选项卡目录渲染为水平排列的系列位图，且响应于输入以改变被显示的选项卡。
84.如权利要求79所述的用于处理用户输入的系统，其特征在于，配置所述系统使得所述高等待时间响应子系统将所述用户界面的组件的渲染位图传递到第二图形处理和输出系统。
85.如权利要求79所述的用于处理用户输入的系统，其特征在于，所述输入处理单元被配置为通过执行代码来响应于与控件相关联的旗标，所述代码根据用户输入的接收来实施所述交叉控制行为。
86.如权利要求79所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含控件的禁用。
87.如权利要求79所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含根据控件的激活来禁用所述用户界面的一部分。
88.如权利要求79所述的用于处理用户输入的系统，其特征在于，所述控件是复选框。
89.如权利要求79所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含按钮的外观中的变化。
90.如权利要求79所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含菜单的目录、外观或行为中的变化。
91.如权利要求79所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含至少一个上下文界面元件的显示。
92.如权利要求79所述的用于处理用户输入的系统，其特征在于，所述至少一个上下文界面元件包含菜单或菜单条。
93.如权利要求91所述的用于处理用户输入的系统，其特征在于，所述至少一个上下文界面元件的显示是响应于长按的。
94.如权利要求79所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含焦点对准控件的上升。
95.如权利要求79所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含文本的插入。
96.如权利要求79所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含打开或关闭导航抽屉。
97.如权利要求79所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含呈现搜索界面。
98.如权利要求79所述的用于处理用户输入的系统，其特征在于，所述交叉控制行为包含在至少两个界面元件之间的同步响应。
CN201480039838.XA 2013-07-12 2014-07-14 用限定的交叉控制行为降低控件响应等待时间 Pending CN105378639A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201361845879P 2013-07-12 2013-07-12
US61/845,879 2013-07-12
US14/046,819 2013-10-04
US14/046,819 US9507500B2 (en) 2012-10-05 2013-10-04 Hybrid systems and methods for low-latency user input processing and feedback
US14/330,522 2014-07-14
US14/330,522 US9632615B2 (en) 2013-07-12 2014-07-14 Reducing control response latency with defined cross-control behavior
PCT/US2014/046541 WO2015006776A1 (en) 2013-07-12 2014-07-14 Reducing control response latency with defined cross-control behavior

Publications (1)

Publication Number Publication Date
CN105378639A true CN105378639A (zh) 2016-03-02

Family

ID=52280666

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480039838.XA Pending CN105378639A (zh) 2013-07-12 2014-07-14 用限定的交叉控制行为降低控件响应等待时间

Country Status (11)

Country Link
US (2) US9632615B2 (zh)
JP (1) JP2016528612A (zh)
KR (1) KR20160041898A (zh)
CN (1) CN105378639A (zh)
AU (1) AU2014286961A1 (zh)
CA (1) CA2916996A1 (zh)
HK (1) HK1218965A1 (zh)
IL (1) IL243307A0 (zh)
MX (1) MX347289B (zh)
SG (1) SG11201510794TA (zh)
WO (1) WO2015006776A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9633466B2 (en) * 2014-09-29 2017-04-25 Microsoft Technology Licensing, Llc Low latency ink rendering pipeline
WO2016081610A1 (en) * 2014-11-18 2016-05-26 Tactual Labs Co. System and method for performing hit testing in a graphical user interface
US10089291B2 (en) 2015-02-27 2018-10-02 Microsoft Technology Licensing, Llc Ink stroke editing and manipulation
US20170147168A1 (en) * 2015-11-19 2017-05-25 Kabushiki Kaisha Toshiba Image processing apparatus
CN105843485B (zh) * 2016-04-13 2019-04-05 珠海市魅族科技有限公司 页面显示的方法及装置
CN113965768B (zh) * 2021-09-10 2024-01-02 北京达佳互联信息技术有限公司 直播间信息展示方法、装置、电子设备及服务器

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102414649A (zh) * 2009-04-30 2012-04-11 辛纳普蒂克斯公司 按照多个规则集合来操作触摸屏控制系统
US20130155018A1 (en) * 2011-12-20 2013-06-20 Synaptics Incorporated Device and method for emulating a touch screen using force information
CN103186329A (zh) * 2011-12-27 2013-07-03 富泰华工业（深圳）有限公司 电子设备及其触摸输入控制方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5691974A (en) 1995-01-04 1997-11-25 Qualcomm Incorporated Method and apparatus for using full spectrum transmitted power in a spread spectrum communication system for tracking individual recipient phase, time and energy
BR0014954A (pt) 1999-10-22 2002-07-30 Activesky Inc Sistema de vìdeo baseado em objetos
US7483042B1 (en) * 2000-01-13 2009-01-27 Ati International, Srl Video graphics module capable of blending multiple image layers
US6882346B1 (en) 2000-11-17 2005-04-19 Hewlett-Packard Development Company, L.P. System and method for efficiently rendering graphical data
JP3853637B2 (ja) 2001-11-02 2006-12-06 株式会社ソニー・コンピュータエンタテインメント 情報処理システム、方法及びコンピュータプログラム
US9756349B2 (en) 2002-12-10 2017-09-05 Sony Interactive Entertainment America Llc User interface, system and method for controlling a video stream
US20060114836A1 (en) 2004-08-20 2006-06-01 Sofie Pollin Method for operating a combined multimedia -telecom system
US20060031565A1 (en) 2004-07-16 2006-02-09 Sundar Iyer High speed packet-buffering system
GB0419346D0 (en) 2004-09-01 2004-09-29 Smyth Stephen M F Method and apparatus for improved headphone virtualisation
GB0502891D0 (en) 2005-02-12 2005-03-16 Next Device Ltd User interfaces
US7917784B2 (en) 2007-01-07 2011-03-29 Apple Inc. Methods and systems for power management in a data processing system
US8766955B2 (en) 2007-07-25 2014-07-01 Stmicroelectronics, Inc. Methods and apparatus for latency control in display devices
US8243970B2 (en) 2008-08-11 2012-08-14 Telefonaktiebolaget L M Ericsson (Publ) Virtual reality sound for advanced multi-media applications
US20100201636A1 (en) 2009-02-11 2010-08-12 Microsoft Corporation Multi-mode digital graphics authoring
US8171154B2 (en) 2009-09-29 2012-05-01 Net Power And Light, Inc. Method and system for low-latency transfer protocol
EP2625591A4 (en) * 2010-10-05 2014-04-30 Citrix Systems Inc TOUCH SUPPORT FOR REMOTE APPLICATIONS
US20120215531A1 (en) 2011-02-18 2012-08-23 Nuance Communications, Inc. Increased User Interface Responsiveness for System with Multi-Modal Input and High Response Latencies
US9274746B2 (en) * 2011-02-18 2016-03-01 Nuance Communications, Inc. Latency hiding techniques for multi-modal user interfaces
JP5812272B2 (ja) * 2011-09-22 2015-11-11 日本電気株式会社 情報表示方法、情報処理装置及びプログラム
JP2013092952A (ja) * 2011-10-27 2013-05-16 Sharp Corp 視認性を高める表示装置および表示方法
US9292116B2 (en) 2011-11-21 2016-03-22 Microsoft Technology Licensing, Llc Customizing operation of a touch screen
US10296205B2 (en) * 2011-12-12 2019-05-21 Sony Corporation User interface for controlling a display scale of an image
US10504485B2 (en) 2011-12-21 2019-12-10 Nokia Tehnologies Oy Display motion quality improvement
SG10201601697SA (en) * 2012-10-05 2016-04-28 Tactual Labs Co Hybrid systems and methods for low-latency user input processing and feedback

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102414649A (zh) * 2009-04-30 2012-04-11 辛纳普蒂克斯公司 按照多个规则集合来操作触摸屏控制系统
US20130155018A1 (en) * 2011-12-20 2013-06-20 Synaptics Incorporated Device and method for emulating a touch screen using force information
CN103186329A (zh) * 2011-12-27 2013-07-03 富泰华工业（深圳）有限公司 电子设备及其触摸输入控制方法

Also Published As

Publication number Publication date
JP2016528612A (ja) 2016-09-15
IL243307A0 (en) 2016-02-29
US20150077355A1 (en) 2015-03-19
MX347289B (es) 2017-04-17
AU2014286961A1 (en) 2016-01-28
SG11201510794TA (en) 2016-01-28
MX2016000254A (es) 2016-04-28
CA2916996A1 (en) 2015-01-15
US20170205946A1 (en) 2017-07-20
US9632615B2 (en) 2017-04-25
HK1218965A1 (zh) 2017-03-17
KR20160041898A (ko) 2016-04-18
US9830014B2 (en) 2017-11-28
WO2015006776A1 (en) 2015-01-15

Similar Documents

Publication Publication Date Title
US20220253185A1 (en) Hybrid systems and methods for low-latency user input processing and feedback
JP6659644B2 (ja) 応用素子の代替的グラフィック表示の事前の生成による入力に対する低レイテンシの視覚的応答およびグラフィック処理ユニットの入力処理
US9830014B2 (en) Reducing control response latency with defined cross-control behavior
US20220221970A1 (en) User interface modification
JP2016528612A5 (zh)
US11093117B2 (en) Method for controlling animation&#39;s process running on electronic devices
KR101462419B1 (ko) 벡터 도형을 드로잉하기 위한 단말기
EP3019943A1 (en) Reducing control response latency with defined cross-control behavior

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160302

RJ01 Rejection of invention patent application after publication