CN107077252B - 用于定时输入感测、渲染和显示以便最小化时延的系统和方法 - Google Patents

用于定时输入感测、渲染和显示以便最小化时延的系统和方法 Download PDF

Info

Publication number
CN107077252B
CN107077252B CN201580062765.0A CN201580062765A CN107077252B CN 107077252 B CN107077252 B CN 107077252B CN 201580062765 A CN201580062765 A CN 201580062765A CN 107077252 B CN107077252 B CN 107077252B
Authority
CN
China
Prior art keywords
touch
time period
time
rendering
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201580062765.0A
Other languages
English (en)
Other versions
CN107077252A (zh
Inventor
B·罗德里格斯德阿拉霍
R·J·J·柯斯塔
C·福林斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tactual Labs Co
Original Assignee
Tactual Labs Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tactual Labs Co filed Critical Tactual Labs Co
Publication of CN107077252A publication Critical patent/CN107077252A/zh
Application granted granted Critical
Publication of CN107077252B publication Critical patent/CN107077252B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/395—Arrangements specially adapted for transferring the contents of the bit-mapped memory to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00—Command of the display device
    • G09G2310/08—Details of timing specific for flat panels, other than clock recovery
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/18—Use of a frame buffer in a display terminal, inclusive of the display panel

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Position Input By Displaying (AREA)

Abstract

公开了用于降低触敏设备中获得触摸数据与处理相关联的渲染任务之间的时延的系统和方法，所述触敏设备具有能够以触摸采样速率产生触摸数据的触摸感测系统并且具有以刷新速率显示帧的显示系统。在实施例中，所述系统估计以下各项中的至少一项：(a)用于从所述触摸感测系统中采样触摸数据的时间段、(b)用于从采样的触摸数据中计算触摸事件数据的时间段、以及(c)用于将帧渲染到帧缓冲器的时间段。所述系统至少部分地基于所述估计来确定用于以下各项的时间段Tc：(a)从所述触摸感测系统中采样触摸数据，(b)从所采样的触摸数据中计算触摸事件数据，以及(c)将帧渲染到帧缓冲器。所述系统确定所述显示系统将从所述帧缓冲器中刷新的时间点Tr。至少部分地基于Tr和Tc计算采样开始时间。创建对所述触摸感测系统进行采样，以便在所述采样开始时间处获得采样的触摸数据。从所述采样的触摸数据中计算触摸事件数据，并且在所述时间Tr之前将反映所述触摸事件数据的帧渲染到所述帧缓冲器。然后从所述帧缓冲器中刷新所述显示器。

Description

用于定时输入感测、渲染和显示以便最小化时延的系统和 方法
技术领域
本申请整体涉及用于定时输出感测、渲染和显示以便最小化时延的系统和方法。
背景技术
可以将交互设备看作多个部件的组成，包括输入感觉、处理和渲染任务、以及输出显示。将输入感觉(例如，手指触摸)转换成视觉响应所需要的管道不是即时的；每个动作产生针对许多原因的时延，如处理信息所需要的时间或者在显示器情况下显示器用来重画其整个屏幕或其部分的频率。这样，即使这些动作并行工作，当可能时，系统也仅仅与动作中最慢的动作一样快。例如，显示器仅每60Hz刷新一次，这意味着，如果在下一个刷新循环之前，其他所有都是快速的(或可用的)，则系统被迫等待显示器准备显示新信息。
本发明的目标是降低时延(也就是说，用户对系统的输入与系统的响应于该输入的图形之间的时间)。通过将输入捕获和处理与显示器刷新同步来使能够显示最近的输入信息也是目标。目前，尽可能快地处理任何输入信息，并且经常将所述输入信息留下等待下一个刷新循环。这单独产生等待周期，并且反映在整个系统时延中。根据目前公开的方法的实施例，系统考虑何时进行下一次刷新并将其考虑在内以便及时提供最新事件以供进行渲染。
发明内容
在实施例中，刷新显示器的时间以及采样输入传感器和计算触摸点所需要的时间是已知的。由此，输入感测被延迟以便在刷新将要开始的同时结束。在实施例中，渲染在最不可能的时刻开始，从而使得其完成，并且输出为下一个显示器刷新做好准备。这种及时渲染将访问最近的输入事件；由此，所产生的显示将包括具有最小量的时延的图形。
在另一个实施例中，刷新的时间或采样输入传感器的时间先验地未知，并且需要测量。基于密钥时间戳执行测量，并且这允许我们确保时间顺序和序列。通过测量，输入采样速率和显示器刷新速率变得已知，并且对图形的渲染可以被定时为以上概述的那样，以便最小化时延。
在另一个实施例中，使用外部测量用具和用户输入(或定义为常量)来检测这种测量。
在另一个实施例中，这些测量根据系统工作量变化并且测量不精确，但是仅仅尝试降低显示器的时延。渲染输出所需要的时间是输出复杂度和计算系统活动的函数(越复杂的输出通常需要越多的时间来渲染，CPU或GPU上的计算活动可以减慢渲染，等等)。在此实施例中，系统基于以下各项中的一些组合来估计渲染时间：输出复杂度的模型；密钥系统部件上的计算活动的知识；渲染前一帧所需要的时间；以及渲染过去类似的输出所需要的时间。
在另一个实施例中，一旦显示器完成其垂直刷新并且适当的缓冲器可用于渲染，系统就渲染输出。在完成渲染后，并且直到下一个垂直刷新，系统基于由输入传感器采样的附加输入事件来更新此渲染。例如，系统可以渲染GUI的视图并且然后基于附加输入事件将其转换，直到必须显示所述渲染的时间。
附图说明
通过以下对多个优选实施例的更具体的说明，本发明的上述以及其他目的、特征、以及优点将会清楚，这些优选实施例展示在多个附图中，其中贯穿不同的示图，多个参见字符指向相同的部件。这些附图不一定是按比例的，相反将重点置于展示本发明的多项原理上。
图1示出了展示现有双缓冲解决方案的图示。
图2和图3示出了展示现有渲染方法的图示。
图4和图5示出了展示用于通过更快速地渲染并且更快速地刷新屏幕来降低延迟的解决方案的实施例的图示。
图6示出了展示目前公开的系统和方法的实施例的图示，其中，提供了一种对渲染GUI定时的系统。
具体实施方式
现在将详细参考本发明的优选实施例，在附图中展示了所述实施例的示例。以下的描述和附图是说明性的而不应该被理解为是限制性的。描述了许多具体细节来提供透彻的理解。然而，在某些情况下，未对熟知或常规的细节进行描述，以便避免模糊本说明书。对本公开中一个实施例或实施例的参考不一定是对相同实施例的参考；并且这种参考指至少一个。
本说明书的引用“一个实施例”或“实施例”意指结合实施例所描述的特定特征、结构、或特性被包括在本公开的至少一个实施例中。短语“在实施例中”在本说明书各个地方的出现不一定全都指相同的实施例，也不是指与其他实施例相互排斥的独立或备选实施例。而且，描述了在一些实施例中展示并且在其他实施例中未展示的多个特征。类似地，描述了一些实施例要求但其他实施例不要求的多个要求。
以下参见用于定时输入感测、渲染和显示以便最小化时延的方法和设备的框图和操作示意图来描述本发明。应理解，这些框图或者操作示意图中的每个方框、以及这些框图或者操作示意图中多个方框的组合可以通过模拟的或者数字的硬件以及多个计算机程序指令来实施。可以将这些计算机程序指令存储在计算机可读介质上并提供给通用计算机、专用计算机、ASIC、或者其他可编程数据处理装置的处理器，这样通过所述计算机或者其他可编程数据处理装置的处理器来执行，这些指令实施这些框图或者操作框或者多个框中指定的功能/动作。在一些替代实施方式中，这些框中所述的多个功能/动作可以以不同于这些操作示意图中所述的顺序发生。例如，连续显示的两个框实际上可基本上同时执行，或者这些框有时可按相反次序执行，取决于所涉及的功能性/动作。
可以将交互设备看作多个部件的组成，包括输入感觉、处理和渲染任务、以及输出显示。将输入感觉(例如，手指触摸)转换成视觉响应所需要的管道不是即时的；每个动作产生针对许多原因的时延，如处理信息所需要的时间或者在显示器情况下显示器用来重画其整个屏幕或其部分的频率。这样，即使这些动作并行工作，当可能时，系统也仅仅与动作中最慢的动作一样快。例如，显示器仅每60Hz刷新一次，这意味着，如果在下一个刷新循环之前，其他所有都是快速的(或可用的)，则系统被迫等待显示器准备显示新信息。
本发明的目标是降低时延(也就是说，用户对系统的输入与系统的响应于该输入的图形之间的时间)。通过将输入捕获和处理与显示器刷新同步来使能够显示最近的输入信息也是目标。目前，尽可能快地处理任何输入信息，并且经常将所述输入信息留下等待下一个刷新循环。这单独产生等待周期，并且反映在整个系统时延中。根据目前公开的方法的实施例，系统考虑何时进行下一次刷新并将其考虑在内以便及时提供最新事件以供进行渲染。
在实施例中，刷新显示器的时间以及采样输入传感器和计算触摸点所需要的时间是已知的。由此，输入感测被延迟以便在刷新将要开始的同时结束。在实施例中，渲染在最不可能的时刻开始，从而使得其完成，并且输出为下一个显示器刷新做好准备。这种及时渲染将访问最近的输入事件；由此，所产生的显示将包括具有最小量的时延的图形。
在另一个实施例中，刷新的时间或采样输入传感器的时间先验地未知，并且需要测量。基于密钥时间戳执行测量，并且这允许我们确保时间顺序和序列。通过测量，输入采样速率和显示器刷新速率变得已知，并且对图形的渲染可以被定时为以上概述的那样，以便最小化时延。
在另一个实施例中，使用外部测量用具和用户输入(或定义为常量)来检测这种测量。
在另一个实施例中，这些测量根据系统工作量变化并且测量不精确，但是仅仅尝试降低显示器的时延。渲染输出所需要的时间是输出复杂度和计算系统活动的函数(越复杂的输出通常需要越多的时间来渲染，CPU或GPU上的计算活动可以减慢渲染，等等)。在此实施例中，系统基于以下各项中的一些组合来估计渲染时间：输出复杂度的模型；密钥系统部件上的计算活动的知识；渲染前一帧所需要的时间；以及渲染过去类似的输出所需要的时间。
在另一个实施例中，一旦显示器完成其垂直刷新并且适当的缓冲器可用于渲染，系统就渲染输出。在完成渲染后，并且直到下一个垂直刷新，系统基于由输入传感器采样的附加输入事件来更新此渲染。例如，系统可以渲染GUI的视图并且然后基于附加输入事件将其转换，直到必须显示所述渲染的时间。
图1示出了现有双缓冲解决方案。在这种解决方案中，显示器在用于显示和渲染的两个缓冲器(A&B)之间“翻转”或“交换”。当缓冲器A可见时，设备渲染到缓冲器B中。在预定速率下，系统翻转/交换缓冲器，从而使得B现在可见并且可以渲染到A中。当缓冲器在画面外时，可以将其清除并渲染到其中。
图2和图3示出了现有渲染方法。使用最近的输入数据和应用状态来渲染GUI。当渲染GUI时的应用状态与其最终显示在屏幕上时的应用状态(包括输入)之间存在差异时，时延(延迟)发生。在图3中，渲染A的延迟被示出为渲染A的状态与将渲染A的结果显示在屏幕上的垂直刷新之间的时间。
图4和图5示出了用于通过更快速地渲染并且更快速地刷新屏幕来降低延迟的解决方案的实施例。例如，人们可以在其系统或其他这种环境中包括更快速的GPU，并且可以以更快速的刷新速率(即100Hz而不是60Hz)运行其显示器。以此方式，渲染的图形被更快速的创建并且更快速的显示在用户的屏幕上，由此，降低了渲染的开始与GUI到用户的显示之间的时间。只要存在清除缓冲器以及渲染屏幕的垂直刷新之间的GUI的时间，则此方法将以更加能够渲染引擎以及更快速更昂贵的显示器为代价而降低延迟。
图6示出了公开的系统和方法的实施例，其中，将对GUI的渲染定时，从而使得其一接近垂直刷新就终止。以此方式，渲染可以使用来自用户的最近可用的输入以及最近可用的应用状态来产生渲染的图像，由此降低延迟。
在实施例中，公开了用于降低触敏设备中获得触摸数据与处理相关联的渲染任务之间的时延的系统和方法，所述触敏设备具有能够以触摸采样速率产生触摸数据的触摸感测系统，并且具有以刷新速率显示帧的显示系统。所述系统估计以下各项中的至少一项：(a)用于从所述触摸感测系统中采样触摸数据的时间段、(b)用于从采样的触摸数据中计算触摸事件数据的时间段、以及(c)用于将帧渲染到帧缓冲器的时间段。所述系统至少部分地基于所述估计来确定用于以下各项的时间段Tc：(a)从所述触摸感测系统中采样触摸数据，(b)从所采样的触摸数据中计算触摸事件数据，以及(c)将帧渲染到帧缓冲器。所述系统确定所述显示系统将从所述帧缓冲器中刷新的时间点Tr。至少部分地基于Tr和Tc计算采样开始时间。创建对所述触摸感测系统进行采样，以便在所述采样开始时间处获得采样的触摸数据。从所述采样的触摸数据中计算触摸事件数据，并且在所述时间Tr之前将反映所述触摸事件数据的帧渲染到所述帧缓冲器。然后从所述帧缓冲器中刷新所述显示器。
在实施例中，系统确定从采样的触摸数据中计算触摸事件数据并且将帧渲染到帧缓冲器所需的时间段Tc，以及显示系统将从帧缓冲器中刷新的时间点Tr。对所述触摸感测系统进行采样以便产生采样的触摸数据。从所述采样的触摸数据中计算触摸事件数据，并且此计算步骤的开始被延迟以便在至少与(Tr–Tc)一样早的时间点处发生。在时间点Tr之前将帧渲染到所述帧缓冲器，并且然后从所述帧缓冲器中刷新所述显示系统。
在实施例中，提供了一种用于降低触敏设备中获得触摸数据与处理相关联的渲染任务之间的时延的系统和方法，所述触敏设备具有：(a)能够以触摸采样速率产生触摸数据并且具有采样同步的触摸感测系统，以及(b)以具有刷新同步的刷新速率显示帧的显示系统。根据采样同步，开始对触摸传感器输出进行采样，并且以采样速率将采样的输出置于采样缓冲器中。根据刷新同步，开始将帧渲染到多个显示缓冲器中的一个显示缓冲器，并且根据刷新同步，显示与渲染的帧相对应的显示图像。确定与用于收集所述采样缓冲器中的所述输出的估计时间相对应的时间段Tc，确定与用于从收集的输出中计算触摸事件数据的估计时间相对应的时间段Tm，并且确定与用于渲染与所述触摸事件数据相对应的帧的估计时间相对应的的时间段Tr。基于所述刷新同步、Tc、Tm和Tr来计算开始时间，并且同时创建收集所述采样缓冲器中的所述输出。之后，从收集的输出中计算触摸事件数据，并且渲染与所述触摸事件数据相对应的帧。
贯穿本公开，术语“触摸(touch)”、“触摸(touches)”或其他描述可以用于描述在其中传感器检测到用户的手指、触笔、目标或身体部位的事件或时间段。在一些实施例中，这些检测仅发生在用户与传感器或其具体化于其中的设备物理接触时。在其他实施例中，传感器可以调整到允许检测以一定距离悬浮在触摸表面之上或者以其他方式与触敏设备分离的“触摸”。因此，对本说明书内依赖于检测到的物理接触暗示的语言的使用不应当指所描述的技术仅适用于那些实施例；实际上，如果不是所有，则接近于本文中所描述的所有将同样地适用于“触摸(touch)”和“悬停(hover)”传感器。如本文中所使用的，短语“触摸事件”以及单词“触摸”当被用作名词时，包括近似触摸和近似触摸事件，或者可以使用传感器识别的任何其他手势。
所公开的至少一些方面可以至少部分地被具体化在软件中。也就是说，所述技术可以在特殊用途或通用计算机系统中或其他数据处理系统中响应于其处理器(如微处理器)执行存储器(如ROM、易失性RAM、非易失性存储器、高速缓存、或远程存储设备)中包含的指令序列而实现。
执行以便实现实施例的例程可以被实现为操作系统、固件、ROM、中间件、服务递送平台、SDK(软件开发套件)部件、web服务、或其他指定应用、部件、程序、对象、模块或被称为“计算机程序”的指令序列的一部分。这些例程的调用接口可以作为API(应用程序接口)暴露于软件开发社区。计算机程序典型地包括在各种时间在计算机的各种存储器和储存设备中的一个或多个指令集，并且当由计算机中的一个或多个处理器读取或执行它们时，使计算机执行必要的操作以便执行涉及各方面的元件。
机器可读介质可用于存储软件和数据，这些软件和数据当被数据处理系统执行时使该系统执行各种方法。这种可执行的软件和数据可以存储在任何地方，包括例如ROM、易失性RAM、非易失性存储器和/或高速缓存。该软件和/或数据的部分可以存储在任何一个上述存储设备中。进一步，可以从集中式服务器或对等网络中获得数据和指令。可以在不同时间处并且在不同通信会话或相同通信会话中从不同集中式服务器和/或对等网络中获得数据和指令的不同部分。在执行应用之前可以以其全部获得数据和指令。可替代地，当需要执行时，可动态地(仅实时)获得数据和指令的部分。因此，不需要数据和指令在特定的时间时刻以其整体处于机器可读介质上。
计算机可读介质的示例包括但不限于可记录和不可记录类型的介质，如易失性和非易失性存储器设备、只读存储器(ROM)、随机存取存储器(RAM)、闪存设备、软盘以及其他可移动磁盘、磁盘存储介质、光存储介质(例如，压缩盘只读存储器(CD ROM)、数字通用盘(DVD)等)等等。
通常，机器可读介质包括以机器(如计算机、网络设备、个人数字助理、制造工具、具有一个或多个处理器集合的任何设备)可访问的形式提供(例如，存储)信息的任何机构。
在各种实施例中，硬连线电路可以与软件指令相结合使用来实现所述技术。由此，所述技术不限于硬件电路系统和软件的任何特定组合，也不限于数据处理系统执行的指令的任何特定源。
以上实施例和参考是对本发明的说明。本专利既不必须也不意在概括或限定每个可能的组合或实施例。发明者已经公开了足够的信息来允许本领域技术人员实践本发明的至少一个实施例。上述描述和附图仅用于说明本发明，并且在不脱离本发明的如以下权利要求书中限定的范围的情况下，改变部件、结构和过程是可能的。例如，以上描述的和/或在以下权利要求书中的采用特定顺序的元件和/或步骤可以在不脱离本发明的范围的情况下以不同顺序实践。因此，尽管已经参照实施例具体示出和和描述了本发明，但是本领域技术人员将理解，在不脱离本发明的精神和范围的情况下，可以在形式和细节上作出各种变化。

Claims (33)

1.一种用于降低触敏设备中获得触摸数据与处理相关联的渲染任务之间的时延的方法，所述触敏设备具有能够以触摸采样速率产生触摸数据的触摸感测系统并且具有以周期性的刷新速率显示帧的显示系统，所述帧将输入反映到所述触摸感测系统，所述方法包括：
估计以下各项中的至少一项：(a)用于从所述触摸感测系统中采样触摸数据的时间段，(b)用于从采样的触摸数据中计算触摸事件数据的时间段，以及(c)用于将帧渲染到帧缓冲器的时间段；
至少部分地基于所述估计来确定用于以下各项的时间段Tc：(a)从所述触摸感测系统中采样触摸数据，(b)从采样的触摸数据中计算触摸事件数据，以及(c)将帧渲染到帧缓冲器；
确定从所述帧缓冲器中刷新所述显示系统的时间点Tr；
至少部分地基于Tr和Tc计算采样开始时间；
创建对所述触摸感测系统进行采样，以便在所述采样开始时间处获得所采样的触摸数据；
从所述采样的触摸数据中计算触摸事件数据；
在所述时间点Tr之前将反映所述触摸事件数据的帧渲染到所述帧缓冲器；以及，
从所述帧缓冲器中刷新所述显示系统。
2.如权利要求1所述的方法，其中，从所述帧缓冲器中刷新所述显示系统的步骤包括交换双缓冲器的第一缓冲器和第二缓冲器。
3.如权利要求1所述的方法，其中，确定时间段的步骤包括测量以下各项中的至少一项：(a)用于从所述触摸感测系统中采样触摸数据的所述时间段；(b)用于从所采样的触摸数据中计算触摸事件数据的所述时间段；以及(c)用于将帧渲染到所述帧缓冲器的所述时间段。
4.如权利要求1所述的方法，其中，确定时间段的步骤包括测量先前用于以下各项所需要的时间段：从所述触摸感测系统中采样触摸数据；从采样的触摸数据中计算触摸事件数据；以及将前一帧渲染到所述帧缓冲器。
5.如权利要求1所述的方法，其中，确定时间段的步骤包括测量所述显示系统的所述刷新速率。
6.如权利要求1所述的方法，其中，迭代地执行确定时间段的步骤。
7.如权利要求1所述的方法，其中，利用时间戳和所述刷新速率执行确定所述时间点Tr的步骤。
8.如权利要求1所述的方法，其中，确定所述时间段的步骤包括确定先验时间段。
9.如权利要求8所述的方法，其中，确定先验时间段的步骤包括在不利用测量的情况下确定时间段。
10.如权利要求1所述的方法，其中，用于将帧渲染到帧缓冲器的所述时间段包括用于完成将所述帧渲染到所述帧缓冲器以及将针对所述帧的数据写入到所述帧缓冲器的时间段。
11.如权利要求1所述的方法，其中，渲染的开始被延迟直到允许渲染完成的时间且所述渲染的输出在所述显示系统刷新之前在预定时间段中准备好。
12.一种用于降低触敏设备中获得触摸数据与处理相关联的渲染任务之间的时延的方法，所述触敏设备具有能够以触摸采样速率产生触摸数据的触摸感测系统以及以周期性的刷新速率显示帧的显示系统，所述帧将输入反映到所述触摸感测系统，所述方法包括：
确定从采样的触摸数据中计算触摸事件数据以及将帧渲染到帧缓冲器所需要的时间段Tc；
确定所述显示系统将从所述帧缓冲器中刷新的时间点Tr；
对所述触摸感测系统进行采样以便产生采样的触摸数据；
从所述采样的触摸数据中计算触摸事件数据，所述计算步骤的开始被延迟以便在至少与(Tr–Tc)一样早的时间点处发生；
在所述时间点Tr之前将帧渲染到所述帧缓冲器；以及
从所述帧缓冲器中刷新所述显示系统。
13.如权利要求12所述的方法，其中，从所述帧缓冲器中刷新所述显示系统的步骤包括交换双缓冲器的第一缓冲器和第二缓冲器。
14.如权利要求12所述的方法，其中，确定时间段的步骤包括测量先前用于从采样的触摸数据中计算触摸事件数据所需要的时间段。
15.如权利要求12所述的方法，其中，确定时间段的步骤包括测量所述显示系统的所述刷新速率。
16.如权利要求12所述的方法，其中，迭代地执行确定时间段的步骤。
17.如权利要求12所述的方法，其中，利用时间戳和所述刷新速率执行确定所述时间点Tr的步骤。
18.如权利要求12所述的方法，其中，确定所述时间段的步骤包括确定先验时间段。
19.如权利要求18所述的方法，其中，确定先验时间段的步骤包括在不利用测量的情况下确定时间段。
20.如权利要求12所述的方法，其中，用于将帧渲染到帧缓冲器的所述时间段包括用于完成将所述帧渲染到所述帧缓冲器以及将针对所述帧的数据写入到所述帧缓冲器的时间段。
21.如权利要求12所述的方法，其中，渲染的开始被延迟直到允许渲染完成的时间且所述渲染的输出在所述显示系统刷新之前在预定时间段中准备好。
22.一种用于降低触敏设备中获得触摸数据与处理相关联的渲染任务之间的时延的方法，所述触敏设备具有：
(a)触摸感测系统，所述触摸感测系统能够以触摸采样速率产生触摸数据并且具有采样同步，以及
(b)显示系统，所述显示系统以具有刷新同步的周期性的刷新速率来显示帧，
所述方法包括：
根据采样同步，开始对触摸传感器输出进行采样，并且以采样速率将采样的输出置于采样缓冲器中；
根据刷新同步，开始将帧渲染到多个显示缓冲器中的一个；
根据刷新同步，在触摸屏上显示与渲染的帧相对应的显示图像；
确定与用于收集所述采样缓冲器中的所述输出的估计时间相对应的时间段T1；
确定与用于从收集的输出中计算触摸事件数据的估计时间相对应的时间段T2；
确定与用于渲染与所述触摸事件数据相对应的帧的估计时间相对应的时间段T3；
基于所述刷新同步、T1、T2、和T3计算开始时间；以及
创建在所述开始时间处收集所述采样缓冲器中的所述输出；以及之后，从收集的输出中计算触摸事件数据并且渲染与所述触摸事件数据相对应的帧。
23.如权利要求22所述的方法，其中，确定时间段Tc的步骤包括测量先前用于从所述触摸感测系统中采样触摸数据所需要的时间段。
24.如权利要求22所述的方法，其中，确定时间段Tm的步骤包括测量先前用于从采样的触摸数据中计算触摸事件数据所需要的时间段。
25.如权利要求22所述的方法，其中，确定时间段Tr的步骤包括测量先前用于将前一帧渲染到所述帧缓冲器所需要的时间段。
26.如权利要求22所述的方法，其中，确定所述时间段T1、确定所述时间段T2、或确定所述时间段T3的步骤中的至少一个步骤包括测量所述显示系统的所述刷新速率。
27.如权利要求22所述的方法，其中，迭代地执行确定时间段的步骤。
28.如权利要求22所述的方法，其中，利用时间戳和所述刷新速率执行确定所述时间点Tr的步骤。
29.如权利要求22所述的方法，其中，确定时间段的步骤中的至少一个步骤包括确定先验时间段。
30.如权利要求29所述的方法，其中，确定先验时间段的步骤包括在不利用测量的情况下确定时间段。
31.如权利要求22所述的方法，其中，用于渲染帧的所述时间段包括用于完成将所述帧渲染到所述帧缓冲器以及将针对所述帧的数据写入到所述帧缓冲器的时间段。
32.如权利要求22所述的方法，其中，渲染的开始被延迟直到允许渲染完成的时间且所述渲染的输出在所述显示系统刷新之前在预定时间段中准备好。
33.一种用于降低触敏设备中获得触摸数据与处理相关联的渲染任务之间的时延的方法，所述触敏设备具有能够以触摸采样速率产生触摸数据的触摸感测系统以及以周期性的刷新速率显示帧的显示系统，所述帧将输入反映到所述触摸感测系统，所述方法包括：
估计以下各项中的至少一项：(a)用于从所述触摸感测系统中采样触摸数据的时间段，(b)用于从采样的触摸数据中计算触摸事件数据的时间段，以及(c)用于将帧渲染到帧缓冲器的时间段；
至少部分地基于所述估计来确定用于以下各项的时间段Tc：(a)从所述触摸感测系统中采样触摸数据，(b)从采样的触摸数据中计算触摸事件数据，以及(c)将帧渲染到帧缓冲器；
确定从所述帧缓冲器中刷新所述显示系统的时间点Tr；
基于Tr和Tc计算采样开始时间；
创建对所述触摸感测系统进行采样，以便在所述采样开始时间处获得采样的触摸数据；
从所述采样的触摸数据中计算触摸事件数据；
在所述时间点Tr之前将反映所述触摸事件数据的帧渲染到所述帧缓冲器；以及，
从所述帧缓冲器中刷新所述显示系统。
CN201580062765.0A 2014-11-18 2015-11-18 用于定时输入感测、渲染和显示以便最小化时延的系统和方法 Expired - Fee Related CN107077252B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462081261P 2014-11-18 2014-11-18
US62/081,261 2014-11-18
PCT/US2015/061364 WO2016081615A1 (en) 2014-11-18 2015-11-18 System and method for timing input sensing, rendering, and display to minimize latency

Publications (2)

Publication Number Publication Date
CN107077252A CN107077252A (zh) 2017-08-18
CN107077252B true CN107077252B (zh) 2020-03-10

Family

ID=56014520

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580062765.0A Expired - Fee Related CN107077252B (zh) 2014-11-18 2015-11-18 用于定时输入感测、渲染和显示以便最小化时延的系统和方法

Country Status (12)

Country Link
US (3) US9971443B2 (zh)
EP (1) EP3221777B1 (zh)
JP (1) JP2018503155A (zh)
KR (1) KR20170084118A (zh)
CN (1) CN107077252B (zh)
AU (1) AU2015350016A1 (zh)
BR (1) BR112017010463A2 (zh)
CA (1) CA2965733A1 (zh)
IL (1) IL251915B (zh)
MX (1) MX2017006365A (zh)
SG (1) SG11201703438YA (zh)
WO (1) WO2016081615A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107077252B (zh) * 2014-11-18 2020-03-10 触觉实验室股份有限公司 用于定时输入感测、渲染和显示以便最小化时延的系统和方法
US10488981B2 (en) * 2014-11-26 2019-11-26 Samsung Display Co., Ltd. System and method of measuring continuous touch controller latency
WO2016200740A1 (en) * 2015-06-07 2016-12-15 Apple Inc. Latency reduction for detached content
KR102671404B1 (ko) * 2016-12-12 2024-05-31 삼성전자주식회사 모션 기반 영상을 처리하는 방법 및 장치
US10832632B2 (en) * 2018-03-14 2020-11-10 Samsung Display Co., Ltd. Low power architecture for mobile displays
CN110609645B (zh) 2019-06-25 2021-01-29 华为技术有限公司 一种基于垂直同步信号的控制方法及电子设备
CN113126791B (zh) * 2019-12-31 2022-11-22 荣耀终端有限公司 一种时间戳记录设备、系统、方法、介质及装置
KR20220004894A (ko) * 2020-07-03 2022-01-12 삼성전자주식회사 터치 입력의 디스플레이 출력 지연을 줄이는 디바이스 및 방법
GB202012559D0 (en) 2020-08-12 2020-09-23 Samsung Electronics Co Ltd Reducing latency between receiving user input and displaying resulting frame
CN111984181A (zh) * 2020-09-09 2020-11-24 Oppo（重庆）智能科技有限公司 一种画面刷新方法、装置、终端设备及存储介质
KR20220105390A (ko) * 2021-01-20 2022-07-27 삼성전자주식회사 전자 장치 및 전자 장치의 전자 펜 포인터 표시 방법
TWI766619B (zh) * 2021-03-17 2022-06-01 元太科技工業股份有限公司 電子紙顯示裝置及其操作方法
CN113407138B (zh) * 2021-06-30 2022-07-29 腾讯科技（深圳）有限公司 应用程序的画面处理方法、装置、电子设备及存储介质
CN114115688B (zh) * 2021-11-23 2023-08-01 北京字节跳动网络技术有限公司 抑制显示抖动的方法及装置、电子设备、存储介质
KR20230099898A (ko) 2021-12-28 2023-07-05 삼성전자주식회사 측위를 위한 센싱 시점을 독립적으로 관리 및 이용하는 방법 및 전자 장치
CN114647336A (zh) * 2022-03-15 2022-06-21 Oppo广东移动通信有限公司 一种点击延时测量方法、装置、存储介质及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102857805A (zh) * 2012-09-18 2013-01-02 深圳市路畅科技股份有限公司 一种移动终端信号的处理方法及装置
CN103026323A (zh) * 2010-07-20 2013-04-03 Lg电子株式会社 图像显示设备和操作该图像显示设备的方法
CN103617031A (zh) * 2013-11-20 2014-03-05 广东威创视讯科技股份有限公司 图像渲染的方法和装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI506606B (zh) * 2010-11-05 2015-11-01 Novatek Microelectronics Corp 觸控顯示裝置的觸控控制器及其驅動方法
CA2806371C (en) * 2012-02-17 2016-08-09 Qnx Software Systems Limited System and method for sample rate adaption
US20130271487A1 (en) * 2012-04-11 2013-10-17 Research In Motion Limited Position lag reduction for computer drawing
US10282033B2 (en) * 2012-06-01 2019-05-07 E Ink Corporation Methods for updating electro-optic displays when drawing or writing on the display
US8487895B1 (en) * 2012-06-26 2013-07-16 Google Inc. Systems and methods for enhancing touch event processing performance
US9116390B2 (en) * 2012-08-27 2015-08-25 Microsoft Technology Licensing, Llc Touch sensing liquid crystal display compatible with linearly polarized sunglasses
US20140062899A1 (en) * 2012-08-31 2014-03-06 Au Optronics Corporation Dynamic stop display driving mechanism for touch sensing
US20140071062A1 (en) * 2012-09-13 2014-03-13 Silicon Integrated Systems Corp. Method for increasing touch sampling rate and touch display device using the same
US8797340B2 (en) * 2012-10-02 2014-08-05 Nvidia Corporation System, method, and computer program product for modifying a pixel value as a function of a display duration estimate
US9430067B2 (en) * 2013-01-11 2016-08-30 Sony Corporation Device and method for touch detection on a display panel
US9703473B2 (en) * 2013-01-24 2017-07-11 Facebook, Inc. Predicting touch input
TWI507937B (zh) * 2013-02-07 2015-11-11 Mstar Semiconductor Inc 觸控偵測方法及其裝置
JP5865287B2 (ja) * 2013-03-29 2016-02-17 株式会社ジャパンディスプレイ 電子機器および電子機器の制御方法
US10338725B2 (en) * 2014-09-29 2019-07-02 Microsoft Technology Licensing, Llc Wet ink predictor
CN107077252B (zh) * 2014-11-18 2020-03-10 触觉实验室股份有限公司 用于定时输入感测、渲染和显示以便最小化时延的系统和方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103026323A (zh) * 2010-07-20 2013-04-03 Lg电子株式会社 图像显示设备和操作该图像显示设备的方法
CN102857805A (zh) * 2012-09-18 2013-01-02 深圳市路畅科技股份有限公司 一种移动终端信号的处理方法及装置
CN103617031A (zh) * 2013-11-20 2014-03-05 广东威创视讯科技股份有限公司 图像渲染的方法和装置

Also Published As

Publication number Publication date
AU2015350016A1 (en) 2017-05-11
US20190384448A1 (en) 2019-12-19
IL251915A0 (en) 2017-06-29
JP2018503155A (ja) 2018-02-01
WO2016081615A1 (en) 2016-05-26
EP3221777A1 (en) 2017-09-27
US20160188088A1 (en) 2016-06-30
BR112017010463A2 (pt) 2018-04-03
IL251915B (en) 2019-09-26
US9971443B2 (en) 2018-05-15
US11009994B2 (en) 2021-05-18
CN107077252A (zh) 2017-08-18
EP3221777B1 (en) 2019-12-25
US10402009B2 (en) 2019-09-03
EP3221777A4 (en) 2018-08-22
US20180260074A1 (en) 2018-09-13
MX2017006365A (es) 2017-08-21
KR20170084118A (ko) 2017-07-19
CA2965733A1 (en) 2016-05-26
SG11201703438YA (en) 2017-06-29

Similar Documents

Publication Publication Date Title
CN107077252B (zh) 用于定时输入感测、渲染和显示以便最小化时延的系统和方法
US9552644B2 (en) Motion analysis method and apparatus
JP2019057298A5 (zh)
EP2629182B1 (en) System and method for sample rate adaption
JP2020532902A5 (zh)
US9116614B1 (en) Determining pointer and scroll gestures on a touch-sensitive input device
US10019087B2 (en) Touch input method and apparatus
CN104142807A (zh) 基于安卓控件利用OpenGL绘制图像的方法和系统
WO2017136554A1 (en) System and method for timing input sensing, rendering, and display to minimize latency
EP3852070A1 (en) Information processing device, drawing control method, and recording medium having said program recorded thereon
WO2018098960A1 (zh) 一种触屏设备操作方法及触屏设备
US9946398B2 (en) System and method for timing input sensing, rendering, and display to minimize latency
US10350493B2 (en) Information processing program and information processing method
CN106371598B (zh) 一种基于可穿戴设备的启动搜题方法和系统
CN106796472B (zh) 分离内容的延迟缩短
WO2018161421A1 (zh) 终端设备的触摸显示屏幕的性能测试方法和性能测试装置
Yoren et al. How to collect haptic expressions of spontaneous emotions? Methodological considerations
CN117631941A (zh) 图像更新方法、装置及电子设备
Chu et al. A Platform for Measuring the Response Time of Smartphones.
CN112306360A (zh) 用于学习机的人机交互方法和装置
JPWO2019058943A1 (ja) プログラム
CN116089193A (zh) 一种掉帧检测方法、装置、设备及可读存储介质
US20170039999A1 (en) Photon latency measurement system and method
JP2018507050A (ja) 動きデータを用いて休息期間の終点を決定するためのシステム、方法及び装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200310

Termination date: 20211118