CN104111793A - 利用图像覆盖来减小显示滞后的系统、方法和装置 - Google Patents

利用图像覆盖来减小显示滞后的系统、方法和装置 Download PDF

Info

Publication number
CN104111793A
CN104111793A CN201410160467.2A CN201410160467A CN104111793A CN 104111793 A CN104111793 A CN 104111793A CN 201410160467 A CN201410160467 A CN 201410160467A CN 104111793 A CN104111793 A CN 104111793A
Authority
CN
China
Prior art keywords
touch
image
video image
logic
cover data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410160467.2A
Other languages
English (en)
Other versions
CN104111793B (zh
Inventor
F.塞托
熊炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Display Co Ltd
Original Assignee
Samsung Display Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Display Co Ltd filed Critical Samsung Display Co Ltd
Publication of CN104111793A publication Critical patent/CN104111793A/zh
Application granted granted Critical
Publication of CN104111793B publication Critical patent/CN104111793B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04164—Connections between sensors and controllers, e.g. routing lines between electrodes and connection pads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)

Abstract

本申请提供了利用图像覆盖来减小显示滞后的系统、方法和加速器。系统包括：触摸路径逻辑，被配置为接收多个触摸事件并基于触摸事件生成输出；以及渲染逻辑，被配置为：接收视频图像；接收触摸路径逻辑的输出；根据触摸路径逻辑的输出将视频图像与覆盖数据相组合以生成组合显示图像；以及输出组合显示图像。

Description

利用图像覆盖来减小显示滞后的系统、方法和装置
相关申请的交叉引用
本申请要求2013年4月22日递交的标题为“利用图像覆盖来减小显示滞后的方法和装置”、序列号为61/814,750的美国临时申请的优先权和权益，这里通过引用并入该美国临时申请的全部内容。
技术领域
本发明的实施例涉及具有触摸输入设备的显示设备，更具体而言涉及用于减小触摸输入设备与显示设备之间的显示滞后（display lag）的系统和方法。
背景技术
包含或耦合到覆盖的触摸传感器面板的显示面板为诸如移动电话、平板计算机、膝上型计算机和桌面型计算机之类的能够触摸的计算设备提供了交互系统。在这种计算设备中，图形被显示在显示面板上，并且用户可通过触摸屏幕（例如利用主动式触控笔、被动式触控笔或者诸如手指之类的身体部分）来与这些设备交互，从而提供了直观的用户界面。
由触摸传感器面板检测到的触摸事件通常由在设备的应用处理器（application processor，AP）上运行的高级应用软件来处理。触摸传感器面板与AP之间的许多处理步骤以及AP上的非确定处理时间（包括由于AP执行的其他计算任务引起的延迟）引入了较长的等待时间（例如70至100毫秒），而这种等待时间降低了计算设备对用户的触摸输入的响应性。
一些经验研究表明，大多数人可以察觉到感觉——例如触摸和视觉——之间的甚至30毫秒的不同步（例如参见Keetels,M.and Vroomen,J.(2012).Perception of Synchrony Between the Senses.In M.M.Murray and M.T.Wallace(Eds.),Frontiers in the neural basis of multisensory processes(pp.147–177).London:Taylor&Francis Group）。50至200毫秒的延迟对于这些计算设备的大多数用户来说将是可察觉的，这可导致由于计算设备未能立即对用户的输入提供反馈而引起的用户挫败感的增加。
发明内容
本发明的实施例的各方面涉及减少触摸事件与对此触摸事件的显示响应之间的等待时间。
根据本发明的一个实施例，一种系统包括：触摸路径逻辑，被配置为接收多个触摸事件并基于触摸事件生成输出；以及渲染逻辑，被配置为：接收视频图像；接收触摸路径逻辑的输出；根据触摸路径逻辑的输出将视频图像与覆盖数据相组合以生成组合显示图像；以及输出组合显示图像。
视频图像可包括显示的线条，并且覆盖数据的特性可匹配显示的线条的特性。
特性可包括颜色。
触摸路径逻辑可以是应用处理器的组件，应用处理器被配置为生成视频图像。
触摸路径逻辑可以是显示驱动器接口控制器的组件，显示驱动器接口控制器可被配置为从应用处理器接收视频图像并且将组合显示图像提供给显示面板。
触摸路径逻辑可以是与触摸传感器面板耦合的触摸控制器的组件，触摸控制器可被配置为从触摸传感器面板接收多个触摸信号并生成触摸事件。
触摸路径逻辑可被配置为从触摸传感器面板接收触摸事件并根据接收到的触摸事件来生成掩模数据，掩模数据包括数值的矩阵，每个数值标识渲染逻辑产生组合显示图像的操作，并且其中，矩阵内的数值的位置可对应于组合显示图像中的像素的位置。
渲染逻辑可被配置为通过对于组合显示图像中的每个像素根据掩模数据中的相应位置处的值确定是输出视频图像的相应像素还是输出覆盖数据来将视频图像与覆盖数据相组合。
渲染逻辑可被配置为通过对于组合显示图像中的每个像素根据掩模数据中的相应位置处的值确定如何混合视频图像的相应像素和覆盖数据来将视频图像与覆盖数据相组合。
混合可以是边缘增强操作、加亮操作、减暗操作、或者阿尔法合成效果。
掩模数据的每个数值可对应于组合显示图像中的正好一个像素。
掩模数据的每个数值可对应于组合显示图像中的多于一个像素。
覆盖数据可包括多个页，并且掩模数据可包括标识多个页中的至少一个页的信息。
触摸路径逻辑还可被配置为：接收参数；根据触摸事件来计算估计触摸路径；以及根据估计触摸路径和参数来生成掩模数据，其中参数控制掩模区域的位置或者控制估计触摸路径的宽度、式样或形状。
系统还可包括：应用处理器，被配置为生成视频图像，其中渲染逻辑可以是应用处理器的组件。
渲染逻辑还可被配置为基于触摸事件的子集来将视频图像与覆盖数据相组合，该子集对应于固定数目的视频图像。
渲染逻辑还可被配置为基于触摸事件的子集来将视频图像与覆盖数据相组合，该子集对应于一定数目的视频图像：该数目对应于由被配置为向渲染逻辑提供视频图像的应用处理器所引入的延迟。
渲染逻辑还可被配置为基于触摸事件的子集来将视频图像与覆盖数据相组合，该子集对应于一定数目的视频图像：该数目是根据被配置为向渲染逻辑提供视频图像的应用处理器的先前渲染输出计算出的。
覆盖数据可包括位映射图像。
覆盖数据可具有单一颜色值。
渲染逻辑可被配置为在没有来自应用处理器的输入的情况下生成覆盖数据。
渲染逻辑可被配置为利用从应用处理器提供的数据和系统内部的数据来生成覆盖数据。
渲染逻辑可被配置为从应用处理器接收覆盖数据。
触摸事件可以是作为指点工具与触摸输入面板之间的交互的结果而生成的。
根据本发明的一个实施例，一种用于对触摸输入提供视觉反馈的方法包括：从耦合到显示器的触摸传感器面板接收多个触摸事件；接收视频图像；根据触摸事件将视频图像与覆盖数据相组合以生成组合显示图像；以及将组合显示图像提供给显示器。
该方法还可包括：接收参数；以及根据触摸事件来计算估计触摸路径，其中，可根据估计触摸路径和参数来将视频图像与覆盖数据相组合，并且其中，参数可控制覆盖数据在组合显示图像中的位置或者可控制估计触摸路径的宽度、式样或形状。
该方法还可包括根据触摸事件来计算估计触摸路径，其中，可根据估计触摸路径来将视频图像与覆盖数据相组合，并且其中，可基于触摸事件的子集来计算估计触摸路径，该子集对应于固定数目的帧。
该方法还可包括根据触摸事件来计算估计触摸路径，其中，可根据估计触摸路径来将视频图像与覆盖数据相组合，并且其中，可基于触摸事件的子集来计算估计触摸路径，该子集对应于如下数目的帧：该数目对应于由应用处理器引入的延迟。
该方法还可包括根据触摸事件来计算估计触摸路径，其中，可根据估计触摸路径来将视频图像与覆盖数据相组合，并且其中，可基于触摸事件的子集来计算估计触摸路径，该子集对应于如下数目的帧：该数目是根据应用处理器的先前渲染输出计算出的。
覆盖数据可包括位映射图像。
覆盖数据可具有单一颜色值。
该方法还可包括在没有来自应用处理器的输入的情况下生成覆盖数据。
该方法还可包括利用从应用处理器提供的数据和内部数据来生成覆盖数据。
该方法还可包括从应用处理器接收覆盖数据。
根据触摸事件将视频图像与覆盖数据相组合以生成组合显示图像可包括：基于触摸事件来生成掩模数据，掩模数据包括数值的矩阵，每个数值标识产生组合显示图像的操作，并且其中，矩阵内的数值的位置对应于组合显示图像中的像素的位置。
该方法还可包括：对于组合显示图像中的每个像素，根据掩模数据中的相应位置处的值确定是输出视频图像的相应像素还是输出覆盖数据。
该方法还可包括：对于组合显示图像中的每个像素，根据掩模数据中的相应位置处的值确定如何混合视频图像的相应像素和覆盖数据。
混合可以是边缘增强操作、加亮操作、减暗操作、或者阿尔法合成效果。
掩模数据的每个数值可对应于组合显示图像中的正好一个像素。
掩模数据的每个数值可对应于组合显示图像中的多于一个像素。
覆盖数据可包括多个页，并且掩模数据可包括标识多个页中的至少一个页的信息。
触摸事件可以是作为指点工具与触摸输入面板之间的交互的结果而生成的。
根据本发明的一个实施例，一种加速器，用于响应于在显示设备上描绘的路径而提供反馈，该显示设备包括触摸传感器面板、应用处理器和显示器，该加速器包括：处理器；以及存储器，其上存储有指令，这些指令当被处理器执行时使得处理器：从应用处理器接收渲染视频帧；从触摸传感器面板接收多个触摸信号；基于触摸信号确定触摸路径；基于触摸路径和存储的覆盖数据来更新渲染视频帧以生成更新的视频帧；以及将更新的视频帧输出到显示器。
附图说明
附图与说明书一起阐明了本发明的示范性实施例并且与描述一起用来说明本发明的原理。
图1A图示出包括传统的触摸输入处理设备的设备的响应，并且图1B图示出包括根据本发明的实施例的触摸输入处理设备的设备的响应。
图2是根据本发明的实施例的一方面的低等待时间反馈路径和传统反馈路径两者的示意性图示。
图3是图示出包括根据本发明的一个实施例的低等待时间覆盖系统的设备的框图。
图4是图示出根据本发明的一个实施例的低等待时间覆盖系统内的组件的框图。
图5是根据本发明的一个实施例的将视频图像数据、覆盖数据和触摸路径信息相组合来生成第一组合显示图像的示意性图示。
图6是根据本发明的一个实施例的将视频图像数据、覆盖数据和触摸路径信息相组合来生成第二组合显示图像的示意性图示。
图7是图示出根据本发明的一个实施例的用于确定覆盖数据的应用并将覆盖数据与视频图像相组合的方法的流程图。
具体实施方式
在以下详细描述中，只是以举例说明的方式示出和描述了本发明的某些示范性实施例。正如本领域技术人员将会认识到的，本发明可以以许多不同的形式来实现，而不应当被解释为限于本文记载的实施例。贯穿说明书各处，相似的标号指代相似的元素。
本发明的实施例通过在应用处理器渲染图像之前基于触摸位置显示图像来允许用户感知到更快的触摸响应。
为触摸界面设计的软件经常利用对伪“真实世界”物体的直接物理操作的比拟和/或屏幕上路径的描绘来提供视觉反馈（例如，对于在挥扫型或基于手势的屏上键盘上手指的踪迹、对于绘画或速写应用中的路径的踪迹、以及对于在游戏中描绘的路径）。
对于移动电话的常见抱怨是用户界面（UI）的滞后。当前的移动电话响应于触摸动作通常要花50至200毫秒来更新显示。例如，在Galaxy2电话上测量到的对触摸事件的典型显示响应时间可大于100毫秒或者基于60帧每秒（FPS）的刷新率可大致超过6帧视频图像，这是大部分用户可以注意到的。
图1A图示出包括作为对比（comparable）触摸输入处理设备的设备的响应，其中显示的线条100在手指的位置与显示的线条100的最后描绘部分之间具有间隙102，从而导致了用户的触摸与显示的线条之间的明显显示滞后。当使用触控笔——无论是主动式还是被动式——的时候，也通常会遇到类似的显示滞后。
本发明的实施例通过提前于AP渲染图像在触摸路径中覆盖图像来允许了用户感知到更快的触摸响应。通过闭合用户的触摸点（无论是使用手指、触控笔还是其他工具）与屏幕上线条的描绘之间的间隙，可以减小感知到的显示滞后。就本文使用的而言，术语“覆盖”（overlay）当用作动词时指的是将视频图像（例如AP渲染图像）与附加图像数据相组合，以使得该附加图像数据替换（或“覆盖”）原始视频图像的某个部分。术语“覆盖”当用作名词时也可以指该附加图像数据在组合显示图像中的出现。
此外，通过使用覆盖方法，应用软件还可控制所显示的对触摸事件的响应的区域（例如在显示器上的位置）、颜色和渲染操作。
图1B图示出包括根据本发明的实施例的触摸输入处理设备的设备的显示响应，其中显示的线条包括由根据本发明的实施例的低等待时间覆盖系统描绘的估计或计算出的部分104，从而减小了用户感知到的显示滞后。
参考图2，在计算设备250中，作为对对比系统的替换，本发明的实施例涉及一种低等待时间覆盖系统（其也可称为“加速器”或“视觉反馈加速器”），其在通过触摸控制器200和显示驱动器接口控制器（display driverinterface controller，DDIC）204的低等待时间路径212上立即或更迅速地提供视觉反馈，然后在通过应用处理器202的传统等待时间路径210上以传统水平的等待时间提供视觉图像。
参考图3，通常，触摸屏系统和显示系统独立地操作。触摸控制器200处理来自触摸传感器面板300的触摸信号302，并且向应用处理器（AP）202输出触摸事件304，例如坐标。
参考图3，触摸传感器面板300被配置为检测用户的触摸并生成触摸信号302，这些触摸信号302通过数据总线被提供给触摸控制器200。本发明的实施例可与触摸传感器面板300一起使用，该触摸传感器面板300检测使用诸如身体部分（例如手指）、触控笔等等之类的任何类型的指点工具（pointingimplement）的用户触摸。就本文使用的而言，术语“指点工具”指的是能够被触摸传感器面板300检测到的物体，包括设备（例如主动式触控笔和被动式触控笔）和身体部分（例如手指或手部）。本发明的实施例可与诸如以下的多种类型的触摸输入面板中的任何一种一起使用：电阻式触摸面板、表面声波触摸面板、电容式触摸面板、红外触摸面板、和光触摸面板。在一个实施例中，触摸信号302对应于由触摸传感器面板300提供的原始数据，例如对触摸传感器面板中的每个位置的电容或电压或电流的测量结果。用于触摸事件304的数据总线连接到AP202和低等待时间覆盖系统310两者。触摸事件304可以是与检测到用户的触摸的位置相对应的数据值的流（例如，具有充分高的值的电容或电压或电流的变化以至于足以构成对触摸事件的检测）。在一些实施例中，触摸事件304包括指示被施加到触摸传感器面板的压力的压力数据。
AP202处理触摸事件304，而且从AP运行的应用软件通过向DDIC204渲染视频图像316（或者视频图像的帧）以便显示在显示面板322上，来相应地更新显示构成。AP202可包括中央处理单元（CPU）、图形处理单元（GPU）和存储器。
AP202连接到DDIC204，DDIC204进而又连接到显示面板322。DDIC204从AP202接收视频图像316并且向显示面板322提供像素驱动信号320。
在一个实施例中，触摸传感器面板300、触摸控制器200、DDIC204和显示面板322都是显示模块的组件，它们可与应用处理器202分开。在另一实施例中，触摸传感器面板300、触摸控制器200、DDIC204和显示面板322或者其组合可驻留在单独的模块中，或者与应用处理器相结合。
DDIC204处理从应用处理器202接收的视频图像（或者视频图像的帧）316，并且向显示面板输出像素驱动信号320。
下面将更详细描述参数312和覆盖数据314的功能。
根据本发明的实施例，低等待时间覆盖系统310处理触摸事件304与视频图像316，以使得显示面板322能够比对比实现方式更快地示出对触摸事件的视觉响应。与一些对比设备中的大约6帧或更多的显示滞后不同，本发明的实施例可将滞后减小到1至2帧。
更详细地说，图4是图示出包括根据本发明的一个实施例的低等待时间覆盖系统310的设备的框图。参考图4，本发明的实施例包括四个主要部分：触摸路径逻辑400、掩模缓冲器402、覆盖缓冲器406和渲染逻辑404。覆盖系统310可被包括为DDIC204的组件，或者覆盖系统310的一些部分可被包括在DDIC204或AP202中并且其他部分可被包括在触摸控制器200中。
如图4所示，在一个实施例中，触摸路径逻辑400连接到触摸控制器200并且从触摸控制器200接收触摸事件304。触摸路径逻辑400还可连接到AP202以接收配置参数312。触摸路径逻辑400还连接到掩模缓冲器402，掩模缓冲器402被渲染逻辑404使用。
根据一个实施例，覆盖缓冲器406是DDIC204内的存储器设备，其连接到AP202并且存储从AP202接收的覆盖数据314。覆盖缓冲器406被配置为将存储的覆盖数据314提供给渲染逻辑404。然而，本发明的实施例不限于此。例如，在一个实施例中，可在覆盖系统310内部创建覆盖数据314，而无需来自AP202的输入。在另一实施例中，覆盖数据314可以是在覆盖系统310内部创建的数据和与来自AP202的输入相对应的数据的组合。
根据一个实施例，渲染逻辑404耦合到AP202和覆盖缓冲器406并且被配置为根据掩模数据500中的值来将覆盖数据314与视频图像316相组合。渲染逻辑404的输出连接到显示面板322以将覆盖数据314和视频图像316的组合显示图像作为像素驱动信号320提供给显示面板322。
然而，本发明的实施例不限于此。
例如，在一个实施例中，触摸路径逻辑400、掩模缓冲器402、覆盖缓冲器406和渲染逻辑404是各自利用不同的专用集成电路（ASIC）来实现的。在本发明的其他实施例中，单个ASIC用于实现所有功能。在本发明的另外一些实施例中，现场可编程门阵列（FPGA）被编程为执行触摸路径逻辑400、掩模缓冲器402、覆盖缓冲器406和渲染逻辑404中的每一个的功能。可替换地，通用处理器可被（例如利用连接到该通用处理器的存储器中存储的指令）编程为执行触摸路径逻辑400、掩模缓冲器402、覆盖缓冲器406和渲染逻辑404中的每一个的功能。在其他实施例中，触摸路径逻辑400、掩模缓冲器402、覆盖缓冲器406和渲染逻辑404中的一个或多个的功能可实现为AP202的组件。
另外，虽然触摸路径逻辑400、掩模缓冲器402、覆盖缓冲器406和渲染逻辑404在图4中被示为DDIC204的组件，但本发明的实施例不限于此。在一些实施例中，触摸路径逻辑400、覆盖缓冲器314、掩模缓冲器402和渲染逻辑404（或者能够执行这些功能的组件）中的一个或多个位于例如触摸控制器200内、AP202内，或者作为单独的组件。此外，组件或组件执行的功能可位于设备的不同部分中。例如，触摸路径逻辑400可实现为触摸控制器200的组件或功能，并且覆盖缓冲器406和渲染逻辑404两者可实现为AP202的（一个或多个）组件或（一个或多个）功能。
此外，虽然触摸控制器200被示为物理上单独的组件，但在本发明的一些实施例中，触摸控制器200是更大的集成电路的一部分。例如，触摸控制器可与AP和/或DDIC一起实现在同一集成电路中。
图5是根据本发明的一个实施例将视频图像316（或视频图像的帧）、覆盖数据314和触摸事件304相组合以生成第N帧期间的第一组组合显示图像510（例如，以生成帧N）的示意性图示。参考图5，触摸路径逻辑400处理来自触摸控制器的触摸事件304，并且通过在多个先前的连续帧（例如过去的X帧）上在接收到的触摸事件的子集——例如相继的触摸事件的集合——的位置之间进行内插和/或外推来生成估计触摸路径。然后，触摸路径逻辑400应用估计触摸路径来生成掩模数据500，掩模数据500被存储在掩模缓冲器402内。渲染逻辑根据掩模数据500将覆盖缓冲器406中存储的覆盖数据314与来自AP202的帧N的视频图像相组合以通过在覆盖数据314和视频图像316之间进行选择（或者混合这两者）来生成组合显示图像510。
根据一个实施例，掩模数据500是数值的矩阵，其中该矩阵中的位置对应于显示面板322中的（一个或多个）像素的位置，并且其中该矩阵中的值的相对位置对应于显示面板322中的像素的相对位置（例如，掩模数据500可被认为是与组合显示图像510中的像素位置的二维映射相对应的二维矩阵）。根据一个实施例，掩模数据500的每个值被表示为单个比特，并且掩模数据矩阵中的值的位置对应于组合显示图像中的位置。在组合显示图像中要示出覆盖数据的位置具有被设定为第一值（例如“1”）的值，并且不示出覆盖数据（例如要示出视频图像数据）的位置具有被设定为不同的第二值（例如“0”）的值。
根据本发明的其他实施例，掩模数据500中的每个数值由多个比特（例如8比特）表示，其中掩模数据500的数值指的是显示中的每个位置处的覆盖数据的“透明”。就本文使用的而言，术语“透明”（transparency）表示混合（例如合并）覆盖数据314和视频图像316以使得组合显示图像510具有覆盖数据314和视频图像316两者的特性。
下文中将更详细描述渲染逻辑404对掩模缓冲器402的使用。
在一个实施例中，对于每个视频帧，触摸路径逻辑400基于与固定数目的视频帧相对应的触摸事件的子集来生成估计触摸路径。
在另一实施例中，视频帧的数目是可配置的，以与来自AP202的显示滞后相符。
在另一实施例中，触摸路径逻辑400对于可变数目的视频帧生成触摸路径。可从外部逻辑基于来自AP202的过去视频图像316来确定视频帧的数目。
一组参数312在生成路径时约束估计触摸路径的特性。这些参数可具有启动默认值，但可由软件或其他手段在运行时期间根据需要来加以调整。这些参数包括但不限于：生成的路径的宽度；生成的线段的式样，例如简单的直线段或曲线；允许该路径的显示区域（例如，有效描绘区域）；以及渲染操作的式样（例如，反混叠操作、平滑操作以及透明）。
例如，当在用于绘画的软件应用（例如数字速写本）的情境中使用本发明的实施例时，作为组合显示图像510的一部分的覆盖图像片段508（也可称为计算出的部分104）仅被应用到与有效描绘区域相对应的显示部分。覆盖系统310一般不将覆盖数据应用到在有效描绘区域外的显示部分。这样，可以设定参数312来将估计触摸路径限制到与有效描绘区域相对应的显示部分。在另一示例中，参数312可包含描绘的线条的线宽。触摸路径逻辑400将使用此参数以及来自触摸事件304的压力数据来在来自AP202的AP生成线条（或图像片段）506之前在掩模数据500中渲染线条的形状。（图像片段506也可称为显示的线条100。）
当视频图像316的每个像素被渲染逻辑404处理时，渲染逻辑404检索掩模数据500中的值，其中掩模数据中的值的位置（例如矩阵中的位置）对应于视频图像316中的像素的位置，并且渲染逻辑404根据掩模数据500中的值执行利用覆盖数据314或者视频图像316的像素和覆盖数据314的混合对视频图像316的像素进行替代以实现期望的视觉效果（例如，透明和/或反混叠），并且将覆盖数据314或者视频图像316的像素或者其混合经由像素驱动信号320输出到显示面板322。
例如，在本发明的替代实施例中，可以利用由掩模数据500中的值限定的单个比特来指定渲染逻辑404的渲染操作。渲染操作对于每个像素基于掩模数据500中与该像素在组合显示图像510中的位置相对应的位置处的值来将渲染逻辑的输出选择为视频图像316或者覆盖数据314。
在本发明的一个实施例中，掩模数据500的值的数目（或者掩模数据500的大小）等于视频图像316的一个帧中的像素的数目，而视频图像316的一个帧中的像素的数目又等于组合显示图像510中的像素的数目。从而，在掩模数据500中的每个值与视频图像316的每个像素之间存在一对一关系。换言之，渲染逻辑404的替代实施例是通过将掩模数据500中的每个值匹配到视频图像316中的相应像素并且将视频图像316的像素或者覆盖数据314输出到显示面板322来执行的。例如，在一个实施例中，渲染逻辑404遍历经过掩模数据500的每个值。如果在掩模数据500中的特定位置处存在值0，则渲染逻辑404输出视频图像316的相应像素。另一方面，如果在掩模数据500中的特定位置处存在值1，则渲染逻辑输出覆盖数据314。作为该遍历过程的结果，渲染逻辑404将在像素驱动信号320中表示的组合显示图像510输出到显示面板322。
在本发明的另一实施例中，掩模数据500中的值的数目可以小于视频图像316的一帧中的像素的数目。从而，掩模数据500中的每个值可与视频图像316的像素具有一对多关系，使得掩模数据500中的一个值对应于视频图像316的多个像素，从而减小了掩模数据500的大小并且降低了掩模缓冲器402的存储器要求。
然而，本发明的实施例不限于此。在本发明的混合实施例中，可利用由掩模数据500中的值限定的多个比特来指定渲染逻辑404的渲染操作。例如，掩模数据500中的值可标识渲染逻辑404要渲染的混合的水平（例如，透明的水平）。在另一示例中，如果渲染逻辑404支持多个渲染操作，则掩模数据500中的值的一个或多个比特可用于限定期望的渲染操作，而其他比特可用于调整这些渲染操作的规格（specification）。渲染逻辑404可在视频图像316中携带的信息和覆盖数据314中携带的信息之间执行各种渲染操作，例如边缘增强、加亮（亮化）、减暗（暗化）等等。在其他实施例中，渲染操作可改变视频图像316的一些部分的颜色或亮度，从而生成透明着色（或荧光）效果或阿尔法合成效果。
渲染逻辑404接收两个输入，第一输入包含来自AP202的视频图像316，并且第二输入包含来自覆盖缓冲器406的覆盖数据314。覆盖缓冲器406存储要被渲染逻辑404处理的覆盖数据314。覆盖数据314可由AP202提供或者在覆盖系统310中内部创建，其中覆盖数据314的特性由渲染逻辑404的期望输出来确定。在一个实施例中，沿着显示的线条100将覆盖数据314的特性（例如外观）与视频图像316的特性（例如外观）相匹配，以使得当根据掩模数据500来渲染时，组合显示图像510在图像片段506和覆盖图像片段508之间包含无缝过渡。这些特性可包括颜色。例如，如果应用软件描绘一条黑线，则覆盖数据314将由AP202提供或由覆盖系统310内部创建为包含与软件描绘的线条相同的黑色（例如，所有像素为黑的位映射图像）。渲染逻辑404将输出组合显示图像510，该组合显示图像510包含通过连接来自AP202的图像片段506（例如软件描绘的黑线）和由掩模数据500和覆盖数据314确定的覆盖图像片段508来形成的黑线。覆盖数据314也可被纹理化或着色或者可包含位映射图像数据。覆盖数据314的内容可随着时间而动态变化并且可被AP202更新，或者由DDIC204内的机制更新。内容在大小和形状上也可以是动态变化的。
在本发明的一个实施例中，表示多个覆盖的许多不同组覆盖数据314可被存储在覆盖缓冲器406中，例如每组具有不同的颜色、不同的图像或不同的纹理。这些组覆盖数据314在本文中可称为“页”。在这种实施例中，掩模数据500中的值还可包括允许渲染逻辑404识别覆盖数据314的（一个或多个）特定页并且在渲染操作期间只使用识别出的（一个或多个）页的信息。这样，在一些实施例中，掩模数据500的值包含对覆盖数据314的页的索引，以允许渲染逻辑404在渲染操作期间在覆盖数据314的不同页之间切换。
在本发明的一个实施例中，覆盖数据314的每个页的值的数目（或每个页的大小）等于视频图像316的一个帧中的像素的数目，而视频图像316的一个帧中的像素的数目又等于组合显示图像510中的像素的数目。从而，覆盖数据314的每个页的每个值与视频图像316的每个像素之间存在一对一关系。
在本发明的另一实施例中，覆盖数据314的每个页的值的数目（或者每个页的大小）可以小于视频图像316的一帧中的像素的数目。从而，覆盖数据314的每个页的每个值可与视频图像316的像素具有一对多关系，使得覆盖数据314的每个页的一个值对应于视频图像316的多个像素，从而减小了覆盖数据314的大小并且降低了覆盖缓冲器406的存储器要求。例如，在一些实施例中，覆盖数据314包含单一颜色值，例如RGB（红绿蓝）颜色值，其中整个覆盖图像（或者覆盖图像片段）508被描绘为该单一颜色值。在其他实施例中，覆盖数据314的不同页是对应于单一颜色（例如不同颜色）的单一值。在其他实施例中，单一值可与包含位映射图像的其他页或者覆盖数据314内的其他值相搀杂。
图6是根据本发明的一个实施例的将视频图像316’、覆盖数据314和触摸路径304’相组合以生成N+1帧期间的第二组组合显示图像510’（例如，以生成帧N+1）的示意性图示。在后续帧中（例如在帧N+1，其中N是与第一组组合显示图像510相对应的帧），来自AP202的视频图像316’包括在帧N中没有显示（例如不在如图5所示的视频图像316中）的图像片段600。此外，在帧N+1期间，触摸路径逻辑400从触摸事件304’计算出了不同的掩模500’，该掩模500’包含与图5所示的掩模500不同的一组值。这样，渲染逻辑404输出组合显示图像506’，组合显示图像506’是根据掩模数据500’对来自AP202的视频图像316’和覆盖数据314的合成。
图7是图示出根据本发明的一个实施例的用于将覆盖数据与视频图像相组合以生成组合显示图像的方法的流程图。参考图7，根据本发明的一个实施例，在操作702中，从外部源（例如触摸传感器面板）接收触摸事件。在操作704中通过在触摸事件之间进行内插或外推来从触摸事件生成触摸路径（或估计触摸路径），其中可通过参数来调整内插方法以配置例如组合显示图像的覆盖图像片段508的宽度、式样、直线或曲线、区域和颜色。
在操作706中从触摸路径生成掩模数据500，其中掩模数据500的值的相对位置对应于显示面板的像素的相对位置，并且掩模数据500的值指示组合显示图像的相应像素是应当包含来自覆盖缓冲器406的覆盖数据还是包含来自AP的视频图像还是包含其混合组合。掩模数据500被存储在掩模缓冲器402中。在操作708中，从掩模缓冲器402检索掩模数据500，其中检索的值位于掩模数据500内的与渲染逻辑当前正处理的像素的位置相对应的位置处。
在操作710中，掩模数据500的与显示面板中当前正处理的像素的位置相对应的值被用于选择性地输出来自覆盖缓冲器406的覆盖数据或者来自AP的视频图像或者其混合。
在操作712中，组合显示图像被输出并提供给显示面板以显示覆盖数据314与视频图像的合成。
这样，本发明的实施例提供了用于通过在作为对比的高等待时间环路内部引入低等待时间环路来减少整体系统等待时间的系统和方法。
低等待时间显示图像可通过组合来自从触摸路径生成的掩模数据500的信息、来自覆盖缓冲器的覆盖数据314和来自AP的高等待时间视频图像来生成。触摸路径是根据随着时间而记录的触摸事件（例如来自触摸控制器的输出）来计算的。覆盖数据314可由AP提供或在覆盖系统中生成。
可以动态调整覆盖特性，包括但不限于颜色、维度（例如宽度）、持续性、明暗以及定时。这些调整可由AP以一组参数的形式提供或者可在覆盖系统内部例如通过分析来自AP的视频图像来得出。这些调整也可由触摸行为来确定。例如，可根据施加到触摸传感器面板的压力来调整所得到的线条的宽度（例如，宽度参数与测量到的触摸事件的压力成比例）。
显示图像由覆盖系统经由掩模数据500来生成，掩模数据500是从触摸路径计算出的。映射和缩放参数可由AP提供或者可在覆盖系统内部通过例如分析触摸事件或来自AP的视频图像来计算出。
渲染逻辑可在像素级将覆盖数据与来自AP的视频图像合并。在一个实施例中，根据掩模数据的值利用来自覆盖数据的像素特性替代来自视频图像的像素特性。在其他实施例中，基于来自视频图像的各个像素特性和覆盖数据的混合来创建新的像素特性。
虽然已联系某些示范性实施例描述了本发明，但要理解本发明不限于公开的实施例，而是相反，打算覆盖包括在所附权利要求及其等同物的精神和范围内的各种修改和等同布置。

Claims (44)

1.一种系统，包括：
触摸路径逻辑，被配置为接收多个触摸事件并基于所述触摸事件生成输出；以及
渲染逻辑，被配置为：
接收视频图像；
接收所述触摸路径逻辑的输出；
根据所述触摸路径逻辑的输出将所述视频图像与覆盖数据相组合以生成组合显示图像；以及
输出所述组合显示图像。
2.如权利要求1所述的系统，其中，所述视频图像包括显示的线条，并且
其中，所述覆盖数据的特性匹配所述显示的线条的特性。
3.如权利要求2所述的系统，其中，所述特性包括颜色。
4.如权利要求1所述的系统，其中，所述触摸路径逻辑是应用处理器的组件，所述应用处理器被配置为生成所述视频图像。
5.如权利要求1所述的系统，其中，所述触摸路径逻辑是显示驱动器接口控制器的组件，所述显示驱动器接口控制器被配置为从应用处理器接收所述视频图像并且将所述组合显示图像提供给显示面板。
6.如权利要求1所述的系统，其中，所述触摸路径逻辑是与触摸传感器面板耦合的触摸控制器的组件，所述触摸控制器被配置为从所述触摸传感器面板接收多个触摸信号并生成所述多个触摸事件。
7.如权利要求1所述的系统，其中，所述触摸路径逻辑被配置为从触摸传感器面板接收所述触摸事件并根据接收到的触摸事件来生成掩模数据，所述掩模数据包括数值的矩阵，每个数值标识所述渲染逻辑产生所述组合显示图像的操作，并且
其中，所述矩阵内的所述数值的位置对应于所述组合显示图像中的像素的位置。
8.如权利要求7所述的系统，其中，所述渲染逻辑被配置为通过对于所述组合显示图像中的每个像素根据所述掩模数据的相应位置处的值确定是输出所述视频图像的相应像素还是输出所述覆盖数据来将所述视频图像与所述覆盖数据相组合。
9.如权利要求7所述的系统，其中，所述渲染逻辑被配置为通过对于所述组合显示图像中的每个像素根据所述掩模数据中的相应位置处的值确定如何混合所述视频图像的相应像素和所述覆盖数据来将所述视频图像与所述覆盖数据相组合。
10.如权利要求9所述的系统，其中，所述混合是边缘增强操作、加亮操作、减暗操作、或者阿尔法合成效果。
11.如权利要求7所述的系统，其中，所述掩模数据的每个数值对应于所述组合显示图像中的正好一个像素。
12.如权利要求7所述的系统，其中，所述掩模数据的每个数值对应于所述组合显示图像中的多于一个像素。
13.如权利要求7所述的系统，其中，所述覆盖数据包括多个页，并且其中，所述掩模数据包括标识所述多个页中的至少一个页的信息。
14.如权利要求7所述的系统，其中，所述触摸路径逻辑还被配置为：
接收参数；
根据所述触摸事件来计算估计触摸路径；以及
根据所述估计触摸路径和所述参数来生成所述掩模数据，
其中，所述参数控制掩模区域的位置或者控制所述估计触摸路径的宽度、式样或形状。
15.如权利要求1所述的系统，还包括：
应用处理器，被配置为生成所述视频图像，
其中，所述渲染逻辑是所述应用处理器的组件。
16.如权利要求1所述的系统，其中，所述渲染逻辑还被配置为基于所述触摸事件的子集来将所述视频图像与所述覆盖数据相组合，所述子集对应于固定数目的视频图像。
17.如权利要求1所述的系统，其中，所述渲染逻辑还被配置为基于所述触摸事件的子集来将所述视频图像与所述覆盖数据相组合，所述子集对应于一定数目的视频图像：该数目对应于由被配置为向所述渲染逻辑提供所述视频图像的应用处理器所引入的延迟。
18.如权利要求1所述的系统，其中，所述渲染逻辑还被配置为基于所述触摸事件的子集来将所述视频图像与所述覆盖数据相组合，所述子集对应于一定数目的视频图像：该数目是根据被配置为向所述渲染逻辑提供所述视频图像的应用处理器的先前渲染输出计算出的。
19.如权利要求1所述的系统，其中，所述覆盖数据包括位映射图像。
20.如权利要求1所述的系统，其中，所述覆盖数据具有单一颜色值。
21.如权利要求1所述的系统，其中，所述渲染逻辑被配置为在没有来自应用处理器的输入的情况下生成所述覆盖数据。
22.如权利要求1所述的系统，其中，所述渲染逻辑被配置为利用从应用处理器提供的数据和所述系统内部的数据来生成所述覆盖数据。
23.如权利要求1所述的系统，其中，所述渲染逻辑被配置为从应用处理器接收所述覆盖数据。
24.如权利要求1所述的系统，其中，所述触摸事件是作为指点工具与触摸输入面板之间的交互的结果而生成的。
25.一种用于对触摸输入提供视觉反馈的方法，该方法包括：
从耦合到显示器的触摸传感器面板接收多个触摸事件；
接收视频图像；
根据所述触摸事件将所述视频图像与覆盖数据相组合以生成组合显示图像；以及
将所述组合显示图像提供给所述显示器。
26.如权利要求25所述的方法，其中，所述视频图像包括显示的线条，并且
其中，所述覆盖数据的特性匹配所述显示的线条的特性。
27.如权利要求25所述的方法，还包括：
接收参数；以及
根据所述触摸事件来计算估计触摸路径，
其中，根据所述估计触摸路径和所述参数来将所述视频图像与所述覆盖数据相组合，并且
其中，所述参数控制所述覆盖数据在所述组合显示图像中的位置或者控制所述估计触摸路径的宽度、式样或形状。
28.如权利要求25所述的方法，还包括根据所述触摸事件来计算估计触摸路径，
其中，根据所述估计触摸路径来将所述视频图像与所述覆盖数据相组合，并且
其中，基于所述触摸事件的子集来计算所述估计触摸路径，所述子集对应于固定数目的帧。
29.如权利要求25所述的方法，还包括根据所述触摸事件来计算估计触摸路径，
其中，根据所述估计触摸路径来将所述视频图像与所述覆盖数据相组合，并且
其中，基于所述触摸事件的子集来计算所述估计触摸路径，所述子集对应于如下数目的帧：该数目对应于由应用处理器引入的延迟。
30.如权利要求25所述的方法，还包括根据所述触摸事件来计算估计触摸路径，
其中，根据所述估计触摸路径来将所述视频图像与所述覆盖数据相组合，并且
其中，基于所述触摸事件的子集来计算所述估计触摸路径，所述子集对应于如下数目的帧：该数目是根据应用处理器的先前渲染输出计算出的。
31.如权利要求25所述的方法，其中，所述覆盖数据包括位映射图像。
32.如权利要求25所述的方法，其中，所述覆盖数据具有单一颜色值。
33.如权利要求25所述的方法，还包括在没有来自应用处理器的输入的情况下生成所述覆盖数据。
34.如权利要求25所述的方法，还包括利用从应用处理器提供的数据和内部数据来生成所述覆盖数据。
35.如权利要求25所述的方法，还包括从应用处理器接收所述覆盖数据。
36.如权利要求25所述的方法，其中，根据所述触摸事件将所述视频图像与所述覆盖数据相组合以生成所述组合显示图像包括：
基于所述触摸事件来生成掩模数据，所述掩模数据包括数值的矩阵，每个数值标识产生所述组合显示图像的操作，并且
其中，所述矩阵内的所述数值的位置对应于所述组合显示图像中的像素的位置。
37.如权利要求36所述的方法，还包括：对于所述组合显示图像中的每个像素，根据所述掩模数据中的相应位置处的值确定是输出所述视频图像的相应像素还是输出所述覆盖数据。
38.如权利要求36所述的方法，还包括：对于所述组合显示图像中的每个像素，根据所述掩模数据中的相应位置处的值确定如何混合所述视频图像的相应像素和所述覆盖数据。
39.如权利要求38所述的方法，其中，所述混合是边缘增强操作、加亮操作、减暗操作、或者阿尔法合成效果。
40.如权利要求36所述的方法，其中，所述掩模数据的每个数值对应于所述组合显示图像中的正好一个像素。
41.如权利要求36所述的方法，其中，所述掩模数据的每个数值对应于所述组合显示图像中的多于一个像素。
42.如权利要求36所述的方法，其中，所述覆盖数据包括多个页，并且
其中，所述掩模数据包括标识所述多个页中的至少一个页的信息。
43.如权利要求25所述的方法，其中，所述触摸事件是作为指点工具与触摸输入面板之间的交互的结果而生成的。
44.一种加速器，用于响应于在显示设备上描绘的路径而提供反馈，该显示设备包括触摸传感器面板、应用处理器和显示器，该加速器包括：
处理器；以及
存储器，其上存储有指令，所述指令当被所述处理器执行时使得所述处理器：
从所述应用处理器接收渲染视频帧；
从所述触摸传感器面板接收多个触摸信号；
基于所述触摸信号确定触摸路径；
基于所述触摸路径和存储的覆盖数据来更新所述渲染视频帧以生成更新的视频帧；以及
将所述更新的视频帧输出到所述显示器。
CN201410160467.2A 2013-04-22 2014-04-21 利用图像覆盖来减小显示滞后的系统、方法和装置 Active CN104111793B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201361814750P 2013-04-22 2013-04-22
US61/814,750 2013-04-22
US14/226,776 US9383840B2 (en) 2013-04-22 2014-03-26 Method and apparatus to reduce display lag using image overlay
US14/226,776 2014-03-26

Publications (2)

Publication Number Publication Date
CN104111793A true CN104111793A (zh) 2014-10-22
CN104111793B CN104111793B (zh) 2019-12-10

Family

ID=50884662

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410160467.2A Active CN104111793B (zh) 2013-04-22 2014-04-21 利用图像覆盖来减小显示滞后的系统、方法和装置

Country Status (7)

Country Link
US (1) US9383840B2 (zh)
EP (1) EP2799961B1 (zh)
JP (1) JP6560484B2 (zh)
KR (1) KR102199355B1 (zh)
CN (1) CN104111793B (zh)
AU (1) AU2014202127B2 (zh)
TW (1) TWI611354B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105700733A (zh) * 2014-12-09 2016-06-22 辛纳普蒂克斯公司 低延迟着墨
CN106095155A (zh) * 2015-04-28 2016-11-09 三星显示有限公司 用于减小触摸事件的显示延迟的矢量填充段方法和装置
CN110494837A (zh) * 2017-04-07 2019-11-22 微软技术许可有限责任公司 使用高优先级队列进行墨水渲染
CN114115688A (zh) * 2021-11-23 2022-03-01 北京鲸鲮信息系统技术有限公司 抑制显示抖动的方法及装置、电子设备、存储介质
WO2023029078A1 (zh) * 2021-08-31 2023-03-09 广东艾檬电子科技有限公司 一种实现桌面应用交互及渲染的方法和系统

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9483171B1 (en) * 2013-06-11 2016-11-01 Amazon Technologies, Inc. Low latency touch input rendering
US9483176B2 (en) * 2013-07-08 2016-11-01 Samsung Display Co., Ltd. Method and apparatus to reduce display lag of soft keyboard presses
US10156976B2 (en) * 2014-01-30 2018-12-18 Samsung Display Co., Ltd. System and method in managing low-latency direct control feedback
KR102171389B1 (ko) * 2014-04-21 2020-10-30 삼성디스플레이 주식회사 영상 표시 시스템
KR102206047B1 (ko) 2014-09-15 2021-01-21 삼성디스플레이 주식회사 단말 및 디스플레이 지연 감소 방법 및 장치
KR102314110B1 (ko) 2014-09-16 2021-10-18 삼성디스플레이 주식회사 시각화 가속부를 포함하는 터치 표시 장치
EP3217360B1 (en) * 2014-11-07 2022-04-20 Samsung Electronics Co., Ltd. Display device and method of controlling display device
KR102374160B1 (ko) 2014-11-14 2022-03-14 삼성디스플레이 주식회사 스케일링을 사용하여 디스플레이 지연을 감소시키는 방법 및 장치
KR102320771B1 (ko) 2015-01-15 2021-11-02 삼성디스플레이 주식회사 데이터 구동회로 및 이를 이용한 표시장치
KR102315890B1 (ko) * 2015-01-22 2021-10-21 삼성디스플레이 주식회사 표시 장치 및 이를 포함하는 전자 기기
WO2017190103A1 (en) 2016-04-28 2017-11-02 Yougetitback Limited Systems and methods for detection of mobile device fault conditions
US10126873B2 (en) * 2016-06-24 2018-11-13 Wacom Co., Ltd. Stroke continuation for dropped touches on electronic handwriting devices
US11074698B2 (en) * 2017-03-06 2021-07-27 Mitsubishi Electric Corporation Object tracking device and object tracking method
US10546399B2 (en) * 2017-11-21 2020-01-28 Microsoft Technology Licensing, Llc Pencil ink render using high priority queues
CN108304091B (zh) * 2018-01-19 2021-08-17 昆山国显光电有限公司 触摸屏控制方法、装置及触摸屏
US12013346B2 (en) 2018-02-19 2024-06-18 Blancco Technology Group IP Oy System and method for detection of mobile device fault conditions
EP4032017A1 (en) 2019-09-16 2022-07-27 Assurant, Inc. System, method, apparatus, and computer program product for utilizing machine learning to process an image of a mobile device to determine a mobile device integrity status
KR20210137710A (ko) 2020-05-11 2021-11-18 삼성전자주식회사 빠른 터치 반응성을 가지는 터치 및 디스플레이 제어 장치, 이를 포함하는 디스플레이 장치 및 이의 구동 방법
TW202344979A (zh) * 2022-05-09 2023-11-16 日商和冠股份有限公司 電腦

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06289993A (ja) * 1993-03-30 1994-10-18 Matsushita Electric Ind Co Ltd 座標入力表示装置
CN102253802A (zh) * 2010-06-22 2011-11-23 微软公司 墨水滞后补偿技术
CN102414649A (zh) * 2009-04-30 2012-04-11 辛纳普蒂克斯公司 按照多个规则集合来操作触摸屏控制系统
CN104951127A (zh) * 2014-03-31 2015-09-30 三星显示有限公司 用于生成显示覆盖的系统和方法以及显示系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100540994B1 (ko) 2003-09-23 2006-01-10 송명섭 다중화면 영상표시방법
JP2008140352A (ja) * 2006-11-29 2008-06-19 Ertain Corp コンピュータを用いた簡易毛筆文字描画装置
JP5252427B2 (ja) * 2008-10-01 2013-07-31 株式会社ジャパンディスプレイウェスト 入力装置および表示装置
US8203527B2 (en) 2009-04-24 2012-06-19 Seiko Epson Corporation Minimizing pen stroke capture latency
KR20100122383A (ko) 2009-05-12 2010-11-22 삼성전자주식회사 좌표 예측을 통한 이미지의 출력 속도 향상 방법 및 장치
JP2012138049A (ja) * 2010-12-28 2012-07-19 Nec Casio Mobile Communications Ltd 情報端末、文字入力方法、及びプログラム
US8725443B2 (en) * 2011-01-24 2014-05-13 Microsoft Corporation Latency measurement
EP3734406A1 (en) 2011-02-10 2020-11-04 Samsung Electronics Co., Ltd. Portable device comprising a touch-screen display, and method for controlling same
US9612739B2 (en) 2012-02-02 2017-04-04 Microsoft Technology Licensing, Llc Low-latency touch-input device
US9389717B2 (en) * 2012-12-14 2016-07-12 Microsoft Technology Licensing, Llc Reducing latency in ink rendering

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06289993A (ja) * 1993-03-30 1994-10-18 Matsushita Electric Ind Co Ltd 座標入力表示装置
CN102414649A (zh) * 2009-04-30 2012-04-11 辛纳普蒂克斯公司 按照多个规则集合来操作触摸屏控制系统
CN102253802A (zh) * 2010-06-22 2011-11-23 微软公司 墨水滞后补偿技术
CN104951127A (zh) * 2014-03-31 2015-09-30 三星显示有限公司 用于生成显示覆盖的系统和方法以及显示系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105700733A (zh) * 2014-12-09 2016-06-22 辛纳普蒂克斯公司 低延迟着墨
CN105700733B (zh) * 2014-12-09 2020-08-07 株式会社和冠 低延迟着墨
CN106095155A (zh) * 2015-04-28 2016-11-09 三星显示有限公司 用于减小触摸事件的显示延迟的矢量填充段方法和装置
CN106095155B (zh) * 2015-04-28 2021-02-05 三星显示有限公司 用于减小触摸事件的显示延迟的矢量填充段方法和装置
CN110494837A (zh) * 2017-04-07 2019-11-22 微软技术许可有限责任公司 使用高优先级队列进行墨水渲染
CN110494837B (zh) * 2017-04-07 2023-05-02 微软技术许可有限责任公司 使用高优先级队列进行墨水渲染
WO2023029078A1 (zh) * 2021-08-31 2023-03-09 广东艾檬电子科技有限公司 一种实现桌面应用交互及渲染的方法和系统
CN114115688A (zh) * 2021-11-23 2022-03-01 北京鲸鲮信息系统技术有限公司 抑制显示抖动的方法及装置、电子设备、存储介质
CN114115688B (zh) * 2021-11-23 2023-08-01 北京字节跳动网络技术有限公司 抑制显示抖动的方法及装置、电子设备、存储介质

Also Published As

Publication number Publication date
CN104111793B (zh) 2019-12-10
KR20140126263A (ko) 2014-10-30
TW201510877A (zh) 2015-03-16
JP2014216013A (ja) 2014-11-17
EP2799961A1 (en) 2014-11-05
EP2799961B1 (en) 2018-11-07
AU2014202127A1 (en) 2014-11-06
TWI611354B (zh) 2018-01-11
JP6560484B2 (ja) 2019-08-14
US20140313144A1 (en) 2014-10-23
KR102199355B1 (ko) 2021-01-07
US9383840B2 (en) 2016-07-05
AU2014202127B2 (en) 2019-02-14

Similar Documents

Publication Publication Date Title
CN104111793A (zh) 利用图像覆盖来减小显示滞后的系统、方法和装置
CN104951129B (zh) 将覆盖数据与视频图像相组合的方法和系统及显示系统
KR102240294B1 (ko) 터치 입력을 이용하여 디스플레이 오버레이 파라미터를 생성하는 시스템 및 그 방법
KR102374160B1 (ko) 스케일링을 사용하여 디스플레이 지연을 감소시키는 방법 및 장치
US9141247B2 (en) Display panel with touch detection function, method of driving the same, driving circuit, and electronic unit
CN105022580B (zh) 图像显示系统
KR102304891B1 (ko) 터치 경로에 대응하는 디스플레이 패널에 대한 마스크 오버레이를 생성하기 위한 방법 및 시스템
US9811301B2 (en) Terminal and apparatus and method for reducing display lag
KR102161745B1 (ko) 터치 입력에 시각적 피드백을 제공하는 가속기, 터치 입력에 시각적 피드백을 제공하는 터치 입력 프로세싱 디바이스 및 방법
CN101995987A (zh) 一种具有多点触控式的大屏幕系统
CN112817555A (zh) 音量控制方法及音量控制装置
CN104820489B (zh) 管理低延时的直接控制反馈的系统和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant