CN104951127A - 用于生成显示覆盖的系统和方法以及显示系统 - Google Patents

用于生成显示覆盖的系统和方法以及显示系统 Download PDF

Info

Publication number
CN104951127A
CN104951127A CN201510147965.8A CN201510147965A CN104951127A CN 104951127 A CN104951127 A CN 104951127A CN 201510147965 A CN201510147965 A CN 201510147965A CN 104951127 A CN104951127 A CN 104951127A
Authority
CN
China
Prior art keywords
image
image segments
foreground
background colour
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510147965.8A
Other languages
English (en)
Other versions
CN104951127B (zh
Inventor
熊炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Display Co Ltd
Original Assignee
Samsung Display Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Display Co Ltd filed Critical Samsung Display Co Ltd
Publication of CN104951127A publication Critical patent/CN104951127A/zh
Application granted granted Critical
Publication of CN104951127B publication Critical patent/CN104951127B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/18—Timing circuits for raster scan displays

Abstract

一种用于生成显示覆盖的系统和方法以及显示系统。所述系统包括：第一模块，被配置为接收视频图像并且记录视频图像的与触摸事件位置相对应的图像片段；第二模块，被配置为基于对视频图像的图像片段的比较来确定每个图像片段的前景色信息和背景色信息；以及第三模块，被配置为基于前景色信息和背景色信息输出覆盖信息。

Description

用于生成显示覆盖的系统和方法以及显示系统
相关申请的交叉引用
本申请要求2014年3月31日递交的标题为“Generation of DisplayOverlay Parameters Utilizing Touch Inputs”、序列号为61/973,152的美国临时申请的优先权和权益，这里通过引用并入该美国临时申请的全部内容。
技术领域
本发明的实施例涉及具有触摸输入设备的显示设备，更具体而言涉及用于减小触摸输入设备与显示设备之间的显示滞后(display lag)的系统和方法。
背景技术
包含或耦合到覆盖的触摸传感器面板的显示面板为诸如移动电话、平板计算机、膝上型计算机和桌面型计算机之类的能够触摸的计算设备提供了交互系统。在这种计算设备中，图形被显示在显示面板上，并且用户可通过触摸屏幕(例如利用主动式触控笔、被动式触控笔或者诸如手指之类的身体部位)来与这些设备交互，从而提供了直观的用户界面。
由触摸传感器面板检测到的触摸事件通常由在设备的应用处理器(application processor，AP)上运行的高级别应用软件来处理。触摸传感器面板与AP之间的许多处理步骤以及AP上的非确定处理时间(包括由于AP执行的其他计算任务引起的延迟)引入了较高水平的延时(例如70至150毫秒)，而这种延时降低了计算设备对用户的触摸输入的响应性。
一些经验研究表明，大多数人类可察觉到诸如触觉和视觉之类的感觉之间的甚至30毫秒的不同步(例如参见伦敦Taylor&Francis集团出版的M.M.Murray和M.T.Wallace编辑的Frontiers in the neural basis of multisensoryprocesses(147-177页)中的Keetels,M.和Vroomen,J.所著的Perception ofSynchrony Between the Senses(2012年))。50至150毫秒的延迟对于这些计算设备的大多数用户来说将是可察觉的，这可导致由于计算设备未能立即对用户的输入提供反馈而引起的用户挫败感的增加。
发明内容
本发明的实施例的一些方面涉及减小触摸事件与对此触摸事件的显示响应之间的延时。根据本发明的实施例的一方面，通过降低对于触摸输入设备的组件之间的紧密集成的需求，可以减小该延时。
此外，本发明的实施例的一些方面涉及：检测视频图像中的移动线条的位置，该线条对应于触摸事件的连续序列；确定移动线条的特性，比如颜色和宽度；以及从所确定的特性生成覆盖参数。根据一实施例，覆盖参数用于减小表观显示延时。
根据本发明的实施例，一种系统包括：第一模块，被配置为接收视频图像并且记录视频图像的与触摸事件位置相对应的图像片段；第二模块，被配置为基于对视频图像的图像片段的比较来确定每个图像片段的前景色信息和背景色信息；以及第三模块，被配置为基于前景色信息和背景色信息输出覆盖信息。
视频图像可包括前景色和背景色，前景色对应于显示的线条。
前景色信息可包括视频图像的前景色和前景均匀性因子，该前景均匀性因子是图像片段包含前景色的百分比，并且背景色信息包括视频图像的背景色和背景均匀性因子，该背景均匀性因子是图像片段包含背景色的百分比。
覆盖信息可包括覆盖的颜色，并且第三模块还可被配置为基于对前景均匀性因子和前景阈值的比较来禁用覆盖或者输出图像片段的前景色作为覆盖的颜色。
第三模块还可被配置为基于对背景均匀性因子和背景阈值的比较来禁用覆盖或者确定覆盖的边界。
覆盖的边界可通过比较第一图像片段的背景色和第二图像片段的背景色来确定。
第三模块还可被配置为当第一图像片段的背景色不同于第二图像片段的背景色时输出与第一图像片段相对应的坐标。
覆盖信息可包括覆盖的尺寸，并且第三模块还可被配置为基于每个图像片段的前景均匀性因子来确定覆盖的线条的宽度。
第二模块还可被配置为通过向每个图像片段应用加权因子来使每个图像片段偏向于包含更多前景色或更多背景色。
第一模块、第二模块和第三模块可以是显示驱动器接口控制器的组件，显示驱动器接口控制器被配置为从应用处理器接收视频图像并且向显示面板输出覆盖信息。
根据本发明的另一实施例，一种用于生成显示覆盖的方法包括：接收多个触摸事件和一视频图像；记录视频图像的与触摸事件的位置相对应的图像片段；将记录的图像片段相互比较以确定每个图像片段的前景色信息和背景色信息；以及基于前景色信息和背景色信息提供覆盖信息。
视频图像可包括前景色和背景色，前景色对应于显示的线条。
前景色信息可包括视频图像的前景色和前景均匀性因子，该前景均匀性因子是图像片段包含前景色的百分比，并且背景色信息可包括视频图像的背景色和背景均匀性因子，该背景均匀性因子是图像片段包含背景色的百分比。
覆盖信息可包括覆盖的颜色，并且该方法还可包括：比较前景均匀性因子和前景阈值；以及基于该比较来禁用覆盖或者提供图像片段的前景色作为覆盖的颜色。
该方法还可包括：比较背景均匀性因子和背景阈值；以及基于该比较禁用覆盖或者确定覆盖的边界。
确定覆盖的边界可包括比较第一图像片段的背景色和第二图像片段的背景色。
该方法还可包括：当第一图像片段的背景色不同于第二图像片段的背景色时，提供与第一图像片段相对应的坐标。
覆盖信息可包括覆盖的尺寸，并且该方法还可包括：基于每个图像片段的前景均匀性因子来确定覆盖的线条的宽度。
该方法还可包括：向每个图像片段应用加权因子以使每个图像片段偏向于包含更多前景色或更多背景色。
在时间上更早的图像片段可被偏向为包含更多前景色，并且在时间上更晚的图像片段可被偏向为包含更多背景色。
附图说明
附图与说明书一起阐明了本发明的示例实施例并且与描述一起用来说明本发明的原理。
图1A图示出包括传统的触摸输入处理设备的设备的响应，并且图1B图示出包括根据本发明的实施例的触摸输入处理设备的设备的响应。
图2是根据本发明的实施例的一方面的低延时反馈路径和传统反馈路径两者的示意性图示。
图3是图示出包括根据本发明的一个实施例的低延时覆盖系统的设备的框图。
图4是图示出根据本发明的一个实施例的低延时覆盖系统内的组件的框图。
图5是根据本发明的一个实施例的将视频图像数据、覆盖数据和触摸路径信息相组合来生成第一组合显示图像的示意性图示。
图6是根据本发明的一个实施例的将视频图像数据、覆盖数据和触摸路径信息相组合来生成第二组合显示图像的示意性图示。
图7是图示出根据本发明的一个实施例的用于确定覆盖数据的应用并将覆盖数据与视频图像相组合的方法的流程图。
图8是图示出根据本发明的另一实施例的包括覆盖系统和检测系统的设备的框图。
图9是图示出根据本发明的一个实施例的检测系统的组件的框图。
图10A是图示出根据本发明的一个实施例的检测系统的选择模块的过程的流程图。图10B是根据本发明的一个实施例的内插的触摸点的示意性图示。图10C是根据本发明的一个实施例的选择的视频图像片段的示意性图示。图10D是根据本发明的一个实施例的映射的坐标的表格。图10E是根据本发明的一个实施例的按线定时的坐标的表格。
图11A是图示出根据本发明的一个实施例的检测系统的图像解析模块的框图。图11B是根据本发明的一个实施例的视频图像的示意性图示。
图12是图示出根据本发明的一个实施例的检测系统的图像比较模块的框图。
图13A是图示出根据本发明的一个实施例的检测系统的参数模块的一部分的框图。
图13B是图示出根据本发明的一个实施例的检测系统的参数模块的另一部分的框图。
具体实施方式
在以下详细描述中，只是以举例说明的方式示出和描述了本发明的某些示例实施例。正如本领域技术人员将会认识到的，本发明可以以许多不同的形式来实现，而不应当被解释为限于本文记载的实施例。当称一元素“连接到”或“耦合到”另一元素时，其可直接连接到另一元素，或者其可间接连接到另一元素，有一个或多个居间的元素介于其间。贯穿说明书各处，相似的标号指代相似的元素。
本发明的实施例通过在应用处理器渲染图像之前基于触摸位置显示图像来允许用户感知到更快的触摸响应。
为触摸界面设计的软件经常利用对伪“真实世界”物体的直接物理操纵的比拟和/或屏幕上路径的描绘来提供视觉反馈(例如，对于在挥扫型或基于手势的屏上键盘上的手指的踪迹、对于绘画或速写应用中的路径的踪迹、以及对于在游戏中描绘的路径)。
移动电话的常见抱怨是用户界面(user interface，UI)的滞后。当前的移动电话响应于触摸动作通常要花50至150毫秒来更新显示。例如，基于60帧每秒(frames per second，FPS)的刷新率，在Galaxy2电话上测量到的对触摸事件的典型显示响应时间可大于100毫秒或者可大致超过6帧视频图像，这是大部分用户可以注意到的。
图1A图示出包括作为对比的触摸输入处理设备的设备的响应，其中显示的线条100在手指的位置与显示线条100的最后描绘部分之间具有间隙102，从而导致了用户的触摸与显示的线条之间的明显显示滞后。当使用触控笔——无论是主动式还是被动式——的时候，也通常会遇到类似的显示滞后。
本发明的实施例通过提前于AP渲染图像在触摸路径中覆盖图像来允许了用户感知到更快的触摸响应。通过闭合用户的触摸点(无论是使用手指、触控笔还是其他工具)与屏幕上线条的描绘之间的间隙，可以减小感知到的显示滞后。就本文使用而言，术语“覆盖”(overlay)当用作动词时指的是将视频图像(例如AP渲染图像)与附加图像数据相组合，以使得该附加图像数据替换(或“覆盖”)原始视频图像的某个部分。术语“覆盖”当用作名词时也可以指该附加图像数据在组合显示图像中的出现。
此外，通过使用覆盖方法，应用软件还可控制所显示的对触摸事件的响应的区域(例如在显示器上的位置)、颜色和渲染操作。
图1B图示出包括根据本发明的实施例的触摸输入处理设备的设备的显示响应，其中显示的线条包括由根据本发明的实施例的低延时覆盖系统描绘的估计或计算出的部分104，从而减小了用户感知到的显示滞后。
参考图2，在计算设备250中，作为对对比系统的替换，本发明的实施例涉及一种低延时覆盖系统(其也可称为“加速器”或“视觉反馈加速器”)，其在通过触摸控制器200和显示驱动器接口控制器(display driver interfacecontroller，DDIC)204的低延时路径212上立即或更迅速地提供视觉反馈，然后在通过应用处理器(AP)202的传统延时路径210上以传统水平的延时提供视觉图像。
参考图3，通常，触摸屏系统和显示系统独立地操作。
参考图3，触摸传感器面板300被配置为检测用户的触摸并生成触摸信号302，这些触摸信号302通过数据总线被提供给触摸控制器200。触摸控制器200处理来自触摸传感器面板300的触摸信号302，并且向AP 202输出触摸事件304，例如触摸位置的坐标。本发明的实施例可与利用诸如身体部位(例如手指)、触控笔等等之类的任何类型的指示工具来检测用户的触摸的触摸传感器面板300一起使用。就本文使用而言，术语“指示工具”(pointingimplement)指的是能够被触摸传感器面板300检测到的对象，包括设备(例如主动式触控笔和被动式触控笔)和身体部位(例如手指或手部)。本发明的实施例可与诸如以下的多种类型的触摸输入面板中的任何一种一起使用：电阻式触摸面板、表面声波触摸面板、电容式触摸面板、红外触摸面板以及光触摸面板。在一个实施例中，触摸信号302对应于由触摸传感器面板300提供的原始数据，例如对触摸传感器面板中的每个位置的电容或电压或电流的测量值。用于触摸事件304的数据总线连接到AP 202和低延时覆盖系统310两者。触摸事件304可以是与检测到用户的触摸的位置相对应的数据值的流(例如，具有充分高的值以至于足以构成对触摸事件的检测的电容或电压或电流的变化)。在一些实施例中，触摸事件304包括指示被施加到触摸传感器面板的压力的压力数据。
AP 202处理触摸事件304，并且从AP运行的应用软件通过向DDIC 204渲染视频图像316(或者视频图像的帧)以便显示在显示面板322上，来相应地更新显示构成。AP 202可包括中央处理单元(central processing unit，CPU)、图形处理单元(graphical processing unit，GPU)和存储器。
AP 202连接到DDIC 204，DDIC 204进而又连接到显示面板322。DDIC204从AP 202接收视频图像316并且向显示面板322提供像素驱动信号320。
在一个实施例中，触摸传感器面板300、触摸控制器200、DDIC 204和显示面板322都是显示模块的组件，它们可与AP 202分开。在另一实施例中，触摸传感器面板300、触摸控制器200、DDIC 204和显示面板322或者其组合可驻留在单独的模块中，或者与应用处理器相结合。
DDIC 204处理从AP 202接收的视频图像(或者视频图像的帧)316，并且向显示面板输出像素驱动信号320。
覆盖系统310可从AP 202接收参数312和覆盖数据314形式的覆盖信息，或者参数312和覆盖数据314可在没有来自AP 202或应用软件的输入的情况下在原地生成。下面将更详细描述参数312和覆盖数据314的功能。
根据本发明的实施例，低延时覆盖系统310处理触摸事件304与视频图像316，以使得显示面板322能够比对比实现方式中更快地显示对触摸事件的视觉响应。与一些对比设备中的大约6帧以上的显示滞后不同，本发明的实施例可将滞后减小到1至2帧。
更详细地说，图4是图示出包括根据本发明的一个实施例的低延时覆盖系统310的设备的框图。参考图4，本发明的实施例包括四个主要部分：触摸路径逻辑400、掩模缓冲器402、覆盖缓冲器406和渲染逻辑404。覆盖系统310可被包括为DDIC 204的组件，或者覆盖系统310的一些部分可被包括在DDIC 204或AP 202中并且其他部分可被包括在触摸控制器200中。
参考图4，在一个实施例中，触摸路径逻辑400连接到触摸控制器200并且从触摸控制器200接收触摸事件304。触摸路径逻辑400还可连接到AP202以接收配置参数312。触摸路径逻辑400还连接到掩模缓冲器402，掩模缓冲器402被渲染逻辑404使用。
根据一个实施例，覆盖缓冲器406是DDIC 204内的存储器设备，其连接到AP 202并且存储从AP 202接收的覆盖数据314。覆盖缓冲器406被配置为将存储的覆盖数据314提供给渲染逻辑404。然而，本发明的实施例不限于此。例如，在一个实施例中，可在覆盖系统310内部创建覆盖数据314，而无需来自AP 202的输入。在另一实施例中，覆盖数据314可以是在覆盖系统310内部创建的数据和与来自AP 202的输入相对应的数据的组合。
根据一个实施例，渲染逻辑404耦合到AP 202和覆盖缓冲器406并且被配置为根据由触摸路径逻辑400生成并被存储在掩模缓冲器402内的掩模数据500中的值来将覆盖数据314与视频图像316相组合。渲染逻辑404的输出连接到显示面板322以将覆盖数据314和视频图像316的组合显示图像作为像素驱动信号320提供给显示面板322。
然而，本发明的实施例不限于此。
例如，在一个实施例中，触摸路径逻辑400、掩模缓冲器402、覆盖缓冲器406和渲染逻辑404是各自利用不同的专用集成电路(application specificintegrated circuit，ASIC)来实现的。在本发明的其他实施例中，单个ASIC用于实现所有功能。在本发明的另外一些实施例中，现场可编程门阵列(fieldprogrammable gate array，FPGA)被编程为执行触摸路径逻辑400、掩模缓冲器402、覆盖缓冲器406和渲染逻辑404中的每一者的功能。或者，通用处理器可被(例如利用在连接到该通用处理器的存储器中存储的指令)编程为执行触摸路径逻辑400、掩模缓冲器402、覆盖缓冲器406和渲染逻辑404中的每一者的功能。在其他实施例中，触摸路径逻辑400、掩模缓冲器402、覆盖缓冲器406和渲染逻辑404中的一个或多个的功能可被实现为AP 202的组件。
另外，虽然触摸路径逻辑400、掩模缓冲器402、覆盖缓冲器406和渲染逻辑404在图4中被示为DDIC 204的组件，但本发明的实施例不限于此。在一些实施例中，触摸路径逻辑400、覆盖缓冲器406、掩模缓冲器402和渲染逻辑404(或者能够执行这些功能的组件)中的一个或多个位于例如触摸控制器200内、AP 202内，或者作为单独的组件。此外，它们执行的组件或功能可位于设备的不同部分中。例如，触摸路径逻辑400可被实现为触摸控制器200的组件或功能，并且覆盖缓冲器406和渲染逻辑404两者可被实现为AP 202的(一个或多个)组件或(一个或多个)功能。
此外，虽然触摸控制器200被示为物理上单独的组件，但在本发明的一些实施例中，触摸控制器200是更大的集成电路的一部分。例如，触摸控制器可与AP和/或DDIC一起被实现在同一集成电路中。
图5是根据本发明的一个实施例将视频图像316(或视频图像的帧)、覆盖数据314和触摸事件304相组合以生成第N帧期间的第一组组合显示图像510(例如，以生成帧N)的示意性图示。参考图5，触摸路径逻辑400处理来自触摸控制器的触摸事件304，并且通过在数个先前的连续帧(例如过去的X帧)上在接收到的触摸事件的子集——例如相继的触摸事件的集合——的位置之间进行内插和/或外推来生成估计触摸路径。然后，触摸路径逻辑400应用该估计触摸路径来生成掩模数据500，掩模数据500被存储在掩模缓冲器402内。渲染逻辑404根据掩模数据500将覆盖缓冲器406中存储的覆盖数据314与来自AP 202的帧N的视频图像相组合以通过逐个像素地在覆盖数据314和视频图像316之间进行选择(或者混合这两者)来生成组合显示图像510。
根据一个实施例，掩模数据500是数值的矩阵，其中该矩阵中的位置对应于显示面板322中的(一个或多个)像素的位置，并且其中该矩阵中的值的相对位置对应于显示面板322中的像素的相对位置(例如，掩模数据500可被认为是与组合显示图像510中的像素位置的二维地图相对应的二维矩阵)。根据一个实施例，掩模数据500的每个值被表示为单个比特，并且掩模数据矩阵中的值的位置对应于组合显示图像中的位置。在组合显示图像中要示出覆盖数据的位置具有被设定为第一值(例如“1”)的值，而不示出覆盖数据(例如要示出视频图像数据)的位置具有被设定为不同的第二值(例如“0”)的值。
根据本发明的其他实施例，掩模数据500中的每个数值由多个比特(例如8比特)表示，其中掩模数据500的数值指的是显示中的每个位置处的覆盖数据的“透明”的程度。就本文使用而言，术语“透明”(transparency)表示混合(例如合并)覆盖数据314和视频图像316以使得组合显示图像510具有覆盖数据314和视频图像316两者的特性。
下文中将更详细描述渲染逻辑404对掩模缓冲器402的使用。
在一个实施例中，对于每个视频帧，触摸路径逻辑400基于与固定数目的视频帧相对应的触摸事件的子集来生成估计触摸路径。
在另一实施例中，视频帧的数目是可配置的，以与来自AP 202的显示滞后相符。
在另一实施例中，触摸路径逻辑400对于可变数目的视频帧生成触摸路径。可从外部逻辑基于来自AP 202的过去视频图像316来确定视频帧的数目。
当生成路径时，一组参数312约束估计触摸路径的特性。这些参数可具有启动时的默认值，但可由软件或其他手段在运行时期间根据需要来加以调整。这些参数包括但不限于：生成的路径的宽度；生成的线段的式样，例如简单的直线段或曲线；允许该路径的显示区域(例如，活跃描绘区域)；以及渲染操作的式样(例如，反混叠操作、平滑操作以及透明)。
例如，当在用于绘画的软件应用(例如数字速写本)的情境中使用本发明的实施例时，作为组合显示图像510的一部分的覆盖图像片段508(也可称为计算出的部分104)仅被应用到与活跃描绘区域相对应的显示部分。覆盖系统310一般不将覆盖数据应用到在活跃描绘区域外的显示部分。这样，可以设定参数312来将估计触摸路径限制到与活跃描绘区域相对应的显示部分(例如，通过定义活跃描绘区域的边界)。在另一示例中，参数312可包含描绘的线条的线条宽度。触摸路径逻辑400可使用此参数来在来自AP 202的AP生成线条(或图像片段)506之前在掩模数据500中渲染线条的形状。(图像片段506也可称为显示线条100。)来自触摸事件304的压力数据也可用于在AP生成线条(或图像片段)506之前在掩模数据500中渲染线条的形状。
当视频图像316的每个像素被渲染逻辑404处理时，渲染逻辑404检索掩模数据500中的值，其中掩模数据中的值的位置(例如矩阵中的位置)对应于视频图像316中的像素的位置，并且渲染逻辑404根据掩模数据500中的值执行利用覆盖数据314对视频图像316的像素进行的替代或者视频图像316和覆盖数据314的像素的混合，以实现期望的视觉效果(例如，透明和/或反混叠)，并且将覆盖数据314或者视频图像316的像素或者其混合经由像素驱动信号320输出到显示面板322。
例如，在本发明的替代实施例中，可以利用由掩模数据500中的值限定的单个比特来指定渲染逻辑404的渲染操作。渲染操作对于每个像素基于掩模数据500中与该像素在组合显示图像510中的位置相对应的位置处的值来将渲染逻辑的输出选择为视频图像316或者覆盖数据314。
在本发明的一个实施例中，掩模数据500的值的数目(或者掩模数据500的大小)等于视频图像316的一个帧中的像素的数目，而视频图像316的一个帧中的像素的数目进而又等于组合显示图像510中的像素的数目。从而，在掩模数据500中的每个值与视频图像316的每个像素之间存在一对一关系。换言之，渲染逻辑404的替代实施例是通过将掩模数据500中的每个值匹配到视频图像316中的相应像素并且将视频图像316的像素或者覆盖数据314输出到显示面板322来执行的。例如，在一个实施例中，渲染逻辑404迭代经过掩模数据500的每个值。如果在掩模数据500中的特定位置处存在值0，则渲染逻辑404输出视频图像316的相应像素。另一方面，如果在掩模数据500中的特定位置处存在值1，则渲染逻辑输出覆盖数据314。作为该迭代过程的结果，渲染逻辑404将表示在像素驱动信号320中的组合显示图像510输出到显示面板322。
在本发明的另一实施例中，掩模数据500中的值的数目可以小于视频图像316的一帧中的像素的数目。从而，掩模数据500中的每个值可与视频图像316的像素具有一对多关系，使得掩模数据500中的一个值对应于视频图像316的多个像素，从而减小了掩模数据500的大小并且降低了掩模缓冲器402的存储要求。
然而，本发明的实施例不限于此。在本发明的混合实施例中，可利用由掩模数据500中的值限定的多个比特来指定渲染逻辑404的渲染操作。例如，掩模数据500中的值可标识渲染逻辑404要渲染的混合的水平(例如，透明的水平)。在另一示例中，如果渲染逻辑404支持多个渲染操作，则掩模数据500中的值的一个或多个比特可用于限定期望的渲染操作，而其他比特可用于调整这些渲染操作的规格。渲染逻辑404可在视频图像316中携带的信息和覆盖数据314中携带的信息之间执行各种渲染操作，例如边缘增强、加亮(亮化)、减暗(暗化)等等。在其他实施例中，渲染操作可改变视频图像316的一些部分的颜色或亮度，从而生成透明着色(或亮光笔)效果或阿尔法合成效果。
渲染逻辑404接收两个输入，第一输入包含来自AP 202的视频图像316，并且第二输入包含来自覆盖缓冲器406的覆盖数据314。覆盖缓冲器406存储要被渲染逻辑404处理的覆盖数据314。覆盖数据314可由AP 202提供或者在覆盖系统310中内部创建，其中覆盖数据314的特性由渲染逻辑404的期望输出来确定。在一个实施例中，沿着显示线条100将覆盖数据314的特性(例如外观)与视频图像316的特性(例如外观)相匹配，以使得当根据掩模数据500来渲染时，组合显示图像510包含图像片段506和覆盖图像片段508之间的无缝过渡。这些特性可包括颜色。例如，如果应用软件描绘一条黑线，则覆盖数据314将由AP 202提供或由覆盖系统310内部创建为包含与软件描绘的线条相同的黑色(例如，所有像素为黑的位图图像)。渲染逻辑404将输出组合显示图像510，该组合显示图像510包含通过邻接来自AP 202的图像片段506(例如软件描绘的黑线)和由掩模数据500及覆盖数据314确定的覆盖图像片段508来形成的黑线。覆盖数据314也可被纹理化或着色或者可包括位图图像数据。覆盖数据314的内容可随着时间而动态变化并且可被AP 202更新，或者由DDIC 204内的机制更新。内容在大小和形状上也可以是动态变化的。
在本发明的一个实施例中，表示多个覆盖的许多不同的覆盖数据组314可被存储在覆盖缓冲器406中，例如每组具有不同的颜色、不同的图像或不同的纹理。这些覆盖数据组314在本文中可称为“页面”。在这种实施例中，掩模数据500中的值还可包括允许渲染逻辑404在渲染操作期间识别覆盖数据314的(一个或多个)特定页面并且只使用识别出的(一个或多个)页面的信息。这样，在一些实施例中，掩模数据500的值包含对覆盖数据314的页面的索引，以允许渲染逻辑404在渲染操作期间在覆盖数据314的不同页面之间切换。
在本发明的一个实施例中，覆盖数据314的每个页面的值的数目(或每个页面的大小)等于视频图像316的一个帧中的像素的数目，而视频图像316的一个帧中的像素的数目进而又等于组合显示图像510中的像素的数目。从而，覆盖数据314的每个页面的每个值与视频图像316的每个像素之间存在一对一关系。
在本发明的另一实施例中，覆盖数据314的每个页面的值的数目(或者每个页面的大小)可以小于视频图像316的一帧中的像素的数目。从而，覆盖数据314的每个页面的每个值可与视频图像316的像素具有一对多关系，使得覆盖数据314的每个页面的一个值对应于视频图像316的多个像素，从而减小了覆盖数据314的大小并且降低了覆盖缓冲器406的存储要求。例如，在一些实施例中，覆盖数据314包含单一颜色值，例如RGB(红绿蓝)颜色值，其中整个覆盖图像(或者覆盖图像片段)508被描绘为该单一颜色值。在其他实施例中，覆盖数据314的不同页面是对应于单一颜色(例如不同颜色)的单一值。在其他实施例中，单一值可与包含位图图像的其他页面或者覆盖数据314内的其他值相搀杂。
图6是根据本发明的一个实施例的将视频图像316'、覆盖数据314和触摸路径304'相组合以生成N+1帧期间的第二组组合显示图像510'(例如，以生成帧N+1)的示意性图示。在后续帧中(例如在帧N+1，其中N是与第一组组合显示图像510相对应的帧)，来自AP 202的视频图像316'包括在帧N中没有显示(例如不在如图5所示的视频图像316中)的图像片段600。此外，在帧N+1期间，触摸路径逻辑400从触摸事件304'计算出了不同的掩模500'，该掩模500'包含与图5所示的掩模500不同的一组值。这样，渲染逻辑404输出组合显示图像506'，组合显示图像506'是根据掩模数据500'对来自AP 202的视频图像316'和覆盖数据314的合成。
图7是图示出根据本发明的一个实施例的用于将覆盖数据与视频图像相组合以生成组合显示图像的方法的流程图。参考图7，根据本发明的一个实施例，在操作702中，从外部源(例如触摸传感器面板)接收触摸事件。在操作704中通过在触摸事件之间进行内插或外推来从触摸事件生成触摸路径(或估计触摸路径)，其中可通过参数来调整内插方法以配置例如组合显示图像的覆盖图像片段508的宽度、式样、直线或曲线、区域和颜色。
在操作706中从触摸路径生成掩模数据500，其中掩模数据500的值的相对位置对应于显示面板的像素的相对位置，并且掩模数据500的值指示组合显示图像的相应像素是应当包含来自覆盖缓冲器406的覆盖数据还是来自AP的视频图像还是其混合组合。掩模数据500被存储在掩模缓冲器402中。在操作708中，从掩模缓冲器402检索掩模数据500，其中检索的值位于掩模数据500内的与渲染逻辑当前正处理的像素的位置相对应的位置处。
在操作710中，掩模数据500的与显示面板中当前正处理的像素的位置相对应的值被用于选择性地输出来自覆盖缓冲器406的覆盖数据或者来自AP的视频图像，或者其混合。
在操作712中，组合显示图像被输出并提供给显示面板以显示覆盖数据314与视频图像的合成。
这样，本发明的实施例提供了用于通过在作为对比的高延时环路内部引入低延时环路来减短整体系统延时的系统和方法。
可通过组合来自从触摸路径生成的掩模数据500的信息、来自覆盖缓冲器的覆盖数据314和来自AP的高延时视频图像来生成低延时显示图像。触摸路径是根据随着时间的流逝而记录的触摸事件(例如来自触摸控制器的输出)来计算的。覆盖数据314可由AP提供或在覆盖系统中生成。
可以动态调整覆盖特性，包括但不限于颜色、尺寸(例如宽度)、持续性、明暗以及定时。这些调整可由AP以一组参数的形式提供或者可在覆盖系统内部例如通过分析来自AP的视频图像来得出。这些调整也可由触摸行为来确定。例如，可根据施加到触摸传感器面板的压力来调整所得到的线条的宽度(例如，宽度参数与测量到的触摸事件的压力成比例)。
显示图像由覆盖系统经由掩模数据500来生成，掩模数据500是从触摸路径计算出的。映射和缩放参数可由AP提供或者可在覆盖系统内部通过例如分析触摸事件或来自AP的视频图像来计算出。
渲染逻辑可在像素级将覆盖数据与来自AP的视频图像融合。在一个实施例中，根据掩模数据的值利用来自覆盖数据的像素特性替代来自视频图像的像素特性。在其他实施例中，基于来自视频图像和覆盖数据的各个像素特性的混合来创建新的像素特性。
图8是图示出根据本发明的另一实施例的包括覆盖系统和检测系统的设备的框图。图8的设备与图2和图3的设备的不同之处在于：覆盖系统从检测系统800而不是AP 202接收参数312和覆盖数据314。在图2和图3所示的实施例中，覆盖系统310可与应用软件(例如在AP 202中或在AP 202上运行)紧密集成，以使得覆盖系统310可接收参数312和覆盖数据314。然而，由于图8的覆盖系统是在没有来自应用软件或AP 202的输入的情况下生成显示覆盖的，所以不需要覆盖系统310与应用软件之间的紧密集成。
在当前移动设备生态系统不支持覆盖系统的情况下可利用这种配置。例如，在应用软件不知晓覆盖系统的情况下，该软件不能够使能或禁用覆盖功能或者传递覆盖数据的视觉特性。许多软件开发套件不包含关于“覆盖数据”和“参数”的定义，因此不能够按照应用请求行动。移动设备的操作软件也可能不包含适当的设备驱动器来生成“覆盖数据”和“参数”，并且因此不能够将软件开发套件(software development kit，SDK)服务调用转化成硬件命令。此外，应用处理器可能不具有用于“覆盖数据”和“参数”的物理输出，并且现有的应用处理器可能不支持将“覆盖数据”和“参数”捎带在可用的显示接口上(例如，移动行业处理器接口，亦称MIPI)。本发明的实施例提供了一种设备，其中覆盖系统不从应用处理器、操作系统、软件开发套件或者应用软件接收数据输入。根据本发明的实施例的设备从而包括一种独立自足的系统，该系统不要求对当前移动设备生态系统的任何改变，从而减少了集成工作。
图8的检测系统800提供了两个主要功能：确定覆盖数据314的视觉特性，并且如果其越过了活跃描绘边界则促进对覆盖的禁用(例如，为了防止在活跃描绘区域之外应用覆盖)。检测系统800将接收到的触摸事件与接收到的视频图像相组合来生成用于执行这两个功能的信息。参考图8，在一个实施例中，检测系统800从触摸控制器200接收触摸事件304，并且从AP 202接收视频图像316。检测系统800将参数312和覆盖数据314输出到覆盖系统310。根据本发明的实施例，检测系统800可以是DDIC 204的一部分，或者可以是AP 202的一部分，或者可以是独立的组件。
更详细地说，图9是图示出根据本发明的一个实施例的检测系统的组件的框图。参考图9，根据一实施例的检测系统800包括选择模块802、图像解析模块804、图像比较模块806和参数模块808。来自DDIC 204的参考定时信号VSYNC、HSYNC和时钟(Clock)也被应用到检测系统800。根据一实施例，参考定时信号VSYNC、HSYNC和时钟被应用到显示设备的每个模块。
在一个实施例中，用于触摸事件304的数据总线耦合到AP 202、覆盖系统310和检测系统800。选择模块802从触摸控制器200接收触摸事件304并且将触摸事件304的位置映射到与VSYNC和HSYNC参考定时信号相对应的坐标。选择模块802把对于每个触摸事件位置的一组映射的坐标输出到图像解析模块804。图像解析模块804从选择模块802接收映射的坐标并且从AP 202接收视频图像316，并且记录视频图像316的与每组坐标相对应的片段。记录的片段被存储在存储器中以便输出到图像比较模块806。图像比较模块806接收记录的图像片段并且将每个个体图像片段与所有其他图像片段相比较。对于每个图像片段，图像比较模块806输出带有前景均匀性因子(uniformity factor)的估计前景色、和带有背景均匀性因子的估计背景色。均匀性因子表示图像片段包含指定颜色的百分比。参数模块808从图像比较模块806接收估计前景色和背景色及其各自的均匀性因子，并且将该信息转换成用于覆盖系统310的覆盖数据。在一个实施例中，当设备处于手写模式中时，参数模块808计算线条的视觉特性被描绘的可能性、以及覆盖将会越过活跃描绘区域的边界的可能性，并且相应地向覆盖系统310输出参数/数据。
更详细地说，图10A是图示出根据本发明的一个实施例的检测系统的选择模块的过程的流程图。参考图10A，在方框1000，选择模块802接收触摸事件(例如，从触摸控制器200接收)并且在接收到的触摸事件位置处的触摸点之间进行内插以添加内插的触摸点来减小(接收到的和内插的)触摸点之中的邻近触摸点之间的距离(或最大距离)。在图10B中，图示的网格的阴影区域1001表示触摸事件位置，并且X符号表示内插的触摸点1003。根据一实施例，网格的每个方形对应于视频图像中的一位置(例如，像素的位置)。在方框1002，选择模块802选择每个触摸点1003周围的片段1005(例如，一组方形)。内插的触摸点1003从而被用作选择视频图像的片段1005的参照。在图10C中，阴影区域对应于要映射的被选片段1005，并且被选片段1005被编索引(在图10C所示的示例中，七个被选片段1005被利用数字1到7来编索引)。虽然在图10C中每个被选片段被示为具有方形形状的三像素乘三像素块，但本发明的实施例不限于此，而被选片段可具有任何形状和大小。根据一实施例，被选片段的默认大小对应于描绘的线条的典型宽度。在一个实施例中，被选片段的大小可被编程(例如，预编程)到检测模块中，或者可通过固件经由寄存器设定来更新。
参考图10A，在方框1004，选择模块802映射被选片段1005的坐标。在一个实施例中，坐标对应于被选片段1005的角落或边缘。映射的坐标对应于在方框1002选择并且在图10C中示为阴影区域1005的片段的边缘(或角落)。图10D是与被选片段1005的角落或边缘相对应的映射的坐标的表格。根据一实施例，图示的网格的每一行和每一列被编号。对于每个索引的片段，被选片段的开始行、停止行、开始列和停止列被记录在坐标表格中。
例如，被编索引为片段1的片段1005具有与开始行2相对应的上边缘、与停止行4相对应的下边缘、与开始列2相对应的左边缘和与停止列4相对应的右边缘。从而，片段1的左上角对应于开始行2和开始列2，左下角对应于停止行4和开始列2，右上角对应于开始行2和停止列4，并且右下角对应于停止行4和停止列4。然而，本发明的实施例不限于此，而可使用与被选片段的任何边界或部分相对应的坐标。
参考图10A，在方框1006，选择模块802根据参考定时信号VSYNC和HSYNC将映射的坐标转换成显示线定时(display line timing)。根据本发明的实施例的一方面，转换成线定时是使选择模块802的输出与显示屏幕的定时同步以便在图像解析模块804中记录正确的图像片段的一种方式。例如，当按光栅扫描方式——通常是从左上到右下一次一线(或一行)地——刷新显示屏幕时，线定时控制光栅刷新的速度。根据一实施例，由于选择模块802的输入是基于独立于屏幕刷新而发生的触摸事件的，所以线定时转换是将选择模块的输出同步到显示屏幕并从而同步到来自AP的视频图像的一种机制。
图10E是按线定时转换的坐标的表格。在线定时中，每一行对应于一个相对时间点，最顶行在时间上最早。例如，对于在时间上最早的片段(例如，最左上的片段，被编索引为片段1)，行2至4的开始列是列2，并且行2至4的停止列是列4。然而，本发明的实施例不限于此，而可利用各种其他坐标系统。例如，一些显示器(例如，一些场序显示器)不按光栅扫描方式刷新。取而代之，一次将一“场”(屏幕的一个片段或者整个屏幕)全部刷新。在这种情况下，转换是转换到场定时，而不是线定时。转换后的坐标被从选择模块802输出到图像解析模块804。虽然在图10A中没有描绘，但参考定时信号“时钟”适用于所有的方框1000、1002、1004和1006。
更详细地说，图11A是图示出根据本发明的一个实施例的检测系统800的图像解析模块804的框图。参考图11A，图像解析模块804从选择模块802接收坐标，并且这些坐标被输入到定时控制和计数器1100，参考定时信号VSYNC和HSYNC被应用到该定时控制和计数器1100。图像解析模块804根据定时控制和计数器1100来记录来自AP 202的视频图像316的与来自选择模块802的坐标相对应的片段(换言之，视频的与被选片段1005相对应的片段)。定时控制和计数器1100输出与每个记录的图像片段相对应的使能信号(或开始/停止信号)1101，以使得个体片段的记录可被开始和停止。根据一实施例，当按光栅扫描方式来刷新显示屏幕时，视频图像从AP从左上到右下一次一个像素地到达。由于每条线只有一部分要被记录，所以使能信号开始和停止记录。例如，参考图10C，图像片段1是三像素乘三像素块，其左上角在线(或行)2和列2处。当线定时到达线(或行)2和列2时，使能信号激活。当线定时到达列5时(仍在线2上)，使能信号去激活。在线(或行)3上，发生相同的过程。记录的视频图像的片段被作为图像片段1106存储在存储器1104中。虽然图11A示出了N个记录片段，但在一个实施例中图像解析模块804只包括一个从1循环到N的记录器。图像解析模块804被配置为将存储的图像片段1106输出到图像比较模块806以便进一步处理。虽然存储器1104在图11A中被示为在图像解析模块804内，但本发明的实施例不限于此，而存储器1104可位于设备的任何模块中。
图11B是根据本发明的一个实施例的视频图像的示意性图示。例如，在手写应用中，通常有明确的背景色和与背景色形成充分对比的明确的前景色，并且活跃书写区域几乎完全由这两种颜色构成。然而，在活跃书写区域之外的区域中，背景色可变化。参考图11B，更明亮的颜色是视频图像的背景色，并且黑色是被描绘的线条1108的前景色。根据一实施例，图11B所示的线条1108由于延时而短于触摸点追踪的实际路径(例如，如图10C所示)。
更详细地说，图12是图示出根据本发明的一个实施例的检测系统800的图像比较模块806的框图。参考图12，图像比较模块806从存储器1104接收图像片段1106并且分析每个图像片段以检测并区分前景色和背景色。图像比较模块806通过向每个图像片段应用加权因子W1…N来使得每个图像片段偏向于包含更多前景色或更多背景色。根据一实施例，由于显示器中的延时，对于在时间上较早的图像片段(例如，编号较低的图像片段1106)，该图像片段更有可能包含前景色，并且加权因子W1…N使该图像片段偏向于包含更多前景色。对于在时间上较晚的图像片段(例如，编号较高的图像片段1106)，该图像片段更有可能包含背景色，并且加权因子W1…N使该图像片段偏向于包含更多背景色。
图像比较单元1200接收偏置的图像片段并且将每个个体图像片段与所有其他图像片段相比较以检测(或确定)每个片段的前景色和背景色。图像比较可利用任何用于测量多个图像的颜色差异并且检测图像的前景色和背景色的适当算法来执行(例如，基于对比度的图像比较)。图像比较单元1200还为每个图像片段计算前景均匀性因子和背景均匀性因子。均匀性因子表示图像片段包含指定颜色的百分比。例如，在将图12中的图像片段1106a与所有其他记录并存储的图像片段相比较之后，图像比较模块806检测到前景色是黑色并且背景色是白色。由于图像片段1106a中的9个方形中的7个包含黑色前景色，所以该图像片段的前景均匀性因子被计算为约78％。由于图像片段1106a中的9个方形中的2个包含白色背景色，所以该图像片段的背景均匀性因子被计算为约22％。从而，对于图像片段1106a，图像比较单元1200输出黑色的前景色、78％的前景均匀性因子、白色的背景色以及22％的背景均匀性因子。对于记录的图像片段1106b，前景均匀性因子被计算为0％并且背景均匀性因子被计算为100％。从而，对于图像片段1106b，图像比较单元1200输出黑色的前景色、0％的前景均匀性因子、白色的背景色以及100％的背景均匀性因子。
更详细地说，图13A是图示出根据本发明的一个实施例的检测系统的参数模块的一部分的框图。参考图13A，参数模块808从图像比较模块806接收每个图像片段的前景均匀性因子、前景色、背景均匀性因子和背景色。参数模块808还接收前景阈值(或设定)和背景阈值(或设定)，它们可由系统的设计者基于经验数据来设定。比较单元1300将前景均匀性因子与前景阈值相比较，并且如果前景均匀性因子大于或等于前景阈值，则比较单元1300输出处于活跃水平的信号FG_Valid。
根据本发明的实施例的一方面，大于或等于前景阈值的前景均匀性因子指示所讨论的图像片段确实包含前景色的更大的可能性或置信水平。不大于或等于前景阈值的前景均匀性因子指示所讨论的图像片段确实包含前景色的更小的可能性或置信水平。如果FG_Valid信号处于活跃水平，则阈值检查单元1304使前景色通过并且其被作为覆盖颜色从参数模块808输出。如果FG_Valid信号不处于活跃水平，例如当前景均匀性因子不大于或等于前景阈值时，则该图像片段确实包含前景色的置信水平较低。阈值检查单元1304因此输出禁用覆盖的FG_Disable信号以避免显示不正确的覆盖颜色。
例如，对于图像片段1106a，比较单元1300将78％的前景均匀性因子与前景阈值——例如60％——相比较。由于前景均匀性因子大于前景阈值，所以比较单元1300将FG_Valid信号设定在活跃水平，并且图像片段1106a的黑色前景色被作为该片段的覆盖颜色输出。对于图像片段1106b，比较单元1300将0％的前景均匀性因子与60％的前景阈值相比较。由于前景均匀性因子不大于或等于前景阈值，所以比较单元1300不将FG_Valid信号设定在活跃水平。阈值检查单元1304从而输出FG_Disable信号以禁用覆盖。
比较单元1302将背景均匀性因子与背景阈值相比较，并且如果背景均匀性因子大于或等于背景阈值，则比较单元1302输出处于活跃水平的信号BG_Valid。根据本发明的实施例的一方面，大于或等于背景阈值的背景均匀性因子指示所讨论的图像片段确实包含背景色的更大的可能性或置信水平。不大于或等于背景阈值的背景均匀性因子指示所讨论的图像片段确实包含背景色的更小的可能性或置信水平。如果BG_Valid信号处于活跃水平，则阈值检查单元1306使背景色通过并去往边界检查单元1308。如果BG_Valid信号不处于活跃水平，例如当背景均匀性因子不大于或等于背景阈值时，则该图像片段确实包含背景色的置信水平较低。阈值检查单元1304从而输出禁用覆盖的BG_Disable信号，以避免显示不正确的覆盖颜色。
例如，对于图像片段1106a，比较单元1302将22％的背景均匀性因子与背景阈值——例如60％——相比较。由于背景均匀性因子不大于或等于背景阈值，所以比较单元1302不将BG_Valid信号设定在活跃水平。阈值检查单元1306从而输出BG_Disable信号以禁用覆盖。对于图像片段1106b，比较单元1302将100％的背景均匀性因子与60％的背景阈值相比较。由于背景均匀性因子大于背景阈值，所以比较单元1302将BG_Valid信号设定在活跃水平，并且使白色的背景色通过并去往边界检查单元1308。
参考图13，FG_Disable和BG_Disable信号被输入到或逻辑单元1310，从而使得如果FG_Disable信号或BG_Disable信号被输出，则覆盖被禁用。
边界检查单元1308从阈值检查单元1306接收背景色并且从选择模块802接收映射的坐标。根据一实施例，边界检查单元1308被配置为防止覆盖数据被应用在显示器的在活跃描绘区域之外的部分上。在图13A的边界检查单元1308中，来自选择模块802的每组映射的坐标与相应的背景色相关联。例如，对于被编索引的图像片段1，图像片段1的坐标(例如，如图10E所示)与白色背景色相关联。边界检查单元1308检测图像片段之间的背景色的变化，并且如果有变化，则边界检查单元1308输出恰在颜色变化之前沿着触摸路径的边界的相应坐标。
根据一实施例，当用户的指示工具移过显示器的活跃描绘区域时背景色的变化表明用户已移动到活跃描绘区域之外。在一个实施例中，如果边界检查单元1308检测到从白色背景色(例如，活跃描绘区域的背景色)到不同的背景色——比如蓝色——的变化，则边界检查单元1308输出恰在颜色变化之前与白色背景色相对应的那组坐标。例如，如果第一图像片段(例如，被编索引的图像片段7)对应于白色背景色并且第二图像片段(例如，被编索引的图像片段8)对应于蓝色背景色，则第一图像片段(例如，图像片段7)的坐标将被输出。在一个实施例中，覆盖系统310从边界检查单元1308接收边界坐标并且防止在边界之外显示覆盖。在上述示例中，覆盖系统310将接收图像片段7的坐标并且防止超出这些坐标应用覆盖。
更详细地说，图13B是图示出根据本发明的一个实施例的检测系统的参数模块的另一部分的框图。根据一实施例，图13B所示的参数模块808的部分被配置为计算覆盖的线条宽度。每个图像片段的前景均匀性因子和FG_Valid信号被输入到有效性检查单元1400，该有效性检查单元1400确定有效因子。根据一实施例，有效性检查单元1400仅使具有相应的活跃的FG_Valid信号的那些前景均匀性因子通过。也就是说，有效性检查阻止不具有相应的活跃的FG_Valid信号的任何前景均匀性因子。前景均匀性因子被利用来识别描绘的线条的部分。在一个实施例中，如果图像片段的前景均匀性因子是100％，则该片段对应于描绘的线条的内部部分。如果前景均匀性因子小于100％，则该片段对应于线条的边缘部分。如果前景均匀性因子为0％，则该片段不对应于线条的任何部分。与线条的内部部分和边缘部分相对应的图像片段可被利用来计算线条宽度。来自选择模块802的映射的坐标被输入到分段线性斜率计算器1402，该分段线性斜率计算器1402计算每组坐标内的线条的斜率。线条宽度计算器1404从有效性检查单元1400接收有效因子并且从分段线性斜率计算器1402接收斜率计算，并且将每个有效因子和计算出的斜率与图像片段的一组坐标相关联。
图13A和图13B的参数模块808因此被配置为向覆盖系统310输出覆盖颜色、边界坐标、线条宽度和禁用参数。因为覆盖数据和参数是在不利用移动设备的应用软件的情况下在原地生成的，所以可以减小显示器响应于触摸输入的延时。此外，可以利用更少的存储器，因为只存储视频图像的在触摸位置周围的选定部分。
然而，本发明的实施例不限于此。
例如，在一个实施例中，选择模块802、图像解析模块804、图像比较模块806和参数模块808是各自利用不同的专用集成电路(ASIC)来实现的。在本发明的其他实施例中，单个ASIC用于实现所有功能。在本发明的其他实施例中，现场可编程门阵列(FPGA)被编程为执行选择模块802、图像解析模块804、图像比较模块806和参数模块808中的每一者的功能。或者，通用处理器可被(例如利用连接到该通用处理器的存储器中存储的指令)编程为执行选择模块802、图像解析模块804、图像比较模块806和参数模块808中的每一者的功能。
另外，虽然选择模块802、图像解析模块804、图像比较模块806和参数模块808在图9中被示为检测系统800的组件，但本发明的实施例不限于此。在一些实施例中，选择模块802、图像解析模块804、图像比较模块806和参数模块808(或者能够执行这些功能的组件)中的一个或多个位于例如DDIC204、覆盖系统310内或者作为单独的组件。此外，它们执行的组件或功能可位于设备的不同部分中。
虽然已联系某些示例实施例描述了本发明，但要理解本发明不限于公开的实施例，而是相反，打算覆盖所附权利要求及其等同物的精神和范围内包括的各种修改和等同布置。

Claims (23)

1.一种用于生成显示覆盖的系统，包括：
第一模块，被配置为接收视频图像并且记录所述视频图像的与触摸事件位置相对应的图像片段；
第二模块，被配置为基于对所述视频图像的图像片段的比较来确定每个图像片段的前景色信息和背景色信息；以及
第三模块，被配置为基于所述前景色信息和所述背景色信息来输出覆盖信息。
2.如权利要求1所述的系统，其中，所述视频图像包括前景色和背景色，所述前景色对应于显示的线条。
3.如权利要求1所述的系统，其中，所述前景色信息包括所述视频图像的前景色和前景均匀性因子，该前景均匀性因子是图像片段包含所述前景色的百分比，并且所述背景色信息包括所述视频图像的背景色和背景均匀性因子，该背景均匀性因子是图像片段包含所述背景色的百分比。
4.如权利要求3所述的系统，其中，所述覆盖信息包括覆盖的颜色，并且所述第三模块还被配置为基于对所述前景均匀性因子和前景阈值的比较来禁用覆盖或者输出图像片段的前景色作为覆盖的颜色。
5.如权利要求3所述的系统，其中，所述第三模块还被配置为基于对所述背景均匀性因子和背景阈值的比较来禁用覆盖或者确定覆盖的边界。
6.如权利要求5所述的系统，其中，覆盖的边界是通过比较第一图像片段的背景色和第二图像片段的背景色来确定的。
7.如权利要求6所述的系统，其中，所述第三模块还被配置为当所述第一图像片段的背景色不同于所述第二图像片段的背景色时输出与所述第一图像片段相对应的坐标。
8.如权利要求3所述的系统，其中，所述覆盖信息包括覆盖的尺寸，并且所述第三模块还被配置为基于每个图像片段的前景均匀性因子来确定覆盖的线条的宽度。
9.如权利要求1所述的系统，其中，所述第二模块还被配置为通过向每个图像片段应用加权因子来使每个图像片段偏向于包含更多前景色或更多背景色。
10.如权利要求1所述的系统，其中，所述第一模块、第二模块和第三模块是显示驱动器接口控制器的组件，所述显示驱动器接口控制器被配置为从应用处理器接收所述视频图像并且向显示面板输出所述覆盖信息。
11.如权利要求1所述的系统，其中，触摸事件位置包括触摸点的位置和内插的触摸点的位置，并且图像片段是触摸事件位置周围的片段。
12.一种用于生成显示覆盖的方法，该方法包括：
接收多个触摸事件和一视频图像；
记录所述视频图像的与所述触摸事件的位置相对应的图像片段；
将记录的图像片段相互比较以确定每个图像片段的前景色信息和背景色信息；以及
基于所述前景色信息和所述背景色信息提供覆盖信息。
13.如权利要求12所述的方法，其中，所述视频图像包括前景色和背景色，所述前景色对应于显示的线条。
14.如权利要求12所述的方法，其中，所述前景色信息包括所述视频图像的前景色和前景均匀性因子，该前景均匀性因子是图像片段包含所述前景色的百分比，并且所述背景色信息包括所述视频图像的背景色和背景均匀性因子，该背景均匀性因子是图像片段包含所述背景色的百分比。
15.如权利要求14所述的方法，其中，所述覆盖信息包括覆盖的颜色，所述方法还包括：
比较所述前景均匀性因子和前景阈值；以及
基于所述比较来禁用覆盖或者提供图像片段的前景色作为覆盖的颜色。
16.如权利要求14所述的方法，还包括：
比较所述背景均匀性因子和背景阈值；以及
基于所述比较来禁用覆盖或者确定覆盖的边界。
17.如权利要求16所述的方法，其中，确定覆盖的边界包括比较第一图像片段的背景色和第二图像片段的背景色。
18.如权利要求17所述的方法，还包括：
当所述第一图像片段的背景色不同于所述第二图像片段的背景色时，提供与所述第一图像片段相对应的坐标。
19.如权利要求14所述的方法，其中，所述覆盖信息包括覆盖的尺寸，并且所述方法还包括：
基于每个图像片段的前景均匀性因子来确定覆盖的线条的宽度。
20.如权利要求12所述的方法，还包括：
向每个图像片段应用加权因子以使每个图像片段偏向于包含更多前景色或更多背景色。
21.如权利要求12所述的方法，其中，在时间上更早的图像片段被偏向为包含更多前景色，并且在时间上更晚的图像片段被偏向为包含更多背景色。
22.如权利要求12所述的方法，其中，触摸事件位置包括触摸点的位置和内插的触摸点的位置，并且图像片段是触摸事件位置周围的片段。
23.一种显示系统，包括：
触摸面板；
显示面板；
应用处理器；
第一模块，被配置为接收视频图像并且记录所述视频图像的与触摸事件位置相对应的图像片段；
第二模块，被配置为基于对所述视频图像的图像片段的比较来确定每个图像片段的前景色信息和背景色信息；
第三模块，被配置为基于所述前景色信息和所述背景色信息来输出覆盖信息；以及
覆盖系统，被配置为接收覆盖信息并将覆盖信息与视频图像相组合以输出到显示面板。
CN201510147965.8A 2014-03-31 2015-03-31 用于生成显示覆盖的系统和方法以及显示系统 Active CN104951127B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201461973152P 2014-03-31 2014-03-31
US61/973,152 2014-03-31
US14/663,396 2015-03-19
US14/663,396 US10127700B2 (en) 2014-03-31 2015-03-19 Generation of display overlay parameters utilizing touch inputs

Publications (2)

Publication Number Publication Date
CN104951127A true CN104951127A (zh) 2015-09-30
CN104951127B CN104951127B (zh) 2019-06-04

Family

ID=52807605

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510147965.8A Active CN104951127B (zh) 2014-03-31 2015-03-31 用于生成显示覆盖的系统和方法以及显示系统

Country Status (4)

Country Link
US (1) US10127700B2 (zh)
EP (1) EP2927876A1 (zh)
KR (1) KR102240294B1 (zh)
CN (1) CN104951127B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104111793A (zh) * 2013-04-22 2014-10-22 三星显示有限公司 利用图像覆盖来减小显示滞后的系统、方法和装置
CN107145313A (zh) * 2016-03-01 2017-09-08 腾讯科技（深圳）有限公司 图像显示方法及装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102266869B1 (ko) * 2014-04-03 2021-06-21 삼성전자주식회사 전자 장치 및 전자 장치의 디스플레이 방법
KR102314110B1 (ko) * 2014-09-16 2021-10-18 삼성디스플레이 주식회사 시각화 가속부를 포함하는 터치 표시 장치
US10290110B2 (en) * 2016-07-05 2019-05-14 Intel Corporation Video overlay modification for enhanced readability
US20190087060A1 (en) * 2017-09-19 2019-03-21 Sling Media Inc. Dynamic adjustment of media thumbnail image size based on touchscreen pressure
CN110580125B (zh) * 2018-06-07 2022-04-22 广州视源电子科技股份有限公司 显示界面的局部刷新方法、装置、设备及介质
CN112672199B (zh) * 2020-12-22 2022-07-29 海信视像科技股份有限公司 一种显示设备及多图层叠加方法
US20240019964A1 (en) * 2022-07-13 2024-01-18 Sigmasense, Llc. Touch Icon Offset Based on Touch Data Samples

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050053278A1 (en) * 2001-05-31 2005-03-10 Baoxin Li Image background replacement method
CN101496065A (zh) * 2006-08-03 2009-07-29 高通股份有限公司 采用像素掩模的图形系统
CN101847631A (zh) * 2009-03-27 2010-09-29 株式会社半导体能源研究所 半导体装置、显示装置及电子设备
US20100277429A1 (en) * 2009-04-30 2010-11-04 Day Shawn P Operating a touch screen control system according to a plurality of rule sets
CN102023760A (zh) * 2010-12-01 2011-04-20 广州市迪拓信息科技有限公司 一种多点触控感应方法及其设备
CN102713931A (zh) * 2009-08-04 2012-10-03 艾修视力科技有限公司 用于对象提取的系统和方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7071950B2 (en) 2000-09-01 2006-07-04 Ricoh Co., Ltd. Super imposed image display color selection system and method
GB2415519A (en) 2004-06-24 2005-12-28 Canon Europa Nv A scanning and indexing device
US20070206024A1 (en) 2006-03-03 2007-09-06 Ravishankar Rao System and method for smooth pointing of objects during a presentation
KR100933042B1 (ko) 2007-07-02 2009-12-21 (주)나노티에스 터치 좌표인식 방법 및 이를 수행하기 위한 터치스크린장치
US8762864B2 (en) * 2007-08-06 2014-06-24 Apple Inc. Background removal tool for a presentation application
US8014596B2 (en) * 2007-10-30 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for background color extrapolation
KR101135620B1 (ko) 2009-11-06 2012-04-17 김용철 터치스크린 장치 및 그의 스캔 방법
KR101372122B1 (ko) 2012-02-28 2014-03-12 한국과학기술원 터치스크린에서의 벡터 기반 제스처를 보정하는 방법 및 그 장치
JP2013213898A (ja) 2012-04-02 2013-10-17 Sharp Corp 表示装置
US20130271487A1 (en) 2012-04-11 2013-10-17 Research In Motion Limited Position lag reduction for computer drawing
US9661239B2 (en) * 2013-04-17 2017-05-23 Digital Makeup Ltd. System and method for online processing of video images in real time

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050053278A1 (en) * 2001-05-31 2005-03-10 Baoxin Li Image background replacement method
CN101496065A (zh) * 2006-08-03 2009-07-29 高通股份有限公司 采用像素掩模的图形系统
CN101847631A (zh) * 2009-03-27 2010-09-29 株式会社半导体能源研究所 半导体装置、显示装置及电子设备
US20100277429A1 (en) * 2009-04-30 2010-11-04 Day Shawn P Operating a touch screen control system according to a plurality of rule sets
CN102713931A (zh) * 2009-08-04 2012-10-03 艾修视力科技有限公司 用于对象提取的系统和方法
CN102023760A (zh) * 2010-12-01 2011-04-20 广州市迪拓信息科技有限公司 一种多点触控感应方法及其设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104111793A (zh) * 2013-04-22 2014-10-22 三星显示有限公司 利用图像覆盖来减小显示滞后的系统、方法和装置
CN104111793B (zh) * 2013-04-22 2019-12-10 三星显示有限公司 利用图像覆盖来减小显示滞后的系统、方法和装置
CN107145313A (zh) * 2016-03-01 2017-09-08 腾讯科技（深圳）有限公司 图像显示方法及装置

Also Published As

Publication number Publication date
US20150279074A1 (en) 2015-10-01
KR102240294B1 (ko) 2021-04-14
EP2927876A1 (en) 2015-10-07
KR20150114434A (ko) 2015-10-12
US10127700B2 (en) 2018-11-13
CN104951127B (zh) 2019-06-04

Similar Documents

Publication Publication Date Title
CN104111793B (zh) 利用图像覆盖来减小显示滞后的系统、方法和装置
CN104951127A (zh) 用于生成显示覆盖的系统和方法以及显示系统
US9710098B2 (en) Method and apparatus to reduce latency of touch events
EP3089004B1 (en) A vector fill segment method and apparatus to reduce display latency of touch events
US9697803B2 (en) Method and apparatus to reduce display latency of touch events using image replications
CN105022580B (zh) 图像显示系统
KR102374160B1 (ko) 스케일링을 사용하여 디스플레이 지연을 감소시키는 방법 및 장치
US9811301B2 (en) Terminal and apparatus and method for reducing display lag
KR102161745B1 (ko) 터치 입력에 시각적 피드백을 제공하는 가속기, 터치 입력에 시각적 피드백을 제공하는 터치 입력 프로세싱 디바이스 및 방법
US20150242107A1 (en) Device control
CN104081333A (zh) 包括均描绘图形用户界面的区域的输入镜头的远程显示区
JP6945345B2 (ja) 表示装置、表示方法及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant