CN105027039B - 减少墨水渲染时的等待时间 - Google Patents

减少墨水渲染时的等待时间 Download PDF

Info

Publication number
CN105027039B
CN105027039B CN201380065225.9A CN201380065225A CN105027039B CN 105027039 B CN105027039 B CN 105027039B CN 201380065225 A CN201380065225 A CN 201380065225A CN 105027039 B CN105027039 B CN 105027039B
Authority
CN
China
Prior art keywords
ink
display
rendering
stand
operating system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380065225.9A
Other languages
English (en)
Other versions
CN105027039A (zh
Inventor
S·巴思彻
P·H·迪茨
H·本克
A·G·诺瓦兹克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN105027039A publication Critical patent/CN105027039A/zh
Application granted granted Critical
Publication of CN105027039B publication Critical patent/CN105027039B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412Digitisers structurally integrated in a display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/14Electronic books and readers

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

等待时间减少的墨水渲染系统和方法通过旁路操作系统的至少一些层,来减少在显示器上渲染墨水时的等待时间。“墨水”是使用用户的手指或笔通过触摸屏设备的来自用户的任何输入。此外,系统和方法的一些实施例通过从数字化仪直接去往显示控制器,避免了在最初渲染墨水时的计算设备上的操作系统以及每个中央处理单元(CPU)。在墨水的最初渲染之后,执行所渲染的墨水的任何校正或附加处理。系统和方法的实施例解决了软件实施例和硬件实施例中的墨水渲染等待时间,软件实施例包括旁路典型的渲染流水线并且在显示器上快速渲染墨水的技术,硬件实施例使用本地地改变显示像素的硬件和技术。这些实施例可以以任何方式被混合和匹配。

Description

减少墨水渲染时的等待时间
背景
平板计算设备(或类似类型的嵌入式设备)通常包含允许用户向设备输入数据的触摸屏。用户的数据输入可以使用手指或触笔(或笔)来完成。从笔(或手指)到设备的输入被称为“墨水”。
墨水被数字化以允许其被计算设备处理和操纵并且被显示。这一般通过将数字化墨水发出至设备上的操作系统、使处理器处理墨水、且然后将经处理的墨水发送至图形卡来执行。然后,图形卡可以将墨水(它是用户动作的效应)渲染至监视器或显示器上。
当前墨水渲染技术的一个缺陷在于所引入的等待时间。笔和手指趋于快速且是实际上瞬时的,而墨水的渲染趋于滞后。实际上,整个墨水渲染过程可以引入在50至100毫秒之间任何数的数量级上或甚至更大的等待时间。墨水渲染中的这一等待时间会造成慢且糟糕的用户体验。
特别是,该等待时间是不期望的效应,因为它打破了直接操纵对象的感知障碍。当然,这些是在位于同处的体验的场合下最常感知到的。换言之,当输入和输出彼此位于同处时(例如用触笔在平板计算设备或触摸屏上书写时),等待时间效应是最大的。
概述
提供该概述以便以简化形式引入概念的选集,这些概念在以下详细描述中进一步描述。该概述不意图标识所要求保护的主题的关键特征或基本特征,也不意图用于限制所要求保护的主题的范围。
等待时间减少的墨水渲染系统和方法的实施例通过旁路通用计算设备的操作系统的至少一些层以及传统渲染过程以允许墨水在显示器上更快的出现来减少渲染墨水时的等待时间。如此处使用的,术语“墨水”是指来自用户的输入,该输入是使用用户的手指或笔通过触摸屏设备作出的。系统和方法的一些实施例可以在单独芯片或协处理器上实现,通过从数字化仪直接进入显示控制器而避免了在最初渲染墨水时的操作系统的至少一些层以及一个或多个中央处理单元(CPU)。过程的其余部分可以在实际发生后赶上进度。例如,如果需要应用任何平滑的、彩色的或任何类型的校正,则校正可以在渲染墨水滞后由操作系统完成。其他实施例旁路操作系统的至少一些层,但仍可使用通用计算设备上包含的处理器。
系统100和方法的实施例在两个一般实施例中解决了墨水渲染等待时间:(1)软件实施例;以及(2)硬件实施例。应当注意,这些软件实施例和硬件实施例可以以任意方式混合和匹配以减少墨水渲染等待时间。
软件实施例使用在渲染墨水时旁路操作系统、CPU或两者中的至少一个的技术。在操作系统和CPU被旁路的实施例中,墨水取而代之地从数字化仪被直接发送至显示控制器用于在触摸屏显示器上渲染。具体而言,用户输入由数字化仪进行数字化,且做出用户输入是否包含墨水的确定。如果不是,则来自用户输入的数据被发送至操作系统并且以通常方式被渲染。这包括使用图形控制器和显示控制器在显示器上渲染数据。
在一些实施例中,墨水的标识是基于上下文信息。该上下文信息包括可用于帮助标识用户输入是否是墨水的任何信息。这包括用户可用来将输入标识为墨水的手势、界面或按钮。上下文信息也包括数字化仪中的墨水区域,该墨水区域令数字化仪获悉这些墨水区域中的输入是墨水。数字化仪中墨水区域的位置由操作系统确定,并且在接收用户输入之前被发送至数字化仪。
每当用户输入被标识为墨水时,通过操作系统的传统渲染过程被忽略,系统和方法的实施例被用于渲染墨水。如果用户输入包含墨水,则墨水由墨水渲染引擎处理,该墨水渲染引擎以预定的墨水样式(诸如色彩、线条粗细以及字体)渲染墨水。该墨水样式由操作系统预定以减少墨水渲染等待时间。
系统和方法的实施例也包括垂直同步。垂直同步将显示器的垂直刷新率与数字化仪的垂直刷新率同步。此外,系统和方法的实施例也包括光栅同步,该光栅同步用于将显示器的光栅线与数字化仪的光栅线同步。在一些实施例中,这些同步是到主时钟。垂直同步和光栅同步两者都有助于减少渲染墨水时的任何等待时间。在一些实施例中,通过不在等待扫描数字化仪的整个帧之后才发送要被渲染的数据,可进一步减少等待时间。墨水的这种“及时”渲染用于进一步减少等待时间。
系统和方法的硬件实施例使用使瞬时像素显示系统无需经过整个系统而本地地改变显示像素的技术。换句话说,显示像素被本地地改变。在这些技术中的一些中,用于改变显示像素的装置与用于数字化墨水的装置相同。在其他技术中,用于改变像素的装置与用于数字化笔数据的装置不同。
瞬时显示像素系统所使用的技术包括基于光的技术、基于压力的技术、基于热的技术、机械变形技术以及磁性技术。这些技术中的每一个技术使用不同的物理属性来改变显示像素。在替代实施例中,使用墨水消失或淡化技术。这些技术快速地渲染墨水,但使墨水在一时间段流逝之后消失或淡化。此时,传统渲染过程已赶上进度并且用于替换所渲染的墨水。此外,替代实施例也包括“双端口”显示器,其中在使用上述技术中的任一个或组合来瞬时地改变显示器的同时,显示控制器正在以显示频率更新显示器。
应当注意,替代实施例是可能的,此处讨论的步骤和要素可以取决于特定实施例而被改变、添加或删除。这些替代实施例包括可使用的替代步骤和替代要素以及可作出的结构变化,而不背离本发明的范围。
附图简述
现在参照附图,附图中相同的参考数字表示相应的部件:
图1是图示等待时间减少的墨水渲染系统和方法的实施例的第一示例性实现方式的框图。
图2是图示等待时间减少的墨水渲染系统和方法的实施例的第二示例性实现方式的框图。
图3是图示图1和2所示的等待时间减少的墨水渲染系统和方法的实施例的通用操作的流程图。
图4图示一通用计算机系统的简化示例,在该通用计算机系统上可以实现此处所述并且在图1-3和5-9中示出的等待时间减少的墨水渲染系统和方法的各个实施例和要素。
图5是图示在计算环境中实现的如图1-3所示的等待时间减少的墨水渲染系统和方法的软件实施例的概述的框图。
图6是图示图5所示的等待时间减少的墨水渲染系统和方法的软件实施例的细节的框图。
图7是图示图5和6所示的等待时间减少的墨水渲染系统和方法的软件实施例的示例性实施例的操作的细节的流程图。
图8是图示图1所示的等待时间减少的墨水渲染系统和方法的硬件实施例的概览的框图。
图9是图示图8所示的等待时间减少的墨水渲染系统和方法的硬件实施例的示例性实现的操作的细节的流程图。
详细描述
在等待时间减少的墨水渲染系统和方法的以下描述中,参考形成该详细描述的一部分的附图,附图中通过图示示出借此可实现等待时间减少的墨水渲染系统和方法的实施例的具体示例。应当理解,可以使用其他实施例,并且可以作出结构变化,而不背离所要求保护的主题的范围。
I.系统和操作概览
等待时间减少的墨水渲染系统和方法的实施例将墨水的处理卸载至一专用过程,该专用过程以比操作系统及整个传统渲染过程快得多的方式来在显示器上渲染墨水。更具体而言,该系统和方法的实施例以比显示卡或控制器更高的帧速率来本地地更新显示器。处理在本地发生,并且被报告给使用中的任何应用和操作系统,以供任何附加的处理和清理。
I.A.系统概览
图1是图示等待时间减少的墨水渲染系统和方法的实施例的第一示例性实现方式的框图。在图1中,等待时间减少的墨水渲染系统100的实施例被示出为在触摸屏显示器110中实现。在这些实施例中,用户(未示出)使用手指通过触摸屏显示器110来输入数据。
图2是图示等待时间减少的墨水渲染系统100和方法的实施例的第二示例性实现方式的框图。在图2中,等待时间减少的墨水渲染系统100的这些实施例被示出为在嵌入式设备200中实现。嵌入式设备200包括显示表面210。在这些实施例中,用户(未示出)使用笔220通过显示表面210来输入数据。
I.B.操作概览
图3是图示图1和2所示的等待时间减少的墨水渲染系统100以及方法的实施例的通用操作的流程图。如图3所示,系统100的操作通过确定将用于渲染墨水的墨水样式而开始(框300)。如此申请中使用的,术语“墨水”是指使用用户的手指或笔通过触摸屏设备而来自用户的输入。该墨水样式由容纳该系统100和方法的计算设备的操作系统所确定。在渲染墨水之前以此方式预设墨水样式以减少墨水渲染过程期间的等待时间。
此外,上下文信息从操作系统被发送至系统100和方法的数字化仪(框305)。该上下文信息包括可用于帮助该系统100和方法标识用户输入是否是墨水的任何信息。这包括用户可用来将该系统100和方法的实施例设置到运动中的手势、界面或按钮。每当这发生时,用户输入就被标识为墨水,通过操作系统的至少一些层的传统渲染过程被忽略,系统100和方法的实施例用于渲染墨水。
上下文信息也包括数字化仪中的墨水区域,这些墨水区域令数字化仪获悉这些墨水区域中的输入为墨水。数字化仪中的墨水区域的位置由操作系统确定,并且在接收用户输入之前被发送至数字化仪。在一些实施例中,操作系统通知数字化仪:特定区域(诸如x、y矩形窗)是墨水“画布”。应当注意,可能有这些墨水区域中的多于一个墨水区域。当用户在这些墨水区域中书写时,数字化仪立即获悉用户输入为墨水并且应该用系统100和方法的实施例快速地渲染。操作系统的至少一些层和传统渲染序列被旁路,如以下详述。
然后,系统100从用户接收输入(框310)。然后做出用户输入是否是墨水的确定(框315)。如上所述,该确定是基于上下文信息。这一关于用户输入是否为墨水的判定可由除操作系统以外的多个系统作出。例如,图形处理单元(GPU)可以作出该判定。或者该功能可以内嵌于数字化仪中的处理器。此外,在一些实施例中,一个或多个处理器执行该确定。
如果用户输入不是墨水,则它使用操作系统和传统渲染技术来渲染(框320)。如果用户输入是墨水(框325),则墨水通过旁路操作系统而被直接渲染于显示器上(框330)。一旦墨水已被渲染于显示器上,则墨水被发送至操作系统供处理(诸如由应用处理)、校正或两者(框335)。系统100和方法的实施例也向操作系统更新:墨水的渲染已发生于显示器上(框340)。然后,操作系统作出的墨水中的任何校正或处理细化被应用于所渲染的墨水,并且墨水被重新渲染(框345)。
II.示例性操作环境
在进一步继续等待时间减少的渲染系统100和方法的实施例的操作概览和细节之前,现在将讨论等待时间减少的墨水渲染系统100和方法可在其中操作的示例性操作环境。此处描述的等待时间减少的墨水渲染系统100和方法的实施例在许多类型的通用或专用计算系统环境或配置内可操作。
图4图示一通用计算机系统的简化示例,在该通用计算机系统上可以实现此处所述并且在图1-3和5-9中示出的等待时间减少的墨水渲染系统100和方法的各个实施例和要素。应当注意,用图4中的折线或虚线表示的任何框表示简化的计算设备的替代实施例,且如下所述,这些替代实施例中的任一或全部可以与该文档中通篇所述的其他替代实施例组合使用。
例如,图4图示了示出简化的计算设备10的通用系统示意图。简化的计算设备10可以是附图中示出的计算设备的简化形式。这种计算设备一般可见于具有至少一些最小计算能力的设备中,包括、但不限于:个人计算机、服务器计算机、手持计算设备、膝上型或移动计算机、诸如蜂窝电话和PDA这样的通信设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费者电子设备、网络PC、小型计算机、大型计算机、音频或视频媒体播放器、等等。
为了允许设备实现此处描述的等待时间减少的墨水渲染系统100和方法的实施例,设备应当具有足够的计算能力和系统存储器以允许基本的计算操作。具体而言,如图4所示,计算能力一般由一个或多个处理单元12图示,并且还可以包括一个或多个GPU 14,任一或两者与系统存储器16通信。注意到,通用计算设备的(诸)处理单元12可以是专用微处理器,诸如DSP、VLIW或其他微控制器,或者可以是具有一个或多个处理内核的常规CPU,包括多核CPU中的专用的基于GPU的内核。
此外,图4的简化的计算设备10也可以包括其他组件,诸如例如通信接口18。图4的简化的计算设备10也可以包括一个或多个常规的计算机输入设备20(诸如指示笔、指示设备、键盘、音频输入设备、视频输入设备、触觉输入设备、用于接收有线或无线数据传输的设备等等)。图4的简化的计算设备10也可以包括其他任选的组件,诸如例如一个或多个常规的计算机输出设备22(例如,(诸)显示设备24、音频输出设备、视频输出设备、用于发射有线或无线数据传送的设备等等)。注意到,用于通用计算机的典型的通信接口18、输入设备20、输出设备22和存储设备26对于本领域技术人员是公知的,并且在此不再详细描述。
图4的简化的计算设备10也可以包括各种计算机可读介质。计算机可读介质可以是可由简化的计算设备10经由存储设备26存取的任何可用介质,并且可以包括或可移动28和/或不可移动30的易失性和非易失性介质,计算机可读介质用于存储诸如计算机可读指令或计算机可执行指令、数据结构、程序模块或其他数据这样的信息。通过示例、但非限制,计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括、但不限于:计算机或机器可读介质或存储设备,诸如DVD、CD、软盘、磁带驱动器、硬盘驱动器、光驱、固态存储器设备、RAM、ROM、EEPROM、闪存或其他存储器技术;磁性盒带、磁带、磁盘存储器或其他磁性存储设备;或者可用于存储期望信息并且可由一个或多个计算设备存取的任何其他设备。
诸如计算机可读指令或计算机可执行指令、数据结构、程序模块等信息的保留也可以通过使用各种上述通信介质的任一种来对一个或多个已调数据信号或载波、或其他传输介质或通信协议进行编码来完成,并且包括任何有线或无线信息传递机制。注意到,术语“已调数据信号”或“载波”一般是指其一个或多个特征以对信号中信息编码的方式被设置或改变的信号。例如,通信介质包括有线介质和无线介质,有线介质诸如携带一个或多个已调制数据信号的有线网络或直线连接,无线介质诸如用于发射和/或接收一个或多个已调制数据信号或载波的声学、RF、红外、激光及其他无线介质。以上任意的组合也应被包括在通信介质的范围内。
而且,包含此处所述的等待时间减少的墨水渲染系统100和方法的各个实施例的一些或全部的软件、程序和/或计算机程序产品可以以计算机可执行指令或其他数据结构的形式,被存储、接收、发射、或自计算机或机器可读介质或存储设备的任何期望组合读取。
最后,此处所述的等待时间减少的墨水渲染系统100和方法的实施例还可以进一步在计算设备所执行的计算机可执行指令(诸如程序模块)的一般上下文中描述。一般而言,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。此处所述的实施例也可以在分布式计算环境中或在一个或多个设备的云内实现,在分布式计算环境中任务由一个或多个远程处理设备执行,在云内一个或多个设备通过一个或多个通信网络链接。在分布式计算环境中,程序模块可以位于包括介质存储设备的本地和远程计算机存储介质两者中。更进一步,上述指令可以部分地或全部地被实现为硬件逻辑电路,该硬件逻辑电路可以包括或可以不包括处理器。
III.系统和操作细节
现在将讨论等待时间减少的墨水渲染系统100和方法的实施例的操作细节。等待时间减少的墨水渲染系统100和方法的实施例以两种宽泛方式之一解决墨水渲染等待时间。软件实施例旁路典型的渲染流水线以便在显示器上快速渲染墨水。硬件实施例使用本地地改变显示像素的硬件和技术。以下将详细讨论这些技术的每一个。此外,应当注意,这两个一般实施例的多个部分或片段可以以任何方式被组合和混合以形成新的实施例。
应当注意,系统100和方法的实施例不要求应用处理器(或中央处理单元(CPU))。系统100和方法的实施例可以在应用处理器或操作系统外部的芯片上运行。此外,系统100和方法的实施例可以被记录和存储并且稍候被插入主机。信息可以被上载至该主机供进一步处理。
III.A.软件实施例
现在将讨论等待时间减少的墨水渲染系统100和方法的软件实施例。图5是图示在计算环境中实现的如图1-3所示的等待时间减少的墨水渲染系统100和方法的软件实施例的概述的框图。应当注意,系统100和方法的实施例的流程是以并行方式而非串行方式完成的。
如图5所示,等待时间减少的墨水渲染系统100的软件实施例在计算设备500上实现。用户输入510由用户(未示出)输入,然后由数字化仪520数字化。数字化仪520与操作系统530和直接渲染系统540通信。
操作系统530也与直接渲染系统540通信并将数据提供给系统540,如下所述。操作系统530也与显示准备系统550通信,显示准备系统550准备用户输入510供渲染和随后的显示。显示准备系统550和直接渲染系统540彼此通信以便于渲染墨水数据。用户输入510最终被显示在触摸屏显示器560上。
图6是图示图5所示的等待时间减少的墨水渲染系统100和方法的软件实施例的细节的框图。如图6所示,用户输入510被输入计算设备500。具体而言,用户输入510由数字化仪520处理以从用户输入510产生数字数据。
然后确定用户输入510是否包含墨水600。如果否,则用户输入510被传递至以通常方式处理数据的操作系统530。这意味着用户输入510使用操作系统530和显示准备系统550以传统方式渲染。这包括使用图形控制器610和显示控制器620来处理要被渲染的用户输入510。然后,用户输入510被渲染在触摸屏显示器560上。
如果用户输入510包含墨水,则墨水被墨水渲染引擎630处理。墨水渲染引擎630将墨水置入此前已从操作系统530获得的特定的墨水样式640。例如,该墨水样式可以包括色彩、线条粗细和字体。在一些实施例中,该墨水样式640是预设的,使得墨水渲染引擎630在处理墨水时具备可立即自行支配的墨水样式640。墨水渲染引擎630将墨水样式640中的墨水发送至显示控制器620,显示控制器620又将墨水渲染于触摸屏显示器560上。
操作系统530还定义上下文信息650,上下文信息650关于触摸屏显示器560的哪部分被定义为墨水区域。然后,该上下文信息650被发送至数字化仪520。通过示例但非限制,触摸屏显示器560可以显示其中用户正在完成的表格。用户可能仅需要填充该表格的特定部分。操作系统530可以将这些部分定义为墨水区域,使得系统100将从上下文信息650获悉用户输入510为墨水。
系统100和方法的实施例还包括垂直同步660。垂直同步660将触摸屏显示器560的垂直刷新率与数字化仪520的垂直刷新率同步。此外,光栅同步670用于将触摸屏显示器560的光栅线与数字化仪520的光栅线同步。在一些实施例中,这些被同步至主时钟680。垂直同步660和光栅同步670两者用于减少在触摸屏显示器560上渲染墨水时的任何等待时间。
图7是图示图5和6所示的等待时间减少的墨水渲染系统100和方法的软件实施例的示例性实施例的操作的细节的流程图。如图7所示,系统100的操作通过数字化用户输入开始(框700)。接着,如上所述,用户输入基于上下文信息650被标识为墨水(框710)。
可以减少墨水渲染时的等待时间的一个附加方面是系统100的“心跳”。特别是,如果数字化仪520以特定频率进行采样,且显示控制器620(或图形卡)正在以一个不同的频率写至显示器,则会具有由取决于这两个采样频率中的频率的变化的等待时间。该想法是使系统100中有“光栅同步”和“垂直同步”,以帮助系统100调节其相位以使其与主时钟680匹配。该主时钟可以自触摸屏显示器560或操作系统530获得。这些同步技术用于减少墨水渲染等待时间。
如图7所示,操作通过将数字化仪520的采样频率和显示控制器620的书写频率与主时钟680同步而继续(框720)。这有助于获得垂直同步。此外,系统100将数字化仪520的光栅线数字化频率和触摸屏显示器560的光栅线显示频率与主时钟680同步(框730)。这有助于获得光栅同步。
然后,系统100和方法的实施例通过从数字化仪520直接去往显示控制器620,在触摸屏显示器560上渲染墨水(框740)。换言之,操作系统530在墨水渲染期间被旁路。
在一些实施例中,可以通过不等待在扫描数字化仪的整个帧之后才将渲染数据发送至触摸屏显示器560,进一步减少等待时间。特别是,触摸屏显示器560一般从左上角开始,从左至右书写,然后向下书写。该整个顺序可以花费平均约16毫秒。然而,系统100和方法的实施例无需在写至触摸屏显示器560之前,等待或缓冲整个帧。在一些实施例中,光栅可以被内联地(inline)书写,使得在一行正在被书写时,下一行的附加数据就到来。墨水的这一“及时”渲染用于进一步减少等待时间。
III.B.硬件实施例
现在将讨论等待时间减少的渲染系统100和方法的硬件实施例。这些硬件实施例包括无需通过操作系统来最初渲染墨水而本地地改变用户输入处的显示或像素的硬件和技术。这减少了任何墨水渲染等待时间。
图8是图示图1-3所示的等待时间减少的墨水渲染系统100和方法的硬件实施例的概览的框图。如图8所示,这些实施例包括瞬时像素显示系统800。该系统800是可使用各种技术在触摸屏显示器560上本地地改变像素的硬件块。
通过规避和旁路较慢的子系统,使快速和本地更新变得极快。这向用户给予实际上瞬时的初始反馈,其后是包括较慢子系统的墨水的经修改的渲染。可以使用几种技术来改变像素。在一些实施例中,以下讨论的技术使用相同的装置来改变显示像素以及数字化墨水。在其他实施例中,用于改变显示像素的装置不同于笔数据。通过示例,来自笔的压力可以改变显示像素,但可以使用电容性或电感性装置来将笔数据的绝对位置转换至计算设备500。
在瞬时像素显示系统800中可使用的一组技术是基于光的技术810。通常,这些基于光的技术使用来自笔的光来改变显示像素。在触摸屏显示器560的显示表面上使用光敏材料,使得该材料传感到所发射的光以及变化。这可以是每当光被施加到显示表面时“翻转”的双稳态材料。在其他实施例中,显示表面可具有背光,笔是具有反射器的静态笔。背光由笔反射回至显示表面上,从而造成显示像素改变。
此外,在基于光的技术810的一些实施例中,如果光强超出一特定阈值,则比特被翻转,显示像素经历到一个不同色彩的状态变化。此外,在一些实施例中,一材料用于显示表面,该材料吸收特定频率的光并随后以一个不同频率重发该光。
系统800中使用的另一组技术是基于热的技术820。在这些技术中,使用自笔发射的热来改变显示像素。在一些实施例中,在笔上可以有正在发热的活动热源。在其他实施例中,用户提供被转换成热的能量。例如,用户在显示表面上拖拽笔的动作引发使显示像素改变的热量。
系统800中使用的另一组技术是基于压力的技术830。在一些实施例中,在触摸屏显示器560上的每个像素中存在压力传感器。当用户在显示表面上施加特定压力时,显示像素改变。此外,显示表面可以具有用于改变显示像素的压力传感压电材料。
所使用的另一组技术是机械变形技术840。这些技术通过改变显示表面的形状来直接改变像素。此外,另一组技术是磁性技术850。在这些技术中,使用笔中的有源或无源磁铁,通过与磁敏显示表面交互,来改变显示像素。
在替代实施例中,使用墨水消失或淡化技术860。在这些实施例中,用户在触摸屏显示器560上书写,墨水被瞬时渲染,但在一预定时间段已流逝之后消失或者开始淡化。该想法是在所渲染的墨水消失或者开始淡化之时,传统渲染技术将赶上进度并且能够渲染替换墨水。在一些实施例中,该时间段为100毫秒。
在替代实施例中,触摸屏显示器560是“双端口”显示器,其中在使用任意上述硬件实施例的技术来瞬时地改变显示像素的同时,显示控制器620正在以显示频率更新显示器。换言之,每当需要渲染墨水时,双端口显示器就便于无需等待帧更新的单个像素本地显示更新。
图9是图示图8所示的等待时间减少的墨水渲染系统100和方法的硬件实施例的示例性实施例的操作的细节的流程图。特别是,操作通过在用户输入时瞬时地改变触摸屏显示器中的显示像素而开始(框900)。这使用瞬时像素显示系统800以及上述技术的任一个或任何组合来实现。
接着,确定用于改变显示像素的装置是否与用于数字化墨水的装置相同(框910)。如果不是,则使用数字化仪520来数字化用户输入(框920)。如果是,则墨水已被数字化。用任一方式,经数字化的墨水被发送至操作系统用于任何进一步的处理和校正(框930)。一旦该处理完成,则结果是经校正的墨水。经校正的墨水使用操作系统530和传统渲染技术被渲染于触摸屏显示器560上(框940)。
此外,尽管已经用对结构特征和/或方法动作专用的语言描述了主题,但是应当理解,所附权利要求中定义的主题不必要限于上述的具体特征或动作。相反,上述的具体特征或动作被公开作为实现权利要求的示例形式。

Claims (10)

1.一种等待时间减少的墨水渲染系统,包括:
瞬时像素显示系统,该瞬时像素显示系统在用户输入墨水时改变像素从而直接渲染所述墨水,直接渲染所述墨水包括:
使用数字化仪对所述墨水进行数字化;
通过在发送所述墨水之前不等待缓冲所述数字化仪的完整的一帧来实时地执行所述墨水的渲染;
通过将所述墨水直接从所述数字化仪发送到显示器控制器并且旁路通用计算设备的操作系统的至少一些层将所述墨水直接渲染至显示器;
在所述显示器上的初始渲染之后将所述墨水发送至所述操作系统以供处理;以及
更新所述墨水在所述显示器上的渲染以反映由所述操作系统作出的附加处理;
操作系统,该操作系统在所述墨水被直接渲染之后接收经数字化的墨水、并且对所述经数字化的墨水应用校正以获得经校正的墨水,并且所述操作系统还在用户输入被确定不是墨水时渲染所述用户输入;以及
显示器,所述显示器使用显示控制器和所述操作系统来显示所述经校正的墨水。
2.如权利要求1所述的等待时间减少的墨水渲染系统,还包括由所述瞬时像素显示系统用于使用光敏材料来直接改变所述像素的基于光的技术。
3.如权利要求1所述的等待时间减少的墨水渲染系统,还包括由所述瞬时像素显示系统用于使用热来直接改变所述像素的基于热的技术。
4.如权利要求1所述的等待时间减少的墨水渲染系统,还包括由所述瞬时像素显示系统用于通过改变显示表面的形状来直接改变所述像素的机械变形技术。
5.如权利要求1所述的等待时间减少的墨水渲染系统,还包括由所述瞬时像素显示系统用于使用所述显示器的显示表面上的压力来直接改变所述像素的基于压力的技术。
6.如权利要求1所述的等待时间减少的墨水渲染系统,还包括由所述瞬时像素显示系统用于使用磁来直接改变所述像素的磁性技术。
7.如权利要求1所述的等待时间减少的墨水渲染系统,还包括由所述瞬时像素显示系统用于显示所述墨水达一时间段并且在所述时间段流逝之后消失的墨水消失技术。
8.一种用于渲染墨水的计算机实现的方法,包括:
接收来自用户的输入;
基于上下文信息确定用户输入是否是墨水;
如果所述用户输入被确定是墨水:
使用数字化仪对所述墨水进行数字化;
通过在发送所述墨水之前不等待缓冲所述数字化仪的完整的一帧来实时地执行所述墨水的渲染;
通过将所述墨水直接从所述数字化仪发送到显示器控制器并且旁路通用计算设备的操作系统的至少一些层将所述墨水直接渲染至显示器;
在所述显示器上的初始渲染之后将所述墨水发送至所述操作系统以供处理;以及
更新所述墨水在所述显示器上的渲染以反映由所述操作系统作出的附加处理;以及
如果所述用户输入被确定不是墨水:
使用所述操作系统来渲染所述用户输入。
9.如权利要求8所述的方法,还包括:
使用所述操作系统来定义关于所述墨水的上下文信息;以及
将所述上下文信息从所述操作系统发送至数字化仪。
10.如权利要求9所述的方法,还包括在所述数字化仪和所述显示器之间执行光栅同步以减少渲染所述墨水时的等待时间。
CN201380065225.9A 2012-12-14 2013-12-13 减少墨水渲染时的等待时间 Active CN105027039B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/715,779 2012-12-14
US13/715,779 US9389717B2 (en) 2012-12-14 2012-12-14 Reducing latency in ink rendering
PCT/US2013/075190 WO2014093937A1 (en) 2012-12-14 2013-12-13 Reducing latency in ink rendering

Publications (2)

Publication Number Publication Date
CN105027039A CN105027039A (zh) 2015-11-04
CN105027039B true CN105027039B (zh) 2017-12-08

Family

ID=49918860

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380065225.9A Active CN105027039B (zh) 2012-12-14 2013-12-13 减少墨水渲染时的等待时间

Country Status (4)

Country Link
US (1) US9389717B2 (zh)
EP (1) EP2932362B1 (zh)
CN (1) CN105027039B (zh)
WO (1) WO2014093937A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160195975A1 (en) * 2012-12-23 2016-07-07 Microsoft Technology Licensing, Llc Touchscreen computing device and method
US9383840B2 (en) * 2013-04-22 2016-07-05 Samsung Display Co., Ltd. Method and apparatus to reduce display lag using image overlay
US9483171B1 (en) * 2013-06-11 2016-11-01 Amazon Technologies, Inc. Low latency touch input rendering
US20150338940A1 (en) 2014-05-23 2015-11-26 Microsoft Technology Licensing, Llc Pen Input Modes for Digital Ink
KR102206047B1 (ko) 2014-09-15 2021-01-21 삼성디스플레이 주식회사 단말 및 디스플레이 지연 감소 방법 및 장치
KR102314110B1 (ko) * 2014-09-16 2021-10-18 삼성디스플레이 주식회사 시각화 가속부를 포함하는 터치 표시 장치
US9633466B2 (en) 2014-09-29 2017-04-25 Microsoft Technology Licensing, Llc Low latency ink rendering pipeline
CA2965351A1 (en) * 2014-11-18 2016-05-26 Tactual Labs Co. System and method for inter-module communication
US10089291B2 (en) * 2015-02-27 2018-10-02 Microsoft Technology Licensing, Llc Ink stroke editing and manipulation
GB201618288D0 (en) 2016-10-28 2016-12-14 Remarkable As Interactive displays
US20180246597A1 (en) * 2017-02-28 2018-08-30 E Ink California, Llc Writeable electrophoretic display and pen configured to write on electrophoretic display with disappearing ink and electromagnetic sensing
US10580111B2 (en) 2018-03-20 2020-03-03 Microsoft Technology Licensing, Llc Display ink rendering during system sleep
WO2019203715A1 (en) * 2018-04-19 2019-10-24 Flatfrog Laboratories Ab Touch apparatus
CN110609653B (zh) * 2018-06-15 2020-10-13 广州视源电子科技股份有限公司 双系统设备及其书写方法、装置和交互智能平板
CN109243376B (zh) * 2018-08-30 2020-11-20 青岛海信移动通信技术股份有限公司 一种在水墨屏上刷新图像的方法和设备
CN115039063A (zh) 2020-02-10 2022-09-09 平蛙实验室股份公司 改进的触摸感测设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5566248A (en) * 1993-05-10 1996-10-15 Apple Computer, Inc. Method and apparatus for a recognition editor and routine interface for a computer system
CN1758205A (zh) * 2004-09-13 2006-04-12 微软公司 轻击手势
CN1795453A (zh) * 2003-10-24 2006-06-28 微软公司 实时墨迹作图

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6924781B1 (en) 1998-09-11 2005-08-02 Visible Tech-Knowledgy, Inc. Smart electronic label employing electronic ink
US6707473B2 (en) 2001-08-01 2004-03-16 Microsoft Corporation Dynamic rendering of ink strokes with transparency
US7120872B2 (en) 2002-03-25 2006-10-10 Microsoft Corporation Organizing, editing, and rendering digital ink
US7096432B2 (en) * 2002-05-14 2006-08-22 Microsoft Corporation Write anywhere tool
US6867786B2 (en) * 2002-07-29 2005-03-15 Microsoft Corp. In-situ digital inking for applications
US7634729B2 (en) * 2002-11-10 2009-12-15 Microsoft Corporation Handwritten file names
US7284200B2 (en) * 2002-11-10 2007-10-16 Microsoft Corporation Organization of handwritten notes using handwritten titles
US7262785B2 (en) 2003-08-21 2007-08-28 Microsoft Corporation Ink editing architecture
US7154511B2 (en) 2003-10-24 2006-12-26 Microsoft Corporation Fast rendering of ink
US7577925B2 (en) * 2005-04-08 2009-08-18 Microsoft Corporation Processing for distinguishing pen gestures and dynamic self-calibration of pen-based computing systems
US7499058B2 (en) 2005-04-22 2009-03-03 Microsoft Corporation Programmatical access to handwritten electronic ink in a tree-based rendering environment
US20070067707A1 (en) 2005-09-16 2007-03-22 Microsoft Corporation Synchronous digital annotations of media data stream
US8116569B2 (en) * 2007-12-21 2012-02-14 Microsoft Corporation Inline handwriting recognition and correction
US8908973B2 (en) * 2008-03-04 2014-12-09 Apple Inc. Handwritten character recognition interface
JP5636723B2 (ja) * 2010-04-14 2014-12-10 セイコーエプソン株式会社 制御方法及び情報処理装置
US9189147B2 (en) * 2010-06-22 2015-11-17 Microsoft Technology Licensing, Llc Ink lag compensation techniques
TWI431584B (zh) 2010-09-15 2014-03-21 E Ink Holdings Inc 電子紙顯示器之驅動方法及其驅動裝置
US8830258B2 (en) * 2011-03-07 2014-09-09 Ricoh Co., Ltd Generating strokes in real-time on an electronic paper display
TWI438750B (zh) 2011-08-11 2014-05-21 Delta Electronics Inc 影像補償方法、建立內建補償矩陣組的方法以及電子紙顯示裝置
US20130265239A1 (en) * 2012-04-05 2013-10-10 Research In Motion Limited Electronic device and method of controlling display of information on a touch-sensitive display
US9268432B2 (en) * 2012-10-19 2016-02-23 Stmicroelectronics Asia Pacific Pte Ltd. Touch panel having a master and slave controller and method for driving thereof

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5566248A (en) * 1993-05-10 1996-10-15 Apple Computer, Inc. Method and apparatus for a recognition editor and routine interface for a computer system
CN1795453A (zh) * 2003-10-24 2006-06-28 微软公司 实时墨迹作图
CN1758205A (zh) * 2004-09-13 2006-04-12 微软公司 轻击手势

Also Published As

Publication number Publication date
CN105027039A (zh) 2015-11-04
EP2932362A1 (en) 2015-10-21
WO2014093937A1 (en) 2014-06-19
EP2932362B1 (en) 2022-03-30
US9389717B2 (en) 2016-07-12
US20140168096A1 (en) 2014-06-19

Similar Documents

Publication Publication Date Title
CN105027039B (zh) 减少墨水渲染时的等待时间
JP6392881B2 (ja) 応用素子の代替的グラフィック表示の事前の生成による入力に対する低レイテンシの視覚的応答およびグラフィック処理ユニットの入力処理
CN105683994B (zh) 针对降低延迟的数字着墨的湿墨纹理引擎
EP2360562B1 (en) Image processing device, information processing device, image processing method, and information processing method
US11443453B2 (en) Method and device for detecting planes and/or quadtrees for use as a virtual substrate
JP3847641B2 (ja) 情報処理装置、情報処理プログラム、情報処理プログラムを記録したコンピュータ読み取り可能な記録媒体、及び情報処理方法
EP2919104B1 (en) Information processing device, information processing method, and computer-readable recording medium
CN109840061A (zh) 控制屏幕显示的方法及电子设备
US20110316845A1 (en) Spatial association between virtual and augmented reality
CN106062705A (zh) 跨平台渲染引擎
CN104199542A (zh) 一种智能镜实现方法、装置和智能镜
JP2015536008A (ja) 低レイテンシのユーザー入力処理およびフィードバックのためのハイブリッドシステムおよび方法
CN103268628B (zh) 虚拟表面渲染
KR20160077130A (ko) 원격 다중 터치 제어
WO2017172550A1 (en) Ink in an electronic document
EP4216563A1 (en) Photographing method and electronic device
US20150286376A1 (en) Asset-based animation timelines
EP4150436A1 (en) Trackpad on back portion of a device
US20230169626A1 (en) Neural network system and method for restoring images using transformer and generative adversarial network
CN107589989A (zh) 基于安卓平台的显示装置及其图像显示方法
CN113946250A (zh) 文件夹显示方法、装置及电子设备
CN109064537A (zh) 基于3d渲染引擎的图像生成方法以及装置
WO2021106855A1 (ja) データ生成方法、データ生成装置、モデル生成方法、モデル生成装置及びプログラム
CN108885556A (zh) 控制数字输入
Cheng et al. Lightweight hybrid model based on MobileNet-v2 and Vision Transformer for human–robot interaction

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant