CN107077754B - 显示装置和控制显示装置的方法 - Google Patents

显示装置和控制显示装置的方法 Download PDF

Info

Publication number
CN107077754B
CN107077754B CN201580059684.5A CN201580059684A CN107077754B CN 107077754 B CN107077754 B CN 107077754B CN 201580059684 A CN201580059684 A CN 201580059684A CN 107077754 B CN107077754 B CN 107077754B
Authority
CN
China
Prior art keywords
information
strokes
processing unit
rendering
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580059684.5A
Other languages
English (en)
Other versions
CN107077754A (zh
Inventor
金政范
安相俊
朴奉壎
崔秀濂
崔俊铉
朴赞敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN107077754A publication Critical patent/CN107077754A/zh
Application granted granted Critical
Publication of CN107077754B publication Critical patent/CN107077754B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • G06T11/203Drawing of straight lines or curves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/30Clipping

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Generation (AREA)

Abstract

本发明提供了一种显示装置。显示装置包括:图形处理单元,其绘制笔画;显示器,其显示包括所绘制的笔画的图像;以及处理器,当图像上发生重新绘制事件时,处理器识别重新绘制区,并且将用于渲染重新绘制区中包括的笔画的渲染信息提供到图形处理单元,其中,图形处理单元基于渲染信息,使用点图元来渲染重新绘制区中包括的笔画。

Description

显示装置和控制显示装置的方法
技术领域
与本公开一致的设备和方法涉及显示装置和控制显示装置的方法,并且更具体地,涉及使用图形处理单元来渲染笔画的显示装置以及控制该显示装置的方法。
背景技术
根据电子技术的发展,已经开发并扩展了各种显示装置,诸如电视(TV)、移动电话、膝上型计算机和平板个人电脑(PC)。根据显示装置使用的增加,用户对各种功能的需要已经增加。因此,为了满足用户的需要,制造商已经做出了许多努力,以使得已经相继启动具有相关技术中不存在的新功能的产品。
特别地,触摸感测技术已经被应用于最近的显示装置,以使得用户已经能够通过使用其手指或笔输入笔画来创建和编辑各种文档或图。因此,用户通过输入许多的线来创建文档或制作图,并且在创建文档期间发生了编辑对象(诸如行/图像/文本)的情况。
在这种情况下,显示装置应使各个对象所占据的区域无效,以重新绘制与该区域相交的线。这里,在编辑对象的区域与大量笔画彼此相交的情况下,显示装置需要大量时间来渲染所有笔画,使得产生延迟并且使用性能劣化。
图1(a)示出了这种示例。当显示了用户通过触摸屏10输入笔画11-1和12时用户输入用于将笔画11-1移动到其他位置的编辑命令,显示装置根据用户命令将笔画11-2移动到对应位置然后重新绘制笔画。
在这种情况下,由于笔画11-2所占据的区域20中包括并且彼此相交的大量笔画11-2和12被重新绘制,所以需要大量时间,使得使用性能劣化。
为了在重新绘制事件发生的情况下克服性能劣化,可以考虑使用为了大量渲染图元(诸如点或三角形)而优化的图形处理单元(GPU)的方法。这里,图元是配置笔画的基本单元,图元表示点、三角形等,一个三角形图元具有三个顶点,一个点图元具有一个顶点。
同时,为了实际地表达手指或笔的书写压力,已经通常使用通过将大量的圆彼此连接来进行绘制的方法。取决于手指或笔输入的压力、面积、速度等来确定圆的大小,并且可以通过在圆中填充能够表示笔纹理的纹理图像来表示各种类型的笔样式纹理。图1(b)示出了如上所述的基于圆的笔画渲染的示例,并且如图1(b)的右图所示,若干圆彼此连接以便绘制如图1(b)的左图所示的笔画。
通常,当使用GPU绘制图形时,待绘制的目标图形被分成三角形,并且三角形被传送到GPU。被分成三角形的图形被称为网格。为了以网格形式渲染圆,如图1(c)所示,圆由若干三角形组成。也就是说,例如,如图1(b)的右图所示的,在配置笔画的多个圆的一个圆旨在使用GPU来进行渲染的情况下,使用若干三角形图元以网格形式配置该圆。在这种情况下,应该使用预定数量或更多的三角形,以使得平滑地绘制圆。
因此,当根据现有技术通过GPU渲染圆时,平滑地绘制圆需要大量顶点。然而,当顶点数量增加时,使用的存储器的量增加,并且将从中央处理单元(CPU)传送到GPU的数据量也增加。因此,应该在GPU中处理的计算量也增加,从而导致难以通过GPU获得最佳性能。
同时,接收特定数量(例如,配置一个笔画的图元的数量)的图元并且在屏幕上输出特定数量的图元的一系列过程被称为GPU的渲染管道。由于执行渲染管道的一个处理基本上需要成本和时间,在渲染相同输入的情况下,使用尽可能小的渲染管道在性能和功耗方面是有利的。
在相关技术中,通常在一个对象单元中执行渲染管道,并且在渲染笔画的情况下,通常对于每个图元(诸如圆)执行一个渲染管道,或者对于每个笔画执行一个渲染管道。然而,在如现有技术中的对于每个图元或每个笔画执行一个渲染管道的情况下,当渲染大量短笔画(诸如字母或句子)时,应该执行大量渲染管道,这导致显示装置的性能和功率的问题。
发明内容
技术问题
本公开提供了一种在使用图形处理单元来渲染笔画时,能够以低功率和高性能渲染笔画的显示装置,以及控制该显示装置的方法。
技术解决方案
根据本公开的一个方面,一种显示装置包括:图形处理单元,其绘制笔画;显示器,其显示包括所绘制的笔画的图像;以及处理器,当该图像上发生重新绘制事件时,处理器识别重新绘制区,并且将用于渲染重新绘制区中包括的笔画的渲染信息提供到图形处理单元,其中,图形处理单元基于渲染信息,使用点图元来渲染重新绘制区中包括的笔画。
渲染信息可以包括用于将比重新绘制区更大的区域转换成剪裁空间的转换信息。
图形处理单元可以基于转换信息将重新绘制区转换成剪裁空间,并且使用配置已转换的剪裁空间中包括的笔画的点图元来渲染重新绘制区中包括的笔画。
处理器可以基于配置重新绘制区中包括的笔画的多个点图元的半径中的最大半径,计算转换信息。
转换信息包括以下矩阵:
Figure GDA0001284956980000031
其中w表示重新绘制区的宽度,h是重新绘制区的高度,r是最大半径。
渲染信息可以包括反向转换信息,其用于对已转换成剪裁空间的比重新绘制区宽的区域进行反向转换,并且处理器可以使用配置重新绘制区中包括的笔画的多个点图元的半径中最大半径,计算反向转换信息。
反向转换信息可以包括以下视口信息:
(-r,-r,w+2r,h+2r)
其中w表示重新绘制区的宽度,h是重新绘制区的高度,r是最大半径。
显示装置还可以包括接收输入的笔画的触摸输入,其中渲染信息包括重新绘制区中包括的多个笔画中的每一个的深度信息和样式信息,每当改变通过触摸输入而输入的笔画的样式时,处理器改变并且分配深度信息。
图形处理单元可以同时渲染重新绘制区中包括的笔画中具有相同样式信息的笔画。
图形处理单元可以根据深度信息,渲染重新绘制区中包括的笔画中具有不同样式信息的笔画之间交点。
图形处理单元可以使用在具有不同样式信息的笔画中其深度信息中包括的深度值较低的笔画,渲染具有不同样式信息的笔画之间的交点。
根据本公开的另一个方面,一种控制包括图形处理单元的显示装置的方法包括:当包括笔画的图像上发生重新绘制事件时,识别重新绘制区;将用于渲染重新绘制区中包括的笔画的渲染信息提供到图形处理单元;以及通过图形处理单元,基于渲染信息,使用点图元来渲染重新绘制区中包括的笔画。
渲染信息可以包括用于将比重新绘制区更大的区域转换成剪裁空间的转换信息。
渲染可包括:基于转换信息将重新绘制区转换成剪裁空间,以及使用配置已转换的剪裁空间中包括的笔画的点图元来渲染重新绘制区中包括的笔画。
提供可以包括:基于配置重新绘制区中包括的笔画的多个点图元的半径中的最大半径,计算转换信息。
转换信息包括以下矩阵:
Figure GDA0001284956980000051
其中w表示重新绘制区的宽度,h是重新绘制区的高度,r是最大半径。
渲染信息可以包括反向转换信息,其用于对已转换成剪裁空间的比重新绘制区更大的区域进行反向转换,以及提供可以包括:使用配置重新绘制区中包括的笔画的多个点图元的的半径中最大半径,计算反向转换信息。
反向转换信息可以包括以下视口信息:
(-r,-r,w+2r,h+2r)
其中w表示重新绘制区的宽度,h是重新绘制区的高度,r是最大半径。
显示装置还可以包括接收所输入的笔画的触摸输入,控制显示装置的方法还可以包括:当通过触摸输入而输入的笔画的样式改变时改变和分配深度信息,在提供步骤中,将重新绘制区中包括的笔画的深度信息和样式信息作为渲染信息提供到图形处理单元。
在渲染步骤中,可以同时渲染重新绘制区中包括的笔画中具有相同样式信息的笔画。
在渲染步骤中,可以根据深度信息,渲染重新绘制区中包括的笔画中具有不同样式信息的笔画之间交点。
在渲染步骤中,可以使用在具有不同样式信息的笔画中其深度信息中包括的深度值较低的笔画,渲染具有不同样式信息的笔画之间的交点。
有益效果
根据以上描述的本公开的各种示例性实施方案,可改善显示装置的笔画渲染性能以及可降低所消耗的功率。
附图说明
图1是用于描述根据现有技术和背景技术的问题的视图。
图2是示出根据本公开的示例性实施方案的显示装置的配置的框图。
图3是示出根据本公开的另一个示例性实施方案的显示装置的配置的框图。
图4是示出在使用点图元来渲染笔画时可能发生的问题的说明性视图。
图5是用于描述根据本公开的示例性实施方案的使用点图元来渲染笔画的方法的视图。
图6至图7是用于描述根据本公开的另一个示例性实施方案的使用笔画的样式信息和深度信息来渲染笔画的方法的说明性视图。
图8是用于描述根据本公开的示例性实施方案的在使用点图元来渲染笔画时使用深度信息的方法的说明性视图。
图9是示出根据本公开的示例性实施方案的控制显示装置的方法的流程图。
图10是示出根据本公开的示例性实施方案的通过显示装置渲染笔画的方法的流程图。
图11是示出根据本公开的另一个示例性实施方案的控制显示装置的方法的流程图。
具体实施方式
当决定了与本公开相关的已知技术的详细描述可能不必要地模糊本公开的要点时,将省略所述已知技术的详细描述。此外,以下描述中使用的组件的术语“~er(或~or)”仅用于容易地进行公开。因此,这些术语本身并不具有彼此区分的含义或作用。
图2是示出根据本公开的示例性实施方案的显示装置的配置的框图。如图2所示,显示装置100包括显示器110、图形处理单元(GPU)120和处理器130。这里,显示装置100可以由各种类型的电子装置来实现,诸如电视(TV),智能电话、平板个人计算机(PC)、数字转换器、膝上型计算机、监视器、电子公告板、电子表和大幅显示器。
显示器110显示各种图像。特别地,显示器110可以显示由图形处理单元120渲染的笔画。这里,作为用户所创建的图像(例如,文本或绘图)中包括的线的笔画可以意味着从一端无缝连接到另一端的一个线单元。例如,笔画可以是数字或字符的一个笔画、配置图的一个行等,但不限于此。
同时,显示器110可以被实现为包括各种显示面板,诸如液晶显示器(LCD)、有机发光二极管(OLED)、等离子体显示面板(PDP)等,可能以包括触摸面板的触摸屏形式来实现。
处理器130控制显示装置100的总体操作。特别地,当在显示器110上显示并且包括笔画的图像上发生重新绘制事件时,处理器130可以识别重新绘制区,并且将渲染信息提供到图形处理单元,该渲染信息用于渲染所识别的重新绘制区中包括的笔画。
这里,重新绘制事件是重新绘制包括笔画的图像的至少一部分的事件,例如,在存在针对显示器110上显示的文本或绘图的部分区域或部分笔画的用户编辑命令的情况下,可能发生对于对应编辑区中包括的笔画的重新绘制事件。
然而,重新绘制事件的发生不限于此。例如,在存在针对正在编辑的文档图像或绘制图像的刷新命令的情况下,也可能发生重新绘制事件。在本公开中,重新绘制事件的类型不受限制。
当如上所述的重新绘制事件发生时,处理器130可以识别在其中对图像执行重新绘制操作的区域(即重新绘制区)。这里,重新绘制区是取决于重新绘制事件而在其中对图像中包括的笔画重新绘制的区域,重新绘制区可以是例如取决于用户编辑命令的编辑区,但不限于此。这里,编辑区可以具有四边形形状,诸如边界框。
处理器130可以将渲染信息提供到图形处理单元120,该渲染信息用于渲染重新绘制区中包括的笔画。在这种情况下,根据本公开的示例性实施方案,渲染信息可以包括:转换信息,其用于将比重新绘制区更大的区域转换成剪裁空间;反向转换信息,其用于将已转换成剪裁空间的比重新绘制区更大的空间反向转换成其尺寸与重新绘制区尺寸相同的显示区;与配置笔画的图元有关的信息等。
具体地,为了使用图形处理单元来渲染笔画,执行以下过程:将配置笔画的图元的所有顶点转换到剪裁空间中,以便剪切定位在剪裁空间之外的图元;仅将定位在剪裁空间内的图元反向转换到显示空间中。在此过程中,处理器130计算或获得图形处理单元渲染笔画所需的渲染信息,并且将渲染信息提供到图形处理单元120。
因此,图形处理单元120可以使用从处理器130提供的渲染信息来渲染笔画。
特别地,根据本公开的示例性实施方案,处理器130可以将配置对应笔画的相应点图元的坐标信息和半径信息、以及上述的转换信息和反向转换信息提供到图形处理单元120,以使得图形处理单元120可以使用点图元来渲染重新绘制区中包括的笔画,并且图形处理单元120可以基于从处理器130提供的渲染信息,使用点图元来渲染重新绘制区中包括的笔画。
如上所述,由于通过使用点图元来渲染笔画,一个顶点可以表示一个圆,因此与基于网格渲染配置笔画的圆的方法相比,可以使用较少量的顶点来表示笔画。因此,处理数据的量减少,使得高性能笔画渲染变成可能。
同时,根据本公开的示例性实施方案,处理器130可以将作为渲染信息的转换信息提供到图形处理单元120,该转换信息用于将比所识别的重新绘制区更大的区域转换成剪裁空间。这是为了防止在图形处理单元通过渲染图元的一般方法使用点图元来渲染重新绘制区中包括的笔画时,可能发生的笔画断开现象。以下将参照图4描述笔画断开现象的详细内容。
详细地,处理器130可以基于配置重新绘制区中包括的笔画的多个点图元的半径中的最大半径,计算转换信息和反向转换信息,并将所计算的转换信息和反向转换信息提供到图形处理单元120。
例如,当重新绘制区的宽度为w,重新绘制区的高度为h,并且配置重新绘制区中包括的笔画的多个点图元的半径中的最大半径为r时,处理器130可以计算转换信息(诸如以下等式1的矩阵)并且将所计算的转换信息提供到图形处理单元120。
[等式1]
Figure GDA0001284956980000091
一般剪裁空间是其中x、y和z轴各自具有-1至1的范围的空间。因此,可以通过这种矩阵将比重新绘制区更大的区域转换成剪裁空间。
同时,如上所述,在将比重新绘制区更大的区域转换成剪裁空间的过程中,定位在剪裁空间之外的图元被剪裁,这被称为剪裁。因此,图形处理单元120使用上述矩阵将重新绘制区转换成剪裁空间,然后在反向转换过程中,仅使用剪裁空间内存在的点图元在重新绘制区中渲染笔画。
同时,由于比重新绘制区更大的区域被转换成剪裁空间,在已转换剪裁空间被照原样反向转换的情况下,可能发生重新绘制区中渲染的笔画变得比实际笔画更短的情况。因此,处理器130可以使用根据本公开的示例性实施方案如上所述的最大半径r,将以下等式2所表示的反向转换信息提供到图形处理单元120以便校正这种情况。
[等式2]
(-r,-r,w+2r,h+2r)
因此,图形处理单元120使用反向转换信息来反向转换剪裁空间,以便在重新绘制区中渲染剪裁空间内存在的点图元,由此可以防止通过使用点图元渲染笔画而可能发生的重新绘制区的笔画断开现象。
图3是示出根据本公开的另一个示例性实施方案的显示装置的配置的框图。根据图3,显示装置200可以包括显示器210、图形处理单元220、处理器230、触摸输入240和存储器250。图3的显示器210、图形处理单元220和处理器230可以执行通过图2描述的显示器110、图形处理单元120和处理器130的所有功能和操作。因此,在描述图3时将省略与通过图2描述的部件相同的部件的重叠描述。
触摸输入240接收用户的触摸输入。特别地,触摸输入240可以接收用户使用手指或输入装置(例如,笔)输入的笔画。如上所述,可以在处理器230的控制下,在显示器210上显示通过触摸输入240输入的笔画。
为此,触摸输入240可以包括触摸面板。在这种情况下,可以使用各种方案(诸如电阻方案、电容方案、表面声波(SAW)方案、红外方案、光学方案和电磁感应方案)作为触摸面板的触摸感测方案。此外,触摸输入240可以与显示器210分开配置,或者以触摸屏的形式与显示器210一体地配置。
同时,根据本公开的示例性实施方案,处理器230可以将重新绘制区中包括的多个笔画中的每一个的样式信息和深度信息作为渲染信息提供到图形处理单元220。
这里,作为与用于绘制笔画的输入装置的样式有关的信息,样式信息可以包括颜色信息、笔的类型信息等。这里,选择能够通过输入笔画创建文档或绘制图画的笔画渲染应用所提供的各种笔,即使在物理上彼此相同,笔也变得彼此不同,或者笔在物理上彼此不同,导致笔的类型可能彼此不同。
同时,根据本公开的示例性实施方案,每当输入笔画的样式被改变并且被赋予给对应笔画时,可以改变作为表示输入笔画序列的信息的深度信息。
具体地,当通过触摸输入240输入特定样式的一个笔画时,处理器230可以将当前深度值分配到对应笔画,然后当笔画的样式不改变时,可以将相同的深度值分配到每个笔画。当输入笔画的样式改变时,处理器230可以改变深度值并且将改变的深度值分配到其样式改变的笔画。如上所述,处理器230可以将深度值与通过触摸输入240输入的多个笔画中的每一个进行匹配,并且将匹配的深度值作为深度信息存储在存储器250中。此外,处理器230可以将通过触摸输入240输入的多个笔画的样式与相应笔画进行匹配,并将匹配的样式作为样式信息存储在存储器250中。
然后,当在包括显示器21上显示的多个笔画的图像上发生重新绘制事件时,处理器230可以识别重新绘制区,并且将存储在存储器250中的深度信息和样式信息中的与重新绘制区中包括的笔画有关的深度信息和样式信息提供到图形处理单元。
因此,图形处理单元220可以同时渲染重新绘制区中包括的笔画中具有相同样式信息的笔画。详细地,图形处理单元220可以通过一个渲染管道来渲染具有相同样式信息的笔画。在这种情况下,图形处理单元220可以根据深度信息,渲染重新绘制区中包括的笔画中具有不同样式信息的笔画之间的交点。
例如,在用户通过触摸输入240输入样式a的第一笔画,改变笔的样式以便输入样式b的第二笔画,然后再次将笔的样式改为样式a以便输入第三笔画,以使得第一至第三笔画彼此相交的情况下,处理器230可以将100的深度值分配到样式a的第一笔画,并且将第一笔画的样式信息和深度信息存储在存储器250中。然后,由于第二笔画的样式改变,所以处理器230可以将改变的深度值99分配到第二笔画,并且将第二笔画的样式信息和深度信息存储在存储器250中。由于最终输入的第三笔画的样式从第二笔画的样式b变为样式a,因此处理器230可以将深度值改变为98,将为98的深度值分配到第三笔画,并且将样式信息和深度信息存储在存储器250中。
然后,当包括第一至第三笔画的图像区中发生重新绘制事件时,处理器230可以将有关第一至第三笔画的样式信息和深度信息作为渲染信息提供到图形处理单元220。
因此,图形处理单元220可以同时渲染具有相同样式信息a的第一笔画和第三笔画,然后再渲染样式b的第二笔画。图形处理单元220也可以渲染第二笔画,然后同时渲染第一笔画和第三笔画。
在这种情况下,当图形处理单元220渲染具有不同样式信息的第一笔画和第二笔画之间的交点时,由于第二笔画的深度值(99)低于第一笔画的深度值(100),因此图形处理单元220可以使用第二笔画来渲染第一笔画与第二笔画之间的交点。
此外,当图形处理单元220渲染具有不同样式信息的第二笔画与第三笔画之间的交点时,图形处理单元220可以使用具有较低深度值的第三笔画来渲染第二笔画与第三笔画之间的交点。
如上所述,根据本公开的示例性实施方案,通过一个渲染管道同时渲染具有相同样式信息的笔画,由此可以减少执行的再现管道的次数。此外,取决于深度信息来渲染具有不同样式信息的笔画之间的交点,由此即使同时渲染具有相同样式信息的笔画,也可以准确地表示用户所输入的笔画的顺序。
同时,当重新绘制事件发生时,除了重新绘制区中包括的样式信息和深度信息之外,处理器230可以将配置对应笔画的各点图元的坐标信息和半径信息、以及上述的转换信息和反向转换信息作为渲染信息提供到图形处理单元220,以使得图形处理单元220可以使用如上通过图2所述的点图元来渲染重新绘制区中包括的笔画。
因此,即使当图形处理单元220根据样式信息和深度信息来渲染重新绘制区中包括的多个笔画时,图形处理单元220也可以使用点图元来渲染多个笔画。如上所述,根据本公开的示例性实施方案,当图形处理单元220使用点图元来渲染笔画时,一起使用深度信息的详细内容将在下面通过图8进行详细描述。
同时,在图形处理单元220根据通过图3所述的样式信息和深度信息来渲染重新绘制区中包括的多个笔画的示例性实施方案的情况下,图形处理单元220并非必须使用点图元来渲染相应的笔画。
例如,以下示例性实施方案将是可能的:除了重新绘制区中包括的笔画的样式信息和深度信息之外,处理器230将配置笔画的所有三角形图元的顶点信息、用于将重新绘制区转换为剪裁区的转换信息、以及用于对已转换剪裁区进行反向转换的反向转换信息作为渲染信息提供到图形处理单元220,图形处理单元220基于重新绘制区中包括的笔画的样式信息和深度信息,使用三角形图元来渲染笔画。
存储器250可以在其中存储用于显示装置200的操作的各种程序和数据。此外,存储器250还可以执行在显示装置200的操作期间生成的数据的临时存储功能。
特别地,存储器250可以在其中存储各种渲染信息。例如,存储器250可以在其中存储:配置通过触摸输入240输入的笔画的各图元的顶点信息(特别是各点图元的坐标信息和半径信息)、用于将重新绘制区或比重新绘制区更大的区域转换成剪裁空间的转换信息、用于将已转换的剪裁空间反向转换成显示区(具体地,重新绘制区)的反向转换信息、指示通过触摸输入240输入并且与相应笔画匹配的深度相关的多个笔画序列的深度信息、以及多个笔画的样式信息。
此外,存储器250可以在其中存储用于上述显示装置200的操作的各种程序模块。例如,存储器250可以包括:文档创建模块,其能够输入和编辑笔画以便创建包括文本或图的图像文档;用户界面(UI)模块,其用于在显示装置200与用户之间进行交互;笔画渲染模块,其用于根据上述本公开的各种示例性实施方案执行处理器230和图形处理单元220的操作等。因此,处理器230可以读取存储器250中存储的各种模块,以便根据上述本公开的各种示例性实施方案来执行显示装置200的操作。
同时,虽然上文通过示例对以下情况进行描述:当处理器130或230提供渲染信息时,图形处理单元120或220使用渲染信息来主动渲染笔画,但这仅是为了便于说明的一个示例,本公开不限于此。也就是说,图形处理单元120或220可以在处理器130或230的控制下使用渲染信息来渲染笔画。
在下文中,将通过图4至图5更详细地描述根据本公开的示例性实施方案的使用点图元来渲染笔画的方法。图4是示出在使用点图元来渲染笔画时可能发生的问题的说明性视图。具体地,图4的左图示出了一种状态,其中在图像显示在显示屏幕400上的情况下,由于包括一个笔画410的图像的部分区域420中发生的重新绘制事件,使用点图元来执行重新绘制处理,并且图4的右图是重新绘制区420的放大图。
也就是说,在图形处理单元通过一般方法使用点图元来渲染重新绘制区420中包括的笔画的情况下,可能如图4的右图所示生成与重新绘制区420外侧的笔画断开部分421和422。这种问题由于诸如OpenGL、OpenGL ES等的性能规范而发生,该OpenGL、OpenGL ES等是以下描述的图形处理单元所使用的标准3D图形应用编程接口(API)。
为了使用性能规范中的图形处理单元来渲染诸如三角形图元或点图元的图元,需要将配置图元的所有顶点转换成剪裁空间。这里,剪裁空间是其中x、y和z轴各自具有-1至1的范围的空间。由于在图元被转换成剪裁空间之后位于剪裁空间之外的图元是在显示屏上未看到的部分,因此图形处理单元为了有效渲染的目的而将定位在剪裁空间之外的图元剪裁,并且这个过程称为剪裁。
当根据如上所述的性能规范剪裁图元时,在三角形图元的情况下,只有定位在剪裁空间之外的部分被剪切,并且因此,可以渲染剪裁空间内以三角形存在的部分。
然而,在点图元的情况下,当点的中心点定位在剪裁空间之外时,在渲染过程中排除点图元本身。如上所述,生成需要在显示屏上输出但不渲染的点图元,使得发生笔画断开现象。
更详细地,在点图元的中心点定位在剪裁空间之外、并且一些点图元由于大半径而定位在剪裁空间内的情况下,在根据一般性能规范而执行渲染时,即使这些点图元需要包括在渲染中,也在渲染过程中排除了它们。也就是说,在渲染过程中排除点图元的现象发生在重新绘制区的边界,诸如图4右图上由参考数字421和422表示的部分,使得笔画被看作仿佛其是断开连接的。
为了解决这种问题,根据本公开的处理器130或230可以计算:用于将配置重新绘制区中包含的笔画的点图元转换成剪裁空间的转换信息、以及用于将已转换的剪裁空间中包括的点图元反向转换为重新绘制区的反向转换信息,该重新绘制区是显示器110或210的一个区域,其与取决于一般性能规范的转换信息和反向转换信息不同,并将所计算的转换信息和反向转换信息提供到图形处理单元120或220。图5是用于描述根据本公开的示例性实施方案的使用点图元来渲染笔画的方法的视图。
图5(a)示出了在重新绘制区510的左上端点坐标基于整个显示器110或210的屏幕为(x,y)、重新绘制区的宽度和高度分别为w和h的情况下,配置重新绘制区510中包括的笔画的多个点图元。如上所述,在取决于一般性能规范将重新绘制区转换成剪裁空间的情况下,可能在绘制过程中排除定位在重新绘制区510的边界处的点图元511和512。
因此,根据本公开的示例性实施方案,处理器130或230可以将相应点图元的位置移动(-x,-y),并且将相应点图元的移动后位置提供到图形处理单元120或220,以便相对地改变配置重新绘制区510中包括的笔画的相应点图元在重新绘制区中的位置。
此外,处理器130或230可以识别构成重新绘制区510中包括的笔画的多个点图元的半径中的最大半径,并且可以计算作为转换信息的如以上等式1所表示的矩阵,并且在所识别的最大半径例如为r的情况下,将所计算的矩阵提供到图形处理单元120或220。
因此,当图形处理单元120或220使用所提供的相应点图元的位置信息和矩阵,将重新绘制区510转换成剪裁空间时,如图5(b)所示,将比重新绘制区510更大的区域520转换成剪裁空间550。这里,参照图5(b)可以看出,转换过程被执行为使得包括定位在重新绘制区510的边界处的点图元511和512的所有点图元定位在剪裁空间550内。
也就是说,当通过转换矩阵将重新绘制区转换成剪裁空间时,执行转换,以使得一部分包括在重新绘制区中的所有点图元的中心点存在于剪裁空间内,因此省略的点图元消失。
同时,由于比实际重新绘制区更大的区域通过如以上等式1所表示的矩阵被转换成剪裁空间,在通过取决于上述性能规范的一般方法将反向转换信息提供到图形处理单元的情况下,将显示尺寸小于实际尺寸的笔画。
因此,根据本公开的示例性实施方案,处理器130或230可以使用上述的重新绘制区510的宽度w和高度h以及最大半径r,计算由以上等式2所表示的反向转换信息,并且将所计算的反向转换信息提供到图形处理单元120或220,以便校正这种问题。因此,当图形处理单元120或220使用所提供的反向转换信息来反向转换剪裁空间时,可以在重新绘制区510中渲染其尺寸与实际尺寸相同的笔画。
通过根据本公开的示例性实施方案校正在常规性能规范中所述的视口信息中包括的参数,获得上述反向转换信息。因此,作为使用反向转换信息中包含的相应参数值执行逆转换的详细方法,可以使用根据常规性能规范的方法。然而,由于它与本公开的要点无关,因此将省略其详细描述。
同时,虽然在上述图5的描述中描述了以下过程:当处理器130或230提供相应点图元的移动位置信息和转换信息时,图形处理单元120或220将重新绘制区转换成剪裁空间;然后当处理器130或230提供反向转换信息时,对剪裁空间进行反向转换以渲染重新绘制区中包含的笔画,这仅是帮助理解渲染笔画过程的示例,本公开不限于此。
也就是说,当重新绘制事件发生时,处理器130或230可以将图形处理单元120或220渲染笔画所需的所有数据提供到图形处理单元120或220,该数据诸如重新绘制区中包括的相应点图元的移动位置信息、转换信息和反向转换信息,图形处理单元120或220然后可以根据处理器130或230的渲染命令来渲染笔画。
图6至图7是用于描述根据本公开的另一个示例性实施方案的使用笔画的样式信息和深度信息来渲染笔画的方法的说明性视图。图6是用于比较和描述根据现有技术和本公开的示例性实施方案的渲染笔画的方法的说明性视图。
详细地,图6(a)示出了以下情况:用户通过触摸输入240顺序地输入第一笔画(下文被称为s1)、第二笔画(下文被称为s2)和第三笔画(下文被称为s3)。在这种情况下,用户使用相同“铅笔”样式的笔来输入s1和s3,并使用与s1和s3不同的“墨水笔”样式的笔来输入s2,并且s1、s2和s3之间具有交点。
在使用根据现有技术的图形处理单元来渲染笔画的方法中,对于每个笔画,通过使用一个渲染管道来渲染笔画。因此,当包括s1、s2和s3的区中发生重新绘制事件时,如图6(b)所示,以用户输入的笔画序列,图形处理单元在开始渲染之后执行第一渲染管道以渲染s1,执行第二渲染管道以渲染s2,并且执行第三渲染管道以渲染s3。
然而,在重新绘制区中存在大量短笔画的情况下(诸如编辑用户输入的句子的情况),当通过根据相关技术的方法对每个笔画执行一个渲染管道来渲染笔画时,执行了大量渲染管道,使得性能恶化并且消耗大量功率。
为了解决这个问题,根据本公开的示例性实施方案,图形处理单元220对具有相同样式的笔画执行相同的渲染管道以便渲染笔画。
详细地,每当通过触摸输入240输入的笔画的样式改变时,处理器230可以改变深度信息以及将深度信息分配到相应笔画,并且将分配到相应笔画的深度信息存储在存储器250中。例如,如图6(a)所示,当在改变笔样式的同时顺序输入s1、s2和s3时,处理器230可以将当前深度值“100”分配到初始输入的“铅笔”样式的s1,并且将“100”存储在存储器中。由于随后输入的s2中的笔样式从“铅笔”改为“墨水笔”,处理器230可以改变深度值,分配“99”并且将“99”存储在存储器中;由于在s3中笔样式再次从“墨水笔”改为“铅笔”,处理器230可以分配“98”作为改变的深度值,并且将“98”存储在存储器中。
此外,处理器230可以将相应笔画的笔样式与相应笔画进行匹配,并且将匹配的笔样式作为样式信息存储在存储器250中。例如,处理器230可以将“铅笔”与s1和s3进行匹配,并且将“墨水笔”与s2进行匹配,并且将匹配的笔样式作为样式信息存储。
然后,当在包括s1、s2和s3的显示区中再次发生重新绘制事件时,处理器230可以将重新绘制区中包括的s1、s2和s3中的每一个的样式信息和深度信息提供到图形处理单元220。
因此,如图6(c)所示,不管用户输入的笔画的序列如何,图形处理单元220可以在渲染开始之后执行第一渲染管道,以同时渲染具有“铅笔”的相同样式信息的s1和s3,并且执行第二渲染管道以渲染“墨水笔”样式的s2。
在这种情况下,由于s1、s2和s3之间具有交点,需要在相应笔画之间的交点处表示具有不同样式的笔画的输入序列。为此,在这种情况下,图形处理单元220可以根据深度信息,渲染重新绘制区中包括的笔画中具有不同样式信息的笔画之间交点。
详细地,图形处理单元220可以使用在具有不同样式信息的笔画中具有最低深度信息的笔画,来渲染在具有不同样式信息的笔画之间的交点。
图7示出了图形处理单元220使用深度信息来渲染具有不同样式的笔画之间的交点,以便表示用户所输入的笔画的序列的示例,虽然不管如图6(c)所示的用户输入的笔画的序列而同时渲染具有相同样式的笔画。
如上所述,s1、s2和s3各自的深度信息分别为100、99和98。因此,参照由参考数字710表示的区域的放大图,可以看出,图形处理单元220使用s1和s2中具有较低深度信息的s2来渲染在s1与s2之间的交点712,并且使用s2和s3中具有较低深度信息的s3来渲染在s2与s3之间交点的711。
如上所述,根据上述本发明的示范性实施方案,即使具有相同笔形式的笔画由一个渲染管道渲染,用户输入的笔画的序列仍可以使用笔画的深度信息来表示,从而可以减少消耗的电流并且可以准确地渲染笔画。
同时,尽管上文以示例方式描述了以下情况:每当通过触摸输入240输入的笔画的样式改变时,深度值逐渐减小,本公开不限于此。例如,每当笔画样式改变时,分配逐渐增加的深度值的示例性实施方案也将是可能的。在这种情况下,可以使用具有高深度值的笔画来渲染具有不同样式的笔画之间的交点。
图8是用于描述根据本公开的示例性实施方案的在使用点图元来渲染笔画时使用深度信息的方法的说明性视图。这里,根据本公开的示例性实施方案,每当输入笔画的样式被改变并且被赋予对应笔画时,作为指示输入笔画序列的深度信息可以是改变的深度值(例如,自然数)。
当识别了重新绘制区时,显示装置200的处理器230可以将配置所识别的重新绘制区中包括的笔画的相应点图元的位置信息和深度信息提供到图形处理单元220。例如,在配置重新绘制区中包括的笔画的任一点图元的x轴和y轴坐标为(x+x0,y+y0)及其深度值为d0的情况下,处理器230可能以诸如(x0,y0,d0)的形式将对应点图元的位置信息和深度信息提供到图形处理单元220。
也就是说,在整个显示器210的区域中的重新绘制区左上端的坐标为(x,y)的情况下,处理器230可以将重新绘制区中的相应点图元的位置移动(-x,-y),然后将移动后的坐标值与相应点图元的深度值一起提供到图形处理单元220。
例如,在重新绘制区左上端的坐标为(x,y)、宽度和高度分别为w和h、重新绘制区中包括的点图元基于整个显示器210具有深度值n(最小值)至f(最大值)的情况下,当在深度轴上表示重新绘制区中包含的相应点图元的坐标移动了(-x,-y)以便在三维空间上表示重新绘制区时,其可以被表示成如图8所示的那样,并且处理器230可以将配置如图8所述的重新绘制区中包括的笔画的所有点图元的位置信息和深度信息提供到图形处理单元220。
同时,处理器230可以将用于将重新绘制区转换成剪裁空间的转换信息提供到图形处理单元220。详细地,处理器230可以识别配置重新绘制区中包括的笔画的所有点图元的半径中的最大半径,并且基于所识别的最大半径计算转换信息。
例如,如在图8的示例中,在识别到配置重新绘制区中包括的笔画的多个点图元的半径中的最大半径为r的情况下,处理器230可以计算由以下等式3所表示的矩阵,并且将所计算的矩阵作为转换信息提供到图形处理单元220。
[等式3]
Figure GDA0001284956980000191
因此,图形处理单元220可以使用从处理器230提供的相应点图元的位置信息和深度信息(例如,三维坐标值)以及以上等式3的转换矩阵,将如图8所示的重新绘制区中包括的所有点图元转换成剪裁空间。
详细地,在上述示例中,在重新绘制区中包含的任何点图元具有为(x0,y0,d0)的位置信息和深度信息的情况下,也就是说,在移动的x和y坐标值为(x0,y0)且深度值为d0的情况下,图形处理单元220可以通过如以下等式4所示的详细计算将对应图元转换成剪裁空间。
[等式4]
Figure GDA0001284956980000201
参考以上等式4可以看出,当点图元从重新绘制区转换成剪裁空间时,在反映深度信息的状态下执行计算。如上所述,使用包括取决于以上等式3的深度信息和转换矩阵的点图元的坐标值,将重新绘制区转换成剪裁空间,以使得即使当图形处理单元220根据样式信息和深度信息渲染重新绘制区中包括的多个笔画时,图形处理单元220也可以使用点图元来渲染多个笔画。
在这种情况下,由于以上等式3所表示的矩阵也将比图8的重新绘制区更大的区域转换成剪裁空间,因此定位在重新绘制区边界处的点图元被转换为定位在剪裁空间中,并且在后续处理中剪裁在剪裁空间(由于其包括深度轴,因此它是三维空间)之外的转换的点图元。
同时,由于如以上等式3所表示的矩阵将比实际重新绘制区更大的区转换成剪裁空间,因此在图形处理单元220根据上述一般性能规范使用反向转换信息来反向转换剪裁空间的情况下,将显示尺寸小于实际尺寸的笔画。
因此,为了校正这种问题,根据本公开的示例性实施方案,处理器230可以使用上述的重新绘制区的宽度w和高度h以及最大半径r,计算由以上等式2所表示的反向转换信息,并且将所计算的反向转换信息提供到图形处理单元220。因此,当图形处理单元220使用如以上等式2所表示的反向转换信息来反向转换剪裁空间时,可以在重新绘制区510中渲染其尺寸与实际尺寸相同的笔画。
以下等式5表示用于通过以上等式3所表示的矩阵,使用由以上等式2所表示的反向转换信息来反向转换已转换成剪裁空间的点图元的详细计算的示例。
[等式5]
Figure GDA0001284956980000211
如上所述,根据本公开的示例性实施方案,通过校正常规性能规范中所述的视口信息中包括的参数来获得以上等式2的反向转换信息,并且以上等式2中包括的相应参数的(-r,-r)指示视口左上端的坐标值,并且其(w+2r,h+2r)分别表示视口的宽度和高度。
例如,图形处理单元220可以使用以上等式2的视口信息中包括的参数,计算诸如以上等式5的最左矩阵的反向转换矩阵,并且计算所计算的反向转换矩阵中的剪裁空间上的点图元的坐标值以便执行反向转换。
然而,由图形处理单元220使用以上等式2的反向转换信息中包括的相应参数值来执行反向转换的详细方法不限于此,并且如上所述,可以使用根据常规性能规范的方法。
如上所述,根据本公开的不同的示例性实施方案,使用点图元来渲染笔画,以使得由图形处理单元处理的顶点的数量减少,并且对相同数量笔画执行渲染的渲染管道的数量减少。因此,可以缩短渲染时间并且可以减少消耗的电流,以使得可以执行高性能笔画渲染。
另外,如上所述,使用转换矩阵和反向转换矩阵(使用点图元的最大半径来改变转换矩阵和反向转换矩阵)来渲染笔画,以使得可以防止可能在重新绘制区边界处发生的笔画断开现象,即使具有相同笔样式的笔画由一个渲染管道渲染,使用笔画的深度信息,使得可以表示用户所输入的笔画的序列。
图9是示出根据本公开的示例性实施方案的控制包括图形处理单元120或220的显示装置100或200的方法的流程图。根据图9,当在包括笔画的图像上发生重新绘制事件时,显示装置100或200识别重新绘制区(S910),并且将用于渲染所识别的重新绘制区中包括的笔画的渲染信息提供到图形处理单元120或220(S920)。
这里,渲染信息可以包括以下中的至少之一:配置重新绘制区中包括的笔画的点图元的位置信息、用于将比重新绘制区更大的区域转换成剪裁空间的转换信息、用于对已转换成剪裁空间的比重新绘制区更大的区域进行反向转换的反向转换信息、以及输入笔画的样式信息和深度信息。
详细地,显示装置100或200可以基于配置重新绘制区中包括的笔画的多个点图元的半径中的最大半径,计算转换信息和反向转换信息,并将所计算的转换信息和反向转换信息提供到图形处理单元120或220。
例如,当重新绘制区的宽度为w,重新绘制区的高度为h,并且配置重新绘制区中包括的笔画的多个点图元的半径中的最大半径为r时,显示装置100或200可以计算由以上等式1所表示的矩阵作为转换信息,计算由以上等式2所表示的视口信息,并且将所计算的转换信息和视口信息提供到图形处理单元120或220。这里,视口信息是用于反向转换通过以上等式1转换的剪裁空间的反向转换信息。
同时,根据本公开的示例性实施方案,显示装置100或200还包括接收输入笔画的触摸输入,并且可以将深度信息分配到通过触摸输入而输入的笔画并且存储深度信息。具体地,当通过触摸输入而输入的笔画的样式改变时,显示装置100或200可以改变和分配深度信息,并且可以将所分配的深度信息与对应笔画进行匹配并且存储所分配的深度信息。此外,显示装置100或200可以存储通过触摸输入而输入的相应笔画的样式信息。
因此,当在包括笔画的图像上发生重新绘制事件时,显示装置100或200可以识别重新绘制区(S910),并且将所识别的重新绘制区中包括的笔画的深度信息和样式信息作为渲染信息提供到图形处理单元120或220(S920)。
如上所述,当向图形处理单元120或220提供各种渲染信息时,图形处理单元120和220可以基于渲染信息使用点图元来渲染重新绘制区中包括的笔画(S930)。详细地,图形处理单元120或220可以基于转换信息将重新绘制区转换成剪裁空间,并且使用配置已转换的剪裁空间中包括的笔画的点图元来渲染重新绘制区中包括的笔画。
例如,图形处理单元120或220可以使用如以上等式1所表示的转换矩阵信息将比重新绘制区更大的区域转换成剪裁空间,并且使用如以上等式2所表示的视口信息对已转换的剪裁空间进行反向转换,以便渲染重新绘制区中包括的笔画。
此外,图形处理单元120或220可以基于深度信息和样式信息,使用点图元来渲染重新绘制区中包括的笔画。详细地,图形处理单元120或220可以同时渲染重新绘制区中包括的笔画中具有相同样式信息的笔画。此外,图形处理单元120或220可以根据深度信息,渲染重新绘制区中包括的笔画中具有不同样式信息的笔画之间交点。详细地,图形处理单元120或220可以使用在具有不同样式信息的笔画中其深度信息中包括的深度值较低的笔画,来渲染具有不同样式信息的笔画之间的交点。
图10是示出根据本公开的示例性实施方案的通过显示装置渲染笔画的方法的流程图。根据图10,当由于重新绘制事件的发生而接收重新绘制请求时,显示装置100或200可以识别重新绘制区(S1010)。在这里,在所识别的重新绘制区的左上端的坐标在整个显示器屏幕中为(x,y)并且所识别的重新绘制区的宽度和高度分别为w和h的情况下,显示装置100或200将配置重新绘制区中包括的笔画的相应圆(即相应点图元)的位置移动(-x,-y)(S1020)。
然后,显示装置100或200找到配置重新绘制区中包括的笔画的多个点图元的半径中的最大半径(S1030),并且使用所找到的最大半径来计算用于将重新绘制区转换成剪裁空间的转换矩阵(S1040)。在这种情况下,转换矩阵可以由以上等式1表示。此外,显示装置100或200可以使用所发现找到的最大半径来计算用于对已转换的剪裁空间进行反向转换的视口(S1050)。在这种情况下,视口可以由以上等式2表示。
因此,显示装置100或200可以将图形处理单元120或200渲染笔画所需的所有信息提供到图形处理单元120或200(S1060),这些信息包括:指示配置重新绘制区中包括的笔画的点图元的位置移动(-x,-y)的位置信息、所计算的转换矩阵、所计算的视口等,并且向图形处理单元120或220给予渲染命令(S1070)。
图11是示出根据本公开的另一个示例性实施方案的控制包括图形处理单元的显示装置的方法的流程图。根据图11,显示装置100或200包括触摸输入,并且当通过触摸输入来输入笔画时,可以将深度信息分配到输入笔画并且存储深度信息。
详细地,当输入笔画的样式改变时,显示装置100或200可以改变和分配深度信息,并且可以将所分配的深度信息与对应笔画进行匹配并且存储所分配的深度信息(S1110)。此外,显示装置100或200可以将通过触摸输入而输入的笔画的样式信息与对应笔画进行匹配并且存储该样式信息。
然后,当重新绘制事件发生时,显示装置100或200可以识别重新绘制区(S1120),并且将所存储的深度信息和样式信息中的重新绘制区中包含的笔画的深度信息和样式信息提供到图形处理单元120或220(S1130)。
因此,图形处理单元120或220可以使用深度信息和样式信息来渲染重新绘制区中包括的笔画。在这种情况下,图形处理单元120或220可以使用诸如三角形图元、点图元等的各种图元来渲染笔画。
详细地,图形处理单元120或220可以同时渲染重新绘制区中包括的笔画中具有相同样式信息的笔画。此外,图形处理单元120或220可以根据深度信息,渲染重新绘制区中包括的笔画中具有不同样式信息的笔画之间交点。详细地,图形处理单元120或220可以使用在具有不同样式信息的笔画中其深度信息中包括的深度值较低的笔画,渲染具有不同样式信息的笔画之间的交点。
在上文中,根据示例性实施方案,显示装置100或200的处理器130或230可以执行通过图9至11描述的显示装置100或200的操作。
根据如上所述的本公开的各种示例性实施方案,可以改善显示装置的笔画渲染性能,并且可以减小消耗的功率。
同时,根据上述各种示例性实施方案的显示装置处理器的操作、或控制显示装置的方法可以被创建作为软件并且安装在显示装置中。
例如,可以安装其中存储程序的非暂时性计算机可读介质,该程序执行控制显示装置的方法,该方法包括:当所显示的图像上发生重新绘制事件时,识别重新绘制区;将用于渲染重新绘制区中包括的笔画的渲染信息提供到图形处理单元;以及通过图形处理单元,基于渲染信息,使用点图元来渲染重新绘制区中包括的笔画。
这里,非暂时性计算机可读介质不是在其中存储数据持续一小段时间的介质(诸如寄存器、高速缓冲存储器、存储器等),而是指在其中半永久地存储数据并且可由装置读取的介质。具体地说,可以将上述各种中间件或程序存储并且设置在非暂时计算机可读介质中,诸如光盘(CD)、数字通用盘(DVD)、硬盘、蓝光盘、通用串行总线(USB)、存储卡、只读存储器(ROM)等。
在上文中示意性地描述本公开的精神。本领域技术人员将理解,在不脱离本公开的必要特征的情况下,可以进行各种修改和更改。此外,本公开的示例性实施方案不限制本公开的精神,而是描述本公开的精神,本公开的范围不受示例性实施方案的限制。因此,本公开的范围应由以下权利要求解释,并且将解释所有精神等同于本公开范围内的以下权利要求。

Claims (10)

1.一种显示装置,包括:
图形处理单元,对笔画进行渲染;
显示器,显示包括所渲染的笔画的图像;以及
处理器,当所述图像上发生重新绘制事件时识别重新绘制区,以及将用于渲染所述重新绘制区中包括的笔画的渲染信息提供到所述图形处理单元,
其中,所述图形处理单元基于所述渲染信息,使用点图元来渲染所述重新绘制区中包括的笔画,
其中,所述渲染信息包括用于将比所述重新绘制区更大的区域转换成剪裁空间的转换信息,
其中,所述处理器基于对所述重新绘制区中包括的笔画进行配置的多个点图元的半径中的最大半径,计算所述转换信息,以及
其中所述转换信息包括以下矩阵:
Figure FDA0002392246020000011
其中,w表示所述重新绘制区的宽度,h是所述重新绘制区的高度,r是所述最大半径。
2.根据权利要求1所述的显示装置,其中,所述图形处理单元基于所述转换信息将所述重新绘制区转换成剪裁空间,以及使用对所转换的剪裁空间中包括的笔画进行配置的点图元来渲染所述重新绘制区中包括的笔画。
3.根据权利要求1所述的显示装置,其中,所述渲染信息包括用于对已转换成所述剪裁空间的比所述重新绘制区更大的区域进行反向转换的反向转换信息,以及
所述处理器使用对所述重新绘制区中包括的笔画进行配置的多个点图元的半径中的最大半径,计算所述反向转换信息。
4.根据权利要求3所述的显示装置,其中,所述反向转换信息包括以下视口信息:
(-r,-r,w+2r,h+2r)
其中,w表示所述重新绘制区的宽度,h是所述重新绘制区的高度,r是所述最大半径。
5.根据权利要求1所述的显示装置,还包括接收输入的笔画的触摸输入,
其中,所述渲染信息包括所述重新绘制区中包括的多个笔画中的每一个的深度信息和样式信息,以及
每当通过所述触摸输入而输入的笔画的样式改变时,所述处理器改变并分配所述深度信息。
6.根据权利要求5所述的显示装置,其中,所述图形处理单元同时渲染所述重新绘制区中包括的笔画中具有相同样式信息的笔画。
7.根据权利要求6所述的显示装置,其中,所述图形处理单元根据深度信息,渲染所述重新绘制区中包括的笔画中具有不同样式信息的笔画之间的交点。
8.根据权利要求7所述的显示装置,其中,所述图形处理单元使用在具有所述不同样式信息的笔画中深度信息所包括的深度值较低的笔画,渲染具有所述不同样式信息的笔画之间的所述交点。
9.一种控制包括图形处理单元的显示装置的方法,包括:
当包括笔画的图像上发生重新绘制事件时,识别重新绘制区;
将用于渲染所述重新绘制区中包括的画笔的渲染信息提供到所述图形处理单元;以及
通过所述图形处理单元,基于所述渲染信息,使用点图元来渲染所述重新绘制区中包括的笔画,
其中,所述渲染信息包括用于将比所述重新绘制区更大的区域转换成剪裁空间的转换信息,
其中,所述提供的步骤包括基于对所述重新绘制区中包括的笔画进行配置的多个点图元的半径中的最大半径,计算所述转换信息,以及
其中所述转换信息包括以下矩阵:
Figure FDA0002392246020000031
其中,w表示所述重新绘制区的宽度,h是所述重新绘制区的高度,r是所述最大半径。
10.根据权利要求9所述的控制显示装置的方法,其中所述渲染包括:
基于所述转换信息将所述重新绘制区转换成剪裁空间;以及
使用对所转换的剪裁空间中包含的笔画进行配置的点图元来渲染所述重新绘制区中包括的笔画。
CN201580059684.5A 2014-11-07 2015-11-09 显示装置和控制显示装置的方法 Active CN107077754B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462076726P 2014-11-07 2014-11-07
US62/076,726 2014-11-07
PCT/KR2015/011965 WO2016072811A1 (ko) 2014-11-07 2015-11-09 디스플레이 장치 및 디스플레이 장치의 제어 방법

Publications (2)

Publication Number Publication Date
CN107077754A CN107077754A (zh) 2017-08-18
CN107077754B true CN107077754B (zh) 2020-10-16

Family

ID=55909446

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580059684.5A Active CN107077754B (zh) 2014-11-07 2015-11-09 显示装置和控制显示装置的方法

Country Status (5)

Country Link
US (1) US10331331B2 (zh)
EP (1) EP3217360B1 (zh)
KR (1) KR101913212B1 (zh)
CN (1) CN107077754B (zh)
WO (1) WO2016072811A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10234964B2 (en) * 2016-12-19 2019-03-19 Wacom Co., Ltd. Image processing apparatus
US10650565B2 (en) * 2017-06-02 2020-05-12 Apple Inc. Rendering animated user input strokes
CN112434632B (zh) * 2020-12-01 2024-05-28 康佳集团股份有限公司 一种图形识别方法、智能终端及存储介质
CN112614209B (zh) * 2020-12-30 2024-02-20 凌云光技术股份有限公司 一种流程图刷新时的元素重绘方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030161014A1 (en) * 2002-01-07 2003-08-28 Hiroaki Tobita Image editing apparatus, image editing method, storage medium, and computer program
US6967664B1 (en) * 2000-04-20 2005-11-22 Ati International Srl Method and apparatus for primitive processing in a graphics system
US7847798B1 (en) * 2006-10-24 2010-12-07 Adobe Systems Incorporated Clipping and culling artwork using a graphics processing unit
CN103473123A (zh) * 2013-08-27 2013-12-25 西安邮电大学 基于gpu的实时毛笔墨水扩散模型并行实现方法
CN103810742A (zh) * 2012-11-05 2014-05-21 正谓有限公司 图像渲染方法和系统

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3833483B2 (ja) 2001-03-06 2006-10-11 インターナショナル・ビジネス・マシーンズ・コーポレーション 画像表示システム、画像データ送信装置、表示画像データ送信方法、差分転送方法、プログラム、および記憶媒体
US7032180B2 (en) 2000-08-14 2006-04-18 Twin Communications Of America, Inc. User interface rendering component environment
US6707473B2 (en) * 2001-08-01 2004-03-16 Microsoft Corporation Dynamic rendering of ink strokes with transparency
US6952214B2 (en) 2002-07-12 2005-10-04 Sun Microsystems, Inc. Method for context switching a graphics accelerator comprising multiple rendering pipelines
EP1528512A3 (en) 2003-10-28 2006-02-15 Samsung Electronics Co., Ltd. Graphic decoder, image reproduction apparatus and method for graphic display acceleration based on commands
US7961194B2 (en) 2003-11-19 2011-06-14 Lucid Information Technology, Ltd. Method of controlling in real time the switching of modes of parallel operation of a multi-mode parallel graphics processing subsystem embodied within a host computing system
US8239749B2 (en) 2004-06-25 2012-08-07 Apple Inc. Procedurally expressing graphic objects for web pages
US7830372B2 (en) 2004-08-30 2010-11-09 Qnx Software Systems Gmbh & Co. Kg Method and system for providing transparent access to hardware graphic layers
KR100679019B1 (ko) 2004-11-02 2007-02-05 삼성전자주식회사 버퍼링을 이용한 누적식 벡터 드로잉 방법 및 장치
US7548244B2 (en) 2005-01-12 2009-06-16 Sony Computer Entertainment Inc. Interactive debugging and monitoring of shader programs executing on a graphics processor
US8212840B2 (en) 2006-10-23 2012-07-03 Qualcomm Incorporated 3-D clipping in a graphics processing unit
US8269792B2 (en) * 2006-11-21 2012-09-18 Qualcomm Incorporated Efficient scissoring for graphics application
US8274516B2 (en) 2008-08-04 2012-09-25 Microsoft Corporation GPU scene composition and animation
GB0818278D0 (en) 2008-10-06 2008-11-12 Advanced Risc Mach Ltd Graphics processing systems
JPWO2012001781A1 (ja) * 2010-06-30 2013-08-22 富士通株式会社 描画装置および描画プログラム
ITRM20110199A1 (it) * 2011-04-19 2012-10-20 Mavi Sud S R L Metodo di preparazione di complessi di chitina e principi attivi e complessi così ottenuti.
US9619853B2 (en) 2012-08-09 2017-04-11 Qualcomm Incorporated GPU-accelerated path rendering
US9383840B2 (en) 2013-04-22 2016-07-05 Samsung Display Co., Ltd. Method and apparatus to reduce display lag using image overlay

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6967664B1 (en) * 2000-04-20 2005-11-22 Ati International Srl Method and apparatus for primitive processing in a graphics system
US20030161014A1 (en) * 2002-01-07 2003-08-28 Hiroaki Tobita Image editing apparatus, image editing method, storage medium, and computer program
US7847798B1 (en) * 2006-10-24 2010-12-07 Adobe Systems Incorporated Clipping and culling artwork using a graphics processing unit
CN103810742A (zh) * 2012-11-05 2014-05-21 正谓有限公司 图像渲染方法和系统
CN103473123A (zh) * 2013-08-27 2013-12-25 西安邮电大学 基于gpu的实时毛笔墨水扩散模型并行实现方法

Also Published As

Publication number Publication date
WO2016072811A1 (ko) 2016-05-12
EP3217360A4 (en) 2018-03-14
CN107077754A (zh) 2017-08-18
EP3217360B1 (en) 2022-04-20
US20170336939A1 (en) 2017-11-23
KR20170066483A (ko) 2017-06-14
US10331331B2 (en) 2019-06-25
KR101913212B1 (ko) 2018-12-28
EP3217360A1 (en) 2017-09-13

Similar Documents

Publication Publication Date Title
JP7098710B2 (ja) 中心窩ジオメトリテッセレーション
JP6709038B2 (ja) グラフィックス・パイプラインを遂行する方法及びコンピューティング装置
CN107077754B (zh) 显示装置和控制显示装置的方法
US9449421B2 (en) Method and apparatus for rendering image data
CN106127848B (zh) 对视点视差图像执行渲染的设备和方法
US8914259B2 (en) Passive associativity in three-dimensional (3D) modeling
US9142044B2 (en) Apparatus, systems and methods for layout of scene graphs using node bounding areas
US10275910B2 (en) Ink space coordinate system for a digital ink stroke
US9870144B2 (en) Graph display apparatus, graph display method and storage medium
CN103677828A (zh) 一种图层绘制方法、绘图引擎及终端设备
KR102381945B1 (ko) 그래픽 프로세싱 장치 및 그래픽 프로세싱 장치에서 그래픽스 파이프라인을 수행하는 방법
US10783322B2 (en) Enhanced digital ink erasing
US8334869B1 (en) Method and apparatus for modeling 3-D shapes from a user drawn curve
US10825242B2 (en) Method for designing a three dimensional modeled object in a three dimensional scene by extruding a curve
US20140365955A1 (en) Window reshaping by selective edge revisions
US9830721B2 (en) Rendering method and apparatus
JP4907156B2 (ja) 3次元ポインティング方法および3次元ポインティング装置ならびに3次元ポインティングプログラム
KR20160010780A (ko) 3d 이미지 제공 시스템 및 그 제공방법
KR101592977B1 (ko) 디스플레이 장치 및 그 제어 방법
US10380784B2 (en) Electronic apparatus for mapping texture image and generating blending image
KR101803770B1 (ko) 전자 장치 및 그 렌더링 방법
TWI428777B (zh) 動態預覽圖形元素插入位置的系統及方法
JP2015075884A (ja) 描画装置、描画方法及びプログラム
JP2010271821A (ja) ポリライン生成方法及びポリライン生成システム
JP2014154071A (ja) 表示装置及び表示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant