CN1267813C - 处理色差信号4∶2∶0平面图像数据格式存储器的系统与方法 - Google Patents

处理色差信号4∶2∶0平面图像数据格式存储器的系统与方法 Download PDF

Info

Publication number
CN1267813C
CN1267813C CN200310120399.9A CN200310120399A CN1267813C CN 1267813 C CN1267813 C CN 1267813C CN 200310120399 A CN200310120399 A CN 200310120399A CN 1267813 C CN1267813 C CN 1267813C
Authority
CN
China
Prior art keywords
data
order
pixel
video
page number
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
CN200310120399.9A
Other languages
English (en)
Other versions
CN1514343A (zh
Inventor
谷锦明
哈里什·艾尔帕拉
维斯维纳森·克里斯那莫思
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Via Technologies Inc
Original Assignee
Via Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Via Technologies Inc filed Critical Via Technologies Inc
Publication of CN1514343A publication Critical patent/CN1514343A/zh
Application granted granted Critical
Publication of CN1267813C publication Critical patent/CN1267813C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/395—Arrangements specially adapted for transferring the contents of the bit-mapped memory to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/022—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed using memory planes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明是提供一种系统与方法，利用简化的页中断来处理存储于分页存储器的色差信号(YCbCr)图像数据。如本发明所公开的方法，可从该分页存储器中提取具有4:2:0格式的色差信号(YCbCr)平面图像数据，包含Y数据的该分页存储器的页次将会被存取。对应M像素的Y数据将被提取并存储于移位缓存器中，其中，该M值是大于或等于二。利用上述步骤，可存取、提取以及存储Cb与Cr数据，则存储于该移位缓存器中的Y，Cb以及Cr数据即为平面视频的数据组，而由缓存器中提取的Y，Cb，以及Cr数据是一连续、用以产生位于视频显示单元的像素数据。

Description

处理色差信号4:2:0平面图像数据格式存储器的系统与方法
技术领域
本发明涉及一种图像处理，特别涉及改进包含4:2:0格式的框架缓冲器的存取方式。
背景技术
人眼具有三种不同的感光(photoreceptor)细胞，又称为视锥细胞(cone)，每一种视锥细胞对于不同波长的光线的反应不同，因此，具有不同波长的光线可被感知为不同颜色的光线。利用人类如何以感官来工作的知识的彩色显示系统(color display system)，已经存在许久，然而，在目前电子系统中所使用的显示彩色的方法仍旧持续地在研发之中。
基本的彩色显示系统是使用RGB色系，其中，R表示红色源，G表示绿色源，而B表示蓝色源，藉由选择RGB色系的波长含量，便可获得色域(colorgamut)，亦即利用混合或结合不同数量的红色、绿色以及蓝色源，便可获得广泛的色。而在该色域中，重要的是可利用数学式来表示各色源的组成比例，此数学表示法即是彩色空间(color space)。
RGB是一种可添加颜色的系统，系添加红色、绿色以及蓝色三种主要的颜色以产生所需要的彩色，在RGB彩色空间中，每一种色源的组成均具有0到255的范围。当三种色源均为0时，则产生的颜色为黑色。当三种色均为255时，则产生的颜色为白色。
在RGB色系中，可使用该RGB彩色空间，然而，尚具有其它的彩色空间，包括YIQ、YUV、YCbCr以及CMYK等等，因此，可利用数学上的转换方式，用以将其中一种彩色空间转换成另外一种彩色空间，而本发明主要是着重于探讨色差信号(YCbCr)彩色空间，该色差信号(YCbCr)彩色空间是常被应用在广播以及如同计算机图形显示的视频系统。
不同的彩色空间已经逐渐地发展并应用在不同的领域中，在每一个实例之中，一个被选用的彩色空间也许因为某种原因而不再适用，而采用另外一种特定的彩色空间，这是因为该特定的彩色空间的数学式具有较为简单或是较为快速的处理速度，因此，由此可知，会考虑选择其它特定彩色空间的原因是由于被降低的存储器需求量或在被减少带宽的数字总线。
无论过去是否基于历史的理由而影响彩色空间的选择，目前的计算机、网络、以及多种视频装置已经采用各自的彩色空间，而驱使数字设计者必须互换不同的彩色空间，其中，最主要的是必须要有一个在算法被执行之前，能够所有的输入信号转换的共同彩色空间。由于转换器的基本功能是将一个彩色空间转换成另一个彩色空间，因此该转换器对于一些产业是相当有益的，例如图像处理以及滤波等等。
接下来探讨其它被广泛使用的彩色空间，YCbCr彩色空间已逐渐被发展成为Recommendation ITU-R BT.601的一部分，其中，该Recommendation ITU-RBT.601是目前全球的数字视频标准并被使用在视频的传输上。另外，YCbCr是属于YUV彩色空间的变化形式，其中，Y代表辉度(luminance)或亮度(brightness)，U以及V分别代表彩色的色度(hue)以及饱和度(saturation)。在YCbCr彩色空间中，RGB彩色空间被分割成一个辉度(luminance)部分Y，以及两个色差(chrominance)部分Cb与Cr，在过去大部分选择使用YCbCr更胜于RGB的原因在于YCbCr将会降低存储与带宽需求；而在YCbCr彩色空间的发展上，一直能够被采用的原因是因为人眼对于亮度变化通常比彩色的变化更为敏感。
在RGB格式中，为了产生相同的彩色，三种色源均必须具有相同的带宽，也因此需要更多的存储空间以及带宽，若要在RGB彩色空间中处理一张图像将更为复杂，因为在RGB彩色空间，若要改变一张图像任何像素的彩色，需要对所有的色源执行读取、计算以及存储的流程，因此，若将彩色信息以明亮度以及光差的格式存储，将有助于加快一些图像处理流程的速度，这是因为Cb以及Cr可分别提供色度与彩度的数据，而Y则可提供明亮度的信息，其中，Y的范围被定义在16至235之间，而Cb与Cr的范围则介于16至240之间，且128等于零值，由于人眼对于Cb与Cr的敏感度较弱，因此，在设计上工程师们将不必以等同于Y的速率来传送Cr与Cb，且较小的存储空间以及带宽将可减少设计成本。
因此，由于在设计上必须考虑到存储空间与带宽，因此，在许多先进的数字图形显示系统中，以YCbCr的彩色空间为最佳，而在YCbCr彩色空间中，具有许多的格式，包括4:4:4、4:2:2、4:1:1以及4:2:0等，这些不同的格式是以实质上的协调来提供不同程度的压缩；在4:2:0的格式中，特别是可用来提供可靠的压缩，不过，由于实施的方法会造成存储器带宽的问题，用以完成4:2:0格式的显示系统一般使用分页存储器装置，例如SRAM或DRAM等，用以将Y、Cb与Cr数据存储在该分页存储器装置的不同的页次中；在典型的系统中，单位时间内会提取两个项次的Y数据以及一个Cb与Cr数据，因此，在公知技术中，若提取一对像素的彩色数据，则需要三个页中断，其中每一个页中断是闭合一个页次并开启另一个页。而页中断即是造成时间消耗的操作。
因此，在一个计算机显示系统中，需提供一个具有改良式的存储器带宽的存储器，特别是一个计算机显示系统中，减少用以显示图像所需求的大量的存储器页中断操作。
发明内容
有鉴于此，本发明提出一个系统与方法，用以处理存储在分页存储器中的YCbCr图像数据。依据本发明实施例中，提供一组图形控制器，用以将图像数据存储在存储器中的不同页次中、提供一组FIFO存储装置，用以存储与M个像素对应的格式的Y、Cb与Cr数据，其中该Y、Cb与Cr数据为平面视频的数据，且该M值为大于一的整数值、并提供一组显示装置，用以将YCbCr平面图像数据以4:2:0格式显示。该图形控制器包括一装置用以控制该存储器、一装置用以输入、由该存储器提取数据、并输入该FIFO存储装置，以及一装置用以解封该数据。其中，用以控制该存储器的该装置是存取以及由存储器不同页次中提取Y、Cb与Cr数据，以响应在显示装置上描绘图像的请求。该解封装置是解除在FIFO存储装置中的该数据封包，用以在显示装置上显示数据。
本发明提供一种用以提取4:2:0格式的YCbCr平面视频数据的方法，包括：存取一分页存储器的第一页次，以提取M个像素的Y数据，并将提取出的Y数据存储至移位缓存器；存取该分页存储器的第二页次，以提取该M个像素的Cb数据，并将提取出的Cb数据存储至该移位缓存器；存取该分页存储器的第三页次，以提取M个像素的Cr数据，并将提取出的Cr数据存储至该移位缓存器；以及从该移位缓存器中提取由该Y、Cb与Cr数据所组成的M个像素，其中，被存储于该移位缓存器的该Y、Cb与Cr数据是作为平面视频的数据组。
本发明提供一种视频显示系统，用以显示4:2:0格式的YCbCr视频数据，包括：具有复数个页次的存储器，用以存储包含Y、Cb与Cr的视频数据，其中该Y、Cb与Cr数据是分别地存储在该页次存储器中的不同页次中；存储器控制器，用以存取存储于不同页次的该Y、Cb与Cr数据；FIFO存储装置，用以存储与M个像素相对应的格式的Y、Cb与Cr数据，其中该Y、Cb与Cr数据是平面视频的数据，且该M值是大于一的整数值；显示请求单元，用以产生该存储器控制器的显示请求，以存取该页次存储器的页次、提取与M个像素对应的Y、Cb与Cr数据，并将提取出的该Y、Cb与Cr数据存储至移位缓存器中；以及视频处理器，用以由该FIFO的存储装置中以像素流的形式提取与M个像素对应的Y、Cb与Cr数据，其中，该Y、Cb与Cr数据是被存储在FIFO存储装置中，以使该像素流容易被取出。
本发明还提供一种视频显示系统，用以显示4:2:0格式的YCbCr平面视频数据，包括：第一存储装置，用以将视频数据存储在不同的页次中，其中该不同的页次是包含Y、Cb或Cr数据；第二存储装置，用以存储作为平面视频数据的该Y、Cb与Cr数据，其中，该Y、Cb与Cr数据是与M个像素相对应的格式，且该M是大于一的整数值；一控制装置用以控制该第一存储装置，以存取在该不同页次的Y、Cb与Cr数据；一输入装置用以将数据输入该第二存储装置中；一装置用以提供显示请求至该控制装置与该输入装置，以存取在该不同页次的Y、Cb与Cr数据，并将该数据存储至该第二存储装置；以及一装置用以由该第二存储装置中以像素流的形式提取出该M个像素数据，其中，对应于该M个像素数据中的该Y、Cb与Cr数据是被存储在该第二存储装置中，用以作为平面视频数据。
本发明还提供一种存储器控制器，用以提取4:2:0格式的YCbCr平面视频数据，包括：一装置用以存取存储器中页次数据，该页次包含对应于M个像素的Y、Cr或Cb数据，其中该M值为大于一的整数值；一装置用以从该存储器的页次中提取该M个像素；一装置用以将该M个像素存储至移位缓存器；以及一装置用以从该移位缓存器中，以连续的像素数据形式提取对应M个像素的该Y、Cb与Cr数据，其中，被存储于该移位缓存器的该Y、Cb与Cr数据为平面视频的数据组。
本发明还提供一种图形控制装置，用以存取在不同页次中存储视频数据的存储器，其中该不同页次含有Y、Cb或Cr数据，以及用以联系可显示4:2:0格式的YCbCr平面视频数据的显示装置，该图形控制装置包括：一装置用以控制该存储器存取并从存储器的不同页次中提取Y、Cb与Cr数据，以响应在该显示装置显示图像的请求；一存储装置用以存储对应M个像素的Y、Cb与Cr数据，其中该Y、Cb与Cr数据为平面视频数据组，而该M为大于一的整数值；一装置用以输入从该存储器中提取的数据至该存储装置；以及一装置用以解封在该存储装置的数据，以作为在一显示装置的显示。
本发明还提供一种图形控制装置，用以存取在不同页次中存储视频数据的存储器，其中该不同页次含有Y、Cb或Cr数据、用以存取存储对应M个像素的Y、Cb与Cr数据的FIFO存储装置，以及用以联系可显示4:2:0格式的YCbCr平面视频数据的显示装置，该图形控制装置包括：一装置用以控制该存储器存取并从存储器的不同页次中提取Y、Cb与Cr数据，以响应在该显示装置显示图像的请求；一装置用以输入从该存储器中提取的数据至该FIFO存储装置；以及一装置用以解封在该存储装置的数据，以作为在显示装置的显示。本发明是利用减少的页中断来显示图像数据，由于每一个页中断将会占用大于一个周期的执行时间，因此，利用本发明可大量的增加存储器带宽，除此之外，本发明更提出一个可用以在分页存储器中提取4:2:0格式的YCbCr平面显示数据的方法，利用该方法，将可在该分页存储器中，存取含有Y数据的页次，然后，符合M个像素图像数据的Y数据将会被提取出，其中，M为大于或等于二的数值，接着，该被提取出的Y数据将被存储在移位缓存器中，依照相同的方式，可提取与存储Cb与Cr数据，而在移位缓存器中，该Y、Cb与Cr数据是被存储成多组的平面图像数据。由该移位缓存器依次提取出的该Y、Cb与Cr数据将可被用来在图像显示单元中产生像素。
在其它的实施例中，每一个数据种类，包括Y、Cb以及Cr，将在该分页存储器中的不同页次中被提取出来、且每一个存取步骤均包括一个分页存储器中的页中断，以及一个移位缓存器用来存储对应像素对的数据量，其中，该数据量包括两项的Y数据、Cb数据与Cr数据。
另外，本发明还包括视频显示系统，用以显示YCbCr的平面视频数据，其中，该YCbCr的比例为4:2:0。该视频显示系统包括分页存储器、存储器控制器、移位缓存器、显示请求单元、视频处理器以及显示器。该分页存储器是将Y、Cb以及Cr的数据存储在不同的页次之中。该存储器控制器是用以在该分页存储器中的不同页次中，存取并提取Y、Cb以及Cr数据；该移位缓存器是用以存储对应M个像素的Y、Cb以及Cr数据，其中该Y、Cb以及Cr数据是可作为平面视频的数据组，而该M值为大于或等于二。该显示请求单元是用以对存储器控制器产生一个显示请求。在响应该显示请求方面，该存储器控制器将会存取该分页存储器中的一个分页数据，包含Y数据，并提取对应视频数据M个像素的Y数据，其中，该M定义为大于或等于二，并将提取出的Y数据存储在该移位缓存器中，同样地，该存储器控制器也会对Cb以及Cr数据执行上述相同的步骤，以响应该显示请求。该视频处理器是用以在该移位缓存器中，以连续的像素的形式提取对应M个像素的Y、Cb与Cr数据组，其中，存储于该移位缓存器的Y、Cb以及Cr数据组即是平面视频数据组；而该视频显示系统中的该显示器，是用以显示该M个像素。
在其它的实施例中，存储器控制器是用以执行页中断，以存取每一Y、Cb以及Cr数据，其中，该存储器控制器包括数据总线，用以将在该分页存储器中的Y、Cb以及Cr数据提取至该存储器控制器，而该视频处理器可进一步的解封(unpacking)该提取出的Y、Cb以及Cr数据。
附图说明
为让本发明的上述目的、特征及优点能更明显易懂，下文特举优选实施例，并配合附图，作详细说明如下。
图1A是显示先前技术中依据4:4:4格式的Y、Cb与Cr样本的说明图；
图1B是为一描述YCbCr以4:4:4格式的位型(bit-wise)格式的表格；
图2A是显示先前技术中依据4:2:2格式的Y、Cb与Cr样本的说明图；
图2B是为描述YCbCr以4:2:2格式的位型(bit-wise)格式的表格；
图3A是显示先前技术中依据4:1:1格式的Y、Cb与Cr样本的说明图；
图3B是描述YCbCr以4:1:1格式的位型(bit-wise)格式的表格；
图4A是显示先前技术中依据4:2:0格式的Y、Cb与Cr样本的说明图；
图4B是描述YCbCr以4:2:0格式的位型(bit-wise)格式的表格；
图5是用来描述从分页存储器中提取该4:2:0格式的Y、Cb以及Cr数据的方法以及将该提取出的数据加载移位缓存器的区块图；
图6是依据本发明实施例中表示从分页存储器中提取该4:2:0格式的Y、Cb以及Cr数据的方法以及将该提取出的数据加载移位缓存器的流程图；
图7是依据本发明实施例的视频显示系统区块图。
具体实施方式
本发明是应用于YCbCr彩色空间以及该彩色空间格式中，为了能够完全了解本发明的内容，首先最重要的是先要了解RGB以及YUV彩色空间的概念以及其它多种的YCbCr彩色格式。
RGB彩色空间被广泛使用于计算机图形显示，其中，红色、绿色以及蓝色即是三个主要的添加彩色，在该RGB彩色空间之中，是以三维的直角坐标系统来显示彩色。RGB彩色空间为最早期使用的彩色空间之一，也是目前在电子产业中，最为普遍使用的彩色空间，例如，大部分的显示媒介，如CRT显示器或平面屏幕(flat screen)均使用RGB彩色空间。然而，RGB彩色空间最主要的缺点乃在于必须时常在不同的彩色之中切换，特别是在改变特殊图像式像素的光强度时，则每一个色源，R、G与B的光强度均必须要随之改变。
另外，YUV彩色空间被广泛使用并作为视频输出标准(phase alternationline，PAL)，YUV彩色空间具有一个最重要的特点，即是能够向下兼容(backwards compatibility)黑白的视频系统，这是因为辉度Y以及光差信号U与V是保持分离的状态；在黑白系统中，只有使用辉度数据，而在彩色系统中则是同时使用辉度与光差数据，因此，一个黑白系统仍然可以显示正常的黑白图像而彩色系统则须藉由添加的U与V信息的译码来显示一个彩色的图象；在实际的使用上，可使用一个数学式来表示RGB彩色系统与YUV彩色系统之间的转换。例如，可以利用下列数学式分别求出Y、U以及V的值，用以将一个图像由伽玛校正(gamma-corrected)的RGB彩色空间转换到PAL YUV彩色空间。
Y＝0.299R′+0.587G′+0.114B′
U＝0.492(B′-Y)
V＝0.877(R′-Y)
伽玛校正是在显示系统中，一种关于非线性的校正方式，例如涵盖在阴极射线管(cathode ray tube，CRT)中的非线性校正。而以上标“′”来表示伽玛校正值，利用上述的数学表达式，则可由YUV值反推得伽玛校正的RGB值。
R′＝Y+1.140V
G′＝Y-0.394U-0.58V
B′＝Y+2030U
在本发明中所关注的其它彩色空间即是YCbCr彩色空间，YCbCr彩色空间已逐渐被发展成为Recommendation ITU-R BT.601的一部分，其中，该Recommendation ITU-R BT.601是目前全球的数字视频标准并被使用在视频的传输上，YCbCr是属于YUV彩色空间的变化形式，其中，Y的范围被定义在16至235之间，而Cb与Cr的范围则介于16至240之间，且128等于零值。更重要的是，在YCbCr中具有数个样本格式，包括4:4:4、4:2:2、4:1:1以及4:2:0等等。其中，可利用下列数学式分别求出Y、Cb以及Cr的值，用以将一个图像由伽玛校正(gamma-corrected)的RGB彩色空间转换到YCbCr彩色空间。
Y＝0.257R′+0.504G′+0.098B′+16
Cr＝0.439R′-0.368G′-0.071B′+128
Cb＝-0148R′-0291G′+0.43
利用上述的数学表达式，则可由YCbCr值反推得伽玛校正的RGB值。
R′＝1.164(Y-16)+1.596(Cr-128)
G′＝1.164(Y-16)-0.813(Cr-128)-0.392(Cb-128)
B′＝1.164(Y-16)+2.017(Cr-128)
另外，系统设计者为了配合某些特定因素的考虑，则可能会修正上述的转换公式。
图1A是显示以4:4:4格式的YCbCr样本100的位置图，其中，每一个像素样本102x，y具有Y值、Cb值以及Cr值，由第1A图中的图例104可知，下标“x，y”是用来指定该Y样本的坐标值；在大众化的产品之中，由于每一个样本在典型上都具有8个位，因此每一个像素需要24个位，由图1A中，该图像是由625条扫描线交错完成的，例如，第314扫描线是被交错安置在第1以及第2扫描线之间，而其它的扫描线也具有相同的交错方式。
图1B是显示4:4:4格式的表格-1150，在该表格-1 150中，包括四个像素，为P0 152到P3 158、四个Y值，为Y0 164到Y3 170、四个Cb值，为Cb0176到Cb3 182，以及四个Cr值，为Cr0 188到Cb3 194；由于每一个Y、Cb以及Cr值具有8个位值，因此，由(32+32+32)/4＝24，可知在任何一个时间下共有24个位值被使用。
图2A是显示以4:2:2格式的YCbCr样本200的位置图。由图2A中的图例204中可知，在此格式中的同一水平线上，每两个Y202x，y像素样本，即含有Cb与Cr样本，并由上述可知，每一个样本典型上具有8个位，因此，由(32+32)/4＝16可知，每一个像素平均需要16个位，其典型的规格如图2B中的表格-2 250所示。
由图2B中的该表格-2 250中，包括四个像素，P0 252到P3 258以及四个Y值，Y0 264到Y3 270，而只需要两个Cb值，Cb0 276以及Cb2 280以及两个Cr值，Cr0 282以及Cr2 284，其中，Cb值以及Cr值的下标均只使用偶数值，而Y值的下标则同时使用奇数值与偶数值。在此格式的显示期间中，当一个Y样本中无Cb或Cr值可与之组合，则将会由先前或下一个样本中的Cb以及Cr值的数据来取代，以产生Cb与Cr值。
图3A是显示以4:1:1格式的YCbCr样本300的位置图。该4:1:1的比例是属较旧型的格式，而且已经被广泛地使用在大众化的视频产品之中，而直到最近，4:2:2的规格被发现才渐渐被广为使用。由图3A中的图例304中可知，在此格式中的同一水平线上，每四个Y302x，y像素样本，即含有Cb与Cr样本，而垂直方向则具有全分辨率，意即在垂直线上，每四个Y样本即含有四个Cb样本与四个Cr样本，若每一个样本为8位，则由(32+16)/4＝12可知，在水平线上平均每一个像素需要12个位，其典型的规格如第3B图中的表格-3 350所示。
由第3B图中的该表格-3 350中，包括四个像素，P0 352到P3 358以及四个Y值，Y0 360到Y3 266，而在水平方向中，只需要一个Cb值，Cb0 368以及一个Cr值，Cr0 370。在此格式的显示期间中，当一个Y样本中无Cb或Cr值可与之组合，则将会由先前或下一个样本中的Cb以及Cr值的数据来取代。
图4A是显示以4:2:0格式的YCbCr样本400的位置图。该4:2:0格式被作为H.261以及H.263的视频电话会议(video teleconferencing)标准以及MPEG-1视频压缩标准。由第4A图中，此格式是在水平线上每个分开的Y样本对与垂直线上每个分开的Y样本对之间，包含具有Cb与Cr的像素样本406x′，y′，其中，下标符号“′”是用来区别Y样本中所使用的直角坐标x，y。因此，由上述的内容可知，含有Cb与Cr的样本406x′，y′是两条扫描线所共同使用。一般而言，每一个样本为8位，不过，在此格式中，在同一时间必须将数据集中到两个Y样本，因此，每四个Y像素样本402x，y，就含有具有Cb与Cr的该像素样本406，由(32+16)/4＝12可知，在水平线上平均每一个像素需要12个位，其典型的规格如第4B图中的表格-4 450所示。
图4B中的表格是相似于图3B中的表格，只差在于图4B中，可以水平线地与垂直线地应用表格内容；由图4B中的该表格-4 450中，包括四个像素，P0 410、P1 412、P2 414、P3 416，以及四个Y值，Y0 458、Y1 460、Y2 462以及Y3 464，而只需要两个相差值，包括Cb值，Cb0到Cb7 470以及Cr值，Cr0到Cr7 474。因此，当每一个Y、Cb以及Cr值均为8位值时，则平均上，在同一时间内共有12个位被使用。另外，在此格式的显示期间中，每一对的Y样本402x，y均共同使用含有Cb与Cr的样本406x′，y′。
由于两个不同的扫描线使用共同的Cb与Cr样本，因此，Y、Cb与Cr值在典型上均被存储在存储器的不同区域中，当该存储器为一静态随机存取存储器(static random access memory，SRAM)或为一动态随机存取存储器(dynamic random access memory，DRAM)时，则该存储器不是为单数据速率(single data rate，SDR)就是为双数据速率(double data rate，DDR)形式的存储器，且在典型上为一分页存储器，意即该存储器在典型上被区分为2、4或8千字节的页次，其中该页次的容量通常是由寻址硬件所决定的。因此，在大量的数据中作任何特定的页次的提取，将不会造成庞大的延迟时间。在任何指定的页次中，包含在繁杂的存储位置中的数据，可以在任一个时脉周期中被提取出来。而在上述所论及的YCbCr格式中，除了该4:2:0格式之外，其余规格均将Y、Cb以及Cr数据存储在相同的页次中。在彩色显示系统中，若使用除了4:2:0格式的YCbCr彩色空间将可以很快地提取连续的样本数据，这是因为该连续的样本数据通常被存储在同一个页次中。因此，在这类的系统中，并不需要页中断的功能。
然而，若使用4:2:0的格式，则情况将会大不相同，在典型的先前技术的系统中，为了完成4:2:0格式的提取，首先提取两个Y样本，而该两个Y样本均已被存放在存储器的相同页次中。接着，该系统将存取不同页次的数据，利用到含有Cb数据的存储器其它区域中，在该页次中，该系统将取出一个Cb数据。接着，该系统亦到含有Cr数据的存储器其它区域中，将存取不同页次的数据。为了能够提取Y数据以提供其它两个像素，在此也需要其它进入不同页次的步骤以使该系统能够到达含有Y数据的位置。因此，对于两个像素数据量，该系统必须进入三个不同的页次中才能完成4:2:0的格式的提取，导致效能不佳。
一个页次的存取典型上需要2个等待时钟周期(latency clock cycle)的额外时间，用以提供所谓的预充(pre-charging)，预充是由分页存储器系统所执行的功能，用以关闭一个开启的页次或开启一个关闭的页次，由此可知页次的存取成了存储器带宽(bandwidth)上重大的负担，这是因为在该YCbCr的4:2:0格式中，使用了非常多分开的页次存取，因此存储器的传输率(throughput)将成为一个值得关注的问题。
图5是用来描述从分页存储器中提取该4:2:0格式的Y、Cb以及Cr数据的方法以及将该提取出的数据加载移位缓存器的区块图。其中，FIFO 502是用来存储显示预定数量像素的数据，而该FIFO 502可采用其它种类的硬件组件，例如采用缓存器达到该FIFO的功能。为了说明本发明的内容，在此以显示8个像素的实施例来说明，但本发明的应用范围并不只限制在此实施例中。如图5所示，其中，存储器504至少包含三个不同页次，506、508以及510，该第一页次506是用以存储Y数据。该第二页次508是用以存储Cb数据。而该第三页次510是用以存储Cr数据；在此实施例中，4个项次的Cb数据，Cb0到Cb6，是在页次508中提取出，其中Cb下标的偶数值是用来区分不同的Cb值。4个项次的Cr数据，Cr0到Cr6，是在页次510中提取出，其中Cr下标的偶数值是用来区分不同的Cr值。以及8个项次的Y数据，Y0到Y7，是在页次506中提取出。
因此，在该实施例中，为了完成8个像素的提取，需具备三个分开的存取页次，由该实施例可知，本发明的优点在于页中断的次数只需先前技术的1/4，因此，可大量的增加存储器的带宽，并可增加显示系统完成YCbCr的4:2:0格式时所需的传输率。
依据本发明的提取数据方法中，最重要的是要能够正确连结在不同项次的Y、Cb以及Cr数据，如第5图中所示，该FIFO 502是由4组的4个缓存器所组成，由512w，0到512w，3，其中，“w”是表示缓存器组别，每一个缓存器512w，z可保存8个字节的数据量。该4个项次的Cb数据，Cb0到Cb6，是由该存储器504的该第二页次508中提取出，其将分别地被嵌入该FIFO 502的该缓存器512 0，0、512 1，0、512 2，0以及512 3，0中。而该4个项次的Cr数据，Cr0到Cr6，是由该存储器504的该第三页次510中提取出，其将分别地被嵌入该FIFO 502的该缓存器512 0，1、512 1，1、512 2，1以及512 3，1中。该8个项次的Y数据，Y0到Y7，是由该存储器504的该第一页次506中提取出，其将分别地被嵌入该FIFO 502的该缓存器512 0，2、512 0，3、5121，2、512 1，3、512 2，2、512 2，3、512 3，2以及512 3，3中。因此，对于连续的存取情形，8个像素的显示数据将可正确地被加载到FIFO 502中，而在之后读取FIFO 502的数据时可以串行的方法来形成视频像素流514。上述该FIFO 502也可利用异步、多信道的动态随机存取存储器(asynchronousmultiport random access memory)来取代。
图6是描述依据本发明的显示像素方法600的流程图。在步骤602中，4个项次的Cb数据由该分页存储器中读出并在步骤604中被写入FIFO中，新的页次存取动作在步骤612中被执行，在步骤614中，8个项次的Y数据将由一个分页存储器中读出并在步骤614中写入FIFO中，在步骤618中，其它的新页次的存取动作将被执行用来到达具有Cb数据的页次，以致于能够使该方法重复。
图7是依据本发明实施例的视频显示系统700。其中，该显示系统700包括分页存储器702、存储器控制器708、2D请求器704、3D请求器716、PCI/AGP请求器718、FIFO存储装置710、解封用的数据处理单元712以及显示接口714。
该存储器702是由复数个页次所组成且可以是SDR、DDR、SRAM或DRAM中的其中一种存储器。该2D请求器704是连接到该存储器控制器708。该存储器控制器708是提供时脉信号752、控制信号754以及地址信号756到该存储器702。而连接到该存储器控制器708为该2D请求器704、该3D请求器716或该PCI/AGP请求器718，以及该FIFO存储装置710。该解封用的数据处理单元712是连接到该FIFO存储装置710的输出端，并连接至该显示接口714，其中该显示接口714是连接该该显示装置706。
该2D请求器704为了能够请求该显示装置706提供二维的图像时，将会命令该存储器控制器708存取该页次存储器702，以致于能够使彩色数据被输入该FIFO存储装置710中。在响应该请求方面，该存储器702将提供Y、Cb与Cr数据经由数据总线758传送到该存储器控制器708，其中，该Y、Cb与Cr数据是即将被引导至该FIFO 710的数据。然后，在FIFO 710的数据将由解封用的数据处理单元712连续地读出，首先，该解封用的数据处理单元712将会解封多组的像素对。接着，处理该信息并传送至该显示接口714。该显示接口714包含任何必要的特殊硬件或软件以显示该显示装置706的图像。
在上述依据本发明的实施例中，该显示系统700包括与该2D请求器704具有类似操作方法的该3D请求器716，而该显示系统700可选择性地包括该PCI/AGP请求单元718，可经由该PCI/AGP总线728与该CPU芯片组720沟通，其中，该CPU芯片组720可提供该显示请求至该显示系统700。
本发明虽已以较佳实施例揭露如上，但其并非用以限制本发明；因此，任何熟悉此技术者，在不脱离本发明的精神和范围内，当可做些许的更动与润饰。例如，该显示系统500与700以及该方法600可被修改以提取大于或小于8个项次的Y数据，且该对应的Cb与Cr数据也将会被适当地提取与操作。因此，本发明的保护范围当视后附的申请专利范围所界定者为准。

Claims (35)

1.一种用以提取4∶2∶0格式的YCbCr平面视频数据的方法，包括：
存取一分页存储器的第一页次，以提取M个像素的Y数据，并将提取出的Y数据存储至移位缓存器；
存取该分页存储器的第二页次，以提取该M个像素的Cb数据，并将提取出的Cb数据存储至该移位缓存器；
存取该分页存储器的第三页次，以提取M个像素的Cr数据，并将提取出的Cr数据存储至该移位缓存器；以及
从该移位缓存器中提取由该Y、Cb与Cr数据所组成的M个像素，其中，被存储于该移位缓存器的该Y、Cb与Cr数据是作为平面视频的数据组。
2.如权利要求1所述的方法，还包括使用具备先进先出(FIFO)功能的移位缓存器来存储所述视频数据。
3.如权利要求1所述的方法，还包括根据由该移位缓存器提取出的该Y、Cb与Cr数据，将M个像素显示在视频显示装置。
4.如权利要求1所述的方法，其中每一个存取的步骤包括关闭该存储器的页次并打开另一页次。
5.如权利要求1所述的方法，其中
该移位缓存器用以存储多组与M个像素相对应的格式的数据；以及
其中该多组数据包括两个项次的Y数据、一Cb数据与一Cr数据。
6.一种视频显示系统，用以显示4∶2∶0格式的YCbCr视频数据，包括：
具有复数个页次的存储器，用以存储包含Y、Cb与Cr的视频数据，其中该Y、Cb与Cr数据是分别地存储在该页次存储器中的不同页次中；
存储器控制器，用以存取存储于不同页次的该Y、Cb与Cr数据；
FIFO存储装置，用以存储与M个像素相对应的格式的Y、Cb与Cr数据，其中该Y、Cb与Cr数据是平面视频的数据，且该M值是大于一的整数值；
显示请求单元，用以产生该存储器控制器的显示请求，以存取该页次存储器的页次、提取与M个像素对应的Y、Cb与Cr数据，并将提取出的该Y、Cb与Cr数据存储至移位缓存器中；以及
视频处理器，用以由该FIFO的存储装置中以像素流的形式提取与M个像素对应的Y、Cb与Cr数据，其中，该Y、Cb与Cr数据是被存储在FIFO存储装置中，以使该像素流容易被取出。
7.如权利要求6所述的视频显示系统，其中该FIFO存储装置是移位缓存器。
8.如权利要求6所述的视频显示系统，其中
透过该存储器控制器进行存取包括关闭该存储器的页次并打开另一页次；以及
其中该存储器控制器将更进一步地执行一分散页次之间的存取，以提取每一个Y、Cb与Cr数据。
9.如权利要求6所述的视频显示系统，其中该存储器控制器包括一连接到该存储器的数据总线，用以作为由该分页存储器中提取该Y、Cb与Cr数据的信道。
10.如权利要求6所述的视频显示系统，其中该显示请求单元是二维的显示请求单元，用以产生二维显示的请求。
11.如权利要求6所述的视频显示系统，其中该显示请求单元是三维的显示请求单元，用以产生三维显示的请求。
12.如权利要求6所述的视频显示系统，其中该显示请求单元为总线式的请求单元，用以耦接用以送出显示请求的中央处理器(CPU)。
13.如权利要求12所述的视频显示系统，其中该CPU至少包括一芯片组。
14.如权利要求12所述的视频显示系统，其中该总线式的请求单元是透过外围装置互连总线与该CPU耦接。
15.如权利要求12所述的视频显示系统，其中该视频处理器将进一步地解封该提取出的Y、Cb与Cr数据。
16.如权利要求12所述的视频显示系统，其中该视频处理器包括显示接口，用以助于该M个像素在显示器上的显示。
17.一种视频显示系统，用以显示4∶2∶0格式的YCbCr平面视频数据，包括：
第一存储装置，用以将视频数据存储在不同的页次中，其中该不同的页次是包含Y、Cb或Cr数据；
第二存储装置，用以存储作为平面视频数据的该Y、Cb与Cr数据，其中，该Y、Cb与Cr数据是与M个像素相对应的格式，且该M是大于一的整数值；
一控制装置用以控制该第一存储装置，以存取在该不同页次的Y、Cb与Cr数据；
一输入装置用以将数据输入该第二存储装置中；
一装置用以提供显示请求至该控制装置与该输入装置，以存取在该不同页次的Y、Cb与Cr数据，并将该数据存储至该第二存储装置；以及
一装置用以由该第二存储装置中以像素流的形式提取出该M个像素数据，其中，对应于该M个像素数据中的该Y、Cb与Cr数据是被存储在该第二存储装置中，用以作为平面视频数据。
18.如权利要求17所述的视频显示系统，其中该第二存储装置是移位缓存器。
19.如权利要求17所述的视频显示系统，其中该第二存储装置是先进先出(FIFO)的装置。
20.如权利要求17所述的视频显示系统，其中该控制装置更包括用以关闭一开启的页次并开启一闭合的页次。
21.如权利要求17所述的视频显示系统，其中该控制装置包括用以将位于该第一存储装置的Y、Cb与Cr数据传送至该控制装置。
22.如权利要求17所述的视频显示系统，其中用以提供显示请求的该装置包括用以提供二维显示请求的装置。
23.如权利要求17所述的视频显示系统，其中用以提供显示请求的该装置包括用以提供三维显示请求的装置。
24.如权利要求17所述的视频显示系统，其中用以提供该显示请求的装置是耦接处理装置，该处理装置用以提供显示请求。
25.一种存储器控制器，用以提取4∶2∶0格式的YCbCr平面视频数据，包括：
一装置用以存取存储器中页次数据，该页次包含对应于M个像素的Y、Cr或Cb数据，其中该M值为大于一的整数值；
一装置用以从该存储器的页次中提取该M个像素；
一装置用以将该M个像素存储至移位缓存器；以及
一装置用以从该移位缓存器中，以连续的像素数据形式提取对应M个像素的该Y、Cb与Cr数据，其中，被存储于该移位缓存器的该Y、Cb与Cr数据为平面视频的数据组。
26.如权利要求25所述的存储器控制器，其中该移位缓存器为先进先出(FIFO)的装置。
27.如权利要求25所述的存储器控制器，其中每一个该Y、Cb与Cr数据是从该存储器中的不同页次中被提取出。
28.如权利要求26所述的存储器控制器，其中
该移位缓存器用以存储对应于像素对的数据组；以及
其中该数据组包括两个项次的Y数据、Cb数据与Cr数据。
29.一种图形控制装置，用以存取在不同页次中存储视频数据的存储器，其中该不同页次含有Y、Cb或Cr数据，以及用以联系可显示4∶2∶0格式的YCbCr平面视频数据的显示装置，该图形控制装置包括：
一装置用以控制该存储器存取并从存储器的不同页次中提取Y、Cb与Cr数据，以响应在该显示装置显示图像的请求；
一存储装置用以存储对应M个像素的Y、Cb与Cr数据，其中该Y、Cb与Cr数据为平面视频数据组，而该M为大于一的整数值；
一装置用以输入从该存储器中提取的数据至该存储装置；以及
一装置用以解封在该存储装置的数据，以作为在一显示装置的显示。
30.如权利要求29所述的图形控制器，其中该存储装置为FIFO的存储装置。
31.如权利要求29所述的图形控制器，其中该存储装置为移位缓存器。
32.如权利要求29所述的图形控制器，其中该接收的请求为2D的请求。
33.如权利要求29所述的图形控制器，其中该接收的请求为3D的请求。
34.如权利要求29所述的图形控制器，其中该接收的请求是由PCI/AGP装置作出的请求。
35.一种图形控制装置，用以存取在不同页次中存储视频数据的存储器，其中该不同页次含有Y、Cb或Cr数据、用以存取存储对应M个像素的Y、Cb与Cr数据的FIFO存储装置，以及用以联系可显示4∶2∶0格式的YCbCr平面视频数据的显示装置，该图形控制装置包括：
一装置用以控制该存储器存取并从存储器的不同页次中提取Y、Cb与Cr数据，以响应在该显示装置显示图像的请求；
一装置用以输入从该存储器中提取的数据至该FIFO存储装置；以及
一装置用以解封在该存储装置的数据，以作为在显示装置的显示。
CN200310120399.9A 2002-12-16 2003-12-11 处理色差信号4∶2∶0平面图像数据格式存储器的系统与方法 Expired - Lifetime CN1267813C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/321,320 US6989837B2 (en) 2002-12-16 2002-12-16 System and method for processing memory with YCbCr 4:2:0 planar video data format
US10/321,320 2002-12-16

Publications (2)

Publication Number Publication Date
CN1514343A CN1514343A (zh) 2004-07-21
CN1267813C true CN1267813C (zh) 2006-08-02

Family

ID=32507094

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200310120399.9A Expired - Lifetime CN1267813C (zh) 2002-12-16 2003-12-11 处理色差信号4∶2∶0平面图像数据格式存储器的系统与方法

Country Status (3)

Country Link
US (1) US6989837B2 (zh)
CN (1) CN1267813C (zh)
TW (1) TWI230013B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100438159B1 (ko) * 2002-03-13 2004-07-01 삼성전자주식회사 색대역의 효율적인 저장과 이를 이용한 색신호 처리장치및 방법
US8428349B2 (en) * 2003-05-21 2013-04-23 Broadcom Corporation Method and apparatus for DRAM 2D video word formatting
TWI257256B (en) * 2005-02-05 2006-06-21 Via Tech Inc Sampling method of image data
US7868898B2 (en) * 2005-08-23 2011-01-11 Seiko Epson Corporation Methods and apparatus for efficiently accessing reduced color-resolution image data
US20070126747A1 (en) * 2005-12-02 2007-06-07 Dijia Wu Interleaved video frame buffer structure
US8130317B2 (en) * 2006-02-14 2012-03-06 Broadcom Corporation Method and system for performing interleaved to planar transformation operations in a mobile terminal having a video display
US7768520B2 (en) * 2006-05-03 2010-08-03 Ittiam Systems (P) Ltd. Hierarchical tiling of data for efficient data access in high performance video applications
US20090238198A1 (en) * 2008-03-20 2009-09-24 Sheng-Chun Niu Packing Switching System and Method
CN101546527B (zh) * 2008-03-26 2012-01-11 安凯(广州)微电子技术有限公司 一种液晶显示控制器及图像缩放方法
TWI450595B (zh) * 2009-04-23 2014-08-21 Himax Media Solutions Inc 色度取樣提升錯誤校正系統
CN101783857B (zh) * 2009-05-12 2011-11-30 上海海事大学 一种基于fpga在高分辨率成像系统中的图像矩阵化预处理方法
US9699469B2 (en) * 2014-02-21 2017-07-04 Lattice Semiconductor Corporation Adaptive processing of video streams with reduced color resolution
USRE48920E1 (en) * 2014-02-21 2022-02-01 Lattice Semiconductor Corporation Adaptive processing of video streams with reduced color resolution
CN105760922B (zh) * 2014-12-17 2018-12-21 联芯科技有限公司 射频接口控制的方法和数字射频接口控制器

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6058459A (en) * 1996-08-26 2000-05-02 Stmicroelectronics, Inc. Video/audio decompression/compression device including an arbiter and method for accessing a shared memory
US5977933A (en) * 1996-01-11 1999-11-02 S3, Incorporated Dual image computer display controller
US5999654A (en) * 1996-07-17 1999-12-07 Matsushita Electric Industrial Co., Ltd. Image processor capable of transferring image data from an input buffer to memory at a high rate of speed
US5852451A (en) * 1997-01-09 1998-12-22 S3 Incorporation Pixel reordering for improved texture mapping
US5945997A (en) * 1997-06-26 1999-08-31 S3 Incorporated Block- and band-oriented traversal in three-dimensional triangle rendering
US6304268B1 (en) * 1997-06-26 2001-10-16 S3 Graphics Co., Ltd. Trilinear texture filtering of two levels of detail based on a single level of detail
US6215822B1 (en) * 1997-12-30 2001-04-10 Sony Corporation Motion compensated digital video decoding and buffer memory addressing therefor
US6104416A (en) * 1997-11-18 2000-08-15 Stmicroelectronics, Inc. Tiling in picture memory mapping to minimize memory bandwidth in compression and decompression of data sequences
US6608625B1 (en) * 1998-10-14 2003-08-19 Hitachi, Ltd. Three dimensional graphic processor
US6674479B2 (en) * 2000-01-07 2004-01-06 Intel Corporation Method and apparatus for implementing 4:2:0 to 4:2:2 and 4:2:2 to 4:2:0 color space conversion
US6614442B1 (en) * 2000-06-26 2003-09-02 S3 Graphics Co., Ltd. Macroblock tiling format for motion compensation
US6961063B1 (en) * 2000-06-30 2005-11-01 Intel Corporation Method and apparatus for improved memory management of video images

Also Published As

Publication number Publication date
TW200414754A (en) 2004-08-01
US6989837B2 (en) 2006-01-24
CN1514343A (zh) 2004-07-21
US20040113913A1 (en) 2004-06-17
TWI230013B (en) 2005-03-21

Similar Documents

Publication Publication Date Title
CN1267813C (zh) 处理色差信号4∶2∶0平面图像数据格式存储器的系统与方法
CN101388950B (zh) 用于数字图像的内容适应式对比增进方法及装置
KR100547812B1 (ko) 컬러 참조테이블을 사용하여 화소데이터의 컬러모델을변환하는 장치 및 방법
CN1012302B (zh) 彩色图像显示系统
US5412766A (en) Data processing method and apparatus for converting color image data to non-linear palette
CN106228581B (zh) 通过gpu将像素格式由argb转换为nv12的方法及系统
US20050024380A1 (en) Method for reducing random access memory of IC in display devices
US7868898B2 (en) Methods and apparatus for efficiently accessing reduced color-resolution image data
CN113709489B (zh) 一种视频压缩方法、装置、设备及可读存储介质
CN102118624A (zh) 一种从rgb色彩空间到yuv色彩空间的图像转换方法
JPH06348829A (ja) カラー・イメージ・デイスプレイ・システム及びフオーマツト変換回路
WO2001041049A1 (en) System and method for rapid computer image processing with color look-up table
CN112929672B (zh) 一种视频压缩方法、装置、设备及计算机可读存储介质
US5724560A (en) Display graphics adapter for processing different pixel sizes in a windowing system
JP2647033B2 (ja) ルックアップテーブル作成方法及びルックアップテーブル作成装置
US20200128264A1 (en) Image processing
KR100818034B1 (ko) 데이터 전송 방법, 회로 장치 및 데이터 전송 장치
US6693644B1 (en) Graphic accelerator reducing and processing graphics data
JPH0772839A (ja) カラービデオディスプレイ装置
CN114554171A (zh) 图像格式转换方法、装置、显示屏控制设备和存储介质
US6747661B1 (en) Graphics data compression method and system
KR20040082601A (ko) 메모리 억세스 제어 장치
US20140362097A1 (en) Systems and methods for hardware-accelerated key color extraction
CN111045623A (zh) 一种多gpu拼接环境下图形命令的处理方法
JPH07210127A (ja) カラー画像処理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CX01 Expiry of patent term

Granted publication date: 20060802

CX01 Expiry of patent term