CN101142821B - 新压缩格式和用其在帧存储器中暂存图像数据的设备 - Google Patents

新压缩格式和用其在帧存储器中暂存图像数据的设备 Download PDF

Info

Publication number
CN101142821B
CN101142821B CN2006800064011A CN200680006401A CN101142821B CN 101142821 B CN101142821 B CN 101142821B CN 2006800064011 A CN2006800064011 A CN 2006800064011A CN 200680006401 A CN200680006401 A CN 200680006401A CN 101142821 B CN101142821 B CN 101142821B
Authority
CN
China
Prior art keywords
format
compressed
compression
display driver
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2006800064011A
Other languages
English (en)
Other versions
CN101142821A (zh
Inventor
克里斯托夫·R·斯皮尔斯
马特乌斯·J·G·拉默斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN101142821A publication Critical patent/CN101142821A/zh
Application granted granted Critical
Publication of CN101142821B publication Critical patent/CN101142821B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2092Details of a display terminals using a flat panel, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6072Colour correction or control adapting to different types of images, e.g. characters, graphs, black and white image portions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/64Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • H04N1/642Adapting to different types of images, e.g. characters, graphs, black and white image portions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • H04N19/126Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/02Handling of images in compressed format, e.g. JPEG, MPEG
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/18Use of a frame buffer in a display terminal, inclusive of the display panel

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Digital Computer Display Output (AREA)

Abstract

一种显示驱动器(40),具有用于暂存表示彩色图像的图像数据的帧存储器(43)和用于将RGB格式的图像数据馈入所述显示驱动器(40)的数据总线。显示驱动器(2)包括用于执行编码判决过程(42)的装置,所述判决过程基于对所述图像数据的像素簇的本质的分析。执行判决过程(42)的装置使显示驱动器(43)能够决定运用第一压缩格式还是第二压缩格式来压缩所述像素簇。第一压缩装置(33.1)将所述像素簇压缩为所述第一压缩格式(量化的RGB),而第二压缩装置(33.2)将所述像素簇压缩为所述第二压缩格式(颜色压缩)。在压缩之后,将像素簇和有关压缩格式代码存储在帧存储器(24)的可用存储区域中,使得所述图像数据的一部分以第一压缩格式存储在所述存储区域中,所述图像数据的另一部分以第二压缩格式存储在所述存储区域中。所述压缩格式代码用于执行判决过程,所述判决过程使显示驱动器(20)能够决定要运用第一解压缩格式还是第二解压缩格式来解压缩所述像素簇。

Description

新压缩格式和用其在帧存储器中暂存图像数据的设备
技术领域
本发明涉及一种压缩方案,具体涉及一种显示驱动器,该显示驱动器具有用于暂存代表彩色图像的图像数据的帧存储器。
背景技术
存在进行图像压缩的多种应用。在图像压缩中,有多种压缩方法。压缩算法使用自然场景的属性,使得所引入的质量损失对于人类观察者而言可接受。对于自然图像提供令人满意的结果的方法(相邻像素之间具有有限颜色波动的图像)对于非自然类型图像性能较差,反之亦然。
通常首先使用亮度和两个色度(颜色)分量,将自然图像转换到YUV域。这种格式的一个示例是所谓的YUV4:4:4。由于人眼典型地对于短距离上的颜色改变不敏感,所以可在两个相邻像素之间共享色度分量。这种格式被称为YUV4:2:2,并减少了33%的所需存储区域或总线带宽,而仅少量降低了对于自然场景所感知的图像质量。在四个相邻像素共享色度分量(例如YUV4:2:0)时,可以减少50%。YUV4:2:2和YUV4:2:0压缩的问题在于,对于非自然类型的图像(例如数据图形、文本),引入了很容易看见的附加人工产物(artifact)。这是因为非自然图像的带宽不受限(奈奎斯特采样定律并不适用),并且在相邻像素之间会出现颜色的急剧改变,这在压缩之后引起可看见的错误颜色。
为了存储图像,有多种压缩方法,这些方法典型地分为三种,示出如下:
(1)无损压缩(例如GIF、TIFF、RLE):这种格式的问题在于,它并不提供固定的压缩因子。这种格式不能够用于压缩要存储在显示驱动器的帧存储器中的图像,因为这需要帧存储器大小增加以便能够存储所有可能的图像。
(2)有损压缩(例如JPG、MPEG):这些压缩典型地使用颜色空间转换(YUV域),然后对图像进行频率(DCT)转换,之后消除一些信息,然后无损地压缩结果,该技术在转换期间需要大量处理以及缓冲存储器。该方法并不适用于在帧存储器中进行压缩,因为对显示驱动器添加的硬件数量必须极少。
(3)有限压缩比(例如YUV):图像通常以YUV格式存储,允许对亮度和色度信息进行分别压缩。模拟电视传输标准也使用YUV域,其中亮度传输所用的带宽远大于色度信道所用的带宽。相同的方法适用于减少帧存储器的存储,尽管对于非自然图像引入了大量的人工产物。
存在各种智能压缩方法的示例,其中压缩算法设计用于避免人工产物等。具体地,当在自然图像背景之上显示文本时,难以提供仍然可以以清晰形式显示文本的可靠压缩。多数压缩方法关注于自然图像的压缩,而对某些文本元素有损或无视这些文本元素。另一方面,可以显示非自然图像(例如数据图形、文本)的压缩方案典型地并未实现所需的压缩比。如果希望同时获得高质量的彩色图像,利用已知智能压缩方法则不能够实现确保的压缩。
现有技术还涉及整个图像的压缩。以下的现有技术文献包括基于整个图像来实现压缩的计算集中操作。
美国专利US5361147A和US5818970涉及两个示例,其中在图像等级上进行相同颜色像素的搜索,以便从图像中去除这些像素,因此可以进行更精确的DCT压缩。找到相同颜色像素很费力,并且在显示驱动器等中不能够采用。这些美国专利所用的压缩技术(DCT和LZW)比不上YUV/RGB编码。
美国专利5872556和以US20010005218(作为美国专利6597406公布)公开的美国专利申请均考虑在进行了YUV4:2:2子采样之后怎样处理数据。然而,这与这里提出的本发明无关,本发明是基于在子采样过程中丢失的信息。还要提到,这些现有技术文献考虑在子采样之后怎样处理数据。
在许多应用中,存储器都是珍贵的资源。具体地,在移动应用中,通常对可用存储器的大小有一些限制。当今多数移动设备配备有显示器。这种显示器的显示驱动器中所需的帧存储器的量极大地增加了整个设备的成本。
因此,通常希望提供一种压缩方案,用在能够处理所有类型图像的显示驱动器的帧存储器中。此外,该压缩方案应该可以减小帧存储器的大小。然而,可以仅实现在与图像类型无关的情况下确保某一最小压缩比(确保的压缩比)。
发明内容
因此,本发明的目的是提供一种具有确保压缩比的压缩方案。
本发明的另一目的是提供一种压缩方案,允许在显示驱动器的帧存储器中以低成本和低功耗实现。
本发明的另一目的是改善传统的显示驱动器。
利用这里所述并要求保护的发明,减少或去除了上述已知系统的缺陷。
在权利要求1中要求保护根据本发明的设备,而在权利要求2到16中要求保护各个有利的实施例。
根据本发明,使用两个或多个压缩格式来压缩图像。在压缩并存储图像之前,分析两个或多个相邻像素(这里称为像素簇)的颜色特征。在该分析的上下文中,确定误差(例如重构误差或其逆(inversion),它是一种重构质量)。在当前优选的实施例中,通过分析预期误差来确定所感知的质量。
分析的结果导致对各个像素簇的更好压缩方法的选择,并且使用该更好压缩方法来压缩各个像素簇的数据。此外,通过压缩格式代码(限定符)对压缩数据进行扩展,以指示使用了哪种压缩方法来压缩像素簇的图像数据。类似地,可独立地存储压缩格式代码。在从帧存储器中读取像素数据时,解码过程需要该压缩格式代码,以便在显示面板上呈现彩色图像。
根据本发明的一个实施例(参见图5),以YUV4:2:2格式和(与YUV占据相同的空间)量化的RGB格式这两种相互排斥的格式的组合,在帧存储器中存储彩色图像。对于要存储的图像中的每个像素簇,选择使用这两种格式之一。在以YUV4:2:2存储像素簇时,其在存储器中占据所分配的存储空间。如果以量化的RGB来存储像素簇,则降低颜色深度,以使相应数据适合相同的存储空间。
在存储空间有限时,也许需要对YUV4:2:2数据的额外量化。
用于减少相应YUV4:2:2数据量的另一个实施例是新颖的向RGBG格式的无损颜色空间转换,用于使相应数据适合可用的存储空间。
可与每个像素簇一同存储指示出使用那种压缩方法压缩像素簇的图像数据的压缩格式代码,或者可独立地存储各个信息。
与传统的RGB存储相比,通过智能地选择何时以YUV4:2:2格式存储像素簇以及何时以量化地RGB格式存储像素簇,本发明可以增加可显示颜色的数目。所述和所要求保护的方法对于非自然图像并未引入可见的人工产物,而在以纯YUV4:2:2格式存储图像时会引入可见的人工产物。
在独立权利要求17和21中要求保护根据本发明的方法。在权利要求18至20和22至28中要求保护了多个有利实施例。
根据本发明,在多个不同的应用中,可使用新的压缩格式来代替传统的YUV压缩方案,以提高性能。例如,可以结合传送嵌入式摄像机图像数据、在存储器中存储图像数据或者向显示模块传送图像数据来使用。
本发明的另一实施例的特征在于:在决定将哪一种压缩方案用于给定像素对时,考虑所感知的质量。
本发明的压缩方法的优点在于以令人满意的方式处理不同类型的图像。
根据本发明的压缩方案可用于在将图像数据传送到显示驱动器的帧存储器时实时压缩该图像数据。
根据本发明,在从帧存储器中读出压缩的图像数据时,在经由其它附加电路(例如帧速率转换器和数模转换器)向显示面板传送“重构的”图像数据之前,进行逆操作(实时解压缩)。
本发明可以减少压缩所引入的量化人工产物,而不会对处理、功率或成本造成显著的影响。
根据本发明的压缩的另一有利特性在于,该压缩提供了确保的压缩比。本发明的另一有利属性在于,该压缩并不需要与上述一些方法同样多的处理。因此,例如,可以在移动设备中实现本发明。
将在下面的说明书中给出本发明的其它特征和优点,并且这些可从说明书中部分地明了。
附图说明
为了更完整地描述本发明及其其它目的和优点,结合附图,参考下面的说明,附图中:
图1示出了根据本发明的第一实施例的示意框图,其中在存储在帧存储器之前对RGB数据进行编码,并在从所述存储器重新获取之后进行解码;
图2A是在帧存储器中存储数据之前执行的RGB至RGB量化的示意表示。仅在该格式比YUV4:2:2格式产生更好结果时才使用该格式;
图2B是在从帧存储器中重新获取以量化格式存储的数据时执行的量化RGB至重构RGB的示意表示;
图3A是RGB至YUV4:4:4转换的示意表示;
图3B是平均了多个相邻像素(像素簇)的U和V分量的Y1U1V1..YnUnVn..Y1YnUV压缩的示意表示;
图3C是像素簇的Y1..YnUV至R1G1B1G2..Gn压缩的示意表示;
图3D是R1G1B1G2..Gn至以RGB格式表示的簇的各个像素的解压缩的示意表示;
图4示出了根据本发明的显示模块的示意框图;
图5示出了根据本发明的第三实施例的示意框图;
图6示出了根据本发明的第四实施例的示意框图;
图7示出了根据本发明的第五实施例的示意框图;
图8示出了本发明的第六实施例的示意框图;
图9A-9C示出了没有压缩的原始图像、使用这里示出的第一压缩方案压缩的图像,使用这里示出的第二压缩方案压缩的图像的截屏(从左至右);
图10示出了根据本发明的从输入侧至输出侧的数据流;以及
图11示出了根据本发明的第七实施例的示意框图。
具体实施方式
在描述本发明的详细实施例之前,给出与传统的转换和压缩方案有关的一些基本信息。
通常以RGB格式呈现由显示驱动器处理的彩色图像。这是彩色图像的像素由红(R)、绿(G)和蓝(B)分量构成的格式。
YUV格式以亮度(Y)和色度(U,V)分量表示像素属性。亮度(或luma)是指图像数据中的黑白信息,色度(或chroma)是指图像数据中的颜色信息。YUV颜色空间区分可分别处理的亮度和色度属性。
图1示出了本发明的第一实施例。例如,图1的电路40是显示驱动器的一部分,并包括用于暂存表示彩色图像的图像数据的帧存储器43(例如RAM)。在本实施例中,例如,RAM43可以具有16bpp的内部格式。提供了数据总线21.1,用于经由接口块21(I/F)和编码块42向帧存储器43馈送RGB格式的图像数据。例如,24bpp RGB格式的图像数据可经由接口块21进入编码块42。根据本发明,存在在图1中未显式示出的用于执行判决过程的装置。所述判决过程是基于对经由总线21.1接收到的图像数据的像素簇的颜色特性的分析的。执行判决过程的装置使得电路40可以决定使用第一压缩格式(RGB量化)还是第二压缩格式(颜色压缩)来压缩像素簇。在本实施例中,编码块42包括:第一压缩装置,用于将像素簇压缩为第一压缩(RGB量化)格式;以及第二压缩装置,用于将像素簇压缩为第二压缩(颜色压缩)格式。根据本发明,根据判决过程的结果来选自第一压缩格式或第二压缩格式。
在本示例中,编码块42采集两个相邻像素(称为RGB1和RGB2),将其转换为YUV(称为YUV1和YUV2),平均U和V分量(其结果在图3中被称为YYUV),并将其转换为新颖且有创造性的平均RGBG表示(参见图3)。如果在输入总线21.1处RGB格式的字具有24比特的两个像素,则该表示具有32个比特(保存两个压缩像素)。32个比特表示原始的两个像素,因此对应于16bpp。内部24bpp的表示因此被转换为16bpp的表示(压缩因子为24/16=1.5)。可仅用如下的一个编码矩阵来描述整个操作:
编码矩阵:
R ‾ 1 G ‾ 1 B ‾ 1 G ‾ 2 = 1 8 · 5.196 2.348 0.456 2.804 - 2.348 - 0.456 1.196 6.348 0.456 - 1.196 1.652 - 0.456 1.196 2.348 4.456 - 1.196 - 2.348 3.544 - 1.196 1.652 - 0.456 1.196 6.348 0.456 · R 1 G 1 B 2 R 2 G 2 B 2 - - - ( 1 )
可通过对于矩阵系数选择舍入值来简化矩阵(1)的实现。
其后,从帧存储器43中重新获取表示像素簇的数据,以便将其馈入显示面板。取决于应用类型,可以每秒50次的频率进行由解码单元44执行的重新获取和解压缩。为了能够压缩从存储器43重新获取的数据,考虑压缩格式代码(下面将对压缩格式代码的考虑称为第二判决过程),并且采用第一解压缩装置来将各个像素簇解压缩为基于RGB格式的像素簇,或者采用第二解压缩装置来将颜色压缩的像素簇解压缩为基于RGB格式的像素簇。
在该示例中,在从帧存储器43中读取像素时,必须计算两个丢失的子像素R2和B2。这可利用下面的矩阵(2)来进行:
R ‾ 1 G ‾ 1 B ‾ 1 R ‾ 2 G ‾ 2 B ‾ 2 = 1 0 0 0 1 0 0 0 0 0 1 0 1 - 1 0 1 0 0 0 1 0 - 1 1 1 · R ‾ 1 G ‾ 1 B ‾ 1 G ‾ 2 - - - ( 2 )
从矩阵(2)可见,在RGBG至RGB解码器44(解压缩器)中仅需要三个加法器。一个用于计算G2和G1之差,并且针对每个丢失的子像素有一个。
根据本发明,典型地以第一压缩格式将部分数据存储在帧存储器43中,并以第二压缩格式存储另一部分数据。
在接下来的说明中,描述各个转换步骤的细节。在该上下文中,参考图2A至3D。
图2A示出了第一压缩方案。由红(R)、绿(G)和蓝(B)颜色分量表示彩色图像的图像数据的一个像素。在接口上,对于每个像素,这三个颜色分量总共使用i个比特。例如,如果i=24,则一个像素需要24个比特。如果执行RGB量化,如图2A中的块1所示,则各个颜色分量由更少的比特(每个像素1个比特,1<i)表示。例如,可将8比特的R压缩为5比特的R,将8比特的G压缩为6比特的G,将8比特的B压缩为5比特的B,以构造RGB565像素。在这种情况下,一个像素仅需要16个比特,对应于24/16=1.5的压缩因子。在该上下文中可采用的最简单的压缩算法是截短和舍入。
在图2B中,示出了在从帧存储器43中重新获取数据时可执行的量化RGB至重构RGB格式的示意表示。帧存储器43中的字大小为每个像素1个比特。在解压缩之后,传送到显示器的数据的字大小是每个像素m个比特。
图3A示出了另一个转换方案。与图2A相同,一个像素由红(R)、绿(G)和蓝(B)颜色分量表示,并需要i个比特(如果在输入总线21.1处提供了RGB888格式的RGB格式数据,则i=24bpp)。如果现在执行RGB至YUV4:4:4转换,如图3A中的块3所示,则将颜色分量转换为亮度分量(Y)和两个色度分量(U,V)。为了避免在该颜色空间转换过程中丢失信息,每个分量需要2个额外的比特(YUV101010)。因此这种格式的像素需要30个比特。
图3B示出了另一种压缩方案。要一同处理n个(像素1至像素n)相邻的像素(称为像素簇)。每个像素由10比特的亮度分量Y和两个10比特的色度分量U、V(即j=30bpp)表示。如上所述,每个像素需要30个比特(YUV101010)。根据本压缩方案,一同处理n=2个像素,以产生YYUV表示,其中保持n=2个各自亮度分量Y1和Y2,并且合并两个U分量U1、U2和两个V分量V1、V2(利用平均的颜色压缩)。组合的分量由U和V表示。新的格式以单个40比特的字(YYUV10101010)表示两个30比特的字,即k=20bpp。这对应于60/40=1.5的压缩因子。
在图3C中,给出了YYUV至RGBG代码空间压缩的示意表示。YYUV格式的数据的每个像素具有k=20个比特。在代码空间压缩之后,RGBG格式的数据具有1=16bpp,其中1=k-(n+2)。从RGB输入至RGBG格式的整体压缩因子是24/16=1.5。
在图3D中,示出了可在从帧存储器43中重新获取数据时执行的RGBG至RGB重构的示意表示。帧存储器43中的字大小是每个像素1=16个比特。在解压缩之后,传送到显示器的数据的字大小是每个像素m=24个比特。整体压缩因子仅取决于像素簇的大小n,并且在该示例中等于
C=3n/(n+2)=>(3*n=2)/(n=2+2)=1.5。
如在本说明书的引言部分所述的,基于颜色空间的本质,由于会出现某种干扰的可见效果,所以传统的RGB压缩和传统的YUV压缩均不适用。因此,开发出上述方法,以提供确保的压缩,而与图像类型无关。
由于本发明主要涉及显示驱动器中图像数据的压缩、存储和解压缩,所以结合图4来描述显示模块10和显示驱动器的示例。
图4示出了传统的(TFT)显示模块10的框图。示出了用于驱动简单的矩阵式液晶面板16的电路配置的细节。由列驱动器组14并行驱动液晶面板16的多个列电极(例如N=384),并且由行驱动器阵列15在依次选择的同时驱动多个公共行电极。接口12用作微处理器(图4中未示出)和显示模块10之间的接口。接口功能12典型地实现在显示器定时控制器13的输入侧处。如上所述,列驱动器组14驱动LCD显示器16的N列,并且包括N个输出缓冲器。列驱动器组14包括列驱动器阵列。典型地,列驱动器组14的每个列驱动器通过提供模拟输出信号而供应显示面板16的N个列电极。行驱动器阵列15包括行驱动器阵列。显示器16的每个像素是行和列电极之间的可开关电容器。显示器16可以是例如无源矩阵LCD面板。
如图4所示,帧存储器17位于显示器定时控制器13和列驱动器组14之间。该帧存储器17(典型地是RAM)暂存在根据本发明压缩之后的图像数据。由定时控制器13作为串行数据,经由帧存储器17向列驱动器14给出表示要显示在液晶面板16上的图像的图像数据。
在实时解压缩之后,可经由数模转换器将帧缓冲器17的输出发送到列驱动器组14内的列驱动器。将数据传送到列驱动器的输出,以便驱动显示面板16。典型地,将RDAC用作数模转换器。RDAC是数模转换器的基于电阻器的实现。RDAC包括串联的电阻器(也称为电阻分压链)。
如上所述,帧存储器(例如图4中的帧存储器17)的大小典型地由于成本或其它约束而受限。因此,如上所述,提供图像数据的压缩以确保它们“适合”可用存储区域是有利的。如上所述,一个重要的问题在于,需要确保的压缩因子,并且传统的压缩方案对于在显示驱动器中实现而言太复杂,或者导致对于多数应用而言不可接受的图像质量。
根据图5中示出的本发明的第二实施例,在将图像存储在帧存储器34(RAM)中之前,使用至少两个不同的压缩格式来压缩图像。为了显示驱动器30能够决定要使用何种压缩格式,在经由总线21.1和接口块21(I/F)接收到图像数据时,对至少两个相邻像素进行分析。
在本示例中采用判决块32.1。判决块32.1获取两个相邻像素(像素对)或多于两个相邻像素(像素簇),并执行判决过程,所述判决过程是基于对像素对或像素簇的本质的分析的。将U1、U2和V1、V2数据的色差与预定阈值相比较。根据判决块32.1的比较,利用第一压缩装置33.1或第二压缩装置33.2来压缩各个像素对或像素簇的图像数据。第一压缩装置33.1运用第一压缩格式,提供RGB888至RGB565的转换,其中,减小颜色深度以限制帧存储器34中所需的存储区域。可逐个像素进行该转换,即分别将每个像素转换,过程如下:
RGB888至RGB565转换:
R=R/8
G=G/4
B=B/8
第二压缩装置33.2运用第二压缩格式,提供2xRGB888至YYUV8888的压缩,其中,平均像素对或像素簇的U和V分量,并通过截短或平均,将Y、U、V分量减少为8个比特。请注意,并不逐个比特进行该第二压缩。在进行必要的平均时组合两个或多个像素。
压缩装置33.1和33.2所执行的压缩需要采用如下给出的转换矩阵。
RGB至YUV4:4:4矩阵:
Y U V = 0.299 0.587 0.114 - 0.169 - 0.331 0.500 0.500 - 0.419 - 0.081 &CenterDot; R G B
平均U和V:
U &OverBar; = U 1 + U 2 2
V &OverBar; = V 1 + V 2 2
通过截短来减少比特:
Y1=Y1/4
Y2=Y2/4
U=U/4
V=V/4
然后将压缩的数据存储在帧存储器34的可用存储区域中。因此,在多数情况下,由相应图像数据表示的整个图像以两种不同的格式存储在帧存储器34中。典型地,帧存储器34中的一些图像数据是RGB量化的,一些数据是颜色压缩的。
为了显示驱动器30或40能够从帧存储器43或34中重新获取图像数据并执行解压缩,必须存储附加的信息,该信息使电路能够确定对于给定的像素对或像素簇使用了第一还是第二压缩格式。如图5所示,这可通过存储压缩格式代码来实现。判决逻辑电路32.1提供压缩格式代码,作为输出信号。经由位线32.2,将该压缩格式代码馈入压缩格式选择器32.2和帧存储器34。在本实施例中,压缩格式代码实际上用于两个目的。首先,其选择各个压缩装置33.1、33.2的结果。其次,将其与像素数据一起存储,或将其存储在帧存储器34的独立存储区域中。可实现判决逻辑电路32.1,使得如果要使用第一压缩格式,则压缩格式代码是逻辑1。如果将逻辑1施加到压缩装置33.1,则这些装置33.1被选择,同时逻辑1禁用压缩装置33.2。如果判决逻辑电路32.1发出了逻辑0,则选择压缩装置33.2,并禁用压缩装置33.1。
在图5的实施例中,可由自适应开关控制来代替基于固定阈值的判决逻辑电路,自适应开关控制是基于最小误差准则的。图7和10给出了这种基于最小误差实施方式的示例。判决逻辑电路32.1做出决定,使电路30可以决定要运用第一压缩格式还是第二压缩格式来压缩像素簇。两个压缩装置33.1和33.2与判决逻辑电路32.1并联放置。每个压缩装置33.1、33.2运用不同的压缩方案。在输出侧,存在开关电路32.2,以允许像素簇在第一压缩装置33.1的压缩之后或像素簇在第二压缩装置33.2的压缩之后被馈入帧存储器34。在本实施例中,开关电路32.2由判决逻辑电路32.1经由总线32.3控制。
压缩装置33.1和33.2所执行的压缩需要采用转换矩阵。典型地,这通过多个逻辑门来以硬件实现。
如结合图1和5所述的,存储指示出对于像素簇使用了何种压缩格式的压缩格式代码。经由位线32.2将压缩格式代码馈入帧存储器34。这对于后面对各个像素簇的重新获取和解压缩是重要的。
在帧存储器34的输出侧,有两个解码块35.1、35.2,分别用于执行RGB565至RGB888和YYUB8888至RGB888的转换。采用开关装置36.1。以便将RGB888数据馈入显示面板。开关装置36.1由从存储器34重新获取并经由总线36.2馈入开关装置36.1的1比特压缩格式代码控制。
解压缩基于以下方程:
RGB565至RGB888的转换35.1:
R=R*8
G=G*4
B=B*8
YUV888至RGB888矩阵35.2:
R &OverBar; n G &OverBar; n B &OverBar; n = 1.000 0.000 1.402 1.000 - 0.344 - 0.714 1.000 1.772 0.000 &CenterDot; Y n U &OverBar; V &OverBar;
在帧存储器34的输出侧,有连接帧存储器34与解压缩装置35.1和35.2的总线。解压缩数据(现在再次为RGB888格式)可由此经由RADC馈入显示面板。
下面描述作为上述实施例的变体的一些其它实施例。将进一步扩展本发明的基本理念。对于图6和7同样使用结合图1所示的新颖的RGBG压缩方案。根据本发明,该新颖的压缩格式可结合显示驱动器来使用,但是该压缩格式也可用于要压缩图像数据的多种其它应用中。
下面所述的实施例基于下面的观察和发现。可以以具有四角棱柱体形状的三维RGB颜色空间中的矢量来表示像素颜色。在执行RGB至YUV转换时,在另一个三维颜色空间中表示像素颜色,YUV代码空间如下面的矩阵所示:
RBG至YUV4:4:4矩阵:
Y U V = 0.299 0.587 0.114 - 0.169 - 0.331 0.500 0.500 - 0.419 - 0.081 &CenterDot; R G B
由于在执行至YUV代码空间的坐标转换中旋转并拉伸了原始RGB空间,所以将不能够对大部分YUV代码空间进行寻址,并且每个分量需要2个额外的比特以避免像素颜色矢量的数据丢失,如上面结合图3A所述的。
每个像素有24个比特(bpp)的RGB888颜色空间可对多于16百万种颜色进行寻址。在RGB至YUV颜色空间的转换中,没有数据丢失。在将产生的YUV101010(30bpp)量化至YUV888(24bpp)时,由于代码丢失,颜色分辨率将减少为近似5百万种颜色。
通过截短来减少比特:
Y=Y/4
U=U/4
V=V/4
在相邻像素具有大约相同的颜色时,两个相邻像素的U和V的平均将不会引入可见的人工产物。详细的分析示出了:对于自然图像,通常两个或多个相邻像素具有大约相同的颜色。如果使用在自然图像的相邻像素的U和V分量(参见下面的方程)进行了平均的YUV压缩,则能够执行压缩而不过多降低可感知的图像质量。可发现,尽管如果显示彩色图像,在该图像经过YUV压缩和解压缩之后,如果在对比的彩色背景上有彩色的文本,则该图像看起来不太好。结合图9A-9C和图11来描述至少在一定程度上避免了该问题的实施例。
平均U和V:
U &OverBar; = U 1 + U 2 2
V &OverBar; = V 1 + V 2 2
背景和文本之间的转换示出了颜色误差,在试图在显示器上阅读该文本时,这种颜色误差非常恼人。图9A-9C示出了个人数字助理的显示器的截屏。从这些图中可见,如上所述的有损压缩会导致可见的重构误差(参见图9B)。
在将YUV颜色矢量作为RGB数据来产生显示面板上的图像之前,YUV颜色矢量可与矩阵相乘。该相乘由下面的方程表示:
YUV888至RGB888的矩阵:
R &OverBar; G &OverBar; B &OverBar; = 1.000 0.000 1.402 1.000 - 0.344 - 0.714 1.000 1.772 0.000 &CenterDot; Y U &OverBar; V &OverBar;
考虑该情况,这里示出的新颖的RGBG压缩方案可以压缩YUV编码的图像,将其存储在帧存储器中,从帧缓冲器中重新获取该图像,并再次解压缩该图像,而没有代码空间的丢失。按照这种方式,保持了初始的16百万种颜色的颜色分辨率。图6示出了使用新的压缩方案的本发明实施例。
下面,描述实现结合图1所述的实施例的另一实施例,并且在图6中示出了相应的电路60。
该电路60提供了更好的结果和更少的人工产物(尤其是对于数据图形)。例如,图6的电路60可以是显示驱动器的一部分,并包括用于暂存表示彩色图像的图像数据的帧存储器64(例如RAM)。在本实施例中,例如,RAM64可具有16bpp的内部格式。提供数据总线21.1,用于经由接口块21(I/F)和编码块63.1、63.2向帧存储器64馈入RGB格式的图像数据。例如,24bppRGB格式的图像数据可经由接口块21进入编码块63.1、63.2。根据本发明,存在用于执行判决过程的装置67.1。判决过程基于对经由总线21.1接收到的图像数据的像素簇的颜色特征的分析。执行判决过程的装置67.1使电路60可以决定运用第一压缩格式(RGB量化)还是第二压缩格式(RGBG颜色压缩)来压缩像素簇。在本实施例中,编码块63.1将像素簇压缩为第一压缩(RGB量化)格式,并且编码块63.2将像素簇压缩为第二(RGBG颜色压缩)格式。根据本发明,基于判决过程的结果来选择第一压缩格式或第二压缩格式。采用开关装置62.2,用于将编码块63.1、63.2的各自输出数据路由到存储器64。经由总线67.2将1比特的压缩格式代码馈入开关装置62.2和存储器64。
在从存储器64重新获取数据时,在存储器64的输出侧进行解压缩。分别采用第一解码块65.1和第二解码块65.2。开关装置66.1将各个数据施加于输出总线66.3。开关装置66.1由从存储器64重新获取且经由总线66.2馈入开关装置64的控制输入的压缩格式代码控制。
图7示出了电路50。对于判决电路(54.1、54.2、55.1、55.2和59),可以直接将量化RGB的像素和RGBG转换的详述与输入在图7的左手侧的原始RGB888相比较。将图像数据馈入第一编码块53.1(RGB888至RGB565转换器)并馈入第二编码块53.2(RGB888至RGBG888转换器)。在输出侧58.1处,第一转换器块53.1提供两个像素的量化结果(2xRGB565)。第二转换器块53.2提供与其输出58.2处的两个像素相对应的YUV转换的像素对(RGBG8888)。将量化的像素对(2xRGB565)和相应的原始RGB888输入像素对之间的差异用于计算RGB压缩的色差。将RGBG压缩的像素对(RGBG8888)和相应的原始RGB888输入像素对之间的差异用于计算RGBG压缩的色差。
ε量化=εrgb=|R1-8R1Q|+|G1-4G1Q|+|B1-8B1Q|+|G2-4G2Q|      (3)
ε压缩=εrgbg=|R1-R1C|+|G1-G1C|+|B1-B1C|+|G2-G2C|        (4)
第一方程(3)计算量化的子像素的绝对颜色分量误差(εrgb)之和,第二方程(4)计算颜色压缩的子像素的绝对颜色分量误差(εrgbg)之和。采用比较器块59来估计结果,通过如下比较误差:
if(ε颜色压缩量化)
then(select=>RGB565格式)     (5)
els(select=>RGBG格式)
方程(5)示出了根据颜色误差的特殊确定来自适应地选择压缩类型。仅在RGBG像素对具有比RGB量化的像素对更小的误差时,才选择颜色压缩格式。也可考虑R2和B2像素,如结合图11所述的,但是在这种情况下将需要附加的处理。
根据本发明,将比较器块59所执行的判决的结果(以RGB565格式编码或以RGBG8888格式编码)作为1比特信息添加到该像素对(对应于0.5bpp)。取决于比较器块59所执行的比较的输出,经由总线56.1将RGB565编码的数据或RGBG888编码的数据转发到帧存储器(在图7中未示出)。
帧存储器之后的解码块需要压缩格式代码中包含的信息,以便能够在从帧存储器中读取数据时解译编码的信息,如结合早先的实施例所述的。
如结合图7所述的,可通过将颜色压缩的像素和量化的像素与原始像素相比较并选择具有最小误差的一个像素,来实现图像质量的改善。
结合图1和方程(1)-(2)所述的原理还可应用于接收到的图像数据由RGB输入表示的其它情况。例如,上述颜色压缩可结合图像数据的传输和/或存储来使用。
结合另一特定实施例来描述RGBG压缩的其它细节。图8示出了该实施例。电路70被示出为包括多个构造块,用于示出RGB至RGBG压缩的各种方法的步骤。由RGB至YUV4:4:4转换器71接收RGB格式的图像数据R1G1B和R2G2B。将各个像素转换为YUV表示,所述TUV表示包括表示第一像素R1G1B的Y1、U1和V1和表示第二像素R2G2B的Y2、U2和V2。然后,在接下来的步骤中,将两个相邻像素的YUV4:4:4表示组合为YUV4:2:2表示。这通过将两个相邻像素的各自U1、U2和V1、V2平均而得到。保持所有两个相邻像素的各自Y分量Y1和Y2。本实施例中的平均由块72执行。获得了压缩的YUV4:2:2表示(Y1Y2UV),并可供另一块73使用。该块73将压缩的YUV4:2:2表示转换为两个相邻像素的压缩的RGBG表示(R1G1B1G2)。
如果处理两个相邻像素,如结合图7所述的,则可将每个像素有24个比特的RGB格式的图像数据压缩为具有32个比特的压缩的RGBG表示(等于每个像素有16个比特)。例如,可将每个像素具有18个比特的RGB格式的图像数据压缩为具有24个比特的组合的RGBG表示(等于每个像素有12个比特)。这些示例示出了,这种压缩技术可节省33%的最初所需存储器。
结合图11来给出本发明的另一实施例。在描述本实施例的细节之前,描述与有损压缩和有损压缩对图像质量的影响有关的一些基本论述。如果采用有损压缩,则不能够完美地重构原始图像(例如图9A所示的图像)。在图9B中示出了有损压缩之后重构的图像。尽管针对每个像素对(或像素簇)执行了误差的特殊确定,重构误差是0.95%。图9C示出了压缩方案的结果,其中,在选择“适当的”压缩方案时考虑了所感知的图像质量。利用这种基于所感知图像质量的压缩方案,可实现大约0.36%的重构误差。
图11示出了相应实现的框图。在图11中,示出了例如可在显示驱动器的帧存储器的编码器一侧采用的特殊的判决逻辑电路80。可代替图7所示的判决逻辑电路来使用判决逻辑电路80。判决逻辑电路80还使重构误差最小化,即提高了重构质量。
在描述该判决逻辑电路80的细节之前,图10示出了从输入侧至输出侧的数据流的概况,并由下面的数学表示概括(输入=>压缩并存储=>重构):
R 1 G 1 B 1 R 2 G 2 B 2 &DoubleRightArrow; R 1 G 1 B 1 G 2 &OverBar; R 1 Q G Q 1 B 1 Q R 2 Q G 2 Q B 2 Q &DoubleRightArrow; R 1 G 1 B 1 R 1 G 2 B 2 &OverBar; o 或R1'G1'B1'R2'G2'B2
判决逻辑电路80与总线81相连,其经由总线81接收到量化的RGB图像数据(R1QGQ1B1QR2QG2QB2Q)和RGBG颜色压缩的图像数据
Figure S06806401120070830D000173
存在两个并联的判决分支82.1和82.2。上分支82.1确定六个不同的误差分量,下分支82.2确定六个不同的误差分量。
量化误差可由下面的方程表示:
ε量化=εrgb
=|R1-8R1Q|+|G1-4G1Q|+|B1-8B1Q|+|R2-8R2Q|+|G2-8G2Q|+|B2-8B2Q
Figure S06806401120070830D000181
并且RGBG颜色压缩误差可由下面的方程表示:
Figure S06806401120070830D000182
Figure S06806401120070830D000183
本实施例的判决逻辑电路80考虑了在从帧存储器中获取图像时以及在解码这些图像数据时最终会发生的重构误差。换言之,本实施例在帧存储器的输入侧做出决定时考虑了所感知的重构误差。为此,判决逻辑电路80包括同样在帧存储器的输出侧的解码中存在的某些元素的复制。在图11中,这些元素由附图标记83.1和83.2表示。判决逻辑电路80比判决逻辑电路67.1稍复杂,因为逻辑块80确定多于四个的六个不同误差分量(参见方程(3)和(4))。
由于所执行的压缩,所以值
Figure S06806401120070830D000184
未存储在帧存储器中。编码器(相应地是编码的判决逻辑电路80)和解码器两者独立地计算由其重构值
Figure S06806401120070830D000186
Figure S06806401120070830D000187
替换的近似值
Figure S06806401120070830D000188
Figure S06806401120070830D000189
(
Figure S06806401120070830D0001810
)。由于值
Figure S06806401120070830D0001812
Figure S06806401120070830D0001814
Figure S06806401120070830D0001815
已知,所以这是可以的。下面的方程用于计算值
Figure S06806401120070830D0001816
Figure S06806401120070830D0001817
R 1 &OverBar; G 1 &OverBar; B 1 &OverBar; R 2 &OverBar; G 2 &OverBar; B 2 &OverBar; = 1 0 0 0 0 1 0 0 0 0 1 0 1 - 1 0 1 0 0 0 1 0 - 1 1 1 &CenterDot; R 1 &OverBar; G 1 &OverBar; B 1 &OverBar; G 2 &OverBar;
注意,该公式在前面已经作为公式(2)给出了。
R 2 &OverBar; = R 1 &OverBar; - G 1 &OverBar; + G 2 &OverBar;
B 2 &OverBar; = B 1 &OverBar; - G 1 &OverBar; + G 2 &OverBar;
与图7类似,采用比较器块84,通过如下比较误差来估计结果:
if(ε颜色压缩量化)
then(select=>RGB565格式)
els(select=>RGBG格式)
该方程与方程(5)相同。其示出了:根据所感知的像素质量来自适应地选择压缩类型。
根据本发明的自适应的颜色压缩技术的优点在于:在将RGB格式的图像数据压缩为压缩的RGBG表示时,由于对YUV域的数据执行代码压缩,并且在将其存储在存储器中之前再次将所述数据转换回RGB空间,所以没有代码空间的丢失。另一个优点在于:以RGBG表示的存储比相同RGB格式的图像数据的传统YUV表示表现出更好的信噪比,并因此实现了更好的图像质量。由于YYUV需要40个比特,而RGBG仅需要32个比特来表示相同的信息,所以每个分量节约了2个比特。
如果选择具有简化系数的矩阵操作来定义压缩(参见矩阵(1)和(2)),则可以以硬件容易地实现整个压缩方案。完全在显示驱动器内部执行从RGB至YUV以及再次回到RGB的转换。编码和解码矩阵必须匹配,这表示解码矩阵是编码矩阵的逆矩阵。
如果使用上述新颖且有创造性的RGBG方法,使用RGB666输入,则产生的RGBG6666输出可能可以表示218=260k种颜色,而YYUV输出由于代码丢失而仅表示90k种颜色。
如上所述的两个相邻像素的UV分量的平均(例如,参见图3B)在颜色相同时(对于自然场景的确如此)仅产生良好的结果。
考虑这些观察和发现,本发明提供了智能的压缩方案,不仅保持(或者至少考虑)彩色图像的所感知质量,而且确保某个压缩比。如果想要在显示驱动器的帧缓冲器中存储表示彩色图像的图像数据之前压缩这些图像数据,则这是必要的。只要可确保某个压缩比,无论图像本质上是什么,均可减小帧缓冲器的存储区域。但是,如上所述,这里所示的RGBG压缩方案也可用在处理图像数据的其它应用中。
如上所述,根据本发明的智能压缩方案使用以经YUV处理的像素存在的冗余,以避免代码空间的损失。在去除该冗余时,可完全利用压缩比。
根据本发明,在显示驱动器内部进行从RGB至YUV的转换以及从YUV回到RGB的转换。由于如果采用本发明的压缩方案,则需要比迄今为止其它方案更少的操作,所以这是可以的。
在优选实施例中,对于矩阵,可采用硬件优化的系数。只要这些矩阵以合理方式彼此是逆的(inverse),这就是可以的。
根据本发明的一个特殊实施例(图7),完全在帧存储器之前进行从RGB至YUV的转换。将该操作所压缩的RGB像素与原始的图像数据相比较。根据该比较,显示驱动器可决定作为RGBG还是作为两个量化的RGB像素来编码像素对。
另一实施例能够执行多种输入格式,例如RGB888和YUV4:2:2。在这种情况下,必须采用在帧存储器中按照RGBG格式装入输入像素的不同输入矩阵。
YUV至RGBG编码矩阵:
R 1 &OverBar; G 1 &OverBar; B 1 &OverBar; G 2 &OverBar; = 1.000 0.000 0.000 1.402 1.000 0.000 - 0.344 - 0.714 1.000 0.000 1.722 0.000 0.000 1.000 - 0.344 - 0.714 &CenterDot; Y 1 Y 2 U V
帧存储器之后的解压缩所采用的矩阵不受此影响。
根据本发明的压缩的另一个优点在于:其允许在显示驱动器中采用更小的帧存储器,而不需牺牲太多的所感知的图像质量。因此,本发明非常适用于用在移动显示驱动器中,其中在帧存储器中存储图像数据的完整拷贝。
另一个优点在于这里提出的压缩方案易于实现,并且附加成本相对较低。
本发明可用在每秒需要压缩多个图像数据的显示驱动器中,以及优选地每秒从存储器中取出并解压缩50次的显示驱动器中。
认识到,为了清楚而在独立实施例的上下文中描述的本发明的多个特征可在单个实施例中组合提供。相反地,为了简化而在单个实施例的上下文中描述的本发明的多个特征可独立地或以任意适当的子组合来提供。
在附图和说明书中,尽管使用了特定术语而给出本发明的优选实施例,但是所给出的说明仅在一般化和描述性的意义下使用术语,并且并不作为限制。

Claims (25)

1.一种显示驱动器(10;30;40;50;60;70),具有用于暂存表示彩色图像的图像数据的帧存储器(17;34;43;64),以及用于将图像数据馈入所述显示驱动器(10;30;40;50;60;70)的数据总线(21.1),其特征在于所述显示驱动器(10;30;40;50;60;70)包括:
-执行压缩判决过程的装置,所述压缩判决过程基于对所述图像数据的像素簇的颜色特征的分析,所述执行压缩判决过程的装置使显示驱动器(10;30;40;50;60;70)能够决定要运用第一压缩格式还是第二压缩格式来压缩所述像素簇,
-第一压缩装置(33.1;42;53.1;63.1;71),用于将所述像素簇压缩为所述第一压缩格式,
-第二压缩装置(33.2;42;53.2;63.2;71),用于将所述像素簇压缩为所述第二压缩格式,
其中,根据所述判决过程的所述结果来选择所述第一压缩格式或所述第二压缩格式,在压缩之后将像素簇存储在所述帧存储器(17;34;43;64)的可用存储区域中,并存储指示出用于像素簇的压缩格式的压缩格式代码;
其中,所述判决过程基于对由于所述图像数据的像素簇的第一压缩格式而导致的颜色误差、以及由于所述图像数据的相同像素簇的可选压缩格式而导致的颜色误差的分析,所述像素簇表示所述彩色图像的一部分,并且执行压缩判决过程的装置提供反映了要运用以压缩所述像素簇的压缩格式的输出。
2.根据权利要求1所述的显示驱动器(10;30;40;50;60;70),包括
-第一解压缩装置(35.1;44;65.1、65.2),用于基于使用所述第一压缩格式压缩的像素簇的像素,运用第一解压缩格式,解压缩为RGB格式的簇;
-第二解压缩装置(35.2;44;65.2),用于基于使用所述第二压缩格式压缩的像素簇的像素,运用第二解压缩格式,解压缩为RGB格式的簇,
其中,所述第一解压缩装置(35.1;44;65.1、65.2)和所述第二解压缩装置(35.2;44;65.2)考虑了所述压缩格式代码。
3.根据权利要求2所述的显示驱动器(10;30;40;50;60;70),包括执行解压缩判决过程的装置,所述解压缩判决过程基于与所述图像数据的像素簇有关的所述压缩格式代码,所述像素簇表示所述彩色图像的一部分,执行解压缩判决过程的装置使显示驱动器(10;30;40;50;60;70)能够决定要运用第一解压缩格式还是第二解压缩格式来解压缩所述像素簇。
4.根据权利要求1或2所述的显示驱动器(10;30;40;50;60;70),其中,所述图像数据的至少一部分以第一压缩格式存储在所述存储区域中,所述图像数据的另一部分以所述第二压缩格式存储在所述存储区域中。
5.根据权利要求1所述的显示驱动器(10;30;40;50;60;70),其中,所述数据总线(21.1)将YUV 4:2:2格式的图像数据馈入所述显示驱动器(10;30;40;50;60;70),其特征在于所述显示驱动器(10;30;40;50;60;70)总是将该馈入的图像数据转换为第二压缩格式。
6.根据权利要求1或2所述的显示驱动器(60),其中,所述对像素簇的颜色特征的分析是与预定阈值进行比较,并且所述执行判决过程的装置(67.1)提供反映了要运用以压缩所述像素簇的压缩格式的输出。
7.根据权利要求1所述的显示驱动器(50),其中,所述判决过程基于对所感知的压缩质量的分析。
8.根据权利要求1所述的显示驱动器(10;30;40;50;60;70),其中,所述第一压缩格式是RGB格式或基于RGB的格式,所述第二压缩格式是颜色压缩的YUV格式或基于颜色压缩的YUV的格式。
9.根据权利要求8所述的显示驱动器(10;30;40;50;60;70),其中,所述基于颜色压缩的YUV的格式是YUV 4:2:2。
10.根据权利要求1所述的显示驱动器(10;30;40;50;60;70),其中,所述第一压缩格式是RGB格式或基于RGB的格式,所述第二压缩格式是颜色压缩的RGBG格式或基于颜色压缩的RGBG的格式。
11.根据权利要求10所述的显示驱动器(10;30;40;50;60;70),其中,所述第二压缩格式是RGBR、RGBB或RGBY。
12.根据权利要求1所述的显示驱动器(10;30;40;50;60;70),其中,所述第一压缩格式是RGB格式或基于RGB的格式,并且支持多于一个的可选颜色压缩格式,包括与判决过程以及压缩和解压缩格式有关的代码。
13.根据权利要求1所述的显示驱动器(10;30;40;50;60;70),其中,第二压缩装置(33.2;42;53.2;63.2;71)运用的第二压缩格式采集n个相邻像素的像素簇,将所述像素簇转换为YUV格式,平均U和V分量,并计算所产生的RGBG,RGBGG至RGB(n个G)像素,其中,n≥2,并且所述像素簇可横越多于一行图像数据。
14.根据权利要求1所述的显示驱动器(10;30;40;50;60;70),其中,所述RGB格式的图像数据的每个像素具有m个比特,所述输入总线(21.1)的宽度为m比特,并且所述帧存储器(17;34;43;64)的存储区域被定义用于存储每个像素有(2/3)*m个比特的图像数据,从所述帧存储器(17;34;43;64)重新获取的图像数据的每个像素具有m个比特,保持了适当的图像质量。
15.根据权利要求2所述的显示驱动器(10),其中,所述第一和第二解压缩装置(35.1、35.2;44;65.1、65.2)在其输出侧与所述显示驱动器(10)的列驱动器(14)相关联。
16.根据权利要求1所述的显示驱动器(10;30;40;50;60;70),其中,必须每秒解压缩多个图像数据。
17.根据权利要求16所述的显示驱动器(10;30;40;50;60;70),其中,每秒从存储器中取出并解压缩图像数据50次。
18.根据权利要求1所述的显示驱动器(10;30;40;50;60;70),其中,所述帧存储器(17;34;43;64)是嵌入式的帧存储器。
19.一种用于暂存表示彩色图像的图像数据的方法,其特征在于所述图像以压缩格式存储,该方法具体包括:
a.RGB格式的图像数据流驱动判决过程,将所述图像数据的像素簇的颜色特征与预定阈值相比较;由其结果来定义压缩格式代码,并决定运用第一压缩格式还是第二压缩格式来压缩所述像素簇,
b.在压缩之后,将所述压缩格式代码和所述像素簇存储在可用存储区域中,
c.从所述存储器中重新获取所述像素簇和压缩格式代码并解码,其中,所述判决过程基于对由于所述图像数据的所述像素簇的第一压缩格式而导致的颜色误差、以及由于相同像素簇的可选压缩格式而导致的颜色误差的分析。
20.根据权利要求19所述的方法,其中,压缩格式代码的值确定了是从量化的RGB格式将所述像素簇解压缩为基于RGB格式的像素,还是从颜色压缩的格式将所述像素簇解压缩为基于RGB格式的像素簇。
21.根据权利要求19所述的方法,其中,所述判决过程基于对所感知的压缩质量的分析。
22.根据权利要求19或20所述的方法,其中,所述颜色压缩格式是YUV4:2:2格式。
23.根据权利要求19或20所述的方法,其中,所述颜色压缩格式是颜色压缩的RGBG、RGBR、RGBB或RGBY格式。
24.在显示驱动器(10;30;40;50;60;70)的前端实现的根据权利要求19所述的方法。
25.在个人计算机的视频图形适配器中实现的根据权利要求19所述的方法。
CN2006800064011A 2005-02-28 2006-02-22 新压缩格式和用其在帧存储器中暂存图像数据的设备 Expired - Fee Related CN101142821B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP05101512.1 2005-02-28
EP05101512 2005-02-28
PCT/IB2006/050569 WO2006090334A2 (en) 2005-02-28 2006-02-22 New compression format and apparatus using the new compression format for temporarily storing image data in a frame memory

Publications (2)

Publication Number Publication Date
CN101142821A CN101142821A (zh) 2008-03-12
CN101142821B true CN101142821B (zh) 2011-06-15

Family

ID=36698934

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800064011A Expired - Fee Related CN101142821B (zh) 2005-02-28 2006-02-22 新压缩格式和用其在帧存储器中暂存图像数据的设备

Country Status (5)

Country Link
US (1) US8285037B2 (zh)
EP (1) EP1856912A2 (zh)
JP (1) JP2008532083A (zh)
CN (1) CN101142821B (zh)
WO (1) WO2006090334A2 (zh)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007108439A (ja) * 2005-10-13 2007-04-26 Renesas Technology Corp 表示駆動回路
JP2007133295A (ja) * 2005-11-14 2007-05-31 Epson Imaging Devices Corp 画像処理装置、および電子機器
JP2007178850A (ja) * 2005-12-28 2007-07-12 Seiko Epson Corp 画像出力ドライバic
GB0718640D0 (en) * 2007-05-16 2007-11-07 Seereal Technologies Sa Holograms
WO2009053780A2 (en) 2007-10-26 2009-04-30 Zoran (France) Frame buffer compression for video processing devices
CN103067717B (zh) * 2008-06-26 2016-01-20 晨星软件研发(深圳)有限公司 影像处理电路及方法
US8237731B2 (en) * 2008-09-23 2012-08-07 Texas Instruments Incorporated System and method for grouped pixel addressing
TWI387325B (zh) * 2008-10-09 2013-02-21 Silicon Motion Inc 影像擷取裝置與影像前處理方法
WO2010091930A2 (en) 2009-02-12 2010-08-19 Zoran (France) Frame buffer compression for video processing devices
US9129409B2 (en) * 2009-07-29 2015-09-08 Qualcomm Incorporated System and method of compressing video content
US20120014595A1 (en) * 2010-07-16 2012-01-19 Frederiksen Jeffrey E Color Space Conversion for Efficient Filtering
MX2013008755A (es) 2011-01-28 2014-01-31 Eye Io Llc Codificacion de secuencias de video basada en el tipo de escena.
BR112013020069A2 (pt) * 2011-01-28 2016-10-25 Eye Io Llc codificador e métodos para conversão de cor baseada no modelo hvs
US9712847B2 (en) 2011-09-20 2017-07-18 Microsoft Technology Licensing, Llc Low-complexity remote presentation session encoder using subsampling in color conversion space
CN102724472B (zh) * 2012-06-20 2015-07-08 杭州海康威视数字技术股份有限公司 用于图像处理的图像数据格式转换方法及其系统
KR102103730B1 (ko) * 2013-11-19 2020-06-01 삼성디스플레이 주식회사 디스플레이 구동장치 및 이를 포함하는 디스플레이 장치
KR102294830B1 (ko) * 2014-01-03 2021-08-31 삼성전자주식회사 디스플레이 구동 장치 및 이미지 데이터 처리 장치의 동작 방법
KR102135451B1 (ko) * 2014-01-14 2020-07-17 삼성전자주식회사 전자 장치, 디스플레이 장치의 드라이버, 이를 포함하는 통신 장치 및 디스플레이 시스템
KR102137079B1 (ko) 2014-03-03 2020-07-24 삼성디스플레이 주식회사 유기 발광 표시 장치
WO2015194019A1 (ja) * 2014-06-19 2015-12-23 三菱電機株式会社 表示制御装置及び表示制御装置の復元方法
CN105100669A (zh) * 2015-07-03 2015-11-25 百度在线网络技术(北京)有限公司 数字图像转换方法和装置
US10200697B2 (en) 2015-07-09 2019-02-05 Qualcomm Incorporated Display stream compression pixel format extensions using subpixel packing
US10368073B2 (en) * 2015-12-07 2019-07-30 Qualcomm Incorporated Multi-region search range for block prediction mode for display stream compression (DSC)
US10564715B2 (en) 2016-11-14 2020-02-18 Google Llc Dual-path foveated graphics pipeline
US10593248B2 (en) * 2017-02-07 2020-03-17 Samsung Display Co., Ltd. Method and apparatus for a sink device to receive and process sub-sampled pixel data
WO2019109248A1 (en) * 2017-12-05 2019-06-13 Intel Corporation Lossless pixel compression based on inferred control information
US10860399B2 (en) 2018-03-15 2020-12-08 Samsung Display Co., Ltd. Permutation based stress profile compression
GB2575434B (en) * 2018-06-29 2020-07-22 Imagination Tech Ltd Guaranteed data compression
US10861405B2 (en) * 2018-07-09 2020-12-08 Samsung Display Co., Ltd. Color transform for RGBG subpixel format
US10803791B2 (en) 2018-10-31 2020-10-13 Samsung Display Co., Ltd. Burrows-wheeler based stress profile compression
US10853921B2 (en) 2019-02-01 2020-12-01 Samsung Electronics Co., Ltd Method and apparatus for image sharpening using edge-preserving filters
US11308873B2 (en) 2019-05-23 2022-04-19 Samsung Display Co., Ltd. Redundancy assisted noise control for accumulated iterative compression error
TWI707336B (zh) * 2019-08-05 2020-10-11 瑞昱半導體股份有限公司 過驅動補償方法及其裝置
CN112349253A (zh) * 2019-08-09 2021-02-09 瑞昱半导体股份有限公司 过驱动补偿方法及其装置
US11245931B2 (en) 2019-09-11 2022-02-08 Samsung Display Co., Ltd. System and method for RGBG conversion
CN111220836B (zh) * 2019-11-15 2022-02-11 优利德科技(河源)有限公司 一种应用于示波器的画面存储方法及系统
CN112419139A (zh) * 2020-11-20 2021-02-26 深圳市鲲鹏数码科技有限公司 一种ui显示效果处理方法及存储介质
CN113671466B (zh) * 2021-08-10 2024-05-31 南京大学 一种适用于压缩感知的spad阵列

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5453787A (en) * 1993-12-10 1995-09-26 International Business Machines Corporation Variable spatial frequency chrominance encoding in software motion video compression
US5604514A (en) * 1994-01-03 1997-02-18 International Business Machines Corporation Personal computer with combined graphics/image display system having pixel mode frame buffer interpretation
CN1206290A (zh) * 1997-07-03 1999-01-27 三星电子株式会社 高清晰度电视机
US6195391B1 (en) * 1994-05-31 2001-02-27 International Business Machines Corporation Hybrid video compression/decompression system
US6285458B1 (en) * 1996-07-31 2001-09-04 Fuji Xerox Co., Ltd. Image processing apparatus and method
CN1535011A (zh) * 2003-03-27 2004-10-06 乐金电子(沈阳)有限公司 数字电视机的图像信号处理装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE137377T1 (de) 1990-02-06 1996-05-15 Canon Kk Bildverarbeitungsgerät
JPH04323963A (ja) 1991-04-23 1992-11-13 Canon Inc 画像処理方法及び装置
US5818970A (en) 1991-04-26 1998-10-06 Canon Kabushiki Kaisha Image encoding apparatus
US5377018A (en) * 1992-06-22 1994-12-27 Media Vision Video compression and decompression using block selection and subdivision
US5872556A (en) 1993-04-06 1999-02-16 International Business Machines Corp. RAM based YUV-RGB conversion
US5953691A (en) 1996-10-11 1999-09-14 Divicom, Inc. Processing system with graphics data prescaling
US6266100B1 (en) 1998-09-04 2001-07-24 Sportvision, Inc. System for enhancing a video presentation of a live event
US6700588B1 (en) 1998-11-09 2004-03-02 Broadcom Corporation Apparatus and method for blending graphics and video surfaces
JP4683760B2 (ja) * 2000-08-23 2011-05-18 任天堂株式会社 再構成可能なピクセルフォーマットを有する組み込みフレームバッファを有するグラフィックスシステム
AU2002349220A1 (en) 2001-06-12 2002-12-23 Digital Interactive Streams, Inc. System and method for enhancing digital video
US6744919B2 (en) * 2001-07-24 2004-06-01 Hewlett Packard Development Company, L.P. Classification of blocks for compression based on number of distinct colors
EP1355484B1 (en) 2002-04-17 2017-03-01 Canon Kabushiki Kaisha Image compression method and apparatus, and image coding method and apparatus
US8355434B2 (en) * 2005-01-10 2013-01-15 Qualcomm Incorporated Digital video line-by-line dynamic rate adaptation
JP2007108439A (ja) * 2005-10-13 2007-04-26 Renesas Technology Corp 表示駆動回路
JP2009530896A (ja) * 2006-03-17 2009-08-27 エヌエックスピー ビー ヴィ 修飾子電子透かしを用いた圧縮方式、及びこの圧縮方式を用いて画像をフレームメモリに一次記憶する装置
KR101065520B1 (ko) * 2006-12-07 2011-09-19 콸콤 인코포레이티드 라인-기반 비디오 레이트 제어 및 압축
JP4507265B2 (ja) * 2008-06-30 2010-07-21 ルネサスエレクトロニクス株式会社 画像処理回路、及びそれを搭載する表示パネルドライバ並びに表示装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5453787A (en) * 1993-12-10 1995-09-26 International Business Machines Corporation Variable spatial frequency chrominance encoding in software motion video compression
US5604514A (en) * 1994-01-03 1997-02-18 International Business Machines Corporation Personal computer with combined graphics/image display system having pixel mode frame buffer interpretation
US6195391B1 (en) * 1994-05-31 2001-02-27 International Business Machines Corporation Hybrid video compression/decompression system
US6285458B1 (en) * 1996-07-31 2001-09-04 Fuji Xerox Co., Ltd. Image processing apparatus and method
CN1206290A (zh) * 1997-07-03 1999-01-27 三星电子株式会社 高清晰度电视机
CN1535011A (zh) * 2003-03-27 2004-10-06 乐金电子(沈阳)有限公司 数字电视机的图像信号处理装置

Also Published As

Publication number Publication date
EP1856912A2 (en) 2007-11-21
WO2006090334A2 (en) 2006-08-31
WO2006090334A3 (en) 2007-04-05
US20090052772A1 (en) 2009-02-26
JP2008532083A (ja) 2008-08-14
US8285037B2 (en) 2012-10-09
CN101142821A (zh) 2008-03-12

Similar Documents

Publication Publication Date Title
CN101142821B (zh) 新压缩格式和用其在帧存储器中暂存图像数据的设备
EP1947861B1 (en) Methods for effectively compressing and/or restoring binary images
RU2504107C2 (ru) Сжатие видеоданных без видимых потерь
US20130021350A1 (en) Apparatus and method for decoding using coefficient compression
US20070053429A1 (en) Color video codec method and system
US20130251257A1 (en) Image encoding device and image encoding method
CN101653004A (zh) 从编码比特流选择性地解码预定数据单元的解码器
Sindhu et al. Images and its compression techniques-A Review
US20140010445A1 (en) System And Method For Image Compression
EP1324618A2 (en) Encoding method and arrangement
CN101951524B (zh) 彩色数字图像的jpeg压缩方法和装置
CN108881915B (zh) 基于dsc编码技术视频播放的装置和方法
KR20050113500A (ko) 그래픽 데이터 압축 및 복원 장치와 그 방법
CN107845358B (zh) 显示器驱动设备和显示器驱动方法
KR20200065780A (ko) 프레임 버퍼 컴프레서 및 이를 포함하는 이미지 처리 장치
CN101406034B (zh) 使用限定符水印的压缩方案及使用该压缩方案在帧存储器中临时存储图像数据的装置
US11044466B2 (en) Image processing device
KR100518849B1 (ko) 영상 압축 및 복원 방법
KR20020026189A (ko) 고정된 비율 압축을 이용하는 효율적인 비디오 데이터엑세스
EP2383700A1 (en) System and method for image compression
US20050129110A1 (en) Coding and decoding method and device
KR102543449B1 (ko) 이미지 처리 장치 및 이미지 처리 장치의 동작 방법
KR20100013142A (ko) 프레임 메모리 압축방법
US20110243437A1 (en) System and method for image compression
KR102568633B1 (ko) 이미지 처리 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110615

Termination date: 20130222