CN101406034B - 使用限定符水印的压缩方案及使用该压缩方案在帧存储器中临时存储图像数据的装置 - Google Patents

Abstract

显示驱动器(10)具有用于临时存储代表颜色图像的图像数据的帧存储器(13)、以及用于向显示驱动器(10)馈送图像数据的数据总线(11.1)。显示驱动器(10)包括：用于执行判决过程的装置(8，9)，判决过程基于对图像数据的像素簇的颜色特征的分析，用于执行判决过程的装置(8，9)允许所述显示驱动器(10)来判决将第一压缩格式还是将第二压缩格式应用于像素簇的压缩。显示驱动器(10)还包括第一压缩装置(7)，用于将像素簇压缩成所述第一压缩格式，以及第二压缩装置(6)，用于将像素簇压缩成所述第二压缩格式。基于判决过程的结果来选择第一压缩格式或第二压缩格式，在压缩之后将压缩的像素簇存储在帧存储器(13)的可用存储区中，并存储压缩格式码来表示哪一种压缩格式用于哪一个像素簇。压缩格式码作为水印被嵌入压缩的像素簇中。

Description

使用限定符水印的压缩方案及使用该压缩方案在帧存储器中临时存储图像数据的装置

技术领域

本发明涉及新颖的压缩方案，具体涉及在具有用于临时存储代表颜色图像的图像数据的帧存储器的显示驱动器中实现该新颖的压缩方案。

背景技术

有许多执行图像压缩的应用。在图像压缩中，多种压缩方法是可用的。压缩算法使用自然场景的特性，以使引入的质量下降对人类观看者来说是可接受的。针对自然图像(相邻像素之间颜色波动有限的图像)提供满意结果的方法在非自然图像(例如，数据图形，文本)上的执行效果很差，反之亦然。

通常，首先将自然图像转换至YUV域，使用亮度和两个色度(颜色)分量，来压缩自然图像。这样格式的示例被称作YUV4:4:4。典型地，由于眼睛对短距离上的颜色变化几乎不敏感，两个相邻像素之间可以共享色度分量。该格式被称作YUV4:2:2，并以33％减少了所需存储区或总线带宽，而所察觉的自然图像的图像质量仅有较小的下降。当4个相邻像素共享色度分量(例如，YUV4:2:0)时，可以减少50％。YUV4:2:2和YUV4:2:0压缩的问题是对于非自然图像类型(例如，数据图形，文本)，引入了很容易可见的附加伪像。这是由于非自然图像的带宽不是有限的(不能应用奈奎斯特采样理论)，并且在相邻像素之间会发生颜色上的剧烈变化，导致压缩之后的可见的错误颜色。

针对图像存储，有许多压缩的方法，典型地分成如下三类：

(1)无损压缩(例如，GIF、TIFF、RLE)：这种格式的问题是不提供固定的压缩因子。这样的格式不能用于要存储在显示驱动器的帧存储器中的图像的压缩，因为需要增大帧存储器的大小以使其能够存储所有可能的图像。

(2)有损压缩(例如，JPG、MPEG)：这些方法典型地使用颜色空间转换(YUV域)，然后在去除一些信息并对结果进行有损压缩之前进行图像的频率(DCT)转换。该技术在转换期间需要大量处理并也需要缓冲存储器。由于添加至显示驱动器的硬件的数量例如必须最少，所以对于在帧存储器中的压缩，这个方法是不可用的。

(3)有限压缩比(例如，YUV)：图像通常以YUV格式存储，允许对亮度和色度信息分别进行单独处理。模拟电视传输标准也使用YUV域，其中用于亮度传输的带宽显著地高于用于色度通道的带宽。尽管对于非自然图像引入了大量的伪像，但是对于减少帧存储器存储，该相同的方法是可用的。

存在智能压缩方法的多种示例，其中为了避免伪像等而设计压缩算法。

如果期望在使用已知的智能压缩方法同时获得高质量的颜色图像，则不能实现保证压缩。

在许多应用中存储器是宝贵的资源。特别是在移动应用中，通常对可用的存储器的大小有特定约束。当今许多移动设备配备有显示器。这样的显示器的显示驱动器中所需的帧存储器的数量显著地增加了整个设备的成本。

因此，一般期望提供一种在显示驱动器的帧存储器中使用的压缩方案，能够处理各种类型的图像。此外，该压缩方案应该允许减小帧存储器的大小。然而，如果能够独立于图像类型而确保特定最小压缩比(保证压缩比)，才能够实现这个方案。

目前转让给本申请的受让人的欧洲专利申请No.05101512.1提出了一种非常适合的压缩方案。如该待审专利申请中示出的，利用基于YUV4:2:2的颜色压缩技术，图像所需的存储容量可以在理论上最大被减少67％。利用YUV4:2:2滤波，两个相邻像素(像素对)共享同一颜色。对于自然图像，不会出现可见的伪像，但是典型地，移动显示驱动器必须处理产生伪像的数据图形图像。由于在这样的情况中不允许对数据图形中急剧变化的颜色边缘进行滤波，所以应用后退场景(fallback scenario)，将这些边缘编码成所谓的量化像素。然而，由于解压缩逻辑必须能够区分基于YUV4:2:2的压缩和量化压缩，因此这个方法需要引入限定符(qualifier)信号。

如果图像数据被直接地以YUV格式存储，则会出现比特位分辨率的问题。在将图像数据存储在帧存储器中之前对其进行编码时所应用的YUV矩阵操作引起对RGB像素矢量的旋转和缩放，从而将RGB像素矢量在正交YUV系统中表示。因此，为了表示YUV分量需要附加的存储器比特位，从而压缩因子将再次降低。因此，上述待审专利申请提出一种被称作RGBG的备选存储格式。这个存储格式不需要这些附加的存储器比特位。使用RGBG格式，如果将限定符隐藏在图像数据之中，则可以实现67％的理论压缩格式。

发明内容

因此，本发明的目的是提供一种允许进一步减小帧存储器的大小的压缩方案。

本发明的另一目的是提供一种允许显示驱动器的帧存储器中低成本实现的压缩方案。

本发明的另一目的是改进传统的显示驱动器。

这里描述的和要求的本发明减少了或消除了如上描述的已知系统的这些缺点。

根据本发明，使用两种压缩格式来压缩图像。在图像被压缩和存储之前，对这里称作像素簇的至少两个相邻像素的颜色特征进行分析。分析的结果是为了针对相应的像素簇选择较好的压缩方法，并使用较好的压缩方法对相应的像素簇的数据进行压缩。因此，需要所谓的限定符(压缩格式码)来表示哪一个压缩方法已经用于压缩像素簇的图像数据。当从帧存储器读取像素数据以在显示板上呈现颜色图像时，解压缩过程需要该压缩格式码。将限定符作为水印嵌入压缩的和存储的数据中，以使其在解压缩之后不会导致引人注意的图像伪像。

通过智能地选择何时以YUV4:2:2格式存储图像中的像素簇，以及何时以量化RGB格式存储图像中的像素簇，并且通过作为水印来存储相应的限定符，和已知的方法相比，本发明允许进一步减小帧存储器的大小。通过考虑两种压缩方案中每一种的相应的误差，根据本发明进行选择。优选地，将压缩结果和原始输入进行比较，并选择最接近原始输入的结果以进行存储。

描述的和要求的方法将不会对非自然图像引入可见的伪像。

该创造性压缩方法具有以令人满意的方式来处理不同的图像类型的优点。

根据本发明的压缩方案可以用于在将图像数据传输至显示驱动器的帧存储器时对图像数据进行运行中(on-the-fly)压缩。

根据本发明，当从帧存储器中读取压缩的图像数据时，在经由诸如帧速率转换器和数模转换器等一些附加电路向显示板传送“重建”图像数据之前，采用逆操作(运行中解压缩)。

本发明允许一并存储限定符，即，压缩数据内部存储，而不会有显著的处理、功率或成本影响。

本发明的另一优点是，不需要大量处理。因此，本发明可以在例如移动设备中实现。

本发明的附加的特征和优点将在下面的描述中提出，并部分地从描述中将变得显而易见。

附图说明

结合附图，参照下列描述，更加完整的描述本发明及其进一步的目的和优点，其中：

图1示出了根据本发明第一个实施例的示意性框图，其中RGB数据在存储在帧存储器之前被编码并在从所述存储器获取之后被解码。

图2示出了用于说明水印化的压缩格式码如何被嵌入经量化和滤波的分组中的示意图。

图3示出了没有水印化的比较情况的示意图。

具体实施方式

在描述本发明的具体实施例之前，给出关于传统转换和压缩方案的一些基本信息。

例如由显示驱动器处理的颜色图像通常以RGB格式呈现。对于该格式，颜色图像的像素包括红(R)、绿(G)和蓝(B)分量。

YUV格式表示在亮度(Y)和色度(U，V)分量方面的像素属性。亮度是指图像数据中的黑和白信息，以及色度是指图像数据中的颜色信息。YUV颜色空间差异在现在能够分离地处理亮度和色度属性之间进行了区分。

在图1中示出了本发明的第一实施例。这个实施例基于上述待审专利申请中公开的发明。该待审申请中与本发明相关的细节，特别是关于压缩处理的算法和方程，通过引用相应地合并入本文中。

例如，图1的电路10可以是例如显示驱动器的一部分，并包括用于临时存储代表颜色图像的图像数据的帧存储器13(例如，RAM)。例如，在本实施例中，RAM13可以具有12bpp内部格式。其它的内部格式也是可能的。请注意，由于本发明使用水印化方法，因此只需要12bpp。如将在后面描述的，不使用水印化方法则必需13bpp。

提供数据总线11.1，以经由接口块11(I/F)和编码块12向帧存储器13馈送RGB格式的图像数据。在本示例中接口块11是RGB666接口。例如18bppRGB格式的图像数据可以经由接口块11进入编码块12。根据本发明，存在用于执行判决处理的装置。在本实施例中，这些装置包括装置8和9。

判决过程基于对经由总线11.1接收的图像数据的像素簇(即，像素对)的颜色特征的分析。用于执行判决过程的装置8和9允许电路10来判决是第一压缩格式(颜色压缩)还第二压缩格式(RGB量化)要被应用于像素簇的压缩。在本实施例中，编码块12包括将像素簇压缩成第一压缩(颜色压缩的)格式的第一压缩装置7。这个格式在这里被称作RGBG格式。编码块12还包括将像素簇压缩成第二(RGB量化)格式的第二压缩装置6。这个格式在这里被称作QRGB格式。基于判决过程的结果来选择第一压缩格式或第二压缩格式。

换言之，第一压缩装置7采集两个相邻像素(原始输入R₀G₀B₀和R₁G₁B₁)，将它们转换至YUV，对U和V分量进行平均，以及将它们转换回至平均RGBG表示(该结果在图1中被称作RGB666)。如果在输入总线11.1处的RGB格式的字具有18比特的两个像素，则相应的RGBG表示具有24比特(保持两个压缩的像素)，其代表原始的两个像素并将其表示成关于输入像素的12比特。因此，初始的18bpp表示已经被变换(压缩)成12bpp表示(压缩因子为18/12＝1.5)

如上所述，与此同时，第二压缩装置6处理相同的两个相邻像素(原始的输入R₀G₀B₀和R₁G₁B₁)以执行颜色量化。如果在输入总线处的RGB格式的字具有18比特的两个像素，则相应的表示具有12比特(保持两个水印化的压缩像素)。在图1中，第二压缩装置6的输出RGB343具有10+2比特。

注意第一压缩装置7永远不会将LSB0/1设置成“00”。然而，第二压缩装置6始终将LSB0/1设置成“00”。这在图1中示意性地示出。

编码器12从接口11获取像素对或像素簇，并利用所述的两个不同地压缩算法或方案。在本示例中，第一压缩装置7应用第一压缩算法(颜色压缩)并产生4个子像素G₀ R₀G₁B₁。在图1中通过表达式2·RGB666＝＞RGB6666表示这个过程。这4个子像素G₀R₀G₁B₁代表像素对R₀G₀B₀和R₁G₁B₁的RGB域中的经YUV4:2:2滤波的结果。在本示例中，第二压缩装置6应用第二压缩算法(RGB量化)。该算法从像素R₀G₀B₀和R₁G₁B₁中去除一些LSB(最低有效位)。

接着，通过判决块19将原始输入R₀G₀B₀和R₁G₁B₁与并行进行的两个压缩的结果相比较。为了这个目的，经由总线11.2将原始输入R₀G₀B₀和R₁G₁B₁馈送给判决块9。根据本发明，选择最接近原始输入的结果以存储在存储器13中。判决块19相应地控制开关装置8。这个过程也确定限定符(压缩格式码)的值。压缩的数据(经量化/滤波的)包含嵌入码，从而解码器能够识别分组压缩格式。本实施例中，这个值是量化的(在这种情况下，执行像素对R₀G₀B₀和R₁G₁B₁的RGB量化)或滤波的(在这种情况下，执行像素对R₀G₀B₀和R₁G₁B₁的颜色压缩)。滤波结果包含属于水平偶像素位置的两个子像素(R₀和G₀)，还有属于水平奇像素位置的两个子像素(R₁和G₁)。由子块7.1提供偶像素位置的两个子像素(R₀和G₀)，并由子块7.2提供奇像素位置的两个子像素(R₁和G₁)。当经滤波的子像素存储在存储器13中时，要使用的分组取决于存储器13中的水平像素位置。如图1中示出的，作为开关装置8的一部分的开关S1由被称作“奇/偶像素位置”的信号控制。开关装置8还包括由判决块9控制以选择适当压缩的数据的开关S2。

如图1中示出的，电路10还包括解码器块14。解码器块14具有两个解码器单元15和16。单元15处理从存储器13获取的数据，以重建原始像素对R₀G₀B₀和R₁G₁B₁。在图1中，通过表达式RGB6666＝＞2·RGB666表示这个过程。即，单元15执行单元7.1和7.2的逆操作。位置控制信号(由存储器“读”过程驱动)驱动单元15中的相应开关。单元16被并行设置并对量化的像素进行解码，以获得几乎与原始的像素对相同的像素对R’₀G’₀B’₀和R’₁G’₁B’₁。在图1中通过表达式RGB343＝＞2·RGB666’表示这个过程。

构件块14是解码器块14的一部分(或与解码器块14连接)，被设计用于控制开关装置18。构件块17检查从存储器13获取的数据的LSB。如果该比特位是“00”(逻辑零)，那么选择单元16的输出，否则选择单元15的输出。

如图1中示出的，经由线路8.1向编码器端的开关装置8和解码器端的单元15施加位置控制信号(由存储器“写”过程驱动)。图1没有示出用于控制对存储器13的写和读的过程。写过程知道其正在写入的奇/偶位置，并向块8的控制开关S1发送该信息，从而在输出8.2处传送GR或GB分组。由于存储器13经由线路8.3接收上述位置控制信号(由存储器“读”过程驱动)，所以读过程(几乎独立于“写”过程)也知道其正在从存储器13中读取的奇/偶位置。经由线路8.3向解码器15发送奇/偶信息，从而GR或GB分组可被解码。

根据图2和3描述本发明的其他方面。图2示出了利用本发明方案，无论RGB输入数据是否被滤波还是被量化，都只需要每个像素12比特。即，在滤波的情况下，针对其原始接口比特深度(2×6比特)的两个子像素，在存储器13中必须有足够的空间。图2中的上面两行示出了分别在块7.1或7.2的输出端提供的结果。图2中的最下面一行示出了量化的结果，其中输入乘以2·RGB666变换成RGB343，并且最后两个比特位(LSB0/1)被强制置为“00”。该图示出了在滤波的情况下，没有为限定符(压缩格式码)保留或占有比特位。然而，使用的量化方法允许将两个最低有效位设置成“00”。在本示例中，压缩比是66.7％。仅需要12bpp存储器13。

如图3中示出的，没有水印化时，必须将限定符(压缩格式码)添加至经滤波的分组和经量化的分组。即，为限定符(例如，“0”＝量化的，“1”＝滤波的)独占地保留一个比特位。在滤波的情况下，针对其原始的接口比特深度(2×6比特)的两个子像素，在存储器13中必须有足够的空间，而在量化的情况下，相同的空间将被量化的子像素(3×4比特)占用。在这种情况中，压缩比是72.2％。这意味着不采用本发明则需要13bpp的存储器13。

根据本发明的另一实施例，可以实现水印化方案，从而编码器12(相应地，第二压缩装置6)通过有条件的修改红(R)或蓝(B)子像素值，来对限定符进行水印化。在这种情况下，通过将bit₀强制置为“1”，排除bit₀＝bit₁＝0的值。这使较高质量滤波的像素的失真最小。注意，由于在统计概率上有25％的可能性这两个比特位都是零，所以红和蓝子像素的有用编码减少25％(2⁶＝64-＞0.75×64＝48级)。对于量化的分组，相同的比特位必须设置成零。之后，通过检查水印比特位，可以区分量化的分组与滤波的分组。两个比特位都是零时，检测到量化的分组，否则检测到滤波的分组。如图1的实施例的情况下，这里量化的分组的两个水印比特位对比特分辨率没有贡献，这意味着仅12-2比特是可用的。由于考虑到绿色(其携带亮度信息的60％)比红色或蓝色更重要，因此例如这些比特可以被分配为RGB343。这个实施例的优点是对于其实施，仅需要“或非”门来如下产生bit₀：bit₀＝bit₀NORbit₁。

根据本发明的另一实施例，使用两个以上的压缩方案。使用两个压缩算法的上述实施例可以被扩展至两个以上的算法。如上述实施例中，使用判决过程来选择最佳的结果。从这种意义上来讲，本发明方案是可升级的。

通过比较使用传统压缩方案和具有用于嵌入限定符的水印化的本方案获得的图像，可以看出对于观看者而言水印化的限定符被很好地隐藏了。这意味着可以节省存储器13的1/13＝7.7％，而不会牺牲图像质量。

这里提出的方案具有的优点在于其对于诸如RGB/YUV电影、静止图像、经缩放的素材、数据图形菜单等多种不同的图像类型都可应用。

已经说明了这里提出的水印化方法可以用于提高对存储器存储的节省并为例如移动显示驱动器等降低总成本。

这里提出的发明可由具有嵌入式帧存储器的显示驱动器采用，以在相同大小的存储器中存储和显示更多的颜色，减小存储器的大小并从而降低成本，同时保持颜色分辨率，或为其它的处理目的(例如，覆盖(overlay)/过驱动(overdrive))保留存储器比特位。

这里提出的本发明的优点是实施水印化所需的硬件是非常有限的。这特别是移动应用是重要的，但也同样可以使用在其它区域。

应该理解，为了清楚起见，在分离的实施例的情况下描述的本发明的各个特征同样可以组合设置在单个实施例中。相反地，为了简洁起见，同样可以分别或在任何适当的子组合中设置在单个实施例的情况下描述的本发明的各种特征。

在附图和说明书中已经提出了的本发明的优选实施例，尽管使用了特定的术语，但是由此给出的描述所使用术语仅是通用和描述性质的，而并不用于限制目的。

Claims (16)

1.一种显示驱动器(10)，具有用于临时存储代表颜色图像的图像数据的帧存储器(13)、以及用于向所述显示驱动器(10)馈送图像数据的数据总线(11.1)，其特征在于，所述显示驱动器(10)包括：

-用于执行判决过程的装置(8，9)，所述判决过程基于对所述图像数据的像素簇的颜色特征的分析，所述用于执行判决过程的装置(8，9)允许所述显示驱动器(10)来判决将第一压缩格式还是将第二压缩格式应用于所述像素簇的压缩，

-第一压缩装置(7)，用于将所述像素簇压缩成所述第一压缩格式，

-第二压缩装置(6)，用于将所述像素簇压缩成所述第二压缩格式：

其中，基于所述判决过程，选择最接近原始输入的结果来选择所述第一压缩格式或所述第二压缩格式，在压缩之后将压缩的像素簇存储在所述帧存储器(13)的可用的存储区中，并存储压缩格式码来表示哪一种压缩格式用于哪一个像素簇，所述压缩格式码作为水印被嵌入压缩的像素簇中；

其中，所述第一压缩格式是RGBG颜色压缩格式，以及所述第二压缩格式是RGB量化格式。

2.根据权利要求1所述的显示驱动器(10)，其中，所述第二压缩装置(6)始终将最低有效位0/1设置为“00”，所述最低有效位用作RGB量化(QRGB)压缩的像素簇的压缩格式码。

3.根据权利要求1所述的显示驱动器(10)，其中，所述第二压缩装置(6)始终将最低有效位0/1设置为″00″，所述最低有效位用作嵌入的压缩格式码。

4.根据权利要求1到3之一所述的显示驱动器(10)，包括：输入(8.1)，用于接收要选择属于水平偶像素位置的子像素(Ro和Go)和属于水平奇像素位置的子像素(G₁和B₁)的位置控制信号。

5.根据权利要求4所述的显示驱动器(10)，还包括由所述位置控制信号可控制的第一开关(S1)。

6.根据权利要求4所述的显示驱动器(10)，还包括由所述用于执行判决过程的装置(8，9)的输出信号可控制的第二开关(S2)。

7.根据权利要求2或3所述的显示驱动器(10)，还包括：构件块(17)，用于检查从帧存储器(13)获取的数据的最低有效位0/1。

8.根据权利要求7所述的显示驱动器，包括：

-第一解压缩装置(15)，用于将使用所述第一压缩格式压缩的那些像素簇解压缩成基于RGB格式的像素簇，

-第二解压缩装置(16)，用于将使用所述第二压缩格式压缩的那些像素簇解压缩成基于RGB格式的像素簇，

其中，所述第一解压缩装置(15)和所述第二解压缩装置(16)考虑到所述嵌入的压缩格式码。

9.根据权利要求8所述的显示驱动器(10)，其中，如果最低有效位0/1是“00”，则所述构件块(17)选择所述第二解压缩装置(16)的数据输出，如果最低有效位0/1不是“00”，则所述构件块(17)选择所述第一解压缩装置(15)的数据输出。

10.根据权利要求1-3，5-6和8-9之一所述的显示驱动器(10)，其中，帧存储器(13)是嵌入式帧存储器。

11.一种RGB格式的图像数据的颜色压缩和解压缩的方法，包括以下步骤：

-采集n个相邻输入像素，

-执行所述n个相邻输入像素的颜色压缩，以产生所述n个相邻输入像素的颜色压缩表示，

-同时执行所述n个相邻输入像素的量化压缩，以产生所述n个相邻输入像素的量化表示，

-将量化表示和颜色压缩表示与所述n个相邻输入像素相比较，以确定是颜色压缩还是量化压缩引起的误差更小，

-如果颜色压缩的误差小于量化压缩的误差，则在帧存储器(13)中存储颜色压缩表示，如果量化压缩的误差小于颜色压缩的误差，则在帧存储器(13)中存储量化压缩表示，

-将所述量化表示存储在所述帧存储器(13)中之前，将水印化的压缩格式码嵌入所述量化表示中。

12.根据权利要求11所述的方法，其中，通过将最低有效位0/1设置为“00”来进行所述水印化的嵌入，所述最低有效位用作RGB量化(QRGB)压缩的像素簇的压缩格式码。

13.根据权利要求11所述的方法，其中，通过始终将最低有效位0/1设置为“00”来进行水印化的嵌入，所述最低有效位用作嵌入的压缩格式码。

14.根据权利要求11-13之一所述的方法，包括步骤：经由输入(8.1)接收控制信号以选择属于水平偶像素位置的子像素(Ro和Go)和属于水平奇像素位置的子像素(G₁和B₁)。

15.根据权利要求11-13之一所述的方法，包括步骤：

-从帧存储器(13)获取数据，以及

-检查从帧存储器(13)获取的数据的最低有效位0/1以确定适当的解码方案。

16.根据权利要求11-13之一所述的方法，所述方法在显示驱动器(10)的前端实现。

Images