CN101002477A

CN101002477A - 用于压缩混合的图形和视频源的系统和方法

Info

Publication number: CN101002477A
Application number: CNA200580027201XA
Authority: CN
Inventors: X·胡; L·博罗茨基
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2004-08-13
Filing date: 2005-08-10
Publication date: 2007-07-18
Also published as: KR20070046852A; US20070248270A1; JP2008510349A; EP1787477A1; WO2006018798A1

Abstract

一种用于压缩混合的图形和视频信号的系统和方法。提供一种系统，该系统包括用于压缩混合的图形和视频像素块(56)的编码器(14)和用于解码通过嵌入式通信信道从编码器接收的压缩像素块的解码器(18)，该编码器(14)包括：分类系统(22)，用于将每个输入的像素块分类为多个独特类型的块之一；多个编码器子系统(32，34，36，38)，其中该编码器子系统中的每个均被配置为压缩一种独特类型的块；以及比率控制系统(54)，用于为压缩块的流达到目标压缩比，其中该解码器包括多个解码器子系统(62，64，66，68)，每个均被配置为解压缩一种独特类型的压缩块。

Description

用于压缩混合的图形和视频源的系统和方法

本发明一般而言涉及用于处理混合的图形和视频序列的系统，更具体而言，涉及一种用于压缩混合的图形和视频数据的混合编码和解码的系统和方法。

当前的电子产品使用越来越先进的数字信号和图像处理技术，这些技术对于存储容量和系统单元之间的通信带宽的要求可能非常苛刻。实际上，常常需要减少存储容量以满足实施成本的要求，或者减少通信带宽以满足系统的要求。因此，必须利用诸如压缩之类的信号处理技术来应付这些挑战。

例如，在必须例如在驱动器电子设备和诸如飞利浦的LCoS投影显示器中使用的显示板之类的显示板之间传送数据的复杂嵌入式应用中，由于象R，G，B色空间、高显示分辨率、所需的180Hz显示帧速率等特征，所以必须传送的处理数据量是巨大的。这些以及其它特征已经导致了存储带宽和传输带宽的“瓶颈”。

处理混合信号例如视频和图形信号的系统使得这样的挑战更加严峻。混合信号的处理可能是一个复杂的问题，因为来源具有变化的信号统计特性。由于它们的不同特性，所以需要区别图形数据和视频数据以便施加不同的视频处理。例如，标准视频压缩技术常常在锐边情况下引入“模糊”和“波纹”伪像。这些伪像频繁地出现，并且在图形中更加令人烦恼。因此，最好是将某些类型的压缩施加于一种类型的信号，例如视频，而不施加于其它类型的信号，例如图形。

而且，在必须例如在驱动器电子设备和诸如飞利浦的LCoS投影显示器中使用的显示板之类的显示板之间传送数据的复杂嵌入式应用中，由于象R，G，B色空间、高显示分辨率、所需的180Hz显示帧速率等特征，所以必须传送的处理数据量是巨大的。这些以及其它特征已经导致了存储带宽和传输带宽的“瓶颈”。

已经提出了各种压缩解决方案，包括Lam等人的MemoryReduction for HDTV Decoders，IBM J.Res.Develop.，Vol.43，No.4，该文献提出了一种用于在HD MPEG-2解码器上减少存储容量的基于有损哈达玛(Hadamard)变换的压缩系统。该压缩系统与基于其它变换的压缩系统相比具有较低的计算复杂性。然而，它仅仅适用于纯视频源，并且其性能在视频帧的某些区域(例如平坦(flat)区域)中是不足的。类似地，Lee等人的A Low Complexity Frame MemoryCompression Algorithm and its Implementation for MPEG-2 VideoDecoder提出了一种混合压缩系统，但是它仅适用于纯视频压缩。

因此，存在对于一种有效地压缩混合的视频和图形信号的系统和方法的需要。

本发明通过提供一种用于压缩混合的图形和视频数据的混合编码和解码的系统与方法来解决上述以及其它问题。该系统自适应地组合有损和无损压缩技术以实现对多种源视觉上的无损压缩，例如纯视频信号、纯图形信号、以及混合的视频与图形信号。它基于分类信息来自适应地逐块改变压缩方法。该计算复杂性非常低，从而在实现高的图像质量的同时允许实时执行。

利用本发明，可以实现2∶1的压缩比而没有视觉上可察觉的伪像，并且可以仅用存储器的一行来实现必要的计算。本发明可以处理纯图形、纯视频和混合的视频和图形源，而无须预先知道源类型。该系统还可以进行扩展以在显示系统中减少存储容量，由此实现进一步的成本降低。

在第一方面，本发明提供一种用于压缩混合的图形和视频信号的编码器，该编码器包括：分类系统，用于将输入的像素数据块分类为多个独特(unique)类型的块之一；多个编码器子系统，其中该编码器子系统中的每个均被配置为压缩一种独特类型的块；以及比率控制系统，用于为压缩块的流达到目标压缩比。

在第二方面，本发明提供一种用于处理混合的图形和视频信号的视频处理系统，该视频处理系统包括用于压缩混合的图形和视频像素块的编码器以及用于解码通过嵌入式通信信道从编码器接收的压缩像素块的解码器，该编码器包括：分类系统，用于将每个输入的像素块分类为多个独特类型的块之一；多个编码器子系统，其中该编码器子系统中的每个均被配置为压缩一种独特类型的块；以及比率控制系统，用于为压缩块的流达到目标压缩比，其中该解码器包括多个解码器子系统，每个均被配置为解压缩一种独特类型的压缩块。

在第三方面，本发明提供一种用于压缩混合的图形和视频信号的方法，该方法包括：将输入像素块分类为从多个预定块类型中选择的独特块类型；用多个编码器子系统中所选择的一个编码器子系统对输入块进行编码，其中所选的编码器子系统取决于块类型，以及其中所述编码器子系统中的每个均被配置为压缩一种独特的块类型；并且使用比率控制策略，以用于为压缩块的流达到目标压缩比。

结合附图，通过下面对本发明各个方面的详细描述，本发明的这些和其它特征将更容易理解，其中：

图1描绘了根据本发明实施例的视频处理系统。

图2描绘了根据本发明实施例的编码器。

图3描绘了根据本发明实施例的解码器。

图4描绘了哈达玛矩阵。

图5描绘了根据本发明的具有报头信息的压缩位流的包配置。

图6描绘了根据本发明的用于生成报头信息的实施例的流程图。

现在参考图1，示出了一个说明性的视频处理系统10，它包括用于在显示驱动器电子设备12(“驱动器”)和显示器16之间传输数据的一个嵌入式传输信道15，其需要高的数据速率。在驱动器12和显示器16内部是编码器14和解码器18，分别用于压缩和解压缩所传输的数据。应当注意，尽管在嵌入式视频应用中压缩数据的范围内对本发明进行了描述，但是本发明还可以应用于处理混合的图形和视频信号的任何系统。

如下文中进一步详细描述的，编码器14使用自适应的混合编码方案，而解码器16执行逆过程。在一个说明性实施例中，编码器14对从输入信号的每行获得的一维(1D)1×8块分段进行操作。编码器14检测到这些块，并将它们区分为纯图形、锐转变、平坦区域和正常视频块。基于该分类，编码器14将根据块类型来使用四种不同编码路径中的一种。

图2更详细地描绘了编码器14。例如包括RGB像素数据的1×8块的混合信号输入块56最初由分类系统22进行处理，该分类系统22将该块分类为纯图形块24、平坦区域块26、锐转变块28、或正常视频块30。可以使用任何一种对块进行分类的技术。例如，参见2004年8月13日提交的、顺序号为60/601,446的、标题为“ADAPTIVECLASSIFICATION SYSTEM AND METHOD FOR MIXED GRAPHICAND VIDEO SEQUENCES”的同时待审的专利申请，其由此被结合以作参考。

编码器14包括四个编码器子系统32、34、36和38。根据由分类系统22选择哪个分类，使用编码器子系统之一对块56进行编码。因此，如果一个块被分类为纯图形块，则使用子系统32；如果该块被分类为平坦区域块26，则使用子系统34；如果该块被分类为锐转变块，则使用子系统36；以及如果该块被分类为正常视频块，则使用子系统38。

为了使用各种编码器子系统来实现特定的压缩(例如2∶1的缩减)，使用比率控制系统54来以预定的位速率生成输出流58。以下提供比率控制系统54的细节。

第一编码器子系统32包括用于对纯图形块进行编码的纯图形编码器40。纯图形编码器40可以被如下实施。如果该块是二值的，即所有像素值是背景值或文本值，那么纯图形编码器40将发送一个表示该块的24位的值。所编码的值将包括一个八位的背景值(即最小值)、一个八位的文本值(即最大值)、以及一个八位的符号。该八位的符号表明是文本值还是背景值占据块内的各个单独像素的位置，例如“1”表示文本，而“0”表示背景。如果块内所有像素都具有相同值，那么可以仅使用八位来发送像素值。

例如，为了对像素值为[10 10 10 255 255 255 10 10]的二值纯图形块进行编码，则背景＝10＝00001010B(其中B是指二进制值)，而文本值＝255＝11111111B。符号值＝00011100，从而24位的编码块＝000010101111111100011100。

第二编码器子系统34包括线性预测器42和Golumb-Rice编码系统44。在这种情况下，将像素的1×8块馈入线性预测器中以生成预测误差。然后，该预测误差通过Golomb-Rice编码系统44。除了第一个以外，各个像素的预测直接来自前一个像素值。对于块中的第一个像素，如果前一个块不是“平坦区域”块，则将其自身值用作预测误差；否则将前一个块中的最后一个像素值用作其预测值。

Golomb-Rice编码系统44使用可变长度编码方案，其中如果大多数数字是小的，那么可以实现良好的压缩。Golomb-Rice编码利用参数m进行工作，其中m＝2^k，以及k是LSB(最低有效位)中的位数目。以下示出了对数字x进行编码的过程：

1.令MSB(最高有效位)q＝x/m(如果有的话，小数部分被下舍入)，输出q个二进制“零”。

2.输出一个二进制“一”以表示MSB编码的结束。

3.附加k位的LSB。

4.添加1位以用于符号(正值为0，负值为1)。

例如，为了编码x＝16＝10000B，k＝4，则MSB：x/m＝16/(2^4)＝1(注意，如果例如x＝15且m＝2，则MSB＝floor(15/2)＝7)，以及LSB＝“0000”。Golomb-Rice编码如下：MSB编码(“0”)+指示符(“1”)+LSB(“0000”)+符号(“0”)＝0100000。

通常，较低值的k将使较小的数字更短，并且使较大的数字更长，而较大值的k将使大数字相对较短，同时增加了对所有较小值的开销并使它们更长。在编码器14中，平坦区域块26中的预测误差很小，因此k可以例如被设置为等于“一”以实现令人满意的压缩。

第三编码器子系统36利用哈达玛变换46和固定均匀量化器48对锐转变块28进行操作。哈达玛变换46具有高能压缩；并且基向量的元素仅采用+1和-1的二进制值。因此，它们很好地适于其中需要计算简单的嵌入式压缩算法。如图4所示来定义8×8哈达玛变换矩阵。该变换通过执行输入1×8矩阵与哈达玛矩阵的矩阵乘法来实现，从而得到1×8的哈达玛系数块。

在该说明性实施例中，使用8×8哈达玛矩阵来将1×8像素块变换为八个哈达玛系数。均匀量化器48可以包括基于位分配理论的传统设计，以达到目标压缩比并满足图像质量。然而，在“锐转变”块中，锐转变边沿导致谱块中的能量扩散，并且传统量化器设计可能因此不能实现良好的图像质量。因此，可以牺牲编码效率以降低这样的图像质量降级。在所提出的算法中，在哈达玛变换46之后，可以使用步长为32的49位均匀量化器来使锐转变保持锐利和干净(neat)。

第四编码器子系统38利用哈达玛变换50和自适应非均匀量化器52对正常视频块30进行编码。对8像素的输入块进行哈达玛变换，并且对所得到的频率系数进行量化。根据哈达玛变换系数的统计，已经设计了一种用于DC分量的均匀量化器。对于AC分量，可以使用非均匀的35位、31位和30位的标量量化器，它们在位速率控制策略下被自适应地使用，以对帧中的每行实现目标压缩(例如2∶1)。

标量量化具有低计算成本，并且易于实现。如果正确使用的话，它能够实现良好的压缩性能。在一个说明性实施例中，可以将标量量化设计为使用三个步骤来压缩哈达玛变换系数：(1)哈达玛变换系数的统计分析；(2)位分配；以及(3)量化表设计。

哈达玛变换50的统计分析可以通过例如检查若干高清晰度(HD)序列以获得这些系数的一些统计特性来完成。统计数据(例如利用哈达玛系数的概率密度函数)显示出，变换的AC系数在归一化之后几乎同样地分布，并且类似于由下式定义的拉普拉斯密度函数：

p (x) = 1 / σ^{2} e^{- 2 | x | / σ^{* *} 2},

其中σ²表示方差。

DC系数的分布是不对称的，并且它的形状取决于序列中图像的亮度。基于这些特性，可以使用均匀量化器来压缩DC系数，并且使用一组非均匀标量量化器对AC系数进行编码。

位分配可以如下确定。速率失真理论和位速率控制建议为具有较大方差的系数分配更多位。最佳位分配由下式给出：

b_{i} = \frac{B}{K} + \frac{1}{2} \log_{2} \frac{{σ_{i}}^{2}}{[Π_{i = 1}^{k} {σ_{i}}^{2}]}

其中B是可用位的总数，K是系数的数目，以及

{σ_{i}}^{2} = var [C_{i}]

是系数的方差。在利用上面结合根据经验计算的方差的等式进行计算之后，可以获得用于32位量化器设计中RGB分量的相同最佳位分配。同样可以获得用于35位、31位和30位量化器的类似位分配结果。

如下可以实现量化表的设计。对于DC分量，使用均匀量化器。哈达玛变换之后的DC系数从0变化到2040，因此均匀量化器可以被设计为：

t_k＝2040(k-1)/2^m，k＝1，...，2^m (1)

r_k＝t_k+2040/2^m，k＝1，...，2^m (2)

其中m是量化器的位数目，t_k是判决电平，以及r_k是重建电平。

对于AC分量，使用非均匀量化器52。为了使量化器的数目尽可能小，可以将七个AC系数合并到具有如下相应四个量化器的四个组中：Q1(5位，31个电平)，Q2(4位，15个电平)，Q3(3位，7个电平)，Q4(3位，3个电平)。可以使用一种Lloyd-Max量化器设计，它找到期望的判决电平t_k和重建电平r_k以便最小化均方差。

现在转到图5，示出了由编码器14创建的说明性位流结构。该位流逐块且逐行地进行传输。每个编码的块均包含报头和净荷。报头使得解码器18知道如何对净荷进行解码。使用两种不同种类的报头。“转变块”报头包含3位，而“连续或持续块”报头仅包含1位。转变块意味着当前块的类型与前一个块不同。发送表示转变块的“1”，后面是携带块类型信息的附加2位。连续块意味着当前块的类型与前一个块相同。

图6更详细地示出了位结构创建实例的流程图。对于纯图形块，如果前一个块是纯图形块则发送“100”，如果不是则发送“0”。如果所有像素都具有同样的值，则发送额外的“1”，表示该块将被压缩成8位。否则如上所述，发送额外的“0”，表示该块将被压缩成24位。如果该块是平坦区域块，则如果前一个块是平坦区域块则发送“101”，如果不是则发送零。如果该块是锐转变块，则如果前一个块是锐转变块则发送“101”，如果不是则发送零。最后，如果该块是正常视频块，则如果前一个块是正常视频块则发送“111”，如果不是则发送零。显然，在不脱离本发明范围的情况下可以使用不同的策略。

如所述，提供一种位速率控制系统54(图1)以实现目标压缩。在该说明性实施例中，描述了2∶1的目标压缩。然而，应当理解在不脱离本发明范围的情况下可以实施目标压缩的变化。可以如下来实施位速率控制。四种不同的压缩技术产生不同的压缩数据长度。另外，Golomb-Rice编码自身是可变长度编码，因此使用位速率控制策略来实现每行的固定位长度。如果在一行的前半部分中将许多连续块分类为平坦区域块或纯图形块，那么直到该行前一半的末端，压缩比通常将高于2∶1，从而可以使用更多的位来量化该行剩余部分中的哈达玛系数。

总的来说，不同的压缩方法可以基于位速率控制而彼此受益，以获得一帧的最佳整体图像质量。速率控制的细节可以被概括为：(1)非压缩的1×8块包含64位。假设2∶1的压缩，压缩的1×8块具有32位的位预算；(2)B是用于编码N个块的目标位预算，B＝32*N；(3)C是在编码块N之前由N-1个块所消耗的位的和；(4)R是为编码块N而剩下的位预算，R＝B-C，如果R＞th1(例如th1＝45)，则使用35位的量化，否则如果R＞th2(例如th2＝31)，则使用30位的量化。显然，在不脱离本发明范围的情况下可以使用不同的策略。

图3更详细地描绘了解码器18。解码器18将编码数据58的流接收到报头解码系统60中。通过检查该报头(上述)，报头解码系统60将使得四个可能的解码策略中的一个被调用。即，解码器18包括：用于解码纯图形数据的纯图形解码器62；用于解码平坦区域数据的Golumb-Rice解码器64/DPCM解码器70；用于解码锐转变数据的逆均匀量化器66/逆哈达玛变换72；以及用于解码正常视频数据的逆非均匀量化器68/逆哈达玛变换72。在解码之后，使用多路复用器74来重新组合来自各个不同解码器路径的解码数据以生成输出76。

应当理解，在此描述的系统、功能、机制、方法、引擎和模块可以以硬件、软件、或硬件与软件的组合来实现。它们可以由任何类型的计算机系统或适于执行在此所述的方法的其它装置来执行。硬件与软件的典型组合可以是具有计算机程序的通用计算机系统，该计算机程序在被加载并执行时控制该计算机系统，以使它执行在此所述的方法。可选择地，也可以使用专用计算机，其包含用于执行本发明的一个或多个功能任务的专用硬件。在另一个实施例中，可以以分布式方式来实现所有本发明的一部分，例如在诸如因特网之类的网络上。

本发明还可以被嵌入到计算机程序产品中，它包括能够实现在此所述的方法和功能的所有特征，并且当在计算机系统中被加载时，它能够执行这些方法和功能。诸如计算机程序、软件程序、程序、程序产品、软件等之类的术语，在本上下文中是指一组指令以任何语言、代码或符号的任何表达形式，所述指令打算使系统具有信息处理能力，以便直接地或在下述操作中的任何一个或二者之后执行特定功能：(a)转化成另一语言、代码或符号；和/或(b)以不同的材料形式再生。

已经出于说明和描述的目的给出了本发明的前述描述。它并非打算是穷尽的，或者将本发明限于所公开的确切形式，并且显然许多修改和变化是可能的。对本领域技术人员而言可能显而易见的这样的修改和变化打算被包含在由所附权利要求书限定的本发明的范围之内。

Claims

1.一种用于压缩混合的图形和视频信号(56)的编码器(14)，包括：

分类系统(22)，用于将输入的像素数据块分类为多个独特类型的块之一；

多个编码器子系统(32，34，36，38)，其中该编码器子系统中的每个均被配置为压缩一种独特类型的块；以及

比率控制系统(54)，用于为压缩块的流达到目标压缩比。

2.权利要求1所述的编码器，其中所述多个独特类型的决包括纯图形块(24)、平坦区域块(26)、锐转变块(28)、以及正常视频决(30)。

3.权利要求2所述的编码器，其中所述多个编码器子系统包括：

第一子系统，包括纯图形编码器(40)；

第二子系统，包括预测器(42)和Golumb-Rice编码系统(44)；

第三子系统，包括哈达玛变换(46)和固定均匀量化器(48)；以及

第四子系统，包括哈达玛变换(46)和自适应非均匀量化器(52)。

4.权利要求1所述的编码器，其中所述目标压缩比是2∶1。

5.权利要求1所述的编码器，其中每个输入的像素数据块由像素数据的1×8块构成。

6.权利要求1所述的编码器，其中每个压缩块包括报头，该报头指示哪个编码器子系统被用来压缩该块。

7.权利要求6所述的编码器，其中所述报头指示该压缩块是转变决还是连续块。

8.权利要求1所述的编码器，其中该像素数据块包括RGB数据。

9.权利要求1所述的编码器，其中所述比率控制系统为块的行达到目标压缩比。

10.一种用于处理混合的图形和视频信号的视频处理系统(10)，包括：

编码器(14)，用于压缩混合的图形和视频像素块，包括：

分类系统，用于将每个输入的像素块分类为多个独特类型的块

之一；

多个编码器子系统，其中该编码器子系统中的每个均被配置为压缩一种独特类型的块；以及

比率控制系统，用于为压缩块的流达到目标压缩比；以及解码器(18)，用于解码通过嵌入式通信信道从编码器接收的压缩像素块，其中该解码器包括多个解码器子系统(62，64，66，68)，每个均被配置为解压缩一种独特类型的压缩块。

11.权利要求10所述的视频处理系统，其中所述多个独特类型的块包括纯图形块、平坦区域块、锐转变块、以及正常视频块。

12.权利要求11所述的视频处理系统，其中所述多个编码器子系统包括：

第一子系统，包括纯图形编码器；

第二子系统，包括预测器和Golumb-Rice编码系统；

第三子系统，包括哈达玛变换和固定均匀量化器；以及

第四子系统，包括哈达玛变换和自适应非均匀量化器。

13.权利要求10所述的视频处理系统，其中所述目标压缩比是2∶1。

14.权利要求10所述的视频处理系统，其中每个输入的像素数据决由像素数据的1×8块构成。

15.权利要求10所述的视频处理系统，其中每个压缩块包括报头，该报头指示哪个编码器子系统被用来压缩该决。

16.权利要求15所述的视频处理系统，其中所述报头指示该压缩块是转变块还是连续块。

17.权利要求10所述的视频处理系统，其中该像素决包括RGB数据。

18.权利要求10所述的视频处理系统，其中所述比率控制系统为输入决的行达到目标压缩比。

19.权利要求10所述的视频处理系统，其中所述编码器被包含在显示驱动器中，以及所述解码器被包含在显示器中。

20.一种用于压缩混合的图形和视频信号的方法，包括：

将输入的像素块分类为从多个预定块类型中选择的独特块类型；

利用多个编码器子系统中所选择的一个编码器子系统对输入块进行编码，其中所选的编码器子系统取决于该块类型，并且其中所述编码器子系统中的每个均被配置为压缩一种独特的块类型；以及

使用比率控制策略以用于为压缩块的流达到目标压缩比。

21.权利要求20所述的方法，其中所述多个独特类型的块包括纯图形块、平坦区域块、锐转变块、以及正常视频块。

22.权利要求21所述的方法，其中所述多个编码器子系统包括：

第一子系统，包括纯图形编码器；

第二子系统，包括预测器和Golumb-Rice编码系统；

第三子系统，包括哈达玛变换和固定均匀量化器；以及

第四子系统，包括哈达玛变换和自适应非均匀量化器。

23.权利要求20所述的方法，其中所述目标压缩比是2∶1。

24.权利要求20所述的方法，其中每个输入的像素数据块由像素数据的1×8决构成。

25.权利要求20所述的方法，其中每个压缩块包括报头，该报头指示哪个编码器子系统被用来压缩该块。

26.权利要求25所述的方法，其中所述报头指示该压缩决是转变块还是连续决。

27.权利要求20所述的方法，其中每个输入的像素块包括RGB数据。

28.权利要求20所述的方法，其中所述比率控制策略为块的每行达到目标压缩比。