CN1640144A

CN1640144A - 对数字彩色视频序列进行编码和解码的方法和设备

Info

Publication number: CN1640144A
Application number: CN03804840.XA
Authority: CN
Inventors: G·马匡特; S·E·瓦伦特
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2002-02-28
Filing date: 2003-02-12
Publication date: 2005-07-13
Also published as: JP2005519500A; KR20040091667A; AU2003205996A1; EP1481556A1; US20050105613A1; WO2003073771A1

Abstract

本发明涉及一种对与原始彩色图像序列相对应的输入数字视频序列进行编码的方法，所述方法包括至少将视频序列从空间域变换到较少的表示数据的步骤，将因此得到的经变换的信号变换为一个较小的数据集的量化步骤，以及对所述经量化的数据进行编码的步骤。按照本发明，所述编码方法还包括在所述变换步骤前的预处理步骤，用来确定输入视频序列是否在YUV色空间内，如果是就用一个非线性变换将所述YUV色空间变换成一个冗余较小的色空间。

Description

对数字彩色视频序列进行编码和解码的方法和设备

发明领域

本发明总体上与视频压缩有关，具体地说涉及由在第一色空间内定义的色空间分量表示的原始彩色图像序列的方法，所述方法至少包括下列步骤：

(1)变换步骤，用来将与所述输入视频序列相对应的所述第一色空间分量从空间域转换为较少的表示数据；

(2)量化步骤，用来将因此得到的经转换的信号变换为一个较小的数据集；以及

(3)编码步骤，用来对因此得到的经量化的数据进行编码。

本发明也涉及所关联的解码方法、相应的编码器和解码器、以及包括实现所述编码或解码方法的计算机可读程序代码的系统。

发明背景

一些基于彩色适配实验的研究表明可以用三种彩色对色空间进行完全参数化，只要这三种彩色是线性独立的。因此，色空间是一个三维的向量空间，任何测试光可以表示为三个色适配函数(即三个基色光的光谱分布)的一个线性组合。这些色适配函数不是唯一的，而是可以用一个线性变换通过基的变换从一组色适配函数变换成另一组色适配函数。

数据压缩系统是众所周知的：它们对原始数据流进行操作，并且剥除数据内的冗余项，以便把尺寸减小到呈现为通常更为适合于传输或存储操作的压缩格式。对于这些数据，可以使用红绿蓝(RGB)色空间，但是这个色空间是严重冗余的。因此，可以用一个以下的矩阵(对应于一个线性变换)将色空间RGB变换成标称白/黑(WB)红/绿(RG)和蓝/黄(BY)的所谓对立色空间(opponent color space)：

[\begin{matrix} WB \\ RG \\ BY \end{matrix}] = [\begin{matrix} 0.4523 & 0.8724 & 0.1853 \\ 0.7976 & - 0.5499 & - 0.2477 \\ - 0.2946 & - 0.51329 & 0.8062 \end{matrix}] [\begin{matrix} R \\ G \\ B \end{matrix}]

(对立色理论指出，某些色调对可以以单一色觉的形式同时存在而其他某些色调对则不能同时存在，这个理论是信息去相关技术的基础，所述技术考虑了在眼锥体的灵敏度曲线之间存在着频谱交叠的事实。)

对信息的去相关确实大大简化了色觉的模型，因为不需要考虑分量间的掩蔽现象。在一种经典的视频方法的情况下，视频最好沿亮度(Y)、色度(分量U)、色度(分量V)这三个独立的信道编码。在数字编码系统中，使用(YUV)空间或(T，Cr，Cb)空间(可以指出，U和V值的范围从-128至127，而Cr和Cb值的范围从0至255，因此这些分量通过关系式U＝Cr-128和V＝Cb-128相联系)。然而，采用这种表示方式，要高度改善速率/失真比看来是困难的。

发明概要

因此，本发明的第一个目的是提出一种用于压缩数字彩色视频序列的编码方法，这种编码方法可以实现的编码效率要比用(Y，U，V)和(Y，Cr，Cb)表示方案得到的更高。

为此，本发明涉及一种诸如在本说明的导言部分所规定的编码方法，而且这种编码方法的特征是它还包括下列步骤：

(4)在变换步骤前的预处理步骤，用来确定该输入视频序列的所述第一色空间是否为YUV色空间，如果是，就通过一个非线性变换将所述YUV色空间变换成一个冗余较小的色空间。

本发明的另一个目的是提出一个相应的编码设备。

本发明的又一个目的是提出一种包括一个计算机可用媒体的系统，所述计算机可用媒体具有用于实现一个数字视频编码设备的、被体现在该计算机可用媒体中的计算机可读程序代码装置，所述数字视频编码设备用来对与由在第一色空间内定义的色空间分量表示的原始彩色图像序列相对应的输入数字视频序列进行编码，所述计算机可读程序代码装置包括下列计算机可读程序代码：

使所述计算机检测所述输入彩色视频序列的第一色空间是否为YUV色空间，如果是就将所述YUV色空间变换成一个冗余较小的色空间的程序代码；

使所述计算机将经变换的序列从原来的空间表示域转换到一个新的表示域的程序代码；

使所述计算机对经转换的序列进行量化的程序代码；以及

使所述计算机对因此得到的经量化的数据进行编码的程序代码。

本发明的另一个目的是提出一种对用按照本发明的编码方法而编码的信号进行解码的方法。

为此，本发明涉及一种对信号解码的方法，该信号是用一种编码方法编码的，该编码方法对与由在第一色空间内定义的色空间分量所表示的原始彩色图像序列相对应的输入数字视频序列进行编码，所述编码方法至少包括下列步骤：

(2)量化步骤，用来将因此得到的经转换的信号变换为一个缩小的数据集；

(3)编码步骤，用来对因此得到的经量化的数据进行编码；以及

(4)在变换步骤前的预处理步骤，用来确定输入视频序列的所述第一色空间是否为YUV色空间，如果是，就通过一个非线性变换将所述YUV色空间变换成一个冗余较小的色空间，

所述解码方法至少包括下列步骤：

(1)解码步骤，用来对所述经编码的信号进行解码；

(2)逆量化步骤，用来将因此得到的经解码的信号变换成经去量化的信号；

(3)逆变换步骤，用来将所述经去量化的信号转换为空间域内的信号；

所述解码方法的特征是它还包括下列步骤：

(4)后处理步骤，用相应的逆非线性变换根据在空间域内的所述信号来重构原始彩色图像。

本发明还有一个目的是提出一个相应的解码设备。

本发明的又一个目的是提出一种包括一个计算机可用媒体的系统，所述计算机可用媒体具有用于实现一个数字视频解码设备的、被体现在该计算机可用媒体中的计算机可读程序代码装置，所述数字视频解码设备用来对一种信号进行解码，该信号是用一种编码方法编码的，该编码方法对与由在第一色空间内定义的色空间分量表示的原始彩色图像序列相应的输入数字视频序列进行编码，所述编码方法至少包括下列步骤：

(1)变换步骤，用来将与所述输入视频序列相应的所述第一色空间分量从空间域转换为较少的表示数据；

所述计算机可读程序代码装置包括下列计算机可读程序代码：

使所述计算机对经编码的信号进行解码的程序代码；

使所述计算机对因此得到的经解码的信号进行逆量化的程序代码；

使所述计算机将因此得到的经去量化的信号转换为空间域内的信号的程序代码；以及

使所述计算机用相应的逆非线性变换根据在空间域内被转换的所述信号来重构原始彩色图像的程序代码。

附图简要说明

下面将结合附图对本发明进行详细说明，在这些附图中：

图1示出了一个按照本发明的编码设备；以及

图2示出了一个按照本发明的解码设备。

发明详细说明

按照本发明，在编码操作前，对所得到的视频序列的每个原来的帧进行预处理，用一个非线性变换将它们变换到一个新的空间。因此，现在编码操作在这个新的表示空间内执行，而解码侧的逆变换可以恢复原来的空间内的帧，因此可以恢复原来的真实彩色图像。对于预处理操作，可以用以下几个空间表示：

(a)首先可以将传统的空间(Y，U，V)用一种规范化变换成一个新的空间(Y，Cr/Y，Cb/Y)或(Y，U/Y，V/Y)，其中U＝R-Y，而V＝B-Y。

(b)这样一个空间表示在每当亮度值大于色调值时会导致动态问题，因此可以引进一个定标因数s，于是新的空间为(Y，s.U/Y，s.V/Y)。

(c)另一个解决方案是引用色调(Hue，H)、饱和度(Saturation，S)和亮度(Luminance，L)，这三个量直接与人对光和色的感觉有关，可由以下变换得到：

Luminance(L)＝Y

Hue(H)＝arctan((B-Y)/(R-Y)＝arctan(V/U)

Saturation (S) = \sqrt{{(R - Y)}^{2} + {(B - Y)}^{2}} = \sqrt{U^{2} + V^{2}}

R-Y＝S.cosH

B-Y＝S.sinH

(d)第四个解决方案是上一个解决方案的替换方案(相对于彩色信息这时不再存在对称，这导致对于色调和饱和度参数有不同的值)：

Hue*＝arctan(Cr/Cb)

Saturation (S) = \sqrt{{Cr}^{2} + {Cb}^{2}}

下面将对实现压缩输入数字彩色视频序列的编码设备的一个例子进行说明。在本实施例中，包含在输入视频信号内的数据包括描述与视频序列相应的原图像内的相应位置处的色分量(亮度信号Y，色差信号U和V)的像素值。如图1所示，视频序列(视频信号VS)首先加到预处理器11上，预处理器11的输出由编码器12接收。编码器12包括例如DCT(离散余弦变换)变换电路121、量化器122、可变长度编码器123和速率控制器124。DCT变换电路121将具有8×8个像素的数据块线性变换成频率域内的一些系数。量化器122接收因此得到的DCT系数，对它们进行量化。可变长度编码器123对经量化的系数执行编码步骤。速率控制器124存储编码器的输出信号，并向量化器122发送一个允许修改量化设置的反馈信号(这种速率控制器通常包括一个用来接收经编码的比特流的缓存器和一个用来产生经更新的量化设置的更新电路)。

预处理器11用来将表示空间(Y，U，V)变换成一个新的空间。如上面所述，按照本发明的这种非线性变换可以用例如以下五种不同的方式执行。

(A)变换成一个规范化空间

由于分量Y，Cr，Cb的值域从0至255，因此设想将(Y，Cr，Cb)空间规范化成一个新的空间(Y，Cr/Y，Cb/Y)或者(Y，U/Y，V/Y)其中U＝Cr-128而V＝Cb-128，U和V已经选择成使信道动态处于中心。采用这个变换，得到更为恒定的色调区域，因为这抑制了每个色调分量中的发光变化(确实，每个分量现在只取决于光源和所考虑的对象的属性)。

(B)带定标因数的变换

采用以上变换，每当亮度值大于色调值时由于引进了人工产物就会引起一个表示问题。于是提出对于以上变换引进一个另外的定标因数S。已知，对于小的Y值，图像假设为非常暗，因此提出一旦亮度值Y低于一个门限Yt时就不分配彩色给色度值(即值对于Cr和Cb为128，而对于U和V为0)。这允许实现一个新的变换T，定义为：

如果(Y＜Yt)，则{(Y，U，V)→(Y，0，0)}

否则{(Y，U，V)→(Y，Yt.U/Y，Yt.V/Y)}

由于这样的修改，经变换的空间内的色度信道仍然是彩色的，虽然亮度比原来的小了一些，这使得在解码侧可以恢复(在逆变换后)接近于原来的图像。没有这种修改，所述反变换可以引进一些人工产物：一旦亮度值大于色度值，变换值就设置为0，因此逆变换不能恢复接近于原来的值。

可以看到，从(Y，Cr，Cb)到(Y，Yt.U/Y，Yt.V/Y)的变换要求调整Yt。然而，实验表明这个门限会按照经预处理的序列的属性而有很大变化(对于一些序列，在一个给定的门限值以下会出现某些类型的振荡；而对于另一些序列，在门限之上，黑极限是可见的；等等)。因此最佳质量的再现需要为每种序列适当设置亮度门限。

(C)变换成另一种类型的空间。

为了避免如上所述的复杂情况，于是可以采用在另一个表示空间内的变换：提出在称为色调、饱和度(或鲜艳度)和亮度(或强度或明亮度)的这些信道(H，S，L)内(即人类视觉系统所用的色空间内)对信息编码。这些量(H，S，L)确实是直接与人类的感觉有关的。L(或I)电平就是Y电平(L的值表示颜色的明亮度)，而表示纯色的色调和表示混入了多少灰色的饱和度将从色差值R-Y(＝U)和B-Y(＝V)导出：

luminance L＝Y

hueH＝arctan((B-Y)/(R-Y))＝arctan(V/U)

saturation S = \sqrt{{(R - Y)}^{2} + {(B - Y)}^{2}} = \sqrt{U^{2} + V^{2}}

解码侧的逆变换为：

R-Y＝S.cosH

B-Y＝S.sinH。

(D)可代替以上HSL的解决方案为：

Hue*＝arctan(Cr/Cb)

Saturation * = \sqrt{{Cr}^{2} + {Cb}^{2}}

(此外，实验表明这样的变换和逆变换可以认为是准无损处理)。

(E)感觉变换。

感觉研究表明人眼不能区别小的亮度变化(1至5个灰度级(greylevel))。于是提出了在压缩亮度动态时使用较少的灰度级(例如用128个亮度灰度级而不是256个灰度级，这相当于7比特亮度编码)。测试表明，如果对一个图像应用这种亮度动态压缩变换/逆变换，人眼不能发觉重构的图像与原来的图像之间有任何差别。

在解码侧，用来实现上面提到的逆变换的解码设备，如图2所示，包括解码器21和接在解码器21后用于执行允许恢复真实彩色图像CI的逆非线性变换的后处理器22。接收用上述编码设备编码得到的比特流的所述解码器通常包括可变长度解码器211、逆量化电路212、逆DCT电路213和重构电路214。

编码设备(11，12)和解码设备(21，22)可以用各种方式实现，以执行在这里所说明的功能。在一个实施例中，它们可以体现为存储在媒体上的软件，由通常包括一个中央处理单元、一个存储器和一个或多个输入/输出设备和处理器的通用或专用计算机系统执行。或者，它们也可以用硬件、软件或固件的组合实现，不排斥单个硬件或软件项可以执行若干功能或者一些硬件项和/或软件项的组件执行单个功能。所说明的这些方法和设备可以用任何类型的计算机系统或其他适合执行在这里所说明的方法的设备实现，这种计算机系统包括一个在装入和执行时可以控制计算机系统的计算机程序使它执行在这里所说明的方法。

或者，也可以使用一个含有实现本发明的一个或多个操作任务的专用硬件的专用计算机。本发明也可以体现为一种计算机程序产品，这种计算机程序产品包括使在这里所揭示的方法和功能得以实现的所有功能组件，这种计算机程序产品在装入一个计算机系统后能实现这些方法和功能。计算机程序、软件程序、程序、程序产品或软件在这里意味着以任何语言、代码或符号对一系列用来使一个具有信息处理能力的系统直接或者在(a)变换为另一种语言、代码或符号和/或(b)以不同的物质形式复现后执行的指令的任何表示。

Claims

1.一种对与由在第一色空间内定义的色空间分量所表示的原始彩色图像序列相对应的输入数字视频序列进行编码的方法，所述方法至少包括下列步骤：

(3)编码步骤，用来对因此得到的经量化的数据进行编码；

所述编码方法的特征是它还包括下列步骤：

2.一种对与由在第一色空间内定义的色空间分量所表示的原始彩色图像序列相对应的输入数字视频序列进行编码的设备，所述设备包括至少：

(1)变换装置，用来将与所述输入视频序列相对应的所述第一色空间分量从空间域变换为较少的表示数据；

(2)量化装置，用来将因此得到的经变换的信号变换为一个较小的数据集；

(3)编码装置，用来对因此得到的经量化的数据进行编码，

所述编码设备的特征是它还包括：

(4)在所述变换装置前的预处理装置，用来确定该输入视频序列的所述第一色空间是否为YUV色空间，如果是，就通过一个非线性变换将所述YUV色空间变换成一个冗余较小的色空间。

3.一种包括一个计算机可用媒体的系统，所述计算机可用媒体具有用于实现一个数字视频编码设备的、被体现在该计算机可用媒体中的计算机可读程序代码装置，所述数字视频编码设备用来对与由在第一色空间内定义的色空间分量所表示的原始彩色图像序列相对应的输入数字视频序列进行编码，所述计算机可读程序代码装置包括下列计算机可读程序代码：

使所述计算机检测所述输入彩色视频序列的第一色空间是否为YUV色空间、如果是就将所述YUV色空间变换成一个冗余较小的色空间的程序代码；

使所述计算机对经转换的序列进行量化的程序代码；以及

4.一种对信号解码的方法，该信号是用一种编码方法编码的，该编码方法对与由在第一色空间内定义的色空间分量所表示的原始彩色图像序列相对应的输入数字视频序列进行编码，所述编码方法至少包括下列步骤：

所述解码方法至少包括下列步骤：

(1)解码步骤，用来对所述经编码的信号进行解码；

所述解码方法的特征是它还包括下列步骤：

5.一种对信号进行解码的设备，该信号是用一种编码方法编码的，该编码方法对与由在第一色空间内定义的色空间分量所表示的原始彩色图像序列相对应的输入数字视频序列进行编码，所述编码设备至少包括：

(3)编码装置，用来对因此得到的经量化的数据进行编码；以及

(4)在变换装置前的预处理装置，用来确定输入视频序列的所述第一色空间是否为YUV色空间，如果是，就通过一个非线性变换将所述YUV色空间变换成一个冗余较小的色空间，

所述解码设备至少包括：

(1)解码装置，用来对所述经编码的信号进行解码；

(2)逆量化装置，用来将因此得到的经解码的信号转换成经去量化的信号；

(3)逆变换装置，用来将所述经去量化的信号转换为空间域内的信号；

所述解码设备的特征是它还包括：

(4)后处理装置，用来根据在空间域内的所述信号用相应的逆非线性变换来重构原始彩色图像。

6.一种包括一个计算机可用媒体的系统，所述计算机可用媒体具有用于实现一个数字视频解码设备的、被体现在该计算机可用媒体中的计算机可读程序代码装置，所述数字视频解码设备用来对一种信号进行解码，该信号是用一种编码方法编码的，该编码方法对与由在第一色空间内定义的色空间分量所表示的原始彩色图像序列相对应的输入数字视频序列进行编码，所述编码方法至少包括下列步骤：

(4)在变换步骤前的预处理步骤，用来确定输入视频序列的所述第一色空间是否为YUV色空间，如果是，就通过一个非线性变换将所述YUV色空间变换成一个冗余较小的色空间；

使所述计算机对经编码的信号进行解码的程序代码；

使所述计算机用相应的逆非线性变换根据在该空间域内被转换的所述信号来重构原始彩色图像的程序代码。