CN1193867A - 通过亮度估算进行编码的方法和装置 - Google Patents

Abstract

一种用于对来自视频图像序列的数字数据进行编码的方法,它对要被编码的图像部分与从所谓的参考图像中预测的图像的相应部分之间的亮度差(7)进行编码,其中预测被作为参考图像的亮度值的亮度补偿(12)的函数。本发明涉及数字视频数据压缩的技术领域。

Description

通过亮度估算进行编码 的方法和装置

本发明涉及数字视频图像序列的编码。该领域的现有问题是通过开发出一组用于调节费用和压缩质量的参数，来对可视信息进行压缩。这样就可能遵守基本上取决于预期应用的一些约束。质量标准可能迫使对信息进行压缩但不影响其最后的重建。例如，在遥测(teledetection)或者生产应用以及存储应用中的情况就是这样。另一方面，质量要求可能不太苛刻，尽管大于所需的最低限度，这就需要根据给定传输信道的容量来压缩信息。例如，在电视电话(videophone)应用中(通过ISDN(Integrated Services Digital Network，综合业务数字网)或者STN(Switched Telephone Network，交换电话网))或者在战场上的通讯应用中的情况就是这样的。最后，最常见的情况是质量降低与压缩性能之间的折衷。在广播应用，或者视频发行应用(紧致盘(Compact Disc)视频如数字视盘)中的情况就是这样的。另外还有实际的约束。

主要编码方法可以看成是根据它们的特征来使用的几种技术的组合体。

因此，这里可以区分：

-通过预测进行编码，一方面提供估算，而另一方面参考估算误差对估算进行修正。

-通过变换进行编码，通过表示空间的变换对信息进行解相关(decorrelate)，使得信息更加简洁；

-通过近似进行编码，用其它预定的或者至少简化的信息来代替该信息。

本领域最新发展在于通过运动来预测(prediction through motion)。一方面离散余弦变换(DCT)使得帧内模式(intra mode)中局部地减少图像的冗余成为可能，另一方面运动补偿的目的是减少瞬时冗余(temporal redundancy)。运动信息对应于所谓的“参考”图像和当前研究的图像之间的局部相似联系，而且可以用前面的景物的物理运动的概念来解释。因此，考虑把图像划分成块，针对这些块的每一块，在另一研究的图像上搜索与之最相似的块。于是(水平，垂直)运动就是相对于第一块的位置来说，在两块之间的位置(行方向，列方向)之差，并且每块都被编码一次。向这种运动信息补充与预测的残差(residue)有关的数据(通过运动进行预测时的误差值)。这与帧内图像数据的处理方式相似。

用于对图像序列进行编码的最新的方案是采用通过预测的运动数据。MPEG2算法是这种方案中的一个好的例子。

数据压缩取得的进展可以认为是不够的，对于给定的比特率，希望有更好的图像质量，或者对于给定的最终质量，希望有更小的比特率，从而编码代价更少。

本专利申请的目的在于弥补前述缺陷。

为此，本发明的目的是提供一种用于对来自视频图像序列的数字数据进行编码的方法，它对要被编码的图像部分(segment)与从所谓的参考图像中预测的图像的相应部分之间的亮度差进行编码，其中预测被作为参考图像的亮度值的亮度补偿的函数。

本发明的目的还在于提供一种实现上述方法的装置，用于对来自视频序列的数字数据进行编码，该装置包括：用于计算两图像间运动矢量的运动估算电路；根据参考图像用于计算预测图像的运动补偿电路；用当前图像减去预测图像来计算编码的残差的减法器，还包括用于估算两相同图像间的亮度的电路，以及接收来自亮度估算和运动估算电路的信息、用于计算预测图像的亮度补偿电路。

本发明的目的还在于提供一种根据前面的方法对已编码的数字数据进行解码的装置，用于由残差和预测图像计算重建的图像，该装置包含一种用于作为亮度矢量的函数对亮度进行补偿的电路，用于计算预测图像，其中亮度矢量是多个亮度估算信息项。

这种方法的要点是：采用所谓的亮度补偿，通过运动补偿来改进预测。

这还能够实现：根据运动、亮度和残差数据，利用与帧间补偿相同的机理，用所谓的自动补偿图像代替帧内图像。

本发明能减少包含在残差内的信息数量，而不管亮度估算之前使用的运动分析方法如何。通过所谓的亮度方法来改进运动模型能大大地减少残差，并且残差信息的减少量大于相应亮度信息的增加量，该新的帧间图像编码是很有效的。

此外，本发明提出了一种统一编码方案，其中用于帧内图像的方法与用于帧间图像的方法的差别是很小的。本发明的实现是简单的并且比较便宜，这是由于它通过结合一种从硬件角度来看具有低复杂度的方法，以不同方式利用了现有方案的各元素。

本发明独立于每种信息项(运动、亮度、残差)的具体编码。使用的这种方法可以被包括在MPEG2编码方案中，即使有关亮度的数据是在标准数据以外被编码的。

当景物照明发生变化时，这些亮度补偿技术是特别有效的，而在现有技术中，在此种情况下通常会导致使用昂贵的帧内编码。

通过下面结合附图对非限制性实施例进行描述，本发明的其它特征和优点将更清楚，其中，

图1是依照本发明的编码电路的框图；

图2是依照本发明的解码电路的框图。

参照图1所示装置的框图介绍依照本发明的方法。

编码装置包括第一和第二输入端。图像在t时刻输入到第一输入端，在t+1时刻输入到第二输入端。第一输入端并行地连接到滤波电路1的输入端、具有两个输入和一个输出的开关2的第一输入端、以及具有两个输入和一个输出的开关3的第一输入端。滤波电路1的输出端连接到欠采样(sub-sampling)电路4的输入端，并且后者的输出端连接到开关2的第二输入端。

编码装置的第二输入端连接到开关3的第二输入端。

开关2和开关3是双位置开关(two-position switch)，位置1在图上用虚线表示并对应为第一输入端，同时位置2在图上用实线表示并对应为第二输入端。这样，开关2的位置1对应于它的第一输入端，开关3的位置1对应于它的第二输入端。下面介绍的开关都有1和2两个位置。这些开关同时位于相同位置1或2(在图中分别用虚线和实线表示)。

开关2和3的输出端分别连接到运动和亮度估算电路5的两个输入端，同时分别连接到具有两个输入端和一个输出端的开关6的第一输入端(对应于位置1)、和加法电路7的第一输入端。亮度和运动估算电路的第一输出端连接到运动编码电路8的输入端，并且第二输入端连接到亮度编码电路9的输入端。每个编码电路的各自输出端S2和S3对应于所述编码装置的输出端。它们还分别连接到运动解码电路10和亮度解码电路11，这些电路的每个输出端分别连接到运动和亮度补偿电路12的第一输入端和第二输入端。开关6的输出连接到电路12的第三输入端。运动和亮度补偿电路的输出端连接到具有一个输入端和两个输出端的开关13的输入端。该开关的第一输出端(对应于位置2)连接到迭代计算电路14的输入端，这个电路的第一输出端连接到具有两个输入端和一个输出端的开关5的第一输入端(对应于位置2)，并且这个电路的第二输出端连接到滤波器16的输入端。滤波器16的输出端经欠采样电路17连接到开关6的第二输入端。开关13的第二输出端连接到开关15的第二输入端。开关15的输出端连接到加法电路7的第二输入端。这个电路的输出端连接到残差编码电路18的输入端，残差编码电路18的输出端S1是该编码装置的第三输出端。

对应于时刻t和时刻t+1的数字图像I(t)和I(t+1)被送到该装置的输入端。它们是例如图像序列中的两幅相邻图像。

所述编码的第一种模式是编码的帧间模式，对应于开关的位置1，图中用虚线所示。

在第一种模式中，图像I(t)经开关2传输给运动和亮度估算器5的第一输入端，并且图像I(t+1)经开关3传输给电路5的第二输入端。因此电路5进行图像I(t)和图像I(t+1)间运动的估算，并且根据一种常规方法，如块匹配(block matching)，计算出运动矢量。这种方法利用例如最小二乘法(the leastsquares method)进行每个图像块的运动估算。

用后述的估算参数(或者预测参数)c_s和b_o(作为该电路计算的运动估算的函数)计算出每个图像块的亮度估算值。

这种所谓的亮度补偿用作运动补偿的补充。它不受后者和运动结果的性质限制。事实上亮度补偿通过统计来充分利用两块间或者邻域(neighbourhood)间运动所揭示出的联系。实际中，这种补偿方法后验地(aposteriori)估算出块或邻域与通过运动分析预先相联系的另一块或邻域之间存在的线性关系。

运动分析问题可以表达如下：

考虑参考图像I的元素，诸如点(x，y，z)、邻域、块、区等等。要求根据利用已知方法(如最小二乘方法、梯度法等)的相应准则联系所研究的图像I′的另一同类元素如点(x′，y′，z′)、邻域、块、区等，并用运动概念进行解释。

符号z和z′表示灰度级值，它分别对应于图像I和I′中的坐标(x，y)和(x′，y′)。当有关运动的变换选为线性(建模为线性二维(2D)运动)时，估算参数可描述如下： $\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ z^{\′}\end{array}\right]=\left[\begin{array}{ccc}a& b& 0\\ c& d& 0\\ 0& 0& 1\end{array}\right]\·\left[\begin{array}{c}x\\ y\\ z\end{array}\right]+\left[\begin{array}{c}{t}_x\\ t_y\\ 0\end{array}\right]---\left(1\right)$

然后参数(a，b，c，d)与旋转联系，并且参数(tx，ty，0)与平移联系。在这个方程中，旋转实际上可被忽略，返回到第一种运动模型的表达式。

亮度分析问题可以表达如下：从先前的数据(两个图像元素之间对应关系的数据，它定义了图像元素对(pairs ofimage elements))开始，要求估算运动系数的互补系数，这些系数将与灰度级相联系。实际上，它们使得对图像元素的灰度级的变换成为可能，从而可对相关元素的灰度级进行预测(因此名称为亮度补偿)。一种估计这些数值的方法是最小二乘法。也可以利用其它解法，而且这个例子决不是限制。当把亮度变换选择为线性时，可以把有关系数叫做对比度定标(contrast scaling)c_s，以及亮度偏移b_o。下面的实例考虑这种选择。

这样，这些值a、b、c、d认为是已知的，同样t_x和t_y也是已知的。 $\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ z^{\′}\end{array}\right]=\left[\begin{array}{ccc}a& b& e\\ c& d& f\\ g& h& c_s\end{array}\right]\·\left[\begin{array}{c}x\\ y\\ z\end{array}\right]+\left[\begin{array}{c}{t}_x\\ t_y\\ b_o\end{array}\right]---\left(2\right)$

因此还需要估计e、f、g、h和c_s和b_o。开头的那些对应于灰度级与空间定位之间的相关性。它们通常非常接近于零，因此它们可以被先验地忽略，并且我们可以采用e＝f＝g＝h＝0.0。因此，最后还剩下c_s和b_o需要估计，它实际上对应于亮度补偿。这样，工作矩阵方程成为： $\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ z^{\′}\end{array}\right]=\left[\begin{array}{ccc}a& b& 0\\ c& d& 0\\ 0& 0& c_s\end{array}\right]\·\left[\begin{array}{c}x\\ y\\ z\end{array}\right]+\left[\begin{array}{c}{t}_x\\ t_y\\ b_o\end{array}\right]---\left(3\right)$

值c_s和b_o可以涉及图像块、像素或者区，这取决于运动补偿是对图像块、像素还是对区进行的。因此亮度补偿也在与运动补偿相同的图像区域上进行。

在理想情况下，即运动可被精确地估算而且假设照明效果可忽略不计(在运动补偿的常规利用中的确会做出这样假设，即景物的亮度没有变化的模型)，或者在亮度补偿被忽略的情况下，c_s和b_o等于1.0和0.0。实际的结果是要么运动估算不精确(例如，对每块进行运动估算时物体边缘的运动)，要么照明效果假设不完全有效。以外，证实在例如2个匹配的元素(块等)间存在统计相关性是很简单的。该结果通过对c_s和b_o的估算，清楚地表明进行亮度补偿的用处。

然而，在这里已观察到质的问题。特别在具有陡梯度的区或者当估算的运动包括相对于实际运动的微小偏移时，可以观察到模糊效应，即在亮度补偿期间灰度级的平滑。因此，在这种情况下，由于这种误差，对不精确地对应该景物的实际运动的像素进行亮度补偿。因应用而异，这可能会限制它的使用，即使亮度补偿的残留误差(residue error)总是很小(例如，减慢频繁观察到估算运动的偏移、但仍然允许非常好的图像内插的图像)。在这种情况下，用于决定是否对块或给定的邻域或区使用亮度数据的准则必定与残差的质的方面有关。通过传送残差数据，当然可能通过亮度补偿消除预测图像上的模糊效应，但是被传送的信息数量直接与这种模糊效应有关。决定准则，例如图像块中能量的计算，使得通过在那些存在的模式中确定出最合适的编码模式来解决这个问题成为可能。

一种可能的估算器采用最小二乘法。由于线性变换假设，这意味着在由一对的每个元素的灰度级组成的2个数值集合间进行线性回归(linearregression)。设(_u)为图像I的E₁元素的灰度级集合，并设(ψ_u)为图像I′的E₂元素的灰度级集合。通过运动估算器已经使E₁和E₂匹配起来了。下面，要求确定c_s和b_o的估算，因此我们得到：

其中

按照统计中使用的术语，E表示平均值，因而方程式(4)意味着块内的差的平方的均值趋于最小。

更具体地说，考虑含有n个像素的当前图像的图像块E1，在行i和列j的像素有亮度值p_i，j。与这个块相关的是一个根据算出的运动矢量得到的预测块E2。设q_k，l为这个图像块E2的行k到l处像素k，l的实际亮度值，通过运动估算(依照MPEG2为旋转和平移或者只进行平移)使该像素与像素i，j相匹配，

是预测值。

我们有： $E\left({\mathrm{\ψ}}_u\right)=\frac{1}{n}\underset{k,l}{\mathrm{\Σ}}{q}_{k,l}$

我们求c_s和b_o，使得：

其中 ${\hat{q}}_{k,l}=c_s{p}_{i,j}+b_0$

通过计算匹配元素E₁和E₂的统计数据，使得对c_s和b_o进行估算成为可能。在这种情况下可以得到下面结果：

C_s.(E{_u ²}-E{_u}²＝(E{_u.ψ_u}-E{_u}.E{ψ_u})    (6)

和

然后通过亮度和运动估算电路5，计算用于计算残差的预测块，作为当前图像的当前块的亮度值的函数和对这个当前块计算的值c_s和b_o的函数。

通过运动估算电路5计算出的运动矢量信息被传送到用于编码这些运动矢量的电路8，并且诸如参数c_s和b_o的亮度信息被传送到亮度编码电路9。

这些信息被编码，并且通过该装置的输出端S2和S3传送给解码器，或者当与每个解码器只希望有一个连接的情况下(例如在MPEG2框架中)，这些信息与残差数据多路复用，并且编码后，在装置的输出端S1处得到。在后一种情况下，多路转换器(图中未示出)在所述装置的S1、S2、S3输出端得到的所有信息恢复出来，组合它们，并且以数据流或者“比特流”的常规方法把它传输给相关解码器组。

运动和亮度补偿电路12取得解码的信息c_s和b_o以及从运动和亮度解码器输出的已解码的运动矢量，为的是计算预测图像。以这种方式，运动补偿电路所利用的运动和亮度信息考虑编码的量化间隔(quantification interval)并且与图像解码器侧所用的补偿电路所用的量化间隔相同，选择的运动和亮度解码电路与图像解码器侧的完全相同。

在帧间模式，补偿电路在它的输入端接收图像I(t)。预测图像是从这个图像、运动矢量和参数c_s及b_o计算出来的，并且从该电路的输出端传送给减法器7。图像I(t)是在该减法器7的第一输入端被接收的，并且减去来自补偿电路的预测图像从而在减法器的输出端得到残差。然后通过利用例如离散余弦变换，这些残差数据被按照常规方法进行编码，并且随后从输出端S1传输，并且在必要时与前述的运动和亮度信息进行多路复用。

进行编码的帧内模式对应于图像I必须独立于先前图像被编码的情况。进行编码的第二种模式对应于开关的位置2，如图中实线所示。在这种模式中，图像I(t)被传输给完成线性滤波的滤波器1，并且送到进行欠采样、例如按2进行欠采样的欠采样器4中，从而得到图像I′(t)。欠采样的度数(degree)也可以先验地固定或者在每次发生操作时固定。在后一种情况下，这个数值对解码器必须是已知的(存储或者传输给解码器)。为了进行处理，该图像必须与图像I的尺寸相同，并且仍然通过电路4，把零值被实际上空间地附加在取样的图像上，从而得到图像I′(t)。获得的图像被传送到亮度和运动估算器的输入端。这个电路在它的第二输入端接收到图像I(t)，并且得出图像I和相关图像I′之间运动M(更精确地说是解释为运动的、图像I和相关图像I′之间的相关性)的估算。在运动估算(理想情况是变焦运动)之后，在2个图像的基础上进行亮度估算，并且获得运动数据。

如前所述，本发明的一方面是同时利用帧间方法和帧内方法。因此使用了运动、亮度和残差数据。实际上，该方法是由Banach固定点定理(fixed pointtheorem of Banach)想出的(并且因而近似于分数维(fractal)技术和IFS，例如，描述在由M.H.Hayes所著的标题为“用于图像和视频编码的迭代函数系统(Iterated Function Systems for image and video coding)”的科技文章，发表在Journal on Communications杂志1994年5～6月的第XLV册上)。

给一个例子，当前的图像划分成图像块并且随后被取样和被滤波，而且经滤波的图像分成与当前图像块尺寸相同的图像块。然后计算出当前图像的当前块与经滤波的图像的所有块或者当前块的邻域(例如，属于搜索窗)中d块之间的相关性。

通过使用下面解释的Banach定理，可以由累积的补偿得到帧内图像的重建。

根据分数维理论(fractal theory)，重建可以简单地理解为它理论上应该重复无数次的运动和亮度补偿。为了这样做，它使用了IFS表示的图像结果。实际上，收敛是相当快地完成的，并且迭代次数最多为3和10之间。在编码器和解码器两侧都要固定相同的随机的或经验的选择，为的是在进行编码期间确定残差，以及为的是在图像重建期间有一致的结果。

和帧间模式一样，运动信息(运动矢量)和亮度信息(具有分量c_s和b_o的亮度矢量)被编码从而与残差数据多路复用，而且然后被解码，从而被传送给运动和亮度补偿电路12。在帧内模式中，电路在它的第三输入端接收在上次迭代(第一次迭代除外)期间计算的图像，而不是图像I(t)。第一图像是从运动和亮度信息中计算出的，并且作为输出传送给用于计算迭代次数和用于路由(routing)的电路14，电路14将接收到的算得的图像通过滤波器16和欠采样器17重新传输给补偿电路的输入端。在给定的迭代次数以后，重建的图像即预测的图像通过电路14送到减法器7，以便从图像I(t)中将其减去。

亮度和运动补偿电路的输出端因此通过环路与输入端相连，这样允许几个表示为c()的连续补偿，涉及运算子f()，它是由低通型线性滤波和例如被2空间划分的欠采样所构成的。补偿c()对运动补偿的依赖程度与对亮度补偿的依赖程度是一样的。

“重复”补偿在于完成下面算法(I₀为随机值，而迭代次数固定为8)：

-初始化              I＝I₀

-第i次迭代           (i＜9)：I_i＝c(f(I_i-1))

-第8次和最后一次迭代    I₈＝c(f(I₇))

I₈是重建的图像。

于是，显然“通常的”补偿由“重复”补偿构成：

-累加次数等于1

-f()被恒等式所代替

-I₀是参考图像R。

这种重复补偿因此使得作为解码的亮度和运动信息的函数计算I的预测成为可能。这样，帧内图像可以象帧间图像一样进行处理。这对硬件实现有一个重要结果，即用于帧内图像的结构与用于帧间图像的结构是相同的。其在编码器层的共同点如下：

-运动估算和有关编码；

-根据运动结果和有关编码进行亮度估算；

-根据参考图像或者从线性滤波及欠采样得到、并可以迭代重复(在帧内的情况下)的图像进行亮度和运动补偿，从而计算出重建的图像；

-通过减法和有关编码计算残差。

图2示出依照本发明的解码装置或解码器。在本图中，编码器与解码器共同的电路采用相同的标号。

在装置的第一和第二输入端E2和E3接收由前述编码器的输出端S2和S3传输来的运动和亮度信息。这种信息分别地传输到与编码器所用类型相同的运动解码电路10和亮度解码电路11的输入端。这些电路的输入被传输到与编码器所用类型相同的运动和亮度补偿电路12的第一和第二输入端。解码器的第三输入端E1接收传输到解码电路19中的残差数据，残差解码电路19的输出端和加法器20的第一输入端相连接。这个加法器的输出，也就是解码器的输出S，被传输给具有两个位置的开关6的第一输入端(对应于位置1，即帧间模式)。该开关的输出端与运动和亮度补偿电路12的第三输入端相连接。该电路的输出端与具有两个位置的第二开关13的输入端相连接。这个开关的对应于帧间模式的第一输出端连接到具有两个位置的第三开关15的对应于帧间模式的第一输入端。该第三开关的输出端与加法器20的第二输入端相连接。

在帧内模式中，第二开关13的输入端与它的第二输出端相连接，而该第二输出端与迭代和路由计算电路14的输入端相连接。该电路的第一输出端与开关15的第二输入端相连接，它的第二输出端经过串联的滤波电路16和欠采样电路17与开关6的第二输入端相连接。

这里的处理过程与编码的处理过程相同。由编码器传输来的并且分别在输入端E2、E3和E1接收到的运动、亮度和残差数据，被解码电路10、11、19所解码，这些解码电路完成与相应的编码器中的编码电路8、9、18相反的操作。

帧间模式利用参考图像R进行解码。亮度和运动补偿电路12鉴别存储的要使用的参考图像R(这也可能是预定的)，并在解码的亮度和运动信息的基础上，从亮度方面和运动方面对它进行补偿，从而在输出端得到预测的图像。由电路19解码的残差通过加法器20附加在图像上，这样在加法器20的输出端得到重建的图像。这样的图像一方面可以是在前述装置的输出端S处得到。这样的图像另一方面也可以返回给补偿电路作为输入，而且可以被选做用于后面图像的帧间编码的参考图像。

帧内编码模式解码并不利用重建的图像做参考图像。它从电路12产生的或者驻留于电路12的存储器中的随机参考图像I₀(它当然可以与编码器所用的参考图像不同)开始。第一次迭代是在该图像的基础上，通过滤波电路16、采样电路17以及后面的电路12完成的，它完成运动和亮度补偿作为由编码器传输来的数据的函数，从而得到新的图像I₁等等。图像I(我们限制编码器层的迭代次数为7)是通过迭代和路由计算电路14传输给加法器的重建图像。

这里所述的解码装置有三个输入端，但是显然当亮度和运动数据与编码的残差数据多路复用时，则由解码器的输入端的多路分解器(图中未示出)把这些数据进行分类，从而把它们送到解码器相应的输入端E1、E2或者E3处。

编码和解码装置相同点如下：

-与运动相关的解码(motion-associated decoding)；

-与亮度相关的解码(luminance-associated decoding)；

-在参考图像(它可以是启动帧内模式情况下存储的空白图像)的基础上进行亮度和运动补偿，而且它可以与下一点结合重复迭代(帧内模式)；

-依靠情况(帧内/帧间)而定的线性滤波和欠采样；

-与残差相关的解码(residue-associated decoding)，以及通过补偿进行的重建。

总的来说，将会注意到没有做出与现有的运动场有关的假设。因此它可以是通过最小二乘法或梯度法得到的块方式的、区方式的、密集的、精确或者不精确的。

本发明因此可以改进根据运动补偿对数字图像序列进行编码的现有方案。它使用了现有的处理过程(估算、运动补偿；显示数据的编码；残差的处理)，同时又独立于它们定义。

这非常适合通过区域或带(region or zone)仅利用预测数据而不再利用残差数据的新的编码方法。这将意味着用于判断是否对块或给定邻域或区域使用亮度数据的标准是与残差的质的方面相关联，也就是与在设想的应用中残差的利用程度相关。实际可以设想，例如根据对区域或带的编码的新技术，仅传输残差数据给某些图像，通过每n个图像采样一幅图像或者完全不传输该信息，然后解码器仅利用预测信息。

Claims (14)

1.用于对来自视频图像序列的数字数据进行编码的方法，它对要被编码的当前图像部分(segment)与从所谓的参考图像中预测的图像的相应部分之间的亮度差(7)进行编码，其特征在于，预测是参考图像的亮度值的亮度补偿(12)的函数。

2.如权利要求1所述的方法，其特征在于，要被编码的图像部分的编码是当前图像I(t+1)与前面的图像I(t)之间的帧间编码(inter coding)，并且在于所述前面的图像是参考图像。

3.如权利要求2所述的方法，其特征在于，亮度补偿(12)是根据亮度估算(5)进行的，亮度估算(5)是属于要被编码的当前图像部分的像素的亮度值的函数，亮度补偿还根据那些属于通过运动矢量匹配出的前面的图像部分的像素进行，所述运动矢量是根据运动估算器(5)计算出来的。

4.如权利要求1所述的方法，其特征在于，要被编码的图像部分的编码是当前图像I(t)的帧内编码(intra coding)，并且在于预测图像是根据参考图像I0通过连续迭代的方式计算出的，每个迭代过程包括滤波(16)、欠采样(17)、以及运动和亮度补偿(12)。

5.如权利要求4所述的方法，其特征在于，运动矢量是通过要被编码的当前图像I(t)部分与对当前图像I(t)的这部分进行滤波(1)和欠采样(4)得到的已滤波的图像I′(t)之间的相关性计算出的，并且在于亮度补偿(12)是根据亮度估算(5)进行的，亮度估算(5)依赖于属于要被编码的当前图像部分和属于根据运动矢量匹配出的图像部分的像素的亮度值。

6.如权利要求3或5之一所述的方法，其特征在于，亮度估算(5)包括对要被编码的实际亮度为q的当前图像部分的像素计算预测亮度 选择预测的亮度为线性依赖于经运动矢量匹配的图像部分的像素的亮度p，具有等式 对于要被编码的图像部分的像素，系数c_s和b_o是通过对 和q值的差值之和求最小值计算出来的。

7.如权利要求6所述的方法，其特征在于，图像部分是图像块，并且在于具有分量c_s和b_o的亮度矢量是在图像块一级被计算的。

8.如权利要求6或7之一所述的方法，其特征在于，系数的计算是根据最小二乘法进行的。

9.实现权利要求1的方法的装置，用于对来自视频序列的数字数据进行编码，包括：运动估算电路(5)，用于对两图像间运动矢量进行计算；运动补偿电路(12)，用于根据参考图像计算预测图像；减法器(7)，用于从当前图像减去预测图像从而计算被编码的残差(residue)，其特征在于，所述装置包括：电路(5)，用于估算两相同图像间的亮度；和亮度补偿电路(12)，接收来自亮度估算和运动估算电路(5)的信息，用于计算预测的图像。

10.如权利要求9所述的编码装置，其特征在于，亮度估算电路(5)估算要被编码的当前图像部分的像素的亮度，作为通过运动矢量匹配出的图像部分的像素的亮度的函数，并作为两图像部分之间亮度的全局差的函数。

11.用于对依照权利要求1的方法编码的数字数据进行解码的装置，用于从残差和预测图像中计算重建的图像，其特征在于包括电路(12)，用于补偿亮度，作为多个亮度估算信息项构成的亮度矢量的函数，用于计算预测图像。

12.如权利要求11所述的解码装置，其特征在于，在帧间模式中，亮度和运动补偿电路(12)计算预测图像，作为前面的重建图像、运动矢量和亮度矢量的函数。

13.如权利要求11所述的解码装置，其特征在于，在帧内模式中，从亮度和运动补偿电路(12)输出的信号被经过滤波器(16)和欠采样器(17)反馈回它的输入端，从而通过参考图像(I₀)的连续迭代计算出预测图像，迭代过程包括滤波、欠采样和作为亮度矢量和运动矢量的函数的补偿。

14用于传输通过对残差数据项进行编码所得到的压缩数据的信号，残差数据项是对预测图像和当前图像间亮度值之差的计算得出的，运动矢量场构成传输数据的一部分，其特征在于：它们还包括亮度矢量场，亮度矢量场是从经过运动矢量场匹配的图像部分的亮度值计算出来的。