CN1460231A - 视频编码方法 - Google Patents

Abstract

本发明涉及一种可应用于帧序列并且基于三维(3D)子波分解的视频编码方法，该分解利用的是对帧对的运动估计和补偿。该方法包括的步骤是：组织宏块结构以及块中由所述分解产生的子波系数，这些宏块由分辩率标记分离，每个块的尺寸适合该分解的最低近似子带；按照与每个块的位置和空间定向相关的预定顺序扫描每个3D宏块的系数；并且逐比特面编码所述扫描的系数。而且，所述编码步骤包括通过整体失真最小化的方式在宏块之间执行的整体比特率分配的子步骤。

Description

视频编码方法

本发明涉及一种可应用于帧序列并且基于三维(3D)子波分解的视频编码方法，该分解利用的是对帧对(couple)的运动估计和补偿，所述分解是一种子波变换，它把原始帧像素组变换为构成分层金字塔的系数，并且一种时空定向树用于定义所述分层金字塔内的时空关系，在该时空定向树中，根是以3D子波变换产生的近似子带的像素形成的，另外，这些像素中的每个像素的后代是以与这些根像素定义的图像体相对应的较高子带的像素形成的。

当前，在视频压缩领域中，尤其是在多媒体领域中，主要的研究方向是可测量性和逐级传输。利用这种功能，一个传输过程可以仅仅发送原始信号的一个子集，以实现所希望的级别的分辩率和/或保真度。最重要的信息被首先发送，随后它被尽可能地精炼(refined)，直至接收机所允许的带宽。嵌入比特流是要实现的另一个重要特征：由于有效传输的数据被有效地用于了重建尽可能多的信息，因此，编码和解码过程随后可用在一些可能会出现传输中断或信息损失的网络中。而且，解码比特流中较短的一部分所需的全部必要信息必须是自给自足的。

通过应用诸如比特面编码这样的众所周知的技术可实现上面提及的特点中的一些：最高有效比特面被首先编码，而且，在每次传送时，下面的比特面被传输。在这种逐级传输方案中，最高比特面可包括许多零值，而且它通过熵编码器可以得到很好地压缩。如果我们在静止图像的情况下对此作进一步地分析，那么使用子波分解将会产生良好的系数相关性，因而也会获得良好的压缩比。对于视频(运动图像)压缩方案来说，时间多分辩率分析可用来减少冗余，但它必须与运动估计(ME)和运动补偿(MC)技术相结合，目的是考虑到大的位移，并且也是为了提高编码效率。

分解过程可由图1所示的二叉树表示，图1所示为视频信息的时间子带分解。利用运动补偿的所示3D子波分解被应用到了标识为F1-F8的一组帧(GOF)。在该3D子带分解方案中，输入视频的每个GOF首先进行运动补偿(MC)，这样将允许处理具有大运动的图像序列，并在随后使用Haar子波进行时间滤波(TF)(虚线箭头对应的是高通时间滤波，而另一种箭头对应的是低通时间滤波)。图1显示了三级分解(L和H＝第一级；LL和LH＝第二级；LLL和LLH＝第三级)。

在这个时空分解过程之后，包含在低频子带中的数据通常呈现出高绝对值。这些值往往在向着最高频率扫描系数时减小。如果子波系数被重新排序而获得具有大致相同的数值的系数组的话，那么逐级编码会更有效。应用该原理可以获得较长行程的零值和更好的压缩比。

目前已有了用于产生这种系数组的有效算法。例如，所谓的“嵌入零-树子波(EZW)”方法就提供了在几个分辩率下具有强相关性的系数树。它利用的是以下的事实，即：如果在一个特定空间分辩率和位置的子波系数(所述的“父”系数)具有低于一个给定阈值的数值，那么其后代(最高分辩率和相同的空间位置)非常有可能也具有低于该阈值的数值。

另一种成组技术由A.Said和W.A.Pearlman在“一种基于分层树中的组分割(SPIHT)的快速有效的新型图像编解码器”(《关于视频技术的电路和系统的IEEE会刊》，vol.6，n°3，June 1996，pp.243-250)中提出，该技术直接基于EZW方法，但使用不同的成组处理。在任意一个特定比特面群聚零值系数时，这种方法非常有效，当与一种算术编码相结合时，该方法实际上就是已知的最有效的图像压缩算法中的一种。这种算法对视频序列的三维(3D)应用在“一种使用三维分层树组分割(SPIHT)的嵌入子波视频编码器”(《数据压缩会议会刊》，March 25-27，1997，Snowbird，Utah，USA，pp251-260)中进行了描述。尽管极其有效(该有效性在要编码数据的分析中考虑了它的源)，但该技术有一个非常明显的缺陷：它的实施方案的计算复杂性可能会是很大的限制。它需要非常多的时间和资源，因而难以直接把所述技术用在实时应用中，或者是在低成本的小型系统上实施。

在L.Bottou等人的“Z-编码器自适应编码器”(《数据压缩会议会刊》，Snowbird，Utah，USA，March 30-April 1，1998，pp18-32)中提出了一种效率较低但计算复杂性也较低的编码处理，它是另一种比特面编码方法。它在时空域中使用简单的相邻关系，而不是使用树来利用父-子关系并编码有效映射。随后，根据不同的数据，相邻系数被分为四种不同的“类型”。这些类型的系数或系数组通过基于Golomb码的长程编码器进行编码。应当指出，诸如长程编码器的熵编码器用以编码长行程的零值是有效的。这种行程可在逐比特面工作的逐级编码过程中产生，这是因为，两上连续的高数值系数可被分为几个低数值的系数。但是，在低频率下，几乎所有的子波系数都具有高数值，这是因为绝大多数的能量都是在此成组的。在已经提出的欧洲专利申请中已经提出了一种更为有效的计算方案，它把差分脉码调制(DPCM)用于编码呈现这种数值特性的子带，而不是在编码之前简单地减去子带的平均值。

以上介绍的技术的效率在要编码数据的分析中采用了它的源。但是，相应实施方案的复杂性有时会成为限制因素。

本发明的目的是提供另一种方法，根据该方法，编码过程的实施与数据无关。

因此，本发明涉及一种在说明书的序言部分中定义的编码方法，而且，其特征在于：为了获得SNR(信噪比)、时空分辩率可测的编码比特流，它包括以下的步骤：

(A)组织3D宏块结构以及块中的时空定向树的变换系数，这些宏块由分别与每个宏块的开始部分相关的分辩率标记分离，每个块的尺寸适合最低近似子带，该最低近似子带在最粗分辩率中包括所有变换系数，并且每个3D宏块内的所有块本身以属于一特定空间分解级的连续二维(2D)宏块组织并且针对一个特定时间分解级的所有帧而结成组；

(B)按照在每个块中由所述块的空间定向定义的预定顺序扫描每个3D宏块的系数，并且在一个宏块中是由在一个时间分解级的所有帧中具有相同位置的块的相关性所定义的顺序来进行相应的扫描；

(C)逐比特面编码所述扫描的系数。

所推荐使用的结构-逐级子波三维编码器-看来是一种用于获得嵌入可测视频编码方案的令人满意的方法，其主要功能将在随后作更详细的描述。

参考附图，本发明将以实例的形式详细描述，其中：

图1表示在使用运动补偿的3D子带分解中，视频信息(在此情况下是八个帧的组，或GOF)的时间子带分解；

图2表示每个时空子带中的每帧被分为块，并且在二维(2D)情况下宏块内的块搜索顺序；

图3表示在与第三空间分解相对应的宏块中的两帧情况下的块交错；

图4表示水平、垂直和对角线子带的扫描顺序；

图5表示一个宏块首部的结构；

图6表示比特流中的宏块结构；

图7表示GOF首部的结构；

图8是与本发明的一个实施例有关的流程图。

根据本发明的编码器的主要模块向所述编码器提供了以下一些功能：

(1)利用运动估计和运动补偿的3D子带分解；

(2)宏块组织，它用于根据系数的数值对这些系数进行重新排序：在时空树中的系数被结合成块，而且，在给定时间分辩率级的所有帧中，除了宏块0之外，宏块中的每个块均大致表示一个时空分辩率级中的详细子带的所有系数；

(3)宏块0中的矢量DPCM预测：具有特定统计特性的近似子带使用DPCM技术单独编码，目的是减少该子带的系数间的剩余相关性(预测误差利用与细节(detail)系数相同的算法进行编码)；

(4)宏块间的比特率分配，这是通过一种使整体失真最小化的算法来进行的；

(5)比特面编码：以预定顺序扫描的每个宏块的系数被逐比特面编码，在每个比特面级中要执行两个过程；

(a)有效映射编码：它使用一种自适应行程长度编码器，以用于编码在该级别变得有效的系数；

(b)精炼过程：此步骤的目的是使“0”行程的长度尽可能的长，每个块中的系数的扫描的实现遵循该块所属的子带中的细节的空间定向，而且，在较高一级中发现有效的系数的精炼比特不经过任何编码就被置于比特流中。

根据本发明的编码器首先包括一个宏块结构，它受到了H.S.Malvar的“快速逐级子波编码”(《数据压缩会议会刊》，Snowbird，Utah，USA，March 29-31，1999，pp336-343)中的相关内容的启发。从所述文献中呈现的结构开始，子波系数首先被组织为块。每个块的尺寸的选择要能够使其精确地符合最低近似子带，它在最粗分辩率下包括所有的子波系数(图2中的块0，图2表示每个帧被分成了块(0，1，2，3，4，5等)以及在2D情况下宏块内的所述块的扫描顺序)。

每个帧现在在每个时空子带中被分成块，由于数据的读取/群聚，读出这些块的方式将产生冗余，以确保提高压缩比。在利用比特面编码的逐级方案中，在给定比特面具有几乎相同的数值的数据(即，子波系数)自然存在一些冗余。子带被分成块，其目的是搜索一个接一个存在一些相似性的块；通常，这些块从相同的位置发出(要不然就假设在大多数情况下的子波系数在一个块中没有重要的变化)。在2D情况下，如图2所示，一帧中含有的块的扫描顺序在水平细节子带和垂直细节子带之间交替，在相同的分辩率级下以对角线细节子带(48，49，59等)结束；它考虑了系数的数值顺序。最粗的分辩率决定块的尺寸并以块0相配合。在这种2D的情况下，每个宏块表示一个空间分辩率精炼。宏块0是块0，被看作是一个特定时空级，宏块1包括块1-3，宏块2包括块4-15，而宏块3包括块16-63。

除了比特面重新排序之外，这种宏块结构必须允许空间和时间的可测量性。为了实现这种功能(即，把有关一个宏块的信息加到比特流中必须精炼空间和时间分辩率)，对于一个特定时间级的所有帧来说，一个宏块内的所有块属于一个特定的空间分解级(该宏块的空间分辩率)。因此，参考图2，通过在一个特定时间级的所有帧中把所有相应的2D宏块结成组可以简单地实现该宏块的3D扩展(此扩展可见图3，图3表示在与第三空间分解相对应的宏块中的两个帧的情况下的块交错)：例如，在2D情况下包含块16-63的宏块3包括第一帧中的块16-63、第二帧中的块16-63，对于剩余的帧来说，也如此类推。

为了在3D扩展时执行有效的嵌入，这些块的扫描顺序在每个帧之间交错，而不是要逐帧计算它们(例如，在第一帧中，第16个块被首先扫描，随后在第二帧中，第17帧以相同的方式被扫描，如此类推)，这将允许考虑一个确定时间级的不同帧之间的时间相关性以及系数的数值排序。而且，还建议利用空间子带的一些特性：例如，在水平细节子带中的两个水平连续系数可能具有相同的数值。为了考虑这种冗余，每个块内的系数的扫描由所述块的空间定向来确定：如图4所示，属于水平和对角线细节子带的块中的系数沿着水平方向扫描，属于垂直细节子带的块内的系数被垂直扫描。

上述的重新排序法基于对系数值的相当一般的假设，它完全与数据无关并且容易实现，而且还具有低复杂性。它的另外的特征在于下述的数据组织。

为了容易地实现分辩率的可测量性，就必须把每个空间和时间级分离。举例来说，如果要求重建小两倍的编码序列，则必须去除每个时间分辩率中的最高空间级。宏块由于其构成的原因而与一个特定的时空级相对应，因此，为了提供可测量的特性，每个宏块要通过以一个标记来标识其开始部分来区分，即具有在比特流的剩余部分中不允许的唯一的顺序。图5表示一个宏块首部的结构，如图5所示，允许实现可测量比特流的该分辩率标记在本例中以首部的前17个比特来表示：1比特的“1”和16比特的“0”。

该分辩率标记之后是被称为Nbits_Y和Nbits_C的两个比特数。将在随后进行解释的这些数目表示用于编码亮度Y和色度C(U或V)的比特面数。它们也表示用于编码分别用于亮度和色度的一个宏块内的任意子波系数的总比特数。它们的值如下计算： $\mathrm{Nbits}\_Y=\left[{\log }_2\right(\underset{B_T}{\max }|\mathrm{coef}\_Y|\left)\right]+1$ $\mathrm{Nbits}\_C=\left[{\log }_2\right(\underset{B_U\∪B_Y}{\max }|\mathrm{coef}\_C|\left)\right]+1$

其中，函数x→[x]映射数值x至其整数部分，并且Ey，Eu，Ev分别是当前宏块中的Y，U，V平面的系数集合。由于这些值只涉及一个宏块，因此，它们被附加在比特流首部中的宏块标记之后的位置上。编码这两个值所需的比特数由于宏块的不同而会有所不同，通常，对于最低时空频率子带来说，该比特数较高。

如果仅仅编码子波系数的整数部分，那么在非常高的比特率下也不可能容易地获得良好的PSNR(峰值信噪比)，正因如此，其精度可通过在其编码之前以每个子波系数乘以一个常数值来精炼，该常数值分别是用于亮度和色度平面的C_Y和C_C。通过调节这两个常数值可以确定子波系数的最大精度(例如，如果C_Y等于16，则Y的系数被化整为最接近1/16)。利用这些常数，Nbits_Y和Nbits_X的值变为： $\mathrm{Nbits}\_Y=\left[{\log }_2\right(\underset{B_T}{\max }|\mathrm{coef}\_Y|\left)\right]+\left[{\log }_2\right|C\_Y\left|\right]+1$ $\mathrm{Nbits}\_C=\left[{\log }_2\right(\underset{B_U\∪B_Y}{\max }|\mathrm{coef}\_C|\left)\right]+\left[{\log }_2\right|C\_C\left|\right]+1$

用于编码这两个值的比特数“n”也可以根据每个子波系数希望的精度的不同而有所变化。在本实施例中，4比特足以进行精度为一的编码，5比特可用于1/16的精度；通常，8比特足以用于任意的实施方案。无论是怎样的情况(即，把Nbits_Y和Nbits_C看作是有或没有进行精炼)，在小子波系数的情况下(通常在高频子带)，这些值都表示用于仅仅编码Y和C的相关数据所需的比特面，同时又避免了在宏块开始时的无用的长行程零值。

至于数据本身(通过逐级比特面编码产生)，它们附加在比特流中紧接着首部之后的位置上。由于主要的限制是比特率的可测量性(以能够使用不同于编码图像序列时的比特率将其解码)，因此，三种彩色面(Y-平面，U-平面，V-平面)的嵌入通过彩色面与块组的交错而在一个宏块中执行。比特流中的这种宏块和块结构在图6中示出，在一个宏块有n块k帧的情况下，详细的结构如下：所述图6的第一行表示Y，U和V-平面的嵌入(利用Y，U和V数据间的结束比特EB)，第二行详细表示Y数据的内容(比特面B的连续行程长度码RLC(B)，以及相应的精炼比特REF(B)；随后是RLC(B-1)和REF(B-1)；......；RLC(B-N))，第三行表示块0-n，对于它们来说，这些行程长度码和相应的精炼比特是已知的，第四行表示每块(0，1，2，......，n)的帧0-k。

由于编码步骤是自适应的，所以并不能确切知道有多少个比特在下一次比特被编码时将附加在比特流上，但至少可以确定在编码(和解码)处理的任意一级的最大比特数，它等于k+2。为了执行良好的比特率控制，如果有足够的预算来至少编码必须附加的下一个RLR码的(k+2)个比特时，那么每次编码RLR码时最好进行检验。如果情况并不是这样，则可附加无用的比特(它被称作“结束比特EB”)，以便对最近的比特执行比特控制。

在开始编码一组帧(GOF)的开始部分时，可以考虑其它一些特点。实际上，我们必须能够分离每个宏块和每个GOF。除了包含最粗时空分辩率之外，其首部还必须包括所有GOF所需的信息(在线性预测的情况下，在解码器侧，预测系数是必须的)。而且，在尽可能正确解码该信息时，我们必须准确地确定编码每个宏块的信息所用的比特率，并且它们中的每一个的方差也在GOF的首部中传输(所述方差不能附加在比特流中前面所述的首部中，这是因为，用于确定比特率的方法需要所有宏块的方差)。所述GOF首部在图7中示出。

另外，前面所述的宏块的标记可用来表示前个宏块的结束和一个新宏块的开始。为了区分宏块的开始和GOF的开始，可以注意到，最不可能具有只包含零值的宏块。除了Nbits_Y和Nbits_C被自动设置为零以外，被选择用于标记GOF开始的结构与宏块的标记相同。GOF标记的检测的实现几乎与宏块相同：一旦遇到一个标记，则Nbits_Y和Nbits_C的一个简单检验就可以表明是一个宏块还是一个GOF的开始。

如此提出的编码方法也可通过简化预算分配得到改进。为了进行这种简化，受到前面提及的文献“快速逐级子波编码”中所述的相应部分启发的宏块结构被介绍并应用到3D子波分解中。这种宏块结构的主要特点在于排列数据的顺序以在熵编码期间获得较好的压缩比，下面将描述该宏块结构。首先，子波系数被组织为“块”。每个块的尺寸的选择要使其精确地适合于最低近似子带，该最低近似子带在最粗分辩率下包含所有子波系数。因而，在每个时空子带中的每一帧被分为块。读取这些块的方式将会产生冗余：在使用比特面编码的逐级方案中，可以注意到，在一个给定的比特面，具有几乎相等的数值的数据自然呈现出一些冗余。子带被分成块，其目的是扫描一个接一个呈现出某些相似性的块。通常，这些块从相同的空间位置发出。否则就假设在大部分情况下的子波系数在一个块中不出现重要的变化。这些块的扫描顺序在水平细节子带和垂直细节子带之间交替，它结束于相同分辩率级下的对角线细节子带。这个顺序考虑了系数的数值排序。最粗分辩率确定块的尺寸并且适合于块0。在这种2D情况下，每个宏块表示一个空间分辨率精炼。宏块0是块0(被看作是一个特定的时空级)。

除了比特面重新排序之外，该宏块结构的第二个主要特点是允许空间和时间的可测量性。为了实现这种功能，主要的一点就是：把与一个宏块有关的信息加到比特流中必须要精炼空间和时间分辩率。因此，对于一个特定时间级的所有帧来说，一个宏块内的所有块属于一个特定的空间分解级(该宏块的空间分辩率)。以此方式，通过在一个特定时间级的所有帧中把所有相应的2D宏块结成组可以简单地实现宏块的3D扩展。例如，在2D情况下包含块16-63的宏块3包含第一帧的块16-63、第二帧的块16-63，对于剩余的帧来说，也如此类推。

为了在3D扩展时执行有效的嵌入，这些块的扫描顺序随后在每个帧之间交错，而不是要逐帧计算它们，这将允许考虑一个确定时间级的不同帧之间的时间相关性以及系数的数值排序。上面提出的重新排序法完全与数据无关，而是仅仅基于关于系数数值的相当一般的假设。利用这种方式，并不能获得与3D-SPIHT所实现的相同的效率。但是，这种方法的长处在于它易于实施，并且算法的复杂性低。

比特分配在下述两级中进行：

     -首先，整体比特预算在Y，U和V平面之间分配；

    -第二，对于每个彩色平面来说，剩余的比特预算在宏块

之间分配。

(a)彩色面之间的比特分配

如上所述，色度面的分辩率比亮度面的分辩率小两倍(尺寸除以4)。而且，在这些面中存在的空间细节较少。因此，编码色度系数所需的比特预算远小于亮度系数所需的比特预算。如果在编码过程中考虑到亮度和色度的相关性，则还可以进一步简化。为了确定彩色平面之间的最佳比特分配，以下的方法可以被使用：整体比特预算R在Ry，Ru，Rv之间分配，Ry，Ru，Rv分别是Y，U和V平面的比特预算。

R＝R_Y+R_U+R_V，其中，R_Y＝α·R且 $R_U=R_Y=\frac{1-\mathrm{\α}}{2}\·R$

参数α∈[0，1]控制该分配过程(其最佳值通过一种二分法确定：在本例中，测试表明它可在0.6到0.9之间变化)。

(b)宏块之间的比特分配

现在描述的算法给出了一种用于分配每个宏块的比特预算的方法，目的是尽可能减小编码过程中的整体失真。现在示出以下的一些标记：

- ‘N’是整个GOF的像素数(或者，也可以是这些宏块的系数数目之和)；

- ‘M_i’是第i个宏块，‘σ₁’是M_i的方差，‘n_i’j其包含的点数，‘b_i’是这个第i宏块中使用的每个系数的比特数，而‘I’是宏块数；

-‘D_i’是M_i的失真，‘D_g’是所有宏块的整体失真。设定宏块M_i的均匀量化，则该宏块的失真‘D_i’由下式计算：

D_i＝σ_i·2^-2·bi

整个编码过程的整体失真‘D_g’计算如下： $D_g=\underset{j\⊆I}{\mathrm{\Σ}}{D}_j=\underset{j\⊆I}{\mathrm{\Σ}}{\mathrm{\σ}}_j\·2^{-2\·b_j}$

编码序列的整体比特率 计算如下： $\stackrel{\‾}{b}=\underset{j\⊆I}{\mathrm{\Σ}}\frac{b_j\·n_j}{N}$

通过使用拉格朗日乘数的方法，可以写出要被最小化的标准，即： $J_{\mathrm{\λ}}=D_g+\mathrm{\λ}\·(\underset{j\⊆I}{\mathrm{\Σ}}\frac{b_j\·n_j}{N}-\stackrel{\‾}{b})$

由于对每个宏块预算没有任何限制，因此这将简化为一种熟知的比特分配法，它的解如下： $\widetilde{R_K}=\stackrel{\‾}{b}+\frac{1}{2}\·{\log }_2\left(\frac{{\mathrm{\σ}}_k^2}{\underset{K=1}{\overset{1}{\mathrm{\Π}}}{\left({\mathrm{\σ}}_k^2\right)}^{\frac{n_g}{N}}}\right)$

在目前的情况下，直接应用该方法将会产生非常差的结果，尤其是在低比特率的情况下(事实上，大部分宏块分配了负预算)。为了克服此问题，就要通过增加额外的限制来改变优化标准，这对该解是有积极意义的。该标准变为： $J_{\mathrm{\λ}}=D_g+\mathrm{\λ}\·(\underset{j\⊆I}{\mathrm{\Σ}}\frac{b_j\·n_j}{N}-\stackrel{\‾}{b})/\∀j\∈I,b_j\≥0$

最后，在下文描述(且在图8中示出)且应用于上述宏块组织(MB-ORG)的算法给出了建议采用的解，它与后一个公式有关：

1.在计算所述方差之后(步骤CPVAR)，以降低的方差来对宏块进行排序(步骤DCVA)

+∞≥σ₁≥σ₂≥...≥σ_I≥0

2.设1＝1

3.计算M₁(步骤CPML)和λ₁(步骤CPLD)：

公式1 ${\mathrm{\λ}}_l=-2\·\log \left(2\right)\·2^{\frac{-2\·N}{M_l}\·\stackrel{\‾}{b}}\·\underset{k=I}{\overset{l}{\mathrm{\Π}}}\left[{\left({\mathrm{\σ}}_k^2\right)}^{\frac{n_i}{M_l}}\right]$ 其中 $M_l=\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{n}_i$

4.如果λ₁证实了下面的不相等性(步骤TSTLD)

公式2 $-2\&CenterDot;\log \left(2\right)\&CenterDot;{\mathrm{\&sigma;}}_l^2<{\mathrm{\&lambda;}}_l\&le;-2\&CenterDot;\log \left(2\right)\&CenterDot;{\mathrm{\&sigma;}}_{l+1}^2$

那么设1＝1+1(回答YES)，并且到达步骤0(直至最大值)。

5.如果对该检验的回答是NO，则使用下面的公式计算每个宏块k的比特数 (步骤CPBBM)：

公式3

Claims (10)

1.一种可应用于帧序列并且基于三维(3D)分解的视频编码方法，该分解利用的是对帧对的运动估计和补偿，所述分解是一种子波变换，它把原始帧像素组变换为构成分层金字塔的系数，并且一种时空定向树用于定义所述分层金字塔内的时空关系，在该时空定向树中，根是以3D子波变换产生的近似子带的像素形成的，另外，这些像素中的每个像素的后代是以与这些根像素定义的图像体相对应的较高子带的像素形成的，所述方法的特征在于：为了获得SNR(信噪比)、时空分辩率可测的编码比特流，它包括以下的步骤：

(A)组织3D宏块结构以及块中的所述树的变换系数，这些宏块由分别与每个宏块的开始部分相关的分辩率标记分离，每个块的尺寸适合最低近似子带，该最低近似子带在最粗分辩率中包括所有变换系数，并且每个3D宏块内的所有块本身以属于一特定空间分解级的连续二维(2D)宏块组织并且针对一个特定时间分解级的所有帧而结成组；

(B)按照在每个块中由所述块的空间定向定义的预定顺序扫描每个3D宏块的系数，并且在3D宏块中是由在一个时间分解级的所有帧中具有相同位置的块的相关性所定义的顺序来进行相应的扫描；

(C)逐比特面编码所述扫描的系数。

2.根据权利要求1的编码方法，其特征在于该比特面编码在两个步骤中执行：

(a)第一个步骤执行有效映射编码操作，涉及到在所考虑的比特面中变为有效的系数；

(b)第二个步骤执行精炼操作，以在不进行额外编码的情况下传输已经有效的系数的精炼比特。

3.根据权利要求1或2任意之一的编码方法，其特征在于，在所述编码步骤之前，通过整体失真最小化的方式还在3D宏块之间执行整体比特率分配子步骤。

4.根据权利要求3的编码方法，其中所述整体比特率分配子步骤本身包括的操作有：

在三个亮度和色度面Y，U，V之间分配整体比特预算R；

对于每个彩色面Y，U，V来说，在3D宏块之间分配剩余的比特。

5.根据权利要求4的编码方法，其中，根据以下的关系，整体比特预算R被分成与三个平面Y，U，V分别对应的三个比特预算R(Y)，R(U)，R(V)：

R＝R(Y)+R(U)+R(V)

R(Y)＝α·R

R(U)＝R(V)＝((1-α)/2)R

α∈[0，1]。

6.根据权利要求5的编码方法，其中用于控制三个平面之间的比特预算分配的参数α的最佳值在[0.6-0.9]之间，并且通过一种整体二分法来确定。

7.根据权利要求4的编码方法，其中所述剩余比特预算根据下面的操作在3D宏块之间分配：

         (a)计算每个3D宏块的方差；

         (b)按照减少的方差对所述3D宏块进行分类；

         (c)为了寻找每个3D宏块的最佳速率而执行下面的迭代过程；

(1)在1＝1时初始化处理过的3D宏块数；

(2)根据下面的关系计算拉格朗日λ(1)： ${\mathrm{\&lambda;}}_l=-2\&CenterDot;\log \left(2\right)\&CenterDot;2^{\frac{-2\&CenterDot;N}{M_l}\&CenterDot;\stackrel{\&OverBar;}{b}}\&CenterDot;\underset{k=I}{\overset{l}{\mathrm{\&Pi;}}}\left[{\left({\mathrm{\&sigma;}}_k^2\right)}^{\frac{n_i}{M_l}}\right]$ 其中 $M_l=\underset{i=1}{\overset{l}{\mathrm{\&Sigma;}}}{n}_i$

(3)验证λ(1)是否满足下面的关系： $-2\&CenterDot;\log \left(2\right)\&CenterDot;{\mathrm{\&sigma;}}_l^2<{\mathrm{\&lambda;}}_l\&le;-2\&CenterDot;\log \left(2\right)\&CenterDot;{\mathrm{\&sigma;}}_{l+1}^2$

(i)如果验证的结果是YES，则把步长1加1(即1＝1+1)并返回至(2)；

(ii)如果回答是NO，则3D宏块的最佳数被化整，并且它们各自的预算通过下面的两个关系获得：

对于k{1，…，1}对于k{l+1，…，1}

8.存储在计算机可读存储介质中的计算机可执行处理步骤，用在一种接收帧序列并且基于三维(3D)子波分解的视频编码器中，该三维子波分解利用的是对帧对的运动估计和补偿，所述计算机可执行处理步骤用于编码所述帧并包括以下步骤：组织宏块结构以及块中由所述分解产生的子波系数，这些宏块由分辩率标记分离，每个块的尺寸适合该分解的最低近似子带；按照在每个块中由空间定向定义的预定顺序扫描每个3D宏块的系数，并且在3D宏块中是由在一个时间分解级的所有帧中具有相同位置的块的相关性所定义的预定顺序来进行相应的扫描；并且，逐比特面编码所述扫描的系数，所述编码步骤包括通过整体失真最小化的方式在3D宏块之间执行的整体比特率分配的子步骤。

9.用于视频编码器中的计算机程序产品，用于根据一组指令编码帧序列，当把该组指令装入所述编码器中时，它将会执行权利要求8所要求保护的处理步骤。

10.根据一种编码方法编码帧序列而产生的可传输编码信号，该方法包括的步骤是：组织宏块结构以及块中由所述分解产生的子波系数，这些宏块由分辩率标记分离，每个块的尺寸适合该分解的最低近似子带；按照与每个块的位置和空间定向相关的预定顺序扫描每个3D宏块的系数；并且，逐比特面编码所述扫描的系数，所述编码步骤包括通过整体失真最小化的方式在3D宏块之间执行的整体比特率分配的子步骤。

Images