CN1395800A - 视频解码方法和相应的解码器 - Google Patents

Abstract

本发明涉及一种解码包括基础层和增强层编码视频信号的视频比特流的方法，所述的方法包括解码基础层和增强层编码视频信号从而产生解码基础层帧和解码增强层帧，以及单独显示解码基础层帧或者和解码增强帧一起共同显示。根据本发明，要被显示的每一个基础层的差质量的帧将会被或者通过在所述的基础层差质量的帧之前或之后的两个增强层帧之间的内插所得的帧代替，或者被这两帧中的一帧所替代，例如时间上最接近的那一帧。

Description

视频解码方法和相应的解码器

本发明一般涉及视频解压缩，尤其是涉及一种用于解码包括基础层编码的视频信号以及增强层编码的视频信号的视频比特流，并产生或者仅与基础层信号相对应从而被单独显示的解码信号，或者与基础层信号和增强层信号相对应从而共同显示的解码信号的解码方法。它还涉及一种相应的视频解码器。

在一个应用MPEG-4标准(所述的标准例如在文章“MPEG-4版本1标准的概述”中被描述，ISO/IEC JTC1/SC29/WG11 N1909，1997年10月，Fribourg)的编码器中，使用了三种类型的图像：内编码图像(I)，独立于其它的图像进行编码，预测编码图像(P)，通过运动补偿预测根据前一个参考图像(I或P)进行预测，以及双向预测编码图像(B)，根据前一和接下来的参考图像(I或P)进行预测。I图像是最重要的，因为它们是参考图像并能够提供入点(在比特流中)，在该点解码可以不参照任何先前的图像而进行(在这样的图像中只有空间冗余被消除)。为了既减少空间冗余，又减少时间冗余，P图像提供了一个比仅减少空间冗余的I图像更好的压缩。B图像提供了最好的压缩程度。

在MPEG-4中，使用了几种结构，例如视频对象(VO)，它们是用户可以访问和操作的实体，以及视频对象平面(VOP)，它们是在一个给定时间的视频对象的实例。在一编码比特流中，可以发现几种不同类型的VOP：内编码VOP，仅使用空间冗余(就比特而言是最昂贵的)，预测编码VOP，根据前一参考VOP使用运动估计和补偿，以及双向预测编码VOP，根据前一以及接下来的参考VOP使用运动估计和补偿。

对于P-VOP以及B-VOP，只有当前的VOP以及它的参考VOP(s)之间的差才被编码。只有P-和B-VOP涉及到运动补偿，根据所谓的“块匹配法则”执行：对于当前帧的每个宏块，在预定的搜索区域内寻找参考VOP中最匹配的宏块，并且计算一个运动矢量MV。下面通过绝对差的和(SAD)给出了类似的标准。对于一个N×N宏块，SAD被表示为： $\mathrm{SAD}=\underset{i=0}{\overset{\mathrm{NxN}}{\mathrm{\Σ}}}|A\left(i\right)-B\left(i\right)|$

这样，选中的宏块就与在一个搜索区域中计算出来的SAD最小的块相对应。对于所述的估计，存在不同的模式，这依赖于VOP的类型：

(a)对于P-VOP宏块，只有“前向模式”适用(使用前面的参考I-VOP或者P-VOP)

(b)对于B-VOP宏块，在宏块估计中可以使用四种模式：

-“前向模式”，(如对于P-VOP)；

-“后向模式”：如前向模式，只是参考不再是前面的图像，而是接下来的P-或I-VOP；

-“内插模式”或“双向模式”：它包括前向和后向模式并且使用前一以及接下来的VOP；

-“直接模式”，每一运动矢量的计算都源于接下来的参考VOP的运动矢量以及不同的VOP之间的时间距离。

在MPEG-4中，提供一个非常重要的功能，可伸缩性。

可伸缩编码，也被称为“可分层编码”，允许以这样的方式产生一个编码表示，从而使得能够进行可伸缩解码操作。可伸缩生是允许对数据的合适子集进行解码的比特流特性，这导致了分辨率和/或质量与解码比特流的比例相适应的完整图像的产生。这样的功能在许多需要视频序列以各种分辨率和/或质量和/或复杂生上同时获得的应用中是非常有用的。实际上，如果比特注可分级，用户可以根据他的解码器或者显示器，或者根据他的可用带宽仅访问它的一部分从而提供基础的视频，而其它的用户可以使用整个比特流从而产生一个较好的视频质量。

可伸缩性，就编码过程而言，成本要低于几个独立的比特流被编码的解决方案，其优势在于，它允许将一个比特流至少分成两个不同的比特流(并且，其中，一个的比特率要大于另一个)来提供。因此可伸缩性的每一种类型要涉及一个以上的层。在时间可伸缩的情况下，至少要考虑包括一个低级层以及一个高级层的两层。低级层被称为基础层，以一个给定的帧速率进行编码，另外的层被称为增强层，被编码以提供在基础层中失去的信息(为了形成一个具有较高帧速率的视频信号，例如在文章“MPEG-4视频标准的细粒度可伸缩概述”的图4所述的情况，W.Li，IEEE视频技术的电路与系统学报，vol.11，n°3，2001，3)并且在显示端提供较高的瞬时清晰度。一个解码器可以仅解码与解码视频流所需的最小数量数据相应的基础层，或者也解码增强层(除了基础层)，如果与相应基础层的数据相关，所述的增强层与提供一个增强视频信号所需的附加数据相应，并且如果需要一个更高的分辨率就每秒输出更多的帧。

但是在解码端，存在着在基础层显示的图像与增强层显示的图像之间较大的质量差别的情况，例如在每一层可用的带宽不同的时候。在那种情况下，由于闪烁的影响，解码序列的主观质量是非常低的，即使仅有少部分帧(基础层的帧)与序列的平均质量相比具有较低的质量。

因此本发明的一个目的是提供-种能够改进解码序列的显示质量的视频解码方法。

为此，本发明涉及一种例如在本说明书的介绍段落中所述的解码方法，它包括以下步骤：

-解码基础层编码的视频信号从而产生解码的基础层帧；

-解码增强层编码的视频信号从而产生解码的增强层帧；

-单独显示解码的基础层帧或者和解码的增强层帧一起共同显示从而形成视频帧；

所述的方法其特征在于显示步骤本身包括：

-判断子步骤，用于根据给定的标准检查将被显示的连续基础层帧的每一帧的质量并且选出质量差的帧；

-替换子步骤，用于利用在所述的质量差的基础层帧之前的和之后的两帧增强层帧中的至少一帧来替换每一个质量差的基础层帧。

现将参照其中示出了用于编码和解码视频序列的系统的一般设备的附图1，更为详细地说明本发明。

图1中示出了通常用于执行视频序列的编码和解码的系统。所述的系统包括一个视频编码部分1，一个视频解码部分3以及在它们之间的传送介质2，编码部分1包括一个视频帧信号源11，用于产生未压缩的视频帧，一个视频编码器12，用于编码从信号源11接收的帧，以及一个编码缓冲器13。在编码器12中，以一个给定的帧速率输入的未压缩视频帧根据MPEG-4标准的原则被编码并被传送到编码缓冲器13，在其输出端，存储的、编码的帧被发送到传送介质2

在解码端，传送的编码帧被视频解码部分3所接收，视频解码部分3包括一个解码缓冲器14，一个视频解码器15以及一个视频显示器16。解码缓冲器14接收并存储传送的编码的帧并且通常以同样的帧速率将它们传送到视频解码器15来对这些帧进行解码，解码的帧然后被发送到视频显示器16显示它们。

在目前的可伸缩编码配置的情况下，视频编码器12包括一个基础层编码部分，它从信号源11接收与原始的视频信号相对应的帧，并且编码这些帧从而产生一个基础层比特流，发送到编码缓冲器13，以及一个增强层编码部分，它一方面接收与原始视频信号相对应的帧(从信号源11)，一方面接收源于在基础层比特流中传送的编码帧的解码帧。该增强层编码部分以增强层编码比特流的形式产生一个剩余信号，它表示在基础层帧中丢失的图像信息并且因此可以被加到基础层比特流中。

相反的，在解码端，视频解码部分3的解码器15包括处理电路，用于接收编码的基础层比特流以及编码的增强层比特流，并向视频显示器16发送或者与基础层信号相对应的解码的信号，用于单独显示，或者与增强层信号和基础层信号一起相对应的解码的信号，用于共同显示。

在一些条件下，例如当对于每一层来说可用的带宽是不同的时候，可以看出从基础层显示的图像与从增强层显示的图像之间的较大的质量差别。在这样的情况下，由于闪烁的影响，显示的解码序列的主观质量将是低的，即使仅有基础层中的几帧图像具有低于序列中的平均水平的质量。如果所述的基础层的低质量的图像不被显示，而由增强层中的图像所替代，这样的缺点就会被避免

这些替换帧可以是例如由增强层的前一帧或者后一帧内插所得的帧。这些替换帧也可以是通过拷贝前一或者后一帧所得的帧，例如时间上最接近的帧。

为了判断解码帧是否具有一个可被显示的质量，需要定义一个质量标准。例如，可以存储和比较连续帧的量化步长：在具有一个与其它先前的或者后面的帧显著不同的所述量化步长的帧的情况下，所述的帧很可能具有较差的质量。另一标准可以是这样的。将每一帧分成8*8的块，检查所述块的边界纹理梯度：如果所述梯度在一个特定基础层帧中非常高，所述的帧就被看作是具有一个差的质量而不被显示。

应该明白，上面描述的视频解码器能够采用硬件或者软件来实现，或者通过硬件与软件的结合来实现。然后可以通过任何类型的计算机系统或者其他适于执行上述方法的装置来实现，包括例如一个存储器，存储计算机可执行处理步骤，以及一个处理器，用于执行存储在存储器中的处理步骤从而产生将被显示的解码帧。一个典型的硬件与软件的结合是通用计算机系统和计算机程序，当程序被装载和执行时，控制计算机系统从而执行上述的方法。此外，可以利用一个包括用于执行本发明的一个或者多个功能的特定硬件的特定用途计算机。本发明也可以被嵌入到一个计算机程序介质或者产品中，它包括能够执行上面描述的方法和功能的所有特征，以及当被装载到一个计算机系统时，它能够执行这些方法和功能。本发明也涉及存储在这样的计算机可读介质或产品上的、并且用于执行所述的视频解码方法的计算可执行处理步骤。计算机程序，软件程序，程序，程序产品或者软件，在本文中的意思是一组指令的任何语言、编码或者符号的任何表达，该组指令使得一个具有信息处理能力的系统直接或者在下面的两者之一或全部完成以后执行一个特定的功能，(a)转换成其它语言，编码或者符号，和/或(b)以一个不同的物质形式再现。

前面对本发明的描述是为了举例和说明并不是穷举，也不是将发明限制在公开的精确形式中，在上面的指教下可以做出各种变形。这样的变形对于本领域的技术人员来说是明显的，应当包含在本发明的范围内。

Claims (4)

1.一种用于视频解码器的对视频比特流进行解码的方法，所述视频比特流包括基础层和增强层编码视频信号，所述视频解码器包括处理电路，它能够从传送和/或存储介质中接收本身包括所述基础层编码视频信号和增强层编码视频信号的所述视频比特流，并解码所述比特流，从而产生或者仅与基础层信号相对应的、用于单独显示的解码信号，或者与基础层和增强层信号相对应的、用于共同显示的解码信号，方法包括以下步骤：

-解码所述基础层编码视频信号从而产生解码的基础层帧；

-解码增强层编码视频信号从而产生解码的增强层帧；

-单独显示所述解码的基础层帧或者和所述解码的增强层帧一起共同显示从而形成视频帧；

所述方法其特征在于所述显示步骤本身包括：

-判断子步骤，用于根据给定的标准检查将被显示的连续基础帧的每一帧的质量并且选出质量差的帧；

-替换子步骤，用于利用在所述质量差的基础层帧之前的和之后的两帧增强层帧中的至少一帧来替换每一个质量差的基础层帧。

2.如权利要求1所述方法，其特征在于每一个质量差的基础层帧被时间最接近的所述增强层的所述之前的和之后的帧所替代。

3.如权利要求1所述方法，其特征在于所述质量差的基础层帧被通过在所述增强层的所述之前的和之后的帧之间的内插所得的帧替代。

4.一种视频解码器，用于解码包括基础层编码视频信号和增强层编码视频信号的视频比特流，其中所述增强层包括以显示顺序排列的增强帧，所述解码器包括：

-第一解码装置，用于产生解码的基础层帧；

-第二解码装置，用于产生解码的增强层帧；

-显示装置，用于显示所述解码的基础层和增强层帧，其中要被显示的基础层的每一质量差的帧都被或者通过在所述基础层质量差的帧之前和之后的两个增强层帧之间的内插获得的帧所替代，或者仅由这两帧中的一帧所替代。