CN1633814A - 存储器带宽效率高的精细可分级(fgs)编码器 - Google Patents

Abstract

一种用于进行精细可分级编码的方法和设备。为图像帧中每一个单独的变换块都重复(600)执行以下步骤。其中为相应的变换块分解(602)相应的多个剩余系数。在分解图像帧中下一个变换块(410，411)的系数之前，为相应的变换块(400，401)处理相应的多个位平面(b，b+1)或是离散量化步长。

Description

存储器带宽效率高的精细可分级(FGS)编码器

发明领域

本发明涉及一种精细可分级(FGS)编码器的实现。

发明背景

网际协议(IP)网络上的视频流式传输允许进行各种各样的多媒体应用。因特网视频的流式传输则提供了实时的连续媒体内容传递和显示，同时对因特网上服务质量(QoS)保证的匮乏进行了补偿。由于IP网络上的带宽和其他性能参数(例如分组丢失率)会发生变化并且具有不可预测性，因此一般来说，目前提出的大多数流式解决方案都是基于某种分层(或可分级)视频编码方案。

目前有几种视频可分级方法为MPEG-2、MPEG-4和H.263之类的视频压缩标准所采用。在这些标准中定义了时间、空间和质量(SNR)可分级类型。所有这些类型的可分级视频都包括一个基本层(BL)以及一个或多个增强层(EL)。通常，可分级视频流的BL部分表示的是对所述流进行解码所需要的最少数据量。而视频流的EL部分则表示附加信息，因此在接收机执行解码时增强了视频信号的显示。

精细可分级性(FGS)是一种新近由MPEG-4标准选定用于流式应用的全新视频压缩框架。FGS能够支持多种带宽变化的场景，其中这些场景通常表征的是基于IP的网络，尤其是因特网。使用这类可分级编码的图像可以通过渐进方式来进行解码。也就是说，解码器可以在接收到非常少量的数据之后就解码并显示图像。随着解码器接收到更多数据，解码图像的质量将会逐渐提高，一直到接收、解码和显示了完整的信息。在这些领先的国际标准中，渐进式图像编码是在JPEG以及MPEG-4视频的静止图像纹理编码工具中得到支持的模式之一。

EL使用了一个渐进式(嵌入式)编解码器来压缩SNR以及时域剩余数据。这样一来，FGS剩余信号是以逐个位平面的方式来压缩的，其中该压缩是从最高有效位平面开始并在最低有效位平面结束的(参见图1和2)。

图1是一个显示了穿越整个帧而从最高有效位平面(MSB)100到最低有效位平面(LSB)102的渐进式(一个位平面接一个位平面)编码的常规次序的图示。尽管在这里只显示了一个单独的中间位平面101，但是也可以对任何数量的中间位平面进行编码。

图2是一个显示了FSG增强层剩余DCT系数的扫描顺序的图示。该扫描始于MSB 100并且朝着LSB 102进行。在图2中仅仅显示了位平面100和101的代表性部分。每一个8×8的位平面块200～204、206、210、211、214都是使用常规的Z字形模式来进行扫描，该扫描始于块的左上角并且结束于所述块的右下角。在这里使用术语“位平面块”来表示与单个的块相对应的单个位平面内部的一部分剩余数据。

以四个一组(宏块)的方式扫描该位平面块，从左上角开始并以顺时针的方式继续进行。这个扫描始于第一个位平面。连接箭头则显示了所述顺序：在扫描到块200的右下角之后，扫描继续进行到块201的左上角。扫描从块201的右下角开始进行到块202的左上角。扫描从块202的右下角开始进行到块203的左上角。扫描从块203的右下角开始进行到始于块204左上角的下一个宏块。在对于整个帧完成了第一个位平面的扫描之后，将会开始对同一帧的第二个位平面进行扫描。更具体地说，对每个位平面b＝1、2、......、m，在下一个位平面b+1的第一个块开始之前，在位平面b的所有块k＝1、2、......、n中扫描剩余数据。

图3显示的是一个用于基本层和增强层的现有技术的FGS编码器300。图3显示了基本层编码器302和增强层编码器304的功能架构的一个实例。尽管图3显示的是基于DCT变换的编码操作，但是也可以使用其他变换(例如小波)。

基本层编码器302包括一个DCT块306、一个量化块308以及一个从初始视频中产生部分BL流的熵编码器310。此外，基本层编码器302还包括从初始视频中产生两组运动矢量的运动估计块320。其中一组运动矢量对应于基本层帧，而另一组则对应于时间增强帧。此外，在这里还包含了一个用于复用基本层运动矢量和BL流的复用器(未显示)。

如图3所示，基本层编码器302还包括一个逆量化块312、一个逆DCT块314、运动补偿块316以及帧存储器318。

如图3所示，EL编码器304包括一个用于保存剩余图像和MC剩余图像的DCT剩余图像块350。而剩余图像则是由一个从量化块308的输入中减去输出的减法器351来产生的。

BL编码器304还包括一个存储器352，其中包含了十进制格式的剩余图像DCT系数，以及一个用于屏蔽和扫描所有FGS位平面的屏蔽扫描块354。此外还包含了通过编码剩余图像来产生FGS增强流的FGS熵编码块356。

在FGS编码器300的常规实现中(参见图3)，在进行了DCT变换306之后，在若干个位平面(从msb到lsb或是某个预定位平面，例如bp_max)对DCT剩余信号进行了分解。

然后在块354中，位平面是以一个位平面接一个位平面的方式而被扫描的，并且在块356中对其进行游程和VLC编码。对一个完整的帧来说，连续扫描位平面需要随后对存储器352中保存的DCT系数进行访问。此外，由于存储器352中的数据是以十进制方式而不是二进制方式(也就是一个位平面接一个位平面)保存的，因此访问特定位平面不但需要获取相应数据，而且还要使用复杂的屏蔽操作来提取期望的位平面。

在常规编码器300中需要使用一个存储器352来保存DCT剩余系数。此外，对各个位平面而言，在这里将对这个存储器352进行重复存取。并且为了获取所要编码的期望位平面，在块354中需要执行若干个屏蔽操作。此外还要保存那些与先前位平面压缩有关的状态信息。这个处理需要大量的存储器存取和计算能力。

因此，在计算和存储器存取(也就是带宽)方面，FGS解码器300的常规实现的效率都非常低下。

发明概述

本发明是一种用于进行精细可分级编码的方法和设备。对图像帧中每一个单独的变换块而言，以下步骤将会重复进行。此外在这里还为相应的变换块分解了多个相应的剩余系数。在分解图像帧中下一个变换块的系数之前，为相应的变换块处理相应的多个位平面或离散的量化步长。

附图简述

图1是一个显示了跨越一个完整的帧而从MSB到LSB的渐进式(逐个位平面)编码的常规次序。

图2是一个显示了FGS增强层的剩余DCT系数的常规扫描顺序的图示。

图3是一个常规FGS编码器的框图。

图4是一个显示了在依照本发明的示范性编码器中的FGS增强层的剩余DCT系数的扫描顺序的图示。

图5是一个依照本发明的示范性编码器的框图。

图6是一个显示了依照本发明而对FGS增强层的剩余DCT系数进行处理的示范性方法的流程图。

详细说明

在依照本发明的优选方法中，对一个完整帧的全部位平面所进行的扫描不再是在对整个帧的下一较低有效位平面进行扫描之前执行的。取而代之的是，在对某个帧内部的后续块进行处理之前，已经对每一个块进行了完整的扫描(从最高有效到最低有效位平面或是从最高有效位平面到一个预定位平面)。

示范性实施例是一种以节省存储器带宽和避免计算复杂性的方式来对FGS帧进行编码的备选方法。

这种新方法的优点在于：

-用于同时保存图像帧的所有DCT剩余系数的存储器不再是必需的；

-显著减少了针对不同位平面所进行的带宽存取(变得几乎可以忽略)；

-对每个系数只执行一次屏蔽处理而不是为每个位平面执行多次所述处理；

-不必保存先前已经编码的(也就是最高有效)位平面的编码状态信息；

-FGS编码不再需要一个用于FGS编码的帧延迟，由此可以将基本层和增强层处理更紧密地结合在一起，从而在计算复杂性和存储器存取方面实现更高的效率。

为了实现这种方法，在这里直接对一个完整DCT块的DCT剩余系数进行处理，而不是对一个完整帧的位平面进行处理。以下列举了用于一般算法的伪代码。

算法

对于图像内的每一个DCT块k

直接分解相应位平面中的DCT剩余系数；

计算块k的max(|DC-coeff|)＝Nmax(k)

对于每个小于Nmax(k)的位平面b

对每个位平面进行处理，也就是对其进行游程和VLC编码

在始于已知位置的一个不同位置保存每一个位平面

(如果所述块不是第一个块，则将已编码位平面b附加于先前块的已编码位平面b之后)

计算N＝所有Nmax(k)中的最大值

通过以重要性顺序(从msb到lsb)来添加不同位平面，从而创建经过压缩的比特流

图4显示的是用于进行处理的FGS增强层剩余DCT系数的扫描顺序。扫描顺序是从图2所示的常规扫描顺序修改而来的(然而，一旦完成扫描，则传输顺序与图3所示的常规编码器300所输出的信号的传输顺序是相同的)。更具体地说，在位平面b上，当从位平面块400的左上角扫描到右下角之后，扫描将会继续到位平面b+1上的位平面块401的左上角。尽管在图4中只显示了两个位平面(b和b+1)，但是也可以存在任何数量的位平面。在扫描到位平面块401的右下角之后，如果存在第三个位平面，则扫描将会继续进行到第三个位平面中的第一个位平面块的左上角。只有在经由每一个位平面而对第一个块的位平面块400、401进行扫描之后，所述扫描才会继续进行到处于第一位平面b中的第二位置的块的位平面块410。更一般地说，对任何一个块k而言，所有位平面b＝1、2、......、n中的位平面块都是在扫描块k+1的第一个位平面块之前进行扫描的。

图6是一个显示该算法的流程图。

在步骤600中开始一个循环。在这里将为图像帧内的每一个单独的变换块(例如DCT块)k重复执行步骤602～614。

在步骤602中，直接分解块k的所有位平面中的剩余DCT系数。也就是说，在这里将会以一个位平面接一个位平面的方式来分解块k的不同位平面块，而不是以一个块接一个块的方式来分解整个位平面的系数。

在步骤604中开始一个循环，其中对块k的每一个系数重复执行步骤606。在步骤606中，对数量(DC系数)的绝对值进行计算。

在步骤608中将块(k)的NMAX(k)设定成块k的所有系数中的abs(DC系数)最大值。

在步骤610中开始一个循环，对于块k，为每一个位平面b重复执行步骤612和614。

在步骤612中对块k的每一个位平面进行处理，也就是对其进行游程和VLC编码。

在步骤614中将块k的每一个位平面块保存在始于已知位置的各不相同的位置。举例来说，如果当前块k不是第一个块，则将块k的已编码位平面b部分添加在先前块k-1(未显示)的已编码位平面b之后。因此，第i个DCT块中排在第b位的每个位平面保存在一个紧随第i-1个DCT块中第b个位平面的位置之后的位置中，其中b是一个整数并且i是一个大于1的整数。在对每一个位平面b重复执行了步骤612～614之后，则为每一个块k重复执行步骤602～614。因此，来自多个位平面的数据排列在这样一个压缩比特流中，其中所述流始于一个与多个最大幅度中的一个最大幅度相对应的位平面。

在步骤616中将位平面N的总数设定为所有块中的最大值NMAX(k)。

在步骤618中，通过依照位平面重要性的顺序(从MSB到LSB)来添加不同位平面，从而创建压缩比特流。优选地，在压缩比特流内部，每一个位平面的数据都位于其在图3现有技术编码器所产生的压缩比特流中所具有的同一位置上。这样一来就形成了一个压缩比特流，其中包含了图像帧中所有DCT块的相应的多个位平面，其中压缩比特流中的数据是依照位平面排列的。然后，这个压缩比特流可以由任何能够解码图3常规编码器300的输出的解码器来进行解码。

通过上述算法，在分解过程中不必为了稍后的存取而将DCT剩余信号存入存储器中。此外也不需要为不同的位平面执行连续的屏蔽操作。

图5显示的是一个用于基本层和增强层的示范性FGS编码器500。图5显示了一个用于基本层编码器502和增强层编码器504的功能架构实例。尽管图5显示的是基于DCT变换的编码操作，但是在这里也可以使用其他变换(例如小波)。

如图5所示，基本层编码器502包括一个DCT块506、一个量化块508以及一个从初始视频中产生部分BL流的熵编码器510。此外，基本层编码器502还包括从初始视频中产生两组运动矢量的运动估计块520。其中一组运动矢量对应于基本层帧，而另一组则对应于时间增强帧。并且其中还包含了一个用于复用基本层运动矢量和BL流的复用器(未显示)。

如图5所示，基本层编码器502还包括一个逆量化块512、一个逆DCT块514、运动补偿块516以及帧存储器518。

EL编码器504包括一个用于保存剩余图像和MC剩余图像的DCT剩余图像块550。剩余图像则是由一个从量化块508的输入中减去输出的减法器551来产生的。EL编码器504不需要提供具有现有技术EL编码器304中存储器352的剩余存储功能的存储器。此外，EL编码器504也不需要现有技术EL编码器304中所必需的用于屏蔽和扫描所有FGS位平面的屏蔽和扫描块354。取而代之的是，每一个位平面块的位平面剩余数据都是直接从DCT剩余图像块550提供到FGS扫描和熵编码块553的，该FGS扫描和熵编码块553也被包含进来以便通过解码剩余图像来产生FGS增强流。

在FGS编码器500的示范性实现中，当进行了DCT变换506之后，在继续下一个块之前，每个单独块(例如图像左上角的块)的DCT剩余信号都是在几个位平面块中按照一个位平面接一个位平面的方式连续分解的(从msb到lsb或是某个预定位平面，例如bp_max)，一直到对每个位平面的位平面块都进行了扫描为止。

然后，对于一种紧凑的实现，在块553中以一个位平面接一个位平面的方式单独扫描每一个块、并对它们进行游程和VLC编码。对每一个块来说，所有位平面的剩余图像数据都是能够以用于编码块553的二进制形式获得的，因此没有必要执行复杂的屏蔽操作，此外，编码块553一次只需要一个块的全部位平面数据，而不是来自帧中每个块的单个位平面的数据。因此，在这里不需要现有技术中为了实现这个目的所必需的大容量存储设备352。

用于精细可分级编码的示范性方法和系统减少了实现FGS编码器所需要的存储器、存储带宽并且降低了计算复杂性。而且，基本层和增强层编码器之间的链路变得更为紧密，从而允许通过消除不必要的延迟和存储而更有效地实现FGS编解码器。

这里所公开的方法还可以与FGS编码工具(选择增强以及频率加权)结合使用。对频率加权来说，其中是将一个固定矩阵应用于整个帧，由此可以在DCT变换之后立即执行移位。对选择增强来说，在对完整的帧进行编码之后，特定宏块的位平面移位可以在位平面的实际扫描和VLC编码之前立即执行或是在稍后阶段执行。其中后一种方法提供了更大的灵活性和交互式选择增强，但却存在着需要更复杂的存储器和流管理的缺陷。

此外，除了当前的FGS结构之外，这种机制还可以在类似MC-FGS(运动补偿——精细可分级)和P-FGS(渐进式精细可分级性)的预测框架中使用。其中虽然将不同的处理用于P-FGS和MC-FGS，但是纹理编码(也就是FGS扫描和熵编码)却是相同的。因此，如上所述的相同技术同样可以应用于MC-FGS和P-FGS。

尽管示范性编码器500使用的是DCT变换，但是该方法同样可以用于其他变换，例如基于块的小波编码或是匹配追踪，乃至备选的SNR可分级性(使用离散量化步长而不是位平面)。

本发明可以采用由计算机执行的处理以及用于实施这些处理的设备的形式来实施。本发明还可以采用有形介质中的计算机程序代码的形式来加以实施，其中所述有形介质可以是软盘、只读存储器(ROM)、CD-ROM、硬盘、高密度(例如“ZIP^TM”)活动磁盘驱动器或是其他任何一种计算机可读存储介质，其中，在计算机加载计算机程序代码和执行代码的时候，计算机将会成为一个用于实施本发明的设备。本发明也可以通过采用计算机程序代码的形式来实施，例如保存在存储介质中、由计算机加载和/或执行、或是通过某些传输介质传送的计算机程序代码，其中举例来说，所述传送是经由电线或电缆、经由光纤或是经由电磁辐射进行，在计算机加载和执行计算机程序代码的时候，计算机将会成为一个实施本发明的设备。当在一个通用处理器上执行代码的时候，计算机程序代码段将对处理器进行配置，以便创建特定的逻辑电路。

尽管在这里是依照示范性实施例来描述本发明的，但是本发明并不局限于此。相反，应该对所附权利要求进行广泛地解释，以便包含本发明的其他变型和实施例，本领域技术人员能在不脱离本发明等价物范围的情况下实施本发明的所述其他变型和实施例。

Claims (20)

1.一种用于精细可分级编码的方法，包括以下步骤：

(a)为图像帧中的每一个单独的变换块重复(600)执行以下步骤：

(i)分解(602)相应变换块中相应的多个剩余系数；

(ii)在分解图像帧中下一个变换块(410，411)的系数之前，对相应变换块(400，401)中相应的多个位平面(b，b+1)或是离散量化步长进行处理(610，612)。

2.权利要求1的方法，其中，所述变换块是离散余弦变换(DCT)块，并且所述剩余系数是DCT剩余系数。

3.权利要求2的方法，其中，步骤(ii)包括对所述多个位平面(b，b+1)中的每一个位平面执行游程和可变长度编码(612)。

4.权利要求2的方法，其中，步骤(a)还包括：

(iii)将每一个位平面(b，b+1)都保存(614)在分别不同的位置。

5.权利要求4的方法，其中，所述DCT块的第i个DCT块中每一个排在第b位的位平面被保存在一个紧随着所述DCT块的第i-1个DCT块中的第b个位平面的位置之后的位置中，其中b是一个整数，i是大于1的整数。

6.权利要求2的方法，还包括：

(b)形成(618)一个压缩比特流，其中包含了图像帧中所有DCT块的多个相应的位平面(b，b+1)，其中该压缩比特流中的数据是依照位平面来进行排列的。

7.权利要求6的方法，其中：

步骤(a)还包括确定(608)相应DCT块的任何DCT系数中的一个最大幅度(NMAX)；

该方法还包括在步骤(b)之前确定(616)多个最大幅度中的一个最大幅度(N)；以及

来自所述多个位平面的数据排列(618)在一个压缩比特流中，所述比特流始于与所述多个最大幅度中的一个最大幅度相对应的位平面(b)。

8.权利要求6的方法，其中，步骤(a)和(b)是在不要求同时保存图像帧的所有DCT剩余系数的情况下执行的。

9.权利要求1的方法，其中，所述多个位平面(b，b+1)包含从最高有效位平面(b)到最低有效位平面(b+1)的每一个位平面。

10.权利要求1的方法，其中，所述变换块通过由离散余弦变换、基于块的小波变换或匹配追踪以及使用离散量化步长的SNR可分级性组成的组中的一个来形成(506)。

11.一种用于进行精细可分级编码的设备(504)，包括：

用于分解图像帧的单独变换块中的多个剩余系数的装置(550)；

扫描和编码装置(553)，用于在分解图像帧中下一个变换块(410，411)的系数之前，对相应变换块(400，401)中相应的多个位平面(b，b+1)或离散量化步长进行处理。

12.权利要求11的设备，其中，所述扫描和编码装置(553)包含用于扫描第一序列中的块以及将编码数据存入与第一序列不同的第二序列的装置(610，612，614)。

13.权利要求12的设备，其中：

所述变换块(400，401，410，411)是离散余弦变换(DCT)块，所述剩余系数是DCT剩余系数；以及

所述DCT块的第i个DCT块中每一个排在第b位的位平面被保存在一个紧随着所述DCT块的第i-1个DCT块中的第b个位平面的位置之后的位置中，其中b是一个整数并且i是一个大于1的整数。

14.权利要求11的设备，其中，所述设备(504)没有用于同时存储图像帧的所有DCT剩余系数的存储器。

15.权利要求11的设备，其中，所述分解装置(550)直接将某个块的剩余系数数据提供给所述扫描和编码装置(553)，而不将该剩余系数数据保存在一个中间存储设备中。

16.权利要求11的设备，其中，所述分解装置(550)将块(400，401)的剩余系数数据直接提供给所述扫描和编码装置(553)，而没有通过屏蔽该剩余系数数据来从图像帧的所有块中提取单个位平面(b)的数据。

17.一种其上具有经过编码的计算机程序代码的计算机可读介质，其中当处理器执行该计算机程序的时候，处理器将会执行一种用于进行精细可分级编码的方法，其中包括如下步骤：

(a)为图像帧中每一个单独的变换块重复(600)进行以下步骤：

(i)分解(602)相应变换块的相应的多个剩余系数；

(ii)在分解图像帧中下一个变换块(410，411)的系数之前，对相应变换块(400，401)中相应的多个位平面(b，b+1)或离散量化步长进行处理(610，612)。

18.权利要求17的计算机可读介质，其中，所述变换块(400，410)是离散余弦变换(DCT)块并且所述剩余系数是DCT剩余系数。

19.权利要求18的计算机可读介质，其中，步骤(ii)包括对所述多个位平面中每一个位平面进行游程和可变长度编码(612)。

20.权利要求18的计算机可读介质，其中

步骤(a)还包括将每一个位平面都保存在分别不同的位置；以及

所述DCT块的第i个DCT块中每一个排在第b位的位平面被保存在一个紧随着所述DCT块的第i-1个DCT块中的第b个位平面的位置之后的位置中，其中b是一个整数并且i是一个大于1的整数。

Images