CN101127903B - 基于dct的分辨率可伸缩图像编解码方法 - Google Patents

Abstract

本发明提供一种基于DCT的分辨率可伸缩图像编解码方法，在编码过程中，对原始图像或视频帧分块为(4×N)²×(4×N)²的宏块，然后将宏块切割成(4×N)×(4×N)的码块，利用DCT量化后码块中系数的频率及其在块中的对应位置关系，以及分辨率特性，将同一频率安排在同一个重组编码块，按照分辨率的优先级进行编码；在解码过程中，根据接收到的重组编码块的频率还原其在原始宏块中DCT位置，并根据当前编码块的分辨率等级选择IDCT编码模块重建分辨率可伸缩图像，这种编码解码方式可以根据各种不同的接收终端传输相应的编码码流从而可以有效的节省传输带宽，实现比DWT更灵活的分辨率可伸缩编解码。

Description

基于DCT的分辨率可伸缩图像编解码方法

技术领域

本发明涉及图像和视频编码领域，尤其涉及提供一种视频传输过程中实现分辨率可伸缩的方法。

背景技术

离散余弦变换(Discrete Cosine Transformation，简称DCT)在图像和视频编解码中得到广泛应用，比如静态图像专家组制定的图像编码标准JPEG，活动图像专家组制定的视频编解码标准MPEG1、MPEG2、MPEG4，以及ITU制定的H.261、H.262和H.263，以及JVT制定的视频编码标准H.264/AVC，而且这些标准广泛应用于各类图像视频设备中，比如手机、摄像机、数码相机、摄像头、电视机、DVD等跟媒体信息相关的设备。由于现在媒终端的多样性，比如PDA、计算机显示器、电视等他们的显示终端是不一样的，PDA或者手机大概2英寸、计算机显示器14英寸～22英寸左右，电视机终端可能多数在19寸以上、有的电视达到85英寸，因此对于同一个视频源经过网络传输到各个视频终端的码流如果根据视频终端信息或者网络带宽信息传输不同分辨率的信息，可以大大提高媒体信息服务质量。但是不幸的是，现有的基于DCT变换的编码方法，通常采用把DCT变换后的一个数据块作为一个整体进行编码，他包含了所有的频率信息份量。如图2所示，他包含所有频率分量，在编码的过程中按照zigzag扫描方式，如图3所示，可以看出，其中分辨率信息有几处交替出现，因此很难按照分辨率信息组织码流，从而实现按照分辨率可伸缩编码。

原始图像经过DCT和量化后的系数按照zigzag扫描编码导致同一个独立的编码单元内包含所有频率分量的系数，无法实现分辨率可伸缩编码。

发明内容

本发明的目的在于提供一种基于离散余弦变换(Discrete Cosine Transformation，简称DCT)的基于DCT的分辨率可伸缩图像编解码方法，以克服上述现有的基于DCT变换的编码方法存在的很难按照分辨率信息组织码流而实现按照分辨率可伸缩编码的不足，提供一种能够在熵编码前重排序的过程中实现分辨率可伸缩的方法。

实现上诉发明目的的解决方案是，用于H.264的改进的重排序算法；

整个编码过程如图1所示：

(1)将原始图像或视频帧分块为(4×N)²×(4×N)²的宏块，然后将宏块切割成(4×N)×(4×N)的码块，N＝1时码块如图2，其中N为0.5、1、2、3、......，这样(4×N)²×(4×N)²宏块变成(4×N)×(4×N)个(4×N)×(4×N)码块的结构，N＝1时如图4；

(2)对宏块内的每一个(4×N)×(4×N)码块作离散余弦变换(Discrete CosineTransform，简称DCT)，然后再量化；将宏块内所有的码块进行DCT和量化后，得到仍然是图4(N＝1)所示的数据结构，只是每一个(4×N)×(4×N)的码块内的数据变换成DCT系数；

(3)对图像中所有(4×N)×(4×N)码块中的对应位置的频率份量，重新组织成(4×N)×(4×N)的同频率的编码码块；N＝1时如图5所示；

(4)每一个单频率分量码块内部系数栅格扫描顺序编码；对在一个宏块范围内频率块的编码顺序按照如图6(N＝1)所示的分辨率由低到高的顺序扫描编码；返回到步骤(2)编码下一个宏块，直到图像编码完成。

解码过程，解码过程如图7所示：

(1)根据得到的码流依次对编码重排后的DCT频率系数块进行解码，获得相应的离散余弦频率块系数；

(2)将解码后的频率块系数，根据其所在的行列频率填入到原始DCT变换后的频率位置；

(3)当接收到一个分辨率的DCT系数后，根据当前分辨率等级，选择与当前分辨率等级相对应的离散余弦反变换模块重建出相应分辨率的宏块；

(4)对离散余弦反变换(IDCT)后的图像数据宏块重组获得相应分辨率的图像；

(5)如果解码终端的分辨率足够或者用户需要更高分辨率的图像，继续传输更高一级分辨率的编码重排数据块，重复上述过程得到更高一级分辨率的数据，从而选择更大的IDCT模块，获得更高一级分辨率的图像；直到获得全分辨率图像位置。按照分辨率重建过程如图8(N＝1)所示。

在按照上述编解码过程，设置(4×N)²×(4×N)²(N＝0.5、1、2、3、...)的宏块，码块分割为(4×N)×(4×N)，按照编码过程按照分辨率关系重组DCT系数，并按照分辨率由低到高的编码顺序编码；在解码过程中，根据分辨率等级选择同分辨率模板的IDCT，并重组宏块，从而实现4×N级(1：(4×N)、2：(4×N)、......、(4×N)：(4×N))可伸缩编解码。

在基于DCT的视频编解码过程中，帧内编码采用本发明的图像可伸缩编解码方法实现分辨率可伸缩视频编解码。

本发明具有如下特点：根据DCT系数的频率和分辨率特性，重新组织DCT系数，实现分辨率可伸缩性编码，即图像具有了比离散小波变换(DWT)有更加灵活的可伸缩性特性。对于M×M的块进行离散小波变换只能实现M∶M、M∶M/2、...、M∶1的分辨率等级，而对于M×M的DCT变换按照本发明的方法可以实现M∶M、M∶(M-1)、M∶(M-2)、...、M∶1的分辨率等级。以8×8的DCT为例，可以实现8级分辨率，而8×8DWT只能实现4级分辨率。这种编码解码方式可以根据各种不同的接收终端传输相应的编码码流从而可以有效的节省传输带宽，实现分辨率可伸缩编解码。

附图说明

图1为本发明的基于DCT的分辨率可伸缩编码过程示意图。

图2为4*4量化系数块示意图。

图3为4*4量化系数块经zigzag扫描后得到的系数序列示意图。

图4为原始16×16的宏块数据和DCT量化后的宏块数据结构示意图。

图5为宏块数据重组后的宏块示意图。

图6为重排后的DCT系数块在宏块范围内的编码顺序示意图。

图7为本发明的基于DCT的分辨率可伸缩解码过程示意图。

图8为本发明的基于DCT的分辨率可伸缩重建示意图。

具体实施方式

下面结合附图对本发明的具体实施方式进行说明。

原始图像经过离散余弦变换(Discrete Cosine Transformation，简称DCT)和量化后的系数(图2所示)按照zigzag扫描(图3的扫描顺序)，频率依次提高。但是针对DCT系数反映的频率特性而言，这种zigzag扫描编码的模式无法实现分辨率可伸缩编码。本发明是利用DCT量化后块的频率及其在块中的对应位置关系，以及分辨率特性，将同一频率安排在同一个重组编码块，按照分辨率的优先级进行编码；在解码过程中，根据接收到的重组编码块的频率还原其在原始宏块中DCT位置，并根据当前编码块的分辨率等级选择IDCT编码模块重建分辨率可伸缩图像。

为使本发明的目的、技术策略和优点更加清楚，下面将结合附图以宏块为16×16，码块为4×4为实例对本发明的编码和解码过程作细描述。

编码过程：

本发明的编码过程如图1所示，首先对图像进行宏块分割，然后对宏块进行DCT变换，然后对DCT系数在宏块范围内按照频率份量进重排，再按照分辨率等级对重排系数块编码。详细过程如下：

(1)对原始图像进行16×16宏块(Macro Block，简称MB)切割，然后把宏块切割成4×4码块(Code Block，如图2)

(2)对每一个码块进行离散余弦变换、量化得到整型的DCT系数，根据系数所在的码块和其在码块内的位置定义系数：

a_ij ^kl    k，l，i，j＝0，1，2，3

(k，l)表示当前DCT码块在宏块中的位置；(i，j)表示当前系数在DCT码块中的位置，它代表着频率分量(2iπ/4，2jπ/4)。如图2所示，一个4×4DCT码块的系数的频率按照不同的采样率(一定程度上也可以说分辨率)1∶4、2∶4、3∶4和4∶4，即a_ij ⁰⁰为1∶4的分辨率；a_ij ⁰¹，a_ij ¹⁰，a_ij ¹¹组成2∶4的分辨率；a_ij ⁰²，a_ij ²⁰，a_ij ²¹，a_ij ¹²，a_ij ²²组成3∶4的分辨率；a_ij ⁰³，a_ij ³⁰，a_ij ¹³，a_ij ³¹，a_ij ²³，a_ij ³²，a_ij ³³组成4∶4的分辨率。传统编码方式按照zigzag扫描DCT编码系数(顺序如图3所示)根本就无法满足分辨率可伸缩性要求，一方面它没有按照分辨率顺序组织编码；另一方面，每一个编码码块作为一个独立的编码单元进行编码编码，也即是所有频率分量无法进行有效的选择。故下面根据DCT数据的频率特性按照分辨率进行重组。

(3)对一个宏块内的所有编码块完成DCT和量化后，把4×4的码块系数按照系数的频率特性重新组成4×4的码块。定义重组系数：

b_ij ^kl    k，l，i，j＝0，1，2，3

(k，l)表示当前DCT块在宏块中的位置；(i，j)表示当前系数在DCT块中的位置。按照 $b_{\mathrm{ij}}^{\mathrm{kl}}=a_{\mathrm{kl}}^{\mathrm{ij}},$ 这样重组后的4×4的码块只包含单频率份量(2kπ/4，2lπ/4)，重组前的宏块如图4所示，重组后的宏块如图5所示。重新排列后的码块是按照行方向和列方向的采样率进行排列，同一个采样率放在同一个码块中，由于4×4的DCT变换系数按照行或者列方向采样率也有4×4种组合。因此排列前按照4×4的DCT系数码块排列，变换后的码块按照4×4DCT的行列采样率(DCT系数的位置)排列。

(4)每一个单频率分量码块内部系数栅格扫描顺序编码；再按照分辨率等级对重排系数码块编码。根据采样率1∶4、2∶4、3∶4和4∶4在频率域对宏块内的重排系数码块进行分割，如图5所示，行列方向的采样率相同的在同一个分辨率等级R(0≤R≤3)，即(2kπ/4，2lπ/4)，其中k，l≤R。编码时依次由低分辨率向高分辨率编码；然后再按照行列频率((2(k+j)π/4))和由低到高编码码块。最终的编码顺序如图6所示从0～15的码块编码顺序进行熵编码。

(5)按照以上过程编码完所有的图像宏块，组织成压缩文件。

解码过程：

整个解码过程如图7所示，首先对解码器接收到的重组数据块进行解码和反量化，然后根据接收到的重组编码块的频率还原其在原始宏块中DCT位置，并根据当前编码块的分辨率等级选择相应的IDCT模块重建分辨率可伸缩图像，可以实现分辨率从1∶4、2∶4、3∶4到4∶4四种分辨率图像。

(1)解码。解码器解码接收到的重组编码码块(k，l)，然后进行反量化，得到每一个重组前宏块中对应频率(2kπ/4，2lπ/4)位置的DCT系数。

(2)重排序。将解码的DCT系数根据它重组码块中的位置还原到对应的原始宏块中的编码码块中。也即是，将编码重组码块(k，l)中的(i，j)系数放到重建宏块的(i，j)编码码块的(k，l)位置上。

(3)当解码重建一个宏块完整分辨率的DCT系数后，选择对应的IDCT模块重建当前分辨率的宏块。当接收到第一个重组码块的时候，不进行IDCT变换，直接获得最低分辨率宏块信息。

(4)对重建的分辨率宏块，然后对宏块进行重组得到对应相应分辨率的图像。

(5)当接收到更高一级分辨率的解码重建数据，重复前面解码(1)到(4)选择更高一级的IDCT模板获得更高一级分辨率图像。

如图8所示，接收到1级的系数，与0级系数一起，选择2×2的IDCT重建出1级分辨率宏块；接收到2级系数，与0、1级系数叠加在一起，选择3×3的IDCT模块重建2级分辨率宏块；当接收到3级系数，与前面所有系数叠加在一起，选择4×4IDCT重建全分辨率宏块。这样就可以重建从1∶4、2∶4、3∶4到4∶4四种分辨率宏块。

类似的方法，可以设置(4×N)²×(4×N)²(N＝0.5、1、2、3、...)的宏块，码块分割为(4×N)×(4×N)，按照编码过程按照分辨率关系重组DCT系数，并按照分辨率由低到高的编码顺序编码；在解码过程中，根据分辨率等级选择同分辨率模板的IDCT，并重组宏块，从而实现4×N级(1：(4×N)、2：(4×N)、……、(4×N)：(4×N))可伸缩编解码。本具体实施方式只是以4×4为具体例子描述。

经过上面编解码过程后，图像具有了比离散小波变换(DWT)有更加灵活的可伸缩性特性。对于M×M的块进行离散小波变换最多只能实现M∶M、M∶M/2、...、M∶1的分辨率等级，而对于M×M的DCT变换按照本发明的方法可以实现M∶M、M∶(M-1)、M∶(M-2)、...、M∶1的分辨率等级。以8×8的DCT为例，可以实现8级分辨率，而8×8离散小波变换最多只能实现4级分辨率。这种编码解码方式可以根据各种不同的接收终端传输相应的编码码流从而可以有效的节省传输带宽，实现分辨率可伸缩编解码。

Claims (4)

1.基于DCT的分辨率可伸缩图像编解码方法，其特征在于包括编码过程和解码过程，编码过程为：

(1)将原始图像或视频帧分块为(4×N)²×(4×N)²的宏块，然后将宏块切割成(4×N)×(4×N)的码块；N为0.5、1、2、3、......；

(2)对宏块内的(4×N)×(4×N)的码块进行离散余弦变换，然后进行量化；

(3)对图像中所有(4×N)×(4×N)码块中的对应位置的频率分量，重新组织成(4×N)×(4×N)的同频率的编码码块；

(4)对每一个同频率的编码码块内部系数栅格扫描顺序编码；对在一个宏块范围内同频率的编码码块的编码顺序按照分辨率由低到高的顺序扫描编码，完成整个宏块编码；返回到步骤(2)编码下一个宏块，直到图像编码完成；

解码过程为：

(1)根据得到的码流依次对编码重排后的离散余弦变换频率系数块的编码码流解码，得到离散余弦频率块系数；

(2)将解码后的频率块系数，根据其所在的行列频率填入到原始离散余弦变换变换后的频率位置；

(3)当接收到一个分辨率的离散余弦频率块系数后，选择与当前分辨率等级相对应的离散余弦反变换模块重建出相应分辨率的宏块；

(4)对离散余弦反变换后的宏块重组获得相应分辨率的图像。

2.根据权利要求1所述的基于DCT的分辨率可伸缩图像编解码方法，其特征在于：编码过程的步骤(2)中，根据系数所在的(4×N)×(4×N)的码块和该系数在(4×N)×(4×N)的码块内的位置定义系数：

a_ij ^kl  k，l，i，j＝0，1，2，...，4×N

k，l表示当前(4×N)×(4×N)的码块在宏块中的位置；i，j表示当前系数在(4×N)×(4×N)的码块中的位置，代表着频率分量2iπ/(4×N)、2jπ/(4×N)；

编码过程的步骤(3)具体为：把(4×N)×(4×N)的码块系数按照系数的频率特性重新组成(4×N)×(4×N)的同频率的编码码块，定义重组系数：

b_ij ^kl  k，l，i，j＝0，1，2，...，4×N 

k，l表示当前(4×N)×(4×N)的同频率的编码码块在宏块中的位置；i，j表示当前系数在(4×N)×(4×N)的同频率的编码码块中的位置；按照 重组后的(4×N)×(4×N)的码块只包含行列单频率分量2kπ/(4×N)、2lπ/(4×N)，重组后的同频率的编码码块是按照行方向和列方向的采样率进行排列，同一个采样率放在同一个码块中。

3.根据权利要求2所述的基于DCT的分辨率可伸缩图像编解码方法，其特征在于：编码过程的步骤(4)具体为：按照分辨率等级对同频率的编码码块编码，根据采样率1：(4×N)、2：(4×N)、3：(4×N)和4：(4×N)在频率域对宏块内的同频率的编码码块进行分割，行列方向的采样率相同的在同一个分辨率等级R，0≤R≤4×N-1，同一个分辨率等级R是指在l＝R的情况下k≤R或者在k＝R的情况下l≤R，编码时依次由低分辨率向高分辨率编码；然后再按照行列频率和由低到高编码同级分辨率的同频率的编码码块。

4.根据权利要求1所述的基于DCT的分辨率可伸缩图像编解码方法，其特征在于编码过程为：

(1)将原始图像或视频帧分块为16×16的宏块，然后将宏块切割成4×4的码块；

(2)对4×4的码块进行离散余弦变换，然后进行量化；将宏块内所有的码块进行离散余弦变换和量化后，每一个4×4的码块内的数据变成离散余弦变换系数；

(3)对图像中所有4×4码块中的对应位置的频率分量，重新组织成4×4的同频率的编码码块；

(4)每一个同频率的编码码块内部系数栅格扫描顺序编码；对在一个宏块范围内同频率的编码码块的编码顺序按照分辨率由低到高的顺序扫描编码；

解码过程为：

(1)根据得到的码流依次对编码重排后的离散余弦变换频率系数块的编码码流解码，得到离散余弦频率块系数；

(2)将解码后的频率块系数，根据其所在的行列频率填入到原始离散余弦变换变换后的频率位置；

(3)当接收到一个分辨率的离散余弦频率块系数后，选择与当前分辨率等级相对应的离散余弦反变换模块重建出相应分辨率的宏块；

(4)对离散余弦反变换后的宏块重组获得相应分辨率的图像。 

Images