CN101662684A - 用于视频图像编解码的数据存储的方法及装置 - Google Patents

Abstract

本发明提供了一种用于视频图像编解码的数据存储方法，包括：将视频图像分成包括多个行和列的多个大小相同的单元；将每个所述单元中的数据以每行中的四个数据为一组，分别存储在多个不同的存储器的一个地址中。

Description

用于视频图像编解码的数据存储的方法及装置

技术领域

本发明涉及一种数据存储结构，尤其涉及H.264标准视频编解码领域的整个视频编解码过程中图像数据的存储。

背景技术

视频图像处理技术发展到现在经历了长时间的发展，主要产生了两种系列标准的处理方式，分别是MPEG系列和H.26x系列，而最新的标准H.264标准是一个集MPEG-4和H.263的优点，并在此基础上进行了一定优化的产物，按照这个标准进行视频图像的编码，其压缩率基本上能够满足高清无线视频传输的要求。但是，H.264协议标准的高效率是以牺牲大量的计算量为代价的，其计算的高效实现成为了它是否能够在实际中进行应用。

在视频图像处理过程中，我们将视频图像数据用像素点数据的方式来保存，每个像素点数据包括该点图像的亮色度值，也可以经转换成为三基色值，同时，我们习惯把视频图像的大小用像素点的多少来表示，比如800×600，320×280等等，它们分别表示的是图像的水平宽度和垂直宽度，800×600的图像表示其水平方向每一行有800个像素点，垂直方向有600个像素点。

有了像素点的概念之后，由于图像的大小不一，同时，单次处理的图像数据不可能很大，因此，又将视频图像的像素点分割成为很多16×16的单元，每个单元包含16×16共256个像素点，水平、垂直方向各16个。如图1所示。

各种视频标准都是以16×16的宏块为单位对视频图像数据进行压缩和解码等处理，而各种视频图像的大小也习惯性的以16的倍数作为其水平和垂直方向的宽度，以便于处理。

为了高效率的压缩像素信息，在处理16×16宏块的过程中还会将图像进行更小的分割，比如16×16，16×8，8×16，8×8这些分割，在H.264标准中，为了更大的压缩视频码率，采用了最小4×4的图像分割，更加精细的压缩了视频图像信息，从而压缩了码率。但是，却大大增加了其计算量，如果要进行有效的适时视频通讯或者高清的视频点播，需要高效率的视频图像处理器来实现这些庞大的计算量的处理。当视频码流压缩率不再成为瓶颈的情况下，视频图像处理器的处理速度成为了一个新的难题。

视频图像信息处理过程一般分为以下几个过程(以编码为例)：搜索、预测、残差处理、熵编码。其中预测又分为帧内预测和帧间预测两种方式，残差处理包括变化、量化、扫描等过程。每个处理过程之间通过内部的存储单元来进行连接，便于进行流水和并行设计，来提高效率。在整个视频图像处理过程中，对于内部存储单元的访问消耗了大量的时间，及时有效的对内部存储单元访问，对视频处理器的效率提高有着很重大的意义。

现有的处理方式主要有以下几种：

1.只用一个存储单元存储，位宽32bit，每个地址存放4个像素点数据，按照A3A2A1A0，A7A6A5A4...的顺序存储，深度是64；

2.分成2个存储单元存储，按照单双4×4模块单元存储，即第一个存储器存储第0，1，2，3，8，9，10，11列的数据，第二个存储器存储第4，5，6，7，12，13，14，15列的数据，每个深度是32；

3.分成2个存储单元存储，按照4×4块的行列单双号来存储，即将图一中，b0，b2，b5，b7，b8，b10，b13，b15块的数据存储到第一个存储单元，而第二个存储单元存储其余小块的数据。

4.分成4个存储单元存储，按照4×4模块单元区分，第0，1，2，3列数据存储在第一个存储单元，第4，5，6，7列数据存储在第二个存储单元，第8，9，10，11列数据存储在第三个存储单元，剩下的四列数据存储在第四个存储单元。

这四种存储方式能够在一定程度上，对特定宏块分割模式的数据存储速度进行提高，但是，却不能兼顾全局，特别是对H.264标准特有的4×4分割模式的数据存储，无法优化。

发明内容

针对目前对存储的数据读取速度低等问题而提出本发明，为此，本发明的主要目的在于提供一种数据存储方案，以解决上述问题。

本发明提出了一种用于视频图像编解码的数据存储方法，包括以下步骤：将视频图像分成包括多个行和列的多个大小相同的单元；将每个单元中的数据分为多组，分别存储在多个不同的存储器的一个地址中。

其中，单元的大小为M×N像素，每个单元中的M行数据中的每行中的N个数据为一组，分别存储到M个不同的存储器中的一个地址中。

其中，单元的大小为16×16像素的宏块，宏块又分为16×16小块、16×8小块、8×16小块、8×8小块、8×4小块、4×8小块、4×4小块中的任意一个。

其中，每个小块中的数据以每行中四个数据作为一组，分别存储在多个不同的存储器的一个地址中。

其中，当宏块分为4×4小块且所述存储器为4个时，将宏块中的第一行数据以四个数据为一组，将该四组数据依次存入第一存储器、第二存储器、第三存储器和第四存储器的0地址；将宏块中的第二行数据以四个数据为一组，将该四组数据依次存入第二存储器、第三存储器、第四存储器和第一存储器的1地址；将宏块中的第三行数据以四个数据为一组，将该四组数据依次存入第三存储器、第四存储器、第一存储器和第二存储器的2地址；将宏块中的第四行数据以四个数据为一组，将该四组数据依次存入第四存储器、第一存储器、第二存储器和第三存储器的3地址。

本发明还提出了一种用于视频图像编解码的数据存储装置，包括：分割模块，用于将视频图像分成包括多个行和列的多个大小相同的单元；存储模块，将每个单元中的数据分为多组，分别存储在多个不同的存储器的一个地址中。

其中，单元的大小为16×16像素的宏块，宏块又分为16×16小块、16×8小块、8×16小块、8×8小块、8×4小块、4×8小块、4×4小块中的任意一个。

其中，每个小块中的数据以每行中四个数据作为一组，分别存储在多个不同的存储器的一个地址中。

其中，当宏块分为4×4小块且所述存储器为4个时，存储模块：将宏块中的第一行数据以四个数据为一组，将该四组数据依次存入第一存储器、第二存储器、第三存储器和第四存储器的0地址；将宏块中的第二行数据以四个数据为一组，将该四组数据依次存入第二存储器、第三存储器、第四存储器和第一存储器的1地址；将宏块中的第三行数据以四个数据为一组，将该四组数据依次存入第三存储器、第四存储器、第一存储器和第二存储器的2地址；将宏块中的第四行数据以四个数据为一组，将该四组数据依次存入第四存储器、第一存储器、第二存储器和第三存储器的3地址。

有益效果：

采用本发明所述的数据存储方式，与现有技术相比，能够在视频图像数据处理过程中，更快的读写所需要操作的数据，节省了由于读写数据的等待时间，进而提高了视频编解码的整体效率。

下面，列举在视频图像处理实际应用过程中，该存储方式相对于之前所提的4种数据存储模式效率进行比较，以下称本发明方式为第5种模式。

在视频图像解码处理过程中，主要有以下的几个步骤：熵解码，反扫描，反量化，反变换，帧内预测，帧间预测，重构，去方块滤波。图像数据的编码过程可以理解成为这些步骤的逆处理，算法类似。

在熵解码、反扫描、反量化部分，如果逻辑处理性能足够，对存储单元的读写速度只与其带宽有关，(不包括一些其它的特别处理情况)存储一个宏块的数据，第1种方式最少需要64个时钟，第2、3种方式最少需要32个时钟，第4种方式和第5种模式最少需要16个时钟。在以上最优情况下，读写一个宏块的数据第4、5种方式相对其它的方式至少能够节省50％的时钟数。

在反变换的过程中，根据不同的变化模式，读写数据的方式都不一样，下面简单的比较8×8，4×4两种模式的情况(16×16模式是分成17个4×4模式来实现的)：

在4×4模式下，变换每次处理一个4×4的小块，即需要从存储单元得到b0-b15中相应小块的数据，进行处理，然后写回到存储单元(这里用写回到原读出存储单元举例)。读取一个小块的数据，第1，2，3，4种方式都需要4个时钟，第5种方式只需要1个时钟，数据的处理只需要一个时钟，对存储单元写回和读取所需的时间一样，这样，第5种方式能够相对其他的方式节省75％的读写时钟数，对整个操作，也能相应的节省60％左右的时钟数；

在8×8模式下，变换每次处理一个4×4的小块，即需要从存储单元得到(b0，b1，b4，b5)、(b2，b3，b6，b7)、(b8，b9，b12，b13)、(b10，b11，b14，b15)这四组中相应组的数据，进行处理，然后写回到存储单元。读取一组数据，第1种方式最少需要16个时钟，第2.、3、4种方式最少需要8个时钟，而第5种方式则最少只需要4个时钟就能得到一个8×8块的数据，对存储模块的读写能够节省最少50％的时钟数。

在帧内预测和帧间预测过程中，也有许多不同的模式，下面简单的比较16×16，8×8，4×4三种模式的情况：

这两个过程对存储模块的操作，主要是将预测的结果写入到存储单元中。

在16×16模式下，每次1个时钟能预测出宏块一行的数据，一行16个数据写入到存储单元，第1种方式需要4个时钟，第2，3种方式需要2个时钟，第4，5种方式只需要1个时钟；

在16×16模式下，每次1个时钟能预测出8×8块一行的数据，一行8个数据写入到存储单元，第1种方式需要2个时钟，第2，3，4，5种方式则都只需要1个时钟；

在16×16模式下，每次1个时钟能预测出一个4×4小块的数据，一个小块16个数据写入到存储单元，第1，2，3，4种方式需要4个时钟，第5种方式则只需要1个时钟。

重构过程，在帧内预测模式时，重构直接在预测完成的同时进行处理，直接输出重构结果，在帧间预测时，可以采用一次重构1行16个点的数据，这样，数据的读写也只是与存储单元的带宽相关了。

在去方块滤波过程中，不仅仅会出现同时读写水平方向两个相邻的4×4小块(比如b0块和b1块，b9块和b10块)，同时还有可能同时读写垂直方向两个相邻的4×4小块(比如b0块和b4块，b10块和b14块)。

读水平相邻两个4×4小块，第1种方式需要8个时钟，第2，3，4种方式都需要4个时钟，第5种方式只需要2个时钟，数据的处理可以在数据读入的过程中进行并行的处理，然后将处理完的数据写出。

读垂直相邻两个4×4小块，第1，2，4种方式都需要8个时钟，第3种方式需要4个时钟，而第5种方式也只需要2个时钟，数据处理必须所有的数据读入之后处理，然后写出处理完的数据。当然，该过程也可以在水平方向两个块滤波完成写出数据时进行数据的行列变换存储，需要加入一定的逻辑，使得在读入数据的同时能够进行滤波操作，在第5种方式下，由于读写数据的时间很少，可以不用加入该逻辑，从而能够节省一定的面积。

在上述基本上所有的图像解码处理过程中，该结构都能对数据读写操作的时钟数进行很大程度的节省，从而对提高图像解码的效率。

同样，在编码过程中，该方式也能起到同样的作用。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是图像数据分割示意图，上图表示一个图像，图像被分割成为许多16×16像素点的宏块(MB)，下图是一个宏块16×16个像素点的示意图；

图2是宏块数据分割存储图，由于存储单元的带宽基本上都是采用32bit，而每个像素点数据的位宽是8bit，4个像素点数据刚好合成一个32bit数据。现在将一个宏块的数据以4个点为单位进行分割，条纹是为了更好的展示宏块数据在本发明中存储的方式；

图3和图4是本发明图像数据存储示意图，展示了一个宏块数据在本发明中的存储方式；

图5是根据本发明的装置。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步的说明。

这里提出的存储方式与现有技术不同，具体的存储方式如图2、图3和图4所示，该数据存储方式既考虑到了4×4块分割的同时，还考虑到了行数据的读写功能，能够大大的节省视频数据编解码过程中读写内部存储单元的时间，进而提高整个编解码器的效率。

本发明中的数据存储方式如图2、图3和图4所示：

图2所示是一个宏块数据的分割情况，图中一个宏块的16×16个像素点(0-15列，A-P行)数据在H.264标准下最小分割成16个4×4的小块(b0-b15)。

图3和图4用两种不一样的方式标识本发明中宏块数据存储方式：本存储方式用4个存储单元存储一个宏块的数据，第一行A的数据依次存入ram0，ram1，ram2，ram3的0地址，第二行B的数据依次存入ram1，ram2，ram3，ram0的1地址，第三行C的数据一次存入ram2，ram3，ram0，ram1的2地址，第四行D的数据依次存入ram3，ram0，ram1，ram2的3地址，后面的数据如此反复。存储的顺序也可以发生发生变化，只是，图示的这种方式便于设计和数据整理。

采用这种存储方式，可以最高效率的在视频图像数据编解码过程中读写需要的数据：

在16×16模式下，一般都是一次读写一行的16个像素点的数据，那么，我们可以通过同时读写4个存储单元的相同地址数据得到一行宏块数据，比如，读ram0，ram1，ram2，ram3地址5的数据，就可以得到F行的数据，进行相关的重排序就可以；

在8×8模式下，一般都是一次读写一行8个像素点的数据，类似于16×16模式，只是，一次读写的是其中2个存储单元的数据；

在4×4模式下，一般都是一次读写一个4×4块的数据，这里可以通过分别读4个存储单元对应地址的数据组成，只需要一次就可以得到一个4×4小块的数据。比如，读b0块的数据，可以同时读ram0的0地址、ram1的1地址、ram2的2地址、ram3的3地址，刚好得到b0块的数据，如果要得到b14块的数据，可以同时读ram2的12地址、ram3的13地址、ram0的14地址、ram1的15地址，同样也可以一次得到。

写和读的方式雷同。

通过本发明的数据存储方式，能够保证视频数据处理过程中数据读写的高效。

另外，参照图5，本发明还提出了一种用于视频图像编解码的数据存储装置，包括：分割模块，用于将视频图像分成包括多个行和列的多个大小相同的单元；存储模块，将每个单元中的数据分为多组，分别存储在多个不同的存储器的一个地址中。

其中，单元的大小为16×16像素的宏块，宏块又分为16×16小块、16×8小块、8×16小块、8×8小块、8×4小块、4×8小块、4×4小块中的任意一个。

其中，每个小块中的数据以每行中四个数据作为一组，分别存储在多个不同的存储器的一个地址中。

其中，当宏块分为4×4小块且所述存储器为4个时，存储模块：将宏块中的第一行数据以四个数据为一组，将该四组数据依次存入第一存储器、第二存储器、第三存储器和第四存储器的0地址；将宏块中的第二行数据以四个数据为一组，将该四组数据依次存入第二存储器、第三存储器、第四存储器和第一存储器的1地址；将宏块中的第三行数据以四个数据为一组，将该四组数据依次存入第三存储器、第四存储器、第一存储器和第二存储器的2地址；将宏块中的第四行数据以四个数据为一组，将该四组数据依次存入第四存储器、第一存储器、第二存储器和第三存储器的3地址。

领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种用于视频图像编解码的数据存储方法，其特征在于，所述方法包括以下步骤：

将视频图像分成包括多个行和列的多个大小相同的单元；

将每个所述单元中的数据分为多组，分别存储在多个不同的存储器的一个地址中。

2.根据权利要求1所述的方法，其特征在于，所述单元的大小为M×N像素，每个所述单元中的M行数据中的每行中的N个数据为一组，分别存储到M个不同的存储器中的一个地址中。

3.根据权利要求1所述的方法，其特征在于，所述单元的大小为16×16像素的宏块，所述宏块又分为16×16小块、16×8小块、8×16小块、8×8小块、8×4小块、4×8小块、4×4小块中的任意一个。

4.根据权利要求3所述的方法，其特征在于，每个所述小块中的数据以每行中四个数据作为一组，分别存储在多个不同的存储器的一个地址中。

5.根据权利要求4所述的方法，其特征在于，当所述宏块分为4×4小块且所述存储器为4个时，

将所述宏块中的第一行数据以四个数据为一组，将该四组数据依次存入第一存储器、第二存储器、第三存储器和第四存储器的0地址；

将所述宏块中的第二行数据以四个数据为一组，将该四组数据依次存入第二存储器、第三存储器、第四存储器和第一存储器的1地址；

将所述宏块中的第三行数据以四个数据为一组，将该四组数据依次存入第三存储器、第四存储器、第一存储器和第二存储器的2地址；

将所述宏块中的第四行数据以四个数据为一组，将该四组数据依次存入第四存储器、第一存储器、第二存储器和第三存储器的3地址。

6.一种用于视频图像编解码的数据存储装置，其特征在于，所述装置包括：

分割模块，用于将视频图像分成包括多个行和列的多个大小相同的单元；

存储模块，将每个所述单元中的数据分为多组，分别存储在多个不同的存储器的一个地址中。

7.根据权利要求6所述的装置，其特征在于，所述单元的大小为16×16像素的宏块，所述宏块又分为16×16小块、16×8小块、8×16小块、8×8小块、8×4小块、4×8小块、4×4小块中的任意一个。

8.根据权利要求7所述的装置，其特征在于，每个所述小块中的数据以每行中四个数据作为一组，分别存储在多个不同的存储器的一个地址中。

9.根据权利要求8所述的装置，其特征在于，当所述宏块分为4×4小块且所述存储器为4个时，所述存储模块：

将所述宏块中的第一行数据以四个数据为一组，将该四组数据依次存入第一存储器、第二存储器、第三存储器和第四存储器的0地址；

将所述宏块中的第二行数据以四个数据为一组，将该四组数据依次存入第二存储器、第三存储器、第四存储器和第一存储器的1地址；

将所述宏块中的第三行数据以四个数据为一组，将该四组数据依次存入第三存储器、第四存储器、第一存储器和第二存储器的2地址；

将所述宏块中的第四行数据以四个数据为一组，将该四组数据依次存入第四存储器、第一存储器、第二存储器和第三存储器的3地址。

Images