CN101115204A - 视频流运算与处理装置与方法 - Google Patents

Abstract

本发明提供一种视频流运算与处理装置与方法，该视频流运算与处理装置是例如H.264的编码器或译码器，包括存储器电路，处理单元及数据管理单元。该存储器电路用来暂存处理中产生的中间结果。该处理器用来对于视频流进行运算与处理。该视频流包含至少一序列的帧，而这些帧由宏块组成。在处理这些宏块时，该处理单元需要参考复数个宏块参数集合。数据管理单元参考这些宏块参数的特性，决定以哪个地址存放这些宏块参数，而不是把这些宏块参数以连续的位直接存于该存储器电路。由本发明，可使存取宏块参数变得更有效率。在实做H.264等复杂编码方法的实用产品时，这些技巧都会扮演非常重要的角色。

Description

视频流运算与处理装置与方法

技术领域

本发明有关于一种视频运算及处理装置与方法，且特别有关于一种视频运算及处理装置与方法，可用于处理基于宏块构成的视频流。

背景技术

包括编码或是译码的视频处理，在今日持续不断地发展。由这些发展，带来了更高的压缩比，而这使得视频能够用越来越有效率地方式予以储存或进行。大多数今日常见的视频编码方法或标准，例如H.264，MPEG2，AVC等，都是奠基在宏块(macroblock)上面进行编码或译码。更具体地说，一个帧(frame)可以被切分成复数个宏块。由分析与利用各个宏块在时间上与空间上的关联相似性，压缩比得以获得更高的效率。有时候，若干宏块，在一些编码工具(coding tool)中，被群组成一个运算的基本单位，这边称为宏块单元(macroblock unit)。也就是说，一个宏块单元可包含一个或多于一个的宏块，以作为运算时的基本单位。

请参照图1，其以H.264为例，例示视频帧100的局部，包括复数个宏块。在图1中，宏块单元在非MBAFF(宏块基础适应形帧/域，Macroblock-based adaptive frame/field)编码下，为16×16像素，而在MBAFF编码下，宏块单元为16×32像素，但这里所写的仅为范例。假如宏块单元MBU5是目前宏块单元，即待编码或译码的宏块单元，则需要使用到来自MBU0，MBU1，MBU2与MBU4的信息。假如宏块单元MBU6是目前待编码或译码的目前宏块单元，则需要使用来自MBU1，MBU2，MBU3与MBU5的信息。换言之，一个目前宏块单元可能需要来自左上宏块单元，上方宏块单元，右上宏块单元，以及邻接宏块单元。

基于宏快的编码与译码都变得越来越困难。因此，在实做时，每个因素都必须审慎地考量，这样才能建造出一个实用的产品，供使用者使用。

发明内容

依据本发明的较佳实施例提供一视频运算与处理装置，  可供对于一视频流(video stream)进行运算与处理。在编码时，此视频流可指向一序列的图像帧(image frame)，其透过编码转换成一对应的比特流(bit stream)。在译码时，此视频流可指向一比特流，由译码还原回一序列的图像帧。此处所述的视频流包含一序列帧的信息，并且每个帧包括复数个宏块。此种装置包括一存储器电路，一处理器与一数据管理单元。该存储器电路可用来缓冲(buffer)存放运算与处理该视频流时的中间运算结果。该处理器可依据复数宏块参数集合(sets of macro block parameters)，对所述宏块进行处理。而这边所述的每个宏块参数集合对应到一个宏块集合(set of macro block)，可能是一个或多个宏块。在这边所使用的“宏块集合”可指向一储存单元，而未必须与另一上述名词“宏块单元”完全一致。举例来说，两个垂直或水平相邻的宏块可群组在一起，而构成一个这边提到的宏块集合。当然，这边提到的宏块集合也可以只包含单一个宏块。数据管理单元依据所述宏块参数的至少一特性，决定在该存储器电路中，用以存放所述宏块参数集合的地址，而不是仅是用单纯的方法，直接将所述宏块参数一个位接着一个位连续地存放。这边提到的“所述宏块参数的至少一特性”，除了直接参考宏块参数的特性，也可以包括参考存储器特性，以及/或编码工具(coding tools)的特性。举例来说，对应整数个宏块的宏块参数存放在一个存储页(page)。在另一个例子中，一个宏块参数集合的宏块参数可存于两个存储页，只要这两个存储页存于不同的存储库(bank)上。另一种作法还包括，将一个宏块的宏块参数存于一个存储库的两个存储页，假如在这两个存储页，都存放这些宏块参数的复本。基于使用不同编码工具等考量，这些宏块参数也可以进行分组，或是重新安排存于存储器电路的顺序。

本发明的一种视频运算与处理装置，用以针对一视频流进行运算及处理，所述视频流包含复数帧，且每一帧包含复数宏块，所述装置包含：一存储器电路，供暂存运算与处理所述视频流的中间结果；一处理器，供运算及处理复数宏块参数集合，每一宏块参数集合对应一宏块集合；以及一数据管理单元，依据所述宏块参数的特性，决定所述宏块参数集合储存于所述存储器电路中的地址。

本发明的一种视频运算与处理方法，用以处理一视频流，所述视频流包含一序列帧，且每一帧包含复数宏块，所述方法包含：依据复数宏块参数集合处理所述宏块，每一所述宏块参数集合对应一宏块集合；以及将所述宏块参数集合存于一存储器电路，所存放地址依据所述宏块参数的一特性得出。

此处所提到的处理器与数据管理单元，可指向在控制器(controller)或微处理器(microprocessor)上执行的对应指令，或是指向硬件逻辑电路(hardwarelogic circuit)，数字信号处理器，以及/或任何这些组件的组合等。处理器与数据处理单元也可指向集成电路芯片(integrated circuit chip)的一部分，或指向H.264播放器等终端产品中的各种形式的电路组合。此外，相关的电路逻辑(circuit logic)也可实做成程序，或是直接实做成特制的集成电路(ASIC)。

由本发明，可使存取宏块参数变得更有效率。在实做H.264等复杂编码方法的实用产品时，这些技巧都会扮演非常重要的角色。

附图说明

图1例示宏块间的关联性；

图2例示依据本发明的一较佳实施例；

图3例示一实施范例；以及

图4例示一流程图。

主要组件符号说明：

22处理器

24数据管理单元

26存储器电路

32码处理电路

34存储器电路

36总线

具体实施方式

依据本发明的较佳实施例包括一种视频运算与处理的装置。该运算与处理可包括编码(encoding)，译码(decoding)，转码(transcoding)，以及各种相关的处理。此种视频运算与处理装置可以是，一组电路的形式，集成电路芯片(Integrated Circuit Chip)，或甚至是像电视或是媒体播放器等完整的装置。这种视频运算与处理装置用来运算及处理一个或多于一个的视频流。这样的是视频流可包含一序列的帧，而每个帧可包含复数个宏块。

每一宏块可包含一个区域中像素(pixel)所对应的色彩参数，或是其它衍生的信息。举例来说，对于一个16乘以16(16×16)的宏块来说，其对应到256个像素。这个16×16的宏块的数据可包括原始色彩参数(raw colorcomponent)，量化后数据(quantized data)，预测后差距(offeset after prediction)，或任何对应到这246个像素的其它数据，这些数据可依据不同的编码架构而有所不同。许多当前流行的视频流编码都采用宏块为基础的编码，例如H.264，MPEG2，MPEG 4，MPEG 7，AVC，VC-1等等。当一个图像依据宏块架构被编码或译码时，透过对同一帧或跨帧的多个宏块进行分析，可找出更多的数据间相似性，而这些相似性可以用来增加数据的压缩率。

以下所介绍的本发明的技巧，可以应用在任何架构在宏块上的编码方式。至于各种编码方式的一般实施细节，本领域普通技术人员可参考已知的参考文献。配合下面所介绍的说明，本领域普通技术人员便能将各种编码方式的实做中，结合本发明所提供的技巧。举例来说，H.264的编码方式基于宏块的概念。透过“IEEE Transcations on Circuits and Systems for VideoTechnology”这本期刊，于2003年七月的文章，“Overview ofthe H.264/AVCVideo Coding Standard”，本领域普通技术人员可了解整个H.264编码与译码的基本架构的理解，得知其如何运用宏块的概念，建构能带来高压缩率的的编码或译码方法。在这篇文章中，帧内(Intra-Frame)预测(prediction)，跨帧(Inter-Frame)预测(prediction)，以及其它像是切块群组(slice group)都有相当清楚的说明。对于这类的背景知识，除了跟整合本发明有直接相关的部份，在这里并不重复赘述。

当对于宏块进行编码或译码时，通常需要参考到相关复数宏块集合所对应的复数宏块参数集合。举例来说，当编码或译码目前宏块时，邻近于该目前宏块所对应的复数个宏块集合的若干宏块参数集合会需要拿来作为参考。虽然每个宏块参数集合具有多个不同类型的宏块参数，但实际上在处理某个宏块时所需的宏块参数，会随着不同的编码工具(coding tool)而有可能不同，或甚至在同一编码架构，例如H.264标准下，都可能会有所不同。以H.264作为范例，宏块参数可包括，但不限于，重建像素(Reconstructed Pixels)，切块识别码(Slice ID)，宏块略去旗标(Macroblock skip flag)，域译码旗标(Fielddecoding flag)，宏块类型(Macroblock type)，直接模式旗标(Direct modeflag)，明度内模式(Luma intra modes)，彩度内模式(Chroma intra modes)，参考索引(Reference indices)，运动向量(Motion vectors)，运动向量差(Motionvector differences)，编码块样态(Coded block pattern)，量化参数(Quantizationparameter)，Y DC编码块旗标(Y DC coded block flag)，Y AC编码块旗标(YAC coded block flags)，U DC编码块旗标(U DC coded block flag)，U AC编码块旗标(U AC coded block flags)，V DC编码块旗标(V DC coded block flag)，V AC编码块旗标(V AC coded block flags)，Y全部编码块旗标(Y total codedblock flags)，Y全部系数(Y total coefficients)，U全部系数(U totalcoefficients)，V全部系数(V total coefficients)，等等。必须注意的是，在此处所提及的“宏块参数集合”这个名词，可指向全部或一部分可用的宏块参数。此外，在实际实做的例子中，宏块参数的一部分可存于缓存器(register)等区域缓冲(local buffer)，而另一些部份可存于动态随机存取存储器(DRAM)等存储器。并且，随着不同的设计需要，这些配置可以随之调整。

在过去的现有设计中，宏块参数通常直接，单纯以连续位的方式，一个接一个存放在例如动态随机存取存储器的存储器中。换言之，在储存这些宏块参数时，并未特别考虑这些宏块参数的特性。然而，发明人观察到，对于一个芯片外的动态随机存取存储器而言，如果用于H.264的应用时，每次的页错失(page miss)，在DDR类型中，即可能耗费8个动态随机存取存储器时钟脉冲周期，而在DDR2类型中，则可能耗费12个动态随机存取存储器时钟脉冲周期。同时，当一个宏块参数如果使用了112个字节(bytes)，其仅需要耗费12个动态随机存取存储器时钟脉冲周期即可被读出。因此，光是在页错失造成的时间上成本就已经非常显著。本发明就包含发现了这个未被注意到的问题，而对之提出几种解决的方案。

图2所例示的较佳实施例中，此种视频运算与处理装置包括一存储器电路26，一处理器22以及一数据管理单元24。该存储器电路26用来缓冲，于运算与处理该视频流的中间结果。该处理器22会依据复数宏块参数集合，对所述宏块进行运算与处理。每一宏块参数集合对应一宏块集合。有时，一个宏块参数集合可仅仅对应到一个宏块；有时，一个宏块参数集合可对应到超过一个宏块。在该存储器电路26中的宏块参数集合，透过数据管理单元24配置地址，而该地址的配置，则参考所述宏块参数的特性，而非直接单纯将所述宏块参数以连续位方式存于该存储器电路26中。

在实际的设计中，该处理器22可实做成一个集成电路(integrated circuit)或是复数电路以及所需组件的组合，以达成对上述视频流进行编码或译码的处理。这些运算与处理的逻辑步骤可纪录于轫体指令，以及/或是对应的直接硬件电路。这边所提到的处理器22以及数据管理单元24也可指向对应的指令，而这些指令可在控制器或微处理器执行，也可以各种组合，以结合特殊的硬件电路或是数字信号处理器(DSP)。该处理器22与数据管理单元24也可指向集成电路芯片(integrated circuit chip)或是例如H.264等各种电子产品中的各种电路的组合。

当宏块参数经由处理过程中被取得时，这些宏块参数会透过该数据管理单元24作特别的配置。假如这个处理是编码的话，宏块参数可透过对图像帧进行编码而取得。假如这个处理是译码的话，宏块参数可以透过解析视频流以及进行相关的译码流程而获得。数据管理单元24可透过轫体指令以及/或硬件逻辑，而由该处理器22或另一独立的电路加以控制或执行，以在运算与处理该视频流时，处理所需的存储器配置。

此处所述的数据管理单元24可参考宏块参数的至少一特性，来决定应该配置哪些地址，以存放这些宏块参数。利用所谓的“宏块参数的特性”的第一个例子，在存储器电路26的每一页仅存放整数个宏块所对应的宏块参数集合。换言之，假如在存储器页中，虽然有空间足以存放一个宏块集合所对应的宏块参数集合的部份内容，但依据此规则，这些空间将不会拿来存放这些宏块参数。遵守此规则的数据管理单元24会决定将这个宏块集合所对应的宏块参数集合存放到下一页。这样的配置可避免，仅为了读取一个宏块参数集合，而需存取存储器电路的两页数据，特别是当这两页数据位于同一存储库(bank)时。

第二个使用此宏块参数特性的例子，可将一个宏块集合对应的宏块参数集合跨存在两个存储页上，只要这两个存储页是在不同的存储库。因此，当存取一个宏块的参数时，只需要较少的时间。

应用宏块参数特性的第三个例子中，每个宏块参数集合中的宏块参数区分数个组别。不同的组别存放于存储器电路26的不同存储库。举例来说，移动向量信息(Motion Vector Information)的宏块参数被归类到第一组，而Y全部系数(Y total coefficients)被归类到第二组。第一组与第二组被存放到存储器电路26的不同存储库。这样的分组策略可以做到让每组或大部分组的大小相等或大小相似。这边所说的“大小相似”指的是实质相近，例如三组的大小为102Kb，101Kb，98Kb。这样分组的另一种可能性是，针对不同的编码工具(coding tool)，对宏块参数作不同的分组。举例来说，假如第一编码工具需要第一组宏块参数，而第二编码工具需要第二组宏块参数，这第一组宏块参数与这第二组宏块参数就可以存放在存储器电路26的不同存储库。

第四种利用宏块参数特性的例子，是将两个相邻的宏块集合所对应的宏块参数集合，存放在存储器电路26的不同存储库。由于在处理的时候，常会需要相邻宏块集合对应的数据，因此，这样的配置在实际处理时，能产生一定的助益。

第五个使用宏块参数特性的例子，是将不同宏块参数集盒中相同类别的宏块参数存放在一起。此处所述的“一起”可表示存于相邻的地址。举例来说，来自不同宏块参数集合的宏块参数“Y DC编码块旗标”可在存储器电路26中存放在一起。在实际设计中，这边说的类别，可对应到所采用的编码工具。

在此需说明的是，所谓“宏块参数集合”有许多不同的构成方式。举例来说，一个宏块集合可由一个单一的宏块组成。一个宏块集合也可以由两个或两个以上的宏块组成，这些两个或两个以上的宏块可透过不同的形式来组合，例如水平或垂直方向相邻的宏块。此外，宏块集合的元素个数，可依据不同的设计需要，做出不同的设定。举例来说，个数可为2ⁿ或2乘上n，其中n为正整数。这个数目也可以动态调整，例如每个帧重新调整，或是每个切块(slice)重新调整一次。这边所提到的“宏块集合”不需要跟运算的基本单元，即宏块单元(macroblock unit)有必然的一致性。即，其可与运算的基本单元构成一致，也可以不一致。

上述的存储器电路26可为一或多个缓存器(register)，动态随机存取存储器(DRAM)，静态随机存取存储器(SRAM)，闪存或是任何其它种类的存储器，透过各种数目与类别的组合。数据管理单元24可将所有宏块参数的一部分内容配置在区域缓存器或静态随存取存储器，而同时将某些内容配置在动态随机存取存储器中。这些都可依据不同的设计需求而作不同的配置。此外，这里出现的“宏块参数集合”可代表全部，也可代表部份的宏块参数。

图3例示上述较佳实施例的一个进一步的例子。在图3中，一个码处理电路(coding circuit)32整合了上述的处理器22与数据管理单元24的功能。这个编码电路32经由一总线36，存取一存储器电路34，以进行对宏块集合进行编码以及/或译码。两个存储库341与342，则分别存放上述宏块参数集合的不同组参数。

图4是一例示流程图，例示依据至少一宏块参数特性，在一存储器电路中存放宏块参数，而不是单纯的方式，将需储存的宏块参数，一个位接着一个位的直接连续储存。在步骤402，宏块参数经由计算而获得。接着，决定宏块参数的特性(步骤404)。并且，接着，宏块参数集合依据此特性决定如何存放在存储器电路中(步骤406)。必须指出的是，这边的步骤402与步骤404是可以对调顺序的。这样的方法可实做成指令，或直接由硬件逻辑电路实做。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明，任何熟习此技艺者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰，因此本发明的保护范围当以权利要求范围所界定者为准。

Claims (26)

1.一种视频运算与处理装置，用以针对一视频流进行运算及处理，所述视频流包含复数帧，且每一帧包含复数宏块，所述装置包含：

一存储器电路，供暂存运算与处理所述视频流的中间结果；

一处理器，供运算及处理复数宏块参数集合，每一宏块参数集合对应一宏块集合；以及

一数据管理单元，依据所述宏块参数的特性，决定所述宏块参数集合储存于所述存储器电路中的地址。

2.如权利要求1所述的视频运算与处理装置，其中所述宏块参数包含帧内预测或跨帧预测所需的信息。

3.如权利要求1所述的视频运算与处理装置，其中所述数据管理单元在所述存储器电路的每一页，存放整数个宏块集所对应的宏块参数。

4.如权利要求1所述的视频运算与处理装置，其中所述数据管理单元将一个宏块集所对应的宏块参数存放于所述存储器电路的一第一页与一第二页，所述第一页与所述第二页位于所述存储器电路不同的存储库。

5.如权利要求1所述的视频运算与处理装置，其中所述数据管理单元将每一个宏块参数集合区分为复数组，且一个宏块参数集合的不同组，放在所述存储器电路的不同存储库。

6.如权利要求5所述的视频运算与处理装置，其中所述数据管理单元在针对一个宏块参数集合进行分组时，将每组的大小控制在相等或实质上相近。

7.如权利要求5所述的视频运算与处理装置，其中所述数据管理单元依据不同的编码工具，针对一个宏块参数集合进行分组。

8.如权利要求1所述的视频运算与处理装置，其中所述数据管理单元将不同宏块集合所对应的宏块参数集合，存于所述存储器电路的不同存储库。

9.如权利要求8所述的视频运算与处理装置，其中所述一个宏块集合的组成可包含两个相邻的宏块。

10.如权利要求1所述的视频运算与处理装置，其中所述数据管理单元将不同宏块参数集合中，相同种类的宏块参数，存于所述存储器电路的相邻位置。

11.如权利要求10所述的视频运算与处理装置，其中所述种类由编码工具所决定。

12.如权利要求1所述的视频运算与处理装置，其中一个所述宏块集合包含一个宏块。

13.如权利要求1所述的视频运算与处理装置，其中一个所述宏块集合包含两个水平相邻或垂直相邻的宏块。

14.如权利要求1所述的视频运算与处理装置，其中一个所述宏块集合包含2ⁿ个宏块，其中n为正整数。

15.如权利要求1所述的视频运算与处理装置，其中所述宏块集合的大小动态调整。

16.如权利要求15所述的视频运算与处理装置，其中所述宏块集合的大小在不同的帧可作重新调整。

17.如权利要求1所述的视频运算与处理装置，其中所述存储器电路包含随机动态存取存储器，静态随机动态存取存储器，以及闪存。

18.如权利要求1所述的视频运算与处理装置，其中所述处理为编码或译码。

19.一种视频运算与处理方法，用以处理一视频流，所述视频流包含一序列帧，且每一帧包含复数宏块，所述方法包含：

依据复数宏块参数集合处理所述宏块，每一所述宏块参数集合对应一宏块集合；以及

将所述宏块参数集合存于一存储器电路，所存放地址依据所述宏块参数的一特性得出。

20.如权利要求19所述的方法，其中所述存储器电路的每一页只存放整数个宏块集合所对应的宏块参数集合。

21.如权利要求19所述的方法，其中一个宏块集合对应的宏块参数会储存于所述存储器电路的一第一页与一第二页，但所述第一页与所述第二页位于所述存储器电路的不同存储库。

22.如权利要求19所述的方法，其中每一宏块参数集合被分类成复数组，并且同一宏块参数集合中，隶属不同组的宏块参数被存放在所述存储器电路不同的存储库。

23.如权利要求19所述的方法，其中对应不同宏块集合的不同宏块参数集合，被放置在所述存储器电路的不同存储库。

24.如权利要求23所述的方法，其中一个宏块集合是由2n个宏块构成，其中n为正整数。

25.如权利要求19所述的方法，其中所述宏块参数集合中相同的类别的宏块参数，会被存于所述存储器电路的相邻位置。

26.如权利要求19所述的方法，其中所述宏块集合的大小动态调整。

Images