CN100340118C - 运动估计的超大规模集成电路体系结构及数据缓存的方法 - Google Patents

Abstract

本发明涉及数字视频信号编码中多尺度多模式运动估计中数据缓存和提供的超大规模集成电路实现的体系结构及处理过程。本发明所提出的装置和方法的核心部件包括两个可分别独立寻址的超高速缓冲存储器，用来分别存储当前帧和参考帧中的被处理数据。这种高速缓冲存储器与外部存储器以及与运动估计器之间的数据交换以4×4数据块为基本单位进行；本发明提出了一整套方法来支持从4×4到16×16的各种模式运动估计所需的高速数据提供；给出了地址形成的过程，以及数据查找策略。本发明特别适用于ITU-TH.264视频编码中多种块模式运动估计方法的集成电路硬件实现，也同样可以有效地支持其他视频编码方法(例如MPEG-2，MPEG-4等)的超大规模集成电路实现。

Description

运动估计的超大规模集成电路体系结构及数据缓存的方法

所属技术领域

本发明属于电子行业技术领域，具体涉及一种超大规模集成电路体系结构，及该集成电路中进行多尺度多模式运动估计时数据缓存和提供的方法。

背景技术

图1是一般视频编码中以块为单位的运动估计(Motion Estimation，ME)的功能示意图。运动估计的方法是，对当前帧图像中一个被编码的像素块，在参考帧图像中一个指定的窗口中搜索与之相差最小的像素块，作为最佳匹配。运动估计得到两个值：一个是被编码的像素块相对于参考帧中最佳匹配像素块的偏移，即运动矢量MV(Motion Vector)；另一个是被编码像素块与最佳匹配像素之间的残差绝对值之和SAD。这部分计算占了整个编码过程计算量的很大比重，因此，这部分硬件的执行效率直接关系到整个集成电路芯片是否有效运行。

图2是ITU-T H.264/MPEG-4 AVC标准中运动估计的功能示意图。在这个标准中，有七种不同尺寸和形状的像素块被用于运动估计。

运动估计在整个视频编码过程中占有相当重要的地位，也占有了大量的处理器资源，尤其在H.264中引入了从4×4到16×16块的各种尺度的各种模式的运动估计技术，进一步增加了运动估计的计算量和复杂度，因此对于运动估计过程的快速执行是实现H.264实时编码的一个重要条件。

同时，由于技术改进、市场化进程、和标准化过程三者之间的不同步发展，视频编码领域内形成了多种编码标准共存的局面。因此，在同一个计算平台上对包括MPEG-1/2/4和H.264在内的多种数字视频编码标准的支持是必要的。

发明内容

本发明的一个目的是提供一种超大规模集成电路体系结构，为运动估计过程的快速执行提供一种硬件结构。

一种超大规模集成电路体系结构，用于数字视频信号编码的运动估计步骤中的高速数据缓存和提供，其特征在于包括：

当前帧数据缓存器；

参考帧数据缓存器；

当前帧数据缓存器与外部存储器之间的数据通道；

参考帧数据缓存器与外部存储器之间的数据通道；

当前帧数据缓存器与多模运动估计器之间的数据通道；

参考帧数据缓存器与多模运动估计器之间的数据通道；

其中，多模运动估计器由四个内部结构完全一样的处理单元PE-A(302)，PE-B(303)，PE-C(304)，和PE-D(305)组成，所述PE-A(302)，PE-B(303)，PE-C(304)，和PE-D(305)中的每一个能独立完成一个4*4大小的像素块的运动估计。

其中数据缓存器的组织结构为：

数据缓存器分为四个物理体；

每个物理体包含一定数目的高速缓存行(CACHE LINE)；

每个高速缓存行的大小为16个字节，分为4个四字节的字；

每个高速缓存行有一个标志(TAG)字段。

本发明的另一个目的是提供一种用该超大规模集成电路体系结构进行数据缓存和提供的方法，使运动估计过程的快速执行得以实现。

该方法包括以下步骤：

将外部存储器所存放的部分像素数据调入当前帧和参考帧数据缓存器；

控制器访问数据缓存器对当前帧和参考帧数据进行寻址；

将当前帧和参考帧数据调入多模运动估计器进行运动估计；

其中，有L个参考帧数据缓存器来分别对L个参考帧的数据进行缓存，并且，控制器首先产生一个选择信号，从L个高速缓存器中选择一个进行操作，L是大于等于1的整数。

其中数据缓存器与外部存储器所存放的像素数据间的映射方法包括：

像素数据以4×4像素块为基本单位在高速数据缓存器和外部存储器之间作整体移动；

一次在高速数据缓存器和外部存储器之间的数据移动，还包括三个关联4×4像素块，分别位于上述4×4像素块的右侧、下侧、及右下侧；

在从外部存储器向高速数据缓存器调入数据时，一个4×4像素块及其三个关联4×4像素块分别被分配到同一个高速数据缓存器中的四个不同的物理体的编号相同的高速缓存行(CACHE LINE)中。

其中数据缓存器与多模运动估计器之间进行像素数据交换的映射方法包括：

像素数据以4×4像素块为基本单位在高速数据缓存器和多模运动估计器之间作整体移动；

多模运动估计器中的所有处理单元PE-A，PE-B，PE-C，PE-D共同从同一个当前帧高速数据缓存器获取当前帧像素数据；

多模运动估计器中的所有处理单元PE-A，PE-B，PE-C，PE-D共同从同一个参考帧高速数据缓存器获取参考帧像素数据。

其中高速数据缓存器的寻址方法包括：

由需要查找的4×4像素块在原图像中的位置计算其行指标和列指标；

由上述4×4像素块的行指标和列指标确定三个关联4×4像素块的行指标和列指标；

由4×4像素块的行指标和列指标联合形成高速数据缓存器的缓存地址和TAG匹配信号；

用TAG匹配信号判定高速缓存行中的数据是否是所要的4×4像素块；

如果高速缓存行中的数据不是所要的4×4像素块，从外部存储器将该4×4像素块及关联像素块数据调入高速缓存器并修改TAG值。

在所述的超大规模集成电路及数据缓存和提供的方法中，可以有L个参考帧高速缓存器来分别对L个参考帧的数据进行缓存。

在所述的超大规模集成电路及数据缓存和提供的方法中，当有L个参考帧高速缓存器时，控制器首先产生一个选择信号，从L个高速缓存器中选择一个进行操作。

本发明所作的针对数字视频及图像编码、转码等计算处理过程中的运动估计步骤，及其专用超大规模集成电路并行实现结构，使得基于其开发的新一代多模ASIC芯片组可支持包括最新的ITU-T H.264(即MPEG-4第10部分)标准和中国的AVS标准在内的所有MPEG/ITU-T H.26x类标准。适用范围涵盖包括数字电视、网络媒体、信息家电、多媒体移动通讯、激光视盘等在内的多个产业领域。

附图说明

图1是一般视频编码中以块为单位的运动估计(Motion Estimation，ME)的功能示意图；

图2是ITU-T H.264/MPEG-4 AVC标准中运动估计的功能示意图；

图3是本发明超大规模集成电路体系结构；

图4是本发明一具体实施例中高速缓存器的组织结构；

图5是当前帧图像数据在一个高速缓存行中的存放策略；

图6是一帧当前帧视频图像的局部被存放到高速缓存器中时的分配策略；

图7是本发明一具体实施例中当前帧高速缓存器的寻址方法；

图8是控制器访问高速存储器时的控制逻辑流程；

图9是本发明一具体实施例中参考帧高速缓存器的寻址方法；

图10是多参考帧情形高速缓存器的寻址方法。

具体实施方式

下面结合附图对本发明的实施例作进一步的详细描述。

图3是本发明超大规模集成电路体系结构，是一个能对从4×4，4×8，8×4，8×8，8×16，16×8，到16×16等各种几何形状和尺寸的像素块进行运动估计的并行装置。如果它被重复使用更多的次数，它也能对大于16×16的像素块进行运动估计。

整个装置的行为由一个控制器(301)控制。计算的发起和操作模式选择均由控制器发出的操作指令(308)决定。装置的核心部件是由四个内部结构完全一样的处理单元PE-A(302)，PE-B(303)，PE-C(304)，和PE-D(305)组成的多模运动估计器。每个PE能独立完成一个4×4大小的像素块的运动估计，其结果是一组运动矢量MV-A，MV-B，MV-C，MV-D，和相应的残差绝对值和SAD-A，SAD-B，SAD-C，SAD-D。这些运动矢量和残差绝对值和被送往控制器(301)做进一步处理。四个PE也有数据通路和控制通路互联(310)，使得它们可以协同起来完成比4×4更大的像素块的运动估计。

整个多模运动估计器由一个当前帧数据CACHE(306)和参考帧搜索窗口数据CACHE(307)提供输入数据，这些数据被分别引导到四个PE中。由于四个PE在做ME时，数据有一定的相关性，即4个PE的搜索窗口有一定的重叠。因此，这四个PE共用相同的一套CACHE装置。

与大多数计算装置一样，本发明中的CACHE装置是数据访问(读、写)速度远远高于外部存储器(311，312)，容量远远小于外部存储器，而一般来说制造成本(元/比特)高于外部存储器的高速缓存部件。它是直接向多模运动估计器提供数据的部件，更多的图像数据被存放在外部存储器(311，312)中。外部存储器和CACHE之间有数据交换通道，但外部存储器和多模运动估计器之间没有直接的数据交换通道。

图4为本发明的一个具体实施例中高速缓存器的组织结构。存放当前帧数据的CACHE大小为8K(1K＝1，024)字节(Byte，1字节＝8个二进制位bit)，分为四个体，每个体为2K Bytes。每个体共有128个CACHE LINE，每个CACHE LINE的大小为16个字节，分为4个四字节的字。此外，每个CACHE LINE还有一个TAG(标志)字段。TAG字段不用来存放图像数据，而是控制器用来对CACHE数据访问的一个控制字段。在一个具体实现例中，TAG字段的长度为11个二进制位。

需要指出，图4的构造原理可以有不同的具体实现，例如，CACHE的总大小可以大于或小于8K，CACHE内的体数可以不必为四，每个体的大小和CACHE LINE个数不必为图4给出的数字，等等。本发明的原理适用于所有这些变化。

图5所示为在本发明中当前帧图像数据以4×4像素块为基本单位存放在CACHE中。按照这一设计，无论是图像数据被从外部存储器中调入CACHE，还是CACHE中的图像数据被调入多模运动估计器参与运动估计运算，都是以4×4像素块为整体单位进行的。图5并且显示一个4×4像素块在一个CACHE LINE中的存放策略，其中每个CACHE LINE的第一个字(4个字节)存放该4*4像素块的第一行的四个亮度值；第二个字存放该4*4像素块的第二行的四个亮度值；第三个字存放该4*4像素块的第三行的四个亮度值；第四个字存放该4*4像素块的第四行的四个亮度值。

图6所示为一帧当前帧视频图像的局部被存放到CACHE中时的分配策略。如图6A，被分配的图像数据从左上角的像素起，被分割为若干4×4像素块。我们以指标i标记每个4×4像素块的行坐标，其中从最上面数起依次为第0，第1，…等等；以指标j标记每个4×4像素块的列坐标，从最左边数起依次为第0，第1，…等等。因此，一帧视频图像中最左上角的一个4×4像素块的坐标为(i，j)＝(0，0)，等等。

在本发明所针对的一个具体实现中，我们设指标i和j的最大值为1023。因此，指标i和j各分别可以用十个二进制位来表示。这样设计的装置可以处理的最大图像尺寸为4096×4096像素。当这个原理和装置被用来处理更大图像时，只需增加指标i和/或j的位数即可。

当前帧图像被存放到CACHE中时的分配规则是，第一，从左上角的像素起，亮度数据以4×4像素块为单位被分配到CACHE中；第二，CACHE的第0个体总是存放i，j指标均为偶数的4*4像素块，第1个体总是存放i指标为偶数，j指标为奇数的4*4像素块，第2个体总是存放i指标为奇数，j指标为偶数的4*4像素块，第3个体总是存放i，j指标均为奇数的4*4像素块。

图6B给出了这一规则的一个具体实现。可以看出，按照这样的分配规则，从图像的左上角算起，组成每一个8×8像素块的四个4*4像素块刚好被分别分配到四个CACHE体中。事实上，从图像的左上角算起，组成每一个8×8像素块的四个4*4像素块被称为关联4*4像素块，如图6C所示。

按照图6显示的分配规则，针对图4中的具体实现，可以同时有512个4*4像素块被分配到当前帧数据CACHE中。

图7所示为控制器(301)对存放在CACHE中的当前帧中的4*4像素块进行寻址。根据图5的设计，每个在外部存储器和CACHE之间、以及CACHE和多模运动估计器之间数据交换的基本单位是一个4*4像素块，因此，CACHE中被寻址的基本单位是一个CACHE LINE。

当控制器要寻找CACHE中的一个4×4像素块时，它需要给出两个指标，一个是该4×4像素块的行指标i(701)，另一个是该4×4像素块的列指标j(702)。其中，由行指标的第0位和列指标的第0位共同构成一个体选择信号(703)，用来在CACHE中的四个体中选择一个。由行指标的第1，2位和列指标的第1至5位共同构成一个体内CACHE LINE选择信号(704)，用来在被选中的CACHE体中指定一个CACHE LINE。这个被选中的CACHE体中的CACHE LINE(706)的TAG字段和4×4像素块被分别读出。最后，由行指标的第3至9位和列指标的第6至9位共同构成一个TAG匹配信号(705)，用来判断被读出的4×4像素块数据(708)是否有效(通过一个比较器707)。如果被读出的TAG信息与TAG匹配信号705相等，则被读出的4×4像素块就是所要找的数据(命中)。如果被读出的TAG信息与TAG匹配信号705不相等，则被读出的4×4像素块不是所要找的数据，为无效数据。

图8所示为控制器访问CACHE时的控制逻辑流程。当控制器要寻找CACHE中的一个4×4像素块时，它需要先确定该像素块的行指标和列指标。图8(B)显示行指标和列指标分别与像素点阵坐标(R，C)的关系。一幅数字化图像被分为若干行(水平方向，用R标记)和列(垂直方向，用C标记)，其中最左上角的像素的坐标为R＝0，C＝0。如果当前被考虑的4×4像素块的左上角像素的坐标为(R，C)，则按照图8(A)给出的算法，可以确定出该4×4像素块的行、列指标为i＝R/4和j＝C/4，这里“/”符号代表除法。

例如，假如当前被考虑的4×4像素块的左上角像素的坐标为(R＝8，C＝16)，则该4×4像素块的行、列指标分别为i＝2和j＝4。

接下来，控制器需要确定其它三个关联像素块的行、列指标(图8(A))。例如，假如当前被考虑的4×4像素块的4×4像素块的行、列指标分别为i＝2和j＝4，则与它紧邻的右边的关联像素块指标为i＝2和j＝5，与它紧邻的下边的关联像素块指标为i＝3和j＝4，与它紧邻的右下方的关联像素块指标为i＝3和j＝5，等等。

接下来，控制器将根据(i，j)值，根据图7的方法，到CACHE中取出所需的像素块数据。如果要找的数据就在CACHE中(命中)，则控制流程进入下一个步骤(例如，运动估计中的求差值等运算)。如果要找的数据不在CACHE中，则控制器从外部存储器中将有关数据调入CACHE。调入数据在CACHE中的存放位置按图7的规则计算。一次性被调入的数据包括本4×4像素块的数据和相关联的其它三个4×4像素块的数据。同时，相关CACHE LINE的TAG值被重新计算并重置。然后，控制流程进入下一个步骤(例如，运动估计中的求差值等运算)。

参考帧CACHE存放的是参考帧中搜索窗口的数据。其存放策略与当前帧相同，即：(1)以4×4像素块为基本单位。(2)每个4×4像素块有一个唯一对应的(i，j)指标，由其左上角像素在参考帧中的坐标按图8(B)的计算方法确定。(3)参考帧的CACHE组织结构与图4相同，只是总容量大了四倍：用4个CACHE体来存放参考帧的局部数据，每个体的大小为8K字节，每个CACHE行为16个字节，每个体共有512 CACHE行。(4)CACHE的第0个体总是存放i，j指标均为偶数的参考帧4*4像素块，第1个体总是存放i指标为偶数，j指标为奇数的参考帧4*4像素块，第2个体总是存放i指标为奇数，j指标为偶数的参考帧4*4像素块，第3个体总是存放i，j指标均为奇数的参考帧4*4像素块。(5)当需要的4*4像素块不在CACHE中时，控制逻辑以8×8像素块为单位将所需要的4*4像素块及其相关联的三个4*4像素块从外部存储器调入CACHE。

图9所示为参考帧CACHE的寻址过程：i坐标的第0位以及j坐标的第0位作为体选择信号；i坐标的第1位到第4位以及j坐标的第1位到第5位作为体内CACHE LINE选择信号；i坐标的第5位到第9位以及j坐标的第6位到第9位作为TAG匹配信号。

图10所示为当有多个参考帧时(例如，MPEG-2中的B-帧预测，和H.264中的多帧参考预测)，CACHE的组织和寻址。其中，如果有L个参考帧，则装置中有L个象图9给出的CACHE来分别对这L个参考帧的数据进行缓存。每个CACHE有4个CACHE体，每一个体有512个CACHE LINE，每一个CACHE LINE能存储一个4×4像素块的亮度数据。当访问参考帧CACHE时，控制器首先产生一个宽度至少为(log 2L)位的CACHE选择信号(1000)，来从L个CACHE中选择一个CACHE进行以下的操作。当一个CACHE被选中后，接下来的寻址操作与图9一样。

最后需要指出，本发明所揭示的处理原则和结构设计可以有许多变化，但这些变化不构成对本发明的实质性变更。例如，图8中从外部存储器调入数据到CACHE中的过程，并不局限于“一次性被调入的数据包括本4×4像素块的数据和相关联的其它三个4×4像素块的数据”的规则，也适用于其它数据调入策略。另外，多参考帧时也可以不为各个参考帧都开辟一个CACHE，而是所有参考帧都共用一个CACHE中的4个CACHE体。这时只需要对Tag位作简单的处理即可。

最后，虽然本发明提出的方法是针对视频信号编码过程提出的，但它同样适用于对视频信号的其它处理和分析过程，例如运动预测，运动分析，运动跟踪，等等。

Claims (7)

1、一种超大规模集成电路体系结构，用于数字视频信号编码的运动估计步骤中的高速数据缓存和提供，其特征在于包括：

a)当前帧数据缓存器；

b)参考帧数据缓存器；

c)当前帧数据缓存器与外部存储器之间的数据通道；

d)参考帧数据缓存器与外部存储器之间的数据通道；

e)当前帧数据缓存器与多模运动估计器之间的数据通道；

f)参考帧数据缓存器与多模运动估计器之间的数据通道；

其中，多模运动估计器由四个内部结构完全一样的处理单元PE-A(302)，PE-B(303)，PE-C(304)，和PE-D(305)组成，所述PE-A(302)，PE-B(303)，PE-C(304)，和PE-D(305)中的每一个能独立完成一个4*4大小的像素块的运动估计。

2、根据权利要求1所述的超大规模集成电路体系结构，其特征在于数据缓存器的组织结构为：

a)数据缓存器分为四个物理体；

b)每个物理体包含一定数目的高速缓存行；

c)每个高速缓存行的大小为16个字节，分为4个四字节的字；

d)每个高速缓存行有一个标志字段。

3、根据权利要求1所述的超大规模集成电路体系结构，其特征在于有L个参考帧数据缓存器来分别对L个参考帧的数据进行缓存，L是大于等于1的整数。

4、用权利要求1所述的超大规模集成电路体系结构进行数据缓存和提供的方法，其特征在于该方法包括以下步骤：

a)将外部存储器所存放的部分像素数据调入当前帧和参考帧数据缓存器；

b)控制器访问数据缓存器对当前帧和参考帧数据进行寻址；

c)将当前帧和参考帧数据调入多模运动估计器进行运动估计；

其中，有L个参考帧数据缓存器来分别对L个参考帧的数据进行缓存，并且，控制器首先产生一个选择信号，从L个数据缓存器中选择一个进行操作，L是大于等于1的整数。

5、根据权利要求4所述的数据缓存和提供的方法，其特征在于数据缓存器与外部存储器所存放的像素数据间的映射方法包括：

a)像素数据以4x4像素块为基本单位在数据缓存器和外部存储器之间作整体移动；

b)一次在数据缓存器和外部存储器之间的数据移动，还包括三个关联4x4像素块，分别位于上述4x4像素块的右侧、下侧、及右下侧；

c)在从外部存储器向数据缓存器调入数据时，一个4x4像素块及其三个关联4x4像素块分别被分配到同一个数据缓存器中的四个不同的物理体的编号相同的高速缓存行中。

6、根据权利要求4所述的数据缓存和提供的方法，其特征在于数据缓存器与多模运动估计器之间进行像素数据交换的映射方法包括：

a)像素数据以4x4像素块为基本单位在数据缓存器和多模运动估计器之间作整体移动；

b)多模运动估计器中的所有处理单元PE-A，PE-B，PE-C，PE-D共同从同一个当前帧数据缓存器获取当前帧像素数据；

c)多模运动估计器中的所有处理单元PE-A，PE-B，PE-C，PE-D共同从同一个参考帧数据缓存器获取参考帧像素数据。

7、根据权利要求4所述的数据缓存和提供的方法，其特征在于数据缓存器的寻址方法包括：

a)由需要查找的4x4像素块在原图像中的位置计算其行指标和列指标；

b)由上述4x4像素块的行指标和列指标确定三个关联4x4像素块的行指标和列指标；

c)由4x4像素块的行指标和列指标联合形成数据缓存器的缓存地址和标志匹配信号；

d)用标志匹配信号判定高速缓存行中的数据是否是所要的4x4像素块；

e)如果高速缓存行中的数据不是所要的4x4像素块，从外部存储器将该4x4像素块及关联像素块数据调入数据缓存器并修改标志值。

Images