CN1649417A - 存储器访问方法和存储器访问装置 - Google Patents

Abstract

提供一种存储器访问方法和存储器访问装置。用于执行运动补偿的存储器访问方法包括以区域框为单位从外部存储器获得对应于区域框的参考画面数据，区域框包括在要被运动补偿的宏块中的分区中的一组预定分区。根据该方法和装置，在视频解码器中为运动补偿所需的存储器访问量被减少。

Description

存储器访问方法和存储器访问装置

本申请要求2004年1月31日提交到韩国知识产权局的第2004-6468号韩国专利申请的利益，该申请公开于此以资参考。

                          技术领域

本发明涉及一种存储器访问方法，更具体地说，涉及一种用于视频数据的运动补偿的存储器访问方法和设备。

                          背景技术

因为大量的数据要被实时处理，所以多媒体系统要求大的系统总线带宽。在视频解码器中，对运动补偿和显示所需的存储器访问利用大部分的带宽。最近，H.264已经被提议作为用于运动画面编码的国际标准，因此，运动估计和补偿已经比以前的方法变得更复杂，从而和以前方法的存储器访问量相比运动补偿所需的存储器访问量已经提高。

在H.264中，在从16×16到4×4亮度采样的范围内提供了多种的运动补偿块大小。每个以16×16采样形成的宏块的亮度成分可以被分为如图1A到1D中所示的四种类型。分割的区域的每一个被称为宏块分区(macroblockpartition)。

图1A到1D显示多种根据传统技术的H.264的预测模式宏块分区。

图1A显示以16×16采样形成的一个或单个宏块分区，图1B显示以16×8采样形成的两个宏块分区，图1C显示以8×16采样形成的两个宏块分区，并且图1D显示以8×8采样形成的四个宏块分区。

当8×8宏块分区模式被选择时，在宏块中四个8×8宏块分区的每一个可被分为如图2A到2D所示的四种类型。分割的区域的每一个被称为子宏块分区。

图2A显示以8×8采样形成的一个子宏块分区，图2B显示以8×4采样形成的两个子宏块分区，图2C显示以4×8采样形成的两个子宏块分区，并且图2D显示以4×4采样形成的四个子宏块分区。

在每个宏块中这些分区和子分区可以多种组合被构建。而且，对于每个分区或子分区的独立的运动矢量被需求。通常，在一帧的均匀区域内，大尺寸的分区是合适的，而在详细的区域中，小尺寸的分区是合适的。

图3A显示在宏块中的运动矢量的例子，并且图3B显示根据图3A中显示的运动矢量的例子将从参考画面中获得的数据。

参考图3A，宏块中的所有分区的运动矢量是相同的。在这种情况下，在宏块中的所有分区如图3B所示是连续的，从而数据可以被更有效地获得。

图4A显示在宏块中的运动矢量的另一个例子，并且图4B显示根据图4A中显示的运动矢量的例子从参考画面中获得的数据。

参考图4A，在宏块中的所有分区包括彼此不同的4×4单元的运动矢量。在这种情况下，每个4×4分区的数据将被获得如图4B所示，从而一次获得的数据量是小的并且总线访问的频率大大地提高了。

在视频解码器中，为了执行运动补偿，数据将从相应的参考画面中被获得。因为这个参考画面具有大量的数据，所以它被存储在如同步动态随机访问存储器(SDRAM)的外部存储器中，并且通过访问总线，存储在外部存储器中的参考画面将被读取并获得。

图5是示出用于从外部存储器获得参考画面数据的访问协议的示图。

为了读取和获得在外部存储器中的数据，请求信号、想要被访问的数据的存储器地址、和表示多少与该地址相邻的数据项要被获得的信号(即，脉冲串)被传输。

参考图5，当直接存储访问(DMA)在第一个时钟信号发送请求信号到外部存储器时，外部存储器在第二个时钟发送准许信号，DMA在下一个时钟发送控制信号来读取数据和寻址数据，并且其后外部存储器将读取的数据和发送信号发送到DMA。

在SDRAM的情况下，当使用脉冲串模式时，对读取在连续的位置的数据所需的时钟周期是少的，然而当读取不连续的数据时，因为在每次访问时请求信号和地址数据将被发送，所以需要许多时钟周期。

当运动被补偿时，相应的分区将从参考画面被获得。当通过将宏块分成较小的份来形成分区时，每个分区所需的数据将被获得并且因此要被运动补偿的分区的数量增长了。

参考画面数据的大小是这样的：当它经由硬件实现时，参考画面数据被存储在外部存储器中并且当需要时，只有被需求的数据通过总线被获得和被利用。这时，可以通过一个请求使用总线来获得连续地址的数据，但是将通过请求总线几次来获得不连续地址的数据。为了有效地使用总线以提供多种数据，必须用更少的访问的次数来获得所需的数据。

当预测模式被分为更详细的份时，每个将被获得的分区的位置改变。因此，当在存储器中的数据通过使用总线而被获得时，一次被获得的数据量减少并且总线访问的频率增加。这使得总线的使用是无效率的并且引起在整个硬件解码器上的瓶颈。

例如，当假设在宏块中的所有的4×4分区有彼此不同的运动矢量并且每一个分区的运动矢量不是整数象素时，对每个分区，9×9大小(包括用于内插法的相邻数据)的参考分区将被获得。为了分别地访问并获得这些参考分区的每一个，一次要被请求所需的数据的长度是9字节(当一个脉冲串是4字节时，脉冲串长度是3)并且数据的请求总线的频率是9×16＝144次。

另一个例子，当宏块是以16×16的模式并没有被分成分区并且运动矢量是整数象素时，需要仅从参考画面获得16×16分区。因此，一次将被请求的所需数据的长度是16字节(脉冲串长度是4或5)，并且数据的请求总线的频率是16次。

下面的两个例子示出了极端的情况。当使用H.264编码器来编码数据时，在大多数情况下，当比特率高时，在其中通过将宏块分为更小的份来形成分区的模式，被频繁地选择，并且当比特率低时，该模式不会被频繁地选择。同时，当预测模式被分为更小的份时，每个将被获得的分区的位置改变。因此，当使用总线来获得存储器中的数据时，一次被获得的数据量减少并且总线访问的频率增加。这使得总线的使用是无效率的并且引起在整个硬件解码器上的瓶颈。

例如，在H.264中，在宏块中的所有4×4分区可包括彼此不同的运动矢量。当每个分区的运动矢量不是整数象素时，对于每个分区，9×9大小的参考分区(包括用于内插法的相邻数据)将被加载。为了分别地访问和获得参考分区的每一个，一次将被请求的所需的数据的长度是9字节(当一个脉冲串是4字节时，该脉冲串长度是3)并且数据的请求总线的频率是9×16＝144次。当总线的宽度是32比特并且两个访问之间的最小时延是5个时钟时，且当假设以最有效的方式发送请求并且接收数据时，于是请求的时钟周期的总数是(3×144)+(5×143)＝1147。

同时，当以16×16宏块单元中的半个象素为单位执行运动补偿的传统方法被考虑时，所需的数据是17×17并且因此脉冲串长度是5，而访问频率是17，并且因此需要(5×17)+(5×16)＝165时钟。

即，可以看到，在H.264中，用于运动补偿所需的时钟的数量已经增加大约7倍于以前的视频编码器的用于运动补偿所需的时钟的数量。因此，需要能更有效地使用总线的方法。

                          发明内容

因此，本发明的一个方面在于提供一种当在视频解码器中执行运动补偿时能够减少需要的存储器访问量的存储器访问方法和存储器访问装置。

本发明的附加的方面和/或优点将在后面的描述里部分地阐述，并且，将在描述中部分地变得明显，或可以通过本发明的实践来被了解。

本发明的上述和/或其他方面通过提供一种用于执行视频数据的运动补偿的存储器访问方法而被实现，该方法包括：以区域框为单位从外部存储器获得对应于区域框的参考画面数据，其中，区域框包括在要被运动补偿的宏块中的分区中的一组预定分区。

参考画面数据的获得可包括：检查在宏块中的每个分区运动矢量，基于检查结果确定是否产生具有预定分区的区域框，根据该确定来产生区域框，以及访问并获得在外部存储器中的对应于产生的区域框的参考画面数据。

确定是否产生区域框可包括：当运动矢量的相似度等于或高于预定的参考时，产生区域框。可通过考虑外部存储器访问的频率和内部存储器的大小的至少一个来确定预定参考。

根据该确定产生区域框可包括：通过参考形成区域框的运动矢量来确定区域框的位置和大小，或将具有相似的运动矢量的分区分组并且产生至少一个区域框。

该方法还可包括：当运动矢量的相似度比预定的参考低时，确定使用分区，根据基于该确定的分区来确定数据的位置和大小，并且访问和获得在外部存储器中的对应于该分区的参考画面数据。

本发明的另一方面在于提供一种用于执行视频数据的运动补偿的存储器访问装置，包括：处理单元，执行处理，从而以区域框为单位从外部存储器获得对应于区域框的参考画面数据，其中，区域框包括在要被运动补偿的宏块中的分区中的一组预定分区。

处理单元可包括：运动矢量检查单元，检查在宏块中的每个分区的运动矢量，并且基于检查结果，确定是否产生具有预定分区的区域框；区域框确定单元，根据该确定产生区域框；以及存储器访问单元，访问和获得在外部存储器中的对应于产生的区域框的参考画面数据。

                          附图说明

通过结合附图对实施例进行下面的描述，本发明这些和/或其他方面和优点将会变得清楚和更易于理解，其中：

图1A到1D是示出根据传统技术的H.264的各种预测模式的图；

图2A到2D是示出根据传统技术的H.264的各种预测模式的图；

图3A示出在宏块中的运动矢量的例子，和图3B示出根据图3A中示出的运动矢量的例子来从参考画面获得的数据；

图4A示出在宏块中的运动矢量的另一个例子，和图4B示出根据图4A中示出的运动矢量的例子来从参考画面获得的数据；

图5是示出用于从外部存储器获得参考画面的访问协议的图；

图6是根据本发明的视频解码器的示意性方框图；

图7是示出图6中示出的DMA的详细结构的方框图；

图8是用于解释根据本发明的区域框的例子的参考图；

图9是用于解释根据本发明的区域框的另一个例子的参考图；

图10是示出根据本发明实施例的用于为运动补偿而访问在外部存储器中的数据的方法的流程图；和

图11是示出用于比较本发明的性能和传统技术的性能的试验结果的参考图。

                          具体实施方式

现在将详细地描述本发明的实施例，其例子显示在附图中，其中，相同的标号始终表示相同的部件。以下，通过参考附图来描述实施例以解释本发明。

参考图6，根据本发明的视频解码器包括：分析器10、熵解码单元20、记录单元30、反量化单元40、反变换单元50、预测单元60、滤波器70、和外部存储器80。

分析器10接收并分析来自网络层的压缩的比特流。

熵解码单元20从分析器10接收分析的数据，并且熵解码该数据。记录单元30排列熵解码的数据。

反量化单元40反量化排列的数据以产生量化的系数，并且反变换单元50反变换该量化的系数。

预测单元60使用从自反变换单元50接收的比特流解码的头信息来产生解码的宏块。滤波器70滤波从预测单元60接收的数据并且形成重构的画面。

预测单元60包括：加法单元61、帧内预测单元62、和运动补偿单元63。加法单元61将从运动补偿单元63输出的预测宏块P加到从反变换单元50输出的数据。帧内预测单元62执行帧内预测，并且运动补偿单元63通过参考存储在外部存储器80中的画面来执行运动补偿。此时，由于参考画面的数据量很大，所以参考画面被存储在外部存储器80中，并且运动补偿单元63的DMA 100从外部存储器80以预定量为单位来获得参考画面数据。具体地，为了更加有效地使用总线，根据本发明的DMA 100访问具有一个或多个分区的数据块。

即，基于预定的参考，根据本发明的DMA 100将具有相似运动矢量的分区分组成一个区域框(bounding box)，并且访问在外部存储器中由区域框确定数据量。于此，预定的参考相应于区域框的最大大小。现在将参考图7来解释这个DMA 100。

图7是示出在图6示出的DMA 100的详细结构的方框图。

参考图7，DMA 100包括：运动矢量检查单元110、区域框确定单元120、分区确定单元130、存储器访问单元140、和内部存储器150。

运动矢量检查单元110检查在宏块中的每个分区的运动矢量。即，运动矢量检查单元110检查在各个分区中的运动矢量的相似度，并且当运动矢量的相似度高于预定参考时，将具有具有相似度高于预定参考的相似度的运动矢量的分区做成一组(称作“区域框”)，并且从外部存储器80获得该组。如上所述，预定的参考相应于区域框的最大大小。更具体地讲，运动矢量的相似度相应于在通过运动矢量获得的参考画面中的分区的位置的相似度。即，在通过在宏块中的运动矢量获得的参考画面中的分区的位置所配置的数据的大小不大于区域框的最大大小，确定产生区域框。因此，当运动矢量互相相似时，因此，通过这些运动矢量所获得的数据的大小不大于预定的参考(即，区域框的最大大小)，由此区域框的产生被确定。然而，当运动矢量互相不相似时，因此，通过这些运动矢量所获得的数据的大小大于预定的参考，由此确定没有产生区域框。

此时，考虑例如总线访问频率和内部存储器150的大小来确定区域框的最大大小。例如，通过试验，当在其中通过在宏块中的运动矢量所获得的数据大小低于40×36的情况的数目近似地高于95％时，确定区域框的最大大小是40×36。此外，考虑存储从外部存储器80获得的数据的内部存储器150的大小来确定区域框的最大大小。

当通过在由在宏块中的运动矢量获得的参考画面中的分区的位置所配置的数据的大小大于区域框的最大大小时，运动矢量检查单元110确定以从外部存储器80获得每个分区的数据。即，当4×4分区的运动矢量互相很不同并且运动矢量检查单元110确定独立地获得每个分区所需的数据要比在产生区域框以后获得数据更有优势时，确定以从外部存储器80获得每个分区的数据。

当作为由运动矢量检查单元110的检查的结果，确定以区域框为单位获得数据时，区域框确定单元120计算区域框的位置并确定区域框的大小。

当作为由运动矢量检查单元110的检查的结果，确定以分区为单位获得数据时，分区确定单元130计算每个分区所需的数据的位置，并且确定每个分区所需的数据的大小。

根据来自区域框确定单元120或分区确定单元130的命令，存储器访问单元140访问外部存储器80，获得由区域框或分区确定的数据，并且将从外部存储器80获得的数据存储在内部存储器150中。

图8是用于解释根据本发明的区域框的例子的参考图。

在图8中，每个4×4分区的运动矢量不是整数象素，并且互相不同。在图8中示出的区域框中的每个方形是用于4×4分区之一的运动补偿的9×9参考采样。当运动补偿所需的数据如图8所示被分布时，获得一组在如图8所示的区域框中打包的数据要比根据总线访问来独立地获得每个9×9数据采样更有优势。

当每个9×9数据采样被独立地获得时，所需的总线访问的频率是9×16＝144次，并且对每个访问一次所获得的数据量是9字节。此时，所需的时钟的总共数目是(3×144)+(5×143)＝1147。其间，当获得区域框时(例如，假设区域框的宽度是40字节并且高度是30字节)，所需的总线访问的频率是36次，并且对每个访问一次所获得的数据量是40字节。此时，所需的时钟的总共数目是(10×30)+(5×29)＝445。后者根据总线访问更有优势。

图9是用于解释根据本发明的区域框的另一个例子的参考图。参考图9，当期望的相应于分区的数据被集中在宏块的两部分中时，该宏块可以被分割成位于各个集中的部分的中心的区域框#0和区域框#1的两组，以由此避免获得非必须的数据。因此，可以降低效率。

图10是示出根据本发明实施例的用于访问在用于运动补偿的外部存储器中的数据的方法的流程图。

参考图10，在操作11，运动矢量检查单元检查期望要被运动补偿的宏块中的每个分区的运动矢量。即，运动矢量检查单元110检查运动矢量的相似度，与预定参考比较相似度，并且该处理移到在其中运动矢量检查单元确定是否产生区域框的操作12。

在操作12中，当比较结果指出在操作12中产生区域框更有优势时，该处理然后移到在其中区域框确定单元确定区域框的位置和大小的操作13。基于由运动矢量获得的数据的大小来确定区域框的大小。

在操作12中，当比较结果指出产生区域框没有优势时，该处理移到操作14，其中，在操作14中，分区确定单元确定每个分区所需的数据项的位置和大小。

当在操作13或14中分别地确定区域框或分区时，该处理其后移到操作15，其中存储器访问单元访问总线以从外部存储器获得数据。即，存储器访问单元从存储在外部存储器中的参考画面的位置来获得与如上确定的区域框或分区相应的预定量的数据。

该处理从操作15移到操作16，其中通过总线获得数据被存储在内部存储器中。

根据如上所述的本发明，用于访问外部存储器的总线访问的频率可以被降低，并且一次访问从外部存储器获得的数据的长度被增加，从而总线的效率可以被提高。

图11是示出用于比较本发明的性能和传统技术的性能的试验结果的参考图。

现在将解释使用本发明的方法的试验结果。在本试验测试中，利用了H.264视频编码器。

在具有foreman CIF大小图像序列的测试结果中，当Q值(即，量化参数)被设置为30时，总线访问的平均频率为20，并且一次访问的脉冲串数目(burstnumber)(4字节单位)为5。当Q值被设置为10时，总线的平均频率为21，并且一次访问的脉冲串数目(4字节单位)为6。Q值越小，该模式更高频地被分割成小份。该结果示出根据本发明获得在区域框中的数据是很有效的。另外，本发明的结果要好于当使用通过其总线访问的频率为144并且一次访问的脉冲串数目为3的传统方法时的结果。因此，所有试验结果示出本发明实际上更有效。此外，当通过对多个序列改变访问范围而执行试验时，对CIF大小图像序列区域框的宽度超过40字节(脉冲串10)或高度等于或大于30字节的情况被记录小于0.5％。

尽管显示和描述本发明某些实施例，但本领域的技术人员应该理解，在不脱离本发明的原则、精神和由所附权利要求和等同物所限定的范围的情况下，可以在实施例中做出改变。

Claims (15)

1、一种用于执行视频数据的运动补偿的存储器访问方法，包括：

以区域框为单位从外部存储器获得对应于区域框的参考画面数据，其中，区域框包括在要被运动补偿的宏块中的分区中的一组预定分区。

2、如权利要求1所述的方法，其中，参考画面数据的获得包括：

检查在宏块中的每个分区的运动矢量；

基于检查结果确定是否产生具有预定分区的区域框；

根据该确定产生区域框；以及

访问和获得在外部存储器中的对应于产生的区域框的参考画面数据。

3、如权利要求2所述的方法，其中，确定是否产生区域框包括：

当运动矢量的相似度等于或高于预定参考时，产生区域框。

4、如权利要求3所述的方法，其中，通过考虑外部存储器访问的频率和内部存储器的大小的至少一个来确定预定参考。

5、如权利要求2所述的方法，其中，根据该确定产生区域框包括：

通过参考形成区域框的运动矢量来确定区域框的位置和大小。

6、如权利要求2所述的方法，其中，根据该确定产生区域框包括：

将具有相似的运动矢量的分区分组并且产生至少一个区域框。

7、如权利要求2所述的方法，还包括：

当运动矢量的相似度比预定的参考低时，确定使用分区；

根据该确定，根据该分区来确定数据的位置和大小；以及

访问和获得在外部存储器中的对应于分区的参考画面数据。

8、一种用于执行视频数据的运动补偿的存储器访问装置，包括：

处理单元，执行处理，从而以区域框为单位从外部存储器获得对应于区域框的参考画面数据，其中，区域框包括在要被运动补偿的宏块中的分区中的一组预定分区。

9、如权利要求8所述的装置，其中，处理单元包括：

运动矢量检查单元，检查在宏块中的每个分区的运动矢量，并且基于检查结果，确定是否产生具有预定分区的区域框；

区域框确定单元，根据该确定产生区域框；以及

存储器访问单元，访问和获得在外部存储器中的对应于产生的区域框的参考画面数据并且获得参考画面数据。

10、如权利要求9所述的装置，其中，当运动矢量的相似度等于或高于预定参考时，运动矢量检查单元确定产生区域框。

11、如权利要求10所述的装置，其中，通过考虑外部存储器访问的频率和内部存储器的大小中的至少一个来确定预定参考。

12、如权利要求9所述的装置，其中，区域框确定单元通过参考形成区域框的运动矢量来确定区域框的位置和大小。

13、如权利要求9所述的装置，其中，区域框确定单元将具有相似的运动矢量的分区分组并产生至少一个区域框。

14、如权利要求9所述的装置，还包括：

分区确定单元，其中，当运动矢量的相似度比预定的参考低时，运动矢量检查单元确定使用分区时，并且根据该确定，分区确定单元根据该分区确定数据的位置和大小，其中，存储器访问单元访问并获得在外部存储器中的对应于分区的参考画面数据。

15、如权利要求1所述的方法，其中，当要被运动补偿的预定分区集中在宏块的独立部分时，产生对应于宏块的集中的部分的每一个的区域框。

Images