CN1791219B

CN1791219B - 用于片上系统的双层总线结构

Info

Publication number: CN1791219B
Application number: CN2005101316290A
Authority: CN
Inventors: 朴贤相
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2004-12-15
Filing date: 2005-12-15
Publication date: 2010-09-01
Anticipated expiration: 2025-12-15
Also published as: TW200634661A; KR20060068092A; US7508981B2; US20060129727A1; KR100596982B1; CN1791219A

Abstract

公开了一种用于片上系统(SOC)的双层总线结构。所述总线结构包括：主总线，其被适配成将微处理器、图像捕获模块和双主导(dual master)模块连接到高密度存储器；和高速辅助总线，其与主总线独立操作，并且被适配成将双主导模块连接到高速辅助存储器。

Description

用于片上系统的双层总线结构

技术领域

本发明通常涉及一种用于片上系统(SOC)的总线结构。更具体地，本发明涉及一种适于在高性能多媒体处理应用中使用的双层SOC总线结构。

背景技术

现代电子设备逐渐给用户提供各种多媒体处理能力。例如，诸如蜂窝电话和个人数字助理(PDA)的便携式电子设备允许用户捕获、下载、显示，或者否则处理诸如音频和视频的各种形式的多媒体信息。随着使能的多媒体的设备的使用变得逐渐广泛，对于更小、更快的设备的需求持续增长。因此，不断地需要对使能的多媒体的设备进行改进设计。

设计和制造体积小而高性能电子设备的一种途径包括将所有必需的系统元件放置在单个集成电路(IC)内。元件的这种布置或实现通常被称作片上系统(SOC)。例如，音频处理应用的SOC可以在单个IC芯片上组合音频接收器、模数转换器(ADC)、微处理器、存储器、和输入/输出逻辑。

与传统SOC结构相关联的一个问题是：它们不能较好地处理几种公共使用的多媒体格式的数据。例如，传统SOC结构通常提供较慢的性能并且当编码各种运动图像专家组(MPEG)格式的任意一种的数据时(即，编码和解码)时消耗过多功率。这至少部分由于以下事实：传统SOC结构容易受到在编码过程期间从存储器读取和写入存储器的大的数据量的影响。为了克服这一问题，需要设计改进的总线结构来容纳多媒体处理应用的扩展带宽(即，数据承载能力)需求。

为了更好地理解多媒体处理应用的带宽需求，将对MPEG编码和解码进行简要概述。MPEG只是一个被选的示例。可以替换地呈现许多编码示例中的任意一个，但是MPEG是广为人知的标准，并且为下面讨论本发明提供了极好的示教。

通常，术语“编码”是指将原始的未结构化的输入数据转换为结构化或者编码格式的处理。例如，在MPEG编码的情况下，这一处理包括将输入视频帧的序列转换为编码的序列或压缩数据帧。用于执行编码处理的设备通常称作编码器。许多不同的编码器设计通常可用于执行MPEG编码。

术语“解码”是指根据编码的数据重构原始输入数据的处理。例如，在MPEG解码的情况下，所述处理包括根据编码帧重构输入视频帧。在大多数情况下，因为在编码/解码处理期间丢失了信息，因此重构的输入视频帧不等同于原始输入的视频帧。在这种情况下，重构的输入视频帧是相应原始输入视频帧的近似。用于执行解码处理的设备通常称作解码器。许多不同的解码器设计通常可用于执行MPEG解码。

MPEG编码中使用的输入视频帧通常由行-列格式排列的像素值的集合组成。在大多数情况下，每个像素包括多于一个信息通道的值。例如，像素可以包括红、绿和蓝(RGB)颜色通道的值。在其他情况下，RGB颜色通道被等效地表达为亮度(Y)和色度(UV)分量。为了位缩减，通常相对于亮度值而对色度值进行二次取样。例如，四块的亮度值可以与两个等效大小块的色度值组合，以便形成单个更大的块，称作“宏块”。通常，宏块可以包括任意数量的任意大小的色度或亮度块。然而，为了图解目的，假设宏块包括四个以正方形排列的8×8亮度块，并且在四个8×8亮度块的中间对8×8红色度块和8×8蓝色度块进行二次取样。

首先通过将输入视频帧划分为三种不同类型：即，I-帧、P-帧和B-帧，来执行MPEG编码。I-帧是帧内编码帧的术语，因为它们不用参考其他帧就被编码。P-帧和B-帧是帧间编码帧的术语，因为它们是使用其他帧的信息被编码的。更具体地，每个P-帧基于先前I-帧或P-帧被预测，并且每个B-帧基于先前和下一I-帧或P-帧被预测。

输入视频序列中的每个I-帧被编码为一组量化的离散余弦变换(DCT)系数，而另一方面，每个P-帧和B-帧被编码为一组运动矢量和相应的预测误差帧。现在将描述编码I-帧、P-帧和B-帧的处理。

输入视频序列中的每个输入视频帧被指定为假设的I-帧、P-帧或B-帧。进行这种指定的一种方式是定义重复序列的帧类型，并且根据重复序列对输入视频帧执行编码。例如，假设所述序列被定义为I₁、B₂、B₃、B₄、P₅、B₆、B₇、B₈、P₉，其中“I₁”表示所述序列中的第一帧是I-帧，“B₂”表示所述序列中的第二帧是B-帧，等等。因此，输入视频帧的所述序列中的第一帧被指定为I-帧，第二帧为B-帧，等等。

由于对于先前I-帧或P-帧编码所述序列中的每个P-帧，并且对于先前和下一I-帧或P-帧编码所述序列中的每个B-帧，因此通常无顺序地编码输入视频帧。例如，可以以顺序I₁、P₅、B₂、B₃、B₄、P₉、B₆、B₇、B₈来编码上述序列中的帧，从而帧B₂、B₃和B₄具有对它们编码所需的两个帧I₁和P₅的访问，并且从而帧B₆、B₇和B₈具有对帧P₅和P₉的访问。总之，输入视频帧被首先指定为I-帧、B-帧和P-帧，然后在编码发生之前根据相应的预定顺序被重新排列。编码帧在它们被解码之后通常被恢复到它们原始的顺序。

使用帧内DCT编码来编码I-帧。帧内DCT编码以将帧划分为多个小块而开始。通常，每个小块包括8位像素值的8×8块。使用离散余弦变换将每个小块变换为DCT系数块。DCT系数块通常保持与小块相同的值数，但是通常使用更多的位来存储每个值。例如，8位值的8×8像素块可以被变换为11位值的8×8DCT系数块。在帧包括多个信息通道的多个像素值的情况下，通常对每个通道的小块单独地进行DCT编码。

在帧内DCT编码之后，通过将所述值除以某个量(通常是2的倍数)并且对结果舍位而量化在每个DCT系数块中存储的值。这通常导致原始I-帧包含的某些信息的损失，然而，采取措施来确保信息的损失不会明显地损害I-帧的得到的图像质量。例如，与较高频率图像分量对应的DCT系数通常被量化为比与较低频率图像分量对应的DCT系数更高的程度，因为人眼对靠近目标边缘的细节比图像的其他部分更不敏感。

最后，在进行量化之后，使用可变长度编码(VLC)来串行化和编码每个DCT系数块。使用以直流(DC)分量开始并从表示低频图像分量的系数继续到表示高频图像分量的系数的之字形模式，通过连续读取DCT系数块中的值来执行串行化。例如，通常以1、2、4、7、5、3、6、8、9的顺序读出 1 2 3矩阵4 5 6中的系数。

7 8 9

通过将多圈零与其之后的非零值分组(by grouping together runs of zerosfollowed by a non-zero value)在一起而执行可变长度编码。例如，假设使用之字形模式从DCT系数块读出下列序列3、1、0、0、5、2、0、0、0。所述值被排列成下列组：(3)、(1)、(0，0，5)、(2)、EOB，其中标签EOB代表“块的结束”，并且它表示该序列中的剩余条目都是零。

一旦所述值被排列成组，则每个组被来自VLC查找表的唯一码字替代。VLC查找表具有这样一种属性：表中的码字都不是表中的任意其他码字的前缀。于是，根据VLC查找表生成的一系列码字可以被排列成位流，同时仍允许解码器确定位流内每个码字的开始(起始)和结尾(结束)。为了图解说明将上述序列转换为位流，使用下列查找表作为一个简单示例。组“(3)”用码字“000”表示，组“(1)”用码字“111”表示，组“(0，0，5)”用码字“101”表示，组“(2)”用码字“110”表示，并且标签EOB用码字“01”表示。因此，所述序列中的值可以被位流“00011110111001”编码。

相对于参考帧通过对所述帧执行运动估计而编码P-帧，以便生成一组运动矢量。对于P-帧，参考帧是输入视频序列中的先前I-帧或P-帧，并且每个运动矢量表示参考帧与P-帧之间的宏块的估计运动。例如，运动矢量定义P-帧中的宏块与参考帧中的“最佳匹配”块之间的相对位移。

将运动矢量施加到参考帧，以便生成帧“V”，其是P-帧的近似。通过将参考帧中的每一宏块移位由一个运动矢量表示的量，将运动矢量施加到参考帧。然后从P-帧中减去帧“V”，以便生成预测误差帧“E”，并且将帧“E”与运动矢量一起存储，以便最终重构P-帧。

在基于运动矢量和帧“E”重构帧时，将运动矢量加到参考帧，以便产生帧“V”，并且随后将帧“E”加到帧“V”，以便产生原始P-帧的近似。因为帧“E”用于补偿帧“V”中的误差，因此通常将帧“E”称作“运动补偿误差”。因此，依靠生成如上所述的运动矢量和运动补偿误差的编码技术通常被称作“运动补偿帧间编码”。

通常使用帧内DCT编码、量化和VLC来编码帧“E”。这往往明显地减少表示帧“E”所需的位数，尤其是在帧“V”非常类似于P-帧的情况下，即预测误差较小的情况下。在这些情况下，与帧“E”对应的量化DCT系数块往往包含大量的零。结果，VLC通常实现对于DCT系数块的有效压缩。

以类似于P-帧的方式对B-帧编码。然而，相对于两个参考帧而不是一个参考帧执行B-帧的运动估计。参考帧是输入视频序列中的先前和下一I-帧或P-帧，并且运动估计产生通常基于相对于两个参考帧执行的运动估计而平均的运动矢量。

应当特别注意，通常不对原始输入视频帧执行运动估计，而是使用先前编码和解码的I-帧、P-帧和B-帧进行。换句话说，在执行运动估计之前，通过帧内DCT编码和量化，之后通过逆量化和逆DCT编码对输入视频帧进行预处理。这样做使得在解码器中可以重复基于运动矢量进行帧估计。由于帧内DCT编码和量化导致输入视频帧丢失信息，因此对输入视频帧执行运动估计将导致在解码处理的预料之外的结果。由于MPEG编码要求对先前编码/解码的帧执行运动估计，因此大多数MPEG编码器包括用于产生这些帧的本地解码器。

还应当注意，在用于P-帧或B-帧中的特定宏块的运动补偿误差非常大的情况下，可以使用帧内DCT编码代替运动补偿帧间编码来编码宏块。这防止了由于序列的不良编码引起的输入视频序列中的剧烈变化。

MPEG编码的结果是能够被存储在存储器中或者被发送到解码器的压缩位流(即，颜色图像数据)。位流通常包括任意VLD编码的DCT系数和与每个帧相应的运动矢量以及用于解码所述帧的某些附加信息。附加信息通常包括每帧的类型、用于DCT系数的量化值等。

用于每个不同帧类型的解码过程通常与用于编码所述帧的过程相反。例如，通过使用查找表解码VLC编码的DCT系数，将得到的DCT系数乘以量化值，并且随后对DCT系数进行逆DCT变换以得到一组用于输出视频帧的像素值来解码I-帧。

对P-帧和B-帧执行类似的相反过程，以便产生与输入视频帧对应的输出视频帧。另外，使用上述的运动矢量和运动补偿误差来解码P-帧和B-帧。

一旦完成解码过程，就将输出视频帧重新排序成基于输入视频帧的它们原始顺序。

为了简化解释，已经省略了解释MPEG编码和解码的一些细节。另外，也省略了各种MPEG标准(包括MPEG-1、MPEG-2、MPEG-4和MPEG-7)的特定细节。然而，MPEG编码和解码是众所周知的过程，于是省略的细节可从其他来源获得。

实时MPEG编码和解码通常需要至少足够的带宽来实现每秒几帧的帧速率。因此，几帧中的每一帧被从输入设备读出并被写入存储器。然后，在存储器与用于DCT编码、量化、运动估计等的图像压缩模块之间来回地连续传送每帧内的块。这些操作可以容易地消耗传统SOC结构的可用带宽，传统SOC结构通常依靠较慢高密度的存储器，例如动态随机存取存储器(DRAM)或闪存。在SOC结构中使用高密度存储器，因为它们较便宜，占用较少空间，并且它们比诸如静态随机存取存储器(SRAM)的较快低密度存储器具有更大的容量。

图1和2是图解说明传统SOC结构的方框图。图1示出了传统的单层SOC总线结构，而图2示出了传统的多层SOC总线结构。

在图1所示的传统单层SOC总线结构中，多个模块10至80连接到单个系统总线12。术语“模块”此处被用来表示电子设备内特定的功能实体。例如，一个模块可以表示包含一组软件例程、特定硬件(例如电路)配置、和/或它们的一些组合。术语“模块”也可以表示功能性实体的集合，即多个模块、或者甚至是一个模块内的子元件。

参考图1，模块10包括精简指令集计算机(RISC)，模块20包括相机接口，模块30包括运动图像压缩模块，模块40包括静止图像压缩模块，模块50包括图形加速模块，以及模块60包括被适配成将图像数据传送到液晶显示(LCD)设备的传送模块。模块70包括存储器控制器，模块80包括高密度(例如，DRAM)存储器。

图1所示的SOC总线结构可能是最通用的SOC总线结构-至少部分因为其低成本和易实现。然而，因为在总线12上的带宽需求是通过相加对于每个连接的模块的带宽需求而确定的，因此总的可用带宽可以被仅少量的连接模块的需要消耗。具体地，当正在处理输入视频时，总的可用系统总线带宽可以容易地被运动图像压缩模块和相机接口的带宽需求消耗(或者超过)。

如在图1和2所示的示例性示例之间，并且通常在下面的整个描述中，相同的附图标记表示相同或类似的元件。因此，在图2的多层SOC总线结构中，模块10连接到第一总线12-1，模块20、30和40连接到第二总线12-2，以及模块50和60连接到第三总线12-3。第一、第二和第三总线分别连接到三个存储器控制器70-1、70-2和70-3，并且该三个存储器控制器分别连接到三个高密度存储器80-1、80-2和80-3。

通过使用多(例如，三)层，图2所示的SOC总线结构提供比图1所示的单系统总线结构更可用的带宽。也就是，图2所示的系统可用的总带宽是每个总线层中可用带宽的总和。通过提供更多的带宽，图2的SOC总线结构能够有效地支持实时多媒体处理。然而，不幸的是，多层总线系统比较昂贵且难以制造。结果，这种系统类型不太适于低成本和易实现较重要的商业产品制造。另外，使用图2的多层总线结构获得的性能改进仍然可能受到高密度存储器80-2的存取速度的限制，例如，高密度存储器80-2的访问速度不足以适应运动图像压缩模块30的带宽需要。

图3示出了非SOC计算机系统的传统总线结构的妇方框图。例如在美国专利No.5784592中公开了这种系统。

参考图3，PC计算机系统通过在标准局域总线120和实时多媒体总线130B之间放置多媒体存储器160而使能高性能多媒体处理。多媒体存储器160提供用于多媒体设备142B、144B和146B的存储，从而它们可以处理多媒体信息，而不必竞争对标准局域总线120的访问。

中央处理单元(CPU)102通过芯片组(chipset)106B控制多媒体存储器和多媒体设备的操作。CPU将多媒体数据从主存储器110传送到多媒体存储器，并且将指示何时启动或停止某些多媒体处理功能和何时通过总线120发送数据的控制信号发送到多媒体存储器和多媒体设备。

图3所示的计算机系统具有至少两个限制。一个限制是需要将多媒体数据从主存储器取出(fetch to)到多媒体存储器。这增加了多媒体处理过程的开销，其中所述多媒体处理过程基于频率而执行取出操作。另一个限制与第一个限制有关，是多媒体存储器的大小。多媒体存储器被设计成除了存储多媒体数据外还存储包括来自主存储器的代码和溢出数据的大量数据。尽管大尺寸的多媒体存储器可以有助于减少从主存储器取出多媒体数据的频率，但是这使得难以在诸如SOC的小区域中实现所建议的系统结构。

由于至少在传统系统中出现的上述限制，对于多媒体处理应用需要一种改进的SOC总线结构。

发明内容

意识到需要支持基于应用的改进SOC中多媒体性能的总线结构，本发明的实施例提供了减少由各种多媒体处理过程消耗的主系统总线带宽量的有效技术。在一个方面，本发明提供了被适配成将多媒体处理模块连接到辅助存储器的辅助总线。在SOC内操作的多媒体处理模块被适配成“传送”(例如，发送和/或接收；读和/或写)数据到/从主存储器和辅助存储器，从而在两个总线结构之间划分它们各自的带宽需要。

根据本发明的一个实施例，一种SOC总线结构包括：主总线，其被适配成将微处理器、图像捕获模块和双主导模块连接到高密度主存储器；和高速辅助总线，其与主总线独立操作，并且被适配成将双主导模块连接到高速辅助存储器。

根据本发明的另一实施例，提供了一种适于在SOC总线结构中使用的方法。所述方法包括：接收与当前帧对应的光栅扫描顺序的当前图像数据；将光栅扫描顺序的当前图像数据重新排列成多个宏块，并且将多个宏块存储在辅助存储器中。所述方法还包括：经由辅助总线将多个宏块从辅助存储器传送到运动图像数据压缩模块；经由主总线将与先前帧对应的先前图像数据从主存储器传送到运动图像数据压缩模块；和根据多个宏块和先前图像数据而生成压缩图像数据。

根据本发明的又一实施例，一种适于SOC总线结构中使用的另一种方法包括：接收与当前帧对应的光栅扫描顺序的当前图像数据；将光栅扫描顺序的当前图像数据重新排列成多个宏块，并且将多个宏块存储在辅助存储器中；将与先前帧对应的先前图像数据传送到运动图像数据压缩模块。所述方法还包括：经由辅助总线将多个宏块从辅助存储器传送到运动图像数据压缩模块；根据多个宏块和先前图像数据而生成压缩图像数据；和将压缩图像数据传送到主存储器。

根据本发明的又一实施例，一种适于SOC总线结构中使用的方法包括：从图像捕获模块接收光栅扫描顺序的图像数据；将光栅扫描顺序的图像数据重新排列成多个最小编码单元(MCU)；经由辅助总线将多个最小编码单元(MCU)存储在辅助存储器中；根据多个MCU而生成压缩图像数据；和经由主总线将压缩图像数据存储在主存储器中。

根据本发明的又一实施例，一种适于SOC中使用的方法。所述SOC包括：主总线，用于将主存储器与图形加速模块和运动图像数据压缩模块连接；和高速辅助总线，其与主总线独立操作，并且将高速辅助存储器与图形加速模块和运动图像数据压缩模块连接。所述方法包括：在图形加速模块中经由主总线接收来自主存储器的图形数据；经由辅助总线将图形数据的模式图像数据从辅助存储器传送到图形加速模块，以便修改所述图形数据；经由主总线将修改的图形数据传送到主存储器。

根据本发明的又一实施例，一种适于SOC总线结构中使用的方法包括使用运动图像压缩模块来执行使用与辅助存储器中存储的当前帧对应的多个宏块以及与先前帧对应的解码版本的先前图像数据的运动估计，并且使用多个宏块以及主存储器中存储的解码版本的先前图像数据来执行运动补偿。所述方法还包括存储压缩图像数据。

附图说明

下面参考附图中图解的几个实施例来描述本发明。整个附图中相同的附图标记表示相同的示例性元件、组件或者步骤。附图中：

图1是图解说明传统的SOC总线结构的方框图；

图2是图解说明传统的多层SOC总线结构的方框图；

图3是图解说明传统的非SOC总线结构的方框图；

图4是根据本发明一个实施例的SOC总线结构的方框图；

图5是图解说明根据本发明一个实施例的总线仲裁模块的方框图；

图6是根据本发明另一个实施例的SOC总线结构的方框图；

图7是图解说明根据本发明一个实施例的、使用SOC执行MPEG编码的方法的流程图；

图8是图解说明根据本发明另一个实施例的、使用SOC执行MPEG编码的方法的流程图；

图9是图解说明根据本发明又一个实施例的、使用SOC执行MPEG编码的方法的流程图；和

图10是图解说明根据本发明实施例的、使用SOC执行JPEG(联合图像专家组)编码的方法的流程图；和

图11是图解说明与图4和6所示的一样的、适于在SOC总线结构中使用并且可被适配成执行传统图形处理的另一示例性方法的流程图。

具体实施方式

下面参考附图来描述本发明的示例性实施例。这些实施例作为示教示例而呈现。本发明的实际范围由所附权利要求限定。

在总的应用中，本发明的实施例提供了一种适于执行多媒体处理的片上系统(SOC)的双层总线结构。所述双层总线结构包括分别将一个和多个适于处理多媒体信息的模块连接到主存储器和辅助存储器的主总线和辅助总线。将所述模块连接到所述两总线通过在两总线之间划分模块的带宽需要而提高了SOC的多媒体处理性能。

图4是根据本发明一个实施例的SOC总线结构的方框图。参考图4，SOC总线结构包括将微处理器310、图像捕获模块330、双主导模块300、和显示控制模块370连接到高密度主存储器392的主总线312。主存储器包括例如用于控制至少一个位于SOC外部的动态随机存取存储器(DRAM)模块390的主存储器控制器382。主总线仲裁器电路314控制对主总线312的访问。

图4的SOC总线结构还包括高速辅助总线322，其与主总线312独立操作并且将双主导模块300连接到高速辅助存储器324。辅助存储器324包括例如用于控制至少一个静态随机存取存储器(SRAM)模块320的辅助存储器控制器380。

如图4所示，双主导模块300包括例如运动图像压缩模块340、静止图像压缩模块350、和图形加速模块360，它们中的每一个分别连接到主总线312和辅助总线。

在一个实施例中，运动图像压缩模块340被适配成接收原始图像数据作为一组红-绿-蓝(RGB)值或者作为一组亮度和色度(YCbCr或YUV)值。运动图像压缩模块接收的原始图像数据通常对应于诸如流视频序列的运动图像序列。运动图像压缩模块例如使用诸如MPEG编码的一些编码格式来压缩和/或解压缩图像数据。

类似地，在一个实施例中，静止图像压缩模块350被适配成接收原始图像数据作为一组RGB值或者YCbCr或YUV值。然而，静止图像模块接收的图像数据通常对应于单个图像。静止图像压缩模块例如使用诸如JPEG编码的一些编码格式来压缩和/或解压缩原始图像数据。

在假设运动图像压缩模块340使用MPEG编码的情况下，它将包括MPEG编码器/解码器(编解码器)。在当代的系统中，MPEG编解码器服从MPEG-4或者MPEG-2。类似地，在假设静止图像压缩模块350使用JPEG编码的情况下，它将包括JPEG编解码器。

而现在，图形加速模块360将附加的特定性能提供给SOC。例如，图形加速模块360可以执行与将要随后在系统显示器(未示出)上显示的图像数据相关的多边形呈现或纹理映射。

双主导模块300从图像捕获模块330或从主存储器392接收原始图像数据(或更通常是任意扫描顺序的图像数据)。通过辅助总线332或通过(被可选提供的)图像数据总线331可以将原始图像数据从图像捕获模块330传送到双主导模块300，所述图像数据总线331将图像捕获模块330直接连接到运动图像压缩模块340和/或静止图像压缩模块360。

图像捕获模块330从通常位于SOC外部的图像捕获设备(未示出)接收数据。图像捕获设备可以包括摄像机、照相机、触摸屏、或将一个或多个输入信号转换成一个或多个输出信号并且然后将输出信号通信给图像捕获模块330的任何其他设备。例如，图像捕获设备可以使用电子组件、光器件、容性传感器、变换器、电化学传感器、红外检测器等的一些组合来变换接收到的图像捕获信号。所述图像捕获设备然后可以以离散或数字格式将相应的电信号提供给图像捕获模块330。

图像捕获模块330通常包括特定接口电路，其被适配成接收来自特定类型的图像捕获设备的电信号。例如，在图像捕获设备包括外部相机的情况下，图像捕获模块330可以包括相机接口电路，其被适配成连接到外部相机并接收来自相机的特定信号。在这种情况下，来自相机的信号可以包含RGB、YCbCr或YUV格式的原始图像数据。

在图像捕获设备包括外部相机的情况下，所述相机可以包括大量能够成像技术中的任何一种，包括例如互补金属氧化物半导体(CMOS)图像传感器或带电耦合器件(CCD)图像传感器。另外，图像捕获设备可以将用于离散、二次抽样、滤波、或在传送图像数据之前对其进行处理的图像信号处理器(SP)提供给图像捕获模块330。

在接收图像数据之后，图像捕获模块330可以将图像数据传送到其他模块用以进一步处理。例如，图像数据可被传送到主存储器392，从而它可被数字定标、旋转、二次抽样、过滤等。

一旦图像数据被处理了，(例如变换、压缩等)，它就可被存储在高密度主存储器392中或者使用显示控制模块370被输出到系统显示器。显示控制模块370连接和/或控制一个或多个系统显示器，所述系统显示器可以采用包括液晶显示器(LCD)、阴极射线管(CRT)、打印机等的许多形式。

图4所示的双层总线结构对多媒体使能的设备提供了一些好处。例如，连接到双主导模块300的辅助存储器324允许运动图像压缩模块340和静止图像压缩模块350有效地读/写数据，而不必竞争与主总线312相关的资源，并且不必等待通常较慢存取速度的主存储器392。结果，主总线312不可能受挫于与为图像压缩技术特征的带宽程度数据传送相关的超出带宽需求。

现在参考图5，可以通过连接到辅助总线322的辅助总线仲裁机构来控制对辅助存储器324的存取。图5是图解说明具有多路复用逻辑电路342的形式的辅助总线仲裁机构的方框图。本领域的普通技术人员将会意识到在多路复用逻辑电路342的实现中许多具体电路设计都是可能的，只要所述电路确保双主导模块300中的至多一个模块在任意时间点访问辅助总线322。或者，可以提供传统提供的辅助总线仲裁器394，其在形式和操作上类似于主总线仲裁器314。(请参考图6)。

然而，在图5中，多路复用逻辑电路342接收运动图像压缩模块340、静止图像压缩模块350、和图形加速模块360输出的数据，并且将从这些模块中的至多一个中接收到的数据施加到辅助总线322。多路复用逻辑电路342可以响应外部和/或内部控制信号而对双主导模块300中的每个多路复用模块分配带宽。例如，内部控制信号可以由多路复用逻辑电路342内并入的带宽调度器(scheduler)来生成。或者，外部控制信号可以由微处理器310或图像捕获模块330来生成。

图6是根据本发明另一个实施例的SOC总线结构的方框图。图6所示的SOC总线结构与图4所示的相同，除了在图6中的，辅助总线仲裁器电路394代替多路复用逻辑电路342被用来控制对辅助存储器的访问。

使用传统的技术，辅助总线仲裁器电路394通过双主导模块300中的模块控制对辅助总线322的访问和使用来控制对辅助存储器324的访问。为了准予对辅助总线322的访问，双主导模块300中的模块必须首先通常生成访问请求信号。辅助总线仲裁器电路394然后通过生成访问准予响应信号而响应访问请求信号。一旦接收访问准予响应信号，请求模块使用一组预定操作来启动辅助总线322上的数据传送。

图7到10是图解说明适于在双层SOC总线结构中使用的示例性方法的流程图。在该书面说明书中，通过诸如(000)的括号来指定示例性方法步骤以区分于示例性系统元件(不用括号示出的)，与在图4至6一样。具体地，图7至9图解说明了与在图4和6中所示一样的、适于在双层SOC总线结构中使用的示例性方法。为了承上启下解释，假设示例性系统使用MPEG相关的编码方案。图10图解说明了与图4和6中所示一样的、适于在双层SOC总线结构中使用的又一示例性方法。再次为了有意义的上下文图解，假设示例性系统使用JPEG相关的编码方案。

关于图7至9描述的方法被用于具有辅助存储器大小的范围的示例性实施例。也就是，本发明意识到与合并根据本发明设计的SOC的产品相关的实际限制可能规定了相关辅助存储器的尺寸。最近，昂贵的产品可以具有合并相对大的辅助存储器的奢侈性。受尺寸、成本或向后兼容性限制的产品可以仅包括相对小的辅助存储器。从下面可以看出，本发明的优点可应用于一系列的产品类型和一系列具有不同性能(例如，辅助存储器尺寸)的产品。

例如，关于图7图解的方法尤其适用于包括具有相对小的存储容量的辅助存储器324的系统。在这种情况下，使用辅助存储器324来临时存储例如在正在进行的MPEG编码操作中使用的当前图像数据的多个宏块。在下面的描述中，术语“当前”和“先前”是对帧序列的时间参考，与关于MPEG编码/解码操作中上述的一样。然而，这些只是方便的说明示例。术语“当前帧(或数据)”和“先前帧(或数据)”在基于非MPEG的描述性示例的环境中可以被分别广泛解释为“一个数据组”和“另一个时间相关的数据组”。

现在参考图4、6和7，运动图像压缩模块340接收与输入视频序列中的当前帧相应的光栅扫描顺序的当前图像数据。术语“光栅扫描顺序的”显而易见地参考由传统服从MPEG的图像捕获模块和相关图像捕获设备提供的视频图像数据的顺序。更普遍地，该术语与术语“原始图像数据”一起描述任意顺序的来自适于视觉显示的任意更大的图像数据组的视频数据序列。在所图解的实施例中，通常在运动图像压缩模块340中经由直接连接图像数据总线331从图像捕获模块330接收光栅扫描顺序的当前图像数据。

将光栅扫描顺序的当前图像数据重新排列成多个宏块(702)，经由辅助总线322将其存储在辅助存储器324中(705)。经由辅助总线322将多个宏块传送到运动图像压缩模块340，并且经由主总线312将与输入视频序列中的先前帧对应的先前图像数据从主存储器392传送到运动图像压缩模块340(706)。

使用先前图像数据对每个宏块执行运动估计(703)，从而生成与多个宏块对应的多个运动矢量。然后运动图像压缩模块340根据多个宏块和先前图像数据生成压缩图像数据(704)。根据运动矢量和压缩图像数据对于每个宏块生成运动补偿误差块。然后经由主总线312将压缩图像数据和解码版本的压缩图像数据存储在主存储器392中。

在随后的解码操作中通过将运动补偿块加到通过将运动矢量施加到先前图像数据而生成的相应宏块近似值(approximation)来执行运动补偿(703)。

通常以解码形式将先前图像数据从主存储器392传送到运动图像压缩模块340。这允许运动图像压缩模块340执行运动估计而不需要首先解码先前图像数据。

图8图解说明了适于在其中辅助存储器324具有中等尺寸的存储容量的SOC中使用的又一示例性方法。在具有大于上述示例的辅助存储器的系统中，辅助存储器324可被用来不仅存储当前帧数据，还被用来存储在MPEG编码处理期间将要使用的一个或多个先前帧的色度部分。

参考图8，运动图像压缩模块340接收与当前帧对应的光栅扫描顺序的当前图像数据。然后将当前图像数据重新排列成多个宏块(802)并且使用辅助总线322将其存储在辅助存储器324中(807)。然后经由主总线312将与先前帧对应的解码版本的先前图像数据的亮度部分从主存储器392读到运动图像压缩模块340(805)。然而，经由辅助总线322将解码版本的先前图像数据的色度部分从辅助存储器324读到运动图像压缩模块340(808)。

经由辅助总线322还将多个模块从辅助存储器324读到运动图像压缩模块340。然后使用所述宏块和先前图像数据的色度和亮度部分来执行运动估计和运动补偿(803)。也就是，运动图像压缩模块340根据多个宏块和先前图像数据的各个分量来生成压缩图像数据(804)。经由主总线312将压缩图像数据和解码版本的压缩图像数据的亮度部分写到主存储器324(806)，但是经由辅助总线322将解码版本的压缩图像数据的色度部分写到辅助存储器324(809)。

图9图解说明了适于在其中辅助存储器324具有相当大的存储容量的系统中使用的又一示例。在这种系统中，运动图像压缩模块340使用辅助存储器324来存储在MPEG编码和/或解码处理期间将被使用的当前帧和先前帧数据。

参考图9，运动图像压缩模块340接收与当前帧对应的光栅扫描顺序的当前图像数据。将当前图像数据重新排列成多个宏块(902)并且将其存储在辅助存储器324中(906)。经由辅助总线322将与先前帧对应的解码版本的先前图像数据从辅助存储器324中读到运动图像压缩模块340(907)，并且也经由辅助总线322将多个宏块从辅助存储器324读到运动图像压缩模块340。然后使用宏块以及先前图像数据的亮度和色度部分来执行运动估计和运动补偿(903)。运动图像压缩模块340根据多个宏块和先前图像数据而生成压缩图像数据(904)。经由主总线312将压缩图像数据写到主存储器392(905)。经由辅助总线322将解码版本的压缩图像数据写到辅助存储器324(908)。

在关于图9所描述的方法中，从辅助存储器324读出并写入其中的先前图像数据包括相应先前帧的亮度和色度两个部分。类似地，当前图像数据和相应的压缩图像数据也包含亮度和色度两个部分。

图10图解说明了与图4和6所示的一样的、适于在SOC总线结构中使用并且可被适配成执行JPEG编码的示例性方法。

参考图10，静止图像压缩模块350接收光栅扫描顺序的图像数据。通常从一般连接到外部相机(未示出)的图像捕获模块330接收图像数据。经由辅助总线322将图像数据存储在辅助存储器324中(1005)。静止图像压缩模块350将当前图像数据重新排列成多个最小编码单元(MCU)(1002)。通常，每个MCU包括诸如RGB或YUV格式的8×8像素块。随后使用标准JPEG编码算法从多个MCU生成压缩图像数据(1003)。JPEG编码算法通常包括对每个MCU执行DCT、量化、和VLC。然后经由主总线312将压缩图像数据存储在主存储器392中(1004)。通常，MCU被依次压缩。换句话说，将MCU从辅助存储器324读到静止图像压缩模块350，并且以某些类型的连续顺序进行压缩。

参考图11，首先在图形加速模块360中通过主总线312从主存储器392接收图形数据(1102)。随后经由辅助总线322将(不管是否被图形加速模块360首先调整的)图形数据的某些部分写到辅助存储器324(1103)。根据传统理解的技术使用辅助存储器324来形成来自图像数据的模式图像数据。模式图像数据是适于在LCD或者与所述系统相关的类似显示器上显示的图形数据。例如，模式图像数据可以定义在显示控制模块370的控制下将要在显示器上图形呈现的纹理图或多边形(例如三角形)阵列。一旦图形加速模块360使用辅助存储器324调整图形数据，可以经由主总线312将包含模式图像数据的调整的图形数据写到主存储器392(1104)。

在具有双层总线结构的几个示例性系统的环境中描述了上面的示例。这些示例包含仅两总线层，但是可以容易地包含多于两总线。而且，双主导模块300被所示为连接到图解示例的辅助和主总线，但是它可被容易地连接到附加总线结构。在这一点上，双主导模块300在上面示例中图解为包括运动图像压缩模块、静止图像压缩模块和图形加速模块。本领域的普通技术人员将理解在本发明的其他实施例中可以出现仅一个或多个这样的模块中。而且，这些模块可被合并到一个或多个集成电路。

这些修改仅仅是由上述示例建议的许多可能修改中的一些并且仍在方面的范围之内。类似地，上述的特定MPEG和JPEG相关方法示教了在任意合适的视频数据压缩过程环境(不管是标准的或是专用的)中本发明的更普遍的应用。也就是，运动图像压缩模块可以是服从MPEG模块和/或可以通常包括一个或多个被适配成接收RGB、YCbCr或YUV格式的原始图像数据的模块。同样地，静止图像压缩模块可以是服从JPEG模块和/或可以通常包括一个或多个被适配成接收RGB、YCbCr或YUV格式的原始图像数据的模块。

因此，本发明不仅限于上面描述的示例性实施例或者所述示例的示教上下文(例如MPEG和JPEG)。相反，本发明的范围由所附权利要求限定。

Claims

1.一种片上系统总线结构，包括：

主总线，其被适配成将微处理器、图像捕获模块和双主导模块连接到主存储器，其中该双主导模块被适配成处理多媒体信息；和

辅助总线，其与主总线独立操作，并且被适配成将双主导模块连接到辅助存储器。

2.如权利要求1所述的片上系统总线结构，其中所述双主导模块包括运动图像压缩模块、静止图像压缩模块、和图形加速模块中的至少一个。

3.如权利要求2所述的片上系统总线结构，其中所述运动图像压缩模块包括被适配成接收RGB、YCbCr或YUV格式的原始图像数据的模块，和

其中所述静止图像压缩模块包括被适配成接收RGB、YCbCr或YUV格式的原始图像数据的模块。

4.如权利要求2所述的结构，还包括：

辅助总线仲裁模块，用于控制对辅助存储器的存取。

5.如权利要求4所述的结构，其中所述辅助总线仲裁模块包括总线仲裁器电路或多路复用逻辑电路。

6.如权利要求1所述的结构，还包括：

主总线仲裁器电路，用于控制对主存储器的存取。

7.如权利要求6所述的结构，其中所述主存储器包括用于控制一个或多个DRAM模块的主存储器控制器，和

其中所述辅助存储器包括用于控制一个或多个SRAM模块的辅助存储器控制器。

8.如权利要求2所述的结构，还包括：

图像数据总线，其直接连接图像捕获模块和运动图像压缩模块。

9.如权利要求8所述的结构，其中所述图像捕获模块包括被适配成连接外部相机的相机接口电路。

10.如权利要求9所述的结构，其中所述外部相机提供可与RGB、YCbCr或YUV格式的原始图像数据兼容的图像数据。

11.如权利要求1所述的结构，还包括连接到主总线的显示控制模块。

12.一种适于在包括主总线和辅助总线的系统中使用的方法，所述主总线将主存储器与运动图像压缩模块连接，并且所述辅助总线与主总线独立操作并将辅助存储器与运动图像压缩模块连接，

所述方法包括：

接收与当前帧对应的光栅扫描顺序的当前图像数据；

将光栅扫描顺序的当前图像数据重新排列成多个宏块，并且将多个宏块存储在辅助存储器中；

经由辅助总线将多个宏块从辅助存储器传送到运动图像压缩模块；

经由主总线将与先前帧对应的先前图像数据从主存储器传送到运动图像数据压缩模块；和

根据多个宏块和先前图像数据而生成压缩图像数据。

13.如权利要求12所述的方法，其中所述运动图像压缩模块是符合MPEG的。

14.如权利要求13所述的方法，还包括：

经由主总线将压缩图像数据存储在主存储器中。

15.如权利要求13所述的方法，其中以编码和解码两个版本将压缩图像数据存储在主存储器中。

16.如权利要求13所述的方法，其中在运动图像数据压缩模块中，经由图像数据总线从直接连接到运动图像压缩模块的图像捕获模块接收光栅扫描顺序的当前图像数据。

17.如权利要求15所述的方法，其中传送先前图像数据包括：经由主总线从主存储器传送解码版本的先前图像数据；和

其中生成压缩图像数据包括：

使用多个宏块和解码版本的先前图像数据来执行运动估计；和

使用多个宏块和解码版本的先前图像数据来执行运动补偿。

18.一种适于在包括主总线和辅助总线的系统中使用的方法，所述主总线将主存储器与运动图像压缩模块连接，并且所述辅助总线与主总线独立操作并将辅助存储器与运动图像压缩模块连接，

所述方法包括：

接收与当前帧对应的光栅扫描顺序的当前图像数据；

将与先前帧对应的先前图像数据传送到运动图像压缩模块；

根据多个宏块和先前图像数据而生成压缩图像数据；和

将压缩图像数据传送到主存储器。

19.如权利要求18所述的方法，其中将先前图像数据传送到运动图像压缩模块还包括：

经由主总线将解码版本的先前图像数据的色度和亮度部分从主存储器传送到运动图像压缩模块。

20.如权利要求19所述的方法，其中将压缩图像数据传送到主存储器还包括：

将编码和解码版本的压缩图像数据传送到主存储器。

21.如权利要求18所述的方法，其中将先前图像数据传送到运动图像压缩模块还包括：

经由辅助总线将先前图像数据的色度部分从辅助存储器传送到运动图像压缩模块；和

经由主总线将先前图像数据的亮度部分从主存储器传送到运动图像压缩模块。

22.如权利要求21所述的方法，其中将压缩图像数据传送到主存储器还包括：

经由主总线将解码版本的压缩图像数据的亮度部分和编码版本的压缩图像数据传送到主存储器；和

经由辅助总线将解码版本的压缩图像数据的色度部分传送到辅助存储器。

23.如权利要求18所述的方法，其中将先前图像数据传送到运动图像压缩模块还包括：

经由辅助总线将先前图像数据的亮度和色度两个部分从辅助存储器传送到运动图像压缩模块。

24.如权利要求23所述的方法，其中将压缩图像数据传送到主存储器还包括：

经由辅助总线将解码版本的压缩图像数据的亮度和色度两个部分传送到辅助存储器；和

经由主总线将编码版本的压缩图像数据的亮度和色度两个部分传送到主存储器。

25.一种适于在系统中使用的方法，所述系统包括：

主总线，用于将主存储器与静止图像数据压缩模块连接；和辅助总线，其与主总线独立操作，并且将辅助存储器与静止图像压缩模块连接，

所述方法包括：

从图像捕获模块接收光栅扫描顺序的图像数据；

经由辅助总线将光栅扫描顺序的图像数据重新排列成存储在辅助存储器中的多个最小编码单元；

根据多个最小编码单元而生成压缩图像数据；和

经由主总线将压缩图像数据存储在主存储器中。

26.如权利要求25所述的方法，其中所述光栅扫描顺序图像数据是从连接到外部相机的图像捕获模块接收的。

27.如权利要求26所述的方法，其中根据多个最小编码单元生成压缩图像数据还包括：

将多个最小编码单元中的每一个从辅助存储器中依次读至静止图像压缩模块。

28.一种适于在片上系统中使用的方法，所述片上系统包括：主总线，用于将主存储器与图形加速模块和运动图像数据压缩模块连接；和辅助总线，其与主总线独立操作，并且将辅助存储器与图形加速模块和运动图像压缩模块连接，

所述方法包括：

在图形加速模块中经由主总线接收来自主存储器的图形数据；

经由辅助总线将与图形数据相关的模式图像数据从辅助存储器传送到图形加速模块，以便修改所述图形数据；

经由主总线将修改的图形数据传送到主存储器。

29.一种适于在包括主总线和辅助总线的系统中使用的方法，所述主总线将主存储器与运动图像压缩模块连接，并且所述辅助总线与主总线独立操作并将辅助存储器与运动图像压缩模块连接，

所述方法在运动图像数据压缩模块中被执行并且包括：

通过下列步骤来压缩图像数据；

使用与辅助存储器中存储的当前帧对应的多个宏块以及与先前帧对应的解码版本的先前图像数据来执行运动估计；和

使用多个宏块以及主存储器中存储的解码版本的先前图像数据来执行运动补偿；和

存储压缩图像数据。

30.如权利要求29所述的方法，其中将解码版本的先前图像数据存储在主存储器中并且经由主总线将其传送到运动图像压缩模块。

31.如权利要求30所述的方法，其中存储压缩图像数据还包括：

经由主总线将编码和解码版本的压缩图像数据传送到主存储器。

32.如权利要求29所述的方法，其中解码版本的先前图像数据的色度部分被存储在辅助存储器中，并且解码版本的先前图像数据的亮度部分被存储在主存储器中。

33.如权利要求32所述的方法，其中存储压缩图像数据还包括：

34.如权利要求29所述的方法，其中将解码的先前图像数据的亮度和色度两个部分都存储在辅助存储器中。

35.如权利要求34所述的方法，其中存储压缩数据还包括：

将包括亮度和色度部分的解码版本的压缩图像数据存储在辅助存储器中；和

将编码版本的压缩图像数据存储在主存储器中。