CN1272931A - 图像处理装置 - Google Patents

Abstract

一种执行流水线处理的图像处理装置,其中,由存储器存取部20进行由多个核心构成的运算部10和外部存储器2之间的数据传送。各核心可分别进行处理图像时所需要的运算。存储器存取部20包括存取程序存储部22,其可对各阶段存储数据传送的种类,按照该存取程序存储部22的存储内容,在运算部10和外部存储器2之间进行数据传送。在各阶段之前的阶段中,系统控制部30将该各阶段所必需的数据传送的种类,设定于存取程序存储部22。这样一来,能够在各阶段中灵活地改变数据传送的种类,因此,在各阶段中,存储器存取部20不用执行判优而只能执行所必需的数据传送。

Description

图像处理装置

本发明涉及一种图像处理装置，尤其是涉及多个核心对存储器的存取要求的控制技术。

下面，对现有技术，将MPEG2视频编码为例进行说明。

在MPEG2视频编码中，将整个图像划分为以纵16像素×横16像素为单位的宏块，各个宏块形成栅格状，从而，对每一宏块进行图像信号的编码处理。各宏块的编码处理是互相独立的。

在这种图像编码中，为了提高编码效率，以宏块为单位进行流水线处理。为了执行此一流水线处理，MPEG2视频编码系统内装有多个专用运算单元，其分别进行动态向量检测、DCT(离散余弦变换)运算、量化运算之类的为进行编码所必需的运算。以下，将这些专用运算单元称为“核心”。

另外，在本案说明书中，将流水线处理的处理单位时间称为“宏块时间”，将按每段宏块时间划分的处理单位称为“宏块阶段”或者“阶段”。

将某一阶段为例来说，各核心对不同宏块并列地进行个别的处理。各核心，又对存储器分别发出存取要求。因此，为了正常且确切地进行MPEG2视频编码，就需要一可在各阶段中将从多个核心发出的存储器存取要求进行互斥性的控制的机制。

图12表示在现有的MPEG2视频编码系统中对存储器存取的控制方法(参见M.MIZUNO等，“低功耗动作预测和定时的1.5W单片MPEG2MP@ML编码器(A 1.5W Single-Chip MPEG2 MP@ML Encoder withLow-Power Motion Estimation and Clocking)”1997年，ISSCC及大西等，“单片MPEG-2 MP@ML视频编码LSI中的存储体系结构”1997年，电子情报通信学会综合大会)。在图12中，纵轴表示该MPEG2视频编码系统的核心的种类，横轴表示时间。图12表示什么时候，即在从阶段开始时起算几周期以后，开始各核心的数据传送。就是说，该图表示在1宏块时间内的各核心的存储器存取的程序。

在此一现有例中，通过编一个固定的程序：在1宏块时间内，什么时候允许哪一核心存取外部存储器，来对多个存取要求作互斥性的控制。具体说来，在从阶段开始以后几个周期后，将数据从视频输入部写入存储器中；在几个周期后，让动态向量检测部从存储器中读出数据什么的，预先决定好程序。

在上述现有例中，固定性地排程各阶段的存储器存取。因此，为了正常且确切地执行流水线处理，就必须考虑到各核心的数据传送所必需的周期数成为最大的情形，也就是说，考虑到最坏的情形，才能设定每一阶段的周期数。

然而，通过本案发明人的研讨得知：在现有例中，如果考虑到最坏的情形来设定每一阶段的周期数，该周期数会超过可允许正常的流水线处理的上限值(根据现有例的工作频率规格来推算)。

为了解决此一问题，在现有例中，在编码系统内设置了动态向量检测用的高速缓冲存储器。从而，将已用在第1次检索中的参考图像数据存储在高速缓冲存储器中，再将该参考图像数据用在第2次检索中，这样省去了第2次检索时从外部存储器的数据传送。这样一来，减少了整个存储器存取所必需的周期数(参见大井等，“依据MPEG2 MP@ML的单片编码LSI的开发”，1997年4月，日经电子技术)。

可是，如果像这样通过设置高速缓冲存储器以减少存储器存取的周期数的话，全系统的功耗和面积会增加高速缓冲存储器的部分。特别是，在该系统作为LSI实现的情况下，功耗或面积的增加是一个很严重的问题。

本发明的目的在于：在具有多个核心的图像处理装置中，提高存储器存取的效率。特别是，在MPEG2视频编码系统中，以与现有例相等的工作频率并在不设高速缓冲存储器的情况下，确实地执行编码所需的数据传送。

具体说来，本发明是一种使用外部存储器通过流水线处理执行图像信号处理的图像处理装置，包括：多个核心，其可分别进行处理图像时所需要的运算；和存储器存取部，其可在上述多个核心和上述外部存储器之间传送数据。上述存储器存取部包括存取程序存储部，其可分阶段，即对每一流水线处理的单位存储数据传送的种类。该存储器存取部按照该存取程序存储部的存储内容，在上述多个核心和上述外部存储器之间传送数据。所构成的上述存取程序存储部，在各阶段之前的阶段，其内可被设定好在该各阶段中所必需的数据传送的种类。

按照本发明，由于能在各阶段之前的阶段中设定该各阶段中所必需的数据传送的种类，因此能够对每一阶段灵活地改变数据传送的种类。这样一来，使得在各阶段中，存储器存取部不用执行判优(arbitration)而只要执行必要种类的数据传送。结果，可实现高效率的存储器存取。

上述本发明所涉及的图像处理装置最好包括：可对上述多个核心及存储器存取部进行控制的系统控制部。在各阶段中，上述系统控制部最好使上述存储器存取部进行数据传送，同时，将在该阶段之后的阶段中所必需的数据传送的种类，设定在上述存取程序存储部中。

并且，在上述图像处理装置中，上述存储器存取部最好输出阶段传送状态信号，该信号表示是否在各阶段中已结束数据传送。上述系统控制部最好在上述阶段传送状态信号表示数据传送已结束时，令上述存储器存取部进行后一阶段的数据传送。

再就是，上述本发明所涉及的图像处理装置的存储器存取部最好包括：接口部，可进行所指定的种类的数据传送，同时，可输出能表示是否该数据传送已结束的局部传送状态信号；和存取控制部，可指定数据传送的种类而启动上述接口部，同时，在上述局部传送状态信号表示数据传送已结束时，重新指定数据传送的种类而启动上述接口部。

上述本发明所涉及的图像处理装置，最好作为图像信号的处理，进行编码处理。

下面，对本发明中的附图作简要说明。

图1是本发明的一实施例所涉及的图像处理装置的整体结构图。

图2是表示图1中所示的存储器存取部的结构图。

图3是表示图2中所示的启动存储部的结构图。

图4表示图2中所示的存取程序存储部的一存储内容。

图5是表示图1中所示的存储器存取部的数据传送时间表的时序图。

图6是表示一宏块的编码处理的流程图。

图7是表示执行MPEG2编码处理的整个流水线处理的流程图。

图8表示图7的各阶段中的启动寄存器、模式寄存器及参数寄存器的设定值的变化。

图9表示在B图像的编码处理中各寄存器的设定值的变化。

图10表示在I图像的编码处理中各寄存器的设定值的变化。

图11表示一场数据传送所必需的周期数，是用以说明本发明和现有例的差别的图。

图12表示现有的MPEG视频编码中的存储器存取的控制方法。

下面，参照附图对本发明的实施例加以说明。

图1是本发明的一实施例所涉及的图像处理装置，是表示一可执行MPEG2视频编码的整个系统的结构图。在图1中，符号1表示一系统，其是通过流水线处理而执行图像信号处理的图像处理装置。2是例如由同步DRAM构成，能与系统1交换数据的外部存储器。外部存储器2是用以存储由视频输入信号构成的原图像帧数据、为了检测动态向量而被再现的以前的图像帧数据、经可变长度编码所得的代码等等。譬如，系统1可用LSI来实现。

系统1具备：运算部10，其由分别进行编码时所需要的运算的多个核心11～17构成；存储器存取部20，其在外部存储器2和运算部10之间传送数据；系统控制部30，其对运算部10、存储器存取部20及整个系统1进行控制。在运算部10和存储器存取部20之间，设置有由多个缓冲存储器构成的缓冲存储器组40。各缓冲存储器对各核心11～17和存储器存取部20间的数据传送进行一下缓冲。

图2是表示图1中所示的存储器存取部20的结构图。在图2中，21是可对存储器存取部20进行控制的存取控制部，22是可分阶段存储数据传送的种类及顺序的存取程序存储部，25是由可生成存取外部存储器2时的地址的多个地址生成器(AG)构成的地址生成器组，其中各地址生成器是对应于数据传送的种类而分别设置的。26是地址选择器，27是数据选择器。地址生成器组25中的各地址生成器AG1～AG8分别与缓冲存储器组40中所包含的各缓冲存储器SMBM、MSBM、MYBM、MCBM、ZMBM、ROBM、VWBM、VRBM对应着。接口部60是由地址生成器组25、地址选择器26及数据选择器27构成的。

存取程序存储部22由启动存储部51、参数存储部52及模式存储部53构成。启动存储部51、参数存储部52及模式存储部53都是由两个存储体(bank)构成的。在能由存取控制部21存取一个存储体时(即朝向存储器存取部20时)，另一个存储体则能由系统控制部30来设定其存储内容(即朝向系统控制部30)。

系统控制部30通过第1触发信号TGL1而切换存取程序存储部22的存储体，并对朝向系统控制部30的存储体设定数据传送的种类及顺序。在此，让第1触发信号TGL1对存储体的切换和流水线处理中的阶段切换同步进行。

换句话说，所构成的存取程序存储部22能够在各阶段之前的阶段中，被设定好该各阶段中所执行的数据传送的种类及顺序。再就是，在各阶段中，系统控制部30将起始信号AC1输出到存取控制部21而使存储器存取部20进行数据传送，同时，将其后阶段的数据传送的种类及顺序设定到存取程序存储部22中。

这样一来，使得在各阶段之前的阶段中，由系统控制部30将该各阶段中所必需的数据传送的种类及顺序设定到存取程序存储部22的一个存储体中。于是，在切换阶段的同时，也切换存取程序存储部22的存储体，能够由存取控制部21存取在其前的阶段中已被设定好数据传送的种类及顺序的存储体，从而在该阶段中根据该存储体的存储内容执行数据传送。

就是说，在各阶段中将在其后的阶段中所执行的数据传送的种类及顺序设定到存取程序存储部22中，通过反复该设定，来进行编码处理时所必需的与外部存储器2的数据交换。

还有，缓冲存储器组40的各缓冲存储器也大都是由两个以上的存储体构成的。系统控制部30通过第2触发信号TGL2来切换各缓冲存储器的存储体。

图3是表示图2中所示的启动存储部51的结构图。如图3所示，启动存储部51具备两个8比特启动寄存器51a、51b(双存储体结构)，可通过来自系统控制部30的第1触发信号TGL1切换它的存储体。

参数存储部52具备两组参数寄存器组(双存储体结构)，各参数寄存器由8个(即对应于启动寄存器22a、22b的比特数)16比特寄存器构成。它可通过第1触发信号TGL1切换它的存储体。模式存储部53也具备两组由8个4比特寄存器构成的模式寄存器组(即双存储体结构)，可通过第1触发信号TGL1切换它的存储体。模式寄存器和参数寄存器是一对一地对应着。各模式寄存器分别存储不同数据传送的种类；各参数寄存器存储所对应的模式寄存器中所存储的那一种数据传送所必需的参数。

图4表示存取程序存储部22的一存储内容。下面，用图4说明存储器存取部20的工作。

存取控制部21接收来自系统控制部30的起始信号AC1后，将构成启动存储部51的两个启动寄存器当中，与朝向存储器存取部20的那一存储体对应的启动寄存器中所存储的值，从LSB到MSB一比特一比特地进行检查。启动寄存器的各比特与各模式寄存器对应，“0”表示禁止传送，“1”表示允许传送。就是说，所检查的比特为“1”时，则执行被存储在所对应的模式寄存器中的那一种类的数据传送，另一方面，其为“0”时，则不执行被存储在所对应的模式寄存器中的那一种类的数据传送。在执行模式寄存器中所存储的那一种数据传送时，将与该模式寄存器对应的参数寄存器中所存储的值用作数据传送的参数。

举例来说，如图4所示，假设启动寄存器中所保持的值为“00110010”。此时，首先由于LSB(比特0)为“0”，所以不进行模式0的模式寄存器中所存储的那一种类的数据传送。

因为其次的比特1为“1”，存取控制部21执行模式1的模式寄存器中所存储的那一种类的数据传送。存取控制部21检查模式1的模式寄存器中所存储的值，决定要进行的数据传送的种类，并选择要启动的地址生成器。现在，在模式1的模式寄存器中存储有$2($表示十六进制)。在此，假定该$2意指要进行“NoMC宏块输入”。NoMC宏块是由于和前一图像的亮度差极大，或者几乎和前一图像之间没有亮度差，因此不要求动作补偿(MotionCompensation)的宏块。

存取控制部21通过将模式1的模式寄存器的值进行解码而识别要进行“NoMC宏块输入”，然后将起始信号AC2送到NoMC宏块输入用的地址生成器中。地址生成器收到起始信号AC2后，使用模式1的参数寄存器的值($01、$0A)来生成用以存取外部存储器2的地址。在模式1的参数寄存器中，作为与“NoMC宏块输入”对应的参数，存储有要输入的宏块的起始地址。

并且，存取控制部21通过选择信号SL令地址选择器26将NoMC宏块输入用的地址生成器所输出的地址和控制信号，选择性地输出到外部存储器2中。还有，存取控制部21又通过选择信号SL令数据选择器27将从外部存储器2中所输出的数据选择性地输出到缓冲存储器组40中的NoMC宏块输入用缓冲存储器中。

收到起始信号AC2的地址生成器，在执行数据传送那一期间，让为局部传送状态信号的忙碌信号BS2活动。当数据传送结束时，则让忙碌信号BS2停止工作，以告诉存取控制部21数据传送已结束。存取控制部21确认此一地址生成器的数据传送结束后，重新开始检查启动寄存器。

由于启动寄存器的比特2、3为“0”，所以不进行模式2、3的模式寄存器中所存储的种类的数据传送。

由于其次的比特4为“1”，存取控制部21执行模式4的模式寄存器中所存储的那一种类的数据传送。模式4的模式寄存器中存储有$3(十六进制中的3)，在此，假定$3意指：要进行“可变长度代码输出”。存取控制部21将起始信号AC2送到可变长度代码输出用的地址生成器中。地址生成器收到起始信号AC2后，使用模式4的参数寄存器的值，来生成用以存取外部存储器2的地址。模式4的参数寄存器存储有要传送的字数作与“可变长度代码输出”对应的参数。

存取控制部21当对启动寄存器中所存储的值的所有的比特完成检查时，通过作为阶段传送状态信号的忙碌信号BS1，告诉系统控制部30该阶段的数据传送已结束。就这样，1宏块阶段中的外部存储器2和多个核心10之间的数据传送结束了。

图5是表示图2中所示的存储器存取部20的数据传送时间表的时序图。在图5中，从视频信号输入到代码信号输出的一系列的图像编码处理中，例如，选出并示出了在宏块(n-1)至(N+1)的处理中，代码输出部17从外部存储器2中读出数据的情形。值得一提的是，要把数据写入外部存储器2时，不仅要设定程序，也要设定写入数据。

在各阶段中，存取外部存储器2所要的时间比多个核心分别进行运算所要的时间长得多。因此，各阶段的周期数取决于数据传送所必需的周期数。还有，在各阶段的数据传送中几乎没有时间损耗，而且，在某一阶段的数据传送完了后，立刻就开始下一阶段的数据传送。因此，如图5所示，在本实施例中，各阶段的周期数都不一样。

下面，将MPEG2方式的编码处理为例，具体地说明本实施例所涉及的图像处理装置的工作。在MPEG2中，将各帧分割成由(16×16)像素构成的多个宏块，而对各宏块进行压缩编码处理。例如，在NTSC图像的情况下，1帧是由720像素×480行所构成的，所以可分割成1350个(＝横45×纵30)宏块。

图6是表示一宏块MB0的编码处理的流程图。在图6中，横轴表示阶段，图中的各箭头表示地址设定和数据传送的对应关系、及核心的处理和数据传送的对应关系。又在图6中，示出了随着编码处理的进行，在各阶段中进行工作的核心、存取外部存储器2的缓冲存储器、及进行地址设定的地址生成器。

下面，将图6所示的各核心的处理内容加以说明。

<ME1处理>

这是第1动态向量检测部12所进行的、1像素精度的动态向量检测。从外部存储器2将成为编码对象的原图像的宏块数据读出到缓冲存储器SMBM中。又，从外部存储器2将参考图像帧的Y成分数据读出到缓冲存储器MSBM中。第1动态向量检测部12从存储在缓冲存储器SMBM、MSBM里的数据中检测出1像素精度的动态向量。在向缓冲存储器SMBM、MSBM传送数据之前，系统控制部30设定成为编码对象的宏块的位置作一参数。

<ME2处理>

这是第2动态向量检测部13所进行的、半像素精度的动态向量检测。在第1次ME2处理中，从外部存储器2将在第1动态向量检测部12所输出的动态向量所指示的区域里的参考图像的Y成分读出到缓冲存储器MYBM中。第2动态向量检测部13使用缓冲存储器SMBM的数据和读出到缓冲存储器MYBM中的数据，来检出半像素精度的动态向量。

在第2次ME2处理中，从外部存储器2将参考图像帧的C成分数据读出到缓冲存储器MCBM中。第2动态向量检测部13使用在第1次ME2处理中所求得的动态向量，从存储在缓冲存储器SMBM、MCBM中的数据中检出半像素精度的动态向量。

<MSP处理>

这是有关是否以帧单位或者以场单位执行DCT运算等，编码时所必需的处理的模式选择，是由模式选择运算部14执行的。通过<ME1处理>和<ME2处理>而求得的动态向量的值为0时，从外部存储器2向缓冲存储器ZMBM读出和被编码的宏块同一个位置的参考图像。

<DCT/Q处理>

在该处理中，将宏块和通过<ME1处理>及<ME2处理>所求得的动态向量所示的位置的参考图像的差分图像，进行DCT运算→量化→逆量化→逆DCT运算的各处理。这是由DCT及量化运算部15按照＜MSP处理＞中所选择的模式执行的。经过逆DCT运算的图像数据，被存储在缓冲存储器ROBM中，而被传送到外部存储器2中。从而，被用作将其他帧进行编码时的参考图像(再现(REC))。

<VLC处理>

这是将通过<DCT/Q处理>而被量化后的数据进行可变长度编码的处理，是由可变长度编码运算部16承担的。被可变长度编码的数据，被存储到缓冲存储器VWBM中，为了缓冲一下，暂时被写入外部存储器2中。将可变长度编码后的数据量从可变长度编码运算部16传输到系统控制部30中。系统控制部30根据可变长度编码后的数据量，设定传送字数作从缓冲存储器VWBM中传送数据时的参数。

<代码输出处理>

代码输出部17按照连接到系统1外部的器件所做出的时刻要求，输出经可变长度编码的数据。缓冲存储器VRBM被用作向外部输出时的缓冲器。系统控制部30按照从外部要求的传送时刻设定传送字数，作从缓冲存储器VRBM中传送数据时的参数。

图7是表示执行MPEG2编码处理的整个流水线处理的流程图。在MPEG2标准中，定义有I、P、B这三种图像，图7所示的是其中数据传送最多的P图像的处理情况。直到阶段11为止，各阶段中的处理种类逐渐增加：在阶段12以后，在各阶段中反复地进行基本上相同种类的处理。

在I图像中，完全不参考其他帧而进行编码。因此，不进行有关动态向量检出的处理(即ME1处理及ME2处理)，不向缓冲存储器MSBM、MYBM、MCBM传送数据。还有，由于其他帧用不着以B图像作参考，因此，就不用再现(REC)处理，不从缓冲存储器ROBM中传送数据。再就是，由于其他理由，也不向缓冲存储器ZMBM传送数据。

就这样，根据图像种类的不同，所必需的数据传送的种类也不同，因此，也要根据图像种类而变更启动寄存器等的设定内容。

图8表示图7的各阶段中的启动寄存器、模式寄存器及参数寄存器的设定值的变化。图8所示的模式寄存器的各设定值$1、$2、$3、$4、$6、$7、$8及$A分别对应于地址生成器AG1～AG8。如图8所示，因在阶段11以后，启动寄存器的各比特值都成为“1”，故所有的地址生成器AG1～AG8进行地址设定。

图9表示在B图像方式的编码处理中各寄存器的设定值的变化，图10表示在I图像方式的编码处理中各寄存器的设定值的变化。由和图8的比较可知，在阶段11以后，启动寄存器中的有些比特值为“0”。

系统控制部30根据各种应用而存储有图像种类的连续模式(例如，“IPPBPPBPPBPPBPP”)，按照此一连续模式，来设定各寄存器的值(如图8～图10所示)。

在图8～图10中，模式寄存器的设定值总是固定的。换句话说，根据数据传送最多的P图像而设定模式寄存器的值，只通过启动寄存器的设定来控制是否进行数据传送。当然，也可通过改变模式寄存器的设定值，来控制是否进行数据传送。

再就是，通过模式寄存器的设定来对各阶段中的数据传送的顺序进行控制，也是可以的。在一般的应用中，各数据传送只要在其阶段中完成即可，不一定要严格地控制其顺序。然而，看应用的不同，有时也会存在如“必须在向ZMBM传送数据之前，向MCBM传送完数据”之类的条件。在这种情况下，若把向MCBM的数据传送设定在模式0中，向ZMBM的数据传送设定在模式1中，就可满足此一条件。

参数寄存器的值是按以下的方法来设定的。在模式$1、$2、$6及$7的数据传送中，设定了表示宏块的位置的数据(参数0、1、4、5)。在模式$3、$4的数据传送中，根据<ME1处理>中所求得的动态向量来设定传送源的坐标值*1、*2(参数2、3)。在模式$8、$A的数据传送中，设定传送字数*3、*4(参数6、7)。

如上所述，按照本实施例所涉及的图像处理装置，能分阶段地将数据传送的种类及顺序设定在存取程序存储部22中，而且，能在实际地进行数据传送的阶段之前的阶段中进行此一设定。并且，在由忙碌信号BS2确认了某一地址生成器的执行结束时，立即可启动下一地址生成器。因此，能在各阶段中，在基本上不产生时间损耗的情况下，只连续地进行所必需的数据传送。

于是，在各阶段中，到该各阶段的前一阶段为止，由系统控制部30已决定好与外部存储器2之间的数据传送的程序。因此，存储器存取部20不用进行各核心11～17间的判优而能依序执行多个数据传送。还有，在数据传送量少的情况下，则不产生无用的等候时间，能早点完成数据传送。这样一来，不设为省去数据传送本身的缓冲存储器，也可正常且确切地进行MPEG2视频编码处理。

另外，在本实施例中，地址生成器和缓冲存储器是一对一地对应着。但是，例如，某一地址生成器对应于多个缓冲存储器，也是完全可以的。再就是，某一地址生成器对应于多个传送模式，也是可以的。此外，地址生成器的数量并不受限于8个。

还有，本实施例中所采用的启动寄存器的比特宽度、模式寄存器及参数寄存器的个数只不过是一个例子，并不用受限于那些值。

并且，在本实施例中，在各阶段的前一个阶段中设定了该各阶段的数据传送的种类及顺序，但并不一定要在前一个阶段中，在前面的任一阶段中也可设定。举例来说，要在前一个阶段中进行NOP处理时，也可在那阶段之前的阶段中进行设定。还有，若由3个存储体构成存取程序存储部22，就能在各阶段之前的第二个阶段中设定该各阶段的数据传送的种类及顺序。

在此，将在本说明书的课题部分中所描述的现有例的问题和本发明的关系，进行补充说明。

图11表示在进行B图的图像编码(使用位于时间轴的前与后的参考图像的编码)时，在各核心和外部存储器之间的数据传送所必需的周期数。图11中所示的数据是本案发明人按照MPEG 2标准而推算出来的。根据MPEG 2视频编码，在各宏块中，各核心和外部存储器之间的数据传送量不是固定的，每一宏块的数据传送量因图像的复杂度等而异。图11表示1场(其对应于NTSC图像中的1/60秒钟的图像)中的各宏块的数据传送所必需的周期数的分布，其最大值为2222，最小值为1649。

在此，假设有效像素期间和垂直消隐期间相加的时间全部都可被用在1场的图像编码中，可被分配到每一宏块编码的周期数的上限值为1997(这是基于现有例的工作参数，将工作频率定为81MHz而推算出来的)。

就是说，由图11可知，每一个宏块的周期数的最大值超过了其上限值。该事实暗示若不采取什么措施，则不能正常地执行MPEG2视频编码。在现有例中，通过设置动态向量检测用的高速缓冲存储器，来省去在第2次检索时从外部存储器的数据传送，就这样，将每一宏块的周期数的最大值降低到小于上限值的1551周期。

本案发明人，从图11所示的推算结果得知：1场即675个宏块的平均周期数就小于其上限值。从而，通过将各宏块的数据传送所必需的周期数平均化，使得在不设高速缓冲存储器的情况下也可确实地执行图像编码。这就是本发明所涉及的本实施例。

此外，在和现有例同样地设置高速缓冲存储器的情况下，通过应用本发明，例如，也可降低时钟频率。这样一来，也可降低功耗。

另外，也可在MPEG 2视频编码以外的图像编码，或者图像解码之类的其他图像处理中，容易地应用本发明。还有，即使是图像处理以外的信号处理，若从多个存取主体进行存储器存取时，也可容易地应用本发明。

综上所述，按照本发明，在多个核心和外部存储器之间进行数据传送时，通过在实际进行数据传送的某一阶段之前的阶段中进行程序设定，依次往下进行，就这样能在各阶段中，存储器存取部不用进行判优而只要顺序进行所必需的种类的数据传送。结果，可实现高效率的存储器存取。

Claims (5)

1.一种使用外部存储器通过流水线处理执行图像信号处理的图像处理装置，其中包括：

多个核心，可分别进行处理图像时所需要的运算；和

存储器存取部，可在上述多个核心和上述外部存储器之间传送数据，

上述存储器存取部包括存取程序存储部，其可分阶段，即对每一流水线处理的单位存储数据传送的种类；按照该存取程序存储部的存储内容，在上述多个核心和上述外部存储器之间传送数据，

所构成的上述存取程序存储部，在各阶段之前的阶段，其内可被设定好在该各阶段中所必需的数据传送的种类。

2.根据权利要求1所述的图像处理装置，其中还包括：

可对上述多个核心及存储器存取部进行控制的系统控制部，

上述系统控制部，可在各阶段中，使上述存储器存取部进行数据传送，同时可将在该阶段之后的阶段中所必需的数据传送的种类，设定在上述存取程序存储部中。

3.根据权利要求2所述的图像处理装置，其中：

上述存储器存取部输出阶段传送状态信号，该信号表示是否在各阶段中已结束数据传送，

上述系统控制部，在上述阶段传送状态信号表示数据传送已结束时，可令上述存储器存取部进行后一阶段的数据传送。

4.根据权利要求1所述的图像处理装置，其中：

上述存储器存取部包括：

接口部，可进行所指定的种类的数据传送，同时，可输出表示是否该数据传送已结束的局部传送状态信号；和

存取控制部，可指定数据传送的种类而启动上述接口部，同时，在上述局部传送状态信号表示数据传送已结束时，重新指定数据传送的种类而启动上述接口部。

5.根据权利要求1所述的图像处理装置，其中：对图像信号进行编码处理。

Images