CN101930421B

CN101930421B - 运算处理装置及方法、处理单元、运算处理系统

Info

Publication number: CN101930421B
Application number: CN201010202734XA
Authority: CN
Inventors: 山根健治; 加纳豪; 高桥正弘
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2009-06-17
Filing date: 2010-06-10
Publication date: 2012-11-07
Anticipated expiration: 2030-06-10
Also published as: US20100325387A1; US8601238B2; CN101930421A; JP2011002952A

Abstract

本发明提供一种运算处理装置及方法、处理单元、运算处理系统。在本发明中，串联地总线连接多个图像处理单元(10～12)。各图像处理单元(10～12)具有设定了限制时间的限制信息设定部(32)。各图像处理单元(10～12)通过CELL(24)在多个图像处理单元(10～12)间按照同一程序来执行作为对每个运算处理单位的数据的运算处理的图像处理。各图像处理单元(10～12)按照限制时间，执行对每个运算处理单位的数据的图像处理。各图像处理单元(10～12)将图像处理后的处理数据保存在存储器(25)中。通过连结多个图像处理单元(10～12)间的输入端子(21)以及输出端子(22)，而将各图像处理单元(10～12)相互进行总线连接。

Description

运算处理装置及方法、处理单元、运算处理系统

技术领域

本发明涉及运算处理装置、处理单元、运算处理系统以及运算处理方法，例如适于应用于对运动图像进行编码的图像处理装置。

背景技术

以往，为了在短时间内实现例如动画等的图像处理、流体力学的仿真等处理负荷高的运算处理，提出了连接多个处理单元来执行并行处理的运算处理系统(例如，参照专利文献1)。

在该运算处理系统中，一般通过分布式服务器SV总体控制运算处理系统整体，而执行并行处理。例如如图1所示，运算处理系统经由分布式服务器SV连接了各处理单元NODE1～3。

而且，在运算处理系统中，分布式服务器SV将1个程序PG具有的多个(在图1中为3个)任务Task1～3分别分配给3个处理单元NODE1～3。分布式服务器对处理单元NODE1～3，分别供给数据DATA1～3。

处理单元NODE1～3对数据DATA1～3，分别执行所分配的任务Task1～3，将生成的已处理数据DATA1’～3’供给到分布式服务器SV。

分布式服务器SV根据各处理单元NODE1～3中的Task1～3的处理顺序以及进行程度等，对各处理单元NODE1～3分别供给数据DATA1～3。

【专利文献1】日本特开2004-5370公报

发明内容

但是，在上述结构的运算处理系统中，分布式服务器SV执行各处理单元NODE1～3中的处理的进行程度、数据DATA的供给等事务(transaction)管理。由于该事务管理繁杂，所以存在分布式服务器SV的处理负荷变大，结构变得复杂这样的问题。

本发明是考虑了以上的问题而完成的，其目的在于提供一种能够简化结构的运算处理装置、处理单元、运算处理系统以及运算处理方法。

为了解决上述课题，在本发明的运算处理装置中，串联地连接了多个处理单元，上述各处理单元具有：限制信息设定部，对每个运算处理单位的数据，设定表示上述各处理单元应处理的运算处理的量的限制信息；运算部，在上述各处理单元之间通过同一程序并且按照在上述限制信息设定部中设定的限制信息，执行对每个上述运算处理单位的数据的运算处理；以及存储器，保存由上述运算部运算处理后的处理数据。

由此，运算处理装置能够仅通过按照限制信息来执行运算处理，对每个运算处理单位的数据，由多个处理单元分担而执行运算处理，可以不执行事务管理。

另外，本发明的处理单元具备：限制信息设定部，对每个运算处理单位的数据，设定表示应处理的运算处理的量的限制信息；运算部，按照在上述限制信息设定部中设定的限制信息，通过程序来执行对每个运算处理单位的数据的运算处理；存储器，保存由上述运算部运算处理后的处理数据；以及连接部，与按照与上述运算部相同的上述程序来执行运算处理的其它处理单元串联地总线连接。

由此，处理单元能够仅通过按照限制信息来执行运算处理，对每个运算处理单位的数据，由多个处理单元分担而执行运算处理，可以不执行事务管理。

进而，本发明的运算处理系统具有串联连接的多个处理单元、以及服务器，上述各处理单元具有：限制信息设定部，对每个运算处理单位的数据，设定表示上述各处理单元应处理的运算处理的量的限制信息；运算部，在上述各处理单元之间通过同一程序并且按照在上述限制信息设定部中设定的限制信息，来执行对每个上述运算处理单位的数据的运算处理；存储器，保存由上述运算部运算处理后的处理数据；以及连接部，连接上述多个处理单元之间，上述服务器对上述多个处理单元中的始端的处理单元供给每个上述运算处理单位的数据，从上述多个处理单元中的终端的处理单元，接收由上述运算部运算处理后的上述处理数据。

由此，运算处理系统能够仅通过按照限制信息来执行运算处理，对每个运算处理单位的数据，由多个处理单元分担而执行运算处理，可以不执行事务管理。

进而，本发明的运算处理方法由串联地总线连接的第1处理单元以及第2处理单元执行，由上述第1处理单元执行：第1限制信息设定步骤，对每个运算处理单位的数据设定表示应处理的运算处理的量的限制信息；第1运算步骤，按照程序以及在上述第1限制信息设定步骤中设定的上述限制信息，将对每个运算处理单位的数据的运算处理执行应处理的运算处理的量，生成表示该运算处理的结束部分的进行信息；第1保存步骤，保存通过上述第1运算步骤运算处理后的处理数据，由上述第2处理单元执行：第2限制信息设定步骤，设定与上述第1限制信息设定步骤相同的上述限制信息；第2运算步骤，对通过上述第1运算步骤运算处理后的上述处理数据，按照与上述第1运算步骤相同的程序以及在上述第2限制信息设定步骤中设定的上述限制信息，对于通过上述第1运算步骤生成的进行信息所表示的上述结束部分以外的部分，执行每个运算处理单位的数据中的运算处理；以及第2保存步骤，保存在上述第2运算步骤中运算处理后的处理数据。

由此，在运算处理方法中，能够仅通过按照限制信息来执行运算处理，对每个运算处理单位的数据，由第1以及第2处理单元分担而执行运算处理，可以不执行事务管理。

根据本发明，能够仅通过按照限制信息来执行运算处理，对每个运算处理单位的数据，由多个处理单元分担而执行运算处理，可以不执行事务管理。这样本发明能够实现能够简化结构的运算处理装置、处理单元、运算处理系统以及运算处理方法。

附图说明

图1是用于说明以往的并行处理(1)的示意图。

图2是用于说明以往的并行处理(2)的示意图。

图3是示出图像处理系统的结构的示意图。

图4是示出图像处理装置的结构的示意图。

图5是示出图像处理单元间的总线连接的结构的示意图。

图6是示出图像处理单元的结构的示意图。

图7是用于说明处理程序的安装的示意图。

图8是用于说明时分处理的示意图。

图9是示出同一程序并行处理过程的流程图。

图10是示出以往的并行处理中的处理时间的示意图。

图11是用于说明连接台数的确认的示意图。

图12是用于说明限制时间的计算的示意图。

图13是用于说明限制时间的设定的示意图。

图14是用于说明自动开始处理过程的流程图。

图15是用于说明连接台数确认过程的流程图。

图16是用于说明限制信息设定处理过程的流程图。

(符号说明)

1：图像处理系统；2：服务器；3：图像处理装置；4：输入电缆；5：输出电缆；10、11、12：图像处理单元；24：CELL；25：存储器；29：总线；31：程序控制部；32：限制信息设定部；41～48：SPE；51：SPU；52：寄存器；53：本地存储装置；61：PPE程序保存区域；62：SPE程序保存区域；63：输入数据保存区域；64：中间数据保存区域；65：结果数据保存区域；E1：图像数据；M1、M2：中间数据；R1：结果数据；TM：限制时间信息。

具体实施方式

以下，根据附图，对本发明的一个实施方式进行详述。另外，按照以下的顺序进行说明。

1.第1实施方式(使用了同一程序的并行处理)

2.第2实施方式(自动开始处理)

3.其它实施方式

<1.第1实施方式>

[1-1.图像处理系统的结构]

在图3中，1作为整体表示图像处理系统。该图像处理系统1具有服务器2与图像处理装置3，服务器2以及图像处理装置3通过输入电缆4以及输出电缆5连接。

假定该图像处理系统1用于例如对运动图像数据进行编码的编码等图像处理。服务器2经由输入电缆4将图像数据E1供给到图像处理装置3。图像处理装置3对该图像数据E1实施图像处理而生成结果数据R1，经由输出电缆5将该结果数据R1供给到服务器2。

如图4所示，图像处理装置3由3个图像处理单元10～12构成。各图像处理单元10～12具有输入端子21以及输出端子22，该输入端子21以及输出端子22能够相互连接。各图像处理单元10～12通过连接相邻的图像处理单元间的输入端子21以及输出端子22，而相互连接，构成图像处理装置3。

另外，在不存在相邻的图像处理单元的图像处理单元10的输入端子21以及图像处理单元12的输出端子22上，没有连接。由此，图像处理单元10以及12能够识别自身配置在图像处理装置3的端部。图像处理单元10以及12通过例如以太网(注册商标)等与输入电缆4以及输出电缆5连接，从而与服务器2连接。

即，在图像处理系统1中，在连续地连接的图像处理单元10～12的两端部连接了服务器2，服务器2、图像处理单元10、11以及12形成环路。

如图5所示，图像处理单元10～12具有CELL(单元)24以及存储器25。CELL24以及存储器25经由对数据的发送接收进行控制的主控制器26与总线29连接。输入端子21以及输出端子22与总线29直接连接。

因此，图像处理单元10～12经由输入端子21以及输出端子22连结总线29，从而能够在图像处理单元间高速(例如25[Gbps])地传送数据。换言之，各图像处理单元10～12通过经由所连结的总线29的主控制器26的控制，能够参照相邻的图像处理单元的内部的存储器25。

如图6所示，CELL24具有由PPE(Power Processor Element，主处理单元)构成的程序控制部31、8个SPE(Synergistic ProcessorElement，协处理单元)41～48、限制信息设定部32。

在存储器25中，分配了保存程序或数据的区域。PPE程序保存区域61保存有程序控制部31执行的PPE程序。程序控制部31从PPE程序保存区域61中读出PPE程序，并在RAM上展开，从而对CELL24进行总体控制，执行各种处理。

在本实施方式中，图像处理单元10～12中的程序控制部31执行使用了同一程序的同一程序并行处理(详细后述)。因此，在图像处理单元10～12中的PPE程序保存区域61中，保存有同一程序。

SPE程序保存区域61保存有SPE41～48执行的SPE程序。SPE41～48具有SPU(Synergistic Processing Unit，协处理单元)、寄存器52以及本地存储装置53。SPE41～48从SPE程序保存区域61中读出SPE程序，并在本地存储装置53上展开，从而执行各种处理。寄存器52是对程序的进行程度进行计时的程序计时寄存器。

在本实施方式中，图像处理单元10～12中的SPE41～48执行使用了同一程序的同一程序并行处理(详细后述)。因此，在图像处理单元10～12中的SPE程序保存区域62中，保存有同一程序。

输入数据保存区域63、中间数据保存区域64以及结果数据保存区域65保存处理前、处理中以及处理后的图像数据。图像处理单元10～12具有与供给的图像数据或者生成的图像数据对应的保存区域。

图像处理单元10从服务器2输入图像数据E1。因此，图像处理单元10具有用于保存它们的输入数据保存区域63。图像处理单元10生成图像处理执行到中途的中间数据M1。该中间数据M1被写入到图像处理单元11的存储器25中。

图像处理单元11具有用于保存中间数据M1的中间数据保存区域64。图像处理单元11读出中间数据M1而生成中间数据M2。该中间数据M2被写入到图像处理单元12的存储器25中。图像处理单元12读出中间数据M2而生成结果数据R1。因此，图像处理单元12具有用于保存中间数据M2的中间数据保存区域64以及用于保存结果数据R1的结果数据保存区域65。

寄存器保存区域66是保存前级的图像处理单元中的进行信息的区域。该进行信息表示程序的进行程度，复制了前级的图像处理单元中的寄存器52的计时器数据。

主控制器26经由总线29对CELL24以及存储器25间的数据的发送接收进行控制。进而，主控制器26对相邻的图像处理单元中的主控制器26进行访问，针对相邻的图像处理单元中的存储器25进行数据的发送接收。

这样，在图像处理系统1中，通过将多个图像处理单元10～12经由高速的总线29串联地连接而构成图像处理装置3。图像处理单元10～12具有经由程序控制部31并联连接多个SPE41～48而形成的CELL24。即，图像处理装置3不仅同时使用多个SPE41～48来执行高速的运算处理，而且还使用多个图像处理单元10～12，从而实现了运算处理的进一步的高速化。

但是，各CELL24与以往的并行处理同样地，通过任务的分配来实现并行处理。图像处理系统1如果同样地对图像处理单元10～12分配任务，则需要分级地分配任务，对程序的设计造成很大的限制。

因此，在本发明的图像处理系统1中，串联连接各图像处理单元10～12，执行以时分方式并且以流水线方式执行运算处理的同一程序并行处理。

[1-2.同一程序并行处理]

接下来，对同一程序并行处理进行说明。另外，为便于说明，在表示图像处理单元10～12中的各部分时，在符号之后与连字符一起在末尾附加表示各图像处理单元的符号10～12。例如，将各图像处理单元10～12中的程序控制部31表示为程序控制部31-10、31-11以及31-12。对于在各图像处理单元10～12中共同的处理，不附加这样的符号。

[1-2-1.设定]

如果根据用户对操作部的操作，发出了安装图像处理程序的请求，则图像处理系统1的服务器2从ROM中读出该图像处理程序。

如图7所示，服务器2将安装请求信号S2以及图像处理程序PG供给到图像处理装置3。其结果，对图像处理装置3的图像处理单元10供给安装请求信号S2以及图像处理程序PG。

图像处理单元10将图像处理程序PG存储在PPE程序保存区域61-10以及SPE程序保存区域62-10中，并且将安装请求信号S2以及图像处理程序PG供给到图像处理单元11。

图像处理单元11将图像处理程序PG存储在PPE程序保存区域61-11以及SPE程序保存区域62-11中，并且将安装请求信号S2以及图像处理程序PG供给到图像处理单元12。

图像处理单元12将图像处理程序PG存储在PPE程序保存区域61-12以及SPE程序保存区域62-12中。如果图像处理程序PG的存储结束，则图像处理单元12的程序控制部31-12生成结束信号S2R，并将其供给到服务器2。

其结果，服务器2能够对图像处理装置3的所有图像处理单元10～12，识别图像处理程序PG的安装结束。

另外，服务器2根据用户对操作部的操作，将表示设定限制时间的设定请求信号以及限制时间信息(未图示)供给到图像处理装置3。

图像处理单元10的程序控制部31-10根据限制时间信息对限制信息设定部32-10设定限制时间(例如10[msec])，并且将设定请求信号以及限制时间信息供给到图像处理单元11。

图像处理单元11也同样地，根据限制时间信息对限制信息设定部32-11设定限制时间，并且将设定请求信号以及限制时间信息供给到图像处理单元12。

图像处理单元12的程序控制部31-12根据限制时间信息对限制信息设定部32-12设定限制时间，如果限制时间的设定结束，则生成结束信号，并将其供给到服务器2。

这样，图像处理装置3中的图像处理单元10～12被安装了同一图像处理程序，并且设定了同一限制时间。

[1-2-2.图像处理]

如图8所示，如果根据用户对操作部的操作，发出了开始图像处理的请求，则图像处理系统1的服务器2将图像数据E1供给到图像处理单元10。图像处理单元10将供给的图像数据E1存储在输入数据保存区域63-10中。

图像处理单元10的程序控制部31-10按照图像处理程序PG开始图像处理。程序控制部31-10对限制信息设定部32-10进行复位，读出每个规定的运算处理单位(例如帧图像单位、或者几帧单位等)的图像数据E1并临时存储在SPE41～48的本地存储装置53中。程序控制部31-10使用SPE41～48执行图像处理。此时，在各SPE41～48的寄存器52中，分别存储了与分配的任务对应地正在进行处理的数据。

例如，程序控制部31-10使SPE41～48中的7个SPE执行图像处理的情况下，将由运算处理单位构成的图像数据E1分割成7部分并将其存储在执行图像处理的各SPE的本地存储装置53中。执行图像处理的各SPE对存储在自身的本地存储装置53中的图像数据E1分别执行图像处理。即，在CELL24中，通过多个SPE执行管线(pipeline)处理。

如果经过了限制时间，则程序控制部31-10结束图像处理，将表示寄存器52-10所示的处理的进行状况的进行信息写入后级的图像处理单元11的寄存器保存区域64-11中。

另外，图像处理单元10读出存储在各SPE41～48的寄存器52-10中的数据，存储在后级的图像处理单元11的寄存器保存区域66-11中。在SPE41-10～48-10中，由不执行图像处理的SPE执行复制数据等处理。

图像处理单元11的程序控制部31-11对自身的中间数据保存区域64-11进行监视，如果识别出存储有中间数据M1，则对限制信息设定部32-11进行复位，并开始图像处理。程序控制部31-11针对每个运算处理单位读出中间数据M1，并存储在寄存器52-11中。

程序控制部31-11进而从寄存器保存区域64-11中读出进行信息，从由图像处理单元10执行了图像处理的终端部分起执行图像处理。

如果经过了限制时间，则程序控制部31-11结束图像处理，将表示寄存器52-11所示的处理的进行状况的进行信息写入后级的图像处理单元12中的中间数据保存区域64-12中。图像处理单元11将执行图像处理的SPE的本地存储装置53中存储的数据存储在中间数据保存区域64-12中。其结果，将图像处理后的中间数据M1作为中间数据M2而存储在中间数据保存区域64-12中。复制数据等的处理由SPE41-11～48-11中的不执行图像处理的SPE执行。

图像处理单元12的程序控制部31-12对自身的中间数据保存区域64-12进行监视，如果识别出存储有中间数据M2，则对限制信息设定部32-12进行复位，而开始图像处理。程序控制部31-12针对每个运算处理单位读出中间数据M2，存储在寄存器52-12中。

程序控制部31-12进而从寄存器保存区域66-12中读出进行信息，从由图像处理单元11执行了图像处理的终端部分起执行图像处理。

如果图像处理结束，则图像处理单元12从寄存器52-12中读出图像处理后的中间数据M2，作为结果数据R1而存储在结果数据保存区域65-12中。进而，图像处理单元12以规定的比特速率从输出端子22-12送出结果数据R1。其结果，对服务器2供给实施了图像处理后的结果数据R1。复制数据等并向服务器2送出等处理由SPE41-12～48-12中的不执行图像处理的SPE执行。

另外，图像处理单元10以及11对后级的图像处理单元中的中间数据保存区域64写入中间数据M1以及M2，对后级的图像处理单元中的寄存器保存区域64写入进行信息。

即，如果图像处理结束，则图像处理单元10将从本地存储装置53中读出的中间数据M1供给到主控制器26-10。主控制器26将中间数据M1供给到后级的主控制器26-11。主控制器26-11将该中间数据M1分配给中间数据保存区域64-11。其结果，在存储器25-11中的中间数据保存区域64-11中存储中间数据M1。对于进行信息的处理也同样如此。因此，图像处理单元11从自身的存储器25中读出中间数据M1即可。

而图像处理单元10在自身的存储器中存储了中间数据M1的情况下，图像处理单元11需要从存储器25-10中读出中间数据M1。此时，程序控制部31-11必须经由主控制器26-11对主控制器26-10供给读出请求。在该情况下，由于通过读出请求而使用了总线29，所以数据的传送速度降低。

这样，图像处理单元10对后级的图像处理单元中的中间数据保存区域64以及寄存器保存区域66-11写入中间数据M1以及进行信息。由此，在图像处理单元10以及11中，与使后级的图像处理单元10读出自身的存储器25中存储的中间数据M1以及M2等的情况相比，能够增大数据的传送速度。

另外，图像处理单元11也同样地，对后级的图像处理单元12中的中间数据保存区域64-12写入中间数据M2，对寄存器保存区域64-12写入进行信息。

除了上述结构以外，本发明的图像处理单元10～12在识别为限制时间不适当的情况下，响起警报而对用户进行通知。

如果在限制时间内结束了对运算处理单位的图像处理，则并非图像处理装置3的终端的图像处理单元10以及11识别为限制时间不适当，而响起警报。

如果在限制时间内结束了对运算处理单位的图像处理，则构成图像处理装置3的终端的图像处理单元12的程序控制部31-12确认限制信息设定部32-12。程序控制部31-12在剩余时间超过了剩余时间阈值的情况下，识别为限制时间的设定不适当，而响起警报。另外，将该剩余时间阈值例如设定为限制时间的比例。

由此，图像处理装置3能够对用户通知在哪个图像处理单元10～12中结束了图像处理，能够使用户设定适当的限制时间。

另一方面，图像处理单元12的程序控制部31-12在尽管经过了限制时间、但对运算处理单位的图像处理没有结束的情况下，响起警报。该警报使用与限制时间超过了剩余时间阈值时不同的声音或者模式。由此，图像处理单元12能够对用户通知限制时间过大还是过小。

这样，在图像处理装置3中，各图像处理单元10～12按限制时间来执行图像处理，从而无需进行事务管理而能够通过多个图像处理单元10～12执行同一程序并行处理。

各图像处理单元10～12按照同一程序执行图像处理，所以无需在图像处理程序中分离任务，而能够提高图像处理程序的设计自由度。

[1-3.处理过程]

接下来，使用图9的流程图，对按照图像处理程序执行的同一程序并行处理过程RT1进行说明。

如果开始了同一程序并行处理过程RT1，则各图像处理单元10～12中的程序控制部31转移到步骤SP1。程序控制部31判别在应参照的保存区域(输入数据保存区域63-10、以及中间数据保存区域64-11和64-12)中是否具有处理对象数据(图像数据E1、以及中间数据M1及M2)等。

如果此处得到了否定结果，则程序控制部31在步骤SP1中，等待处理对象数据等的供给。而如果在步骤SP1中得到了肯定结果，则程序控制部31转移到接下来的步骤SP2。

在步骤SP2中，程序控制部31在本地存储装置53中复制所需的处理对象数据等，然后转移到接下来的步骤SP3。

在步骤SP3中，程序控制部31对限制信息设定部32进行复位，开始限制时间的计时，接下来转移到步骤SP4。

在步骤SP4中，程序控制部31对处理对象数据实施图像处理，然后转移到接下来的步骤SP5。

在步骤SP5中，程序控制部31判别是否经过了限制时间。在此处得到了否定结果的情况下，程序控制部31返回到步骤SP4，继续图像处理。

而在步骤SP5中得到了肯定结果的情况下，程序控制部31转移到接下来的步骤SP6。

在步骤SP6中，程序控制部31将应复制到存储器25中的数据(处理对象数据、结果数据R1以及寄存器信息)复制到应复制的数据保存区域(寄存器保存区域66-11以及66-12、中间数据保存区域64-11以及64-12、结果数据保存区域65-12)，然后转移到接下来的步骤SP7。

在步骤SP7中，程序控制部31判别是否执行完针对所有运算处理单位的图像处理。在此处得到了否定结果的情况下，程序控制部31返回到步骤SP1，执行针对下一运算处理单位的处理。

而在步骤SP7中得到了肯定结果的情况下，由于执行完针对所有运算处理单位的图像处理，所以程序控制部31转移到结束步骤而结束同一程序并行处理过程RT1。

另外，上述一连串的同一程序并行处理既可以通过硬件来执行，也可以通过软件来执行。在通过软件来实现同一程序并行处理的情况下，在CPU以及RAM中虚拟地形成图像处理装置3。然后，将保存于ROM中的图像处理程序在RAM上展开，从而执行同一程序并行处理。

[1-4.动作以及效果]

在以上的结构中，图像处理系统1的图像处理装置3是通过将多个作为处理单元的图像处理单元10～12串联地进行总线连接而形成的。在各图像处理单元10～12中，具有限制信息设定部32，该限制信息设定部32对每个运算处理单位的数据设定作为表示各个图像处理单元10～12应处理的运算处理的量的限制信息的限制时间。

各图像处理单元10～12通过作为运算部的CELL24，在多个图像处理单元10～12之间按照同一程序，执行作为对每个运算处理单位的数据(图像数据E1、或者中间数据M1或M2)的运算处理的图像处理。

各图像处理单元10～12按照在限制信息设定部32中设定的限制时间，执行对每个运算处理单位的数据的图像处理。各图像处理单元10～12将图像处理后的处理数据(中间数据M1或M2或者结果数据R1)保存在存储器25中。通过连结多个图像处理单元10～12间的输入端子21以及输出端子22，而对各图像处理单元10～12相互进行总线连接。

图像处理装置3通过在图像处理单元10～12之间按照同一程序以流水线方式按限制时间来执行同一图像处理，能够生成结果数据R1。此时，图像处理装置3能够通过总线连接在图像处理单元10～12间平滑地进行数据传送。

即，图像处理装置3实质上将每个运算处理单位的图像数据E1分割成3部分，使各图像处理单元10～12分担而执行图像处理。但是，图像处理装置3在时间上错开地执行图像处理单元10～12中的图像处理，以在前级的图像处理单元中的图像处理结束后，接着通过后级的图像处理单元来执行。

由此，图像处理装置3通过使各图像处理单元10～12仅执行自身的限制时间的管理，而执行图像处理。换言之，在图像处理装置3中，通过限制时间自动地决定担当图像处理的区域，所以无需执行对图像数据E1进行分割的处理的控制部。

另外，由于将各图像处理单元10～12相互进行总线连接，所以仅通过将实施了图像处理而得到的中间数据M1以及M2保存在存储器25中，图像处理单元11以及12能够在需要时取得所需的中间数据M1以及M2。即，图像处理装置3无需对各图像处理单元10～12间的数据交换进行管理的控制部。

其结果，图像处理装置3无需执行事务管理，能够简化其结构。

另外，如上所述，一般的以往的图像处理装置对多个处理单元NODE(图1)分配任务。如图10所示，以往的图像处理装置在各处理单元间处理时间相异的情况下，最需要处理时间的处理单元NODE2成为瓶颈，而决定整体的处理时间。在该情况下，处理单元NODE1以及NODE3必须等待处理单元NODE2的处理结束，无法有效利用处理单元NODE1以及NODE3的处理能力。

图像处理装置3由于在限制时间的管理下执行图像处理，所以不会产生上述问题，而能够最大限度地有效利用图像处理单元10～12的处理能力。

另外，图像处理装置3由于按照同一程序来执行处理，所以调试变得容易，并且无需考虑对任务进行分割来设计程序，所以能够提高程序的设计自由度。

例如，在执行管线处理的以往的处理单元中，预先将图像数据E1分割成多个来执行处理。因此，在以往的处理单元中，针对分割的每个区域进行分离而执行图像处理，无法实现被分割的区域间的参照。以往的处理单元在例如对图像进行编码的情况下，在分割的边界部分无法参照相邻的像素，所以产生编码效率的降低或者画质的降低。

在图像处理装置3中，虽然各图像处理单元10～12对每个运算处理单位的图像数据E1中的分别相异的区域执行图像处理，但在前级的图像处理单元的图像处理结束之后由后级的图像处理单元接着执行。因此，图像处理装置3即使在通过限制时间分割后的区域的边界部分，也可以参照相邻的像素，不会产生上述编码效率的降低或者画质的降低。

即，图像处理装置3尽管通过多个图像处理单元10～12执行了图像处理，但也可以执行与1个图像处理单元的图像处理相同的图像处理。因此，与提高图像处理单元的运算能力的情况相比，图像处理装置3能够通过更简易的结构来发挥同等的性能。

各图像处理单元10～12通过有无其它图像处理单元与输入端子21以及输出端子22的连接，来识别是否构成图像处理装置3的端部。识别为不是图像处理装置3的后端的图像处理单元10以及11在按照对限制信息设定部32设定的限制时间来执行了运算处理后，将该运算处理后的中间数据M1以及M2存储在后级的图像处理单元11以及12中的存储器25-11以及25-12中。

图像处理单元10以及11将表示依据程序的运算处理的进行程度的进行信息存储在后级的图像处理单元11以及12中的存储器25-11以及25-12中。

由此，图像处理单元11以及12读出存储在自身的存储器25-11以及25-12中的中间数据M1以及M2即可，而无需使用连接相邻的图像处理单元之间的总线29。因此，图像处理单元11以及12能够仅在中间数据M1以及M2的写入时使用总线29的频带，能够最大限度地有效利用总线29的传送能力。

作为图像处理单元10～12中的运算部的CELL24具有：作为多个运算器的SPE41～48；以及对多个SPE41～48分配任务的程序控制部31。

此处，在图像处理装置3中，如果前级的图像处理单元没有结束图像处理，则后级的图像处理单元无法开始图像处理，直到终端的图像处理单元开始图像处理为止，产生(图像处理单元的数量-1)×限制时间的等待时间。在图像处理装置3中，如果在CELL24中也执行同一程序并行处理，则在CELL24中也产生等待时间。

图像处理装置3通过在CELL24中执行作为以往的方法的管线处理，防止上述等待时间累积地变大，能够确保高效并且不会降低画质这样的平衡。

另外，图像处理装置3通过使CELL24执行通用的管线处理，能够使用通用地设计的程序来执行同一程序并行处理。

图像处理单元11通过在输入端子21以及输出端子22上连接图像处理单元10以及12，识别为不是图像处理装置3的终端。如果尽管没有对作为限制信息的限制时间信息所表示的应处理的运算处理的量(限制时间)进行运算处理，但结束了对每个运算处理单位的中间数据M1的图像处理，则图像处理单元11响起警报而作为警告。

由此，图像处理单元11能够对用户通知所设定的限制时间不适当。另外，图像处理单元11能够通知在该图像处理单元11中图像处理已结束，所以能够使用户易于预测适当的限制时间。

图像处理单元12在识别为是图像处理装置3的终端的情况下，如果尽管将图像处理进行了限制时间，但没有结束对每个运算处理单位的数据的图像处理，则作为警告而响起警报。

由此，图像处理单元12能够对用户通知所设定的限制时间不适当。

如果在限制时间内结束了对每个运算处理单位的数据的图像处理，则图像处理单元12在剩余的限制时间多的情况下，作为警告而响起警报。

根据以上结构，在图像处理装置3中，将作为第1处理单元的图像处理单元10以及作为第2处理单元的图像处理单元11串联地进行了总线连接。对图像处理单元10设定限制时间。图像处理单元10按照程序以及限制时间，将对每个运算处理单位的图像数据E1的图像处理执行该限制时间，生成表示该图像处理的结束部分的进行信息。图像处理单元10将图像处理后的处理数据即中间数据M1保存在中间数据保存区域64中。

图像处理单元11设定与图像处理单元10相同的限制时间。图像处理单元11对中间数据M1，按照与图像处理单元10相同的程序以及限制时间，针对进行信息所表示的结束部分以外的部分(即从终端部分开始)，执行每个运算处理单位的数据中的图像处理。图像处理单元11将图像处理后的处理数据即中间数据M2保存在中间数据保存区域64中。

由此，图像处理装置3能够通过多个图像处理单元分担执行图像处理。另外，图像处理装置3能够仅通过在前级的图像处理单元10的图像处理之后由后级的图像处理单元11执行图像处理的处理来执行，所以能够省略事务管理。这样，本发明能够实现能够简化结构的运算处理装置、处理单元、运算处理系统以及运算处理方法。

<2.第2实施方式>

[2-1.图像处理装置的结构]

在图11～图16所示的第2实施方式中，对与图1～图10所示的第1实施方式对应的部位附加同一符号，省略关于同一部分的说明。

在第2实施方式中，自动地设定限制时间这一点与第1实施方式不同。

另外，在本实施方式中，使用了对与第1实施方式相当的部分附加了100的符号。

实际上，如果发出了开始图像处理的请求，则图像处理系统1的服务器2将图像数据E1供给到图像处理单元110。图像处理单元110一边将供给的图像数据E1存储在输入数据保存区域63-110中，一边执行连接台数的确认处理。

即，如图11所示，构成图像处理装置103的始端的图像处理单元110的程序控制部131-110对所连接的所有图像处理单元111以及112，供给请求识别编号ID的请求信号SA。响应于此，图像处理单元111以及112的程序控制部131-111以及131-112将识别编号ID1以及ID2供给到程序控制部131-110。

其结果，程序控制部131-110能够将接收到的识别编号ID的数量加上自身的“1”而得到的数量识别为图像处理装置103具有的图像处理单元的数量。

接下来，程序控制部131-110执行限制信息设定处理。

如图12所示，程序控制部131-110对供给的图像数据E1执行图像处理，而计算出每个运算处理单位的图像处理所需的时间。此时，程序控制部131-110例如对多个运算处理单位执行图像处理，将平均时间设为每个运算处理单位所需的图像处理的时间。

程序控制部131-110将把每个运算处理单位所需的图像处理的时间除以图像处理装置103具有的图像处理单元的数量而得到的值计算为限制时间。如图13所示，程序控制部131-110对限制信息设定部32-110设定限制时间，并且将限制时间信息TM以及设定该限制时间信息TM的请求信号S4分别供给到程序控制部131-111以及131-112。

程序控制部131-111以及131-112将限制时间信息TM所表示的限制时间分别设定到限制信息设定部32-111以及32-112。

其结果，对图像处理单元110～112自动地设定了与图像处理对应的最佳的限制时间。

[2-2.处理过程]

接下来，使用图14～16的流程图，对按照图像处理程序执行的自动开始处理过程RT2进行说明。

图像处理装置103开始自动开始处理过程RT2(图14)，然后转移到步骤SP11，从服务器2被供给图像数据E1，然后转移到接下来的步骤SP12。

在步骤SP12中，图像处理装置103转移到子例程SRT11，执行连接台数确认处理，然后转移到接下来的步骤SP13。

在步骤SP13中，图像处理装置103转移到子例程SRT12，执行限制信息设定处理，然后转移到接下来的步骤SP14。

在步骤SP14中，图像处理装置103执行同一程序并行处理过程RT1(图9)，然后移动到结束步骤而结束处理。

在自动开始处理过程RT2的步骤SP12中，图像处理装置103中的图像处理单元110转移到子例程SRT11(图15)的步骤SP21，对所连接的各图像处理单元请求识别编号ID的供给，然后转移到接下来的步骤SP22。

在步骤SP22中，图像处理单元110在规定的等待时间内等待识别编号ID的供给，然后转移到接下来的步骤SP23。

在步骤SP23中，图像处理单元110根据被供给的识别编号ID的数量，识别出所连接的图像处理单元的数量，然后转移到自动开始处理过程RT2(图14)的步骤SP13。

在自动开始处理过程RT2的步骤SP13中，图像处理装置103中的图像处理单元110转移到子例程SRT12(图16)的步骤SP31。在步骤SP31中，图像处理单元110执行针对图像数据E1的图像处理，测量每个运算处理单位的处理时间，然后转移到接下来的步骤SP32。

在步骤SP32中，图像处理单元110根据在步骤SP31中测量的每个运算处理单位的处理时间决定限制时间，然后转移到接下来的步骤SP33。

在步骤SP33中，图像处理单元110生成表示限制时间的限制时间信息TM，并供给到所连接的各图像处理单元111～112，然后转移到接下来的步骤SP34。

在步骤SP34中，图像处理单元110对自身的限制信息设定部32设定限制时间，然后返回到自动开始处理过程RT2(图14)的步骤SP14。

[2-3.动作以及效果]

在以上的结构中，图像处理单元110通过有无其它处理单元与连接部的连接，识别是否构成图像处理装置103的端部，识别为是图像处理装置103的始端。图像处理单元110在开始图像处理时，测量对每个运算处理单位的图像数据E1进行图像处理所需的处理时间，根据该测量出的处理时间来计算限制时间。然后，图像处理单元110对所连接的其它图像处理单元111以及112供给限制时间信息TM。

由此，图像处理单元110无需使用户执行任何处理，就能够对限制信息设定部32自动地设定与图像数据E1以及程序的特性对应的最佳的限制时间。由此，图像处理单元110能够最大限度地发挥作为图像处理装置103的处理能力，并且提高用户的使用便利性。

图像处理单元110对所连接的其它图像处理单元111以及112的数量进行计数。

由此，图像处理单元110无需使用户执行任何处理，就能够计算出最佳的限制时间。

根据以上的结构，图像处理装置103通过1台图像处理单元110测量对图像数据E1进行图像处理所需的处理时间，并自动地设定限制时间。

由此，图像处理装置103能够不麻烦用户而设定最佳的限制时间。

<3.其它实施方式>

另外，在上述第1实施方式中，描述了串联地连接3个图像处理单元10～12的情况。本发明不限于此，也可以不限制所连接的图像处理单元的数量，而串联地连接2台、或者4台以上的图像处理单元。

另外，在上述实施方式中，描述了图像处理装置3对图像数据E1执行图像处理的情况。本发明不限于此，例如也可以执行流体力学、宇宙工学的物理仿真、以及象棋或国际象棋的程序等的各种运算处理。

进而，在上述实施方式中，描述了作为限制信息设定了限制时间的情况。本发明不限于此，例如也可以设定帧图像的数量、数据量等。

进而，在上述实施方式中，描述了以帧图像为基准作为运算处理单位的情况。本发明不限于此，运算处理单位没有限制，根据成为处理对象的数据的种类来选择适合的单位。

进而，在上述实施方式中，描述了图像处理单元10～12将图像处理后的中间数据M1以及M2、结果数据R1保存在后级的图像处理单元的存储器25中的情况。本发明不限于此，进行保存的存储器25的场所没有特别限制。例如也可以保存在自身的处理单元的存储器25中。在该情况下，并非自身的图像处理单元，而从具有保存了中间数据M1以及M2的存储器25的图像处理单元(即前级的图像处理单元)中读出中间数据M1以及M2。

进而，在上述实施方式中，描述了在预先安装程序后执行图像处理的情况。本发明不限于此，也可以由服务器2与图像数据E1一起供给程序，与图像处理同时并行地复制程序。在该情况下，图像处理单元10以及11在开始图像处理时，将程序与中间数据M1以及M2以及进行信息一起复制写入到后级的图像处理单元11以及12的存储器25中。由此，图像处理装置3无需使用户执行任何操作，就能够开始图像处理，能够提高操作性。

进而，在上述实施方式中，描述了主控制器26执行数据的发送接收的情况。本发明不限于此，未必需要主控制器26。并且，总线29的连接没有限制，例如也可以在CELL24间连接总线29。在该情况下，CELL24的例如程序控制部31执行数据的发送接收。另外，也可以对总线29直接连接CELL24以及存储器25。

进而，在上述实施方式中，描述了后级的图像处理单元11以及12在中间数据M1以及M2中从图像处理结束的部分的终端起开始图像处理的情况。本发明不限于此，对没有执行图像处理的部分执行图像处理即可，其开始位置没有限制。

进而，在上述实施方式中，描述了通过有无与输入端子21以及输出端子22的连接，来识别是否为图像处理装置3中的端部的情况。本发明不限于此，例如也可以通过从服务器2的信息供给、或者输入电缆4以及输出电缆5的连接来识别是始端。

进而，在上述实施方式中，描述了在图像处理单元10～12中执行运算的CELL24执行管线处理的情况。本发明不限于此，例如也可以执行本发明的同一程序并行处理、执行相异的任务的处理等。另外，本发明不必一定使运算部执行并行处理。

进而，在上述实施方式中，描述了CELL24具有8个SPE41～48和程序控制部31的情况。本发明不限于此，作为运算部的结构没有限制。例如，也可以由单一的处理器来构成运算部。

进而，在上述实施方式中，描述了在限制时间并不适当的情况下，响起警报的情况。本发明不限于此，未必需要响起警报。另外，作为警告，例如也可以点亮警告灯、或者进行广播。

进而，在上述实施方式中，描述了将剩余时间阈值设定为限制时间的比例的情况。本发明不限于此，也可以设定为实际的数值(例如8[msec])。也可以由用户任意地设定该剩余时间阈值。

进而，在上述实施方式中，描述了对多个运算处理单位执行图像处理，使处理所需的时间的平均值除以图像处理单元的数量的情况。本发明不限于此，例如也可以使用对1个运算处理单位的处理所需的时间。另外，为了在意外的状况下使限制时间具有若干的余量，例如也可以使处理所需的时间的平均值的1.1倍的值除以图像处理单元的数量。

进而，上述实施方式中，描述了将图像处理程序等预先存储在ROM或者硬盘驱动器等中的情况。本发明不限于此，也可以从存储棒(索尼株式会社的注册商标)等外部存储介质安装到快闪存储器等中。另外，也可以经由USB(Universal Serial Bus，通用串行总线)、Ethernet(注册商标)(Institute of Electrical and ElectronicsEngineers，电气与电子工程师学会)802.11a/b/g等无线LAN(LocalArea Network，局域网)从外部取得图像处理程序等，并且还可以通过地上数字电视广播、BS数字电视广播来分发图像处理程序等。

进而，在上述实施方式中，描述了通过作为多个处理单元的图像处理单元10～12，来构成作为运算处理装置的图像处理装置3的情况，其中该多个处理单元具有作为限制信息设定部的限制信息设定部32、作为存储器的存储器25、作为连接部的输入端子21以及输出端子22。本发明不限于此，也可以通过具有由其它各种结构构成的限制信息设定部、存储器、连接部的多个处理单元来构成本发明的运算处理装置。

进而，在上述实施方式中，描述了通过作为多个处理单元的图像处理单元10～12和作为服务器的服务器2，来构成作为运算处理系统的图像处理系统1的情况，其中该多个处理单元具有作为限制信息设定部的限制信息设定部32、作为存储器的存储器25、作为连接部的输入端子21以及输出端子22。本发明不限于此，也可以通过具有由其它各种结构构成的限制信息设定部、存储器、总线、连接部的多个处理单元和服务器来构成本发明的运算处理系统。

产业上的可利用性

本发明例如能够用于专用的图像编辑装置、学术上使用的高精度的仿真。

Claims

1.一种运算处理装置，其特征在于，

串联地连接了多个处理单元，

上述各处理单元具有：

限制信息设定部，对每个运算处理单位的数据，设定表示上述各处理单元应处理的运算处理的量的限制信息；

运算部，接收前级的处理单元运算处理后的处理数据以及前级的处理单元中的表示程序的进行程度的进行信息，在上述各处理单元之间通过同一程序并且按照在上述限制信息设定部中设定的限制信息，对于没有执行运算处理的部分执行对每个上述运算处理单位的数据的运算处理；以及

存储器，保存由上述运算部运算处理后的处理数据。

2.根据权利要求1所述的运算处理装置，其特征在于，还具备对上述多个处理单元之间进行总线连接的连接部。

3.根据权利要求2所述的运算处理装置，其特征在于，

上述运算部通过有无其它处理单元与上述连接部的连接，来识别是否构成上述运算处理装置的端部，

在识别为不是上述运算处理装置的终端的情况下，

在按照由上述限制信息设定部设定的限制信息执行了上述运算处理后，将该运算处理后的上述处理数据存储在后级的处理单元中的上述存储器中。

4.根据权利要求3所述的运算处理装置，其特征在于，

上述运算部将表示依照上述程序的上述运算处理的进行程度的进行信息存储在上述后级的处理单元中的上述存储器中。

5.根据权利要求1所述的运算处理装置，其特征在于，上述运算部具有：

多个运算器；以及

控制部，对上述多个运算器分配多个任务。

6.根据权利要求5所述的运算处理装置，其特征在于，上述多个运算器根据存储在上述存储器中的进行信息来执行处理。

7.根据权利要求3所述的运算处理装置，其特征在于，上述运算部在识别为不是上述运算处理装置的终端的情况下，

如果尽管没有对上述限制信息所表示的上述应处理的运算处理的量进行运算处理，但结束了对每个上述运算处理单位的数据的运算处理，则发出警告。

8.根据权利要求7所述的运算处理装置，其特征在于，上述运算部在识别为是上述运算处理装置的终端的情况下，

如果尽管已经对上述限制信息所表示的运算处理的量进行了运算处理，但没有结束对每个上述运算处理单位的数据的运算处理，则发出警告。

9.根据权利要求8所述的运算处理装置，其特征在于，如果在上述限制信息所表示的运算处理的量的范围内结束了对每个上述运算处理单位的数据的运算处理，则上述运算部在剩余的上述运算处理的量多的情况下，发出警告。

10.根据权利要求2所述的运算处理装置，其特征在于，上述运算部通过有无其它处理单元与上述连接部的连接，来识别是否构成上述运算处理装置的端部，

在识别为是上述运算处理装置的始端的情况下，

在开始上述运算处理时，测量对每个上述运算处理单位的数据进行上述运算处理所需的处理时间，根据该测量的处理时间来计算上述限制信息，

向所连接的其它处理单元供给上述限制信息。

11.根据权利要求9所述的运算处理装置，其特征在于，上述运算部对上述连接的其它处理单元的数量进行计数。

12.一种处理单元，其特征在于，具备：

限制信息设定部，对每个运算处理单位的数据，设定表示应处理的运算处理的量的限制信息；

运算部，接收前级的处理单元运算处理后的处理数据以及前级的处理单元中的表示程序的进行程度的进行信息，按照在上述限制信息设定部中设定的限制信息，对于没有执行运算处理的部分，通过程序来执行对每个运算处理单位的数据的运算处理；

存储器，保存由上述运算部运算处理后的处理数据；以及

连接部，与按照与上述运算部相同的上述程序来执行运算处理的其它处理单元串联地总线连接。

13.一种运算处理系统，其特征在于，具有串联连接的多个处理单元、以及服务器，

上述各处理单元具有：

运算部，接收前级的处理单元运算处理后的处理数据以及前级的处理单元中的表示程序的进行程度的进行信息，在上述各处理单元之间通过同一程序并且按照在上述限制信息设定部中设定的限制信息，对于没有执行运算处理的部分执行对每个上述运算处理单位的数据的运算处理；

存储器，保存由上述运算部运算处理后的处理数据；以及

连接部，连接上述多个处理单元之间，

上述服务器

对上述多个处理单元中的始端的处理单元供给每个上述运算处理单位的数据，

从上述多个处理单元中的终端的处理单元，接收由上述运算部运算处理后的上述处理数据。

14.一种运算处理方法，其特征在于，由串联地总线连接的第1处理单元以及第2处理单元执行，

由上述第1处理单元执行：

第1限制信息设定步骤，对每个运算处理单位的数据设定表示应处理的运算处理的量的限制信息；

第1运算步骤，按照程序以及在上述第1限制信息设定步骤中设定的上述限制信息，将对每个运算处理单位的数据的运算处理执行应处理的运算处理的量，生成表示该运算处理的结束部分的进行信息；

第1保存步骤，保存通过上述第1运算步骤运算处理后的处理数据，

由上述第2处理单元执行：

第2限制信息设定步骤，设定与上述第1限制信息设定步骤相同的上述限制信息；

第2运算步骤，对通过上述第1运算步骤运算处理后的上述处理数据，按照与上述第1运算步骤相同的程序以及在上述第2限制信息设定步骤中设定的上述限制信息，对于通过上述第1运算步骤生成的进行信息所表示的上述结束部分以外的部分，执行每个运算处理单位的数据中的运算处理；以及

第2保存步骤，保存在上述第2运算步骤中运算处理后的处理数据。