CN1530883A - 图像处理装置 - Google Patents

Abstract

本发明能用单片的图像处理部，高效地进行利用图像处理装置的计算机图形、计算机视觉、图像滤波等图像处理。其特征在于，在同一块半导体芯片上形成图像处理部，该图像处理部包括以适当的像素数量组成的方框为单位处理画图的区域并对各方框代表点有关的信息进行展开计算的方框展开部32、以及多个像素处理部40，该像素处理部分别具有根据方框开部计算出的方框代表点信息至少对矩形区域内的像素单位作信息展开的像素展开部50和对根据像素展开部信息展开后的像素单位进行运算的运算部60，能有选择地执行方框展开部和像素处理部共同进行的图形处理和像素处理部和方框展开部独立进行的图像处理。

Description

图像处理装置

技术领域

本发明涉及图像处理装置，特别是有关图像处理用处理器的装置，例如用于计算机图形、计算机视觉、图像滤波等方面。

背景技术

一般图像处理装置具有准备处理的地址及运算用参数的光栅化单元、和以像素为单位进行处理的运算单元构成的图像处理部。

以往的计算机图形使用的处理器需要将任意的三角形在各像素展开的高性能的光栅化单元，另外，由于对各像素进行高度的明暗处理的复杂性，所以需要采用高级管道技术的运算单元(或者像素管道(pixel pipe))。由此，在进行简单的图像处理时，动作不需要的电路过多，处理结果出来之前等待时间也长，处理效率低。

另一方面，以往的计算机视觉或图像滤波器所用的图像处理用处理器，由非常简单的地址生成部和简单的运算部构成。因此，对于进行复杂的图形处理，只采用多读写存储器的方法，处理效率低。

另外，一般通用处理器由于不能对全部图像处理灵活运用像素处理特有的并行特性，所以相对于图像处理专用处理器来说，其处理的效率低。

图18为已有的图像处理部的构成示例，表示采用DDA(Digital DifferentialAnalyzer，数字微分分析法)作为处理算法的例子。

该图像处理部在同一块半导体芯片上形成准备(SETUP)部201、DDA部202、扩展部(Expand)203、多个像素处理部204、存储控制器205、内存206。

所述准备部201、DDA部202、扩展部203进行光栅化处理。像素处理部204进行像素处理，各像素处理部204由运算部207构成。

图19表示图18中像素处理部204的动作例子。

该例中，表示像素处理部204有8个、将4×2像素的标记(stamp)按照4×2的管道并行处理的情形。

图18中的像素处理部204在运算部207进行多次循环运算处理时，因用不同的运算部207对准备部201之前的形成循环的附近像素进行处理，所以利用存储控制器205进行的控制就变得复杂。

专利文献1(US Patent No.6,333,744)中揭示了一种在图形处理中对各像素进行处理的装置。该装置是按照纹理和寄存器组合(register combiner)阶段进行各像素的处理，在纹理阶段从存储器读出所需的数据，对图形作恰当的加工，在寄存器组合阶段使用上述数据计算像素颜色。寄存器组合阶段中，对每一个串级连接的运算器定义输入数据和运算的种类，通过使数据流流动，而进行像素的处理。因而，增加了运算器数量和输入数据数量，使输入数据的指定方法、运算器彼此之间的连接关系更加灵活。

上述已有的图像处理装置存在的问题是，尚未提出在计算机图形、计算机视觉、或图像滤波器中能高效执行上述各图像处理的图像处理专用处理器的总体结构。

本发明为解决上述问题而提出，其目的在于提供能以单片图像处理部高效地对计算机图形、计算机视觉、图像滤波等进行图像处理的图像处理装置。

发明内容

本发明第1种形态的图像处理装置的特征为，在同一块半导体芯片上形成图像处理部，该图像处理部包括以多个像素组成的方框为单位来处理画图的区域并对各方框的代表点有关的信息进行展开计算的方框展开部、以及多个像素处理部，该像素处理部分别具有根据所述方框展开部所计算的方框代表点信息至少对矩形区域内的像素单位作信息展开的像素展开部和对由所述像素展开部信息展开后的像素单位进行运算的运算部，图像处理装置能有选择地进行所述方框展开部和像素处理部共同进行的图形处理及所述像素处理部和方框展开部独立进行的图像处理。

本发明处2种形态的图像处理装置的特征为，在同一块半导体芯片上形成图像处理部，该图像处理部包括以多个像素组成的方框为单位处理画图的区域并对各方框内的像素进行代表值计算的像素展开部、以及多个像素处理部，该像素处理部至少分别有计算矩形区域内的像素有关的参数和地址的地址计算部和采用所述像素的代表值及根据所述地址计算部计算出的参数和地址从存储器中读出的至少一个以上的值来，进行像素处理的部分运算的运算部，图像处理装置能有选择地进行所述像素展开部和像素处理部共同进行的图形处理及所述像素处理部和方框展开部独立进行的图像处理。

附图说明

图1为表示本发明图像处理装置第1实施形态中使用的图像处理部的一构成例的方框图。

图2为表示具有一个图1的图像处理部的图像处理装置构成例的方框图。

图3为表示采用图2的图像处理装置的图像处理系统一个例子的方框图。

图4为表示图3中的像素处理部的构成例子的方框图。

图5为表示图4中的像素展开部的构成例子的方框图。

图6为表示图4中的运算部的构成例的方框图。

图7为表示在图1所示的图像处理部中以1条路径处理方框代表值的计算时的动作流程图。

图8为表示本发明的图像处理装置的第2实施形态所使用的图像处理部的构成例方框图。

图9为表示本发明的图像处理装置的第3实施形态所使用的像素处理部的构成例方框图。

图10为表示与对图9示出的像素处理部分配方框内处理有关的一个例子示意图。

图11为表示与对图9示出的像素处理部分配方框内处理有关的又一个例子示意图。

图12为表示在如图10及图11所示对图9示出的像素处理部进行方框内处理的分配时、在图1的图像处理部中用两条路径处理方框代表值的计算时的动作流程图。

图13为表示本发明图像处理装置的第4实施形态所使用的像素处理部的构成例方框图。

图14为表示由图13示出的像素处理部进行的凹凸环境映射的计算动作的一个例子示意图。

图15为表示本发明图像处理装置的第5实施形态所使用的像素处理部的构成例方框图。

图16为表示利用图15示出的像素处理部进行的之字形扫描处理中的相对地址的一个例子的示意图。

图17为本发明图像处理装置的第6实施形态，是表示有多个图像处理部时的构成例的方框图。

图18为表示已有的图像处理装置中的图像处理部的构成例方框图。

图19为表示图18中的像素处理部的动作例子的示意图。

符号说明

30图像处理部、31准备(SETUP)部、32方框展开部、34存储控制器、35内存、40像素处理部、50像素展开部、60运算部。

具体实施方式

以下，参照附图详细说明本发明的实施形态。

<第1实施形态>

图1表示本发明图像处理装置的第1实施形态中使用的图像处理部构成的一个例子。

图1所示的图像处理部30是在一块半导体芯片上形成准备(SETUP)部31、方框展开部32、多个像素处理部40、存储控制器34、内存35。另外，也可用外存代替内存35。所述准备部31具有对送来的顶点信息计算作光栅化用的初始值或斜率的功能。

所述方框展开部32具有以适当的像素数(多个像素)组成的方框为单位处理画图的区域、并对与各方框的代表点有关的信息展开(光栅化)进行计算的功能。这时，处理的算法为DDA，方框展开是上一级的光栅化。

图2表示具有一个图1的图像处理部30的图像处理装置20的构成例。

图2中，与系统接口21连接有图像输入部22、图像输出部23、存储器接口24、图像处理部30。

图3为表示采用图2的图像处理装置20的图像处理系统的一个示例。

图3中，10为CPU，与存储器11之间进行数据交换，通过总线桥12与图像处理装置20连接。该图像处理装置20和外存13之间交换数据，通过输入接口14连接照相机1等，通过D/A转换器15连接视频信号输出部2。控制器3、DVD驱动器4、硬盘5、通信装置6等通过接口总线16与所述总线桥12连接。

图4表示图1中的像素处理部40的构成例。

该像素处理部40由像素展开部50和运算部60组成。

像素展开部50具有根据图1中方框展开部32计算出的方框代表点信息至少对矩形区域内的单位像素进行信息(数据及地址)展开计算的功能。

运算部60具有对由像素展开部50信息展开的单位像素进行运算、并输出数据及地址的功能。这时，通过图1中的存储控制器34与内存35之间进行数据交换。

图5表示图4中的像素展开部50的构成例。

该像素展开部50用循环计数部51控制多重循环的计数，并用缓冲器地址计数部52计算从像素处理部40内的缓冲器53读出数据用的缓冲器地址。地址及参数计算部54从缓冲器53读出数据，计算图4中的运算部60所需的多个参数和存储器的地址。

图6表示图4中运算部60的构成示例。

该运算部60中，用图5示出的像素展开部50计算出的多个地址(本例中为4个单指令多数据，SIMD)，通过图1中存储控制器34，从内存35读出数据，将所述像素展开部50计算出的多个参数供给各MAC(积和计算)部611-614，进行所需的运算。在MAC部的最末一级615中，不再从图1吕的内存35读出数据(不使用读出数据)，取而代之的是具有累加器(累加寄存器)，能进行累加。

以下，说明图1所示图像处理部30的动作。图1所示的图像处理部30能有选择地执行方框展开部32和像素处理部40共同进行的图形处理及像素处理部32和方框展开部独立进行的图像处理。

首先，在进行图形处理的情况下，准备部31对送来的顶点信息，计算作光栅化用的初始值或斜率。然后，方框展开部32根据准备部31送来的信息，计算各像素处理部40能处理的像素数量的每个方框的代表值。各像素处理部40根据方框展开部32送来的代表值，对方框内的像素进行计算。

图7表示在图1所示的图像处理部30中以一次通过方式处理方框代表值计算时的动作流程图。

首先，在步骤S1，准备部31计算处理所需的参数初始值和差分。然后，在步骤S2，决定像素处理部40一次能处理的方框的大小。而且，边用方框覆盖处理对象区域，边进行处理用的准备。这时，将像素处理部的编号P置0。

然后，在步骤S3，判定处理对象区域中有无未处理的方框。判定结果为YES(有未处理的方框)时，移至步骤S4，计算方框代表点的信息(地址或参数)。而且，根据方框代表点的信息计算求各像素的信息所需的系数，方框代表点的信息和系数送给第P个像素处理部。在步骤S5，使像素处理部的编号P进1(P＝P+1)，若P和像素处理部的数目一致，则像素处理部的编号P复位为0。返回步骤S3。

再者，在步骤S3，判定的结果为NO(没有未处理的方框)时，处理结束。

另外，在用图1的图像处理部30进行图像处理时，每个方框的代表值大多能预先计算，仅用图1中示出的像素处理部40对像素进行计算。

即，有上述结构的图1的图像处理部30由两部分(方框展开部32、像素展开部40)构成将单位像素的处理加以分开的光栅化部。由此，图形处理中，方框展开部32和像素处理部40连动，通过它们的协调处理从而能进行描绘处理。另外，在视觉处理及图像处理中，像素处理部40和方框展开部32独立动作，通过各个像素处理部40进行方框处理，能有效地进行图像处理。与此相反，图18中示出的已有的像素处理部204，只能进行图形处理内的像素处理。

<第2实施形态>

图8表示本发明图像处理装置的第2实施形态所使用的图像处理部30a的构成示例。

该图像处理部30a与参照图1所述的图像处理部30相比，不同之处为设置像素展开部36替代图1中的方框展开部32，在各像素处理部40a中设置地址计算部80替代图1中的像素展开部50，并附加用存储控制器34a控制的选择器37，其它均相同，故标注和图1相同的符号。

即，在用图8的图像处理部30a进行图形处理的情况下，准备部31a计算在像素展开部36的光栅化中使用的参数，像素展开部36计算在计算像素的各种参数时共用的重心坐标，生成像素代表值，并输出矩形区域内一个以上的像素代表值。这时，在各像素处理部40a的输入侧设置选择器37，用存储控制器34a选择1个像素展开部40a，传送所述像素代表值。对多个像素展开部40a依次进行这一处理。这时，处理的算法是DE(Direct Evaluation，直接求值)，方框展开为像素展开。

各像素处理部40a中，用地址计算部80对每一个传送来的像素依次计算所需的地址或参数，计算结果传送给运算部60。这时，地址计算部80由于依次处理矩形区域内的多个像素，所以至少能计算矩形区域的地址。运算部60根据传送来的地址，通过存储控制器34a，从内存35取得必要的数据，进行实际的运算，输出运算结果。

即，对于将上述地址计算部80和运算部60的处理传送到像素处理部40a的所有的像素，一面改变像素，一面反复进行。在结束一系列处理的时刻，像素数据写入内存35上规定的缓冲区。对于输入的所有原始像素都进行这一处理。

另外，在图8的图像处理部30a进行图像处理的情况下，不太需要如重心坐标的情况那样对各像素的个别的参数，矩形区域内的地址计算基本上能用运算部60的累加器进行。因此，从内存35将矩形区域的代表值传送到各像素处理部40a，在地址计算部80根据其代表值计算各像素的地址或参数，利用其结果，运算部60进行实际的图像处理即滤波或模板匹配的处理。

例如在核心8×8像素的滤波处理中，地址计算部80依次计算对象图像的核心内的像素地址，和滤波器的系数一起传递给运算部60。运算部60中，根据传递来的地址读出像素数据，与滤波器系数相乘，将其结果累加。这时，同时进行乘法运算的像素数目可以是几个，本例中为4个。

<第3实施形态>

图9表示本发明图像处理装置的第3实施形态所使用的像素处理部的构成示例。

该像素处理部40a和图4所示的像素处理部40相比，不同之处在于附加了将运算部60的输出通过先进先出(First in First out；FIFO)的缓冲器电路41返回运算部输入的循环，其余均相同。

这样，有了缓冲器循环，计算中的值不返回写入存储器，能使运算部60作多次循环处理(反复处理)。因而，将复杂的处理分解成多个步骤，即使结构简单的运算部60也能高速地进行复杂的运算处理，能使运算部60的电路规模缩小。

图10表示与对图9示出的像素处理部40a分配方框内处理有关的一个例子。

该例中，表示像素处理部40a有4个、各像素处理部40a处理4×2像素的标记(stamp)的情形。

本例中，用1个像素处理部40a处理小的m1×m2的标记(stamp)。还有，标记(stamp)的大小为能存入像素处理部40a的缓冲电路41中的像素的数目。从方框展开部(DDA)将同样的系数交给属于标记(stamp)的像素处理部40a。各像素处理部40a加上自己相应的偏置进行解释。因此，上述处理动作可称为面向计算机图形(CG)的动作。

图11表示与对图9示出的像素处理部40a分配方框内处理有关的其它例子。

本例中，表示像素处理部40a有8个、各像素处理部40a每隔4×2像素来处理8×8像素的标记(stamp)的情形。

本例中，因用多个像素处理部40a处理较大的n×n的标记(stamp)，所以若标记(stamp)不填满则十分不利。像素处理部40a一次承担存入像素处理部40a的缓冲电路41中的像素数。从方框展开部(DDA)将同样的系数交给属于标记(stamp)的像素处理部40a。各像素处理部40a加上自己相应的偏置进行解释。因而，上述处理动作可称为面向图像处理的动作。

图12表示在如图10及图11所示进行对图9所示的像素处理部40a分配方框内处理时，图1的图像处理部30中，以两次通过方式处理方框代表值的计算时的动作流程。

先在步骤S1，进行处理的第1阶段的计算准备。然后，在步骤S2中，判定方框内所有像素的处理结束与否。判定结果为NO(有未处理的像素)时，移至步骤S3，从像素展开部接受参数，进行处理的第1阶段的计算，其结果写入缓冲器后，返回所述步骤S2。在该步骤S2中，判定结果为YES(没有未处理的像素)时，移至步骤S4，进行处理的第2阶段的计算准备。然后，在步骤S5，判定方框内所有像素处理结束与否。判定结果为NO(有未处理的像素)时，移至步骤S6，从像素展开部接受参数，从所述缓冲器接受处理的第1阶段的计算结果，进行处理的第2阶段的计算，写入存储器后，返回所述步骤S5。在该步骤S5中，判定结果为YES(没有未处理的像素)时，结束处理。

<第4实施形态>

图13表示本发明图像处理装置的第4实施形态所使用的像素处理部的构成示例。

该像素处理部40b和图9示出的第3实施形态的像素处理部40a相比，不同之处在于运算部60的计算结果经缓冲电路42输入像素展开部50，其它均相同。

根据这种构成，能用像素展开部50计算以下处理的地址，能有效地进行所谓相关纹理处理。

作为用这种构成的像素处理部40b进行的处理，有图形的凹凸环境映射(Bumped Environment Mapping)等。

图14表示利用图13示出的像素处理部40b进行的凹凸环境映射计算动作的一个例子。

最初读出凹凸映射(bump map)，对该像素计算哪个方向的物体或背景能拍摄看到。接着，从该计算结果的方向，读出环境映射的图像，计算该像素的颜色。这时，环境映射的读出地址取决于凹凸映射的读出结果，通过将根据凹凸映射计算出的方向存入缓冲器来进行处理。例如，用第1次通过，计算凹凸映射上反射的矢量的方向，用第2次通过，根据矢量的方向读出环境映射的图像，计算像素的颜色。

<第5实施形态>

图15表示本发明图像处理装置的第5实施形态所使用的像素处理部的构成示例。

该像素处理部40c和图13所示的第4实施形态的像素处理部40b相比，不同之处在于运算部60的计算结果经缓冲电路43输入像素展开部50、和利用展开部50中的地址计算结果(地址)在运算部60读取缓冲电路43的数据而构成，其它均相同。

根据这种构成，将运算部60的计算结果用于像素展开部50的地址计算，运算部60利用该地址来读取缓冲电路43的数据，从而能进行更复杂的处理。

作为用这种构成的像素处理部40c进行的处理，有以彩色活动图像标准化编码方式(以下记作MPEG)的编码进行的之字形扫描等。用MPEG编码，是在DCT变换、归一化后进行之字形扫描。

图16表示利用图15所示的像素处理部40c进行之字形扫描处理中相对地址的一个例子。

如图15及图16所示，以之字形扫描方式从缓冲电路43读出用像素展开部50调换次序用的相对地址，在像素展开部50中计算地址，读出迄今为止的计算结果。

<第6实施形态>

图17表示作为本发明图像处理装置的第6实施形态的有多个图像处理部时的构成例。

该图像处理装置20a与参照图2的所述图像处理装置20相比，不同之处在于多个图像处理部30通过总线(或交叉总线)25与系统接口21连接，其它均相同，故标注和图2相同的符号。

根据这种构成的图像处理装置20a，多个图像处理部30能互相并行执行不同的处理。例如，第1图像处理部(A)30实施图形描绘处理，同时第2图像处理部(B)30能进行MPEG编码。

根据上述那样的本发明的图像处理装置，能够用单片的图像处理部高效进行计算机图形、计算机视觉及图像滤波等图像处理。

Claims (12)

1.一种图像处理装置，其特征在于，

在同一块半导体芯片上形成图像处理部，该图像处理部包括以多个像素组成的方框为单位来处理画图区域并对各方框代表点有关的信息进行展开计算的方框展开部、以及多个像素处理部，该像素处理部分别具有根据所述方框展开部计算出的方框代表点信息至少对矩形区域内的像素单位作信息展开的像素展开部和对根据所述像素展开部信息展开后的像素单位进行运算的运算部，

能有选择地执行所述方框展开部和所述像素处理部共同进行的图形处理及所述像素处理部和方框展开部独立进行图像处理。

2.如权利要求1所述的图像处理装置，其特征在于，

所述像素展开部包括控制多重循环的计数的循环计数部、计算从所述像素处理部内的缓冲器读出数据用的地址的缓冲器地址计算部、及从所述缓冲器读出数据并计算所述运算部需要的多个参数和存储器的地址的地址及参数计算部。

3.如权利要求1所述的图像处理装置，其特征在于，

所述运算部包括该部采用按照所述像素展开部算出的多个地址从图像处理装置的内存或外存读出的数据及所述像素展开部算出的多个参数进行运算的多个积和计算部、以及附加在所述积和计算部的最末级以代替从所述存储器的数据读出而进行累加的累加器。

4.如权利要求1所述的图像处理装置，其特征在于，

所述像素处理部具有能在所述运算部之间进行数据的写入/读出的先进先出型的缓冲电路。

5.如权利要求1所述的图像处理装置，其特征在于，

所述像素处理部具有从所述运算部写入数据、并将读出数据送向所述像素展开部的缓冲电路。

6.如权利要求1所述的图像处理装置，其特征在于，

所述像素处理部包括缓冲电路，该缓冲电路有从所述运算部写入数据并将读出的数据送向所述像素展开部的第1路径、以及按照所述像素展开部来的地址将读出的数据送向所述运算部的第2路径。

7.如权利要求1至6中任一项所述的图像处理装置，其特征在于，

有多个所述图像处理部，多个图像处理部能互相并行执行不同的处理。

8.一种图像处理装置，其特征在于，

在同一块半导体芯片上形成图像处理部，该图像处理部包括以多个像素组成的方框为单位来处理画图的区域并对各方框内的像素进行代表值计算的像素展开部、以及多个像素处理部，该像素处理部分别有至少计算与矩形区域内的像素有关的参数和地址的地址计算部及采用所述像素的代表值和根据所述地址计算部算出的参数和地址从存储器读出的至少一个以上的值来进行像素处理的部分运算的运算部，

能有选择地执行所述像素展开部和所述像素处理部共同进行的图形处理及所述像素处理部和方框展开部独立进行的图像处理。

9.如权利要求8所述的图像处理装置，其特征在于，

所述像素处理部具有能和所述运算部之间进行写入/读出的先进先出型的缓冲电路。

10.如权利要求8所述的图像处理装置，其特征在于，

所述像素处理部具有从所述运算部写入并从所述像素展开部读出的缓冲电路。

11.如权利要求8所述的图像处理装置，其特征在于，

所述像素处理部具有从所述运算部写入、并从所述像素展开部读出的路径、和按照来自所述像素展开部的地址向所述运算部读出的路径。

12.如权利要求8至11中任一项所述的图像处理装置，其特征在于，

具有多个所述图像处理部。

Images