CN1942901A - 图像处理装置及图像处理方法 - Google Patents

Abstract

提供一种实现更有效率的绘图处理的图像处理装置。在屏幕坐标系中对构成绘图对象的三维物体的表面的每个单位图形依次进行绘图处理的图像处理装置(1000)中，光栅化单元(10)在将第一单位图形投影到屏幕坐标的状态下，将与屏幕对应的绘图区域分割为多个单位区域并输出，在第二单位图形以后，也经过同样的处理，按每个单位图形依次输出构成各单位图形的多个单位区域。区域分割单元(20)将从光栅化单元(10)依次输出的单位区域分割为多个子区域。区域废弃单元(30)将在区域分割单元(20)中被分割的多个子区域中一部分子区域以规定的规则废弃。区域写入单元(40)将通过区域废弃单元(30)的废弃处理的结果剩余的子区域再整合，并对每个通过再整合而得到的整合区域，将子区域写入存储器。

Description

图像处理装置及图像处理方法

技术领域

本发明涉及图形运算处理装置等中的图像处理技术。

背景技术

随着近年的计算机游戏和数字广播等领域中利用的计算机图形技术和图像处理技术的显著进步，可以对三维图形等更精致地进行画面显示。在三维图形处理中，进行将具有三维的坐标数据的三维物体投影到二维的屏幕，并显示在显示器等上的处理。

三维物体一般通过多边形，例如三角形的多边形的组合进行建模。在将该三维物体投影到二维屏幕上时，进行根据各多边形的顶点数据来计算多边形内部包含的像素的亮度等值的光栅化(rasterize)处理。

在该光栅化处理中，使用被称作DDA(Digital Differential Analyzer)的线性插补方法。根据DDA，根据顶点数据求向多边形的边方向的数据梯度(gradient)，使用该梯度计算边上的数据。接着，计算光栅扫描方向的梯度，从而不断产生内部的像素。

这里，专利文献1中公开了在产生像素时，以规定的矩形区域中包含的多个像素所构成的像素组作为一个处理单位，通过将该像素组集中传送到后级的处理块，从而实现绘图速度的提高的技术。

在专利文献2中，将专利文献1记载的技术改良，通过将多个像素组整合为一个像素组传送到后级的处理块，从而实现处理的效率化。

专利文献1：特开2000-338959号公报

专利文献2：特开2003-123082号公报

发明内容

近年来，随着进行三维计算机图形的运算处理的图像处理装置的高性能化，为了更详细地绘图三维物体，倾向于减小构成三维物体的多边形的大小。从而，由于生成仅包含很少的有效像素数的像素组的可能性提高，因此希望更有效率的矩形区域即像素组的整合处理。

本发明鉴于这样的课题而完成，其目的在于提供一种更有效率地实现绘图处理的图像处理装置。

本发明的某一方式涉及在屏幕坐标系中对构成绘图对象的三维物体的表面的每个单位图形依次进行绘图处理的图像处理技术。在该图像处理技术中，在屏幕坐标上将单位图形分割为多个单位区域并输出。将分割并输出的单位区域分割为多个子区域。进而，将分割的多个子区域中一部分子区域以规定的规则废弃。对于废弃处理的结果剩余的区域进行绘图处理。

根据本发明的图像处理装置，可以有效率地进行单位图形的绘图处理。

附图说明

图1是表示第一实施方式的图像处理装置的结构的图。

图2是表示光栅化单元中的像素生成的情况的图。

图3(a)～(c)是表示多个标记(stamp)在不同的条件下被整合处理的情况的图。

图4是表示标记被分割为方形(quad)的情况的图。

图5是第一实施方式的整合处理单元中的标记的整合处理的流程图。

图6是表示标记之间按照图5所示的流程图被整合的情况的图。

图7是表示区域写入单元的结构的图。

图8是表示在区域写入单元中，方形被分配给各输出单元的情况的图。

图9(a)～(c)是表示区域写入单元将整合标记写入高速缓冲存储器的情况的图。

图10是表示标记整合处理的其它例子的图。

图11是表示在区域写入单元中，方形被分配给各输出单元的情况的图。

图12(a)～(c)是表示区域写入单元将图10的整合标记写入高速缓冲存储器的情况的图。

图13是表示在第二实施方式中，具有不同的标记地址的标记被连续输入的情况下的整合处理的图。

图14是表示在区域写入单元中，方形被分配给各输出单元的情况的图。

图15(a)～(c)是表示区域写入单元将图13的整合标记写入高速缓冲存储器的情况的图。

符号说明

1000图像处理装置，100光栅化器(rasterizer)，200图形处理器，300主处理器，400主存储器，10光栅化单元，20区域分割单元，30区域废弃单元，40区域写入单元，600整合处理单元，50高速缓冲存储器，110存储器接口单元，120图形存储器，130显示控制器。

具体实施方式

在说明关于实施方式的细节之前，叙述其概要。

本发明的某一方式涉及在屏幕坐标系中对构成绘图对象的三维物体的表面的每个单位图形依次进行绘图处理的图像处理装置。该图像处理装置包括：光栅化单元，在屏幕坐标上将单位图形分割为多个单位区域并输出；区域分割单元，将从所述光栅化单元输出的单位区域分割为多个子区域；区域废弃单元，将在区域分割单元中被分割的多个子区域中一部分子区域以规定的规则废弃；以及区域写入单元，将通过区域废弃单元的废弃处理的结果剩余的子区域写入存储器。

根据该方式，通过将单位区域分割为子区域，并废弃不需要的子区域，从而可以减少传送到后级的子区域数，并能够有效率地进行绘图处理。单位图形是指多边形或曲面片(patch)。

区域写入单元将通过区域废弃单元的废弃处理的结果剩余的子区域再整合，对通过再整合而得到的每个整合区域，将子区域写入存储器也可以。

区域写入单元也可以将通过区域废弃单元的废弃处理的结果剩余的子区域中、在分割前子区域所属于的单位区域的屏幕坐标系中的坐标互相相同的子区域整合。

在该情况下，再整合后的整合区域中包含的子区域在分割前所属于的单位区域全部是同一位置。其结果，在对存储器写入与该整合区域有关的数据时，对于每个子区域，不必参照单位区域的坐标。

整合区域也可以具有与单位区域相同的大小。在该情况下，光栅化单元的输出数据和区域写入单元的输出数据的大小相同。通过使光栅化单元中的单位处理量和写入存储器时的单位处理量相等，可以灵活地进行硬件、软件设计，而且可以提高与已有的系统的匹配性。

子区域的大小也可以相当于区域写入单元将该子区域写入存储器时的单位处理量。

区域写入单元也可以参照分割前子区域所属于的单位区域内的相对的位置信息，将成为写入对象的子区域写入存储器的相应地址。

单位区域为矩形区域，光栅化单元分割绘图区域，以使多个单位区域分别包含纵横的像素数互相相等的像素组，区域分割单元将包含像素组的单位区域分割为包含纵横的像素数互相相等的小像素组的多个子区域也可以。

区域废弃单元也可以以在区域分割单元中被分割的多个子区域中不包含有效的像素的子区域为对象来进行废弃处理。‘有效的像素’是对应于由单位图形包围的区域的像素，是指由光栅化单元生成了亮度值和模糊(fog)值等的像素。

通过将不包含有效的像素的子区域废弃，在后级的处理单元中，处理无效的像素的频度减少，可以进行有效率的绘图处理。

区域写入单元也可以将通过区域废弃单元的废弃处理的结果剩余的子区域中、在屏幕坐标系的在互相相同的坐标中不包含有效的像素的子区域再整合，对于每个通过再整合得到的整合区域，将子区域写入存储器。

通过将在屏幕坐标系中在同一坐标具有有效的像素的子区域从再整合的对象中除去，可以可靠地防止有效的像素重复引起的信息的缺损。

区域写入单元也可以将通过区域废弃单元的废弃处理的结果剩余的子区域中、在分割前子区域所属于的单位区域的屏幕坐标系中的坐标互相相同的子区域整合。

在该情况下，属于再整合后的整合区域中的子区域在分割前所属于的单位区域全部为同一位置。其结果，在对存储器写入与该整合区域有关的数据时，对于每个子区域，不必参照单位区域的坐标位置。

区域写入单元也可以参照分割前子区域所属于的单位区域内的相对的位置信息，将成为写入对象的子区域写入存储器的相应地址。

即使在子区域的相对的位置信息由于再整合而变化的情况下，在写入存储器时，通过参照原来的单位区域中的相对的位置信息，也可以写入适当的地址。

区域写入单元也可以包括将子区域中包含的像素并行地写入存储器的存储器存取单元。

本发明的其它方式是图像处理方法。该图像处理方法在屏幕坐标系中对构成绘图对象的三维物体的表面的每个单位图形依次进行绘图处理，该方法包括：光栅化步骤，在屏幕坐标上将单位图形分割为多个单位区域并输出；分割步骤，将从光栅化步骤输出的单位区域分割为多个子区域；区域废弃步骤，将区域分割单元中的分割结果得到的多个子区域中一部分子区域以规定的规则废弃；以及区域写入步骤，将通过区域废弃步骤的废弃处理的结果剩余的子区域写入存储器。

在光栅化步骤中，分割绘图区域，以使多个单位区域分别包含纵横的像素数互相相等的像素组，区域分割步骤中将包含像素组的单位区域分割为包含纵横的像素数互相相等的小像素组的多个子区域也可以。

在区域废弃步骤中，也可以以被分割的多个子区域中不包含有效的像素的子区域为对象来进行废弃处理。

本发明的其它方式也是绘图处理方法。在屏幕坐标系中对构成绘图对象的三维物体的表面的每个单位图形依次进行绘图处理，该方法包括：在屏幕坐标上将单位图形分割为多个单位区域并输出的步骤；以及将在构成输出的各个单位区域的多个子区域中包含有效的像素的子区域提取而生成整合区域的步骤。

本发明的其它方式的绘图处理方法在屏幕坐标系中对构成绘图对象的三维物体的表面的每个单位图形依次进行绘图处理，该方法包括：在屏幕坐标上将单位图形分割为多个单位区域并输出的步骤；以及将在构成输出的各个单位区域的多个子区域中包含有效的像素的子区域并行地写入存储器的步骤。

本发明的其它方式涉及计算机程序。该计算机程序在屏幕坐标系中对构成绘图对象的三维物体的表面的每个单位图形依次进行绘图处理，该程序使计算机执行：在屏幕坐标上将单位图形分割为多个单位区域并输出的步骤；以及将在构成输出的各个单位区域的多个子区域中包含有效的像素的子区域提取而生成整合区域的步骤。

本发明的其它方式的计算机程序在屏幕坐标系中对构成绘图对象的三维物体的表面的每个单位图形依次进行绘图处理，该程序使计算机执行：在屏幕坐标上将单位图形分割为多个单位区域并输出的步骤；以及将在构成输出的各个单位区域的多个子区域中包含有效的像素的子区域并行地写入存储器的步骤。

本发明的其它方式是在屏幕坐标系中对构成绘图对象的三维物体的表面的每个单位图形依次进行绘图处理的图像处理装置。该图像处理装置包括：光栅化单元，在将第一单位图形投影到屏幕坐标的状态下，将与屏幕对应的绘图区域分割为多个单位区域并输出，在第二单位图形以后，也经过同样的处理，按每个单位图形依次输出构成各单位图形的多个单位区域；区域分割单元，将从光栅化单元依次输出的单位区域分割为多个子区域；区域废弃单元，将在区域分割单元中被分割的多个子区域中一部分子区域以规定的规则废弃；以及区域写入单元，将通过区域废弃单元的废弃处理的结果剩余的子区域写入存储器。

本发明的其它方式是在屏幕坐标系中对构成绘图对象的三维物体的表面的每个单位图形依次进行绘图处理的图像处理方法。该图像处理方法包括：光栅化步骤，在将第一单位图形投影到屏幕坐标的状态下，将与屏幕对应的绘图区域分割为多个全等(congruent)的单位区域并生成，在第二单位图形以后，也经过同样的处理，按每个单位图形依次输出构成各单位图形的多个单位区域；区域分割步骤，将在光栅化步骤中依次生成的所述单位区域分割为多个子区域；区域废弃步骤，将在区域分割步骤中被分割的多个子区域中一部分子区域以规定的规则废弃；以及区域写入步骤，将通过区域废弃步骤的废弃处理的结果剩余的子区域写入存储器。

本发明的其它方式涉及计算机程序。该计算机程序在屏幕坐标系中对构成绘图对象的三维物体的表面的每个单位图形依次进行绘图处理的图像处理装置中，使计算机执行：光栅化步骤，在将第一单位图形投影到屏幕坐标的状态下，将与屏幕对应的绘图区域分割为多个单位区域并生成，在第二单位图形以后，也经过同样的处理，按每个单位图形依次生成构成各单位图形的多个单位区域；区域分割步骤，将在光栅化步骤中依次生成的单位区域分割为多个子区域；区域废弃步骤，将在区域分割步骤中被分割的多个子区域中一部分子区域以规定的规则废弃；以及区域写入步骤，将废弃处理的结果剩余的子区域写入存储器。

另外，以上的构成要素的任意组合或将本发明的构成要素或表现在方法、装置、系统、程序等之间相互置换的结果，作为本发明的方式都有效。

以下，基于实施方式详细地说明这些发明的方式。

(第一实施方式)

图1表示第一实施方式的图像处理装置的结构。图像处理装置1000进行三维计算机图形等的图像处理，将构成绘图对象的物体的表面的单位图形投影到屏幕坐标系的绘图区域，产生像素并进行绘图处理，显示在显示器上。

图像处理装置1000包含：图形处理器200、主处理器300、主存储器400、图形存储器120。这些块经由总线500被连接。

图像处理装置1000与未图示的显示装置连接，输出由图像处理装置1000生成的图像、视频。包含图1的以后的图中，作为进行各种处理的功能块记载的各元件可以通过硬件方式由CPU、存储器及其它的LSI构成，并可以通过软件方式由载入存储器的有预约管理功能的程序等实现。从而，这些功能块能够仅通过硬件、仅通过软件、或通过它们的组合以各种形式实现，这一点本领域技术人员应该理解，不应限定于任何方式。

主处理器300进行三维计算机图形的建模等运算处理。主存储器400是主要由主处理器300使用的存储区域。该主存储器400临时存储例如由主处理器300对与计算机图形有关的作业进行处理而得到的建模数据等。

图形存储器120是由图形处理器200使用、管理的与图形有关的数据专用的存储区域。该图形存储器120除了存储图像帧数据的帧缓冲器或Z缓冲器之外，还包含有存储在绘图对象帧数据时参照的基本数据——顶点数据、纹理(texture)数据、颜色查找表等的区域。

图形处理器200是专用于执行与图像有关的处理的块，从主存储器400读出由主处理器300生成的三维建模数据，进行基于三维建模数据进行坐标变换、隐藏面除去、描影(shading)从而生成图像帧数据的一系列的绘制(rendering)处理等。

图形处理器200包含：光栅化器100、存储器接口单元110、显示控制器130。

光栅化器100从主存储器400读出三维建模数据，取得成为绘图对象的图元的顶点数据。光栅化器100基于该顶点数据，进行观察(view)变换，即通过向屏幕坐标系的投影，将三维空间上的图元变换为绘图平面上的图形。进而，进行光栅化处理，即对于绘图平面上的图形，一边沿着绘图平面的水平方向进行扫描，一边按每一列变换为被量化了的像素。图元由该光栅化器100进行像素展开，对每个像素计算像素信息。该像素信息中包含RGB颜色值、表示透明度的α值、表示距视点的深度的Z值。

光栅化器100沿着扫描行生成规定大小的像素区域，并对存储器接口单元110输出。从光栅化器100输出的像素组被临时堆栈在队列中，存储器接口单元110将被堆栈的像素组按顺序写入图形存储器120。

存储器接口单元110将像素写入图形存储器120，或者根据来自显示控制器130的指示，从图形存储器120读出帧缓冲器。显示控制器130将从图形存储器120读出的图像数据输出到显示装置。

以下，详细说明光栅化器100的结构以及动作。

光栅化器100包含光栅化单元10、整合处理单元600、高速缓冲存储器50。

光栅化单元10将构成绘图对象的物体的表面的单位图形的三角形投影到屏幕坐标系的绘图区域，将绘图区域分割为多个单位区域，生成该单位区域中包含的像素，对每个单位区域作为像素组输出。光栅化单元10对于多个单位图形(三角形)的每一个，作为像素组，依次生成并输出单位区域。

图2是表示光栅化单元10中的像素生成的情况的图。图2表示屏幕坐标系的绘图区域2000的一部分。三角形12是通过构成三维物体的表面的单位图形的一个三角形被投影到绘图区域而形成的。光栅化单元10基于该三角形12的三个顶点12a、12b、12c的坐标值、颜色、模糊值、纹理坐标等，通过DDA(Digital Differemial Analyze)法生成多边形内部的像素。

绘图区域被分割为多个全等的单位区域14。

光栅化单元10对每个单位区域依次生成被三角形12包围的区域的像素信息(颜色、模糊值等)，并输出对每个单位区域生成的像素信息。以下，在光栅化单元10中，将被进行了像素信息的生成的像素称作有效的像素。

在本实施方式中，具有规定的大小的各单位区域14包含纵横4像素×4像素。将该单位区域14中包含的纵横4×4像素组称作标记STP。各标记STP保持对应的单位区域的平面坐标系中的位置信息。以下，将标记的位置信息称作标记地址ADDstp。

光栅化单元10以标记STP为单位依次生成像素，将包含有效的像素的标记STP依次向整合处理单元600输出。

整合处理单元600将从光栅化单元10输出的多个标记STP整合，对被整合的每个标记写入后级的高速缓冲存储器50中。将在整合处理单元600中将多个标记STP整合而得到的标记称作最终标记STPf。在图形处理器200内部，光栅化器100以及存储器接口单元110将标记STP作为一个处理单位，在各块间进行数据的发送接收。

首先，说明整合处理单元600中的整合处理。整合处理单元600在标记地址ADDstp互相相同的标记之间进行整合处理。

标记之间的整合处理将以下的两个作为参数来进行。第一参数是判定克服整合的单位的大小，第二参数是实际进行整合处理的单位的大小。图3(a)～(c)是表示多个标记在不同的条件下被整合处理的情况的图。标记STPm表示将两个标记STP1、STP2整合而得到的整合标记STPm。

以下，在本实施方式中，将标记分割而得到的纵横2×2像素的小像素组称作方形QD。此外，包含有效的像素的方形称作有效的方形。

图3(a)表示两个参数都是像素的情况下的整合处理。图3(a)的标记STP1以及标记STP2都具有同一标记地址。这些标记STP在互相重复的位置不包含有效的像素。从而，对每个像素判定了重复的结果，可以没有问题地整合。

图3(b)表示两个参数都是方形QD的情况下的整合处理。在图3(b)的整合处理中，以方形为单位判定重复。其结果，标记STP1和标记STP2的右上的方形都有效，并重复，因此两个标记不统一，两个标记STP1、STP2原样被输出。

图3(c)是本实施方式的整合处理，表示将第一参数作为像素，将第二参数作为方形QD的情况下的整合处理。在图3(c)的整合处理中，以像素为单位判定重复。其结果，标记STP1和标记STP2的右上的方形QD都有效，并重复，但由于在像素单位的判定中，有效的像素不重复，并且两个标记中包含的有效的方形的总数为四个以下，所以可以整合为一个标记STPm。另外，以方形单位进行了整合处理的结果得到的整合标记STPm由于存在各方形的位置从原来的位置被变更的情况，所以进行后述的再配置。

这样，在图3(c)所示的本实施方式的整合处理中，以像素单位进行重复的判定，并以方形单位进行整合处理。其结果，在将图3所示的标记STP1和标记STP2整合的情况下，整合处理的效率与图3(a)的情况同等。在实际的图像处理中，整合处理的效率也以图3(a)、图3(c)、图3(d)的顺序逐渐优化。

此外，在用于进行这样的整合处理的图像处理装置中，如对其安装成本进行考察，则在将第一参数、即判定可否整合的单位设定得小的情况下，仅变更用于判定重复的单元即可，因此安装成本不很上升。另一方面，如减小第二参数、即实际进行整合处理的单位，则对存储器进行存取的安装成本升高。从而，从安装成本的观点来看，可以说以图3(b)、图3(c)、图3(a)的顺序逐渐优化。

这样，图3(c)所示的本实施方式的整合处理方法在整合处理效率和安装成本的平衡上出色。以下，说明用于实现本实施方式的整合处理的整合处理单元600的结构。

整合处理单元600包含区域分割单元20、区域废弃单元30、区域写入单元40。

区域分割单元20将从光栅化单元10依次输出的标记STP分别分割为纵横的像素数相等的合适的多个小像素组。在本实施方式中，区域分割单元20将纵横4×4像素的标记STP分割为纵横2×2像素的合适的方形QD0～QD3，并输出到后级的区域废弃单元30。

图4是表示标记STP被分割为方形QD0～QD3的情况的图。各方形QD0～QD3将标记内的相对的位置信息作为方形地址ADDqd保持。假设方形地址ADDqd从左上的方形向右下的方形分别为00、01、10、11。在图4中，方形地址表示在括号内。

区域分割单元20以方形QD为单位将多个像素输出到后级的区域废弃单元30。

区域废弃单元30按规定的规则抽取从区域分割单元20输出的多个方形QD并废弃。区域废弃单元30将废弃处理的结果剩余的方形QD输出到后级的区域写入单元40。

区域写入单元40将区域废弃单元30中的废弃处理的结果剩余的方形QD写入高速缓冲存储器50。此时，通过区域废弃单元30的废弃处理的结果剩余的方形QD被再整合，并被再构成为以纵横4×4像素构成的标记。将由区域写入单元40再整合的标记称作整合标记STPm。

区域写入单元40将从区域废弃单元30输出的整合标记STPm作为处理单位写入高速缓冲存储器50。整合标记STPm通过被写入高速缓冲存储器50而被堆栈到队列中，存储器接口单元110将被堆栈的整合标记STPm依次写入图形存储器120。由于整合标记STPm和最终标记STPf不一定相同，因此区域写入单元40进行后述的结合标记STPm内的方形的再配置。

接着，详细说明区域分割单元20、区域废弃单元30、区域写入单元40中的处理。

将从光栅化单元10依次输出的标记STP中在区域分割单元20中成为分割处理的对象的标记称作源标记STPs。在将源标记STPs依次临时分割为方形QD并废弃了不需要的方形QD之后，将再整合的结果得到的标记称作整合标记STPm。此外，将在将源标记STPs整合的过程中使用并为了受到整合处理而被保持的标记称作目标标记STPt。

在整合处理单元600中，通过在目标标记STPt的空方形中依次写入源标记STPs的方形QDs从而进行整合处理。

图5是本实施方式的整合处理单元600中的标记STP的整合处理的流程图。

首先，在整合处理开始之前，在区域写入单元40中，将目标标记STPt初始化(S100)。

接着，将变量j初始化为0(S102)。变量j表示有效的方形被写入到目标标记STPt的第几个方形为止。例如，在j＝0时，表示一个方形都没有对目标标记STPt写入，在j＝4时，表示目标标记STPt的所有方形被填入。

接着，区域分割单元20取得源标记STPs(S104)。通过读入从光栅化单元10输出的标记STP而进行源标记STPs的取得。

接着，比较目标标记STPt和源标记STPs的标记地址ADDstp(S106)。其结果，在两个标记的地址不同的情况下(S106的“否”)不进行整合处理，以当前的目标标记STPt作为整合标记STPm向后级的区域写入单元40输出(S130)，将目标标记STPt初始化(S132)。随着目标标记STPt的初始化，将变量j设为0(S134)。然后，返回S108。

另一方面，在两个标记的地址相同的情况下(S106的“是”)，区域分割单元20将源标记STPs分割为四个方形QDs0～QDs3(S108)。

接着，将变量i初始化为0(S110)。变量i表示成为整合对象的源标记STPs的第几个方形为处理对象。例如，在i＝0时，源标记STPs的方形QDs0为处理对象。

接着，区域废弃单元30判定源标记STPs的第i个方形QDsi是否包含有效的像素(S112)。其结果，在方形QDsi不包含有效的像素的情况下(S112的“否”)，废弃该方形QDsi(S160)。然后，为了对下一个方形QDsi进行处理而将变量i增加1(S126)。

在方形QDsi包含有效的像素的情况下(S112的“是”)，区域写入单元40判定该方形QDsi的有效的像素是否与目标标记STPt的有效的像素重复(S114)。通过判定方形QDsi和目标标记STPt在屏幕坐标系中互相相同的坐标位置上是否包含有效的像素来进行该判定。

其结果，在有效的像素互相重复的情况下(S114的“是”)，不进行整合处理，将到此为止的目标标记STPt作为整合标记STPm输出，将目标标记STPt初始化，进而将变量j返回0(S140～S144)。然后，进至以下的整合处理(S116～S128)。

此外，在有效的像素不重复的情况下(S114的“否”)，也进至以下的整合处理(S116～S128)。

将源标记STPs的方形QDsi写入目标标记STPt的第j个方形QDtj(S116)。然后，为了将下一次的目标标记STPt的写入位置偏移而将变量j增加1(S118)。

这里，如果j＝4(S120的“是”)，则由于源标记STPs的方形QDs与目标标记STPt的所有的方形QDt0～QDt3整合，因此将当前的目标标记STPt作为整合标记STPm输出(S150)。接着，将目标标记STPt初始化(S152)，将变量j设为0(S154)。为了进行下一个方形QDsi的整合处理，将变量i增加1(s126)。

如果j≠4(S120的“否”)，则由于目标标记STPt中存在空方形，因此目标标记STPt原样不变，为了进行下一个方形QDsi的整合处理，将变量i增加1(S126)。

接着，对变量i进行判定，如果i＝4(S128的“是”)，则由于对属于源标记STPs的所有的方形QDsi结束整合处理，因此取得下一个源标记STPs(S104)。

如果i≠4(S128的“否”)，则为了对下一个方形QDsi进行整合处理而返回S112。

这样，整合处理单元600整合为目标标记STPt和源标记STPm的标记地址相同且同一像素位置不存在有效的像素的情况。

图6是表示标记之间按照图5所示的流程图被整合的情况的图。现在，考虑标记STP1～STP4按顺序被输入区域分割单元20的情况。作为初始状态，假设目标标记STPt为空标记。

首先，假设标记STP1为源标记STPs，由区域分割单元20分割为四个方形QDs0～QDs3。由于方形QDs0～QDs3不包含有效的像素因而被区域废弃单元30废弃。

区域写入单元40中，仅区域废弃单元30中的废弃处理的结果剩余的方形QDs0被输入，并被写入目标标记STPt的方形QDt0。

接着，假设标记STP2为源标记STPs，由区域分割单元20分割为四个方形QDs0～QDs3，方形QDs1～QDs3由区域废弃单元30废弃。区域写入单元40将方形QDs0写入目标标记STPt的方形QDt1。

对标记STP2、STP3也进行同样的处理，对目标标记STPt的方形QDt0～QDt3分别写入标记STP1～STP4的方形地址ADDqd为(00)的方形QD0，生成整合标记STPm。

整合标记STPm中包含的各方形QDm0～QDm3将原来的标记STP1～STP4中的方形地址作为位置信息保持。整合标记STPm与该位置信息一同被输出到区域写入单元40。

图7是表示区域写入单元40的结构的图。

区域写入单元40包含存储器存取单元44以及分配单元42。存储器存取单元44包括将方形中包含的四个像素同时并行地写入高速缓冲存储器50的输出单元46a～46d。

分配单元42对各输出单元46a～46d分配构成方形QD的像素。对输出单元46a分配方形QD内左上的像素，对输出单元46b分配右上，对输出单元46c分配左下，对输出单元46d分配右下的像素。

区域写入单元40通过以方形为单位重复四次将四个像素同时并行地写入高速缓冲存储器50的动作，从而进行一个整合标记的写入处理。

图8表示在区域写入单元40中，方形QDm0～QDm3被分配给各输出单元46a～46d的情况。分配单元42将整合标记STPm分割为四个方形QDm0～QDm3，以时刻T1、T2、T3、T4的顺序分配给各输出单元46a～46d。

在时刻T1，方形QDm0由分配单元42分解为像素，并被分配给四个输出单元46a～46d，各输出单元将被分解了的像素分别写入高速缓冲存储器50。接着，各方形QDm1～QDm3按时刻T2、T3、T4的顺序被展开为像素并依次被输出。这样，将时刻T1～T4作为一个时间单位输出一个整合标记STPm。

图9(a)～(c)是表示区域写入单元40将整合标记STPm写入高速缓冲存储器50的情况的图。图9(a)表示高速缓冲存储器50，图9(b)表示利用区域写入单元40的方形的写入状态，图9(c)表示写入完毕后的最终图形STPf。

由于整合标记STPm和最终标记STPf不一定相同，因此区域写入单元40进行后述的整合标记STPm内的方形的再配置。

该再配置如下进行。

在时刻T1，区域写入单元40将整合标记STPm的方形QDm0中包含的像素写入高速缓冲存储器50。区域写入单元40参照方形QDm0的方形地址ADDqd。由于方形QDm0的方形地址ADDqd为00，因此写入高速缓冲存储器50的地址00。

接着，在时刻T2写入方形QDm1。由于方形QDm1的方形地址也是00，因此写入高速缓冲存储器50的地址00。同样，在时刻T3、T4，方形QDm2、QDm3被写入地址00。

通过所有的方形QDm2、QDm3都被写入方形地址ADDqd＝00，生成图6的标记STP1～STP4被整合了的最终标记STPf。

图10表示其它的标记STP5～STP8被整合的情况。这些图形都具有同一标记地址，而且在互相重复的位置不具有有效的像素。

首先，标记STP5被分割为四个方形QDs0～QDs3。由于仅方形QDs0包含有效的像素，因此被写入目标标记STPt的方形QDt0，方形QDs1～QDs3被废弃。

接着，以标记STP6作为源标记STPs，对方形QDs0～QDs3进行整合处理。其结果，方形QDs0、QDs2分别被写入目标标记STPt的方形QDt1、QDt2，方形QDs1、QDs3被废弃。

接着，假设标记STP7为源标记STPs。对于方形STP7，方形QDs0被写入目标标记STPt的方形QDt3。在该状态下，由于目标标记STPt内的所有的方形都有效，因此作为整合标记STPm1输出，目标标记STPt被初始化。

接着，源标记STPs的方形QDs2被写入新的目标标记STPt的方形QDt0。方形QDs1、QDs3被废弃。

接着，假设标记STP8为源标记。由于方形QDs0～QDs3都包含有效的像素，因此不被废弃而被写入目标标记STPt。

方形QDs0～QDs2被分别写入目标标记STPt的方形QDt1～QDt3。在该状态下，由于目标标记STPt内的所有的方形都有效，因此作为整合标记STPm2输出，目标标记STPt再次被初始化。

源标记STPs的方形QDs3被写入新的目标标记STPt的方形QDt0。然后，与其它的源标记STPs整合，并作为整合标记STPm3被输出。

图11表示在区域写入单元40中，方形QDm0～QDm3被分配给各输出单元46a～46d的情况。

区域写入单元40按照时刻T1、T2、T3、T4的顺序输出整合标记STPm1内的四个方形QDm0～QDm3。

在区域写入单元40中，分配单元42将各单元中包含的四个像素分配给各输出单元。该整合标记STPm1在时刻T1～T4的期间被写入，整合标记STPm2在时刻T5～T8被写入，整合标记STPm3在时刻T8～T12被写入。

构成各整合标记STPm1～STPm3的各方形QDm0～QDm3与原来的标记STP5～STP7内的地址一同被输出。

图12(a)～(c)是表示区域写入单元40将图10所示的整合标记STPm1～STPm3写入高速缓冲存储器50的情况的图。区域写入单元40在各时刻，将各方形参照其地址，一边再配置一边写入高速缓冲存储器50。

其结果，如图12(c)所示，高速缓冲存储器50中被写入图7的标记STP5～STP8被整合了的最终标记STPf。后级的存储器接口单元110将该最终标记STPf写入图形存储器120。

这样，根据本实施方式的图像处理装置1000，将成为从光栅化单元10输出的处理单位的像素组——标记分割为小像素组的方形，废弃不需要的方形，将剩余的方形之间整合。其结果，可以增加整合后得到的整合标记中包含的有效的像素数，并能够实现绘图处理的效率化。

特别，从三角带(triangle strip)的性质可以容易地连续生成具有同一标记地址并且有效的像素不重合的标记。从而，通过有效地整合这些连续的标记，可以增加有效的像素。

此外，在本实施方式的图像处理装置中，将标记临时分割为方形，以像素为单位判定可否整合，另一方面实际的整合处理以方形为单位进行，因此可以良好地保持安装成本和处理效率的平衡。

进而，在区域废弃单元30中被整合了的整合标记STPm在区域写入单元40中，通过标记内的局部的配置的变更而修正为最终被输出的最终整合标记STPf。由于进行该配置的变更的区域写入单元40例如相当于高速缓冲存储器50的地址的控制或者通过交叉条(cross bar)的配置变更等，因此由于硬件方式的追加、修正仅为存储器存储单元，因此即使对于以往的图像处理装置也可以容易地安装。

(第二实施方式)

在第二实施方式中，将第一实施方式中说明了的标记整合处理进行了扩展。在第一实施方式中，成为整合处理的对象的方形仅为源标记STPs与目标标记STPm具有相同标记地址的情况，但在本实施方式中，特征在于也许可具有不同的标记地址的标记间的整合处理。以下，将许可具有不同标记地址的标记之间的整合的整合处理称作扩展整合处理。

图13是表示具有不同的标记地址的标记被连续输入的情况下的整合处理的图。区域分割单元20标记STP10～STP13被从光栅化单元10依次输入。假设标记STP10、STP11的标记地址ADDstp为0001，标记STP12、STP13的标记地址ADDstp为0010。在重复的位置不存在标记STP10～STP13的有效的像素。

区域分割单元20将标记STP10作为源标记STPs，分割为方形QDs0～QDs3。方形QDs0被写入目标标记STPt的方形QDt0，方形QDs1～QDs3被废弃。

接着，将标记STP11作为源标记STPs，分割为方形QDs0～QDs3后，方形QDs0被写入目标标记STPt的方形QDt1。

接着，将标记STP12作为源标记，分割为方形QDs0～QDs3后，方形QDs2被写入目标标记STPt的方形QDt2。

接着，将标记STP13作为源标记，分割为方形QDs0～QDs3，方形QDs2被写入目标标记STPt的方形QDt3。

未被写入目标标记STPt的方形都被废弃。

在该状态下，目标标记STPt由于所有的方形都有效，因此被作为整合标记STPm输出，目标标记STPt被初始化。

整合标记STPm中包含的各方形QDm0～QDm3与原来的标记STP10～STP13中的方形地址ADDqd一同保持有原来的标记STP10～STP13中的标记地址ADDstp。

图14表示在区域写入单元40中，方形QDm0～QDm3被分配到各输出单元46a～46d的情况。区域废弃单元30的存储器存取单元44按时刻T1、T2、T3、T4的顺序输出整合标记STPm内的四个方形QDm0～QDm3。在时刻T1，方形QDm0被展开为像素，同时被并行输出。

接着，各方形QDm0～QDm3按时刻T2、T3、T4被展开为像素并依次输出。

图15(a)～(c)是表示区域写入单元40将图13的整合标记STPm写入高速缓冲存储器50的情况的图。

如图15(a)所示，区域写入单元40在写入各方形QDm时，除了方形地址ADDqd之外还参照标记地址ADDstp。例如，在时刻T1被输入的方形QDm0由于标记地址为0001、方形地址为00，因此被写入高速缓冲存储器50的相应地址位置。对于方形QDm1～QDm3也同样。

其结果，如图12(c)所示，高速缓冲存储器50中被写入图10的标记STP10～STP13被整合了的最终标记STPf1、STPf2。最终标记STPf1由标记STP10、STP11整合而成，最终标记STPf2由标记STP12、STP13整合而成。最终标记STPf1、STPf2分别被写入标记地址ADDstp为0001以及0010的位置。

这样，由于进行本实施方式的扩展整合处理，通过临时整合具有不同的标记地址的标记之间，可以在区域写入单元40中减少对高速缓冲存储器50进行存取的次数。

根据该扩展整合处理，由于即使标记地址不同也能够进行整合处理，因此可以增加整合标记内的有效的方形的数并进一步提高图像处理的效率。

上述实施方式为例示，这些各构成元件和各处理过程的组合可以有各种变形例，而且这样的变形例也属于本发明的范围，这一点本领域技术人员应该理解。

在实施方式中，由纵横4×4的标记构成像素组，将小像素组设为纵横2×2的标记，但不限于此，也可以将小像素组设为纵横1×4或纵横4×1的方形。

方形中包含的像素的数最好与在区域写入单元40中同时并行地写入高速缓冲存储器50的像素数相同，但不一定限定于此，在将四个像素同时并行地写入高速缓冲存储器50的情况下，也可以将方形中包含的像素数设为2个。标记的大小、方形的大小考虑处理所需的成本等来适当决定即可。

产业上的可利用性

本发明可以用于图形运算处理装置等中的图像处理技术。

Claims (19)

1.一种图像处理装置，在屏幕坐标系中对构成绘图对象的三维物体的表面的每个单位图形依次进行绘图处理，其特征在于，该装置包括：

光栅化单元，在屏幕坐标上将单位图形分割为多个单位区域并输出；

区域分割单元，将从所述光栅化单元输出的单位区域分割为多个子区域；

区域废弃单元，将所述区域分割单元中的分割结果得到的多个子区域中一部分子区域以规定的规则废弃；以及

区域写入单元，将通过所述区域废弃单元的废弃处理的结果剩余的子区域写入存储器。

2.如权利要求1所述的图像处理装置，其特征在于，

所述区域写入单元将通过所述区域废弃单元的废弃处理的结果剩余的子区域再整合，对于每个通过再整合得到的整合区域，写入所述存储器。

3.如权利要求2所述的图像处理装置，其特征在于，

所述整合区域具有与所述单位区域相同大小。

4.如权利要求1所述的图像处理装置，其特征在于，

所述子区域的大小相当于所述区域写入单元将该子区域写入存储器时的单位处理量。

5.如权利要求2所述的图像处理装置，其特征在于，

所述区域写入单元将通过所述区域废弃单元的废弃处理的结果剩余的子区域中、在分割前子区域所属于的单位区域的屏幕坐标系中的坐标互相相同的子区域整合。

6.如权利要求2所述的图像处理装置，其特征在于，

所述区域写入单元参照分割前子区域所属于的单位区域内的相对的位置信息，将成为写入对象的子区域写入所述存储器的相应地址。

7.如权利要求1所述的图像处理装置，其特征在于，

所述单位区域为矩形区域，所述光栅化单元分割绘图区域，以使所述多个单位区域分别包含纵横的像素数互相相等的像素组，

所述区域分割单元将包含所述像素组的所述单位区域分割为包含纵横的像素数互相相等的小像素组的多个子区域。

8.如权利要求7所述的图像处理装置，其特征在于，

所述区域废弃单元以在所述区域分割单元中被分割的多个子区域中不包含有效的像素的子区域为对象来进行废弃处理。

9.如权利要求7或8所述的图像处理装置，其特征在于，

所述区域写入单元将通过所述区域废弃单元的废弃处理的结果剩余的子区域中、在屏幕坐标系中在互相相同的坐标不包含有效的像素的子区域再整合，对于每个通过再整合得到的整合区域，写入所述存储器。

10.如权利要求9所述的图像处理装置，其特征在于，

所述区域写入单元将通过所述区域废弃单元的废弃处理的结果剩余的子区域中、在分割前子区域所属于的单位区域的屏幕坐标系中的坐标互相相同的子区域整合。

11.如权利要求9所述的图像处理装置，其特征在于，

所述区域写入单元参照分割前子区域所属于的单位区域内的相对的位置信息，将成为写入对象的子区域写入所述存储器的相应地址。

12.如权利要求7所述的图像处理装置，其特征在于，

所述区域写入单元包括将所述子区域中包含的像素并行地写入所述存储器的存储器存取单元。

13.一种图像处理方法，在屏幕坐标系中对构成绘图对象的三维物体的表面的每个单位图形依次进行绘图处理，其特征在于，该方法包括：

光栅化步骤，在屏幕坐标上将单位图形分割为多个单位区域并输出；

区域分割步骤，将在所述光栅化步骤中生成的所述单位区域分割为多个子区域；

区域废弃步骤，将所述区域分割步骤中被分割出的多个子区域中一部分子区域以规定的规则废弃；以及

区域写入步骤，将通过所述区域废弃步骤的废弃处理的结果剩余的子区域写入存储器。

14.如权利要求13所述的图像处理方法，其特征在于，

在所述光栅化步骤中分割绘图区域，以使所述多个单位区域分别包含纵横的像素数互相相等的像素组，

在所述区域分割步骤中，将包含所述像素组的所述单位区域分割为包含纵横的像素数互相相等的小像素组的多个子区域。

15.如权利要求14所述的图像处理方法，其特征在于，

在所述区域废弃步骤中，以被分割的多个子区域中不包含有效的像素的区域为对象来进行废弃处理。

16.一种图像处理方法，在屏幕坐标系中对构成绘图对象的三维物体的表面的每个单位图形依次进行绘图处理，其特征在于，该方法包括：

在屏幕坐标上将单位图形分割为多个单位区域并输出的步骤；以及

将构成在所述输出的步骤中输出的各个单位区域的多个子区域中包含有效的像素的子区域提取而生成整合区域的步骤。

17.一种图像处理方法，在屏幕坐标系中对构成绘图对象的三维物体的表面的每个单位图形依次进行绘图处理，其特征在于，该方法包括：

在屏幕坐标上将单位图形分割为多个单位区域并输出的步骤；以及

将构成在所述分割并输出的步骤中输出的各个单位区域的多个子区域中包含有效的像素的子区域并行地写入存储器的步骤。

18.一种计算机程序，在屏幕坐标系中对构成绘图对象的三维物体的表面的每个单位图形依次进行绘图处理，其特征在于，该程序使计算机执行：

在屏幕坐标上将单位图形分割为多个单位区域并输出的步骤；以及

将构成在所述输出的步骤中输出的各个单位区域的多个子区域中包含有效的像素的子区域提取而生成整合区域的步骤。

19.一种计算机程序，在屏幕坐标系中对构成绘图对象的三维物体的表面的每个单位图形依次进行绘图处理，其特征在于，该程序使计算机执行：

在屏幕坐标上将单位图形分割为多个单位区域并输出的步骤；以及

将构成在所述输出的步骤中输出的各个单位区域的多个子区域中包含有效的像素的子区域并行地写入存储器的步骤。

Images