CN105574806B - 影像处理方法及其装置 - Google Patents

Abstract

一种影像处理方法及其装置，所述装置包含第一队列、第二队列、快取存储器与处理模块。第一队列用以接收第一图块。处理模块分别电性连接第一队列、第二队列与快取存储器，用以从第一队列取得第一图块，从快取存储器取得关于第一图块的背景遮罩的遮罩信息，并依据第一图块与前述遮罩信息，决定第一图块与背景遮罩的关系，以选择性地将第一图块传送至第二队列。本发明能够降低影像处理的运算量。

Description

影像处理方法及其装置

技术领域

本发明关于一种影像处理方法及其装置，特别关于一种可降低运算量的影像处理方法及其装置。

背景技术

影像的显示技术中有一种是立体图像的呈现，也就是随着视角的不同、影像中物体远近的不同，而须呈现不同的图像，以符合人类视觉。这样的影像通常每个物体是由表面所组成，而表面可以划分为非常多的三角形或多边形图块。在影像呈现的计算上，一般而言会对所有的图块计算其像素着色(pixel shading,PS)。然而由于物件越多、其表面的图块越多，要进行像素着色的计算量会非常的大。这样的问题往往是影像处理引擎的瓶颈(bottleneck)，从而使的影像处理引擎所能支持的帧频(frame rate/frames per second,fps)受到限制。

发明内容

鉴于上述问题，本发明提出一种影像处理方法及其装置，通过快速地判断一当前图块是否需于后续运算中被处理，选择性地舍弃部分图块，以降低影像处理的运算量。

依据本发明的影像处理方法，包含下列步骤：取得一第一图块；于一快取存储器取得关于该第一图块的一背景遮罩；以及依据该第一图块与该背景遮罩的关系，选择性地将该第一图块放入处理队列。

依据本发明的影像处理装置，包含第一队列、第二队列、快取存储器与处理模块。第一队列用以接收第一图块。处理模块分别电性连接第一队列、第二队列与快取存储器，用以从第一队列取得第一图块，从快取存储器取得关于第一图块的背景遮罩的遮罩信息，并依据第一图块与遮罩信息，决定第一图块与背景遮罩的关系，以选择性地将第一图块传送至第二队列。

以上关于本发明内容的说明及以下的实施方式的说明用以示范与解释本发明的精神与原理，并且提供本发明的权利要求的进一步的解释。

附图说明

图1是依据本发明一实施例的影像处理装置示意图。

图2是依据本发明一实施例的影像处理方法流程图。

图3是依据本发明一实施例的步骤S220流程图。

图4是依据本发明一实施例的第一图块示意图。

图5是依据本发明一实施例的步骤S230流程图。

图6是依据本发明一实施例的第一图块与背景遮罩示意图。

其中，附图中符号的简单说明如下：

1000 影像处理装置

1100、1200、1600 队列

1300 快取存储器

1400、1500 处理模块

2000 随机存取存储器

B1 区块

BM 背景遮罩

BG 背景区块

FG 前景图块

I1 第一图块。

具体实施方式

以下在实施方式中详细叙述本发明的详细特征以及优点，其内容足以使本领域技术人员了解本发明的技术内容并据以实施，且根据本说明书所揭露的内容、权利要求书范围及图式，本领域技术人员可轻易地理解本发明相关的目的及优点。以下的实施例将进一步详细说明本发明的观点，但非以任何观点限制本发明的范畴。

请参照图1与图2，其中图1是依据本发明一实施例的影像处理装置示意图，而图2是依据本发明一实施例的影像处理方法流程图。如图1所示，依据本发明的影像处理装置1000具有第一队列1100、第二队列1200、快取存储器1300、第一处理模块1400、第二处理模块1500与第三队列1600。其中第一处理模块1400分别电性连接第一队列1100、第二队列1200与快取存储器1300。其中第一队列1100中存有待处理的第一图块。快取存储器1300中存有先前被处理过的背景遮罩的数据。第二处理模块1500分别电性连接第二队列1200、快取存储器1300与第三队列1600。同时，快取存储器1300还电性连接于一个随机存取存储器2000，其中存有所有的背景遮罩的数据。其中第一队列1100所接收与暂存的数据是经过像素化(或称光栅化)(raster)的影像数据。

而如图2的流程图所示，其中于步骤S210中，第一处理模块1400从第一队列1100中取得待处理的第一图块。于步骤S220中，第一处理模块1400从快取存储器1300中取得关于第一图块的背景遮罩的遮罩信息。而于步骤S230中，第一处理模块1400依据第一图块与遮罩信息，决定第一图块与背景遮罩的关系，选择性地将第一图块传送至第二队列。

在步骤S220中，第一处理模块1400由于已经有待处理的第一图块的数据。更具体来说，请参照图3与图4，其中图3是依据本发明一实施例中步骤S220的流程图，而图4是依据本发明一实施例的第一图块示意图。图4中的第一图块的数据包含有第一图块I1所在区块B1的坐标值深度值和遮罩判断值,区块B1上的某个像素如果属于第一图块I1，其遮罩判断值即为1，否则为0。因此于步骤S221中，第一处理模块1400检查快取存储器1300中所储存的背景遮罩的遮罩信息是否对应于区块B1。举例来说，区块B1具有8×8个像素，而第一处理模块1400检查快取存储器1300中一个背景遮罩的第一笔数据与最后一笔数据是否对应于区块B1的8×8个像素中的像素(0,0)与像素(7,7)，也就是左上角的像素与右下角的像素。如果有对应，则表示快取存储器1300存有对应于区块B1的背景遮罩的深度范围数据，如步骤S223所示，第一处理模块1400从快取存储器1300中取出此背景遮罩。如果没有对应，则表示快取存储器1300中没有存有对应于区块B1的背景遮罩，则如步骤S225所示，第一处理模块1400通过快取存储器1300从随机存取存储器2000中取得对应于区块B1的背景遮罩的遮罩信息，所谓的遮罩信息可以包含背景的深度值，并即时的计算该区块的深度范围。同时，从随机存取存储器2000处取得的背景遮罩的深度范围数据会被留在快取存储器1300或者第一处理模块1400中。无论是经由步骤S223还是步骤S225，当第一处理模块1400取得对应于区块B1的背景遮罩，则继续执行步骤S230。

于步骤S230中，请参照图5与图6，其中图5是依据本发明一实施例中步骤S230的流程图，而图6是依据本发明一实施例的第一图块与背景遮罩示意图。其中，背景遮罩BM区分为背景区块BG与前景图块FG。于步骤S231中，第一处理模块1400判断第一图块I1是否与背景遮罩的前景图块FG重叠。于此实施例中，背景区块BG与前景图块FG分别被给予背景遮罩判断值，其中背景区块BG的背景遮罩判断值为0，而前景图块FG的背景遮罩判断值为1。同样的区块B1中第一图块I1的部分会被给予背景遮罩判断值1，而其余部分会被给于背景遮罩判断值0。第一处理模块1400将区块B1与背景遮罩BM进行位对位与计算(bit-wise ANDoperation)。

当有任何一个位的计算结果为1时，表示第一图块I1会与前景图块FG有交集(有重叠)，这表示后续须计算第一图块I1与前景图块FG的关系而无法简单舍弃，因此如步骤S235所示，区块B1连同第一图块I1的数据会被第一处理模块1400送到第二队列1200等待进一步的处理。此时并且会将第一图块I1的坐标数据写入背景遮罩BM。举例来说，将区块B1与背景遮罩BM进行位对位或计算(bit-wise OR operation)，从而可以得到新的前景图块FG(背景遮罩判断值为1)与背景区块BG(背景遮罩判断值为0)。并且如步骤S239所示，第一处理模块1400并据以更新快取存储器1300中的背景遮罩数据。

于一个实施例中，第一处理模块1400中具有与第一队列所能储存的区块B1的像素数同等的与门(AND gate)。以前述实施例来说就是64个与门。并且有一组或门(OR gate)来将64个与门的输出值进行或运算，如果有任何一个与门的输出值为1，则或门的输出值为1，表示第一图块I1与前景图块FG有至少一个像素重叠。反之则表示第一图块I1完全位于背景区块BG之中。通过这样的硬件架构设计，前述的判断可以在时脉信号的一个周期至两个周期内完成。此外，依据当前主流的快取存储器架构，与门的数量通常为4×4、4×8、8×4、8×8或其他2^N×2^M，其中N与M为正整数

前述的计算下，如果所有位的计算结果均为0，则表示第一图块I1与前景图块FG没有交集(没有重叠)，因此第一处理模块1400进行进一步的计算以决定是否可以舍弃第一图块I1(连同区块B1)。其流程大致如下，首先如步骤S233所示，第一处理模块1400先计算第一图块I1的深度范围DR1，并比较第一图块的深度范围DR1与背景遮罩中背景区块BG的深度范围DRB。其中当第一处理模块1400计算第一图块I1的深度范围时，具体来说由于现今影像的每个图块(三角形)可以视为一个在空间中的平面，因此仅需计算第一图块I1的各顶点(三角形所在的轴平行的矩形的四个顶点中的两个顶点)的深度值，即可得到第一图块I1的深度范围。第一图块I1的深度范围DR1可以定义为：

DR1＝(max(S{dp1,…,dpn}),min(S{dp1,…,dpn}))

其中S{dp1,…,dpn}是第一图块I1的各顶点对应的轴的深度的集合。

当得到了第一图块I1的深度范围DR1后，第一处理模块1400将深度范围DR1与背景遮罩BM中的背景区块BG的深度范围DRB比较。以判断第一图块I1是否被判定为不属于背景区块BG的一部分而需被处理。

其中关于深度比较(深度测试)的步骤，于此举一个例子来叙述，当深度比较模式为小于，而深度范围DR1大于深度范围DRB时，则深度比较的结果为失败，表示第一图块I1不需要被处理。于此比较模式中，如果深度范围DR1小于深度范围DRB或者不完全大于深度范围DRB，则深度比较的结果为通过，表示第一图块I1需要被处理。

如果判断需要处理第一图块I1，则进行步骤S235，处理模块将区块B1连同第一图块I1送至第二队列1200。反之则表示第一图块I1在影像显示上无须被显示而可以舍弃，因此执行步骤S237，第一处理模块1400将第一图块I1连同区块B1的数据舍弃。同时，当第一处理模块1400将第一图块I1送入第二队列1200时，第一处理模块1400一并进行更新背景遮罩BM的动作，其方法如前述，于此不再赘述。

于一实施例中，第一处理模块1400会将背景遮罩BM的信息更新至快取存储器1300，而每当第一处理模块1400判断快取存储器1300中的背景遮罩并非对应于当前要处理的图块时，第一处理模块1400不仅通过快取存储器1300从随机存取存储器2000中取得新的背景遮罩，并且储存于快取存储器1300中的关于背景遮罩的深度值会被自动的替换出去，下次再有新的图块需要此区块的背景数据时，快取存储器会自动计算新的深度范围。因此，实际上随机存取存储器2000中的背景遮罩的数据也是不断地被更新。而送到第二队列1200的图块，可以被第二处理模块1500输出到下游模块进一步的进行像素着色(pixelshading,PS)。而进行完像素着色的数据，则被第二处理模块1500送到第三队列1600。

依据本发明的影像处理方法与对应的影像处理装置，由于有部分的图块已经被预先舍弃，因此需要进行像素着色的图块总量减少，降低了影像处理装置的运算量，提高了影像处理的效率。

以上所述仅为本发明较佳实施例，然其并非用以限定本发明的范围，任何熟悉本项技术的人员，在不脱离本发明的精神和范围内，可在此基础上做进一步的改进和变化，因此本发明的保护范围当以本申请的权利要求书所界定的范围为准。

Claims (12)

1.一种影像处理方法，其特征在于，包含：

取得立体图像的第一图块；

于快取存储器取得关于该第一图块的背景遮罩的遮罩信息；以及

依据该第一图块与该遮罩信息决定该第一图块与该背景遮罩的关系，以选择性地将该第一图块放入处理队列，

其中，依据该第一图块与该遮罩信息决定该第一图块与该背景遮罩的关系，以选择性地将该第一图块放入处理队列的步骤包含：

检查该第一图块是否与该背景遮罩中的前景图块重叠；

当该第一图块与该前景图块重叠时，将该第一图块放入该处理队列；以及

当该第一图块不与该前景图块重叠时，依据该第一图块与该背景遮罩的深度关系，选择性地将该第一图块放入该处理队列。

2.如权利要求1所述的影像处理方法，其特征在于，还包含将该背景遮罩更新至该快取存储器或者储存于第一处理模块。

3.如权利要求1所述的影像处理方法，其特征在于，于该快取存储器中取得该背景遮罩的该遮罩信息的步骤包含：

依据该第一图块的坐标，确认该快取存储器中是否存有该背景遮罩；

当该快取存储器中存有该背景遮罩时，从该快取存储器中取得该背景遮罩；以及

当该快取存储器中未存有该背景遮罩时，从随机存取存储器中取得该背景遮罩，并将该背景遮罩写入该快取存储器。

4.如权利要求3所述的影像处理方法，其特征在于，还包含将当前该快取存储器中的数据写入该随机存取存储器。

5.如权利要求1所述的影像处理方法，其特征在于，当该第一图块不与该前景图块重叠时，依据该第一图块与该背景遮罩的深度关系，选择性地将该第一图块放入该处理队列的步骤包含：

计算该第一图块的深度范围；

比较该第一图块的深度范围与该背景遮罩的深度范围，以产生比较结果；

当该比较结果指示为通过时，将该第一图块放入该处理队列；以及

当该比较结果指示为失败时，将该第一图块舍弃。

6.如权利要求5所述的影像处理方法，其特征在于，计算该第一图块的深度范围的步骤包含：

计算该第一图块的多个端点的深度以得到多个深度值；以及

依据所述深度值中的最大值与所述深度值中的最小值，决定该第一图块的深度范围。

7.一种影像处理装置，其特征在于，包含：

第一队列，用以接收立体图像的第一图块；

第二队列；

快取存储器；以及

处理模块，分别电性连接该第一队列、该第二队列与该快取存储器，用以从该第一队列取得该第一图块，从该快取存储器取得关于该第一图块的背景遮罩的遮罩信息，并依据该第一图块与该遮罩信息，决定该第一图块与该背景遮罩的关系，以选择性地将该第一图块放入该第二队列，

其中，该处理模块依据该第一图块与该背景遮罩的关系选择性地将该第一图块放入该第二队列时，检查该第一图块是否与该背景遮罩中的前景图块重叠，当该第一图块与该前景图块重叠时，该处理模块将该第一图块放入该第二队列，当该第一图块不与该前景图块重叠时，该处理模块依据该第一图块与该背景遮罩的深度关系，选择性地将该第一图块放入该第二队列。

8.如权利要求7所述的影像处理装置，其特征在于，该处理模块还将该背景遮罩更新至该快取存储器。

9.如权利要求7所述的影像处理装置，其特征在于，该处理模块依据该第一图块的坐标，确认该快取存储器中是否存有该背景遮罩，当该快取存储器中存有该背景遮罩时，该处理模块从该快取存储器中取得该背景遮罩，当该快取存储器中未存有该背景遮罩时，该处理模块从随机存取存储器中取得该背景遮罩，并将该背景遮罩写入该快取存储器或者第一处理装置。

10.如权利要求9所述的影像处理装置，其特征在于，该处理模块还将当前该快取存储器中的数据写入该随机存取存储器。

11.如权利要求7所述的影像处理装置，其特征在于，当该第一图块不与该前景图块重叠时，该处理模块计算该第一图块的深度范围，并比较该第一图块的深度范围与该背景遮罩的深度范围，以产生比较结果，当该比较结果指示为通过时，该处理模块将该第一图块放入该第二队列，当该比较结果指示为失败时，该处理模块将该第一图块舍弃。

12.如权利要求11所述的影像处理装置，其特征在于，该处理模块于计算该第一图块的深度范围时，计算该第一图块的多个端点的深度以得到多个深度值，并依据所述深度值中的最大值与所述深度值中的最小值，决定该第一图块的深度范围。