CN104025155B - 可变深度压缩 - Google Patents

Abstract

根据一些实施例，可以基于多种考虑可变地改变分配给深度压缩的比特数量。结果，可以以更有效的方式压缩深度数据。

Description

可变深度压缩

背景

本发明通常涉及图形处理，且尤其涉及用于随机运动模糊光栅化的深度缓冲器的压缩。

运动模糊光栅化尝试更精确地表示移动对象，且尤其是表示在对象移动得足够快时所观察到的模糊。忽略运动模糊，可以容易地压缩关于在景物内的图元的深度的信息。尤其，可以把每一图元的深度确定为从成像设备到图元的距离。存在当不涉及运动模糊时用于减少这种深度信息的算法。

然而，当涉及运动模糊时，尝试压缩深度信息是复杂得多的操作。

图形处理器倾向于对随存储器带宽使用增加而增加的功率消耗极度敏感。在现代图形处理器上，存储器带宽本身也是稀缺资源。当前，更加强调获得运动模糊和景深的随机光栅化，并基于交互的或甚至实时的渲染获得这种信息。这涉及显著的存储器带宽使用，意味着增加功率消耗。

附图简述

参照下列附图描述一些实施例：

图1是本发明的一种实施例的示意图；

图2是根据一种实施例用于锚点的模式选择的流程图；

图3是根据一种实施例用于动态残差值比特分配的流程图；以及

图4是一种实施例的系统描绘。

详细描述

根据一些实施例，可以基于多种考虑可变地改变分配给深度压缩的比特数量。结果，可以以更有效的方式压缩深度数据。

深度缓冲器压缩是一种用于减少存储器带宽使用的技术。通常，在块(tile)内的任何图元(primitive)(通常是三角形)的深度z是随图元线性变化的。这可以用来构建低廉的压缩和解压缩算法。

平面编码尝试利用这种线性关系。光栅器把准确平面方程馈入到压缩器，且因此不需要残差项。然而，在涉及运动模糊时，每一顶点可以根据线性函数移动。然后，样本处的深度函数是有理三次函数。这种函数使得非常难以使用简单的预测器函数来在整个块上预测深度。结果，标准深度缓冲器压缩技术，尤其是利用精确的平面方程的那些，可能难以压缩这样的带噪声的缓冲器。

可以独立地处理被称为块(tile)的像素块。当前的深度压缩方案明确不处理运动模糊和景深，且因此它们不具有时间分量或透镜参数。

通常，深度压缩算法使用可以称为群集、预测器函数生成和残差编码的三个公共步骤。在块中的样本集属于不同的层例如背景层和前景层时，使用群集。在这种情况中，难以使用相同的预测器函数来压缩块中的所有深度。

群集步骤尝试把块的样本分离成两个或更多个层，其中每一层中的样本通常共享一些特性，例如落在公共平面上。把样本分离成两个或更多个层的目的在于，相比于压缩单个层中的所有样本，理论上每一层可以变得更加容易压缩。

在预测器函数生成中，每一层生成其自己的预测器函数。目的是使用深度样本并可能使用它们的固定坐标系来创建预测器函数，以便使用低廉的函数来预测每一样本的深度。例如，假设已经把具有小的每像素位移的矩形呈现给块。作为预测器函数，可以使用矩形平面，这是由于它可能是关于位移深度将落在何处的良好猜想。即使猜想是不理想的，在接下来的步骤中也可以处理缺陷。

残差编码允许在块的解压缩期间重构更准确的深度，这是由于对图形处理器通常要求深度缓冲器是无损的。残差是在预测器函数和实际样本深度之间的差。给定良好的预测器函数，在样本深度和预测器函数之间的残差是小的。结果，可以使用相对较少的比特编码那些残差。然后，可以实现良好的压缩率(如果存在少量的层)，且预测器函数所需要的存储是小的。

在一些实施例中，深度缓冲器压缩可以使用锚编码，但是也可以使用其他技术，包括平面编码。在真实导数相比于为存储这些导数而分配的比特预算非常大的意义上，基于平面数据导数或Δ矢量，平面方程和平面编码的构造不能处理极端平面。因此，实际平面表示精度会减少。这种精度减少随块内离开评估Δ矢量的点的距离而增加。另一方面，天然地为Δ矢量分配太多的比特减少了可用于存储深度值残差的比特数量。

因而，在一些实施例中，通过允许取决于深度数据的本质而动态分配比特，可以减少向Δ矢量静态指派可用比特的影响。

取决于光栅化的几何形状，块可以是图元的倍数的目标，得到深度值随时间的复杂分布。把一个或多个平面方程用作这些深度值的基预测，以经压缩深度数据格式编码残差值。作为预测器平面的本质的结果，所预测的深度值可以或多或少是正确的，引起改变对残差修正比特的需要。

当前的深度压缩机制静态地为所有块位置分配同等数量的残差比特，这可能潜在地是对实际深度值的差的匹配。在一些实施例中，通过改为允许为个体块位置动态地分配残差比特数量来减少向残差修正比特静态地指派可用比特的影响。

在锚编码实施例中，通过拾取块中的一个或多个点作为候选锚点，深度数据压缩机制检测光栅化图元的平面表示。锚点的评估包括基于深度数据值计算局部的和平面的X和Y导数。预测器平面表示(zp(x,y)＝a+b*x+c*y)在经压缩深度数据中被编码为三个值：a、b和c，其中a是锚点处的深度值，b是dZ/dX，且c是dZ/dY。值b和c是Δ值或“矢量”。

对于块中的每一深度z(x,y)，把残差深度值存储为在所预测的和真实深度值之间的差异。值d是残差值。

通过选择为Δ和残差值分配的比特数量，可以在不损失深度值精度的前提下减少块深度数据的总比特预算。在一些实施例中可以实现的深度数据的净压缩。

我们引入Δ模式的概念，Δ模式指定X、Y和R的具体组合，其中X是用于Δ-X矢量的比特数量，Y是用于Δ-Y矢量的比特数量，R是每深度残差比特的数量。在压缩时，这些模式可用于选择块中的每一锚点。

在一种变种中，每一锚点可以潜在地具有其自己的一组可用模式，其中在压缩期间并且由压缩结果指导动态地创建各模式。

在另一变种中，为了简化编码，可以把相同的比特数量用于两个方向(X和Y)。下面，我们考虑静态地创建模式表，并在压缩开始之前存储模式表。参见表1的一组示例Δ模式，其中B＝512,N＝4,M＝3,A＝32,T＝32。

表1.示例Δ模式表

给定块尺寸和用于压缩的比特预算，在可用于Δ值和残差值的比特数量之间存在折衷。并非X、Y和R的所有组合都是相关的。如果R可以增加至少一个比特，减少X和/或Y才是有意义的。这限制了可用模式的数量。

需要满足下列条件才能允许块的压缩：

T*log2(N)+N*(M+A+X+Y)+(T–N*3)*R<B，

其中，

B＝允许压缩的总比特预算，

N＝锚点的数量，

M＝表示用于锚点的模式的log2(模式的数量)比特，

A＝用于锚点深度值的比特数量，

X＝用于Δ-X矢量的比特数量，

Y＝用于Δ-Y矢量的比特数量，

T＝块中的总的深度数量，

R＝用于残差深度值的比特数量。

T*log2(N)项保留了块中的每深度log2(N)比特，以便指示深度正在使用哪一平面方程。(T-N*3)项暗示锚点深度以及一阶导数(dZ/dX和dZ/dY)是精确的，即，它们不要求存储残差比特。在另一实施例中，锚点和第一次序导数都不是精确的，这将也要求用于那些深度的残差比特，使得上面的不等式的最后的项是T而不是(T–N*3)。如果锚点是精确的但导数不是，项改为变成(T–N)。在上面的示例中，锚值以及导数准确地落在正确的深度值，这通常是合理的假设。

根据一种实施例，用于选择每一锚点的模式的算法如下所示：

构建带有2M行的表，其存储为每一方向(X和Y)分配的Δ比特的数量。例如参见表1。然后，给定N锚点位置，其中N＝1,2,3,…,T(通常在1和4之间)。接下来，对于每一锚点，计算表示Δ矢量所要求的最小比特数量。通过简单地从锚点的深度到右边的(或左边的)邻居计算Δ矢量以便得到dZ/dX，以及从锚点的深度到上面的(或下面的)邻居计算Δ矢量以便得到dZ/dY，并检查需要多少比特(通过查找第一比特组和最高有效比特组)，可以进行这一步骤。选择带有最大的残差比特数量的相应模式，作为这一锚点的模式。

这种简单方案的优点是它允许压缩更多块，最终，这减少用于深度的存储器带宽使用(这是图形处理器中的带宽的显著使用者)。例如，可以压缩在相同时刻仅需要几个每深度残差比特的带有大的Δ矢量的块。类似地，也可以压缩要求许多残差比特的带有小的Δ矢量的块。

由于不足的准确度和/或精度，又由于极端平面表示或仅由于复杂块数据，平面预测器需要每块位置的残差比特来调整到正确深度值。取决于预测中的不准确性的量，编码在预测值和正确值之间的差异实际上需要变化的残差比特数量。

我们建议使用带有每块位置一个条目的残差模式掩码来存储指示该位置需要多少残差比特的指示符。目的是把尽可能少的比特用于每一位置，得到所要求的比特的整体最小值。

可以给用于每一位置的残差比特的可能数量静态地指派适当的值，或者可以基于块数据动态地计算该数量。

对于动态地指派的残差模式，在一种实施例中，算法如下工作：

在块的压缩期间，把预测器深度与实际深度进行比较，并计算残差值。然后，选择最短模式(即，捕捉具有最少比特数量的所要求的差的模式)以便编码残差。接下来，把相应的模式值填充在残差模式掩码中。最终，把残差模式掩码存储在已编码的块数据中。

可以用示例阐释该技术。

表2.带有四种模式的示例残差模式表

表3.带有相应编码的4x4像素的示例块

	X0	X1	X2	X3
					Y0	00	00	01	10
Y1	00	01	11	00
					Y2	00	10	01	00
Y3	01	00	00	00

在该示例中，残差的总比特数量是90(9x2+4x8+2x12+16)，这是因为存在使用2比特的模式00的9个实例，等等。存储满值残差得到256比特(16x16)。

在这一示例中，我们将2比特值用于每一深度值。然而，也可以选择把2比特值用于每一2x2深度(为了减少所使用的2比特值的数量)。通常，每一WxH深度可以使用Q个比特来指示模式。

对于静态指派，我们可以提供每块若干模式以便从中选择。例如，一种模式可以是残差比特以完全均匀的方式在深度上散布。另一模式可以在较接近该深度所处块的锚点处使用较少比特且在较远离该深度所处块的锚点处使用较多比特。

尽管已经描述了使用基于锚编码的压缩技术的一种实施例，但动态残差位分配也可以用于编码残差的任何压缩器。动态Δ值位分配也可能与其他预测器一起使用。例如，如果我们把双线性面片(bilinear patch)(由四个深度值加上它们的x,y位置创建)用作预测器，我们可以把该面片编码为一个锚点和两个Δ矢量，且然后用于第四点的残差值，该残差值是在来自前三个点的平面方程和第四点之间的差异。可以按以上对锚编码所描述的相似的方式动态地指派耗费在这两个Δ矢量和第四点的残差比特上的比特数量。同样的方法也可以容易地应用到其他预测器函数。

参见图1，装置10可以包括光栅器和一系列像素管线14a-14n。可以为每一像素管线提供深度测试单元16a-16n。深度缓存和剔除单元18可以用于深度值剔除。在压缩器20处可以进行压缩，且在解压缩器24处可以进行解压缩。也可以提供Δ模式表22(类似表1)。最终，可以为压缩和解压缩引擎提供随机存取存储器26。

参见图2，可以在硬件、软件和/或固件中实现用于锚点的模式选择序列30。在软件和固件实施例中，它可通过存储在诸如磁、光或半导体存储等的非暂态计算机可读介质中的计算机执行指令来实现。

用于锚点的模式选择从构建用于Δ比特的表开始，如框32中所指示的。然后，在框34中给出锚点位置。最终，在框36中计算表示每一锚点的每一Δ矢量的比特。

用于动态残差值位分配的序列38可实现在软件、固件和/或硬件中。在软件和固件实施例中，它可通过存储在诸如磁、光或半导体存储等的非暂态计算机可读介质中的计算机执行指令来实现。

该序列从把所预测深度与实际深度进行比较开始，如框40中所指示的。然后，计算残差值，如框42中所示出的。

然后，选择编码残差值比特的最短模式(框44)。在残差模式掩码中填充模式值(框46)。最终，残差模式掩码被存储在经编码的块数据中，如框48中所指示的。

如图4中所示出的计算机系统130可以包括通过总线104耦合至芯片组核心逻辑110的硬驱动器134和可移动介质136。计算机系统可以是任何计算机系统，包括诸如智能电话、平板或移动因特网设备等的智能移动设备。键盘和鼠标120或其他常规组件可以经由总线108耦合到芯片组核心逻辑。在一种实施例中，核心逻辑可以经由总线105耦合到图形处理器112和中央处理器100。图形处理器112也可以由总线106耦合到帧缓冲器114。帧缓冲器114可以由总线107耦合到显示器屏幕118。在一种实施例中，图形处理器112可以是利用单指令多数据(SIMD)架构的多线程、多核并行处理器。

在软件实现的情况下，可将有关代码存储在任何适当的半导体、磁或光存储器中，包括主存储器132(如139示出的那样)或图形处理器中任何可用的存储器。因而，在一种实施例中，执行图2和图3的序列的代码可被存储在诸如存储器132和/或图形处理器112和/或中央处理器100等的非暂态机器或计算机可读介质中，且在一种实施例中该代码可由处理器100和/或图形处理器112执行。

图2和图3是流程图。在一些实施例中，这些流程图中描述的序列可以以硬件、软件或固件来实现。在软件实施例中，诸如半导体存储器、磁存储器或光存储器之类的非暂态计算机可读介质可用于存储指令，且可由处理器执行以实现图2和图3中所示出的序列。

在此所描述的图形处理技术可在各种硬件架构中实现。例如，图形功能性可以被集成在芯片组内。替代地，可以使用分立的图形处理器。作为又一实施例，图形功能可由包括多核处理器的通用处理器实现。

贯穿本说明书对“一个实施例”或“一种实施例”的引用意味着结合该实施例描述的特定特征、结构或特性包括在本发明包含的至少一种实现中。因而，短语“一种实施例”或“在一种实施例中”的出现是并不必定指代相同的实施例。此外，可按照与所说明的特定实施例不同的其他适当形式来创立特定的特征、结构或特性，而且所有此类形式可涵盖在本申请的权利要求中。

虽然已经参照有限数量的实施例描述了本发明，但本领域技术人员将会理解从中得出的多种修改和变化。预期所附权利要求覆盖落入本发明的真实精神和范围中的所有这些修改和变化。

Claims (20)

1.一种用于图形处理的方法，包括：

使用图形处理器通过以下步骤来压缩深度数据：根据T*log2(N)+N*(M+A+X+Y)+(T-N*3)*R<B来分配用来为个体块位置编码残差值的比特数量，其中，B是允许对深度数据的压缩的总比特数量，N是锚点的数量，M是表示用于锚点的模式的log2(模式的数量)比特，A是用于锚点深度值的比特数量，X是用于Δ-X矢量的比特数量，Y是用于Δ-Y矢量的比特数量，T是块中的总的深度数量，并且R是用于残差深度值的比特数量。

2.如权利要求1所述的方法，包括改变用来启用Δ值的比特数量。

3.如权利要求1所述的方法，包括使用锚点编码。

4.如权利要求2所述的方法，包括选择用于Δ-X矢量和Δ-Y矢量的比特数量，并指派每深度残差比特的数量。

5.如权利要求4所述的方法，包括允许选择用于Δ-X矢量、Δ-Y矢量和每深度残差比特的比特数量中的每一种。

6.如权利要求2所述的方法，包括提供多种可选择模式，每一模式指定用于Δ-X矢量、Δ-Y矢量和每深度残差比特的具体比特数量。

7.如权利要求6所述的方法，包括为锚点计算表示Δ矢量所需要的最小比特数量。

8.一种用于图形处理的设备，包括：

压缩装置，用于通过以下操作来压缩深度数据：根据T*log2(N)+N*(M+A+X+Y)+(T-N*3)*R<B来分配用来为个体块位置编码残差值的比特数量，B是允许对深度数据的压缩的总比特数量，N是锚点的数量，M是表示用于锚点的模式的log2(模式的数量)比特，A是用于锚点深度值的比特数量，X是用于Δ-X矢量的比特数量，Y是用于Δ-Y矢量的比特数量，T是块中的总的深度数量，并且R是用于残差深度值的比特数量。

9.如权利要求8所述的设备，还包括用于改变用来启用Δ值的比特数量的改变装置。

10.如权利要求8所述的设备，还包括用于使用锚点编码的编码装置。

11.如权利要求9所述的设备，还包括用于选择用于Δ-X矢量和Δ-Y矢量的比特数量并指派每深度残差比特的数量的选择装置。

12.如权利要求11所述的设备，还包括用于允许选择用于Δ-X矢量、Δ-Y矢量和每深度残差比特的比特数量中的每一种的允许装置。

13.如权利要求9所述的设备，还包括用于提供多种可选择模式的指令，每一模式指定用于Δ-X矢量、Δ-Y矢量和每深度残差比特的具体的比特数量的提供装置。

14.如权利要求13所述的设备，还包括用于为锚点计算表示Δ矢量所需要的最小比特数量的计算装置。

15.一种用于图形处理的装置，包括：

处理器，所述处理器用于通过以下操作来压缩深度数据：根据T*log2(N)+N*(M+A+X+Y)+(T-N*3)*R<B来分配用来为个体块位置编码残差值的比特数量，其中，B是允许对深度数据的压缩的总比特数量，N是锚点的数量，M是表示用于锚点的模式的log2(模式的数量)比特，A是用于锚点深度值的比特数量，X是用于Δ-X矢量的比特数量，Y是用于Δ-Y矢量的比特数量，T是块中的总的深度数量，并且R是用于残差深度值的比特数量；以及

存储设备，所述存储设备耦合到所述处理器。

16.如权利要求15所述的装置，所述处理器改变用来启用Δ值的比特数量。

17.如权利要求15所述的装置，所述处理器使用锚点编码。

18.如权利要求16所述的装置，所述处理器选择用于Δ-X矢量和Δ-Y矢量的比特数量并指派每深度残差比特的数量。

19.如权利要求18所述的装置，所述处理器允许用于Δ-X矢量、Δ-Y矢量和每深度残差比特的比特数量中的每一种的所述选择。

20.如权利要求16所述的装置，所述处理器以提供多种可选择模式，每一模式指定用于Δ-X矢量、Δ-Y矢量和每深度残差比特的具体比特数量。