CN103999443A - 基于线性化5d边缘方程的样本剔除 - Google Patents

Abstract

本发明介绍了使用基于三角形边缘的测试以便获得高效率的五维光栅化技术。五维边缘方程的紧凑公式被用于在表达为仿射超平面的五维中导出与图块测试相比是守恒的三角形边缘。

Description

基于线性化5D边缘方程的样本剔除

背景

本发明涉及图形处理并且具体地涉及运动模糊和景深的图形描绘。

运动模糊是减少瞬时混叠(temporal aliasing)且使得运动内容显得更平滑的重要的视觉效果。然而，运动模糊的高效渲染在实时三维图形学中不是易事。在运动模糊的复杂光栅化中，运动几何图元在空间和时间二者上被采样，使用大的样本集合来获得具有低噪声水平的高质量运动模糊图像。对于样本位置中的每一个而言，执行内部测试以便确定运动图元是否覆盖样本。在x、y和t空间中的这种重叠测试通常比传统光栅器中的内部测试耗费更多。

景深是源自真实照相机的有限孔径的效应，并且使得离焦物体显得模糊。在景深的复杂光栅化中，几何图元在空间中而且在照相机透镜上均被采样。

支持同步的运动模糊和景深的复杂光栅器为五维(5D)域(x，y，u，v，t)中的每个三角形执行可见性测试。这个域由空间位置(x，y)、透镜坐标(u，v)和时间t组成。这些可见性测试在计算上比标准2D光栅化中的单一的可见性测试耗费更多。附加地，对于每个三角形，逐个像素地执行许多(例如，16-64)这种测试，以便获得具有低噪声水平的图像。

附图简要说明

参照以下附图描述一些实施例：

图1是一个实施例的流程图；以及

图2是一个实施例的示意图描绘。

详细说明

五维光栅化技术包括基于三角形边缘的图块测试。依据这种测试，可避免许多可见性测试，通过一些实施例增加了光栅化效率。一种五维边缘方程的紧凑公式被用于在五维中导出与图块(tile)测试相比是守恒的(conservative)三角形边缘。

来自具有线性顶点运动和景深的三角形的5D边缘方程可被写为：

e(x，y，u，v，t)＝(n(t)+m(t)×(u，k v，0))·(x，y，1) (1)    (1)

其中n(t)和m(t)是t的二次向量，并且在2D均匀(2DH)坐标中执行所有计算，其中顶点被定义为p＝(p_x，p_y,p_w)。导出项见下文。

我们假定世界空间中有线性的顶点运动，从而使得顶点根据p(t)＝(1-t)q+tr运动。景深是剪辑空间中的剪切(shear)，其在透镜坐标(u，v)上被参数化，并且可被视为将向量c(t)(u，k，v，0)应用到顶点位置。函数c(t)＝(1-t)c⁰+tc¹是顶点p的剪辑空间弥散圆，并且k＞0是校正非正方形纵横比的扩展系数。注意，c(t)是带符号的弥散圆并且可以是负的。

通过下式给出具有散焦和运动模糊的剪辑空间顶点位置：

p′(t)＝p(t)+c(t)(u，k v，0)

5D边缘方程在2DH中的范数通过下式定义：

p′₀(u，v，t)×p′₁(u，v，t)＝(p₀(t)+c₀(t)(u，k v，0))×(p₁(t)+c₁(t)(u，k v，0))＝p₀(t)×p₁(t)+(c₁(t)p₀(t)-c₀(t)p₁(t))×(u，k v，0)

首项p₀(t)×p₁(t)可表达为：

p₀(t)×p₁(t)＝(at²+bt+c)＝n(t)

这是来自运动模糊光栅化的时间相关的边缘方程。

如果我们引入m(t)＝c₁(t)p₀(t)-c₀(t)p₁(t)(其在t中是二次的)，我们可将边缘方程写为e(x，y，u，v，t)＝(n(t)+m(t)×(u，k v，0))·(x，y，1)。为了本说明的目的，我们定义在边缘以外e＞0，即，可剔除的样本。

我们寻找5D边缘方程的下边界，其表达为xyuvt空间中的仿射超平面其中，x＝(1，x，y，u，v，t)，在屏幕空间图块R：[x_min，x_max]×[y_min，y_max]中有效，从而使得针对屏幕空间图块内的所有样本，e(x，y，u，v，t)＞a·x。图块R可以是屏幕空间中的较小的轴对准区域，或者甚至为运动且散焦的三角形的整个边界框。

我们重新计算每个图块的超平面近似，并且使用该平面来剔除有效xyuvt域内的样本。如果有效样本的超立方体全部在超平面之外，则可剔除图块。更准确地，选择超立方体在超平面法线的负方向上最远的角c。如果a·c＞0，可安全地剔除该图块。在xyuvt空间中对照超平面测试一个点总计有五个乘加操作(这可在定点运算中执行)。这可在图块水平和样本水平中均执行。

在一个实施例中，算法分层次地剔除不同大小的屏幕空间图块R中的样本。来自层级中的粗糙水平的计算和结果可被重新用作用于图块以更精细水平执行的计算的起点。

在一个实施例中，为了避免逐样本地计算o＝a_const+a_xc_x+a_yc_y，o可被守恒地(conservatively)逐图块计算并且可在样本水平下重复使用。于是，对照超平面测试单独uvt样本花费三个乘加操作(这可在定点运算中执行)，但是相比于测算全超平面给出更低的剔除率。

我们还可使用超平面细化每个分量x，y，u，v，t的边界。总体上：其给出每个坐标轴的边界。例如，如果我们想要重新定义临时边界，我们使用来自上述公式的超立方体角c，并且针对每个三角形边，我们得到以下的不等式。

$t>-\frac{1}{a_t}(a_{\mathrm{const}}+a_x{c}_x+a_y{c}_y+a_u{c}_u+a_v{c}_v)$

右侧的总和项可从上述的平凡拒绝(trivial reject)测试中重复使用，并且附加代价是逐条边缘逐个图块的除法。

为了获得超平面近似，在一个实施例中，我们单独地计算n(t)·(x，y，1)和(m(t)×(u，kv,0))·(x，y，1)项的下线性边界。逐个屏幕空间图块R地重新计算这些边界。完成的近似得到xyuvt空间中的超平面。可拒绝这个平面之外的所有样本。对于屏幕空间图块中的所有样本而言，该平面是有效的剔除平面。

使用来自运动模糊光栅化[Munkberg等人，“层级复杂运动模糊光栅化”，HPG2011]的一种已知技术线性化5D方程的首项n(t)·(x，y，1)，从而使得

e_n＝n(t)·(x，y，1)＞o·(x，y，1)+γt.    (2)

为了确定e_m＝(m(t)×(u，kv,0)^T)·(x，y，1)＝d·(u，kv,0)的边界，我们首先确定m(t)的每个分量的边界并且将d＝(x，y，1)×m(t)表达为间隔的向量。针对透镜的有效区域内的所有(u，v)，e_m的下边界可被写为

$e_m>min({\hat{d}}_{x}u+{\hat{d}}_y\mathrm{kv})>\mathrm{\αu}+\mathrm{\βv}+\mathrm{\ξ},---\left(3\right)$

这是e_m的下边界，并且对于图块R内的所有时间和样本位置是守恒的。

为了导出α，β，ξ系数，我们在透镜的四个角处测算并且选择系数α，β，ξ，从而使得方程3成立。在一个实施例中，由 $\mathrm{\α}=\mathrm{avg}\left({\hat{d}}_x\right),\mathrm{\β}=\mathrm{kavg}\left({\hat{d}}_y\right)$ 和 $\mathrm{\ξ}=-0.5\left(\right|{\hat{d}}_x|+k|{\hat{d}}_y\left|\right)$ 给出粗糙系数集合，其中并且利用u和v在的范围内这一事实，其他实现方式是可能的。

直观地，对于在焦点上的三角形而言，|m(t)|是小的，并且边缘函数仅当在透镜上移动时才稍微地被扰动。

在一个实施例中，可通过将m(t)表达为二次贝塞尔函数来确定m(t)的边界：

m(t)＝(1-t)²b₀+2(1-t)tb₁+t²b₂.

其中：

$b_0=c_1^0{q}_0-c_0^0{q}_1,$

$b_1=\frac{1}{2}(c_1^0{r}_0+c_1^1{q}_0-c_0^0{r}_1-c_0^1{q}_1),$

$b_2=c_1^1{r}_0-c_0^1{r}_1.$

凸包(convex hull)特性使得我们通过简单地计算包含b₀，b₁和b₂的轴对准边界框(AABB)来确定m(t)的边界。可在三角形设定中逐个三角形边缘地完成这个定界计算一次。如果我们在t上具有边界，对于更紧的边界而言，伯恩斯坦扩展(Bernstein expansion)可被重新参数化(使用de Casteljau细分)。

组合方程2和3，我们已经表明：对于(x，y)∈R，(u，v)∈Ω和t∈[0，1]，e(x，y，u，v，t)＝e_n+e_m＞a·x.而言，其中x＝(1，x，y，u，v，t)并且a＝(ξ+o_z，o_x，o_y，α，β，γ)。

可通过测算每条边缘的剔除潜力来选择性地启用使用超平面进行的剔除。

相比于首先发现超平面并且然后将超平面与xyuvt立方体相交，我们可导出瞬时边界的更准确近似。使用u，v，x和y的边界，新的近似将边缘方程表达为t的二次标量函数。

5D边缘方程的第二项可被写为：

φ(u,v，t)＝m(t)·((u，kv，0)×(x，y，1))

对于某个屏幕空间图块，我们定义间隔向量

$\hat{s}=(\hat{u},k\hat{v},0)\×(\hat{x},\hat{y},1)=(k\hat{v},-\hat{u},\hat{u}\hat{y}-k\hat{v}\hat{x})$

其中，和表示屏幕空间图块R的图块范围，并且代表有效透镜区域。此外，令m(t)＝ft²+gt+h。现在引入：

$\begin{array}{c}\widehat{\mathrm{\φ}}\left(t\right)=(f\·\hat{s})t^2+(g\·\hat{s})t+(h\·\hat{s})\\ ={\widehat{\mathrm{\α}}}_m{t}^2+{\widehat{\mathrm{\β}}}_{m}t+{\widehat{\mathrm{\γ}}}_m.\end{array}$

注意：是t的标量函数，其中，每个系数是取决于屏幕空间范围、有效透镜区域以及m(t)向量的系数的间隔。

类似地，我们可导出在屏幕空间图块上定界的标量函数：

我们将边界和加在一起，从而使得我们将整个边缘方程表达为t中的二次函数：

我们对ψ(u，v，t)＝0求解，并且沿袭与在前述工作中相同的方法来使用运动模糊的边缘方程来进行图块重叠测试。我们导出下线性边界ψ(t)＝at+b，其对于有效屏幕空间图块内的所有(u，v)∈[-1，1]×[-1，1]和所有(x,y)是守恒的。使用该下边界，我们求解t，其中ψ(t)＝0

注意，可在三角形设定中计算f、g和h，并且所增加的逐个图块的代价是要逐个图块地导出和 的计算是一些附加的指令，因为和下线性边界已经是超平面定界设定的一部分。

这种可替代近似在大幅运动模糊和仅稍微的景深的情况下可以是优选的。在景深是主要效果的情况下，第一测试更为高效。

相比于前述方法，我们的测试通过将5D边缘方程线性化来提取u、v和t之间的相互关系。不是单独地提取u、v和t中每一个中的形式为间隔的边界(这给出了uvt空间中的轴对准框)，总体情况下我们的边界被逐个三角形边缘地公式化为仿射超平面。

在最适度的运动和散焦的情况下，线性化是非常高效的，并且移除了大集合的潜在的样本点。

参照图1，可在软件、固件和/或硬件中实施样本剔除序列10。在软件和固件实施例中，它可由在非瞬态计算机可读介质(如半导体、磁或光学存储)中所存储的计算机执行指令来实现。例如，该序列可与图形处理器集成或者可存储在与图形处理器相关联的存储器中，诸如系统存储器，仅列举两个示例。

如框12中所示，根据一个实施例的序列10通过寻找五维边缘方程的在屏幕区域中有效的下边界开始。然后，导出xyuvt中的平面，如框14中所示。接下来，剔除超平面的一侧上的样本，如框16中所示。仅对未剔除的样本完成完整或完全可见性测试，如框18中所示。

图2所示的计算机系统130可包括通过总线104耦合到芯片集内核逻辑110的硬盘驱动器134和可移除介质136。键盘和鼠标120或其他常规组件可通过总线108耦合到芯片集内核逻辑。内核逻辑可在一个实施例中通过总线105耦合到图形处理器112以及主或主机处理器100。图形处理器112还可通过总线106耦合到帧缓冲器114。帧缓冲器114可通过总线107耦合到显示屏118。在一个实施例中，图形处理器112可以是使用单指令多数据(SIMD)架构的多线程多内核并行处理器。

在软件实现的情况下，相关代码可存储在图形处理器中的任何适当的半导体、磁、或光学存储器中，包括主存储器132或任意可用的存储器。因此，在一个实施例中，用于执行图1的序列的代码可存储在非瞬态机器或计算机可读介质中，如存储器132或图形处理器112，并且可在一个实施例中由处理器100或图形处理器112执行。

图1是流程图。在一些实施例中，该流程图中所描绘的序列可实现在硬件、软件或固件中。在软件实施例中，非瞬态计算机可读介质(诸如半导体存储器、磁存储器、或光学存储器)可用于存储指令并且可被处理器执行以便实现图1所示的序列。

在此所述的图形处理技术可在各种硬件架构中实现。例如，可将图形功能集成在芯片集中。可替代地，可使用离散图形处理器。作为另一个实施例，可通过通用处理器(包括多核处理器)实现图形功能。

贯穿本说明书提及的“一个实施例”或“一种实施例”是指在此结合实施例所述的特定特征、结构或特性包括在本发明中所包含的至少一种实现方式中。因此，短语“一个实施例”或“在一种实施例中”的出现并非必须指代相同的实施例。此外，特定的特征、结构或特性可被设置为其他合适的形式而不是所展示的特定实施例，并且所有这种形式可包含在本申请的权利要求书中。

尽管已经针对有限数量的实施例描述了本发明，本领域技术人员将认识到从其延伸的多种修改和变形。旨在所附权利要求书涵盖所有这种修改和变形，落入本发明的真实精神和范围中。

Claims (31)

1.一种方法，包括：

通过将五维边缘方程线性化来确定图形处理器中的图元的可见性。

2.如权利要求1所述的方法，包括：逐个图元边缘地将边界公式化为超平面。

3.如权利要求2所述的方法，包括：在uvxyt空间中简化到仿射超平面，其中u和v是透镜坐标，t是时间，x和y是屏幕空间的空间坐标。

4.如权利要求3所述的方法，包括：使用所述仿射超平面边界来确定每个图元边缘的x,y,u,v,t的单独范围的边界。

5.如权利要求1所述的方法，包括：当三角形经历景深和运动模糊二者时，使用基于三角形边缘的边界。

6.如权利要求2所述的方法，包括：使用所述超平面将所述五维空间分离为两个半空间并且剔除落入所述半空间之一中的所有样本。

7.如权利要求6所述的方法，包括：为每个屏幕空间图块重新计算所述超平面。

8.如权利要求7所述的方法，包括：通过测算所述超平面在屏幕空间图块中的下边界来剔除样本。

9.如权利要求8所述的方法，包括：测算更粗糙的屏幕空间图块的超平面，并且在更精细的屏幕空间图块处重新使用以剔除样本。

10.如权利要求1所述的方法，包括：为屏幕空间图块检测定界函数、对照所述定界函数测试所述图块内的样本以及剔除所述定界函数之外的样本。

11.如权利要求9所述的方法，包括：仅对未剔除的样本完成完全可见性测试。

12.一种非瞬态计算机可读介质，存储由图形处理器执行的用于以下动作的指令：

通过将五维边缘方程线性化来确定图元的可见性。

13.如权利要求12所述的介质，进一步存储指令，用于逐个图元边缘地将边界公式化为超平面。

14.如权利要求13所述的介质，进一步存储指令，用于在uvxyt空间中简化到仿射超平面，其中u和v是透镜坐标，t是时间，x和y是屏幕空间的空间坐标。

15.如权利要求14所述的介质，进一步存储指令，用于使用所述仿射超平面边界确定每个图元边缘的x,y,u,v,t的单独范围的边界。

16.如权利要求12所述的介质，进一步存储指令，用于当三角形经历景深和运动模糊二者时，使用基于三角形边缘的边界。

17.如权利要求13所述的介质，进一步存储指令，用于使用所述超平面将所述五维空间分离为两个半空间并且剔除落入所述半空间之一中的所有样本。

18.如权利要求17所述的介质，进一步存储指令，用于为每个屏幕空间图块重新计算所述超平面。

19.如权利要求18所述的介质，进一步存储指令，用于通过测算所述超平面在屏幕空间图块中的下边界来剔除样本。

20.如权利要求12所述的介质，进一步存储指令，用于为屏幕空间图块检测定界函数、根据所述定界函数测试所述图块内的样本以及剔除所述定界函数之外的样本。

21.如权利要求18所述的介质，进一步存储指令，用于仅对未剔除的样本完成完全可见性测试。

22.一种装置，包括：

处理器，用于通过将五维边缘方程线性化来确定图元的可见性；以及

存储器，耦合到所述处理器。

23.如权利要求22所述的装置，所述处理器用于逐个图元边缘地将边界公式化为超平面。

24.如权利要求23所述的装置，所述处理器用于在uvxyt空间中简化到仿射超平面，其中u和v是透镜坐标，t是时间，x和y是屏幕空间的空间坐标。

25.如权利要求24所述的装置，所述处理器用于使用所述仿射超平面来确定每个图元边缘的x,y,u,v,t的单独范围的边界。

26.如权利要求22所述的装置，所述处理器用于当三角形经历景深和运动模糊二者时，使用基于三角形边缘的边界。

27.如权利要求23所述的装置，所述处理器用于使用所述超平面将所述五维空间分离为两个半空间并且剔除落入所述半空间之一中的所有样本。

28.如权利要求24所述的装置，所述处理器用于为每个屏幕空间图块重新计算所述超平面。

29.如权利要求25所述的装置，所述处理器用于通过测算所述超平面在屏幕空间图块中的下边界来剔除样本。

30.如权利要求26所述的装置，所述处理器用于为屏幕空间图块检测定界函数、根据所述定界函数测试所述图块内的样本以及剔除所述定界函数之外的样本。

31.如权利要求30所述的装置，所述处理器用于仅对未剔除的样本完成完全可见性测试。