CN107464208A - 一种图形绘制流水线中像素着色结果重用方法 - Google Patents

Abstract

本发明公开了一种图形绘制流水线中像素着色结果重用方法，包括：1)为输入图元生成对应像素空间的像素、粗像素和粗像素集合，2)在像素空间为每一个粗像素生成键值K，并按照此键值K为每个粗像素于粗像素缓存中查找与其相对应、属于不同图元且执行过粗像素着色器的粗像素；对于搜索到的不同图元的缓存结果，遍历并判断缓存的粗像素的着色结果能否重用到该粗像素上；3)若m个粗像素都找到可以重用的着色结果，则对该m个粗像素重用缓存中的着色结果；否则，对该m个粗像素执行粗像素着色器得到着色结果，并将该着色结果存储于缓存中；4)对步骤3)中得到的着色结果，利用插值或重新执行像素着色器获得最终的像素着色结果。

Description

一种图形绘制流水线中像素着色结果重用方法

技术领域

本发明涉及实时绘制领域，尤其涉及一种图形绘制流水线中像素着色结果重用方法。

背景技术

当前，在图形硬件以及实时应用当中，执行逐像素着色计算会消耗很大一步部分计算资源，因此，如何减少这种着色的代价对于图形应用开发者和显卡架构来说都是一个很大挑战。而许多被提出来解决这一问题的应用都基于一个基础的想法：重用着色结果。

Akeley提出的MSAA是当前GPU中常见的一项功能，通过将一次着色计算的结果重用到一个像素当中的多个采用点中，减少了着色计算的调用次数。但是这种重用在模型集合特别复杂，比如多个三角形覆盖同一个像素，因为MSAA需要为一个三角形至少调用一次着色计算，导致着色代价快速上升。针对这个问题，Fatahalian提出QFM实现了在邻接三角形中共享着色计算结果以减少着色计算。Ragan-Kelly提出了一种将着色和可见性计算解耦的图形管线，在这个管线当中，着色计算的结果被存储在以每一个三角形为单位的图像空间的着色网格中，并被重用到不同的可见性样本点中。这种思路也同样被应用到延迟绘制中，在Clarberg，Liktor等人的算法中，着色计算时发生在可见性判断之后。Crassin提出了一种聚合G-Buffer(几何缓冲)的表示来近似一个像素内部的集合，从而实现着色计算比率和几何采样比率的解耦。

着色重用不仅仅只涉及到几何复杂度，它同时也可以通过多频率的着色信号实现。Kircher,Natalya等使用了一个简单的实现，那就是先直接计算并存储着色方程当中的低频信号，在第二个绘制过程中再使用这些低频信号生成高频的逐像素着色信息。Hasselgren则提出一种多频率着色，那就是在像素着色器执行之前，在Tile上执行裁剪。

Wang则提出了一种将逐像素的计算移动到逐顶点上的自动优化方法。He则提出了一种能够让用户快速探索多频率着色优化结果的系统。

除此之外，He拓展了传统的渲染管线，他设计了两级着色步骤，也就是粗糙着色和精细着色来执行多频率着色。Vaidyanathan提出了类似的方法，他是用粗糙像素着色来限制并将着色率量化到一个有限的屏幕空间网格集中。

除了这些屏幕空间的做法之外，一些急于物体空间的着色重用也被提出了。在离线绘制框架中，Reyes在微多边形中计算并差值着色结果。Burns则提出了在一个统一的物体空间网格中重用着色而不是微多边形。Clarberg则更进一步的将物体空间的方法和多频率着色结合在一起，并通过在不同尺寸的物体空间网格上执行着色来实现了物体空间的多频率着色。

但是以上的方法都需要一个基础的图元，着色结果并不能在不同的基础图元之间重用。

发明内容

针对现有方法的不足，本发明提出了一种图形绘制流水线中像素着色结果重用方法，该方法在流水线执行中执行缓存过的着色计算，并通过缓存重用着色器在不同的基础图元之间实现着色结果的重用，降低了着色计算的代价。

本发明的技术方案为：

一种图形绘制流水线中像素着色结果重用方法，包括以下步骤：

(1)为输入图元生成对应像素空间的像素、粗像素和粗像素集合，其中，每个粗像素包含n个像素，每个粗像素集合包含m个粗像素，n和m为非0自然数；

(2)在像素空间为每一个粗像素生成键值K，并按照此键值K为每个粗像素于粗像素缓存中查找与其相对应、属于不同图元且执行过粗像素着色器的粗像素；对于搜索到的不同图元的缓存结果，遍历并判断缓存的粗像素的着色结果能否重用到该粗像素上；

粗像素缓存包含已经计算过的粗像素的输入和执行过粗像素着色器之后的粗像素的着色结果；

(3)若组成一个粗像素集合的m个粗像素都找到可以重用的着色结果，则对该m个粗像素重用粗像素缓存中的着色结果；否则，对该m个粗像素执行粗像素着色器得到着色结果，并将该粗像素存储于缓存中；

(4)对步骤(3)中得到的着色结果，利用插值或重新执行像素着色器获得最终的像素着色结果。

步骤(1)中，为输入图元生成对应像素空间的像素、粗像素和粗像素集合这一过程与文章He,Yong,Yan Gu,and KayvonFatahalian."Extending the graphics pipelinewith adaptive,multi-rate shading."ACM Transactions on Graphics(TOG)33.4(2014):142.中所指的Coarse Fragment类似。每个粗像素包含n个像素，且n个像素对应2×2或4×4个像素。

所述的键值K能够同时应用到单视角绘制和多视角绘制过程中：

在单视角绘制过程中，查询视角v与生成粗像素的视角相同；

在多视角绘制过程中，查询视角v与生成粗像素的视角不一定相同。

在缓存中查找缓存粗像素时，若绘制的是单视角流水线，在当前查询视点下，生成每一个粗像素的键值K；若绘制的是多视角流水线，除了在当前查询视点下生成每一个粗像素的键值K之外，还需要在其他查询视点下，生成每一个粗像素的键值K’。

所述的键值K按照以下方式生成：

K＝h(q,n,v)

其中，h(q,n,v)为合适的哈希函数，q为当前粗像素的索引，n为当前粗像素对应的像素尺寸，若当前粗像素代表2×2像素时，则n为2×2，v为查询视角。

在多视角绘制过程中，新视点的键值K’通过以下方式获得：

首先，将当前粗像素从当前查询视点投影到需要查找的新视角v’中，获得新视角v’下，该当前粗像素的投影代表的像素尺寸px和位置pi；

然后，利用公式n＝1<<log2(px)获得当前粗像素在新视点的像素尺寸n’，从而得到对应的新索引q’＝pi/n’，最终生成当前粗像素在新视点的键值K’＝h(q’,n’,v’)。

与现有的管线类似，本发明的执行粒度都是按照m(m1×m1)个粗像素这样的粒度进行的。基于此，所述的像素尺寸px通过以下方式获得：

首先，将m个粗像素投影到新视角中，并获得每个粗像素在新视角中对应的像素位置pi；

然后，通过有限差分函数ddx(pi)、ddy(pi)计算得到每个粗像素在新视角中的投影对应的像素尺寸px。

不同图元在相同像素区域的覆盖(Coverage)可能不同，而且在另外的视点查找时，投影之后的像素位置未必和查找到的粗像素在同一个位置上。因此，为了后续执行缓存重用着色器，步骤(2)中查找得到的缓存粗像素需要与当前粗像素在像素空间对应起来，也就是在当前粗像素位置处，需要通过双线性插值生成缓存粗像素以及与该缓存粗像素对应的着色结果。

步骤(2)中，将于当前粗像素位置处的k个缓存粗像素分别与该当前粗像素执行缓存重用着色器，进而判断缓存的着色结果能否重用到当前粗像素中。

所述的缓存重用着色器的输入除了全局输入外，还包括一些系统提供的语义，该语义包括：当前生成粗像素的描述(如输入属性、所属视点等)、查找得到的缓存粗像素的描述(如输入属性、着色结果、所属视点等)。

步骤(3)中，将m个粗像素执行粗像素着色器得到着色结果存储于缓存中的具体步骤为：

将生成的粗像素在当前查询视点处按照上述方式生成键值K＝h(q,n,v)；

缓存执行过粗像素着色器的着色结果、与缓存重用着色器对应的当前粗像素着色器的输入。

本发明中，用于存储执行粗像素着色器得到着色结果的结构是一种近期最少使用(Least Recently Used，LRU)算法。该算法可以预先设定最大占用内存大小M，M＝1k～128k。只有当绘制结束、缓存已满且还有新着色结果需要缓存时，才会依照最少使用的顺序删除缓存当中存储的着色结果记录。

因为同样一篇屏幕区域，可能覆盖有多个图元，因此，对应同样的键值K，本发明会最多存储最近生成的k个粗像素，k＝1～5。

步骤(4)中的选择策略与具体实现过程与文章He,Yong,Yan Gu,andKayvonFatahalian."Extending the graphics pipeline with adaptive,multi-rateshading."ACM Transactions on Graphics(TOG)33.4(2014):142.中所述一致。

本发明具有的有益效果为通过复用之前执行过粗像素着色器的着色效果，减少了粗像素着色器的执行次数，从而降低了整体需要执行的指令条数，提高了绘制效率。

附图说明

图1是本发明图形绘制流水线中像素着色结果重用方法的流程图；

图2是实施例中新视点的键值K’获取示意图；

图3是本发明方法与muli-rate shading方法的绘制代价的对比图。

具体实施方式

为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。

参见图1，本发明图形绘制流水线中像素着色结果重用方法，包括以下步骤：

S01，为输入图元生成对应像素空间的像素、粗像素和粗像素集合，其中，每个粗像素包含n个像素，每个粗像素集合包含m个粗像素，n和m为非0自然数。

本实施例中，采用文章He,Yong,Yan Gu,and KayvonFatahalian."Extending thegraphics pipeline with adaptive,multi-rate shading."ACM Transactions onGraphics(TOG)33.4(2014):142.中所指的Coarse Fragment的方式生成的粗像素集合由4(2×2)个粗像素组成，且4个粗像素分别位于左视点的像素(0,0)(7,0)(0,7)(7,7)处，每一个粗像素对应16(4×4)个像素。

S02，在像素空间为每一个粗像素生成键值K，并按照此键值K为每个粗像素于粗像素缓存中查找与其相对应、属于不同图元且执行过粗像素着色器的粗像素。

S02的具体过程为：

S02-1，根据当前粗像素在当前查询视点生成查找所需键值K。所述的键值K按照以下方式生成：

K＝h(q,n,v)

其中，h(q,n,v)为合适的哈希函数，q为当前粗像素的索引，n为当前粗像素对应的像素尺寸，v为查询视角。

本实施例中，生成的4个粗像素的查询视角v都为0，表示左视角；n为4×4，索引q分别为(0,0)(1,0)(0,1)(1,1)。

S02-2，按照S02-1中的键值K于缓存中查找存储的缓存粗像素。若绘制的是多视角管线，在缓存中查找缓存粗像素时，除了在当前视点查找之外，还需要在其他视点继续查找。

参见图2，在多视角绘制过程中，新视点的键值K’通过以下方式获得：

首先，将m个粗像素投影到新视角中，并获得其在新视角中对应的像素位置pi；

然后，通过有限差分函数ddx(pi)、ddy(pi)计算得到每个粗像素在新视角中的投影对应的像素尺寸px；

最后，利用公式n＝1<<log2(px)获得当前粗像素在新视点的像素尺寸n’，从而得到对应的新索引q’＝pi/n’，最终生成当前粗像素在新视点的键值K’＝h(q’,n’,v’)。

本实施例中，绘制的是多视角管线。在对上述4个粗像素，分别按照生成的键值K在缓存中查找是否存在着色结果，结果并没有在当前视点查找到对应的着色结果，亦即v＝0时，不存与当前4个粗像素对应的着色结果。

接下来，尝试于右视点(v＝1)中查找是否存在与当前4个粗像素对应的着色结果，具体过程为：

(a)计算4个粗像素投影到右视角中，获得其在新视角中对应的像素位置pi为(10.4,0)(17.9,0)(10.6,7)(17.8,7)；

(b)通过有限差分函数ddx(pi)、ddy(pi)计算得到4个粗像素在右视角中的投影对应的像素尺寸px分别为(4.25,4)，(4.25,4)，(4.1,4)，(4.1,4)；

(c)利用公式n＝1<<log2(px)获得4个粗像素在右视点的像素尺寸n’为4×4，v’为1，对应的新索引q’分别为(2,0)，(3,0)，(2,1)，(3,1)，进而确定4个粗像素在右视点的新键值K’。

利用新键值K’查找获得了与4个粗像素对应的着色结果。但在右视角查找时由于扭曲导致粗像素并不严格对应，如第1个粗像素投影后的位置(10.4,0)并没有刚好落在像素中心。因此，为了后续执行缓存重用着色器，S02中查找得到的缓存粗像素需要与当前粗像素在像素空间对应起来，也就是在当前粗像素位置处，需要通过双线性插值生成缓存粗像素以及与该缓存粗像素对应的着色结果。

S03，判断S02中查找得到的缓存粗像素的着色结果能否重用到该粗像素中。具体为：将于当前粗像素位置处的k个缓存粗像素分别与该当前粗像素执行缓存重用着色器，进而判断缓存的着色结果能否重用到当前粗像素中。

本实施例中，使用的缓存重用着色器如下：

针对同一个键值K，在在缓存中找到了2个对应的执行过的缓存粗像素，对于每一个找到的缓存粗像素，都执行reuse函数，直到找到第1个可以复用的缓存粗像素。

其中Coarse_In in、Coarse_out out、intquery_view_id分别表示当前生成粗像素的输入和输出，及对应的视点。Coarse_In表示的是粗像素的输入类型，包括位置(pos)和法线(norm)信息。Coarse_out表示的粗像素着色器的输出，包括漫反射光(diff)和镜面反射光(spec)等信息。CachedIN、CachedOUT、cache_view_id分别表示找到的缓存粗像素的输入、输出以及对应的视点。

在这个缓存重用着色器中，判断能否复用的依据在于生成的粗像素与缓存粗像素在空间位置以及法线上是否足够相似，并且考虑了在跨视点的情况下，需要保证它们的反射光差别不要太大。如果判断成功(缓存重用着色器返回真)，则直接重用着色结果；否则继续为下一个在缓存中找到的粗像素执行结果执行缓存重用着色器。

S04，判断组成一个粗像素集合的m个粗像素是否都找到可以重用的着色结果，若是，执行S05，若否，执行S06。

S05，对该m个粗像素重用缓存中的着色结果。

S06，对该m个粗像素执行粗像素着色器，得到着色结果，并将该粗像素存储于缓存中。

将着色结果存储于缓存中的具体过程为：将生成的粗像素在当前视点处按照S02-1中的方式生成键值K＝h(q,n,v)；缓存执行过的粗像素着色器、除了粗像素着色器的执行结果之外，还需要按照缓存重用着色器来存储对应的当前粗像素着色器的输入。

本实施例中，生成的4个粗像素中只有3个找到了可以复用的着色结果，故4个生成的粗像素都需要执行粗像素着色器。在执行完成后，需将所有生成的输出(diff,spec,rdotl)以及缓存重用着色器所需要的输出(norm,pos)存储到缓存中。此时的键值K和S02-1中生成的键值K是一致的。

本实施例中，用于存储执行粗像素着色器得到着色结果的结构是一种近期最少使用(Least Recently Used，LRU)算法。该算法可以预先设定最大占用内存大小M＝32kB。只有当绘制结束、缓存已满且还有新着色结果需要缓存时，才会依照最少使用的顺序删除缓存当中存储的着色结果记录。

因为同样一篇屏幕区域，可能覆盖有多个图元，因此，对应同样的键值K，本实施例中会最多存储最近生成的2个粗像素。

S07，对S05和S06中得到的着色结果，利用插值或重新执行像素着色器获得最终的像素着色结果。

本实施例中，S05和S06中得到的着色结果为：当前像素区域的着色信号频率较低，故可以直接差值。对每一个像素通过双线性差值，生成精细的着色信号，并执行需要逐像素执行的着色器，生成最终着色结果。

图3给出了使用本发明的重用方法相比于He,Yong,Yan Gu,andKayvonFatahalian."Extending the graphics pipeline with adaptive,multi-rateshading."ACM Transactions on Graphics(TOG)33.4(2014):142.方法在绘制效率上的提升。

图3从左到右分别给出了绘制结果样例，图3(a)为原图，图3(b)中显示采用muli-rate shading方法的绘制代价为42％，图3(c)中显示采用本发明方法在一个视角上重用的绘制代价为35.9％，图3(d)中显示本发明方法在多个视角上重用的绘制代价为27.9％。从以上图可以明显地得出：本发明方法在流水线执行中执行缓存过的着色计算，并通过缓存重用着色器来在不同的基础图元之间实现着色结果的重用，降低了着色计算的代价。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种图形绘制流水线中像素着色结果重用方法，包括以下步骤：

(1)为输入图元生成对应像素空间的像素、粗像素和粗像素集合，其中，每个粗像素包含n个像素，每个粗像素集合包含m个粗像素，n和m为非0自然数；

(2)在像素空间为每一个粗像素生成键值K，并按照此键值K为每个粗像素于粗像素缓存中查找与其相对应、属于不同图元且执行过粗像素着色器的粗像素；对于搜索到的不同图元的缓存结果，遍历并判断缓存的粗像素的着色结果能否重用到该粗像素上；

粗像素缓存包含已经计算过的粗像素的输入和执行过粗像素着色器之后的粗像素的着色结果；

(3)若组成一个粗像素集合的m个粗像素都找到可以重用的着色结果，则对该m个粗像素重用粗像素缓存中的着色结果；否则，对该m个粗像素执行粗像素着色器得到着色结果，并将该粗像素存储于缓存中；

(4)对步骤(3)中得到的着色结果，利用插值或重新执行像素着色器获得最终的像素着色结果。

2.如权利要求1所述的图形绘制流水线中像素着色结果重用方法，其特征在于，若绘制的是单视角流水线，在当前查询视点下，生成每一个粗像素的键值K；若绘制的是多视角流水线，除了在当前查询视点下生成每一个粗像素的键值K之外，还需要在其他查询视点下，生成每一个粗像素的键值K’。

3.如权利要求2所述的图形绘制流水线中像素着色结果重用方法，其特征在于，所述的键值K按照以下方式生成：

K＝h(q,n,v)

其中，h(q,n,v)为合适的哈希函数，q为当前粗像素的索引，n为当前粗像素对应的像素尺寸，v为查询视角。

4.如权利要求3所述的图形绘制流水线中像素着色结果重用方法，其特征在于，在多视角绘制过程中，新视点的键值K’通过以下方式获得：

首先，将当前粗像素从当前查询视点投影到需要查找的新视角v’中，获得新视角v’下，该当前粗像素的投影代表的像素尺寸px和位置pi；

然后，利用公式n＝1<<log2(px)获得当前粗像素在新视点的像素尺寸n’，从而得到对应的新索引q’＝pi/n’，最终生成当前粗像素在新视点的键值K’＝h(q’,n’,v’)。

5.如权利要求4所述的图形绘制流水线中像素着色结果重用方法，其特征在于，所述的像素尺寸px通过以下方式获得：

首先，将m个粗像素投影到新视角中，并获得每个粗像素在新视角中对应的像素位置pi；

然后，通过有限差分函数ddx(pi)、ddy(pi)计算得到每个粗像素在新视角中的投影对应的像素尺寸px。

6.如权利要求1所述的图形绘制流水线中像素着色结果重用方法，其特征在于，步骤(2)中查找得到的缓存粗像素需要与当前粗像素在像素空间对应起来，在当前粗像素位置处，需要通过双线性插值生成缓存粗像素以及与该缓存粗像素对应的着色结果。

7.如权利要求1所述的图形绘制流水线中像素着色结果重用方法，其特征在于，步骤(2)中，将于当前粗像素位置处的k个缓存粗像素分别与该当前粗像素执行缓存重用着色器，进而判断缓存的着色结果能否重用到当前粗像素中。

8.如权利要求7所述的图形绘制流水线中像素着色结果重用方法，其特征在于，所述的缓存重用着色器的输入除了全局输入外，还包括一些系统提供的语义，该语义包括：当前生成的粗像素的描述、查找得到的缓存粗像素的描述。

9.如权利要求1所述的图形绘制流水线中像素着色结果重用方法，其特征在于，步骤(3)中，将m个粗像素执行粗像素着色器得到着色结果存储于缓存中的具体步骤为：

将生成的粗像素在当前查询视点处按照权利要求3中所述的方式生成键值K＝h(q,n,v)；

缓存执行过粗像素着色器的着色结果与缓存重用着色器对应的当前粗像素着色器的输入。