CN1889128A - 基于gpu的预计算辐射度传递全频阴影的方法 - Google Patents

Abstract

一种基于GPU的预计算辐射度传递全频阴影的方法，(1)利用光照环境图对一个场景进行照明，得到辐射传递函数B＝TL，其中矩阵T为辐射度传递矩阵，L为光源矩阵；(2)对辐射度传递矩阵T进行预计算；(3)利用小波变换对预计算后的辐射度传递矩阵T进行量化压缩，得到稀疏的辐射度传递矩阵；(4)对步骤(3)中稀疏矩阵的系数进行重新排序，将重要的矩阵项放到更靠前的位置；(5)对L进行快速小波变换，得到量化压缩后的稀疏光源矩阵L；(6)在GPU中，对T和L进行快速稀疏矩阵乘法完成重光照渲染。本发明利用GPU并行计算能力的数据结构和算法，在CPU负载和GPU负载之间、渲染速度和渲染质量之间达到了较好的平衡，在保持渲染质量的前提下，降低了内存的使用，并大幅度提高了渲染速度，达到了实时渲染全频阴影的目的。

Description

基于GPU的预计算辐射度传递全频阴影的方法

技术领域

本发明涉及一种实时渲染全频阴影的方法，特别是一种基于GPU的预计算辐射度传递全频阴影的方法。

背景技术

照片级真实感渲染(photorealistic rendering)一直是计算机图形学所追求的一个重要目标与方向。场景的自然光源重光照、复杂光传递现象应用于仿真、教育、娱乐等各种环境中，可以极大的提高渲染的真实感与沉浸感。在光传递现象中，阴影是一种常见而非常重要的现象。在用户对三维场景的感知过程中，阴影对人脑重构场景对象形状、对象深度等信息起着重要的作用，因而越来越多的应用于CG、虚拟现实、三维游戏等环境中。

阴影算法在计算机真实感图形学中具有重要的地位与悠久的历史。早期的阴影算法主要针对基于点光源的光照环境提出，阴影通常呈现为具有明确边界的“硬阴影(Hard shadow)”。但是在现实世界中，并不存在数学意义上的点光源，所有的光源都具有一定的形状与面积，从而使由光源产生的阴影具有由明到暗的过渡，通常被称为“软阴影(Soft shadow)”。另一方面，基于图像的光照(IBL)对阴影效果提出了更高的要求。在一张高动态范围(HDR)的光照图中，具有大量的光采样点。一幅具有24,576(6×64×64)个采样点的高分辨率光照图，可能同时存在多个低频的大面积光源和高频的小面积点光源，如何同时将这些光源对场景对象的照明效果表现出来，成为了新的挑战。面对这些问题，已经有很多算法被提出，其中主要包括以下的一些算法。

Assarsson“A Geometry-based Soft Shadow Volume Algorithmusing Graphics Hardware”in ACM Transactions on Graphics，2003，Volume 22，Number 3，Page 511-520.将用于照明的纹理进行编码，产生预计算的4D阴影表，在渲染时首先通过Shadow volume方法确定半影楔，然后通过查表法对半影楔所覆盖的范围进行逐像素的填充，最终完成阴影的构造。此方法的局限性在于其仅可以使用矩形或圆形的区域图像作为光源，而不能使用全方向的环境图作为光源。

Debevec“Acquiring the reflectance field of a human face”inSIGGRAPH，2000，Page 145-156.使用了环境图作为光源，并能够对凸对象产生简单的阴影效果。在这一方法中，基于JPEG的压缩方法达到了大约20∶1的压缩比例。此方法虽然实现了使用环境图作为光源的目标，但速度较慢，不能满足实时渲染的需求。

Sloan在“Precomputed radiance transfer for real-time rendering indynamic，low-frequency lighting environments”in ACM Transactions onGraphics，2002，Volume 21，Number 3，Page 527-536.中提出了预计算辐射度传递算法。预计算辐射度传递算法使用球面调和函数基进行预计算光照传递，在渲染时通过计算入射光的调和函数系数向量与每一个采样点的预计算光传递向量的点积，得到每一个采样点的重光照结果。为了达到实时渲染的目的，该算法在渲染过程中舍弃了高频信号，仅适用于低频的光照环境。Ren Ng等在“All-frequency shadows using non-linear wavelet lightingapproximation”in ACM Transactions on Graphics，2003，Volume 22，Number 3，Page 376-381.改进了Sloan的方法，使用了非线性小波对代替了球面调和函数，并在实时渲染的前提下实现了全频阴影效果。虽然该方法实现了实时渲染，但对内存的需求量大，并且在运行时仍然需要相当大量的计算，对CPU的负荷很重。并且由于该方法使用了非线性的小波计算方式，核心计算为在一个稀疏矩阵与一个稀疏向量之间进行乘法，因此也无法利用GPU进行加速。

基于GPU的计算也是近年来的一个研究热点。相对CPU而言，GPU具有非常强大的并行计算能力。到目前为止，在消费级显示设备上，借助大量的并行流水线设计，GPU的计算能力已经远远超过CPU。在MAD指令性能测试中，ATI Radeon X1800XT(16条并行像素流水线)已经具有83GFLOPs的峰值性能；相比之下，Intel 3.0GHz Pentium 4仅有12GFLOPs。因此，如果将包含有大规模计算问题的原有CPU算法重新设计，使之适合GPU的体系结构，充分利用GPU的高度并行特性，将会有效提高算法的执行效率。

发明内容

本发明的技术解决问题：克服现有技术的不足，提供一种基于GPU的预计算辐射度传递全频阴影的方法，该方法充分利用GPU并行计算能力的数据结构和算法，在CPU负载和GPU负载之间、渲染速度和渲染质量之间达到了较好的平衡，在保持渲染质量的前提下，降低了内存的使用，并大幅度提高了渲染速度，达到了实时渲染全频阴影的目的。

本发明的技术解决方案：一种基于GPU的预计算辐射度传递全频阴影的方法，其特点在于包括两个部分：预计算算法和渲染算法，预计算算法包括射度传递矩阵的计算，使用小波变换来压缩辐射度传递矩阵T及对该矩阵进行重新排序；渲染算法包括对光源L的小波变换和稀疏矩阵与光源L的矩阵乘法，具体步骤如下：

(1)利用光照环境图对一个场景进行照明，得到辐射传递函数B＝TL，其中矩阵T为辐射度传递矩阵，L为光源矩阵；

(2)对辐射度传递矩阵T进行预计算；

(3)利用小波变换对预计算后的辐射度传递矩阵T进行量化压缩，得到稀疏的辐射度传递矩阵；

(4)对步骤(3)中稀疏矩阵的进行重新排序，将重要的矩阵项放到更靠前的位置；

(5)对L进行快速小波变换，得到量化压缩后的稀疏光源矩阵L；

(6)在GPU中，使用Pixel shader片断程序进行T与L相乘即得到辐射传递函数B，并将结果保存于2D纹理之中。

本发明与现有技术相比的优点在于：本发明利用GPU并行计算能力的数据结构和算法，在CPU负载和GPU负载之间、渲染速度和渲染质量之间达到了较好的平衡，在保持渲染质量的前提下，降低了内存的使用，并大幅度提高了渲染速度，达到了实时渲染全频阴影的目的。

附图说明

图1为本发明方法实现的流程图；

图2为本发明的预计算中对稀疏矩阵T的索引、排序以及行主序到列主序的变换操作示意图；

图3为本发明GPU实现中表示辐射度传递矩阵T的2D纹理；

图4为本发明的渲染过程伪代码图。

具体实施方式

如图1所示，具体步骤如下：

(1)首先，利用光照环境图对一个场景进行照明，得到原始模型数据，即公式如下：

$B(x,{\mathrm{\ω}}_0)={\∫\∫}_{\mathrm{\Ω}}L\left(\mathrm{\ω}\right)S(x,\mathrm{\ω})f_r(x,{\mathrm{\ω}\→\mathrm{\ω}}_0)(\mathrm{\ω}\·n\left(x\right))\mathrm{d\ω}---\left(1\right)$

式(1)中，x为场景中的一个采样顶点，ω₀为视点方向，ω为入射光方向，L是用作光源的光照环境图，S是一个可见性函数，表明ω在x处是否形成了阴影，f_r是x处的反射函数，最后，ω·n(x)形成了入射角的余弦。

给定约束条件：反射函数为一个纯漫反射函数时，f_r不再与视点方向相关，而仅与场景采样位置x相关。这样，可以定义辐射传递函数：T(x，ω)＝S(x，ω)f_r(x，ω→ω₀)(ω·n(x))                   (2)

在约束条件下函数不再依赖于视点方向ω₀。使用离散方式表示，可以得到：

$B\left(x_i\right)=\underset{j}{\mathrm{\Σ}}T(x_i,{\mathrm{\ω}}_j)L\left({\mathrm{\ω}}_j\right)---\left(3\right)$

最后，使用矩阵乘法重写公式(3)，得到：B＝TL               (4)

矩阵T为辐射度传递矩阵，L为光源。

(2)对公式(4)中的辐射度传递矩阵T进行预计算(在CPU中进行)；

对T的预计算基于原始光照立方图的单个像素光进行，所有单个像素光构成了光照立方图的一组正交基，具体步骤为：对场景中的模型进行采样，采样使用光照图纹理的纹元Texel作为采样点，利用简单光照模型计算光照辐射度传递矩阵的每一行，以材质的反射函数、采样点余弦系数作为权重，逐行对矩阵T求值。预计算可以部分利用显示硬件完成，以显著加速预计算过程。

(3)利用小波变换对预计算后的辐射度传递矩阵T进行量化压缩，得到稀疏的辐射度传递矩阵；

使用2D Haar小波函数对辐射度传递矩阵T中的每一行进行小波变换压缩，由于小波变换是无损变换，在经过小波变换之后，完整的矩阵乘法仍然可以得到精确的重光照渲染结果。对T的小波变换在立方图的6个2D平面上分别进行，矩阵T中的元素可以被量化为6位至8位的整形数。

小波变换的量化过程使辐射度传递矩阵T(系数大部分为0)成为一个稀疏矩阵。为了减少矩阵占据的内存空间以及前端总线带宽，稀疏的辐射度传递矩阵T采用基于索引存储作为核心数据结构，将T的每一行表示为一系列(索引，值)数据对，在内存中以行主序连续存放。实现时，以16bit存储索引编码，8bit存储小波系数值，构成(索引，值)数据对。为提高访问速度，在数据结构中加入8bit的保留空间。每个独立的数据结构单元如表1所示。将矩阵T的每一行表示为一系列(索引，值)数据对，在CPU内存中以行主序连续存放，数据单元结构如表1所示。

表1  为本发明的稀疏矩阵行主序的索引存储单元结构(在CPU中)

2字节	索引
		1字节	值
1字节	保留

(4)将矩阵T每一行稀疏矩阵进行重新排序，将更重要的矩阵项放到更靠前的位置上。排序方法：使用面积权重排序，排序的权重为小波系数乘以该小波系数的面积。排序之后的稀疏矩阵，仍然采用每一行表示为一系列(索引，值)数据对的方法连续存储。

(5)为了方便GPU的计算，在GPU中将步骤(4)中经过小波变换和排序的、稀疏的、行主序的传递矩阵T改为列主序存储，进行数据重组。

改变方式如图2所示：“箭头”左边的图表示未做处理的原始传递矩阵T，T的每一行(横向)代表一个采样点，T的每一列(纵向)代表光照立方图的一组正交基。“箭头”表示对矩阵T进行上述实施步骤中的索引存储，重要度排序这两项操作。在此基础上，将(索引，值)的数据对在内存中以列主序连续存放，如“箭头”右边的图所示。改为列主序存储后，矩阵T的每一列代表处于某一个特定重要度级别的由多种不同小波基照明的所有采样点。

改为列主序存储后，矩阵T的每一列代表处于某一个特定重要度级别的由多种不同小波基照明的所有采样点。

(6)将矩阵T的每一列转换为一张2D纹理，便于GPU处理

由于该2D纹理的每一个纹元刚好对应一个采样点，使得该2D纹理的大小与光照立方图的大小一致，从而避免了2D纹理空间的浪费；并且采样光照图也可以直接应用于贴纹理的操作，整个过程没有CPU的参与，不需要CPU与GPU之间的通讯，提高了处理速度。

转换的方法如下：将表1中的1D索引变换为一个3D的向量，然后将该3D向量以三个8bit整形量的形式保存于RGB三个通道内。一方面充分的利用了2D纹理的存储空间，另一方面为Pixel shader片断程序的处理提供了便利。数据单元中的数值信息，原本就是一个8bit的整形量，不需要进一步修改，直接保存于A通道即可，修改后的数据单元结构如表2所示。

表2  为本发明的稀疏矩阵列主序的索引存储单元结构(GPU)

3字节，RGB通道	3D向量形式的索引
		1字节，A通道	值

图3表示采用上述转换方法得到的2D纹理(8张)，其中第一行表示RGB通道，第二行表示A通道。每一张纹理对应于图2中列主序矩阵T的一列。

(7)在GPU中采用Haar小波对L进行快速小波变换，得到量化压缩后的稀疏光源矩阵L；

本发明允许L在渲染阶段任意变化，因此对L的小波变换不能在预处理阶段进行，所以对环境立方图L的六个面分别进行基于GPU的小波变换，结果保存于2D纹理中。为了完整保存处于HDR内的光照亮度，立方图纹理使用FP16格式。

(8)将CPU中得到的矩阵T和在GPU中得到的光源矩阵L在GPU中使用Pixel shader片断程序进行渲染，即对T和L进行快速稀疏矩阵乘法完成重光照。

此时，光源L已表示为一张立方图纹理，辐射度传递矩阵T表示为一组2D纹理，使用Pixel shader片断程序进行T与L之间的稀疏矩阵乘法，并将得到的中间结果以及最终结果保存于2D纹理之中。

上述的渲染过程的伪代码如图4所示：在单遍渲染过程中，对于所有的(u，v)坐标，首先从T的某一列对应的2D纹理C中直接获取数据单元的值a_T和对应于数据单元索引的3D向量P；接着，在保存L的输入立方图中获取P方向处的光照小波基A_L，由于A_L同时包含RGB三个通道，因此A_L是一个向量；最后，将A_L与a_T相乘，然后与代表上次输出结果的R_l相加，并将结果保存于输出2D纹理R_c中。定义好单遍渲染过程后，多遍渲染过程会循环调用单遍渲染过程。多遍渲染过程是整个渲染操作的主体，它的每一次循环都会调用单遍渲染过程。

在多遍叠加过程中，为了将所需的矩阵T中的多列累加，本发明使用了两个用于保存中间结果的2D纹理，即T₁和T₂。在每一遍循环时，交替使用T₁和T₂作为渲染目标，并与另外一张纹理叠加。Clear()函数将纹理全部清零，Render()即单遍渲染函数，而Swap()代表交换R_c和R_l的绑定；实现多遍叠加时，对矩阵T的每一列，依次调用Render()即单遍渲染函数；同时即实现了单遍渲染结果的累加；最后，以R_l中的渲染结果作为最终的渲染结果即可。

上述的R_l表示上一次单遍渲染的结果，为一张2D纹理；Rc表示当前单遍渲染的结果，为一张2D纹理。如图4的伪代码R_c(u，v)←A_L×a_T+Tex(R_l，u，v)所示，R_l参与Rc的计算。

Claims (7)

1、一种基于GPU的预计算辐射度传递全频阴影的方法，其特征在于步骤如下：

(1)利用光照环境图对一个场景进行照明，得到辐射传递函数B＝TL，其中矩阵T为辐射度传递矩阵，L为光源矩阵；

(2)对辐射度传递矩阵T进行预计算；

(3)利用小波变换对预计算后的辐射度传递矩阵T进行量化压缩，得到稀疏的辐射度传递矩阵；

(4)对步骤(3)中稀疏矩阵的系数进行重新排序，将重要的矩阵项放到更靠前的位置；

(5)对L进行快速小波变换，得到量化压缩后的稀疏光源矩阵L；

(6)在GPU中，对T和L进行快速稀疏矩阵乘法完成重光照渲染。

2、根据权利要求1所述的基于GPU的预计算辐射度传递全频阴影的方法，其特征在于：所述的步骤(2)中的预计算方法为：对场景中的模型进行采样，采样使用光照图纹理的纹元Texel作为采样点，利用简单光照模型计算光照辐射度传递矩阵T的每一行，并以材质的反射函数、采样点余弦系数作为权重，逐行对矩阵T求值。

3、根据权利要求1所述的基于GPU的预计算辐射度传递全频阴影的方法，其特征在于：所述步骤(3)或步骤(5)中的小波变换采用2D Haar小波函数。

4、根据权利要求1所述的基于GPU的预计算辐射度传递全频阴影的方法，其特征在于：所述步骤(3)中的稀疏的辐射度传递矩阵T采用基于索引存储作为核心数据结构，T的每一行表示为一系列索引和值的数据对，在内存中以行主序连续存放。

5、根据权利要求1所述的基于GPU的预计算辐射度传递全频阴影的方法，其特征在于：所述步骤(4)的排序方法：使用面积权重排序，排序的权重为小波系数乘以该小波系数的面积；排序之后的稀疏矩阵，仍然采用每一行表示为一系列包括索引和值数据对的方法连续存储。

6、根据权利要求1所述的基于GPU的预计算辐射度传递全频阴影的方法，其特征在于：为了方便GPU计算，在GPU中将步骤(4)中经过小波变换和排序的、稀疏的、行主序的传递矩阵T改为列主序存储，进行数据重组。

7、根据权利要求1所述的基于GPU的预计算辐射度传递全频阴影的方法，其特征在于：所述的重光照渲染方法如下：在单遍渲染过程中，首先从辐射度传递矩阵T的某一列对应的2D纹理C中直接获取数据单元的值a_T和对应于数据单元索引的3D向量P；接着，从保存光照立方图中的L中获取向量P方向处的光照小波基A_L；最后，将A_L与a_T相乘，然后与代表上次输出结果的R_l相加，并将结果保存于输出2D纹理R_c中；在多遍叠加过程中，采用两个用于保存中间结果的2D纹理即T₁和T₂，T₁和T₂的初始值分别为R_l和R_c；针对辐射度传递矩阵T的每一列，循环调用上述单遍渲染过程，交替使用T₁和T₂作为渲染目标，并与上次单遍渲染得到的2D纹理相加，从而实现多列累加的效果；最后，以R_l中的渲染结果作为最终的渲染结果即可。

Images