CN104183009B - 一种基于场景光照图的大场景非直接光照方法 - Google Patents

Abstract

一种基于场景光照图的大场景非直接光照方法，它有四大步骤：步骤一、将场景在纹理空间参数化；步骤二、计算场景光照图；步骤三、根据步骤二动态烘焙的场景光照图，利用光线追踪算法计算非直接光照；步骤四、使用帧关联降低非直接光照计算量。该方法能够比较好地支持复杂场景、效果可调并且比较稳定。它在图像处理技术领域里有较好的实用价值和广阔地应用前景。

Description

一种基于场景光照图的大场景非直接光照方法

技术领域

本发明涉及一种基于场景光照图的大场景非直接光照方法，属于图像处理技术领域，特别涉及实时渲染过程全局光照中非直接光照计算的图像处理技术。

背景技术

全局光照计算是一个比较困难的问题，它包含直接光和非直接光照及其阴影，由于整个场景都有可能对非直接光照产生影响，且非直接光中不少是经过多次反射得到的。非直接光照对场景的视觉效果影响比较大，但需要比较大的计算代价，在需实时绘制的场合计算非直接光照是一个比较困难的问题。

现有不少处理方法可以处理非直接光照，但它们本身都存在着一些问题。如预计算辐射度算法和预计算光照算法，可以提供比较真实的效果，但对处理动态灯光和动态场景有问题；如普通的即时辐射度算法，对灯光支持不太好，并不适合类似环境图光源；效果比较好的LPV等，由于栅格的分辨有限，无法充分表达场景，常会出现漏光现；而效率较高的有SSAO等环境遮挡算法，由于只考虑屏幕空间的环境光照，光照并不稳定。

本发明中的方法将直接光照和非直接光照分开计算，首先将场景在纹理空间参数化，并使用主灯光的RSM计算每个图元的光照生成光照图，随后使用光线追踪算法计算非直接光照。虽然对于光照图由于分辨率问题会照成失真，但非直接光照在场景中变化比较缓慢，对于一般表面材质可以近似计算。该方法使用直接光照提供高分辨率的阴影和其它效果，而非直接光照使用近似计算，并且可以方便地控制场景非直接光照的细节精细度。

发明内容

本发明的目的在于提供了一种基于场景光照图的大场景非直接光照方法，该方法能够比较好地支持复杂场景、效果可调并且比较稳定。

实现本发明目的的技术方案：一种基于场景光照图的大场景非直接光照方法，其特征在于包括以下具体步骤：

1、一种基于场景光照图的大场景非直接光照方法，其特征在于：它包括以下具体步骤：

步骤一、将场景在纹理空间参数化；

将场景在纹理空间参数化，就是反转物体空间和纹理空间；反转物体空间和纹理空间需要场景UV数据，这需要建立场景时建立相应的UV数据；

面片在UV空间中占有面积越大，它的非直接光照计算的细节也越高，这需要进行额外的UV创建，但也提供了场景的非直接光照的细节控制；因此对于多个物体，令物体离相机越远，则它所占的纹理空间越少，UV数据通过下式变换：

$\left\{\begin{array}{c}{x}_c=2\·clam{p}_{\[0,1\]}(u_a\·{\mathrm{\η}}_{a,x}+{\mathrm{\γ}}_{a,x})-1\\ y_c=2\·clam{p}_{\[0,1\]}(v_a\·{\mathrm{\η}}_{a,y}+{\mathrm{\γ}}_{a,y})-1\end{array}\right.$

其中：(x_c,y_c)为裁减空间坐标，(u_a,v_a)为UV空间坐标，(η_a,x,η_a,y)为纹理a的缩放因子，调节细节，(γ_a,x,γ_a,y)为纹理a的偏移地址；

缩放因子和偏移地址由CPU端进行计算管理，这里使用距离和可见性作为调节参数，并使用遗传算法进行解空间搜索；

步骤二、计算场景光照图；

a)使用RSM计算一次光照

一次光照图计算是使用场景参数图，利用RSM计算各个图元的直接光照，并使用类似PCF阴影算法计算，只不过由于RSM生成一次光照图时并没有使用正面消隐，需要将每个图元位置按它法线进行偏移减轻自遮挡；

b)利用a)中的一次光照图，使用光线追踪算法计算二次光照

多次光照图计算使用光线追踪算法完成，对每个图元进行重要性采样近似计算为：

$L_o(z_{x,y},\stackrel{\→}{{\mathrm{\ω}}_o})=\frac{1}{NUM}\underset{i=1}{\overset{NUM}{\Σ}}\frac{f_r(z_{x,y},\stackrel{\→}{{\mathrm{\ω}}_o},\stackrel{\→}{{\mathrm{\ω}}_i})L_{in}(z_{x,y},\stackrel{\→}{{\mathrm{\ω}}_i}){\mathrm{cos\θ}}_i}{p\left(\stackrel{\→}{{\mathrm{\ω}}_i}\right)}$

其中为光线的出射方向，为光线的入射方向，为图元中点z_x,y沿方向反射的辐射度，NUM为对点z_x,y的采样总数，i为对点z_x,y的采样，为双向散射分布函数，为点z_x,y从方向得到的入射辐射度，θ_i为z_x,y法向量和入射方向的夹角，为采样分布，这里使用基于Phone BRDF重要性采样；

C)对b)中的二次光照图进行重要性加权模糊，b)中计算量比较大的是由于场景空间的关联性及非直接光照漫反射的低变化率，将近邻图元值近似加权为本图元值，相当于增加重要性采样的采样数，这里将生成的光照图按图元间的相似性进行重要性加权模糊：

${L_o}^{\′}(z_{x,y},\stackrel{\→}{{\mathrm{\ω}}_o})=\frac{1}{K}\·\underset{i=-N}{\overset{N}{\Σ}}\underset{j=-M}{\overset{M}{\Σ}}{L}_o(z_{x+i,y+j},\stackrel{\→}{{\mathrm{\ω}}_o})\·\exp (-\frac{\left|\right|z_{x+i,y+j}-z_{x,y}\left|\right|}{d})\·dot{(n_{x+i,y+j},n_{x,y})}^r$

其中z_x,y为图元(x,y)的空间位置，i为对点z_x,y横坐标方向的采样，采样范围为-N到N，j为对点z_x,y纵坐标方向的采样，采样范围为-M到M，n_x,y为图元(x,y)的单位法向量，d和r为调整参数，控制周围图元的权重变化，dot()函数表示向量的点乘，K为归一化系数：

$K=\underset{i=-N}{\overset{N}{\Σ}}\underset{j=-M}{\overset{M}{\Σ}}\exp (-\frac{\left|\right|z_{x+i,y+j}-z_{x,y}\left|\right|}{d})\·dot{(n_{x+i,y+j},n_{x,y})}^r$

步骤三、根据步骤二动态烘焙的场景光照图，利用光线追踪算法计算非直接光照；

非直接光计算使用前面动态烘焙的场景光照图和光线追踪算法完成，光线追踪使用基于BVH的无堆栈算法，由于BVH加速结构的计算速度和它的深度有关，并且为了场景的可伸缩性，因此这里使用在CPU端对物体的AABB进行3D栅格化，并将物体ID号存储于对应的3D元素里，这样相当于将一颗BVH树转化为有组织BVH森林，访问计算如下：

a)计算与光线初次相交的3D元素；

b)访问3D元素中存储的物体，并对其中BVH树进行计算，如相交则返回；

c)使用DDA算法计算光线经过的下一个3D元素，如存在则执行b)，否则返回；

步骤四、使用帧关联降低非直接光照计算量；

帧关联是利用数据复用以降低计算量，通过检测上一帧和当前帧的像素之间关系确定是否重用数据；设帧k的相机变换阵为投影变换阵为屏幕空间(u,v)的深度为d^k(u,v)，法线为N^k(u,v)，对于当前帧的(u,v)在前一帧位置(u′,v′)计算如下：

(u′,v′,d^k-1,1)＝(0.5·u_t/w_t+0.5,0.5·v_t/w_t+0.5,d_t/w_t,1)

(u_t,v_t,d_t,w_t)＝M·(2u-1,2v-1,d^k,1)

$M=M_{proj}^{k-1}\·M_{cam}^{k-1}\·{(M_{proj}^k\·M_{cam}^k)}^{-1}$

法线变换如下：

N^k-1＝(M^-1)^T·N^k

由于光线追踪计算的是非直接光照，因此如果当前后两帧的位置和法线相近则重用该非直接光照值，其中τ、υ和κ为关联阈值，处理流程如下：

a)计算当前片段在前一帧中的(u′,v′)、d^k-1和N^k-1；

b)如果(u′,v′)超出[0,1]，则跳转到g)；

c)如果dot(N^k-1,N^k)＜τ，则跳转到g)；

d)如果||d^k-d^k-1||＞υ，则跳转到g)；

e)如果则跳转到g)；

f)重用前一帧中的(u′,v′)非直接光照值，并终止；

g)重新计算当前片段的非直接光照值；

其中e)步中的t_n ^k为当前帧的降分辨率图元法线与入射光线的交点到图元的距离，t_n ^k-1为前一帧的降分辨率图元法线与入射光线的交点到图元的距离，当e)步条件满足时表明有动态物体会影响该图元，需重新计算该图元的非直接光照。

本发明的有益效果在于：

本发明提供了一种新的基于场景光照图的大场景非直接光照方法，与其他方法相比，是一种比较好地支持复杂场景、效果可调并比较稳定的实时非直接光照方法。

附图说明

图1：一种基于场景光照图的大场景非直接光照方法流程图。

图2(a)：场景位置图。

图2(b)：场景法线图。

图2(c)：场景UV图。

图3：场景光照图。

图4(a)：本发明中方法实验结果图。

图4(b)：LPV算法实验结果图。

具体实施方式

为了更好地理解本发明的技术方案，下面结合附图及具体实施方式详细介绍本发明。

见图1—图4(a)、(b)，本发明是一种基于场景光照图的大场景非直接光照方法，该方法主要包括以下几个步骤：

步骤一：将场景在纹理空间参数化；

步骤二：计算场景光照图；

步骤三：根据步骤一动态烘焙的场景光照图，利用光线追踪算法计算非直接光照；

步骤四：使用帧关联降低非直接光照计算量。

本发明的具体实现流程如图1所示，各部分具体实施细节如下：

1.将场景在纹理空间参数化

将场景在纹理空间参数化，就是反转物体空间和纹理空间。反转物体空间和纹理空间需要场景UV数据，这需要建立场景时建立相应的UV数据。

面片在UV空间中占有面积越大，它的非直接光照计算的细节也越高，这需要进行额外的UV创建，但也提供了场景的非直接光照的细节控制。因此对于多个物体，令物体离相机越远，则它所占的纹理空间越少，UV数据通过下式变换：

$\left\{\begin{array}{c}{x}_c=2\·clam{p}_{\[0,1\]}(u_i\·{\mathrm{\η}}_{i,x}+{\mathrm{\γ}}_{i,x})-1\\ y_c=2\·clam{p}_{\[0,1\]}(v_i\·{\mathrm{\η}}_{i,y}+{\mathrm{\γ}}_{i,y})-1\end{array}\right.$

其中：(x_c,y_c)为裁减空间坐标，(u_i,v_i)为UV空间坐标，(η_i,x,η_i,y)为纹理i的缩放因子，调节细节，(γ_i,x,γ_i,y)为纹理i的偏移地址。

缩放因子和偏移地址由CPU端进行计算管理，这里使用距离和可见性作为调节参数，并使用遗传算法进行解空间搜索。

2.计算场景光照图

为了支持动态灯光和其它复杂灯光，需要动态烘焙场景光照图，具体的计算步骤分为以下三步：

a)使用RSM计算一次光照

一次光照图计算是使用场景参数图，利用RSM计算各个图元的直接光照，并使用类似PCF阴影算法计算，只不过由于RSM生成一次光照图时并没有使用正面消隐，需要将每个图元位置按它法线进行偏移减轻自遮挡。

b)利用a中的一次光照图，使用光线追踪算法计算二次光照

多次光照图计算使用光线追踪算法完成，对每个图元进行重要性采样近似计算为：

$L_o(x,\stackrel{\→}{{\mathrm{\ω}}_o})=\frac{1}{N}\underset{i=1}{\overset{N}{\Σ}}\frac{f_r(x,\stackrel{\→}{{\mathrm{\ω}}_o},\stackrel{\→}{{\mathrm{\ω}}_i})L_{in}(x,\stackrel{\→}{{\mathrm{\ω}}_i}){\mathrm{cos\θ}}_i}{p\left(\stackrel{\→}{{\mathrm{\ω}}_i}\right)}$

其中为图元中点x沿方向反射的辐射度，N为对点x的采样数，为双向散射分布函数，为点x从方向得到的入射辐射度，θ_i为x法向量和入射方向的夹角，为采样分布，这里使用基于Phone BRDF重要性采样。

c)对b中的二次光照图进行重要性加权模糊

b中计算量比较大的是由于场景空间的关联性及非直接光照漫反射的低变化率，可将近邻图元值近似加权为本图元值，相当于增加重要性采样的采样数，这里将生成的光照图按图元间的相似性进行重要性加权模糊：

$L_o\left(z_{x,y}\right)=\frac{1}{K}\·\underset{i=-N}{\overset{N}{\Σ}}\underset{j=-M}{\overset{M}{\Σ}}{L}_o\left(z_{x+i,y+j}\right)\·\exp (-\frac{\left|\right|z_{x+i,y+j}-z_{x,y}\left|\right|}{d})\·dot{(n_{x+i,y+j},n_{x,y})}^r$

其中z_x,y为图元(x,y)的空间位置，n_x,y为图元(x,y)的单位法向量，d和r为调整参数，控制周围图元的权重变化，K为归一化系数：

$K=\underset{i=-N}{\overset{N}{\Σ}}\underset{j=-M}{\overset{M}{\Σ}}\exp (-\frac{\left|\right|z_{x+i,y+j}-z_{x,y}\left|\right|}{d})\·dot{(n_{x+i,y+j},n_{x,y})}^r$

3.根据步骤2动态烘焙的场景光照图，利用光线追踪算法计算非直接光照

非直接光计算使用前面动态烘焙的场景光照图和光线追踪算法完成，光线追踪使用基于BVH的无堆栈算法。由于BVH加速结构的计算速度和它的深度有关，并且为了场景的可伸缩性，如在机场中的飞机和各种车辆的移动，场景中存在的物体个数未知，因此这里使用在CPU端对物体的AABB进行3D栅格化，并将物体ID号存储于对应的3D元素里，这样相当于将一颗BVH树转化为有组织BVH森林，访问计算如下：

d)计算与光线初次相交的3D元素；

e)访问3D元素中存储的物体，并对其中BVH树进行计算，如相交则返回；

f)使用DDA算法计算光线经过的下一个3D元素，如存在则执行b，否则返回。

4.使用帧关联降低非直接光照计算量

帧关联是利用数据复用以降低计算量，通过检测上一帧和当前帧的像素之间关系确定是否重用数据。假设帧i的相机变换阵为投影变换阵为屏幕空间(u,v)的深度为dⁱ(u,v)，法线为Nⁱ(u,v)，对于当前帧的(u,v)在前一帧位置(u′,v′)计算如下：

(u′,v′,d^i-1,1)＝(0.5·u_t/w_t+0.5,0.5·v_t/w_t+0.5,d_t/w_t,1)

(u_t,v_t,d_t,w_t)＝M·(2u-1,2v-1,dⁱ,1)

$M=M_{proj}^{i-1}\·M_{cam}^{i-1}\·{(M_{proj}^i\·M_{cam}^i)}^{-1}$

法线变换如下：

N^i-1＝(M^-1)^T·Nⁱ

由于光线追踪计算的是非直接光照，因此如果当前后两帧的位置和法线相近则重用该非直接光照值，其中τ、υ和κ为关联阈值，处理流程如下：

h)计算当前片段在前一帧中的(u′,v′)、d^i-1和N^i-1；

i)如果(u′,v′)超出[0,1]，则跳转到g；

j)如果dot(N^i-1,Nⁱ)＜τ，则跳转到g；

k)如果||dⁱ-d^i-1||＞υ，则跳转到g；

l)如果则跳转到g；

m)重用前一帧中的(u′,v′)非直接光照值，并终止；

n)重新计算当前片段的非直接光照值。

其中e步中的t_n ⁱ为降分辨率图元法线方向的测试光线交点距离，t_n ^i-1为前一帧的图元法线方向光线交点距离，当e步条件满足时表明有动态物体会影响该图元，需重新计算该图元的非直接光照。

Claims (1)

1.一种基于场景光照图的大场景非直接光照方法，其特征在于：它包括以下具体步骤：

步骤一、将场景在纹理空间参数化；

将场景在纹理空间参数化，就是反转物体空间和纹理空间；反转物体空间和纹理空间需要场景UV数据，这需要建立场景时建立相应的UV数据；

面片在UV空间中占有面积越大，它的非直接光照计算的细节也越高，这需要进行额外的UV创建，但也提供了场景的非直接光照的细节控制；因此对于多个物体，令物体离相机越远，则它所占的纹理空间越少，UV数据通过下式变换：

$\left\{\begin{array}{c}{x}_c=2\·clam{p}_{\[0,1\]}(u_a\·{\mathrm{\η}}_{a,x}+{\mathrm{\γ}}_{a,x})-1\\ y_c=2\·clam{p}_{\[0,1\]}(v_a\·{\mathrm{\η}}_{a,y}+{\mathrm{\γ}}_{a,y})-1\end{array}\right.$

其中：(x_c,y_c)为裁减空间坐标，(u_a,v_a)为UV空间坐标，(η_a,x,η_a,y)为纹理a的缩放因子，调节细节，(γ_a,x,γ_a,y)为纹理a的偏移地址；

缩放因子和偏移地址由CPU端进行计算管理，这里使用距离和可见性作为调节参数，并使用遗传算法进行解空间搜索；

步骤二、计算场景光照图；

a)使用RSM计算一次光照

一次光照图计算是使用场景参数图，利用RSM计算各个图元的直接光照，并使用类似PCF阴影算法计算，只不过由于RSM生成一次光照图时并没有使用正面消隐，需要将每个图元位置按它法线进行偏移减轻自遮挡；

b)利用a)中的一次光照图，使用光线追踪算法计算二次光照

多次光照图计算使用光线追踪算法完成，对每个图元进行重要性采样近似计算为：

$L_o(z_{x,y},\stackrel{\→}{{\mathrm{\ω}}_o})=\frac{1}{NUM}\underset{i=1}{\overset{NUM}{\Σ}}\frac{f_r(z_{x,y},\stackrel{\→}{{\mathrm{\ω}}_o},\stackrel{\→}{{\mathrm{\ω}}_i})L_{in}(z_{x,y},\stackrel{\→}{{\mathrm{\ω}}_i}){\mathrm{cos\θ}}_i}{p\left(\stackrel{\→}{{\mathrm{\ω}}_i}\right)}$

其中为光线的出射方向，为光线的入射方向，为图元中点z_x,y沿方向反射的辐射度，NUM为对点z_x,y的采样总数，i为对点z_x,y的采样，为双向散射分布函数，为点z_x,y从方向得到的入射辐射度，θ_i为z_x,y法向量和入射方向的夹角，为采样分布，这里使用基于Phone BRDF重要性采样；

C)对b)中的二次光照图进行重要性加权模糊，b)中计算量比较大的是由于场景空间的关联性及非直接光照漫反射的低变化率，将近邻图元值近似加权为本图元值，相当于增加重要性采样的采样数，这里将生成的光照图按图元间的相似性进行重要性加权模糊：

${L_o}^{\′}(z_{x,y},\stackrel{\→}{{\mathrm{\ω}}_o})=\frac{1}{K}\·\underset{i=-N}{\overset{N}{\Σ}}\underset{j=-M}{\overset{M}{\Σ}}{L}_o(z_{x+i,y+j},\stackrel{\→}{{\mathrm{\ω}}_o})\·\exp (-\frac{\left|\right|z_{x+i,y+j}-z_{x,y}\left|\right|}{d})\·dot{(n_{x+i,y+j},n_{x,y})}^r$

其中z_x,y为图元(x,y)的空间位置，i为对点z_x,y横坐标方向的采样，采样范围为-N到N，j为对点z_x,y纵坐标方向的采样，采样范围为-M到M，n_x,y为图元(x,y)的单位法向量，d和r为调整参数，控制周围图元的权重变化，dot()函数表示向量的点乘，K为归一化系数：

$K=\underset{i=-N}{\overset{N}{\Σ}}\underset{j=-M}{\overset{M}{\Σ}}\exp (-\frac{\left|\right|z_{x+i,y+j}-z_{x,y}\left|\right|}{d})\·dot{(n_{x+i,y+j},n_{x,y})}^r$

步骤三、根据步骤二动态烘焙的场景光照图，利用光线追踪算法计算非直接光照；

非直接光计算使用前面动态烘焙的场景光照图和光线追踪算法完成，光线追踪使用基于BVH的无堆栈算法，由于BVH加速结构的计算速度和它的深度有关，并且为了场景的可伸缩性，因此这里使用在CPU端对物体的AABB进行3D栅格化，并将物体ID号存储于对应的3D元素里，这样相当于将一颗BVH树转化为有组织BVH森林，访问计算如下：

a)计算与光线初次相交的3D元素；

b)访问3D元素中存储的物体，并对其中BVH树进行计算，如相交则返回；

c)使用DDA算法计算光线经过的下一个3D元素，如存在则执行b)，否则返回；

步骤四、使用帧关联降低非直接光照计算量；

帧关联是利用数据复用以降低计算量，通过检测上一帧和当前帧的像素之间关系确定是否重用数据；设帧k的相机变换阵为投影变换阵为屏幕空间(u,v)的深度为d^k(u,v)，法线为N^k(u,v)，对于当前帧的(u,v)在前一帧位置(u′,v′)计算如下：

(u′,v′,d^k-1,1)＝(0.5·u_t/w_t+0.5,0.5·v_t/w_t+0.5,d_t/w_t,1)

(u_t,v_t,d_t,w_t)＝M·(2u-1,2v-1,d^k,1)

$M=M_{proj}^{k-1}\·M_{cam}^{k-1}\·{(M_{proj}^k\·M_{cam}^k)}^{-1}$

法线变换如下：

N^k-1＝(M^-1)^T·N^k

由于光线追踪计算的是非直接光照，因此如果当前后两帧的位置和法线相近则重用该非直接光照值，其中τ、υ和κ为关联阈值，处理流程如下：

a)计算当前片段在前一帧中的(u′,v′)、d^k-1和N^k-1；

b)如果(u′,v′)超出[0,1]，则跳转到g)；

c)如果dot(N^k-1,N^k)＜τ，则跳转到g)；

d)如果||d^k-d^k-1||＞υ，则跳转到g)；

e)如果则跳转到g)；

f)重用前一帧中的(u′,v′)非直接光照值，并终止；

g)重新计算当前片段的非直接光照值；

其中e)步中的t_n ^k为当前帧的降分辨率图元法线与入射光线的交点到图元的距离，t_n ^k-1为前一帧的降分辨率图元法线与入射光线的交点到图元的距离，当e)步条件满足时表明有动态物体会影响该图元，需重新计算该图元的非直接光照。