CN100478994C - 一种高动态范围材质渲染绘制方法 - Google Patents

Abstract

高动态范围材质渲染绘制方法，包括以下三个步骤：进行光照与材质模型的建立，然后使用基于GPU的可编程渲染流水线进行每像素光照渲染，并将渲染结果输出到浮点帧缓冲区之中；模拟镜头眩光效果的实现，使用户可以更有效的感知到图像中光源等高亮度物体的光照强度；实现基于GPU的色调映射算法将高动态范围的场景图像显示到低动态范围的屏幕上，并保留原有的色调。本发明可以直接获取高动态范围图像渲染，具有实时性的优点。

Description

一种高动态范围材质渲染绘制方法

技术领域

本发明涉及一种具有高动态范围材质场景的实时渲染绘制方法。

背景技术

随着GPU技术的发展，硬件实时渲染具有高度真实感光照效果的三维场景成为可能。人们越来越关注对GPU的可编程特性的开发，以实现原有只能在CPU上完成的复杂光照算法、图像处理算法以及各种其他应用。

传统的基于硬件加速的渲染系统，通常只能产生低动态范围的渲染结果。对于包含具有高亮度的光发射物体或光反射物体的场景而言，因其具有高动态范围，渲染结果通常严重失真。针对此问题的一种解决方式是使用A.S.Shastry的“High Dynamic Range Rendering”，http://www.gamedev.net/columns/hardcore/hdrrendering/，中所阐述的基于GPU的渲染方法，在处理的过程中对高动态范围的中间结果进行一定范围的处理，最终产生视觉效果类似于高动态范围图像的低动态范围结果。

为得到高动态范围图像而不仅得到高动态范围的视觉效果，P.Debevec和J.Malik合著的“Recovering High Dynamic Range Radiance Maps from Photographs”，SIGGRAPH，1997中提供了一种由一组低动态范围的图像生成高动态范围的图像的方法。

为了利用所生成高动态范围图像，E.Reinhard，M.Stark，P.Shirley和J.Ferwerda合著的“Photographic Tone Reproduction for Digital Images”，SIGGRAPH，2002中提出了一种快速且高效的色调映射算法，将高动态范围图像映射为低动态范围图像，并尽可能保留更多的图像细节。另一类利用高动态范围图像的方法是H.Seetzen，W.Heidrich，W.Stuerzlinger，G.Ward，L. Whitehead，M.Trentacoste，A.Ghosh和A.Vorozcovs合著的“High Dynamic RangeDisplay Systems”，2004，ACM Transactions on Graphics，Volume 23Number 3，SIGGRAPH，2004中所论述的特殊设计的硬件直接将图像输出。

因为在高动态范围图像中保留了更多的信息，所以在图像处理过程中可以进行更丰富、更有效的图像处理操作。在G. Spencer，P.Shirley，K.Zimmerman和D.P. Greenberg的“Physically-Based Glare Effects for Digital Images”，SIGGRAPH，1995中提出了一种向图像上加入基于物理的模拟镜头眩光效果的算法，并使用此算法增强高亮度值区域的用户感知，通过主观测试实验证明了此算法的有效性。

但是，在前面所述的现有技术中，由于传统材质模型与渲染帧缓冲区的限制，无法直接得到高动态范围的渲染结果，进而无法直接应用高动态范围图像中的更多信息。例如，向图像上加入基于物理的模拟镜头眩光效果的算法，就必须以高动态范围图像作为必要条件。因此，直接获取高动态范围图像渲染结果是非常必要的，而不能直接获取此类渲染结果是现有算法的主要缺陷；另一个缺陷是在对具有高动态范围场景的绘制中没有实现实时性。

发明内容

本发明的技术解决问题是：克服了现有技术的不足，提供一种可以直接获取高动态范围图像宣染效果，具有实时性的高动态范围材质渲染绘制方法。

本发明的技术解决方案为：高动态范围材质渲染绘制方法，其特点在于包括了以下三个步骤：

(1)进行光照与材质模型的建立，然后使用基于GPU的可编程渲染流水线进行每像素光照渲染，并将渲染结果输出到浮点帧缓冲区之中；

(2)模拟镜头眩光效果的实现，使用户可以更有效的感知到图像中光源等高亮度物体的光照强度；

(3)实现基于GPU的色调映射算法将高动态范围的场景图像显示到低动态范围的屏幕上，并保留原有的色调。

所述光照与材质模型的建立中，所使用的理论模型是带有距离衰减的点光源光照模型：

$i_{\mathrm{tot}}=a_{\mathrm{glob}}{m}_{\mathrm{amb}}+m_{\mathrm{emi}}+\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{i}_{\mathrm{amb}}^k+d(i_{\mathrm{diff}}^k+i_{\mathrm{spec}}^k)$

$=a_{\mathrm{glob}}{m}_{\mathrm{amb}}+m_{\mathrm{emi}}+$

$\underset{k=1}{\overset{N}{\mathrm{\Σ}}}(m_{\mathrm{amb}}{s}_{\mathrm{amb}}^k+\frac{\max ((n\·l^k),0)m_{\mathrm{diff}}{s}_{\mathrm{diff}}^k+\max {((n\·h^k),0)}^{m_{\mathrm{shi}}}{m}_{\mathrm{spec}}{s}_{\mathrm{spec}}^k}{s_c^k+s_l^k\left|\right|s_{\mathrm{pos}}^k-p\left|\right|+s_q^k{\left|\right|s_{\mathrm{pos}}^k-p\left|\right|}^2})---\left(1\right)$

此光照与材质模型虽然仅为简化的经验模型而并非物理真实模型，但因为计算效率很高，并且能够得到可接受的渲染结果，因此得到了非常广泛的应用。目前在OpenGL、DirectX、VRML、OpenFlight等多种三维图形库、描述语言以及图形文件格式中对光源、材质系统的定义都基于此材质光照模型。

在传统的OpenGL/DirectX渲染流水线中，渲染结果会被输出到低动态范围(8bit整型/通道)的帧缓冲区之中，在此过程中，所有的高亮度区域的亮度信息都会被饱和截断(Saturate)到[0，1]的范围之内。在多数情况下，这种模型已经可以满足应用需求，但是，在具有高亮度的光发射物体场景的渲染中，这种饱和截断方法有严重的缺陷：高亮度区域的亮度信息几乎全部丢失。也由于同样的原因，带有距离衰减的点光源光照模型公式中的放射性材质颜色m_emi的取值范围也被限定为[0，1]，超出这个范围的取值等价为取值为1。

为了突破以上限制，本发明在建模后使用基于GPU的可编程渲染流水线进行每像素光照渲染，并将渲染结果输出到浮点帧缓冲区之中，浮点帧缓冲区具有16bit浮点/通道或32bit浮点/通道的高动态范围。这样，上述光照和建模公式中的放射性材质颜色的取值范围限制取消，带有距离衰减的点光源光照模型公式得到了扩展，适用于高动态范围材质。在渲染的时候利用新一代的显示硬件提供的可编程能力，由用户对顶点处理单元和像素处理单元进行编程。在充分利用GPU的高度并行能力的基础上，本发明实现的每像素光照算法在每个像素处进行光照计算，虽然计算量巨大，但是却能够实现实时渲染。

所述模拟镜头眩光效果的实现中，由于在本发明中保留了高动态范围的结果，眩光效果可以比较容易地实现，其方法为：由于镜头眩光效果的精确性要求较低，首先将浮点帧缓冲区渲染结果缩小为原始大小的1/4*1/4。这样对显卡显存的要求大幅降低，并可以有效提高处理速度。然后，使用高亮度通过滤波算法，将图像中的非高亮度区域屏蔽。这样，可以避免将后继算法应用于整个帧缓冲图像，而仅针对高亮度区域进行；在将高亮度区域分离出来之后，使用高斯滤波将高亮度区域模糊化，这样就得到了发散(Bloom)效果的一个近似实现；通过在几个不同方向上将高亮度区域拉伸，得到了眩光线(Flare lines)效果。最后，将两种效果与原图像进行叠加，即可得到最终的渲染结果。

所述基于GPU的色调映射算法中，本发明的基于GPU的实现将色调映射算法分两步完成。第一步计算场景的键值L_w。由于Pixel shader的运算部件为多流水线并行处理，为了提高并行度，计算L_w的算法不能将整个图像一次完成，需要多遍处理。首先将整幅图像缩小为最接近的2²ⁿ*2²ⁿ(n＝0，1，2，...)大小，然后每一遍处理计算图像中的邻近的16个点的对数和，同时结果图像缩小为原图像的1/4*1/4。经过n遍处理，最终图像缩小为1*1大小，再取exp(L_w(1，1))即可得到图像的键值。第二步根据图像键值进行色调映射，此过程可以一遍处理完成。

综上所述，本发明与现有技术相比的优点在于：使用基于GPU的可编程渲染流水线进行每像素光照渲染，并将渲染结果输出浮点帧缓冲区之中。浮点帧缓冲区具有16bit浮点/通道或32bit浮点/通道的高动态范围，这样突破了带有距离衰减的点光源光照模型公式的限制，使其适用于高动态范围材质。利用所保留的高动态范围的结果，实现了眩光效果。最后使用色调映射算法将生成的高动态范围的场景在低动态范围的屏幕上，并保留了原有的色调。

总之，与原有方法相比，本发明扩展了材质模型，并可以将场景直接渲染为具有高动态范围的渲染结果图像，为使用模拟镜头眩光效果提高用户对高亮度发光物体的感知提供了条件。同时，由于充分利用了GPU高度并行计算能力，本发明可以在PC机上实时运行，具有良好的实用性。

附图说明

图1为传统的固定流水线；

图2为本发明所使用的可编程流水线；

图3为本发明的每像素光照与每顶点光照的效果对比；

图4为本发明的模拟镜头眩光效果算法流程图；

图5为本发明的渲染结果对比(a)低动态范围渲染结果；(b)高动态范围渲染结果；

图6为本发明的使用多种曝光参数并直接映射的渲染结果对比，从左至右，分别为γ＝1，1/2，1/4，1/8，1/16，1/32和1/64。

具体实施方式

首先应用前述公式(1)带有距离衰减的点光源模型公式对光照和材质进行建模。其中，N为光源个数，a_glob为全局光源颜色，s_amb为光源的环境强度颜色，s_diff为光源的漫反射强度颜色，s_spec为光源的镜面反射强度颜色，s_pos为光源位置，m_amb为环境材质颜色，m_diff为漫反射材质颜色，m_spec为镜面反射材质颜色，m_shi为光亮度参数，m_emi为放射性材质颜色，n为物体表面法线向量，l为光方向向量，h为光方向向量和视点方向向量v之间的半向量，且有h＝(l+v)/||l+v||，p为被渲染点位置，最后，s_c控制固定衰减，s_l控制线性衰减，s_q控制二次衰减。

下面是本发明算法实现中的一段Cg函数，是公式(1)的实现。Cg语言是由nVidia公司提出的一种常用的GPU编程工具。它是一种类似C语言的专用于GPU的程序设计语言，可同时用于OpenGL和DirectX两种平台。

函数的输入为一个纹理坐标、一个世界空间坐标以及一个法向量，输出为该像素的亮度(具有RGB三个分量)。基于实用的简化处理，在函数实现中假定光源的镜面反射强度颜色s_spec＝0，并且忽略了固定衰减与线性衰减，仅计算二次衰减。

Float4 HDR_PS(  float2 Tex:TEXCOORD0，

                float3 Pos:TEXCOORD1，

                float3 Normal:TEXCOORD2):COLOR

{

    float3N＝normalize(Normal)；

    //用于保存每像素光照结果

    float4 vPix Value＝(float4)0；

    //计算并叠加所有的光源效果

    for(int LightIndex＝0；LightIndex＜MAX_NUM_LIGHTS；++LightIndex )

    {

       //计算光源向量

       float3 vRLightVec＝(float3)(g_vLightPosView[LightIndex]-Pos)；

       //计算漫反射部分

       float fDiffuse＝saturate(dot(normalize(vRLightVec)，N))；

       //计算衰减系数

       float fAttenuation＝saturate(1.0f/dot(vRLightVec，vRLightVec))；

       vPixValue+＝g_ambient+fDiffuse*fAttenuation；

    }

    //与纹理进行混合并返回像素值

    return tex2D(g_samScene，Tex)*vPixValue*g_vLightIntensity；

}

建模后使用基于GPU的可编程渲染流水线进行每像素光照渲染，并将渲染结果输出到浮点帧缓冲区之中。目前大多数显示硬件都对每顶点光照算法进行了固定的硬件实现，称为T&L功能。而新一代的显示硬件提供了可编程能力，可以由用户对顶点处理单元和像素处理单元进行编程，因而被称为GPU(Graphics Processing Unit)。图1所示为传统的固定流水线，图2所示为本发明中使用的基于GPU的可编程流水线。从图中可以看出：对于固定流水线，它所进行顶点处理和像素处理已经固定，不可改变；而可编程流水线中，对于这两步，用户可以根据自己的需要进行编程实现。

如图3所示，是传统的每顶点光照(高氏着色)与本发明所实现的每像素光照(Phong着色)对比。在传统显示硬件设备中，三角面片的渲染首先使用经典光照模型计算顶点光照，然后使用平面着色(Flat shading)算法或者高氏着色(Gouraud shading)算法进行填充，并得到渲染结果。由于所有基于公式(1)所示公式的光照计算是针对每个顶点进行，因此这种方法被称为每顶点光照。每顶点光照算法只需要在每个顶点处进行光照计算，因而计算量较小；而每像素光照算法针对每一个待渲染的像素使用Pixel shader进行光照计算，可以实现Phong着色或其他高质量光照算法、着色算法，得到比每顶点光照更好的渲染结果。每像素光照需要在每个像素处进行光照计算，计算量巨大，通常仅使用CPU进行计算已经无法达到实时渲染的速度要求，必须利用GPU的高度并行能力才可能做到实时渲染。因此本发明在GPU上通过对顶点处理单元和像素处理单元进行编程，实现了不同于每顶点光照的每像素光照算法。对比的两种渲染方法，都是针对仅有一个三角面片的模型进行，对比每顶点光照和每像素光照结果图像，可以发现每像素光照具有在图像质量方面具有明显的优势。当光源位置在上方时，由于有一个顶点被照亮，两种光照模式都可以达到较好的结果；但是当光源位置在中间时，三角形的三个顶点都比较暗，导致每顶点光照不能正确表现出光照情况。

如图4所示，是本发明在实现过程中加入模拟镜头眩光的实现流程。由于镜头眩光效果的精确性要求较低，算法首先将浮点帧缓冲区渲染结果缩小为原始大小的1/4*1/4，这样对显卡显存的要求大幅降低，并可以有效提高处理速度；然后使用高亮度通过滤波算法，将图像中的非高亮度区域屏蔽。这样，可以避免将后继算法应用于整个帧缓冲图像，而仅针对高亮度区域进行；在将高亮度区域分离出来之后，使用高斯滤波将高亮度区域模糊化，这样就得到了发散(Bloom)效果的一个近似实现；通过在几个不同方向上将高亮度区域拉伸，得到了眩光线(Flare lines)效果；最后，将两种效果与原图像进行叠加，即可得到最终的渲染结果。

使用基于GPU的实现将色调映射算法分两步完成。第一步计算场景的键值L_w。由于Pixelshader的运算部件为多流水线并行处理，为了提高并行度，计算L_w的算法不能将整个图像一次完成，需要多遍处理。首先将整幅图像缩小为最接近的2²ⁿ*2²ⁿ(n＝0，1，2，...)大小，然后每一遍处理计算图像中的邻近的16个点的对数和，同时结果图像缩小为原图像的1/4*1/4。经过n遍处理，最终图像缩小为1*1大小，再取exp(L_w(1，1))即可得到图像的键值。第二步根据图像键值进行色调映射，此过程可以一遍处理完成。

计算场景的键值L_w采用公式 ${\stackrel{\‾}{L}}_w=\frac{1}{N}\exp \left(\underset{x,y}{\mathrm{\Σ}}\log (\mathrm{\δ}+L_w(x,y))\right),$ 它是E.Reinhard，M.Stark，P.Shirley和J.Ferwerda在“Photographic Tone Reproduction for Digital Images”，SIGGRAPH，2002中提出了一种简单易行的色调映射算法中计算场景的键值的公式，其中L_w＝0.2125R+0.7154G+0.0721B，而L_w(x，y)表示场景中处在(x，y)坐标处像素的亮度值，δ是一个很小的值，用以避免对一个亮度为0的全黑像素取对数。

如图5所示，其中(a)为低动态范围渲染结果，(b)为高动态范围渲染结果。实验场景包含两类对象，其中一类为具有高亮度材质的路灯，m_emi＝24.0；另一类为道路模型，材质本身不发光，但具有一定的反射系数，渲染时在路灯位置设置多个光源。

如图6所示，为一组同一组场景的仅经过前面所述公式1的渲染结果。这一组结果没有经过模拟镜头眩光效果算法，也没有使用基于区域系统的色调映射算法，而仅简单的将帧缓冲区内容乘以曝光系数γ后，进行直接映射的结果。从这一组图中可以看出，未经过模拟镜头眩光效果算法的高动态范围图像与低动态范围图像相比，高动态范围图像具有更丰富的信息，而这些信息对于后继算法具有重要的意义。与低动态范围渲染结果相比，经过叠加模拟镜头眩光效果的高动态范围渲染结果可以保留更多的图像细节，并且光源对象具有更强的真实感，图像整体表现更加出色。

表1为本发明的高动态范围渲染与低动态范围渲染速度对比。可以看到，到动态范围渲染帧速率为177.0fps，比低动态范围的渲染帧速率下降17.9％，仍可以实时运行。在经过优化后，本发明算法完全可以满足多种环境下的实用需要。

表1

	高动态范围(fps)	低动态范围(fps)
			实验场景	177.0	215.6

Claims (2)

1、高动态范围材质渲染绘制方法，其特征在于包括以下三个步骤：

第一步，进行光照与材质模型的建立，然后使用基于GPU的可编程渲染流水线进行每像素光照渲染，并将渲染结果输出到浮点帧缓冲区之中；

第二步，模拟镜头眩光效果的实现，使用户可以更有效的感知到图像中高亮度物体的光照强度；

所述的模拟镜头眩光效果的实现方法为：

(1)将浮点帧缓冲区渲染结果缩小为原始大小的1/4*1/4；

(2)使用高亮度通过滤波算法，将图像中的非高亮度区域屏蔽；

(3)在将高亮度区域分离出来之后，使用高斯滤波将高亮度区域模糊化，这样就得到了发散效果的一个近似实现，通过在几个不同方向上将高亮度区域拉伸，得到了眩光线的效果；

(4)最后，将上述步骤(2)和步骤(3)得到的两种效果与原图像进行叠加，即可得到最终的渲染结果；

第三步，实现基于GPU的色调映射算法将高动态范围的场景图像显示到低动态范围的屏幕上，并保留原有的色调。

2、根据权利要求1所述的高动态范围材质渲染绘制方法，其特征在于：所述的基于GPU的色调映射算法分为两步：

(1)计算场景的键值L_w，首先将整幅图像缩小为最接近的2²ⁿ*2²ⁿ，其中n＝0，1，2，...大小，然后每一遍处理计算图像中的邻近的16个点的对数和，同时结果图像缩小为原图像的1/4*1/4；经过n遍处理，最终图像缩小为1*1大小，再取exp(L_w(1，1))即可得到图像的键值；

(2)根据图像键值进行色调映射，此过程可以一遍处理完成。

Images