CN101354794A - 基于图形处理器的实时三维图像的光照模拟方法 - Google Patents

Abstract

一种基于图形处理器的实时三维图像的光照模拟方法，其特征在于依次包括下述步骤：(1)将三维图像数据中待处理的纹理保存进图形处理器中；(2)图形处理器根据设置在图形处理器中的光照模型，对纹理数据点进行光照量的计算；(3)图形处理器将纹理数据点的光照量和数据值进行混合。本发明对三维图像数据的光照量的计算中还具有明暗计算。本发明的光照模拟方法能够使屏幕上显示的图像较逼真地模拟出自然界的光照效果，并进一步在对各数据点光照量的计算中具有明暗计算，使屏幕上显示的图像具有凹凸感，进一步增强图像的真实感；由于图形处理器的高速并行机制，使得光照模拟计算所需的运算时间很少，符合三维图像实时显示的要求。

Description

基于图形处理器的实时三维图像的光照模拟方法

技术领域

本发明涉及图像数据处理，具体地说，涉及一种基于图形处理器的实时三维图像的光照模拟方法。

背景技术

三维可视化的主要目的是将医学影像设备得到的一系列的二维切片(这一系列的二维切片构成体积图像数据)，使用计算机图形学的技术，构造出一个器官的三维模型，并且非常逼真的显示给观看者，使观看者能够直观地观察体积图像数据(即三维图像数据)。

为了使屏幕上显示的图像能够模拟出自然界的光照效果，在三维图像的重建过程中，应当构建光照模型，对体积图像数据各数据点进行光照量的计算，并将光照量混合入数据点的数据值，从而使最后在屏幕上显示的图像具有光照效果。

但是目前的光照模型大多是设置在中央处理器(CPU)中的功能固定光照模型，其计算量很少，但只对非常有限的一些材质(如橡胶)工作得很好，而对一些复杂的组织(如胎儿、心脏等)则显得不够真实，最后在屏幕上显示的图像不能够较逼真地模拟出自然界的光照效果。

发明内容

本发明所要解决的技术问题是提供一种基于图形处理器的实时三维图像的光照模拟方法，采用这种光照模拟方法能够使屏幕上显示的图像较逼真地模拟出自然界的光照效果。采用的技术方案如下：

一种基于图形处理器的实时三维图像的光照模拟方法，其特征在于依次包括下述步骤：

(1)将三维图像数据中待处理的纹理保存进图形处理器中；

待处理的纹理经由中央处理器(CPU)通过OpenGL接口(OpenGL接口是一种三维图形接口)传送到图形处理器(GPU)中；通常图形处理器的可编程顶点处理器接收到纹理后，将纹理传递给可编程片段处理器。

(2)图形处理器根据设置在图形处理器中的光照模型，对纹理数据点进行光照量的计算；

优选通过图形处理器(GPU)的可编程处理器(通常为可编程片段处理器)，用CG(C for graphics)显卡编程语言表达光照模型；用CG语言表达的光照模型如下：

surfaceColor＝emissive+ambient+diffuse+specular；

其中surfaceColor表示光照量，光照量surfaceColor是放射光分量emissive、环境光分量ambient、漫反射光分量diffuse和镜面反射光分量specular等光照分量之和；各分量具体描述如下：

1)放射光分量emissive表示了由物体表面所发出的光，它的作用是独立于所有光源的，是一种在计算完其它所有光照分量后添加的颜色，它与其它分量没有联系，用K_e表示，即emissive＝K_e；

2)环境光分量ambient代表了入射光在一个场景里经过多次折射后、看起来像是来自四面八方一样的光，并不依赖于光源的位置，只依赖于物体材质的反射能力与照射在物体上的环境光的颜色，表示为ambient＝K_a*globalAmbient，其中K_a为环境光分量的系数，globalAmbient为入射环境光的颜色；

3)漫反射光分量di ffuse代表从一个表面相等地向所有方向反射出去的方向光，通常物体表面微观尺寸上是非常粗糙的，当入射光线到达物体表面时，光线会向各个方向反射，表示为diffuse＝K_d*lightColor*max(N·L，0)，其中K_d是物体的漫反射颜色，lightColor是入射漫反射光的颜色，N是规范化的表面法向量(通常情况下我们并不能直接获得每个顶点的表面法向量，这时需要用纹理数据点的表面法向量来代替)，L是规范化的指向光源的向量；

4)镜面反射光分量specular代表了从一个表面主要的反射方向附近被反射的光，它非常依赖于观察者的位置，不仅受光源和物体的反射颜色性质的影响，也受物体表面的光泽度的影响，表示为

specular＝K_s*lightColor*facing*(max(N·H)，0)^shininess，

其中K_s是物体材质的镜面反射颜色，lightColor是入射镜面反射光的颜色，N是规范化的表面法向量，H是视点向量与光源向量的点积，shininess表示物体的光泽度；

如果需要使最后在屏幕上显示的图像具有聚光灯和/或半透明效果，还需计算距离衰减，距离衰减量attenuationFactor表示为attenuationFactor＝1/(K_c+K_l*d+k_q*d*d)，其中d是物体到光源的距离，K_c、K_l、k_q为控制衰减量的常量；然后将距离衰减量与上述各个光照分量累加，得到光照量。

上述K_e、K_a、K_d、K_s、K_c、K_l、k_q等系数都是经验值，可依据物体材质与需要的效果进行调整，从而使光照模型与所反映的物体相适应。

在图形处理器(GPU)中的可编程处理器中对各纹理数据点的各个光照分量进行计算后，对各个光照分量进行累加，得到各纹理数据点的光照量。

优选光照模型设置在图形处理器的可编程片段处理器中，对纹理数据点进行光照量计算的过程是：图形处理器的可编程顶点处理器接收到纹理后，将纹理传递给可编程片段处理器；可编程片段处理器接收纹理后，根据光照模型计算光照量。

(3)图形处理器将纹理数据点的光照量和数据值进行混合。

将纹理数据点的光照量和数据值进行混合可采用下述方式：将各纹理数据点的光照量和颜色值进行加权求和(光照量和颜色值各自的权重可根据需要设定，当要求图像较亮时光照量的权重较大，当要求图像较暗时光照量的权重较小)，可得出各纹理数据点的光亮度值，从而使最后在屏幕上显示的图像具有较理想的光照效果。

为了减小中央处理器(CPU)向图形处理器(GPU)传输的数据量，确保实时的性能，优选上述步骤(2)中，图形处理器(GPU)的可编程处理器(通常为可编程片段处理器)接收纹理后，用纹理数据点的表面法向量来代替顶点的表面法向量，计算光照量。

为了使屏幕上显示的图像具有凹凸感，进一步增强图像的真实感，优选在上述对三维图像数据的光照量的计算中还具有明暗计算，利用明暗计算突出显示不同物质之间的边界面。明暗计算的步骤如下：

(a)计算三维图像数据各数据点的梯度值(梯度是指灰阶的变化程度)；

梯度值的计算可在中央处理器中进行，由如下中心差分公式求出，其中f(x_i，y_i，z_i)表示源数据点的灰度值，G_f(x_i，y_i，z_i)表示目标数据点的梯度值：

$G_f(x_i,y_i,z_i)=\left[\begin{array}{c}\frac{1}{2}(f(x_{i-1},y_i,z_i)-f(x_{i+1},y_i,z_i))\\ \frac{1}{2}(f(x_i,y_{i-1},z_i)-f(x_i,y_{i+1},z_i))\\ \frac{1}{2}(f(x_i,y_i,z_{i-1})-f(x_i,y_i,z_{i+1}))\end{array}\right]$

(b)在上述步骤(1)中，将步骤(a)得到的梯度值作为纹理保存进图形处理器(GPU)中。

明暗计算的特点是用数据点的梯度值替代灰度值，进行光照量的计算。

本发明的光照模拟方法利用可编程硬件图形处理器设置光照模型，能够光照模型与所反映的物体相适应，使屏幕上显示的图像较逼真地模拟出自然界的光照效果，并进一步在对各数据点光照量的计算中具有明暗计算，使屏幕上显示的图像具有凹凸感，进一步增强图像的真实感；这种光照模拟方法基于图形处理器，光照量的计算在图形处理器中进行，由于图形处理器的高速并行机制(图形处理器中的多个可编程处理器能够并行地对三维图像数据的数据点进行光照模拟计算)，使得光照模拟计算所需的运算时间很少，符合三维图像实时显示的要求。

具体实施方式

本实施例中基于图形处理器的实时三维图像的光照模拟方法，依次包括下述步骤：

(1)将三维图像数据中待处理的纹理保存进图形处理器中；

本光照模拟方法对三维图像数据的光照量的计算中还具有明暗计算，因此本步骤(1)包括下述步骤：

(a)计算三维图像数据各数据点的梯度值(梯度是指灰阶的变化程度)；

梯度值的计算可在中央处理器中进行，由如下中心差分公式求出，其中f(x_i，y_i，z_i)表示源数据点的灰度值，G_f(x_i，y_i，z_i)表示目标数据点的梯度值：

$G_f(x_i,y_i,z_i)=\left[\begin{array}{c}\frac{1}{2}(f(x_{i-1},y_i,z_i)-f(x_{i+1},y_i,z_i))\\ \frac{1}{2}(f(x_i,y_{i-1},z_i)-f(x_i,y_{i+1},z_i))\\ \frac{1}{2}(f(x_i,y_i,z_{i-1})-f(x_i,y_i,z_{i+1}))\end{array}\right]$

(b)将步骤(a)得到的梯度值作为纹理保存进图形处理器(GPU)中；上述纹理经由中央处理器(CPU)通过OpenGL接口传送到图形处理器(GPU)中；该部分的计算机源程序(用OpenGL语言表达)如下：

glGenTextures(1，&GL_TiduTexture)；//申请创建纹理空间并设定纹理参数

glBindTexture(GL_TEXTURE_3D，GL_TiduTexture)；

glTexParameteri(GL_TEXTURE_3D，GL_TEXTURE_WRAP_S，GL_CLAMP)；

glTexParameteri(GL_TEXTURE_3D，GL_TEXTURE_WRAP_T，GL_CLAMP)；

glTexParameteri(GL_TEXTURE_3D，GL_TEXTURE_WRAP_R，GL_CLAMP)；

glTexParameteri(GL_TEXTURE_3D，GL_TEXTURE_MAG_FILTER，L_LINEAR)；

glTexParameteri(GL_TEXTURE_3D，GL_TEXTURE_MIN_FILTER，GL_LINEAR)；

glTexImage3DEXT(GL_TEXTURE_3D，0，GL_RGBA，iWidth，iHeight，iDepth，0，GL_RGBA，GL_UNSIGNED_BYTE，NULL)；

glBindTexture(GL_TEXTURE_3D，GL_TiduTexture)；//绑定梯度3D纹理

glTexSubImage3DEXT(GL_TEXTURE_3D，0，0，0，0，iWidth，iHeight，iDepth，GL_LUMINANCE，GL_UNSIGNED_BYTE，TiduPtr)；

(2)图形处理器的可编程顶点处理器接收到纹理后，将纹理传递给可编程片段处理器；可编程片段处理器接收纹理后，用纹理数据点的表面法向量来代替顶点的表面法向量，计算纹理数据点的光照量；

通过图形处理器(GPU)的可编程片段处理器，用CG(C forgraphics)显卡编程语言表达光照模型；用CG语言表达的光照模型如下：

用CG语言表达的光照模型如下：

surfaceColor＝emissive+ambient+diffuse+specular+attenuationFactor；

其中surfaceColor表示光照量，光照量surfaceColor是放射光分量emissive、环境光分量ambient、漫反射光分量diffuse、镜面反射光分量specular和距离衰减量attenuationFactor等光照分量之和；各分量具体描述如下：

1)放射光分量emissive表示了由物体表面所发出的光，它的作用是独立于所有光源的，是一种在计算完其它所有光照分量后添加的颜色，它与其它分量没有联系，用K_e表示，即emissive＝K_e；

2)环境光分量ambient代表了入射光在一个场景里经过多次折射后、看起来像是来自四面八方一样的光，并不依赖于光源的位置，只依赖于物体材质的反射能力与照射在物体上的环境光的颜色，表示为ambient＝K_a*globalAmbient，其中K_a为环境光分量的系数，globalAmbient为入射环境光的颜色；

3)漫反射光分量diffuse代表从一个表面相等地向所有方向反射出去的方向光，通常物体表面微观尺寸上是非常粗糙的，当入射光线到达物体表面时，光线会向各个方向反射，表示为diffuse＝K_d*lightColor*max(N·L，0)，其中K_d是物体的漫反射颜色，lightColor是入射漫反射光的颜色，N是规范化的表面法向量(用纹理数据点的表面法向量来代替顶点的表面法向量，进行计算)，L是规范化的指向光源的向量；

4)镜面反射光分量specular代表了从一个表面主要的反射方向附近被反射的光，它非常依赖于观察者的位置，不仅受光源和物体的反射颜色性质的影响，也受物体表面的光泽度的影响，表示为

specular＝K_s*lightColor*facing*(max(N·H)，0)^shininess，

其中K_s是物体材质的镜面反射颜色，lightColor是入射镜面反射光的颜色，N是规范化的表面法向量(用纹理数据点的表面法向量来代替顶点的表面法向量，进行计算)，H是视点向量与光源向量的点积，shininess表示物体的光泽度；

5)距离衰减量attenuationFactor表示为attenuationFactor＝1/(K_c+K_l*d+k_q*d*d)，其中d是物体到光源的距离，K_c、K_l、k_q为控制衰减量的常量；

在图形处理器(GPU)中的可编程片段处理器中对各纹理数据点的各个光照分量进行计算后，对各个光照分量进行累加，得到各纹理数据点的光照量。

(3)图形处理器将纹理数据点的光照量和数据值进行混合。

将纹理数据点的光照量和数据值进行混合采用下述方式：将各纹理数据点的光照量和颜色值进行加权求和(光照量和颜色值各自的权重可根据需要设定，当要求图像较亮时光照量的权重较大，当要求图像较暗时光照量的权重较小)，可得出各纹理数据点的光亮度值，从而使最后在屏幕上显示的图像具有较理想的光照效果。

本实施例用于获得光亮度值(包括光照量的计算、光照量与颜色值的混合)的部分计算机源程序(用CG语言表达)如下：

float3 ambient＝Ka*globalAmbient；//环境光分量

float3 emissive＝Ke；          //放射光分量

//得到重采样的梯度值，进行明暗度计算

float4 normal4＝tex3Dproj(TiduTexture，inTex.yzxw)；

float3 N＝normal4.xyz；       //使用纹理坐标代替顶点坐标

N＝N*2-1.0；                  //放大梯度

N＝normalize(N)；             //规范化的表面法向量

float3 L＝normalize(lightPosition-N)；//片段位置到光源的规范化向量

float diffuse＝dot(oNormal，L)；//漫反射光分量

float3 V＝normalize(eyePosition-N)；  //视点到片段位置的规范化向量

float3 H＝normalize(L+V)；       //规范化V与L的半角向量

float specular＝pow(max(dot(N，H)，0)，shininess)；//镜面反射光分量

float4 light＝lit(diffuse，specular，shininess)；//综合计算

float4 lightcolor＝float4((emissive+ambient+Kd*light.y+Ks*light.z)，1.0)；

inTex.yz＝inTex.yz*inTex.w；              //预先把坐标乘以缩放因子

float val＝tex3Dproj(USTexture，inTex.yzxw)；//三维重建采样

sColor0＝tex1D(ColorMap，val)；  //颜色映射1D纹理采样

//光亮度值输出

sColor0＝float4(sColor0.x*lightcolor.x，sColor0.y*lightcolor.y，sColor0.z*lightcolor.z，sColor0.w)；

经过图像合成后，可在显示屏幕上显示图像。

本实施例采用显卡生产厂商NVIDIA提供的图形处理器(GPU)，并利用NVIDIA的CG(C for graphics)显卡编程语言与OpenGL三维图形接口对图形处理器进行编程。

Claims (8)

1、一种基于图形处理器的实时三维图像的光照模拟方法，其特征在于依次包括下述步骤：

(1)将三维图像数据中待处理的纹理保存进图形处理器中；

(2)图形处理器根据设置在图形处理器中的光照模型，对纹理数据点进行光照量的计算；

(3)图形处理器将纹理数据点的光照量和数据值进行混合。

2、根据权利要求1所述的基于图形处理器的实时三维图像的光照模拟方法，其特征是：所述步骤(1)中，待处理的纹理经由中央处理器通过OpenGL接口传送到图形处理器中。

3、根据权利要求1所述的基于图形处理器的实时三维图像的光照模拟方法，其特征是：所述步骤(2)中，光照模型通过图形处理器的可编程处理器，用CG显卡编程语言表达，用CG语言表达的光照模型如下：

surfaceColor＝emissive+ambient+diffuse+specular；

其中surfaceColor表示光照量，光照量surfaceColor是放射光分量emissive、环境光分量ambient、漫反射光分量diffuse和镜面反射光分量specular四个光照分量之和；各分量具体描述如下：

1)放射光分量emissive用K_e表示，即emissive＝K_e；

2)环境光分量ambient表示为ambient＝K_a*globalAmbient，其中K_a为环境光分量的系数，globalAmbient为入射环境光的颜色；

3)漫反射光分量diffuse表示为diffuse＝K_d*lightColor*max(N·L，0)，其中K_d是物体的漫反射颜色，lightColor是入射漫反射光的颜色，N是规范化的表面法向量，L是规范化的指向光源的向量；

4)镜面反射光分量specular表示为

specular＝K_s*lightColor*facing*(max(N·H)，0)^shininess，

其中K_s是物体材质的镜面反射颜色，lightColor是入射镜面反射光的颜色，N是规范化的表面法向量，H是视点向量与光源向量的点积，shininess表示物体的光泽度；

在图形处理器中的可编程处理器中对各纹理数据点的各个光照分量进行计算后，对各个光照分量进行累加，得到各纹理数据点的光照量。

4、根据权利要求3所述的基于图形处理器的实时三维图像的光照模拟方法，其特征是：所述步骤(2)的光照模型还包括距离衰减量attenuationFactor的计算，距离衰减量attenuationFactor表示为attenuationFactor＝1/(K_c+K_l*d+k_q*d*d)，其中d是物体到光源的距离，K_c、K_l、k_q为控制衰减量的常量；光照量surfaceColor是放射光分量emissive、环境光分量ambient、漫反射光分量diffuse、镜面反射光分量specular和距离衰减量attenuationFactor五个光照分量之和。

5、根据权利要求3所述的基于图形处理器的实时三维图像的光照模拟方法，其特征是：所述步骤(2)的光照模型设置在图形处理器的可编程片段处理器中，对纹理数据点进行光照量计算的过程是：图形处理器的可编程顶点处理器接收到纹理后，将纹理传递给可编程片段处理器；可编程片段处理器接收纹理后，根据光照模型计算光照量。

6、根据权利要求3所述的基于图形处理器的实时三维图像的光照模拟方法，其特征是：所述步骤(2)中，图形处理器的可编程处理器接收纹理后，用纹理数据点的表面法向量来代替顶点的表面法向量，计算光照量。

7、根据权利要求1所述的基于图形处理器的实时三维图像的光照模拟方法，其特征是：所述步骤(3)中，将纹理数据点的光照量和数据值进行混合采用下述方式：将各纹理数据点的光照量和颜色值进行加权求和，得出各纹理数据点的光亮度值。

8、根据权利要求1～7任一项所述的基于图形处理器的实时三维图像的光照模拟方法，其特征是：所述对三维图像数据的光照量的计算中还具有明暗计算，明暗计算的步骤如下：

(a)计算三维图像数据各数据点的梯度值，梯度值的计算在中央处理器中进行；

(b)在所述步骤(1)中，将步骤(a)得到的梯度值作为纹理保存进图形处理器中。