CN104599326B - 一种人体心脏的实时逼真绘制方法 - Google Patents

Abstract

本发明公开了一种人体心脏的实时逼真绘制方法。首先，利用纹理空间次表面绘制方法和半透明传输方法有效地绘制出心脏表面次表面的效果；然后，将凹凸贴图和Kelemen/Szirmay‑Kalos光照模型相结合，绘制心脏表面粘液覆盖的效果；最后，再将次表面散射、粘液覆盖和心脏表面其它基础效果相结合产生心脏表面的绘制效果。实验结果表明人体心脏实时逼真绘制方法有较高的绘制效率和真实感。

Description

一种人体心脏的实时逼真绘制方法

技术领域

本发明属于真实渲染及表面绘制技术领域，具体涉及基于纹理空间次表面绘制方法、实时半透明传输方法和粘液覆盖表面绘制方法。

背景技术

结合虚拟现实和数字医学的虚拟手术技术，以其可重复、低风险、精确建模等优点，得到临床医生的高度认可，为医生手术技能培训和手术预演等提供了一条全新的技术途径。同时，虚拟手术场景的逼真程度直接影响参与者的实践效果，是真实虚拟手术场景的一大挑战。针对虚拟心脏手术支撑平台构建过程中的心脏器官逼真绘制部分遇到的心脏器官活性绘制及实时性要求，本文提出了实时逼真绘制心脏的方法。

现有人体器官的绘制方法可分为两个方面：基于体数据的交互式实时绘制和基于表面网格并作为虚拟手术绘制一部分的实时绘制。Hurrnusiadis等人利用半人工方式构建出虚拟心脏用于心脏病学的教育，此研究着重与心脏结构和功能性方面的表现，完全忽略心脏的外表特点。同样，Zhang Lei等人在体数据基础上，结合分割的方法完成的实时交互式心脏展示平台，也没有考虑心脏的外表面特性。

人类的皮肤由于由多层半透明材质散射其中传输的光线，产生次表面散射效果。虽然皮肤次表面散射物理模拟具有较高的复杂性，但最近人脸表面的次表面效果的逼真绘制有比较大的进步。Jensen等人提出单偶极模型进行皮肤次表面散射效果的绘制，后来Donner和Jensen等人又提出了多偶极模型以便能够更好的处理多层材质。Borshukov和Green等人提出基于纹理空间的散射绘制方法，可实时绘制出较逼真的效果，但却无法处理在器官表面较薄区域光穿透的效果。基于此，d’Eon等人基于半透明阴影贴图产生了较好的绘制效果，但是不能应用于屏幕空间，并且占用较多的内存。Jimenez等人总结皮肤次表面效果和人眼观察特性提出了一个简单并且有效的皮肤次表面散射效果的绘制方法，该方法有效模拟了多层皮肤的反射和半透明。本文借助前人对皮肤绘制方法的研究与实现，并修改皮肤绘制的参数进行心脏次表面散射效果绘制地尝试，产生了较逼真地次表面散射效果。

另外，心脏的外表面一般是粘液覆盖的并且对心脏的逼真性有着重要的影响。Raphael等人使用高光模型来提高肝脏表面的绘制效果，结果绘制出来的心脏有很强的塑料感，表明仅仅使用高光很难模拟出逼真的粘液覆盖效果。Hao Aimin等人使用单偶极模型的方法重新绘制心脏表面，在心脏表面引入次表面散射效果，但由于单偶极模型的限制绘制效果不能很好表现器官表面的次表面效果，本文的绘制方法使得心脏表面更加柔和，并且在较薄区域有明显的半透效果。Mohamed等人考虑到器官表面并非完美平滑以及器官表面多层折射作用，使用柏林噪音产生反射贴图和折射贴图，并将它们有效融合的方式，获得了较好的表面粘滑的效果。

本发明将结合心脏表面的特点、人脸绘制方法和粘液覆盖表面绘制方法有效解决了心脏实时逼真绘制问题。

发明内容

本发明要解决的技术问题是：在心脏外科模拟和医学培训中，心脏表面的逼真绘制对提高参与者的体验至关重要，但由于心脏表面物理复杂性，现有的心脏实时绘制方法差强人意。本发明基于心脏表面的特点，利用现有人脸次表面实时绘制和粘液覆盖效果绘制的经验提出人体的实时逼真绘制方法，并利用预处理的方法提高了计算与绘制效率，该方法主要基于纹理空间次表面散射方法、粘液覆盖方法以及其它心脏表面效果有效的融合完成心脏表面的逼真实时绘制。

本发明解决上述技术问题的技术方案为：一种人体心脏的实时逼真绘制方法，由于整个绘制三个阶段中的光照计算阶段最为重要，因此下面主要介绍光照计算方法，其它阶段利用基础的方法就可完成，光照计算阶段的关键步骤如下：

1.纹理空间次表面散射

步骤1.1纹理空间次表面散射方法使用多偶极模型表达扩散分布图解析表达式R(r)来描述了光在物体表面扩散的形状，并将R(r)表示成多个高斯核函数的线性之和，在进行心脏绘制时，至少使用四个才能更好的近似R(r)，当然使用更多的核函数会提高绘制的精度，但增加了绘制的时间。

步骤1.2离散化R(r)成核函数，即通过离散采样的方式将连续的扩散分布图表达式与纹理图像卷积的操作，转变成离散的核函数与纹理空间图像的卷积操作。

步骤1.3由于高斯核函数的旋转对称性和可分离性，多个高斯函数卷积的和可以近似为多个高斯函数和的卷积，因此，我们使用多个高斯核函数的和对原始光照纹理分布在u方向和v方向卷积，并存入绘制缓存。

2.实时半透明传输方法

步骤2.1根据半透明阴影绘制原理，首先根据半透明阴影贴图原理，以光源作为视角来存储物体到最近光源点的位置和纹理坐标，那么在计算穿透点的光照强度时，可以使用此纹理坐标获得背部的光照强度，使用位置坐标并通过计算光在物体内部传输的距离d。

步骤2.2光在心脏内部传输的过程中，会发生衰减，其衰减程度由衰减函数T(s)决定，利用光在心脏内部传输的特点，简化光照计算的模型，推导出绘制点辐射度的近似公式，利用步骤2.1中的传输距离和背部光照强度作为输入，在像素着色器中进行半透明传输强度的计算。

3.粘液覆盖表面高光效果

步骤3.1首先，通过心脏三维网格模型中顶点的切向量和顶点向量进行叉乘，获得TBN转换矩阵，对凹凸贴图向量进行采样，并利用TBN转换矩阵将凹凸向量转换到世界坐标系中。

步骤3.2首先，对阴影纹理进行采样，考察绘制点的遮挡状况；然后，通过光源和绘制点的距离，计算光照强度的衰减；最后，利用Kelemen/Szirmay-Kalos光照模型计算绘制点的高光强度。

步骤3.3将光照计算结果，利用纹理空间次表面散射的方法将心脏多种效果结合起来，绘制出心脏的综合效果。

4.后处理阶段

步骤4.1在步骤3.3之后，心脏初始的综合光照计算结果已经出来了，这时候通过向心脏表面添加光晕效果、景深效果，并通过反走样技术，获得心脏最终的绘制效果并呈现出来。

实验结果表明，本发明的方法能够逼真地绘制心脏表面并具有较高的实时帧率。过与以前绘制器官表面的方法我们的绘制效果有以下几个优点：1.绘制出的心脏细节丰富具有粘液覆盖的效果。2.心脏表面具有次表面散射效果，心脏显得更加柔和，在较薄区域可以看到光的透过效果，并具有实时的绘制性能。

附图说明

图1为算法整体流程图；

图2为改进的纹理空间次表面绘制方法流程图；

图3为光在物体内部传输距离示意图；

图4为次表面散射近似计算示意图；

图5为半透明传输方法流程；

图6为高光效果渲染流程图；

图7为心脏表面和薄区域有无次表面散射效果对比图；

图8为有无高光效果对比图；

图9为最终效果和其它方法效果以及实际心脏对比图。

具体实施方式

下面结合附图以及本发明的具体实施方式作进一步说明。

1.纹理空间次表面散射

Donner等人在单偶极模型的基础上提出多偶极模型同时利用高斯核函数对多偶极模型进行近似即，对于扩散分部图的解析表达式R(r)，我们可以找到k个以w_i为权重v_i为方差，r为半径的高斯核函数G(v_i，r)的和来近似，如公式1所示：

其中，

Green等人提出的纹理空间散射技术可以有效地利用高斯核函数的性质有效地模拟出了皮肤表面次表面散射效果。绘制过程如下：

1).绘制阴影贴图

2).绘制拉伸矫正贴图

3).绘制光照贴图到离线纹理

4).对于R(r)中的每一个G(v，r)：

a.在u方向执行单独的模糊操作，并存入临时缓存

b.在v方向执行单独的模糊操作，并保存，以用于最后的操作

5).绘制三维网格

a.访问每个高斯卷积纹理，并将他们线性组合

b.增加每个光源的高光分量

一般情况下，4个高斯核函数就可以有效近似多偶极分散图，但在绘制多层材质效果时，增加近似多偶极模型的高斯核函数个数可以有效提高整体绘制的精度。由于高斯核函数的旋转对称性和可分离性，我们使用多个高斯函数和的卷积近似多个高斯函数卷积的和，进一步简化了步骤4)中的高斯卷积操作，最终基于纹理空间的次表面散射绘制流程可简化成图2所示。

2.实时半透明传输方法

针对纹理空间次表面散射绘制方法对光完全穿透较薄区域效果表现不好的问题，Jimenez等人提出实时半透明传输方法，能够很好地在纹理空间模拟光穿过物体较薄区域的效果。此方法基于两个方法，一个是Green等人提出的方法，一个是d’Eon等人提出的方法。在Green的方法中，有效提出了计算光在物体内部传输距离的方法，如图3所示，即在绘制时，以光源作为视角来存储物体到最近光源的距离。例如当绘制像素点z_out1时，我们首先访问深度图获得对应点z_in1的深度，此方法有点类似阴影贴图中的方法，然后我们仅仅用z_out1-z_in1就可以获得光在物体内部传输的距离s₁。

在计算出光在心脏内部的传输距离之后，此方法需要计算光在传输过程的衰减函数T(s)，但是在利用物体材质进行衰减估计时，此方法却无法模拟多层材质。d’Eon的方法是改进的半透明阴影贴图，此方法存储z点和它的纹理坐标(u，v)，在绘制的时候，以z_out2例，通过(u_in2，v_in2)以获得物体背面的光照强度，和Green方法相同，可利用z_out2减去z_in2获得光在物体内部传输的距离。

如下图4所示，d’Eon的方法可以用B点辐射输出的值近似C点的值，并借助于A的辐射信息可获得C点近似辐射度M(x，y)。图中，r是扩散分布图半径，d是薄区域厚度，s是A点到C点的距离，是扩散分布函数。M(x，y)的计算公式如公式3所示。

其中，

结合Green的方法，下面的问题就是计算光在较薄区域传输过程中衰减函数Ts的问题了。Jimenez等人总结光在物体内部传输过程的特点，将公式3简化为公式5，

M(x,y)＝ET(s) (5)

其中，

为A点反照率，用于C点辐照度近似，N_c为A点的相反法向量。那么公式6就是衰减函数Ts的计算公式。在具体实现时，可以先预计算Ts并存储在查找纹理中，在绘制时，只要将反射的值和透射的值相加就可以，并且不需要进行线性组合，因为在计算透射时，使用的是相反的向量。最后只要简单的把反射分量和透射分量用屏幕空间高斯核卷积就能得到最终的绘制结果，完整的光照计算流程图如图5所示。

通过借助于皮肤绘制的纹理空间次表面散射方法和半透明传输方法，并将两种方法结合，在考虑心脏表面的特点的情况下，本发明模拟出心脏表面次表面散射效果，是首次使用此种方法对心脏表面次表面散射效果进行绘制。图7展示了是否带有次表面散射效果心脏的整体效果对比图，通过对比图可以看出，此种方法所模拟出来的次表面散射效果使得心脏表面柔和，并具有红色渗透地半透明效果。

3.粘液覆盖表面高光效果

在虚拟手术中，高光效果可以提供给参与者深度、方向、和变形信息，对参与者的体验至关重要。对于心脏表面高光的计算，KSK(Kelemen/Szirmay-Kalos)模型具有实时绘制的高逼真双方面的有点。此方法通过预计算的方式将BRDF模型分解成多个预计算纹理，包括Bechmann纹理、表面粗糙度纹理、强度纹理等，达到时实时高光计算的目的。

由于心脏表面潮湿粘液覆盖，心脏表面常表现出小范围凹凸的效果。使用凹凸纹理映射的方法，我们可以捕捉到心脏表面的细微特征。在计算过程中，为了正确利用凹凸贴图计算光照，需要将凹凸贴图中的向量信息和光照向量及半角向量转换到相同的空间，如TBN空间。基于最终绘制效果的需要，我们将KSK模型和凹凸贴图结合起来完成了心脏表面高光的计算，产生了不错的高光绘制效果，高光计算流程图如图6所示。

图8展示了是否带有高光效果的心脏的整体效果对比图，通过对比图，可以看出通过添加高光效果，使得心脏表现出粘液覆盖和凹凸地基本效果，改善了心脏整体地真实感。然后通过此方法和心脏次表面散射效果模拟方法相结合，完成心脏表面整体效果地绘制。如图9所示，左边的是本发明绘制的心脏效果，右上角是现有流行IPAD软件virtual heart心脏绘制效果，右下角是真实心脏效果。效果表面，我们提出的心脏绘制方法有较高地真实性。

上面的三部分即：纹理空间次表面散射、实时半透明传输方法和粘液覆盖表面高光，是权利要求中第二步，光照计算中的核心阶段，而通过将这些方法和心脏表面特点相结合并实时绘制出效果逼真地心脏是本发明地主要创新点。

4.后处理阶段

为了改善心脏最终的绘制效果，本发明增添了对心脏效果的后处理，包括添加景深效果，光晕效果和反走样技术。

在景深效果中，首先，我们使用高斯函数对心脏原始图像进行模糊，形成模糊图像；然后，通过模糊圈地方式构建权重函数；最后，利用权重函数将心脏原始图像和模糊图像叠加，形成景深效果。

在光晕效果中，首先，我们使用阈值地方式选取心脏绘制图像中的亮色；然后，对提取过亮色的图像，进行高斯模糊，形成模糊图像；组后，将模糊图像和心脏原始图像叠加，形成光晕效果。

在反走样时，本发明使用SMAA，即增强型子像素形态学反锯齿技术，来进行反走样。SMAA更好的几何形体和对角形体检测处理机制，通过图形边缘局部特征对比来识别图像的锯齿特征，并通过重建子像素的方式实现抗锯齿功能。

以上后处理地过程，改善了心脏绘制地整体效果，使得绘制出地心脏效果更具有真实感。

本文实验环境为Intel(R)Core(TM)i5-24003.10GHz CPU、4G内存、NVIDIAGeForce GT420 2G显示卡、Windows 7操作系统的PC机。心脏模型含有14708个顶点，29412个三角面片。当扩散分布图采样个数为17时，心脏表面绘制的结果已经非常逼真，此时，次表面散射绘制的帧率为72fps，综合绘制效果达到时候绘制性能的要求。

本发明展示了实时绘制逼真心脏的新方法，即心脏次表面散射效果和粘液覆盖效果的结合。所绘制出的心脏不仅表面细节丰富，整体感觉柔和，而且具有半透明和粘液覆盖的效果，整体效果使人信服，并且我们程序具有实时绘制的性能。由于此方法的一般性，此方法不仅可以用于心脏绘制，而且可以应用于人体其它器官的绘制。

Claims (2)

1.一种人体心脏的实时逼真绘制方法，其特征在于包括如下步骤:

(1)预处理阶段；构建和准备心脏三角网格模型，并利用渲染到纹理或者人工渲染的方法，绘制凹凸纹理、自遮挡纹理、Beckman纹理、表面粗糙度和强度纹理；

(2)光照计算阶段，计算心脏表面的环境光、漫反射、高光并利用半透明传输方法计算透光强度，并利用纹理空间次表面散射方法进行光照效果混合；

(3)后处理阶段，增加光晕效果、景深效果并进行反锯齿以改善整体心脏绘制效果；

(4)呈现心脏绘制效果，转入步骤(2)进入下一帧绘制；

所述步骤(2)包括：首先，根据半透明阴影贴图原理，计算对应点深度，以光在物体内部传输距离计算；然后，计算环境光和漫反射对光照效果的贡献，再选择次表面散射的绘制，这一步还会计算半透效果；之后，利用纹理空间次表面散射的方式，计算心脏表面的次表面散射效果；最后，将高光效果和次表面效果融合达成最终效果；

所述半透明传输方法具体包括：

步骤2.1根据半透明阴影绘制原理，首先根据半透明阴影贴图原理，以光源作为视角来存储物体到最近光源点的位置和纹理坐标，那么在计算穿透点的光照强度时，可以使用此纹理坐标获得背部的光照强度，使用位置坐标并计算光在物体内部传输的距离d；

步骤2.2光在心脏内部传输的过程中，会发生衰减，其衰减程度由衰减函数T(s)决定，利用光在心脏内部传输的特点，简化光照计算的模型，推导出绘制点辐射度的近似公式，利用步骤2.1中的传输距离和背部光照强度作为输入，在像素着色器中进行半透明传输强度的计算；

所述步骤(3)包括：

对光照阶段绘制的心脏表面添加光晕、景深效果，并使用SMAA方法进行反走样处理；

在景深效果中，首先，使用高斯函数对心脏原始图像进行模糊，形成模糊图像；然后，通过模糊圈的方式构建权重函数；最后，利用权重函数将心脏原始图像和模糊图像叠加，形成景深效果；

在光晕效果中，首先，使用阈值的方式选取心脏绘制图像中的亮色；然后，对提取过亮色的图像，进行高斯模糊，形成模糊图像；最后，将模糊图像和心脏原始图像叠加，形成光晕效果；

在反走样时，使用SMAA，即增强型子像素形态学反锯齿技术，来进行反走样；SMAA更好的几何形体和对角形体检测处理机制，通过图形边缘局部特征对比来识别图像的锯齿特征，并通过重建子像素的方式实现抗锯齿功能。

2.根据权利要求1所述的人体心脏的实时逼真绘制方法，其特征在于步骤(1)包括：构建心脏表面三角网格模型；绘制凹凸纹理，用于凹凸效果的实现；自遮挡纹理用于实现心脏表面的自遮挡纹理；渲染Beckman纹理、心脏表面粗糙度和强度纹理用于高光效果的绘制。