CN108766577A - 一种用于虚拟手术系统中的血管渲染方法 - Google Patents

Abstract

本发明适用于计算机渲染领域，提供了一种实时高效的用于虚拟手术系统中血管模型的渲染方法，所述方法包括如下步骤：A、输入血管造影图像进行预处理；B、使用主成分分析构建完整血管模型同时获取血管表面高频纹理；C、载入人体组织图形数据和血管图形数据；D、绘制三角形网格，并建立基于三层生物膜的光照模型，并加载相关纹理贴图；E、建立OBB包围盒，并采用8叉树数据结构对模型表面进行分割处理；F、光栅化绘制图形。本发明实现了虚拟手术系统中需要的实时高效，对模型渲染的精度高的技术。

Description

一种用于虚拟手术系统中的血管渲染方法

技术领域

本发明涉及计算机渲染领域，提出了一种用于虚拟手术系统中的实时渲染的新方法，其目的是使人体组织中的血管得到更精细的表面效果，实现实时渲染并且提高渲染质量和速度。

背景技术

在人体的血管中，在血管壁上有一个反射层，它反射进入血管中的光线，它是血管生物膜的最外层，称它为外膜层。外膜层是是人体血管的最外层。它是血管的最表面部分，也是我们所能看到的血管的样子，它起来有光泽，因为外膜层反射了入射到血管上的光线。由于外膜层反射光线，使得暴露的血管变得特别明显，或者它看起来是明亮的颜色。当光线照射到人体组织时，血管要变得特别明显。

为了清楚的显示血管和人体组织，需要为模型之间进行分割，尽管分割算法已被广泛研究，但之前的成果只关注单向分割，而且该过程处于离线状态。给定由一组无序和非结构化三角形构成的几何模型，这些三角形近似于模型的表面，最原始的分割方法是遍历每个切片平面的所有三角形以获得相交线段。遍历方法浪费了大量时间处理远离分割平面的不可到的网格。还有一种描述了通过在z方向上预先分组三角形来分割几何模型的有效算法。但是，该方法仅适用于分割方向固定的情况。一旦分割方向改变，重新组合三角形是必需的。最近有人提出利用拓扑信息来提高分割效率。然而，该方法仍然依赖于固定的分割方向，找到模型和分割表面之间的第一个交点是十分耗时的。

发明内容

针对上述的缺陷，本发明的实现了一种用于虚拟手术系统中血管模型的渲染的新方法，显著提高了血管的渲染质量，提高了渲染速度，并且让血管显示效果更加真实。

为了实现上述目的，一种实时高效的用于虚拟手术系统中血管模型的渲染方法，其特征在于包括以下步骤：

A.对于一种实时高效的用于虚拟手术系统中血管模型的渲染方法，采用了一种预处理方法其主要特征在于：

在预处理阶段使用多线性主成分分析血管造影图像来构建完整血管模型。给定一个无约束的图像和相应的分割掩模，我们计算一个形状V，一个低频血管表面的反照率图I，一个刚性的人体组织姿态(R，t)，一个具有体内的相机矩阵P 的透视变换Πp(V)和光照L，以及来自可见血管区域的高频纹理。但是由于从血管造影图中提取的高频纹理是极为困难的，所以我们使用基于一下方法实现得到高频纹理。

为了得到未知参数χ＝{V,I,R,t,P,L}，我们采用基于主成分分析的血管造影模型和基于像素颜色约束高效的优化扩展而来的血管模型。进一步纳入像素级可见性约束使用我们的分割掩模来获得。

使用多线性主成分分析模型,由公式(1)和公式(2)表示低频血管表面反照率I 和其表面几何V:

这里A_id∈R^3n×40,A_exp∈R^3n×40,A_al∈R^3n×40是同一性的表达式并且是反照率的多变量正态分布的基础，其相应的均值为相应的标准偏差为：σ_id∈R⁴⁰,σ_exp∈R⁴⁰,σ_al∈R⁴⁰。A_id,A_al,A_exp,是基于大量血管造影图像的数据库中通过数据分析得到的。首先，检测二维血管表面界限通过公式(3)来最小化以下能量来得到初始化血管表面拼接：

通过最小化输入图像和合成血管表面之间的光度差来进一步改善形状并优化低频反照率以及光照。目标函数由公式(4)定义：

E(χ)＝w_cE_c(χ)+w_lanE_lan(χ)+w_regE_reg(χ) (4)

具有光能一致性项E_c的能量项权重w_c＝1,w_lan＝10,w_reg＝2.5×10^-5，界标项 E_lan和正则化项E_reg。还需要确保仅对可见血管表面区域评估图像一致性项E_c，由公式(5)给出：

其中C_imput是输入图像，C_synth是渲染图像，p∈M是由血管造影图像分割掩模给出的可见性像素。正则化项E_reg由公式(6)(7)(8)确定：

这些公式使多线性模型的系数更符合正态分布，并减少了收敛到局部最小值的可能性。使用相互迭代的方式，给定初始值E_reg(χ_ij)并且代入到公式(7)(8)，得到新的u_j和α_j，然后在代入到公式(6)得到新的E_reg(χ_ij)，这样反复迭代直到E_reg(χ_ij)收敛。在该优化之后，通过从输入图像中分解来自光照L和表面法线组成的阴影分量来获得高频反照率纹理。得到的纹理贴图存储在UV纹理贴图中。

B.对于一种实时高效的用于虚拟手术系统中血管模型的渲染方法，采用了一种光照模型其主要特征在于：

因为血管壁从管腔面向外一般依次内膜、中膜和外膜，我们提出了一个反射模型，考虑血管壁的三层物理结构，让它呈现更加真实地渲染效果。

入射到人体血管上的光通过三层生物膜在血管上复杂地反射。然后光线从外膜射到血管内部。因此，人体血管内部可见的反射光由以下两部分组成：

照射在血管上的大部分入射光直接照射到外膜，而不用在血管内反射。我们将这种反射光称为外膜层成分，这取决于入射光，外膜层的厚度分布和观测方向。

中膜和内膜层，以及血管内部液体的反射光。在入射到血管内部的光中，反射在外膜层上的光由于血管内部液体的反射而迭代并衰减。反射光可能取决于入射到血管的光的强度而不依赖于观测点方向。将这种反射光称为血管光照环境分量。

外膜层的成分取决于入射光，血管在人体组织中的分布和观测方向。预先准备好血管的分布情况并设置为立方体贴图纹理图像。我们将其称为外膜层立方体贴图。当白光源入射到血管上的任意点时，它根据反射强度和光照中的浅色组成进行反射。反射的光色存储在RGB管线中，反射强度分别存储在外膜层的纹理贴图的alpha管线中，这里的纹理贴图就是预处理A过程中得到的高频纹理。

血管内部的成分不依赖于观测方向。当前的颜色用作入射光。可以根据映射在血管上的所有外膜层的反射光平均颜色和入射光颜色来计算血管光照环境的颜色。血管的光照环境分量的光照强度与进入血管的入射光总量成正比。光照强度的计算方法与外膜层成分相同，然后乘以血管内部液体的反射系数。反射系数是表示反射光强度在血管中衰减了多少的参数。

C.对于一种实时高效的用于虚拟手术系统中血管模型的渲染方法，采用了分割组织模型的方法其主要特征在于：

提出了一种通过三角形网格组织成8叉树数据结构，来分割人体组织中的血管轮廓，从而使实时轮廓渲染对于确保形状保真度高，并且解决分割任意方向的血管模型。

利用8叉树数据结构来减少实时模型分割过程中的计算时间。给定一个人体组织模型，识别它的有向包围盒(OBB)，并将它表示成八叉树结构的根(水平 -0)。通过将模型递归地细分成八个八分区，以xy，yz，xz坐标平面作为分离方向来构建分层的8叉树。8叉树中的每个叶节点都包含模型的三角形集合，这些三角形由节点边界几何体包围。

当接收到相交性查询时，算法将检查模型的OBB是否与切片平面相交。如果没有相交，查询将停止并且不返回三角形。如果相交被识别，算法将递归的侵占每个节点。如果子节点不与分割表面相交，或者它是最大树级别的叶节点，则递归被终止。结果，在被侵占的叶节点处获得一组三角形。然后通过计算分割表面和集合中每个三角形之间的交线来提取相交的线段。由于8叉树的特性，可以通过一个简单的递归函数来实现该方法，仅用来访问分割表面附近的三角形并忽略不可达的三角形，从而使该过程非常高效。此外，分割过程独立于分割的方向，可以保证稳定的时间成本和稳定的渲染性能。

本发明通过一种新的方法对虚拟手术系统中的血管和人体组织进行渲染，它集成到硬件细分管线中。通过主成分分析法来获取高频纹理，根据血管生物膜来设计的光照模型，以及基于八叉树的图形分割算法来提高渲染血管的简单性和效率，不仅提高了运算速度，还加快了渲染的流畅性，渲染的真实性。

附图说明

图1为根据本发明实施例的一种用于虚拟手术系统中的实时渲染的流程框图

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

步骤(1)在本发明的第一步中，使用图像处理过血管造影图像作为输入，这一过程还应该包括对图像的降噪和分割处理及三维重建。

步骤(2)使用主成分法分析法对输入数据来构造完整的血管模型和获取血管表面的高频纹理

步骤(2-1)在预处理阶段使用多线性主成分分析血管造影图像来构建完整血管模型。给定一个无约束的图像和相应的分割掩模，我们计算一个形状V，一个低频血管表面的反照率图I，一个刚性的人体组织姿态(R，t)，一个具有体内的相机矩阵P的透视变换Πp(V)和光照L，以及来自可见血管区域的高频纹理。但是由于从血管造影图中提取的高频纹理是极为困难的，所以我们使用基于一下方法实现得到高频纹理。

步骤(2-3)得到未知参数χ＝{V,I,R,t,P,L}，我们采用基于主成分分析的血管造影模型和基于像素颜色约束高效的优化扩展而来的血管模型。进一步纳入像素级可见性约束使用我们的分割掩模来获得。

步骤(2-4)多线性主成分分析模型,由公式(1)和公式(2)表示低频血管表面反照率I和其表面几何V

这里A_id∈R^3n×40,A_exp∈R^3n×40,A_al∈R^3n×40是同一性的表达式并且是反照率的多变量正态分布的基础，其相应的均值为相应的标准偏差为：σ_id∈R⁴⁰,σ_exp∈R⁴⁰,σ_al∈R⁴⁰。A_id,A_al,A_exp,是基于大量血管造影图像的数据库中通过数据分析得到的。首先，检测二维血管表面界限通过公式(3)来最小化以下能量来得到初始化血管表面拼接：。

步骤(2-5)通过最小化输入图像和合成血管表面之间的光度差来进一步改善形状并优化低频反照率以及光照。目标函数由公式(4)定义。

步骤(2-6)具有光能一致性项E_c的能量项权重w_c＝1,w_lan＝10,w_reg＝2.5×10^-5，界标项E_lan和正则化项E_reg。还需要确保仅对可见血管表面区域评估图像一致性项E_c，由公式(5)给出。

其中C_imput是输入图像，C_synth是渲染图像，p∈M是由血管造影图像分割掩模给出的可见性像素。正则化项E_reg(χ_ij)由公式(6)(7)(8)定义

这些公式使多线性模型的系数更符合正态分布，并减少了收敛到局部最小值的可能性。使用相互迭代的方式，给定初始值E_reg(χ_ij)并且代入到公式(7)(8)，得到新的u_j和α_j，然后在代入到公式(6)得到新的E_reg(χ_ij)，这样反复迭代直到 E_reg(χ_ij)收敛。在该优化之后，通过从输入图像中分解来自光照L和表面法线组成的阴影分量来获得高频反照率纹理。得到的纹理贴图存储在UV纹理贴图中。

步骤(2-8)最后我们得到了高频纹理贴图，并且之后将它存储在UV纹理贴图中。

步骤(3)载入步骤(2)之后，得到的血管图形数据，以及完整的人体组织模型数据。

步骤(4)在顶点着色器中绘制构成人体组织和血管的三角面片。

步骤(4-1)绘制构成人体组织和血管的三角面片

步骤(4-2)设置人体组织的光照模型，并加载相关纹理

步骤(5)采用基于血管生物膜的光照模型。根据血管壁从管腔面向外一般依次内膜、中膜和外膜，设置一个反射模型，考虑血管壁的三层物理结构，让它呈现更加真实地渲染效果。入射到人体血管上的光通过三层生物膜在血管上复杂地反射。然后光线从外膜射到血管内部。因此，人体血管内部可见的反射光由以下两部分组成：照射在血管上的大部分入射光直接照射到外膜，而不用在血管内反射。我们将这种反射光称为外膜层成分，这取决于入射光，外膜层的厚度分布和观测方向。中膜和内膜层，以及血管内部液体的反射光。在入射到血管内部的光中，反射在外膜层上的光由于血管内部液体的反射而迭代并衰减。反射光可能取决于入射到血管的光的强度而不依赖于观测点方向。将这种反射光称为血管光照环境分量。

步骤(5-1)由于外膜层的成分取决于入射光，血管在人体组织中的分布和观测方向。使用预先准备好的血管的高频纹理设置将其为立方体贴图纹理。我们将其称为外膜层立方体贴图。当白光源入射到血管上的任意点时，它根据反射强度和光照中的浅色组成进行反射。反射的光色存储在RGB管线中，反射强度分别存储在外膜层的纹理贴图的alpha管线中，这里的纹理贴图就是预处理A过程中得到的高频纹理。

步骤(5-2)血管内部的成分不依赖于观测方向。当前的颜色用作入射光。可以根据映射在血管上的所有外膜层的反射光平均颜色和入射光颜色来计算血管光照环境的颜色。血管的光照环境分量的光照强度与进入血管的入射光总量成正比。光照强度的计算方法与外膜层成分相同，然后乘以血管内部液体的反射系数。反射系数是表示反射光强度在血管中衰减了多少的参数。

步骤(6)计算模型的OBB包围盒，通过三角形网格组织成8叉树数据结构，来分割人体组织中的血管轮廓，从而使实时轮廓渲染对于确保形状保真度高，并且解决分割任意方向的血管模型。

步骤(6-1)利用8叉树数据结构来减少实时模型分割过程中的计算时间。给定一个人体组织模型，识别它的有向包围盒(OBB)，并将它表示成八叉树结构的根(水平-0)。通过将模型递归地细分成八个八分区，以xy，yz，xz坐标平面作为分离方向来构建分层的8叉树。8叉树中的每个叶节点都包含模型的三角形集合，这些三角形由节点边界几何体包围。

步骤(6-2)当接收到相交性查询时，算法将检查模型的OBB是否与切片平面相交。如果没有相交，查询将停止并且不返回三角形。如果相交被识别，算法将递归的侵占每个节点。如果子节点不与分割表面相交，或者它是最大树级别的叶节点，则递归被终止。结果，在被侵占的叶节点处获得一组三角形。然后通过计算分割表面和集合中每个三角形之间的交线来提取相交的线段。由于8 叉树的特性，可以通过一个简单的递归函数来实现该方法，仅用来访问分割表面附近的三角形并忽略不可达的三角形，从而使该过程非常高效。此外，分割过程独立于分割的方向，可以保证稳定的时间成本和稳定的渲染性能。

步骤(7)将处理过的模型进行光栅化，最终得到渲染结果

本发明未详细阐述的部分属于本领域公知技术。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (1)

1.一种实时高效的用于虚拟手术系统中血管模型的渲染方法，其特征在于包括以下步骤：

A.对于一种实时高效的用于虚拟手术系统中血管模型的渲染方法，采用了一种预处理方法其主要特征在于：

在预处理阶段使用多线性主成分分析血管造影图像来构建完整血管模型。给定一个无约束的图像和相应的分割掩模，我们计算一个形状V，一个低频血管表面的反照率图I，一个刚性的人体组织姿态(R，t)，一个具有体内的相机矩阵P的透视变换Πp(V)和光照L，以及来自可见血管区域的高频纹理。但是由于从血管造影图中提取的高频纹理是极为困难的，所以我们使用基于一下方法实现得到高频纹理。

为了得到未知参数χ＝{V,I,R,t,P,L}，我们采用基于主成分分析的血管造影模型和基于像素颜色约束高效的优化扩展而来的血管模型。进一步纳入像素级可见性约束使用我们的分割掩模来获得。

使用多线性主成分分析模型,由公式(1)和公式(2)表示低频血管表面反照率I和其表面几何V:

这里A_id∈R^3n×40,A_exp∈R^3n×40,A_al∈R^3n×40是同一性的表达式并且是反照率的多变量正态分布的调整参数,3n×40是参数的维度，其相应的均值为相应的标准偏差为：σ_id∈R⁴⁰,σ_exp∈R⁴⁰,σ_al∈R⁴⁰。α_id，α_exp，α_al是输入变量，A_id,A_al,A_exp,是基于大量血管造影图像的数据库中通过数据分析得到的。首先，检测二维血管表面界限通过公式(3)来最小化以下能量来得到初始化血管表面拼接：

通过最小化输入图像和合成血管表面之间的光度差来进一步改善形状并优化低频反照率以及光照。目标函数由公式(4)定义：

E(χ)＝w_cE_c(χ)+w_lanE_lan(χ)+w_regE_reg(χ) (4)

具有光能一致性项E_c的能量项权重w_c＝1,w_lan＝10,w_reg＝2.5×10^-5，界标项E_lan和正则化项E_reg。还需要确保仅对可见血管表面区域评估图像一致性项E_c，由公式(5)给出：

其中C_imput是输入图像，C_synth是渲染图像，p∈M是由血管造影图像分割掩模给出的可见性像素。正则化项E_reg由公式(6)(7)(8)定义为：

这些公式使多线性模型的系数更符合正态分布，并减少了收敛到局部最小值的可能性。使用相互迭代的方式，给定初始值E_reg(χ_ij)并且代入到公式(7)(8)，得到新的u_j和α_j(这两个变量都是隐含变量)，然后在代入到公式(6)得到新的E_reg(χ_ij)，这样反复迭代直到E_reg(χ_ij)收敛。在该优化之后，通过从输入图像中分解来自光照L和表面法线组成的阴影分量来获得高频反照率纹理。得到的纹理贴图存储在UV纹理贴图中。

B.对于一种实时高效的用于虚拟手术系统中血管模型的渲染方法，采用了一种光照模型其主要特征在于：

因为血管壁从管腔面向外一般依次内膜、中膜和外膜，我们提出了一个反射模型，考虑血管壁的三层物理结构，让它呈现更加真实地渲染效果。

入射到人体血管上的光通过三层生物膜在血管上复杂地反射。然后光线从外膜射到血管内部。因此，人体血管内部可见的反射光由以下两部分组成：

照射在血管上的大部分入射光直接照射到外膜，而不用在血管内反射。我们将这种反射光称为外膜层成分，这取决于入射光，外膜层的厚度分布和观测方向。

中膜和内膜层，以及血管内部液体的反射光。在入射到血管内部的光中，反射在外膜层上的光由于血管内部液体的反射而迭代并衰减。反射光可能取决于入射到血管的光的强度而不依赖于观测点方向。将这种反射光称为血管光照环境分量。

外膜层的成分取决于入射光，血管在人体组织中的分布和观测方向。预先准备好血管的分布情况并设置为立方体贴图纹理图像。我们将其称为外膜层立方体贴图。当白光源入射到血管上的任意点时，它根据反射强度和光照中的浅色组成进行反射。反射的光色存储在RGB管线中，反射强度分别存储在外膜层的纹理贴图的alpha管线中，这里的纹理贴图就是预处理A过程中得到的高频纹理。

血管内部的成分不依赖于观测方向。当前的颜色用作入射光。可以根据映射在血管上的所有外膜层的反射光平均颜色和入射光颜色来计算血管光照环境的颜色。血管的光照环境分量的光照强度与进入血管的入射光总量成正比。光照强度的计算方法与外膜层成分相同，然后乘以血管内部液体的反射系数。反射系数是表示反射光强度在血管中衰减了多少的参数。

C.对于一种实时高效的用于虚拟手术系统中血管模型的渲染方法，采用了分割组织模型的方法其主要特征在于：

提出了一种通过三角形网格组织成8叉树数据结构，来分割人体组织中的血管轮廓，从而使实时轮廓渲染对于确保形状保真度高，并且解决分割任意方向的血管模型。

利用8叉树数据结构来减少实时模型分割过程中的计算时间。给定一个人体组织模型，识别它的有向包围盒(OBB)，并将它表示成八叉树结构的根(水平-0)。通过将模型递归地细分成八个八分区，以xy，yz，xz坐标平面作为分离方向来构建分层的8叉树。8叉树中的每个叶节点都包含模型的三角形集合，这些三角形由节点边界几何体包围。

当接收到相交性查询时，算法将检查模型的OBB是否与切片平面相交。如果没有相交，查询将停止并且不返回三角形。如果相交被识别，算法将递归的侵占每个节点。如果子节点不与分割表面相交，或者它是最大树级别的叶节点，则递归被终止。结果，在被侵占的叶节点处获得一组三角形。然后通过计算分割表面和集合中每个三角形之间的交线来提取相交的线段。由于8叉树的特性，可以通过一个简单的递归函数来实现该方法，仅用来访问分割表面附近的三角形并忽略不可达的三角形，从而使该过程非常高效。此外，分割过程独立于分割的方向，可以保证稳定的时间成本和稳定的渲染性能。

本发明通过一种新的方法对虚拟手术系统中的血管和人体组织进行渲染，它集成到硬件细分管线中。通过主成分分析法来获取高频纹理，根据血管生物膜来设计的光照模型，以及基于八叉树的图形分割算法来提高渲染血管的简单性和效率，不仅提高了运算速度，还加快了渲染的流畅性，渲染的真实性。