CN103700146A - 一种基于各向异性结构张量的三维数据增强可视化方法 - Google Patents

Abstract

本发明公开了一种基于各向异性结构张量的三维体数据增强可视化方法，其步骤为：步骤（1）、结构张量的计算；步骤（2）、三维体数据局部方向的计算；步骤（3）、自适应四面体划分；步骤（4）、能量函数的设计。该方法与现有方法相比，具有更高的效率。

Description

一种基于各向异性结构张量的三维数据增强可视化方法

技术领域

本发明涉及三维体数据的可视化的技术领域，具体涉及一种基于各向异性结构张量的三维体数据增强可视化方法。

背景技术

三维体数据的可视化在医学研究、三维重建、仿真设计中有很广泛地应用。当在有限分辨率的显示设备上显示体数据时，人们希望在放大焦点区域时也能观察到全局数据的信息。因此有研究者提出了Focus+Context可视化方法，它能在放大Focus区域的同时能保留整体数据的结构信息。而为了增强Focus区域的细节信息，必需压缩Context区域以留出更多空间。实际应用中人们希望形变后的结果能给用户一种操作真实三维物体的感觉。因此，形变结果应该很好地保留体数据中物体的形状和结构信息。

在体数据的可视化研究中，一些研究者通过扭曲或者覆盖Context区域来突显Focus区域。Viola等（参见文献[1]I.Viola,A.Kanitsar,M.E.Groller,Importance-DrivenVolume Rendering,In:Proceedings Of The Conference On Visualization,IEEE ComputerSociety,2004,Pp.139–146.）提出一种重要性驱动的自动Focus+Context体数据绘制方法。该方法根据转换方程将体数据的可见性作为体数据的重要性。并且在绘制时要求非关键区域不能遮挡重要区域。Wang等（参见文献[2]Y.-S.Wang,C.Wang,T.-Y.Lee,K.-L.Ma,Feature-Preserving Volume Data Reduction And Focus+Context Visualization,IEEETransactions On Visualization And Computer Graphics,Vol.17,No.2,Pp.171–181,2011.）用六面体风格均匀划分体数据，并用转换方程计算各个单元六面体的重要值。然后构建一个全局能量函数放大Focus区域，同时保留Context区域的内容。

大部分现有的Focus+Context方法仅计算各个单元体的重要值，而没有考虑到体数据中内容的形状信息。本发明在形变的过程中，将体数据中的结构信息作为重要程度的一部分。基于这个想法，该发明实现了一个新颖的Focus+Context可视化方法，该方法能以结构敏感的方式实现对体数据各向同性或各向异性的放大。

发明内容

本发明解决的技术问题是：实现了一个新颖的Focus+Context可视化方法，该方法能以结构敏感的方式实现对体数据各向同性或各向异性的放大。首先，逐体素地计算三维数据的结构张量，用结构张量求得体数据的局部切方向，并将相邻区域中具有相同切方向的体素聚类成一个子物体。然后，自适应的将三维体数据划分成四面体网格，这样重要区域中的四面体网格更加稠密。这样ROI(Region of Interest)区域的放大可视化的问题就转换成一个不规则网格变换的问题。这个问题可以通过构造一个最优化的能量函数来解决，在这个能量函数中用一个带方向的缩放因子来体现子物体的各向异性方向。本发明的主要创新点是：（1）用基于四面体的结构张量各向异性地放大三维体数据。（2）定义一个全局的能量函数放大三维体数据中的ROI区域，同时保留三维体数据的拓扑信息和结构信息。

本发明采用的技术方案为：一种基于各向异性结构张量的三维体数据增强可视化方法，包括以下四个步骤：

步骤（1）、结构张量的计算：给定三维体数据，首先在每个体素点计算结构张量，并将其最大特征值对应的特征向量设为该点的法线方向；

步骤（2）、三维体数据局部方向的计算：由步骤（1）中的法线构建一个最优化方程，该方程能写成一个协方差矩阵的形式，对该协方差矩阵进行特征分解，其最小特征值对应的特征向量即为相应点的局部切线方向向量，再将相邻部分中有相同切线方向的体素聚类，并定义其为一个子物体；

步骤（3）、自适应四面体划分：首先用均匀划分的四面体网格，再将每个四面体内部每个体素点不透明度的累加和，再用该四面体的体积除，将其归一化到[0,1]，记为该四面体的权重；网格中每个控制点的权重是其周围四面体权重的平均值，每条边的权重是其两个端点权重的平均值，给定目标网格中控制点的数量，用一个循环，每次去除一个控制点，具体做法为：每次从现有边的集合中选取权重最小的边，并将这条边的两个端点合并；

步骤（4）、能量函数的设计：将这些四面体当作形变模型，为每个四面体设置了一个权重和缩放方向，这个缩放问题能够用一个基于网格顶点的线性最优化公式来体现，优化这个公式能放大ROI区域，同时压缩周围的非关键区域，在得到变换后的网格顶点后，通过插值得到最后的变换结果，构建的基于三维网格控制点的能量函数能用一个稀疏的线性系统来解决。

因此该发明的算法非常高效并且支持实时的交互操作。

本发明的原理在于：

（1）通过结构张量来计算梯度，得到的梯度不仅有一个方向，而且能有一个大小。利用这些梯度可以得出局部数据的切线方向。

（2）合并相邻区域中具有相似切线方向的体素点，并将其定义为一个子物体。

（3）为了对三维体数据进行放大处理，先构造一个均匀划分的六面体网格，再进一步将该六面体网格划分为四面体网格。对非关键区域的顶点进行合并，使得非关键区域的网格变得比较稀疏，而关键区域网格尽可能不改变。

（4）为了对三维体数据进行放大，该发明构造了自适应的四面体网格。将三维体数据的放大问题转化为网格形变问题。再构造出能量函数来求最优化问题。得到形变四面体网格各个顶点位置后，再通过三线性插值即可构造出形变后的三维数据。

本发明与现有技术相比的有点在于：

1、本发明提出的基于结构张量的各向异性放大方法，与现有的方法相比，不但能统一地放大ROI区域，还能各向异向地放大。对于管状区域，可以沿着或垂直于切线方向进行放大。对于具有明显局部方向的区域，可以在不同的方向设置不同的缩放因子。

2、对比已有的方法，本发明将原始三维体数据划分为四面体网格并且用雅可比矩阵来表示它的形变。与六面体网格相比，四面体网格操作起来更加灵活。如图4所示，通过雅可比矩阵，可以清楚地知道局部特征是如何变化得，并且可以避免自交叉。

3、本发明提出的能量函数能转化为一个线性问题，所以与现有方法相比，本发明具有更高的效率。

附图说明

图1为本发明基于各向异性结构张量的三维体数据增强可视化方法的总体处理流程图。

图2为基于结构张量的局部切方向示意图；其中（a）初始体数据；（b）梯度方向；（c）切方向；

图3为用切平面计算切方向过程示意图。

图4为自适应四面体合并示意图；其中（a）为初始四面体网格；（b）为合并选取顶点后产生的自适应四面体网格；

图5为均匀网格与自适应四面体网格及其各自效果对比图；其中（a）初始均匀网络；（b）（a）变换后的结果；（c）基于网格（b）的体数据结果；（d）（c）中局部细节；（e）初始自适应网络；（f）（e）变换后的结果；（g）基于网络（f）的体数据结果；（h）（g）中局部细节；

图6为脚骨数据放大效果图；其中（a）初始体数据、ROI区域及形变方向；（b）形变结果；

图7为盆景数据放大效果图；其中（a）初始体数据；（b）形变结果。

具体实施方式

图1给出了基于各向异性结构张量的三维体数据增强可视化方法的总体处理流程图，下面结合其他附图及具体实施方式进一步说明本发明。

1.局部特征提取

在体数据的可视化中，最常用的特征指定方法是根据转换方程，用不同的颜色和不透明度区分不同灰度的数据。该发明也采用类似的方法，不同的是，该发明还考虑了局部张量场并且支持各向异性的ROI区域放大。体数据中不可见的体素对整个体数据结构的影响较小，所以在提取结构特征时可以不考虑这部分数据。给定体数据和转换方程，首先去除掉不透明度小于0.1的体素点，这样能明显地减少计算量。随后计算剩余点的结构张量，并将体素点表示为：R_i＝{p_i,n_i}，其中p_i表示第i个体素点的位置，n_i表示该点处的结构张量的最大特征对应的特征向量。现在需要估算体数据中管状结构的切线方向。受Li（参见文献[3]G.Li,L.Liu,H.Zheng,N.J.Mitra,Analysis,Reconstruction And Manipulation UsingArterial Snakes,ACM Transactions On Graphics,Vol.29,No.5Pp.1–102010.）的启发，该发明用切平面的方式来计算局部管状结构的切方向。如图2、3所示。给定点i，要计算经过点i，与i周围管状结构垂直相交的平面P_i。先选取点i周围一定范围的点的集合Γ，并列出最优化方程来计算向量v。最小化E的目的就是找一个和点集Γ中所有点的法线方向尽可能垂直的向量v。记v为该切平面的法向量。由于点i周围的结构是未知的，因此点集Γ选取得过大或过小都会使结果产生较大的误差。为了克服这个缺点，该系统先清空集合Γ，以点i为基准点，将平面周围一定范围内的点加入Γ中。根据以上最优化方程，重新计算切平面的法向量。迭代以上两步直到切平面的方向收敛。最后将点集Γ中所有点的切方向设置为v。上式中E的值指示了点集Γ中点的法线的差异性。如果E的值小于特定的阈值，说明存在一个向量，这个向量垂直于切平面周围的点的法线。因此将这一部分标记为管状结构，并将该切平面的法线方向设置为管状方向。相反，如果E大于特定的阈值，说明该点集的没有一个明显的方向，因此标记它为分叉区域或块状区域。找出所有的管状区域后，将相邻的具有相似方向的管状区域连接起来，定义其为一个子物体。这样就能区分管状区域和块状区域，并用不同的方法来放大它们。

2.自适应四面体网格划分

与大多数Focus+Context方法类似，该发明在体数据中建立一个网格，并将体数据的缩放问题转换成一个网格形变的问题。为了能在Focus区域放更多的控制点，并对Focus区域的有更精确的操作，首先用规则的六面体来划分体数据空间。再将每个六面体划分成6个四面体，记初始四面体网格为Π⁰。同时计算四面体内部每个体素点不透明度的累加和，再用该四面体的体积除，将其归一化到[0,1]，记为该四面体的权重。网格中每个控制点的权重是其周围四面体权重的平均值。每条边的权重是其两个端点权重的平均值。给定目标网格中控制点的数量，用一个循环，每次去除一个控制点，具体做法为：每次从现有边的集合中选取权重最小的边，并将这条边的两个端点合并。如图4中所示，假设选取第k条边合并，该边有两个端点A、B。用l^A、l^B和ω^A、ω^B分别表示这两个端点的位置和权重。将点A和B合并到F。同时设置点F的位置为：

更新点F的邻居并计算ω^F。在合并边AB的同时，四面体ABCE和ABED也被合并了。如果合并一条边之后有四面体被挤压成一个平面或出现自交叉的四面体，系统将禁这条边合并，并重新找一条权重较小的边执行以上合并操作。

将初始四面体网格合并到期望的分辨率之后，再用四面体内部各个体素点的切方向的平均值作为该四面体的主方向。在Focus区域的四面体有较大的权重，其被合并的可能性较小。如图5所示，自适应网格与均匀网格相比，Focus区域的四面体改变较小，并且它们产生的结果几乎相同。自适应的四面体网格有较少的控制点和四面体，它的计算量更小，效率也更高。

3.能量函数的设计和求解

（1）形变能量

将输入和输出的体数据分别表示为V^I和V^O。它们相应的四面体集合为T^I和T^O。目标体数据V^O与V^I具有相同的大小。

为每个四面体分配一个形变因子 $S_i=\left(\begin{array}{ccc}{s}_x^i& & \\ & s_y^i& \\ & & s_z^i\end{array}\right),$ 其中

分别是第i个四面体在x、y、z方向的缩放因子。因为整个体数据的大小是限定，并不是所有的四面体都能按预想的方式形变，所以存在一些四面体发生旋转或切变。因此，将第i个四面体的期望形变记为R_iS_i，其中R_i为旋转分量。

输入的第i个四面体

到目标四面体

的变换过程可以用一个4x4的矩阵D_i来表示。其中D_i的线性部分是一个3x3的雅可比矩阵J_i，它包含缩放、旋转和切变变换。给定T^I中各个控制点的位置，J_i只线性的依赖于

中点的位置。因此可以用一个关于J_i的函数来求解

。该发明要求输入的四面体网格尽可能按照用户期望的方式进行变换，即J_i和R_iS_i之间的距离应尽可能小。因此形变能量定义为：

$E_d=\underset{i\∈T}{\mathrm{\Σ}}\mathrm{\ω}\left(i\right){\left|\right|J_i-R_i{S}_i\left|\right|}_F^2$

其中||·||_F为Frobenius范数，ω(i)为第i个四面体的权重。这个能量函数可以显式地写为目标网格

的形式。具体转换过程可参考论文[4]（参见文献[4]L.Liu,L.Zhang,Y.Xu,C.Gotsman,S.J.Gortler,A Local/Global Approach To Mesh Parameterization,ComputerGraphics Forum,Vol.27,No.5,Pp.1495–15042008.）。

各向异性放大ROI区域时，先将局部的结构方向旋转到x轴，并按照用户指定的倍数沿x轴缩放。然后再将其旋转到原始方向。这样就能将物体沿着其结构方向进行缩放。同样也可将物体沿着垂直于其结构方向进行缩放。求解能量函数时，首先将R_i设置为单位矩阵。对于ROI区域，需按用户指定的大小设置S_i；对于其它区域，将S_i设置为单位矩阵。接下来求解能量函数就能得到目标四面体网格控制点的位置。随后，计算雅可比矩阵J_i，用极分解将其分解为一个旋转矩阵和一个缩放矩阵，并将R_i设置为。对于ROI区域，系统不改变其缩放因子S_i的值；对于Context区域，将S_i设置为

对角线元素的平均值。接下来，用新计算出的旋转因子和缩放因子重新计算雅可比矩阵J_i，并用J_i重新计算R_i和S_i。迭代以上两步直到E_d收敛。

（2）光滑能量

为了使形变后的结果更平滑，该系统中定义了光滑能量。它要求相邻的四面体的形变应尽可能相同。

$E_s=\mathrm{\Σ\Ψ}(i,j){\left|\right|R_i{S}_i-R_j{S}_j\left|\right|}_F^2$

其中Ψ(i,j)＝(ω(i)+ω(j))/2

（3）总能量

最终的总能量定义为以上两种能量的加权和：

E＝λE_d+μE_s，其中λ和μ分别为两部分能量各自的权重。

（4）限制条件

边界限制：

由于体数据的大小是限定的，必需保证输入网格中边界上的点在目标网格中仍在边界上。对于左边界上的控制点，限定其x坐标值为0，对于右边界上的控制点，限定其x坐标值为体数据的宽度。其它两组边界的限定方式也类似。

翻转限制：

由于变换过程中会发生翻转，而四面体的翻转会导致网格发生自交叉并且产生错乱的结果。每次极分解J_i时，要求

。否则，翻转矩阵J_i最小奇异值对应的特征向量，并重新计算

。

实验使用的硬件配置是Intel i5-520M处理器，Nvidia Geforce460m显卡,4G内存。运行在Windows764位系统上。所有涉及到效率测试的程序是都使用O2级优化进行编译的64位程序。

该系统允许用户指定ROI区域和放大倍数。用户可以前进或后退以更好地观察局部细节。与现有的方法相比，该方法不但能统一地放大ROI区域，还能各向异向地放大相应区域。对于管状区域，可以沿着或垂直于切线方向进行放大。对于具有明显局部方向的区域，可以在不同的方向设置不同的缩放因子。如图6所示，给定用户指定的ROI区域，可以对脚骨进行变长或变粗，同时保持了脚骨整体的结构并且避免了自交叉。如图7所示，该方法可以明显地放大局部特征并且很好地保留了其细节信息。除此之外，该方法将原始体数据划分为四面体网格并且用雅可比矩阵来表示它的形变。与六面体网格相比，四面体网格操作起来更加灵活。通过雅可比矩阵，可以清楚地知道局部特征是如何变化得，并且可以避免自交叉。

本发明未详细阐述的技术内容属于本领域技术人员的公知技术。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (1)

1.一种基于各向异性结构张量的三维体数据增强可视化方法，其特征在于包括以下四个步骤：

步骤（1）、结构张量的计算：给定三维体数据，首先在每个体素点计算结构张量，并将其最大特征值对应的特征向量设为该点的法线方向；

步骤（2）、三维体数据局部方向的计算：由步骤（1）中的法线构建一个最优化方程，该方程能写成一个协方差矩阵的形式，对该协方差矩阵进行特征分解，其最小特征值对应的特征向量即为相应点的局部切线方向向量，再将相邻部分中有相同切线方向的体素聚类，并定义其为一个子物体；

步骤（3）、自适应四面体划分：首先用均匀划分的四面体网格，再将每个四面体内部每个体素点不透明度的累加和，再用该四面体的体积除，将其归一化到[0,1]，记为该四面体的权重；网格中每个控制点的权重是其周围四面体权重的平均值，每条边的权重是其两个端点权重的平均值，给定目标网格中控制点的数量，用一个循环，每次去除一个控制点，具体做法为：每次从现有边的集合中选取权重最小的边，并将这条边的两个端点合并；

步骤（4）、能量函数的设计：将这些四面体当作形变模型，为每个四面体设置了一个权重和缩放方向，这个缩放问题能够用一个基于网格顶点的线性最优化公式来体现，优化这个公式能放大ROI区域，同时压缩周围的非关键区域，在得到变换后的网格顶点后，通过插值得到最后的变换结果，构建的基于三维网格控制点的能量函数能用一个稀疏的线性系统来解决。

Images