CN103679809A - 一种基于数据并行处理的虚拟现实的3d仿真方法及系统 - Google Patents

Abstract

本发明公开一种基于数据并行处理的虚拟现实的3D仿真方法及系统，方法包括：构建三维模型，设定初始边界条件；对三维模型区域分解；将初始边界条件和各子模型中的元素信息输入到进程；以初始边界条件为计算条件，当计算过程中初始的边界条件发生改变则重新设置边界，重新对子模型进行计算，直到边界稳定或计算子结果为常数；对计算子结果进行合并产生模型整体的计算结果；设定相机角度、行进路径，设置渲染效果，根据计算结果生成3D文件；并通过3D播放器播放展示。本发明可广泛应用在三维设计行业，如虚拟手术、建筑物通风结构设计、通风设计等。通过计算仿真和虚拟现实技术的结果，立体展示虚拟物体的瞬时特性，提升展示度，增强设计效果。

Description

一种基于数据并行处理的虚拟现实的3D仿真方法及系统

技术领域

本发明涉及计算机仿真技术领域，更具体地，涉及一种基于数据并行处理的虚拟现实的3D仿真方法及系统。

背景技术

现有的数值仿真的结果主要通过Tecplot、AVS等商业软件在普通显示设备上直接展示；无法和虚拟现实的展示设备（如数字头盔、立体显示器等）相接，也无法交互地展示数值计算结果，也无法提供高沉浸感的立体展示，观测者现场感不强，而现有的虚拟现实技术主要用于复杂操作（如模拟驾驶、零件装配）演示教学、虚拟试验等环节；展示性较强，但无法对虚拟实体的物理和行为实现精确的、在线的、实时的仿真，因此人机交互的效果较差。

基于上述现有技术的计算仿真系统和虚拟现实系统无法为感测者带来真实的现场感，也无法实现真正的实时交互，在一些瞬态的操作过程中，如实习医生在练习血管放支架的手术操作时，采用现有的方式来进行时其实时交互性差，操作者很难准确的把握其实时的情况。因为操作者的每一个动作都会对血流造成影响，故不真实的仿真模拟无法为操作者提供正确系统反馈信息，在后期临床操作中可能会造成难以估量的医疗事故。

发明内容

为了克服现有技术的不足，本发明首先提出一种仿真效果更逼真的基于数据并行处理的虚拟现实的3D仿真方法。

本发明的又一目的是提出一种基于数据并行处理的虚拟现实的3D仿真系统。

本发明的技术方案为：

一种基于数据并行处理的虚拟现实的3D仿真方法，包括以下步骤：

S1.构建对象的三维模型，设定初始边界条件；

S2.将步骤S1生成的三维模型进行区域分解，分解得到的子模型数目与并行计算服务器中的总进程数相同，并将初始边界条件和各子模型中的元素信息分别输入到各进程；

S3.以初始边界条件为计算条件，当计算过程中初始的边界条件发生改变则重新启动边界设置程序，重新对该子模型进行计算，直到边界稳定或计算子结果为常数；

S4.对产生的计算子结果进行合并，产生三维模型整体的计算结果；

S5.根据步骤S4获取的计算结果生成3D文件，并导入虚拟现实场景中，通过设定相机角度、行进路径，设置渲染效果来实现虚拟现实操作，通过3D显示器播放展示。

该方法采用计算服务器并行、实时计算，并以初始边界条件为计算条件，在检测到该边界条件发生改变之后，更新边界并重新计算，能反馈该三维模型边界条件的瞬时改变，即可实时反馈出计算模型的应力、形变/位移、速度场、温度场、浓度场等属性的瞬态变化。采用区域分解法，每个进程负责模型的一个分块，在普通PC集群上即可处理上亿自由度的大规模计算问题；将由计算结果生成的3D文件导入到虚拟现实的场景中，并设置相机行进路径和材质、渲染效果，将计算结果通过3D显示器立体播放和展示，沉浸感高，互动性、立体的展示效果更佳。

在一种优选的方案中，所述步骤S1中采用CAD工具（ADV_CAD，Solidworks，AutoCAD等）或者三维扫描仪构建对象的三维模型。

在一种优选的方案中，所述步骤S1中具体构建模型的方法为：

采用Solidworks或AutoCAD建3D模型，并存储为STL格式；

利用3D模型编辑方法，对STL文件建立面，然后导出；

利用3D模型转换方法，将STL文件转化为IGES格式，并设置实体输出为IGES MSBO用于后续过程读取；

或

采用利用ADV_CAD建立3D模型，则利用ADV_Tetmesh生成IGES格式的3D文件，并设置实体输出为IGES MSBO用于后续过程读取。

在一种优选的方案中，所述步骤S2中进行区域分解的具体实现方式为：

并行计算服务器中的主进程读取IGES格式三维模型；

对IGES格式三维模型进行非重叠、非结构的区域网格划分，得到N个子模型，N为并行计算服务器中的总进程数；

将当前进程负责的区域内的元素信息，以及初始边界条件信息一并写入当前进程的输入文件中。

在一种优选的方案中，所述步骤S3的计算具体实现方式为：

S31.读入当前进程中对应的输入文件；

S32.利用并行特征曲线算法对控制方程（描述物理现象的方程：如流体的Navier-Stokes方程、对流扩散方程、磁流体的麦克斯韦方程等）中的非线性项进行线性化处理，得到正定、对称的局部线性系统；

$\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{R}^{\left(i\right)}{K}^{\left(i\right)}{R}^{\left(i\right)T}{u}^{\left(i\right)}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{R}^{\left(i\right)}{f}^{\left(i\right)}---\left(1\right)$

其中

K⁽ⁱ⁾为局部刚度矩阵，

u⁽ⁱ⁾为局部未知变量，

f⁽ⁱ⁾为已知的局部外力向量，

R⁽ⁱ⁾为局部元素标编号和整体元素编号之间映射的0-1矩阵；

S33.对上一步骤中的局部未知变量u⁽ⁱ⁾进行区分整理，得到表面自由度方程；

$\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\left[\begin{array}{cc}{K}_{\mathrm{II}}^{\left(i\right)}& K_{\mathrm{IB}}^{\left(i\right)}\\ K_{\mathrm{BI}}^{\left(i\right)}& K_{\mathrm{BB}}^{\left(i\right)}\end{array}\right]\left\{\begin{array}{c}{u}_I^{\left(i\right)}\\ u_B^{\left(i\right)}\end{array}\right\}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\left\{\begin{array}{c}{f}_I^{\left(i\right)}\\ f_B^{\left(i\right)}\end{array}\right\}---\left(2\right)$

其中

为当前小区域内部自由度，

当前小区域表面和其他区域接界部分自由度；

为当前小区域内部自由度对应的外力矢量；

为当前小区域表面自由度对应的外力矢量；

为矩阵进行初等行列变换后对应的分块矩阵；S34.运用平衡预条件迭代算法对表面自由度方程（3）进行求解，得到

$(K_{\mathrm{BB}}-K_{\mathrm{BI}}{K}_{\mathrm{II}}^{-1}{K}_{\mathrm{IB}})u_B=f_B-K_{\mathrm{BI}}{K}_{\mathrm{II}}^{-1}{f}_I---\left(3\right)$

S35.将

代入到式（2）中的线性系统，采用直接法反解得到

S36.将计算结果u⁽ⁱ⁾输出到当前进程负责的输出文件中；

S37.如果边界条件发生改变重新启动边界设置程序，再进行计算，直到边界稳定或者计算子结果定常为止；每完成一定时间步的计算，进行一次输出文件的读写操作。

在一种优选的方案中，所述步骤S4对产生的计算子结果进行合并处理的方式为：

S41.主进程分别读入当前时间步内各个进程的输出文件，然后按照区域分解的算法将结果合并还原，将结果以一个ASCII格式的文件暂存；

S42.主进程分别对各个时间步内的所有进程输出的输出文件进行处理，并将结果以ASCII格式暂存；

S43.主进程对各个时间步的ASCII格式的文件进行整合，以AVS UCD格式存储。

在一种优选的方案中，所述步骤S5中设定相机角度、行进路径，设置渲染效果是用于进行可视化设置，以展示瞬态的由步骤S1至S4获取的瞬态结果。

在一种优选的方案中，所述步骤S5中生成的3D文件为GFA格式文件或exe可执行文件。

一种基于数据并行处理的虚拟现实的3D仿真系统，包括：3D扫描仪、3自由度反馈传感器、以太网、计算服务器、3D显示器和图形工作站，3D扫描仪通过以太网连接计算服务器，计算服务器通过以太网连接图形工作站，3自由度反馈传感器和3D显示器与图形工作站连接；

3D扫描仪，用于构建对象的三维模型；

3自由度反馈传感器，用于设置三维模型的初始边界条件，切换相机视角、改变行进路径；

计算服务器，是并行计算服务器，用于对三维模型进行区域分解，分解得到的子模型数目与并行计算服务器中的总进程数相同，并将初始边界条件和各子模型中的元素信息分别输入到各进程；以初始边界条件为计算条件，当计算过程中初始的边界条件发生改变则重新启动边界设置程序，重新对该子模型进行计算，直到边界稳定或计算子结果为常数；.对产生的计算子结果进行合并，产生三维模型整体的计算结果；

3D显示器，用于将三维模型整体的计算结果生成3D文件，并播放展示交互的3D文件以及虚拟现实操作。

在一种优选的方案中，所述以太网是千兆以上的以太网。

与现有技术相比，本发明的有益效果为：本发明结合并行计算仿真技术和虚拟现实技术，在对虚拟现实主体的三维建模，对三维模型划分网格并分块，采用计算服务器进行并行处理、仿真计算，各进程的计算结果经过合并后转换为UCD格式存储；之后，导入虚拟现实场景中，在设定相机行进路径、材质和渲染效果后进行立体展示。本发明用3自由度反馈传感器对计算模型的边界进行修改，后台运行的守护进程负责监控边界条件的改变并实施反馈到并行求解器中，可以实施反馈出计算模型的应力、形变/位移、速度场、温度场、浓度场等属性的瞬态变化。

比起传统的计算仿真系统，本系统的提供高沉浸感的、互动的、立体的展示，效果更佳；比起传统的虚拟现实技术，本系统基于计算仿真，可以实时反馈出物体应力、形变/位移、速度场、温度场、浓度场等属性的瞬态变化，更加逼真、真实。本发明可以广泛应用在对三维设计行业，如虚拟手术、建筑物通风结构设计、通风设计等。通过计算仿真和虚拟现实技术的结果，立体展示虚拟物体的瞬时特性，提升展示度，增强设计效果。

本发明可以广泛应用在三维设计行业，如虚拟手术、建筑物通风结构设计、通风设计等。通过计算仿真和虚拟现实技术的结果，立体展示虚拟物体的瞬时特性，提升展示度，增强设计效果。

附图说明

图1为本发明系统的连接示意图。

图2为本发明方法的实施步骤。

图3（a）为实施例中拍摄小猪的颈的CT图。

图3（b）为实施例中小猪的颈的数字减影（DSA）图像。

图4（a）、（b）为血管模型经过网格划分和区域分解的示意图。

图5为生成的GFA格式3D电影文件截图。

具体实施方式

下面结合附图对本发明做进一步的描述，但本发明的实施方式并不限于此。

现代医学中经常通过在血管中放置支架得方法来改善血管有狭窄的状况以保证血流畅通，但由于手术过程处理不当会导致大出血，一般新医生都需要经过一定的培训才能熟练掌握技巧。以下以实验小猪的颈动脉血管放支架手术的教学演示为例，使用两个3自由度力反馈仪模拟手术过程中左右和右手的手术器具，实施步骤具体如下：

步骤1（建立模型）：

1.1：采用数字减影子技术（DSA）得到小猪颈部动脉的3D造型，输出为医学DICOM格式的切片文件和JPEG格式图片用于标定后期重构的3D模型；

1.2：通过医学影像象处理软件，如Amira等读入DICOM格式的3D切片文件，重构3D血管模型；

1.3：参照1.1中输出的JPEG文件，设置参数、调整血管粗细，光滑程度。截取用于计算的的部分并存储为STL格式；

1.4：采用Geomagic Studio读入STL文件，建立边界和曲面并输出为Step格式文件；通过TransMagic读入Step格式文件，在设置好IGES格式使用MSBO输出实体曲线并存储为IGES格式。

1.5：通过ADV Tripatch导入前一步生成的IGES文件，进行非结构四面体网格划分，生成.msh文件，找出各表面所含的网格；

1.6：读取守护进程反馈的实时边界条件，结合各表面所含的网格信息设置边界条件；生成ADV格式的二进制文件；

步骤2（区域分解）：

用ADV Metis读取第一步产生的ADV格式二进制文件，并将上一步生成的三维模型进行区域分解,产生和并行计算与系统处理器数目相同个数的ADV格式子文件；

步骤3（计算仿真）：

3.1：各尽程并行读入上一步产生的多个ADV文件，运用并行特征曲线算法对控制方程中的非线性项进行线性化处理，得到正定、对称的局部线性系统，

$\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{R}^{\left(i\right)}{K}^{\left(i\right)}{R}^{\left(i\right)T}{u}^{\left(i\right)}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{R}^{\left(i\right)}{f}^{\left(i\right)}$

其中

K⁽ⁱ⁾为局部刚度矩阵，

u⁽ⁱ⁾为局部未知变量，

f⁽ⁱ⁾为已知的局部外力向量，

R⁽ⁱ⁾为局部元素标编号和整体元素编号之间映射的0-1矩阵；

3.2：对上一步骤中的局部未知变量u⁽ⁱ⁾进行区分并整理，得到

$\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\left[\begin{array}{cc}{K}_{\mathrm{II}}^{\left(i\right)}& K_{\mathrm{IB}}^{\left(i\right)}\\ K_{\mathrm{BI}}^{\left(i\right)}& K_{\mathrm{BB}}^{\left(i\right)}\end{array}\right]\left\{\begin{array}{c}{u}_I^{\left(i\right)}\\ u_B^{\left(i\right)}\end{array}\right\}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\left\{\begin{array}{c}{f}_I^{\left(i\right)}\\ f_B^{\left(i\right)}\end{array}\right\},$

其中

为当前小区域内部自由度，

当前小区域表面（和其他区域接界部分）自由度；

为当前小区域内部自由度对应的外力矢量；

为当前小区域表面自由度对应的外力矢量；

为矩阵进行初等行列变换后对应的分块矩阵；3.3：运用平衡预条件迭代算法对表面自由度方程

$(K_{\mathrm{BB}}-K_{\mathrm{BI}}{K}_{\mathrm{II}}^{-1}{K}_{\mathrm{IB}})u_B=f_B-K_{\mathrm{BI}}{K}_{\mathrm{II}}^{-1}{f}_I$

进行求解，得到

3.4：将代入到第3）中的线性系统，采用直接发反解得到

3.5：将计算结果u⁽ⁱ⁾输出到当前进程负责的输出文件中；

3.6：如果守护进程检测到边界条件发生改变（医生手上操作：如动脉穿刺、植入导丝、释放支架等），则重新启动边界设置程序，再以前一步的计算结果作为初值进行计算，直到边界稳定或者计算结果定常为止；每完成一定时间步的计算，进行一次输出文件的读写操作；

步骤4（合并分块）：

4.1:主进程分别读入当前时间步内各个进程输出的ADV文件，然后按照区域分解的算法将结果合并还原，将结果以一个ASCII格式的文件暂存；

4.2:主进程分别对各个时间步内的所有进程输出的输出文件进行处理，并将结果以ASCII格式暂存；

4.3:重复4.1和4.2，然后主进程对各个时间步的ASCII格式的文件进行整合，以AVS UCD格式存储；

步骤5（虚拟现实）：

5.1：通过可视化软件MicroAVS对上一步产生的UCD文件进行可视化设置，展示瞬态的计算结果的变化；

5.2：在可视化软件中设置相机行进路径并保存；

5.3：利用虚拟现实编辑软件（VRtools等）对计算结果的材质、场景进行渲染，导入相机行进路径；生成GFA格式的3D电影文件，或者exe可执行文件；

步骤6（结果展示）：

通过3D播放器（3D AVS Player等），在3D显示设备展示。可以通过3D力反馈传感器切换视角、改变相机行进路径等。

本系统基于并行区域分解算法、通过后台的并行计算服务器，利用2个3自由度力反馈模拟手术操作，能提供实时的、在线的血液动力学的数值计算结果并融合在场景中、立体地展示出来，可以带来很真实的手术操作感觉，增强教学训练效果。

以上所述的本发明的实施方式，并不构成对本发明保护范围的限定。任何在本发明的精神原则之内所作出的修改、等同替换和改进等，均应包含在本发明的权利要求保护范围之内。

Claims (10)

1.一种基于数据并行处理的虚拟现实的3D仿真方法，其特征在于，包括以下步骤：

S1.构建对象的三维模型，设定初始边界条件；

S2.将步骤S1生成的三维模型进行区域分解，分解得到的子模型数目与并行计算服务器中的总进程数相同，并将初始边界条件和各子模型中的元素信息分别输入到各进程；

S3.以初始边界条件为计算条件，当计算过程中初始的边界条件发生改变则重新启动边界设置程序，重新对该子模型进行计算，直到边界稳定或计算子结果为常数；

S4.对产生的计算子结果进行合并，产生三维模型整体的计算结果；

S5.根据步骤S4获取的计算结果生成3D文件，并导入虚拟现实场景中，通过设定相机角度、行进路径，设置渲染效果来实现虚拟现实操作，通过3D显示器播放展示。

2.根据权利要求1所述的基于数据并行处理的虚拟现实的3D仿真方法，其特征在于，所述步骤S1中采用CAD工具或者三维扫描仪构建对象的三维模型。

3.根据权利要求2所述的基于数据并行处理的虚拟现实的3D仿真方法，其特征在于，所述步骤S1中具体构建模型的方法为：

采用Solidworks或AutoCAD建3D模型，并存储为STL格式；

利用3D模型编辑方法，对STL文件建立面，然后导出；

利用3D模型转换方法，将STL文件转化为IGES格式，并设置实体输出为IGES MSBO用于后续过程读取；

或

采用利用ADV_CAD建立3D模型，则利用ADV_Tetmesh生成IGES格式的3D文件，并设置实体输出为IGES MSBO用于后续过程读取。

4.根据权利要求3所述的基于数据并行处理的虚拟现实的3D仿真方法，其特征在于，所述步骤S2中进行区域分解的具体实现方式为：

并行计算服务器中的主进程读取IGES格式三维模型；

对IGES格式三维模型进行非重叠、非结构的区域网格划分，得到N个子模型，N为并行计算服务器中的总进程数；

将当前进程负责的区域内的元素信息，以及初始边界条件信息一并写入当前进程的输入文件中。

5.根据权利要求4所述的基于数据并行处理的虚拟现实的3D仿真方法，其特征在于，所述步骤S3的计算具体实现方式为：

S31.读入当前进程中对应的输入文件；

S32.利用并行特征曲线算法对控制方程（描述物理现象的方程：如流体的Navier-Stokes方程、对流扩散方程、磁流体的麦克斯韦方程等）中的非线性项进行线性化处理，得到正定、对称的局部线性系统；

$\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{R}^{\left(i\right)}{K}^{\left(i\right)}{R}^{\left(i\right)T}{u}^{\left(i\right)}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{R}^{\left(i\right)}{f}^{\left(i\right)}---\left(1\right)$

其中

K⁽ⁱ⁾为局部刚度矩阵，

u⁽ⁱ⁾为局部未知变量，

f⁽ⁱ⁾为已知的局部外力向量，

R⁽ⁱ⁾为局部元素标编号和整体元素编号之间映射的0-1矩阵；

S33.对上一步骤中的局部未知变量u⁽ⁱ⁾区分表面自由度和内部自由度并整理，得到；

$\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\left[\begin{array}{cc}{K}_{\mathrm{II}}^{\left(i\right)}& K_{\mathrm{IB}}^{\left(i\right)}\\ K_{\mathrm{BI}}^{\left(i\right)}& K_{\mathrm{BB}}^{\left(i\right)}\end{array}\right]\left\{\begin{array}{c}{u}_I^{\left(i\right)}\\ u_B^{\left(i\right)}\end{array}\right\}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\left\{\begin{array}{c}{f}_I^{\left(i\right)}\\ f_B^{\left(i\right)}\end{array}\right\}---\left(2\right)$

其中

为当前小区域内部自由度，

当前小区域表面和其他区域接界部分自由度；

为当前小区域内部自由度对应的外力矢量；

为当前小区域表面自由度对应的外力矢量；

为矩阵进行初等行列变换后对应的分块矩阵；

S34.运用平衡预条件迭代算法对表面自由度方程（3）进行求解，得到

$(K_{\mathrm{BB}}-K_{\mathrm{BI}}{K}_{\mathrm{II}}^{-1}{K}_{\mathrm{IB}})u_B=f_B-K_{\mathrm{BI}}{K}_{\mathrm{II}}^{-1}{f}_I---\left(3\right)$

S35.将

代入到式（2）中的线性系统，采用直接法反解得到

S36.将计算结果u⁽ⁱ⁾输出到当前进程负责的输出文件中；

S37.如果边界条件发生改变重新启动边界设置程序，再进行计算，直到边界稳定或者计算子结果定常为止；每完成一定时间步的计算，进行一次输出文件的读写操作。

6.根据权利要求5所述的基于数据并行处理的虚拟现实的3D仿真方法，其特征在于，所述步骤S4对产生的计算子结果进行合并处理的方式为：

S41.主进程分别读入当前时间步内各个进程的输出文件，然后按照区域分解的算法将结果合并还原，将结果以一个ASCII格式的文件暂存；

S42.主进程分别对各个时间步内的所有进程输出的输出文件进行处理，并将结果以ASCII格式暂存；

S43.主进程对各个时间步的ASCII格式的文件进行整合，以AVS UCD格式存储。

7.根据权利要求6所述的基于数据并行处理的虚拟现实的3D仿真方法，其特征在于，所述步骤S5中设定相机角度、行进路径，设置渲染效果是用于进行可视化设置，以展示瞬态的由步骤S1至S4获取的瞬态结果。

8.根据权利要求7所述的基于数据并行处理的虚拟现实的3D仿真方法，其特征在于，所述步骤S5中生成的3D文件为GFA格式文件或exe可执行文件。

9.一种基于数据并行处理的虚拟现实的3D仿真系统，其特征在于，包括：3D扫描仪、3自由度反馈传感器、以太网、计算服务器、3D显示器和图形工作站，3D扫描仪通过以太网连接计算服务器，计算服务器通过以太网连接图形工作站，3自由度反馈传感器和3D显示器与图形工作站连接；

3D扫描仪，用于构建对象的三维模型；

3自由度反馈传感器，用于设置三维模型的初始边界条件，切换相机视角、改变行进路径；

计算服务器，是并行计算服务器，用于对三维模型进行区域分解，分解得到的子模型数目与并行计算服务器中的总进程数相同，并将初始边界条件和各子模型中的元素信息分别输入到各进程；以初始边界条件为计算条件，当计算过程中初始的边界条件发生改变则重新启动边界设置程序，重新对该子模型进行计算，直到边界稳定或计算子结果为常数；.对产生的计算子结果进行合并，产生三维模型整体的计算结果；

3D显示器，用于将三维模型整体的计算结果生成3D文件，并播放展示交互的3D文件以及虚拟现实操作。

10.根据权利要求9所述的系统，其特征在于，所述以太网是千兆以上的以太网。

Images