CN113379929B

CN113379929B - 一种基于物理仿真的骨组织修复虚拟现实解决方法

Info

Publication number: CN113379929B
Application number: CN202110570131.3A
Authority: CN
Inventors: 刘建涛; 彭浩然; 王浩诚; 李烨; 曾浩; 李雨轩
Original assignee: Southwest Jiaotong University
Current assignee: Southwest Jiaotong University
Priority date: 2021-05-25
Filing date: 2021-05-25
Publication date: 2023-02-28
Anticipated expiration: 2041-05-25
Also published as: CN113379929A

Abstract

本发明涉及骨组织修复技术领域，具体地说，涉及一种基于物理仿真的骨组织修复虚拟现实解决方法。其包括建立三维仿真模型步骤、搭建虚拟现实环境步骤、完成骨组织力学模型的建立步骤和对骨组织力学模型进行渲染和形变显示步骤。本发明中虚拟现实环境的搭建基于现实数据，并通过Meshlab三维几何处理系统的编译，CHAI3D力反馈库的编译以及建立，采用共享内存的方式建立进程间通信，实现Meshlab三维几何处理系统与CHAI3D力反馈库的坐标共享，从而完成虚拟现实环境的搭建，给用户提供良好的虚拟现实环境。

Description

一种基于物理仿真的骨组织修复虚拟现实解决方法

技术领域

本发明涉及骨组织修复技术领域，具体地说，涉及一种基于物理仿真的骨组织修复虚拟现实解决方法。

背景技术

虚拟现实技术，是近些年来发展起来的一项全新的实用技术，其囊括计算机、电子信息、仿真技术于一体，通过模拟虚拟环境从而给人以环境沉浸感，随着社会生产力和科学技术的不断发展，各行各业对VR技术的需求日益旺盛。VR技术也取得了巨大进步，并逐步成为一个新的科学技术领域，而对这一技术需求最大的领域之一便是医学。

随着虚拟现实领域研究的进展和外科手术方式的复杂化和精细化，虚拟手术渐渐成为热门的研究课题。VR技术的基础首先是计算机仿真技术，计算机手术仿真技术是利用计算机结合虚拟现实技术来模拟并指导临床手术所涉及的各个过程。随着医学图像三维可视化技术的发展,图像快速多样化处理得以实现，弥补了常规二维图像的局限性。借助数字化平台,将患者的影像学数据通过计算机三维重建建立一个虚拟环境,同时结合人机交互设备,建立一套完整的计算机手术仿真系统，术者手持虚拟的手术器械对虚拟的术区组织实施手术,通过对术者的视觉、触觉听觉等的刺激,模拟真实手术场景，使其产生了身临其境的感觉。另一个重要的因素就是力觉交互。研究表明，与传统的视觉和听觉再现人机交互相比力觉再现能更好的提高虚拟现实系统的真实感，并在一定程度上提高事件的执行效率和成功率。力反馈是在人机交互过程中，计算机对操作者的行为做出反应，并通过力反馈设备作用于操作者的过程。作为虚拟现实系统中操作者和虚拟环境的交互接口，力反馈设备将操作者的行为(包括位置、动作和速度等)通过传感器实时监测，把数据输入到计算机，然后将虚拟环境生成的力感反馈给操作者，使操作者获得和触摸真实物体相同的力感。在具体的实现过程中，我们将运用CCMEF有限元分析技术、Chai3d虚拟现实技术、PCL点云处理、AABB碰撞检测等一系列技术来实现软件与设备的技术交互、力反馈设备的人机交互，使得虚拟现实系统的真实感和实用性大大提高。此项目成果将用于医疗培训方面，让医师可以用更短的时间和成本来提高自身素质。医师借助计算机手术仿真设备可以进行手术规划及模拟训练，将其应用到骨组织修复手术等其它骨骼外科手术当中。

现在虽然出现了一些虚拟现实手术方法，但还不够全面，存在一些缺陷，其中：中国专利公布号：CN112466174A，公开了一种基于虚拟现实平台的腰椎穿刺手术训练系统，该发明只是单一对手术环境进行渲染，没有结合物理真实反馈，仿真度不高。

中国专利公布号：CN109308739A，公开了一种基于虚拟现实的软组织微创手术训练方法，该发明通过结合力反馈设备对软组织进行微创穿刺或钳拉，也只是针对简单CT影像逆向模型，而实际上人体组织与骨骼构造复杂，需要利用专业的三维模型处理平台进行优化处理，因此并不具备实用性。

发明内容

本发明的目的在于提供一种基于物理仿真的骨组织修复虚拟现实解决方法，以解决上述背景技术中提出的人体组织与骨骼构造复杂，需要利用专业的三维模型处理平台进行优化处理的问题。

为实现上述目的，本发明提供一种基于物理仿真的骨组织修复虚拟现实解决方法，包括如下方法步骤：

S1、建立三维仿真模型；

S1.1、建立骨组织三维仿真模型；

S1.2、建立手术器具三维仿真模型；

S2、搭建虚拟现实环境；

S3、对骨组织和手术器具的三维仿真模型进行碰撞检测，并进行模拟仿真分析，以完成骨组织力学模型的建立；

S4、对骨组织力学模型进行渲染和形变显示。

作为本技术方案的进一步改进，所述S1.1中建立骨组织三维仿真模型采用Meshlab三维几何处理系统，导入Meshlab三维几何处理系统的文件为.ply骨组织文件。

作为本技术方案的进一步改进，所述.ply骨组织文件导入Meshlab三维几何处理系统后对建立的骨组织三维仿真模型进行优化。

作为本技术方案的进一步改进，所述S2中搭建虚拟现实环境具体步骤如下：

S2.1、完成Meshlab三维几何处理系统的编译以及建立，并调用Meshlab三维几何处理系统的环境信息库，根据环境信息库建立虚拟现实环境的基础框架；

S2.2、完成CHAI3D力反馈库的编译以及建立；

S2.3、建立Meshlab三维几何处理系统与CHAI3D力反馈库的坐标共享。

作为本技术方案的进一步改进，所述S2.3中建立Meshlab三维几何处理系统与CHAI3D力反馈库的坐标共享采用共享内存的方式建立进程间通信。

作为本技术方案的进一步改进，所述S3中碰撞检测具体步骤如下：

S3.1.1、将优化后的骨组织三维仿真模型和手术器具三维仿真模型导入至S2中搭建虚拟现实环境内，并连接力反馈设备，力反馈设备用于对手术器具三维仿真模型进行映射驱动；

S3.1.2、利用PCL点云计算的八叉树空间索引算法完成骨组织三维仿真模型和手术器具三维仿真模型的碰撞检测。

作为本技术方案的进一步改进，所述S3模拟仿真分析采用有限元分析模拟仿真算法，其算法步骤如下：

S3.2.1、将完成碰撞检测后的骨组织模型进行四面体网格划分分析拟合材料属性，再根据虚拟手术刀结合力反馈设备的外部荷载力以及骨组织边界条件的限定，完成针对骨组织模型在动态受力下位移、应变、应力以及反作用力的计算；

S3.2.2、根据计算结果调整拟合材料属性系数；

S3.2.3、重复S3.2.1-S3.2.2，利用拟合材料属性系数完成骨组织力学模型的建立。

作为本技术方案的进一步改进，所述力反馈设备采用Geomagic Touch力反馈设备。

作为本技术方案的进一步改进，所述S4中骨组织力学模型渲染和形变显示步骤如下：

S4.1、获取S3.2.3中完成的骨组织力学模型，并通过Meshlab三维几何处理系统对骨组织力学模型表面进行形变显示；

S4.2、利用骨组织表面位移数据，并结合Meshlab三维几何处理系统对于骨组织表面有限元分析进行渲染。

作为本技术方案的进一步改进，所述S4.2中渲染的计算公式如下：

Color＝(1-C)·(0，0，255)+(255，0,0)

其中，R为红色渲染；B为蓝色渲染；Vmax为骨组织表面位移最大值；Vmin为骨组织表面位移最小值；V为骨组织表面位移平均值；C为骨组织表面位移数据；Color为最终渲染色。

与现有技术相比，本发明的有益效果：

1、该基于物理仿真的骨组织修复虚拟现实解决方法中，骨组织模型的三维建模数据来源于真实数据，使得建模与实物之间无明显差距，保证建模的精确性，为用户提供最佳的视觉效果。

2、该基于物理仿真的骨组织修复虚拟现实解决方法中，虚拟现实环境的搭建基于现实数据，并通过Meshlab三维几何处理系统的编译，CHAI3D力反馈库的编译以及建立，采用共享内存的方式建立进程间通信，实现Meshlab三维几何处理系统与CHAI3D力反馈库的坐标共享，从而完成虚拟现实环境的搭建，给用户提供良好的虚拟现实环境。

3、该基于物理仿真的骨组织修复虚拟现实解决方法中，碰撞检测采用PCL点云计算的八叉树空间索引算法完成碰撞检测，与传统八叉树检测算法相比，更加有效的提升了仿真的精确度及实时性。

4、该基于物理仿真的骨组织修复虚拟现实解决方法中，根据四面体网格划分分析拟合材料属性实现对骨组织力学模型的建立，为虚拟现实模拟操作医疗手术过程提供物理力学参数，使用户拥有良好的力觉体验。

5、该基于物理仿真的骨组织修复虚拟现实解决方法中，通过Meshlab三维几何处理系统完成骨组织表面形变显示，利用骨组织表面位移数据，结合Meshlab三维几何处理系统完成对于骨组织表面有限元分析渲染，让模型更加生动具体，给予用户极佳的视觉效果。

6、该基于物理仿真的骨组织修复虚拟现实解决方法中，通过结合临床医疗要求和试验效果，可进一步改进建立的虚拟现实医疗手术模拟程序，以实现基于力反馈设备的虚拟现实操作软件的产品化。

附图说明

图1是本发明的整体流程图；

图2是本发明的骨骼模型示意图；

图3是本发明的手术刀模型示意图；

图4是本发明的共享内存原理示意图；

图5是本发明的PCL点云计算的八叉树空间索引算法碰撞检测原理图；

图6是本发明的骨骼模型效果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1所示，本发明提供一种技术方案：

本发明提供一种基于物理仿真的骨组织修复虚拟现实解决方法，包括如下方法步骤：

S1、建立三维仿真模型；

S1.1、建立骨组织三维仿真模型，其中骨组织包括骨骼组织、结缔组织等；

S1.2、建立手术器具三维仿真模型，其中手术器具包括手术刀、手术剪等；

S2、搭建虚拟现实环境；

S4、对骨组织力学模型进行渲染和形变显示。

此外，S1.1中建立骨组织三维仿真模型采用Meshlab三维几何处理系统，导入Meshlab三维几何处理系统的文件为.ply骨组织文件。

进一步的，.ply骨组织文件导入Meshlab三维几何处理系统后对建立的骨组织三维仿真模型进行优化。

具体的，S2中搭建虚拟现实环境具体步骤如下：

S2.2、完成CHAI3D力反馈库的编译以及建立；

此外，S2.3中建立Meshlab三维几何处理系统与CHAI3D力反馈库的坐标共享采用共享内存的方式建立进程间通信。

除此之外，S3中碰撞检测具体步骤如下：

进一步的，S3模拟仿真分析采用有限元分析模拟仿真算法，其算法步骤如下：

S3.2.2、根据计算结果调整拟合材料属性系数；

此外，力反馈设备采用Geomagic Touch力反馈设备。

本实施例在具体实施时，以骨骼组织和手术刀进行说明，具体的：

首先获取真实完整的骨骼组织的胫骨.ply模型，请参阅图2所示，然后利用Meshlab三维几何处理系统，完成胫骨模型表面补漏，网格划分和区域找平处理，同时通过对三维仿真模型的优化保证骨骼模型特征平滑和光顺，然后在Solidworks软件中对手术刀进行建模处理，请参阅图3所示，手术刀建模完成后将手术刀刀尖位置的坐标信息初始化为(0，0，0)，以便后续虚拟现实环境的坐标结合；

骨骼模型和手术刀建模完成后，搭建虚拟现实环境，其中包括：

调用Meshlab环境信息库，确定虚拟现实环境的灯光效果，三维坐标范围以及视觉角度，建立虚拟现实环境基础框架；

再调用Meshlab三维几何处理库，增加虚拟现实环境中对骨骼模型的网格化处理功能，以及表面渲染功能，然后通过虚拟现实环境“MeshlabStdDialog”接口，在Filter菜单下创建CHAI3D拓展窗口，并调用CHAI3D力反馈库，采用引用计数原理，将力反馈设备的三维坐标数据通过页表映射到物理空间中储存，同时通过内存管理单元进行管理，请参阅图4所示，将虚拟显示环境中的手术刀模型三维坐标数据通过页表映射到上述相同物理空间，即可完成共享虚拟环境坐标信息以及CHAI3D力反馈库坐标信息，完成虚拟现实环境的搭建。

值得说明的是，Meshlab是一个三维几何处理系统，该系统可以在3D扫描，编辑，清洗，愈合，检查，呈现和转换这种网络提供一套工具所产生的典型不让小非结构化模型的处理，同时此系统是一个开源的系统，可以直接被调用以及再次开发；

CHAI3D是一个功能强大的跨平台C++仿真框架,基于GLFW+GLEW进行的OpenGL扩展开发,支持各种商业上可用的三自由度、六自由度和七自由度触觉设备，很容易支持新的自定义力反馈设备,CHAI3D的模块化功能允许创建高性能的本机触觉应用程序以及混合开发，可以选择组件提供最佳的触觉和视觉用户体验；CHAI3D力反馈库与虚拟现实环境采用共享内存的方式传输数据，共享内存顾名思义就是允许两个不相关的进程访问同一个逻辑内存，共享内存是两个正在运行的进程之间共享和传递数据的一种非常有效的方式。不同进程之间共享的内存通常为同一段物理内存；进程可以将同一段物理内存连接到他们自己的地址空间中，所有的进程都可以访问共享内存中的地址。

待虚拟现实环境搭建完成后，则进行碰撞检测，首先“Geomagic_Touch_Driver”驱动程序，并编译CHAI3D“01-mydevice”Demo，检查CHAI3D完整性，检查完成后连接GeomagicTouch力反馈设备到CHAI3D力反馈库，测试“01-mydevice”Demo，然后配置PCL点云计算环境，计算时结合胫骨骨骼点云模型，设定最大递归深度，而后找出场景的最大尺寸，并以此尺寸建立第一个立方体，请参阅图5所示，依序将单位元元素丢入能被包含且没有子节点的立方体，然后会出现如下两种情况：

若没达到最大递归深度，就进行细分八等份，再将该立方体所装的单位元元素全部分担给八个子立方体；

若发现子立方体所分配到的单位元元素数量不为零且跟父立方体是一样的，则该子立方体停止细分；

最后当手术刀尖与点云距离为零是，则判断手术刀接触到胫骨模型。

值得说明的是，胫骨模型点云由海量的数据集组成，这些数据集通过距离、颜色、法线等附加信息来描述空间的三维点，需要占用相当大的存储资源，通过PCL提供了点云的压缩功能，可以快速计算手术刀尖与骨骼点云之间的距离。

除此之外，S4中骨组织力学模型渲染和形变显示步骤如下：

具体的，S4.2中渲染的计算公式如下：

Color＝(1-C)·(0,0，255)+(255，0，0)

具体工作时，首先对于骨骼点云模型，进行网格表面处理，并对骨骼表面进行四面体划分，然后针对骨骼材料，确定骨骼材料属性(这里通过多次拟合有限元分析数据，确定材料属性系数)，属性确定后，再确定力反馈设备所产生的荷载以及骨骼待分析区域边界条件，结合边界条件完成骨骼位移，应变以及应力的计算，实现骨骼力学模型的建立，最后利用渲染的计算公式形变渲染颜色分布。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims

1.一种基于物理仿真的骨组织修复虚拟现实解决方法，其特征在于，包括如下方法步骤：

S1、建立三维仿真模型；

S1.1、建立骨组织三维仿真模型；

S1.2、建立手术器具三维仿真模型；

S2、搭建虚拟现实环境；

S4、对骨组织力学模型进行渲染和形变显示；

所述S1.1中建立骨组织三维仿真模型采用Meshlab三维几何处理系统，导入Meshlab三维几何处理系统的文件为.ply骨组织文件；

所述.ply骨组织文件导入Meshlab三维几何处理系统后对建立的骨组织三维仿真模型进行优化；

所述S3中碰撞检测具体步骤如下：

S3.1.2、利用PCL点云计算的八叉树空间索引算法完成骨组织三维仿真模型和手术器具三维仿真模型的碰撞检测；

所述S3模拟仿真分析采用有限元分析模拟仿真算法，其算法步骤如下：

S3.2.2、根据计算结果调整拟合材料属性系数；

S3.2.3、重复S3.2.1-S3.2.2，利用拟合材料属性系数完成骨组织力学模型的建立；

所述S4中骨组织力学模型渲染和形变显示步骤如下：

S4.2、利用骨组织表面位移数据，并结合Meshlab三维几何处理系统对于骨组织表面有限元分析进行渲染；

所述S4.2中渲染的计算公式如下：

Color＝(1-C)·(0，0，255)+(255，0，0)

2.根据权利要求1所述的基于物理仿真的骨组织修复虚拟现实解决方法，其特征在于：所述S2中搭建虚拟现实环境具体步骤如下：

S2.2、完成CHAI3D力反馈库的编译以及建立；

3.根据权利要求2所述的基于物理仿真的骨组织修复虚拟现实解决方法，其特征在于：所述S2.3中建立Meshlab三维几何处理系统与CHAI3D力反馈库的坐标共享采用共享内存的方式建立进程间通信。

4.根据权利要求3所述的基于物理仿真的骨组织修复虚拟现实解决方法，其特征在于：所述力反馈设备采用Geomagic Touch力反馈设备。