CN114267219A - 虚拟手术仿真装置及仿真系统 - Google Patents
虚拟手术仿真装置及仿真系统 Download PDFInfo
- Publication number
- CN114267219A CN114267219A CN202111533867.XA CN202111533867A CN114267219A CN 114267219 A CN114267219 A CN 114267219A CN 202111533867 A CN202111533867 A CN 202111533867A CN 114267219 A CN114267219 A CN 114267219A
- Authority
- CN
- China
- Prior art keywords
- soft tissue
- virtual
- model
- dimensional soft
- virtual surgical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004088 simulation Methods 0.000 title claims abstract description 61
- 210000004872 soft tissue Anatomy 0.000 claims abstract description 129
- 238000001514 detection method Methods 0.000 claims abstract description 16
- 238000009877 rendering Methods 0.000 claims abstract description 12
- 230000000007 visual effect Effects 0.000 claims abstract description 9
- 238000013334 tissue model Methods 0.000 claims description 52
- 238000000034 method Methods 0.000 claims description 30
- 238000012800 visualization Methods 0.000 claims description 22
- 238000005520 cutting process Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 15
- 238000005192 partition Methods 0.000 claims description 14
- 238000004891 communication Methods 0.000 claims description 13
- 230000003993 interaction Effects 0.000 claims description 11
- 230000011218 segmentation Effects 0.000 claims description 9
- 230000035515 penetration Effects 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000002452 interceptive effect Effects 0.000 claims description 6
- 230000005489 elastic deformation Effects 0.000 claims 1
- 230000001815 facial effect Effects 0.000 description 13
- 210000003484 anatomy Anatomy 0.000 description 9
- 238000002591 computed tomography Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000001356 surgical procedure Methods 0.000 description 7
- 210000000988 bone and bone Anatomy 0.000 description 6
- 238000013461 design Methods 0.000 description 6
- 239000010410 layer Substances 0.000 description 6
- 230000002980 postoperative effect Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 239000002356 single layer Substances 0.000 description 3
- 210000001061 forehead Anatomy 0.000 description 2
- 238000007654 immersion Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 230000005483 Hooke's law Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013016 damping Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000004907 gland Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- YHXISWVBGDMDLQ-UHFFFAOYSA-N moclobemide Chemical compound C1=CC(Cl)=CC=C1C(=O)NCCN1CCOCC1 YHXISWVBGDMDLQ-UHFFFAOYSA-N 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000004400 mucous membrane Anatomy 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 210000003491 skin Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Instructional Devices (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请公开了一种虚拟手术仿真装置及仿真系统，所述装置包括几何建模模块、软组织物理建模模块、碰撞检测模块和力反馈获得模块。所述虚拟手术仿真装置及仿真系统旨在通过构建具有解剖特征和生物力学特性的面部软组织物理模型，以实现在虚拟环境下对面部软组织的虚拟手术作业，并且结合反馈设备的支持，提供逼真的视觉渲染及力学反馈，从而符合虚拟手术的需求。
Description
技术领域
本申请涉及虚拟现实技术领域，具体涉及一种虚拟手术仿真装置及仿真系统。
背景技术
虚拟现实(virtual reality,简称VR)技术具有交互性、沉浸感和构想性。基于VR技术开发的颅颌面手术仿真系统可以在多个方面协助临床实践，例如手术方案设计、术后面型预测、手术教学、操作实训等。相较于传统临床教学、实践过程，虚拟手术仿真装置具有高效、经济、便捷的优势，在医学领域有着广阔的发展前景。
然而，目前公开发表已开发的颅颌面手术仿真系统绝大多数仅有骨组织模型和手术操作模拟，对于个别具有面部软组织模拟的系统，其软组织模型也不具备真实生物力学特征。基于虚拟现实技术的手术仿真系统两大关键要求即真实性和实时性，虚拟现实中的人机交互途径主要有视觉与触觉。其中触觉的真实性对医护人员获得“手感”、掌握操作技巧十分必要。为了更加真实地模拟颅颌面手术、增加临床实用性，探索构建基于真实生物力学特征的面部软组织物理模型、实现真实的虚拟手术力反馈渲染十分重要。
因此，需要对现有技术问题提出解决方法。
发明内容
本申请的目的在于，本申请实施例提供一种虚拟手术仿真装置及仿真系统，其旨在通过构建具有解剖特征和生物力学特性的面部软组织物理模型，以实现在虚拟环境下对面部软组织的虚拟手术作业，并且结合反馈设备的支持，提供逼真的视觉渲染及力学反馈，从而符合虚拟手术的需求。
根据本申请的第一方面，本申请实施例提供一种虚拟手术仿真装置，其包括：几何建模模块，用于生成虚拟目标对象的三维软组织模型；获得虚拟目标对象的医学数字图像通讯数据，并基于所述医学数字图像通讯数据进行阈值筛选和交互式分割及重建得到所述三维软组织模型；获得三维软组织模型的面网格；软组织物理建模模块，用于对三维软组织模型设定边界条件，以得到虚拟分区；获取不同分区的力学特性；拟合不同分区的力学特性至三维软组织模型的相应分区，以得到三维软组织物理模型；碰撞检测模块，用于判断虚拟手术器械模型与三维软组织物理模型之间是否发生碰撞；当判定发生碰撞时，获取碰撞点的位置信息和深度信息；以及输入位置信息和深度信息至三维软组织物理模型；以及力反馈获得模块，用于计算虚拟目标对象的三维软组织物理模型的面网格在发生变形和穿透的过程中对虚拟手术器械的反馈力；基于计算出的反馈力输出至力反馈装置，以供用户感知相应的力学特性。
可选地，在本申请的一些实施例中，所述虚拟手术仿真装置还包括工序辅助模块，所述工序辅助模块用于添加并模拟在进行虚拟手术时的辅助工序。
可选地，在本申请的一些实施例中，所述辅助工序包括执行标点操作，以形成虚拟手术路径规划。
可选地，在本申请的一些实施例中，所述虚拟手术仿真装置还包括可视化模块，所述可视化模块用于当所述工序辅助模块执行辅助工序时进行颜色和纹理渲染。
可选地，在本申请的一些实施例中，所述虚拟手术仿真装置还包括可视化模块，所述可视化模块还用于添加颜色、光照、纹理中的至少一种至三维软组织模型以及虚拟手术器械。
可选地，在本申请的一些实施例中，所述虚拟手术仿真装置还包括可视化模块，所述可视化模块还用于实时更新所述三维软组织物理模型的面网格中发生变形的节点的位置信息。
可选地，在本申请的一些实施例中，所述虚拟手术仿真装置还包括器械建模模块，所述器械建模模块用于获取虚拟手术器械的激光扫描图像数据；基于虚拟手术器械的激光扫描图像数据，生成虚拟手术器械模型。
可选地，在本申请的一些实施例中，所述虚拟手术器械模型和所述三维软组织模型均由三角面片构成。
可选地，在本申请的一些实施例中，所述反馈力包括三维软组织在穿刺时的穿刺反馈力和三维软组织在穿刺完成后的切割反馈力，其中三维软组织在穿刺时的穿刺反馈力为三维软组织在发生弹性变形时反馈给虚拟手术器械的反作用力；三维软组织在穿刺后的切割反馈力为三维软组织在被切割时反馈给虚拟手术器械的反作用力。
根据本申请的第二方面，本申请一实施例提供了一种仿真系统，所述仿真系统包括本申请任一实施例所述的虚拟手术仿真装置、显示装置、力反馈装置和辅助输入装置；其中显示装置与所述虚拟手术仿真装置的可视化模块连接，用于与所述可视化模块进行视觉交互；力反馈装置与力反馈获得模块连接，用于与力反馈获得模块进行触觉交互；辅助输入装置与工序辅助模型连接，用于与工序辅助模型进行辅助输入交互。
本申请实施例提供了一种虚拟手术仿真装置和仿真系统，其旨在通过构建具有解剖特征和生物力学特性的面部软组织物理模型，以实现在虚拟环境下对面部软组织的虚拟手术作业，并且结合反馈设备的支持，提供逼真的视觉渲染及力学反馈，从而符合虚拟手术的需求。此外，本申请实施例所述的虚拟手术仿真装置具有高效、便捷的优点，为手术方案设计、术后面型预测、作业训练提供了有力支持。
附图说明
下面结合附图，通过对本申请的具体实施方式详细描述，将使本申请的技术方案及其它有益效果显而易见。
图1为本申请一实施例提供的一种虚拟手术仿真装置的框架示意图。
图2A为三角面片构成的几何模型的示意图。
图2B为增加色彩和纹理信息的几何模型的示意图。
图3为软组织分区的示意图。
图4A和图4B分别为颏部皮肤穿刺力-位移曲线示意图和穿刺过程的拟合曲线。
图5为力反馈装置的计算模型示意图。
图6为力反馈渲染的示意图。
图7为本申请一实施例体提供的一种仿真系统的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
文中的术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接或可以相互通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
下文的公开提供了许多不同的实施方式或例子用来实现本申请的不同结构。为了简化本申请的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本申请。此外，本申请可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。
本申请实施例提供一种虚拟手术仿真装置，其包括：几何建模模块，用于生成虚拟目标对象的三维软组织模型；获得虚拟目标对象的医学数字图像通讯数据，并基于医学数字图像通讯数据进行阈值筛选和交互式分割及重建得到所述三维软组织模型；获得三维软组织模型的面网格；软组织物理建模模块，用于对三维软组织模型设定边界条件，以得到虚拟分区；获取不同分区的力学特性；拟合不同分区的力学特性至三维软组织模型的相应分区，以得到三维软组织物理模型；碰撞检测模块，用于判断虚拟手术器械模型与三维软组织物理模型之间是否发生碰撞；当判定发生碰撞时，获取碰撞点的位置信息和深度信息；以及输入位置信息和深度信息至三维软组织物理模型；以及力反馈获得模块，用于计算虚拟目标对象的三维软组织物理模型的面网格在发生变形和穿透的过程中对虚拟手术器械的反馈力；基于计算出的反馈力输出至力反馈装置，以供用户感知相应的力学特性。
本申请所述虚拟手术仿真装置通过构建具有解剖特征和生物力学特性的面部软组织物理模型，以实现在虚拟环境下对面部软组织的虚拟手术作业，并且结合反馈设备的支持，提供逼真的视觉渲染及力学反馈，从而符合虚拟手术的需求。此外，本申请实施例所述的虚拟手术仿真装置具有高效、便捷的优点，为手术方案设计、术后面型预测、作业训练提供了有力支持。
以下将结合附图进一步描述所述虚拟手术仿真装置100的各个模块的功能。
几何建模模块110，用于生成虚拟目标对象的三维软组织模型；获得虚拟目标对象的医学数字图像通讯数据，并基于所述医学数字图像通讯数据进行阈值筛选和交互式分割及重建得到所述三维软组织模型；获得三维软组织模型的面网格。
具体地，几何建模模块110用于生成虚拟目标对象的三维软组织模型(或称为三维几何模型)。在虚拟环境下，该三维软组织模型可以作为用户进行模拟手术的对象。
需说明的是，本文中的三维软组织模型是指表面模型，并非是体模型。此外，虚拟目标对象是指人体，下文相同。在本实施例中，三维软组织模型是指人体的面部，当然在其他部分实施例中，可以指人体的其他部位。
进一步地，几何建模模块110还用于获得虚拟目标对象的医学数字图像通讯数据，并基于所述医学数字图像通讯数据进行阈值筛选和交互式分割及重建得到所述三维软组织模型。其中，医学数字图像通讯数据(DICOM数据)可以为CT(computed tomography，电子计算机断层扫描图像)数据，也可以为MRI(magnetic resonance imaging，即磁共振成像)数据。需说明的是，三维软组织模型可以通过CT数据或MRI数据生成。而三维骨组织模型仅可以通过CT数据生成。在本实施例中，CT数据可以为螺旋CT数据，即spiral computedtomography。通过设置为1.25mm层厚拍摄目标对象的颅顶至颈下区域，以得到相关数据，并存储为DICOM格式数据。
然后，可以基于MITK(medical imaging toolkit，即医学成像交互工具包)类库，根据所获得的图像数据中骨组织和软组织的灰度值范围不同的特点，进行阈值筛选，以初步分割出电子计算机断层扫描图像中骨组织和软组织部分。其中，阈值筛选可以为基于目标对象的解剖特征而获得分割结果最优的阈值范围，以得到最精准面部的解剖结构。例如软组织分割结果最优的阈值范围为-283至221HU。接着，进行交互式分割，以擦除、填补图像数据中骨组织或软组织与实际解剖学结构不相符的部分。最后，可以基于MC算法(marchingcube，为三维离散数据场中提取等值面的算法)，以重建面部的三维软组织模型(其为表面模型)。在重建面部的三维软组织模型过程中，可以采用三角面片网格以最高质量三维重建生成颅面部的三维软组织模型，并且输出保存为STL格式文件，为后续的物理建模等做准备。需说明的是，在本实施例中，三维软组织模型是由多个网格构成，每一个网格为三角面片，如图2A所示。当然，在其他部分实施例中，每一个网格也可以为四角面片。
进一步地，几何建模模块110还用于面部的三维软组织模型的面网格划分。在一些实施例中，可以基于开源库进行面部的三维软组织模型的三角面片的优化处理。例如，可以对术区的网格进行增量细化，而对非术区的网格进行网格减量优化，从而保证计算的实时性。进一步地，除了划分三维软组织模型的面网格之外，还可以对面网格进行拉伸和旋转操作，以得到面部的三维软组织模型，并且可以导出相关的节点坐标和单元信息文件，为后续的计算做准备。需要说明的是，上述面部的三维软组织模型是基于医学数字图像通讯数据而构建的。在其他部分实施例中，也可以通过预设的三维几何模库，从该模库中选择虚拟目标对象，作为模拟对象。三维几何模库可以基于HYPERMESH、ARIMA等软件而建立的。
进一步地，几何建模模型与可视化模型配合，用于通过三维立体摄影设备获取目标对象的面部照片，并且将其配准至重建生成的三维软组织模型的表面，以添加色彩纹理信息，从而增加模型的逼真性，如图2B所示。
软组织物理建模模块120，用于对三维软组织模型设定边界条件，以得到虚拟分区；获取不同分区的力学特性；拟合不同分区的力学特性至三维软组织模型的相应分区，以得到三维软组织物理模型。
具体地，面部软组织包含皮肤、肌肉、黏膜、腺体等多种解剖结构，层次丰富，且不同解剖结构、不同层次的组织间生物力学特征各不相同，若全部逐个建模，产生的计算规模将非常大，难以满足虚拟手术仿真装置的实时性。因此，在本申请实施例中，先将面部结构简化为单层软组织，对该单层软组织设置边界条件以得到虚拟分区，即用于模拟真实解剖分区。由于分割得到的面部具有一定厚度的软组织，包括皮肤、肌肉等，因此简化为单层软组织的具体方式为将三维软组织模型全部区域按皮肤处理，之后加入的参数也仅为皮肤的参数。
上述的边界条件可以通过世界坐标系坐标值在算法中设置划分规则，其中划分规则为尽量使分割的区域包含全部所需的解剖结构，且不包含不需要的解剖结构(例如骨组织)。所述边界条件为三维软组织模型划定了解剖分区，不同分区可以设定不同的力学特性，例如可以为穿刺力方程三次多项式的拟合，或切割反馈力(Y,Z轴)参数的定义。如图3所示，其为软组织分区，具体为前期预先获得的女性不同区域皮肤。Frontal skin表示额部皮肤，masseter skin表示咬肌区皮肤，chin skin表示颏部皮肤。根据前期预先获得的女性不同区域皮肤的穿刺力方程及切割力的相关参数，如图4A、图4B、表一和表二所示(其中在图4A中，横坐标为位移(即displacement),纵坐标为穿刺力(即force)；在图4B中，直线加三角的线条表示拟合曲线，该拟合曲线可以用y＝ax3+bx2+cx+d来表示，a,b,c,d为常数，这些常数可以参考如下的表一来取值，x为位移，y为力，在图4B中的另一线条为真实的实验数据(experimental measurement)；表二用于表示面部不同区域的皮肤的切割力值)，拟合在模型中，以完成物理模型的构建。
其中表一如下：
| 额部皮肤 | 咬肌区皮肤 | 颏部皮肤 | |
| a | 0.023 | 0.010 | 0.131 |
| b | -0.235 | -0.049 | -0.506 |
| c | 1.041 | 0.285 | 0.229 |
| d | -0.879 | -0.210 | 0.432 |
表二如下：
| 额部皮肤 | 咬肌区皮肤 | 颏部皮肤 | |
| Y轴 | 35.644±0.865 | 60.755±1.208 | 38.258±1.693 |
| Z轴 | 23.984±1.605 | 44.264±1.810 | 24.704±2.831 |
这样，该三维软组织模型为一个比较符合真实情况的非均质建模，而且不同区域具有不同的物理特性。
此外，软组织物理建模模块120还用于对面部的三维软组织模型的材料属性进行赋值操作，以及用于对面部的三维软组织模型在外加载荷和约束条件下面网格的节点变形量进行计算；以及用于锁定面部的软组织的变形状态。
碰撞检测模块130，用于判断虚拟手术器械模型与三维软组织物理模型之间是否发生碰撞；当判定发生碰撞时，获取碰撞点的位置信息和深度信息；以及输入位置信息和深度信息至三维软组织物理模型。
具体地，碰撞检测模块130，用于判断虚拟手术器械模型与三维软组织物理模型之间是否发生碰撞。其中，虚拟手术器械模型是可以基于激光扫描的手术器械的原始数据而建立的，后文将进一步描述虚拟手术器械模型。虚拟手术器械模型也可以由三角面片组成的。进一步地，碰撞检测模块130通过调用碰撞检测模型以检测三角面片间是否发生碰撞。其中的碰撞检测模型是基于轴对齐围盒(axial aligned bounding box，即AABB)算法而建立的。
碰撞检测模块130还用于在执行虚拟穿刺或切割时，在帧循环中检测虚拟手术器械模型与三维软组织物理模型之间发生碰撞的碰撞点，以获得碰撞点的位置信息和深度信息，从而得到软组织网格变形及力反馈需要的输入条件。需要说明的是，帧循环是指通过显示装置的每一帧画面以显示三维软组织物理模型的面网格的实时变化。在一些实施例中，碰撞检测包括粗略检测阶段和详细检测阶段，其中的详细检测阶段又包括逐步求精层和精确求交层两个层次，并采用基于轴对齐围盒结构的方式。碰撞检测模块130还用于当获得碰撞点的位置信息和深度信息之后，将位置信息和深度信息输入至三维软组织物理模型。
力反馈获得模块140，用于计算虚拟目标对象的三维软组织物理模型的面网格在发生变形和穿透的过程中对虚拟手术器械的反馈力；基于计算出的反馈力输出至力反馈装置200，以供用户感知相应的力学特性。
具体地，力反馈获得模块140用于基于碰撞检测模块130输入至三维软组织物理模型的位置信息和深度信息，计算虚拟目标对象的三维软组织物理模型的面网格在发生变形和穿透的过程中对虚拟手术器械的反馈力。其中所述反馈力包括三维软组织在穿刺时的穿刺反馈力和三维软组织在穿刺完成后的切割反馈力，其中三维软组织在穿刺时的穿刺反馈力为三维软组织在发生弹性变形时反馈给虚拟手术器械的反作用力(仅支持力)；三维软组织在穿刺后的切割反馈力为三维软组织在被切割时反馈给虚拟手术器械的反作用力(即支持力和摩擦力)。
进一步地，力反馈获得模块140还用于基于计算出的反馈力输出至力反馈装置200，以供用户感知相应的力学特性，如此用户可以获得真实的手感。
上述的力反馈装置200能模拟出相应的力、振动或被动的运动传输给用户，这种激励可以帮助用户从触觉上感受到虚拟环境中的物体，直接感受力与模型的相互作用，从而增加沉浸感。所述力反馈装置200可通过网线接口与计算机等电子设备连接，并且安装开源的OpenHaptics驱动工具包，在调试参数之后，即可使用力反馈装置200对所计算的反馈力进行代理渲染，并通过显示装置加以显示，如图6所示。
如图5所示，所述力反馈装置200的手柄可以代理虚拟环境中的虚拟手术器械，用户手执手柄进行移动即可操控虚拟手术器械。假设力反馈装置的手柄(下文或简称为力反馈装置)具有两个位置信息，分别为力反馈装置的实际位置，以及力反馈装置与虚拟场景中所代理虚拟手术器械的表面的接触点(用代理位置来表示)，物体表面表示三维软组织物理模型的表面。
如图5所示，t0时刻表示力反馈装置200的初始状态(还未与模型的表面发生接触或碰撞)，力反馈装置200的实际位置和代理位置在同一个点上(如图5所示的左上角位置的黑色实心圆)。当力反馈装置200在t1时刻后运行至新位置(如图5所示的右下角位置的黑色实心圆)，则力反馈装置200与物体表面已经发生了接触或碰撞，此时设定代理位置不会移动且停留在三维软组织物理模型的表面，力反馈装置200的新位置和代理位置之间的虚拟弹簧和虚拟阻尼器会被拉长。根据胡克定律，此时会产生一定的反馈力。被碰撞的三维软组织物理模型表面的作用力应为：
其中，k为虚拟弹簧的弹性系数，d为虚拟阻尼器的阻尼系数，x为力反馈装置的新位置与代理位置之间的距离，
为接触点(或碰撞点)的法线向量。k,d两个系数的具体数值的设定可以根据三维软组织物理模型计算所得的反馈力进行迭代计算而获得的，这样使得实际反馈力接近真实情况。需要说明的是，由于一些力反馈装置最大模拟力为10-12N，而切割力通常在40-80N，因此，呈现的切割力在前期实验数据上可以等比例地减小至12N以内，使得用户能够真实地感受到相应的力。与此同时，通过可视化模块150与其相连的显示装置300，可以实时地显示出穿刺及切割过程中的切割区域及力反馈数值。
继续参阅图1所示，在一些实施例中，所述装置还包括工序辅助模块170，所述工序辅助模块170用于添加并模拟在进行虚拟手术时的辅助工序。所述辅助工序包括执行标点操作，以形成虚拟手术路径规划，从而便于对手术器械的控制，以保证执行穿刺或切割动作时所形成的切口的精准性。其中通过与所述虚拟手术仿真装置相连的输入装置，例如鼠标，以执行标点操作。通过设计工序辅助模块170，可以进一步提高仿真装置的仿真性，从而为手术方案设计、术后面型预测、作业训练提供了有力支持。
在本申请的一些实施例中，所述装置还包括可视化模块150，所述可视化模块150用于当所述工序辅助模块170执行辅助工序时进行颜色和纹理渲染。
所述可视化模块150还用于添加颜色、光照、纹理中的至少一种至三维软组织模型以及虚拟手术器械。所述可视化模块150还用于实时更新所述三维软组织物理模型的面网格中发生变形的节点的位置信息。
具体地，所述可视化模块150可以通过OPENGL工具库，将虚拟目标对象的面部的三维软组织模型进行颜色、光照、材料属性的设置，并且将面部软组织在发生变形区域的面网络节点进行实时的更新，使得用户可以通过显示装置300(例如显示器、投影装置等)以与虚拟手术仿真装置100之间有个视觉交互，从而改善用户的体验。
此外，在本申请的一些实施例中，所述装置还包括器械建模模块160，所述器械建模模块160用于获取虚拟手术器械的激光扫描图像数据；基于虚拟手术器械的激光扫描图像数据，生成虚拟手术器械模型。如上文所述，所述虚拟手术器械模型和所述三维软组织模型均由三角面片构成。
基于同一个发明构思，本申请一实施例提供了一种仿真系统1000，如图7所示，所述仿真系统1000包括本申请任一实施例所述的虚拟手术仿真装置100、显示装置300、力反馈装置200和辅助输入装置400；其中显示装置300与所述虚拟手术仿真装置100的可视化模块150连接，用于与所述可视化模块150进行视觉交互；力反馈装置200与力反馈获得模块140连接，用于与力反馈获得模块140进行触觉交互；辅助输入装置400与工序辅助模型170连接，用于与工序辅助模型170进行辅助输入交互。
本申请实施例提供了一种虚拟手术仿真装置和仿真系统，其旨在通过构建具有解剖特征和生物力学特性的面部软组织物理模型，以实现在虚拟环境下对面部软组织的虚拟手术作业，并且结合反馈设备的支持，提供逼真的视觉渲染及力学反馈，从而符合虚拟手术的需求。此外，本申请实施例所述的虚拟手术仿真装置具有高效、便捷的优点，为手术方案设计、术后面型预测、作业训练提供了有力支持。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
以上对本申请实施例所提供的一种虚拟手术仿真装置及仿真系统进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的技术方案及其核心思想；本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例的技术方案的范围。
Claims (10)
1.一种虚拟手术仿真装置，其特征在于，包括：
几何建模模块，用于生成虚拟目标对象的三维软组织模型；获得虚拟目标对象的医学数字图像通讯数据，并基于所述医学数字图像通讯数据进行阈值筛选和交互式分割及重建得到所述三维软组织模型；获得三维软组织模型的面网格；
软组织物理建模模块，用于对三维软组织模型设定边界条件，以得到虚拟分区；获取不同分区的力学特性；拟合不同分区的力学特性至三维软组织模型的相应分区，以得到三维软组织物理模型；
碰撞检测模块，用于判断虚拟手术器械模型与三维软组织物理模型之间是否发生碰撞；当判定发生碰撞时，获取碰撞点的位置信息和深度信息；以及输入位置信息和深度信息至三维软组织物理模型；以及
力反馈获得模块，用于计算虚拟目标对象的三维软组织物理模型的面网格在发生变形和穿透的过程中对虚拟手术器械的反馈力；基于计算出的反馈力输出至力反馈装置，以供用户感知相应的力学特性。
2.如权利要求1所述的虚拟手术仿真装置，其特征在于，所述虚拟手术仿真装置还包括工序辅助模块，所述工序辅助模块用于添加并模拟在进行虚拟手术时的辅助工序。
3.如权利要求2所述的虚拟手术仿真装置，其特征在于，所述辅助工序包括执行标点操作，以形成虚拟手术路径规划。
4.如权利要求1所述的虚拟手术仿真装置，其特征在于，所述虚拟手术仿真装置还包括可视化模块，所述可视化模块用于当所述工序辅助模块执行辅助工序时进行颜色和纹理渲染。
5.如权利要求1所述的虚拟手术仿真装置，其特征在于，所述虚拟手术仿真装置还包括可视化模块，所述可视化模块还用于添加颜色、光照、纹理中的至少一种至三维软组织模型以及虚拟手术器械。
6.如权利要求1所述的虚拟手术仿真装置，其特征在于，所述虚拟手术仿真装置还包括可视化模块，所述可视化模块还用于实时更新所述三维软组织物理模型的面网格中发生变形的节点的位置信息。
7.如权利要求1所述的虚拟手术仿真装置，其特征在于，所述虚拟手术仿真装置还包括器械建模模块，所述器械建模模块用于获取虚拟手术器械的激光扫描图像数据；基于虚拟手术器械的激光扫描图像数据，生成虚拟手术器械模型。
8.如权利要求7所述的虚拟手术仿真装置，其特征在于，所述虚拟手术器械模型和所述三维软组织模型均由三角面片构成。
9.如权利要求1所述的虚拟手术仿真装置，其特征在于，所述反馈力包括三维软组织在穿刺时的穿刺反馈力和三维软组织在穿刺完成后的切割反馈力，其中三维软组织在穿刺时的穿刺反馈力为三维软组织在发生弹性变形时反馈给虚拟手术器械的反作用力；三维软组织在穿刺后的切割反馈力为三维软组织在被切割时反馈给虚拟手术器械的反作用力。
10.一种仿真系统，其特征在于，所述仿真系统包括权利要求1至权利要求9任一所述的虚拟手术仿真装置、显示装置、力反馈装置和辅助输入装置；其中显示装置与所述虚拟手术仿真装置的可视化模块连接，用于与所述可视化模块进行视觉交互；力反馈装置与力反馈获得模块连接，用于与力反馈获得模块进行触觉交互；辅助输入装置与工序辅助模型连接，用于与工序辅助模型进行辅助输入交互。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111533867.XA CN114267219B (zh) | 2021-12-15 | 2021-12-15 | 虚拟手术仿真装置及仿真系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111533867.XA CN114267219B (zh) | 2021-12-15 | 2021-12-15 | 虚拟手术仿真装置及仿真系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114267219A true CN114267219A (zh) | 2022-04-01 |
| CN114267219B CN114267219B (zh) | 2024-03-08 |
Family
ID=80827297
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111533867.XA Active CN114267219B (zh) | 2021-12-15 | 2021-12-15 | 虚拟手术仿真装置及仿真系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114267219B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115019877A (zh) * | 2022-08-05 | 2022-09-06 | 上海华模科技有限公司 | 生物组织模型的建模及更新方法、装置及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102207997A (zh) * | 2011-06-07 | 2011-10-05 | 哈尔滨工业大学 | 基于力反馈的机器人微创手术仿真系统 |
| CN104112375A (zh) * | 2013-04-22 | 2014-10-22 | 天津市天堰医教科技开发有限公司 | 一种虚拟微创手术训练系统 |
| CN105303605A (zh) * | 2015-10-26 | 2016-02-03 | 哈尔滨理工大学 | 一种基于力反馈的骨外科手术仿真系统 |
| CN105913718A (zh) * | 2016-07-08 | 2016-08-31 | 哈尔滨理工大学 | 一种埋线提升整形手术仿真系统 |
| CN106781941A (zh) * | 2016-11-24 | 2017-05-31 | 北京理工大学 | 一种用于模拟微创穿刺手术的方法及其系统 |
| CN109192030A (zh) * | 2018-09-26 | 2019-01-11 | 郑州大学第附属医院 | 基于虚拟现实的真实腔镜微创手术仿真训练系统及方法 |
-
2021
- 2021-12-15 CN CN202111533867.XA patent/CN114267219B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102207997A (zh) * | 2011-06-07 | 2011-10-05 | 哈尔滨工业大学 | 基于力反馈的机器人微创手术仿真系统 |
| CN104112375A (zh) * | 2013-04-22 | 2014-10-22 | 天津市天堰医教科技开发有限公司 | 一种虚拟微创手术训练系统 |
| CN105303605A (zh) * | 2015-10-26 | 2016-02-03 | 哈尔滨理工大学 | 一种基于力反馈的骨外科手术仿真系统 |
| CN105913718A (zh) * | 2016-07-08 | 2016-08-31 | 哈尔滨理工大学 | 一种埋线提升整形手术仿真系统 |
| CN106781941A (zh) * | 2016-11-24 | 2017-05-31 | 北京理工大学 | 一种用于模拟微创穿刺手术的方法及其系统 |
| CN109192030A (zh) * | 2018-09-26 | 2019-01-11 | 郑州大学第附属医院 | 基于虚拟现实的真实腔镜微创手术仿真训练系统及方法 |
Non-Patent Citations (2)
| Title |
|---|
| MENGJIA CHENG ETAL.: "surgical system based on biomechanical parameters of facial soft tissue", INTERNATIONAL JOURNAL OF COMPUTER ASSISTED RADIOLOGY AND SURGERY, vol. 17, 15 May 2022 (2022-05-15), pages 1201 - 1211, XP037892426, DOI: 10.1007/s11548-022-02657-5 * |
| 于洪波 等: "手术虚拟系统在正颌外科教学中的应用", 中国医学教育技术, vol. 28, no. 1, 28 February 2014 (2014-02-28), pages 75 - 77 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115019877A (zh) * | 2022-08-05 | 2022-09-06 | 上海华模科技有限公司 | 生物组织模型的建模及更新方法、装置及存储介质 |
| CN115019877B (zh) * | 2022-08-05 | 2022-11-04 | 上海华模科技有限公司 | 生物组织模型的建模及更新方法、装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114267219B (zh) | 2024-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9330502B2 (en) | Mixed reality simulation methods and systems | |
| US20180322806A1 (en) | Hybrid image/scene renderer with hands free control | |
| Tolsdorff et al. | Virtual reality: a new paranasal sinus surgery simulator | |
| KR101021595B1 (ko) | 햅틱 인터페이스를 이용한 임플랜트 시뮬레이션 시스템 | |
| Kim et al. | Haptic interaction and volume modeling techniques for realistic dental simulation | |
| CN103345568A (zh) | 基于三维模型的手术规划的方法及其系统 | |
| US20100063788A1 (en) | Method of modelling the interaction between deformable objects | |
| CN107315915A (zh) | 一种医疗手术模拟方法及系统 | |
| Chang et al. | Development scheme of haptic-based system for interactive deformable simulation | |
| CN115457008A (zh) | 腹腔实时穿刺虚拟仿真培训方法及装置 | |
| CN114241156A (zh) | 用于仿真软组织变形的装置、仿真系统 | |
| Al-Khlaifah et al. | A survey of modeling approaches for medical simulators | |
| CN114267219B (zh) | 虚拟手术仿真装置及仿真系统 | |
| KR101275938B1 (ko) | 가상 수술 시뮬레이션 방법 및 장치 | |
| CN113379929A (zh) | 一种基于物理仿真的骨组织修复虚拟现实解决方法 | |
| Lin et al. | Dynamic volume texture mapping and model deformation for visually realistic surgical simulation | |
| Selmi et al. | 3D interactive ultrasound image deformation for realistic prostate biopsy simulation | |
| Scharver et al. | Pre-surgical cranial implant design using the PARIS/spl trade/prototype | |
| Furqan et al. | Surface-based virtual dental surgical simulator using haptic display | |
| Goksel et al. | Haptic simulator for prostate brachytherapy with simulated ultrasound | |
| Suzuki et al. | Surgery simulation system with haptic sensation and modeling of elastic organ that reflect the patients’ anatomy | |
| Robb | Realistic visualization for surgery simulation using dynamic volume texture mapping and model deformation | |
| Rasool et al. | Image-driven haptic simulation of arthroscopic surgery | |
| Choi et al. | Virtual haptic system for intuitive planning of bone fixation plate placement | |
| Yasmin et al. | Virtual palpation for medical training in cyberworlds |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |