CN113269995B - 一种基于mr的b超引导下穿刺法腹膜透析置管术模拟训练系统 - Google Patents

Abstract

一种基于MR的B超引导下穿刺法腹膜透析置管术模拟训练系统，属于混合现实技术领域，用以解决传统教学方式无法使得医生快速规范地掌握B超引导下穿刺法腹膜透析置管术手术流程的问题。本发明通过三维软件制作人体、手术器材的3D模型，戴上混合现实眼镜(MR)后可将3D虚拟成像呈现到现实空间中，通过手势来进行交互，使得用户可以按照系统中的提示信息进行整个B超引导下穿刺法腹膜透析置管术的模拟演练，从而间接提高用户在实际手术中的实践效果，本发明系统互动性强、操作简便，不受时间及场地限制，相比于传统手术教学更能激发学生的学习兴趣，从而提高外科手术实践的教学效果。

Description

一种基于MR的B超引导下穿刺法腹膜透析置管术模拟训练系统

技术领域

本发明涉及混合现实技术领域，具体涉及一种基于MR的B超引导下穿刺法腹膜透析置管术模拟训练系统。

背景技术

腹膜透析(腹透，Peritoneal Dialysis，PD)是终末期肾病患者重要的肾脏替代治疗方法。我国的大型腹透中心在腹透技术存活率、患者存活率、腹膜炎发生率等评价腹透技术质量的关键指标上都已居世界高水平。安全、有效且持久的腹膜透析通路是终末期肾病腹膜透析病人的生命线，定位准确且效果良好的腹膜透析导管则是关键。有研究显示，经皮穿刺置管法操作简单，创伤小，可在床边进行，有一定的优势。采用超声引导Seldinger法经皮穿刺腹膜透析置管术，可实时呈现穿刺针的进针路径，并且能够观察到腹部的血管，从而减少重要血管损伤或肠道穿孔等并发症的发生。与传统手术切开法置管比较，采用超声引导下Seldinger法经皮穿刺可缩短手术时间，减小创伤，病人疼痛轻微，术后较少使用镇痛药物。

目前能够应用B超引导下穿刺法腹膜透析置管术的医生很少，传统教学方式受到法律法规、患者配合程度以及教学资源等的限制，学习周期长，效果不佳。为尽快将术式广泛推广学习并应用，为此需要虚拟手术教学系统，医生借助虚拟环境中的场景进行手术模拟演练。虚拟手术教学系统互动性强、操作简便，不受时间及场地限制，相比于传统手术教学更能激发学生的学习兴趣，提高外科实践的教学效果。

混合现实(MR)技术是一种计算机图形学领域的新技术，是在虚拟现实(VR)及增强现实(AR)的基础上发展起来的，它将计算机绘制的虚拟模型融合到使用者所看到的真实世界景象中。在虚拟世界、现实世界和用户之间搭起一个交互反馈的信息回路，使用者可从计算机描绘的虚拟模型中获得额外的信息，从而对真实环境进行混合以增强用户体验的真实感。

发明内容

鉴于以上问题，本发明提出一种基于MR的B超引导下穿刺法腹膜透析置管术模拟训练系统，用以解决传统教学方式无法使得医生快速规范地掌握B超引导下穿刺法腹膜透析置管术手术流程的问题。

一种基于MR的B超引导下穿刺法腹膜透析置管术模拟训练系统，该系统包括：

3D模型建立模块，用于采用3Dmax建立人体3D结构模型和手术器材模型；

模型显示模块，用于通过HoloLens显示设备显示人体3D结构模型和手术器材模型的全息影像；

手术模拟训练模块，用于用户通过不同的手势与系统进行交互，以实现B超引导下穿刺法腹膜透析置管术的模拟训练。

进一步地，所述手术模拟训练模块中所述模拟训练包括术前准备模拟训练、气腹针穿刺模拟训练和导管置入模拟训练。

进一步地，系统还包括模拟训练脚本建立模块，用于将B超引导下穿刺法腹膜透析置管术的手术实操过程转化为具有标准流程的模拟训练。

进一步地，所述3D模型建立模块中采用多边形曲面建模的方式建立人体3D结构模型和手术器材模型。

进一步地，所述3D模型建立模块中通过调整面阈值减少模型面数以优化模型。

进一步地，所述手术器材模型包括超声机器模型、气腹针模型、导丝模型、扩张管模型、撕脱鞘模型、透析导管模型、输液器模型、止血钳模型。

进一步地，所述手术模拟训练模块包括菜单召唤子模块和模型操控子模块，所述菜单召唤子模块用于通过手掌手势召唤系统菜单；所述模型操控子模块用于通过选择不同的操作指令来操控人体3D模型和手术器材模型，包括通过单手、双手或点击按钮操控。

进一步地，所述菜单召唤子模块中通过以下方式召唤系统菜单：手掌与用户视线相背并远离用户，则显示菜单；手掌与用户视线相对并远离用户，则隐藏菜单。

进一步地，所述模型操控子模块中操作指令包括移动、旋转、缩放、拆分、复原、剪裁、手术器材调取、标签显示。

进一步地，所述系统还包括语音交互模块，所述语音交互模块用于用户通过语音与系统进行交互，包括通过语音召唤系统菜单或通过语音对人体3D模型及手术器材模型进行操作控制。

本发明的有益技术效果是：

本发明通过三维软件制作人体、手术器材等3D模型，戴上混合现实眼镜(MR)后可将3D虚拟成像呈现到现实空间中，通过手势来进行交互，使得用户即通过本发明系统进行培训的医师可以按照虚拟教学系统中的提示信息进行整个B超引导下穿刺法腹膜透析置管术的模拟演练，从而间接提高用户在实际手术中的实践效果；且利用本发明系统能够将B超引导下穿刺法腹膜透析置管术向医生快速推广，本发明系统互动性强、操作简便，不受时间及场地限制，相比于传统手术教学更能激发学生的学习兴趣，从而提高外科手术实践的教学效果。

附图说明

本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本发明的优选实施例和解释本发明的原理和优点。

图1是本发明一种基于MR的B超引导下穿刺法腹膜透析置管术模拟训练系统的结构框图；

图2是本发明一种基于MR的B超引导下穿刺法腹膜透析置管术模拟训练系统中术前准备模拟训练的流程示例图；

图3是本发明一种基于MR的B超引导下穿刺法腹膜透析置管术模拟训练系统中气腹针穿刺模拟训练的流程示例图；

图4是本发明一种基于MR的B超引导下穿刺法腹膜透析置管术模拟训练系统中导管置入模拟训练的流程示例图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，在下文中将结合附图对本发明的示范性实施方式或实施例进行描述。显然，所描述的实施方式或实施例仅仅是本发明一部分的实施方式或实施例，而不是全部的。基于本发明中的实施方式或实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式或实施例，都应当属于本发明保护的范围。

依据系统总体框架，本发明一种基于MR的B超引导下穿刺法腹膜透析置管术模拟训练系统从数据整理、构建、系统交互功能及逻辑体系的开发，设计该系统的研究与开发流程，如图1所示，该系统包括：3D模型建立模块110，用于采用3Dmax建立人体3D结构模型和手术器材模型，其中，手术器材模型包括超声机器模型、气腹针模型、导丝模型、扩张管模型、撕脱鞘模型、透析导管模型、输液器模型、止血钳模型；模型显示模块120，用于通过HoloLens显示设备显示人体3D结构模型和手术器材模型的全息影像；手术模拟训练模块130，用于用户通过不同的手势与系统进行交互，以实现B超引导下穿刺法腹膜透析置管术的模拟训练，其中，模拟训练包括术前准备模拟训练、气腹针穿刺模拟训练和导管置入模拟训练；模拟训练脚本建立模块140，用于将B超引导下穿刺法腹膜透析置管术的手术实操过程转化为具有标准流程的模拟训练，具体地，例如可以以动画形式或文字显示形式体现模拟训练的实现流程或步骤；语音交互模块150，用于用户通过语音与系统进行交互，包括通过语音召唤系统菜单或通过语音对人体3D模型及手术器材模型进行操作控制。

其中，3D模型建立模块110中采用多边形曲面建模的方式建立人体3D结构模型和手术器材模型；手术模拟训练模块130包括菜单召唤子模块1310和模型操控子模块1320，菜单召唤子模块1310用于通过手掌手势召唤系统菜单，模型操控子模块1320用于通过选择不同的操作指令来操控人体3D模型和手术器材模型，包括通过单手、双手或点击按钮操控；不同的操作指令包括移动、旋转、缩放、拆分、复原、剪裁、手术器材调取、标签显示。

具体地，通过对B超引导下穿刺法腹膜透析置管术的操作模式进行分析，得出B超引导下穿刺法腹膜透析置管术通用模拟训练方案，包括术前准备模拟训练方案、气腹针穿刺模拟训练方案和导管置入模拟训练方案；对模拟训练方案中涉及到的具体场景要素进行虚拟场景建模，根据训练方案设计并搭建模拟训练平台的总体构架、层次、结构和流程逻辑，完成模拟训练模型的开发；采用MR技术，利用MR眼镜、数据库和基于三维软件开发平台的MR开发工具进行可视化编程，输入模拟训练模型对应的各种信息模型、三维模型、流程逻辑等，并且利用MR眼镜提供的接口设计系统的交互方式；利用可视化控件，通过三维空间重构，将模拟训练模型以可视化方式呈现出来，完成可视化系统的开发。

根据系统总体框架，选择HoloLens2作为实现该系统功能的MR设备，该设备可以实现现实场景实时扫描并进行自主定位，并且提供了多种交互方式，更大的成像角度可带来更优质的使用体验。同时，利用HoloLens2的定位功能，该系统可以将虚拟场景精确叠加于现实世界之上，实现虚实结合的使用场景。根据该系统所选择的HoloLens2 MR眼镜，建立系统开发软件平台：①三维建模软件采用AutoDesk 3DS Max，通过可堆叠的建模步骤，对人体3D结构模型和手术器材模型进行建模；②开发引擎采用Unity 3D，该软件具有支持多元人机交互、跨平台适用、脚本语言丰富等特点，是一个全面整合的专业引擎；系统利用该软件进行应用程序的整体开发与调试发布；③编程、编译平台采用Microsoft Visual Studio，该平台是一种可配合实现Unity 3D功能与脚本并发布应用的集成开发环境。下面对系统开发关键技术进行说明。

三维模型建立：通过对人体3D结构模型和手术器材模型进行分析及研究，演绎并得出对应手术过程的处理流程和组织结构等设计要素，利用3DS Max进行三维空间建构，得出虚拟模型。考虑到系统的性能问题，利用3DS Max建构的手术器材模型造型存在模型多边形面数过高的问题，由于系统资源占用过多造成系统卡顿、显示不流畅。为解决这个问题，该系统将建好的手术器材模型平滑地加载到Hololens2中，对原始模型采取轻量化操作；在3DS Max中通过调整面阈值减少模型面数，过滤冗余信息，优化模型。模型轻量化通过减小模型中多边形的数量，有效避免了模型在Hololens2设备上运行的卡顿，同时采用细节层次技术，根据使用者视线与模型之间的距离来设置不同的显示精度，并且显示视线聚焦的子模型的全部细节，从而使得手术器材模型更加贴近实际。

系统逻辑开发：通过使用HoloLens2提供的Unity 3D开发SDK HoloToolKit开发包进行逻辑开发，在SDK中，提供了摄像机(视角)、用户视线、手势交互、语音控制等接口，通过直接对接口进行调用来实现所需要的功能。用户可以通过手势等交互方式对模型进行选择、拖动、旋转、查看详细信息等操作，从而实现模型的全空间、多层次展示。在Unity3D环境中为导入的对象添加并编写响应事件，该系统中触发响应事件的输入按类型分为点击、拖拽、旋转、缩放等，可以最大限度地丰富用户与模型的交互方式。通过脚本语言按设定的交互逻辑构建响应事件，如通过单一对象视角的变换实现对拖拽输入的响应，通过创建、删除新对象实现对光标移入、移出操作的响应，甚至通过复杂的逻辑实现虚拟世界中对象与对象之间的交互，从而最大限度地实现模型信息的展示。在Unity 3D环境中完成交互程序设计后，将内容发布到Hololens2中，进行程序调试。可在Unity 3D模式下运行调试，观察整个项目的运行结果，直至完成调试，程序正式发布。

基于MR的B超引导下穿刺法腹膜透析置管术模拟训练系统是一款人机交互混合现实技术影像产品，是国内率先将混合现实技术与腹膜透析置管术相结合的跨时代产物。通过三维软件制作人体、手术器材等3D模型，戴上混合现实眼镜(MR)后可将3D虚拟成像呈现到现实空间中，通过手势来进行交互，培训医师可以按照虚拟教学系统中的提示信息进行整个B超引导下穿刺法腹膜透析置管术的模拟演练，从而提高手术的实践效果，可将此手术术式快速推广。利用本发明系统能够将B超引导下穿刺法腹膜透析置管术快速推广并学习，医生借助虚拟环境中的场景进行手术模拟演练、它互动性强，操作简便，不受时间及场地限制，相比于传统手术教学更能激发学生的学习兴趣，提高外科实践的教学效果。

对本发明系统使用的具体操作进行说明：在HoloLens2中点击app即可运行，运行后加载并输入正确的用户名和密码，登录模拟训练系统，采用MD5算法加密，数据库采用SQLite，账号密码根据核对匹配从数据库中查询，进行校准；验证通过后，即登录成功，旋转动画通过根据菜单的中心点为轴心，沿着Z轴进行自转且沿着Y轴拉远，并根据回调函数，当动画完成后显示相对应的主模型界面，显示三部分模拟训练模块：术前准备模拟训练、气腹针穿刺模拟训练和导管置入模拟训练。点击进入术前准备模拟训练模块面前即可出现一个横躺人体模型和超声机器等手术器材。然后左手或者右手伸出掌心向里召唤出菜单，手背向里隐藏菜单。菜单裁切模型、手术器械调取、显示标签、退回、一键复原、各组织单独拆分自由控制并复原等功能。调用方式为一只手显示出菜单后，用另外一只手点击菜单上的按钮即可触发该功能。

进一步地，对系统中术前准备模拟训练、气腹针穿刺模拟训练和导管置入模拟训练的模拟训练流程进行详细说明。

A.术前准备模拟训练

如图2所示，首先通过手势进行腹部超声检查模拟操作，以使用户观察腹壁动脉走行及内脏滑动特征，系统会以文字提示如：使用超声探头于脐水平以下探查，以提示用户如何操作；然后进行手术切口点定位，系统会以文字提示如何查找定位点；然后通过手势进行消毒及铺手术单并点击按钮进行局部麻醉及切开，进行钝性分离皮下组织及暴露腹直肌前鞘，系统会以文字提示上述操作过程中的注意事项；然后通过手势进行术前灌肠，结束术前准备模拟训练。

B.气腹针穿刺模拟训练

如图3所示，完成术前准备模拟训练后，即进入气腹针穿刺模拟训练。首先通过手势进行气腹针穿刺进入腹腔的模拟操作，提示用户观察穿刺点下的内脏滑动征是否正常以及穿刺部位的血管位置，系统会以文字提示气腹针穿刺的角度和位置；然后通过手势打开连接气腹针的输液器流量调节器，以向腹腔输入腹膜透析液或生理盐水；然后通过手势利用超声确定气腹针尖位置，并在超声引导下，逐步后退至腹膜下，系统会以文字提示如：使气腹针与腹膜平行，且以钝头前行，确保气腹针尖端游离在腹腔液体中；完成气腹针穿刺模拟训练。

C.导管置入模拟训练

如图4所示，完成气腹针穿刺模拟训练后，即进入导管置入模拟训练。首先通过手势固定好气腹针并去除气腹针针芯；然后通过手势沿气腹针置入导丝，固定好导丝，去除气腹针，系统会以文字提示注意事项；然后通过手势在导丝引导下，放置带有扩张管的撕脱鞘置入腹腔，系统会以文字提示注意事项；在撕脱鞘到达预定位置后，通过手势完全退出扩张管，沿导丝在撕脱鞘内置入腹膜透析导管；然后通过手势采用止血钳将内CUFF(手术器材)轻柔压入腹直肌前鞘下，完全撕开撕脱鞘；然后在超声下观察内CUFF位置，并通过手势退出引导导丝；然后通过手势进行试水试验，进行局麻拟建立隧道部位；然后通过手势将导管从出口处拉出，并再次进行试水试验；然后通过手势连接钛接头及外接短管；然后通过手势进行缝合皮下组织及皮肤，进行无菌敷料覆盖，完成导管置入模拟训练，即完成了B超引导下穿刺法腹膜透析置管术模拟训练过程。

进一步地，对于系统中的语音控制部分，通过语音控制部分功能，例如，打开语音面板，可进行对用户简单教学讲解。电子音是通过第三方软件进行电子适配录制，处理打字速度的帧动画调节，并在固定的范围内控制字体大小缩进。

进一步地，对于系统中各个模型单独拆分自由控制的切割功能主要根据mrtk的接口进行重写，利用MixedRealityStandard.shader着色器进行切割主要利用以下三种：面切割算法：对于模型的每一个片元，在世界坐标系下，使用平面的法线向量n与平面中心点到待渲染点的方向向量d做点乘，根据计算结果的正负号将模型划分为平面的内侧和外侧两部分；球切割算法：对于模型的每一个片元，计算其到球心的距离，如果小于半径，则位于内侧，反之，位于外侧；立方体切割算法：对于模型的每一个片元，将片元坐标变换到立方体的模型坐标系下得到坐标position，用position的每个坐标分量取绝对值再减去立方形大小。最终得到的坐标中最大值大于零的，说明在立方体外，最大值小于零的说明在立方体内。

进一步地，对于系统中各个模型拖拽还原的功能实现为：对模型拖拽控制和位置进行还原功能，控制拖拽脚本开关功能，初始化开始位置进行存储一个变量中，当还原时进行重新赋值。

进一步地，对于系统中各个模型拆分还原的功能实现为：根据语音的识别功能进行校准，选中部分会在表面出现红色线框，线框通过shder进行编写主要原理。Shader实现描边流程大致为：对模型进行2遍(2个pass)绘制，第一遍(描边pass)在vertex shader中对模型沿顶点法线方向放大，fragment shader设置输出颜色为描边颜色；第二遍正常绘制模型，除被放大的部分外，其余被覆盖。

尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims (7)

1.一种基于MR的B超引导下穿刺法腹膜透析置管术模拟训练系统，其特征在于，包括：

3D模型建立模块，用于采用3Dmax建立人体3D结构模型和手术器材模型；

模型显示模块，用于通过HoloLens显示设备显示人体3D结构模型和手术器材模型的全息影像；

手术模拟训练模块，用于用户通过不同的手势与系统进行交互，以实现B超引导下穿刺法腹膜透析置管术的模拟训练；所述模拟训练包括术前准备模拟训练、气腹针穿刺模拟训练和导管置入模拟训练；所述术前准备模拟训练的过程包括：通过手势进行腹部超声检查模拟操作，以使用户观察腹壁动脉走行及内脏滑动特征，系统会以文字提示；进行手术切口点定位，系统会以文字提示如何查找定位点；通过手势进行消毒及铺手术单并进行局部麻醉及切开，进行钝性分离皮下组织及暴露腹直肌前鞘，系统会以文字提示上述操作过程中的注意事项；通过手势进行术前灌肠，结束术前准备模拟训练；所述气腹针穿刺模拟训练的过程包括：通过手势进行气腹针穿刺进入腹腔的模拟操作，提示用户观察穿刺点下的内脏滑动征是否正常以及穿刺部位的血管位置，系统会以文字提示气腹针穿刺的角度和位置；通过手势打开连接气腹针的输液器流量调节器，以向腹腔输入腹膜透析液或生理盐水；通过手势利用超声确定气腹针尖位置，并在超声引导下，逐步后退至腹膜下，系统会以文字提示；完成气腹针穿刺模拟训练；所述导管置入模拟训练的过程包括：通过手势固定好气腹针并去除气腹针针芯；通过手势沿气腹针置入导丝，固定好导丝，去除气腹针，系统会以文字提示注意事项；通过手势在导丝引导下，放置带有扩张管的撕脱鞘置入腹腔，系统会以文字提示注意事项；在撕脱鞘到达预定位置后，通过手势完全退出扩张管，沿导丝在撕脱鞘内置入腹膜透析导管；通过手势采用止血钳将内CUFF轻柔压入腹直肌前鞘下，完全撕开撕脱鞘；在超声下观察内CUFF位置，并通过手势退出引导导丝；通过手势进行试水试验，进行局麻拟建立隧道部位；通过手势将导管从出口处拉出，并再次进行试水试验；通过手势连接钛接头及外接短管；通过手势进行缝合皮下组织及皮肤，进行无菌敷料覆盖，完成导管置入模拟训练，即完成了B超引导下穿刺法腹膜透析置管术模拟训练过程；

所述手术模拟训练模块包括菜单召唤子模块和模型操控子模块，所述菜单召唤子模块用于通过手掌手势召唤系统菜单；所述模型操控子模块用于通过选择不同的操作指令来操控人体3D模型和手术器材模型，包括通过单手、双手或点击按钮操控；所述模型操控子模块中操作指令包括移动、旋转、缩放、拆分、复原、剪裁、手术器材调取、标签显示；其中，对于系统中各个模型单独拆分自由控制的切割主要利用以下三种：面切割算法：对于模型的每一个片元，在世界坐标系下，使用平面的法线向量n与平面中心点到待渲染点的方向向量d做点乘，根据计算结果的正负号将模型划分为平面的内侧和外侧两部分；球切割算法：对于模型的每一个片元，计算其到球心的距离，如果小于半径，则位于内侧，反之，位于外侧；立方体切割算法：对于模型的每一个片元，将片元坐标变换到立方体的模型坐标系下得到坐标position，用position的每个坐标分量取绝对值再减去立方形大小；最终得到的坐标中最大值大于零的，说明在立方体外，最大值小于零的说明在立方体内。

2.根据权利要求1所述的一种基于MR的B超引导下穿刺法腹膜透析置管术模拟训练系统，其特征在于，所述系统还包括模拟训练脚本建立模块，用于将B超引导下穿刺法腹膜透析置管术的手术实操过程转化为具有标准流程的模拟训练。

3.根据权利要求2所述的一种基于MR的B超引导下穿刺法腹膜透析置管术模拟训练系统，其特征在于，所述3D模型建立模块中采用多边形曲面建模的方式建立人体3D结构模型和手术器材模型。

4.根据权利要求2所述的一种基于MR的B超引导下穿刺法腹膜透析置管术模拟训练系统，其特征在于，所述3D模型建立模块中通过调整面阈值减少模型面数以优化模型。

5.根据权利要求2所述的一种基于MR的B超引导下穿刺法腹膜透析置管术模拟训练系统，其特征在于，所述手术器材模型包括超声机器模型、气腹针模型、导丝模型、扩张管模型、撕脱鞘模型、透析导管模型、输液器模型、止血钳模型。

6.根据权利要求1所述的一种基于MR的B超引导下穿刺法腹膜透析置管术模拟训练系统，其特征在于，所述菜单召唤子模块中通过以下方式召唤系统菜单：手掌与用户视线相背并远离用户，则显示菜单；手掌与用户视线相对并远离用户，则隐藏菜单。

7.根据权利要求6所述的一种基于MR的B超引导下穿刺法腹膜透析置管术模拟训练系统，其特征在于，所述系统还包括语音交互模块，所述语音交互模块用于用户通过语音与系统进行交互，包括通过语音召唤系统菜单或对人体3D模型及手术器材模型进行操作控制。

Images