CN109273091A - 一种基于术中数据的经皮肾镜取石虚拟手术系统 - Google Patents

Abstract

本发明公开了一种基于触觉交互的经皮肾镜穿刺(PCNL)的肾结石虚拟手术训练系统，用以提高泌尿外科医生反复训练获得穿刺技巧的方法。具体包括：医学图像三维重建模块(1)，肾脏软组织样本穿刺实验模块(2)，力学建模模块(3)，视觉渲染模块(4)，触觉渲染模块(5)，虚拟手术训练环境设计模块(6)，触觉交互设备模块(7)，手术训练数据采集分析模块(8)，增强现实模块(9)和3D打印模块(10)；本发明使用真实手术套针穿刺肾脏组织数据建立力学模型，结合触觉交互设备、增强现实技术、3D打印技术构建的虚拟PCNL手术环境能够沉浸感强、实时性好，有助于泌尿外科医生训练提高手术技巧，熟练手术环节。

Description

一种基于术中数据的经皮肾镜取石虚拟手术系统

技术领域：

本发明属计算机图形学/虚拟现实领域，具体涉及基于触觉交互的虚拟手术训练设备及系统。

背景技术：

肾结石是人体泌尿系统的高发病之一，目前主要的微创治疗方式为：体外冲击波碎石术、经皮肾镜取石术(PCNL，Percutaneous Nephrolithotomy)以及输尿管软镜等。PCNL因具有适用范围广、碎石速度快、清石率高等优势而成为复杂结石及较大结石的主要治疗方式[1]。建立合适的经皮肾镜通道是PCNL手术成功的关键，直接影响到手术效果[2]。由于肾脏本身内部解剖结构复杂、动脉供血丰富(占心脏总输出的20％-25％)[3-4]，毗邻脏器个体差异性大，加之患者个体的结石大小、形状、位置分布难以预测等，都延滞了泌尿外科医生熟练掌握PCNL手术技巧的学习曲线。

虚拟手术训练作为一个新兴的研究方向，是集医学、计算机技术、生物力学、光学工程、材料科学、机械力学等诸多学科为一体的交叉研究领域[5-6]，同时作为虚拟现实技术和医学研究结合的重要成果，虚拟手术训练也是当今医学领域研究的热点之一[7]。现有的虚拟手术训练系统主要是基于患者真实医学影像数据，运用计算机图形学构建模拟手术环境，医生可以在虚拟环境完成手术技能训练、术前手术规划等操作[8]，但在触觉交互上存在缺失。国外虚拟手术模拟起步较早，其中斯坦福大学、伦勒斯理工学院等已经设计出相关产品，但国外大部分虚拟手术训练研究都集中在内窥镜手术及近似各向同性器官(肝脏)的手术仿真，对于肾脏微创手术训练的研究，尚未见相关研究报道[9-10]。国内现阶段针对虚拟手术训练研究也逐渐兴起，北京航空航天大学、哈尔滨工业大学、上海交大等都在不同方向、不同程度开展了虚拟手术训练系统的研究，但研究都还处于起步阶段，在触觉交互的真实性、软组织实时形变、系统沉浸感等方面还存在一些问题[11-12]。

参考文献：

[1]于德栋，沈国芳.虚拟现实技术在手术培训中的应用及展望[J].中华口腔医学研究杂志(电子版),2011,5(5):538-541.

[2]付玉锦等，采用仿真手术刀的虚拟外科手术关键技术研究[D].北京:中国科学院自动化研究所,2005.

[3]谭珂，郭光友.一种鼻内窥镜虚拟手术仿真系统[J].计算机工程，2006，32(16):243-276.

[4]Machado L S,Mello A N,Odone Filho V,et al.Virtual RealitySimulation of Pediatric Bone Marrow Harvest for Transplant[J].Medical andPediatric Oncology.2002,39(4):282.

[5]Kühnapfel U,Kuhn Ch,Hübner M,et al.Endoscopic surgery trainer asan example for virtual reality in medical education[EB/OL].2013.

[6]Robert L Williams II,Mayank Srivastava,Robert R Conatser Jr.etal.Implementation and Evaluation of a Haptic Playback System[J/OL].Haptics-e,2004,3(3).

[7]Mirko raspolli,Carlo Alberto Avizzno,et al.HERMES:An angioplastysurgery simulator[A].Proceedings of the First Joint Eurohaptics Conferenceand Symposium on Haptic Interfacesfor Virtual Environment and TeleoperatorSystems 2005[C].Washington,D C,2005:148-156.

[8]Yoshihiro Kuroda,Makoto Hirai.Construction of Training Environmentfor Surgical Exclusion with a Basic Study of Multi-finger Haptic Interaction[A].Second Joint EuroHaptics Conference and Symposium on Haptic Interfacesfor Virtual Environment and Teleoperator Systems 2007[C],Tsukaba,2007:525-530.

[9]Shun Liang,Banerjee P Pat,Edward Deepak P.A High PerformanceGraphic and Haptic Curvilinear Capsulorrhexis Simulation System[A].31stAnnual International Conference of the IEEE EMBS[C],Minneapolis,Minnesota,USA,2009:5092-5095.

[10]Choi Kup-Sze,Soo Sophia,Chung Fu-Lai.A virtual training simulatorfor learning cataract surgery with phacoemulsification[J].Computers inBiology and Medicine,2009,39:1020-1031.

[11]何健，鲍苏苏，潘家辉.基于PHANTOM的虚拟手术系统的研究[J].计算机与现代化,2011,6:45-51.

[12]张小瑞，孙伟，宋爱国等.双通道力触觉交互的虚拟肺手术仿真系统[J].仪器仪表学报,2012,32(2):421-428.

发明内容：

本发明的目的在于提供一种基于术中数据的具有触觉交互的经皮肾镜穿刺(PCNL)的肾结石虚拟手术系统，用以提高泌尿外科医生反复训练获得穿刺技巧的方法。

其主要包括：医学图像三维重建模块，术中手术穿刺实验设计，力学建模模块，视觉渲染模块，触觉渲染模块，虚拟手术训练环境设计模块，具有触觉交互的手术器械设备模块，手术训练数据采集分析模块，增强现实模块和3D打印模块；

医学图像三维重建模块通过导入结石病人术前拍摄的医学图像(DICOM)到自主编写图像分析软件中分析，通过专业泌尿外科医师通过区域划分、阈值限定等图像处理方法对生成的数据重复评估矫正，重构患者集合系统精细三维模型；

肾脏软组织样本穿刺实验模块使用将18G PCNL手术套针与6自由度传感器连接，在医生穿刺针真实病人手术过程中，记录摩擦力、阻力及切割力形变曲线，记录实验套装针针尖、针鞘刺破每一层组织瞬间“双峰值”(Dual-Pop)力学数据；

力学建模模块通过傅里叶级数拟合、修正Karnopp模型等拟合实验数据建模重建对阻力、摩擦力、切割力的分别建模以及整体建模；

视觉渲染模块通过3D图形处理软件(3Dmax/Maya)，在保证患者内脏结构、集合系统空间位置不变情况下，优化视觉效果，包括：细分网格(Subdivision)，平滑处理，光照，透明调节，着色(Shader)和肾脏结构的分层渲染；

触觉渲染模块将生成的肾脏软组织穿刺力学模型通过VC++语言编写至触觉交互设备，其中“双波峰”力的效果在穿刺过肾皮质外膜及肾髓质外膜时进行渲染，虚拟套针在穿刺通过肾皮质，肾髓质，肾盂的阻力反馈效果分层渲染；

虚拟手术训练环境设计模块随机选择肾盂生成结石后，虚拟手术训练GUI显示“手术规划”和“手术训练”两部分，通过连接触觉交互设备完成手术操作；

触觉交互设备模块通过双手操作两台6个自由度的触觉交互输入输出设备(Premium6DOF)，一只手通过食指与中指按压虚拟物体(虚拟人体躯干)确定穿刺位置，另一只手捏住交互设备进行穿刺；

手术训练数据采集分析模块“手术规划”部分数据和“手术训练”部分，数据进行分析受训者手部和各个指部的位移及旋转的偏移量、速度、加速度、抖动的频率和幅度；同时将采集到的数据同步分析，根据预制的触觉反馈模型分析得出虚拟手术训练学习曲线，为每位训练医师建立跟踪统计模型；

增强现实模块将基于触觉交互的手术训练操作与增强现实技术结合，通过3D头盔，视频眼镜等立体显示设备，实现增强现实的三维手术训练；

3D打印模块将重建后的三维肾脏模型导入3D打印机(STL文件)，1：1比例打印出与真实患者肾脏大小、形态一致的真实肾脏模型，其中肾脏外层结构均设为透明，内部结石颜色为红色，用以协助手术训练医师获得更加直观、真实的手术穿刺路径规划。

本发明所述的基于触觉交互的经皮肾穿刺的肾结石虚拟手术(PCNL)训练系统，具有的显著优点有：

1.取代了传统PCNL手术训练对人体标本及动物组织的依赖，通过搭建逼真的虚拟场景实现手术训练；

2.通过6DOF输入输出触觉交互设备与增强现实技术结合，将手术过程中涉及到的所有阻力、摩擦力、切割力、扭矩等实时传送至操作者手中，有效的增加了手术的沉浸感；

3.通过真实结石病患者影像学数据进行三维可视化建模，系统软组织力学特性模型通过18G套状手术针穿刺真实手术术中实验获取，多层力反馈结构；人体组织应力-应变力学实验，构建力学模型。运用弹性力学方程对肾脏软组织的力学模型进行求解建模，并对实验结果进行仿真实验；

4.通过对肾脏内部血管精细分布、肾脏集合系统、肾脏与周围毗邻器官位置等虚拟手术的三维空间构建，从解剖层面上为PCNL的穿刺定位及通道建立提供准确地引导；

5.通过“视觉-触觉”交互界面实时显示手术过程中进针深度、力反馈大小，流血以及错误操作等提示，给训练者提供全真实有效的模拟手术环境；

6.手术训练系统集成度高，软件编写过程中预留有多种Plugin接口，方便与现有的虚拟现实、增强现实设备结合使用，如：Oculus Rift,Leapmotion等。

附图说明：

图1为本发明系统结构示意图。

图2为通过真实CT图像重建的集合系统三维立体图。

图3为优化后的虚拟肾结石手术训练系统。

图4为“手术规划”模式下手术路径规划。

图5为“手术训练”模式下手术界面。

图6为PCNL虚拟手术系统GUI界面设计。

具体实施方式：

下面结合附图对本发明作详细说明。如图1本发明结构示意图所示，系统搭工作模式分为手术规划和手术仿真：

(1)手术规划模式

步骤一：手术规划模块初始化，通过真实患者CT图像进行三维立体建模，如图2所示，根据实际患者结石位生成位于不同肾盏的结石(图2中卫双肾、每个肾脏8包括个肾小盏)，结石形状包括：长条型、同心圆型及鹿角型；

步骤二：将重建后的三维肾脏模型导入3D打印机(STL文件)，1：1比例打印出与真实患者肾脏大小、形态一致的真实肾脏模型，其中肾脏外层结构均设为透明，内部结石颜色为红色；

步骤三：通过专业泌尿外科医师通过区域划分、阈值限定等图像处理方法对生成的数据重复评估矫正，集合系统空间位置不变情况下，使用3DMax优化视觉效果，包括：细分网格(Subdivision)，平滑处理，光照，透明调节，着色(Shader)和肾脏结构的分层渲染，最终所的模型如图3所示，包括外层皮肤、肋骨、肝脏、胃、肾脏、脾以及主动脉、静脉；

步骤四：医师通过打印出的真实比例的肾脏模型以及软件自带的辅助功能(距离显示，角度显示，人体躯干、骨骼、肾脏各层透明显示)进行穿刺通道的规划，图4中以人体脊椎线为Y轴，11脊椎骨为坐标原点，计算穿刺位置、穿刺角度、穿刺深度，同时对比软件内置最优穿刺路径，评估医师选择的穿刺路径是否精确合理；

步骤五：标定规划好的穿刺位置，记录下穿刺深度及对应坐标角度，进入手术训练模块。

(2)手术训练模式

步骤一：连接并初始化、外部两台6DOF触觉交互设备，将通过穿刺生成的肾脏各层力学模型导入场景目标肾脏，将皮肤设置为可形变物体(Deformable)属性并设置突破力(Break-through)大小，骨骼与其他器官均设置为刚体(Rigid body)；

步骤二：连接外部增强现实设备，将手术图像实时传送至具有立体显示功能的头盔或大屏幕投影显示，用以沉浸感操作及教学；

步骤三：进入模拟手术场景操作，根据手术规划过程中确定的手术路径进行穿刺手术操作，操作过程中视觉、触觉交互实时渲染，计时器，实时进针深度、触觉反馈力显示、穿刺速度显示、流血以及错误操作提示(如：穿刺到其他器官或肋骨)，如图5所示；

步骤四：手术结束后，系统记录手术过程中数据，包括受训者手部和各个指部的位移及旋转的偏移量、速度、加速度、抖动的频率和幅度；同时将采集到的数据同步分析，根据预制的触觉反馈模型分析得出虚拟手术训练学习曲线，为每位训练医师建立跟踪统计模型。

Claims (10)

1.一种基于术中数据的经皮肾镜取石虚拟手术训练系统，其特征在于：由医学图像三维重建模块(1)，术中手术穿刺实验设计(2)，力学建模模块(3)，视觉渲染模块(4)，触觉渲染模块(5)，虚拟手术训练环境设计模块(6)，具有触觉交互的手术器械模块(7)，手术训练数据采集分析模块(8)，增强现实模块(9)和3D打印模块(10)；

所述的医学图像三维重建模块(1)，通过导入结石病人术前DICOM格式医学图像导入自行编写的分析软件中，由专业泌尿外科医师通过区域划分、阈值限定等图像处理方法对生成的数据重复评估矫正，重构患者集合系统精细三维模型，用于视觉渲染模块(4)和3D打印模块(9)；

所述的术中手术穿刺实验设计(2)用于获取真实力学数据构建力学模型模块(3)及触觉渲染模块(5)；

所述的虚拟手术环境设计模块(6)，用于构建手术环境需要的手术步骤及器械，并同步视觉渲染模块(4)和触觉渲染模块(5)；

所述的训练数据采集分析模块(8)，用于采集、分析通过增强现实模块(9)结合3D打印模块(10)虚拟手术训练后，医师手术技巧的提高。

2.根据权利要求1所述，术中手术穿刺实验设计(2)，其特点在于：通过定制的3D打印连接器，将18G PCNL手术套针与6自由度传感器连接，在医生穿刺针真实病人手术过程中，记录摩擦力、阻力及切割力形变曲线，记录实验套装针针尖、针鞘刺破每一层组织瞬间“双峰值”(Dual-Pop)力学数据，具体步骤有：

步骤一：放置6DOF力学传感器在穿刺针后，通过数据采集卡实时采集穿刺4个过程(针头接触组织形变-套针针尖穿过组织-套针针鞘穿过组织-针体在软组织中行进)中力及力矩变化；

步骤二：修改穿刺参数，包括：穿刺位置(不同生物组织纤维走向)，穿刺角度，针尖锋利程度，穿刺速度，连续与非连续进针，记录实验数据；

步骤三：通过术中C-ARM或超声导航图像，记录套针穿刺人体肾脏过程中肾脏位移形变，获取穿刺过程中组织形变数据。

3.根据权利要求书1所述，力学建模模块(3)，其特点在于：所重建的力学模型包括对阻力、摩擦力、切割力的分别建模以及整体建模，具体步骤有：

步骤一：阻力建模根据肾脏软组织粘弹特性穿刺结果，肾脏软组织在较小形变时，阻力与测试深度关系为一维线弹性模型表示；当发生较大范围形变时，力学模型表现为非线弹性模型，结合肾脏组织最大形变量及几何参数通过傅立叶级数拟合实验数据建模；

步骤二：摩擦力建模通过改进的修正Karnopp模型，假定穿刺力沿针轴方向的侧向摩擦力沿针轴分布，用以构建出摩擦力力学模型；

步骤三：切割力可由实验直接测出，取多次实验平均值，其中穿刺透过每一层肾组织会有两个明显的切割力波峰，为套针针头、针鞘分别刺破组织结构瞬间；

步骤四：将以上步骤获得的三个力合力构建肾脏穿刺过程中整体力学模型，通过设置穿刺距离，软组织最大形变量完成力学模型表达式。

4.根据权利要求1所述，视觉渲染模块(4)，其特点在于：通过3D图形处理软件(3Dmax/Maya)，在保证患者内脏结构、集合系统空间位置不变情况下，优化视觉效果，包括：细分网格(Subdivision)，平滑处理，光照，透明调节，着色(Shader)和肾脏结构的分层渲染。

5.根据权利要求1和权利要求3所述，触觉渲染模块(5)，其特点在于：将生成的肾脏软组织穿刺力学模型通过VC++语言编写至触觉交互设备，其中“双波峰”力的效果在穿刺过肾皮质外膜及肾髓质外膜时进行渲染，虚拟套针在穿刺通过肾皮质，肾髓质，肾盂的阻力反馈效果分层渲染。

6.根据权利要求1、4、5所述，虚拟手术训练环境设计模块(6)，其特点在于：系统随机选择肾盂生成结石后，虚拟手术训练GUI显示“手术规划”和“手术训练”两部分，通过连接触觉交互设备完成手术操作；

所述的手术规划部分，特点在于：医师通过软件自带的辅助功能(距离显示，角度显示，人体躯干、骨骼、肾脏各层透明显示)进行穿刺通道的规划，同时软件内置最优穿刺路径，通过对比评估医师选择的穿刺路径是否精确合理；

所述的手术训练部分，特点在于：完全模拟手术场景操作，包括：视觉渲染及触觉渲染生成的“视-触觉”手术模型，手术套针、碎石器等手术器械，计时器，C-Arm窗口，实时进针深度、触觉反馈显示，流血以及错误操作提示(如：穿刺到其他器官或肋骨)，手术结束后手术评分系统。

7.根据权利要求1所述，触觉交互设备模块(7)，其特点在于：双手操作两台6个自由度的触觉交互输入输出设备(Premium 6DOF)，一只手通过食指与中指按压虚拟物体(虚拟人体躯干)确定穿刺位置，另一只手捏住交互设备进行穿刺。

8.根据权利要求1、6所述，手术训练数据采集分析模块(8)，其特点在于：手术训练数据采集“手术规划”部分数据和“手术训练”部分数据；

所述的数据采集包括：手部和各个指部的位移及旋转的偏移量、速度、加速度、抖动的频率和幅度；

所述的数据分析包括：将采集到的数据同步分析，根据预制的触觉反馈模型分析得出虚拟手术训练学习曲线，为每位训练医师建立跟踪统计模型。

9.根据权利要求1所述，增强现实模块(9)，其特点在于：将触觉交互的手术训练操作与增强现实技术结合，通过3D头盔，视频眼镜等立体显示设备，实现手术训练者的三维增强现实手术训练，同时结合大屏幕投影技术，将手术画面实施传送可供多人观看学习的投影系统。

10.根据权利要求1、4所述，3D打印模块(10)，其特点在于：将重建后的三维肾脏模型导入3D打印机(STL文件)，1：1比例打印出与真实患者肾脏大小、形态一致的真实肾脏模型，其中肾脏外层结构均设为透明，内部结石颜色为红色，用以协助手术训练医师获得更加直观、真实的手术穿刺路径规划。