CN115830275A - 一种基于混合现实的手术规划方法及交互系统 - Google Patents

一种基于混合现实的手术规划方法及交互系统 Download PDF

Info

Publication number
CN115830275A
CN115830275A CN202111344681.XA CN202111344681A CN115830275A CN 115830275 A CN115830275 A CN 115830275A CN 202111344681 A CN202111344681 A CN 202111344681A CN 115830275 A CN115830275 A CN 115830275A
Authority
CN
China
Prior art keywords
organ
dimensional model
model
operation path
focus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111344681.XA
Other languages
English (en)
Inventor
高粱
齐烨彤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Tianyun Xingtu Medical Technology Co ltd
Original Assignee
Xiamen Tianyun Xingtu Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Tianyun Xingtu Medical Technology Co ltd filed Critical Xiamen Tianyun Xingtu Medical Technology Co ltd
Priority to CN202111344681.XA priority Critical patent/CN115830275A/zh
Publication of CN115830275A publication Critical patent/CN115830275A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种基于混合现实的手术规划方法及交互系统,通过获取医学图像,根据所述医学图像建立人体器官三维模型后;根据所述病灶干涉数据计算得到所述人体器官三维模型中病灶模型的动态影响范围;根据所述动态影响范围规划手术路径,对所述手术路径进行损伤分析,得到残余器官体积百分比,根据所述残余器官体积百分比调整临床手术路径。本发明能够协助更加真实地判断病患当前状况,在确认患者病灶干涉范围后,根据当前手术路径模拟以及当前手术路径影响流域计算得到残余器官体积百分比,临床医生可以根据残余器官体积百分比对手术路径迭代优化,确认最佳手术路径方案。还可以通过对患者病灶模型设置可操作的门户来对患者的器官三维模型进行修缮。

Description

一种基于混合现实的手术规划方法及交互系统
技术领域
本发明涉及临床手术模拟技术领域,具体涉及一种基于混合现实的手术规划方法及交互系统。
背景技术
混合现实(MR,MixedReality)指的是合并现实和虚拟世界而产生的新的可视化环境,在新的可视化环境里物理和数字对象共存,并实时互动。混合现实的实现需要在一个能与现实世界各事物相互交互的环境中。如果一切事物都是虚拟的那就是虚拟现实(VR)。如果展现出来的虚拟信息只能简单叠加在现实事物上,那就是增强现实(AR)。MR的关键点就是与现实世界进行交互和信息的及时获取。MR混合现实技术是一项前沿的创新技术,它在医疗领域的应用也初具规模。
目前也有相关的报道和文献表明,很多科研工作者正在开发医疗领域相应的产品和方法,如一些手术规划系统。但是,目前术前的规划系统需要解决的问题是人体器官模型的精度及视觉真实感不够,术者无法根据患者本人实际的情况或者临床经验对模型进行修缮,且当完成手术规划后,对于手术路径无法进行有效的手术结果预估,术者无法通过手术路径方案进行模拟来筛选最优手术实施方案。
发明内容
为解决上述现有技术无法对手术路径方案的好坏进行评估的问题,本发明提出一种基于混合现实手术规划方法,包括以下步骤:
S1,获取医学图像,根据所述医学图像建立人体器官三维模型;
S2,获取病灶干涉数据,根据所述病灶干涉数据计算得到所述人体器官三维模型中病灶模型的动态影响范围;
S3,根据所述动态影响范围规划手术路径,对所述手术路径进行损伤分析,得到残余器官体积百分比,根据所述残余器官体积百分比调整临床手术路径。
在上述方案的基础上本发明还可以做如下改进。
进一步,所述步骤S1中根据所述医学图像建立人体器官三维模型具体为:通过预设的初始阈值对所述医学图像进行分割,建立人体器官三维模型,并对所述医学图像中器官病灶区域边界进行标记处理。
进一步,所述步骤S3中对所述临床手术路径进行损伤分析具体包括:获取人体呼吸周期内的器官参数;建立病灶干涉三维模型;将所述病灶干涉三维模型以及所述三维模型导入自动体网络分析模型中,利用所述器官参数进行多参数求解控制来获得手术路径影响流域,并根据所述手术路径影响流域计算得到所述残余器官体积百分比。
本发明另一个目的在于提供一种基于混合现实的的手术规划交互系统,包括指令输入模块、模型渲染模块、干涉分析模块;
所述模型渲染模块,用于根据医学图像对人体器官三维模型进行渲染重建,并为所述人体器官三维模型提供操作门户;
所述指令输入模块,用于输入交互指令,并将所述交互指令反馈至所述模型渲染模块;
所述干涉分析模块,用于获取病灶干涉数据,并根据所述病灶干涉数据获得人体器官三维模型中病灶模型的动态影响范围;
所述路径规划模块,用于根据所述动态影响范围规划手术路径,对所述手术路径进行损伤分析,得到当前手术路径的术后残余器官体积百分比,输出所述术后残余器官体积百分比。
进一步,所述指令输入模块通过获取所述3d感应眼镜的眼镜矩阵数据和触控交互笔的触控笔矩阵数据,将对应的交互操作信息反馈给所述模型渲染模块并执行相应的交互操作。
进一步,还包括图像关联模块,所述图像关联模块用于将人体器官三维模型相对应的医学图像的三视图显示,通过医学图像三视图对所述人体器官三维模型的定位进行调整。
进一步,还包括方案存储模块,所述方案存储模块用于将手术规划方案以及其相应的所述术后残余器官体积百分比进行确认并存储。
进一步,所述模型渲染模块用于根据医学图像对人体器官三维模型进行渲染重建,并为所述人体器官三维模型提供可操作的门户包括:为所述人体器官三维模型中的脏器以及血管组织在结构、数值、和/或层次上提供对所述脏器以及血管组织的透明度、显示或隐藏、和/或颜色信息的调整方式。
本发明再一个目的在于提供一种计算机可读存储介质,包括存储器,所述存储器内存储有计算机程序,所述计算机程序被处理器执行时,实现上述的基于混合现实手术规划方法。
本发明产生的有益效果是:本发明通过对患者病灶进行高精度的建模,能够协助更加真实地判断病患当前状况,在确认患者病灶干涉范围后,通过交互系统规划手术路径,并通过对于手术路径的损伤分析,可以得到当前手术路径的影响流域,根据当前手术路径的影响流域计算得到残余器官体积百分比,临床医生可以根据残余器官体积百分比对手术路径迭代优化,确认最佳手术路径方案。在进一步的方案中,可以通过对患者病灶模型设置可操作的门户来对患者的器官三维模型进行修缮。
附图说明
图1为本发明基于混合现实的临床手术规划方法流程框图;
图2为本发明一种基于虚拟现实的临床手术规划交互系统结构示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述,所举实例只用于解释本发明,并非用于限定本发明的范围。
如图1所示,本发明提出一种基于混合现实手术规划方法,包括以下步骤:
S1,获取医学图像,根据所述医学图像建立人体器官三维模型;
S2,获取病灶干涉数据,根据所述病灶干涉数据计算得到所述人体器官三维模型中病灶模型的动态影响范围;
S3,根据所述动态影响范围规划手术路径,对所述手术路径进行损伤分析,得到残余器官体积百分比,根据所述残余器官体积百分比调整临床手术路径。
本发明通过对患者病灶进行高精度的建模,能够协助更加真实地判断病患当前状况,在确认患者病灶干涉范围后,通过交互系统规划手术路径,并通过对于手术路径的损伤分析,可以得到当前手术路径的影响流域,根据当前手术路径的影响流域计算得到残余器官体积百分比,临床医生可以根据残余器官体积百分比对手术路径迭代优化,确认最佳手术路径方案。
在本实施例中具体地,如图2所示本发明还提供一种基于混合现实的手术规划交互系统,包括指令输入模块、模型渲染模块、干涉分析模块;所述指令输入模块,用于输入交互指令;所述模型渲染模块,用于根据医学图像对人体器官三维模型进行渲染重建;并为所述人体器官三维模型中提供操作门户;所述干涉分析模块,用于获取病灶干涉数据,并根据所述病灶干涉数据计算得到人体器官三维模型中病灶模型的动态影响范围;所述路径规划模块,用于根据所述动态影响范围规划手术路径,对所述临床手术路径进行损伤分析。该损失分析包括对手术路径的影响流域进行计算,并得到当前手术路径的术后残余器官体积百分比,输出所述术后残余器官体积百分比。本发明中基于虚拟现实的手术规划交互系统基于现有的虚拟三维交互软件搭载,如zspace平台。
在本实施例中具体地,指令输入模块包括触控交互笔以及3d感应眼镜,医生通过眼镜和触控笔进行交互操作,即捕获3d感应眼镜的眼镜矩阵数据及触控笔矩阵数据来输入医生交互指令结合医生界面上的交互按钮,实现对脏器和/或其血管组织、病灶、和/或其它的组织结构进行测量、切割、缩放、标记、翻转、和/或手术路径模拟等操作,实施模拟脏器平面切割模拟、曲面切割模拟、和/或内窥模拟等。zSpace内部含有感应装置,会感应医生的操作信息,从而实现数据的交互。例如,通过触控交互笔点选器官中的某一组织或者某一血管并对其进行标记,通过医生界面的交互按钮,将该血管进行高亮处理后,可选择对该血管根据医生的个人临床经验做出适应性的修改。再比如,通过触控交互笔点选模型后长按,医生可以实现对模型的抓取虚拟操作,通过医生手腕的旋转对模型进行翻转,便于医生更加全面的观察患者的病况。在医生通过触控交互笔对人体器官三维模型进行操作时,通过图像关联模块可以在zSpace上实时地显示当前医生选中的器官组织相对应的CT图像三视图,这样医生既可以通过触控交互笔以及3d感应眼镜与所述人体器官三维模型进行虚拟现实的操作,还可以通过回溯相对应的CT图像三视图对患者病情进行进一步的确认。
在本实施例中具体地,基于患者真实的医学图像,比如通过扫描得到患者的CT图像或其他医学图像,通过预设的初始阈值对所述医学图像如CT图像进行分割,获得真实的人体器官模型数据后搭建人体器官三维模型。医生可以通过交互模块如交互软件对所述人体器官三维模型进行脏器等组织的透明度、显示或隐藏、和/或颜色信息调整以区分结构、数值、和/或层次上的修缮。所述的脏器可以是肺。所述的三维模型中包括病灶、气管、支气管,左右肺室以及周围毛细血管组织。利用CT机扫描,图像需层隔0.5mm,以此来保证图像分辨率;将CT图像通过医学影像控制系统比如mimic系统,对患者肺部进行三维重建,并获取患者肺部初始体积数据。在对患者肺部模型进行三维重建前对CT图像进行图像处理,通过预设的初始阈值对CT图像进行分割并改进,去除其他骨骼以及其他组织,保留肺部周围的器官以及血管组织。将CT图像导入mimics系统后,通过CT图像三视图进行观察并调整定位,方位无错后生成患者器官的三维模型。并利用区域生长方法对模型的空洞进行填充,来保证三维模型的表面光滑。在三维模型重建完成后,再次进行整体检测,检测三维模型是否出现明显的构造异常。当所述模型渲染模块根据CT图像对人体器官三维模型进行渲染重建后,临床医生对该三维模型进行观察,例如可以通过佩戴3d感应眼镜或其它的三维模型观察方式进行观察,并通过触控或感应等交互方式对患者肺部的任一血管以及气管进行修缮,例如通过zspace触控交互笔来点选任一血管以及气管进行交互操作,在预设范围内对任一的血管以及气管进行修改,并可以触控交互笔通过标记高亮(透明化)任一组织来更好的观察器官内部结构。
本实施例中具体地,干涉分析模块用于对三维重建后器官模型进行干涉数据分析,模拟病灶对于人体器官的干涉范围,对病灶进行三维动态建模;路径规划模块所述临床手术路径进行损伤分析,获取人体呼吸周期内的器官参数,将所述病灶干涉三维模型以及所述器官参数导入自动体网络分析模型中,利用所述网络分析模型对所述器官参数进行多参数求解控制来获得手术路径影响流域,并根据所述手术路径影响流域计算得到所述残余器官体积百分比。具体实现中,本发明可以通过将所述病灶干涉三维模型导入ICEM CFD(Integrated Computer Engineering and Manufacturing code for ComputationalFluid Dynamics-计算流体动力学的集成计算机工程和制造代码)软件,利用其网格分析模型对其进行网格划分,通过对所述病灶干涉三维模型进行修复后,通过获取呼吸周期内器官参数,多参数判断器官的干涉范围,具体地还可以通过Mimics系统得到获取肺部体积及左右肺室容积以及病灶动态干涉范围;定义网格参数设定入口、出口、其他面定义为体,根据多面体网格结构,定义各部分网格尺寸后生成网格;判断病灶流体域并设定边界条件,通过上述条件即可获取压力参数云图,血液速度参数云图,根据多参数比如呼吸周期内心脏的压力速度变化,以及血流变化来求解控制来确认手术路径影响流域。在获取到手术路径影响流域后医生也可以根据自身临床经验,对病手术路径影响流域进行适应性修改。
在本实施例中具体地,医生基于患者真实的CT图像通过扫描以及后期处理所获得的真实的人体器官模型数据搭建三维模型,并通过病灶干涉分析获取得到动态影响范围后,通过触控交互笔以及3d感应眼镜实施模拟脏器的切割,可以实现平面的切割、曲面的切割方式以及切割后的数据的记录,并可以进行手术过程的模拟。通过规划合理的手术路径将患者病灶进行摘除。并在根据患者的真实数据重建人体器官三维模型后,查看病灶与周边器官的关系。根据测量、切割、穿刺、和/或消融等临床医学手段的模拟,对患者病灶实行虚拟手术,通过对于手术路径的损伤分析,得到当前手术路径的影响流域。然后,根据患者器官体积以及当前手术路径的影响流域计算残余器官体积百分比,即根据当前手术路径进行手术后能留下的残余器官的体积占原器官体积的百分比。医生根据自身临床经验,观察人体器官三维模型,并通过交互界面与人体器官三维模型进行交互来迭代优化手术路径,以实现手术路径影响流域的最小化。并通过残余器官体积百分比的比对,最终确定残余器官体积百分比最大的手术方案和类型。在手术规划模拟并基本确定手术方案和类型后,将手术方案和类型的规划模拟方案存储至方案存储模块下的子目录,之后可以进行实时调取。
本发明的还提供一种计算机系统以及一种计算机可读存储介质,包括存储器,所述存储器内存储有计算机程序,所述计算机程序被处理器执行时,实现上述的基于混合现实手术规划方法构建方法。该计算机系统主要包括处理器、存储器和总线,所述存储器存储有至少一段程序,所述程序由所述处理器执行以实现如上文所述的方法的步骤。处理器包括一个或一个以上处理核心,处理器通过总线与存储器相连,存储器用于存储程序指令,处理器执行存储器中的程序指令时实现上述方法实施例提供的基于混合现实的手术规划方法。存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随时存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、快闪存储器、磁盘或光盘等。
读者应理解,在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的方法实施例仅仅是示意性的,例如,步骤的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个步骤可以结合或者可以集成到另一个步骤,或一些特征可以忽略,或不执行。

Claims (9)

1.一种基于混合现实的手术规划方法,其特征在于,包括以下步骤:
S1,获取医学图像,根据所述医学图像建立人体器官三维模型;
S2,获取病灶干涉数据,根据所述病灶干涉数据计算得到所述人体器官三维模型中病灶模型的动态影响范围;
S3,根据所述动态影响范围规划手术路径,对所述手术路径进行损伤分析,得到残余器官体积百分比,根据所述残余器官体积百分比调整临床手术路径。
2.如权利要求1所述的基于混合现实的手术规划方法,其特征在于,所述步骤S1中根据所述医学图像建立人体器官三维模型具体为:通过预设的初始阈值对所述医学图像进行分割,建立人体器官三维模型,并对所述医学图像中器官病灶区域边界进行标记处理。
3.如权利要求1所述的基于混合现实的手术规划方法,其特征在于,所述步骤S3中对所述临床手术路径进行损伤分析具体包括:
获取人体呼吸周期内的器官参数;
建立病灶干涉三维模型;
将所述病灶干涉三维模型导入自动体网络分析模型中,利用所述器官参数进行多参数求解控制来获得手术路径影响流域,并根据所述手术路径影响流域计算得到所述残余器官体积百分比。
4.一种基于混合现实的的手术规划交互系统,其特征在于,包括指令输入模块、模型渲染模块、干涉分析模块;
所述模型渲染模块,用于根据医学图像对人体器官三维模型进行渲染重建,并为所述人体器官三维模型提供操作门户;
所述指令输入模块,用于输入交互指令,并将所述交互指令反馈至所述模型渲染模块;
所述干涉分析模块,用于获取病灶干涉数据,并根据所述病灶干涉数据获得人体器官三维模型中病灶模型的动态影响范围;
所述路径规划模块,用于根据所述动态影响范围规划手术路径,对所述手术路径进行损伤分析,得到当前手术路径的术后残余器官体积百分比,输出所述术后残余器官体积百分比。
5.如权利要求4所述的基于混合现实的的手术规划交互系统,其特征在于,所述指令输入模块包括触控交互笔以及3d感应眼镜;
所述指令输入模块通过获取所述3d感应眼镜的眼镜矩阵数据和触控交互笔的触控笔矩阵数据,将对应的交互操作信息反馈给所述模型渲染模块并执行相应的交互操作。
6.如权利要求4所述的一种基于混合现实的手术规划交互系统,其特征在于,还包括图像关联模块,所述图像关联模块用于显示与所述人体器官三维模型相对应医学图像的三视图,并通过所述医学图像的三视图对所述人体器官三维模型的定位进行调整。
7.如权利要求4所述的一种基于混合现实的的手术规划交互系统,其特征在于,还包括方案存储模块,所述方案存储模块用于将手术规划方案以及其相应的所述术后残余器官体积百分比进行确认并存储。
8.如权利要求4所述的一种基于混合现实的的手术规划交互系统,其特征在于,
所述模型渲染模块用于根据医学图像对人体器官三维模型进行渲染重建,并为所述人体器官三维模型提供可操作的门户包括:为所述人体器官三维模型中的脏器以及血管组织在结构、数值、和/或层次上提供对所述脏器以及血管组织的透明度、显示或隐藏、和/或颜色信息的调整方式。
9.一种计算机可读存储介质,其特征在于:包括存储器,所述存储器内存储有计算机程序,所述计算机程序被处理器执行时,实现如权利要求1至3任一项所述的基于混合现实的手术规划方法。
CN202111344681.XA 2021-11-15 2021-11-15 一种基于混合现实的手术规划方法及交互系统 Pending CN115830275A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111344681.XA CN115830275A (zh) 2021-11-15 2021-11-15 一种基于混合现实的手术规划方法及交互系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111344681.XA CN115830275A (zh) 2021-11-15 2021-11-15 一种基于混合现实的手术规划方法及交互系统

Publications (1)

Publication Number Publication Date
CN115830275A true CN115830275A (zh) 2023-03-21

Family

ID=85515475

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111344681.XA Pending CN115830275A (zh) 2021-11-15 2021-11-15 一种基于混合现实的手术规划方法及交互系统

Country Status (1)

Country Link
CN (1) CN115830275A (zh)

Similar Documents

Publication Publication Date Title
US10878639B2 (en) Interactive voxel manipulation in volumetric medical imaging for virtual motion, deformable tissue, and virtual radiological dissection
US11547499B2 (en) Dynamic and interactive navigation in a surgical environment
US11183296B1 (en) Method and apparatus for simulated contrast for CT and MRI examinations
CN107067398B (zh) 用于三维医学模型中缺失血管的补全方法及装置
CN108784831A (zh) 一种基于三维影像的穿刺参数生成方法
CN107847274B (zh) 用于在机器人外科手术期间提供更新后的患者图像的方法和装置
CN107126257B (zh) 一种心脏模型对结构性心脏病手术进行模拟与评估的方法
CN106659453A (zh) 用于分割肺部的系统和方法
CN106164981B (zh) 外科手术中为手术器械插入显示计时信号的方法和系统
CN107847277A (zh) 辅助在血管结构中引导血管内工具的方法和系统
CN105956395A (zh) 医学影像处理方法、装置及系统
CN110547869B (zh) 一种基于虚拟现实的术前辅助规划装置
CN110164557B (zh) 隐式表面算法用于仿真模拟软组织手术路径规划的方法
JP2007135843A (ja) 画像処理装置、画像処理プログラム、及び画像処理方法
US20140193789A1 (en) Cutting simulation device and cutting simulation program
CN111986330A (zh) 一种基于混合现实的术前规划模拟系统、装置及方法
CN115830275A (zh) 一种基于混合现实的手术规划方法及交互系统
US11763934B1 (en) Method and apparatus for a simulated physiologic change for CT and MRI examinations
Cameron et al. Virtual-reality-assisted interventional procedures.
Kunert et al. An interactive system for volume segmentation in computer-assisted surgery
JP3845682B2 (ja) シミュレーション方法
CN117316393B (zh) 一种精度调整的方法、装置、设备、介质和程序产品
RU2684760C1 (ru) Способ и система предоперационного моделирования медицинской процедуры
CN102592060A (zh) 一种利用消融治疗影像引导设备处理影像的方法
JP7444569B2 (ja) 鏡視下手術支援装置、鏡視下手術支援方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Gao Liang

Inventor after: Qi Yetong

Inventor before: Gao Liang

Inventor before: Qi Yetong

CB03 Change of inventor or designer information