CN107296650A - 基于虚拟现实和增强现实的智能手术辅助系统 - Google Patents
基于虚拟现实和增强现实的智能手术辅助系统 Download PDFInfo
- Publication number
- CN107296650A CN107296650A CN201710406188.3A CN201710406188A CN107296650A CN 107296650 A CN107296650 A CN 107296650A CN 201710406188 A CN201710406188 A CN 201710406188A CN 107296650 A CN107296650 A CN 107296650A
- Authority
- CN
- China
- Prior art keywords
- model
- dimensional
- focus
- user
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
Landscapes
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Robotics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于虚拟现实和增强现实的智能手术辅助系统。其包括数据预处理单元(1)、术前规划单元(2)和术中辅助单元(3),数据预处理单元利用原始CT/MRI影像重建三维病灶模型;术前规划单元通过虚拟现实设备,搭建虚拟影像工作室,载入三维病灶模型,供使用者深入病变器官内部做出手术方案规划,并导出三维规划模型;术中辅助单元通过增强现实设备,调用三维规划模型,获得其空间特征点并与真实病灶部位配准融合,帮助医生辨认解剖结构,同时显示手术方案决策和量化生理数据,以执行手术前的规划。本发明解决了解剖结构难以辨识和缺乏手术中实时导航的问题,提高了外科手术成功率。
Description
技术领域
本发明属于电子技术领域,更进一步涉及一种智能手术辅助系统,可用于医学影像平台和手术辅助系统中。
背景技术
临床手术是现代医疗的重要诊疗手段,目前复杂外科手术的实施方案,主要依赖于核磁共振、计算机断层扫描等三维医学影像来制定。但临床手术开刀之后,由于存在血液漫流和器官遮挡等生理因素,医生的手术视野比较有限,手术中所见景象往往血肉模糊,加之术中病灶常常发生形态变化,脉管结构存在复杂畸变,往往难以直观辨认。手术室配备的医疗影像设备使用复杂,往往需要配备专门的医护人员来操作仪器,使用不便,医生很难将术中所见血肉模糊的景象与术前影像学图像关联起来,造成了注意力的分散,这种信息不对称的情形导致解剖结构辨识困难,影响术中决策。
近年来,为了解决复杂外科手术难以有效开展的问题,结合虚拟现实和增强现实技术的最新发展,主要通过术前术中信息,建立无畸变三维立体图像,捕捉术中视野或手术动作,对术中每一阶段的生理状况进行逐一检测和融合,反馈给医生作为指导。
Method和Bay Innovation合作,在2015年其公布的设备VIVI医学专用智能头戴眼镜中以下简称VIVI头戴眼镜,使用增强现实技术,在医生做手术的过程中显示病人当前的脉搏、血压及体温等身体数据和补充资料。该设备通过蓝牙与手术室中其他监护设备连接,便携式方案起到了很好的配合作用,避免了在升级现有手术室设备时,器材过多、功能冗杂的问题,医生可以把注意力放回到病人身上,如果出现紧急情况,及时调整手术决策。目前VIVI头戴眼镜只能呈现血压血氧等最简单的参数,医生仍需要从其他地方获得更加深入的信息。
北京航空航天大学所申请的发明专利“一种用于增强现实手术导航的腹腔镜视频精准融合方法”中(公开号:CN106327587A,申请号:CN201611019614.X,申请日:2017.01.11),首先对腹腔镜相机进行标定,确定相机参数,并使用该参数进行3D图形渲染引擎的投影矩阵设置;获取手术对象术中的腹腔镜图像,用3D图形渲染引擎生成对应的无畸变视图,并用畸变模型使其变形为与实际腹腔镜具有同样畸变效果的虚拟视图;通过融合虚拟视图与实际腹腔镜图像,生成虚拟视图的每一个像素点的深度值,最终获得具有正确位置映射关系的精准虚拟-真实融合视频用于手术导航。
深圳市科创数字显示技术有限公司所申请的发明专利“AR和VR相结合的医学培训系统”(公开号:CN106251752A,申请号:CN201610940646.7,申请日:2016.10.25),通过3D图像采集模块采集手术目标对象以及培训人员使用的手术器械的三维图像,通过动作捕捉模块实时捕捉培训人员的手术动作,通过中央处理器输出纠正信息和指导信息,建立包含3D图像采集模块采集的三维图像、指导信息以及纠正信息的增强现实或虚拟现实模型,培训人员通过AR交互模块实时获取手术目标对象和其使用的手术器械的状况、指导信息以及纠正信息,能够提升医疗培训的真实感与临场感,缩短医疗培训周期,降低医疗培训成本。
上述现有的使用虚拟现实和增强现实的系统仍有以下部分缺陷:
第一,通过拍摄场景加以3D渲染变形,仅能还原器材或病灶的表面情况,不能深入畸变的生理结构内部,提供其任意角度和即时状态的生理信息;
第二,使用者无法快速地进行人机交互,在术中导航难以做到实时有效,只能单一地从机器反馈的信息中矫正自己的动作,有一定的滞后性,无法命令机器达到医生自己术中最需要的效果;
第三,仅捕捉了如相机、手术器材等简单外设的信息,可提供的辅助功能较为单一,不能直接对患者本身病情作出快速指导,使术前规划、术中操作、手术培训的完整过程在一定程度上出现了断层。
发明内容
本发明的目的在于针对上述现有技术的不足,提出一种基于虚拟现实和增强现实的智能手术辅助系统及方法,以对核磁共振、计算机断层扫描这些传统三维医学影像进行直观全面、具体精确地查看与标定,并以语音交互的方式,为手术中医生作出实时指导。
本发明的技术方案是这样实现的:
一、技术原理
本发明采用HTC Vive作为虚拟现实设备,采用Hololens作为增强现实设备,以Unity 5.3.5作为开发平台,利用C#语言编程,研究开发术前虚拟影像工作室、术中投影显示及交互调用模块。
手术前,根据医生实际需要,分割出患者术前CT图像中的病灶部分,并对其进行三维可视化重建,使用虚拟影像工作室导入病灶模型,通过虚拟现实设备深入病灶模型内部进行直观的规划标注,并将规划标注与病灶模型一起导出为术前规划模型,以供术中使用;
手术中,通过增强现实设备,对病灶周边环境实时建模,使术前规划模型与真实手术病灶得到配准,医生使用指定语音识别词,对模型进行三维旋转缩放,实时获取指导信息,从而解放医生的双手,最大程度地减少医生的注意力损失,使医生更专注于手术实施。
二、实现方案:
根据上述原理,本发明基于虚拟现实和增强现实的智能手术辅助系统,包括:
数据预处理单元,用于通过医学影像处理软件,将医院采集到的原始CT/MRI影像信息转化为系统可用的影像材料,重建三维病灶模型,并将其传递给术前规划单元;
术前规划单元,用于通过虚拟现实设备HTC VIVE,搭建虚拟影像工作室,载入本地三维病灶模型,使用者能够深入到病变器官内部的微小立体结构中,以任意角度对病灶进行分析,做出三维手术规划路径,并将规划路径与病灶模型进行合并,导出三维规划模型,以供术中辅助单元随时调用;
术中辅助单元,用于通过增强现实设备HoloLens获得三维病灶模型的特征点,使其与真实病灶部位得到空间配准,并调取显示三维规划模型提供的方案决策、手术监控设备提供的血氧血压这些基础生理参数,帮助医生辨认组织结构,执行术前规划;
根据上述原理,本发明基于虚拟现实和增强现实的智能手术辅助方法,包括如下步骤:
1)数据读入:
读取格式为.dcm或.raw的原始CT数据,对原始CT数据依次进行平滑、分割的预处理,得出病灶结构,并将病灶结构导出为.vtk或.nii格式;
2)重建病灶模型:
将病灶结构转换为虚拟现实设备可用的.fbx或.obj模型,使其适应于虚拟影像工作室的数据接口,完成三维病灶模型的重建,并据此构建本地模型库;
3)手术前,使用者佩戴虚拟现实设备进入虚拟现实影像工作室,选择UI界面中的对应功能:
3a)导入病灶模型:
通过虚拟现实设备手柄前端射线和按键,在UI界面中选择需要从本地模型库导入的三维病灶模型,并使用虚拟现实设备手柄触摸板,调节病灶模型至不同查看方式所需的大小;
3b)选择病灶查看方式:
使用者根据3a)中病灶模型的不同放大倍数,在UI界面显示的抓取查看和飞行查看这两种方式中选择自己最适宜的查看方式;
3c)进行手术规划:
使用者停止3b)查看过程中的空间移动,在UI界面中选择画笔标注,设置线条颜色和粗细,扣动手柄右侧扳机在需要的空间位置做出注释,扣动手柄左侧扳机擦除错误标注;
3d)导出三维规划模型:
对3c)所得的手术规划标注位点进行实例化,并将其作为子类模型叠加在病灶模型上,共同导出三维规划模型,以供手术中使用;
4)手术中,使用者佩戴增强现实设备启动语音交互和手势识别功能:
4a)启动云端虚拟机,将点击和拖拽的特定手势与虚拟机鼠标动作关联起来,以控制安装于虚拟机上的影像处理软件,执行其内置的影像旋转、放缩、亮度调节和区域分割功能;
4b)发出指定语音识别词,依次自由控制三维规划模型旋转与缩放,初步观察术前规划及病灶结构信息;
4c)将三维规划模型与真实手术病灶配准融合,以显示三维相关切口路径,从而辅助使用者辨认解剖结构,执行术前规划。
本发明与现有的技术相比具有以下优点:
第一,本发明使用的三维重建数据来自核磁共振与计算机断层扫描,相比血氧血压等常规生理参数,以及普通摄像头扫描具有更高空间分辨率,更精确丰富的结构信息。
第二,本发明在手术前,基于虚拟现实设备重建特异性病灶模型,使医生可以深入病灶内部,以任意角度观察细微病变,做出三维手术规划,相较于传统的通过二维切面的规划方式更加直观、立体、准确、全面。
第三,本发明在手术中,基于增强现实设备获得的空间标记点,快速实现虚拟病灶模型与真实病灶位置的配准融合,并直接投影呈现于眼前真实空间,避免了注视显示屏带来的注意力分散。
第四,本发明将语音交互与手势识别相融合,使得人机交互方式便捷,可随时调取并控制影像资料与方案决策,避免了接受单一的模式化指导,使医生能灵活地根据手术实际需要进行辅助,更专注于手术操作。
附图说明
图1是本发明系统的方框图;
图2是本发明方法的总流程图;
图3是本发明方法中在手术前规划过程的子流程图;
图4是本发明方法中在手术进行中辅助过程的子流程图;
图5是本发明方法中在手术前规划过程的UI界面示意图;
图6是本发明装置中在手术前规划过程的画笔标注示意图;
图7是本发明装置中在手术进行中辅助过程的结构配准示意图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本发明进行详细的说明。应当说明的是,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
参照图1,本发明基于虚拟现实和增强现实的智能手术辅助系统,包含数据预处理单元1、术前规划单元2和术中辅助单元3,其中:
数据预处理单元1,用于通过医学影像处理软件,将医院采集到的原始CT/MRI影像信息转化为系统可用的影像材料,重建三维病灶模型,存入本地模型库并将其传递给术前规划单元2;该原始CT/MRI影像信息不仅包含病灶部分,还存在无关器官和组织以及噪声干扰,需要进行平滑和分割以提取出较为独立的病灶影像数据,进而重建三维病灶模型,使影像数据立体可视化;该本地模型库中可存储经过数据预处理单元1处理的不同患者不同病灶的三维病灶模型,供使用者在术前规划单元2快速调取;
术前规划单元2,用于通过虚拟现实设备HTC VIVE,搭建虚拟影像工作室,载入本地三维病灶模型,使用者能够深入到病变器官内部的微小立体结构中,以任意角度对病灶进行分析,做出三维手术规划路径,并将规划路径与病灶模型进行合并,导出三维规划模型,以供术中辅助单元3随时调用;该三维病灶模型即为从本地模型库中调取的经过预处理的病灶模型;该三维手术规划路径为手术规划过程中,由画笔标注做出并暂存的三维路径;该三维规划模型为三维病灶模型与三维手术规划路径合并导出,可长期保存并用于术中辅助单元3的手术方案决策;
术中辅助单元3,用于通过增强现实设备HoloLens获得三维病灶模型的特征点,使其与真实病灶部位得到空间配准,并调取显示三维规划模型提供的手术方案决策、云端虚拟机影像处理软件提供的量化生理数据和手术监控设备提供的血氧血压这些基础生理参数,帮助使用者辨认组织结构,执行术前规划;该量化生理数据和基础生理参数,由特定手势控制云端虚拟机相应软件,执行其内置量化与监控功能获得;该手术方案决策,由特定语音识别词控制三维规划模型空间配准后得出;
数据预处理单元1与术前规划单元2通讯连接,传递三维病灶模型以实现手术操作前的规划;术前规划单元2与术中辅助单元3通讯连接,传递三维规划模型以实现手术操作时的导航。
上述术前规划单元2,包含UI界面模块21、模型控制模块22、抓取查看模块23、飞行查看模块24、画笔标注模块25和数据导出模块26,其中:
UI界面模块21,用于承载虚拟影像工作室的其他各项功能模块,增强其可视化交互性,使用者通过UI界面按钮,从本地模型库中选择不同的三维病灶模型,先依次启动抓取查看模块23、飞行查看模块24和画笔标注模块25,切换病灶模型查看方式,做出三维手术规划路径,再启动数据导出模块26,导出三维规划模型,以供手术中使用;
模型控制模块22,用于通过虚拟现实设备手柄触摸板,对三维病灶模型进行自由缩放,以达到使用者在抓取查看模块23和飞行查看模块24所需的视觉范围;该视觉范围以心脏为例,抓取查看模块23所适用的病灶模型为其1-3倍,飞行查看模块24所适用的病灶模型为其30-50倍;
抓取查看模块23,用于通过虚拟现实设备手柄按键,对相较于真实心脏比例1-3倍的病灶模型进行抓取,并将其拖拽以贴近面部,供使用者查看病灶模型内部和外部的结构信息,避免人为走动;
飞行查看模块24,用于通过虚拟现实设备手柄触摸板,对相较于真实心脏比例30-50倍的病灶模型精确查看,手柄前端自动发出射线表示飞行基线,使用者通过触摸板按键控制相对于基线的左右移动和高度升降,以观察静止病灶模型内部的微小结构;
画笔标注模块25,用于通过虚拟现实设备手柄扳机,对三维病灶模型进行影像数据标注和手术方案规划,即先根据RGB和HSV取色模式,设置线条颜色和粗细,再跟踪所持手柄的空间定位,做出三维标注及错误擦除;该RGB取色模式基于红绿蓝三种色彩通道,HSV取色模式基于色调、饱和度和亮度三种色彩特征。
数据导出模块26,用于获取画笔标注模块25做出的三维手术规划路径,并将其作为子类与三维病灶模型合并,导出为三维规划模型,通过术中辅助单元3的语音交互模块32和结构配准模块33实时显示。
通过UI界面模块21分别对抓取查看模块23、飞行查看模块24、画笔标注模块25和数据导出模块26单向控制,实现对各自功能的快速启动;模型控制模块22、抓取查看模块23、飞行查看模块24和画笔标注模块25在功能上相对独立,使用者可根据实际需要组合使用;画笔标注模块25与数据导出模块26通讯连接,传递标注路径以实现三维规划模型的导出。
上述术中辅助单元3,包含云端控制模块31、语音交互模块32和模型配准模块33,其中:
云端控制模块31,用于将点击和拖拽的特定手势与云端虚拟机鼠标动作关联起来,通过这种手势识别,控制虚拟机上的影像处理软件和手术监护软件,以完成程序内部预设功能;需要注意的是,虚拟机上所配置的程序并非属于本系统,具体实现功能取决于程序本身,手势识别只起到控制作用。
语音交互模块32,用于为使用者设置特定英文语音识别词,通过这种语音交互,投影显示术前规划模型,使模型的空间投影位置可随使用者视野边界的移动而移动,并在随时保持模型可见的同时,自由控制其旋转和缩放;该语音识别词包括“left”、“right”、“smaller”、“bigger”、“back”、“stop”以及整数数字;该旋转缩放有两种呈现方式,第一种为仅控制开始和结束的基础模式,其形式为“left”表示模型绕Z轴顺时针开始旋转,“stop”表示模型停止旋转,第二种为含有整数参数的精确控制,其形式为“left,30”表示模型绕Z轴顺时针旋转30度,“bigger,2”表示模型放大2倍。
结构配准模块33,用于通过增强现实设备的空间定位感知,使术前规划模型与真实手术病灶得到配准,以进一步隐去术前规划模型中的三维病灶部分,只保留其手术规划路径、三维切口位置及深度信息,做出手术导航;该空间定位感知基于三维空间扫描,以生成环境表面mesh网格;该配准融合的控制基于特定语音识别词“register”和“hind”;
语音交互模块32与结构配准模块33通讯连接,传递语音识别词,实现术前规划模型与真实手术病灶的配准,以及手术规划路径的导航;云端控制模块31与前两者相对独立,通过手势识别控制云端虚拟机,以获取量化生理数据和基础生理参数。
参照图2,本发明基于虚拟现实和增强现实的智能手术辅助方法,其实现步骤如下:
步骤1,数据读入。
以先天性心脏病患者的胸部计算机断层扫描为例,以下简述为胸部CT,读取格式为.dcm或.raw的胸部CT数据,对胸部CT数据依次进行平滑、分割的预处理,得出心脏部位的病灶结构,并将病灶结构导出为.vtk或.nii格式。
步骤2,重建病灶模型。
将病灶结构转换为虚拟现实设备可用的.fbx或.obj模型,使其适应于虚拟影像工作室的数据接口,经烘焙渲染完成三维病灶模型的重建,并据此构建本地模型库。
步骤3,手术前,使用者佩戴虚拟现实设备进入虚拟现实影像工作室,选择UI界面中的对应功能。
参照图3,本步骤的具体实现如下:
3a)导入病灶模型:
通过虚拟现实设备手柄前端射线和按键,在图5所示的UI界面中选择需要从本地模型库导入的三维病灶模型,并使用虚拟现实设备手柄触摸板,调节病灶模型至不同查看方式所需的大小,顺时针为模型放大,逆时针为模型缩小;
3b)选择病灶查看方式:
使用者根据所需观察的病灶部位和手术规划精度,在UI界面显示的抓取查看和飞行查看这两种方式中选择最适宜的查看方式:
当使用者对病灶模型的内部外部都需要分析时,选择抓取查看模式,该模式下的病灶模型为其真实比例的1-3倍,病灶模型初始固定于虚拟影像工作室地面,使用者扣动手柄扳机对其抓取,以实现外部标注,当病灶模型被拖拽至贴近面部时,使用者视线可由外部切换至内部,以实现内部标注;
当使用者仅需要精确分析病灶模型的内部结构时,选择飞行查看模式,该模式下病灶模型为其真实比例的30-50倍,手柄前端自动发出射线表示飞行基线,使用者通过触摸板按键控制相对于基线的左右移动和高度升降,因模型放大比例巨大,使用者观察视线始终在模型内部,可观察到微小细节以精确规划;
3c)进行手术规划:
使用者停止查看过程中的空间移动,在UI界面中选择图6所示的画笔标注,设置线条颜色和粗细,扣动手柄右侧扳机以利用画笔标注在需要的空间位置做出标注,扣动手柄左侧扳机以擦除错误标注,其中用画笔标注空间位置的过程如下:
首先,建立相机空间与世界空间的映射关系,使其在空间位置内相对统一;
其次,选取画笔设置画笔参数:
通过RGB或HSV取色器,选取所呈现线条的颜色;
将线条划过各个像素点的位置,存储为三维向量点连接的阵列;
将线条长度存储为阵列对应行中的点的数量;
统一画笔开始宽度与终止宽度,令阵列第一行和最后一行宽度默认相等;
最后,通过虚拟现实设备Open Brush组件的Input Manager接口,将设置的画笔参数预制在虚拟现实手柄中,并调控相应UI按钮,在空间预定位置将线条实例化;
3d)导出三维规划模型:
对3c)所得的已实例化的手术规划标注位点,作为子类模型叠加在病灶模型上,导出可长期保存的完整三维规划模型,以供在手术过程中使用。
步骤4,手术中,使用者佩戴增强现实设备,启动语音交互和手势识别功能。
参照图4,本步骤的具体实现如下:
4a)启动Azune云平台的云端虚拟机,将点击和拖拽的特定手势与虚拟机鼠标动作关联起来,以控制安装于Windows系统虚拟机上的手术监护软件,跟踪实时血压血氧这些基础生理参数,帮助使用者及时应对突发情况;控制Windows系统虚拟机上的影像处理软件,执行内置的影像旋转、缩放、亮度调节和区域分割功能,获取影像的量化生理数据,以弥补基础生理参数过于简单的不足;
4b)发出指定语音识别词,自由控制三维规划模型旋转与缩放,初步观察术前规划方案及病灶结构信息,如“left,30”表示模型绕Z轴顺时针旋转30度,“bigger,2”表示模型放大2倍,“left”表示模型绕Z轴顺时针开始旋转,“stop”表示模型停止旋转;
4c)基于增强现实设备的空间定位感知,使三维规划模型与真实手术病灶配准融合,以辅助使用者辨认解剖结构,并显示三维切口路径,帮助使用者执行手术前的规划方案,如“register”表示执行虚拟模型与真实空间的配准,“hind”表示隐去病灶模型子类,只保留手术规划路径进行术中导航,其中三维规划模型与真实手术病灶配准,步骤如下:
4c1)调取增强现实设备SpatialMapping组件对周围空间进行三维扫描,以实时对环境表面建模,生成三角形拓扑结构的mesh网格,且为不遮挡视线,将网格边缘设置为透明;
4c2)调取增强现实设备Spatial Understanding组件,提取规划标注点的三维空间特征,即捕捉标注点所指向的物体表面,并转译为mesh网格中相应的三角形拓扑位置;将标注点设置为虚拟物体,再通过mesh网格将其放置在真实环境中,使三维规划模型与真实手术病灶得到配准,如图7所示,其中图7a为配准前示意图,图7b为配准后示意图。
由上可知,本发明实例以计算机断层扫描采集到的胸部CT原始数据为基础,通过虚拟现实技术深入结构内部,进行准确有效的术前规划;通过增强现实技术在手术中提供实时指导,避免了注意力的分散;增强现实设备还可对手术中关键操作进行简单录像,便于手术后评估或指导。
以上所述仅为本发明的较佳实施例而已,并不用于限制本发明,凡在本发明的原则和精神之内所作的任何修改、等同替换和改进等,均就包含在本发明的保护范围之内。
Claims (7)
1.一种基于虚拟现实与增强现实的智能手术辅助装置,其特征在于,包括:
数据预处理单元(1),用于通过医学影像处理软件,将医院采集到的原始CT/MRI影像信息转化为系统可用的影像材料,重建三维病灶模型,并将其传递给术前规划单元(2);
术前规划单元(2),用于通过虚拟现实设备HTC VIVE,搭建虚拟影像工作室,载入本地三维病灶模型,使用者能够深入到病变器官内部的微小立体结构中,以任意角度对病灶进行分析,做出三维手术规划路径,并将规划路径与病灶模型进行合并,导出三维规划模型,以供术中辅助单元(3)随时调用;
术中辅助单元(3),用于通过增强现实设备HoloLens获得三维病灶模型的特征点,使其与真实病灶部位得到空间配准,并调取显示三维规划模型提供的方案决策、手术监控设备提供的血氧血压这些基础生理参数,帮助医生辨认组织结构,执行术前规划。
2.根据权利要求1所述的装置,其特征在于,术前规划单元(2)包括:
UI界面模块(21),用于承载虚拟影像工作室的其他各项功能模块,增强其可视化交互性,使用者通过UI界面按钮,从本地模型库中选择不同的三维病灶模型,并启动抓取查看模块(23)、飞行查看模块(24)和画笔标注模块(25),切换病灶模型查看方式,做出三维手术规划路径;
模型控制模块(22),用于通过虚拟现实设备手柄触摸板,对三维病灶模型进行自由缩放,以达到使用者在抓取查看模块(23)和飞行查看模块(24)所需的视觉范围;
抓取查看模块(23),用于通过虚拟现实设备手柄按键,对相较于真实心脏比例1-3倍的病灶模型进行抓取,并将其拖拽以贴近面部,供使用者查看病灶模型内部和外部的结构信息,避免人为走动;
飞行查看模块(24),用于通过虚拟现实设备手柄触摸板,对相较于真实心脏比例30-50倍的病灶模型精确查看,使用者通过自主控制飞行方向,观察静止病灶模型内部的微小结构;
画笔标注模块(25),用于通过虚拟现实设备手柄扳机,对三维病灶模型进行影像数据标注和手术方案规划,即先根据RGB和HSV取色模式,设置线条颜色和粗细,再跟踪所持手柄的空间定位,做出三维标注及错误擦除;
数据导出模块(26),用于将画笔标注模块(25)做出的三维手术规划路径与三维病灶模型合并,导出为三维规划模型,在术中辅助单元(3)的语音交互模块(32)和结构配准模块(33)中实时显示。
3.根据权利要求1所述的装置,其特征在于,术中辅助单元(3)包括:
云端控制模块(31),用于通过手势识别,控制云端虚拟机上的影像处理软件或其他分析程序,完成程序内部预设功能;
语音交互模块(32),用于通过语音识别,使用特定英文识别词显示术前规划模型,使模型的空间投影位置可随使用者视野边界的移动而移动,并在随时保持模型可见的同时,自由控制其旋转和缩放;
结构配准模块(33),用于通过增强现实设备的空间定位感知,使术前规划模型与真实手术病灶得到配准,以进一步隐去术前规划模型中的三维病灶部分,只保留其手术规划路径、三维切口位置及深度信息,做出手术导航。
4.一种基于虚拟现实和增强现实的智能手术辅助方法,包括如下步骤:
1)数据读入:
读取格式为.dcm或.raw的原始CT数据,对原始CT数据依次进行平滑、分割的预处理,得出病灶结构,并将病灶结构导出为.vtk或.nii格式;
2)重建病灶模型:
将病灶结构转换为虚拟现实设备可用的.fbx或.obj模型,使其适应于虚拟影像工作室的数据接口,完成三维病灶模型的重建,并据此构建本地模型库;
3)手术前,使用者佩戴虚拟现实设备进入虚拟现实影像工作室,选择UI界面中的对应功能:
3a)导入病灶模型:
通过虚拟现实设备手柄前端射线和按键,在UI界面中选择需要从本地模型库导入的三维病灶模型,并使用虚拟现实设备手柄触摸板,调节病灶模型至不同查看方式所需的大小;
3b)选择病灶查看方式:
使用者根据3a)中病灶模型的不同放大倍数,在UI界面显示的抓取查看和飞行查看这两种方式中选择自己最适宜的查看方式;
3c)进行手术规划:
使用者停止3b)查看过程中的空间移动,在UI界面中选择画笔标注,设置线条颜色和粗细,扣动手柄右侧扳机在需要的空间位置做出标注,扣动手柄左侧扳机擦除错误标注;
3d)导出三维规划模型:
对3c)所得的手术规划标注位点进行实例化,并将其作为子类模型叠加在病灶模型上,共同导出三维规划模型,以供手术中使用;
4)手术中,使用者佩戴增强现实设备启动语音交互和手势识别功能:
4a)启动云端虚拟机,将点击和拖拽的特定手势与虚拟机鼠标动作关联起来,以控制安装于虚拟机上的影像处理软件,执行其内置的影像旋转、放缩、亮度调节和区域分割功能;
4b)发出指定语音识别词,自由控制三维规划模型旋转与缩放,初步观察术前规划及病灶结构信息;
4c)将三维规划模型与真实手术病灶配准融合,以显示三维相关切口路径,从而辅助使用者辨认解剖结构,执行术前规划。
5.根据权利要求4所述的方法,其特征在于,步骤3b)中使用者选择自己最适宜的查看方式,是根据所需观察的病灶部位和手术规划精度进行的病灶查看方式的选择:
当使用者对病灶模型的内部外部都需要分析时,选择抓取查看模式,该模式下的病灶模型为其真实比例的1-3倍,病灶模型初始固定于虚拟影像工作室地面,使用者扣动手柄扳机对其抓取,以实现外部标注,当病灶模型被拖拽至贴近面部时,使用者视线可由外部切换至内部,以实现内部标注;
当使用者仅需要精确分析病灶模型的内部结构时,选择飞行查看模式,该模式下病灶模型为其真实比例的30-50倍,手柄前端自动发出射线表示飞行基线,使用者通过触摸板按键控制相对于基线的左右移动和高度升降,因模型放大比例巨大,使用者观察视线始终在模型内部,可观察到微小细节以精确规划。
6.根据权利要求4所述的方法,其特征在于,步骤3c)中在UI界面中选择的画笔标注,其实现方案如下:
3c1)建立相机空间与世界空间的映射关系,使其在空间位置内相对统一;
3c2)设置画笔参数:
通过RGB或HSV取色器,选取所呈现线条的颜色;
将线条划过各个像素点的位置,存储为三维向量点连接的阵列;
将线条长度存储为阵列对应行中的点的数量;
统一画笔开始宽度与终止宽度,令阵列第一行和最后一行宽度默认相等;3c3)通过虚拟现实设备Open Brush组件的Input Manager接口,将3c2)中的设置参数预制在虚拟现实手柄中,并调控相应UI按钮,在空间预定位置将线条实例化。
7.根据权利要求4所述的方法,其特征在于,步骤4c)中三维规划模型与真实手术病灶配准,其实现方案如下:
4c1)调取增强现实设备Spatial Mapping组件对周围空间进行三维扫描,以实时对环境表面建模,生成三角形拓扑结构的mesh网格,且为不遮挡视线,将网格边缘设置为透明;
4c2)调取增强现实设备Spatial Understanding组件,提取规划标注点的三维空间特征,即捕捉标注点所指向的物体表面,并转译为mesh网格中相应的三角形拓扑位置,将标注点设置为虚拟物体,再通过mesh网格将其放置在真实环境中,使三维规划模型与真实手术病灶得到配准。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710406188.3A CN107296650A (zh) | 2017-06-01 | 2017-06-01 | 基于虚拟现实和增强现实的智能手术辅助系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710406188.3A CN107296650A (zh) | 2017-06-01 | 2017-06-01 | 基于虚拟现实和增强现实的智能手术辅助系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107296650A true CN107296650A (zh) | 2017-10-27 |
Family
ID=60137727
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710406188.3A Pending CN107296650A (zh) | 2017-06-01 | 2017-06-01 | 基于虚拟现实和增强现实的智能手术辅助系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107296650A (zh) |
Cited By (42)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107978195A (zh) * | 2017-12-29 | 2018-05-01 | 福州大学 | 一种基于虚拟现实平台的侧脑室穿刺手术训练系统 |
CN108198247A (zh) * | 2018-01-12 | 2018-06-22 | 福州大学 | 一种基于ar增强现实技术的侧脑室穿刺手术教学工具 |
CN109036548A (zh) * | 2018-06-19 | 2018-12-18 | 黑龙江拓盟科技有限公司 | 基于混合现实三维可视化的辅助诊疗系统 |
CN109223121A (zh) * | 2018-07-31 | 2019-01-18 | 广州狄卡视觉科技有限公司 | 基于医学影像模型重建、定位的脑出血穿刺手术导航系统 |
CN109364387A (zh) * | 2018-12-05 | 2019-02-22 | 上海市肺科医院 | 一种放射治疗ar定位摆位系统 |
CN109864820A (zh) * | 2019-03-19 | 2019-06-11 | 安徽紫薇帝星数字科技有限公司 | 一种基于ct三维模型映射混合定位导航系统 |
CN109907825A (zh) * | 2019-03-25 | 2019-06-21 | 天津大学 | 混合现实引导的近距离粒子手术植入系统 |
CN110051434A (zh) * | 2019-04-25 | 2019-07-26 | 厦门强本科技有限公司 | Ar与内窥镜结合手术导航方法及终端 |
CN110111875A (zh) * | 2019-03-19 | 2019-08-09 | 北京缙铖医疗科技有限公司 | 一种mr远程医疗系统 |
CN110169820A (zh) * | 2019-04-24 | 2019-08-27 | 艾瑞迈迪科技石家庄有限公司 | 一种关节置换手术位姿标定方法及装置 |
CN110189407A (zh) * | 2019-05-31 | 2019-08-30 | 东北大学 | 一种基于hololens的人体三维重建模型系统 |
CN110288577A (zh) * | 2019-06-20 | 2019-09-27 | 翼健(上海)信息科技有限公司 | 一种3d实现多器官病灶整合的控制方法及控制装置 |
CN110292439A (zh) * | 2019-07-31 | 2019-10-01 | 东北大学 | 基于增强现实的心脏支架手术辅助诊疗系统及使用方法 |
CN110522516A (zh) * | 2019-09-23 | 2019-12-03 | 杭州师范大学 | 一种用于手术导航的多层次交互可视化方法 |
CN110547869A (zh) * | 2019-09-17 | 2019-12-10 | 上海交通大学 | 一种基于虚拟现实的术前辅助规划装置 |
CN110993089A (zh) * | 2019-12-05 | 2020-04-10 | 中科尚易健康科技(北京)有限公司 | 一种利用三维扫描引导经络的方法 |
CN111419398A (zh) * | 2020-04-22 | 2020-07-17 | 蚌埠医学院第一附属医院(蚌埠医学院附属肿瘤医院) | 一种基于虚拟现实的胸外科手术辅助控制系统 |
CN111616800A (zh) * | 2020-06-09 | 2020-09-04 | 电子科技大学 | 眼科手术导航系统 |
CN111768491A (zh) * | 2020-06-03 | 2020-10-13 | 上海昕健医疗技术有限公司 | 基于虚拟现实技术的医学影像显示方法及系统 |
CN111834021A (zh) * | 2020-07-20 | 2020-10-27 | 北京百度网讯科技有限公司 | 数据交互方法、装置、设备以及存储介质 |
CN111880647A (zh) * | 2020-06-19 | 2020-11-03 | 华为技术有限公司 | 一种三维界面的控制方法和终端 |
CN111882941A (zh) * | 2020-08-11 | 2020-11-03 | 中南大学湘雅二医院 | 一种基于虚拟现实的心脏大血管解剖教学系统及方法 |
CN111887990A (zh) * | 2020-08-06 | 2020-11-06 | 杭州湖西云百生科技有限公司 | 基于5g技术的远程手术导航云桌面系统 |
CN112106127A (zh) * | 2018-04-27 | 2020-12-18 | 克里赛利克斯有限公司 | 医疗平台 |
CN112451070A (zh) * | 2020-10-15 | 2021-03-09 | 中国医学科学院北京协和医院 | 一种基于HoloLens的游离腓骨瓣重建颌骨系统 |
CN112885436A (zh) * | 2021-02-25 | 2021-06-01 | 刘春煦 | 一种基于增强现实三维成像的牙科手术实时辅助系统 |
CN112985372A (zh) * | 2019-12-13 | 2021-06-18 | 南宁富桂精密工业有限公司 | 路径规划系统及其方法 |
CN113081268A (zh) * | 2021-03-31 | 2021-07-09 | 上海电气集团股份有限公司 | 基于AR和IoT的手术引导系统 |
CN113133814A (zh) * | 2021-04-01 | 2021-07-20 | 上海复拓知达医疗科技有限公司 | 基于增强现实的穿刺手术导航装置及计算机可读存储介质 |
CN113274129A (zh) * | 2021-05-11 | 2021-08-20 | 温州医科大学附属第二医院(温州医科大学附属育英儿童医院) | 一种基于虚拟现实的心胸外科手术辅助控制系统 |
CN113317877A (zh) * | 2020-02-28 | 2021-08-31 | 上海微创卜算子医疗科技有限公司 | 增强现实手术机器人系统及增强现实设备 |
CN113648073A (zh) * | 2020-05-12 | 2021-11-16 | 西门子医疗有限公司 | 对增强现实和/或虚拟现实的调整 |
CN113729941A (zh) * | 2021-09-23 | 2021-12-03 | 上海卓昕医疗科技有限公司 | 基于vr的手术辅助定位系统及其控制方法 |
CN113990455A (zh) * | 2021-11-05 | 2022-01-28 | 杭州安幂医学科技有限公司 | 基于病灶影像投影的手术导航系统与方法 |
CN114550876A (zh) * | 2020-11-18 | 2022-05-27 | 台北医学大学 | 基于增强现实的手术决策支持系统及其方法 |
CN114557772A (zh) * | 2022-02-10 | 2022-05-31 | 大连理工大学 | 乳房手术外形重塑术中虚实融合导航系统与方法 |
CN114724682A (zh) * | 2022-06-08 | 2022-07-08 | 成都与睿创新科技有限公司 | 用于微创手术的辅助决策方法及装置 |
CN115040241A (zh) * | 2022-08-15 | 2022-09-13 | 湖南医科医工科技有限公司 | 一种病变区术前定位系统 |
CN115363751A (zh) * | 2022-08-12 | 2022-11-22 | 华平祥晟(上海)医疗科技有限公司 | 术中解剖结构指示方法 |
CN115756161A (zh) * | 2022-11-15 | 2023-03-07 | 华南理工大学 | 多模态交互结构力学分析方法、系统、计算机设备及介质 |
CN116974369A (zh) * | 2023-06-21 | 2023-10-31 | 广东工业大学 | 术中医学影像操作方法、系统、设备及存储介质 |
CN118015130A (zh) * | 2024-04-10 | 2024-05-10 | 天津金曦医疗设备有限公司 | 一种用于平板ct迭代重建的系统矩阵快速计算存储方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104739519A (zh) * | 2015-04-17 | 2015-07-01 | 中国科学院重庆绿色智能技术研究院 | 一种基于增强现实的力反馈手术机器人控制系统 |
WO2016066759A1 (en) * | 2014-10-31 | 2016-05-06 | Scopis Gmbh | Instrument guidance system for sinus surgery |
CN105748160A (zh) * | 2016-02-04 | 2016-07-13 | 厦门铭微科技有限公司 | 一种穿刺辅助方法、处理器及vr眼镜 |
-
2017
- 2017-06-01 CN CN201710406188.3A patent/CN107296650A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016066759A1 (en) * | 2014-10-31 | 2016-05-06 | Scopis Gmbh | Instrument guidance system for sinus surgery |
CN104739519A (zh) * | 2015-04-17 | 2015-07-01 | 中国科学院重庆绿色智能技术研究院 | 一种基于增强现实的力反馈手术机器人控制系统 |
CN105748160A (zh) * | 2016-02-04 | 2016-07-13 | 厦门铭微科技有限公司 | 一种穿刺辅助方法、处理器及vr眼镜 |
Non-Patent Citations (5)
Title |
---|
PCHOME: "Scopis推出基于HoloLens打造的脊柱外科手术全息导航平台-PChome", 《SCOPIS推出基于HOLOLENS打造的脊柱外科手术全息导航平台-PCHOME》 * |
健康界: "手术全息导航平台 让医生有了手术中的"定位神针"!_健康界", 《手术全息导航平台 让医生有了手术中的"定位神针"!_健康界》 * |
搜狐: "VR在医疗领域的应用:SpectoVive增强诊断准确率", 《VR在医疗领域的应用:SPECTOVIVE增强诊断准确率》 * |
百度: "Scopis推出首款MR全息导航平台,HoloLens造福脊柱外科手术", 《SCOPIS推出首款MR全息导航平台,HOLOLENS造福脊柱外科手术》 * |
魔多: "第一个MR手术导航系统,可以颠覆50个国家的手术室", 《第一个MR手术导航系统,可以颠覆50个国家的手术室》 * |
Cited By (56)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107978195A (zh) * | 2017-12-29 | 2018-05-01 | 福州大学 | 一种基于虚拟现实平台的侧脑室穿刺手术训练系统 |
CN108198247A (zh) * | 2018-01-12 | 2018-06-22 | 福州大学 | 一种基于ar增强现实技术的侧脑室穿刺手术教学工具 |
CN112106127A (zh) * | 2018-04-27 | 2020-12-18 | 克里赛利克斯有限公司 | 医疗平台 |
CN109036548A (zh) * | 2018-06-19 | 2018-12-18 | 黑龙江拓盟科技有限公司 | 基于混合现实三维可视化的辅助诊疗系统 |
CN109223121A (zh) * | 2018-07-31 | 2019-01-18 | 广州狄卡视觉科技有限公司 | 基于医学影像模型重建、定位的脑出血穿刺手术导航系统 |
CN109364387A (zh) * | 2018-12-05 | 2019-02-22 | 上海市肺科医院 | 一种放射治疗ar定位摆位系统 |
CN109864820A (zh) * | 2019-03-19 | 2019-06-11 | 安徽紫薇帝星数字科技有限公司 | 一种基于ct三维模型映射混合定位导航系统 |
CN110111875A (zh) * | 2019-03-19 | 2019-08-09 | 北京缙铖医疗科技有限公司 | 一种mr远程医疗系统 |
CN109907825B (zh) * | 2019-03-25 | 2021-06-25 | 天津大学 | 混合现实引导的近距离粒子手术植入系统 |
CN109907825A (zh) * | 2019-03-25 | 2019-06-21 | 天津大学 | 混合现实引导的近距离粒子手术植入系统 |
CN110169820A (zh) * | 2019-04-24 | 2019-08-27 | 艾瑞迈迪科技石家庄有限公司 | 一种关节置换手术位姿标定方法及装置 |
CN110051434A (zh) * | 2019-04-25 | 2019-07-26 | 厦门强本科技有限公司 | Ar与内窥镜结合手术导航方法及终端 |
CN110189407A (zh) * | 2019-05-31 | 2019-08-30 | 东北大学 | 一种基于hololens的人体三维重建模型系统 |
CN110288577A (zh) * | 2019-06-20 | 2019-09-27 | 翼健(上海)信息科技有限公司 | 一种3d实现多器官病灶整合的控制方法及控制装置 |
CN110292439A (zh) * | 2019-07-31 | 2019-10-01 | 东北大学 | 基于增强现实的心脏支架手术辅助诊疗系统及使用方法 |
WO2021017019A1 (zh) * | 2019-07-31 | 2021-02-04 | 东北大学 | 基于增强现实的心脏支架手术辅助诊疗系统及使用方法 |
CN110547869A (zh) * | 2019-09-17 | 2019-12-10 | 上海交通大学 | 一种基于虚拟现实的术前辅助规划装置 |
CN110547869B (zh) * | 2019-09-17 | 2022-08-19 | 上海交通大学 | 一种基于虚拟现实的术前辅助规划装置 |
CN110522516A (zh) * | 2019-09-23 | 2019-12-03 | 杭州师范大学 | 一种用于手术导航的多层次交互可视化方法 |
CN110993089A (zh) * | 2019-12-05 | 2020-04-10 | 中科尚易健康科技(北京)有限公司 | 一种利用三维扫描引导经络的方法 |
CN112985372A (zh) * | 2019-12-13 | 2021-06-18 | 南宁富桂精密工业有限公司 | 路径规划系统及其方法 |
CN113317877A (zh) * | 2020-02-28 | 2021-08-31 | 上海微创卜算子医疗科技有限公司 | 增强现实手术机器人系统及增强现实设备 |
CN113317877B (zh) * | 2020-02-28 | 2022-06-17 | 上海微创卜算子医疗科技有限公司 | 增强现实手术机器人系统及增强现实设备 |
CN111419398A (zh) * | 2020-04-22 | 2020-07-17 | 蚌埠医学院第一附属医院(蚌埠医学院附属肿瘤医院) | 一种基于虚拟现实的胸外科手术辅助控制系统 |
CN111419398B (zh) * | 2020-04-22 | 2022-02-11 | 蚌埠医学院第一附属医院(蚌埠医学院附属肿瘤医院) | 一种基于虚拟现实的胸外科手术辅助控制系统 |
CN113648073A (zh) * | 2020-05-12 | 2021-11-16 | 西门子医疗有限公司 | 对增强现实和/或虚拟现实的调整 |
US12026837B2 (en) | 2020-05-12 | 2024-07-02 | Siemens Healthineers Ag | Adapting an augmented and/or virtual reality |
CN111768491A (zh) * | 2020-06-03 | 2020-10-13 | 上海昕健医疗技术有限公司 | 基于虚拟现实技术的医学影像显示方法及系统 |
CN111616800A (zh) * | 2020-06-09 | 2020-09-04 | 电子科技大学 | 眼科手术导航系统 |
CN111616800B (zh) * | 2020-06-09 | 2023-06-09 | 电子科技大学 | 眼科手术导航系统 |
CN111880647B (zh) * | 2020-06-19 | 2022-02-01 | 华为技术有限公司 | 一种三维界面的控制方法和终端 |
CN111880647A (zh) * | 2020-06-19 | 2020-11-03 | 华为技术有限公司 | 一种三维界面的控制方法和终端 |
CN111834021A (zh) * | 2020-07-20 | 2020-10-27 | 北京百度网讯科技有限公司 | 数据交互方法、装置、设备以及存储介质 |
CN111887990A (zh) * | 2020-08-06 | 2020-11-06 | 杭州湖西云百生科技有限公司 | 基于5g技术的远程手术导航云桌面系统 |
CN111882941A (zh) * | 2020-08-11 | 2020-11-03 | 中南大学湘雅二医院 | 一种基于虚拟现实的心脏大血管解剖教学系统及方法 |
CN112451070A (zh) * | 2020-10-15 | 2021-03-09 | 中国医学科学院北京协和医院 | 一种基于HoloLens的游离腓骨瓣重建颌骨系统 |
CN114550876A (zh) * | 2020-11-18 | 2022-05-27 | 台北医学大学 | 基于增强现实的手术决策支持系统及其方法 |
CN112885436A (zh) * | 2021-02-25 | 2021-06-01 | 刘春煦 | 一种基于增强现实三维成像的牙科手术实时辅助系统 |
CN113081268A (zh) * | 2021-03-31 | 2021-07-09 | 上海电气集团股份有限公司 | 基于AR和IoT的手术引导系统 |
CN113133814A (zh) * | 2021-04-01 | 2021-07-20 | 上海复拓知达医疗科技有限公司 | 基于增强现实的穿刺手术导航装置及计算机可读存储介质 |
CN113274129A (zh) * | 2021-05-11 | 2021-08-20 | 温州医科大学附属第二医院(温州医科大学附属育英儿童医院) | 一种基于虚拟现实的心胸外科手术辅助控制系统 |
CN113729941B (zh) * | 2021-09-23 | 2024-01-30 | 上海卓昕医疗科技有限公司 | 基于vr的手术辅助定位系统及其控制方法 |
CN113729941A (zh) * | 2021-09-23 | 2021-12-03 | 上海卓昕医疗科技有限公司 | 基于vr的手术辅助定位系统及其控制方法 |
CN113990455A (zh) * | 2021-11-05 | 2022-01-28 | 杭州安幂医学科技有限公司 | 基于病灶影像投影的手术导航系统与方法 |
CN114557772A (zh) * | 2022-02-10 | 2022-05-31 | 大连理工大学 | 乳房手术外形重塑术中虚实融合导航系统与方法 |
CN114557772B (zh) * | 2022-02-10 | 2024-03-26 | 大连理工大学 | 乳房手术外形重塑术中虚实融合导航系统与方法 |
CN114724682A (zh) * | 2022-06-08 | 2022-07-08 | 成都与睿创新科技有限公司 | 用于微创手术的辅助决策方法及装置 |
CN114724682B (zh) * | 2022-06-08 | 2022-08-16 | 成都与睿创新科技有限公司 | 用于微创手术的辅助决策装置 |
CN115363751B (zh) * | 2022-08-12 | 2023-05-16 | 华平祥晟(上海)医疗科技有限公司 | 术中解剖结构指示方法 |
CN115363751A (zh) * | 2022-08-12 | 2022-11-22 | 华平祥晟(上海)医疗科技有限公司 | 术中解剖结构指示方法 |
CN115040241A (zh) * | 2022-08-15 | 2022-09-13 | 湖南医科医工科技有限公司 | 一种病变区术前定位系统 |
CN115756161B (zh) * | 2022-11-15 | 2023-09-26 | 华南理工大学 | 多模态交互结构力学分析方法、系统、计算机设备及介质 |
CN115756161A (zh) * | 2022-11-15 | 2023-03-07 | 华南理工大学 | 多模态交互结构力学分析方法、系统、计算机设备及介质 |
CN116974369A (zh) * | 2023-06-21 | 2023-10-31 | 广东工业大学 | 术中医学影像操作方法、系统、设备及存储介质 |
CN116974369B (zh) * | 2023-06-21 | 2024-05-17 | 广东工业大学 | 术中医学影像操作方法、系统、设备及存储介质 |
CN118015130A (zh) * | 2024-04-10 | 2024-05-10 | 天津金曦医疗设备有限公司 | 一种用于平板ct迭代重建的系统矩阵快速计算存储方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107296650A (zh) | 基于虚拟现实和增强现实的智能手术辅助系统 | |
KR102014359B1 (ko) | 수술영상 기반 카메라 위치 제공 방법 및 장치 | |
JP2022017422A (ja) | 拡張現実感手術ナビゲーション | |
EP2671114B1 (en) | Imaging system and method for imaging and displaying an operator's work-site | |
CN112618026B (zh) | 远程手术数据融合交互显示系统及方法 | |
CN106909771A (zh) | 用于输出增强现实信息的方法和系统 | |
CN104883975A (zh) | 将3d超声和2d x射线影像组合的实时场景建模 | |
CN106980383A (zh) | 一种虚拟模型展示方法、模块及基于该模块的虚拟人体解剖模型展示系统 | |
CN111770735B (zh) | 手术仿真信息生成方法及程序 | |
JP5934070B2 (ja) | 仮想内視鏡画像生成装置およびその作動方法並びにプログラム | |
CN110547869B (zh) | 一种基于虚拟现实的术前辅助规划装置 | |
US20230114385A1 (en) | Mri-based augmented reality assisted real-time surgery simulation and navigation | |
WO2023078290A1 (zh) | 用于手术机器人的标记共享方法、装置、系统、设备及介质 | |
CN114711962A (zh) | 一种增强现实手术规划导航系统及方法 | |
WO2020243425A1 (en) | Composite medical imaging systems and methods | |
KR102298417B1 (ko) | 수술 시뮬레이션 정보 생성방법 및 프로그램 | |
WO2024067753A1 (zh) | 一种配准方法、配准系统、导航信息确定方法和导航系统 | |
US10854005B2 (en) | Visualization of ultrasound images in physical space | |
KR101940706B1 (ko) | 수술 시뮬레이션 정보 생성방법 및 프로그램 | |
CN112002018A (zh) | 一种基于混合现实的术中位置导航系统、装置及方法 | |
JP6392192B2 (ja) | 画像位置合せ装置、画像位置合せ装置の作動方法およびプログラム | |
WO2020092262A1 (en) | Anatomical structure visualization systems and methods | |
TW201619754A (zh) | 醫用影像物件化介面輔助解說控制系統及其方法 | |
CN115715386A (zh) | 用于查看3d或4d医学图像数据的基于扩展现实的用户接口附加组件、系统和方法 | |
Teodoro Vite et al. | An augmented reality platform for preoperative surgical planning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20171027 |