CN115457008A - 腹腔实时穿刺虚拟仿真培训方法及装置 - Google Patents

腹腔实时穿刺虚拟仿真培训方法及装置 Download PDF

Info

Publication number
CN115457008A
CN115457008A CN202211168067.7A CN202211168067A CN115457008A CN 115457008 A CN115457008 A CN 115457008A CN 202211168067 A CN202211168067 A CN 202211168067A CN 115457008 A CN115457008 A CN 115457008A
Authority
CN
China
Prior art keywords
model
real
time
virtual
ultrasonic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211168067.7A
Other languages
English (en)
Inventor
杨峰
蒋嘉熙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ariemedi Medical Science Beijing Co ltd
Original Assignee
Ariemedi Medical Science Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ariemedi Medical Science Beijing Co ltd filed Critical Ariemedi Medical Science Beijing Co ltd
Priority to CN202211168067.7A priority Critical patent/CN115457008A/zh
Publication of CN115457008A publication Critical patent/CN115457008A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G09B23/285—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine for injections, endoscopy, bronchoscopy, sigmoidscopy, insertion of contraceptive devices or enemas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G09B23/286—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine for scanning or photography techniques, e.g. X-rays, ultrasonics
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Primary Health Care (AREA)
  • Computational Mathematics (AREA)
  • Educational Administration (AREA)
  • Chemical & Material Sciences (AREA)
  • Medicinal Chemistry (AREA)
  • Algebra (AREA)
  • Educational Technology (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Urology & Nephrology (AREA)
  • Surgery (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Pulmonology (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

腹腔实时穿刺虚拟仿真培训方法及装置，方法包括：(1)得到目标病人的CT图，生成对应的三维虚拟面片模型；(2)将其四面体化，根据生理学特征改变模型不同区域的软硬程度，获取不同区域的边界状态，将其与三角面片网格有机合并，使视觉变化与力觉变化同步；(3)遍历检测获取手术工具与器官组织的碰撞点位置信息，计算不同时刻的速度、力、阻尼，传输给力反馈装置；(4)将病人CT转为超声，将超声图片与模型进行同一位置重合堆叠，在虚拟超声探头上绑上切片，切片以不同角度切入堆叠的超声图中；(5)标记术前规划的布针点，术中操作人员根据实时的超声导航去拟合之前规划的标志点，根据操作点与标志点的差距及操作时间来综合进行评分。

Description

腹腔实时穿刺虚拟仿真培训方法及装置
技术领域
本发明涉及医学图像处理的技术领域，尤其涉及一种腹腔实时穿刺虚拟仿真培训方法，以及腹腔实时穿刺虚拟仿真培训装置。
背景技术
虚拟现实医疗培训技术已经逐渐成熟，并在多种手术术士中得到运用，其主要目的是为医生提供真实的、沉浸式的、无风险的手术训练环境，缩短医生的学习周期。随着生物医学的发展，众多医学工具得以运用，其中腹腔穿刺已经成为了一种常规的治疗方法，然而对这种较复杂器械的培训，往往需要大量的训练和长时间的熟悉过程去掌握它，而技能未磨练成熟的医学生在临床上的练习会有许多伦理问题，且训练的数量受制于病例的数量，因此虚拟现实技术扶持下的腹腔穿刺仿真技术逐渐走进人们的视野，在免于医学伦理的前提下，缩短医生的培训周期。
因此本发明专注带力反馈的腹腔实时穿刺仿真，现有的腹腔穿刺教学仿真已经开始普及，但是其中任然存在许多问题：1、真正的腹腔穿刺过程中，一般有超声设备作为引导，然而虚拟仿真中往往并未涉及到这一点。2、穿刺同一器官时，触感往往随着穿刺的深度改变而改变，然而现有的穿刺设备对这中力反馈的变化仿真的程度不够。
中国专利CN201610863627.9制作了一套由三个直流电机提供动能的力反馈式的穿刺仿真系统，并未能够提供穿刺同一器官的不同深度的力反馈效果；其次，例如中国专利CN201710977489.1制作一套模拟仿真穿刺类手术的装置，其并未在虚拟空间中提到虚拟的超声时时导航；另外例如专利CN202111206308.8制作了一种穿刺手术机器人可视化仿真示教系统，拥有与本发明一致的术前规划、术中执行、术后评估等关键模块，但是并未提及自定义力反馈的设置的功能。
发明内容
为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种腹腔实时穿刺虚拟仿真培训方法，其在虚拟仿真过程中高度还原真实手术环境，具有仿真的实时超声引导，根据真实手术流程规划，具有术前规划、术中导航执行、术后评估等内容，采用成熟的力反馈系统装置，并在成熟的系统中进行开发，具有极强的延展性以及可适应性，采用CT图一比一重建的虚拟模型，其中的结构清晰，细节完整，且可以快根据CT图重建新的结果。
本发明的技术方案是：这种腹腔实时穿刺虚拟仿真培训方法，其包括以下步骤：
(1)先得到目标病人的CT图，再根据半自动的阈值分割生成对应的三维虚拟面片模型；
(2)得到基于病人的面片模型后将其四面体化，根据生理学特征改变模型不同区域的软硬程度，获取不同区域的边界状态，再将其与三角面片网格有机合并，使其视觉变化与力觉变化同步；
(3)遍历检测获取手术工具与器官组织的碰撞点位置信息，计算不同时刻的速度、力、阻尼这些物理信息，传输给力反馈装置，以供用户实时感受到模型的力学性状；
(4)将病人的CT转为超声，并将超声图片与模型进行同一位置重合堆叠，再在虚拟超声探头上绑上切片，切片以不同角度切入堆叠的超声图中；
(5)先标记术前规划的布针点，术中操作人员根据实时的超声导航去拟合之前规划的标志点，然后根据实际操作点与规划标志点的差距及操作时间来综合进行评分。
本发明先得到目标病人的CT图，再根据半自动的阈值分割生成对应的三维虚拟面片模型；得到基于病人的面片模型后将其四面体化，根据生理学特征改变模型不同区域的软硬程度，获取不同区域的边界状态，再将其与三角面片网格有机合并，使其视觉变化与力觉变化同步；遍历检测获取手术工具与器官组织的碰撞点位置信息，计算不同时刻的速度、力、阻尼这些物理信息，传输给力反馈装置，以供用户实时感受到模型的力学性状；将病人的CT转为超声，并将超声图片与模型进行同一位置重合堆叠，再在虚拟超声探头上绑上切片，切片以不同角度切入堆叠的超声图中；先标记术前规划的布针点，术中操作人员根据实时的超声导航去拟合之前规划的标志点，然后根据实际操作点与规划标志点的差距及操作时间来综合进行评分；因此本发明在虚拟仿真过程中高度还原真实手术环境，具有仿真的实时超声引导，根据真实手术流程规划，具有术前规划、术中导航执行、术后评估等内容，采用成熟的力反馈系统装置，并在成熟的系统中进行开发，具有极强的延展性以及可适应性，采用CT图一比一重建的虚拟模型，其中的结构清晰，细节完整，且可以快根据CT图重建新的结果。
还提供了腹腔实时穿刺虚拟仿真培训装置，其包括：
三维建模模块，先得到目标病人的CT图，再根据半自动的阈值分割生成对应的三维虚拟面片模型；
软组织建模模块，得到基于病人的面片模型后将其四面体化，根据生理学特征改变模型不同区域的软硬程度，获取不同区域的边界状态，再将其与三角面片网格有机合并，使其视觉变化与力觉变化同步；
碰撞检测与力反馈模块，遍历检测获取手术工具与器官组织的碰撞点位置信息，计算不同时刻的速度、力、阻尼这些物理信息，传输给力反馈装置，以供用户实时感受到模型的力学性状；
超声导航模块，将病人的CT转为超声，并将超声图片与模型进行同一位置重合堆叠，再在虚拟超声探头上绑上切片，切片以不同角度切入堆叠的超声图中；
综合评估模块，先标记术前规划的布针点，术中操作人员根据实时的超声导航去拟合之前规划的标志点，然后根据实际操作点与规划标志点的差距及操作时间来综合进行评分。
附图说明
图1是根据本发明的腹腔实时穿刺虚拟仿真培训方法的流程图。
具体实施方式
如图1所示，这种腹腔实时穿刺虚拟仿真培训方法，其包括以下步骤：
(1)先得到目标病人的CT图，再根据半自动的阈值分割生成对应的三维虚拟面片模型；
(2)得到基于病人的面片模型后将其四面体化，根据生理学特征改变模型不同区域的软硬程度，获取不同区域的边界状态，再将其与三角面片网格有机合并，使其视觉变化与力觉变化同步；
(3)遍历检测获取手术工具与器官组织的碰撞点位置信息，计算不同时刻的速度、力、阻尼这些物理信息，传输给力反馈装置，以供用户实时感受到模型的力学性状；
(4)将病人的CT转为超声，并将超声图片与模型进行同一位置重合堆叠，再在虚拟超声探头上绑上切片，切片以不同角度切入堆叠的超声图中；
(5)先标记术前规划的布针点，术中操作人员根据实时的超声导航去拟合之前规划的标志点，然后根据实际操作点与规划标志点的差距及操作时间来综合进行评分。
本发明先得到目标病人的CT图，再根据半自动的阈值分割生成对应的三维虚拟面片模型；得到基于病人的面片模型后将其四面体化，根据生理学特征改变模型不同区域的软硬程度，获取不同区域的边界状态，再将其与三角面片网格有机合并，使其视觉变化与力觉变化同步；遍历检测获取手术工具与器官组织的碰撞点位置信息，计算不同时刻的速度、力、阻尼这些物理信息，传输给力反馈装置，以供用户实时感受到模型的力学性状；将病人的CT转为超声，并将超声图片与模型进行同一位置重合堆叠，再在虚拟超声探头上绑上切片，切片以不同角度切入堆叠的超声图中；先标记术前规划的布针点，术中操作人员根据实时的超声导航去拟合之前规划的标志点，然后根据实际操作点与规划标志点的差距及操作时间来综合进行评分；因此本发明在虚拟仿真过程中高度还原真实手术环境，具有仿真的实时超声引导，根据真实手术流程规划，具有术前规划、术中导航执行、术后评估等内容，采用成熟的力反馈系统装置，并在成熟的系统中进行开发，具有极强的延展性以及可适应性，采用CT图一比一重建的虚拟模型，其中的结构清晰，细节完整，且可以快根据CT图重建新的结果。
本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而所述的存储介质可以是：ROM/RAM、磁碟、光盘、存储卡等。因此，与本发明的方法相对应的，本发明还同时包括一种腹腔实时穿刺虚拟仿真培训装置，该装置通常以与方法各步骤相对应的功能模块的形式表示。该装置包括：
三维建模模块，先得到目标病人的CT图，再根据半自动的阈值分割生成对应的三维虚拟面片模型；
软组织建模模块，得到基于病人的面片模型后将其四面体化，根据生理学特征改变模型不同区域的软硬程度，获取不同区域的边界状态，再将其与三角面片网格有机合并，使其视觉变化与力觉变化同步；
碰撞检测与力反馈模块，遍历检测获取手术工具与器官组织的碰撞点位置信息，计算不同时刻的速度、力、阻尼这些物理信息，传输给力反馈装置，以供用户实时感受到模型的力学性状；
超声导航模块，将病人的CT转为超声，并将超声图片与模型进行同一位置重合堆叠，再在虚拟超声探头上绑上切片，切片以不同角度切入堆叠的超声图中；
综合评估模块，先标记术前规划的布针点，术中操作人员根据实时的超声导航去拟合之前规划的标志点，然后根据实际操作点与规划标志点的差距及操作时间来综合进行评分。
优选地，所述碰撞检测与力反馈模块具有外设工具，根据不同的需求进行激光3d打印定制、拆解、组装，使得该装置适用于多种不同的手术工具与术式。
优选地，所述超声导航模块使用深度学习的方法将CT图转变为超声图。
优选地，所述超声导航模块中，像素渲染到切片上，然后再显示切片的图像。
优选地，所述三维建模模块，用DICOM格式的CT数据或MRI进行建模，其中CT数据设置层厚1.00mm进行拍摄，对象为目标为腹腔，并储存为DICOM格式。
优选地，所述软组织建模模块中，基于MITK类库，根据不同组织的灰度范围不同进行阈值筛选与分割，得到初步模型之后，基于专业医生的意见针对关键部位进行网格细化，对不关键部位进行网格删减、并采用拉伸、旋转，使最终模型符合生理学结构特点，并最后保存为stl格式的三角面片文件。
优选地，所述软组织建模模块，对模型的不同区域设定特定的柔性系数，且将软体力反馈模型与视觉模型进行合并，使得力反馈与视觉同步；腹腔内部结构，将组织分为皮肤、肌肉、脂肪、骨骼四类，对不同类型的模型赋予不同的生物力学参数及模型在外施力状态下的约束，同一器官中的不同部位任意调整其生物力学参数。
优选地，所述碰撞检测与力反馈模块，判断虚拟手术器械与虚拟模型之间的碰撞位置以及碰撞物理参数，以便指导模型形变与力反馈的值的输入；虚拟手术器械模型是根据真实的手术器械模型1比1进行3d打印建模制作的母体，其中的碰撞检测模型是给予AABB算法进行判断是否碰撞的，在每一帧中，循环检测手术工具与物理模型的碰撞点，获取其碰撞点信息，所有器械的碰撞检测盒皆大于本身直径0.1毫米；获得某一时刻某些点的碰撞速度，方向，力大小，动量信息后，将数值输入力反馈模型，来完成对力反馈的物理模拟；力反馈设备模块使用3D-system的Touch笔设备，其通过USB接口与计算机连接，并安装开源的OpenHaptics驱动工具包。
优选地，所述术中导航模块，模拟真实手术过程中，通过实时超声系统获取不同部位的超声图像以起到术中引导定位的作用；在获取到CT数据之后，通过深度学习风格迁移获得初始的超声图片，进行精修，再将其堆叠进系统与虚拟的模型进行一比一的位置匹配，接着在虚拟超神探头的前端绑定一个平面，平面获取与他重合的对应位置的像素点信息，并进行复制，这样就使得当这个平面切到超声生成的堆叠体的时候，平面能获得不同角度的超声切片图，最后将此切片图上传到UI界面；术后评估模块，在获取术前规划的定位信息之后，储存定位，且在与手术模拟中的操作进行对比匹配，通过时间、位置偏差、角度偏差、误触累计来计算出最终的评分。
上述力反馈设备可以根据不同的需求对外观进行设计，改装其硬件外设，制作与真实外科手术工具一致的力反馈外设。
在本申请的一些实施例中，可以对模型及其场景进行颜色、纹理、光照进行渲染，并在模型进行形变或位移时进行实时的更新。
本申请实施例提供了一种带力反馈的腹腔实时穿刺虚拟仿真装置及方法，其旨在通过整理手术的实施操作关键步骤与重点，将人体生物模型的力学特性变成虚拟的仿真物理模型，然后使用力反馈设备进行虚拟手术作业。本申请实施例所述的虚拟手术仿真设备具有高度真实性与实时性的优点。且整个装置都是模块化的组合，不同的手术工具与手术模型都能根据医生需求进行快速定制，具有高度的灵活性与便捷性。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。

Claims (10)

1.腹腔实时穿刺虚拟仿真培训方法，其特征在于：其包括以下步骤：
(1)先得到目标病人的CT图，再根据半自动的阈值分割生成对应的三维虚拟面片模型；
(2)得到基于病人的面片模型后将其四面体化，根据生理学特征改变模型不同区域的软硬程度，获取不同区域的边界状态，再将其与三角面片网格有机合并，使其视觉变化与力觉变化同步；
(3)遍历检测获取手术工具与器官组织的碰撞点位置信息，计算不同时刻的速度、力、阻尼这些物理信息，传输给力反馈装置，以供用户实时感受到模型的力学性状；
(4)将病人的CT转为超声，并将超声图片与模型进行同一位置重合堆叠，再在虚拟超声探头上绑上切片，切片以不同角度切入堆叠的超声图中；
(5)先标记术前规划的布针点，术中操作人员根据实时的超声导航去拟合之前规划的标志点，然后根据实际操作点与规划标志点的差距及操作时间来综合进行评分。
2.腹腔实时穿刺虚拟仿真培训装置，其特征在于：其包括：
三维建模模块，先得到目标病人的CT图，再根据半自动的阈值分割生成对应的三维虚拟面片模型；
软组织建模模块，得到基于病人的面片模型后将其四面体化，根据生理学特征改变模型不同区域的软硬程度，获取不同区域的边界状态，再将其与三角面片网格有机合并，使其视觉变化与力觉变化同步；
碰撞检测与力反馈模块，遍历检测获取手术工具与器官组织的碰撞点位置信息，计算不同时刻的速度、力、阻尼这些物理信息，传输给力反馈装置，以供用户实时感受到模型的力学性状；
超声导航模块，将病人的CT转为超声，并将超声图片与模型进行同一位置重合堆叠，再在虚拟超声探头上绑上切片，切片以不同角度切入堆叠的超声图中；
综合评估模块，先标记术前规划的布针点，术中操作人员根据实时的超声导航去拟合之前规划的标志点，然后根据实际操作点与规划标志点的差距及操作时间来综合进行评分。
3.根据权利要求2所述的腹腔实时穿刺虚拟仿真培训装置，其特征在于：所述碰撞检测与力反馈模块具有外设工具，根据不同的需求进行激光3d打印定制、拆解、组装，使得该装置适用于多种不同的手术工具与术式。
4.根据权利要求3所述的腹腔实时穿刺虚拟仿真培训装置，其特征在于：所述超声导航模块使用深度学习的方法将CT图转变为超声图。
5.根据权利要求4所述的腹腔实时穿刺虚拟仿真培训装置，其特征在于：所述超声导航模块中，像素渲染到切片上，然后再显示切片的图像。
6.根据权利要求5所述的腹腔实时穿刺虚拟仿真培训装置，其特征在于：所述三维建模模块，用DICOM格式的CT数据或MRI进行建模，其中CT数据设置层厚1.00mm进行拍摄，对象为目标为腹腔，并储存为DICOM格式。
7.根据权利要求6所述的腹腔实时穿刺虚拟仿真培训装置，其特征在于：所述软组织建模模块中，基于MITK类库，根据不同组织的灰度范围不同进行阈值筛选与分割，得到初步模型之后，基于专业医生的意见针对关键部位进行网格细化，对不关键部位进行网格删减、并采用拉伸、旋转，使最终模型符合生理学结构特点，并最后保存为stl格式的三角面片文件。
8.根据权利要求7所述的腹腔实时穿刺虚拟仿真培训装置，其特征在于：所述软组织建模模块，对模型的不同区域设定特定的柔性系数，且将软体力反馈模型与视觉模型进行合并，使得力反馈与视觉同步；腹腔内部结构，将组织分为皮肤、肌肉、脂肪、骨骼四类，对不同类型的模型赋予不同的生物力学参数及模型在外施力状态下的约束，同一器官中的不同部位任意调整其生物力学参数。
9.根据权利要求8所述的腹腔实时穿刺虚拟仿真培训装置，其特征在于：所述碰撞检测与力反馈模块，判断虚拟手术器械与虚拟模型之间的碰撞位置以及碰撞物理参数，以便指导模型形变与力反馈的值的输入；虚拟手术器械模型是根据真实的手术器械模型1比1进行3d打印建模制作的母体，其中的碰撞检测模型是给予AABB算法进行判断是否碰撞的，在每一帧中，循环检测手术工具与物理模型的碰撞点，获取其碰撞点信息，所有器械的碰撞检测盒皆大于本身直径0.1毫米；获得某一时刻某些点的碰撞速度，方向，力大小，动量信息后，将数值输入力反馈模型，来完成对力反馈的物理模拟；力反馈设备模块使用3D-system的Touch笔设备，其通过USB接口与计算机连接，并安装开源的OpenHaptics驱动工具包。
10.根据权利要求9所述的腹腔实时穿刺虚拟仿真培训装置，其特征在于：所述术中导航模块，模拟真实手术过程中，通过实时超声系统获取不同部位的超声图像以起到术中引导定位的作用；在获取到CT数据之后，通过深度学习风格迁移获得初始的超声图片，进行精修，再将其堆叠进系统与虚拟的模型进行一比一的位置匹配，接着在虚拟超神探头的前端绑定一个平面，平面获取与他重合的对应位置的像素点信息，并进行复制，这样就使得当这个平面切到超声生成的堆叠体的时候，平面能获得不同角度的超声切片图，最后将此切片图上传到UI界面；术后评估模块，在获取术前规划的定位信息之后，储存定位，且在与手术模拟中的操作进行对比匹配，通过时间、位置偏差、角度偏差、误触累计来计算出最终的评分。
CN202211168067.7A 2022-09-23 2022-09-23 腹腔实时穿刺虚拟仿真培训方法及装置 Pending CN115457008A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211168067.7A CN115457008A (zh) 2022-09-23 2022-09-23 腹腔实时穿刺虚拟仿真培训方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211168067.7A CN115457008A (zh) 2022-09-23 2022-09-23 腹腔实时穿刺虚拟仿真培训方法及装置

Publications (1)

Publication Number Publication Date
CN115457008A true CN115457008A (zh) 2022-12-09

Family

ID=84306639

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211168067.7A Pending CN115457008A (zh) 2022-09-23 2022-09-23 腹腔实时穿刺虚拟仿真培训方法及装置

Country Status (1)

Country Link
CN (1) CN115457008A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116224829A (zh) * 2023-02-03 2023-06-06 广东工业大学 基于数字孪生的手术机器人穿刺取样手术半实物仿真方法
TWI837015B (zh) * 2023-06-06 2024-03-21 國立臺中科技大學 用於虛擬實境之即時超音波圖像的渲染方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116224829A (zh) * 2023-02-03 2023-06-06 广东工业大学 基于数字孪生的手术机器人穿刺取样手术半实物仿真方法
CN116224829B (zh) * 2023-02-03 2023-10-20 广东工业大学 基于数字孪生的手术机器人穿刺取样手术半实物仿真方法
TWI837015B (zh) * 2023-06-06 2024-03-21 國立臺中科技大學 用於虛擬實境之即時超音波圖像的渲染方法

Similar Documents

Publication Publication Date Title
Sutherland et al. An augmented reality haptic training simulator for spinal needle procedures
Tai et al. Development of a 3D-printed external ventricular drain placement simulator
Basdogan et al. VR-based simulators for training in minimally invasive surgery
Vidal et al. Simulation of ultrasound guided needle puncture using patient specific data with 3D textures and volume haptics
Tolsdorff et al. Virtual reality: a new paranasal sinus surgery simulator
Färber et al. Virtual reality simulator for the training of lumbar punctures
CN115457008A (zh) 腹腔实时穿刺虚拟仿真培训方法及装置
WO2012123943A1 (en) Training, skill assessment and monitoring users in ultrasound guided procedures
US20110117530A1 (en) Method and system of simulating physical object incisions, deformations and interactions therewith
CN103345568A (zh) 基于三维模型的手术规划的方法及其系统
Licci et al. Development and validation of a synthetic 3D-printed simulator for training in neuroendoscopic ventricular lesion removal
CN108492693A (zh) 一种基于计算机辅助医疗显示的腹腔镜手术模拟训练系统
Luboz et al. ImaGiNe Seldinger: first simulator for Seldinger technique and angiography training
CN113035038A (zh) 一种虚拟骨科手术练习系统及模拟训练方法
US20200357176A1 (en) Virtual reality surgical training systems
Mu et al. Augmented reality simulator for ultrasound-guided percutaneous renal access
Xu et al. Doctoral colloquium—a snapshot of the future: Virtual and augmented reality training for radiology
KR101401338B1 (ko) 가상 나이프를 이용한 수술 시뮬레이션 방법 및 그 장치
CN114267219B (zh) 虚拟手术仿真装置及仿真系统
Ullrich et al. Virtual needle simulation with haptics for regional anaesthesia
Faso Haptic and virtual reality surgical simulator for training in percutaneous renal access
Vidal et al. Developing a needle guidance virtual environment with patient-specific data and force feedback
CN115188232A (zh) 一种基于mr-3d打印技术的医学教学综合训练系统及方法
Färber et al. Simulation and training of lumbar punctures using haptic volume rendering and a 6DOF haptic device
Sutherland et al. Towards an augmented ultrasound guided spinal needle insertion system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination