CN106781941A - 一种用于模拟微创穿刺手术的方法及其系统 - Google Patents
一种用于模拟微创穿刺手术的方法及其系统 Download PDFInfo
- Publication number
- CN106781941A CN106781941A CN201611052043.XA CN201611052043A CN106781941A CN 106781941 A CN106781941 A CN 106781941A CN 201611052043 A CN201611052043 A CN 201611052043A CN 106781941 A CN106781941 A CN 106781941A
- Authority
- CN
- China
- Prior art keywords
- force
- virtual
- tissue
- puncture
- surgical instrument
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 210000001519 tissue Anatomy 0.000 claims abstract description 73
- 238000001356 surgical procedure Methods 0.000 claims abstract description 42
- 238000004088 simulation Methods 0.000 claims abstract description 24
- 230000008569 process Effects 0.000 claims abstract description 23
- 210000004872 soft tissue Anatomy 0.000 claims abstract description 21
- 230000003993 interaction Effects 0.000 claims abstract description 17
- 238000001514 detection method Methods 0.000 claims abstract description 10
- 239000002245 particle Substances 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 20
- 230000000007 visual effect Effects 0.000 claims description 18
- 238000006073 displacement reaction Methods 0.000 claims description 14
- 238000013334 tissue model Methods 0.000 claims description 14
- 238000013016 damping Methods 0.000 claims description 11
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000005483 Hooke's law Effects 0.000 claims description 3
- 238000007654 immersion Methods 0.000 abstract description 9
- 238000002474 experimental method Methods 0.000 abstract description 8
- 230000003190 augmentative effect Effects 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 abstract description 6
- 210000004204 blood vessel Anatomy 0.000 abstract description 5
- 230000001953 sensory effect Effects 0.000 abstract description 4
- 230000003902 lesion Effects 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000002591 computed tomography Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000002324 minimally invasive surgery Methods 0.000 description 3
- 238000013335 3D tissue model Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000005489 elastic deformation Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 230000008733 trauma Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
- G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Medicinal Chemistry (AREA)
- General Health & Medical Sciences (AREA)
- Algebra (AREA)
- Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Medical Informatics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Pure & Applied Mathematics (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Theoretical Computer Science (AREA)
- Instructional Devices (AREA)
Abstract
本发明提供了一种用于模拟微创穿刺手术的方法及其系统，通过扫描图像数据可准确获取待手术部位的数据信息，确保手术仿真操作环境的准确性，并将病变体与人体组织分别独立建模，采用增强现实技术将手术仿真场景与真实场景相结合，增强了用户的感官感受，便于在模拟手术过程中，操作者在寻找穿刺点时，准确观察人体组织的周围重要血管情况，便于训练操作者准确获知穿刺点，提高手术成功机率；同时，本申请在碰撞检测过程中，将虚拟手术器械与虚拟人体组织之间的交互分割成两个阶段，分别构建软组织形变阶段和刺破阶段的力反馈方程式，利用力反馈设备予以接受输出，从而操作者在模拟实验操作过程中，准确感知当前操作作用力，使得实验沉浸感增强。
Description
技术领域
本发明涉及一种手术仿真技术领域，更具体地，涉及一种用于模拟微创穿刺手术的方法及用于模拟微创穿刺手术的系统。
背景技术
目前，微创手术相对于传统手术仅对人体组织造成非常微小的创伤，这一技术可以显著降低术后的恢复时间和死亡率。因此，微创手术及其相关辅助诊疗手段的研究成为当今医疗技术研究的热点。为了提高微创手术的成功几率，通常需要提前对手术进行模拟，手术仿真应需而生。
手术仿真的核心功能是由反馈交互体现的，系统通过输入设备接收到用户的操作，根据算法和模型计算出系统对操作的响应，然后通过输出设备将响应结果反馈给用户。目前大多数的虚拟力反馈手术系统只研究了虚拟组织的切割、变形、抓取和缝合的交互，但是不能模拟微创穿刺手术的力交互过程，这就导致现有的手术仿真系统无法训练实验操作者在微创穿刺手术过程中寻找手术切入点，而在微创穿刺手术中手术切入点是关乎手术成败的关键，这就导致现有手术仿真系统无法满足模拟微创穿刺手术的需要。并且，这种传统的模拟手术系统，在穿刺实验过程中无法观察穿刺过程中病灶周围重要血管分布情况，这就导致操作者在实验过程中仍然采用传统的二维平面图像辅助训练，难以达到手术仿真的目的。
为了使得用户在进行手术仿真时有更好的沉浸感，通常会采用增强现实技术进行人机交互和反馈显示。而现有的增强现实手术仿真系统主要侧重对真实手术的模拟效果，因此，系统普遍具有设备体积庞大、成本高昂等特点，不利于增强现实手术仿真的推广。故，开发轻量级的增强现实手术仿真系统，拓展临床医生手术训练方式具有重要的现实意义。
发明内容
本发明提供一种可实现可视化观察虚拟人体组织内部结构并提供实验沉浸感强的微创穿刺手术的模拟训练方法及用于模拟微创穿刺手术的系统，以解决现有模拟手术系统实验沉浸感不强且不便于寻找手术切入点的缺陷。
根据本发明的一个方面，提供一种用于模拟微创穿刺手术的方法，其特征在于：其包括以下步骤，
步骤1，将人体组织与病变体的三维模型结合形成完整的病变人体三维组织模型；
步骤2，基于所述病变人体三维组织模型，构建具备生物力学特征的虚拟人体组织，并对所述虚拟人体组织进行表面半透明化处理；
步骤3，确认虚拟手术器械与虚拟人体组织发生碰撞，基于虚拟人体组织在接触及穿刺过程中对虚拟手术器械反馈的作用力，对虚拟人体组织产生力学变形并输出视觉反馈，辅助规划手术路径。
在上述方案的基础上优选，步骤1中的人体组织和病变体的三维模型是通过导入CT扫描数据，在三维软件中分别建模构建而成。
在上述方案的基础上优选，步骤1中，将三维软件中构建成的三维模型进行网格化处理。
在上述方案的基础上优选，步骤2进一步包括：构建弹簧质点模型；并，基于弹簧质点模型建立力学约束方程，计算外部作用力作用在虚拟人体组织上产生的位移量。
在上述方案的基础上优选，步骤2进一步包括：基于弹簧质点模型所构建的模型中，每一个质点受到一个外部作用力Fext，根据形变的运动学方程，获得Fext的第一种表达方式为：
其中，m表示质点的质量，x表示质点的位移，t表示时间，D表示阻尼器的阻尼系数，K表示弹簧的弹性系数，Fext表示该质点受到的外部作用力；
根据胡克定律和牛顿第二定律，Fext的第二种表达方式为：
Fext＝Fs+Fd+Fp (2)；
其中，Fs为质点所受到的弹簧弹力，Fd为质点受到的阻尼力，Fp为模拟的内部回复力；
结合公式(1)和公式(2)，计算出当前质点的位移量x，并将x至反馈在虚拟人体软组织上。
在上述方案的基础上优选，步骤3进一步包括：构建内部气体分子力模型，利用克拉伯龙方程式计算出质点所受压力，再通过压强计算公式，获得当前质点的内部回复力。
在上述方案的基础上优选，步骤3中，虚拟人体组织在接触过程中对虚拟手术器械反馈的作用力F，该作用力F表示形式为：
其中，F为触觉反馈力，K为弹簧的刚度系数，D为阻尼器的阻尼系数，x为虚拟手术器械当前位置与表面接触点之间的距离，即碰撞深度。
在上述方案的基础上优选，步骤3中，虚拟人体组织在穿刺过程中对虚拟手术器械反馈的作用力F为虚拟手术器械与虚拟组织之间的摩擦力。
根据本发明的另一方面，本发明还提供了一种用于模拟微创穿刺手术的系统，其特征在于：其包括，
病变人体组织构建模块，用于构建人体三维组织及病变体，并将两者结合构成完整的病变人体三维组织模型；
生物力学处理模块，用于对所述病变人体三维组织模型构建具备生物力学特征的虚拟人体组织；
力学交互反馈模块，用于模拟虚拟手术器械在接触及穿刺过程中对虚拟手术器械的反馈作用力，并使虚拟人体组织产生力学变形，产生视觉输出显示穿刺路径，辅助检查和优化穿刺轨迹。
在上述方案的基础上优选，所述的生物力学处理模块，还包括一用于将所述的虚拟人体组织的表面进行半透明化处理的可视化处理模块。
在上述方案的基础上优选，所述的力学交互反馈模块包括：用于计算虚拟手术器械在接触；及，穿刺过程中对虚拟手术器械的反馈作用力的碰撞检测模块、及与该碰撞检测模块连接的力触觉仿真模块和柔性变形模块。
在上述方案的基础上优选，其还包括一用于控制虚拟手术器械输入作用力并接受力学反馈模块输出反馈作用力的力反馈设备。
在上述方案的基础上优选，所述的柔性变形模块的输出端还装有一视觉输出模块，并将该视觉输出模块与一视频透射式头盔显示器相连。
在上述方案的基础上优选，所述的视频透射式头盔显示器包括一用于采集现实场景环境的摄像头、和与该摄像头输出端相连接的图像处理器，所述的视觉输出模块的输出端与所述的图像处理器相连接。
本申请提出一种用于模拟微创穿刺手术的方法，通过CT扫描图像数据可准确获取待手术部位的数据信息，确保手术仿真操作环境的准确性，并将病变体与人体组织分别独立建模，以将虚拟人体组织表面半透明化，便于在模拟手术过程中，操作者在寻找穿刺点时，准确观察人体组织的周围重要血管情况，有利于训练操作者准确获知穿刺点，提高手术成功机率；同时，本申请在碰撞检测过程中，将虚拟手术器械与虚拟人体组织之间的交互过程分割成两个阶段，分别构建软组织形变阶段和穿刺阶段的力反馈方程式，利用力反馈设备予以接受输出，从而使操作者在模拟实验操作过程中，准确感知当前操作作用力大小，使得实验沉浸感增强。
与此同时，本发明将仿真手术所产生的图像数据发送至视频透射式头盔显示器的图像处理器，并配合摄像头采集现实场景数据，利用图像处理器将仿真手术的图像数据与现实场景数据相结合，并采用增强现实注册跟踪技术保证融合效果，将虚拟场景与真实场景相结合，增强了用户的感官感受，使用户获得更高的使用体验，从而增强了手术仿真效果。
附图说明
图1为本发明一种用于模拟微创穿刺手术的方法流程图；
图2为本发明构建虚拟人体组织的结构框图；
图3为本发明网格化后部分人体组织的弹簧质点模型放大图；
图4为本发明软组织形变阶段反馈力计算模型图；
图5为本发明用于模拟微创穿刺手术的系统结构框图；
图6为本发明使用图5所示系统的流程图；
图7为本发明用于模拟微创穿刺手术的系统的实景流程图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
为了详细说明本发明的技术方案，请参阅图1所示，本发明的一种用于模拟微创穿刺手术的方法，其具体包括以下步骤：
步骤1，将人体组织与病变体的三维模型结合形成完整的病变人体三维组织模型；步骤2，基于上述病变人体三维组织模型，构建具备生物力学特征的虚拟人体组织，并对虚拟人体组织进行表面半透明化处理；
步骤3，确认虚拟手术器械与虚拟人体组织发生碰撞，基于虚拟人体组织在接触及穿刺过程中对虚拟手术器械反馈的作用力，对虚拟人体组织产生力学变形并输出视觉反馈，以模拟手术中穿刺点选取与虚拟手术器械位姿选取，实时显示穿刺路径，辅助用户检查和优化穿刺轨迹，达到规避手术中可带来风险的组织结构。
本发明通过在构建病变人体三维组织模型时，将病变体与人体组织分别独立建模后进行结合，从而可使其在半透明化处理时，能够独立对虚拟人体组织进行半透明化处理，从而方便操作者在模拟手术时，可直观看到病变体周围的虚拟人体组织结构，以准确找到穿刺点，提高手术成功机率，并配合将虚拟手术器械与虚拟人体组织发生交互过程分割成两个阶段，即软组织形变阶段和穿刺阶段。
其中，软组织形变阶段为虚拟手术器械接触虚拟人体组织表面至虚拟手术器械刺破虚拟人体组织之前，穿刺阶段为虚拟手术器械刺破虚拟人体软组织表面进入虚拟人体软组织内做匀速运动阶段。然后，分别对软组织形变阶段和穿刺阶段构建独立的力反馈方程，从而使得操作者在模拟手术过程中，准确获知接触与穿刺过程不同的力学感触，以增加模拟沉浸感。
进一步的，为了准确构建人体组织和病变体的三维模型，本发明步骤1中的人体组织和病变体的三维模型是通过导入CT扫描数据，在三维软件中构建而成。且该三维软件优选使用MITK软件。
在本发明的步骤1中，还可将三维软件中构建成的三维模型进行网格化处理，以方便进行步骤2中，对病变人体三维组织模型构建生物力学特征。在网格化处理过程中，优选采用二次边折叠简化算法(Quadric edge collapse decimation)和三步拉普拉斯平滑滤波算法进行处理，见图2所示。
步骤2中的构建具备生物力学特征的虚拟人体组织，包括构建弹簧质点模型，并基于弹簧质点模型建立力学约束方程，计算外部作用力作用在虚拟人体组织上产生的位移量。
为了进一步详细说明构建弹簧质点模型的过程，请参阅图3所示，根据物体的弹簧质点模型，柔性物体由质点和弹簧阻尼器构成，如图3所示，物体表面任意一个质点在受外力作用时，都会使质点和质点之间产生相互作用力。本发明采用面模型来模拟柔性物体的形变，并且选用三角形的拓扑结构，图中中心的质点表示外力作用点，该点的运动会牵引其领域内的质点一起运动，从而在物体表面产生形变，形变的运动学方程如下：
其中，M、B和K分别表示质量矩阵、阻尼系数矩阵和弹簧弹性系数矩阵，X表示质点的位移向量，Fext表示质点所受外力的合力。根据公式(1)，虚拟环境中的任意一个质点应当满足如下方程：
其中，m表示质点的质量，x表示质点的位移，t表示时间，D表示阻尼器的阻尼系数，K表示弹簧的弹性系数，Fext表示该质点受到的外部作用力；
根据胡克定律和牛顿第二定律，Fext的第二种表达方式为：
Fext＝Fs+Fd+Fp (3)；
其中，Fs为质点所受到的弹簧弹力，Fd为质点受到的阻尼力，Fp为模拟的内部回复力；
FS＝kx (4)；
其中，k表示弹簧的弹性系数，x表示质点的位移；
Fd＝CV (5)；
其中，C表示阻尼系数，V表示质点的位移；
结合公式(2)和公式(3)，计算出当前质点的位移量x，并将x至反馈在虚拟人体软组织上。
由于传统基于表面网格拓扑结构的模型，在模拟软组织形变过程中稳定性较差。本发明在传统基于表面网格拓扑结构所构造的弹簧质点模型(MSM)上，将柔性组织形变后的回复力Fp用内部气体分子力模型来表达，模拟出软组织材料在外力作用消失后的形变恢复情况。，构建内部气体分子力模型，利用克拉伯龙方程式计算出质点所受压力，再通过压强计算公式，获得当前质点的内部回复力。Matyka and Ollila定义表面网格每个点所受到的内部压力通过向该点施加的向量表达，该向量方向上与该点在模型表面法向量相同，计算方法由公式[6]给出
其中，为内部压力施加在表面顶点的法向量，其中P为压力大小，n为表面的法向量，A为表面的面积。P由理想气体压力公式得出，由克拉伯龙—克劳修斯方程，我们有：
PV＝nRT (7)；
其中，V为模型的体积，n为气体物质的量，R为理想气体常量，T为热力学温度。
根据公式(7)计算出，模型内部压力P可以表示为：
P＝V-1nRT (8)；
为了进一步详细说明本发明的在软组织形变阶段虚拟手术器械收到的反馈力，请继续参阅图3所示。基于弹簧质点模型建立的虚拟人体软组织模型计算该阶段的反馈作用力，由于在该阶段中虚拟手术器械与虚拟人体软组织之间并没有发生相对位移，因此，此阶段过程中，不存在摩擦力，故该阶段过程中虚拟人体软组织反馈给虚拟手术器械的触觉反馈力可以表示为：
其中，F为触觉反馈力，K为弹簧的刚度系数，D为阻尼器的阻尼系数，x为虚拟手术器械当前位置与表面接触点之间的距离，即碰撞深度。
为了进一步详细说明本发明的碰撞深度，请继续参阅图4所示，图中A1表示前一时刻虚拟手术器械位置，A2表示为当前虚拟手术器械位置，B2为虚拟设备代理点位置，B1虚拟人体软组织表面，为其中，虚拟设备代理点B2位于虚拟人体软组织表面B1与当前虚拟手术器械A2之间最短路径处，由此，定义碰撞深度
X＝A2-B2 (10)；
并设定一个最大碰撞深度Xmax，当时，即作用力达到了刺破虚拟人体软组织的作用力，此时，虚拟手术器械进入虚拟人体组织内，即进入了刺破阶段。在该阶段中，触觉反馈力是由切割力和摩擦力所构成的合力，本实验中，假定虚拟手术器械以匀速运动的方式在虚拟人体软组织内运动，从而使切割力消失，故，该阶段输出的触觉反馈力为虚拟手术器械与虚拟组织之间的摩擦力，本发明中的摩擦力可通过定义不同材质的虚拟软体组织，改变该摩擦力。
本发明还提供了一种用于模拟微创穿刺手术的系统，其结构如图5所示，该用于模拟微创穿刺手术的系统包括，
病变人体组织构建模块，用于构建人体三维组织及病变体，并将两者结合构成完整的病变人体三维组织模型；
生物力学处理模块，用于对所述病变人体三维组织模型构建具备生物力学特征的虚拟人体组织；
力学交互反馈模块，用于模拟虚拟手术器械在接触及穿刺过程中对虚拟手术器械的反馈作用力，并使虚拟人体组织产生力学变形，产生视觉输出，以模拟微创穿刺手术中穿刺点选取与虚拟手术器械位姿选取，实时显示穿刺路径，辅助用户检查和优化穿刺轨迹，避开手术中可能带来风险的组织结构。
本发明的生物力学处理模块，还包括一用于将虚拟人体组织的表面进行半透明化处理的可视化处理模块。且该力学交互反馈模块包括用于计算虚拟手术器械在接触及穿刺过程中对虚拟手术器械的反馈作用力的碰撞检测模块、及与该碰撞检测模块连接的力触觉仿真模块和柔性变形模块。
作为本发明的优选实施方案，以进一步增强用户手术的沉浸感和仿真手术的感官感受。请参阅图5和图7所示，本发明的柔性变形模块的输出端还装有一视觉输出模块，并将该视觉输出模块与一视频透射式头盔显示器相连。且本发明的视频透射式头盔显示器包括一用于采集现实场景环境的摄像头、和与该摄像头输出端相连接的图像处理模块，所述的视觉输出模块的输出端与所述的图像处理模块相连接。
使用时，通过视觉输出模块获取仿真手术的虚拟人体组织弹性变形及虚拟手术器械的相对位置数据，并将获取到的数据发送至视频透射式头盔显示器的图像处理模块，同时，利用视频透射式头盔显示器的摄像头采集现实场景环境数据，并将该数据发送至图像处理模块，通过图像处理模块将仿真手术的图像数据与现实场景数据相结合，并采用增强现实注册跟踪技术保证融合效果，以实现虚拟环境与真实环境的融合与反馈，从而增强了用户的感官感受，使用户获得更高的使用体验，增强了手术仿真效果。
本发明的一种用于模拟微创穿刺手术的系统还包括一用于控制虚拟手术器械输入作用力并接受力学反馈模块输出反馈作用力的力反馈设备。且该力反馈设备优选为Geomagic touch设备，该设备能够感知用户手持末端笔状机械臂的位置与方向信息，具备一个类似三维鼠标的功能，同时系统能够通过所连接的计算机设备计算反馈力，并向使用者的手施加作用力，从而实现使用者与计算机系统的力反馈交互。
本申请提出一种用于模拟微创穿刺手术的方法，通过CT扫描图像数据可准确获取待手术部位的数据信息，确保手术仿真操作环境的准确性，并将病变体与人体组织分别独立建模，以将虚拟人体组织表面半透明化，便于在模拟手术过程中，操作者在寻找穿刺点时，准确观察人体组织的周围重要血管情况，有利于训练操作者准确获知穿刺点，提高手术成功机率。同时，本申请在碰撞检测过程中，将虚拟手术器械与虚拟人体组织之间的交互分割成两个阶段，分别构建软组织形变阶段和穿刺阶段的力反馈方程式，利用力反馈设备予以接受输出，从而使操作者在模拟实验操作过程中，准确感知当前操作作用力大小，使得实验沉浸感增强。
使用本发明的一种用于模拟微创穿刺手术的系统时，首先，设置触觉空间、可接触面、交互模式及触觉几何模型，并定义模拟手术环境和机械力。而后，实验人员可通过操控力反馈设备，移动虚拟手术器械在定义的虚拟人体组织模型上的可接触面上移动，透过半透明状的虚拟人体组织表面观察病变体组织旁边的血管，选择合适的切入点，继续操控力反馈设备移动虚拟手术器械向虚拟人体组织内运动。检测并判断虚拟手术器械是否与设定的可接触面发生碰撞，如果未发生碰撞，则继续控制力反馈设备移动虚拟手术器械向设定的可接触面移动；如果检测发生碰撞，则根据公式(2)和公式(3)，计算出当前质点的位移量x，并将位移量反馈在虚拟人体组织上发生弹性变形并予以视觉输出，从而增强实验者实验沉浸感。与此同时，依据触碰阶段和穿刺阶段两种不同的触觉反馈力定义分别计算出其大小，并将该作用力通过力反馈设备予以输出，给实验操作者真实实验操作感，具体操作流程见图6。
最后，本申请的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种用于模拟微创穿刺手术的方法，其特征在于：其包括以下步骤，
步骤1，将人体组织与病变体的三维模型结合形成完整的病变人体三维组织模型；
步骤2，基于所述病变人体三维组织模型，构建具备生物力学特征的虚拟人体组织，并对所述虚拟人体组织进行表面半透明化处理；
步骤3，确认虚拟手术器械与虚拟人体组织发生碰撞，基于虚拟人体组织在软组织形变及穿刺过程中对虚拟手术器械反馈的作用力，对虚拟人体组织产生力学变形并输出视觉反馈，辅助规划手术路径。
2.如权利要求1所述的一种用于模拟微创穿刺手术的方法，其特征在于:步骤1中，人体组织和病变体的三维模型是通过导入扫描数据，在三维软件中分别建模构建而成，并将三维软件中构建成的三维模型进行网格化处理。
3.如权利要求1所述的一种用于模拟微创穿刺手术的方法，其特征在于:步骤2进一步包括：
构建弹簧质点模型；
基于弹簧质点模型所构建的模型中，每一个质点受到一个外部作用力Fext，根据形变的运动学方程，获得Fext的第一种表达方式为：
其中，m表示质点的质量，x表示质点的位移，t表示时间，D表示阻尼器的阻尼系数，K表示弹簧的弹性系数，Fext表示该质点受到的外部作用力；
根据胡克定律和牛顿第二定律，Fext的第二种表达方式为：
Fext＝Fs+Fd+Fp (2)；
其中，Fs为质点所受到的弹簧弹力，Fd为质点受到的阻尼力，Fp为模拟的内部回复力；
结合公式(1)和公式(2)，计算出当前质点的位移量x，并将x至反馈在虚拟人体软组织上。
4.如权利要求3所述的一种用于模拟微创穿刺手术的方法，其特征在于:步骤3进一步包括:
构建内部气体分子力模型，利用克拉伯龙方程式计算出质点所受压力；
通过压强计算公式，获得当前质点的内部回复力。
5.如权利要求1所述的一种用于模拟微创穿刺手术的方法，其特征在于：步骤3中，虚拟人体组织在接触过程中对虚拟手术器械反馈的作用力F，该作用力F表示形式为：
其中，F为触觉反馈力，K为弹簧的刚度系数，D为阻尼器的阻尼系数，x为虚拟手术器械当前位置与表面接触点之间的距离，即碰撞深度；
步骤3中，虚拟人体组织在穿刺过程中对虚拟手术器械反馈的作用力F为虚拟手术器械与虚拟组织之间的摩擦力。
6.一种用于模拟微创穿刺手术的系统，其特征在于：其包括，
病变人体组织构建模块，用于构建人体三维组织及病变体，并将两者结合构成完整的病变人体三维组织模型；
生物力学处理模块，用于对所述病变人体三维组织模型构建具备生物力学特征的虚拟人体组织；
力学交互反馈模块，用于模拟虚拟手术器械在接触及穿刺过程中对虚拟手术器械的反馈作用力，并使虚拟人体组织产生力学变形，产生视觉输出，显示穿刺路径，辅助检查和优化穿刺轨迹。
7.如权利要求6所述的一种用于模拟微创穿刺手术的系统，其特征在于：所述的生物力学处理模块还包括一用于将所述的虚拟人体组织的表面进行半透明化处理的可视化处理模块。
8.如权利要求7所述的一种用于模拟微创穿刺手术的系统，其特征在于：所述的力学交互反馈模块包括:
用于计算虚拟手术器械在接触及穿刺过程中对虚拟手术器械的反馈作用力的碰撞检测模块；及，
与该碰撞检测模块连接的力触觉仿真模块和柔性变形模块；
且所述的一种用于模拟微创穿刺手术的系统还包括：
一用于控制虚拟手术器械输入作用力并接受力学反馈模块输出反馈作用力的力反馈设备。
9.如权利要求8所述的一种用于模拟微创穿刺手术的系统，其特征在于：所述的柔性变形模块的输出端还装有一视觉输出模块，并将该视觉输出模块与一视频透射式头盔显示器相连。
10.如权利要求9所述的一种用于模拟微创穿刺手术的系统，其特征在于：所述的视频透射式头盔显示器包括一用于采集现实场景环境的摄像头、和与该摄像头输出端相连接的图像处理模块，所述的视觉输出模块的输出端与所述的图像处理模块相连接。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611052043.XA CN106781941A (zh) | 2016-11-24 | 2016-11-24 | 一种用于模拟微创穿刺手术的方法及其系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611052043.XA CN106781941A (zh) | 2016-11-24 | 2016-11-24 | 一种用于模拟微创穿刺手术的方法及其系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106781941A true CN106781941A (zh) | 2017-05-31 |
Family
ID=58912960
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611052043.XA Pending CN106781941A (zh) | 2016-11-24 | 2016-11-24 | 一种用于模拟微创穿刺手术的方法及其系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106781941A (zh) |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107330972A (zh) * | 2017-06-28 | 2017-11-07 | 华中科技大学鄂州工业技术研究院 | 模拟生物力学特性的实时软组织形变方法和系统 |
| CN107342009A (zh) * | 2017-07-10 | 2017-11-10 | 四川大学 | 牙科备牙手术模拟方法及装置 |
| CN108803872A (zh) * | 2018-05-08 | 2018-11-13 | 上海嘉奥信息科技发展有限公司 | 在虚幻引擎中调用力反馈硬件的插件系统 |
| CN109192030A (zh) * | 2018-09-26 | 2019-01-11 | 郑州大学第附属医院 | 基于虚拟现实的真实腔镜微创手术仿真训练系统及方法 |
| CN109273091A (zh) * | 2017-07-17 | 2019-01-25 | 云南师范大学 | 一种基于术中数据的经皮肾镜取石虚拟手术系统 |
| CN110338852A (zh) * | 2018-04-04 | 2019-10-18 | 云南师范大学 | 一种基于增强现实的触觉可视化穿刺手术导航系统 |
| CN111026269A (zh) * | 2019-12-04 | 2020-04-17 | 上海褚信医学科技有限公司 | 基于力反馈的生物组织结构的触觉反馈方法、装置和设备 |
| CN111803090A (zh) * | 2020-07-10 | 2020-10-23 | 重庆邮电大学 | 一种指尖末梢智能刺血的方法 |
| CN112099625A (zh) * | 2020-08-25 | 2020-12-18 | 华南理工大学 | 基于微电流刺激的虚拟力反馈评估和调整系统与方法 |
| CN112164264A (zh) * | 2020-07-21 | 2021-01-01 | 北京人卫智数科技有限公司 | 一种用于骨髓穿刺手术的虚拟现实训练系统 |
| CN112587233A (zh) * | 2020-12-10 | 2021-04-02 | 华中科技大学 | 一种模拟气管内插管术的方法及系统 |
| CN112828895A (zh) * | 2021-02-04 | 2021-05-25 | 武汉联影智融医疗科技有限公司 | 机器人仿真系统 |
| CN112989449A (zh) * | 2021-03-26 | 2021-06-18 | 温州大学 | 一种运动刚度优化的触觉力反馈仿真交互方法及装置 |
| CN113034668A (zh) * | 2021-03-01 | 2021-06-25 | 中科数据(青岛)科技信息有限公司 | 一种ar辅助的机械模拟操作方法和系统 |
| CN113160383A (zh) * | 2021-03-29 | 2021-07-23 | 中国科学院深圳先进技术研究院 | 一种内部组织模型的构建方法及终端设备 |
| CN113413214A (zh) * | 2021-05-24 | 2021-09-21 | 上海交通大学 | 一种基于混合现实的引导的手术机器人力反馈方法和装置 |
| CN113440253A (zh) * | 2021-05-28 | 2021-09-28 | 浙江工业大学 | 一种基于有限元的前列腺穿刺针旋转进针方法 |
| CN114267219A (zh) * | 2021-12-15 | 2022-04-01 | 上海交通大学医学院附属第九人民医院 | 虚拟手术仿真装置及仿真系统 |
| CN114387839A (zh) * | 2022-01-19 | 2022-04-22 | 上海石指健康科技有限公司 | 一种基于力反馈的生物组织仿真方法、装置和电子设备 |
| CN114973820A (zh) * | 2022-04-13 | 2022-08-30 | 北京众绘虚拟现实技术研究院有限公司 | 关节镜模拟训练系统 |
| CN114999296A (zh) * | 2022-08-05 | 2022-09-02 | 上海华模科技有限公司 | 力反馈设备、提供反馈力的方法及存储介质 |
| CN117017488A (zh) * | 2023-10-10 | 2023-11-10 | 华中科技大学同济医学院附属协和医院 | 一种包含非自主运动补偿的穿刺臂路径规划方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102207997A (zh) * | 2011-06-07 | 2011-10-05 | 哈尔滨工业大学 | 基于力反馈的机器人微创手术仿真系统 |
| CN102262699A (zh) * | 2011-07-27 | 2011-11-30 | 华北水利水电学院 | 基于无网格伽辽金与质点弹簧耦合的软组织形变仿真方法 |
| CN102314710A (zh) * | 2011-09-26 | 2012-01-11 | 武汉大学 | 基于力异步扩散模型的医学组织动力学仿真方法 |
| CN103400023A (zh) * | 2013-06-28 | 2013-11-20 | 华北水利水电大学 | 软组织形变仿真方法 |
-
2016
- 2016-11-24 CN CN201611052043.XA patent/CN106781941A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102207997A (zh) * | 2011-06-07 | 2011-10-05 | 哈尔滨工业大学 | 基于力反馈的机器人微创手术仿真系统 |
| CN102262699A (zh) * | 2011-07-27 | 2011-11-30 | 华北水利水电学院 | 基于无网格伽辽金与质点弹簧耦合的软组织形变仿真方法 |
| CN102314710A (zh) * | 2011-09-26 | 2012-01-11 | 武汉大学 | 基于力异步扩散模型的医学组织动力学仿真方法 |
| CN103400023A (zh) * | 2013-06-28 | 2013-11-20 | 华北水利水电大学 | 软组织形变仿真方法 |
Non-Patent Citations (3)
| Title |
|---|
| 朱玲: "虚拟手术中软组织形变与切割技术研究", 《中国博士学位论文全文数据库 医药卫生科技辑》 * |
| 王学占: "面向腹腔微创手术的增强现实技术研究", 《中国优秀硕士论文全文数据库信息科技辑》 * |
| 赵成龙: "虚拟手术中软组织建模与力反馈算法研究", 《中国优秀硕士论文全文数据库信息科技辑》 * |
Cited By (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107330972A (zh) * | 2017-06-28 | 2017-11-07 | 华中科技大学鄂州工业技术研究院 | 模拟生物力学特性的实时软组织形变方法和系统 |
| CN107342009A (zh) * | 2017-07-10 | 2017-11-10 | 四川大学 | 牙科备牙手术模拟方法及装置 |
| CN109273091A (zh) * | 2017-07-17 | 2019-01-25 | 云南师范大学 | 一种基于术中数据的经皮肾镜取石虚拟手术系统 |
| CN110338852A (zh) * | 2018-04-04 | 2019-10-18 | 云南师范大学 | 一种基于增强现实的触觉可视化穿刺手术导航系统 |
| CN108803872B (zh) * | 2018-05-08 | 2021-07-27 | 上海嘉奥信息科技发展有限公司 | 在虚幻引擎中调用力反馈硬件的插件系统 |
| CN108803872A (zh) * | 2018-05-08 | 2018-11-13 | 上海嘉奥信息科技发展有限公司 | 在虚幻引擎中调用力反馈硬件的插件系统 |
| CN109192030A (zh) * | 2018-09-26 | 2019-01-11 | 郑州大学第附属医院 | 基于虚拟现实的真实腔镜微创手术仿真训练系统及方法 |
| CN111026269A (zh) * | 2019-12-04 | 2020-04-17 | 上海褚信医学科技有限公司 | 基于力反馈的生物组织结构的触觉反馈方法、装置和设备 |
| CN111026269B (zh) * | 2019-12-04 | 2023-10-10 | 上海褚信医学科技有限公司 | 基于力反馈的生物组织结构的触觉反馈方法、装置和设备 |
| CN111803090A (zh) * | 2020-07-10 | 2020-10-23 | 重庆邮电大学 | 一种指尖末梢智能刺血的方法 |
| CN112164264A (zh) * | 2020-07-21 | 2021-01-01 | 北京人卫智数科技有限公司 | 一种用于骨髓穿刺手术的虚拟现实训练系统 |
| CN112099625A (zh) * | 2020-08-25 | 2020-12-18 | 华南理工大学 | 基于微电流刺激的虚拟力反馈评估和调整系统与方法 |
| CN112099625B (zh) * | 2020-08-25 | 2022-03-29 | 华南理工大学 | 基于微电流刺激的虚拟力反馈评估和调整系统与方法 |
| CN112587233A (zh) * | 2020-12-10 | 2021-04-02 | 华中科技大学 | 一种模拟气管内插管术的方法及系统 |
| CN112587233B (zh) * | 2020-12-10 | 2021-10-08 | 华中科技大学 | 一种模拟气管内插管术的方法及系统 |
| CN112828895A (zh) * | 2021-02-04 | 2021-05-25 | 武汉联影智融医疗科技有限公司 | 机器人仿真系统 |
| CN113034668A (zh) * | 2021-03-01 | 2021-06-25 | 中科数据(青岛)科技信息有限公司 | 一种ar辅助的机械模拟操作方法和系统 |
| CN112989449A (zh) * | 2021-03-26 | 2021-06-18 | 温州大学 | 一种运动刚度优化的触觉力反馈仿真交互方法及装置 |
| CN112989449B (zh) * | 2021-03-26 | 2023-08-15 | 温州大学 | 一种运动刚度优化的触觉力反馈仿真交互方法及装置 |
| CN113160383A (zh) * | 2021-03-29 | 2021-07-23 | 中国科学院深圳先进技术研究院 | 一种内部组织模型的构建方法及终端设备 |
| CN113160383B (zh) * | 2021-03-29 | 2022-06-21 | 中国科学院深圳先进技术研究院 | 一种内部组织模型的构建方法及终端设备 |
| WO2022206024A1 (zh) * | 2021-03-29 | 2022-10-06 | 中国科学院深圳先进技术研究院 | 一种内部组织模型的构建方法及终端设备 |
| CN113413214A (zh) * | 2021-05-24 | 2021-09-21 | 上海交通大学 | 一种基于混合现实的引导的手术机器人力反馈方法和装置 |
| CN113413214B (zh) * | 2021-05-24 | 2022-12-30 | 上海交通大学 | 一种基于混合现实的引导的手术机器人力反馈方法和装置 |
| CN113440253A (zh) * | 2021-05-28 | 2021-09-28 | 浙江工业大学 | 一种基于有限元的前列腺穿刺针旋转进针方法 |
| CN114267219A (zh) * | 2021-12-15 | 2022-04-01 | 上海交通大学医学院附属第九人民医院 | 虚拟手术仿真装置及仿真系统 |
| CN114267219B (zh) * | 2021-12-15 | 2024-03-08 | 上海交通大学医学院附属第九人民医院 | 虚拟手术仿真装置及仿真系统 |
| CN114387839A (zh) * | 2022-01-19 | 2022-04-22 | 上海石指健康科技有限公司 | 一种基于力反馈的生物组织仿真方法、装置和电子设备 |
| CN114973820A (zh) * | 2022-04-13 | 2022-08-30 | 北京众绘虚拟现实技术研究院有限公司 | 关节镜模拟训练系统 |
| CN114999296A (zh) * | 2022-08-05 | 2022-09-02 | 上海华模科技有限公司 | 力反馈设备、提供反馈力的方法及存储介质 |
| CN114999296B (zh) * | 2022-08-05 | 2023-01-31 | 上海华模科技有限公司 | 力反馈设备、提供反馈力的方法及存储介质 |
| CN117017488A (zh) * | 2023-10-10 | 2023-11-10 | 华中科技大学同济医学院附属协和医院 | 一种包含非自主运动补偿的穿刺臂路径规划方法 |
| CN117017488B (zh) * | 2023-10-10 | 2024-01-09 | 华中科技大学同济医学院附属协和医院 | 一种包含非自主运动补偿的穿刺臂路径规划方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106781941A (zh) | 一种用于模拟微创穿刺手术的方法及其系统 | |
| Tang et al. | Construction of force haptic reappearance system based on Geomagic Touch haptic device | |
| Basdogan et al. | Force interactions in laparoscopic simulations: haptic rendering of soft tissues | |
| Pan et al. | Virtual reality training and assessment in laparoscopic rectum surgery | |
| Brown et al. | A microsurgery simulation system | |
| Huynh et al. | Haptically integrated simulation of a finite element model of thoracolumbar spine combining offline biomechanical response analysis of intervertebral discs | |
| CN105825752A (zh) | 基于力反馈设备的虚拟眼角膜手术培训系统 | |
| CN101320526B (zh) | 一种手术预测和训练的设备及其方法 | |
| Gibson et al. | Finite element simulation of the spine with haptic interface | |
| CN107992672A (zh) | 一种基于虚拟弹簧的软组织形变建模方法 | |
| CN109192030A (zh) | 基于虚拟现实的真实腔镜微创手术仿真训练系统及方法 | |
| CN103345568A (zh) | 基于三维模型的手术规划的方法及其系统 | |
| CN106156398A (zh) | 用于计算机辅助地模拟外科手术的设备和方法 | |
| CN102568288A (zh) | 带有力反馈的内镜虚拟手术系统 | |
| CN107315915A (zh) | 一种医疗手术模拟方法及系统 | |
| CN103729879A (zh) | 基于力觉计算的虚拟手稳定抓取方法 | |
| JP2012155152A (ja) | 仮想脳外科手術シミュレータ | |
| CN107978367A (zh) | 一种基于虚拟现实的远程诊疗机器人力触觉再现方法 | |
| Chen et al. | Dynamic touch‐enabled virtual palpation | |
| TW201619754A (zh) | 醫用影像物件化介面輔助解說控制系統及其方法 | |
| CN101901565A (zh) | 支持力触觉反馈的虚拟柔性体变形手术仿真系统 | |
| Bruyns et al. | Generalized interactions using virtual tools within the spring framework: Probing, piercing, cauterizing and ablating | |
| Zhu et al. | A real-time deformation modeling scheme of soft tissue for virtual surgical | |
| Lu et al. | Towards physics-based interactive simulation of electrocautery procedures using PhysX | |
| Payandeh et al. | A multi-modal training environment for surgeons |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170531 |
|
| RJ01 | Rejection of invention patent application after publication |