CN107688720A - 一种基于位置动力学和生物热传导方程的实时软组织灼烧仿真方法 - Google Patents
一种基于位置动力学和生物热传导方程的实时软组织灼烧仿真方法 Download PDFInfo
- Publication number
- CN107688720A CN107688720A CN201710857857.9A CN201710857857A CN107688720A CN 107688720 A CN107688720 A CN 107688720A CN 201710857857 A CN201710857857 A CN 201710857857A CN 107688720 A CN107688720 A CN 107688720A
- Authority
- CN
- China
- Prior art keywords
- msub
- model
- soft tissue
- mrow
- calcination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
- G06F2119/08—Thermal analysis or thermal optimisation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Computer Hardware Design (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种基于位置动力学和生物热传导方程的实时软组织灼烧仿真方法，以四面体模型为基础，在灼烧过程中，使用了位置动力学方法驱动模型，以生物热传导方程为物理依据，根据电刀产生的能量输入和生物组织特性，实时计算模型表面温度并更新相应的约束拓扑，最后更新灼烧点附近的局部渲染纹理。本发明包含四个步骤，第一，预处理过程，读取模型文件的同时要进行一些初始化操作；第二，变形过程，通过基于位置动力学的方法进行模型驱动；第三，灼烧过程，实时计算电刀灼烧点附近的电势场及温度场，并更新相应的拓扑约束；第四，渲染过程，对第二和第三过程中的模型进行渲染。本发明可真实模拟虚拟手术中切割软灼烧的过程，并具有较高的可控性和实时性。
Description
技术领域
本发明涉及一种基于位置动力学和生物热传导方程的实时软组织灼烧仿真方法，属于虚拟手术技术领域，也可以应用于相关的领域，包括动画和游戏等。
背景技术
腹腔镜手术是现代医疗常用的方法之一，在救治病人方面有着极其重要的意义。然而很多新手医师都需要经过很多的训练才能熟练操作，现在国内医院的手术训练多数是使用替代品，使用替代品存在着不准确和来源较少的缺点。随着计算机技术的不断发展，虚拟现实技术慢慢的出现在大众的视野中，也为医疗手术的训练带来了新的方法，这就是虚拟腹腔镜手术。
现实中手术包括很多操作，比如碰触，切割，止血，缝合等操作。虚拟手术中，人们也希望尽量实现所有的这些交互。一般对虚拟手术的建立过程包括建模，变形驱动，切割，缝合等，不同部位的器官根据其特征再添加一些更多的真实感的内容，比如血液，血管等。在扫描得到器官的表皮模型后，将为其建模一个体模型，常用的体模型有四面体模型，六面体模型，元球模型，粒子模型等；驱动则是在模型上添加物理或者几何驱动方法，常用的有质点弹簧方法，有限元方法，无网格方法等；切割和缝合则是拓扑上改变的一些处理。
在现有的软组织灼烧仿真技术从形变仿真算法上主要分为两类，基于有限元形变仿真算法的软组织灼烧仿真和基于几何形变算法的软组织灼烧仿真，从灼烧仿真算法上主要分为两类，基于热力学的软组织灼烧仿真和基于几何的软组织灼烧仿真。本发明提出一种基于位置动力学的形变算法和基于生物热传导的灼烧仿真方法，在灼烧仿真中引入了生物特性，提高了灼烧计算的物理准确性同时又避免有限元等过度的物理计算负担。
发明内容
本发明解决的技术问题是：传统方法的灼烧仿真不是基于物理的，虽然速度快但是不够物理准确，本发明采用一种基于生物热传导方程的方法以电流数据和器官生物数据作为输入，物理准确地计算器官的温度分布，同时，本发明采用的局部更新贴图和拓扑的方法能够有效解决计算量太大影响虚拟手术实时性的问题。
本发明采用的技术方案为：一种基于位置动力学和生物热传导方程的实时软组织灼烧仿真方法，以四面体模型为基础，在灼烧过程中，同时使用了位置动力学驱动模型，为了解决物理准确且快速计算的问题，采用了一种基于生物热传导方程计算后局部更新纹理和拓扑的模式。该方法包含四个步骤，第一，预处理过程，读取模型文件的同时要进行一些初始化操作；第二，变形过程，通过基于位置动力学的方法进行模型驱动；第三，灼烧过程，使用混合驱动的方法驱动模型，利用热传导模型计算温度并更新纹理和拓扑；第四，渲染过程，对第二和第三过程中的模型进行渲染。本发明可真实模拟虚拟手术中灼烧软组织的过程，并具有较高的可控性和实时性。
本发明具体包括以下四个步骤。
第一步，预处理过程，读取需处理的模型，所述模型包括四面体和表面模型及其纹理，四面体模型作为物理模型驱动变形，表面模型用于视觉渲染；此外预处理过程还要进行渲染环境和驱动算法的初始化；
第二步，变形过程，根据第一步读取模型中的数据，做位置动力学方法驱动，如果电刀和模型产生了碰撞，则在计算变形之前先进行灼烧模拟以更新拓扑约束，否则直接计算变形；
第三步，灼烧过程，根据第二步中的电刀与模型间的碰撞检测结果决定是否进入灼烧过程，如果发生碰撞，则先根据电刀的输入功率计算接触点附近的电势场和温度场，然后取出接触点附近的纹理贴图，根据温度进行更新，最后遍历四面体物理模型中的所有约束，根据相应的规则更新或者删除约束，并完成更新接触点附近定点的状态后，再继续第二步中的变形过程；
第四步，渲染过程，包括视觉和触觉渲染，根据第二步的变形结果和第三步的纹理更新结果进行视觉图像渲染，如果检测到工具和模型的碰撞则根据工具尖端进入模型的深度计算力反馈进行触觉渲染。
所述第一步，预处理过程，具体实现如下：
(1)读入三种类型的文件，所述三种类型的文件为标准三角面片OBJ文件，标准纹理图片TGA文件和自定义四面体模型TET文件，其中TET文件是通过OBJ文件生成的，TET文件提供四面体信息，包括四面体定点的位置、四面体中的拉伸和体积约束信息；OBJ文件按照通用方式存储了三角面片的顶点信息和面片信息；TGA文件存放纹理信息；所述三种文件中的数据读取后分别用相应的数据结构存储；
(2)绑定四面体模型和表面三角网格，使得每个三角网格顶点都可以根据一个对应的四面体模型更新位置，对于每个三角网格中的顶点，先找到所属的四面体，使得该顶点在所属四面体的内部，然后计算出该顶点相对于所属四面体四个顶点的中心坐标，记录在相应的数据结构中；
(3)渲染环境初始化，包括搭建OpenGL渲染环境和3D触觉设备Phantom Omni的渲染环境初始化；
(4)驱动方法初始化，包括基于位置的动力学方法和生物热传导的参数和依赖变量的初始化。
所述第二步，变形过程，具体实现如下：
(1)由第一步读取得到的四面体网格数据，以及拉伸约束、四面体体积约束、表面扭转约束数据，在每个时间步长结束时计算更新顶点的状态。其中，拉伸约束、四面体体积约束和表面扭转约束的表达式分别为：
Cstretch(p1，p2)＝|p1-p2|-d0，
其中，分别为初始状态下拉伸约束中两点的距离、体积约束中四面体体积和扭转约束中二面角角度。
所述第三步，切割过程，具体实现如下：
(1)当电刀尖端碰到器官表面时，根据接触点的位置，找到并取出接触点附近的器官局部纹理贴图；
(2)根据步骤(1)获取的局部贴图，找对对应的电势分布区域，然后由拉普拉斯方程和生物表面热损失边际条件计算更新局部电势分布；
(3)将步骤(2)更新的局部电势分布，带入到表面生物热传导方程中，计算并更新局部表面的温度分布；
(4)根据步骤(3)更新的局部温度分布，按照灼烧的视觉渲染规则更新局部的纹理贴图，此处更新的局部纹理是256*256分辨率的，在后续的GLSL渲染中可以连续而自然地渲染出灼烧的焦黄的效果；
(5)更新拓扑，根据局部范围内顶点的温度与阈值的比较情况可以按照一定规则更新各类约束的状态和表面三角面片的渲染开关；
(6)权利要求4的时间逻辑：步骤(1)的执行时间点是电刀尖端与器官表面发生碰撞，接下来顺序执行步骤(2)和步骤(3)，然后步骤(4)更新局部贴图与步骤(5)更新局部拓扑并行进行。
所述第四步，渲染过程，具体实现如下：
(1)模型表面三角网格的视觉渲染，根据初始化绑定的四面体信息，更新三角网格的位置，然后进行GLSL纹理渲染，包括漫反射纹理，高光纹理和凹凸纹理，渲染时使用的漫反射贴图会在按照权力要求4中所述的相关步骤进行局部更新，且仅渲染开关为打开的三角面偏；
(2)触觉渲染，当电刀尖端与器官表面发生碰撞时，进行触觉渲染，反馈力的大小与电刀尖端到器官表面接触点切平面的距离成正比，反馈里的方向为器官表面接触点切平面的外法向量方向；
(3)体绘制，当打开体绘制开关时，会对四面体模型的基本状态进行点线绘制，并且对最新的拓扑约束状态以不同的颜色进行绘制，电刀尖端与器官表面发生碰撞时，对接触点所在的三角面片进行特殊的绘制。
本发明与现有技术相比的优点在于：
从灼烧仿真的物理准确性角度讲，本发明采用基于生物热传导方程的模型，以输入的电流能量和器官生物特性数据为依据，更新接触点附近的器官表面电势场和温度场，比一些传统得几何方法更加物理准确，且符合人体组织器官的生物特性。
从灼烧仿真的速度讲，本发明采用基于位置的动力学来驱动器官组织模型，该方法相比较有限元方法计算速度更快；本发明还采用一种局部更新纹理贴图和局部更新拓扑约束的方法，大大降低了计算成本。
此外，本发明还集成了3D触觉设备，将该设备与实际手术中使用的手术钳和手术刀等进行绑定之后，能够较为真实的还原医生手术环境。
附图说明
图1为本发明一种基于位置动力学和生物热传导方程的实时软组织灼烧仿真方法的处理流程图；
图2为灼烧的效果图约束拓扑改变的示意图，(a)灼烧刚刚开始时，(b)灼烧一段时间后；
图3为电刀接触器官组织表面时计算的温度场可视化示意图；
图4为拉伸约束在灼烧中的拓扑改变示意图，(a)拉伸约束有效，(b)拉伸约束失效；
图5为灼烧直肠模型仿真效果图，(a)仿真0ms时刻，(b)仿真30ms时刻，(c)仿真100ms时刻，(d)仿真1000ms时刻；
图6为直肠模型形变恢复仿真效果图，(a)仿真0ms时刻，(b)仿真30ms时刻，(c)仿真100ms时刻，(d)仿真1000ms时刻。
具体实施方式
如图1所示，本发明一种基于位置动力学和生物热传导方程的实时软组织灼烧仿真方法的处理流程图，分为四个步骤，预处理过程，变形过程，灼烧过程，渲染过程。四个步骤并非顺序执行，预处理过程为该方法的起始步骤，之后进入变形过程，当发生灼烧事件时，进入灼烧过程，灼烧过程完后返回变形过程，渲染过程为变形和灼烧过程的伴随过程，每次变形和灼烧都需要渲染。变形过程并非传统意义的死循环，可以随时打断变形过程结束程序。
步骤一，预处理过程：
(1)模型读取
读入三种类型的文件，所述三种类型的文件为标准三角面片OBJ文件，标准纹理图片TGA文件和自定义四面体模型TET文件，其中TET文件是通过OBJ文件生成的，TET文件提供四面体信息，包括四面体顶点的位置、四面体拓扑信息，读入后根据目标器官组织的生物结构形状特性向四面体模型加入相应的拉伸约束、体积约束和表面扭转约束，定点约束和三种约束分别以数组形式储存起来；OBJ文件按照通用方式存储了三角面片的顶点信息和面片信息，读入后以数组形式储存顶点和三角形信息；TGA文件存放纹理信息，读入后以后RGBA四通道模式存储在内存中；
(2)模型绑定
绑定四面体模型和表面三角网格，使得每个三角网格顶点都可以根据一个对应的四面体模型更新位置，对于每个三角网格中的顶点，先找到所属的四面体，使得该顶点在所属四面体的内部。其中判断点p0在四面体(p1,p2,p3，p4)内部的条件为：
其中表示点p0与点pi连成的线段，αi表示四面体除了点pi外其他的三个点所在的平面。然后计算出该顶点相对于所属四面体四个顶点的重心坐标，四面体某点p0相对于四面体(p1,p2，p3,p4)的重心坐标(λ1,λ2,λ3,λ4)满足：
p0＝λ1p1+λ2p2+λ3p3+λ4p4，
且满足0＜i＜1,(i＝1，2,3,4)和∑iλi＝1,(i＝1,2,3,4)。将每个顶点所属的四面体索引以及相对于该四面体的重心坐标以数组结构存储在内存中；
(3)渲染环境初始化
包括搭建OpenGL渲染环境和3D触觉设备Phantom Omni的渲染环境初始化，包括OpenGL的光照环境、摄像机位置、视场属性等；
(4)驱动方法初始化
包括基于位置的动力学方法和生物热传导的参数和依赖变量的初始化。在本发明中采用的动力学参数为：时间步长0.2秒，迭代次数3次，拉伸约束系数0.3，体积约束系数0.9，表面扭转约束系数0.65。在本发明中采用的人体组织器官生物参数为：热传导系数0.512瓦/米·度，密度3千克/立方米，比热容0.3焦每千克·度，电导率0.9西/米。
步骤二，变形过程：
(1)体模型驱动
器官变形指的是器官在受到外力作用时会发生一定形变，移除外力作用时模型也会逐渐的恢复收敛到某种状态，为了达成收敛效果，需要设置部分四面体模型的顶点为固定的，在这种情况下，当模型发生变形时，模型会向固定位置收敛。
四面体模型的驱动使用的是基于位置的动力学方法，与传统的物理方法相比，该方法省去了加速度计算过程，外力产生后直接更新顶点的速度和位置，通过一系列约束对预测的位置进行修正，最终确定运动位置。本发明中使用的约束包括拉伸约束，体积约束，表面扭转约束。拉伸约束可以产生快速收敛效果，体积约束可以确保完全收敛时状态复原，表面扭转约束可以保证组织表面不会产生交叉穿透等现象。这三种约束的表达式分别为：
Cstretch(p1，p2)＝|p1-p2|-d0
其中，分别为初初始状态下拉伸约束中两点的距离、体积约束中四面体体积和扭转约束中二面角角度。三种约束在每次物理步中对于顶点pi的位置修正分别为：
其中，wi表示顶点pi的质量的倒数，d0表示拉伸约束的初始长度，V表示四面体的体积，V0表示四面体的初始体积，qj表示顶点pi的修正方向。
(2)表面更新
器官表面三角网格在步骤一中已经与四面体模型进行了绑定，在体驱动模型状态更新后需要对表面模型进行更新。遍历每个三角网格的顶点，找到其所属的四面体然后根据四面体四个顶点的位置和初始计算的中心坐标按照如下公式进行更新该顶点p0的位置：
p0＝λ1p1+λ2p2+λ3p3+λ4p4
其中，λ1,λ2,λ3为顶点p0的重心坐标，p1，p2，p3，p4为四个顶点更新的位置向量。
步骤三，灼烧过程：
灼烧过程是本发明整个发明的重点，图2中的(a)为灼烧刚刚开始时的表面网格状态和渲染效果，图2中的(b)为灼烧一段时间后表面网格拓扑更新的状态和渲染效果，可以看到灼烧过程中四面体模型中的顶点状态更新情况和拓扑约束更新与表面模型视觉渲染的烧口形状匹配。
(1)当电刀尖端碰到器官表面时，根据接触点的位置，找到并取出接触点附近的器官局部纹理贴图。由于计算并更新高精度纹理贴图(4096*4096)所需要的计算成本过高，所以这里取接触点附近的局部纹理贴图(256*256)以提高计算效率。根据电刀尖端和器官表面的接触点p0以及其所属的表面三角形(p1,p2,p3)计算其重心坐标(λ1,λ2,λ3)，满足：
p0＝λ1p1+λ2p2+λ3p3
则接触点p0的纹理坐标为u0＝λ1u1+λ2u2+λ3u3，其中ui为顶点i的纹理坐标。然后根据计算出的纹理坐标可以取到相应区域纹理贴图。
(2)根据步骤(1)获取的局部贴图，找对对应的电势分布区域，然后由拉普拉斯方程和生物表面热损失边际条件计算更新局部电势分布。拉普拉斯方程：
其中V是电势，σ是电导率单位为西每米。把器官表面的电导率设置为一个常量。求解拉普拉斯方程的边际条件为生物表面热损失方程：
其中h为热传导参数，Tα为环境温度，n为边界外法向。
(3)将步骤(2)更新的局部电势分布，带入到表面生物热传导方程中，计算并更新局部表面的温度分布。表面生物热传导方程为：
其中为拉普拉斯算子，k为器官组织的导热率，wb为有效血液灌注流量，cb为血液热容，Tα为血液流入温度或组织器官的稳定温度，qm为组织器官的热量代谢率，qg是外部电刀的能量输入。在灼烧过程中，相比较与外部输入的热量，由于组织代谢、血流引起的热量变化太小了，所以这里为了简化计算模型，将wb，cb和qm忽略不计，那么方程就变成了以下形式：
其中输入的热源分布qg可以由以下公式计算：
qg＝J·E
其中J为表面电流强度，单位为安培每米，E为电场强度，单位为伏每米。这两个物理量都可以由步骤(2)中得到的电势场结果计算而来。步骤(2)中求解拉普拉斯方程相对于步骤(3)中求解生物热传导方程的过程是独立的，在不同线程中同时进行。
(4)根据步骤(3)更新的局部温度分布，按照灼烧的视觉渲染规则更新局部的纹理贴图，此处更新的局部纹理是256*256分辨率的，在后续的GLSL渲染中可以连续而自然地渲染出灼烧的焦黄的效果。本发明设置了三种RGBA颜色来对灼烧的过程进行漫反射纹理贴图的更新，C1＝(1.0,1.0,1.0,0.0),C2＝(1.0,1.0,1.0,1.0),C3＝(0.5,0.16,0.16,0.7)，在更新贴图时会根据温度将这三种颜色与贴图原有的颜色混合起来，混合的公式为：
其中v＝min((T-Tα)(Tvaporization-Tα),1.0)，T为温度，Tα为环境温度，Cmix为混合后的颜色，Cori为原始颜色，vvaporization为组织升华的系数阈值，vbrown为组织烧焦变色的系数阈值。图3为电刀接触器官组织表面时计算的温度场可视化示意图，电刀尖端与组织表面接触点附近被渲染呈现出灼烧的焦黄颜色。
(5)更新拓扑，根据局部范围内顶点的温度与阈值的比较情况可以按照一定规则更新各类约束的状态和表面三角面片的渲染开关。如果顶点p的温度超过灼烧升华阈值，则更新p的状态置为失效。图4为拉伸约束在灼烧中的拓扑改变示意图，对于图4中的(a)中的拉伸约束(p1,p2)，如果p1和p2的状态都为失效，则将该拉伸约束状态置为失效，同时将p1和p2所连接的其他拉伸约束的初始长度系数更新为原来的0.7倍，如图4中的(b)所示，这样可以产生约束失效后组织向两侧扯开的效果。对于体积保持约束(p1,p2,p3,p4)，如果其中有三个顶点位于器官组织的表面，且这三个顶点状态都为失效，则更新该体积保持约束状态为失效，且更新着三个顶点连接的拉伸约束的初始长度系数为原来的0.7倍。对于表面扭转约束，如果二面角所在的四个顶点的状态都为失效，则更新该表面扭转约束的状态为失效。
步骤四，渲染过程：
(1)表面渲染
表面渲染指的是表面三角面片渲染，此处使用OpenGL作为渲染库，通过读取OBJ文件中的三角形边信息确定顶点连接情况，顶点的实际位置经过变形或者灼烧可能发生变动，所以本绘制过程为动态绘制过程，每次发生变形过程或者灼烧过程都需要发生一次渲染过程。OpenGL渲染三角形面片的基本方法为先指定绘制对象为三角形，然后对于每个三角形依次指定顶点信息，在指定位置之前要先指定法向和纹理坐标。
(2)触觉渲染
当电刀尖端与器官表面发生碰撞时，进行触觉渲染，反馈力的大小与电刀尖端到器官表面接触点切平面的距离成正比，反馈里的方向为器官表面接触点切平面的外法向量方向。在Phantom Device中，触觉的产生依赖于向该设备中绘制对象信息，绘制方法和OpenGL中相同。绘制进设备中后，设备可以进行触觉反馈。
(3)体绘制
当打开体绘制开关时，会对四面体模型的基本状态进行点线绘制，并且对最新的拓扑约束状态以不同的颜色进行绘制，电刀尖端与器官表面发生碰撞时，对接触点所在的三角面片进行特殊的绘制。体模型绘制通常会占用额外的时间，除了查看拓扑更新的效果，本发明通常不选择显示体模型。另外触觉设备中不需要绘制体模型。
本发明一种基于位置动力学和生物热传导方程的实时软组织灼烧仿真方法的实验结果：图5为灼烧直肠模型仿真效果图，图5中的(a)为电刀尖端接触软组织表面时的截图，图5中的(b)为电刀尖端接触软组织表面后30ms的截图，图5中的(c)为电刀尖端接触软组织表面后100ms后的截图，图5中的(d)为电刀尖端接触软组织表面后1000ms后的截图。在结果图片中，可以看到，灼烧产生的烧口形状自然平滑，且根据灼烧温度分布更新的颜色融合贴图将烧口附近的器官组织表面表现的比较逼真，同时还渲染了流血和冒烟效果。图6为直肠模型形变恢复仿真效果图，图6(a)为手术抓钳牵拉软组织表面时的截图，图6(b)为手术抓钳松开后软组织形变恢复30ms时的截图，图6中的(c)为手术抓钳松开后软组织形变恢复100ms时的截图，图6中的(d)为手术抓钳松开后软组织形变恢复1000ms时的截图，可以看到，在牵拉后松开形变的仿真中，软组织可以快速准确地恢复到原有的状态。
本发明对灼烧效果与以往的发明进行了对比，方法一使用弹簧质子模型驱动模型[Pan JJ,Chang J,Yang X,et al.Virtual reality training and assessment inlaparoscopic rectum surgery.Int J Med Robot Comput Assist Surg.2014；11(2):194‐209]，方法二使用投影动力学方法驱动四面体模型[Qian K,Jiang T,Wang M,Yang X,Zhang J.Energized soft tissue dissection in surgery simulation.ComputAnimatVirtual Worlds.2016；27(3–4):280‐289]，与方法一的对比对象为直肠模型灼烧和与方法二的对比的是根据Qian K在文章中给出的实验结果得到的不同规模的模型灼烧。
表1直肠灼烧方法一对比表
表2不同规模模型灼烧方法二对比表
| 方法 | 四面体数 | 灼烧计算速度/ms |
| 方法二 | 30K | 66.22 |
| 本发明方法 | 6K | 9.48 |
通过表格数据对比，可以清晰的看到本发明方法相对于方法一在计算速度上有明显的优势，且本发明方法引入了体积保持约束和表面扭转约束，在灼烧过程中可以根据灼烧状态更新约束的状态，产生烧开撕裂的效果。与方法二相比，本发明方法引入了热传导方程，更具有物理准确性，且纹理贴图的更新方法更加精准，在低分辨率网格的模型中能够产生连续的灼烧烧口渲染效果。
本发明未详细阐述的技术内容属于本领域技术人员的公知技术。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
Claims (5)
1.一种基于位置动力学和生物热传导方程的实时软组织灼烧仿真方法，其特征在于：包括如下步骤：
第一步，预处理过程，读取需处理的模型，所述需要处理的模型包括软组织四面体模型、软组织表面模型及电刀表面模型；软组织四面体模型包含软组织四面体模型的顶点信息及四面体拓扑信息，软组织表面模型包括软组织表面模型的顶点信息、三角面片信息和纹理贴图；
四面体模型作为物理模型用基于位置动力学方法驱动变形和基于生物热传导方程的灼烧，表面模型用于仿真过程中的视觉渲染；同时预处理过程还要进行表面模型渲染环境和四面体模型形变驱动算法的初始化，包括初始化OpenGL渲染环境摄像机、光照参数和软组织的生物属性参数，软组织四面体模型拓扑约束的初始化和软组织四面体模型与软组织表面模型的绑定初始化；软组织四面体模型拓扑约束包括三种拓扑约束，分别为拉伸约束，四面体体积约束和表面扭转约束；
第二步，变形过程，在第一步预处理过程之后，进入到形变过程，在形变过程的每一次物理仿真计算步中，根据第一步读取的软组织四面体模型、软组织表面模型和第一步初始化的软组织四面体模型拓扑约束，做基于位置动力学方法驱动变形，对电刀模型和软组织表面模型进行碰撞检测，如果电刀模型和软组织表面模型进行碰撞检测结果为发生碰撞，则在计算变形之前先进行灼烧模拟以更新拓扑约束，否则直接计算变形，最后更新软组织四面体模型和软组织表面模型；
第三步，灼烧过程，根据第二步中的电刀模型与软组织表面模型间的碰撞检测结果决定是否进入灼烧过程，如果电刀与软组织表面模型发生碰撞，则先根据电刀的输入功率计算电刀模型与软组织表面模型接触点附近的电势分布和温度分布，然后提取出电刀模型和软组织表面模型接触点附近的纹理贴图，根据纹理贴图中的温度分布基于生物热传导方程计算电刀模型和软组织表面模型接触点附近的温度分布，并更新电刀模型和软组织表面模型接触点附近的纹理贴图，最后遍历软组织四面体模型中的所有拓扑约束，根据更新的纹理贴图，更新拓扑约束，再继续第二步中的变形过程；
第四步，渲染过程，在每次第二步物理仿真计算步更新数据后或第三部更新的纹理贴图后进入渲染过程，所述渲染包括视觉渲染和触觉渲染，根据第二步中物理仿真计算步更新的数据和第三步中更新的纹理贴图进行视觉渲染，如果检测到电刀模型和软组织表面模型的碰撞，则根据电刀模型的尖端进入软组织表面模型的深度，计算力反馈力进行触觉渲染；在调试物理仿真时，还需要对软组织四面体模型进行绘制，电刀模型尖端与软组织表面模型发生碰撞时，对碰撞时的接触点所在的三角面片进行绘制。
2.根据权利要求1所述的一种基于位置动力学和生物热传导方程的实时软组织灼烧仿真方法，其特征在于：所述第一步，预处理过程，具体实现如下：
(1)读入三种类型的模型，即软组织四面体模型、软组织表面模型及电刀表面模型；所述三种模型中的信息读取后分别存入内存中；
(2)四面体模型与软组织表面模型的绑定初始化，使得每个三角网格顶点根据一个对应的四面体模型更新位置，对于每个三角网格中的顶点，先找到所属的四面体，使得该顶点在所属四面体的内部，然后计算出该顶点相对于所属四面体四个顶点的中心坐标，存入内存中；
(3)渲染环境初始化，包括搭建OpenGL渲染环境和3D触觉设备PhantomOmni的渲染环境初始化；
(4)四面体模型中拓扑约束初始化，拉伸约束，四面体体积约束和表面扭转约束；拉伸约束、四面体体积约束和表面扭转约束的表达式分别为：
Cstretch(p1,p2)＝|p1-p2|-d0,
<mrow>
<msub>
<mi>C</mi>
<mrow>
<mi>v</mi>
<mi>o</mi>
<mi>l</mi>
<mi>u</mi>
<mi>m</mi>
<mi>e</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>p</mi>
<mn>1</mn>
</msub>
<mo>,</mo>
<msub>
<mi>p</mi>
<mn>2</mn>
</msub>
<mo>,</mo>
<msub>
<mi>p</mi>
<mn>3</mn>
</msub>
<mo>,</mo>
<msub>
<mi>p</mi>
<mn>4</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mn>6</mn>
</mfrac>
<mrow>
<mo>(</mo>
<mo>(</mo>
<mrow>
<msub>
<mi>p</mi>
<mn>2</mn>
</msub>
<mo>-</mo>
<msub>
<mi>p</mi>
<mn>1</mn>
</msub>
</mrow>
<mo>)</mo>
<mo>&times;</mo>
<mo>(</mo>
<mrow>
<msub>
<mi>p</mi>
<mn>3</mn>
</msub>
<mo>-</mo>
<msub>
<mi>p</mi>
<mn>1</mn>
</msub>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>&CenterDot;</mo>
<mrow>
<mo>(</mo>
<msub>
<mi>p</mi>
<mn>4</mn>
</msub>
<mo>-</mo>
<msub>
<mi>p</mi>
<mn>1</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mi>V</mi>
<mn>0</mn>
</msub>
<mo>,</mo>
</mrow>
其中，pi为下标为顶点位置向量，i＝1，2，3，4；Cstretch，Cvolume，Cbending分别为拉伸约束、四面体体积约束和表面扭转约束的初始化值，d0,V0,分别为初始状态下拉伸约束中两点的距离、体积约束中四面体体积和扭转约束中二面角角度。
3.根据权利要求1所述的一种基于位置动力学和生物热传导方程的实时软组织灼烧仿真方法，其特征在于：所述第二步，变形过程，具体实现如下：
(1)用基于位置动力学的方法更新软组织四面体模型，四面体模型中的拉伸约束，四面体体积约束和表面扭转约束在每次物理步中对于顶点pi的位置修正分别为：
<mrow>
<msub>
<mi>&Delta;p</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<mo>-</mo>
<mfrac>
<msub>
<mi>w</mi>
<mn>1</mn>
</msub>
<mrow>
<msub>
<mi>w</mi>
<mn>1</mn>
</msub>
<mo>+</mo>
<msub>
<mi>w</mi>
<mn>2</mn>
</msub>
</mrow>
</mfrac>
<mrow>
<mo>(</mo>
<mo>|</mo>
<msub>
<mi>p</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mi>p</mi>
<mi>j</mi>
</msub>
<mo>|</mo>
<mo>-</mo>
<msub>
<mi>d</mi>
<mn>0</mn>
</msub>
<mo>)</mo>
</mrow>
<mfrac>
<mrow>
<msub>
<mi>p</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mi>p</mi>
<mi>j</mi>
</msub>
</mrow>
<mrow>
<mo>|</mo>
<msub>
<mi>p</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mi>p</mi>
<mi>j</mi>
</msub>
<mo>|</mo>
</mrow>
</mfrac>
</mrow>
<mrow>
<msub>
<mi>&Delta;p</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<mo>-</mo>
<msub>
<mi>w</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>V</mi>
<mo>-</mo>
<msub>
<mi>V</mi>
<mn>0</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>/</mo>
<munder>
<mo>&Sigma;</mo>
<mi>j</mi>
</munder>
<msub>
<mi>w</mi>
<mi>j</mi>
</msub>
<mo>|</mo>
<msub>
<mi>q</mi>
<mi>j</mi>
</msub>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
</mrow>
<mrow>
<mi>d</mi>
<mo>=</mo>
<mfrac>
<mrow>
<mo>(</mo>
<msub>
<mi>p</mi>
<mn>2</mn>
</msub>
<mo>-</mo>
<msub>
<mi>p</mi>
<mn>1</mn>
</msub>
<mo>)</mo>
<mo>&times;</mo>
<mo>(</mo>
<msub>
<mi>p</mi>
<mn>3</mn>
</msub>
<mo>-</mo>
<msub>
<mi>p</mi>
<mn>1</mn>
</msub>
<mo>)</mo>
</mrow>
<mrow>
<mo>|</mo>
<mrow>
<mo>(</mo>
<msub>
<mi>p</mi>
<mn>2</mn>
</msub>
<mo>-</mo>
<msub>
<mi>p</mi>
<mn>1</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>&times;</mo>
<mrow>
<mo>(</mo>
<msub>
<mi>p</mi>
<mn>3</mn>
</msub>
<mo>-</mo>
<msub>
<mi>p</mi>
<mn>1</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>|</mo>
</mrow>
</mfrac>
<mo>&CenterDot;</mo>
<mfrac>
<mrow>
<mo>(</mo>
<msub>
<mi>p</mi>
<mn>2</mn>
</msub>
<mo>-</mo>
<msub>
<mi>p</mi>
<mn>1</mn>
</msub>
<mo>)</mo>
<mo>&times;</mo>
<mo>(</mo>
<msub>
<mi>p</mi>
<mn>4</mn>
</msub>
<mo>-</mo>
<msub>
<mi>p</mi>
<mn>1</mn>
</msub>
<mo>)</mo>
</mrow>
<mrow>
<mo>|</mo>
<mrow>
<mo>(</mo>
<msub>
<mi>p</mi>
<mn>2</mn>
</msub>
<mo>-</mo>
<msub>
<mi>p</mi>
<mn>1</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>&times;</mo>
<mrow>
<mo>(</mo>
<msub>
<mi>p</mi>
<mn>4</mn>
</msub>
<mo>-</mo>
<msub>
<mi>p</mi>
<mn>1</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>|</mo>
</mrow>
</mfrac>
</mrow>
其中，wi表示顶点pi的质量的倒数，d0表示拉伸约束的初始长度，V表示四面体的体积，V0表示四面体的初始体积，qj表示顶点pi的修正方向；
(2)对电刀模型和软组织表面模型进行碰撞检测，将电刀模型简化为一个几何线段，与软组织表面模型中每一个三角形分别进行点与三角形的碰撞检测，得到电刀模型和软组织表面模型进行碰撞检测结果。
4.根据权利要求1所述的一种基于位置动力学和生物热传导方程的实时软组织灼烧仿真方法，其特征在于：所述第三步，灼烧过程，具体实现如下：
(1)当电刀尖端碰到软组织表面模型时，根据接触点的位置，找到并取出接触点附近的软组织局部纹理贴图；
(2)根据步骤(1)获取的软组织局部纹理贴图，找对对应的电势分布区域，然后由拉普拉斯方程和生物表面热损失边际条件计算更新电刀模型与软组织表面模型接触点附近的电势分布；
(3)将步骤(2)更新的电刀模型与软组织表面模型接触点附近的电势分布，带入到表面生物热传导方程中，计算并更新电刀模型与软组织表面模型接触点附近的温度分布；
(4)根据步骤(3)更新的电刀模型与软组织表面模型接触点附近的温度分布，按照灼烧的视觉渲染规则更新局部的纹理贴图，此处更新的局部纹理是256*256分辨率，在后续的GLSL渲染中能够连续而自然地渲染出灼烧的焦黄的效果；
(5)更新拓扑，遍历软组织四面体模型中的所有拓扑约束，根据更新的纹理贴图，根据局部范围内顶点的温度与阈值的比较情况更新三种拓扑约束状态，所述三种拓扑约束包括拉伸约束，四面体体积约束和表面扭转约束；拉伸约束更新的条件为约束影响的两个顶点温度都超过阈值；四面体体积约束更新的条件为约束影响的四个顶点中有三个或以上顶点的温度都超过阈值；表面扭转约束更新的条件为约束影响的四个顶点中，两个三角面公共边所在的两个顶点温度都超过阈值。
5.根据权利要求1所述的一种基于位置动力学和生物热传导方程的实时软组织灼烧仿真方法，其特征在于：所述第四步，渲染过程具体实现如下：
(1)模型表面三角网格的视觉渲染，根据软组织四面体模型与软组织表面模型的绑定初始化信息，更新三角网格的位置，并进行GLSL纹理渲染，GLSL纹理渲染包括GLSL纹理渲染漫反射纹理，高光纹理和凹凸纹理；渲染时使用的漫反射贴图为第四步方法更新后的纹理贴图；
(2)触觉渲染，当电刀的尖端与软组织表面模型发生碰撞时，进行触觉渲染，反馈力的大小与电刀尖端到软组织表面接触点切平面的距离成正比，反馈力的方向为软组织表面模型接触点切平面的外法向量方向；
(3)体绘制，在调试仿真方法时，对软组织四面体模型进行顶点和四面体绘制，并且对不同状态的软组织四面体模型的拓扑约束用不同的颜色进行绘制，电刀模型尖端与软组织表面模型发生碰撞时，对碰撞时的接触点所在的三角面片进行纯色绘制。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710857857.9A CN107688720B (zh) | 2017-09-21 | 2017-09-21 | 基于位置动力学和生物热传导方程的软组织灼烧仿真方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710857857.9A CN107688720B (zh) | 2017-09-21 | 2017-09-21 | 基于位置动力学和生物热传导方程的软组织灼烧仿真方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107688720A true CN107688720A (zh) | 2018-02-13 |
| CN107688720B CN107688720B (zh) | 2020-11-13 |
Family
ID=61156519
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710857857.9A Active CN107688720B (zh) | 2017-09-21 | 2017-09-21 | 基于位置动力学和生物热传导方程的软组织灼烧仿真方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107688720B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110289104A (zh) * | 2019-06-27 | 2019-09-27 | 南京信息工程大学 | 软组织按压和形变恢复的模拟方法 |
| CN113952023A (zh) * | 2021-09-10 | 2022-01-21 | 中国医学科学院肿瘤医院 | 一种用于消融针的动态模拟方法、装置、存储介质及设备 |
| CN117519489A (zh) * | 2024-01-08 | 2024-02-06 | 同济大学浙江学院 | 振动触觉致动器及控制方法、评估方法和可穿戴康复装置 |
| CN117950504A (zh) * | 2024-03-26 | 2024-04-30 | 北京航空航天大学 | 一种面向实时虚拟手术的软组织按压与夹取仿真方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101404039A (zh) * | 2008-03-28 | 2009-04-08 | 华南师范大学 | 一种虚拟手术的方法及其装置 |
| JP4474546B2 (ja) * | 2004-10-05 | 2010-06-09 | 国立大学法人東京農工大学 | 顔形状モデリングシステムおよび顔形状モデリング方法 |
| CN103903487A (zh) * | 2013-11-26 | 2014-07-02 | 深圳市唯特视科技有限公司 | 一种基于3d力反馈技术的内窥镜微创手术三维仿真系统 |
| CN104318056A (zh) * | 2014-09-24 | 2015-01-28 | 北京航空航天大学 | 基于位置动力学的软组织变形和切割模拟方法 |
-
2017
- 2017-09-21 CN CN201710857857.9A patent/CN107688720B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4474546B2 (ja) * | 2004-10-05 | 2010-06-09 | 国立大学法人東京農工大学 | 顔形状モデリングシステムおよび顔形状モデリング方法 |
| CN101404039A (zh) * | 2008-03-28 | 2009-04-08 | 华南师范大学 | 一种虚拟手术的方法及其装置 |
| CN103903487A (zh) * | 2013-11-26 | 2014-07-02 | 深圳市唯特视科技有限公司 | 一种基于3d力反馈技术的内窥镜微创手术三维仿真系统 |
| CN104318056A (zh) * | 2014-09-24 | 2015-01-28 | 北京航空航天大学 | 基于位置动力学的软组织变形和切割模拟方法 |
Non-Patent Citations (2)
| Title |
|---|
| JUNJUN PAN 等: "Metaballs-based physical modeling and deformation of organs for virtual surgery", 《VISUAL COMPUTER》 * |
| 白隽瑄 等: "基于四面体网格的软组织位置动力学切割仿真算法", 《北京航空航天大学学报》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110289104A (zh) * | 2019-06-27 | 2019-09-27 | 南京信息工程大学 | 软组织按压和形变恢复的模拟方法 |
| CN110289104B (zh) * | 2019-06-27 | 2022-12-23 | 南京信息工程大学 | 软组织按压和形变恢复的模拟方法 |
| CN113952023A (zh) * | 2021-09-10 | 2022-01-21 | 中国医学科学院肿瘤医院 | 一种用于消融针的动态模拟方法、装置、存储介质及设备 |
| CN113952023B (zh) * | 2021-09-10 | 2024-04-30 | 中国医学科学院肿瘤医院 | 一种用于消融针的动态模拟方法、装置、存储介质及设备 |
| CN117519489A (zh) * | 2024-01-08 | 2024-02-06 | 同济大学浙江学院 | 振动触觉致动器及控制方法、评估方法和可穿戴康复装置 |
| CN117519489B (zh) * | 2024-01-08 | 2024-03-19 | 同济大学浙江学院 | 振动触觉致动器及控制方法、评估方法和可穿戴康复装置 |
| CN117950504A (zh) * | 2024-03-26 | 2024-04-30 | 北京航空航天大学 | 一种面向实时虚拟手术的软组织按压与夹取仿真方法 |
| CN117950504B (zh) * | 2024-03-26 | 2024-05-31 | 北京航空航天大学 | 一种面向实时虚拟手术的软组织按压与夹取仿真方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107688720B (zh) | 2020-11-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107688720A (zh) | 一种基于位置动力学和生物热传导方程的实时软组织灼烧仿真方法 | |
| US10529132B2 (en) | Method for real-time cutting of digital organ based on metaball model and hybrid driving method | |
| Berndt et al. | Efficient surgical cutting with position-based dynamics | |
| Bro-Nielsen et al. | VR simulation of abdominal trauma surgery | |
| Basdogan et al. | VR-based simulators for training in minimally invasive surgery | |
| Basdogan et al. | Force interactions in laparoscopic simulations: haptic rendering of soft tissues | |
| Oprea et al. | A visually realistic grasping system for object manipulation and interaction in virtual reality environments | |
| CN107330972B (zh) | 模拟生物力学特性的实时软组织形变方法和系统 | |
| CN110164557B (zh) | 隐式表面算法用于仿真模拟软组织手术路径规划的方法 | |
| CN105205867A (zh) | 一种微创虚拟腹主动脉血管手术中的碰撞检测方法 | |
| Wang et al. | A review of virtual cutting methods and technology in deformable objects | |
| Jayasudha et al. | Soft tissues deformation and removal simulation modelling for virtual surgery | |
| CN108766579A (zh) | 一种基于高融合度增强现实的虚拟脑外科手术仿真方法 | |
| Maciel et al. | Development of the VBLaST™: a virtual basic laparoscopic skill trainer | |
| Pan et al. | Real-time VR simulation of laparoscopic cholecystectomy based on parallel position-based dynamics in GPU | |
| Zhang et al. | An optimized mass-spring model with shape restoration ability based on volume conservation | |
| Jourdes et al. | Visual haptic feedback for training of robotic suturing | |
| CN107240344A (zh) | 虚拟腹腔镜胆道探查术训练方法和系统 | |
| CN105955458A (zh) | 反馈力生成方法及装置 | |
| Fazioli et al. | Implementation of a soft-rigid collision detection algorithm in an open-source engine for surgical realistic simulation | |
| Lu et al. | Towards physics-based interactive simulation of electrocautery procedures using PhysX | |
| Sorli et al. | Fine virtual manipulation with hands of different sizes | |
| Bruyns et al. | Generalized interactions using virtual tools within the spring framework: Probing, piercing, cauterizing and ablating | |
| Zhang et al. | An Integrated Suture Simulation System with Deformation Constraint Under A Suture Control Strategy. | |
| Deng et al. | PhyVR: Physics-based Multi-material and Free-hand Interaction in VR |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |