CN109243614B - 一种手术仿真方法、装置和系统 - Google Patents

一种手术仿真方法、装置和系统 Download PDF

Info

Publication number
CN109243614B
CN109243614B CN201811058325.XA CN201811058325A CN109243614B CN 109243614 B CN109243614 B CN 109243614B CN 201811058325 A CN201811058325 A CN 201811058325A CN 109243614 B CN109243614 B CN 109243614B
Authority
CN
China
Prior art keywords
cube
pbd
surgical
image
rendering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811058325.XA
Other languages
English (en)
Other versions
CN109243614A (zh
Inventor
司伟鑫
彭柳
廖祥云
孙寅紫
王平安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201811058325.XA priority Critical patent/CN109243614B/zh
Publication of CN109243614A publication Critical patent/CN109243614A/zh
Application granted granted Critical
Publication of CN109243614B publication Critical patent/CN109243614B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Urology & Nephrology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

一种手术仿真方法包括：获取CT扫描的图像，根据MC移动立方体法对所述图像进行三维重建和渲染，得到三维仿真模型；当检测手术器械与所述三维仿真模型碰触时，通过PBD位置动力学方法不断更新碰触过程中的PBD粒子位置，确定变形的模型；通过MC移动立方体法对变形的模型进行实时的渲染。通过MC移动立方体法重建扫描图像所对应的三维模型后，通过PBD位置动力学方法更新碰触过程中的PBD粒子的位置，确定变形的模型，再通过MC移动立方体法对变形的模型进行实时的渲染，实时生成三维仿真模型的碰触变形效果，从而能够有效的满足手术训练者对完整的电视胸腔镜肺叶切除手术仿真场景的训练要求。

Description

一种手术仿真方法、装置和系统
技术领域
本申请属于人工智能领域，尤其涉及一种手术仿真方法、装置和系统。
背景技术
虚拟手术仿真技术研究较早，从20世纪90年代初开发了世界上第一个虚拟手术模拟系统后，迅速发展成为虚拟现实技术最为活跃的研究热点之一。但是在医学方面主要被应用于骨科、口腔科、神经外科等，而对于胸外科方向涉足较少。在肺叶切除术训练仿真系统中，除了要实现真实的物理建模仿真外，还要在模型上进行相应的切割和缝合手术操作，尽可能真实的还原手术过程才能达到良好的训练效果。
目前市面上实现一整套完整肺叶切除术训练仿真系统的手术系统暂时还没有，大多是其他方向的手术系统或者关于仿真手术中某一关键技术的研究，难以满足手术训练者对完整的电视胸腔镜肺叶切除手术(VATS)仿真场景的训练要求。
发明内容
有鉴于此，本申请实施例提供了一种手术仿真方法、装置及系统，以解决现有技术中的手术仿真系统难以满足手术训练者对完整的电视胸腔镜肺叶切除手术仿真场景的训练要求的问题。
本申请实施例的第一方面提供了一种手术仿真方法，所述肺叶切除手术仿真方法包括：
获取CT扫描的图像，根据MC移动立方体法对所述图像进行三维重建和渲染，得到三维仿真模型；
当检测手术器械与所述三维仿真模型碰触时，通过PBD动力位置学方法更新变形过程中的PBD粒子的位置，确定变形的模型；
通过MC移动立方体法对变形的模型进行实时的渲染。
结合第一方面，在第一方面的第一种可能实现方式中，当所述手术器械为切割器械时，所述生成三维仿真模型的碰触形变效果的步骤包括：
当检测到所述切割器械与三维仿真模型碰触时，记录所述切割器械的碰触位置；
通过多帧图像中所述切割器械的碰触位置确定切割面，判断所述切割面是否与MC立方体的网格线段相交；
如果所述切割面与MC立方体的网格线段相交，则移除网络线段所包含的PBD映射关系，将相交的网格线段的两端的顶点设置为外点，并渲染与所述外点相邻的其它MC立方体生成切面。
结合第一方面，在第一方面的第二种可能实现方式中，当所述手术器械为缝合针时，所述方法还包括：
将碰撞检测的碰撞位置确定为标记点，并将所述标记点与所述标定点的预定范围内的PBD粒子绑定；
在拉紧伤口过程中，相邻的两个标记点以及与所述标定点绑定的PBD粒子向连接所述两个标记点的绳子的中部方向发生移动，更新PBD粒子的位置得到变形的模型；
通过MC移动立方体法对变形的模型进行实时渲染。
结合第一方面的第二种可能实现方式，在第一方面的第三种可能实现方式中，所述方法还包括：
在缝合针和/或缝合线上，按照预定的间隔设置多个定位点；
当穿刺点与标定点的距离大于预定距离时，所述穿刺点由第一定位点滑向第二定位点，直至所有定位点完全穿过软体，其中，所述穿刺点为软体表面与缝合针或缝合线接触的点；
根据第一定位点和第二定位点的序号确定缝合针或缝合线为穿入或穿出状态。
结合第一方面，在第一方面的第四种可能实现方式中，所述手术仿真方法还包括：
通过图像处理单元GPU的多线程并行计算每个MC立方体的三角形面片的位置信息；
通过i*sizeY*sizeZ+j*sizeZ+k记录存储单个的MC立方体的位置信息，通过建立包括三角面的序号的数组存储三角面的位置信息，其中，其中sizeY、sizeZ分别代表整体网格的长度和高度，i、j、k表示MC立方体的当前序号；
将所述MC立方体的位置信息和所述三角面的位置信息发送至处理器CPU进行渲染。
结合第一方面，在第一方面的第五种可能实现方式中，所述获取CT扫描的图像，根据MC移动立方体法对所述图像进行三维重建和渲染，得到三维仿真模型的步骤包括：
获取CT扫描的图像，截取目标对象所在的区域；
通过MC移动立方体法生成包括多个MC立方体构成的整体立方体，平行于水平面的MC立方体的截面对应于所述CT扫描的图像，确定每个MC立方体顶点位置的灰度值；
根据公式确定MC立方体中的三角面，根据所述三角面生成三维仿真模型表面。
本申请实施例的第二方面提供了一种手术仿真装置，其特征在于，所述肺叶切除手术仿真系统包括：
三维仿真模型建立单元，用于获取CT扫描的图像，根据MC移动立方体法对所述图像进行三维重建和渲染，得到三维仿真模型；
位置确定单元，用于当检测手术器械与所述三维仿真模型碰触时，通过PBD动力位置学方法更新变形过程中的PBD粒子的位置，确定变形的模型；
形变效果生成单元，用于通过MC移动立方体法对变形的模型进行实时的渲染。
结合第二方面，在第二方面的第一种可能实现方式中，当所述手术器械为切割器械时，所述形变效果生成单元包括：
碰触位置记录子单元，用于当检测到所述切割器械与三维仿真模型碰触时，记录所述切割器械的碰触位置；
相交判断子单元，用于通过多帧图像中所述切割器械的碰触位置确定切割面，判断所述切割面是否与MC立方体的网格线段相交；
渲染子单元，用于如果所述切割面与MC立方体的网格线段相交，则移除网络线段所包含的PBD映射关系，将相交的网格线段的两端的顶点设置为外点，并渲染与所述外点相邻的其它MC立方体生成切面。
本申请实施例的第三方面提供了一种手术仿真系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面任一项所述手术仿真方法的步骤。
本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项所述手术仿真方法的步骤。
本申请实施例与现有技术相比存在的有益效果是：通过采用MC移动立方体法对CT扫描的图像进行三维重建和渲染，得到三维仿真模型，并且在仿真操作过程中，通过PBD位置动力学方法更新碰触过程中的PBD粒子的位置，确定变形的模型，再通过MC移动立方体法对变形的模型进行实时的渲染，实时生成三维仿真模型的碰触变形效果，从而能够有效的满足手术训练者对完整的电视胸腔镜肺叶切除手术仿真场景的训练要求。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种手术仿真方法的实现流程示意图；
图2a-2c是本申请实施例提供的生成的三维仿真肺叶及形变效果示意图；
图3是本申请实施例提供的手术器械与软组织碰撞效果示意图；
图4是本申请实施例提供的一种生成三维仿真模型的切割仿真效果的实现流程示意图；
图5是本申请实施例提供的一种生成三维仿真模型的缝合仿真效果的实现流程示意图；
图6a-6c为本申请实施例提供的软组织缝合示意图；
图7为本申请实施例提供的一种查找表中的数组存储结构示意图；
图8为本申请实施例提供的一种手术仿真装置的结构示意图；
图9是本申请实施例提供的手术仿真设备的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。
图1为本申请实施例提供的一种手术仿真方法的实现流程示意图，详述如下：
在步骤S101中，获取CT扫描的图像，根据MC移动立方体法对所述图像进行三维重建和渲染，得到三维仿真模型；
具体的，本申请所述CT扫描的图像，可以为基于肺叶所在部位的多张CT扫描图像。可以根据CT扫描图像的扫描间距，确定MC立方体的高度，使得每个MC立方体的八个顶点位于CT扫描图像上，从而能够对MC立方体的顶点的灰度值进行比较，确定所述MC立方体的顶点是否处于等值面内部或外部。获取三维仿真模型的步骤具体可以包括：
1.1获取CT扫描的图像，截取目标对象所在的区域；
其中，获取所述CT扫描的图像后，可以根据目标对象所在的区域，对图像进行二值化处理，即将属于目标区域，比如属于肺叶区域的像素点二值化处理为1，将不属于肺叶区域的像素点二值化处理为0，根据二值化处理结果，即可得到目标对象所在的区域。
1.2通过MC(英文全称为：Marching Cube，中文全称为移动立方体)法生成包括多个MC立方体构成的整体立方体，平行于水平面的MC立方体的截面对应于所述CT扫描的图像，确定每个MC立方体顶点位置的灰度值；
所述MC移动立方体法是指根据获取的多张图像的距离，得到多张图像构成的立体叠加图像，通过选用一个大的立方体，即本申请中的整体立方体，包裹所述立体叠加图像中的目标对象。其中，所述整体立方体由多个体积较小的MC立方体(也可称为体素)构成。所述MC立方体的高度设置为相邻两个扫描图像的距离，这样可以有效的使得MC立方体的所有顶点的位置位于所获取的图像中。由于图像中的灰度值是确定的，根据MC立方体中每个顶点的坐标位置，可以确定所述顶点所在坐标位置对应的图像中的灰度值。
1.3根据公式确定MC立方体中的三角面，根据所述三角面生成三维仿真模型表面。
在确定了所述MC立方体的顶点的坐标位置所对应的图像的灰度值后，可以根据预先确定的等值，即目标对象与非目标对象的灰度分割值，来对MC立方体的12条边进行计算，确定MC立方体中的三角面。所述三角面即为目标对象在每个MC立方体处对应的边界面，即等值面与MC立方体相交所形成的面。根据多个MC立方体的三角面生成三维仿真模型表面，通过MC移动立方体法渲染后的肺叶模型如图2a所示。
其中，在确定所述等值面与MC立方体的交点位置时，可以利用线性插值原理，等值面与MC立方体(体素)的交点坐标可以通过顶点坐标计算得到，计算公式如下：
P＝P1+(isovalue-V1)(P2-P1)/(V2-V1)
其中，P代表MC立方体上的等值点(即等值面与MC立方体相交的点)的坐标，P1，P2代表MC立方体的一条边上的两个顶点的坐标，V1，V2代表两个端点的灰度值，isovalue代表等值面上的等值。
在步骤S102中，当检测手术器械与所述三维仿真模型碰触时，通过PBD动力位置学方法更新变形过程中的PBD粒子的位置，确定变形的模型；
在本申请中，为了使手术器械的使用可靠有效，本申请将手术器械构建为刚体模型，将三维仿真模型的目标对象构建为软体，可以通过AABB包围盒检测方法，记录手术器械的位置。当手术器械接近软体时触发碰撞检测，并记录手术器械的碰撞位置。手术器械在向软体内移动时，软体表面若干个离手术器械最近的PBD粒子会跟随手术器械移动，如图3所示，位于物体表面的纹理受到手术器械的碰撞，结合PBD约束，使得PBD粒子的位置的发生改变，通过不断更新PBD粒子的位置从而保证了碰撞导致的形变效果。
本申请可以通过力反馈设备追踪手术器械与目标对象交互，即当手术器械进行切割、缝合等操作时，通过力反馈设备将切割产生的反馈力、缝合产生的反馈力，通过力反馈设备作用于手术器械，使得用户能够有效的感受到当前操作的真实性。
本申请中，通过建立PBD粒子与MC立方体的对应关系，即每个MC立方体对应一个或者多个PBD粒子，通过PBD动力位置学方法，确定每个PBD粒子的实时位置。
本申请直接利用MC立方体作为PBD粒子，再通过粒子之间的相互作用来建立软组织变形过程的约束。所以软体的变形过程需要计算大量的粒子位置，本申请可以选取合适的采样粒子数量，使用Marching Cube(MC移动立方体法)平滑图像。如果软组织想要具有真实特征，比如肺叶组织的特性，需要每帧计算渲染的网格框架，本申请建立Marching Cube网格与粒子的映射关系，使得Marching Cube立方体的运动紧跟着PBD粒子，在PBD粒子移动时我们用同样的三角剖分来提取表面。通过PBD的方法采用粒子来模拟器官软组织属性，可以使手术的模拟更加真实，同时有助于使用统一的方法组构建具有多种对象的混合场景及交互，我们可以自定义粒子间距的大小，从而能够适用于表达更大的物体。图2b和图2c为经过Marching Cubes立方体和PBD粒子的映射后，实现对目标对象碰触的效果示意图，图2b通过较小作用力的碰触，使得目标对象(软组织模型)发生较小程度的形变，图2c通过较大作用力的碰触，使得目标对象(软组织模型)发生较大程度的形变。
在步骤S103中，通过MC移动立方体法对变形的模型进行实时的渲染。
当手术器械为切割器械时，我们对其进行切割操作模拟，切割过程产生的变化同样是基于PBD方法不断修改约束条件来维持粒子的拓扑结构，生成三维仿真模型的碰触形变效果的实现流程如图4所示，包括：
在步骤S401中，当检测到所述切割器械与三维仿真模型碰触时，记录所述切割器械的碰触位置；
在步骤S402中，通过多帧图像中所述切割器械的碰触位置确定切割面，判断所述切割面是否与MC立方体的网格线段相交；
在步骤S403中，如果所述切割面与MC立方体的网格线段相交，则移除网络线段所包含的PBD映射关系，将相交的网格线段的两端的顶点设置为外点，并渲染与所述外点相邻的其它MC立方体生成切面。
为了精确判定切割位置，当手术器械触发软体表面的碰撞检测时，我们记录图像中的手术器械每帧的位置，通过每帧之间位置的变化，形成切面，判断所述切面是否与PBD对应的Marching Cubes网格线段(通过MC移动立方体法的等值面与MC立方体相切后所得到的位于目标对象表面的线段)相交，若相交则移除相交线段所包含的PBD映射关系。同时，切割过程也会伴随着软组织的渲染变化，通过标记移除PBD线段两端的顶点，使这些顶点在Marching Cubes立方体上设置为外点。由于Marching Cubes算法中当一个立方体所有的顶点都为外点时，将不会产生三角面，而与外点相邻的其他立方体由于一些顶点的改变，将会产生新的三角面，由此可以产生切口，并可以重新渲染在目标对象处所产生的两个新的切面。手术器械向下移动过程中，与MC立方体构成的目标对象的表面网格线相交，则移除相交部位所对应的PBD约束关系，并将移除的PBD线段两端的端点设置为外点。
另外，当所述手术器械为缝合针时，所述生成三维仿真模型的碰触形变效果的实现流程如图5所示，包括：
在步骤S501中，将碰撞检测的碰撞位置确定为标记点，并将所述标记点与所述标定点的预定范围内的PBD粒子绑定；
在步骤S502中，在拉紧伤口过程中，相邻的两个标记点以及与所述标定点绑定的PBD粒子向连接所述两个标记点的绳子的中部方向发生移动，更新PBD粒子的位置得到变形的模型；
在步骤S503中，通过MC移动立方体法对变形的模型进行实时渲染。
在完成了对目标对象(比如肺叶)的切割操作后，在一次完整的手术中，还需要对切口进行缝合。缝合过程的形变效果，本申请可以基于PBD方法，不断修改约束条件来维持粒子的拓扑结构，在肺叶切除术手术过程中，包括训练人员通过手术夹夹取缝合针。在缝合好切口后，固定后拉紧缝合线，最后剪断缝合线，缝合过程结束。为了模拟和仿真手术过程，如图6(a)所示，本申请可以通过手术夹拾取缝合针，使得缝合针跟随夹子移动。当针尖穿入或穿出软体(目标对象)时，检测到所述针尖与所述软体表面网格发生碰撞。记录所述针尖与所述软体表面风格的碰撞的点的坐标，并标记为标记点，并使最近的PBD粒子与其绑定，再通过优先搜索的方式找到附近的若干个PBD粒子并将其绑定，或者也可以直接确定所述标记点预定范围内的PBD粒子与其绑定。
在缝合过程中，所述标记点被约束在针的轴线上，标记点跟随针上的首个定位点(针尖)移动，当移动距离超过预定的距离时，根据当前标记点所在的定位点的移动方向判断进出，使标记点所在的定位点移动到上一个点或下一个点(即使得定位点沿缝合针的末端方向发生移动)，使能够有效的模拟仿真缝合针在穿入和穿出目标对象。
当缝合针完全穿过软体表面时，标记点开始选择绳子上的第一个点进行移动，再通过与针约束标记点相同的方法选取绳子上的点来移动标记点。
所述绳子的移动速度为单位时间内，标记点到针末端的绳子的绳长的变化量，通过判断相邻两个标记点的距离跟对应的之间的绳子的长度来判断绳子是否被拉紧,并决定后段绳子是否移动。在穿刺步骤完成后，需要使缝合线所连接的切口两端拉紧，通过手术剪刀每两帧之间的位置形成切面，可以在缝合针和/或缝合线上，按照预定的间隔设置多个定位点；当穿刺点与标定点的距离大于预定距离时，所述穿刺点由第一定位点滑向第二定位点，直至所有定位点完全穿过软体，其中，所述穿刺点为软体表面与缝合针或缝合线接触的点；根据第一定位点和第二定位点的序号确定缝合针或缝合线为穿入或穿出状态。
如图6(c)所示。缝合完成之后绳子末端使用固定夹固定，并且拉紧绳子首端，对切口一侧的软体表面及软体切面标记点的局部范围内的点施加绳子移动方向的力。
作为本申请优选的一种实施方式，还可以包括对显示进行加速的步骤，即通过图像处理单元GPU进行并行处理加速显示。
由于用Marching Cube体素(MC立方体)建模所产生的离散体素总量巨大，计算处理比较耗时，难以满足仿真的实时性需求，考虑到每个体素所需要的计算方法是一致的，所以本申请针对此问题提出GPU并行编程的解决方案。在GPU算法的设计过程中，减少CPU和GPU之间的通信开销，减少主内存总线上传输的数据量是至关重要的。由于软组织的形变和切割过程需要每帧重新计算Marching Cube渲染的网格框架，导致大部分的运算量消耗在通过确定体素的哪些边与等值面相交，并且创建三角形面片的过程。从节点数据结构出发，我们分析每个体素所要做的计算及三角形面片显示要求，发现计算过程中类同项较多，能较好的适用于GPU并行计算，每一个通过体素的具体计算三角形面片的过程完全可以交给线程独立去完成，而多线程处理并举方能实现离散建模总任务。
为了减少通讯开销，尽可能地将数据保存在GPU上。本申请的虚拟场景可以基于Unity平台搭建，在初始化阶段，在Unity中的Compute Shader上加载Marching Cube的所有查找表，即将MC立方体的所有可能的切割方式预先存储在GPU，并且每帧将PBD点的位置传输到Compute Shader上，之后我们在GPU上更新数据结构。
本申请将每个立方体为一个单位以i*sizeY*sizeZ+j*sizeZ+k的顺序记录，其中sizeY、sizeZ分别代表整体网格的长度和高度，i、j、k表示当前序号。一个立方体内的等效表面的连接方式的查找表长度为256，其中表内是每组长度为16的数组，按顺序每三个数值记录一个三角面片的三个点的编号，若为空则使用“-1”表示。通过查找表的储存结构创建数组用来记录建立三角面片的位置信息，其中每组按顺序记录每个立方体。图7为其中某组的存储示意图，表示这组数据所存放的立方体中生成3个三角面，其中P1、P2、P3表示MC立方体中一个三角面的空间位置信息。CPU通过获取上述数组，获取其每个立方体所生成三角面的空间位置进行渲染。
为了验证本申请通过GPU加速后对系统性能的影响，我们通过GPU加速运行与完全在CPU运行进行了比较测试，如下表所示，采用GPU加速之后，系统的整体运行速度有较大的提高，具有较好的系统稳定性。
Figure BDA0001796394570000111
Figure BDA0001796394570000121
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
图8为本申请实施例提供的一种手术仿真系统的结构示意图，详述如下：
所述手术仿真系统，包括：
三维仿真模型建立单元801，用于获取CT扫描的图像，根据MC移动立方体法对所述图像进行三维重建和渲染，得到三维仿真模型；
位置确定单元802，用于当检测手术器械与所述三维仿真模型碰触时，通过PBD动力位置学方法更新变形过程中的PBD粒子的位置，确定变形的模型；
形变效果生成单元803，用于通过MC移动立方体法对变形的模型进行实时的渲染。
优选的，当所述手术器械为切割器械时，所述形变效果生成单元包括：
碰触位置记录子单元，用于当检测到所述切割器械与三维仿真模型碰触时，记录所述切割器械的碰触位置；
相交判断子单元，用于通过多帧图像中所述切割器械的碰触位置确定切割面，判断所述切割面是否与MC立方体的网格线段相交；
渲染子单元，用于如果所述切割面与MC立方体的网格线段相交，则移除网络线段所包含的PBD映射关系，将相交的网格线段的两端的顶点设置为外点，并渲染与所述外点相邻的其它MC立方体生成切面。
图8所述手术仿真系统，与上述手术仿真方法对应。
图9是本申请一实施例提供的手术仿真设备的示意图。如图9所示，该实施例的手术仿真设备9包括：处理器90、存储器91以及存储在所述存储器91中并可在所述处理器90上运行的计算机程序92，例如手术仿真程序。所述处理器90执行所述计算机程序92时实现上述各个手术仿真方法实施例中的步骤，例如图1所示的步骤101至103。或者，所述处理器90执行所述计算机程序92时实现上述各装置实施例中各模块/单元的功能，例如图8所示模块801至803的功能。
示例性的，所述计算机程序92可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器91中，并由所述处理器90执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序92在所述手术仿真设备9中的执行过程。例如，所述计算机程序92可以被分割成，各单元具体功能如下：
所述手术仿真设备可包括，但不仅限于，处理器90、存储器91。本领域技术人员可以理解，图9仅仅是手术仿真设备9的示例，并不构成对手术仿真设备9的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述手术仿真设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器90可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器91可以是所述手术仿真设备9的内部存储单元，例如手术仿真设备9的硬盘或内存。所述存储器91也可以是所述手术仿真设备9的外部存储设备，例如所述手术仿真设备9上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器91还可以既包括所述手术仿真设备9的内部存储单元也包括外部存储设备。所述存储器91用于存储所述计算机程序以及所述手术仿真设备所需的其他程序和数据。所述存储器91还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种手术仿真方法，其特征在于，所述手术仿真方法为肺叶切除手术仿真方法，所述手术仿真方法包括：
获取CT扫描的图像，根据MC移动立方体法对所述图像进行三维重建和渲染，得到三维仿真模型；
建立PBD粒子与MC立方体的对应关系，当检测手术器械与所述三维仿真模型碰触时，通过PBD动力位置学方法更新变形过程中的PBD粒子的位置，使MC立方体的运动紧跟PBD粒子，确定变形的模型，其中，通过MC移动立方体法生成包括多个MC立方体的整体立方体，所述整体立方体由多个体积较小的MC立方体构成，每个MC立方体的八个顶点位于CT扫描图像上，MC立方体的高度设置为相邻两个扫描图像的距离，所述PBD粒子用于通过PBD的方法模拟器官软组织属性；
通过MC移动立方体法对变形的模型进行实时的渲染。
2.根据权利要求1所述的手术仿真方法，其特征在于，当所述手术器械为切割器械时，通过MC移动立方体法对变形的模型进行实时的渲染的步骤包括：
当检测到所述切割器械与三维仿真模型碰触时，记录所述切割器械的碰触位置；
通过多帧图像中所述切割器械的碰触位置确定切割面，判断所述切割面是否与MC立方体的网格线段相交；
如果所述切割面与MC立方体的网格线段相交，则移除网络线段所包含的PBD映射关系，将相交的网格线段的两端的顶点设置为外点，并渲染与所述外点相邻的其它MC立方体生成切面。
3.根据权利要求1所述的手术仿真方法，其特征在于，当所述手术器械为缝合针时，所述方法还包括：
将碰撞检测的碰撞位置确定为标记点，并将所述标记点与所述标记点的预定范围内的PBD粒子绑定；
在拉紧伤口过程中，相邻的两个标记点以及与所述标记点绑定的PBD粒子向连接所述两个标记点的绳子的中部方向发生移动，更新PBD粒子的位置得到变形的模型；
通过MC移动立方体法对变形的模型进行实时渲染。
4.根据权利要求3所述的手术仿真方法，其特征在于，所述方法还包括：
在缝合针和/或缝合线上，按照预定的间隔设置多个定位点；
当穿刺点与标定点的距离大于预定距离时，所述穿刺点由第一定位点滑向第二定位点，直至所有定位点完全穿过软体，其中，所述穿刺点为软体表面与缝合针或缝合线接触的点；
根据第一定位点和第二定位点的序号确定缝合针或缝合线为穿入或穿出状态。
5.根据权利要求1所述的手术仿真方法，其特征在于，所述手术仿真方法还包括：
通过图像处理单元GPU的多线程并行计算每个MC立方体的三角形面片的位置信息；
通过i*sizeY*sizeZ+j*sizeZ+k记录存储单个的MC立方体的位置信息，通过建立包括三角面的序号的数组存储三角面的位置信息，其中，其中sizeY、sizeZ分别代表整体网格的长度和高度，i、j、k表示MC立方体的当前序号；
将所述MC立方体的位置信息和所述三角面的位置信息发送至处理器CPU进行渲染。
6.根据权利要求1所述的手术仿真方法，其特征在于，所述获取CT扫描的图像，根据MC移动立方体法对所述图像进行三维重建和渲染，得到三维仿真模型的步骤包括：
获取CT扫描的图像，截取目标对象所在的区域；
通过MC移动立方体法生成包括多个MC立方体构成的整体立方体，平行于水平面的MC立方体的截面对应于所述CT扫描的图像，确定每个MC立方体顶点位置的灰度值；
根据公式确定MC立方体中的三角面，根据所述三角面生成三维仿真模型表面。
7.一种手术仿真装置，其特征在于，所述手术仿真装置为肺叶切除手术仿真装置，所述手术仿真装置包括：
三维仿真模型建立单元，用于获取CT扫描的图像，根据MC移动立方体法对所述图像进行三维重建和渲染，得到三维仿真模型；
位置确定单元，用于建立PBD粒子与MC立方体的对应关系，当检测手术器械与所述三维仿真模型碰触时，通过PBD动力位置学方法更新变形过程中的PBD粒子的位置，使MC立方体的运动紧跟PBD粒子，确定变形的模型，其中，通过MC移动立方体法生成包括多个MC立方体的整体立方体，所述整体立方体由多个体积较小的MC立方体构成，每个MC立方体的八个顶点位于CT扫描图像上，MC立方体的高度设置为相邻两个扫描图像的距离，所述PBD粒子用于通过PBD的方法模拟器官软组织属性；
形变效果生成单元，用于通过MC移动立方体法对变形的模型进行实时的渲染。
8.根据权利要求7所述的手术仿真装置，其特征在于，当所述手术器械为切割器械时，所述形变效果生成单元包括：
碰触位置记录子单元，用于当检测到所述切割器械与三维仿真模型碰触时，记录所述切割器械的碰触位置；
相交判断子单元，用于通过多帧图像中所述切割器械的碰触位置确定切割面，判断所述切割面是否与MC立方体的网格线段相交；
渲染子单元，用于如果所述切割面与MC立方体的网格线段相交，则移除网络线段所包含的PBD映射关系，将相交的网格线段的两端的顶点设置为外点，并渲染与所述外点相邻的其它MC立方体生成切面。
9.一种手术仿真系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述手术仿真方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述手术仿真方法的步骤。
CN201811058325.XA 2018-09-11 2018-09-11 一种手术仿真方法、装置和系统 Active CN109243614B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811058325.XA CN109243614B (zh) 2018-09-11 2018-09-11 一种手术仿真方法、装置和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811058325.XA CN109243614B (zh) 2018-09-11 2018-09-11 一种手术仿真方法、装置和系统

Publications (2)

Publication Number Publication Date
CN109243614A CN109243614A (zh) 2019-01-18
CN109243614B true CN109243614B (zh) 2020-07-31

Family

ID=65061360

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811058325.XA Active CN109243614B (zh) 2018-09-11 2018-09-11 一种手术仿真方法、装置和系统

Country Status (1)

Country Link
CN (1) CN109243614B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110070777B (zh) * 2019-06-13 2021-07-09 大连民族大学 一种赫哲族鱼皮画仿真培训系统及实现方法
CN110164557B (zh) * 2019-07-08 2022-05-31 杭州爱卓科技有限公司 隐式表面算法用于仿真模拟软组织手术路径规划的方法
CN115457189B (zh) * 2022-11-11 2023-03-24 四川大学 一种基于团着色的pbd骨骼驱动软体仿真系统及方法
CN116612825B (zh) * 2023-07-19 2023-10-13 四川省产品质量监督检验检测院 分子静电势等值面点云的碰撞点检测和碰撞体积计算方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102207997A (zh) * 2011-06-07 2011-10-05 哈尔滨工业大学 基于力反馈的机器人微创手术仿真系统
CN102254476A (zh) * 2011-07-18 2011-11-23 广州赛宝联睿信息科技有限公司 内窥镜微创手术模拟训练方法及其系统
CN102855353A (zh) * 2012-08-20 2013-01-02 上海交通大学 一种埋藏式缝合技术的实时模拟方法
CN103065305A (zh) * 2012-12-25 2013-04-24 上海交通大学 虚拟手术训练系统中基于四面体的组织模型切割方法
CN105321415A (zh) * 2014-08-01 2016-02-10 卓思生命科技有限公司 一种手术模拟系统及方法
CN105559887A (zh) * 2015-12-11 2016-05-11 哈尔滨工业大学 用于手术机器人的基于力反馈的手术切割训练系统及方法
CN105931517A (zh) * 2016-06-17 2016-09-07 重庆金山科技（集团）有限公司 一种外科手术虚拟仿真方法及系统
CN106448403A (zh) * 2016-12-14 2017-02-22 四川大学华西医院 一种用于模拟胸腔镜手术的训练器
CN107705855A (zh) * 2017-09-21 2018-02-16 北京众绘虚拟现实技术研究院有限公司 一种支持个性化的经皮冠状动脉成形术模拟训练系统及方法
CN108010587A (zh) * 2017-12-04 2018-05-08 福州大学 基于ct影像的盆腔手术视觉导航仿真视频的制备方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102207997A (zh) * 2011-06-07 2011-10-05 哈尔滨工业大学 基于力反馈的机器人微创手术仿真系统
CN102254476A (zh) * 2011-07-18 2011-11-23 广州赛宝联睿信息科技有限公司 内窥镜微创手术模拟训练方法及其系统
CN102855353A (zh) * 2012-08-20 2013-01-02 上海交通大学 一种埋藏式缝合技术的实时模拟方法
CN103065305A (zh) * 2012-12-25 2013-04-24 上海交通大学 虚拟手术训练系统中基于四面体的组织模型切割方法
CN105321415A (zh) * 2014-08-01 2016-02-10 卓思生命科技有限公司 一种手术模拟系统及方法
CN105559887A (zh) * 2015-12-11 2016-05-11 哈尔滨工业大学 用于手术机器人的基于力反馈的手术切割训练系统及方法
CN105931517A (zh) * 2016-06-17 2016-09-07 重庆金山科技（集团）有限公司 一种外科手术虚拟仿真方法及系统
CN106448403A (zh) * 2016-12-14 2017-02-22 四川大学华西医院 一种用于模拟胸腔镜手术的训练器
CN107705855A (zh) * 2017-09-21 2018-02-16 北京众绘虚拟现实技术研究院有限公司 一种支持个性化的经皮冠状动脉成形术模拟训练系统及方法
CN108010587A (zh) * 2017-12-04 2018-05-08 福州大学 基于ct影像的盆腔手术视觉导航仿真视频的制备方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"A robust method for real-time thread simulation";Kubiak B .et al;《Proceedings of the 2007 ACM symposium on Virtual reality software and technology》;20071130;第85-88页 *
"虚拟手术中软组织形变建模方法的研究";张建国;《中国博士学位论文全文数据库 医药卫生科技辑》;20180615(第6期);参见第1-5章 *

Also Published As

Publication number Publication date
CN109243614A (zh) 2019-01-18

Similar Documents

Publication Publication Date Title
CN109243614B (zh) 一种手术仿真方法、装置和系统
CN104794758B (zh) 一种三维图像的裁剪方法
JP3483929B2 (ja) ３次元画像生成方法
CN109584349B (zh) 用于渲染材料属性的方法和设备
US8149237B2 (en) Information processing apparatus and program
JP2009116856A (ja) 画像処理装置、画像処理方法
CN113034656A (zh) 游戏场景中光照信息的渲染方法、装置及设备
CN102397082B (zh) 生成方位指示图的方法及装置及超声三维成像方法及系统
CN110298922A (zh) 一种三维模型简化方法、装置及设备
Vilanova et al. VirEn: A virtual endoscopy system
CN113379929B (zh) 一种基于物理仿真的骨组织修复虚拟现实解决方法
JP2006072577A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
CN108805876A (zh) 使用生物力学模型的磁共振和超声图像的可形变配准
JP2012245374A (ja) 生体データモデル作成方法及びその装置並びに生体データモデルのデータ構造及び生体データモデルのデータ格納装置並びに三次元データモデルの負荷分散方法及びその装置
CN108389203B (zh) 三维虚拟器官的体积计算方法、装置、存储介质及设备
CN108064148A (zh) 用于体外受精的图像引导的胚胎转移
Wang et al. Design and application of bounding volume hierarchy collision detection algorithm based on virtual sphere
KR20110136059A (ko) 3차원 영상 시스템에서 광선 추적 방법 및 장치
CN106920282B (zh) 一种血管数字模型的编辑方法及系统
Kim et al. Fast surface and volume rendering based on shear-warp factorization for a surgical simulator
Robb et al. Efficient shape-based algorithms for modeling patient specific anatomy from 3D medical images: applications in virtual endoscopy and surgery
Reitinger Virtual liver surgery planning: simulation of resections using virtual reality techniques
JPH1027268A (ja) 画像処理方法及び画像処理装置
Goodyer et al. 3D visualization of cardiac anatomical MRI data with para-cellular resolution
Hu et al. 3D Model Dynamic Perforation Simulation Based on Game Engine

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant