CN116983084A - 一种穿支皮瓣三维导航方法和系统 - Google Patents

一种穿支皮瓣三维导航方法和系统 Download PDF

Info

Publication number
CN116983084A
CN116983084A CN202311114850.XA CN202311114850A CN116983084A CN 116983084 A CN116983084 A CN 116983084A CN 202311114850 A CN202311114850 A CN 202311114850A CN 116983084 A CN116983084 A CN 116983084A
Authority
CN
China
Prior art keywords
real
patient
time
dimensional
doctor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311114850.XA
Other languages
English (en)
Inventor
吴咏军
林平
陈磊
赵柏杨
辛妍
王轶湛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Lanjia Medical Technology Co ltd
Jinhua central hospital
Original Assignee
Shanghai Lanjia Medical Technology Co ltd
Jinhua central hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Lanjia Medical Technology Co ltd, Jinhua central hospital filed Critical Shanghai Lanjia Medical Technology Co ltd
Priority to CN202311114850.XA priority Critical patent/CN116983084A/zh
Publication of CN116983084A publication Critical patent/CN116983084A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Robotics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明提供一种穿支皮瓣三维导航方法和系统，通过对手术前病人的CT扫描图像集进行重建得到病人的三维模型；通过全景捕获装置在手术中捕获医生的实时手术操作以及病人的实时体态；把病人的三维模型与实时体态进行匹配，在匹配后的三维模型中同步模拟医生在穿支皮瓣区域的实时手术操作。本发明重建病人的三维模型，在与病人实时体态匹配的三维模型中同步模拟医生在穿支皮瓣区域的实时手术操作，在对穿支血管的定位同时，对医生在手术时起到了实时精准导航作用避免损伤有效穿支血管，从很大程度上降低了手术风险。

Description

一种穿支皮瓣三维导航方法和系统
技术领域
本发明涉及穿支皮瓣技术领域，特别涉及一种穿支皮瓣三维导航方法；此外，本发明还涉及一种穿支皮瓣三维导航系统。
背景技术
穿支皮瓣仅由皮肤和皮下组织组成，皮瓣薄、设计灵活、供区并发症少，巳成为创面覆盖和组织修复重建的首选。尽管现在穿支皮瓣已得到广泛应用和迅速发展，但仍然存在5-10％左右的手术失败率，以及较高的皮瓣远端局部坏死率。主要原因为穿支血管管径细，穿支血管的出肌点及入皮点的不确定性，血管走行路径的多样性,常导致手术中寻找穿支血管时有失败，或者在游离过程中损伤血管，导致血管痉挛及栓塞，皮瓣坏死，手术失败。因此，穿支血管术前的精确评估及定位已成为游离皮瓣前必须进行的工作。
目前应用于穿支血管术前定位的各类仪器及技术，包括便携手提式多普勒超声、彩色多普勒超声、微泡增强彩色多普勒超声、红外线热成像技术、计算机断层扫描血管造影、磁共振血管造影等等，各有优势，有的能明确穿支血管的起源、管径、类型、路径等信息，有的检测能明确穿支血管的出肌点或入皮点等信息。
然而，上述方法都是提供术前的穿支血管的基本信息及定位，并不能在手术中实时模拟精准导航，医生不能够实时看到手术器械在分离肌肉软组织时与其内的穿支血管的相对位置，缺少实时反馈信息，医生对肌肉及脂肪软组织内的穿支血管下一步的走行仍不清楚，操作依赖经验，存在一定的盲目性，从而导致分离肌肉或脂肪软组织游离穿支血管束时不能确保成功，不可避免损伤血管时造成一定的手术失败率，从而限制了穿支皮瓣的临床应用。
发明内容
为了解决现有技术存在的问题，本发明的至少一个实施例提供了一种穿支皮瓣三维导航方法，重建病人的三维模型，在与病人实时体态匹配的三维模型中同步模拟医生在穿支皮瓣区域的实时手术操作，在对穿支血管的定位同时，对医生在手术时起到了实时精准导航作用避免损伤有效穿支血管，从很大程度上降低了手术风险。为此，本发明的至少一种穿支皮瓣三维导航系统。
第一方面，本发明实施例提出一种穿支皮瓣三维导航方法，方法包括：
通过对手术前病人的CT扫描图像集进行重建得到病人的三维模型；
通过全景捕获装置在手术中捕获医生的实时手术操作以及病人的实时体态；
把病人的三维模型与实时体态进行匹配，在匹配后的三维模型中同步模拟医生在穿支皮瓣区域的实时手术操作。
在一些实施例中，本发明提供的穿支皮瓣三维导航方法，通过对手术前病人的CT扫描图像集进行重建得到病人的三维模型包括：
对CT扫描图像集进行重新采样，把每个CT切片图像的分辨率调整为相同分辨率。
在一些实施例中，本发明提供的穿支皮瓣三维导航方法，把每个CT切片图像的分辨率调整为相同分辨率包括：
通过像素插值把每个CT切片图像中的像素间距设置为相同像素间距。
在一些实施例中，本发明提供的穿支皮瓣三维导航方法，全景捕获装置包括通过多组不同位置的摄像组件组成720°全景捕获系统。
在一些实施例中，本发明提供的穿支皮瓣三维导航方法，摄像组件包括双目摄像头和TOF传感器。
在一些实施例中，本发明提供的穿支皮瓣三维导航方法，通过全景捕获装置在手术中捕获医生的实时手术操作包括：
通过已经训练完成的神经网络模型识别医生在实时手术操作时的医疗器械。
在一些实施例中，本发明提供的穿支皮瓣三维导航方法，把病人的三维模型与实时体态进行匹配包括：
把病人的三维模型通过相应方向的旋转与实时体态进行对应匹配。
在一些实施例中，本发明提供的穿支皮瓣三维导航方法，把在匹配后的三维模型中同步模拟医生在穿支皮瓣区域的实时手术操作投影至医生穿戴的AR/MR设备。
第二方面，本发明实施例还提供了一种穿支皮瓣三维导航系统，包括：
重建模块，用于通过对手术前病人的CT扫描图像集进行重建得到病人的三维模型；
捕获模块，用于通过全景捕获装置在手术中捕获医生的实时手术操作以及病人的实时体态；
匹配模块，用于把病人的三维模型与实时体态进行匹配；
模拟模块，用于在匹配后的三维模型中同步模拟医生在穿支皮瓣区域的实时手术操作。
在一些实施例中，本发明提供的穿支皮瓣三维导航系统，重建模块包括：
重新采样模块，用于对CT扫描图像集进行重新采样，把每个CT切片图像的分辨率调整为相同分辨率。
在一些实施例中，本发明提供的穿支皮瓣三维导航系统，重新采样模块包括：
像素间距设置模块，用于通过像素插值把每个CT切片图像中的像素间距设置为相同像素间距。
在一些实施例中，本发明提供的穿支皮瓣三维导航系统，捕获模块模块包括：
摄像组件模块，用于通过多组不同位置的摄像组件组成720°全景捕获系统。
在一些实施例中，本发明提供的穿支皮瓣三维导航系统，捕获模块模块包括：
识别模块，用于通过已经训练完成的神经网络模型识别医生在实时手术操作时的医疗器械。
在一些实施例中，本发明提供的穿支皮瓣三维导航系统，匹配模块包括：
旋转模块，用于把病人的三维模型通过相应方向的旋转与实时体态进行对应匹配。
第三方面，本发明实施例还提供一种穿支皮瓣三维导航装置，包括至少一个处理器；与至少一个处理器耦合的存储器，存储器存储有可执行指令，可执行指令在被至少一个处理器执行时使得实现如上第一方面的任一项方法的步骤。
第四方面，本发明实施例还提供一种芯片，用于执行上述第一方面中方法的步骤。具体地，该芯片包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有该芯片的设备用于执行上述第一方面中方法的步骤。
第五方面，本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上第一方面的任一项方法的步骤。
可见，本发明实施例的一种穿支皮瓣三维导航方法和系统，重建病人的三维模型，在与病人实时体态匹配的三维模型中同步模拟医生在穿支皮瓣区域的实时手术操作，在对穿支血管的定位同时，对医生在手术时起到了实时精准导航作用避免损伤有效穿支血管，从很大程度上降低了手术风险。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1显示为本发明实施例中一种穿支皮瓣三维导航方法的流程图；
图2显示为本发明实施例中摄像组件的示意图；
图3显示为本发明实施例中包含Z坐标位置关系的示意图；
图4显示为本发明实施例中标定物夹角判断的示意图；
图5显示为本发明实施例中区别于90°旋转的示意图；
图6显示为本发明实施例中一种穿支皮瓣三维导航系统的框架示意图。
具体实施方案
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
本方案发明人发现，在现有技术中，现有方法都是提供术前的穿支血管的基本信息及定位，并不能在手术中实时模拟精准导航，医生不能够实时看到手术器械在分离肌肉软组织时与其内的穿支血管的相对位置，缺少实时反馈信息，医生对肌肉及脂肪软组织内的穿支血管下一步的走行仍不清楚，操作依赖经验，存在一定的盲目性，从而导致分离肌肉或脂肪软组织游离穿支血管束时不能确保成功，不可避免损伤血管时造成一定的手术失败率，从而限制了穿支皮瓣的临床应用。本发明实施例提供如下方案：
如图1所示，第一方面，本发明实施例提供一种穿支皮瓣三维导航方法，方法包括：
通过对手术前病人的CT扫描图像集进行重建得到病人的三维模型。CT扫描图像通常是DICOM(Digital Imaging and Communications in Medicine)即医学数字成像和通信，是医学图像和相关信息的国际标准(ISO 12052)。它定义了质量能满足临床需要的可用于数据交换的医学图像格式。DICOM被广泛应用于放射医疗，心血管成像以及放射诊疗诊断设备(X射线，CT，核磁共振，超声等)，并且在眼科和牙科等其它医学领域得到越来越深入广泛的应用。
本发明使用基于python的三维医学影像进行重建。首先需要使用python中pydicom包对DICOM图像进行读取。可以理解的是，此处使用的代码语句为pydicom.dcmread(fileName)，fileName即图像的文件名。通常来说，CT扫描图像是呈有序的切片排列模式，每一个切片都是独立的二维图片。通过对这些二维图片的拼接，实现所需要的三维图像。
实施过程中，因为每个切片的像素间隔可能存在不相同的不确定性，首先就需要将整个数据集重新采样为相同分辨率的切片。
具体的，对CT扫描图像集进行重新采样，把每个CT切片图像的分辨率调整为相同分辨率。通过像素插值把每个CT切片图像中的像素间距设置为相同像素间距。
需要说明的是，这里使用两个函数，即SliceThinkness函数和PixelSpacing函数确定切片厚度和像素间距。设置切片的像素间距为new_spacing＝[1,1,1]。最终通过scipy包中scipy.ndimage.interpolation.zoom方法，将所有的CT扫描图像集进行集中化的分辨率重新定义。通过定义确定的分辨率之后，降低因为不同CT切片厚度不同导致在处理图像以及三维重建时出现的各类错误的概率。
需要解释的是，因为对原始数据集重新进行了分辨率的调整，使用的方法scipy.ndimage.interpolation.zoom是针对N维图像，根据所计算的新尺寸进行重新的像素插值使得图片缩放，具体过程如下：
spacing＝np.array([scan[0].SliceThinckness]+scan[0].PixelSpacing,dtype＝np.float32)，该代码的作用是计算各图像中像素间距；
resize_f＝spacing/[1,1,1]，该代码的作用是计算调整倍数；
new_shape＝np.round(image.shape*resize_f)，该代码的作用是计算根据新调整参数得到的图像倍数；
resize_f＝new_shape/image.shape，该代码的作用是计算原图像参数与新的图像参数的倍数值；
new_spacing_f＝spacing/resize_f，该代码的作用是计算新的图像的像素间距参数值；
image＝scipy.ndimage.interpolation.zoom(image,resize_f,mode＝‘nearest’)，该代码的作用是对图像进行按照计算后倍数后进行缩放。
通过以上代码即可完成对于不同像素间距的CT扫描图片的重新像素间距调整，使得最终处理过后的像素数据间距为[1,1,1]。
进一步地，通过对每一张图片进行三维的重构计算，能够将原本不统一的像素间距与图像参数的图片整合成计算机在三维重建前所需的统一像素间距与图相参数的图片。在完成上述的图片参数调整之后，就可以通过matplotlib在三维空间进行模型的重建。
在mpl_toolkits中有一个专门为三维重建设计的函数，即Poly3DCollection函数，同时使用marching_cube算法。此算法的主要作用就是在三维离散数据场中提取等值面。运算过程中，将通过此算法逐个处理数据场中的每一个立方体，分离出与等值面相交的立方体，随后采用插值计算出等值面与立方体边的交点。根据立方体每一个顶点与等值面的想对位置，将等值面与立方体边的交点连接生成新的等值面。需要解释的是，根据不同的图像类型，不同的阈值就会得到不同的结果。在与断层扫描相关的应用场景中，使用的辐射密度量度为hounsfield(HU)，对应不同的辐射密度对应不同的人体组织和结构。例如肌肉组织的辐射密度在+35～+45，肺的辐射密度在-700～-600。根据所需重建的组织部位或结构，调整参数，即可获得相对应的信息内容。
在完成上述的调整之后，就可以获得所有原始的预处理过后的图像信息，此时再通过matplotlib函数进行三维坐标的重绘，就能够得到一个重建后的三维图像。具体过程代码如下：
axis＝fig.add_subplot(111,projection＝‘3d’)，该代码的作用是设置最终画布的网格尺寸为1x1的第一格；
axis.set_xlim(0,p.shape[0])，该代码的作用是获取图像维度一数据；
axis.set_ylim(0,p.shape[1])，该代码的作用是获取图像维度二数据；
axis.set_zlim(0,p.shape[2])。该代码的作用是获取图像维度三数据。
通过三维重建后，将三维图像实时的传递到医生的穿戴设备或者全息投影装置中。通过智能穿戴设备，例如智能眼镜和全息投影仪，可以将三维图像实时的展现在操作者的面前。
通过全景捕获装置在手术中捕获医生的实时手术操作以及病人的实时体态。全景捕获装置包括通过多组不同位置的摄像组件组成720°全景捕获系统，摄像组件包括双目摄像头和TOF传感器。
如图2所示，使用十组摄像组件按图中位置进行设置，图中的圈代表摄像组件，在图中央的矩形代表目标人和物。每一组摄像头都配备双目成像系统同时配备ToF传感器。通过ToF传感器对目标进行实时的测距，通过双目摄像头实时计算画面中目标人和物的真实距离变化。
进一步地，通过已经训练完成的神经网络模型识别医生在实时手术操作时的医疗器械，提高对于各类操作的精准捕捉。具体的，使用TensorFlow学习框架对标定物进行学习，标定物为医生在实时手术操作时的医疗器械，例如手术刀、镊子等。
TensorFlow是一个基于数据流编程(dataflow programming)的机器学习算法。通过对输入数据进行层层的解析，通过一系列模型的计算最终获得对应学习结果。此算法被广发用于各种物体识别的应用中。本发明通过TensorFlow对手术室中常用的医疗器械进行识别。通过识别此类相关的医疗器械，将医生的操作投影至三维模型中，从而达到实时、准确的在视觉系统中反馈操作的实际位置。
在完成对于标定物的识别追踪后，展开对于任一点在三维空间中的位置变化的研究。
通过(x,y,z)的三点坐标位置可以确定具体的详细空间位置信息。在计算两个点在三维空间中的位置关系时，首先我们将两点投影到统一平面上：对于同一空间的两个点，才用俯视角查看时，可以将两个点简单的理解为在同一平面内的两点，这时两个点的距离：
如图3所示，针对两个不同点位的信息还应包含Z坐标的位置关系，对于此问题，通过将俯视视角调整为正面视角可得平面位置关系。此时可以发现，A与B之间存在高度差。通过平面上两点间距离可得：
由此公式结合上述公式，可得：
此时可得两点之间的夹角为：
此时的夹角θ为两点之间相较于地面水平位置的夹角，此夹角是关于Z轴的位置关系。另外，还需要计算在平面位置上的夹角，此夹角：
通过θ1与θ2的计算，可以得到在整个三维立体坐标系中，在水平位置和垂直位置两个点之间的夹角关系。由此，基于两点的位置关系，包含d(两点在三维空间中的直线距离)、θ1(在垂直平面中的夹角关系)、θ2(在水平位置中的夹角关系)的完整关系量化表示就已经初步形成。
把病人的三维模型与实时体态进行匹配，在匹配后的三维模型中同步模拟医生在穿支皮瓣区域的实时手术操作。
为了实现画面和实际的图像能够保持时时连续的动态对应，在术前对病人的身体进行平面俯视的拍摄。此时拍摄的过程中，对病人身体的穿支皮瓣区域进行标记。标记的原则遵循每个点与点之间均实现同等单位距离的间隔。在后续的实时画面投射中，这些点将会起到非常重要的定位作用。当我们进行整体的三维重建时，我们通过计算机将标记在病人体表的点重新标注到我们的三维模型的外则，此时的具体定位可以由术前标定的医生进行手动的设置和输入。
具体的，把病人的三维模型通过相应方向的旋转与实时体态进行对应匹配。如图4所示，通过上图可以清晰的看到标定物的夹角判断通常情况下分为三种不同的情况。第一种：垂直向下(点B)。第二种：向右偏转(点B1)。第三种，向左偏转(点B2)。针对上述的三种情况，程序需要先行进行判断，我们以点A作为判断的标定位置，获取点A的坐标：A(x1,y1)，获取点B坐标：B(x2,y2)。通过比对点A与点B的x坐标，判断点B位于点A的左侧或者右侧。在完成判断后，通过三角函数计算∠1或∠3的具体角度。在计算之前通过点A与点B的x、y坐标差的绝对值来获得图中a、b的具体数值：
此处仅以∠1作为参照示例，∠3同样可以通过相似的方法计算得出。
在完成计算后，得到的值并不是角度而是弧度，此时通过公式：
得到角度后，最终的偏转角度∠2和∠4还需要通过相减获得：
∠2＝90–angle，
∠4＝90–angle，
完成上述计算过程之后，对图像本身的处理，在处理图像之前，首先要确定接收到的图像实则为带有RGB信息的数组矩阵。随机抽取一个画面得到如下数据：
[[68 74 62]
[76 83 72]
[81 89 79]
…
[255 253 255]
[255 253 255]
[255 253 255]]
数据总计为1920x1080组带有三个数组的矩阵。RGB矩阵数据从0～255表示R(red红色)G(green绿色)与B(blue蓝色)的对应像素点亮度。通过调整每个像素点三色的亮度值从而实现了不同颜色的显示，通过最后的像素点拼凑形成了我们肉眼可见的彩色画面。在这里首先需要将坐标体系完整的转化出来：
如果在程序中需要实现画面90°的一个旋转，上述矩阵则要将像素点进行对应位置的调整，调整后结果如下：
通过程序中代码对矩阵进行计算，配合前文中提到的计算机计算出的实际的标定物的偏转角度，就能够实现对于图像的旋转。上述情况中的转换是针对90°的旋转角，但是在实际的操作过程中，旋转的角度可能是介于0°～360°之间的任一数字。这时候阵列发生的变化需要进行进一步的算法上的优化和调整。首先，整个旋转过程中，依旧以一个点的变换为例，如图5所示。
点A是原本画面中的一个像素点，此像素点在旋转了角度a。在完成旋转之后点A从原来位置出现在了点B的位置。在整个旋转的过程中，任一像素点的位移可以看作是一个点在一个直径为r的圆周上进行运动。首先计算点A在图中的位置：
x1＝cos(c)·r，
y1＝sin(c)·r，
同样，再次计算点B的位置：
x2＝cos(b)·r，
y2＝sin(b)·r，
其中：
∠b＝∠a+∠c，
最后通过计算可得：
x2＝x1·cos(a)+y1·cos(a)，
y2＝-x1·sin(a)+y1·cos(a)。
至此，程序已经解决了整个图像当中任一点通过旋转后发生位置偏移的运动轨迹计算。当获得新的点位坐标后，程序只需要将原来点的RGB矩阵信息，传递到新的点位坐标位置并显示，就能够顺利实现这一个像素点的位置改变。随后通过遍历的方法，将这个图片进行一次完整的遍历，对每一个像素点都进行一次位置的重置，最终就能够得到旋转之后的位置。
在整个程序当中，同时还要兼顾到如果出现标定物消失的情况，此时在程序中设置了两种不同的功能。第一种为：程序将保存当下实时标定物偏移角的具体数值，如果发现标定物体消失在画面中，则图像保存最后标定的角度。按照此角度将整个图片进行锁定。另一种为：当程序无法识别到图片中出现标定物时，程序自动将图片进行归位：即将图片旋转角度设置为0，直接输出从输入源获得的实时图像。上述两种设置都可以在程序中自行进行切换选择。
最后把在匹配后的三维模型中同步模拟医生在穿支皮瓣区域的实时手术操作投影至医生穿戴的AR/MR设备。通过AR增强现实及MR混合现实相关的全息影像技术进行投影展示。
如图6所示，第二方面，本发明实施例还提供一种穿支皮瓣三维导航系统，包括重建模块、捕获模块、匹配模块和模拟模块。重建模块用于通过对手术前病人的CT扫描图像集进行重建得到病人的三维模型；捕获模块模块，用于通过全景捕获装置在手术中捕获医生的实时手术操作以及病人的实时体态；匹配模块用于把病人的三维模型与实时体态进行匹配；模拟模块用于在匹配后的三维模型中同步模拟医生在穿支皮瓣区域的实时手术操作。
重建模块包括重新采样模块，重新采样模块用于对CT扫描图像集进行重新采样，把每个CT切片图像的分辨率调整为相同分辨率。重新采样模块包括像素间距设置模块，像素间距设置模块，用于通过像素插值把每个CT切片图像中的像素间距设置为相同像素间距。
捕获模块模块包括摄像组件模块和识别模块，摄像组件模块用于通过多组不同位置的摄像组件组成720°全景捕获系统；识别模块用于通过已经训练完成的神经网络模型识别医生在实时手术操作时的医疗器械。
匹配模块包括旋转模块，旋转模块用于把病人的三维模型通过相应方向的旋转与实时体态进行对应匹配。
第三方面，本发明实施例还提供一种穿支皮瓣三维导航装置，包括：
至少一个处理器；与至少一个处理器耦合的存储器，存储器存储有可执行指令，其中，可执行指令在被至少一个处理器执行时使得实现本发明第一方面的方法步骤。
本发明实施例提供的一种穿支皮瓣三维导航装置，处理器和存储器可以单独设置，也可以集成在一起。
例如，存储器可以包括随机存储器、闪存、只读存储器、可编程只读存储器、非易失性存储器或寄存器等。处理器可以是中央处理器(Central Processing Unit，CPU)等。或者是图像处理器(Graphic Processing Unit,GPU)存储器可以存储可执行指令。处理器可以执行在存储器中存储的可执行指令，从而实现本文描述的各个过程。
可以理解，本实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是ROM(Read-OnlyMemory，只读存储器)、PROM(ProgrammableROM，可编程只读存储器)、EPROM(ErasablePROM，可擦除可编程只读存储器)、EEPROM(ElectricallyEPROM，电可擦除可编程只读存储器)或闪存。易失性存储器可以是RAM(RandomAccessMemory，随机存取存储器)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如SRAM(StaticRAM，静态随机存取存储器)、DRAM(DynamicRAM，动态随机存取存储器)、SDRAM(SynchronousDRAM，同步动态随机存取存储器)、DDRSDRAM(DoubleDataRate SDRAM，双倍数据速率同步动态随机存取存储器)、ESDRAM(Enhanced SDRAM，增强型同步动态随机存取存储器)、SLDRAM(SynchlinkDRAM，同步连接动态随机存取存储器)和DRRAM(DirectRambusRAM，直接内存总线随机存取存储器)。本文描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
在一些实施方式中，存储器存储了如下的元素，升级包、可执行单元或者数据结构，或者他们的子集，或者他们的扩展集：操作系统和应用程序。
其中，操作系统，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序，包含各种应用程序，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序中。
在本发明实施例中，处理器通过调用存储器存储的程序或指令，具体的，可以是应用程序中存储的程序或指令，处理器用于执行第一方面所提供的方法步骤。
第四方面，本发明实施例还提供一种芯片，用于执行上述第一方面中的方法。具体地，该芯片包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有该芯片的设备用于执行上述第一方面中的方法。
第五方面，本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现本发明第一方面的方法的步骤。
例如，机器可读存储介质可以包括但不限于各种已知和未知类型的非易失性存储器。
综上所述，本发明实施例的一种穿支皮瓣三维导航方法和系统，重建病人的三维模型，在与病人实时体态匹配的三维模型中同步模拟医生在穿支皮瓣区域的实时手术操作，在对穿支血管的定位同时，对医生在手术时起到了实时精准导航作用避免损伤有效穿支血管，从很大程度上降低了手术风险。
本领域技术人员可以明白的是，结合本文中所公开的实施例描述的各示例的单元及算法步骤能够以电子硬件、或者软件和电子硬件的结合来实现。这些功能是以硬件还是软件方式来实现，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以针对每个特定的应用，使用不同的方式来实现所描述的功能，但是这种实现并不应认为超出本申请的范围。
在本申请实施例中，所公开的系统、装置和方法可以通过其它方式来实现。例如，单元的划分仅仅为一种逻辑功能划分，在实际实现时还可以有另外的划分方式。例如，多个单元或组件可以进行组合或者可以集成到另一个系统中。另外，各个单元之间的耦合可以是直接耦合或间接耦合。另外，在本申请实施例中的各功能单元可以集成在一个处理单元中，也可以是单独的物理存在等等。
应理解，在本申请的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请的实施例的实施过程构成任何限定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在机器可读存储介质中。因此，本申请的技术方案可以以软件产品的形式来体现，该软件产品可以存储在机器可读存储介质中，其可以包括若干指令用以使得电子设备执行本申请实施例所描述的技术方案的全部或部分过程。上述存储介质可以包括ROM、RAM、可移动盘、硬盘、磁盘或者光盘等各种可以存储程序代码的介质。
以上内容仅为本申请的具体实施方式，本申请的保护范围并不局限于此。本领域技术人员在本申请所公开的技术范围内可以进行变化或替换，这些变化或替换都应当在本申请的保护范围之内。

Claims (17)

1.一种穿支皮瓣三维导航方法，其特征在于，所述方法包括：
通过对手术前病人的CT扫描图像集进行重建得到病人的三维模型；
通过全景捕获装置在手术中捕获医生的实时手术操作以及病人的实时体态；
把病人的三维模型与实时体态进行匹配，在匹配后的三维模型中同步模拟医生在穿支皮瓣区域的实时手术操作。
2.根据权利要求1所述的穿支皮瓣三维导航方法，其特征在于，通过对手术前病人的CT扫描图像集进行重建得到病人的三维模型包括：
对所述CT扫描图像集进行重新采样，把每个CT切片图像的分辨率调整为相同分辨率。
3.根据权利要求2所述的穿支皮瓣三维导航方法，其特征在于，把每个CT切片图像的分辨率调整为相同分辨率包括：
通过像素插值把每个CT切片图像中的像素间距设置为相同像素间距。
4.根据权利要求1所述的穿支皮瓣三维导航方法，其特征在于：所述全景捕获装置包括通过多组不同位置的摄像组件组成720°全景捕获系统。
5.根据权利要求4所述的穿支皮瓣三维导航方法，其特征在于：所述摄像组件包括双目摄像头和TOF传感器。
6.根据权利要求1所述的穿支皮瓣三维导航方法，其特征在于，通过全景捕获装置在手术中捕获医生的实时手术操作包括：
通过已经训练完成的神经网络模型识别医生在实时手术操作时的医疗器械。
7.根据权利要求1所述的穿支皮瓣三维导航方法，其特征在于，把病人的三维模型与实时体态进行匹配包括：
把病人的三维模型通过相应方向的旋转与实时体态进行对应匹配。
8.根据权利要求1所述的穿支皮瓣三维导航方法，其特征在于，把在匹配后的三维模型中同步模拟医生在穿支皮瓣区域的实时手术操作投影至医生穿戴的AR/MR设备。
9.一种穿支皮瓣三维导航系统，其特征在于，包括：
重建模块，用于通过对手术前病人的CT扫描图像集进行重建得到病人的三维模型；
捕获模块，用于通过全景捕获装置在手术中捕获医生的实时手术操作以及病人的实时体态；
匹配模块，用于把病人的三维模型与实时体态进行匹配；
模拟模块，用于在匹配后的三维模型中同步模拟医生在穿支皮瓣区域的实时手术操作。
10.根据权利要求9所述的穿支皮瓣三维导航系统，其特征在于，所述重建模块包括：
重新采样模块，用于对所述CT扫描图像集进行重新采样，把每个CT切片图像的分辨率调整为相同分辨率。
11.根据权利要求10所述的穿支皮瓣三维导航系统，其特征在于，所述重新采样模块包括：
像素间距设置模块，用于通过像素插值把每个CT切片图像中的像素间距设置为相同像素间距。
12.根据权利要求9所述的穿支皮瓣三维导航系统，其特征在于，所述捕获模块模块包括：
摄像组件模块，用于通过多组不同位置的摄像组件组成720°全景捕获系统。
13.根据权利要求9所述的穿支皮瓣三维导航系统，其特征在于，所述捕获模块模块包括：
识别模块，用于通过已经训练完成的神经网络模型识别医生在实时手术操作时的医疗器械。
14.根据权利要求9所述的穿支皮瓣三维导航系统，其特征在于，所述匹配模块包括：
旋转模块，用于把病人的三维模型通过相应方向的旋转与实时体态进行对应匹配。
15.一种穿支皮瓣三维导航装置，包括至少一个处理器；与所述至少一个处理器耦合的存储器，所述存储器存储有可执行指令，其特征在于：所述可执行指令在被所述至少一个处理器执行时使得实现根据权利要求1至8中任一项所述方法的步骤。
16.一种芯片，其特征在于：包括处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行如权利要求1至8中任一项所述方法的步骤。
17.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如上权利要求1至8中任一项所述方法的步骤。
CN202311114850.XA 2023-08-31 2023-08-31 一种穿支皮瓣三维导航方法和系统 Pending CN116983084A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311114850.XA CN116983084A (zh) 2023-08-31 2023-08-31 一种穿支皮瓣三维导航方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311114850.XA CN116983084A (zh) 2023-08-31 2023-08-31 一种穿支皮瓣三维导航方法和系统

Publications (1)

Publication Number Publication Date
CN116983084A true CN116983084A (zh) 2023-11-03

Family

ID=88532129

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311114850.XA Pending CN116983084A (zh) 2023-08-31 2023-08-31 一种穿支皮瓣三维导航方法和系统

Country Status (1)

Country Link
CN (1) CN116983084A (zh)

Similar Documents

Publication Publication Date Title
KR102018565B1 (ko) 수술 시뮬레이션 정보 구축 방법, 장치 및 프로그램
JP6768878B2 (ja) 画像表示の生成方法
US9990744B2 (en) Image registration device, image registration method, and image registration program
US9498132B2 (en) Visualization of anatomical data by augmented reality
US8145012B2 (en) Device and process for multimodal registration of images
CN111627521B (zh) 增强现实在放疗中的应用
US7477776B2 (en) Method and apparatus for determining a plane of symmetry of a three-dimensional object
RU2711140C2 (ru) Редактирование медицинских изображений
Liu et al. Global and local panoramic views for gastroscopy: an assisted method of gastroscopic lesion surveillance
CN113302660A (zh) 对动态解剖结构进行可视化的方法
CN115131487A (zh) 医学影像处理方法、系统、计算机设备、存储介质
JP6493885B2 (ja) 画像位置合せ装置、画像位置合せ装置の作動方法および画像位置合せプログラム
CN111544037A (zh) 一种基于双目视觉的超声定位方法及系统
CN108430376B (zh) 提供投影数据集
CN111445575A (zh) 威利斯环的图像重建方法、装置、电子设备、存储介质
Viviers et al. Advancing 6-DoF Instrument Pose Estimation in Variable X-Ray Imaging Geometries
US10631948B2 (en) Image alignment device, method, and program
CN116077152A (zh) 穿刺路径规划方法及相关产品
KR20200056855A (ko) 기복모델 생성방법, 장치 및 프로그램
CN116983084A (zh) 一种穿支皮瓣三维导航方法和系统
US10049480B2 (en) Image alignment device, method, and program
EP3432262A1 (en) Method and system for dynamic multi dimensional images of an object
RU2808612C2 (ru) Способ визуализации динамической анатомической структуры
US20240331329A1 (en) Method and system for superimposing two-dimensional (2d) images over deformed surfaces
RU2816071C1 (ru) Комбинированная интраоперационная навигационная система с использованием генерации ультразвуковых изображений методом трассировки лучей

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination