CN113893033B - 一种肺部经皮穿刺导航方法及系统 - Google Patents

一种肺部经皮穿刺导航方法及系统 Download PDF

Info

Publication number
CN113893033B
CN113893033B CN202110750575.5A CN202110750575A CN113893033B CN 113893033 B CN113893033 B CN 113893033B CN 202110750575 A CN202110750575 A CN 202110750575A CN 113893033 B CN113893033 B CN 113893033B
Authority
CN
China
Prior art keywords
skin
real
puncture
tissue
surface model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110750575.5A
Other languages
English (en)
Other versions
CN113893033A (zh
Inventor
纪建松
戴亚康
耿辰
徐民
陈敏江
翁巧优
周志勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Institute of Biomedical Engineering and Technology of CAS
Lishui Central Hospital
Original Assignee
Suzhou Institute of Biomedical Engineering and Technology of CAS
Lishui Central Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Institute of Biomedical Engineering and Technology of CAS, Lishui Central Hospital filed Critical Suzhou Institute of Biomedical Engineering and Technology of CAS
Priority to CN202110750575.5A priority Critical patent/CN113893033B/zh
Publication of CN113893033A publication Critical patent/CN113893033A/zh
Application granted granted Critical
Publication of CN113893033B publication Critical patent/CN113893033B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34—Trocars; Puncturing needles
    • A61B17/3403—Needle locating or guiding means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Robotics (AREA)
  • Pathology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明提供一种肺部经皮穿刺导航方法，包括输入目标患者的肺部静态影像数据，采用影像分割方法，得到皮肤及各组织的三维表面模型；以三维表面模型建立物理模型，仿真呼吸过程中的皮肤及各组织的运动轨迹；将仿真的运动轨迹与实时患者呼吸场景进行匹配，进行皮肤及各组织的联动实时虚实融合显示。本发明在仅有静态CT影像数据的情况下，仿真呼吸过程中的皮肤及各组织的运动轨迹；并与实际患者的呼吸位置相匹配，显示于真实的位置；在CT影像中皮肤表面模型与实际皮肤表面匹配时，生成提醒穿刺的信息，提高了肿瘤穿刺的精度；本发明将模拟皮肤、肿瘤及其他各组织的动态运动轨迹与实际呼吸状联动进行显示，有助于医生进行高效率、高准确性的穿刺。

Description

一种肺部经皮穿刺导航方法及系统
技术领域
本发明涉及手术导航领域，具体涉及一种肺部经皮穿刺导航方法及系统。
背景技术
现有技术中，通过标本快速现场评估技术解决微创手术良恶性评估的问题，具体是指在穿刺时通过采集细胞涂片，由细胞病理学家在现场快速检查标本细胞，通过显微镜对涂片样本的分析得到细胞良性或恶性的初步结论，为手术方案提供指导，CT引导下的整个过程仅需3-5分钟。
当前肺癌的发病率与死亡率居高不下，微创消融治疗为此类疾病治疗的主要手段之一。当前经皮穿刺消融手术过程中，需要先穿刺活检再二次穿刺消融，但现有穿刺针术中易引发气胸和肺栓塞的问题，且呼吸运动下的精准穿刺存在较大的困难。因此，需要提供一种针对肺部的经皮穿刺的导航系统及方法。
发明内容
针对现有技术的不足之处，本发明的目的在于提供一种肺部经皮穿刺导航方法及系统。
本发明的技术方案概述如下：
一方面，本发明提供一种肺部经皮穿刺导航方法，包括：
输入目标患者的肺部静态影像数据，采用影像分割方法，得到同一坐标系下皮肤及各组织的三维表面模型；
以皮肤及各组织的三维表面模型为基础，建立物理模型，仿真呼吸过程中的皮肤及各组织的运动轨迹；
以皮肤的三维表面模型为匹配基础，将仿真呼吸过程中的皮肤及组织的运动轨迹与实时患者呼吸场景进行匹配，以进行皮肤及各组织的联动进行实时虚实融合显示。
进一步地，还包括：
以静态影像的呼吸相位为标准相位，实时监测当前相位状态，并在允许阈值内生成穿刺提示信息。
进一步地，所述以皮肤的三维表面模型为匹配基础，将仿真呼吸过程中的皮肤及组织的运动轨迹与实时患者呼吸场景进行匹配，以进行皮肤及各组织的联动进行实时虚实融合显示，包括：
实时捕捉患者呼吸周期内的皮肤动态点云；
基于皮肤三维表面模型的皮肤静态点云为匹配基础，将皮肤静态点云与皮肤动态点云进行配准，以实现仿真呼吸过程中的皮肤及组织的运动轨迹与实时患者呼吸场景进行匹配，将皮肤及各组织的联动进行实时虚实融合显示。
进一步地，所述以静态影像的呼吸相位为标准相位，实时监测当前相位状态，并在允许阈值内生成穿刺提示信息，包括：
以皮肤静态点云为标准，实时监测当前的皮肤动态点云，判断皮肤静态点云与皮肤动态点云之间的距离；
当距离小于或等于距离阈值时，生成穿刺提示信息。
进一步地，还包括:
基于皮肤及各组织的三维表面模型，自动规划穿刺路线。
进一步地，还包括：将皮肤及各组织的联动及穿刺路径显示在虚实融合显示场景 中进行实时虚实融合的叠加显示。
进一步地，所述以皮肤及各组织的三维表面模型为基础，建立物理模型，仿真呼吸过程中的皮肤及各组织的运动轨迹，包括：
基于皮肤及各组织的表面模型的三维面片顶点建立物理模型所用的粒子；
粒子间关系使用多质点弹簧模型用于碰撞模拟，融合基于位置的黏弹性和非线性弹簧质点模型方法构造粒子间的约束函数，通过构造不同的约束函数来模拟不同组织的形变；
在粒子运动过程中循环计算粒子间的弹性力，以此估计各粒子位置，回传至三维表面模型，实现对三维表面模型形状、位置的实时更新，以实现仿真呼吸过程中的皮肤及各组织的运动轨迹。
进一步地，还包括：对穿刺针的实时跟踪，以穿刺针的表面纹理、三维模型作为依据，实现对穿刺针的实时跟踪。
另一方面，本发明还提供一种肺部经皮穿刺导航系统，采用如上所述的肺部经皮穿刺导航方法，包括目视渲染线程、物理仿真线程及目标跟踪线程；
所述目视渲染线程中，输入目标患者的肺部静态影像数据，采用影像分割方法，得到同一坐标系下皮肤及各组织的三维表面模型；
所述物理仿真线程中，以皮肤及各组织的三维表面模型为基础，使用Havok或OpenDynamic Engine作为物理模型仿真引擎，建立物理模型，仿真呼吸过程中的皮肤及各组织的运动轨迹；
所述目标跟踪线程中，以皮肤的三维表面模型为匹配基础，将仿真呼吸过程中的皮肤及组织的运动轨迹与实时患者呼吸场景进行匹配，以进行皮肤及各组织的联动使用混合现实眼镜作为增强现实显示工具，进行实时虚实融合显示。
进一步地，所述混合现实眼镜包括全息处理单元，所述全息处理单元可实现实时的虚实融合图像配准与混合显示。
相比现有技术，本发明的有益效果在于：
本发明提供的肺部经皮穿刺导航方法及系统，考虑到在肺部肿瘤经皮穿刺术中，现有技术只能采集到某一个呼吸相位、患者某一姿态下的肿瘤位置，而在实际穿刺中，病灶位置受患者呼吸肌、胸廓、其他组织的挤压而处于一种不间断的动态运动过程状态下。
本发明在仅有静态CT影像数据的情况下，仿真呼吸过程中的皮肤及各组织的运动轨迹；并与实际患者的呼吸位置相匹配，显示于真实的位置上，识别肺部肿瘤的实时相对位置，进行肺部肿瘤穿刺术的实时路径导航；且在CT影像中皮肤表面模型与实际皮肤表面匹配时，生成提醒穿刺的信息，提高了肿瘤穿刺的精度，极大地降低肺部肿瘤穿刺的风险。
本发明基于增强现实系统，将模拟皮肤、肿瘤及其他各组织的动态运动轨迹与实际呼吸状态进行匹配，并联动进行实时虚实融合显示，可使得医生在直视穿刺部位的同时，能够观察到病灶的空间位置，以及当前进针路径与基于CT影响规划的路径相符合的程度，有助于医生进行高效率、高准确性的穿刺。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。本发明的具体实施方式由以下实施例及其附图详细给出。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明的一种肺部经皮穿刺导航方法中的分割及表面模型建立的流程示意图；
图2为本发明的一种肺部经皮穿刺导航方法中物理模型建立的流程示意图；
图3为本发明的一种肺部经皮穿刺导航系统的示意图。
具体实施方式
下面结合附图对本发明做进一步的详细说明，本发明的前述和其它目的、特征、方面和优点将变得更加明显，以令本领域技术人员参照说明书文字能够据以实施。在附图中，为清晰起见，可对形状和尺寸进行放大，并将在所有图中使用相同的附图标记来指示相同或相似的部件。在下列描述中，诸如中心、厚度、高度、长度、前部、背部、后部、左边、右边、顶部、底部、上部、下部等用词为基于附图所示的方位或位置关系。特别地，“高度”相当于从顶部到底部的尺寸，“宽度”相当于从左边到右边的尺寸，“深度”相当于从前到后的尺寸。这些相对术语是为了说明方便起见并且通常并不旨在需要具体取向。涉及附接、联接等的术语(例如，“连接”和“附接”)是指这些结构通过中间结构彼此直接或间接固定或附接的关系、以及可动或刚性附接或关系，除非以其他方式明确地说明。
接下来，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。应当理解，本文所使用的诸如“具有”、“包含”以及“包括”术语并不配出一个或多个其它元件或其组合的存在或添加。
现有技术中，影像引导下的标本快速现场评估技术(ROSE技术)进行术中细胞涂片采集以及快速良恶性鉴别，为解决经皮消融穿刺手术提供了很好的思路或方法。然而，人体不同组织、不同位置、不同类型的肿瘤之间具有显而易见的差别。
对于颅脑、肝脏等不问的肿瘤，可采用CT影像的静态数据进行穿刺导航。但是对于肺部肿瘤受呼吸的影响，会随着呼吸变化而进行运动，在进行CT影像采集时，只能采集到某一个呼吸相位、患者某一姿态下的病灶位置，而在实际穿刺时，病灶位置随着患者的呼吸，受呼吸肌、胸廓、其他相邻组织的挤压而处于一种不间断的动态运动过程状态下。因此，临床穿刺时，以传统的静态CT影像作为指导进行动态目标的传递，穿刺的精确度有限，穿刺针术中易引发气胸和肺栓塞的问题。
实施例1：
如图1-3所示，一种肺部经皮穿刺导航方法，包括：
S10、输入目标患者的肺部静态影像数据，采用影像分割方法，得到同一坐标系下皮肤及各组织的三维表面模型；
S20、以皮肤及各组织的三维表面模型为基础，建立物理模型，仿真呼吸过程中的皮肤及各组织的运动轨迹；
S30、以皮肤的三维表面模型为匹配基础，将仿真呼吸过程中的皮肤及组织的运动轨迹与实时患者呼吸场景进行匹配，以进行皮肤及各组织的联动进行实时虚实融合显示。
还包括S40、以静态影像的呼吸相位为标准相位，实时监测当前相位状态，并在允许阈值内生成穿刺提示信息。
本发明在仅有静态CT影像的情况下，模拟皮肤、肿瘤及其他组织的动态运动轨迹，并与患者实际呼吸状态匹配，实现实时虚实融合联动显示。并在静态CT影像与当前呼吸状态对准时提醒穿刺。
步骤S10中的肺部静态影像为CT影像。因此，步骤S10具体可以描述为：输入目标患者的肺部CT影像数据，采用影像分割方法，得到同一坐标系下皮肤及各组织的三维表面模型。其中，各组织包括动脉及血管组织、心脏、横膈膜、肺、肋骨与胸骨、肿瘤。
步骤S10包括：
S11、基于CT静态影像的器官分割、建立皮肤及各组织三维表面模型。
输入目标患者的肺部CT影像数据，利用医学影像后处理软件，例如3DSlicer、Mimics等，基于解剖结构的三维物体分割，采用的CT影像分割方法包括自动分割、半自动分割、区域增长、快速图割、阈值分割、Frangi滤波、手动分割中的至少一种，对CT影像数据中的皮肤及各组织进行分割，分割后得到在同一坐标系下皮肤及各组织的三维表面模型。其中，各组织包括皮肤、动脉及血管组织、心脏、横膈膜、肺、肋骨与胸骨、肿瘤。
具体地，采用半自动的CT影像器官分割方法(仿体分割采用基于种子点的区域增长即可)，以手动种子点标记作为分割起点，采用基于区域增长、快速图割的方法进行肺、心脏等组织的半自动分割，采用基于阈值分割的方法进行肋骨、胸椎的分割，采用基于Frangi滤波与区域增长的方法进行血管的分割。分割将得到在CT影像空间坐标系下各个器官、血管的三维表面点云，利用经典的MarchingCubes方法可将表面点云转换为表面面片，形成器官、血管的三维空间模型。其中，目标肿瘤使用基于livewire的半自动分割方式进行分割。参见图1。
S10目视渲染还包括:
S12、在混合现实眼镜中显示皮肤及各组织的位置。
具体地，该步骤包括基于仿射变换的CT坐标系-世界坐标系-显示坐标系之间的相互转换，得到皮肤及各组织的三维表面模型在Hololens混合现实眼镜(目视显示器)中的位置，以便于后续为仿真物理模型校准及与真实皮肤的配准，得到最佳的穿刺时机。
S13、刷新病灶位置。
基于步骤S20物理仿真及S30目标跟踪结果，刷新病灶位置。
S14、基于皮肤及各组织的三维表面模型，自动规划穿刺路线。
具体包括：以肿瘤为起点，基于三维表面模型，利用锥体模型自动的在皮肤表面查找穿刺路线。即以肿瘤中心为锥体顶点，在球坐标系下调整锥体的方向，得到需要规避动脉及血管组织、肋骨与胸、横膈膜、心脏等器官的对应路线，判断对应路线是否相交，以相交路线中的最短路径作为自动规划的穿刺路线。
S20可以理解为：以步骤S10中的皮肤及各组织的三维表面模型为基础，通过建立肺部肿瘤与周围血管、骨骼及其他器官之间物理模型，模拟胸腔在呼吸状态下肺部肿瘤的空间位置，尤其是建立呼吸过程中的肺部肿瘤及其他各组织的移动轨迹，进而实现仿真呼吸过程中的皮肤及各组织的运动轨迹，以实现根据皮肤的当前状态实时得到各组织的位置。
该步骤具体包括：
S21、使用Havok或Open Dynamic Engine等物理引擎，基于皮肤及各组织的表面模型的三维面片顶点建立物理模型所用的粒子；其中，皮肤、气管、血管仅建立表面粒子，骨骼视为刚体，肺实质、心脏、肿瘤等同时建立内部粒子。
S22、粒子间关系使用多质点弹簧模型用于碰撞模拟，融合基于位置的黏弹性和非线性弹簧质点模型方法构造粒子间的约束函数，通过构造不同的约束函数来模拟不同组织的形变，以实现仿真呼吸过程中的皮肤及各组织的运动轨迹。
S23、在粒子运动过程中循环计算粒子间的弹性力，以此估计各粒子位置，回传至三维表面模型，实现对三维表面模型形状、位置的实时更新，以实现仿真呼吸过程中的皮肤及各组织的运动轨迹，实现根据皮肤的状态与各组织的位置及形变分析。参考图2。
由此，本发明在仅有静态CT影响的情况下，构建物理粘弹性模型，模拟病灶(肿瘤)的动态运动轨迹，并在混合现实眼镜中现实仿真呼吸过程中的皮肤及各组织的运动轨迹。
S30可以理解为：以皮肤的轮廓为匹配基础，将模拟的肿瘤移动轨迹与显示中患者的呼吸场景进行配准，以进行肿瘤位置与皮肤、其他组织之间联动的实时虚实融合显示。
具体地，患者的呼吸场景可以由微软Hololens混合现实眼镜获取。具体地，步骤S30包括：
S31、通过微软Hololens混合现实眼镜，实时捕捉患者至少两个呼吸周期内的皮肤动态点云；基于CT影像建立皮肤静态点云；
S32、基于皮肤三维表面模型的皮肤静态点云为匹配基础，将皮肤静态点云与皮肤动态点云进行配准，以实现仿真呼吸过程中的皮肤及组织的运动轨迹与实时患者呼吸场景进行匹配，将皮肤及各组织的联动进行实时虚实融合显示。
在上述虚实融合的显示过程中，还包括S33、实时监测皮肤位置与形变的跟踪，将Hololens混合现实眼镜捕捉的真实呼吸状态下的皮肤与CT静态影像下的皮肤进行多次匹配，对仿真的皮肤及各组织的运动轨迹进行校准，进而实现由CT静态影像得到的仿真皮肤运动轨迹与真实呼吸状态下的皮肤精确地进行虚实融合，并显示在Hololens混合现实眼镜中，形成穿刺的导航图像。
具体地，配准为ICP配准算法或Dirichlet-TMM非刚性表面配准算法或Student’s-t混合模型的柔性配准。对皮肤表面模型进行配准之后，对皮肤模型的空间相对位置关系进行重建显示，使用Hololens实时叠加至真实场景下。
Dirichlet-TMM配准算法如下：
1)初始化配准参数集合：
Figure BDA0003144251400000081
其中，
Figure BDA0003144251400000082
2)初始化初始化β，λ，d和误差收敛阈值τ，构造低通滤波器
Figure BDA0003144251400000083
其中gij是G的第i行第j列元素。
3)使用如下公式计算后验概率密度。
Figure BDA0003144251400000084
4)分别使用如下两个公式计算局部空间约束系数
Figure BDA0003144251400000085
和Dirichlet分布参数
Figure BDA0003144251400000086
Figure BDA0003144251400000091
Figure BDA0003144251400000092
5)分别使用如下两个公式计算数据先验权重
Figure BDA0003144251400000093
和自由度
Figure BDA0003144251400000094
Figure BDA0003144251400000095
Figure BDA0003144251400000096
6)分别使用如下两个公式计算
Figure BDA0003144251400000097
和W(k)
Figure BDA0003144251400000098
Figure BDA0003144251400000099
7)计算Y移动后的坐标Y(k+1)＝Y(k)+GW，计算配准误差Er(k)。
8)重复步骤3-7，直至
Figure BDA0003144251400000101
此时的步骤S40包括：S41、以皮肤静态点云为标准，实时监测当前的皮肤动态点云，判断皮肤静态点云与皮肤动态点云之间的距离；
S42、当距离小于或等于距离阈值时，为最佳穿刺时机，生成穿刺提示信息。
可以理解为，基于CT影像数据获取的CT皮肤表面点云，通过CT皮肤表面点云与Hololens捕捉到皮肤动态点云进行配准，当真实呼吸状态下的皮肤与CT静态影像下的皮肤完全匹配时，为最精确的穿刺时机。
但实际场景下，在当前皮肤动态点云与CT静态皮肤点云的距离相差不大时，此时也可作为穿刺时机，相对现有技术中直接以CT静态影像作为参考进行穿刺的精度相对较高。
其中，生成的穿刺提示信息可以颜色、声音的方式在Hololens中提示医生进行穿刺。
步骤S40还包括：
此外，目标追踪S40还可以包括：
S43、对穿刺针的实时跟踪，以穿刺针的表面纹理、三维模型作为依据，实现对穿刺针的实时跟踪。
S44、获得最佳穿刺时机下对应的关键帧，并基于物理模型，得到肿瘤(病灶)在各关键帧中的位置，结合步骤S13自动规划的穿刺路线，将穿刺时机、穿刺路径、穿刺针的位置、肿瘤位置进行实时虚实融合显示。
其中，步骤S44可属于目视渲染步骤，此外，步骤S44还可以在获得最佳穿刺时机下对应的多个关键帧，基于物理模型，得到各个关键帧中的皮肤、肿瘤与其他各组织(心脏、骨骼、血管等)位置及形态，基于步骤S14中的方法得到各关键帧中的穿刺路线并显示，指导医生进行穿刺。
本发明提供的肺部经皮穿刺导航方法及系统，考虑到在肺部肿瘤经皮穿刺术中，现有技术只能采集到某一个呼吸相位、患者某一姿态下的肿瘤位置，而在实际穿刺中，病灶位置受患者呼吸肌、胸廓、其他组织的挤压而处于一种不间断的动态运动过程状态下。
本发明在仅有静态CT影像数据的情况下，仿真呼吸过程中的皮肤及各组织的运动轨迹；并与实际患者的呼吸位置相匹配，显示于真实的位置上，识别肺部肿瘤的实时相对位置，进行肺部肿瘤穿刺术的实时路径导航；且在CT影像中皮肤表面模型与实际皮肤表面匹配时，生成提醒穿刺的信息，提高了肿瘤穿刺的精度，极大地降低肺部肿瘤穿刺的风险。
本发明基于增强现实系统，将模拟皮肤、肿瘤及其他各组织的动态运动轨迹与实际呼吸状态进行匹配，并联动进行实时虚实融合显示，可使得医生在直视穿刺部位的同时，能够观察到病灶的空间位置，以及当前进针路径与基于CT影响规划的路径相符合的程度，有助于医生进行高效率、高准确性的穿刺。
一种肺部经皮穿刺导航系统，包括：目视渲染线程、物理仿真线程、目标跟踪线程；参考图3。
目视渲染线程中，输入目标患者的肺部静态影像数据，采用影像分割方法，得到同一坐标系下皮肤及各组织的三维表面模型；其中，CT影像分割得到的各组织使用Unity3D进行建模，进行基于仿射变换的CT坐标系—世界坐标系—显示坐标系三个坐标系之间的相互转换，即可得到虚拟模型在Hololens目视显示器中的位置。
物理仿真线程中，以皮肤及各组织的三维表面模型为基础，使用Havok或OpenDynamic Engine作为物理模型仿真引擎，建立物理模型，仿真呼吸过程中的皮肤及各组织的运动轨迹；
目标跟踪线程中，以皮肤的三维表面模型为匹配基础，将仿真呼吸过程中的皮肤及组织的运动轨迹与实时患者呼吸场景进行匹配，以进行皮肤及各组织的联动使用混合现实眼镜作为增强现实显示工具，进行实时虚实融合显示。
Hololens混合现实眼镜采用透射式显示方案，具备两组环境摄像头及一个深度传感器、惯性测量单元等。Hololens混合现实眼镜包括全息处理单元，所述全息处理单元可实现实时的虚实融合图像配准与混合显示，且不需要额外的数据处理工作站。
Hololens的显示受其自身硬件与SDK控制，无需手动计算，可对皮肤表面的跟踪以及以跟踪的结果所计算得到的虚拟肿瘤的位置、穿刺的最佳时间。
此外，装置实施例中的系统与方法实施例基于同样地发明构思。
本发明实施例还提供了一种计算机存储介质，该计算机存储介质包括存储器和处理器，该存储器中存储有至少一条指令和至少一段程序，该至少一条指令和至少一段程序由该处理器加载并执行以实现上述方法实施例提供的肺部经皮穿刺方法。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置和电子设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
上述说明已经充分揭露了本发明的具体实施方式。需要指出的是，熟悉该领域的技术人员对本发明的具体实施方式所做的任何改动均不脱离本发明的权利要求书的范围。相应地，本发明的权利要求的范围也并不仅仅局限于前述具体实施方式。

Claims (8)

1.一种肺部经皮穿刺导航方法，其特征在于，包括：
输入目标患者的肺部静态影像数据，采用影像分割方法，得到同一坐标系下皮肤及各组织的三维表面模型；
以皮肤及各组织的三维表面模型为基础，建立物理模型，仿真呼吸过程中的皮肤及各组织的运动轨迹；
以皮肤的三维表面模型为匹配基础，将仿真呼吸过程中的皮肤及组织的运动轨迹与实时患者呼吸场景进行匹配，以进行皮肤及各组织的联动进行实时虚实融合显示；
所述以皮肤及各组织的三维表面模型为基础，建立物理模型，仿真呼吸过程中的皮肤及各组织的运动轨迹，包括：
基于皮肤及各组织的表面模型的三维面片顶点建立物理模型所用的粒子；
粒子间关系使用多质点弹簧模型用于碰撞模拟，融合基于位置的黏弹性和非线性弹簧质点模型方法构造粒子间的约束函数，通过构造不同的约束函数来模拟不同组织的形变；
在粒子运动过程中循环计算粒子间的弹性力，以此估计各粒子位置，回传至三维表面模型，实现对三维表面模型形状、位置的实时更新，以实现仿真呼吸过程中的皮肤及各组织的运动轨迹。
2.如权利要求1所述的一种肺部经皮穿刺导航方法，其特征在于，还包括：
以静态影像的呼吸相位为标准相位，实时监测当前相位状态，并在允许阈值内生成穿刺提示信息。
3.如权利要求1所述的一种肺部经皮穿刺导航方法，其特征在于，所述以皮肤的三维表面模型为匹配基础，将仿真呼吸过程中的皮肤及组织的运动轨迹与实时患者呼吸场景进行匹配，以进行皮肤及各组织的联动进行实时虚实融合显示，包括：
实时捕捉患者呼吸周期内的皮肤动态点云；
基于皮肤三维表面模型的皮肤静态点云为匹配基础，将皮肤静态点云与皮肤动态点云进行配准，以实现仿真呼吸过程中的皮肤及组织的运动轨迹与实时患者呼吸场景进行匹配，将皮肤及各组织的联动进行实时虚实融合显示。
4.如权利要求2所述的一种肺部经皮穿刺导航方法，其特征在于，所述以静态影像的呼吸相位为标准相位，实时监测当前相位状态，并在允许阈值内生成穿刺提示信息，包括：
以皮肤静态点云为标准，实时监测当前的皮肤动态点云，判断皮肤静态点云与皮肤动态点云之间的距离；
当距离小于或等于距离阈值时，生成穿刺提示信息。
5.如权利要求1所述的一种肺部经皮穿刺导航方法，其特征在于，还包括:
基于皮肤及各组织的三维表面模型，自动规划穿刺路线。
6.如权利要求5所述的一种肺部经皮穿刺导航方法，其特征在于，还包括：
将皮肤及各组织的联动及穿刺路径显示在虚实融合显示场景中进行实时虚实融合的叠加显示。
7.一种肺部经皮穿刺导航系统，其特征在于，采用如权利要求1所述的肺部经皮穿刺导航方法，包括目视渲染线程、物理仿真线程及目标跟踪线程；
所述目视渲染线程中，输入目标患者的肺部静态影像数据，采用影像分割方法，得到同一坐标系下皮肤及各组织的三维表面模型；
所述物理仿真线程中，以皮肤及各组织的三维表面模型为基础，使用Havok或OpenDynamic Engine作为物理模型仿真引擎，建立物理模型，仿真呼吸过程中的皮肤及各组织的运动轨迹；
所述目标跟踪线程中，以皮肤的三维表面模型为匹配基础，将仿真呼吸过程中的皮肤及组织的运动轨迹与实时患者呼吸场景进行匹配，以进行皮肤及各组织的联动，使用混合现实眼镜作为增强现实显示工具，进行实时虚实融合显示。
8.如权利要求7所述的一种肺部经皮穿刺导航系统，其特征在于，所述混合现实眼镜包括全息处理单元，所述全息处理单元能够实现实时的虚实融合图像配准与混合显示。
CN202110750575.5A 2021-07-01 2021-07-01 一种肺部经皮穿刺导航方法及系统 Active CN113893033B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110750575.5A CN113893033B (zh) 2021-07-01 2021-07-01 一种肺部经皮穿刺导航方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110750575.5A CN113893033B (zh) 2021-07-01 2021-07-01 一种肺部经皮穿刺导航方法及系统

Publications (2)

Publication Number Publication Date
CN113893033A CN113893033A (zh) 2022-01-07
CN113893033B true CN113893033B (zh) 2023-05-12

Family

ID=79187549

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110750575.5A Active CN113893033B (zh) 2021-07-01 2021-07-01 一种肺部经皮穿刺导航方法及系统

Country Status (1)

Country Link
CN (1) CN113893033B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115089163B (zh) * 2022-06-20 2023-08-22 推想医疗科技股份有限公司 呼吸信号检测方法及其装置、手术导航方法及其装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102961187A (zh) * 2012-10-26 2013-03-13 深圳市旭东数字医学影像技术有限公司 经皮穿刺的手术规划方法及其系统
CN109009435A (zh) * 2018-08-20 2018-12-18 真健康（北京）医疗科技有限公司 一种肺结节穿刺导航系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7720196B2 (en) * 2008-01-07 2010-05-18 Accuray Incorporated Target tracking using surface scanner and four-dimensional diagnostic imaging data
CN102949240B (zh) * 2011-08-26 2014-11-26 高欣 一种影像导航肺部介入手术系统
FR3002732A1 (fr) * 2013-03-01 2014-09-05 Inst Rech Sur Les Cancers De L App Digestif Ircad Procede automatique de determination predictive de la position de la peau
CN103169449B (zh) * 2013-03-01 2014-12-10 中国科学院深圳先进技术研究院 呼吸信号检测方法和装置
CN109223121A (zh) * 2018-07-31 2019-01-18 广州狄卡视觉科技有限公司 基于医学影像模型重建、定位的脑出血穿刺手术导航系统
CN110090069B (zh) * 2019-06-18 2021-04-09 无锡祥生医疗科技股份有限公司 超声穿刺引导方法、引导装置和存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102961187A (zh) * 2012-10-26 2013-03-13 深圳市旭东数字医学影像技术有限公司 经皮穿刺的手术规划方法及其系统
CN109009435A (zh) * 2018-08-20 2018-12-18 真健康（北京）医疗科技有限公司 一种肺结节穿刺导航系统

Also Published As

Publication number Publication date
CN113893033A (zh) 2022-01-07

Similar Documents

Publication Publication Date Title
JP5797352B1 (ja) ３次元物体を追跡するための方法
Chiu et al. 3-D image guidance for minimally invasive robotic coronary artery bypass
EP3716879A1 (en) Motion compensation platform for image guided percutaneous access to bodily organs and structures
CN111588464B (zh) 一种手术导航方法及系统
CN112641514B (zh) 一种微创介入导航系统与方法
Wu et al. Three-dimensional modeling from endoscopic video using geometric constraints via feature positioning
WO2003096255A2 (en) Simulation system for medical procedures
Shahidi et al. Clinical applications of three-dimensional rendering of medical data sets
EP2637593A1 (en) Visualization of anatomical data by augmented reality
CN110432986B (zh) 用于从ct数据构建虚拟径向超声图像的系统和方法
US20230114385A1 (en) Mri-based augmented reality assisted real-time surgery simulation and navigation
CN110458872A (zh) 使用超声弹性成像执行生物力学驱动的图像配准的系统和方法
JP6493885B2 (ja) 画像位置合せ装置、画像位置合せ装置の作動方法および画像位置合せプログラム
Luo et al. Robust endoscope motion estimation via an animated particle filter for electromagnetically navigated endoscopy
CN116421313A (zh) 胸腔镜下肺部肿瘤切除手术导航中的增强现实融合方法
Stolka et al. A 3D-elastography-guided system for laparoscopic partial nephrectomies
Chen et al. Tissue structure updating for in situ augmented reality navigation using calibrated ultrasound and two-level surface warping
CN113893033B (zh) 一种肺部经皮穿刺导航方法及系统
KR101988531B1 (ko) 증강현실 기술을 이용한 간병변 수술 내비게이션 시스템 및 장기 영상 디스플레이 방법
CN116492052B (zh) 一种基于混合现实脊柱三维可视化手术导航系统
Bockholt et al. Augmented reality for enhancement of endoscopic interventions
CN114931435B (zh) 三维模型处理方法、装置和电子设备
Luo et al. Evolutionarily optimized electromagnetic sensor measurements for robust surgical navigation
Andrea et al. Validation of stereo vision based liver surface reconstruction for image guided surgery
Schenkenfelder et al. Elastic registration of abdominal MRI scans and RGB-D images to improve surgical planning of breast reconstruction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant