CN116236280A - 一种基于多模态图像融合的介入治疗引导方法及系统 - Google Patents

一种基于多模态图像融合的介入治疗引导方法及系统 Download PDF

Info

Publication number
CN116236280A
CN116236280A CN202310118474.5A CN202310118474A CN116236280A CN 116236280 A CN116236280 A CN 116236280A CN 202310118474 A CN202310118474 A CN 202310118474A CN 116236280 A CN116236280 A CN 116236280A
Authority
CN
China
Prior art keywords
region
image
dimensional
needle insertion
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310118474.5A
Other languages
English (en)
Inventor
张延慧
张伟光
郑浩
雅克•苏凯
丁勇
张益聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yichao Medical Technology Beijing Co ltd
Original Assignee
Yichao Medical Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yichao Medical Technology Beijing Co ltd filed Critical Yichao Medical Technology Beijing Co ltd
Priority to CN202310118474.5A priority Critical patent/CN116236280A/zh
Publication of CN116236280A publication Critical patent/CN116236280A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34—Trocars; Puncturing needles
    • A61B17/3403—Needle locating or guiding means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34—Trocars; Puncturing needles
    • A61B17/3403—Needle locating or guiding means
    • A61B2017/3413—Needle locating or guiding means guided by ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2063—Acoustic tracking systems, e.g. using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Abstract

本发明提供一种基于多模态图像融合的介入治疗引导方法及系统，其中方法包括：从CT/MR三维数据中检测患者腹部的最小三维包围盒；从最小三维包围盒中依次提取皮肤区域、病变区域、血管区域和肋骨区域；基于皮肤区域、病变区域、血管区域和肋骨区域，规划进针路径；基于进针路径，从CT/MR三维数据中提取二维关键图像；采集患者腹部的超声B图像，并与二维关键图像进行配准；基于配准结果，进行第一引导。本发明通过在CT/MR图像上进行一系列术前规划操作，以及将二维超声图像与三维CT/MR图像相融合，替代了传统的导航设备在肝脏肿瘤介入治疗中的作用，简化了操作场景，提升介入效率和灵活性。

Description

一种基于多模态图像融合的介入治疗引导方法及系统
技术领域
本发明涉及医疗智能设备技术领域，特别涉及一种基于多模态图像融合的介入治疗引导方法及系统。
背景技术
介入治疗是一种借助医学成像设备引导而达到微创精准治疗目的的治疗方法。借助超声等成像设备的信息引导，只需要通过几毫米的切口就可以进行穿刺操作，介入治疗因其无需手术、创伤小、恢复快、疗效好等优点，在肿瘤诊断和治疗中得到广泛应用。
目前的肝脏肿瘤介入手术系统通常包含成像设备、图像处理模块、定位设备和机械臂四部分。成像设备用于实时显示待消融区域和病灶区域的相对位置，用户通过调整消融设备的具体位置，可以实时查看其相对于病灶区域的相对位置，从而起到引导的作用。图像处理模块负责进行一些实时的数值计算，例如图像配准、消融区域覆盖率等量化指标。定位设备用于实时追踪工作范围内的传感器在全局坐标系内的空间坐标，将这些传感器固定到手术器具上，即可对手术器具进行实时追踪。机械臂是一个可选器件，主要负责将手术器具沿着已规划路径移动到指定位置；也可不采用机械臂，而是通过成像设备的引导手动将手术器具移至指定位置。
但是，这一引导方案存下如下不足：
1、上述定位设备通常采用磁导航设备或者光学导航设备，这些设备的使用使得手术场景较为凌乱；并且这些设备的工作空间有限，当传感器移至工作空间边界时，设备的系统精度会逐渐降低，超出工作空间将无法使用，通常有效工作空间只有1-2立方米。另外，高精度的导航系统较为昂贵，价格在几万到十几万不等。
2、定位设备虽然可以达到亚毫米误差精度，但是对工作环境也比较敏感。例如光学导航设备对环境光线的要求较高，过亮的环境光可能导致系统误差增大；使用磁导航设备要尽量避免外界物体对磁场和传感器的干扰。
3、传统的介入治疗中，确定了术前规划方案后，术中引导的目的就是将手术器具沿着既定规划送到指定位置；通常这些规划路径是单一且死板的，用户通过引导重现这些路径并非易事，甚至是费时费力的。
发明内容
本发明目的之一在于提供了一种基于多模态图像融合的介入治疗引导方法，通过在CT/MR图像上进行一系列术前规划操作，以及将二维超声图像与三维CT/MR图像相融合，替代了传统的导航设备在肝脏肿瘤介入治疗中的作用，简化了操作场景，提升了介入效率和灵活性，大大降低了治疗成本。
本发明实施例提供的一种基于多模态图像融合的介入治疗引导方法，包括：
从CT/MR三维数据中检测患者腹部的最小三维包围盒；
从所述最小三维包围盒中依次提取皮肤区域、病变区域、血管区域和肋骨区域；
基于所述皮肤区域、病变区域、血管区域和所述肋骨区域，规划进针路径；
基于所述进针路径，从所述CT/MR三维数据中提取二维关键图像；
采集患者腹部的超声B图像，并与所述二维关键图像进行配准；
基于配准结果，进行第一引导。
优选的，从所述最小三维包围盒中依次提取皮肤区域、病变区域、血管区域和肋骨区域，包括：
基于图像分割方法从所述最小三维包围盒中依次提取皮肤区域、病变区域、血管区域和肋骨区域；
其中，所述图像分割方法包括：基于边界的snake方法、半自动的图割方法、基于二阶导的偏微分方程和卷积神经网络中一种或多种结合。
优选的，基于所述皮肤区域、病变区域、血管区域和所述肋骨区域，规划进针路径，包括：
将所述皮肤区域上的每一区域点作为候选进针点；
将所述病变区域的中心点作为靶点；
从所述候选进针点中剔除满足剔除条件的候选进针点，并从剩余的所述候选进针点中提取多个候选点簇；
基于聚类算法，从所述候选点簇中挑选最佳进针点；
基于所述最佳进针点，规划进针路径；
其中，所述剔除条件包括：
所述候选进针点位于患者背部；
或，
所述候选进针点位于所述肋骨区域上的任一区域点与所述靶点之间的连线上；
或，
所述候选进针点位于所述血管区域上的任一区域点与所述靶点之间的连线上；
或，
所述候选进针点与所述靶点之间的连线的长度大于预设长度阈值。
优选的，基于所述皮肤区域、病变区域、血管区域和所述肋骨区域，规划进针路径，包括：
供用户手动基于所述皮肤区域、病变区域、血管区域和所述肋骨区域，规划进针路径。
优选的，基于所述进针路径，从所述CT/MR三维数据中提取二维关键图像，包括：
通过旋转切面从所述CT/MR三维数据中提取二维关键图像；
每一所述二维关键图像经过所述靶点。
优选的，基于配准结果，进行第一引导，包括：
基于配准结果，确定与所述超声B图像最匹配的所述二维关键图像，并作为目标二维关键图像；
输出显示所述目标二维关键图像对应的所述进针路径；
当所述超声B图像与所述二维关键图像之间的配准匹配度大于等于预设的配准匹配度阈值时，附加输出显示当前输出显示的所述进针路径与对应所述目标二维关键图像的位置。
优选的，基于多模态图像融合的介入治疗引导方法，还包括：
获取第一引导过程中的量化指标；
基于所述量化指标，进行第二引导。
优选的，所述量化指标包括：
进针点和靶点之间的距离、当前帧的所述超声B图像和所述二维关键图像之间的配准匹配度以及消融区域对所述病变区域的覆盖率。
本发明实施例提供的一种基于多模态图像融合的介入治疗引导系统，其特征在于，包括：
最小三维包围盒检测模块，用于从CT/MR三维数据中检测患者腹部的最小三维包围盒；
区域提取模块，用于从所述最小三维包围盒中依次提取皮肤区域、病变区域、血管区域和肋骨区域；
进针路径规划模块，用于基于所述皮肤区域、病变区域、血管区域和所述肋骨区域，规划进针路径；
二维关键图像提取模块，用于基于所述进针路径，从所述CT/MR三维数据中提取二维关键图像；
配准模块，用于采集患者腹部的超声B图像，并与所述二维关键图像进行配准；
第一引导模块，用于基于配准结果，进行第一引导；
量化指标获取模块，用于获取第一引导过程中的量化指标；
第二引导模块，用于基于所述量化指标，进行第二引导。
优选的，所述区域提取模块从所述最小三维包围盒中依次提取皮肤区域、病变区域、血管区域和肋骨区域，执行如下操作：
基于图像分割方法从所述最小三维包围盒中依次提取皮肤区域、病变区域、血管区域和肋骨区域；
其中，所述图像分割方法包括：基于边界的snake方法、半自动的图割方法、基于二阶导的偏微分方程和卷积神经网络中一种或多种结合。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中一种基于多模态图像融合的介入治疗引导方法的示意图；
图2为本发明实施例中一种基于多模态图像融合的介入治疗引导方法的整体工作流程图；主要分为基于CT/MR的术前规划和基于超声的术中引导两部分。术前规划包括腹部区域检测、关键结构分割、自动或手动规划、关键图像生成和存储；术中引导包括产生实时超声图像、超声图像与前述关键图像的实时配准、根据配准结果和质量控制指标(QC)选择与当前超声图像最相似的关键图像、选择与所选关键图像匹配的术前规划方案；
图3为本发明实施例中术前规划示意图；其中左上角A为包含目标区域的CT/MRI三维数据，图中以肝脏为例，红色线条为肝脏区域的主要血管；左下角B为规划结果，其中绿色圆点为进针点，通常位于体表皮肤；黄色圆点为目标靶点，通常位于病灶区域；右侧C是基于规划路径生成的关键图像；
图4为本发明实施例中术中引导示意图；用户通过超声探头产生超声实时图像，将超声图像同前述关键图像做实时配准，得到与当前超声图像最相近的关键图像，选择与所选关键图像对应的规划方案，可选执行二次引导；
图5为本发明实施例中一种基于多模态图像融合的介入治疗引导系统的示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
本发明实施例提供了一种基于多模态图像融合的介入治疗引导方法，如图1所示，包括：
步骤S1：从CT/MR三维数据中检测患者腹部的最小三维包围盒；
步骤S2：从所述最小三维包围盒中依次提取皮肤区域、病变区域、血管区域和肋骨区域；
步骤S3：基于所述皮肤区域、病变区域、血管区域和所述肋骨区域，规划进针路径；
步骤S4：基于所述进针路径，从所述CT/MR三维数据中提取二维关键图像；
步骤S5：采集患者腹部的超声B图像，并与所述二维关键图像进行配准；
步骤S6：基于配准结果，进行第一引导。
从所述最小三维包围盒中依次提取皮肤区域、病变区域、血管区域和肋骨区域，包括：
基于图像分割方法从所述最小三维包围盒中依次提取皮肤区域、病变区域、血管区域和肋骨区域；
其中，所述图像分割方法包括：基于边界的snake(图割)方法、半自动的图割方法、基于二阶导的偏微分方程和卷积神经网络中一种或多种结合。
基于所述皮肤区域、病变区域、血管区域和所述肋骨区域，规划进针路径，包括：
将所述皮肤区域上的每一区域点作为候选进针点；
将所述病变区域的中心点作为靶点；
从所述候选进针点中剔除满足剔除条件的候选进针点，并从剩余的所述候选进针点中提取多个候选点簇；
基于聚类算法，从所述候选点簇中挑选最佳进针点；
基于所述最佳进针点，规划进针路径；
其中，所述剔除条件包括：
所述候选进针点位于患者背部；
或，
所述候选进针点位于所述肋骨区域上的任一区域点与所述靶点之间的连线上；
或，
所述候选进针点位于所述血管区域上的任一区域点与所述靶点之间的连线上；
或，
所述候选进针点与所述靶点之间的连线的长度大于预设长度阈值。
基于所述皮肤区域、病变区域、血管区域和所述肋骨区域，规划进针路径，包括：
供用户手动基于所述皮肤区域、病变区域、血管区域和所述肋骨区域，规划进针路径。
基于所述进针路径，从所述CT/MR三维数据中提取二维关键图像，包括：
通过旋转切面从所述CT/MR三维数据中提取二维关键图像；
每一所述二维关键图像经过所述靶点。
基于配准结果，进行第一引导，包括：
基于配准结果，确定与所述超声B图像最匹配的所述二维关键图像，并作为目标二维关键图像；
输出显示所述目标二维关键图像对应的所述进针路径；
当所述超声B图像与所述二维关键图像之间的配准匹配度大于等于预设的配准匹配度阈值时，附加输出显示当前输出显示的所述进针路径与对应所述目标二维关键图像的位置。
方法还包括：
步骤S7：获取第一引导过程中的量化指标；
步骤S8：基于所述量化指标，进行第二引导。
所述量化指标包括：
进针点和靶点之间的距离、当前帧的所述超声B图像和所述二维关键图像之间的配准匹配度以及消融区域对所述病变区域的覆盖率。
上述技术方案的工作原理及有益效果为：
整个系统可以分为术前规划和术中引导两部分，如图2流程图所示。
一、术前规划：
1、腹部检测：
输入的CT/MR三维数据覆盖的身体部位可能不只是腹部，因此需要检测三维数据中是否包含腹部，且尽可能找到腹部的最小三维包围盒，便于后续处理步骤的执行；
2、皮肤、病变、血管、肋骨提取：
腹部皮肤提取的目的在于，消融路径的进针点位于腹部皮肤上，换句话说，进针点应当在腹部皮肤区域选择；病变是用户关心的感兴趣区域，也是进针路径末端所在的位置；血管，尤其是肝脏的主要血管在介入手术过程中是需要避开的，如图3.A所示，否则可能导致患者的大出血，因此有必要对肝脏的主要血管进行提取；肋骨也是进针路径应该避开的组织，因为消融针无法穿透骨骼。这些感兴趣区域的提取可以采用不同的图像分割方法，例如基于边界的snake方法，半自动的图割方法，基于二阶导的偏微分方程，以及基于灰度的自动阈值方法等；可以采用传统的图像处理方法，也可以采用卷积神经网络。这些组织的提取都在术前CT/MR图像上进行。
3、自动、手动进针路径规划：
进针路径规划可以采用自动或者手动方案。
对于自动规划，腹部皮肤的所有点被初始化为候选进针点，如图3.B中绿色圆点所示，接下来通过一系列规则去除不符合条件的候选进针点，最终剩下的候选进针点即为可能的规划进针点。规则可以是符合以下或者更多方面的条件，例如：首先在病变区域人工确定一个靶点，如图3.B中黄色圆点所示，通常这个靶点位于病变区域的中心。靶点和候选进针点可以构成多条候选进针路径。筛选规则如下：
(1)背部候选进针点是无用的，因为患者在进行肝脏肿瘤消融术时通常采样仰卧姿态，背部皮肤与病床相连，无法进针；
(2)如果候选进针点位于肋骨和靶点的连线上，该候选进针点也需要被滤除，因为消融针无法穿透质地坚硬的肋骨；
(3)如果候选进针点位于血管和靶点的连线上，该候选进针点也需要被滤除，因为血管不能被消融针穿透，否则可能造成患者的大出血；
(4)如果候选进针点和靶点的连接线段超过了长度阈值，也需要被滤除，因为没有消融针的型号能够满足该进针路径；
筛选规则不限于以上四条，也可以根据实际情况进行修改或添加。
经过一系列过滤后，会有多个候选点簇保留下来，执行一种聚类算法从每个点簇中选择一个最佳进针点即可，这些进针点需要允许用户的修改。
对于手动规划，用户可以在腹部皮肤任意位置选择进针点，靶点也由用户来选定。皮肤、病变、血管、肋骨可以通过自动或者半自动方法提取，也可以不提取；
不论是自动方式还是手动方式，生成的进针路径和提取的感兴趣组织都可以在一个窗口中进行三维渲染，更直观地显示它们之间的相对位置关系。
4、关键图像生成和存储：
根据上述3中生成的进针路径，可以通过旋转切面从CT/MR数据中截取一系列二维关键图像，这些关键图像都会经过靶点，如图3.C所示。假如每隔10度截取一幅图像，则每个进针路径将产生18幅关键图像。最终所有关键图像的数量为18乘以进针路径的数量，他们将被存储在磁盘中，并以进针路径进行分组。
二、术中引导：
5、超声实时成像：
启动术中引导后，磁盘中的关键图像将被加载到内存中，然后开始实时采集超声B图像，对于每一帧B图像，会快速执行血管检测和分割任务；考虑到超声的实时性特点，血管检测和分割可以直接基于简单的阈值方法。
6、与关键图像的匹配：
超声实时图像将同内存中的关键图像进行快速匹配，匹配的特征选用前面提取的血管，对于每一帧超声图像，都将有一幅关键图像与之最为匹配，如图4中的红框图像所示，该关键图像所属的进针路径即为当前探头最为接近的进针路径；如果匹配度量值超过一定质控阈值，可以在显示窗口中高亮显示当前进针路径和关键图像的具体位置，借助该显示，用户可以快速了解当前超声探头所处的位置，以及与术前规划路径之间的相对位置关系。
7、量化实时引导：
通过上述步骤6，用户可以得到距离当前探头最为接近的规划路径，通过进一步交互确认，此时可以开始实时计算一些量化指标，以引导用户更加精准到达目标靶点区域。例如进针点和靶点之间的距离，当前帧和关键图像之间的匹配值，以及消融区域对病变区域的覆盖率等。这些指标计算是可选的，因为过多的指标计算可能会影响到超声图像显示的实时性。
本发明通过创建丰富的多角度术前规划二维图像引导库，以及实时执行多模态二维图像配准，能够灵活、快速地引导超声探头到达术前规划的目标区域。由于术前规划图像针对目标区域是多角度的，引导过程将更加灵活；考虑到腹部肝脏易产生形变的特点，精准的规划方案受形变的影响将难以做到一步到位，因此本发明采用了由粗到细的方案，即首先通过图像匹配引导用户到达感兴趣靶点区域附近；然后开启一系列量化指标计算，实现精准引导。本发明完全基于图像引导，不需要定位设备的辅助，简化了手术场景，提升了引导效率，大大降低了设备成本。
本发明实施例提供了一种基于多模态图像融合的介入治疗引导系统，如图5所示，包括：
最小三维包围盒检测模块1，用于从CT/MR三维数据中检测患者腹部的最小三维包围盒；
区域提取模块2，用于从所述最小三维包围盒中依次提取皮肤区域、病变区域、血管区域和肋骨区域；
进针路径规划模块3，用于基于所述皮肤区域、病变区域、血管区域和所述肋骨区域，规划进针路径；
二维关键图像提取模块4，用于基于所述进针路径，从所述CT/MR三维数据中提取二维关键图像；
配准模块5，用于采集患者腹部的超声B图像，并与所述二维关键图像进行配准；
第一引导模块6，用于基于配准结果，进行第一引导；
所述区域提取模块2从所述最小三维包围盒中依次提取皮肤区域、病变区域、血管区域和肋骨区域，执行如下操作：
基于图像分割方法从所述最小三维包围盒中依次提取皮肤区域、病变区域、血管区域和肋骨区域；
其中，所述图像分割方法包括：基于边界的snake方法、半自动的图割方法、基于二阶导的偏微分方程和卷积神经网络中一种或多种结合。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于多模态图像融合的介入治疗引导方法，其特征在于，包括：
从CT/MR三维数据中检测患者腹部的最小三维包围盒；
从所述最小三维包围盒中依次提取皮肤区域、病变区域、血管区域和肋骨区域；
基于所述皮肤区域、病变区域、血管区域和所述肋骨区域，规划进针路径；
基于所述进针路径，从所述CT/MR三维数据中提取二维关键图像；
采集患者腹部的超声B图像，并与所述二维关键图像进行配准；
基于配准结果，进行第一引导。
2.如权利要求1所述的一种基于多模态图像融合的介入治疗引导方法，其特征在于，从所述最小三维包围盒中依次提取皮肤区域、病变区域、血管区域和肋骨区域，包括：
基于图像分割方法从所述最小三维包围盒中依次提取皮肤区域、病变区域、血管区域和肋骨区域；
其中，所述图像分割方法包括：基于边界的snake方法、半自动的图割方法、基于二阶导的偏微分方程和卷积神经网络中一种或多种结合。
3.如权利要求1所述的一种基于多模态图像融合的介入治疗引导方法，其特征在于，基于所述皮肤区域、病变区域、血管区域和所述肋骨区域，规划进针路径，包括：
将所述皮肤区域上的每一区域点作为候选进针点；
将所述病变区域的中心点作为靶点；
从所述候选进针点中剔除满足剔除条件的候选进针点，并从剩余的所述候选进针点中提取多个候选点簇；
基于聚类算法，从所述候选点簇中挑选最佳进针点；
基于所述最佳进针点，规划进针路径；
其中，所述剔除条件包括：
所述候选进针点位于患者背部；
或，
所述候选进针点位于所述肋骨区域上的任一区域点与所述靶点之间的连线上；
或，
所述候选进针点位于所述血管区域上的任一区域点与所述靶点之间的连线上；
或，
所述候选进针点与所述靶点之间的连线的长度大于预设长度阈值。
4.如权利要求1所述的一种基于多模态图像融合的介入治疗引导方法，其特征在于，基于所述皮肤区域、病变区域、血管区域和所述肋骨区域，规划进针路径，包括：
供用户手动基于所述皮肤区域、病变区域、血管区域和所述肋骨区域，规划进针路径。
5.如权利要求3所述的一种基于多模态图像融合的介入治疗引导方法，其特征在于，基于所述进针路径，从所述CT/MR三维数据中提取二维关键图像，包括：
通过旋转切面从所述CT/MR三维数据中提取二维关键图像；
每一所述二维关键图像经过所述靶点。
6.如权利要求1所述的一种基于多模态图像融合的介入治疗引导方法，其特征在于，基于配准结果，进行第一引导，包括：
基于配准结果，确定与所述超声B图像最匹配的所述二维关键图像，并作为目标二维关键图像；
输出显示所述目标二维关键图像对应的所述进针路径；
当所述超声B图像与所述二维关键图像之间的配准匹配度大于等于预设的配准匹配度阈值时，附加输出显示当前输出显示的所述进针路径与对应所述目标二维关键图像的位置。
7.如权利要求3所述的一种基于多模态图像融合的介入治疗引导方法，其特征在于，还包括：
获取第一引导过程中的量化指标；
基于所述量化指标，进行第二引导。
8.如权利要求7所述的一种基于多模态图像融合的介入治疗引导方法，其特征在于，所述量化指标包括：
进针点和靶点之间的距离、当前帧的所述超声B图像和所述二维关键图像之间的配准匹配度以及消融区域对所述病变区域的覆盖率。
9.一种基于多模态图像融合的介入治疗引导系统，其特征在于，包括：
最小三维包围盒检测模块，用于从CT/MR三维数据中检测患者腹部的最小三维包围盒；
区域提取模块，用于从所述最小三维包围盒中依次提取皮肤区域、病变区域、血管区域和肋骨区域；
进针路径规划模块，用于基于所述皮肤区域、病变区域、血管区域和所述肋骨区域，规划进针路径；
二维关键图像提取模块，用于基于所述进针路径，从所述CT/MR三维数据中提取二维关键图像；
配准模块，用于采集患者腹部的超声B图像，并与所述二维关键图像进行配准；
第一引导模块，用于基于配准结果，进行第一引导。
10.如权利要求9所述的一种基于多模态图像融合的介入治疗引导系统，其特征在于，所述区域提取模块从所述最小三维包围盒中依次提取皮肤区域、病变区域、血管区域和肋骨区域，执行如下操作：
基于图像分割方法从所述最小三维包围盒中依次提取皮肤区域、病变区域、血管区域和肋骨区域；
其中，所述图像分割方法包括：基于边界的snake方法、半自动的图割方法、基于二阶导的偏微分方程和卷积神经网络中一种或多种结合。
CN202310118474.5A 2023-02-02 2023-02-02 一种基于多模态图像融合的介入治疗引导方法及系统 Pending CN116236280A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310118474.5A CN116236280A (zh) 2023-02-02 2023-02-02 一种基于多模态图像融合的介入治疗引导方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310118474.5A CN116236280A (zh) 2023-02-02 2023-02-02 一种基于多模态图像融合的介入治疗引导方法及系统

Publications (1)

Publication Number Publication Date
CN116236280A true CN116236280A (zh) 2023-06-09

Family

ID=86630757

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310118474.5A Pending CN116236280A (zh) 2023-02-02 2023-02-02 一种基于多模态图像融合的介入治疗引导方法及系统

Country Status (1)

Country Link
CN (1) CN116236280A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107049475A (zh) * 2017-04-19 2017-08-18 纪建松 肝癌局部消融方法及系统
CN112043377A (zh) * 2020-10-12 2020-12-08 中国人民解放军总医院第五医学中心 Ct任意切面超声视野模拟辅助消融路径规划方法及系统
CN112245004A (zh) * 2020-10-20 2021-01-22 哈尔滨医科大学 一种基于术前模型和术中超声图像的消融规划检验方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107049475A (zh) * 2017-04-19 2017-08-18 纪建松 肝癌局部消融方法及系统
CN112043377A (zh) * 2020-10-12 2020-12-08 中国人民解放军总医院第五医学中心 Ct任意切面超声视野模拟辅助消融路径规划方法及系统
CN112245004A (zh) * 2020-10-20 2021-01-22 哈尔滨医科大学 一种基于术前模型和术中超声图像的消融规划检验方法

Similar Documents

Publication Publication Date Title
US20180308247A1 (en) Tissue imaging system and method for tissue imaging
Grimson et al. An automatic registration method for frameless stereotaxy, image guided surgery, and enhanced reality visualization
US11896414B2 (en) System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target
CN103619278B (zh) 用于内窥镜手术期间的引导注射的系统
US7809176B2 (en) Device and method for automated planning of an access path for a percutaneous, minimally invasive intervention
US20080247616A1 (en) System and method of navigating an object in an imaged subject
US7369694B2 (en) Method and medical device for the automatic determination of coordinates of images of marks in a volume dataset
US20070066880A1 (en) Image-based probe guidance system
EP1947607A1 (en) A method and system for registering a 3D pre-acquiered image coordinates system with a medical positioning system coordinate system and with a 2D image coordinate system
US20090093702A1 (en) Determining and identifying changes in the position of parts of a body structure
CN105163684A (zh) 手术数据的联运同步
CN113057734A (zh) 一种手术系统
KR20150069830A (ko) 의료 영상을 이용한 혈관 분석 정보 제공 방법 및 장치
Mauri et al. Virtual navigator automatic registration technology in abdominal application
US20180168735A1 (en) Methods for improving patient registration
AU2020204596A1 (en) Systems and methods of fluoro-CT imaging for initial registration
CN113171174A (zh) 荧光镜图像中的取向检测
EP3910591B1 (en) Mapping disease spread
US20230177681A1 (en) Method for determining an ablation region based on deep learning
US20210196387A1 (en) System and method for interventional procedure using medical images
CN116236280A (zh) 一种基于多模态图像融合的介入治疗引导方法及系统
EP3545852B1 (en) Electromagnetic navigation bronchoscopy using ultrasound
EP3944190A1 (en) Systems and methods for estimating the movement of a target using universal deformation models for anatomic tissue
US20230190382A1 (en) Directing an ultrasound probe using known positions of anatomical structures
US20230215059A1 (en) Three-dimensional model reconstruction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination