CN111784751B - 基于3d/2d配准的导丝3d模拟跟踪方法及装置 - Google Patents

基于3d/2d配准的导丝3d模拟跟踪方法及装置 Download PDF

Info

Publication number
CN111784751B
CN111784751B CN202010549316.1A CN202010549316A CN111784751B CN 111784751 B CN111784751 B CN 111784751B CN 202010549316 A CN202010549316 A CN 202010549316A CN 111784751 B CN111784751 B CN 111784751B
Authority
CN
China
Prior art keywords
matching
guide wire
registration
vessel
relation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010549316.1A
Other languages
English (en)
Other versions
CN111784751A (zh
Inventor
杨健
朱建军
范敬凡
艾丹妮
王涌天
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202010549316.1A priority Critical patent/CN111784751B/zh
Publication of CN111784751A publication Critical patent/CN111784751A/zh
Application granted granted Critical
Publication of CN111784751B publication Critical patent/CN111784751B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/12—Devices for detecting or locating foreign bodies
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/50—Clinical applications
    • A61B6/504—Clinical applications involving diagnosis of blood vessels, e.g. by angiography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Abstract

基于3D/2D配准的导丝3D模拟跟踪方法及装置，方法包括：分别从CTA图像和DSA图像中提取3D血管结构、2D血管结构；构建3D和2D血管的图模型；通过基于血管拓扑的3D/2D配准方法进行配准，得到3D和2D血管的空间位置对齐关系；在配准结果的基础上，通过优化配准对应的最佳匹配，得到稠密的3D和2D血管中心线的最大匹配；利用稠密匹配关系构建2D‑3D空间映射关系；针对DSA图像，以U‑Net网络架构为基础，针对导丝结构特性引入Dense Block嵌入和连通性监督，并在大量标注的导丝分割金标准数据集上训练；通过训练后的网络，分割X射线图像中的导丝，实现序列图像导丝的实时提取；结合2D‑3D空间映射关系和2D图像中导丝的实时提取，将2D导丝映射到3D空间，从而实现导丝的3D跟踪模拟。

Description

基于3D/2D配准的导丝3D模拟跟踪方法及装置
技术领域
本发明涉及医学图像处理的技术领域，尤其涉及一种基于3D/2D配准的导丝3D模拟跟踪方法，以及基于3D/2D配准的导丝3D模拟跟踪装置。
背景技术
导丝是血管介入手术中最常用的手术器械，用于建立经皮到目标血管的入路。造影剂的注入、血管支架的放置和闭塞管腔的疏通均依赖在X射线图像引导下导丝的侵入操作。
在导丝插入期间，通常使用术中X射线荧光透视图像进行引导。在这种图像中，导丝可见，但血管是不可见的。因此，通常需要在引导过程中使用造影剂使血管显影，引导导丝的插入过程。然而，二维的血管图像存在交叉等情况，医生通常难以判断实际的血管形状和位置。因此，将3D血管模型叠加到二维的图像上帮助医生引导导丝的插入十分重要。
CTA又叫做非创伤性血管成像技术，是在增强CT扫描以后进行的重建方法，简单讲就是在扫描时向血管内注入一定的造影剂使血管腔充盈并采集其数据，然后经过计算机重建处理，将非兴趣区的内容删除，仅保留血管的影像并进行整体和多角度的重建，使血管整体外观充分展现，同时也利于病变血管的显示。这个类似于数字减影检查(但CTA可以提供3维图像信息)。
导丝尖端材料可吸收X射线，直径为0.36mm，医生需要在造影图像上识别细小曲线形状的导丝尖端，并根据造影图像显示的血管信息，经验地估计导丝在血管中的位置。这种传统的引导方式制约了介入操作的准确性，自动的导丝识别及导丝3D位置的估计有助于医生进行导丝介入操作。
发明内容
为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种基于3D/2D配准的导丝3D模拟跟踪方法，其能够准确快速分割X射线图像中的导丝，实现序列图像导丝的实时提取，将2D导丝映射到3D空间实现导丝的3D跟踪模拟，帮助医生识别导丝及估计导丝3D位置。
本发明的技术方案是：这种基于3D/2D配准的导丝3D模拟跟踪方法，其包括以下步骤：
(1)分别从CTA图像和DSA图像中提取3D血管结构、2D血管结构；
(2)构建3D和2D血管的图模型；
(3)通过基于血管拓扑的3D/2D配准方法进行配准，得到3D和2D血管的空间位置对齐关系；
(4)在配准结果的基础上，通过优化配准对应的最佳匹配，得到稠密的3D和2D血管中心线的最大匹配；
(5)利用稠密匹配关系构建2D-3D空间映射关系；
(6)针对DSA图像，以U-Net网络架构为基础，针对导丝结构特性引入Dense Block嵌入和连通性监督，并在大量标注的导丝分割金标准数据集上训练；
(7)通过训练后的网络，分割X射线图像中的导丝，实现序列图像导丝的实时提取；
(8)结合2D-3D空间映射关系和2D图像中导丝的实时提取，将2D导丝映射到3D空间，从而实现导丝的3D跟踪模拟。
本发明在X射线图像导丝结构提取中，以U-Net网络架构为基础，针对导丝结构特性引入Dense Block嵌入和连通性监督，并在大量标注的导丝分割金标准数据集上训练，经过训练后的网络能够准确快速分割X射线图像中的导丝，实现序列图像导丝的实时提取；结合2D-3D空间映射关系和2D图像中导丝的实时跟踪，将2D导丝映射到3D空间，从而实现导丝的3D跟踪模拟，帮助医生识别导丝及估计导丝3D位置。
还提供了基于3D/2D配准的导丝3D模拟跟踪装置，其包括：
提取模块，其分别从CTA图像和DSA图像中提取3D血管结构、2D血管结构；
构建模块，其构建3D和2D血管的图模型；
配准模块，其通过基于血管拓扑的3D/2D配准方法进行配准，得到3D和2D血管的空间位置对齐关系；
匹配模块，其在配准结果的基础上，通过优化配准对应的最佳匹配，得到稠密的3D和2D血管中心线的最大匹配；
映射关系构建模块，其利用稠密匹配关系构建2D-3D空间映射关系；
训练模块，其针对DSA图像，以U-Net网络架构为基础，针对导丝结构特性引入Dense Block嵌入和连通性监督，并在大量标注的导丝分割金标准数据集上训练；
分割模块，其通过训练后的网络，分割X射线图像中的导丝，实现序列图像导丝的实时提取；
映射模块，其结合2D-3D空间映射关系和2D图像中导丝的实时提取，将2D导丝映射到3D空间，从而实现导丝的3D跟踪模拟。
附图说明
图1示出了根据本发明的基于3D/2D配准的导丝3D模拟跟踪方法的流程图。
图2示出了3D和2D血管最佳匹配和最大匹配示意图。
图3示出了血管分支长度不一致时稠密匹配示意图，(a)理想匹配结果，(b)DTW匹配结果。
具体实施方式
如图1所示，这种基于3D/2D配准的导丝3D模拟跟踪方法，其包括以下步骤：
(1)分别从CTA图像和DSA图像中提取3D血管结构、2D血管结构；
(2)构建3D和2D血管的图模型；
(3)通过基于血管拓扑的3D/2D配准方法进行配准，得到3D和2D血管的空间位置对齐关系；
(4)在配准结果的基础上，通过优化配准对应的最佳匹配，得到稠密的3D和2D血管中心线的最大匹配；
(5)利用稠密匹配关系构建2D-3D空间映射关系；
(6)针对DSA图像，以U-Net网络架构为基础，针对导丝结构特性引入Dense Block嵌入和连通性监督，并在大量标注的导丝分割金标准数据集上训练；
(7)通过训练后的网络，分割X射线图像中的导丝，实现序列图像导丝的实时提取；
(8)结合2D-3D空间映射关系和2D图像中导丝的实时提取，将2D导丝映射到3D空间，从而实现导丝的3D跟踪模拟。
本发明在X射线图像导丝结构提取中，以U-Net网络架构为基础，针对导丝结构特性引入Dense Block嵌入和连通性监督，并在大量标注的导丝分割金标准数据集上训练，经过训练后的网络能够准确快速分割X射线图像中的导丝，实现序列图像导丝的实时提取；结合2D-3D空间映射关系和2D图像中导丝的实时跟踪，将2D导丝映射到3D空间，从而实现导丝的3D跟踪模拟，帮助医生识别导丝及估计导丝3D位置。
2D-3D空间映射需建立X射线图像平面与CTA图像空间的对应关系，对于双平面C型臂探测器，可同时获得两个视角的造影图像。可采用基于多视角成像几何原理的方法对导丝进行3D重建，从而实现其3D跟踪。而临床中大仍部分使用单C型臂探测器，因而无法采用3D重建的方式获得导丝的跟踪。因此，针对单角度X射线图像，需引入其他先验知识来获得2D-3D空间映射。
优选地，该方法用于单C型臂探测器，3D和2D血管的对应关系作为先验知识用于估计2D-3D空间映射；给定导丝识别信息，采用最近距离投影方式建立导丝到2D血管中心线的映射；基于3D和2D血管中心线的稠密匹配关系，建立导丝结构与3D中心线的对应关系。临床中医生主要关心导丝在血管内的相对位置，通过捕捉X射线序列图像中导丝的移动，可实时的将导丝映射到3D血管中心线上，实现导丝尖端的3D模拟跟踪。因此导丝的3D跟踪关键在于精确的3D和2D血管中心线匹配。
由于3D-2D的刚性变换可基于稠密的3D和2D血管对应关系计算得到，因此可认为最佳的刚性配准结果T与最佳的血管匹配πε相关。对于3D血管图
Figure GDA0002661105070000051
和2D血管图
Figure GDA0002661105070000052
其匹配表示为
Figure GDA0002661105070000053
Figure GDA0002661105070000054
然而，计算2D-3D空间映射需要稠密的血管匹配，即
Figure GDA0002661105070000055
和
Figure GDA0002661105070000056
的最大匹配
Figure GDA0002661105070000057
由于3D和2D血管存在形态不一致现象，如血管末端长度不同和血管伪分叉，绝大部分情况下最佳匹配不等于最大匹配
Figure GDA0002661105070000058
图2展示了3D和2D血管最佳匹配和最大匹配的区别，左图为最佳匹配，右图为最大匹配，对应的血管边用相同颜色标注，对应的血管顶点用虚线相连。最佳匹配满足了基于匹配可计算得到最佳配准结果的条件，因此在GTSR、HTSR和MCTSR方法中求得的搜索树的最佳节点
Figure GDA0002661105070000059
中的匹配通常为图2左图的最佳匹配。最大匹配集合包含最佳匹配集合，即
Figure GDA0002661105070000061
因此可在最佳匹配的基础上，继续计算3D和2D血管的最大匹配。
优选地，所述步骤(4)的血管中心线的最大匹配中，以3D血管图
Figure GDA0002661105070000062
2D血管图
Figure GDA0002661105070000063
和经MCTSR算法获得的最佳匹配πε为输入，设定阈值参数h；首先根据πε和
Figure GDA0002661105070000064
获得待匹配的3D血管边集合
Figure GDA0002661105070000065
并初始化最大匹配
Figure GDA0002661105070000066
然后判断集合
Figure GDA0002661105070000067
是否为空集，根据当前匹配状态
Figure GDA0002661105070000068
通过有效配对探测获得可拓展配对集合
Figure GDA0002661105070000069
同时判断集合E是否为空集，当
Figure GDA00026611050700000610
为空则所有的3D血管边已经找到对应匹配，E为空则在满足拓扑连续性的条件下没有可行的配对，因此循环结束；遍历
Figure GDA00026611050700000611
的每条边
Figure GDA00026611050700000612
找到E中与
Figure GDA00026611050700000613
对应的所有配对
Figure GDA00026611050700000614
并通过计算对应边的Fréchet距离找到其中距离最小的配对
Figure GDA00026611050700000615
如果
Figure GDA00026611050700000616
则将该配对加入最大匹配集合
Figure GDA00026611050700000617
结束遍历后，更新待匹配3D血管边集合
Figure GDA00026611050700000618
将已匹配的
Figure GDA00026611050700000619
剔除；迭代执行，直至满足循环结束条件。表1中介绍了计算3D和2D血管最大匹配伪代码。
表1
Figure GDA00026611050700000620
Figure GDA0002661105070000071
优选地，所述步骤(4)中，血管的稠密匹配在最大匹配
Figure GDA0002661105070000072
基础上进行边-边的曲线匹配。
对于血管分支的曲线匹配，在血管树的主干入口和末端通常存在血管长度不一现象。如图2中所示对应的3D血管边2-6与2D血管边b-e-g。图3展示了两种匹配结果，(a)是金标准匹配，(b)是使用完整血管段曲线信息进行匹配的结果。在长度不一致的情况下，较长血管段多余的部分会干扰匹配结果，使得整体匹配精度降低。为解决该问题，所述步骤(4)中边-边的曲线匹配，采用以动态时间规划方法DTW为基础的曲线匹配优化方法。
表2
Figure GDA0002661105070000073
Figure GDA0002661105070000081
曲线匹配优化方法伪代码如表2所示。对于两条曲线P＝{p1,p2,…,pM}和Q＝{q1,q2,…,qN}，假设曲线长度len(P)<len(Q)，使用DTW方法计算得到连续点集的匹配
Figure GDA0002661105070000082
判断曲线末端匹配点的距离
Figure GDA0002661105070000083
是否小于h，如不满足则剔除曲线Q的末尾点，重复执行直至满足末端匹配点的距离小于h。
本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而所述的存储介质可以是：ROM/RAM、磁碟、光盘、存储卡等。因此，与本发明的方法相对应的，本发明还同时包括基于3D/2D配准的导丝3D模拟跟踪装置，该装置通常以与方法各步骤相对应的功能模块的形式表示。该装置包括：
提取模块，其分别从CTA图像和DSA图像中提取3D血管结构、2D血管结构；
构建模块，其构建3D和2D血管的图模型；
配准模块，其通过基于血管拓扑的3D/2D配准方法进行配准，得到3D和2D血管的空间位置对齐关系；
匹配模块，其在配准结果的基础上，通过优化配准对应的最佳匹配，得到稠密的3D和2D血管中心线的最大匹配；
映射关系构建模块，其利用稠密匹配关系构建2D-3D空间映射关系；
训练模块，其针对DSA图像，以U-Net网络架构为基础，针对导丝结构特性引入Dense Block嵌入和连通性监督，并在大量标注的导丝分割金标准数据集上训练；
分割模块，其通过训练后的网络，分割X射线图像中的导丝，实现序列图像导丝的实时提取；
映射模块，其结合2D-3D空间映射关系和2D图像中导丝的实时提取，将2D导丝映射到3D空间，从而实现导丝的3D跟踪模拟。
优选地，该装置用于单C型臂探测器，3D和2D血管的对应关系作为先验知识用于估计2D-3D空间映射；给定导丝识别信息，采用最近距离投影方式建立导丝到2D血管中心线的映射；基于3D和2D血管中心线的稠密匹配关系，建立导丝结构与3D中心线的对应关系。
优选地，所述匹配模块的血管中心线的最大匹配中，以3D血管图
Figure GDA0002661105070000091
2D血管图
Figure GDA0002661105070000092
和经MCTSR算法获得的最佳匹配πε为输入，设定阈值参数h；首先根据πε和
Figure GDA0002661105070000093
获得待匹配的3D血管边集合
Figure GDA0002661105070000094
并初始化最大匹配
Figure GDA0002661105070000095
然后判断集合
Figure GDA0002661105070000096
是否为空集，根据当前匹配状态
Figure GDA0002661105070000097
通过有效配对探测获得可拓展配对集合
Figure GDA0002661105070000098
同时判断集合E是否为空集，当
Figure GDA0002661105070000099
为空则所有的3D血管边已经找到对应匹配，E为空则在满足拓扑连续性的条件下没有可行的配对，因此循环结束；遍历
Figure GDA00026611050700000910
的每条边
Figure GDA00026611050700000911
找到E中与
Figure GDA00026611050700000912
对应的所有配对
Figure GDA00026611050700000913
并通过计算对应边的Fréchet距离找到其中距离最小的配对
Figure GDA00026611050700000914
如果
Figure GDA00026611050700000915
则将该配对加入最大匹配集合
Figure GDA0002661105070000101
结束遍历后，更新待匹配3D血管边集合
Figure GDA0002661105070000102
将已匹配的
Figure GDA0002661105070000103
剔除；迭代执行，直至满足循环结束条件。
优选地，所述匹配模块中，血管的稠密匹配在最大匹配
Figure GDA0002661105070000104
基础上进行边-边的曲线匹配。
优选地，所述匹配模块中边-边的曲线匹配，采用以动态时间规划方法DTW为基础的曲线匹配优化方法，对于两条曲线P＝{p1,p2,…,pM}和Q＝{q1,q2,…,qN}，假设曲线长度len(P)<len(Q)，使用DTW方法计算得到连续点集的匹配
Figure GDA0002661105070000105
判断曲线末端匹配点的距离
Figure GDA0002661105070000106
是否小于h，如不满足则剔除曲线Q的末尾点，重复执行直至满足末端匹配点的距离小于h。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。

Claims (10)

1.基于3D/2D配准的导丝3D模拟跟踪方法，其特征在于：其包括以下步骤：
(1)分别从CTA图像和DSA图像中提取3D血管结构、2D血管结构；
(2)构建3D和2D血管的图模型；
(3)通过基于血管拓扑的3D/2D配准方法进行配准，得到3D和2D血管的空间位置对齐关系；
(4)在配准结果的基础上，通过优化配准对应的最佳匹配，得到稠密的3D和2D血管中心线的最大匹配；
(5)利用稠密匹配关系构建2D-3D空间映射关系；
(6)针对DSA图像，以U-Net网络架构为基础，针对导丝结构特性引入Dense Block嵌入和连通性监督，并在大量标注的导丝分割金标准数据集上训练；
(7)通过训练后的网络，分割X射线图像中的导丝，实现序列图像导丝的实时提取；
(8)结合2D-3D空间映射关系和2D图像中导丝的实时提取，将2D导丝映射到3D空间，从而实现导丝的3D跟踪模拟。
2.根据权利要求1所述的基于3D/2D配准的导丝3D模拟跟踪方法，其特征在于：该方法用于单C型臂探测器，3D和2D血管的对应关系作为先验知识用于估计2D-3D空间映射；给定导丝识别信息，采用最近距离投影方式建立导丝到2D血管中心线的映射；基于3D和2D血管中心线的稠密匹配关系，建立导丝结构与3D中心线的对应关系。
3.根据权利要求2所述的基于3D/2D配准的导丝3D模拟跟踪方法，其特征在于：所述步骤(4)的血管中心线的最大匹配中，以3D血管图
Figure FDA0003891383410000021
2D血管图
Figure FDA0003891383410000022
和经MCTSR算法获得的最佳匹配πε为输入，设定阈值参数h；首先根据πε和
Figure FDA0003891383410000023
获得待匹配的3D血管边集合
Figure FDA0003891383410000024
并初始化最大匹配
Figure FDA0003891383410000025
然后判断集合
Figure FDA0003891383410000026
是否为空集，根据当前匹配状态
Figure FDA0003891383410000027
通过有效配对探测获得可拓展配对集合
Figure FDA0003891383410000028
同时判断集合E是否为空集，当
Figure FDA0003891383410000029
为空则所有的3D血管边已经找到对应匹配，E为空则在满足拓扑连续性的条件下没有可行的配对，因此循环结束；遍历
Figure FDA00038913834100000210
的每条边
Figure FDA00038913834100000211
找到E中与
Figure FDA00038913834100000212
对应的所有配对
Figure FDA00038913834100000213
并通过计算对应边的Fréchet距离找到其中距离最小的配对
Figure FDA00038913834100000214
如果
Figure FDA00038913834100000215
则将该配对加入最大匹配集合
Figure FDA00038913834100000216
结束遍历后，更新待匹配3D血管边集合
Figure FDA00038913834100000217
将已匹配的
Figure FDA00038913834100000218
剔除；迭代执行，直至满足循环结束条件。
4.根据权利要求3所述的基于3D/2D配准的导丝3D模拟跟踪方法，其特征在于：所述步骤(4)中，血管的稠密匹配在最大匹配
Figure FDA00038913834100000222
基础上进行边-边的曲线匹配。
5.根据权利要求4所述的基于3D/2D配准的导丝3D模拟跟踪方法，其特征在于：所述步骤(4)中边-边的曲线匹配，采用以动态时间规划方法DTW为基础的曲线匹配优化方法，对于两条曲线P＝{p1,p2,…,pM}和Q＝{q1,q2,…,qN}，假设曲线长度len(P)<len(Q)，使用DTW方法计算得到连续点集的匹配
Figure FDA00038913834100000219
Figure FDA00038913834100000220
判断曲线末端匹配点的距离
Figure FDA00038913834100000221
是否小于h，如不满足则剔除曲线Q的末尾点，重复执行直至满足末端匹配点的距离小于h。
6.基于3D/2D配准的导丝3D模拟跟踪装置，其特征在于：其包括：提取模块，其分别从CTA图像和DSA图像中提取3D血管结构、2D血管结构；
构建模块，其构建3D和2D血管的图模型；
配准模块，其通过基于血管拓扑的3D/2D配准方法进行配准，得到3D和2D血管的空间位置对齐关系；
匹配模块，其在配准结果的基础上，通过优化配准对应的最佳匹配，得到稠密的3D和2D血管中心线的最大匹配；
映射关系构建模块，其利用稠密匹配关系构建2D-3D空间映射关系；
训练模块，其针对DSA图像，以U-Net网络架构为基础，针对导丝结构特性引入DenseBlock嵌入和连通性监督，并在大量标注的导丝分割金标准数据集上训练；
分割模块，其通过训练后的网络，分割X射线图像中的导丝，实现序列图像导丝的实时提取；
映射模块，其结合2D-3D空间映射关系和2D图像中导丝的实时提取，将2D导丝映射到3D空间，从而实现导丝的3D跟踪模拟。
7.根据权利要求6所述的基于3D/2D配准的导丝3D模拟跟踪装置，其特征在于：该装置用于单C型臂探测器，3D和2D血管的对应关系作为先验知识用于估计2D-3D空间映射；给定导丝识别信息，采用最近距离投影方式建立导丝到2D血管中心线的映射；基于3D和2D血管中心线的稠密匹配关系，建立导丝结构与3D中心线的对应关系。
8.根据权利要求7所述的基于3D/2D配准的导丝3D模拟跟踪装置，其特征在于：所述匹配模块的血管中心线的最大匹配中，以3D血管图
Figure FDA0003891383410000031
2D血管图
Figure FDA0003891383410000032
和经MCTSR算法获得的最佳匹配πε为输入，设定阈值参数h；首先根据πε和
Figure FDA0003891383410000041
获得待匹配的3D血管边集合
Figure FDA0003891383410000042
并初始化最大匹配
Figure FDA0003891383410000043
然后判断集合
Figure FDA0003891383410000044
是否为空集，根据当前匹配状态
Figure FDA0003891383410000045
通过有效配对探测获得可拓展配对集合
Figure FDA0003891383410000046
同时判断集合E是否为空集，当
Figure FDA0003891383410000047
为空则所有的3D血管边已经找到对应匹配，E为空则在满足拓扑连续性的条件下没有可行的配对，因此循环结束；遍历
Figure FDA0003891383410000048
的每条边
Figure FDA0003891383410000049
找到E中与
Figure FDA00038913834100000410
对应的所有配对
Figure FDA00038913834100000411
并通过计算对应边的Fréchet距离找到其中距离最小的配对
Figure FDA00038913834100000412
如果
Figure FDA00038913834100000413
则将该配对加入最大匹配集合
Figure FDA00038913834100000414
结束遍历后，更新待匹配3D血管边集合
Figure FDA00038913834100000415
将已匹配的
Figure FDA00038913834100000416
剔除；迭代执行，直至满足循环结束条件。
9.根据权利要求8所述的基于3D/2D配准的导丝3D模拟跟踪装置，其特征在于：所述匹配模块中，血管的稠密匹配在最大匹配
Figure FDA00038913834100000417
基础上进行边-边的曲线匹配。
10.根据权利要求9所述的基于3D/2D配准的导丝3D模拟跟踪装置，其特征在于：所述匹配模块中边-边的曲线匹配，采用以动态时间规划方法DTW为基础的曲线匹配优化方法，对于两条曲线P＝{p1,p2,…,pM}和Q＝{q1,q2,…,qN}，假设曲线长度len(P)<len(Q)，使用DTW方法计算得到连续点集的匹配
Figure FDA00038913834100000418
Figure FDA00038913834100000419
判断曲线末端匹配点的距离
Figure FDA00038913834100000420
是否小于h，如不满足则剔除曲线Q的末尾点，重复执行直至满足末端匹配点的距离小于h。
CN202010549316.1A 2020-06-16 2020-06-16 基于3d/2d配准的导丝3d模拟跟踪方法及装置 Active CN111784751B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010549316.1A CN111784751B (zh) 2020-06-16 2020-06-16 基于3d/2d配准的导丝3d模拟跟踪方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010549316.1A CN111784751B (zh) 2020-06-16 2020-06-16 基于3d/2d配准的导丝3d模拟跟踪方法及装置

Publications (2)

Publication Number Publication Date
CN111784751A CN111784751A (zh) 2020-10-16
CN111784751B true CN111784751B (zh) 2022-12-02

Family

ID=72755983

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010549316.1A Active CN111784751B (zh) 2020-06-16 2020-06-16 基于3d/2d配准的导丝3d模拟跟踪方法及装置

Country Status (1)

Country Link
CN (1) CN111784751B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112365472A (zh) * 2020-11-12 2021-02-12 中科麦迪人工智能研究院(苏州)有限公司 血管寻径方法、装置、电子设备和存储介质
CN117530775B (zh) * 2024-01-09 2024-04-30 华中科技大学同济医学院附属协和医院 一种基于人工智能和ct的磁控介入控制方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2160978A1 (en) * 2008-09-05 2010-03-10 General Electric Company Method and apparatus for catheter guidance using a combination of ultrasound and x-ray imaging
CN105408939A (zh) * 2013-07-23 2016-03-16 皇家飞利浦有限公司 用于配准成像设备与跟踪设备的配准系统
CN109938836A (zh) * 2019-04-01 2019-06-28 上海交通大学 一种血管介入机器人手术中的自动无标记的引导导丝方法
CN111192266A (zh) * 2019-12-27 2020-05-22 北京理工大学 一种2d导丝尖端分割方法及装置
CN111243746A (zh) * 2020-01-20 2020-06-05 上海奥朋医疗科技有限公司 一种血管介入手术机器人的手术仿真方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2160978A1 (en) * 2008-09-05 2010-03-10 General Electric Company Method and apparatus for catheter guidance using a combination of ultrasound and x-ray imaging
CN105408939A (zh) * 2013-07-23 2016-03-16 皇家飞利浦有限公司 用于配准成像设备与跟踪设备的配准系统
CN109938836A (zh) * 2019-04-01 2019-06-28 上海交通大学 一种血管介入机器人手术中的自动无标记的引导导丝方法
CN111192266A (zh) * 2019-12-27 2020-05-22 北京理工大学 一种2d导丝尖端分割方法及装置
CN111243746A (zh) * 2020-01-20 2020-06-05 上海奥朋医疗科技有限公司 一种血管介入手术机器人的手术仿真方法及系统

Also Published As

Publication number Publication date
CN111784751A (zh) 2020-10-16

Similar Documents

Publication Publication Date Title
JP5129480B2 (ja) 管状臓器の３次元再構成を行うシステム及び血管撮像装置の作動方法
JP6894896B2 (ja) Ｘ線画像特徴検出および位置合わせのシステムおよび方法
CN111798451B (zh) 基于血管3d/2d匹配的3d导丝跟踪方法及装置
JP2022169579A (ja) リアルタイムで診断上有用な結果
US9471989B2 (en) Vascular anatomy modeling derived from 3-dimensional medical image processing
US8942455B2 (en) 2D/3D image registration method
KR102050649B1 (ko) 2차원 x-선 조영영상의 혈관 구조 추출 방법, 이를 수행하기 위한 기록매체 및 장치
US20130009958A1 (en) Projection image generation apparatus, program and method
JP2006246941A (ja) 画像処理装置及び管走行トラッキング方法
WO2022109903A1 (zh) 三维血管合成方法、系统及冠状动脉分析系统和存储介质
CN111784751B (zh) 基于3d/2d配准的导丝3d模拟跟踪方法及装置
CN107507212B (zh) 数字脑可视化方法、装置、计算设备及存储介质
US11017531B2 (en) Shell-constrained localization of vasculature
CN117115150B (zh) 用于确定分支血管的方法、计算设备和介质
Cardenes et al. 3D reconstruction of coronary arteries from rotational X-ray angiography
CN111260704A (zh) 基于启发式树搜索的血管结构3d/2d刚性配准方法及装置
WO2015150320A1 (en) Segmentation of tubular organ structures
US20220254131A1 (en) Methods, apparatus, and system for synchronization between a three-dimensional vascular model and an imaging device
CN111627023B (zh) 一种冠脉投影图像生成的方法、装置及计算机可读介质
CN114931435A (zh) 三维模型处理方法、装置和电子设备
KR101540402B1 (ko) 의료용 바늘의 삽입 경로의 생성 방법
KR20210112436A (ko) 혈관 특징 정보 기반 다중 모달리티 비강체 정합 방법, 이를 수행하기 위한 기록 매체 및 장치
CN111329589A (zh) 一种手持式智能融合造影导航系统
CN112669370B (zh) 一种冠状动脉的半径计算方法、终端及存储介质
Park et al. Accurate extraction of coronary vascular structures in 2D X-ray angiogram using vascular topology information in 3D computed tomography angiography

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant