CN110288631A

CN110288631A - 追踪导丝尖端的方法、系统及存储介质

Info

Publication number: CN110288631A
Application number: CN201910402245.XA
Authority: CN
Inventors: 王澄; 李迟迟; 周寿军
Original assignee: Shenzhen Institute of Advanced Technology of CAS
Current assignee: Shenzhen Institute of Advanced Technology of CAS
Priority date: 2019-05-15
Filing date: 2019-05-15
Publication date: 2019-09-27
Anticipated expiration: 2039-05-15
Also published as: CN110288631B

Abstract

本发明涉及心脏X射线透视技术领域，具体涉及一种追踪导丝尖端的方法、系统及存储介质，该方法通过提取特征点并根据特征点进行聚类，将每帧图像分割为多个包含导丝尖端候选者的目标区域，根据候选者在特定时间段内的运动幅度以及导丝尖端的特性从多个导丝尖端候选者中确定导丝尖端。本发明的方法及系统仅仅利用原始X射线透视视频中的信息，无需外部参考，同时，提高了每帧图像中导丝尖端的追踪的准确性，实现了导丝尖端的动态实时追踪。

Description

追踪导丝尖端的方法、系统及存储介质

技术领域

本发明涉及心脏X射线透视技术领域，具体涉及一种追踪导丝尖端的方法、系统及存储介质。

背景技术

血管内手术具有侵袭性小、恢复时间短等优点，得到了广泛的应用。然而，在造影剂逐渐代谢后，血管几乎是看不见的。为了减少对患者的伤害，在手术过程中一直使用造影剂并不是一个明智的选择。导丝是一种通过导管插入血管的医疗器械，对介入监测和辅助有重要作用。此外，导丝的远端称为导丝尖端，可用于分析重要数据。请参阅图1所示，现有技术中利用Photoshop工具的stack composition技术，按时间序列叠加4个序列。观察后，导丝尖端的运动受心跳、患者呼吸等因素的影响。鲁棒追踪系统通过提供导丝尖端的可靠位置和形状，在连续图像中发挥着重要作用之前的几项工作尝试用各种方法对导丝进行追踪。

现有技术中的一些追踪方法是基于图像增强和b样条模型。但是，在噪声背景下，点检测的拟合是比较困难的。在不使用b样条模型的情况下，Wagner提出了一种新的导丝路径提取方法。此外，Wang等人提出了一种基于边缘检测和开放活动轮廓的方法，具有95.3％的accuracy。然而，该方法主要针对单帧，每帧处理时间约为3.79s。现有技术中还提出了血管中心线和心电信息可以作为导丝尖端追踪的参考。在导丝追踪中应用了一些新的方法，例如，在现有技术中，使用卷积神经网络，但受造影剂残留等异常值的影响。。

鉴于此，克服以上现有技术中的缺陷，提供一种新的追踪导丝尖端的方法成为本领域亟待解决的技术问题。

发明内容

本发明的目的在于针对现有技术的上述缺陷，提供一种追踪导丝尖端的方法、系统及存储介质。

本发明的目的可通过以下的技术措施来实现：

本发明提供了一种在X射线透视视频中追踪导丝尖端的方法，该方法包括：

S1，将X射线透视视频的每帧图像进行增强，在增强后的每帧图像上提取特征点；

S2，对于连续N帧图像，对第一帧图像上的特征点进行聚类，得到多个聚类集群，根据每个聚类集群占据的区域确定目标区域，将所述目标区域映射至第二帧图像至第N帧图像中；

S3，对每帧图像的目标区域进行中心线提取，以得到目标区域内的至少一条曲线，将目标区域中长度最长的曲线作为导丝尖端候选者并根据长度最长的曲线计算对应导丝尖端候选者的重力点；

S4，计算第二帧图像至第N帧图像中目标区域的重力点与第一帧图像中目标区域的重力点之间距离的平方误差之和，将平方误差之和最大的重力点所在目标区域内的导丝尖端候选者确定为导丝尖端。

优选地，步骤S1具体包括：

采用单尺度算法将X射线透视视频的每帧图像进行增强，基于梯度矢量流场在增强后的每帧图像上提取特征点。

优选地，在步骤S2中，所述“对第一帧图像上的特征点进行聚类，得到多个聚类集群”的步骤包括：

S21，从第一帧图像上的所有特征点中随机选择一个初始特征点a1作为集群A中心，将初始特征点a1的邻域内的特征点归入集群A，将集群A内任意特征点的邻域内的特征点归入集群A；

S22，从未归入任何集群的特征点中随机选择一个初始特征点b1作为集群B中心，将初始特征点b1的邻域内的特征点归入集群B，将集群B内任意特征点的邻域内的特征点归入集群B；

S23，重复步骤S22，直到不存在未归任何集群的特征点。

优选地，在步骤S3中还包括如下步骤：

对每帧图像的目标区域进行滤波处理。

优选地，在步骤S3中还包括如下步骤：

计算每两个重力点之间的距离，当两个重力点之间的距离小于距离阈值g时，将两个重力点对应的目标区域合并；

当重力点位于图像边界外时，放弃对所述重力点对应的目标区域的追踪。

优选地，在步骤S3中还包括如下步骤：

当目标区域内的曲线长度小于长度阈值t1时，将首尾距离小于距离阈值D的两条曲线进行拼接；

当目标区域内的曲线长度小于长度阈值t1时，将夹角小于角度阈值θ的两条相邻曲线进行拼接。

优选地，在步骤S3中还包括如下步骤：

根据导丝尖端的预测位置对目标区域内的曲线位置进行调整。

本发明还提供了一种在X射线透视视频中追踪导丝尖端的系统，该系统包括：

特征点提取模块，用于将X射线透视视频的每帧图像进行增强，在增强后的每帧图像上提取特征点；

目标区域分割模块，用于对第一帧图像上的特征点进行聚类，得到多个聚类集群，根据每个聚类集群占据的区域确定目标区域，将所述目标区域映射至第二帧图像至第N帧图像中；

候选者计算模块，用于对每帧图像的目标区域进行中心线提取，以得到目标区域内的至少一条曲线，将目标区域中长度最长的曲线作为导丝尖端候选者并根据长度最长的曲线计算对应导丝尖端候选者的重力点；

导丝尖端计算模块，用于计算第二帧图像至第N帧图像中目标区域的重力点与第一帧图像中目标区域的重力点之间距离的平方误差之和，将平方误差之和最大的重力点所在目标区域内的导丝尖端候选者确定为导丝尖端。

优选地，所述系统还包括拼接模块，用于当目标区域内的曲线长度小于长度阈值t1时，将首尾距离小于距离阈值D的两条曲线进行拼接；以及当目标区域内的曲线长度小于长度阈值t1时，将夹角小于角度阈值θ的两条相邻曲线进行拼接。

本发明还提供了一种存储介质，所述存储介质存储有程序，所述程序被执行时实现上述的在X射线透视视频中追踪导丝尖端的方法。

本发明的追踪导丝尖端的方法及系统，通过提取特征点并根据特征点进行聚类，将每帧图像分割为多个包含导丝尖端候选者的目标区域，根据候选者在特定时间段内的运动幅度以及导丝尖端的特性从多个导丝尖端候选者中确定导丝尖端，仅仅利用原始X射线透视视频中的信息，无需外部参考，同时，提高了每帧图像中导丝尖端的追踪的准确性，实现了导丝尖端的动态实时追踪。

附图说明

图1是现有技术中基于stack composition技术的四个不同透视视频下效果图。

图2是本发明实施例的在X射线透视视频中追踪导丝尖端的方法的流程图。

图3是本发明实施例中描述多边形掩模示意图。

图4是本发明实施例中曲线校准示意图。

图5是本发明实施例的方法的RuSio框架算法的流程图。

图6是本发明实施例的方法的连续5帧追踪性能展示图。

图7是本发明实施例的方法的RuSio框架参数展示图。

图8是本发明实施例的在X射线透视视频中追踪导丝尖端的系统的结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了使本揭示内容的叙述更加详尽与完备，下文针对本发明的实施方式与具体实施例提出了说明性的描述；但这并非实施或运用本发明具体实施例的唯一形式。实施方式中涵盖了多个具体实施例的特征以及用以建构与操作这些具体实施例的方法步骤与其顺序。然而，亦可利用其它具体实施例来达成相同或均等的功能与步骤顺序。

实施例1

本发明实施例提供了一种在X射线透视视频中追踪导丝尖端的方法，请参阅图2所示，该方法包括：

S101，将X射线透视视频的每帧图像进行增强，在增强后的每帧图像上提取特征点。

S102，对于连续N帧图像，对第一帧图像上的特征点进行聚类，得到多个聚类集群，根据每个聚类集群占据的区域确定目标区域，将该目标区域映射至第二帧图像至第N帧图像中。

S103，对每帧图像的目标区域进行中心线提取，以得到目标区域内的至少一条曲线，将目标区域中长度最长的曲线作为导丝尖端候选者并根据长度最长的曲线计算对应导丝尖端候选者的重力点。

S104，计算第二帧图像至第N帧图像中目标区域的重力点与第一帧图像中目标区域的重力点之间距离的平方误差之和，将平方误差之和最大的重力点所在目标区域内的导丝尖端候选者确定为导丝尖端。

在步骤S101中，进行导丝尖端特征检测，先采用单尺度算法将X射线透视视频的每帧图像进行增强，再基于梯度矢量流场在增强后的每帧图像上提取特征点。检测底层导丝尖端位置在追踪过程中起着至关重要的作用，本实施例中将单尺度增强措施和梯度矢量流(GVF)相结合的方法检测管状结构，远端切片在透视图像中为薄管状物体，其材质一致，因此，采用合适的单尺度增强可以在管状物体的多个尺度之间暴露导丝尖端。根据梯度向量在GVF场上的方向提取增强目标的特征点。

在步骤S102中，上述步骤提取了一组分散在图像上的特征点，这些特征点可以被划分为多个集群，导丝尖端必然出现在其中一个集群占据的区域，在本实施例中，采用邻域增长算法(Neighborhood Growth Algorithm，NGA)将特征点归入到相应聚类的集群中，其中，邻域被定义为围绕中心单元的点，在给定r(r>＝1)邻域范围内，中心点周围有(2r+1)2-1个邻域；聚类基于搜索邻域来收集特征点，如果特征点是集群中任意特征点的邻域，则认为它属于同一集群；相反，这个特征点属于一个新的星系团。

具体地，在步骤S102中，该“对第一帧图像上的特征点进行聚类，得到多个聚类集群”的步骤包括：

S21，从第一帧图像上的所有特征点中随机选择一个初始特征点a1作为集群A中心，将初始特征点a1的邻域内的特征点归入集群A，将集群A内任意特征点的邻域内的特征点归入集群A。

S22，从未归入任何集群的特征点中随机选择一个初始特征点b1作为集群B中心，将初始特征点b1的邻域内的特征点归入集群B，将集群B内任意特征点的邻域内的特征点归入集群B。

S23，重复步骤S22，从未归入任何集群的特征点中随机选择一个初始特征点c1作为集群C中心，将初始特征点c1的邻域内的特征点归入集群C，将集群C内任意特征点的邻域内的特征点归入集群C，直到不存在未归任何集群的特征点。

基于第一帧图像的上述聚类集群，根据每个聚类集群占据的区域确定目标区域，可以将图像分割成多个部分，目标区域为二维图像的m*m区域，可以以导丝尖端的重力点为中心。从第二帧图像开始，只聚焦目标区域，而不是整个图像。进一步地，为了得到精确的导丝尖端位置和形状，需要对目标区域进行进一步的处理。

在步骤S103中，进行目标区域追踪，在每个目标区域，都可以提取导丝尖端的形态和位置。在目标区域的追踪策略中，首先，对每帧图像的目标区域进行滤波处理。具体地，导丝尖端的一些特点可以应用于目标区域的滤波，例如，第一，导丝尖端在连续两帧图像之间的运动范围和形态变化是有限的，请参阅图3所示，采用多边形掩模(PM)，可以将PM区域以外的特征点排除在前一帧图像中，其中，PM定义为PM_n+1＝f(GS_n,FD,BD,A_mp)，其中，GS_n为第n帧导丝形态结构，FD为导丝尖端部分头部最大位移，BD为导丝尖端部分尾部最大位移，A_mp为导丝中各个特征点在心脏中心跳和呼吸的环境下法向的平均摆动幅度。第二，根据导丝尖端长度的不变性，限制了导丝尖端特征点的数量，设特征点的数量阈值为t_max，通过t_max可以滤除一些管状结构，如摩擦和导管。第三，由于某些特征点的不连续性，还可以将遗传算法应用于邻域范围较小的区域处理中，以消除异常值。

然后，在滤波处理之后，对每帧图像的目标区域进行中心线提取，以得到目标区域内的至少一条曲线。

进一步地，还需要对曲线进行校准，当目标区域内的曲线长度小于长度阈值t1时，需要对曲线进行拼接，具体地，请参阅图4中(a)和(b)所示，当目标区域内的曲线长度小于长度阈值t1时，将首尾距离小于距离阈值D的两条曲线进行拼接，如图4(a)中，两条曲线的首位两端的距离d小于距离阈值D，直接将这两条曲线的首位拼接，以增加曲线的长度；当目标区域内的曲线长度小于长度阈值t1时，将夹角小于角度阈值θ的两条相邻曲线进行拼接，如图4(b)中，两条相邻曲线的夹角为α，α小于角度阈值θ，将上述两条曲线进行拼接，以增加曲线的长度。进一步地，请参阅图4(c)所示，由于特征点可能偏离预测位置，候选者仍然存在偏差，根据导丝尖端的预测位置对目标区域内的曲线位置进行调整，调整条件如图4(c)所示。

进一步地，计算每两个重力点之间的距离，当两个重力点之间的距离小于距离阈值g时，将两个重力点对应的目标区域合并；当重力点位于图像边界外时，放弃对该重力点对应的目标区域的追踪。

在步骤S104中，在心血管透视影像中，可以检测到许多管状结构，出现多个靶区，识别导丝尖端需要在透视下依次进行，导丝尖端识别是一项根据运动对不同曲线物体进行分类的任务，运动类型包括静态运动、循环振幅运动和导丝尖端运动，其中，肋骨边缘和导管静端分别是前两种运动的经典例子。

由于实时视频中追踪的是曲线结构，所以每个目标区域的重力点用于区分底层导丝尖端区域。此外，根据三种运动类型，可以使用N帧图像中每个重力点与第一帧图像的重力点之间距离的平方误差来确定候选者中的导丝尖端。在每个目标区域中，N帧之间的平均距离定义为d_a。分别第二帧图像至第N帧图像中目标区域的重力点与第一帧图像中目标区域的重力点之间距离的平方误差V2，…，Vn，平方误差之和为V2+V3+…+Vn，将平方误差之和最大的重力点所在目标区域内的导丝尖端候选者确定为导丝尖端。

本实施例的方法为基于RuSio框架的识别方法，该框架充分体现了远端切片的特点和基于重力的追踪方法，在实时视频中RuSio框架追踪的是曲线结构，消除了非导丝尖端目标，描述了导丝尖端在追踪过程中的形状，图5所示为RuSio框架算法的流程图。

应用例

收集东南大学中大医院12个不同心血管介入手术的透视影像，验证实施例1的追踪方法的性能。序列共有1100帧，帧率为12fps，帧大小为512*512，像素大小约为0.2343mm。本申请人已经创建了一个图形化工具来注释每个帧的guidewire提示的基本事实，源代码可以在https://github.com/上找到。

在心血管干预视频中，导丝尖端识别程序是对不同类型的运动进行分类的任务。根据步骤S104的步骤对导丝尖端进行识别，结果表明，当涉及到12个X射线视频的第36帧时，能得到正确的答案。在追踪过程中，利用前一帧的凸包对第二帧的干涉特征点进行滤波。如图6所示，展示了在序列中连续的一系列帧中，追踪过程的原理图以及地面真实感与追踪结果的对比。

实施例1的追踪方法的性能如图7所示，由识别和追踪两部分来评估。在识别过程中，记录第一帧目标个数、最大运动方差和决策原理的准确性。为了确定追踪的精度，测量了所选导丝尖端点与真实数据之间的真实距离。如果平均距离大于2个像素，则认为对应帧的追踪失败。重新计算所选导丝尖端点与真实数据的真值之比和各帧在各序列中的处理时间。

实施例1的追踪方法的显示了良好的效果。综上所述，该追踪方法以100％的交流精度确定了导丝尖端的位置，并在大多数情况下对导丝尖端形状的检测中显示了92％以上。使用Intel Core i7(2.7GHz)，平均每帧处理速度可达0.6s左右。最大方差表明导丝尖端的运动范围。但在某些情况下也存在问题，大致可分为成像问题和处理问题。在成像问题上，X射线机的噪声背景、导丝尖端位置和龙门角的影响是导致故障的主要原因。例如，导丝尖端隐藏在一组导丝样物体中，并通过导管前面。当涉及到加工问题时，为第一帧预测底层导丝端面区域并对每个预测区域进行处理是非常耗时的。

基于同一发明构思，本发明实施例中还提供了一种在X射线透视视频中追踪导丝尖端的系统，如下面的实施例。由于在X射线透视视频中追踪导丝尖端的系统解决问题的原理与上述的在X射线透视视频中追踪导丝尖端的方法相似，因此在X射线透视视频中追踪导丝尖端的系统的实施可以参见上述的在X射线透视视频中追踪导丝尖端的方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“子模块”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的在X射线透视视频中追踪导丝尖端的系统的功能模块较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

实施例2

本发明实施例提供了一种在X射线透视视频中追踪导丝尖端的系统，请参阅图8所示，该系统包括：特征点提取模块101，用于将X射线透视视频的每帧图像进行增强，在增强后的每帧图像上提取特征点；目标区域分割模块102，用于对第一帧图像上的特征点进行聚类，得到多个聚类集群，根据每个聚类集群占据的区域确定目标区域，将该目标区域映射至第二帧图像至第N帧图像中；候选者计算模块103，用于对每帧图像的目标区域进行中心线提取，以得到目标区域内的至少一条曲线，将目标区域中长度最长的曲线作为导丝尖端候选者并根据长度最长的曲线计算对应导丝尖端候选者的重力点；导丝尖端计算模块104，用于计算第二帧图像至第N帧图像中目标区域的重力点与第一帧图像中目标区域的重力点之间距离的平方误差之和，将平方误差之和最大的重力点所在目标区域内的导丝尖端候选者确定为导丝尖端；拼接模块105，用于当目标区域内的曲线长度小于长度阈值t1时，将首尾距离小于距离阈值D的两条曲线进行拼接；以及当目标区域内的曲线长度小于长度阈值t1时，将夹角小于角度阈值θ的两条相邻曲线进行拼接。

实施例3

本发明实施例提供了一种存储介质，该存储介质内存储有程序，该程序在被执行时实现上述的在X射线透视视频中追踪导丝尖端的方法。

需要说明的是，本实施例中存储介质可以是只读存储器、可存储静态信息和指令的静态存储设备、随机存取存储器、或者可存储信息和指令的动态存储设备，也可以是电可擦可编程只读存储器、只读光盘、或其他光盘存储、光碟存储、磁盘存储介质或者其他磁存储设备。

需要说明的是，本实施例中的程序可被一种或更多编程语言的任何组合来书写，包括面向对象的编程语言，如JAVA、Smalltalk、C++或类似的编程语言，还包括传统的过程编程语言，如“C”编程语言或类似的编程语言。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

在本申请所提供的实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种在X射线透视视频中追踪导丝尖端的方法，其特征在于，该方法包括：

2.根据权利要求1所述的在X射线透视视频中追踪导丝尖端的方法，其特征在于，步骤S1具体包括：

3.根据权利要求1所述的在X射线透视视频中追踪导丝尖端的方法，其特征在于，在步骤S2中，所述“对第一帧图像上的特征点进行聚类，得到多个聚类集群”的步骤包括：

S23，重复步骤S22，直到不存在未归任何集群的特征点。

4.根据权利要求1所述的在X射线透视视频中追踪导丝尖端的方法，其特征在于，在步骤S3中还包括如下步骤：

对每帧图像的目标区域进行滤波处理。

5.根据权利要求1所述的在X射线透视视频中追踪导丝尖端的方法，其特征在于，在步骤S3中还包括如下步骤：

6.根据权利要求1所述的在X射线透视视频中追踪导丝尖端的方法，其特征在于，在步骤S3中还包括如下步骤：

7.根据权利要求1所述的在X射线透视视频中追踪导丝尖端的方法，其特征在于，在步骤S3中还包括如下步骤：

8.一种在X射线透视视频中追踪导丝尖端的系统，其特征在于，该系统包括：

9.根据权利要求8所述的在X射线透视视频中追踪导丝尖端的系统，其特征在于，所述系统还包括拼接模块，用于当目标区域内的曲线长度小于长度阈值t1时，将首尾距离小于距离阈值D的两条曲线进行拼接；以及当目标区域内的曲线长度小于长度阈值t1时，将夹角小于角度阈值θ的两条相邻曲线进行拼接。

10.一种存储介质，其特征在于，所述存储介质存储有程序，所述程序被执行时实现权利要求1至7任一项所述的在X射线透视视频中追踪导丝尖端的方法。