CN108633312B - 一种在x射线图像中的造影云检测方法 - Google Patents

Abstract

本发明总体上涉及血管系统和外周血管系统数据采集领域、成像、图像处理和与其相关的特征检测。部分地，本发明更具体地涉及用于检测x射线图像中造影云的位置和大小的方法，所述x射线图像包括关于血管内成像期间的x射线图像序列。本文还描述了从x射线图像中检测和提取金属丝的方法，诸如冠状动脉手术中使用的导丝。此外，公开了用于为诸如x射线图像序列中的一个或多个图像配准血管树的方法。部分地，本发明涉及处理、追踪和配准这些图像中的血管造影图像和元素。配准可以相对于来自血管内成像模式(例如光学相干断层成像(OCT)或血管内超声(IVUS))的图像来执行。

Description

一种在x射线图像中的造影云检测方法

相关申请的交叉引用

本申请要求于2015年11月18日提交的美国临时专利申请no. 62/257,213的优先权和权益，其公开内容通过引用全部并入本文。

技术领域

部分地，本发明总体涉及血管系统和外周血管系统成像和数据采集领域。更具体地说，部分地，本发明涉及图像特征的检测和分析。

背景技术

x射线图像在各个学科中提供了重要的诊断工具。例如，介入心脏病专家在各种手术和检查中使用基于x射线的成像系统。作为特定类型的x射线成像，通常使用x线透视来执行血管的血管造影成像。导管插入过程中可视化动脉是一种有价值的诊断工具。这种可视化有助于计划和执行导管放置和支架布署。因此，实现准确的可视化是针对x射线成像和追踪特征及其相关的对象的重要技术要求。会出现许多成像和共同配准挑战，这使得难以实现这样的准确度。特别地，当基于x射线的成像方法与使用光学相干断层扫描的血管内成像或使用超声探针的血管内成像相结合时，成像和共同配准挑战变得更加复杂。与用于定位和引导成像设备的不同成像方法和设备相关联的各种因素也可以对配准和共同配准方法产生负面影响。这些因素会造成更多待解决的问题。

例如，用于通过血管造影术增强血管的成像的造影液的注射可以遮蔽设置在动脉中的光学、声学和其它成像探针。导丝和导管在血管系统中的使用也会遮蔽某些标志并干扰成像和分析工具。因此，所有这些因素和其它因素使得进行诊断性血管内成像和配准成为图像显示和诊断过程的一部分具有挑战性。此外，与成像、图像分析和配准有关的挑战也会对依赖这些成像数据和相关诊断信息的支架计划和其它手术产生负面影响。

本发明解决了这些挑战和其它挑战。

发明内容

本发明总体涉及血管系统和外周血管系统数据采集、成像、图像处理和与其相关的特征检测领域。部分地，本发明更具体地涉及用于检测x射线图像中造影云（contrastcloud）的位置和大小的方法，所述x射线图像包括关于血管内成像期间的x射线图像序列。作为各种血管造影术或其它x射线相关成像方法的一部分，这些技术在造影液引入血管或其它体腔时是有用的。注射或以其它方式输送造影液使得动脉不透射线用于血管造影术或其它x射线相关的成像方法。例如，在用于心脏手术的动脉成像中，将造影液引入一个或多个动脉。部分地，本发明涉及用于检测包括关于x射线图像序列的x射线图像中的与造影云相关的参数的方法。这些参数可以包括给定造影云的位置和大小。

本文还描述了从X射线图像检测和提取金属丝的方法，诸如冠状动脉手术中使用的导丝。还公开了用于为一个或多个图像（诸如在x射线图像序列中）配准血管树的方法。部分地，本发明涉及处理、追踪和配准这些图像中的血管造影图像和元素。配准可以相对于来自血管内成像模式（诸如例如光学相干断层成像（optical coherence tomography，OCT）或血管内超声（intravascular ultrasound，IVUS））的图像来执行。

部分地，本发明涉及检测x射线图像帧上的造影云，使得可以从一个或多个后续的x射线图像处理步骤中排除x射线图像的包含云的区域，以提高跨帧配准准确性。造影云区域的检测/识别提供了稳定的血管中心线，这提高了x射线帧之间的跨帧配准的准确性。另外，由于造影云检测，可以从更稳定的血管中心线增强x射线图像上的不透射线标记检测。在一个实施方式中，血管中心线也被称为迹线，反之亦然。

部分地，本发明涉及跨越多个帧配准血管树或一段或多段血管树的方法。部分地，本发明涉及一种从由血管造影生成的骨架中提取分叉位置以及在一系列帧上融合相同分叉位置的方法。在一个实施方式中，所述方法包括消除假分叉。如果不被消除，则这种假分叉检测将以其它方式用于生成通过血管树的路径并干扰准确的图像配准和其它后续处理步骤。部分地，本发明涉及基于分叉的特性（特征）诸如起飞角度、弧长位置、绝对角度、强度，大小（尺度）来表示分叉的方法。在一个实施方式中，相对于母血管来测量起飞角度。如本文所述，可以使用执行这种特征提取的各种图像处理方法。

部分地，本发明涉及一种基于特征空间中的聚类来关联从多个血管造影中提取的相同解剖分叉的方法，所述方法包括用于滤除过量数据并使缺失代表完整的方法。部分地，本发明涉及一种用于选择合适的分叉簇的方法，所述合适分叉簇可以用作一个或多个供改进的锚点以减少跨帧图像配准。跨帧图像配准有利于X射线图像之间的位置连续性，并且允许在追踪位置和用于支架布署的参考帧和使用血管造影执行的其它血管内手术时提高准确性。

在一个实施方式中，所述方法还包括扩大一个或多个候选区域或融合造影云区域以提供用于排除标记的追踪的安全区域。在一个实施方式中，所述方法还包括共同配准OCT图像数据和多个血管造影图像帧。在一个实施方式中，所述方法还包括将平滑滤波器应用于一个或多个血管造影帧的步骤，以便保留具有特定期望尺度的元素。

在一个实施方式中，所述方法还包括对平滑后的图像进行自适应阈值处理，使得去除小尺寸图像元素以生成二值图像，其中，造影云区域中的像素具有第一值或阈值，诸如二值图像中的强度值或阈值。在一个实施方式中，所述方法还包括选择造影云邻域，并将所述领域覆盖在在一个或多个血管造影帧上，以在二值图像中包括具有第一值的云区域。在一个实施方式中，所述方法还包括对邻域中包括第一值的像素的数量进行计数或评分。在一个实施方式中，所述方法还包括对包括第一值的像素进行自适应阈值处理，并且从每个邻域中去除包括除第一值之外的值的像素。

在一个实施方式中，所述方法还包括检测多个血管造影帧中的导丝，生成一个或多个图像掩膜，并使用该导丝位置和一个或多个掩膜来找到解剖稳定的锚点。在一个实施方式中，选择所确定的锚点作为血管中心线的远端点。在一个实施方式中确定这样的端点改进了血管中心线的生成。

在一个实施方式中，所述方法还包括绘制与分叉相关联的多个簇，并基于在两个锚点（诸如在每帧中的分叉、弯曲和血管中心线端点）之间定义的血管段之间的弧长插值，使用这些簇来执行血管造影帧之间的跨帧配准。在一个实施方式中，所述方法还包括通过使用任何合适的最短或光学路径确定算法（诸如Viterbi算法）来对多个解剖学相关联的弯曲点进行分组。可以使用这样的算法或其它方法来确定可能的位置序列和通过血管部分的相关联的最可能的路径。在一个实施方式中，成本标准基于弯曲角度变化或曲率或曲率模拟、沿着血管中心线的弯曲位置、连续帧之间的弯曲角度偏差。

在一个实施方式中，所述方法还包括将图像处理变换（诸如核矩阵或其它图像变换操作符或矩阵）应用于一个或多个帧，以去除或修改至少一个帧中的特征。所述方法可以包括生成掩膜以在一个或多个后续图像处理步骤期间执行特征提取，其中该特征是图像中的导丝。

部分地，本发明涉及基于处理器的在穿过血管回拉期间获得的血管造影图像数据和血管内图像数据的共同配准的方法。所述方法包括将多个光学相干断层扫描数据帧存储在存储器中；将多个血管造影图像数据帧存储在存储器中；处理所述多个血管造影图像数据帧以生成跨帧共同配准的血管造影数据的集合；生成用于多个血管造影图像数据帧的血管中心线；检测所述多个血管造影图像数据帧中的探针标记；追踪探针标记沿一个或多个血管中心线的位置；以及使用追踪的位置来共同配准多个血管造影图像数据帧和多个光学相干断层扫描数据帧。

在一个实施方式中，所述方法还包括以下步骤：生成指示血管造影图像数据帧与光学相干断层扫描数据帧之间的共同配准的置信度水平的评分。在一个实施方式中，共同配准多个血管造影图像数据帧和多个光学相干断层扫描数据帧的步骤包括使用计算设备生成共同配准表，所述共同配准表包括血管造影图像帧、每帧的多个OCT时间戳、每帧的多个血管造影时间戳和光学相干断层扫描图像帧，所述共同配准表包括针对每个共同配准位置的评分测量值。

在一个实施方式中，所述方法还包括使用共同配准表和计算设备，在用户界面中的OCT图像和血管造影图像中显示支架表示。在一个实施方式中，所述方法还包括使用所述共同配准表和被配置为显示所述侧分支的用户界面识别一个或多个OCT图像或血管造影图像中的侧分支。

在一个实施方式中，可以相对于一个或多个x射线图像执行x射线图像配准，所述x射线图像配准作为跨帧配准的一部分。图像配准还可以相对于动脉段（诸如血管树的一部分）的表示或通过使用动脉段的表示来执行。这些表示可以包括骨架、血管或血管树坐标或位置系统、一个或多个血管的几何模型以及沿着穿过一个或多个血管的路径的曲线或中心线。可以相对于来自另一个成像模式（例如OCT、IVUS或其它血管内成像模式）的一个或多个其它图像来检测、生成或记录这些各种表示。

与造影云相关的实施方式

部分地，本发明涉及造影云检测方法以及包括一个或多个检测到的造影云区域的血管造影图像帧的诊断和分析。

在一个方面，本发明涉及一个或多个计算设备的系统，其可以被配置为通过具有安装在所述系统上的在操作中引起系统执行动作的软件、固件、硬件、基于软件的图像处理模块或其组合来执行特定的操作或动作。一个或多个计算机程序可以被配置为通过包括在由数据处理装置执行时使装置执行动作的指令来执行特定操作或动作。一个总体方面包括一种基于计算设备的在一个或多个x射线图像中检测一个或多个感兴趣的区域的方法，所述方法包括：在电子存储设备中存储在第一时间段期间获得的血管造影图像帧的集合，所述第一时间段包括造影液处于血管中的一个或多个时间段；检测一个或多个血管造影帧中的多个候选造影云区域；和组合所述多个候选造影云区域，以生成融合造影云区域，所述融合造影云区域具有云边界。该方面的其它实施方式包括记录在一个或多个计算机存储设备上的相应的计算机系统、装置和计算机程序，计算机系统、装置和计算机程序中的每一者被配置为执行方法的动作。

在各种实施方式中，实现方式可以包括以下特征中的一个或多个。所述方法还包括从一种或多种后续数据处理方法中排除位于融合造影云区域内的血管造影图像数据。在一个实施方式中，所述一种或多种后续数据处理方法包括生成血管中心线。所述方法还包括生成用于一个或多个血管造影图像帧的一个或多个血管中心线。其中，一种或多种后续数据处理方法包括血管造影图像帧的集合的两个或更多个血管造影图像帧的跨帧配准的方法。所述方法还包括执行血管造影图像帧的集合的两个或更多血管造影图像帧的跨帧配准。

在一个实施方式中，所述方法还包括生成跨帧位置的集合。所述一种或多种后续数据处理方法包括从由以下各项组成的组中选择的过程：锚点提取、弧长插值和跨帧位置生成。所述方法还包括扩大一个或多个候选区域或融合造影云区域以提供扩展的排除区域，并且还包括从一种或多种后续数据处理方法中，排除位于所述扩展的排除区域内的血管造影图像数据。所述方法还包括共同配准OCT图像数据和多个血管造影图像帧。所述方法还包括将平滑滤波器应用于一个或多个血管造影帧，使得保留具有特定期望尺度的元素。所述方法还包括以下步骤：对去除了小尺度元素的平滑的血管造影帧进行自适应阈值处理，以生成二值图像，其中，造影云区域中的一个或多个像素是二值图像中的第一值。

在一个实施方式中，所述方法还包括以下步骤：选择造影云邻域，并将所述邻域覆盖在一个或多个血管造影帧上的领域，以在所述二值图像中包括具有所述第一值的所述云区域。所述方法还包括以下步骤：对所述邻域中包括所述第一值的像素的数量进行计数或评分。所述方法还包括以下步骤：对包括第一值的像素进行自适应阈值处理，并且从每个邻域中去除包括除所述第一值之外的值的像素。所述方法还包括以下步骤：生成掩膜并使用所述掩膜来检测解剖稳定的锚点以充当血管中心线的近端点。

在一个实施方式中，所述方法还包括以下步骤：检测所述血管造影图像帧的集合中的多个解剖特征；生成检测到的解剖特征的簇，并使用所述簇在所述血管造影帧之间执行跨帧配准，其中，簇是指从多个帧中提取的单个解剖特征。在一个实施方式中，解剖特征是血管树中的分叉或弯曲点。

在一个实施方式中，所述方法还包括以下步骤：使用最短路径寻找算法对多个解剖学相关联的弯曲点进行分组，以识别通过所述相关联的弯曲点的可能路径。其中，响应于一个或多个标准而识别所述可能路径，所述标准选自包括弯曲角度变化、曲率、曲率模拟、沿着中心线的弯曲位置和连续帧之间的弯曲角度偏差的组。所述方法还包括以下步骤：将图像处理变换应用于一个或多个帧以去除或修改至少一个帧中的特征，并生成掩膜以在一个或多个后续图像处理步骤期间执行特征提取，其中，所述特征是图像中的导丝。

在一个实施方式中，所述方法还包括，使用共同配准表来共同配准所述多个血管造影图像数据帧和所述多个光学相干断层扫描数据帧，所述共同配准表包括血管造影图像帧、每帧的多个OCT时间戳、每帧的多个血管造影时间戳和光学相干断层扫描图像帧，所述共同配准表包括针对每个共同配准位置的评分测量值。所述方法还包括，使用所述共同配准表和计算设备，在用户界面中的OCT图像和血管造影图像中显示支架表示。所述方法还包括，使用所述共同配准表和被配置为显示所述侧分支的用户界面识别一个或多个OCT图像或血管造影图像中的侧分支。

在一个实施方式中，所述方法还包括，使用诊断系统显示多个跨帧配准的血管造影图像，其中，从所述集合中选择所述多个跨帧配准的血管造影图像。

其中，所述方法的一个或多个步骤是使用诊断系统来实现的，所述诊断系统包括：用于从血管造影系统接收所述帧的集合的输入端，用于存储所述集合的一个或多个电子存储设备，与所述输入端和所述一个或多个存储设备的电通信的一个或多个计算设备，以及由所述一个或多个计算设备执行的用于执行所述方法的一个或多个步骤的指令、图像滤波器和图像处理软件模块。所描述的技术的实现方式可以包括硬件、方法或过程或计算机可访问介质上的或者存储在计算机可读介质（诸如非临时性计算机可读介质）中的计算机软件。

与导丝检测和提取相关的实施方式

部分地，本发明涉及检测一个或多个血管造影数据帧中的导丝的系统和方法。部分地，本发明涉及适于对包括一个或多个导丝段的血管造影图像进行操作的各种诊断和图像处理方法。

在一个实施方式中，本发明涉及一个或多个计算机的系统，其可以被配置为通过具有安装在系统上的、在操作中使系统执行动作的软件、固件、硬件或其组合来执行特定的操作或动作。一个或多个计算机程序可以被配置为通过包括在由数据处理装置执行时使该装置执行动作的指令来执行特定操作或动作。一个总体方面包括一种基于处理器的在一个或多个x射线图像中检测一个或多个感兴趣区域的方法，所述方法包括：将在第一时间段期间获得的血管造影图像帧的集合存储在电子存储设备中；检测所述集合的一个或多个帧中的导丝；检测所述集合的一个或多个帧中的动脉段；以及生成关于一组帧的多个跨帧位置，所述一组帧包括：基于处理器的检测一个或多个感兴趣区域的方法还包括一个或多个包含有检测到的导丝的帧。基于处理器的检测一个或多个感兴趣区域的方法还包括一个或多个包含有一个或多个检测到的动脉段的帧。该方面的其它实施方式包括记录在一个或多个计算机存储设备上的相应的计算机系统、装置和计算机程序，计算机系统、装置和计算机程序中的每一者被配置为执行方法的动作。

实现方式可以包括以下特征中的一个或多个。所述方法还包括。所述方法还可以包括，关于集合中的一个或多个帧中的一个或多个检测到的动脉段，执行弧长插值。所述方法还包括，使用多个跨帧位置执行所述血管造影图像帧的集合的跨帧配准。所述方法还包括，识别一个或多个帧中的多个解剖特征。在所述方法中，识别解剖特征包括生成包括检测到的跨越多个帧的解剖特征的集合的簇，其中，所述簇指示检测到的解剖特征是在不同帧上不同时间处成像的相同解剖特征。所述方法还包括。所述方法还可以包括，检测一个或多个血管造影帧中的多个候选造影云区域。所述方法还包括，从中心线生成过程中排除被识别为包括造影云区域的一个或多个血管造影帧的区域。所述方法还包括，使用从一个或多个候选造影云区域中选择的端点来定义一个或多个血管中心线的近端点。所述方法还包括，使用检测到的导丝的端点限定一个或多个血管中心线的远端点。所述方法还包括，生成用于所述集合中的多个血管造影图像帧的多个血管中心线。所述方法还包括，使用检测到的导丝的端点限定一个或多个血管中心线的远端点。所述方法还包括，在第一时间段期间执行血管内数据收集探针的回拉。其中，检测所述集合中的一个或多个帧中的导丝的方法包括。

在一个实施方式中，所述方法还可以包括，将多个滤波器应用于血管造影图像帧。所述方法还可以包括，对滤波的血管造影帧进行自适应阈值处理。所述方法还可以包括，使用强度滤波器对自适应阈值化的血管造影帧进行操作，以生成强度滤波帧。所述方法还可以包括，检测强度滤波帧中的导丝部分。在所述方法中，多个滤波器包括形态滤波器和脊增强滤波器。在一个实施方式中，计算设备还包括指令，以关于集合的一个或多个帧中的一个或多个检测到的动脉段来执行弧长插值。在一个实施方式中，计算设备还包括指令，以使用多个跨帧位置来执行血管造影图像帧的集合的跨帧配准。

在一个实施方式中，计算设备还包括指令，以检测一个或多个血管造影帧中的多个候选造影云区域。在一个实施方式中，计算设备还包括指令，以使用从一个或多个候选造影云区域中选择的端点来限定一个或多个血管中心线的近端点。在一个实施方式中，计算设备还包括指令，以使用检测到的导丝的端点限定一个或多个血管中心线的远端点。在一个实施方式中，计算设备还包括指令，以生成用于所述集合中的多个血管造影图像帧的多个血管中心线。在一个实施方式中，计算设备还包括指令，以使用检测到的导丝的端点限定一个或多个血管中心线的远端点。在一个实施方式中，计算设备还包括指令，使得检测所述集合中的一个或多个帧中的导丝包括将多个滤波器应用于血管造影图像帧。所述系统还可以包括，对滤波的血管造影帧进行自适应阈值处理。所述系统还可以包括，使用强度滤波器对自适应阈值化的血管造影帧进行操作，以生成强度滤波帧。所述系统还可以包括，检测强度滤波帧中的导丝部分。在一个实施方式中，多个滤波器包括形态滤波器和脊增强滤波器。所描述的技术的实现方式可以包括硬件、方法或过程、或计算机可访问介质上的计算机软件。

一个总体方面包括一种用于检测血管造影图像中的一个或多个特征的系统，所述系统包括：一个或多个存储设备；以及与所述存储设备通信的计算设备，其中，所述存储设备包括可由所述计算设备执行的指令，以使所述计算设备：将在第一时间段期间获得的血管造影图像帧的集合存储在电子存储设备中；检测所述集合的一个或多个帧中的导丝；检测所述集合的一个或多个帧中的动脉段；以及生成关于一组帧的多个跨帧位置。所述系统还包括一个或多个包含有检测到的导丝的帧。所述系统还包括一个或多个包含有一个或多个检测到的动脉段的帧。该方面的其它实施方式包括记录在一个或多个计算机存储设备上的相应的计算机系统、装置和计算机程序，计算机系统、装置和计算机程序中的每一者被配置为执行方法的动作。

实现方式可以包括以下特征中的一个或多个。在一个实施方式中，计算设备还包括关于集合的一个或多个帧中的一个或多个检测到的动脉段来执行弧长插值的指令。在一个实施方式中，计算设备包括如本文所述的其它指令。所述系统还可以包括使用多个跨帧位置执行所述血管造影图像帧的集合的跨帧配准。在一个实施方式中，计算设备还包括检测一个或多个血管造影帧中的多个候选造影云区域的指令。

在一个实施方式中，计算设备还包括使用从一个或多个候选造影云区域中选择的端点来限定一个或多个血管中心线的近端点的指令。在一个实施方式中，计算设备还包括使用检测到的导丝的端点来限定一个或多个血管中心线的远端点的指令。在一个实施方式中，计算设备还包括生成用于所述集合中的多个血管造影图像帧的多个血管中心线的指令。在一个实施方式中，计算设备还包括使用检测到的导丝的端点来限定一个或多个血管中心线的远端点的指令。

在一个实施方式中，计算设备还包括指令，使得检测所述集合中的一个或多个帧中的导丝包括。所述系统还可以包括将多个滤波器应用于血管造影图像帧。所述系统还可以包括对滤波的血管造影帧进行自适应阈值处理。所述系统还可以包括，使用强度滤波器对自适应阈值化的血管造影帧进行操作，以生成强度滤波帧。所述系统还可以包括，检测强度滤波帧中的导丝部分。在一个实施方式中，多个滤波器包括形态滤波器和脊增强滤波器。所描述的技术的实现方式可以包括硬件、方法或过程、或计算机可访问介质上的计算机软件。

解剖特征检测实施方式

部分地，本发明涉及解剖特征检测和基于聚类的验证方法。一方面，本发明涉及检测一个或多个x射线图像中的一个或多个感兴趣区域的基于处理器的方法。所述方法包括，将在第一时间段期间获得的血管造影图像帧的集合存储在电子存储设备中；针对一组血管造影图像帧，生成用于生成血管造影图像帧的二值图像的多个血管造影图像帧的多个中心线；并从二值图像生成骨架图像。

在一个实施方式中，所述方法包括，将肋式滤波器或时间滤波器应用于骨架图像。在一个实施方式中，所述方法包括，检测骨架图像中的一个或多个解剖特征。在一个实施方式中，所述方法包括，检测滤波后的骨架图像中的一个或多个解剖特征。在一个实施方式中，解剖特征是多个分叉。在一个实施方式中，解剖特征是多个弯曲点。在一个实施方式中，所述方法包括，检测解剖特征，所述解剖特征包括生成包括跨越多个帧的检测到的解剖特征的集合的簇，其中，所述簇指示检测到的解剖特征是在不同帧上不同时间处成像的相同解剖特征。在一个实施方式中，所述方法包括将跨血管滤波器应用于骨架图像。在一个实施方式中，从血管中心线生成骨架图像。在一个实施方式中，所述方法包括，生成多个簇，其中，每个簇是从一组帧中提取的单个解剖特征。在一个实施方式中，所述方法包括，生成两个或更多个簇之间的一个或更多个距离测量值。

在一个实施方式中，距离度量是Euclidean度量。在一个实施方式中，所述方法包括，由于解剖特征存在于两个或更多个血管造影图像帧上，验证解剖特征。在一个实施方式中，所述方法包括，合并簇以生成簇的集合，每个簇具有来自每个感兴趣的帧的单个代表。在一个实施方式中，所述方法包括，选择一个或多个簇。在一个实施方式中，基于从由弧长标准偏差、归一化弧长标准偏差，角度差标准偏差、与其它簇的接近度、每帧的冗余解剖特征记录的平均数量、每帧的缺失分叉记录的平均数量组成的组中选择的参数来选择簇。

尽管本发明提到了不同的方面和实施方式，但应该理解，本文公开的不同方面和实施方式可以适当地整体或部分地结合在一起。因此，本文公开的每个实施方式可以根据给定的实施方式适当的不同程度并入每个方面，并且来自各种方法的步骤可以被组合而没有限制。

从下面的描述和附图中，公开的实施方式的其它特征和优点将显而易见。

附图说明

附图不一定按比例绘制；相反，重点通常放在示例性原则上。在所有方面附图都被认为是示例性的，并且不旨在限制本发明，本发明的范围仅由权利要求限定。

图1是根据本发明的示例性实施方式的基于x射线的成像系统以及血管内成像和数据采集系统的示意图。

图2A是根据本发明的示例性实施方式的血管造影图像处理和帧追踪系统及其部件的示意图，其适于通过生成多个跨帧位置将具有血管内图像的x射线图像配准。

图2B是根据本发明的示例性实施方式的示例性配准表，所述示例性配准表包括在OCT或其它血管内回拉期间使用x射线系统执行成像以执行帧之间的配准的各种参数和输出。

图2C是根据本发明的示例性实施方式的在具有不透射线标记的OCT探针穿过动脉回拉期间获得的三个OCT图像帧和对应的三个血管造影图像帧的示意图。

图3是根据本发明的示例性实施方式的检测通过将造影剂注入血管而生成的一个或多个x射线图像中的造影云的方法的流程图。

图4是根据本发明的示例性实施方式的在去噪过程应用于图像帧之后注射有造影剂的血管的x射线图像帧。

图5是根据本发明的示例性实施方式的在自适应阈值已被应用于血管的x射线图像帧之后的造影云的示例性二值图像的视图。

图6是根据本发明的示例性实施方式的通过在造影云周围的预定邻域中生成亮像素分数或计数或其它基于像素或基于强度的度量而得到的示例性图像的视图。

图7是根据本发明的示例性实施方式的已经检测到来自图像帧的造影云的潜在位置和大小的示例性图像的视图。

图8是根据本发明的示例性实施方式的来自多个图像帧的示例性融合云掩膜的视图。

图9是根据本发明的示例性实施方式的检测金属丝的方法的流程图。

图10是根据本发明的示例性实施方式已经被增强以示出诸如候选丝之类的细长结构的示例性图像的视图。

图11A是根据本发明的示例性实施方式的已经应用底帽滤波器的丝及其两个端点的示例性图像的视图。

图11B是根据本发明的示例性实施方式的已经应用诸如脊形滤波器的图像处理滤波器的示例性图像的视图。

图12是根据本发明的示例性实施方式的具有布置在血管中的丝的血管系统的一部分的示例性强度阈值图像的视图。

图13是根据本发明的示例性实施方式的适于在图像处理方法期间用于检测诸如x射线图像中的血管内导丝的丝的示例性掩膜的视图。

图14是根据本发明的示例性实施方式的通过检测到的血管结构的一个或多个弯曲和分叉在多个帧中配准血管树段的方法的流程图。

图15A是根据本发明的示例性实施方式的在骨架图像生成之前已经被预处理的血管造影帧。

图15B和图15C分别是根据本发明的示例性实施方式的在应用图像处理和数据分析之后的该图像中的主血管之一的原始血管造影图像和骨架。

图16A是对应于血管系统的一部分的血管造影图像的子集，图16B是根据本发明的示例性实施方式的血管系统的该部分的表示，其示出了作为血管树的一部分的分叉以及血管分支与其起源（母）血管之间的相关联的角度β。

图17A是根据本发明的示例性实施方式的通过绘制分支段的归一化弧长（垂直轴）相对于角度测量值（水平轴）而生成的多个簇的图。

图17B示出了根据本发明的示例性实施方式的血管造影图像帧，其描绘了与图17A的图中的特定簇相关联的各种分支（2、1和3）。

图18A和图18B是根据本发明的示例性实施方式的血管造影数据的帧，其示出了穿过覆盖在其上的各种血管段的路径以及识别使用本文描述的方法和系统识别的连接点或弯曲的标签。

具体实施方式

本发明涉及与x射线成像相关的各种方法、系统和器械，诸如血管造影术及其在心脏病学中的应用。特别地，本发明涉及关于跨越这些帧或在这些帧之间的血管造影数据帧的共同配准的特征。本发明还涉及改进这种共同配准的各种方法，诸如通过减小误差或检测与血管造影数据帧相关联的结构。

作为这种误差减小方法和其它血管造影术或外周血管系统成像增强的示例，本文详细讨论了几个示例。这些实施方式涉及造影云检测，提取或识别x射线图像数据帧中的丝，并且相对于血管系统（包括关于成角度的分支和分叉或导丝）追踪或配准特征和设备。这些实施方式减小误差，所述误差能够通过其它配准过程传播并导致额外的误差和不准确性。最终，这样的误差会妨碍血管造影帧之间适当的跨帧配准和其它成像模式与这种血管造影帧的任何共同配准。所述误差还会干扰用于包括一个或多个标记（如不透射线标记）的探针的探针移动的追踪和共同配准。

介入性心脏病专家使用结合造影剂注射的x线透视作为血管造影成像。造影剂通过血管树蔓延，并允许通过x射线观察。通常，在导管尖端附近形成时变的造影云。造影液的输送轨迹或输送点具有高变异性，具有斑点或云状形状。这种高变异性的结构可能会隐藏潜在的解剖信息，并妨碍各种图像处理和计算机视觉算法，诸如追踪以及对象或特征检测。云可以有具有不规则形状的各种波瓣或区域。因此，可以使用OR或其它组合或联合运算符来组合各种检测区域并将它们聚合或使用包络或边界来定义它们以定义整个云区域。在一个实施方式中，造影云定义由被确定为含造影区域的各种区域或邻域的联合定义的数据排除区域。

造影云本身的存在会产生不需要的成像伪影和误差。类似地，成像过程中动脉中存在一根或多根导丝会导致导丝的成像误差和误判。此外，血管系统本身的曲折和重叠特性会使得难以追踪给定的血管内探针或其它医疗设备相对于血管造影数据帧所在的位置。而且，人类观察者和自动诊断系统难以确定在血管造影数据帧中哪些显示的血管段对应于和对准于具有各种侧分支和路径的血管系统的迂回曲折和重叠部分。本文描述的一些方法和系统便于解决这些挑战。鉴于上述内容，部分地，本发明涉及用于检测在造影增强的x射线扫描（例如x射线血管造影术）期间生成的造影云的位置和范围的方法。

此外，在各种治疗、诊断和血管内成像技术期间，可以使用各种丝来导引导管、气囊、支架或其它设备。作为向用户显示信息的一部分，所述显示作为诊断和血管内成像技术的一部分，本发明涉及从诸如血管造影帧的数据帧确定丝和/或丝尖端的位置的方法。接着，此信息可用于支持和增强用户对血管系统的x射线和血管内图像的观察和解释。血管系统包括各种曲折的路径，所述路径追踪不同的侧分支和动脉。因此，本发明还描述了用于在x射线图像的序列中配准血管树的方法。通过这种方式，一些猜测源自x射线中重叠的动脉分支如何与需要被导航和解释的分支的三维树相对应，因为它们响应于心脏运动或者其它现象而逐帧改变和移动。上述特征通过解决能够导致配准误差的因素来帮助提高跨帧配准的准确性。

本文描述的这些类别的实施方式和其它类别的实施方式可以用在各种x射线成像系统（包括与光学相干断层扫描、超声波或其它成像和数据采集系统协同工作的那些x射线成像系统）中。血管内成像技术是可用于代替x线透视或其它x射线成像系统或与其结合使用的有价值的工具。通过在血管内查看，这些成像技术可以获得关于给定主体的血管状况的高分辨率数据。将这些血管内图像与血管内成像过程中获得的跨帧配准的血管造影图像相结合，并解决造影云噪声、重叠分支和导丝伪影的一些挑战，直接提高了诊断的准确性。

因此，本文还描述了诸如光学相干断层扫描（optical coherence tomography，OCT）的血管内成像技术和诸如血管内超声（intravascular ultrasound，IVUS）的声学技术。例如，医生使用这种血管成像来诊断、定位和治疗干预期间的血管疾病，所述血管疾病诸如旁路手术或支架放置。图1示出了用于实现本发明的一个或多个实施方式的示例性系统2，其包括诸如血管造影系统的x射线成像系统4。

数据采集系统2包括无创成像系统，诸如由系统4表示的核磁共振、x射线、计算机辅助断层扫描或其它合适的无创成像技术。如这种无创成像系统的非限制性示例所示，示出了适于生成影像的血管造影系统4。血管造影系统4可以包括x线透视系统。血管造影系统4被配置为对主体S进行无创成像，使得生成通常为图像数据帧形式的血管造影数据帧。在使用探针执行拉回手术的同时发生x射线成像，从而使得，例如，使用血管造影术和一种或多种成像技术（如OCT或IVUS）将主体S的区域R中的血管成像。显示器7的中间面板上显示了诸如来自OCT或IVUS的无创扫描（显示器7中的左右图像）的成像结果和血管内成像结果。除了显示器之外，用于采集血管内数据的探针可以是一次性的并且连接到作为系统2的一部分的患者接口单元（patient interface unit，PIU）或者PIU。

血管造影系统4与血管造影数据存储器和图像管理系统12通信，在一个实施方式中，血管造影数据存储器和图像管理系统12可以被实施为工作站或服务器。在一个实施方式中，与采集的血管造影信号有关的数据处理直接在血管造影系统4的检测器上执行。来自系统4的图像由血管造影数据存储器和图像管理系统12存储和管理。在一个实施方式中，子系统、服务器或工作站管理系统12的功能。在一个实施方式中，整个系统4产生诸如x射线的电磁辐射。系统4还在该辐射穿过主体S之后接收该辐射。接着，数据处理系统12使用来自血管造影系统4的信号以对包括区域R的主体R的一个或多个区域成像。在一个实施方式中，系统12和血管内系统18都是一个集成系统的一部分。

如该特定示例中所示，感兴趣的区域R是血管或外周血管系统（诸如特定血管）的子集。该区域R可以使用OCT或其它血管内模式来成像。基于导管的数据采集探针30被引入到主体10中并且被设置在特定血管的内腔中，所述特定血管例如冠状动脉。探针30可以是各种类型的数据采集探针，例如OCT探针、FFR探针、IVUS探针、兼有前述探针中的两个或更多个探针的特征的探针以及适于在血管内成像的其它探针。探针30通常包括探针尖端、一个或多个不透射线的标志、光纤和扭转丝。另外，探针尖端包括一个或多个数据采集子系统，诸如光束导向器、声束导向器、压力检测传感器、其它换能器或检测器以及前述的组合。

对于包括光束导向器的探针，光纤33与具有光束导向器的探针进行光学通信。扭转丝限定了其中布置有光纤的孔。在图1中，示出了光纤33，其中光纤33没有围绕它的扭转丝。另外，探针30还包括护套，所述护套诸如形成导管的一部分的聚合物护套（未示出）。如图所示，光纤33，其在OCT系统的环境下是干涉仪的取样臂的一部分，光纤33光学耦合到患者接口单元（PIU）。

患者接口单元PIU包括探针连接器，所述探针连接器适于接收探针30的端部且与探针30光耦合。通常地，数据采集探针30是一次性的。 PIU 包括基于所使用的数据采集探针的类型的合适的接头和元件。

例如，组合有OCT和IVUS的数据采集探针需要OCT和IVUS PIU。PIU 通常还包括适于拉回设置于其中的扭转丝、护套和光纤33的马达，该拉回作为拉回手术的一部分。除了被拉回之外，探针尖端通常也被PIU 旋转。以这种方式，可以纵向地或者通过横截面对主体10的血管进行成像。探针30也可以用于测量特定的参数，诸如血流储备分数（fractionalflow reserve，FFR）或其它压力测量值。

进而，PIU连接到一个或多个血管内数据采集系统18。血管内数据采集系统18可以是OCT系统、IVUS系统、另一个成像系统以及前述系统的组合。例如，在作为OCT探针的探针30的情况下的系统18可以包括干涉仪的取样臂、干涉仪的参考臂、光电二极管、控制系统和患者接口单元。类似地，作为另一个示例，在IVUS系统的情况下，血管内数据采集系统18可以包括超声信号生成和处理电路、噪声滤波器、可旋转接头、马达和接口单元。

在一个实施方式中，数据采集系统18和血管造影系统12具有共享时钟或其它定时信号，所述共享时钟或其它定时信号被配置为使血管造影视频帧时间戳和OCT图像帧时间戳同步。在一个实施方式中，血管造影系统12运行各种图像处理和特征检测以及其它基于软件的过程，如15a、15b和15c所示。在一个实施方式中，血管造影系统12运行各种图像处理和特征检测以及其它基于软件的过程，如15a、15b和15c所示的。这些过程可以包括造影云检测过程、特征提取过程、丝检测和与其相关的和特征提取、帧间配准过程，跨帧配准过程以及如本文所述的其它过程、方法和步骤。

通常，基于软件的过程15a、15b和15c被设计为减小跨帧配准中的误差并且执行本文描述的其它过程，诸如检测x射线图像中的特征并将其标记为在后续的处理步骤中使用或排除。因此，可以检测造影云，然后通过这样的软件过程对所述造影云进行标记，使得云的区域不被用于将受到该区域中的位置不确定性和噪声负面影响的过程。

在实施方式中，有利的是造影云位于通过x射线成像的血管的近端点附近。作为确定中心线的过程的一部分，可以使用造影云位置来选择端点，以帮助从一组候选端点中选择中心线端点或者定义给定的中心线端点。在实施方式中，有利的是导丝位于通过x射线成像的血管的远端点附近。作为确定中心线的过程的一部分，可以使用导丝位置来选择端点，以帮助从一组候选端点中选择中心线端点或者定义给定的中心线端点。

本发明可以被实现为一个或多个计算机程序产品，即在计算机可读介质上编码的计算机程序指令的一个或多个模块，用于由数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储设备或它们中的一个或多个的组合。术语“数据处理装置”涵盖用于处理数据的所有装置、设备和机器，例如包括可编程处理器、诸如计算机的计算设备、或多个处理器或多个计算机。除了硬件之外，该装置还可以包括为所说的计算机程序创建执行环境的代码，例如构成处理器固件、协议栈、数据库管理系统、操作系统或者它们中一个或多个的组合的代码。

计算机程序（也称为程序、软件、软件应用程序、脚本或代码）可以以任何形式的编程语言编写，包括编译或解释的语言，并且可以以任何形式来部署，包括作为独立程序或作为适用于计算环境的模块、部件、子程序或其它单元。计算机程序不一定对应于文件系统中的文件。程序可以存储在保存其它程序或数据（例如，存储在标记语言文档中的一个或多个脚本）的文件的一部分中、存储在专用于所说的程序的单个文件中、或者存储在多个协调文件中（例如，存储一个或多个模块、子程序或部分代码的文件）。计算机程序可以被部署为在一台计算机上或位于一个站点或跨多个站点分布并通过通信网络互连的多台计算机上执行。

本发明描述的过程和逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程处理器执行，以通过对输入数据进行操作并生成输出来执行功能。过程和逻辑流程也可以由专用逻辑电路（例如，FPGA（field programmable gate array，现场可编程门阵列）或ASIC（application specific integrated circuit，应用专用集成电路））执行，并且装置也可以实现为专用逻辑电路。

举例来说，适于执行计算机程序的处理器包括通用和专用微处理器这两者，以及任何种类的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或这两者接收指令和数据。计算机的基本元件是用于执行指令的处理器以及用于存储指令和数据的一个或多个存储设备。通常，计算机还将包括一个或多个用于存储数据的大容量存储设备（例如磁盘、磁光盘或光盘），或者计算机将被可操作地耦合到一个或多个用于存储数据的大容量存储设备，以从所述大容量存储设备接收数据或将数据发送到所述大容量存储设备到或这两者。然而，计算机不需要这种设备。

计算机或计算设备可以包括机器可读介质或其它存储器，其包括用于显示诸如接口之类的图形用户界面的一个或多个软件模块。计算设备可以使用网络交换诸如监视数据或其它数据的数据，该网络可以包括一个或多个有线、光学、无线或其它数据交换连接。

计算设备或计算机可以包括能够执行一组指令（顺序的或其它的）的服务器计算机、客户端用户计算机、控制系统、血管内或血管造影诊断系统、微处理器或任何计算设备，所述一组指令指定该计算设备要采取的动作。此外，术语“计算设备”还应被理解为包括单独或联合执行一组（或多组）指令以执行任意一个或多个软件特征或方法或作为本文描述的系统部件之一进行操作的计算设备的任意集合。

除了图1的有创和无创图像数据采集系统和设备之外，可以采集关于主体的区域R的各种其它类型的数据，和主体的其它感兴趣的参数。这可以包括位置信息、血管直径、血管分叉位置、像素强度变化的区域和邻域以及其它数据，

数据采集系统2可以包括一个或多个显示器7以显示血管造影数据帧、OCT帧、用于OCT和血管造影数据的用户界面。允许血管造影帧相对于其它血管造影帧的共同配准。显示器7还可以显示感兴趣的其它控件和特征。

使用血管造影图像分析和处理系统12生成的无创图像数据可以被发送到、存储在一个或多个服务器或工作站中并由其进行处理，该服务器或工作站可以是如图1所示的系统12或系统18。血管内图像处理系统16可以与PIU和图像处理子系统18电通信。子系统18包括各种软件模块，以追踪标记位置并执行血管内图像帧和x射线图像帧之间的共同配准。血管内图像数据（诸如使用数据采集探针30生成的血管内数据的帧），可以被转发到通过PIU35联接到探针的数据采集处理系统45。被配置为捕获来自系统12的血管造影图像数据的视频帧捕获器设备（诸如计算机板）可用于各个实施方式中。

如图2A所示，作为阶段和处理流程50的总体架构的一部分，生成x射线图像51的序列作为血管造影系统4的输出并且传输到数据采集系统12以进行图像处理和存储。在一个实施方式中，在回拉穿过动脉的血管内探针期间获得x射线。每个动脉都是血管系统的一部分，并可以连接到各种连接点或分叉点以及一个或多个侧分支。这些分支和分叉可以从感兴趣的动脉的一部分（诸如同时经历使用OCT或IVUS的回拉成像过程的动脉）以各个角度叉开。导丝提取子系统和方法53可以对x射线进行操作并转换该x射线以去除用于将探针30定位在给定图像帧中的导丝的外观。如本文所述，还可以评估沿着检测到的导丝的位置和末端端点以及其它点并将其用作本文描述的其它图像和数据处理和分析的一部分的锚点。在一个实施方式中，如本文所使用的，也可以认为提到的“提取”是指“检测”或“确定”，反之亦然。

如本文所讨论的，通过引入不透射线的造影液增强了这种动脉的成像。在x射线图像的各个帧上的创建作为区域可见的造影云。在引入造影液处的附近形成该云。数据采集系统包括造影云检测子系统和/或方法55，所述造影云检测子系统和/或方法55对x射线图像帧进行操作，以表征和/或检测造影云及其区域。该子系统可以在软件模块15a、15b或15c或其组合中作为系统12的一部分来实现。造影云检测方法55可以使用对x射线图像进行操作的或转换x射线图像的一个或多个软件部件来实现，诸如通过检测其上的特征或提升或降低给定帧的图像属性对x射线图像进行操作或转换x射线图像。图2A中所示的以及如本文另外描述的各种流程图、阶段和过程，可以使用如本文所述的血管内和血管造影系统以及其它计算设备和诊断控制系统和处理器执行。

除了执行检测和图像处理步骤以识别和排除包括血管造影帧的区域的有问题的造影之外，本发明还包括与生成血管中心线60有关的处理阶段和基于软件的方法。中心线生成可由于造影云区域的排除而被增强。一旦生成中心线，就可以使用锚点提取阶段和/或方法65来检测x射线图像中的任何合适的解剖特征，诸如分叉和弯曲。这些特征可用于各种诊断和图像处理方法。在一个实施方式中，一旦已经相对于这些结构执行了特征提取，则可以使用每帧的代表性解剖特征（诸如分叉和弯曲）的簇和组来减少共同配准误差和低置信度评分。

因此，在显示器上显示的相对于血管内图像帧的血管造影帧之间的准确性增加，关于该血管内图像帧将以跨帧为基础对其进行共同配准或配准。共同配准和跨帧配准过程便于诊断观察，支架布署观察和支架计划。因此，通过造影云检测、导丝提取以及分叉和弯曲检测减少配准误差，对于实现精确的共同配准和由最终用户诊断动脉状态或支架状态非常重要。在各个实施方式中，配准包括共同配准和跨帧配准，反之亦然。在一个实施方式中，造影云检测过程55和导丝提取过程53可以生成用于定义中心线端点的位置值。例如，第一中心线端点值C1和第二中心线端点值C2可分别由造影云检测55和导丝提取53生成，反之亦然。针对使用造影云检测数据和导丝检测数据的中心线的近端点和远端点值的生成，提高了中心线的置信度，并降低了附加的计算水平，因为使用血管造影图像数据通知给定中心线的末端位置。

如图2A所示，可以用检测到的锚点执行弧长插值阶段和相关步骤67，使得任何解剖标志或特征可以在x射线图像上被检测到并且用于识别所有血管造影帧中的对应血管段。在一个实施方式中，解剖标志或特征包括分叉、弯曲，作为分叉和弯曲信息中的一个或多个以识别所有血管造影帧中的对应血管段。通过使用基于弧长的插值，可以生成跨帧位置。跨帧位置便于追踪探针的不透射线标记在血管造影帧上的位置。如图2C 所示，所述标记是移动元素，所述移动元素在回拉过程中变换穿过不同点。例如，可以相对于血管造影帧中的解剖特征或其它标志来追踪这些位置。在一个实施方式中，这些位置的追踪与不透射线标记的追踪相结合，以执行血管内成像数据的共同配准。

图2B示出了在血管造影帧经过跨帧共同配准后，由图1的一个或多个系统生成的共同配准表。也就是说，不同血管造影帧之间的共同配准。图2B的表格示出了用于OCT和血管造影帧的不同时间，因为它们通常在不同的系统或数据采样时钟或时间段上操作。每帧上的探针标记的位置（x，y）显示在表格中。还显示了评分，所述评分是血管造影帧和OCT帧之间的配准置信度的量度。血管造影索引是用于图像的血管造影序列的帧数。图2C示出了探针上的标记随着时间移动到不同空间位置（x，y）以及哪些OCT帧对应于相关血管造影帧的示意图。标记在三个血管内图像帧（OCT-0、OCT-1和OCT-2）和三个血管造影帧（Angio-0、Angio-1和Angio- 2）的每一者中移动通过位置A、B和C，并且可以在帧之间在跨帧基础上配准。

造影云特征提取/检测相关方法和分析

部分地，本发明涉及改进近端血管端点的追踪准确度的方法，所述近端血管端点通常位于造影云的附近并且受到其与造影云的接近度的干扰。造影云的检测可以改进OCT血管造影共同配准中近端血管端点的稳定性。具体而言，造影云的存在使得x射线帧之间的OCT血管造影共同配准和跨帧配准复杂化，诸如在确定具有端点的中心线时产生不确定性，该端点保持其在血管造影帧集合上的解剖位置。

在x射线导引手术期间，医生使用与造影剂结合的x射线扫描来显现血管和心腔。在造影剂注射期间，造影云可以在造影剂引导导管附近形成。造影云通常是无定形的，并且在扫描期间采集的不同图像帧中其形状和大小不同。造影云可能会阻挡或隐藏潜在的结构，并可能导致各种图像处理和计算机视觉算法的性能下降。当应用图像处理和计算机视觉算法时，从单个或多个图像帧中检测造影云的位置和范围建立了一个精确的感兴趣区域。

为了其它目的，也可以将造影云用作图像标志。基本上，可以将检测到的造影云的区域标示为噪声或不确定区域，关于用于其它后续图像和数据处理的所述噪声或不确定区域的位置数据和其它图像信息被排除。这是因为来自这种噪声或不确定区域的数据可能引入通过其它后续图像数据转换传播的误差，这又导致另外的误差和配准不准确。

造影云检测器可用于产生二值图像，其中，所述二值图像的亮度分量是包含云区域的图像的区域。可替选地，在其它实施方式中，明亮区域可以被反转并且黑暗区域可以用于云检测。在一个示例性实施方式中，可以从来自多个图像帧的二值图像生成融合掩膜，并且可以使用各种技术生成融合掩膜，所述技术包括使用单像素（pixle wise）OR运算。

可以使用后滤波阶段以消除在感兴趣区域外的一个或多个小分量。这些云区域或云区域的求和或OR的组合定义了要排除的区域，使得不在这些区域或其子集中执行标记追踪。也可以从本文所描述的跨帧处理、中心线生成和其它过程排除这些云区域。 OR的组合由执行OR操作产生，所述OR的组合将云区域组合为聚合或融合云区域。以这种方式，可以组合多个候选云区域，以增加恰当地排除造影云可能存在的区域的机会。这些区域（如果使用的话）将是误差和标记位置不确定性的来源，这会对后续的处理步骤产生有害影响。

因此，在一个实施方式中，当追踪与使用系统4生成的x射线图像帧相关的成像探针的不透明标记时，排除了被识别为包含造影云的区域，使得在该区域中不执行标记追踪。同样的排除适于本文所描述的其它检测和过程。也可以从跨帧分析中排除图像中的造影云区域。通过检测造影云并限定与其相关的区域，可以以更高的准确度追踪造影云附近或造影云上的解剖位置。

此外，检测到的造影云的边界或端部提供了用于识别哪些帧可以用于启动其它过程（诸如本文所描述的配准过程或其它过程）的基础。因此，例如，更高的追踪准确度改进了血管中心线的确定，并且因此提高了确定跨帧位置时的准确度。这诸如通过生成诸如图2B所示的共同配准表来执行共同配准过程之后，减少血管段之间的成像伪影和未对准。

图3示出了用于检测每个输入图像的造影云的方法的流程图100。在步骤A1中，将图像输入到用于检测造影云的处理的系统中。在步骤A2中，对图像进行去噪以生成更平滑的图像。这个步骤可以是可选步骤，但可以改进图像，并且对噪声x射线图像很重要。如果图像质量较好，则可以跳过步骤A2。图4示出了已经执行图像去噪后的具有造影剂160区域的血管170的x射线图像150的示例性图像。得知云160的位置允许改进血管中心线的一致性和稳定性，这导致提高了探针的标记的共同配准和追踪的准确度。

在步骤A3中，可选地，将形态滤波器应用于图像以根据强度和形状平滑并改进云均匀性（通过减少间隙的数量）。在一个实施方式中，步骤A2和A3可以在通常的去噪步骤中组合。在一个实施方式中，步骤A2和A3都是光学的。在步骤A4中，在图像上使用第一自适应阈值处理以生成二值图像。图5示出了示例性图像，其中使用自适应阈值处理以生成二值图像180。如图5所示，作为较暗区域（包括潜在造影云的区域在内）的图4的图像的像素或部分，由图5的二值图像180中的亮白色区域200、235、240、250表示。在图5中，示出了进行了自适应阈值处理后的二值图像。

在步骤A5中，对于在步骤A3中创建的二值图像中的每个图像像素，计数邻域内与需要检测的造影云的典型大小相似的亮像素的数量。造影云周围的典型邻域可以是盘形、矩形或任意形状。在一个实施方式中，邻域的尺寸小于约5mm。在一个实施方式中，邻域的尺寸范围为约1mm至约4cm。在一个实施方式中，尺寸是直径、弦或线段。图6示出了由图5的图像的亮白色区域中的亮白色像素300、325、330、335的计数产生的示例性图像290，所述图像290包括围绕造影云300的预定邻域。

在步骤A6中，对每个像素根据在步骤A5中创建的图像使用自适应阈值处理。正在使用的自适应阈值是与用于在步骤A5中创建图像的邻域的大小相关的阈值，如图6所示。在步骤A7中，使用分量滤波器从步骤A6中生成的图像中去除大的分量。在图6中，在执行对预定邻域中的亮像素进行计数的步骤之后，产生显示的图像290。

在步骤A8中，扩大掩膜的步骤可以可选地与掩膜扩展图像处理操作器（诸如图像扩展内核）一起使用以增加云掩膜大小。图7示出了示例性图像350，其中已经检测到来自单个x射线帧的造影云的潜在位置和大小。示出了具有边沿或边界370的扩大的云掩膜360。这用于在步骤A10中创建造影云的云掩膜。云掩膜可以是独立地，并且如果聚合，则定义了不确定区域，关于不确定区域存在造影云。扩大掩膜减少了在云区域追踪探针的可能性。在一个实施方式中，检测云区域并将其定义为排除区。

在步骤B1-B4中，可选的处理步骤可以用于融合来自多个图像的云掩膜。在步骤B1中，将来自多个图像的云掩膜一起使用以创建单个融合掩膜。在步骤B2中，可以使用单像素OR运算符，以获得合并有来自多个x射线帧的信息的合并造影云掩膜。在获得合并掩膜之后，可以使用另一个基于分量的滤波器来去除步骤B3中感兴趣区域外的一个或多个小分量。考虑到造影液初始传送后一段时间内云的扩张和扩散，使用多个x射线帧是有利的。

在步骤B4中，可以融合来自每个帧的云掩膜，如图8所示，图8示出了来自x射线图像序列的融合造影云掩膜410的示例性图像160。可以生成该掩膜并将其应用于图像以识别造影云区域，所述造影云区域可以包括围绕其的作为安全因素的缓冲区。然后，在执行附加图像处理时，可以将这些识别的造影云区域作为忽略/避开区域存储在存储器中。在一个实施方式中，图8的融合云掩膜是通过在多个云掩膜之间采用单像素OR导出的。

导丝和薄膜元件检测相关方法和分析

另一方面，提供了一种用于检测丝的位置的方法，所述丝诸如x射线图像（例如，x射线血管造影术）上的细金属丝。本文所述的手术类型中使用的金属丝，可以包括具有生理量具的导丝或丝，所述生理量具用于测量丝周围区域中的生理状况。例如，具有生理量具或检测器的丝可以是压力导丝的形式，或者是包括用于测量任何其它状况（包括但不限于温度、磁性、阻抗和电流和/或电压）的量具的丝。

如本文所述的导丝提取方法，可用于在多个帧中产生稳定和一致的血管中心线。一旦已检测并提取导丝，本文描述的系统和方法可以使用导丝位置信息，以限定一致且稳定的位置。例如，在一个实施方式中，选择检测到的导丝位置，以限定所有血管造影帧中的血管中心线端点中的一个血管中心线端点。在一个实施方式中，在检测之后选择的检测到的导丝位置是远端检测的导丝位置。因此，使导丝位于被检查的血管的远端部分可以用于减少配准和跨帧误差。

对于各种诊断过程，丝位置和/或丝端部位置的自动提取是重要的。例如，金属丝可以包括生理测量量具，并且丝的位置可以被用于将来自量具的测量值自动关联到其对应的解剖位置。在另一个示例中，当金属丝在x射线扫描区域中移动时，可以应用自动轨迹提取。此外，当丝锚定在特定的解剖位置时，可以使用此方法自动检测一致的解剖位置。

图9示出了用于检测x射线图像中的丝的方法的流程图500。针对x射线图像（诸如血管造影图像）或多个图像（诸如血管造影序列或影像），可以执行处理流程的步骤。在步骤520中，执行x射线图像或图像序列的图像平滑，以增强图像中的细长结构。这种滤波器是一种改进的各向异性扩散滤波器，其中，每次迭代时，滤波器系数都是从与斑点和脊检测器（blob and ridge detector）组合的原始图像强度、高斯拉普拉斯算子（Laplacian ofGaussian，LoG）导出的。在一个实施方式中，被拉长的结构包括图像数据中的包含血管、导丝、棱或其它边缘的元素中的一者或多者。图10示出了在发生图像平滑之后，具有检测到的丝的血管的x射线图像的示例性图像。在图10中，通过执行图像平滑步骤来增强图像。作为这个过程的一部分，增强了细长结构。导丝W显示在右侧，具有端点P1、P2。示出了关于动脉分支A1和A2的两个分叉B1和B2。

在步骤525中，应用于图像的形态滤波器可以消除图像中的宽结构，如图11A 所示。在一个实施方式中，形态滤波器是底帽滤波器（bottom hat filter）。在一个实施方式中，形态滤波器是被配置或被约束为增强或选择小尺度特征（诸如薄元素）的任何滤波器。图11A示出了应用形态滤波器之后的示例性图像600。在一个实施方式中，形态滤波器是底帽滤波器。合适的形态滤波器允许增强图像中的黑色细长元素，相对于在给定形态滤波器（例如底帽滤波器）中使用的结构元素，该黑色细长元素具有典型尺度。在另一个实施方式中，中值滤波器可以替换形态滤波器以产生类似的结果。

在步骤530中，如图11B所示应用脊增强滤波器或检测器或血管分段滤波器。在一个实施方式中，使用脊增强滤波器实现这样的滤波器或检测器，所述脊增强滤波器诸如Frangi滤波器或其它合适的滤波器，将所述脊增强滤波器应用于图像以增强图像中的脊，如图11B所示。脊增强滤波器可以包括Hessian滤波器、Frangi滤波器或其它脊或边缘检测器。

图11B示出了已应用脊增强滤波器以增强图像中的脊结构之后的示例性图像605。以这种方式，脊增强滤波器被用于提取图像中的细长特征。对脊增强滤波器输出进行阈值处理，以产生包含细长黑暗元素的二值图像，所述细长黑暗元素在阈值图像中以亮像素出现。

在步骤535中，作为处理步骤，通过对输入图像执行自适应阈值处理抑制图像中的明亮区域。金属丝是不透射线的，并且将在x射线图像上显现为黑色细长区域。应用自适应二进制阈值，以便抑制具有不感兴趣的强度值的图像区域。因此，在一个实施方式中，可以抑制强度大于阈值的明亮区域，所述阈值与对应于暗值的值的强度值或范围相关联。图12示出了示例性图像610，其中，因为执行强度阈值图像处理步骤的过程，已抑制图像的明亮区域。

在步骤540中，使用单像素AND运算符将脊增强滤波器输出结果和自适应强度滤波器结果合并，以获得合并的金属丝掩膜分量。在一个实施方式中，本文描述的血管造影图像处理软件模块和方法连接并对在图像中检测到的金属丝片段进行滤波。在步骤550中，丝可以被分段抽出，并且可以检测到与丝不相关的图像中的其它分量。可以使用起飞角度和片段之间的距离的组合测量来接合丝片段。

在可选的步骤中，可以执行分量的后滤波和/或分量的变细，以从周围的区域去除可能在丝检测期间接合的元素。在步骤560中，前面步骤的图像处理的结果用于创建检测到的丝的掩膜。图13示出了在步骤560中创建的丝掩膜620的示例性图像。以二进制级别示出掩膜620，一个强度级别与丝W关联，并且其余的掩膜是与图像的背景相对应的暗或黑的第二强度等级。如所示，丝W分别具有端点P1、P2。在执行细化过程560之后显示掩膜620。在一个实施方式中，端点P1和P2中的一个或多个可以用于设定血管中心线的端点。在一个实施方式中，执行导丝检测，以识别一个或多个远端导丝端点。可以选择一个或多个远端导丝端点，以限定血管中心线端点。

在一个实施方式中，在一个实施方式中追踪血管中心线远端点之前，执行丝掩蔽步骤。丝掩膜的应用有助于以提高的准确度追踪针对一个或多个血管造影帧的血管中心线的远端点。在标记追踪和其它图像处理步骤期间识别造影云区域并避开这些区域，有利于具有稳定且一致的中心线端点。接着，具有一个稳定且一致的端点提高了跨帧配准准确性。

血管树配准

各种医学应用需要在运动和变形期间在不同帧处捕获的相同解剖位置之间的准确映射。例如，在血管内成像回拉和之后的支架布署期间，动脉的血管造影成像就是这样一种应用。心脏是具有复杂变形的快速跳动器官。因此，这样的映射会很难创建。这是因为血管造影给出了弯曲的3D系统的2D视图，其中，血管树成分、分叉和导丝、植入物、支架和其它血管内成像设备被重叠在每个的顶部，以在血管造影图像中产生不是真的存在于主体的血管系统中的模糊和重叠区域。本发明的各个实施方式提供了使用解剖标志（例如本文所公开的弯曲、锚点和分叉）执行这种映射的方法和系统。

此外，本发明还涉及检测血管造影图像上的分叉提取的方法。还公开了用于从多个x射线帧中对分叉进行分组的方法。此外，公开了对来自多个x射线帧的血管弯曲位置进行检测和分组的方法。也可以使用本文所描述的检测方法以及随着时间追踪在帧之间的标志及其相对运动，执行用于3D血管结构的运动估计。通过结合基于跨过不同x射线帧的分叉和弯曲的锚点的检测，可以实现提高跨帧配准准确性的方法。本文描述的其它检测和排除过程也可以帮助改进这种跨帧配准。

部分地，本发明涉及配准在多个x射线帧（诸如血管造影数据帧）上成像的血管树、血管树段或其它血管分量的方法。在一个实施方式中，例如，所述方法可以将锚提取、弯曲点或分叉点提取用作第一帧与第二帧之间的给定配准中的步骤或阶段。在一个实施方式中，例如，所述方法可以将血管提取用作第一帧和第二帧之间的给定配准中的步骤或阶段。

如本文所描述的，血管造影图像可以包括一个或多个分叉。本发明描述了图像数据处理和分析步骤，以在每帧和跨帧的基础上提取或以其它方式识别分叉。在一个实施方式中，描述了用于对来自多个x射线帧的分叉进行分组的方法。本发明描述了图像数据处理和分析步骤，以在每帧和跨帧的基础上提取或以其它方式识别血管弯曲。在一个实施方式中，描述了用于对来自多个x射线帧的血管弯曲和分叉进行分组的方法。

本文描述了用于配准从不同造影增强x射线帧提取的血管树的方法，例如在x射线血管造影术期间。在一个实施方式中，血管中心线是已知的，或作为对于每个感兴趣的血管分支是已知的而被治疗。可以使用如美国专利No.9,351,698中所描述的各种方法来执行检测这种中心线的过程，该美国专利No.9,351,698的公开内容通过引用全部并入本文。在一个实施方式中，本文描述的配准方法使用分叉点（如果它们存在的话）和弯曲点（如果它们存在的话）作为用于在不同帧之间匹配解剖位置的“锚”。一旦获得了匹配的“锚点”的集合，则配准基于对基于相对测地距离的匹配位置进行的插值，所述相对测地距离是沿着中心线的弧长测量的。可视情况而使用各种距离度量。

此外，可以使用“锚点”融合来生成三维心脏运动和变形的估计。使用来自同一心动时相的一对血管造影图像（2D投影），可以获得树血管的三维重建。这些在心动周期的多个时相处的3D血管结构重建对于理解3D心脏运动是有意义的。沿着图像序列的每个视图上的这些锚点的位移引发计算3D血管结构中的运动估计的方式。下面以及本文其它部分描述了与针对血管树的帧间配准而执行的 “锚点”匹配方法相关的另外的细节。

解剖特征检测 - 分叉点提取/检测和分组

图14示出了适于在第一血管造影帧与第二血管造影帧之间配准与心脏系统（诸如血管树）相关联的点的示例性处理流程630。该处理流程可用于检测解剖特征并将其用于跨帧/帧间配准。也可以通过沿着血管发现的其它解剖特征或解剖标志来完成跨帧配准。如图所示，方法630可用于执行血管树的帧间配准。

在一个实施方式中，可以使用各种数据转换和图像处理步骤实施检测解剖特征（诸如分叉点，诸如将动脉分成第一血管和第二血管，或者针对给定血管树的弯曲）的过程，以及将这些点分组的相关过程。最初，步骤C1，所述方法确定x射线图像的序列和相关中心线，诸如通过用户选择或其它标准进行处理。

如本文所描述的，可以确定中心线。步骤C2，这些x射线图像经过预处理。这样的预处理图像640的示例在图15A中示出。在一个实施方式中，作为预处理步骤，围绕每个感兴趣中心线生成骨架图像。如图15A 所示，由于外围特征的增亮和动脉特征的变暗，各种动脉分支以及相关的弯曲和起飞连接点和其角度是显而易见的和可检测的。

图15B和图15C分别是根据本发明的示例性实施方式的在应用图像处理和数据分析之后的原始血管造影图像、以及该图像中的一个血管的骨架和其外围环境的一部分。图15C的骨架图像对应于步骤C3的输出。仍然参考图14，所述方法包括可以分成两个处理路径或类别的步骤。在一个实施方式中，两个处理路径或类别可涉及第一解剖特征或解剖标志，且一个涉及分叉，一个涉及弯曲点。

在一个实施方式中，所述方法的分叉相关部分包括以下步骤：步骤C4，检测所有帧的全部或子集上的分叉；和步骤C5，通过聚类对分叉进行分组。所述方法的弯曲相关部分包括以下步骤：步骤C6，检测所有帧的全部或子集上的“弯曲”点；和步骤C7，对检测到的弯曲点进行分组。接着，步骤C8使用这些分叉和弯曲点的分组执行血管树（或其它血管结构或其子集）的帧间配准。通常，如本文所描述的，可以对第一解剖特征和第二解剖特征的任意组进行分组或聚类，并且接着将其用于执行步骤C8的血管树（或其它血管结构或其子集）的帧间配准。

分叉检测 - 特征提取相关特征

在一个实施方式中，执行诸如关于图14的步骤C4所描述的相对于分叉的特征提取包括各种步骤。在一个实施方式中，诸如通过执行特征提取来检测分叉包括在原始图像上应用阴影去除滤波器。在一个实施方式中，使用具有大型结构元件的底帽的形态学操作来执行该滤波，该大型结构元件减小了膈膜的心脏阴影的影响并且进一步增强了血管。可以使用基于Hessian的滤波器图像处理先前步骤的输出。

在一个实施方式中，来自Hessian滤波的输出被自适应地阈值化以生成二值图像。在一个实施方式中，将骨架生成算法应用于二值图像以获得骨架图像。接着，可以通过消除骨架图像中的小分量来改进骨架图像。在一个实施方式中，小分量小于约5个像素。在一个实施方式中，小分量小于约10个像素。在一个实施方式中，小分量小于约15个像素。在一个实施方式中，小分量小于约20个像素。在一个实施方式中，小分量小于约25个像素。在一个实施方式中，小分量小于约30个像素。

在一个实施方式中，在生成骨架图像和任何后续增强之后，所述方法可以包括检测每帧上（诸如例如在每帧的中心线上）的分叉的集合的步骤。在一个实施方式中，分叉被标识为骨架中的连接点。为了获得准确的分叉点结果，需要消除诸如血管交叉和肋之类的假分叉状特征。为此目的，如下应用一系列的一个或多个滤波器。

在一个实施方式中，应用肋式滤波器，以减少肋骨架或单个肋可能在图像中出现并被误解作为血管树结构的一部分的任何贡献。对于移动更快的血管，肋几乎是静止的。任何被配置为从图像中减少静态元素的滤波器都可以在此用于对肋或其它静态元素成像。在一个实施方式中，使用时间滤波器，使得滤波器操作以获取整个图像序列中的每个像素，并且如同它是一维（1D）信号一样对其进行滤波。另外，在一些实施方式中，也期望通过高通滤波器来对这些信号的集合进行滤波，从而消除静态背景。从多个帧中计算出平均图像，然后从感兴趣的帧中除去该平均图像。以这种方式，当对x射线图像数据的帧执行分析和图像处理时，可以去除或忽略静态元素（诸如肋）。

在一个实施方式中，将血管交叉滤波器或检测器应用于x射线图像帧。在给定的帧中，血管交叉可以表现为两个相邻的分叉沿相反的方向起飞。分支相对于主中心线的起飞角度被用于解决这种血管交叉的发生以及由于血管交叉造成的共同配准误差的相关可能。另外，通过排除位于主中心线不同侧的分叉并且满足沿着主中心线具有相邻起飞位置并且绝对角度差接近180°的条件，也解决了血管交叉。

解剖特征（诸如分叉）的关联或分组过程基于聚类。该聚类或分组过程对应于图14的步骤C5。 在这种情况下，簇是指从多个帧中提取的单个分叉。如果在多个帧上检测到相同的分叉，即使在略微不同的位置和方向上，跨过帧的代表性分叉的集合应当形成指示它是在不同帧上的不同时刻成像的相同分叉的簇。在一个实施方式中，可以在簇之间识别和测量一个或多个链接或矢量。两个簇之间的距离度量考虑了分叉的特征之间的区别或无论任何特征正在被评估和比较。这些特征可以包括：相对于主血管中心线的角度、分叉的归一化弧长和沿着分叉分支的平均图像强度、分叉尺度（或宽度）、血管造影图像上的绝对角度以及分叉管腔形状。因此，上述特征可用于识别区别并生成距离度量以评估和比较给定特征的聚类行为。

在一个实施方式中，使用各种特征来生成分叉描述符空间或模型。该特征包括分支上的平均图像强度值（I值）、分支起飞绝对角度（A值）和分支的归一化弧长（S值）中的一个或多个。可以使用相似性测量和/或距离测量/度量来关联特征空间中的数据点。这种度量的示例可以是下面定义的Euclidean度量D(C_i, C_j)。

D(C_i, C_j) = sqrt((I_i – I_j)² + (A_i – A_j)²+ (S_i – S_j)²)

对于D(C_i, C_j)，I是指平均图像强度，A是指起飞分支的绝对角度，以及S是指分支的归一化弧长。角标i和j对应于不同的血管造影帧i和j。

检测和/或选择代表多个帧中相同分叉的分叉数据集的簇。可以使用特征提取来执行检测/选择的过程。考虑到簇中的图像噪声和缺失信息的存在，使用特征提取是有益的。在一个实施方式中，在多个图像帧上检测到分叉，使得跨过多个帧的检测的集合可以一起聚类以帮助验证该分叉是跨过不同帧的同一分叉。在一个实施方式中，特征提取包括对诸如图像噪声的多余数据进行滤波的步骤。另外，特征提取可以包括通过诸如插值或其它处理使一个或多个簇中的缺失信息完整的步骤。

在一个实施方式中，为下一个处理步骤选择特定尺寸的簇（大簇相对于小尺寸的簇或中等尺寸的簇）。基于与OCT回拉期间捕获的血管造影帧的集合相比的其代表性数量，将簇识别为适当大的尺寸以供选择和进一步处理。一旦选定，将簇用于簇合并步骤。合并簇的过程产生簇的集合，每个簇具有来自每个感兴趣的帧的单个代表。

图16A示出了具有由两个分支B1和B2形成的分叉的血管造影图像的子集。图16B是根据本发明的示例性实施方式的血管系统的该部分的表示，示出了作为血管树的一部分的分叉以及血管分支与其起始（母）血管之间的相关联的角度β。如图16B中所示，分叉相对于（母）血管分支B1的角度在分叉示意图中示出为角度β。角度β由分支B1和分支B2的连接形成，并且由箭头示出为从B1到B2的开口。在一个实施方式中，这些分叉基于角度和弧长被绘制或者以其它方式被分组，如图17A所示。

聚类合并

图17A示出了通过绘制归一化的弧长（垂直轴）相对于角度测量结果（水平轴）而生成的多个簇。感兴趣的三个簇被标记为1、2和3。簇1位于簇2的左侧，并包含更多的数据点。数据点显示为圆形区域。簇3位于簇1的上方，并且沿跨越簇的矩形区域从簇3的顶部到底部具有更多数量的重叠数据点。在一个实施方式中，执行冗余消除步骤。

例如，如果多个簇包含来自同一帧的多个代表，则选择最接近簇质心的单个点。图17B示出了被分析以生成簇的血管造影数据帧上的每个簇的对应位点。每帧具有单个簇代表是可取的。因此，如果一个簇缺少来自一个或多个帧的代表，那么将使用基于最近帧的缺失信息内插值的替代来使该簇完整。可以实现任何类型的插值（线性的、循环的、基于样条的、曲线拟合等）以使簇完整或为这样的簇定义边界。在一个实施方式中，簇的元素是将这种元素作为图像间的相同元素的基础。

簇选择

为每个分叉簇分配用于簇选择的质量等级。以下因素加入等级：弧长标准偏差、归一化弧长标准偏差、角度差标准偏差、与其它分叉簇的接近度（基于不同簇的质心之间的距离）、每帧冗余分叉记录的平均数量、每帧缺失分叉记录的平均数量。包含这些各种因素的加权平均值可用于生成等级。最终选择具有最优等级的簇。

血管弯曲特征提取/检测以及特征

如图14所示，所述方法还包括弯曲相关路径，该路径包括步骤C6和C7。有关这些步骤的更多详细信息如下。基于血管弯曲的位置提取解剖“锚”的集合作为特征。血管弯曲被定义为血管改变其方向以创建呈现高曲率的角状结构的点。在每帧处，从前面描述的血管中心线提取多尺度曲率或曲率类似物。

在一个实施方式中，所述方法使用诸如Viterbi算法之类的追踪或最短路径算法来确定所有帧中或帧的采样中的每个弯曲的位置。在各个实施方式中，使用特征提取来检测给定图像帧中的解剖和其它特征或标志。在一个实施方式中，通过优化基于弯曲角度大小、沿着血管中心线的基于弧长或归一化弧长的弯曲位置以及连续帧中两个弯曲之间的角度偏差的成本标准，从所有感兴趣的帧中提取最短路径的特征。在一个实施方式中，跨越各个帧的弯曲和分叉的集合被用于识别路径或以其它方式执行血管造影帧之间的配准。

在根据多个起点计算成本标准之后，基于用于给定方案的关联成本标准的排序来提取方案。在提取了来自多个帧的所有弯曲候选者之后，可以应用滤波步骤以消除源自沿着血管中心线显示不一致位置的小弯曲或弯曲的方案。

图18A和18B描绘了多个血管树的两个血管造影帧。在每个帧700、705中，从两个x射线帧中检测到三个弯曲。在每个x射线帧上执行中心线检测。最终检测到的中心线由覆盖在每一帧上的白线表示。还针对每个x射线帧执行弯曲检测。白色菱形显示弯曲位置。在左图像帧700和右图像帧705中的每一个中分别示出了从底到顶依次编号为1、2和3的三个弯曲。每条血管中心线描绘出沿着弯曲3、2和1穿过动脉的路径。所有血管造影帧中的特定弯曲的位置可以用作解剖锚点或参考点以准确识别跨帧位置。

有关骨架和血管中心线/生成的其它辅助细节

此外，在一个实施方式中，作为血管造影图像的预处理的一部分，执行解剖特征检测。在一个实施方式中，这可以被执行以生成与成像探针穿过血管的路径有关的某些先验信息。诸如通过骨架生成过程的线段的生成可以用于特征检测。在一个实施方式中，骨架是静态对象，诸如被创建以帮助追踪正被成像的主体的血管的一个或多个线段。

使用基于骨架或线段的方法以生成用于数据采集探针（可用于通知中心线生成和标记追踪）的穿过血管的候选路径为前述这种方法的使用提供了几个优势。例如，基于骨架的方法可以防止或消除将以其它方式通过侧分支或成像探针导管产生的某些血管中心线。

生成骨架提供了一种方法以确定正在被成像的血管的几何形状的初始候选者以及作为地图或构架的侧分支和其它血管，以促进中心线生成。通过生成骨架，可以提取感兴趣的点（诸如分叉点和血管段），以稳定标记和血管中心线的追踪并验证横跨血管造影图像数据帧的追踪质量。

在一个实施方式中，在血管造影图像的预处理期间实施生成骨架的过程以检测诸如侧分支和血管几何形状的解剖特征。骨骼可用于检测解剖特征，如主分叉和外推点。此外，骨架可用于检测和生成平滑的血管中心线。例如，骨架可以与最短路径算法（诸如Viterbi、Dijkstra算法或其它算法）一起使用，以促进中心线创建。可以基于预处理的Hessian图像生成骨架。用户选择的与导丝位置相关的血管造影图像上的点可用于减少噪声并促进骨架生成。在其它实施方式中，这可以通过基于图像特征选择点来实现。

在一个实施方式中，使用一个或多个软件模块以生成和追踪用于给定的血管造影数据帧的血管中心线。在一个实施方式中，在本文中也被称为中心线的血管中心线是基于用于标记带的血管造影数据帧的每个候选子集的迭代评估而生成的模型或仿真，所述标记带与在血管造影数据采集期间引入的光学或声学传感器或其它成像或数据采集传感器相关联。

在一个实施方式中，动态程序软件模块（诸如实施任何合适的最短或光学路径确定算法（诸如Viterbi算法）的一个或多个步骤的软件模块）可以用于追踪标记带。在一个实施方式中，Viterbi算法用于不透射线的标记追踪。通常由其它算法或其组合来处理中心线的创建和追踪。通过使用特征检测（诸如导丝或标志检测）可以增强中心线追踪以限定中心线的端点。通过限定中心线端点，有利地提高了中心线确定时的跨帧配准和置信度。

在给定图中使用或不使用显示方向性的箭头，不旨在限制或要求信息可以流动的方向。对于给定的连接体，诸如图1所示连接元件的箭头和线，例如，信息可以适于给定实施方式的方式在一个或多个方向上流动或仅在一个方向上流动。连接可以包括各种合适的数据传输连接，诸如光学、有线、电力、无线或电连接。

用于实现血管造影和血管内数据采集方法和系统的非限制性软件特征和实施方 式

以下描述旨在提供适于执行本文所描述的本发明的方法的设备硬件和其它操作部件的概述。本说明书并非旨在限制本发明的适用环境或范围。类似地，硬件和其它操作部件可以适合作为上述装置的一部分。本发明可以用包括个人计算机、多处理器系统、基于微处理器的电子设备或可编程电子设备、网络PC、小型计算机、大型计算机等的其它系统配置来实施。

根据对计算机存储器内的数据位进行操作的算法和符号表示来呈现具体实施方式的一些部分。计算机和软件相关领域的技术人员可以使用这些算法描述和表示。在一个实施方式中，算法在这里并且通常被设想为产生期望结果的前后一致的操作序列。这里作为方法步骤执行的操作或以其它方式描述的操作是需要物理量的物理操控的操作。通常，但不一定，这些量采取能够被存储、传输、组合、转换、比较和以其它方式操纵的电信号或磁信号的形式。

应当理解，除非特别声明，否则从以下讨论中可以明显看出，在整个说明书中，利用诸如“处理”或“运算”或“计算”或“比较”或“弧长测量”或“检测”或“追踪”或“掩蔽”或“采样”、“聚类”“特征提取”或“自适应阈值处理”或“操作”或“生成”或“确定”或“显示”或“查找”或“提取”或“滤波”或“避开”或“排除”或“插值”或“优化”等的术语的讨论是指计算机系统或类似的电子计算设备的动作和过程，其将由计算机系统的寄存器内和存储器内的物理（电子）量表示的数据操纵和转换成由计算机系统存储器内或寄存器内或其它这样的信息存储器、传输或显示设备内的物理量类似地表示的其它数据。

在一些实施方式中，本发明还涉及用于执行本文的操作的装置。该装置可以为所需目的而专门构造，或者它可以包括通过计算机中存储的计算机程序选择性地激活或重新配置的通用计算机。

本文给出的算法和显示并不固有地涉及任何特定的计算机或其它装置。根据本文的教导，各种通用系统可以与程序一起使用，或者可以证明构造更专用的装置以执行所需的方法步骤是方便的。下面的描述将显示各种这样的系统所需的结构。

本发明的实施方式可以以许多不同的形式来实现，包括但不限于：与处理器（例如，微处理器、微控制器、数字信号处理器或通用计算机）一起使用的计算机程序逻辑，与可编程逻辑器件（例如，现场可编程门阵列（Field Programmable Gate Array，FPGA）或其它PLD）、分立部件、集成电路（例如，专用集成电路（Application Specific IntegratedCircuit，ASIC））或包括其任何组合的任何其它装置一起使用的可编程逻辑。在本发明的典型实施方式中，使用OCT探针、FFR探针、血管造影系统以及其它成像和主体监测设备以及基于处理器的系统采集的数据的一些或全部处理被实现为一组计算机程序指令，该组计算机程序指令被转换为计算机可执行形式，本身被存储在计算机可读介质中，并且在操作系统的控制下由微处理器执行。因此，基于回拉或共同配准请求的完成的用户界面指令和触发，例如被转换成适合于生成OCT数据以及使用上述描述的各种和其它特征以及实施方式执行图像处理的处理器可理解的指令。

实现本文先前描述的功能的全部或一部分的计算机程序逻辑可以以各种形式来体现，包括但绝不限于源代码形式、计算机可执行形式和各种中间形式（例如，由汇编器、编译器、链接器或定位器生成的形式）。源代码可以包括与各种操作系统或操作环境一起使用的以各种编程语言（例如，目标代码，汇编语言或诸如福传（Fortran）、C、C++、JAVA或超文本标记语言（HTML）的高级语言）中的任何一种实现的一系列计算机程序指令。源代码可以定义和使用各种数据结构和通信消息。源代码可以是计算机可执行形式（例如，通过解释器），或者源代码可以被转换（例如，经由翻译器、汇编器或编译器）成计算机可执行形式。

计算机程序可以以任何形式（例如源代码形式、计算机可执行形式、或中间形式）被永久地或暂时地固定在有形存储介质中，该有形存储介质诸如半导体存储设备（例如RAM、ROM、PROM、EEPROM或闪存-可编程RAM）、磁存储设备（例如软盘或固定硬盘），光学存储设备（例如，CD-ROM）、PC卡（例如PCMCIA卡）或其它存储设备。计算机程序可以以任何形式被固定在信号中，使用各种通信技术中的任一种可将该信号发送到计算机，各种通信技术包括但不限于模拟技术、数字技术、光学技术、无线技术（例如蓝牙）、联网技术、和网络互联技术。计算机程序可以以任何形式被分布为附有印刷的或电子的文件资料（例如用收缩膜包装的软件）的可移除存储介质，预先加载有计算机系统（例如在系统ROM或固定硬盘上），或从服务器或电子布告板而分布在通信系统（例如因特网或万维网）上。

实现本文中先前描述的全部或部分功能的硬件逻辑（包括与可编程逻辑器件一起使用的可编程逻辑）可以使用传统手动方法来设计，或者可以使用各种工具以电子方式来设计、捕获、仿真或以文件记录，所述各种工具诸如计算机辅助设计（CAD）、硬件描述语言（例如VHDL或AHDL）、或PLD编程语言（例如PALASM、ABEL或CUPL）。

可编程逻辑可以被永久地或者暂时地固定在有形存储介质中，该有形存储介质诸如半导体存储设备（例如RAM、ROM、PROM、EEPROM或闪存-可编程的RAM）、磁存储设备（例如磁盘或固定硬盘）、光学存储设备（例如CD-ROM）或其它存储设备。可编程逻辑可以被固定在信号中，使用各种通信技术中的任一种可将该信号发送到计算机，各种通信技术包括但不限于模拟技术、数字技术、光学技术、无线技术（例如蓝牙）、联网技术、和网络互联技术。可编程逻辑可以被分布为附有印刷的或电子的文件资料（例如用收缩膜包装的软件）的可移除存储介质，预先加载有计算机系统（例如在系统ROM或固定硬盘上），或从服务器或电子布告板而分布在通信系统（例如因特网或万维网）上。

下面将更详细地讨论合适的处理模块的各种示例。如本文所使用的，模块是指适于执行特定数据处理或数据传输任务的软件、硬件或固件。在一个实施方式中，模块是指适于接收、变换、路由执行特征提取和处理指令或各种类型的数据（诸如血管造影数据、OCT数据、IVUS数据、跨帧数据、像素坐标、聚类、云、不透明区域、中心线、阴影、像素、聚类、距离度量、强度模式、解剖特征、解剖标志、分叉、弯曲和如本文所述的感兴趣的其它信息）的软件例程、程序或其它驻留于存储器的应用程序。

本文中描述的计算机和计算机系统可以包括可操作地关联的计算机可读介质，诸如用于存储在获取、处理、存储和/或输送数据时使用的软件应用程序的存储器。可以理解的是，这种存储器相对于其可操作地关联的计算机或计算机系统可以是内部的、外部的、远程的或本地的。

存储器还可以包括用于存储软件或其它指令的任何部件，例如包括但不限于硬盘、光盘、软盘、DVD（数字通用光盘）、CD（压缩磁盘）、记忆棒、闪存、 ROM（只读存储器）、RAM（随机存取存储器）、DRAM（动态随机存取存储器）、PROM（可编程ROM）、EEPROM（扩展可擦写PROM）和/或其它类似的计算机可读介质。

通常，与本文中描述的本发明的实施方式相关联应用的计算机可读存储介质可包括能够存储被可编程装置执行的指令的任何存储介质。在可应用的情况下，本文中描述的方法步骤可以被体现或执行为存储在计算机可读存储介质或存储媒介上的指令。根据本发明的实施方式，这些指令可以为以各种编程语言实现的软件，各种编程语言诸如C++、C、Java和/或可应用于创建指令的各种其它类型的软件编程语言。

本发明的方面、实施方式、特征和示例在所有方面被认为是示例性的，并且不旨在限制本发明，其范围仅由权利要求限定。在不脱离要求保护的本发明的精神和范围的情况下，其它实施方式、修改和使用对于本领域技术人员而言将是显而易见的。

在本申请中使用标题和部分并不意味着限制本发明；每个部分可以应用于本发明的任何方面、实施方式或特征。

贯穿本申请，在组成物被描述成具有、包括或包含具体部件的情况下，或在过程被描述成具有、包括或包含具体过程步骤的情况下，设想本教导的组成物也主要由所列部件组成或由所列部件组成，以及本教导的过程也主要由所列过程步骤组成或由所列过程步骤组成。

在本申请中，在元件或部件被说成包括在所列元件或部件的列表中和/或选自该列表的情况下，应当理解，元件或部件可以为所列元件或部件中的任一者以及可以选自由所列元件或部件中的两者或更多者组成的组。另外，应当理解，本文中描述的组成物、装置或方法的元素和/或特征可以以各种方式来组合，而不脱离本文中无论是显式的还是隐式的本教导的精神和范围。

术语“包括”或“具有”的使用通常应当被理解成开放式且非限制的，除非另有明确陈述。

本文中的单数的使用包括复数（反之亦然），除非另有明确陈述。另外，单数形式“一”和“该”包括复数形式，除非上下文另有清楚指示。此外，在数值之前使用术语“大约”的情况下，本教导也包括具体数值本身，除非另有明确陈述。如在本文中所使用，术语“大约”指从标称值的±10%变化。

应该理解，只要本教导保持可操作，则步骤顺序或执行某些动作的顺序就不重要。此外，可以同时进行两个或更多个步骤或动作。

在提供值的范围或值的列表的情况下，在该值的范围或值的列表的上限和下限之间的每个居间值是单独考虑的并包含在本发明内，就如同每个值在本文中具体列举一样。此外，在给定范围内的上限和下限之间且包括上限和下限的更小范围被考虑并且包含在本发明内。示例性值或范围的列表不是对给定范围的上限和下限之间且包括上限和下限的其它值或范围的免责声明。

应该理解的是，要求保护的本发明的各个方面涉及本文公开的技术的子集和子步骤。 此外，这里使用的术语和表达被用作描述性术语而非限制性的术语，并且在使用这样的术语和表达时，没有意图排除所示出和描述的特征的任何等同物或其部分，但是应认识到在要求保护的本发明的范围内可以进行各种修改。 因此，希望通过专利证书获得保护的是在以下权利要求书中定义和区分的公开内容，包括所有等同物。

Claims (26)

1.一种基于计算设备的在一个或多个x射线图像中的造影云检测方法，所述造影云是在造影剂从造影剂引导导管尖端注射期间形成的无定形时变区域，所述方法包括：

在电子存储设备中存储在第一时间段期间获得的血管造影图像帧的集合，所述第一时间段包括造影液处于血管中的一个或多个时间段；

检测多个血管造影图像帧中的多个候选造影云区域；和

组合所述多个候选造影云区域，以生成融合造影云区域，所述融合造影云区域具有云边界。

2.根据权利要求1所述的方法，还包括从一种或多种后续数据处理方法中排除位于所述融合造影云区域内的血管造影图像数据。

3.根据权利要求2所述的方法，其中，所述一种或多种后续数据处理方法包括生成血管中心线。

4.根据权利要求3所述的方法，还包括生成用于所述血管造影图像帧的集合中的一个或多个血管造影图像帧的一个或多个血管中心线。

5.根据权利要求2所述的方法，其中，所述一种或多种后续数据处理方法包括所述血管造影图像帧的集合中的两个或更多个血管造影图像帧的跨帧配准。

6.根据权利要求5所述的方法，还包括执行所述血管造影图像帧的集合中的两个或更多个血管造影图像帧的跨帧配准。

7.根据权利要求6所述的方法，还包括生成跨帧位置的集合。

8.根据权利要求2所述的方法，其中，所述一种或多种后续数据处理方法包括从由以下各项组成的组中选择的过程：锚点提取、弧长插值和跨帧位置生成。

9.根据权利要求2所述的方法，还包括扩大一个或多个候选区域或所述融合造影云区域以提供扩展的排除区域，并且还包括从一种或多种后续数据处理方法中排除位于所述扩展的排除区域内的血管造影图像数据。

10.根据权利要求2所述的方法，还包括将OCT图像数据和所述血管造影图像帧的集合中的多个血管造影图像帧进行共同配准。

11.根据权利要求1所述的方法，还包括将平滑滤波器应用于所述血管造影图像帧的集合中的一个或多个血管造影图像帧，使得保留具有特定期望尺度的元素。

12.根据权利要求11所述的方法，还包括以下步骤：对去除了小尺度元素的平滑的血管造影图像帧进行自适应阈值处理，以生成二值图像，其中，造影云区域中的一个或多个像素是所述二值图像中的第一值。

13.根据权利要求12所述的方法，还包括以下步骤：选择造影云邻域，并将所述造影云邻域覆盖在所述血管造影图像帧的集合中的一个或多个血管造影图像帧上，以在所述二值图像中包括具有所述第一值的所述候选造影云区域。

14.根据权利要求13所述的方法，还包括以下步骤：对所述造影云邻域中包括所述第一值的像素的数量进行计数或评分。

15.根据权利要求1所述的方法，还包括以下步骤：对包括第一值的像素进行自适应阈值处理，并且从每个邻域中去除包括除所述第一值之外的值的像素。

16.根据权利要求1所述的方法，还包括以下步骤：生成掩膜并使用所述掩膜来检测解剖稳定的锚点以充当血管中心线的近端点。

17.根据权利要求1所述的方法，还包括以下步骤：检测所述血管造影图像帧的集合中的多个解剖特征；生成检测到的解剖特征的簇，并使用生成的所述簇在所述血管造影图像帧之间执行跨帧配准，其中，簇是指从多个帧中提取的单个解剖特征。

18.根据权利要求1所述的方法，还包括以下步骤：使用最短路径寻找算法对多个解剖学相关联的弯曲点进行分组，以识别通过所述解剖学相关联的弯曲点的可能路径。

19.根据权利要求18所述的方法，其中，响应于一个或多个标准而识别所述可能路径，所述标准选自由弯曲角度变化、曲率、曲率模拟、沿着中心线的弯曲位置和连续帧之间的弯曲角度偏差构成的组。

20.根据权利要求1所述的方法，还包括以下步骤：将图像处理变换应用于一个或多个帧以去除或修改至少一个帧中的特征，并生成掩膜以在一个或多个后续图像处理步骤期间执行特征提取，其中，所述特征是所述图像中的导丝。

21.根据权利要求1所述的方法，还包括使用共同配准表来共同配准所述多个血管造影图像数据帧和所述多个光学相干断层扫描数据帧，所述共同配准表包括血管造影图像帧、每帧的多个OCT时间戳、每帧的多个血管造影时间戳和光学相干断层扫描图像帧，所述共同配准表包括针对每个共同配准位置的评分测量值。

22.根据权利要求21所述的方法，还包括使用所述共同配准表和计算设备，在用户界面中的OCT图像和血管造影图像中显示支架表示。

23.根据权利要求21所述的方法，还包括使用所述共同配准表和被配置为显示所述侧分支的用户界面识别一个或多个OCT图像或血管造影图像中的侧分支。

24.根据权利要求1所述的方法，还包括使用诊断系统显示多个跨帧配准的血管造影图像，其中，从所述血管造影图像帧的集合中选择所述多个跨帧配准的血管造影图像。

25.根据权利要求1所述的方法，其中，所述方法的一个或多个步骤是使用诊断系统来实现的，所述诊断系统包括：用于从血管造影系统接收所述血管造影图像帧的集合的输入端，用于存储所述血管造影图像帧的集合的一个或多个电子存储设备，与所述输入端和所述一个或多个电子存储设备电通信的一个或多个计算设备，以及由所述一个或多个计算设备执行的用于执行所述方法的一个或多个步骤的指令、图像滤波器和图像处理软件模块。

26.根据权利要求17所述的方法，其中，所述多个解剖特征包括血管树中的分叉或弯曲点。

Images