CN104519793A - 用于内腔的线性映射的系统 - Google Patents

Abstract

描述了用于内腔的线性映射的系统，其利用方法以使用多个成像的帧创建内腔的线性化视图。事实上，内腔具有3-D轨迹，但是仅有2-D投影视图可供查看。线性化视图显示了该3-D轨迹，因此创建了关于如在2-D显示上看到的内腔轨迹上的每个点的线性化映射。在本发明的一个模式中，轨迹表示为沿着1维的线性化显示。该线性化视图还与内腔测量数据结合，并且结果同时显示在单幅图像上。在本发明的另一个模式中，治疗装置的位置实时显示在线性映射上。在该模式的进一步扩展中，内腔尺寸的轮廓也显示在该线性化映射上。

Description

用于内腔的线性映射的系统

相关申请的交叉引用

本申请要求2012年5月8日提交的第61/644,329号美国临时专利申请以及2013年2月11日提交的第61/763,275号美国临时专利申请的优先权权益，这两者中的每个通过引用以其整体并入本文。

技术领域

本发明通常涉及血管内医疗装置。更具体地，本发明涉及被引入血管内并用于获取各种生理参数以及然后对其进行处理用于映射各种内腔的导丝、导管和相关装置。

背景技术

存在测量内腔的尺寸的一些装置(例如IVUS和OCT导丝或导管)。将这些装置插入内腔中直至感兴趣的区域末端或刚好越过感兴趣的区域。该装置然后被使用步进电机拉回，同时进行内腔测量。这使得能沿着内腔创建内腔尺寸的“线性”映射。在典型的代表中，映射的X轴为测量点到参考点的距离，并且Y轴为对应的内腔尺寸(例如横截面积或直径)。这使得医生能够弄清病变(血管中的患病部分)的长度、横截面积和轮廓。病变的长度和横截面积两者都适于确定病变的严重程度以及可能的治疗计划。例如，如果待植入支架，则通过血管的邻近未病变部分中的测量的直径来确定支架的直径。将通过血管的明显患病部分的长度来确定支架的长度。

虽然IVUS和OCT给出了病变的长度和横截面积的良好估计，但是存在一个问题，即在提供治疗时，其不能保持原位。在进行测量后，缩回测量装置，并且将治疗装置引入内腔。不存在现有的机构以确定该支架是否恰当地位于患病位置。在测量期间可得到创建的“线性”映射，但是不能得到在该线性映射中的支架的当前位置。换言之，获取的信息没有与X射线图像共同配准。

另一个问题是，在诊断和治疗期间被医生使用以查看X射线图像的主显示器通常是从一定角度拍摄的并且具有一定变焦系数的2-D图像。因为这些图像是基本上本质3-D结构的投影，所以表观长度和轨迹将是真实长度和轨迹的扭曲的版本。例如，对于20mm的血管分段，分段的表观长度取决于观察角度。如果该分段位于图像平面内，则其显示为一定的长度。如果分段与图像平面成一角度，则其显得更短。这使得难以根据X射线图像准确判断实际长度。此外，在移动器官的拟周期运动中，运动期间不同的阶段对应于不同的3-D内腔结构。这依次对应于拟周期运动的每个阶段内不同的2-D投影。因而，可针对运动的每个阶段单独完成创建内腔的线性化和共同配准的映射，或可针对选定的代表性阶段完成创建内腔的线性化和共同配准的映射。在后者情况下，需要从每个单独的阶段到代表性阶段的内腔的2-D投影的映射。甚至在该后者情况下，即使使用了来自选定的心跳阶段的2-D投影，也几乎不可能避免需要运动补偿。这种情况存在下列一些原因。首先，对运动的补偿还来自其它原因(例如呼吸)。该运动也需要考虑在内。其次，因为图像是在离散点处在适当时候(例如每秒15帧)被捕获的，所以在心跳的特定阶段的精确时刻下可能不存在可用的帧。选择最近的帧将遗漏可能很重要的并且需要进行补偿的残留运动。再次，仅选择心跳的一个阶段导致为心跳的特定阶段选择的两个连续帧之间有较大的时间间隔。例如，如果心率为每分钟60下，每秒仅使用一个帧进行处理(通常图像在每秒15或30帧是可用的)。这使得很难跟踪在装置上的移动的标记。

因此，需要允许将测量的内腔尺寸与治疗装置的位置进行共同配准并且详细说明如何用多个图像的帧来创建线性映射、以及进一步详细说明共同配准的系统。

发明内容

本公开是有效的方法以借助多个成像的帧来创建体腔的线性化视图。事实上，内腔具有3-D轨迹，但是仅有2-D投影视图可供查看。线性化视图显示了该3-D轨迹，因而针对如在2-D显示器上看到的内腔轨迹上的每个点创建了线性化映射。在本发明的一个模式中，轨迹表示为沿1维的线性化显示。该线性化视图还与内腔测量数据结合，并且结果同时显示在单幅图像上，这种模式称为分析模式。这种操作模式可以帮助介入手术医生唯一地区分是否存在任何病变并识别其位置。与通常使用的机动回拉技术相对，操作分析模式还能当在血管内插入腔内装置时帮助使血管线性化。在本发明的另一个模式中，治疗装置的位置实时显示在线性化映射中，这种模式称为引导模式。此外，内腔尺寸的轮廓也显示在该线性化映射上。

用于获得内腔的各个尺寸并且可以与本文公开的装置、系统和方法一起使用的装置和方法的示例可以在以下专利中进一步详细地看到：2010年9月17日递交的第61/383,744号美国临时专利申请；2011年6月13日递交的第13/159,298号美国申请(美国公开号2011/0306867)；2011年11月28日提交的13/305,610(美国公开号2012/0101355)；2011年11月28日提交的13/305,674(美国公开号2012/0101369)；2011年11月28日提交的13/305,630(美国公开号2012/0071782)；以及2012年4月20日提交的PCT/US2012/034557(指定美国)。这些申请中的每一个通通过引用以其整体并入本文并且用于任何目的。

本发明的其他方面涉及降低能够实时实现算法的图像处理的复杂性。在一个方面中，确定了腔内装置的轨迹，并且将来帧使用装置的预测位置以缩小搜索范围。将腔内装置的检测与不透射线标记的检测相结合，以产生组件中的每个组件的更加稳健的检测，并且导致更加准确的线性化映射。用于通过识别在运动的不同阶段中的腔内装置来对运动的器官的运动进行补偿的方法是新颖的。该运动补偿转而帮助建立拟周期运动的代表性阶段中的内腔的线性化和共同配准的映射，并且进一步帮助将产生的映射传播至运动的其他阶段。首先，检测腔内装置的可见分段的两端-例如，在导丝中引导导管的尖端和导丝的远端线圈。随后，沿着任何不透射线标记检测腔内装置的不同部分，不透射线标记可以附接到腔内装置。本发明的另一个新颖的方面是将检测到的内腔分段从先前帧中的任何先前帧或所有先前帧映射到当前帧以降低在后续帧中检测腔内装置时的复杂性。基于下列方式检测腔内装置本身：首先，在搜索区域内检测所有可能的管状结构，并且然后根据平滑约束选择并连接这样的结构的子集以对腔内装置进行重构。此外，在导丝上的突出结构被更加可靠地检测，并且当选择结构的子集时被给出更高的权重。在本发明的另一个变型中，仅检测内腔分段的子集。这是以渐进的方式来完成，并且仅仅与治疗相关的区域可以被检测到和线性化。

本发明的另一个方面是对由于心跳和呼吸、相机角度变化或者患者或平台的物理运动而导致的运动进行补偿。线性化视图对于上述运动中的任何运动是稳健的。这通过沿内腔纵向方向使用突出的结构或标志来完成，例如引导导管的尖端、深埋导丝分段中的远端线圈、划定的导丝的静止部分、静止不透射线标记或沿着在考虑中的内腔移动的不透射线标记的最远位置、解剖标志(例如沿动脉的分支)。参考这些点进行线性化映射。

本发明的其他方面涉及降低能够实时实现算法的图像处理算法的复杂性和补偿器官的周期运动。

本创新的图像处理方面涉及以下一些方面：

1.搭接来自成像装置输出端的现场馈送视频、ECG和其他生命特征。

2.自动选择帧以沿着其感兴趣的它们的区域进行处理。

3.对腔内装置进行跟踪(甚至在其中成像装置的方向、位置和放大率在过程期间被改变的情况下)。

4.量化血管的生物特性，例如血管的顺应性-例如，在心脏介入术期间在心跳的时候动脉的各个部分的移动以及血管弯曲度(血管中的扭曲和转弯)。

5.选择病变描绘器。

6.对腔内装置进行运动补偿用于计算线性化映射。

7.选择其中动脉被用注射的染料突出显示的帧，并使用这些帧用于分析动脉直径的变化。

8.自动测量血管直径-又称作QCA。

附图说明

图1显示了从2-D曲线到线性表示的映射。

图2显示了带有标记和/或电极的导丝和导管。

图3显示了放置于弯曲的轨迹中的导丝或导管。

图4显示了血管成形术中使用的引导导管和导丝。

图5显示了沿着冠状动脉内的导丝的不透射线电极的示意图。

图6显示了示出了涉及构建动脉的线性映射的各个步骤的框图。

图7显示了由于心跳导致的电极的坐标变化。

图8显示了远端线圈的检测。

图9(a)显示了导丝的检测端。

图9(b)显示了搜索空间内的相关度的变化。

图10显示了管状可能性示例。

图11显示了从先前帧映射的导丝。

图12显示了导丝识别和细化。

图13显示了样条拟合后检测到的导丝。

图14显示了指示了在将标记的内在结构考虑在内的管状可能性图中的极大值的检测的曲线图。

图15显示了检测到的不透射线标记。

图16显示了与狭窄附近测量的内腔直径和横截面积信息共同配准的线性化路径的示意图。

图17显示了在线性映射上的导管的位置的显示。

图18显示了列出各种模块连同其提供给终端用户的输出的框图。

图19显示了SSD相对于时间(或帧)的变化。

图20显示了SSD的直方图。

图21显示了捕捉图像。

图22显示了覆盖在原始图像(以5X放大率示出)上的方向性管状可能性度量。

图23显示了在C型臂机的直线平移时捕获的X射线血管造影术过程期间的连续帧。

图24显示了关于平移的各个可能值的SSD的变化。

图25显示了检测到的导丝。

图26显示了导丝中自环的示例。

图27显示了标记检测算法的框图。

图28显示了线性化算法的框图。

图29显示了5自由度的C型臂机的示意图。

图30显示了通过注射染料来突出显示血管的过程的示意图。

图31显示了血管路径的骨架化。

图32显示了自动QCA算法的框图。

图33显示了穿越视图生成算法的框图。

图34显示了涉及操作分析模式的各种算法的框图。

具体实施方式

本文我们描述了处理2-D图像以达到移动的器官的内腔的线性化表示的方法。提出的方法的示意图被示出用于冠状动脉的介入。线性映射是从内腔(或插入内腔的导丝)的弯曲的轨迹上的点到从参考点处测量的实际线性距离的映射。这在图1中的示意图100中示出。

值得注意的是，在血管的一些分段中，在3-D中的实际内腔轨迹可能弯曲到图像中(即，内腔轨迹与观察位置成一角度)。在这些情况中，在2-D弯曲的轨迹中的内腔的明显小的分段可以映射到线性映射中的大的长度。线性映射表示当目标遍历内腔时沿着内腔的纵向轴线穿过的实际物理距离。

线性映射方法适用于在常规(2-D)冠状动脉造影术中的使用以下腔内器械中的任何一个腔内器械的过程中：

1.带有是如上文公开的不透射线的和/或标记的有源电极的导丝。

2.带有是如上文公开的与标准导丝一起使用的不透射线的电极的导管。

3.与标准血管成形术、预扩张或包含不透射线标记的支架输送导管一起使用的标准导丝。

4.任何导管(IVUS导管、OCT导管、EP导管)、导丝或具有至少一个不透射线元件(可以在X射线图像中被识别)的其他腔内装置。

除上述提到的装置之外，还可使用类似的方法用于仅采用标准导丝获取冠状动脉计算机断层扫描(3-D)血管造影图像和双平面血管造影图像中的线性映射。线性映射生成可以随后用于在治疗计划、支架植入术以及预扩张和后扩张期间实时引导进一步的心脏介入术。其还可用于借助于QCA或使用多频电励磁或通过任何其它的成像(IVUS、OCT、MR)或内腔参数测量装置测量的内腔横截面积测量结果的共同配准，其中，这些参数需要与X射线共同配准。标准导丝和导管以及带有附加的电极和/或标记的导丝和导管在本文的其余部分被称作腔内装置。

采用标记和/或电极的导丝和导管构建

图2示出了带有如示出的有源电极和标记的导丝200和导管202的结构。间距和尺寸无需一致。标记和电极是可选的组件。例如，在一些实施例中，可以仅包含有源电极。在其他实施例中，可以仅包含标记或标记的子集。如果导丝200不包含有源电极或标记，则导丝200与标准导丝相似。即使没有标记或电极，导丝在X射线图像中仍可见。标准导丝远端的线圈条由使得在X射线图像中甚至更加清楚可见的材料制成。如果导管202不具有有源电极，则导管202与标准气囊导管类似，标准气囊导管具有在气囊内部的一对不透射线标记(或无源电极)。

根据几何结构、位置、标记/电极的数量和尺寸以及它们之间的间距，示出的结构可能存在一些修改和变化。除了使用有源电极用于线性化之外，导丝200和导管202可以用多个不透射线标记进行构建，不透射线标记不一定是电极。导丝中的不透射线标记如图2中所示。不透射线标记可以位于有源电极的近侧或远侧。其还可以位于有源电极的两个侧面，或者可以为了动脉路径线性化的目的对它们进行替换。如果位于电极远侧上的标记跨越了从引导导管尖端的位置到其中导丝被深埋的点的整个区域，则可以针对拟周期运动的每个阶段独立完成线性化。但是在介入术期间经常不需要这样的结构，因为它经常在视觉上干扰感兴趣的其他装置或区域。因此，经常需要减少的标记集。除了这些之外，可能的导丝的另一个配置将被用交替的条使导丝的远端线圈分段成为条状，条在本质上是不透射线的和非不透射线的，条的精确长度不一定是均匀的。在动脉路径线性化的任何组合中可以单独使用或一起使用这些提出的修改。标准导丝的远端不透射线线圈分段(其不是条状的)还可用于获取动脉的线性化映射的近似估计。随着输入视频的帧速率增加，该估计变得越来越准确。所有这些变型都是预期的，并且在本发明的范围之内。

当将腔内装置插入动脉时，其跟随动脉的轮廓。在这种情况下拍摄导丝的2-D快照时，根据观察视角，电极的间距、尺寸和形状中将发生变化。例如，如果导丝弯曲远离观察者，则标记之间的间距好像已经变小。这通过图3中示出的弯曲的导丝300进行描绘。

各种使用情况的描述

该小节描述了各种使用情况，其中线性化的映射的生成将具有临床意义。

当使用带有标记和电极的导丝或使用标准导丝来完成线性化时，线性化的映射可以用于解剖标志(例如病变、分支等)与内腔测量结果的共同配准。

这样的共同配准可以用作一些目的：

1.在例如病变中的感兴趣的点可以然后叠加回血管造影视图上。

2.可以引导其他治疗装置(例如支架导管、气囊导管)至感兴趣的区域。

3.可替换地，可以将沿着共同配准的动脉的任何装置的前进显示在线性视图中以引导治疗。

如果与包括标记/电极的导管一起使用标准导丝，并且导管中的标记或电极用于在预扩张期间的线性化，计算机辅助的干预援助可以被提供用于所有的进一步的介入术。即使使用包含不透射线气囊标记的标准导管生成线性化映射，这也保持良好。一旦完成线性化，则特定于该患者的动脉映射还可用于该患者在该动脉中的其他进一步的介入术。

算法描述

在血管造影术过程中使用的导丝、引导导管和导管在图4的荧光图像400中示出。导丝和引导导管400被进一步示出，说明了导丝如何可以从导管处前进。冠状动脉内部的导丝上的不透射线标记500的示意图被在图5中示出。

本文描述的该算法用于使用减少的标记集的内腔的线性化。跨越动脉的整个长度的标记可以看作该情景的特例。为了实现动脉路径线性化的目的，我们对腔内装置中的不透射线标记(导丝和导管中的有源电极或气囊标记)进行检测，并且跨越通过心跳的不同阶段的帧对其进行跟踪。然后，使用回顾运动补偿算法以消除心跳和呼吸的影响用于测量由动脉内的电极行进的距离。将以像素为单位的测量的距离转换成物理距离(例如mm)，以生成冠状动脉的几何结构的线性化映射。图6显示了所涉及步骤的概述的框图600。

下面描述了实现这些任务中的每个任务时的挑战。标记的不透射线本质使其在血管造影术图像中可以非常显著地看见。例如边缘探测器、感兴趣的点探测器、模板匹配、基于霍夫变换的一些方法可用于单独检测电极。然而，在例如起搏器导线和冠状动脉搭桥导丝等的其他不透射线物体存在的情况下要维持稳健性是充满挑战的任务。

由于在图像帧中观察到的运动，图像中电极的坐标无需保持恒定，即使是在腔内装置保持静止的情况下。应该注意的是，图像帧中观察到的运动可以是下列同时发生的一种或多种运动的结果：平移、成像装置中的变焦或转动变化；因心跳和呼吸产生的运动；受验者或受验者被置于其上的工作台的物理运动。图7示出了显示了当导丝静止时在心跳的不同阶段的两个标记的位置的变化的图表700。

为补偿电极的运动，可使用回溯运动校正或运动预测策略。但是，基于图像的运动校正算法通常要耗费大量的计算，并且可能不适用于实时应用。在我们的实现中，我们对图像进行分段用于识别导丝。在一个实施例中，使用整个导丝进行运动校正，而在另一个实施例中，仅使用位于感兴趣区域内的导丝的一部分用于运动校正。

在这个过程中，按本节随后描述的方法在每一帧内检测导丝。同时还可以在这个过程中检测标记和电极(如果有的话)。一旦稳健地检测到导丝，在邻近图像帧之间匹配导丝系统(导丝及其携带的任何导管)上的已知参考点，从而确定并校正因帧之间的心跳引起的运动。这些参考点可以是导丝上的端点、引导导管的尖端、或是导丝的远端不透射线部分，或是因手动插入或拔出腔内器械或例如动脉中的分支的任何解剖标志而不会明显纵向移动的任何标记。使用导丝标记进行线性化时，这些标记明显不会沿纵向内腔方向保持静止，因此，不宜用作标志点。

因为导管的轨迹与导丝的轨迹相同，因此适用于导丝的运动补偿同样适用于导管。值得注意的是，由于手动插入或拔出程序实际上可能导致导管移动超过导丝。因此，当导管并非静止时，导管标记不宜用于运动补偿。事实上，运动补偿后，对非静止腔内装置上的标记的移动进行跟踪，以确定在内腔中装置的位置。

在一个帧中对导丝进行分段使得能缩小后续帧中的搜索区域。这使得搜索空间减小，以定位标记，并使定位在起搏器导线等异物存在时具有稳健性。但是，检测整个导丝本身就是一个具有挑战性的任务，并且标记通常是导丝中最显著的结构。因此，我们的方法考虑检测电极并对导丝进行分段为两个交错过程。共同检测或迭代检测标记和导丝，每一次迭代提高了检测和标识的准确性，直到不能进一步提高准确性为止。

通过导丝估算实现的运动补偿可用于减少计算量，并考虑应用的实时需求。但是，正如本节前面所述，基于图像的运动补偿或运动预测策略通过采用专门的高速计算装置也可用于实现相同的目的。产生的运动补偿数据(如果采用基于导丝的运动补偿则为腔内装置的位置；如果采用基于图像的运动补偿则为图像)可用于计算沿内腔纵轴的腔内装置/标记的平移。计算信息可以通过动画形式或一系列的运动补偿图像帧进一步视觉上呈现给介入术医生，可以在其上面明确标记出也可不标记出腔内装置。标记和其他腔内装置的位置信息也可叠加在静止图像上。

导丝分段的算法以及跨越所有帧进行电极检测的算法在此处进一步详细说明。此外，通过在邻近帧中导丝之间找出点对应来进行运动补偿的算法将随后通过线性映射生成进行论述。

导丝分段和电极定位

在一个方法中，我们采用的导丝分段方法包括四个主要部分：

1.可靠地检测出导丝的端点。

2.增强图像中的管状对象。

3.检测两个端点之间的最佳路径，其中，根据曲线的连续性及其穿过管状结构的追踪情况确定最佳性。

4.在导丝附近定位标记，并根据所检测的标记重新估算导丝分段。

导丝端点的检测

导丝端点的检测包括检测图像中已知的实质对象，例如导管的尖端和不透射线导丝条。这些参考对象限定了导丝的端点。使用基于模式匹配的对象定位算法(OLA)来确定帧中此类对象的位置。在本发明的一个实施例中，使用者通过点击图像上的引导导管或其附近位置，通过手动确定引导导管尖端的方式进行介入。这样做的目的是对OLA进行训练，使其能够检测引导导管尖端的特定的2-D投影。在其他的实施例中，通过非手动介入的方式对引导导管尖端进行检测。这里，对OLA进行编程，以便寻找与引导导管尖端相似的外形。可以利用引导导管尖端的样本对OLA进行练习，或者对外形参数进行编程，将其作为算法的参数。在另外一个实施例中，将引导导管放置到位后，通过分析图像的序列对引导导管尖端进行检测。引导导管是按图像序列纵向穿过内腔的最显著的部分。引导导管还具有明显的结构，能够在图像上被轻易地检测到。确定移动的引导导管，然后将引导导管的不透射线尖端确定为导管的前端。在另外一个实施例中，之前的用于内腔频率测量的电极从引导导管移动到血管时，对引导导管尖端进行检测。电极测得的阻抗发生急剧变化，这有助于引导导管的检测。在介入期间，还可以根据染料的注入对其进行检测。

引导导管的不透射线尖端表示导丝一端的标记位置。需要在各图像帧中对引导导管尖端进行检测。由于图像中观察到的运动是因心跳产生，不同帧中对应位置的方位具有显著差别。使用基于强度相关的模板匹配方法检测后续帧中与被训练的引导导管尖端最为相似的结构。通过训练对象定位算法，能够定位引导导管尖端的各种2-D投影，还能实现检测过程的自动化。即使C型臂X射线机的获得角度发生变化或变焦系数(C型臂距离工作台的高度)发生变化，也可以对自动化和基于使用者交互的检测进行训练，使其能够检测引导导管。在整个线性化过程中，假设引导导管尖端不发生物理移动。通过计算引导导管尖端和血管中分支的位置等所有解剖标志的距离，定期验证该假设是否成立。即使在考虑到心跳引起的运动后如果变化仍然非常明显，在进一步处理中对运动的距离进行估算和补偿。本文会进一步描述感兴趣血管中分支的定位。

不透射线导丝尖端按照灰度值进行分段。引导导管的不透射线尖端代表可以被识别的导丝分段的一端。

一旦识别了引导导管的尖端，下一步骤是确定导丝的不透射线线圈条，代表需要确定的导丝的另一端。在某些情况下，在导丝插入并穿过引导导管的远端之前检测引导导管。在这种情况下，在导丝远端的不透射线线圈条退出引导导管尖端时，通过持续分析各帧中引导导管尖端周围的窗口自动进行检测。在其他情况(其他实施例)中，通过使用者介入来确定导丝远端的不透射线线圈条。使用者需要选择(例如通过鼠标单击)导丝线圈条近端(连接至导丝轴芯的一端)附近的一点。在另一个实施例中，导丝的远端基于明显可见的管状结构和低灰度强度进行检测。

因为导丝的不透射线线圈条在X光照片上明显可见，因此能够相对容易地对不透射线远端进行检测。创建图像的灰度直方图。根据构造的直方图自动选择阈值。低于所选阈值的像素被标记为可能的线圈条区域。然后分析所标记的像素彼此之间的连接性。所标记的像素岛(完全连接的区域)表示导丝线圈段的可能分段结果。各个像素岛均具有典型的外形(基于构成像素的连接性)。按照各种外形参数，例如内在形状的面积、离心率、周长等，通过消除若干区域可以减少可能的分段区域，并对可能的分段区域的列表进行更新。将最高管状可能性度量的区域选为导丝线圈段。一旦确定了线圈段之后，从线圈段上的任意一点开始进行全方位的搜索，从而对线圈条的两个端点进行检测。选择与上一帧中对应点距离最近的端点或者引导导管尖端的端点。该端点代表进行导丝分段时需要确定的导丝的第二端点。远端线圈的检测结果如图8中的图像800所示。一共检测到2个端点。在这两个端点中，在第一个图像帧中选择与使用者所选的点距离较近的一个端点。

由于由心跳引起的图像中观察到的运动，不同帧中对应位置的方位具有显著差别。因此，引导导管尖端和导丝线圈条近端的位置会随着帧的变化而显著变化。为了检测所有后续帧中的导丝端点，选择初始帧中被检测点周围的一个区域。考虑将所选区域的灰度强度作为模板。在后续帧中被检测坐标周围的相对较大区域内进行2-D相关。将相关度最高的位置选为后续帧中的导丝端点。如果全局最大值还不够“显著”，则选择若干候选点。除了计算之前的几次心跳之外，还需计算上一帧和所有候选点之间的运动，以及当前帧中的引导导管点到同一阶段内的帧的距离。得到的最优点能使这些距离函数的组合最小化。导丝的分段算法将被检测端点作为一种初始估算手段，用于丢弃在结构上与导丝相似的管状假象。导丝分段过程还完善了端点的位置估算。

引导导管尖端的检测结果如图9(a)所示，该图描述了局部引导导管900，导丝的一端为模板匹配尖端，另一端为导丝不透射线线圈的标记尖端。图9(b)显示了图表902，描绘了相关度的变化以及用于定位引导导管尖端的唯一全局最大值的存在。

当C型臂X射线机的获得角发生变化或变焦系数(C型臂距离工作台的高度)发生变化时，导丝900的端点位置会显著变化。在这种情况下，不能将上一帧的端点信息用于重新估算。根据本节先前讨论的内容，可以要求使用者再次指向对应位置，或设计自动算法对端点进行检测，而无需使用上一帧的输入。可以按照相关性检测等任意场景变化检测算法，对C型臂的角度变化进行检测。这是通过测量当前帧关于前一帧的相关性来完成的。当相关性低于某一阈值时，我们可以说角度变化引起的图像显著不同。也可以通过跟踪所捕捉的实况图像其中一角的可用角度信息，检测角度的变化(如图21所见)。

感兴趣对象的增强

在文献中可以找到好几种方法用于增强特定的感兴趣对象。在感兴趣对象类似管状结构的一个实施例中，使用专门突出管状结构的图像增强技术。一些常用的度量包括Frangi血管度量和管检测滤波器。在介入工具不像管状结构的另一个实施例中，使用感兴趣对象的几何结构专用的图像增强技术。为了体现本发明的实施，我们使用Frangi血管度量增强图像中的管状对象。但是，也可使用具有类似目的的任一替代方法作为替换。在Frangi提出的管状可能性公式中，T(x)定义为：

其中，λ₁和λ₂是被考虑图像的黑塞矩阵的特征值，满足|λ₁|≤|λ₂|并且 $S=\sqrt{{\mathrm{\λ}}_1^2+{\mathrm{\λ}}_2^2}.$

黑塞矩阵是图像的二阶导数矩阵。对于图像中的每个像素P(x，y)，都有如2×2矩阵 $H(x,y)=\left[\begin{array}{cc}\frac{{\∂}^{2}P}{{\∂x}^2}& \frac{{\∂}^{2}P}{\∂x\∂y}\\ \frac{{\∂}^{2}P}{\∂y\∂x}& \frac{{\∂}^{2}P}{{\∂y}^2}\end{array}\right]$ 定义的四个二阶导数。

数值α和β是加权系数并且按照经验选定，以得出最佳结果。

管状对象的增强结果1000如图10所示(颜色更浅的数值对应于更有可能是管状结构一部分的像素；颜色更深的数值表示可能性更低)。因此，得到的管状可能性度量是没有方向的度量。为了检测腔内装置的路径，管状可能性度量的主导方向有时是很重要的信息。为了得到主导方向信息，使用黑塞矩阵的特征向量。图22显示了覆盖在原始图像上的定向管状可能性度量2200，代表了叠加在图像像素上的特征向量。

最佳路径检测

如果C型臂的位置发生线性平移或者变焦系数(C型臂距离工作台的高度)发生变化，可以估算相同的运动。相对当前帧对前一帧进行分析，并且计算图像像素之间的差值平方和(SSD)或绝对差值和(SAD)等度量，进行估算。针对连续帧之间平移和变焦变化的几种可能组合，计算SSD或SAD，并选择SSD/SAD比值最小的一个组合作为正确的平移和变焦解决方案。例如，图23显示了在两个帧2300和2302之间只有少量平移(无变焦系数变化)的连续帧2300、2302。针对两个方向上-40～+40个像素之间变化的各种可能平移，计算SSD值。图24中的图形2400说明了各种可能平移的SSD值变化。在其中一个方向(X轴)上平移4个像素并且另一个方向(Y轴)上平移12个像素时得到最小值。

C型臂的较小角度变化有时候近似于平移和变焦变化的组合。因此，有必要区分从平移变化到旋转以及变焦变化。处理实况图像时，平移通常看起来是无缝进行的，而旋转一定角度，尽管是非常小的一个角度，也会导致实况“定格”一段时间，直到达到目标角度。实际上，实况视频也包含的平移的过渡状态，而在旋转中，只能看到初始和最终视角。旋转时很少提供过渡状态，检测实况录像2100(图21的左下角)中X型臂的角度可以进行区分。

导丝检测

一旦知道了导丝的端点并且计算了图像中各像素的管状可能性，对导丝进行描绘减少非负权重的图论最短路径问题。更具体的说，将图像中的图像像素看作一个节点，连接2个像素的边缘就是一个顶点，各顶点的权重与该点的管状可能性成反比，导丝分段算法可以改成找到最短路径距离的路径。因为所考虑的权重为非负权重，所以可以使用计算机视觉领域非常著名的迪杰斯特拉算法或活动导丝分段。

可替代地，采用部分检测到导丝边缘和管状可能性，分段问题也可看成导丝端点之间的边缘连接问题。主动形态模型、主动轮廓或梯度矢量流都可用来得到类似的输出。

在本发明中，我们使用修改后的迪杰斯特拉算法版本对导丝进行分段和跟踪。在从起点到被考虑像素的路径中，通过对之前的像素施加一些权重，实施的迪杰斯特拉算法将被检测曲线的平滑度考虑在内。(初始化步骤中检测到的)两个端点都被处理时，停止对最佳路径的搜索。图25突出了通过这种算法检测的导丝2500。该算法还可以用于跟踪同时插入不同血管中的多个腔内装置。或者，可以使用普通的迪杰斯特拉算法检测和跟踪导丝，并在检测到导丝后，应用单独的平滑函数得到平滑的导丝。

在几个实际情景中，引导导管尖端和导丝尖端都会因心跳而进出图像帧。在这种情况下(至少一个端点可见)，从一个端点开始进行修改后的迪杰斯特拉算法。因为其中一个端点不在帧内，最佳路径检测算法的假端点是图像中的边框像素之一。继续搜索最佳路径直到图像中的所有边框像素都处理完。选择(相同心跳阶段内)距离之前检测的导丝最近的路径作为最佳路径。

当两个端点都可见时，还有可能选择离开图像帧的导丝的一段。在这种情况下，假设(根据上述策略)仅一个端点可见，可以从两个端点开始进行修改后的迪杰斯特拉算法。结合两个端点的结果，并且重新构建有一部分缺少的导丝路径，假设在缺少的区域内不会改变导丝的连续性。

在导丝3-D路径的2-D投影构成自环路的另一情况中，使用修改后的迪杰斯特拉算法检测没有环路存在的路径。在导丝路径突变的点，使用基于单独区域的分段技术检测导丝中的环路。例如，在本发明中，使用基于快速行进的水平集算法检测导丝中的环路。只有在能看到导丝方向突然改变的情况下，启动这一部分的算法。图26显示了使用情况情景的示例，其中自环路2600显示形成在导丝中。

同时根据像素与之前几次心跳中相同阶段内检测到的导丝的接近度，限制迪杰斯特拉算法的搜索空间。通过分析患者的ECG或者与心跳协调的其他测量参数，例如血压、血流量、血流储备分数、生物阻抗等对电刺激的反应度量等等，可以得到心跳的阶段。

在本发明中，我们已经基于ECG检测心跳阶段。通过检测ECG中的显著结构，例如P波和T波的起点和终点、P波和T波的最大值、PQ分段和ST分段中的相等间隔以及QRS复合体中的最大值和最小值来完成检测。如果正被处理的帧对应于ECG信号中P波起点的时间，为了限制导丝检测的搜索空间，选择之前几个P波起点的帧，使用这些帧对应的导丝检测结果。与相同心跳阶段对应的帧无需始终与类似形状的导丝相对应。这是因为除了心跳引起的运动外，视频中所示受验者的呼吸也会有影响。与心跳产生的运动相比，呼吸产生的运动通常相对较慢。因此，在所选的帧上完成基于图像处理的验证。对于导丝的地理位置(在初始化中对齐所检测的端点后)与当前帧中明显较高的管状可能性度量对应的所有帧，选择这些帧作为有效帧来缩小搜索空间，放弃其他帧(属于相同心跳阶段但是没有达到管状可能性标准的帧——在本段其余部分被称为‘无效’帧)。在另一个实施例中，针对上面规定的所有‘无效’帧，进行呼吸补偿。计算‘无效’帧中所检测导丝的平均值，并标记为参考导丝。计算‘无效’帧中检测到的导丝与参考导丝之间的点对应，此处会做进一步解释。事实上，所述点对应性实际上使几个心跳阶段中呼吸产生的运动无效。因为过程将心跳产生的运动和呼吸产生的运动分开，所以可以进一步用来研究受验者的呼吸模式。

1.前一帧中导丝的位置和形状信息允许我们能够缩小当前帧中导丝的搜索范围。

2.当前帧中计算的管状可能性度量是针对感兴趣区域中的像素。

3.根据引导导管尖端和导丝的不透射线远端部分检测当前帧中的导丝端点。

为了缩小检测导丝的搜索范围，将前一帧内检测到的导丝映射到当前帧中。因为已经知道了当前帧中导丝的端点，旋转、变焦并平移(RST)之前帧内的导丝使端点重合。因此，将前一帧中导丝的对齐图像1100映射到当前帧中，如图11所示。

值得注意的是，一旦考虑到前一帧的初始化，则搜寻当前导丝的搜索空间明显缩小。如果考虑到心跳导致的轨迹周期性变化，则能更好地预测导丝的位置。但是，这一步骤并不重要，可以在不采用之前帧内导丝的任何知识的情况下，单独检测各帧。在一个完整心跳阶段后检测导丝时，可以考虑前一心跳循环对应阶段内检测到的导丝。因为心跳是周期性的并且观察到的呼吸循环的频率通常较慢，所以可以进一步缩小搜索空间。可以使用介入期间获取的患者ECG或其他生命体征，检测相同的心跳阶段。如果生命体征不能用于分析，可使用图像处理技术大大缩小搜索空间。对较长时间段内腔内装置的路径进行分析，结果表明运动具有周期性。通过选择特定的帧，即导丝与当前帧内管状可能性度量值较高的区域接近，很有可能选对正确的帧以便选择搜索空间。在一定程度上，还可以通过卡尔曼滤波等预测滤波器选择正确的帧。具体的做法是，观察导丝的2-D外形，并监测一段时间内类似导丝外形的重复程度。可以组合使用这两种方法得到更为准确的结果。

如图10所示，沿着真实的导丝存在大量的不连续边缘。对检测到的导丝进行逐步细化的结果显示在图12中所示的图像序列中。在保持曲线连续性的基础上来显示细化。图中，图12(A)的图像1200是需要处理的原始图像。图12(B)的图像1202是用于图像的计算管状可能性度量。图12的图像1204中编号1至6表示导丝上逐步细化的标识点。最终图像(图像6)表示导丝上的最终标识点。然后，使用三次样条拟合删除异常值，并拟合平滑曲线1300，如图13所示。噪声数据的直接样条拟合会导致异常振幅。因此，在本发明中，使用自由度较小的样条拟合。

不透射线标记的检测和导丝的重新估算

管状标记通常与较高的管状可能性度量相关联。因此，为了定位电极，考虑沿着导丝的T(x)值，并检测其中的众多最大值。还可使用上下文信息检测标记。如果我们的目的是监测已知气囊尺寸的气囊标记，例如16mm长的气囊，那么在检测的导丝上搜索标记可能需要囊括大概的距离(以像素为单位)。因此，检测标记不再是仅仅检测单独的独立标记。检测相距较近的标记，例如用于内腔频率响应的不透射线电极，可以根据电极的内在结构一起进行。图14显示了导丝上点的管状可能性值的曲线1400。上述曲线中的显著的最大值通常有可能为不透射线标记的位置。曲线1400还显示了检测所考虑标记内在结构的程序。

因为标记是腔内装置中的非常突出的结构，如果所检测到的导丝路径与所检测标记的中心不重合的话，估算的标记位置更为可靠。在这种情况下，使用加权样条拟合算法更好地估算导丝，其中，相比导丝中的其他点，标记的加权明显更高。这是因为标记具有强势的特征，相比导丝的线芯能更可靠地检测到。图15描述了图像中检测到的标记1500。图27显示了标记检测算法不同模块的方框图2700。标记的位置如图18的输出编号5所示，显示了与输出一起提供给最终用户的各种模块的方框图示例。

到目前为止的讨论中，我们都假设整个导丝在X射线图像中可见。但是，在一些情况中，导丝在X射线图像中不能清晰可见。这可能是因为X射线图像的质量较差，使用低强度辐射水平，或者是因为导丝本身的材质。在这些情况中，管状可能性度量图中将显示少量的点(对应为腔内装置中标记的位置)。可以使用引导导管尖端作为额外的参考点。在这种情况下，仅采用当前帧估算可靠检测的点(标记和引导导管尖端)之间的路径。然后，在部分导丝分段上应用前面章节中讨论的运动补偿算法。当标记沿动脉纵向移动时，可以估算更多的导丝分段。所估算导丝分段的信息延续到后续帧和前面帧中。这有助于在标记移动时检测更大的导丝分段，并且使用标记的轨迹信息建立导丝的路径。过程有助于建立导丝路径(然后创建线性图)直到标记前进的点。但是因为做标记(导管中的有源电极/气囊标记)时通常至少会一直到出现器官狭窄的地方，所以生成部分线性路径就足以进行治疗计划和其他介入援助。

点对应以及线性映射的生成

图16中说明了生成线性映射的示例，显示了与器官狭窄附近测量的内腔直径和横截面积信息1600配准后的线性化路径1602。检测到腔内装置上的不透射线标记后，沿腔内装置测量它们之间的距离(以像素为单位)。测量这些标记之间的物理距离有助于将该部分腔内装置映射到线性路径中。如果整个腔内装置内不透射线标记的距离较近，单帧就足以对(由腔内装置覆盖的)整个血管路径进行线性化。不透射线标记之间的距离需要足够近，保证任何两个连续标记之间的路径是线性的，并且整个腔内装置近似于一个分段的线性装置。

值得注意的是，像素和实际物理距离之间的映射不是唯一的。这是因为腔内装置不一定在相同平面内。在不同的位置上，就会与图像平面成不同的角度。在一些位置上，腔内装置可能处在图像平面内。在其他位置上，可能是进入图像平面(或从图像平面出来)。在每一种情况下，从像素到实际物理距离的映射可能会有不同。例如，如果是前一种情况，映射为每毫米物理距离对应3个像素，如果是后一种情况，是每毫米对应2个像素。得到的物理距离反映了该局部区域内血管路径的长度。

在实际使用情况的情景中，在腔内装置上放置很多不透射线标记可能对介入术医生没有用，因为会阻挡视线看不到路径以及它们中可能存在的病变。因此，需要将腔内装置上放置的标记数量减少到最低程度。另一种极端情况是只在腔内装置上放置一个标记。这使得我们能够在所有帧中跟踪该标记。如果标记的长度已知，可以通过标记在内腔不同位置处的长度变化建立线性化映射。如果使用了长度非常短的单个标记(该标记在图像上不能再近似看成一条线段，只能看成一个点)，需要电动拉回的校准步骤。这使得我们能将血管中的不同点映射到线性化映射中的不同点上。这样，能将介入术医生的视线阻挡范围降至最低，但是同时，为了得到相同的结果，多了一个额外的(电动拉回)步骤。因此，按照我们的分析，在腔内装置的远端放置2至5个相距较近的标记，通过建立线性化路径，最能帮助介入术医生。插入此类腔内装置时，通过分析多个帧，随着腔内装置的推进，可以建立血管的线性化视图。应该注意的是，对于此处描述的发明，为了保证——标记处于相同平面内——的假设保持真实，相邻标记之间的距离无需足够小。如果距离较大，例如气囊标记中的距离较大，则在运动补偿后测量连续帧中对应标记之间的距离，进一步使用该距离进行线性化。

成像帧中观察到的运动可以是下列一个或多个运动同时发生的结果：在成像装置的平移、变焦或旋转变化；心跳和呼吸产生的运动；对象或放置对象的工作台的物理运动。血管的形状和位置在每个上述运动阶段都不同。因此，血管的线性化不再是单一的解决方法而是一组解决方法，在所有可能的运动结构中对血管进行线性化。但是，如果不同的血管结构通过点对应相互映射，则不要这种复杂的解决方法。

在对应结构之间找出对应已经成为一项需要大量研究的课题。找出显著点之间的对应或者找出基于强度的翘曲函数可以找到图像的点对应。通常情况下，找出翘曲函数然后内在地找出各点之间的映射函数(内在点对应算法)可以找到形状对应，其中，翘曲函数是将考虑中的形状翘曲成另一个形状。通过外在地将形状中的各点映射到另一形状中的对应点中，也可以找到形状中的点对应。通过几何形状标志或解剖标志，或者在端点与解剖标志相互重叠的情况下通过形状中点与另一个形状的接近程度，完成点对应。使用的解剖标志是本文描述的血管中的分支位置。也可以使用2-D投影中可见的一个或多个装置上的固定点标志，例如引导导管的尖端、静止标记以及体外的固定对象。不同心跳阶段中(通过本文描述的QCA检测的)血管直径之间的相关性，也可用作获取点对应的参数。在本发明中，我们使用外在点对应算法找出各形状中标记的对应位置。通过找出不同心跳阶段内腔内装置的不同部位之间的点对应，在一个阶段内估算的投影缩减效应可以平移到另一阶段，因此有助于整合投影缩减效应。在建立由腔内装置的整条移动的路径的线性化映射时，可以使用过程。图28显示了线性化算法中涉及的不同模块的方框图2800。

通过外在点对应实现的运动补偿可用来补偿所有上述情景。相比基于图像的运动补偿技术，还减少了运动补偿所需的计算量。但是，正如本节前面所述，基于图像的运动补偿或运动预测策略通过采用专门的高速计算装置也可实现这一目的。所产生的运动补偿数据(如果采用基于导丝的运动补偿则为腔内装置的位置；如果采用基于图像的运动补偿则为图像)可用于计算腔内装置/标记沿内腔纵轴的平移。计算信息可以通过动画形式或一系列的运动补偿成像帧进一步呈现给介入术医生，其中可以在上面明确标记出也可不标记出腔内装置。标记和其他腔内装置的位置信息也可叠加在静止图像上。

3-D重构

每次对腔内装置的一部分进行线性化时，可以根据直观投影缩减效应测量腔内装置与2-D投影平面所成的角度。但是，对于腔内装置是从平面中出来朝向X射线接收机还是远离X射线接收机比较模糊。该技术并不能消除这种模糊性。因此，在血管内腔轨迹的不同部分，根据投影缩减效应的‘n’次单独估算，对整个腔内装置进行线性化时，每一部分都相对血管内腔轨迹的3-D重构提供了二元模糊性。根据整个腔内装置中的多个标记，或者该腔内装置的任意子样本，或者上一节提到的任意技术或此处提到的方法进行这‘n’次单独估算。因此，‘n’步线性化程序提供了3-D重构的2ⁿ个一致性解决方案。但是，考虑到血管内腔轨迹的平滑度，不是所有的解决方案在技术上都可行。根据平滑度标准，可以放弃2ⁿ个解决方案中的几种解决方案。但是，仅采用单个投影角度进行线性化，并不一定能得到唯一的3-D重构路径。

在介入期间通常会在做出决定之前从多个角度观察血管。在多个角度(至少2个角度)进行线性化有助于将可能的3-D重构路径缩小到一条。包括检测并跟踪腔内装置和不透射线标记，再进行运动补偿，最后在至少2个角度进行线性化。

在另一个实施例中，当C型臂的投影角度改变时，所有可能的3-D重构路径都投影到新的投影角度中。每条重构路径都在新的投影角度下有单独的投影路径。也在新的角度下检测腔内装置，并放弃与检测到的腔内装置路径不匹配的所有预测投影。采用多个角度下的投影，可以验证并缩小3-D重构路径。该程序有助于找到血管内腔轨迹的3-D重构路径。

为了得到轨迹的3-D重构视图，必须唯一确定C型臂的投影角度。C型臂有6个自由度，3个转动自由度，1个平移系数和1个放大系数(变焦系数)。图29显示了C型臂X射线机2900的5个自由度。如要得到准确的3-D重构，需要确定5个参数中每个参数的唯一值。按照此处的方法可以得到平移和变焦系数，通过分析从实况录像数据(如图21所示)得到的角度信息，可以确定转动自由度的唯一值。或者，也可以采用光学或磁传感器跟踪C型臂2900的运动来进行测量。若使用者能够访问发送给电动机的电信号，则通过与C型臂X射线机2900连接的电动机也可以得到C型臂X射线机2900的位置信息。

操作引导模式

假设已经有了配准的线性化映射，操作引导模式有助于引导治疗装置进入病变位置。在一个实施例中，操作引导模式期间的图像与建立线性化映射时的图像具有相同的C型臂投影角度。在这种情况下，将图像坐标映射到线性化映射坐标是无关紧要的，需要用到前面章节讨论的标记检测和运动补偿技术。在另一个实施例中，投影角度的变化较为明显。在这种情况下，使用血管路径的3-D重构视图将前一角度下生成的线性化映射再映射到当前角度。转换后，前一实施例中涉及的所有步骤同样在本实施例中进行。但是在另一个实施例中，没有准确的3-D重构时，在治疗装置中存在的标记的帮助下，进行操作引导模式。在这种情况下，这些标记用于在新投影角度下对血管进行线性化。新角度下的线性化可以自动配准映射与之前生成的线性化映射，因此，可以准确地引导治疗装置到病变位置。图17中的线性映射1702旁边还显示了对带有电极和气囊标记的导管1700的位置进行映射的示例。

实时显示显示画面。当医生插入或拔出导管时，图像处理算法实时运行，以确定导管上的参考点，并将导管位置映射到线性显示画面中。相同的线性显示画面还显示了内腔轮廓。在一个实施例中，在插入导管前估算内腔尺寸轮廓。在另一个实施例中，通过相同的导管采用导管远端的有源电极测量内腔尺寸。当往里插导管时，测量内腔尺寸，并动态建立轮廓。

当显示本公开发明用于X射线图像时，相同的概念也可以延伸到其他成像方法，例如MR、PET、SPECT、超声波、红外线、内窥镜等，在这些成像方法中，插入内腔的器械有一些明显可见的特征。

获取医学成像装置的现场录像输出、ECG和其他生命特征

图18显示了方框图1800，其展示了提供给终端使用者的本发明各种模块及其输出的细节。此处进一步描述了各个模块的更多细节。DICOM(医学数字成像和通信)是处理、储存和传输医学成像信息的标准。但是，其通常适用于离线处理。对于本发明中所提出的系统，需要有实况的录像数据，可以在介入手术医生使用的显示装置上看到。为此，需要复制医学成像装置的输出或显示装置的输入信号。显示装置的视频输入可以是数字或模拟信号。其可以是隔行复合的视频格式，例如NTSC、PAL、渐进式复合视频、VGA所支持的若干变体/分辨率之一(如VGA、超级VGA、WUXGA、WQXGA和QXGA)、DVI、隔行或渐进式复合视频等，或者是专有格式。如果视频格式是标准格式，则可以通过多种连接器发送，例如BNC、RCA、DVI和分离式视频等。在这种情况下，连接器上会连接一台视频分割器。分割器的一路输出被连接到前述显示装置，而另一路输出用于进一步处理。如果视频输出为专有格式，需要安排一台专门的外部相机来捕捉显示装置的输出，并使用一台前述类型的连接器来发送输出数据。然后使用帧捕捉硬件来捕捉相机的输出或视频分割器的二次输出，得到一连串图像。帧捕捉器捕捉视频输入，对其进行数字化处理(如果需要)，并通过自身的端口(如USB、以太网、串口等)将数字数据发送给计算机。

采用医学成像装置进行图像捕捉期间两个连续帧之间的时间间隔(以及录像的帧速率)并不一样需要与发送显示的时间间隔一样。例如，对于导管实验室内用于心脏介入术的一些C型臂X射线机，能够以每秒15至30帧的速率采集图像，但是VGA输出时可用录像的帧速率高达75Hz。在这种情况下，将所有帧发送给计算机进一步处理既没有必要效率也不高。可以对模拟录像信号(若有)或数字化信号进行复制帧的检测。

对于模拟域内复制帧的检测，可以用延迟线比较前一帧和当前帧。模拟延迟线是指电气组件串联连接组成的网络，其中，每个单独的单元都会在其输入信号和输出信号之间产生时间差或相位变化。设计延迟线时，应接近感兴趣频段内的整体增益，并且群延迟与单一帧持续时间的群延迟相等。一旦模拟信号穿过延迟线，可以采用比较器比较模拟信号与当前帧。比较器是指能比较两个信号并能切换其输出以指示较大值的装置。比较器的双极输出在发送给储能电路等累加器前可以通过平方电路或整理器(先将其转换成单极信号再)发送。储能电路累加差值输出。如果帧间差值小于阈值，可以标记为复制帧，加以舍弃。如果不是，进行数字化，然后发送给计算机。

在本发明中，我们使用数字复制帧检测器。通过计算前一帧与当前帧的差值平方和(SSD)，进行比较。或者，也可使用绝对差值和(SAD)。也可选择自适应选择帧的取舍阈值。阈值随X射线机的不同而不同。即使是相同的X射线机，在不同时间点，阈值也会不同。根据阈值取舍帧是一个两分类问题。为了实现目的，可使用任何两类分类器。在本发明中，我们利用SSD或SAD直方图通常为双模态直方图这样现象。一种模式对应于一组初始帧。另一种模式对应于一组复制帧。选择的阈值将类内方差和类间方差的比值减至最低。

进行实验时，以每秒60帧的速度显示每秒具有15帧的录像。图19显示了将显示装置的模拟录像输出进行数字化后计算的平均SSD值变化的曲线1900。从图19还可以看出，每隔4个帧，SSD值具有局部极大值。图20显示了2种模式之间SSD有明显差距的双模直方图2000。

在所提出系统的实现中，发送复制帧检测后的录像作为硬件捕捉箱的输出。如图18的输出编号7所示。

另一方面，更容易搭接生命特征。例如，输出的ECG通常来自拾音插座连接器。然后，采用适当的模数转换器将该信号转换成数字格式，然后发送给处理系统。

选择感兴趣的自动帧和区域

在处理实况图像时，并不是所有的帧都有用。使用有效的数据选择算法可以自动选择感兴趣图像和区域。和DICOM图像不同的是，实况数据的内部通常嵌有数个标签。例如，图21显示了从心脏介入导管实验室获取的典型实况数据2100。使用基于强度的感兴趣区域选择方法来选择合适的区域，做进一步处理。

同样，在介入期间，不需要在所有时间点都开启医学成像装置。事实上，在心脏介入期间，使用C型臂X射线机仅能间歇地开启照射功能。在这种情况下，实况连接器的输出要么是空白图像，要么是高噪声图像。帧自动选择算法能使软件为做进一步分析在传入帧的处理之间进行自动切换，或者不做任何处理而将帧丢弃。

腔内装置的跟踪包括所图18所提到的初始化、导丝检测和不透射线标记检测，并且也已经在上文包含的众多共有专利及专利申请中公开。

自动QCA

自动QCA是自动获取内腔直径的近似估算的过程。在将不透射线染料注入到血管中时进行该项工作。这类染料可以使整个血管在短时间内发亮。自动QCA算法主要包括：通过图像分析来检测染料注入的准确时间，选择感兴趣血管完全变亮时所对应的帧，找到血管骨架(包括所有主要分支)，然后测量骨架任意一侧的血管尺寸，从而估算出直径大小，以像素为单位。了解动脉不同位置中标记之间的距离有助于将直径的单位从像素转换为毫米。

染料注入的检测

注入的染料通常会通过引导导管尖端进入感兴趣血管。利用算法自动跟踪尖端时，如果未检测到已存在的染料，引导导管检测可能会产生完全意外的结果。图30中的图像3000显示了心脏介入期间注入到动脉中的染料。可以看出，在染料注入后，引导导管尖端内的特征图案会完全消失，如图3002所示。

为了通过图像分析检测染料是否已注入，选择引导导管尖端周围的区域，并连续监控该区域内平均灰度强度值的骤降情况。对于发亮的大型管状结构，一旦检测到平均灰度强度值下降的情况，通过计算同一区域周围的管状可能性度量值进行确认。区域周围存在的管状可能性高度量值可用作检测染料的一种确认手段。

引导导管尖端同样为发亮血管的分段提供了一个良好的起点。在文献中，存在着各种复杂的种子点选择算法。通过跟踪引导导管尖端，对染料注入的自动检测以及发亮血管的自动分段成为可能。理论上，被检测的导丝、不透射线标记、被检测的病变或者在感兴趣血管内检测到的任何明显结构，都可以作为血管自动分段或染料注入自动检测的种子点。通过把传感器连接到用于抽入流体的器械上，也可以实现自动检测。此类传感器可以通过传输相关的信号来表明染料已经注入。依据此类信号的传输时间，并通过其与接收到的录像帧时间戳的比较，可以完成对染料的检测。

血管路径的骨架

一旦注入染料，动脉路径的骨架化可以用多种方式来完成。区域增长、分水线分段和形态运算，以及基于血管度量的分段和中轴变换，都是可以应用的一些算法。在本发明中，我们使用血管度量来进一步加强由染料突出显示的区域。使用简单的基于阈值的运算将具有高管状值的像素转换为白色，并将其余像素转换为黑色，如图31的相邻图像3100中所示，该图像用于说明血管路径的骨架化。阈值的选择是很重要的一个步骤，让我们能够选择感兴趣区域，做进一步处理。我们使用自适应阈值选择策略。接着进行连接组件标记一起能够选出最大的白色像素区域，并在引导导管尖端附近连接该区域。中轴变换提供了具有单一像素宽度的血管路径的输出。此类操作也使得各分支(若有的话)变亮。通过分析被检测的骨架中各点的邻近区域来检测明显较大分支的分离位置处的任何一点。各分支的位置为输出编号4，如图18所示，并且将其作为解剖标志，用于补偿引导导管的明显移动。

静止帧的选择

动脉变亮的地方存在着多个帧。在感兴趣的动脉大部分位置变亮的地方，选择合适的帧是很重要的，这是因为对自动QCA的进一步处理将在选择的图像中完成。所选择的静止帧代表该特定2-D投影中的血管。

在检测到染料的地方对所有帧进行骨架化处理。接着将骨架上的一点作为引导导管尖端最可能的位置。沿着被检测路径，计算骨架中所有的点相对于所估算的引导导管尖端的距离。沿着导丝(如果存在)等腔内装置的方向，将距离引导导管尖端最远的一点作为端点，并记录其对应距离。对所有的帧进行这样的度量值计算。选择度量值最大的帧，作为代表帧。如果不存在明显的最大值，则选择多个这样的帧。如图18的输出编号6所示。

血管直径的测量

在被检测的骨架的任一侧，画一条法线(垂直于该位置处的切线方向)。沿着法线方向，计算灰度强度值的导数。选择骨架任一侧导数值高的点，作为血管边界的“可能”候选点。对于骨架中的单个点，在轮廓线的任一侧选择多个“可能”点。接着使用联合优化算法，使被检测边界的轮廓线通过可能性最大的点，同时不破坏轮廓线的连续性。或者，仅将可能性最大的点作为边界点，并且将2-D光滑曲线拟合算法应用到被检测的边界上，从而使被检测的轮廓线上不出现“突然”的意外变化。这样做的目的是除去分段过程中的异常值。

在正常的用例场景中，注入的染料在血管内逐渐扩展。在X光照片中，越来越多的血管部位逐渐变亮。在这种情况下，该录像的不同帧中的几个血管部位会变亮。在同一帧中，并不要求整个血管变亮。在这种情况下，可以简单地将上述联合优化算法拓展到多个帧。如果多个帧中动脉的相似部分变亮，那么联合优化和估算将会增强直径估算的坚固性。可以使用前面所讨论的基于解剖标志和点的对应算法来检测动脉的相似部分。如图32内说明自动QCA算法的方框图3200所示。

骨架中法线方向上某一特定点的2个对应点之间的距离将给出血管的直径。沿法线任意一侧的半径差值提供了骨架任意一侧的半径异常变小的情况。反过来可能有助于检测哪一侧存在病变。如果可能的话，可以使用血管方向上不同地方的标记位置，将自动QCA结果的单位从像素转换为毫米。如果这些标记位置不存在，可以将引导导管尖端的直径仅作为转换的参考。血管的QCA结果仅作为直径的近似估算，因为其在单一2-D投影上适用。对于任何内腔直径估算算法，例如OCT、IVUS和此处说明的算法，都可以作为一个良好的起点。如图18的输出编号1所示。

在与血管的线性化视图配准时，内腔直径估算将向我们提供血管纵向上的病变位置。但是，单独用直径来表示偏态病变有时候会引起误解。沿内腔方向进行左右半径的估算，有助于精确直观地表示配准后的内腔横截面积/直径数据。或者，通过线性化技术生成的线性标尺可以在图像上与精确描绘的血管配准，共同表示QCA和线性化视图。

如果在多个2-D投影中计算自动QCA，可以与血管内腔轨迹的3-D重构相结合(如文中所述)。两者的结合还有助于创建血管的动态视图。并且在无需解决3-D重构的模糊性的情况下，对动态数据进行计算(如文中所述)。如图18的输出编号3所示，同时如图33中说明动态视图生成算法的方框图3300所示。可以使用3-D重构和内腔直径信息来更好地对血管进行直观表示，并作为介入期间的诊断工具。

除了自动QCA之外，染料的注入还有助于自动检测引导导管尖端(如文中所述)。因为线性化期间的所有后续步骤几乎都需要对引导导管尖端进行检测，无论C型臂X射线机的角度何时发生变化，射线照相流体的注入都很有用。如果这对于介入手术医生开销太大，可以在放置支架之前，仅在最后的视图中注入染料(在放置导丝等腔内装置之后)。这可以使算法无缝地转到“引导”模式，如文中所述。

病变描绘器

病变描绘器是沿生成的线性化映射的点，对应于显示病变的图像中与医疗相关的位置。A和B点(如图16中所示)分别表示病变的近端和远端。在与内腔直径测量配准时，线性化视图能够自动进行检测。但是在介入期间，由介入手术医生判断后决定交互式选择这些点。M点是配准图上的一点，对应于内腔直径最小处的点。R点是配准图上的一点，直径可以作为选择合适的支架直径的一个参考。A和B点之间的距离还有助于选择合适的支架长度。点A、B、M和R统称为病变描绘器。如图18的输出编号2所示。

血管顺应性和弯曲度

在整个过程中对腔内装置进行跟踪，并且对考虑中的血管骨架及其主要分支进行检测，这些都有助于量化血管的各种生物特性。不同心跳阶段内动脉的移动程度使我们对血管顺应性有了合理的了解。在多个帧中对齐引导导管尖端和导丝尖端的位置，能使我们比较不同位置处的血管移动程度。通过计算被检测血管/腔内装置中所有的点的平均位置(在两端处对齐之后)，算出“平均”血管。对于心跳的每个阶段，计算血管路径(在两端处对齐之后)相对于“平均”血管的最大偏差。最大偏差和血管顺应性度量值成反比关系。血管顺应性能提供不同心跳阶段内血管线性化表示的有效程度。

血管的弯曲度能提供血管内的迂回曲折情况。弯曲度越严重，插入导丝等腔内装置的困难就越大。此外，分支的弯曲度程度总是大于其父分支的弯曲度程度。弯曲度是指与“平均”血管方向上的突变成正比的度量值。

图34的方框图3400中显示了总结的示例，图34示出了本文描述的涉及操作的分析模式的各种算法。

Claims (54)

1.一种用于从体腔的多个二维图像产生线性映射的方法，包括：

将具有一个或多个标记的细长器械定位在待映射的所述体腔内；

对所述体腔内的所述细长器械和沿着所述细长器械的所述一个或多个标记进行成像；

跨多个成像的帧跟踪所述一个或多个标记；

在所述多个成像的帧之间对沿着所述细长器械的预定的参考点进行匹配；以及，

从所述多个成像的帧创建所述体腔的线性映射。

2.根据权利要求1所述的方法，还包括在对所述细长器械以及所述一个或多个标记成像之后，针对所述多个成像的帧中的所述细长器械的每个像素增强图像。

3.根据权利要求1所述的方法，其中，对所述细长器械成像包括在成像时移动所述细长器械穿过所述体腔。

4.根据权利要求1所述的方法，其中，所述一个或多个标记包括任何单帧中的感兴趣的区域的子集。

5.根据权利要求1所述的方法，还包括对由所述体腔移动引起的所述一个或多个标记的运动进行补偿。

6.根据权利要求1所述的方法，其中，对所述一个或多个标记进行跟踪还包括跨所述多个成像的帧对所述细长器械进行检测和跟踪。

7.根据权利要求1所述的方法，其中，所述细长器械包括导丝或导管。

8.根据权利要求1所述的方法，其中，所述一个或多个标记包括电极和/或不透射线标记。

9.根据权利要求1所述的方法，其中，所述多个标记以已知距离彼此隔开。

10.根据权利要求1所述的方法，还包括在成像期间将染料注入所述体腔。

11.根据权利要求10所述的方法，其中，将染料注入所述体腔包括自动检测所述体腔内的所述染料。

12.根据权利要求1所述的方法，还包括将沿着所述线性映射的一个或多个位置与一个或多个相应的标志进行共同配准。

13.根据权利要求12所述的方法，其中，所述一个或多个标志包括解剖标志、所述细长器械的各部分的已知位置以及几何标志中的任何一种。

14.根据权利要求13所述的方法，其中，根据显示了被注入的染料的图像来确定所述解剖标志。

15.根据权利要求1所述的方法，其中，跟踪还包括相对于所述成像的帧对所述细长器械上的解剖动作的影响进行补偿。

16.根据权利要求15所述的方法，其中，补偿包括对所述细长器械的长度进行分段使得所述细长器械的子集被使用。

17.根据权利要求1所述的方法，其中，跟踪包括识别所述细长器械的可见端点中的至少一个可见端点。

18.根据权利要求17所述的方法，其中，识别端点包括识别所述细长器械的远尖端和引导导管尖端中的至少一个。

19.根据权利要求1所述的方法，其中，匹配预定的参考点包括将来自所述多个成像的帧中的每个成像的帧的所述参考点对准以相重。

20.根据权利要求1所述的方法，其中，匹配还包括确定来自所述成像的帧中的每个成像的帧的邻近的标记之间的距离。

21.根据权利要求20所述的方法，其中，确定距离包括确定所述邻近的标记之间的像素数。

22.根据权利要求1所述的方法，其中，匹配还包括确定任何两个成像的帧中对应的标记之间的距离。

23.根据权利要求22所述的方法，其中，确定距离包括确定所述任何两个成像的帧中的所述对应的标记之间的像素数。

24.根据权利要求21所述的方法，其中，创建线性映射包括将所述像素数转换成物理距离。

25.根据权利要求1所述的方法，还包括将所述细长器械的位置显示在所述线性映射上。

26.根据权利要求1所述的方法，其中，通过X射线、MR、PET、SPECT、超声波、红外线或内窥镜成像生成所述成像的帧。

27.根据权利要求1所述的方法，还包括产生所述体腔的三维重构。

28.一种用于根据移动的体腔的多个二维图像确定细长器械的平移的方法，包括：

将具有一个或多个标记的细长器械定位在待映射的所述体腔内；

对所述体腔内的所述细长器械和沿着所述细长器械的所述一个或多个标记进行成像；

跨多个成像的帧跟踪所述一个或多个标记；

在所述多个成像的帧之间对沿着所述细长器械的预定的参考点进行匹配；

针对所述体腔的移动对所述细长器械的影响进行补偿；以及

确定所述细长器械和一个或多个标记沿着所述体腔的纵向轴线的平移。

29.根据权利要求28所述的方法，还包括将所述细长器械和一个或多个标记的所述平移叠加在所述体腔的静止图像上。

30.根据权利要求28所述的方法，其中，所述体腔的所述移动是由于受验者的心跳、受验者的呼吸、受验者的移动、相机位置中的变化以及受验者被置于其上的平台的移动的任何组合引起的。

31.根据权利要求28所述的方法，还包括从所述多个成像的帧创建所述体腔的线性映射。

32.根据权利要求31所述的方法，其中叠加平移包括将所述腔内器械和一个或多个标记的平移叠加在所述体腔的静止图像上。

33.根据权利要求28所述的方法，还包括在对所述细长器械以及所述一个或多个标记成像之后，针对所述多个成像的帧中的所述细长器械的每个像素增强图像。

34.根据权利要求28所述的方法，其中，对所述细长器械成像包括当成像时移动所述细长器械穿过所述体腔。

35.根据权利要求28所述的方法，其中，所述一个或多个标记包括任何单帧中的感兴趣的区域的子集。

36.根据权利要求28所述的方法，其中跟踪所述一个或多个标记还包括跨所述多个成像的帧对所述细长器械进行检测和跟踪。

37.根据权利要求28所述的方法，其中，所述细长器械包括导丝或导管。

38.根据权利要求28所述的方法，其中，所述多个标记包括电极和/或不透射线标记。

39.根据权利要求28所述的方法，其中，所述多个标记以已知距离彼此隔开。

40.根据权利要求31所述的方法，还包括将沿着所述线性映射的一个或多个位置与一个或多个对应的标志进行共同配准。

41.根据权利要求28所述的方法，其中，所述一个或多个标志包括解剖标志、所述细长器械的各部分的已知位置以及几何标志中的任何一种。

42.根据权利要求28所述的方法，其中，补偿包括对所述细长器械的长度进行分段使得所述细长器械的子集被使用。

43.根据权利要求28所述的方法，其中，跟踪包括识别所述细长器械的可见端点中的至少一个可见端点。

44.根据权利要求43所述的方法，其中，识别端点包括识别所述细长器械的远尖端和不透射线线圈条中的至少一个。

45.根据权利要求28所述的方法，其中，匹配预定的参考点包括将来自所述多个成像的帧中的每个成像的帧的所述参考点对准以相重。

46.根据权利要求28所述的方法，其中，匹配还包括确定来自所述成像的帧中的每个成像的帧的邻近的标记之间的距离。

47.根据权利要求46所述的方法，其中，确定距离包括确定所述邻近的标记之间的像素数。

48.根据权利要求28所述的方法，其中，匹配还包括确定任何两个成像的帧中的对应的标记之间的距离。

49.根据权利要求48所述的方法，其中，确定距离包括确定任何两个运动补偿的成像的帧中的所述对应标记之间的像素数。

50.根据权利要求28所述的方法，还包括将所述细长器械的位置显示在所述线性映射上。

51.根据权利要求28所述的方法，其中，通过X射线、MR、PET、SPECT、超声波、红外线或内窥镜成像来生成所述成像的帧。

52.根据权利要求28所述的方法，还包括在成像期间将染料注入所述体腔。

53.根据权利要求52所述的方法，其中，将染料注入所述体腔包括自动检测所述体腔内的所述染料。

54.根据权利要求28所述的方法，还包括生成所述体腔的三维重构。