CN111699515B - 用于成像设备的姿态估计以及用于确定医疗设备相对于目标的位置的系统和方法 - Google Patents

Abstract

用于从通过荧光镜成像设备获取的二维荧光镜图像构建在患者体内目标区域的基于荧光镜的三维体数据的系统和方法。

Description

用于成像设备的姿态估计以及用于确定医疗设备相对于目标 的位置的系统和方法

背景技术

本公开涉及成像领域，并且尤其涉及成像设备的姿态估计以及身体器官的三维成像。

对于各种应用，包括不同的成像样式之间的配准或增强现实的生成，可能需要或使用诸如照相机或荧光镜设备之类的成像设备的姿态估计。成像设备的姿态估计的一种已知用途是从处于不同姿态下的由成像设备捕获的一组二维图像构建三维体积。这种三维构造在医学领域中普遍使用并且具有重大影响。

存在几种常用的医学方法，例如内窥镜检查程序或微创程序，用于治疗各种影响器官的疾病，包括肝、脑、心脏、肺、胆囊、肾和骨骼。通常，临床医生采用一种或多种成像样式，例如磁共振成像、超声成像、计算机断层扫描(CT)、荧光检查以及其它成像样式，以识别和导航到患者内的感兴趣区域并且最终到达目标进行治疗。在一些程序中，手术前扫描可以用于目标识别和手术中引导。然而，通常可能需要实时成像以获得目标区域的更准确和当前的图像。此外，可能需要显示医疗设备相对于目标以及其周围的当前位置的实时图像数据，以更安全和准确的方式将医疗设备导航至目标(例如对其它组织和器官没有不必要的损害或没有损害)。

发明内容

根据本公开的一个方面，提供了一种用于根据经由荧光镜成像设备获取的二维荧光镜图像来构建患者体内目标区域的基于荧光镜的三维体数据的系统。该系统包括标记结构和计算设备。该目标区域和标记结构的图像序列是通过荧光镜成像设备获得的。该计算设备被配置为基于对标记结构整体上在多个图像的每个图像上的可能和最可能的投影的检测，估计图像序列的多个图像的荧光镜成像设备的姿态，并根据荧光镜成像设备的估计姿态构建该目标区域的基于荧光镜的三维体数据。

在一方面，该计算设备还被配置为促进医疗设备接近目标区域，其中，在获取图像序列之前，将医疗设备定位在目标区域中，并根据基于荧光镜的三维体数据确定医疗设备与目标之间的偏移。

一方面，该系统还包括定位系统，其指示医疗设备在患者体内的位置。另外，该计算设备可以进一步被配置为显示目标区域和医疗设备相对于目标的位置，促进经由定位系统和显示器将医疗设备导航到目标区域，并基于所确定的医疗设备与目标之间的偏移校正医疗设备相对于目标的位置的显示。

在一方面，该计算设备还被配置为在显示器上显示目标区域的3D渲染，并将定位系统配准到3D渲染，其中，校正医疗设备相对于目标的位置的显示包括更新定位系统和3D渲染之间的配准。

在一方面，该定位系统是电磁定位系统。

在一方面，该目标区域包括肺的至少一部分，并且该医疗设备可通过腔网络的气道导航到目标区域。

在一方面，该标记结构是周期性图案或二维图案中的至少一个。该目标区域可以包括肺的至少一部分，并且目标可以是软组织目标。

在本公开的又一方面，提供一种用于从通过荧光镜成像设备获取的目标区域和标记结构的二维(2D)荧光镜图像的序列在患者内构建目标区域的基于荧光镜的三维体数据的方法。该标记结构位于患者和荧光镜成像设备之间。该方法包括使用至少一个硬件处理器用于基于标记结构整体在多个图像的每个图像上的可能的和最可能的投影的检测，至少针对二维荧光镜图像的序列的多个图像，估计荧光镜成像设备的姿态，并且基于估计的荧光镜成像设备的姿态，构建目标区域的基于荧光镜的三维体数据。

在一方面，在获取图像的序列之前将医疗设备定位在目标区域中，并且其中该方法还包括使用所述至少一个硬件处理器根据基于荧光镜的三维体数据来确定医疗设备与目标之间的偏移。

在一个方面，该方法还包括经由指示医疗设备的位置的定位系统和经由显示器，促进将医疗设备导航到目标区域，以及基于所确定的医疗设备与目标之间的偏移，校正医疗设备相对于目标的位置的显示。

在一方面，该方法还包括在显示器上显示目标区域的3D渲染，以及将定位系统配准到3D渲染，其中，医疗设备相对于目标的位置的校正包括更新定位系统与3D渲染的配准。

在一方面，该方法进一步包括使用至少一个硬件处理器基于先前获取的目标区域的CT体数据来生成目标区域的3D渲染。

在一方面，该目标区域包括肺的至少一部分并且该医疗设备可通过腔网络的气道导航到目标区域。

在一方面，该标记结构是周期性图案或二维图案中的至少一个。该目标区域可以包括肺的至少一部分并且目标可以是软组织目标。

在本公开的又一方面，提供一种系统，该系统用于从经由荧光镜成像设备获取的二维荧光镜图像构建患者体内目标区域的基于荧光镜的三维体数据。该系统包括计算设备，其被配置为基于对标记结构整体在多个图像的每个图像上的可能和最可能的投影的检测，估计图像序列的多个图像的荧光镜成像设备的姿态，并根据荧光镜成像设备的估计姿态构建目标区域的基于荧光镜的三维体数据。

在一方面，该计算设备还被配置为促进医疗设备接近目标区域，其中在获取图像序列之前将医疗设备定位在目标区域中，并根据基于荧光镜的三维体数据来确定医疗设备和目标之间的偏移。

在一方面，该计算设备还被配置为显示目标区域和医疗设备相对于目标的位置，经由定位系统和显示器促进将医疗设备导航到目标区域，并基于所确定的医疗设备与目标之间的偏移校正医疗设备相对于目标的位置的显示。

在一方面，该计算设备还被配置为在显示器上显示目标区域的3D渲染，并将定位系统配准到3D渲染，其中，校正医疗设备相对于目标的位置的显示包括更新定位系统和3D渲染之间的配准。

附图说明

在附图中示出了各种示范性实施例，目的在于这些实例不是限制性的。应理解的是，为了说明的简单和清楚，以下参考的附图中所示的元件不一定按比例绘制。此外，在认为适当的情况下，可以在附图中重复附图标记以指示相似、对应或类似的元件。这些附图在下面列出。

图1是根据本公开的一个方面的利用标记结构估计成像设备的姿态的方法的流程图；

图2A是根据本公开的一个方面的被配置为与图1的方法一起使用的系统的示意图；

图2B是根据本公开的一个方面的球形标记的二维网格结构的示意说明；

图3示出了由Kyoto Kagaku的多用途胸部幻影N1“LUNGMAN”的人造胸部体积的荧光镜设备捕获的、放置在图2B的不透射线标记的网格结构上的示例性图像；

图4是根据本公开的一个方面的为图3的图像生成的概率图；

图5A-5C示出了图2B的球形标记的二维网格结构在覆盖在图4的概率图上的图3图像上的投影的不同的示例性候选；

图6A示出了根据公开的一个方面的图2B的球形标记的二维网格结构在覆盖在图4的概率图上的图3图像上投影的选定候选；

图6B示出了根据本公开的一个方面的图2B的球形标记的二维网格结构在覆盖在图4的概率图上的图3图像上的投影的改进候选；

图6C示出了根据本公开的一个方面的用于图2B的球形标记的二维网格结构在覆盖在图4的概率图上的图3的图像300上的投影的进一步改进候选；

图7是根据本公开的一个方面的用于构建荧光镜三维体数据的示例性方法的流程图；和

图8是根据本公开的用于构建基于荧光镜的三维体数据的示例性系统的一个说明性实施例的视图。

具体实施方式

用于姿态估计的现有技术方法和系统可能不适用于实时使用、不准确或不稳健。因此，需要一种方法和系统，其提供相对快速、准确和稳健的姿态估计，特别是在医学成像领域。

为了将医疗设备导航到例如用于活检或治疗的远程目标，医疗设备和目标都应在某种三维引导系统中可见。当目标是小的软组织物体，例如肿瘤或病变时，需要进行X射线体积重建以便能够识别它。存在几种提供三维体积重建的解决方案，如CT和锥束CT，它们在医学领域得到了广泛使用。这些机器在算法上将来自已知的、经校准的X射线源位置的多个X射线投影组合到三维体积中，其中尤其是软组织可见。例如，CT机可以在程序期间与迭代扫描一起使用以提供通过身体的引导直到工具到达目标。这是一个繁琐的过程，因为它需要几次完整的CT扫描、专用的CT室以及两次扫描之间的盲目导航。另外，每次扫描需要工作人员由于高水平的电离辐射而离开房间，并且将患者暴露于此类辐射。另一选项是锥束CT机器，它可在某些手术室中使用，并且操作起来更容易一些，但价格昂贵，并且类似CT只在两次扫描之间提供盲目导航一样，需要多次迭代进行导航，并且需要工作人员离开房间。另外，基于CT的成像系统非常昂贵，并且在许多情况下在与执行手术的位置相同的位置时不可用。

在导航程序中，荧光镜成像设备通常位于手术室中。临床医生可以使用标准的荧光镜成像设备，例如，以在医疗设备已经被导航到期望位置之后可视化并且确认其布置。然而，尽管标准的荧光镜图像显示例如金属工具和骨骼的高密度物体以及例如心脏的大的软组织物体，但是荧光镜图像难以分辨例如损伤的感兴趣的小的软组织物体。此外，荧光镜图像只是二维投影，而为了在体内准确且安全地导航，需要体成像或三维成像。

已经证明内窥镜检查方法可用于导航到患者体内的感兴趣区域，并且尤其是例如肺的身体的腔网络内的区域。为了实现肺中的内窥镜检查，并且更具体地支气管镜检查方法，已经开发了支气管内导航系统，其使用先前获取的MRI数据或CT图像数据来生成特定身体部位例如肺的三维渲染或体积。

然后，利用从MRI扫描或CT扫描生成的所得体积来创建导航计划，以便于导航导管(或其它合适的医疗设备)通过支气管镜和患者的支气管的分支前进到感兴趣的区域。定位系统，例如电磁跟踪系统，可以与CT数据结合使用，以便于引导导航导管通过支气管的分支到达感兴趣的区域。在某些情况下，导航导管可以定位在一个分支管腔网络的气道内，该分支管腔网络邻近、或在感兴趣的区域，以为一个或多个医疗仪器提供通路。

作为另一个实例，微创手术，例如腹腔镜手术，包括机器人辅助手术，可以采用术中荧光镜检查来增加可视化，例如用于引导和病变定位，或为了防止损伤和并发症。

因此，需要快速、准确和稳健的三维图像重建，这是根据医疗程序中执行的标准荧光镜成像生成的。

图1示出了根据本公开的一方面的用于通过利用标记结构来估计成像设备的姿态的方法的流程图。在步骤100中，可以为由成像设备捕获的图像生成概率图。该图像包括标记结构的投影。该概率图可以指示图像的每个像素属于标记结构的标记的投影的概率。在一些实施方案中，该标记结构可以是二维图案。在一些实施例中，该标记结构可以是周期性图案，例如网格。该图像可以包括标记结构的至少一部分的投影。

现在参考图2B和图3。图2B是根据本公开的球形标记220的二维(2D)网格结构的示意说明。图3是由Kyoto Kagaku制作的多用途胸影N1“LUNGMAN”人工胸容积的荧光镜设备捕获的示例图像300，其置于图2B的球形标记220的二维网格结构之上。球形标记220的二维网格结构包括布置在二维网格图案中的多个球形标记，如球形标记230a和230b。图像300包括球形标记220的二维网格结构的一部分的投影和导管320的投影。球形标记220的二维网格结构在图像300上的投影包括球形标记的投影，例如球形标记投影310a、310b和310c。

例如，可以通过将图像馈送到简单的标记(blob)检测器中生成概率图，例如哈里斯角检测器，其输出对应于每个像素属于标记的概率的平滑密度的新图像。图4示出了为图3的图像300生成的概率图400。概率图400包括像素或密度，例如密度410a、410b和410c，其相应地对应于标记310a、310b和310c。在一些实施例中，可以缩小概率图(例如，减小尺寸)以便使所需的计算更加简单和有效。应该注意，如图5A-6B所示的概率图400被缩小了四分之一，并且如图6C所示的概率图400被缩小了二分之一。

在步骤110中，可以生成用于标记结构在图像上的投影的不同候选。可以通过将成像设备虚拟地定位在不同的可能姿态的范围内来生成不同的候选。成像设备的“可能的姿态”是指成像设备的三维位置和定向。在一些实施例中，可以根据成像设备的几何结构和/或自由度来限制该范围。对于每个这样的可能姿态，生成标记结构的至少一部分的虚拟投影，就好像成像设备在定位在该姿态时实际上捕获到标记结构的图像一样。

在步骤120，基于图像概率图，可以识别作为标记结构在图像上的投影的最大概率的候选。每个候选，例如标记结构的虚拟投影，可以覆盖或关联到概率图。然后可以确定概率得分，或将其与候选的每个标记投影相关联。在一些实施例中，概率得分可以是正的或负的，例如，如果虚拟标记投影落在低概率的像素内则可能会有代价。然后可以求和候选的所有标记投影的概率得分，并且可以为每个候选确定总概率得分。例如，如果标记结构是二维网格，则投影将具有网格形式。投影网格的每个点将位于概率图的至少一个像素上。如果2D网格候选的点位于最高密度像素上，即其点位于图像上标记中心的投影上，则它将收到最高概率得分。具有最高概率得分的候选可以被确定为具有最高概率成为标记结构在图像上的投影的候选。然后可以基于用于生成所识别的候选的成像设备的虚拟姿态来估计图像的成像设备的姿态。

图5A-5C示出了图2B的球形标记220在覆盖在图4概率图400上的图3图像300上的2D网格结构的投影的不同的示例性候选500a-c。候选500a、500b和500c被表示为加号(“+”)的网格，而每个这样的符号表示标记的投影中心。候选500a、500b和500c是球形标记220的2D网格结构的虚拟投影，就好像用于捕获图像300的荧光镜位于与这些投影相对应关联的三个不同姿态一样。在本例中，生成候选500a，就好像荧光镜位于：位置[0，-50，0]，角度：-20度。生成候选500b就好像荧光镜位于：位置[0，-10，0]，角度：-20度。生成候选500b就好像荧光镜位于：位置[7.5,-40,11.25]，角度：-25度。上述坐标系相对于球形标记220的2D网格结构。概率图400的密度410a在图5A-5C中指示。加号510a、510b和510c相应地是候选500a、500b和500c的标记投影的中心，它们最接近密度410a。可以看到加号510c是最适合密度410a的符号，并且因此相应地将在候选500a、500b和500c的符号510a、510b和510c中获得最高概率得分。还可以看到，候选500c因此将获得最高概率得分，因为其标记投影最适合概率图400。因此，在这三个示例性候选500a、500b和500c中，候选500c将被识别为具有最高概率成为球形标记220的2D网格结构在图像300上的投影的候选。

为了完善上述姿态估计，可以执行其他步骤。在可选步骤130中，可以生成候选的局部变形版本，以便最大化其成为标记结构在图像上的投影的可能性。可以基于图像概率图来生成局部变形版本。可以利用局部搜索算法来使候选者变形以使其最大化得分。例如，在标记结构是2D网格的情况下，可以单独处理每个2D网格点。可以使用梯度上升方法将每个点移向概率图上的相邻局部最大值。

在可选步骤140中，可以基于候选的局部变形版本来检测用于标记结构在图像上的投影的改进候选。确定改进的候选，以使其适合(完全或近似)该候选的局部变形版本。可以通过识别将新候选适合于局部变形版本的变换来确定这种改进的候选，例如，通过使用单应性估计方法。然后可以将与改进的候选相关联的成像设备的虚拟姿态确定为成像设备对于图像的估计姿态。

在一些实施例中，可以迭代地重复候选的局部变形版本的生成和改进的候选的确定。可以迭代地重复这些步骤直到该过程收敛到图像上标记结构的特定虚拟投影为止，可以将其确定为改进的候选。因此，由于标记结构整体上收敛，避免了错误的局部最大值。在一方面，作为使用候选列表并找到用于估计相机姿态的最佳候选的替代，可以通过求解将3D空间中的2D基准结构转换为与从成像设备输出生成的基准概率图相匹配的图像坐标的单应性来估计相机姿态。

图6A示出了用于图2B的球形标记220的2D网格结构在覆盖在图4的概率图400上的图3的图像300上的投影的所选候选600a。图6B示出了改进的候选600B，用于将图2B的球形标记220的2D网格结构在覆盖在图4的概率图400上的图3的图像300上的投影。图6C示出了用于图2B的球形标记220的2D网格结构在覆盖在图4概率图400上的图3图像300上的投影的进一步改进的候选600c。如上所述，所识别或选择的候选是候选500c，其现在指示为600a。候选600b是改进的候选，其是基于根据以上公开的方法的候选600a的局部变形版本生成的。相对于候选600b，候选600c是进一步改进的候选，它是通过迭代重复使生成的候选局部变形并确定近似值以使候选概率最大化的过程而生成的。图6C示出了基于更高分辨率概率图的细化候选的结果。在一方面，这是在使用概率图的下采样版本完成细化步骤之后完成的。加号610a、610b和610c相应地是候选600a、600b和600c的标记投影的中心，其最接近概率图400的密度410a。可以看到的是，根据概率图400，球形标记220的2D网格结构在图像300上的投影的候选如何收敛到最高概率的候选。

在一些实施例中，成像设备可以被配置为捕获图像序列。通过以特定角度连续扫掠成像设备，可以自动或手动地捕获一系列图像。当需要图像序列的姿态估计时，通过减小成像设备可能的虚拟姿态的范围或面积，估计过程可以变得更加高效。然后可以确定图像序列的多个非序列图像。例如，序列中的第一个图像、最后图像以及中间的一个或多个图像。可以确定其间的一个或多个图像，以使得该序列被分成相等的图像部分。在第一阶段，可以仅针对所确定的非顺序图像来估计成像设备的姿态。在第二阶段，可以减小用于虚拟定位成像设备的可能的不同姿态的面积或范围。可以基于用于确定的非顺序图像的成像设备的估计姿态来执行该减小。然后可以根据减小的面积或范围来估计其余图像的成像设备的姿态。例如，在第一阶段确定用于序列的第一图像和第十图像的成像设备的姿态。用于第二至第九图像的成像设备的姿态必须沿着其在第一图像的姿态与第十图像的姿态之间的可行且连续的路径，依此类推。

在一些实施例中，成像设备的几何参数可以是预先已知的或预定的，例如源的视野、高度范围、旋转角度范围等，包括设备的自由度(例如，允许独立运动)。在一些实施例中，可以在为捕获的图像估计成像设备的姿态的同时实时确定成像设备的这种几何参数。这样的信息也可以用于减小可能的姿态的面积或范围。在一些实施例中，可以指示实践所公开的内容的用户限制成像设备的运动为图像序列的特定自由度或特定运动范围。当确定成像设备可能的姿势时，也可以考虑这样的限制，并且因此可以用于使成像设备姿态估计更快。

在一些实施例中，可以将图像预处理方法首先应用于一个或多个图像，以便校正失真和/或增强图像上标记结构的投影的可视化。例如，在成像设备是荧光镜的情况下，可以执行“枕形”失真的校正，其会使图像稍微扭曲。通过使用多项式曲面对该扭曲建模并应用将抵消该枕形效应的兼容的扭曲来可以自动解决这种失真。如果使用金属球的网格，则可以反转该图像以增强标记的投影。另外，可以使用具有等于例如球直径的一半的西格玛值的高斯滤波器来模糊图像，以便于如上所述的候选的搜索和评估。

在一些实施例中，可以对成像设备的一个或多个模型进行校准以生成诸如数据文件之类的校准数据，其可以用于自动校准特定的成像设备。该校准数据可以包括参考几何校准和/或失真校准的数据，如上所述。在一些实施例中，该几何校准可以基于成像设备制造商提供的数据。在一些实施例中，可以针对特定成像设备执行手动失真校准。在一方面，由于枕形失真可能由于成像设备的维护或者甚至由于时间的变化而改变，因此在每个过程期间成像设备失真校正可以作为预处理步骤被校准。

图2A示出了根据本公开的一个方面的被配置为与图1的方法一起使用的系统200的示意图。系统200可以包括工作站80、成像设备215和标记结构218的结构。在一些实施例中，工作站80可以例如通过无线通信直接或间接地与成像设备215耦接。工作站80可以包括存储器202、处理器204、显示器206和输入设备210。处理器或硬件处理器204可以包括一个或多个硬件处理器。工作站80可以任选地包括输出模块212和网络接口208。存储器202可以存储应用程序81和图像数据214。应用程序81可包括可由处理器204执行的指令，尤其是用于执行图1的方法，和用户界面216。工作站80可以是例如个人计算机的固定计算设备或例如平板计算机的便携式计算设备。工作站80可以嵌入多个计算机设备。

存储器202可以包括用于存储数据和/或软件的任何非暂时性计算机可读存储介质，所述数据和/或软件包括可由处理器204执行并且控制工作站80的操作并且在一些实施例中还可以控制成像设备215的操作的指令。在实施例中，存储器202可以包含一个或多个固态存储设备，诸如闪存芯片。替代地，或除了一个或多个固态存储设备之外，存储器202可以包括通过大容量存储控制器(未展示)和通信总线(未展示)连接到处理器204的一个或多个大容量存储设备。尽管在本文中所含的计算机可读介质的描述指的是固态存储器，但是本领域技术人员应理解的是，计算机可读存储介质可以是可由处理器204访问的任何可用介质。即，计算机可读存储介质可包含以用于存储信息，诸如计算机可读指令、数据结构、程序模块或其它数据等的任何方法或技术实现的非暂时性、易失性和非易失性、可移动和不可移动介质。例如，计算机可读存储介质可以包括RAM、ROM、EPROM、EEPROM、闪存或其它固态存储器技术、CD-ROM、DVD、蓝光或其它光学存储、磁带盒、磁带、磁盘存储或其它磁存储设备或可以用于存储所需信息并且可以由工作站80访问的任何其它介质。

在由处理器204执行时，应用程序81可以使显示器206呈现用户界面216。网络界面208可以被配置为连接到诸如局域网(LAN)的网络，其由有线网络和/或无线网络、广域网(WAN)、无线移动网络、蓝牙网络和/或因特网组成。网络接口208可以用于连接工作站80和成像设备215。网络接口208还可以用于接收图像数据214。输入设备210可以是用户可以通过其与工作站80交互的任何设备，例如鼠标、键盘、脚踏板、触摸屏和/或语音接口。输出模块212可以包含任何连接端口或总线，例如并行端口、串行端口、通用串行总线(USB)或本领域技术人员已知的任何其它类似连接端口。

成像设备215可以是捕获2D图像的任何成像设备，例如标准的荧光镜成像设备或照相机。在一些实施例中，标记结构218可以是具有二维图案的标记结构，诸如具有宽度和长度的两个维度的网格(例如，2D网格)，如图2B所示。与3D图案相反，使用2D图案可以促进姿态估计过程。此外，例如，当需要患者躺在标记结构218上以便在扫描患者时估计医学成像设备的姿态时，2D图案对于患者而言将更加方便。标记应形成为在使用的成像样式中可见。例如，如果成像设备是荧光镜设备，则标记应由至少部分不透射线的材料制成。在一些实施例中，标记的形状可以是对称的，并且使得标记在图像上的投影在可以放置成像设备的任何姿态下都是相同的。这样的配置可以简化和增强姿态估计过程和/或使其更有效。例如，当成像设备围绕标记结构旋转时，具有旋转对称性的标记，例如球形，可能是优选的。标记结构的尺寸和/或结构中标记的数量可以根据所公开的系统和方法的特定用途来确定。例如，如果姿态估计被用于构建患者体内感兴趣区域的3D体积，则标记结构的大小可以类似于或大于感兴趣区域的大小。在一些实施例中，标记结构218的图案可以是二维和/或周期性的，例如2D网格。使用标记的周期性的和/或二维的图案结构可以进一步增强和促进姿态估计过程并使之更有效。

现在参考图2B，球形标记220的2D网格结构具有网格的2D周期性图案并且包括球形的对称标记。如图1所示，这种配置简化并增强了姿态估计过程，特别是在生成标记结构投影的虚拟候选时以及确定最佳候选时。作为基准，标记的结构应在捕获一个或多个图像期间以固定的方式定位。在如上所述的用于肺区域的医学成像的球形标记的示例性2D网格结构中，球形标记的直径可以是2±0.2mm，并且球之间的距离可以是约15±0.15mm各向同性。

现在回到图2A，成像设备215可以捕获一个或多个图像(即，图像序列)，使得在每个图像中示出至少标记结构218的一部分的投影。然后，可以将成像设备215捕获的图像或图像序列作为图像数据214存储在存储器202中。该图像数据然后可以由处理器204处理并根据图1的方法确定成像设备215的姿态。然后可以经由输出模块212、显示器206和/或网络接口208输出姿态估计数据。标记结构218可以相对于感兴趣区域定位，诸如在经过荧光镜扫描的患者体内的感兴趣区域下方。然后将定位标记结构218和患者，使得由成像设备215捕获的一个或多个图像将捕获感兴趣区域和标记结构218的一部分。如果需要，一旦姿态估计过程完成，就可通过使用众所周知的方法来去除标记结构218在图像上的投影。在Alexandroni等人的2019年1月28日提交的标题为“图像重建系统和方法”的共同拥有的美国专利申请第16/259,612号中描述了一种这类方法，其全部内容在此通过引入的方式并入。

图7是根据本公开的用于构建荧光镜三维体数据的示例性方法的流程图。因此，公开了一种用于从二维荧光镜图像构建患者体内目标区域的基于荧光镜的三维体数据的方法。在步骤700中，经由荧光镜成像设备获取目标区域和标记结构的图像序列。该标记的结构可以是相对于图1、2A和2B描述的二维标记结构。该标记结构可以位于患者和荧光镜成像设备之间。在一些实施例中，目标区域可以包括例如至少一部分肺，并且相对于图8的系统例示。在一些实施例中，目标是软组织目标，例如在肺、肾、肝等中。

在步骤710中，可以估计图像序列的至少多个图像的荧光镜成像设备的姿态。姿态估计可以基于检测到标记结构整体在多个图像的每个图像上的可能和最可能的投影来执行，并如关于图1所描述的。

在一些实施例中，可以使用其他方法来估计荧光镜设备的姿态。有多种已知的方法用于确定成像设备的姿态，例如外部角度测量设备或基于图像分析。这些设备和方法中的一些在共同拥有的美国专利公开号2017/0035379中特别地描述，其由Weingarten等人于2016年8月1日提交，其全部内容通过引用合并于此。

在步骤720中，可以基于荧光镜成像设备的估计姿态来构建目标区域的基于荧光镜的三维体数据。在以上共同拥有的美国专利公开2017/0035379中公开了用于构建这种基于荧光镜的三维体数据的示例性系统和方法，其以引用方式并入本文。

在可选步骤730中，可以在获取图像序列之前将医疗设备定位在目标区域中。因此，除了目标之外，图像序列以及因此基于荧光镜的三维体数据还可能包括医疗设备的投影。然后，可以根据基于荧光镜的三维体数据确定医疗设备与目标之间的偏移(即x、y和z)。在生成的三维体数据中，目标可能可见或更好地展示。因此，用户可以在三维体数据中自动或手动检测目标。用户可以自动地或手动地在所捕获的图像序列中或在生成的三维体数据中检测医疗设备。可以基于本领域中已知的系统和方法来执行目标和/或医疗设备的自动检测，例如在由Birenbaum等人于2018年2月8日提交的标题为“在荧光图像中检测导管并更新导管显示位置的系统和方法”的共同拥有的美国专利申请第62/627,911号中的描述。可以通过向用户显示三维体数据和/或捕获的图像并请求他的输入来执行手动检测。一旦在三维体数据和/或捕获的图像中检测到目标和医疗设备，就可以获取它们在荧光镜参考坐标系中的位置，并可以确定它们之间的偏移。

目标和医疗设备之间的偏移可用于多种医疗目的，包括促进医疗设备接近目标区域和进行治疗。可以经由定位系统和显示器来促进医疗设备到目标区域的导航。定位系统穿过患者的身体定位或跟踪医疗设备的运动。该显示器可以相对于患者体内和目标内的医疗设备的周围向用户显示医疗设备的位置。该定位系统可以是例如电磁或光学定位系统，或本领域中已知的任何其他这样的系统。例如，当目标区域包括肺的一部分时，可以通过气管腔网络将医疗设备导航到目标区域，如关于图8所述。

在任选的步骤740中，可基于医疗设备与目标之间的所确定的偏移量来校正医疗设备相对于目标的位置的显示。在一些实施例中，可以在显示器上显示目标区域的3D渲染。可以基于目标区域的CT体数据来生成目标区域的3D渲染，CT体数据例如是在当前过程或手术之前(例如术前CT)获得的。在一些实施例中，该定位系统可以被配准到目标的3D渲染，诸如例如相对于下面的图8所描述的。然后，可以通过将定位系统的配准更新至3D渲染来执行医疗设备与目标之间的偏移的校正。通常，为了执行这种更新，应该知道荧光镜图像的参考坐标系与定位系统的参考坐标系之间的变换。标记结构相对于定位系统的几何定位可以确定这种变换。在一些实施例中，并且如图8的实施例所示，该标记结构和定位系统被定位成使得相同的参考坐标系将应用于这两者，或者使得一个将仅是另一个的翻译版本。

在一些实施例中，可以用本地方式和/或以渐进方式将定位系统的配准更新至3D渲染(例如，基于CT的)。例如，可以仅在目标的周围，例如仅在距目标一定距离内更新配准。这是因为如果不围绕目标执行更新，则更新的准确性可能会降低。在一些实施例中，可以用渐进的方式执行更新，例如，通过根据距目标的距离施加权重。除了准确性方面的考虑之外，与显示器上医疗设备位置的突然变化相比，这样的渐进更新对于用户在过程中查看、处理和进行必要的更改可能更方便或更容易。

在一些实施例中，可以指示患者在图像的捕获期间停止呼吸(或使呼吸停止)，以防止目标区域由于呼吸而运动。在其他实施例中，可以执行用于在图像的捕获期间补偿呼吸运动的方法。例如，可以根据放置在目标区域中的基准标记的运动来校正荧光设备的估计姿态。这样的基准可以是放置在目标区域中的医疗设备，例如导管。例如，可以基于定位系统确定导管的运动。在一些实施例中，可以根据位于目标区域中的基准标记例如导管的运动来确定患者的呼吸模式。可以通过定位系统确定运动。基于该图案，在确定成像设备的姿态时，可以仅考虑吸气或呼气的图像。

在实施例中，如上所述，对于每个捕获的帧，基于定位在患者床上的一组静态标记来估计成像设备的三维位置和方向。此过程需要有关体积中标记3D位置以及图像平面中投影的兼容2D坐标的知识。在感兴趣的体积中从不同平面添加一个或多个标记可导致更可靠和准确的姿态估计。可以在这种过程中使用的一种可能的标记是导管尖端(或其他通过导管定位的医疗设备尖端)。该尖端在荧光镜成像捕获的整个视频中可见，并且当工具导航到目标(例如，通过电磁场)时，可由导航或跟踪系统(例如，电磁导航跟踪系统)提供兼容的3D位置。因此，剩下的唯一任务是从视频帧中推断出精确的2D坐标。如上所述，尖端检测步骤的一个实施例可以包括在整个视频中对尖端的全自动检测和跟踪。另一实施例可以实现半监督跟踪，其中用户在一个或多个帧中手动标记尖端，并且检测过程计算其余帧的尖端坐标。

在实施例中，可以通过根据当前帧和先前帧之间的模板匹配来一次求解每个帧、使用光流来估计沿着视频的尖端移动和/或基于模型的跟踪器来实施半监督跟踪过程。基于模型的跟踪器训练检测器以估计每个像素属于导管尖端的概率，随后是将检测组合为沿视频的单个最可能的坐标列表的步骤。基于模型的跟踪器的一种可能的实施例涉及动态编程。这种优化方法可以找到概率最大的接缝(沿着视频帧3D空间的坐标的连接列表-前两个维属于图像平面并且第三个轴是时间)。实现二维坐标接缝的另一种可能方法是训练检测器以估计每个帧中的尖端坐标，同时将正则化合并到相邻帧中检测之间的邻近度损失函数中。

图8示出了根据本公开的用于构建基于荧光镜的三维体数据的示例性系统800。系统800可以被配置为从2D荧光图像构建目标区域的基于荧光镜的三维体数据，该目标区域包括至少患者的肺的一部分。系统800可进一步被配置为通过使用电磁导航支气管镜检查(ENB)来促进医疗设备接近目标区域并且用于确定医疗设备相对于目标的位置。

系统800可被配置为用于检查CT图像数据以识别一个或多个目标、规划到所识别的目标的路径(规划阶段)、通过用户界面将导管组件的扩展工作通道(EWC)812导航到目标(导航阶段)，和确认EWC 812相对于目标的位置。一种此类EMN系统是美敦力公共有限公司目前出售的ELECTROMAGNETIC NAVIGATION 系统。该目标可以是通过在规划阶段期间检查CT图像数据而识别的感兴趣的组织。在导航之后，可将如活检工具或其它工具的医疗设备插入EWC 812中，以从位于目标处或附近的组织获得组织样品。

图8示出了EWC 812，其是导管引导组件840的一部分。在实践中，EWC812插入支气管镜830中以接近患者“P”的管腔网络。具体地，导管导引组件840的EWC 812可插入支气管镜830的工作通道中以导航通过患者的腔网络。包括传感器844的可定位导引器(LG)832插入EWC 812中并锁定到位，使得传感器844超出EWC 812的远侧尖端之外扩展了期望距离。可得出在电磁场内传感器844相对于参考坐标系的位置和定向并因此EWC 812的远侧部分。导管导引组件840目前由美敦力公共有限公司以商品名程序套件或EDGE^TM程序套件进行市场销售和出售，并且被认为可与本公开一起使用。对于导管导引组件840的更详细的描述，参考Ladtkow等人于2013年3月15日提交的共同拥有的美国专利公布第2014/0046315号、美国专利第7,233,820号和美国专利第9,044,254号，其全部内容通过引用方式在此并入。

系统800通常包括被配置为支持患者“P”的手术台820、被配置为通过患者“P”的口插入患者“P”的气道的支气管镜830；耦合到支气管镜830的监视装备835(例如，视频显示器，用于显示从支气管镜830的视频成像系统接收的视频图像)；包括定位模块852的定位系统850、多个参考传感器854和耦合到标记结构856的发射器垫；和计算设备825，其包括软件和/或硬件，用于促进目标的识别、到目标的路径规划、医疗设备到目标的导航和EWC 812或通过其的合适设备相对于目标的放置的确认。计算设备825可类似于图2A的工作站80，并且可被配置为尤其执行图1的方法。

系统800的此特定方面中还包括能够获取患者“P”的荧光镜或X射线图像或视频的荧光镜成像设备810。荧光镜成像设备810捕获的图像、图像序列或视频可存储在荧光镜成像设备810内，或发射到计算设备825以用于存储、处理和显示，如关于图2A所描述的。另外，荧光镜成像设备810可相对于患者“P”移动，使得可相对于患者“P”从不同角度或视角获取图像以创建荧光镜图像的序列，如荧光镜视频。根据图1的方法，通过标记结构来估计荧光镜成像设备810相对于患者P和图像的姿态。该标记结构定位在患者“P”下方、患者“P”与手术台820之间和患者“P”与荧光镜成像设备810的辐射源之间。标记结构被耦合到发射器垫(均表示为856)并定位在手术台820上的患者“P”下方。标记结构和发射器垫856以固定的方式定位在患者体内的目标区域下方。标记结构和发射器垫856可以是两个分离的元件，它们可以固定的方式耦合或替代地可被制造为单个单元。荧光镜成像设备810可包括单个成像设备或多于一个成像设备。在包括多个成像设备的实施例中，每个成像设备可以是成像设备的不同类型或相同类型。关于成像设备810的更多细节在美国专利第8,565,858号中描述，其通过全文引用方式并入本文。

计算设备185可以是包含处理器和存储介质的任何合适的计算设备，其中处理器能够执行存储在存储介质上的指令。计算设备185可进一步包括被配置为存储患者数据、包括CT图像的CT数据集合、包括荧光镜图像和视频的荧光镜数据集合、导航规划以及任何其它这类数据的数据库。尽管未明确示出，但是计算设备185可包括输入，或可以其它方式被配置为接收CT数据集合、荧光镜图像/视频和本文描述的其它数据。另外，计算设备185包括被配置为显示图形用户界面的显示器。计算设备185可以连接到一个或多个网络，通过这些网络可以访问一个或多个数据库。

关于规划阶段，计算设备185利用先前获取的CT图像数据生成和查看患者“P”的气道的三维模型，能够在三维模型上识别目标(自动、半自动或手动)，并允许确定通过患者“P”的气道到位于目标处及其周围的组织的路径。更具体地，将从先前的CT扫描中获取的CT图像进行处理并组装成三维CT体积，然后将其用于生成患者“P”的气道的三维模型。该三维模型可显示在与计算设备185关联的显示器上，或以任何其它合适的方式显示。使用计算设备185，呈现了三维模型的各种视图或从三维模型生成的增强的二维图像。该增强的二维图像可具有某些三维功能，因为它们是从三维数据生成的。可操纵该三维模型以促进在三维模型或二维图像上识别目标，并可选择通过患者“P”的气道到位于目标的组织的合适路径。一旦选择后，就可保存路径规划、三维模型以及从中得出的图像，并将其导出到导航系统中，以在导航阶段期间使用。美敦力公共有限公司当前出售的规划套件就是一种此类规划软件。

关于导航阶段，六自由度电磁定位或跟踪系统850，例如类似于在美国专利第8,467,589号、第6,188,355号以及公开的PCT申请第WO 00/10456号和第WO 01/67035号中公开的那些，其中每一项的全部内容通过参考或其他合适的定位测量系统纳入此处，用于执行图像配准和导航路径，尽管也考虑了其他配置。跟踪系统850包括定位或跟踪模块852、多个参考传感器854和发射器垫856。跟踪系统850被配置为与可定位的导引器832特别是传感器844一起使用。如上所述，可定位的导引器832和传感器844被配置用于通过EWC 182插入患者“P”的气道(具有或不具有支气管镜830)，并且可经由锁定机构相对于彼此选择性地锁定。

发射器垫856定位在患者“P”下方。发射器垫856在患者“P”的至少一部分周围生成电磁场，在所述电磁场中，多个参考传感器854和传感器元件844的位置可通过使用跟踪模块852来确定。参考传感器854中的一个或多个附接到患者“P”的胸部。将参考传感器854的六个自由度坐标发送到计算设备825(其包括适当的软件)，其中它们用于计算患者参考坐标系。通常执行配准，以协调规划阶段的三维模型和二维图像的位置与通过支气管镜830观察到的患者“P”的气道，并允许在进行导航阶段时准确了解传感器844的位置，即使在支气管镜830无法到达的气道的部分中也是如此。这类配准技术的进一步细节及其在腔导航中的实施方案可在美国专利申请公布第2011/0085720号中找到，其全部内容通过引用方式并入本文，但是也构想了其它合适的技术。

通过将LG 832移动通过患者“P”的气道来执行在发射器垫856上的患者“P”位置的配准。更具体地，当可定位的导引器832在气道中移动时，与传感器844位置有关的数据使用发射器垫856、参考传感器854和跟踪模块852来记录。将由此位置数据得到的形状与在规划阶段期间生成的三维模型的通道的内部几何形状进行比较，并基于比较确定形状和三维模型之间的位置相关性，例如利用计算设备825上的软件。另外，该软件在三维模型中识别非组织空间(例如，充满空气的空腔)。软件将呈现传感器844位置的图像与三维模型和由三维模型生成的二维图像进行对准或配准，这基于记录的位置数据和可定位导引器832仍位于患者“P”的气道中的非组织空间中的假设。替代地，可通过以下来采用手动配准技术：将带有传感器844的支气管镜830导航到患者“P”的肺中的预指定位置，并将来自支气管镜的图像与三维模型的模型数据手动关联。

在将患者“P”配准到图像数据和路径规划后，在导航软件中显示用户界面，其针对临床医生应遵循以到达目标的路径设置。一种这类导航软件是美敦力公共有限公司当前出售的导航套件。

如用户界面所描绘，一旦EWC 812已成功导航到目标附近，就可从EWC 812上将可定位的导引器832解锁并移除，从而将EWC 812留在原处，作为用于将医疗设备包括但不限于光学系统、超声探针、标记放置工具、活检工具、消融工具(即微波消融设备)、激光探针、低温探针、传感器探针和抽吸针导引到目标的导引通道。

所公开的示例性系统800可以由图7的方法采用，以构建位于肺区域中的目标的基于荧光镜的三维体数据，并相对于目标校正导航至目标区域的医疗设备的位置。

除了具有所需的修改的ENB程序和如腹腔镜检查或机器人辅助手术之外，系统800或其与图7的方法相结合的类似版本可用于各种程序。

根据本公开的系统和方法可以用于使用目标区域的实时二维荧光镜图像以便医疗设备导航到目标和/或其区域。通过使用局部三维体数据可促进导航，其中小软组织对象可见，由大多数手术室中可用的标准荧光镜成像设备捕获的荧光镜图像的序列构成。基于荧光镜的构建的局部三维体数据可用于校正医疗设备相对于目标的位置，或可与先前获取的体数据局部配准。一般来说，医疗设备的位置可由跟踪系统例如电磁跟踪系统确定。该跟踪系统可与先前获取的体数据配准。然后可通过该跟踪系统执行将实时三维荧光镜数据局部配准到先前获取的体数据。这类实时数据可用于例如指导、导航计划、提高的导航准确性、导航确认和治疗确认。

在一些实施例中，所公开方法可进一步包括用于基于术前CT扫描生成目标区域的3D渲染的步骤。然后，目标区域的显示可包括3D渲染的显示。在另一步骤中，跟踪系统可与3D渲染配准。如上所述，然后基于所确定的偏移量对医疗设备相对于目标的位置的校正可包括在跟踪系统与目标区域中的3D渲染之间的配准的局部更新。在一些实施例中，所述公开的方法可进一步包括用于将荧光镜3D重建物配准到跟踪系统的步骤。在另一步骤中并且基于以上所述，可在目标区域中执行荧光镜3D重建与3D渲染之间的局部配准。

从前文中并且参照各个附图，本领域的技术人员将了解在不脱离本公开的范围的情况下也可对本公开做出一些修改。例如，尽管将系统和方法描述为可与EMN系统一起使用以通过诸如肺的管腔网络进行导航，但是本文所述的系统和方法可以与利用其他导航和例如经皮设备的治疗设备的系统一起使用。另外，尽管上述系统和方法被描述为在患者的管腔网络内使用，但是应当理解的是，上述系统和方法可以用于诸如肝的其他目标区域。此外，上述系统和方法也可用于经胸针抽吸手术。

在本文中公开了本公开的详细实施例。然而，所公开的实施例仅仅是本公开的实例，其可以以各种形式和方面来体现。因此，本文中公开的特定结构和功能细节不应被解释为限制性的，而仅仅作为权利要求的基础和作为用于教导本领域技术人员以实际上任何适当的详细结构不同地使用本公开的代表性基础。

可以理解的是，可通过患者的一个或多个分支的管腔网络定位以治疗组织的诸如活检工具的医疗器械或诸如微波消融导管的能量设备在外科手术领域中可能是有用的，并且本公开针对可用于此类器械和工具的系统和方法。可以经由皮肤或使用导航技术通过自然的孔口进入管腔网络。另外，可以使用图像引导来实现通过管腔网络的导航。这些图像引导系统可以与能量设备或单独的访问工具分离或集成，并且可以包括MRI、CT、荧光检查、超声、电阻抗断层扫描、光学和/或设备跟踪系统。定位访问工具的方法包括EM、IR、回声定位、光学等。跟踪系统可以集成到成像设备，其中在虚拟空间中进行跟踪或与术前或实时图像融合。在某些情况下，可以直接从管腔内接近治疗目标，例如用于治疗COPD、哮喘、肺癌等的支气管内壁。在其他情况下，可以使用能量设备和/或其他访问工具刺穿管腔并延伸到其他组织以达到目标，例如用于治疗实质内的疾病。可以使用结合了上述方法和系统的标准荧光镜成像设备，利用成像和/或导航指导进行能量设备或工具放置的最终定位和确认。

虽然已经在附图中示出本公开的若干实施例，但并不旨在将本公开限制于此，而是旨在使本公开的范围与本领域所允许的范围一样宽，并且同样地阅读说明书。因此，上文的描述不应解释为限制性的，而仅仅是作为具体实施例的例证。本领域技术人员将在所附权利要求的范围和精神内设想其它修改。

Claims (20)

1.一种用于根据通过荧光镜成像设备获取的二维荧光镜图像，构建患者体内目标区域的基于荧光镜的三维体数据的系统，其包括：

标记结构，其中所述目标区域和标记结构的图像序列通过所述荧光镜成像设备获取；和

计算设备，其被配置为：

基于对标记结构整体上在多个图像的每个图像上的可能和最可能的投影的检

测，基于通过将成像设备虚拟地定位在不同的可能姿态的范围内以生成用于标记结构在图像上的投影的不同候选以及识别作为标记结构在图像上的投影的最大概率的候选，

估计图像序列的多个图像的荧光镜成像设备的姿态；和

根据所述荧光镜成像设备的估计姿态，构建所述目标区域的基于荧光镜的三

维体数据。

2.根据权利要求1所述的系统，其中所述计算设备被进一步配置成：

促进医疗设备接近所述目标区域，其中在获取所述图像序列之前将医疗设备定位在所述目标区域中；和

根据基于荧光镜的三维体数据确定所述医疗设备与目标之间的偏移。

3.根据权利要求2所述的系统，还包括定位系统，其指示所述医疗设备在患者体内的位置，其中所述计算设备包括显示器并且被配置为：

显示所述目标区域和所述医疗设备相对于目标的位置；

通过所述定位系统和所述显示器促进所述医疗设备到所述目标区域的导航；和

基于所述医疗设备与目标之间的所确定的偏移校正所述医疗设备相对于目标的位置的显示。

4.根据权利要求3所述的系统，其中所述计算设备被进一步配置为：

在所述显示器上显示所述目标区域的3D渲染；和

将所述定位系统配准到所述3D渲染，其中校正所述医疗设备相对于目标的位置的显示包括更新所述定位系统和所述3D渲染之间的配准。

5.根据权利要求3所述的系统，其中所述定位系统是电磁定位系统。

6.根据权利要求3所述的系统，其中所述目标区域包括肺的至少一部分，并且所述医疗设备可通过管腔网络的气道导航到所述目标区域。

7.根据权利要求1所述的系统，其中所述标记结构是周期性图案或二维图案中的至少一种。

8.根据权利要求1所述的系统，其中所述目标区域包括肺的至少一部分，并且所述目标是软组织目标。

9.一种用于从通过荧光镜成像设备获取的目标区域和标记结构的二维(2D)荧光镜图像的序列构建患者体内目标区域的基于荧光镜的三维体数据的方法，其中所述标记结构位于所述患者和所述荧光镜成像设备之间，所述方法包括使用至少一个硬件处理器：

基于检测到所述标记结构整体上在多个图像的每个图像上的可能和最可能的投影，基于通过将成像设备虚拟地定位在不同的可能姿态的范围内以生成用于标记结构在图像上的投影的不同候选以及识别作为标记结构在图像上的投影的最大概率的候选，至少针对所述2D荧光镜图像的序列中的多个图像，估计所述荧光镜成像设备的姿态；和

基于所述荧光镜成像设备的估计姿态，构建所述目标区域的基于荧光镜的三维体数据。

10.根据权利要求9所述的方法，其中在获取所述图像序列之前将医疗设备定位在所述目标区域中，并且其中所述方法还包括使用所述至少一个硬件处理器根据所述基于荧光镜的三维体数据确定所述医疗设备与所述目标之间的偏移。

11.根据权利要求10所述的方法，其进一步包括使用所述至少一个硬件处理器：

通过指示所述医疗设备位置的定位系统和通过显示器，促进所述医疗设备到所述目标区域的导航；和

基于所述医疗设备与所述目标之间的所确定的偏移，校正所述医疗设备相对于所述目标的位置的显示。

12.根据权利要求11所述的方法，其进一步包括使用所述至少一个硬件处理器：

在所述显示器上显示所述目标区域的3D渲染；和

配准所述定位系统到所述3D渲染，

其中校正所述医疗设备相对于所述目标的位置包括更新所述定位系统至所述3D渲染的配准。

13.根据权利要求12所述的方法，还包括使用所述至少一个硬件处理器，基于先前获取的所述目标区域的CT体数据，生成所述目标区域的所述3D渲染。

14.根据权利要求10所述的方法，其中所述目标区域包括肺的至少一部分，并且其中所述医疗设备可通过管腔网络的气道导航到所述目标区域。

15.根据权利要求11所述的方法，其中所述标记结构是周期性图案或二维图案中的至少一种。

16.根据权利要求11所述的方法，其中所述目标区域包括肺的至少一部分，并且所述目标是软组织目标。

17.一种用于从通过荧光镜成像设备获取的二维荧光镜图像构建患者体内目标区域的基于荧光镜的三维体数据的系统，其包括：

计算设备，其被配置为：

基于标记结构整体在多个图像的每个图像上的可能和最可能的投影的检测，基于通过将成像设备虚拟地定位在不同的可能姿态的范围内以生成用于标记结构在图像上的投影的不同候选以及识别作为标记结构在图像上的投影的最大概率的候选，估计图像序列的多个图像的所述荧光镜成像设备的姿态；和

根据所述荧光镜成像设备的估计姿态，构建所述目标区域的基于荧光镜的三维体数据。

18.根据权利要求17所述的系统，其中所述计算设备被进一步配置成：

促进医疗设备接近所述目标区域，其中在获取所述图像序列之前将医疗设备定位在所述目标区域中；和

根据所述基于荧光镜的三维体数据，确定所述医疗设备与所述目标之间的偏移。

19.根据权利要求18所述的系统，还包括定位系统，所述定位系统指示所述医疗设备在患者体内的位置，其中所述计算设备包括显示器并且被配置为：

显示所述目标区域和所述医疗设备相对于所述目标的位置；

通过所述定位系统和所述显示器，促进所述医疗设备到所述目标区域的导航；和

基于所述医疗设备与目标之间的所确定的偏移，校正所述医疗设备相对于所述目标的位置的显示。

20.根据权利要求19所述的系统，其中所述计算设备被进一步配置成：

在显示器上显示所述目标区域的3D渲染；和

配准所述定位系统到所述3D渲染，其中校正所述医疗设备相对于目标的位置的显示包括更新所述定位系统和所述3D渲染之间的配准。