CN113171174A - 荧光镜图像中的取向检测 - Google Patents

Abstract

使用深度学习在荧光镜图像中进行自动取向检测的系统和方法能够进行局部配准以用于在电磁导航支气管镜(ENB)系统中校正初始的CT到身体的配准。

Description

荧光镜图像中的取向检测

相关申请的交叉引用

本申请要求2020年1月24日提交的美国临时申请号62/965,668的权益和优先权。

技术领域

本公开涉及成像领域，且尤其涉及荧光镜图像(荧光透视图像，fluoroscopicimage)中的取向检测。

背景技术

荧光镜成像设备在导航程序期间通常位于手术室中。在导航程序中，可以显示各种CT截面视图、3D视图和/或指导说明，以帮助临床医生将导航导管沿预定路径引导至一个或多个目标，直到导航导管与一个或多个目标对齐。在导航程序期间，可以执行局部配准(local registration)以更准确地显示导航导管相对于一个或多个目标的位置。为了执行局部配准，获取并且处理患者的荧光镜扫描(fluoroscopy sweep)。然后，扫描视频被用于重构目标周围的体积以获得目标与导航导管之间的关系。

在设置用于局部配准的荧光镜检查期间，荧光镜被定位于患者上方，获取荧光镜图像，临床医生通过选择与患者身体在荧光镜图像中的取向相对应的适当图像标签来确定并手动设置荧光镜图形的取向。但是，该步骤使局部配准过程复杂化，尤其是当使用具有不同设置的不同荧光镜时。此手动步骤也容易出现人为错误。因此，需要一种方法，该方法可以提供用于监测患者身体在荧光镜图像中的取向的快速、准确和稳健的方法。

发明内容

一方面，本公开的特征在于一种在医疗设备导航过程中执行局部配准的方法。所述方法包括：获取通过荧光镜成像设备捕获的在患者身体内的至少一个解剖特征和医疗设备的荧光镜图像；通过神经网络处理所述荧光镜图像，以基于通过所述神经网络对所述荧光镜图像的处理，确定所述患者身体在所述荧光镜图像中的取向；以及至少基于所述患者身体在所述荧光镜图像中的经确定的取向，生成所述荧光镜图像的三维(3D)重构。

实施方式可以包括下述特征中的一个或多个特征。所述荧光镜图像可以通过使用荧光镜成像设备执行荧光镜扫描来捕获，并且来自荧光镜扫描的荧光镜图像中的每一个可以使用神经网络来处理。处理的结果可以被组合以确定患者身体在荧光镜图像中的取向。所述处理可以包括针对荧光镜图像中的每个荧光镜图像，生成用于取向候选的概率值并且选择具有最高概率值的取向候选。所述取向候选可以是四个翻转(flip)候选。所述至少一个解剖特征可以是亚解剖区域(sub-anatomical region)。所述方法可以包括：从设置在所述医疗设备上的电磁传感器获取所述医疗设备在所述亚解剖区域中的位置信息；基于所述位置信息，识别所述亚解剖区域；以及基于识别到的亚解剖区域，由经训练的神经网络处理所述荧光镜图像，以确定所述患者身体在所述荧光镜图像中的取向。

所述荧光镜图像可以形成荧光镜扫描的一部分。所述荧光镜图像的子集由所述神经网络处理。所述方法可以包括调整所述荧光镜图像的大小。所述亚解剖区域可以是肺叶。所述医疗设备可以是导航导管，并且所述电磁传感器可以形成电磁导航系统的一部分。所述神经网络可以是卷积神经网络，所述卷积神经网络包括卷积层、批量归一化层、修正线性单元层、最大池化层、平均池化层和全连接层。

在另一方面，本公开的特征在于一种用于使用荧光检查法(fluoroscopy)执行局部配准的系统。所述系统可以包括与荧光镜通信的处理器；和存储器，所述存储器存储神经网络和指令，所述指令在由所述处理器执行时导致所述处理器：获取患者身体内的至少解剖结构和医疗设备的荧光镜图像；利用神经网络处理所述荧光镜图像；基于利用所述神经网络对所述荧光镜图像进行处理的结果，确定所述患者身体在所述荧光镜图像中的取向；至少基于经确定的取向候选的取向，生成所述荧光镜图像的三维(3D)重构；以及基于所述3D重构，执行局部配准。

实施方式可以包括下述特征中的一个或多个特征。所述指令在由所述处理器执行时可以进一步使得所述处理器生成并且显示从所述3D重构获得的荧光镜计算机断层扫描图像。所述指令在由所述处理器执行时可以进一步使得所述处理器：获取患者身体内的至少医疗设备的荧光镜图像序列；使用所述荧光镜图像序列的第一部分训练所述神经网络；以及使用所述荧光镜图像序列的第二部分验证所述神经网络。所述神经网络可以包含取向候选。所述取向候选可以包括翻转候选。例如，所述翻转候选可以包括：(1)头朝上、右臂向左，(2)头朝上、右臂向左，(3)头朝下、右臂向左，以及(4)头朝下，右臂向右。

在另一方面，本公开的特征在于一种用于检测患者身体在荧光镜图像帧序列中的取向的方法。所述方法包括：从所述患者身体的荧光镜扫描中获取所述荧光镜图像帧序列；利用卷积神经网络处理所述荧光镜图像帧，以获得取向候选的概率值；对于所述荧光镜图像帧的子集中的每个荧光镜图像帧，选择具有最高概率值的取向候选；以及确定所述患者身体的取向与被选择次数最多的所述取向候选相对应。

实施方式可以包括下述特征中的一个或多个特征。所述方法可以包括：确定基于整个所述荧光镜图像帧中的概率值的一致性的置信度；确定所述置信度大于阈值；以及响应于确定所述置信度大于所述阈值，至少基于经确定的取向，生成所述荧光镜图像帧的三维(3D)重构。所述方法可以包括：确定所述置信度不大于所述阈值；以及响应于确定所述置信度不大于所述阈值，请求用户确认所述经确定的取向。

附图说明

附图中示出了各种示例性实施例。将理解的是，为了图示的简化和清楚起见，在下面引用的附图中示出的元件不必按比例绘制。此外，在认为适当的情况下，可以在图示中重复附图标记以指示相似、对应或类似的元件。下面列出附图。

图1是被配置为与本公开的方法一起使用的系统的示意图；

图2是根据本公开的一方面的在不同取向上的荧光镜图像的示例；

图3是根据本公开的一方面的卷积神经网络模型的流程图；

图4是根据本公开的方面的荧光镜图像的示例，其展示了如何可以修改荧光镜图像以改善取向检测；

图5是根据本公开的一方面的使用神经网络检测患者身体在荧光镜图像中的取向的方法的流程图；

图6是根据本公开的一方面的训练神经网络模型的方法的流程图；

图7是根据本公开的另一方面的使用神经网络检测患者身体在荧光镜图像中的取向的方法的流程图；和

图8是根据本公开的计算设备的示意性框图。

具体实施方式

如上所述，在设置用于局部配准的荧光镜检查期间，将荧光镜定位在患者上方，捕获荧光镜图像，临床医生通过选择与患者身体在荧光镜图像中的取向相对应的适当图像标签来确定并手动设置荧光镜图形的取向。但是，此手动步骤容易出现人为错误。例如，临床医生通常不能通过查看荧光镜或荧光镜捕获的荧光镜图像来分辨肺的取向。

本公开涉及一种基于包括神经网络的深度学习模型来自动检测荧光镜图像取向的系统和方法。可以使用荧光镜图像(例如来自荧光镜扫描的荧光镜图像)序列来训练和验证神经网络。经训练的神经网络接收荧光镜图像帧、提取特征、并且将荧光镜图像帧分类为多个候选取向选项(例如，候选翻转选项)中的一个。为了实现更稳健的分类，可以将神经网络应用于来自荧光镜扫描的多个荧光镜图像帧，并且将结果进行组合以获得关于荧光镜图像帧中的取向的最终决定。在单个荧光镜扫描中多次应用神经网络可以估计分类的不确定性。在高度不确定的情况下，本公开的系统和方法可以在荧光镜扫描的荧光镜图像中提示用户确认患者身体的取向。

图1是示例性系统100的立体图，该系统用于经由肺的气道将医疗设备(例如，活检或治疗工具)导航到目标。系统100的一个方面是用于查看已经从系统100单独地获取的计算机断层扫描(CT)图像数据的软件应用。查看CT图像数据允许用户识别一个或多个目标并且计划到被识别的目标的路径。这通常称为计划阶段。软件应用的另一方面是导航阶段，导航阶段允许用户使用用户界面将导管或其他工具导航到目标(导航阶段)，并且确认导管或工具相对于目标的放置。可以在导航阶段执行局部配准，以便临床医生可以在显示的医学图像中更准确地看到导管或工具相对于目标的位置。目标通常是在计划阶段通过查看CT图像数据被识别的用于进行活检或治疗的感兴趣组织。

在导航之后，可以将医疗设备诸如活检工具或治疗工具插入到导管中，以从位于目标处的组织或接近于目标的组织获得组织采样或者以治疗这样的组织。可以选择治疗工具以实现微波消融、射频消融、低温消融、化学消融或临床医生优选的其他目标治疗机制。

图1的一方面是导管引导组件102，其在远端处包括传感器104。导管引导组件102包括导管106。在实践中，导管106插入支气管镜108中以接近患者P的腔网络。具体地，导管导引组件102的导管106可以插入支气管镜108的工作通道中以导航通过患者的腔网络。如果被配置为用于电磁导航(EMN)(如下所述)，则可定位引导件(LG)110(其可以包括诸如电磁(EM)传感器的传感器104)可以插入导管106中并锁定到位，使得传感器104延伸期望距离超出导管106的远侧尖端。然而，在不脱离本公开的范围的情况下，传感器104可以被并入到支气管镜108、导管106或活检或治疗工具中的一个或多个中。

如果导管106被插入支气管镜108中，则导管106和LG 110的远端延伸超出支气管镜108的远端。可以基于位置数据得出传感器104并因此LG 110的远端部分在电磁场中的定位或位置以及取向，该位置数据是通过磁场中存在EM传感器或通过本文所述的其他方式产生的电流的形式。尽管作为本公开内容的一部分不需要使用EM传感器和EMN，但是它们的使用可以进一步增强本公开内容在腔内导航(例如肺的导航)中的实用性。在一些方面，当在荧光镜图像中确定患者身体的取向时，EM传感器可以用于确定导管106位于哪个解剖区域或亚解剖区域中，如下面更详细地描述的。由于支气管镜108、导管106、LG 110或其他工具可以在本文中可互换地使用或组合使用，因此术语导管在此处将用于指代这些元件中的一种或多种。此外，在不脱离本公开的范围的情况下，作为使用EM传感器的替代，可以结合本公开使用诸如光纤布拉格传感器、超声传感器、加速度计等的挠性传感器以将输出提供给跟踪系统114，用于确定导管(包括但不限于支气管镜108、导管106、LG 110或活检或治疗工具)的位置。

系统100通常可以包括：手术台112，其被配置为支撑患者P；支气管镜108，其被配置为通过患者P的口插入患者P的气道；联接到支气管镜108的监测设备114(例如，视频显示器，用于显示从支气管镜108的视频成像系统接收的视频图像)。如果被配置为用于EMN，则系统100可以包括定位或跟踪系统114和定位模块116、参考EM传感器118和包括不透射线或部分不透射线的标记物的发射器垫120。在不脱离本公开的范围的情况下，可以采用其他图案，包括在发射器垫120中的不同相对深度处的三维标记物，或非重复图案。

还包括有计算设备122，其包括软件和/或硬件，该软件和/或硬件用于促进对目标的识别、到目标的路径计划、医疗设备到目标的导航、局部配准、以及/或者对导管106或穿过其的合适的设备相对于目标的放置的确认和/或确定。计算设备122可以类似于图8的工作站801并且可以被配置成执行包括图5-图7的方法在内的本公开内容的方法。计算设备122可以是包括处理器和存储介质的任何合适的计算设备，其中，处理器能够执行被存储在作为一个或多个应用的存储介质上的指令。计算设备122可以进一步包含数据库，所述数据库被配置成存储患者数据、包括CT图像的CT数据集、包括荧光镜图像(例如来自荧光镜扫描的荧光镜图像)和视频的荧光镜数据集、荧光镜3D重构、导航计划以及任何其它此类数据。尽管未明确展示，但是计算设备122可以包含输入，或者可以另外被配置成接收CT数据集、荧光镜图像/视频和本文描述的其它数据。另外，计算设备122包括被配置成显示图形用户界面的显示器。计算设备122可以连接到一个或多个网络，通过所述一个或多个网络可以访问一个或多个数据库。在下面结合图8描述计算设备的进一步细节。

关于规划阶段，计算设备122利用预先获取的CT图像数据来生成并查看患者P的气道的三维模型或渲染，实现对三维模型上的目标(自动地、半自动地或手动地)的标识，并允许确定通过患者P的气道到达位于目标处和目标周围的组织的路径。更具体地，从CT扫描获取的CT图像和CT图像数据集被处理并组装成三维CT体积，然后将其用于生成患者P的气道的三维模型。三维模型可以在与计算设备122相关联的显示器上显示，或以任何其它合适的方式显示。使用计算设备122，呈现了三维模型或由三维模型生成的增强的二维图像的各个视图。增强的二维图像可以具有某些三维能力，因为其是由三维数据生成的。可以操纵三维模型以促进对三维模型或二维图像上的目标的标识，并且可以进行对通过患者P的气道进入位于目标处的组织的合适的路径的选择。一旦被选择，路径计划、三维模型以及从其得出的图像就可以被保存并且被导出到导航系统以在导航阶段期间使用。

如上所示，系统100中还包括能够获取患者P的荧光镜或X射线图像或视频(荧光镜图像数据集)的荧光镜成像设备124。由荧光镜成像设备124捕获的图像、图像系列或视频可以存储在荧光镜成像设备124内，或传输到计算设备122以用于存储、处理和显示。另外，荧光镜成像设备124可以相对于患者P移动，从而可以从相对于患者P的多个不同角度或视角获取图像，以创建荧光镜图像序列，诸如荧光镜扫描或荧光镜视频。可以使用标记物121来估计荧光镜成像设备124相对于患者P的姿势。可以针对荧光镜扫描或视频中的每个图像或图像的一部分进行姿势估计过程。处理的结果是针对每个获取的荧光镜图像确定荧光镜成像设备124的姿势。而且，可以使用下面描述的图像处理技术来确定在荧光镜图像中捕获的患者身体的取向。姿势估计数据和患者取向数据以及其他必要数据可以用于生成3D重构，并且在需要时将3D重构配准到从术前CT扫描生成的3D模型中。

标记物121可以被结合到发射器垫120中、结合到手术台112中、或者以其他方式结合到被放置在手术台112上或操作台附近的另一器具中，使得它们可以在荧光镜图像中被看到。标记物121通常地被定位在患者P下方并且在患者P与荧光镜成像设备124的辐射源或感测单元之间。荧光镜成像设备124可以包含单个成像设备或多于一个成像设备。

在局部配准期间，荧光镜成像设备124可以例如根据荧光镜成像设备124的输出设置(例如翻转设置)、荧光镜成像设备124的品牌和/或荧光镜相对于患者床的位置，输出图2中所示的荧光镜图像210-240中的一个。在某些方面，荧光镜成像设备124可以输出荧光镜图像，其中患者身体的取向对应于图2的荧光镜图像210-240中的一个所示的患者身体的取向。患者身体在荧光镜图像210中的取向是头朝上、右臂向左；患者身体在荧光镜图像220中的取向是头朝上、右臂向右；患者身体在荧光镜图像230中的取向是头朝下、右臂向左；患者身体在荧光镜图像240中的取向是头朝下、右臂向右。患者身体在荧光镜图像中的取向被需要以正确生成3D荧光镜重构。在某些方面，本公开的特征在于可以基于患者身体的候选取向来自动检测患者身体在荧光镜图像(如图2中所示的荧光镜图像210-240)中的取向的系统和方法。

本公开的各方面使用深度学习来对患者身体在荧光镜图像中的取向进行分类。例如，可以使用神经网络对荧光镜图像进行分类。神经网络可以包括特征提取层和分类层。在特征提取层中，输入的荧光镜图像由多个卷积层处理。每个卷积层之后是非线性运算和采样运算。在分类层中，特征提取层的输出由一个或多个附加层处理，并为每个可能的输出类别输出概率值。输出类别是荧光镜图像中不同的可能的患者身体取向。

图3是示出根据一些方面的神经网络模型的示例的网络图，该神经网络模型可以用于将输入的荧光镜图像分类为不同的取向或翻转候选中的一个。输入的荧光镜图像、图3的神经网络模型的内核(kernel)、激活热力图(activation map)、全连接层(fullyconnected layer)以及其他特征的指示大小并非旨在限制，而是旨在示出根据本公开的方面的实现神经网络的许多方式之一。步骤1–7与神经网络模型的特征提取层有关，而步骤8与神经网络模型的分类层有关。在步骤1，由第一处理层处理输入的荧光镜图像302，该第一处理层可以包括第一卷积层、批量归一化层、修正线性单元(ReLU)层和最大池化层。第一卷积层可以包括1个输入通道和16个输出通道，并且可以使用7×7像素内核。来自第一处理层的输出是16个64×64像素激活热力图304。在步骤2，由第二处理层处理16个64×64像素激活热力图304，该第二处理层可以包括第二卷积层、批量归一化层、修正线性单元(ReLU)层和最大池化层。第二卷积层可以包括16个输入通道和32个输出通道，并且可以使用5×5像素内核。来自第二卷积层的输出是32个32×32像素激活热力图306。

在步骤3，由第三处理层处理32×32×32像素激活热力图306，该第三处理层可以包括第三卷积层、批量归一化层、修正线性单元(ReLU)层和最大池化层。第三卷积层可以包括32个输入通道和64个输出通道，并且可以使用3×3像素内核。来自第三卷积层的输出是64个16×16像素激活热力图308。

在步骤4，由第四处理层处理64个16×16像素激活热力图308，该第四处理层可以包括第四卷积层、批归一化层、修正线性单元(ReLU)层和最大池化层。第四卷积层可以包括64个输入通道和64个输出通道，并且可以使用3×3像素内核。第四卷积层的输出是64个8×8像素激活热力图310。

在步骤5，由第五处理层处理64个8×8像素激活热力图310，该第五处理层可以包括第五卷积层、批量归一化层、修正线性单元(ReLU)层和最大池化层。第五卷积层可以包括64个输入通道和64个输出通道，并且可以使用3×3像素内核。第五卷积层的输出是64个4×4像素激活热力图312。

在步骤6，由第六处理层处理64个4×4像素激活热力图312，该第六处理层可以包括第六卷积层、批归一化层和修正线性单元(ReLU)层。第六卷积层可以包括64个输入通道和32个输出通道，并且可以使用1×1像素内核。第六处理层的输出是32个4×4像素激活热力图314。在步骤7，由第七处理层处理32个4×4像素激活热力图314，该第七处理层可以包括平均池化层。第七处理层的输出是1×1×32特征数组316。在步骤8，由第八处理层处理1×1×32特征数组316，该第八处理层包括全连接层、softmax处理层和对应于四个翻转候选的概率值数组318，该全连接层具有32个输入和对应于四个翻转候选的4个输出。

在各方面中，可以对用于训练卷积神经网络的荧光镜图像进行预处理，以改善或优化通过卷积神经网络的图像取向检测。例如，如图4所示，可以旋转用于训练的荧光镜图像210以获得旋转的荧光镜图像412。在各方面中，用于训练的荧光镜图像210可以在-5度与+5度之间旋转。

在各方面中，可以预处理输入到经训练和验证的卷积神经网络以检测荧光镜图像的取向的荧光镜图像，以改善或优化通过卷积神经网络的图像取向检测的性能。例如，也如图4中所示，可以将放大或扩大过程应用于荧光镜图像210以获得扩大的荧光镜图像414，然后可以将其应用于经训练和验证的卷积网络，以确定患者在荧光镜图像414中的取向。

作为导航过程的一部分，将医疗设备(例如导管106)导航到患者“P”中的期望位置。这可以通过遵循上述路径规划和EM系统或者在支气管镜成像下或者在使用荧光镜成像设备124的荧光镜成像下完成。在将导管106导航到期望位置之后，可以执行荧光镜扫描。当荧光镜成像设备124围绕患者“P”旋转时，该荧光镜扫描以多个不同的角度获取2D荧光镜图像。图5是根据本公开的一方面的方法700的流程图，该方法使用神经网络模型检测患者身体在获取的2D荧光镜图像中的取向并且使用检测的取向来生成荧光镜图像的3D重构。在框502处，获取通过荧光镜扫描捕获的在患者身体内的解剖结构和医疗设备的荧光镜图像。在框504，通过神经网络处理荧光镜图像，以确定患者身体在荧光镜图像中的取向。并且在框506处，基于经确定的取向，生成荧光镜图像的3D重构。

为了改善神经网络，必须对该神经网络进行训练以检测患者身体的取向。以监督的方式训练神经网络。训练集可以包括示出目标和医疗设备的数千个荧光镜2D图像。

图6是根据本公开的一方面的用于训练神经网络模型的一种方法600的示例的流程图。这种训练方法并不意味着是限制性的，而是可以如何训练神经网络的一个示例。在框602处，获取患者身体内的目标和医疗设备的多个荧光镜图像。可以通过执行多次荧光镜扫描来获得多个荧光镜图像。在一些方面，在执行多次荧光镜扫描之前，临床医生可以将荧光镜垂直于患者的床(其可以包括标记物网格)放置。

在框604处，将多个荧光镜图像划分为两组荧光镜图像，基于这两组荧光镜图像，医疗设备位于一对解剖特征中的一个。在框606处，将一组荧光镜图像划分为训练集、验证集和测试集。在框608处，将训练集中的荧光镜图像旋转小角度，例如3度。替代地或附加地，可以通过放大操作来扩大或处理训练集中的荧光镜图像。在框610处，使用交叉熵损失函数和训练集中的荧光镜图像来训练卷积神经网络模型。在其他方面，交叉熵损失函数可以由适合于训练神经网络以检测患者在荧光镜图像中的取向的任何损失函数来代替。例如，交叉熵损失函数可以由均方误差损失函数代替。

在框612处，使用验证集中的荧光镜图像来验证卷积神经网络模型，然后，在框614处，使用测试集中的荧光镜图像来测试卷积神经网络模型。在各方面，可以将与四个翻转候选相对应的翻转概率值各自设置为常数0.25，以进行训练和验证。在框616处，方法600确定另一组荧光镜图像是否需要训练。如果另一组荧光镜图像需要训练，则针对另一组荧光镜图像重复框606-614。否则，方法600在框618处结束。

图7是根据本公开的一方面的方法700的流程图，该方法使用神经网络模型检测患者身体在2D荧光镜图像中的取向并且使用检测到的取向生成2D荧光镜图像的3D重构。在框702处，获取患者身体(包括肺和导管)的荧光镜图像。在其他方面，肺可以是任何解剖结构或特征，并且导管可以是适用于涉及解剖结构的手术的任何医疗设备。在获取荧光镜图像之后，可以对荧光镜图像进行预处理以改善方法的性能(包括神经网络的性能)。预处理可以包括减小所获取的荧光镜图像的大小。

在框704处，肺被识别为右肺或左肺。可以例如通过当导管被设置在肺中时确定导管的位置来识别肺。可以通过本文所述的EMN系统使用设置在导管上的EM传感器来确定导管的位置。在其他方面，在框704处，可能不需要导管来将肺识别为右肺或左肺。在框706处，考虑到识别出的肺，通过卷积神经网络处理荧光镜图像，以确定与取向候选相关联的概率值。在一些方面，对于每个荧光镜图像，可以生成对应于每个取向候选的概率值数组，例如，对于四个翻转取向候选为[0.10 0 0.70 0.20]。在框708处，对于荧光镜扫描帧的子集中的每个荧光镜图像，选择具有最高概率值的取向候选。在框709处，确定具有最大数量的所选取向候选的取向。

为了改善图7的方法的结果，可以采用几种后处理技术。例如，可以给荧光镜视频的每个帧中的患者身体的取向的检测给出置信度估计或水平。例如，在框710处，估计或确定基于荧光镜扫描的概率值的一致性的置信度。接下来，方法700包括在框712处确定置信度水平是否大于阈值。如果置信度大于阈值，则在框714处基于经确定的取向来生成荧光镜图像的3D重构。

如果置信度不大于阈值，则在框716处，请求用户确认经确定的取向。接下来，方法700包括在框718处确定经确定的取向是否被确认。如果经确定的取向被确认，则在框714处基于经确定的取向来生成荧光镜图像的3D重构。如果经确定的取向没有被确认，则在框720处要求用户输入不同的经确定的取向，并且在框714处基于不同的经确定的取向，生成荧光镜图像的3D重构。在其他方面，如果存在荧光镜视频帧，对此置信度估计值低或低于预定阈值，则可以拒绝对患者身体的取向的确定，而无需执行框716和718的确认。

现在参考图8，其是被配置为与包括图3至图7所示的方法的本公开的方法一起使用的系统800的示意图。系统800可以包括工作站801，并且该工作站被可选地连接到荧光镜成像设备124(图1)。在一些实施例中，工作站801可以例如通过无线通信与荧光镜815直接地或间接地耦接。工作站801可以包括存储器802、处理器804、显示器806和输入设备810。处理器或硬件处理器804可以包括一个或多个硬件处理器。工作站801可以可选地包括输出模块812和网络接口808。存储器802可以存储应用818和图像数据814。应用818可以包括可由处理器804执行的用于执行包括图3至图7的方法和技术的本公开的方法的指令。

应用818可以进一步包括用户界面816。图像数据814可包括CT扫描、荧光镜图像、生成的荧光镜3D重建和/或任何其它荧光镜图像数据和/或生成的一个或多个虚拟荧光镜检查图像。处理器804可以与存储器802、显示器806、输入设备810、输出模块812、网络接口808和荧光镜815耦接。工作站801可以是诸如个人计算机的固定计算设备、或者是诸如平板计算机的便携式计算设备。工作站801可以嵌入式计算机设备。

存储器802可以包括用于存储包含指令的数据和/或软件的任何非暂时性计算机可读存储介质，所述指令可由处理器804执行并且控制工作站801的操作并且在一些实施例中还可以控制荧光镜815的操作。荧光镜成像设备124可以用于捕获荧光镜图像序列，基于所述序列生成荧光镜3D重构，以及根据本公开捕获实时2D荧光镜视图。在一个实施例中，存储器802可以包括诸如固态存储设备的一个或多个存储设备，例如，闪速存储器芯片。作为一个或多个固态存储设备的替代或补充，存储器802可以包括通过大容量存储控制器(未示出)和通信总线(未示出)连接到处理器804的一个或多个大容量存储设备。

尽管本文中包括的计算机可读介质的描述指的是固态存储，但是本领域技术人员应当理解的是，计算机可读存储介质可以是可以被处理器804访问的任何可用的介质。也就是说，计算机可读存储介质可以包含以用于存储如计算机可读指令、数据结构、程序模块或其它数据等信息的任何方法或技术实施的非暂时性、易失性和非易失性、可移动和不可移动介质。例如，计算机可读存储介质可以包括RAM、ROM、EPROM、EEPROM、闪存或其它固态存储器技术、CD-ROM、DVD、蓝光光碟或其它光学存储设备、盒式磁带、磁带、磁盘存储或其它磁存储设备、或可以用来存储所需的信息并且可以被工作站801访问的任何其它介质。

在由处理器804执行时，应用818可以使显示器806呈现用户界面816。用户界面816可以被配置为向用户呈现单个屏幕，该单个屏幕包括：从医疗设备的尖端来看的目标的3D模型的三维(3D)视图；显示医疗设备的实时二维(2D)荧光镜视图；以及对应于目标的3D模型、覆盖在实时2D荧光镜视图、荧光镜扫描的荧光镜图像的3D重构以及其他图像和屏幕上的目标标记物。用户界面816可以被进一步配置成根据医疗设备尖端在三个维度上是否与目标对准而以不同的颜色显示目标标记物。

网络接口808可以被配置成连接到网络诸如由有线网络和/或无线网络构成的局域网(LAN)、广域网(WAN)、无线移动网络、蓝牙网络和/或因特网。网络接口808可以被用于在工作站801与荧光镜815之间进行连接。网络接口808也可以被用于接收图像数据814。输入设备810可以是用户可以通过其与工作站801交互的任何设备，例如鼠标、键盘、脚踏板、触摸屏和/或语音界面。输出模块812可以包含任何连接端口或总线，例如并行端口、串行端口、通用串行总线(USB)或本领域的技术人员已知的任何其它类似的连接端口。

虽然已经在附图中示出了本公开的若干方面，但并非意图将本公开限于此，而是意图使本公开的范围与本领域所允许的一样广泛，并且同样地理解本说明书。因此，以上描述不应被解释为限制性的，而是仅作为特定方面的范例。

Claims (20)

1.一种在医疗设备导航过程中执行局部配准的方法，所述方法包括：

获取通过荧光镜成像设备捕获的在患者身体内的至少一个解剖特征和医疗设备的荧光镜图像；

通过神经网络处理所述荧光镜图像；

基于通过所述神经网络对所述荧光镜图像的处理，确定所述患者身体在所述荧光镜图像中的取向；以及

至少基于所述患者身体在所述荧光镜图像中的经确定的取向，生成所述荧光镜图像的三维重构即3D重构。

2.根据权利要求1所述的方法，其中，通过利用所述荧光镜成像设备执行荧光镜扫描，捕获所述荧光镜图像，并且

其中，使用所述神经网络处理来自所述荧光镜扫描的所述荧光镜图像中的每一个，并且将所述处理的结果进行组合以确定所述患者身体在所述荧光镜图像中的取向。

3.根据权利要求1所述的方法，其中，所述至少一个解剖特征是亚解剖区域，所述方法进一步包括：

从设置在所述医疗设备上的电磁传感器获取所述医疗设备在所述亚解剖区域中的位置信息；

基于所述位置信息，识别所述亚解剖区域；以及

基于识别到的亚解剖区域，由经训练的神经网络处理所述荧光镜图像，以确定所述患者身体在所述荧光镜图像中的取向。

4.根据要求要求3所述的方法，其中，所述荧光镜图像形成荧光镜扫描的一部分。

5.根据要求要求3所述的方法，其进一步包括调整所述荧光镜图像的大小。

6.根据权利要求3所述的方法，其中，所述亚解剖区域是肺叶。

7.根据权利要求4所述的方法，其中，所述荧光镜图像的子集由所述神经网络处理。

8.根据权利要求1所述的方法，其中，所述神经网络是卷积神经网络，所述卷积神经网络包括卷积层、批量归一化层、修正线性单元层、最大池化层、平均池化层和全连接层。

9.根据权利要求3所述的方法，其中，所述医疗设备是导航导管，并且所述电磁传感器形成电磁导航系统的一部分。

10.根据权利要求2所述的方法，其中，所述处理包括针对所述荧光镜图像中的每个荧光镜图像：

生成取向候选的概率值；和

选择具有最高概率值的所述取向候选。

11.根据权利要求10所述的方法，其中，所述取向候选是四个翻转候选。

12.一种用于使用荧光检查法执行局部配准的系统，所述系统包括：

与荧光镜通信的处理器；和

存储器，所述存储器被配置为存储神经网络和指令，所述指令在由所述处理器执行时导致所述处理器：

获取患者身体内的至少解剖结构和医疗设备的荧光镜图像；

利用神经网络处理所述荧光镜图像；

基于利用所述神经网络对所述荧光镜图像进行处理的结果，确定所述患者身体在所述荧光镜图像中的取向；

至少基于经确定的取向候选的取向，生成所述荧光镜图像的三维重构即3D重构；以及

基于所述3D重构，执行局部配准。

13.根据权利要求12所述的系统，其中，所述指令在由所述处理器执行时进一步使得所述处理器生成并且显示从所述3D重构获得的荧光镜计算机断层扫描图像。

14.根据权利要求12所述的系统，其中，所述指令在由所述处理器执行时进一步使得所述处理器：

获取患者身体内的至少医疗设备的荧光镜图像序列；

使用所述荧光镜图像序列的第一部分训练所述神经网络；以及

使用所述荧光镜图像序列的第二部分验证所述神经网络。

15.根据权利要求14所述的系统，其中，所述神经网络包含取向候选。

16.根据权利要求15所述的系统，其中，所述取向候选包括翻转候选。

17.根据权利要求16所述的系统，其中，所述翻转候选包括：(1)头朝上、右臂向左，(2)头朝上、右臂向左，(3)头朝下、右臂向左，以及(4)头朝下、右臂向右。

18.一种用于检测患者身体在荧光镜图像帧序列中的取向的方法，所述方法包括：

从所述患者身体的荧光镜扫描中获取所述荧光镜图像帧序列；

利用卷积神经网络处理所述荧光镜图像帧，以获得取向候选的概率值；

对于所述荧光镜图像帧的子集中的每个荧光镜图像帧，选择具有最高概率值的取向候选；以及

确定所述患者身体的取向与被选择次数最多的所述取向候选相对应。

19.根据权利要求18所述的方法，其进一步包括：

确定基于整个所述荧光镜图像帧中的概率值的一致性的置信度；

确定所述置信度大于阈值；以及

响应于确定所述置信度大于所述阈值，至少基于经确定的取向，生成所述荧光镜图像帧的三维重构即3D重构。

20.根据权利要求19所述的方法，其进一步包括：

确定所述置信度不大于所述阈值；以及

响应于确定所述置信度不大于所述阈值，请求用户确认所述经确定的取向。

Images