CN117083631A - 用于自动血管提取的系统和方法 - Google Patents

Abstract

图像处理的系统和方法包括与显示器通信的处理器以及具有指令的计算机可读记录介质，这些指令由该处理器执行以从该计算机可读记录介质读取三维(3D)图像数据集，并且使用神经网络基于该图像数据集的患者图像来自动生成血管的树结构。手动生成和/或半自动生成的3D血管模型用来训练该神经网络。这些系统和方法涉及：使用所训练的神经网络来对该3D图像数据集中的血管进行分割和分类；封闭孔；寻找该分割中的根和终点；寻找根和终点之间的最短路径；选择最可行路径，将最可行路径组合成有向图；求解有向图之间的重叠；以及基于有向图创建血管的3D模型。

Description

用于自动血管提取的系统和方法

技术领域

本公开涉及用于创建3D解剖学树结构的系统和方法，该3D解剖学树结构可用于生成患者身体的一部分的血管的3D网格模型。具体地，本公开涉及使用通过手动和/或半自动创建的3D脉管树结构训练的神经网络来自动创建患者身体的一部分(例如，肺)的脉管系统的3D树结构的系统和方法。

背景技术

在许多领域中，需要分割和/或分类体积数据中的体素。在医学成像中，存在许多开放源码和专有系统，其能够手动分割和/或分类诸如CT图像的医学图像。这些系统通常需要临床医师或支持临床医师的技术人员手动检查CT图像并手动绘制血管或其他结构，有时逐像素地绘制。为了获得准确的3D分割或分类，用户通常必须滚动通过许多2D切片并标记许多像素。可理解，此类手动工作是乏味且耗时的，使得此类方法难以用于任何类型的手术规划。

发明内容

在一个方面，本公开的特征在于一种系统，该系统包括处理器和存储器。该存储器在其上存储有神经网络和指令，这些指令在由该处理器执行时，致使该处理器：致使该神经网络分割身体的一部分的体积图像中的血管，从而产生分割的血管。这些指令在由该处理器执行时，进一步致使该处理器检测所分割的血管的根并检测这些血管的终点。这些指令在由该处理器执行时，进一步致使该处理器确定从每个终点到这些根中的每个根的最短路径，并且将到这些根的最短路径组合成有向图。

系统的实施方式可以包括以下特征中的一个或多个特征。这些指令在由该处理器执行时，进一步致使该处理器基于有向图来生成3D模型。该神经网络可使用3D U型网络风格架构。

这些指令在由该处理器执行时，可致使该处理器接收其中识别血管的标注体积图像并且利用标注体积图像训练该神经网络。这些指令在由该处理器执行时，可致使该处理器使用经典图像分割方法来分割体积图像中的血管，从而产生其中识别血管的标注体积图像。该经典图像分割方法可包括基于边缘的方法、基于区域的方法或阈值方法。

该神经网络可包括分割层和指令，并且这些指令在由该处理器执行时，可致使该处理器利用骰子损失训练该分割层。该骰子损失可以是加权骰子损失。该神经网络可包括拓扑层和指令，并且这些指令在由该处理器执行时，可致使该处理器利用拓扑损失训练该拓扑层。该神经网络可包括分类层和指令，并且这些指令在由该处理器执行时，可致使该处理器利用交叉熵损失、一致性损失或交叉熵损失和一致性损失两者训练该分类层。

该神经网络可包括：编码器，该编码器处理体积图像并且输出编码器输出；第一解码器，该第一解码器耦合到该编码器的该输出并且基于该编码器输出来生成分割概率图；和第二解码器，该第二解码器耦合到该编码器的该输出并且基于该编码器输出来生成拓扑嵌入矢量、距离图和分类概率图(例如，动脉和静脉概率图)。

该编码器、该第一解码器和该第二解码器可各自包括递归卷积神经网络以及分别耦合到该递归卷积神经网络的挤压和激励块。该第二解码器可包括处理该拓扑嵌入矢量并输出该分类概率图的卷积函数和S形激活函数。该第二解码器可包括处理该拓扑嵌入矢量并输出该距离图的卷积函数和整流线性单元。

该身体的该部分可以是器官、颈部、上身或下身。该器官可以是脑、肺、肾、肝、胃、肠、前列腺、直肠或结肠。

在另一方面，本公开的特征在于一种方法。该方法包括：接收身体的一部分的三维(3D)图像数据集；以及使用神经网络模型来分割该3D图像数据集以识别该3D图像数据集中的血管。该方法还包括：使用该神经网络模型来对这些血管进行分类；检测经处理的血管的起点；以及检测经处理的血管的终点。该方法还包括：针对每个终点，计算从可能的起点到该终点的最优路径；从这些可能的起点选择最佳起点；以及设置从该最佳起点到该终点的路径的类。该方法还包括将相同起点的路径合并成树结构。

方法的实施方式可以包括以下特征中的一个或多个特征。这些血管可以是动脉或静脉。检测起点和终点可使用神经网络模型来执行。该方法可包括使用拓扑损失来训练该神经网络模型的拓扑层。该方法可包括使用骰子损失来训练该神经网络模型的分割层。该方法可包括对该骰子损失进行加权。对该骰子损失进行加权可包括：对于未标注外周血管将权重0应用于该骰子损失，并且对于标注外周血管应用权重1。

该方法可包括：计算拓扑嵌入矢量的欧几里德距离；计算该拓扑嵌入矢量的拓扑距离；以及训练该神经网络模型以将该拓扑嵌入矢量的欧几里德距离与该拓扑嵌入矢量的对应拓扑距离匹配。计算该拓扑嵌入矢量的这些拓扑距离可包括：基于总拓扑损失来计算该拓扑嵌入矢量的这些拓扑距离。该拓扑损失的目的是增大神经网络空间中动脉和静脉的特征空间之间的距离。该总拓扑损失可以是点对的拓扑损失之和除以该点对的数目；如果该点对在相同类中，则该点对的该拓扑损失可以是该点对的L1平滑损失函数的值；并且如果该点对不在相同类中，则该点对的该拓扑损失可以是0或1/K的最大值乘以常数K和对应于该点对的网络拓扑层值之间的差值的绝对值之间的差值。

该图像数据集可以是计算断层摄影(CT)数据集。该方法可包括根据该树结构生成3D网格模型。该方法可包括在用户界面中显示该3D网格模型。该方法可包括呈现使得用户能够选择该血管的起点、终点和路径的用户界面。

在另一方面，本公开的特征在于一种生成血管的有向图的方法。该方法包括：接收身体的一部分的三维(3D)图像数据集；以及利用神经网络处理该3D图像数据集以生成该3D图像数据集中的血管的分割概率图。该方法还包括封闭该分割概率图中的该血管的至少一个孔。该方法还包括：检测血管的起点；以及检测血管的终点。该方法还包括：针对每个终点，跟踪从该终点到这些起点中的每个起点的最短路径，从而产生可行路径；以及从这些可行路径中选择最可行路径。该方法还包括：将具有共同起点的路径合并为一个有向图；以及求解有向图之间的至少一个重叠。

方法的实施方式可以包括以下特征中的一个或多个特征。该身体的该部分可以是肺，并且检测这些血管的起点可包括检测心脏处或附近的这些血管的起点。该方法可包括：利用第一阈值对该分割概率图进行滤波，从而产生第一原始分割；将体素添加到该第一原始分割，从而产生第一扩展分割；扩张该第一扩展分割；以及从该第一扩展分割中去除具有低衰减值的体素，从而产生更新分割。该方法可包括：计算该更新分割的骨架；以及将该骨架添加到该第一原始分割。

该第一阈值可介于约0.1和0.4之间。该方法可包括：利用第二阈值对该分割概率图进行滤波，从而产生第二原始分割；基于该3D图像数据集来计算局部衰减值统计；添加具有该第二原始分割的具有相同衰减值统计结果的近邻体素的体素，从而产生第二扩展分割；以及组合该第一扩展分割和该第二扩展分割，从而产生该更新分割。该第二阈值可以是约0.5。跟踪从该终点到这些起点中的每个起点的该最短路径可包括：使用戴克斯特拉算法来跟踪从该终点到这些起点中的每个起点的该最短路径。该身体的该部分可以是脑、肺、肾、肝、胃、肠、前列腺、直肠或结肠。

附图说明

在附图中绘示了各种示范性方面。应当理解，为了说明的简单和清楚，下面引用的附图中所示的元件不必按比例绘制。而且，在认为适当的情况下，可以在附图中重复附图标记以指示相同的、对应或类似的元件。附图列举如下。

图1是根据本公开的用于生成动脉和静脉的3D模型的系统的框图；

图2是绘示通过本公开的各方面解决的挑战的示意图；

图3是绘示根据本公开的各方面的神经网络的示例的框图；

图4是绘示根据本公开的各方面的包括血管分析的方法的流程图；

图5A至图5C是绘示执行图4的血管分析的方法的各方面的图；

图6是绘示向图1的系统的输入和来自该系统的输出的示例的图；

图7A和图7B是绘示图3的神经网络的编码器的示例的框图；

图8A至图8C是绘示图3的神经网络的解码器的示例的框图；

图9A和图9B是绘示可由图3的神经网络执行的拓扑嵌入的示意图；

图10和图11是绘示通过本公开的各方面解决的挑战的示意图；

图12是绘示图3的神经网络的输出的示例的图；

图13是绘示检测动脉的根的方法的流程图；

图14是绘示自动根检测的结果的三维图；

图15A至图15C是绘示用于动脉的自动根检测的计算断层摄影(CT)图像；

图16是绘示检测静脉的根的方法的流程图；

图17A至图17C是绘示用于静脉的自动根检测的CT图像；

图18A至图22是绘示用于封闭分割中的孔的方法的图；

图23是绘示封闭分割中的孔的方法的流程图；

图24是绘示图23的方法的流程图；

图25A至图25C是绘示封闭分割中的孔的另一方法的流程图；

图26A是绘示在不进行滤波的情况下估计血管半径的结果的3D脉管系统模型的一部分的图；

图26B是绘示在进行滤波的情况下估计血管半径的结果的3D脉管系统模型的一部分的图；

图27是绘示将路径合并成树的图；

图28是绘示其中检测到血管的终点的血管图的图；

图29是绘示用于检测终点的未被跟踪骨架体素的连通分量的3D图的图；

图30是绘示用于检测终点的血管骨架图的图；

图31至图33是绘示由神经网络误分类的血管的示例的标注图像；

图34是绘示近邻体素和与这些体素相关联的统计结果的示意图；

图35是绘示根据本公开的生成血管的3D模型的方法的示例的流程图；

图36A至图36D是绘示创建血管图或树结构的方法的图；

图37是绘示处理血管之间的重叠的方法的流程图；

图38A是绘示3D脉管系统模型的示例的图；

图38B至图38D是绘示处理重叠的重叠图的示例的图；

图39A是绘示血管交叉的示例的示意图；

图39B是绘示血管交叉的示例的3D脉管系统模型；

图40A是绘示终点的错误分类的示例的示意图；

图40B是绘示终点的错误分类的示例的3D脉管系统模型；

图41A是绘示误分割的示例的示意图；

图41B是绘示误分割的示例的3D脉管系统模型；并且

图42是能够执行本文描述的方法的计算机系统的示意图。

具体实施方式

本公开涉及从3D图像数据集自动提取血管(例如，肺的血管)的改进技术和方法。这些技术和方法可形成用于使用深度学习技术来生成肺部血管的3D模型的算法流水线的一部分。算法流水线可包括：对3D图像数据集(例如，CT图像)进行标注；对3D图像数据集进行分割(例如，经由语义分割方法)和分类；寻找根(例如，经由根检测方法)；封闭分割孔；寻找终点(例如，经由终点检测方法)；生成有向图以及基于有向图来创建3D模型。生成有向图可包括：选择根；创建最短路径；将路径合并成树以及/或者对这些树执行重叠分析。给定患者CT体积，本公开的方法自动创建肺脉管系统的3D解剖树。

这些方法包括将CT图像分成单独对象的分割。在肺的分割的情况下，分割的目的是将组成气道和脉管系统(例如，腔结构)的对象与周围肺组织分开。这些方法还包括生成对患者的脉管系统进行建模的有向图结构。动脉和静脉被分成不同的图结构。该模型稍后用于生成3D对象，该3D对象可在规划应用程序中被渲染和操纵。这允许临床医师基于哪些血管应当被切除(例如，在手术中)以及哪些血管应当被避开(例如，在手术或消融程序中)来规划程序。本公开的方法可依赖于手动和/或半自动创建的树结构，这些手动和/或半自动创建的树结构使得能够创建用于神经网络训练和评估的地面真值3D模型，该神经网络训练和评估识别3D图像数据内的结构和从该3D图像数据导出的3D模型。改进的结构识别允许图像和3D模型的附加分析，并且能实现精确的手术或治疗计划。本公开的方法可应用于规划肺癌消融疗法、肺段切除术或肺叶切除术。

肺部脉管系统进入心脏的左心房。通常存在四个肺部静脉。肺部动脉干离开心脏的右心室。在一方面，本公开的方法基于所分割的血管来创建从心脏开始到肺外周的肺部脉管系统的3D模型。3D模型在树数据结构诸如有向图中对脉管系统树的动脉和静脉进行建模，以使得除其他功能之外能够突出显示脉管系统树的子段并且将脉管系统树可视化到特定代。本公开的方法可最小化或消除对手动编辑3D模型的需要。

与可视化相关联的一个挑战在于对纵隔区域的分割导致肺部血管和周围解剖结构之间的低对比度。分类也可能是挑战，因为动脉和静脉可在一些点处彼此接触并且在它们之间没有对比度。对于肺区域中的分类，挑战包括大的解剖变化，以及动脉和静脉在一些点处的接触并且在它们之间几乎没有对比度。

为了改进可视化，本公开的系统和方法可利用一些解剖信息来改进深度神经网络模型。解剖信息可包括连通性信息。例如，每个血管可从外周跟踪到心脏。解剖信息还可包括从心脏到门(即，肺的入口)具有低解剖变化的中心区域信息。解剖信息还可包括外周区域信息，诸如通常伴随动脉的气道。

如图1所示，本公开的方法可由用于对血管例如肺部血管进行三维(3D)建模的自动系统框架100执行。自动系统框架100可包括肺分割模块110，该肺分割模块获取或接收肺的图像数据集(例如，CT图像数据集)并且执行肺分割。肺分割模块110可从成像装置获取或接收图像数据集。另选地或除此之外，肺分割模块110可从存储图像数据集的存储器读取肺的图像数据集。肺分割模块110使用现有的深度神经网络模型来在语义上分割肺。成像装置可结合适用于捕获和分割肺的二维图像的任何成像模态。虽然本公开涉及肺，但本公开的各方面可适用于患者身体的其他血管化部分，诸如器官、下身、上身、四肢或组织体积。

自动系统框架100还可包括血管分析模块120，该血管分析模块基于由肺分割模块110生成的所分割的肺来执行血管分析。血管分析模块120包括深度神经网络122、根检测模块124和血管图创建模块126。血管分析包括利用深度神经网络122的深度神经网络模型识别图像数据集中的血管并且处理所识别的血管。深度神经网络122可基于深度卷积网络架构。深度神经网络122也可由递归单元实现。可将实现信道注意机制的附加模块添加到深度卷积网络架构以提高性能。信道注意机制可以是挤压和激励网络。由递归单元实现。自动系统框架100还可包括3D网格生成模块130，该3D网格生成模块基于由血管图创建模块126生成的血管图或树结构来生成3D网格。自动系统框架100可由存储在计算机系统(例如，图42的系统4200)的存储器中并且由计算机系统的处理器执行的应用程序或指令实施。

如图2所示，由肺分割模块110执行的分割算法可在分割图像时面临多种挑战。这些挑战包括识别纵隔1202中血管的轮廓，识别“接触”静脉1204的动脉的轮廓，排除不想要的血管1206、1208(例如，主动脉)，排除气道壁1210，以及避免“环”、“孔”、不连续和渗漏。

图3绘示了可在本公开的系统和方法中使用以至少解决上文所述的挑战的神经网络的示例。深度神经网络包括编码器304、解码器306a、306b、分割层310、拓扑层320、距离图层330和分类层340。编码器304对图像诸如CT图像302进行编码，以生成所编码的数据。解码器306a、306b对所编码的数据进行解码。

分割层310使用其示例在本文进行描述的骰子损失312来分割来自解码器306a的所解码的数据，以生成分割图315。分割图315包括对于每个体素该体素是血管的概率。拓扑层320使用其示例也在本文进行描述的一致性损失344和/或拓扑损失322来确定来自解码器306a的所解码的数据中的点之间的拓扑距离，以获得拓扑嵌入矢量325。距离图层330使用其示例也在本文进行描述的平滑L1损失332来确定来自拓扑层320的拓扑嵌入矢量中的点之间的欧几里德距离，以获得距离图335。

分类层340生成分类图345，该分类图包括对于每个体素该体素是动脉或静脉的概率。分类图345在图3中被绘示为覆盖在CT图像上。分类层340使用交叉熵损失342和一致性损失344基于来自拓扑层320的拓扑嵌入矢量来生成分类图345。每个拓扑嵌入矢量表示每个体素。拓扑嵌入矢量指示对应于体素对的点对之间的拓扑距离。生成血管树。可根据图状结构生成

一致性损失344解决分类层340的结果和拓扑层320的结果不一致的情况。例如，分类层340可指示两个点属于相同血管，而拓扑层320可指示这两个点属于不同血管。或者，相反地，分类层340可指示两个点属于不同血管，而拓扑层320可指示两个点属于相同血管。一致性损失344平滑化分类层340和拓扑层320之间的不一致性。

在第一阶段中估计对患者的CT扫描的分割和分类的3D概率图之后，在第二阶段中使用所估计的3D概率图来创建表示肺部脉管系统的有向图。在第二阶段中，可跟踪从脉管系统外周朝向心脏的路径。然后，将这些路径合并成图。图4绘示了实现第一阶段和第二阶段的方法的示例。

在框401处，利用骰子损失、拓扑损失和标注CT图像来训练神经网络，其中使用例如本文描述的合适标注工具来手动和/或半自动地分割并分类血管。神经网络的训练可在与图42的系统4200分开的硬件上执行。神经网络可使用具有足够处理能力的专用硬件来训练，该专用硬件例如包括多个强大的图形处理单元的系统或云中的可比较系统。另选地或除此之外，神经网络可利用标注CT图像训练，这些标注CT图像已经使用经典图像分割技术来分割以分割CT图像中的血管。经典的图像分割技术可包括例如基于边缘的技术、基于区域的技术或阈值技术。

在框402处，使用所训练的神经网络来对未标注CT图像中的血管进行分割，从而产生分割图。由于分割图可包含负误识区域(其可被称为“孔”)，因此在框403处处理分割图以封闭孔。在分割图中的孔被封闭之后，自动检测所分割的血管的根或起点以及终点。根可包括动脉起源、左肺静脉起源和右肺静脉起源。血管起源位于心脏处。因此，如图4和图5A所示，在框404处，检测血管501的根504，并且在框406处，检测跟踪从其开始的外周血管502的终点506。

在框408处，使用最优或最短路径算法来跟踪从每个所检测的终点(例如，终点506)到每个所检测的根(例如，根504)的最优或最短路径(例如，最短路径508)。最短路径算法可以是戴克斯特拉算法。在框410处，选择最可行路径。例如，图5B中示出的最短路径510与最短路径512相比具有更好的分数，因为路径510a具有最小的类替代。在一些方面，从可能的根选择最佳根，并且选择从最佳根到终点的路径的类。

可执行一个或多个附加步骤以提高性能。例如，可在执行最短路径算法之前拒绝包含不太可能的曲线(例如，U形转弯)的任何路径。又如，可将路径的重建和根的选择拆分成两轮。在第一轮中，如果对于给定终点，现存在具有高确定性的路径，则该给定终点保持不被跟踪。路径的确定性可基于包括拓扑距离和高于阈值的角度的相关因素来确定。例如，可将具有高拓扑距离和高于阈值的角度的路径确定为具有高不确定性的路径。在第二轮中，在根据第一轮的路径创建初始血管树之后，算法可重新访问先前被拒绝的终点，并且可选择路径不与和根的类型相反的类型的血管创建显著重叠的根，例如，在尝试连通到动脉根并且路径与静脉重叠的情况下。

在框412处，方法400确定是否存在要处理的更多终点。如果存在要处理的更多终点，则重复框708和710。如果不存在要处理的更多终点，则方法700前进至框414。如图5C所示，在框414处，将通向相同根的最可行路径510a–510c联合或合并成单个有向图或树。将路径合并成树的过程可包括估计沿着路径的半径。为了更准确地估计半径，可将单调条件结合到对半径的估计中。单调条件可包括作为输入的距离边界，该距离边界可被定义为一种体积，该体积与分割的边界具有一定距离，使得该体积在中心线上具有最大值。

对于每个计算的最短路径，估计开始于终点并结束于根的半径。在当前点处对距离边界体积进行采样，从而产生当前值。然后，当前半径被设置为等于先前半径和当前值中的最大值，使得当前半径等于或大于该先前半径，并且整个血管的大小仅从终点到根部增大。图26A示出在不执行任何滤波的情况下生成以说明所估计的血管半径不准确的血管模型。血管的由圆圈2601突出显示的部分示出血管变窄，这反映血管半径的不准确估计。图26B示出在具有单调条件的情况下对所估计的血管半径进行滤波以说明对血管半径的估计不准确之后的血管模型。血管的由圆圈2602突出显示的部分反映对血管半径的更准确估计。

图27是绘示根据本公开的一个方面的将路径合并成树的图。将路径合并成树可包括对于每个路径，确定树是否为空。如果树为空，则当前路径2710被视为初始树。如果树不为空，则该方法从根点开始，沿着当前路径2710行进，并且计算当前路径2710的中心线2712和树2720的中心线2722之间的距离2730。如果所计算的距离2730大于阈值，则拆分当前路径2710，从而导致子路径。

在框418处结束之前，在框416处求解有向图之间的重叠。在求解有向图之间的重叠之后，可使用有向图来创建3D模型。例如，对于肺部脉管系统，图6绘示的3D模型604可基于有向图来创建。因此，本公开的系统和方法可接收体积图像(例如，CT图像602)作为输入，并且可输出3D模型(例如，3D模型604)。

图7A和图7B示出了图3的深度神经网络的编码器304的示例。如图7A所示，CT体积图像702a被输入到递归卷积神经网络(RCNN)720。如图7B所示，RCNN 720可包括两个递归块722。每个递归块722包括3D卷积块724、组归一化块726以及整流线性单元(ReLU)块728，该ReLU块的输出被输入到3D卷积块724。

RCNN 720输出卷积块704a。卷积块704a然后被输入到挤压和激励(S&E)块730。S&E块730以最小计算成本改进RCNN 720的卷积信道彼此相关性。如图7B所示，S&E块730包括发端块731、全局池化块732、第一全连通层733、ReLU块734、第二全连通层735、S形激活块736和缩放块737。全局池化块732将卷积块的每个信道挤压为单个数值。第一全连通层733和ReLU块734添加非线性。第二全连通层735和S形激活块736给予每个信道平滑门控函数。缩放块737基于全局池化块732、第一全连通层733、ReLU块734、第二全连通层735和S形激活块736的处理结果来对卷积块的每个特征图进行加权。

S&E块730输出卷积块706a。经处理的卷积块706a然后被输入到最大池化块708。最大池化块708减小卷积块706a的维度。最大池化块708输出卷积块702b。卷积块702b被输入到RCNN 720，该RCNN输出卷积块704b。然后，卷积块704b被输入到S&E块730，该S&E块输出706b。然后，卷积块706b被输入到最大池化块708，该最大池化块输出卷积块702c。

卷积块702c被输入到递归卷积神经网络720，该递归卷积神经网络输出卷积块704c。然后，卷积块704c被输入到S&E块730，该S&E块输出卷积块7106c。然后，卷积块706c被输入到最大池化块708，该最大池化块输出卷积块702d。卷积块702d被输入到递归卷积神经网络720，该递归卷积神经网络输出卷积块704d。然后，卷积块704d被输入到S&E块730，该S&E块输出卷积块706d。然后，卷积块706a–706d被组装(例如，级联)成输出卷积块710。

图8A至图8C示出绘示图3的深度神经网络的解码器306a、306b的示例的框图。如图8A和图8B所示，图7A所示的卷积块706d被输入到上转换块820，该上转换块输出卷积块804a。然后，卷积块804a与图7A所示的卷积块702c级联825，从而产生卷积块806a。卷积块806a被输入到RCNN720，该RCNN输出卷积块808a。然后，卷积块808a被输入到S&E块730，该S&E块输出卷积块802a。

卷积块802a被输入到上转换块820，该上转换块输出卷积块804b。然后，卷积块804b与图7A所示的卷积块702b级联825，从而产生卷积块806b。卷积块806b被输入到RCNN720，该RCNN输出卷积块808b。然后，卷积块808b被输入到S&E块730，该S&E块输出卷积块802b。

卷积块802b被输入到上转换块820，该上转换块输出卷积块804c。然后，卷积块804c与图7A中绘示的卷积块706a级联825，从而产生卷积块806c。卷积块806c被输入到RCNN720，该RCNN输出卷积块808c。然后，卷积块808c被输入到S&E块730，该S&E块输出卷积块802c。卷积块802c被输入到卷积块830a。

如图8B所示，第一解码器306a包括图8A所示的卷积块830a和S形函数，它们输出分割层812。第二解码器306b包括两个卷积块830b、830c，这两个卷积块接收来自图8A所示的卷积块830a的输出作为输入。第二解码器306b提取来自卷积块830b的输出的S形部分，从而产生分类层816。第二解码器306b提取来自卷积块830c的输出的ReLU部分，从而产生距离图层818。如图8C所示，上转换器块820可包括上采样块822、3D卷积块824、组归一化块826和ReLU块828。

深度神经网络可基于具有每个体素输出的U型网络风格架构。深度神经网络可包括接收3D体积图像(例如，CT体积图像)的输入，以及提供分割概率、分类概率(例如，动脉概率)和拓扑嵌入矢量的多个输出。拓扑嵌入矢量使用血管连通性信息来提高准确性。深度神经网络可利用大的补片大小，这由于大的上下文而提高纵隔区域中的准确性，并且使得深度神经网络能够大量地使用连通性信息。

深度神经网络针对每个体素输出拓扑嵌入矢量。深度神经网络被训练以将拓扑嵌入矢量的欧几里德距离与对应拓扑距离匹配。例如，如图9A和图9B所示，欧几里德距离(D)为：D(a1,a2)＝5mm(902)，D(a1,a3)＝12mm(904)，并且D(a1,v1)＝5mm(906)；并且拓扑距离(T)为：T(a1,a2)＝5mm(902)，T(a1,a3)＝15mm(908)，并且T(a1,v1)＝∞。深度神经网络可被训练以将拓扑嵌入矢量的欧几里德距离与对应拓扑距离匹配，如下：||Net(a1)-Net(a3)||≈15mm，并且||Net(a1)-Net(v1)||→∞。在一个实施方式中，损失项可被添加在深度神经网络的训练中以使分类差异与拓扑距离相关。

图3的神经网络的拓扑损失322可用于增大特征空间中的类距离。拓扑损失322可根据拓扑损失计算的以下示例确定。在一个示例中，D(x1,x2)＝T(x1,x2)，其中x_i是点pi中的网络拓扑层值。因此，对于每对p1、p2，D(x(1),x(2))＝15mm并且D(x(1),x(1))→∞，其中D(p1,p2)<α(910)。与补片中的每对骨架点p1、p2相关联的地形损失可根据以下公式计算：

然后总拓扑损失可根据以下公式计算：

其中n是对的总数，并且K是常数，该常数例如可等于或大于3(拓扑损失的最大值的3倍)。在其他方面，K可以是适用于充当无穷大量度的任何常数值，即，太大以致于不是拓扑损失的数。例如，K可以是4或5。增大常数K增大了特征空间中动脉和静脉之间的距离。

在一些情况下，可存在分类不一致性，其中血管的一部分被分类为静脉，而相同血管的另一部分被分类为动脉。例如，如图10所示，血管1001的第一部分1002和第二部分1004可被分类为静脉，而血管1001的在血管1001的第一部分1002和第二部分104之间的第三部分1012可被分类为动脉。

为了增大沿着血管的分类一致性，可将无监督的“平滑”损失诸如平滑L1损失332应用于距离图层330。平滑L1损失332可根据平滑L1损失计算的以下示例确定。S_p可被定义为点p的网络分割层的结果，M_p可被定义为点p的网络距离图层的结果，C_p可被定义为点p的网络分类层的结果，T(p₁,p₂)可被定义为点p1和p2之间的网络拓扑距离的结果，并且D(p₁,p₂)可被定义为点p₁和p₂之间的欧几里德距离。对于训练补片中的每对点(p₁,p₂)，可施加以下条件示例：

S_p1>0.5，S_p2>0.5(分割体素)，

(在骨架上或附近)，

D(p₁,p₂)<3(p₁在p₂附近)，并且

(根据拓扑嵌入层的相同分类值)。

在各方面，针对以上条件的阈值可以是适用于获得给定体积图像数据的准确分类结果的其他阈值。然后总平滑L1损失可根据以下公式计算：

其中n是点对p₁、p₂的总数，并且MSE是均方误差。

在一些情况下，可存在对“无关紧要”区域的无监督提取。手动用户标注可不延伸到血管的全部范围。例如，如图11所示，静脉和动脉可分别继续超过静脉的标注部分1102和动脉的标注部分1112，从而留下静脉的未标注部分1104和动脉的未标注部分1114。另外，深度神经网络可将一些体素正确地分类为血管，但这可对深度神经网络的训练具有负面影响。这些问题的一个解决方案可以是使用外周血管的预先训练的分割模型。另一个解决方案可以是对分割骰子损失项进行加权。例如，所加权的骰子损失可根据以下表达式计算：

其中p_i是预测值，g_i是地面真值，对于未标注外周血管(例如，图11的1104、1114)w_i＝0，并且否则w_i＝1。

参考图12，深度神经网络122可被监督，这意指深度神经网络122基于示例的训练集来优化。在实际使用期间，到深度神经网络122的输入是CT图像602，并且来自深度神经网络122的输出是体积数据，该体积数据按照输出的顺序包括拓扑嵌入矢量325、分割图315、分类图345和距离图335。在训练期间，地面真值信息用于评估来自深度神经网络122的输出并且基于该评估来更新深度神经网络122的权重。该评估使用损失作为度量。这些损失可包括以下损失中的一者或多者：拓扑损失、一致性损失、骰子损失、交叉熵损失和平滑L1损失。

深度神经网络的质量可取决于大的标注数据集的可用性。由于血管连通性信息，外周信息提高了准确性。然而，分支的数目可以指数方式增大。因此，本公开的系统和方法可提供有效的标注工具以分割和分类医学图像数据集例如3D医学图像数据集中的血管分支。标注工具可以是手动和/或半自动工具。标注工具可包括分割血管的预先训练的神经网络，以及在两个点(例如，根和终点)之间创建血管的最短路径算法，这两个点由用户(例如，在阅读医学图像方面具有经验的临床医师)手动选择。这导致血管的准确分割和解剖树的标注。

可针对进入或离开心脏的每个血管生成单独的树。每个树模型可被分解成一组圆柱形节段。显示斜视图，其中准确地标记半径。然后，将该节段的柱面添加到树并且显示给用户。在手动和/或半自动分割血管之后，可更新脉管系统(例如，肺的脉管系统)的3D模型。然后可使用标注3D医学图像数据集来训练本公开的神经网络，以自动分割和分类其他3D医学图像数据集。

在各方面，可通过将神经网络的结果与标注3D模型进行比较来评估神经网络的准确性。评估方法的准确性判据可基于中心线点。命中可是指方法的分割内部的地面真值中心线。正确分类可是指正确地分配动脉标记或静脉标记的方法。并且完全正确可是指其中存在命中和正确分类两者的情况。可存在其中存在未命中的情况和其中存在不正确分类的情况的示例。在一个示例性评估中，在血管树的不同深度处评估神经网络准确性以获得以下结果：

·直至肺叶血管：99.2％命中，98.5％完全正确；

·肺叶+5cm：99.5％命中，97％完全正确；以及

·整个模型：99.5％命中，96％总正确。

在评估的示例中，关于一个CT切片中的分割，在中心区域中和在外周中检测到所有血管，并且在纵隔中不存在因主动脉或腔静脉引起的正误识。关于相同CT切片的分类，在地面真值体素和所分割的动脉和静脉体素之间存在良好重叠。对于相同CT切片，即使在不同血管正在接触的区中也存在准确的界线，而在CT切片中没有清晰的界线。在示例性评估中，神经网络误差包括：在另一CT切片中的分类误差，其中存在沿着血管从动脉到静脉的变化；在另一CT切片中的分割孔；以及约97％的体素是准确的。其余血管分析可被设计成对于这些误差是稳健的，使得分支不会从3D模型被切断。

在本公开的方法的第二阶段中，在所分割的血管中检测根。图13是用于自动检测动脉根的方法的流程图。在框1302处，接收具有动脉分割的二进制体积、距离边界体积和肺掩模。距离边界体积是一种体积，该体积与分割的边界具有一定距离使得该体积在中心线上具有最大值。肺掩模是在肺内部的每个体素上为真的二进制体积。在框1304处，将血管分类为动脉。在框1306处，根据动脉分类计算骨架。在框1308处，创建动脉图。

图14示出了动脉图1400的示例。动脉图1400可使用合适的软件库来创建。在框1310处，从动脉图1400提取终点。终点可被识别为仅具有一个近邻项的体素。在框1312处，对在肺掩模外部的终点进行滤波。在框1314处，在终点的坐标中对距离边界进行采样，并且在框1316处，对具有低于阈值的半径的所采样的距离边界进行滤波。然后，在框1318处，选择到最近分叉具有最长路径的终点例如终点1402作为动脉的根。在一些方面，选择动脉的最前点作为根。图15A至图15C示出了其中检测到动脉根1502的CT图像的示例。

图16是用于自动检测静脉根的方法的流程图。在框1602处，接收具有动脉分割的二进制体积、距离边界体积、肺掩模以及先前检测到的动脉根。图16的方法假设每个肺的静脉根的最大数目是二。在框1604处，将血管分类为静脉。在框1606处，根据被分类为静脉的血管计算骨架。在框1608处，创建静脉图。静脉图可使用合适的网络软件库来创建。在框1610处，从图提取连通分量并将其归类。然后，针对每个连通分量，执行框1612-1618。可按以最大连通分量开始并以最小连通分量结束的顺序对连通分量执行框1612-1618。

在框1612处，方法1600确定连通分量是否具有在肺外部的体素和在肺内部的体素。如果连通分量具有在肺外部的体素和在肺内部的体素，则在框1614处提取与距离边界具有最大半径的具有仅两个近邻项的体素。在框1616处，确定根的当前候选项所属于的肺。在框1618处，方法1600确定所确定的肺的根的数目是否小于2。如果所确定的肺的根的数目小于2，则在框1620处添加当前根。然后，在框1622处，方法1600确定是否存在要处理的另一连通分量。如果存在要处理的另一连通分量，则方法1600返回到框1612。否则，方法1600在框1624处结束。

如本文所述，医学图像的血管分割可包括“孔”。在各方面，方法(包括例如图18A至图25C所示的方法)可被采用以封闭或填充血管分割中的孔。如果孔未被封闭，则可能的误差包括在图创建期间未命中血管和不正确标记。这些误差可导致对用户和患者产生负面影响。例如，由于3D模型可用于手术规划，因此如果3D模型未命中血管，则临床医师可能在手术期间不知道该未命中的血管并且切穿该未命中的血管，这可能导致显著出血。

在一个方面，封闭孔的方法可包括大致寻找心脏1802的中心点1804，如图18A所示。这可例如通过对动脉和静脉的所有根的位置求平均来实现。如图18B至图18D所示，静脉1812a和1812b的根位置1822a和1822b以及动脉1811的根定位1821被求平均以寻找心脏1802的中心点1804。封闭孔的方法还可包括大致寻找左门中心点和右门中心点。图19A绘示了右门的中心点1902a。例如，如图19B至图19D所示，这可通过寻找肺掩模与线1912的交点x、y、z 1915，使得y、z是距心脏1901的预先确定的距离(例如，±40mm)1914并且最大分割体素在x轴上来执行。

封闭孔的方法还可包括寻找最接近门的动脉骨架点和静脉骨架点。寻找动脉骨架点和静脉骨架点可包括针对连通到每个类(例如，动脉和静脉)的门的最大分量创建骨架，并且寻找最接近每个类的门的骨架点，使得最接近的骨架点的半径是根的半径的大致一半。例如，如图20A所示，针对动脉1811的最大连通分量创建骨架2011，并且寻找最接近动脉1811的门的骨架点2021，使得最接近的骨架点的半径是根的半径的大致一半。以类似的方式，可寻找静脉骨架点。

封闭孔的方法还可包括寻找“孔”的候选点。寻找“孔”的候选点可包括针对未连通到每个最大连通分量的类的最大连通分量的每个类的每个最大连通分量创建骨架，并且如果骨架点的半径大于可预先确定的阈值，则选择最接近门中心点的骨架点。例如，如图20B所示，针对未连通到静脉的最大连通分量的静脉1812的大连通分量创建骨架2012。接着，选择最靠近门中心点并且具有大于阈值的半径的骨架点2022。

封闭孔的方法还可包括寻找从孔到现有分割的最优路径。寻找从孔到现有分割的最优路径可包括执行从候选点2102到相同类的最接近的门骨架点的戴克斯特拉算法。戴克斯特拉算法可根据以下条件中的一个或多个条件执行：

1.优先考虑现有相同类分割的中心线；

2.如果算法节省x3距离，则允许该算法遍历“白色”体素；

3.如果算法节省x6距离，则允许该算法遍历相反类的分割；以及

4.当算法到达任何类型的现有分割时停止。

例如，如图21A所示，从候选点2102到相同类的最接近的门骨架点2108执行戴克斯特拉算法。虽然存在现有相同类分割(即，分割静脉2104)，但该算法遍历“白色”体素2105，因为这节省了x3距离，并且该算法遍历相反类的分割(即，分割动脉2106)。算法在现有分割动脉2106处停止。图21B绘示了戴克斯特拉算法的邻接矩阵2110的示例，该邻接矩阵示出从起始候选点2112到结束点2118(例如，最接近的门骨架点2108)的最短路径2115。

封闭孔的方法还可包括根据最短路径创建分割。根据最短路径创建分割可包括对于最短路径上的每个“白色”点，基于“白色”邻域体素来估计半径，并且对体积中的圆锥进行着色。例如，如图22所示，针对最短路径2202上的每个“白色”点2206，基于“白色”邻域体素来估计半径2204，并且在由所估计的半径2204限定的体积中绘制圆锥2208或对该圆锥进行着色。

在另一方面，图23的方法2300可被采用以封闭血管分割中的孔，该方法由图24绘示。方法2300可单独地应用于动脉分割和静脉分割。在框2302处，获取或接收身体的一部分(例如，肺)的三维(3D)图像数据集。在框2304处，分割3D图像数据集以识别血管。在框2306处，方法2300确定是否在血管中检测到孔。如果在血管中检测到孔，则在框2308处并且如图24的步骤2402所示，利用较低阈值(例如，0.5的阈值)对分割(例如，分割概率图)进行滤波以获得扩展分割，并且将体素添加到扩展分割的血管。

在框2312处并且如步骤2406所示，去除具有低衰减值(即，低亨斯菲尔德值)的体素2407。在形态扩张之后，可添加具有低衰减值(CT图像中的灰度)的空气区域。因此，该空气区域被去除。在框2314处并且如步骤2408所示，更新分割，从而产生更新分割2409，并且计算更新分割2409的新骨架2411。因为新区域(例如，新区域2415)被添加到不是血管的原始分割2401，所以使用新骨架2411。通过骨架化，去除所有不相关体素，并且创建穿过孔(例如，孔2420)的连通。在框2316处并且如步骤2410所示，将新骨架2411添加到原始分割2401。在各方面，如果方法2300未命中孔，则可收集更多孔。可采用附加方法来处置长孔和在其末端具有不同类标记的孔。

在各方面，可在分割概率图上使用低阈值来扩展分割。如图25A所示，这可涉及在框2502处获取肺的CT图像数据集并且在框2504处分割CT图像数据集以获得分割概率图之后，在框2506处利用低阈值对分割概率图进行滤波，并且在框2508处对分割概率图应用形态扩张。该方法的结果是来自低阈值的扩展分割2510。

另选地，分割可使用根据CT体积得到的局部亨斯菲尔德单位(HU)统计结果。这可涉及利用例如0.5的阈值对分割概率图进行滤波以提取原始分割，根据CT体积计算局部HU统计结果，并且通过添加具有带有相同HU统计结果的分割近邻项的体素来扩展分割。图25B绘示了根据HU统计结果扩展分割的方法的示例。

在框2512处，获取肺的CT图像数据集，并且在框2514处，分割CT图像数据集以获得分割概率图。在框2516处，利用阈值对分割概率图进行滤波以提取原始分割。阈值可以是0.5或适用于提取原始分割的另一阈值，例如0.3、0.4或0.6。在框2518处，根据CT体积计算局部HU值统计结果。在框2520处，添加具有带有相同局部统计结果的其邻域分割体素的体素以获得扩展分割。然后，在框2522处，将形态封闭应用于扩展分割以从HU统计结果获得扩展分割2524。

作为另一替代方案，可组合来自低阈值的扩展分割2510和来自HU统计结果的扩展分割2524。然后，所得组合可被骨架化以连通并且不添加不是血管体素的体素。图25C绘示了组合两个扩展分割以最终向原始分割添加新骨架的方法的示例。在框2532处，组合来自低阈值的扩展分割2510和来自HU统计结果的扩展分割2524。在框2534处，从所组合的扩展分割去除具有低强度的体素。在框2536处，对所组合的扩展分割进行骨架化。然后，在框2538处，将新骨架添加到原始分割。

在检测到血管分割中的根之后，本公开的方法检测血管分割2801、2802中外周点或终点2811、2812的坐标，如图28的血管图2800所示。在一个方面，使用在分割骨架或中心线上生长的区域来收集第一批终点。接着，在重建初始树之后，使用对保持不被初始树跟踪的中心线段的连通分量分析来收集第二批终点。

参考图29的3D血管骨架图，对于第一批，终点检测方法可包括根据血管分割生成骨架2901或中心线，定位骨架上最接近所检测的根2905的点，以及从每个所检测的根2905执行区域生长。区域生长可包括迭代地遍历尚未被跟踪的骨架体素。如果区域生长到达不具有任何尚未被访问的近邻项的体素，则该体素被标记为终点2910。任选地，可基于条件诸如最小血管半径估计或基于一些“血管性”分数诸如弗兰吉滤波器来在到达最终终点之前终止区域生长。

对于第二批，终点检测方法可包括通过从原始分割减去根据初始树(即，根据第一批终点生成的树)生成的分割来生成未被跟踪的血管的分割体积。对于第二批，终点检测方法还可包括通过对根据初始树生成的分割进行采样，将连通分量分析应用于未被跟踪的骨架体素并且根据每个连通分量使用具有度1的体素(即，仅连通到单个其他骨架体素的体素)作为终点(例如，图30所示的终点3010)来寻找在未被跟踪的血管内部的骨架体素，例如图30的3D图中示出的骨架体素3005。

当神经网络对体素进行分类时，分类准确性可为高，例如大于95％。然而，例如当重建从每个终点到心脏的路径时，小的误分类可导致错误根选择或路径创建。例如，如图31所示，神经网络可将被示出为由临床医师手动标注的静脉3102误分类为动脉3111。在图32所示的另一示例中，神经网络可将被示出为由临床医师手动标注的动脉3101误分类为静脉3112。在图33所示的另一示例中，神经网络可将一段血管错误地分类为动脉3111(这可被称为不连续血管分类)。

在一方面，本公开的方法寻找将肺外周处的每个终点与心脏中的终点相容根连通的最优路径。最优路径是真血管路径横穿至心脏的路径。生成最优路径可包括预处理阶段。预处理阶段可包括构建图，在该图中被分割为血管的体素是图的顶点，并且边缘基于体素之间的邻域定义。预处理阶段还可包括根据估计的分割概率、血管概率(例如，动脉或静脉概率)和/或到作为体素的连通顶点处的分割中心线的距离来对边缘进行加权。例如，图34绘示了近邻体素—体素3401和体素3402—以及这些体素的估计值。例如，体素3401具有0.8的估计分割概率、0.2的动脉概率以及1.5mm的到分割中心线的距离；并且，体素3402具有0.9的估计分割概率、0.1的动脉概率以及1.0mm的到分割中心线的距离。可根据体素的分割和动脉概率值对从体素3401连通到体素3402的边缘进行加权。

最优路径可以是基于可能的分数来生成的最短路径。可基于以下中的一者或多者来对这些边缘进行加权：近邻体素的分割概率、到近邻体素的中心线的距离、分类概率以及当前体素的中心和近邻体素的中心之间的距离。如果最短路径算法从动脉根或静脉根开始，则不同地使用分类概率。这意指生成两组权重：一组权重用于将终点连通到动脉根，而另一组权重用于将终点连通到静脉根。在动脉根的情况下，权重可以是近邻体素的静脉概率(即，通过从十进制数1减去动脉概率)。在静脉根的情况下，权重可以是近邻体素的动脉概率。

到中心线的距离是与分割的中心线具有一定距离使得分割在边界上具有最大值的体积。基于到中心线的距离的权重可使得最短路径穿过血管的中心，这可导致对血管半径的改进估计以及来自不同路径的路径的改进合并。基于到中心线的距离的权重还可有助于路径在穿过动脉和静脉的交点时停留在相同血管上。

最短路径算法的结果给出关于如何从每个终点行进到每个根的指令。可给予每个路径一个或多个分数。例如，SP分数可以是由路径横穿的所有边缘的权重之和。可基于路径的拓扑距离来给予每个路径另一分数。神经网络估计沿着路径的每个点的拓扑嵌入。拓扑嵌入可用于计算每个点嵌入和沿着路径进一步远离的点X步长之间的距离(例如，L2范数)。在一个示例中，可给予每个路径拓扑分数，该拓扑分数是针对每个路径计算的最大拓扑距离值。SP分数和拓扑分数可被组合以评估每个路径。SP分数和拓扑分数可通过例如将SP分数和拓扑分数相乘来组合。为了选择根，针对每个终点选择连通到所有可能的根(例如，与终点相关的动脉根或静脉根)的路径和具有最低分数的路径的组合分数。

在执行分割、分类和封闭分割中的孔之后，生成有向图。图35和图36A至图36D绘示了创建可用于生成3D网格模型的血管图或树结构的方法的示例。这些步骤可在可执行代码诸如软件和固件中实现，或者在利用图42的部件和系统的硬件中实现。在框3506处，检测所分割的血管3610、3620的根或起点3611、3621以及终点3612、3613、3622，如图36A所示。在框3508处，计算从可能的起点3611、3621到终点的最优路径3631-3633，如图36B所示。

在框3510处，从可能的起点选择最佳起点3611，并且在框3512处，选择从最佳起点3611到终点3622的最优路径3631的类，如图36C所示。在框3514处，方法3500确定是否存在要处理的另一终点。如果存在要处理的其他终点，则针对这些其他终点(例如，终点3612、3613)重复框3508-3512的过程。如果不存在要处理的其他终点，则在框3516处，将相同起点的路径合并成有向图或树结构，如图36D所示。然后，在框3518处，方法3500结束。

在各方面，血管可独立地被分类并跟踪回到心脏。然而，可在动脉分支和静脉分支之间存在重叠。因此，在图4的方法400的框416处求解血管树之间的重叠。这些重叠可在后处理中求解。后处理可包括检测重叠，将每个重叠分类为特定重叠类型，以及如果需要校正血管分类。求解有向图或树之间的重叠可根据图37的方法3700执行。

在框3702处，根据图38A的初始树3800生成图38B的重叠体积图3810。接着，在框3704处，对重叠体积图3810执行连通分量分析，在该重叠体积图中给予每个连通分量3822、3832唯一ID。在框3706处，对于图38C的每个终点3804，沿着从终点3804到根3808的路径3806对重叠体积图3810进行采样。在框3708处，收集关于穿过每个重叠的路径的统计结果。统计结果可包括以下中的一者或多者：平均血管半径；重叠长度(其可由平均半径归一化)；具有接近重叠的终点的路径的数目；穿过重叠的路径的数目，这些路径可被分成被分类为动脉的路径和被分类为静脉的路径的子集；以及，对于每个子集；以及所收集的分数，这些所收集的分数可包括拓扑嵌入分数、最短路径分数和网络分类的样本中的一者或多者。

在框3710处，将每个重叠分类为重叠类型。图39A至图41B是绘示血管重叠类型的示例的图。如图39A和图39B所示，重叠类型可包括实际动脉3901和实际静脉3902之间的有效交叉(在点3911、3912处)。如图40A和图40B所示，重叠类型可包括终点(例如，在点4001和4002处)的错误分类。重叠类型可包括可由例如相邻于重叠的病变、肺膨胀不全或裂隙引起的误分割。例如，图41A和图41B分别绘示了误分割的部分4101和4102。

如果重叠类型是血管之间的交叉，例如如由图38D的重叠3834所示，则方法3700在框3712处结束并且不执行校正。如果重叠类型是错误分类，则方法3700在框3714处确定重叠是否是来自一个分类类型的单个叶。如果重叠是来自一个分类类型的单个叶，则在框3716处将重叠的分类改变为无叶的类型。

在框3718处，方法3700确定重叠是否是长重叠，例如如由图38D的重叠3824所示。如果重叠是长重叠，则在框3720处基于所收集的统计结果(例如，分数)来寻找穿过重叠的所有路径的最优分类。如果重叠类型是误分割，则方法3700在框3722处确定是否存在来自两种类型的叶，并且在框3724处确定血管的半径是否小于阈值。如果存在来自两种类型的叶并且血管的半径小于阈值，则在框3726处修剪重叠之前的路径。否则，如果不存在来自两种类型的叶或者血管的半径不小于阈值，则方法3700在框3712处结束而不执行校正。

另选地，可通过使用图切割算法来求解血管树之间的重叠。图切割算法假设在动脉树的根和静脉树的根之间不存在连通。图切割算法根据放置在所分割的动脉和静脉的边缘上的分数或权重将正在重叠的树分开。然后，图切割算法可根据权重的平均切割来切割树，使得不存在将所分割的动脉连通到所分割的静脉的路径。

作为另一替代方案，血管树之间的重叠可通过使用拓扑嵌入图值的重叠拆分算法来求解。在一个方面，并非所有路径都被处理。重叠路径节段(例如，短重叠路径节段)可被识别，并且来自拓扑嵌入图值的分数可与所识别的重叠路径节段相关联。重叠拆分算法可确定重叠路径节段是属于动脉还是静脉，并且对应地拆分重叠路径节段。

重叠拆分算法可考虑与重叠路径节段相关联的各种度量，包括重叠路径的长度和来自拓扑嵌入图值的分数。例如，重叠拆分算法可分析跨重叠路径节段的边缘拓扑嵌入图值的变化。如果跨重叠路径节段的边缘拓扑嵌入图值的变化较小，则重叠拆分算法可确定重叠路径节段的两个部分属于相同血管。另一方面，如果跨重叠路径节段的边缘拓扑嵌入图值的变化较大，则重叠拆分算法可确定重叠路径节段的两个部分属于不同血管。

在通过执行支气管内切除手术或肺手术来治疗肺癌的情况下，医师必须了解患者的解剖结构，包括病变附近或通向病变的血管。例如，当进行叶切除术时，外科医生对进入和离开特定叶的血管感兴趣。医师可在治疗程序之前查看CT扫描并且使用CT扫描来使脉管系统结构和解剖变化可视化以便规划治疗程序。本公开的系统和方法自动生成患者身体的一部分的脉管系统的患者专用3D模型。脉管系统的患者专用3D解剖模型使得临床医师能够选择最佳手术方法并且防止并发症。另外，脉管系统的患者专用3D解剖模型可用于程序规划、术中安全和临床医师诸如外科医生的训练。

在生成血管图或树结构之后，基于该血管图或树结构来生成3D网格。3D网格是由多边形组成的3D模型的结构构建。3D网格使用参考点来定义具有高度、宽度和深度的形状，这些参考点是在图中识别的体素。包括例如移动立方体算法的各种不同方法和算法可用于创建3D网格。3D网格生成的结果是3D模型。图6是绘示根据本公开的系统和方法的可根据肺的CT图像602生成的全肺部血管模型604的图。在一个示例中，3D模型的准确性在中心可以是96.5％，并且在肺叶+5cm处可以是95.5％。

现在参照图42，该图是被配置用于与本公开的方法一起使用的系统4200的示意图。系统4200可包括工作站4201。在一些方面，工作站4201可例如通过无线通信直接或间接地与诸如CT扫描器或MRI的成像装置4215耦合。工作站4201可包括存储器4202、处理器4204、显示器4206和输入装置4210。处理器4204可包括一个或多个硬件处理器。工作站4201可任选地包括输出模块4212和网络接口4208。存储器4202可存储应用程序4218和图像数据4214。应用程序4218可包括可由处理器4204执行的指令，用于执行本公开的方法。

应用程序4218还可包括用户界面4216。图像数据4214可包括诸如CT图像数据集的图像数据集以及本文可用的其他数据集。处理器4204可与存储器4202、显示器4206、输入装置4210、输出模块4212、网络接口4208和成像装置4215(例如，CT成像装置)耦合。工作站4201可以是固定计算装置诸如个人计算机，或便携式计算装置诸如平板计算机。工作站4201可嵌入多个计算机装置。

存储器4202可包括用于存储数据和/或软件的任何非暂态计算机可读存储介质，这些数据和/或软件包括可由处理器4204执行并且控制工作站4201的操作并且在一些方面也可控制成像装置4215的操作的指令。在一方面，存储器4202可包括一个或多个存储装置，诸如固态存储装置，例如闪速存储器芯片。另选地或除一个或多个固态存储装置之外，存储器4202还可包括通过大容量存储控制器(未绘示)和通信总线(未绘示)而连接到处理器4204的一个或多个大容量存储装置。

本领域技术人员将理解，尽管通常结合CT图像数据，即构成3D体积的一系列切片图像进行描述，但是本公开不限于此，并且可以在不脱离本公开的范围的情况下，在包括磁共振成像(MRI)、荧光透视、X射线、超声、正电子发射断层扫描(PET)和生成3D图像体积的其他成像技术的各种成像技术中实现。此外，本领域技术人员将认识到，可以采用各种不同的算法来分割CT图像数据集，包括连通分量、区域增长、阈值、集群、流域分割、边缘检测等。

本领域的普通技术人员将认识到，本文描述的方法和系统可以体现在一个或多个可在计算机系统上操作的应用程序上用于各种诊断和治疗目的。首先，这些系统和方法可以在一个或多个教育或教学应用上实现。此外，所述方法和系统可以结合到程序规划系统中，在所述程序规划系统中，识别在CT图像数据集中发现的结构、血管和其它特征，并且规划手术或介入路径，以使得能够在期望的位置递送活组织检查或治疗。此外，这些方法可用于模拟手术后的血流路径，以确保在手术后未被切除或去除的组织仍可充分供血。本领域技术人员将认识到本文描述的图像处理方法的各种附加和补充用途。

尽管本文所含有的对计算机可读介质的描述是指固态存储，但是本领域技术人员应当理解，计算机可读存储介质可以是处理器可以访问的任何可用介质。即，计算机可读存储介质可包括以用于存储信息诸如计算机可读指令、数据结构、程序模块或其他数据的任何方法或技术实现的非暂态、易失性和非易失性、可移动和不可移动的介质。例如，计算机可读存储介质可包括RAM、ROM、EPROM、EEPROM、闪存或其他固态存储器技术、CD-ROM、DVD、蓝光或其他光学存储装置、磁带盒、磁带、磁盘存储装置或其他磁存储装置，或可用于存储期望信息且工作站可访问的任何其他介质。

当由处理器执行时，应用程序可致使显示器呈现用户界面。用户界面可被配置为向用户呈现本文描述的各种图像和模型。用户界面可被进一步配置为根据其目的、功能、重要性等以不同颜色显示和标记图像和3D模型的各方面。

网络接口可以被配置为连接到网络(诸如由有线网络和/或无线网络、广域网(WAN)、无线移动网络、蓝牙网络和/或因特网组成的局域网(LAN))。网络接口可用于在工作站和成像装置之间进行连接。网络接口可进一步用于接收图像数据。输入装置可以是用户可通过其与工作站交互的任何装置，诸如例如鼠标、键盘、脚踏板、触摸屏和/或语音界面。输出模块可包括任何连接端口或总线，诸如例如并行端口、串行端口、通用串行总线(USB)或本领域技术人员已知的任何其他类似连接端口。

虽然已在附图中示出本公开的多个方面，但不希望将本公开限于这些方面，因为希望本公开与本领域所允许的范围一样宽广且应以同样的方式解读本说明书。例如，本公开的系统和方法可形成用于身体的其他器官或各部分的手术规划应用的平台的一部分，这些手术规划应用包括在肝、胃、肠、结肠、直肠、前列腺、脑、颈部、上身或下身中的手术例如微创癌症手术；肾移植手术；以及血管搭桥和动脉瘤修复，这需要使用人工智能(AI)来对许多解剖部分进行分割和分类。因此，以上描述不应被解释为限制性的，而仅仅是作为特定方面的例证。

Claims (38)

1.一种系统，包括：

处理器；和

存储器，所述存储器上存储有神经网络和指令，所述指令在由所述处理器执行时，致使所述处理器：

致使所述神经网络分割身体的一部分的体积图像中的血管，从而产生分割的血管；

检测所分割的血管的根；

检测所分割的血管的终点；

确定从每个终点到所述根中的每个根的最短路径；以及

将到所述根的所述最短路径组合成有向图。

2.根据权利要求1所述的系统，其中所述指令在由所述处理器执行时，进一步致使所述处理器基于所述有向图来生成3D模型。

3.根据权利要求1所述的系统，其中所述神经网络使用3D U型网络风格架构。

4.根据权利要求1所述的系统，其中所述指令在由所述处理器执行时，进一步致使所述处理器：

接收其中识别血管的标注体积图像；以及

利用所述标注体积图像训练所述神经网络。

5.根据权利要求4所述的系统，其中所述指令在由所述处理器执行时，进一步致使所述处理器：

使用经典图像分割方法来分割所述体积图像中的血管，从而产生其中识别血管的所述标注体积图像。

6.根据权利要求5所述的系统，其中所述经典图像分割方法包括基于边缘的方法、基于区域的方法或阈值方法。

7.根据权利要求1所述的系统，其中所述神经网络包括分割层，并且其中所述指令在由所述处理器执行时，进一步致使所述处理器利用骰子损失训练所述分割层。

8.根据权利要求7所述的系统，其中所述骰子损失是加权骰子损失。

9.根据权利要求1所述的系统，其中所述神经网络包括拓扑层，并且其中所述指令在由所述处理器执行时，进一步致使所述处理器利用拓扑损失训练所述拓扑层。

10.根据权利要求1所述的系统，其中所述神经网络包括分类层，并且其中所述指令在由所述处理器执行时，进一步致使所述处理器利用交叉熵损失、一致性损失或交叉熵损失和一致性损失两者训练所述分类层。

11.根据权利要求1所述的系统，其中所述神经网络包括：

编码器，所述编码器被配置为处理所述体积图像并且输出编码器输出；

第一解码器，所述第一解码器耦合到所述编码器的所述输出，并且被配置为基于所述编码器输出来生成分割概率图；和

第二解码器，所述第二解码器耦合到所述编码器的所述输出，并且被配置为基于所述编码器输出来生成拓扑嵌入矢量、距离图和分类概率图。

12.根据权利要求11所述的系统，其中所述编码器、所述第一解码器和所述第二解码器各自包括递归卷积神经网络以及分别耦合到所述递归卷积神经网络的挤压和激励块。

13.根据权利要求11所述的系统，其中所述第二解码器包括处理所述拓扑嵌入矢量并输出所述分类概率图的卷积函数和S形激活函数。

14.根据权利要求11所述的系统，其中所述第二解码器包括处理所述拓扑嵌入矢量并输出所述距离图的卷积函数和整流线性单元。

15.根据权利要求1所述的系统，其中所述身体的所述部分是器官、颈部、上身或下身。

16.根据权利要求15所述的系统，其中所述器官是脑、肺、肾、肝、胃、肠、前列腺、直肠或结肠。

17.一种方法，包括：

接收身体的一部分的三维(3D)图像数据集；

使用神经网络模型来分割所述3D图像数据集以识别所述3D图像数据集中的血管；

使用所述神经网络模型来对所述血管进行分类；

使用所述神经网络模型来检测所述血管的起点；

使用所述神经网络模型来检测所述血管的终点；

针对每个终点：

计算从可能的起点到所述终点的最优路径；

从可能的起点中选择最佳起点；以及

设置从所述最佳起点到所述终点的路径的类；以及

将相同起点的路径合并成树结构。

18.根据权利要求17所述的方法，其中所述血管是动脉或静脉。

19.根据权利要求17所述的方法，其中检测起点和终点是使用神经网络模型来执行的。

20.根据权利要求17所述的方法，还包括使用拓扑损失来训练所述神经网络模型的拓扑层。

21.根据权利要求17所述的方法，还包括使用骰子损失来训练所述神经网络模型的分割层。

22.根据权利要求21所述的方法，还包括对所述骰子损失进行加权。

23.根据权利要求22所述的方法，其中对所述骰子损失进行加权包括：对于未标注外周血管将权重0应用于所述骰子损失，并且对于标注外周血管应用权重1。

24.根据权利要求20所述的方法，还包括：

计算拓扑嵌入矢量的欧几里德距离；

计算所述拓扑嵌入矢量的拓扑距离；以及

训练所述神经网络模型以将所述拓扑嵌入矢量的欧几里德距离与所述拓扑嵌入矢量的对应拓扑距离匹配。

25.根据权利要求24所述的方法，其中计算所述拓扑嵌入矢量的所述拓扑距离包括：基于总拓扑损失来计算所述拓扑嵌入矢量的所述拓扑距离。

26.根据权利要求25所述的方法，其中所述总拓扑损失是点对的拓扑损失之和除以所述点对的数目，

其中如果所述点对在相同类中，则所述点对的所述拓扑损失是所述点对的L1平滑损失函数的值，并且

其中如果所述点对不在相同类中，则所述点对的所述拓扑损失是0或1/K的最大值乘以常数K和对应于所述点对的网络拓扑层值之间的差值的绝对值之间的差值。

27.根据权利要求17所述的方法，其中所述图像数据集是计算断层摄影(CT)数据集。

28.根据权利要求17所述的方法，还包括根据所述树结构生成3D网格模型。

29.根据权利要求28所述的方法，还包括在用户界面中显示所述3D网格模型。

30.根据权利要求17所述的方法，还包括呈现使得用户能够选择所述血管的起点、终点和路径的用户界面。

31.一种生成血管的有向图的方法，所述方法包括：

接收身体的一部分的三维(3D)图像数据集；

利用神经网络处理所述3D图像数据集以生成所述3D图像数据集中的血管的分割概率图；

封闭所述分割概率图中的所述血管的至少一个孔；

检测所述血管的起点；

检测所述血管的终点；

针对每个终点：

跟踪从所述终点到所述起点中的每个起点的最短路径，从而产生可行路径；以及

从所述可行路径中选择最可行路径；

将具有共同起点的路径合并为一个有向图；以及

求解有向图之间的至少一个重叠。

32.根据权利要求31所述的方法，其中所述身体的所述部分是肺，并且其中检测所述血管的起点包括检测心脏处或附近的所述血管的起点。

33.根据权利要求31所述的方法，其中封闭至少一个孔包括：

利用第一阈值对所述分割概率图进行滤波，从而产生第一原始分割；

将体素添加到所述第一原始分割，从而产生第一扩展分割；

扩张所述第一扩展分割；

从所述第一扩展分割中去除具有低衰减值的体素，从而产生更新分割；

计算所述更新分割的骨架；以及

将所述骨架添加到所述第一原始分割。

34.根据权利要求33所述的方法，其中所述第一阈值介于约0.1和0.4之间。

35.根据权利要求33所述的方法，还包括：

利用第二阈值对所述分割概率图进行滤波，从而产生第二原始分割；

基于所述3D图像数据集来计算局部衰减值统计结果；

添加具有所述第二原始分割的具有相同衰减值统计结果的近邻体素的体素，从而产生第二扩展分割；以及

组合所述第一扩展分割和所述第二扩展分割，从而产生所述更新分割。

36.根据权利要求35所述的方法，其中所述第二阈值为约0.5。

37.根据权利要求31所述的方法，其中跟踪从所述终点到所述起点中的每个起点的所述最短路径包括：使用戴克斯特拉算法来跟踪从所述终点到所述起点中的每个起点的所述最短路径。

38.根据权利要求31所述的方法，其中所述身体的所述部分是脑、肺、肾、肝、胃、肠、前列腺、直肠或结肠。