CN114830174A - 用于识别肺部特征的图像分析系统 - Google Patents

Abstract

本发明涉及一种用于从CT或MRI扫描识别肺部的图像中的节段的方法，其包括：接收所述肺部的三维表示；及在计算上识别包含裂隙、叶脉、动脉及气道的解剖结构，并进一步识别静脉、动脉或支气管网络。

Description

用于识别肺部特征的图像分析系统

通过引用并入

PCT申请表作为本申请案的部分与本说明书同时提交。本申请案主张在同时提交的PCT申请表中所识别的权益或优先权的每一申请案以其全文引用方式且出于所有目的并入本文中。

技术领域

本公开的实施例涉及数字成像领域，且更特定来说，涉及处理肺部的3D数字医学图像以识别多个肺部节段的边界。

背景技术

例如由计算断层扫描(CT)扫描仪及磁共振成像(MRI)机产生的图像的3D数字医学图像的审查及解释是外科医生及其他医生的一项常见任务。根据他们对患者的医学图像的解释，医生将对那个患者做出诊断及治疗决定。针对肺部有疑似癌变的患者，医生考虑的一些问题将包括是否应通过手术切除病变、是否应对病变进行消融(也就是冷冻或加热以破坏癌变组织)或是否应通过放疗及/或化疗来治疗患者。

针对考虑进行手术的患者，外科医生将在医学图像内评估患者的解剖结构，以帮助决定肺部的哪些部分应与癌症一起被切除。外科医生的目标有两个：(1)完整地切除可疑的癌症区域，同时(2)保留尽可能多的健康肺组织。为了帮助确保不留下癌细胞，外科医生将在疑似恶性肿瘤周围切除一块额外的健康组织，通常被称为“边缘”。根据肿瘤、组织及器官类型的特性，被认为在肿瘤学上合适的边缘大小是不同的。

在决定执行什么类型的手术以及如何最好地执行手术时，外科医生将主要依靠患者的医学成像(例如CT扫描或MRI)。越来越多的外科医生也在利用此类医学图像的三维(3D)重建。在手术计划中使用3D重建已被证明能使外科医生更好地理解患者的解剖结构，并能改善手术效果。舍克(Shirk)2019描述了此类好处的实例。目前，肺部的3D重建通常包含对肺部表面、肺叶及其它解剖结构的描绘，所述其它解剖结构是例如病变、气道及血管。然而，现存3D重建技术并不包含肺叶内节段的自动产生的描绘。

发明内容

简而言之，在某些实施例中，一种用于识别包含数个肺叶的肺部中的节段的方法，每一肺叶包含数个所述节段，每一节段具有边界，所述方法可包含：接收形成所述肺部的至少一部分的三维表示的图像数据；使用所述图像数据在计算上识别(i)肺部实质及/或所述肺部的外表面及(ii)所述肺部内的至少一个解剖结构，其中所述至少一个解剖结构选自由以下者组成的群组：所述肺叶之间的一或多个裂隙、一或多个静脉、一或多个动脉及一或多个气道；从(i)所述肺部实质及/或所述肺部的所述外表面及(ii)所述至少一个经识别的解剖结构在计算上识别所述肺部内的至少一个节段的基本上整个所述边界，其中在计算上识别所述肺部内的所述至少一个节段的基本上整个所述边界包括从所述至少一个经识别的解剖结构在计算上识别所述肺部内的所述至少一个节段与额外节段之间的基本上整个节段到节段表面边界，所述额外节段邻近于所述至少一个节段且所述节段到节段表面边界位于所述肺部的所述外表面上；及产生含有所述肺部内的所述至少一个节段的基本上整个所述边界的表示。

在一些实施例中，所述图像数据包含CT扫描及/或MRI。在一些实施例中，所述CT扫描及/或MRI包含有对比的CT扫描及/或有对比的MRI。在一些实施例中，所述方法还包含提供含有所述肺部内的所述至少一个节段的基本上整个所述边界的视觉呈现。在一些实施例中，所述至少一个解剖结构包含所述一或多个静脉。在一些实施例中，所述至少一个解剖结构包含所述一或多个动脉。在一些实施例中，所述至少一个解剖结构包含所述一或多个气道。在一些实施例中，在计算上识别(i)肺部实质及/或所述肺部的外表面包含在计算上识别肺叶之间的一或多个裂隙，且所述至少一个解剖结构包含所述一或多个静脉。在一些实施例中，在计算上识别(i)肺部实质及/或所述肺部的外表面包含在计算上识别肺叶之间的一或多个裂隙，且所述至少一个解剖结构包含所述一或多个动脉。在一些实施例中，在计算上识别(i)肺部实质及/或所述肺部的外表面包含在计算上识别肺叶之间的一或多个裂隙，且所述至少一个解剖结构包含所述一或多个气道。在一些实施例中，所述至少一个解剖结构包含所述一或多个静脉及所述一或多个动脉。在一些实施例中，所述至少一个解剖结构包含所述一或多个静脉及一或多个气道。在一些实施例中，所述至少一个解剖结构包含所述一或多个动脉及所述一或多个气道。在一些包含中，所述至少一个节段包含给定节段，产生所述表示包含确定所述给定节段内第一解剖结构的位置，且所述第一解剖结构是所述一或多个静脉的至少一部分、所述一或多个动脉的至少一部分及所述一或多个气道的至少一部分。在一些实施例中，所述至少一个节段包含给定节段，产生所述表示包含确定所述给定节段内第一解剖结构的位置，且所述第一解剖结构是一或多个节段间静脉的至少一部分。在一些实施例中，所述至少一个节段包含给定节段，且产生所述表示包含确定所述给定节段内至少一或多个病变的位置。在一些实施例中，所述至少一个节段包含给定节段，且产生所述表示包含确定所述给定节段内至少一或多个淋巴结的位置。在一些实施例中，所述至少一个节段包含给定节段，且所述方法进一步包含使用所述图像数据在计算上确定所述给定节段的所述边界内第一解剖结构的安放，其中所述第一解剖结构是所述一或多个静脉的至少一部分、所述一或多个动脉的至少一部分、所述一或多个气道的至少一部分、一或多个病变及一或多个淋巴结。在一些实施例中，所述方法进一步包含使用所述图像数据在计算上识别所述肺部内的一或多个节段间静脉，其中在计算上识别所述肺部内至少一个节段的基本上整个所述边界包含至少部分基于所述经识别的一或多个节段间静脉在计算上识别至少一个节段的基本上整个所述边界。在一些实施例中，所述肺部具有外表面，且所述方法进一步包含使用所述图像数据在计算上识别所述肺部的所述外表面的至少部分，其中在计算上识别所述肺部内至少一个节段的基本上整个所述边界包含至少部分基于所述肺部的所述外表面的所述经识别的部分在计算上识别至少一个节段的基本上整个所述边界。在一些实施例中，所述肺部进一步包含实质，且所述方法进一步包含使用所述图像数据在计算上识别所述实质的至少部分，其中在计算上识别所述肺部内至少一个节段的基本上整个所述边界包含至少部分基于所述实质的所述经识别的部分在计算上识别至少一个节段的基本上整个所述边界。在一些实施例中，所述至少一个节段包含给定节段，且所述方法还包含：基于所述给定节段的所述在计算上识别的边界计算所述给定节段的体积。在一些实施例中，所述至少一个节段包含给定节段，且所述方法进一步包含：计算所述肺部内的所述给定节段的任何边界与另一解剖结构之间的距离。在一些实施例中，所述方法进一步包含计算所述至少一个节段的基于距离的测量，其中所述基于距离的测量是所述至少一个节段的所述边界的最大直径、形心、边界框、表面积；所述肺部的给定表面上的所述至少一个节段的长度；所述肺部的所述表面上的所述至少一个节段的最大长度；及所述至少一个节段与第二节段汇合之处的表面积或长度。在一些实施例中，所述至少一个节段包含给定节段，所述肺部具有外表面，且所述方法进一步包含：计算所述肺部的所述给定节段与所述外表面之间的最小距离。在一些实施例中，所述图像数据包含用以下者中的至少一者获得的图像数据：CT扫描、MRI、超声扫描及核医学扫描。

在某些实施例中，一种用于识别包含数个肺叶的肺部中的特征的方法，每一肺叶包含数个节段，每一节段具有边界，所述方法可包含：接收形成人体肺部的至少一部分的体积表示的图像数据；使用所述图像数据在计算上识别所述肺部内的解剖特征，其中所述解剖特征是所述肺叶之间的一或多个裂隙、静脉网络、动脉网络、气道网络及一或多个节段间静脉；使用所述解剖特征在计算上识别所述肺部内至少一个节段的边界；及产生含有以下者的表示：(i)所述肺部内所述至少一个节段的基本上整个所述边界；及(ii)所述肺叶之间的所述一或多个裂隙、所述静脉网络、所述动脉网络、支气管网络、所述一或多个节段间静脉或前述内容的任何组合。

在某些实施例中，一种用于识别包含数个肺叶的人体肺部中的特征的方法，每一肺叶包含数个节段，所述方法可包含：接收形成所述人体肺部的至少一部分的体积表示的图像数据；使用所述图像数据在计算上识别至少两个肺叶的部分及所述两个肺叶之间的裂隙；使用所述图像数据在计算上识别动脉网络、静脉网络及/或支气管网络，其中识别所述动脉、静脉及/或支气管网络包含：在计算上识别图像数据中的管状结构，其中所述管状结构是通过识别所述图像数据内的一组梯度变化来识别；及基于所述管状结构在所述人体肺部内如何分支而在计算上确定所述管状结构是所述动脉、静脉及/或支气管网络的部分；及基于所述经识别的动脉、静脉及/或支气管网络及所述经识别的肺叶或所述肺叶之间的裂隙在计算上识别所述肺叶中的至少一者内多个节段的边界。

在一些实施例中，在计算上识别所述多个节段中的单个节段的所述边界包含：在计算上识别图像数据内专门接收来自所述动脉网络的单个分支的血液的体积。在一些实施例中，在计算上识别所述多个节段中的单个节段的所述边界包含：在计算上识别所述图像数据内不会通过所述肺叶之间的所述裂隙的体积。在一些实施例中，所述方法还包含：使用所述图像数据在计算上识别所述人体肺部内的病变；从所述图像数据在计算上确定所述病变定位于所述多个节段中的给定节段中；及从所述图像数据在计算上测量所述病变与所述给定节段的所述边界之间的最小距离。

在某些实施例中，一种用于识别包含数个肺叶的人体肺部中的特征的方法，每一肺叶包含数个节段，所述方法可包含：接收形成人体肺部的至少一部分的体积表示的图像数据；使用所述图像数据在计算上识别动脉网络，其中识别所述动脉网络包含：在计算上识别所述图像数据中的管状结构，其中所述管状结构是通过识别所述图像数据内的一组梯度变化来识别；及使用所述图像数据且基于所述管状结构在所述人体肺部内如何分支而在计算上确定所述管状结构是所述动脉网络的部分；使用所述图像数据在计算上识别支气管网络，其中识别所述支气管网络包含：在计算上识别所述图像数据中的额外管状结构，其中所述额外管状结构是通过识别所述图像数据内的一组额外梯度变化来识别；及使用所述图像数据且基于所述额外管状结构在所述人体肺部内如何分支而在计算上确定所述额外管状结构是所述支气管网络的部分；及基于所述经识别的动脉网络及所述经识别的支气管网络在计算上识别所述肺叶中的至少一者内多个节段的边界。

附图说明

图1到4是人体肺部的图像。

图5A及5B是描绘根据某些所公开实施例执行的方法的操作的过程流程图。

图6A及6B是描绘根据某些所公开实施例执行的方法的操作的过程流程图。

具体实施方式

在以下描述中，陈述众多特定细节以提供对所呈现实施例的透彻理解。可无需这些特定细节中的一些或全部来实践所公开的实施例。在其它例子中，未详细描述众所周知的过程操作以便不必要地模糊所公开的实施例。虽然所公开实施例将结合特定实施例进行描述，但应理解，不希望限制所公开实施例。

I.肺部解剖学

医学图像中可辨别的患者的肺部解剖结构包含肺部气道、肺静脉(携带含氧血液的血管)及肺动脉(携带脱氧血液的血管)，其中每一者在每一肺部内形成树状系统或网络。静脉及动脉可更普遍地被称为血管或脉管。

每一肺部都是由多个肺叶组成。每一肺叶都具有三个分支系统(气道、静脉及动脉)中的每一者的其自身独立且相异的子树。肺动脉、静脉及气道不会跨肺叶的边界。肺叶中所有静脉的上游分支有时被称为肺动脉的叶状分支。肺叶内上游分支所有气道有时被称为叶状气道的叶状分支。肺叶通过在一些医学图像上可辨别的裂隙分离。不是血管或气道的肺组织被称为实质。

在人体解剖学中，左肺比右肺小，并被分成两个肺叶：上肺叶及下肺叶。右肺由三个肺叶组成：上、下、中。

右肺的图像在图1中展示。如图1中展示，在上肺叶102及中肺叶104的动脉子树与下肺叶106的动脉子树之间有相对大量的空间(说明为区110)(肺叶实质在图1中未展示)。

每一肺叶可进一步细分成节段。类似于肺叶，每一节段还具有独立供血及支气管的独立分支。类似于肺叶，肺叶内的一个节段可被切除，从而留下其它节段作为肺部的功能单元。然而，不同于肺叶，节段通常不会被裂隙分离。在极少数情况下，“副”裂隙在医学图像中可见且划分肺叶内两个节段的边界。本公开的方面假设常见情况，在被处理的医学图像内不存在副裂隙。

在左肺中，每一肺叶含有四个节段，在所述肺部中总共有八个节段。在右肺中，总共有十个节段，其中五个在下肺叶中(其中四个称为“基底”节段)，两个在中肺叶中，及三个在上肺叶中。

右肺的上肺叶的图像在图2中展示。图2说明右肺的上肺叶的三个节段之间的空间。在图2中，轮廓202展示尖段的动脉子树周围的空间，轮廓204展示前段的动脉子树周围的空间，且轮廓206展示后段的动脉子树周围的空间。

右肺的图像在图3中展示。图3说明静脉网络302、动脉网络304、右中肺叶306、右下肺叶308及右上肺叶的三个节段310a、310b及310b。

右肺的图像在图4中展示。图4说明动脉网络304、右下肺叶、右中肺叶及右上肺叶的三个节段(后段、尖段及前段)。虽然气道及静脉网络未在图4中明确说明，但其缺失在图4中可见(例如，在图4中可见静脉及气道的印记)。

在医学成像上，节段的辨别比肺叶要难得多。不同于肺叶，节段没有被可见裂隙分离。没有此视觉提示，医生必须基于其对定义节段的血管及气道的理解来识别节段。明确来说，节段的区的一个定义是其是对应于肺叶动脉(节段动脉)的分支及肺叶气道的分支的区。肺实质的每一部分都属于一个节段，这意味着其还被气道的一个分支及肺动脉的一个分支馈送。正像动脉及气道的子树在不同肺叶之间是相异且独立的，在肺叶内，动脉及气道的节段子树与其它节段的动脉及气道的子树是相异且独立的。一些静脉可完全驻留于节段内，而有时称为节段间静脉的其它静脉沿着肺部节段之间的边界的部分传递。人与人之间的解剖学在节段级血管的结构及分支方面有相当大的差异，这使节段识别变得复杂，因为识别必须考虑人类血管解剖学的可能变化。由于上述原因，肺部节段的识别及理解需要高级训练及专业知识，且即使是最老练的医生也普遍面临这项工作的挑战。

II.肺癌手术

由外科医生执行的手术将根据被切除的肺部的性质及数量而有不同的名称。

肺切除术是切除整个肺部。

肺叶切除术是切除一个肺叶。与肺切除术相比，肺叶切除术给患者留下了更多的肺组织，因为只要保留至少一个肺叶，肺就将保持功能。这被认为是直径大于2cm的大多数肺部病变的手术标准。

节段切除术是切除一或多个节段。节段切除术有时称为“解剖学切除”，因为切除线是按照患者解剖学的节段边界进行的。在可能的情况下，节段切除术是有经验的外科医生通常喜欢的一种方法，用于通常直径为2厘米或更小的较小的肺部病变。许多外科医生认为，针对较小的病变，节段切除术在确保切除所有癌症通过尽可能保留肺部功能之间取得了最佳平衡。节段切除术要求外科医生自信地理解哪一节段被牵连，且通过切除所述节段将获得足够的边缘。在一些例子中，由于肿块或边缘与多个节段交叉，因此可能涉及多个节段。在这些情况下，外科医生可以切除两个节段，且这仍然被认为是节段切除术。而且，一些类型的节段切除术比其它更困难，通常是由外科医生在物理上接入特定节段的困难程度决定的。

楔形切除术是指切除肺部的三角形部分，所述部分不由肺叶或节段定义。与节段切除术相反，楔形切除术是一种“非解剖学”切除术，因为切除线不遵循解剖学边界。由于肿瘤学及/或功能原因，楔形切除不是最受欢迎的方法。楔形通常是在由于某原因而无法进行节段切除术的情况下进行。

III.手术计划中医学成像的使用

当决定手术方法(例如，肺叶切除术与节段切除术与楔形)时，外科医生将主要依靠患者的医学图像，例如CT扫描、MRI及/或PET扫描。除其它事项外，外科医生还将考虑病变及位置。在考虑位置时，外科医生将识别(若干)相关肺叶，且潜在地还可能是(若干)相关节段。识别相关肺叶是进行肺叶切除术的先决条件，如先前指出，由于存在可见裂隙，因此是相对容易的。识别相关节段是进行节段切除术的先决条件，也如先前指出，由于没有可见的裂隙将节段分开，因此是相对困难的。

除了查看患者的CT扫描及其它医学图像外，外科医生还可以查看此类图像的3D重建。目前，肺部的3D重建通常将包含如由裂隙定义的肺叶的自动产生的视觉描绘，但缺乏节段的自动产生的视觉描绘。

尽管在3D重建内包含肺部节段对外科医生来说是非常有帮助的，但由于人体节段解剖学的广泛变化及当前医生识别节段的方式，这一点非常难以实现，下文将更全面地详述。

本公开实现一种计算机系统，所述计算机系统经配置以从三维医学图像(例如CT扫描)识别及标记肺部节段，并在3D重建中在视觉上描绘此类肺部节段。这种对肺部节段的视觉描绘将帮助外科医生决定节段切除术是否是对患者的一种可能的干预，且如果是的话，那么应切除哪一(哪些)节段，及切除它们的最佳方法。进一步理解的某些细节可包含：(1)了解哪一(哪些)节段含有病变；(2)病变与考虑切除的(若干)节段的边界之间的距离，以帮助评估预期的手术边缘；(3)节段彼此之间的空间关系，以帮助计划及理解手术的技术方面并评估不同的可能手术技术。

IV.机器学习在医学成像中的使用

各种机器学习技术正被用于医学成像。迄今为止，此类技术主要应用于诊断，特别是特定疾病状态的检测及识别，例如癌症病变。然而，例如监督学习的机器学习技术也可应用于图像分割过程。

监督学习在输出(例如图像的分割或分割的标记)可用于训练数据集(例如多个医学图像)的情况下是有用的。举例来说，机器学习模型可用从CT扫描及/或MRI得到的各种三维图像数据集合进行训练，且在这些图像中，特定的体素集合可被预先标记为实质、动脉、静脉、裂隙、气道、病变或淋巴结。使用此训练数据，机器学习模型经训练以接收未标记的及任选地未分割的图像数据作为输入，并提供经分割、经标记数据集作为输出。输出可识别被标记为实质、动脉、静脉、肺部表面、裂隙、气道、病变、淋巴结或其任何组合的体素集合。在另一方法中，用各种三维图像数据集合来训练机器学习模型，所述数据含有肺部图像的经标记体素集合(例如实质、动脉、静脉、肺部表面、裂隙、气道、病变及/或淋巴结)及节段边界。使用此训练数据，机器学习模型经训练以接收经标记图像数据作为输入，并产生肺部的完全或基本上完全定义的节段边界。

被监督的机器学习算法的实例包含(但不限于)线性回归、逻辑回归、决策树、支持向量机(SVM)、朴素贝叶斯(Bayes)、k近邻及神经网络(多层感知机)。强化学习介于监督学习与无监督学习之间，其中每一预测步骤或动作都有某反馈，但没有精确标记。与其像在监督学习中那样呈现正确的输入/输出对，不如将给定输入映射到代理试图最大化的奖励函数。基于强化的机器学习算法的实例包含马尔科夫(Markov)决策过程。可能属于上文描述的一或多个类别的其它学习类型包含(例如)深度学习及人工神经网络(例如卷积神经网络)。

可存在各种训练工具或框架来训练机器学习模型。专利训练工具的实例包含(但不限于)亚马逊(Amazon)机器学习、微软蔚蓝(Azure)机器学习工作室、DistBelief、微软认知工具包。开源训练工具的实例包含(但不限于)Apache Singa、Caffe、H2O、PyTorch、MLPACK、Google TensorFlow、Torch及Accord.Net。

经训练机器学习模型可采取若干形式中的一者。在一些实施方案中，经训练机器学习模型是分类及回归树或随机森林树。在一些实施方案中，经训练机器学习模型是人工神经网络，例如卷积神经网络。在一些实施方案中，经训练机器学习模型是线性分类器，例如线性回归、逻辑回归或支持向量机。

V.图像分析系统

本公开涉及从肺部的一或多个三维(3D)数字图像产生那个肺部内节段的边界的表示的系统及方法。一旦定义，边界就可在视觉上表示出来或用于基于节段边界的三维表示计算体积测量(例如节段的体积)、距离测量(例如节段的最大直径、病变或其它结构与一或多个节段边界之间的距离)或其它分析。

可用于产生3D数字图像的医学图像的类型包含任何相关医学图像，包含(但不限于)计算断层扫描(通常称为CT扫描)、磁共振成像扫描(通常称为MRI)、核医学图像(包含(但不限于)正电子发射断层扫描(通常称为PET扫描)及/或超声图像)及上述内容中的任何者的三维重建。

VI.术语

如本文中使用，术语“手术”是指通过切开及相关联操纵，特别是用手术器械来治疗损伤、疾病及其它医学状况的程序。术语“手术”及“外科手术(surgical operation/surgery)”在整个本公开内使用。除非上下文另有说明，否则术语可互换使用。

如本文中使用，“图像”是指一个项目的可见描绘或其它表示，例如患者的胸部区域。在本文中提出的各个实施例中，图像提供主体中组织、骨骼或器官的形态及/或组成的表示。此类图像在本文中有时称为医学图像。不同模态的医学图像包含(但不限于)从计算断层扫描(CT)、磁共振成像(MRI)、x射线成像、正电子发射断层扫描(PET)及其它核医学扫描、超声成像及上述内容中的任何者的二维及/或三维重建导出的组织、骨骼及/或器官的表示。图像可由体素形成的三维图像数据组成及/或可被转换为三维图像数据。

如本文中使用，“肺部”是指任何脊椎动物中所存在的单个肺部器官。

如本文中使用，“肺动脉”是将脱氧血液带入肺部中的血管。

如本文中使用，“肺静脉”是将含氧血液带出肺部的血管。

如本文中使用，“脉管”或“血管”可互换使用以指代肺动脉或肺静脉。

如本文中使用，肺部“气道”是指将空气带入及带出肺部的解剖结构。气道的部分包含气管、支气管及小支气管。本文中所使用的气道既指由空气组成的“管腔”或气道的内部空间，也指包围管腔的气道组织壁。

如本文中使用，“肺叶”是指肺部内的肺叶。

如本文中使用，“节段”是指肺叶内的节段。

如本文中使用，肺部“表面”是指肺部的外表面。

如本文中使用，肺部“病变”是指肺部内的任何异常组织，其可能是恶性的、良性的或不确定的恶性的。在本文中，术语病变可与术语“肿块”及“结节”互换使用，肿块通常用于较大的肺部病变的上下文中，结节通常用于较小的肺部病变的上下文中。

如本文中使用，肺“实质”是指不是气道、肺动脉或肺静脉的肺组织。

如本文中使用，术语“分割”是指在医学图像内识别所关注结构的过程，例如，解剖结构，例如器官、病变或血管。当分割发生于三维医学图像中时，会创建所关注结构的三维表示，这可称为“3D重建”。

如本文中使用，术语“标记”是指识别已被分割的结构的性质并为此结构指派相关语义名称的过程。

如本文中使用，术语“体素”或体积像素是指三维空间中规则网格中的单个离散点。在医学图像中，体素通常是矩形棱镜，且每一者都具有强度值(对应于灰色或多色标尺上的值)。

如本文中使用，术语“平面”是指欧几里得(Euclidean)或其它空间中的表面。所述表面没有体积。其不需要像欧几里得平面那样是“平的”。

VII.医学图像内解剖结构的识别(不包含肺部节段)

本节描述用于在肺部的医学图像内分割及标记解剖结构的方法的各个实例。

在肺部的医学图像内的相关结构中有：肺部表面、肺部实质、肺动脉、肺静脉、气道、肺叶及肺部裂隙。一些或全部这些结构的表示是到第VIII节中描述的系统及方法的输入，所述系统及方法识别肺部节段之间的边界且是本公开的主题。

肺部的气道及肺脉管各自形成管状结构的树状分支网络。从三维医学图像分割气道及脉管的一种方法是基于这些管状结构的数学性质。此方法在一些实施方案中可能只是分割，而不是标记管状解剖特征。标记可在后续操作中完成。基于这些性质分析图像的方法包含(但不限于)基于图形的优化、海森(Hessian)计算及基于流量的方法。这些技术识别体素区域(例如，更大图像内的10乘10乘10的体素立方体)，在那个区域上的数学运算，例如海森计算，返回积极的结果，从而指示那个区域内的高强度体素是管状的。由本曼苏尔(Benmansour)2011、本曼苏尔(Benmansour)2013、安提加(Antiga)2007、格雷厄姆(Graham)2010及赫尔姆伯格(Helmberger)2014描述此类技术的实例。

分割气道及肺脉管的另一方法是基于机器学习模型，所述模型还可用于仅仅分割或分割及标记此类结构。基于若干监督机器学习算法中的任一者的适当训练算法可用于使用例如气道及血管的先前分割及标记的信息来训练机器学习模型。训练算法可用于辨识图像中的图案，以准确识别气道及血管及/或向此类结构指派标记。通过奥克斯(Ochs)2007描述此技术的实例。

在一些实施方案中，例如通过使用基于图形的优化、海森计算或基于流量的方法已经分割为管状结构的结构可被分析并组装成表示静脉、动脉及/或气道的互连系统的树状结构。此分析的一种方法可能涉及使用由非线性求解器解决的非线性整数程序。另一方法可利用机器学习模型。一般来说，这些方法将数个候选体素拟合成树状结构的模型。当使用非线性求解器时，此模型由非线性方程式表示；当使用机器学习时，所述模型是已用树状结构的实例训练的机器学习模型。类似技术的实例由图尔思恩(Turetken)2013、图尔思恩(Turetken)2016、帕耶(Payer)2015及帕耶(Payer)2016描述。

一旦树状结构被组装起来，例如机器学习模型的单独技术就可用于标记包括此树状结构的适用结构。举例来说，此技术可接收含有一或多个预先分割的树状解剖结构的部分处理的图像数据，所述结构可能是静脉、动脉及/或气道。接着，所述技术分析树状结构并将其分类或以其它方式标记为静脉、动脉及/或气道。

除了机器学习之外，标记包含所组装的树状结构的结构的另一方法是将表示所分割的动脉、静脉及气道结构的非线性整数程序作为输入。那个程序由非线性求解器进行分析，以便为所分割结构中的每一者指派标记。通过帕耶(Payer)2016描述此技术的实例。

作为仅在结构被分割之后才进行标记的替代，其它方法可在同一过程期间用于分割及标记结构。举例来说，专门用于分割气道的一种技术将产生被标记为气道的经分割结构。此类技术的实例由范·金内肯(van Ginneken)2008及孟(Meng)2018、濮(Pu)2010描述。

在一些实施方案中，使用图谱分割识别肺部解剖结构，图谱分割是不仅可用于气道及血管的分割及标记，而且还用于许多其它解剖特征(例如肺部表面)的技术。针对本段的其余部分，分割可同样是仅指分割或指分割及标记作为同一过程的部分。在图谱分割中，要分割的图像(输入)与先前分割的图像数据库(图谱)中所含的每一图像进行比较。图谱分割将识别图谱内与输入图像最“相似”的图像。在此例子中，“相似性”是基于将输入图像“配准”到图谱中的图像所需的转换程度(意思是使一个图像与另一者对准)。两个图像之间所需的转换程度越小，那两个图像就越相似。多种相似性度量是可能的，包含平方距离之和、相关系数及相互信息。一旦识别了最相似的图谱图像，就可以确定图谱图像与输入图像之间的转换的性质。多种转换模型是可能的，包含刚性、仿生及可变形转换模型。一旦确定了转换的性质，那种转换就被应用到图谱图像的分割，从而导致输入图像的分割。由罗尔芬(Rohlfing)2004描述此技术的实例。

本段及以下几段论述用于识别肺部表面的任选技术。识别肺部的表面的一种方法是利用图谱分割。它将肺部的输入图像与先前分割的肺部图像的图谱进行比较，从而确定最相似的图谱肺部图像，接着，确定从图谱图像到输入图像的转换，接着，将那种转换应用到图谱图像的分割以产生输入图像肺部表面的分割。

识别肺部的表面的另一方法是通过体素强度梯度分析。此分析考虑图像内的体素强度梯度，也就是说，在图像内连续体素的范围内体素强度的变化。在CT扫描及MRI图像中，肺部实质展示为低强度体素，且肺部表面的外部展示为高强度体素。快速变化的梯度指示肺部表面。

识别肺部的表面的另一方法是利用机器学习模型。此机器学习模型将用肺部表面的分割以及产生那些分割的图像来训练。它将分析输入图像内的体素，以准确地预测哪些体素对应于肺部表面。

本段及下一段描述肺部裂隙的识别。识别裂隙的一种方法是通过体素强度分析。可基于梯度分析来识别裂隙，其中分析识别实质体素与裂隙体素之间的体素强度变化，或通过识别构成平面状结构的体素来进行海森特征值及特征向量分析。由拉森(Lassen)2013描述类似技术的实例。

识别裂隙的另一方法涉及通过脉管及/或气道体素密度分析检测“平面”(是没有体积的三维表面)。裂隙可表示为平面。裂隙的一个性质是，裂隙周围的脉管及气道的密度比实质周围的密度低。寻找肺部中裂隙的一个方法是确定哪些平面的包围体素密度最低，所述体素对应于气道、动脉及静脉。那些平面可被认为是裂隙的表示，或可在空间上进行调整，以与使用前一段中描述的基于梯度的方法识别的裂隙对准。

本段及下两段论述肺部实质的识别。识别肺部实质的一种方法是基于减法的方法。此方法通过识别肺部表面及在此肺部表面内占据的三维空间开始。从此三维空间，去除(减去)由血管、气道及裂隙占据的三维空间。所得差异表示肺部实质的分割。

识别肺部实质的另一方法是经由分析体素强度变化及连接性，其是体素与类似强度的邻近体素相关的方式。此分析涉及识别强度值低的体素及与强度值也是低的其它体素高度连接的体素。接着，与气道管腔相关联的低强度体素被移除。

识别肺部实质的另一方法是通过大津(Otsu)阈值方法。大津方法确定单个强度阈值，其将体素分成“前景”及“背景”体素同时使两个群组之间的差异最小化；在肺部图像的情况下，那些对应于表面内的低强度实质体素及肺部表面外的高强度体素。由海伦(Helen)2011描述此技术的实例。

本节内的其余段论述肺叶的识别。识别肺叶的一种方法是以(a)所分割的肺部实质及/或(b)所识别的肺部表面开始，且接着，根据(a)及(b)中任一者或两者识别的肺部裂隙细分适用结构。

识别肺叶的另一方法针对肺动脉采用例如分水岭算法的算法。所述方法将肺动脉的分割作为输入。接着，其使用以下方法识别肺动脉的每一叶状分支(及与此分支相关联的子树)：将在所分割的肺动脉内出现的动脉分支匹配到动脉解剖学的预定义抽象表示内所含的肺部解剖学的常见分支变体。替代地，肺动脉的也长分支可经由k平均聚类算法来识别，其中树的分支被划分为多个集群，且每一集群对应不同的叶状分支。被识别为动脉子树的区域被认为是“成本图像”内的“高成本”区域，所述图像被用作到分水岭算法的输入以确定与每一子树的边缘等距的平面，或类似地，通过输入成本图像确定“最低成本”。由博彻(Beucher)1992描述此技术的实例。

识别肺叶的另一方法是基于对肺静脉应用分水岭算法。它将肺静脉的分割作为输入。接着，使用以下方法识别肺静脉的每一叶状分支(及与此分支相关联的子树)：将在所分割的肺静脉内出现的静脉分支匹配到静脉解剖学的预定义抽象表示内所含的肺部解剖学的常见分支变体。替代地，肺静脉的叶状分支可经由k平均聚类算法来识别，其中树的分支被划分为多个集群，且每一集群对应不同的叶状分支。被识别为肺静脉子树的区域被认为是“成本图像”内的“高成本”区域，所述图像被用作到分水岭算法的输入以确定与每一子树的边缘等距的平面，或类似地，通过输入成本图像确定“最低成本”。

识别肺叶的另一方法是基于将分水岭算法应用到气道。它将气道的分割作为输入。接着，它使用以下方法识别气道的每一叶状分支(及与此分支相关联的子树)：将在所分割的气道内出现的气道分支匹配到气道解剖学的预定义抽象表示内所含的肺部解剖学的常见分支变体。替代地，气道的叶状分支可通过k平均聚类算法来识别，其中树的分支被划分为多个集群，每一集群对应不同的叶状分支。被识别为气道子树的区域被认为是“成本图像”内的“高成本”区域，所述图像被用作到分水岭算法的输入，以确定与每一子树的边缘等距的平面，或类似地，通过输入成本图像确定“最低成本”。由谷(Gu)2012描述确定气道叶状分支的技术的实例。

识别肺叶的另一方法是基于将分水岭算法应用到肺动脉、肺静脉及气道中的至少两者的组合。识别肺叶的另一方法是基于第[0073]到[0075]段的任何方法与成本图像相结合，其中具有裂隙的区域也被视为“高成本”。

识别肺叶的另一方法是用图谱分割。在此情况下，图谱含有肺部的源医学图像(CT、MR等)及/或3D重建。3D重建可含有肺部表面，且还可含有动脉、气道及/或静脉。要与图谱进行比较的输入可为标准医学图像(CT、MR等)及/或此图像的3D重建。确定与输入图像最相似的图谱图像。接着，确定从图谱图像到输入图像的转换。接着，将那种转换反向应用到图谱图像的叶状表示以得出输入肺部图像的叶状表示。

确定肺叶的另一方法是结合第[0075]到[0080]段的任何数目种上述方法。类似技术的实例由拉森(Lassen)2013及朱利安尼(Giuliani)2018描述。

VIII.节段边界的识别

本节描述本公开，其是一种使计算机系统能够从三维医学图像识别及标记肺部节段并在3D重建中在视觉上描绘此类肺部节段的系统及方法。

本段及下一段论述通过定位表示相邻肺部节段之间的边界的平面来识别节段边界。一种方法通过分析肺叶及其肺动脉子树的表示以识别此子树的节段分支开始，如在以下方法中：将出现在肺动脉的所分段的叶状子树内的动脉分支匹配到动脉解剖学的预定义抽象表示内所含的肺部解剖学的常见分支变体。替代地，肺动脉的节段分支可经由k平均聚类算法来识别，其中叶状子树的分支被划分为多个集群，且每一集群对应于不同的节段分支。接着，在识别那些节段分支之后，其确定肺叶的节段动脉子树。接着，它识别在每一动脉子树之间等距的平面，所述平面包含在邻近肺部节段中。每一经识别的平面表示此类节段之间的边界的至少一部分。

另一方法通过分析肺叶及其气道子树的表示以识别此子树的节段分支开始，如在以下方法中：将出现在气道的所分段的肺叶子树内的气道分支匹配到气道解剖学的预定义抽象表示内所含的肺部解剖学的常见分支变体。替代地，气道的节段分支可经由k平均聚类算法来识别，其中叶状子树的分支被划分为多个集群，且每一集群对应于不同的节段分支。然后，在识别那些节段分支之后，它确定肺叶的节段气道子树。接着，它确定在每一气道子树之间等距的平面，所述平面包含在邻近肺部节段中。每一经识别的平面表示此类节段之间的边界的至少一部分。

本段及随后的几段论述通过基于节段间静脉的位置识别平面来识别节段边界。此方法分析肺叶的表示及肺叶的肺静脉子树的表示以识别那个肺叶内的节段内及节段间静脉，如在以下方法中：将在肺静脉的所分段的叶状子树内出现的静脉分支匹配到静脉解剖学的预定义抽象表示内所含的肺部解剖学的常见分支变体。每一经识别的节段间静脉分支是一条线或其它路径，其位于定义两个邻近节段之间的边界的平面上(“节段间平面”)。在识别此线之后，系统使用例如以下段中描述的方法中的一者来识别此平面。

识别节段间平面的第一实例方法是经由分水岭算法，所述算法假设平面与节段内静脉的子树及/或肺动脉的子树及/或气道的子树的边缘等距。接着，经由表面拟合调整所述平面，使得节段间静脉将位于所得平面上。表面拟合技术的实例包含最小二乘法拟合、线性及非线性回归、内插法、RANSAC、廖(Liew)2015中描述的B样条表面拟合及由德罗斯特(Drost)2015所描述的霍夫(Hough)转换。

确定节段间平面的第二实例方法是经由图谱分割并经由表面拟合调整，使得节段间静脉将位于所得平面上。

识别节段间平面的第三实例方法是通过机器学习并经由表面拟合调整，使得节段间静脉将位于所得平面上。

产生节段边界的另一方法是直接经由机器学习技术。在此方法中，机器学习模型已用肺部的三维表示的训练输入进行了训练，其可能包含：肺部表面、肺部实质、静脉、动脉、气道及裂隙中的任何者，且所述模型的输出是肺部节段。此模型得到没有节段边界的肺部的三维表示，并产生包含节段边界的输出。

产生节段边界的另一方法是用图谱分割。这里，所考虑的输入是肺叶的三维表示，且图谱构成肺叶的一组三维表示，其中识别了其对应节段边界。方法将输入的肺叶三维表示与识别的节段边界的肺叶三维表示图谱进行比较，从而确定图谱内最相似的肺叶三维表示。确定从图谱肺叶到输入肺叶的转换。图谱肺叶内的节段边界应用了那种转换以产生输入肺叶内的节段边界。在一些实施例中，图谱构成肺叶及气道、动脉及静脉中的一或多者的一组三维表示，其中识别了其对应节段边界。

产生区段边界的另一方法是通过分析对应于脉管及气道的体素密度。可考虑以下叶状子树的任何组合：气道的叶状子树、动脉的叶状子树、静脉的叶状子树。此分析通过识别气道及/或肺动脉，且特别是那些体素密度水平最低的区域来识别肺叶内部上的平面；体素强度水平低指示平面将通过的“通道”。如果考虑节段间静脉，那么采取相反的方法；体素强度水平高指示节段间静脉，节段间静脉又指示节段边界。

如果需要，那么可组合执行任何数目种上述技术，例如体素密度分析、图谱分割、机器学习、子树之间的分水岭、节段间静脉定位及表面拟合。

IX.识别肺部特征的实例方法的流程图

图5A及5B呈现用于确定肺部的节段边界的方法500的一个实施例的流程图。如展示，方法500最初获得或接收肺部的图像数据(操作502)。如指示，此图像数据可在三维空间中采用体素或点的其它表示的形式。如本文中指示，此数据可从各种源获得，例如x射线图像(例如CT扫描)、核磁共振图像及其它医学成像数据，例如由正电子发射断层扫描获得的数据。在各个实施例中，数据包含用于肺部的至少一整个节段的图像信息。

如操作504中说明，方法分割并标记操作502中提供的图像数据以识别对应于肺叶或肺部内的肺动脉的位置的那些体素或其它点。而且，如操作506中说明，方法分割并标记操作502中获得的体素数据以识别对应于肺静脉的位置的那些体素。此外，在操作508中，方法分割并标记操作502中获得的图像数据以识别对应于肺叶或肺部内的肺气道或气道组织的位置的体素。而且，在操作510中，方法分割并标记操作502中获得的图像数据以识别实质定位之处的肺叶或肺部的三位空间内的体素。此外，在操作512中，方法分割并标记操作502中获得的图像数据且识别对应于肺部中裂隙的位置的那些体素。

至此，方法500已分析肺叶或肺部的三维图像数据以识别各个解剖特征。在所描绘的实施例中，这些特征是肺动脉、肺静脉、肺气道、实质及肺叶或肺部裂隙。此并非是详细列表。方法可分析图像数据以识别一或多个其它解剖特征，例如淋巴结或病变。此外，在一些实施方案中，方法不会识别肺动脉、肺静脉、肺气道、实质及肺叶或肺部裂隙中的每一者。换句话说，虽然所描绘的实施例展示操作504到512在所描绘的方法中执行，但此并非是必需的。在一些实施例中，这些解剖特征中的任一或多者经分割及标记以用于后续操作。在某些实施例中，裂隙、气道、实质及动脉被分割及标记，而静脉未被分割及标记。在一些实施例中，静脉、实质及气道被分割及标记，而动脉及裂隙未被分割及标记。在一些实施例中，实质、裂隙、静脉及动脉被分割及标记，而气道未被分割及标记。在一些实施例中，实质、裂隙、静脉及气道被分割及标记，而动脉未被分割及标记。在一些实施例中，实质、气道、静脉及动脉被分割及标记，而裂隙未被分割及标记。在一些实施例中，裂隙、动脉及气道被分割及标记，而静脉及裂隙未被分割及标记。

在所描绘的实施例中，方法接着使用包含肺部裂隙、实质、肺气道、肺静脉及/或肺动脉的经分割及标记的解剖特征中的一或多者以将肺叶边界定位于表示肺部的三维空间中(操作514)。在某些实施例中，方法采用仅所列操作的子集来识别肺叶边界。举例来说，方法可采用仅肺部裂隙、实质及动脉。在某些实施例中且取决于考虑中的肺部，可重复操作514以将多个肺叶边界定位于考虑中的肺部中。

接着，在所描绘的实施例中，在操作516，方法识别在操作504中识别的肺动脉的节段分支及相关子树。另外，在所描绘的实施例中，在操作518，方法识别在操作508中识别的肺动脉的节段分支及相关子树。当方法识别引入到给定节段中的分支时，其可跟踪下游动脉网络以识别节段内动脉或气道网络的整个树。此外，在所描绘的过程的操作520中，方法识别肺叶内静脉的一或多个节段间分支。节段间分支是从在操作506中识别的静脉识别。

接着，在所描绘的实施例的操作522中，方法使用在操作516、518及520中识别的节段特征中的任一或多者，任选地与实质一起，以确定给定节段的边界的至少一部分。应注意，这些操作516、518、520及522在含有多个节段的给定肺叶内执行。操作522识别肺叶中两个邻近节段之间的边界。不一定会识别节段的整个边界。在各个实施例中且取决于给定肺叶中驻留了多少个节段，方法重复操作522以产生考虑中的肺叶中的多个节段(有时是所有节段)之间的节段间边界。

接着，在所描绘的实施例的操作524中，方法使用在操作522中识别的一些或全部节段间边界以及在操作514中识别的一些或全部肺叶边界来识别肺叶内至少一个节段的全部或基本上全部肺部节段边界。

最后，在操作526中，方法产生展示在操作524中识别的一些或全部节段边界任选地以及在操作514中识别的肺叶边界的肺部或肺叶的表示。

应注意，节段边界包含肺叶内部内的内部部分及肺叶表面上的表面部分。在一些情况下，方法使用相同技术识别节段边界的内部及表面部分两者。在所描绘的实施例的操作522中采用相关技术。

图6A及6B呈现用于识别且任选地表示一或多个肺部节段的边界的方法500的另一实施例的流程图。一些操作类似于图5A及5B中展示的操作。举例来说，操作510(分割及标记实质)可使用大津阈值实施。作为另一实例，涉及分割及标记对应于动脉及静脉的体素的操作504及506可通过以下来实施：执行管状分析以识别很可能是脉管的体素、接着使用非线性程序将此类体素(管状体素集合)组装成子树及最后使用非线性程序将子树标记为静脉及动脉。作为另一实例，涉及分割及标记对应于气道的体素的操作508可使用机器学习模型实施，其中所有图像体素都作为输入。

在方法600中，肺叶边界是通过将平面拟合到以下者来识别：(1)低气道、静脉及/或动脉体素密度区；及(2)高裂隙体素密度区。方法还识别肺叶的特定节段内的动脉及动脉子树的分支。方法还识别肺叶的特定节段内的气道及气道子树的分支。又另外，方法还识别肺叶的特定节段内的节段间静脉。在所描绘的实施例中，方法使用成本图像及分水岭算法来识别节段气道与动脉子树之间的平面。气道及动脉的体素再现为高成本体素。

在所描绘的实施例中，接着，方法将平面拟合到邻近节段之间的节段间静脉。此允许方法识别相同肺叶内的邻近节段之间的边界。接着，方法使用这些边界及肺叶边界来定义完整肺部节段边界。最后，方法可产生具有基本上完整节段边界的肺部或肺叶的表示。

如展示，方法600可包含作为实例的以下中的一或多者：获得肺部图像数据(操作602)；任选地经由大津阈值确定对应于实质的体素(操作604)；执行管状分析来确定很可能是实质的体素(操作606)；通过求解非线性程序来将管状体素组装成脉管子树(操作608)；通过求解非线性程序将脉管子树标记为静脉及动脉(610)；其中将所有图像体素都作为输入经由机器学习模型确定气道体素及子树(操作612)；通过将平面拟合到最低气道、静脉及/或动脉体素密度区及/或最高裂隙体素密度区来识别肺叶边界(操作614)；识别肺叶内动脉及相关脉管子树的节段分支(操作616)；识别肺叶内气道及相关气道子树的节段分支(操作618)；识别肺叶内的节段间静脉(操作620)；初始化肺叶内两个邻近节段之间的每一节段边界的成本图像(操作622)；更新每一成本图像，将动脉及气道子树的体素再现为高成本(操作624)；运行分水岭算法以识别与节段气道及动脉子树等距的平面(操作626)；将平面拟合到邻近节段之间的节段间静脉以识别相同肺叶内的节段之间的边界(操作628)；使用相同肺叶及肺叶边界内的节段之间的边界以定义完整的肺部节段边界(操作630)；及在识别肺叶及基本上完整的节段边界的情况下产生肺部的表示(操作632)。

应注意，方法600无需被实施为方法500的实例。方法600中呈现的操作无需对应于方法500中的特定操作。将方法600的一些操作链接到方法500的操作的上文论述作为实例被提供。

图5A、5B、6A及6B的方法可使用各种形式的图像处理或图像分析逻辑、上文描述的计算技术的此任何组合来实施。图像分析逻辑可代管于单个计算机器上或分布在多个机器上，任选地包含本地执行的一些组件及例如经由基于云的资源远程执行的其它组件。

X.额外细节

本文中公开的各个过程、算法、软件等可用具有各种硬件及软件元件的计算系统实施、执行于所述计算系统上或以其它方式被所述计算系统执行。

硬件组件可包含处理器、控制器、存储装置及类似物且可本地或远程(包含在云上)实施。

软件组件可依据其行为、逻辑及/或其它特性表达(或表示)为各种计算机可读媒体中体现的数据及/或指令。其中可体现此类经格式化数据及/或指令的计算机可读媒体包含(但不限于)呈各种形式的非易失性存储媒体(例如光学、磁性或半导体存储媒体)。对应于此类系统的计算机可读媒体也希望落于本公开的范围内。

本文对“一个实施例”或“实施例”的参考意味着与实施例相结合而描述的特定特征、结构或特性可包含于本公开的某一或全部实施例中。在说明书中使用或出现短语“在一个实施例中”或“在另一实施例中”既不是都指相同实施例，单独或替代实施例也不与一或多个其它实施例互斥。相同内容适于术语“实施方案”。本公开既不限于任何单个方面及其实施例，也不限于此类方面及/或实施例的任何组合及/或排列。此外，本公开的方面及/或其实施例中的每一者可单独采用或与本公开的其它方面及/或其实施例中的一或多者组合采用。为了简洁起见，在本文中没有单独论述及/或说明某些排列及组合。

此外，本文中描述为示范性的实施例或实施方案并不被理解为例如比其它实施例或实施方案优选或有利的；确切来说，希望表达或指示一实施例或若干实施例是(若干)实例实施例。

在实例中，除了其它事项外，术语“确定(determine)”及其其它形式(即确定(determining/determined等)或计算(calculating/calculated等))还意味着计算、评估、确定及/或估计及其其它形式。

另外，术语“第一”、“第二”及类似物在本文中不标示任何顺序、数量或重要性，而是用于元件彼此区分。此外，术语“一(a/an)”在本文中不标示数量限制，而是标示存在至少一个所引用项。此外，除了其它事项信息外，术语“数据”及“元数据”还可意味着是呈模拟形式还是数字形式(其可为单个位(或类似物)或多个位(或类似物))。

如实例中使用，术语“包括(comprise/comprising)”、“包含(include/including)”及“具有”或其任何其它变化希望涵盖非排他包含，使得包括元件列表的过程、方法、物品或设备不仅包含那些元件而且还可包含未明确列出或此过程、方法、物品或设备固有的其它元件。

没有引述“构件”或“步骤”的实例元件并非呈“构件加功能”或“步骤加功能”形式。(参阅35USC§112(f))。申请人希望仅引述“构件”或“步骤”的实例元件依据或根据35U.S.C.§112(f)来解译。

在前文描述中，陈述众多特定细节以提供对所呈现实施方案的透彻理解。可无需这些特定细节中的一些或全部来实践所公开的实施方案。在其它例子中，未详细描述众所周知的过程操作以便不必要地模糊所公开的实施方案。虽然所公开的实施方案将结合特定实施方案进行描述，但应理解，不希望限制所公开的实施方案。

尽管前述实施例出于清楚地理解的目的而进行了详细的描述，但应明白，可在所附实例的范围内实践某些变化及修改。应注意，存在许多替代方式来实施本实施例的过程、系统及设备。因此，本实施例应视作说明性而非限制性的，且实施例不限于本文中给出的细节。

XI.额外公开内容

以下公开案特此以全文引用方式并入本文中。在这些参考案在本公开的正文中呈现的程度上，它们出于至少在对应公开内容中呈现的目的及/或上下文而并入。

本曼苏尔(Benmansour)、费塔拉(Fethallah)及洛朗·科恩(Laurent D.Cohen)的“基于最小路径法及各向异性增强的管状结构分割(Tubular structure segmentationbased on minimal path method and anisotropic enhancement)”，国际计算机视觉杂志(International Journal of Computer Vision)92.2(2011)：192到210。

本曼苏尔(Benmansour)、费塔拉(Fethallah)、恩金·图尔特肯(Engin Türetken)及帕斯卡尔·富阿(Pascal Fua)的“使用定向通量的管状测地线：ITK实施方案(Tubulargeodesics using oriented flux:An ITK implementation)”。No.文章2013(No.ARTICLE.2013)。

顾随城(Gu,Suicheng)等人的“基于肺叶的自动气道标记(Automated lobe-basedairway labeling)”，生物医学成像杂志(Journal of Biomedical Imaging)2012(2012)：1。

格雷厄姆(Graham)、麦克W.(Michael W.)等人的“用于图像引导外周支气管镜检查的稳健3-D气道树分割(Robust 3-D airway tree segmentation for image-guidedperipheral bronchoscopy)”，IEEE医学成像交易(IEEE transactions on medicalimaging)29.4(2010)：982到997。

赫尔姆伯格(Helmberger)、麦克(Michael)等人的“肺动脉高压患者肺血管曲折度及分形维数的量化(Quantification of tortuosity and fractal dimension of thelung vessels in pulmonary hypertension patients)”PloS一9.1(2014)：e87515。

奥伦哈默(Aurenhammer)、弗朗茨(Franz)的“Voronoi图——基本几何数据结构的调查(Voronoi diagrams—a survey of a fundamental geometric data structure)”，ACM计算调查(ACM Computing Surveys)(CSUR)23.3(1991)：345到405。

科尔内亚(Cornea)、尼库D.(Nicu D.)等人的“计算3D对象的分层曲线骨架(Computing hierarchical curve-skeletons of 3D objects)”，视觉计算机(The VisualComputer)21.11(2005)：945到955。

范·吉尼肯(van Ginneken)、布拉姆(Bram)、伍特·巴格曼(Wouter Baggerman)及伊娃M.范·里克索特(Eva M.van Rikxoort)的“来自胸部CT扫描的气道树的稳健分割及解剖标记(Robust segmentation and anatomical labeling of the airway tree fromthoracic CT scans)”，医学图像计算及计算机辅助干预国际会议(InternationalConference on Medical Image Computing and Computer-Assisted Intervention)。施普林格，柏林，海德堡(Springer,Berlin,Heidelberg)，2008年。

孟(Meng)、齐尔(Qier)等人的“使用梯度向量流基于所关注体积从3D胸部CT体积进行气道分割(Airway segmentation from 3D chest CT volumes based on volume ofinterest using gradient vector flow)”，医学成像技术(Medical ImagingTechnology)36.3(2018)：133到146。

安提嘉(Antiga)、卢卡(Luca)的“在维度及形状方面概括血管性(Generalizingvesselness with respect to dimensionality and shape)”，洞察杂志(The InsightJournal)3(2007)：1到14。

拉森(Lassen)、比安卡(Bianca)等人的“基于裂隙、血管及支气管的胸部CT扫描肺叶的自动分割(Automatic segmentation of the pulmonary lobes from chest CTscans based on fissures,vessels,and bronchi)”，IEEE医学成像交易(IEEEtransactions on medical imaging)32.2(2012)：210到222。

劳(Law)、马克思WK(Max)WK及钟艾尔伯特CS(Albert CS Chung)的“使用最佳定向通量进行三维曲线结构检测(Three dimensional curvilinear structure detectionusing optimally oriented flux)”，欧洲计算机视觉会议(European conference oncomputer vision)，施普林格，柏林，海德堡(Springer,Berlin,Heidelberg)2008。

朱利安尼(Giuliani)、尼古拉斯(Nicola)等人的“使用阿尔法扩展的CT图像中的肺叶分割(Pulmonary Lobe Segmentation in CT Images using Alpha-Expansion)”，维西格拉普(4：维萨普)(VISIGRAPP(4:VISAPP))2018。

佩耶(Payer)、克里斯蒂安(Christian)等人的“使用整数编程从胸部CT图像中自动分离动脉-静脉(Automatic artery-vein separation from thoracic CT imagesusing integer programming)”，医学图像计算及计算机辅助干预国际会议(International Conference on Medical Image Computing and Computer-AssistedIntervention)，施普林格，湛(Springer,Cham)2015。

佩耶(Payer)、克里斯蒂安(Christian)等人的“基于自动整数编程从胸部CT图像中分离动脉及静脉(Automated integer programming based separation of arteriesand veins from thoracic CT images)”，医学图像分析(Medical image analysis)34(2016)：109到122。

蒲建涛(Pu,Jiantao)等人的“一种用于自动分割人体气道树的微分几何方法(Adifferential geometric approach to automated segmentation of human airwaytree)”，IEEE医学成像交易(IEEE transactions on medical imaging)30.2(2010)：266到278。

谢霍夫佐夫(Shekhovtsov)、亚历山大(Alexander)、保罗·斯沃博达(PaulSwoboda)及波格丹·萨夫钦斯基(Bogdan Savchynskyy)的“通过使用图形模型进行迭代轻松推理的最大持久性(Maximum persistency via iterative relaxed inference withgraphical models)”，IEEE计算机视觉及模式识别会议论文集(Proceedings of the IEEEConference on Computer Vision and Pattern Recognition)2015。

图雷特肯(Turetken)、恩金(Engin)等人的“使用整数规划重建环状曲线结构(Reconstructing loopy curvilinear structures using integer programming)”，IEEE计算机视觉及模式识别会议论文集(Proceedings of the IEEE Conference on ComputerVision and Pattern Recognition)2013。

图雷特肯(Türetken)、恩金(Engin)等人的“使用路径分类器及整数规划重建曲线网络(Reconstructing curvilinear networks using path classifiers and integerprogramming)”，IEEE模式分析及机器智能交易(IEEE transactions on patternanalysis and machine intelligence)38.12(2016)：2515到2530。

范·东恩(van Dongen)、伊夫林(Evelien)及布拉姆·范·金内肯(Bram vanGinneken)的“在胸部CT扫描中通过局部阈值及气道壁切除自动分割肺血管系统(Automatic segmentation of pulmonary vasculature in thoracic CT scans withlocal thresholding and airway wall removal)”，2010IEEE生物医学成像国际研讨会：从纳米到宏观，IEEE，2010(2010 IEEE International Symposium on BiomedicalImaging:From Nano to Macro.IEEE,2010)。

奥克斯(Ochs)、罗伯特A.(Robert A.)等人的“使用AdaBoost在CT中对肺支气管血管解剖进行自动分类(Automated classification of lung bronchovascular anatomyin CT using AdaBoost)”，医学图像分析(Medical image analysis)11.3(2007)：315到324。

罗尔芬(Rohlfing)、托尔斯滕(Torsten)等人的“评估基于图谱的图像分割的图谱选择策略，并将其应用于蜜蜂大脑的共聚焦显微镜图像(Evaluation of atlas selectionstrategies for atlas-based image segmentation with application to confocalmicroscopy images of bee brains)”，神经图像(NeuroImage)21.4(2004)：1428到1442。

布彻(Beucher)、塞尔吉(Serge)的“应用于图像分割的分水岭转换(Thewatershed transformation applied to image segmentation)”，扫描显微镜-补充-(1992)(SCANNING MICROSCOPY-SUPPLEMENT-(1992))：299到299。

海伦(Helen)、R.等人的“基于PSO优化的2D Otsu的CT肺图像中肺实质的分割(Segmentation of pulmonary parenchyma in CT lung images based on 2D Otsuoptimized by PSO)”，2011电气及计算机技术新兴趋势国际会议，IEEE，2011(2011International Conference on Emerging Trends in Electrical and ComputerTechnology.IEEE,2011)。

舍克(Shirk)，约瑟夫D.(Joseph D.)等人的“3维虚拟现实模型对机器人辅助肾部分切除术手术计划的影响：一项随机临床试验(Effect of 3-Dimensional VirtualReality Models for Surgical Planning of Robotic-Assisted Partial Nephrectomyon Surgical Outcomes:A Randomized Clinical Trial)”，JAMA 网络开放(JAMA networkopen)2.9(2019)：e1911598到e1911598。

德罗斯特(Drost)、伯特伦(Bertram)及斯洛博丹·伊利奇(Slobodan Ilic)的“用于3d基元检测的局部霍夫转换(Local hough transform for 3d primitivedetection)”，2015 3D视觉国际会议，IEEE，2015(2015International Conference on 3DVision.IEEE,2015)。

XII.结论

尽管前述实施例出于清楚地理解的目的而进行了详细的描述，但应明白，可在所附权利要求书的范围内实践某些变化及修改。应注意，存在许多替代方式来实施本实施例的过程、系统及设备。因此，本实施例应视作说明性而非限制性的，且实施例不限于本文中给出的细节。

Claims (32)

1.一种用于识别包含数个肺叶的肺部中的节段的方法，每一肺叶包含数个所述节段，每一节段具有边界，所述方法包括：

接收形成所述肺部的至少一部分的三维表示的图像数据；

使用所述图像数据在计算上识别(i)肺部实质及/或所述肺部的外表面及(ii)所述肺部内的至少一个解剖结构，其中所述至少一个解剖结构选自由以下者组成的群组：所述肺叶之间的一或多个裂隙、一或多个静脉、一或多个动脉及一或多个气道；

从(i)所述肺部实质及/或所述肺部的所述外表面及(ii)所述至少一个经识别的解剖结构在计算上识别所述肺部内的至少一个节段的基本上整个所述边界，其中在计算上识别所述肺部内的所述至少一个节段的基本上整个所述边界包括从所述至少一个经识别的解剖结构在计算上识别所述肺部内的所述至少一个节段与额外节段之间的基本上整个节段到节段表面边界，所述额外节段邻近于所述至少一个节段且所述节段到节段表面边界位于所述肺部的所述外表面上；及

产生含有所述肺部内的所述至少一个节段的基本上整个所述边界的表示。

2.根据权利要求1所述的方法，其中所述图像数据包括CT扫描及/或MRI。

3.根据权利要求2所述的方法，其中所述CT扫描及/或MRI包括有对比的CT扫描及/或有对比的MRI。

4.根据权利要求1所述的方法，其进一步包括提供含有所述肺部内的所述至少一个节段的基本上整个所述边界的视觉呈现。

5.根据权利要求1所述的方法，其中所述至少一个解剖结构包括所述一或多个静脉。

6.根据权利要求1所述的方法，其中所述至少一个解剖结构包括所述一或多个动脉。

7.根据权利要求1所述的方法，其中所述至少一个解剖结构包括所述一或多个气道。

8.根据权利要求1所述的方法，其中在计算上识别(i)肺部实质及/或所述肺部的外表面包括在计算上识别肺叶之间的一或多个裂隙，且其中所述至少一个解剖结构包括所述一或多个静脉。

9.根据权利要求1所述的方法，其中在计算上识别(i)肺部实质及/或所述肺部的外表面包括在计算上识别肺叶之间的一或多个裂隙，且其中所述至少一个解剖结构包括所述一或多个动脉。

10.根据权利要求1所述的方法，其中在计算上识别(i)肺部实质及/或所述肺部的外表面包括在计算上识别肺叶之间的一或多个裂隙，且其中所述至少一个解剖结构包括所述一或多个气道。

11.根据权利要求1所述的方法，其中所述至少一个解剖结构包括所述一或多个静脉及所述一或多个动脉。

12.根据权利要求1所述的方法，其中所述至少一个解剖结构包括所述一或多个静脉及一或多个气道。

13.根据权利要求1所述的方法，其中所述至少一个解剖结构包括所述一或多个动脉及所述一或多个气道。

14.根据权利要求1所述的方法，其中所述至少一个节段包括给定节段，其中产生所述表示包括确定所述给定节段内第一解剖结构的位置，且其中所述第一解剖结构选自由以下者组成的群组：所述一或多个静脉的至少一部分、所述一或多个动脉的至少一部分及所述一或多个气道的至少一部分。

15.根据权利要求1所述的方法，其中所述至少一个节段包括给定节段，其中产生所述表示包括确定所述给定节段内第一解剖结构的位置，且其中所述第一解剖结构是一或多个节段间静脉的至少一部分。

16.根据权利要求1所述的方法，其中所述至少一个节段包括给定节段，且其中产生所述表示包括确定所述给定节段内至少一或多个病变的位置。

17.根据权利要求1所述的方法，其中所述至少一个节段包括给定节段，且其中产生所述表示包括确定所述给定节段内至少一或多个淋巴结的位置。

18.根据权利要求1所述的方法，其中所述至少一个节段包括给定节段，所述方法进一步包括使用所述图像数据在计算上确定所述给定节段的所述边界内第一解剖结构的安放，其中所述第一解剖结构选自由以下者组成的群组：所述一或多个静脉的至少一部分、所述一或多个动脉的至少一部分、所述一或多个气道的至少一部分、一或多个病变及一或多个淋巴结。

19.根据权利要求1所述的方法，其进一步包括使用所述图像数据在计算上识别所述肺部内的一或多个节段间静脉，其中在计算上识别所述肺部内至少一个节段的基本上整个所述边界包括至少部分基于所述经识别的一或多个节段间静脉在计算上识别至少一个节段的基本上整个所述边界。

20.根据权利要求1所述的方法，其中所述肺部具有外表面，所述方法进一步包括使用所述图像数据在计算上识别所述肺部的所述外表面的至少部分，其中在计算上识别所述肺部内至少一个节段的基本上整个所述边界包括至少部分基于所述肺部的所述外表面的所述经识别的部分在计算上识别至少一个节段的基本上整个所述边界。

21.根据权利要求1所述的方法，其中所述肺部进一步包含实质，所述方法进一步包括使用所述图像数据在计算上识别所述实质的至少部分，其中在计算上识别所述肺部内至少一个节段的基本上整个所述边界包括至少部分基于所述实质的所述经识别的部分在计算上识别至少一个节段的基本上整个所述边界。

22.根据权利要求1所述的方法，其中所述至少一个节段包括给定节段，所述方法进一步包括：

基于所述给定节段的所述在计算上识别的边界计算所述给定节段的体积。

23.根据权利要求1所述的方法，其中所述至少一个节段包括给定节段，所述方法进一步包括：

计算所述肺部内的所述给定节段的任何边界与另一解剖结构之间的距离。

24.根据权利要求1所述的方法，其进一步包括计算所述至少一个节段的基于距离的测量，其中所述基于距离的测量选自由以下者组成的群组：所述至少一个节段的所述边界的最大直径、形心、边界框、表面积；所述肺部的给定表面上的所述至少一个节段的长度；所述肺部的所述表面上的所述至少一个节段的最大长度；及所述至少一个节段与第二节段汇合之处的表面积或长度。

25.根据权利要求1所述的方法，其中所述至少一个节段包括给定节段，且其中所述肺部具有外表面，所述方法进一步包括：

计算所述肺部的所述给定节段与所述外表面之间的最小距离。

26.根据权利要求1所述的方法，其中所述图像数据包括用以下者中的至少一者获得的图像数据：CT扫描、MRI、超声扫描及核医学扫描。

27.一种用于识别包含数个肺叶的肺部中的特征的方法，每一肺叶包含数个节段，每一节段具有边界，所述方法包括：

接收形成人体肺部的至少一部分的体积表示的图像数据；

使用所述图像数据在计算上识别所述肺部内的解剖特征，其中所述解剖特征选自由以下者组成的群组：所述肺叶之间的一或多个裂隙、静脉网络、动脉网络、气道网络及一或多个节段间静脉；

使用所述解剖特征在计算上识别所述肺部内至少一个节段的边界；及

产生含有以下者的表示：(i)所述肺部内所述至少一个节段的基本上整个所述边界；及(ii)所述肺叶之间的所述一或多个裂隙、所述静脉网络、所述动脉网络、支气管网络、所述一或多个节段间静脉或前述内容的任何组合。

28.一种用于识别包含数个肺叶的人体肺部中的特征的方法，每一肺叶包含数个节段，所述方法包括：

接收形成所述人体肺部的至少一部分的体积表示的图像数据；

使用所述图像数据在计算上识别至少两个肺叶的部分及所述两个肺叶之间的裂隙；

使用所述图像数据在计算上识别动脉网络、静脉网络及/或支气管网络，其中识别所述动脉、静脉及/或支气管网络包括：

在计算上识别图像数据中的管状结构，其中所述管状结构是通过识别所述图像数据内的一组梯度变化来识别；及

基于所述管状结构在所述人体肺部内如何分支而在计算上确定所述管状结构是所述动脉、静脉及/或支气管网络的部分；及

基于所述经识别的动脉、静脉及/或支气管网络及所述经识别的肺叶或所述肺叶之间的所述裂隙在计算上识别所述肺叶中的至少一者内多个节段的边界。

29.根据权利要求28所述的方法，其中在计算上识别所述多个节段中的单个节段的所述边界包括：

在计算上识别图像数据内专门接收来自所述动脉网络的单个分支的血液的体积。

30.根据权利要求28所述的方法，其中在计算上识别所述多个节段中的单个节段的所述边界包括：

在计算上识别所述图像数据内不会通过所述肺叶之间的所述裂隙的体积。

31.根据权利要求28所述的方法，其进一步包括：

使用所述图像数据在计算上识别所述人体肺部内的病变；

从所述图像数据在计算上确定所述病变定位于所述多个节段中的给定节段中；及

从所述图像数据在计算上测量所述病变与所述给定节段的所述边界之间的最小距离。

32.一种用于识别包含数个肺叶的人体肺部中的特征的方法，每一肺叶包含数个节段，所述方法包括：

接收形成人体肺部的至少一部分的体积表示的图像数据；

使用所述图像数据在计算上识别动脉网络，其中识别所述动脉网络包括：

在计算上识别所述图像数据中的管状结构，其中所述管状结构是通过识别所述图像数据内的一组梯度变化来识别；及

使用所述图像数据且基于所述管状结构在所述人体肺部内如何分支而在计算上确定所述管状结构是所述动脉网络的部分；

使用所述图像数据在计算上识别支气管网络，其中识别所述支气管网络包括：

在计算上识别所述图像数据中的额外管状结构，其中所述额外管状结构是通过识别所述图像数据内的一组额外梯度变化来识别；及

使用所述图像数据且基于所述额外管状结构在所述人体肺部内如何分支而在计算上确定所述额外管状结构是所述支气管网络的部分；及

基于所述经识别的动脉网络及所述经识别的支气管网络在计算上识别所述肺叶中的至少一者内多个节段的边界。

Images