CN114255235A - 用于自动定位三维图像中的器官分段的方法和布置 - Google Patents

Abstract

本发明描述了一种用于在三维图像中自动定位器官分段的方法，包括以下步骤：提供示出至少一个器官和至少一个包括多个管状结构的管状网络的三维图像，该器官包括器官分段；执行器官与图像的其他部分的自动分离；执行管状网络的自动追踪以获得分支图；执行分支图的自动分析以标识特定的管状结构；执行将器官的区域自动分配给特定管状结构，以将器官分割成定位的器官分段；以及输出定位的器官分段和可选的追踪的管状网络作为图像数据。本发明进一步描述了一种定位布置和医学成像系统。

Description

用于自动定位三维图像中的器官分段的方法和布置

本申请要求2020年9月23日提交的No.102020211945.7德国专利申请的优先权，该德国专利申请公开内容通过引用以其整体并入本文。

技术领域

本发明描述了一种用于在三维图像中自动定位器官分段的方法和布置，以及一种医学成像系统。

背景技术

良好的患者特定解剖学知识对于分析疾病和计划治疗而言是重要的。例如脑、肝和肺的若干个器官包括多个分段，实质上每个分段在功能上和解剖学上是离散的。在这样的器官中，分段分割有助于疾病的定位。这例如通过在显示的分段中包括用于诊断的器官功能信息，使得能够实现在不影响相邻分段的情况下的单个分段切除、手术计划期间的术前评估以及与功能成像相组合的信息更丰富的疾病检测。

例如，肺解剖学对于临床专家分析肺相关疾病和计划定位治疗至关重要。肺分段被认为是肺的单位呼吸部分，每个单位呼吸部分由三级分段支气管充气。它们是肺叶的子区域。左肺中存在八个肺分段，并且右肺中存在十个肺分段。

例如，从SPECT/CT扫描观察到的肺中灌注缺陷与肺分段的关联可能比与肺叶的关联更好。这可以导致更好的临床决策。在CT扫描上人工标识肺分段的过程是具有挑战性和耗时的，因为有大量的肺分段，以及如下事实：每个肺叶内的分段之间的边界对于人眼来说从图像中不可见。然而，需要大量带注释的数据集来训练基于AI的方法，这将显著减少工作量和计算能力。

鉴于挑战，关于此主题存在有限的已发表文献。一种普遍接受的标识肺分段的方法是研究对应的支气管分段。先前已经尝试从支气管分段导出肺分段，但是人类交互程度高且准确性有限。

发明内容

因此，本发明的目的是减少在三维图像中定位器官分段中所涉及的人类工作量。

该目的是通过如下各项实现的：通过所述方法；通过布置；以及通过本文公开的医学成像系统。

根据本发明，一种用于在三维图像中自动定位器官分段的方法包括以下步骤：

-提供示出至少一个器官和至少一个包括多个管状结构的管状网络的三维图像，该器官包括器官分段；

-执行器官与图像其他部分的自动分离；

-执行管状网络的自动追踪以获得分支图；

-执行分支图的自动分析以标识特定的管状结构；

-执行将器官的区域自动分配给特定管状结构，以将器官分割成定位的器官分段；和

-输出定位的器官分段和可选的追踪的管状网络作为图像数据。

本文描述本发明是为了给出用于在医学图像中定位的方法的视觉理解。数字图像通常由一个或多个对象（或形状）的数字表示组成。对象的数字表示在本文中经常依据标识和操纵对象来描述。这样的操纵是是典型地在计算机系统的存储器或其他电路/硬件中完成的虚拟操纵。因此，应当理解，本发明的实施例可以使用存储在计算机系统内的数据在计算机系统内执行。

优选地，三维（3D）图像是计算机断层摄影（CT）图像。然而，应当理解，3D图像可以是任何合适模态的医学图像，诸如例如MRI、多参数MRI（mpMRI）、DynaCT、超声（US）、单光子发射计算机断层扫描（SPECT）、正电子发射断层扫描（PET）等。

图像包括患者器官的表示，特别是内部器官，其中患者可以是人类或动物。器官包括分段，所述分段优选是功能上和解剖学上实质分离的最小元素。这意味着分段是器官的基本上独立的区域，介入切除或治疗对其他分段仅具有很小的直接影响。

三维图像是要分析的输入数据集。图像可以直接从用于采集医学图像的成像模态中获得，或者从数据存储装置中检索，所述数据存储装置例如本地数据存储器或网络数据存储装置，诸如PACS（图像存档和通信系统）或远程计算机或服务器。

管状网络包括多个管状结构，即它是连接的和分支的管的系统。每个管具有基本上圆柱形的形状，即它可以被识别为圆柱体，尽管圆柱形的形状可以是弯曲的或者以其他方式变形。每个管状结构的壁形成实质上圆柱形的形状，并封围内腔。管状网络可以是器官的一部分或与器官紧密相关，例如是渗透和/或包围器官的血管。

通过执行单独的自动化步骤，器官分段被自动定位，如下文中详细描述的。这有利地减少了人类工作量。在该上下文中，“自动”或“自动地”意味着尽管参数可以由用户设置，但是实际的步骤或方法是由机器（特别是通过算法）执行的，而无需用户干预。

执行器官与图像的其他（即非器官）部分的自动分离意味着器官被从解剖学上不属于该器官的部分中分割。这样的预备分割步骤通常是公知的，并且可以利用诸如边缘检测、区域生长、阈值分析等方法来执行。

一般来说，区域生长是从种子点开始的公知的分割方法。取决于区域成员准则，新的区域被添加到种子点或先前确定的区域。区域成员准则可以例如是像素强度、灰度纹理、对比度、SNR等。边缘检测通常标识图像中图像亮度急剧改变的点，或者更正式地说，具有不连续性的点。

自动追踪特别地检测管状网络的中心线。由于各个管状结构彼此连接，因此获得了分支图或中心线树。分支图基本上是树状结构，即它包括多个分支点或节点，其中分支分裂成两个或更多个分支。中心线跟随管状形状的结构的中心。特别地，中心线树或分支图是3D图像内管状网络的三维表示。

对于自动追踪步骤，优选使用原始3D图像作为输入。因为管状结构具有基本上圆柱形的形状，所以诸如边缘检测、区域生长、阈值分析方法等技术可以适用于圆柱形边界条件以执行追踪。特别地，可以执行形态学追踪算法来获得分支图。由于现有技术的自动追踪方法迄今为止还不能实现本发明方法所需的准确度，并且容易出错，因此下面描述自动追踪的细节。

通常，不同患者的分支图示出类似的特性，诸如从某个节点开始的分支数量、分支的相对方向（即角度）、节点之间的距离等。分支图的自动分析特别地可以基于这些特性。典型地，特定的管状结构在局部和/或功能上与将在图像数据中分割的器官分段相对应。分支图的自动分析标识这些特定的管状结构。

将器官区域自动分配给特定的管状结构，将器官分割成定位的器官分段。例如，从每个特定的管状结构开始，区域生长或者将最接近的体素分配给相应的器官分段对该器官进行分割，直到它被完全处理成器官分段。这提供了每个器官分段的定位和范围，即器官分段因此被定位，特别是相对于分离的器官或相对于3D图像被定位。

定位的器官分段和可选的追踪的管状网络作为图像数据输出，即它们可以被存储、传输或显示。为了便于在原始3D图像的上下文中评估成像的器官，定位的器官分段和可选的追踪的管状网络可以优选地输出为具有可调透明度的覆盖图，并且附加地或可替代地输出为单独的图像。

根据本发明，一种用于在三维图像中自动定位器官分段的定位布置包括：

-用于提供器官的三维图像的部件，该器官包括器官分段和至少一个包括多个管状结构的管状网络；

-分离部件，用于将器官与图像的其他部分自动分离；

-追踪部件，用于自动追踪管状网络以获得分支图；

-分析部件，用于自动分析分支图以标识特定管状结构；

-分配部件，用于将器官的区域自动分配给特定的管状结构，以将器官分割成定位的器官分段；和

-输出，用于输出定位的器官分段和可选的追踪的管状结构作为图像数据。

因此，定位布置包括所有部件，并且被配置为实现根据本发明的用于在三维图像中自动定位器官分段的方法。例如，用于提供三维图像和输出的部件可以被配置成单独的接口，或者它们中的一个或二者可以被配置成诸如网络接口等的单个集成接口。

根据本发明，医学成像系统包括根据本发明的定位布置和成像模态。

上面提到的定位布置的一些单元或模块可以完全或部分实现为运行在计算系统或医学成像系统的处理器上的软件模块。主要以软件模块形式的实现具有如下优点：可以用相对少的工作量来更新已经安装在现有系统上的应用，以安装和运行本应用的这些单元。本发明的目的还通过一种计算机程序产品来实现，该计算机程序产品具有可直接加载到计算系统或医学成像系统的存储器中的计算机程序，并且该计算机程序产品包括当所述程序由医学成像系统或计算系统执行时执行本发明方法的步骤的程序单元。除了计算机程序之外，这样的计算机程序产品还可以包括另外的部分，诸如文档和/或附加组件，还有诸如硬件密钥（加密狗（dongle）等）之类的硬件组件，以便于访问软件。

诸如记忆棒、硬盘或其他可运输或永久安装的载体之类的计算机可读介质可以用于运输和/或存储计算机程序产品的可执行部分，使得这些部分可以被医学成像系统或计算系统的处理器单元读取。处理器单元可以包括一个或多个微处理器或其等同物。

从属权利要求给出了本发明的特别有利的实施例和特征，如以下描述中揭示的。不同权利要求类别的特征可以适当地组合，以给出本文没有描述的另外的实施例。

由于根据本发明的分段的定位在具有独特分段和可区分管状结构的器官中表现最佳，因此待分析的器官优选为脑或肝。更优选地，它是肺或一对肺。对于所有这些器官，血管的通路是公知的，并且尤其是它们与相应器官的各个分段的相关性。特别是对于肺来说，如上所述，支气管形成了与器官分段有强相关性的管状结构。

因此，管状结构优选为血管和/或支气管。更优选地，如果要分析肺或一对肺，支气管以及血管被用作分离的管状结构，用于基于肺分段定位的启发法进行更复杂的评估。

在器官是肺的情况下，优选地在将肺与图像的其他部分分离之后或同时执行对个体肺叶的预分割。该分割由于肺叶之间的胸膜囊有清晰可见的凹痕而是相对容易的。因此，可以利用通常已知的边缘检测或区域生长方法来分割肺叶。

由于较小气道分支薄且不清晰的管状结构，中心线追踪或提取可能非常具有挑战性。由于该结构的复杂性，因此使用手工方法进行提取既繁琐又耗时。然而，由于本发明方法的另外步骤取决于分支图的准确性，因此下文中将详细描述自动追踪过程。

对于自动中心线追踪，经训练的基于AI的图生成方法评估3D图像以生成管状结构概率图。将骨架化算法应用于管状结构概率图以获得分支图。

基于AI的图生成方法通过以下各项来训练：

-接收管状结构的至少一部分的医学图像数据，

-接收基于医学图像数据的带注释的图像数据，其中带注释的数据是管状结构概率图，

-在医学图像数据和带注释数据上训练基于AI的图生成方法，以获得经训练的基于AI的图生成方法。

特别地，医学图像数据可以是管状结构的至少一部分的3D医学图像。特别地，可以通过对医学图像数据进行注释来确定带注释数据。特别地，技术人员可以人工注释医学图像数据。人工注释医学图像数据中的管状结构提供了高质量且错误少的带注释数据。

优选地，在利用人工注释的数据训练基于AI的图生成方法之前，应用预训练。

基于AI的图生成方法通过以下各项进行预训练：

-接收管状结构的至少一部分的预训练医学图像数据，

-根据基于形态学的分割执行确定性算法，以获得预训练管状结构概率图，

-基于预训练医学图像数据和预训练管状结构概率图来对基于AI的图生成方法进行预训练。

特别地，预训练医学图像数据可以是3D医学图像数据。一般来说，技术人员已知合适的基于形态学的分割算法。可以用作基于形态学的算法的示例性算法例如由Irving等人（3D segmentation of the airway tree using a morphology based method,Proceedings of 2nd International Workshop on Pulmonary Image Analysis, p.297-307, 2009）、Feuerstein等人（Adaptive Branch Tracing and Image Sharpening forAirway Tree Extraction in 3-D Chest CT, Proceedings of 2nd InternationalWorkshop on Pulmonary Image Analysis, p.273-284, 2009）、Lo等人（MultiscaleVessel-guided Airway Tree Segmentation, Proceedings of 2nd InternationalWorkshop on Pulmonary Image Analysis, p.323-332, 2009）和Bauer等人（Airway TreeReconstruction Based on Tube Detection, Proceedings of 2nd InternationalWorkshop on Pulmonary Image Analysis, p.203-213 2009）描述。

即使预训练的管状结构概率图不如人工注释的数据精确（尤其是在管状结构的较小部分中），但也可以用于预训练依据基于AI的图生成方法。预训练的函数可以通过第二个训练步骤使用人工注释的数据进行微调。因此，大量的预训练管状结构概率图可以用于预训练依据基于AI的图生成方法。这样，可能的是利用少量人工注释的数据来训练和微调依据基于AI的图生成方法。

骨架化算法用于确定3D图像内管状网络或管状结构的分支图。可以通过将骨架化算法应用于管状结构概率图来计算分支图或中心线树。特别地，骨架化算法可以被配置为确保分支图的弯曲平滑度和/或连接性，并且可以处理背景噪声。弯曲平滑度意味着分支图遵循管状结构的有机形状。连接性意味着在3D医学图像中描绘的管状结构的分支图中没有间隙。管状结构的连接性总是存在于人体中，以使得能够流动，例如空气或血液流动。处理背景噪声意味着骨架化算法识别噪声不对应于管状结构。具有这些属性的骨架化算法可以例如基于Rivulet算法的适配。Siqi等人描述了这样的适配（“Automated 3-D NeuronTracing With Precise Branch Erasing and Confidence Controlled Back Tracking”，IEEE Transactions on Medical Imaging, Vol. 37, No. 11: 2441-2452, 2018）。

对每种类型的管状网络，例如血管和支气管，分别执行自动中心线追踪。由于不同类型管状网络的不同特性，因此对于每个管状网络分别训练基于AI的图生成方法。

因此，可以基于3D医学图像数据自动追踪中心线并以高准确度获得分支图。

分析分支图优选地基于管状网络拓扑的启发法。如上提及的，管状网络的拓扑特性可以包括例如从某个节点开始的多个分支、分支的相对方向（即角度）、节点之间的距离等。这些特性对于不同的患者是相似的，并且甚至它们的标准偏差是已知的或者可以根据经验确定。基于该数据，可以执行分支图的启发式评估。

可替代地，优选基于可变形配准和图谱传播来分析分支图。

可变形图像配准（DIR）也称为非刚性图像配准。在刚性图像配准（RIR）中，所有像素均匀地移动和/或旋转，使得每个像素到像素关系在变换之前和之后保持相同。然而，在DIR中，那些像素到像素关系改变，以便在变换之后实现更好的匹配。此外，该实施例基于所谓的图谱，该图谱由相应器官的图像和已经例如使用详细的人工分割预先准备的对应标签构成。3D图像和图谱的配准为3D图像中的每个管状结构提供了以特定标签形式的指示。因此，可能的是标识特定的管状结构。

更优选地，执行多图谱传播。这意味着执行如上所述的大量图谱传播，并且对每个管状结构的标签的不同结果进行平均，或者进行加权和平均。因此，可能的是更可靠地标识特定的管状结构。

在本发明的优选且节省资源的实施例中，器官的区域被逐体素分配给最接近的特定管状结构。这意味着器官的每个体素被分配给具有最小距离的特定管状结构。

在替代实施例中，将器官的区域分配给特定的管状结构是基于区域生长的。在这种情况下，生长区域的种子点是特定的管状结构。区域生长是逐步执行的。如果出现冲突，即在一个步骤中，区域将被添加到两个或更多个不同的分段，则该区域可以被添加到最相似的分段或在分段之间进行划分。

执行上述两个替代实施例，直到将完整的器官分配给从相应的特定管状结构开始的分段。两个或更多个分段之间的边界上的体素可以优选地在分段的可选表面平滑步骤中被重新评估。

在少数情况下，由于图像中存在不确定的特征，因此用于区域分配的上述两种替代方案可能不会导致解剖学上的准确结果。因此，空间配准的解剖模板优选地约束器官区域到特定管状结构的分配。如上所述，配准可以作为刚性或非刚性配准来执行。类似于上述图谱，模板例如是具有每个器官分段的指定区域的图，如果必要，所述区域重叠。只有当图像区域对应于相应的指定区域时，才可以将其分配给器官分段。可替代地，模板可以被设计为例如概率图，并且可以为每个器官分段的指定区域设置“软”边界。在有疑问的情况下，图像区域被分配给具有较高概率的器官分段。

优选地，自动分离、自动追踪、自动分析和自动分配中的至少一个步骤通过经训练的基于AI的方法来执行。更优选地，所有的步骤都是通过经训练的基于AI的方法来执行的。

术语“基于AI的方法”是指模仿与人类思维相关联的认知功能的机器方法。该术语包括例如机器学习和深度机器学习。特别地，通过基于训练数据的训练，经训练的基于AI的方法能够适应新的环境并检测和外推模式。

基于AI的方法优选为机器学习方法，更优选为深度机器学习方法。一般来说，机器学习使得机器能够适应新的环境，并检测和外推模式。“简单”或“传统”机器学习方法包括例如逻辑回归、支持向量机（SVM）、随机森林等。

一般来说，基于AI的方法的参数可以借助于训练来进行适配。特别地，可以使用有监督训练、半监督训练、无监督训练、强化学习和/或主动学习。更进一步地，可以使用表示学习（替代术语是“特征学习”）。特别地，经训练的基于AI的方法的参数可以通过若干个训练步骤来迭代地适配。

特别地，通过基于训练数据的训练，经训练的基于AI的方法能够适应新的环境，并检测和外推模式。优选地，上述大多数确定性算法可以自动生成必要的训练数据。由于所描述的确定性算法以足够的准确度执行，因此不需要或几乎不需要人工注释的训练数据。

换句话说，使用多个输入数据集，每个输入数据集由大多数确定性算法处理以获得训练数据。它的输入数据也由未经训练的基于AI的方法处理。使用大量输入数据集，通过调整基于AI的方法来训练基于AI的方法，以最小化训练数据和待训练的基于AI的方法的结果之间的偏差。

例如，如果自动追踪的步骤将被实现为经训练的基于AI的方法，则多个3D图像用作输入数据集。通过未经训练的基于AI的方法处理3D图像以获得结果。3D图像还通过大多数确定性的追踪算法进行处理，以获得以分支图形式的训练数据，将其与基于AI的方法的结果进行比较，以训练基于AI的方法。

此外，大多数确定性算法可以生成基于AI的方法的训练所需的输入数据。例如，如果自动分析的步骤将被实现为基于AI的方法，则需要多个分支图作为输入数据集。这些可以通过利用大多数确定性算法对多个3D图像执行自动追踪来生成。从如此获得的输入数据集开始，执行上述训练。

因此，自动分离、自动追踪、自动分析和自动分配的每个步骤都可以作为经训练的基于AI的方法来实现，并且因此任何合适的组合或所有步骤都可以在单个经训练的基于AI的方法中实现。

特别地，经训练的基于AI的方法可以包括神经网络、支持向量机、决策树和/或贝叶斯网络，和/或经训练的基于AI的方法可以基于k-均值聚类、Q学习、遗传算法和/或关联规则。特别地，神经网络可以是深度神经网络、卷积神经网络或卷积深度神经网络。更进一步地，神经网络可以是对抗网络、深度对抗网络和/或生成式对抗网络。

优选地，经训练的基于AI的方法包括稠密单元网络。特别地，稠密单元网络包括卷积层、最大池化层和逆卷积层。特别地，稠密单元网络包括第一部分和第二部分。在稠密单元网络的第一部分中，输入数据被下采样。下采样意味着输入数据的维数减少，即输入数据的像素或体素的数量减少。输入数据可以是3D图像。在网络的第二部分中，下采样数据被再次上采样，使得输出数据包括与输入数据相同的格式。这意味着输入层的节点和输出层的节点之间、特别是还在它们可以表示的数值方面存在一一对应关系。如果输入数据是3D图像，则具有相同大小的输出数据意味着输出数据也是与输入3D图像具有相同维度的3D图像，并且相对于每个维度包括相同数量的像素或体素。

更进一步地，稠密单元网络的层被级联。例如，最后一层可以与稠密单元网络的第一层级联。换句话说，最后一层可以从第一层接收信息。稠密单元网络的详细描述例如由

等人的“3D U-Net: Learning Dense Volumetric Segmentation from SparseAnnotation”（MICCAI, Springer, Vol. 9901: 424-432, 2016）提供。

术语“网络”在这里指示可能存在物理网络，即通过信号线连接的物理节点网络（例如，FPGA或物理计算设备网络）。然而，该术语还意味着可能存在基于通过虚拟信号线（例如，彼此链接的节点）连接的虚拟节点（例如，虚拟神经元）的虚拟网络。因此，深度学习网络可以以硬件模块的形式作为物理（硬件）网络存在，或者以软件模块的形式作为虚拟网络存在，其中软件模块可以存在于单独的（硬件）计算模块中。

在虚拟网络的情况下，网络中通常存在作为基本单元的人工神经元。人工神经元是被设想成生物神经元的模型的数学函数，接收一个或多个输入，所述一个或多个输入例如可以表示神经树突处的兴奋性突触后电位和抑制性突触后电位，并将它们相加以产生输出。通常每个输入被单独加权，并且总和通过被称为“激活函数”（或“传递函数”）的非线性函数传递。优选的激活函数具有sigmoid形状，但是它也可以采用其他非线性函数、分段线性函数或阶跃函数的形式。

深度学习网络可以具有公知的基本架构。然而，它的内部结构和它的表现是在训练后单独形成的。因此，可以说训练定义了深度学习网络的内部“结构”，并将其与其他经训练的深度学习网络（即使是相同的基本架构）区分开。

在其训练阶分段，其结构内的权重或参数被自动调整以类似于训练数据。对于所有层的权重/参数的优化，可以使用公知的优化方法，例如梯度下降算法或者与例如交叉熵损失函数组合的Adam算法。

在训练之后，网络的权重/参数适用于特定的任务，并且可以例如追踪管状网络的中心线以获得分支图，分析分支图以标识特定的管状结构，将器官的区域分配给特定的管状结构以根据先前看不到的测量将器官分割成定位的器官分段。

医学成像系统的组件优选地是数据网络的一部分，其中数据网络和提供图像数据的成像模态彼此进行数据通信，其中数据网络优选地包括互联网的部分和/或基于云的计算系统，其中优选地，根据本发明的设备或至少深度学习网络在该基于云的计算系统中实现。例如，设备的组件是数据网络的一部分，其中优选地，数据网络和提供图像数据的医学成像模态进行彼此通信。这样的网络化解决方案可以经由互联网平台和/或在基于云的计算系统中实现。

该方法还可以优选地包括“云计算”的元素。在“云计算”的技术领域中，通过数据网络提供IT基础设施，例如存储空间或处理能力和/或应用软件。用户和“云”之间的通信是借助于数据接口和/或数据传输协议来实现的。

数据的提供优选地经由到“云”的数据通道（例如数据网络）。该“云”包括（远程）计算系统，例如典型地不包括用户本地机器的计算机集群。该云尤其可以由医疗机构可用，该医疗机构还提供医学成像系统。特别地，图像采集数据经由RIS（放射信息系统）或PACS（图像存档和通信系统）发送到（远程）计算机系统（“云”）。上述单元，尤其是（一个或多个）稠密网络，优选地存在于“云”侧。优选的定位布置进一步包括经由数据通道（例如，数据网络，特别地配置成RIS、PACS）连接到设备的本地计算单元。本地计算单元包括接收数据的至少一个数据接收接口。此外，如果本地计算机另外具有传输接口以便向设备发送数据，则是优选的。

优选地，在由定位布置评估之前，对3D图像进行预处理，以解决或移除3D图像和训练数据之间的可变性或差异。移除3D图像和训练数据之间的差异即使在有限数据可用性的情况下也确保高水平的性能。这样的差异可以包括几何差异、强度差异、基准真值准备中的差异或任何其他差异。

优选地解决几何可变性，以适当地对准3D图像，用于准确和高效的读取。特别地，执行配准步骤来对准3D图像。此外，为了获得跨模态和患者病例的图像的均匀维度和体素间距，优选地将每个图像变换到具有相同维度和间距的空间。因此，通过移除几何可变性，每个3D图像将具有相同的大小、定向、间距和定位属性。

为了确保跨患者病例和不同模态之间的强度可比性，图像的强度优选地被归一化。归一化可以基于中值、平均值或任何其他统计上鲁棒的度量，诸如例如强度直方图的中间两个四分位数的平均值。

三维图像优选地为MR图像或超声波图像。更优选地，它是CT图像。所有这些模态在3D成像中都是公知的，并且因此非常适合本发明的方法。

从以下结合附图考虑的详细描述中，本发明的其他目的和特征将变得显而易见。然而，应当理解，附图仅仅是出于说明的目的而设计的，而不是作为对本发明的限制的定义。

附图说明

图1示出了本发明方法的第一实施例的示例性框图；

图2示出了作为3D图像的截面视图的患者胸部区域的示例性CT图像；

图3示出了分离和预分割的肺的详细图像；

图4示出了追踪的气道中心线的详细图像；

图5示出了所分析的特定支气管的详细图像；

图6示出了肺及其肺分段的详细图像；

图7示出了本发明方法的第二实施例的示例性框图；

图8示出了本发明的医学成像系统的简化示例，包括本发明的定位布置的示例。

具体实施方式

图1示出了用于在三维（3D）图像IMG中自动定位器官分段S的本发明方法的示例性实施例的示意图。对于一些步骤的描述，参考图2-6中的详细图示。对图3、图5和图6中各个图像组件的参考仅用于说明目的，并且不一定对应于常见的解剖学术语。

在步骤ACQ中，以重建的CT图像形式的医学3D图像IMG被例如从内部或本地存储装置、网络存储装置或云系统接收，或者被利用诸如CT扫描仪之类的成像模态直接采集。显然，可替代地，可以使用任何合适的医学3D图像，例如MR图像或超声波图像。3D图像IMG由患者O的胸部区域的截面视图表示（参见图2）。因此，它包括病人O的两个肺L的视图。

在步骤SEP中，肺L自动与3D图像IMG的其他部分、即非肺组织分离。在步骤preSEG中，执行将肺L可选地自动预分割成肺叶LL。图3中示出了预分割的结果，即各个肺叶LL1、LL2、LL3……。由于作为一个整体的肺L和肺叶LL这二者被肺囊分离，并且因此可以清楚地区分，因此使用边缘检测、区域生长、阈值分析等的公知分割算法可以执行自动分离SEP和自动预分割preSEG的步骤。

肺L包括气道，诸如支气管TB1、TB2、TB3……是管状结构，即它们在形状上基本上是圆柱形的。气道相连，并且因此形成管状网络TB。在步骤TRA中，自动追踪该管状网络TB，并获得描绘气道中心线的分支图CL。为此，一种评估3D图像IMG的经训练的基于AI的图生成方法生成了气道TB的概率图。特别地，如上所述训练基于AI的图生成方法。骨架化算法被应用于管状结构概率图，以获得气道中心线的分支图CL（参见图4）。特别地，骨架化算法如上所述在Rivulet算法的上下文中实现。

在步骤ANA中，自动分析分支图CL并确定特定的支气管，更精确地说是特定的三级支气管TB1、TB2、TB3……。对于自动分析ANA，应用了图谱传播算法。为此，提供了包括特定支气管TB1、TB2、TB3……的标记图的图谱，并使用可变形配准将其作为模板配准到分支图。从配准的图谱中，可以直接确定所述特定支气管TB1、TB2、TB3......（参见图5）。

特定的三级支气管TB1、TB2、TB3......对应于相应的肺分段。在步骤SEG中，将分离的和可选地预分割的肺L的区域分配给特定的三级支气管TB1、TB2、TB3……，以将肺L分割成肺分段S1、S2、S3……。在相同的过程中，相对于分离的肺L或相对于3D图像IMG定位肺分段S1、S2、S3......（参见图6）。

分配肺L的区域例如通过从作为种子点的特定三级支气管TB1、TB2、TB3......开始的公知区域生长算法来执行。在执行可选的自动预分割preSEG的情况下，仅执行区域生长直到到达肺叶L1的边界。在没有执行可选的自动预分割preSEG的情况下，执行区域生长直到到达肺L的边界。区域生长算法优选地被稍微修改以包括附加模板，该模板被配准到分离的肺L或预分割的肺叶LL。该模板指定了肺分段S1、S2、S3......的扩展限制。

在步骤OUT中，将肺分段S1、S2、S3......的分割和定位作为图像数据输出，即它们被存储、传输或显示。为了促进对成像的肺的评估，原始3D图像IMG、定位的肺分段S1、S2、S3......和原始3D图像IMG可以优选地作为具有可调透明度的覆盖图以及附加地或替代地作为单独的图像输出。可选地，还有追踪的管状网络CL和/或特定的三级支气管TB1、TB2、TB3……也可以优选地作为具有可调透明度的覆盖图以及附加地或可替代地作为单独的图像输出。

图7示出了用于在三维（3D）图像IMG中自动定位器官分段S的本发明方法的另一示例性实施例的示意图。与参考图1的实施例相比，这里，以下各项步骤都被实现为单个经训练的神经元网络NN：将肺L从3D图像IMG的其他部分自动分离；自动预分割preSEG肺L；自动追踪TRA气道TB；自动分析ANA分支图CL；以及将肺L的SEG区域自动分配给特定的三级支气管TB1、TB2、TB3......。经训练的神经元网络NN的输出可以如上面参考图1所述进行设计。

经训练的神经元网络NN优选地被配置为稠密神经网络或全连接神经网络。优选地，至少部分地利用如参考图1描述的本发明方法提供的训练数据来训练。与为此目的对训练数据进行容易出错的人工注释（如果可能的话）相比，参考图1描述的方法的使用允许训练数据的快速和准确生成。因此，可能的是利用足够数量的训练数据集来训练神经网络NN。

图8示出了作为CT系统1的医学成像系统1的示意表示。CT系统1包括实际的CT扫描仪2，即成像模态。CT扫描仪2包括用于将患者O定位为检查对象的患者台3。患者台3可沿着系统轴4调整到测量场中，并且从而将患者O定位在测量场中。CT扫描仪2进一步包括台架6，台架6具有辐射源5和检测器7的布置，检测器7被安装成围绕系统轴4可旋转。辐射源5和检测器7以这样的方式彼此相对地对准，使得在操作期间，从X射线辐射源5的焦点发出的X射线在穿透患者O之后撞击到辐射检测器7上。为了拍摄感兴趣区域的图像，通过旋转辐射源5和检测器7来采集来自多种不同投影方向的投影数据。对于每个投影，辐射检测器7生成投影数据集。这些投影数据然后被进一步处理以形成所得到的3D图像IMG。

一般来说，技术人员熟悉CT扫描仪的设计和功能以及CT图像的重建。为此，省略了更详细的描述。

更进一步地，CT系统1包括定位布置20、用于用户输入的键盘10和用于显示信息的屏幕9。定位布置20经由第二输入/输出接口29连接到键盘10和屏幕9，并经由第一输入/输出接口21连接到CT扫描仪2。CT扫描仪2提供CT图像，优选地包括患者O的胸部区域，作为三维图像数据IMG。此外，定位布置20连接到外部存储装置30，例如可以提供3D图像IMG的医院内部图像存档和通信系统（PACS）的存储装置。经由输入接口21建立到可以提供3D图像IMG的云存储31的另外的连接。

定位布置20进一步包括用于执行步骤SEP的分离部件23；用于执行步骤TRA的追踪部件25；用于执行步骤ANA的分析部件26；以及用于执行步骤SEP的分配部件27。定位布置20的组件经由数据连接28连接，该数据连接可以具有总线或网络连接的形式。

经处理的图像数据可以经由第二输入/输出接口29输出到屏幕9，或者经由第一输入/输出接口21输出到外部存储装置30或云存储31。可替代地，本发明方法的输出数据可以存储在定位布置的内部存储装置22上。

应当理解，CT系统1和/或定位布置20的组件可以在空间上分布在基于云的系统中。可替代地，定位布置20可以整体设计在CT扫描仪1或其图像重建单元中。已经相对于图1中所示的方法对定位布置20的功能进行了更详细的解释。

尽管本发明已经以优选实施例及其变型的形式公开，但是应当理解，在不脱离本发明范围的情况下，可以对其进行许多附加的修改和变型。例如，作为气道的替代或补充，血管可以用作管状网络或管状结构。更进一步地，只要稍加修改，该方法可以应用于其他器官，诸如肝或脑。为了清楚起见，应当理解，贯穿于本申请使用的“一”或“一个”不排除多个，并且“包括”不排除其他步骤或元件。提到“布置”或“系统”不排除使用多于一个的单元或设备，并且不排除例如在网络或云系统中的组件的空间分布。

Claims (20)

1.一种用于在三维图像中自动定位器官分段的方法，包括以下步骤：

-提供示出至少一个器官和至少一个包括多个管状结构的管状网络的三维图像，所述器官包括器官分段；

-执行器官与图像的其他部分的自动分离；

-执行管状网络的自动追踪以获得分支图；

-执行分支图的自动分析以标识特定的管状结构；

-执行将器官的区域自动分配给特定管状结构，以将器官分割成定位的器官分段；和

-输出定位的器官分段、分支图和/或分析的管状网络作为图像数据。

2.根据权利要求1所述的方法，其中所述器官是肺或一对肺、脑或肝。

3.根据权利要求1所述的方法，其中所述管状结构是支气管和/或血管。

4.根据权利要求1所述的方法，其中执行所述分支图的自动分析的步骤基于所述管状网络的拓扑的启发法。

5.根据权利要求1的方法，其中执行分支图的自动分析的步骤基于分支图的可变形配准和图谱传播。

6.根据权利要求1所述的方法，其中所述器官的区域被逐体素地分配给最接近的特定管状结构。

7.根据权利要求1所述的方法，其中执行将器官的区域自动分配给特定管状结构是基于区域生长的。

8.根据权利要求6所述的方法，其中空间配准的解剖模板约束器官区域到特定管状结构的分配。

9.根据权利要求1所述的方法，其中执行自动分离、执行自动追踪、执行自动分析和执行自动分配的步骤中的至少一个由经训练的基于AI的方法执行。

10.根据权利要求1所述的方法，其中执行自动分离、执行自动追踪、执行自动分析和执行自动分配的所有步骤均由经训练的基于AI的方法执行。

11.根据权利要求1所述的方法，其中所述三维图像是CT图像、MR图像或超声波图像。

12.一种用于在三维图像中自动定位器官分段的定位布置，包括：

-用于提供器官的三维图像的部件，所述器官包括器官分段和至少一个包括多个管状结构的管状网络；

-分离部件，用于将器官与图像的其他部分自动分离；

-追踪部件，用于自动追踪管状网络以获得分支图；

-分析部件，用于自动分析分支图以标识特定管状结构；

-分配部件，用于将器官的区域自动分配给特定的管状结构，以将器官分割成定位的器官分段；和

-输出，用于输出定位的器官分段和可选的追踪的管状结构作为图像数据。

13.根据权利要求12所述的定位布置，其中所述器官是肺或一对肺、脑或肝。

14.根据权利要求12所述的定位布置，其中所述管状结构是支气管和/或血管。

15.根据权利要求12所述的定位布置，其中执行分支图的自动分析的步骤基于管状网络的拓扑的启发法。

16.根据权利要求12所述的定位布置，其中执行分支图的自动分析的步骤基于分支图的可变形配准和图谱传播。

17.一种医学成像系统，包括根据权利要求12的定位布置和成像模态。

18.一种存储用于在三维图像中自动定位器官分段的计算机程序指令的非暂时性计算机可读介质，所述计算机程序指令当由处理器执行时，使得处理器执行包括以下步骤的操作：

-提供示出至少一个器官和至少一个包括多个管状结构的管状网络的三维图像，所述器官包括器官分段；

-执行器官与图像的其他部分的自动分离；

-执行管状网络的自动追踪以获得分支图；

-执行分支图的自动分析以标识特定的管状结构；

-执行将器官的区域自动分配给特定管状结构，以将器官分割成定位的器官分段；和

-输出定位的器官分段、分支图和/或分析的管状网络作为图像数据。

19.根据权利要求18所述的非暂时性计算机可读介质，其中所述器官的区域被逐体素地分配给最接近的特定管状结构。

20.根据权利要求18所述的非暂时性计算机可读介质，其中执行将器官的区域自动分配给特定管状结构是基于区域生长的。

Images