CN107622493B

CN107622493B - 用于分割医学图像中的对象的方法和数据处理单元

Info

Publication number: CN107622493B
Application number: CN201710581380.6A
Authority: CN
Inventors: A·维兹蒂尤; O·埃卡伯特; J·克瑞特施默; D·纽曼
Original assignee: Siemens Healthcare GmbH
Current assignee: Siemens Healthcare GmbH
Priority date: 2016-07-15
Filing date: 2017-07-17
Publication date: 2020-10-02
Anticipated expiration: 2037-07-17
Also published as: EP3246873B1; EP3246873A1; US9811906B1; CN107622493A

Abstract

本发明涉及用于利用多个迭代步骤来分割医学图像中的对象的方法，每个迭代步骤包括以下步骤：i)生成多个区块，其中输入图像的一部分和区块位置被分配给多个区块中的每个区块，区块位置指示输入图像的该部分相对于输入图像的位置，ii)对于多个区块的每个区块，‑基于输入图像的被分配给该区块的该部分来确定投票位置，以及‑基于投票位置和被分配给该区块的区块位置来确定目标位置，iii)生成投票图，其中多个区块中的每个区块对投票图中在该区块的目标位置处的像素值具有贡献。

Description

用于分割医学图像中的对象的方法和数据处理单元

技术领域

本发明在一个方面涉及用于分割医学图像中的对象的方法。在另一方面，本发明涉及用于分割医学图像中的对象的数据处理单元。在其他方面，本发明涉及医学成像装置、计算机程序产品和计算机可读介质。

背景技术

医学图像分割是从医学图像(磁共振、超声、计算机断层扫描、荧光检查等)中提取人体中的解剖学结构的几何模型，它是诸如诊断、程序规划或基于图像的介入支撑/引导的多种临床工作流程中的至关重要的部分。

分割可能是冗长且耗时的，在手动完成的情况下尤其如此，因此需要先进的工具以使该任务自动化或是交互式地支持该任务，从而使其更加高效、稳健且可再现。

然而在很多情况下，开发这样的工具并不简单，因为它需要所关注的结构(器官、解剖学等)的深入知识来定义一组特征和规则，该组特征和规则可以针对各种结构形状(病理学等)和不同的图像质量有效地执行分割任务。

事实上，大多数分割算法是针对所关注的解剖结构与成像模态(或采集协议)的一个特定组合而调整的。因此，一项挑战性、高代价工作是：使算法适应新环境，这些新环境例如与成像设定和/或临床任务有关，或者甚至使算法适应不同的图像质量。

因此，所希望的是对领域特定知识要求较少的普适算法和/或图像特征。此外，在开发此类工具中的一个重要方面是终端用户的意图。

对于许多分割任务，存在多于一个有效的分割，并且正确的(用户希望的)分割可以根据用例或特定用户偏好而有差异。例如，对于心脏的左心内膜边界的分割(图11)，一个用户可能期望来自所有其他结构的血池的精确描述，而另一用户可能更喜欢应包括乳头肌和小梁的“平整”表示。

很多分割算法被设计成遵循一单个的意图(例如，以上描述的场景之一)，并且一旦向用户推出，它们就不适合于改变要求或用户偏好。在很多临床情景中，分割任务仍然要手动地执行。专家操作者(临床医生或技术人员)必须使用标准图像可视化与注释软件，来对关注的2D或3D医学图像的结构进行精确地注释。因此，结果可能不可再现，并且质量可能根据操作者的经验而有明显差异。此外，手动分割通常是冗长且耗时的过程。

为了克服手动分割中的一些问题，已经提出大量自动或半自动分割算法[1]。这些算法中的很多算法试图通过分析图像强度、通过依靠形状约束或者通过两者的结合来解决分割问题。它们往往被大量微调并以对身体中的单个预定结构的分割为目标，并且可能仅对于特定成像模态或采集协议起作用。因此，这样的算法可能会在一些情形下失败，例如，如果在待分割结构的形状是高度病理性的(在发展阶段期间未见)，或是图像外观(强度的分布等)不同于典型图像。大多数自动算法被设计成遵循通常由一个临床医生或一组临床医生所限定的严格要求——即根据特定用户意图——来执行分割。然而，如上所述，不同用户的意图或针对不同用例的意图可以是不同的，并且甚至可以随时间而改变。即使在已完成分割算法的开发且已向终端用户推出该软件之后。

存在少数试图基于用户输入[2]来修改算法行为的一些组件的方法，这些方法可应用于具有各种简化假设的基本结构。典型地，这些方法没有提供使一个算法适应于新用户或从用户交互自动学习的一般机制(无持续改进)。在许多情况下，每当结果不满足用户要求时，为了修改自动分割结果，都需要相同种类的冗长的手动编辑。这种类型的算法不对自己进行调整。

本发明的基本技术问题是促进对医学图像中的对象的改善分割。

发明内容

该问题通过本文所描述的方法、本文所描述的数据处理单元、本文所描述的医学成像装置、本文所描述的计算机程序产品和计算机可读介质来解决。替代和附加的实施例与本发明的进一步方面有关。

本发明在一个方面涉及一种用于分割医学图像中的对象的方法，方法包括：

a)提供医学图像，

b)执行多个迭代步骤，

-其中多个迭代步骤的第一迭代步骤的输入包括作为输入图像的医学图像，

-其中多个迭代步骤中的每个另外的迭代步骤的输入包括在先前的迭代步骤中生成的作为输入图像的投票图，

c)确定在多个迭代步骤中的最终迭代步骤的投票图中的结构，

d)确定第一迭代步骤的多个区块中的、对最终迭代步骤的投票图中的结构具有贡献的区块子集，

e)基于区块子集来分割对象，以获得分割结果。

多个迭代步骤中的每个迭代步骤包括：

i)生成多个区块，其中输入图像的一部分和区块位置被分配给多个区块中的每个区块，该区块位置指示输入图像的这一部分相对于输入图像的位置，

ii)对于多个区块中的每个区块，

-基于输入图像的被分配给该区块的这一部分来确定投票位置，以及

-基于投票位置和被分配给该区块的区块位置来确定目标位置，

iii)生成投票图，其中多个区块中的每个区块对投票图中在该区块的目标位置处的像素值具有贡献。

多个迭代步骤中的最终迭代步骤可以是例如多个迭代中的满足终止准则的迭代步骤。终止准则可以例如与迭代步骤计数和/或表示投票图中的对象的形状的复杂性的度量有关。

本发明的一个实施例在一个方面涉及一种方法，

-其中分配给给定区块的区块位置是输入图像的被分配给给定区块的部分的中心像素相对于输入图像的位置，和/或

-其中对于给定区块的投票位置是与输入图像的被分配给给定区块的部分相同维度的向量。

本发明的一个实施例在一个方面涉及一种方法，

-其中生成投票图包括：

-将投票图初始化为预定图，

-对于多个区块的每个区块，调整投票图中在该区块的目标位置处的像素值。

本发明的一个实施例在一个方面涉及一种方法，

-其中通过将投票图中的在目标位置处的像素值递增预定增量，来调整投票图中的在目标位置处的像素值。

本发明的一个实施例在一个方面涉及一种方法，

-其中基于最终迭代步骤的投票图的像素的像素值，来确定最终迭代步骤的投票图中的结构，和/或

-其中通过将最终迭代步骤的投票图的像素的像素值与阈值进行比较，来确定最终迭代步骤的投票图中的结构。

本发明的一个实施例在一个方面涉及一种方法，

-其中最终迭代步骤的投票图中的结构是基于分割算法而确定的，其中分割算法的输入包括最终迭代步骤的投票图。

本发明的一个实施例在一个方面涉及一种方法，

-其中多个迭代步骤中的每个迭代步骤进一步包括：

-生成反向参考信息，其中对于投票图的多个区块的至少一个区块对其具有贡献的每个像素，反向参考信息指定多个区块中对投票图的该像素具有贡献的至少一个区块。

本发明的一个实施例在一个方面涉及一种方法，

-其中基于多个迭代步骤的每个迭代步骤的反向参考信息来确定区块子集。

本发明的一个实施例在一个方面涉及一种方法，

-其中基于区块子集来分割对象包括：

-聚合区块子集中的区块，其中基于该区块的区块位置和/或投票位置而分派区块子集中的每个区块，由此获得分割结果。

本发明的一个实施例在一个方面涉及一种方法，

-其中基于区块子集来分割对象包括：

-提供多个分割遮罩，

-确定多个分割遮罩中的分割遮罩子集，其中对于区块子集中的每个区块，确定分割遮罩子集中的对应分割遮罩，该对应分割遮罩与该区块相似，

-聚合分割遮罩子集中的分割遮罩，其中基于与该分割遮罩相对应的区块的区块位置和/或投票位置，来分派分割遮罩子集中的每个分割遮罩，由此获得分割结果。

本发明的一个实施例在一个方面涉及一种方法，

-其中对于区块子集中的每个区块，基于该区块的区块编码来确定分割遮罩子集中的对应分割遮罩。

本发明的一个实施例在一个方面涉及一种方法，

-其中对于多个区块的每个区块，基于函数来确定投票位置，函数的输入包括输入图像被分配给该区块的部分。

本发明的一个实施例在一个方面涉及一种方法，该方法进一步包括：

-提供第一训练对集，第一训练对集的每个训练对包括训练图像和对应的训练投票位置，

-基于第一训练对集来确定函数。

-编辑分割结果，

-基于经编辑的分割结果来确定另外的训练对集，该另外的训练对集中的每个另外的训练对包括训练图像和对应的训练投票位置，

-基于第一训练对集的至少一个子集和/或另外的训练对集，来确定第二训练对集，

-基于第二训练对集来确定函数。

本发明的一个实施例在一个方面涉及一种方法，

-其中确定第二训练对集包括：

-以序列表示第一训练对集，其中随后对第一训练对集中的训练对进行排序，

-随后将另外的训练对集中的另外的训练对追加至该序列。

本发明的一个实施例在一个方面涉及一种方法，

-其中确定第二训练对集进一步包括：

-从序列中移除第一训练对集中的训练对的子序列。

本发明的一个实施例在一个方面涉及一种方法，

-其中序列包括第一部分和第二部分，第一部分和第二部分中的一个部分包括该序列的开始，并且第一部分和第二部分中的另一个部分包括该序列的结束，

-其中将另外的训练对集中的另外的训练对随后追加至序列的第一部分处，和/或

-其中从序列的第二部分中移除第一训练对集中的训练对的子序列。

本发明的一个实施例在一个方面涉及一种方法，

-其中从序列中所移除的子序列中的训练对的数目与随后追加至序列的另外的训练对集中的另外的训练对的数目相对应。

本发明的一个实施例在一个方面涉及一种方法，

-其中基于第一训练对集来确定函数包括：基于第一训练对集来训练机器学习系统，由此获得函数，和/或

-其中基于第二训练对集来确定函数包括：基于第二训练对集来训练机器学习系统，由此获得函数。

本发明的一个实施例在一个方面涉及一种方法，

-其中机器学习系统和/或函数基于人工神经网络。

本发明的一个实施例在一个方面涉及一种方法，

-其中人工神经网络包括卷积神经网络。

本发明在一个方面涉及一种用于分割医学图像中的对象的数据处理单元，该数据处理单元包括：

a)提供单元，被配置用于提供医学图像，

b)迭代单元，被配置用于执行多个迭代步骤，

-其中多个迭代步骤中的第一迭代步骤的输入包括作为输入图像的医学图像，

-其中多个迭代步骤中的每个另外的迭代步骤的输入包括在先前迭代步骤中生成的作为输入图像的投票图，

-其中多个迭代步骤的每个迭代步骤包括：

i)生成多个区块，其中输入图像的一部分和区块位置被分配给多个区块的每个区块，该区块位置指示输入图像的这一部分相对于输入图像的位置，

ii)对于多个区块中的每个区块，

-基于输入图像的被分配给该区块的一部分来确定投票位置，并且

iii)生成投票图，其中多个区块的每个区块对投票图中的在该区块的目标位置处的像素值具有贡献，

c)结构确定单元，被配置用于确定在多个迭代步骤中的最终迭代步骤的投票图中的结构，

d)子集确定单元，被配置用于确定第一迭代步骤的多个区块中的、对最终迭代步骤的投票图中的结构具有贡献的区块子集，

e)分割单元，被配置用于基于区块子集来分割对象，以获得分割结果。

本发明的一个实施例在一个方面涉及一种被配置用于执行根据本发明的一个方面的方法的数据处理单元。

本发明在一个方面涉及一种医学成像装置，包括根据本发明的一个方面的数据处理单元35。

本发明在一个方面涉及一种包括计算机程序的计算机程序产品，该计算机程序可加载到数据处理系统的存储器单元中，该计算机程序包括程序代码段，当该计算机程序在所述数据处理系统中被执行时，该程序代码段使数据处理单元执行根据本发明的一个方面的方法。

本发明在一个方面涉及一种计算机可读介质，在其上保存有计算机程序的程序代码段，所述程序代码段可被加载到数据处理系统中和/或在数据处理系统中可执行，当该程序代码段在所述数据处理系统中执行时，使该数据处理系统执行根据本发明的一个方面的方法。

根据本发明的一个方面，在第一阶段，将医学图像传递给算法并转变成投票图，这可以被理解为是中间图像，其包含原始医学图像的更紧凑和简化的表示。

接着将投票图(或换言之，中间图像)作为输入传递至算法的第二阶段，其将简化的图像再次转变成更简单的表示。

该过程可以迭代多次，并且一旦达到充分简化程度就停止。点和/或斑点是最简单的结构之一。因此，层级的最终阶段，即最终迭代步骤，优选地应该产生具有斑点状结构的图像。简化图像Is在给定阶段s中由先前阶段的图像Is-1生成。由于层级设计，所提出的方法可以通过迭代对象简化来处理高度复杂的解剖学结构的分割。

对于多个迭代步骤中的每个迭代步骤，输入图像被以区块化方式扫描。对于n维输入图像(典型地，n＝2或n＝3)，可以使用大小为mn像素(例如，m＝15)的区块。也可以使用各向异性区块大小和/或基于区块位置和/或迭代步骤计数而变化的区块大小。

令P表示输入图像Is-1中的这一图像区块，并且p＝center(P)表示区块P的区块位置，例如P的中心像素在原始图像坐标系中的位置。

令v表示代表投票位置的实数的n维向量。令f表示将任意P映射至向量v的函数，即v＝f(P)，使得表示目标位置的向量q＝p+v是对象被包含在P中的部分的简化版本在Is中的位置。在本申请的上下文中，这一函数也被称为回归函数或回归器。该函数可以例如是基于卷积神经网络(CNN)的回归器、基于神经网络的回归器或任何其他类型的回归函数。卷积神经网络(CNN)可以被配置用于基于通过学习算法调谐的自适应权重，来选择一类函数的成员函数。根据本发明的一个方面的方法可以使用基于卷积神经网络(CNN)的回归函数或者使用其他类型的回归函数。

在初始时，投票图Is的所有像素值都是零。通过使简化图像中的像素值进行递增，Is(q):＝Is(q)+1，P对q投票。因此Is可以被认为是投票图，其中简化对象的形状内的像素具有高投票数，而“背景”像素没有或者只有非常低的投票数。根据本发明的一个方面，该方法因此提供了基于自动Hough投票的分割框架。

函数f的输出包括投票位置。f的选取可以在很大程度上不同，并且可以是数据驱动的。这意味着f可以使用回归方法、机器学习方法或人工智能方法，而从先前看到的数据中学习或训练。回归器f可以(但未被要求)试图针对对象的被包含在P中的部分的重心进行投票。对投票位置的确定可以是依赖于应用的。为具有较高显著性的其他点投票可能是有利的，这取决于对象的形状。

根据本发明的一个方面，可以用一个向量来表示目标位置，该向量是表示区块位置的向量和表示投票位置的向量之和。投票位置不限于区块中所包含的位置。根据本发明的一个方面，投票位置可以位于区块的外侧和/或包括一组像素。

在层级化算法的各种阶段期间，如果以逆序评价，则生成如下反向参考列表，这些反向参考列表使得能够实现从在最终迭代步骤的投票图中所确定的诸如斑点状的结构到原始图像中的对该结构具有贡献的所有区块的追踪。接着将来自所有那些区块的信息聚合以形成分割。在[3]中描述了可能的聚合途径。对于多个区块中的每个区块，可以存储一个分割遮罩。可以从数据库中取回对应区块(根据区块编码)的分割遮罩，并将其分派在对应区块的区块位置处。根据本发明的一个方面，多个分割遮罩中的每个分割遮罩都是二进制分割遮罩。二进制分割遮罩的每个像素都具有如下值，该值等于两个预定值之一，例如0或1。

根据本发明的一个方面，基于第一训练对集{(P,v)}而训练该函数，该第一训练对集{(P,v)}来自多个区块对P以及表示对应训练投票位置的对应向量v的数据库DB＝{(P,v)}。如果用户对分割结果不满意，则用户可以例如经由如下交互式工具来编辑分割结果，该交互式工具允许用户将分割对象的边界移动至不同位置。继而，可以使用该信息来适配分割算法。每当用户执行这样的手动编辑时，算法都标识受影响的区块，并生成另外的训练对集DBnew＝{(Pnew,vnew}中的一个或多个另外的训练对，该另外的训练对集表示由用户完成的改变。相应地，用于存储与区块有关的数据的数据库被更新。基本上，生成以下信息：“区块Pnew指向错误位置。实际上应该指向vnew”。

然后，可以使用另一训练对集中的另外的训练对来更新回归器，即，改变f的行为。可以仅使用另外的训练对集fnew＝train_on(DBnew)、或者已经可用的(“离线的”)第一训练对集{(P,v)}加上(“在线的”)另外的训练对集{(Pnew,vnew)}:fnew＝train_on(DBnew∪DB)，来从头开始重新训练回归器f，或者，如果迭代的学习过程由用于f的、允许例如每个训练对被独立呈现的训练方法所支持(例如，当使用神经网络时)，则可以将另外的训练对集输入到该学习过程的新迭代，fnew＝update(f；DBnew)。

根据本发明的一个方面，用以基于另外的训练对集{(Pnew,vnew)}更新回归器f的一种方式是：依赖于包含第一训练对集{(P,v)}的k个最新的训练对的阵列。典型地，用于k的值可以是100、1000、10000等。可以将该方式称作“平滑自适应神经记忆”。

令(P1,v1)、(P2,v2)、(P3,v3)、(P4,v4)、(P5,v5)…(Pk-1,vk-1)、(Pk,vk)表示第一训练对集的训练对。每当添加另外的训练对集的另外的训练对(Pnew,vnew)时，就从序列中移除第一训练对集的“最旧的”训练对，由此获得第二训练对集：(P2,v2)、(P3,v3)、(P4,v4)、(P5,v5)…(Pk-1,vk-1)、(Pk,vk)、(Pnew,vnew)。根据本发明的一个方面，从序列中所移除的子序列的训练对的数目与随后追加至该序列的另外的训练对集中的另外的训练对的数目相等。

在任何时间，例如每当另一训练对被追加时，或者只要追加了预定数目的另外的训练对，回归器就可以基于第二训练对集被在线(从头开始或以其他方式)重新训练。与仅使用基于用户输入生成的另外的训练对集的从头开始的训练相比，整个分割框架由于不仅仅依赖于另外的训练对集而不易出现用户错误。

除了另外的训练对集之外，也可以使用第一训练对集中的一定数目的训练对来重新训练回归器f。因此，即使另外的训练对具有较差质量，由于第一训练对集中的训练对可能(在一定程度上)抵消另外的训练对所引入的误差，所以该分割对于要分割的下一个医学图像而言不太可能完全失败。如果“用户意图”改变并且用户根据新意图不断地执行新编辑，那么在若干编辑之后(取决于“平滑自适应神经记忆”的大小k)，最终将忘记第一训练对集的所有训练对；它们将从序列和/或数据库中被移除。因此，如果需要，则有可能使分割行为极大地适应。参数k控制从先前意图到新意图的过渡的“平滑度”，即，回归器f多快地适应于“新意图”。该参数可以根据用户的经验和其他因素而被调整。

因此，分割算法可以适应于新用户和/或新要求。这种适应对于用户是透明的，并且可以无缝地集成在分割工作流中，因为它可以直接基于用户反馈，该用户反馈是手动编辑/算法生成的分割的细化。

如果启用自适应，则可以存储先前的f的历史。如果f是神经网络，则存储f意味着存储多个加权参数，这对于实现而言是直接的。因此，每当用户希望恢复到算法的先前行为时，用户可以简单地通过“加载”旧的回归器f来“回滚”。如果f可以被存储，则它也可以在不同的用户、不同的安装和不同的机构等之间共享。

由此，专家们可以通过使用其本地安装的分割算法和用户界面(简单地通过处理和编辑多个示例图像)来适配f，从而共享他们的分割专业知识。该算法将自动地适配，并且所得到的f可以被分发给同事或其他用户。所谓的“平滑自适应神经记忆”可以用来平滑过渡阶段。

数据处理单元可以被实现为数据处理系统或数据处理系统的一部分。数据处理系统可以例如包括云计算系统、计算机网络、计算机、平板计算机、智能电话等。数据处理系统可以包括硬件和/或软件。硬件可以是例如处理器系统、存储器系统及其组合。硬件可以是软件可配置的和/或软件可操作的。

计算机程序产品可以是例如计算机程序或者包括除计算机程序之外的另一元素。该另一元素可以是硬件和/或软件，该硬件例如是在其上存储有计算机程序的存储器装置、用于使用该计算机程序的硬件密钥等，该软件例如是用于使用该计算机程序的软件密钥或文档。

医学成像装置可以例如从包括如下的组中进行选择：计算机断层扫描装置、磁共振成像装置、分子成像装置、SPECT装置、PET装置及其组合。医学成像装置例如可以是成像模态和治疗模态，特别是放射治疗模态的组合。

参考了如下事实：所描述的方法和所描述的数据处理单元以及所描述的成像装置仅仅是本发明的优选示例实施例，并且在不脱离由权利要求规定的本发明的范围的情况下，本发明可以由本领域技术人员变化。

附图说明

下面将使用示例实施例参照附图来说明本发明。图中的图示是示意性的并且被高度简化且并不一定按比例。

图1示出描绘根据本发明的一个方面的方法的图。

图2示出根据本发明的一个方面的数据处理单元。

图3和图4示出相当复杂的初始形状的简化过程的图示。

图5示出根据本发明的一个方面的医学图像和区块。

图6示出以医学图像作为输入图像的第一迭代步骤的投票图。

图7示出针对一些示例区块的通过不同迭代步骤的可能的向后追踪。

图8示出图示出根据本发明的一个方面的方法的阶段的简化工作流程图。

图9示出图示出根据本发明的一个方面的方法的阶段的简化工作流程图。

图10示出根据本发明的一个方面的医学成像装置。

图11示出图示出根据本发明的一个方面的方法的图。

图12示出两个图像，每个图像均具有心脏的左心内膜边界的分割。

具体实施方式

图1示出描绘根据本发明的一个方面的方法的图，该方法包括：

a)提供PI医学图像I0，

b)执行PN多个迭代步骤，

-其中多个迭代步骤中的第一迭代步骤的输入包括作为输入图像的医学图像I0，

-其中多个迭代步骤的每个迭代步骤包括：

i)生成GP多个区块，其中输入图像的一部分和区块位置PL被分配给多个区块中的每个区块，区块位置PL指示输入图像的一部分相对于输入图像的位置，

ii)对于多个区块中的每个区块，

-基于输入图像的被分配给该区块的部分来确定DV投票位置VL，以及

-基于投票位置VL和被分配给该区块的区块位置PL来确定DT目标位置TL，

iii)生成GV投票图，其中多个区块中的每个区块对投票图中的在该区块的目标位置TL处的像素值具有贡献，

c)确定DS多个迭代步骤中的最终迭代步骤的投票图VF中的结构SF，

d)确定DU第一迭代步骤的多个区块中的、对最终迭代步骤的投票图VF中的结构SF具有贡献的区块子集，

e)基于区块子集来分割SG对象，以获得分割结果OU。

提供医学图像I0可以包括例如从图像重建单元36接收医学图像I0和/或从医学图像数据库加载医学图像I0。

图2示出根据本发明的一个方面的数据处理单元，包括：

a)提供单元PI-U，被配置用于提供PI医学图像I0，

b)迭代单元PN-U，被配置用于执行PN多个迭代步骤，

c)结构确定单元DS-U，被配置用于确定DS在多个迭代步骤中的最终迭代步骤的投票图VF中的结构SF，

d)子集确定单元DU-U，被配置用于确定DU第一迭代步骤的多个区块中的、对最终迭代步骤的投票图VF中的结构SF具有贡献的区块子集，

e)分割单元SG-U，被配置用于基于区块子集来分割SG对象，以获得分割结果OU。

迭代单元PN-U包括：

i)区块生成单元GP-U，被配置用于生成GP多个区块，其中输入图像的一部分和区块位置PL被分配给多个区块中的每个区块，区块位置PL指示输入图像的该部分相对于输入图像的位置，

ii)投票位置确定单元DV-U，被配置用于对于多个区块的每个区块，基于输入图像的被分配给该区块的部分来确定DV投票位置VL，以及目标位置确定单元DT-U，被配置为对于多个区块的每个区块基于投票位置VL和被分配给该区块的区块位置PL来确定DT目标位置TL，

iii)投票图生成单元GV-U，被配置用于用于生成GV投票图，其中多个区块中的每个区块对投票图中在该区块的目标位置TL处的像素值具有贡献。

图3和图4示出通过根据本发明的一个方面的、医学图像I0中的对象的相当复杂的初始形状S0通过随后(层级)的迭代步骤的简化过程的图示。B0是医学图像I0的背景。

在多个迭代中的第一迭代步骤中生成投票图V1。第一迭代步骤的输入图像是医学图像I0。

投票图V1包括表示投票图V1中的对象的形状S1。形状S1由投票图V1的像素形成，由于医学图像I0的区块的贡献，投票图V1的像素的像素值与背景B1明显不同。

在多个迭代中的第n个迭代步骤中生成投票图VN。第n个迭代步骤的输入图像是在第n个迭代步骤之前的迭代步骤的投票图。

投票图VN包括表示投票图VN中的对象的形状SN。形状SN由投票图VN的像素形成，由于在第n个迭代步骤中生成的区块的贡献，投票图VN的像素的像素值与投票图VN的背景BN不同。

在多个迭代中的最终迭代步骤中生成投票图VF。最终迭代步骤的输入图像是在最终迭代步骤之前的迭代步骤的投票图。

投票图VF包括表示投票图VF中的对象的形状SF。形状SF由投票图VF的像素形成，由于在最终迭代步骤中生成的区块的贡献，投票图VF的像素的像素值与投票图VF的背景BF不同。

最后，对象的相当复杂的初始形状变成最终迭代步骤的投票图VF中的斑点状结构SF。例如可以通过将最终迭代步骤的投票图VF的像素的像素值与阈值进行比较，而容易地确定斑点状结构SF。因此，例如可以将斑点状结构确定为包括像素值超过阈值的所有像素。

根据本发明的一个方面，投票图V1、VN、VF中的形状S1、SN、SF的边界可能会模糊。特别地，对给定像素的值具有贡献的区块的数目可能随着给定像素到形状S1、SN、SF的内部区域的距离的增加而减小。

在图4中，箭头描绘了针对一些示例区块的通过不同迭代步骤的可能的向前追踪。

对于多个迭代步骤中的每个迭代步骤，以区块形式的方式扫描输入图像，并且对于每个区块PT，来预测指向目标位置TL的向量q。

如果区块不包含与对象的一部分相关联的像素，则向量v可以指向随机位置或者是零向量，和/或目标位置可以是随机位置或预定位置，所述预定位置是与对象和/或最终迭代步骤的投票图中的结构不同的先验知识。

图5示出根据本发明的一个方面的医学图像I0和区块PT。

医学图像I0包括多个像素XI0。医学图像I0的被分配给区块PT的部分由连续线PTE包围，并且以画点区域进行标记。

区块位置PL由向量p表示。投票位置VL由向量v表示。目标位置TL由向量q表示。向量q是向量p和向量v之和。向量v是基于医学图像I0的被分配给区块PT的部分而确定的。

图6示出以医学图像I0作为输入图像的第一迭代步骤的投票图V1。

投票图V1包括多个像素XV1。投票图V1被初始化为预定图，从而使得投票图V1的所有像素XV1的像素值相等。

根据本发明的一个方面，预定图的所有像素具有相同的预定像素值和/或具有从相同预定范围中选择的像素值。

此后，对于多个区块的每个区块，通过将投票图中的在目标位置处的像素值以预定增量递增，来调整投票图中的在该区块的目标位置处的像素值。

因为如图5所示的区块PT对向量q所指向的像素的值具有贡献，或者换言之为其投票，在图6中，该像素的值以诸如以一个单位的预定增量而增加。

在图7中，未用交叉标记的箭头描绘了针对一些示例区块的、通过不同迭代步骤的可能的向后追踪。

在形状简化过程期间，生成反向参考列表。从最终迭代步骤的投票图VF中的斑点状结构SF开始、并且以逆序评价反向参考列表，医学图像I0的具有贡献的区块可以被反向追踪，并被聚合以形成对象的分割结果OU。

仅对不属于最终迭代步骤的投票图VF的结构SF的一部分的那些像素的像素值具有贡献的区块，对如用交叉标记的箭头所示的向后追踪不具有贡献。

根据本发明的一个方面，分割结果OU的边界可能会模糊。特别地，对给定像素的像素值具有贡献的区块或分割遮罩的数目可以随着给定像素到对象的分割的内部区域的距离的增加而减小。

图8示出图示出根据本发明的一个方面的方法的阶段的简化流程图，其中多个迭代步骤中的每个迭代步骤进一步包括针对多个区块中的每个区块的以下步骤：

-确定DE区块的区块编码和/或对应于区块的分割遮罩MS，

-将与区块有关的数据存储ST在数据库PD中，与区块有关的数据从包括以下项的组中选择：区块、区块的区块位置、区块的投票位置、区块的目标位置、图像的被分配给区块的部分、对应于区块的分割遮罩、区块的区块编码及其组合。

此外，对于多个迭代步骤中的每个迭代步骤，迭代步骤的反向参考信息和/或迭代步骤的投票图可以被存储在数据库中。

虚线图示出在给定迭代步骤中生成的投票图，其被用作在给定迭代步骤之后的迭代步骤的输入图像。

图9示出图示出根据本发明的一个方面的方法的阶段的简化工作流程图，该方法进一步包括：

-提供多个分割遮罩，该多个分割遮罩被存储在数据库PD中。

-确定多个分割遮罩中的分割遮罩子集，其中对于区块子集中的每个区块，基于该区块的区块编码来确定分割遮罩子集中的对应分割遮罩MS，对应分割遮罩MS与该区块相似，

-从数据库PD中取回分割遮罩子集，

-聚合分割遮罩子集中的分割遮罩，其中基于与该分割遮罩相对应的区块的区块位置PL和/或投票位置VL，来分派该分割遮罩子集中的每个分割遮罩，由此获得分割结果OU。

与给定分割遮罩相对应的区块是该分割遮罩所对应的区块。

图10示出根据本发明的一个方面的医学成像装置1，其包括数据处理单元35。

用于医学成像装置1的计算机断层扫描装置被以示例的方式示出，而不限制总体发明构思。

成像装置1具有台架20。台架20具有固定的支撑框架21。台架20具有安装的转子24，转子24可以通过枢转支承装置而转动。成像装置1具有由隧道状开口9形成的图像记录区域4。可以在图像记录区域4中布置要被成像的对象的区域。

成像装置1具有患者定位装置10。患者定位装置10具有定位台11和用于定位患者13的传送板12。传送板12被布置在定位台11上，从而其可以相对于定位台11移动，这样使得传送板12可以沿传送板12的纵向方向被引入到图像记录区域4中。

放射投影装置26、28被布置在转子24上。放射投影装置26、28具有：被设计成发射放射量子的放射源26，以及被设计用于放射量子的检测的检测器28。放射量子27可以从放射源26传递至要被成像的区域，并且在与要被成像的区域的相互作用之后撞击检测器28。以此方式，可以检测到要被成像的区域的投影轮廓。

通过关于图像记录区域而旋转放射投影装置26、28，可以针对放射源26和检测器关于要被成像的对象的区域的不同布置来分别检测出至少一个投影轮廓。多个投影轮廓可以形成投影数据集。要被成像的区域的医学图像，特别是断层扫描医学图像，可以通过图像重建单元36在投影数据集的基础上重建。

成像装置1具有用于控制成像装置1的控制装置30。成像装置1还具有输入单元38和输出单元39，输入单元38用于输入诸如成像参数和检查参数的控制信息，输出单元39用于输出控制信息和图像，特别是具有通过根据本发明的一个方面的方法所获得的分割结果的医学图像。

控制装置30例如可以是计算机和/或数据处理系统。控制装置包括计算机可读介质32、处理器34、数据处理单元35和图像重建单元36。

图11示出图示出根据本发明的一个方面的方法的图，该方法包括：

-提供T1第一训练对集，第一训练对集中的每个训练对包括训练图像和对应的训练投票位置，

-基于第一训练对集来确定FT1函数，

-使用基于第一训练对集所确定的函数，来执行F1如图1所图示出的方法的步骤，

-编辑EOU分割结果OU，

-基于所编辑的分割结果OU来确定TF另外的训练对集，该另外的训练对集中的每个另外的训练对包括训练图像和对应的训练投票位置，

-基于该另外的训练对集和/或第一训练对集中的至少一个子集，来确定T2第二训练对集，

-基于第二训练对集来确定FT2函数。

如虚线箭头所指示，图11所图示出的方法的步骤可以使用基于第二训练对集所确定的函数来执行。

图12示出两个图像M1和M2，每个图像均具有对心脏的左心内膜边界的分割。图像M1包括医学图像I0和分割结果C1。图像M2包括医学图像I0和分割结果C2。医学图像I0示出患者的左心室的磁共振成像采集的一个短轴切片。分割结果C1包括乳头肌。分割结果C2实质上仅以血池为特征。

参考文献：

[1]T.Heimann和H.-P.Meinzer，“用于3D医学图像分割的统计形状模型：综述”，医学图像分析，第13卷，第4期，第543-563页，2009年。

[2]L.Wang、K.Lekadir、S.-L.Lee、R.Merrifield和G.-Z.Yang，“用于使用加强学习的上下文特定图像分割的一般框架”，IEEE医学成像汇刊，第32卷，第5期，第943-956页，2013年。

[3]F.Milletari、S.-A.Ahmadi、C.Kroll、A.Plate、V.Rozanski、J.Maiostre、J.Levin、O.Dietrich、B.Ertl-Wagner、K.

和N.Navab，“Hough-CNN：用于MRI和超声中的深部脑区域的分割的深层学习”，arXiv：1601.07014v3，第1-34页，2016年。

Claims

1.一种用于分割医学图像(I0)中的对象的方法，所述方法包括：

a)提供(PI)所述医学图像(I0)，

b)执行(PN)多个迭代步骤，

-其中所述多个迭代步骤中的第一迭代步骤的输入包括作为输入图像的所述医学图像(I0)，

-其中所述多个迭代步骤中的每个另外的迭代步骤的输入包括在先前迭代步骤中生成的作为所述输入图像的投票图，

-其中所述多个迭代步骤中的每个迭代步骤包括：

i)生成(GP)多个区块，其中所述输入图像的一部分和区块位置(PL)被分配给所述多个区块中的每个区块，所述区块位置(PL)指示所述输入图像的所述部分相对于所述输入图像的位置，

ii)对于所述多个区块中的每个区块，

-基于所述输入图像的被分配给该区块的所述部分来确定(DV)投票位置(VL)，以及

-基于所述投票位置(VL)和被分配给该区块的所述区块位置(PL)来确定(DT)目标位置(TL)，

iii)生成(GV)投票图，其中所述多个区块中的每个区块对所述投票图中在该区块的所述目标位置(TL)处的像素值具有贡献，

c)确定(DS)在所述多个迭代步骤中的最终迭代步骤的所述投票图(VF)中的结构(SF)，

d)确定(DU)所述第一迭代步骤的所述多个区块中的、对所述最终迭代步骤的所述投票图(VF)中的所述结构(SF)具有贡献的区块子集，

e)基于所述区块子集来分割(SG)所述对象，以获得分割结果(OU)。

2.根据权利要求1所述的方法，

-其中被分配给给定区块的所述区块位置(PL)是所述输入图像的被分配给所述给定区块的所述部分的中心像素相对于所述输入图像的位置，和/或

-其中给定区块的所述投票位置(VL)是与所述输入图像的被分配给所述给定区块的所述部分相同维度的向量。

3.根据权利要求1至2中的任一项所述的方法，

-其中生成所述投票图包括：

-将所述投票图初始化为预定图，

-对于所述多个区块中的每个区块，调整所述投票图中在该区块的所述目标位置(TL)处的像素值。

4.根据权利要求3所述的方法，

-其中通过将所述投票图中的所述目标位置(TL)处的所述像素值递增预定增量，来调整所述投票图中的所述目标位置(TL)处的所述像素值。

5.根据权利要求1、2和4中的任一项所述的方法，

-其中基于所述最终迭代步骤的所述投票图(VF)的像素的像素值，来确定所述最终迭代步骤的所述投票图(VF)中的所述结构(SF)，和/或

-其中通过将所述最终迭代步骤的所述投票图(VF)的所述像素的所述像素值与阈值相比较，来确定所述最终迭代步骤的所述投票图(VF)中的所述结构(SF)。

6.根据权利要求1、2和4中的任一项所述的方法，

-其中所述最终迭代步骤的所述投票图(VF)中的所述结构(SF)是基于分割算法而确定的，其中所述分割算法的输入包括所述最终迭代步骤的所述投票图(VF)。

7.根据权利要求1、2和4中的任一项所述的方法，

-其中所述多个迭代步骤中的每个迭代步骤进一步包括：

-生成反向参考信息，其中对于在所述投票图中所述多个区块中的至少一个区块对其具有贡献的每个像素，所述反向参考信息指定所述多个区块中对所述投票图的该像素具有贡献的所述至少一个区块。

8.根据权利要求7所述的方法，

-其中基于所述多个迭代步骤中的每个迭代步骤的所述反向参考信息而确定所述区块子集。

9.根据权利要求1、2、4和8中的任一项所述的方法，

-其中基于所述区块子集来分割所述对象包括：

-聚合所述区块子集中的所述区块，其中基于该区块的所述区块位置(PL)和/或所述投票位置(VL)，来分派所述区块子集中的每个区块，由此获得所述分割结果(OU)。

10.根据权利要求1、2、4和8中的任一项所述的方法，

-其中基于所述区块子集来分割所述对象包括：

-提供多个分割遮罩，

-确定所述多个分割遮罩中的分割遮罩子集，其中对于所述区块子集中的每个区块，确定所述分割遮罩子集中的对应分割遮罩，所述对应分割遮罩与该区块相似，

-聚合所述分割遮罩子集中的分割遮罩，其中基于与该分割遮罩相对应的所述区块的所述区块位置(PL)和/或所述投票位置(VL)，来分派所述分割遮罩子集中的每个分割遮罩，由此获得所述分割结果(OU)。

11.根据权利要求10所述的方法，

-其中对于所述区块子集中的每个区块，基于该区块的区块编码来确定所述分割遮罩子集中的所述对应分割遮罩。

12.根据权利要求1、2、4、8和11中的任一项所述的方法，

-其中对于所述多个区块中的每个区块，基于函数来确定所述投票位置(VL)，所述函数的输入包括所述输入图像被分配该区块的所述部分。

13.根据权利要求12所述的方法，

所述方法进一步包括：

-提供(T1)第一训练对集，所述第一训练对集中的每个训练对包括训练图像和对应的训练投票位置，

-基于所述第一训练对集来确定(FT1)所述函数。

14.根据权利要求13所述的方法，

所述方法进一步包括：

-编辑(EOU)所述分割结果(OU)，

-基于经编辑的所述分割结果(OU)来确定(TF)另外的训练对集，所述另外的训练对集中的每个另外的训练对包括训练图像和对应的训练投票位置，

-基于所述第一训练对集的至少一个子集和/或所述另外的训练对集，来确定(T2)第二训练对集，

-基于所述第二训练对集来确定(FT2)所述函数。

15.根据权利要求14所述的方法，

-其中确定(T2)所述第二训练对集包括：

-以序列来表示所述第一训练对集，其中随后对所述第一训练对集中的所述训练对进行排序，

-将所述另外的训练对集中的所述另外的训练对随后追加至所述序列。

16.根据权利要求15所述的方法，

-其中确定所述第二训练对集进一步包括：

-从所述序列中移除所述第一训练对集中的训练对子序列。

17.根据权利要求15所述的方法，

-其中所述序列包括第一部分和第二部分，所述第一部分和所述第二部分中的一个部分包括所述序列的开始，并且所述第一部分和所述第二部分中的另一个部分包括所述序列的结束，

-其中将所述另外的训练对集中的所述另外的训练对随后追加至所述序列的所述第一部分处，和/或

-其中从所述序列的所述第二部分中移除所述第一训练对集中的所述训练对子序列。

18.根据权利要求16所述的方法，

-其中从所述序列中所移除的所述子序列中的所述训练对的数目与随后追加至所述序列的所述另外的训练对集中的另外的训练对的数目相对应。

19.根据权利要求14至18中的任一项所述的方法，

-其中基于所述第一训练对集来确定所述函数包括：基于所述第一训练对集来训练机器学习系统，由此获得所述函数，和/或

-其中基于所述第二训练对集来确定所述函数包括：基于所述第二训练对集来训练机器学习系统，由此获得所述函数。

20.根据权利要求19所述的方法，

-其中所述机器学习系统和/或所述函数基于人工神经网络。

21.根据权利要求20所述的方法，

-其中所述人工神经网络包括卷积神经网络。

22.一种用于分割医学图像(I0)中的对象的数据处理单元(35)，所述数据处理单元(35)包括：

a)提供单元(PI-U)，被配置用于提供(PI)所述医学图像(I0)，

b)迭代单元(PN-U)，被配置用于执行(PN)多个迭代步骤，

-其中所述多个迭代步骤中的每个迭代步骤包括：

ii)对于所述多个区块中的每个区块，

-基于所述输入图像的被分配给该区块的所述部分来确定(DV)投票位置(VL)，并且

c)结构确定单元(DS-U)，被配置用于确定(DS)在所述多个迭代步骤中的最终迭代步骤的所述投票图(VF)中的结构(SF)，

d)子集确定单元(DU-U)，被配置用于确定(DU)所述第一迭代步骤的所述多个区块中的、对所述最终迭代步骤的所述投票图(VF)中的所述结构(SF)具有贡献的区块子集，

e)分割单元(SG-U)，被配置用于基于所述区块子集来分割(SG)所述对象，以获得分割结果(OU)。

23.根据权利要求22所述的数据处理单元(35)，被配置用于执行权利要求1至21中的任一项所述的方法。

24.一种医学成像装置，包括根据权利要求22或23所述的数据处理单元(35)。

25.一种包括计算机程序的计算机程序产品，所述计算机程序可加载到数据处理系统的存储器单元中，所述计算机程序包括程序代码段，当所述计算机程序在所述数据处理系统中被执行时，所述程序代码段使所述数据处理单元执行权利要求1至21中的任一项所述的方法。

26.一种计算机可读介质，在其上保存有计算机程序的程序代码段，所述程序代码段可加载到数据处理系统中和/或在数据处理系统中可执行，当所述程序代码段在所述数据处理系统中被执行时，所述程序代码段使所述数据处理系统执行权利要求1至21中的任一项所述的方法。