CN112912924B

CN112912924B - 预测算法分割的正确性

Info

Publication number: CN112912924B
Application number: CN201980069767.0A
Authority: CN
Inventors: A·格罗特; R·J·威斯
Original assignee: Koninklijke Philips NV
Current assignee: Koninklijke Philips NV
Priority date: 2018-10-22
Filing date: 2019-10-14
Publication date: 2024-05-14
Anticipated expiration: 2039-10-14
Also published as: JP2022505428A; JP7401537B2; EP3644275A1; CN112912924A; EP3871189A1; WO2020083676A1; US20210390707A1

Abstract

本发明提供了一种预测模型，其能够预测由分割算法进行的分割的正确性。所述预测模型可以使用机器学习技术来训练，并且在训练之后使用该模型预测由所述分割算法对图像的相应图像部分中边界的分割的所述正确性。然后，可以将预测的正确性可视化为例如所述分割的叠加。

Description

预测算法分割的正确性

技术领域

本发明涉及图像分割领域中的系统和计算机实现方法，例如医学图像中的解剖结构的图像分割。本发明还涉及包括用于执行计算机实现方法的指令的计算机可读介质。

背景技术

图像分割广泛用于各个种领域，包括但不限于医学领域。在后一示例中，图像分割通常用于识别医学图像中的解剖结构，例如，通过描绘解剖结构的边界、通过标记由边界包围的体素等。一旦执行了这种分割，就可以提取临床参数，例如，在例如心脏结构的情况下提取心室质量和心室壁厚。这种分割还常被称为描绘或标注，并且这种分割可以识别解剖结构的外边界表面，但也可以识别所述解剖结构的内表面。

已知使用网格来执行分割。这种网格可以自动、手动或半自动地应用于医学图像。自动或半自动应用可能涉及使用自适应技术(也被称为“网格自适应”或“网格适配”)。自适应技术可以例如基于外部能量项(其使网格适应图像数据)和内部能量项(其维持网格的刚性)来优化能量函数。已知各种自适应技术用于将网格自动应用于医学图像。自动技术的示例被描述在由O.Ecabert等人的“SEGMENTATION OF THE HEART AND GREAT VESSELS IN CTIMAGES USING A MODEL-BASED ADAPTATION FRAMEWORK”(Medical Image Analysis，第15卷第6期，2011年12月，第863-876页)中，其描述了从三维(3D)计算机断层摄影(CT)图像中自动分割心脏。应用的网格还可以与医学图像一起显示以可视化信息，例如解剖结构的形状和位置。例如，网格可以被示出为医学图像中解剖结构上的叠加。

其他形式的分割也是众所周知的。例如，卷积神经网络可以提供逐像素或体素标注，其然后可被转换成网格或其他类型的表面表示，例如使用移动立方算法或使用形态学操作。

如前所述，分割结果(例如，应用的网格)可用于测量(例如，心脏周期上的左心室体积)、诊断、处置规划(例如，主动脉瓣植入装配)、疾病预测(例如，作为生物物理模型的输入)等。然而，在某些情况下，通过分割算法进行的分割可能不完全正确。例如，网格可能不准确地应用于解剖结构的边界，并且可能因此对于其目的(例如用于测量、诊断目的、处置规划、疾病预测等)不够准确。

因此，可能需要用户对由分割算法提供的分割进行局部校正。例如，用户可以使用图像和应用网格的视图来编辑应用的网格。视图可以示出网格中要被编辑的一部分。网格编辑本身可以涉及例如网格部分的重新定位、增加网格部分的分辨率等。

不利地，检查分割的每一部分以确定是否需要校正是一项耗时而繁琐的工作。

发明内容

可能期望避免或减少用户检查由分割算法提供的分割的每个部分的需要。

本发明的以下方面可涉及生成用于预测由分割算法进行的分割的正确性的预测模型。所述预测模型可以使用机器学习技术来训练，并且在训练之后用于预测由所述分割算法对图像的相应图像部分中边界的分割的正确性。然后，可以将预测的正确性可视化为例如所述分割的叠加。

根据本发明的第一方面，可以提供一种生成用于预测由分割算法进行的分割的正确性的预测模型的系统。

所述系统可以包括：

数据接口，其用于访问：

训练图像数据；

针对所述训练图像数据的相应图像部分的标记，其中，所述标记是通过将所述分割算法应用于所述训练图像数据而获得的，其中，所述标记指示由所述分割算法对所述相应图像部分中边界的分割的正确性；

处理器子系统，其被配置为：

使用机器学习技术并使用经标记的图像部分作为输入来训练所述预测模型；并且

输出表示经训练的预测模型的模型数据。

根据本发明的另一方面，可以提供一种生成用于预测由分割算法进行的分割的正确性的预测模型的计算机实现方法。

所述方法可以包括：

访问：

训练图像数据；

输出表示经训练的预测模型的模型数据。

根据本发明的另一方面，可以提供一种用于预测由分割算法进行的分割的正确性的系统。

所述系统可以包括：

数据接口，其用于访问：

表示预测模型的模型数据，所述预测模型是在训练图像数据的经标记的图像部分上被训练的，其中，所述经标记的图像部分的标记指示由所述分割算法对相应图像部分中边界的分割的正确性；以及

包含要由所述分割算法分割的边界的输入图像数据；

处理器子系统，其被配置为：

将所述预测模型应用于所述输入图像数据的相应图像部分以预测由所述分割算法对所述相应图像部分中所述边界的所述分割的所述正确性；并且

生成指示分割的所述正确性的输出数据，以使得由所述分割算法对所述边界的不正确分割能够基于所述输出数据进行识别。

根据本发明的另一方面，可以提供一种预测由分割算法进行的分割的正确性的计算机实现方法。

所述方法可以包括：

访问：

表示预测模型的模型数据，所述预测模型是在训练图像数据的经标记的图像部分上被训练的，其中，所述经标记的图像部分的标记指示由所述分割算法对图像的相应图像部分中边界的分割的正确性；以及

包含要由所述分割算法分割的边界的输入图像数据；

将所述预测模型应用于所述输入图像数据的相应图像部分，以预测由所述分割算法对所述相应图像部分中所述边界的所述分割的所述正确性；以及

生成指示分割的所述正确性的输出数据，以使由所述分割算法对所述边界的不正确分割能够基于所述输出数据进行识别。

以上措施涉及训练预测模型以提供对由分割算法进行的分割的正确性的预测，并且随后使用所述预测模型来提供对正确性的预测，例如在临床实践中或其他地方使用分割算法期间。

以下是这些措施在临床或医学领域应用的效果和优点。然而，应认识到，这些效果和优点也在其他领域中经必要的修改而表现出来。

在训练侧，例如当生成预测模型时，提供训练图像数据，其可以例如包括医学图像的集合。另外，提供标记，其指示当分割算法应用于训练图像数据时对训练图像数据中的相应图像部分中边界的分割的正确性。这里，术语“正确性”可指分割的评定，其可以例如包括二元评定(“正确”或“不正确”、“需要校正”或“不需要校正”等)或非二元评定(例如，0至10的标度、分割与实际边界之间差的评定(例如以毫米为单位)等)。标记可以直接指定正确性，但也可以间接地指定正确性，例如在其他地方所述。

这种标记可以以各种方式(例如，自动、手动或半自动地)来生成。自动生成标记的方式在本说明书中的其他地方进行了描述。然而，一般而言，标记的生成可涉及将分割算法应用于训练图像数据、确定分割的正确性，然后将标记分配给指示分割的正确性的图像部分。

预测模型(其可以例如采取卷积神经网络的形式)然后可以使用本身已知的机器学习技术在经标记的图像部分上进行训练。然后预测模型可以通过输出模型的数据用于随后的使用。

在应用侧，例如，当对非训练输入图像数据(例如一幅或多幅输入图像)上用预测模型时，预测模型可以被应用到输入图像数据的相应图像部分，以预测由分割算法对相应图像部分中边界的分割的正确性。这种预测可以有效地为相应图像部分生成与在预测模型的训练期间使用的相同或相似的标记。在预测了正确性后，可以生成指示预测的正确性的输出数据，以使得由所述分割算法对所述边界的不正确分割能够基于输出数据进行识别。例如，可以生成输出图像，其将预测的正确性可视化为分割本身上的叠加。

在这方面，注意到，尽管通常分割算法实际上在应用侧被应用到输入图像数据，但这本身并不需要预测分割的正确性，因为预测模型使用输入图像数据作为输入而不是分割本身。

以上措施具有以下效果：获得分割正确性的预测，该预测可用于突出显示或以其他方式识别分割可能不正确或至少不充分正确的图像部分。这样的图像部分中的分割可能必须由用户检查，并且很可能由用户校正。因此，当向用户识别了这样的图像部分时，用户不需要或仅在较小程度上需要检查整个分割，例如应用网格的所有部分。

实际上，关于分割算法的缺陷或限制的知识可以借助于机器学习被编码在预测模型中并且随后在应用侧用于识别分割可能需要检查和/或校正的图像部分。

以下可选方面涉及生成(例如训练)所述预测模型的系统和计算机实现方法。

任选地，所述处理器子系统还被配置为通过以下操作来生成针对所述相应图像部分的所述标记：

经由所述数据接口访问：

第一分割数据，其表示由所述分割算法对所述相应图像部分中的所述边界的所述分割；

第二分割数据，其表示由用户对所述相应图像部分中的所述边界的校正分割；

通过将所述第一分割数据与所述第二分割数据进行比较来确定分割的所述正确性；以及

将指示分割的所述正确性的所述标记分配给所述相应图像部分。

标记可以通过获得由分割算法对边界的分割和在由用户检查和校正之后的(相同)分割来(半)自动地生成。因此，两种分割之间的任何差异可以表示用户的校正，并且因此可以指示分割算法的原始分割是不正确的或者至少是不够正确的。图像中分割涉及的图像部分可以通过局部比较两种分割并量化差异以生成标记来进行标记。这里，术语“图像部分”可以指图像的一部分，例如子体积、图像块等。图像部分可以相互交叠，也可以不相互交叠。训练图像数据的全部都可以以上述方式来标记。标记可以以任何已知的方式来分配，例如作为图像数据中的元数据或作为单独的元数据。例如，可以使用用于将标注分配给图像的任何已知技术，如从图像标注领域本身已知的。

以上生成标记的方式基于对临床领域中可能存在分割集和校正分割集的认识。即，在临床实践中可能已经生成并且随后校正了分割，以确保分割质量足以达到预期的临床目的。因此，用户可能不需要仅为了生成训练图像数据而显式地审查分割结果并对分割进行标记。相反，可以对现有图像数据和分割数据进行重复利用，以生成用于训练目的的经标记的图像数据。

任选地，所述处理器子系统被配置为基于所述边界的相应分割的对应部分之间的距离来确定由所述分割算法对图像部分的所述分割的所述正确性。边界的相应分割的对应部分之间的距离可以很容易确定，例如作为两种分割的对应网格的中心之间的几何距离或以任何其他已知的方式确定，并且可以指示分割的正确性。即，如果距离为零，则没有进行校正，这指示原始分割是正确的。相反，如果存在非零距离，这可能指示发生了校正。此外，距离的大小可以指示原始分割的质量，例如，大的距离可以表示大的校正且可指示原始较差的分割，而小的距离可以表示小的校正且可指示原始不完美但仍然合理的分割。在一些实施例中，例如以毫米或任何其他适当单位表示的距离可以直接用作针对相应图像部分的标记。

以下任选方面涉及使用(例如应用)所述预测模型的所述系统和计算机实现方法。

任选地，使用所述预测模型的所述系统的所述处理器子系统还被配置为：

将所述分割算法应用于所述输入图像数据，从而获得对所述输入图像数据中所述边界的所述分割；并且

基于包含所述边界的部分的所述图像部分来识别要应用所述预测模型的所述图像部分。

尽管本身不需要为了预测分割的正确性而将分割算法应用于输入图像数据，但是分割允许识别要确定其分割正确性的图像部分。即，边界通常仅存在于图像部分的子集中。为了减少处理时间或减少不相关的正确性预测的发生，预测模型可以仅应用于输入图像数据的图像部分的子集，即应用于那些包含要被分割的边界的图像部分。分割至少粗略地识别了边界。这样，分割可用于选择要应用预测模型的图像部分。

任选地，所述输入图像数据是3D图像数据，所述分割算法提供对所述输入图像数据中的所述边界的3D分割，并且所述处理器子系统被配置为将要应用所述预测模型的所述图像部分识别为所述3D图像数据中以所述3D分割的相应部分为中心的子体积。3D图像数据在临床实践中是高度相关的。如何将分割算法应用于3D图像数据，则预测模型可以在3D图像数据的子体积上训练并应用于这些子体积，以预测每个子体积中分割的正确性。

任选地，所述处理器子系统被配置为生成输出数据作为包含所述分割的所述正确性的可视化的输出图像数据。分割的正确性可以被可视化，例如作为可存储为文件、显示在显示器上等的输出图像。例如，输出图像数据可以包含对分割的正确性的可视化，作为分割本身的可视化上的叠加。例如，输出图像数据可以可视化经适应的网格并且通过对网格的部分应用颜色编码来指示分割的正确性，例如，作为从红到绿对例如从“不正确”到“正确”的颜色映射图。

任选地，所述处理器子系统被配置为调整所述边界的所述分割的所述可视化，以在视觉上突出显示其中根据分割质量准则所述边界被认为被不正确分割的一个或多个图像部分。

任选地，所述处理器子系统被配置为：

运行临床应用，所述临床应用使用由所述分割算法对所述边界的所述分割；并且

基于所述分割的所述正确性来调整所述临床应用的工作流。

根据本发明的另一方面，任一种系统或两种系统被包括在工作站或成像装置中或由工作站或成像装置实现。

根据本发明的另一方面，提供了一种计算机可读介质，其包括表示被布置为使处理器系统执行计算机实现方法中的任一种或两者的指令的瞬态或非瞬态数据

根据本发明的另一方面，提供了一种计算机可读介质，其包括表示预测模型的瞬态或非瞬态数据，所述预测模型被训练为预测由分割算法进行的分割的正确性，其中，所述预测模型是在训练图像数据的经标记的图像部分上被训练的，其中，所述经标记的图像部分的标记指示由所述分割算法对相应图像部分中边界的分割的正确性。

本领域技术人员应当理解，本发明的上述实施例、实现和/或任选方面中的两个或更多个可以以任何被认为有用的方式来组合。

本领域技术人员可以基于本说明书执行与所描述的相应系统的修改和变型相对应的任何计算机实现方法和/或任何计算机程序产品的修改和变型。

附图说明

本发明的这些和其他方面将从以下描述中以示例的方式参考附图描述的实施例中变得显而易见并进一步阐明，在附图中：

图1示出了用于生成用于预测由分割算法进行的分割的正确性的预测模型的系统；

图2示出了使用预测模型来预测由分割算法进行的分割的正确性的系统；

图3示出了示出要由分割算法分割其解剖结构的边界的医学图像；

图4示出了由分割算法对解剖结构的边界进行分割的结果，其中至少部分边界已经被分割算法不正确地分割；

图5图示了分割的手动校正；

图6示出了由分割算法获得的分割、经校正的分割以及两种分割之间的距离；该距离可用作指示分割的正确性的标记，其与局部图像数据一起用作输入对预测模型进行训练；

图7A图示出随后使用预测模型预测由分割算法进行的分割的正确性，其导致被显示指示分割的不正确性的叠加；

图7B示出了在指示分割的不正确性的分割的可视化旁边显示的警告对话框；

图8示出了用于生成用于预测由分割算法进行的分割的正确性的预测模型的方法；

图9示出了使用预测模型预测由分割算法进行的分割的正确性的方法；以及

图10示出了包括数据的计算机可读介质。

应当指出，附图纯粹是图解性的，而并未按比例绘制。在附图中，与已经描述的元件相对应的元件可以具有相同的附图标记。

附图标记列表

提供以下附图标记列表是为了解释附图，而不应被解释为对权利要求的限制。

020、022 数据存储器

030 训练图像数据

040 标记数据

050 模型数据

060 输入图像数据

070 输出数据

080 用户输入设备

082 用户输入数据

100 用于生成预测模型的系统

120 数据接口

122、124 数据通信

140 处理器子系统

200 用于预测分割的正确性的系统

220 数据接口

222、224 数据通信

240 处理器子系统

242 输出数据

260 用户接口子系统

262 显示数据

280 显示器

300 医学图像

310 解剖结构

320 解剖结构的边界

330 通过算法进行的分割

340 手动校正的分割

342 校正动作

350 图像部分

360 分割之间的距离

380 正确性的可视化、叠加

382 警告对话框

400 生成预测模型的方法

410 访问训练图像数据、标记

420 训练预测模型

430 输出表示预测模型的模型数据

500 预测分割的正确性的方法

510 访问模型数据、输入图像数据

520 将预测模型应用于输入图像数据

530 输出分割的正确性

600 计算机可读介质

610 非瞬态数据

具体实施方式

图1示出了用于生成用于预测由分割算法进行的分割的正确性的预测模型的系统100。系统100可以包括数据接口120和处理器子系统140，它们可以经由数据通信124进行内部通信。处理器子系统140可以被配置为在系统100的操作期间并且使用数据接口120来访问训练图像数据030和针对该训练图像数据的相应图像部分的标记040，其中，标记通过将分割算法应用于训练图像数据来获得，其中，标记指示由分割算法对相应图像部分中边界的分割的正确性。例如，如图1所示，数据接口120可以提供对外部数据存储器020(其可以包括所述数据030、040)的访问122。备选地，可以从内部数据存储器(其是系统100的部分)访问数据030、040。备选地，可以经由网络从另一实体接收数据030、040。一般来说，数据接口120可以采取各种形式，例如到局域网或广域网(例如因特网)的网络接口、到内部或外部数据存储器的存储接口等。数据存储器020可以采取任何已知和合适的形式。

处理器子系统140可以还被配置为在系统100的操作期间使用机器学习技术并使用经标记的图像部分作为输入来训练预测模型，并且输出表示经训练的预测模型的模型数据050。模型数据050可由系统100存储在数据存储器020中或其他地方、经由网络发送等。例如，模型数据050可以被提供到另一实体，例如图2的系统200，以用于预测由分割算法进行的分割的正确性。在一些实施例中，模型数据050可以与分割算法相关联或能与分割算法相关联，例如通过模型数据050包含分割算法的标识符，通过包含到表示分割算法的数据的引用，通过与包含表示分割算法的数据的数据容器一起存储或被存储为包含表示分割算法的数据的数据容器的部分，等。

系统100的操作的各种细节和方面(包括任选的方面)将在本说明书的其他地方进一步阐明。

一般而言，系统100可以被实现为或实现在单个设备或装置(例如(例如，基于膝上型或台式机的)工作站，或服务器)中。该设备或装置可以包括运行适当软件的一个或多个微处理器。例如，处理器子系统可以由单个中央处理单元(CPU)来实现，也可以由这样的CPU和/或其他类型的处理单元的组合或系统来实现。软件可能已经被下载和/或存储在相应的存储器(例如，诸如RAM的易失性存储器或诸如闪存的非易失性存储器)中。备选地，系统的功能单元(例如数据接口和处理器子系统)可以以可编程逻辑的形式(例如，作为现场可编程门阵列(FPGA))被实施在设备或装置中。一般来说，系统的每个功能单元可以以电路的形式实施。注意到，系统100还可以以分布式方式来实施，例如涉及不同的设备或装置(例如分布式服务器，例如以云计算的形式)。

继续参考预测模型的训练，注意到，标记040可以以各种方式来获得。例如，分割算法可以先前已经应用于训练图像数据030并且得到的分割已经例如被一个或多个用户手动检查了。标记040然后可以以任何适当的方式来生成，包括但不限于从图像标注领域已知的那些方式。例如，(一个或多个)用户可以使用图形用户接口来分配标记，其中软件提供图形用户接口，然后以计算机可读形式并且以标记与训练图像数据030的相应图像部分相关联或能与其相关联的方式来生成标记040。

另一示例是，标记040可以已经由系统100本身或由另一实体自动或半自动地生成。前者的示例可以是还在本说明书的其他地方参考图6描述的以下示例。系统100可以获得表示由分割算法对相应图像部分中边界的分割的第一分割数据，以及表示由用户对相应图像部分中边界的校正分割的第二分割数据。实际上，第一分割数据可以表示由分割算法对训练图像数据030的自动化分割，而第二分割数据可以表示手动审查的并且在需要的情况下的其校正版本。然后，可以由系统100或者具体地由处理器子系统140通过将第一分割数据与第二分割数据进行比较来确定分割的正确性。例如，正确性可以通过确定边界的相应分割的对应部分之间的距离来确定。这里，“对应”可以指解剖对应关系并且/或者在分割包括诸如网格部分的部分的情况下指分割部分中的对应关系。即，如果距离为零，那么可以假定没有进行校正，这可能指示原始分割是正确的。相反，如果存在非零距离，那么这可能指示发生了校正。在这样的情况下，网格部分之间的距离可以指示原始分割的质量，因为大的距离可以表示大的校正且可指示原始的分割较差，而小的距离可以表示小的校正且可指示原始的分割不完美但仍然合理。实际上，距离可以指示校正的严重性，其反过来可以指示由分割算法进行的原始分割的质量。

然后，标记040可以由系统100基于所确定的分割的对应部分之间的距离来分配。例如，标记可以被分配为“校正的”或“未校正的”，或者按类别，例如“低于0.5mm的校正距离”、“0.5到1.0mm之间的校正距离”等。在一些实施例中，距离(例如以毫米为单位来表示)可直接用作针对相应图像部分的标记。

在一些实施例中，系统100本身可以生成第一分割数据，例如通过访问分割算法的数据表示并且通过将分割算法应用于训练图像数据030。第二分割数据可以通过系统100基于由用户经由用户接口子系统(诸如参考图2阐述的一个)提供的用户输入来获得。用户接口子系统可以使用户能够审查由分割算法获得的分割并且在需要时校正分割。

图2示出了当分割算法应用于非训练输入图像数据时使用预测模型来预测由分割算法进行的分割的正确性的系统200。系统200可以包括数据接口220和处理器子系统240，它们可以经由数据通信224进行内部通信。处理器子系统240可以被配置为在系统200的操作期间使用数据接口220来访问如参照图1所描述的模型数据050以及输入图像数据060(其包含要由分割算法分割的边界)。例如，如图2所示，数据接口220可以提供对外部数据存储器022(其可以包括所述数据050、060)的访问222。备选地，可以从内部数据存储器来访问数据050、060。备选地，可以经由网络接收数据050、060。一般而言，数据接口220可以采取各种形式，例如到局域网或广域网(例如互联网)的网络接口、到内部或外部数据存储器的存储接口等。数据存储器022可以采取任何已知且适当的形式。

处理器子系统240可以还被配置为在系统200的操作期间将预测模型应用于输入图像数据060的相应图像部分，以预测由分割算法对相应图像部分中边界的分割的正确性，并生成指示所述分割的正确性的输出数据，使由分割算法对边界的不正确分割能够基于输出数据进行识别。例如，输出数据070可以采取存储在数据存储器022中或其他地方的文件的形式。在一些实施例中，输出数据070可以是包含对分割的正确性的可视化的输出图像数据。在一些实施例中，对分割的正确性的可视化可以被系统200生成作为边界分割的可视化上的叠加。

作为任选的部件，系统200可以包括用户接口子系统260，其可以被配置为在系统200的操作期间使用户能够例如使用图形用户接口与系统200交互。用户接口子系统260可以包括用户输入接口(图2中未单独示出)，其可以被配置为从可由用户操作的用户输入设备080接收用户输入数据082。用户输入设备080可以采取各种形式，包括但不限于计算机鼠标、触摸屏、键盘、麦克风等。图2示出的用户输入设备是计算机鼠标080。通常，用户输入接口可以是与用户输入设备080的类型相对应的类型，即，其可以是对应类型的用户设备接口。用户接口子系统260还可以包括用于将输出数据242输出到绘制设备(诸如显示器280)的显示输出接口(图2中未单独示出)。例如，显示输出接口可以生成用于显示器280的显示数据262，其使显示器280以感官可感知的方式来绘制输出数据242。例如，如果输出数据242是输出图像数据，那么显示输出接口可以在显示器上显示输出图像数据242。

一般而言，系统200可以被实现为或实现在单个设备或装置(例如(例如，基于膝上型或台式机的)工作站，或移动设备)中。该设备或装置可以包括运行适当软件的一个或多个微处理器。例如，处理器子系统可以由单个中央处理单元(CPU)来实现，也可以由这样的CPU和/或其他类型的处理单元的组合或系统来实现。软件可能已经被下载和/或存储在相应的存储器(例如诸如RAM的易失性存储器或诸如闪存的非易失性存储器)中。备选地，系统的功能单元(例如数据接口和处理器子系统)可以以可编程逻辑的形式(例如，作为现场可编程门阵列(FPGA))被实施在设备或装置中。一般来说，系统的每个功能单元可以以电路的形式实施。注意到，系统200还可以以分布式方式来实施，例如涉及不同的设备或装置(例如客户机-服务器实现的客户机和服务器)。

图3示出了医学图像300的示意性表示，该医学图像300示出解剖结构310的一部分(在该示例中是心脏的一部分)，解剖结构310的边界320要由分割算法进行分割的。

注意，为了说明和易读性，解剖结构310在图3和其他地方以心脏的3D模型的形式而不是通过实际图像数据示出。然而，应当理解，通常将分割算法应用于实际图像数据，并且实际上，3D模型通常是由特定类型的分割算法(即，基于模型的分割算法)分割的结果。

图4示出了由分割算法对解剖结构310的边界320的分割330。分割330在这里和其他地方用虚线示出，虚线可以对应于由分割算法建立的分割表面。这样的分割表面的非限制性示例是由应用于解剖结构310的图像数据的网格模型形成的分割表面。如图4所示，分割算法不正确地分割了边界320的至少一部分，因为分割330局部地延伸到实际边界320之外。这种不正确的分割可能是由于各种原因造成的，例如由于分割算法中的限制，例如由于启发式算法中的缺陷、对经训练的分割的训练不足等。另一原因是解剖结构的特定形状可能不符合分割算法的例外形状，例如，医学图像可能被认为对于分割算法而言是“不合规格的”等。应当理解，还存在各种其他类型的“不正确分割”。

图5图示了对图4的分割330可以由用户执行的手动校正，例如在图4的分割330的审查期间。作为图5中用箭头342示意地指示的校正的结果，可以获得校正分割340，该校正分割可以更好地匹配解剖结构310的实际边界。可按本说明书的其他地方所描述的各种方式应用这样的校正。

图6图示了如何根据原始分割330和校正分割340来确定由分割算法进行的原始分割330的正确性。即，两种分割之间的局部距离360可以被认为指示分割的局部“正确性”。该距离可用于局部标记例如图像部分350中的图像数据。然后，经标记的图像数据可在(例如参照图1和其他地方所描述的)对预测模型的训练中被用作训练数据。例如，如果分割330是网格，则可以确定两种分割330、340之间的对应网格部分之间的几何距离，并且该几何距离可用作针对网格部分的局部邻域350内的图像数据的标记。可以针对图像部分的集合重复该过程，以获得经标记的训练图像数据。

图7A示出了随后使用预测模型来预测由分割算法进行的分割的正确性。为了说明，示出了先前在图3-6中相同的医学图像300、解剖结构310以及边界320。然而，应当理解，尽管图3-6中示出医学图像300是为了生成标记并训练预测模型，并且因此医学图像300可能是训练图像数据的部分，但是预测模型通常是在利用其他“非训练”图像数据进行训练之后才被使用。

如图7A所示，预测模型可以被应用于医学图像300，以确定由分割算法对相应图像部分中边界的分割330的正确性。注意，尽管图7A示出了分割330，但是可以在没有实际可用的分割330而是(仅仅)使用医学图像300的图像数据作为输入的情况下获得这样的预测。作为输出，可以获得对医学图像300的图像部分的标记。该标记可以采取与训练预测模型的标记相同或相似的形式，例如作为二元标记、非二元标记等。继续图6的示例，标记还可以指示校正的距离。该距离可用于在分割330的可视化上方或旁边生成颜色编码的叠加380(出于可再现性原因在图7A中以灰度再现)。例如，颜色编码可以指示正确性的程度。

其他各种可视化选项也是同样可行的。例如，分割330本身的可视化可以例如通过对网格三角形进行颜色编码来颜色编码。颜色编码可以是二元的：是否需要校正。颜色编码还可以指示校正必要性的概率，例如通过在不需要校正的情况下将网格的部分编码为“绿色”，而在需要校正的可能性很大的情况下将网格的部分编码为“红色”。颜色编码可以指示预测的校正距离。作为另一示例，图7B示出了在分割的可视化旁边被显示的警告对话框382，其指示分割的不正确性。可以在认为分割需要校正的情况下，例如在预测的校正距离超过阈值的情况下呈现这样的警告对话框382。

具体实施例可以是下面基于使用网格的基于3D模型的分割的实施例。对预测模型的训练可以使用许多先前校正的分割结果。如果分割算法相当稳健可靠，那么可能需要大量这样的分割结果。如果有这样的结果，那么可以对分割算法执行一次(并且离线)训练，然后存储得到的预测模型并将其用于新的患者病例。预测模型可以通过使用先前在临床应用中处理、分割且校正的数据集重新训练来随时间调整和学习。在一些实施例中，可以在临床环境中执行对预测模型的训练，例如通过应用预测模型的相同系统。这种类型的训练还可以允许预测模型学习例如特定用户的校正偏好。

为了生成训练样本(其一起表示训练图像数据)可以使用医学图像、由分割算法得出的自动分割结果和手动校正的分割结果。例如，针对每个患者病例并且针对每个网格三角形的中心，可以提取适当大小的图像样本(例如，图像部分，诸如3D子体积)。另外，还可以计算自动分割的网格与经校正的网格之间的距离。就本身而言，图像样本可被标记为“未校正”或“不需要校正”，否则图像样本可被标记为“经校正”或“需要校正”。

预测模型可以例如是卷积神经网络，其使用上述类别并且使用已知的深度学习工具和环境(诸如微软认知工具包(CNTK)或Caffe深度学习框架)针对所有患者病例上的每个三角形中心进行训练。如果需要，可以通过旋转和变形图像以及相应的(自动)和手动校正的分割结果来扩增训练图像数据的初始集合。数据扩增也可以通过人为地使轮廓移位并自动地生成“手动”校正来完成。

在预测模型的使用期间，可以将预测需要校正的网格三角形的列表与经校正的网格三角形或已经示出给用户的网格三角形进行比较。如果不是列表中的所有三角形都被校正或显示，那么校正工作流可以以对用户适当的方式向用户指示这些三角形，例如通过警告对话框、通过自动调整分割的视图以观察这些三角形等。

应当理解，尽管以上实施例涉及通过网格模型、三角形等进行的分割，但是上述技术也可以应用于对图像中的边界进行任何其他类型的分割。

图8示出了用于生成用于预测由分割算法进行的分割的正确性的预测模型的计算机实现方法400的框图。方法400可以对应于图1的系统100的操作。然而，这不是限制，因为方法400还可以使用另一系统、装置或设备来执行。

方法400可以在题为“访问训练图像数据、标记”的操作中包括访问410训练图像数据和针对训练图像数据的相应图像部分的标记，其中，标记是通过将分割算法应用于训练图像数据来获得的，其中，标记指示由分割算法对相应图像部分中边界的分割的正确性。方法400可以还在题为“训练预测模型”的操作中包括使用机器学习技术并使用经标记的图像部分作为输入来训练420预测模型。方法400可以还在题为“输出表示预测模型的模型数据”的操作中包括输出430表示经训练的预测模型的模型数据。

图9示出了用于使用预测模型来预测由分割算法进行的分割的正确性的计算机实现方法500的框图。方法500可以对应于图2的系统200的操作。然而，这不是限制，因为方法500还可以使用另一系统、装置或设备来执行。

方法500可以在题为“访问模型数据、输入图像数据”的操作中包括访问510表示预测模型的模型数据，所述预测模型是在训练图像数据的经标记的图像部分上被训练的，其中，经标记的图像部分的标记指示由分割算法对相应图像部分中边界的分割的正确性；以及包含要由分割算法分割的边界的输入图像数据。方法500可以还在题为“将预测模型应用于输入图像数据”的操作中包括将预测模型应用520于输入图像数据的相应图像部分，以预测由分割算法对相应图像部分中边界的分割的正确性。方法500可以还在题为“输出分割的正确性”的操作中包括生成530指示分割的正确性的输出数据，以使由分割算法对边界的不正确分割能够基于输出数据进行识别。

应当理解，一般来说，图8的方法400和/或图9的方法500的操作可以以任何适当的顺序执行，例如连续地、同时地或其组合，在适用的情况下受制于例如通过输入/输出关系所必需的特定顺序。

该(这些)方法可以在计算机上实现为计算机实现方法、专用硬件、或两者的组合。也如图10所示，用于计算机的指令(例如可执行代码)可以被存储在计算机可读介质600上，例如以一系列610机器可读物理标记的形式和/或被存储为具有不同电、例如磁性或光学性质或值的一系列元件。可执行代码可以以瞬态或非瞬态的方式存储。计算机可读介质的示例包括存储器设备、光学存储设备、集成电路、服务器、在线软件等。图10示出了光盘600。备选地，计算机可读介质600可以包括表示如本说明书其他地方所描述的预测模型的瞬态或非瞬态数据610。

无论是否被指示为非限制性的，示例、实施例或任选的特征都不应被理解为限制如要求保护的本发明。

应当注意，上述实施例说明而不是限制本发明，并且本领域技术人员将能够在不脱离所附权利要求书的范围的情况下设计出许多替代实施例。在权利要求书中，置于括号中的任何附图标记不应被解释为对权利要求的限制。动词“包括”及其结合词的使用不排除存在权利要求中所述之外的元件或步骤。元件前面的词语“一”或“一个”并不排除存在多个这样的元件。当在元件列表或元件组前面时诸如“至少一个”的表达表示从该列表或组中选择所有元件或元件的任何子集。例如，“A、B和C中的至少一个”应当被理解为包括仅A、仅B、仅C、A和B两者、A和C两者、B和C两者、或A、B和C中的全部。本发明可以借助于包括若干不同元件的硬件以及通过适当编程的计算机来实现。在枚举了若干器件的设备权利要求中，这些器件中的几个可以由同一硬件项来实现。尽管某些措施记载在互不相同的从属权利要求中，但是这并不指示不能有利地使用这些措施的组合。

Claims

1.一种生成用于预测由分割算法进行的分割的正确性的预测模型的系统（100），所述系统包括：

数据接口（120），其用于访问：

训练图像数据（030）；

针对所述训练图像数据的相应图像部分的标记（040），其中，所述标记是通过将所述分割算法应用于所述训练图像数据来获得的，其中，所述标记指示由所述分割算法对所述相应图像部分中边界的所述分割的正确性；

处理器子系统（140），其被配置为：

输出表示经训练的预测模型的模型数据（050），

其中，所述处理器子系统（140）还被配置为通过以下操作来生成针对所述相应图像部分的所述标记（040）：

经由所述数据接口（122）访问：

通过将所述第一分割数据与所述第二分割数据进行比较来确定分割的所述正确性；并且

2.根据权利要求1所述的系统（100），其中，所述处理器子系统（140）被配置为基于所述边界的相应分割的对应部分之间的距离来确定由所述分割算法对图像部分进行的所述分割的所述正确性。

3.一种用于预测由分割算法进行的分割的正确性的系统（200），所述系统包括：

数据接口（220），其用于访问：

表示预测模型的模型数据（050），所述预测模型是在训练图像数据的经标记的图像部分上被训练的，其中，所述经标记的图像部分的标记指示由所述分割算法对相应图像部分中边界的分割的正确性，其中，通过以下操作来生成所述经标记的图像部分的所述标记：

经由所述数据接口（122）访问：

将指示分割的所述正确性的所述标记分配给所述相应图像部分；以及

包含要由所述分割算法分割的边界的输入图像数据（060）；

处理器子系统（240），其被配置为：

将所述预测模型应用于所述输入图像数据的相应图像部分，以预测由所述分割算法对所述相应图像部分中所述边界的所述分割的所述正确性；并且

生成指示分割的所述正确性的输出数据（070、242），以使由所述分割算法对所述边界的不正确分割能够基于所述输出数据进行识别。

4.根据权利要求3所述的系统（200），其中，所述处理器子系统（240）还被配置为：

将所述分割算法应用于所述输入图像数据，从而获得对所述输入图像数据中的所述边界的所述分割；并且

基于包含所述边界的部分的所述图像部分来识别要应用所述预测模型的图像部分。

5.根据权利要求4所述的系统（200），其中：

所述输入图像数据（060）是3D图像数据；

所述分割算法提供对所述输入图像数据中的所述边界的3D分割；并且

所述处理器子系统（240）被配置为将要应用所述预测模型的所述图像部分识别为所述3D图像数据中以所述3D分割的相应部分为中心的子体积。

6.根据权利要求3至5中的任一项所述的系统（200），其中，所述处理器子系统（240）被配置为生成输出数据（070、242）作为包含所述分割的所述正确性的可视化的输出图像数据。

7.根据权利要求6所述的系统（200），其中，所述输出图像数据包含所述分割的所述正确性的所述可视化，作为所述边界的所述分割的可视化上的叠加。

8.根据权利要求7所述的系统（200），其中，所述处理器子系统（240）被配置为调整所述边界的所述分割的所述可视化，以在视觉上突出显示其中根据分割质量准则所述边界被认为被不正确分割的一个或多个图像部分。

9.根据权利要求3至5中的任一项所述的系统（200），其中，所述处理器子系统（240）被配置为：

基于所述分割的所述正确性来调整所述临床应用的工作流。

10.一种包括根据权利要求1至9中的任一项所述的系统的工作站或成像装置。

11.一种生成用于预测由分割算法进行的分割的正确性的预测模型的计算机实现方法（400），所述方法包括：

访问（410）：

训练图像数据；

针对所述训练图像数据的相应图像部分的标记，其中，所述标记是通过将所述分割算法应用于所述训练图像数据来获得的，其中，所述标记指示由所述分割算法对所述相应图像部分中边界的所述分割的正确性；

输出（430）表示经训练的预测模型的模型数据，

其中，通过以下操作来生成所述相应图像部分的所述标记：

经由数据接口（122）访问：

12.一种计算机可读介质（600），其包括表示根据权利要求11所述的计算机实现方法生成的预测模型的瞬态或非瞬态数据（610）。

13.一种预测由分割算法进行的分割的正确性的计算机实现方法（500），所述方法包括：

访问（510）：

表示预测模型的模型数据，所述预测模型是在训练图像数据的经标记的图像部分上被训练的，其中，所述经标记的图像部分的标记指示由所述分割算法对相应图像部分中边界的分割的正确性，其中，通过以下操作来生成所述经标记的图像部分的所述标记：

经由数据接口（122）访问：

包含要由所述分割算法分割的边界的输入图像数据；

生成（530）指示分割的所述正确性的输出数据，以使由所述分割算法对所述边界的不正确分割能够基于所述输出数据进行识别。

14.一种计算机可读介质（600），其包括表示被布置为使处理器系统执行根据权利要求11或13所述的计算机实现方法的指令的瞬态或非瞬态数据（610）。