CN108805877B - 对于医学成像中的n维分割的多尺度深度强化机器学习 - Google Patents

Abstract

对于医学成像中的N维分割的多尺度深度强化机器学习。多尺度深度强化学习为对象的多维（例如3D）分割生成多尺度深度强化模型（22）。在此上下文中，分割被明确表达为学习收敛到对象边界的针对形状演进（40）的图像驱动策略（38）。该分割被视为强化学习问题，并且将尺度空间理论用于实现鲁棒和高效的多尺度形状估计。通过学习一种迭代策略来找到分割，可以解决端到端回归系统的学习挑战。

Description

对于医学成像中的N维分割的多尺度深度强化机器学习

相关申请

本专利文档要求保护在35 U.S.C.§119(e)下的2017年5月3日提交的临时美国专利申请序列号62/500,604的提交日期的权益，通过引用将其合并于此。

背景技术

本实施例涉及医学成像中的分割。解剖结构的准确且快速分割是实现对诊断和介入程序进行实时引导、量化和处理的医学图像分析中的基本任务。先前对于三维分割的解决方案基于机器学习驱动的主动形状模型、前向传播理论、马尔可夫随机场方法或深度图像对图像回归模型。

主动形状模型和前向传播理论解决方案提出了参数表面模型，使该模型变形以适合目标对象的边界。机器学习技术利用图像数据库来学习复杂的参数模型。变形或者由预训练的边界分类器来驱动，或者被隐含地描述为水平集。这些方法可受到诸如次优局部收敛和受限的可伸缩性的若干限制。对于高分辨率的体数据，将扫描样式用于边界拟合导致重大的计算挑战。

相比之下，马尔可夫随机场方法和深度图像到图像回归模型包括或者将分割任务明确表达为基于体素的能量模型的最小化或者从输入体积至分割掩模的端到端回归过程的解决方案。实际上，潜在目标函数的最小化是冗长的，其中搜索常常收敛到次优局部解。在应用缺少必要的全局上下文的局部边界分类器时能观察到同样的效果。

发明内容

作为介绍，下面描述的优选实施例包括用于基于机器学习的N维（例如3D）分割的方法、系统、指令和计算机可读介质。在医学成像系统中，将多尺度深度强化学习用于分割。该机器学习模型包括关于如何分割的行动策略。迭代细化根据策略演进形状，最终识别被分割的对象的边界。该演进包括在不同迭代中以不同分辨率使用医学扫描数据中的上下文的尺度（scale）以对形状进行演进。各种形状描述符提供演进或细化上下文，诸如统计形状模型、前向传播模型或体素掩模模型。

在第一方面中，提供一种用于基于医学成像系统中的机器学习的三维分割的方法。从存储器加载表示患者的三维区域的医学数据集。机器将医学数据集应用到多尺度深度强化机器学习模型。利用多尺度深度强化学习来训练该多尺度深度强化机器学习的模型以从医学数据集分割三维对象的边界。该多尺度深度强化机器学习模型包括一种通过边界的迭代细化的针对形状演进的机器学习策略。使用统计形状建模、前向传播建模或体素掩模建模来描述边界和细化。渲染器基于利用策略确定的边界来渲染三维对象的图像。

在第二方面中，提供一种用于基于医学成像系统中的机器学习的多维分割的方法。从存储器加载表示患者的多维区域的医学数据集。机器将医学数据集应用到多尺度深度强化机器学习模型。利用多尺度深度强化学习来训练该多尺度深度强化机器学习模型以从医学数据集分割多维对象的边界。该多尺度深度强化机器学习模型包括一种通过边界在尺度和位置上的迭代细化的针对形状演进的机器学习策略。图形处理器基于利用该策略确定的边界来生成多维对象的图像。

本发明由以下权利要求来限定，并且此部分中没有什么应该视为对那些权利要求的限制。下面结合优选实施例来讨论本发明的另外的方面和优点，并且稍后可独立地或组合地对其要求保护。

附图说明

部件和各图不一定按照比例，而是将重点放在图示本发明的原理上。此外，在图中，相似的参考数字指定遍及不同视图的对应部分。

图1是用于基于医学成像系统中的多尺度深度强化机器学习模型的三维分割的方法的实施例的流程图图表；

图2图示多尺度深度强化机器学习模型中的迭代细化；以及

图3是用于学习和/或应用多尺度深度强化机器学习模型的系统的一个实施例的框图。

具体实施方式

多尺度深度强化学习为对象的N维（例如3D）分割生成多尺度深度强化模型，其中N是大于1的整数。在此上下文中，分割被明确表达为学习收敛到对象边界的针对形状演进的图像驱动策略。该分割被视为强化学习问题，并且将尺度空间理论用于实现鲁棒和高效的多尺度形状估计。通过学习一种迭代策略来找到分割，可以解决端到端回归系统的学习挑战。

尽管被训练为完整的分割方法，但是已训练的策略可以代替或者还用于作为后处理步骤的形状细化。任何分割方法提供初始分割。假设将原始分割作为多尺度深度强化机器学习模型中的初始分割，则使用机器学习策略来对分割进行细化。

机器学习导致具有已训练的人工代理的机器学习模型。为了进行训练，使用许多（例如数百个或数千个）具有已知地面实况（例如已分割结果）的样本。训练该模型以分割特定对象或对象组。将不同的模型训练成分割不同的对象。替代地，将一个模型训练成分割多个对象。一旦被训练，就将对于特定患者的数据应用于模型。模型输出对于那个患者的一个或多个对象的分割。

该对象是三维的，但可以是二维、四维或其他维数。对象和扫描数据是N维或多维的，其中N是大于1的整数。使用计算机断层扫描（CT）、磁共振（MR）、超声波、C臂x射线、正电子发射断层扫描（PET）、单质子发射计算机断层扫描（SPECT）或其他成像模态来扫描患者，从而导致以N个维度表示患者的数据。测量结果的空间分布沿着两个或更多（例如N个）空间维度。3D空间分布以均匀或非均匀网格为患者提供医学数据集（例如M x O x P，其中M、O和P中的每一个是大于1的整数）。医学数据集由体素来形成，其中每个体素具有针对测量的标量值。用扫描体积内的多个体素来表示对象。分割识别对象的边界和/或表示对象的所有体素。对于2D，用像素来表示对象。N维对象包括对于不同患者来说可不同的边界（诸如曲线或表面）。例如在下面使用3D扫描数据和对象，但是可以使用任何N维对象和/或扫描数据。该对象具有与扫描数据相同或更低的维度。

图1示出用于基于医学成像系统中的机器学习的多维分割的方法的一个实施例。应用机器学习模型或人工智能代理。对于给定的患者，要对感兴趣的3D对象分割。将人工智能代理应用于具有或不具有其他输入信息的扫描数据集，从而输出体素或指示3D对象的位置。通过使用学习策略和形状描述符而迭代地演进对象的形状来找到如在医学数据集中表示的对象的边界。

通过图3的系统或另一系统来实施该方法。例如，通过计算机、服务器、或其他处理器、图形处理单元或其他渲染器和显示器来实施该方法。从存储器加载医学数据。计算机应用机器学习模型，从而输出分割。渲染器使用分割来渲染来自医学数据的图像。该图像指示已分割的对象，诸如仅仅具有对象或突出显示对象。可以使用不同的设备，诸如执行应用程序和/或渲染的控制器或医学扫描仪处理器。

可以提供附加的、不同的或更少的动作。例如，不提供动作42的渲染，而是作为代替存储或传输分割以用于稍后渲染或对象的特性的计算。在另一示例中，替代地或除了在动作30中加载医学数据之外，提供用于扫描患者以提供医学数据集的动作。

该动作是按所示的顺序（例如顶至底或数字的）或其他顺序执行的。例如，动作36-40表示动作34的应用的组成部分，因此以任何顺序或同时作为机器学习模型的应用的一部分来执行。

在动作30中，从存储器、传感器和/或其他源加载医学数据。医学扫描仪可以提供数据，诸如表示患者的3D区域的医学数据集。可以使用患者的计算机化的医学记录的挖掘。可以从图片存档和通信服务器获得医学信息。可以使用任何源。

该医学数据是对于给定患者的。虽然训练可以使用来自许多患者的样本，但是将学习模型应用到针对患者的医学数据以输出针对那个患者的对象的分割。将相同或不同的机器学习模型应用到针对任何数目的患者的数据。

获得任何类型的医学数据。将表示3D体积的扫描数据加载为医学数据集。该扫描数据可以来自多个二维扫描或者可以从3D扫描格式化。医学数据可以包括非图像或非扫描数据，诸如患者测试结果、医师笔记、实验结果、诊断信息、账单代码、临床数据、患者历史或其他信息。

该医学数据集包括要被机器训练模型使用的所学习的信息。可能不提供地面实况信息和/或奖励信息。将要被用来确定对象的位置的上下文提供给机器学习模型。例如，仅仅将3D扫描数据提供为针对给定患者的医学数据集。作为另一示例，将3D扫描数据和诊断信息提供为针对患者的医学数据集。该诊断信息可以被用来选择机器学习模型以使用输入特征向量的一部分和/或成为输入特征向量的一部分。

在动作34中，将医学数据集应用到机器学习模型。用机器（诸如计算机、处理器或服务器）来处理已加载的医学数据集。该机器使用机器学习模型的内部表示。根据医学数据集来创建输入特征向量和/或输入特征向量是医学数据集。该机器将特征向量输入至机器学习模型，导致机器学习模型输出分割。

将已训练的模型存储在存储器中。存储已训练的人工智能（即机器学习模型）。训练的结果是矩阵。该矩阵表示通过机器训练的学习的知识。该矩阵包括输入向量并且针对分割来输出。可以使用其他机器学习模型表示，诸如矩阵或其他非线性模型的分层结构。

可以使用任何存储器。可以使用用于训练数据的存储器。对于应用，存储器可以在其他设备中。例如，将已训练的模型存储在服务器的存储器中。服务器使用已训练的模型来向客户端或向将已渲染图像输出到客户端的基于服务器的渲染器输出分割。作为另一示例，向不同医师、医学扫描仪和/或用于由不同医师使用的工作站提供已训练的模型的多个拷贝。

动作36-40表示在应用机器学习模型中的不同方面。可以提供附加的、不同的或更少的方面。该机器学习模型是使用深度学习（例如深度神经网络）先前学习的，所以在动作36中提取深度学习特征。该训练学习滤波器核（kernel）、策略和/或用于分割的其他信息。此训练可以基于从输入数据提取的学习信息。在动作36中通过应用深度学习模型，从医学数据集提取特征。该机器学习模型是使用强化学习先前学习的。将奖励系统用于学习如何通过一系列动作来分割。该训练学习动作38中的指示如何通过动作40的形状演进或优化的序列来分割的策略。多尺度深度强化机器学习模型是使用允许处于不同尺度（例如分辨率或缩放量）的动作的深度强化学习来学习的。

可以使用强化学习来改进实验设计。决策支持系统学习用于分割的最优或多种动作，而不是仅仅学习将每个体素分类为属于或不属于该对象。使用机器学习技术来自动识别针对在可用替代之间如何分割的最佳选项或其他选项。强化学习学习“策略”（例如如何使分割优化的指南）。因为可以使用不同动作（例如，在什么序列中改变什么形状参数，在给定患者数据或来自与患者数据适合的反馈的情况下使用什么序列，在哪个状态下使用哪个卷积滤波器，在每个级或状态下使用什么尺度，和/或应用哪个分类器），所以可以将分割编码为马尔可夫决策过程。可以使用例如动态编程或更高级的强化学习技术（诸如Q学习）来根据马尔可夫决策过程计算最优策略。在学习程序期间，代理反复尝试来自该组可用动作的不同动作以获得被用来学习最优策略的经验。策略为决策过程期间的任何可能状态确定用来执行以使未来奖励最大化的最佳动作。以使得对导致快速且可靠（低不确定性）分割的动作给予正面奖励而对向决策制定过程提供几乎没有价值的经验给予负面奖励的方式来设置奖励。可以仅使用正面奖励或仅使用负面奖励。可以将来自过去的决策制定过程的经验用来限定奖励和状态，并且可以使用针对过去患者的分割来学习动作集。

在一个实施例中，利用马尔可夫决策过程来训练多尺度深度强化机器学习模型，该马尔可夫决策过程包括对于三维对象的特征提取和机器学习策略的有效有限范围（finite-horizon）策略学习。使成为马尔可夫决策过程，其中定义具有表示图像上下文的和作为预定义的形状表示（例如图像体素掩模模型或者显式或隐式参数形状模型（诸如统计形状模型或前向传播模型））的的紧凑系统状态。A定义具有控制形状演进的动作的动作空间。 表示用作用来控制收敛的诱因的奖励系统。控制立即奖励对（versus）将来奖励。可以使用其他强化学习和/或马尔可夫决策过程训练。

目标是为使当前形状在策略上演进的智能人工代理训练最优行为策略以基于活动图像上下文来改进分割。预定义的形状模型在策略的应用上演进，以更好地适合患者的医学数据集。受学习策略控制的迭代细化优化分割。该策略限定在给定当前适合或相对于图像上下文（即相对于医学数据集）的当前形状的情况下采取的用来改进分割的动作。该动作可以包括使用尺度空间的尺度的变化。初始和/或最终尺度可以是学习或手动约束的，诸如要求初始分割处于医学数据集的粗尺度并且最终分割处于医学数据集的最好或最高分辨率尺度。可以将任何奖励用于训练，诸如来自地面实况或Dice系数的差异的测量（measure）。在强化训练中，智能代理基于奖励在给定当前形状和图像上下文的情况下学习哪些动作（例如要改变哪些形状参数以及改变多少）。奖励或不奖励所得到的变化或动作，因而训练为提供最大奖励和/或最小化惩罚的给定情形确定动作。学习用来找到边界或对象（包括尺度变化）的动作的路径。对于应用，在没有测量奖励的情况下应用此学习策略。

对于训练来说，训练数据包括许多样本。该样本是具有作为地面实况的已知分割的医学数据集。在替代或附加实施例中，该样本包括作为地面实况进行分割所采取的动作。该深度学习学习要从医学数据集提取的特征。这些学习特征要通过学习策略来使用。从训练数据学习可被用来最佳或足够地区分动作的特征。例如，深度学习（例如深度结构化学习、分层结构学习或深度机器学习）通过使用具有由多个非线性变换组成的结构的多个处理层来对数据中的高级抽象建模，其中没有明确地对输入数据特征工程化（engineer）。深度神经网络经由特征提取的多个层来处理输入以产生用于分割的特征。深度学习提供用来分割的特征。可以训练并应用其他深度学习、稀疏自动编码模型。机器训练在学习要使用的特征和如何在给定输入样本（即特征向量）的情况下进行分类中是未监督的。

对于训练，深度Q学习组合有效有限范围策略学习和自动图像特征提取的优点。动作空间可以与图像空间成比例，所以存在从其学习最优策略的许多选项。Q学习可对针对细化或演进的数百个、或更多选择的动作更不有效。在一个替代中，使用与策略梯度组合嵌入的动作来开发相关动作空间的固有稀疏结构。在另一实施例中，自然演化策略（NES）执行作为学习的一部分的参数空间中的策略探索。考虑到全卷积网络的紧凑参数化，NES特别适合。可以使用用于深度强化学习的其他方法。

训练提供一种多尺度深度强化机器学习模型。将此模型训练成对来自医学数据集的3D对象的边界分割。该医学数据集是输入，并且模型输出边界。边界通过不同维度（dimension）延伸到任何范围。通过体素、通过形状或其他表示来识别该边界。该边界仅仅针对对象的外部或者还可以包括对象的内部。

在动作34中，该机器将医学数据集应用到多尺度深度强化机器学习模型。该学习模型使用形状描述符来限定动作空间。该模型的学习策略为形状演进的每个迭代提供一个或多个动作。动作改变形状描述符的某个方面，从而细化对于形状描述符的位置和/或尺度。3D对象的不同形状由受学习策略控制的形状演进的不同迭代产生。对于每个迭代，对象的当前估计的尺度和/或位置被改变以找到最佳分割。对于每个迭代，基于对应于形状描述符的参数的一个或多个值中的变化的动作来估计3D对象的位置。在给定图像上下文的情况下，机器学习策略通过边界的迭代细化来控制形状演进。在给定针对特定患者的医学数据集上下文的反馈的情况下，该策略为创建如何分割的一系列动作提供决策制定。这基于经优化的学习过程或动作来演化患者所特定的形状以在患者的大量人口上进行分割。

可以将在美国公布的专利申请号2017/0116497（通过引用将其公开合并于此）中公开的训练和应用用于分割而不是路标（landmark）检测。多尺度迭代方案确保对于分割的鲁棒性和最优收敛速度。通过跨粗和细数据集上下文来使用动作，可以避免错误肯定（false positive）。分割的是3D对象的，所以与路标检测相比参数空间是不同的。由形状描述符限定的参数空间不同于被用于路标检测的参数空间。

对于对象分割，参数空间基于统计形状建模、前向传播建模或体素掩模建模。可以使用其他参数化模型。这些模型在三个维度上限定对象的形状。通过限定形状的参数的值来指示对象在每个迭代中的边界。由学习策略指示的细化是这些模型的参数空间中的动作，诸如作为在形状描述符模型的参数的一个或多个值中的变化的动作。利用马尔可夫决策过程训练的多尺度深度强化机器学习模型包括形状表示和医学数据集的紧凑系统状态。该形状表示是由统计形状建模、前向传播建模或体素掩模建模给定的形状描述符。

图2图示使用机器学习模型的迭代分割。示出三个替代形状表示模型24，统计形状模型（SSM）、水平集（前向传播模型）和体素掩模模型。将这些或另一形状表示模型24中的一个用于训练和应用。该形状表示模型24描述适合于医学数据集20中的对象的潜在形状。来自体积扫描（例如3D CT扫描）的医学数据集20为对象（例如在感兴趣的区域框中示出的肝脏）的分割提供患者特定的上下文。智能代理22是多尺度深度强化机器学习模型，包括通过形状描述符模型24限定的动作空间中的学习策略。

在初始迭代中，该智能代理22接收作为当前上下文21的医学数据集20。该智能代理22提取针对深度学习特征的值并且基于针对特征的值来输出对于形状描述符模型24的一个或多个参数的新值或初始值。控制策略学习形状演进23是一种处于形状变化的形式的动作。形状描述符模型24的形状模型基于来自策略的动作而改变。将所得到的形状描述符25提供给智能代理22。对于下一迭代，上下文21和对应的当前形状25被智能代理22用来确定下一细化或形状演进23。在每个迭代中，机器学习策略控制形状描述符模型24来提供下一形状描述符25。可以将当前形状27反馈到医学数据库22或者将当前形状27用来从医学数据库20访问上下文信息。上下文信息的采样可以至少部分取决于当前网格或形状（例如基于当前适合形状的法线、切线和/或邻域提取标量体素值）。智能代理22可以诸如通过对粗尺度的下采样来控制或选择上下文的尺度。

迭代继续直到满足一个或多个停止准则为止。可以使用任何停止准则。例如，在重复相同的细化或者成对的细化使形状描述符25在两个类似状态之间循环的情况下细化停止。其他准则可以包括多个迭代、形状描述符25离医学数据集20的距离的测量或卡方值。可以使用明确的‘停止’动作。

可以在图2的框架内使用任何形状描述符模型24。不同的形状描述符模型24可以捕获对象的不同方面。这允许潜在结构的形状性质（例如尺寸和表面变化和/或局部刚度）的开发以达到最优分割性能。形状描述符模型24的选择对状态和动作空间的限定以及潜在奖励系统具有直接影响。

在一个实施例中，该形状描述符模型24是统计形状模型（SSM）。例如，对于肝脏的SSM是从对于肝脏的地面实况分割、图谱集或另一源学习的。SSM来自用来创建多尺度深度强化机器学习模型的相同或不同训练数据。给定不同参数化形状之间的显式点对应，诸如使用对于形状变化的线性模型来对形状编码。适合上下文的形状的此编码限定了对象的边界。虽然通常将密集点云用于精确描绘，但是可以使用主成分分析来将形状投射到变形的主模式所跨越的紧凑空间，其中。可以使用其他显式参数化。

使用SSM来描述边界和细化。变形的模式限定可以采取的动作。在此上下文中，通过（或者单独地或者联合地）改变T形状模式来使形状演进。由策略针对形状演进输出的变化或动作是SSM的投射的形状空间的形状参数的一个或多个的变化。在此情况下，状态是由当前形状参数化的，例如通过提取在形状边界处的图像上下文并将那个信息聚集以学习用于改变投射的形状空间中的各个形状参数的最优策略。此解决方案可以是有效地应用的多尺度并且不具有与图像对图像解决方案相同的存储器要求。通常，使用围绕边界的不同取向来对图像采样，这是潜在地冗长的且缓慢的过程。可以使用光谱形状分解来对形状编码。

奖励系统可以是点对点距离函数（例如绝对差的最小和）。可以使用任何分割质量度量，诸如Dice系数。

在另一实施例中，形状描述符模型24是前向传播模型。可以使用任何前向传播，诸如水平集。诸如水平集的隐式形状表示被表示为。在欧拉表达式中，使用速度函数F来对此超曲面的运动建模，这可以取决于法面方向、局部曲率或其他几何测量。例如，轮廓函数被给定为。使用此水平集来描述边界。可以使用其他隐式参数化。

动作空间中的细化改变该前向传播模型的一个或多个参数的值。改变该水平集来使用于分割的形状演进。通过检查正交于图像上下文中轮廓的梯度，使分割演进。可能要求初始水平集在对象内，以使得轮廓移至边界。最优策略控制使用鲁棒图像特征由速度函数给出的颗粒的速度。颗粒在前向传播模型的超曲面中的速度的变化限定动作。通过考虑多尺度形状演进，可以解决水平集方法的限制，诸如在部分形状遮挡下对噪声和鲁棒性的灵敏性。例如，形状开始接近以使得演进中的动作更简单。通过最初使用粗分割，提供了对于更精细分辨率的接近度。

可以使用用于形状演进或分割方法的任何度量。例如，使用Dice系数、Jaccard指数、相关性或距离函数。

在另一替代实施例中，形状描述符24是体素掩模模型。可以将分割直接标记为掩模。通过该组成对的静态图像上下文来限定状态空间S。该对使用多尺度，从而提供全局或局部体积贴片（patch）。每个体素的状态限定了对应的分割掩模，从而提供对象在三个维度上的边界。

通过状态改变来描述细化。动作是为了状态的改变。例如，使用三个离散动作（翻转标记至未标记、翻转未标记至标记、保持当前标记）中的一个来关于体素更新特定状态中的给定分割掩模。该动作可以针对基于所选尺度的体素的任何采样。该动作还可以针对要改变哪些体素。不是逐个体素地演进，而是可以使用使用与相邻体素的相关性的动作方案。切换或不切换体素的组。分组（例如多尺度）的尺寸可以是另一动作。此相关的体素标记可以确保状态空间的有效探索。使用此限定，任务是学习迭代地生成收敛至目标解剖结构的真正分割的掩模的最优决策策略。演进改变一个或多个体素的状态。与只有一次的（one-shot）体素标记相比（其中每个体素在没有动作的情况下标记），该体素掩模的演进提供了优化。

可以使用Dice系数来定义奖励系统。形状描述符与地面实况的重叠是在训练中确定的。如果重叠，则给予奖励。否则，不给予奖励。该重叠可以是每体素测量的或者可以是针对所有体素测量的。可以使用其他奖励函数，诸如卡方或差别量的其他测量。

在图1的动作42中，渲染器基于利用策略确定的边界来渲染3D对象的图像。将该图像传输至显示设备。使用作为二元掩模的位置或医学数据集在已分割对象位置处的标量值来将3D对象渲染成2D显示。可以使用表面、投射、路径追踪、射线追踪、或其他3D渲染。所得到的图像表示已分割的对象。在其他实施例中，将用医学数据集表示的体积渲染成2D图像。对于2D，图形处理器生成图像。突出显示已分割对象的标量值和/或位置，诸如提供染色、增加的亮度或其他变化。相对于其他对象来突出显示已分割的边界。在又一实施例中，在基于分割突出显示对象的情况下，将2D图像提取为通过体积的平面切片。

可以将分割用于附加或替代目的。例如，根据分割来确定对象的体积、面积、长度或其他特性。另外的扫描或手术规划可以使用分割信息。

图3示出用于利用多尺度深度强化机器学习模型的3D对象的分割的系统的一个实施例的框图。该系统用于机器学习模型的应用，但是替代地或另外地可以将该系统用于利用机器学习的训练。通过使用深度学习，学习确定要采取的动作和/或对象的位置的特征。通过使用强化学习，学习针对用来迭代地演进形状描述符的动作的策略。通过使用尺度空间，动作空间包括不同的分辨率或尺度，从而允许使用不同尺度的形状演进。形状描述符模型限定分割的空间范围、除了尺度之外可以采取来使分割演进的动作、以及用于强化学习的奖励。所得到的多尺度深度强化机器学习模型对来自针对患者的医学数据集或扫描数据的一个或多个3D对象进行分割。

该系统实施图1的方法和/或图2的分割。可以实施其他方法或动作，诸如用于选择用来处理的医学数据集、激活机器学习模型的应用、和/或使用分割（例如用于计算已分割对象的特性）的动作。

该系统包括机器50、存储器52、显示器54、医学成像器56和渲染器58。可以提供附加的、不同的或更少的部件。例如，不提供医学成像器56和/或存储器52。在另一示例中，提供网络或网络连接，诸如用于与医学成像网络或数据存档系统联网。可以提供用于与机器50、渲染器58或其他部件交互的用户接口（例如用户输入设备）。在又一示例中，该渲染器58是图形处理器，诸如用于从2D分割和/或扫描数据生成2D图像的图形处理单元。

该机器50、存储器52、渲染器58和/或显示器54是医学成像器56的一部分。替代地，该机器50、存储器52、渲染器58和/或显示器54是与医学成像器56分开的服务器、工作站或计算机的一部分。该机器50、存储器52、渲染器58和/或显示器54是个人计算机（诸如桌上型或膝上型）、工作站、服务器、网络或其组合。在又一些实施例中，该机器50和存储器52是与渲染器58分开的计算机的一部分。

该医学成像器56是医学诊断成像系统。可以使用超声波、CT、x射线、荧光检查、正电子发射断层扫描（PET）、单质子发射计算机断层扫描（SPECT）、MR、和/或其他医学成像系统。该医学成像器56可以包括发射器并且包括用于扫描或接收表示患者的内部的数据的检测器。该医学成像器56获取表示患者的扫描数据。该扫描数据表示患者的体积（例如在所有三个空间维度上分布的体素）。获取扫描数据并将其用于诊断或手术规划。

在替代实施例中，不提供医学成像器56，但是将先前获取的针对患者的数据集存储在存储器52中。在又一些替代中，在存储器52中提供作为训练数据的许多医学图像56，其被收集并且存储在存储器52中。

该扫描数据（例如医学数据集）表示感兴趣的对象的全部或一部分，诸如器官、移植物、医学工具、组织、骨骼、生理系统或患者的其他部位。感兴趣的对象在三个维度上分布，所以是3D对象。不是检测点，而是该分割确定对象的3D范围。例如，沿着属于该对象的三个空间维度中的每一个在空间上分布的体素被识别为分割。

该机器50是硬件设备，诸如计算机、工作站、服务器、处理器或被配置成应用机器学习和/或应用机器学习模型的其他设备。由软件、硬件和/或固件来配置该机器50。为了学习，由一个或多个机器学习算法来配置该机器50。为了应用学习模型，由使输入数据与输出分割相关联的一个或多个学习矩阵来部分地配置该机器50。

该机器50应用机器学习模型，诸如利用深度学习来学习的一个。如由机器50实施的机器学习模型基于来自患者的扫描的医学数据的应用来生成3D对象的输入特征和/或位置。通过输入扫描数据，该机器学习模型遵循用于使形状模型至特定患者的数据的拟合演进所采取的动作的机器学习策略。形状演进的结果是如在扫描数据中表示的3D对象的位置（即针对那个患者的分割）的识别。

该存储器52是图形处理存储器、视频随机存取存储器、随机存取存储器、系统存储器、缓存存储器、硬盘驱动器、光学介质、磁性介质、闪速驱动器、缓冲器、数据库、其组合、或其他现在已知或稍后开发的用于存储以下各项的存储器设备：训练数据（例如具有对象的已知分割的扫描数据）、医学数据集、形状描述符、已分割的结果、渲染的图像、在利用机器学习模型的分割中使用的信息、和/或其他信息。该存储器52是医学成像器56的一部分、与机器50相关联的计算机的一部分、与渲染器58相关联的计算机的一部分、数据库、另一系统的一部分、图片存档存储器或独立设备。

对于机器学习模型的应用，该存储器52存储表示一个或多个患者的扫描数据。例如,存储来自医学成像器56的数据。该数据处于扫描格式中或者被重建成体积或三维网格格式。还可以存储与演进形状描述符有关的图像上下文、形状描述符、机器学习模型的一个或多个矩阵、被计算为应用的一部分的值、以及所得到的分割。

替代地或另外地，该存储器52或其他存储器是非瞬时计算机可读存储介质，其存储表示由用于学习或应用机器学习模型的编程机器50可执行的指令的数据。在非瞬时计算机可读存储介质或存储器（诸如缓存、缓冲器、RAM、可移动介质、硬盘驱动器或其他计算机可读存储介质）上提供用于实施本文中讨论的过程、方法和/或技术的指令。非瞬时计算机可读存储介质包括各种类型的易失性和非易失性存储介质。响应于存储在计算机可读存储介质中或其上的一个或多个指令集来执行在图中图示或本文中描述的功能、动作或任务。该功能、动作或任务与特定类型的指令集、存储介质、处理器或处理策略无关并且可以由软件、硬件、集成电路、固件、微代码等等来单独操作地或相组合地执行。同样，处理策略可以包括多处理、多任务、并行处理等等。

在一个实施例中，将指令存储在用于由本地或远程系统读取的可移动介质设备上。在其他实施例中，将指令存储在远程位置中以用于通过计算机网络或通过电话线来传递。在又一些实施例中，将指令存储在给定计算机、CPU、GPU或系统内。

该渲染器58是图形处理器设备，诸如图形处理单元、图形卡、图形芯片、多核处理器或用于从3D或多维分割生成图像的其他硬件处理器。该渲染器58被应用编程接口配置成根据表示患者的3D扫描数据来渲染图像。通过使用基于物理的、光线投射、表面渲染、路径追踪或其他渲染，将图像从3D数据渲染到显示器54的2D屏幕。图像是单独的分割的对象的或者具有周围组织或其他对象。

显示器54是监视器、LCD、投影仪、等离子体显示器、CRT、打印机或其他现在已知或稍后开发的用于显示一个或多个真实感图像的设备。该显示器54从机器50、存储器52、渲染器58或医学成像器56接收图像。显示由医学成像器56捕获的组织的图像。显示已分割对象的图像。突出显示或单独显示已分割对象。也可以将其他信息（诸如所生成的图形、文本或量）显示为虚拟覆盖。

可以显示附加图像。在扫描数据表示随时间的一系列扫描的情况下，可以生成图像的对应序列。将对于每个时间或图像的分割用来表示随着时间的对象。

虽然已经在上面通过参考各种实施例描述了本发明，但是应该理解可以在不偏离本发明的范围的情况下作出许多改变和修改。因此，意图将前面的详细描述视为说明性而非限制性的，并且要理解意图是下面的权利要求（包括所有等同物）来限定本发明的精神和范围。

Claims (20)

1.一种用于基于医学成像系统中的机器学习的三维分割的方法，该方法包括：

由医学扫描仪对患者进行扫描，所述医学扫描仪包括磁共振、计算机断层扫描、x射线或超声成像系统；

从存储器加载表示所述患者的三维区域的医学数据集，所述医学数据集来自由医学扫描仪的扫描，所述医学数据集包括磁共振、计算机断层扫描、x射线或超声数据；

由机器将医学数据集应用到多尺度深度强化机器学习模型，利用多尺度深度强化学习来训练该多尺度深度强化机器学习模型，以从医学数据集分割三维对象的边界，该多尺度深度强化机器学习模型包括一种通过对象的边界的迭代细化的针对形状演进的一系列动作的机器学习策略，机器学习策略被训练成考虑到迭代细化中的每个迭代细化下的拟合状态来从可能动作中选择动作中的每个，所述动作包括医学数据集的不同分辨率中的动作，该系列由基于使奖励最大化的机器学习策略训练产生，使用统计形状建模、前向传播建模或体素掩模建模来描述该边界和细化，以自然演进策略来训练多尺度深度强化机器学习模型，以基于统计形状建模、前向传播建模或体素掩模建模来探索参数空间；

由渲染器基于利用策略确定的边界来渲染三维对象的图像；并且

在显示设备上显示图像。

2.根据权利要求1所述的方法，进一步包括加载不同于表示患者的三维区域的医学数据集的患者信息，并且其中应用包括应用医学数据集和患者信息。

3.根据权利要求1所述的方法，其中应用包括利用包括边界在不同分辨率中的尺度和位置上的细化的机器学习策略来应用。

4.根据权利要求1所述的方法，其中应用包括利用多尺度深度强化机器学习模型来应用，该多尺度深度强化机器学习模型包括在空间中针对迭代细化中的每一个的该系列动作中的动作以及基于针对迭代细化中的每一个的动作的三维对象的位置的估计。

5.根据权利要求1所述的方法，其中应用包括确定三维对象在不同迭代细化中的不同形状。

6.根据权利要求1所述的方法，其中应用包括应用到以深度Q学习训练的多尺度深度强化机器学习模型。

7.根据权利要求6所述的方法，其中应用包括应用利用马尔可夫决策过程训练的多尺度深度强化机器学习模型，该马尔可夫决策过程包括医学数据集的紧凑系统状态和包括统计形状建模、前向传播建模或体素掩模建模的形状表示。

8.根据权利要求6所述的方法，其中应用包括应用利用马尔可夫决策过程训练的多尺度深度强化机器学习模型，该马尔可夫决策过程包括控制形状演进的动作空间。

9.根据权利要求6所述的方法，其中应用包括应用利用马尔可夫决策过程训练的多尺度深度强化机器学习模型，该马尔可夫决策过程包括针对三维对象的特征提取和机器学习策略的有效有限范围策略学习。

10.根据权利要求1所述的方法，其中应用包括利用迭代细化来应用，该迭代细化包括在为形状演进形成机器学习策略的智能代理和统计形状建模、前向传播建模或体素掩模建模之间的交互，所述智能代理将针对每个迭代的形状演进传递至统计形状建模、前向传播建模或体素掩模建模，以及统计形状建模、前向传播建模或体素掩模模型将当前形状描述符传递至针对每个迭代的智能代理。

11.根据权利要求1所述的方法，其中应用包括利用使用统计形状建模描述的边界和细化来应用，并且其中该形状演进包括统计形状建模的投射形状空间的一个或多个形状参数中的变化。

12.根据权利要求1所述的方法，其中应用包括利用使用前向传播建模描述的边界和细化来应用，并且其中该形状演进包括前向传播建模的超曲面中的颗粒的速度的变化。

13.根据权利要求1所述的方法，其中应用包括利用使用体素掩模建模描述的边界和细化来应用，并且其中该形状演进包括体素掩模建模的医学数据集的每体素的状态的变化。

14.根据权利要求1所述的方法，其中渲染图像包括利用突出显示的已分割边界从医学数据集进行渲染。

15.一种用于基于医学成像系统中的机器学习的多维分割的方法，该方法包括：

由医学扫描仪对患者进行扫描，所述医学扫描仪包括磁共振、计算机断层扫描、x射线或超声成像系统；

从存储器加载表示患者的三维区域的医学数据集，所述医学数据集来自由医学扫描仪的扫描，所述医学数据集包括磁共振、计算机断层扫描、x射线或超声数据；

由机器将医学数据集应用到多尺度深度强化机器学习模型，利用多尺度深度强化学习来训练该多尺度深度强化机器学习模型以从医学数据集分割多维对象的边界，该多尺度深度强化机器学习模型包括一种通过边界在医学数据集的不同分辨率下的尺度中和位置中的迭代细化的针对形状演进的一系列动作的机器学习策略，以自然演进策略来训练多尺度深度强化机器学习模型，以探索参数空间；以及

由图形处理器基于利用该策略确定的边界来在显示设备上生成多维对象的图像。

16.根据权利要求15所述的方法，其中应用包括利用针对形状演进的机器学习策略来应用，所述形状演进使用基于水平集、统计形状模型或体素掩模的形状描述符，其中细化分别具有速度中的变化、形状空间参数的变化或状态中的变化。

17.根据权利要求15所述的方法，其中应用包括利用通过在对应于不同分辨率的不同尺度中的迭代细化的形状演进来应用。

18.根据权利要求15所述的方法，其中应用包括利用通过迭代细化的形状演进来应用，该迭代细化具有由机器学习策略输出至形状描述符模型的控制和基于该控制由形状描述符模型输出至机器学习策略的形状描述符。

19.根据权利要求15所述的方法，其中应用包括利用针对如何分割的该系列动作而训练的多尺度深度强化机器学习模型来应用。

20.一种用于基于医学成像系统中的机器学习的三维分割的方法，该方法包括：

由医学扫描仪对患者进行扫描，所述医学扫描仪包括磁共振、计算机断层扫描、x射线或超声成像系统；

从存储器加载表示所述患者的三维区域的医学数据集，所述医学数据集来自由医学扫描仪的扫描，所述医学数据集包括磁共振、计算机断层扫描、x射线或超声数据；

由机器将医学数据集应用到多尺度深度强化机器学习模型，利用多尺度深度强化学习来训练该多尺度深度强化机器学习模型，以从医学数据集分割三维对象的边界，该多尺度深度强化机器学习模型包括一种通过对象的边界的迭代细化的针对形状演进的一系列动作的机器学习策略，包括医学数据集的不同分辨率中的动作，使用前向传播建模或体素掩模建模来描述该边界和细化，其中应用包括以下各项中的一项：

（a）利用使用前向传播建模描述的边界和细化来应用，并且其中该形状演进包括前向传播建模的超曲面中的颗粒的速度的变化，或者

（b）利用使用体素掩模建模描述的边界和细化来应用，并且其中该形状演进包括体素掩模建模的医学数据集的每体素的状态的变化；

由渲染器基于利用策略确定的边界来渲染三维对象的图像；并且

在显示设备上显示图像。