CN111727458B - 使用深度学习的基于图谱集的分割 - Google Patents

使用深度学习的基于图谱集的分割 Download PDF

Info

Publication number
CN111727458B
CN111727458B CN201980013586.6A CN201980013586A CN111727458B CN 111727458 B CN111727458 B CN 111727458B CN 201980013586 A CN201980013586 A CN 201980013586A CN 111727458 B CN111727458 B CN 111727458B
Authority
CN
China
Prior art keywords
atlas
image
subject image
learning model
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980013586.6A
Other languages
English (en)
Other versions
CN111727458A (zh
Inventor
韩骁
妮科莱特·帕特里夏·马格罗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Elekta Ltd
Original Assignee
Elekta Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Elekta Ltd filed Critical Elekta Ltd
Priority to CN202111210496.1A priority Critical patent/CN114037726A/zh
Publication of CN111727458A publication Critical patent/CN111727458A/zh
Application granted granted Critical
Publication of CN111727458B publication Critical patent/CN111727458B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20128—Atlas-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30081—Prostate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本文公开了用于通过深度学习的结合来增强图像分割的技术。使用深度学习的基于图谱集的分割的示例方法包括：将深度学习模型应用于受试者图像以识别解剖特征；将图谱集图像与受试者图像配准；使用深度学习分割数据以改进配准结果；生成映射图谱集；以及使用映射图谱集识别受试者图像中的特征。在使用深度学习的基于图谱集的分割过程中，用于训练和使用经训练的机器学习分类器的另一示例方法包括：将深度学习模型应用于图谱集图像；使用来自应用深度学习模型的数据来训练机器学习模型分类器；估计受试者图像的区域的结构标记；以及通过将所估计的结构标记与对受试者图像进行基于图谱集的分割而产生的标记进行组合来定义结构标记。

Description

使用深度学习的基于图谱集的分割
优先权要求
本申请要求于2018年2月14日提交的美国申请序列第15/896,895号的优先权的权益，该申请在此通过引用以其全部内容并于本文中。
技术领域
本公开内容的实施方式总体上涉及医学图像和人工智能处理技术。特别地，本公开内容涉及在图像分割和结构做标记工作流中使用深度学习模型。
背景技术
在放射疗法(radiotherapy)或放射外科(radiosurgery)中，通常基于患者的医学图像来执行治疗计划，并且治疗计划需要医学图像中的靶区和正常关键器官的描绘。因此，医学图像中的各种患者解剖结构的结构分割或勾画轮廓是放射疗法治疗计划的先决且重要的步骤；如果手动地被执行，则勾画轮廓和分割是最繁琐且耗时的步骤之一。
准确且自动的基于计算机的分割解剖结构或者勾画解剖结构的轮廓可以极大地帮助最佳治疗计划的设计和/或修改。然而，由于不同患者体内的靶区和关键器官的形状、尺寸、位置等的变形和变化性，准确且自动地分割医学图像目前仍然是具有挑战性的任务。基于图谱集(atlas)的自动分割(例如，如由瑞典斯德哥尔摩的Elekta AB生产的
Figure BDA0002633465600000011
软件中实现的)是一种已经被用来解决此任务的方法，因为基于图谱集的分割涉及将预先分割应用于具有已被识别和标记的感兴趣结构的图谱集数据集。
基于图谱集的自动分割——也被称为基于配准的自动分割——通过以下操作来进行图像分割：对受试者图像进行图谱集配准，随后进行标记融合或细化。基于图谱集的自动分割所产生的分割的准确度通常取决于所应用的特定图谱集配准方法，但是利用对由多个图谱集产生的分割进行组合的标记融合方法也提高基于图谱集的自动分割的准确度。另外，一些先前的方法已经尝试通过与基于机器学习的分割方法结合来提高基于图谱集的自动分割的准确度。例如，以专利号9,122,950公布的Xiao Han的题为“Method andapparatus for learning-enhanced atlas-based auto-segmentation”的申请人的在先专利申请涉及使用自动结构分类器来提高基于图谱集的分割的准确度的技术，使用机器学习算法训练该自动结构分类器。
较新的研究建议使用深度学习方法来执行分割并且从医学图像识别各种状态。基于深度卷积神经网络(CNN)的深度学习为医学图像分割问题带来了另一种强大的方法。与现有的基于图谱集的自动分割技术相比，深度学习能够使用大得多的训练数据集来训练和操作结构分割模型。然而，深度学习有一些明显的缺点，这些缺点妨碍它的广泛使用。深度学习模型的训练通常非常缓慢——甚至花费许多天的时间——并且通常是离线进行的。然而，一旦训练出深度学习模型，就将该模型应用于新图像可能是非常快的，通常为数分钟或者甚至数秒。另外，如果使用大量训练数据例如具有真实分割的数百或数千个图像对模型进行训练，则深度学习模型通常会更好地工作。尽管这样的训练数据的可获得性可能受到限制，但深度学习模型容易容纳和响应于大量训练数据的能力是深度学习方法的关键优势。因此，现在出现了讨论使用深度学习CNN执行图像分割操作的各种方法。
还存在其他阻止将深度学习部署为执行图像分割的主要方法的实际限制。首先，针对特定分割特征构建准确且有用的深度学习模型通常需要的大训练数据集不容易累积或管理。其次，不同的医疗设备可以在分割时使用不同的成像协议和/或不同的勾画轮廓协议；因此，使用来自一个设备的数据和手动描绘训练的模型可能不适用于来自不同设备的数据，并且可能导致分割结果出现偏差。第三，训练深度学习模型通常需要深度的专业技术，因此单个医疗用户可能难以对私有数据集上的模型进行重新训练或者使深度学习模型适应具体需求。例如，与预训练模型中可用的结构相比，用户可能需要在图像中分割更多的结构。因此，尽管深度学习提供了对于在医学成像中识别解剖特征似乎很有前景的各种技术，但是它尚未在许多真实环境中成功地被采用。
发明内容
本公开内容包括以下过程，所述过程将深度学习模型和方法结合到基于图谱集的分割操作的工作流中，以实现改进的自动分割准确度和解剖结构和特征的识别。本公开内容包括与如下分割和深度学习操作的使用有关的多个说明性示例，所述分割和深度学习操作的使用与包括基于图谱集的自动分割的放射疗法治疗工作流相关；然而，明显的是，深度学习模型的使用和分割改进可以被合并到用于各种诊断、评估和解释性设置的其他医学成像工作流中。
在示例中，用于使用深度学习执行基于图谱集的分割的方法的实现包括如下操作，所述操作包括：将深度学习模型应用于受试者图像，深度学习模型被训练成生成识别受试者图像中的解剖特征的深度学习分割数据；将图谱集图像与受试者图像配准，所述图谱集图像与识别所述图谱集图像中的解剖特征的标注数据相关联，使得所述配准使用深度学习分割数据以改进图谱集图像与受试者图像之间的配准结果；通过将图谱集图像与受试者图像配准来生成映射图谱集；以及使用映射图谱集来识别受试者图像中的解剖特征。
使用深度学习执行基于图谱集的分割的其他示例可以包括：通过应用深度学习分割数据以基于在受试者图像中识别的解剖特征来确定初始配准估计或约束，来执行配准以改进图谱集图像与受试者图像之间的配准结果；通过对来自多个映射图谱集的结果进行组合，将多个图谱集图像与受试者图像配准以识别受试者图像中的解剖特征的各个位置和边界；基于所述多个映射图谱集来执行受试者图像中的所述多个解剖特征的结构做标记，并且基于所述多个解剖特征的结构做标记来生成受试者图像的结构标记图；以及将深度学习模型应用于图谱集图像，以生成识别图谱集图像中的解剖特征的其他深度学习分割数据，并且改进图谱集图像与受试者图像之间的解剖特征的配准结果。此外，在其他示例中，可以基于多个医学图像来训练深度学习模型，所述多个医学图像对分割标记图中的解剖特征的各个体素进行分类，其中所述多个医学图像被用于训练包括来自各个医疗设备的图像的深度学习模型，并且所述各个医疗设备利用成像和勾画轮廓协议的变化来识别所述多个医学图像中的解剖特征。
此外，在示例中，在使用深度学习的基于图谱集的分割过程中使用的用于定义和操作机器学习分类器做标记的方法的实现包括如下操作，所述操作包括：将深度学习模型应用于图谱集图像，所述深度学习模型适于通过分析图谱集图像中的多个解剖结构来生成数据；使用通过应用深度学习模型生成的数据来训练机器学习模型分类器，使得机器学习模型分类器被训练成对图谱集图像中的解剖结构进行分类；将经训练的机器学习模型分类器应用于受试者图像，以产生受试者图像的各个区域的分类；基于受试者图像的各个区域的分类来估计受试者图像的各个区域的结构标记；以及通过将所估计的结构标记与通过对受试者图像进行基于图谱集的分割而产生的结构标记进行组合来定义受试者图像的各个区域的结构标记。
机器学习分类器训练和操作的其他示例可以包括：所使用的通过应用深度学习模型生成的数据包括通过对卷积神经网络的中间卷积层中的输入图像进行分析而产生的特征图；将多个图谱集图像与受试者图像配准，基于将所述多个图谱集图像与受试者图像配准在受试者图像上生成多个映射图谱集，并且从所述多个映射图谱集产生受试者图像的结构标记；对从所述多个映射图谱集指示的多个标记执行标记细化和标记融合；通过使用将深度学习模型应用于多个图谱集图像而产生的分割结果来训练机器学习模型分类器；通过使用将深度学习模型应用于所述多个图谱集图像而产生的分割特征数据来训练机器学习模型分类器；以及从受试者图像的各个区域的结构标记生成受试者图像的标记图，使得标记图识别受试者图像的各个分割。
本文中描述的示例可以在各种各样的实施方式中实现。例如，一个实施方式包括一种计算装置，所述计算装置包括处理硬件(例如，处理器或其他处理电路系统)和存储器硬件(例如，存储装置或易失性存储器)，所述存储器硬件包括在其上实施的指令，使得所述指令在由处理硬件执行时使计算装置实现、执行或协调用于这些技术和系统配置的电子操作。本文讨论的另一实施方式包括一种例如可以由机器可读介质或其他存储装置实施的计算机程序产品，所述计算机程序产品提供用于实现、执行或协调用于这些技术和系统配置的电子操作的指令。本文讨论的另一实施方式包括一种方法，所述方法能够在计算装置的处理硬件上操作以实现、执行或协调用于这些技术和系统配置的电子操作。
在其他实施方式中，可以在分布式或集中式计算系统(包括关于诸如台式计算机或笔记本个人计算机的计算系统、诸如平板计算机、上网本和智能电话的移动装置、客户端终端和服务器托管的机器实例等的任何数量的形状因素)中提供实现上述电子操作的各方面的逻辑、命令或指令。本文讨论的另一实施方式包括将本文中讨论的技术合并到其他形式中，包括其他形式的编程逻辑、硬件配置或者专用的部件或模块，包括具有执行这样的技术的功能的各个装置的设备。用于实现这样的技术的功能的各个算法可以包括上述电子操作的一些或全部的序列或者在附图和以下具体实施方式中所描绘的其他方面。
以上概述旨在提供本专利申请的主题的概述。并不旨在提供本发明的排他性或详尽的说明。具体实施方式被包括以提供关于本专利申请的更多信息。
附图说明
在不一定按比例绘制的附图中，相同的附图标记在全部几幅图中描述基本上相似的部件。具有不同字母后缀的相同附图标记表示基本上相似的部件的不同实例。附图通过示例的方式而非通过限制的方式大体上示出了本文献中讨论的各种实施方式。
图1示出了适于执行图像分割处理的示例性放射疗法系统。
图2示出了示例性的图像引导放射疗法装置。
图3示出了用于深度学习模型的操作的示例性流程图。
图4示出了用于图像分割的示例性卷积神经网络模型。
图5示出了图谱集配准过程中适于与深度学习分割数据一起使用的示例性数据流。
图6示出了用于执行深度学习辅助的基于图谱集的分割的示例性操作的流程图。
图7示出了机器学习模型训练过程中适于与深度学习分割特征数据一起使用的示例性数据流。
图8示出了机器学习模型分类过程中适于与深度学习分割特征数据一起使用的示例性数据流。
图9示出了用于使用机器学习分类器来执行深度学习辅助的基于图谱集的分割的示例性操作的流程图。
具体实施方式
在下面的详细描述中，参考形成其一部分并且通过特定于图示的实施方式示出的附图，在特定于图示的实施方式中可以实践本发明。这些实施方式——在本文中也被称为“示例”——被足够详细地描述以使得本领域技术人员能够实践本发明，应当理解，这些实施方式可以被组合或者其他实施方式可以被利用，并且在不脱离本发明的范围的情况下，可以进行结构、逻辑和电气改变。因此，以下详细描述不是限制性的，并且本发明的范围由所附权利要求及其等同物限定。
本公开内容包括改进图像分割过程的操作的各种技术，包括以与手动(例如，人类辅助或人类引导)和常规的基于图谱集或基于人工智能的方法相比提供技术优势的方式进行图像分割。这些技术优势包括：减少了生成输出的处理时间，提高了图像分析和可视化操作的效率，并且伴随进行图像分割工作流活动的处理、存储器和网络资源的改善。这些改善的图像分割工作流活动可以适用于用于基于成像的医学治疗和诊断动作的各种医学成像处理活动以及管理数据以支持这样的治疗和诊断动作的附带信息系统和人工智能环境。
如本文中进一步讨论的，深度学习模型的以下使用和部署使得能够改善通过在基于图谱集的分割工作流中将图谱集图像与受试者图像配准而产生的配准结果的准确度和有用性。深度学习分割数据提供了除原始图谱集和受试者图像数据之外的其他信息，以改善在图谱集配准中一个或更多个解剖特征的映射。仅基于图像(强度)数据的图像配准是一个难题，并且由于图像数据中的含糊和噪声而具有许多局部次优解决方案。深度学习模型产生的分割结果提供了额外的信息和约束，以帮助将分割工作流引导至在配准计算和特征识别这两方面改进的解决方案。
图1示出了适于执行图像分割处理的示例性放射疗法系统。执行该图像分割处理以使得放射疗法系统能够基于捕获的医学成像数据的特定方面向患者提供放射疗法。放射疗法系统包括托管分割处理逻辑120的图像处理计算系统110。图像处理计算系统110可以连接至网络(未示出)，并且这样的网络可以连接至因特网。例如，网络可以将图像处理计算系统110与一个或更多个医疗信息源(例如，放射信息系统(RIS)、医疗记录系统(例如，电子医疗记录(EMR)/电子健康记录(EHR)系统)、肿瘤学信息系统(OIS))、一个或更多个图像数据源150、图像获取装置170和治疗装置180(例如，放射疗法装置)连接起来。作为示例，图像处理计算系统110可以被配置成：通过执行来自分割处理逻辑120的指令或数据来执行作为生成和定制要由治疗装置180使用的放射疗法治疗计划的操作的一部分的图像分割操作。
图像处理计算系统110可以包括处理电路系统112、存储器114、存储装置116以及诸如用户接口140、通信接口等其他硬件和软件可操作的特征。存储装置116可以存储诸如操作系统、放射疗法治疗计划(例如，原始治疗计划、经修改的治疗计划等)、软件程序(例如，放射疗法治疗计划软件；诸如深度学习模型、机器学习模型和神经网络等的人工智能实现)的计算机可执行指令以及要由处理电路系统112执行的任何其他计算机可执行指令。
在示例中，处理电路系统112可以包括处理装置，例如诸如微处理器、中央处理单元(CPU)、图形处理单元(GPU)、加速处理单元(APU)等的一个或更多个通用处理装置。更特别地，处理电路系统112可以是复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、实现其他指令集的处理器或实现指令集的组合的处理器。处理电路系统112也可以由诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、片上系统(SoC)等的一个或更多个专用处理装置来实现。如本领域技术人员将理解的，在一些示例中，处理电路系统112可以是专用处理器而不是通用处理器。处理电路系统112可以包括一个或更多个已知的处理装置，例如来自由IntelTM制造的PentiumTM、CoreTM、XeonTM或
Figure BDA0002633465600000071
系列的微处理器以及来自由AMDTM制造的TurionTM、AthlonTM、SempronTM、OpteronTM、FXTM、PhenomTM系列的微处理器或者由Sun Microsystems制造的各种处理器中的任何处理器。处理电路系统112也可以包括诸如来自由NvidiaTM制造的
Figure BDA0002633465600000072
系列以及由IntelTM制造的GMA、IrisTM系列或由AMDTM制造的RadeonTM系列的GPU的图形处理单元。处理电路系统112还可以包括诸如由IntelTM制造的Xeon PhiTM系列的加速处理单元。所公开的实施方式不限于以其他方式被配置成满足识别、分析、维护、生成和/或提供大量数据或操纵这种数据以执行本文中公开的方法的计算需求的任何类型的处理器。另外，术语“处理器”可以包括多于一个处理器，例如多核设计或每个都具有多核设计的多个处理器。处理电路系统112可以执行存储在存储器114中并且从存储装置116访问的计算机程序指令的序列，以执行将在下面更详细地说明的各种操作、过程、方法。
存储器114可以包括只读存储器(ROM)、相变随机存取存储器(PRAM)、静态随机存取存储器(SRAM)、闪存、随机存取存储器(RAM)、动态随机存取存储器(DRAM)例如同步DRAM(SDRAM)、电可擦除可编程只读存储器(EEPROM)、静态存储器(例如，闪存、闪存盘、静态随机存取存储器)以及其他类型的随机存取存储器、高速缓冲存储器、寄存器、光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光存储装置、盒式磁带、其他磁存储装置或者可以被用来存储包括能够由处理电路系统112或任何其他类型的计算机装置访问的图像、数据或计算机可执行指令(例如，以任何格式存储)的信息的任何其他非暂态介质。例如，计算机程序指令可以由处理电路系统112访问，可以从ROM或任何其他合适的存储器位置被读取，并且可以被加载到RAM中以由处理电路系统112执行。
存储装置116可以构成包括计算机可读介质的驱动单元，在该计算机可读介质上存储有由本文中描述的方法或功能中的任何一个或更多个实施或利用的一个或更多个指令集和数据结构(例如，软件)(在各种示例中，包括分割处理逻辑120和用户接口140)。在图像处理计算系统110执行指令期间，指令还可以全部或至少部分地驻留在存储器114内和/或处理电路系统112内，其中存储器114和处理电路系统112也构成机器可读介质。
存储器装置114和存储装置116可以构成非暂态计算机可读介质。例如，存储器装置114和存储装置116可以在计算机可读介质上存储或加载用于一个或更多个软件应用的指令。利用存储器装置114和存储器装置116存储或加载的软件应用可以包括例如用于通用计算机系统以及用于软件控制的装置的操作系统。图像处理计算系统110还可以操作包括用于实现分割处理逻辑120和用户接口140的软件代码的各种软件程序。此外，存储器装置114和存储装置116可以存储或加载能够由处理电路系统112执行的整个软件应用、软件应用的一部分或者与软件应用相关联的代码或数据。在另一示例中，存储器装置114和存储装置116可以存储、加载和操纵一个或更多个放射疗法治疗计划、成像数据、分割数据、人工智能模型数据、标记和映射数据等。可以预期，软件程序不仅可以被存储在存储装置116和存储器114上，而且可以被存储在诸如硬盘驱动器、计算机磁盘、CD-ROM、DVD、HD、蓝光DVD、USB闪存驱动器、SD卡、记忆棒的可移除计算机介质上或任何其他合适的介质上；也可以通过网络传送或接收这样的软件程序。
尽管未图示，但是图像处理计算系统110可以包括通信接口、网络接口卡和通信电路系统。示例通信接口可以包括例如网络适配器、电缆连接器、串行连接器、USB连接器、并行连接器、高速数据传输适配器(例如，光纤、USB 3.0、雷电接口(thunderbolt)等)、无线网络适配器(例如，IEEE 802.11/Wi-Fi适配器)、电信适配器(例如，与3G、4G/LTE和5G网络等进行通信)等。这样的通信接口可以包括一个或更多个数字和/或模拟通信装置，所述一个或更多个数字和/或模拟通信装置允许机器经由网络与其他机器和装置例如位于远处的部件进行通信。网络可以提供局域网(LAN)、无线网络、云计算环境(例如，软件即服务、平台即服务、基础设施即服务等)、客户端-服务器、广域网(WAN)等的功能。例如，网络可以是可以包括其他系统(包括与医学成像或放射疗法操作相关联的附加图像处理计算系统或基于图像的部件)的LAN或WAN。
在示例中，图像处理计算系统110可以从图像数据源150获得图像数据160，以托管在存储装置116和存储器114上。在示例中，在图像处理计算系统110上运行的软件程序可以例如通过产生诸如伪CT图像的合成图像来将一种格式(例如，MRI)的医学图像转换成另一种格式(例如，CT)。在另一示例中，软件程序可以将患者医学图像(例如，CT图像或MR图像)与该患者的放射疗法治疗的剂量分布(例如，也被表示为图像)配准或相关联，从而使得相应的图像体素和剂量体素适当地相关联。在又一示例中，软件程序可以代替患者图像的功能，例如强调图像信息的一些方面的图像的有符号距离功能或经处理的版本。这样的功能可能强调体素纹理的边缘或差异或者其他结构方面。在另一示例中，软件程序可以可视化、隐藏、强调或不强调医学图像内的解剖特征、分割的特征或者剂量或治疗信息的某些方面。存储装置116和存储器114可以存储和托管用于完成这些目的的数据，包括图像数据160、患者数据以及创建和实现放射疗法治疗计划和相关联的分割操作所需的其他数据。
处理电路系统112可以通信地耦接至存储器114和存储装置116，并且处理电路系统112可以被配置成执行从存储器114或存储装置116存储在其上的计算机可执行指令。处理电路系统112可以执行指令以使得来自图像数据160的医学图像在存储器114中被接收或被获取并且使用分割处理逻辑120被处理。例如，图像处理计算系统110可以经由通信接口和网络从图像获取装置170或图像数据源150接收图像数据160以被存储或缓存在存储装置116中。处理电路系统112还可以经由通信接口将存储在存储器114或存储装置116中的医学图像发送或更新到另一数据库或数据存储(例如，医疗设备数据库)。在一些示例中，一个或更多个系统可以形成分布式计算/模拟环境，该分布式计算/模拟环境使用网络来协作地执行本文中描述的实施方式。另外，这样的网络可以连接至因特网，以与远程驻留在因特网上的服务器和客户端进行通信。
在另外的示例中，处理电路系统112可以利用软件程序(例如，治疗计划软件)以及图像数据160和其他患者数据来创建放射疗法治疗计划。在示例中，图像数据160可以包括图谱集信息或其他信息，例如与患者解剖区域、器官或感兴趣的体积分割数据相关联的数据。患者数据可以包括诸如以下信息：(1)功能器官建模数据(例如，串行器官与并行器官(serial versus parallel organs)、适当的剂量响应模型等)；(2)辐射剂量数据(例如，剂量-体积直方图(DVH)信息)；或(3)关于患者和治疗过程的其他临床信息(例如，其他手术、化学疗法、先前的放射疗法等)。在另一示例中，图谱集数据提供解剖特征的分割或做标记，所述分割或做标记特定于患者、患者集合、治疗的过程或类型、过程或治疗的集合、图像获取装置、医疗设施等。
另外，处理电路系统112可以利用软件程序来生成中间数据，例如要由神经网络模型、机器学习模型、图谱集分割工作流或与图像数据160的分割有关的其他方面使用的更新的参数。此外，使用本文中进一步讨论的技术，这样的软件程序可以利用分割处理逻辑120来实现分割工作流130。于是，处理电路系统112随后可以经由通信接口和网络将可执行的放射疗法治疗计划发送至治疗装置180，在该治疗装置180中，放射疗法计划将被用于经由治疗装置利用辐射对患者进行治疗，这与分割工作流的结果一致。可以使用图像处理计算系统110来发生软件程序和分割工作流130的其他输出和使用。
如本文中所讨论的(例如，参考参照图3和图4讨论的深度学习处理以及参照图5至图9讨论的分割处理)，处理电路系统112可以执行调用分割处理逻辑120的软件程序，以实现包括图像分割、机器学习、深度学习、神经网络以及自动处理和人工智能的其他方面的功能。例如，处理电路系统112可以执行训练、勾画轮廓、标记或分析医学图像的特征的软件程序；这样的软件在被执行时可以训练边界检测器或者利用形状字典。
在示例中，图像数据160可以包括一个或更多个MRI图像(例如，2D MRI、3D MRI、2D流式MRI、4D MRI、4D体积MRI、4D影像MRI等)、功能MRI图像(例如，fMRI、DCE-MRI、扩散MRI)、计算机断层扫描(CT)图像(例如，2D CT、锥形束CT、3D CT、4D CT)、超声图像(例如，2D超声、3D超声、4D超声)、正电子发射断层扫描(PET)图像、X射线图像、荧光镜图像、放射疗法射野图像(radiotherapy portal image)、单光子发射计算机断层扫描(SPECT)图像、计算机生成的合成图像(例如，伪CT图像)等。此外，图像数据160还可以包括医学图像处理数据例如训练图像、真实图像(ground truth image)、轮廓图像和剂量图像或者与医学图像处理数据例如训练图像、真实图像、轮廓图像和剂量图像相关联。在示例中，可以从图像获取装置170接收图像数据160，并且将该图像数据160存储在图像数据源150(例如，图片存档和通信系统(PACS)、厂商中立归档(VNA)、医疗记录或信息系统、数据仓库等)中的一个或更多个中。因此，图像获取装置170可以包括MRI成像装置、CT成像装置、PET成像装置、超声成像装置、荧光镜装置、SPECT成像装置、集成的线性加速器和MRI成像装置或者用于获取患者的医学图像的其他医疗成像装置。图像数据160可以以图像获取装置170和图像处理计算系统110可以用来执行与公开的实施方式一致的操作的任何类型的数据或任何类型的格式(例如，以医学数字成像和通信(DICOM)格式)被接收和被存储。
在示例中，图像获取装置170可以与治疗装置180集成为单个设备(例如，与线性加速器结合的MRI装置，也被称为“MRI-Linac”)。这样的MRI-Linac可以被用来例如确定患者体内的靶器官或靶肿瘤的位置，从而根据放射疗法治疗计划将放射疗法准确地引导至预定靶。例如，放射疗法治疗计划可以提供关于要施加至每个患者的特定辐射剂量的信息。放射疗法治疗计划还可以包括其他放射疗法信息，例如束角度、剂量-体积直方图信息、在治疗期间要使用的辐射束的数量、每束的剂量等。
图像处理计算系统110可以通过网络与外部数据库进行通信，以发送/接收与图像处理和放射疗法操作有关的多个各种类型的数据。例如，外部数据库可以包括机器数据，该机器数据是与治疗装置180、图像获取装置170或者与放射疗法或医疗过程有关的其他机器相关联的信息。机器数据信息可以包括辐射束大小、弧放置、束开启和关闭持续时间、机器参数、段、多叶准直器(MLC)配置、机架速度、MRI脉冲序列等。外部数据库可以是存储装置并且可以配备有适当的数据库管理软件程序。此外，这样的数据库或数据源可以包括以中央式或分布式方式定位的多个装置或系统。
图像处理计算系统110可以使用一个或更多个通信接口经由网络收集和获取数据并且与其他系统进行通信，所述一个或更多个通信接口可以通信地耦接至处理电路系统112和存储器114。例如，通信接口可以提供图像处理计算系统110与放射疗法系统部件之间的通信连接(例如，允许与外部装置交换数据)。例如，在一些示例中，通信接口可以具有适当的与输出装置142或输入装置144的接口电路系统以连接至用户接口140，用户接口140可以是用户可以通过其将信息输入至放射疗法系统中的硬件键盘、小键盘或触摸屏。
作为示例，输出装置142可以包括显示装置，该显示装置输出用户接口140的表示以及医学图像的一个或更多个方面、可视化或表示。输出装置142可以包括一个或更多个显示屏，所述一个或更多个显示屏显示医学图像、界面信息、治疗计划参数(例如，轮廓、剂量、束角度、标记、映射等)治疗计划、靶、对靶进行定位和/或对靶进行跟踪或者任何与用户相关的信息。连接至用户接口140的输入装置144可以是键盘、小键盘、触摸屏或者用户可以向放射疗法系统输入信息的任何类型的装置。可替选地，输出装置142、输入装置144以及用户接口140的特征可以被集成到诸如智能电话或平板计算机(例如，Apple
Figure BDA0002633465600000121
Lenovo
Figure BDA0002633465600000122
Samsung
Figure BDA0002633465600000123
等)的单个装置中。
此外，放射疗法系统的任何部件和所有部件都可以被实现为虚拟机(例如，经由VMWare、Hyper-V等虚拟化平台)。例如，虚拟机可以是充当硬件的软件。因此，虚拟机可以包括一起充当硬件的至少一个或更多个虚拟处理器、一个或更多个虚拟存储器以及一个或更多个虚拟通信接口。例如，图像处理计算系统110、图像数据源150或类似部件可以被实现为虚拟机或被实现在基于云的虚拟化环境内。
分割处理逻辑120或其他软件程序可以使计算系统与图像数据源150进行通信，以将图像读取到存储器114和存储装置116中，或者将图像或相关联的数据从存储器114或存储装置116存储到图像数据源150以及将图像或相关联的数据从图像数据源150存储到存储器114或存储装置116。例如，图像数据源150可以被配置成：存储和提供图像数据源150托管的、来自经由图像获取装置170从一个或更多个患者获得的图像数据160中的图像集的多个图像(例如，3D MRI、4D MRI、2D MRI切片图像、CT图像，2D荧光透视图像、X射线图像、来自MR扫描或CT扫描的原始数据、医学数字成像和通信(DICOM)元数据等)。图像数据源150或其他数据库也可以存储当执行进行分割操作的软件程序时或者当创建放射疗法治疗计划时要由分割处理逻辑120使用的数据。此外，各种数据库可以存储由经训练的深度学习神经网络、图像图谱集或机器学习模型产生的数据，包括构成通过网络学习的模型的网络参数和所得到的预测数据。与执行作为治疗或诊断操作的一部分的图像分割有关，图像处理计算系统110因此可以从图像数据源150、图像获取装置170、治疗装置180(例如，MRI-Linac)或其他信息系统获取和/或接收图像数据160(例如，2D MRI切片图像、CT图像、2D荧光透视图像、X射线图像、3DMRI图像、4D MRI图像等)。
图像获取装置170可以被配置成：针对感兴趣的区域(例如，靶器官、靶肿瘤或这二者)获取患者解剖结构的一个或更多个图像。每个图像——通常是2D图像或切片——可以包括一个或更多个参数(例如，2D切片厚度、取向和位置等)。在示例中，图像获取装置170可以获取任何取向的2D切片。例如，2D切片的取向可以包括矢状取向、冠状取向或轴向取向。处理电路系统112可以调整一个或更多个参数例如2D切片的厚度和/或取向，以包括靶器官和/或靶肿瘤。在示例中，可以根据诸如3D MRI体积的信息来确定2D切片。在患者正在接受放射疗法治疗时，例如当使用治疗装置180时，可以由图像获取装置170“接近实时”获取这样的2D切片(其中，“接近实时”意味着至少以数毫秒或更短的时间来获取数据)。
图像处理计算系统110中的分割处理逻辑120被描绘为实现具有分割和图像处理操作的各个方面的分割工作流130。在示例中，由分割处理逻辑120操作的分割工作流130与深度学习分割功能132(例如，如图3和图4所示，通过使用深度学习模型来执行分割处理)、图谱集配准134(例如，如图5和6所示，执行通过深度学习操作增强的基于图谱集的自动分割)、机器学习做标记136(例如，如图7至图9所示，执行通过深度学习操作增强的用于分割的机器学习操作)以及标记融合和细化138(例如，如图5至图9所示，执行通过深度学习操作增强的做标记输出)的使用结合。未专门描绘的其他分割和图像处理功能可以被结合到分割工作流130中。
在诸如治疗计划软件(例如，由瑞典斯德哥尔摩的Elekta AB制造的
Figure BDA0002633465600000131
)的软件程序的使用中，分割处理逻辑120和分割工作流130可以在生成放射疗法治疗计划时被使用。为了生成放射疗法治疗计划，图像处理计算系统110可以与图像获取装置170(例如，CT装置、MRI装置、PET装置、X射线装置、超声装置等)进行通信，以捕获和访问患者的图像并描绘靶(例如，肿瘤)。在一些示例中，可能需要描绘一个或更多个危及器官(OAR)，例如肿瘤周围或紧邻肿瘤的健康组织。因此，当OAR接近靶肿瘤时，可以进行OAR的分割。另外，如果靶肿瘤靠近OAR(例如，紧邻膀胱和直肠的前列腺)，则通过将OAR与肿瘤分割，放射疗法系统不仅可以研究靶中的剂量分布，还可以研究OAR中的剂量分布。
为了从OAR描绘靶器官或靶肿瘤，可以通过图像获取装置170非侵入性地获取正在接受放射疗法的患者的医学图像(例如，MRI图像、CT图像、PET图像、fMRI图像、X射线图像、超声图像、放射疗法射野图像、SPECT图像等)，以展现身体部位的内部结构。基于来自医学图像的信息，可以获得相关解剖部分的3D结构。另外，在治疗计划过程期间，可以考虑许多参数以在靶肿瘤的有效治疗(例如，使得靶肿瘤接收足够的辐射剂量以用于有效治疗)与OAR的低辐照(例如，OAR接收尽可能低的辐射剂量)之间取得平衡。可以考虑的其他参数包括：靶器官和靶肿瘤的位置、OAR的位置以及靶相对于OAR的移动。例如，可以通过在MRI图像或CT图像的每个2D层或切片内勾画靶的轮廓或勾画OAR的轮廓并对每个2D层或切片的轮廓进行组合来获得3D结构。可以(例如，由医师、剂量师或医护人员使用程序(例如，由瑞典斯德哥尔摩的Elekta AB制造的MONACOTM))手动地生成或者(例如，使用诸如由瑞典斯德哥尔摩的Elekta AB制造的基于图谱集的自动分割软件
Figure BDA0002633465600000141
的程序)自动地生成轮廓。在某些示例中，可以由治疗计划软件使用分割处理逻辑120自动地生成靶肿瘤或OAR的2D或3D结构。
在已经定位并描绘了靶肿瘤和OAR之后，剂量师、医师或医护人员可以确定要施加至靶肿瘤的辐射的剂量以及可以被邻近肿瘤的OAR(例如，左右腮腺、视神经、眼睛、晶状体、内耳、脊髓、脑干等)接收的任意最大量的剂量。在为每个解剖结构(例如，靶肿瘤、OAR)确定了辐射剂量之后，可以执行被称为逆向计划的过程以确定将实现期望的辐射剂量分布的一个或更多个治疗计划参数。治疗计划参数的示例包括：体积描绘参数(例如，其限定靶体积、轮廓敏感结构等)、靶肿瘤和OAR周围的边缘、束角度选择、准直器设置和束开启次数。在逆向计划过程期间，医师可以限定设定OAR可以接收多少辐射的限度的剂量约束参数(例如，对肿瘤靶，限定全剂量，对任何OAR，限定零剂量；对靶肿瘤，限定95％的剂量；限定脊髓、脑干和视神经结构分别接收≤45Gy、≤55Gy和<54Gy)。逆向计划的结果可以构成可以被存储的放射疗法治疗计划。这些治疗参数中的一些可能是相互关联的。例如，调整一个参数(例如，针对不同目标的权重，例如增加至靶肿瘤的剂量)以试图改变治疗计划可能影响至少一个其他参数，这进而可以导致不同的治疗计划的开发。因此，图像处理计算系统110可以生成具有这些参数的定制的放射疗法治疗计划，以便治疗装置180向患者提供适当的放射疗法治疗。
图2示出了示例性的图像引导的放射疗法装置202，该装置202包括：诸如X射线源或线性加速器的辐射源、床216、成像检测器214和放射疗法输出部204。放射疗法装置202可以被配置成：发射放射束208以向患者提供疗法。放射疗法输出部204可以包括一个或更多个衰减器或准直器，例如多叶准直器(MLC)。
作为示例，患者可以被放置在由治疗床216支承的区域212中，以根据放射疗法治疗计划(例如，由图1的放射疗法系统生成的治疗计划)接收放射疗法剂量。放射疗法输出部204可以被安装或附接至台架206或其他机械支承件。当床216被插入到治疗区域中时，一个或更多个底盘马达(chassis motor)(未示出)可以使台架206和放射疗法输出部204绕床216旋转。在示例中，当床216被插入到治疗区域中时，台架206可以围绕床216连续地旋转。在另一个示例中，当床216被插入到治疗区域中时，台架206可以旋转到预定位置。例如，台架206可以被配置成使疗法输出部204绕轴线(“A”)旋转。床216和放射疗法输出部204二者均可以独立地移动至患者周围的其他位置，例如，可沿横向方向(“T”)移动、可沿侧向方向(“L”)移动或者绕一个或更多个其他轴旋转例如绕横向轴(被表示为“R”)旋转。通信地连接至一个或更多个致动器(未示出)的控制器可以控制床216的移动或旋转，以便根据放射疗法治疗计划将患者适当地放置在辐射束208之中或之外。由于床216和台架206二者都可以以多个自由度彼此独立地移动，这允许患者被放置成使得辐射束208可以精确地瞄准肿瘤。
图2中所示的坐标系(包括轴A、T和L)可以具有位于等中心210处的原点。等中心可以被定义为如下位置，在所述位置处，放射疗法束208的中心轴与坐标轴的原点相交例如以将规定的辐射剂量递送至患者上或患者体内的位置。可替选地，等中心210可以被定义为如下位置，在所述位置处，对于如由台架206定位的放射疗法输出部204围绕轴A的各种旋转位置，放射疗法束208的中心轴与患者相交。
台架206还可以具有附接的成像检测器214。成像检测器214优选地位于与放射源(输出部204)相对的位置，并且在示例中，成像检测器214可以位于疗法束208的场内。
成像检测器214可以优选地与放射疗法输出部204相对地安装在台架206上，例如以保持与疗法束208对准。随着台架206旋转，成像检测器214绕旋转轴旋转。在示例中，成像检测器214可以是平板检测器(例如，直接检测器或闪烁体检测器)。以这种方式，成像检测器214可以被用来监测疗法束208，或者成像检测器214可以用于对患者的解剖结构进行成像，例如射野成像。放射疗法装置202的控制电路系统可以集成在放射疗法系统内或者远离放射疗法系统。
在说明性示例中，可以自动地放置床216、疗法输出部204或台架206中的一个或更多个，并且疗法输出部204可以根据用于特定疗法递送实例的指定剂量来建立疗法束208。可以根据放射疗法治疗计划——例如，使用台架206、床216或疗法输出部204的一个或更多个不同的取向或位置——来指定疗法递送的序列。疗法递送可以顺序地发生，但是可以在患者上或在患者体内的期望的疗法位点中例如在等中心210处交叉。由此，可以将放射疗法的规定累积剂量递送至疗法位点，同时可以减少或避免对疗法位点附近的组织的损害。
因此，图2具体地示出了放射疗法装置202的示例，该放射疗法装置202可操作成向患者提供放射疗法治疗，该放射疗法装置202具有放射疗法输出部可以围绕中心轴(例如，轴“A”)旋转的配置。可以使用其他放射疗法输出部配置。例如，放射疗法输出部可以被安装至具有多个自由度的机械臂或操纵器。在又一示例中，疗法输出部可以被固定，例如被定位在与患者侧向分开的区域中，并且可以使用支承患者的平台来使放射疗法等中心与患者体内的指定靶位点对准。在另一示例中，放射疗法装置可以是线性加速器和图像获取装置的组合。如本领域普通技术人员将认识到的，在一些示例中，图像获取装置可以是MRI、X射线、CT、CBCT、螺旋CT、PET、SPECT、光学层析成像、荧光成像、超声成像或放射疗法射野成像装置等。
图3示出了用于深度学习操作的示例性流程图，其中诸如深度卷积神经网络(CNN)的深度学习模型可以被训练并且被用于执行分割操作。例如，图3的深度学习模型可以包括作为图1的放射疗法系统中的分割处理逻辑120的一部分而提供的深度学习分割功能132。
在示例中，用于深度学习操作的输入部304可以包括定义的深度学习模型，该定义的深度学习模型接收或获取值和训练数据的初始集合。训练数据可以包括例如具有分割特征的真实分割标记、轮廓和其他标识的数百或数千个图像。深度学习模型可以被构造成包括人工神经网络，例如下面参照图4讨论的深度CNN模型。深度学习网络可以作为在线或离线训练方法的一部分被训练，深度学习网络也可以被集成到特定的分割和放射疗法用例中(并且根据用例随着操作参数或附加的训练数据被调整或重新训练)。例如，当对一系列图像进行训练时，可以使用深度学习网络来产生以新的受试者图像的分类、概率或其他预测结果的形式的指示。
在深度学习模型的训练308期间，可以从现有图像数据集中选择或提供一批训练数据。所选择的训练数据可以包括患者图像集和识别患者图像中的解剖结构、特征或特性的相应真实分割标记。可以将深度学习模型中的各种算法应用于选定的训练数据，然后将其与预期结果(例如，与分割标记对应的真实分割值)进行比较，以计算可以提供训练误差的指示的差异。可以在被称为反向传播的过程期间使用这些误差来纠正深度学习网络的参数的误差(例如，层节点权重和偏差)，例如以使在后续试验期间分割值估计中的误差减少或最小化。可以将误差与诸如在指定次数的训练迭代中进行到持续不变的最小值的预定标准进行比较。在针对深度学习模型训练的另一次迭代对预期结果进行分析时，如果误差不满足预定标准，则可以使用反向传播来更新深度学习模型的模型参数，并且可以从训练数据集中选择另一批训练数据。如果误差满足预定标准，则可以终止训练，然后可以在深度学习预测阶段312(包括另外的测试或推断阶段)期间部署经训练的模型，以预测与训练数据不同的受试者图像的分割结果。因此，可以利用经训练的模型来接收和解析新图像数据，并且经训练的模型可以提供新图像数据上的预测结果(例如，分割分类、标记、映射、概率等)。
因此，在深度学习模型的训练308和预测312(部署)期间，深度学习模型的卷积层中的多个参数可以被改变并且被用于将模型输出优化到预期状态。在医学图像特征识别的背景下，需要相当大的训练数据集来成功地训练模型的参数，以处理各种各样的现实世界图像用例并且产生与真实情况尽可能接近的预测。然而，由于在根据训练数据训练深度学习模型时来自不同患者和成像源的医学图像、许多不同的分割途径和偏好以及不一致和困难的变化很大，因此深度学习可能无法为医学图像分割提供独立的解决方案。因此，如以下段落讨论的，将深度学习数据和预测结合到各种基于图谱集的自动分割过程中可以提供与现有分割方法相比具有明显优势的有效的混合方法。
如先前所指出的，已经开发了各种基于图谱集的自动分割方法，以在放射疗法治疗计划中执行勾画解剖结构的轮廓和对解剖结构做标记。基于图谱集的自动分割方法基于参考图像(特别是图谱集)中先前定义的解剖结构来映射新(受试者)图像中的轮廓。尽管一些图谱集配准方法已经非常有效，但是对于不同的患者，一些器官的形状和大小可能变化，并且对于同一位患者，一些器官在不同阶段可能会发生大规模变形。这可能会降低配准准确度并且影响通过基于图谱集的自动分割方法执行的自动分割，或者甚至完全阻碍基于图谱集的方法的使用。
与仅仅依赖于使用图谱集的常规方法相比，将来自深度学习模型的信息结合到涉及基于图谱集的自动分割方法的分割工作流的各个方面中可以提供显著的改进。与针对图像分割的机器学习方法以及依赖于单独使用深度学习的方法相比，在分割工作流的各个方面中使用深度学习模型和人工神经网络操作也提供了优势。如在以下示例中所讨论的，从深度学习模型产生或预测的分割数据可以被结合到基于图谱集的自动分割方法的各个阶段中，从而提供了一种强调深度学习和基于图谱集的图像配准的优势的用于分割的混合方法(以及适用的机器学习分类)。
可以针对图像分割操作产生的示例性深度学习模型包括卷积神经网络(CNN)。CNN是一种可以通过监督学习进行训练的机器学习算法。监督学习是机器学习的一个分支，机器学习根据训练数据集来推断预测模型。训练数据的每个单独样本都是包含数据集(例如，图像)和期望的输出值或数据集的一对样本。监督学习算法分析训练数据并产生预测器函数。一旦通过训练得到预测器函数，预测器函数便能够合理地预测或估计有效输入的正确输出值或数据集。可以基于各种机器学习模型、算法和/或过程来制定预测器函数。
CNN模型的架构包括用于将输入转换为输出的一堆不同的层。不同的层的示例可以包括一个或更多个卷积层、非线性运算符层(例如，修正线性单元(ReLu)函数、sigmoid函数或双曲正切函数)、池化或子采样层、全连接层和/或最终损失层。每个层可以连接一个上游层和一个下游层。输入可以被认为是输入层，而输出可以被认为是最终输出层。
为了提高CNN模型的性能和学习能力，可以选择性地增加不同层的数目。从输入层到输出层的中间不同层的数目可以变得非常大，从而增加了CNN模型的架构的复杂度。具有大量中间层的CNN模型被称为深度CNN模型。例如，一些深度CNN模型可以包括多于20层至30层，而其他深度CNN模型甚至可以包括多于几百层。深度CNN模型的示例包括AlexNet、VGGNet、GoogLeNet、ResNet等。
本公开内容采用CNN模型尤其是深度CNN模型的强大学习能力来与分割和特征做标记工作流结合起来对医学图像的解剖结构进行分割。与所公开的示例一致，可以使用经训练的CNN模型对医学图像进行分割，以利用解剖结构对输入的3D图像的每个体素或输入的2D图像的每个像素进行标记或分类。有利地，在本公开内容的实施方式中使用CNN模型进行图像分割允许从大的训练示例集中自动分割解剖结构，而无需手动特征提取(传统机器学习方法通常需要这样做)。此外，如参照图5至图9所讨论的，使用来自CNN模型的数据可以为用于基于图谱集的分割的图像配准和做标记方面二者的基于图谱集的分割和做标记操作提供显著的益处。
如本文中所使用的，所公开的分割方法和工作流所使用的深度学习模型可以指基于卷积神经网络的框架而制定、适配或修改的任何神经网络模型。例如，在本公开内容的实施方式中用于分割的深度学习模型可以选择性地包括：在输入层与输出层之间的中间层例如一个或更多个反卷积层、上采样层或上池化层、逐像素预测层以及/或者复制和裁剪运算符层(crop operator layer)。
图4示出了在CNN模型中实现的用于图像分割的深度学习模型的简化示例。如图4所示，用于图像分割的CNN模型410可以接收一堆相邻的2D图像作为输入，并且输出所述图像之一(例如，所述堆中间的图像)的预测的2D标记图。基于特征提取和做标记，从CNN模型产生的2D标记图可以提供所述堆中的一个、两个或更多个图像的结构标记。
如图4所示，CNN模型410通常可以包括两个部分：第一特征提取部分420和第二逐像素做标记部分430。例如，特征提取部分420可以提取输入的一堆相邻2D图像422的一个或更多个特征。在以下示例中，对来自构成3D数据集的一堆2D图像的解剖特征进行分割。然而，CNN模型410的以下分割示例和设计也可以适用于对各个2D图像或其他形式的医学成像数据进行分割或分类。
在示例中，特征提取部分420使用卷积神经网络424来接收输入的一堆相邻2D图像422并输出表示输入的堆的特征的至少一个特征向量或矩阵。逐像素做标记部分430使用特征提取部分420的输出来预测输入的一堆相邻2D图像422中的中间图像426的2D标记图432。可以使用任何合适的方法——例如，基于片的方法和全映射方法——来执行逐像素做标记部分430。例如，使用包含相关结构信息的一堆相邻2D图像进行训练并作为CNN模型410的输入提高CNN模型410预测输出的2D标记图432的准确度。这进一步提高了从针对3D图像的每个图像切片预测的2D标记图构建的3D图像的预测的3D标记图的准确度。
在示例中，可以在CNN中基于沿着与2D图像的解剖平面正交的轴的所述一堆相邻2D图像中示出的解剖结构之间的空间相关关系来识别特征。作为非限制性示例，由所述堆中的第一图像中的第一像素集表示的解剖结构的形状和类型也可以由与第一图像相邻的第二图像中的第二像素集表示。原因在于：沿着与解剖平面正交的轴的第一图像和第二图像的空间相邻允许这些图像中示出的解剖结构的某种相关性或连续性。因此，一个图像中的解剖结构的形状、尺寸和/或类型可以提供沿着相同平面的另一个相邻图像中的解剖结构的形状、尺寸和/或类型的信息。
作为另一个非限制性示例，当所述一堆相邻2D图像包括三个连续图像例如依次堆积的第一图像切片、第二图像切片和第三图像切片时，可能在所述堆的第一图像切片中的第一像素集和所述堆的第三图像切片中的第三像素集中均示出了解剖结构，但是在位于第一图像切片与第三图像切片之间并且与第一图像切片和第三图像切片相邻的第二图像切片的相应第二像素集(例如，具有与第一像素集和/或第三像素集的空间位置相似的空间位置的像素)中未示出解剖结构。在这种情况下，第二图像切片中的相应像素可能被错误地标记。三个相邻2D图像切片的堆中的解剖结构的这种不连续性可以用作用于训练CNN模型410的相关结构信息。
作为另一个非限制性示例，在三个相邻2D图像例如依次堆积的第一图像切片、第二图像切片和第三图像切片的堆中，该堆的第一图像切片中的第一像素集和第三图像切片中的第三像素集均可能指示背景，但是位于第一图像切片与第三图像切片之间并且与第一图像切片和第三图像切片相邻的第二图像切片的相应第二像素集可能指示解剖结构。第二图像切片中的相应像素可能受到产生假阳性信号的噪声的影响。三个相邻2D图像切片的堆中的背景的这种不连续性也可以用作用于训练CNN模型410的相关结构信息。
可以基于各种因素——例如，所述堆中的相邻图像的数目；要分割的解剖结构的类型、形状、尺寸、位置和/或数目；和/或用于获取图像的成像模式——选择性地使用不同类型的相关结构信息。使用从3D图像获得的若干堆相邻2D图像的这种相关结构信息提高了分割3D图像或生成3D标记图的准确度。
在一些示例中，CNN模型410的卷积神经网络424包括输入层，例如，一堆相邻2D图像422。因为一堆相邻2D图像被用作输入，所以输入层具有体积，该体积的空间维度由2D图像的宽度和高度确定，并且该体积的深度由所述堆中的图像的数目确定。如本文中描述的，可以按照期望调整CNN模型410的输入层的深度，以与输入的一堆相邻2D图像422中的图像的数目匹配。
在一些实施方式中，CNN模型410的卷积神经网络424包括一个或更多个卷积层428。每个卷积层428可以具有多个参数，例如由上输入层(例如，卷积层428的输入的大小)确定的宽度(“W”)和高度(“H”)以及该层中的滤波器或核的数目(“N”)及其大小。滤波器的数目可以被称为卷积层的深度。因此，可以根据3D体积来描述每个卷积层428。每个卷积层428的输入在其宽度和高度上与一个滤波器进行卷积，并且产生与该滤波器对应的2D激活图或特征图。针对每个卷积层的所有滤波器执行卷积，并且沿着深度维度堆积所得到的激活图或特征图，从而生成3D输出。前一个卷积层的输出可以用作下一个卷积层的输入。
在一些实施方式中，CNN模型410的卷积神经网络424包括一个或更多个池化层(未示出)。可以在CNN模型410中的两个连续的卷积层428之间添加池化层。池化层对输入(例如，来自先前卷积层的激活图或特征图)的每个深度切片独立地进行操作，并且池化层通过执行非线性下采样的形式来减小其空间维度。另外，来自非相邻层的信息可以“跳过”中间层并且可以在池化层中与其他输入聚合。在示例中，池化层的功能可以包括逐渐地减小所提取的激活图或特征图的空间维度，以减少该网络中的参数和计算的量并且控制过拟合。可以基于各种因素——例如，卷积网络架构的设计、输入的大小、卷积层428的大小或CNN模型410的应用——来确定池化层的数目和放置。
可以使用各种非线性函数来实现池化层。例如，可以使用最大池化。最大池化可以以预定跨距将输入的图像切片划分成交叠或非交叠子区域的集合。对于每个子区域，最大池化输出划分内相应的子区域中的最大值。这会对输入的每个切片沿着其宽度和其高度二者有效地进行下采样，而深度维度保持不变。可以使用诸如平均池化或甚至L2范数池化(L2-norm pooling)的其他合适的函数来实现池化层。
在各种实施方式中，CNN模型410可以在其卷积神经网络424中选择性地包括一个或更多个附加层。作为非限制性示例，可以在卷积层之后选择性地添加修正线性单元(ReLu)层(未示出)或参数化ReLU(PReLU)(未示出)以生成中间激活图或特征图。例如，ReLu层可以增加预测器函数和整个CNN模型410的非线性特性，而不影响卷积层428的相应维度。另外，ReLu层可以在反向传播训练过程期间减少或避免饱和。
作为另一个非限制性示例，可以在卷积层和/或池化层之后添加一个或更多个全连接层429。全连接层与前一层的所有激活图或特征图全连接。例如，全连接层可以将最后一个卷积层或最后一个池化层的输出作为以向量形式的输入，并且执行高级确定并输出沿深度维度布置的特征向量。输出向量可以被称为输出层。该向量可以包含CNN模型410的输入的一堆图像422中的解剖结构的信息。此外，可以使用根据2D或“2.5D”CNN模型从2D成像切片中提取的来自输出层的信息来识别3D成像数据的子区域。来自CNN模型410的这种输出数据也可以与应用于子区域的3D CNN一起被使用。
在CNN模型410的第二部分中，可以使用由卷积神经网络424提取的一个或更多个特征作为输入来执行逐像素做标记，以生成预测的2D标记图432。2D标记图可以提供一堆相邻2D图像中的中间图像的结构标记。在示例中，2D标记图可以用于自动地确定可以向其应用(例如，以级联方式或链接的方式)第二3D CNN模型的3D成像的子区域。基于片的方法可以被用来预测输入的一堆相邻2D图像422中的中间图像426的2D标记图432。所述一堆相邻2D图像中的每个图像可以类似地被划分成交叠或非交叠的矩形片，每个矩形片具有中心像素。这会生成一堆相邻2D图像片。一堆2D图像片可以被用作训练数据和CNN模型410的输入二者。片可以被设计成使得这些片的中心像素一起基本上构成整个2D图像。CNN模型410可以对每一堆片中的中间片的中心像素进行分类，例如，预测由中心像素表示的解剖结构。例如，CNN模型410可以预测所述堆中的中间片的中心像素的特征向量，从而允许对中心像素的解剖结构进行分类。重复执行这种分类，直到所有堆的相邻2D图像片中的中间片的所有中心像素被分类或被标记为止，从而实现所述一堆相邻2D图像中的中间图像的分割。例如，在基于片的方法中，当构成整个中间图像426的所有中心像素被分类时，可以执行输入的一堆相邻2D图像422中的中间图像426的逐像素做标记。
在上述基于片的方法中，当构成整个中间图像426的所有中心像素被分类时，执行输入的一堆相邻2D图像422中的中间图像426的逐像素做标记。
在另一示例中，可以使用全映射方法来预测输入的一堆相邻2D图像422中的中间图像426的2D标记图432。在这种情况下，基于输入的一堆相邻2D图像422来生成中间图像426的2D标记图432作为CNN模型410的输出。CNN模型410中的卷积神经网络424被用来提取激活图或特征图作为输出，该输出由包括一个或更多个操作层的逐像素做标记结构接收以预测2D标记图。在这种情况下，卷积神经网络424的最后一层可以是输出激活图或特征图的卷积层。
作为非限制性示例，可以将像逐素预测层(未示出)添加到CNN模型410以执行逐像素做标记。逐像素预测层将卷积神经网络424的粗略的输出特征图(例如，特征向量)转换为输入的一堆相邻2D图像422中的中间图像426的密集的(例如，提供每个像素的更多信息)预测的逐像素2D标记图432。可以使用各种函数——例如，反向上采样(backwardsupsampling)或反池化(unpooling)(例如，双线性或非线性内插)以及反向卷积(backwardsconvolution)(反卷积)——来实现逐像素预测层。
作为另一个非限制性示例，反卷积网络434可以被用作CNN模型410的一部分以执行逐像素做标记。反卷积网络434可以是CNN模型410的卷积神经网络424的镜像版本。与逐渐地减小所提取的激活图或特征图的空间维度的卷积神经网络424相反，反卷积网络434通过使用选择的反卷积层436和/或反池化层(未示出)来增大中间激活图或特征图。可以使用反池化层(例如，上采样层)将特征图中的像素放回到它们的先前或原始池位置，从而生成增大但稀疏的激活图或特征图。可以使用反卷积层将输入的激活图或特征图的单个像素与多个输出像素相关联，从而增大和增加激活图或特征图的密度。可以将反卷积网络434与卷积神经网络424一起训练和使用以预测2D标记图。
作为另一个非限制性示例，损失层(未示出)可以被包括在CNN模型410中。损失层可以是卷积神经网络434或CNN模型410中的最后一层。在训练CNN模型410期间，损失层可以确定网络训练如何惩处预测的2D标记图和2D真实标记图之间的偏差。损失层可以通过各种合适的损失函数来实现。例如，可以将交叉熵损失函数用作CNN模型410的最终损失层。
与本公开内容的实施方式一致，基于上述CNN模型的图像分割方法、系统、装置和/或过程包括两个阶段：训练阶段，其使用包括针对每个体素标记有不同解剖结构的图像的训练数据集来“训练”或“学习”CNN模型；以及分割阶段，其使用经训练的CNN模型来预测输入的3D图像的每个体素(或输入的2D图像的像素)的解剖结构或者针对解剖结构对输入的3D医学图像的每个体素(或输入的2D图像的像素)进行标记。图4所示的卷积神经网络的一般结构也适用于3D模型，其中提供了一组3D图像而不是一堆2D图像。下面详细地描述将这些CNN模型和其他类型的深度学习模型结合到基于图谱集的分割工作流中的图像分割方法、系统、装置和/或过程。也可以利用本技术来实现深度学习模型和其他神经网络处理方法的类型的其他变型。
图5示出了图谱集配准过程中的适于与深度学习分割数据一起使用的示例性数据流500。如数据流中所示，图谱集配准过程与多个图谱集521、522、523(图谱集1、2、...、N)以及相关联的图谱集元数据一起被使用，以实现对受试者图像515的自动分割过程的各个方面。具体地，数据流500基于1到N个映射图谱集(图谱集561、562、563)产生受试者图像515的各种像素或体素的结构做标记(操作570)；这样的结构做标记可以被产生为受试者图像的结构标记图(结果580)。如下面讨论的，数据流500可以被认为是被修改成结合深度学习模型的数据结果的基于图谱集的自动分割过程。
在示例中，基于图谱集的自动分割过程被用于使用一个或多个已经被分割的图像(例如，来自先前治疗的患者)来进行受试者图像的分割。这些已经被分割的图像及其标注(例如，指示结构标记图、结构表面或其他图解的元数据)被称为图谱集。在被称为图像配准的过程中，在通过图像匹配将新的受试者图像与图谱集图像对准之后，使用计算出的图像变换将在图谱集上定义的结构标记映射到新的受试者图像，然后使其产生受试者图像的结构标记和分割结果。可以通过使用多个图谱集来提高基于图谱集的自动分割过程的准确度。例如，在不同的阶段或时期进行放疗疗法时，通常按部分更新图谱集分割；从这些不同的阶段或时期生成的多个图谱集的组合可以使图谱集的全部集合对于特定患者非常准确。此外，可以以非常快的方式执行针对新的受试者图像应用和组合多个图谱集，但是如果受试者图像中存在显著变化，则通常以准确度和精度为代价执行针对新的受试者图像应用和组合多个图谱集。
基于图谱集的自动分割过程的准确度在很大程度上取决于图谱集配准的准确度。然而，因为图像信息可能是含糊的以至于无法显示具有相似或交叠强度分布的不同结构，因此当考虑图像数据时，将图谱集与受试者图像配准可能是一个难题。以下示例中的深度学习结果的结合提供了用于提高在图谱集配准中应用图谱集的准确度和精度的其他方式。例如，在大的训练数据集上训练的深度学习模型可以为在图谱集配准期间处理的某些相同结构提供非常准确的分割结果。因此，在数据流500中，分割数据544或来自应用深度学习模型(操作534)的其他结果可以用于通过受结构约束的可变形配准或类似配准技术引导图像与相应图谱集图像配准(在图像配准操作551、552、553中)。
图5中的数据流具体描绘了受试者图像和图谱集的接收(操作510)，其对应于多个图谱集图像和元数据标注521、522、523和受试者图像515。在数据流500的一个分支中，可以应用已经被训练以识别解剖结构或特性的深度学习模型(操作534)来产生分割数据(结果544)。在示例中，如参照图3和图4关于深度学习方法所讨论的，深度学习模型可以构成被训练成执行2D或3D医学成像数据的分割的模型。
如所示的，深度学习模型的分割结果(预测值或输出值)被结合到图谱集图像配准(在操作551、552、553中)的各个方面中。如在常规图谱集工作流中一样，图谱集图像配准被配置成：基于图谱集图像数据和相关联的图谱集元数据(例如，来自图谱集521、522、523)来执行图谱集图像配准。然而，在数据流500中，在受试者图像上使用的深度学习分割模型的结果(结果544)(并且在某些示例中，在图谱集图像上使用深度学习模型的结果)用于辅助图谱集图像配准(在图像配准操作551、552、553中)。
深度学习分割模型的应用可以产生分割数据544，该分割数据544识别受试者图像515中的解剖结构或特征的子集。这样的所识别的结构或特征可以用于“安排”或“引导”针对图谱集图像和受试者图像执行的配准。在示例中，对受试者图像515执行图像配准，并且深度学习识别的特征影响与1到N个图谱集中的每一个的图像配准操作的应用(操作551、552、553)。例如，深度学习识别的特征可以产生初始配准位置、约束或者关于特定图谱集图像或图谱集标注与受试者图像的映射。
在另一个(可选的)示例中，可以从每个图谱集图像(数据521、522、523)生成深度学习分割数据，并且在图像配准之前在工作流的另一个分支中对该深度学习分割数据进行分析。例如，来自每个图谱集图像(数据521、522、523)的图像数据可以被应用到深度学习模型(操作531、532、533)的相应使用中，以产生分割数据(结果541、542、543)。该分割数据可以用于进一步辅助结构到受试者图像的图像配准以及分类或映射。
使用多个图谱集图像和图像配准可以通过允许1到N个图谱集之中的映射变化来辅助基于图谱集的自动分割过程。因此，在示例中，从图像配准(操作551、552、553)产生多个映射图谱集(结果561、562、563)。来自映射图谱集的数据可以被组合以在图像的相应区域和部分上产生结构做标记(操作570)。然后可以使从多个映射图谱集产生的结构做标记产生受试者图像的结构标记图(结果580)。例如，结构标记图可以提供被分类为感兴趣的结构或不感兴趣的结构的各种2D像素或3D体素区域的指示。在其他示例中，数据流500可以被修改，以用于单个图谱集或使用深度学习模型评估多个受试者图像。
作为示例情境，深度学习分割结果可以直接用于计算初始配准解(例如，线性配准)，以提供用于计算各种解剖器官或结构的最终图谱集-受试者图像配准的改进的起点。例如，考虑如下情境，在该情境中，深度学习模型是对大量数据集进行训练以识别前列腺的轮廓的深度学习分割模型。该深度学习分割模型可以用于从图谱集图像和新受试者图像二者中自动分割前列腺。例如，来自深度学习模型的前列腺分割结果可以用于计算将图谱集的前列腺与受试者的前列腺对准的线性变换。以这种方式，深度学习模型提供了用于提高利用非线性配准或可变形配准的图谱集的最终图像配准结果的准确度的起点。
因此，在数据流500中，深度学习模型(在操作534中被应用或者可选地在操作531、532、533中被应用)仅通过其对图谱集配准步骤的影响而影响最终基于图谱集的自动分割结果。这解决了仅使用深度学习或其他机器学习模型来产生最终分割结果的两个重大限制。首先，尤其是因为通常使用大的训练数据集在先前的时间点对深度学习模型进行预训练，因此深度学习模型可能不具有新图像所需的所有结构。训练数据可用于对诸如前列腺/膀胱/直肠的结构的子集的模型进行预训练，而新的用户或医疗设备可能需要分割诸如神经血管束的其他结构。利用本技术，深度学习模型可以用于提供特定器官或器官的子集的非常精确的分割，而图谱集用于分割或估计其余的结构。其次，可以使用来自不同诊所的数据来训练深度学习模型，所述诊所的勾画轮廓协议与要分割的新图像数据不同。利用本技术，深度学习模型可以被应用于对关于图谱集和新受试者图像二者的模型中的结构进行分割，以确保这些结构的分割结果在图谱集与受试者之间是一致的。
因此，深度学习分割结果可以用于改进基于图谱集的自动分割数据流500或基于图谱集的分割的其他变型中的图谱集配准。然而，仍然可以通过针对基于图谱集的分割定义的常规图谱集-结构变形和标记融合/细化过程来获得受试者图像中的结构的最终分割结果。重申一下，深度学习辅助的图像配准结果可以被视为使图谱集结构“变形”或适配至新的受试者图像。由于基于图谱集的自动分割数据流中的这样的图谱集通常特定于用户或医疗设备，因此期望的勾画轮廓协议和图谱集的其他特定特性可能仍然在使用并且与新的分割任务保持一致。
图6示出了用于执行深度学习辅助的基于图谱集的分割的示例性操作的过程流600。从图像处理系统的角度示出了过程流600，该图像处理系统使用被结合到基于图谱集的自动分割过程中的深度学习的结果来接收和处理数据。然而，可以由其他装置或系统执行相应的操作。
过程流600描绘了深度学习辅助的基于图谱集的分割工作流的可选先决条件，所述先决条件可以在更早的时间由另一实体、用户或医疗设备执行或者在另一装置中被执行。这些先决条件被描绘为包括使用训练数据集来选择和训练深度学习结构分割模型(操作610)以及定义和选择用于结构分割的一个或更多个图谱集模型(操作620)。例如，可以基于上面在图3和图4中提及的深度学习和CNN的各方面来训练或构造深度学习结构分割模型。可以基于在这样的分割图像上手动或自动分割的图像和标注(例如，结构标记图或结构表面)来设计或构造图谱集模型；在一些示例中，可以结合放射疗法治疗工作流来创建图谱集模型。
过程流600继续通过应用深度学习模型对受试者医学图像执行的分割操作。这些操作包括：获得用于分割处理的受试者图像(操作630)；以及使用深度学习分割模型来执行分割工作流的分支以识别受试者图像中的一个或更多个结构(操作640)。例如，深度学习分割模型可以产生像素或体素、像素或体素区域或类似图像部分的分类、结构、特征或其他标识的标识。
过程流600继续利用深度学习增强图谱集配准技术对受试者医学图像执行的分割操作。这些操作包括：从图谱集模型获得图谱集图像和图谱集数据(例如，标注或其他元数据)(操作650)；以及应用来自深度学习模型的受试者图像的分割数据，以执行或辅助图谱集图像-受试者图像配准(操作670)。这样的图谱集配准可能涉及使图谱集图像适配或变形到受试者以在受试者图像上生成分割结果(例如，结构标记图或结构轮廓/表面)。在另一(可选)示例中，通过使用深度学习分割模型识别图谱集图像中的一个或更多个结构或特征来产生图像配准中使用的其他分割数据(操作660)。尽管在过程流600内的某些要素内仅描绘了一个图谱集，但是应当理解，并行或顺序操作可以在多个图谱集上执行分割工作流(将操作650、660、670应用于一个或多个图谱集)。
过程流600继续进行操作以对受试者图像执行做标记(包括标记融合和细化)(操作680)。该做标记可以包括：来自多个图谱集的配准的图像的结合、来自另外的人工智能(例如，机器学习)算法的对特征进行分割和做标记的结合等。标记融合可以结合变形的图谱集分割(结构标记图或结构轮廓/表面)以产生受试者图像的结构分割。下面参照图7至图9来讨论利用由经训练的机器学习模型产生的数据进行标记融合和细化的其他的示例。最后，过程流600通过提供受试者图像的分割的结果而结束。这种提供可以为以下形式：生成元数据或图像数据标注、在图形用户界面中输出结果、定义或关联一个或更多个感兴趣的解剖结构的分类、生成标记图或结构标记估计、生成每个结构的轮廓或表面、存储或传送分割的指示、修改治疗计划、限定治疗区域或从治疗中排除的区域(包括OAR的描绘)等。
在另一个示例中，基于图谱集的自动分割做标记方法可以包括使用通过深度学习增强的机器学习方法。例如，可以使用随机森林(RF)、支持向量机(SVM)、提升树(BT)或类似的分类器模型来训练基于像素或体素的结构分类器，该基于像素或体素的结构分类器可以改进基于图谱集的自动分割的分割准确度。然而，将机器学习方法与以前的基于图谱集的自动分割做标记方法一起使用通常涉及使用手动指定的图像特征，这些特征用作机器学习模型的输入，以预测每个图像像素或体素的结构标记。在以下非限制性示例中，深度学习模型结果可以被提供为附加输入，以训练或细化机器学习分类器的可适用图像特征。这样的深度学习模型结果可以包括深度学习分割结果(例如，当应用深度学习模型时的最终结果)，或者另外地，这样的深度学习模型结果可以包括从深度学习模型的操作产生的中间结果。
在示例中，利用CNN的深度学习分割模型具有从训练图像中自动学习图像特征的层级的能力。因此，当将CNN模型应用于新的受试者图像以计算分割结果时，该模型涉及首先提取图像特征的序列并且然后将这些特征转换为分割图或分割概率。CNN模型的每个卷积层的输出通常被称为“特征图”。在示例中，可以提取来自CNN或其他深度学习模型内部的层的这些特征图或类似输出作为用于训练用于对图像做标记的机器学习分类器的特征。例如，如图4所示，深度学习模型可以在分析受试者图像时从CNN模型的中间层产生许多即时输出(特征图)。每个特征图都是多通道图像，该多通道图像可以被用作附加输入以训练机器学习模型。
因此，在示例中，深度学习模型分割结果可以被用作向在线或离线机器学习模型(例如，BT、RF或SVM或其他机器学习分类器)的附加输入，以辅助或补充基于图谱集的自动分割工作流(例如，数据流500或过程流600)。例如，深度学习分割标记图可以被用作关于原始图像数据的附加通道并且被用于训练多通道图像像素或体素分类模型(例如，BT、RF或SVM或其他机器学习分类器)。
在另一示例中，可以计算深度学习分割标记图的变换并且将该变换用作另一个输入通道以提取机器学习分类器模型的特征。例如，可以使用这样的特征来计算分割图的距离变换；在许多设置中，距特定结构的距离可以提供有价值的信息(例如，距前列腺区域的距离可以辅助确定体素是否属于膀胱)。
图7示出了机器学习模型训练过程中的适于与深度学习分割特征数据一起使用的示例性数据流700。数据流700提供了在数据流500中执行的一些操作的简化表示，包括接收受试者图像715和1至N个图谱集721、722、723(操作710)以及对1至N个图谱集721、722、723执行图谱集配准(操作731、732、733)以产生映射图谱集761、762、763。然而，图谱集配准操作是可选的；可以仅基于原始图谱集数据721、722、723以及如下讨论的将深度学习模型应用于每个图谱集图像的输出来训练机器学习模型。另外，尽管未描绘，但是可以通过应用深度学习分割模型(例如，如图5中描绘的)来辅助图谱集配准(操作731、732、733)。
然而，数据流700更具体地示出了使用图谱集图像数据训练机器学习结构分类器(操作780)以产生可用于分割做标记和特征表示的经训练的机器学习模型790的结果。(在图8的数据流中更详细地描述了将此经训练的机器学习模型结合到分割过程中。)在数据流700中，机器学习模型790被示出为根据由分析图谱集图像的深度学习模型产生的图谱集图像分割结果750被训练；在可选示例中，机器学习模型790被示出为根据映射图谱集特征数据765或图谱集图像分割特征数据770被另外训练。
具体地，除了来自深度学习模型的各个层的图谱集图像的分割特征的序列(数据770)之外，深度学习模型740还分析每个图谱集图像721、722、723以提取分割结果(数据750)。分割数据750、770作为训练输入被提供至机器学习模型分类器并且在训练阶段(操作780)中被使用。对于每个原始图谱集图像，可以从图谱集数据本身确定真实情况；因此，原始图谱集图像或映射图谱集图像的特征信息可以用于训练产生分类的机器学习分类器。因此，与根据渐变、线条或纹理从手动特征定义来训练机器学习分类器的常规技术相比，来自应用深度学习模型的输出数据自动提供与要分类的解剖结构相关的特征集。
在机器学习训练中使用的训练数据的其他方面(例如，在先前的机器学习辅助的基于图谱集的分割过程中)可以可选地被结合到或用作向机器学习模型分类器的训练输入。例如，从通过将图像与受试者图像715配准而产生的各种映射图谱集761、762、763提供的特征数据(数据765)可以与在训练阶段中训练结构分类器(操作780)的特征进行组合，可以补充或替代在训练阶段中训练结构分类器(操作780)的特征。以类似的方式，从原始图谱集721、722、723提供的元数据或其他特征数据可以与在训练阶段中训练结构分类器(操作780)的特征进行组合，可以补充或替代在训练阶段中训练结构分类器(操作780)的特征。
图8示出了机器学习模型分类过程中的适于与深度学习分割特征数据一起使用的示例性数据流800。数据流800具体指示使用从图谱集或深度学习分割特征数据训练的机器学习模型850。例如，可以以与如图7所示的机器学习模型790相同的方式来训练机器学习模型850。
数据流800还提供了在数据流500中执行的一些操作的简化表示，包括受试者图像815和多个图谱集820的接收以及对多个图谱集820和受试者图像815执行图谱集配准(操作830)以产生基于图谱集的结构标记840。尽管未描绘，但是可以通过应用深度学习分割模型(例如，如图5中描绘的)来辅助图谱集配准(操作830)。
数据流800还示出了从受试者图像815上的基于图谱集的分割操作产生的结构标记(例如，标记840)与通过将机器学习模型850应用于受试者图像815产生的结构标记的结合(例如，融合)。具体地，数据流800的分支示出了将经训练的结构分类器应用于受试者图像815(操作860)以产生用于受试者图像的基于分类器的结构标记估计865。在可选的示例中，经分类器训练的结构分类器的应用(操作860)还可以利用从基于图谱集的分割操作或基于图谱集的结构标记产生的标记数据845。
从机器学习结构分类器产生的分类器结构标记估计865可以与基于图谱集的结构标记840进行组合(操作870)，并且可以用于产生受试者图像的结构标记图880。可以使用任何数量的标记融合或组合技术来组合分割标记结果。因此，可以用机器学习增强的结构标记图880来代替从图5的数据流500产生的结构标记图580。
图9示出了用于使用机器学习分类器来执行深度学习辅助的基于图谱集的分割的示例性操作的过程流900。还从图像处理系统的角度示出了过程流900，该图像处理系统使用被结合到基于图谱集的自动分割过程中的深度学习的结果来训练和利用机器学习结构分类器。然而，相应的操作可以由其他装置或系统执行(在基于图谱集的分割工作流之外的离线训练设置中包括)。
过程流900描绘了使用深度学习分割模型生成图谱集图像的分割特征数据(操作910)。这样的分割特征数据可以包括用CNN模型提取的图像特征的序列和/或从CNN模型产生的最终的CNN分割图或分割概率。该分割数据被用来训练机器学习结构分类器——例如，基于深度学习分割特征数据(例如，特征图)来训练机器学习结构分类器(操作920)以及基于深度学习分割结果数据来训练机器学习结构分类器(操作930)——以产生上面讨论的机器学习分类器模型(例如，RF、SVM、BT)。
将经训练的结构分类器应用于受试者图像(操作940)，并且经训练的结构分类器被用于使用该结构分类器生成结构标记的估计(操作950)。来自机器学习模型的输出可以包括：分类标记；概率；或者指示受试者图像(或受试者图像集)的各个像素、体素或区域的结构、特征或其他指示的其他形式的分类数据。从机器学习模型产生的结构标记信息可以与来自基于图谱集的自动分割过程(包括参照图5和图6讨论的深度学习辅助的基于图谱集的分割过程)的结构标记信息进行组合(例如，融合、结合、联合)(操作960)。(在其他示例中，结构标记信息可以与不涉及深度学习的常规的基于图谱集的分割过程的信息进行组合)。最后，过程流以生成受试者图像的标记图(操作970)而结束。如上面讨论的，可以参考分割的结果(例如，利用操作690)的输出来提供标记图的输出。
如先前所讨论的，各个电子计算系统或装置可以实现如本文中所讨论的方法或功能操作中的一个或更多个。在一个或更多个实施方式中，图像处理计算系统110可以被配置成、适于或用于：控制或操作图像引导的放射疗法装置202；执行或实现深度学习训练或预测操作308、312；操作CNN模型410；执行或实现数据流500、700、800；执行或实现流程图600、900的操作；或者执行本文中讨论的其他方法中的任何一种或更多种方法(例如，作为分割处理逻辑120和分割工作流130的一部分)。在各种实施方式中，这样的电子计算系统或装置操作为独立装置或者可以连接(例如，联网)至其他机器。例如，这样的计算系统或装置可以在服务器-客户端网络环境中以服务器或客户端机器的能力进行操作，或者在对等(或分布式)网络环境中作为对等机器进行操作。计算系统或装置110的特征可以由个人计算机(PC)、平板PC、个人数字助理(PDA)、蜂窝电话、网络设备或者能够执行指定要由该机器执行的动作的指令(顺序的或以其他方式)的任何机器来实施。
也如上所述，以上讨论的功能可以通过机器可读介质上的指令、逻辑或其他信息存储来实现。尽管可能已经在各种示例中参考单个介质描述了机器可读介质，但是术语“机器可读介质”可以包括存储一个或更多个指令或数据结构的单个介质或多个介质(例如，集中式或分布式数据库和/或相关联的高速缓冲存储器和服务器)。术语“机器可读介质”也应该被认为包括如下任何有形介质，所述任何有形介质能够存储、编码或携载由机器执行的指令并且使机器执行本发明的方法中的任何一种或更多种方法或者能够存储、编码或携载由这样的指令利用或与这样的指令相关联的数据结构。
补充注释
以上的具体实施方式包括对附图的参照，附图形成具体实施方式的一部分。附图通过说明的方式而不是通过限制的方式示出了具体实施方式，在所述具体实施方式中可以实践本发明。这些实施方式在本文中也被称为“示例”。这样的示例可以包括除了示出的或描述的要素之外的要素。然而，发明人还预期了仅提供示出的或描述的那些要素的示例。此外，发明人还预期了使用关于特定示例(或者特定示例的一个或更多个方面)或关于在本文中示出或描述的其他示例(或者其他示例的一个或更多个方面)示出的或描述的那些要素(或者那些要素的一个或更多个方面)的任何组合或排列的示例。
本文献中参考的所有出版物、专利和专利文献都通过引用以其全部内容并入本文中，就好像通过引用单独地并入一样。如果在本文献与通过引用并入的那些文献之间存在不一致用法，则并入的(一个或多个)参考文献中的用法应该被视为对本文献的用法的补充；对于矛盾的不一致之处，请以本文献中的用法为准。
在本文献中，在介绍本发明的各方面的要素或其实施方式中的要素时，如在专利文献中常见的那样，使用术语“一”、“一个”、“该”和“所述”以包括要素中的一个或多于一个或更多个，与“至少一个”或者“一个或更多个”的任何其他实例或用法无关。在本文献中，除非另有说明，否则术语“或”被用于指代非排他性或者使得“A或B”包括“A但不是B”、“B但不是A”以及“A和B”。
在所附权利要求中，术语“包括(including)”和“其中(in which)”被用作相应术语“包括(comprising)”和“其中(wherein)”的普通英语等同物。此外，在所附权利要求中，术语“包括(comprising)”、“包括(including)”和“具有”旨在是开放性的，以意指除了所列出的要素之外可能还存在其他要素，使得在权利要求中的这样的术语(例如，包括(comprising)、包括(including)、具有)之后的仍被认为落入该权利要求的范围内。此外，在以下权利要求中，术语“第一”、“第二”和“第三”等仅被用作标记，并不旨在对其对象施加数值要求。
本发明还涉及一种被适配、配置或操作成用于执行本文中的操作的计算系统。该系统可以是针对所需目的而专门构建的，或者该系统可以包括由存储在计算机中的计算机程序(例如，指令、代码等)选择性地启动或重新配置的通用计算机。除非另有说明，否则本文中示出和描述的本发明的实施方式中的操作的实行或执行的顺序不是必需的。也就是说，除非另有说明，否则可以以任何顺序执行操作，并且本发明的实施方式可以包括比本文中公开的这些操作更多或更少的操作。例如，可以预期的是，在另外的操作之前、与另外的操作同时或在另外的操作之后实行或执行特定操作在本发明的各方面的范围内。
鉴于以上，将看到，实现了本发明的若干目的并且获得了其他有利结果。已经详细地描述了本发明的各方面，将明显的是，在不脱离如在所附权利要求中限定的本发明的各方面的范围的情况下，修改和变化是可能的。由于在不脱离本发明的各方面的范围的情况下可以在上述构造、产品和方法中进行各种改变，所以旨在上面的描述中包含的以及附图中示出的所有内容应该被解释为说明性的而非限制性的。
上面的描述旨在是说明性的，而不是限制性的。例如，以上描述的示例(或示例的一个或更多个方面)可以彼此结合使用。另外，在不脱离本本发明的范围的情况下，可以做出许多修改以使特定情况或材料适应本发明的教导。尽管本文中描述的材料的尺寸、类型和示例参数、功能以及实现旨在限定本发明的参数，但是它们绝不是限制性的，而是示例性实施方式。在回顾以上描述之后，许多其他实施方式对本领域技术人员而言将是明显的。因此，应当参考所附权利要求以及这样的权利要求所赋予的等同物的全部范围来确定本发明的范围。
此外，在以上的具体实施方式中，可以将各种特征组合在一起以简化本公开内容。这不应该被解释为意欲：对于任何权利要求而言，未要求保护的公开特征均是必要的。而是，发明主题可能在于少于特定公开的实施方式的所有特征。因此，所附权利要求由此被并入具体实施方式中，其中每个权利要求独立地作为单独的实施方式。应当参考所附权利要求以及这样的权利要求所赋予的等同物的全部范围来确定本发明的范围。

Claims (26)

1.一种用于使用深度学习执行基于图谱集的分割的计算机实现的方法，所述方法包括：
应用深度学习模型以从受试者图像识别一个或更多个分割的解剖特征，所述深度学习模型被训练成生成深度学习分割数据，所述深度学习分割数据识别所述受试者图像中的分割的解剖特征的第一布置，其中，所述深度学习模型包括具有多个层的卷积神经网络；
利用图谱集配准过程将图谱集图像与所述受试者图像配准，所述图谱集图像与识别所述图谱集图像中的分割的解剖特征的标注数据相关联，其中，所述图谱集配准过程包括：
根据所述图谱集图像与所述受试者图像之间的图像配准来产生图谱集配准结果，所述图谱集配准结果通过识别所述受试者图像中的分割的解剖特征的第二布置的所述图谱集图像的对准来产生；以及
使用在所生成的深度学习分割数据中识别的所述分割的解剖特征的第一布置中的一个或更多个分割的解剖特征来修改所述分割的解剖特征的第二布置并且改进所述图谱集配准结果；
通过将所述图谱集图像与所述受试者图像配准来生成映射图谱集；以及
使用所述映射图谱集来识别所述受试者图像中的分割的解剖特征。
2.根据权利要求1所述的方法，其中，所述配准通过以下操作来改进所述图谱集图像与所述受试者图像之间的图谱集配准结果：应用所生成的深度学习分割数据，以基于在所述受试者图像中识别的分割的解剖特征来确定初始配准估计或约束。
3.根据权利要求1所述的方法，其中，所述图谱集图像是多个图谱集图像之一，并且其中，所述映射图谱集是多个映射图谱集之一，所述方法还包括：
利用所述图谱集配准过程将所述多个图谱集图像与所述受试者图像配准，所述多个图谱集图像与识别所述多个图谱集图像中的相应图谱集图像中的分割的解剖特征的相应标注数据相关联，其中，所述图谱集配准过程产生所述多个图谱集图像中的相应图谱集图像与所述受试者图像之间的多个配准结果，并且其中，所述配准使用所生成的深度学习分割数据来改进所述多个配准结果；以及
通过将所述多个图谱集图像与所述受试者图像配准来生成所述多个映射图谱集，所述多个映射图谱集识别所述受试者图像的多个配准结果中的所述分割的解剖特征的各个位置和边界；
其中，识别所述受试者图像中的分割的解剖特征包括：对来自所述多个映射图谱集的结果进行组合。
4.根据权利要求3所述的方法，其中，所述分割的解剖特征包括多个解剖特征，并且其中，从所述多个映射图谱集识别所述受试者图像中的分割的解剖特征还包括：
基于所述多个映射图谱集来执行所述受试者图像中的所述多个解剖特征的结构做标记；以及
基于所述多个解剖特征的结构做标记来生成所述受试者图像的结构标记图。
5.根据权利要求1所述的方法，还包括：
将所述深度学习模型应用于所述图谱集图像，所述深度学习模型被训练成：生成识别所述图谱集图像中的分割的解剖特征的其他深度学习分割数据；
其中，利用所述图谱集配准过程将所述图谱集图像与所述受试者图像配准还包括使用所述其他深度学习分割数据，并且其中，所述其他深度学习分割数据还被用于改进所述图谱集图像与所述受试者图像之间的所识别的分割的解剖特征的图谱集配准结果。
6.根据权利要求1所述的方法，还包括：
将机器学习模型应用于所述受试者图像，基于从由所述深度学习模型提供的卷积神经网络的多个层中的一个层获得的特征数据来训练所述机器学习模型，其中，所述机器学习模型与所述深度学习模型相分离，并且其中，所述机器学习模型提供指示预测的解剖结构分类的结构分类器；以及
从所述预测的解剖结构分类生成所述受试者图像的分类器结构标记；
其中，识别所述分割的解剖特征包括：将来自所述基于图谱集的分割的结构标记与来自所述机器学习模型的分类器结构标记进行组合以识别所述受试者图像的结构标记图。
7.根据权利要求6所述的方法，其中，所述机器学习模型是提升树(BT)、随机森林(RF)或支持向量机(SVM)分类器。
8.根据权利要求6所述的方法，其中，还基于以下中的至少一个来训练所述机器学习模型：来自所述图谱集图像的图谱集特征数据、从所述图谱集图像的映射产生的映射图谱集特征数据或从所述深度学习模型的层获得的分割标记图的变换。
9.根据权利要求1所述的方法，其中，所述分割的解剖特征是从3D图像集中分割的；并且其中，所述深度学习模型是基于多个医学图像训练的，所述多个医学图像对分割标记图中的所述分割的解剖特征的各个体素进行分类。
10.根据权利要求9所述的方法，其中，用于训练所述深度学习模型的所述多个医学图像包括来自各个医疗设备的图像，其中，所述各个医疗设备利用成像和勾画轮廓协议中的变化来识别所述多个医学图像中的分割的解剖特征。
11.根据权利要求1所述的方法，其中，在所生成的深度学习分割数据中识别的所述分割的解剖特征的第一布置不同于通过所述图谱集图像的对准产生的所述分割的解剖特征的第二布置。
12.一种用于在使用深度学习的基于图谱集的分割过程中操作经训练的机器学习分类器的计算机实现的方法，所述方法包括：
将深度学习模型应用于图谱集图像，所述深度学习模型适于通过对所述图谱集图像中的多个解剖结构进行分析来生成数据，其中，所述深度学习模型包括具有多个层的卷积神经网络；
使用根据从所述卷积神经网络中的多个层中的一个层获得的特征数据生成的数据来训练机器学习模型分类器，所述特征数据通过将所述深度学习模型应用于所述图谱集图像来生成，以及所述机器学习模型分类器被训练成对所述图谱集图像中的解剖结构进行分类，其中，所述机器学习模型分类器与所述深度学习模型相分离；
应用所述经训练的机器学习模型分类器以从受试者图像识别一个或更多个分割的解剖特征，以产生所述受试者图像的各个区域的分类；
基于所述受试者图像的各个区域的分类来估计所述受试者图像的各个区域的结构标记；以及
通过将所估计的结构标记与对所述受试者图像进行基于图谱集的分割产生的结构标记进行组合来定义所述受试者图像的各个区域的结构标记，所估计的提供所述受试者图像中的分割的解剖特征的第一布置的结构标记通过将所述经训练的机器学习模型分类器应用于所述受试者图像来产生，并且所估计的提供所述受试者图像中的分割的解剖特征的第二布置的结构标记通过将所述基于图谱集的分割应用于所述受试者图像来产生。
13.根据权利要求12所述的方法，其中，所述深度学习模型被训练成执行输入图像的分割，并且其中，通过应用所述深度学习模型生成的数据包括通过对所述卷积神经网络的中间卷积层中的输入图像进行分析而产生的特征图。
14.根据权利要求12所述的方法，其中，所述图谱集图像是多个图谱集图像之一，所述方法还包括通过以下操作对所述受试者图像执行所述基于图谱集的分割：
使用通过将所述深度学习模型应用于所述受试者图像而产生的分割数据将多个图谱集图像与所述受试者图像配准；
基于将所述多个图谱集图像与所述受试者图像配准，在所述受试者图像上生成多个映射图谱集；以及
从所述多个映射图谱集产生所述受试者图像的结构标记。
15.根据权利要求14所述的方法，其中，从所述多个映射图谱集产生所述受试者图像的结构标记包括：对从所述多个映射图谱集指示的多个标记执行标记细化和标记融合。
16.根据权利要求12所述的方法，其中，所述图谱集图像是多个图谱集图像之一，并且其中，还使用通过将所述深度学习模型应用于所述多个图谱集图像而产生的分割结果来执行训练所述机器学习模型分类器。
17.根据权利要求12所述的方法，其中，所述图谱集图像是多个图谱集图像之一，并且其中，还使用通过将所述深度学习模型应用于所述多个图谱集图像而产生的分割特征数据来执行训练所述机器学习模型分类器。
18.根据权利要求12所述的方法，还包括：
从所述受试者图像的各个区域的结构标记生成所述受试者图像的标记图，所述标记图识别所述受试者图像的各个分割，其中，所述受试者图像的各个区域包括与多个体素对应的各个结构标记。
19.一种用于使用深度学习执行基于图谱集的分割的系统，所述系统包括：
处理电路系统，其包括至少一个处理器；以及
包括指令的存储介质，所述指令在由所述至少一个处理器执行时使所述处理器：
获得受试者图像；
应用深度学习模型以从所述受试者图像识别一个或更多个分割的解剖特征，所述深度学习模型被训练成：生成识别所述受试者图像中的分割的解剖特征的第一布置的深度学习分割数据，其中，所述深度学习模型包括具有多个层的卷积神经网络；
利用图谱集配准过程执行将图谱集图像与所述受试者图像配准，所述图谱集图像与识别所述图谱集图像中的分割的解剖特征的标注数据相关联，其中，所述图谱集配准过程包括以下操作：
根据所述图谱集图像与所述受试者图像之间的图像配准来产生图谱集配准结果，所述图谱集配准结果通过识别所述受试者图像中的分割的解剖特征的第二布置的所述图谱集图像的对准来产生；以及
使用在所生成的深度学习分割数据中识别的所述分割的解剖特征的第一布置中的一个或更多个分割的解剖特征来修改所述分割的解剖特征的第二布置并且改进所述图谱集配准结果；
通过将所述图谱集图像与所述受试者图像配准来生成映射图谱集；以及
使用所述映射图谱集来执行所述受试者图像中的分割的解剖特征的识别。
20.根据权利要求19所述的系统，其中，所述配准通过以下操作来改进所述图谱集图像与所述受试者图像之间的图谱集配准结果：应用所生成的深度学习分割数据，以基于在所述受试者图像中识别的分割的解剖特征来确定初始配准估计或约束。
21.根据权利要求19所述的系统，其中，所述图谱集图像是多个图谱集图像之一，并且其中，所述映射图谱集是多个映射图谱集之一，其中，所述指令还使所述处理器：
利用所述图谱集配准过程使用所生成的深度学习分割数据将所述多个图谱集图像与所述受试者图像配准，所述多个图谱集图像与识别所述多个图谱集图像中的相应图谱集图像中的分割的解剖特征的相应标注数据相关联，其中，所述图谱集配准过程产生所述多个图谱集图像中的相应图谱集图像与所述受试者图像之间的多个配准结果，并且其中，所述配准使用所生成的深度学习分割数据，以改进所述多个配准结果；以及
通过将所述多个图谱集图像与所述受试者图像配准来生成所述多个映射图谱集，所述多个映射图谱集识别所述受试者图像的多个配准结果中的分割的解剖特征的各个位置和边界；
其中，对所述受试者图像中的分割的解剖特征的识别包括：对来自所述多个映射图谱集的结果进行组合。
22.根据权利要求21所述的系统，其中，所述分割的解剖特征包括多个解剖特征，并且其中，从所述多个映射图谱集识别所述受试者图像中的分割的解剖特征使所述处理器：
基于所述多个映射图谱集来执行所述受试者图像中的所述多个解剖特征的结构做标记；以及
基于所述多个解剖特征的结构做标记来生成所述受试者图像的结构标记图。
23.根据权利要求19所述的系统，其中，所述指令还使所述处理器：
将所述深度学习模型应用于所述图谱集图像，所述深度学习模型被训练成：生成识别所述图谱集图像中的分割的解剖特征的其他深度学习分割数据；
其中，利用所述图谱集配准过程将所述图谱集图像与所述受试者图像配准还包括使用所述其他深度学习分割数据，并且其中，所述其他深度学习分割数据另外被用于改进所述图谱集图像与所述受试者图像之间的分割的解剖特征的配准结果。
24.根据权利要求19所述的系统，其中，所述指令还使所述处理器：
将机器学习模型应用于所述受试者图像，所述机器学习模型是基于从由所述深度学习模型提供的卷积神经网络多个层中的一个层获得的特征数据训练的，其中，所述机器学习模型与所述深度学习模型相分离，并且其中，所述机器学习模型提供指示预测的解剖结构分类的结构分类器；以及
从所述预测的解剖结构分类生成所述受试者图像的分类器结构标记；
其中，所述分割的解剖特征的识别包括：对来自所述基于图谱集的分割的结构标记和来自所述机器学习模型的分类器结构标记进行组合以识别所述受试者图像的结构标记图；以及
其中，所述机器学习模型是提升树(BT)、随机森林(RF)或支持向量机(SVM)分类器。
25.根据权利要求19所述的系统，其中，所述深度学习模型是基于多个医学图像训练的，所述多个医学图像对分割标记图中的分割的解剖特征的各个体素进行分类，其中，用于训练所述深度学习模型的所述多个医学图像包括来自各个医疗设备的图像，并且其中，所述各个医疗设备利用成像和勾画轮廓协议的变化来识别所述多个医学图像中的分割的解剖特征。
26.根据权利要求19所述的系统，其中，在所生成的深度学习分割数据中识别的所述分割的解剖特征的第一布置不同于通过所述图谱集图像的对准产生的所述分割的解剖特征的第二布置。
CN201980013586.6A 2018-02-14 2019-02-12 使用深度学习的基于图谱集的分割 Active CN111727458B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111210496.1A CN114037726A (zh) 2018-02-14 2019-02-12 使用深度学习的基于图谱集的分割

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/896,895 2018-02-14
US15/896,895 US10878576B2 (en) 2018-02-14 2018-02-14 Atlas-based segmentation using deep-learning
PCT/US2019/017626 WO2019160850A1 (en) 2018-02-14 2019-02-12 Atlas-based segmentation using deep-learning

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202111210496.1A Division CN114037726A (zh) 2018-02-14 2019-02-12 使用深度学习的基于图谱集的分割

Publications (2)

Publication Number Publication Date
CN111727458A CN111727458A (zh) 2020-09-29
CN111727458B true CN111727458B (zh) 2021-11-05

Family

ID=65686932

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201980013586.6A Active CN111727458B (zh) 2018-02-14 2019-02-12 使用深度学习的基于图谱集的分割
CN202111210496.1A Pending CN114037726A (zh) 2018-02-14 2019-02-12 使用深度学习的基于图谱集的分割

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202111210496.1A Pending CN114037726A (zh) 2018-02-14 2019-02-12 使用深度学习的基于图谱集的分割

Country Status (6)

Country Link
US (2) US10878576B2 (zh)
EP (1) EP3752981B1 (zh)
JP (2) JP6876204B2 (zh)
CN (2) CN111727458B (zh)
AU (1) AU2019222619B2 (zh)
WO (1) WO2019160850A1 (zh)

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11138790B2 (en) 2016-10-14 2021-10-05 Axial Medical Printing Limited Method for generating a 3D physical model of a patient specific anatomic feature from 2D medical images
GB201617507D0 (en) 2016-10-14 2016-11-30 Axial3D Limited Axial3D UK
US10699412B2 (en) * 2017-03-23 2020-06-30 Petuum Inc. Structure correcting adversarial network for chest X-rays organ segmentation
CN107273357B (zh) * 2017-06-14 2020-11-10 北京百度网讯科技有限公司 基于人工智能的分词模型的修正方法、装置、设备和介质
US10878576B2 (en) 2018-02-14 2020-12-29 Elekta, Inc. Atlas-based segmentation using deep-learning
US10910099B2 (en) * 2018-02-20 2021-02-02 Siemens Healthcare Gmbh Segmentation, landmark detection and view classification using multi-task learning
US10885630B2 (en) * 2018-03-01 2021-01-05 Intuitive Surgical Operations, Inc Systems and methods for segmentation of anatomical structures for image-guided surgery
US10706503B2 (en) * 2018-03-13 2020-07-07 Disney Enterprises, Inc. Image processing using a convolutional neural network
US10555779B2 (en) 2018-04-27 2020-02-11 Medtronic Navigation, Inc. System and method for a tracked procedure
US10736699B2 (en) * 2018-04-27 2020-08-11 Medtronic Navigation, Inc. System and method for a tracked procedure
US11972567B2 (en) * 2018-05-29 2024-04-30 The General Hospital Corporation System and method for analyzing medical images to detect and classify a medical condition using machine-learning and a case pertinent radiology atlas
CN108986891A (zh) * 2018-07-24 2018-12-11 北京市商汤科技开发有限公司 医疗影像处理方法及装置、电子设备及存储介质
US11651584B2 (en) * 2018-10-16 2023-05-16 General Electric Company System and method for memory augmented domain adaptation
EP3648013A1 (en) * 2018-11-02 2020-05-06 Tata Consultancy Services Limited Method and system for partitioning of deep convolution network for executing on computationally constraint devices
EP3706128A4 (en) * 2018-11-09 2021-05-12 Lunit Inc. ANNOTATION WORK MANAGEMENT PROCESS AND APPARATUS AND SYSTEM SUPPORTING IT
US10929708B2 (en) 2018-12-10 2021-02-23 International Business Machines Corporation Deep learning network for salient region identification in images
US11995854B2 (en) * 2018-12-19 2024-05-28 Nvidia Corporation Mesh reconstruction using data-driven priors
GB201900437D0 (en) 2019-01-11 2019-02-27 Axial Medical Printing Ltd Axial3d big book 2
US11062459B2 (en) * 2019-02-07 2021-07-13 Vysioneer INC. Method and apparatus for automated target and tissue segmentation using multi-modal imaging and ensemble machine learning models
CN111666960B (zh) * 2019-03-06 2024-01-19 南京地平线机器人技术有限公司 图像识别方法、装置、电子设备及可读存储介质
JP2020170408A (ja) * 2019-04-04 2020-10-15 キヤノン株式会社 画像処理装置、画像処理方法、プログラム
US11410766B2 (en) * 2019-06-06 2022-08-09 Varian Medical Systems International Ag Methods and systems for radiotherapy treatment planning based on continuous deep learning
CN112288672B (zh) * 2019-07-10 2023-12-08 富泰华工业（深圳）有限公司 肿瘤检测方法及肿瘤检测装置
WO2021021430A1 (en) * 2019-07-31 2021-02-04 The Joan and Irwin Jacobs Technion-Cornell Institute System and method for region detection in tissue sections using image registration
EP3807845B1 (en) * 2019-08-04 2022-04-27 Brainlab AG Atlas-based location determination of an anatomical region of interest
US10937158B1 (en) * 2019-08-13 2021-03-02 Hong Kong Applied Science and Technology Research Institute Company Limited Medical image segmentation based on mixed context CNN model
EP4390766A3 (en) * 2019-09-20 2024-09-11 Brainlab AG Training a machine learning algorithm using digitally reconstructed radiographs
CN110675488B (zh) * 2019-09-24 2023-02-28 电子科技大学 基于深度学习的创意三维体素模型的建模系统的构建方法
WO2021060899A1 (ko) * 2019-09-26 2021-04-01 주식회사 루닛 인공지능 모델을 사용 기관에 특화시키는 학습 방법, 이를 수행하는 장치
CN110826560B (zh) * 2019-11-06 2023-10-27 山东省计算中心（国家超级计算济南中心） 一种食管癌病理图像标注方法
CN111191500A (zh) * 2019-11-12 2020-05-22 广东融合通信股份有限公司 一种基于深度学习图像分割的光伏屋顶资源识别方法
CN112802028A (zh) * 2019-11-13 2021-05-14 北京深睿博联科技有限责任公司 用于纵膈器官分割的图像处理方法及装置
CN110853043B (zh) * 2019-11-21 2020-09-29 北京推想科技有限公司 影像分割方法、装置、可读存储介质及电子设备
US11842498B2 (en) 2019-12-16 2023-12-12 Siemens Healthineers International Ag Systems and methods for automatic segmentation in medical imaging with multiple anatomical structure segmentation models
EP4213106A1 (en) * 2019-12-19 2023-07-19 Brainlab AG Medical image analysis using machine learning and an anatomical vector
CN111091575B (zh) * 2019-12-31 2022-10-18 电子科技大学 一种基于强化学习方法的医学图像分割方法
CN111402260A (zh) * 2020-02-17 2020-07-10 北京深睿博联科技有限责任公司 一种基于深度学习的医学影像分割方法、系统、终端及存储介质
US20210255638A1 (en) * 2020-02-19 2021-08-19 Positec Power Tools (Suzhou) Co., Ltd. Area Division and Path Forming Method and Apparatus for Self-Moving Device and Automatic Working System
CN111369568B (zh) * 2020-02-20 2022-12-23 苏州浪潮智能科技有限公司 一种图像分割的方法、系统、设备及可读存储介质
TWI783219B (zh) * 2020-04-01 2022-11-11 緯創資通股份有限公司 醫學影像辨識方法及醫學影像辨識裝置
CN111524184B (zh) * 2020-04-21 2024-01-16 湖南视普瑞智能科技有限公司 一种基于3d视觉的智能拆垛方法及拆垛系统
CN111652308B (zh) * 2020-05-13 2024-02-23 三峡大学 基于超轻量级全卷积神经网络的花卉识别方法
EP3923293A1 (en) * 2020-06-09 2021-12-15 Koninklijke Philips N.V. System and method for analysis of medical image data based on an interaction of quality metrics
TWI733487B (zh) * 2020-06-09 2021-07-11 廣達電腦股份有限公司 脊椎壓迫性骨折偵測方法與系統
CN111862255B (zh) 2020-07-17 2024-07-26 上海联影医疗科技股份有限公司 正则化图像重建方法、系统、可读存储介质和设备
US10902291B1 (en) * 2020-08-04 2021-01-26 Superb Ai Co., Ltd. Methods for training auto labeling device and performing auto labeling related to segmentation while performing automatic verification by using uncertainty scores and devices using the same
US10885387B1 (en) * 2020-08-04 2021-01-05 SUPERB Al CO., LTD. Methods for training auto-labeling device and performing auto-labeling by using hybrid classification and devices using the same
US11651499B2 (en) * 2020-09-17 2023-05-16 International Business Machines Corporation Reducing structural redundancy in automatic image segmentation
US11302071B1 (en) 2020-09-24 2022-04-12 Eagle Technology, Llc Artificial intelligence (AI) system using height seed initialization for extraction of digital elevation models (DEMs) and related methods
US11747468B2 (en) 2020-09-24 2023-09-05 Eagle Technology, Llc System using a priori terrain height data for interferometric synthetic aperture radar (IFSAR) phase disambiguation and related methods
US11238307B1 (en) 2020-09-24 2022-02-01 Eagle Technology, Llc System for performing change detection within a 3D geospatial model based upon semantic change detection using deep learning and related methods
US11587249B2 (en) 2020-09-24 2023-02-21 Eagle Technology, Llc Artificial intelligence (AI) system and methods for generating estimated height maps from electro-optic imagery
EP3975037A1 (en) * 2020-09-28 2022-03-30 Siemens Healthcare GmbH Providing a classification explanation and a generative function
US12039007B2 (en) * 2020-10-09 2024-07-16 GE Precision Healthcare LLC Systems and methods of automatic medical image labeling
KR102667231B1 (ko) 2020-12-21 2024-05-20 주식회사 인피니트헬스케어 딥 러닝 알고리듬과 해부학적 특성에 기반한 의료 영상 셋의 컨투어링 시스템 및 방법
WO2022140990A1 (zh) * 2020-12-28 2022-07-07 西安大医集团股份有限公司 医学图像轮廓勾画方法、装置及系统
US11636649B2 (en) 2021-01-06 2023-04-25 Eagle Technology, Llc Geospatial modeling system providing 3D geospatial model update based upon predictively registered image and related methods
US11816793B2 (en) 2021-01-06 2023-11-14 Eagle Technology, Llc Geospatial modeling system providing 3D geospatial model update based upon iterative predictive image registration and related methods
US12008403B2 (en) 2021-01-22 2024-06-11 Bank Of America Corporation System for electronic identification of attributes for performing maintenance, monitoring, and distribution of designated resources
GB202101908D0 (en) 2021-02-11 2021-03-31 Axial Medical Printing Ltd Axial3D pathology
CN112598669B (zh) * 2021-03-04 2021-06-01 之江实验室 一种基于数字人技术的肺叶分割方法
JP2022167159A (ja) * 2021-04-22 2022-11-04 キヤノンメディカルシステムズ株式会社 疑似データ生成装置、疑似データ生成方法および疑似データ生成プログラム
US12020428B2 (en) * 2021-06-11 2024-06-25 GE Precision Healthcare LLC System and methods for medical image quality assessment using deep neural networks
CN113536373B (zh) * 2021-07-07 2023-04-18 河南大学 一种脱敏气象数据的生成方法
US20230097224A1 (en) * 2021-09-28 2023-03-30 Varian Medical Systems, Inc. Ai-based atlas mapping slice localizer for deep learning autosegmentation
CN113963148B (zh) * 2021-10-29 2023-08-08 北京百度网讯科技有限公司 对象检测方法、对象检测模型的训练方法及装置
WO2023152530A2 (en) * 2021-12-10 2023-08-17 Mofaip, Llp Multidimensional anatomic mapping, descriptions, visualizations, and translations
CN114240906A (zh) * 2021-12-21 2022-03-25 浙江工业大学 一种基于图谱的颅底缺失解剖特征点的重建方法
CN114400099A (zh) * 2021-12-31 2022-04-26 北京华彬立成科技有限公司 疾病信息挖掘和检索方法、装置、电子设备和存储介质
WO2023223904A1 (ja) * 2022-05-17 2023-11-23 株式会社アナリティックウェア データ収集装置、学習装置、およびデータ収集方法
WO2024089423A1 (en) * 2022-10-25 2024-05-02 Through Leaves Limited System and method for three-dimensional imaging
CN116052137B (zh) * 2023-01-30 2024-01-30 北京化工大学 一种基于深度学习的古典家具文化属性识别方法及系统
CN117857762B (zh) * 2024-03-08 2024-05-14 深圳市东陆科技有限公司 显示模组的图像处理方法、装置、芯片及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017191248A1 (en) * 2016-05-04 2017-11-09 Koninklijke Philips N.V. Medical atlas registration

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6708184B2 (en) 1997-04-11 2004-03-16 Medtronic/Surgical Navigation Technologies Method and apparatus for producing and accessing composite data using a device having a distributed communication controller interface
US6549646B1 (en) 2000-02-15 2003-04-15 Deus Technologies, Llc Divide-and-conquer method and system for the detection of lung nodule in radiological images
US8543519B2 (en) 2000-08-07 2013-09-24 Health Discovery Corporation System and method for remote melanoma screening
JP2002330951A (ja) 2001-05-11 2002-11-19 Canon Inc 画像符号化装置及び復号装置及び方法及びコンピュータプログラム及び記憶媒体
US6901277B2 (en) 2001-07-17 2005-05-31 Accuimage Diagnostics Corp. Methods for generating a lung report
US7158692B2 (en) 2001-10-15 2007-01-02 Insightful Corporation System and method for mining quantitive information from medical images
US20030228042A1 (en) * 2002-06-06 2003-12-11 Usha Sinha Method and system for preparation of customized imaging atlas and registration with patient images
WO2006114003A1 (en) 2005-04-27 2006-11-02 The Governors Of The University Of Alberta A method and system for automatic detection and segmentation of tumors and associated edema (swelling) in magnetic resonance (mri) images
JPWO2007029467A1 (ja) 2005-09-05 2009-03-19 コニカミノルタエムジー株式会社 画像処理方法及び画像処理装置
WO2008035276A2 (en) 2006-09-22 2008-03-27 Koninklijke Philips Electronics N.V. Methods for feature selection using classifier ensemble based genetic algorithms
CN101952856B (zh) 2008-02-15 2013-03-27 皇家飞利浦电子股份有限公司 用于分割包括子对象的对象的设备
JP2011512999A (ja) 2008-03-04 2011-04-28 トモセラピー・インコーポレーテッド 改良された画像セグメンテーションの方法およびシステム
GB0811671D0 (en) 2008-06-25 2008-07-30 Imp Innovations Ltd Morphological analysis
US8953856B2 (en) 2008-11-25 2015-02-10 Algotec Systems Ltd. Method and system for registering a medical image
EP2194486A1 (en) 2008-12-04 2010-06-09 Koninklijke Philips Electronics N.V. A method, apparatus, and computer program product for acquiring medical image data
US8073220B2 (en) 2009-04-20 2011-12-06 Siemens Aktiengesellschaft Methods and systems for fully automatic segmentation of medical images
GB0917154D0 (en) 2009-09-30 2009-11-11 Imp Innovations Ltd Method and apparatus for processing medical images
US8160357B2 (en) 2010-07-30 2012-04-17 Kabushiki Kaisha Toshiba Image segmentation
US9087259B2 (en) 2010-07-30 2015-07-21 Koninklijke Philips N.V. Organ-specific enhancement filter for robust segmentation of medical images
WO2012021861A2 (en) 2010-08-13 2012-02-16 Mckinnon, Brian William Detection of anatomical landmarks
WO2012058217A2 (en) * 2010-10-29 2012-05-03 The Johns Hopkins University Image search engine
US9710730B2 (en) 2011-02-11 2017-07-18 Microsoft Technology Licensing, Llc Image registration
CN102737379A (zh) 2012-06-07 2012-10-17 中山大学 一种基于自适应学习的ct图像分割方法
US9349186B2 (en) * 2013-02-11 2016-05-24 General Electric Company Systems and methods for image segmentation using target image intensity
US9122950B2 (en) * 2013-03-01 2015-09-01 Impac Medical Systems, Inc. Method and apparatus for learning-enhanced atlas-based auto-segmentation
WO2015003748A1 (en) * 2013-07-11 2015-01-15 Brainlab Ag Generation of a patient-specific anatomical atlas
US9235781B2 (en) 2013-08-09 2016-01-12 Kabushiki Kaisha Toshiba Method of, and apparatus for, landmark location
US9655563B2 (en) 2013-09-25 2017-05-23 Siemens Healthcare Gmbh Early therapy response assessment of lesions
US9406142B2 (en) * 2013-10-08 2016-08-02 The Trustees Of The University Of Pennsylvania Fully automatic image segmentation of heart valves using multi-atlas label fusion and deformable medial modeling
US9668699B2 (en) 2013-10-17 2017-06-06 Siemens Healthcare Gmbh Method and system for anatomical object detection using marginal space deep neural networks
EP2881916B1 (en) 2013-12-06 2018-01-31 Siemens Healthcare GmbH Query-specific generation and retrieval of medical volume images
CN106062782B (zh) 2014-02-27 2020-03-06 皇家飞利浦有限公司 针对基于图集的配准的无监督的训练
US9092691B1 (en) 2014-07-18 2015-07-28 Median Technologies System for computing quantitative biomarkers of texture features in tomographic images
KR20160049897A (ko) 2014-10-28 2016-05-10 삼성전자주식회사 연속적인 의료 영상을 이용한 컴퓨터 보조 진단 장치 및 방법
US9767380B2 (en) 2015-04-13 2017-09-19 Varian Medical Systems International Ag. Image comparison tool tolerant to deformable image matching
US10037603B2 (en) 2015-05-04 2018-07-31 Siemens Healthcare Gmbh Method and system for whole body bone removal and vascular visualization in medical image data
US9684967B2 (en) 2015-10-23 2017-06-20 International Business Machines Corporation Imaging segmentation using multi-scale machine learning approach
US10169871B2 (en) 2016-01-21 2019-01-01 Elekta, Inc. Systems and methods for segmentation of intra-patient medical images
US20170337682A1 (en) 2016-05-18 2017-11-23 Siemens Healthcare Gmbh Method and System for Image Registration Using an Intelligent Artificial Agent
US10695150B2 (en) 2016-12-16 2020-06-30 Align Technology, Inc. Augmented reality enhancements for intraoral scanning
CN107123137B (zh) * 2017-04-28 2020-05-22 上海联影医疗科技有限公司 医学图像处理方法及设备
US10878576B2 (en) 2018-02-14 2020-12-29 Elekta, Inc. Atlas-based segmentation using deep-learning

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017191248A1 (en) * 2016-05-04 2017-11-09 Koninklijke Philips N.V. Medical atlas registration

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Scalable High-Performance Image Registration Framework by Unsupervised Deep Feature Representations Learning";WU GUORONG ET AL.;《IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING,IEEE SERVICE CENTER,PISCATAWAY,NJ,USA》;20160730;第1505-1516 *
"串行处理卷积神经网络的海马子区分割";时永刚等;《中国图象图形学报》;20180131;第74-83页 *

Also Published As

Publication number Publication date
EP3752981A1 (en) 2020-12-23
US20190251694A1 (en) 2019-08-15
JP2021131872A (ja) 2021-09-09
US20210090265A1 (en) 2021-03-25
AU2019222619B2 (en) 2020-11-19
JP7181963B2 (ja) 2022-12-01
US11710241B2 (en) 2023-07-25
JP2021508572A (ja) 2021-03-11
JP6876204B2 (ja) 2021-05-26
EP3752981B1 (en) 2024-05-01
CN114037726A (zh) 2022-02-11
CN111727458A (zh) 2020-09-29
US10878576B2 (en) 2020-12-29
AU2019222619A1 (en) 2020-09-24
WO2019160850A1 (en) 2019-08-22

Similar Documents

Publication Publication Date Title
CN111727458B (zh) 使用深度学习的基于图谱集的分割
CN112041026B (zh) 用于生成放射疗法剂量分布的方法和系统
CN112204620B (zh) 使用生成式对抗网络的图像增强
US11954761B2 (en) Neural network for generating synthetic medical images
US11083913B2 (en) Machine learning approach to real-time patient motion monitoring
US20210046327A1 (en) Real-time patient motion monitoring using a magnetic resonance linear accelerator (mrlinac)
US10751548B2 (en) Automated image segmentation using DCNN such as for radiation therapy
EP3405909B1 (en) Systems and methods for segmentation of intra-patient medical images
US11996178B2 (en) Parameter search in radiotherapy treatment plan optimization
CN114072845A (zh) 使用具有可变形层的CycleGAN的SCT图像生成
CN114401768A (zh) 使用机器学习的放射疗法治疗计划优化

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant