CN109690554A - 用于基于人工智能的医学图像分割的方法和系统 - Google Patents

Abstract

公开了用于基于人工智能的医学图像分割的方法和系统。在用于自主的基于人工智能的医学图像分割的方法中，接收患者的医学图像。基于所述医学图像来自动确定当前分割上下文，并且基于所述当前分割上下文来从多个分割算法中自动选择至少一个分割算法。通过使用所选至少一个分割算法来在医学图像中分割目标解剖结构。

Description

用于基于人工智能的医学图像分割的方法和系统

本申请要求2016年7月21日提交的申请号为62/365,032的美国临时申请以及2016年10月31日提交的申请号为62/414,913的美国临时申请的权益，所述申请的公开内容通过引用以其全部被并入本文中。

背景技术

本申请涉及对医学图像的基于计算机的分割，并且更具体地涉及对医学图像中目标结构的基于计算机的、基于人工智能的分割。

医学图像分割是一种重要的技术，其支持来自诊断、患者分层、治疗计划、干预、和跟进的整个临床成像工作流。医学图像分割涉及对患者医学图像中的结构、诸如器官、脉管、不同类型的组织、病理、医学设备等等的边界的检测。解剖对象的自动分割是对于许多医学图像分析任务、诸如运动追踪、疾病诊断和量化的先决条件。医学图像配准被使用在大量应用中以检测各种不同医学成像模态中的各种解剖对象或其它结构，所述医学成像模态诸如计算机断层扫描（CT）、磁共振成像（MRI）、超声、x-射线、DynaCT、正电子发射断层扫描（PET）、腹腔镜检查的/内窥镜检查的成像等等。在许多应用中，由于低对比度、图像噪声、或其它成像模糊性，自动医学图像分割是有挑战性的。由于医学图像分割可以被应用到的大范围的应用，开发一种稳健地对于所用用途都起作用的一般性医学图像分割方法是有挑战性的。

发明内容

本发明提供用于对医学图像的基于人工智能的分割的方法和系统。本发明的实施例提供多种基于人工智能的医学图像分割方法，包括多种不同的基于深度学习的医学图像分割方法。本发明的实施例还提供用于自主的基于人工智能的医学图像分割的方法和系统，其中经训练的智能人工代理执行对分割任务的智能自动化识别，以及对分割算法的智能自动化选择和应用。这允许智能人工代理被应用以智能地执行各种不同的分割任务，包括对不同解剖结构的分割以及在不同医学成像模态中的分割。

在本发明的一个实施例中，接收患者的医学图像。基于医学图像来自动地确定当前分割上下文，并且基于所述当前分割上下文而从多个分割算法中自动地选择至少一个分割算法。通过使用所选择的至少一个分割算法而在医学图像中分割目标解剖结构。

通过参考以下详细描述和附图，本发明的这些和其它优点对于本领域普通技术人员而言将是显而易见的。

附图说明

图1图示了根据本发明实施例的用于智能自主医学图像分割的系统；

图2图示了根据本发明实施例的用于智能自主医学图像分割的方法；

图3图示了根据本发明实施例的通过使用联合学习框架来整合先验而为解剖对象分割训练深度学习架构的方法；

图4图示了根据本发明实施例的用于训练DNN架构的联合训练框架；

图5图示了根据本发明实施例的通过使用具有所整合的先验的深度神经网络来分割目标解剖结构的方法；

图6图示了使用图5的方法而在3D超声心动图中的左心室分割的示例性分割结果；

图7图示了根据本发明实施例的用于医学图像中非刚性解剖对象的基于深度加强学习（DRL）分割的方法；

图8图示了使用常规自动化界标检测算法而在超声图像中的示例性解剖界标检测结果；

图9图示了根据本发明实施例的用于通过使用深度图像对图像网络（DI2IN）和多尺度概率图（probability map）而在医学图像中进行界标检测或解剖对象分割的方法；

图10图示了根据本发明实施例的为输入医学图像预测多尺度概率图的示例性DI2IN；

图11图示了在肾脏和肝脏2D超声图像中的示例性界标检测结果；

图12图示了根据本发明实施例的用于基于深度学习部分推断的医学图像分割的框架；

图13图示了根据本发明实施例的用于基于深度学习部分推断的医学图像分割的方法；

图14图示了示例性综合的部分心肌分割结果；

图15图示了使用图13的方法而在CMR图像中的心肌分割的渐进分割结果的示例；

图16图示了根据本发明实施例的用于将主动形状模型（ASM）拟合到医学图像以分割目标解剖结构的方法；

图17图示了图像中的目标解剖结构的示例性形状；

图18图示了示例性RNN架构；

图19图示了根据本发明实施例的用于特征级别监督迁移学习的框架；

图20图示了根据本发明实施例的用于通过使用特征级别监督迁移学习来训练CNN的方法；

图21A、21B和21C图示了使用图19中所图示的框架的图20的方法的方法步骤；

图22图示了根据本发明实施例的用于跨域层次的特征级别监督迁移学习的框架；

图23图示了根据本发明实施例的用于通过使用特征通道滤波来近似CNN架构的方法；

图24图示了根据本发明实施例的输入2D图像的示例性HighConv模块；以及

图25是能够实现本发明的计算机的高级框图。

具体实施方式

本发明涉及医学图像中基于人工智能的分割。在本文中描述本发明的实施例来给出对医学图像分割方法的可视理解。数字图像通常由一个或多个对象（或形状）的数字表示所组成。在本文中通常在标识和操作对象方面描述对象的数字表示。这样的操纵是在计算机系统的存储器或其它电路/硬件中所实现的虚拟操纵。因此，要理解的是，本发明的实施例可以在计算机系统内、通过使用计算机系统内所存储的或通过网络系统可得到的数据被执行。

医学图像分割涉及在患者医学图像中的结构、诸如器官、脉管、不同类型的组织、病理、医学器件等等的边界的检测。本发明的实施例提供多种基于人工智能的医学图像分割方法，包括多种不同的基于深度学习的医学图像分割方法。本发明的实施例还提供用于自主的基于人工智能的医学图像分割的方法和系统，其中经训练的智能人工代理执行对分割任务的智能自动化识别，以及对分割算法的智能自动化选择和应用。

自主的基于人工智能的医学图像分割

在本发明的有利实施例中，用于自主的基于人工智能的医学图像分割的方法和系统利用经训练的智能人工代理来执行对分割任务的智能自动化识别以及对分割算法的智能自动化选择和应用。这允许智能人工代理被应用以智能地执行各种不同的分割任务，包括不同解剖结构的分割以及在不同医学成像模态中的分割。智能人工代理可以智能地从多个分割算法中选择分割算法中的一个或组合，以执行针对各种解剖对象、医学成像模态和/或各种成像域或图像品质的医学图像分割。因此，代替于用户必须选择适当的分割技术来执行特定的分割任务，人工智能代理可以用于智能地并且自主地选择和应用最优分割算法或分割算法的组合来用于任何分割任务。

图1图示了根据本发明实施例的用于智能自主医学图像分割的系统。如图1中所示，主分割人工代理102在计算机系统100上运行。计算机系统100与一个或多个图像获取设备104、图片存档和通信系统（PACS）106、以及分割算法数据库108通信。计算机系统100可以通过使用任何类型的计算机设备来被实现并且包括计算机处理器、存储器单元、存储设备、计算机软件和其它计算机组件。在一个实施例中，计算机系统100可以通过使用关于图像获取设备104和/或PACS 106的本地计算机设备来被实现。在可能的实现方式中，运行主分割人工代理102与图像获取设备104的计算机系统100可以被实现为单个设备。在另一可能的实现方式中，运行主分割人工代理102的计算机系统可以被实现为PACS 106的部分。在另一可能的实现方式中，运行主分割人工代理102的计算机系统100可以被实现或为分离的本地计算机设备（例如工作站），其无线地或经由直接有线连接而与图像获取设备104和/或PACS104通信。在可能的实施例中，运行主分割人工代理102的计算机系统可以是移动设备，诸如智能电话或平板设备。在另一可能的实施例中，运行主分割人工代理102的计算机系统100可以通过使用基于云的计算机系统上的一个或多个联网计算机设备而被实现在远程基于云的计算机系统上。在该情况中，患者的医学图像可以被传输到基于云的计算机系统的服务器，主分割人工代理102可以作为基于云的服务的部分被运行以执行医学图像配准，并且分割结果然后可以被返回到本地计算机设备。

图像获取设备104可以是任何类型的医学图像获取设备，诸如CT扫描仪、MR扫描仪、C臂图像获取设备、超声设备等等。可以通过使用图像获取设备104来获取患者的医学图像，并且医学图像可以被发送到运行主分割人工代理102的计算机系统100和/或被存储在PACS 106中。不同医学成像模态的多个图像获取设备104可以与运行主分割人工代理102的计算机系统100通信。PACS 106以数字格式存储针对各个患者的各种模态的医学图像。例如，PACS 106可以使用医学中的数字成像和通信（DICOM）格式来用于医学图像的存储和传递。运行主分割人工代理102的计算机系统100可以检索在PACS 106中所存储的医学图像。从医学图像中提取的分割结果还可以被存储在PACS 106中。

分割算法数据库108存储多个基于自动化人工智能的分割算法。被存储在分割算法数据库108中的每个分割算法包括一组计算机程序指令，所述计算机程序指令定义用于自动医学图像分割的基于计算机的方法。当主分割人工代理102 分割算法数据库108中所存储的分割算法中的一个或多个以执行医学图像分割任务的时候，对应的计算机程序指令可以被加载到计算机系统100的存储器中，可以运行在计算机系统100的一个或多个处理器上，以执行分割任务。在可能的实现方式中，分割算法数据库108可以被存储在运行主分割人工代理102的计算机系统100的存储设备中。在另一可能的实现方式中，运行主分割人工代理102的计算机系统100可以经由本地网络来访问分割算法数据库108。在另一可能的实现方式中，分割算法数据库108可以被存储在基于云的计算机系统中，并且运行主分割人工代理102的计算机系统100可以通过数据网络、诸如因特网、经由远程服务器来访问分割算法数据库108。

被存储在分割算法数据库108中的分割算法可以包括多个基于深度学习的医学图像分割方法，其中的每一个包括用于执行医学图像分割的相应的经训练的深度神经网络架构。例如，分割算法可以包括下述基于深度学习的分割算法，包括使用通过联合训练而整合了形状先验的深度神经网络（DNN）的分割，使用深度加强学习的非刚性形状分割方法，使用域移位下的基于深度学习的部分推断建模的分割，使用深度图像对图像网络和多尺度概率图的分割，以及使用递归神经网络（RNN）的基于主动形状模型的分割。分割算法数据库也可以包括其它基于深度学习的分割算法，诸如在以下文献中所述的边际空间深度学习（MSDL）和边际空间深度回归（MSDR）分割方法：2017年6月6日发布的、题为“Method and Systemfor Anatomical Object Detection Using Marginal Space Deep Neural Networks”的、专利号为9,668,699的美国专利，以及2016年2月26日提交的、题为“Method and Systemfor Anatomical Object Detection Using Marginal Space Deep Neural Networks”的、专利公布号为2016/0174902的美国专利，这些的公开内容通过引用以其全部被并入本文中。还有可能的是：分割算法数据库108还可以存储各种其它基于非深度学习的分割算法，包括但不限于基于机器学习的分割方法（例如基于边际空间学习（MSL）的分割）、图形切割分割方法、基于区生长的分割方法、以及基于图谱（atlas）的分割方法。

分割算法数据库108存储每个分割算法的多个版本，其对应于不同的目标解剖结构和不同的医学成像模态。对于基于深度学习的分割算法，与特定目标解剖结构和特定医学成像模态相对应的每个版本包括相应的经训练的深度网络架构，所述架构具有为了该成像模态中的该目标解剖结构的分割而学习的参数（权重）。对于特定的解剖结构和特定的成像模态，分割算法数据库108还可以存储与不同成像域和/或图像品质水平相对应的多个版本。例如，对于CT分割任务，不同版本的分割算法可以包括通过使用高剂量和低剂量CT训练图像所训练的深度学习架构。类似地，可以通过使用具有不同信噪比的图像来训练和存储不同的深度学习架构。因此，当主分割人工代理102从在分割算法数据库108中所存储的那些中选择一个或多个分割算法的时候，主分割人工代理102不仅选择要应用的分割算法的类型，而且还选择对于执行当前分割任务而言最好的特定版本的分割算法。

主分割人工代理102是经训练的智能人工代理，其基于患者的医学图像而自动识别当前分割上下文，并且自动在分割算法数据库108中选择分割算法中的一个或多个，用于基于当前的分割上下文来执行医学图像的分割。主分割人工代理102是智能人工代理，其通过执行被加载到存储器中的计算机程序指令（代码）而被实现在计算机系统100的一个或多个计算机或处理器上。主分割人工代理102观察待分割的医学图像，并且自主地起作用来选择分割策略，这使用通过用机器学习所学习的分割策略。

根据有利的实施例，主分割人工代理102可以为不同的图像类型、成像域和图像品质选择最优分割策略。随着医学成像扫描仪技术进步，通过扫描仪所产生的医学成像数据在一段时间上改变。该改变典型地以技术参数来显现，所述技术参数诸如图像分辨率、噪声特性等等。例如，随着低剂量CT成像的出现，图像的信噪比相当大地不同于通过非低剂量CT扫描仪所生成的图像中的信噪比。另一示例是由MR扫描仪、利用基于经压缩的感测的重构而产生的图像。尚未在这样的新图像的大数据库上被训练的经预训练的分割算法可能没有在这些新图像上推广的能力。主分割人工代理102可以自动地管理和调配一组分割算法以实现所期望的分割任务。例如，主分割人工代理102可以首先分析待分割的医学图像，并且基于医学图像的分析，确定具有将为目标分割任务实现最佳分割结果的参数设置的一个或多个分割算法的版本。主分割人工代理102可以选择单个分割算法（版本）来执行分割，或可以选择多个分割算法，并且然后融合来自所选分割算法的分割结果，并且输出经统一的分割结果。

主分割人工代理102还可以执行分割算法的在线适配。例如，主分割人工代理102可以基于新的训练数据而控制分割算法数据库108中待重训练的一个或多个分割算法。在可能的实施例中，被存储在分割算法数据库108中的一个或多个分割算法可以是具有所获取的、通过使用公共可用的数据而被预训练或训练的相应经训练的深度神经网络的深度学习分割算法，并且主分割人工代理102可以控制待通过使用特定于临床地点的领域的图像数据来被重训练的那些分割算法，在所述临床地点，主分割人工代理102运行或使用对于该临床地点而言私有的图像数据。以此方式，主分割人工代理102可以在不将私有患者数据传输到外方用于训练的情况下更特别地针对在临床位置处执行的特定分割任务来特制分割算法数据库108中可用的经训练的深度学习分割算法。

主分割人工代理102可以基于训练数据而被训练，所述训练数据包括医学图像以及针对给定分割任务的已知地面实况分割结果。可以通过使用分割算法数据库108中所存储的分割算法中的每一个而在训练样本中的每一个上执行分割，并且结果得到的分割结果可以与地面实况分割结果相比较，以计算针对每个分割算法的置信度量。还可以通过将真实医学图像训练样本转换成具有不同成像特性（例如噪声水平、分辨率等等）的合成图像而从真实的医学图像训练样本中生成合成训练样本。例如，可以从正常剂量CT图像中生成合成的高剂量和/或低剂量CT图像，或可以生成具有随机添加的图像噪声的合成图像。还通过使用每个分割算法来分割具有不同特性的合成图像，并且基于合成样本来计算针对分割算法的置信水平。然后基于训练数据（真实的以及合成的）来训练基于机器学习的映射，用于基于输入图像的图像特性来选择最佳分割算法或分割算法的组合。例如，可以针对深度学习技术、诸如深度加强学习来训练深度神经网络（DNN），以基于待分割的医学图像的特性来选择针对给定分割任务的一个或多个分割算法。在运行时，当接收到待分割的医学图像的时候，主分割人工代理102使用基于经训练的机器学习的映射来选择最佳分割算法或分割算法的组合，用于基于所接收的医学图像的图像特性来执行分割任务。在其中主分割人工代理102使用经训练的DNN来选择所述一个或多个分割算法的示例性实施例中，医学图像数据可以被直接输入到经训练的DNN，所述经训练的DNN可以自动提取用于确定要选择哪个或哪些分割算法的特性或特征。

在另一有利实施例中，主分割人工代理102可以被应用以跨多个不同的目标解剖体和成像模态而选择最优分割策略。典型地，利用特定的使用上下文来设计和优化医学图像分割算法。例如，被设计用于分割管状结构的算法一般很好地执行在动脉和静脉中，而被设计用于“团”状结构的算法很好地适合用于诸如心脏、大脑、肝脏等等之类的器官。主分割人工代理102可以自动地标识使用上下文（例如待分割的目标解剖结构），并且自动地在用于不同目标解剖结构的不同分割算法之间切换。

基于机器学习的分类器（例如概率提升树（PBT）、随机森林分类器、深度神经网络（DNN）等等）可以被训练以在医学图像的视图中识别解剖实体。在可能的实现方式中，当用户在屏幕上可视化医学图像时，经训练的分类器可以被应用以自动地检测在屏幕上当前正可视化一个或多个什么解剖结构。主分割人工代理102然后可以选择一个或多个分割算法来用于分割当前正在屏幕上可视化的一个或多个解剖结构。例如，如果用户当前正在屏幕上可视化包括心脏的医学图像的一部分，则可以由主分割人工代理102自动发起特定于心脏的分割算法。如果然后用户在主动脉中点击，则于是可以由主分割人工代理102自动发起血管分割。以此方式，不需要用户拾取和选择不同的分割算法来用于实现不同的分割任务。当分割算法数据库108中的多个分割算法可以用于分割特定解剖结构的时候，主分割人工代理102可以利用如上所述那样被训练的基于机器学习的映射（例如DNN），以基于待分割的医学图像的医学成像模态和/或其它图像特性来选择用于分割任务的最佳分割算法。

尽管主分割人工代理102自主地起作用来选择一个或多个分割算法，但是在可能的实现方式中，可以为用户（或临床地点）提供手动超控（override）选项（例如在显示设备上所显示的用户接口上），所述手动超控选项允许用户超控于主分割人工代理102并且手动地选择特定分割算法。控制手动超控使用的规则可以由用户定义和/或调整。

图2图示了根据本发明实施例的用于智能自主医学图像分割的方法。参考图2，在步骤202处，接收患者的医学图像。医学图像可以是2D图像、3D图像或4D（3D+时间）图像。可以通过使用任何医学成像模态、诸如计算机断层扫描（CT）、磁共振成像（MRI）、超声、x-射线、DynaCT、正电子发射断层扫描（PET）等等来获取医学图像。可以直接从图像获取设备104、诸如CT扫描仪、MRI扫描仪、超声设备、C-臂图像获取设备等等接收医学图像，或可以通过从计算机系统（例如PACS 106）的存储器或存储装置加载先前存储的医学图像或以电子传输从另一计算机系统接收医学图像来接收医学图像。

在步骤204处，基于医学图像来自动确定当前分割上下文，并且基于所述当前分割上下文来自动选择一个或多个分割算法。自动确定的当前分割上下文可以包括以下中的任一个或全部：待分割的一个或多个目标解剖结构、当前成像模态、和/或所接收的医学图像的其它图像特性（例如噪声水平、分辨率等等）。在有利的实施例中，主分割人工代理102可以利用基于机器学习的分类器来在所接收的医学图像中自动标识一个或多个解剖结构。主分割人工代理102然后可以从分割算法数据库108中自动选择分割算法或分割算法的组合，用于执行所标识的一个或多个目标解剖结构的分割。主分割人工代理102可以利用基于经训练的机器学习的映射（例如DNN）来在能够执行所标识的一个或多个目标解剖结构的分割的多个分割算法之间进行选择。基于机器学习的映射还可以考虑成像模态和/或其它成像特性。在另一有利的实施例中，主分割人工代理102可以利用基于经训练的机器学习的映射（例如DNN）来在分割算法数据库108中选择具有最优参数设置的分割算法或分割算法组合，以用于基于所接收的医学图像的图像特性（例如噪声分辨率等等）来在所接收的医学图像中执行分割。与各种目标解剖结构、成像模态、成像域/图像品质等等相对应的各种分割算法的多个版本可以被存储在分割算法数据库108中。分割算法的每个版本可以被解释成分离的分割算法，并且当主分割人工代理102“选择分割算法”的时候，要理解的是，主分割人工代理102选择分割算法的特定版本。

在步骤206处，通过使用所选择的一个或多个分割算法来分割医学图像中的目标解剖结构。特别地，与所选的一个或多个分割算法相对应的计算机程序指令被加载到计算机系统的存储器中，并且由计算机系统的一个或多个处理器执行以履行医学图像中的目标解剖结构的分割。在以下描述与各种基于人工智能的分割算法相关的附加细节。

在步骤208处，输出分割结果。可以通过在计算机系统的显示设备上显示分割结果来输出分割结果。在其中单个分割算法在步骤204中被选择并且在步骤206中用于执行分割的情况中，输出来自所选分割算法的分割结果。在其中多个分割算法在步骤204中被选择并且在步骤206中用于执行分割的情况中，来自多个分割算法的多个分割结果被融合到单个分割结果中，所述单个分割结果被输出。例如，可以通过如下来融合多个分割结果：通过使用未加权平均值来对分割结果求平均值，或通过根据步骤204中自动选择（例如通过使用所训练的DNN）的分割策略而对来自不同分割算法的分割结果进行加权。

在可能的实施例中，可以要么自动地要么基于用户输入地确定分割结果是否是可接受的或者是否需要附加的处理。如果确定了需要附加处理，则方法可以返回到步骤204，在该处，可以选择一个或多个附加分割算法，并且来自所述一个或多个附加分割算法的分割结果可以与先前的分割结果组合或取代先前的分割结果。

在以下描述各种基于人工智能的医学图像分割方法。这些方法、连同其它现有分割方法，可以被存储在分割算法数据库108中并且被使用在图2的方法中。而且，本文中所述的分割方法中的每一个也可以被用作独立的医学图像分割方法。

通过经由联合训练而将先验整合到深度神经网络中的器官/解剖对象分割

自动器官分割在医学图像分析中是基本的，但是尽管在开发分割方法中的众多努力却仍是有挑战的任务。基于机器学习的方法已经被示出为是强有力的工具，并且在医学图像分割中已经有所成功。考虑到在标注情况下的有限数据，整合先验和领域知识对于改善分割准确性和稳健性而言是重要的。一个这样的先验是形状。将形状先验显式地建模为分割流水线中分离的模块、诸如通过使用主动形状模型已经展示了对于使分割正则化的显著正面影响。在深度学习方面的新近趋势示出了端对端学习系统对于允许真实地用数据驱动分割而言是可行并且有利的。然而，如何将先验、诸如形状先验整合到深度神经网络（DNN）中仍未被解决并且具有挑战性。本发明的该实施例提供了一种用于将先验整合到深度神经网络中以用于医学图像中的器官（或其它解剖对象）分割的方法。

在本发明的该实施例中，联合学习框架用于整合先验，以提升用于器官分割的深度神经网络的建模能力。在有利的实现方式中，得自分割任务的距离图（distance map）可以被用作隐式形状先验，并且可以结合距离图来学习/训练分割DNN。另外，根据其它先验的一个、多个主要目标分割DNN可以被引入以用于正则化，从而帮助改善模型性能。这样的学习框架不限于距离图的整合，而是也可以类似地被应用以整合其它先验。如与常规的基于计算机的分割方法相比，该实施例提供最终分割结果的经改善的准确性，因为附加的信息被整合到执行分割的深度学习架构中。

图3图示了根据本发明实施例的用于通过使用联合学习框架来整合先验而训练深度学习架构用于解剖对象分割的方法。参考图3，在步骤302处，获得或生成训练图像和对应的地面实况分割（分割掩码）。可以通过从数据库中加载医学图像和地面实况分割来获得具有已经现有的地面实况分割的医学图像。没有地面实况分割的医学图像可以被手动标注以生成地面实况分割。

在步骤304处，为每个训练图像生成一个或多个先验。根据有利的实施例，为每个训练图像生成距离图，并且所述距离图被用作隐式形状先验。通过使用对应的地面实况分割掩码来生成针对每个训练图像的距离图。特别地，对于给定的训练图像，通过为每个像素/体素指派与从该像素/体素到目标解剖结构上最近点的距离相对应的强度值来生成距离图。也可以为每个训练图像生成其它先验。例如，根据所标注的掩码/轮廓，可以生成梯度图来为边缘定向提供先验。一般而言，根据训练数据所计算的任何衍生物/特征图（featuremap）可以在本发明中被用作先验。这样的所得到的先验可以充当正则项，以有助于优化神经网络训练和在线性能。

在步骤306处，基于为训练图像所生成的地面实况分割（分割掩码）和先验来联合地训练深度神经网络（DNN）架构。图4图示了根据本发明实施例的用于训练DNN架构的联合训练框架。如图4中所示，DNN架构400包括多个组件网络（）以及融合网络（i=0），并且融合网络和组件网络的权重通过使用联合训练来被学习，以最小化最终损失函数，所述最终损失函数是所有网络的单独损失函数的组合：。通过在联合训练期间的误差后向传播，这些组件网络将影响并且正则化彼此。

组件网络是深度神经网络，其被训练成根据输入医学图像来估计分割掩码（i=1）和一个或多个先验（）。如图4中所示，网络1是在分割掩码上训练的深度神经网络，并且网络2是在距离图上训练的深度神经网络。网络1输入医学图像并且估计分割掩码，并且针对网络1的损失函数（Loss1）是在训练样本集合上的地面实况分割掩码与所估计的分割掩码之间的误差。网络2输入医学图像并且估计距离图，并且针对网络2的损失函数（Loss2）是在训练样本集合上的地面实况距离图（在步骤304中所生成的）与所估计的距离图之间的误差。其它先验也可以被使用，以训练附加的组件网络，尽管还可能的是除了分割掩码和距离图之外不使用任何附加的先验。融合网络（i=0）输入通过组件网络（）所估计的分割掩码和先验，并且学习权重，从而组合组件网络的各种输出来最小化如下损失函数（Loss0），所述损失函数（Loss0）是在通过融合网络所输出的最终分割结果与训练样本集合上的地面实况分割结果之间的误差。不预定义融合网络中的组合权重，而是从训练数据中学习。

整个DNN架构400是端对端（即从输入原始图像数据到针对医学图像的像素/体素的输出标签，其提供分割结果）深度神经网络。训练过程也端对端地被执行，其使用众所周知的后向传播优化方法来学习权重，所述权重最小化最终损失函数。在有利的实施例中，每个组件网络、即网络i是深度神经网络。在示例性实现方式中，每个组件网络、即网络i可以是全卷积网络（FCN），但是本发明不限于此，并且也可以使用其它深度网络架构。在该示例性实现方式中，整个医学图像可以被输入到每个组件网络。融合/级联网络（i=0）可以被实现为单层或深度神经网络。在可能的实现方式中，组件网络可以被单独地预训练，然后馈送用于联合训练。根据先验的不同种类，针对不同先验的深度神经网络在其架构中可以是异构的。图4中所图示的框架的一个优点是：它是模块化的并且可以容易地被扩展。也就是说，通过添加附加的组件网络，可以容易地整合附加的先验。框架也是灵活的，因为在各种损失上的聚焦可以被调整以将DNN架构适配到不同的分割任务。一旦训练了具有所整合的先验的DNN架构，所训练的DNN架构就可以被存储在计算机系统的存储器或存储设备中，并且用于执行新接收的医学图像的在线分割。

图5图示了根据本发明实施例的用于通过使用具有所整合的先验的深度神经网络来分割目标解剖结构的方法。例如，图5的方法可以用于器官分割。参考图5，在步骤502处，接收患者的医学图像。医学图像可以是2D图像、3D图像或4D（3D+时间）图像。可以通过使用任何医学成像模态、诸如计算机断层扫描（CT）、磁共振成像（MRI）、超声、x-射线、DynaCT、正电子发射断层扫描（PET）等等来获取医学图像。可以直接从图像获取设备、诸如CT扫描仪、MRI扫描仪、超声设备、C-臂图像获取设备等等接收医学图像，或可以通过从计算机系统的存储器或存储装置加载先前存储的医学图像或以电子传输从另一计算机系统接收医学图像来接收医学图像。

在步骤504处，通过使用具有一个或多个所整合的先验的经训练的DNN来在医学图像中分割目标解剖结构（例如器官）。如以上在图3和图4中所述的那样训练具有所整合的先验的经训练的DNN。经训练的DNN包括组件网络，包括基于分割掩码所训练的组件网络、基于先验所训练的一个或多个组件网络、以及融合网络。在示例性实现方式中，经训练的DNN包括基于分割掩码所训练的第一组件网络以及基于距离图所训练的第二组件网络。医学图像的原始图像数据被输入到经训练的DNN，并且单独的分割结果通过使用组件网络（）来被计算。单独的分割结果然后被输入到融合网络（i=0），并且融合网络融合单独的分割结果以生成最终分割结果。

在步骤506处，分割结果被输出。特别地，从经训练的DNN的融合网络所生成的最终分割结果被输出。可以通过在计算机系统的显示设备上显示分割结果来输出分割结果。

图6图示了使用图5的方法的3D超声心动图中的左心室分割的示例性分割结果。如图6中所示，示出了经分割的左心室的分割掩码602被叠覆在原始2D超声心动图图像上。对于左心室分割，14075幅图像被随机地选择以用于训练DNN架构，并且1453幅其余的图像被用于基准测试（benchmarking）。包括两个组件网络：通过使用具有两层级输出的VGG-FCN8s来实现用于学习分割掩码的主要目标网络，所述两层级输出即目标和背景；以及通过使用VGG-FCN8s、但是利用64层级输出来实现针对距离图的组件网络。标准Dice系数被用于准确性评估。表1示出了如与仅仅使用掩码的准确性相比的、使用掩码和距离图的联合估计的准确性。在表1中可以观察上述分割方法的功效，因为如与仅有掩码相比，在联合估计的情况下，准确性增大。

表1

Dice系数	均值	标准	中值
				仅仅掩码	0.7220	0.1468	0.7612
联合（掩码+距离图）	0.7997	0.0934	0.8160

用于医学图像中的非刚性形状分割的深度加强学习

自动地分割医学图像中的目标对象对于疾病量化和诊断而言通常是先决条件。边际空间学习（MSL）是用于医学图像中的对象检测/分割的高效的基于机器学习的方法。MSL已经被应用于对各种医学成像模态（例如CT、MR、超声、X射线等等）中的各种器官（例如心脏腔室、肝脏、肾脏、肺等等）进行分割。然而，对于具有大形状变化的某些非刚性对象、诸如肝脏而言，MSL的分割准确性需要进一步改善。相比于其它器官，肝脏尤其难以分割。肝脏是人体中最大的器官并且它是高度可变形的。由于来自近邻器官、诸如心脏、肾脏、和胃的力，肝脏的形状改变量大。

在MSL中，非刚性形状分割被拆分成两个阶段：姿态估计和边界划定。姿态估计被规划为参数估计问题（即，估计3D对象的九个姿态参数：三个平移参数、三个旋转参数、和三个缩放参数）。主动形状模型（ASM）用于边界划定，其中迭代的局部搜索被应用于每个表面网格点。ASM没有用于优化的显式目标函数，并且整个系统不是端对端地被训练。

在该实施例中，非刚性形状分割任务（例如CT或MRI图像中的肝脏分割）被规划为参数估计问题。非刚性形状被表示为一组参数。根据有利实施例，深度加强学习（DRL）被用于训练深度神经网络（DNN）以估计医学图像中的非刚性对象（例如肝脏）的形状参数。

存在用于表示非刚性形状的许多方式。在有利的实现方式中，使用统计形状模型，因为它可以利用几个参数来捕获主要变形模式。在离线训练阶段中，基于经标注的训练数据来生成目标解剖对象的统计形状模型。为了构建统计形状模型，使用N个形状，并且每一个由具有解剖体中对应性的M个点表示。堆叠这些M个点的3D坐标导致3M维向量，以表示形状i。为了移除相对的平移、定向和缩放，所有形状首先可以通过使用广义普鲁克（Procrustes）分析被联合地对准以得到对准的形状： 。均值形状被计算为经对准的形状的简单平均值。这N个对准的形状所跨的形状空间可以被表示为一线性空间，其具有个本征向量，这基于主分量分析（PCA）。

经对准的形状空间中的新形状y可以被表示为：

其中是PCA系数，并且e是针对残余误差的3M维向量。通过使用统计形状模型，非刚性形状可以被参数化地表示为（），其中分别表示平移、旋转和缩放，以将经对准的空间中的非刚性形状转移回到世界坐标系。利用该表示，非刚性形状分割（或边界划定）可以被转换成参数估计问题。在所有这些参数之中，是固定的，并且e足够小，如果K足够大（即具有足够的训练形状）的话。因此，我们仅仅需要估计。可以注意到，MSL仅仅估计变换的刚性部分。

根据有利的实施例，DRL用于训练DNN以搜索刚性和非刚性形状参数二者。DRL不执行参数空间的穷举搜索（即测试形状参数的所有可能的组合）。给定参数的初始猜测，DRL遵循到最优解的特定路径（通过所学习的策略来确定），因此它是非常高效的。DRL是递增的搜索途径，其不同于基于回归的途径。基于回归的途径潜在地可以直接输出最终形状参数，其开始于初始猜测。代替地，DRL执行形状参数的递增更新。在每个迭代下，通过固定的小量来更新一个形状参数（增大或减小参数值）。例如，对于对象定位搜索，当前的猜测可以在一个方向（即针对3D对象的x、y或z）上被移位一个像素（+1或-1）。因此，DRL在搜索过程期间可以容忍偶尔的误差。

DRL用于学习如下策略：所述策略用于基于训练样本集合来估计表示非刚性形状的参数。所学习的策略基于输入训练样本的所观察的状态而将奖励指派给与调整各种参数相对应的动作。DNN、诸如卷积神经网络（CNN）被训练以估计在所述训练样本集合上与奖励最佳地匹配的各种动作的动作值。因此，对于表示医学图像中非刚性形状的参数集合的当前状态，经训练的DNN基于所学习的策略来预测与对每个参数的调整相对应的动作值。具有最高预测动作值的参数调整被执行，并且过程被迭代以递增地调整参数，用以找到最佳地表示医学图像中非刚性形状的最终参数集合。

图7图示了根据本发明实施例的用于对医学图像中非刚性解剖对象的基于DRL的分割的方法。在示例性实施例中，图7的方法可以用于医学图像中的肝脏分割。参考图7，在步骤702处，接收患者的医学图像。医学图像可以是2D图像、3D图像、或4D（3D+时间）图像。可以通过使用任何医学成像模态、诸如计算机断层扫描（CT）、磁共振成像（MRI）、超声、x-射线、DynaCT、正电子发射断层扫描（PET）等等来获取医学图像。可以直接从图像获取设备、诸如CT扫描仪、MRI扫描仪、超声设备、C-臂图像获取设备等等接收医学图像，或可以通过从计算机系统的存储器或存储装置加载先前存储的医学图像或以电子传输从另一计算机系统接收医学图像来接收医学图像。

在步骤704处，初始化对待分割的解剖对象的形状进行表示的参数化形状模型。如上所述，统计形状模型用于表示非刚性形状，并且待估计的参数是 。在可能的实现方式中，参数可以被初始化，使得形状的初始估计对应于定位在医学图像（没有任何旋转或缩放）的中心处的所学习的统计形状模型的均值形状。在另一可能的实施例中，可以接收用户输入，其对应于非刚性解剖对象的近似定位，并且可以利用定位在用户输入位置处的均值形状来初始化参数。在另一可能的实施例中，可以随机地初始化形状参数。

在步骤706处，确定所估计的非刚性形状的当前状态。可以用各种方式来表示将被输入到经训练的DNN的当前状态。在DRL中，经训练的DNN可以通过如下来被训练：训练卷积神经网络以提取具有预定义维度的图像特征向量，其被馈送到另一神经网络以学习策略。在一个实施例中，原始医学图像以及形状参数的当前估计可以用于表示当前状态。在该情况中，图像特征可以从输入的原始医学图像提取，并且连同当前的形状参数一起被馈送，用以估计策略学习网络。沿着搜索轨迹，图像特征是固定的，但是当前的形状参数保持更新。

在另一实施例中，当前的刚性形状参数可以被嵌入到医学图像，例如，在基于DRL的界标检测中，图像补块被裁剪成以界标定位的当前估计为中心。一旦更新了当前定位估计，新的图像补块就被裁剪。该技术可以被扩展以搜索对象的定向（旋转）和大小（缩放）。代替于裁剪与成像栅格对准的固定大小的图像补块，可以通过使用当前大小估计来裁剪经定向的图像补块。因此，这样的图像补块并入当前（）参数。在该情况中，当前的非刚性参数（）连同刚性对准的图像补块一起被输入到经训练的DNN，以表示当前状态。

在另一实施例中，非刚性形状参数（）也可以被嵌入到图像补块。当前形状参数可以通过将插入到等式（1）而被转换成非刚性形状。如果的当前估计靠近于地面实况，则对应的非刚性形状应当很好地划定对象边界。接下来，可以估计变形场，以用于将当前形状翘曲到均值形状，例如通过使用薄板样条（TPS）。所估计的TPS可以被应用到经裁剪的图像补块。在翘曲之后，这样的非刚性对准的图像补块嵌入刚性和非刚性形状参数二者。因此，仅仅将该图像补块馈送到策略网络是足够的。如果当前形状估计是恰当的，则所对准的图像补块中的非刚性对象取的形状。策略网络可以基于在均值形状与非刚性对准的图像补块中的形状之间的差异来确定最优动作（即形状参数的更新）。

在步骤708处，通过使用经训练的DNN，基于当前状态来为参数化形状模型的参数计算动作值。当前状态被输入到经训练的DNN（策略网络），并且经训练的DNN为与通过增大或减小预定量来调整每个当前形状参数相对应的一组动作计算动作值。在步骤710处，执行具有最高动作值的动作。因此，形状参数中的一个被增大或减小预定量。

在步骤712处，确定是否已满足停止条件。例如，当确定了形状参数已经收敛、在形状参数的递增更新中检测到循环的时候、或当已经执行了预定最大数目的迭代的时候可满足停止条件。如果尚未满足停止条件，则方法返回到步骤706，并且重复步骤706-712。因此，步骤706-712重复直到满足停止条件为止。当满足停止条件的时候，方法继续进行到步骤714。

在步骤714处，分割结果被输出。最终的形状参数通过使用等式（1）而被转换成经分割的非刚性解剖对象的形状。可以通过在计算机系统的显示设备上显示分割结果来输出经分割的非刚性解剖对象。

使用深度图像对图像网络和多尺度概率图的界标检测和分割

对临床相关的界标进行定位在许多医学活动中是重要的。时间和成本使得手动界标标注在回顾性的大尺度研究上是不现实的，而对象间的不一致还负面地影响实时、逐情况的研究。因此，可靠的自动界标检测算法是非常合期望的。然而，可靠的自动界标检测是有挑战性的，这是由于医学图像的复杂度和变化所致，并且难以提供既精确又稳健的自动化界标检测。图8图示了示例性自动界标检测通过使用常规的自动化界标检测算法而导致超声图像。如图8中所示，地面实况界标802、812、822和832以及自动检测的界标804、814、824和834分别被示出在超声图像800、810、820和830中。如在图8的图像810中可以观察到的，自动化界标检测算法可能未能定位目标界标的确切定位。如在图8的图像830中可以观察到的，自动化界标检测算法在一些情况中还可生成异常值。

已经通过使用机器学习算法而研究了界标检测问题。通常使用的途径提供合理的结果，但是它们不能保证精度和稳健性二者。界标检测可以被视为二进制分类问题，一类针对界标位置（正），并且另一类针对非界标位置（负）。在该配置下，正和负高度不平衡，经训练的分类器可大幅度偏置，从而导致不稳健的界标检测性能。作为可替换方案，可以用回归方式逼近界标检测，其中距界标的按像素的相对距离被训练以得到界标位置的估计。与分类途径相比，这提供更稳健的结果，因为多个像素投票赞成最终估计；然而，它遭受图像上下文的高复杂度和变化，并且未能学习精确的相对距离。新近地，已经有一些努力来以贪心的方式从随机初始点检测界标位置，其经由对从任何位置到目标的经优化的动作步进来学习。然而，学习过程仅仅能够覆盖跨图像上下文的几乎无穷的路径的子集，并且该技术如果没有在充足数据集变化的情况下被训练则可导致重大失败。本发明的该实施例提供了一种用于自动化界标检测的方法，其如与惯例界标检测算法相比改善准确性和稳健性。该实施例还可以被应用，执行解剖对象的自动化分割，其具有在经改善的准确性和稳健性中的类似益处。

图9图示了根据本发明实施例的用于使用深度图像对图像网络（DI2IN）和多尺度概率图而在医学图像中进行界标检测或解剖对象分割的方法。图9的方法在本文中被描述为检测医学图像中的界标，但是可以被类似地应用于通过提取解剖对象的边界来分割解剖对象。其中方法被调整以执行分割而不是界标检测的域在图9的以下描述中被解释。图9的步骤902-906是训练阶段，其被离线执行以训练用于界标检测或解剖对象分割的DI2IN，然后在新接收的医学图像上执行实际的界标检测或分割。

在步骤902处，获得训练图像。对于界标检测，训练图像是医学图像，其具有已知的经标注的地面实况界标位置。对于解剖对象分割，训练图像是医学图像，其具有目标解剖对象的已知经标注的边界。可以通过从数据库加载现有、经标注的训练图像而获得训练图像。可替换地，没有已知地面实况标注的医学图像可以从数据库加载或从医学图像获取设备获取并且被手动地标注以生成训练图像。

在步骤904处，以针对每个训练图像的多个尺度而生成地面实况高斯分布概率图。DI2IN是深度学习框架，其将输入医学图像映射到输出图像，所述输出图像提供特定图像分析任务的结果。根据本发明的有利实施例，通过使用跨底层图像的高斯分布概率图来构造针对训练图像中的目标界标的地面实况输出图像。通过遵循给定高斯分布的、距目标界标的欧几里德距离来确定概率图中每个像素的值。也就是说，针对训练图像所生成的地面实况概率图可以被定义为：

其中是高斯函数，其具有标准偏差，并且度量从像素到目标界标的位置的欧几里德距离。这本质上形成围绕目标界标的类高斯的圆圈（针对2D图像）或球（针对3D图像），并且导致地面实况概率图，其中跨概率图的最高值将会是在界标点，而在远离目标的像素处将会观察到几乎为零的值。通过以此方式构造用于界标检测的地面实况输出图像，界标检测被视为回归问题，而同时聚焦在目标区周围。

高斯分布的标准偏差控制高斯分布的跨度和陡度。当更大时，在概率图中围绕目标界标的感兴趣的区将更大，分类器将具有更大的接收域（receptive field），并且因而更稳健。当更小时，围绕目标界标的感兴趣的区将更小，分类器将聚焦在局部标识上，并且因而更精确。因而，根据本发明的有利实施例，针对每个训练图像的地面实况通过使用不同尺度（即不同的值）被扩增以具有多个概率图。也就是说，对于每个训练图像，通过使用不同的值来生成多个概率图。使用不同的值提供了地面实况概率图，其具有针对相同底层训练图像的不同尺度。

对于解剖对象分割，每个地面实况输出图像可以是高斯分布概率图，其具有绕目标解剖对象边界的类高斯带。这样的为训练图像所生成的地面实况概率图可以被定义为：

其中是具有标准偏差的高斯函数，并且是从像素到目标解剖对象边界的距离。如以上在界标检测情况中所描述的，对于每个训练图像，通过使用不同的值生成多个地面实况高斯分布概率图，以便为每个训练图像生成多尺度地面实况集合。

在步骤906处，基于为训练图像所生成的多尺度地面实况而训练深度图像对图像网络（DI2IN）。根据本发明的有利实施例，基于输入训练图像以及为每个输入训练图像所生成的多尺度地面实况概率图来训练DI2IN，以学习一种映射，所述映射根据输入医学图像来预测多尺度概率图。图10图示了根据本发明实施例的示例性DI2IN 1000，所述示例性DI2IN1000为输入医学图像预测多尺度概率图。如图10中所示，跨所有输出尺度而共享公共的编码器1004，而使用多个解码器1006a、1006b和1006c，其中相应的解码器1006a、1006b和1006c用于地面实况概率图1008a、1008b和1008c的每个尺度。对于每个训练图像，原始图像1002被输入到编码器1004。编码器1004的输出被输入到解码器1006a、1006b和1006c中的每一个，并且每个解码器1006a、1006b和1006c估计多尺度地面实况概率函数1008a、1008b和1008c中的相应一个。在DI2IN 1000的训练中将被最小化的损失函数可以被视为来自所有解码器1006a、1006b和1006c的损失的总和。针对每个解码器1006a、1006b和1006c的损失是在所估计的概率图与以该尺度（即值）的地面实况概率图之间的误差。能够以端对端方式、通过使用众所周知的后向传播优化方法来训练DI2IN 1000，以对使损失函数最小化的权重进行学习。

在可能的实现方式中，DI2IN可以被扩展以处置相同医学图像中的多个界标的检测。在该情况中，每个界标将会具有针对每个尺度的单独解码器，使得解码器的总数目等于尺度的数目乘以界标的数目。DI2IN可以被类似地应用于不只是相同医学图像中解剖对象的分割。一旦DI2IN被训练，DI2IN就可以被例如存储在计算机系统的存储器或存储装置中，并且用于执行界标检测，或者解剖对象分割是新接收/输入的医学图像。

返回到图9，步骤908-914用于新接收的医学图像中的在线界标检测或解剖对象分割。在步骤908处，接收患者的医学图像。医学图像可以是2D图像、3D图像或4D（3D+时间）图像。可以通过使用任何医学成像模态、诸如计算机断层扫描（CT）、磁共振成像（MRI）、超声、X-射线、DynaCT、正电子发射断层扫描（PET）等等来获取医学图像。可以直接从图像获取设备、诸如CT扫描仪、MRI扫描仪、超声设备、C-臂图像获取设备等等接收医学图像，或可以通过从计算机系统的存储器或存储装置加载先前存储的医学图像或以电子传输从另一计算机系统接收医学图像来接收医学图像。

在步骤910处，以多个不同尺度的高斯概率图通过使用经训练的DI2IN、根据所接收的医学图像而被生成。特别地，所接收的患者医学图像被输入到在步骤906处所训练的经训练的DI2IN（例如图10的DI2IN 1000），并且经训练的DI2IN根据输入医学图像而估计以不同尺度的多个高斯概率图。如上所述，多个尺度对应于针对高斯函数的不同值。

在步骤912处，根据所接收的医学图像、以多个尺度所生成的高斯概率图被组合到经组合的概率图中。例如，以多个尺度所生成的高斯概率图可以通过如下而被组合：将不同概率图中的像素概率值相乘在一起，将不同概率图中的像素概率值相加在一起，或对不同概率图中的像素概率值求平均值。

在步骤914处，基于经组合的概率图，检测目标界标，或在所接收的医学图像中分割目标解剖对象的边界。对于界标检测，可以在医学图像中与在经组合的概率图中具有最大值（概率）的位置相对应的位置处检测到目标界标的位置。类似地，对于医学图像中经分割的边界的检测，概率图中的每一个定义高斯带，所述高斯带提供并且估计经分割的边界，并且目标解剖对象的经分割的边界可以被检测为在经组合的概率图中具有最大概率的带或点的集合。可替换地，可以通过如下来提取经分割的边界：对使来自经组合的图的概率最大化的统计形状模型进行拟合。所检测的界标或经分割的边界然后被输出，这例如通过在计算机系统的显示设备上显示所检测的界标或经分割的边界。

图9的方法不同于传统的多分辨率粗到细策略，其中以自顶向下的方式（首先以较低分辨率，然后以较高分辨率）来执行检测以防止局部最小值问题。图9的方法同时考虑多个尺度以用于精度和稳健性二者，并且不对原始图像进行下采样，所述下采样可能引起重要特征的潜在丢失。图9的方法还不同于多种类型的手工特征的简单级联。例如，已经证明有效的是组合类哈尔特征和可操纵的特征以捕获局部区域的定位和定向二者。图9的方法隐式地学习局部外观，包括但不限于通过手工特征所表示的局部外观，而多个尺度的地面实况的级联被设计成捕获在不同尺度的感兴趣的区下的目标环境关系，用以确保精度和稳健性。

本发明人将图9的DI2IN界标检测方法应用到两个2D数据集：（1）1081个肾脏纵向超声扫描（627个训练和409个测试图像）；以及（2）356个肝脏纵向超声扫描（281个训练和75个测试图像）。在这两个数据集中存在两个感兴趣的界标。使用具有多尺度输出图像的DI2IN的界标检测相比于使用单尺度对应物（单个解码器）的界标检测。图11图示了在肾脏和肝脏2D超声图像中的示例性界标检测结果。如图11中所示，图像1100示出了在2D肾脏纵向超声图像中的第一界标1102和第二界标1104的地面实况位置，图像1110示出了在使用单尺度输出的2D肾脏纵向超声图像中第一界标1112的所检测位置和第二界标1114的所检测位置，并且图像1120示出了在使用多尺度输出的2D肾脏纵向超声图像中第一界标1122的所检测位置和第二界标1124的所检测位置。此外，图像1130示出了在2D肝脏纵向超声图像中第一界标1132和第二界标1134的地面实况位置，图像1140示出了在使用单尺度输出的2D肝脏纵向超声图像中第一界标1142的所检测位置和第二界标1144的所检测位置，并且图像1150示出了在使用多尺度输出的2D肝脏纵向超声图像中的第一界标1152的所检测位置和第二界标1154的所检测位置。表2示出了使用单尺度和多尺度途径的2D肾脏纵向视图中的界标检测的距离误差（以mm）。表2示出了在使用单尺度和多尺度途径的2D肝脏纵向视图中的界标检测的距离误差（以mm）。如表2和表3中所示的，具有多尺度输出的途径与单尺度途径相比导致更小的均值距离误差，并且因而更加准确，并且还大幅度减小最大误差，并且这更加稳健。

表2

。

表3

。

具有部分推断的、稳健的、基于深度学习的医学图像分割

本实施例提供了一种用于具有部分推断的基于深度学习的医学图像分割的方法，其可以执行医学图像中解剖结构的稳健分割，甚至是在存在域移位的情况中。在本文中描述将此方法在域移位下应用到心脏MR中的心肌轮廓画定，但是本实施例不限于心肌轮廓画定并且也可以类似地被应用以执行其它图像分割任务。

基于机器学习的分割方法已经成功地被广泛应用在医学图像分析中，然而，这样的基于机器学习的分割方法在其中部署时的图像呈现与训练中的那些不同的分布（即域移位）的情况下、尤其是当部署时没有任何图像在训练时可用的时候遇到很大的挑战。心脏磁共振（CMR）是在研究和临床实践二者中的强有力工具。在典型的CMR检查中，获取长轴视图、诸如两腔室（2ch）、三腔室（3ch）和四腔室（4ch）视图。这些视图在临床上被定义，并且是切穿心脏的虚拟平面，其用于评估在各种心脏腔室和瓣膜内及其之间的解剖体和功能性。根据这些长轴视图来划定心肌并且追踪心内膜和心外膜边界（即轮廓画定），连同其它视图分析一起，被用于估计用于诊断的重要临床参数。手动轮廓画定需要广泛的临床专门知识，是耗时的，并且还易于出错，具有显著的用户内和用户间可变性。因此，完全自动化的心肌轮廓画定解决方案是高度合期望的。另外，重要的是，用于执行自动化心肌轮廓画定的分割算法将心肌轮廓保持为连续的实体。

已经通过传统的计算机视觉方法或基于机器学习的算法解决了心肌轮廓画定。然而，这些技术不被设计成应对域移位，并且当部署时的图像由于不同的MR线圈配置和其它因素而呈现不同的分布和成像伪像的时候，性能下降。在没有域移位的情况下，深度卷积编码器-解码器（CED）可以用于生成具有卓越心肌连续性的分割结果。然而，在存在域移位的情况下，生成缺失的/不完整的分割心肌结果，其导致在诊断上不可接受的心肌轮廓的提取。

根据本发明的有利实施例，为了在训练时没有任何部署数据可用的情况下处理域移位的挑战，深度学习用于学习分层次的模型，以根据部分分割结果来推断目标解剖结构的全分割，其中由于在部署和训练分布之间的小重叠，可以通过常规的基于学习的途径、诸如深度CED来获得部分分割结果。根据有利的实施例，由于在学习/训练阶段没有任何部署数据可用，所以根据可用的训练数据来合成部分分割结果。连同原始的医学图像一起，构造联合张量表示以组合原始图像与部分分割结果，并且深度学习用于学习在该联合张量表示与目标分割任务之间的映射。经训练的深度学习模型被迭代地应用以渐进地改善分割结果。一旦获得了收敛处的掩码，就提取轮廓。本文中所述的方法在存在域移位的情况下提供稳健的分割。例如，由于MR的多样性和灵活性，通常是如下情况：即部署和训练呈现不同的图像分布。此外，甚至当域移位不存在的时候，本文中所述的两阶段分割方法提升其基于分量深度学习的算法中的稳健性。

图12图示了根据本发明实施例的用于基于深度学习部分推断的医学图像分割的框架。如图12中所示，分割框架1200在两阶段工作流中执行医学图像分割。在第一阶段（阶段1）中，第一深度卷积编码器解码器（CED）1204用于学习从输入医学图像1202（例如MR图像）到分割任务的映射。第一深度CED 1204在本文中被称为初始CED（CED_Init）。在第二阶段（阶段2）中，多通道表示被用于将输入医学图像1202与先前的分割结果嵌入到统一张量中，所述统一张量被馈送到第二深度CED 1206中以生成经更新的分割掩码。第二CED 1206在本文中被称为部分推断CED（CED_PI）。以迭代的方式应用第二阶段，其中通过CED_PI1206所生成的经更新的分割掩码迭代地与输入图像1202组合以生成新的张量输入，所述新的张量输入被输入到CED _PI 1026以生成新的经更新的分割掩码，直到通过CED_PI 1206所生成的经更新的分割掩码收敛为止。一旦通过CED_PI 1206所生成的经更新的分割掩码收敛，最终分割掩码1208就被输出，并且可以用于从原始输入图像1202中提取轮廓。

根据有利实施例，深度CED学习架构可以用于在这两个阶段下学习端对端、按像素的加标签模型。CED模型的优势包括其根据大的经标注的训练图像集合的大的建模能力，及其内置的正则化机制，这二者都是由于深度分层次特征网络表示和池化-上采样的结构。CED的张量输入结构的灵活性在图12的框架1200中是有影响力的。在第一阶段中，图像（1202）被用作对于CED_Init 1204的输入。在第二阶段中，经组合的图像/部分分割掩码被馈送到CED_PI 1206中。CED 1204和1206二者的输出是分割掩码。在有利的实现方式中，在CED 1204和1206二者中，除了输入层之外，所有其它层共享相同的结构。特别地，如图12中所示，在CED_Init 1204和CE_PI 1206二者中，五个卷积层并且继之以五个解卷积层。尽管CED架构被使用在有利的实施例中并且在图12中被图示，但是本发明不限于此，并且也可以使用其它的深度学习架构。

图13图示了根据本发明实施例的用于基于深度学习部分推断的医学图像分割的方法。图13的方法图示了用于实现图12中所图示的框架的方法步骤/操作。图13的步骤1302-1308是训练阶段，其被离线地执行以训练初始CED（CED_Init）和部分推断CED（CED_PI），然后进行实际的在线部署，以用于执行对新接收的医学图像中的解剖结构的分割。

在步骤1302处，获得训练样本。每个训练样本是训练图像-分割掩码对。训练图像是医学图像，并且分割掩码为对应的训练图像中的目标解剖对象提供地面实况分割。可以通过从数据库加载具有目标解剖结构的地面实况分割的现有训练图像来获得训练样本。可替换地，没有已知地面实况标注的医学图像可以从数据库加载或从医学图像获取设备获取，并且被手动地标注以生成训练样本。

在步骤1304处，基于训练样本来训练初始CED（CED_Init）。初始CED可以具有五个卷积层、继之以五个解卷积层的CED结构，如图12中所示，但是本发明不限于此。基于训练样本来训练初始CED，以学习端对端、按像素的模型，所述模型将训练图像最佳地映射到对应的地面实况分割掩码。可以通过使用众所周知的后向传播优化方法来训练初始CED，以对使损失函数最小化的权重进行学习，所述损失函数被计算为在训练样本集合上的地面实况分割图与所估计的分割图之间的差异/误差。

在步骤1306处，根据训练样本而生成合成的部分分割结果。在临床应用中，尤其是在MR中（但不限于此），部署时的图像可以呈现与训练中的那些不同的强度分布，从而导致域移位。对于遭受域移位的成像模态中的医学图像分割应用，诸如CMR图像中的心肌分割，惯例CED的错失率（即将目标结构分类为背景）在域移位下显著增大，从而导致目标结构的部分分割。根据有利的实施例，为了根据这样的部分分割而推断目标结构的完整分割结果，合成数据的大集合可以被生成以表示这样的部分分割结果，并且用于训练部分推断CED（CE_PI）。在有利的实现方式中，为了每个训练图像-分割对，地面实况分割掩码可以被随机地部分地淘汰以合成部分分割结果。也就是说，可以根据每个地面实况分割掩码来生成多个合成的部分分割结果，这通过在每个分割掩码中随机地移除地面实况分割结果的不同部分。如果先验地已知哪些图像区倾向于不同的强度分布，则合成过程可以更加聚焦于那些区上，其可导致在线迭代更新的收敛。

在CMR图像中的心肌分割的示例性应用中，合成的部分分割结果可以如下被生成。对于每个原始训练样本（即图像/掩码对），提取心肌骨骼，并且沿着心肌骨骼随机地选择n（例如n=5）个种子点。然后通过使用具有预定义的半径并且以每个种子点为中心的盘来淘汰来自全心肌掩码的部分。这可以为每个原始训练样本执行多次，以根据每个原始的训练样本生成多个不同的、随机选择的部分分割结果。图14图示了示例性的合成的部分心肌分割结果。如图14中所示，图像1402、1404、1406和1408示出了合成的部分分割掩码，其通过从地面实况心肌分割掩码中移除部分而被生成，用于训练CMR图像。

返回到图13，在步骤1308处，通过使用合成的部分分割结果来训练部分推断CED（CED_PI）。部分推断CED可以具有五个卷积层、继之以五个解卷积层的CED结构，如图12中所示，但是本发明不限于此。通过使用合成的部分分割结果来训练部分推断CED。合成的部分分割结果中的每一个被用作训练样本，用于训练部分推断CED，其连同对应的原始训练图像和原始的地面实况分割掩码一起。对于每个这样的训练样本，原始训练图像和合成的部分分割掩码被组合到统一张量中，所述统一张量被输入到部分推断CED，并且部分推断CED被训练以学习端对端、按像素的模型，所述模型将用于训练样本的统一张量最佳地映射到对应的地面实况分割掩码。可以通过使用众所周知的后向传播优化方法来训练部分推断CED，用以对使损失函数最小化的权重进行学习，所述损失函数被计算为在基于训练图像/部分分割掩码张量所估计的分割图与在训练样本集合上的地面实况分割图之间的差异/误差。

步骤1310-1320是在线部署阶段，其中经训练的初始CED与经训练的部分推断CED被部署以执行对新接收的医学图像中的目标解剖结构的分割。在步骤1310处，接收患者的医学图像。医学图像可以是2D图像、3D图像或4D（3D+时间）图像。可以通过使用任何医学成像模态、诸如计算机断层扫描（CT）、磁共振成像（MRI）、超声、X-射线、DynaCT、正电子发射断层扫描（PET）等等来获取医学图像。可以直接从图像获取设备、诸如CT扫描仪、MRI扫描仪、超声设备、C-臂图像获取设备等等接收医学图像，或可以通过从计算机系统的存储器或存储装置加载先前存储的医学图像或以电子传输从另一计算机系统接收医学图像来接收医学图像。

在步骤1312处，通过使用经训练的初始CED、根据医学图像来生成初始分割掩码。经训练的初始CED输入所接收的医学图像，并且在输入医学图像上执行按像素的映射，以生成初始分割掩码。初始分割掩码可以是部分分割掩码。

在步骤1314处，当前分割掩码与原始接收的医学图像相组合以生成统一张量。特别地，多通道表示可以用于将原始接收的医学图像和当前分割掩码嵌入到统一张量中。在方法执行步骤1314的第一次，当前分割掩码是通过初始CED所生成的初始分割掩码。步骤1314被重复的后续每一次，当前分割掩码是在最新近的迭代中由部分推断CED所生成的经更新的分割掩码。

在步骤1316处，通过使用经训练的部分推断CED、基于统一张量来生成经更新的分割掩码。经训练的部分推断CED输入统一张量，所述统一张量通过使用多通道表示而组合原始接收的医学图像与当前分割掩码，并且在统一张量上执行按像素的映射以生成经更新的分割掩码。

在步骤1318处，确定经更新的分割掩码是否已经收敛。特别地，可以在经更新的分割掩码与先前生成的分割掩码之间计算误差值。如果误差值小于预定阈值，则确定经更新的分割掩码已经收敛。如果经更新的分割掩码尚未收敛，则方法返回到步骤1314。在部分推断CED的训练期间，用于训练部分推断CED的部分分割结果的合成将典型地不涵盖可能的部分分割结果的所有变型。因此，在关于未看到的数据（例如所接收的医学图像）的在线推断阶段处，通过部分推断CED而对分割掩码的推断可能不导致具有一个预测的全局目标。因此，执行使用部分推断CED的分割掩码的迭代更新（步骤1316），并且在每个更新之后，经更新的分割掩码与原始图像相组合，作为新的统一张量（步骤1314），并且被输入到部分推断CED中以用于进一步改善，直到经更新的分割掩码收敛为止。当确定了经更新的分割掩码已经收敛的时候，最后的经更新的分割掩码被确定为是最终分割掩码，并且方法继续进行到步骤1320。

在步骤1320处，对应于最终分割掩码的分割结果被输出。特别地，最终分割掩码被应用到原始接收的医学图像，以根据所接收的医学图像来分割目标解剖结果。分割结果可以被输出，例如通过在计算机系统的显示设备上显示分割结构。

图15图示了使用图13的方法而在CMR图像中进行心肌分割的渐进分割结果的示例。如图15中所示，行1500图示了在第一CMR图像中的心肌分割的示例性渐进分割结果。分割结果1502是第一CMR图像中的心肌的初始分割，其基于通过经训练的初始CED所生成的初始分割掩码。分割结果1504是第一CMR图像中的心肌的分割，其基于在利用经训练的部分推断CED的一个迭代之后所生成的经更新的分割掩码。分割结果1506是第一CMR图像中的心肌的最终分割，其基于通过经训练的部分推断CED所生成的最终收敛的分割图。行1510图示了第二CMR图像中的心肌分割的示例性渐进分割结果。分割结果1512是第二CMR图像中的心肌的初始分割，其基于通过经训练的初始CED所生成的初始分割掩码。分割结果1504是第二CMR图像中的心肌的分割，其基于在利用经训练的部分推断CED的一个迭代之后所生成的经更新的分割掩码。分割结果1506是第二CMR图像中的心肌的最终分割，其基于通过经训练的部分推断CED所生成的最终收敛的分割图。

在有利的实施例中，其中图13的方法用于CMR长轴心肌轮廓画定，一旦完成了渐进式分割，可以如下根据最终分割掩码来计算心内肌膜和心外肌膜轮廓。首先，最大的连接的分量被选为最终心肌分割结果。然后计算分割掩码的形心，以确定左心室血池内的点。绕掩码的边界点然后被计算，并且基于被确定为在左心室血池内的点来检测左心室基底处的两个转向点。边界点然后被分区并且追踪以生成心内肌膜和心外肌膜轮廓。

本发明人执行图13的方法的基准测试，以用于CMR图像中的心肌分割。3983个图像被用于训练，并且256个图像被用于测试。如果在自动分割结果中观察到不相交的分段，则分割被认为在临床上不可接受，并且被确定为是失败。使用常规单阶段CED的分割导致14%的失败率。使用图13的方法的分割将失败率降低到4%。

使用递归神经网络来将主动形状模型拟合到医学图像

主动形状模型（ASM）是用于对可变形的形状进行建模并且将它拟合到图像的众所周知的方法。ASM被广泛地使用在医学图像分析中。常规的ASM方法，尽管被广泛地使用，但是具有某些限制。此实施例通过使用深度学习、并且特别是递归神经网络（RNN）架构来解决常规ASM方法的限制。

ASM假定可变形的形状S由点集表示，并且被分解成线性组合：，其中是均值形状，并且是得自主分量分析（PCA）的本征形状。理想地，可以通过最大化某个成本函数来将S直接拟合到图像I：

然而，由于是高维的，所以直接优化是有挑战性的。因此，优化被分解成两个步骤：步骤1）对于当前形状上的每个点，独立地沿着其针对局部最大位置的法线而进行搜索；以及步骤2）将新的形状投影到PCA形状空间中，以获得新形状。步骤1和2被重复，直到收敛或最大数目的迭代达到为止。有时（特别是在最后几个迭代中），步骤2可以被简单平滑操作取代，以更好地保存形状或避免由ASM所造成的过度约束。

将ASM拟合到图像的准确性很大地取决于这两个步骤的性能。步骤1涉及在形状和图像之间的关系，并且步骤2有关于针对目标结构所学习的统计形状模型。在步骤1中，存在影响性能的两个主要分量：（a）独立法线搜索；和（b）最大化评分函数。（a）中的限制在于搜索被独立地进行。在（b）中，需要确定评分函数。评分函数越有效，步骤1的性能和ASM的总体准确性就越好。在步骤2中，统计形状模型通过PCA分析而被给出，并且其品质通过用于学习PCA形状空间的训练形状来被管控。

虽然存在可以用于增大形状模型的建模能力的不同技术，例如通过使用非线性PCA等等，但是此实施例解决与常规ASM方法的步骤1有关的限制。为了增大评分函数的最大化能力，在实践中可以使用机器学习方法。例如，可以通过使用支持向量机（SVM）或概率提升树（PBT）来训练判别式分类器=。然而，没有任何已知的方法来解决法线搜索中的独立性。

在本发明的有利实施例中，递归神经网络（RNN）被用于增大ASM方法的步骤1的性能。图16图示了根据本发明实施例的用于将ASM拟合到医学图像以分割目标解剖结构的方法。图16的方法类似于上述ASM方法，但是代替于使用常规技术来用于实现针对形状上每个点的最大位置的法线的搜索，图16的方法使用经训练的RNN来将当前形状上的每个点顺序地映射到沿着法线的局部最大值（步骤1606）。

参考图16，在步骤1602处，接收患者的医学图像。医学图像可以是2D图像、3D图像或4D（3D+时间）图像。可以通过使用任何医学成像模态、诸如计算机断层扫描（CT）、磁共振成像（MRI）、超声、X-射线、DynaCT、正电子发射断层扫描（PET）等等来获取医学图像。可以直接从图像获取设备、诸如CT扫描仪、MRI扫描仪、超声设备、C-臂图像获取设备等等接收医学图像，或可以通过从计算机系统的存储器或存储装置加载先前存储的医学图像或以电子传输从另一计算机系统接收医学图像来接收医学图像。

在步骤1604处，对医学图像中的目标解剖对象的形状进行表示的形状模型被初始化。形状模型可以是统计形状，其通过使用PCA、基于训练数据中的目标解剖对象的大量形状而被生成。在可能的实现方式中，形状模型可以在医学图像中被初始化为根据训练数据而被学习的目标解剖对象的均值形状。医学图像中的形状模型的位置/姿态可以自动地通过对象定位算法（例如边际空间学习（MSL））来被确定，或可以基于用户输入而被确定。

在步骤1606处，当前形状上的每个点通过使用经训练的RNN而被顺序地映射到沿着法线的局部最大点。RNN已经典型地被用于根据具有多个时间点的顺序信息的预测任务。根据有利的实施例，代替于将形状上的点视为空间位置，RNN以顺序的次序来处理它们，以学习具有目标输出的映射，其中被定义为在当前位置与其地面实况位置之间的带符号的距离函数。

图17图示了图像I中的目标解剖结构的示例性形状S。如图17中所示，形状S具有点。由于形状S没有任何特定的开始或结束，所以在当前形状S上的点的顺序次序被人工地确定。例如，起始点可以被随机地从当前形状上的点选择，并且RNN然后可以处理点，所述点顺序地开始于随机选择的起始点并且继续进行（在任一方向上）到在形状周围的每个相邻点。图18图示了示例性RNN架构1800。图18的RNN架构1800包括卷积神经网络（CNN）1802以及RNN/长短期存储器（LSTM）网络1804。

参考图17和18，对于当前的点，与其法线方向对准（即与的位置处的形状S成法向）的图像补块被从图像I提取。图像补块可以是具有预定大小的补块。在点处提取的图像补块被输入到CNN 1802，所述CNN 1802从图像补块提取图像特征。图像特征被输入到RNN/LSTM 1804，所述RNN/LSTM 1804计算当前隐藏状态和输出的带符号的距离，其将点映射到沿着其法线的新的（最优）位置。在RNN/LSTM1804中，隐藏的状态是图像特征及其先前的隐藏状态二者的函数（除非点是顺序次序中的第一个点并且没有在先的隐藏状态），并且输出的带符号的距离被计算为隐藏状态的函数：

在以上等式中，U、W和V是在RNN/LSTM 1804的训练中所学习的权重，并且和是非线性运算子。上述操作针对形状S上的每个点被顺序地重复，以将每个点顺序地映射到沿着其法线的新位置。在可替换的实现方式中，可以使用两个经训练的LSTM，以原始选择的顺序次序来评估点的一个，以及以相反的次序来评估点的另一个，以便形成双向LSTM，从而补偿排序中的任意性。

尽管CNN 1802被用于在图18的示例中提取图像特征，但是在可替换的实现方式中，代替于CNN，可以使用全连接的层。已经提出了各种种类的RNN架构，诸如LSTM和门控递归单元。将理解的是，任何类型的RNN架构可以被使用，其具有任何数目的递归层。CNN（或全连接的层）和RNN在离线训练阶段中、基于具有已知的地面实况目标位置的经标注的训练数据而被训练。

在步骤1606中使用RNN来将形状上的点映射到新位置解决在常规ASM方法的步骤1中出现的两个问题。如上所述，通过RNN将形状上的点映射到新位置不仅取决于在该点处提取的图像补块，也而且还取决于在其它点处提取的图像补块。因此，RNN的递归部分解决在用于执行ASM方法的步骤1的常规技术中出现的独立性限制。此外，用于提取图像特征的深度神经网络（即CNN或全连接的层）增大评分函数的判别能力。

返回到图16，在步骤1608处，经更新的形状被投影到目标解剖对象的经学习的PCT形状空间。这可以如在其它众所周知的ASM方法中那样被执行。在步骤1610处，确定是否满足停止条件。例如，可以确定形状是否已经收敛或者是否已经达到最大数目的迭代。如果尚未满足停止条件，则方法返回到步骤1606，并且重复步骤1606-1610直到满足停止条件为止。在可能的实现方式中，在一些迭代中（特别是在最后几个迭代中）可以通过简单的平滑操作来取代步骤1610。当满足停止条件（例如收敛或最大数目的迭代）的时候，方法继续进行到步骤1612。在步骤1612处，输出分割结果。最终形状被拟合到医学图像，并且表示医学图像中目标解剖对象的形状。可以输出分割结果，例如通过在计算机系统的显示设备上显示分割结果，其对应于医学图像中的目标解剖对象的最终形状。

通过使用具有特征级别监督的迁移学习、根据小型图像数据库来训练卷积神经网络

用于医学图像分析的机器学习通常用于解剖结构的分割，以及用于其它任务，诸如分类或识别、对象/解剖体检测等等。用于医学图像分割以及其它医学图像分析任务的许多基于深度学习的算法利用卷积神经网络（CNN）。虽然根据医学图像（例如数百万图像）的大型数据库来学习CNN在近年来已经做出了显著的进步，但是根据医学图像（例如数千或甚至数百幅图像）的小型数据库来有效地学习CNN仍然是未被解决的挑战。

该实施例提供了一种用于通过使用具有特征级别监督的迁移学习来训练CNN的方法，其能够根据医学图像的小型数据库来有效地训练CNN。本文中所述的方法可以用于在其中使用CNN的任何上述分割方法中训练CNN。本文中所述的方法也还可以用于利用CNN的其它医学图像分析任务。

当前在许多医学图像分析任务中，可用于训练的医学图像数据集的量是不足的，这是由于成本、隐私性担忧等等所致。此外，对于训练所必要的这些数据集的品质数据标注可能难以获得。这些因素通常导致可用于训练的医学图像数据集的数目以数千或数百来被度量，其导致在训练深度神经网络、诸如CNN中的困难。当根据小型数据库来训练CNN的时候，所学习的模型可能易于过度拟合训练数据。也就是说，虽然训练误差接近于零，但是测试误差很大。甚至在浅网络的情况下，所述浅网络具有足够的建模能力，这样的过渡拟合也可能不减少。因此有必要使网络“正则化”，使得网络不过度拟合训练数据集。

一个正则化途径是执行迁移学习。在迁移学习中，基于来自第一域（“域A”）的医学图像的大型数据库所训练的已经被很好地训练的网络在来自第二域（“域B”）的医学图像的小型数据库的情况下被应用到新问题。例如，基于ImageNet、诸如AlexNet、VGGNet等等所训练的CNN网络通常被很好地学习。在来自域A的医学图像的大型数据库上所训练的诸如被很好地训练的CNN在本文中被称为“CNN-A”。存在典型地被使用的两种类型的迁移学习途径。在第一类型的迁移学习途径中，CNN-A被用作固定的特征提取器。这通过如下来进行：移除最后的全连接的（多个）层，并且取来自中间层的特征值作为用于新数据集的固定特征提取器。这些特征然后被馈送到其它机器学习方法（例如支持向量机（SVM）、提升等等）中以用于最终的决策。该途径的变体包括仅仅使用来自一个中间层的特征，或者聚合来自所有中间层的特征。此外，在将特征馈送到其它机器学习方法中之前可以应用特征选择。在第二类型的迁移学习途径中，CNN-A被精细调谐。这通过如下来进行：通过使用来自域B的医学图像的小型数据库来重训练CNN-A，其中CNN-A的先前训练的权重用于初始化。而且，有可能保持较早前的层固定（这由于过度拟合担忧），并且仅仅精细调谐其余的层。这通过如下观察而被促动：即CNN-A的较早前的特征更一般，比如边缘检测器或团检测器（blob detector），并且因此对于许多任务是有用的，但是CNN-A的稍后的层的特征逐渐变得更特定于域A的细节，其应当被适配到域A。

上述两个迁移学习途径的一个共同限制是：CNN-A网络架构用于特征提取。在第一途径中，甚至CNN-A的权重被保持相同，而在第二途径中，使用不同的权重。在测试阶段期间，对于特征计算所需要的时间量典型地相当复杂，因为CNN-A通常非常深，具有许多层以及数百万个权重。

本文中所述的实施例提供了一种迁移学习方法，所述迁移学习方法使用不同的正则化策略，在本文中被称为特征级别监督（FLS）。根据有利的实施例，该迁移学习方法可以被用于有效地训练浅网络，而不是使用CNN-A的原始网络架构。该迁移学习方法胜过其它迁移学习途径，并且也在计算上更加高效。另外，本文中所述的迁移学习方法可以跨域的层次而被应用，而同时维持比其它迁移学习技术更好的准确性。

图19图示了根据本发明实施例的用于特征级别监督式迁移学习的框架。图19中所示的框架将特征级别监督式迁移学习应用到医学图像分类任务，但是可以类似地被应用以执行医学图像分割，或其它医学图像分析任务、诸如回归、排等级、配准等等。如图19中所示，域A包括用于训练的医学图像的大型数据库，并且与域A相比，域B包括用于训练的医学图像的更小型数据库。CNN-A是根据域A中的训练医学图像所训练的CNN。假定CNN-A是针对域A的现有的、被很好地训练的网络。CNN-A网络包括两个部分：将输入图像编码成特征的卷积层，以及将特征转换用于最终结果（例如分类结果、分段结果等等）的全连接的（FC）层。特征级别监督式迁移学习的目标是训练第二CNN，其潜在地具有比CNN-A更小的大小，用以执行针对域B的医学图像处理任务（例如分类、分割等等），所述域B具备医学图像的小型数据库。如图19中所示，针对域B所训练的第二CNN被称为“小网-B（Small net-B）”。小网-B是具有比CNN-A更小的架构（例如更少的层和/或权重）的CNN，并且小网-B网络包括卷积层和FC层，所述卷积层将输入图像编码成特征，所述FC层将特征转换用于最终结果。

图20图示了根据本发明实施例的用于通过使用特征级别监督式迁移学习来训练CNN的方法。图21A、21B和21C图示了使用图19中所图示的框架的图20的方法的方法步骤。特别地，图21A、21B和21C将图19的特征级别监督式迁移学习框架分解成分别与图20的步骤2002、2004和2006相对应的步骤。

参考图20，在步骤2002处，通过使用来自域B的训练图像来精细调谐CNN-A。假定在图20的方法中，第一CNN（CNN-A）是基于来自域A的大量训练图像所训练的已经现存的、被很好地训练的网络。在步骤2002中，通过使用来自域B的医学图像的较小尺寸数据库作为训练图像来重训练CNN-A而精细调谐CNN-A，其中CNN-A的先前训练的权重用于初始化。图21A图示了在示例性实施例中精细调谐CNN-A。如图21A中所示，CNN-A的卷积层和FC层二者基于来自域B的训练图像而被重训练。如图21A中所示，CNN-A的重训练（精细调谐）可以使用柔性最大值损失来调谐CNN-A的卷积层和FC层的权重，这基于来自域B的训练图像。

在步骤2004处，小网-B的卷积层被训练成匹配来自精细调谐的CNN-A的卷积层的特征响应。该步骤执行特征级别监督（FLS），因为它最初训练小网-B的卷积层，所述小网-B与CNN-A相比可具有较少的卷积层和/或权重，用以在已经针对域B精细地调谐了CNN-A之后近似CNN-A的卷积层的输出。图21B图示了在示例性实施例中用于训练小网-B的卷积层以匹配来自经精细调谐的CNN-A的卷积层的特征响应的该步骤。如图21B中所示，回归损失可以用于学习小网-B的卷积层的权重，用以最佳地匹配来自经精细调谐的CNN-A的卷积层的输出（特征响应）。

在步骤2006处，通过使用来自域B的训练图像来精细调谐小网-B。该步骤基于来自域B的训练图像来训练小网-B的卷积层和FC层二者。这导致调谐在步骤2004中被初始化的小网-B的卷积层的权重并且学习小网-B的FC层的权重，以便学习从域B中的训练图像到针对训练图像的地面实况最终结果（例如分类结果、分割结果等等）的最优映射。图21C图示了在示例性实施例中精细调谐小网-B的该步骤。如图21C中所示，柔性最大值损失可以用于基于域B中的训练图像来学习小网-B的卷积层和FC层的权重。一旦小网-B的训练完成，小网-B就可以被存储，例如于计算机系统的存储设备或存储器，并且用于为域B中未看见的图像执行医学图像分析任务（例如分类、分割等等）。

在将超声腹部图像分类到11个视图之一中的有挑战性的问题上测试上述特征级别监督式迁移学习方法，所述11个视图即肝脏左侧横向、肝脏左侧纵向、肝脏右侧横向、肝脏右侧纵向、肾脏左侧横向、肾脏左侧纵向、肾脏右侧横向、肾脏右侧纵向、脾脏横向、脾脏纵向以及非以上任一个。数据扩增之后的训练集合包含总共131,003个图像，每视图具有大约10,000个图像。在数据扩增之后的测试集合包含56,213个图像。以下的表4呈现了用于比较的各种方法的分类准确性。从AlexNet-A迁移学习的小网-B小于原始AlexNet-A的六分之一，但是它具有比经精细调谐的AlexNet-A稍微更好的性能，所述经精细调谐的AlexNet-A比从零开始训练的AlexNet-A好得多。一个试验性的变体（“16C”）如下：当训练时，16视图分类器可以被训练，因为“非以上任一个”可以被进一步细分成6个类，但是仍输出最终的标签，为11个视图之一。通过使用该变体，分类准确性改善大约1%，其中具有在模型参数的数目方面的小的增加。然后通过使用VGG-A网来重复相同的试验，所述VGG-A网获得比从AlexNet-A迁移的那些模型更好的准确性。最终，通过使用小网4-B，其通过使用FLS而迁移自VGGNet-A，我们聚合来自所有中间层的所有特征，然后在馈送SVM用于最终的视图分类之前执行特征选择。这结果是最准确的解决方案，实现了86.22%的准确性。

表4

。

图22图示了根据本发明实施例的跨域层次的特征级别监督式迁移学习的框架。如图22中所示，特征级别监督式迁移学习可以跨域（A、B、C）的层次而被应用，其中在每一个后续的域中有减小数目的医学图像可用。开始于根据域A中的大量训练图像所训练的已经训练的CNN-A，上述特征级别监督式迁移学习方法被应用以根据CNN-A来针对域B训练小网-B。上述特征级别监督式迁移学习方法然后再次被执行以根据小网-B针对域C训练另一CNN（小网-C）。这还可以在减小数目的图像的情况下针对域层次中的附加域被重复。

如与精细调谐迁移学习相比，跨域的层次来应用特征级别监督（FLS）迁移学习更好地起作用。这通过关于将超声甲状腺图像分类成5个视图所执行的试验来被验证，所述5个视图即峡部、左侧甲状腺横向、左侧甲状腺纵向、右侧甲状腺横向以及右侧甲状腺纵向。该试验利用总共549个训练图像和143个测试图像。表5示出了各种方法的分类准确性。将VGGNet-A精细转到域C（甲状腺域）产生74.13%的准确性。将VGNet-A首先精细调谐到域B（腹部域）以及进一步精细调谐到域C给出74.82%的准确性，仅仅轻微的改善。使用FLS迁移学习并且跨三个域（首先从域A到域B，然后到域C）来执行它记录时间中81.12%的恰当分类。最终，进一步执行特征聚合和选择并且将所选的特征馈送到SVM中给出86.71%的最高准确性。

表5

。

卷积神经网络中的特征通道滤波

常规的神经网络（CNN）是有效的深度学习架构，其被使用在许多医学图像分析应用中，包括用于医学图像分割，以及其它医学图像分析任务。然而，深度神经网络、诸如CNN可能在计算上是昂贵的，并且花费显著的处理时间来实现。该实施例提供了一种方法用于通过使用特征通道滤波来近似CNN，以减少对于表示经训练的CNN模型所需的参数，并且改善计算效率。本文中所述的方法可以用于近似在上述分割方法中任一个中所使用的CNN。本文中所述的方法还可以用于也利用CNN的其它医学图像分析任务。

CNN具有包括多层的分层次架构。对层的输入是一组特征通道（或特征图），并且输出是另一组特征图。CNN架构堆叠多个卷积层以用于特征提取。假设输入特征通道（或图）——每个通道是任何N维图像——由来表示，其针对张量，并且输出特征通道由来表示。我们有：

其中是针对第d个输出特征通道的大小为的滤波器（或内核）的集合，并且是非线性激活函数，诸如S形（sigmoid）函数或ReLU函数。在上文中，不失一般性地假定在层之间没有池化。等式（4）中的操作在针对每个特征通道的空间维度中是卷积的，但是在特征通道维度中是穷举的（即，使用所有特征通道）。特征通道维度的穷举性质致使计算低效率以及可能的性能缺陷。针对卷积层的参数的总数目是。

图23图示了根据本发明实施例的用于通过使用特征通道滤波来近似CNN架构的方法。参考图23，在步骤2302处，获得针对N维域的现有CNN架构。例如，可以根据训练医学图像数据集来针对特定任务（例如分割）训练CNN架构，或者可以加载已经训练的CNN架构。

在步骤2304处，通过将N维卷积层转换成（N + 1）维高卷积（“HighConv”）模块来变换现有CNN架构。根据有利的实施例，对于特定的卷积层，在即将到来的通道空间中学习有意义的内核。该过程被表示为通道空间中的卷积。换言之，对输入特征通道执行卷积或滤波，用以不仅在每个特征通道的空间域中、而且还在特征通道空间中学习特征。这在本文中被称为“特征通道滤波”。特征通道滤波的益处是：如相对于在所有即将到来的特征通道上进行卷积的卷积，特征通道滤波减少所需的特征通道的数目，并且因而减少对于表示所训练的模型所需要的参数的数目，其改善计算效率。在卷积层上应用特征通道滤波导致在本文中被称为HighConv模块（或HighConv块）的经变换的层。

在参数方面，考虑2D卷积层，所述2D卷积层具有k个滤波器以及C个具有（W，H）空间滤波器的通道。针对该2D卷积层的参数的数目是。针对通过使用特征通道滤波来取代2D卷积层的HighConv块的参数的数目是。因此，考虑到d＜D，HighConv块节省计算，其中d是调谐参数，其确定通道空间内核大小。这为该层带来D/d倍的计算节省。特征通道滤波可以类似地被应用到现有CNN架构的每个卷积层。特征通道滤波器可以独立地或结合其它近似技术（例如经分解的网络等等）被应用于每个层。

图24图示了根据本发明实施例的输入2D图像的示例性HighConv模块。如图4中所示，对HighConv模块的输入2402具有的参数，其中N是批次大小，C是输入通道的数目，并且X、Y是特征图空间维度。输入利用参数而重成形（2404），然后利用k个滤波器来执行3D卷积（2406），其导致的参数（2408）。在三维（即特征通道空间）中执行池化或1D卷积（2410），其导致的参数（2412），所述参数被重成形（2414）为。HighConv模块的输出（2416）具有参数。

返回到图23，在步骤2306处，经变换的CNN架构被重训练。特别地，经变换的CNN架构是HighConv模块，其可以利用用于训练原始CNN架构的相同训练数据、相同优化器等等被重训练。考虑到用于实施与原始CNN架构相同的任务的较小网络架构，迫使模型学习针对问题的更好表示，其隐式地充当“正则项”并且潜在地导致更好的学习。这样的学习隐式地使得网络更深，潜在地导致在更多非线性操作的情况下的更好的表示能力。

用于基于人工智能的医学图像分割以及为医学图像分割训练深度网络架构的上述方法可以被实现在一个或多个计算机上，所述计算机使用众所周知的计算机处理器、存储器单元、存储设备、计算机软件和其它组件。这样的计算机的高级框图被图示在图25中。计算机2502包含处理器2504，所述处理器2504通过执行对这样的操作进行定义的计算机程序指令来控制计算机2502的总体操作。计算机程序指令可以被存储在存储设备2512（例如磁盘）中，并且当期望计算机程序指令的执行的时候被加载到存储器2510中。因而，在图2、3、5、7、9、12、13、16、19、20、21A-21C、22、23和24中所图示的方法步骤可以通过被存储在存储器2510和/或存储装置2512中的计算机程序指令来被定义，并且由执行计算机程序指令的处理器2504来控制。一个或多个图像获取设备2520、诸如CT扫描设备、C-臂图像获取设备、MR扫描设备、超声设备等等可以被连接到计算机2502，以将图像数据输入到计算机2502。可能的是图像获取设备2520中的一个或多个以及计算机可以被实现为一个设备。还有可能的是：图像获取设备2520与计算机2502通过网络或无线通信协议而无线地通信。在可能的实施例中，计算机2502可以相对于图像获取设备2520远程地定位，并且可以执行图2、3、5、7、9、12、13、16、19、20、21A-21C、22、23和24的方法步骤中的一些或全部，作为基于服务器或基于云的服务的部分。计算机2502还包括一个或多个网络接口2506以用于经由网络而与其它设备通信。计算机2502还包括使得能够实现与计算机2502的用户交互的其它输入/输出设备2508（例如显示器、键盘、鼠标、扬声器、按钮等等）。本领域技术人员将认识到：实际计算机的实现方式也可以包含其它组件，并且图25是这样的计算机的一些组件的高级表示，用于说明性目的。

用于基于人工智能的医学图像分割和/或训练深度神经网络的上述方法可以被实现在基于网络的云计算系统中。在这样的基于网络的云计算系统中，服务器经由网络而与一个或多个客户端计算机通信。客户端计算机可以经由例如驻留在客户端计算机上并且在客户端计算机上操作的网络浏览器应用来与服务器通信。客户端计算机可以在服务器上存储数据，并且经由网络来访问数据。客户端计算机可以经由网络将针对数据的请求、或针对在线服务的请求传输到服务器。服务器可以执行所请求的服务并且将数据提供到（多个）客户端计算机。服务器还可以传输数据，所述数据被适配成使得客户端计算机执行指定的功能，例如执行计算、在屏幕上显示所指定的数据等等。上述方法的某些步骤可以由服务器或由基于网络的云计算系统中的其它计算机/处理器来执行。上述方法的某些步骤可以由基于网络的云计算系统中的客户端计算机在本地执行。用于基于人工智能的医学图像分割和/或训练深度神经网络的上述方法的步骤可以被实现在基于网络的云计算系统中，可以由基于网络的云计算系统或由本地客户端计算机以任何组合来执行。

前述具体实施方式将被理解为在每个方面都是说明性且示例性的，但不是限制性的，并且不要根据具体实施方式、而是相反根据如根据专利法所准许的完整宽度所解释的权利要求来确定本文中所公开的发明范围。要理解的是，在本文中所示出和描述的实施例仅仅说明本发明的原理，并且各种修改可以由本领域技术人员实现而不偏离本发明的范围和精神。本领域技术人员可以实现各种其它特征组合而不偏离本发明的范围和精神。

Claims (30)

1.一种用于自主的基于人工智能的医学图像分割的方法，包括：

接收患者的医学图像；

基于所述医学图像来自动确定当前分割上下文，并且基于所述当前分割上下文来从多个分割算法中选择至少一个分割算法；以及

通过使用所选的至少一个分割算法来分割医学图像中的目标解剖结构。

2.根据权利要求1所述的方法，其中基于所述医学图像来自动确定当前分割上下文以及基于所述当前分割上下文来从多个分割算法中选择至少一个分割算法包括：

通过经训练的主分割人工代理来自动确定当前分割上下文并且选择所述至少一个分割算法。

3.根据权利要求1所述的方法，其中基于所述医学图像来自动确定当前分割上下文以及基于所述当前分割上下文来从多个分割算法中选择至少一个分割算法包括：

基于当前在显示设备上被可视化的医学图像的视图来自动标识目标解剖结构；以及

基于自动标识的目标解剖结构来自动选择所述至少一个分割算法。

4.根据权利要求3所述的方法，其中基于当前在显示设备上被可视化的医学图像的视图来自动标识目标解剖结构包括：

通过使用经训练的基于机器学习的分类器而在当前在显示设备上被可视化的医学图像的视图中自动检测一个或多个解剖结构。

5.根据权利要求3所述的方法，其中基于自动标识的目标解剖结构来自动选择所述至少一个分割算法包括：

从所述多个分割算法中选择专门用于对自动标识的目标解剖结构进行分割的至少一个分割算法。

6.根据权利要求5所述的方法，其中从所述多个分割算法中选择专门用于对自动标识的目标解剖结构进行分割的至少一个分割算法包括：

基于医学图像的图像特性或医学图像的成像模态中的至少一个来从专门用于对自动标识的目标解剖结构进行分割的多个分割算法中选择所述至少一个分割算法。

7.根据权利要求1所述的方法，其中基于所述医学图像来自动确定当前分割上下文以及基于所述当前分割上下文来从多个分割算法中选择至少一个分割算法包括：

自动提取医学图像的图像特性，并且基于所提取的图像特性来从所述多个分割算法中选择所述至少一个分割算法。

8.根据权利要求7所述的方法，其中自动提取医学图像的图像特性并且基于所提取的图像特性来从所述多个分割算法中选择所述至少一个分割算法包括：

将医学图像输入到经训练的深度神经网络，所述经训练的深度神经网络从医学图像自动提取经学习的图像特性，并且基于所提取的图像特性来预测来自所述多个分割算法的、用于执行医学图像中目标解剖结构的分割的最佳分割算法或者分割算法的组合。

9.根据权利要求8所述的方法，其中所述经训练的深度神经网络基于医学图像训练样本以及合成的训练样本来被训练，所述合成的训练样本根据医学图像训练样本、以多个噪声级别来被生成。

10.根据权利要求1所述的方法，其中基于当前分割上下文来从多个分割算法中选择至少一个分割算法包括基于当前分割上下文来从所述多个分割算法中选择多个分割算法，并且通过使用所选的至少一个分割算法来分割医学图像中的目标解剖结构包括：

通过使用所选多个分割算法中的每一个来分割医学图像中的目标解剖结构；以及

融合来自所选多个分割算法的分割结果以生成针对医学图像中的目标解剖结构的最终分割结果。

11.根据权利要求1所述的方法，其中所述多个分割算法包括多个基于深度学习的分割算法，其各自具有针对特定分割任务所训练的相应的深度网络架构。

12.根据权利要求1所述的方法，其中通过使用所选至少一个分割算法来分割医学图像中的目标解剖结构包括：

通过使用具有一个或多个所整合的先验的经训练的深度神经网络来分割医学图像中的目标解剖结构。

13.根据权利要求1所述的方法，其中所选至少一个分割算法包括基于深度加强学习的分割算法，并且通过使用所选至少一个分割算法来分割医学图像中的目标解剖结构包括：

迭代地调整对医学图像中的目标解剖结构的形状进行表示的统计形状模型，其通过基于通过使用深度神经网络所计算的动作值来在每个迭代下选择与统计形状模型的参数的调整相对应的动作，所述深度神经网络通过使用深度加强学习来被训练。

14.根据权利要求1所述的方法，其中通过使用所选至少一个分割算法来分割医学图像中的目标解剖结构包括：

通过使用经训练的深度图像对图像网络、根据医学图像而生成以不同尺度的多个高斯分布概率图；

将以所述不同尺度的所述多个高斯概率图组合成经组合的概率图；以及

基于所述经组合的概率图而从医学图像中提取目标解剖结构的经分割的边界。

15.根据权利要求1所述的方法，其中所选的至少一个分割算法包括基于深度学习部分推断的分割算法，并且通过使用所选至少一个分割算法来分割医学图像中的目标解剖结构包括：

通过使用经训练的初始卷积编码器解码器（CED）、根据医学图像来为目标解剖结构生成初始分割掩码；

构造统一张量，所述统一张量组合当前分割掩码和医学图像；以及

通过使用经训练的部分推断CED来为目标解剖结构生成经更新的分割掩码。

16.根据权利要求1所述的方法，其中通过使用所选至少一个分割算法来分割医学图像中的目标解剖结构包括：

通过使用递归神经网络（RNN）来调整主动形状模型上的点的位置来将主动形状模型拟合到医学图像中目标解剖结构的形状。

17.一种用于自主的基于人工智能的医学图像分割的装置，包括：

用于接收患者的医学图像的构件；

用于基于医学图像来自动确定当前分割上下文并且基于所述当前分割上下文来从多个分割算法中选择至少一个分割算法的构件；以及

用于通过使用所选至少一个分割算法来分割医学图像中的目标解剖结构的构件。

18.根据权利要求17所述的装置，其中所述用于基于医学图像来自动确定当前分割上下文并且基于所述当前分割上下文来从多个分割算法中选择至少一个分割算法的构件包括：

用于基于当前在显示设备上被可视化的医学图像的视图来自动标识目标解剖结构的构件；以及

用于基于自动标识的目标解剖结构来自动选择所述至少一个分割算法的构件。

19.根据权利要求18所述的装置，其中所述用于基于自动标识的目标解剖结构来自动选择所述至少一个分割算法的构件包括：

用于从所述多个分割算法中选择专门用于对自动标识的目标解剖结构进行分割的至少一个分割算法的构件。

20.根据权利要求19所述的装置，其中所述用于从所述多个分割算法中选择专门用于对自动标识的目标解剖结构进行分割的至少一个分割算法的构件包括：

用于基于医学图像的图像特性或医学图像的成像模态中的至少一个来从专门用于对自动标识的目标解剖结构进行分割的多个分割算法中选择所述至少一个分割算法的构件。

21.根据权利要求17所述的装置，其中所述用于基于医学图像来自动确定当前分割上下文并且基于所述当前分割上下文来从多个分割算法中选择至少一个分割算法的构件包括：

用于自动提取医学图像的图像特性并且基于所提取的图像特性来从所述多个分割算法中选择所述至少一个分割算法的构件。

22.根据权利要求17所述的装置，其中所述用于基于当前分割上下文来从多个分割算法中选择至少一个分割算法的构件包括用于基于当前分割上下文来从所述多个分割算法中选择多个分割算法的构件，并且所述用于通过使用所选至少一个分割算法来分割医学图像中的目标解剖结构的构件包括：

用于通过使用所选多个分割算法中的每一个来分割医学图像中的目标解剖结构的构件；以及

用于融合来自所选多个分割算法的分割结果以生成针对医学图像中的目标解剖结构的最终分割结果的构件。

23.一种非暂时性计算机可读介质，其存储了用于自主的基于人工智能的医学图像分割的计算机程序指令，所述计算机程序指令当被处理器执行的时候履行包括以下各项的操作：

接收患者的医学图像；

基于所述医学图像来自动确定当前分割上下文，并且基于所述当前分割上下文来从多个分割算法中选择至少一个分割算法；以及

通过使用所选的至少一个分割算法来分割医学图像中的目标解剖结构。

24.根据权利要求23所述的非暂时性计算机可读介质，其中基于所述医学图像来自动确定当前分割上下文以及基于所述当前分割上下文来从多个分割算法中选择至少一个分割算法包括：

基于当前在显示设备上被可视化的医学图像的视图来自动标识目标解剖结构；以及

基于自动标识的目标解剖结构来自动选择所述至少一个分割算法。

25.根据权利要求24所述的非暂时性计算机可读介质，其中基于自动标识的目标解剖结构来自动选择所述至少一个分割算法包括：

从所述多个分割算法中选择专门用于对自动标识的目标解剖结构进行分割的至少一个分割算法。

26.根据权利要求25所述的非暂时性计算机可读介质，其中从所述多个分割算法中选择专门用于对自动标识的目标解剖结构进行分割的至少一个分割算法包括：

基于医学图像的图像特性或医学图像的成像模态中的至少一个来从专门用于对自动标识的目标解剖结构进行分割的多个分割算法中选择所述至少一个分割算法。

27.根据权利要求23所述的非暂时性计算机可读介质，其中基于医学图像来自动确定当前分割上下文以及基于所述当前分割上下文来从多个分割算法中选择至少一个分割算法包括：

自动提取医学图像的图像特性，并且基于所提取的图像特性来从所述多个分割算法中选择所述至少一个分割算法。

28.根据权利要求27所述的非暂时性计算机可读介质，其中自动提取医学图像的图像特性并且基于所提取的图像特性来从所述多个分割算法中选择所述至少一个分割算法包括：

将医学图像输入到经训练的深度神经网络，所述经训练的深度神经网络从医学图像自动提取经学习的图像特性，并且基于所提取的图像特性而预测来自所述多个分割算法的、用于执行医学图像中的目标解剖结构的分割的最佳分割算法或分割算法的组合。

29.根据权利要求23所述的非暂时性计算机可读介质，其中基于当前分割上下文来从多个分割算法中选择至少一个分割算法包括基于当前分割上下文来从所述多个分割算法中选择多个分割算法，并且通过使用所选的至少一个分割算法来分割医学图像中的目标解剖结构包括：

通过使用所选多个分割算法中的每一个来分割医学图像中的目标解剖结构；以及

融合来自所选多个分割算法的分割结果以生成针对医学图像中的目标解剖结构的最终分割结果。

30.根据权利要求23所述的非暂时性计算机可读介质，其中所述多个分割算法包括多个基于深度学习的分割算法，其各自具有针对特定分割任务所训练的相应的深度网络架构。