CN109074659B

CN109074659B - 医学图谱配准

Info

Publication number: CN109074659B
Application number: CN201780027536.4A
Authority: CN
Inventors: E·布雷施; V·门科夫斯基
Original assignee: Koninklijke Philips NV
Current assignee: Koninklijke Philips NV
Priority date: 2016-05-04
Filing date: 2017-05-04
Publication date: 2023-04-04
Anticipated expiration: 2037-05-04
Also published as: CN109074659A; RU2018142712A3; RU2745400C2; RU2018142712A; BR112018072348A8; BR112018072348A2; EP3452984B1; JP2019515382A; US10692226B2; EP3452984A1; JP6510150B1; WO2017191248A1; US20190139237A1

Abstract

提供了一种用于在医学成像中启用图谱配准的系统和方法，所述图谱配准包括将医学图谱300、302与医学图像320匹配。系统和方法可以运行强化学习(RL)算法以学习用于将医学图谱与医学图像匹配的模型，其中，所述学习基于量化医疗图谱与医学图像之间的匹配的程度的奖励函数。可以基于从i)图谱数据和ii)图像数据中提取的一组特征来确定RL算法的状态空间。这样一来，针对医学图谱配准获得模型，而不使用或减少使用启发。通过使用基于机器学习的方法，解决方案能够容易地应用于不同的图谱匹配问题，例如，应用于不同类型的医学图谱和/或医学图像。

Description

医学图谱配准

技术领域

本发明涉及用于在医学成像中启用图谱配准的系统和方法。本发明还涉及包括系统的工作站。本发明还涉及计算机可读介质，包括用于使处理器系统执行方法的指令。

背景技术

已知通过将医学图谱与医学图像配准来提供患者的医学图像的图形注释或分割。例如，医学图谱可以包括针对特定视场(FOV)的器官的几何描述，例如其边界轮廓的几何描述。然而，由于患者具有不同形状和大小的器官，医学图像会跨患者显著变化。这样一来，将医学图谱与医学图像配准被认为是非同小可的任务。

在数学上，医学图谱配准可以被描述为优化问题，其中，需要确定模型的一组参数值，其定义医学图谱的变换或一组变换，变换或一组变换根据匹配函数为医学图像提供最佳配准。已经认识到，这种医学图谱配准的核心挑战之一来自这样的事实：对于大多数匹配函数，仅医学图谱与医学图像之间的完美对齐产生完美的匹配。增量改进可能会是误导性的。即，优化问题通常不是凸的。这样一来，梯度下降优化器很可能“陷入”局部最小值。同时，评价所有可能的(个体的序列)变换是不可行的，因为其是数学上难以处理的问题。

在Erik Bresch等人的文章“Region segmentation in the frequency domainapplied to upper airway real-time magnetic resonance images”(Medical Imaging，IEEE Transactions on 28.3(2009)：323-338)中描述了对上述问题的可能解决方案。此处，描述了一种用于人声道的中间矢状MRI扫描的图谱配准的方法，其采用了图谱的受限变换的分层。由此，首先执行粗略的大规模对准，直到不能实现匹配拟合，并且仅然后执行更细粒度的翘曲。在文章中，采用了一系列四种不同的越来越少限制的翘曲操作。对变换空间的该临时限制据说导致优化问题的能量景观的平滑，这继而减轻了“陷入”局部最小值的风险。

然而，以上文章中提出的解决方案仅针对该特定图谱被设计，其中，启发式部件仅凭经验证明是合理的。对不同的图谱匹配问题应用类似的方法是一项缓慢而繁琐的任务。

由Tayebeh Lotfi Mahyari撰写的题为“Uncertainty in Probabilistic ImageRegistration”的硕士论文在第3.5节中描述了使用强化学习来引导迭代图像配准流程。此外，由Tayebeh Lofti等人撰写的题为“Improving Probabilistic Image Registrationvia Reinforcement Learning and Uncertainty Evaluation”的出版物描述了用于概率图像配准的框架，其涉及在空间变换上分配概率分布。

关于深度神经网络的技术背景可以从De Brebisson Alexandre等人的“Deepneural networks for anatomical brain segmentation”(2015年6月7日)获得。关于自动编码器的技术背景可以从Vaidhya Kiran等人的“Multi-modal Brain TumorSegmentation Using Stacked Denoising Autoencoders”(2015年10月5日)获得。关于(深度)强化学习的技术背景可以从Nature中的“Human-level control through deepreinforcement learning”(2015年2月26日)和教程“Reinforcement Learning:ATutorial Scope of Tutorial”(1996年1月1日)获得。

发明内容

具有用于生成医学成像中的图谱配准的模型的改进的系统或方法将是有利的。

本发明的第一方面提供了一种用于在医学成像中启用图谱配准的系统，所述图谱配准包括将医学图谱与医学图像匹配，所述系统包括：

用于访问定义医学图谱的图谱数据的第一输入接口；

用于访问医学图像的图像数据的第二输入接口；

处理器，配置为：

执行强化学习算法以学习用于将医学图谱与医学图像匹配的模型，其中，所述学习基于量化医学图谱与医学图像之间的匹配程度的奖励函数；

基于从i)图谱数据和ii)图像数据中提取的一组特征来确定强化学习算法的状态空间。本发明的另一方面提供了一种包括该系统的工作站。本发明的另一方面提供了一种计算机可读介质，包括表示由系统生成的医学成像中的图谱配准模型的瞬态或非瞬态数据。

本发明的另一方面提供了一种在医学成像中启用图谱配准的方法，所述图谱配准包括将医学图谱与医学图像匹配，所述方法包括：

访问定义医学图谱的图谱数据；

访问医学图像的图像数据；

执行强化学习算法以学习用于将医学图谱与医学图像匹配的模型，其中所述学习基于量化医学图谱与医学图像之间的匹配程度的奖励函数；并且

基于从i)图谱数据和ii)图像数据中提取的一组特征确定强化学习算法的状态空间。

本发明的另一方面提供了一种计算机可读介质，包括表示使处理器系统执行该方法的指令的瞬态或非瞬态数据。

上述措施涉及访问患者的医学图像的图像数据，如通过诸如计算机断层摄影(CT)、磁共振成像(MRI)、超声(US)、正电子发射断层摄影(PET)等的成像模态获得的。此外，访问了定义医学图谱的图谱数据。这种定义可以以医学图谱生成领域本身已知的方式进行。例如，图谱数据可以包括器官的边界轮廓的几何描述。另一范例是医学图谱可以是模板图像，其中，图谱数据是模板图像数据。

使用强化学习(RL)算法学习用于将医学图谱与医学图像匹配的模型。强化学习算法本身在机器学习领域中是已知的，并且已知利用包括定义状态空间的一组环境状态和定义动作空间的一组动作的训练模型。作为输出，参考数学表达式或算法获得学习模型，其参数在训练期间已经被学习并且被配置为在给定系统的特定状态的情况下计算每个可能动作的值。这样的动作可以包括诸如平移、旋转、变形等的变换动作，其可以被限制，例如，在范围、幅度、距离等上被限制。在已经生成之后，可以例如使用探索利用算法来查询模型，以得到给定特定状态下的每个变换动作的值。例如，最高值可以表示最高奖励，并且因此可以表示根据奖励函数的“最佳”变换动作。

RL算法中使用的奖励函数可以量化变换的医学图谱与医学图像匹配的程度。例如，如果医学图谱由模板图像构成，则奖励函数可以是医学图像的像素值与经变换的医学图谱之间的绝对差之和(SAD)。通常，可以选择奖励函数以匹配医学图谱的类型，例如，医学图谱由图像数据表示和/或由几何数据表示。

发明人已经认识到，强化学习可以解决医学图谱配准的问题，因为RL非常适合于对所谓的延迟奖励进行建模。即，紧接着一个或多个局部最小值的全局最小值的医学图谱配准中的共存可以表示这样的延迟奖励，因为奖励(例如，达到全局最小值)可以仅在延迟之后达到(例如，在从局部最小值过渡到全局最小值时即时奖励的减少)。

然而，发明人还认识到RL不能直接应用于医学图谱配准的问题，因为状态空间对于已知的RL算法具有太高的维度。即，状态空间通常将包括医学图谱的内容和医学图像的内容，例如其所有像素值，这将产生具有太大大小且不适合RL的状态空间。

根据上述措施，基于更高水平的特征确定状态空间，而不是直接使用较低水平的图谱数据或图像数据。即，从图谱数据和图像数据中提取一组特征。这样一来，例如使用已知的特征提取算法来提取旨在为信息性和非冗余的特征，从而获得医学图谱和图像数据的简化表示。这样的简化的表示实现具有较低维度的状态空间。有效地，获得了状态空间的降维。

上述措施具有这样的效果：获得用于医学成像中的图谱配准的模型，而无需使用或减少使用启发。即，通过使用基于机器学习的方法，该解决方案可以容易地应用于不同的图谱匹配问题，例如，应用于不同类型的医学图谱和/或医学图像。具体地，上述措施使得能够使用强化学习作为机器学习算法，该算法特别适合于图谱配准的问题，并且至少可以基于已经适当减小的状态空间应用于该问题。

此外，处理器可以被配置为基于可应用于医学图谱的预定义的一组变换动作来确定用于强化学习算法的动作空间。通过提供变换作为动作，可以将强化学习应用于图谱配准。此处，术语“变换动作”可以指构成医学图谱到医学图像的整体变换的部分的变换。例如，变换动作可以与选定的边界轮廓相关联，并且仅适用于选定的边界轮廓。另一范例是一个变换动作可以定义选定的边界轮廓的平移，而另一个变换动作可以定义选定的边界轮廓的旋转。通过重复查询模型并选择变换动作，可以获得一系列变换动作，其当应用于医学图谱时，使医学图谱变形以匹配医学图像，从而获得医学图谱与医学图像的配准。可以基于可用于应用于医学图谱的预定义的一组变换动作来确定用于强化学习算法的动作空间。例如，一组变换动作可以是医学图谱定义的部分。特定范例是，除了定义轮廓或一组轮廓的医学图谱之外，该轮廓或一组轮廓的一组可能的变换可以由医学图谱和/或图谱数据定义。

动作空间可以被构造成不同的水平，其中，不同的水平中的每个包括变换动作的子集，并且其中，不同水平形成变换动作的分层，其中，通过强化学习算法对变换动作的序列的选择被限制到分层中的向下进展。与状态空间类似，动作空间也可能太大而不能直接应用于RL。发明人已经认识到相对于如IV.C部分“Hierarchical Gradient DescentProcedure”中描述的所述分层构造如前述文章“Region segmentation in the frequencydomain applied to upper airway real-time magnetic resonance images”中描述的变换的分层构造(通过引用并入本文)通常会产生动作空间的大小的减少，因为变换动作的序列的数量可以通过仅包含所有可用变换动作的子集的水平中的每个来减少。例如，分层可以是从较少限制性的变换动作到更具限制性的变换动作。在特定范例中，最高分层水平可以仅包括全局或区域变换动作，而后续分层水平可以仅包括局部变换动作。此处，术语全局、区域和局部可能指的是变换动作适用的减少空间范围。例如，全局变换动作可以应用于医学图谱的所有边界轮廓，而局部变换动作可以仅应用于选定的边界轮廓。在该范例中，在伴随的动作空间中，全局变换动作不能跟随有局部变换动作。上述措施的效果是，在任何时间点(例如，在状态空间中的任何状态下)可用的一组变换动作对于RL算法是可管理的。

任选地，处理器被配置为使用机器学习算法来学习要从图谱数据和图像数据中提取的一组特征。例如，处理器可以被配置为将卷积神经网络(CNN)或自动编码器应用于图谱数据和图像数据以确定所述一组特征。CNN可以是深度CNN。自动编码器可以是深度自动编码器。诸如所述深度CNN(类似于“Human-level control through deep reinforcementlearning”(Nature 518，529-533，2015年2月26日)中描述的DeepQ网络方法)的深度学习方法和深度自动编码器算法已经被发现非常适合从图谱数据和图像数据中提取特征。注意，对于深度自动编码器，可以独立于RL算法学习状态空间表示模型(自动编码器)。如果直接使用深度CNN来查询给定状态的每个动作的值，则可以通过RL算法来执行深度CNN的训练。

任选地，动作空间包括定义不同水平之间的转换的一个或多个转换动作。通过向水平中的一个或多个添加转换动作，RL算法的强化学习代理可以评价特定水平的动作，或者切换到不同水平以评价不同水平的动作。任选地，处理器被配置为使用机器学习算法或使用预定启发来执动作空间的所述分层构造。

任选地，处理器被配置为还基于动作空间中的当前水平来确定针对强化学习算法的状态空间。动作空间中的当前水平共同定义状态空间中的当前状态。这可以使RL算法能够学习从而以分层方式变换医学图谱，例如，从全局变换开始到局部变换。例如，在深度CNN的情况下，当前水平变量可以“附接”到医学图谱概念。在深度自动编码器的情况下，该变量可以附接到状态。在两种情况下，当前水平变量的值可以用作RL代理的输入，这继而可以允许限制当前状态中可用的变换动作的数量。

任选地，处理器被配置为还基于定义医学图谱中的界标的界标数据来确定强化学习算法的状态空间。医学图谱可以伴随有定义医学图谱中的界标的界标数据，涉及可以用作用于定位其他解剖结构的取向点的解剖结构。这些界标可以直接或间接用作确定强化学习算法的状态空间的特征。

任选地，可用于应用于医学图谱的一组变换动作由图谱数据定义。

任选地，强化学习算法是深度强化学习算法。

本领域技术人员将意识到，本发明的上述实施例、实施方式和/或任选方面中的两个或更多个可以以任何被认为有用的方式进行组合。

对应于所描述的系统的修改和变化的方法和/或计算机程序的修改和变化可以由本领域技术人员基于本说明书来实现。

本领域技术人员将意识到，系统和方法可以应用于多维图像数据，例如，应用于二维(2D)、三维(3D)或四维(4D)图像，如通过各种采集模态采集的，例如但不限于标准X射线成像、计算机断层摄影(CT)、磁共振成像(MRI)、超声(US)、正电子发射断层摄影(PET)、单光子发射计算机断层摄影(SPECT)和核医学(NM)。

附图说明

参考在以下描述中并参考附图以范例方式描述的实施例，本发明的这些和其他方面将变得显而易见并且得以进一步阐述，其中，附图中：

图1示出了用于在医学成像中启用图谱配准的系统；

图2A示出了人类声道中的解剖结构；

图2B示出了人类声道的医学图谱；

图2C示出了医学图谱的图像模型；

图3A示出了患者的人类声道的医学图像；

图3B示出了与医学图像交叠的医学图谱，其中，医学图谱没有或者仅全局地已经配准到医学图像；

图3C示出了已经根据通过强化学习学习的模型配准到医学图像的医学图谱；

图4图示了优化医学图谱的配准的过程；

图5示出了在医学成像中启用图谱配准的方法；并且

图6示出了包括用于使处理器系统执行方法的指令的计算机可读介质。

应该注意，附图纯粹是图解性的，而未按比例绘制。在附图中，对应于已经描述的元件的元件可以具有相同的附图标记。

附图标记列表

以下附图标记列表被提供以便于解释附图，并且不应被解释为对权利要求的限制。

020 图谱数据存储库

022 定义医学图谱的图谱数据

040 图像数据存储库

042 医学图像的图像数据

062 表示模型的模型数据

100 用于启用图谱配准的系统

120 第一输入接口

140 第二输入接口

160 处理器

200 用于启用图谱配准的方法

210 访问图谱数据

220 访问图像数据

230 确定状态空间

240 确定动作空间

250 运行RL算法

260 计算机可读介质

270 存储为非瞬态数据的指令

300 (未配准的)医学图谱

302 配准的医学图谱

310 医学图谱的图像模型

320 医学图像

具体实施方式

图1示出了用于在医学成像中启用图谱配准的系统100。系统100被示出为包括用于访问定义医学图谱的图谱数据022的第一输入接口120，以及用于访问医学图像的图像数据042的第二输入接口140。在图1的范例中，两种类型的数据被示出为从分离的存储库访问，即，从图谱数据存储库020和图像数据存储库040访问。例如，图谱数据存储库020和/或图像存储库040可以由以下构成或者是其部分：医院信息系统(HIS)的影像归档和通信系统(PACS)，系统100可以连接或包含在其中。因此，系统100可以经由HIS获得对图谱数据020和/或图像数据040的访问。备选地，可以从系统100的内部数据存储设备访问图谱数据020和/或图像数据040。通常，输入接口120、140中的每一种或两种类型可以采取各种形式，例如针对局域网或广域网(例如，因特网)的网络接口、针对内部或外部数据存储设备的存储接口等。

系统100还被示出为包括处理器160，处理器160连接到相应的输入接口120、140以获得对图谱数据020和图像数据040的访问。处理器160被配置为在系统100的操作期间，运行强化学习算法以学习用于将医学图谱与医学图像匹配的模型，其中，所述学习基于量化医学图谱与医学图像之间的匹配程度的奖励函数。此外，在所述运行之前或作为所述运行的部分，处理器160可以基于从i)图谱数据和ii)图像数据提取的一组特征来确定针对强化学习算法的状态空间，并基于可用于应用于医学图谱的一组变换动作来确定针对强化学习算法的动作空间。这样一来，可以基于所确定的状态空间和动作空间来运行强化学习算法。作为输出，处理器160可以产生表示经学习的模型的模型数据062。尽管未在图1中明确示出，但是模型数据062可以存储在例如数据库中，由系统100使用以执行图谱配准被，提供给另一个系统或装置以执行图谱配准等。

注意，将参考图2A-4进一步解释系统100的各种操作，包括其各种可选方面。

系统100可以实现为单个设备或装置或实现在单个设备或装置中，例如个人计算机、工作站、服务器或成像装置。设备或装置可以包括运行适当软件的一个或多个微处理器。软件能够已被下载和/或存储在对应的存储器中，例如，诸如RAM的易失性存储器或诸如闪存的非易失性存储器。备选地，系统的功能单元，例如第一输入接口、第二输入接口和处理器，可以以可编程逻辑的形式实施在设备或装置中，例如，作为现场可编程门阵列(FPGA)。通常，系统的每个功能单元可以以电路的形式实施。注意，系统100还可以以分布式方式实施，例如，涉及不同的设备或装置。例如，分布可以根据客户端-服务器模型。

图2A示出了人类声道中的解剖结构，其在该附图和以下附图中用作图谱配准的应用区的范例。具体地，图2A示出了人类声道的中间矢状视图中的解剖器官的选择，包括舌头、硬腭、(外)声门和咽壁。

图2B示出了针对人类声道的医学图谱300。在该范例中，图谱包括人类声道的中间矢状图中的解剖器官的几何描述，其中，图谱数据定义解剖器官的边界轮廓。具体地，图谱300被示出为包括三个不同的感兴趣区域R₁、R₂、R₃的边界。此外，已经沿着边界轮廓定义了各种界标，例如以界标数据的形式，还如图2B中的P_x指示的。

图2C示出了医学图谱的图像模型310，其可以任选地伴随医学图谱的几何描述，并且可以将图2B的拓扑信息与在该范例中将产生自MRI扫描的通常预期的强度图像相关。图像模型310被示出为理想化为具有表示组织的三个相等强度区域，对着表示空气的黑色背景。

图3A示出了患者的人类声道的医学图像320。该医学图像320提供与图2B的医学图谱300大致相同的人类声道的视野(FOV)，并且因此示出了解剖学器官的相同的一般结构。然而，解剖器官的确切形状和位置在细节上与医学图谱的表示不同。因此，不可能简单地将医学图谱应用于医学图像320。即，这种应用的结果在图3B中示出，其中，可以看出医学图谱300的边界轮廓与医学图像320中示出的解剖器官的实际轮廓不匹配。注意到全局配准也不会产生期望的匹配。

图3C示出了已经根据通过强化学习而学习的模型配准到医学图像的医学图谱。匹配质量可以类似于Erik Bresch等人的文章“Region segmentation in the frequencydomain applied to upper airway real-time magnetic resonance images”(MedicalImaging，IEEE Transactions on 28.3(2009)：323-338)中描述的配准技术所获得的匹配质量。然而，上述论文中提出的解决方案仅针对该特定图谱被设计，启发式部件仅凭经验证明。强化学习允许针对不同的图谱匹配问题(例如不同的解剖结构、不同的身体位置、不同类型的图谱、不同的成像模态等)来学习模型。

即，已经由发明人在强化学习框架中计算图谱配准问题，其中，应用原理方法来通过探索来学习变换动作的最佳序列。然而，发明人已经认识到将图谱配准作为强化学习问题进行计算可能存在两个重大挑战。即，RL算法的输入是医学图像和医学图谱，后者通常是几何描述和/或模板图像。使用该输入作为RL算法的状态提出了第一个挑战，其中，图像数据和图谱数据的高维度并不适合直接用作RL的状态。因此，从图谱数据和图像数据中提取一组特征。可以手动定义所述一组特征。备选地，可以使用机器学习算法来学习要提取的一组特征。具体地，深度卷积神经网络模型可以用于使用图像数据和图谱数据作为输入来生成高水平状态空间表示。该高水平状态空间通常具有可管理的大小，并且将允许高效的强化学习。

将图谱配准作为强化学习问题进行计算的另一个挑战是，通常需要将对图谱的所有可能变换定义为RL框架中的动作。然而，通常存在大量可用的变换，其使得动作空间也很大。为了解决该问题，可以分层地构造变换动作。对图谱的变换的分层构造是图谱配准领域中的已知方法，其允许高效的启发式设计，例如，如Erik Bresch等人的前述论文中所描述的。该方法可以应用在RL框架内，从而使得在任何时间点一组可用变换动作可以针对RL框架管理。

Erik Bresch等人在上述文章的第IV.C节“Hierarchical Gradient DescentProcedure”中描述的分层构造由此通过引用并入为动作空间可以如何分层地构造的范例。即，所描述的人类声道模型可以通过分层构造为四个水平的变换动作来优化：

·水平1：仅允许整个3区域模型几何结构的平移和旋转作为变换动作，从而补偿对象的平面内头部运动。

·水平2：仅允许每个区域的边界的平移和旋转作为变换动作，从而将模型拟合到粗略当前声道姿势。

·水平3：仅允许每个解剖部分的刚性变换，例如平移、旋转和缩放作为变换动作，服从上述文章的表III-表V的部分特异性增强因子。

·水平4：允许所有区域的所有个体顶点的独立移动作为变换动作。

因此，这种方法首先尝试找到良好的全局匹配，然后缩放到优化较小的细节中。因此，RL算法可以在其动作中被约束，其中，较高水平的动作只能后面跟随较低水平的动作，而反之不是这样。将意识到，以上是非限制性范例，并且例如，针对不同类型的医学图像、不同类型的医学图谱等分层地构造动作空间的备选方式是本领域技术人员可以理解的。

进一步参考强化学习对医学图谱配准的应用建议，注意以下内容。一般系统模型可以包括可以对环境运行动作的代理，同时其可以接收关于环境的当前状态以及其当前奖励的信息。代理的任务可能是选择未来最大化奖励的动作，即使这意味着暂时选择次优动作。然而，代理遵循的良好策略是什么，以及该策略将如何实施？Bresch&Narayanan之前已经实施了使用反复试验进行人工设计的固定时间表策略。更具原则性和适应性的方法来自强化学习理论。系统的核心是强化学习代理(RLA)，其通常作为状态机实施。一般而言，代理可以通过找到将系统带到期望状态的最佳步骤序列来解决马尔可夫决策过程(MDP)。

在所要求保护的本发明的有利实施例中，可以使RLA能够运行使医学图谱变形的动作，并且基于当前的奖励信息并且基于可以由感觉输入的深度神经网络生成的“Q”信息：Q＝f(输入图像、图谱、动作)来做出关于如何变换医学图谱的决定(例如，通过求解Bellman方程)。Q信息可以允许RLA计算任何可能动作的预期奖励(将来)的估计，因此RLA可能最好地利用可用的变换可能性并做出良好的动作选择。此外，RLA可以探索动作的奖励结果，并将这些学习的信息保留在深度神经网络中。为此，RLA还可以管理深度神经网络的更新。初始地，可以随机初始化深度神经网络，或者其可以已经从先前的图像配准预先训练。这样一来，该系统中的域特异性元素可以是：

奖励函数，例如，医学图像与迄今为止配准的医学图谱之间的差异图像的能量，以及

图谱、其参数化以及特定的一组变换动作。

图4图示了优化医学图谱的配准的过程。此处，医学图像320(图4中标记为“图像”)和医学图谱300以及伴随的图像模型310用作输入。具体地，医学图谱300和伴随图像模型310被使用，只要它们已经被模型的参数集合P变换(标记为“图谱(P)”)，其可以表示迄今为止应用的变换动作。可以确定医学图像320和图像模型310之间的差异，从而产生差异图像(标记为“DIFF_图像”)。然后可以通过能量函数来确定差异图像的能量(标记为“能量(DIFF_IMG”))，该能量函数可以表示医学图像320与迄今为止配准的图像模型310之间的不匹配程度的量化。有效地，差异图像的能量的最小化可以表示奖励。强化学习可以使用适当配置的奖励函数，例如，奖励差异图像的能量的最小化的函数。然后可以通过RL算法来调节模型的参数集合P(标记为“调节_P”)。可以重复上述过程，直到差异图像的能量最小化。图5示出了用于在医学成像中启用图谱配准的方法200。注意，方法200可以但不是需要对应于参考图1描述的系统100的操作。

方法200可以包括在题为“访问图谱数据”的操作中访问210定义医学图谱的图谱数据。方法200还可以包括在题为“访问图像数据”的操作中访问220医学图像的图像数据。方法200还可以包括在题为“确定状态空间”的操作中，基于从i)图谱数据和ii)图像数据提取的一组特征来确定230针对强化学习算法的状态空间。方法200还可以包括在题为“确定动作空间”的操作中，基于可用于应用于医学图谱的一组变换动作来确定240针对强化学习算法的动作空间。方法200还可以包括，在题为“执行RL算法”的操作中，运行250强化学习算法以学习用于将医学图谱与医学图像匹配的模型，其中，所述学习基于量化医学图谱与医学图像之间的匹配程度的奖励函数。将意识到，上述操作可以以任何合适的顺序执行，例如，连续地，同时地或其组合，在适用的情况下，例如通过输入/输出关系需要经受特定的顺序。

方法200可以在计算机上实现为计算机实现的方法、专用硬件或两者的组合。还如图6中图示的，用于计算机的指令(例如，可执行代码)可以存储在计算机可读介质260上，例如，以机器可读物理标记的系列270的形式和/或作为具有不同的电学性质(例如磁性或光学)性质或值的一系列元件。可执行代码可以以瞬态或非瞬态的方式存储。计算机可读介质的范例包括存储器设备、光学存储设备、集成电路、服务器、在线软件等。图6示出光盘260。

将意识到，根据本申请的摘要，可以提供一种用于在医学成像中启用图谱配准的系统和方法，所述图谱配准包括将医学图谱与医学图像匹配。系统和方法可以运行强化学习(RL)算法以学习用于将医学图谱与医学图像匹配的模型，其中，所述学习基于量化医学图谱与医学图像之间的匹配程度的奖励函数。可以基于从i)图谱数据和ii)图像数据提取的一组特征来确定RL算法的状态空间。此外，可以基于可用于应用于医学图谱的一组变换动作来确定RL算法的动作空间。这样一来，可以获得用于医学成像中的图谱配准的模型，而无需使用或减少使用启发式。通过使用基于机器学习的方法，解决方案可以容易地应用于不同的图谱匹配问题，例如，应用于不同类型的医学图谱和/或医学图像。

将意识到，将医学图谱与医学图像匹配应理解为还包括将医学图像与医学图谱匹配。

无论是否表示，范例、实施例或任选特征不应理解为限制所要求保护的本发明。

将意识到，本发明还适用于计算机程序，特别是适用于将本发明付诸实践的载体上或载体中的计算机程序。程序可以采取源代码、目标代码、代码中间源和目标代码的形式，例如以部分编译的形式，或者适合用于实现根据本发明的方法的任何其他形式。还将意识到，这样的程序可以具有许多不同的架构设计。例如，实现根据本发明的方法或系统的功能的程序代码可以被细分为一个或多个子例程。在这些子例程之间分配功能的许多不同方式对于技术人员来说是显而易见的。子例程可以一起存储在一个可执行文件中以形成自包含程序。这样的可执行文件可以包括计算机可执行指令，例如，处理器指令和/或解释器指令(例如，Java解释器指令)。备选地，一个或多个或所有子例程可以存储在至少一个外部库文件中，并且可以静态地或动态地与主程序链接，例如，在运行时。主程序包含对子程序中的至少一个的至少一个调用。子例程还可以包括彼此的函数调用。涉及计算机程序产品的实施例包括与本文所述的至少一种方法的每个处理阶段相对应的计算机可执行指令。这些指令可以被细分为子例程和/或存储在可以静态或动态链接的一个或多个文件中。涉及计算机程序产品的另一个实施例包括与本文阐述的系统和/或产品中的至少一个的每个模块相对应的计算机可执行指令。这些指令可以被细分为子例程和/或存储在可以静态或动态链接的一个或多个文件中。

计算机程序的载体可以是能够携带程序的任何实体或设备。例如，载体可以包括数据存储设备，例如ROM，例如CD ROM或半导体ROM，或磁记录介质，例如硬盘。此外，载体可以是可传输的载体，例如电信号或光信号，其可以经由电缆或光缆或通过无线电或其他方式传送。当程序实现在这样的信号中时，载体可以由这种电缆或其他设备或模块构成。备选地，载体可以是嵌入程序的集成电路，集成电路适于执行或用于执行相关方法。

应当注意，上述实施例图示而不是限制本发明，并且本领域技术人员将能够在不脱离权利要求的范围的情况下设计许多备选实施例。在权利要求中，括号内的任何附图标记不应解释为对权利要求的限制。词语“包括”及其变形的使用不排除权利要求中所述之外的元件或阶段的存在。元件前面的词语“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的设备权利要求中，这些装置中的若干个可以由同一个硬件项来体现。尽管在互不相同的从属权利要求中记载了特定措施，但是这并不指示不能有利地使用这些措施的组合。

Claims

1.一种用于在医学成像中启用图谱配准的系统，所述图谱配准包括将医学图谱与医学图像匹配，所述系统包括：

第一输入接口，其用于访问定义所述医学图谱的图谱数据；

第二输入接口，其用于访问所述医学图像的图像数据；

处理器，其被配置为：

运行强化学习算法以学习用于将所述医学图谱与所述医学图像匹配的模型，其中，所述学习基于量化所述医学图谱与所述医学图像之间的匹配的程度的奖励函数；

基于从i)所述图谱数据和ii)所述图像数据中提取的一组特征来确定针对所述强化学习算法的状态空间；并且

基于能应用于所述医学图谱的预定义的一组变换动作来确定针对所述强化学习算法的动作空间，其中，所述动作空间被构造为不同的水平，其中，所述不同的水平中的每个水平包括所述变换动作的子集，并且其中，所述不同的水平形成变换动作的分层，其中，通过所述强化学习算法对变换动作的序列的选择被限制到所述分层中的向下进展。

2.根据权利要求1所述的系统，其中，所述处理器被配置为使用机器学习算法来学习要从所述图谱数据和所述图像数据中提取的所述一组特征。

3.根据权利要求2所述的系统，其中，所述处理器被配置为将卷积神经网络或自动编码器应用于所述图谱数据和所述图像数据以确定所述一组特征。

4.根据权利要求1所述的系统，其中，所述动作空间被分层构造为包括在所述分层中向上的较少限制性的变换动作以及在所述分层中向下的更具限制性的变换动作。

5.根据权利要求4所述的系统，其中，所述处理器被配置为使用机器学习算法或者使用预定启发来执行所述动作空间的所述分层构造。

6.根据权利要求1、4和5中的任一项所述的系统，其中，所述处理器被配置为还基于变换动作的所述分层中的当前水平来确定针对所述强化学习算法的所述状态空间。

7.根据权利要求1、4和5中的任一项所述的系统，其中，可用于被应用于所述医学图谱的所述预定义的一组变换动作是由所述图谱数据定义的。

8.根据权利要求1-5中的任一项所述的系统，其中，所述处理器被配置为还基于定义所述医学图谱中界标的界标数据来确定针对所述强化学习算法的所述状态空间。

9.根据权利要求1-5中的任一项所述的系统，其中，所述强化学习算法是深度强化学习算法。

10.一种工作站，包括根据权利要求1至9中的任一项所述的系统。

11.一种计算机可读介质，包括瞬态或非瞬态数据，所述瞬态或非瞬态数据表示如由根据权利要求1至9中的任一项所述的系统生成的用于医学成像中的图谱配准的模型。

12.一种在医学成像中启用图谱配准的方法，所述图谱配准包括将医学图谱与医学图像匹配，所述方法包括：

访问定义所述医学图谱的图谱数据；

访问所述医学图像的图像数据；

基于可用于被应用于所述医学图谱的预定义的一组变换动作来确定针对所述强化学习算法的动作空间，其中，所述动作空间被构造为不同的水平，

其中，所述不同的水平中的每个水平包括所述变换动作的子集，并且其中，所述不同的水平形成变换动作的分层，其中，通过所述强化学习算法对变换动作的序列的选择被限制到所述分层中的向下进展。

13.一种计算机可读介质，包括瞬态或非瞬态数据，所述瞬态或非瞬态数据表示使处理器系统执行根据权利要求12所述的方法的指令。