CN107403446A - 用于使用智能人工代理的图像配准的方法和系统 - Google Patents

Abstract

用于使用智能人工代理的图像配准的方法和系统。公开了用于使用智能人工代理的图像配准的方法和系统。在基于智能人工代理的配准方法中，基于要配准的医学图像和当前变换参数来确定人工代理的当前状态观察。使用基于机器学习的模型（诸如已训练深度神经网络（DNN））来基于当前状态观察针对对人工代理可用的多个动作来计算动作值。动作对应于变换参数的预定调整。从所述多个动作中选择具有最高动作值的动作，并且通过对应于所选动作的预定调整来调整变换参数。针对多次迭代重复确定、计算以及选择步骤，并且使用从所述多次迭代得到的最终变换参数来配准医学图像。

Description

用于使用智能人工代理的图像配准的方法和系统

本申请要求2016年5月18日提交的美国临时申请号62/338,059、2016年6月1日提交的美国临时申请号62/344,125以及2016年9月30日提交的美国临时申请号62/401,977的权益，该专利申请的公开被整体地通过引用结合到本文中。

背景技术

本发明涉及医学图像的配准，并且更特别地使用智能人工代理的基于计算机的自动化医学图像配准。

医学图像配准是实现图像引导疗法、自动化诊断成像以及机器驱动图像理解的重要技术。图像配准的目标是恢复可以从不同患者/对象、在不同时间点处的同一患者、不同的医学成像模式等获取的两个或更多医学图像之间的对应关系，以便对准或融合图像。已对准图像可以在各种应用总能提供重要信息。例如，已对准图像可以用来通过将手术前体积扫描（例如，MRI）与介入成像（例如，DynaCT或荧光检查）融合来引导微创疗法，或者提供互补的诊断信息（例如，用于关节功能、流量和基板分析的心脏超声波和MRI的共同配准）或纵向分析（例如，通过纵向CT扫描的放射疗法监视）。由于可以应用图像配准的大范围的应用，要开发一种针对所有用途稳健地工作的一般图像配准方法是有挑战性的。

图像配准问题通常被视为优化问题，其中定义通用匹配度量（例如，交互信息、互相关等）以测量要配准的图像对的相似性，并且然后由优化器（例如，Simplex、Powell、信任区域优化等）经由定义匹配度量的最大化来估计两个图像之间的变换参数（例如，刚体（rigid body）、仿射、可变形）。为了稳健地工作，此类基于优化的图像配准方法通常要求通过结合手头的关于特定解剖结构、成像模式和预期伪像或工作流程的先验知识进行的用于单独配准任务的广泛手工工程。其一个原因是通用匹配度量并非在所有情况下保证用于所有使用情况下的手头的数据的对准的准确度的良好表示。亦即，匹配度量的全局最大值不一定对应于图像的正确对准，例如当数据有噪声、被部分地阻塞或者由于不同的成像物理过程而具有根本不同的外观时。因此，对于特定配准任务而言常常需要匹配度量的手工工程，例如通过引入任务特定的感兴趣区域（ROI）或计算手工特征。另外，通用匹配度量对于给定配准任务而言常常是非凸性的（non-convex），并且通用优化器通常关于非凸性优化问题表现拙劣。为了避免被陷入局部最小值中，常常结合先验知识来开发用于特定配准任务的优化方案，例如通过先验知识驱动的初始化/播种（seeding）、分级优化或专用正则化矩阵（regularizer）。

发明内容

本发明提供了用于使用智能人工代理的医学图像配准的方法和系统。本发明的实施例提供了人工智能代理，其从训练数据学习配准任务，并且随着更多的数据被用于训练而实现越来越好的配准结果。

在本发明的一个实施例中，基于多个医学图像和当前变换参数来确定人工代理的当前状态观察。使用基于多个已配准训练图像训练的基于机器学习的模型而基于当前状态观察计算用于对人工代理可用的多个动作的动作值，其中，所述多个动作对应于变换参数的预定调整。从所述多个动作中选择具有最高动作值的动作，并且通过对应于所选动作的预定调整来调整变换参数。针对多次迭代重复确定、计算以及选择步骤，并且使用从所述多次迭代得到的最终变换参数来配准所述多个医学图像。

用来基于当前状态观察而计算动作值的基于机器学习的模型可以是已训练深度神经网络（DNN）。所述已训练DNN可以被训练成使用加强学习而用已知地面实况（groundtruth）变换参数基于多个训练图像对来预测用于所述多个动作的动作值，在所述加强学习中，针对每个训练图像对，使用用于给定状态下的所述多个动作中的每个动作的奖励（reward）来将DNN训练成学习最优配准策略。可以使用监督的加强学习来训练已训练DNN，其中，用于给定状态下的所述多个动作中的每个动作的奖励是直接地基于给定状态下的变换参数与从应用动作得到的用于训练图像对的地面实况变换参数之间的测地距的减小而计算的。所述多个训练图像对可以包括通过将使用对其它训练图像对的地面实况变换参数的随机生成扰动来对其它训练图像对进行人工解对准（de-align）而合成地生成的训练图像对。所述多个训练图像对可以包括从其它训练图像对合成地生成的训练图像对，以通过用在一系列的地面实况变换参数内随机地生成的仿射变换来通过对其它训练图像对进行共同变形来提供接近于地面实况变换参数的密集采样。所述多个训练图像对包括通过使用合成图像发生器人工地改变其它训练图像对的图像外观而合成地生成的训练图像对。

在实施例中，变换可以是刚体变换，并且所述多个动作可以包括对应于平移和旋转刚体变换参数的预定调整的动作。所述多个动作可以包括对应于将平移和旋转刚体参数中的每一个增加和减小恒定或时变步长的相应动作。刚体变换可以是3D刚体变换，其具有包括三个平移参数和三个旋转参数的刚体变换参数。刚体变换可以是2D刚体变换，其具有包括两个平移参数和一个旋转参数的刚体变换参数。

在实施例中，其中，所述多个医学图像可以包括第一医学图像和第二医学图像，并且所述变换可以是对施加于第二医学图像的畸变进行建模的密集畸变模型。所述多个动作可以包括对应于对畸变模型的参数的调整的动作。可以通过生成与从所述多次迭代得到的畸变模型的最终参数相对应的密集畸变场并通过应用与畸变模型的最终参数相对应的密集畸变场来对第二医学图像进行卷曲（warp）以使第二医学图像与第一医学图像配准来配准第一和第二医学图像。

在实施例中，可以使用多标度图像数据以分级方式执行基于智能人工代理的图像配准。可以使用所述多个医学图像的第一图像分辨率和使用处于第一图像分辨率的训练图像训练的第一基于机器学习模型来重复当前状态观察的确定、动作值的计算以及具有最高动作值的动作的选择，直到达到第一停止条件为止。然后可以使用所述多个医学图像的第二图像分辨率和使用处于第二图像分辨率的训练图像训练的第二基于机器学习模型来重复当前状态观察的确定、动作值的计算以及具有最高动作值的动作的选择，直到达到第二停止条件为止。

在另一实施例中，一种训练智能人工代理以执行图像配准的方法可以相应包括获得训练图像对并生成合成训练图像对，定义用于人工代理的状态观察输入，定义对人工代理可用的一组可能动作，定义用于学习配准策略的奖励机制，以及训练深度神经网络（DNN）以使用训练图像对基于状态观察输入来预测用于可能动作集合的动作值。

通过参考以下详细描述和附图，本发明的这些及其它优点对于本领域普通技术人员而言将是显而易见的。

附图说明

图1A和1B图示出向传统的基于优化的图像配准技术提出挑战的医学图像配准问题的示例；

图2图示出根据本发明的实施例的用于训练智能人工代理以执行图像配准的方法；

图3图示出根据本发明的实施例的用于使用智能人工代理的图像配准的方法；

图4图示出根据本发明的实施例的用于使用图3的方法的人工代理图像配准的框架；

图5图示出根据本发明的实施例的用于使用智能人工代理的医学图像的刚性配准的方法；

图6图示出根据本发明的实施例的用于刚性3D/3D医学图像配准的示例性深度神经网络（DNN）；

图7图示出根据本发明的实施例的使用多标度图像数据的分级图像配准的方法；

图8图示出用于脊柱计算机断层成像（CT）和锥形束CT（CBCT）配准及心脏CT和CBCT配准的示例性配准结果；

图9图示出用于2D/2D脊柱图像配准的监督深度加强学习和无监督深度加强学习的比较；

图10图示出根据本发明的实施例的用于使用智能人工代理的医学图像的可畸变配准的方法；

图11是移动图像与固定图像之间的示例性理想化畸变轨迹；

图12图示出根据本发明的实施例的用于可畸变图像配准的示例性DNN；

图13图示出高斯径向基函数（RBF）；

图14图示出根据本发明的实施例的用于将从已训练DNN输出的已编码流程动作解码的框架；

图15图示出使用高斯核使感兴趣器官的轮廓畸变的示例；

图16图示出从移动图像的界标位置进行的补丁（patch）提取；

图17图示出根据本发明的实施例的用于执行多阶段可畸变配准的第二阶段的框架；

图18图示出根据本发明的实施例的自主型基于智能人工代理的认识图像融合的方法；

图19图示出根据本发明的实施例的使用弱监督深度密集对应学习来训练用于可畸变图像配准的DNN的方法；

图20图示出用于针对密集对应估计的卷积编码器-解码器网络的示例性网络架构；

图21图示出用于密集对应估计的示例性流网类深度架构；

图22图示出根据本发明的实施例的用于医学图像的可畸变配准的方法；以及

图23是能够实现本发明的计算机的高级框图。

具体实施方式

本发明涉及使用智能人工代理的医学图像的配准。在本文中描述了本发明的实施例以给出图像配准方法的直观理解。数字图像常常由一个或多个对象（或形状）的数字表示构成。在本文中常常根据识别和操纵物体来来描述物体的数字表示。此类操纵是在计算机系统的存储器或其它电路/硬件中实现的虚拟操纵。因此，应理解的是可使用存储于计算机系统内或者通过网络系统可用的数据在计算机系统内执行本发明的实施例。

图像配准指的是两个或更多图像的对准或不同图像到一个坐标系的变换。例如，医学图像配准可以用来恢复从不同患者、在不同时间的同一患者、使用不同医学成像模式（例如，计算机断层成像（CT）、磁共振成像（MRI）、正电子发射断层成像（PET）、超声波等）和/或统计或几何模型获取的两个或更多图像之间的对应关系。可以经由各种变换模型将图像带入同一坐标系中，所述变换模型诸如但不限于刚体变换、仿射变换、参数样条以及密集运动场。在许多不同的应用中利用医学图像配准。例如，已对准图像可以提供用于基于融合的决策（例如，从MR、CT和超声波进行的心脏评估）的补充信息、图像重构中的运动补偿（例如，以应对呼吸运动）、启用纵向变化分析（例如，通过登记同一患者的新的和过去图像而进行的癌症患者的后续读取）或者引导微创疗法（例如，手术前医学图像数据到手术坐标系中的融合以用于引导）。

下面，将使用成对图像配准情况来描述本发明的实施例。然而，本文中所述的实施例可以容易地扩展至基于群组的配准的情况，其中一组图像全部被同时地配准到同一参考图像（例如，群组中的图像中的一个或者图谱图像）。图像配准已通常被用公式表达（formulate）为优化问题，其中，定义通用匹配度量以测量要配准的图像对的相似性。然后经由使用优化器进行的预定义匹配度量的最大化来估计图像对之间的变换参数。此公式化在配准医学图像中面对重要挑战。图1A和1B图示出向传统的基于优化的图像配准技术提出挑战的医学图像配准问题的示例。传统的基于优化的图像配准的一个挑战是通用匹配度量对于医学图像而言常常是非凸性的，并且通用优化器通常关于非凸性问题表现拙劣。这在其中在要配准的图像的视场（FOV）中存在大的差异（诸如图1A中所示的示例）的情况下可能是问题。图1A示出了配准之前（100）和配准之后（105）的脊柱CT体积102和锥形束CT（CBCT）体积104的覆盖图，在CT和CBCT体积102和104之间具有FOV方面的大的差异。要配准的CT和CBCT体积102和104之间的FOV方面的大的差异可以导致优化器由于椎骨的重复性质而发现匹配度量的多个局部最大值。传统的基于优化的图像配准的另一挑战是通用匹配度量常常对图像噪声和伪像（诸如在图1B的示例中）、对感兴趣器官的部分覆盖（由于例如视场或在先手术而引起）以及对由于不同成像物理过程（例如用于心脏图像融合的超声波/MRI配准）而引起的根本不同的外观敏感。图1B示出了具有对比度增强血管的心脏CT体积110和具有软组织对比度和条纹伪像（streaking artifact）的心脏CBCT体积112。配准心脏CT和心脏CBCT的这种使用情况对于心脏介入而言是非常常见的，并且常常在导管插入实验室（cath实验室）中被用来将手术前信息融合到介入图像以用于瓣膜替换、PCI及其它介入的引导。在图1B中，由于线状伪像而引起的CT和CBCT体积110和112的差异和血管外观方面的差异可以导致使用传统基于优化的图像配准进行的CT和CBCT体积110和112的不准确配准。

本发明的实施例通过训练智能人工代理更密切地模拟人类如何将图像配准执行为对象识别和操纵的连续动作的过程来重新用公式表达医学图像配准。本发明的实施例训练智能人工代理通过监督学习和分级图像处理的组合来配准图像对。可以将实施例扩展至用不同的策略进行图像组的配准，诸如扩展动作的数目，使得同时地且合作地存在用于每个图像或者通过一起运行一组代理的一组动作。智能人工代理是通过执行加载到存储器中的计算机程序指令（代码）而在一个或多个计算机或处理器上实现的。智能人工代理观察其环境（即，要配准的图像）并自主地对该环境进行行动以使用已使用机器学习而学习的配准战略（在本文中称为“策略”以与加强学习术语一致）来配准图像。代理可以根据需要被触发，或者是持久性的且始终在背景中运行，确保稳健的图像配准，即使图像中的一个移动，例如在实时成像的情况下由于患者运动引起。用于智能人工代理的输入（在其通过变换参数的当前估计被变换时的已更新移动图像和固定图像）被用来确定其“状态”，该状态对应于原始图像对的当前对准。智能人工代理的输出是用以通过改变定义图像之间的变换的参数来改善固定和移动图像之间的对准的“动作”。在本发明的有利实施例中，使用深度神经网络（DNN）来近似针对每个状态返回的状态值函数、用于每个可能动作的指示该动作有多好的值。在替换实施例中可以使用其它近似函数。在训练期间，智能人工代理经由DNN来学习配准策略，该DNN将当前状态映射到最佳地改善对准的准确度的最优动作。在测试期间，为了配准新输入图像，经训练人工代理应用已学习配准策略来改善图像的对准直至其收敛至正确姿态为止。通过使用此深度学习模型，本发明的实施例的有利之处在于智能人工代理可以在没有手工工程的情况下固有地从原始图像数据学习数据驱动匹配度量和任务驱动策略两者并执行稳健的医学图像配准。

图2图示出根据本发明的实施例的用于训练智能人工代理以执行图像配准的方法。当配准一对图像时，将一个图像指定为参考图像或固定图像，并且将其它图像指定为移动图像或浮动图像。要配准的参考和移动图像可以被分别地表示为和,，其中，N和M是要配准的两个图像的相应维数。在医学图像中，N和M通常等于2，3或4（3D＋时间）。例如，在3D/3D配准中，N＝M＝3。在2D/2D配准中，N＝M＝2.。在2D/3D中，N＝2且M＝3。也可以全局地配准时间系列。在这种情况下，N＝M＝4。图像配准的目标是估计将移动图像变换成与参考图像对准的变换，表示为。一般而言，该变换可以表示弯曲流形（curved manifold），并且可以使用K个变换参数来建模。配准的目标然后变成估计所述K个变换参数，使得和之间的相似性被最大化。在某些实施例中，可以使用各种类型的变换模型（诸如仿射变换、样条模型或生物力学模型）来对将与参考图像对准的移动图像的变换进行建模。在其它实施例中，可以用密集运动场来估计非参数可畸变配准。在这种情况下，可以针对网格上的每个像素/体素估计运动参数，并且运动参数可以直接地是移位、静止速度或动力矩或者那些的任何子空间表示（例如，除其它之外的PCA模式）。图2的方法训练深度神经网络（DNN）以预测用于对应于变换参数的一组动作的动作值。通过将动作空间参数化，可以将DNN训练成使用图2的方法来执行任何配准任务。

参考图2，在步骤202处，获得和/或生成训练图像。在有利实施例中，可以基于对应于特定配准任务的训练图像对（即，参考图像和移动图像）和训练图像对之间的已知地面实况变换来针对特定配准任务训练DNN。例如，训练图像对可以是使用不同成像模式（例如，CT、MRI、超声波、PET等）获取的医学图像、在不同时间从同一患者（使用相同成像模式）获取的医学图像或者从不同患者获取的医学图像。训练图像对可以是用于3D/3D配准的3D医学图像对、用于2D/2D配准的2D医学图像对、或者用于2D/3D配准的3D图像和2D图像。训练图像对可以包括从医学图像获取设备（诸如CT扫描仪、MRI扫描仪、C形臂图像获取设备、超声波设备等）获取的患者的实际医学图像。这些训练图像对可以是通过从被用来获取图像的图像获取设备接收图像或者通过从计算机系统的储存器或存储器加载先前获取的图像而获得的。用于这些图像对的地面实况变换可以是通过手动专家注释或者通过应用现有图像配准方法而获取的。在其中使用现有配准方法来计算用于训练图像对的地面实况变换的情况中，可以使用从现有配准方法得到的计算变换用已变换移动图像来替换训练图像对中的参考图像，以便补偿现有配准方法中的不准确。

训练图像对还可以包括合成图像，其是通过加强其它训练图像而生成的，而不是使用图像获取设备在患者的扫描中获取的。要获得患者的实际扫描医学图像的许多标记训练对可能是困难的。根据有利实施例，可以从少量标记训练对合成地生成大型训练集合。为了生成合成训练图像对，可以通过用在变换参数的空间中采样的一组变换对图像中的一个进行变换来对具有已知地面实况变换的对准训练图像对中的每一个进行人工解对准。由于原始地面实况变换是已知的，所以这些变换中的每一个导致附加训练图像对，对于其而言地面变换也是已知的。另外，为了接近于地面实况变换提供变换参数空间的更密集采样，可以用在地面实况变换参数的指定范围内的多个扰动对每个已对准训练图像对进行共同畸变，以生成在变换参数空间中接近于地面实况变换的附加训练图像对。还可以通过经由添加噪声和/或伪像来改变现有训练对中的一个或两个图像的外观或者甚至通过使用合成图像发生器来从未配对训练图像模拟其它图像模式而生成附加合成训练图像，所述合成图像发生器包括但不限于基于物理的模拟器（例如，MRI模拟器、超声波模拟器）或基于机器学习的模拟器（例如，训练生成式对抗网络（GAN）以从另一成像模式模拟一个成像模式，GAN在已配对图像上被训练）。

在步骤204处，针对对于其而言正在训练DNN的特定图像配准任务定义到DNN的状态输入。输入到DNN的状态是两个图像的当前对准的观察。给定要配准的两个图像和及当前和先前变换参数，智能人工代理提取当前对准的观察状态，并且将该状态输入到DNN。状态观察可以包括当前和先前变换参数；参考图像的整个图像或感兴趣区域（ROI）；通过由指定的变换而变换的移动图像的整个图像或ROI；通过例如经由扰动从导出的变换而变换的的整个图像或ROI；在2D/3D配准（N＝2，M＝3）的情况下，通过由指定的变换而变换的的2D投影的整个图像或ROI；在2D/3D配准（N＝2，M＝3）的情况下，通过例如经由扰动从导出的变换而变换的的3D投影的整个图像或ROI；和/或通过诸如滤波、减法等操作被后处理的上述图像。在一个实施例中，可以通过将使用当前变换参数（或者2D/3D配准的情况下的已变换移动图像的投影）而变换的移动图像与使用指定函数或操作的参考图像相比较来计算当前对准的状态。例如，在有利实施方式中，可以通过从参考图像减去使用当前变换参数的变换的移动图像来计算当前对准的状态。在另一实施例中，将参考图像和使用当前变换参数的变换的移动图像传递至神经网络，其以多通道架构为特征（例如，在图12中）。然后由神经网络自动地执行并学习图像的比较。

在步骤206处，针对配准任务定义一组可能动作。该组可能动作包括改变变换参数的一组动作。例如，为了执行刚性配准，该组动作可以包括改变刚体变换参数（例如，用于3D/3D配准的3个平移参数和3个取向参数）的动作。针对可畸变配准，可以使用畸变模型来对畸变场进行建模，并且动作的集合可以包括改变被用来对畸变场进行建模的畸变模型的参数的动作。可能动作的集合可以包括用以将单独变换参数改变（增加和减小）某个步长的动作、用以将多个变换参数同时地改变某个步长的动作、用以针对每个变换参数优化步长的动作、确定实现了正确的配准并终止配准过程的动作、以及在配准参数的曲线流形中将从先前选择的动作得到的变换混合（compound）以确保修正动作的整个路径保持在该流形内的动作。应理解的是本发明不限于上述动作，并且可以基于对于其而言训练智能人工代理的特定配准任务而包括其它动作。

在步骤208处，定义奖励机制。定义取决于结果产生的图像对准的该动作的效果而为每个动作分配奖励的奖励机制。对导致更准确对准的动作分配较高奖励，而对导致更不准确的对准的动作分配较低奖励或处罚（负奖励）。然后可以使用加强学习来训练代理。在有利实施例中，可以将奖励机制定义为变换参数中的L2误差的减小：

奖励 (1)

其中，和是采取动作之前和之后的变换参数，并且是用于正确配准的地面实况参数。在这种情况下，代理训练被完全监督，并且此类奖励可以被视为“GPS”，其直接地告诉代理什么是要采取的最佳动作。在执行多次试验并从“GPS”（训练阶段）学习之后，可以关掉“GPS”（测试阶段），并且可以应用在训练阶段中从“GPS”学习的配准战略以配准对于而言变换尚且未知的图像。

在步骤210处，将DNN训练成使用训练图像基于状态输入来预测用于可能动作集合的动作值。智能代理的核心部分是DNN（或者可能多个DNN），其用针对特定图像配准任务的适当参数化而采取状态作为用于所有可能动作的输入和输出动作值。如果基于要达到地面实况变换参数的步骤数目而打折地采取动作，则用于动作的动作值可以表示最高可能未来奖励。用上文所述的奖励机制（例如，变换参数中的L2误差的减小），较高动作值指示动作正在将配准朝着正确方向（即，朝着正确的最终配准结果）驱动，并且因此是要采取的优选动作。动作空间在参数化的情况下可以是离散的或连续的。

根据本发明的有利实施例，可以使用监督深度加强学习（DRL）技术来训练DNN。加强学习（RL）是其中基于软件的人工代理在特定上下文中且针对特定任务使用奖励反馈来自动地学习理想行为的一种机器学习。在将DNN与RL组合且最近已被应用于训练人工代理玩Atari和Go游戏的DRL中，策略学习过程被用公式表达为RL问题，并且在Bellman等式之后估计动作值函数（也称为Q函数）作为迭代更新。在DRL和RL中，代理的训练通常是无指导的，并且代理根据其当前策略估计而在其环境中自由地演进。然而，代理的训练效率和Q函数的迭代更新是相对低的，其可以针对其中输入数据和参数空间是大的的图像配准任务（诸如3D医学图像体积的配准）使得DRL不切实际或不可能。在本发明的有利实施例中，使用其中以分析方式近似动作值的贪婪搜索战略基于训练图像对的已知地面实况变换来监督DNN的DRL训练。此监督的DRL具有优点，即Q网络保证收敛，并且行为分布可以是任意地平滑的而不需要部署存储器重放战略，其可以具有非常高的存储器占位空间。可以以端到端方式训练DNN，或者可以针对图像特征提取层和策略学习层单独地训练，以便在需要的情况下给图像内容的变化带来更大的稳健性。

在替换实施例中，可以训练已训练DNN使用演进战略（ES）来学习DNN的参数（例如，权值）基于训练图像对来预测动作值。在ES中，作为使用加强学习的替代，使用类似遗传的算法或采样战略来直接地基于训练数据而优化DNN的参数。

已训练DNN被例如存储在计算机系统的存储器或储存器中或者在远程的“基于云”的计算机系统中。然后当配准两个新接收到的图像时可以加载并使用已训练DNN以基于要配准的图像的当前状态而针对可能动作集合中的每一个迭代地预测动作值，并且执行具有最高预测动作值的所选动作。

图3图示出根据本发明的实施例的用于使用智能人工代理的图像配准的方法。在步骤302处，接收第一和第二医学图像。例如，第一和第二医学图像可以是使用成像模式（例如，CT、MRI、超声波、PET、DynaCT等）获取的图像、在不同时间获取的同一患者的图像或者从不同患者获取的图像。第一和第二医学图像可以两者是3D医学图像（体积）（3D/3D配准）、两者是2D医学图像（2D/2D配准），或者可以是一个2D医学图像和一个3D医学图像（2D/3D配准）。第一和第二医学图像还可以是图像序列（3D+t或2D+t），其还可以使用图3的方法来配准。第一和第二医学图像可以是直接地从图像获取设备（诸如CT扫描仪、MRI扫描仪、超声波设备、C形臂图像获取设备）接收的，或者可以是通过从计算机系统的存储器或储存器加载先前存储的医学图像或在电子传输中从另一计算机系统接收医学图像而接收的。医学图像中的一个被指定为参考图像，并且另一个被指定为移动图像。

在步骤304处，基于第一和第二医学图像和变换参数的当前集合来确定当前状态。在步骤306处，将当前状态输入到已训练深度神经网络，并且使用已训练DNN基于当前状态来计算用于可能动作集合的动作值。可能动作可以对应于对变换参数的调整。在步骤308处，选择并执行具有最高动作值的动作。所选动作通常将调整至少一个变换参数，其改变移动图像的变换。在步骤310处，确定是否已满足停止条件。例如，如果确定实现了正确的配准或者当已执行了最大数目的迭代时，可以达到停止条件。当“停止配准”动作被选择为具有最高动作分数的动作时或者通过将参考图像与已变换移动图像之间的误差值与预定阈值相比较，可以确定实现了正确配准。如果未满足停止条件，则方法返回至步骤304，并且重复步骤304—310。因此，重复步骤304—310直至满足停止条件为止。当满足停止条件时，方法前进至步骤312。在步骤312处，输出配准结果。用最终变换参数来变换移动图像，并且可以在计算机系统的显示器上显示已变换移动图像和参考图像。例如，可以在参考图像上覆盖已变换移动图像并将其显示为融合图像。还可以将已配准图像以电子方式传输到远程计算机系统以便在远程计算机系统的显示器上显示。虽然图3仅示出了输出最终配准结果，但随着执行步骤304—310的每次迭代可输出（例如，在计算机系统的显示器上显示）使用当前变换参数的递增配准结果也是可能的。此类递增结果将允许用户随着人工代理正在配准图像而实时地查看由智能人工代理进行的每个调整。

图4图示出根据本发明的实施例的用于使用图3的方法的人工代理图像配准的框架。如图4中所示，接收要配准的两个医学图像402。基于当前变换参数来确定状态404，其是图像402的当前对准的观察。例如，状态观察404可以是由从参考图像减去用当前变换参数变换的移动图像得到的图像。状态观察404被输入到已训练DNN 406，其充当智能人工代理的“大脑”。已训练DNN 406计算用于一组可能动作中的每个动作的各动作分数，并且选择具有最高动作分数的动作408。执行动作408以调整变换参数中的至少一个，并且用已更新变换参数来执行配准，导致已更新状态观察404。重复此过程直至满足停止条件为止。例如，可以重复该过程直至选择了停止配准动作为止或者直至执行预定最大数目的迭代为止。

在可能的实施例中，可以以协调方式训练多个代理以同时地配准图像中的多个对象（例如，器官、解剖结构等）。在一个示例性实施方式中，每个对象在每个步骤中由被训练成配准该对象的对应代理（具有对应DNN）独立地对准，并且主代理被训练成协调来自单独对象特定代理的动作建议并在给定要配准的多个对象的相对位置的约束的情况下输出最优总体动作。在另一可能实施方式中，可以训练每个代理与其它代理和/或未知队友合作。类似地，还可以以协调方式训练多个代理以通过结合图像之间的相对变换的约束而同时地配准多个图像。

在另一可能实施例中，可以训练多任务代理以执行来自不同源（例如，不同的模式、成像协议以及器官）的多种图像的配准。可以应用传递和分级加强学习来通过传递来自针对单独配准任务（例如，特定器官）训练的代理的知识并抽象出用于配准的特征和策略而训练多任务代理。还可以通过传递来自关于类似配准任务的先前训练代理的知识而更高效地训练新任务特定代理。在此上下文中，在有利实施方式中，可以使用行动者模拟方法来训练能够配准多个不同类型的图像对的单个智能人工代理。使N为数目为N的成像模式对之间的配准任务的数目。可以如上所述地训练N个不同的人工代理，每个对应于特定类型的成像模式对之间的特定配准任务。然后训练“模拟”代理，其目标是在其各自的任务中如所有人工代理一样准确且稳健。在一个实施例中，使用N个不同类型的训练图像对来训练，并且用以最小化的损失函数是的动作值之间的最小方差和各单独代理的那些的和。可以设计其它损失函数以实现域传递和任务一般化。用此类框架，模拟代理将学习将实现配准任务的所有成像模式中存在的通用特征。

在另一可能实施例中，可以训练智能人工代理使用不同的变换模型以粗至细方式来配准医学图像。例如，智能人工代理可以首先调整刚体变换参数直至达到第一停止条件（例如，预定数目的迭代或者切换变换模型动作被选择）为止，然后是仿射变换参数直至达到第二停止条件（例如，预定数目的迭代或者切换变换模型动作被选择）为止，然后是多重仿射变换参数直至达到第三停止条件（例如，预定数目的迭代或者切换变换模型动作被选择）为止，并且然后是密集畸变参数，直至达到最终停止条件（例如，预定数目的迭代或停止配准动作被选择）为止。在这种情况下，可以训练已训练DNN计算用于与对所有的各种变换模型（例如，刚性、仿射、多重仿射、密集）的调整相对应的动作的动作值以及用于与在各种变换模型之间切换相对应的动作的动作值。

使用智能人工代理的刚性配准

在本发明的有利实施例中，使用智能人工代理来执行医学图像的刚性配准。在本文中针对3D/3D医学图像配准来描述刚性配准。应理解的是本文中所述的用于刚性配准的方法不限于3D/3D医学图像配准，并且也可以类似地应用于2D/2D医学图像配准。本文中所述的用于刚性配准的方法使用包括三个平移参数和三个旋转参数的刚体变换来配准图像。此类方法可以类似地应用于使用其它类型的参数变换来执行配准，所述参数变换诸如九参数仿射变换（三个平移参数、三个旋转参数以及三个标度参数）、12参数仿射变换（三个平移参数、三个旋转参数、三个标度参数、以及三个剪切参数）或多重仿射变换。

图5图示出根据本发明的实施例的用于使用智能人工代理的医学图像的刚性配准的方法。在图5的步骤500处，训练DNN预测用于对应于刚体变换参数的一组动作的动作值。步骤500是在步骤502—514中执行的用于新输入/接收图像的在线图像配准之前的离线训练阶段中执行的。

给定参考图像和移动（浮动）图像，3D/3D刚体图像配准的目标是使用刚体变换参数来变换，用逐列齐次变换矩阵表示为：

使得和在解剖上被对准。在这里，在用齐次坐标表示为的中的点被变换成中的位置。可以将问题投射为马尔可夫决策过程（MDP），并且目标是训练智能人工代理，其学习策略以通过基于当前对准的观察（状态）来进行一系列判定而配准两个图像。在有利实施方式中，当前观察或状态是与使用当前变换参数变换的之间的强度差：

。

在有利实施方式中，判定或动作是中的六个变换参数（三个平移参数和三个取向参数）中的一个的变化，例如，对于沿着x轴为1mm的平移而言和对于绕着x轴为1°的旋转而言。经由通过应用动作来更新移动图像而计算下一状态：

。

在训练（图5的步骤500）期间，代理使用将当前状态映射到最优动作的DNN来学习配准策略。在测试（图5的步骤502—514）期间，代理在N个动作的序列中应用学习策略，以改善对准直至其收敛到正确姿态或达到最大迭代数目为止。

可以使用加强学习来训练DNN。在本发明的有利实施例中，将监督的DRL用于将DNN训练成预测用于动作集合的动作值。核心问题是找到指导人工代理的决策过程的策略。在先前的DRL游戏应用中，策略学习被用公式表达为具有遵循Bellman等式估计的动作值（也称为Q）函数作为迭代更新的RL问题。然而，当依赖于代理的无指导探索和Q的迭代更新时，训练效率是相对低的。事实上，已知Q的此迭代更新是不稳定的，或者当使用非线性近似器来表示它时甚至发散，并且不存在诸如基于卷积神经网络（CNN）的深度网络对于一般应用而言保证收敛到正确Q函数的理论证据。在本发明的有利实施例中，通过命令代理遵循贪婪配准路径、以最高效的方式模拟人类如何配准两个对象来监督训练。特别地，在给定当前变换和地面实况配准姿态的情况下，将沿着监督的配准路径的时间t处的最优动作定义为使和之间的欧几里德距离最小化的动作：

。

在有利实施方式中，在动作集合A中存在6×2＝12个候选动作，其对应于针对平移参数中的每一个的±1 mm和针对取向（旋转）参数的±1°的变化，意味着代理的移动局限于在变换参数空间中的具有步长1的网格上。通过向代理教授配准路径，可以去除遵循Bellman等式通过迭代更新来估计Q的需要。替代地，可以经由以下递归函数来显式地计算动作值Q函数，假设允许代理运行足够数目的步骤以遵循在等式（5）中指定的监督的贪婪路径来到达地面实况姿态：

(6)

其中

(7)。

并且，用于动作的直接的奖励通过应用动作而与变换参数到地面实况姿态的距离的减小成比例，

(8)。

该奖励被预定因数（例如，）打折以隐含地包括步骤的数目作为成本，并且当其在变换参数空间中的地面实况姿态的预定容差（例如，)）内时，认为代理到达正确的姿态并接收分红奖励R（例如，R=10）。

可以示出如果允许代理以步长1采取离开变换参数空间中的网格的最贪婪路径来接近地面实况姿态，即关于动作的唯一约束是，并且代理在其到达目标时接收到适当的分红奖励R，则，意味着已训练代理可以通过在测试阶段中简单地选择具有最大Q的动作来执行配准。另外，随着与之间的距离减小而单调减小，并且随着距离变成无穷大而接近于固定值。 在实验上，可以观察到Q函数的以下简化：在没有递归计算的情况下由于此性质而同样良好地工作，即等式（6）中的项快速地接近于近似固定偏移，其在给定状态下不影响最优动作的选择。

DNN被训练成在等式（6）中表示动作值Q函数。在有利实施方式中，DNN是深度卷积神经网络（CNN）。到DNN的输入是当前状态，DNN的输出具有12个节点，每个对应于动作集合A中的12个动作中的一个，并且可以将损失函数定义为：

(9)

其中，是用于M个训练样本之中的第k样本的CNN的第i输出。可以使用梯度下降算法和反向传播来训练DNN（例如，深度CNN）以学习在所有训练样本内使损失函数最小化的用于DNN的各层的权值。本文中所述的DNN训练方案与在游戏应用中使用的先前RL和DRL相比具有各种优点。例如，在本公开中描述的目标Q函数是在没有迭代估计的情况下以分析方式给出的，使得可以更加高效得多地训练网络且具有更加稳定的收敛性质。另外，本文中所述的目标Q计算不要求代理的探索历史，意味着可以在具有很少相关的情况下任意地随机地对数据进行采样，而不需要经验重演所需的大存储器存储。这些优点对于使得此框架对于处理大型3D体积作为输入的3D/3D配准应用而言切合实际是重要的。

医学图像的标记训练图像对（即，具有已知地面实况变换的训练图像对）可能不容易获得。根据本发明的有利实施例，可以加强标记训练数据的有限集合以生成大量合成训练图像对，其可以被用作用于训练DNN的训练样本。为了生成合成训练图像对，可以通过用在变换参数空间中采样的一组变换对图像中的一个进行变换来对用已知地面实况变换对准的训练图像对中的每一个进行人工解除对准。例如，针对每个已对准训练图像对，可以在每个刚体变换参数的预定范围内随机地生成预定数目的刚体扰动。因为原始地面实况变换是已知的，所以这些变换中的每一个导致附加训练图像对，对于其而言地面变换也是已知的。另外，针对每个已对准对，可以执行接近于地面实况姿态的变换参数空间的更密集采样，以便高效地且可靠地训练DNN，因为此空间中的网络输入-输出映射与用于远离地面实况对准姿态的变换参数空间的网络输入-输出映射相比更加复杂且更不平滑。为了提供接近于地面实况变换的变换参数空间的更密集采样，可以用仿射变换来以几何方式对每个已对准训练图像对进行共同畸变：

(10)，

其中，I是4×4单位矩阵，并且用于剪切的中的所有元素是在预定范围（例如，）内独立地且随机地生成的，以覆盖就尺寸和形状而言的患者之间的可能解剖变化。

训练（图5的步骤500）导致已训练DNN，其基于要配准的图像的对准的当前状态来预测用于动作集合中的每一个的动作值（Q）。图6图示出根据本发明的实施例的用于刚性3D/3D医学图像配准的示例性DNN。如图6中所示，DNN 600是深度CNN，其具有输入对应于要配准的图像和的对准状态的3D体积的多个隐蔽层。在图6中，是参考图像且是移动或浮动图像。输入3D体积是通过从减去被用当前刚体变换参数变换的而生成的。在图6的示例中，DNN 600具有五个3D卷积层，后面是三个完全连接层，但是本发明不限于此特定网络结构。DNN 600的输出层具有12个节点，每个对应于动作集合中的动作。特别地，12个输出节点表示对应于用于平移参数中的每一个的±1 mm和用于取向（旋转）参数的±1°的调整的12个候选动作。DNN 600的输出节点输出用于对应动作的预测动作值/奖励。智能人工代理然后选择具有最高预测动作值的动作，并且执行该动作（即，对变换的对应调整）以更新移动图像的变换。

返回图5，在步骤502处，接收第一和第二医学图像。例如，第一和第二医学图像可以是使用成像模式（例如，CT、MRI、超声波、PET、DynaCT等）获取的图像、在不同时间获取的同一患者的图像或者从不同患者获取的图像。第一和第二医学图像可以直接地从图像获取设备（诸如CT扫描仪、MRI扫描仪、超声波设备、C形臂图像获取设备等）接收，或者可以通过从计算机系统的存储器或储存器加载先前存储的医学图像或在电子传输中从另一计算机系统接收医学图像来接收。医学图像中的一个被指定为参考图像，并且另一个被指定为移动图像。图5的方法是针对3D/3D配准描述的，但是也可以类似地应用于2D/2D配准。

在步骤504处，基于当前刚体变换参数来确定当前状态。在有利实施方式中，通过从参考图像减去用当前刚体变换参数变换的移动图像（即使用等式（3））来确定当前状态。这导致3D状态体积。在第一迭代中，在任何刚体变换参数已被调整之前，可以通过从参考图像减去移动图像来计算初始状态，因为尚未对移动图像应用变换。

在步骤506处，使用已训练DNN基于当前状态针对可能动作的集合中的每个动作计算动作值。如上所述，可能动作的集合包括对应于对刚体变换参数中的每一个的调整的动作。特别地，可能动作的集合可以包括12个动作，其对应于用于平移参数中的每一个的±1 mm和用于取向（旋转）参数的±1°的调整。已训练DNN（诸如图6中所示的已训练DNN 600）输入当前状态体积并计算用于每个动作的预测动作值（Q值）。

在步骤508处，选择具有最高预测动作值的动作，并且通过执行所选动作来更新刚体变换参数。在有利实施方式中，所选动作将把平移参数中的一个调整±1 mm或把取向参数中的一个调整±1°。在步骤510处，使用已更新刚体变换参数来变换移动图像。在步骤512处，确定是否已满足停止条件。例如，当确定变换参数已收敛至正确姿态时或者当已经执行预定最大数目的迭代时，可以满足停止条件。如果没有满足停止条件，则方法返回至步骤504并重复步骤504—512。因此重复步骤504—512直至满足停止条件为止。当满足停止条件时，方法前进至步骤514。

在步骤514处，输出配准结果。通过用最终刚体变换对移动图像进行变换以使移动图像与参考图像对准来配准第一和第二医学图像。可以通过在计算机系统的显示器上显示已配准的第一和第二医学图像来输出已配准的第一和第二医学图像。例如，可以将已配准的第一和第二图像覆盖并显示为融合图像。还可以通过将已配准第一和第二图像以电子方式传输到远程计算机系统以便在远程计算机系统的显示器上显示来输出已配准第一和第二医学图像。

虽然图5仅示出了输出最终配准结果，但可以随着执行步骤504—512的每个迭代而输出（例如，在计算机系统的显示器上显示）使用当前刚体变换参数的递增配准结果也是可能的。此类递增结果将允许用户随着人工代理配准图像而实时地查看由智能人工代理进行的每次调整以将移动图像迭代地对准至固定图像。

分级图像配准。由于在3D/3D配准的情况下到DNN的输入是大型3D体积而不是2D图像，所以体积的尺寸对于实际使用而言是重要的。为了实现效率和准确度，可以使用利用多标度图像数据的分级图像配准。根据本发明的有利实施例，可以在不同的图像分辨率下训练两个或更多单独DNN（例如，深度CNN）。例如，在两个分辨率的情况下，可以用具有较低分辨率的降采样（down-sampled）体积来训练第一DNN，并且可以使用高分辨率（即，没有降采样的情况下的原始分辨率）体积来训练第二DNN。在有利实施方式中，使用相同网格尺寸（例如，64×64×64）体积作为输入但是用不同的分辨率来训练第一和第二已训练DNN两者。第一DNN是使用具有较低分辨率的降采样训练体积针对粗对准而训练的，并且集中于要配准的图像中的对象的稳健对准，即使当初始位移是大的时。第二DNN是使用具有有限视场（FOV）的高分辨率训练体积训练的，并且集中于尽管是有限的FOV也尽可能准确地使对象对准。第一和第二DNN每个被如上文结合图1和/或图5所述的那样训练。例如，第一和第二已训练DNN中的每一个可以具有类似于图6的DNN 600的网络架构。已训练第一和第二DNN然后被用于新接收到的图像的分级图像配准。可以将此分级配准应用于任何类型的配准方法（例如，刚性、仿射、可畸变）和任何维数（例如，2D/2D、3D/3D等）。

图7图示出根据本发明的实施例的使用多标度图像数据的分级图像配准的方法。在步骤702处，接收第一和第二医学图像。例如，第一和第二医学图像可以是使用成像模式（例如，CT、MRI、超声波、PET、DynaCT等）获取的图像、在不同时间获取的同一患者的图像或者从不同患者获取的图像。第一和第二医学图像可以直接地从图像获取设备（诸如CT扫描仪、MRI扫描仪、超声波设备、C形臂图像获取设备等）接收，或者可以通过从计算机系统的存储器或储存器加载先前存储的医学图像或在电子传输中从另一计算机系统接收医学图像而接收。医学图像中的一个被指定为参考图像，并且另一个被指定为移动图像。图7的方法是针对使用刚体变换的3D/3D配准描述的，但是可以类似地应用于2D/2D配准和/或其它类型的变换参数化。

在步骤704处，对第一和第二医学图像进行降采样以生成第一和第二降低分辨率图像。可以使用各种众所周知的降采样技术来对第一和第二医学图像进行降采样。

在步骤706处，使用第一和第二降低分辨率图像及当前变换参数来生成当前降低分辨率状态体积。可以通过从降低分辨率参考图像减去用当前变换参数变换的降低分辨率移动图像来确定当前降低分辨率状态体积。在步骤708处，使用第一已训练DNN针对可能动作集合中的每个动作计算动作值。如上所述，可能动作的集合可以包括对应于对刚体变换参数中的每一个的调整的动作。特别地，可能动作的集合可以包括12个动作，其对应于用于平移参数中的每一个的±1 mm和用于取向（旋转）参数的±1°的调整。使用降采样降低分辨率图像训练的第一已训练DNN输入根据第一和第二降低分辨率图像计算的当前降低分辨率状态体积，并且计算用于每个动作的预测动作值（Q值）。在步骤710处，选择具有最高预测动作值的动作，并且通过执行所选动作来更新变换参数。

在步骤712处，确定是否满足停止条件。在示例性实施例中，当已经执行了使用第一已训练DNN的第一预定数目为的迭代时，满足用于使用第一已训练DNN的配准的停止条件。在这种情况下，如果尚未执行使用第一已训练DNN的次迭代，则尚未满足停止条件，并且方法返回至步骤706并重复步骤706—712。因此，重复步骤706—712直至执行了使用第一已训练DNN的次迭代为止。当已经使用第一已训练DNN执行了次迭代时，已满足停止条，并且方法前进至步骤714。在示例性实施方式中，，使得使用第一已训练DNN基于降低分辨率图像而应用200个连续动作以便粗略地对准图像。在其它实施例中，可以使用用于使用第一已训练DNN的配准的其它停止条件。例如，当使用第一已训练DNN的配准实现预定准确度阈值时（例如，降低分辨率参考图像与已变换降低分辨率移动图像之间的误差值小于阈值）、当使用第一已训练DNN的配准收敛时（例如，变换参数收敛或者降低分辨率参考图像与已变换降低分辨率移动图像之间的误差值收敛）或者在其中第一已训练DNN包括“停止动作”的情况下、当“停止”动作被选择为具有最高动作值的动作时，可以满足停止条件。也可以使用其它停止准则，诸如当检测到动作中的循环（loop）时。

在步骤714处，基于第一已训练DNN来定义感兴趣区域（ROI）。基于当前变换参数来更新降低分辨率状态体积。然后使用单个反向传播道次（pass）来计算第一已训练DNN的层的输出的和相对于输入降低分辨率状态体积的导数，导致输入降低分辨率状态图像的显著性映射表。然后例如使用第95百分位阈值化来对结果得到的显著性映射表进行阈值化，并且在阈值化显著性映射表上计算加权平均以对将被用于到第二已训练DNN的输入的ROI进行局部化。

在步骤716处，使用第一和第二医学图像和当前变换参数来生成当前高分辨率状态体积，并且从当前高分辨率状态体积提取定义ROI。当前高分辨率状态体积可以是通过从原始分辨率参考图像减去用当前变换参数变换的原始分辨率移动图像而生成的。然后从当前高分辨率状态体积提取ROI定义步骤714。在步骤718处，基于当前高分辨率状态体积的ROI使用第二已训练DNN针对可能动作的集合中的每个动作计算动作值。可能动作的集合可以包括对应于对刚体变换参数中的每一个的调整的动作。特别地，可能动作的集合可以包括12个动作，其对应于用于平移参数中的每一个的±1 mm和用于取向（旋转）参数的±1°的调整。在有限FOV中使用高分辨率图像训练的第二已训练DNN仅输入对应于在步骤714中定义的ROI的当前高分辨率状态体积的一部分，并且计算用于每个动作的预测动作值（Q值）。由于ROI是基于第一已训练DNN的显著性映射表而定义的，所以ROI使第二已训练DNN集中于用于图像配准的输入体积的最显著部分。在步骤720处，选择具有最高动作值的动作，并且通过执行所选动作来更新变换参数。

在步骤722处，确定是否已满足停止条件。在示例性实施例中，当已经执行了使用第二已训练DNN的第二预定数目为的迭代时，满足用于使用第二已训练DNN的配准的停止条件。在这种情况下，如果尚未使用第二已训练DNN执行次迭代，则尚未满足停止条件，并且方法返回至步骤716并重复步骤716—722。因此，重复步骤716—722直至使用第二已训练DNN执行了次迭代为止。当已使用第二已训练DNN执行了次迭代时，已满足停止条件，并且方法前进至步骤724。在示例性实施方式中，，使得使用第二已训练DNN应用100个连续动作。在其它实施例中，可以使用用于使用第二已训练DNN的配准的其它停止条件。例如，当使用第二已训练DNN的配准实现预定准确度阈值时（例如，参考图像与已变换移动图像之间的误差值小于阈值）、当使用第二已训练DNN的配准收敛时（例如，变换参数收敛或者参考图像与已变换移动图像之间的误差值收敛）、或者在其中第二已训练DNN包括“停止”动作的情况下、当“停止”动作被选择为具有最高动作值的动作时，可以满足停止条件。也可以使用其它停止准则，诸如当检测到动作中的循环时。

在步骤724处，输出配准结果。通过用最终刚体变换对移动图像进行变换以使移动图像与参考图像对准来配准第一和第二医学图像。可以通过在计算机系统的显示器上显示已配准的第一和第二医学图像来输出已配准的第一和第二医学图像。例如，可以将已配准的第一和第二图像覆盖并显示为融合图像。还可以通过将已配准第一和第二图像以电子方式传输到远程计算机系统以便在远程计算机系统的显示器上显示来输出已配准第一和第二医学图像。

虽然图7仅示出了输出最终配准结果，但可以随着执行步骤704—710的每次迭代和步骤716—722的每次迭代而输出（例如，在计算机系统的显示器上显示）使用当前变换参数的递增配准结果也是可能的。此类递增结果将允许用户随着人工代理正在配准图像而实时地查看由智能人工代理进行的每个调整。

本发明人关于腹部脊柱CT和锥形束CT（CBCT）图像的配准及心脏CT和CBCT图像的配准而评估了用于3D/3D刚性医学图像配准的上述实施例。在腹部脊柱CT和CBCT配准中，主要挑战是CT具有比CBCT更大得多的视图，由于脊柱的重复性质而导致配准空间中的许多局部最优解。87个图像对被用于腹部脊柱CT和CBCT配准，并且82个图像对被用于训练且5对被用于测试。在心脏CT和CBCT配准中，主要的挑战是具有严重条纹伪像的CBCT的质量差和要配准的对象（即心外膜）的边界处的弱软组织对比度。97个图像对被用于心脏Ct和CBCT配准，并且92对被用于训练且5对被用于测试。使用关于脊柱界标的专家手动注释和心外膜处的网格描绘来运行基于迭代最近点（ICP）的配准，后面是目视检查，以分别地提供用于脊柱和心脏图像对的地面实况对准。

对用于脊柱和心脏应用两者的DNN和两个配准层使用相同网络架构，如下。针对每个应用训练的DNN包括五个卷积层，后面是三个完全连接层。五个卷积层分别地使用8、32、32、128和128个滤波器，全部具有3×3×3个核（kernel）。前两个卷积层每个后面是2×2×2个最大池化层（max-pooling layer）。三个完全连接的分别地具有512、512和64激活神经元，并且输出具有对应于A中的十二个可能动作的12个节点。每个层后面是非线性修正层，并且对每个层应用批量归一化。在训练期间，每个训练图像对被加强64,000次，导致用于每个应用的＞5M的训练样本。为了针对粗配准来训练DNN，在用于心脏数据的内和用于脊柱数据的 内随机地生成刚体扰动，以覆盖脊柱CT中的头—脚方向上的大FOV。另外，在具有0.2的概率的情况下，在内随机地生成刚体扰动，以便对接近于正确对准的变换参数空间进行更密集的采样。为了针对细化配准而训练CNN，将刚体扰动范围缩减至。使用没有动量的情况下的RMSprop梯度下降更新和32的批量尺寸来训练DNN（用于粗对准和用于细化对准两者）。学习率是0.00006，每1000个基于小批量反向传播具有0.7的衰落。针对每种情况，训练在单个GeForce Titan X上花费约24小时。

图8图示出用于脊柱CT和CBCT配准及心脏CT和CBCT配准的示例性配准结果。图8示出了用于三个脊柱CT和CBCT配准示例及两个CT和CBCT配准示例的配准结果。如图8中所示，图像800和802示出了用于第一脊柱CT和CBCT配准示例的分别地在配准之前和之后的参考和移动图像（即，状态图像）之间的差。图像810和812示出了用于第二脊柱CT和CBCT配准示例的分别地在配准之前和之后的参考和移动图像之间的差。图像820和822示出了用于第三脊柱CT和CBCT配准示例的分别地在配准之前和之后的参考和移动图像之间的差。第一、第二和第三脊柱CT和CBCT配准示例中的箭头805、815和825分别地指向肾、被成像体积外面的黑色背景、以及已部署支架图，示出了智能代理在配准期间在处理各种干扰对象和伪像中的高的稳健性。对每个脊柱示例应用使用图7的方法的分级配准，并且方框807、817和827示出了检测到的ROI，在该处注意力集中于分别地对第一、第二和第三脊柱CT和CBCT示例使用第二已训练DNN的细化配准。如图8中所示，图像830和832示出了用于第一心脏CT和CBCT配准示例的分别地在配准之前和之后的参考和移动图像之间的差。图像834和836示出了用于第一心脏CT和CBCT配准示例的用于分别地在配准之前和之后的CT和CBCT图像中的心外膜网格的网格覆盖图。图像840和842示出了用于第二心脏CT和CBCT配准示例的分别地在配准之前和之后的参考和移动图像之间的差。图像844和846示出了用于第二心脏CT和CBCT配准示例的用于分别地在配准之前和之后的CT和CBCT图像中的心外膜网格的网格覆盖图。

本发明人与由于用于3D/3D配准的无监督RL中的经验重演所需的不可承受的大存储器存储而没有关于使用脊柱数据的已修改2D/2D配准问题的监督的深度RL相比较地评估了本文中所述的监督的深度RL的效率。在已修改2D/2D配准问题中，使用各种MPR切割来从82个已对准CT和CBCT脊柱对提取2D多平面重构（MPR）图像对。针对监督的学习（SL），用在内的随机扰动在2D中将这些2D图像被人工地解对准以生成用于训练的2M个图像对。从3D/3D配准示例修改网络架构以将128×128个2D图像取作输入，并且输出具有对应于改变中的6个可能动作的六个节点。网络架构和训练超参数（hyper-parameter）对于SL和无监督RL而言是相同的。针对SL，本发明人还比较了在具有和没有接近于地面实况对准的变换参数空间的更密集采样的情况下的训练效率和准确度。图9示出用于2D/2D脊柱配准的有监督深度加强学习（SL）和无监督深度加强学习的比较。图9示出了用于使用有监督学习（SL）902的2D/2D脊柱配准、没有更密集采样904的有监督学习、以及无监督RL 906的成功率对比训练步骤的数目的图。从图9可以看到SL比无监督RL更高效得多，并且当使用相同数目的训练数据时实现明显更好的结果。另外，训练样本中的适当数据分布（通过接近于地面实况对准的更密集采样）被示出为对代理高效地学习复杂映射有益。

使用智能人工代理的医学图像的可畸变配准

在本发明的有利实施例中，使用智能人工代理来执行医学图像的可畸变配准。医学图像配准中的主要困难是结合非刚性畸变，其频繁地由于不同的患者定位、病理和生理变化（例如空的对比已充填膀胱）和/或心脏和呼吸运动而在医学成像中发生。基于变化性方法的当前可畸变配准算法尝试通过求解通常由相似性度量（例如，SSD、相互信息）和被不同地激发的正则化矩阵（例如，弹性、流体、基于曲率的模型）组成的目标函数来在找到将一个图像映射到另一个的变换中对抗（counter）此类问题。然而，这些方法在对大的畸变和沿着不同组织（诸如肺）的边界的滑动运动进行建模方面具有困难。此外，现有算法是针对特定应用而设计的，并且针对其它配准应用并未很好地广义化。通过使用具有自动化特征设计的深度学习系统，本发明的实施例可以通过学习空间和强度域中的固有和复杂映射来克服这些限制。本发明的实施例利用人工深度神经网络来从要配准的两个对象/图像提取特征并对其进行比较以评估相似性，后面是应改变一个图像的特征以变得更接近于其它图像的最优改变方式的预测。在逐步方法中应用此模式来以粗至细方式近似配准。本发明的实施例将畸变场的高效编码/解码与预测对已编码参数进行操作的参数动作的基于智能人工代理的轨迹学习相组合。

图10图示出根据本发明的实施例的用于使用智能人工代理的医学图像的可畸变配准的方法。图10的方法可以应用于任何可畸变（非刚性）配准任务。例如，图10的方法可以被用于包括但不限于用于疗法规划的不同医学成像模式或基于图谱的分段（其中通过将图谱配准到患者的医学图像来执行分段）的轮廓传播的应用。与其它当前可畸变配准方法相反，图10的方法不是针对特定应用而设计的，并且可以用来在有问题的情况下（诸如涉及到大的畸变或滑动运动的情况）执行可畸变配准。

参考图10，在步骤1000处，将DNN训练成预测用于与被用来对畸变场进行编码的畸变模型的参数相对应的一组动作的动作值。步骤1000是在步骤1002—1014中执行的用于新输入/接收图像的在线图像配准之前的离线训练阶段中执行的。将DNN训练成基于评估系统的当前状态的奖励函数来预测用于动作的动作值。

在本发明的有利实施例中，使用有监督轨迹学习来训练DNN。由于两个图像之间的地面实况流场（图像畸变场）对于实际医学图像而言通常不可用，所以使用有监督轨迹学习来训练DNN以学习关于小畸变的轨迹的步骤以到达最终畸变场和与已学习轨迹上的小畸变相对应的奖励动作。因此，在每次迭代，对移动图像应用小的畸变流场（）（其是基于由基于代理网络（DNN）计算的奖励（动作值）来采取最佳动作中的一个并在已编码密集畸变场空间中应用该动作的结果）以使移动图像卷曲而更接近于固定图像。在有利实施方式中，可以以概率方式执行动作选择以使得智能人工代理能够不始终在特定状态下选择最佳动作并允许迂回路线以避免局部最小值（贪婪选择）。在这种情况下，每个动作被选择的概率是基于由DNN针对该动作预测的动作值（奖励）。在所有迭代内的所有的组成导致最终流场，其使移动图像卷曲以将移动图像配准到固定图像。图11是移动图像M与固定图像F之间的示例性理想化畸变轨迹。如图11中所示，在每次迭代中，人工智能代理基于由DNN确定的当前奖励来选择动作并应用对应于所选动作的来使移动图像M卷曲。在图11中，在四次迭代内将移动图像配准到固定图像F，并且和的组成导致将移动图像M与固定图像F配准的最终流场。

图12图示出根据本发明的实施例的用于可畸变图像配准的示例性DNN。如图12中所示，DNN 1200输入固定图像F和移动图像M。在图12的实施例中，DNN 1200取64×64个2D图像作为输入，但是本发明不限于此。用网络架构处理流的单独但相同的输入点来提取两个图像的特征。特别地，CNN 1200将多个卷积层（其权值在固定/参考图像流与移动图像流之间未被共享）用于特征提取。亦即，针对从固定图像F提取特征的卷积层和从移动图像M提取特征的卷积层学习单独的权值。在图12的实施例中，CNN 1200包括在固定图像流和移动图像流中的每一个中分别地使用128、256和512个滤波器的三个卷积层。被用于特征提取的卷积层后面是完全连接层，在该完全连接层处在较高层级比较从固定和移动图像提取的特征以计算用于各种可能动作的奖励值。完全连接层基于从固定和移动图像提取的特征而充当学习的相似性度量。在图12的实施例中，CNN 1200包括分别地具有500、128和64个激活神经元的三个完全连接层。基于由DNN 1200输出的动作值（奖励）来检索/选择动作预测，并且然后可以将该动作预测传递至低维度畸变编码。密集预测用来自选择参数畸变模型的帮助从将已编码动作的少数参数解码得出增量密集畸变场（）。然后直接地在移动图像上应用以使移动图像卷曲。取决于训练数据，可以直接地在已编码组成部分的层级计算奖励。将DNN框架训练成根据与对已编码参数（即，参数畸变模型的参数）的+/-调整相对应的可用动作基于当前状态（由从固定和移动图像的特征提取确定）来预测下一最佳动作。可以通过将在参数空间中“类似”的动作联合以实现更快速的收敛、避免不切实际的状态并减少否则巨大的参数空间的维数来给出粗至细支持。针对DNN的训练，可以将损失函数计算为：

(11)

其中，s是当前状态，a是动作，是代理从状态s采取动作a的情况下的下一状态，是已知地面实况奖励，R是由已训练DNN计算的学习奖励，并且B是畸变的轮廓或表面上的界标或网格点的数目。可以使用梯度下降算法和反向传播来训练DNN以学习在所有训练样本内使损失函数最小化的用于DNN的各层的权值。

使用畸变模型来对密集畸变场进行编码以便减少密集畸变场的维数。在本发明的一个实施例中，可以使用参数畸变模型（其参数适用于从一个状态到其相邻状态的平滑过渡）来对密集畸变场进行编码。径向基函数（RBF）是可以用来对密集畸变场进行编码的此类参数畸变模型的示例。图13图示出高斯RBF。如图13中所示，可以将高斯RBF 1302表示为。高斯RBF 1302将位置的邻域中的像素的畸变建模为具有以为中心的高斯分布1304，其具有量值和标准偏差。高斯RBF 1302基于x与位置的距离、量值以及标准偏差来计算点x处的畸变。在可能的实施方式中，可以使用多个高斯RBF来近似用于移动图像的密集畸变场。在这种情况下，可能动作的集合可以对应于对用于每个高斯RBF的高斯参数（诸如位置和量值）的调整。

在另一实施例中，可以使用自由形式畸变（FFD）方法来将密集畸变场编码。在这种情况下，DDN学习用于在保持拓扑的同时移动统一主体（hull）的有限数目的点的期望动作。例如使用B样条函数或薄板样条（TPS）来近似整体内部的密集畸变。在此模型中，代理可以学习直接地修改B样条参数（例如，B样条节点处的位移的方向、振幅以及范围）的动作。在另一实施例中，将所有B样条参数投射到子空间表示上（例如经由PCA或任何其它流形学习方法），并且代理直接地修改子空间中的变换参数（例如通过沿着PCA模式的归一化递增/递减）。

在另一实施例中，可以使用通过将密集畸变场编码来减少动作空间的维数的各种类型的流形作为畸变模型。在这种情况下，使用流形学习（线性或非线性）从一组训练示例学习畸变的动作空间。出于此目的存在多个可能性，诸如主成分分析（PCA）、堆叠降噪自动编码器、或基于深度学习的生成式模型。直接地对子空间参数执行代理动作（例如，经由PCA或任何其它流形学习方法）。代理直接地修改子空间中的变换参数（例如，通过沿着PCA模式的归一化递增/递减），并且从已更新子空间参数化重构结果得到的畸变场。

畸变模型可以是密集模型或基于对应关系的模型。在一个实施例中，畸变模型是密集模型。在这种情况下，畸形模型将要配准的移动图像（或图像区域/图像补丁）的整个密集畸变场编码。对于密集模型而言，除每个训练图像对中的两个输入图像（即，固定和移动图像）之外，还使用地面实况增量畸变场来训练编码器/解码器和DNN。可以是小畸变更新或者在微分同胚畸变的情况下的固定速度场更新或者甚至在畸变的时变速度场表示的情况下的动力矩更新，比如在大的畸变微分同胚度量映射（LDDMM）中。由于只需要小畸变场（从应用一个动作得到），所以可以从现有可畸变配准算法获得地面实况。根据有利实施方式，为了避免学习从此类现有可畸变配准算法得到的可能不足的畸变场，可以使用算法的输出来产生可以在训练中使用的固定图像的新卷曲版本（通过用由算法输出的畸变场使移动图像卷曲而生成）来代替原始固定图像。该新的固定训练图像可以不同于原始固定训练图像，但是通过应用这个方案，保证实际地面实况畸变场被用于训练，只要由所使用的现有可畸变配准算法提供任何合理的畸变场即可。

在另一实施例中，畸变模型是基于对应关系的模型。在这种情况下，畸变模型将与在固定图像中具有对应关系的移动图像中的特定点（例如，界标或控制点）或结构的畸变相对应的稀疏畸变场编码。除每个训练图像对的两个输入图像（即，固定和移动图像）之外，还将图像中的畸变结构的点对应关系或分段用于训练。该分段可以使用各种分段算法来手动地、自动地或者半自动地执行。在精确分段的情况下，存在精确点对应关系，并且可以用作用于训练的地面实况稀疏畸变场。使用光线投射算法来建立训练图像对中的固定和移动图像之间的点对应关系也是可能的。给定分段掩膜，为了检索感兴趣的凸性结构的表面上的分布式点，可以执行光线投射算法，其以相等的角距离从质量中心向表面投射光线并选择在该处光线离开掩膜的点作为界标位置。通过应用此程序，保证了界标的拓扑。如果跨整个训练数据集以相同的方式提取界标位置，则DNN学习训练中的拓扑，并且可以学习将奖励连接至特定界标。一旦获得了用于点对应关系的稀疏畸变场，则可以通过内插和外插（例如使用RBF）来获得密集流场。在另一可能实施方式中，可以训练神经网络（诸如自动编码器）以找到稀疏畸变场与密集流场之间的映射。

图14图示出根据本发明的实施例的用于将从已训练DNN输出的已编码流程动作解码的框架。如图14中所示，向已训练DNN 1400输入固定图像F和移动图像M。DNN 1400从固定和移动图像提取特征并基于固定和移动图像的当前状态来预测最佳流动作。选择用于流编码的畸变模型，并且已训练DNN 1400在被用于流编码的畸变模型的参数空间/分量空间中输出已编码流动作1402。执行已编码流动作1402以调整已编码流1404，并且执行流解码以将已编码流1404解码成已解码流场1406。路径A表示其中畸变模型是密集模型的情况。在这种情况下，已解码流场1406是密集畸变场，并且被应用于移动图像以生成卷曲移动图像1408，其被作为用于下一次迭代的移动图像M输入到DNN 1400。路径B表示其中畸变模型是基于对应关系的模型的情况。在这种情况下，使用已解码流场来变换移动图像中的分段结构的网格（1410）。然后使用内插和/或外插基于网格的畸变来计算密集畸变场（1412），并且对移动图像应用该密集畸变场以生成卷曲的移动图像1408，其被作为用于下一次迭代的移动图像M输入DNN 1400。

动作设计与所选编码方法高度相关。特别地，针对可以用于编码的每个类型的畸变模型，可以用对该可畸变模型的各种参数或分量的小调整（+/-）来定义一组动作。在有利实施例中，使用诸如高斯函数之类的RBF，并且使用其参数空间的子空间作为动作空间。例如，可以使用高斯RBF的位置（平均值）和量值参数来定义动作集合。特别地，该动作集合可以包括用于被用来对移动图像的畸变进行建模的每个高斯RBF的位置（平均值）和量值参数的+/-预定调整。

在有利实施方式中，可以将高斯核置于移动图像中的界标位置处，诸如在感兴趣的分段器官的轮廓或网格上的控制点处，并且可以驱动代理以如在FFD方法中那样对准感兴趣器官的轮廓。图15图示出使用高斯核使感兴趣器官的轮廓畸变的示例。如图15的示例1500中所示，轮廓F表示固定图像中的分段目标器官的轮廓，并且轮廓M表示移动图像中的分段目标器官的轮廓。将高斯核置于多个界标1501、1502、1503、1504、1505、1506、和1508中的每一个处，并且调整高斯核的参数以迭代地使轮廓M畸变以使轮廓M与轮廓F对准。可以通过将相邻高斯核组合或联合并将其一起移动（诸如在图15的示例1510中）来达到粗至细配准。亦即，当选择动作以移动一个界标点处的高斯核时，也可以移动相邻界标点处的高斯核。可以用单独的高斯过程来控制移动的量值，使得相邻高斯核的移动随着到所选高斯核的距离而减小。可以通过预定义拓扑来固定邻点关系。为了实现粗至细配准，当移动图像中的轮廓接近于固定图像中的轮廓时，可以在没有相邻高斯核的联合移动的情况下移动高斯核。如图15的示例1510中所示，在使移动图像中的轮廓M畸变的第一阶段中，当选择了用以将界标1511处的高斯核移动1 mm的动作时，界标1512和1513处的高斯核每个移动0.72 mm，并且特征点1514和1515处的高斯核每个移动0.26mm。在最后阶段中，当轮廓M接近于轮廓F时，该动作仅使特征点1511处的高斯核移动1 mm。

在有利实施方式中，可以将固定步长用于可以通过上述联合动作方法来调整的像素层级的动作值（例如+/-1像素移动）。与精度相反，该步长可以用来控制收敛速度。在早期畸变中可以使用较大步长来粗略地接近固定结构，并且然后可以与对邻点的较小影响和联合较少动作相组合地使用较小步长以达到更细的配准。在另一可能实施方式中，可以使用步长的固定集合或者使用连续动作空间而相对于奖励应用已调整步长。在使用主要分量动作（其增加或减小分量动作值）的情况下，可以使用固定数（例如，+/-1）来增加或减小分量动作值。由于动作空间可以是大的，并且贪婪代理探索方案可以是计算上低效的并导致长训练时间，所以可以使用稀疏探索方案。这可以通过对参数（多标度参数表示）应用分级方法来实现。用不同的步长来训练不同的DNN。具有最大步长的第一DNN开始，第二个接替等等。替换地，可以应用actor-critic架构，其中，actor（第一已训练DNN）判定要采取哪个动作且critic（第二已训练DNN）评估动作的值。这使得连续步长的训练是可能的，因为迭代地训练两个深度神经网络，一个用以拣选动作，第二个用以选择步长。

可以将各种类型的奖励函数用于训练DNN。奖励函数可以是基于人类级识别，或者可以是直接地从可用地面实况畸变场获得的奖励。直接奖励函数在训练期间要求地面实况畸变场的知识。由于此类地面实况数据通常不可用于实际医学图像数据，所以可以替代地使用在受控条件下生成的人工生成畸变场。在一个实施例中，在参数畸变模型的情况下，可以直接地使用已编码分量的距离： 作为奖励，其中，是地面实况编码分量或畸变模型的参数。

还可以基于人类级识别来设计奖励函数，亦即当图像内容（解剖结构和边界）被很好地对准时认为畸变是令人满意的。在一个实施例中，可以使用图像差：作为奖励函数。在另一实施例中，可以使用特征点/网格差：作为奖励函数，其中，表示参考图像中的一组特征点或网格点，并且表示当前移动图像中的特征点或网格点的集合。在另一实施例中，可以使用图像差＋特征点/网格差：作为奖励函数，其中，是加权因数。在另一实施例中，作为图像差的替代，可以使用深度学习相似性度量：作为奖励函数。

一旦将DNN训练（在图10的步骤1000中）成预测用于定义动作空间中的动作的动作值，则在新接收到的图像的配准中使用已训练DNN。返回图10，在步骤1002处，接收第一和第二医学图像。例如，第一和第二医学图像可以是使用不同成像模式（例如，CT、MRI、超声波、PET、DynaCT等）获取的2D或3D图像、在不同时间获取的同一患者的图像或者从不同患者获取的图像。第一和第二医学图像可以是直接地从图像获取设备（诸如CT扫描仪、MRI扫描仪、超声波设备、C形臂图像获取设备等）接收的，或者可以是通过从计算机系统的存储器或储存器加载先前存储的医学图像或在电子传输中从另一计算机系统接收医学图像而接收的。医学图像中的一个被指定为参考/固定图像，并且另一个被指定为移动图像。

可以在前进至步骤1004之前执行预处理阶段。例如，可以在第一和第二医学图像中的每一个中将一个或多个感兴趣解剖对象（例如，器官）分段以便定义第一和第二图像中的轮廓或网格，使得可以使移动图像中的轮廓或网格畸变以匹配固定图像中的轮廓或网格。可以在第一和第二图像中的每一个中检测特征点或兴趣点（诸如感兴趣器官的质量中心），并且可以在最初使第一和第二图像相对于感兴趣点对准。

在步骤1004处，可以由已训练DNN基于当前来计算用于可能动作的动作值。已训练DNN输入固定图像和基于当前密集畸变场而卷曲的当前移动图像。在第一迭代中，当前移动图像未被卷曲。已训练DNN从固定和移动图像提取特征，其提供当前状态的观察，并且计算用于与被用来将移动图像的畸变编码的畸变模型的参数空间中的参数的调整相对应的动作的动作值。已训练DNN可以应用概率模型来确定用于动作集合的动作值。

在步骤1006处，基于由已训练DNN计算的动作值来选择动作。该动作对应于对被用来将移动图像的畸变编码的畸变模型的参数空间中的参数的调整。可以选择具有最高预测动作值的动作。

在步骤1008处，基于所选动作和被用来将移动图像的畸变编码的可畸变模型来计算增量密集畸变场。是对应于提供对移动图像的总畸变的增量调整的所选动作的小的密集的畸变场。在一个实施例中，当用来将移动图像的畸变编码的畸变模型是表示移动图像的整个畸变场的密集模型时，执行与所选动作相对应的对畸变模型的参数空间中的参数的调整，并且将畸变模型的参数空间的变化解码，其将畸变模型的参数空间的变换映射到。在另一实施例中，用来将移动图像的畸变编码的畸变模型是基于对应关系的模型，其将移动图像中的感兴趣结构的特征点或控制点的畸变建模。在这种情况下，执行与所选动作相对应的对畸变模型的参量空间中的参数的调整，并且将畸变模型的参量空间中的变化解码，其将畸变模型的参数空间中的变化映射到特征点或控制点的移动以使移动图像中的感兴趣结构的轮廓或网格畸变。然后例如使用内插和/或外插根据移动图像中的轮廓或网格的畸变来计算用于整个移动图像的。

在步骤1010处，对移动图像应用增量密集畸变场以使移动图像卷曲。在步骤1012处，确定是否已满足停止条件。例如，当已执行预定最大数目的迭代时、当移动图像收敛时或者当固定和移动图像之间或者固定和移动图像中的特征点或网格点之间的误差值小于阈值时，可以满足停止条件。如果没有满足停止条件，则方法返回至步骤1004并重复步骤1004—1012。因此，迭代地使移动图像卷曲直至满足停止条件为止。当满足停止条件时，方法前进至步骤1014。

在步骤1014处，输出配准结果。可以通过在计算机系统的显示器上显示已配准第一和第二医学图像来输出已配准第一和第二医学图像（即，固定图像和最终卷曲移动图像）。可以在同一坐标系中显示已配准第一和第二医学图像。例如，可以将已配准的第一和第二图像覆盖并显示为融合图像。除显示已配准第一和第二图像之外，可以将被用来使移动图像卷曲的最终密集畸变场（其是应用于移动图像的所有的组合物）可视化并在计算机系统的显示器上显示。还可以将应用于移动图像的单独可视化并显示。还可以通过以电子方式传输到远程计算机系统以在远程计算机系统的显示器上显示来输出已配准第一和第二医学图像以及最终密集畸变场和/或单独。

虽然图10仅示出了输出最终配准结果，但随着执行步骤1004—1012的每次迭代而可以输出（例如，在计算机系统的显示器上显示）从使用当前密集畸变场使移动图像卷曲所得到的递增配准结果也是可能的。此类递增结果将允许用户随着人工代理迭代地使移动图像卷曲以将移动图像配准到固定图像而实时地查看由智能人工代理对移动图像的畸变进行的每次调整。

如上所述，可以使用射线投射算法来建立固定和移动图像之间的点对应关系，所述光线投射算法在给定感兴趣对象的分段掩膜的情况下以相等的角距离从对象的质量中心向表面投射光线，并且选择在该处射线离开分段掩膜的点和特征点位置。此光线投射算法可以在执行配准之前的预处理阶段中执行。由于这些特征点不是在解剖学上有区别的点且更多地被用作对于其而言可以由已训练DNN选择动作的区域，所以可以将这种方法扩展成从中心以略微变化的角度针对同一特征点区域多次投射光线。亦即，在可能实施例中，可以使用通过用不同角度的光线投射获取的不同特征点来多次执行使用图10的方法的配准，以驱动该配准提供原始特征点位置之间的感兴趣对象的形状的更好表示。然后可以将来自各种配准的配准结果组合。在针对特征点的每个集合单独地运行配准过程之后，可以检索特征点数目的倍数作为点对应关系，其可以导致更准确的配准。

使用较高分辨率图像补丁（image patch）的分级可畸变配准。在有利实施例中，为了增加配准准确度，可以利用基于较高分辨率图像补丁的分级（多阶段）框架来执行可畸变图像配准。使用第一已训练DNN对全移动和固定图像执行多级可畸变图像配准方法的第一阶段。例如，可以如上文在图10的方法中所述的那样执行第一阶段。第二阶段执行细化，然后使用第二已训练DNN基于从固定和移动图像提取的较高分辨率图像补丁来执行在第一阶段中估计的配准的细化。在全移动和固定图像上的第一阶段配准之后，从当前移动图像和固定图像的较高分辨率版本提取以移动图像的新特征点位置为中心的补丁。例如，固定和移动图像的较高分辨率版本可以是通过对固定和移动图像进行升采样（upsample）而生成的高分辨率图像。替换地，可以在通过对从图像获取设备获取的固定和移动图像进行降采样而生成的降低分辨率固定和移动图像上执行第一阶段，并且较高分辨率版本是从图像获取设备获取的原始分辨率固定和移动图像。图16图示出从移动图像的特征点位置进行的补丁提取。如图16中所示，在移动图像中的特征点位置处提取补丁1602、1604、1606、1608和1610。图像补丁1602、1604、1606、1608和1610中的每一个以相应的特征点为中心，并且被定向为与相应特征点位置处的轮廓的法线对准。从固定图像中的相同位置提取图像补丁。

图17图示出根据本发明的实施例的用于执行多阶段可畸变配准的第二阶段的框架。如图17中所示，将从较高分辨率固定图像提取的图像补丁（F）和从较高分辨率移动图像提取的图像补丁（M）输入到已训练DNN 1700。在不同通道中将所有补丁输入到DNN 1700。畸变模型、奖励系统以及动作定义可以保持与在第一阶段中相同。然而，图像卷曲是在较高分辨率上执行的。由于网络可能由于补丁提取、多个通道以及较高分辨率卷曲而较慢，所以在有利实施例中，在使用第一阶段来执行粗略配准之后使用图17的方法作为细化步骤。DNN1700从输入的较高分辨率图像补丁提取特征并计算用于动作集合的奖励。选择最佳动作，并且基于所选动作使较高分辨率移动图像卷曲，其导致特征点位置中的一个或多个的移动。在移动图像中的已更新特征点位置的位置处从较高分辨率移动图像获得已更新图像补丁，并且从较高分辨率固定图像获得相同位置处的已更新图像补丁。此过程然后重复直到达到停止条件为止。还可以增加用于动作的步长以减少较高分辨率下的步数，或者减小该步长以达到更高的准确度。

用于自主型基于人工智能的图像配准的临床工作流程

由于可以应用图像融合/配准的应用的巨大数目，要开发一种针对所有情况稳健地工作的一般方法是有挑战性的。根据本发明的有利实施例，可以使用各种已训练智能人工代理来自主地实现临床工作流程，其识别要执行以实现两个或更多医学图像的融合而不需要用户交互的配准任务。图18图示出根据本发明的实施例的自主型基于人工智能（AI）的图像配准的方法。图18的方法利用各种智能人工代理来执行与图像配准有关的各种任务。每个智能人工代理是由执行定义人工代理的操作的计算机程序指令的一个或多个计算机系统的一个或多个处理器实现的。为了执行其指定任务，每个人工代理自主地观察其环境的状态并执行经由人工智能/机器学习技术学习的动作。

在步骤1802处，接收要融合的两个或更多医学图像。医学图像可以是使用任何医学成像模式获取的2D或3D图像。医学图像可以是直接地从一个或多个医学图像获取设备接收到的、通过从计算机系统的存储器或储存器加载先前存储的医学图像而接收到的或者是经由从远程计算机系统的一个或多个电子传输接收到的。

在步骤1804处，针对要融合的每个医学图像检测成像模式。已训练智能人工代理自动地检测用于要融合的每个图像的成像模式（例如，CT、MRI、超声波、DynaCT、PET等）。在示例性实施方式中，已训练人工代理可以利用一个或多个已训练深度神经网络（DNN）来检测医学图像的成像模式。

在步骤1806处，在要融合的每个医学图像中检测身体部分。针对每个图像，与针对已训练智能人工代理检测到的成像模式相对应的该代理自动地检测存在于该图像中的身体的区域（例如，心脏、腹部、头部、全身等）。在替换实施方式中，可以将智能人工代理训练成在同一步骤中执行模式和身体区域检测是可能的。除检测存在于每个图像中的身体区域之外，可以使用对应于检测到的身体区域和成像模式的已训练人工代理来检测每个图像中的特定解剖结构（诸如器官、血管、特征点等）和/或将其分段。例如，已训练人工代理可以使用基于深度学习的分段。

在步骤1808处，由已训练人工代理执行医学图像的刚体对准。特别地，针对给定的一对图像（或多个图像的给定配置），对应于正确配置（即，成像模式和解剖结构）的已训练人工代理通过执行图像的刚体配准来对准图像，如上文在图5的实施例中所述。可以使用如上所述的有监督深度加强学习来训练多个智能人工代理，每个被训练成针对成像模式和解剖结构的不同配置执行刚体配准。在可能实施方式中，可以对医学图像进行降采样以生成降低分辨率图像，并且可以基于降低分辨率图像来执行刚性配准以用于快速对准。

在步骤1810处，执行对准的准确分析，并且确定对准的准确度是否是充分的。已训练人工代理可以评估对准的准确度并向该对准分配准确度度量或置信度值。已训练人工代理还可以被训练成考虑是否将通过可畸变配准来改善对准。如果对准的准确度被确定为是充分的，则方法前进至步骤1818。如果对准的准确度被确定为是不充分的并被认为通过可畸变配准可改善，则方法前进至步骤1812。

在步骤1812处，由已训练人工代理执行医学图像的稀疏参数对准。特别地，对应于正确配置（即，成像模式和解剖结构）的已训练人工代理可以用稀疏参数畸变模型使用图10的方法来执行医学图像的稀疏可畸变图像配准。例如，可以使用薄板样条（TPS）模型作为畸变模型。已训练人工代理可以是使用有监督轨迹学习训练的，如上所述，其中每个步骤中的移动（动作）对应于TPS控制点中的一个的移动。可以约束TPS控制点的总最大移动，因为预先执行了刚体对准。

在步骤1814处，执行对准的准确分析，并且确定对准的准确度是否是充分的。已训练人工代理可以评估对准的准确度并向该对准分配准确度度量或置信度值。已训练人工代理还可以被训练成考虑是否将通过密集可畸变配准来改善对准。如果对准的准确度被确定为是充分的，则方法前进至步骤1818。如果对准的准确度被确定为是不充分的并被认为通过密集可畸变配准可改善，则方法前进至步骤1816。

在步骤1816处，由已训练人工代理执行医学图像的密集场对准。在一个实施例中，对应于正确配置（即，成像模式和解剖结构）的已训练人工代理可以用密集畸变模型使用图10的方法来执行医学图像的稀疏可畸变图像配准。虽然在图18中未示出，但在可能实施方式中，可以由已训练人工代理在前进至步骤1818之前执行最终对准准确度评估。

在步骤1818处，针对已对准医学图像执行模式和解剖结构特定融合。已训练智能人工代理根据检测到的模式、解剖结构以及对准准确度使用学习的适当可视化和量化方法将来自所有图像的信息融合。例如，已训练人工代理可以基于用于超现实准确度的融合知识来调谐电影渲染。可以通过已训练人工代理针对每个体素选择要示出哪些信息（来自已对准医学图像中的哪些）（诸如具有突出显示的伤痕的超声波图像）而实现数据增强。

在步骤1820处，执行程序阶段检测和阶段特定融合。已训练智能人工代理基于医学图像来检测程序（例如，外科手术/介入）的阶段，并在已对准医学图像中融合与当前阶段相关联的信息。

在步骤1822处，执行纵向趋势分析和预测。已训练智能人工代理从纵向数据学习趋势并基于学习的趋势来预测下一步骤以指导该程序。

根据有利实施方式，可以将“主”智能人工代理训练成控制图18的工作流程。可以将用于各种配准任务和各种模式/解剖结构配置的各种已训练人工代理存储在计算机系统的存储设备上的一个或多个数据库或联网的基于“云”的储存器中。主智能人工代理被训练成确定检索哪些其它已训练智能人工代理以执行图18的方法的各种步骤。

回归参数的直接回归

在上述实施例中，为了执行医学图像的配准，人工代理使用已训练DNN来迭代地选择调整变换参数的动作。在替换实施例中，可以使用被训练成在给定要配准的两个（或更多）输入图像的情况下直接地回归变换参数的DNN来执行医学图像配准。在这种情况下，作为迭代地选择配准动作的替代，向已训练DNN中输入第一和第二图像（即，固定和移动图像），并且已训练DNN直接地输出将移动图像配准到固定图像的变换参数。在示例性实施方式中，针对参数变换（例如，刚性变换、仿射变换或参数畸变），可以用具有关于变换参数计算的损失函数的已知地面实况变换基于训练对来训练用于回归的深度神经网络。在另一示例性实施方式中，针对密集畸变场，可以用已知地面实况变换基于已训练对来训练深度编码器—解码器以直接地输出畸变场。下面描述了一种用于使用弱监督深度密集对应学习来训练此类深度神经网络的方法。

使用弱监督深度密集对应学习的可畸变图像配准

深度学习方法通常要求大量已标记图像来监督训练，并且此类数据对于可畸变图像配准（即，估计图像之间的密集对应）而言常常不可用且难以获得。具体地，用于可畸变图像配准的“标记”是密集矢量场，其非常难以手动地加注释。在本发明的有利实施例中，利用多个图像之间的密集对应的循环一致性来监督用于可畸变图像配准的深度密集对应学习而不需要手动注释标记。

图19图示出根据本发明的实施例的使用弱监督深度密集对应学习来训练用于可畸变图像配准的深度神经网络（DNN）的方法。在步骤1902处，获得具有未知密集对应的医学图像的第一池（pool）（A）。可以从存储医学图像的数据库获得池A中的医学图像。替换地，可以通过使用图像获取设备来获取图像而获得池A中的医学图像。池A中的医学图像可以是任何类型的医学图像，取决于对于其而言正在训练DNN的配准任务。

在步骤1904处，获得具有已知密集对应的医学图像对的第二池（B）。该医学图像对可以是使用一个或多个图像获取设备获取的，或者可以从存储医学图像的数据库获得。池B的尺寸将可能比具有未知密集对应的数据池（A）更小得多。可以使用各种技术来获得池B中的医学图像对之间的密集对应。在一个可能实施方式中，可以手动地对医学图像对之间的密集对应加注释。在另一可能实施方式中，可以经由畸变模型来人工地使一个医学图像畸变，诸如样条模型、统计模型、生物力学模型等。原始图像和已畸变图像形成具有已知密集对应的对。在另一可能实施方式中，图像对可以来自同一患者，可以是用提供图像之间的密集对应的某个运动跟踪方法获取的。例如，可以使用有标签心脏MRI或者用被记录为底层运动的代用信号的呼吸和/或心脏阶段获取的CT/MR图像来获得具有已知密集对应的成对图像。

在步骤1906处，从池B选择形成环路的M个图像对。例如，如果M＝3，则可以从池B选择图像对。针对所选图像对的密集对应被分别地表示为。可以随机地拣选图像对。M可以是大于1的任何整数。在示例性实施方式中，M＝3，并且使用M＝3的示例来描述图19的方法。

在步骤1908处，从池A选择N个图像。从池A选择的N个图像被称为。这些图像可以是从池A随机地选择的。

在步骤1910处，将从池B选择的图像对和从池A选择的图像组合以形成训练数据集。特别地，将来自池B和池A的图像组合并排序为。图像和密集对应形成一个训练数据集。

在步骤1912处，将步骤1906—1910重复多次以生成多个训练数据集。通过将选自池B的图像对和选自池A的图像组合而形成的这些训练数据集中的每一个被视为用于训练DNN的单个训练示例。因此，在有利实施方式中，将步骤1906—1910被重复许多次以生成许多训练数据集（训练示例）。

在步骤1914处，构造深度神经网络（DNN）。特别地，构造DNN，该DNN取两个图像作为输入，并且输出3D矢量场，其表示两个输入图像之间的密集对应。在一个实施例中，DNN可以是卷积编码器—解码器网络。图20图示出用于针对密集对应估计的卷积编码器-解码器网络的示例性网络架构2000。在另一实施例中，DNN可以使用类似于流网（FlowNet）的架构。图21图示出用于密集对应估计的示例性的类似于流网的深度架构2100。也可以使用其它类型的DNN架构。将DNN表示为，其中，W表示在训练中学习的DNN的权值。

返回到图19，在步骤1916处，针对每个训练数据集，针对训练数据集中的每个相邻图像对估计密集对应。针对给定训练数据集，在中的每个相邻图像对上应用DNN，导致由DNN针对训练数据集中的每个相邻图像对计算的估计密集对应，即。分别地在训练数据集和中的第一和最后图像被认为是相邻的。

在步骤1918处，计算距离度量以将每个训练数据集中的用于选自池B的图像对的已知密集对应与通过将由DNN估计的密集对应连接（concatenate）而人工地生成的密集对应相比较。在给定训练数据集中，可以将由DNN在步骤1916中针对相邻图像对估计的密集对应连接以人工地生成用于训练数据集中的选自池B的图像对的密集对应。特别地，可以通过将用于从至的相邻图像对的估计密集对应连接来计算用于的人工生成的密集对应。可以通过将用于从至的相邻图像对的估计密集对应连接来计算用于的人工生成密集对应。可以通过将用于从至的相邻图像对的估计密集对应连接来计算用于的人工生成密集对应。计算距离度量以将用于的已知密集对应与用于的人工生成密集对应相比较：

。

在步骤1920处，基于从距离度量构造的损失函数来训练DNN。如果由DNN产生的密集对应是正确的，即其表示图像之间的实际对应，则两个图像之间的连接的密集对应应与实际密集对应相同。将此性质称为循环一致性。使用距离度量来构造用于训练DNN的损失函数。例如，该损失函数可以是的线性组合。然后（例如，使用反向传播和梯度下降算法）训练DNN以学习在所有训练数据集内使损失函数最小化的权值。

图22图示出根据本发明的实施例的用于医学图像的可畸变配准的方法。在步骤2202处，接收第一和第二医学图像。在步骤2204处，使用弱监督深度密集对应学习训练的DNN计算第一和第二医学图像之间的密集对应。特别地，将第一和第二医学图像输入到使用图19的方法训练的DNN，并且已训练DNN输出表示第一和第二图像之间的密集对应（即，密集畸变场）的3D矢量场。在步骤2206处，使用密集对应来配准第一和第二医学图像。例如，可以通过使用第一和第二医学图像之间的密集对应使第一医学图像卷曲来将第一图像配准到第二图像。在步骤2208处，例如通过在计算机系统的显示器上显示已配准第一和第二图像来输出配准结果。

可以将用于基于智能代理的图像配准的上述方法应用于许多不同的医学图像配准应用。在本文中描述了对于其而言可以有利地应用用于基于智能代理的图像配准的上述方法的各种配准应用。应理解的是上述方法不限于这些示例，并且也可以应用于其它医学图像配准应用。

在一个实施例中，可以应用用于基于智能代理的图像配准的上述方法来执行超声波和体积心脏图像（例如，MR或CT）的融合以用于联合功能、流量、解剖结构和冠状动脉评估。先前的配准技术要求明确地定义冠状动脉结构（例如，全心脏、（多个）心室、瓣膜）或解剖界标的分段。上述方法使得在不需要明确地定义分段或特征点的情况下实现超声波和体积心脏图像（例如，MR或CT）的融合。

在另一实施例中，可以应用基于智能代理的图像配准的上述方法来将CT或MR图像配准到锥形束CT（ConeBeam CT）图像。常常使用介入锥形束 CT来指导外科手术或介入（例如，心脏介入、脊柱外科手术等）。介入锥形束 CT常常遭受由于设备而引起的图像伪像，其使得使用先前的配准技术进行稳健的图像配准是困难的。上述方法提供了甚至在具有噪声或图像伪像的图像中的CT或MR图像到锥形束CT图像的稳健配准，其允许将来自手术前CT或MR图像的图像数据与被用于指导介入或外科手术程序的介入锥形束 CT图像融合。

在另一实施例中，可以应用基于智能代理的图像配准的上述方法来通过可畸变配准而执行自动变化检测。例如，可以使用用于基于智能代理的可畸变图像配准的上述方法来配准患者的先前获取的医学图像和该患者的后续医学图像，以便确定畸变场，其示出随时间推移对患者的解剖结构的改变。此类自动变化检测可以在癌症筛查中用来检测随时间推移的肿瘤增长或缩减，跟踪冠状动脉或其它血管中的狭窄、斑块或其它异常的变化，或者跟踪由于疾病或治疗而引起的患者的任何其它解剖结构的变化。

在另一实施例中，可以使用用于基于智能代理的图像配准的上述方法来执行运动补偿。例如，当将手术前医学图像（例如，CT或MR）配准到在程序期间获取的手术中/介入医学图像时，可以保持用于图像配准的已训练智能人工代理随着获取实时介入医学图像而始终在不间断状态下运行，并且即使当在实时介入图像中发生移动时（例如，由于患者移动、呼吸运动或心脏运动）图像也始终被配准。通过使用上述方法，智能人工代理随着实时地接收介入医学图像而自动地将图像再配准，使得配准立即“赶上”实时图像中的移动，因此允许进行呼吸运动的实时不间断补偿。

用于基于智能代理的图像配准的上述方法可以使用众所周知的计算机处理器、存储器单元、存储设备、计算机软件及其它部件在一个或多个计算机上实现。在图23中图示出此类计算机的高级框图。计算机2302包含处理器2304，其通过执行定义此类操作的计算机程序指令来控制计算机2302的总体操作。可将计算机程序指令存储在存储设备2312（例如，磁盘）中并在期望计算机程序指令的执行时加载到存储器2310中。因此，图2、3、4、5、6、7、10、12、14、17、18、19和22中所示的方法步骤可以由存储在存储器2310和/或储存器2312中并被执行计算机程序指令的处理器2304控制的计算机程序指令定义。可以将一个或多个图像获取设备2320（诸如CT扫描设备、C形臂图像获取设备、MR扫描装置、超声波设备等）连接到计算机2302以向计算机2302输入图像数据。可以将计算机和图像获取设备2320中的一个或多个实现为一个设备是可能的。图像获取设备2320和计算机2302通过网络或无线通信协议无线地进行通信也是可能的。在可能实施例中，计算机2302可以相对于图像获取设备2320远程定位，并且可以执行图2、3、4、5、6、7、10、12、14、17、18、19和22的某些或所有方法步骤作为服务器或基于云的服务的一部分。计算机2302还包括用于经由网络与其它设备通信的一个或多个网络接口2306。计算机2302还包括使得与计算机2302进行用户交互的其它输入/输出设备908（例如，显示器、键盘、鼠标、扬声器、按钮等）。本领域技术人员将认识到实际计算机的实施方式也可以包含其它部件，并且图9是出于说明性目的的此类计算机的某些部件的高级表示。

可以在基于网络的云计算系统中实现用于基于智能人工代理的图像配准和/或训练深度神经网络的上述方法。在此类基于网络的云计算系统中，服务器经由网络与一个或多个客户端计算机通信。客户端计算机经由例如常驻于客户端计算机上并在其上面操作的网络浏览器应用程序来与服务器通信。客户端计算机可以将数据存储在服务器上并经由网络来访问数据。客户端计算机可以经由网络向服务器传输用于数据的请求或用于在线服务的请求。服务器可以执行所请求服务并向（多个）客户端计算机提供数据。服务器还可以传输适于促使客户端计算机执行指定功能（例如，执行计算、在屏幕上显示指定数据等）的数据。上述方法的某些步骤可以由服务器或由基于网络的云计算系统中的其它计算机/处理器执行。上述方法的某些步骤可以由基于网络的云计算系统中的客户端计算机来本地地执行。用于基于智能人工代理的图像配准和/或训练深度神经网络的上述方法的步骤可以在基于网络的云计算系统中实现，可以由基于网络的云计算系统或者由本地客户端计算机以任何组合方式执行。在一个实施例中，一个或多个已训练人工智能代理被存储在基于网络的云计算系统中的服务器或其它远程计算机设备上，并且客户端计算机以电子方式将要配准的两个或更多医学图像传输到基于网络的云计算系统的服务器。基于网络的云计算系统中的服务器和/或其它计算机/处理器使用一个或多个已训练人工代理来执行医学图像的配准，并且以电子方式将配准结果传输到客户端计算机，其然后在客户端计算机的显示器上显示配准结果。用以在基于网络的云计算系统中执行配准的方法步骤可以由基于网络的云计算系统中的单个计算机设备（例如，服务器）执行，或者可以分布在基于网络的云计算系统中的多个计算机设备或处理器上。

应将前述详细描述理解为在每个方面是说明性和示例性的而非限制性的，并且不应根据详细描述、而是根据如根据专利法许可的全范围解释的权利要求来确定在本文中公开的本发明的范围。应理解的是在本文中示出并描述的实施例仅仅说明本发明的原理，并且在不脱离本发明的范围和精神的情况下可由本领域的技术人员实现各种修改。在不脱离本发明的范围和精神的情况下，本领域的技术人员可以实现各种其它特征组合。

Claims (39)

1.一种用于医学图像的基于智能人工代理的配准的方法，包括：

基于多个医学图像和当前变换参数来确定人工代理的当前状态观察；

使用基于多个已配准训练图像训练的基于机器学习的模型而基于当前状态观察计算对人工代理可用的多个动作的动作值，其中，所述多个动作对应于变换参数的预定调整；

从所述多个动作中选择具有最高动作值的动作，并且用对应于所选动作的预定调整来调整变换参数；

针对多次迭代重复确定、计算以及选择步骤；以及

使用从所述多次迭代得到的最终变换参数来配准所述多个医学图像。

2.权利要求1的方法，其中，所述多个医学图像包括第一医学图像和第二医学图像，并且使用从所述多次迭代得到的最终变换参数来配准所述多个医学图像包括：

使用最终变换参数来变换第二医学图像以将第二医学图像与第一医学图像对准。

3.权利要求1的方法，其中，所述多个医学图像包括第一医学图像和第二医学图像，并且基于多个医学图像和当前变换参数来确定人工代理的当前状态观察包括：

通过将用当前变换参数变换的第二医学图像与第一医学图像相比较来确定当前状态观察。

4.权利要求3的方法，其中，通过将用当前变换参数变换的第二医学图像与第一医学图像相比较来确定当前状态观察包括：

通过从第一医学图像减去用当前变换参数变换的第二医学图像来确定当前状态观察。

5.权利要求1的方法，其中所述变换是刚体变换，并且所述多个动作包括对应于平移和旋转刚体变换参数的预定调整的动作。

6.权利要求5的方法，其中所述多个动作包括对应于将平移和旋转刚体参数中的每一个增加和减小恒定或时变步长的相应的动作。

7.权利要求6的方法，其中所述变换是3D刚体变换，并且所述刚体变换参数包括三个平移参数和三个旋转参数。

8.权利要求6的方法，其中所述变换是2D刚体变换，并且所述刚体变换参数包括两个平移参数和一个旋转参数。

9.权利要求1的方法，其中使用基于多个配准训练图像训练基于机器学习的模型而基于当前状态观察来计算用于对人工代理可用的多个动作的动作值包括：

使用已训练深度神经网络（DNN）基于当前状态观察来计算用于对人工代理可用的所述多个动作的动作值。

10.权利要求9的方法，其中所述已训练DNN被训练成使用加强学习而用已知地面实况变换参数基于多个训练图像对来预测用于所述多个动作的动作值，在所述加强学习中，针对每个训练图像对，使用用于给定状态下的所述多个动作中的每个动作的奖励来将DNN训练成学习最优配准策略。

11.权利要求10的方法，其中使用监督的加强学习来训练已训练DNN，其中用于给定状态下的所述多个动作中的每个动作的奖励是直接地基于给定状态下的变换参数与从应用动作得到的用于训练图像对的地面实况变换参数之间的测地距的减小而计算的。

12.权利要求11的方法，其中所述多个训练图像对包括通过使用对其它训练图像对的地面实况变换参数随机生成的扰动来对其它训练图像对进行人工解对准而合成地生成的训练图像对。

13.权利要求11的方法，其中，所述多个训练图像对包括从其它训练图像对合成地生成的训练图像对，以通过用在一定范围的地面实况变换参数内随机地生成的仿射变换来对其它训练图像对进行共同畸变来提供接近于地面实况变换参数的密集采样。

14.权利要求11的方法，其中，所述多个训练图像对包括通过使用合成图像发生器人工地改变其它训练图像对的图像外观而合成地生成的训练图像对。

15.权利要求1的方法，其中所述多个医学图像包括第一医学图像和第二医学图像，所述变换是对施加于第二医学图像的畸变进行建模的密集畸变模型，所述多个动作包括对应于对畸变模型的参数的调整的动作，并且使用从所述多次迭代得到的最终变换参数来配准所述多个医学图像包括：

生成与从所述多次迭代得到的畸变模型的最终参数相对应的密集畸变场；以及

使第二医学图像卷曲以通过应用对应于畸变模型的最终参数的密集畸变场来将第二医学图像与第一医学图像配准。

16.权利要求1的方法，其中，使用基于多个已配准训练图像训练基于机器学习的模型而基于当前状态观察来计算用于对人工代理可用的多个动作的动作值包括：

计算用于动作集合中的每个动作的动作值，所述动作集合包括通过相应的步长单独地调整变换参数中的每个的动作、用以用它们相应的步长同时地调整多个变换参数的动作、以及用以优化用于变换参数中的每个的相应步长的动作。

17.权利要求1的方法，其中使用基于多个已配准训练图像训练的基于机器学习的模型而基于当前状态观察来计算用于对人工代理可用的多个动作的动作值包括：

使用基于已训练的基于机器学习的模型基于当前状态观察来计算用于与变换参数的预定调整相对应的所述多个动作的动作值和用于停止配准动作的动作值。

18.权利要求17的方法，其中针对多次迭代重复确定、计算以及选择步骤包括：

重复确定、计算以及选择步骤直至由已训练DNN针对停止配准动作计算的动作值高于由已训练DNN针对与变换参数的预定调整相对应的所述多个动作中的每一个计算的动作值为止。

19.权利要求1的方法，其中，针对多次迭代重复确定、计算以及选择步骤包括：

使用所述多个医学图像的第一图像分辨率和在第一图像分辨率下使用训练图像训练的第一基于机器学习的模型来重复确定、计算以及选择步骤，直至达到第一停止条件为止；以及

使用所述多个医学图像的第二图像分辨率和在第二图像分辨率下使用训练图像训练的第二基于机器学习的模型来重复确定、计算以及选择步骤，直至达到第二停止条件为止。

20.一种用于医学图像的基于智能人工代理的配准的装置，包括：

处理器；以及

存储器，其存储计算机程序指令，该计算机程序指令在被处理器执行时促使所述处理器执行操作，该操作包括：

基于多个医学图像和当前变换参数来确定人工代理的当前状态观察；

使用基于多个已配准训练图像训练的基于机器学习的模型而基于当前状态观察计算用于对人工代理可用的多个动作的动作值，其中，所述多个动作对应于变换参数的预定调整；

从所述多个动作中选择具有最高动作值的动作，并且用对应于所选动作的预定调整来调整变换参数；

针对多次迭代重复确定、计算以及选择操作；以及

使用从所述多次迭代得到的最终变换参数来配准所述多个医学图像。

21.权利要求20的装置，其中所述多个医学图像包括第一医学图像和第二医学图像，并且基于多个医学图像和当前变换参数来确定人工代理的当前状态观察包括：

通过将用当前变换参数变换的第二医学图像与第一医学图像相比较来确定当前状态观察。

22.权利要求20的装置，其中所述变换是刚体变换，并且所述多个动作包括对应于平移和旋转刚体变换参数的预定调整的动作。

23.权利要求20的装置，其中使用基于多个已配准训练图像训练的基于机器学习的模型而基于当前状态观察来计算用于对人工代理可用的多个动作的动作值包括：

使用已训练深度神经网络（DNN）基于当前状态观察来计算用于对人工代理可用的所述多个动作的动作值。

24.权利要求23的装置，其中所述已训练DNN被训练成使用加强学习而用已知地面实况变换参数而基于多个训练图像对来预测用于所述多个动作的动作值，在所述加强学习中，针对每个训练图像对，使用用于给定状态下的所述多个动作中的每个动作的奖励来将DNN训练成学习最优配准策略。

25.权利要求24的装置，其中使用监督的加强学习来训练已训练DNN，其中，用于给定状态下的所述多个动作中的每个动作的奖励是直接地基于给定状态下的变换参数与从应用动作得到的用于训练图像对的地面实况变换参数之间的测地距的减小而计算的。

26.权利要求25的装置，其中所述多个训练图像对包括通过使用对其它训练图像对的地面实况变换参数随机生成的扰动来对其它训练图像对进行人工解对准而合成地生成的训练图像对。

27.权利要求25的装置，其中所述多个训练图像对包括从其它训练图像对合成地生成的训练图像对，以通过用在一定范围的地面实况变换参数内随机地生成的仿射变换来对其它训练图像对进行共同畸变来提供接近于地面实况变换参数的密集采样。

28.权利要求20的装置，其中所述多个医学图像包括第一医学图像和第二医学图像，所述变换是对施加于第二医学图像的畸变进行建模的密集畸变模型，所述多个动作包括对应于对畸变模型的参数的调整的动作，并且使用从所述多次迭代得到的最终变换参数来配准所述多个医学图像包括：

生成与从所述多次迭代得到的畸变模型的最终参数相对应的密集畸变场；以及

使第二医学图像卷曲以通过应用对应于畸变模型的最终参数的密集畸变场来将第二医学图像与第一医学图像配准。

29.权利要求20的装置，其中，针对多次迭代重复确定、计算以及选择操作包括：

使用所述多个医学图像的第一图像分辨率和在第一图像分辨率下使用训练图像训练的第一基于机器学习的模型来重复确定、计算以及选择操作，直至达到第一停止条件为止；以及

使用所述多个医学图像的第二图像分辨率和在第二图像分辨率下使用训练图像训练的第二基于机器学习的模型来重复确定、计算以及选择操作，直至达到第二停止条件为止。

30.一种存储用于基于智能人工代理的医学图像配准的计算机程序指令的非临时计算机可读介质，所述计算机程序指令定义操作，所述操作包括：

基于多个医学图像和当前变换参数来确定人工代理的当前状态观察；

使用基于多个已配准训练图像训练的基于机器学习的模型而基于当前状态观察来计算用于对人工代理可用的多个动作的动作值，其中，所述多个动作对应于变换参数的预定调整；

从所述多个动作中选择具有最高动作值的动作，并且用对应于所选动作的预定调整来调整变换参数；

针对多次迭代重复确定、计算以及选择操作；以及

使用从所述多次迭代得到的最终变换参数来配准所述多个医学图像。

31.权利要求30的非临时计算机可读介质，其中所述多个医学图像包括第一医学图像和第二医学图像，并且基于多个医学图像和当前变换参数来确定人工代理的当前状态观察包括：

通过将用当前变换参数变换的第二医学图像与第一医学图像相比较来确定当前状态观察。

32.权利要求30的非临时计算机可读介质，其中所述变换是刚体变换，并且所述多个动作包括对应于平移和旋转刚体变换参数的预定调整的动作。

33.权利要求30的非临时计算机可读介质，其中使用基于多个已配准训练图像训练的基于机器学习的模型而基于当前状态观察来计算用于对人工代理可用的多个动作的动作值包括：

使用已训练深度神经网络（DNN）基于当前状态观察来计算用于对人工代理可用的所述多个动作的动作值。

34.权利要求33的非临时计算机可读介质，其中所述已训练DNN被训练成使用加强学习而用已知地面实况变换参数基于多个训练图像对来预测用于所述多个动作的动作值，在所述加强学习中，针对每个训练图像对，使用用于给定状态下的所述多个动作中的每个动作的奖励来将DNN训练成学习最优配准策略。

35.权利要求34的非临时计算机可读介质，其中使用监督的加强学习来训练已训练DNN，其中，用于给定状态下的所述多个动作中的每个动作的奖励是直接地基于给定状态下的变换参数与从应用动作得到的用于训练图像对的地面实况变换参数之间的测地距的减小而计算的。

36.权利要求35的非临时计算机可读介质，其中所述多个训练图像对包括通过使用对其它训练图像对的地面实况变换参数随机生成的扰动来对其它训练图像对进行人工解对准而合成地生成的训练图像对。

37.权利要求35的非临时计算机可读介质，其中，所述多个训练图像对包括从其它训练图像对合成地生成的训练图像对，以通过用在一定范围的地面实况变换参数内随机地生成的仿射变换来对其它训练图像对进行共同畸变来提供接近于地面实况变换参数的密集采样。

38.权利要求30的非临时计算机可读介质，其中所述多个医学图像包括第一医学图像和第二医学图像，所述变换是对施加于第二医学图像的畸变进行建模的密集畸变模型，所述多个动作包括对应于对畸变模型的参数的调整的动作，并且使用从所述多次迭代得到的最终变换参数来配准所述多个医学图像包括：

生成与从所述多次迭代得到的畸变模型的最终参数相对应的密集畸变场；以及

使第二医学图像卷曲以通过应用对应于畸变模型的最终参数的密集畸变场来将第二医学图像与第一医学图像配准。

39.权利要求30的非临时计算机可读介质，其中，针对多次迭代重复确定、计算以及选择操作包括：

使用所述多个医学图像的第一图像分辨率和在第一图像分辨率下使用训练图像训练的第一基于机器学习的模型来重复确定、计算以及选择操作，直至达到第一停止条件为止；以及

使用所述多个医学图像的第二图像分辨率和在第二图像分辨率下使用训练图像训练的第二基于机器学习的模型来重复确定、计算以及选择操作，直至达到第二停止条件为止。