CN113724307A - 基于特征自校准网络的图像配准方法、装置及相关组件 - Google Patents

Abstract

本发明公开了基于特征自校准网络的图像配准方法、装置及相关组件，该方法包括：将医学图像对输入至配准空间，提取特征信息，并输出速度场；对医学图像对进行缩放处理，将医学图像对与速度场融合；利用配准空间中的特征自校准网络进行全局特征信息提取，并输出对应的全局速度场；分别对医学图像对和速度场进行分块处理，得到对应的医学图像对小块和速度场小块，然后将所述医学图像对小块和速度场小块拼接；利用配准空间中的特征自校准网络进行局部特征信息提取，并输出对应的局部速度场；将全局速度场和局部速度场融合为速度场，积分后得到位移矢量场。本发明通过对医学图像对进行全局和局部的联合训练，可以对多区域的复杂医学图像进行精细配准。

Description

基于特征自校准网络的图像配准方法、装置及相关组件

技术领域

本发明涉及图像处理技术领域，特别涉及基于特征自校准网络的图像配准方法、装置及相关组件。

背景技术

将不同时刻，不同采集设备在不同条件下，如角度，位置等，获得的两幅或多幅图像进行匹配，叠加的过程称为图像配准。图像配准技术是图像处理技术中关键技术之一。(1)在传统的配准方法中，通常是为了设计能量函数最优化来解决问题，时间成本过于昂贵,所以不适用于临床应用；(2)由于计算机性能的提升，基于学习的方法引起了人们对图像配准越来越多的兴趣，这些算法以一对图像(分为固定图像和移动图像)作为输入，并使用卷积神经网络来学习图像特征，以此生成位移矢量场，通过位移矢量场对移动图像进行扭曲，使其与固定图像对齐。

当前基于学习的方法在大面积整体变形的医学图像中已经取得了很好的成绩，比如肝部或者肺部的CT扫描图像，但对于需要多区域变形配准的复杂图像，如脑部MRI扫描图像，当前基于学习的方法始终无法取得优良的配准效果。在脑部MRI扫描图像中取得最好配准结果的是拉普拉斯金字塔网络，该网络虽然实现了多区域医学图像配准中最先进的性能，但针对配准领域中两个最重要的指标-配准准确性和配准有效性，也就是dice分数和雅各比分数，无法同时保证两个指标可以同时大幅度提升，所以只能使用了两个不同的网络结构分别针对两个指标进行优化。

发明内容

本发明实施例提供了一种基于特征自校准网络的图像配准方法、装置、计算机设备及存储介质，旨在对多区域的复杂医学图像进行精细配准。

第一方面，本发明实施例提供了一种基于特征自校准网络的图像配准方法，包括：

将经过预处理的第一医学图像对输入至第一级配准空间，利用所述第一级配准空间中的特征自校准网络提取一级特征信息，并基于所述一级特征信息输出对应的第一速度场；其中，第一医学图像对包括固定图像和移动图像；

对所述第一医学图像对进行缩放处理，得到第二医学图像对，将所述第二医学图像对与所述第一速度场在通道上拼接为二级医学图像对；

利用所述第二级配准空间中的全局配准支路的特征自校准网络对所述二级医学图像对进行二级全局特征信息提取，并基于所提取到的二级全局特征信息输出对应的第二全局速度场；

分别对所述第二医学图像对和所述第一速度场进行分块处理，得到对应的第二医学图像对小块和第一速度场小块，然后将所述第二医学图像对小块和第一速度场小块融合为二级医学图像对小块；

利用所述第二级配准空间中的局部配准支路的特征自校准网络对所述二级医学图像对小块进行二级局部特征信息提取，并基于所提取到的二级局部特征信息输出对应的第二局部速度场小块，然后将所述第二局部速度场小块拼接为大小与所述第二医学图像对相等的第二局部速度场；

将所述第二全局速度场和第二局部速度场以及第一速度场融合为第二速度场，并对所述第二速度场进行积分操作，得到第二形变场，然后将所述第二速度场输入至下一级配准空间，然后将第二速度场与下一级配准空间输出的下一级速度场进行融合，以此类推，直至得到最终的目标速度场，然后对所述目标速度场进行积分操作，得到用于对医学图像进行配准的位移矢量场，以此构建医学图像配准网络；

利用所述医学图像配准网络对指定的医学图像进行配准。

第二方面，本发明实施例提供了一种基于特征自校准网络的图像配准装置，包括：

一级提取单元，用于将经过预处理的第一医学图像对输入至第一级配准空间，利用所述第一级配准空间中的特征自校准网络提取一级特征信息，并基于所述一级特征信息输出对应的第一速度场；其中，第一医学图像对包括固定图像和移动图像；

第一缩放单元，用于对所述第一医学图像对进行缩放处理，得到第二医学图像对，将所述第二医学图像对与所述第一速度场在通道上拼接为二级医学图像对；

二级全局提取单元，用于利用所述第二级配准空间中的全局配准支路的特征自校准网络对所述二级医学图像对进行二级全局特征信息提取，并基于所提取到的二级全局特征信息输出对应的第二全局速度场；

第一分块单元，用于分别对所述第二医学图像对和所述第一速度场进行分块处理，得到对应的第二医学图像对小块和第一速度场小块，然后将所述第二医学图像对小块和第一速度场小块在通道上拼接为二级医学图像对小块；

二级局部提取单元，用于利用所述第二级配准空间中的局部配准支路的特征自校准网络对所述二级医学图像对小块进行二级局部特征信息提取，并基于所提取到的二级局部特征信息输出对应的第二局部速度场小块，然后将所述第二局部速度场小块拼接为大小与所述第二医学图像对相等的第二局部速度场；

网络构建单元，用于将所述第二全局速度场和第二局部速度场以及第一速度场融合为第二速度场，并对所述第二速度场进行积分操作，得到第二形变场，然后将所述第二速度场输入至下一级配准空间，然后将第二速度场与下一级配准空间输出的下一级速度场进行融合，以此类推，直至得到最终的目标速度场，然后对所述目标速度场进行积分操作，得到用于对医学图像进行配准的位移矢量场，以此构建医学图像配准网络；

配准单元，用于利用所述医学图像配准网络对指定的医学图像进行配准。

第三方面，本发明实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的基于特征自校准网络的图像配准方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的基于特征自校准网络的图像配准方法。

本发明实施例提供了一种基于特征自校准网络的图像配准方法、装置及相关组件，该方法包括：将经过预处理的第一医学图像对输入至第一级配准空间，利用所述第一级配准空间中的特征自校准网络提取一级特征信息，并基于所述一级特征信息输出对应的第一速度场；其中，第一医学图像对包括固定图像和移动图像；对所述第一医学图像对进行缩放处理，得到第二医学图像对，将所述第二医学图像对与所述第一速度场在通道上拼接为二级医学图像对；利用所述第二级配准空间中的全局配准支路的特征自校准网络对所述二级医学图像对进行二级全局特征信息提取，并基于所提取到的二级全局特征信息输出对应的第二全局速度场；分别对所述第二医学图像对和所述第一速度场进行分块处理，得到对应的第二医学图像对小块和第一速度场小块，然后将所述第二医学图像对小块和第一速度场小块在通道上拼接为二级医学图像对小块；利用所述第二级配准空间中的局部配准支路的特征自校准网络对所述二级医学图像对小块进行二级局部特征信息提取，并基于所提取到的二级局部特征信息输出对应的第二局部速度场；将所述第二全局速度场和第二局部速度场以及第一速度场融合为第二速度场，并对所述第二速度场进行积分操作，得到第二形变场，然后将所述第二速度场输入至下一级配准空间，然后将第二速度场与下一级配准空间输出的下一级速度场进行融合，以此类推，直至得到最终的目标速度场，然后对所述目标速度场进行积分操作，得到用于对医学图像进行配准的位移矢量场，以此构建医学图像配准网络；利用所述医学图像配准网络对指定的医学图像进行配准。本发明实施例通过对医学图像对进行全局和局部的联合训练，学习得到最终的位移矢量场，从而对多区域的复杂医学图像进行精细配准。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于特征自校准网络的图像配准方法的流程示意图；

图2为本发明实施例提供的一种基于特征自校准网络的图像配准方法的子流程示意图；

图3为本发明实施例提供的一种基于特征自校准网络的图像配准方法的另一流程示意图；

图4为本发明实施例提供的一种基于特征自校准网络的图像配准方法的另一流程示意图；

图5为本发明实施例提供的一种基于特征自校准网络的图像配准方法的网络结构示意图；

图6为本发明实施例提供的一种基于特征自校准网络的图像配准方法中特征自校准网络的网络结构示意图；

图7为图6中特征自校准网络的特征自校准模块的网络结构示意图；

图8为本发明实施例提供的一种基于特征自校准网络的图像配准装置的示意性框图；

图9为本发明实施例提供的一种基于特征自校准网络的图像配准装置的子示意性框图；

图10为本发明实施例提供的一种基于特征自校准网络的图像配准装置的另一子示意性框图；

图11为本发明实施例提供的一种基于特征自校准网络的图像配准装置的另一子示意性框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

下面请参见图1，图1为本发明实施例提供的一种基于特征自校准网络的图像配准方法的流程示意图，具体包括：步骤S101～S107。

S101、将经过预处理的第一医学图像对输入至第一级配准空间，利用所述第一级配准空间中的特征自校准网络提取一级特征信息，并基于所述一级特征信息输出对应的第一速度场；其中，第一医学图像对包括固定图像和移动图像；

S102、对所述第一医学图像对进行缩放处理，得到第二医学图像对，将所述第二医学图像对与所述第一速度场在通道上拼接为二级医学图像对；

S103、利用所述第二级配准空间中的全局配准支路的特征自校准网络对所述二级医学图像对进行二级全局特征信息提取，并基于所提取到的二级全局特征信息输出对应的第二全局速度场；

S104、分别对所述第二医学图像对和所述第一速度场进行分块处理，得到对应的第二医学图像对小块和第一速度场小块，然后将所述第二医学图像对小块和第一速度场小块在通道上拼接为二级医学图像对小块；

S105、利用所述第二级配准空间中的局部配准支路的特征自校准网络对所述二级医学图像对小块进行二级局部特征信息提取，并基于所提取到的二级局部特征信息输出对应的第二局部速度场；

S106、将所述第二全局速度场和第二局部速度场以及第一速度场融合为第二速度场，并对所述第二速度场进行积分操作，得到第二形变场，然后将所述第二速度场输入至下一级配准空间，然后将第二速度场与下一级配准空间输出的下一级速度场进行融合，以此类推，直至得到最终的目标速度场，然后对所述目标速度场进行积分操作，得到用于对医学图像进行配准的位移矢量场，以此构建医学图像配准网络；

S107、利用所述医学图像配准网络对指定的医学图像进行配准。

本实施例，将固定图像和移动图像两两组合为医学图像对，利用多级配准空间对医学图像对进行训练学习，如图5所示，共包含三级配准空间。输入的每一医学图像对依次在多级配准空间中进行相应尺度的配准，将每一级配准空间中提取的特征信息补充至下一级配准空间。每一级配准空间输出的速度场，经过上采样后与下一级配准空间的输出速度场融合。除了第一级配准空间以外，每级配准空间都有两条配准支路，分别为全局和局部配准支路。同一医学图像对分别送入同一级配准空间的两条支路，在全局支路使用完整的医学图像对，在局部支路将完整的医学图像对进行分块处理，然后将对应的医学图像对小块依次送入局部支路的网络，由局部支路依次输出对应的速度场，最后对小块速度场进行拼接，再与全局支路输出的速度场以及上一级配准空间输出的经过上采样后的速度场进行融合，得到该级配准空间最终的目标速度场。通过对目标速度场进行积分操作，便可以得到所述位移矢量场，利用位移矢量场对移动图像进行扭曲，使其与固定图像对齐。

本实施例所述的医学图像对可以是三维脑部MRI扫描图像，或者是其他器官的三维扫描图像。医学图像的预处理过程具体包括对原始图像进行尺寸的裁剪，旋转，平移等操作，使每张图像中的器官区域尽管可能保持一致。另外，在本实施例中，第一级配准空间的尺寸为原始图像尺寸的四分之一，第二级配准空间的尺寸为原始图像尺寸的二分之一，第三级配准空间的尺寸为原始图像尺寸。图5的网络结构示意图中，F表示固定图像，M表示移动图像，M(Φ)表示使用位移矢量场Φ对移动图像进行扭曲后的图像，SC Block表示特征自校准模块，Rblocks表示残差模块，patchF表示对固定图像分块，其他patch同理。其中F1、F2、F3为同一张尺寸不同三维固定图像，M1、M2、M3同样为尺度不同的同一张移动图像。将F3等比例缩小一倍得到F2，将F2等比例缩小一倍得到F1。固定图像同理。

本实施例提出了一种全局-局部联合训练策略(GoLo)和一种新的特征自校准网络(FSCN)，将二者与拉普拉斯图像金字塔结合,提出了一种GoLo-FSCN(Feature Self-CalibrationNetwork with Global-Local training strategy)，用于处理脑部这类需要多区域精细配准的复杂医学图像。GoLo-FSCN通过独有的训练方法和特征自校准网络，从每级网络的两条分支中学习各个分支的形变场，最后对形变场进行融合得到最终形变场，用于三维多区域医学图像配准。成功的解决了传统配准方法配准时间过长和普通基于学习的方法无法解决多区域精细配准的问题。

具体的说，普通基于学习的方法仅仅通过一个形变场对所有配准区域进行扭曲变形，因此无法保证每个配准区域的精细变形，尤其是独立且面积较小的配准区域。GoLo-FSCN通过全局分支学习完整图像的全局信息，同时通过局部分支学习图像块的局部信息从而精确到每个配准区域的变形，最后将全局分支输出的全局形变场和局部分支输出的局部形变场融合，得到最终形变场(即所述位移矢量场)。

另外，一般的卷积神经网络都是通过卷积层构建特征提取模块，利用卷积核对输入数据的所有通道求和以计算输出特征图，并且重复进行卷积操作来均匀地输出特征图，通过这种方式进行特征提取导致特征变换过程中空间位置的感受野过度依赖于卷积核的尺寸大小，从而无法提取出足够多有区分性的特征。而本实施例所提出的特征自校准模块通过在每个空间位置的周围建立通道间的相关性来合并更丰富的信息，从而帮助特征提取模块提取出更具有表示性的特征。还有，一般的分组卷积通过多个并行支路同步且独立地完成特征提取过程，所有支路的输出被级联为分组卷积的最终输出。本实施例在分组卷积的基础上加以改进，并结合图像金字塔的多分辨率策略，提出在多个不同尺度的空间中分别进行不同的特征变换，达到高效收集所有空间位置的上下文信息的目的。通过将特征自校准网络和全局局部联合训练策略结合，使该技术在多区域配准图像中实现了当前最先进的配准性能。

还需说明的是，本发明实施例与原始的拉普拉斯金字塔网络不同的是，本实施例除第一级配准空间以外，剩余的每一级配准空间均采用了两条配准支路，即使用了全局-局部联合训练策略，用于解决复杂医学图像的多区域同时配准问题。采用全局-局部联合训练策略以后，网络对输入图像对的配准准确性得到了明显提高，同时对配准图像的有效性，也就是微分同胚特性也有所改善。而且本实施例对网络框架进行了改进，提出了一种全新的特征提取模块，用于对输入特征的进一步信息提取，加入特征自校准模块以后的网络输出的形变场在保证配准图像微分同胚特性方面具有明显优势。本发明实施例与现有技术相比，在医学图像配准的准确性和有效性(图像配准领域最重要的两个指标)上都拥有更好的效果。

在一实施例中，所述步骤S101包括：

利用特征编码器对所述第一医学图像对提取一级初步特征信息；

通过特征自校准模块对所述一级初步特征信息提取一级深度特征信息；

依次利用多个特征编码器和残差模块对所述一级深度特征信息进行融合；

通过多层特征解码器对融合结果进行解码，得到所述一级特征信息。

本实施例中，将输入的第一医学图像对送入特征自校准网络，首先经过一个特征编码器进行初步的特征提取，然后通过特征自校准模块对初步提取出的特征信息(即所述一级初步特征信息)进行进一步深度提取，得到所述一级深度特征信息。再通过两个特征编码器和一组残差模块对提取出的一级深度特征信息进一步整合，然后通过三层特征解码器对特征进行解码。需要说明的是，本实施例所述的特征信息(例如以及初步特征信息、一级深度特征信息等)是指输入的固定图像和移动图像中对应像素点的位移信息。还需说明的是，本实施例所述的其他级别的配准空间对于医学图像对(或者图像块等)提取特征信息的过程，如同第一级配准空间提取第一医学图像对过程一般，也就是说，每一级配准空间通过特征编码层，特征自校准模块和特征解码层对输入的图像对的信息进行重新编码解码，输出的速度场表示移动图像中的每一个像素点向固定图像中对应像素点的单位时间内的偏移速度。通过速度场可以将大段像素偏移量分割为连续的小段偏移量，从而减少像素点在偏移过程中的折叠情况。

图6中的输入在第一级配准空间中就是固定图像和移动图像在通道上叠加的结果，在第二及下几级配准空间中就是固定图像，移动图像加上上一级输出的速度场在通道上叠加的结果。图6中的输出在每级配准空间中都是该级网络的速度场。另外，图6中的弧线为跳跃链接部分，跳跃连接可以让解码器中深层的、语义的、粗糙的特征图和编码器中浅层的、低级的、精细的特征图像结合，从而实现特征信息的互相补充。

在一实施例中，如图2所示，所述通过特征自校准模块对所述一级初步特征信息提取一级深度特征信息，包括：步骤S201～S205。

S201、利用卷积操作将所述一级初步特征信息划分两个相同的第一中间层特征和第二中间层特征；

S202、按照下式，对所述第一中间层特征分别进行三次不同程度的下采样处理，并对下采样处理结果分别进行卷积处理，然后对卷积处理结果进行上采样互补处理，得到互补特征X1”：

X1”＝X1+Up(F(Avgpool(X1)r))+Up(F(Avgpool(X1)2r))

式中，X1表示第一中间层特征，Avgpool(X1)r表示使用平均池化对X1进行r倍的下采样，F(·)表示卷积操作，Up(·)表示通过双线性插值法将输入上采样回初始分辨率；

S203、按照下式，对所述互补特征和第一中间层特征进行乘积操作，得到第一目标特征X1’：

X1’＝F(Relu(X1”)·F(X1))

式中，Relu(·)表示Relu激活函数处理；

S204、对所述第二中间层特征进行卷积特征变换，得到第二目标特征X2’；

S205、按照下式，对所述第一目标特征和第二目标特征进行通道拼接，得到所述一级深度特征信息Y：

Y＝Relu(F(F(Concat(X1’,X2’))))

式中，Concat(～，～)表示在通道上拼接。

本实施例中，相较于原始的特征提取模块，本实施例所述的特征自校准模块使较小的潜在空间中所有的空间位置都可以自适应地考虑自身周围的上下文信息，但是却并不捕获全局上下文信息，这样可以避免在提取特征信息时过多无关信息的干扰。并且特征自校准模块中的卷积层在提取特征信息时可以针对于更大但却更精细的区域进行编码。结合图7，在特征自校准模块中，将初步提取出的特征(即所述一级初步特征信息)送入并行的五条支路，五条支路的空间尺度不同，每条支路配备一个对应尺寸的卷积滤波器。首先将一级初步特征信息X经过一个卷积操作后分为两个等大的中间层特征X1、X2(即第一中间层特征X1和第二中间层特征X2)，它们的通道数为X的一半，X2在原始空间尺度下进行卷积特征变换得到第二目标特征X2’，X1分别送入其余四路分支，其中三路经由不同程度的下采样后，在较小的潜在空间内对输入特征进行进一步特征提取，再将提取后的特征上采样回初始分辨率，最后信息互补得到互补特征X1”，而X1可以作为残差来形成用于矫正的权值，然后进行特征自校准过程得到输出特征Y，即所述一级深度特征信息Y。因为较小潜在空间中卷积层的感受野更大，所以经由多尺度空间的特征转换后得到的X1’可以作为参考来指导校准原始特征空间对X2的特征提取过程。

在一实施例中，所述步骤S104包括：

预先设置多个大小相同的空白图像块，然后基于所述空白图像块，利用滑动窗口对所述第二医学图像对中的医学图像进行切片，以及对所述第一速度场进行切片，分别得到所述第二医学图像对小块和第一速度场小块。

本实施例中，局部支路通过滑动窗口采用切片的方法依次将输入的图像分为等大的八个小块，也就是提前设置好八个等大的空白图像块，再通过切片的方式，将从所述第二医学图像对和所述第一速度场中取出的像素点放入提前设置好的空白图像块。因为脑部这类多区域配准的图像，需要配准的区域很多，采用一个网络对所有区域进行信息提取实现难度较大，所以本实施例通过分块的方法减少网络所要处理的配准区域，降低网络所要处理的问题难度，从而提升配准精度。

在一实施例中，如图3所示，所述步骤S105包括：步骤S301～S306。

S301、采用相加融合的方式将所述第二全局速度场和第二局部速度场以及第一速度场融合为第二速度场，然后通过积分操作得到所述第二形变场；

S302、将所述第二速度场输入至第三级配准空间，同时对所述第二医学图像对进行缩放处理，得到第三医学图像对，然后将所述第二速度场与第三医学图像对在通道上拼接为三级医学图像对；

S303、利用第三级配准空间中的全局配准支路的特征自校准网络提取所述三级医学图像对的三级全局特征信息，并输出对应的第三全局速度场；

S304、分别将第三医学图像对和第二速度场分块处理为第三医学图像对小块和第二速度场小块，然后将第三医学图像对小块和第二速度场小块在通道上拼接为三级医学图像对小块；

S305、利用第三级配准空间中的局部配准支路的特征自校准网络提取所述三级医学图像对小块的三级局部特征信息，并输出对应的第三局部速度场小块，然后将所述第三局部速度场小块拼接为大小与所述第三医学图像对相等的第三局部速度场；

S306、采用相加融合的方式将所述第三全局速度场和第三局部速度场融合为第三速度场；

S307、利用流场叠加的方式将所述第二速度场与第三速度场融合为所述目标速度场。

本实施例中，第二级配准空间的局部支路依次输出小块的速度场(即所述第二局部速度场)，最后对小块速度场依次进行拼接，得到与原始输入图像尺寸相同的速度场，再与全局支路输出的速度场(即所述第二全局速度场)，以及上一级配准空间(即第一级配准空间)输出的经过上采样后的速度场进行融合，得到该级配准空间最终的输出速度场(即所述第二速度场)。按照上述速度场融合方式，在第三级配准空间依次进行这样的配准操作，最后在第三级配准空间输出最终的目标速度场。本实施例的速度场融合方式分为两种，即同一级配准空间的两条支路的输出速度场(例如二级全局速度场和二级局部速度场)采用相加融合，不同级别的配准空间输出的速度场(例如第二速度场和第三速度场)采用流场叠加公式来进行融合。

进一步的，对目标速度场在时间上积分可以得到所述位移矢量场，也就是得到每个像素点的偏移量，通过积分操作可以减少移动图像中的像素点在产生偏移过程中的折叠，因为像素点一旦发生折叠现象就会导致原始图像中信息的丢失。而在代码中是通过对多段极短时间内的速度累加，代替积分操作，最终得到单位时间内的位移，也就是各个像素点的偏移量。

在一实施例中，所述基于特征自校准网络的图像配准方法还包括：

基于医学图像对的相似性以及位移矢量场的正则化项构建目标损失函数，并利用所述目标损失函数对所述医学图像配准网络进行优化更新。

本实施例中，根据医学图像对，即移动图像和固定图像的相似性构建以相似性损失函数，以及根据位移矢量场的正则化项构建对应的全局正则化项和局部正则化项，然后以此构建用于优化更新所述医学图像配准网络参数的目标损失函数。

具体的，在一实施例中，如图4所示，所述基于医学图像对的相似性以及位移矢量场的正则化项构建目标损失函数，包括：步骤S401～S406。

S401、将相关系数作为医学图像对中固定图像与移动图像之间的相似性度量，并按照下式计算固定图像与移动图像之间的协方差：

式中，I₁、I₂分别表示固定图像和移动图像，Ω表示固定图像和移动图像中所有体素点的定义域，x，y表示两个图像中的各个体素点；

S402、按照下式，基于所述固定图像与移动图像之间的协方差对所述固定图像与移动图像之间的相关系数进行计算：

S403、基于所述相关系数设置相似性损失函数L_similarity：

L_similarity＝1-CorrCoef[I1,I2]；

S404、利用空间梯度上的L2范数对位移矢量场施加全局正则化项L_v：

式中，p∈(1，L)表示金字塔层数，k为正则化参数；

S405、利用雅克比行列式对位移矢量场施加局部取像一致性约束L_jacc：

式中，N表示雅克比行列式中的所有元素个数，σ(·)为激活函数，

表示在形变场φ中，位置p处的雅各比矩阵行列式；

S406、基于所述相似性损失函数、全局正则化项和局部取像一致性约束构建所述目标损失函数L：L＝L_similarity+L_v+L_jacc。

本实施例中，使用相关系数作为固定图像与扭曲后的移动图像之间的相似性度量，并计算两张图像(I₁,I₂)之间的协方差。由于相关系数是度量两幅图像之间的线性相关程度，因此使用其进行相似性度量更加稳健，通常相关系数的取值范围在(-1，1)，但由于所取皆为真实的图像，所以相关系数都应该是非负的。另外，使用空间梯度上的L2范数对形变场施加全局正则化项来保证位移矢量场的平滑程度，但是仅对位移矢量场施加正则化项不足以保证配准图像拓扑结构的保持。所以在此基础上，额外对位移矢量场施加了局部取向一致性约束，在数学上选择雅各比行列式表示正则化损失函数。在一具体应用场景中，

表示在形变场φ中，位置p处的雅各比矩阵行列式表示为：

在一实施例中，在配准训练阶段，通过加载医学图像对医学图像配准网络进行位移矢量场的预测和学习配准网络参数，在经过三层配准空间的联合配准后得到一个最终的位移矢量场。在配准测试阶段，可以直接用最后一级的配准空间输出的目标速度场，对其进行积分后得到位移矢量场，使用该位移矢量场对移动图像进行形变，从而获得最终的形变图像。

图8为本实施例提供的一种基于特征自校准网络的图像配准装置800的示意性框图，该装置800包括：

一级提取单元801，用于将经过预处理的第一医学图像对输入至第一级配准空间，利用所述第一级配准空间中的特征自校准网络提取一级特征信息，并基于所述一级特征信息输出对应的第一速度场；其中，第一医学图像对包括固定图像和移动图像；

第一缩放单元802，用于对所述第一医学图像对进行缩放处理，得到第二医学图像对，将所述第二医学图像对与所述第一速度场在通道上拼接为二级医学图像对；

二级全局提取单元803，用于利用所述第二级配准空间中的全局配准支路的特征自校准网络对所述二级医学图像对进行二级全局特征信息提取，并基于所提取到的二级全局特征信息输出对应的第二全局速度场；

第一分块单元804，用于分别对所述第二医学图像对和所述第一速度场进行分块处理，得到对应的第二医学图像对小块和第一速度场小块，然后将所述第二医学图像对小块和第一速度场小块在通道上拼接为二级医学图像对小块；

二级局部提取单元805，用于利用所述第二级配准空间中的局部配准支路的特征自校准网络对所述二级医学图像对小块进行二级局部特征信息提取，并基于所提取到的二级局部特征信息输出对应的第二局部速度场；

网络构建单元806，用于将所述第二全局速度场和第二局部速度场以及第一速度场融合为第二速度场，并对所述第二速度场进行积分操作，得到第二形变场，然后将所述第二速度场输入至下一级配准空间，然后将第二速度场与下一级配准空间输出的下一级速度场进行融合，以此类推，直至得到最终的目标速度场，然后对所述目标速度场进行积分操作，得到用于对医学图像进行配准的位移矢量场，以此构建医学图像配准网络；

配准单元807，用于利用所述医学图像配准网络对指定的医学图像进行配准。

在一实施例中，所述一级提取单元801包括：

初步提取单元，用于利用特征编码器对所述第一医学图像对提取一级初步特征信息；

深度提取单元，用于通过特征自校准模块对所述一级初步特征信息提取一级深度特征信息；

特征融合单元，用于依次利用多个特征编码器和残差模块对所述一级深度特征信息进行融合；

解码单元，用于通过多层特征解码器对融合结果进行解码，得到所述一级特征信息。

在一实施例中，如图9所示，所述深度提取单元包括：

划分单元901，用于利用卷积操作将所述一级初步特征信息划分两个相同的第一中间层特征和第二中间层特征；

互补单元902，用于按照下式，对所述第一中间层特征分别进行三次不同程度的下采样处理，并对下采样处理结果分别进行卷积处理，然后对卷积处理结果进行上采样互补处理，得到互补特征X1”：

X1”＝X1+Up(F(Avgpool(X1)r))+Up(F(Avgpool(X1)2r))

式中，X1表示第一中间层特征，Avgpool(X1)r表示使用平均池化对X1进行r倍的下采样，F(·)表示卷积操作，Up(·)表示通过双线性插值法将输入上采样回初始分辨率；

乘积单元903，用于按照下式，对所述互补特征和第一中间层特征进行乘积操作，得到第一目标特征X1’：

X1’＝F(Relu(X1”)·F(X1))

式中，Relu(·)表示Relu激活函数处理；

特征变换单元904，用于对所述第二中间层特征进行卷积特征变换，得到第二目标特征X2’；

通道拼接单元905，用于按照下式，对所述第一目标特征和第二目标特征进行通道拼接，得到所述一级深度特征信息Y：

Y＝Relu(F(F(Concat(X1’,X2’))))

式中，Concat(～，～)表示在通道上拼接。

在一实施例中，所述第一分块单元804包括：

切片单元，用于预先设置多个大小相同的空白图像块，然后基于所述空白图像块，利用滑动窗口对所述第二医学图像对中的医学图像进行切片，以及对所述第一速度场进行切片，分别得到所述第二医学图像对小块和第一速度场小块。

在一实施例中，如图10所示，所述网络构建单元806包括：

相加融合单元1001，用于采用相加融合的方式将所述第二全局速度场和第二局部速度场以及第一速度场融合为第二速度场，然后通过积分操作得到所述第二形变场；

第二缩放单元1002，用于将所述第二速度场输入至第三级配准空间，同时对所述第二医学图像对进行缩放处理，得到第三医学图像对，然后将所述第二速度场与第三医学图像对在通道上拼接为三级医学图像对；

三级全局提取单元1003，用于利用第三级配准空间中的全局配准支路的特征自校准网络提取所述三级医学图像对的三级全局特征信息，并输出对应的第三全局速度场；

第二分块单元1004，用于分别将第三医学图像对和第二速度场分块处理为第三医学图像对小块和第二速度场小块，然后将第三医学图像对小块和第二速度场小块在通道上拼接为三级医学图像对小块；

三级局部提取单元1005，用于利用第三级配准空间中的局部配准支路的特征自校准网络提取所述三级医学图像对小块的三级局部特征信息，并输出对应的第三局部速度场小块，然后将所述第三局部速度场小块拼接为大小与所述第三医学图像对相等的第三局部速度场；

三级融合单元1006，用于采用相加融合的方式将所述第三全局速度场和第三局部速度场融合为第三速度场；

流场叠加单元1007，用于利用流场叠加的方式将所述第二速度场与第三速度场融合为所述目标速度场。

在一实施例中，所述基于特征自校准网络的图像配准装置800还包括：

优化更新单元，用于基于医学图像对的相似性以及位移矢量场的正则化项构建目标损失函数，并利用所述目标损失函数对所述医学图像配准网络进行优化更新。

在一实施例中，如图11所示，所述优化更新单元包括：

协方差计算单元1101，用于将相关系数作为医学图像对中固定图像与移动图像之间的相似性度量，并按照下式计算固定图像与移动图像之间的协方差：

式中，I₁、I₂分别表示固定图像和移动图像，Ω表示固定图像和移动图像中所有体素点的定义域，x，y表示两个图像中的各个体素点；

相关系数计算单元1102，用于按照下式，基于所述固定图像与移动图像之间的协方差对所述固定图像与移动图像之间的相关系数进行计算：

损失函数设置单元1103，用于基于所述相关系数设置相似性损失函数L_similarity：

L_similarity＝1-CorrCoef[I1,I2]；

全局施加单元1104，用于利用空间梯度上的L2范数对位移矢量场施加全局正则化项L_v：

式中，p∈(1，L)表示金字塔层数，k为正则化参数；

局部施加单元1105，用于利用雅克比行列式对位移矢量场施加局部取像一致性约束L_jacc：

式中，N表示雅克比行列式中的所有元素个数，σ(·)为激活函数，

表示在形变场φ中，位置p处的雅各比矩阵行列式；

目标损失函数构建单元1106，用于基于所述相似性损失函数、全局正则化项和局部取像一致性约束构建所述目标损失函数L：L＝L_similarity+L_v+Ljacc。

由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。

本发明实施例还提供了一种计算机可读存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明实施例还提供了一种计算机设备，可以包括存储器和处理器，存储器中存有计算机程序，处理器调用存储器中的计算机程序时，可以实现上述实施例所提供的步骤。当然计算机设备还可以包括各种网络接口，电源等组件。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种基于特征自校准网络的图像配准方法，其特征在于，包括：

将经过预处理的第一医学图像对输入至第一级配准空间，利用所述第一级配准空间中的特征自校准网络提取一级特征信息，并基于所述一级特征信息输出对应的第一速度场，然后对所述第一速度场进行积分操作，得到第一形变场；其中，第一医学图像对包括固定图像和移动图像；

对所述第一医学图像对进行缩放处理，得到第二医学图像对，将所述第二医学图像对与所述第一速度场在通道上拼接为二级医学图像对；

利用所述第二级配准空间中的全局配准支路的特征自校准网络对所述二级医学图像对进行二级全局特征信息提取，并基于所提取到的二级全局特征信息输出对应的第二全局速度场；

分别对所述第二医学图像对和所述第一速度场进行分块处理，得到对应的第二医学图像对小块和第一速度场小块，然后将所述第二医学图像对小块和第一速度场小块在通道上拼接为二级医学图像对小块；

利用所述第二级配准空间中的局部配准支路的特征自校准网络对所述二级医学图像对小块进行二级局部特征信息提取，并基于所提取到的二级局部特征信息输出对应的第二局部速度场小块，然后将所述第二局部速度场小块拼接为大小与所述第二医学图像对相等的第二局部速度场；

将所述第二全局速度场和第二局部速度场以及第一速度场融合为第二速度场，并对所述第二速度场进行积分操作，得到第二形变场，然后将所述第二速度场输入至下一级配准空间，然后将第二速度场与下一级配准空间输出的下一级速度场进行融合，以此类推，直至得到最终的目标速度场，然后对所述目标速度场进行积分操作，得到用于对医学图像进行配准的位移矢量场，以此构建医学图像配准网络；

利用所述医学图像配准网络对指定的医学图像进行配准。

2.根据权利要求1所述的基于特征自校准网络的图像配准方法，其特征在于，所述利用所述第一级配准空间中的特征自校准网络提取一级特征信息，包括：

利用特征编码器对所述第一医学图像对提取一级初步特征信息；

通过特征自校准模块对所述一级初步特征信息提取一级深度特征信息；

依次利用多个特征编码器和残差模块对所述一级深度特征信息进行融合；

通过多层特征解码器对融合结果进行解码，得到所述一级特征信息。

3.根据权利要求2所述的基于特征自校准网络的图像配准方法，其特征在于，所述通过特征自校准模块对所述一级初步特征信息提取一级深度特征信息，包括：

利用卷积操作将所述一级初步特征信息划分两个相同的第一中间层特征和第二中间层特征；

按照下式，对所述第一中间层特征分别进行三次不同程度的下采样处理，并对下采样处理结果分别进行卷积处理，然后对卷积处理结果进行上采样互补处理，得到互补特征X1”：

X1”＝X1+Up(F(Avgpool(X1)r))+Up(F(Avgpool(X1)2r))

式中，X1表示第一中间层特征，Avgpool(X1)r表示使用平均池化对X1进行r倍的下采样，F(·)表示卷积操作，Up(·)表示通过双线性插值法将输入上采样回初始分辨率；

按照下式，对所述互补特征和第一中间层特征进行乘积操作，得到第一目标特征X1’：

X1’＝F(Relu(X1”)·F(X1))

式中，Relu(·)表示Relu激活函数处理；

对所述第二中间层特征进行卷积特征变换，得到第二目标特征X2’；

按照下式，对所述第一目标特征和第二目标特征进行通道拼接，得到所述一级深度特征信息Y：

Y＝Relu(F(F(Concat(X1’,X2’))))

式中，Concat(～，～)表示在通道上拼接。

4.根据权利要求1所述的基于特征自校准网络的图像配准方法，其特征在于，所述分别对所述第二医学图像对和所述第一速度场进行分块处理，得到对应的第二医学图像对小块和第一速度场小块，包括：

预先设置多个大小相同的空白图像块，然后基于所述空白图像块，利用滑动窗口对所述第二医学图像对中的医学图像进行切片，以及对所述第一速度场进行切片，分别得到所述第二医学图像对小块和第一速度场小块。

5.根据权利要求1所述的基于特征自校准网络的图像配准方法，其特征在于，所述将所述第二全局速度场和第二局部速度场以及第一速度场融合为第二速度场，并对所述第二速度场进行积分操作，得到第二形变场，然后将所述第二速度场输入至下一级配准空间，然后将第二速度场与下一级配准空间输出的下一级速度场进行融合，以此类推，直至得到最终的目标速度场，包括：

采用相加融合的方式将所述第二全局速度场和第二局部速度场以及第一速度场融合为第二速度场，然后通过积分操作得到所述第二形变场；

将所述第二速度场输入至第三级配准空间，同时对所述第二医学图像对进行缩放处理，得到第三医学图像对，然后将所述第二速度场与第三医学图像对在通道上拼接为三级医学图像对；

利用第三级配准空间中的全局配准支路的特征自校准网络提取所述三级医学图像对的三级全局特征信息，并输出对应的第三全局速度场；

分别将第三医学图像对和第二速度场分块处理为第三医学图像对小块和第二速度场小块，然后将第三医学图像对小块和第二速度场小块在通道上拼接为三级医学图像对小块；

利用第三级配准空间中的局部配准支路的特征自校准网络提取所述三级医学图像对小块的三级局部特征信息，并输出对应的第三局部速度场小块，然后将所述第三局部速度场小块拼接为大小与所述第三医学图像对相等的第三局部速度场；

采用相加融合的方式将所述第三全局速度场和第三局部速度场融合为第三速度场；

利用流场叠加的方式将所述第二速度场与第三速度场融合为所述目标速度场。

6.根据权利要求1所述的基于特征自校准网络的图像配准方法，其特征在于，还包括：

基于医学图像对的相似性以及位移矢量场的正则化项构建目标损失函数，并利用所述目标损失函数对所述医学图像配准网络进行优化更新。

7.根据权利要求6所述的基于特征自校准网络的图像配准方法，其特征在于，所述基于医学图像对的相似性以及位移矢量场的正则化项构建目标损失函数，包括：

将相关系数作为医学图像对中固定图像与移动图像之间的相似性度量，并按照下式计算固定图像与移动图像之间的协方差：

式中，I₁、I₂分别表示固定图像和移动图像，Ω表示固定图像和移动图像中所有体素点的定义域，x，y表示两个图像中的各个体素点；

按照下式，基于所述固定图像与移动图像之间的协方差对所述固定图像与移动图像之间的相关系数进行计算：

基于所述相关系数设置相似性损失函数L_similarity：

L_similarity＝1-CorrCoef[I1,I2]；

利用空间梯度上的L2范数对位移矢量场施加全局正则化项L_v：

式中，p∈(1，L)表示金字塔层数，k为正则化参数；

利用雅克比行列式对位移矢量场施加局部取像一致性约束L_jacc：

式中，N表示雅克比行列式中的所有元素个数，σ(·)为激活函数，

表示在形变场φ中，位置p处的雅各比矩阵行列式；

基于所述相似性损失函数、全局正则化项和局部取像一致性约束构建所述目标损失函数L：L＝L_similarity+L_v+L_jacc。

8.一种基于特征自校准网络的图像配准装置，其特征在于，包括：

一级提取单元，用于将经过预处理的第一医学图像对输入至第一级配准空间，利用所述第一级配准空间中的特征自校准网络提取一级特征信息，并基于所述一级特征信息输出对应的第一速度场；其中，第一医学图像对包括固定图像和移动图像；

第一缩放单元，用于对所述第一医学图像对进行缩放处理，得到第二医学图像对，将所述第二医学图像对与所述第一速度场在通道上拼接为二级医学图像对；

二级全局提取单元，用于利用所述第二级配准空间中的全局配准支路的特征自校准网络对所述二级医学图像对进行二级全局特征信息提取，并基于所提取到的二级全局特征信息输出对应的第二全局速度场；

第一分块单元，用于分别对所述第二医学图像对和所述第一速度场进行分块处理，得到对应的第二医学图像对小块和第一速度场小块，然后将所述第二医学图像对小块和第一速度场小块在通道上拼接为二级医学图像对小块；

二级局部提取单元，用于利用所述第二级配准空间中的局部配准支路的特征自校准网络对所述二级医学图像对小块进行二级局部特征信息提取，并基于所提取到的二级局部特征信息输出对应的第二局部速度场小块，然后将所述第二局部速度场小块拼接为大小与所述第二医学图像对相等的第二局部速度场；

网络构建单元，用于将所述第二全局速度场和第二局部速度场以及第一速度场融合为第二速度场，并对所述第二速度场进行积分操作，得到第二形变场，然后将所述第二速度场输入至下一级配准空间，然后将第二速度场与下一级配准空间输出的下一级速度场进行融合，以此类推，直至得到最终的目标速度场，然后对所述目标速度场进行积分操作，得到用于对医学图像进行配准的位移矢量场，以此构建医学图像配准网络；

配准单元，用于利用所述医学图像配准网络对指定的医学图像进行配准。

9.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的基于特征自校准网络的图像配准方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于特征自校准网络的图像配准方法。

Images