CN110992411A - 图像配准模型的训练方法和装置 - Google Patents

Abstract

本申请提供一种图像配准模型的训练方法和装置，获取至少一个训练样本，利用当前的图像配准模型计算得到每个训练样本的变形场，利用变形场确定训练样本的配准图像和配准图像掩膜后，针对每个训练样本，根据配准图像和参考图像的相似度，变形场的平滑度，配准图像掩膜和参考图像的图像掩膜的重合度，以及配准图像的平滑度，计算训练样本的损失值；若存在不满足收敛条件的损失值，更新模型参数，并进入下一次迭代；若每个训练样本的损失值均满足收敛条件，输出当前的图像配准模型。本方案在损失值中引入图像掩膜的重合度以及配准图像的平滑度，使输出的图像配准模型即使在处理图像纹理较少的浮动图像和参考图像时，也能避免输出过度扭曲的变形场。

Description

图像配准模型的训练方法和装置

技术领域

本发明涉及图像处理技术领域，特别涉及一种图像配准模型的训练方法和装置。

背景技术

图像配准，是指，对于显示有同一目标物体的浮动图像和参考图像，寻找目标物体的每一个位置点在两幅图像中对应的像素点之间的映射关系。

具体的，可以利用预先训练的配准模型，计算输入图像组(包括浮动图像和参考图像)，得到对应的变形场，这个变形场就是输入图像组中浮动图像和参考图像之间的映射关系。

其中，配准模型的训练过程，一般是利用当前的配准模型计算训练样本的变形场，然后基于变形场，将训练样本中的浮动图像映射为配准图像，根据配准图像与参考图像的相似度以及变形场的平滑度计算损失值，若损失值不满足收敛条件，更新配准模型的参数并进入下一次迭代，若损失值满足收敛条件，则输出当前的配准模型。

当浮动图像和参考图像中，目标物体所在的区域的图像纹理较少时，仅根据配准图像与参考图像的相似度以及变形场的平滑度训练的配准模型会输出过度扭曲的变形场，导致映射得到的配准图像严重失真。

发明内容

基于上述现有技术缺点，本发明提供一种图像配准模型的训练方法和装置，以解决图像纹理较少时，现有的配准模型计算得到的变形场过度扭曲的问题。

本发明第一方面提供一种图像配准模型的训练方法，包括：

获取训练样本集以及训练样本集中每一个图像的图像掩膜；其中，所述训练样本集包括至少一个训练样本，每一个所述训练样本均包括浮动图像和参考图像；所述训练样本集的每一个图像，均显示有目标物体；所述图像掩膜用于指示对应的图像中目标物体所在的区域；

利用当前的图像配准模型计算得到每一个所述训练样本的变形场；

针对每一个训练样本，根据所述训练样本的变形场调整所述训练样本的浮动图像，得到所述训练样本的配准图像，并且，调整所述浮动图像的图像掩膜，得到所述训练样本的配准图像掩膜；

针对每一个训练样本，根据所述训练样本的配准图像和参考图像的相似度，所述训练样本的变形场的平滑度，所述训练样本的配准图像掩膜和参考图像的图像掩膜的重合度以及所述训练样本的配准图像的平滑度，计算得到所述训练样本的损失值；

若至少一个所述训练样本的损失值不满足预设的收敛条件，根据不满足所述收敛条件的损失值更新所述图像配准模型的参数，返回执行所述利用当前的图像配准模型计算得到每一个所述训练样本的变形场；

若每一个所述训练样本的损失值均满足所述收敛条件，输出当前的图像配准模型。

可选的，所述根据所述训练样本的配准图像掩膜和所述训练样本的参考图像的图像掩膜的重合度，所述训练样本的变形场的平滑度，所述训练样本的配准图像的平滑度，以及所述训练样本的配准图像和所述训练样本的参考图像的相似度，计算得到所述训练样本的损失值，包括：

用当前的配准模型的第一超参数乘以所述训练样本的配准图像掩膜和所述训练样本的参考图像的图像掩膜的重合度的相反数，得到第一系数；

计算所述训练样本的变形场的平滑度与当前的配准模型的第二超参数的乘积，得到第二系数；

计算所述训练样本的配准图像的平滑度与当前的配准模型的第三超参数的乘积，得到第三系数；

计算所述训练样本的配准图像和所述训练样本的参考图像的相似度的相反数，所述第一系数，所述第二系数以及所述第三系数之和，得到所述训练样本的损失值。

可选的，所述获取训练样本集，包括：

获取初始样本集；其中，所述初始样本集包括至少一个初始样本，每一个所述初始样本均包括浮动图像和参考图像；所述初始样本集的每一个图像，均显示有目标物体；

针对每一个初始样本，调整所述初始样本的浮动图像或参考图像的分辨率，使所述初始样本的浮动图像的分辨率和所述初始样本的参考图像的分辨率一致；其中，调整后的所述初始样本作为对应的训练样本。

可选的，所述获取训练样本集，包括：

获取初始样本集；其中，所述初始样本集包括至少一个初始样本，每一个所述初始样本均包括浮动图像和参考图像；所述初始样本集的每一个图像，均显示有目标物体；

利用预设的图像分割模型提取所述初始样本集的每一个图像的图像掩膜；

针对所述初始样本集的每一个图像，利用所述图像的图像掩膜，将所述图像中在所述目标物体所在的区域之外的每一个像素点的灰度值设置为第一灰度值，得到训练样本集；其中，所述第一灰度值小于每一个目标像素点的灰度值，所述目标像素点指代所述训练样本集的每一个图像中，目标物体所在的区域之内的像素点。

本申请第二方面提供一种图像配准模型的训练装置，包括：

获取单元，用于获取训练样本集以及训练样本集中每一个图像的图像掩膜；其中，所述训练样本集包括至少一个训练样本，每一个所述训练样本均包括浮动图像和参考图像；所述训练样本集的每一个图像，均显示有目标物体；所述图像掩膜用于指示对应的图像中目标物体所在的区域；

第一计算单元，用于利用当前的图像配准模型计算得到每一个所述训练样本的变形场；

调整单元，用于针对每一个训练样本，根据所述训练样本的变形场调整所述训练样本的浮动图像，得到所述训练样本的配准图像，并且，调整所述浮动图像的图像掩膜，得到所述训练样本的配准图像掩膜；

第二计算单元，用于针对每一个训练样本，根据所述训练样本的配准图像和参考图像的相似度，所述训练样本的变形场的平滑度，所述训练样本的配准图像掩膜和参考图像的图像掩膜的重合度以及所述训练样本的配准图像的平滑度，计算得到所述训练样本的损失值；

更新单元，用于若至少一个所述训练样本的损失值不满足预设的收敛条件，根据不满足所述收敛条件的损失值更新所述图像配准模型的参数，返回执行所述利用当前的图像配准模型计算得到每一个所述训练样本的变形场；

输出单元，用于若每一个所述训练样本的损失值均满足所述收敛条件，输出当前的图像配准模型。

可选的，所述第二计算单元，包括：

第一系数计算单元，用于将当前的配准模型的第一超参数乘以所述训练样本的配准图像掩膜和所述训练样本的参考图像的图像掩膜的重合度的相反数，得到第一系数；

第二系数计算单元，用于计算所述训练样本的变形场的平滑度与当前的配准模型的第二超参数的乘积，得到第二系数；

第三系数计算单元，用于计算所述训练样本的配准图像的平滑度与当前的配准模型的第三超参数的乘积，得到第三系数；

损失值计算单元，用于计算所述训练样本的配准图像和所述训练样本的参考图像的相似度的相反数，所述第一系数，所述第二系数以及所述第三系数之和，得到所述训练样本的损失值。

可选的，所述获取单元获取训练样本集时，具体用于：

获取初始样本集；其中，所述初始样本集包括至少一个初始样本，每一个所述初始样本均包括浮动图像和参考图像；所述初始样本集的每一个图像，均显示有目标物体；

针对每一个初始样本，调整所述初始样本的浮动图像或参考图像的分辨率，使所述初始样本的浮动图像的分辨率和所述初始样本的参考图像的分辨率一致；其中，调整后的所述初始样本作为对应的训练样本。

可选的，所述获取单元获取训练样本集时，具体用于：

获取初始样本集；其中，所述初始样本集包括至少一个初始样本，每一个所述初始样本均包括浮动图像和参考图像；所述初始样本集的每一个图像，均显示有目标物体；

利用预设的图像分割模型提取所述初始样本集的每一个图像的图像掩膜；

针对所述初始样本集的每一个图像，利用所述图像的图像掩膜，将所述图像中在所述目标物体所在的区域之外的每一个像素点的灰度值设置为第一灰度值，得到训练样本集；其中，所述第一灰度值小于每一个目标像素点的灰度值，所述目标像素点指代所述训练样本集的每一个图像中，目标物体所在的区域之内的像素点。

本申请提供一种图像配准模型的训练方法和装置，获取至少一个训练样本，利用当前的图像配准模型计算得到每个训练样本的变形场，利用变形场确定训练样本的配准图像和配准图像掩膜后，针对每个训练样本，根据配准图像和参考图像的相似度，变形场的平滑度，配准图像掩膜和参考图像的图像掩膜的重合度，以及配准图像的平滑度，计算训练样本的损失值；若存在不满足收敛条件的损失值，更新模型参数，并进入下一次迭代；若每个训练样本的损失值均满足收敛条件，输出当前的图像配准模型。本方案在损失值中引入图像掩膜的重合度以及配准图像的平滑度，使输出的图像配准模型即使在处理图像纹理较少的浮动图像和参考图像时，也能避免输出过度扭曲的变形场。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种图像配准模型的训练方法的流程图；

图2为本发明实施例提供的一种对初始样本进行预处理的方法的流程图；

图3为本发明实施例提供的一种图像配准模型的训练装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

现有的图像配准模型的训练方法，训练得到的图像配准模型用于对两幅图像进行配准时，若两幅图像中目标物体所在的区域图像纹理较少，那么现有的图像配准模型输出的变形场容易出现过度扭曲的问题，进而导致根据变形场调整得到的配准图像严重失真。

另一方面，对图像纹理较少的图像进行配准，在某些领域又是十分重要的。

例如，针对医学图像进行配准时，参考图像和浮动图像一般是对人体的特定器官进行造影得到的图像，图像中的目标物体就是被造影的器官。特别的，对肝脏进行造影得到的肝脏图像中，肝脏所在的区域的图像纹理就比较少，这就导致现有的图像配准模型无法准确的对肝脏图像进行配准，同时对肝脏疾病的临床诊断，又依赖于对不同造影期像中拍摄得到的肝脏图像进行图像配准。

综上所述，目前亟需一种能够准确的对目标物体的纹理较少的图像进行配准的图像配准模型。

为了解决上述现有技术问题，本申请实施例提供一种图像配准模型的训练方法，请参考图1，本申请实施例提供的图像配准模型的训练方法包括以下步骤：

如前文所述，本申请实施例提供的训练方法，主要是为了解决现有的训练方法无法准确的对目标物体的纹理较少的图像进行配准的问题，同时，对肝脏进行造影得到的肝脏图像又是一种具有上述特征的一种典型的图像，并且对肝脏图像的配准对于肝脏疾病的诊断具有重要价值，因此，在说明本实施例以及本申请后续的其他实施例时，均以对肝脏图像的配准为例进行说明。

本领域技术人员应当理解，本申请任一实施例中，以肝脏图像的配准为例介绍的图像配准模型的训练方法，基于训练得到的图像配准模型实现的图像配准方法，以及对应的训练装置和配准装置，可以适用于对显示有其他目标物体的图像进行配准，而不仅限于对肝脏图像的配准。

S101、获取训练样本集以及训练样本集中每一个图像的图像掩膜。

其中，训练样本集包括至少一个训练样本，每一个训练样本均包括浮动图像和参考图像。

训练样本集的每一个图像，均显示有目标物体。具体的，训练样本集中的图像，可以是利用医学造影技术拍摄得到的肝脏图像，图像中的目标物体，就是被拍摄的肝脏。

图像掩膜用于指示对应的图像中目标物体所在的区域。

需要说明的是，训练样本集中的每一个图像，可以是二维的平面图像，也可以是由多个二维的平面图像层叠构成的三维图像。

当然，一个训练样本集内的图像应该均为二维图像或者均为三维图像。

其中，一个图像的图像掩膜，可以利用预先训练好的图像分割深度学习模型对图像进行处理得到。

也就是说，步骤S101的具体实现过程可以包括：

获取训练样本集，然后利用预先训练好的图像分割深度学习模型处理训练样本集中的每一个图像，得到每一个图像对应的图像掩膜。

具体的，利用图像分割深度学习模型处理输入图像时，图像分割深度学习模型会识别出输入图像中用于表示目标物体的像素点，然后，将图像中表示目标物体的像素点的调整为白色，将图像中除目标物体的像素点以外的其他像素点调整为黑色，调整后输出的图像，就是这个输入图像对应的图像掩膜。

其中，获取训练样本集的过程，可以是先获取一个初始样本集，然后对根据实际需要对初始样本集中的图像进行预处理，然后将预处理后的样本集作为训练样本集。

S102、利用当前的图像配准模型计算得到每一个训练样本的变形场。

具体的，针对每一个训练样本，可以先将这个训练样本的浮动图像和参考图像进行通道拼接，然后将拼接后的样本输入当前的图像配准模型中，使当前的图像配准模型计算得到这个训练样本的变形场。

在本申请的一个可选的实施例中，步骤S102中使用的图像配准模型是一个由编码器和解码器组成的卷积神经网络，其中，编码器包括多个卷积层-最大池化-激活层组合，解码器包括多个卷积层-上采样-激活层组合。进一步的，若训练样本集中的图像均为三维图像，本实施例中的卷积神经网络，可以是一个具有跨层连接的三维U型结构的神经网络(3DU-NET)。

当然，上述结构的神经网络模型仅仅是本申请实施例提供的训练方法中一种可选的模型，在本申请的其他实施例中，也可以对其他结构的神经网络模型进行训练，并不限制仅为上述结构的神经网络。

训练一个图像配准模型的过程，可以认为是，基于给定的训练样本集以及预设的损失函数，反复进行多次迭代的过程。

其中，每进行一次迭代，就利用当前次迭代的图像配准模型对训练样本集中的图像进行一次图像配准，然后根据配准的结果以及预设的损失函数计算得到当前次迭代的图像配准模型的损失值，若当前次迭代的损失值不满足收敛条件，则基于损失值更新图像配准模型的参数，然后进入下一次迭代，直至某一次迭代时图像配准模型的损失值满足收敛条件，那么这次迭代的图像配准模型就可以作为训练好的图像配准模型输出。

其中，若当前次迭代是执行本实施例提供的训练方法的过程中的第一次迭代，那么步骤S102中的当前的图像配准模型，就是一个预先给定的初始神经网络模型。

S103、针对每一个训练样本，根据训练样本的变形场调整训练样本的浮动图像，得到训练样本的配准图像，并且，调整浮动图像的图像掩膜，得到训练样本的配准图像掩膜。

训练样本的变形场，是一个N维张量，其中记录有这个训练样本中的浮动图像和参考图像的相互对应的像素点之间的位置映射关系。N等于训练样本中图像的维度加1，也就是说，若训练样本中的图像是三维图像，则对应的变形场是四维张量，若训练样本中的图像是二维图像，则对应的变形场是三维张量。并且，变形场的尺寸由训练样本中的图像的尺寸决定。

例如，假设一个训练样本中的浮动图像和参考图像均为三维图像，并且图像的尺寸均为[288,256,48]，那么这个训练样本的变形场，就是一个尺寸为[288,256,48,3]的张量。

若训练样本中的图像为二维图像，图像尺寸为[288,256]，那么，训练样本的变形场，就是一个尺寸为[288,256,2]的张量。

对于训练样本中的浮动图像和参考图像，若浮动图像中的一个像素点A，与参考图像中的一个像素点B对应于目标物体的同一个实际位置点，那么，就认为浮动图像中的像素点A和参考图像中的像素点B是一对相互对应的像素点。

利用变形场调整浮动图像，可以理解为，基于变形场，改变浮动图像中各个像素点的位置，改变位置后的各个像素点组合成的图像，就是对浮动图像进行调整后得到的配准图像。

具体的，结合前述例子，对于尺寸为[288,256,48]的浮动图像中的任意一个坐标为[x,y,z]的像素点A，可以基于像素点A的坐标在对应的尺寸为[288,256,48,3]的变形场中，确定出像素点A对应的三个标量，即三个数值，它们在变形场中的位置分别是：[x,y,z,1]，[x,y,z,2]，[x,y,z,3]。这三个数值分别表示像素点A在对应坐标轴上的位移量，具体的，[x,y,z,1]处的数值可以记为Δx，表示像素点A在x轴上的位移量，[x,y,z,2]和[x,y,z,3]处的数值可以依次记为Δy和Δz，分别表示像素点A在y轴上的位移量和在z轴上的位移量。

结合变形场中记录的像素点A的位移量，可以将像素点A移动至新的坐标，即[x+Δx,y+Δy,z+Δz]，这样就完成了对一个浮动图像中的一个像素点的位置的调整。

按照上述方法调整浮动图像中的每一个像素点，就可以得到配准图像。

根据前文对图像掩膜的介绍，可以理解的，图像掩膜中的像素点与对应的图像中同一坐标上的像素点是一一对应的，因此，上述对浮动图像的各个像素点进行的位置的调整，可以直接适用于浮动图像对应的图像掩膜，从而得到配准图像掩膜。

S104、计算当前次迭代中每一个训练样本的损失值。

其中，每一个训练样本的损失值，至少根据这个训练样本的配准图像掩膜和这个训练样本的参考图像的图像掩膜的重合度，以及这个训练样本的配准图像的平滑度计算得到。

一般的，计算一个训练样本的损失值时还会考虑当前次迭代中计算得到的这个训练样本的变形场的平滑度，以及当前次迭代中产生的这个训练样本的配准图像和这个训练样本的参考图像的相似度。

需要说明的是，上述四个用于计算损失值的测度中，配准图像掩膜和参考图像的图像掩膜的重合度与损失值为负相关，即，其他测度不变的情况下，重合度越大，则损失值越小；配准图像的平滑度和变形场的平滑度与损失值均为正相关，也就是说，配准图像的平滑度增大，或者变形场的平滑度增大，均会导致损失值增大；配准图像和参考图像的相似度与损失值为负相关，也就是说，相似度越大，则损失值越小。

其中，配准图像和参考图像之间的相似度，可以用配准图像和参考图像之间的相关系数或者配准图像和参考图像之间的互信息表示，当然也可以使用其他的能够表示两个图像之间的相似度之间的指标，例如，K-L散度。

配准图像的平滑度，可以先计算出配准图像的梯度场，然后根据配准图像的梯度场计算得到平滑度，当然，其他的可以表示图像的平滑度的指标也适用于本申请提供的训练方法。

现有的图像配准模型的训练模型一般在计算损失值时只考虑配准图像和参考图像之间的相似度，以及变形场的平滑度。相对于现有的训练方法，由于本申请提供的训练方法在计算损失值时引入了图像掩膜的重合度，以及配准图像的平滑度，因此本申请提供的训练方法能够有效的解决现有的训练方法训练得到的图像配准模型在对目标物体的纹理较少的图像进行配准时存在的变形场过度扭曲的问题。

一方面，在进行图像配准时，图像配准模型生成的变形场的扭曲程度会影响配准图像掩膜和参考图像的图像掩膜之间的重合度，变形场越扭曲，重合度越小。若在训练图像配准模型的过程中，某次迭代时的图像配准模型计算得到的变形场过度扭曲，相应的本次迭代中配准图像掩膜和参考图像的图像掩膜的重合度也会显著下降，导致本次迭代中各个训练样本的损失值增不满足收敛条件，进入下一次迭代。因此，通过在损失值计算的过程中引入配准图像掩膜和参考图像的图像掩膜之间的重合度，使得损失值能够反映出每次迭代时图像配准模型计算得到的变形场的扭曲程度，输出的变形场的扭曲程度过大的图像配准模型将由于训练样本的损失值不满足收敛条件而被舍弃，因而本申请提供的训练方法能够避免训练好的图像配准模型进行图像配准时生成过度扭曲的变形场的问题，

另一方面，本申请提供的训练方法在计算损失值时还考虑了配准图像的平滑程度，以避免训练好的图像配准模型实际用于图像配准时，得到配准图像中出现局部的像素纹理震荡伪影的情况。

S105、判断训练样本的损失值是否满足预设的收敛条件。

若至少一个训练样本的损失值不满足预设的收俩条件，则执行步骤S106。

若每一个训练样本的损失值均满足预设收敛条件，则执行步骤S107。

一般的，训练图像配准模型时，为了尽量获得最优的图像配准模型，一般是希望步骤S104中计算得到的每个训练样本的损失值都尽可能小。为了满足这一需求，一般的，步骤S105中的收敛条件可以定义为：

针对每一个训练样本，计算得到当前次迭代(假设当前次迭代为第N次迭代，N大于1)中这个训练样本的损失值之后，获取这个训练样本在前一次迭代，即第N-1次迭代中的损失值，然后计算这个训练样本第N次迭代的损失值与第N-1次迭代的损失值的差值，若计算得到的差值小于预设的阈值，则判断出当前次迭代中这个训练样本的损失值满足收敛条件，若计算得到的差值大于或等于预设的阈值，则判断出当前次迭代中这个训练样本的损失值不满足收敛条件。

S106、根据不满足收敛条件的训练样本的损失值更新图像配准模型的参数。

通过执行步骤S106更新图像配准模型的参数后，返回执行步骤S102，进入下一次迭代。

S107、输出当前的图像配准模型。

若当前次迭代中每个训练样本的损失值均满足上述收敛条件，则表明当前次迭代的图像配准模型已经训练完成，可以将其用于图像配准。

需要说明的是，如上述本申请实施例提供的图像配准模型的训练方法，既可以只用一个训练样本进行训练，也可以用多个训练样本进行训练。

本申请提供一种图像配准模型的训练方法，获取至少一个训练样本，然后利用当前的图像配准模型计算得到每一个训练样本的变形场，利用变形场确定训练样本的配准图像和配准图像掩膜后，针对每一个训练样本，根据配准图像和参考图像的相似度，训练样本的变形场的平滑度，配准图像掩膜和参考图像的图像掩膜的重合度，以及配准图像的平滑度，计算训练样本的损失值；若存在不满足收敛条件的损失值，更新图像配准模型的参数，并进入下一次迭代；若每个训练样本的损失值均满足收敛条件，输出当前的图像配准模型。本发明提供的训练方法，在损失值中引入图像掩膜的重合度以及配准图像的平滑度，训练得到的图像配准模型即使在处理图像纹理较少的浮动图像和参考图像时，也能避免输出过度扭曲的变形场。

下面结合具体的公式介绍前述实施例的步骤S104所述的计算训练样本的损失值的过程：

对于一个训练样本W，这个训练样本的损失值SW可以用下述公式(1)表示：

SW＝-sim(W)-A×dice(W)+B×smo(Wd)+C×smo(Wo)

其中，sim(W)表示当前次迭代中，对训练样本W的浮动图像进行调整得到的配准图像，与训练样本W的参考图像的相似度。

dice(W)表示当前次迭代中，训练样本W的配准图像掩膜和训练样本W的参考图像的图像掩膜的重合度。

smo(Wd)表示当前次迭代中，利用当前次迭代的图像配准模型计算训练样本W得到的，训练样本W对应的变形场Wd的平滑度。

smo(Wo)表示当前次迭代中，利用训练样本W对应的变形场Wd对训练样本W的浮动图像进行调整得到的配准图像Wo的平滑度。

其中，A，B和C分别是图像配准模型的三个超参数，可以依次记为第一超参数，第二超参数，第三超参数。

也就是说，计算一个训练样本的损失值的过程，可以概括为：

用当前次迭代的图像配准模型的第一超参数乘以训练样本的配准图像掩膜和训练样本的参考图像的图像掩膜的重合度的相反数，得到第一系数；

计算训练样本的变形场的平滑度与当前次迭代的图像配准模型的第二超参数的乘积，得到第二系数；

计算训练样本的配准图像的平滑度与当前次迭代的图像配准模型的第三超参数的乘积，得到第三系数；

计算训练样本的配准图像和训练样本的参考图像的相似度的相反数，第一系数，第二系数以及第三系数之和，得到训练样本的损失值。

前述实施例的步骤S101中指出，训练样本集可以通过对初始样本集中的初始样本进行预处理得到，下面以单个初始样本为例，结合图2介绍对初始样本的预处理过程：

S201、利用图像分割深度学习模型提取出初始样本中的初始浮动图像的图像掩膜和初始参考图像的图像掩膜。

S202、统一初始样本的初始浮动图像和初始参考图像的三维坐标轴方向。

具体的，可以将初始样本的初始浮动图像和初始参考图像的三维坐标轴方向均设置为RAI方向。

需要说明的是，利用本实施例提供的对初始样本进行预处理的方法处理由多个初始样本构成的初始样本集时，一般需要将初始样本集中的所有图像的三维坐标轴方向，均设置为同一种方向，例如，可以将初始样本集中的所有图像的三维坐标轴方向均设置为RAI方向。

S203、利用均匀插值技术调整初始浮动图像或初始参考图像的空间分辨率，使初始浮动图像和初始参考图像具有同一空间分辨率。

对图像进行插值能够增加图像的空间分辨率，因此，为了确保经过步骤S203的调整后初始样本中的初始浮动图像和初始参考图像的空间分辨率一致，执行步骤S203时一般需要先确定初始浮动图像和初始参考图像中空间分辨率较小的图像，然后对这个空间分辨率较小的图像进行插值，以增大该图像的空间分辨率，达到使初始样本的两个图像的空间分辨率一致的目的。

进一步的，若插值后，初始浮动图像和初始参考图像的空间分辨率均不满足[1.0,1.0,5.0]mm的要求，可以进一步对初始浮动图像和初始参考图像进行插值，直至两个图像的空间分辨率均达到[1.0,1.0,5.0]mm为止。

图像的空间分辨率定义为：对于一个三维图像，若这个三维图像的像素点用于表示实际空间中的一个长宽高分别为1mm，1mm和5mm的立方体空间，那么这个三维图像的空间分辨率就是[1.0,1.0,5.0]mm。

S204、利用对应的图像掩膜调整初始浮动图像和初始参考图像中像素点的灰度值。

具体的，步骤S204所述的调整，包括：

针对初始浮动图像，保持初始浮动图像中目标物体对应的像素点的灰度值不变。而对于初始浮动图像中除目标物体对应的像素点以外的其他像素点，将这些像素点的灰度值均设置为第一灰度值。

针对初始参考图像，保持初始参考图像中目标物体对应的像素点的灰度值不变。而对于初始参考图像中除目标物体对应的像素点以外的其他像素点，将这些像素点的灰度值均设置为第一灰度值。

其中，第一灰度值是满足以下条件的任意一个灰度值：

针对初始浮动图像中目标物体对应的每一个像素点，以及初始参考图像中目标物体对应的每一个像素点，这些像素点的灰度值均大于第一灰度值。

例如，可以将第一灰度值设定为-1024。

图像配准的目的在于确定浮动图像和参考图像中对应于目标物体中的同一位置的像素点之间的映射关系，也就是说，在计算浮动图像和参考图像之间的映射关系，即变形场时，只需要考虑浮动图像和参考图像中目标物体的像素点(也就是说，只依赖于浮动图像和参考图像中目标物体对应的像素点之间的信息)，而除目标物体的像素点以外的其他像素点的灰度值会影响后续训练过程中计算得到训练样本的损失值，导致计算得到的损失值不能准确反映出当前次迭代的图像配准模型的性能，因此，需要通过执行步骤S204，以避免浮动图像和参考图像中除目标物体的像素点以外的像素点对后续图像配准模型的训练过程产生干扰。

S205、根据初始浮动图像中目标物体的中心点和初始参考图像中目标物体的中心点，对初始浮动图像和初始参考图像进行刚性对齐。

具体的，可以将初始浮动图像对应的图像掩膜的中心点，确定为初始浮动图像中目标物体的中心点，并将初始参考图像对应的图像掩膜的中心点，确定为初始参考图像中目标物体的中心点。

S206、根据目标物体的中心点和预设的区块尺寸，从初始浮动图像和初始参考图像中截取出浮动图像区块和参考图像区块。

其中，区块尺寸可以根据目标物体的大小设定，以能够完整的覆盖图像中的整个目标物体为宜。具体的，若目标物体是肝脏，并且初始浮动图像和初始参考图像的空间分辨率均为[1.0,1.0,5.0]mm，那么区块尺寸可以设置为[288,256,48]，也就是说，一个区块相当于一个三维像素点阵，其中包括288×256×48个像素点。

针对预设的区块尺寸，只需要在初始浮动图像中，以目标物体的中心点作为区块的中心，基于区块尺寸划分出对应大小的区块，这个区块覆盖的区域内的图像，就是从初始浮动图像中截取得到的浮动图像区块。

对初始参考图像的处理过程类似，此处不再赘述。

S207、对浮动图像区块和参考图像区块进行钳位，并将其灰度归一化缩放至[0,1]区间，得到浮动图像和参考图像。

步骤S207中输出的浮动图像和参考图像，就构成前述图1对应的实施例中的一个用于训练图像配准模型的训练样本。

需要说明的是，步骤S207是指，对浮动图像区块进行钳位以及灰度归一化缩放，使其缩放是[0,1]区间，得到浮动图像；同时，对参考图像区块进行钳位以及灰度归一化缩放，使其缩放是[0,1]区间，得到参考图像。

基于本申请任一实施例提供的训练方法训练得到的图像配准模型，能够用于对显示有目标物体的浮动图像和参考图像进行图像配准。

利用训练好的图像配准模型进行图像配准的过程，与现有的基于图像配准模型的图像配准方法一致，此处不再赘述。

结合本申请任一实施例提供的图像配准模型的训练方法，本申请另一实施例还提供一种图像配准模型的训练装置，请参考图3，该装置包括以下结构：

获取单元301，用于获取训练样本集以及训练样本集中每一个图像的图像掩膜。

其中，所述训练样本集包括至少一个训练样本，每一个所述训练样本均包括浮动图像和参考图像；所述训练样本集的每一个图像，均显示有目标物体；所述图像掩膜用于指示对应的图像中目标物体所在的区域。

第一计算单元302，用于利用当前的图像配准模型计算得到每一个所述训练样本的变形场。

调整单元303，用于针对每一个训练样本，根据所述训练样本的变形场调整所述训练样本的浮动图像，得到所述训练样本的配准图像，并且，调整所述浮动图像的图像掩膜，得到所述训练样本的配准图像掩膜。

第二计算单元304，用于针对每一个训练样本，至少根据所述训练样本的配准图像掩膜和所述训练样本的参考图像的图像掩膜的重合度，以及所述训练样本的配准图像的平滑度，计算得到所述训练样本的损失值。

更新单元305，用于若至少一个所述训练样本的损失值不满足预设的收敛条件，根据不满足所述收敛条件的损失值更新所述图像配准模型的参数，返回触发第一计算单元302利用当前的图像配准模型计算得到每一个所述训练样本的变形场。

输出单元306，用于若每一个所述训练样本的损失值均满足所述收敛条件，输出当前的图像配准模型。

可选的，第二计算单元304计算损失值时，具体用于：

针对每一个训练样本，根据所述训练样本的配准图像掩膜和所述训练样本的参考图像的图像掩膜的重合度，所述训练样本的变形场的平滑度，所述训练样本的配准图像的平滑度，以及所述训练样本的配准图像和所述训练样本的参考图像的相似度，计算得到所述训练样本的损失值。

可选的，第二计算单元304，包括：

第一系数计算单元，用于将当前的配准模型的第一超参数乘以所述训练样本的配准图像掩膜和所述训练样本的参考图像的图像掩膜的重合度的相反数，得到第一系数；

第二系数计算单元，用于计算所述训练样本的变形场的平滑度与当前的配准模型的第二超参数的乘积，得到第二系数；

第三系数计算单元，用于计算所述训练样本的配准图像的平滑度与当前的配准模型的第三超参数的乘积，得到第三系数；

损失值计算单元，用于计算所述训练样本的配准图像和所述训练样本的参考图像的相似度的相反数，所述第一系数，所述第二系数以及所述第三系数之和，得到所述训练样本的损失值。

可选的，获取单元301可以包括子获取单元和预处理单元。

其中，子获取单元用于获取初始样本集，预处理单元用于对初始样本集中的图像进行预处理，得到训练样本集。

预处理单元对图像进行预处理时，可以用于：

针对每一个初始样本，调整所述初始样本的浮动图像或参考图像的分辨率，使所述初始样本的浮动图像的分辨率和所述初始样本的参考图像的分辨率一致；其中，调整后的所述初始样本作为对应的训练样本。

预处理单元对图像进行预处理时，还可以用于：

利用预设的图像分割模型提取所述初始样本集的每一个图像的图像掩膜；

针对所述初始样本集的每一个图像，利用所述图像的图像掩膜，将所述图像中在所述目标物体所在的区域之外的每一个像素点的灰度值设置为第一灰度值，得到训练样本集；其中，所述第一灰度值小于每一个目标像素点的灰度值，所述目标像素点指代所述训练样本集的每一个图像中，目标物体所在的区域之内的像素点。

进一步的，预处理单元还可以基于前述图2对应的实施例所述的预处理方法，对初始样本集中的图像进行处理，得到训练样本集。

本实施例提供的图像配准模型的训练装置，其具体工作原理可以参考本申请任一实施例提供的图像配准模型的训练方法，此处不再赘述。

本申请提供一种图像配准模型的训练装置，获取单元301获取至少一个训练样本，然后第一计算单元302利用当前的图像配准模型计算得到每一个训练样本的变形场，在通过调整单元303利用变形场确定训练样本的配准图像和配准图像掩膜后，由第二计算单元304针对每一个训练样本，根据训练样本的配准图像和参考图像的相似度，训练样本的变形场的平滑度，配准图像掩膜和参考图像的图像掩膜的重合度，以及配准图像的平滑度，计算训练样本的损失值；若存在不满足收敛条件的损失值，更新单元305更新图像配准模型的参数，并触发第一计算单元进入下一次迭代；若每个训练样本的损失值均满足收敛条件，则由输出单元306输出当前的图像配准模型。本发明提供的训练方法，在损失值中引入图像掩膜的重合度以及配准图像的平滑度，训练得到的图像配准模型即使在处理图像纹理较少的浮动图像和参考图像时，也能避免输出过度扭曲的变形场。

专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种图像配准模型的训练方法，其特征在于，包括：

获取训练样本集以及训练样本集中每一个图像的图像掩膜；其中，所述训练样本集包括至少一个训练样本，每一个所述训练样本均包括浮动图像和参考图像；所述训练样本集的每一个图像，均显示有目标物体；所述图像掩膜用于指示对应的图像中目标物体所在的区域；

利用当前的图像配准模型计算得到每一个所述训练样本的变形场；

针对每一个训练样本，根据所述训练样本的变形场调整所述训练样本的浮动图像，得到所述训练样本的配准图像，并且，调整所述浮动图像的图像掩膜，得到所述训练样本的配准图像掩膜；

针对每一个训练样本，根据所述训练样本的配准图像和参考图像的相似度，所述训练样本的变形场的平滑度，所述训练样本的配准图像掩膜和参考图像的图像掩膜的重合度以及所述训练样本的配准图像的平滑度，计算得到所述训练样本的损失值；

若至少一个所述训练样本的损失值不满足预设的收敛条件，根据不满足所述收敛条件的损失值更新所述图像配准模型的参数，返回执行所述利用当前的图像配准模型计算得到每一个所述训练样本的变形场；

若每一个所述训练样本的损失值均满足所述收敛条件，输出当前的图像配准模型。

2.根据权利要求1所述的训练方法，其特征在于，所述根据所述训练样本的配准图像掩膜和所述训练样本的参考图像的图像掩膜的重合度，所述训练样本的变形场的平滑度，所述训练样本的配准图像的平滑度，以及所述训练样本的配准图像和所述训练样本的参考图像的相似度，计算得到所述训练样本的损失值，包括：

用当前的配准模型的第一超参数乘以所述训练样本的配准图像掩膜和所述训练样本的参考图像的图像掩膜的重合度的相反数，得到第一系数；

计算所述训练样本的变形场的平滑度与当前的配准模型的第二超参数的乘积，得到第二系数；

计算所述训练样本的配准图像的平滑度与当前的配准模型的第三超参数的乘积，得到第三系数；

计算所述训练样本的配准图像和所述训练样本的参考图像的相似度的相反数，所述第一系数，所述第二系数以及所述第三系数之和，得到所述训练样本的损失值。

3.根据权利要求1所述的训练方法，其特征在于，所述获取训练样本集，包括：

获取初始样本集；其中，所述初始样本集包括至少一个初始样本，每一个所述初始样本均包括浮动图像和参考图像；所述初始样本集的每一个图像，均显示有目标物体；

针对每一个初始样本，调整所述初始样本的浮动图像或参考图像的分辨率，使所述初始样本的浮动图像的分辨率和所述初始样本的参考图像的分辨率一致；其中，调整后的所述初始样本作为对应的训练样本。

4.根据权利要求1所述的训练方法，其特征在于，所述获取训练样本集，包括：

获取初始样本集；其中，所述初始样本集包括至少一个初始样本，每一个所述初始样本均包括浮动图像和参考图像；所述初始样本集的每一个图像，均显示有目标物体；

利用预设的图像分割模型提取所述初始样本集的每一个图像的图像掩膜；

针对所述初始样本集的每一个图像，利用所述图像的图像掩膜，将所述图像中在所述目标物体所在的区域之外的每一个像素点的灰度值设置为第一灰度值，得到训练样本集；其中，所述第一灰度值小于每一个目标像素点的灰度值，所述目标像素点指代所述训练样本集的每一个图像中，目标物体所在的区域之内的像素点。

5.一种图像配准模型的训练装置，其特征在于，包括：

获取单元，用于获取训练样本集以及训练样本集中每一个图像的图像掩膜；其中，所述训练样本集包括至少一个训练样本，每一个所述训练样本均包括浮动图像和参考图像；所述训练样本集的每一个图像，均显示有目标物体；所述图像掩膜用于指示对应的图像中目标物体所在的区域；

第一计算单元，用于利用当前的图像配准模型计算得到每一个所述训练样本的变形场；

调整单元，用于针对每一个训练样本，根据所述训练样本的变形场调整所述训练样本的浮动图像，得到所述训练样本的配准图像，并且，调整所述浮动图像的图像掩膜，得到所述训练样本的配准图像掩膜；

第二计算单元，用于针对每一个训练样本，根据所述训练样本的配准图像和参考图像的相似度，所述训练样本的变形场的平滑度，所述训练样本的配准图像掩膜和参考图像的图像掩膜的重合度以及所述训练样本的配准图像的平滑度，计算得到所述训练样本的损失值；

更新单元，用于若至少一个所述训练样本的损失值不满足预设的收敛条件，根据不满足所述收敛条件的损失值更新所述图像配准模型的参数，返回执行所述利用当前的图像配准模型计算得到每一个所述训练样本的变形场；

输出单元，用于若每一个所述训练样本的损失值均满足所述收敛条件，输出当前的图像配准模型。

6.根据权利要求5所述的训练装置，其特征在于，所述第二计算单元，包括：

第一系数计算单元，用于将当前的配准模型的第一超参数乘以所述训练样本的配准图像掩膜和所述训练样本的参考图像的图像掩膜的重合度的相反数，得到第一系数；

第二系数计算单元，用于计算所述训练样本的变形场的平滑度与当前的配准模型的第二超参数的乘积，得到第二系数；

第三系数计算单元，用于计算所述训练样本的配准图像的平滑度与当前的配准模型的第三超参数的乘积，得到第三系数；

损失值计算单元，用于计算所述训练样本的配准图像和所述训练样本的参考图像的相似度的相反数，所述第一系数，所述第二系数以及所述第三系数之和，得到所述训练样本的损失值。

7.根据权利要求6所述的训练装置，其特征在于，所述获取单元获取训练样本集时，具体用于：

获取初始样本集；其中，所述初始样本集包括至少一个初始样本，每一个所述初始样本均包括浮动图像和参考图像；所述初始样本集的每一个图像，均显示有目标物体；

针对每一个初始样本，调整所述初始样本的浮动图像或参考图像的分辨率，使所述初始样本的浮动图像的分辨率和所述初始样本的参考图像的分辨率一致；其中，调整后的所述初始样本作为对应的训练样本。

8.根据权利要求5所述的训练装置，其特征在于，所述获取单元获取训练样本集时，具体用于：

获取初始样本集；其中，所述初始样本集包括至少一个初始样本，每一个所述初始样本均包括浮动图像和参考图像；所述初始样本集的每一个图像，均显示有目标物体；

利用预设的图像分割模型提取所述初始样本集的每一个图像的图像掩膜；

针对所述初始样本集的每一个图像，利用所述图像的图像掩膜，将所述图像中在所述目标物体所在的区域之外的每一个像素点的灰度值设置为第一灰度值，得到训练样本集；其中，所述第一灰度值小于每一个目标像素点的灰度值，所述目标像素点指代所述训练样本集的每一个图像中，目标物体所在的区域之内的像素点。

Images