CN109767461B - 医学影像配准方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种医学影像配准方法、装置、计算机设备和存储介质。所述方法包括：获取待配准图像和参考图像；根据所述待配准图像、所述参考图像和预设的第一配准模型，获取第一特征信息；根据所述第一特征信息、预设的卷积神经网络模型和第二配准模型，获取待配准图像的目标配准图像，由于在卷积神经网络模型前级联第一配准模型，通过第一配准模型学习影像图的原始结构信息以及相邻像素之间的相关性，为卷积神经网络模型提供更多的有效信息，并且将第一配准模型学习到的第一特征信息和卷积神经网络模型输出的特征信息输入第二配准模型，达到多特征融合的目的，进而大大提高了重建的目标配准图像质量。

Description

医学影像配准方法、装置、计算机设备和存储介质

技术领域

本申请涉及医学影像领域，特别是涉及一种医学影像配准方法、装置、计算机设备和存储介质。

背景技术

随着医学影像学的不断发展，医学影像在临床诊断和治疗发挥的作用越来越大。医学成像模式可以分为解剖成像模式和功能成像模式，然而，某一种成像模式所能提供的图像信息具有一定的局限性，有时单独使用某一种图像模式难以获得正确的诊断结论。因此，为了提高医学诊断和治疗的水平，需要综合利用患者的各种图像模式。

医学影像配准技术作为手术计划定制、影像引导放射治疗以及医学影像融合处理等方面的基础和前提，具有重要的临床应用价值。随着深度学习的不断发展，其技术方法逐渐被应用到医学影像配准领域。基于深度学习的医学影像配准常用的方法为卷积神经网络方法，其网络结构可以分为压缩路径和扩展路径两部分，压缩路径主要通过卷积操作逐层学习影像的深层次特征，扩展路径主要通过反卷积操作最终得到变形场，并且将压缩路径的特征送入扩展路径的相应位置帮助重建影像。然而，由于常用的卷积神经网络方法存在一定的信息丢失现象，难以重建出高质量的医学影像。

发明内容

基于此，有必要针对上述技术问题，提供一种医学影像配准方法、装置、计算机设备和存储介质。

一种医学影像配准方法，所述方法包括：

获取待配准图像和参考图像；

根据所述待配准图像、所述参考图像和预设的第一配准模型，获取第一特征信息；

根据所述第一特征信息、预设的卷积神经网络模型和第二配准模型，获取待配准图像的目标配准图像。

在其中一个实施例中，所述根据所述第一特征信息、预设的卷积神经网络模型和第二配准模型，获取待配准图像的目标配准图像，包括：根据所述卷积神经网络模型对所述第一特征信息进行融合，获取第二特征信息；根据所述第一特征信息、所述第二特征信息和所述第二配准模型，获取所述目标配准图像。

在其中一个实施例中，所述根据所述第一特征信息、所述第二特征信息和所述第二配准模型，获取目标配准图像，包括：将所述第一特征信息和所述第二特征信息输入所述第二配准模型，得到变形场；根据所述变形场和预设的变形模式对所述待配准图像进行变形，得到所述目标配准图像。

在其中一个实施例中，所述方法还包括：采用预设的损失函数，根据所述参考图像和所述待配准图像，获取所述损失函数的值；获取所述变形场的平滑度；根据所述损失函数的值、损失函数的权重、所述平滑度和所述平滑度的权重，调整所述第一配准模型、所述卷积神经网络模型和所述第二配准模型的参数。

在其中一个实施例中，所述损失函数包括第一损失函数和第二损失函数；所述第一损失函数用于获取两幅图像在对应位置的灰度值差值，所述第二损失函数用于获取两幅图像的结构差异。

在其中一个实施例中，所述方法还包括：对所述第一损失函数的权重、所述第二损失函数的权重和所述平滑度的权重进行初始化，获取初始化结果；根据所述初始化结果获取整体损失值，根据所述整体损失值对所述第一配准模型、所述卷积神经网络模型和所述第二配准模型进行训练，直至所述第二损失函数的损失值以及所述变形场的平滑度各自达到设定的阈值为止。

在其中一个实施例中，所述方法还包括：采用预设的判别网络模型或映射网络模型，获取所述参考图像与所述目标配准图像之间的差异程度；根据所述差异程度、所述差异程度的权重、所述平滑度和所述平滑度的权重，调整所述第一配准模型、所述卷积神经网络模型和所述第二配准模型的参数。

一种医学影像配准装置，所述装置包括：

第一获取模块，用于获取待配准图像和参考图像；

第二获取模块，用于根据所述待配准图像、所述参考图像和预设的第一配准模型，获取第一特征信息；

第三获取模块，用于根据所述第一特征信息、预设的卷积神经网络模型和第二配准模型，获取待配准图像的目标配准图像。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取待配准图像和参考图像；

根据所述待配准图像、所述参考图像和预设的第一配准模型，获取第一特征信息；

根据所述第一特征信息、预设的卷积神经网络模型和第二配准模型，获取待配准图像的目标配准图像。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取待配准图像和参考图像；

根据所述待配准图像、所述参考图像和预设的第一配准模型，获取第一特征信息；

根据所述第一特征信息、预设的卷积神经网络模型和第二配准模型，获取待配准图像的目标配准图像。

上述医学影像配准方法、装置、计算机设备和存储介质，首先通过获取待配准图像和参考图像，进而根据所述待配准图像、所述参考图像和预设的第一配准模型，获取第一特征信息，然后根据所述第一特征信息、预设的卷积神经网络模型和第二配准模型，获取待配准图像的目标配准图像，由于在卷积神经网络模型前级联第一配准模型，通过第一配准模型学习影像图的原始结构信息以及相邻像素之间的相关性，为卷积神经网络模型提供更多的有效信息，并且将第一配准模型学习到的第一特征信息和卷积神经网络模型输出的特征信息输入第二配准模型，达到多特征融合的目的，进而大大提高了重建的目标配准图像质量。

附图说明

图1为一个实施例中计算机设备的内部结构图；

图2为一个实施例中医学影像配准方法的流程示意图；

图3为图2实施例中S203的实现方式的流程示意图；

图4为一个实施例中对获取的目标配准图像评价方法流程示意图；

图5为一个实施例中一种自适应控制平滑度的权重的方法流程示意图；

图6为另一个实施例中对获取的目标配准图像评价方法流程示意图；

图7为一个实施例中医学影像配准方法的流程示意图；

图8为一个实施例中医学影像配准装置的结构框图；

图9为另一个实施例中医学影像配准装置的结构框图；

图10为另一个实施例中医学影像配准装置的结构框图；

图11为另一个实施例中医学影像配准装置的结构框图；

图12为另一个实施例中医学影像配准装置的结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

由于卷积神经网络模型连续的降采样极大损失了图像的结构信息以及连续性信息，并且图像相邻像素之间的相关性也会得到破坏，从而导致最终重建出的目标配准图像出现模糊以及马赛克效应的现象，为了解决这个问题，有必要提供一种医学影像配准方法、装置、计算机设备和存储介质。

本申请实施例提供的医学影像配准方法可以应用于计算机设备，该计算机设备可以是终端，其内部结构图可以如图1所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种医学影像配准方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。

在一个实施例中，如图2所示，提供了一种医学影像配准方法，该方法的执行主体为图1所示的计算机设备，本申请涉及的是医学影像配准的具体实现过程，包括以下步骤：

S201，获取待配准图像和参考图像。

其中，医学影像配准是指对于一幅医学影像寻求一种或者一系列的空间变换，使它与另外一幅医学影像或者多幅影像上的对应点达到空间上的一致，这种一致是指人体上的同一解剖点在两张匹配影像上有相同的空间位置，即配准的目的是通过某种几何变换使待配准图像与参考图像的坐标达到一致。在配准过程中，通常指定取一幅图像为作为配准的标准，称为参考图像，另一幅图像作为待配准图像。待配准图像和参考图像可以是用同一成像设备获取的单模态图像，也可以来自不同成像设备的多模态图像，待配准图像和参考图像可以是二维图像，也可以是三维图像，本实施例不做具体限定。

本实施例中，计算机设备可以从影像归档和通信系统(Picture Archiving andCommunication Systems，PACS)服务器中获取待配准图像和参考图像，也可以直接从相同或不同的医学影像设备中获取待配准图像和参考图像。

S202，根据所述待配准图像、所述参考图像和预设的第一配准模型，获取第一特征信息。

其中，预设的第一配准模型可以是由两个卷积层组成，包括批标准化层(Batchnormalization，BN)以及LeakyReLU激活函数，通过这两个卷积层可以学习待配准图像和参考图像的原始结构信息以及相邻像素之间的相关性。第一特征信息包含待配准图像的特征信息和参考图像的特征信息，可以用来表示待配准图像或参考图像的连续像素信息或图像像素点的邻域信息。第一特征信息包括待配准图像的特征信息和参考图像的特征信息。

示例性地，计算机设备可以根据获取的待配准图像，将待配准图像输入第一配准模型，利用第一配准模型对配准图像进行特征提取，得到待配准图像的第一特征信息；或者计算机设备可以根据获取的参考图像，将参考图像输入第一配准模型，利用第一配准模型对参考图像进行特征提取，得到参考图像的第一特征信息。

S203，根据所述第一特征信息、预设的卷积神经网络模型和第二配准模型，获取待配准图像的目标配准图像。

其中，卷积神经网络是指一类包含卷积或相关计算且具有深度结构的前馈神经网络，可选地，预设的卷积神经网络模型可以为U-Net网络结构模型。第二配准模型也可以是两个卷积层，但不包括批标准化层(Batch normalization，BN)以及LeakyReLU激活函数。

示例性地，利用预设的卷积神经网络模型，对待配准图像和参考图像的第一特征信息进行融合，得到新的特征信息；进而将配准图像和参考图像的第一特征信息、新的特征信息作为第二配准模型的输入，获取待配准图像的目标配准图像。

上述实施例中，首先获取待配准图像和参考图像，进而根据所述待配准图像、所述参考图像和预设的第一配准模型，获取第一特征信息，然后根据所述第一特征信息、预设的卷积神经网络模型和第二配准模型，获取待配准图像的目标配准图像，由于在卷积神经网络模型前级联第一配准模型，通过第一配准模型学习影像图的原始结构信息以及相邻像素之间的相关性，为卷积神经网络模型提供更多的有效信息，并且将第一配准模型学习到的第一特征信息和卷积神经网络模型输出的特征信息输入第二配准模型，达到多特征融合的目的，进而大大提高了重建的目标配准图像质量。

上述实施例中，将所述配准图像或所述参考图像作为所述第一配准模型的输入图像，进而利用所述第一配准模型对所述输入图像进行特征提取，得到所述输入图像的第一特征信息，进而可以学习得到影像像素点的邻域信息，为后续得到高质量目标配准图像提供了大量的有效信息。

图3提供了根据所述第一特征信息、预设的卷积神经网络模型和第二配准模型，获取待配准图像的目标配准图像的具体实现方式的流程图，如图3所示，S203“根据所述第一特征信息、预设的卷积神经网络模型和第二配准模型，获取待配准图像的目标配准图像”，包括：

S301，根据所述卷积神经网络模型对所述第一特征信息进行融合，获取第二特征信息。

其中，第一特征信息包含待配准图像的特征信息和所述参考图像的特征信息，可以用来表示待配准图像或参考图像的连续像素信息或图像像素点的邻域信息。第二特征信息用于表示深层次的抽象的图像特征。具体地，可以将第一特征信息作为输入，通过卷积神经网络模型训练获取第二特征信息。

S302，根据所述第一特征信息、所述第二特征信息和所述第二配准模型，获取所述目标配准图像。

其中，第二配准模型可以是两个卷积层，但不包括批标准化层(Batchnormalization，BN)以及LeakyReLU激活函数。具体地，将第一特征信息、第二特征信息作为第二配准模型的输入，通过第二配准模型训练得到目标配准图像。

可选地，根据所述第一特征信息、所述第二特征信息和所述第二配准模型，获取所述目标配准图像，包括：将所述第一特征信息和所述第二特征信息输入所述第二配准模型，得到变形场；根据所述变形场和预设的变形模式对所述待配准图像进行变形，得到所述目标配准图像。

其中，变形场可以用于表示待配准图像和参考图像像素位置的变化信息。预设的变形模式是指预设的变形算法，例如，可以是三线性插值算法或最近邻插值算法等。

上述实施例中，由于根据卷积神经网络模型对第一特征信息进行融合，获取第二特征信息，根据第一特征信息、第二特征信息和第二配准模型，获取所述目标配准图像，由于将第一配准模型学习到的第一特征信息和卷积神经网络模型输出的第二特征信息输入第二配准模型，将卷积神经网络模型得到的深层次的抽象的特征与第一配准模型抽取的原始影像的连续性信息相融合，进而大大提高了重建的目标配准图像质量。

在实际医学影像配准过程中，需要对得到的目标配准图像进行评价，以使目标配准图像质量达要求。基于此，在上述实施例的基础上，如图4所示，所述医学影像配准方法还包括：

S401，采用预设的损失函数，根据所述参考图像和所述待配准图像，获取所述损失函数的值。

其中，损失函数用于表示目标配准图像与参考图像的相似度差异，可以用于衡量配准的结果。具体地，损失函数的值越小，表明配准质量越高；反之，损失函数的值越大，表明配准质量越差。

具体地，根据参考图像和待配准图像，利用第一配准模型、卷积神经网络模型、第二配准模型获取待配准图像的目标配准图像，进而将参考图像的像素点的像素值和目标配准图像对应位置的像素点的像素值输入损失函数中，获取损失函数的值。

可选地，所述损失函数包括第一损失函数和第二损失函数；所述第一损失函数用于获取两幅图像在对应位置的灰度值差值，所述第二损失函数用于获取两幅图像的结构差异。

其中，第一损失函数可以是均方误差(MSELoss)损失函数，MSELoss损失函数是指对应位置的像素点的像素值之差的平方和，测重于反映图像像素值的差异；第二损失函数可以是CCLoss函数，侧重于反映图像结构性的差异。本实施例中，损失函数可以是第一损失函数和第二损失函数的加权和。

S402，获取所述变形场的平滑度。

其中，平滑度可以作为变形场的评价指标，可以采用预设梯度计算方法计算变形场的一阶梯度，进而计算变形场一阶梯度的模值平方和，将该模值平方和确定为变形场的平滑度。

S403，根据所述损失函数的值、损失函数的权重、所述平滑度和所述平滑度的权重，调整所述第一配准模型、所述卷积神经网络模型和所述第二配准模型的参数。

其中，所述第一配准模型、所述卷积神经网络模型和所述第二配准模型的参数可以是各模型卷积层的卷积核的参数以及每一层的偏置，具体地，第一配准模型、卷积神经网络模型和第二配准模型的参数调整是在反向传播过程中统一更新的。

示例性地，计算机设备根据损失函数的值、损失函数的权重、所述平滑度和所述平滑度的权重可以得到一个损失值，在训练的过程中会实时的观察损失值的变化，进而根据损失值的变化调整第一配准模型、卷积神经网络模型和第二配准模型的参数，直至随着训练的进行，损失值收敛到一个固定值附近，不再进行第一配准模型、卷积神经网络模型和第二配准模型的参数调整，得到最终的目标配准图像。

对于医学图像配准任务，由于单一的损失函数无法较好的衡量配准的结果，上述实施例中，由于采用预设的损失函数，根据参考图像和待配准图像，获取损失函数的值，然后获取变形场的平滑度，进而根据损失函数的值、损失函数的权重、平滑度和平滑度的权重，调整第一配准模型、卷积神经网络模型和第二配准模型的参数，由于通过利用多损失函数级联的方式，使得两者优势互补，相互作用，可以从更全面的多角度量化网络模型的配准结果，根据实际需要和应用调整相关损失函数，进而可以一定程度上提高模型的配准质量。

医学图像配准问题不仅仅需要高的配准质量，对变形场的平滑性同样有较高的要求，这时就需要保证配准之后的影像像素之间的对应关系不能发生错乱，即目标配准图像与待配准图像像素之间的对应关系保持一致，所以变形场的像素模值不能太大，但是又不能太小，因为如果变形场的像素模值太大，则可能导致配准像素位置发生错乱；如果变形场的像素模值太小，就意味着待配准像素位置基本上没有发生变化，无法得到较好的配准结果。

为了解决上述问题，本实施例提供了一种自适应的动态控制平滑度的权重的方法，如图5所示，所述方法还包括：

S501，对所述第一损失函数的权重、所述第二损失函数的权重和所述平滑度的权重进行初始化，获取初始化结果。

具体地，可以将第一损失函数的当前值除以第二损失函数的当前值，得到第二损失函数的权重；将第一损失函数的当前值除以变形场的平滑度，得到平滑度的权重，进而获取初始化结果。

示例性地，可以将MSELoss损失函数的的权重设置为1，为了使得CCLoss损失函数与平滑度各自乘以一个权重，可以与MSELoss损失函数的值相差不大。在训练的过程中，可以将MSELoss损失函数的当前值除以CCLoss损失函数的当前值，以该值作为CCLoss损失函数的权重；MSELoss损失函数的当前值除以变形场的平滑度的值，以该值作为变形场的平滑度的权重。

S502，根据所述初始化结果获取整体损失值，根据所述整体损失值对所述第一配准模型、所述卷积神经网络模型和所述第二配准模型进行训练，直至所述第二损失函数的损失值以及所述变形场的平滑度各自达到设定的阈值为止。

具体地，可以根据实际需求或大量实验设置第一阈值和第二阈值，利用初始化结果得到的第二损失函数的权重和平滑度的权重，计算整体损失值，根据整体损失值更新网络相应参数，对更新了相应参数的网络模型进行训练，直至第二损失函数的损失值达到第一阈值及变形场的平滑度达到第二阈值为止。

示例性地，根据第一损失函数、第一损失函数权重、第二损失函数、第二损失函数权重、平滑度、平滑度的权重计算得到整体损失值。示例性地，Loss表示整体损失值，MSEloss表示第一损失函数，CCLoss表示第二损失函数，FieldSmooth表示平滑度，w表示平滑度的权重，则可以有以下表达式：

Loss＝MSELoss+f1(w,MSELoss,CCLoss)*CCLoss

+f2(w,MSELoss,FieldSmooth)*FieldSmooth

其中，这里重新调整第二损失函数的权重和平滑度的权重，是因为在网络训练的初始阶段，各损失函数下降特别快。此外，在训练的过程中，判断变形场的平滑度是否小于预设固定值，若变形场的平滑度小于预设固定值，将平滑度的权重设为零，若变形场的平滑度不小于所述预设固定值，则利用S501初始化方法重新计算平滑度的权重。其中，预设的固定值可以根据实际需求或大量实验所得。由于变形场的平滑度不能太小，当变形场的平滑度小于预设的固定值时，将平滑度的权重设为零，第二损失函数的权重不再更新。

上述实施例中，利用自适应权重调节的方法动态调整变形场平滑度的权重，避免了在训练过程中，会出现训练的某一个阶段平滑度或者损失函数不起作用的现象，进而使得损失函数与变形场平滑度的约束项相互平衡，更加敏感的根据损失项的值以及平滑项的值控制权重的大小。

对于多模态的图像配准，传统的损失函数无法较好的描述影响的相似性，本实施例引入了新的评判方法，在上述实施例的基础上，如图6所示，所述方法还包括：

S601，采用预设的判别网络模型或映射网络模型，获取所述参考图像与所述目标配准图像之间的差异程度。

示例性地，利用预设的判别网络模型或映射网络模型代替损失函数，判别网络模型和映射网络模型均可以用于获取目标配准图像和参考图像相似度差异。具体地，差异程度越小，表明配准质量越高，反之，差异程度越大，表明配准质量越差。

可选地，采用预设的判别网络模型、映射网络模型、预设的损失函数以及他们的组合均可以用来在表示目标配准图像和参考图像相似度差异时使用。

S602，根据所述差异程度、所述差异程度的权重、所述平滑度和所述平滑度的权重，调整所述第一配准模型、所述卷积神经网络模型和所述第二配准模型的参数。

其中，所述第一配准模型、所述卷积神经网络模型和所述第二配准模型的参数可以是各模型卷积层的卷积核的参数以及每一层的偏置，具体地，第一配准模型、卷积神经网络模型和第二配准模型的参数调整是在反向传播过程中统一更新的。

示例性地，计算机设备根据差异程度的值、差异程度的权重、所述平滑度和所述平滑度的权重可以得到一个损失值，在训练的过程中会实时的观察损失值的变化，进而根据调整第一配准模型、卷积神经网络模型和第二配准模型的参数，直至随着训练的进行，损失值收敛到一个固定值附近，不再进行第一配准模型、卷积神经网络模型和第二配准模型的参数调整，得到最终的目标配准图像。

上述实施例中，通过引入判别网络模型或映射网络模型用来学习不同模态影像之间的相似性，从而避免了传统损失函数不能很好描述影像的相似性的缺点。

在其中一个实施例中，如图7所示，提供了一种医学影像配准的流程示意图。获取待配准图像和参考图像；根据待配准图像，参考图像，利用预设的第一配准模型，获取第一特征信息，第一特征信息包括待配准图像的特征信息和参考图像的特征信息；根据第一特征信息和卷积神经网络模型，获取第二特征信息；根据第一特征信息、第二特征信息和第二配准模型，得到变形场，将得到的变形场作用于待配准图像，获取待配准图像的目标配准图像，进而根据目标配准图像和参考图像确定损失函数的值，根据变形场得到平滑度，利用自适应权重，获取平滑度的权重和损失函数的权重，根据损失函数的值、损失函数的权重、平滑度、平滑度的权重获取整个损失值，用于评价配准结果，如果没有达到最优，则调整第一配准模型、卷积神经网络模型、第二配准模型的参数，重新输出变形场，直到达到配准结果最优。

应该理解的是，虽然图2-7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-7中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图8所示，提供了一种医学影像配准装置，包括第一获取模块11，第二获取模块12，第三获取模块13，其中：

第一获取模块11，用于获取待配准图像和参考图像；

第二获取模块12，用于根据所述待配准图像、所述参考图像和预设的第一配准模型，获取第一特征信息；

第三获取模块13，用于根据所述第一特征信息、预设的卷积神经网络模型和第二配准模型，获取待配准图像的目标配准图像。

在其中一个实施例中，如图9所示，在图8所示的基础上，第三获取模块13还包括：

第一获取单元130，用于根据所述卷积神经网络模型对所述第一特征信息进行融合，获取第二特征信息。

第二获取单元131，根据所述第一特征信息、所述第二特征信息和所述第二配准模型，获取所述目标配准图像。

在其中一个实施例中，第二获取单元131具体用于：将所述第一特征信息和所述第二特征信息输入所述第二配准模型，得到变形场；根据所述变形场和预设的变形模式对所述待配准图像进行变形，得到所述目标配准图像。

在其中一个实施例中，如图10所示，在图9所示的基础上，所述装置还包括第四获取模块14，第五获取模块15，第一调整模块16，其中：

第四获取模块14，采用预设的损失函数，根据所述参考图像和所述待配准图像，获取所述损失函数的值；

第五获取模块15，获取所述变形场的平滑度；

第一调整模块16，根据所述损失函数的值、损失函数的权重、所述平滑度和所述平滑度的权重，调整所述第一配准模型、所述卷积神经网络模型和所述第二配准模型的参数。

在其中一个实施例中，第四获取模块具体用于所述损失函数包括第一损失函数和第二损失函数；所述第一损失函数用于获取两幅图像在对应位置的灰度值差值，所述第二损失函数用于获取两幅图像的结构差异。

在其中一个实施例中，如图11所示，在图10所示的基础上，所述装置还包括第一功能模块17和第二功能模块18，其中：

第一功能模块17，用于对所述第一损失函数的权重、所述第二损失函数的权重和所述平滑度的权重进行初始化，获取初始化结果；

第二功能模块18，用于根据所述初始化结果获取整体损失值，根据所述整体损失值对所述第一配准模型、所述卷积神经网络模型和所述第二配准模型进行训练，直至所述第二损失函数的损失值以及所述变形场的平滑度各自达到设定的阈值为止。

在其中一个实施例中，如图12所示，在图8所示的基础上，所述装置还包括第六获取模块19，第二调整模块20，其中：

第六获取模块19，用于采用预设的判别网络模型或映射网络模型，获取所述参考图像与所述目标配准图像之间的差异程度；

第二调整模块20，用于根据所述差异程度、所述差异程度的权重、所述平滑度和所述平滑度的权重，调整所述第一配准模型、所述卷积神经网络模型和所述第二配准模型的参数。

关于医学影像配准装置的具体限定可以参见上文中对于医学影像配准方法的限定，在此不再赘述。上述医学影像配准中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

获取待配准图像和参考图像；

根据所述待配准图像、所述参考图像和预设的第一配准模型，获取第一特征信息；

根据所述第一特征信息、预设的卷积神经网络模型和第二配准模型，获取待配准图像的目标配准图像。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据所述卷积神经网络模型对所述第一特征信息进行融合，获取第二特征信息；根据所述第一特征信息、所述第二特征信息和所述第二配准模型，获取所述目标配准图像。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：将所述第一特征信息和所述第二特征信息输入所述第二配准模型，得到变形场；根据所述变形场和预设的变形模式对所述待配准图像进行变形，得到所述目标配准图像。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：采用预设的损失函数，根据所述参考图像和所述待配准图像，获取所述损失函数的值；获取所述变形场的平滑度；根据所述损失函数的值、损失函数的权重、所述平滑度和所述平滑度的权重，调整所述第一配准模型、所述卷积神经网络模型和所述第二配准模型的参数。

在一个实施例中，处理器执行计算机程序时还实现：所述损失函数包括第一损失函数和第二损失函数；所述第一损失函数用于获取两幅图像在对应位置的灰度值差值，所述第二损失函数用于获取两幅图像的结构差异。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：对所述第一损失函数的权重、所述第二损失函数的权重和所述平滑度的权重进行初始化，获取初始化结果；根据所述初始化结果获取整体损失值，根据所述整体损失值对所述第一配准模型、所述卷积神经网络模型和所述第二配准模型进行训练，直至所述第二损失函数的损失值以及所述变形场的平滑度各自达到设定的阈值为止。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：采用预设的判别网络模型或映射网络模型，获取所述参考图像与所述目标配准图像之间的差异程度；根据所述差异程度、所述差异程度的权重、所述平滑度和所述平滑度的权重，调整所述第一配准模型、所述卷积神经网络模型和所述第二配准模型的参数。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取待配准图像和参考图像；

根据所述待配准图像、所述参考图像和预设的第一配准模型，获取第一特征信息；

根据所述第一特征信息、预设的卷积神经网络模型和第二配准模型，获取待配准图像的目标配准图像。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据所述卷积神经网络模型对所述第一特征信息进行融合，获取第二特征信息；根据所述第一特征信息、所述第二特征信息和所述第二配准模型，获取所述目标配准图像。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将所述第一特征信息和所述第二特征信息输入所述第二配准模型，得到变形场；根据所述变形场和预设的变形模式对所述待配准图像进行变形，得到所述目标配准图像。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：采用预设的损失函数，根据所述参考图像和所述待配准图像，获取所述损失函数的值；获取所述变形场的平滑度；根据所述损失函数的值、损失函数的权重、所述平滑度和所述平滑度的权重，调整所述第一配准模型、所述卷积神经网络模型和所述第二配准模型的参数。

在一个实施例中，计算机程序被处理器执行时还实现：所述损失函数包括第一损失函数和第二损失函数；所述第一损失函数用于获取两幅图像在对应位置的灰度值差值，所述第二损失函数用于获取两幅图像的结构差异。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对所述第一损失函数的权重、所述第二损失函数的权重和所述平滑度的权重进行初始化，获取初始化结果；根据所述初始化结果获取整体损失值，根据所述整体损失值对所述第一配准模型、所述卷积神经网络模型和所述第二配准模型进行训练，直至所述第二损失函数的损失值以及所述变形场的平滑度各自达到设定的阈值为止。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：采用预设的判别网络模型或映射网络模型，获取所述参考图像与所述目标配准图像之间的差异程度；根据所述差异程度、所述差异程度的权重、所述平滑度和所述平滑度的权重，调整所述第一配准模型、所述卷积神经网络模型和所述第二配准模型的参数。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种医学影像配准方法，其特征在于，所述方法包括：

获取待配准图像和参考图像；

根据所述待配准图像、所述参考图像和预设的第一配准模型，获取第一特征信息；所述第一配准模型用于对所述待配准图像和所述参考图像进行特征提取；

根据所述第一特征信息、预设的卷积神经网络模型和第二配准模型，获取待配准图像的目标配准图像；

其中，所述根据所述第一特征信息、预设的卷积神经网络模型和第二配准模型，获取待配准图像的目标配准图像，包括：

利用所述卷积神经网络模型对所述第一特征信息进行融合，获取第二特征信息；所述第二特征信息用于表示深层次的抽象的图像特征；

将所述第一特征信息和所述第二特征信息输入所述第二配准模型，得到变形场；

根据所述变形场和预设的变形模式对所述待配准图像进行变形，得到所述目标配准图像。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

采用预设的损失函数，根据所述参考图像和所述待配准图像，获取所述损失函数的值；

获取所述变形场的平滑度；

根据所述损失函数的值、损失函数的权重、所述平滑度和所述平滑度的权重，调整所述第一配准模型、所述卷积神经网络模型和所述第二配准模型的参数。

3.根据权利要求2所述的方法，其特征在于，所述损失函数包括第一损失函数和第二损失函数；所述第一损失函数用于获取两幅图像在对应位置的灰度值差值，所述第二损失函数用于获取两幅图像的结构差异。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

对所述第一损失函数的权重、所述第二损失函数的权重和所述平滑度的权重进行初始化，获取初始化结果；

根据所述初始化结果获取整体损失值，根据所述整体损失值对所述第一配准模型、所述卷积神经网络模型和所述第二配准模型进行训练，直至所述第二损失函数的损失值以及所述变形场的平滑度各自达到设定的阈值为止。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

采用预设的判别网络模型或映射网络模型，获取所述参考图像与所述目标配准图像之间的差异程度；

根据所述差异程度、所述差异程度的权重、平滑度和所述平滑度的权重，调整所述第一配准模型、所述卷积神经网络模型和所述第二配准模型的参数。

6.一种医学影像配准装置，其特征在于，所述装置包括：

第一获取模块，用于获取待配准图像和参考图像；

第二获取模块，用于根据所述待配准图像、所述参考图像和预设的第一配准模型，获取第一特征信息；所述第一配准模型用于对所述待配准图像和所述参考图像进行特征提取；

第三获取模块，用于根据所述第一特征信息、预设的卷积神经网络模型和第二配准模型，获取待配准图像的目标配准图像；

其中，所述第三获取模块包括：

第一获取单元，用于利用所述卷积神经网络模型对所述第一特征信息进行融合，获取第二特征信息；所述第二特征信息用于表示深层次的抽象的图像特征；

第二获取单元，具体用于将所述第一特征信息和所述第二特征信息输入所述第二配准模型，得到变形场；根据所述变形场和预设的变形模式对所述待配准图像进行变形，得到所述目标配准图像。

7.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。

Images