CN115546095A - 一种图像的配准方法及配准装置 - Google Patents

Abstract

本说明书公开了一种图像的配准方法及配准装置，该图像的配准方法包括：获取病患在身体组织处的第一类型图像和第二类型图像，所述第一类型图像和所述第二类型图像为不同类型的图像，获取第一类型图像所基于的设备，与获取第二类型图像所基于的设备，为不同类型的设备；将所述第一类型图像输入预先训练好的图像转换模型中，确定所述第一类型图像对应的模拟第二类型图像；将所述第二类型图像以及所述模拟第二类型图像输入预先训练好的图像配准模型中，确定所述第一类型图像中包含的像素与所述第二类型图像中包含的像素之间的全局转换参数；通过所述全局转换参数，对所述第一类型图像与所述第二类型图像进行配准。

Description

一种图像的配准方法及配准装置

技术领域

本说明书涉及医学图像处理技术领域，尤其涉及一种图像的配准方法及配准装置。

背景技术

医学图像的配准技术作为医学图像处理的一个重要分支,在对病患的诊断以及治疗等方面得到了广泛的应用，例如，在进行手术前，由于患病部位的磁共振(MagneticResonance，MR)图像与电子计算机断层扫描(Computed Tomography,CT)图像针对身体内不同组织的显示效果有所差异，通常需要对MR图像与CT图像进行配准，配准后融合的图像既可为以医生提供解剖学信息，又可以为医生提供同一位置下的功能性成像结果，在医生的临床中的诊断、操作中发挥着重要作用。

然而，当前通常采用的是基于特征或边缘点检测等方法进行配准，这些方法的配准精度较差，导致无法将MR图像与CT图像的每一个对应位置都精确地融合在一起，而且配准的时间较长，难以应用在实时性、准确性需求较高的手术领域。此外，一些方法需要额外的工具进行辅助配准，这些辅助工具的放置位置很容易受到手术过程中各种环境因素的影响，难以保证配准精度。

因此，如何在增加图像配准效率的同时，提高图像的配准精度，是一个亟待解决的问题。

发明内容

本说明书提供一种图像的配准方法及配准装置，以部分的解决现有技术存在的上述问题。

本说明书采用下述技术方案：

本说明书提供了一种图像的配准方法，包括：

获取病患在身体组织处的第一类型图像和第二类型图像，所述第一类型图像和所述第二类型图像为不同类型的图像，获取第一类型图像所基于的设备，与获取第二类型图像所基于的设备，为不同类型的设备；

将所述第一类型图像输入预先训练好的图像转换模型中，确定所述第一类型图像对应的模拟第二类型图像；

将所述第二类型图像以及所述模拟第二类型图像输入预先训练好的图像配准模型中，确定所述第一类型图像中包含的像素与所述第二类型图像中包含的像素之间的全局转换参数；

通过所述全局转换参数，对所述第一类型图像与所述第二类型图像进行配准。

可选地，通过所述全局转换参数，对所述第一类型图像与所述第二类型图像进行配准，具体包括：

通过所述全局转换参数，调整所述第一类型图像，并将调整后的所述第一类型图像与所述第二类型图像进行配准。

可选地，所述全局转换参数包括：所述第一类型图像中各像素对应的灰度调整量，以及所述第一类型图像中各像素相对于所述第二类型图像中各像素的平移量中的至少一种；

通过所述全局转换参数，调整所述第一类型图像，并将调整后的所述第一类型图像与所述第二类型图像进行配准，具体包括：

通过所述全局转换参数，调整所述第一类型图像中各像素的位置以及灰度，并将调整后的所述第一类型图像与所述第二类型图像进行配准。

可选地，将所述第二类型图像以及所述模拟第二类型图像输入预先训练好的图像配准模型中，确定所述第一类型图像中包含的像素与所述第二类型图像中包含的像素之间的全局转换参数，具体包括：

将所述第二类型图像以及所述模拟第二类型图像输入预先训练好的图像配准模型中，以根据所述第二类型图像中包含的各特征点与所述模拟第二类型图像中包含的各特征点之间的差异，确定所述第一类型图像中包含的各特征点与所述第二类型图像中包含的各特征点之间的特征点转换参数，并将所述特征点转换参数作为全局转换参数。

可选地，训练所述图像转换模型，具体包括：

获取第一样本图像，其中，所述第一样本图像包括病患在身体组织处的第一类型历史图像与所述第一类型历史图像对应的实际第二类型历史图像；

将所述第一类型历史图像输入所述图像转换模型中，获得所述第一类型历史图像对应的模拟第二类型历史图像；

以最小化所述模拟第二类型历史图像与所述实际第二类型历史图像之间的偏差为优化目标，对所述图像转换模型进行训练。

可选地，以最小化所述模拟第二类型历史图像与所述实际第二类型历史图像之间的偏差为优化目标，对所述图像转换模型进行训练，具体包括：

将所述模拟第二类型历史图像中各像素与所述实际第二类型历史图像中各像素之间的偏差，作为所述图像配准模型的像素偏差，以及确定对所述模拟第二类型历史图像进行身体组织识别的识别结果；

根据所述图像转换模型的像素偏差，以及所述识别结果与所述实际第二类型历史图像对应的实际识别结果之间的偏差，确定所述图像配准模型的综合偏差；

以最小化所述图像转换模型的综合偏差为优化目标，对所述图像转换模型进行训练。

可选地，训练所述图像配准模型，具体包括：

获取第二样本图像，其中，所述第二样本图像包括病患在身体组织处的第一类型历史样本图像与所述第一类型历史样本图像对应的实际第二类型历史样本图像；

将所述第一类型历史样本图像输入预先训练好的图像转换模型中，确定所述第一类型历史样本图像对应的模拟第二类型历史样本图像；

将所述实际第二类型历史样本图像以及所述模拟第二类型历史样本图像输入所述图像配准模型中，确定所述第一类型历史样本图像中包含的像素与所述实际第二类型历史样本图像中包含的像素之间的待优化全局转换参数；

通过所述待优化全局转换参数，对所述第一类型历史样本图像与所述实际第二类型历史样本图像进行配准；

以最小化配准后的第一类型历史样本图像对应的模拟第二类型历史样本图像与所述实际第二类型历史样本图像之间的偏差为优化目标，对所述图像配准模型进行训练。

可选地，以最小化配准后的第一类型历史样本图像对应的模拟第二类型历史样本图像与所述实际第二类型历史样本图像之间的偏差为优化目标，对所述图像配准模型进行训练，具体包括：

将配准后的第一类型历史样本图像对应的模拟第二类型历史样本图像中各像素与所述实际第二类型历史样本图像中各像素之间的偏差，作为所述图像配准模型的像素偏差，以及确定对所述模拟第二类型历史样本图像进行身体组织识别的识别结果，作为第二识别结果；

根据所述图像配准模型的像素偏差，以及，所述第二识别结果与所述实际第二类型历史样本图像对应的实际识别结果之间的偏差，确定所述图像配准模型的综合偏差；

以最小化所述图像配准模型的综合偏差为优化目标，对所述图像配准模型进行训练。

可选地，所述方法还包括：

将配准后的第二类型图像与配准后的第一类型图像进行融合，得到包含有所述第二类型图像的特征与所述第一类型图像的特征的融合图像，并根据所述融合图像，执行医疗任务。

可选地，所述第一类型图像包括：磁共振MR图像，所述第二类图像包括：电子计算机断层扫描CT图像。

本说明书提供了一种图像配准装置，包括：

获取模块，获取病患在身体组织处的第一类型图像和第二类型图像，所述第一类型图像和所述第二类型图像为不同类型的图像，获取第一类型图像所基于的设备，与获取第二类型图像所基于的设备，为不同类型的设备；

转换模块，将所述第一类型图像输入预先训练好的图像转换模型中，确定所述第一类型图像对应的模拟第二类型图像；

确定模块，将所述第二类型图像以及所述模拟第二类型图像输入预先训练好的图像配准模型中，确定针对所述第一类型图像或所述第二类型图像中所有像素的全局转换参数；

配准模块，通过所述全局转换参数，对所述第一类型图像与所述第二类型图像进行配准。

本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述图像的配准方法。

本说明书采用的上述至少一个技术方案能够达到以下有益效果：

在本说明书提供的图像的配准方法中，通过图像转换模型对第一类型图像进行转换，以获得第一类型图像对应的模拟第二类型图像，而后将该模拟第二类型图像与实际第二类型图像输入图像配准模型中，得到第一类型图像与第二类型图像之间的全局转换参数，进而通过该全局转换参数对第一类型图像与第二类型图像进行配准。

从上述方法可以看出，本说明书会先将第一类型图像转换为相应的模拟第二类型图像，通过比较模拟第二类型图像与实际第二类型图像中各像素之间的偏差，来获得模拟第二类型图像与实际第二类型图像中各像素之间进行变换的全局转换参数，进而确定第一类型图像与第二类型图像中各像素之间的转换参数，并以此来进行图像配准，提高了图像的配准精度，从而为病患诊断以及手术操作等医疗任务提供精确的图像参照。

附图说明

此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：

图1为本说明书中提供的一种图像的配准方法流程示意图；

图2为本说明书提供的一种图像转换模型的训练方法示意图；

图3为本说明书提供的一种图像配准装置的示意图；

图4为本说明书提供的一种对应于图1的电子设备示意图。

具体实施方式

为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。

以下结合附图，详细说明本说明书各实施例提供的技术方案。

图1为本说明书中提供的一种图像的配准方法的流程示意图，包括以下步骤：

S101：获取病患在身体组织处的第一类型图像和第二类型图像，所述第一类型图像和所述第二类型图像为不同类型的图像，获取第一类型图像所基于的设备，与获取第二类型图像所基于的设备，为不同类型的设备。

在手术操作人员对病患进行诸如手术前的诊断以及手术操作等医疗任务中，通常需要通过电子计算机断层扫描(Computed Tomography,CT)仪来获取身体组织的CT图像，或者通过核磁共振成像仪来获取身体组织的磁共振(Magnetic Resonance，MR)图像，以便获取身体组织的信息。

由于患者身体内不同组织的结构及成分不同，而MR图像以及CT图像的成像原理也有所不同，这就导致了MR图像与CT图像对身体内不同组织的显示效果具体明显差异，例如，CT图像对人体内有密度差的组织(如肝脏、胰腺、肾上腺等)的显示效果较为明显，而MR图像对于骨关节、血管、直肠、肌肉、膀胱等软组织以及大脑神经系统的显示效果要明显优于CT图像。在面对一些较为复杂的诊断或者手术过程中，单一的CT图像或者MR图像无法提供足够的患病信息，这就需要结合CT图像与MR图像对身体组织的显示特征，以此来获得身体组织处更加充分的信息，进而保证医疗任务准确、安全地进行。

然而，由于一些医疗任务对图像信息的精度要求较高，这就需要对CT图像和MR图像进行严格的配准，使CT图像与MR图像中相同的部位严格的对准，这样才能将CT图像或MR图像进行精准的融合，从而为操作人员提供准确的参照信息，以保证手术精度。

基于此，本说明书提供了一种图像的配准方法，其中，服务器可以通过手术环境中提供的电子计算机断层扫描仪来获取身体组织的CT图像以及通过核磁共振成像仪来获取身体组织的MR图像。

在本说明书中，身体组织处的第一类型图像可以是身体组织处的MR图像，则第二类型图像为身体组织处的CT图像，当然，身体组织处的第一类型图像也可以是身体组织处的CT图像，相应的，第二类型图像可以为身体组织处的MR图像，为了便于描述，下面仅以身体组织处的MR图像作为第一类型图像，身体组织处的CT图像作为第二类型图像为例，对本说明书提供的图像的配准方法进行说明。

此外，本说明书用于实现图像的配准方法的执行主体，可以指服务器等设置于医疗环境中的指定设备，为了便于描述，下面仅以服务器是执行主体为例，对本说明书提供的一种图像的配准方法进行说明。

S102：将所述第一类型图像输入预先训练好的图像转换模型中，确定所述第一类型图像对应的模拟第二类型图像。

当身体组织处的MR图像作为第一类型图像，身体组织处的CT图像作为第二类型图像时，服务器获取到病患在身体组织处的MR图像以及CT图像后，服务器可以将上述MR图像以及CT图像输入预先训练好的图像转换模型中，通过该图像转换模型的卷积层、池化层、归一化层等特征处理层进行特征处理，对MR图像中各像素的灰度进行相应的调整，将其转换为模拟CT图像。

在服务器使用上述图像转换模型前，需要先对该图像转换模型进行训练，在本说明书中，用于各个模型训练的执行主体，可以是指服务器或诸如台式电脑、笔记本电脑等指定设备，为了便于表述，下面仅以服务器作为模型训练的执行主体为例，对各个模型的训练进行说明。

具体的，服务其可以获取不同病患在身体组织处的第一样本图像，该样本图像中包含有第一类型历史图像与第二类型历史图像，当身体组织处的MR图像作为第一类型图像，身体组织处的CT图像作为第二类型图像时，该第一样本图像中的第一类型历史图像则为第一历史MR图像，第二类型历史图像为第一历史实际CT图像。

需要说明的是，这里的第一历史MR图像与第一历史实际CT图像是事先配准好的，而对第一历史MR图像与第一历史实际CT图像的配准方式可以有多种，例如，人工对第一历史MR图像或第一历史CT图像进行调整，以对其进行人工配准，再例如，通过诸如示踪器等定位装置对第一历史MR图像与第一历史实际CT图像进行配准。为了增强图像转换模型的鲁棒性以及泛化能力，上述样本图像应尽量包括人体的不同身体组织对应的图像。

进一步地，服务器可以将第一历史MR图像输入该图像转换模型中，获得第一历史MR图像对应的第一历史模拟CT图像，而后服务器可以根据第一历史模拟CT图像中各像素与第一历史实际CT图像中各像素之间诸如像素的灰度等参数的偏差，确定该图像转换模型的像素偏差，并以此确定该图像转换模型对应的灰度损失函数的损失值。例如，服务器可以通过第一历史模拟CT图像中各像素与第一历史实际CT图像中各像素之间的最小绝对值误差，计算出的灰度损失函数的损失值，则该图像转换模型对应的灰度损失函数公式可以为：

其中，

为该图像转换模型的像素偏差，

为第一历史模拟CT图像，y为第一历史实际CT图像，i为上述两个图像中相对应的像素，则该图像转换模型对应的灰度损失函数的损失值L₁即可以表示第一历史模拟CT图像中的各个像素与第一历史实际CT图像中对应像素之间的偏差。

此外，服务器也可以采用第一历史模拟CT图像中各像素与第一历史实际CT图像中各像素之间的最小平方误差计算出的灰度损失函数的损失值，作为该图像转换模型的像素偏差，则该图像转换模型的像素偏差计算公式还可以为：

其中，

为该图像转换模型的像素偏差。

当然，本说明书也可以采用其他损失函数损失值的计算方式作为该图像转换模型的像素偏差，本说明书对此不做具体限定。

在服务器确定出该图像转换模型的像素偏差后，可以根据通过该图像转换模型对第一历史模拟CT图像进行身体组织识别的第一识别结果，以及第一历史实际CT图像对应的实际识别结果，确定上述识别结果之间的偏差，并根据上述识别结果之间的偏差以及该图像转换模型的像素偏差，确定该图像转换模型的综合偏差。

其中，该图像转换模型对第一历史模拟CT图像以及第一历史实际CT图像进行身体组织识别的识别结果可以是通过图像转换模型中的分割网络对第一历史模拟CT图像以及第一历史实际CT图像进行分割后的分割图(如图像中经过分割网络识别出来的骨骼、血管等人体组织所对应的图像区域)，而上述识别结果之间的偏差则可以为第一历史模拟CT图像中识别出的身体组织所对应的图像区域，与第一历史实际CT图像中该身体组织所对应的图像区域之间的偏差。

该图像转换模型的综合偏差计算公式可以为：

Lseg＝L₁(Iseg1,Iseg2)

或

Lseg＝L₂(Iseg1,Iseg2)

其中，Iseg1为图像转换模型对第一历史模拟CT图像进行身体组织识别的识别结果，Iseg2为图像转换模型对第一历史实际CT图像进行身体组织识别的识别结果，L₁为通过计算第一历史模拟CT图像中各像素与第一历史实际CT图像中各像素之间的最小绝对值误差的方式确定出的图像转换模型对应灰度损失函数的损失值，L2为通过计算第一历史模拟CT图像中各像素与第一历史实际CT图像中各像素之间的最小平方误差的方式确定出的图像转换模型对应灰度损失函数的损失值，Lseg为该图像转换模型的综合偏差。

服务器可以以最小化该图像转换模型的综合偏差为优化目标，对该图像转换模型进行训练，直到该图像转换模型满足训练目标，确定该图像转换模型训练完成后的模型参数，并将该模型参数进行保存，以在使用该图像转换模型时将其部署在该图像转换模型当中。其中，训练目标可以为：该图像转换模型的综合偏差收敛至预设阈值范围内，或者，达到预设训练次数，以保证该图像转换模型可以将MR图像准确地转换为相应的模拟CT图像。而预设阈值范围和预设训练次数可以跟据实际情况进行设定，本说明书不做具体限定。而为了便于理解，本说明书提供了一种图像转换模型的训练方法示意图，如图2所示。

图2为本说明书提供的一种图像转换模型的训练方法示意图。

其中，服务器将患者在身体组织处的MR图像输入该图像转换模型中，通过该图像转换模型获得该MR图像对应的模拟CT图像，进而根据该MR图像对应的模拟CT图像与该MR图像对应的实际CT图像之间的偏差，对该图像转换模型进行训练。

在服务器对图像进行配准的过程中，服务器可以在接收到配准指令时，对训练该图像转换模型后得到的图像转换模型的模型参数进行加载，并将其部署到该图像转换模型中，也可以在服务器获取身体组织处的CT图像以及MR图像后，将其部署到该图像转换模型中，当然，服务器也可以在启动后，立刻对图像转换模型的模型参数进行加载，并将其部署到该图像转换模型中，本说明书对此不做具体限定。

S103：将所述第二类型图像以及所述模拟第二类型图像输入预先训练好的图像配准模型中，确定所述第一类型图像中包含的像素与所述第二类型图像中包含的像素之间的全局转换参数。

当身体组织处的MR图像作为第一类型图像，身体组织处的CT图像作为第二类型图像时，在服务器获取到病患在身体组织处的MR图像对应的模拟CT图像后，服务器可以将该模拟CT图像与实际CT图像输入到预先训练好的图像配准模型中，该图像配准模型会根据上述模拟CT图像与实际CT图像中各个像素之间的偏差，来确定MR图像中包含的像素与CT图像中包含的像素之间，各个像素的偏移量，以及灰度调整量，服务器可以以此来构建调整各个像素位置以及灰度的形变场(如用于表示MR图像中包含的像素与CT图像中包含的像素之间位置关系以及灰度变化的矩阵)，并将其作为MR图像中包含的像素与所述CT图像中包含的像素之间的全局转换参数。

需要说明的是，此处确定出的灰度调整量的作用在于增强MR图像特征与CT图像特征在配准后的图像中的显示效果，并不会使MR图像与CT图像的灰度更加接近。

在服务器使用上述图像配准模型前，需要先对该图像转换模型进行训练，具体的，服务器需要先获取用于训练该图像配准模型的第二样本图像，该第二样本图像中包含有不同病患在身体组织处的第一类型历史样本图像与第二类型历史样本图像。当身体组织处的MR图像作为第一类型图像，身体组织处的CT图像作为第二类型图像时，相应的，该第一类型历史样本图像则为二历史MR图像，第二类型历史样本图像为第二历史实际CT图像。需要说明的是，在本说明书中，用于训练图像配准模型的第二样本图像与上述用于训练图像转换模型的第一样本图像可以是同一样本图像，也就是说，上述第二样本图像与第一样本图像中包含的第一类型历史图像与第一类型历史样本图像可以为同一样本图像，以及，第二类型历史图像与第二类型历史样本图像可以为同一样本图像。

服务器可以将上述第二历史MR图像输入该图像配准模型中，获得第二历史MR图像对应的第二历史模拟CT图像，而后服务器可以将第二历史模拟CT图像与第二历史实际CT图像输入该图像配准模型中，确定该第二历史MR图像中包含的像素与第二历史实际CT图像中包含的像素之间的待优化全局转换参数，并通过该待优化全局转换参数，对第二历史MR图像与第二历史CT图像进行配准。

在对图像配准模型进行训练的过程中，服务器可以将配准后的第二历史MR图像通过图像转换模型获取的模拟CT图像中各像素与第二历史实际CT图像中各像素之间的偏差，作为该图像配准模型的像素偏差，进而确定该图像配准模型对应的灰度损失函数的损失值，例如，服务器可以通过计算配准后的第二历史MR图像通过图像转换模型获取的模拟CT图像中各像素与第二历史实际CT图像中各像素之间的最小平方误差，或计算最小绝对值误差的方式，确定出该图像配准模型对应的灰度损失函数的损失值，在本说明书中，可以通过与上述图像转换模型相同的计算最小平方误差或计算最小绝对值误差的计算公式，计算图像配准模型对应的灰度损失函数的损失值，本说明书对此不做过多赘述。

在服务器确定给出该图像配准模型的像素偏差后，可以根据通过该图像配准模型对配准后的第二历史MR图像通过图像转换模型获取的模拟CT图像进行身体组织识别的第二识别结果，以及第二历史实际CT图像对应的识别结果，确定图像配准模型对上述识别结果之间的偏差，并根据图像配准模型对上述识别结果之间的偏差以及该图像配准模型的像素偏差，确定该图像配准模型的综合偏差。

其中，该图像配准模型对配准后的第二历史MR图像通过图像转换模型获取的模拟CT图像进行身体组织识别的识别结果以及第二历史实际CT图像进行身体组织识别的识别结果可以是通过图像配准模型中的分割网络对配准后的第二历史MR图像通过图像转换模型获取的模拟CT图像以及第二历史实际CT图像进行分割后的分割图，在本说明书中，服务器在计算图像配准模型的综合偏差时可以采用与上述计算图像转换模型的综合偏差相同的公式，本说明书对此不做过多赘述。

服务器可以以最小化该图像配准模型的综合偏差为优化目标，对该图像配准模型进行训练，直到该图像配准模型满足训练目标，确定该图像配准模型训练完成后的模型参数，并将该参数进行保存，以在使用图像配准模型时将其部署在该图像配准模型当中。其中，训练目标可以为：该图像配准模型的综合偏差收敛至预设阈值范围内，或者，达到预设训练次数，以保证该图像配准模型可以准确地对MR图像与CT图像进行配准。而预设阈值范围和预设训练次数可以跟据实际情况进行设定，本说明书不做具体限定。

在服务器对图像进行配准的过程中，服务器可以在接收到配准指令时，对训练该图像配准模型后得到的图像配准模型的模型参数进行加载，并将其部署到该图像配准模型中，也可以在服务器通过上述图像转换模型获取到MR图像对应的模拟CT图像后，将该模型参数部署在该图像配准模型中，当然，服务器也可以在启动后，立刻对图像配准模型的模型参数进行加载，并将其部署到该图像配准模型中，本说明书对此不做具体限定。

当然，在本说明书中，服务器也可以在将CT图像以及模拟CT图像输入图像配准模型中后，可以通过该图像配准模型提取图像中身体组织的轮廓、边缘特征点(如脊柱的轮廓、边缘特征点等)，进而根据CT图像中包含的身体组织对应的特征点与模拟CT图像中包含的身体组织对应的特征点之间的差异，确定MR图像中包含的各特征点与CT图像中包含的各特征点之间的特征点转换参数，并将所述特征点转换参数作为全局转换参数。

S104：通过所述全局转换参数，对所述第一类型图像与所述第二类型图像进行配准。

当身体组织处的MR图像作为第一类型图像，身体组织处的CT图像作为第二类型图像时，在服务器在获取到全局转换参数后，可以通过该全局转换参数，调整MR图像中各像素的空间位置，使其与CT图像中相同的部位严格的对准，并调整该MR图像中各像素的灰度值，从而提升其显示效果，以此完成对MR图像与CT图像进行配准。

当然，服务器也可以通过该全局转换参数，调整CT图像中各像素的空间位置，使其与MR图像中相应的像素在同一空间位置上，并调整该CT图像中各像素的灰度值，从而提升其显示效果，以此完成对CT图像与MR图像进行配准。

此外，当身体组织处的MR图像作为第二类型图像，而身体组织处的CT图像作为第一类型图像时，服务器可以训练另一图像转换模型，并通过该图像转换模型将病患在身体组织处的实际CT图像转换为模拟MR图像，并将该模拟MR图像与身体组织处的实际MR图像输入图像配准模型中，从而得到身体组织处的实际MR图像与身体组织处的实际CT图像之间的全局转换参数，进而对身体组织处的实际MR图像与实际CT图像进行配准。此处对另一图像转换模型的模型训练方法可以与上文所述的图像转换模型的训练方法相同，本说明书对此不做过多赘述。

在对MR图像与CT图像进行配准后，服务器可以将配准后的MR图像与CT图像进行融合，并将融合后得到的融合图像发送给医护人员，为医疗任务提供相应的信息参照。当然，在通过手术设备进行机器人导航手术的过程中，也可以将配准后的MR图像与CT图像分别发送至手术设备，以此进行手术导航。

从上述方法可以看出，本说明书提供的图像配准方法会先将MR图像转换为相应的模拟CT图像，通过比较模拟CT图像与实际CT图像中各像素之间的偏差，来获得模拟CT图像与实际CT图像中各像素之间进行变换的全局转换参数，进而确定MR图像与CT图像中各像素之间的转换参数，通过该转换参数调整MR图像或CT图像中各像素的位置，并对灰度进行相应的调整以此提高显示效果，从而完成CT图像与MR图像的配准，提高了图像的配准精度，从而为病患诊断以及手术操作等医疗任务提供精确的图像参照。

以上为本说明书的一个或多个实施图像的配准方法，基于同样的思路，本说明书还提供了相应的图像配准装置，如图3所示。

图3为本说明书提供的一种图像配准装置的示意图，包括：

获取模块301，获取病患在身体组织处的第一类型图像和第二类型图像，所述第一类型图像和所述第二类型图像为不同类型的图像，获取第一类型图像所基于的设备，与获取第二类型图像所基于的设备，为不同类型的设备；

转换模块302，用于将所述第一类型图像输入预先训练好的图像转换模型中，确定所述第一类型图像对应的模拟第二类型图像；

确定模块303，用于将所述第二类型图像以及所述模拟第二类型图像输入预先训练好的图像配准模型中，确定所述第一类型图像中包含的像素与所述第二类型图像中包含的像素之间的全局转换参数；

配准模块304，用于通过所述全局转换参数，对所述第一类型图像与所述第二类型图像进行配准。

可选地，所述配准模块304具体用于，通过所述全局转换参数，调整所述第一类型图像，并将调整后的所述第一类型图像与所述第二类型图像进行配准。

可选地，所述全局转换参数包括：所述第一类型图像中各像素对应的灰度调整量，以及所述第一类型图像中各像素相对于所述第二类型图像中各像素的平移量中的至少一种；

所述配准模块304具体用于，通过所述全局转换参数，调整所述第一类型图像中各像素的位置以及灰度，并将调整后的所述第一类型图像与所述第二类型图像进行配准。

可选地，所述确定模块303具体用于，将所述第二类型图像以及所述模拟第二类型图像输入预先训练好的图像配准模型中，以根据所述第二类型图像中包含的各特征点与所述模拟第二类型图像中包含的各特征点之间的差异，确定所述第一类型图像中包含的各特征点与所述第二类型图像中包含的各特征点之间的特征点转换参数，并将所述特征点转换参数作为全局转换参数。

可选地，所述装置还包括：

训练模块305，用于获取第一样本图像，其中，所述第一样本图像包括病患在身体组织处的第一类型历史图像与所述第一类型历史图像对应的实际第二类型历史图像；将所述第一类型历史图像输入所述图像转换模型中，获得所述第一类型历史图像对应的模拟第二类型历史图像；以最小化所述模拟第二类型历史图像与所述实际第二类型历史图像之间的偏差为优化目标，对所述图像转换模型进行训练。

可选地，所述训练模块305具体用于，将所述模拟第二类型历史图像中各像素与所述实际第二类型历史图像中各像素之间的偏差，作为所述图像配准模型的像素偏差，以及确定对所述模拟第二类型历史图像进行身体组织识别的识别结果；根据所述图像转换模型的像素偏差，以及所述识别结果与所述实际第二类型历史图像对应的实际识别结果之间的偏差，确定所述图像配准模型的综合偏差；以最小化所述图像转换模型的综合偏差为优化目标，对所述图像转换模型进行训练。

可选地，所述训练模块305具体用于，获取第二样本图像，其中，所述第二样本图像包括病患在身体组织处的第一类型历史样本图像与所述第一类型历史样本图像对应的实际第二类型历史样本图像；将所述第一类型历史样本图像输入预先训练好的图像转换模型中，确定所述第一类型历史样本图像对应的模拟第二类型历史样本图像；将所述实际第二类型历史样本图像以及所述模拟第二类型历史样本图像输入所述图像配准模型中，确定所述第一类型历史样本图像中包含的像素与所述实际第二类型历史样本图像中包含的像素之间的待优化全局转换参数；通过所述待优化全局转换参数，对所述第一类型历史样本图像与所述实际第二类型历史样本图像进行配准；以最小化配准后的第一类型历史样本图像对应的模拟第二类型历史样本图像与所述实际第二类型历史样本图像之间的偏差为优化目标，对所述图像配准模型进行训练。

可选地，所述训练模块305具体用于，以最小化配准后的第一类型历史样本图像对应的模拟第二类型历史样本图像与所述实际第二类型历史样本图像之间的偏差为优化目标，对所述图像配准模型进行训练，具体包括：将配准后的第一类型历史样本图像对应的模拟第二类型历史样本图像中各像素与所述实际第二类型历史样本图像中各像素之间的偏差，作为所述图像配准模型的像素偏差，以及确定对所述模拟第二类型历史样本图像进行身体组织识别的识别结果，作为第二识别结果；根据所述图像配准模型的像素偏差，以及，所述第二识别结果与所述实际第二类型历史样本图像对应的实际识别结果之间的偏差，确定所述图像配准模型的综合偏差；以最小化所述图像配准模型的综合偏差为优化目标，对所述图像配准模型进行训练。

可选地，所述配准模块304还用于，将配准后的第二类型图像与配准后的第一类型图像进行融合，得到包含有所述第二类型图像的特征与所述第一类型图像的特征的融合图像，并根据所述融合图像，执行医疗任务。

可选地，所述第一类型图像包括：磁共振MR图像，所述第二类图像包括：电子计算机断层扫描CT图像。

本说明书还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述图1提供的一种图像的配准方法。

本说明书还提供了图4所示的一种对应于图1的电子设备的示意结构图。如图4所述，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图1所述的图像的配准方法。当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本说明书的实施例可提供为方法、系统、或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (13)

1.一种图像的配准方法，其特征在于，包括：

获取病患在身体组织处的第一类型图像和第二类型图像，所述第一类型图像和所述第二类型图像为不同类型的图像，获取第一类型图像所基于的设备，与获取第二类型图像所基于的设备，为不同类型的设备；

将所述第一类型图像输入预先训练好的图像转换模型中，确定所述第一类型图像对应的模拟第二类型图像；

将所述第二类型图像以及所述模拟第二类型图像输入预先训练好的图像配准模型中，确定所述第一类型图像中包含的像素与所述第二类型图像中包含的像素之间的全局转换参数；

通过所述全局转换参数，对所述第一类型图像与所述第二类型图像进行配准。

2.如权利要求1所述的方法，其特征在于，通过所述全局转换参数，对所述第一类型图像与所述第二类型图像进行配准，具体包括：

通过所述全局转换参数，调整所述第一类型图像，并将调整后的所述第一类型图像与所述第二类型图像进行配准。

3.如权利要求2所述的方法，其特征在于，所述全局转换参数包括：所述第一类型图像中各像素对应的灰度调整量，以及所述第一类型图像中各像素相对于所述第二类型图像中各像素的平移量中的至少一种；

通过所述全局转换参数，调整所述第一类型图像，并将调整后的所述第一类型图像与所述第二类型图像进行配准，具体包括：

通过所述全局转换参数，调整所述第一类型图像中各像素的位置以及灰度，并将调整后的所述第一类型图像与所述第二类型图像进行配准。

4.如权利要求1所述的方法，其特征在于，将所述第二类型图像以及所述模拟第二类型图像输入预先训练好的图像配准模型中，确定所述第一类型图像中包含的像素与所述第二类型图像中包含的像素之间的全局转换参数，具体包括：

将所述第二类型图像以及所述模拟第二类型图像输入预先训练好的图像配准模型中，以根据所述第二类型图像中包含的各特征点与所述模拟第二类型图像中包含的各特征点之间的差异，确定所述第一类型图像中包含的各特征点与所述第二类型图像中包含的各特征点之间的特征点转换参数，并将所述特征点转换参数作为全局转换参数。

5.如权利要求1所述的方法，其特征在于，训练所述图像转换模型，具体包括：

获取第一样本图像，其中，所述第一样本图像包括病患在身体组织处的第一类型历史图像与所述第一类型历史图像对应的实际第二类型历史图像；

将所述第一类型历史图像输入所述图像转换模型中，获得所述第一类型历史图像对应的模拟第二类型历史图像；

以最小化所述模拟第二类型历史图像与所述实际第二类型历史图像之间的偏差为优化目标，对所述图像转换模型进行训练。

6.如权利要求5所述的方法，其特征在于，以最小化所述模拟第二类型历史图像与所述实际第二类型历史图像之间的偏差为优化目标，对所述图像转换模型进行训练，具体包括：

将所述模拟第二类型历史图像中各像素与所述实际第二类型历史图像中各像素之间的偏差，作为所述图像转换模型的像素偏差，以及确定对所述模拟第二类型历史图像进行身体组织识别的识别结果，作为第一识别结果；

根据所述图像转换模型的像素偏差，以及，所述第一识别结果与所述实际第二类型历史图像对应的实际识别结果之间的偏差，确定所述图像转换模型的综合偏差；

以最小化所述图像转换模型的综合偏差为优化目标，对所述图像转换模型进行训练。

7.如权利要求1所述的方法，其特征在于，训练所述图像配准模型，具体包括：

获取第二样本图像，其中，所述第二样本图像包括病患在身体组织处的第一类型历史样本图像与所述第一类型历史样本图像对应的实际第二类型历史样本图像；

将所述第一类型历史样本图像输入预先训练好的图像转换模型中，确定所述第一类型历史样本图像对应的模拟第二类型历史样本图像；

将所述实际第二类型历史样本图像以及所述模拟第二类型历史样本图像输入所述图像配准模型中，确定所述第一类型历史样本图像中包含的像素与所述实际第二类型历史样本图像中包含的像素之间的待优化全局转换参数；

通过所述待优化全局转换参数，对所述第一类型历史样本图像与所述实际第二类型历史样本图像进行配准；

以最小化配准后的第一类型历史样本图像对应的模拟第二类型历史样本图像与所述实际第二类型历史样本图像之间的偏差为优化目标，对所述图像配准模型进行训练。

8.如权利要求7所述的方法，其特征在于，以最小化配准后的第一类型历史样本图像对应的模拟第二类型历史样本图像与所述实际第二类型历史样本图像之间的偏差为优化目标，对所述图像配准模型进行训练，具体包括：

将配准后的第一类型历史样本图像对应的模拟第二类型历史样本图像中各像素与所述实际第二类型历史样本图像中各像素之间的偏差，作为所述图像配准模型的像素偏差，以及确定对所述模拟第二类型历史样本图像进行身体组织识别的识别结果，作为第二识别结果；

根据所述图像配准模型的像素偏差，以及，所述第二识别结果与所述实际第二类型历史样本图像对应的实际识别结果之间的偏差，确定所述图像配准模型的综合偏差；

以最小化所述图像配准模型的综合偏差为优化目标，对所述图像配准模型进行训练。

9.如权利要求1所述的方法，其特征在于，所述方法还包括：

将配准后的第二类型图像与配准后的第一类型图像进行融合，得到包含有所述第二类型图像的特征与所述第一类型图像的特征的融合图像，并根据所述融合图像，执行医疗任务。

10.如权利要求1～9任一项所述的方法，其特征在于，所述第一类型图像包括：磁共振MR图像，所述第二类图像包括：电子计算机断层扫描CT图像。

11.一种图像的配准装置，其特征在于，包括：

获取模块，获取病患在身体组织处的磁共振第一类型图像和电子计算机断层扫描第二类型图像；

转换模块，将所述第一类型图像输入预先训练好的图像转换模型中，确定所述第一类型图像对应的模拟第二类型图像；

确定模块，将所述第二类型图像以及所述模拟第二类型图像输入预先训练好的图像配准模型中，确定针对所述第一类型图像或所述第二类型图像中所有像素的全局转换参数；

配准模块，通过所述全局转换参数，对所述第一类型图像与所述第二类型图像进行配准。

12.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1～10任一项所述的方法。

13.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1～10任一项所述的方法。

Images