CN111640145A - 图像配准方法及其相关的模型训练方法、设备、装置 - Google Patents

Abstract

本申请公开了图像配准方法及其相关的模型训练方法、设备、装置。该方法包括：获取真实二维图像和参考二维图像，利用图像配准模型的虚拟图像特征提取网络对参考二维图像进行特征提取，得到第一虚拟特征图；其中，图像配准模型已利用虚拟图像进行预训练，且虚拟图像特征提取网络参与预训练，虚拟图像是基于虚拟目标生成的；利用图像配准模型的真实图像特征提取网络对真实二维图像进行特征提取，得到第一真实特征图；其中，真实图像特征提取网络未参与预训练；利用第一真实特征图和第一虚拟特征图之间的差异，调整真实图像特征提取网络的网络参数。通过该方法，提高了图像配准模型的训练效果且降低了训练成本。

Description

图像配准方法及其相关的模型训练方法、设备、装置

技术领域

本申请涉及图像处理技术领域，特别是涉及一种图像配准方法及其相关的模型训练方法、设备、装置。

背景技术

图像配准就是将不同时间、不同传感器(成像设备)或不同条件下(摄像位置和角度等)获取的两幅或多幅图像进行匹配过程。医学图像配准是指对于一幅医学图像寻求一种(或一系列)空间变换,使它与另一幅医学图像上的对应点达到空间上的一致。

利用神经网络来对图像进行配准展示出了巨大的潜力且应用前景广泛。目前，训练用于配准的神经网络模型样本都是经过手动配准的真实图像，但是因为手动配准真实图像需要较长的时间，且受限于真实环境下的成像条件，导致可以用于训练的样本图像较少，且价格高昂，导致利用真实图像来训练的神经网络模型应用受到一定的限制。

发明内容

本申请提供一种图像配准方法及其相关的模型训练方法、设备、装置。

本申请第一方面提供一种图像配准模型的训练方法。该方法包括：获取真实二维图像和参考二维图像，其中，真实二维图像为利用成像器件对真实目标进行成像得到的，参考二维图像中的真实目标所在位置与真实二维图像匹配；利用图像配准模型的虚拟图像特征提取网络对参考二维图像进行特征提取，得到第一虚拟特征图；其中，图像配准模型已利用虚拟图像进行预训练，且虚拟图像特征提取网络参与预训练，虚拟图像是基于虚拟目标生成的；利用图像配准模型的真实图像特征提取网络对真实二维图像进行特征提取，得到第一真实特征图；其中，真实图像特征提取网络未参与预训练；利用第一真实特征图和第一虚拟特征图之间的差异，调整真实图像特征提取网络的网络参数。

因此，先利用虚拟图像数据对前期的图像配准模型进行预训练，并将真实图像特征提取网络加入经预训练的图像配准模型中，利用真实图像数据以及经预训练的图像配准模型中的虚拟图像特征提取网络来调整真实图像特征提取网络的网络参数，以实现真实图像数据的训练迁移，以得到最终的图像配准模型，由于图像配准模型前期先利用虚拟图像数据进行预训练，可减少训练时所需的真实样本图像数据，即降低训练成本，而且，后期再利用真实图像数据以及经预训练的图像配准模型针对真实图像特征提取网络进行训练，即实现利用虚拟图像数据的结果来监督真实数据训练，进而提高图像配准模型的训练效果，使得真实图像特征提取网络能够用于后续的训练，使得图像配准模型能够更加容易应用于真实环境中。

其中，上述的获取参考二维图像，包括：利用真实二维图像与真实三维图像之间的实际配准结果，生成真实目标所在位置与真实二维图像一致的参考二维图像。

因此，通过生成真实目标所在位置与真实二维图像一致的参考二维图像，可以利用参考二维图像和真实二维图像在后续的训练中。

其中，上述的图像配准模型还包括参与预训练的投影图像特征提取网络和位置预测网络；上述的在利用第一真实特征图和第一虚拟特征图之间的差异，调整真实图像特征提取网络的网络参数之后，方法还包括：利用调整后的真实图像特征提取网络对真实二维图像进行特征提取，得到第二真实特征图；利用真实二维图像的第一投影模型参数对真实三维图像进行投影，得到第一投影图像，并获取真实目标上的特征点在第一投影图像的第一实际二维位置；利用投影图像特征提取网络对第一投影图像进行特征提取，得到第一投影特征图；利用位置预测网络，在第一投影特征图上确定与第一实际二维位置对应的第一投影特征位置，在第二真实特征图中查找出与第一投影特征图上的第一投影特征位置对应的真实特征位置，利用真实特征位置得到特征点在真实二维图像上的第一预测二维位置；利用第一预测二维位置，获得真实二维图像与真实三维图像的预测配准结果；利用实际配准结果和预测配准结果之间的差异，调整真实图像特征提取网络、投影图像特征提取网络和位置预测网络中的至少一个网络的网络参数。

因此，通过利用经过虚拟图像训练的虚拟图像特征提取网络、投影图像特征提取网络和位置预测网络，来与真实图像特征提取网络共同训练，实现了利用虚拟数据的结果监督真实数据训练，提高了训练的效果，也使得经过真实数据训练的图像配准模型能够更加容易应用于真实环境中。另外，对经过预训练的图像配准模型，再利用真实二维图像对图像配准模型进行进一步的训练，可以减少训练需要的大量的真实二维图像，使得训练图像配准模型的成本得以降低，也就更加容易开展相关的训练。

其中，上述的利用实际配准结果和预测配准结果之间的差异，调整真实图像特征提取网络的网络参数，包括：利用第二真实特征图和第一虚拟特征图之间的差异、实际配准结果和预测配准结果之间的差异，调整真实图像特征提取网络的网络参数。

因此，通过进一步的利用第二真实特征图和第一虚拟特征图之间的差异、实际配准结果和预测配准结果之间的差异，调整真实图像特征提取网络的网络参数，以此来提高训练效果。

其中，上述的方法还包括以下步骤，以对图像配准模型进行预训练：获取至少一组虚拟二维图像和第二投影图像，以及获取虚拟目标上的特征点分别在虚拟二维图像的第二实际二维位置和在第二投影图像的第三实际二维位置，其中，虚拟二维图像是对虚拟目标进行模拟成像得到的，第二投影图像是对虚拟目标进行模拟投影得到的；将每组虚拟二维图像、第二投影图像以及第三实际二维位置输入至图像配准模型，以得到特征点在虚拟二维图像的第二预测二维位置；基于第二实际二维位置和第二预测二维位置，对图像配准模型的网络参数进行调整。

因此，通过利用虚拟图像来对图像配准模型进行预训练，由于虚拟图像的获取成本较低，可以降低训练成本。并且，虚拟图像可以大批量的生成，因此可以提供大量的训练数据，因而可以提高训练的效果。另外，通过先利用虚拟图像对图像配准模型进行预训练，再利用真实图像来训练，可以提高训练的效果，使得经过真实图像训练后的图像配准模型可以更好的对真实图像进行配准。

其中，上述的将每组虚拟二维图像、第二投影图像以及第三实际二维位置输入至图像配准模型，以得到特征点在虚拟二维图像的第二预测二维位置，包括：利用图像配准模型的投影图像特征提取网络对第二投影图像进行特征提取，得到第二投影特征图；利用虚拟图像特征提取网络对虚拟二维图像进行特征提取，得到第二虚拟特征图；利用图像配准模型的位置预测网络，在第二投影特征图上确定与第三实际二维位置对应第二投影特征位置，在第二虚拟特征图中查找出与第二投影特征图上的第二投影特征位置对应的虚拟特征位置，利用虚拟特征位置得到第二预测二维位置。

因此，通过投影图像特征提取网络和虚拟图像特征提取网络分别得到第二投影特征图和第二虚拟特征图，相比于采用同一特征提取网络对虚拟图像和投影图像进行特征提取，该两个特征提取网络经训练后，能够实现对每种图像的特征提取更加准确。

其中，上述的基于第二实际二维位置和第二预测二维位置，对图像配准模型的网络参数进行调整，包括：基于第二实际二维位置和第二预测二维位置，对虚拟图像特征提取网络、投影图像特征提取网络和位置预测网络的网络参数进行调整。

因此，通过对虚拟图像特征提取网络、投影图像特征提取网络和位置预测网络的网络参数进行调整，可以提高图像配准模型的训练效果。

其中，上述的在第二虚拟特征图中查找出与第二投影特征图上的第二投影特征位置对应的虚拟特征位置，或者，在第二真实特征图中查找出与第一投影特征图上的第一投影特征位置对应的真实特征位置，包括：在投影特征图中查找出位于投影特征位置的第一特征信息；在虚拟特征图或真实特征图中，搜索出与查找出的第一特征信息间的相似度满足预设相似条件的第二特征信息；获取搜索出的第二特征信息在虚拟特征图中的虚拟特征位置或在真实特征图中的真实特征位置。

因此，通过特征信息查找对应的点，可以根据特征信息种类和类型来训练结果进行调整，有利于训练效果的提高。

其中，上述的每组虚拟二维图像和第二投影图像包含利用一第二投影模型参数对一预设位姿下的虚拟目标进行模拟成像得到的虚拟二维图像，以及利用同一第二投影模型参数对参考位姿下的虚拟目标进行模拟投影得到的第二投影图像；其中，不同组虚拟二维图像和第二投影图像所对应的第二投影模型参数和/或预设位姿不同。

因此，通过生成可以实现对同一目标进行多个视角或多个位置下的配准的训练，使得图像配准模型可以针对同一目标不同视角，位置的图像进行配准，提高了训练效果，以及图像配准模型的适用性。

其中，上述的方法还包括以下步骤，以对图像配准模型进行预训练：利用对应同一预设位姿的多个虚拟二维图像的第二预测二维位置，确定特征点的预测三维位置；利用特征点的预测三维位置与实际三维位置之间的差异，对图像配准模型的网络参数进行调整。

因此，通过利用预测三维位置与实际三维位置之间的差异来对图像配准模型的网络参数进行调整，可以进一步地提高训练效果。

其中，上述的获取每组虚拟二维图像和第二投影图像，包括：以一第二投影模型参数对处于预设位姿的虚拟目标进行模拟成像，得到虚拟二维图像，并记录第二投影模型参数以及预设位姿的虚拟目标相对于参考位姿的刚体变换参数；以同一第二投影模型参数对处于参考位姿的虚拟目标进行模拟投影，得到第二投影图像；获取虚拟目标上的特征点分别在虚拟二维图像的第二实际二维位置和在第二投影图像的第三实际二维位置，包括：确定处于参考位姿的虚拟目标上的至少一个特征点；利用虚拟二维图像对应的第二投影模型参数以及刚体变换参数，确定特征点在虚拟二维图像上的第二实际二维位置；以及，利用第二投影图像对应的第二投影模型参数，确定特征点在第二投影图像上的第三实际二维位置。

通过记录获取虚拟二维图像和第二投影图像时的投影模型参数和预设位姿相对于参考位姿的刚体变换参数，在后续训练图像配准模型时，能够将这些参数作为对比的依据，来对图像配准模型的网络参数进行调整，进而提高图像配准模型的训练效果。

其中，上述的确定处于参考位姿的虚拟目标上的至少一个特征点，包括：在处于参考位姿的虚拟目标上，随机选取至少一个特征点；或者；识别第二投影图像中对应虚拟目标的目标区域，在目标区域的内部或边缘上选择至少一个投影点，并利用第二投影图像的第二投影模型参数，将至少一个投影点投影至三维空间中，以得到虚拟目标上的至少一个特征点。

通过确定特征点，可以利用特征点来辅助进行配准训练，便于训练的开展和体改训练效果。另外，通过在虚拟目标的内部或边缘上选取特征点，使得特征点在后续进行配准训练时，容易查找，以此得以提高图像配准模型的训练效率。

本申请第二方面提供一种图像配准方法。该配准方法包括：获取分别对目标进行成像得到的二维图像和三维图像；利用二维图像的投影模型参数对三维图像进行投影，得到投影图像；利用图像配准模型对二维图像和投影图像进行处理，得到目标上的特征点在二维图像上的二维位置；利用二维位置，获得二维图像与三维图像之间的配准结果；其中，图像配准模型是由上述第一方面提供的图像配准模型的方法训练得到的。

因此，通过利用由上述第一方面提供的图像配准模型的方法训练得到的图像配准模型，就能够对由目标进行成像得到的二维图像和三维图像进行配准，并且配准的结果更准确。

其中，上述的利用二维位置，获得二维图像与三维图像之间的配准结果，包括：利用投影模型参数将二维位置投影至三维空间，得到特征点的第一三维位置；获取特征点在三维图像上的第二三维位置；利用第一三维位置和第二三维位置，获得三维图像相对于二维图像的刚体变换参数。

因此，通过利用特征点的第一三维位置和第二三维位置，能够获得三维图像相对于二维图像的刚体变换参数，使得上述的图像配准方法能够应用于图像配准。

本申请第三方面提供一种图像配准模型的训练装置，该装置包括获取模块，用于获取真实二维图像和参考二维图像，其中，真实二维图像为利用成像器件对真实目标进行成像得到的，参考二维图像中的真实目标所在位置与真实二维图像匹配；第一特征提取模块，用于利用图像配准模型的虚拟图像特征提取网络对参考二维图像进行特征提取，得到第一虚拟特征图；其中，图像配准模型已利用虚拟图像进行预训练，且虚拟图像特征提取网络参与预训练，虚拟图像是基于虚拟目标生成的；第二特征提取模块，用于利用图像配准模型的真实图像特征提取网络对真实二维图像进行特征提取，得到第一真实特征图；其中，真实图像特征提取网络未参与预训练；调整模块，用于利用第一真实特征图和第一虚拟特征图之间的差异，调整真实图像特征提取网络的网络参数。

因此，通过上述图像配准模型的训练装置，通过利用经过虚拟图像进行预训练的图像配准模型，能够根据第一真实特征图和第一虚拟特征图之间的差异来调整真实图像特征提取网络的网络参数，使得由真实图像特征提取网络得到的第一真实特征图与第一虚拟特征图能够对应起来。以此可以实现利用虚拟数据的结果来监督真实数据训练，进而提高图像配准模型训练装置的训练效果，使得图像配准模型的训练装置能够用于后续的训练，并且更加容易应用于真实环境中。

本申请第四方面提供一种图像配准装置。该装置包括获取模块，用于获取分别对目标进行成像得到的二维图像和三维图像；投影模块，用于利用二维图像的投影模型参数对三维图像进行投影，得到投影图像；预测模块，用于利用图像配准模型对二维图像和投影图像进行处理，得到目标上的特征点在二维图像上的二维位置；配准模块，用于利用二维位置，获得二维图像与三维图像之间的配准结果；其中，图像配准模型是由上述第三方面描述的装置训练得到的。

因此，通过利用经过虚拟图像进行预训练的图像配准模型，使得由真实图像特征提取网络得到的第一真实特征图与第一虚拟特征图能够对应起来。以此可以实现利用虚拟数据的结果来监督真实数据训练，进而提高图像配准模型训练装置的训练效果，使得图像配准模型的训练装置能够用于后续的训练，并且更加容易应用于真实环境中。

本申请第五方面提供一种图像配准设备。该设备包括：相互耦接的处理器和存储器，其中，处理器用于执行存储器存储的计算机程序以执行上述第一方面描述的图像配准模型的训练方法，或者上述第二方面描述的图像配准方法。

本申请第六方面提供一种计算机可读存储介质。该介质存储有能够被处理器运行的计算机程序，计算机程序用于实现上述第一方面或第二方面描述的方法。

上述方案，通过利用经过虚拟图像进行预训练的图像配准模型，能够根据第一真实特征图和第一虚拟特征图之间的差异来调整真实图像特征提取网络的网络参数，使得由真实图像特征提取网络得到的第一真实特征图与第一虚拟特征图能够对应起来。以此可以实现利用虚拟数据的结果来监督真实数据训练，进而提高图像配准模型训练装置的训练效果，使得图像配准模型的训练装置能够用于后续的训练，并且更加容易应用于真实环境中。

附图说明

为了更清楚地说明本申请中的技术方案，下面将对实施例描述中所需要的附图作简单的介绍，显而易见地，下面描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1是本申请图像配准模型的训练方法第一实施例的流程示意图；

图2是本申请图像配准模型的训练方法第二实施例的流程示意图；

图3是本申请图像配准模型的训练方法第三实施例的第一流程示意图；

图4是本申请图像配准模型的训练方法第三实施例的第二流程示意图；

图5是本申请图像配准模型的训练方法第三实施例的第三流程示意图；

图6是本申请图像配准模型的训练方法第三实施例的第四流程示意图；

图7是本申请图像配准方法实施例的流程示意图；

图8是本申请图像配准模型的训练装置实施例的框架示意图；

图9是本申请图像配准装置实施例的一框架示意图；

图10是本申请图像配准设备实施例的结构示意框图；

图11是本申请存储装置实施方式的框架示意图。

具体实施方式

下面结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

参阅图1，图1是本申请图像配准模型的训练方法第一实施例的流程示意图。

步骤S10：获取真实二维图像和参考二维图像，其中，真实二维图像为利用成像器件对真实目标进行成像得到的，参考二维图像中的真实目标所在位置与真实二维图像匹配。

在本公开实施例中，为实现图像配准模型的训练，可先利用虚拟图像对前期的图像配准模型进行预训练，其中，该前期的图像配准模型包括虚拟图像特征提取网络，该虚拟图像特征提取网络用于对虚拟二维图像进行特征提取。经上述预训练后，将真实图像特征提取网络加入经预训练的图像配准模型中，以进一步对真实图像特征提取网络进行训练，获得最终的图像配准模型。具体地，为实现真实图像特征提取网络的训练，可利用真实图像数据以及经预训练的虚拟图像特征提取网络执行本公开实施例方法，以调整真实图像特征提取网络的网络参数。

真实二维图像为利用成像器件对真实目标进行成像得到的。真实目标例如是真实环境下的杯子、人体的骨头等等。就真实二维图像而言，该图像为利用成像器件对真实目标进行成像得到的。成像器件例如为相机、X光机、CT(电子计算机断层扫描)等等具备成像功能的设备。

参考二维图像中的真实目标所在位置与真实二维图像匹配，可以是参考二维图像中的真实目标的为位置与真实二维图像中的真实目标所在位置相同，或者是参考二维图像中的真实目标与真实二维图像对应的三维的真实目标的刚体变换参数是已知的。位置相同可以理解为真实目标在真实二维图像和参考二维图像中，角度、形状和大小等完全一致。参考二维图像对应的真实目标与真实二维图像对应的真实目标的刚体变换参数已知，可以理解为参考二维图像对应的真实目标与真实二维图像对应的真实目标相比，其空间变换的过程是已知的，例如是真实二维图像对应的真实目标可以利用已知的刚体变换参数，得到与参考二维图像对应的真实目标位置一致的真实目标。

参考二维图像可以是对真实目标的真实三维图像进行处理得到，例如，利用真实二维图像与真实三维图像之间的实际配准结果，生成真实目标所在位置与真实二维图像一致的参考二维图像。当然，该参考二维图像也可以是对真实目标进行再次成像得到的。

就真实三维图像而言，其可以是利用可以拍摄三维图像的成像器件对真实目标拍摄得到的，例如是CT(电子计算机断层扫描)拍摄得到的，或是3D扫描仪扫描得到的，当然，三维图像也可以是针对真实目标，进行3D建模等形式得到的。

真实二维图像及其与真实三维图像的实际配准结果，即表示拍摄真实二维图像时的真实目标与真实三维图像之间的刚体变换参数是已知的。

由于得到的真实三维图像的位姿可能与拍摄真实二维图像时的真实目标的位姿存在着刚体变换，因此可以利用实际配准结果，调整真实三维图像的位姿，使得真实三维图像的位姿与拍摄真实二维图像时的真实目标的位姿一致。位姿是真实目标的摆放姿态，如横着放，竖着放或是斜着放等等。

在此基础上，就可以得到真实目标在参考二维图像上的位置与在真实二维图像中的位置一致的参考二维图像。位置一致可以理解为真实目标在真实二维图像和参考二维图像中，角度、形状和大小等完全一致。生成参考二维图像的方法例如是通过投影的方法。投影的方式可以是模拟成像等方式。在对三维图像进行投影时，投影模型参数即为拍摄真实二维图像时的投影模型参数。由于都是基于同样的三维图像的位姿以及相同的投影模型参数，因此就可以得到对三维图像进行投影得到真实目标所在位置与真实二维图像一致的参考二维图像。

因此，通过生成真实目标所在位置与真实二维图像一致的参考二维图像，可以利用参考二维图像和真实二维图像在后续的训练中。

步骤S11：利用图像配准模型的虚拟图像特征提取网络对参考二维图像进行特征提取，得到第一虚拟特征图；其中，图像配准模型已利用虚拟图像进行预训练，且虚拟图像特征提取网络参与预训练，虚拟图像是基于虚拟目标生成的。

图像配准模型可以是用于对图像进行配准的神经网络模型，例如，可以是全卷积的神经网络，也可以是卷积的神经网络。图像配准模型可以包括多个神经网络，具体可以根据需要进行调整。

图像配准模型包括虚拟图像特征提取网络，该虚拟图像特征提取网络为神经网络，例如是卷积神经网络。虚拟图像特征提取网络的结构不受限制，只要能够进行特征提取即可。

虚拟图像是基于虚拟目标生成的。该虚拟图像可包括虚拟二维图像。虚拟目标可以是人为模拟生成的一个目标，模拟的可以是真实环境中存在的任何物体，例如是杯子、或是人体各部位的骨头等等。虚拟图像模拟生成的方式例如是通过模拟投影的方式。由于真实环境中的物体总是与其他物体有连接关系或是在某方向上重叠的可能，例如人体的骨头，总是与人体的其他骨头或是与其他肌肉组织连接或在某一方向上重叠，因此，在对虚拟目标进行模拟成像时，可以对其他物体也进行模拟成像，使得生成的虚拟图像可以更加贴近于在真实环境中生成的图像。通过生成虚拟目标，使得图像配准模型可以针对真实环境中存在的物体的进行训练，提高了图像配准模型的应用性。

图像配准模型已利用虚拟图像进行预训练，即表示图像配准模型已已经利用虚拟图像进行过配准训练，例如是利用多组虚拟图像作为训练数据，对虚拟图像进行配准，调整图像配准模型的网络参数。虚拟图像特征提取网络参与预训练，即表示图像配准模型对虚拟图像进行配准，调整图像配准模型的网络参数时，也会对虚拟图像特征提取网络的网络参数进行调整。经过预训练的图像配准模型可以用于虚拟图像的配准。

因此，本步骤的图像配准模型已经针对虚拟图像进行预训练。在此基础上，再利用图像配准模型的虚拟图像特征提取网络对参考二维图像进行特征提取，以得到第一虚拟特征图。虚拟图像特征提取网络输出的结果中，可以包括提取到的特征信息，特征信息例如是特征向量，如128维的特征向量。

在利用真实二维图像对图像配准模型进行配准训练时，利用经过虚拟图像进行预训练的图像配准模型，使得图像配准模型的网络参数可以经过预先调整，以此可以加快利用真实二维图像进行训练的进度，提高训练的效率。并且，虚拟二维图像可以基于虚拟目标生成，因此可以生成大量的虚拟二维图像作为训练数据，大量的训练数据也能提高训练的效果。另外，虚拟图像的获取成本相比于真实二维图像较低，利用虚拟图像对图像配准模型进行预训练，可以减少需要的真实二维图像，降低了训练成本。

步骤S12：利用图像配准模型的真实图像特征提取网络对真实二维图像进行特征提取，得到第一真实特征图；其中，真实图像特征提取网络未参与预训练。

在本公开实施例中，图像配准模型还包括真实图像特征提取网络，用于对真实二维图像进行特征提取，真实图像特征提取网络输出的结果定义为第一真实特征图。真实图像特征提取网络输出的结果中，可以包括提取到的特征信息，特征信息例如是特征向量，如128维的特征向量。另外，真实图像特征提取网络未参与预训练，表示真实图像特征提取网络没有经过利用虚拟图像进行预训练的过程。

真实图像特征提取网络为参与预训练，使得在后续对真实图像特征提取网络进行训练时，都是利用真实二维图像进行的，以此可以提高真实图像特征提取网络对真实二维图像的特征提取效果。

可以理解的，上述步骤S11和步骤S12在具体执行时，不分先后顺序，在实际执行时，可以根据需要对执行顺序进行调整。

步骤S13：利用第一真实特征图和第一虚拟特征图之间的差异，调整真实图像特征提取网络的网络参数。

在得到第一真实特征图和第一虚拟特征图以后，就可以利用这两个特征图来比较真实图像特征提取网络与虚拟图像特征提取网络在特征提取方面的差异，并根据差异来对真实图像特征提取网络的网络参数进行调整。差异可以是提取的特征信息的类型，特征信息的维度等等。

在一个实施场景中，真实图像特征提取网络输出的第一真实特征图与虚拟图像特征提取网络输出的第一虚拟特征图在尺寸上保持一致。若两个特征图的尺寸不一致，则可以对真实图像特征提取网络的网络参数进行调整，使得这两个特征图可以保持一致。

在一个实施场景中，第一真实特征图与第一虚拟特征图的特征信息在类型上保持一致或是具有较高的相似度。例如，当第一虚拟特征图的特征信息是特征向量时，则第一真实特征图也会包含有特征向量信息。当第一虚拟特征图的特征信息是256维的特征向量时，则第一真实特征图的特征信息的也是256维的，或是接近256维，如254维等等。

因此，通过先利用虚拟图像数据对前期的图像配准模型进行预训练，并将真实图像特征提取网络加入经预训练的图像配准模型中，利用真实图像数据以及经预训练的图像配准模型中的虚拟图像特征提取网络来调整真实图像特征提取网络的网络参数，以实现真实图像数据的训练迁移，以得到最终的图像配准模型，由于图像配准模型前期先利用虚拟图像数据进行预训练，可减少训练时所需的真实样本图像数据，即降低训练成本，而且，后期再利用真实图像数据以及经预训练的图像配准模型针对真实图像特征提取网络进行训练，即实现利用虚拟图像数据的结果来监督真实数据训练，进而提高图像配准模型的训练效果，使得真实图像特征提取网络能够用于后续的训练，使得图像配准模型能够更加容易应用于真实环境中。

在对真实图像特征提取网络的网络参数进行调整后，意味着图像特征提取网络已经满足后续训练的要求，可以继续进行图像配准模型的训练。

请参阅图2，图2是本申请图像配准模型的训练方法第二实施例的流程示意图。该实施例是在上述第一实施例的基础上，对图像配准模型的继续训练过程，本公开实施例具体包括以下步骤：

步骤S20：获取真实二维图像和参考二维图像，其中，真实二维图像为利用成像器件对真实目标进行成像得到的，参考二维图像中的真实目标所在位置与真实二维图像匹配。

本步骤与上述步骤S10相同，详情请参见上述步骤S10，此处不再赘述。

步骤S21：利用图像配准模型的虚拟图像特征提取网络对参考二维图像进行特征提取，得到第一虚拟特征图；其中，图像配准模型已利用虚拟图像进行预训练，且虚拟图像特征提取网络参与预训练，虚拟图像是基于虚拟目标生成的。

本步骤与上述步骤S11相同，详情请参见上述步骤S11，此处不再赘述。

步骤S22：利用图像配准模型的真实图像特征提取网络对真实二维图像进行特征提取，得到第一真实特征图；其中，真实图像特征提取网络未参与预训练。

本步骤与上述步骤S12相同，详情请参见上述步骤S12，此处不再赘述。

步骤S23：利用第一真实特征图和第一虚拟特征图之间的差异，调整真实图像特征提取网络的网络参数。

本步骤与上述步骤S13相同，详情请参见上述步骤S13，此处不再赘述。

在本公开实施例中，图像配准模型还包括参与预训练的投影图像特征提取网络和位置预测网络。投影图像特征提取网络可以用于对投影图像进行特征提取，位置预测网络可以根据各个特征提取网络提取的特征图像，来确定特征点在各个特征图上的位置信息。

投影图像特征提取网络和位置预测网络经过预训练，即表示这两个网络已经利用了虚拟图像进行预训练，对其相应的网络参数进行了调整，其中，投影图像特征提取网络输出的第一投影特征图的与虚拟图像特征提取网络输出的第一虚拟特征图在尺寸和特征信息的类型上相同或具有较高的相似度。基于此，第二真实特征图也是与第一投影特征图在尺寸和特征信息的类型上相同或具有较高的相似度。位置预测网络经过预训练，表示位置预测网络可以根据虚拟特征图上特征点的位置，来查找对应的点。

为了利用实现利用虚拟数据监督真实数据的训练，以提高对真实数据的训练效果，本公开实施例利用上述经过预训练的投影图像特征提取网络和位置预测网络对真实图像特征提取网络的继续训练。

步骤S24：利用调整后的真实图像特征提取网络对真实二维图像进行特征提取，得到第二真实特征图。

在步骤S23中，已经对真实图像特征提取网络调整了参数，利用调整后的真实图像特征提取网络对真实二维图像进行特征提取，输出的结果定义为第二真实特征图。此时的第二真实特征图与第一虚拟特征图在尺寸和特征信息方面保持一致或是具有极高的相似度。

步骤S25：利用真实二维图像的第一投影模型参数对真实三维图像进行投影，得到第一投影图像，并获取真实目标上的特征点在第一投影图像的第一实际二维位置。

利用成像器件对真实目标进行成像得到的真实二维图像，其对应的投影模型参数定义为第一投影模型参数。为了得到不同位姿下的多组真实二维图形，并利用这些真实二维图像来进行训练，可以利用真实二维图像的第一投影模型参数对真实三维图像进行投影，得到的图像定义为第一投影图像。投影的方式例如是模拟投影的方式。

在得到第一投影图像以后，就可以通过在第一投影图像上选择特征点，利用特征点的位置信息，来对图像配准模型开展训练。由于三维图像是由真实目标得到的，因此可以在真实目标上选择特征点，该特征点可以理解为真实目标上的任意点，可以通过分析目标位置而确定，或者是人工指定，或者是由图像配准模型自行确认。或是在第一投影图像确定特征点，再确定特征点在真实目标上的位置。

获取第一实际二维位置例如可以先确定特征点在三维图像上的实际三维位置，再根据投影模型参数，得到特征点在在第一投影图像的第一实际二维位置。可以对三维图像建立三维坐标系，以此可以得到特征点在三维图像上的实际三维位置的三维坐标。对应的，得到的第一实际二维位置即为二维坐标，例如是某一像素点的位置(2,2)。或者是先在第一投影图像上确定特征点的第一实际二维位置，再利用第一投影模型参数换算得到特征点在三维图像上的实际三维位置。

步骤S26：利用投影图像特征提取网络对第一投影图像进行特征提取，得到第一投影特征图。

在得到第一投影图像以后，就可以利用投影图像特征提取网络对第一投影图像进行特征提取，以此可以得到第一投影特征图。

投影图像特征提取网络为神经网络，例如是卷积神经网络。投影图像特征提取网络的结构不受限制，只要能够进行特征提取即可。在利用投影图像特征提取网络对第一投影图像进行特征提取时，定义该网络输出的结果为第一投影特征图。在第一投影特征图中，对应于第一投影特征图上的每个像素点，都会包含对应的特征信息。特征信息例如是特征向量，如128维的特征向量。

步骤S27：利用位置预测网络，在第一投影特征图上确定与第一实际二维位置对应的第一投影特征位置，在第二真实特征图中查找出与第一投影特征图上的第一投影特征位置对应的真实特征位置，利用真实特征位置得到特征点在真实二维图像上的第一预测二维位置。

在获取了特征点在第一投影图像的第一实际二维位置后，可以利用位置预测网络在第一投影特征图上确定与特征点的在第一投影图像上的第一实际二维位置对应的第一投影特征位置。

对于由特征提取网络(包括上述的虚拟图像特征提取网络、真实图像特征提取网络和投影图像特征提取网络)输出的特征图而言，由于特征图只是经过特征提取的操作，因此，特征图上的位置是与用于提取特征的图像的位置具有对应关系的。例如，虚拟二维图像和第一虚拟特征图、真实二维图像和第一真实特征图、真实二维图像和第二真实特征图、第一投影图像和第一投影特征图的位置都是具有对应关系的。例如，特征图上的每一个像素点都是与用于提取特征的图像上的像素点具有对应关系。这种位置的对应关系可以根据特征图的尺寸与用于提取特征的图像的尺寸比例关系具体确定。

以第一投影图像和第一投影特征图为例，第一投影特征图的尺寸可以与第一投影图像的尺寸成整数比例关系。例如，输入的第一投影图像的尺寸为256*256个像素点，那么输出的第一投影特征图的尺寸就可以为256*256个像素点，或是128*128个像素点，或是512*512个像素点。在此情况下，若第一投影特征图与第一投影图像的尺寸大小一致，同为256*256个像素点时，那么当特征点在第一投影图像上的第三实际二维位置为某一像素点的位置(1,1)时，则对应的在第二投影特征图上的第二投影特征位置也是(1,1)。当第二投影特征图的尺寸是512*512个像素点时，对应的在第二投影特征图上的第二投影特征位置是(1,1)、(1,2)、(2,1)或(2,2)中的至少一个，或是将这四个像素点进行运算，以得到的一个新的像素点，并以此像素点的位置作为特征点在第二投影特征图的第二投影特征位置。运算的方法例如是插值运算。

以此，在确定了特征点在第一投影图像上的第一实际二维位置以后，位置预测网络就可以根据第一投影图像和第一投影特征图的位置的对应关系，来确定特征点在第一投影特征图的第一投影特征位置。例如，当第一投影图像和第一投影特征图的尺寸是一样大小时，特征点在第一投影图像上的第一实际二维位置是像素点(5，5)，则特征点在第一投影特征图的第一投影特征位置也是像素点(5，5)。

确定特征点在第一投影特征图的第一投影特征位置后，位置预测网络就可以在第二真实特征图中查找出与第一投影特征图上的第一投影特征位置对应的真实特征位置。并由真实特征位置得到真实二维图像上的第一预测二维位置。第一预测二维位置即为特征点在真实二维图像上的预测位置。

可以理解的，步骤25和步骤S26的执行顺序限制，可以根据实际需要进行具体的调整。

本步骤描述的“在第二真实特征图中查找出与第一投影特征图上的第一投影特征位置对应的真实特征位置”，具体可以由以下的步骤实现：

步骤S271：在投影特征图中查找出位于投影特征位置的第一特征信息。

该步骤的投影特征图即为第一投影特征图，投影特征位置即为第一投影特征位置。

位置预测网络可以根据特征点在第一投影特征图中的投影特征位置(第一投影特征位置)，确定该位置对应的特征信息。例如，当投影特征位置(第一投影特征位置)为像素点(1,1)的位置时，则第一特征信息即为像素点(1,1)对应的特征信息。特征信息可以是特征向量。

步骤S272：在真实特征图中，搜索出与查找出的第一特征信息间的相似度满足预设相似条件的第二特征信息。

该步骤的真实特征图即为第二真实特征图。

在查找出特征点在第一投影特征图上的第一特征信息时，位置预测网络就可以根据第一特征信息搜索出第二真实特征图中与第一特征信息的相似度满足预设相似条件的第二特征信息。

当第一特征信息是特征向量时，则位置预测网络可以根据该特征向量，在第二虚拟特征图中搜索出满足预设相似条件的第二特征信息，第二特征信息同样也为特征向量。

预设条件可以人为设定，例如相似度为90％～95％即表示查找的结果可以接受。当然，预设条件可以是根据应用的场景进行具体的设定，此处不作限制。在一个场景中，预设条件可以是相似度最高所对应的第二特征信息。

步骤S273：获取搜索出的第二特征信息在真实特征图中的预测特征位置，利用预测特征位置得到预测二维位置。

如上，因为特征图中每一个位置都有对应的特征信息，因此，当搜索出第二特征信息时，就可以根据搜索出的第二特征信息查找出其在第二真实特征图中对应的真实特征位置。

位置预测网络经过预训练后，可以根据虚拟图像的特征图上的特征点的位置来查找对应的点。此时，进一步地利用真实图像的特征图来训练位置预测网络在真实图像的特征图上寻找对应的特征点，可以实现使用虚拟数据的结果来监督真实数据的训练，提高训练的效果，使得图像配准模型能够更加容易应用于真实环境中。

在确定特征点在在第二真实特征图中的真实特征位置以后，位置预测网络就可以根据上述提及的第二真实特征图与真实二维图像的位置对应关系，得到特征点在在真实二维图像上的第一预测二维位置。

步骤S28：利用第一预测二维位置，获得真实二维图像与真实三维图像的预测配准结果。

在得到第一预测二维位置以后，即表示由位置预测网络得到了特征点在真实二维图像的预测位置。在此基础上，根据拍摄真实二维图像时的第一投影模型参数，经过换算得到特征点在拍摄真实二维图像时的真实目标上的预测真实三维位置。另外，根据步骤S25的描述可知，特征点在与第一投影图像中真实目标对应的真实三维图像上的实际三维位置也是已知的。因此，可以根据特征点在真实三维图像上的实际三维位置和得到的预测真实三维位置进行计算，进而得到拍摄真实二维图像时的真实目标与真实三维图像之间的预测刚体变换参数，也就得到了拍摄真实二维图像时的真实目标位姿调整为真实三维图像的空间变换过程，得到的预测刚体变换参数即为预测配准结果。

步骤S29：利用实际配准结果和预测配准结果之间的差异，调整真实图像特征提取网络、投影图像特征提取网络和位置预测网络中的至少一个网络的网络参数。

在得到预测配准结果以后，就可以利用预测配准结果与实际配准结果进行比较，再根据比较的差异，来判断相关网络的效果如何。例如，可以预测配准结果与实际配准结果得到相关的损失值，进而根据损失值的大小来调整网络参数。

上述提及了利用虚拟图像对投影图像特征提取网络和位置预测网络进行预训练。基于此，为了使得位置预测网络可以根据真实图像特征提取网络提取的特征信息和投影图像特征提取网络提取的特征信息，得到较好的预测结果，可以利用实际配准结果和预测配准结果之间的差异，作为参考的因素，来调整真实图像特征提取网络的网络参数。

另外，在步骤S23中虽然已经利用第一真实特征图和第一虚拟特征图之间的差异，来调整真实图像特征提取网络的网络参数，为了使得真实图像特征提取网络提取的特征图能够与第一虚拟特征图之间的差异更小，或是使得真实图像特征提取网络提取的特征图能够与位置预测网络配合的更好，此时可以进一步的利用第二真实特征图和第一虚拟特征图之间的差异、实际配准结果和预测配准结果之间的差异，调整真实图像特征提取网络的网络参数，以此来提高训练效果。

另外，预测配准结果与实际配准结果的差异，也反映了位置预测网络的预测的准确度。而位置预测网络的预测的准确度除了和真实图像特征提取网络有关之外，同样也和投影图像特征提取网络和预测位置网络有关。因此，可以根据预测配准结果与实际配准结果的差异，调整投影图像特征提取网络和位置预测网络的网络参数，以此来提高位置预测网络的预测准确度。例如是根据预测配准结果与实际配准结果之间的损失值来调整各个网络的网络参数。

可以理解的，上述对真实图像特征提取网络的网络参数进行调整和对投影图像特征提取网络和预测位置网络的网络参数进行调整，可以同时进行，也可以分开进行，也可以对真实图像特征提取网络的网络参数进行调整，或是只对投影图像特征提取网络和预测位置网络的网络参数进行调整，只要能够提高位置预测网络的预测的准确度，调整网络参数方面不受限制。

在一个具体实施场景中，为了训练得到稳定、可用的图像配准模型，可以在调整图像配准模型的各个网络的网络参数之后，重新执行上述步骤S27及以后的各个步骤，或是重新执行本公开实施例描述的方法，从而不断执行对第一预测二维位置的查找，以及损失值计算，及其网络参数调整过程，直至符合要求。具体的，符合要求可以是损失值小于一个预设损失阈值，且损失值不再减小。

本公开实施例通过利用经过虚拟图像训练的虚拟图像特征提取网络、投影图像特征提取网络和位置预测网络，来与真实图像特征提取网络共同训练，实现了利用虚拟数据的结果监督真实数据训练，提高了训练的效果，也使得经过真实数据训练的图像配准模型能够更加容易应用于真实环境中。另外，对经过预训练的图像配准模型，再利用真实二维图像对图像配准模型进行进一步的训练，可以减少训练需要的大量的真实二维图像，使得训练图像配准模型的成本得以降低，也就更加容易开展相关的训练。

参阅图3，图3是本申请图像配准模型的训练方法第三实施例的第一流程示意图。本公开实施例是关于上述两个实施例提及的对图像配准模型进行预训练的具体过程，包括以下步骤：

步骤31：获取至少一组虚拟二维图像和第二投影图像，以及获取虚拟目标上的特征点分别在虚拟二维图像的第二实际二维位置和在第二投影图像的第三实际二维位置，其中，虚拟二维图像是对虚拟目标进行模拟成像得到的，第二投影图像是对虚拟目标进行模拟投影得到的。

在本公开实施例，虚拟二维图像是对虚拟目标进行模拟成像得到的，第二投影图像是对虚拟目标进行模拟投影得到的。

虚拟目标可以是人为设置的一个目标，可以是真实环境中存在的任何物体，例如是杯子、或是人体各部位的骨头等等。由于真实环境中的物体总是与其他物体有连接关系或是在某方向上重叠的可能，例如人体的骨头，总是与人体的其他骨头或是与其他肌肉组织连接或在某一方向上重叠，因此，在对虚拟目标进行模拟成像时，可以对其他物体也进行模拟成像，使得生成的虚拟二维图像可以更加贴近于在真实环境中生成的图像。通过在虚拟环境中生成虚拟目标，使得图像配准模型可以针对真实环境中存在的物体的进行训练，提高了图像配准模型的应用性。模拟成像的方式具体可以是模拟真实环境中利用三维物体生成二维图像的过程，如利用X光机生成X光图像的过程。在虚拟环境中，可以利用光线追踪的方法，通过一个点光源对模拟对物体进行投影后得到，也即模拟成像的方法包括模拟投影。

另外，在本公开实施例中，第二投影图像是虚拟目标进行模拟投影得到的。第二投影图像可以只包括虚拟目标本身，也就是仅对虚拟目标进行模拟投影，生成只有虚拟目标的第二投影图像。通过生成仅包含虚拟目标的第二投影图像，可以使得图像配准模型针对性的对虚拟目标进行相关的操作，排除其他物体的影响。例如是在后续的特征提取过程中，仅对虚拟目标进行特征提取，保证了提取出的特征信息都是有效的特征信息。模拟投影可以是通过计算机模拟对三维物体投影生成二维图像的过程，可以利用光线追踪等方法实现。

由于虚拟二维图像和第二投影图像是在虚拟环境中生成的，而在虚拟环境中，该虚拟环境下的各种参数都是已知的，例如是生成虚拟二维图像和第二投影图像时对应的投影模型参数。因此，在人为设置的各种参数的情况下，虚拟二维图像和第二投影图像这两种图像的配准的结果都是已知的，精确的，即生成的虚拟二维图像和第二投影图像都是经过自动配准标注的。在虚拟二维图像和第二投影图像已经配准的情况下，即意味着虚拟二维图像上的位置信息可以与第二投影图像上的位置信息对应。例如，当一个点同时出现在虚拟二维图像和第二投影图像上时，该点在虚拟二维图像和第二投影图像的位置信息都是已知的。利用经过配准的虚拟图像来训练图像配准模型，可以使得图像配准模型的配准结果更加准确。

由于虚拟目标和第二投影图像都可以通过模拟对三维物体投影生成二维图像的过程，在模拟的过程中，投影模型参数和虚拟目标的位姿会影响生成的二维图像。因此，对于这两个参数，可以进行相应的设置。虚拟目标的位姿即是虚拟物体的位置和姿态，如虚拟物体在虚拟环境下所处的位置，或是虚拟物体的摆放姿态，如横着放，竖着放或是斜着放等等。投影模型参数则是在模拟投影的过程中，涉及到的各种参数，如点光源的位置，点光源的角度，点光源距离虚拟目标的距离等等。

在一个具体的实施场景中，每组虚拟二维图像和第一投影图像包含利用一第二投影模型参数对一处于预设位姿下的虚拟目标进行模拟成像得到的虚拟二维图像，以及利用同一第二投影模型参数对处于参考位姿下的虚拟目标进行模拟投影得到的第一投影图像。在生成虚拟二维图像时，可以预先设置好第二投影模型参数，再根据设置好的投影模型参数，就能够获得虚拟二维图像。或者预先生成虚拟二维图像，再记录下对应的第二投影模型参数。也就是说，同一组的虚拟二维图像和第一投影图像的第二投影模型参数时相同的。

区别的是，在获得第一投影图像时，定义此时的虚拟目标的位姿为参考位姿，而在获得虚拟二维图像时的虚拟物体的位姿，为预设位姿。参考位姿可以与预设位姿相同，即虚拟物体没有任何变化。参考位姿也可以与预设位姿不相同，即预设位姿下的虚拟目标相对参考位姿下的虚拟目标，在虚拟空间上，可以进行旋转、平移或反转的操作。参考位姿可以是人为指定的一个初始位姿，即预设位姿都是参考位姿经过平移或旋转后得到的。可以理解的，不同组的虚拟二维图像和第二投影图像所对应的第二投影模型参数和/或预设位姿不同。

通过生成多组由不同投影模型参数和/或预设位姿生成的虚拟二维图像和第一投影图像来训练图像配准模型，使得经过训练后的图像配准模型能够对由不同拍摄视角和不同位姿下得到的图像进行配准，提高了图像配准模型的应用性和配准的准确性。

参阅图4，图4是本申请图像配准模型的训练方法第三实施例的第二流程示意图。本步骤中描述的“获取每组虚拟二维图像和第二投影图像”，具体可以包括以下步骤：

步骤S311：以一第二投影模型参数对处于预设位姿的虚拟目标进行模拟成像，得到虚拟二维图像，并记录第二投影模型参数以及预设位姿的虚拟目标相对于参考位姿的刚体变换参数。

预设位姿和参考位姿可以是人为设定的在虚拟的三维空间中的虚拟目标的位置及姿态。而且虚拟目标从参考位姿调整为预设位姿也是可以预先设定的。也即虚拟目标从参考位姿调整为预设位姿的刚体变换过程，是已知的。也就是说能够获取预设位姿的虚拟目标相对于参考位姿的刚体变换参数。

对处于预设位姿下的虚拟目标，根据设置好的第二投影模型参数，进行模拟成像就可以得到虚拟二维图像。

因为后续对图像配准模型的训练时，需要用到该设置好的第二投影模型参数以及虚拟目标从参考位姿调整为预设位姿的刚体变换参数，因此可以在获得虚拟二维图像时，同时记录对应的投影模型参数以及刚体变换参数。

通过记录获取虚拟二维图像和第一投影图像时的投影模型参数和相对于参考位姿的刚体变换参数，在后续训练模型时，能够将这些参数作为对比的依据，来对图像特征模型的网络参数进行，进而提高图像配准模型的训练效果。

步骤S312：以同一第二投影模型参数对处于参考位姿的虚拟目标进行模拟投影，得到第一投影图像第二投影图像。

在获得虚拟二维图像以后，可以进一步利用与获得虚拟二维图像相同的第二投影模型参数，来对虚拟目标进行模拟投影，以获得第一投影图像。

在虚拟环境下，可以生成许多组的虚拟二维图像和第二投影图像。对于不同组的虚拟二维图像和第二投影图像而言，它们的投影模型参数、预设位姿可以都不相同，也可以是部分不同。投影模型参数不同可以是仅改变了投影模型参数的其中一个参数，如点光源的角度(即拍摄角度)，也可以是多个或全部参数都进行改变。预设位姿不同即是不同组的虚拟二维图像对应的虚拟目标物体相比较，存在平移、旋转或反转的刚体变换。通过生成多组由不同投影模型参数、预设位姿的虚拟二维图像和第二投影图像来训练图像配准模型，使得经过训练后的图像配准模型能够对由不同拍摄视角和不同位姿下得到的图像进行配准，提高了图像配准模型的应用性和配准的准确性。

在一个具体的实施场景中，上述的虚拟二维图像可以为模拟X射线图像，第二投影图像为数字重建放射影像图像(DRR图像)。在该实施场景下，上述提及的图像配准模型可以用于医疗领域的图像配准。并且，通过确定虚拟二维图像为模拟X射线图像，第二投影图像为数字重建放射影像图像，使得训练后的图像配准模型可以针对X射线图像和数字重建放射影像图像进行配准，提高了图像配准模型对此类图像配准的训练效果。

通过记录获取虚拟二维图像和第二投影图像时的投影模型参数和预设位姿相对于参考位姿的刚体变换参数，在后续训练图像配准模型时，能够将这些参数作为对比的依据，来对图像配准模型的网络参数进行调整，进而提高图像配准模型的训练效果。

请继续参阅图3。

在获得虚拟二维图像和第二投影图像以后，可以通过选择特征点的方法，利用特征点的位置信息，来对图像配准模型开展训练。例如，可以在虚拟目标上确定至少一个特征点，因为虚拟目标在虚拟环境下的各种参数都是已知的，且生成虚拟二维图像和第二投影图像的第二投影模型参数，以及它们之间刚体变换参数也是已知的，因此就可以确定特征点在虚拟二维图像的第二实际二维位置以及在第二投影图像的第三实际二维位置。第二实际二维位置和第三实际二维位置可以是二维坐标。

对于特征点而言，特征点可以为虚拟二维图像和第二投影图像上的像素点，那么特征点的在虚拟二维图像和第二投影图像上的第二实际二维位置和第三实际二维位置即可以是像素点的位置，如像素点(1,1)、像素点(10,10)等等。

具体的，可以在虚拟环境中建立三维坐标系，以此确定特征点的三维坐标，再通过第二投影模型参数和对应的刚体变换参数，计算得到第二实际二维位置和第三实际二维位置。

参阅图5，图5是本申请图像配准模型的训练方法第三实施例的第三流程示意图。在一个可能的实施方式中，获取虚拟目标上的特征点分别在虚拟二维图像的第二实际二维位置和在第二投影图像的第三实际二维位置，可以通过以下的步骤实现：

步骤S313：确定处于参考位姿的虚拟目标上的至少一个特征点。

在虚拟目标上选取至少一个特征点时，可以在处于参考位姿下的虚拟目标上选取。因为预设位姿的刚体变换参数是以参考位姿为初始位置得到的，因此通过在处于参考位姿下的虚拟目标上选取特征点，可以简化后续计算的步骤，以提高图像配准模型的计算速度。

在一个具体的实施场景中，可以随机选择至少一个特征点。特征点可以位于虚拟目标的内部，也可以是位于虚拟目标的边缘。特征点可以理解为虚拟目标上的任意点。该特征点可以通过分析虚拟目标位置而确定，或者是人工指定，或者是由图像配准模型自行确认。

在一个具体的实施场景中，可以首先识别第二投影图像中对应虚拟目标的目标区域，以确定虚拟目标在第二投影图像中的位置分布。再在目标区域的内部或边缘上选择至少一个投影点，选择的投影点即是虚拟目标上的点。并利用第二投影图像的第二投影模型参数，将至少一个投影点投影至三维空间中，以得到虚拟目标上的至少一个特征点。通过利用第二投影图像的第二投影模型参数，就可以将得到投影点在三维空间中虚拟目标上的点，将得到的点作为特征点。通过在第二投影图像上的虚拟目标的位置分布中，选择投影点来确定特征点，可以保证虚拟目标上的特征点一定会在第二投影图像上，使得后续的图像配准模型训练可以继续进行。

另外，通过在虚拟目标的内部或边缘上选取特征点，使得特征点在后续进行配准训练时，容易查找，以此得以提高图像配准模型的训练效率。

步骤S314：利用虚拟二维图像对应的投影模型参数以及刚体变换参数，确定特征点在虚拟二维图像上的第二实际二维位置；以及，利用第二投影图像对应的投影模型参数，确定特征点在第二投影图像上的第三实际二维位置。

在处于参考位姿的虚拟目标上的确定至少一个特征点后，就可以根据第二投影图像对应的第二投影模型参数，计算得到特征点在第二投影图像上的第三实际二维位置。当在虚拟环境中建立三维坐标系以后，第三实际二维位置可以通过利用特征点在三维坐标和第二投影模型参数，计算得到。

因为，预设位姿相对于参考位姿，还存在着刚体变换，因此在计算第二实际二维位置时，除了需要对应的投影模型参数，还需要对应的刚体变换参数，以此可以得到特征点在虚拟二维图像上的第二实际二维位置。第二实际二维位置可以通过利用特征点在参考位姿的位置，预设位姿相对于参考位姿的刚体变换参数和第二投影模型参数计算得到。

通过确定特征点，在后续对图像配准模型进行训练时，就能够以特征点的位置信息作为比较的依据，以此提高图像配准模型的训练效果。

请继续参阅图3。

步骤S32：将每组虚拟二维图像、第二投影图像以及第三实际二维位置输入至图像配准模型，以得到特征点在虚拟二维图像的第二预测二维位置。

在得到虚拟二维图像、第二投影图像以及第三实际二维位置以后，就可以利用图像配准模型来获得特征点在虚拟二维图像的第二预测二维位置。可以理解的，由于第二预测二维位置是由图像配准模型进行预测(即利用神经网络计算)得到的，预测的结果可能会不准确。在后续的训练过程中，就可以针对第二预测二维位置来对图像配准模型做相关的网络参数调整。

参阅图6，图6是本申请图像配准模型的训练方法第一实施例的第四流程示意图。步骤S32描述的“将每组虚拟二维图像、第二投影图像以及第三实际二维位置输入至图像配准模型，以得到特征点在虚拟二维图像的第二预测二维位置”，具体可以通过以下步骤实现：

步骤S321：利用图像配准模型的投影图像特征提取网络对第二投影图像进行特征提取，得到第二投影特征图。

在利用投影图像特征提取网络对第二投影图像进行特征提取时，定义该网络输出的结果为第二投影特征图。在第二投影特征图中，对应于第二投影特征图上的每个像素点，都会包含对应的特征信息。特征信息例如是特征向量，如128维的特征向量。

步骤S322：利用虚拟图像特征提取网络对虚拟二维图像进行特征提取，得到第二虚拟特征图。

该步骤中，虚拟图像特征提取网络的输出的图像定义为第二虚拟特征图。在第二虚拟特征图中，对应于第二虚拟特征图上的每个像素点，也会包含对应的特征信息。特征信息例如是特征向量，如128维的特征向量。

在一个具体的实施场景中，虚拟二维图像和第二投影图像，以及第二投影特征图和第二虚拟特征图的尺寸大小相同。以此可以直接通过特征点在虚拟二维图像和第二投影图像的像素点位置来分别确定特征点在第二投影特征图和第二虚拟特征图的位置。

通过投影图像特征提取网络和虚拟图像特征提取网络分别得到第二投影特征图和第二虚拟特征图，相比于采用同一特征提取网络对虚拟图像和投影图像进行特征提取，该两个特征提取网络经训练后，能够实现对每种图像的特征提取更加准确。

可以理解的，步骤S321和步骤322的执行顺序不受限制，可以根据实际需要进行调整。

步骤S323：利用图像配准模型的位置预测网络，在第二投影特征图上确定与第三实际二维位置对应第二投影特征位置，在第二虚拟特征图中查找出与第二投影特征图上的第二投影特征位置对应的虚拟特征位置，利用虚拟特征位置得到第二预测二维位置。

基于上述提及的特征图的位置信息与用于提取特征的图像的位置信息的对应关系，位置预测网络就可以利用第三实际二维位置确定其在第二投影特征图上的第二投影特征位置。进而由位置预测网络查找出在第二虚拟特征图中与第二投影特征位置对应的虚拟特征位置，并由虚拟特征位置得到虚拟二维图像上的第二预测二维位置。第二预测二维位置即为特征点在虚拟二维图像上的预测位置。

该步骤描述的“在第二虚拟特征图中查找出与第二投影特征图上的第二投影特征位置对应的虚拟特征位置”可以通过以下的步骤实现：

步骤S3231：在投影特征图中查找出位于投影特征位置的第一特征信息。

该步骤下的投影特征图即为第二投影特征图。该步骤的投影特征位置即为第二投影特征位置。

因为神经网络查找虚拟特征位置是利用特征信息来进行查找的。因此，可以首先在第二投影特征图上确定特征点在该图上的第二投影特征位置，即该步骤的投影特征位置，然后根据该投影特征位置就可以获得其对应的特征信息。

例如，当特征点在第二投影特征图上的投影特征位置为某一像素点的位置(1,1)时，则该投影特征位置的像素点的特征信息即为第一特征信息。同样的，第一特征信息可以是n维的特征向量。

步骤S3232：在虚拟特征图中，搜索出与查找出的第一特征信息间的相似度满足预设相似条件的第二特征信息。

该步骤下的虚拟特征图即为第二虚拟特征图。

在查找出特征点在第二投影特征图上的第一特征信息时，位置预测网络就可以根据第一特征信息搜索出第二虚拟特征图中与第一特征信息间的相似度满足预设相似条件的第二特征信息。

当第一特征信息是特征向量时，则位置预测网络可以根据该特征向量，在第二虚拟特征图中搜索出满足预设相似条件的第二特征信息，第二特征信息同样也为特征向量。

预设条件可以人为设定，例如相似度为90％～95％即表示查找的结果可以接受。当然，预设条件可以是根据应用的场景进行具体的设定，此处不作限制。在一个场景中，预设条件可以是相似度最高所对应的第二特征信息。

步骤S3233：获取搜索出的第二特征信息在虚拟特征图中的虚拟特征位置。

如上，因为特征图中每一个位置都有对应的特征信息，因此，当搜索出第二特征信息时，就可以根据搜索出的第二特征信息查找出其在第二虚拟特征图中对应的虚拟特征位置。

请继续参阅图3。

步骤S33：基于第二实际二维位置和第二预测二维位置，对图像配准模型的网络参数进行调整。

当由位置预测网络得到第二预测二维位置以后，就可以根据第二预测二维位置和第二实际二维位置进行比较，来判断位置预测网络预测得到的第二预测二维位置是否满足要求，进而对图像配准模型的网络参数进行调整。

如果第二预测二维位置与第二实际二维位置相比，二者的差异能够满足要求，则可以认为位置预测网络预测的结果可以接受，例如是二者相比，损失值符合要求，即认为结果可以接受。

基于此，为了能够将图像配准模型训练得符合要求，就需要将第二实际二维位置和第二预测二维位置二者进行比较。可以理解的，虚拟图像特征提取网络和投影图像特征提取网络提取出的特征信息，会直接影响到位置预测网络利用特征信息搜索出第二特征信息及其对应的位置，因此，在训练的过程中，基于比较的结果，有必要对虚拟图像特征提取网络、投影图像特征提取网络提和位置预测网络的网络参数进行调整。使得三个网络可以相互配合，最终使得第二预测二维位置与第二实际二维位置相比，能够满足要求。当然，在一些场景中，也可以是只对三个网络中的部分网络的网络参数进行调整，例如是只对投影图像特征提取网络和位置预测网络的参数进行调整。

为了使得对图像配准模型的训练效果更好，除了利用第二实际二维位置和第二预测二维位置二者进行比较之后，还可以进一步的利用由第二实际二维位置得到的实际三维位置以及由第二预测二维位置得到的预测三维位置来进行比较，并根据二者之间的差异来对图像配准模型的网络参数进行调整。

在一个具体的实施场景中，可以利用对应同一预设位姿的多个虚拟二维图像的第二预测二维位置，确定特征点的预测三维位置。具体的，在得到虚拟二维图像上的第二预测二维位置后，就能得到其对应的预测三维位置。如上述对步骤S31的描述，虚拟二维图像是虚拟目标处于预设位姿下得到的，故由第二预测二维位置得到的预测三维位置即为虚拟二维图像对应的虚拟目标处于预设位姿下的预测三维位置。当然，处于预设位姿下的虚拟目标，得到的多个虚拟二维图像可以是对应多个投影模型参数下得到的，在投影模型参数改变的情况下，其对应的预测三维位置也会相应改变。

在得到特征点的预测三维位置以后，就可以利用特征点的预测三维位置与实际三维位置之间的差异，对图像配准模型的网络参数进行调整。由于在生成第二投影图像与生成虚拟二维图像的投影模型参数均是第二投影模型参数，且第二投影图像是在虚拟目标处于参考位姿下得到的。因此可以根据第二实际二维位置和第二投影模型参数得到特征点在参考位姿下的实际三维位置。在得到实际三维位置以后，就可以将其与预测三维位置进行比较，然后根据二者之间的差异，例如是损失值，来对图像配准模型的网络参数进行调整。

因此，通过利用预测三维位置与实际三维位置之间的差异来对图像配准模型的网络参数进行调整，可以进一步地提高训练效果。

在本公开实施例中，图像配准模型包括虚拟图像特征提取网络、投影图像特征提取网络提和位置预测网络三个神经网络，在调整图像配准模型的网络参数时，即对这三个网络的网络参数进行调整。

在一个具体实施场景中，为了训练得到稳定、可用的图像配准模型，可以在调整图像配准模型的网络参数之后，重新执行上述步骤S32-S33或是重复执行本公开实施例描述的方法，从而不断执行对第二预测二维位置的查找，以及图像配准模型的损失值计算，及其网络参数调整过程，直至符合要求。具体的，符合要求可以是损失值小于一个预设损失阈值，且损失值不再减小。

因此，通过利用虚拟图像来对图像配准模型进行预训练，由于虚拟图像的获取成本较低，可以降低训练成本。并且，虚拟图像可以大批量的生成，因此可以提供大量的训练数据，因而可以提高训练的效果。另外，通过先利用虚拟图像对图像配准模型进行预训练，再利用真实图像来训练，可以提高训练的效果，使得经过真实图像训练后的图像配准模型可以更好的对真实图像进行配准。

在一个具体的实施场景中，上述的参考二维图像和真实二维图像可以为X射线图像，第一投影图像为数字重建放射影像图像(DRR图像)，第二投影图像也可以为数字重建放射影像图像。在该实施场景下，上述提及的图像配准模型可以用于医疗领域的图像配准。并且，通过确定参考二维图像和真实二维图像为X射线图像，第一投影图像为数字重建放射影像图像，使得训练后的图像配准模型可以针对X射线图像和数字重建放射影像图像进行配准，提高了图像配准模型对此类图像配准的训练效果。

在另外一个公开实施例中，上述的真实图像特征提取网络可以直接由上述的虚拟图像特征提取网络得到，也即将虚拟图像特征提取网络作为真实图像特征提取网络。在该公开实施例下，图像配准模型包括虚拟图像特征提取网络(真实图像特征提取网络)、投影图像特征提取网络和位置预测网络。在该公开实施例中，通过直接将虚拟图像特征提取网络作为真实图像特征提取网络，减少神经网络的数量，简化了图像配准模型训练的过程，使得图像配准模型的训练更加容易开展，使得图像配准模型可以更加容易应用于真实环境中。

参阅图7，图7是本申请图像配准方法实施例的流程示意图。在进行图像配准时，可以利用由上述实施例描述的训练方法训练得到的图像配准模型来配准。具体的，该图像配准方法可以包括以下步骤：

步骤S71：获取分别对目标进行成像得到的二维图像和三维图像。

在图像配准时，即意味着需要利用至少两幅图像，从而为它们进行配准。在本公开实施例中，可以首先对目标进行成像，以得到二维图像和三维图像。目标可以是真实环境中各种物体，如杯子、人体内的骨头等等。对目标进行成像，即是利用各种成像手段，如利用照相机、X光机，3D扫描仪等等来对目标进行成像，以获得关于目标的二维图像和三维图像。

二维图像例如是由摄像头进行成像后得到的二维图片，或是由X光机进行成像后得到的X光图像。三维图像例如是由3D扫描仪扫描得到的三维图像，或是有CT得到的三维图像。

步骤S72：利用二维图像的投影模型参数对三维图像进行投影，得到投影图像。

在获得二维图像时，还可以同时获得在对目标进行成像以获得二维图像时的投影模型参数。

得到对目标进行成像以获得二维图像时的投影模型参数后，就可以根据该投影模型参数后，对由目标得到的三维图像进行投影，以获得投影图像。投影的方式可以利用计算机根据影模型参数进行模拟投影。

在一个具体的实施场景中，投影图像和二维图像的尺寸可以相同，例如同为256*256个像素点。

步骤S73：利用图像配准模型对二维图像和投影图像进行处理，得到目标上的特征点在二维图像上的二维位置。

出于配准的需要，可以通过确定特征点的方法，来辅助进行配准。其中。

在一个具体的实施场景中，可以在投影图像上选择特征点，特征点可以选择位于上述目标在投影图像上的区域内部或是边缘，以便于后续查找特征点，以提高配准效率。在投影图像上确定了特征点以后，就可以确定特征点在投影图像上的实际二维位置。

在一个具体的实施场景中，也可以在三维图像上选择特征点，以此可以确定特征点在三维图像上的位置，再根据在对目标进行成像以获得二维图像时的投影模型参数，得到特征点在投影图像上的实际二维位置。例如，可以在三维图像所处的虚拟环境中建立三维坐标系，以此可以确定特征点的三维坐标。再通过投影模型参数，可以计算得到特征点在投影图像上的二维坐标，该二维坐标即是特征点在投影图像上的实际二维位置。

对于二维图像和投影图像而言，特征点在这两个图像的位置也可以用特征点对应的像素点的位置来表示。例如，特征点对应的像素点的位置是(2,2)，则特征点在二维图像和投影图像的位置也为(2,2)。

图像配准模型对二维图像和投影图像进行处理，得到目标上的特征点在二维图像上的二维位置。具体可以包括以下步骤：

步骤S731：图像配准模型分别对二维图像和投影图像进行特征提取，以得到二维图像特征图和投影图像特征图，确定实际二维位置在投影图像特征图上的投影特征位置。

根据上述关于图像配准模型的训练方法的实施例的描述可知，图像配准模型包括真实图像特征提取网络和投影图像特征提取网络。因此，可以利用真实图像特征提取网络对二维图像进行特征提取，以得到二维图像特征图；利用投影图像特征提取网络对投影图像进行特征提取，以得到投影图像特征图。这两个特征图中的像素点都可以包含特征信息，特征信息例如是特征向量。

由于二维图像特征图是由真实图像特征提取网络进行特征提取得到的，投影图像特征图是由投影图像特征提取网络对投影图像进行特征提取得到。因此，特征图上的位置是与二维图像或投影图像上的位置具有对应关系的。关于该对应关系的具体描述，可以参阅步骤S113的相关描述，此处不再赘述。

根据上述的对应关系，就可以根据特征点在投影图像上的实际二维位置，确定特征点在投影图像上的投影特征位置。

步骤S732：在投影图像特征图中查找出位于投影特征位置的第一特征信息，在二维图像特征图搜索出与第一特征信息间的相似度满足预设要求的第二特征信息。

该步骤具体可以参阅步骤S271和步骤S272。不同的是，步骤S271和步骤S272下的第二投影特征图替换为该步骤下的投影图像特征图，第二投影特征位置替换为投影特征位置，第二虚拟特征图替换为二维图像特征图。

步骤S733：获取搜索出的第二特征信息在二维图像特征图的预测特征位置，利用预测特征位置得到二维位置。

该步骤具体可以参阅步骤S1133。不同的是，步骤S1133的虚拟特征位置替换为该步骤的预测特征位置，第二预测二维位置替换为二维位置。

步骤S74：利用二维位置，获得二维图像与三维图像之间的配准结果。

在得到特征点在二维图像上的二维位置以后，便可以根据该二维位置进行相关的运算，以获得二维图像与三维图像之间的配准结果。

具体的，该步骤可以有以下几个步骤实现：

步骤S741：利用投影模型参数将二维位置投影至三维空间，得到特征点的第一三维位置。

利用投影模型参数将二维位置投影至三维空间，得到特征点的第一三维位置，即是利用特征点在二维图像上的二维位置，和利用对目标进行成像以获得二维图像时的投影模型参数，进行相关的计算后，得到特征点在拍摄二维图像时的目标上的三维位置。计算的方法属于本领域的通用方法，此处不再赘述。

步骤S742：获取特征点在三维图像上的第二三维位置。

根据上述的步骤S63的描述，特征点在投影图像上的实际二维位置，在选择特征点时，已经确定了，即特征点在投影图像上的实际二维位置是已知的。基于该实际二维位置，可以利用对目标进行成像以获得二维图像时的投影模型参数，得到特征点在三维图像上的实际三维位置。

步骤S743：利用第一三维位置和第二三维位置，获得三维图像相对于二维图像的刚体变换参数。

在得到特征点在拍摄二维图像时的目标上的三维位置，以及特征点在三维图像上的实际三维位置，就可以根据这两个位置进行计算，得到特征点在拍摄二维图像时的目标与三维图像的刚体变换参数。即可以得到二维图像与三维图像之间的配准结果。

通过上述的图像配准方法，可以对由目标进行成像得到的二维图像和三维图像进行配准，使得二维图像上的点能够与三维图像的点对应起来，在医疗领域、工业领域等等有着巨大的应用前景。

参阅图8，图8是本申请图像配准模型的训练装置实施例的框架示意图。该训练装置80包括：获取模块81、第一特征提取模块82、第二特征提取模块83和调整模块84。

获取模块，用于获取真实二维图像和参考二维图像，其中，真实二维图像为利用成像器件对真实目标进行成像得到的，参考二维图像中的真实目标所在位置与真实二维图像匹配。第一特征提取模块，用于利用图像配准模型的虚拟图像特征提取网络对参考二维图像进行特征提取，得到第一虚拟特征图；其中，图像配准模型已利用虚拟图像进行预训练，且虚拟图像特征提取网络参与预训练，虚拟图像是基于虚拟目标生成的。第二特征提取模块，用于利用图像配准模型的真实图像特征提取网络对真实二维图像进行特征提取，得到第一真实特征图；其中，真实图像特征提取网络未参与预训练。调整模块，用于利用第一真实特征图和第一虚拟特征图之间的差异，调整真实图像特征提取网络的网络参数。

获取模块81用于执行获取参考二维图像，包括：利用真实二维图像与真实三维图像之间的实际配准结果，生成真实目标所在位置与真实二维图像一致的参考二维图像。

训练装置80还包括第三特征提取预测模块和第二调整模块。在调整模块84执行利用第一真实特征图和第一虚拟特征图之间的差异，调整真实图像特征提取网络的网络参数之后，第三特征提取预测模块用于执行利用调整后的真实图像特征提取网络对真实二维图像进行特征提取，得到第二真实特征图；利用真实二维图像的第一投影模型参数对真实三维图像进行投影，得到第一投影图像，并获取真实目标上的特征点在第一投影图像的第一实际二维位置；利用投影图像特征提取网络对第一投影图像进行特征提取，得到第一投影特征图；利用位置预测网络，在第一投影特征图上确定与第一实际二维位置对应的第一投影特征位置，在第二真实特征图中查找出与第一投影特征图上的第一投影特征位置对应的真实特征位置，利用真实特征位置得到特征点在真实二维图像上的第一预测二维位置；利用第一预测二维位置，获得真实二维图像与真实三维图像的预测配准结果。第二调整模块用于执行利用实际配准结果和预测配准结果之间的差异，调整真实图像特征提取网络、投影图像特征提取网络和位置预测网络中的至少一个网络的网络参数。

第二调整模块用于执行利用实际配准结果和预测配准结果之间的差异，调整真实图像特征提取网络的网络参数，包括：利用第二真实特征图和第一虚拟特征图之间的差异、实际配准结果和预测配准结果之间的差异，调整真实图像特征提取网络的网络参数。

训练装置80还包括预训练模块。预训练模块用于执行以下步骤，以对图像配准模型进行预训练：获取至少一组虚拟二维图像和第二投影图像，以及获取虚拟目标上的特征点分别在虚拟二维图像的第二实际二维位置和在第二投影图像的第三实际二维位置，其中，虚拟二维图像是对虚拟目标进行模拟成像得到的，第二投影图像是对虚拟目标进行模拟投影得到的；将每组虚拟二维图像、第二投影图像以及第三实际二维位置输入至图像配准模型，以得到特征点在虚拟二维图像的第二预测二维位置；基于第二实际二维位置和第二预测二维位置，对图像配准模型的网络参数进行调整。

预训练模块用于执行将每组虚拟二维图像、第二投影图像以及第三实际二维位置输入至图像配准模型，以得到特征点在虚拟二维图像的第二预测二维位置，包括：利用图像配准模型的投影图像特征提取网络对第二投影图像进行特征提取，得到第二投影特征图；利用虚拟图像特征提取网络对虚拟二维图像进行特征提取，得到第二虚拟特征图；利用图像配准模型的位置预测网络，在第二投影特征图上确定与第三实际二维位置对应第二投影特征位置，在第二虚拟特征图中查找出与第二投影特征图上的第二投影特征位置对应的虚拟特征位置，利用虚拟特征位置得到第二预测二维位置。预训练模块用于执行基于第二实际二维位置和第二预测二维位置，对图像配准模型的网络参数进行调整，包括：基于第二实际二维位置和第二预测二维位置，对虚拟图像特征提取网络、投影图像特征提取网络和位置预测网络的网络参数进行调整。

第三特征提取预测模块用于执行在第二真实特征图中查找出与第一投影特征图上的第一投影特征位置对应的真实特征位置，包括：在投影特征图中查找出位于投影特征位置的第一特征信息；在虚拟特征图或真实特征图中，搜索出与查找出的第一特征信息间的相似度满足预设相似条件的第二特征信息；获取搜索出的第二特征信息在虚拟特征图中的虚拟特征位置或在真实特征图中的真实特征位置。

预训练模块用于执行在第二虚拟特征图中查找出与第二投影特征图上的第二投影特征位置对应的虚拟特征位置，包括：在投影特征图中查找出位于投影特征位置的第一特征信息；在虚拟特征图或真实特征图中，搜索出与查找出的第一特征信息间的相似度满足预设相似条件的第二特征信息；获取搜索出的第二特征信息在虚拟特征图中的虚拟特征位置或在真实特征图中的真实特征位置。

每组虚拟二维图像和第二投影图像包含利用一第二投影模型参数对一预设位姿下的虚拟目标进行模拟成像得到的虚拟二维图像，以及利用同一第二投影模型参数对参考位姿下的虚拟目标进行模拟投影得到的第二投影图像；其中，不同组虚拟二维图像和第二投影图像所对应的第二投影模型参数和/或预设位姿不同。

预训练模块用于执行以下步骤，以对图像配准模型进行预训练：利用对应同一预设位姿的多个虚拟二维图像的第二预测二维位置，确定特征点的预测三维位置；利用特征点的预测三维位置与实际三维位置之间的差异，对图像配准模型的网络参数进行调整。

预训练模块用于执行获取每组虚拟二维图像和第二投影图像，包括：以一第二投影模型参数对处于预设位姿的虚拟目标进行模拟成像，得到虚拟二维图像，并记录第二投影模型参数以及预设位姿的虚拟目标相对于参考位姿的刚体变换参数；以同一第二投影模型参数对处于参考位姿的虚拟目标进行模拟投影，得到第二投影图像。预训练模块用于执行获取虚拟目标上的特征点分别在虚拟二维图像的第二实际二维位置和在第二投影图像的第三实际二维位置，包括：确定处于参考位姿的虚拟目标上的至少一个特征点；利用虚拟二维图像对应的第二投影模型参数以及刚体变换参数，确定特征点在虚拟二维图像上的第二实际二维位置；以及，利用第二投影图像对应的第二投影模型参数，确定特征点在第二投影图像上的第三实际二维位置。

预训练模块用于执行确定处于参考位姿的虚拟目标上的至少一个特征点，包括：在处于参考位姿的虚拟目标上，随机选取至少一个特征点；或者；识别第二投影图像中对应虚拟目标的目标区域，在目标区域的内部或边缘上选择至少一个投影点，并利用第二投影图像的第二投影模型参数，将至少一个投影点投影至三维空间中，以得到虚拟目标上的至少一个特征点。

参阅图9，图9是本申请图像配准装置实施例的框架示意图。该图像配准装置90包括：获取模块91、投影模块92、预测模块93和配准模块94。获取模块91，用于获取分别对目标进行成像得到的二维图像和三维图像；投影模块92用于利用二维图像的投影模型参数对三维图像进行投影，得到投影图像；预测模块93用于利用图像配准模型对二维图像和投影图像进行处理，得到目标上的特征点在二维图像上的二维位置；配准模块94用于利用二维位置，获得二维图像与三维图像之间的配准结果；其中，图像配准模型是由上述图像配准模型的训练装置的训练得到的。

可选的，上述的配准模块94还可以用于利用投影模型参数将二维位置投影至三维空间，得到特征点的第一三维位置。上述的配准模块94还可以用于获取特征点在三维图像上的第二三维位置。上述的配准模块94还可以用于利用第一三维位置和第二三维位置，输出二维图像相对于三维图像之间的配准结果。

参阅图10，图10为本申请图像配准设备实施例的结构示意框图。该图像配准设备包括处理器101以及与处理器耦接的存储器102。

处理器101用于执行存储器102存储的计算机程序，以执行上述的图像配准模型的训练方法，或者是图像配准方法。

请参阅图11，图11为本申请存储装置实施方式的框架示意图。该存储装置110存储有计算机程序，计算机程序被处理器执行时可实现上述任一实施例中增益调整方法的步骤。

该计算机可读存储介质存储装置具体可以为U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等可以存储计算机程序的介质，或者也可以为存储有该计算机程序的服务器，该服务器可将存储的计算机程序发送给其他设备运行，或者也可以自运行该存储的计算机程序。

可以理解的，在本申请提供的实施例中，所有的实施例都是不冲突的，即是可以相互结合的。在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (17)

1.一种图像配准模型的训练方法，其特征在于，包括：

获取真实二维图像和参考二维图像，其中，真实二维图像为利用成像器件对真实目标进行成像得到的，所述参考二维图像中的真实目标所在位置与所述真实二维图像匹配；

利用所述图像配准模型的虚拟图像特征提取网络对所述参考二维图像进行特征提取，得到第一虚拟特征图；其中，所述图像配准模型已利用虚拟图像进行预训练，且所述虚拟图像特征提取网络参与所述预训练，所述虚拟图像是基于所述虚拟目标生成的；

利用所述图像配准模型的真实图像特征提取网络对所述真实二维图像进行特征提取，得到第一真实特征图；其中，所述真实图像特征提取网络未参与所述预训练；

利用所述第一真实特征图和第一虚拟特征图之间的差异，调整所述真实图像特征提取网络的网络参数。

2.根据权利要求1所述的方法，其特征在于，所述获取参考二维图像，包括：

利用所述真实二维图像与真实三维图像之间的实际配准结果，生成所述真实目标所在位置与所述真实二维图像一致的参考二维图像。

3.根据权利要求2所述的方法，其特征在于，所述图像配准模型还包括参与所述预训练的投影图像特征提取网络和位置预测网络；

在所述利用所述第一真实特征图和第一虚拟特征图之间的差异，调整所述真实图像特征提取网络的网络参数之后，所述方法还包括：

利用调整后的所述真实图像特征提取网络对所述真实二维图像进行特征提取，得到第二真实特征图；

利用所述真实二维图像的第一投影模型参数对真实三维图像进行投影，得到第一投影图像，并获取所述真实目标上的特征点在所述第一投影图像的第一实际二维位置；

利用所述投影图像特征提取网络对所述第一投影图像进行特征提取，得到第一投影特征图；

利用所述位置预测网络，在所述第一投影特征图上确定与所述第一实际二维位置对应的第一投影特征位置，在所述第二真实特征图中查找出与所述第一投影特征图上的所述第一投影特征位置对应的真实特征位置，利用所述真实特征位置得到所述特征点在所述真实二维图像上的第一预测二维位置；

利用所述第一预测二维位置，获得所述真实二维图像与所述真实三维图像的预测配准结果；

利用所述实际配准结果和预测配准结果之间的差异，调整所述真实图像特征提取网络、投影图像特征提取网络和位置预测网络中的至少一个网络的网络参数。

4.根据权利要求3所述的方法，其特征在于，所述利用所述实际配准结果和预测配准结果之间的差异，调整所述真实图像特征提取网络的网络参数，包括：

利用所述第二真实特征图和第一虚拟特征图之间的差异、实际配准结果和预测配准结果之间的差异，调整所述真实图像特征提取网络的网络参数。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括以下步骤，以对所述图像配准模型进行预训练：

获取至少一组虚拟二维图像和第二投影图像，以及获取虚拟目标上的特征点分别在所述虚拟二维图像的第二实际二维位置和在第二投影图像的第三实际二维位置，其中，所述虚拟二维图像是对所述虚拟目标进行模拟成像得到的，所述第二投影图像是对所述虚拟目标进行模拟投影得到的；

将每组所述虚拟二维图像、第二投影图像以及所述第三实际二维位置输入至图像配准模型，以得到所述特征点在所述虚拟二维图像的第二预测二维位置；

基于所述第二实际二维位置和所述第二预测二维位置，对所述图像配准模型的网络参数进行调整。

6.根据权利要求5所述的方法，其特征在于，所述将每组所述虚拟二维图像、第二投影图像以及所述第三实际二维位置输入至图像配准模型，以得到所述特征点在所述虚拟二维图像的第二预测二维位置，包括：

利用所述图像配准模型的投影图像特征提取网络对所述第二投影图像进行特征提取，得到第二投影特征图；

利用所述虚拟图像特征提取网络对所述虚拟二维图像进行特征提取，得到第二虚拟特征图；

利用所述图像配准模型的位置预测网络，在所述第二投影特征图上确定与所述第三实际二维位置对应第二投影特征位置，在所述第二虚拟特征图中查找出与所述第二投影特征图上的所述第二投影特征位置对应的虚拟特征位置，利用所述虚拟特征位置得到所述第二预测二维位置；

所述基于所述第二实际二维位置和所述第二预测二维位置，对所述图像配准模型的网络参数进行调整，包括：

基于所述第二实际二维位置和所述第二预测二维位置，对所述虚拟图像特征提取网络、投影图像特征提取网络和位置预测网络的网络参数进行调整。

7.根据权利要求3或6所述的方法，其特征在于，所述在所述第二虚拟特征图中查找出与所述第二投影特征图上的所述第二投影特征位置对应的虚拟特征位置，或者，所述在所述第二真实特征图中查找出与所述第一投影特征图上的所述第一投影特征位置对应的真实特征位置，包括：

在投影特征图中查找出位于投影特征位置的第一特征信息；

在所述虚拟特征图或真实特征图中，搜索出与所述查找出的第一特征信息间的相似度满足预设相似条件的第二特征信息；

获取所述搜索出的第二特征信息在所述虚拟特征图中的虚拟特征位置或在所述真实特征图中的真实特征位置。

8.根据权利要求5至6任一项所述的方法，其特征在于，每组所述虚拟二维图像和第二投影图像包含利用一第二投影模型参数对一预设位姿下的所述虚拟目标进行模拟成像得到的虚拟二维图像，以及利用同一所述第二投影模型参数对参考位姿下的所述虚拟目标进行模拟投影得到的第二投影图像；其中，不同组所述虚拟二维图像和第二投影图像所对应的所述第二投影模型参数和/或所述预设位姿不同。

9.根据权利要求8所述的方法，其特征在于，所述方法还包括以下步骤，以对所述图像配准模型进行预训练：

利用对应同一所述预设位姿的多个虚拟二维图像的第二预测二维位置，确定所述特征点的预测三维位置；

利用所述特征点的预测三维位置与实际三维位置之间的差异，对所述图像配准模型的网络参数进行调整。

10.根据权利要求8所述的方法，其特征在于，获取每组所述虚拟二维图像和第二投影图像，包括：

以一所述第二投影模型参数对处于预设位姿的所述虚拟目标进行模拟成像，得到所述虚拟二维图像，并记录所述第二投影模型参数以及所述预设位姿的虚拟目标相对于参考位姿的刚体变换参数；

以同一所述第二投影模型参数对处于所述参考位姿的所述虚拟目标进行模拟投影，得到所述第二投影图像；

所述获取虚拟目标上的特征点分别在所述虚拟二维图像的第二实际二维位置和在第二投影图像的第三实际二维位置，包括：

确定处于所述参考位姿的所述虚拟目标上的至少一个特征点；

利用所述虚拟二维图像对应的所述第二投影模型参数以及所述刚体变换参数，确定所述特征点在所述虚拟二维图像上的第二实际二维位置；以及，利用所述第二投影图像对应的所述第二投影模型参数，确定所述特征点在所述第二投影图像上的第三实际二维位置。

11.根据权利要求10所述的方法，其特征在于，所述确定处于所述参考位姿的所述虚拟目标上的至少一个特征点，包括：

在所述处于所述参考位姿的虚拟目标上，随机选取至少一个特征点；或者；

识别所述第二投影图像中对应所述虚拟目标的目标区域，在所述目标区域的内部或边缘上选择至少一个投影点，并利用所述第二投影图像的所述第二投影模型参数，将所述至少一个投影点投影至三维空间中，以得到所述虚拟目标上的至少一个特征点。

12.一种图像配准方法，其特征在于，包括：

获取分别对目标进行成像得到的二维图像和三维图像；

利用所述二维图像的投影模型参数对所述三维图像进行投影，得到投影图像；

利用图像配准模型对所述二维图像和投影图像进行处理，得到所述目标上的特征点在所述二维图像上的二维位置；

利用所述二维位置，获得所述二维图像与所述三维图像之间的配准结果；

其中，所述图像配准模型是由权利要求1至10任一项方法训练得到的。

13.根据权利要求12所述的方法，其特征在于，所述利用所述二维位置，获得所述二维图像与所述三维图像之间的配准结果，包括：

利用所述投影模型参数将所述二维位置投影至三维空间，得到所述特征点的第一三维位置；

获取所述特征点在所述三维图像上的第二三维位置；

利用所述第一三维位置和所述第二三维位置，获得所述二维图像相对于所述三维图像之间的配准结果。

14.一种图像配准模型的训练装置，其特征在于，包括：

获取模块，用于获取真实二维图像和参考二维图像，其中，所述真实二维图像为利用成像器件对真实目标进行成像得到的，所述参考二维图像中的真实目标所在位置与所述真实二维图像匹配；

第一特征提取模块，用于利用所述图像配准模型的虚拟图像特征提取网络对所述参考二维图像进行特征提取，得到第一虚拟特征图；其中，所述图像配准模型已利用虚拟图像进行预训练，且所述虚拟图像特征提取网络参与所述预训练，所述虚拟图像是基于所述虚拟目标生成的；

第二特征提取模块，用于利用所述图像配准模型的真实图像特征提取网络对所述真实二维图像进行特征提取，得到第一真实特征图；其中，所述真实图像特征提取网络未参与所述预训练；

调整模块，用于利用所述第一真实特征图和第一虚拟特征图之间的差异，调整所述真实图像特征提取网络的网络参数。

15.一种图像配准装置，其特征在于，包括：

获取模块，用于获取分别对目标进行成像得到的二维图像和三维图像；

投影模块，用于利用所述二维图像的投影模型参数对所述三维图像进行投影，得到投影图像；

预测模块，用于利用图像配准模型对所述二维图像和投影图像进行处理，得到所述目标上的特征点在所述二维图像上的二维位置；

配准模块，用于利用所述二维位置，获得所述二维图像与所述三维图像之间的配准结果；

其中，图像配准模型是由上述权利要求14所述的装置训练得到的。

16.一种图像配准设备，其特征在于，包括相互耦接的处理器和存储器，其中，

所述处理器用于执行所述存储器存储的计算机程序以执行权利要求1至11任一项所述的图像配准模型的训练方法，或者权利要求12至13任一项所述的图像配准方法。

17.一种计算机可读存储介质，其特征在于，存储有能够被处理器运行的计算机程序，所述计算机程序用于实现如权利要求1-11或12-13中任一项所述方法。

Images