CN114693750A - 一种图像配准方法及装置 - Google Patents

一种图像配准方法及装置 Download PDF

Info

Publication number
CN114693750A
CN114693750A CN202011605894.9A CN202011605894A CN114693750A CN 114693750 A CN114693750 A CN 114693750A CN 202011605894 A CN202011605894 A CN 202011605894A CN 114693750 A CN114693750 A CN 114693750A
Authority
CN
China
Prior art keywords
image
style
conversion
model
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011605894.9A
Other languages
English (en)
Inventor
何滨
仉鹏
顾静军
徐琦
李先红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Santan Medical Technology Co Ltd
Original Assignee
Hangzhou Santan Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Santan Medical Technology Co Ltd filed Critical Hangzhou Santan Medical Technology Co Ltd
Priority to CN202011605894.9A priority Critical patent/CN114693750A/zh
Publication of CN114693750A publication Critical patent/CN114693750A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本发明实施例提供了一种图像配准方法及装置，应用于图像处理技术领域，获得X光图像与CT图像间的初始旋转参数与初始平移参数；基于初始旋转参数与初始平移参数，将CT图像投影到二维平面，得到投影图像；将第一图像由第一图像风格转换为第二图像的第二图像风格，得到第三图像；确定第四图像中与第五图像相匹配的目标图像区域；根据目标图像区域在第四图像中的位置，更新初始平移参数中的横向参数与纵向参数，得到包含初始旋转参数、更新后的初始平移参数的图像配准结果。应用本发明实施例提供的方案可以对X光图像与CT图像进行图像配准。

Description

一种图像配准方法及装置
技术领域
本发明涉及图像处理技术领域，特别是涉及一种图像配准方法及装置。
背景技术
在医学治疗过程中，图像引导治疗是常见的治疗方法，医生可以通过2D的X光图像或3D的CT(Computed Tomography，电子计算机断层扫描)图像确认对象的患病位置。由于生成X光图像与生成CT图像的原理不同，X光图像能较为清晰的显示肌肉等组织，CT图像能较为清晰的显示骨骼等组织，所以，在图像引导治疗的过程中医生往往需要综合X光图像与CT图像所显示的信息进行治疗。
但X光图像是2D图像，CT图像是3D图像，两者的维度不同，不便于在电子设备上同时向医生显示上述两种图像。因此需要进行图像转换，将X光图像由2D图像转换为3D图像，或将CT图像由3D图像转换为2D图像。在进行图像转换的过程中首先需要对X光图像和CT图像进行图像配准，然后基于配准结果进行图像转换。
因此，需要提供一种图像配准方案。
发明内容
本发明实施例的目的在于提供一种图像配准方法及装置，以对X光图像与CT图像进行图像配准。具体技术方案如下：
第一方面，本发明实施例提供了一种图像配准方法，上述方法包括：
获得X光图像与CT图像间的初始旋转参数与初始平移参数；
基于所述初始旋转参数与初始平移参数，将所述CT图像投影到二维平面，得到投影图像；
将第一图像由第一图像风格转换为第二图像的第二图像风格，得到第三图像，其中，所述第一图像为所述X光图像或所述投影图像，所述第二图像为：所述X光图像与投影图像中除所述第一图像之外的图像；
确定第四图像中与第五图像相匹配的目标图像区域，其中，所述第四图像为：所述第三图像与第二图像中尺寸最大的图像，所述第五图像为：所述第三图像与第二图像中除所述第四图像之外的图像；
根据目标图像区域在所述第四图像中的位置，更新所述初始平移参数中的横向参数与纵向参数，得到包含所述初始旋转参数、更新后的初始平移参数的图像配准结果。
本发明的一个实施例中，所述将第一图像由第一图像风格转换为第二图像的第二图像风格，得到第三图像，包括：
将所述第一图像输入预先训练的图像风格转换模型，对第一图像进行图像风格转换，得到图像风格为第二图像风格的第三图像；
其中，所述图像风格转换模型为：采用预设训练方式进行模型训练得到的调整网络参数后的第一转换模型，所述预设训练方式为：对第一转换模型、第二转换模型、第一判别模型与第二判别模型共同进行生成对抗训练的训练方式；
所述第一转换模型为：用于将图像的图像风格转换为第二图像风格的神经网络模型，所述第二转换模型为：用于将图像的风格转换为第一图像风格的神经网络模型，所述第一判别模型为：用于判别图像的图像风格是否为第一图像风格的神经网络模型，所述第二判别模型为：用于判别图像的图像风格是否为第二图像风格的神经网络模型。
本发明的一个实施例中，通过以下方式训练得到所述图像风格转换模型：
将第一样本图像输入第一判别模型，判别所述第一样本图像的图像风格是否为第一图像风格，得到第一判别结果，其中，所述第一样本图像的图像风格为：第一图像风格；
将第二样本图像输入第二转换模型，对所述第二样本图像进行图像风格转换，得到第一转换图像；
将第一转换图像输入第一判别模型，判别所述第一转换图像的图像风格是否为第一图像风格，得到第二判别结果；
根据所述第一判别结果与第二判别结果，计算第一损失，其中，所述第一损失表征：所述第一判别模型判别图像风格和所述第二转换模型进行图像风格转换的损失；
将第二样本图像输入第二判别模型，判别所述第二样本图像的图像风格是否为第二图像风格，得到第三判别结果，其中，所述第二样本图像的图像风格为：第二图像风格；
将第一样本图像输入第一转换模型，对所述第一样本图像进行图像风格转换，得到第二转换图像；
将第二转换图像输入第二判别模型，判别所述第二转换图像的图像风格是否为第二图像风格，得到第四判别结果；
根据所述第三判别结果与第四判别结果，计算第二损失，其中，所述第二损失表征：所述第二判别模型判别图像风格和所述第一转换模型进行图像风格转换的损失；
将所述第一转换图像输入所述第一转换模型，获得第三转换图像；
将所述第二转换图像输入所述第二转换模型，获得第四转换图像；
根据所述第三转换图像与第二样本图像、所述第四转换图像与第一样本图像，计算第三损失，其中，所述第三损失表征：所述第一转换模型进行图像风格转换与第二转换模型进行图像风格转换的损失；
根据所述第一损失、第二损失与第三损失计算总损失；
根据所述总损失调整所述第一转换模型、第二转换模型、第一判别模型与第二判别模型的参数，在不满足收敛条件的情况下，将新的图像风格为第一图像风格的图像作为第一样本图像，将新的图像风格为第二图像风格的图像作为第二样本图像，返回执行所述将第一样本图像输入第一判别模型，判别所述第一样本图像的图像风格是否为第一图像风格，得到第一判别结果的步骤，直至满足预设的模型收敛条件；
将调整参数后的第一转换模型确定为所述图像风格转换模型。
本发明的一个实施例中，通过以下方式获得所述初始旋转参数：
提取X光图像的图像特征；
将X光图像的图像特征与历史X光图像的图像特征进行特征对比，确定与X光图像的特征相似度最高的目标历史X光图像；
将所述目标历史X光图像对应的历史旋转参数确定为所述初始旋转参数。
本发明的一个实施例中，通过以下方式获得所述初始平移参数中的高度参数：
识别X光图像中对象所在的第一对象区域，并识别CT图像中对象所在的第二对象区域；
根据所述第一对象区域的尺寸与第二对象区域的尺寸，计算所述第一对象区域与第二对象区域间的尺寸比例；
根据所述尺寸比例和采集所述X光图像的设备的焦距，计算所述初始平移参数中的高度参数。
第二方面，本发明实施例提供了一种图像配准装置，所述装置包括：
参数获得模块，用于获得X光图像与CT图像间的初始旋转参数与初始平移参数；
图像投影模块，用于基于所述初始旋转参数与初始平移参数，将所述CT图像投影到二维平面，得到投影图像；
风格转换模块，用于将第一图像由第一图像风格转换为第二图像的第二图像风格，得到第三图像，其中，所述第一图像为所述X光图像或所述投影图像，所述第二图像为：所述X光图像与投影图像中除所述第一图像之外的图像；
图像匹配模块，用于确定第四图像中与第五图像相匹配的目标图像区域，其中，所述第四图像为：所述第三图像与第二图像中尺寸最大的图像，所述第五图像为：所述第三图像与第二图像中除所述第四图像之外的图像；
参数更新模块，用于根据目标图像区域在所述第四图像中的位置，更新所述初始平移参数中的横向参数与纵向参数，得到包含所述初始旋转参数、更新后的初始平移参数的图像配准结果。
本发明的一个实施例中，所述风格转换模块，具体用于：
将所述第一图像输入预先训练的图像风格转换模型，对第一图像进行图像风格转换，得到图像风格为第二图像风格的第三图像；
其中，所述图像风格转换模型为：采用预设训练方式进行模型训练得到的调整网络参数后的第一转换模型，所述预设训练方式为：对第一转换模型、第二转换模型、第一判别模型与第二判别模型共同进行生成对抗训练的训练方式；
所述第一转换模型为：用于将图像的图像风格转换为第二图像风格的神经网络模型，所述第二转换模型为：用于将图像的风格转换为第一图像风格的神经网络模型，所述第一判别模型为：用于判别图像的图像风格是否为第一图像风格的神经网络模型，所述第二判别模型为：用于判别图像的图像风格是否为第二图像风格的神经网络模型。
本发明的一个实施例中，通过模型训练模块训练得到所述图像风格转换模型；
所述模型训练模块，包括：
第一判别子模块，用于将第一样本图像输入第一判别模型，判别所述第一样本图像的图像风格是否为第一图像风格，得到第一判别结果，其中，所述第一样本图像的图像风格为：第一图像风格；
第一转换子模块，用于将第二样本图像输入第二转换模型，对所述第二样本图像进行图像风格转换，得到第一转换图像；
第二判别子模块，用于将第一转换图像输入第一判别模型，判别所述第一转换图像的图像风格是否为第一图像风格，得到第二判别结果；
第一损失计算子模块，用于根据所述第一判别结果与第二判别结果，计算第一损失，其中，所述第一损失表征：所述第一判别模型判别图像风格和所述第二转换模型进行图像风格转换的损失；
第三判别子模块，用于将第二样本图像输入第二判别模型，判别所述第二样本图像的图像风格是否为第二图像风格，得到第三判别结果，其中，所述第二样本图像的图像风格为：第二图像风格；
第二转换子模块，用于将第一样本图像输入第一转换模型，对所述第一样本图像进行图像风格转换，得到第二转换图像；
第四判别子模块，用于将第二转换图像输入第二判别模型，判别所述第二转换图像的图像风格是否为第二图像风格，得到第四判别结果；
第二损失计算子模块，用于根据所述第三判别结果与第四判别结果，计算第二损失，其中，所述第二损失表征：所述第二判别模型判别图像风格和所述第一转换模型进行图像风格转换的损失；
第三转换子模块，用于将所述第一转换图像输入所述第一转换模型，获得第三转换图像；
第四转换子模块，用于将所述第二转换图像输入所述第二转换模型，获得第四转换图像；
第三损失计算子模块，用于根据所述第三转换图像与第二样本图像、所述第四转换图像与第一样本图像，计算第三损失，其中，所述第三损失表征：所述第一转换模型进行图像风格转换与第二转换模型进行图像风格转换的损失；
总损失计算子模块，用于根据所述第一损失、第二损失与第三损失计算总损失；
参数调整子模块，用于根据所述总损失调整所述第一转换模型、第二转换模型、第一判别模型与第二判别模型的参数，在不满足收敛条件的情况下，将新的图像风格为第一图像风格的图像作为第一样本图像，将新的图像风格为第二图像风格的图像作为第二样本图像，触发执行所述第一判别子模块，直至满足预设的模型收敛条件；
模型确定子模块，用于将调整参数后的第一转换模型确定为所述图像风格转换模型。
本发明的一个实施例中，通过以下旋转参数获得子模块获得所述初始旋转参数；
所述旋转参数获得子模块，具体用于：
提取X光图像的图像特征；
将X光图像的图像特征与历史X光图像的图像特征进行特征对比，确定与X光图像的特征相似度最高的目标历史X光图像；
将所述目标历史X光图像对应的历史旋转参数确定为所述初始旋转参数。
本发明的一个实施例中，通过以下高度参数获得子模块获得所述初始平移参数中的高度参数；
所述高度参数获得子模块，具体用于：
识别X光图像中对象所在的第一对象区域，并识别CT图像中对象所在的第二对象区域；
根据所述第一对象区域的尺寸与第二对象区域的尺寸，计算所述第一对象区域与第二对象区域间的尺寸比例；
根据所述尺寸比例和采集所述X光图像的设备的焦距，计算所述初始平移参数中的高度参数。
第三方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现第一方面任一所述的方法步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现第一方面任一所述的方法步骤。
第五方面，本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面任一所述的方法步骤。
本发明实施例有益效果：
应用本发明实施例提供的方案对X光图像与CT图像进行图像配准的情况下，首先获得初始旋转参数与初始平移参数，基于上述初始旋转参数与初始平移参数将CT图像投影到二维平面，得到投影图像。将X光图像与投影图像中的第一图像由第一图像风格转换为第一图像之外的第二图像的第二图像风格，得到第三图像。在第四图像中确定与第五图像相匹配的目标图像区域，根据目标图像区域在第四图像中的位置，计算初始平移参数中的横向参数与纵向参数，并更新初始平移参数中的横向参数与纵向参数。从而得到包含初始旋转参数、更新后的初始平移参数的图像配准结果。
由以上可见，先根据初始旋转参数与初始平移参数将CT图像投影到二维平面。但由于CT图像与X光图像属于图像风格不同的图像，CT图像的投影图像与X光图像中的像素点即使对应现实场景中的相同位置，像素点的相似度依旧不高。因此本发明实施例提供的方案在进行图像匹配之前，先将X光图像转换为投影图像的图像风格，或将投影图像转换为X光图像的图像风格，使得两者的图像风格相同。因此可以提高图像匹配的准确度，进而可以提高计算得到的横向参数与纵向参数的准确度。进而使用计算得到的横向参数与纵向参数对初始平移参数进行更新，将初始旋转参数与更新后的初始平移参数作为图像配准结果，可以实现图像配准。并且由于计算得到的横向参数与纵向参数的准确度较高，因此得到的图像配准结果较准确。
另外，由于将CT图像投影到二维平面所需要的计算资源较少，对图像进行图像风格转换所需要的计算资源同样较少，对图像进行图像匹配所需要的计算资源也较少，因此应用本发明实施例进行图像配准，所需要的计算资源较少，进行图像配准花费的时间较短。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种图像配准方法的流程示意图；
图2为本发明实施例提供的一种第一对象区域与第二对象区域之间尺寸关系示意图；
图3为本发明实施例提供的一种图像配准装置的结构示意图；
图4为本发明实施例提供的一种模型训练模块的结构示意图；
图5为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了在X光图像与CT图像之间进行图像转换，需要先对X光图像与CT图像进行图像配准，本发明实施例提供了一种图像配准方法及装置。
本发明的一个实施例中，提供了一种图像配准方法，上述方法包括：
获得X光图像与CT图像间的初始旋转参数与初始平移参数。
基于上述初始旋转参数与初始平移参数，将上述CT图像投影到二维平面，得到投影图像。
将第一图像由第一图像风格转换为第二图像的第二图像风格，得到第三图像。其中，上述第一图像为上述X光图像或上述投影图像，上述第二图像为：上述X光图像与投影图像中除上述第一图像之外的图像。
确定第四图像中与第五图像相匹配的目标图像区域。其中，上述第四图像为：上述第三图像与第二图像中尺寸最大的图像，上述第五图像为：上述第三图像与第二图像中除上述第四图像之外的图像。
根据目标图像区域在上述第四图像中的位置，更新上述初始平移参数中的横向参数与纵向参数，得到包含上述初始旋转参数、更新后的初始平移参数的图像配准结果。
由以上可见，先根据初始旋转参数与初始平移参数将CT图像投影到二维平面。但由于CT图像与X光图像属于图像风格不同的图像，CT图像的投影图像与X光图像中的像素点即使对应现实场景中的相同位置，像素点的相似度依旧不高。因此本发明实施例提供的方案在进行图像匹配之前，先将X光图像转换为投影图像的图像风格，或将投影图像转换为X光图像的图像风格，使得两者的图像风格相同。因此可以提高图像匹配的准确度，进而可以提高计算得到的横向参数与纵向参数的准确度。进而使用计算得到的横向参数与纵向参数对初始平移参数进行更新，将初始旋转参数与更新后的初始平移参数作为图像配准结果，可以实现图像配准。并且由于计算得到的横向参数与纵向参数的准确度较高，因此得到的图像配准结果较准确。
另外，由于将CT图像投影到二维平面所需要的计算资源较少，对图像进行图像风格转换所需要的计算资源同样较少，对图像进行图像匹配所需要的计算资源也较少，因此应用本发明实施例进行图像配准，所需要的计算资源较少，进行图像配准花费的时间较短。
下面通过具体的实施例对本发明实施例提供的图像配准方法及装置进行说明。
参见图1，本发明实施例提供了一种图像配准方法的流程示意图，上述方法包括以下步骤S101-S105。
S101：获得X光图像与CT图像间的初始旋转参数与初始平移参数。
具体的，上述初始旋转参数包括横向旋转角度Δθx、纵向旋转角度Δθy、高度方向旋转角度Δθz，初始平移参数包括横向参数Δx、纵向参数Δy与高度参数Δz。
基于上述初始旋转参数与初始平移参数，可以将X光图像中像素点的二维坐标转换为三维坐标，或将CT图像中像素点的三维坐标转换为二维坐标。
本发明的一个实施例中，由于采集上述X光图像的采集设备与采集CT图像的采集设备为结构相对固定的设备，在采集图像的过程中两者之间的参数相对固定。也就是，上述X光图像与CT图像间的初始旋转参数与初始平移参数相对固定，因此上述初始旋转参数与初始平移参数可以为固定的预设参数。
具体的，可以预先设置初始旋转参数与采集对象的X光图像或CT图像时对象的姿势之间的对应关系，从而通过对象的姿势，获得上述初始旋转参数。例如，侧卧姿势对应第一旋转参数，仰卧姿势对应第二旋转参数，俯卧姿势对应第三旋转参数等。
另外，本发明实施例也可以通过步骤A-步骤C获得上述初始旋转参数，在此暂不详述。
此外，上述平移参数中的高度参数除了可以是预设参数之外，还可以通过步骤D-步骤F实现，在此暂不详述。
再者，由于通过接下来的步骤S102-S105会对初始平移参数中的横向参数与纵向参数进行更新，因此上述初始平移参数中初始的横向参数与纵向参数可以为任意的预设值，待后续更新为较准确的值即可。初始的横向参数与纵向参数可以相同，也可以不同。例如，上述初始的横向参数与纵向参数可以均为0。
S102：基于上述初始旋转参数与初始平移参数，将上述CT图像投影到二维平面，得到投影图像。
具体的，可以通过DRR(Digitally Reconstructed Radiograph，数字重建影像)算法将CT图像投影到二维平面，即将CT图像中各个像素点的三维坐标转换为二维坐标，上述初始旋转参数与初始平移参数为上述DRR算法所使用的参数。另外，也可以通过其他现有技术中的图像转换算法将CT图像投影到二维平面，从而将CT图像由三维图像转换为二维图像。
S103：将第一图像由第一图像风格转换为第二图像的第二图像风格，得到第三图像。
其中，上述第一图像为上述X光图像或上述投影图像。
在上述第一图像为X光图像的情况下，上述第一图像风格为X光图像的图像风格。由于与投影图像相比，X光图像中对象的肌肉、淋巴等组织显示的更加清晰，因此X光图像的第一图像风格为肌肉、淋巴等组织显示的更加清晰的风格。
在上述第一图像为投影图像的情况下，上述第一图像风格为投影图像的图像风格。由于与X光图像相比，CT图像中对象的骨骼等组织显示的更加清晰，因此CT图像的投影图像中对象的骨骼等组织显示的更加清晰，因此投影图像的第一图像风格为骨骼等组织显示的更加清晰的风格。
具体的，上述对象可以为人、动物等，也可以为人或动物的一部分，如人的腿部、动物的头部等。
另外，上述第二图像为：上述X光图像与投影图像中除上述第一图像之外的图像。
具体的，在上述第一图像为X光图像的情况下，上述第二图像为投影图像，即上述将第一图像由第一图像风格转换为第二图像的第二图像风格，表示将X光图像由X光图像的图像风格转换为投影图像的图像风格。则转换得到的第三图像与第二图像均为投影图像的图像风格，两者的图像风格一致。
在上述第一图像为投影图像的情况下，上述第二图像为X光图像，即上述将第一图像由第一图像风格转换为第二图像的第二图像风格，表示将投影图像由投影图像的图像风格转换为X光图像的图像风格。则转换得到的第三图像与第二图像均为X光图像的图像风格，两者的图像风格一致。
由以上可见，无论第一图像为X光图像还是投影图像，通过上述步骤S103得到的第三图像的图像风格均与第二图像相同。
另外，由于在通常情况下X光图像的尺寸比CT图像的投影图像的尺寸小，不同的X光图像的尺寸相差较小，不同的投影图像的尺寸相差较大。因此将X光图像作为第一图像，将X光图像的图像风格转换为投影图像的图像风格，可以使得生成的第三图像之间的尺寸相差较小，规格较统一。
本发明的一个实施例中，可以通过以下步骤G实现上述步骤S103。
步骤G：将上述第一图像输入预先训练的图像风格转换模型，对第一图像进行图像风格转换，得到图像风格为第二图像风格的第三图像。
其中，上述图像风格转换模型为：采用预设训练方式进行模型训练得到的调整网络参数后的第一转换模型。
上述预设训练方式为：对第一转换模型、第二转换模型、第一判别模型与第二判别模型共同进行生成对抗训练的训练方式。
上述第一转换模型为：用于将图像的图像风格转换为第二图像风格的神经网络模型。上述第二转换模型为：用于将图像的风格转换为第一图像风格的神经网络模型。
具体的，上述第一转换模型与第二转换模型可以为结构相同的神经网络模型，也可以为结构不同的神经网络模型。例如，上述第一转换模型和/或第二转换模型可以为包含9个块的ResNet网络。
上述第一判别模型为：用于判别图像的图像风格是否为第一图像风格的神经网络模型。上述第二判别模型为：用于判别图像的图像风格是否为第二图像风格的神经网络模型。
上述第一判别模型与第二判别模型也可以为结构相同的神经网络模型，也可以为结构不同的神经网络模型。例如，上述第一判别模型和/或第二判别模型可以为70×70的PatchGAN(Patch-based discriminator of GANs，马尔可夫判别网络)，即根据第一判别模型或第二判别模型输出的结果进行回溯，最终对应到所输入的图像中70×70的区域。
在上述预设训练方式为生成对抗训练的训练方式的情况下，上述第一转换模型与第二转换模型可以被称为生成器，训练得到的图像风格转换模型可以被称为对抗网络，上述第一判别模型与第二判别模型可以被称为判别器。
本发明的一个实施例中，可以按照生成对象训练的方式，通过步骤H1-步骤H14训练得到上述图像风格转换模型，在此暂不详述。
具体的，上述生成对抗训练可以为以生成对抗训练为基础的各类训练方式，如循环对抗训练，则训练得到的图像风格转换模型可以被称为循环对抗网络，也可以为contrastive-unpaired-translation等其他以生成对抗训练为基础的各类训练方式。
除此之外，上述预设训练方式也可以为：深度学习等其他模型训练方式。
S104：确定第四图像中与第五图像相匹配的目标图像区域。
其中，上述第四图像为：上述第三图像与第二图像中尺寸最大的图像。
上述第五图像为：上述第三图像与第二图像中除上述第四图像之外的图像。
具体的，由于CT图像的尺寸往往较大，因此CT图像的投影图像的尺寸往往大于X光图像。因此上述第四图像往往为投影图像，或对投影图像进行图像风格转换后得到的第三图像，上述第五图像往往为X光图像，或对X光图像进行图像风格转换后得到的第三图像。
本发明的一个实施例中，可以通过模板匹配的方式确定第四图像中与第五图像相匹配的目标图像区域，即以第五图像作为模板，依次将第四图像中与模板尺寸相同的各个图像区域与模板之间进行像素的像素值对比，确定其中相似度最高的图像区域作为目标图像区域。
S105：根据目标图像区域在上述第四图像中的位置，更新上述初始平移参数中的横向参数与纵向参数，得到包含上述初始旋转参数、更新后的初始平移参数的图像配准结果。
其中，上述目标图像区域在上述第四图像中的位置可以以目标图像区域边缘像素点的坐标表示，例如，目标图像区域左上角像素点的坐标、右下角像素点的坐标或目标图像区域所有边缘像素点的坐标的集合。
本发明的一个实施例中，可以根据目标图像区域在上述第四图像中的位置，确定目标横向参数与目标纵向参数，以所确定的目标横向参数与目标纵向参数分别替换上述初始平移参数中原始的横向参数与纵向参数，实现对初始平移参数中横向参数与纵向参数的更新。
具体的，由于上述第三图像往往为矩形图像，因此上述目标图像区域同样为矩形图像区域。并且在大多数情况下，在以坐标值表示图像中像素点的位置的情况下，往往是以图像左上角的坐标点为原点，因此目标图像区域左上角像素点的坐标值可以表示目标图像区域与第四图像左上角的像素点之间在水平面上的位置关系。相当于目标图像区域与第四图像之间在水平面上的位置关系，也就是第五图像与第四图像之间在水平面上的位置关系。由于初始平移参数中的横向参数与纵向参数决定了投影图像在水平面上平移情况，因此可以将目标图像区域左上角的像素点的横坐标值作为上述横向参数，将纵坐标值作为上述纵向参数。
另外，可以将上述初始旋转参数、更新横向参数与纵向参数之后的初始平移参数作为上述图像配准结果。
由以上可见，先根据初始旋转参数与初始平移参数将CT图像投影到二维平面。但由于CT图像与X光图像属于图像风格不同的图像，CT图像的投影图像与X光图像中的像素点即使对应现实场景中的相同位置，像素点的相似度依旧不高。因此本发明实施例提供的方案在进行图像匹配之前，先将X光图像转换为投影图像的图像风格，或将投影图像转换为X光图像的图像风格，使得两者的图像风格相同。因此可以提高图像匹配的准确度，进而可以提高计算得到的横向参数与纵向参数的准确度。进而使用计算得到的横向参数与纵向参数对初始平移参数进行更新，将初始旋转参数与更新后的初始平移参数作为图像配准结果，可以实现图像配准。并且由于计算得到的横向参数与纵向参数的准确度较高，因此得到的图像配准结果较准确。
另外，由于将CT图像投影到二维平面所需要的计算资源较少，对图像进行图像风格转换所需要的计算资源同样较少，对图像进行图像匹配所需要的计算资源也较少，因此应用本发明实施例进行图像配准，所需要的计算资源较少，进行图像配准花费的时间较短。
本发明的一个实施例中，可以通过以下步骤A-步骤C获得上述初始旋转参数。
步骤A：提取X光图像的图像特征。
本发明的一个实施例中，可以通过LBP(Local Binary Pattern，局部二值模式)算法、HOG(Histogram of Oriented Gradient，方向梯度直方图)算法或其他现有技术中的算法提取X光图像的图像特征，本发明实施例对此不进行限定。
步骤B：将X光图像的图像特征与历史X光图像的图像特征进行特征对比，确定与X光图像的特征相似度最高的目标历史X光图像。
其中，上述历史X光图像为已知所对应的历史旋转参数的X光图像。
具体的，可以通过SIFT(Scale-invariant feature transform，尺度不变特征转换)算法或其他现有技术中的算法进行特征对比，本发明实施例对此不进行限定。
步骤C：将上述目标历史X光图像对应的历史旋转参数确定为上述初始旋转参数。
本发明的一个实施例中，可以将上述X光图像输入预先训练好的旋转参数确定模型，获得上述初始旋转参数，从而实现上述步骤A-步骤C。
具体的，上述旋转参数确定模型可以是以上述历史X光图像作为样本图像对神经网络模型进行训练得到的、用于确定X光图像对应的旋转参数的模型。
其中，上述旋转参数确定模型可以为卷积神经网络模型。
本发明的另一个实施例中，可以通过以下步骤D-步骤F获得上述初始平移参数中的高度参数。
步骤D：识别X光图像中对象所在的第一对象区域，并识别CT图像中对象所在的第二对象区域。
本发明的一个实施例中，可以采用预先训练的第一对象识别模型识别模型识别X光图像中的第一对象区域，采用预先训练的第二对象识别模型识别CT图像中的第二对象区域。
其中，上述第一对象识别模型可以是：使用已知所包含的对象区域的样本X光图像对神经网络模型进行训练得到的、用于识别X光图像中的对象区域的模型。上述神经网络模型可以为卷积神经网络模型。
上述第二对象识别模型可以是：使用已知所包含的对象区域的样本CT图像对神经网络模型进行训练得到的、用于识别X光图像中的对象区域的模型。上述神经网络模型可以为卷积神经网络模型。
步骤E：根据上述第一对象区域的尺寸与第二对象区域的尺寸，计算上述第一对象区域与第二对象区域间的尺寸比例。
具体的，上述尺寸可以为长度、宽度或面积。则在上述尺寸为长度的情况下，上述尺寸比例为第一对象区域的长度与第二对象区域的长度之间的比例。在上述尺寸为宽度的情况下，上述尺寸比例为第一对象区域的宽度与第二对象区域的宽度之间的比例。在上述尺寸为面积的情况下，上述尺寸比例为第一对象区域的面积与第二对象区域的面积之间的比例。
步骤F：根据上述尺寸比例和采集上述X光图像的设备的焦距，计算上述初始平移参数中的高度参数。
参见图2，为本发明实施例提供的一种第一对象区域与第二对象区域之间尺寸关系示意图。
其中，图中包含两个三角形，由图可见两个三角形为相似三角形，较小三角形的底边表示第二对象区域，第二对象区域的尺寸为x0，较大三角形的底边表示第一对象区域，第一对象区域的尺寸为x1。Y点表示采集上述X光图像的设备的发射X光的器件所在的位置，虚线用于模拟设备在采集上述X光图像的过程中设备发射出的锥形X光线，Y点与第一对象区域之间的垂直距离为采集上述X光图像的设备的焦距f，两个三角形底边之间的垂直距离为上述高度参数z0。
本发明的一个实施例中，由图2可见，由于图2中的两个三角形为相似三角形，因此可以按照以下公式计算上述高度参数：
Figure BDA0002870394750000151
其中，L为上述尺寸比例，x0为上述第二对象区域的尺寸，x1为上述第一对象区域的尺寸，f为上述焦距，z0为上述高度参数。
本发明的一个实施例中，可以通过以下步骤H1-步骤H14训练得到上述图像风格转换模型。
步骤H1：将第一样本图像输入第一判别模型，判别上述第一样本图像的图像风格是否为第一图像风格，得到第一判别结果。
其中，所述第一样本图像的图像风格为：第一图像风格。
具体的，上述第一样本图像可以是样本X光图像，则上述第一图像风格可以是X光图像的图像风格，上述第一样本图像也可以是样本投影图像，则上述第一图像风格是投影图像的图像风格。
在上述第一样本图像为样本X光图像的情况下，上述第一样本图像可以是预先获得的、第一预设数量个分辨率相同的X光图像。即不同样本X光图像中的像素点对应的现实场景中的区域的尺寸相同。
另外，上述样本X光图像的间距高度比也可以相同，再者，上述样本X光图像的尺寸也可以相同。
例如，上述第一预设数量可以为100、200等，上述样本X光图像的尺寸可以为256*256像素。
在上述第一样本图像为样本投影图像的情况下，上述第一样本图像可以是预先获得的、第二预设数量个分辨率相同的投影图像。即不同样本投影图像中的像素点对应的现实场景中的区域的尺寸相同。
例如，上述第二预设数量可以为100、200等。
此外，上述样本投影图像也可以是将样本CT图像投影到二维平面得到的。
具体的，可以通过DRR算法将样本CT图像投影到二维平面，得到样本投影图像。
其中，在通过DRR算法对样本CT图像进行投影得到样本投影图像的过程中，所使用的样本旋转参数可以是预设的一组旋转参数中的任意一个。具体的，针对不同的样本CT图像所使用的样本旋转参数可以不同。
所使用的样本平移参数中的高度参数可以是预设数值，所使用的样本平移参数中的横向参数与纵向参数也可以为预设数值。
步骤H2：将第二样本图像输入第二转换模型，对上述第二样本图像进行图像风格转换，得到第一转换图像。
具体的，所得到的第一转换图像与第二样本图像的尺寸相同。
步骤H3：将第一转换图像输入第一判别模型，判别上述第一转换图像的图像风格是否为第一图像风格，得到第二判别结果。
具体的，若第二判别结果表示第一转换图像的图像风格是第一图像风格，则说明第二转换模型能够将第二样本图像的图像风格转换为第一图像风格。
步骤H4：根据上述第一判别结果与第二判别结果，计算第一损失。
其中，上述第一损失表征：上述第一判别模型判别图像风格和上述第二转换模型进行图像风格转换的损失。
具体的，由于已知第一样本图像的图像风格是第一图像风格，因此可以根据第一判别结果确定第一判别模型是否能够准确的识别出第一样本图像是第一图像风格。
由于第二转换模型是用于将图像的图像风格转换为第一图像风格的模型，因此第二判别结果可以用于表示第二转换模型是否成功的将第二样本图像的图像风格转换为第一图像风格。
因此根据第一判别结果与第二判别结果计算得到的第一损失可以用于表示上述第一判别模型判别图像风格和上述第二转换模型进行图像风格转换的损失。
具体的，可以按照以下公式计算得到上述第一损失：
LOSS1＝Ea-A[logDA(a)]+Eb-B[log(1-DA(GBA(b)))]
其中，LOSS1为上述第一损失，a为上述第一样本图像，DA()表示上述第一判别模型，DA(a)为第一判别结果，b为上述第二样本图像，GBA()表示上述第二转换模型，GBA(b)为上述第一转换图像，DA(GBA(b))为上述第二判别结果，Ea-A()与Eb-B()表示计算分布函数的期望值，A为第一样本图像的分布，B为第二样本图像的分布。
步骤H5：将第二样本图像输入第二判别模型，判别上述第二样本图像的图像风格是否为第二图像风格，得到第三判别结果。
其中，上述第二样本图像的图像风格为：第二图像风格。
具体的，在上述第一样本图像为样本X光图像的情况下，上述第二样本图像为样本投影图像，在上述第一样本图像为样本投影图像的情况下，上述第二样本图像为样本X光图像。
另外，上述第一样本图像的分辨率与第二样本图像的分辨率相同。
步骤H6：将第一样本图像输入第一转换模型，对上述第一样本图像进行图像风格转换，得到第二转换图像。
具体的，所得到的第二转换图像与第一样本图像的尺寸相同。
步骤H7：将第二转换图像输入第二判别模型，判别上述第二转换图像的图像风格是否为第二图像风格，得到第四判别结果。
具体的，若第四判别结果表示第二转换图像的图像风格是第二图像风格，则说明第一转换模型能够将第一样本图像的图像风格转换为第二图像风格。
步骤H8：根据上述第三判别结果与第四判别结果，计算第二损失。
其中，上述第二损失表征：上述第二判别模型判别图像风格和上述第一转换模型进行图像风格转换的损失。
具体的，由于已知第二样本图像的图像风格是第二图像风格，因此可以根据第三判别结果确定第二判别模型是否能够准确的识别出第二样本图像是第二图像风格。
由于第一转换模型是用于将图像的图像风格转换为第二图像风格的模型，因此第四判别结果可以用于表示第一转换模型是否成功的将第一样本图像的图像风格转换为第二图像风格。
因此根据第三判别结果与第四判别结果计算得到的第二损失可以用于表示上述第二判别模型判别图像风格和上述第一转换模型进行图像风格转换的损失。
LOSS2＝Eb-B[logDB(b)]+Ea-A[log(1-DB(GAB(a)))]
其中，LOSS2为上述第二损失，b为上述第二样本图像，DB()表示上述第二判别模型，DB(b)为第三判别结果，a为上述第一样本图像，GAB()表示上述第一转换模型，GAB(a)为上述第二转换图像，DB(GAB(a))为上述第四判别结果，Ea-A()与Eb-B()表示计算分布函数的期望值，A为第一样本图像的分布，B为第二样本图像的分布。
步骤H9：将上述第一转换图像输入上述第一转换模型，获得第三转换图像。
具体的，在理论上，上述第一转换图像是将第二样本图像的图像风格转换为第一图像风格得到的，再将上述第一转换图像输入上述第一转换模型，将图像风格转换回第二图像风格。若两次图像风格转换均成功，则上述第三转换图像应该被转换回第二图像风格，与第二样本图像相似。
步骤H10：将上述第二转换图像输入上述第二转换模型，获得第四转换图像。
具体的，在理论上，上述第二转换图像是将第一样本图像的图像风格转换为第二图像风格得到的，再将上述第二转换图像输入上述第二转换模型，将图像风格转换回第一图像风格。若两次图像风格转换均成功，则上述第四转换图像应该被转换回第一图像风格，与第一样本图像相似。
步骤H11：根据上述第三转换图像与第二样本图像、上述第四转换图像与第一样本图像，计算第三损失。
其中，上述第三损失表征：上述第一转换模型进行图像风格转换与第二转换模型进行图像风格转换的损失。
具体的，若上述第三转换图像与第二样本图像相似，则说明第二转换模型成功的对第二样本图像进行了风格转换，第一转换模型也成功的对第一转换图像进行了风格转换。
若上述第四转换图像与第一样本图像相似，则说明第一转换模型成功的对第一样本图像进行了风格转换，第二转换模型也成功的对第二转换图像进行了风格转换。
因此，根据上述第三转换图像与第一样本图像、上述第四转换图像与第二样本图像可以计算得到能够表征上述第一转换模型进行图像风格转换与第二转换模型进行图像风格转换的第三损失。
本发明的一个实施例中，可以按照以下公式计算得到上述第三损失：
LOSS3＝Ea-A[||GBA(GAB(a))-a||1]+Eb-B[||GAB(GBA(b))-b||1]
其中，LOSS3为上述第三损失，||||1表示计算L1范式，a为上述第一样本图像，b为上述第二样本图像，GAB()表示上述第一转换模型，GAB(a)为上述第二转换图像，GBA()为上述第二转换模型，GBA(GAB(a))为上述第四转换图像，GBA(b)为上述第二转换图像，GAB(GBA(b))为上述第三转换图像，Ea-A()与Eb-B()表示计算分布函数的期望值，A为第一样本图像的分布，B为第二样本图像的分布。
步骤H12：根据上述第一损失、第二损失与第三损失计算总损失。
本发明的一个实施例中，可以计算上述第一损失、第二损失与第三损失的和，作为上述总损失。也可以计算上述第一损失、第二损失与第三损失的加权和，作为上述总损失。
步骤H13：根据上述总损失调整上述第一转换模型、第二转换模型、第一判别模型与第二判别模型的参数，在不满足收敛条件的情况下，将新的图像风格为第一图像风格的图像作为第一样本图像，将新的图像风格为第二图像风格的图像作为第二样本图像，返回执行上述步骤H1，直至满足预设的模型收敛条件。
具体的，上述收敛条件可以为执行上述步骤H1-步骤H13的次数，也可以为上述总损失低于预设损失。
步骤H14：将调整参数后的第一转换模型确定为上述图像风格转换模型。
具体的，由于第一转换模型用于将图像的图像风格转换为第二图像风格，在不断进行模型训练的过程中，第一转换模型不断地使得输出的图像的图像风格趋近于真实的第二图像风格，使得上述第一转换模型输出的图像越来越能够通过第二判别模型的检验，第二判别模型认为所输出的图像的图像风格是第二图像风格。
与此同时，上述第二判别模型用于判别图像的图像风格是否是第二图像风格，在不断进行模型训练的过程中，第二判别模型不断地使得判别结果更准确，也就是经过图像风格转换得到的、而非真实的第二图像风格的图像越来越难以通过第二判别模型的检验，即第一转换模型输出的图像越来越难以通过第二判别模型的检验。
由以上可见，第一转换模型需要使得所输出的图像能够通过第二判别模型的检验，而第二判别模型需要使得第一转换模型所输出的图像不能够通过第二判别模型的检验，因此第一转换模型与第二判别模型之间存在对抗关系。
同理，第二转换模型与第一判别模型之间也存在对抗关系。
又由于，在第二转换模型对第二样本图像进行图像风格转换，得到第一转换图像之后，第一转换模型又对第一转换图像进行了图像风格转换。同样的，第一转换模型对第一样本图像进行图像风格转换，得到第二转换图像之后，第二转换模型又对第二转换图像进行了图像风格转换。上述图像风格转换的过程是循环进行的。
由于上述模型训练过程既存在对抗性，又存在循环性，因此上述步骤H1-步骤H14的模型训练过程，可以被称为循环对抗训练过程，训练得到的图像风格转换模型可以被称为循环对抗网络。
由以上可见，在上述模型训练的过程中，第一转换模型的参数依据总损失被调整，训练满足了预设的收敛条件，因此上述第一转换模型被训练至收敛，得到的图像风格转换模型能够将图像由第一图像风格转换为第二图像风格。并且上述第一样本图像与第二样本图像之间不存在关联关系的限制，进行模型训练的过程中，获得所需的第一样本图像与第二样本图像较为简单。并且，由于上述获得第一样本图像与第二样本图像的方式较为简单，因此可以采用大量的第一样本图像与第二样本图像对上述第一转换模型、第二转换模型、第一判别模型与第二判别模型进行训练，使得训练得到的图像风格转换模型具有较好的泛化效果。
与前述图像配准方法相对应，参见图3，本发明实施例还提供了一种图像配准装置的结构示意图，上述装置包括：
参数获得模块301，用于获得X光图像与CT图像间的初始旋转参数与初始平移参数；
图像投影模块302，用于基于所述初始旋转参数与初始平移参数，将所述CT图像投影到二维平面，得到投影图像；
风格转换模块303，用于将第一图像由第一图像风格转换为第二图像的第二图像风格，得到第三图像，其中，所述第一图像为所述X光图像或所述投影图像，所述第二图像为：所述X光图像与投影图像中除所述第一图像之外的图像；
图像匹配模块304，用于确定第四图像中与第五图像相匹配的目标图像区域，其中，所述第四图像为：所述第三图像与第二图像中尺寸最大的图像，所述第五图像为：所述第三图像与第二图像中除所述第四图像之外的图像；
参数更新模块305，用于根据目标图像区域在所述第四图像中的位置，更新所述初始平移参数中的横向参数与纵向参数，得到包含所述初始旋转参数、更新后的初始平移参数的图像配准结果。
由以上可见，先根据初始旋转参数与初始平移参数将CT图像投影到二维平面。但由于CT图像与X光图像属于图像风格不同的图像，CT图像的投影图像与X光图像中的像素点即使对应现实场景中的相同位置，像素点的相似度依旧不高。因此本发明实施例提供的方案在进行图像匹配之前，先将X光图像转换为投影图像的图像风格，或将投影图像转换为X光图像的图像风格，使得两者的图像风格相同。因此可以提高图像匹配的准确度，进而可以提高计算得到的横向参数与纵向参数的准确度。进而使用计算得到的横向参数与纵向参数对初始平移参数进行更新，将初始旋转参数与更新后的初始平移参数作为图像配准结果，可以实现图像配准。并且由于计算得到的横向参数与纵向参数的准确度较高，因此得到的图像配准结果较准确。
另外，由于将CT图像投影到二维平面所需要的计算资源较少，对图像进行图像风格转换所需要的计算资源同样较少，对图像进行图像匹配所需要的计算资源也较少，因此应用本发明实施例进行图像配准，所需要的计算资源较少，进行图像配准花费的时间较短。
本发明的一个实施例中，所述风格转换模块303，具体用于：
将所述第一图像输入预先训练的图像风格转换模型，对第一图像进行图像风格转换，得到图像风格为第二图像风格的第三图像；
其中，所述图像风格转换模型为：采用预设训练方式进行模型训练得到的调整网络参数后的第一转换模型，所述预设训练方式为：对第一转换模型、第二转换模型、第一判别模型与第二判别模型共同进行生成对抗训练的训练方式；
所述第一转换模型为：用于将图像的图像风格转换为第二图像风格的神经网络模型，所述第二转换模型为：用于将图像的风格转换为第一图像风格的神经网络模型，所述第一判别模型为：用于判别图像的图像风格是否为第一图像风格的神经网络模型，所述第二判别模型为：用于判别图像的图像风格是否为第二图像风格的神经网络模型。
参见图4，为本发明实施例提供的一种模型训练模块的结构示意图，其中，上述模型训练模块用于训练得到上述图像风格转换模型。
具体的，上述模型训练模块，包括：
第一判别子模块401，用于将第一样本图像输入第一判别模型，判别所述第一样本图像的图像风格是否为第一图像风格，得到第一判别结果，其中，所述第一样本图像的图像风格为：第一图像风格；
第一转换子模块402，用于将第二样本图像输入第二转换模型，对所述第二样本图像进行图像风格转换，得到第一转换图像；
第二判别子模块403，用于将第一转换图像输入第一判别模型，判别所述第一转换图像的图像风格是否为第一图像风格，得到第二判别结果；
第一损失计算子模块404，用于根据所述第一判别结果与第二判别结果，计算第一损失，其中，所述第一损失表征：所述第一判别模型判别图像风格和所述第二转换模型进行图像风格转换的损失；
第三判别子模块405，用于将第二样本图像输入第二判别模型，判别所述第二样本图像的图像风格是否为第二图像风格，得到第三判别结果，其中，所述第二样本图像的图像风格为：第二图像风格；
第二转换子模块406，用于将第一样本图像输入第一转换模型，对所述第一样本图像进行图像风格转换，得到第二转换图像；
第四判别子模块407，用于将第二转换图像输入第二判别模型，判别所述第二转换图像的图像风格是否为第二图像风格，得到第四判别结果；
第二损失计算子模块408，用于根据所述第三判别结果与第四判别结果，计算第二损失，其中，所述第二损失表征：所述第二判别模型判别图像风格和所述第一转换模型进行图像风格转换的损失；
第三转换子模块409，用于将所述第一转换图像输入所述第一转换模型，获得第三转换图像；
第四转换子模块410，用于将所述第二转换图像输入所述第二转换模型，获得第四转换图像；
第三损失计算子模块411，用于根据所述第三转换图像与第二样本图像、所述第四转换图像与第一样本图像，计算第三损失，其中，所述第三损失表征：所述第一转换模型进行图像风格转换与第二转换模型进行图像风格转换的损失；
总损失计算子模块412，用于根据所述第一损失、第二损失与第三损失计算总损失；
参数调整子模块413，用于根据所述总损失调整所述第一转换模型、第二转换模型、第一判别模型与第二判别模型的参数，在不满足收敛条件的情况下，将新的图像风格为第一图像风格的图像作为第一样本图像，将新的图像风格为第二图像风格的图像作为第二样本图像，触发执行所述第一判别子模块401，直至满足预设的模型收敛条件；
模型确定子模块414，用于将调整参数后的第一转换模型确定为所述图像风格转换模型。
由以上可见，在上述模型训练的过程中，第一转换模型的参数依据总损失被调整，训练满足了预设的收敛条件，因此上述第一转换模型被训练至收敛，得到的图像风格转换模型能够将图像由第一图像风格转换为第二图像风格。并且上述第一样本图像与第二样本图像之间不存在关联关系的限制，进行模型训练的过程中，获得所需的第一样本图像与第二样本图像较为简单。并且，由于上述获得第一样本图像与第二样本图像的方式较为简单，因此可以采用大量的第一样本图像与第二样本图像对上述第一转换模型、第二转换模型、第一判别模型与第二判别模型进行训练，使得训练得到的图像风格转换模型具有较好的泛化效果。
本发明的一个实施例中，通过以下旋转参数获得子模块获得所述初始旋转参数；
所述旋转参数获得子模块，具体用于：
提取X光图像的图像特征；
将X光图像的图像特征与历史X光图像的图像特征进行特征对比，确定与X光图像的特征相似度最高的目标历史X光图像；
将所述目标历史X光图像对应的历史旋转参数确定为所述初始旋转参数。
本发明的一个实施例中，通过以下高度参数获得子模块获得所述初始平移参数中的高度参数；
所述高度参数获得子模块，具体用于：
识别X光图像中对象所在的第一对象区域，并识别CT图像中对象所在的第二对象区域；
根据所述第一对象区域的尺寸与第二对象区域的尺寸，计算所述第一对象区域与第二对象区域间的尺寸比例；
根据所述尺寸比例和采集所述X光图像的设备的焦距，计算所述初始平移参数中的高度参数。
本发明实施例还提供了一种电子设备，如图5所示，包括处理器501、通信接口502、存储器503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信，
存储器503，用于存放计算机程序；
处理器501，用于执行存储器503上所存放的程序时，实现上述图像配准方法任一所述的方法步骤。
应用本发明实施例提供的电子设备进行图像配准时，先根据初始旋转参数与初始平移参数将CT图像投影到二维平面。但由于CT图像与X光图像属于图像风格不同的图像，CT图像的投影图像与X光图像中的像素点即使对应现实场景中的相同位置，像素点的相似度依旧不高。因此本发明实施例提供的方案在进行图像匹配之前，先将X光图像转换为投影图像的图像风格，或将投影图像转换为X光图像的图像风格，使得两者的图像风格相同。因此可以提高图像匹配的准确度，进而可以提高计算得到的横向参数与纵向参数的准确度。进而使用计算得到的横向参数与纵向参数对初始平移参数进行更新，将初始旋转参数与更新后的初始平移参数作为图像配准结果，可以实现图像配准。并且由于计算得到的横向参数与纵向参数的准确度较高，因此得到的图像配准结果较准确。
另外，由于将CT图像投影到二维平面所需要的计算资源较少，对图像进行图像风格转换所需要的计算资源同样较少，对图像进行图像匹配所需要的计算资源也较少，因此应用本发明实施例进行图像配准，所需要的计算资源较少，进行图像配准花费的时间较短。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述图像配准方法任一所述的方法步骤。
执行本发明实施例提供的计算机可读存储介质中存储的计算机程序进行图像配准时，先根据初始旋转参数与初始平移参数将CT图像投影到二维平面。但由于CT图像与X光图像属于图像风格不同的图像，CT图像的投影图像与X光图像中的像素点即使对应现实场景中的相同位置，像素点的相似度依旧不高。因此本发明实施例提供的方案在进行图像匹配之前，先将X光图像转换为投影图像的图像风格，或将投影图像转换为X光图像的图像风格，使得两者的图像风格相同。因此可以提高图像匹配的准确度，进而可以提高计算得到的横向参数与纵向参数的准确度。进而使用计算得到的横向参数与纵向参数对初始平移参数进行更新，将初始旋转参数与更新后的初始平移参数作为图像配准结果，可以实现图像配准。并且由于计算得到的横向参数与纵向参数的准确度较高，因此得到的图像配准结果较准确。
另外，由于将CT图像投影到二维平面所需要的计算资源较少，对图像进行图像风格转换所需要的计算资源同样较少，对图像进行图像匹配所需要的计算资源也较少，因此应用本发明实施例进行图像配准，所需要的计算资源较少，进行图像配准花费的时间较短。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述图像配准方法任一所述的方法步骤。
执行本发明实施例提供的计算机程序进行图像配准时，先根据初始旋转参数与初始平移参数将CT图像投影到二维平面。但由于CT图像与X光图像属于图像风格不同的图像，CT图像的投影图像与X光图像中的像素点即使对应现实场景中的相同位置，像素点的相似度依旧不高。因此本发明实施例提供的方案在进行图像匹配之前，先将X光图像转换为投影图像的图像风格，或将投影图像转换为X光图像的图像风格，使得两者的图像风格相同。因此可以提高图像匹配的准确度，进而可以提高计算得到的横向参数与纵向参数的准确度。进而使用计算得到的横向参数与纵向参数对初始平移参数进行更新，将初始旋转参数与更新后的初始平移参数作为图像配准结果，可以实现图像配准。并且由于计算得到的横向参数与纵向参数的准确度较高，因此得到的图像配准结果较准确。
另外，由于将CT图像投影到二维平面所需要的计算资源较少，对图像进行图像风格转换所需要的计算资源同样较少，对图像进行图像匹配所需要的计算资源也较少，因此应用本发明实施例进行图像配准，所需要的计算资源较少，进行图像配准花费的时间较短。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机可读存储介质和计算机程序产品而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种图像配准方法，其特征在于，所述方法包括：
获得X光图像与CT图像间的初始旋转参数与初始平移参数；
基于所述初始旋转参数与初始平移参数，将所述CT图像投影到二维平面，得到投影图像；
将第一图像由第一图像风格转换为第二图像的第二图像风格，得到第三图像，其中，所述第一图像为所述X光图像或所述投影图像，所述第二图像为：所述X光图像与投影图像中除所述第一图像之外的图像；
确定第四图像中与第五图像相匹配的目标图像区域，其中，所述第四图像为：所述第三图像与第二图像中尺寸最大的图像，所述第五图像为：所述第三图像与第二图像中除所述第四图像之外的图像；
根据目标图像区域在所述第四图像中的位置，更新所述初始平移参数中的横向参数与纵向参数，得到包含所述初始旋转参数、更新后的初始平移参数的图像配准结果。
2.根据权利要求1所述的方法，其特征在于，所述将第一图像由第一图像风格转换为第二图像的第二图像风格，得到第三图像，包括：
将所述第一图像输入预先训练的图像风格转换模型，对第一图像进行图像风格转换，得到图像风格为第二图像风格的第三图像；
其中，所述图像风格转换模型为：采用预设训练方式进行模型训练得到的调整网络参数后的第一转换模型，所述预设训练方式为：对第一转换模型、第二转换模型、第一判别模型与第二判别模型共同进行生成对抗训练的训练方式；
所述第一转换模型为：用于将图像的图像风格转换为第二图像风格的神经网络模型，所述第二转换模型为：用于将图像的风格转换为第一图像风格的神经网络模型，所述第一判别模型为：用于判别图像的图像风格是否为第一图像风格的神经网络模型，所述第二判别模型为：用于判别图像的图像风格是否为第二图像风格的神经网络模型。
3.根据权利要求2所述的方法，其特征在于，通过以下方式训练得到所述图像风格转换模型：
将第一样本图像输入第一判别模型，判别所述第一样本图像的图像风格是否为第一图像风格，得到第一判别结果，其中，所述第一样本图像的图像风格为：第一图像风格；
将第二样本图像输入第二转换模型，对所述第二样本图像进行图像风格转换，得到第一转换图像；
将第一转换图像输入第一判别模型，判别所述第一转换图像的图像风格是否为第一图像风格，得到第二判别结果；
根据所述第一判别结果与第二判别结果，计算第一损失，其中，所述第一损失表征：所述第一判别模型判别图像风格和所述第二转换模型进行图像风格转换的损失；
将第二样本图像输入第二判别模型，判别所述第二样本图像的图像风格是否为第二图像风格，得到第三判别结果，其中，所述第二样本图像的图像风格为：第二图像风格；
将第一样本图像输入第一转换模型，对所述第一样本图像进行图像风格转换，得到第二转换图像；
将第二转换图像输入第二判别模型，判别所述第二转换图像的图像风格是否为第二图像风格，得到第四判别结果；
根据所述第三判别结果与第四判别结果，计算第二损失，其中，所述第二损失表征：所述第二判别模型判别图像风格和所述第一转换模型进行图像风格转换的损失；
将所述第一转换图像输入所述第一转换模型，获得第三转换图像；
将所述第二转换图像输入所述第二转换模型，获得第四转换图像；
根据所述第三转换图像与第二样本图像、所述第四转换图像与第一样本图像，计算第三损失，其中，所述第三损失表征：所述第一转换模型进行图像风格转换与第二转换模型进行图像风格转换的损失；
根据所述第一损失、第二损失与第三损失计算总损失；
根据所述总损失调整所述第一转换模型、第二转换模型、第一判别模型与第二判别模型的参数，在不满足收敛条件的情况下，将新的图像风格为第一图像风格的图像作为第一样本图像，将新的图像风格为第二图像风格的图像作为第二样本图像，返回执行所述将第一样本图像输入第一判别模型，判别所述第一样本图像的图像风格是否为第一图像风格，得到第一判别结果的步骤，直至满足预设的模型收敛条件；
将调整参数后的第一转换模型确定为所述图像风格转换模型。
4.根据权利要求1-3中任一项所述的方法，其特征在于，通过以下方式获得所述初始旋转参数：
提取X光图像的图像特征；
将X光图像的图像特征与历史X光图像的图像特征进行特征对比，确定与X光图像的特征相似度最高的目标历史X光图像；
将所述目标历史X光图像对应的历史旋转参数确定为所述初始旋转参数。
5.根据权利要求1-3中任一项所述的方法，其特征在于，通过以下方式获得所述初始平移参数中的高度参数：
识别X光图像中对象所在的第一对象区域，并识别CT图像中对象所在的第二对象区域；
根据所述第一对象区域的尺寸与第二对象区域的尺寸，计算所述第一对象区域与第二对象区域间的尺寸比例；
根据所述尺寸比例和采集所述X光图像的设备的焦距，计算所述初始平移参数中的高度参数。
6.一种图像配准装置，其特征在于，所述装置包括：
参数获得模块，用于获得X光图像与CT图像间的初始旋转参数与初始平移参数；
图像投影模块，用于基于所述初始旋转参数与初始平移参数，将所述CT图像投影到二维平面，得到投影图像；
风格转换模块，用于将第一图像由第一图像风格转换为第二图像的第二图像风格，得到第三图像，其中，所述第一图像为所述X光图像或所述投影图像，所述第二图像为：所述X光图像与投影图像中除所述第一图像之外的图像；
图像匹配模块，用于确定第四图像中与第五图像相匹配的目标图像区域，其中，所述第四图像为：所述第三图像与第二图像中尺寸最大的图像，所述第五图像为：所述第三图像与第二图像中除所述第四图像之外的图像；
参数更新模块，用于根据目标图像区域在所述第四图像中的位置，更新所述初始平移参数中的横向参数与纵向参数，得到包含所述初始旋转参数、更新后的初始平移参数的图像配准结果。
7.根据权利要求6所述的装置，其特征在于，所述风格转换模块，具体用于：
将所述第一图像输入预先训练的图像风格转换模型，对第一图像进行图像风格转换，得到图像风格为第二图像风格的第三图像；
其中，所述图像风格转换模型为：采用预设训练方式进行模型训练得到的调整网络参数后的第一转换模型，所述预设训练方式为：对第一转换模型、第二转换模型、第一判别模型与第二判别模型共同进行生成对抗训练的训练方式；
所述第一转换模型为：用于将图像的图像风格转换为第二图像风格的神经网络模型，所述第二转换模型为：用于将图像的风格转换为第一图像风格的神经网络模型，所述第一判别模型为：用于判别图像的图像风格是否为第一图像风格的神经网络模型，所述第二判别模型为：用于判别图像的图像风格是否为第二图像风格的神经网络模型。
8.根据权利要求7所述的装置，其特征在于，通过模型训练模块训练得到所述图像风格转换模型；
所述模型训练模块，包括：
第一判别子模块，用于将第一样本图像输入第一判别模型，判别所述第一样本图像的图像风格是否为第一图像风格，得到第一判别结果，其中，所述第一样本图像的图像风格为：第一图像风格；
第一转换子模块，用于将第二样本图像输入第二转换模型，对所述第二样本图像进行图像风格转换，得到第一转换图像；
第二判别子模块，用于将第一转换图像输入第一判别模型，判别所述第一转换图像的图像风格是否为第一图像风格，得到第二判别结果；
第一损失计算子模块，用于根据所述第一判别结果与第二判别结果，计算第一损失，其中，所述第一损失表征：所述第一判别模型判别图像风格和所述第二转换模型进行图像风格转换的损失；
第三判别子模块，用于将第二样本图像输入第二判别模型，判别所述第二样本图像的图像风格是否为第二图像风格，得到第三判别结果，其中，所述第二样本图像的图像风格为：第二图像风格；
第二转换子模块，用于将第一样本图像输入第一转换模型，对所述第一样本图像进行图像风格转换，得到第二转换图像；
第四判别子模块，用于将第二转换图像输入第二判别模型，判别所述第二转换图像的图像风格是否为第二图像风格，得到第四判别结果；
第二损失计算子模块，用于根据所述第三判别结果与第四判别结果，计算第二损失，其中，所述第二损失表征：所述第二判别模型判别图像风格和所述第一转换模型进行图像风格转换的损失；
第三转换子模块，用于将所述第一转换图像输入所述第一转换模型，获得第三转换图像；
第四转换子模块，用于将所述第二转换图像输入所述第二转换模型，获得第四转换图像；
第三损失计算子模块，用于根据所述第三转换图像与第二样本图像、所述第四转换图像与第一样本图像，计算第三损失，其中，所述第三损失表征：所述第一转换模型进行图像风格转换与第二转换模型进行图像风格转换的损失；
总损失计算子模块，用于根据所述第一损失、第二损失与第三损失计算总损失；
参数调整子模块，用于根据所述总损失调整所述第一转换模型、第二转换模型、第一判别模型与第二判别模型的参数，在不满足收敛条件的情况下，将新的图像风格为第一图像风格的图像作为第一样本图像，将新的图像风格为第二图像风格的图像作为第二样本图像，触发执行所述第一判别子模块，直至满足预设的模型收敛条件；
模型确定子模块，用于将调整参数后的第一转换模型确定为所述图像风格转换模型。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-5任一所述的方法步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-5任一所述的方法步骤。
CN202011605894.9A 2020-12-29 2020-12-29 一种图像配准方法及装置 Pending CN114693750A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011605894.9A CN114693750A (zh) 2020-12-29 2020-12-29 一种图像配准方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011605894.9A CN114693750A (zh) 2020-12-29 2020-12-29 一种图像配准方法及装置

Publications (1)

Publication Number Publication Date
CN114693750A true CN114693750A (zh) 2022-07-01

Family

ID=82132905

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011605894.9A Pending CN114693750A (zh) 2020-12-29 2020-12-29 一种图像配准方法及装置

Country Status (1)

Country Link
CN (1) CN114693750A (zh)

Similar Documents

Publication Publication Date Title
US10964071B2 (en) Systems and methods for data and model-driven image reconstruction and enhancement
US9684961B2 (en) Scan region determining apparatus
JP6505124B2 (ja) 適応性放射線治療における自動輪郭抽出システム及び方法
US9230322B2 (en) Image processor, treatment system, and image processing method
JP2018064627A (ja) 放射線撮影装置、放射線撮影システム、放射線撮影方法、及びプログラム
WO2021104153A1 (en) Systems and methods for automated calibration
CN107752979B (zh) 人工投影的自动生成方法、介质和投影图像确定装置
Xie et al. Feature‐based rectal contour propagation from planning CT to cone beam CT
EP3707673A2 (en) Method and apparatus for medical imaging
CN111488872A (zh) 图像检测方法、装置、计算机设备和存储介质
CN112581354A (zh) 用于确定用于在整形外科手术中使用的三维模型的准确度的技术
CN112884820A (zh) 一种影像初始配准及神经网络的训练方法、装置和设备
US20190392552A1 (en) Spine image registration method
AU2012293488B2 (en) Image processing method
CN112200780B (zh) 骨组织定位方法、装置、计算机设备和存储介质
US8867809B2 (en) Image processing method
CN114693750A (zh) 一种图像配准方法及装置
CN116168097A (zh) 构建cbct勾画模型和勾画cbct图像的方法、装置、设备及介质
CN113962957A (zh) 医学图像处理方法、骨骼图像处理方法、装置、设备
CN116012526B (zh) 一种基于二维影像的三维ct影像病灶重建方法
WO2024055493A1 (zh) 基于深度相位相关的异构三维观测配准方法、介质及设备
Economopoulos et al. Automatic correspondence on medical images: A comparative study of four methods for allocating corresponding points
CN117788578A (zh) 基于多维度实现ct图像的位置定位方法及系统
WO2023017438A1 (en) System and method for medical image translation
CN112884699A (zh) 用于分割图像数据的方法和图像处理设备和计算机程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination