CN117557759A - 训练数据集的生成方法、装置、设备及存储介质 - Google Patents
训练数据集的生成方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN117557759A CN117557759A CN202311502856.4A CN202311502856A CN117557759A CN 117557759 A CN117557759 A CN 117557759A CN 202311502856 A CN202311502856 A CN 202311502856A CN 117557759 A CN117557759 A CN 117557759A
- Authority
- CN
- China
- Prior art keywords
- image
- dimensional
- original
- relative
- transformation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 138
- 238000000034 method Methods 0.000 title claims abstract description 98
- 230000009466 transformation Effects 0.000 claims abstract description 217
- 238000012545 processing Methods 0.000 claims abstract description 68
- 238000003384 imaging method Methods 0.000 claims abstract description 40
- 238000013508 migration Methods 0.000 claims abstract description 30
- 230000005012 migration Effects 0.000 claims abstract description 30
- 238000004088 simulation Methods 0.000 claims abstract description 23
- 230000011218 segmentation Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 7
- 230000001131 transforming effect Effects 0.000 claims description 6
- 238000002591 computed tomography Methods 0.000 claims description 5
- 238000013519 translation Methods 0.000 description 17
- 239000011159 matrix material Substances 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 238000002675 image-guided surgery Methods 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 238000001356 surgical procedure Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 210000003484 anatomy Anatomy 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000005429 filling process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000000115 thoracic cavity Anatomy 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Architecture (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本申请提供一种训练数据集的生成方法、装置、设备及存储介质，涉及医学图像处理技术领域，该方法包括：获取包含至少三节连续椎体的原始三维CT图像；对原始三维CT图像进行整体变换处理，针对整体变换后的三维CT图像中的每节椎体，基于预设相邻椎体相对移动范围和整体变换处理获得的整体变换参数，沿预设旋转方向依次进行椎体间的相对旋转，获得每节椎体相对原始三维CT图像的相对变换参数以及相对变换后的三维CT图像；对基于待模拟的C型臂的成像参数和相对变换后的三维CT图像投影生成的二维基础图像，进行风格迁移处理，获得二维模拟透视图像。本申请能更加便捷地自动生成用于训练图像配准模型的训练数据集。
Description
技术领域
本申请涉及医学图像处理技术领域，尤其涉及一种训练数据集的生成方法、装置、设备及存储介质。
背景技术
手术导航技术，也称为图像引导手术，是一种先进的医疗技术。在手术导航中，图像配准方法发挥了关键性的作用。传统的图像配准方法通常采用迭代的方式，但往往耗时较长。然而，随着人工智能的发展，近期图像配准方法逐渐转向基于深度学习的方法，即通过训练图像配准模型，而后在手术中通过图像配准模型推理，实现图像配准，能够大大缩短图像配准的时间，提高手术导航的效率。
在对图像配准模型进行训练时，需要大量带有标签的数据集，但是，目前带有标签的真实金标准数据集非常匮乏，导致训练获得的图像配准模型的效果不理想。因此，亟需一种生成用于训练图像配准模型的训练数据集的有效方案。
发明内容
本申请提供一种训练数据集的生成方法、装置、设备及存储介质，以提供一种生成用于训练图像配准模型的训练数据集的有效方案。
第一方面，本申请提供一种训练数据集的生成方法，训练数据集用于训练图像配准模型，训练数据集包含多个训练样本，每个训练样本包含样本数据和样本数据对应的标签数据，样本数据包含原始三维计算机断层扫描(Computed Tomography，CT)图像、待模拟的C型臂的成像参数和原始三维CT图像对应的二维模拟透视图像，标签数据包含相对变换参数，该训练数据集的生成方法包括：
获取原始三维CT图像，原始三维CT图像为包含至少三节连续椎体的图像；
对原始三维CT图像进行整体变换处理，得到整体变换后的三维CT图像和整体变换参数；
针对整体变换后的三维CT图像中的每节椎体，基于预设相邻椎体相对移动范围和整体变换参数，沿预设旋转方向依次进行椎体间的相对旋转，获得每节椎体相对原始三维CT图像的相对变换参数以及相对变换后的三维CT图像；
基于待模拟的C型臂的成像参数和相对变换后的三维CT图像，投影生成相对变换后的三维CT图像对应的二维基础图像；
对二维基础图像进行风格迁移处理，获得二维模拟透视图像。
可选的，对原始三维CT图像进行整体变换处理，得到整体变换后的三维CT图像和整体变换参数，包括：以原始三维CT图像的中心为原点，将原始三维CT图像依次沿原始三维CT图像的X轴旋转第一预设角度、沿原始三维CT图像的Y轴旋转第二预设角度以及沿原始三维CT图像的Z轴旋转第三预设角度，得到旋转后的三维CT图像；将旋转后的三维CT图像依次沿X轴平移第一预设距离、沿Y轴平移第二预设距离以及沿Z轴平移第三预设距离，得到整体变换后的三维CT图像；根据第一预设角度、第二预设角度、第三预设角度、第一预设距离、第二预设距离以及第三预设距离，获得整体变换参数。
可选的，针对整体变换后的三维CT图像中的每节椎体，基于预设相邻椎体相对移动范围和整体变换参数，沿预设旋转方向依次进行椎体间的相对旋转，获得每节椎体相对原始三维CT图像的相对变换参数以及相对变换后的三维CT图像，包括：针对整体变换后的三维CT图像中的每节椎体，基于预设相邻椎体相对移动范围，沿预设旋转方向依次进行椎体间的相对旋转，并基于整体变换参数，获得每节椎体相对原始三维CT图像的相对变换参数；根据相对变换参数，将原始三维CT图像中每节椎体的掩膜对应的区域变换至目标空间位置；确定目标空白区域，目标空白区域是将椎体的掩膜对应的区域变换至目标空间位置后产生的空白区域；采用预设填充方法对目标空白区域进行填充处理，获得相对变换后的三维CT图像。
可选的，针对整体变换后的三维CT图像中的每节椎体，基于预设相邻椎体相对移动范围，沿预设旋转方向依次进行椎体间的相对旋转，并基于整体变换参数，获得每节椎体相对原始三维CT图像的相对变换参数，包括：针对整体变换后的三维CT图像中的每节待旋转的椎体，执行以下操作：确定保持不动的目标椎体；将目标椎体相邻的待旋转的当前椎体以及当前椎体相邻的其他椎体以目标椎体的中心为原点，依次沿目标椎体的X轴旋转第四预设角度、沿目标椎体的Y轴旋转第五预设角度以及沿目标椎体的Z轴旋转第六预设角度，得到当前椎体相对目标椎体的变换参数，第四预设角度、第五预设角度和第六预设角度为预设相邻椎体相对移动范围内的随机角度值；根据整体变换参数和当前椎体相对目标椎体的变换参数，获得当前椎体相对原始三维CT图像的相对变换参数。
可选的，对原始三维CT图像进行整体变换处理之前，该训练数据集的生成方法还包括：将原始三维CT图像输入至椎体分割网络模型进行椎体分割处理，得到至少三节连续椎体中每节椎体的掩膜和标识信息。
可选的，基于待模拟的C型臂的成像参数和相对变换后的三维CT图像，投影生成相对变换后的三维CT图像对应的二维基础图像，包括：根据成像参数，设置C型臂的发射光源和接收器的位置以及相对变换后的三维CT图像的位置；采用数字重建放射图像(DigitallyReconstructed Radiographs，DRR)方法投影生成相对变换后的三维CT图像对应的二维基础图像。
可选的，对二维基础图像进行风格迁移处理，获得二维模拟透视图像，包括：将二维基础图像输入至风格迁移网络模型进行风格迁移处理，获得二维模拟透视图像。
可选的，原始三维CT图像可对应多组成像参数和/或多组相对变换参数。
第二方面，本申请提供一种训练数据集的生成装置，训练数据集用于训练图像配准模型，训练数据集包含多个训练样本，每个训练样本包含样本数据和样本数据对应的标签数据，样本数据包含原始三维CT图像、待模拟的C型臂的成像参数和原始三维CT图像对应的二维模拟透视图像，标签数据包含相对变换参数，该训练数据集的生成装置包括：
获取模块，用于获取原始三维CT图像，原始三维CT图像为包含至少三节连续椎体的图像；
第一处理模块，用于对原始三维CT图像进行整体变换处理，得到整体变换后的三维CT图像和整体变换参数；
第二处理模块，用于针对整体变换后的三维CT图像中的每节椎体，基于预设相邻椎体相对移动范围和整体变换参数，沿预设旋转方向依次进行椎体间的相对旋转，获得每节椎体相对原始三维CT图像的相对变换参数以及相对变换后的三维CT图像；
生成模块，用于基于待模拟的C型臂的成像参数和相对变换后的三维CT图像，投影生成相对变换后的三维CT图像对应的二维基础图像；
第三处理模块，用于对二维基础图像进行风格迁移处理，获得二维模拟透视图像。
可选的，第一处理模块具体用于：以原始三维CT图像的中心为原点，将原始三维CT图像依次沿原始三维CT图像的X轴旋转第一预设角度、沿原始三维CT图像的Y轴旋转第二预设角度以及沿原始三维CT图像的Z轴旋转第三预设角度，得到旋转后的三维CT图像；将旋转后的三维CT图像依次沿X轴平移第一预设距离、沿Y轴平移第二预设距离以及沿Z轴平移第三预设距离，得到整体变换后的三维CT图像；根据第一预设角度、第二预设角度、第三预设角度、第一预设距离、第二预设距离以及第三预设距离，获得整体变换参数。
可选的，第二处理模块具体用于：针对整体变换后的三维CT图像中的每节椎体，基于预设相邻椎体相对移动范围，沿预设旋转方向依次进行椎体间的相对旋转，并基于整体变换参数，获得每节椎体相对原始三维CT图像的相对变换参数；根据相对变换参数，将原始三维CT图像中每节椎体的掩膜对应的区域变换至目标空间位置；确定目标空白区域，目标空白区域是将椎体的掩膜对应的区域变换至目标空间位置后产生的空白区域；采用预设填充方法对目标空白区域进行填充处理，获得相对变换后的三维CT图像。
可选的，第二处理模块在用于针对整体变换后的三维CT图像中的每节椎体，基于预设相邻椎体相对移动范围，沿预设旋转方向依次进行椎体间的相对旋转，并基于整体变换参数，获得每节椎体相对原始三维CT图像的相对变换参数时，具体用于：针对整体变换后的三维CT图像中的每节待旋转的椎体，执行以下操作：确定保持不动的目标椎体；将目标椎体相邻的待旋转的当前椎体以及当前椎体相邻的其他椎体以目标椎体的中心为原点，依次沿目标椎体的X轴旋转第四预设角度、沿目标椎体的Y轴旋转第五预设角度以及沿目标椎体的Z轴旋转第六预设角度，得到当前椎体相对目标椎体的变换参数，第四预设角度、第五预设角度和第六预设角度为预设相邻椎体相对移动范围内的随机角度值；根据整体变换参数和当前椎体相对目标椎体的变换参数，获得当前椎体相对原始三维CT图像的相对变换参数。
可选的，获取模块还用于：对原始三维CT图像进行整体变换处理之前，将原始三维CT图像输入至椎体分割网络模型进行椎体分割处理，得到至少三节连续椎体中每节椎体的掩膜和标识信息。
可选的，生成模块具体用于：根据成像参数，设置C型臂的发射光源和接收器的位置以及相对变换后的三维CT图像的位置；采用DRR方法投影生成相对变换后的三维CT图像对应的二维基础图像。
可选的，第三处理模块具体用于：将二维基础图像输入至风格迁移网络模型进行风格迁移处理，获得二维模拟透视图像。
可选的，原始三维CT图像可对应多组成像参数和/或多组相对变换参数。
第三方面，本申请提供一种电子设备，包括：处理器，以及与处理器通信连接的存储器；
存储器存储计算机执行指令；
处理器执行存储器存储的计算机执行指令，以实现如本申请第一方面所述的训练数据集的生成方法。
第四方面，本申请提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序指令，计算机程序指令被执行时，实现如本申请第一方面所述的训练数据集的生成方法。
第五方面，本申请提供一种计算机程序产品，包括计算机程序，计算机程序被执行时实现如本申请第一方面所述的训练数据集的生成方法。
本申请提供的训练数据集的生成方法、装置、设备及存储介质，通过获取原始三维CT图像，原始三维CT图像为包含至少三节连续椎体的图像；对原始三维CT图像进行整体变换处理，得到整体变换后的三维CT图像和整体变换参数；针对整体变换后的三维CT图像中的每节椎体，基于预设相邻椎体相对移动范围和整体变换参数，沿预设旋转方向依次进行椎体间的相对旋转，获得每节椎体相对原始三维CT图像的相对变换参数以及相对变换后的三维CT图像；基于待模拟的C型臂的成像参数和相对变换后的三维CT图像，投影生成相对变换后的三维CT图像对应的二维基础图像；对二维基础图像进行风格迁移处理，获得二维模拟透视图像。本申请能够基于原始三维CT图像自动生成用于训练图像配准模型的训练数据集，训练数据集包含多个训练样本，每个训练样本包含样本数据和样本数据对应的标签数据，样本数据包含原始三维CT图像、待模拟的C型臂的成像参数和原始三维CT图像对应的二维模拟透视图像，标签数据包含相对变换参数。本申请实施例能够使得训练数据集的获取更加便捷，其中，在生成训练数据集的过程中，考虑了真实应用场景，将整体变换后的三维CT图像中的每节椎体依次进行椎体间的相对旋转，使得生成的训练数据集更合理，能够有效用于图像配准模型的训练，为基于深度学习的图像配准技术提供有力支持。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一实施例提供的应用场景示意图；
图2为本申请一实施例提供的训练数据集的生成方法的流程图；
图3为本申请另一实施例提供的训练数据集的生成方法的流程图；
图4为本申请一实施例提供的训练数据集的生成装置的结构示意图；
图5为本申请一实施例提供的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。
首先，对本申请涉及的部分技术术语进行解释说明：
图像配准，即一幅图像通过空间变换，比如旋转或平移等操作，与另一幅图像在图像结构(比如器官、组织或病灶等)上实现对齐。
数字重建放射图像(DRR)，是通过将三维图像(三维体数据)以透视投影的方式转换为二维图像平面上的模拟放射图像；其通过计算机算法，将三维图像中的组织结构和解剖信息投影到二维图像上，以模拟X射线或其他放射学成像技术所产生的影像；该技术在医学影像领域广泛应用，可用于手术规划、影像诊断和治疗模拟等方面，帮助医生更好地理解患者的解剖结构和进行相关的医学决策。
风格迁移(Style Transfer)，是一种计算机视觉技术，其目标是将一张图像的风格(style)转移到另一张图像上，从而创造出一幅新的图像，保留了原始图像的内容(content)但采用了另一张图像的艺术风格；在医学图像中的风格迁移是一种将不同医学图像的风格特征进行融合的技术；其基于风格迁移的概念，将一幅医学图像的风格特征转移到另一幅医学图像上，从而创造出新的医学图像，保留了原始图像的内容信息但采用了另一幅图像的视觉风格；该技术的目标是将不同来源、不同类型的医学图像进行风格转换，使得医学图像能够呈现出特定的视觉表现形式，同时保留原始图像的诊断信息和解剖结构；例如，可以将一幅CT扫描图像的风格转换成类似核磁共振成像(Magnetic ResonanceImaging，MRI)图像的艺术风格，或者，将一幅X射线图像的风格转移到类似超声图像的视觉风格上。
手术导航技术，也称为图像引导手术(Image Guided Surgery)，是一种先进的医疗技术，其利用计算机图像处理技术与医学影像技术相结合，实现术前对患者图像的器官或组织分割，并进行手术规划和模拟。在手术过程中，通过拍摄二维(2D)X光透视图像，并利用图像配准技术将术前的三维(3D)CT图像与术中的二维X光透视图像进行配准，得到配准变换矩阵，从而使得术前规划能够准确地转换至术中患者的实际位置，进而指导手术机器人或辅助医生进行高精度的手术操作。医生可以通过实时图像引导手术，更好地定位病变部位以及保护周围健康组织，并确保手术的成功与安全。
在手术导航中，图像配准方法发挥了关键性的作用。传统的图像配准方法通常采用迭代的方式，但往往耗时较长。然而，随着人工智能的发展，近期图像配准方法逐渐转向基于深度学习的方法，即通过训练图像配准模型，而后在手术中通过图像配准模型推理，能够快速地获得所需的变换矩阵，从而实现图像配准，能够大大缩短图像配准的时间，提高手术导航的效率。
在对图像配准模型进行训练时，需要大量带有标签的数据集，但是，目前，在手术导航的图像配准领域，带有标签的真实金标准数据集非常匮乏，导致训练获得的图像配准模型的效果不理想。因此，亟需一种生成用于训练图像配准模型的训练数据集的有效方案。
基于上述问题，本申请提供一种训练数据集的生成方法、装置、设备及存储介质，通过获取原始三维CT图像，原始三维CT图像为包含至少三节连续椎体的图像；对原始三维CT图像进行整体变换以及单椎体相对旋转变换，得到每个椎体对应的相对变换参数和相对变换后的三维CT图像；根据相对变换后的三维CT图像，模拟生成二维基础图像，并对二维基础图像进行风格迁移处理，获得二维模拟透视图像。其中，记录相应的相对变换参数，并将相对变换参数视为金标准标签数据，使得训练数据集的获取更加便捷，为图像配准模型的无监督或自监督训练方式提供了可能，为基于深度学习的图像配准技术提供了有力支持。
以下，首先对本申请提供的方案的应用场景进行示例说明。
图1为本申请一实施例提供的应用场景示意图。如图1所示，本应用场景中，通过CT设备101获取多个病人手术前的原始三维CT图像，CT设备101将多个原始三维CT图像发送给服务器102。服务器102基于多个原始三维CT图像，生成用于训练图像配准模型的训练数据集。服务器102将训练数据集发送给服务器103，以使服务器103通过训练数据集训练图像配准模型。
需要说明的是，图1仅是本申请实施例提供的一种应用场景的示意图，本申请实施例不对图1中包括的设备进行限定，也不对图1中设备之间的位置关系进行限定。
下面，通过具体实施例对本申请的技术方案进行详细说明。需要说明的是，下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。
图2为本申请一实施例提供的训练数据集的生成方法的流程图，该训练数据集用于训练图像配准模型，该训练数据集包含多个训练样本，每个训练样本包含样本数据和样本数据对应的标签数据，样本数据包含原始三维CT图像、待模拟的C型臂的成像参数和原始三维CT图像对应的二维模拟透视图像，标签数据包含相对变换参数。本申请实施例的方法可以应用于电子设备中，该电子设备可以是服务器或服务器集群等。如图2所示，本申请实施例的方法包括：
S201、获取原始三维CT图像，原始三维CT图像为包含至少三节连续椎体的图像。
本申请实施例中，原始三维CT图像可以是用户向执行本方法实施例的电子设备输入的，或者，是其它设备向执行本方法实施例的电子设备发送的。可以理解，原始三维CT图像是病人手术前的三维CT图像，原始三维CT图像为包含至少三节连续椎体的图像，例如，原始三维CT图像为包含五节连续腰椎椎体的图像。
S202、对原始三维CT图像进行整体变换处理，得到整体变换后的三维CT图像和整体变换参数。
该步骤中，整体变换处理包括整体旋转和整体平移。示例性地，以原始三维CT图像的中心为原点，将原始三维CT图像依次沿原始三维CT图像的X轴、Y轴和Z轴旋转一定的角度，并在三维空间中将原始三维CT图像依次沿原始三维CT图像的X轴、Y轴和Z轴平移一定的距离，得到整体变换后的三维CT图像。根据旋转角度和平移距离，得到原始三维CT图像到目标位置方位的整体变换参数，该整体变换参数比如用变换矩阵M0表示。
对于具体如何对原始三维CT图像进行整体变换处理，得到整体变换后的三维CT图像和整体变换参数，可参考后续实施例，此处不再赘述。
S203、针对整体变换后的三维CT图像中的每节椎体，基于预设相邻椎体相对移动范围和整体变换参数，沿预设旋转方向依次进行椎体间的相对旋转，获得每节椎体相对原始三维CT图像的相对变换参数以及相对变换后的三维CT图像。
示例性地，可以根据医学常识和临床经验，建立一个包含预设相邻椎体相对移动范围的范围表。因为不同位置的椎体相对活动范围不同，范围表中包含每节椎体在其相邻的上一节椎体或下一节椎体相对不动时，当前椎体以不动的相邻椎体的中心为原点，依次绕不动的相邻椎体的X轴、Y轴和Z轴的可旋转的角度范围。由于在不负重的情况下，相邻椎体间的相对距离基本不变，此处不再做平移操作，即范围表中只包含旋转角度，没有三维平移距离。具体的范围表可参考后续实施例。预设旋转方向比如为从第一节椎体到最后一节椎体，按顺序从上向下旋转，或者，从下向上旋转。
该步骤中，可以先对原始三维CT图像进行椎体分割处理，得到至少三节连续椎体中每节椎体的掩膜和标识信息。然后，针对整体变换后的三维CT图像中的每节椎体，基于预设相邻椎体相对移动范围，沿预设旋转方向依次进行椎体间的相对旋转，获得每节椎体相对于不动的相邻椎体的变换参数，进而可以基于该变换参数和整体变换参数，获得每节椎体相对原始三维CT图像的相对变换参数。
对于具体如何基于预设相邻椎体相对移动范围和整体变换参数，沿预设旋转方向依次进行椎体间的相对旋转，获得每节椎体相对原始三维CT图像的相对变换参数以及相对变换后的三维CT图像，可参考后续实施例，此处不再赘述。
S204、基于待模拟的C型臂的成像参数和相对变换后的三维CT图像，投影生成相对变换后的三维CT图像对应的二维基础图像。
该步骤中，待模拟的C型臂即C型臂X光机，C型臂的成像参数比如包括C型臂的发射光源与C型臂的接收器之间的距离、接收器的尺寸大小和空间分辨率等。示例性地，可以根据待模拟的C型臂的成像参数，设置C型臂的发射光源和接收器的位置，并摆放相对变换后的三维CT图像，采用Siddon(一种数字重建放射图像方法)等算法投影生成二维基础图像。
S205、对二维基础图像进行风格迁移处理，获得二维模拟透视图像。
可以理解，二维基础图像是直接投射相对变换后的三维CT图像生成的，而不是真实人体，所以其图像风格只是类似CT图像的风格，跟术中真实C型臂X光机生成的X光图像风格差异较大，不能直接用于进行图像配准模型的训练。因此，在获得了二维基础图像后，可以对二维基础图像进行风格迁移处理，获得二维模拟透视图像，该二维模拟透视图像可直接用于进行图像配准模型的训练。例如，可以通过风格迁移网络模型来获得二维模拟透视图像。
可以理解，针对获取的每个原始三维CT图像，通过执行S201至S205步骤，可以得到对应的训练样本；其中，训练样本包含的样本数据为原始三维CT图像、待模拟的C型臂的成像参数和原始三维CT图像对应的二维模拟透视图像，样本数据对应的标签数据为相对变换参数，从而可以得到用于训练图像配准模型的训练数据集。在使用训练数据集训练图像配准模型时，可以将包含原始三维CT图像、待模拟的C型臂的成像参数和原始三维CT图像对应的二维模拟透视图像的样本数据输入初始图像配准模型，得到初始图像配准模型输出的初始相对变换参数；根据初始相对变换参数和标签数据包含的相对变换参数的差值来迭代训练初始图像配准模型，以得到训练好的图像配准模型，使得图像配准模型的训练具有客观性，并能够真正量化训练过程或结果。
本申请实施例提供的训练数据集的生成方法，通过获取原始三维CT图像，原始三维CT图像为包含至少三节连续椎体的图像；对原始三维CT图像进行整体变换处理，得到整体变换后的三维CT图像和整体变换参数；针对整体变换后的三维CT图像中的每节椎体，基于预设相邻椎体相对移动范围和整体变换参数，沿预设旋转方向依次进行椎体间的相对旋转，获得每节椎体相对原始三维CT图像的相对变换参数以及相对变换后的三维CT图像；基于待模拟的C型臂的成像参数和相对变换后的三维CT图像，投影生成相对变换后的三维CT图像对应的二维基础图像；对二维基础图像进行风格迁移处理，获得二维模拟透视图像。本申请实施例能够基于原始三维CT图像自动生成用于训练图像配准模型的训练数据集，训练数据集包含多个训练样本，每个训练样本包含样本数据和样本数据对应的标签数据，样本数据包含原始三维CT图像、待模拟的C型臂的成像参数和原始三维CT图像对应的二维模拟透视图像，标签数据包含相对变换参数。本申请实施例能够使得训练数据集的获取更加便捷，其中，在生成训练数据集的过程中，考虑了真实应用场景，将整体变换后的三维CT图像中的每节椎体依次进行椎体间的相对旋转，使得生成的训练数据集更合理，能够有效用于图像配准模型的训练，为基于深度学习的图像配准技术提供有力支持。
在真实使用时，可以提前生成训练数据集保存至硬盘，或者，也可以在线上生成训练数据集，边生成训练数据集边训练图像配准模型，从而节约内存。
图3为本申请另一实施例提供的训练数据集的生成方法的流程图。在上述实施例的基础上，本申请实施例对训练数据集的生成方法进行进一步说明。如图3所示，本申请实施例的方法可以包括：
S301、获取原始三维CT图像，原始三维CT图像为包含至少三节连续椎体的图像。
该步骤的具体描述可以参见图2所示实施例中S201的相关描述，此处不再赘述。
S302、将原始三维CT图像输入至椎体分割网络模型进行椎体分割处理，得到至少三节连续椎体中每节椎体的掩膜和标识信息。
该步骤中，椎体分割网络模型比如为3DUNET模型(一种用于医学图像分割的深度学习模型)、VNET模型(一种针对三维图像的神经网络模型)或Transformer模型(一种深度学习模型)等。将原始三维CT图像输入至椎体分割网络模型进行椎体分割处理，可以得到至少三节连续椎体中每节椎体的掩膜和标识信息。该标识信息可以理解为椎体名称，至少三节连续椎体比如包括颈椎C1至颈椎C7、胸椎T1至胸椎T12、腰椎L1至腰椎L5以及骶骨Sa等。
本申请实施例中，图2中S202步骤可以进一步包括如下的S303至S305三个步骤：
S303、以原始三维CT图像的中心为原点，将原始三维CT图像依次沿原始三维CT图像的X轴旋转第一预设角度、沿原始三维CT图像的Y轴旋转第二预设角度以及沿原始三维CT图像的Z轴旋转第三预设角度，得到旋转后的三维CT图像。
示例性地，假设用αx表示第一预设角度，用αy表示第二预设角度，用αz表示第三预设角度，以原始三维CT图像的中心为原点，将原始三维CT图像依次沿原始三维CT图像的X轴旋转第一预设角度αx、沿原始三维CT图像的Y轴旋转第二预设角度αy以及沿原始三维CT图像的Z轴旋转第三预设角度αz，得到旋转后的三维CT图像。其中，参数αx、αy和αz均在一定小范围内各自随机取值，比如角度在范围[-αlimit,alimit]内，αlimit可取值比如为15度。
S304、将旋转后的三维CT图像依次沿X轴平移第一预设距离、沿Y轴平移第二预设距离以及沿Z轴平移第三预设距离，得到整体变换后的三维CT图像。
示例性地，假设用tx表示第一预设距离，用ty表示第二预设距离，用tz表示第三预设距离，将旋转后的三维CT图像依次沿X轴平移第一预设距离tx、沿Y轴平移第二预设距离ty以及沿Z轴平移第三预设距离tz，得到整体变换后的三维CT图像。其中，tx、ty和tz均在一定小范围内各自随机取值，比如距离在范围[-tlimit,tlimit]内，tlimit可取值比如为20mm。
S305、根据第一预设角度、第二预设角度、第三预设角度、第一预设距离、第二预设距离以及第三预设距离，获得整体变换参数。
该步骤中，可以根据第一预设角度、第二预设角度、第三预设角度、第一预设距离、第二预设距离以及第三预设距离(即根据旋转角度和平移距离)，获得整体变换参数，该整体变换参数比如用变换矩阵M0表示。
本申请实施例中，图2中S203步骤可以进一步包括如下的S306至S308三个步骤：
S306、针对整体变换后的三维CT图像中的每节椎体，基于预设相邻椎体相对移动范围，沿预设旋转方向依次进行椎体间的相对旋转，并基于整体变换参数，获得每节椎体相对原始三维CT图像的相对变换参数。
示例性地，表1为本申请一实施例提供的包含预设相邻椎体相对移动范围的范围表，如表1所示，假设整体变换后的三维CT图像中包含七节颈椎，分别用颈椎C1至颈椎C7表示。因为不同位置的椎体相对活动范围不同，表1中列出了颈椎C1至颈椎C7中每节椎体在其相邻的上一节椎体或下一节椎体相对不动时，当前椎体以不动的相邻椎体的中心为原点，依次绕不动的相邻椎体的X轴、Y轴和Z轴的可旋转的角度范围。其中，相对上一节椎体的旋转范围这一列，表示从颈椎C1开始，按顺序依次向下旋转其它椎体；相对下一节椎体的旋转范围这一列，表示从颈椎C7开始，按顺序依次向上旋转其它椎体。由于在不负重的情况下，相邻椎体间的相对距离基本不变，此处不再做平移操作，即表1只包含旋转角度，没有三维平移距离。
表1
| 椎体名称 | 相对上一节椎体的旋转范围 | 相对下一节椎体的旋转范围 |
| C1 | - | ([-αC12x，αC12x]，[-αC12y，αC12y]，[-αC12z，αC12z]) |
| C2 | ([-αC21z，αC21x]，[-αC21y，αC21y]，[-αC21z，αC21z]) | ([-αC23x，αC23x]，[-αC23y，αC23y]，[-αC23z，αC23z]) |
| C3 | ([-αC32x，αC32x]，[-αC32y，αC32y]，[-αC32z，αC32z]) | ([-αC34x，αC34x]，[-αC34y，αC34y]，[-αC34z，αC34z]) |
| C4 | ([-αC43x，αC43x]，[-αC43y，αC43y]，[-αC43z，αC43z]) | ([-αC45x，αC45x]，[-αC45y，αC45y]，[-αC45z，αC45z]) |
| C5 | ([-αC54x，αC54x]，[-αC54y，αC54y]，[-αC54z，αC54z]) | ([-αC56x，αC56x]，[-αC56y，αC56y]，[-αC56z，αC56z]) |
| C6 | ([-αC65x，αC65x]，[-αC65y，αC65y]，[-αC65z，αC65z]) | ([-αC67x，αC67x]，[-αC67y，αC67y]，[-αC67z，αC67z]) |
| C7 | ([-αC76x，αC76x]，[-αC76y，αC76y]，[-αC76z，αC76z]) | - |
该步骤中，在获得了整体变换后的三维CT图像和整体变换参数后，可以针对整体变换后的三维CT图像中的每节椎体，基于预设相邻椎体相对移动范围和整体变换参数，沿预设旋转方向依次进行椎体间的相对旋转，获得每节椎体相对原始三维CT图像的相对变换参数。
进一步地，可选的，针对整体变换后的三维CT图像中的每节椎体，基于预设相邻椎体相对移动范围，沿预设旋转方向依次进行椎体间的相对旋转，并基于整体变换参数，获得每节椎体相对原始三维CT图像的相对变换参数，可以包括：针对整体变换后的三维CT图像中的每节待旋转的椎体，执行以下操作：确定保持不动的目标椎体；将目标椎体相邻的待旋转的当前椎体以及当前椎体相邻的其他椎体以目标椎体的中心为原点，依次沿目标椎体的X轴旋转第四预设角度、沿目标椎体的Y轴旋转第五预设角度以及沿目标椎体的Z轴旋转第六预设角度，得到当前椎体相对目标椎体的变换参数，第四预设角度、第五预设角度和第六预设角度为预设相邻椎体相对移动范围内的随机角度值；根据整体变换参数和当前椎体相对目标椎体的变换参数，获得当前椎体相对原始三维CT图像的相对变换参数。
示例性地，根据S302步骤的椎体分割处理结果，假设取整体变换后的三维CT图像内最中间的椎体保持不动(即确定保持不动的目标椎体)，先按顺序依次向上旋转其它椎体，再按顺序依次向下旋转其它椎体，或者，先按顺序依次向下旋转其它椎体，再按顺序依次向上旋转其它椎体。具体的，例如，整体变换后的三维CT图像内只包含腰椎L1至腰椎L5这五个腰椎时，可以保持腰椎L3不动，即腰椎L3为保持不动的目标椎体，先让腰椎L2(即待旋转的当前椎体)及其上面所有腰椎，以腰椎L3的中心为原点，依次沿腰椎L3的X轴旋转第四预设角度α1、沿Y轴旋转第五预设角度α2以及沿Z轴旋转第六预设角度α3；其中，假设包含预设相邻椎体相对移动范围的范围表中腰椎L2相对腰椎L3的旋转范围为([-αL23x,αL23x],[-αL23y,αL23y,],[-αL23z,αL23z])，α1、α2和α3为从该旋转范围中随机获取的三个值。根据旋转角度，可以得到腰椎L2及以上椎体相对腰椎L3的变换矩阵M1，此时，腰椎L2相对原始三维CT图像的相对变换矩阵即为ML2＝M0*M1，变换矩阵M0为整体变换参数。再保持腰椎L2不动，从范围表包含的腰椎L1相对腰椎L2的旋转范围([-αL12x,αL12x],[-αL12y,αL12y,],[-αL12z,αL12z])中随机获取三个值作为旋转角度，让腰椎L1以腰椎L2的中心为原点，依次沿腰椎L2的X轴、Y轴和Z轴旋转相应角度，可以得到腰椎L1相对腰椎L2的变换矩阵M2，此时，腰椎L1相对原始三维CT图像的相对变换矩阵即为ML1＝M0*M1*M2。然后，在保持腰椎L3不动的情况下，再从腰椎L3向下依次旋转腰椎L4和腰椎L5，可以得到腰椎L4相对原始三维CT图像的相对变换矩阵ML4和腰椎L5相对原始三维CT图像的相对变换矩阵ML5。需要说明的是，在数学上，三维空间中变换矩阵与旋转平移参数间是可以相互转换的，只是两种不同的表现形式。变换矩阵一般包括12个或16个参数，而旋转平移参数只包含6个参数，为保存方便，最终可以将变换矩阵转为6个参数，即绕X轴、Y轴和Z轴的旋转角度和平移距离，从而得到相对变换参数，即旋转平移参数。
S307、根据相对变换参数，将原始三维CT图像中每节椎体的掩膜对应的区域变换至目标空间位置。
该步骤中，在获得了每个椎体相对原始三维CT图像的相对变换参数后，可以根据每个椎体的相对变换参数，将原始三维CT图像中每节椎体的掩膜对应的区域变换至目标空间位置。
S308、确定目标空白区域，目标空白区域是将椎体的掩膜对应的区域变换至目标空间位置后产生的空白区域；采用预设填充方法对目标空白区域进行填充处理，获得相对变换后的三维CT图像。
示例性地，对于因变换产生的目标空白区域，可以根据目标空白区域的大小，来采用相应的预设填充方法进行填充处理。如果目标空白区域是小区域，则采用插值方法(比如最近邻插值、三次样条插值或双线性插值等)对目标空白区域进行填充处理；如果目标空白区域是较大区域，则使用种子填充或边界跟踪等方法对目标空白区域进行填充处理。在完成对目标空白区域的填充处理时，获得相对变换后的三维CT图像。
本申请实施例中，图2中S204步骤可以进一步包括如下的S309和S310两个步骤：
S309、根据成像参数，设置C型臂的发射光源和接收器的位置以及相对变换后的三维CT图像的位置。
该步骤中，可以根据待模拟的C型臂的成像参数，设置C型臂的发射光源和接收器的位置，并摆放相对变换后的三维CT图像
S310、采用DRR方法投影生成相对变换后的三维CT图像对应的二维基础图像。
示例性地，可以采用Siddon等算法投影生成相对变换后的三维CT图像对应的二维基础图像。其中，对于原始三维CT图像，生成的二维图像表示为Imi，对于相对变换后的三维CT图像，生成的二维基础图像表示为ImXi。可选的，通过设置不同的发射光源和接收器的位置，可以生成多组二维基础图像。
本申请实施例中，图2中S205步骤可以进一步包括如下的S311步骤：
S311、将二维基础图像输入至风格迁移网络模型进行风格迁移处理，获得二维模拟透视图像。
示例性地，可以利用循环一致性生成对抗网络(Cycle-Consistent GenerativeAdversarial Networks，CycleGAN)等神经网络，训练一个由二维基础图像到二维模拟透视图像的风格迁移网络模型，从而可以将S310步骤生成的二维基础图像ImXi转化为二维模拟透视图像Xi。
针对获取的每个原始三维CT图像，通过执行S301至S311步骤，可以得到对应的训练样本，从而得到用于训练图像配准模型的训练数据集。
本申请实施例提供的训练数据集的生成方法，通过获取原始三维CT图像，原始三维CT图像为包含至少三节连续椎体的图像，将原始三维CT图像输入至椎体分割网络模型进行椎体分割处理，得到至少三节连续椎体中每节椎体的掩膜和标识信息；以原始三维CT图像的中心为原点，将原始三维CT图像依次沿原始三维CT图像的X轴旋转第一预设角度、沿原始三维CT图像的Y轴旋转第二预设角度以及沿原始三维CT图像的Z轴旋转第三预设角度，得到旋转后的三维CT图像；将旋转后的三维CT图像依次沿X轴平移第一预设距离、沿Y轴平移第二预设距离以及沿Z轴平移第三预设距离，得到整体变换后的三维CT图像；根据第一预设角度、第二预设角度、第三预设角度、第一预设距离、第二预设距离以及第三预设距离，获得整体变换参数；针对整体变换后的三维CT图像中的每节椎体，基于预设相邻椎体相对移动范围和整体变换参数，沿预设旋转方向依次进行椎体间的相对旋转，获得每节椎体相对原始三维CT图像的相对变换参数；根据相对变换参数，将原始三维CT图像中每节椎体的掩膜对应的区域变换至目标空间位置；确定目标空白区域，目标空白区域是将椎体的掩膜对应的区域变换至目标空间位置后产生的空白区域；采用预设填充方法对目标空白区域进行填充处理，获得相对变换后的三维CT图像；根据成像参数，设置C型臂的发射光源和接收器的位置以及相对变换后的三维CT图像的位置，采用DRR方法投影生成相对变换后的三维CT图像对应的二维基础图像；将二维基础图像输入至风格迁移网络模型进行风格迁移处理，获得二维模拟透视图像。本申请实施例能够基于原始三维CT图像自动生成用于训练图像配准模型的训练数据集，使得训练数据集的获取更加便捷，其中，在生成训练数据集的过程中，考虑了真实应用场景，将整体变换后的三维CT图像中的每节椎体依次进行椎体间的相对旋转，使得生成的训练数据集更合理，能够有效用于图像配准模型的训练，为基于深度学习的图像配准技术提供有力支持。
在上述实施例的基础上，可选的，原始三维CT图像可对应多组成像参数和/或多组相对变换参数。
示例性地，表2为本申请一实施例提供的包含训练数据集的训练数据表，如表2所示，原始三维CT图像可对应多组成像参数，例如，原始三维CT图像CT1可对应多组成像参数和/或多组旋转平移参数(即相对变换参数)，其中，旋转平移参数包括了原始三维CT图像中每个椎体各自的旋转平移值。
表2
后续在训练图像配准模型时，原始三维CT图像、Carm成像参数(即待模拟的C型臂的成像参数)和二维模拟透视图像即为图像配准模型的输入，旋转平移参数即为图像配准模型的输出。
在上述实施例的基础上，表3为本申请另一实施例提供的包含训练数据集的训练数据表，如表3所示，为便于多角度进行图像配准以及为提高图像配准的准确度，每组数据中也可以生成多个二维模拟透视图像，此时，原始三维CT图像和旋转平移参数均无需变化，只移动C型臂X光机至不同位置(比如正位、侧位或倾斜一定角度等)，生成不同的二维模拟透视图像。表3中，比如当N为2时，可生成正位和侧位两个位置的二维模拟透视图像。
表3
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
图4为本申请一实施例提供的训练数据集的生成装置的结构示意图，训练数据集用于训练图像配准模型，训练数据集包含多个训练样本，每个训练样本包含样本数据和样本数据对应的标签数据，样本数据包含原始三维CT图像、待模拟的C型臂的成像参数和原始三维CT图像对应的二维模拟透视图像，标签数据包含相对变换参数。如图4所示，本申请实施例的训练数据集的生成装置400包括：获取模块401、第一处理模块402、第二处理模块403、生成模块404和第三处理模块405。其中：
获取模块401，用于获取原始三维CT图像，原始三维CT图像为包含至少三节连续椎体的图像。
第一处理模块402，用于对原始三维CT图像进行整体变换处理，得到整体变换后的三维CT图像和整体变换参数。
第二处理模块403，用于针对整体变换后的三维CT图像中的每节椎体，基于预设相邻椎体相对移动范围和整体变换参数，沿预设旋转方向依次进行椎体间的相对旋转，获得每节椎体相对原始三维CT图像的相对变换参数以及相对变换后的三维CT图像。
生成模块404，用于基于待模拟的C型臂的成像参数和相对变换后的三维CT图像，投影生成相对变换后的三维CT图像对应的二维基础图像。
第三处理模块405，用于对二维基础图像进行风格迁移处理，获得二维模拟透视图像。
在一些实施例中，第一处理模块402可以具体用于：以原始三维CT图像的中心为原点，将原始三维CT图像依次沿原始三维CT图像的X轴旋转第一预设角度、沿原始三维CT图像的Y轴旋转第二预设角度以及沿原始三维CT图像的Z轴旋转第三预设角度，得到旋转后的三维CT图像；将旋转后的三维CT图像依次沿X轴平移第一预设距离、沿Y轴平移第二预设距离以及沿Z轴平移第三预设距离，得到整体变换后的三维CT图像；根据第一预设角度、第二预设角度、第三预设角度、第一预设距离、第二预设距离以及第三预设距离，获得整体变换参数。
在一些实施例中，第二处理模块403可以具体用于：针对整体变换后的三维CT图像中的每节椎体，基于预设相邻椎体相对移动范围，沿预设旋转方向依次进行椎体间的相对旋转，并基于整体变换参数，获得每节椎体相对原始三维CT图像的相对变换参数；根据相对变换参数，将原始三维CT图像中每节椎体的掩膜对应的区域变换至目标空间位置；确定目标空白区域，目标空白区域是将椎体的掩膜对应的区域变换至目标空间位置后产生的空白区域；采用预设填充方法对目标空白区域进行填充处理，获得相对变换后的三维CT图像。
可选的，第二处理模块403在用于针对整体变换后的三维CT图像中的每节椎体，基于预设相邻椎体相对移动范围，沿预设旋转方向依次进行椎体间的相对旋转，并基于整体变换参数，获得每节椎体相对原始三维CT图像的相对变换参数时，可以具体用于：针对整体变换后的三维CT图像中的每节待旋转的椎体，执行以下操作：确定保持不动的目标椎体；将目标椎体相邻的待旋转的当前椎体以及当前椎体相邻的其他椎体以目标椎体的中心为原点，依次沿目标椎体的X轴旋转第四预设角度、沿目标椎体的Y轴旋转第五预设角度以及沿目标椎体的Z轴旋转第六预设角度，得到当前椎体相对目标椎体的变换参数，第四预设角度、第五预设角度和第六预设角度为预设相邻椎体相对移动范围内的随机角度值；根据整体变换参数和当前椎体相对目标椎体的变换参数，获得当前椎体相对原始三维CT图像的相对变换参数。
可选的，获取模块401还可以用于：对原始三维CT图像进行整体变换处理之前，将原始三维CT图像输入至椎体分割网络模型进行椎体分割处理，得到至少三节连续椎体中每节椎体的掩膜和标识信息。
在一些实施例中，生成模块404可以具体用于：根据成像参数，设置C型臂的发射光源和接收器的位置以及相对变换后的三维CT图像的位置；采用DRR方法投影生成相对变换后的三维CT图像对应的二维基础图像。
在一些实施例中，第三处理模块405可以具体用于：将二维基础图像输入至风格迁移网络模型进行风格迁移处理，获得二维模拟透视图像。
可选的，原始三维CT图像可对应多组成像参数和/或多组相对变换参数。
本申请的装置，可以用于执行上述任一所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图5为本申请一实施例提供的电子设备的结构示意图。如图5所示，该电子设备500可以包括：至少一个处理器501和存储器502。
存储器502，用于存放程序。具体地，程序可以包括程序代码，程序代码包括计算机执行指令。
存储器502可能包含高速随机存取存储器(Random Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
处理器501用于执行存储器502存储的计算机执行指令，以实现前述方法实施例所描述的训练数据集的生成方法。其中，处理器501可能是一个中央处理器(CentralProcessing Unit，CPU)，或者是专用集成电路(Application Specific IntegratedCircuit，ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。具体的，在实现前述方法实施例所描述的训练数据集的生成方法时，该电子设备例如可以是服务器等具有处理功能的电子设备。
可选的，该电子设备500还可以包括通信接口503。在具体实现上，如果通信接口503、存储器502和处理器501独立实现，则通信接口503、存储器502和处理器501可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry StandardArchitecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果通信接口503、存储器502和处理器501集成在一块芯片上实现，则通信接口503、存储器502和处理器501可以通过内部接口完成通信。
本申请还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序指令，当处理器执行计算机程序指令时，实现如上的训练数据集的生成方法的方案。
本申请还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上的训练数据集的生成方法的方案。
上述的计算机可读存储介质，上述可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static Random AccessMemory，SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable ReadOnly Memory，EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read OnlyMemory，EPROM)，可编程只读存储器(Programmable Read Only Memory，PROM)，只读存储器(Read Only Memory，ROM)，磁存储器，快闪存储器，磁盘或光盘。可读存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路中。当然，处理器和可读存储介质也可以作为分立组件存在于训练数据集的生成装置中。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (11)
1.一种训练数据集的生成方法，其特征在于，所述训练数据集用于训练图像配准模型，所述训练数据集包含多个训练样本，每个所述训练样本包含样本数据和所述样本数据对应的标签数据，所述样本数据包含原始三维计算机断层扫描CT图像、待模拟的C型臂的成像参数和原始三维CT图像对应的二维模拟透视图像，所述标签数据包含相对变换参数，所述训练数据集的生成方法包括：
获取原始三维CT图像，所述原始三维CT图像为包含至少三节连续椎体的图像；
对所述原始三维CT图像进行整体变换处理，得到整体变换后的三维CT图像和整体变换参数；
针对所述整体变换后的三维CT图像中的每节椎体，基于预设相邻椎体相对移动范围和所述整体变换参数，沿预设旋转方向依次进行椎体间的相对旋转，获得每节椎体相对所述原始三维CT图像的相对变换参数以及相对变换后的三维CT图像；
基于待模拟的C型臂的成像参数和所述相对变换后的三维CT图像，投影生成所述相对变换后的三维CT图像对应的二维基础图像；
对所述二维基础图像进行风格迁移处理，获得二维模拟透视图像。
2.根据权利要求1所述的训练数据集的生成方法，其特征在于，所述对所述原始三维CT图像进行整体变换处理，得到整体变换后的三维CT图像和整体变换参数，包括：
以所述原始三维CT图像的中心为原点，将所述原始三维CT图像依次沿所述原始三维CT图像的X轴旋转第一预设角度、沿所述原始三维CT图像的Y轴旋转第二预设角度以及沿所述原始三维CT图像的Z轴旋转第三预设角度，得到旋转后的三维CT图像；
将所述旋转后的三维CT图像依次沿所述X轴平移第一预设距离、沿所述Y轴平移第二预设距离以及沿所述Z轴平移第三预设距离，得到所述整体变换后的三维CT图像；
根据所述第一预设角度、所述第二预设角度、所述第三预设角度、所述第一预设距离、所述第二预设距离以及所述第三预设距离，获得所述整体变换参数。
3.根据权利要求2所述的训练数据集的生成方法，其特征在于，所述针对所述整体变换后的三维CT图像中的每节椎体，基于预设相邻椎体相对移动范围和所述整体变换参数，沿预设旋转方向依次进行椎体间的相对旋转，获得每节椎体相对所述原始三维CT图像的相对变换参数以及相对变换后的三维CT图像，包括：
针对所述整体变换后的三维CT图像中的每节椎体，基于预设相邻椎体相对移动范围，沿预设旋转方向依次进行椎体间的相对旋转，并基于所述整体变换参数，获得每节椎体相对所述原始三维CT图像的相对变换参数；
根据所述相对变换参数，将所述原始三维CT图像中每节椎体的掩膜对应的区域变换至目标空间位置；
确定目标空白区域，所述目标空白区域是将所述椎体的掩膜对应的区域变换至目标空间位置后产生的空白区域；
采用预设填充方法对所述目标空白区域进行填充处理，获得相对变换后的三维CT图像。
4.根据权利要求3所述的训练数据集的生成方法，其特征在于，所述针对所述整体变换后的三维CT图像中的每节椎体，基于预设相邻椎体相对移动范围，沿预设旋转方向依次进行椎体间的相对旋转，并基于所述整体变换参数，获得每节椎体相对所述原始三维CT图像的相对变换参数，包括：
针对所述整体变换后的三维CT图像中的每节待旋转的椎体，执行以下操作：
确定保持不动的目标椎体；
将所述目标椎体相邻的待旋转的当前椎体以及所述当前椎体相邻的其他椎体以所述目标椎体的中心为原点，依次沿所述目标椎体的X轴旋转第四预设角度、沿所述目标椎体的Y轴旋转第五预设角度以及沿所述目标椎体的Z轴旋转第六预设角度，得到所述当前椎体相对所述目标椎体的变换参数，所述第四预设角度、所述第五预设角度和所述第六预设角度为所述预设相邻椎体相对移动范围内的随机角度值；
根据所述整体变换参数和所述当前椎体相对所述目标椎体的变换参数，获得所述当前椎体相对所述原始三维CT图像的相对变换参数。
5.根据权利要求1至4中任一项所述的训练数据集的生成方法，其特征在于，所述对所述原始三维CT图像进行整体变换处理之前，还包括：
将所述原始三维CT图像输入至椎体分割网络模型进行椎体分割处理，得到所述至少三节连续椎体中每节椎体的掩膜和标识信息。
6.根据权利要求1至4中任一项所述的训练数据集的生成方法，其特征在于，所述基于待模拟的C型臂的成像参数和所述相对变换后的三维CT图像，投影生成所述相对变换后的三维CT图像对应的二维基础图像，包括：
根据所述成像参数，设置所述C型臂的发射光源和接收器的位置以及所述相对变换后的三维CT图像的位置；
采用数字重建放射图像DRR方法投影生成所述相对变换后的三维CT图像对应的二维基础图像。
7.根据权利要求1至4中任一项所述的训练数据集的生成方法，其特征在于，所述对所述二维基础图像进行风格迁移处理，获得二维模拟透视图像，包括：
将所述二维基础图像输入至风格迁移网络模型进行风格迁移处理，获得所述二维模拟透视图像。
8.根据权利要求1至4中任一项所述的训练数据集的生成方法，其特征在于，所述原始三维CT图像可对应多组成像参数和/或多组相对变换参数。
9.一种训练数据集的生成装置，其特征在于，所述训练数据集用于训练图像配准模型，所述训练数据集包含多个训练样本，每个所述训练样本包含样本数据和所述样本数据对应的标签数据，所述样本数据包含原始三维计算机断层扫描CT图像、待模拟的C型臂的成像参数和原始三维CT图像对应的二维模拟透视图像，所述标签数据包含相对变换参数，所述训练数据集的生成装置包括：
获取模块，用于获取原始三维CT图像，原始三维CT图像为包含至少三节连续椎体的图像；
第一处理模块，用于对所述原始三维CT图像进行整体变换处理，得到整体变换后的三维CT图像和整体变换参数；
第二处理模块，用于针对所述整体变换后的三维CT图像中的每节椎体，基于预设相邻椎体相对移动范围和所述整体变换参数，沿预设旋转方向依次进行椎体间的相对旋转，获得每节椎体相对所述原始三维CT图像的相对变换参数以及相对变换后的三维CT图像；
生成模块，用于基于待模拟的C型臂的成像参数和所述相对变换后的三维CT图像，投影生成所述相对变换后的三维CT图像对应的二维基础图像；
第三处理模块，用于对所述二维基础图像进行风格迁移处理，获得二维模拟透视图像。
10.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1至8中任一项所述的训练数据集的生成方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序指令，所述计算机程序指令被执行时，实现如权利要求1至8中任一项所述的训练数据集的生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311502856.4A CN117557759A (zh) | 2023-11-10 | 2023-11-10 | 训练数据集的生成方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311502856.4A CN117557759A (zh) | 2023-11-10 | 2023-11-10 | 训练数据集的生成方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117557759A true CN117557759A (zh) | 2024-02-13 |
Family
ID=89813907
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311502856.4A Pending CN117557759A (zh) | 2023-11-10 | 2023-11-10 | 训练数据集的生成方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117557759A (zh) |
-
2023
- 2023-11-10 CN CN202311502856.4A patent/CN117557759A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2022037696A1 (zh) | 基于深度学习的骨骼分割方法和系统 | |
| US7873403B2 (en) | Method and device for determining a three-dimensional form of a body from two-dimensional projection images | |
| JP2021521534A (ja) | 敵対的ネットワークを使用した画像合成 | |
| US8059878B2 (en) | Registering MR patient data on the basis of generic models | |
| AU2020101836A4 (en) | A method for generating femoral x-ray films based on deep learning and digital reconstruction of radiological image | |
| US7978886B2 (en) | System and method for anatomy based reconstruction | |
| US11790525B2 (en) | Method for metal artifact avoidance in x-ray imaging | |
| US20180253838A1 (en) | Systems and methods for medical imaging of patients with medical implants for use in revision surgery planning | |
| JP7027046B2 (ja) | 医用画像撮像装置及び方法 | |
| WO2020087257A1 (zh) | 图像引导方法及装置、医疗设备、计算机可读存储介质 | |
| US11890124B2 (en) | Systems and methods for low-dose AI-based imaging | |
| CN115131487A (zh) | 医学影像处理方法、系统、计算机设备、存储介质 | |
| JP6967983B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| CN113662573A (zh) | 乳腺病灶定位方法、装置、计算机设备和存储介质 | |
| Advincula et al. | Development and future trends in the application of visualization toolkit (VTK): the case for medical image 3D reconstruction | |
| US20240185509A1 (en) | 3d reconstruction of anatomical images | |
| JP6956514B2 (ja) | Ｘ線ｃｔ装置及び医用情報管理装置 | |
| CN117557759A (zh) | 训练数据集的生成方法、装置、设备及存储介质 | |
| CN111583354B (zh) | 医学图像处理单元的训练方法和医学图像运动估计方法 | |
| Nakao | Medical Image Synthesis and Statistical Reconstruction Methods | |
| CN114255296B (zh) | 基于单幅x射线影像的ct影像重建方法及装置 | |
| CN110428483B (zh) | 一种图像处理方法及计算设备 | |
| EP4134008A1 (en) | Method and systems for aliasing artifact reduction in computed tomography imaging | |
| US11955228B2 (en) | Methods and system for simulated radiology studies based on prior imaging data | |
| US20230032731A1 (en) | Method and device for operating a medical imaging device for the positionally correct representation of non-anatomical structures during an imaging examination |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |