CN115375599A - 一种基于域适应的mr图像合成ct图像的合成方法及系统 - Google Patents
一种基于域适应的mr图像合成ct图像的合成方法及系统 Download PDFInfo
- Publication number
- CN115375599A CN115375599A CN202211030113.7A CN202211030113A CN115375599A CN 115375599 A CN115375599 A CN 115375599A CN 202211030113 A CN202211030113 A CN 202211030113A CN 115375599 A CN115375599 A CN 115375599A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- slice
- size
- mri
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 230000002194 synthesizing effect Effects 0.000 title claims description 21
- 230000006978 adaptation Effects 0.000 title claims description 14
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 51
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 51
- 238000012549 training Methods 0.000 claims abstract description 46
- 238000009826 distribution Methods 0.000 claims abstract description 24
- 230000008569 process Effects 0.000 claims abstract description 15
- 238000005259 measurement Methods 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims description 23
- 238000007781 pre-processing Methods 0.000 claims description 14
- 238000013507 mapping Methods 0.000 claims description 13
- 238000003672 processing method Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 6
- 238000001308 synthesis method Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 4
- 238000005070 sampling Methods 0.000 description 5
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本申请实施例提供的一种基于域适应的MR图像合成CT图像的合成方法及系统，该方法包括确定目标MRI图像、目标CT图像；按照预设的切面大小沿着目标切片方向进行切片操作，得到MRI切片图像、以及CT切片图像，目标切片方向包括横断面方向、冠状面方向以及矢状面方向中的至少一种；构建初始CT图像合成模型，将MRI切片图像输入到初始CT图像合成模型中进行模型训练，训练过程中，将输入图像投影到公共特征子空间中，通过相关距离度量，减少不同切片方向上图像的分布差异性；在结束模型训练时，得到目标CT图像合成模型，将获取到的待处理MRI图像进行切片操作后，将得到的切片图像输入到目标CT图像合成模型中，得到所需的合成CT图像。
Description
技术领域
本申请涉及多模态医学成像技术领域，具体而言，涉及一种基于域适应的MR图像合成CT图像的合成方法及系统。
背景技术
目前，MR成像由于其具备非电离、非侵入性，并且具有一系列对比机制，现已被广泛用于诊断患者。然而，MR图像并不能直接提供电子密度信息；另外，虽然，CT成像能够提供电子密度信息，但其存在耗时长、昂贵、对患者可能有害，并且需要准确的MR/CT配准的问题，其并不能直接应用于诊断患者。
近年来，由于生成对抗网络(GAN)模型在图像合成中具有出色的真实性，其具备捕获有关目标分布信息的鉴别器，同时引导生成器执行从源图像到目标图像的一次性映射，所以GAN模型已被广泛用于图像转换任务。基于这种对抗机制，基于GAN模型的MRI转CT任务已在众多任务中报告了最先进的结果。目前，在基于GAN模型执行MRI转换CT任务时，常采用的形式包括：1、3D数据合成，即使用MRI的3D体数据合成对应的CT体；2、基于MRI的2D图像进行CT图像的合成。
然而，现有的基于MRI的2D图像进行CT图像的合成的合成方法，往往使用横断面、冠状面、矢状面中的其中一种切面数据集进行模型训练，而在其保证训练数据集合成效果好的同时，由于不同切面的数据集具有不同的数据分布，在没有考虑不同数据特征分布的情况下，将导致训练的GAN模型泛化能力差，存在图像合成质量差的问题。
发明内容
本申请实施例的目的在基于提供一种基于域适应的MR图像合成CT图像的合成方法及系统，可以提高图像合成质量。
本申请实施例还提供了一种基于域适应的MR图像合成CT图像的合成方法，包括以下步骤：
确定目标MRI图像、以及与所述目标MRI图像相配准的目标CT图像；
针对所述目标MRI图像、以及所述目标CT图像，分别按照预设的切面大小沿着目标切片方向进行切片操作，得到相应的MRI切片图像、以及CT切片图像，所述目标切片方向包括横断面方向、冠状面方向以及矢状面方向中的至少一种；
构建初始CT图像合成模型，并将所述MRI切片图像输入到初始CT图像合成模型中进行模型训练，训练过程中，将输入图像投影到公共特征子空间中，通过相关距离度量，减少不同切片方向上图像的分布差异性，并结合像素损失和域特征生成对抗损失中的至少一种进行模型约束，以提高模型训练精准度；
在结束模型训练时，得到相应的目标CT图像合成模型，将获取到的待处理MRI图像进行切片操作后，将得到的切片图像输入到所述目标CT图像合成模型中，得到所需的合成CT图像。
第二方面，本申请实施例还提供了一种基于域适应的MR图像合成CT图像的合成系统，所述系统包括图像获取模块、图像切片模块、模型训练模块以及图像合成模块，其中：
所述图像获取模块，用于确定目标MRI图像、以及与所述目标MRI图像相配准的目标CT图像；
所述图像切片模块，用于针对所述目标MRI图像、以及所述目标CT图像，分别按照预设的切面大小沿着目标切片方向进行切片操作，得到相应的MRI切片图像、以及CT切片图像，所述目标切片方向包括横断面方向、冠状面方向以及矢状面方向中的至少一种；
所述模型训练模块，用于构建初始CT图像合成模型，并将所述MRI切片图像输入到初始CT图像合成模型中进行模型训练，训练过程中，将输入图像投影到公共特征子空间中，通过相关距离度量，减少不同切片方向上图像的分布差异性，并结合像素损失和域特征生成对抗损失中的至少一种进行模型约束，以提高模型训练精准度；
所述图像合成模块，用于在结束模型训练时，得到相应的目标CT图像合成模型，将获取到的待处理MRI图像进行切片操作后，将得到的切片图像输入到所述目标CT图像合成模型中，得到所需的合成CT图像。
第三方面，本申请实施例还提供了一种可读存储介质，所述可读存储介质中包括基于域适应的MR图像合成CT图像的合成方法程序，所述基于域适应的MR图像合成CT图像的合成方法程序被处理器执行时，实现如上述任一项所述的一种基于域适应的MR图像合成CT图像的合成方法的步骤。
由上可知，本申请实施例提供的一种基于域适应的MR图像合成CT图像的合成方法、系统及可读存储介质，利用特征域适应技术和拟合能力强大的深度学习技术，通过对不同切片方向获取的MRI图像信息进行分析和验证，在确定不同方向切片的MRI数据集的数据分布存在差异的情况下，将其特征投影到公共特征子空间中，从而最小化其分布差异，在有效提高图像合成质量的情况下，还能够提高对不同切面的MRI图像合成CT的泛化性和质量。
本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种基于域适应的MR图像合成CT图像的合成方法的流程图；
图2为图像预处理实施流程图；
图3为CT图像合成模型的网络结构示意图；
图4为本申请实施例提供的一种基于域适应的MR图像合成CT图像的合成系统的结构示意图。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
请参照图1，图1是本申请一些实施例中的一种基于域适应的MR图像合成CT图像的合成方法的流程图。该方法包括以下步骤：
步骤S100，确定目标MRI图像、以及与目标MRI图像相配准的目标CT图像。
步骤S200，针对目标MRI图像、以及目标CT图像，分别按照预设的切面大小沿着目标切片方向进行切片操作，得到相应的MRI切片图像、以及CT切片图像，目标切片方向包括横断面方向、冠状面方向以及矢状面方向中的至少一种。
步骤S300，构建初始CT图像合成模型，并将MRI切片图像输入到初始CT图像合成模型中进行模型训练，训练过程中，将输入图像投影到公共特征子空间中，通过相关特征距离度量，减少不同切片方向上图像的分布差异性，并结合像素损失和域特征生成对抗损失中的至少一种进行模型约束，以提高模型训练精准度。
步骤S400，在结束模型训练时，得到相应的目标CT图像合成模型，将获取到的待处理MRI图像进行切片操作后，将得到的切片图像输入到目标CT图像合成模型中，得到所需的合成CT图像。
由上可知，本申请公开的一种基于域适应的MR图像合成CT图像的合成方法，利用特征域适应技术和拟合能力强大的深度学习技术，通过对不同切片方向获取的MRI图像信息进行分析和验证，在确定不同方向切片的MRI数据集的数据分布存在差异的情况下，将其特征投影到公共特征子空间中，从而最小化其分布差异，在有效提高图像合成质量的情况下，还能够提高对不同切面的MRI图像合成CT的泛化性和质量。
在其中一个实施例中，步骤S100中，确定目标MRI图像、以及与目标MRI图像相配准的目标CT图像，包括：
步骤S1000，获取初始MR图像、以及与初始MR图像相配准的初始CT图像。
步骤S1001，按照预设的数据处理方法对初始MR图像、以及初始CT图像进行预处理，得到相应的预处理数据，其中，数据处理方法包括以下方法中的至少一种：
用于将处理图像的像素调整到预设数值范围内的标准化处理方法。
具体的，在采集MRI图像和CT图像的时候，由于不同协议导致图像读取的范围不一致，且可能远远大于图像的标准像素范围。因此，在进行模型训练之前，需要进一步对MRI图像和CT图像进行像素标准化处理，以将其像素调整到预设数值范围内。在其中一个实施例中，该预设数值范围可以为0～255的整数区间。
用于对处理图像中显示不均匀的区域进行调整的N4偏置场校正方法。
具体的，由于磁场的变化，在进行图像可视化的时候，可能出现某一图像区域的显示强度更强，或显示强度更弱。上述情况的发生，一般是由于磁场的变化所导致，这些变化的映射称为偏置场。因此，为了避免偏置场所带来的图像显示不均匀的问题，当前实施例中，需要对获取到的MRI图像进行N4偏置校正处理。
用于去除图像中存在的噪声的图像去噪方法。
具体的，图像去噪是指减少数字图像中噪声的过程。现实中的数字图像在数字化和传输过程中常受到成像设备与外部环境噪声干扰等影响，称为含噪图像或噪声图像。噪声是图象干扰的重要原因。一幅图象在实际应用中可能存在各种各样的噪声，这些噪声可能在传输中产生，也可能在量化等处理中产生。因此，为了改善图像质量以及提高图像的可解释性，需要在模型训练之前，从待输入的训练图像中识别出、并过滤掉噪声。
在其中一个实施例中，可以基于小波域的特征分析、以及空间域的特征分析进行图像去噪，本申请实施例不对其具体实施方式进行限定。
用于对MR图像、以及关联到的CT图像进行进一步的刚性配准的刚性配准方法。
具体的，在一些特殊情况中，采集到的MR图像、以及其对应关联到的CT图像，可能存在不完全匹配的问题，为了保证后续监督合成的顺利实施，当前实施例中，需要对MR图像、以及关联到的CT图像进行刚性配准。
需要说明的是，刚性配准是指寻求一种(或一系列)空间变换，使图像上的对应点达到空间上的一致性，进一步提高图像配准精准度。
用于从MR图像、以及关联到的CT图像中识别出、并保留两者共有的图像区域的聚同化异方法。
步骤S1002，根据所得的预处理数据，确定目标MR图像、以及与目标MR图像相配准的目标CT图像。
具体的，所得的预处理数据即为所需确定的目标MR图像、以及与其相配准的目标CT图像，后续将基于该目标MR图像、以及与其相配准的目标CT图像进行模型训练。
需要说明的是，整体的图像预处理流程可以参考图2，基于图2可知，图像预处理流程将先从数据读取阶段、到对MRI图像以及CT图像进行标准化处理阶段、再到对MRI图像进行N4偏置场校正阶段、再到去除图像采集过程中产生的噪声阶段、再到MRI、CT图像刚性配准阶段、最后一步即为裁剪MRI图像和CT图像中存在的非共有部分，图像中仅保留两者共有的部分。
上述实施例，在进行模型训练之前，通过图像去噪、标准化处理等方法对获取到的初始MR图像以及与其相配准的初始CT图像进行预处理，通过去除图像中影响后续处理精度、准确度的因素，便于后续的处理，提高后续处理的可靠性。
在其中一个实施例中，步骤S200中，按照预设的切面大小沿着目标切片方向进行切片操作，得到相应的切片图像，包括：
步骤S2000，获取目标切片方向涵盖的切面图像的图像尺寸，并在确定图像尺寸小于预设的切面大小时，沿着切面图像的边缘部分进行扩充处理，以将切面图像的图像尺寸扩大至预设的切面大小。
具体的，通过检查目标切片方向涵盖的切面图像的图像尺寸的大小，在确定该方向上涵盖的切面图像的图像尺寸小于预设的切面大小时，为使得训练数据能够尽可能的接近测试数据，需要采用相应的图像扩充方式沿着图像的边缘部分进行扩充处理。在其中一个实施例中，可以使用零矩阵，即采用空白像素对图像进行扩充处理。
步骤S2001，在确定图像尺寸大于预设的切面大小时，在保证图像清晰度的情况下，将切面图像的图像尺寸缩小至预设的切面大小。
具体的，在将切面图像的图像尺寸缩小至预设的切面大小时，可以通过下采样即降采样方式将切面图像的图像尺寸缩小至预设的切面大小。需要说明的是，为了解决数据分布不均衡，下采样的目的就从多数集中选出一部分数据与少数集重新组合成一个新的数据集，常用的下采样方式包括随机下采样、EasyEnsemble和BalanceCascade(采用集成学习机制来处理传统随机欠采样中的信息丢失问题)等，本申请实施例对此不作限定。其中，在满足预设采样定理的情况下，方可实施下采样，否则会引起信号成分的混叠，影响采样效果。
步骤S2002，在确定切面图像的图像尺寸已调整至预设的切面大小时，沿着目标切片方向进行切片操作，得到相应的切片图像。
具体的，在进行切片操作的时候，可以预先选定图像切割框，该图像切割框的范围应该能够覆盖到整个切片区域。之后，再选定图像切割框的位置，在该位置上沿着目标切片方向进行切片操作，得到相应的切片图像。
上述实施例，在进行切片操作之前，对目标切片方向涵盖的切面图像的图像尺寸进行调整，进一步保证了训练数据能够尽可能的接近测试数据，提高了训练精准度。
在其中一个实施例中，CT图像合成模型包括特征提取网络以及生成器网络，其中：
特征提取网络，用于将输入图像投影到公共特征子空间中，并在公共特征子空间，基于最小化不同切片方向上图像之间的特征距离的处理方式得到相应的目标映射特征。
具体的，请参考图3，其为CT图像合成模型的网络结构示意图，在进行目标映射特征的处理时，会先将不同切面的MRI切片图像投影到公共特征子空间，并在该特征子空间中最小化各切面的MRI数据的距离(具体可以参考图3中，
到F，
到F，以及F与F之间共享的实施流程)，以此来减轻不同切面数据分布不一致的问题，提高不同数据集合成CT数据的质量。
生成器网络由编码器和解码器组成，其中，编码器用于对获取到的目标映射特征进行编码处理，得到相应的特征向量，解码器用于基于特征向量，生成所预测的目标图像。
具体的，请参考图3，图3中示意的G即为生成器网络，编码器通过关键信息特征的提取，从而得到更精炼的数据表征，解码器用于实现精炼数据表征到原始数据重建的过程，这样原始信号中的主要信息可以被重建出来，次要干扰信息比如噪声，就可以被去除。
上述实施例，在考虑到不同数据特征分布的情况下，进行域适应处理，能够提高模型的泛化能力，提高了对不同切面的MRI图像合成CT的泛化性和合成质量。
在其中一个实施例中，CT图像合成模型还包括域特征鉴别器网络，其中：
域特征鉴别器网络，用于对经由特征提取网络提取到的目标映射特征的切片方向进行鉴别，并以此判断是否在切片方向上出现偏差。
具体的，请参考图3，图3中示意的D即为域特征鉴别器网络，域特征鉴别器网络用于判断提取的特征，是否与训练数据集的切片方向相同，其中，若认为在切片方向上没有出现偏差，则输出表征未出现偏差的第一判断结果，否则，输出表征出现偏差的第二判断结果。需要说明的是，域特征鉴别器网络仅用于训练阶段。
上述实施例，在训练阶段，基于域特征鉴别器网络能够进一步避免提取到的目标映射特征的切片方向出现偏差，提高图像合成质量。
在其中一个实施例中，像素损失Lpix通过下述公式确定：
其中，yi表示实际所需得到标准图像，
经由生成器网络预测得到的目标图像，i表示像素点的编号。
域特征生成对抗损失Ldomain通过下述公式确定：
Ldomain＝Ex[log(1-D(fi))]；
其中，fi表示经由特征提取网络处理得到的目标映射特征，D(fi)表示判别器，Ex表示从x的分布中取函数均值。
请参考图4，本申请公开的一种基于域适应的MR图像合成CT图像的合成系统400，该系统400包括图像处理模块401、图像切片模块402、模型训练模块403以及图像合成模块404，其中：
图像处理模块401，用于确定目标MRI图像、以及与目标MRI图像相配准的目标CT图像。
图像切片模块402，用于针对目标MRI图像、以及目标CT图像，分别按照预设的切面大小沿着目标切片方向进行切片操作，得到相应的MRI切片图像、以及CT切片图像，目标切片方向包括横断面方向、冠状面方向以及矢状面方向中的至少一种。
模型训练模块403，用于构建初始CT图像合成模型，并将MRI切片图像输入到初始CT图像合成模型中进行模型训练，训练过程中，将输入图像投影到公共特征子空间中，通过相关距离度量，减少不同切片方向上图像的分布差异性，并结合像素损失和域特征生成对抗损失中的至少一种进行模型约束，以提高模型训练精准度。
图像合成模块404，用于在结束模型训练时，得到相应的目标CT图像合成模型，将获取到的待处理MRI图像进行切片操作后，将得到的切片图像输入到目标CT图像合成模型中，得到所需的合成CT图像。
在其中一个实施例中，图像处理模块还用于获取初始MR图像、以及与初始MR图像相配准的初始CT图像；按照预设的数据处理方法对初始MR图像、以及初始CT图像进行预处理，得到相应的预处理数据，其中，数据处理方法包括以下方法中的至少一种：用于将处理图像的像素调整到预设数值范围内的标准化处理方法；用于对处理图像中显示不均匀的区域进行调整的N4偏置场校正方法；用于去除图像中存在的噪声的图像去噪方法；用于对MR图像、以及关联到的CT图像进行进一步的刚性配准的刚性配准方法；用于从MR图像、以及关联到的CT图像中识别出、并保留两者共有的图像区域的聚同化异方法；根据所得的预处理数据，确定目标MR图像、以及与目标MR图像相配准的目标CT图像。
在其中一个实施例中，图像切片模块还用于获取目标切片方向涵盖的切面图像的图像尺寸，并在确定图像尺寸小于预设的切面大小时，沿着切面图像的边缘部分进行扩充处理，以将切面图像的图像尺寸扩大至预设的切面大小；在确定图像尺寸大于预设的切面大小时，在保证图像清晰度的情况下，将切面图像的图像尺寸缩小至预设的切面大小；在确定切面图像的图像尺寸已调整至预设的切面大小时，沿着目标切片方向进行切片操作，得到相应的切片图像。
在其中一个实施例中，像素损失Lpix通过下述公式确定：
其中，yi表示实际所需得到标准图像，
经由生成器网络预测得到的目标图像，i表示像素点的编号；
域特征生成对抗损失Ldomain通过下述公式确定：
Ldomain＝Ex[log(1-D(fi))]；
其中，fi表示经由特征提取网络处理得到的目标映射特征，D(fi)表示判别器，Ex表示从x的分布中取函数均值。
由上可知，本申请公开的一种基于域适应的MR图像合成CT图像的合成系统，利用特征域适应技术和拟合能力强大的深度学习技术，通过对不同切片方向获取的MRI图像信息进行分析和验证，在确定不同方向切片的MRI数据集的数据分布存在差异的情况下，将其特征投影到公共特征子空间中，从而最小化其分布差异，在有效提高图像合成质量的情况下，还能够提高对不同切面的MRI图像合成CT的泛化性和质量。
本申请实施例提供一种可读存储介质，所述计算机程序被处理器执行时，执行上述实施例的任一可选的实现方式中的方法。其中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static Random AccessMemory,简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable ProgrammableRead-Only Memory,简称EEPROM)，可擦除可编程只读存储器(Erasable ProgrammableRead Only Memory,简称EPROM)，可编程只读存储器(Programmable Red-Only Memory,简称PROM)，只读存储器(Read-Only Memory,简称ROM)，磁存储器，快闪存储器，磁盘或光盘。
上述可读存储介质，利用特征域适应技术和拟合能力强大的深度学习技术，通过对不同切片方向获取的MRI图像信息进行分析和验证，在确定不同方向切片的MRI数据集的数据分布存在差异的情况下，将其特征投影到公共特征子空间中，从而最小化其分布差异，在有效提高图像合成质量的情况下，还能够提高对不同切面的MRI图像合成CT的泛化性和质量。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种基于域适应的MR图像合成CT图像的合成方法，其特征在于，包括以下步骤：
确定目标MRI图像、以及与所述目标MRI图像相配准的目标CT图像；
针对所述目标MRI图像、以及所述目标CT图像，分别按照预设的切面大小沿着目标切片方向进行切片操作，得到相应的MRI切片图像、以及CT切片图像，所述目标切片方向包括横断面方向、冠状面方向以及矢状面方向中的至少一种；
构建初始CT图像合成模型，并将所述MRI切片图像输入到初始CT图像合成模型中进行模型训练，训练过程中，将输入图像投影到公共特征子空间中，通过相关特征距离度量，减少不同切片方向上图像的分布差异性，并结合像素损失和域特征生成对抗损失中的至少一种进行模型约束，以提高模型训练精准度；
在结束模型训练时，得到相应的目标CT图像合成模型，将获取到的待处理MRI图像进行切片操作后，将得到的切片图像输入到所述目标CT图像合成模型中，得到所需的合成CT图像。
2.根据权利要求1所述的方法，其特征在于，所述确定目标MRI图像、以及与所述目标MRI图像相配准的目标CT图像，包括：
获取初始MR图像、以及与所述初始MR图像相配准的初始CT图像；
按照预设的数据处理方法对所述初始MR图像、以及所述初始CT图像进行预处理，得到相应的预处理数据，其中，所述数据处理方法包括以下方法中的至少一种：
用于将处理图像的像素调整到预设数值范围内的标准化处理方法；
用于对处理图像中显示不均匀的区域进行调整的N4偏置场校正方法；
用于去除图像中存在的噪声的图像去噪方法；
用于对MR图像、以及关联到的CT图像进行进一步的刚性配准的刚性配准方法；
用于从MR图像、以及关联到的CT图像中识别出、并保留两者共有的图像区域的聚同化异方法；
根据所得的预处理数据，确定目标MR图像、以及与所述目标MR图像相配准的目标CT图像。
3.根据权利要求1所述的方法，其特征在于，所述按照预设的切面大小沿着目标切片方向进行切片操作，得到相应的切片图像，包括：
获取所述目标切片方向涵盖的切面图像的图像尺寸，并在确定所述图像尺寸小于预设的切面大小时，沿着所述切面图像的边缘部分进行扩充处理，以将所述切面图像的图像尺寸扩大至预设的切面大小；
在确定所述图像尺寸大于预设的切面大小时，在保证图像清晰度的情况下，将所述切面图像的图像尺寸缩小至预设的切面大小；
在确定所述切面图像的图像尺寸已调整至预设的切面大小时，沿着所述目标切片方向进行切片操作，得到相应的切片图像。
4.根据权利要求1所述的方法，其特征在于，所述CT图像合成模型包括特征提取网络以及生成器网络，其中：
所述特征提取网络，用于将输入图像投影到公共特征子空间中，并在所述公共特征子空间，基于最小化不同切片方向上图像之间的特征距离的处理方式得到相应的目标映射特征；
所述生成器网络由编码器和解码器组成，其中，所述编码器用于对获取到的目标映射特征进行编码处理，得到相应的特征向量，所述解码器用于基于所述特征向量，生成所预测的目标图像。
5.根据权利要求4所述的方法，其特征在于，所述CT图像合成模型还包括域特征鉴别器网络，其中：
所述域特征鉴别器网络，用于对经由所述特征提取网络提取到的目标映射特征的切片方向进行鉴别，并以此判断是否在切片方向上出现偏差。
6.根据权利要求1所述的方法，其特征在于，所述像素损失Lpix通过下述公式确定：
其中，yi表示实际所需得到标准图像，
经由生成器网络预测得到的目标图像，i表示像素点的编号；
所述域特征生成对抗损失Ldomain通过下述公式确定：
Ldomain＝Ex[log(1-D(fi))]；
其中，fi表示经由特征提取网络处理得到的目标映射特征，D(fi)表示判别器，Ex表示从x的分布中取函数均值。
7.一种基于域适应的MR图像合成CT图像的合成系统，其特征在于，所述系统包括图像处理模块、图像切片模块、模型训练模块以及图像合成模块，其中：
所述图像处理模块，用于确定目标MRI图像、以及与所述目标MRI图像相配准的目标CT图像；
所述图像切片模块，用于针对所述目标MRI图像、以及所述目标CT图像，分别按照预设的切面大小沿着目标切片方向进行切片操作，得到相应的MRI切片图像、以及CT切片图像，所述目标切片方向包括横断面方向、冠状面方向以及矢状面方向中的至少一种；
所述模型训练模块，用于构建初始CT图像合成模型，并将所述MRI切片图像输入到初始CT图像合成模型中进行模型训练，训练过程中，将输入图像投影到公共特征子空间中，通过相关距离度量，减少不同切片方向上图像的分布差异性，并结合像素损失和域特征生成对抗损失中的至少一种进行模型约束，以提高模型训练精准度；
所述图像合成模块，用于在结束模型训练时，得到相应的目标CT图像合成模型，将获取到的待处理MRI图像进行切片操作后，将得到的切片图像输入到所述目标CT图像合成模型中，得到所需的合成CT图像。
8.根据权利要求7所述的系统，其特征在于，所述图像处理模块还用于获取初始MR图像、以及与所述初始MR图像相配准的初始CT图像；按照预设的数据处理方法对所述初始MR图像、以及所述初始CT图像进行预处理，得到相应的预处理数据，其中，所述数据处理方法包括以下方法中的至少一种：用于将处理图像的像素调整到预设数值范围内的标准化处理方法；用于对处理图像中显示不均匀的区域进行调整的N4偏置场校正方法；用于去除图像中存在的噪声的图像去噪方法；用于对MR图像、以及关联到的CT图像进行进一步的刚性配准的刚性配准方法；用于从MR图像、以及关联到的CT图像中识别出、并保留两者共有的图像区域的聚同化异方法；根据所得的预处理数据，确定目标MR图像、以及与所述目标MR图像相配准的目标CT图像。
9.根据权利要求7所述的系统，其特征在于，所述图像切片模块还用于获取所述目标切片方向涵盖的切面图像的图像尺寸，并在确定所述图像尺寸小于预设的切面大小时，沿着所述切面图像的边缘部分进行扩充处理，以将所述切面图像的图像尺寸扩大至预设的切面大小；在确定所述图像尺寸大于预设的切面大小时，在保证图像清晰度的情况下，将所述切面图像的图像尺寸缩小至预设的切面大小；在确定所述切面图像的图像尺寸已调整至预设的切面大小时，沿着所述目标切片方向进行切片操作，得到相应的切片图像。
10.一种可读存储介质，其特征在于，所述可读存储介质中包括基于域适应的MR图像合成CT图像的合成方法程序，所述基于域适应的MR图像合成CT图像的合成方法程序被处理器执行时，实现如权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211030113.7A CN115375599A (zh) | 2022-08-26 | 2022-08-26 | 一种基于域适应的mr图像合成ct图像的合成方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211030113.7A CN115375599A (zh) | 2022-08-26 | 2022-08-26 | 一种基于域适应的mr图像合成ct图像的合成方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115375599A true CN115375599A (zh) | 2022-11-22 |
Family
ID=84067138
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211030113.7A Pending CN115375599A (zh) | 2022-08-26 | 2022-08-26 | 一种基于域适应的mr图像合成ct图像的合成方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115375599A (zh) |
-
2022
- 2022-08-26 CN CN202211030113.7A patent/CN115375599A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lescroart et al. | Human scene-selective areas represent 3D configurations of surfaces | |
| KR101599219B1 (ko) | 3차원 의료 영상에서 랜드마크들의 자동 등록을 위한 장치 및 방법 | |
| Milchenko et al. | Obscuring surface anatomy in volumetric imaging data | |
| CN111539947B (zh) | 图像检测方法及相关模型的训练方法和相关装置、设备 | |
| US11633146B2 (en) | Automated co-registration of prostate MRI data | |
| US9129149B2 (en) | Information processing apparatus, method, and program | |
| US7907768B2 (en) | Method and apparatus for probabilistic atlas based on shape modeling technique | |
| US20230281809A1 (en) | Connected machine-learning models with joint training for lesion detection | |
| US11055565B2 (en) | Systems and methods for the identification of perivascular spaces in magnetic resonance imaging (MRI) | |
| WO2009138202A1 (en) | Method and system for lesion segmentation | |
| EP2143036A1 (en) | Combined feature ensamble nutual information image registration | |
| Mahmoudzadeh et al. | Evaluation of interpolation effects on upsampling and accuracy of cost functions‐based optimized automatic image registration | |
| US20110064289A1 (en) | Systems and Methods for Multilevel Nodule Attachment Classification in 3D CT Lung Images | |
| CN113223015A (zh) | 血管壁图像分割方法、装置、计算机设备和存储介质 | |
| US10964074B2 (en) | System for harmonizing medical image presentation | |
| EP0832468B1 (en) | Apparatus for image enhancement, and related method | |
| CN114066798A (zh) | 一种基于深度学习的脑肿瘤核磁共振影像数据合成方法 | |
| CN115375599A (zh) | 一种基于域适应的mr图像合成ct图像的合成方法及系统 | |
| CN116433976A (zh) | 图像处理方法、装置、设备和存储介质 | |
| US20240169544A1 (en) | Methods and systems for biomedical image segmentation based on a combination of arterial and portal image information | |
| CN114972266A (zh) | 基于自注意机制和稳定学习的淋巴瘤超声图像语义分割方法 | |
| Arzhaeva et al. | Automated estimation of progression of interstitial lung disease in CT images | |
| US20180108132A1 (en) | System and Methods for Post-Cardiac MRI Images | |
| CN112530554B (zh) | 一种扫描定位方法、装置、存储介质及电子设备 | |
| CN113129297A (zh) | 基于多期相肿瘤影像的直径自动测量方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |