CN114677263A - Ct图像与mri图像的跨模态转换方法和装置 - Google Patents
Ct图像与mri图像的跨模态转换方法和装置 Download PDFInfo
- Publication number
- CN114677263A CN114677263A CN202210236033.0A CN202210236033A CN114677263A CN 114677263 A CN114677263 A CN 114677263A CN 202210236033 A CN202210236033 A CN 202210236033A CN 114677263 A CN114677263 A CN 114677263A
- Authority
- CN
- China
- Prior art keywords
- image
- mri
- discrimination
- network
- loss
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 33
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000006870 function Effects 0.000 claims abstract description 38
- 238000005457 optimization Methods 0.000 claims abstract description 10
- 238000002595 magnetic resonance imaging Methods 0.000 claims description 241
- 238000002599 functional magnetic resonance imaging Methods 0.000 claims description 43
- 238000000605 extraction Methods 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims 2
- 238000012549 training Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 7
- 230000011218 segmentation Effects 0.000 description 6
- 230000003187 abdominal effect Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000003759 clinical diagnosis Methods 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000010968 computed tomography angiography Methods 0.000 description 2
- 238000013170 computed tomography imaging Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 210000004872 soft tissue Anatomy 0.000 description 2
- 238000009827 uniform distribution Methods 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000005865 ionizing radiation Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000001959 radiotherapy Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明公开了CT图像与MRI图像的跨模态转换方法，包括：获取样本图像对；基于Cycle‑GAN构建学习系统，其中，两个生成网络根据输入图像生成第一结构特征、第一灰度特征以及生成图像，两个判别网络用于判断CT图像和MRI图像的真伪；构建学习系统的损失函数，包括生成网络的损失函数和判别网络的损失函数，其中，生成网络的损失函数包括基于结构特征的结构损失、基于生成图像的重建损失以及基于判别网络的判别结果的对抗损失；判别网络的损失函数包括对CT图像的判别损失和对MRI图像的判别损失；样本图像对和损失函数对学习系统进行参数优化以得到两个生成模型；利用两个生成模型实现CT图像与MRI图像之间转换。
Description
技术领域
本发明属于医疗图像处理技术领域，具体涉及CT图像与MRI图像的跨模态转换方法和装置。
背景技术
核磁共振MRI图像由于其优越的软组织分辨率，为医生提供了大量信息，且对患者无电离辐射伤害等特点，在临床诊断方面具有突出的优势。但是，MRI成像设备昂贵，扫描成本高，扫描时间长，临床中难以广泛获取并利用MRI图像。
计算机断层扫描CT图像具有扫描时间短，成本较低，可广泛获取等优势，在临床中被广泛使用，尤其在为病人制定放疗计划时CT图像尤为重要。但是，CT图像软组织分辨率较差，难以为临床中诊断提供丰富的组织信息。
为了充分发挥CT图像和MRI图像的优势，同时避免临床中使用CT图像和MRI图像面临的困境，研究人员提出采用图像生成模型学习患者同一解剖位置下CT图像和MRI图像分布之间映射关系，实现CT图像和MRI图像的模态转换，达到通过病人的CT图像自动生成与之对应的MRI图像和通过MRI图像自动生成与之对应的CT图像的效果。
针对CT数据和MRI数据不成对的问题，研究人员提出使用循环一致性生成对抗网络Cycle-GAN，避免了对训练数据成对且匹配这一要求，大大缓解了对训练数据集的限制，扩大了可用于生成网络训练的数据量。
利用Cycle-GAN网络结构进行CT与MRI图像模态转换时，在未成对等CT和MRI数据集上，同时训练由CT图像生成对应MRI图像的生成器和MRI图像生成对应CT图像的生成器，实现CT图像和MRI图像的自动模态转换，以应对更多临床中的需求。
为了弥补未成对训练数据集造成的生成图像监督信息不足，导致的生成图像的质量有限的问题，即为了保证图像生成过程中目标等重要区域的完整性和一致性，研究人员在图像生成框架的基础上添加了分割分支，并将输入图像的分割损失和生成图像的分割损失引入网络损失函数中，从而在网络优化过程中，增强对目标等核心区域的监督，防止在图像生成过程中出现目标区域丢失的情况，实现更高质量的生成。
然而上述基于Cycle-GAN网络结构的图像生成方法，添加分割分支从而加强对生成结果的监督，需要训练数据集有额外的像素级的标注信息，且增加了网络的复杂程度，加大了网络训练的难度，在网络训练过程中难以有效的平衡生成网络、判别网络和分割网络等，实现理想的生成效果。
发明内容
针对上述图像生成技术的不足，本发明的发明目的是提供CT图像与MRI图像的跨模态转换方法和装置，以实现临床对于不同模态影像的需求。
为实现上述发明目的，本发明实施例提供的CT图像与MRI图像的跨模态转换方法，包括以下步骤：
获取针对同一目标的CT图像与MRI图像，并构建CT图像集和MRI图像集；
基于Cycle-GAN构建学习系统，其中，第一生成网络用于根据CT图像生成第一结构特征、第一灰度特征以及MRI图像，第二生成网络用于根据MRI图像生成第二结构特征、第二灰度特征以及CT图像，第一判别网络用于判断CT图像的真伪、第二判别网络用于判断MRI图像的真伪；
构建学习系统的损失函数，包括生成网络的损失函数和判别网络的损失函数，其中，生成网络的损失函数包括基于结构特征的结构损失、基于生成图像的重建损失以及基于判别网络的判别结果的对抗损失；判别网络的损失函数包括对CT图像的判别损失和对MRI图像的判别损失；
利用CT图像集、MRI图像集和损失函数对学习系统进行参数优化，优化结束后，提取参数确定的第一生成网络作为第一生成模型，提取参数确定的第二生成网络作为第二生成模型；
利用第一生成模型实现CT图像到MRI图像的转换；
利用第二生成模型实现MRI图像到CT图像的转换。
优选地，对获取的针对同一目标的CT图像与MRI图像进行双线性插值，以将CT图像和MRI图像变化到同一空间分辨率，然后构建CT图像集和MRI图像集。
优选地，所述第一生成网络和所述第二生成网络的结构相同，均包括编码部分和解码部分；
其中，编码部分包括特征预提取模块、结构特征编码模块、灰度特征编码模块，输入图像经过特征预提取模块特征提取后，提取的特征分别输入至结构特征编码模块和灰度特征编码模块，分别经过编码后输出结构特征和灰度特征；
解码部分包括依次连接的多个反卷积单元、至少1个卷积层以及激活层，其中，反卷积单元包括相连的残差子模块和反卷积层；编码部分输出的结构特征和灰度特征经过拼接后输入至解码部分，解码部分对输入的拼接特征进行解码操作以生成图像。
优选地，所述特征预提取模块包括至少1个由卷积单元，其中，卷积单元包括相连接的残差子模块和卷积层；
所述结构特征编码模块与灰度特征编码模块结构相同，包括至少1个卷积单元，且结构特征编码模块的网络层数多于特征预提取模块的网络层数。
优选地，所述第一判别网络和所述第二判别网络结构相同，包括依次连接的至少1个卷积模块、卷积层和激活层；
其中，卷积模块包括相连接的卷积层、归一化层和激活层。
优选地，所述基于结构特征的结构损失，包括：
其中，j表示图像索引，N表示图像个数，ICT表示输入的CT图像，IMRI表示MRI图像，IfCT表示ICT经过第一生成网络生成的伪CT图像，IfMRI表示伪MRI图像，
表示ICT的结构特征，
表示IfMRI的结构特征，
表示IMRI的结构特征，
表示IfCT的结构特征，LE-CT表示CT图像对应的结构损失，LE-MRI表示MRI图像对应的结构特征；
所述基于生成图像的重建损失，包括：
其中，
表示第j个CT图像，
表示
经过第一生成网络生成伪MRI图像IfMRI，该伪MRI图像IfMRI经过第二生成网络生成的重建CT图像，Lcyc-CT表示CT图像对应的重建损失，Lcyc-MRI表示MRI图像对应的重建损失；
所述基于判别网络的判别结果的对抗损失，包括：
其中，DMRI()表示第二判别网络的判别结果，DCT()表示第一判别网络的判别结果，
表示MRI图像
经过第二生成网络生成伪CT图像IfCT，该伪CT图像IfCT经过第一生成网络生成的重建MRI图像，
表示第二判别网络对
的判别结果，Ladv-fMRI表示伪MRI图像IfMRI对应的对抗损失，
表示第二判别网络对
的判别结果，Ladv-rMRI表示重建MRI图像IrMRI对应的对抗损失，
表示第一判别网络对
的判别结果，Ladv-fCT表示伪CT图像IfCT对应的对抗损失，
表示第一判别网络对
的判别结果，Ladv-rCT表示重建CT图像IrCT对应的对抗损失；
则，生成网络的损失函数LG为：
LG＝λG1(Lcyc-CT+Lcyc-MRI)+λG2(LE-CT+LE-MRI)+λG3(Ladv-fCT+Ladv-fMRI)+λG4(Ladv-rCT+Ladv-rMRI)
其中，λG1、λG2、λG3和λG4分别表示损失项(Lcyc-CT+Lcyc-MRI)、(LE-CT+LE-MRI)、(Ladv-fCT+Ladv-fMRI)和(Ladv-rCT+Ladv-rMRI)的权重参数。
优选地，所述对CT图像的判别损失，包括：
其中，j表示图像索引，N为图像数量，
表示第一判别网络对
的判别结果，LD-CT表示CT图像
对应的判别损失，
表示第一判别网络对
的判别结果，LD-fCT表示伪CT图像
对应的判别损失，
表示第一判别网络对
的判别结果，LD-rCT表示重建CT图像
对应的判别损失；
所述对MRI图像的判别损失，包括：
其中，
表示第二判别网络对
的判别结果，LD-MRI表示MRI图像
对应的判别损失，
表示第二判别网络对
的判别结果，LD-fMRI表示伪MRI图像
对应的判别损失，
表示第二判别网络对
的判别结果，LD-rMRI表示重建MRI图像
对应的判别损失；
则，判别网络的损失函数LD为：
LD＝λD1(LD-CT+LD-MRI)+λD2(LD-fCT+LD-fMRI)+λD3(LD-rCT+LD-rMRI)
其中，λD1、λD2和λD3分别表示损失项(LD-CT+LD-MRI)、(LD-fCT+LD-fMRI)和(LD-rCT+LD-rMRI)的权重参数。
优选地，，对学习系统进行参数优化时，首先，保持第一判别网络和第二判别网络的参数不变，通过优化生成网络的损失函数，以更新第一生成网络和第二生成网络的参数；
然后，保持第一生成网络和第二生成网络的参数不变，通过优化判别网络的损失函数，以更新第一判别网络和第二判别网络的参数。
优选地，采用自适应学习率优化算法优化生成网络的损失函数和判别网络的损失函数。
为实现上述发明目的，本发明实施例提供的CT图像与MRI图像的跨模态转换装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上执行的计算机程序，所述存储器中存有上述实施例提供的CT图像与MRI图像的跨模态转换方法构建的第一生成模型和第二生成模型；
所述处理器执行所述计算机程序时实现以下步骤：
利用第一生成模型实现CT图像到MRI图像的转换；
利用第二生成模型实现MRI图像到CT图像的转换。
与现有技术相比，本发明具有的有益效果至少包括：
本发明将提取的图像特征分离为特定的结构特征和独立于模态的灰度特征，通过利用输入图像和生成图像的结构一致性约束加强了对生成图像的引导，缓解了引入分割分支和手工标注的需求，具有更强的灵活性。
本发明通过提取输入图像和生成图像独立于图像模态的结构特征，计算输入图像和生成图像之间的结构特征损失，加强了对生成图像的监督，增强了图像生成过程解剖结构的一致性，从而提升了生成图像的质量，能够实现临床中CT图像与MRI图像之间的任意转换。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
图1是实施例提供的CT图像与MRI图像的跨模态转换方法的流程图；
图2是实施例提供的第一生成网络和第二生成网络的结构示意图；
图3是实施例提供的示例性的由腹部CT图像和腹部MRI图像组成的样本图像对；
图4是实施例提供的与CT图像对应的伪MRI图像和真实MRI图像；
图5是实施例提供的与MRI图像对应的伪CT图像和真实CT图像；
图6是实施例提供的重建CT图像和重建MRI图像。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
图1是实施例提供的CT图像与MRI图像的跨模态转换方法的流程图。如图1所示，实施例提供的CT图像与MRI图像的跨模态转换方法，包括：
步骤1，获取针对同一目标的CT图像与MRI图像。
实施例中，获取对同一目标(例如腹部)的计算机断层扫描CT图像和核磁共振MRI图像。然后，获取的针对同一目标的CT图像与MRI图像进行双线性插值，以将CT图像和MRI图像变化到同一空间分辨率，并将CT图像和MRI图像按照一定比例(例如3:1)划分为训练样本集和测试样本集，其中训练样本集包含CT图像集和MRI图像集，测试样本集也包括CT图像集和MRI图像集。
步骤2，基于Cycle-GAN构建学习系统。
实施例中，基于Cycle-GAN构建学习系统包括第一生成网络GCT-MRI、第二生成网络GMRI-CT、第一判别网络DCT以及第二判别网络DMRI。其中，第一生成网络GCT-MR用于根据CT图像生成第一结构特征、第一灰度特征以及MRI图像，第二生成网络GMRI-CT用于根据MRI图像生成第二结构特征、第二灰度特征以及CT图像，第一判别网络DCT用于判断CT图像的真伪、第二判别网络DMRI用于判断MRI图像的真伪。
实施例中，第一生成网络GCT-MRI和第二生成网络GMRI-CT的结构相同，均包括编码部分和解码部分。
其中，编码部分包括特征预提取模块、结构特征编码模块、灰度特征编码模块，输入图像经过特征预提取模块特征提取后，提取的特征分别输入至结构特征编码模块和灰度特征编码模块，分别经过编码后输出结构特征和灰度特征。
实施例中，特征预提取模块包括至少1个由卷积单元，其中，卷积单元包括相连接的残差子模块和卷积层；结构特征编码模块与灰度特征编码模块结构相同，包括至少1个卷积单元，且结构特征编码模块的网络层数多于特征预提取模块的网络层数。
在实施方式中，特征预提取模块包括1个由串行连接1个残差子模块RES_Block和1个卷积核大小为3*3*3步长为2*2*2的卷积层组成的卷积单元。结构特征编码模块Est和灰度特征编码模块Emd包括4个卷积单元，每个卷单元包括残差子模块RES_Block和4个卷积核大小为3*3*3步长为2*2*2的卷积层。每个残差子模块RES_Block由卷积核大小分别为1*1*1、3*3*3和1*1*1的三个卷积层串行连接组成，且第一个卷积层的输入与第三个卷积层的输出相加，作为残差子模块RES_Block的输出。
实施例中，解码部分包括依次连接的多个反卷积单元、至少1个卷积层以及激活层，其中，反卷积单元包括相连的残差子模块RES_Block和反卷积层；编码部分输出的结构特征和灰度特征经过拼接后输入至解码部分，解码部分对输入的拼接特征进行解码操作以生成图像。
在实施方式中，如图2所示，解码部分包括依次连接的4个反卷积单元、卷积核大小1*1*1输出通道为1的卷积层和ReLU激活层，其中，反卷积单元包括相连的残差子模块RES_Block和卷积核大小为3*3*3步长为2*2*2的反卷积层。
实施例中，第一判别网络DCT和第二判别网络DMRI结构相同，包括依次连接的至少1个卷积模块、卷积层和激活层；其中，卷积模块包括相连接的卷积层、归一化层和激活层。
在实施方式中，如图2所示，第一判别网络DCT和第二判别网络DMRI均包括依次连接5个卷积模块Conv_Block、1个卷积核大小为1*1*1的卷积层和1个Sigmoid激活层，其中，卷积模块Conv_Block包括串行连接卷积核大小为3*3*3步长为2*2*2的卷积层、BctchNorm归一化层和LeakyReLU激活层。
步骤3，构建学习系统的损失函数，并利用损失函数对学习系统进行训练，以构建两个生成模型。
实施例中，构建的损失函数包括生成网络的损失函数和判别网络的损失函数，其中，生成网络的损失函数包括基于结构特征的结构损失、基于生成图像的重建损失以及基于判别网络的判别结果的对抗损失；判别网络的损失函数包括对CT图像的判别损失和对MRI图像的判别损失。
步骤3-1，利用生成网络的损失函数优化第一生成网络GCT-MRI和第二生成网络GMRI-CT的网络参数。
实施例中，首先进行网络的参数初始化。参数初始化时，使用均匀分布初始化GCT-MRI和GMRI-CT的权重WG1和WG2，同时将GCT-MRI和GMRI-CT的偏置bG1、bG2均初始化为数值0。使用均匀分布初始化DCT和DMRI的重WD1和WD2，同时将DCT和DMRI的偏置bD1、bD2均初始化为数值0。设GCT-MRI、GMRI-CT的初始学习速率lrG＝0.001，判别网络DMRI、DCT的初始学习速率lrD＝0.0001。
然后，打乱训练数据集中图像的顺序，从中分别随机选择单个CT图像和MR图像，记为一个样本图像对{ICT，IMRI}，多个样本图像对组成一个训练批次。
接下来，保持DMRI和DCT的参数不变，对GCT-MRI和GMRI-CT进行训练，具体过程包括：
(a)将CT图像ICT和MRI图像IMRI分别输入到GCT-MRI和GMRI-CT中，经过GCT-MRI和GMRI-CT的前向传播，得到CT图像ICT对应的结构特征Est(ICT)、灰度特征Emd(ICT)和生成的伪MRI图像IfMRI，以及MRI图像IMRI对应的结构特征Est(IMRI)、灰度特征Emd(IMRI)和生成的伪CT图像IfCT；
(b)分别将伪MRI图像IfMRI和伪CT图像IfCT输入到GMRI-CT和GCT-MRI中，经过GMRI-CT和GCT-MRI的前向传播，得到与伪MRI图像IfMRI对应的结构特征Est(IfMRI)、灰度特征Emd(IfMRI)和生成的重建CT图像IrCT，以及与伪CT图像IfCT对应的结构特征Est(IfCT)、灰度特征Emd(IfCT)和生成的重建MRI图像IrMRI；
(c)将生成的伪MRI图像IfMRI和重建MRI图像IrMRI分别输入到DMRI中，得到判别结果DMRI(IfMRI)和DMRI(IrMRI)，并将生成的伪CT图像IfCT和重建CT图像IrCT分别输入到DCT中，得到判别结果DCT(IfCT)和DCT(IrCT)；
(d)计算CT图像ICT与重建CT图像IrCT之间的重建损失Lcyc-CT、MRI图像IMRI与重建MRI图像IrMRI之间的重建损失Lcyc-MRI：
其中，j表示图像索引，N表示图像个数。
(e)计算CT图像ICT对应的结构特征Est(ICT)与伪MRI图像IfMRI对应的结构特征Est(IfMRI)之间的结构损失LE-CT、MRI图像IMRI对应的结构特征Est(IMRI)与伪CT图像IfCT对应的结构特征Est(IfCT)之间的结构损失LE-MRI：
(f)根据生成的伪MRI图像IfMRI和重建MRI图像IrMRI的判别结果DMRI(IfMRI)和DMRI(IrMRI)计算对抗损失Ladv-fMRI和对抗损失Ladv-rMRI，并根据生成的伪CT图像IfCT和重建CT图像IrCT的判别结果DCT(IfCT)和DCT(IrCT)计算对抗损失Ladv-fCT和对抗损失Ladv-rCT：
(g)构建GCT-MRI和GMRI-CT的损失函数：
LG＝λG1(Lcyc-CT+Lcyc-MRI)+λG2(LE-CT+LE-MRI)+λG3(Ladv-fCT+Ladv-fMRI)+λG4(Ladv-rCT+Ladv-rMRI)
其中，λG1、λG2、λG3和λG4分别表示损失项(Lcyc-CT+Lcyc-MRI)、(LE-CT+LE-MRI)、(Ladv-fCT+Ladv-fMRI)和(Ladv-rCT+Ladv-rMRI)的权重参数。
(h)使用自适应学习率优化算法Adam优化GCT-MRI和GMRI-CT的损失函数LG，更新GCT-MRI和GMRI-CT的权重WG1、WG2和偏置bG1、bG2。
步骤3-2，利用判别网络的损失函数优化第一判别网络DCT和第二判别网络DMRI的网络参数。
实施例中，保持GCT-MRI和GMRI-CT的参数不变，对DMRI和DCT进行训练，具体过程包括：
(a)将CT图像ICT、生成的伪CT图像IfCT和重建CT图像IrCT分别输入到DCT中，得到判别结果DCT(ICT)、DCT(IfCT)和DCT(IrCT)，并将MRI图像IMRI、生成的伪MRI图像IfMRI和重建MRI图像IrMRI分别输入到DMRI中，得到判别结果DMRI(IMRI)、DMRI(IfMRI)和DMRI(IrMRI)；
(b)根据CT图像ICT、生成的伪CT图像IfCT和重建CT图像IrCT的判别结果DCT(ICT)、DCT(IfCT)和DCT(IrCT)计算对应的判别损失LD-CT、LD-fCT和LD-rCT：
(c)根据MRI图像IMRI、生成的伪MRI图像IfMRI和重建MRI图像IrMRI的判别结果DMRI(IMRI)、DMRI(IfMRI)和DMRI(IrMRI)计算对应的判别损失LD-MRI、LD-fMRI和LD-rMRI：
(d)构建DMRI和DCT的损失函数：
LD＝λD1(LD-CT+LD-MRI)+λD2(LD-fCT+LD-fMRI)+λD3(LD-rCT+LD-rMRI)
其中，λD1、λD2和λD3分别表示损失项(LD-CT+LD-MRI)、(LD-fCT+LD-fMRI)和(LD-rCT+LD-rMRI)的权重参数；
(e)使用自适应学习率优化算法Adam优化DMRI和DCT的损失函数LD，更新DMRI和DCT的权重WD1、WD2和偏置bD1、bD2。
重复步骤3-1和步骤3-2，直到整个训练数据集连续250轮重复迭代停止训练，得到训练后的GMRI-CT、GCT-MRI和DMRI和DCT。
训练结束后，提取参数确定的GCT-MRI作为生成模型GCT-MRI，提取参数确定的GMRI-CT作为生成模型GMRI-CT。
图3是实施例提供的示例性的由腹部CT图像和腹部MRI图像组成的样本图像对。图4为实施例提供的与CT图像对应的伪MRI图像和真实MRI图像；图5为实施例提供的与MRI图像对应的伪CT图像和真实CT图像；图6为用实施例提供的重建CT图像和重建MRI图像。
分析图3-图6，得到生成模型GCT-MRI和生成模型GMRI-CT的图像转换准确度高，生成的伪图像和真实图像非常接近，重建图像与真实图像也非常接近。
步骤4，利用生成模型进行CT图像到MRI图像的模态转换。
实施例中，利用生成模型GCT-MRI实现CT图像到MRI图像的转换，利用生成模型GMRI-CT实现MRI图像到CT图像的转换。
具体地，将测试数据集中的CT图像输入至生成模型GCT-MRI，经生成模型GCT-MRI的前向传输计算，得到与CT图像对应的MRI图像，实现CT图像到MRI图像的转换。将测试数据集中的MRI图像输入至生成模型GMRI-CT，经生成模型GMRI-CT的前向传输计算，得到与MRI图像对应的CT图像，实现MRI图像到CT图像的转换。
实施例还提供了CT图像与MRI图像的跨模态转换装置，包括存储器、处理器以及存储在存储器中并可在所述处理器上执行的计算机程序，存储器中存有通过上述CT图像与MRI图像的跨模态转换方法构建的生成模型GCT-MRI和生成模型GMRI-CT；处理器执行所述计算机程序时实现以下步骤：
利用生成模型GCT-MRI实现CT图像到MRI图像的转换，利用生成模型GMRI-CT实现MRI图像到CT图像的转换。
实际应用中，计算机存储器可以为在近端的易失性存储器，如RAM，还可以是非易失性存储器，如ROM，FLASH，软盘，机械硬盘等，还可以是远端的存储云。计算机处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)、或现场可编程门阵列(FPGA)，即可以通过这些处理器实现CT图像与MRI图像之间的转换步骤。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种CT图像与MRI图像的跨模态转换方法，其特征在于，包括：
获取针对同一目标的CT图像与MRI图像，并构建CT图像集和MRI图像集；
基于Cycle-GAN构建学习系统，其中，第一生成网络用于根据CT图像生成第一结构特征、第一灰度特征以及MRI图像，第二生成网络用于根据MRI图像生成第二结构特征、第二灰度特征以及CT图像，第一判别网络用于判断CT图像的真伪、第二判别网络用于判断MRI图像的真伪；
构建学习系统的损失函数，包括生成网络的损失函数和判别网络的损失函数，其中，生成网络的损失函数包括基于结构特征的结构损失、基于生成图像的重建损失以及基于判别网络的判别结果的对抗损失；判别网络的损失函数包括对CT图像的判别损失和对MRI图像的判别损失；
利用CT图像集、MRI图像集和损失函数对学习系统进行参数优化，优化结束后，提取参数确定的第一生成网络作为第一生成模型，提取参数确定的第二生成网络作为第二生成模型；
利用第一生成模型实现CT图像到MRI图像的转换；
利用第二生成模型实现MRI图像到CT图像的转换。
2.根据权利要求1所述的CT图像与MRI图像的跨模态转换方法，其特征在于，对获取的针对同一目标的CT图像与MRI图像进行双线性插值，以将CT图像和MRI图像变化到同一空间分辨率，然后构建CT图像集和MRI图像集。
3.根据权利要求1所述的CT图像与MRI图像的跨模态转换方法，其特征在于，所述第一生成网络和所述第二生成网络的结构相同，均包括编码部分和解码部分；
其中，编码部分包括特征预提取模块、结构特征编码模块、灰度特征编码模块，输入图像经过特征预提取模块特征提取后，提取的特征分别输入至结构特征编码模块和灰度特征编码模块，分别经过编码后输出结构特征和灰度特征；
解码部分包括依次连接的多个反卷积单元、至少1个卷积层以及激活层，其中，反卷积单元包括相连的残差子模块和反卷积层；编码部分输出的结构特征和灰度特征经过拼接后输入至解码部分，解码部分对输入的拼接特征进行解码操作以生成图像。
4.根据权利要求3所述的CT图像与MRI图像的跨模态转换方法，其特征在于，所述特征预提取模块包括至少1个由卷积单元，其中，卷积单元包括相连接的残差子模块和卷积层；
所述结构特征编码模块与灰度特征编码模块结构相同，包括至少1个卷积单元，且结构特征编码模块的网络层数多于特征预提取模块的网络层数。
5.根据权利要求1所述的CT图像与MRI图像的跨模态转换方法，其特征在于，所述第一判别网络和所述第二判别网络结构相同，包括依次连接的至少1个卷积模块、卷积层和激活层；
其中，卷积模块包括相连接的卷积层、归一化层和激活层。
6.根据权利要求1所述的CT图像与MRI图像的跨模态转换方法，其特征在于，所述基于结构特征的结构损失，包括：
其中，j表示图像索引，N表示图像个数，ICT表示输入的CT图像，IMRI表示MRI图像，IfCT表示ICT经过第一生成网络生成的伪CT图像，IfMRI表示伪MRI图像，
表示ICT的结构特征，
表示IfMRI的结构特征，
表示IMRI的结构特征，
表示IfCT的结构特征，LE-CT表示CT图像对应的结构损失，LE-MRI表示MRI图像对应的结构特征；
所述基于生成图像的重建损失，包括：
其中，
表示第j个CT图像，
表示
经过第一生成网络生成伪MRI图像IfMRI，该伪MRI图像IfMRI经过第二生成网络生成的重建CT图像，Lcyc-CT表示CT图像对应的重建损失，Lcyc-MRI表示MRI图像对应的重建损失；
所述基于判别网络的判别结果的对抗损失，包括：
其中，DMRI()表示第二判别网络的判别结果，DCT()表示第一判别网络的判别结果，
表示MRI图像
经过第二生成网络生成伪CT图像IfCT，该伪CT图像IfCT经过第一生成网络生成的重建MRI图像，
表示第二判别网络对
的判别结果，Ladv-fMRI表示伪MRI图像IfMRI对应的对抗损失，
表示第二判别网络对
的判别结果，Ladv-rMRI表示重建MRI图像IrMRI对应的对抗损失，
表示第一判别网络对
的判别结果，Ladv-fCT表示伪CT图像IfCT对应的对抗损失，
表示第一判别网络对
的判别结果，Ladv-rCT表示重建CT图像IrCT对应的对抗损失；
则，生成网络的损失函数LG为：
LG＝λG1(Lcyc-CT+Lcyc-MRI)+λG2(LE-CT+LE-MRI)+λG3(Ladv-fCT+Ladv-fMRI)+λG4(Ladv-rCT+Ladv-rMRI)
其中，λG1、λG2、λG3和λG4分别表示损失项(Lcyc-CT+Lcyc-MRI)、(LE-CT+LE-MRI)、(Ladv-fCT+Ladv-fMRI)和(Ladv-rCT+Ladv-rMRI)的权重参数。
7.根据权利要求1所述的CT图像与MRI图像的跨模态转换方法，其特征在于，所述对CT图像的判别损失，包括：
其中，j表示图像索引，N为图像数量，
表示第一判别网络对
的判别结果，LD-CT表示CT图像
对应的判别损失，
表示第一判别网络对
的判别结果，LD-fCT表示伪CT图像
对应的判别损失，
表示第一判别网络对
的判别结果，LD-rCT表示重建CT图像
对应的判别损失；
所述对MRI图像的判别损失，包括：
其中，
表示第二判别网络对
的判别结果，LD-MRI表示MRI图像
对应的判别损失，
表示第二判别网络对
的判别结果，LD-fMRI表示伪MRI图像
对应的判别损失，
表示第二判别网络对
的判别结果，LD-rMRI表示重建MRI图像
对应的判别损失；
则，判别网络的损失函数LD为：
LD＝λD1(LD-CT+LD-MRI)+λD2(LD-fCT+LD-fMRI)+λD3(LD-rCT+LD-rMRI)
其中，λD1、λD2和λD3分别表示损失项(LD-CT+LD-MRI)、(LD-fCT+LD-fMRI)和(LD-rCT+LD-rMRI)的权重参数。
8.根据权利要求1或6或7所述的CT图像与MRI图像的跨模态转换方法，其特征在于，对学习系统进行参数优化时，首先，保持第一判别网络和第二判别网络的参数不变，通过优化生成网络的损失函数，以更新第一生成网络和第二生成网络的参数；
然后，保持第一生成网络和第二生成网络的参数不变，通过优化判别网络的损失函数，以更新第一判别网络和第二判别网络的参数。
9.根据权利要求8所述的CT图像与MRI图像的跨模态转换方法，其特征在于，采用自适应学习率优化算法优化生成网络的损失函数和判别网络的损失函数。
10.一种CT图像与MRI图像的跨模态转换装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上执行的计算机程序，其特征在于，所述存储器中存有通过权利要求1-9任一项所述的CT图像与MRI图像的跨模态转换方法构建的第一生成模型和第二生成模型；
所述处理器执行所述计算机程序时实现以下步骤：
利用第一生成模型实现CT图像到MRI图像的转换；
利用第二生成模型实现MRI图像到CT图像的转换。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210236033.0A CN114677263A (zh) | 2022-03-11 | 2022-03-11 | Ct图像与mri图像的跨模态转换方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210236033.0A CN114677263A (zh) | 2022-03-11 | 2022-03-11 | Ct图像与mri图像的跨模态转换方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114677263A true CN114677263A (zh) | 2022-06-28 |
Family
ID=82073035
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210236033.0A Pending CN114677263A (zh) | 2022-03-11 | 2022-03-11 | Ct图像与mri图像的跨模态转换方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114677263A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115082296A (zh) * | 2022-07-11 | 2022-09-20 | 杭州师范大学 | 一种基于小波域图像生成框架的图像生成方法 |
| CN117078703A (zh) * | 2023-08-30 | 2023-11-17 | 深圳扬奇医芯智能科技有限公司 | 一种基于mri引导的ct图像分割方法及系统 |
| CN117422788A (zh) * | 2023-12-19 | 2024-01-19 | 英瑞云医疗科技(烟台)有限公司 | 一种基于ct脑梗图像生成dwi图像的方法 |
-
2022
- 2022-03-11 CN CN202210236033.0A patent/CN114677263A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115082296A (zh) * | 2022-07-11 | 2022-09-20 | 杭州师范大学 | 一种基于小波域图像生成框架的图像生成方法 |
| CN115082296B (zh) * | 2022-07-11 | 2024-05-14 | 杭州师范大学 | 一种基于小波域图像生成框架的图像生成方法 |
| CN117078703A (zh) * | 2023-08-30 | 2023-11-17 | 深圳扬奇医芯智能科技有限公司 | 一种基于mri引导的ct图像分割方法及系统 |
| CN117078703B (zh) * | 2023-08-30 | 2024-05-28 | 深圳扬奇医芯智能科技有限公司 | 一种基于mri引导的ct图像分割方法及系统 |
| CN117422788A (zh) * | 2023-12-19 | 2024-01-19 | 英瑞云医疗科技(烟台)有限公司 | 一种基于ct脑梗图像生成dwi图像的方法 |
| CN117422788B (zh) * | 2023-12-19 | 2024-03-26 | 英瑞云医疗科技(烟台)有限公司 | 一种基于ct脑梗图像生成dwi图像的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114677263A (zh) | Ct图像与mri图像的跨模态转换方法和装置 | |
| JP5926728B2 (ja) | 内科医が直接用いるのに適応したビジュアライゼーション | |
| CN110009669B (zh) | 一种基于深度强化学习的3d/2d医学图像配准方法 | |
| CN110648331B (zh) | 用于医学图像分割的检测方法、医学图像分割方法及装置 | |
| Fajar et al. | Reconstructing and resizing 3D images from DICOM files | |
| CN114863225B (zh) | 图像处理模型训练方法、生成方法、装置、设备及介质 | |
| CN109801259A (zh) | 一种核磁共振图像的快速成像方法、装置及设备 | |
| Cheng et al. | DDU-Net: A dual dense U-structure network for medical image segmentation | |
| Shao et al. | SPECTnet: a deep learning neural network for SPECT image reconstruction | |
| CN117078692B (zh) | 一种基于自适应特征融合的医疗超声图像分割方法及系统 | |
| CN111325695B (zh) | 基于多剂量等级的低剂量图像增强方法、系统及存储介质 | |
| CN114565816A (zh) | 一种基于全局信息融合的多模态医学图像融合方法 | |
| Li et al. | Low-dose CT image synthesis for domain adaptation imaging using a generative adversarial network with noise encoding transfer learning | |
| CN112488971A (zh) | 基于空间注意力机制和深度卷积生成对抗网络的医学图像融合方法 | |
| Wang et al. | IGNFusion: an unsupervised information gate network for multimodal medical image fusion | |
| CN112990359B (zh) | 一种影像数据处理方法、装置、计算机及存储介质 | |
| Yin et al. | CoT-UNet++: A medical image segmentation method based on contextual Transformer and dense connection | |
| CN113850796A (zh) | 基于ct数据的肺部疾病识别方法及装置、介质和电子设备 | |
| CN113205567A (zh) | 基于深度学习的mri影像合成ct影像的方法 | |
| CA2854992C (en) | Process and apparatus for data registration | |
| CN117115132A (zh) | 一种基于改进U-Net模型的口腔CBCT影像牙齿及软组织分割模型方法 | |
| CN116363248A (zh) | 单平面X-Ray影像合成CT影像的方法、系统、设备和介质 | |
| CN114331849B (zh) | 一种跨模态核磁共振超分网络及图像超分辨率方法 | |
| Aldemir et al. | Chain code strategy for lossless storage and transfer of segmented binary medical data | |
| US20230031910A1 (en) | Apriori guidance network for multitask medical image synthesis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |