CN112508775B - 基于循环生成对抗网络的mri-pet图像模态转换方法及系统 - Google Patents
基于循环生成对抗网络的mri-pet图像模态转换方法及系统 Download PDFInfo
- Publication number
- CN112508775B CN112508775B CN202011455253.XA CN202011455253A CN112508775B CN 112508775 B CN112508775 B CN 112508775B CN 202011455253 A CN202011455253 A CN 202011455253A CN 112508775 B CN112508775 B CN 112508775B
- Authority
- CN
- China
- Prior art keywords
- mri
- image
- pet
- discriminator
- countermeasure network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 34
- 125000004122 cyclic group Chemical group 0.000 title claims abstract description 30
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 12
- 230000009466 transformation Effects 0.000 claims description 31
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 28
- 238000010276 construction Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 4
- 230000009191 jumping Effects 0.000 claims 1
- 238000012636 positron electron tomography Methods 0.000 description 86
- 238000002595 magnetic resonance imaging Methods 0.000 description 72
- 230000006870 function Effects 0.000 description 36
- 238000003384 imaging method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 210000001519 tissue Anatomy 0.000 description 6
- 208000024827 Alzheimer disease Diseases 0.000 description 5
- 238000013461 design Methods 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 5
- 208000018737 Parkinson disease Diseases 0.000 description 4
- 230000008485 antagonism Effects 0.000 description 4
- 238000013136 deep learning model Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000012831 peritoneal equilibrium test Methods 0.000 description 3
- 238000012877 positron emission topography Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000002285 radioactive effect Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 208000014644 Brain disease Diseases 0.000 description 2
- 238000012879 PET imaging Methods 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004060 metabolic process Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000003325 tomography Methods 0.000 description 2
- AOYNUTHNTBLRMT-SLPGGIOYSA-N 2-deoxy-2-fluoro-aldehydo-D-glucose Chemical compound OC[C@@H](O)[C@@H](O)[C@H](O)[C@@H](F)C=O AOYNUTHNTBLRMT-SLPGGIOYSA-N 0.000 description 1
- ZCXUVYAZINUVJD-UKFBFLRUSA-N 2-deoxy-2-fluoro-alpha-D-glucose Chemical compound OC[C@H]1O[C@H](O)[C@H](F)[C@@H](O)[C@@H]1O ZCXUVYAZINUVJD-UKFBFLRUSA-N 0.000 description 1
- 241000158926 Chytriodinium affine Species 0.000 description 1
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 1
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 1
- 241000343243 Scirtothrips pan Species 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000012850 discrimination method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000008103 glucose Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000005865 ionizing radiation Effects 0.000 description 1
- 230000002503 metabolic effect Effects 0.000 description 1
- 238000009206 nuclear medicine Methods 0.000 description 1
- 102000039446 nucleic acids Human genes 0.000 description 1
- 108020004707 nucleic acids Proteins 0.000 description 1
- 150000007523 nucleic acids Chemical class 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000002910 structure generation Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10104—Positron emission tomography [PET]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20064—Wavelet transform [DWT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本申请涉及一种基于循环生成对抗网络的MRI‑PET图像模态转换方法及系统，该方法包括如下步骤：获取MRI图像数据集和PET图像数据集，从MRI图像数据集和PET图像数据集中构造输入数据集；构建循环生成对抗网络模型，借由输入数据集对循环生成对抗网络模型进行对抗训练；训练生成循环生成对抗网络模型，并逐步达到收敛状态；利用训练好的循环生成对抗网络模型对MRI图像到PET图像进行模态转换处理。本申请应用上述方法及系统填补了MRI图像生成PET图像领域的空白，解决PET生成图像分辨率低的问题。
Description
技术领域
本申请涉及成像技术领域，尤其是涉及一种基于循环生成对抗网络的MRI-PET图像模态转换方法及系统。
背景技术
正电子发射计算机断层扫描(Positron Emission Computed Tomography，PET)，是一种利用人体代谢必须的物质如葡萄糖、蛋白质、核酸等，标记上半衰期短的放射性元素如F18、C11，将其注入人体后，通过观察其在人体组织代谢过程中的聚集，来表示反映组织的代谢情况，从而达到诊断的目的。最常用的是氟代脱氧葡萄糖(Fludeoxyglucose，18F-FDG)。PET成像需要向人体注射放射性同位素进行显像，因此在操作上有一定的危险，并且会对患者造成一定剂量的辐射。
磁共振成像(Magnetic Resonance，MR)是断层成像的一种，这种成像手段利用强磁场下组织发生的磁共振现象获得组织的电磁信号，并依此进行人体组织的重建。MR对于软组织结构成像有着非常优秀的表现，并且能够省略图像的重建步骤直接获得原生的三维断面成像。MR与核医学成像方法不同，其成像过程不涉及任何电离辐射，因此不会对病人造成任何形式上的辐射。
目前许多脑部疾病如阿尔茨海默病(Alzheimer’s disease,AD)帕金森病(Parkinson’s disease,PD)的诊断都需要依靠多模态神经影像提供的综合信息进行(如MRI和PET)。然而，进行多模态信息研究时就不可避免地会遇到图像数据的缺失，如公开数据库阿尔茨海默病神经影像计划(Alzheimer's Disease Neuroimaging Initiative,ADNI)数据库中同一个患者常常会缺失PET数据。由于PET设备的普及性较低，PET图像数据的缺失是不可避免的问题，但是如果只研究同时具有两种模态的病例，那么可用于深度学习模型训练的数据会大大减少，这样会严重影响模型的训练结果和诊断表现。
因此，研究和开发MR到PET的不同模态断层影像转换方法，对于目前的医疗诊断领域有着重要的科学意义和广阔的应用前景。
发明内容
为了填补MRI图像生成PET图像领域的空白，本申请提供一种基于循环生成对抗网络的MRI-PET图像模态转换方法。
本申请提供的一种基于循环生成对抗网络的MRI-PET图像模态转换方法，采用如下的技术方案：
一种基于循环生成对抗网络的MRI-PET图像模态转换方法，包括如下步骤：
获取MRI图像数据集和PET图像数据集，从MRI图像数据集和PET图像数据集中构造输入数据集；
构建循环生成对抗网络模型，借由输入数据集对循环生成对抗网络模型进行对抗训练；
训练生成循环生成对抗网络模型，并逐步达到收敛状态；
利用训练好的循环生成对抗网络模型对MRI图像到PET图像进行模态转换处理。
可选的，构建的循环生成对抗网络模型包括一对第一生成器、一对第二生成器、第一辨别器和第二辨别器，其中，借由输入数据集对循环生成对抗网络模型进行对抗训练包括如下步骤：
借由第一生成器将MRI图像生成为PET生成图像；
借由第二生成器将PET图像生成为MRI生成图像；
借由第一辨别器区分PET生成图像是否为PET图像，并向第一生成器输出第一辨别结果；借由第二辨别器区分MRI生成图像是否为MRI图像，并向第二生成器输出第二辨别结果；第一生成器和第二生成器根据第一辨别结果和第二辨别结果进行下一轮迭代，直至第一辨别器和第二辨别器无法区分PET生成图像和MRI生成图像的真伪性。
可选的，所述第一生成器和第二生成器基于改进的U-Net模型构造而成，其中，改进的U-Net模型采用自注意单元替换原U-Net模型中跳跃连接步骤中的裁剪拓展步骤。
可选的，所述自注意单元被设计为十字交叉自注意力子模块。
可选的，第一辨别器和第二辨别器输出第一辨别结果和第二辨别结果，包括如下步骤：
PET图像和PET生成图像作为输入图片输入到第一辨别器中，MRI图像和MRI生成图像作为输入图片输入到第二辨别器中；
在第一辨别器和第二辨别器中内嵌应用小波仿射变换层；
在小波仿射变换层中，输入图片通过两个卷积层后以提取得到带有空间域的特征图谱，输入图片同时进行Haar小波变换，获得小波域特征集合，将带有空间域的特征图谱和小波域特征集合输入到仿射变换层中得到带有空间域和小波域特征的特征图谱；
重复至少两次上述小波仿射变换层，最后通过Softmax函数，第一辨别器输出第一辨别结果，第二辨别器输出第二辨别结果。
可选的，所述卷积层由ReLU函数作为激活函数。
可选的，所述循环生成对抗网络模型包含对抗损失函数和循环一致性损失函数。
可选的，所述对抗损失函数由第一辨别器和第二辨别器的第一辨别结果和第二辨别结果决定，具体形式如下所示：
L(GMRI-PET,DPET,IMRI,IPET)＝CE(DPET(GMRI-PET(IMRI)),label)；
L(GPET-MRI,DMRI,IPET,IMRI)＝CE(DMRI(GPET-MRI(IPET)),label)；
其中，G表示由一种模态图像生成另一种模态图像的生成器，D表示辨别该种模态图像是否为生成图像的辨别器，I表示该种模态的图像，CE表示以Softmax函数为激活函数的交叉熵函数，label为用于评价的真实标签。
可选的，所述循环一致性损失函数，具体形式如下：
其中，μ和σ分别表示图像的均值和标准差，C1＝(k1L)2和C2＝(k2L)2是两个较小的常数项，避免分母为0，其中L表示图像的最大像素值；
其中，图像长度为m,n，I(i,j)K(i,j)为两张输入图像对应的像素值；
Lcyccon＝μSSIMLSSIM(GMRI-PET,GPET-MRI)+μPSNRLPSNR(GMRI-PET,GPET-MRI)；
其中μ为控制损失函数值符合循环一致性常参数项；
由此得到全局损失函数的数学表达：
为了填补MRI图像生成PET图像领域的空白，本申请提供一种基于循环生成对抗网络的MRI-PET图像模态转换系统。
本申请提供的一种基于循环生成对抗网络的MRI-PET图像模态转换系统，采用如下的技术方案：
一种基于循环生成对抗网络的MRI-PET图像模态转换系统，包括：
获取模块，获取MRI图像数据集和PET图像数据集，从MRI图像数据集和PET图像数据集中构造输入数据集；
构建模块，构建循环生成对抗网络模型，借由输入数据集对循环生成对抗网络模型进行对抗训练；
训练模块，训练生成循环生成对抗网络模型，并逐步达到收敛状态；
验证模块，利用训练好的循环生成对抗网络模型对MRI图像到PET图像进行模态转换处理。
综上所述，本申请包括以下至少一种有益技术效果：
1、本申请基于循环生成对抗网络对MRI图像到PET图像进行模态转换处理，通过结合自注意单元和小波仿射变换层分别应用在生成器和辨别器中，大大提高了生成图像的特征和小波域特征的利用率，并且减小了GPU内存在训练时的占用比；
2、本申请设计了基于SSIM函数和PSNR函数的联合损失函数在传统循环一致性对比的基础上加入了对于生成图像结构、信噪比方面的要求，显著提高了PET生成图像的质量。
附图说明
图1是本申请实施例中基于循环生成对抗网络的MRI-PET图像模态转换方法的流程示意图；
图2是本申请实施例中循环生成对抗网络模型的结构示意图；
图3是本申请实施例中第一生成器或第二生成器的结构示意图；
图4是本申请实施例中十字交叉自注意力子模块的结构示意图；
图5是本申请实施例中第一辨别器或第二辨别器的结构示意图；
图6是本申请实施例中小波仿射变换层的结构示意图；
图7是本申请实施例中基于循环生成对抗网络的MRI-PET图像模态转换系统的系统框图。
具体实施方式
以下结合本申请实施例中的附图对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在相关技术中，目前许多脑部疾病如阿尔茨海默病(Alzheimer’s disease,AD)帕金森病(Parkinson’s disease,PD)的诊断都需要依靠多模态神经影像提供的综合信息进行(如MRI和PET)。然而，进行多模态信息研究时就不可避免地会遇到图像数据的缺失，如公开数据库阿尔茨海默病神经影像计划(Alzheimer's Disease Neuroimaging Initiative,ADNI)数据库中同一个患者常常会缺失PET数据。由于PET设备的普及性较低，PET图像数据的缺失是不可避免的问题，但是如果只研究同时具有两种模态的病例，那么可用于深度学习模型训练的数据会大大减少，这样会严重影响模型的训练结果和诊断表现。因此，研究和开发MR到PET的不同模态断层影像转换方法，对于目前的医疗诊断领域有着重要的科学意义和广阔的应用前景。
Y.S.Pan等人与2018年发表的文章“Synthesizing Missing PET from MRI withCycle-consistent Generative Adversarial Networks for Alzheimer’s DiseaseDiagnosis”利用了Cycle-Gan网络尝试从MRI图像生成PET图像，利用来自ADNI公开数据库的影像数据证明了MRI图像生成PET图像的可行性。
X.Dong等人于2019年在Physics in Medicine&Biology期刊上发表文章“Synthetic CT generation from non-attenuation corrected PET images for whole-body PET imaging”该文章将3D循环生成对抗网络应用于于低剂量CT成像领域，其中输入像素块为64*64*64，生成器使用了基于自注意单元的U-Net网络，其中自注意单元有利于网络识别出信息量最大的图像块，以此进行更好的图像降噪。
L.Q.Qu等人在2019年在Medical Image Analysis期刊上发表的文章“Synthesized 7T MRI from 3T MRI via deep learning in spatial and waveletdomains”利用小波变换实现了有效的多尺度重建，同时能利用低频组织造影和高频解剖细节。网络结构中结合了小波仿射变换，利用了Haar小波变换方法小波域的信息调制空间域的特征图。
针对于上述相关技术，可见存在如下的缺陷：
1、现有的图像模态转换多集中于MRI图像、CT图像这两种模态上，极少有进行PET图像信息处理的。
2、由于PET成像技术的原因，PET图像的分辨率普遍不高，包含的空间信息少，提高了深度学习模型的训练难度。
3、现有的MRI图像到PET图像的图像模态转换工作使用的是公开数据库ADNI，由于该数据库来自全球各地医院采集的数据，影像数据参差不齐并且难以找到大数据量的MR图像\PET图像匹配的数据集，使用的是传统的Cycle-GAN模型，没有在模型的基础上进行改良因此训练效果并不理想。
基于上述内容，本申请为了填补MRI图像生成PET图像领域的空白，解决PET生成图像分辨率低的问题，本申请设计了一种基于循环生成对抗网络的MRI-PET图像模态转换方法及系统，本申请将基于循环生成对抗网络实现MRI图像到PET图像的像素到像素的转换，通过影像学方法结合深度学习模型得到具有临床诊断价值的PET图像。
参照图1所示，本申请提出的一种基于循环生成对抗网络的MRI-PET图像模态转换方法，包括如下步骤：
步骤S100，获取MRI图像数据集和PET图像数据集，从MRI图像数据集和PET图像数据集中构造输入数据集。
步骤S200，构建循环生成对抗网络模型，借由输入数据集对循环生成对抗网络模型进行对抗训练。
根据步骤S200所限定的技术方案，具体的，本申请构建的循环生成对抗网络模型，将借由输入数据集对循环生成对抗网络模型进行对抗训练，对抗训练可以使循环生成对抗网络模型得到强化学习，对比于普通的生成对抗网络处理，本申请的循环生成对抗网络模型不需要大量配准好的MRI图像和PET图像，且合成速度更加快速。
参照图2所示，本申请实施例中的循环生成对抗网络模型包括一对第一生成器、一对第二生成器、第一辨别器和第二辨别器，其中，借由输入数据集对循环生成对抗网络模型进行对抗训练包括如下步骤：
步骤S210,借由第一生成器将MRI图像生成为PET生成图像；
步骤S220,借由第二生成器将PET图像生成为MRI生成图像；
步骤S230,借由第一辨别器区分PET生成图像是否为PET图像，并向第一生成器输出第一辨别结果；
步骤S240,借由第二辨别器区分MRI生成图像是否为MRI图像，并向第二生成器输出第二辨别结果；
步骤S250,第一生成器和第二生成器根据第一辨别结果和第二辨别结果进行下一轮迭代，直至第一辨别器和第二辨别器无法区分PET生成图像和MRI生成图像的真伪性。
在循环生成对抗网络模型的对抗训练过程中，生成器(指代上述第一生成器和第二生成器)完成MRI图像和PET图像之间的相互映射，而辨别器(指代上述第一辨别器和第二辨别器)用于辨认区分MRI生成图像和PET生成图像的真假与否。
所谓的对抗，指的就是生成器与辨别器之间的互相对抗，生成器学习真实数据的数据分布，辨别器从真实数据和生成器生成数据中辨别真假，生成器期望生成数据尽可能地欺骗辨别器，而辨别器期望能够辨别出生成器生成的数据，由此形成对抗。所谓的循环，指的是上述一对生成器(指代上述第一生成器和第二生成器)与一对辨别器(指代上述第一辨别器和第二辨别器)，进行上述对抗的循环结构。
因此，生成器和辨别器在生成和对抗中不断博弈，共同学习，逐步达到纳什平衡，最终生成器生成的数据足以以假乱真，使得辨别器无法辨别真伪。
参照图3所示，第一生成器和第二生成器基于改进的U-Net模型构造而成，原U-Net模型有编码器和解码器组成，编码器和解码器堆栈中的镜像层之间有跳跃连接，跳跃连接的主要作用是在输入和输出之间直接通过网络传输一些低级的图像信息。本申请实施例中改进的U-Net模型采用自注意单元替换原U-Net模型中跳跃连接步骤中的裁剪拓展步骤，自注意单元能有效利用特征图谱中最重要的信息特征，有效提高了不同维度的信息，能够更好地完成全局信息和局部信息的融合，因此，采用自注意单元同样能够得到和拓展路径相等大小的特征图谱，并且能够提高全局特征和局部特征的利用率，降低计算量的同时还能大大提高模型的性能。
参照图4所示，本申请实施例中，自注意单元被设计为十字交叉自注意力子模块，十字交叉自注意力子模块可以从水平方向和垂直方向获得非局部特征，与传统的注意力模块不同的是，十字交叉自注意力子模块将原有的H*W的特征图谱缩小为H+W-1，能够聚合横纵方向上像素，增强了像素级别的表征能力，同时大大减少模型训练时占用的GPU显存和算法复杂度。
以下对十字交叉自注意力子模块结合图4进行如下阐述说明。
给定特征图I(i,j)大小为C×H×W，其中的元素定义为ii,j，首先通过两个大小为1x1的卷积滤波器降维后得到X(i,j)和Y(i,j)，其中C’小于C。AFFINE操作具体如下，在X(i,j)中选定任意一个位置的元素x(i,j),同时在Y(i,j)中选定与该元素所在行所在列的行元素和列元素的组合
然后通过一个1×1的卷积单元滤波器以及利用一个softmax单元得到特征权重图谱，其中在位置u,通道t的特征值定义为ft,u。利用另一个1×1的卷积单元滤波器得到Z(i,j)，在其中的任意一个元素z(i,j)定义其所对应的列向量和行向量为AGGREGATE操作定义如下：
以上所构造的十字交叉自注意力子模块仅在垂直方向和水平方向计算特征向量，两次使用十字交叉子自注意力子模块即被设计为上述自注意单元，可获得全局相关性，能够大大降低计算量以及占用的显存空间。
以下对第一辨别器和第二辨别器的结构设计和辨别方法做如下说明。
参照图5所示，第一辨别器和第二辨别器输出第一辨别结果和第二辨别结果，包括如下步骤：
PET图像和PET生成图像作为输入图片输入到第一辨别器中，MRI图像和MRI生成图像作为输入图片输入到第二辨别器中；
在第一辨别器和第二辨别器中内嵌应用小波仿射变换层；
在小波仿射变换层中，输入图片通过两个卷积层后以提取得到带有空间域的特征图谱，输入图片同时进行Haar小波变换，获得小波域特征集合，将带有空间域的特征图谱和小波域特征集合输入到仿射变换层中得到带有空间域和小波域特征的特征图谱；
重复至少两次上述小波仿射变换层，最后通过Softmax函数，第一辨别器输出第一辨别结果，第二辨别器输出第二辨别结果。
根据上述步骤所述的技术方案，具体的，参照图6所示，小波仿射变换层来自于条件标准化方法，使用模型习得的仿射映射转换特征映射。条件标准化方法被证明能够非常有效地提高模型在图像的风格转换任务中的表现。
Haar小波变换为小波包变换使用了Haar函数作为小波函数。
在Haar小波变换中，输入图片经过Haar小波变换处理后可以得到四个包括低频和高频的小波域特征集合。其中Averaging步骤为对于相邻像素求平均值，Diqqerencing步骤为计算该像素与其Averaging步骤处理后结果的差值，Thresholding为阈值处理过滤不在阈值范围内的结果，四个小波域特征分别根据设置两种不同的阈值，并以先沿行在沿列进行的顺序进行两次Haar小波变换而得到。值得说明的是，最后得到的四个小波域特征将通过两次卷积滤波器处理后输入到仿射变换层中。
在仿射变换层中，仿射变换层分别得到带有空间域的特征图谱和小波域特征集合，其中，仿射变换层的具体定义如下，Output＝λ*F+δ，其中，其中F为带有空间域的特征图谱，λ和δ表示通过两次卷积滤波器处理后的小波域特征，分别于F进行逐元素相乘和相加的仿射变换，最后得到带有空间域和小波域特征的特征图谱。
进一步，本申请实施例中上述卷积层由ReLU函数作为激活函数。
参照图2所示，由此基于上述循环生成对抗网络模型，将MRI图像和PET图像输入到上述循环生成对抗网络模型中。
MRI图像经过图块提取后分别送入第一生成器和第二辨别器中，第一生成器生成PET生成图像，第一生成器生成的PET生成图像分别送入到第二生成器和第一辨别器中，第一辨别器辨别PET生成图像的真伪并向第一生成器输出第一辨别结果，第二生成器生成循环的MRI生成图像，通过循环的MRI生成图像与原MRI图像进行对比得到第一生成器和第二生成器的损耗。
反之，PET图像经过图块提取后分别送入第二生成器和第一辨别器中，第二生成器生成MRI生成图像，第二生成器生成的MRI生成图像分别送入到第一生成器和第二辨别器中，第二辨别器辨别MRI生成图像的真伪并向第二生成器输出第二辨别结果，第一生成器生成循环的PET生成图像，通过循环的PET生成图像与原MRI图像进行对比得到第一生成器和第二生成器的损耗。
上述体现了循环生成对抗网络模型中的对抗方式与循环结构。
值得说明的是，在循环生成对抗网络模型包含对抗损失函数和循环一致性损失函数。
所述对抗损失函数由第一辨别器和第二辨别器的第一辨别结果和第二辨别结果决定，具体形式如下所示：
L(GMRI-PET,DPET,IMRI,IPET)＝CE(DPET(GMRI-PET(IMRI)),label)；
L(GPET-MRI,DMRI,IPET,IMRI)＝CE(DMRI(GPET-MRI(IPET)),label)；
其中，G表示由一种模态图像生成另一种模态图像的生成器，D表示辨别该种模态图像是否为生成图像的辨别器，I表示该种模态的图像，CE表示以Softmax函数为激活函数的交叉熵函数，label为用于评价的真实标签。上述两种形式分别表示第一辨别器和第二辨别器的对抗损失函数模型。
其中，循环一致性损失函数，具体形式如下：
其中，μ和σ分别表示图像的均值和标准差，C1＝(k1L)2和C2＝(k2L)2是两个较小的常数项，避免分母为0，其中L表示图像的最大像素值；
其中，图像长度为m,n，I(i,j)K(i,j)为两张输入图像对应的像素值；
Lcyccon＝μSSIMLSSIM(GMRI-PET,GPET-MRI)+μPSNRLPSNR(GMRI-PET,GPET-MRI)；
其中μ为控制损失函数值符合循环一致性常参数项；
由此得到全局损失函数的数学表达：
步骤S300，训练生成循环生成对抗网络模型，并逐步达到收敛状态。
根据步骤S300所限定的技术方案，具体的，训练生成的循环生成对抗网络模型使用Nadam优化器来优化模型。
步骤S400，利用训练好的循环生成对抗网络模型对MRI图像到PET图像进行模态转换处理。
根据步骤S400所限定的技术方案，具体的，本申请在测试阶段中主要使用已经训练好的第一生成器固化形成推论模型。由此，在测试阶段，通过将MRI图像经过图块提取后送入到推论模型中，推论模型用于将MRI图像生成PET生成图像，该PET生成图像即为所需要的。
因此，本申请基于循环生成对抗网络对MRI图像到PET图像进行模态转换处理，通过结合自注意单元和小波仿射变换层分别应用在生成器和辨别器中，大大提高了生成图像的特征和小波域特征的利用率，并且减小了GPU内存在训练时的占用比。并且本申请设计了基于SSIM函数和PSNR函数的联合损失函数在传统循环一致性对比的基础上加入了对于生成图像结构、信噪比方面的要求，显著提高了PET生成图像的质量。
参照图7所示，本申请的另一个目的在提供一种基于循环生成对抗网络的MRI-PET图像模态转换系统，包括获取模块、构建模块、训练模块和验证模块。
获取模块用于获取MRI图像数据集和PET图像数据集，从MRI图像数据集和PET图像数据集中构造输入数据集；
构建模块用于构建循环生成对抗网络模型，借由输入数据集对循环生成对抗网络模型进行对抗训练；
训练模块用于训练生成循环生成对抗网络模型，并逐步达到收敛状态；
验证模块用于利用训练好的循环生成对抗网络模型对MRI图像到PET图像进行模态转换处理。
因此，上述系统将基于循环生成对抗网络对MRI图像到PET图像进行模态转换处理，通过结合自注意单元和小波仿射变换层分别应用在生成器和辨别器中，大大提高了生成图像的特征和小波域特征的利用率，并且减小了GPU内存在训练时的占用比。并且本申请设计了基于SSIM函数和PSNR函数的联合损失函数在传统循环一致性对比的基础上加入了对于生成图像结构、信噪比方面的要求，显著提高了PET生成图像的质量。
以上均为本申请的较佳实施例，并非依此限制本申请的保护范围，故：凡依本申请的结构、形状、原理所做的等效变化，均应涵盖于本申请的保护范围之内。
Claims (6)
1.一种基于循环生成对抗网络的MRI-PET图像模态转换方法，其特征在于，包括如下步骤：
获取MRI图像数据集和PET图像数据集，从MRI图像数据集和PET图像数据集中构造输入数据集；
构建循环生成对抗网络模型，借由输入数据集对循环生成对抗网络模型进行对抗训练；
训练生成循环生成对抗网络模型，并逐步达到收敛状态；
利用训练好的循环生成对抗网络模型对MRI图像到PET图像进行模态转换处理；
构建的循环生成对抗网络模型包括一对第一生成器、一对第二生成器、第一辨别器和第二辨别器，其中，借由输入数据集对循环生成对抗网络模型进行对抗训练包括如下步骤：
借由第一生成器将MRI图像生成为PET生成图像；
借由第二生成器将PET图像生成为MRI生成图像；
借由第一辨别器区分PET生成图像是否为PET图像，并向第一生成器输出第一辨别结果；
借由第二辨别器区分MRI生成图像是否为MRI图像，并向第二生成器输出第二辨别结果；
第一生成器和第二生成器根据第一辨别结果和第二辨别结果进行下一轮迭代，直至第一辨别器和第二辨别器无法区分PET生成图像和MRI生成图像的真伪性；
第一辨别器和第二辨别器输出第一辨别结果和第二辨别结果，包括如下步骤：
PET图像和PET生成图像作为输入图片输入到第一辨别器中，MRI图像和MRI生成图像作为输入图片输入到第二辨别器中；
在第一辨别器和第二辨别器中内嵌应用小波仿射变换层；
在小波仿射变换层中，输入图片通过两个卷积层后以提取得到带有空间域的特征图谱，输入图片同时进行Haar小波变换，获得小波域特征集合，将带有空间域的特征图谱和小波域特征集合输入到仿射变换层中得到带有空间域和小波域特征的特征图谱；
重复至少两次上述小波仿射变换层，最后通过Softmax函数，第一辨别器输出第一辨别结果，第二辨别器输出第二辨别结果；
对抗损失函数由第一辨别器和第二辨别器的第一辨别结果和第二辨别结果决定，具体形式如下所示：
其中，G表示由一种模态图像生成另一种模态图像的生成器，D表示辨别该种模态图像是否为生成图像的辨别器，I表示该种模态的图像，CE表示以Softmax函数为激活函数的交叉熵函数，label为用于评价的真实标签；
循环一致性损失函数，具体形式如下：
其中，μ和σ分别表示图像的均值和标准差，C1＝(k1L)2和C2＝(k2L)2是两个较小的常数项，避免分母为0，其中L表示图像的最大像素值；
其中，图像长度为m,n，I(i,j)K(i,j)为两张输入图像对应的像素值；
Lcyccon＝μSSIMLSSIM(GMRI-PET,GPET-MRI)+μPSNRLPSNR(GMRI-PET,GPET-MRI)
其中μ为控制损失函数值符合循环一致性常参数项；
由此得到全局损失函数的数学表达：
Lglobal＝argmin[μadv(L(GMRI-PET,DPET,IMRI,IPET)+L(GPET-MRI,DMRI,IPET,IMRI))+Lcyccon]。
2.根据权利要求1所述的一种基于循环生成对抗网络的MRI-PET图像模态转换方法，其特征在于，所述第一生成器和第二生成器基于改进的U-Net模型构造而成，其中，改进的UNet模型采用自注意单元替换原U-Net模型中跳跃连接步骤中的裁剪拓展步骤。
3.根据权利要求2所述的一种基于循环生成对抗网络的MRI-PET图像模态转换方法，其特征在于，所述自注意单元被设计为十字交叉自注意力子模块。
4.根据权利要求1所述的一种基于循环生成对抗网络的MRI-PET图像模态转换方法，其特征在于，所述卷积层由ReLU函数作为激活函数。
5.根据权利要求1所述的一种基于循环生成对抗网络的MRI-PET图像模态转换方法，其特征在于，所述循环生成对抗网络模型包含对抗损失函数和循环一致性损失函数。
6.一种基于循环生成对抗网络的MRI-PET图像模态转换系统，其特征在于，包括：
获取模块，获取MRI图像数据集和PET图像数据集，从MRI图像数据集和PET图像数据集中构造输入数据集；
构建模块，构建循环生成对抗网络模型，借由输入数据集对循环生成对抗网络模型进行对抗训练，构建的循环生成对抗网络模型包括一对第一生成器、一对第二生成器、第一辨别器和第二辨别器；
训练模块，训练生成循环生成对抗网络模型，并逐步达到收敛状态；
验证模块，利用训练好的循环生成对抗网络模型对MRI图像到PET图像进行模态转换处理；
所述构建模块具体用于：
借由第一生成器将MRI图像生成为PET生成图像；
借由第二生成器将PET图像生成为MRI生成图像；
借由第一辨别器区分PET生成图像是否为PET图像，并向第一生成器输出第一辨别结果；
借由第二辨别器区分MRI生成图像是否为MRI图像，并向第二生成器输出第二辨别结果；
第一生成器和第二生成器根据第一辨别结果和第二辨别结果进行下一轮迭代，直至第一辨别器和第二辨别器无法区分PET生成图像和MRI生成图像的真伪性；
所述构建模块将PET图像和PET生成图像作为输入图片输入到第一辨别器中，MRI图像和MRI生成图像作为输入图片输入到第二辨别器中；
在第一辨别器和第二辨别器中内嵌应用小波仿射变换层；
在小波仿射变换层中，输入图片通过两个卷积层后以提取得到带有空间域的特征图谱，输入图片同时进行Haar小波变换，获得小波域特征集合，将带有空间域的特征图谱和小波域特征集合输入到仿射变换层中得到带有空间域和小波域特征的特征图谱；
重复至少两次上述小波仿射变换层，最后通过Softmax函数，第一辨别器输出第一辨别结果，第二辨别器输出第二辨别结果；
对抗损失函数由第一辨别器和第二辨别器的第一辨别结果和第二辨别结果决定，具体形式如下所示：
其中，G表示由一种模态图像生成另一种模态图像的生成器，D表示辨别该种模态图像是否为生成图像的辨别器，I表示该种模态的图像，CE表示以Softmax函数为激活函数的交叉熵函数，label为用于评价的真实标签；
循环一致性损失函数，具体形式如下：
其中，μ和σ分别表示图像的均值和标准差，C1＝(k1L)2和C2＝(k2L)2是两个较小的常数项，避免分母为0，其中L表示图像的最大像素值；
其中，图像长度为m,n，I(i,j)K(i,j)为两张输入图像对应的像素值；
Lcyccon＝μSSIMLSSIM(GMRI-PET,GPET-MRI)+μPSNRLPSNR(GMRI-PET,GPET-MRI)
其中μ为控制损失函数值符合循环一致性常参数项；
由此得到全局损失函数的数学表达：
Lglobal＝argmin[μadv(L(GMRI-PET,DPET,IMRI,IPET)+L(GPET-MRI,DMRI,IPET,IMRI))+Lcyccon]。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011455253.XA CN112508775B (zh) | 2020-12-10 | 2020-12-10 | 基于循环生成对抗网络的mri-pet图像模态转换方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011455253.XA CN112508775B (zh) | 2020-12-10 | 2020-12-10 | 基于循环生成对抗网络的mri-pet图像模态转换方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112508775A CN112508775A (zh) | 2021-03-16 |
| CN112508775B true CN112508775B (zh) | 2024-08-20 |
Family
ID=74973419
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011455253.XA Active CN112508775B (zh) | 2020-12-10 | 2020-12-10 | 基于循环生成对抗网络的mri-pet图像模态转换方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112508775B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113808106B (zh) * | 2021-09-17 | 2023-05-30 | 浙江大学 | 一种基于深度学习的超低剂量pet图像重建系统及方法 |
| CN114463456A (zh) * | 2021-12-31 | 2022-05-10 | 深圳先进技术研究院 | 基于pet/mr成像系统的自动脑区分割方法及装置 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11501438B2 (en) * | 2018-04-26 | 2022-11-15 | Elekta, Inc. | Cone-beam CT image enhancement using generative adversarial networks |
| US11756160B2 (en) * | 2018-07-27 | 2023-09-12 | Washington University | ML-based methods for pseudo-CT and HR MR image estimation |
| CN109325931A (zh) * | 2018-08-22 | 2019-02-12 | 中北大学 | 基于生成对抗网络和超分辨率网络的多模态图像融合方法 |
| CN110084863B (zh) * | 2019-04-25 | 2020-12-25 | 中山大学 | 一种基于生成对抗网络的多域图像转换方法与系统 |
| CN110580695B (zh) * | 2019-08-07 | 2022-06-21 | 深圳先进技术研究院 | 一种多模态三维医学影像融合方法、系统及电子设备 |
| CN110544239B (zh) * | 2019-08-19 | 2021-12-17 | 中山大学 | 基于条件生成对抗网络的多模态mri转换方法、系统及介质 |
| CN110689561B (zh) * | 2019-09-18 | 2022-04-12 | 中山大学 | 基于模块化gan的多模态mri与多模态ct的转换方法、系统及介质 |
| CN111833359B (zh) * | 2020-07-13 | 2022-07-12 | 中国海洋大学 | 基于生成对抗网络的脑瘤分割数据增强方法 |
| CN111990989A (zh) * | 2020-08-31 | 2020-11-27 | 武汉大学 | 一种基于生成对抗及卷积循环网络的心电信号识别方法 |
-
2020
- 2020-12-10 CN CN202011455253.XA patent/CN112508775B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN112508775A (zh) | 2021-03-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hu et al. | Bidirectional mapping generative adversarial networks for brain MR to PET synthesis | |
| Armanious et al. | MedGAN: Medical image translation using GANs | |
| Fu et al. | LungRegNet: an unsupervised deformable image registration method for 4D‐CT lung | |
| Valindria et al. | Multi-modal learning from unpaired images: Application to multi-organ segmentation in CT and MRI | |
| Hu et al. | Brain MR to PET synthesis via bidirectional generative adversarial network | |
| Li et al. | Comparison of supervised and unsupervised deep learning methods for medical image synthesis between computed tomography and magnetic resonance images | |
| Zhao et al. | Prior attention network for multi-lesion segmentation in medical images | |
| CN110559009B (zh) | 基于gan的多模态低剂量ct转换高剂量ct的方法 | |
| CN112508775B (zh) | 基于循环生成对抗网络的mri-pet图像模态转换方法及系统 | |
| Singh et al. | Medical image generation using generative adversarial networks | |
| CN114240753A (zh) | 跨模态医学图像合成方法、系统、终端及存储介质 | |
| Zhou et al. | 3D segmentation guided style-based generative adversarial networks for pet synthesis | |
| Xie et al. | Synthesizing high‐resolution magnetic resonance imaging using parallel cycle‐consistent generative adversarial networks for fast magnetic resonance imaging | |
| Amirkolaee et al. | Development of a GAN architecture based on integrating global and local information for paired and unpaired medical image translation | |
| Poonkodi et al. | 3D-MedTranCSGAN: 3D medical image transformation using CSGAN | |
| Huang et al. | Data augmentation for medical MR image using generative adversarial networks | |
| Yu et al. | Cardiac LGE MRI segmentation with cross-modality image augmentation and improved U-Net | |
| Zhong et al. | Multi-Scale Tokens-Aware Transformer Network for Multi-Region and Multi-Sequence MR-to-CT Synthesis in a Single Model | |
| Sun et al. | Research on new treatment mode of radiotherapy based on pseudo-medical images | |
| Wang et al. | MSE-Fusion: Weakly supervised medical image fusion with modal synthesis and enhancement | |
| Fu et al. | Oif-net: An optical flow registration-based pet/mr cross-modal interactive fusion network for low-count brain pet image denoising | |
| WO2022120731A1 (zh) | 基于循环生成对抗网络的mri-pet图像模态转换方法及系统 | |
| Yang et al. | Hierarchical progressive network for multimodal medical image fusion in healthcare systems | |
| He et al. | LRFNet: A real-time medical image fusion method guided by detail information | |
| CN116563402A (zh) | 跨模态mri-ct图像合成方法、系统、设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |