CN112802046A - 基于深度学习从多序列mr中生成伪ct的影像生成系统 - Google Patents
基于深度学习从多序列mr中生成伪ct的影像生成系统 Download PDFInfo
- Publication number
- CN112802046A CN112802046A CN202110117854.8A CN202110117854A CN112802046A CN 112802046 A CN112802046 A CN 112802046A CN 202110117854 A CN202110117854 A CN 202110117854A CN 112802046 A CN112802046 A CN 112802046A
- Authority
- CN
- China
- Prior art keywords
- real
- data
- sequence
- image
- loss
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 52
- 238000000034 method Methods 0.000 claims abstract description 23
- 230000008569 process Effects 0.000 claims abstract description 14
- 230000004927 fusion Effects 0.000 claims abstract description 13
- 238000012360 testing method Methods 0.000 claims abstract description 13
- 210000003484 anatomy Anatomy 0.000 claims abstract description 9
- 238000013480 data collection Methods 0.000 claims abstract description 7
- 230000008485 antagonism Effects 0.000 claims description 20
- 239000011159 matrix material Substances 0.000 claims description 17
- 238000002595 magnetic resonance imaging Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 125000004122 cyclic group Chemical group 0.000 claims description 7
- 230000000694 effects Effects 0.000 claims description 4
- 238000006386 neutralization reaction Methods 0.000 claims description 3
- 230000000295 complement effect Effects 0.000 abstract description 4
- 230000015572 biosynthetic process Effects 0.000 abstract 1
- 238000003786 synthesis reaction Methods 0.000 abstract 1
- 230000004913 activation Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 8
- 238000010606 normalization Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 208000003174 Brain Neoplasms Diseases 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010968 computed tomography angiography Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 125000004435 hydrogen atom Chemical group [H]* 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 229940121896 radiopharmaceutical Drugs 0.000 description 1
- 239000012217 radiopharmaceutical Substances 0.000 description 1
- 230000002799 radiopharmaceutical effect Effects 0.000 description 1
- 238000001959 radiotherapy Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Abstract
本发明公开了一种基于深度学习从多序列MR中生成伪CT的影像生成系统，包括：数据收集模块，用于收集数据集，包括CT影像和多序列MR影像数据，并将数据集划分为训练集和测试集；影像生成模型训练模块，用于利用训练集中相应模态的小批次数据，分别对基于CNN的生成器GCT和GMR以及判别器DCT和DMR进行迭代训练，得到最优影像生成模型；影像生成模块，用于从测试集的多序列MR影像中生成伪CT影像。本发明基于循环生成对抗网络，通过多序列特征融合策略，充分利用MR影像不同序列之间的互补特征，显著提升伪CT影像的合成质量；引入多序列恒等损失项，提升网络训练过程的稳定性和可靠性；在原始影像和合成影像之间构建轮廓损失项，减轻合成影像解剖学结构的畸变，改善合成CT影像的质量。
Description
技术领域
本发明涉及医学图像处理的技术领域，尤其是指一种基于深度学习从多序列MR中生成伪CT的影像生成系统。
背景技术
MRI(magnetic resonance imaging)根据氢原子在磁场作用下的共振信号强度而进行成像，它具有无辐射损伤、软组织对比度高，多种序列影像能够提供丰富、互补的影像学信息。CT则利用组织对X射线的吸收差异，采用断层旋转扫描方式而获取组织影像，它对密度高的组织区分能力强、成像速度快，但具有辐射性。以MR多序列影像为根据，自动生成CT影像，既可避免辐射损伤，又可节省资源与时间，提高效率。
由于深度学习具有特征自学习、学习能力优秀、适应性强、端到端的自动学习与判别等优势，故在影像去噪、分割、配准、识别与生成等方面，展示出良好的潜力与应用前景。近几年来，一些研究者开始关注从MR影像中生成sCT(synthetic CT)的深度学习方法的研究。例如Nie Dong,Cao Xiaohuan,Gao Yaozong,et al.Estimating CT image from MRdata using 3D fully convolutional networks[C]//International Workshop on DeepLearning in Medical Image Analysis/International Workshop on Large-ScaleAnnotation of Biomedical Data and Expert.Berlin:Springer InternationalPublishing,2016:170-178.一文利用全卷积神经网络(fully convolution networks,FCN)由腹部MR影像直接得到生成的sCT，同时为了使模型能够获得全局信息，添加了自动上下文模型(Auto-Context Model,ACM),使其能够感知上下文，模型性能优于基于图谱和结构化随机森林等传统合成算法。
将生成模型(Generative Model)和判别模型(Discriminative Model)的互相博弈学习机制，引入到深度学习模型，即生成对抗网络(Generative Adversarial Network，GAN)，在影像生成方面具有独特的优势。如Kazemifar S,Mcguire S,Timmerman R,etal.MR-only brain radiotherapy:Assessing the dosimetric accuracy of syntheticCT images generated using a deep learning approach[J].Radiother Oncol,2019,136:56-63.一文对脑癌患者的MR影像采用GAN进行sCT的生成，其使用U-Net结构的CNN作为生成器，判别器则由卷积层和全连接层网络构成，取得了良好的生成效果。循环一致性生成对抗网络(cycle-consistent generative adversarial networks,CycleGAN),允许使用非配对的数据进行训练就可以实现影像生成，减少了对数据的约束，大大增加了数据的选择范围。如Fu Jie,Singhrao K,Cao Minsong,et al.Generation of abdominalsynthetic CTs from 0.35T MR images using generative adversarial networks forMR-only liver radiotherapy[J].Biomed Phys Eng Express,2020,6:1-9.一文采用CycleGAN对腹部癌症患者MR影像生成sCT。
现有的基于深度学习的影像生成系统在特定的医学影像生成任务中表现良好，但仍存在以下不足：
1、常规的深度学习影像生成系统中所采用的模型，例如CycleGAN模型仅适用于单个模态影像之间的转换。而仅仅利用单个序列的MR影像进行CT影像的生成，未能充分利用多序列MR影像中不同序列之间的互补特征，造成生成影像的质量一般；
2、缺乏原始MR影像和生成的伪CT影像解剖结构的一致性的保障，影响影像质量。
综上所述，在伪CT影像的生成系统中，如何充分利用多序列MR影像信息，对多序列影像特征进行深度融合，并且提高生成的伪CT影像和原始MR影像解剖结构的一致性，得到高质量的伪CT影像，是亟待解决的关键问题。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提出了一种基于深度学习从多序列MR中生成伪CT的影像生成系统，采用一种新的多序列融合策略，提升CT影像生成的质量；应用轮廓约束策略，减轻生成影像解剖学结构的畸变；此外，引入多序列恒等损失(Identity Loss)项，进一步提升了网络训练过程的稳定性和可靠性。
为实现上述目的，本发明所提供的技术方案为：基于深度学习从多序列MR中生成伪CT的影像生成系统，包括：
数据收集模块，用于收集数据集，数据集包括CT影像和多序列MR影像数据，并将数据集划分为训练集和测试集；
影像生成模型训练模块，用于利用训练集中相应模态的小批次数据，分别对基于CNN的生成器GCT和GMR以及判别器DCT和DMR进行迭代训练，得到最优影像生成模型；
影像生成模块，用于从测试集的多序列MR影像中生成伪CT影像。
进一步，所述数据收集模块收集的多序列MR影像数据集包括但不限于T1W、T2W、T1C、PD等同期获得的t种MR序列，不同MR序列数据之间预先利用配准技术进行空间对齐。
进一步，所述影像生成模型训练模块所利用的小批次数据，是指将训练集分成n个小批次(mini batch)的数据，逐批次对模型进行训练；其中，在训练阶段，当前批次的CT数据以Ireal_CT表示，当前批次的t种多序列MR数据以Ireal_MR表示，同一批次的t种不同序列MR数据之间是空间对齐的；所述影像生成模型训练模块分别对基于CNN的生成器GCT和GMR以及判别器DCT和DMR进行迭代训练，包括以下步骤：
1)将Ireal_MR输入多序列融合CT影像生成器,即输入生成器GCT，生成伪CT数据Isy_CT；将Ireal_CT和Isy_CT分别输入判别器DCT中，计算判别器DCT相应损失项Ld CT并更新参数；
生成伪CT数据Isy_CT由下式确定：
Isy_CT＝GCT(Ireal_MR)
判别器DCT相应损失项
由对抗性损失构成，由下式确定：
其中，m为当前小批次中数据的个数，(DCT(Isy_CT))2为对将Isy_CT输入判别器DCT得到的概率矩阵进行平方运算，(DCT(Ireal_CT)-1)2中的DCT(Ireal_CT)为将Ireal_CT输入判别器DCT得到的概率矩阵，1为维度与DCT(Ireal_CT)维度相同的全1矩阵；根据生成对抗网络中博弈论思想，构建对抗性损失的目的是提高判别器DCT正确分辨真实CT影像Ireal_CT和生成伪CT影像Isy_CT的能力；
2)将Isy_CT输入MR影像生成器，即输入生成器GMR,生成重建多序列MR数据Irecon_MR；将Ireal_CT输入生成器GCT，得到生成影像Iidt_CT；通过轮廓提取器分别提取Irecon_MR的轮廓Crecon_MR和Ireal_MR的轮廓Creal_MR,计算生成器GCT相应损失项LgCT并更新参数；
生成重建多序列MR数据Irecon_MR由下列表达式确定：
Irecon_MR＝GMR(Isy_CT)
生成影像Iidt_CT由下列表达式确定：
Iidt_CT＝GCT(Ireal_CT)
生成器GCT相应损失项
由下列表达式确定：
其中，(DCT(Isy_CT)-1)2是对抗性损失，由将Isy_CT输入判别器DCT得到的概率矩阵进行平方运算得到，计算对抗性损失是为了使生成器GCT尽可能生成能够欺骗判别器DCT的伪CT影像；||Irecon_MR-Ireal_MR||1是循环一致性损失，由重建多序列MR数据Irecon_MR和真实的多序列MR数据Ireal_MR之间计算L1距离得到，计算循环一致性损失目的是让网络具有从重建数据中还原得到原始影像的数据，从而保证生成过程整体可逆性和对称性，并且起到正则化的作用，提高训练过程的稳定性；||Crecon_MR-Creal_MR||1是轮廓一致性损失，由重建多序列MR数据Irecon_MR提取的轮廓和真实的多序列MR数据Ireal_MR提取的轮廓之间计算L1距离得到，计算轮廓一致性损失是为了使Irecon_MR的解剖结构与Ireal_MR的解剖结构保持一致，间接对生成器GCT进行约束，使GCT趋向于生成解刨结构变异性更小的Isy_CT，即得到解剖学结构畸变更小的生成影像；||Iidt_CT-I'real_CT||1是恒等损失，由Iidt_CT和I'real_CT之间计算L1距离得到，其中I'real_CT是对真实CT影像进行复制扩充得到的数据，其通道数与Iidt_CT保持一致，计算恒等损失是为了当网络输入为真实的CT影像时，生成器GCT能够尽可能保持影像原样输出，从而进一步提升网络训练过程的稳定性和可靠性；
3)将Ireal_CT输入生成器GMR中，输出生成的MR数据Isy_MR；将Isy_MR和Ireal_MR分别输入判别器DMR中，计算判别器DMR相应损失项
并更新参数；
生成的MR数据Isy_MR由下式确定：
Isy_MR＝GMR(Ireal_CT)
判别器DMR相应损失项
由对抗性损失构成，由下式确定：
其中，(DMR(Isy_MR))2为对Isy_MR输入判别器DMR得到的概率矩阵进行平方运算，(DMR(Ireal_MR)-1)2中的DMR(Ireal_MR)为将Ireal_MR输入判别器DMR得到的概率矩阵，1为维度与DMR(Ireal_MR)维度相同的全1矩阵；构建对抗性损失的目的是提高判别器DMR正确分辨真实多序列MR影像Ireal_MR和生成的多序列伪MR影像Isy_MR的能力；
4)将Isy_MR输入生成器GCT,生成重建CT数据Irecon_CT；将Ireal_MR中的t种序列影像
逐个序列分别输入GMR,得到对应的生成影像
i＝1,2,...,t；通过轮廓提取器分别提取Irecon_CT的轮廓Crecon_CT和Ireal_CT的轮廓Creal_CT,计算生成器GMR相应损失项
并更新参数；
生成重建CT数据Irecon_CT由下列表达式确定：
Irecon_CT＝GCT(Isy_MR)
生成影像
由下列表达式确定：
其中，t指数据集中的t种MR序列；
生成器GMR相应损失项
为：
其中，(DMR(Isy_MR)-1)2是对抗性损失，由将Isy_MR输入判别器DMR得到的概率矩阵进行平方运算得到，计算对抗性损失是为了使生成器GMR尽可能生成能够欺骗判别器DMR的生成的伪多序列MR影像；||Irecon_CT-Ireal_CT||1是循环一致性损失，由重建CT数据Irecon_CT和真实CT数据Ireal_CT之间计算L1距离得到；||Crecon_CT-Creal_CT||1是轮廓一致性损失，由重建CT数据Irecon_CT提取的轮廓和真实CT数据Ireal_CT提取的轮廓之间计算L1距离得到；
是当前MR序列的恒等损失，由
和
之间计算L1距离得到，其中
是
中与
相同序列所在通道的数据；对各个序列恒等损失求和得到多序列MR恒等损失项。
进一步，所述影像生成模块将测试集中多序列MR影像输入训练完成的生成器GCT中得到伪CT影像Isy_CT，过程由下列表达式确定：
Isy_CT＝GCT(Ireal_MR)
其中，GCT指训练完成的生成器GCT，Ireal_MR指测试集中的多序列MR影像数据。
本发明与现有技术相比，具有如下优点与有益效果：
1、首次提出了一种基于深度学习从多序列MR中生成伪CT的影像生成系统，在生成系统中对多序列特征进行融合，能够充分利用不同序列提供的互补影像学信息，显著提高生成伪CT影像的质量。
2、在系统中原始循环一致性生成对抗网络的损失中加入轮廓损失，使网络更倾向于生成保留原始解剖结构的影像，减轻生成影像解剖学结构的畸变，从而改善系统生成伪CT影像的质量。
3、引入多序列MR恒等损失项，进一步提升了系统中网络训练过程的稳定性和可靠性；
4、相较于传统的影像生成系统，本系统基于端到端的深度学习方法，不需要对数据进行复杂的预处理和后处理，生成系统训练完成后可以高效率地应用于从多序列MR影像中生成高质量的伪CT影像这一任务中。
附图说明
图1是本发明系统架构图。
图2是本发明系统包含模型的整体结构框图和循环一致性损失项以及对抗性损失计算示意图。
图3是本发明系统中CT恒等损失项计算示意图。
图4是本发明系统中多序列MR恒等损失计算示意图。
图5是本发明在伪CT影像生成实施例的结果图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
如图1所示，本实施例所提供的基于深度学习从多序列MR中生成伪CT的影像生成系统，包括有数据收集模块、影像生成模型训练模块和影像生成模块。
所述数据收集模块用于收集数据集，包括若干被试相同目标部位同期获得的T1W、T2W、PD三个序列的MR影像和被试同期获得的CT影像。在本实施例中，选取目标部位为头颈部。对影像进行预处理，包括对MR和CT影像进行重采样使其体素大小保持一致，同时对不同序列MR影像进行配准；使最终各模态影像大小均为256*256。对患者进行随机划分，训练集和测试集比例为4:1。
所述影像生成模型训练模块用于利用训练集中相应模态的小批次(mini batch)数据，指从训练集中随机选取一个小批次的CT数据Ireal_CT和一个小批次的多序列MR数据Ireal_MR，其中mini batch大小设为m，具体数值可根据GPU可用显存的大小进行调整，本实施例中选取m为2；分别对基于CNN的生成器GCT(多序列融合CT影像生成器)和GMR(MR影像生成器)以及判别器DCT和DMR进行迭代训练，如图2所示，包括以下步骤：
1)将Ireal_MR输入生成器GCT,生成伪CT数据Isy_CT；将Ireal_CT和Isy_CT分别输入判别器DCT中，计算DCT相应损失项
并更新参数。
生成伪CT数据Isy_CT由下式确定：
Isy_CT＝GCT(Ireal_MR)
DCT相应损失项
由对抗性损失构成，由下式确定：
其中，m为当前小批次中数据的个数，(DCT(Isy_CT))2为对Isy_CT输入DCT得到的概率矩阵进行平方运算，(DCT(Ireal_CT)-1)2中的DCT(Ireal_CT)为将Ireal_CT输入DCT得到的概率矩阵，1为维度与DCT(Ireal_CT)维度相同的全1矩阵。根据生成对抗网络中博弈论思想，构建对抗性损失的目的是让判别器DCT正确分辨真实CT影像Ireal_CT和生成伪CT影像Isy_CT的能力尽可能提高。
生成器GCT主干部分为改进的U-Net网络结构，由多序列编码器、5个多序列融合模块、解码器部分和跳跃连接组成。其中多序列编码器共有3个分支，分别对应T1W、T2W、PD三种MR序列的输入。多序列编码器的每个分支均由一个2D卷积层和四个残差块顺序组成，卷积层和残差块参数设置与前述MR影像生成器中保持一致。解码器部分由五个2D反卷积层(卷积核大小：3*3，步长：2)组成，卷积核个数分别为512,256,128,64,1.多序列融合模块由两个连续的3D卷积层(卷积核大小：3*1*1，步长：2)构成，各编码器分支分别经过卷积层和残差块得到的同级输出将堆叠为3D的特征图，由多序列融合模块实现多序列特征的融合，再通过维度变换转换为2D的多序列融合特征，通过跳跃连接与解码器中对应尺度的特征图进行合并，其中多序列融合模块中卷积层的卷积核个数分别为128,256,512,512.除了每个编码器分支第一个2D卷积层和最后一个反卷积层以外，每个卷积层后都添加了InstanceNormalization和leaky ReLU分别作为归一化层和激活函数，第一层后仅添加leaky ReLU作为激活函数，最后一层的输出以tanh作为激活函数得到最终输出。
判别器DCT由5个连续的2D卷积层构成，卷积核个数分别为64,128,256,512,1,卷积核大小均为4，步长分别为2,2,2,1,1,除了第一个和最后一个卷积层以外，其余卷积层后都添加了Instance Normalization和leaky ReLU分别作为归一化层和激活函数，第一层后仅添加leaky ReLU作为激活函数。
生成器GMR由一个2D卷积层(卷积核大小：5*5，步长：2，卷积核个数：64)、四个残差块和五个2D反卷积层(卷积核大小：3*3，步长：2)和跳跃连接组成。其中，每个残差块的主干部分由3个连续的2D卷积层组成，其大小和步长分别为1*1、3*3、1*1以及1,2,1，另外每个残差块的原始输入经过分支中的卷积层(卷积核大小：3*3，步长：2)后与主干的输出合并，作为残差块的最终输入。残差块中卷积层的卷积核个数分别为128,256,512,512，反卷积层的卷积核个数分别为512,256,128,64,3。除了第一个2D卷积层和最后一个反卷积层以外，每个卷积层后都添加了Instance Normalization和leaky ReLU分别作为归一化层和激活函数，第一层后仅添加leaky ReLU作为激活函数，最后一层的输出以tanh作为激活函数得到最终输出。
2)将Isy_CT输入生成器GMR,生成重建多序列MR数据Irecon_MR；将Ireal_CT输入GCT，得到生成影像Iidt_CT；通过轮廓提取器分别提取Irecon_MR的轮廓Crecon_MR和Ireal_MR的轮廓Creal_MR,计算GCT相应损失项
并更新参数。
生成重建多序列MR数据Irecon_MR由下列表达式确定：
Irecon_MR＝GMR(Isy_CT)
生成影像Iidt_CT由下列表达式确定：
Iidt_CT＝GCT(Ireal_CT)
生成器GCT相应损失项
由下列表达式确定：
其中，(DCT(Isy_CT)-1)2是对抗性损失，由将Isy_CT输入DCT得到的概率矩阵进行平方运算得到，计算对抗性损失是为了使生成器GCT尽可能生成能够欺骗判别器DCT的伪CT影像；||Irecon_MR-Ireal_MR||1是循环一致性损失，由重建多序列MR数据Irecon_MR和真实的多序列MR数据Ireal_MR之间计算L1距离得到，计算循环一致性损失目的是让网络具有从重建数据中还原得到原始影像的数据，从而保证生成过程整体可逆性和对称性，并且起到正则化的作用，提高训练过程的稳定性；||Crecon_MR-Creal_MR||1是轮廓一致性损失，由重建多序列MR数据Irecon_MR提取的轮廓和真实的多序列MR数据Ireal_MR提取的轮廓之间计算L1距离得到，计算轮廓一致性损失是为了使Irecon_MR的解剖结构与Ireal_MR的解剖结构保持一致，对生成器GCT进行约束，使GCT趋向于生成解刨结构变异性更小的Isy_CT，即得到解剖学结构畸变更小的生成影像；||Iidt_CT-I'real_CT||1是恒等损失，如图3所示，由Iidt_CT和I'real_CT之间计算L1距离得到，其中I'real_CT是对真实CT影像进行复制两次进行扩充得到的数据，其通道数与Iidt_CT保持一致，以分别对应GCT中多序列编码器输入的三个分支。计算恒等损失是为了当网络输入为真实的CT影像时，GCT能够尽可能保持影像原样输出，从而进一步提升网络训练过程的稳定性和可靠性。
轮廓提取器由Sobel滤波器(卷积核大小：3*3)、高斯滤波器(卷积核大小：3*3)。其中Sobel滤波器用于进行轮廓边缘的粗提取，高斯滤波器用于去除孤立的噪声和像素。
3)将Ireal_CT输入GMR中，输出生成的MR数据Isy_MR；将Isy_MR和Ireal_MR分别输入判别器DMR中，计算DMR相应损失项
并更新参数。
生成的MR数据Isy_MR由下式确定：
Isy_MR＝GMR(Ireal_CT)
DMR相应损失项
由对抗性损失构成，由下式确定：
其中，(DMR(Isy_MR))2为对Isy_MR输入DMR得到的概率矩阵进行平方运算，(DMR(Ireal_MR)-1)2中的DMR(Ireal_MR)为将Ireal_MR输入DMR得到的概率矩阵，1为维度与DMR(Ireal_MR)维度相同的全1矩阵。构建对抗性损失的目的是让判别器DMR正确分辨真实MR影像Ireal_MR和生成的伪MR影像Isy_MR的能力尽可能提高。
4)将Isy_MR输入GCT，生成重建CT数据Irecon_CT；将Ireal_MR中的3种序列影像
逐个序列分别输入GMR，得到对应的生成影像
通过轮廓提取器分别提取Irecon_CT的轮廓Crecon_CT和Ireal_CT的轮廓Creal_CT，计算GMR相应损失项
并更新参数。
生成重建CT数据Irecon_CT由下列表达式确定：
Irecon_CT＝GCT(Isy_MR)
生成影像
由下列表达式确定：
其中，t指数据集中的t种MR序列。
生成器GMR相应损失项
为：
其中，(DMR(Isy_MR)-1)2是对抗性损失，由将Isy_MR输入DMR得到的概率矩阵进行平方运算得到，计算对抗性损失是为了使生成器GMR尽可能生成能够欺骗判别器DMR的生成的多序列伪MR影像；||Irecon_CT-Ireal_CT||1是循环一致性损失，由重建CT数据Irecon_CT和真实CT数据Ireal_CT之间计算L1距离得到；||Crecon_CT-Creal_CT||1是轮廓一致性损失，由重建CT数据Irecon_CT提取的轮廓和真实CT数据Ireal_CT提取的轮廓之间计算L1距离得到；
是恒等损失，如图3所示，由
和
之间计算L1距离得到，其中
是
中与
相同序列所在通道的数据。为进一步说明，计T1W序列影像为
其经过GMR后得到的影像为
其拥有三个通道，若Ireal_MR中T1W序列位于其第一个通道，则T1序列对应的恒等损失项即由
的第一个通道与
计算得到，T1W、T2W、PD三个序列对应的恒等损失项求和即得多序列MR恒等损失项，如图4所示。
判别器DMR由5个连续的2D卷积层构成，卷积核个数分别为64,128,256,512,1，卷积核大小均为4，步长分别为2,2,2,1,1，除了第一个和最后一个卷积层以外，其余卷积层后都添加了Instance Normalization和leaky ReLU分别作为归一化层和激活函数，第一层后仅添加leaky ReLU作为激活函数。将生成的三个序列影像进行堆叠，作为三通道影像输入DMR。
所述影像生成模块用于将测试集中多序列MR影像输入训练完成的生成器GCT中得到伪CT影像，由下列表达式确定：
Isy_CT＝GCT(Ireal_MR)
式中，GCT指训练完成的生成器GCT，Ireal_MR指测试集中的多序列MR影像数据。生成的伪CT影像与真实CT影像如图5所示，其中第一列到第三列分别为MR的T1、T2与PD序列影像，第四列为生成的伪CT影像，第五列为真实的CT影像。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (4)
1.基于深度学习从多序列MR中生成伪CT的影像生成系统，其特征在于，包括：
数据收集模块，用于收集数据集，数据集包括CT影像和多序列MR影像数据，并将数据集划分为训练集和测试集；
影像生成模型训练模块，用于利用训练集中相应模态的小批次数据，分别对基于CNN的生成器GCT和GMR以及判别器DCT和DMR进行迭代训练，得到最优影像生成模型；
影像生成模块，用于从测试集的多序列MR影像中生成伪CT影像。
2.根据权利要求1所述的基于深度学习从多序列MR中生成伪CT的影像生成系统，其特征在于：所述数据收集模块收集的多序列MR影像数据集包括T1W、T2W、T1C、PD同期获得的t种MR序列，不同MR序列数据之间预先利用配准技术进行空间对齐。
3.根据权利要求1所述的基于深度学习从多序列MR中生成伪CT的影像生成系统，其特征在于：所述影像生成模型训练模块所利用的小批次数据，是指将训练集分成n个小批次的数据，逐批次对模型进行训练；其中，在训练阶段，当前批次的CT数据以Ireal_CT表示，当前批次的t种多序列MR数据以Ireal_MR表示，同一批次的t种不同序列MR数据之间是空间对齐的；所述影像生成模型训练模块分别对基于CNN的生成器GCT和GMR以及判别器DCT和DMR进行迭代训练，包括以下步骤：
1)将Ireal_MR输入多序列融合CT影像生成器,即输入生成器GCT，生成伪CT数据Isy_CT；将Ireal_CT和Isy_CT分别输入判别器DCT中，计算判别器DCT相应损失项
并更新参数；
生成伪CT数据Isy_CT由下式确定：
Isy_CT＝GCT(Ireal_MR)
判别器DCT相应损失项
由对抗性损失构成，由下式确定：
其中，m为当前小批次中数据的个数，(DCT(Isy_CT))2为对将Isy_CT输入判别器DCT得到的概率矩阵进行平方运算，(DCT(Ireal_CT)-1)2中的DCT(Ireal_CT)为将Ireal_CT输入判别器DCT得到的概率矩阵，1为维度与DCT(Ireal_CT)维度相同的全1矩阵；根据生成对抗网络中博弈论思想，构建对抗性损失的目的是提高判别器DCT正确分辨真实CT影像Ireal_CT和生成伪CT影像Isy_CT的能力；
2)将Isy_CT输入MR影像生成器，即输入生成器GMR,生成重建多序列MR数据Irecon_MR；将Ireal_CT输入生成器GCT，得到生成影像Iidt_CT；通过轮廓提取器分别提取Irecon_MR的轮廓Crecon_MR和Ireal_MR的轮廓Creal_MR,计算生成器GCT相应损失项Lg CT并更新参数；
生成重建多序列MR数据Irecon_MR由下列表达式确定：
Irecon_MR＝GMR(Isy_CT)
生成影像Iidt_CT由下列表达式确定：
Iidt_CT＝GCT(Ireal_CT)
生成器GCT相应损失项
由下列表达式确定：
其中，(DCT(Isy_CT)-1)2是对抗性损失，由将Isy_CT输入判别器DCT得到的概率矩阵进行平方运算得到，计算对抗性损失是为了使生成器GCT尽可能生成能够欺骗判别器DCT的伪CT影像；||Irecon_MR-Ireal_MR||1是循环一致性损失，由重建多序列MR数据Irecon_MR和真实的多序列MR数据Ireal_MR之间计算L1距离得到，计算循环一致性损失目的是让网络具有从重建数据中还原得到原始影像的数据，从而保证生成过程整体可逆性和对称性，并且起到正则化的作用，提高训练过程的稳定性；||Crecon_MR-Creal_MR||1是轮廓一致性损失，由重建多序列MR数据Irecon_MR提取的轮廓和真实的多序列MR数据Ireal_MR提取的轮廓之间计算L1距离得到，计算轮廓一致性损失是为了使Irecon_MR的解剖结构与Ireal_MR的解剖结构保持一致，间接对生成器GCT进行约束，使GCT趋向于生成解刨结构变异性更小的Isy_CT，即得到解剖学结构畸变更小的生成影像；||Iidt_CT-I'real_CT||1是恒等损失，由Iidt_CT和I'real_CT之间计算L1距离得到，其中I'real_CT是对真实CT影像进行复制扩充得到的数据，其通道数与Iidt_CT保持一致，计算恒等损失是为了当网络输入为真实的CT影像时，生成器GCT能够尽可能保持影像原样输出，从而进一步提升网络训练过程的稳定性和可靠性；
3)将Ireal_CT输入生成器GMR中，输出生成的MR数据Isy_MR；将Isy_MR和Ireal_MR分别输入判别器DMR中，计算判别器DMR相应损失项
并更新参数；
生成的MR数据Isy_MR由下式确定：
Isy_MR＝GMR(Ireal_CT)
判别器DMR相应损失项
由对抗性损失构成，由下式确定：
其中，(DMR(Isy_MR))2为对Isy_MR输入判别器DMR得到的概率矩阵进行平方运算，(DMR(Ireal_MR)-1)2中的DMR(Ireal_MR)为将Ireal_MR输入判别器DMR得到的概率矩阵，1为维度与DMR(Ireal_MR)维度相同的全1矩阵；构建对抗性损失的目的是提高判别器DMR正确分辨真实多序列MR影像Ireal_MR和生成的多序列伪MR影像Isy_MR的能力；
4)将Isy_MR输入生成器GCT,生成重建CT数据Irecon_CT；将Ireal_MR中的t种序列影像
逐个序列分别输入GMR,得到对应的生成影像
通过轮廓提取器分别提取Irecon_CT的轮廓Crecon_CT和Ireal_CT的轮廓Creal_CT,计算生成器GMR相应损失项
并更新参数；
生成重建CT数据Irecon_CT由下列表达式确定：
Irecon_CT＝GCT(Isy_MR)
生成影像
由下列表达式确定：
其中，t指数据集中的t种MR序列；
生成器GMR相应损失项
为：
其中，(DMR(Isy_MR)-1)2是对抗性损失，由将Isy_MR输入判别器DMR得到的概率矩阵进行平方运算得到，计算对抗性损失是为了使生成器GMR尽可能生成能够欺骗判别器DMR的生成的伪多序列MR影像；||Irecon_CT-Ireal_CT||1是循环一致性损失，由重建CT数据Irecon_CT和真实CT数据Ireal_CT之间计算L1距离得到；||Crecon_CT-Creal_CT||1是轮廓一致性损失，由重建CT数据Irecon_CT提取的轮廓和真实CT数据Ireal_CT提取的轮廓之间计算L1距离得到；
是当前MR序列的恒等损失，由
和
之间计算L1距离得到，其中
是
中与
相同序列所在通道的数据；对各个序列恒等损失求和得到多序列MR恒等损失项。
4.根据权利要求1所述的基于深度学习从多序列MR中生成伪CT的影像生成系统，其特征在于：所述影像生成模块将测试集中多序列MR影像输入训练完成的生成器GCT中得到伪CT影像Isy_CT，过程由下列表达式确定：
Isy_CT＝GCT(Ireal_MR)
其中，GCT指训练完成的生成器GCT，Ireal_MR指测试集中的多序列MR影像数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110117854.8A CN112802046B (zh) | 2021-01-28 | 2021-01-28 | 基于深度学习从多序列mr中生成伪ct的影像生成系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110117854.8A CN112802046B (zh) | 2021-01-28 | 2021-01-28 | 基于深度学习从多序列mr中生成伪ct的影像生成系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112802046A true CN112802046A (zh) | 2021-05-14 |
| CN112802046B CN112802046B (zh) | 2022-06-14 |
Family
ID=75812442
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110117854.8A Expired - Fee Related CN112802046B (zh) | 2021-01-28 | 2021-01-28 | 基于深度学习从多序列mr中生成伪ct的影像生成系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112802046B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113554728A (zh) * | 2021-06-21 | 2021-10-26 | 复旦大学 | 基于半监督的从多序列3t到7t磁共振图像的生成方法 |
| CN113674330A (zh) * | 2021-07-12 | 2021-11-19 | 华南理工大学 | 一种基于生成对抗网络的伪ct影像生成系统 |
| CN114881848A (zh) * | 2022-07-01 | 2022-08-09 | 浙江柏视医疗科技有限公司 | 一种多序列mr转ct的方法 |
| WO2023005186A1 (zh) * | 2021-07-29 | 2023-02-02 | 广州柏视医疗科技有限公司 | 一种基于深度学习的模态转换方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170337682A1 (en) * | 2016-05-18 | 2017-11-23 | Siemens Healthcare Gmbh | Method and System for Image Registration Using an Intelligent Artificial Agent |
| CN110270015A (zh) * | 2019-05-08 | 2019-09-24 | 中国科学技术大学 | 一种基于多序列MRI的sCT生成方法 |
| CN110619635A (zh) * | 2019-07-25 | 2019-12-27 | 深圳大学 | 基于深度学习的肝细胞癌磁共振图像分割系统和方法 |
| CN111178502A (zh) * | 2019-12-12 | 2020-05-19 | 中国科学院深圳先进技术研究院 | 循环生成对抗网络模型的训练方法、系统以及电子设备 |
-
2021
- 2021-01-28 CN CN202110117854.8A patent/CN112802046B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170337682A1 (en) * | 2016-05-18 | 2017-11-23 | Siemens Healthcare Gmbh | Method and System for Image Registration Using an Intelligent Artificial Agent |
| CN110270015A (zh) * | 2019-05-08 | 2019-09-24 | 中国科学技术大学 | 一种基于多序列MRI的sCT生成方法 |
| CN110619635A (zh) * | 2019-07-25 | 2019-12-27 | 深圳大学 | 基于深度学习的肝细胞癌磁共振图像分割系统和方法 |
| CN111178502A (zh) * | 2019-12-12 | 2020-05-19 | 中国科学院深圳先进技术研究院 | 循环生成对抗网络模型的训练方法、系统以及电子设备 |
Non-Patent Citations (2)
| Title |
|---|
| BEN-HENG XIAO 等: "Diffusion MRI Derived per Area Vessel Density as a Surrogate Biomarker for Detecting Viral Hepatitis B-Induced Liver Fibrosis: A Proof-of-Concept Study", 《SLAS TECHNOLOGY》 * |
| 洪炎佳 等: "多模态多维信息融合的鼻咽癌MR 图像肿瘤深度分割方法", 《浙江大学学报(工学版)》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113554728A (zh) * | 2021-06-21 | 2021-10-26 | 复旦大学 | 基于半监督的从多序列3t到7t磁共振图像的生成方法 |
| CN113554728B (zh) * | 2021-06-21 | 2022-04-12 | 复旦大学 | 基于半监督的从多序列3t到7t磁共振图像的生成方法 |
| CN113674330A (zh) * | 2021-07-12 | 2021-11-19 | 华南理工大学 | 一种基于生成对抗网络的伪ct影像生成系统 |
| CN113674330B (zh) * | 2021-07-12 | 2023-02-14 | 华南理工大学 | 一种基于生成对抗网络的伪ct影像生成系统 |
| WO2023005186A1 (zh) * | 2021-07-29 | 2023-02-02 | 广州柏视医疗科技有限公司 | 一种基于深度学习的模态转换方法 |
| CN114881848A (zh) * | 2022-07-01 | 2022-08-09 | 浙江柏视医疗科技有限公司 | 一种多序列mr转ct的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112802046B (zh) | 2022-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112802046B (zh) | 基于深度学习从多序列mr中生成伪ct的影像生成系统 | |
| Armanious et al. | Unsupervised medical image translation using cycle-MedGAN | |
| CN111445390B (zh) | 基于宽残差注意力的三维医学图像超分辨率重建方法 | |
| CN109598728A (zh) | 图像分割方法、装置、诊断系统及存储介质 | |
| CN111462206B (zh) | 一种基于卷积神经网络的单目结构光深度成像方法 | |
| Chun et al. | MRI super‐resolution reconstruction for MRI‐guided adaptive radiotherapy using cascaded deep learning: In the presence of limited training data and unknown translation model | |
| KR20190137913A (ko) | 딥 컨볼루션 신경망을 사용하는 의료 이미징을 위한 선량 감소 | |
| CN108898560A (zh) | 基于三维卷积神经网络的岩心ct图像超分辨率重建方法 | |
| CN110288609B (zh) | 一种注意力机制引导的多模态全心脏图像分割方法 | |
| CN109300136B (zh) | 一种基于卷积神经网络的危及器官自动分割方法 | |
| CN112686385B (zh) | 面向多站点三维影像的联邦深度学习方法及系统 | |
| CN110544264A (zh) | 一种基于3d深监督机制的颞骨关键解剖结构小目标分割方法 | |
| CN108375746A (zh) | 一种相位反卷折方法与设备 | |
| CN113674330B (zh) | 一种基于生成对抗网络的伪ct影像生成系统 | |
| CN110827232A (zh) | 基于形态特征gan的跨模态mri合成方法 | |
| CN114266939B (zh) | 一种基于ResTLU-Net模型的脑提取方法 | |
| Lin et al. | Batformer: Towards boundary-aware lightweight transformer for efficient medical image segmentation | |
| CN109559296B (zh) | 基于全卷积神经网络和互信息的医学图像配准方法及系统 | |
| CN112785540B (zh) | 一种扩散加权图像的生成系统及方法 | |
| Villain et al. | Visual interpretation of CNN decision-making process using Simulated Brain MRI | |
| CN107330948B (zh) | 一种基于流行学习算法的fMRI数据二维可视化方法 | |
| CN113435481A (zh) | 一种基于生成对抗网络的肝脏肿瘤图像增广方法 | |
| CN114913262B (zh) | 采样模式与重建算法联合优化的核磁共振成像方法及系统 | |
| CN108596900B (zh) | 甲状腺相关性眼病医学影像数据处理装置、方法、计算机可读存储介质及终端设备 | |
| CN115147426B (zh) | 基于半监督学习的模型训练与图像分割方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220614 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |