CN116563402A - 跨模态mri-ct图像合成方法、系统、设备和介质 - Google Patents

跨模态mri-ct图像合成方法、系统、设备和介质 Download PDF

Info

Publication number
CN116563402A
CN116563402A CN202310341018.7A CN202310341018A CN116563402A CN 116563402 A CN116563402 A CN 116563402A CN 202310341018 A CN202310341018 A CN 202310341018A CN 116563402 A CN116563402 A CN 116563402A
Authority
CN
China
Prior art keywords
image
generator
loss
dimensional
cross
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310341018.7A
Other languages
English (en)
Inventor
徐永恒
赵加坤
孟桂云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xuzhou Xinda Real Estate Land Appraisal Co ltd
Original Assignee
Xuzhou Xinda Real Estate Land Appraisal Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xuzhou Xinda Real Estate Land Appraisal Co ltd filed Critical Xuzhou Xinda Real Estate Land Appraisal Co ltd
Priority to CN202310341018.7A priority Critical patent/CN116563402A/zh
Publication of CN116563402A publication Critical patent/CN116563402A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/092—Reinforcement learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

跨模态MRI‑CT图像合成方法、系统、设备和介质，方法包括获取二维的MR切片图像和二维的CT切片图像，并处理，扩大训练数据集、将训练数据集输入约束一致性循环生成对抗网络模型，运行对抗优化训练、在对抗优化训练过程中，利用对抗性损失项控制判别器和生成器的博弈过程、得到最优约束一致性循环生成对抗网络模型之后，将模型进行保存，并将最优阶段的结果作为输出，得到最终的合成CT图像；本发明还包括了实现上述跨模态MRI‑CT图像合成方法的系统、设备和介质，本发明旨在通过约束一致性循环生成对抗神经网络进行域迁移，提高医学图像跨模态合成的感知质量，增强合成图像与原图像之间的结构相似度，提高临床相关应用的可接受程度。

Description

跨模态MRI-CT图像合成方法、系统、设备和介质
技术领域
本发明涉及医学图像数据处理技术领域，具体涉及基于约束一致性循环生成对抗网络的跨模态MRI-CT图像合成方法、系统、设备和介质，在不使用配对数据集的情况下进行双域之间的跨模态图像合成。
背景技术
癌症是目前威胁人类健康的主要疾病之一，随着人口增长的加速及老龄化的加剧，癌症的发病率和死亡率不断增长。癌症患者给家庭和社会经济增加了巨大负担。据国际癌症中心(International Agency for Research on Cancer,IARC)预测，癌症将超越心血管疾病，成为21世纪每个国家的首位死因，同时成为阻碍人们长寿的最主要疾病。癌症的治疗方法主要分为放射治疗(放疗)，化学治疗(化疗)，手术治疗等，临床上常采取多种治疗方法共同实施的综合治疗方法来达到更好的治疗效果。
放射治疗作为目前恶性肿瘤治疗的有效方式之一，约50％-70％的癌症患者需要进行放射治疗，放疗的根本目的是让肿瘤组织得到充分的照射，最大程度保护正常组织，使正常组织减少射线照射，来提高肿瘤治疗的效果，并降低危机器官的副反应。20世纪80年代，Hounsfield发明的CT扫描技术被用于医学领域。随着计算机技术在放疗计划中的应用，放疗照射进入了从二维到三维的时代。计算机断层扫描(CT)图像能提供良好的电子密度信息，而电子密度信息对于放疗治疗规划中的剂量计算和正电子发射断层扫描重建中的衰减校正等应用是必不可少的。随着图像引导放疗(Image guided radiotherapy,IGRT)技术的飞速发展，最近的研究中，人们逐步使用磁共振设备代替CT设备进行放疗的影像引导。与CT图像相比，磁共振图像是通过一种非侵入性成像协议获得的，并能提供良好的软组织对比度，且会使患者避免接受额外的电离辐射。
因此，当临床上不能或者较难获取病人诊治所需的所有影像资料时，可能会导致其无法得到更好的诊疗方案。目前已有多种研究提出，当难以获取指定模态的医学影像时，可以尝试通过将其它易获取的医学影像转换为该指定模态的影像，这样有助于临床诊治工作，同时也能有效简化临床工作流程。由于患者的解剖结构都是相同的，尽管MRI和CT图像的成像原理不同，但是对于同一位置的同一个患者，他的解剖结构是不变的，因此可以利用患者的解剖形态信息，实现从MRI图像到CT图像的转换。为了实现基于MRI图像的CT图像模态转换任务，研究者们提出了很多方法。这些方法大致可以分为三类：基于分割的方法，比如文章《深度学习分割网络的训练方法及医学图像的分割方法》和专利申请号:CN202010355883.3、名称为：《基于MRI的CT图像重建方法》；基于图集的方法，比如文章《Multi-atlas-based CT synthesis from conventional MRI with patch-basedrefinement for MRI-based radiotherapy planning》和专利申请号:CN202210290221.1，名称为：《CT图像和MRI三维图像的配准方法、装置》；深度学习的方法，比如文章《CTsynthesis from MRI using multi-cycle GAN for head-and-neck radiation therapy》和专利申请号:CN202111458847.0，名称为：《一种基于深度学习的MRI图像与CT图像转化方法及终端》。这些方法依赖于配对的数据集，但对于医学图像，有时候不易于获得同一个病人的两种模态的图像，有时无法将对两种模态的图像进行精确配准。因此需要开发能够使用非配对数据集进行训练且能够精准进行医学图像跨模态合成的技术。
发明内容
为了克服上述现有技术的缺陷，本发明的目的是提供一种跨模态MRI-CT图像合成方法、系统、设备和介质，通过约束一致性循环生成对抗神经网络进行域迁移，只需要两种域的数据，而不需要数据之间有严格对应关系，就能够获得生成的二维MR图像和CT图像；从而提高了医学图像跨模态合成的感知质量，增强了合成图像与原图像之间的结构相似度，提高了临床相关应用的可接受程度，能够间接帮助临床进行相关诊治工作，简化临床工作流程。
为了实现上述目的，本发明提供了如下技术方案：
跨模态MRI-CT图像合成方法，包括以下步骤：
(1)、获取二维的MR切片图像和二维的CT切片图像，并对获得的图像进行图像增强处理，以扩大训练数据集，将二维的MR切片图像记为左图像序列，将二维的CT切片图像记为右图像序列；
(2)、将左、右图像序列训练数据集输入约束一致性循环生成对抗网络模型，由第一生成器生成右图像序列的一次合成图像，由第二生成器生成左图像序列的一次合成图像；使用第一判别器进行判别右图像序列的一次合成图像的真伪，同理，使用第二判别器进行鉴别左图像序列的一次合成图像的真伪；
(3)、在对抗优化训练过程中，利用对抗性损失项控制判别器和生成器的博弈过程，当约束一致性循环生成对抗网络模型收敛之后，迭代过程终止；
(4)、得到最优约束一致性循环生成对抗网络模型之后，将模型进行保存，并将最优阶段的结果作为输出，得到最终的合成CT图像。
所述的步骤(1)具体为：
(1.1)、首先获取到二维的MR图像和二维的CT图像，以此图像集为基准，进行后续训练集处理；
(1.2)、将前一步的二维MR图像集进行切割，得到对应患者的二维MR切片图像；同理，将前一步的二维CT图像集进行切割，得到对应患者的二维CT切片图像；
(1.3)、对二维MR切片图像集和二维CT切片图像集的数据进行图像增强式处理，并进行像素强度归一化，根据相机标定参数对左MR图像序列和右CT图像序列进行极线校正，使得左右图像序列中对应的匹配像素点均处在同一水平线上；
(1.4)、进行采样随机化，从步骤(1.3)增强且归一化的数据集中进行随机采样，构建左MR图像序列和右CT图像序列。
所述步骤(2)具体为：
(2.1)、构建约束一致性循环生成对抗网络模型的第一生成器和第二生成器，两个生成器结构一致，采用改进的U-Net神经网络，将输入的MR图像，合成为对应的CT图像；
(2.2)构建约束一致性循环生成对抗网络模型的第一判别器和第二判别器，判别器采用PatchGAN结构，将图像作为输入，判断图像的虚假与真实，给出相应的分数，分数为0或1，0为虚假、1为真实。
所述步骤(2.1)具体操作包括：
(2.1.1)、在U-Net神经网络中的编码器上采样阶段，采用卷积神经网络，从输入的图像中提取特征；
(2.1.2)、在特征转换阶段，通过在编码器部分和解码器部分之间添加跳跃连接，确保低级信息在两个部分之间可以进行共享，组合图像的不相近特性，将特征向量进行域迁移转换，达到在转换时同时保留原始图像特征的目标；
(2.1.3)、在解码阶段，从特征向量中还原出低级特征的工作，得到生成图像，其中，每个反卷积层的配置为卷积核大小为3x3，步长为1，填充为1；每个反卷积层均使用ReLU激活函数，ReLU激活函数定义为ReLU(x)＝max(0,x)。
所述改进的U-Net神经网络采用VGG-16模型的16层结构，在编码器部分和解码器部分之间才用跳跃连接。
所述步骤(3)具体为：
(3.1)、计算对抗性损失，将其应用于模型的两个映射函数，用来衡量生成图像的分布与目标域中的图像分布的匹配程度，其中，对抗性损失目标表示为：
同理可得其中，x表示输入左侧MR图像，G表示第一生成器，DY表示第二判别器，pdata(x)表示MR图像的概率分布。y表示右侧CT图像，pdata(y)表示CT图像的概率分布。/>表示第一生成器的对抗性损失，/>表示第二生成器的对抗性损失，/>表示第一判别器的对抗性损失，/>表示第二判别器的对抗性损失；
(3.2)、计算循环一致性损失，表示为：
上述公式中，G表示第一生成器，F表示第二生成器，x表示为左侧MR图像，y表示为右侧CT图像，pdata(x)表示MR图像的概率分布，pdata(y)表示CT图像的概率分布，则为循环一致性损失，用来防止第一生成器和第二生成器相矛盾。
(3.3)、计算Identity损失，Identity损失表示为：
上述公式中，G表示第一生成器，F表示第二生成器，x表示为左侧MR图像，y表示为右侧CT图像，pdata(x)表示MR图像的概率分布，pdata(y)表示CT图像的概率分布，则为Identity损失；
(3.4)、计算距离一致性损失，表示为：
同理，也可有
其中，x表示为输入的左侧MR图像，L(x)表示输入MR图像的左侧部分，R(x)为输入MR图像的右侧部分，G为第一生成器，F为第二生成器，μA和σA是图像x的左右两半的均值和方差，μB和σB为x经过第一生成器和第二生成器后重新生成的图像的左右两半的均值和方差，pdata(x)为图像x的概率分布。为计算左MR图像的距离一致性损失，为计算右CT图像的距离一致性损失；
(3.5)、基于对抗性损失、循环一致性损失、Identity损失和距离一致性损失和相对重要性系数λ，建立整体优化目标损失函数：
根据整体优化目标损失函的变化情况，进行交替性训练，直到综合目标收敛，迭代终止。
所述步骤(4)具体为：
(4.1)、将整体优化目标函数收敛后的约束一致性循环生成对抗网络模型进行保存；
(4.2)、将整体优化目标函数收敛后的约束一致性循环生成对抗网络模型结果作为最终输出，给出最终合成CT图像。
跨模态MRI-CT图像合成系统，包括用于执行上述跨模态MRI-CT图像合成方法中各个步骤的处理指令模块。
跨模态MRI-CT图像合成设备，包括存储器和处理器；
存储器：存储上述跨模态MRI-CT图像合成方法计算机程序，为计算机可读取的设备；
处理器：用于执行所述跨模态MRI-CT图像合成方法。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时能够实现所述的跨模态MRI-CT图像合成方法。
本发明的优点：
(1)、本发明提供的基于约束一致性循环生成对抗网络的跨模态MRI-CT图像合成方法使用足够多的数据对网络进行训练，学习由MRI图像到对应的CT图像的映射关系，利用此映射关系输入MRI图像，合成对应的CT图像，合成的CT图像可以用来计算放疗剂量，解决MRI图像不具有电子密度信息，不能计算放疗剂量的问题。
(2)、区别于现有技术的情况，本发明提出的新模型架构用了新的生成器结构，同时设计了新的损失函数。
(3)、本发明提供的方法不仅可以使用配对的MRI-CT数据进行训练，还可以使用非配对的MRI-CT数据进行训练，解决了配对训练数据获取困难的问题。
(4)、与现有使用MRI图像进行跨模态合成CT图像的算法相比，本发明的方法具有更好的感知质量，更高的结构相似性和更好的评价指标。
(5)、步骤2.1采用循环一致生成对抗网络的方法，能够摆脱训练过程中对于成对医学影像数据集的依赖，解决了临床中成对医学影像数据集获取困难的问题，具有通用性更强、不依赖于具体任务的优势和创新点。
(6)、步骤2.1.1采用改进U-Net神经网络结构代替原生成器网络中的残差网络结构的方法，能够在保证生成图像质量的基础上，大大减少网络模型中需要计算的参数量，提高网络模型的训练效率，具有生成质量更高、训练速度更快的优势和创新点。
(7)、步骤2.2采用PatchGAN结构作为判别器网络模型的方法，能够使判别器可以考虑到图像的不同部分的影响，可以关注更多的区域信息，具有更适合判别高分辨率图像的优势和创新点。
(8)、步骤3采用多种目标损失函数混合的方法，能够以更快的速度收敛至最佳状态，减少训练的迭代次数，具有收敛速度快、迭代次数少的优势和创新点。
综上所述，与现有技术相比，本发明能够在更短的时间内完成神经网络模型的训练工作，且网络模型中需要计算的参数量更少，生成的医学图像感知质量更高、差异性更小，具有训练效率更高、合成质量更好、占用内存更小的优势和创新点。
附图说明
图1为本发明方法的流程示意图。
图2为本发明方法的步骤(1)流程示意图。
图3为本发明方法的步骤(2)流程示意图。
图4为本发明方法的步骤(2.1)流程示意图。
图5为采用发明方法进行的MRI图像合成CT图像的实例。
图6为随机选取的三张MRI图像生成的合成CT图像。
具体实施方式
下面结合具体的实施例对本发明做进一步的详细说明。
本发明针对在临床上不能或者较难获取病人诊治所需的CT图像资料时，可能会导致其无法得到更好的诊疗方案，且有时无法获得同一病人的MRI-CT配准数据进行训练等问题，提供了基于约束一致性循环生成对抗网络的跨模态MRI-CT图像合成方法。
本发明提供的方法计划构建约束一致性循环生成对抗网络模型，使用训练数据集对约束一致性循环生成对抗网络模型进行对抗优化训练以得到强化性学习，对比于现有的跨模态MRI-CT合成技术，本发明的约束一致性循环生成对抗网络模型不需要大量地配准好的MRI-CT图像数据，且生成速度快，合成图像的感知质量更好，结构相似性更高。
图1为基于约束一致性循环生成对抗网络的跨模态MRI-CT图像合成方法的流程图，包括以下步骤：
(1)获取二维的MR切片图像和二维的CT切片图像，并对获得的图像进行图像增强处理，以扩大训练数据集；将二维的MR切片图像记为左图像序列，将二维的CT切片图像记为右图像序列。
参照图2，步骤(1)具体包括：
(1.1)、首先获取到二维的MR图像和二维的CT图像，以此图像集为基准，进行后续训练集处理；
(1.2)、将前一步的二维MR图像集进行切割，得到对应患者的二维MR切片图像；同理，将前一步的二维CT图像集进行切割，得到对应患者的二维CT切片图像；
(1.3)、对二维MR切片图像集和二维CT切片图像集的数据进行图像增强式处理，并进行像素强度归一化；主要方法为：根据相机标定参数对左MR图像序列和右CT图像序列进行极线校正，使得左右图像序列中对应的匹配像素点均处在同一水平线上，其中左MR图像序列和右CT图像序列中对应的匹配像素点在相机坐标空间下的深度值表述其中，f表示的是相机的焦距，通过相机标定可以获得到该数值；XL和XR分别表示的是左MR图像序列和右CT图像序列中对应的相互匹配的像素点在成像平面上的投影点，而它们之间的差值则用d来表示，进行公式简化；
(1.4)、进行采样随机化，从上述增强且归一化的数据集中进行随机采样，构建左MR图像序列和右CT图像序列。
具体来说，数据预处理这一步的操作，主要分为三部分：第一部分，对现存的二维MR图像与二维CT图像进行切割处理，以得到对应患者的二维切片MR图像集与二维CT切片图像集；第二部分，对于获得的切片图像集运行图像增强式算法，将图像的像素强度值归一化到0～255之间；第三部分，对获得的所有二维MR切片与二维CT切片进行随机化采样及图像增强，以达到进一步扩大训练数据集的目的。
(2)、将左、右图像序列训练数据集输入约束一致性循环生成对抗网络模型，由第一生成器生成右图像序列的一次合成图像，由第二生成器生成左图像序列的一次合成图像；使用第一判别器进行判别右图像序列的一次合成图像的真伪，同理使用第二判别器进行鉴别左图像序列的一次合成图像的真伪。
参照图3，步骤(2)具体包括：
(2.1)、构建约束一致性循环生成对抗网络模型的第一生成器和第二生成器，第一生成器的目标要能够生成骗过第一判别器的CT图像，第二生成器的目标要能够生成骗过第二判别器的MR图像。两个生成器结构一致，采用改进的U-Net神经网络提高合成的有效性。
参照图4，所述步骤(2.1)具体操作为：
(2.1.1)、在改进U-Net神经网络中的编码器上采样阶段中，采用卷积神经网络。在编码阶段，从输入的图像中提取特征，将图像压缩成为256个64*64的特征向量。
(2.1.2)、相对于原U-Net网络结构，本方法使用残差连接进行编码器部分与解码器部分之间的跳跃连接。在转换阶段，通过组合图像的不相近特性，将特征向量进行域迁移转换，达到在转换时同时保留原始图像特征的目标。同时，改进U-Net神经网络结构采用类似于VGG-16模型的16层结构，并放弃了三个完全连接的卷积层，大大减少了神经网络中需要计算的参数量，提高模型的训练效率；对于128x128的MR图像，采用的是6块残差，对于256x256以上的MR图像，采用的是9块残差，每一个残差是由两个卷积层构成的神经网络层。
(2.1.3)、使用实例归一化操作代替原U-Net神经网络中的批量归一化操作，并采用反池化层替换原U-Net神经网络中的反卷积层，反池化层中包含反池化操作。其中每个反卷积层的配置为卷积核大小为3x3，步长为1，填充为1；每个反卷积层均使用ReLU激活函数，ReLU激活函数定义为ReLU(x)＝max(0,x)。在解码阶段，从特征向量中还原出低级特征的工作，最后得到生成图像。
(2.2)构建约束一致性循环生成对抗网络模型的第一判别器和第二判别器。第一判别器要尽量区分训练CT生成图像和CT训练图像，第二判别器要尽量区分训练MR生成图像和MR训练图像。判别器采用类似70x70的PatchGAN结构，将图像作为输入，判断图像的虚假与真实，给出相应的分数。分数为0(虚假)或1(真实)。
(3)、在对抗优化训练过程中，利用对抗性损失项控制判别器和生成器的博弈过程，当约束一致性循环生成对抗网络模型收敛之后，迭代过程终止。
步骤(3)具体包括：
(3.1)、计算对抗性损失，将其应用于模型的两个映射函数，用来衡量生成图像的分布与目标域中的图像分布的匹配程度。其中，对抗性损失目标表示为：
同理可得其中，x表示输入左侧MR图像，G表示第一生成器，DY表示第二判别器，pdata(x)表示MR图像的概率分布。y表示右侧CT图像，pdata(y)表示CT图像的概率分布。/>表示第一生成器的对抗性损失，/>表示第二生成器的对抗性损失，/>表示第一判别器的对抗性损失，/>表示第二判别器的对抗性损失。
(3.2)、计算循环一致性损失，进一步减少可能的映射函数的空间，即防止第一生成器与第二生成器相矛盾，也确保模型的周期性迁移能力；其中循环一致性损失表示为：
上述公式中，G表示第一生成器，F表示第二生成器，x表示为左侧MR图像，y表示为右侧CT图像，pdata(x)表示MR图像的概率分布，pdata(y)表示CT图像的概率分布，则为循环一致性损失，用来防止第一生成器和第二生成器相矛盾。
(3.3)、计算Identity损失，来鼓励映射以保留输入和输出之间的细节组成；其中，Identity损失表示为：
上述公式中，G表示第一生成器，F表示第二生成器，x表示为左侧MR图像，y表示为右侧CT图像，pdata(x)表示MR图像的概率分布，pdata(y)表示CT图像的概率分布，则为Identity损失。
(3.4)、计算距离一致性损失，来衡量映射的距离保持能力。其中距离一致性损失表示为：
同理，也可有
其中，x表示为输入的左侧MR图像，L(x)表示输入MR图像的左侧部分，R(x)为输入MR图像的右侧部分，G为第一生成器，F为第二生成器，μA和σA是图像x的左右两半的均值和方差，μB和σB为x经过第一生成器和第二生成器后重新生成的图像的左右两半的均值和方差，pdata(x)为图像x的概率分布；为计算左侧MR图像的距离一致性损失，为计算右侧CT图像的距离一致性损失。
(3.5)、基于对抗性损失(3.1)、循环一致性损失(3.2)、Identity损失(3.3)、距离一致性损失(3.4)和相对重要性系数λ，建立整体优化目标损失函数：
根据整体优化目标损失函的变化情况，进行交替性训练，直到综合目标收敛，迭代终止。
(4)、得到最优约束一致性循环生成对抗网络模型之后，将模型进行保存，并将最优阶段的结果作为输出，得到最终的合成CT图像。
步骤(4)具体包括：
(4.1)、将整体优化目标函数收敛后的约束一致性循环生成对抗网络模型进行保存。
(4.2)、将整体优化目标函数收敛后的约束一致性循环生成对抗网络模型结果作为最终输出，给出最终合成CT图像。
(4.3)、结合相关评价指标，诸如MAE、MSE、PSNR、SSIM，计算最终合成CT图像的有效性,提供可信值。计算公式如下所示：
其中，测试集图像的样本总数由C表示，x表示生成的CT图像，y表示真实的CT图像，realCT(i)表示在像素空间中i位置上真实CT图像的像素值，fackCT(i)表示在像素空间中i位置上生成CT图像的像素值；在SSIM中，μx表示生成的CT图像的平均图像值，μy表示真实的CT图像的平均图像值；δ2 x表示图像x的方差，δ2 y表示图像y的方差；变量C1＝(k1Q)2和C2＝(K2Q)2用于保持弱分母除法，分别取K1＝0.01和K2＝0.02。在等式PSNR中，Q表示图像的最大强度值。
参见图5，随机选取了三张MRI图像，输入到基于约束一致性循环生成对抗网络模型中，通过图中示例可以看出，本发明所提出的方法生成的合成CT图像具有更好的感知质量，特别是更高的结构相似性和更好的解剖细节。
本发明还包括：
跨模态MRI-CT图像合成系统，包括用于执行上述跨模态MRI-CT图像合成方法中各个步骤的处理指令模块。
跨模态MRI-CT图像合成设备，包括存储器和处理器；
存储器：存储上述跨模态MRI-CT图像合成方法计算机程序，为计算机可读取的设备；
处理器：用于执行所述跨模态MRI-CT图像合成方法。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时能够实现所述的跨模态MRI-CT图像合成方法。

Claims (10)

1.跨模态MRI-CT图像合成方法，其特征在于，包括以下步骤：
(1)、获取二维的MR切片图像和二维的CT切片图像，并对获得的图像进行图像增强处理，以扩大训练数据集，将二维的MR切片图像记为左图像序列，将二维的CT切片图像记为右图像序列；
(2)、将左、右图像序列训练数据集输入约束一致性循环生成对抗网络模型，由第一生成器生成右图像序列的一次合成图像，由第二生成器生成左图像序列的一次合成图像；使用第一判别器进行判别右图像序列的一次合成图像的真伪，同理使用第二判别器进行鉴别左图像序列的一次合成图像的真伪；
(3)、在对抗优化训练过程中，利用对抗性损失项控制判别器和生成器的博弈过程，当约束一致性循环生成对抗网络模型收敛之后，迭代过程终止；
(4)、得到最优约束一致性循环生成对抗网络模型之后，将模型进行保存，并将最优阶段的结果作为输出，得到最终的合成CT图像。
2.根据权利要求1所述的跨模态MRI-CT图像合成方法，其特征在于，所述的步骤(1)具体为：
(1.1)、首先获取到二维的MR图像和二维的CT图像，以此图像集为基准，进行后续训练集处理；
(1.2)、将前一步的二维MR图像集进行切割，得到对应患者的二维MR切片图像；同理，将前一步的二维CT图像集进行切割，得到对应患者的二维CT切片图像；
(1.3)、对二维MR切片图像集和二维CT切片图像集的数据进行图像增强式处理，并进行像素强度归一化，根据相机标定参数对左MR图像序列和右CT图像序列进行极线校正，使得左右图像序列中对应的匹配像素点均处在同一水平线上；
(1.4)、进行采样随机化，从步骤(1.3)增强且归一化的数据集中进行随机采样，构建左MR图像序列和右CT图像序列。
3.根据权利要求书1所述的跨模态MRI-CT图像合成方法，其特征在于，所述步骤(2)具体为：
(2.1)、构建约束一致性循环生成对抗网络模型的第一生成器和第二生成器，两个生成器结构一致，采用改进的U-Net神经网络，将输入的MR图像，合成为对应的CT图像；
(2.2)构建约束一致性循环生成对抗网络模型的第一判别器和第二判别器，判别器采用PatchGAN结构，将图像作为输入，判断图像的虚假与真实，给出相应的分数，分数为0或1，0为虚假、1为真实。
4.根据权利要求3所述的跨模态MRI-CT图像合成方法，其特征在于，所述步骤(2.1)具体操作包括：
(2.1.1)、在U-Net神经网络中的编码器上采样阶段中，采用卷积神经网络，从输入的图像中提取特征；
(2.1.2)、在特征转换阶段，通过在编码器部分和解码器部分之间添加跳跃连接，确保低级信息在两个部分之间可以进行共享，组合图像的不相近特性，将特征向量进行域迁移转换，达到在转换时同时保留原始图像特征的目标；
(2.1.3)、在解码阶段，从特征向量中还原出低级特征的工作，最后得到生成图像，其中每个反卷积层的配置为卷积核大小为3x3，步长为1，填充为1；每个反卷积层均使用ReLU激活函数，ReLU激活函数定义为ReLU(x)＝max(0,x)。
5.根据权利要求3所述的跨模态MRI-CT图像合成方法，其特征在于，所述步骤(2.1)改进的U-Net神经网络采用VGG-16模型的16层结构，在编码器部分和解码器部分之间才用跳跃连接。
6.根据权利要求1所述的跨模态MRI-CT图像合成方法，其特征在于，所述步骤(3)具体为：
(3.1)、计算对抗性损失，将其应用于模型的两个映射函数，用来衡量生成图像的分布与目标域中的图像分布的匹配程度，其中，对抗性损失目标表示为：
同理可得其中，x表示输入左侧MR图像，G表示第一生成器，DY表示第二判别器，pdata(x)表示MR图像的概率分布；y表示右侧CT图像，pdata(y)表示CT图像的概率分布；/>表示第一生成器的对抗性损失，/>表示第二生成器的对抗性损失，表示第一判别器的对抗性损失，/>表示第二判别器的对抗性损失；
(3.2)、计算循环一致性损失，表示为：
上述公式中，G表示第一生成器，F表示第二生成器，x表示为左侧MR图像，y表示为右侧CT图像，pdata(x)表示MR图像的概率分布，pdata(y)表示CT图像的概率分布，则为循环一致性损失，用来防止第一生成器和第二生成器相矛盾；
(3.3)、计算Identity损失，Identity损失表示为：
上述公式中，G表示第一生成器，F表示第二生成器，x表示为左侧MR图像，y表示为右侧CT图像，pdata(x)表示MR图像的概率分布，pdata(y)表示CT图像的概率分布，则为Identity损失
(3.4)、计算距离一致性损失，表示为：
同理，也可有
其中，x表示为输入的左侧MR图像，L(x)表示输入MR图像的左侧部分，R(x)为输入MR图像的右侧部分，G为第一生成器，F为第二生成器，μA和σA是图像x的左右两半的均值和方差，μB和σB为x经过第一生成器和第二生成器后重新生成的图像的左右两半的均值和方差，pdata(x)为图像x的概率分布；为计算左MR图像的距离一致性损失，为计算右CT图像的距离一致性损失；
(3.5)、基于对抗性损失、循环一致性损失、Identity损失和距离一致性损失和相对重要性系数λ，建立整体优化目标损失函数：
根据整体优化目标损失函的变化情况，进行交替性训练，直到综合目标收敛，迭代终止。
7.根据权利要求书1所述的跨模态MRI-CT图像合成方法，其特征在于，所述步骤(4)具体为：
(4.1)、将整体优化目标函数收敛后的约束一致性循环生成对抗网络模型进行保存；
(4.2)、将整体优化目标函数收敛后的约束一致性循环生成对抗网络模型结果作为最终输出，给出最终合成CT图像。
8.跨模态MRI-CT图像合成系统，其特征在于，包括用于执行权利要求1-7任意一项权利要求所述的跨模态MRI-CT图像合成方法中各个步骤的处理指令模块。
9.跨模态MRI-CT图像合成设备，其特征在于，包括存储器和处理器。
存储器：存储权利要求1-7任意一项权利要求所述的跨模态MRI-CT图像合成方法计算机程序，为计算机可读取的设备；
处理器：用于执行权利要求1-7任意一项权利要求所述的跨模态MRI-CT图像合成方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时能够实现权利要求1-7任意一项权利要求所述的的跨模态MRI-CT图像合成方法。
CN202310341018.7A 2023-03-31 2023-03-31 跨模态mri-ct图像合成方法、系统、设备和介质 Pending CN116563402A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310341018.7A CN116563402A (zh) 2023-03-31 2023-03-31 跨模态mri-ct图像合成方法、系统、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310341018.7A CN116563402A (zh) 2023-03-31 2023-03-31 跨模态mri-ct图像合成方法、系统、设备和介质

Publications (1)

Publication Number Publication Date
CN116563402A true CN116563402A (zh) 2023-08-08

Family

ID=87490597

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310341018.7A Pending CN116563402A (zh) 2023-03-31 2023-03-31 跨模态mri-ct图像合成方法、系统、设备和介质

Country Status (1)

Country Link
CN (1) CN116563402A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117830340A (zh) * 2024-01-04 2024-04-05 中南大学 一种探地雷达目标特征分割方法、系统、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117830340A (zh) * 2024-01-04 2024-04-05 中南大学 一种探地雷达目标特征分割方法、系统、设备及存储介质

Similar Documents

Publication Publication Date Title
Spadea et al. Deep learning based synthetic‐CT generation in radiotherapy and PET: a review
Chen et al. U‐net‐generated synthetic CT images for magnetic resonance imaging‐only prostate intensity‐modulated radiation therapy treatment planning
Largent et al. Comparison of deep learning-based and patch-based methods for pseudo-CT generation in MRI-based prostate dose planning
AU2017209046B2 (en) Systems and methods for segmentation of intra-patient medical images
US9070214B1 (en) Systems and methods for data and model-driven image reconstruction and enhancement
Mansoor et al. Deep learning guided partitioned shape model for anterior visual pathway segmentation
Qian et al. Estimating CT from MR abdominal images using novel generative adversarial networks
CN110444277B (zh) 一种基于多生成多对抗的多模态脑部mri图像双向转换方法
Kieselmann et al. Cross‐modality deep learning: contouring of MRI data from annotated CT data only
CN112470190A (zh) 用于改进低剂量体积对比增强mri的系统和方法
Gong et al. Nonrigid image registration using spatially region-weighted correlation ratio and GPU-acceleration
Sun et al. Synthesis of pseudo-CT images from pelvic MRI images based on an MD-CycleGAN model for radiotherapy
CN115830163A (zh) 基于深度学习的确定性引导的渐进式医学图像跨模态生成方法和装置
Zhou et al. 3D segmentation guided style-based generative adversarial networks for pet synthesis
CN116563402A (zh) 跨模态mri-ct图像合成方法、系统、设备和介质
Amirkolaee et al. Development of a GAN architecture based on integrating global and local information for paired and unpaired medical image translation
Zhang et al. Hierarchical organ-aware total-body standard-dose PET reconstruction from low-dose PET and CT images
Poonkodi et al. 3D-MedTranCSGAN: 3D medical image transformation using CSGAN
Gong et al. Research and Application of Deep Learning in Medical Image Reconstruction and Enhancement
CN113205567A (zh) 基于深度学习的mri影像合成ct影像的方法
Jiang et al. Reconstruction of 3d ct from a single x-ray projection view using CVAE-GAN
Sun et al. Research on new treatment mode of radiotherapy based on pseudo-medical images
KR102586483B1 (ko) 인공지능에 의한 의료영상 변환방법 및 그 장치
CN116363248A (zh) 单平面X-Ray影像合成CT影像的方法、系统、设备和介质
Yu et al. Cardiac LGE MRI segmentation with cross-modality image augmentation and improved U-Net

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination