CN110464353A - 一种基于深度卷积神经网络的伪ct合成方法及应用 - Google Patents
一种基于深度卷积神经网络的伪ct合成方法及应用 Download PDFInfo
- Publication number
- CN110464353A CN110464353A CN201910773002.7A CN201910773002A CN110464353A CN 110464353 A CN110464353 A CN 110464353A CN 201910773002 A CN201910773002 A CN 201910773002A CN 110464353 A CN110464353 A CN 110464353A
- Authority
- CN
- China
- Prior art keywords
- image
- pseudo
- mri
- neural networks
- convolutional neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 33
- 238000010189 synthetic method Methods 0.000 title claims abstract description 16
- 238000001959 radiotherapy Methods 0.000 claims abstract description 18
- 238000013507 mapping Methods 0.000 claims abstract description 10
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 8
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 8
- 238000000034 method Methods 0.000 claims description 34
- 238000012549 training Methods 0.000 claims description 19
- 238000012360 testing method Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000011156 evaluation Methods 0.000 claims description 7
- 230000002708 enhancing effect Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 210000000056 organ Anatomy 0.000 claims description 2
- 238000000605 extraction Methods 0.000 abstract description 6
- 238000002595 magnetic resonance imaging Methods 0.000 description 67
- 230000006870 function Effects 0.000 description 6
- 210000001519 tissue Anatomy 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 210000000988 bone and bone Anatomy 0.000 description 3
- 210000004872 soft tissue Anatomy 0.000 description 3
- 208000002454 Nasopharyngeal Carcinoma Diseases 0.000 description 2
- 206010061306 Nasopharyngeal cancer Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 201000011216 nasopharynx carcinoma Diseases 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical group OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 125000004435 hydrogen atom Chemical group [H]* 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
- A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Veterinary Medicine (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Radiology & Medical Imaging (AREA)
- High Energy & Nuclear Physics (AREA)
- Artificial Intelligence (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Fuzzy Systems (AREA)
- Pulmonology (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请涉及一种基于深度卷积神经网络的伪CT合成方法及应用。目前采用的模型需要人为提取特征，提取的特征直接影响了伪CT预测的准确性。本申请提供了一种基于深度卷积神经网络的伪CT合成方法，包括1:收集病人MRI图像、CT图像与放疗计划信息；2:将所述MRI图像体素大小与所述CT图像体素大小调整一致，然后将MRI图像和CT图像进行图像配准；3:采用深度卷积神经网络建立所述配准的MRI图像与CT图像间的关联模型，并采用深度卷积神经网络学习MRI体素强度值与CT灰度值之间的映射关系；4:使用所述关联模型预测患者的伪CT图像。合成的伪CT更加精确。
Description
技术领域
本申请属于医学放射治疗技术领域，特别是涉及一种基于深度卷积神经网络的伪CT合成方法及应用。
背景技术
核磁共振成像(Magnetic Resonance Imaging，MRI)和电子计算机断层扫描(Computer Tomography，CT)是目前临床上常常采用的医学图像。MRI利用组织中氢质子共振成像，没有电离辐射，软组织对比度好，便于勾画器官和靶区。但是MRI常规序列采集的图像中骨头不清晰，而且MRI图像强度信息反映的是组织质子密度和磁弛豫特性(即偶极矩的惯性)，并不能体现组织的电子密度，因此图像无法用于放疗计划的剂量计算。CT图像中骨头非常清晰明辨，而且包含电子密度信息，可以用于放疗计划剂量计算。但是CT图像软组织成像不清晰，而且存在电离辐射。
鉴于MRI和CT的优势互补，现在临床上常常采用MRI和CT配准来进行靶区和OAR 的勾画，但是多模态图像配准往往会引入配准误差，配准误差会导致靶区和OAR勾画的准确性大大下降，而且两种模态图像的采集既提高了病人治疗的成本，也使得工作流程更加复杂。因此放疗领域提出了单纯核磁共振成像引导放疗(Magnetic Resonance Imaging onlyRadiotherapy,MRI-only RT)，就是在放疗的整个流程中，只采集MR图像作为靶区勾画和剂量计算的唯一来源图像。由于MRI图像不包含电子密度信息，而组织的电子密度信息又是放疗计划设计系统进行模拟剂量计算的关键必要信息，因此单纯MRI引导放疗就仅提供MRI影像信息的前提下如何获取对应组织的电子密度信息(即伪/合成伪CT)并进行模拟剂量计算是决定该技术是否可行的首要问题。
目前采用统计学习方法建立MRI体素强度值与CT灰度值之间的映射模型，但是这种模型需要人为提取特征，提取的特征直接影响了伪CT预测的准确性。
发明内容
1.要解决的技术问题
基于目前采用统计学习方法建立MRI体素强度值与CT灰度值之间的映射模型，但是这种模型需要人为提取特征，提取的特征直接影响了伪CT预测的准确性的问题，本申请提供了一种基于深度卷积神经网络的伪CT合成方法及应用。
2.技术方案
为了达到上述的目的，本申请提供了一种基于深度卷积神经网络的伪CT合成方法，所述方法包括如下步骤：
步骤1:收集病人MRI图像、CT图像与放疗计划信息；
步骤2:将所述MRI图像体素大小与所述CT图像体素大小调整一致，然后将MRI图像和CT图像进行图像配准；
步骤3:采用深度卷积神经网络建立所述配准的MRI图像与CT图像间的关联模型，并采用深度卷积神经网络学习MRI体素强度值与CT灰度值之间的映射关系；
步骤4:使用所述关联模型预测患者的伪CT图像。
可选地，所述步骤1中，所述MRI图像和所述CT图像包括同一部位的MRI图像和CT图像，所述MRI图像和所述CT图像在规定时间间隔内采集；
所述放疗计划信息为临床已执行的病人放射治疗计划信息，包括射野参数，各器官及靶区勾画信息和剂量信息。
可选地，所述步骤2中，图像配准采取3D slicer软件的多模态图像刚性配准功能，具体包括以下步骤：
(2.1)将调整体素大小的MRI图像矩阵保存成.dcm图像，将MRI图像与CT图像导入3D slicer软件；
(2.2)选取General Registration模块，设置输入，选择CT为固定图像，将MRI配准到 CT上，输出，选取Rigid功能进行配准；
(2.3)将配准完成的MRI图像导出，默认为.nrrd文件，并用MATLAB软件读取处理。
可选地，所述步骤2中图像配准后，计算CT图像的掩模图像，将MRI图像与CT图像掩模之外区域统一设置为0。
可选地，所述步骤3中建立网络前对训练集的MRI图像和CT图像进行数据增强，所述增强方式包括选取水平、垂直翻转和旋转。
可选地，所述步骤3建立网络前对MRI图像和CT图像分别进行归一化处理，所述MRI体素强度值映射到[-1,1]范围内。
可选地，所述步骤3中，采用的深度卷积神经网络包括全卷积网络、U-net、条件合成对抗网络。
可选地，所述步骤4中，使用关联模型预测患者的伪CT图像的具体步骤为：
(4.1)导入测试集的MRI文件；
(4.2)导入模型权重，计算该权重下的模型预测的伪CT；
(4.3)输出测试集所有病人的伪CT，保存到硬盘。
本申请还提供一种基于深度卷积神经网络的伪CT应用，采用所述的一种基于深度卷积神经网络的伪CT合成方法，将该方法预测的伪CT用于临床剂量计算。
可选地，所述方法包括如下步骤：
(A)导入新病人MRI图像，利用所述关联模型，预测伪CT图像；
(B)将伪CT图像放入计划系统，保持射野参数与原计划一致，对伪CT进行剂量计算；
(C)将伪CT剂量分布与真实CT剂量分布进行比较，计算平均绝对误差值，伽玛通过率评价指标值；
(D)统计多个病人的评价指标值，若所有病人伪CT剂量分布在不同区域下的平均绝对误差均小于1％，则判定该伪CT剂量分布与真实剂量分布误差较小，该伪CT可用于临床计算。
3.有益效果
与现有技术相比，本申请提供的基于深度卷积神经网络的伪CT合成方法及使用方法的有益效果在于：
本申请提供的基于深度卷积神经网络的伪CT合成方法，通过利用深度卷积神经网络学习MR图像和CT图像之间的映射关系，利用这种映射关系实现MR图像到CT图像的转换，因此利用MR图像实现伪CT的合成。
本申请对MR序列没有限制，能建立任意MR序列图像与CT图像的映射模型。
本申请能实现MR到CT的端到端的变换，快速生成伪CT，节约时间。
本申请使用深度学习的方法，合成的伪CT更加精确。
附图说明
图1为本申请基于深度卷积神经网络的伪CT的合成方法流程示意图；
图2为本申请中深度卷积神经网络cGAN的网络流程示意图；
图3为本申请中深度卷积神经网络生成的伪CT与真实CT的比较示意图；
图4为本申请利用伪CT计算的剂量分布与真实剂量分布的比较示意图。
具体实施方式
在下文中，将参考附图对本申请的具体实施例进行详细地描述，依照这些详细的描述，所属领域技术人员能够清楚地理解本申请，并能够实施本申请。在不违背本申请原理的情况下，各个不同的实施例中的特征可以进行组合以获得新的实施方式，或者替代某些实施例中的某些特征，获得其它优选的实施实施方式。
现有的采用的组织分割方法根据MRI体素的强度将MRI划分为几种组织(空气，骨头，软组织等)，这种划分方法简单快捷，但是分割精度严重影响剂量计算的准确性。
采用的图谱方法可以使用传统序列勾画MRI和CT图谱，但是需要MRI与CT间精确的配准算法，且对新病人的MRI需要重新计算图谱，较为复杂。
随着深度学习在各个领域的快速发展，各种卷积神经网络模型被应用到医学图像处理当中，使用卷积神经网络建立MRI图像与CT图像之间的映射模型，利用现有的MRI图像预测伪CT图像，将实现伪CT的快速、准确生成。
参见图1～4，本申请提供一种基于深度卷积神经网络的伪CT合成方法，所述方法包括如下步骤：
步骤1:收集病人MRI图像、CT图像与放疗计划信息；
步骤2:将所述MRI图像体素大小与所述CT图像体素大小调整一致，然后将MRI图像和CT图像进行图像配准；
步骤3:采用深度卷积神经网络建立所述配准的MRI图像与CT图像间的关联模型，并采用深度卷积神经网络学习MRI体素强度值与CT灰度值之间的映射关系；
步骤4:使用所述关联模型预测患者的伪CT图像。
进一步地，所述步骤1中，所述MRI图像和所述CT图像包括同一部位的MRI图像和CT图像，所述MRI图像和所述CT图像在规定时间间隔内采集；如腹部需考虑膀胱体积变化，在一小时内采集；头颈部在一天内采集。
所述放疗计划信息为临床已执行的病人放射治疗计划信息，包括射野参数，各器官及靶区勾画信息和剂量信息。
进一步地，所述步骤2中，图像配准采取3D slicer软件的多模态图像刚性配准功能，具体包括以下步骤：
(2.1)将调整体素大小的MRI图像矩阵保存成.dcm图像，将MRI图像与CT图像导入3D slicer软件；
(2.2)选取General Registration(BRAINS)模块，设置输入，选择CT为固定图像，将 MRI配准到CT上，输出，选取Rigid(6DOF)功能进行配准；
(2.3)将配准完成的MRI图像导出(默认为.nrrd文件)，默认为.nrrd文件，并用MATLAB 软件读取处理。
进一步地，所述步骤2中图像配准后，计算CT图像的掩模图像，将MRI图像与CT图像掩模之外区域统一设置为0。
进一步地，所述步骤3中建立网络前对训练集的MRI图像和CT图像进行数据增强，所述增强方式包括选取水平、垂直翻转和旋转。
进一步地，所述步骤3建立网络前对MRI图像和CT图像分别进行归一化处理，所述MRI体素强度值映射到[-1,1]范围内。
进一步地，所述步骤3中，采用的深度卷积神经网络包括全卷积网络(FullyConvolutional Network，FCN)、U-net、条件合成对抗网络(Conditional GenerativeAdversarial Network， cGAN)。
此处以条件合成对抗网络为例，模型建立过程包括以下步骤：
(3.1)将数据增强和归一化后的所有病人MR-CT图像划分为训练集和测试集；
(3.2)将训练集和测试集MR和CT矩阵分别保存到硬盘(如保存为.npy或.nii文件)；
(3.3)使用tensorflow、keras等框架建立cGAN的网络架构，确定网络初始参数及迭代次数等；
(3.4)导入训练集MR与CT文件，进行模型训练。
作为一种优选，所述步骤(3.3)中，确定cGAN的网络架构及参数的步骤为：
(3.3.1)根据cGAN网络架构及输入图像大小，使用tensorflow、keras等框架搭建网络；
(3.3.2)根据参考cGAN网络确定各卷积层filter的个数及大小，并确定各层的激活函数选择；
(3.3.3)根据参考cGAN网络，设置网络损失函数cGAN+λL1；
(3.3.4)根据训练数据类型设置合适的优化器(此处为Adam)及初始参数；
(3.3.5)根据本机显存大小设置每次进行网络训练的样本数量(batch)，batch设置为显存未溢出时的最大值；
(3.3.6)根据batch大小设置每次迭代中的batch个数，设置为输入图像全部用于训练一次时的数值；
(3.3.7)设置网络迭代次数。
作为一种优选，所述步骤(3.4)中，模型训练过程中，设置在训练完成时保存网络权重到硬盘，如每迭代3次保存一次权重。
进一步地，所述步骤4中，使用关联模型预测患者的伪CT图像的具体步骤为：
(4.1)导入测试集的MRI文件；
(4.2)导入模型权重，计算该权重下的模型预测的伪CT；
(4.3)输出测试集所有病人的伪CT，保存到硬盘(如npy文件)。
本申请还提供一种基于深度卷积神经网络的伪CT应用，采用所述的一种基于深度卷积神经网络的伪CT合成方法，将该方法预测的伪CT用于临床剂量计算。
进一步地，包括如下步骤：
(A)导入新病人MRI图像，利用所述关联模型，预测伪CT图像；
(B)将伪CT图像放入计划系统，保持射野参数与原计划一致，对伪CT进行剂量计算；
(C)将伪CT剂量分布与真实CT剂量分布进行比较，计算平均绝对误差值，伽玛通过率评价指标值；
(D)统计多个病人的评价指标值，若所有病人伪CT剂量分布在不同区域下的平均绝对误差均小于1％，则判定该伪CT剂量分布与真实剂量分布误差较小，该伪CT可用于临床计算。
实施例1：
本实例对鼻咽癌患者的伪CT进行生成，选取了45例鼻咽癌患者的MRI图像与CT图像用于模型训练与测试。
首先，使用MATLAB软件处理MRI图像，将MRI图像的体素大小调整为与CT图像体素大小一致。然后使用3D slicer软件对所有病人的MRI图像与CT图像进行刚性配准，导出配准完成的MRI图像，导入到MATLAB中，求取所有CT图像的掩模，使用掩模将所有MRI 图像与CT图像背景统一设置为0。将所有MRI体素与CT体素强度分布归一化到[-1,1]的范围内。选取30例病人作为训练集，将训练集MRI图像与CT图像进行数据增强，本实例选取的数据增强方式为水平/垂直翻转与旋转180°，将训练集MR与CT图像导出为.npy文件。
然后，打开编写好的cGAN代码，导入训练集.npy文件，设置优化器初始优化参数。本实例采用的GPU为Titan Xp(12GB显存，3840个CUDA核心)，根据本实例电脑显存大小设置batch大小为32，设置本实例每次迭代中的batch个数为1024，设置本实例迭代次数为 150。然后开始网络训练学习。
网络训练完成后，将15例测试集病例的MR图像输入网络，根据每次或每几次迭代之后的网络权重，计算网络预测的伪CT图像并保存(.npy文件)。使用MATLAB打开预测的伪CT，使用平均绝对误差(mean absolute error,MAE)计算伪CT与真实CT之间的偏差，平均绝对误差的计算公式如下：
其中||是取绝对值操作，是CT图像体素的实际灰度值，是预测伪CT的灰度值，n是单个患者的body内的所有CT的体素数量。
根据不同迭代预测的伪CT的平均绝对误差值，选取MAE值稳定时的迭代次数对应的模型为最终模型，在本实例中，选取的模型对应的迭代次数为第120次。使用结构相似性系数 (structural similarity index,SSIM)、峰值信噪比(peak signal-to-noiseratio,PSNR)等评价指标对生成伪CT的准确性进行评价，这两种指标的计算方式如下：
C1＝(k1Q)2,k1＝0.01
C2＝(k2Q)2,k2＝0.03
其中公式(2)中，μx与μy表示两种图像的均值，δx与δy表示两种图像的标准差，δxy表示两种图像的协方差，Q为两种图像的灰度值的最大值。
为比较伪CT与真实CT的图像相似度，本实例计算了测试集15例病人的平均MAE、SSIM 与PSNR等评价指标，如表1所示：
表1测试集伪CT与真实CT的图像质量比较
实施例2：
本实施例以上述实施例所述的基于深度卷积神经网络的伪CT很合成方法为基础，提供了该伪CT合成方法的具体应用方法，具体步骤为：
将实施例1中15例测试集生成的伪CT导入Eclipse计划系统进行剂量重计算，保持入射野等计划执行参数设置与临床实际计划一致，将伪CT的剂量分布与原计划剂量分布进行比较。本实施例采取的剂量分布的比较方式为平均误差(ME)、平均绝对误差(MAE)，伽马评价通过率(2mm/2％,3mm/3％)，如表2所示：
表1测试集基于伪CT重计算的剂量分布与真实计划剂量分布的比较
将本发明提出的方法用于临床剂量计算的结果显示，该伪CT的剂量分布与真实的剂量偏差小于1％，该伪CT可用于临床剂量计算。
尽管在上文中参考特定的实施例对本申请进行了描述，但是所属领域技术人员应当理解，在本申请公开的原理和范围内，可以针对本申请公开的配置和细节做出许多修改。本申请的保护范围由所附的权利要求来确定，并且权利要求意在涵盖权利要求中技术特征的等同物文字意义或范围所包含的全部修改。
Claims (10)
1.一种基于深度卷积神经网络的伪CT合成方法，其特征在于：所述方法包括如下步骤：
步骤1:收集病人MRI图像、CT图像与放疗计划信息；
步骤2:将所述MRI图像体素大小与所述CT图像体素大小调整一致，然后将MRI图像和CT图像进行图像配准；
步骤3:采用深度卷积神经网络建立所述配准的MRI图像与CT图像间的关联模型，并采用深度卷积神经网络学习MRI体素强度值与CT灰度值之间的映射关系；
步骤4:使用所述关联模型预测患者的伪CT图像。
2.如权利要求1所述的方法，其特征在于：所述步骤1中，所述MRI图像和所述CT图像包括同一部位的MRI图像和CT图像，所述MRI图像和所述CT图像在规定时间间隔内采集；
所述放疗计划信息为临床已执行的病人放射治疗计划信息，包括射野参数，各器官及靶区勾画信息和剂量信息。
3.如权利要求1所述的方法，其特征在于：所述步骤2中，图像配准采取3D slicer软件的多模态图像刚性配准功能，具体包括以下步骤：
(2.1)将调整体素大小的MRI图像矩阵保存成.dcm图像，将MRI图像与CT图像导入3Dslicer软件；
(2.2)选取General Registration模块，设置输入，选择CT为固定图像，将MRI配准到CT上，输出，选取Rigid功能进行配准；
(2.3)将配准完成的MRI图像导出，默认为.nrrd文件，并用MATLAB软件读取处理。
4.如权利要求3所述的方法，其特征在于：所述步骤2中图像配准后，计算CT图像的掩模图像，将MRI图像与CT图像掩模之外区域统一设置为0。
5.如权利要求1所述的方法，其特征在于：所述步骤3中建立网络前对训练集的MRI图像和CT图像进行数据增强，所述增强方式包括选取水平、垂直翻转和旋转。
6.如权利要求1所述的方法，其特征在于：所述步骤3建立网络前对MRI图像和CT图像分别进行归一化处理，所述MRI体素强度值映射到[-1,1]范围内。
7.如权利要求1所述的方法，其特征在于：所述步骤3中，采用的深度卷积神经网络包括全卷积网络、U-net、条件合成对抗网络。
8.如权利要求1所述的方法，其特征在于：所述步骤4中，使用关联模型预测患者的伪CT图像的具体步骤为：
(4.1)导入测试集的MRI文件；
(4.2)导入模型权重，计算该权重下的模型预测的伪CT；
(4.3)输出测试集所有病人的伪CT，保存到硬盘。
9.一种基于深度卷积神经网络的伪CT应用，其特征在于：采用所述的一种基于深度卷积神经网络的伪CT合成方法，将该方法预测的伪CT用于临床剂量计算。
10.如权利要求9所述的方法，其特征在于：所述方法包括如下步骤：
(A)导入新病人MRI图像，利用所述关联模型，预测伪CT图像；
(B)将伪CT图像放入计划系统，保持射野参数与原计划一致，对伪CT进行剂量计算；
(C)将伪CT剂量分布与真实CT剂量分布进行比较，计算平均绝对误差值，伽玛通过率评价指标值；
(D)统计多个病人的评价指标值，若所有病人伪CT剂量分布在不同区域下的平均绝对误差均小于1％，则判定该伪CT剂量分布与真实剂量分布误差较小，该伪CT可用于临床计算。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910773002.7A CN110464353A (zh) | 2019-08-21 | 2019-08-21 | 一种基于深度卷积神经网络的伪ct合成方法及应用 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910773002.7A CN110464353A (zh) | 2019-08-21 | 2019-08-21 | 一种基于深度卷积神经网络的伪ct合成方法及应用 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110464353A true CN110464353A (zh) | 2019-11-19 |
Family
ID=68513133
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910773002.7A Pending CN110464353A (zh) | 2019-08-21 | 2019-08-21 | 一种基于深度卷积神经网络的伪ct合成方法及应用 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110464353A (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111528846A (zh) * | 2020-04-30 | 2020-08-14 | 赤峰学院附属医院 | 口腔颅颌面的扫描设备及扫描方法、电子设备 |
| CN111528889A (zh) * | 2020-04-30 | 2020-08-14 | 赤峰学院附属医院 | 颅颌面状态的分析方法及装置、电子设备 |
| CN111553941A (zh) * | 2020-04-30 | 2020-08-18 | 赤峰学院附属医院 | 用户口腔全景视图的合成方法及装置、电子设备 |
| CN111583303A (zh) * | 2020-05-09 | 2020-08-25 | 江苏瑞尔医疗科技有限公司 | 基于mri图像生成伪ct图像的系统及方法 |
| CN111583356A (zh) * | 2020-05-13 | 2020-08-25 | 首都医科大学附属北京友谊医院 | 一种基于卷积神经网络的磁共振图像合成方法和装置 |
| CN111583218A (zh) * | 2020-04-30 | 2020-08-25 | 赤峰学院附属医院 | 用户颞下颌关节软硬组织的分析方法及装置、电子设备 |
| CN111784706A (zh) * | 2020-06-28 | 2020-10-16 | 广州柏视医疗科技有限公司 | 鼻咽癌原发肿瘤图像自动识别方法及系统 |
| CN113205566A (zh) * | 2021-04-23 | 2021-08-03 | 复旦大学 | 基于深度学习的腹部三维医学影像转换生成方法 |
| CN113487657A (zh) * | 2021-07-29 | 2021-10-08 | 广州柏视医疗科技有限公司 | 一种基于深度学习的模态转换方法 |
| CN113769282A (zh) * | 2021-10-11 | 2021-12-10 | 北京航空航天大学 | 机器人放射治疗设备剂量预测方法及装置 |
| CN114146329A (zh) * | 2021-12-07 | 2022-03-08 | 江苏省中医院 | 一种引入伽玛通过率优化目标的放射治疗计划优化系统 |
| CN114820730A (zh) * | 2022-03-08 | 2022-07-29 | 安徽慧软科技有限公司 | 一种基于伪ct的ct与cbct配准方法 |
| WO2023283795A1 (en) * | 2021-07-12 | 2023-01-19 | Shanghaitech University | Method for high-resolution image reconstruction |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1778275A (zh) * | 2004-11-19 | 2006-05-31 | 吴大可 | 自控动态立体定向放射治疗系统 |
| CN101015723A (zh) * | 2006-02-09 | 2007-08-15 | 吴大怡 | 机器人放射治疗系统 |
| CN105120953A (zh) * | 2013-04-18 | 2015-12-02 | 皇家飞利浦有限公司 | 具有实时磁共振监测的放射治疗系统 |
| CN107072595A (zh) * | 2013-12-31 | 2017-08-18 | 威斯康星州医药大学股份有限公司 | 基于多模态成像的自适应重计划 |
| CN107441637A (zh) * | 2017-08-30 | 2017-12-08 | 南方医科大学 | 调强放疗计划中三维剂量分布的预测方法及其应用 |
-
2019
- 2019-08-21 CN CN201910773002.7A patent/CN110464353A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1778275A (zh) * | 2004-11-19 | 2006-05-31 | 吴大可 | 自控动态立体定向放射治疗系统 |
| CN101015723A (zh) * | 2006-02-09 | 2007-08-15 | 吴大怡 | 机器人放射治疗系统 |
| CN105120953A (zh) * | 2013-04-18 | 2015-12-02 | 皇家飞利浦有限公司 | 具有实时磁共振监测的放射治疗系统 |
| CN107072595A (zh) * | 2013-12-31 | 2017-08-18 | 威斯康星州医药大学股份有限公司 | 基于多模态成像的自适应重计划 |
| CN107441637A (zh) * | 2017-08-30 | 2017-12-08 | 南方医科大学 | 调强放疗计划中三维剂量分布的预测方法及其应用 |
Non-Patent Citations (1)
| Title |
|---|
| XIAO HAN: "MR-based synthetic CT generation using a deep convolutional neural network method", 《MEDICAL PHYSICS》 * |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111528846B (zh) * | 2020-04-30 | 2021-05-14 | 赤峰学院附属医院 | 口腔颅颌面的扫描设备及扫描方法、电子设备 |
| CN111528889A (zh) * | 2020-04-30 | 2020-08-14 | 赤峰学院附属医院 | 颅颌面状态的分析方法及装置、电子设备 |
| CN111553941A (zh) * | 2020-04-30 | 2020-08-18 | 赤峰学院附属医院 | 用户口腔全景视图的合成方法及装置、电子设备 |
| CN111528846A (zh) * | 2020-04-30 | 2020-08-14 | 赤峰学院附属医院 | 口腔颅颌面的扫描设备及扫描方法、电子设备 |
| CN111583218A (zh) * | 2020-04-30 | 2020-08-25 | 赤峰学院附属医院 | 用户颞下颌关节软硬组织的分析方法及装置、电子设备 |
| CN111528889B (zh) * | 2020-04-30 | 2021-05-18 | 赤峰学院附属医院 | 颅颌面状态的分析方法及装置、电子设备 |
| CN111583303A (zh) * | 2020-05-09 | 2020-08-25 | 江苏瑞尔医疗科技有限公司 | 基于mri图像生成伪ct图像的系统及方法 |
| CN111583356A (zh) * | 2020-05-13 | 2020-08-25 | 首都医科大学附属北京友谊医院 | 一种基于卷积神经网络的磁共振图像合成方法和装置 |
| CN111784706A (zh) * | 2020-06-28 | 2020-10-16 | 广州柏视医疗科技有限公司 | 鼻咽癌原发肿瘤图像自动识别方法及系统 |
| CN113205566A (zh) * | 2021-04-23 | 2021-08-03 | 复旦大学 | 基于深度学习的腹部三维医学影像转换生成方法 |
| WO2023283795A1 (en) * | 2021-07-12 | 2023-01-19 | Shanghaitech University | Method for high-resolution image reconstruction |
| CN113487657A (zh) * | 2021-07-29 | 2021-10-08 | 广州柏视医疗科技有限公司 | 一种基于深度学习的模态转换方法 |
| CN113487657B (zh) * | 2021-07-29 | 2022-02-01 | 广州柏视医疗科技有限公司 | 一种基于深度学习的模态转换方法 |
| WO2023005186A1 (zh) * | 2021-07-29 | 2023-02-02 | 广州柏视医疗科技有限公司 | 一种基于深度学习的模态转换方法 |
| CN113769282A (zh) * | 2021-10-11 | 2021-12-10 | 北京航空航天大学 | 机器人放射治疗设备剂量预测方法及装置 |
| CN114146329A (zh) * | 2021-12-07 | 2022-03-08 | 江苏省中医院 | 一种引入伽玛通过率优化目标的放射治疗计划优化系统 |
| CN114820730A (zh) * | 2022-03-08 | 2022-07-29 | 安徽慧软科技有限公司 | 一种基于伪ct的ct与cbct配准方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110464353A (zh) | 一种基于深度卷积神经网络的伪ct合成方法及应用 | |
| Spadea et al. | Deep learning based synthetic‐CT generation in radiotherapy and PET: a review | |
| Cusumano et al. | Artificial Intelligence in magnetic Resonance guided Radiotherapy: Medical and physical considerations on state of art and future perspectives | |
| AU2017209046B2 (en) | Systems and methods for segmentation of intra-patient medical images | |
| CN111047594B (zh) | 肿瘤mri弱监督学习分析建模方法及其模型 | |
| Bahrami et al. | Comparison of different deep learning architectures for synthetic CT generation from MR images | |
| CN108815721B (zh) | 一种照射剂量确定方法及系统 | |
| US10925565B2 (en) | Machine-learning based contrast agent administration | |
| CN111462916B (zh) | 一种放疗计划危及器官剂量体积直方图的预测方法和装置 | |
| CN110288609B (zh) | 一种注意力机制引导的多模态全心脏图像分割方法 | |
| CN109242860A (zh) | 基于深度学习及权重空间集成的脑肿瘤图像分割方法 | |
| Xing et al. | Phase vector incompressible registration algorithm for motion estimation from tagged magnetic resonance images | |
| CN109272472A (zh) | 面向医用能谱ct图像的噪声及伪影消除方法 | |
| CN109859817A (zh) | 食管放射治疗计划中风险器官剂量学评估方法、评估系统 | |
| CN113674330A (zh) | 一种基于生成对抗网络的伪ct影像生成系统 | |
| US11514621B2 (en) | Low-dose image reconstruction method and system based on prior anatomical structure difference | |
| CN113674834A (zh) | 基于剂量分布预览系统的放疗靶区确立和修正方法 | |
| CN110270015B (zh) | 一种基于多序列MRI的sCT生成方法 | |
| CN115512110A (zh) | 一种涉及跨模态注意力机制的医学图像肿瘤分割方法 | |
| Zhao et al. | SARU: A self‐attention ResUNet to generate synthetic CT images for MR‐only BNCT treatment planning | |
| CN109671499B (zh) | 一种直肠毒性预测系统构建方法 | |
| Wang et al. | Deep transfer learning-based multi-modal digital twins for enhancement and diagnostic analysis of brain mri image | |
| Zhang et al. | Hierarchical organ-aware total-body standard-dose pet reconstruction from low-dose PET and CT images | |
| CN111888665B (zh) | 基于自适应对抗网络的三维剂量分布预测模型的构建方法 | |
| Lei et al. | Generative adversarial network for image synthesis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191119 |