CN113487657B - 一种基于深度学习的模态转换方法 - Google Patents
一种基于深度学习的模态转换方法 Download PDFInfo
- Publication number
- CN113487657B CN113487657B CN202110863457.5A CN202110863457A CN113487657B CN 113487657 B CN113487657 B CN 113487657B CN 202110863457 A CN202110863457 A CN 202110863457A CN 113487657 B CN113487657 B CN 113487657B
- Authority
- CN
- China
- Prior art keywords
- image
- layer
- source domain
- generator
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 34
- 238000013135 deep learning Methods 0.000 title claims abstract description 25
- 238000007408 cone-beam computed tomography Methods 0.000 claims abstract description 28
- 238000012549 training Methods 0.000 claims abstract description 20
- 238000012360 testing method Methods 0.000 claims abstract description 12
- 238000012795 verification Methods 0.000 claims abstract description 9
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 238000012805 post-processing Methods 0.000 claims abstract description 3
- 238000005070 sampling Methods 0.000 claims description 43
- 230000006870 function Effects 0.000 claims description 19
- 238000010606 normalization Methods 0.000 claims description 16
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 claims description 12
- 239000010931 gold Substances 0.000 claims description 9
- 229910052737 gold Inorganic materials 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 238000013434 data augmentation Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000005855 radiation Effects 0.000 claims description 2
- 230000001502 supplementing effect Effects 0.000 claims 1
- 238000001959 radiotherapy Methods 0.000 description 8
- 210000003484 anatomy Anatomy 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 230000000875 corresponding effect Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000265 homogenisation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000002247 constant time method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开了一种基于深度学习的模态转换方法，模态转换方法的配准方法包括以下步骤：步骤S1：采集测试病人的源域图像数据集，并预处理源域图像数据，源域图像为MR、CBCT或PET；步骤S2：构建基于深度学习的模态转换模型及训练模型，模态转换模型包括生成器模型及判别器模型；步骤S3：获取独立的测试数据，以验证模式输入在步骤S2中训练好的生成器模型，并直接生成伪CT图像；步骤S4：后处理伪CT图像。本发明的基于深度学习的模态转换方法，能够根据无监督学习从源域图像域生成CT图像域。
Description
技术领域
本发明要解决的技术问题是不同域转换问题，从非CT图像域转换到CT图像域。具体涉及放射治疗领域和图像生成领域。尤其涉及一种基于深度学习的模态转换方法。
背景技术
放射治疗是目前肿瘤治疗常用的治疗手段之一，在放射治疗设备上目前有较大的发展。特别是利用图像引导技术辅助判断肿瘤靶区区域，同时帮助剂量实施，提高了放射治疗的精度和效率。图像引导技术一般使用锥形束计算机断层扫描图像(CBCT图像)或者MR图像引导放射治疗中的人体摆位。由于扫描CBCT时人体接受剂量较低，导致存在图像质量较差存在伪影和噪声，无法直接于电子密度信息建立关系，因此不能够直接用于放射治疗中的剂量修正。同样MR图像也无法直接于电子密度信息建立关系。利用CBCT或MR图像合成伪CT图像能解决目前放射治疗中CBCT或MR图像存在的问题。
近年来，深度学习等人工智能技术在图像生成领域取得了巨大的进展，尤其是医学图像生成上，生成真实度远优于传统方法。然而，现有的基于U-Net网络结构作为生成器的深度学习源域图像生成伪CT方法，只关注图像网络感受野区域信息；判别器用传统的patch-GAN，也只关注patch-GAN网络感受野下局部的纹理信息；在生成器引入transformer网络结构能让生成器不仅仅关注图像网络感受野区域信息而且关注全局信息，在判别器引入Non-local模块能让判别器不仅能关注局部的纹理信息而且能关注全局纹理信息的真实度。
现有的基于pixel-to-pixel网络结构的深度学习源域图像生成伪CT方法，生成器是基于U-Net网络，只关注图像网络感受野区域信息；判别器是用传统的patch-GAN，也只关注patch-GAN网络感受野下局部的纹理信息；而这些局部信息间的依赖关系没有被提取。提取长距离块之间的依赖关系能够有效的提高生成伪CT的真实度，而伪CT和真实CT之间差距越小，越能够用于剂量计算，对减少剂量误差有重要的临床意义。
公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。
发明内容
本发明的目的在于提供一种基于深度学习的模态转换方法，其能够根据无监督学习从源域图像域生成CT图像域。
为实现上述目的，本发明提供了一种基于深度学习的模态转换方法，模态转换方法的配准方法包括以下步骤：步骤S1：采集测试病人的源域图像数据集，并预处理源域图像数据，源域图像为MR、CBCT或PET等；步骤S2：构建基于深度学习的模态转换模型及训练模型，模态转换模型包括生成器模型及判别器模型；步骤S3：获取独立的测试数据，以验证模式输入在步骤S2中训练好的生成器模型，并直接生成伪CT图像；步骤S4：后处理伪CT图像。
在一优选实施方式中，步骤S1中的预处理源域图像数据包括以下步骤：步骤S11：采集多中心数据集，首先收集放射治疗过程中的定位计划CT图像和源域图像；步骤S12：通过自适应直方图均匀化方法对步骤S11得到的源域图像进行去噪声和去伪影；步骤S13：通过传统的刚性配准预对齐源域图像和定位计划CT图像，再通过基于深度学习的形变配准方法配准源域图像和定位计划CT图像；步骤S14：通过阈值法分割定位计划CT图像，属于定位计划CT图像的身体内部结构的像素被赋值为1，不属于定位计划CT图像身体内部结构被赋值0，得到定位计划CT图像身体的掩膜图像；根据掩膜图像位置区域大小截取定位计划CT图像和源域图像；然后，在灰度域上，截断定位计划CT图像[-1000，4095]范围；步骤S15：对经过步骤S14得到的CT图像和源域图像用最大值最小值方法归一化。
在一优选实施方式中，步骤S2包括以下步骤：步骤S21：构造模态转换模型中的生成器genTransformer模型，首先，构建生成器genTransformer模型的基础模块的上采样卷积块，其包括顺序组成的卷积层、实例归一化层、带参数的激活层及池化层，同时上采样卷积块具有一个输入特征和一个输出特征；然后，构建生成器genTransformer模型的基础模块的下采样卷积块，其包括按顺序组成的反卷积层、卷积层、实例归一化层及带参数的激活层，输入来自一个下采样卷积块上一层的父节点上采样特征和一个上采样卷积块的输出特征，输出下采样卷积块的上采样特征；同层的下采样卷积块和同层的上采样卷积块通过短连接相连接；并在最下面的上采样卷积块模块和上采样卷积块之间的经过VTransformer短连接，VTransformer用以提取特征图之间的依赖关系；步骤S22：构造生成器genTransformer模型中的VTransformer模块，把用卷积神经网络(Convolutional NeuralNetwork，CNN)提取到的特征图输入VTransformer模块后，特征图被切分成若干个规则的块，所有的规则块通过线性映射层后，再经过位置嵌入层，编码位置信息特征图；再经过Transformer Encoder模块，Transformer Encoder模块由十个基础模块组成，基础模块按照特征图输入顺序包括层归一化、多头自注意力模块、层归一化以及多层感知机层；步骤S23：构造模态转换模型中的判别器模型，首先，构建判别器模型的基础下采样模块，其包括按顺序组成的卷积层、实例归一化层、带参数的激活层及池化层，同时基础下采样模块有一个输入特征和一个输出特征；判别器模型包括四个基础下采样模块，在第三个基础下采样模块和第四个基础下采样模块之间引入非局部注意力模块；步骤S24：构建完生成器和判别器后，我们构建训练网络框架；先训练生成器，将源域图像输入生成器，得到伪CT图像，图像值域范围是在[-1,1]；然后训练判别器，首先将源域图像和真实CT图像同时按不同通道输入判别器，此时判别器对应的金标像素块为1，其次将源域图像和伪CT图像输入判别器，此时伪CT图像是值域范围归一化到[0，1]，此时判别器对应的金标块像素值为0；步骤S25：将步骤S24中定义的输入数据进行数据增广，数据增广的增广方法包括：i.对源域图像随机加入高斯噪声；ii.对源域图像和CT图像同时进行正负15个像素内的平移；iii.对源域图像和CT图像同时进行正负30°旋转；v.同时对CT图像和源域图像进行随机翻转，而且随机翻转包括三个不同的维度翻转；步骤S26：训练判别器时，计算生成器输出特征map和金标之间的损失函数，损失函数具体计算如下：
其中n是生成器输出层的特征个数，pred是生成器的输出，gt是金标图像，当gt的值为True，输入源域图像和真实CT；当gt的值为False，输入源域图像和伪CT图像；步骤S27：训练生成器时，计算源域图像和真实CT图像之间的损失函数，损失函数具体计算如下：
L＝α*L1+β*LSSIM+γ*Lgan
L1＝1/N*|T伪ct-Tct+∈|
Lgan＝1/n*(pred-gt)2
其中N是图像元素大小个数，T伪ct是伪CT图像，Tct是真实CT图像；μx是伪CT图像的平均值，μy是CT图像的平均值；σxy是真实CT图像和伪CT图像的协方差，σx是伪CT图像方差，σy是真实CT图像方差，C1、C2是常数值；α、β、γ是损失函数之间的平衡参数；∈是一个很小的常数值平衡值；步骤S28：训练若干次后，当验证集上，L1评估函数相似度损失下降到目标值后停止训练，保存生成器模型。
在一优选实施方式中，步骤S3包括以下步骤：步骤S31：获取独立的测试病人的源域图像数据，按照步骤S1获取测试病人处理后的源域图像，以验证模式输入步骤S2中训练好的生成器模型，并输出伪CT图像。
在一优选实施方式中，步骤S4包括以下步骤：步骤S41：将生成器生成的伪CT图像映射至[-1000,4095]，将伪CT图像补充到CT的原始尺寸大小。
与现有技术相比，本发明的一种基于深度学习的模态转换方法具有以下有益效果：在训练模型过程中，加入了SSIM损失函数，能够保证伪CT解剖结构保持不变性，避免出现伪影的现象；在网络模型结构中，加入了实例归一化，能够加速配准网络收敛，能避免网络出现模式崩溃现象；相对于传统方法，本方法在生成器中引入transformer模块，能够提取特征块之间的依赖关系，比之前的方法更能捕捉解剖结构之间的关系，能保证生成的伪CT解剖结构真实性，有效去除噪声和伪影。相对于传统方法，本方法在判别器中引入Non-local模块，使判别器更关注于前景区域，能有效的改善伪CT的纹理信息真实程度。
附图说明
图1是根据本发明一实施方式的模态转换方法的流程示意图；
图2是根据本发明一实施方式的模态转换方法的深度学习生成器网络结构示意图。
图3是根据本发明一实施方式的生成器的VTransformer网络结构示意图。
图4是根据本发明一实施方式的模态转换的判别器网络示意图。
具体实施方式
下面结合附图，对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。
除非另有其它明确表示，否则在整个说明书和权利要求书中，术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分，而并未排除其它元件或其它组成部分。
如图1所示，根据本发明优选实施方式的一种基于深度学习的模态转换方法，自动模态转换方法的配准方法包括以下步骤：
在一些实施方式中，步骤S1包括采集数据集，并预处理图像数据，源域图像为MR、CBCT或PET等。步骤S1包括以下步骤：
步骤S11：采集多中心数据集，首先收集放射治疗过程定位计划CT图像和相同测试病人治疗一周后第一次扫描的CBCT图像。
步骤S12：通过自适应直方图均匀化方法对步骤S11得到的CBCT图像进行去噪声和去伪影。
步骤S13：通过传统的刚性配准预对齐CBCT图像和CT图像，再通过基于深度学习的形变配准方法配准CBCT图像和CT图像，该方法是利用无监督方法学习CBCT图像和CT图像差异，然后网络直接生成变形场，作用变形场至CBCT图像，得到与CT图像配准后的CBCT图像。
步骤S14：通过阈值法分割CT图像，属于CT图像身体(body)内部结构的像素被赋值为1，不属于CT图像身体内部结构被赋值0，得到CT身体掩膜图像；根据掩膜图像位置区域大小截取CT图像和CBCT图像。然后，在灰度域上，截断CT图像和CBCT图像灰度值[-1000,4095]范围。
步骤S15：对经过步骤S14得到CT图像和CBCT图像用最大值最小值归一化。其中最大最小值归一化具体计算公式，min是最小值函数，max是最大值公式：
在一些实施方式中，步骤S2包括构建基于深度学习的模态转换模型，训练模型。步骤S2包括以下步骤：
步骤S21：如图2所示，构造模态转换模型中生成器genTransformer模型，首先，构建其基础模块上采样卷积块，是由卷积层、实例归一化层、带参数的激活层、池化层按顺序组成，同时其有一个输入和一个输出。然后，构建其基础模块下采样卷积块，是由反卷积层、卷积层、实例归一化层、带参数的激活层按顺序组成，输入来自其上一层父节点上采样特征和兄弟节点的特征，输出上采样特征。一共有四个上采样卷积块模块和三个下采样卷积块模块，他们通过短连接相连接。在最下面的两个层上采样卷积块模块短连接之间的特征经过VTransformer，其VTransformer提取特征图之间的依赖关系。
步骤S22：如图3所示，构造生成器genTransformer模型中的VTransformer模块，把用卷积神经网络(Convolutional Neural Network，CNN)提取到的特征图输入VTransformer模块后，特征图被切分成若干个规则的块，所有的规则块通过线性映射层后，再经过位置嵌入层，编码位置信息特征图。再经过Transformer Encoder模块，TransformerEncoder模块由10个基础模块组成，基础模块按照特征图输入顺序包括层归一化、多头自注意力模块、层归一化、多层感知机层。
步骤S23：如图4所示，构造模态转换模型中的判别器模型，首先，构建其基础下采样模块，是由卷积层、实例归一化层、带参数的激活层、池化层按顺序组成，同时其有一个输入和一个输出；判别器模型由四个基础下采样模块，其中在第四个和第三个基础下采样模块之间引入非局部注意力模块(Non-local)。
步骤S24：构建完生成器和判别器后，我们构建训练网络框架；先训练生成器，将CBCT输入生成器，得到伪CT图像，图像值域范围是在[-1，1]；然后训练判别器，首先将CBCT和真实CT输入判别器，此时判别器对应的金标像素块为1，其次将CBCT和伪CT图像输入判别器，此时伪CT值域范围归一化到[0，1]，此时判别器对应的金标块像素值为0。
步骤S25：将步骤S24中定义的输入数据进行数据增广，其增广方法包括：i.对CBCT图像随机加入高斯噪声；ii.对CBCT和CT图像同时进行正负15个像素内的平移；iii.对CBCT和CT图像同时进行正负30°旋转；v.同时对CT和CBCT图像进行随机翻转，而且可对三个不同的维度翻转；
步骤S26：训练判别器时，计算生成器输出特征map和金标之间的损失函数，损失函数具体计算如下：
其中n是生成器输出层的特征个数，pred是生成器的输出，gt是金标图像，当gt的值为True，输入源域图像和真实CT；当gt的值为False，输入源域图像和伪CT图像。
步骤S27：训练生成器时，计算CBCT图像和CT图像之间的损失函数，损失函数具体计算如下：
L＝α*L1+β*LSSIM+γ*Lgan
L1＝1/N*|T伪ct-Tct+∈|
Lgan＝1/n*(pred-gt)2
其中N是图像元素大小个数，T伪ct是伪CT图像，Tct是真实CT图像；μx是伪CT图像的平均值，μy是CT图像的平均值；σxy是真实CT图像和伪CT图像的协方差，σx是伪CT图像方差，σy是真实CT图像方差，C1、C2是常数值。α、β、γ是损失函数之间的平衡参数；∈是一个很小的常数值平衡值。
步骤S28：训练若干次后，当验证集上，L1评估函数相似度损失下降到目标值后停止训练，保存生成器模型；
在一夕实施方式中，步骤S3中包括以下步骤：
步骤S31：获取独立的测试病人CBCT图像数据，按照步骤S1获取测试病人处理后的CBCT图像，以验证模式输入步骤S2中训练好的生成器模型，输出伪CT。
在一夕实施方式中，步骤S4中包括以下步骤：
步骤S41：将生成器生成的伪CT图像映射至[-1000，4095]，将伪CT补充到CT的原始尺寸大小。
综上所述，本发明的基于一种基于深度学习的模态转换方法具有以下优点：在训练模型过程中，加入了SSIM损失函数，能够保证伪CT解剖结构保持不变性，避免出现伪影的现象；在网络模型结构中，加入了实例归一化，能够加速配准网络收敛，能避免网络出现模式崩溃现象；相对于传统方法，本方法在生成器中引入transformer模块，能够提取特征块之间的依赖关系，比之前的方法更能捕捉解剖结构之间的关系，能保证生成的伪CT解剖结构真实性，有效去除噪声和伪影。相对于传统方法，本方法在判别器中引入Non-local模块，使判别器更关注于前景区域，能有效的改善伪CT的纹理信息真实程度。
前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。
Claims (4)
1.一种基于深度学习的模态转换方法，其特征在于，所述模态转换方法的配准方法包括以下步骤：
步骤S1：采集测试病人的源域图像数据集，并预处理所述源域图像数据，所述源域图像为MR、CBCT或PET；
步骤S2：构建基于深度学习的模态转换模型及训练模型，所述模态转换模型包括生成器模型及判别器模型，所述步骤S2包括以下步骤：
步骤S21：构造所述模态转换模型中的生成器genTransformer模型，首先，构建所述生成器genTransformer模型的基础模块的上采样卷积块，其包括顺序组成的卷积层、实例归一化层、带参数的激活层及池化层，同时所述上采样卷积块具有一个输入特征和一个输出特征；然后，构建所述生成器genTransformer模型的基础模块的下采样卷积块，其包括按顺序组成的反卷积层、卷积层、实例归一化层及带参数的激活层，输入来自一个所述下采样卷积块上一层的父节点上采样特征和一个所述上采样卷积块的输出特征，输出所述下采样卷积块的上采样特征；同层的所述下采样卷积块和同层的所述上采样卷积块通过短连接相连接；并在最下面的上采样卷积块模块和上采样卷积块之间的经过VTransformer短连接，所述VTransformer用以提取特征图之间的依赖关系；
步骤S22：构造所述生成器genTransformer模型中的VTransformer模块，把用卷积神经网络提取到的特征图输入VTransformer模块后，特征图被切分成若干个规则的块，所有的规则块通过线性映射层后，再经过位置嵌入层，编码位置信息特征图；再经过TransformerEncoder模块，所述Transformer Encoder模块由十个基础模块组成，基础模块按照特征图输入顺序包括层归一化、多头自注意力模块、层归一化以及多层感知机层；
步骤S23：构造所述模态转换模型中的判别器模型，首先，构建所述判别器模型的基础下采样模块，其包括按顺序组成的卷积层、实例归一化层、带参数的激活层及池化层，同时所述基础下采样模块有一个输入特征和一个输出特征；所述判别器模型包括四个基础下采样模块，在第三个所述基础下采样模块和第四个所述基础下采样模块之间引入非局部注意力模块；
步骤S24：构建完生成器和判别器后，我们构建训练网络框架；先训练所述生成器，将所述源域图像输入所述生成器，得到所述伪CT图像，图像值域范围是在[-1，1]；然后训练所述判别器，首先将所述源域图像和真实CT图像同时按不同通道输入所述判别器，此时所述判别器对应的金标像素块为1，其次将源域图像和伪CT图像输入所述判别器，此时所述伪CT图像是值域范围归一化到[0，1]，此时所述判别器对应的金标块像素值为0；
步骤S25：将所述步骤S24中定义的输入数据进行数据增广，所述数据增广的增广方法包括：i.对所述源域图像随机加入高斯噪声；ii.对所述源域图像和所述CT图像同时进行正负15个像素内的平移；iii.对所述源域图像和所述CT图像同时进行正负30°旋转；v.同时对所述CT图像和所述源域图像进行随机翻转，而且所述随机翻转包括三个不同的维度翻转；
步骤S26：训练所述判别器时，计算所述生成器输出特征map和金标之间的损失函数，损失函数具体计算如下：
其中n是生成器输出层的特征个数，pred是生成器的输出，gt是金标图像，当gt的值为True，输入所述源域图像和所述真实CT；当gt的值为False，输入所述源域图像和所述伪CT图像；
步骤S27：训练所述生成器时，计算所述源域图像和所述真实CT图像之间的损失函数，损失函数具体计算如下：
L＝α*L1+β*LSSIM+γ*Lgan
L1＝1/N*|T伪ct-Tct+∈|
Lgan＝1/n*(pred-gt)2
其中N是图像元素大小个数，T伪ct是伪CT图像，Tct是真实CT图像；μx是伪CT图像的平均值，μy是CT图像的平均值；σxy是真实CT图像和伪CT图像的协方差，σx是伪CT图像方差，σy是真实CT图像方差，C1、C2是常数值；α、β、γ是损失函数之间的平衡参数；∈是一个很小的常数值平衡值；及
步骤S28：训练若干次后，当验证集上，L1评估函数相似度损失下降到目标值后停止训练，保存生成器模型；
步骤S3：获取独立的测试数据，以验证模式输入在所述步骤S2中训练好的所述生成器模型，并直接生成伪CT图像；以及
步骤S4：后处理所述伪CT图像。
2.根据权利要求1所述的基于深度学习的模态转换方法，其特征在于，所述步骤S1中的所述预处理源域图像数据包括以下步骤：
步骤S11：采集多中心数据集，首先收集放射治疗过程中的定位计划CT图像和源域图像；
步骤S12：通过自适应直方图均匀化方法对所述步骤S11得到的所述源域图像进行去噪声和去伪影；
步骤S13：通过传统的刚性配准预对齐所述源域图像和所述定位计划CT图像，再通过基于深度学习的形变配准方法配准所述源域图像和所述定位计划CT图像；
步骤S14：通过阈值法分割所述定位计划CT图像，属于所述定位计划CT图像的身体内部结构的像素被赋值为1，不属于所述定位计划CT图像身体内部结构被赋值0，得到所述定位计划CT图像身体的掩膜图像；根据所述掩膜图像位置区域大小截取所述定位计划CT图像和所述源域图像；然后，在灰度域上，截断所述定位计划CT图像[-1000，4095]范围；
步骤S15：对经过所述步骤S14得到的CT图像和源域图像用最大值最小值方法归一化。
3.根据权利要求1所述的基于深度学习的模态转换方法，其特征在于，所述步骤S3包括以下步骤：
步骤S31：获取独立的测试病人的源域图像数据，按照所述步骤S1获取所述测试病人处理后的源域图像，以验证模式输入所述步骤S2中训练好的生成器模型，并输出伪CT图像。
4.根据权利要求1所述的基于深度学习的模态转换方法，其特征在于，所述步骤S4包括以下步骤：
步骤S41：将所述生成器生成的所述伪CT图像映射至[-1000，4095]，将所述伪CT图像补充到CT的原始尺寸大小。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110863457.5A CN113487657B (zh) | 2021-07-29 | 2021-07-29 | 一种基于深度学习的模态转换方法 |
| PCT/CN2022/075743 WO2023005186A1 (zh) | 2021-07-29 | 2022-02-10 | 一种基于深度学习的模态转换方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110863457.5A CN113487657B (zh) | 2021-07-29 | 2021-07-29 | 一种基于深度学习的模态转换方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113487657A CN113487657A (zh) | 2021-10-08 |
| CN113487657B true CN113487657B (zh) | 2022-02-01 |
Family
ID=77943490
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110863457.5A Active CN113487657B (zh) | 2021-07-29 | 2021-07-29 | 一种基于深度学习的模态转换方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN113487657B (zh) |
| WO (1) | WO2023005186A1 (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113487657B (zh) * | 2021-07-29 | 2022-02-01 | 广州柏视医疗科技有限公司 | 一种基于深度学习的模态转换方法 |
| CN114266926A (zh) * | 2021-12-17 | 2022-04-01 | 深圳先进技术研究院 | 一种基于平扫ct的物质分解方法、智能终端及存储介质 |
| CN114820730B (zh) * | 2022-03-08 | 2023-04-07 | 安徽慧软科技有限公司 | 一种基于伪ct的ct与cbct配准方法 |
| CN114862662A (zh) * | 2022-04-25 | 2022-08-05 | 北京天智航医疗科技股份有限公司 | 肘关节旋转轴心识别模型的训练方法、识别方法及装置 |
| CN116246025B (zh) * | 2023-04-28 | 2023-07-11 | 中南大学 | 基于三维建模和mr图像的ct图像合成方法及成像方法 |
| CN116580121B (zh) * | 2023-05-18 | 2024-04-09 | 北京元跃科技有限公司 | 一种基于深度学习的单张绘画生成2d模型的方法及系统 |
| CN116402865B (zh) * | 2023-06-06 | 2023-09-15 | 之江实验室 | 一种利用扩散模型的多模态影像配准方法、装置和介质 |
| CN116433730B (zh) * | 2023-06-15 | 2023-08-29 | 南昌航空大学 | 一种联合可变形卷积与模态转换的图像配准方法 |
| CN117094888B (zh) * | 2023-07-31 | 2024-06-28 | 西北工业大学深圳研究院 | 图像超分辨方法、图像超分辨装置、电子设备及存储介质 |
| CN117133059B (zh) * | 2023-08-18 | 2024-03-01 | 北京科技大学 | 一种基于局部注意力机制的人脸活体检测方法及装置 |
| CN116942317B (zh) * | 2023-09-21 | 2023-12-26 | 中南大学 | 一种手术导航定位系统 |
| CN117437146B (zh) * | 2023-10-10 | 2024-09-13 | 南京大学 | 基于CNN-Transformer的DAS去噪方法 |
| CN118471237A (zh) * | 2024-05-15 | 2024-08-09 | 北京和人广智科技有限公司 | 音频数字水印处理方法、音频数字水印添加和提取方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110464353A (zh) * | 2019-08-21 | 2019-11-19 | 南方医科大学 | 一种基于深度卷积神经网络的伪ct合成方法及应用 |
| CN111080680A (zh) * | 2019-12-29 | 2020-04-28 | 苏州体素信息科技有限公司 | 一种面向患者的三维胸部器官重建方法和系统 |
| CN112102385A (zh) * | 2020-08-20 | 2020-12-18 | 复旦大学 | 一种基于深度学习的多模态肝脏磁共振影像配准系统 |
| CN112132878A (zh) * | 2020-11-03 | 2020-12-25 | 贵州大学 | 基于卷积神经网络的端到端大脑核磁共振图像配准方法 |
| CN112419173A (zh) * | 2020-11-04 | 2021-02-26 | 深圳先进技术研究院 | 一种由pet图像生成ct图像的深度学习框架和方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11756160B2 (en) * | 2018-07-27 | 2023-09-12 | Washington University | ML-based methods for pseudo-CT and HR MR image estimation |
| US10984902B2 (en) * | 2018-09-28 | 2021-04-20 | Varian Medical Systems International Ag | Methods and systems for adaptive radiotherapy treatment planning using deep learning engines |
| CN114072845A (zh) * | 2019-06-06 | 2022-02-18 | 医科达有限公司 | 使用具有可变形层的CycleGAN的SCT图像生成 |
| CN110675461A (zh) * | 2019-09-03 | 2020-01-10 | 天津大学 | 一种基于无监督学习的ct图像恢复方法 |
| CN112802046B (zh) * | 2021-01-28 | 2022-06-14 | 华南理工大学 | 基于深度学习从多序列mr中生成伪ct的影像生成系统 |
| CN113012086B (zh) * | 2021-03-22 | 2024-04-16 | 上海应用技术大学 | 一种跨模态图像的合成方法 |
| CN113487657B (zh) * | 2021-07-29 | 2022-02-01 | 广州柏视医疗科技有限公司 | 一种基于深度学习的模态转换方法 |
-
2021
- 2021-07-29 CN CN202110863457.5A patent/CN113487657B/zh active Active
-
2022
- 2022-02-10 WO PCT/CN2022/075743 patent/WO2023005186A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110464353A (zh) * | 2019-08-21 | 2019-11-19 | 南方医科大学 | 一种基于深度卷积神经网络的伪ct合成方法及应用 |
| CN111080680A (zh) * | 2019-12-29 | 2020-04-28 | 苏州体素信息科技有限公司 | 一种面向患者的三维胸部器官重建方法和系统 |
| CN112102385A (zh) * | 2020-08-20 | 2020-12-18 | 复旦大学 | 一种基于深度学习的多模态肝脏磁共振影像配准系统 |
| CN112132878A (zh) * | 2020-11-03 | 2020-12-25 | 贵州大学 | 基于卷积神经网络的端到端大脑核磁共振图像配准方法 |
| CN112419173A (zh) * | 2020-11-04 | 2021-02-26 | 深圳先进技术研究院 | 一种由pet图像生成ct图像的深度学习框架和方法 |
Non-Patent Citations (2)
| Title |
|---|
| CT synthesis from MRI using multi-cycle GAN for head-and-neck radiation therapy;Yanxia Liu et al.;《Computerized Medical Imaging and Graphics》;20210626;全文 * |
| 融合残差和对抗网络的跨模态PET图像合成方法;肖晨晨 等;《计算机工程与应用》;20210223;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023005186A1 (zh) | 2023-02-02 |
| CN113487657A (zh) | 2021-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113487657B (zh) | 一种基于深度学习的模态转换方法 | |
| CN110827216B (zh) | 图像去噪的多生成器生成对抗网络学习方法 | |
| CN112017198B (zh) | 基于自注意力机制多尺度特征的右心室分割方法及装置 | |
| KR20190137913A (ko) | 딥 컨볼루션 신경망을 사용하는 의료 이미징을 위한 선량 감소 | |
| WO2022001237A1 (zh) | 鼻咽癌原发肿瘤图像自动识别方法及系统 | |
| CN115496771A (zh) | 一种基于脑部三维mri图像设计的脑肿瘤分割方法 | |
| CN113539402B (zh) | 多模态影像自动勾画模型迁移方法 | |
| CN112598649B (zh) | 基于生成对抗网络的2d/3d脊椎ct非刚性配准方法 | |
| CN113362310A (zh) | 一种基于无监督学习的医学图像肝脏分割方法 | |
| CN113706409A (zh) | 基于人工智能的cbct图像增强方法、装置和存储介质 | |
| CN112488971A (zh) | 基于空间注意力机制和深度卷积生成对抗网络的医学图像融合方法 | |
| CN115018728A (zh) | 基于多尺度变换和卷积稀疏表示的图像融合方法及系统 | |
| KR20220071554A (ko) | 의료 영상 융합 시스템 | |
| CN108038840B (zh) | 一种图像处理方法、装置、图像处理设备及存储介质 | |
| CN116563533A (zh) | 基于目标位置先验信息的医学图像分割方法及系统 | |
| CN115830163A (zh) | 基于深度学习的确定性引导的渐进式医学图像跨模态生成方法和装置 | |
| CN112150564A (zh) | 基于深度卷积神经网络医学图像融合算法 | |
| CN117475268A (zh) | 一种基于sgdd gan的多模态医学图像融合方法 | |
| CN115410032A (zh) | 基于自监督学习的octa图像分类结构训练方法 | |
| CN113743500A (zh) | 一种基于人工智能的超声图像改进方法 | |
| CN113744250A (zh) | 基于U-Net的臂丛神经超声图像分割方法、系统、介质和装置 | |
| TWI716762B (zh) | 一種利用神經網路去除牙齒影像雜訊之方法 | |
| CN112967295A (zh) | 一种基于残差网络和注意力机制的图像处理方法及系统 | |
| Wang et al. | MAFUNet: Multi-Attention Fusion Network for Medical Image Segmentation | |
| CN114155195B (zh) | 基于深度学习的脑肿瘤分割质量评估方法、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |