CN112085687B - 一种基于细节增强的t1到stir影像转换的方法 - Google Patents
一种基于细节增强的t1到stir影像转换的方法 Download PDFInfo
- Publication number
- CN112085687B CN112085687B CN202010949798.XA CN202010949798A CN112085687B CN 112085687 B CN112085687 B CN 112085687B CN 202010949798 A CN202010949798 A CN 202010949798A CN 112085687 B CN112085687 B CN 112085687B
- Authority
- CN
- China
- Prior art keywords
- image
- stir
- data
- training
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000003756 stirring Methods 0.000 title claims abstract description 35
- 230000003042 antagnostic effect Effects 0.000 claims abstract description 35
- 238000013528 artificial neural network Methods 0.000 claims abstract description 34
- 208000009905 Neurofibromatoses Diseases 0.000 claims abstract description 15
- 201000004931 neurofibromatosis Diseases 0.000 claims abstract description 15
- 238000012360 testing method Methods 0.000 claims abstract description 13
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 238000003062 neural network model Methods 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 71
- 239000011159 matrix material Substances 0.000 claims description 45
- 230000006870 function Effects 0.000 claims description 33
- 238000006243 chemical reaction Methods 0.000 claims description 16
- 230000004913 activation Effects 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 8
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 6
- 238000013434 data augmentation Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 5
- 239000006185 dispersion Substances 0.000 claims description 3
- 238000004880 explosion Methods 0.000 claims description 3
- 238000004806 packaging method and process Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 230000003190 augmentative effect Effects 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 claims description 2
- 238000010276 construction Methods 0.000 claims description 2
- 230000007423 decrease Effects 0.000 claims description 2
- 230000003247 decreasing effect Effects 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 description 9
- 230000003902 lesion Effects 0.000 description 6
- 206010028980 Neoplasm Diseases 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000002595 magnetic resonance imaging Methods 0.000 description 5
- 230000009467 reduction Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 125000004435 hydrogen atom Chemical group [H]* 0.000 description 2
- 238000002075 inversion recovery Methods 0.000 description 2
- 125000003473 lipid group Chemical group 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 201000004404 Neurofibroma Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 208000028231 connective and soft tissue neoplasm Diseases 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- 230000009885 systemic effect Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20228—Disparity calculation for image-based rendering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于细节增强的T1到STIR影像转换的方法，包括以下步骤：对获取的神经纤维瘤数据进行预处理，构建基于T1影像转STIR影像的生成对抗神经网络，设置对抗神经网络模型超参数，并将预处理后的数据以mini‑batch的形式导入对抗神经网络中进行训练，直至对抗神经网络收敛达到预定条件，其中，输入预处理后的测试数据至训练好的对抗神经网络中进行转换而得到残差模板，将残差模板和T1影像融合得到合成的STIR影像，并评估合成的STIR影像，该转换方法通过训练残差模板，能够更大程度的还原影像的细节和特征，从而提升影像细节的转换效果。
Description
技术领域
本发明涉及医学图像转换技术领域，尤其涉及一种基于细节增强的T1到STIR影像转换的方法。
背景技术
磁共振成像(MRI，Magnetic Resonance Imaging)是利用氢质子含量来成像，人体内氢质子含量最多的就是水，所以可以大致理解为水成像。先前的研究表明，MRI可用于评估全身的肿瘤病变，包括骨骼和软组织肿瘤和神经纤维瘤等。而MRI本身又有不同的成像方法，如T1（T1-weighted imaging，T1加权成像），T2(T2-weighted image,T2加权成像),STIR(Short TI Inversion-Recovery，短时间反转恢复）等。
组织其实在任何的成像方式中都能有一定的呈现，但是不同的成像方式的侧重点不同。其中，T1影像在提供解剖细节方面优于STIR影像，而在进行肿瘤病变的判断上，许多放射科医生通常还是会使用STIR影像来评估，因为肿瘤病变在STIR影像上比在T1影像上更明显。但是T1影像相比其他影像有一个非常大的优势，即其影像具有更少的运动伪影、更好的图像均匀性和整体图像质量。
与之相比，由于抑制了由脂质质子产生的信号，STIR影像降低了信噪比，从而产生了颗粒状的图像外观。整个图像中，信号强度的伪影变化可能是由脂质信号强度的不均匀抑制引起的。信噪比的降低还使这些影像中的运动伪影加重，这是由于STIR序列需要相对较长的成像时间才能获取有限数量的成像切片，所以患者的生理运动或身体运动就很可能会产生运动伪影。而且获取STIR影像也相对较麻烦。更长的回波时间虽然能增加病变的细节程度，但这也会导致信噪比进一步大幅降低。所以如何设置合适的参数需要使用光谱分析来获得。
因此，急需一种方式能将T1影像直接转换成STIR影像，既可以提升图像的细节质量又可以更好地用于临床医学上肿瘤的判断。目前，比较常用的图像生成的技术是变分自编码器(Variational Auto-Encoder，VAE)和生成对抗网络（Generative AdversarialNetworks，GAN）。其中VAE是采用编码和解码直接比较重建图片和原始图片的差异，但结果会更倾向于产生模糊的图片。而GAN由于有了判别器，判别器可以指导生成器重建图片，除了在像素点上尽可能的一致外，在整体的结构上，也强调了纹理风格，所以相对来说能产生更清晰更完整的图像。
但是对于医学影像来说，生成的图像在细节和病灶还原程度上是非常重要的。目前的GAN网络，产生的影像虽然说能产生同样分割的图像而用于图像增强，但像素对像素的转换在细节和结构上的保留仍然不足，还原度较低，细节影像易丢失，生成的影像模糊。
发明内容
本发明的目的在于提供一种基于细节增强的T1到STIR影像转换的方法，以解决现有技术中影像转换后的细节影像易丢失、模糊不清的技术问题。
为了实现上述目的，本发明的技术方案提供了一种基于细节增强的T1到STIR影像转换的方法，所述方法包括以下步骤：
对获取的神经纤维瘤数据进行预处理；
构建基于T1影像转STIR影像的生成对抗神经网络；
设置对抗神经网络模型超参数，并将预处理后的数据以mini-batch的形式导入对抗神经网络中进行训练，直至对抗神经网络收敛达到预定条件；
其中，输入预处理后的测试数据至训练好的对抗神经网络中进行转换而得到残差模板，将残差模板和T1影像融合得到合成的STIR影像，并评估合成的STIR影像。
可选地，所述对获取的神经纤维瘤数据进行预处理具体包括以下步骤：
计算原始影像数据的边界框；
配对组合影像数据，并校准每组影像数据；
根据双线性缩放和发射填充统一全部影像数据；
影像数据信号强度归一化；
伽马变换归一化后的配对影像数据；
根据训练数据、验证数据和测试数据的比例为8:1:1分配并压缩影像数据。
可选地，所述计算影像数据的边界框具体包括以下步骤：
获取神经纤维瘤影像中所有非零像素的坐标；
计算坐标中每个维度的最小坐标和最大坐标而得到两个配对影像的边界框。
可选地，所述配对影像数据，并校准每组影像数据具体包括以下步骤：
对所述两个配对影像的边界框取并集；
裁剪每组配对的影像的公共边界，以减少公共空白区域。
可选地，所述根据双线性缩放和发射填充统一全部影像数据具体包括以下步骤：
将小于预定尺寸的影像进行反射填充；
将大于预定尺寸的影像进行双线性缩放。
可选地，所述影像数据信号强度归一化具体包括以下步骤：
获取影像中非零的体素；
计算体素的均值μ和方差σ；
根据公式 计算并进行标准化；
根据公式计算并进行归一化。
可选地，所述伽马变换归一化后的配对影像数据具体包括以下步骤：
设置变换参数γ；
根据公式 计算并进行伽马变换。
可选地，所述构建基于T1影像转STIR影像的生成对抗神经网络包括以下步骤：
构建基于残差模板的生成器；
构建STIR影像的判别器；
其中，所述构建基于残差模板的生成器具体包括以下步骤：
输入经过预处理后的T1数据；
经过4*4大小的空洞卷积，提取局部特征F并下采样；
将提取的特征F进行实例标准化处理, 得到特征Fdownsample1，以防止梯度爆炸或弥散；
以特征Fdownsample1作为输入，通过空洞卷积模块得到特征Fdownsample2，其中，空洞卷积模块依次包括带泄漏线性整流函数、4*4的空洞卷积以及实例标准化；
其中，以特征Fdownsample2作为输入，重复通过上述步骤空洞卷积模块六次，分别得到特征Fdownsample3，Fdownsample4，Fdownsample5，Fdownsample6，Fdownsample7，Fdownsample8；
将特征Fdownsample8通过反卷积模块得到特征Fupsample8，其中，反卷积模块依次包括线性整流函数、4*4的反卷积以及实例标准化；
对得到的特征Fupsample8做随机损失；
将特征Fdownsample7和特征Fupsample8进行通道融合得到特征Fupsample7；
其中，以特征Fupsample7作为输入，通过上述步骤反卷积模块、随机损失和通道融合的组合两次分别得到特征Fupsample6，Fupsample5；
其中，以特征Fupsample5作为输入，通过上述步骤反卷积模块和通道融合的组合四次分别得到特征Fupsample4，Fupsample3，Fupsample2，Fupsample1；
其中，以特征Fupsample1作为输入，经过线性整流激活函数、4*4的反卷积和双曲正切激活函数得到合成的残差模板；
其中，所述构建STIR影像的判别器具体包括以下步骤：
将合成或经过预处理的SITR影像通过4*4的空洞卷积模块和带泄露线性整流激活函数提取特征F1；
以特征F1作为输入，通过4*4的空洞卷积、实例标准化和带泄露线性整流函数进一步提取特征F2；
其中，重复通过上述步骤4*4的空洞卷积、实例标准化和带泄露线性整流函数三次，分别提取并得到特征F3，F4，F5；
其中，将特征F5进行普通卷积，得到Featurepatch。
可选地，所述设置对抗神经网络的超参数，并将预处理后的数据以mini-batch的形式导入对抗神经网络中进行训练，直至对抗神经网络收敛达到预定条件包括以下步骤：
将设置的模型超参数给网络，其中，所述模型超参数包括优化器，batch_size,image_lambda,edge_lambda,epoch,filter_channels,learning_rate,epoch_decay；
将训练集进行数据增广处理，以扩充训练数据；
将增广处理后的数据提供给生成器来进行训练；
将生成器生成后的结果用来训练判别器；
在训练的过程中保存模型结构和最优的权重，直至充分收敛为止；
其中，所述将训练集进行数据增广处理，以扩充训练数据具体包括以下步骤：
在每一个epoch前进行随机打乱所有的训练集；
把每一个切片按时间序列填充通道，如果通道大小大于当前时间通道，则对多余的通道填充空白的数组；
对图像随机进行左右翻转；
对图像进行双线性插值，然后再随机偏移裁剪；
把得到的时间序列数据按batch大小封装并传出；
其中，所述将增广后的数据提供给生成器来进行训练具体包括以下步骤：
把预处理后的STIR影像和T1影像训练数据作差值，差值公式为：，以减弱公共区域而强化突出区域；
把预处理后的T1影像的训练数据传入基于差值模板生成器网络得到合成的差值；
计算真差值模板和合成的差值模板的最小绝对值偏差；
对真差值模板和合成的差值模板用sobel算子分别求边界模板；
计算边界模板的最小绝对值偏差；
用合成的差值模板加上T1切片得到合成的STIR切片，该步骤公式为：
；
将合成的STIR影像和T1影像在通道上相加，再放入判别器中得到特征矩阵；
计算幺矩阵和特征矩阵之间的平方差；
把真差值模板和合成的差值模板的最小绝对值偏差、边界模板的最小绝对值偏差和幺矩阵和特征矩阵之间的平方差作为生成器的损失函数进行优化，该优化公式为：
其中，D是判别器函数，G是生成器函数，是残差模板的像素级的权重，是残差模板边界纹理的权重，S代表用sobel算子求出的边界；
其中，所述将生成器生成后的结果用来训练判别器具体包括以下步骤：
把真的STIR影像和T1影像在通道上相加，并放入判别器中求特征矩阵；
计算幺矩阵和真的STIR影像的特征矩阵之间的平方差；
把合成的STIR影像和T1影像在通道上相加，并放入判别器中求特征矩阵；
计算零矩阵和合成的STIR影像特征矩阵之间的平方差；
把幺矩阵和真的STIR影像的特征矩阵之间的平方差、零矩阵和合成的STIR影像特征矩阵之间的平方差和边界模板的最小绝对值偏差作为判别器的损失函数进行优化，该优化公式为：
其中，D是判别器，G是生成器， 是残差模板边界纹理的权重，S代表用sobel算子求出的边界。
可选地，所述生成器和所述判别器采用如下的优化器：
生成器的模型优化器为Adam，学习率为0.002，且，从第100个轮次开始学习率呈线性下降，该学习率公式为：
其中，epochtotal是总训练轮次，epochdecay是开始衰减的轮次，epoch为当前训练的轮次，模型最大训练轮次为250；
判别器的模型优化器为Adam，学习率为0.002，且，从第100个轮次开始学习率呈线性下降，该学习率公式为：
其中，epochtotal是总训练轮次，epochdecay是开始衰减的轮次，epoch为当前训练的轮次，模型最大训练轮次为250。
综上所述，运用本发明基于细节增强的T1到STIR影像转换的方法，至少具有如下的有益效果：该转换方法通过输入预处理后的测试数据至训练好的对抗神经网络中进行转换而得到残差模板，将残差模板和T1影像融合得到合成的STIR影像，能够更大程度的还原细节和特征，有效地提升影像细节的清晰度，而避免细节影像丢失，并能够在保留影像图原始细节的情况下，更好地突出STIR影像和T1影像的不同，辅助医生更方便地获得一份稳定的STIR影像，以准确的判断神经纤维瘤疾病情况。
为让本发明的所述和其它目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合附图，作详细说明。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供一种基于细节增强的T1到STIR影像转换的方法的流程图；
图2是本发明一实施例提供基于残差模板的生成器的结构示意图；
图3是本发明一实施例提供基于残差模板的判别器的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明实施例提供一种基于细节增强的T1到STIR影像转换的方法，所述方法包括以下步骤：
S100，对获取的神经纤维瘤数据进行预处理；
S200，构建基于T1影像转STIR影像的生成对抗神经网络；
S300，设置对抗神经网络模型超参数，并将预处理后的数据以mini-batch的形式导入对抗神经网络中进行训练，直至对抗神经网络收敛达到预定条件；
S400，其中，输入预处理后的测试数据至训练好的对抗神经网络中进行转换而得到残差模板，将残差模板和T1影像融合得到合成的STIR影像，并评估合成的STIR影像。
其中，本发明实施例的转换方法通过输入预处理后的测试数据至训练好的对抗神经网络中进行转换而得到残差模板，将残差模板和T1影像融合得到合成的STIR影像，能够更大程度的还原细节和特征，有效地提升影像细节的清晰度，而避免细节影像丢失或遗漏，并能够在保留影像图原始细节的情况下，更好地突出STIR影像和T1影像的不同，辅助医生更方便地获得一份稳定的STIR影像，以准确的判断神经纤维瘤疾病情况。
在其中一实施例中，步骤S100，对获取的神经纤维瘤数据进行预处理具体包括以下步骤：
S110，计算原始影像数据的边界框；
S120，配对组合影像数据，并校准每组影像数据；
S130，根据双线性缩放和发射填充统一全部影像数据；
S140，影像数据信号强度归一化；
S150，伽马变换归一化后的配对影像数据；
S160，根据训练数据、验证数据和测试数据的比例为8:1:1分配并压缩影像数据。
具体地，在步骤S110中，计算影像数据的边界框具体包括以下步骤：
S111，获取神经纤维瘤影像中所有非零像素的坐标；
S112，计算坐标中每个维度的最小坐标和最大坐标而得到两个配对影像的边界框。
在其中一实施例中，步骤S120，配对影像数据，并校准每组影像数据具体包括以下步骤：
S121，对所述两个配对影像的边界框取并集；
S122，裁剪每组配对的影像的公共边界，以减少公共空白区域。
在其中一实施例中，步骤S130，根据双线性缩放和发射填充统一全部影像数据具体包括以下步骤：
S131，将小于预定尺寸的影像进行反射填充；
S132，将大于预定尺寸的影像进行双线性缩放。
在其中一实施例中，步骤S140，影像数据信号强度归一化具体包括以下步骤：
S141，获取影像中非零的体素；
S142，计算体素的均值μ和方差σ；
S143，根据公式 计算并进行标准化；
S144，根据公式计算并进行归一化。
在其中一实施例中，步骤S150，所述伽马变换归一化后的配对影像数据具体包括以下步骤：
S151，设置变换参数γ；
S152，根据公式 计算并进行伽马变换。
在其中一实施例中，步骤S200，构建基于T1影像转STIR影像的生成对抗神经网络包括以下步骤：
S210，构建基于残差模板的生成器；
S220，构建STIR影像的判别器；
请参阅图2，具体地，在步骤S210中，构建基于残差模板的生成器具体包括以下步骤：
S211，输入经过预处理后的T1数据；
S212，经过4*4大小的空洞卷积，提取局部特征F并下采样；
S213，将提取的特征F进行实例标准化处理, 得到特征Fdownsample1，以防止梯度爆炸或弥散；
S214，以特征Fdownsample1作为输入，通过空洞卷积模块得到特征Fdownsample2，其中，空洞卷积模块依次包括带泄漏线性整流函数、4*4的空洞卷积以及实例标准化；
其中，在步骤S214中，以特征Fdownsample2作为输入，重复通过上述步骤空洞卷积模块六次，分别得到特征Fdownsample3，Fdownsample4，Fdownsample5，Fdownsample6，Fdownsample7，Fdownsample8；
S215，将特征Fdownsample8通过反卷积模块得到特征Fupsample8，其中，反卷积模块依次包括线性整流函数、4*4的反卷积以及实例标准化；
S216，对得到的特征Fupsample8做随机损失，并设置遗忘率为0.5；
S217，将特征Fdownsample7和特征Fupsample8进行通道融合得到特征Fupsample7；
其中，在步骤S215、S216和S217中，以特征Fupsample7作为输入，通过上述步骤反卷积模块、随机损失和通道融合的组合两次分别得到特征Fupsample6，Fupsample5；
其中，在步骤S215和S217中，以特征Fupsample5作为输入，通过上述步骤反卷积模块和通道融合的组合四次分别得到特征Fupsample4，Fupsample3，Fupsample2，Fupsample1；
S218，其中，以特征Fupsample1作为输入，经过线性整流激活函数、4*4的反卷积和双曲正切激活函数得到合成的残差模板Fake Res；
请参阅图3，进一步地，在步骤S220中，构建STIR影像的判别器具体包括以下步骤：
S221，将合成或经过预处理的SITR影像通过4*4的空洞卷积模块和带泄露线性整流激活函数提取特征F1；
S222，以特征F1作为输入，通过4*4的空洞卷积、实例标准化和带泄露线性整流函数进一步提取特征F2；
其中，在步骤S222中，重复通过上述步骤4*4的空洞卷积、实例标准化和带泄露线性整流函数三次，分别提取并得到特征F3，F4，F5；
S223，其中，将特征F5进行普通卷积，得到Featurepatch。
在其中一实施例中，步骤S300，设置对抗神经网络的超参数，并将预处理后的数据以mini-batch的形式导入对抗神经网络中进行训练，直至对抗神经网络收敛达到预定条件包括以下步骤：
S310，将设置的模型超参数给网络，其中，所述模型超参数包括优化器，batch_size,image_lambda,edge_lambda,epoch,filter_channels,learning_rate,epoch_decay；
S320，将训练集进行数据增广处理，以扩充训练数据；
S330，将增广处理后的数据提供给生成器来进行训练；
S340，将生成器生成后的结果用来训练判别器；
S350，在训练的过程中保存模型结构和最优的权重，直至充分收敛为止；
具体地，在步骤S320中，所述将训练集进行数据增广处理，以扩充训练数据具体包括以下步骤：
S321，在每一个epoch前进行随机打乱所有的训练集；
S322，把每一个切片按时间序列填充通道，如果通道大小大于当前时间通道，则对多余的通道填充空白的数组；
S323，对图像随机进行左右翻转；
S324，对图像进行双线性插值，然后再随机偏移裁剪；
S325，把得到的时间序列数据按batch大小封装并传出；
进一步地，在步骤S330中，所述将增广后的数据提供给生成器来进行训练具体包括以下步骤：
S331，把预处理后的STIR影像和T1影像训练数据作差值，差值公式为：，以减弱公共区域而强化突出区域；
S332，把预处理后的T1影像的训练数据传入基于差值模板生成器网络得到合成的差值；
S333，计算真差值模板和合成的差值模板的最小绝对值偏差；
S334，对真差值模板和合成的差值模板用sobel算子分别求边界模板；
S335，计算边界模板的最小绝对值偏差；
S336，用合成的差值模板加上T1切片得到合成的STIR切片，该步骤公式为： ；
S337，将合成的STIR影像和T1影像在通道上相加，再放入判别器中得到特征矩阵；
S338，计算幺矩阵和特征矩阵之间的平方差；
其中，在步骤S333、S335和S338中，把真差值模板和合成的差值模板的最小绝对值偏差、边界模板的最小绝对值偏差和幺矩阵和特征矩阵之间的平方差作为生成器的损失函数进行优化，该优化公式为：
其中，D是判别器函数，G是生成器函数，是残差模板的像素级的权重，是残差模板边界纹理的权重，S代表用sobel算子求出的边界；
更进一步地，在步骤S340中，将生成器生成后的结果用来训练判别器具体包括以下步骤：
S341，把真的STIR影像和T1影像在通道上相加，并放入判别器中求特征矩阵；
S342，计算幺矩阵和真的STIR影像的特征矩阵之间的平方差；
S343，把合成的STIR影像和T1影像在通道上相加，并放入判别器中求特征矩阵；
S344，计算零矩阵和合成的STIR影像特征矩阵之间的平方差；
其中，在步骤S342、S344和S335中，把幺矩阵和真的STIR影像的特征矩阵之间的平方差、零矩阵和合成的STIR影像特征矩阵之间的平方差和边界模板的最小绝对值偏差作为判别器的损失函数进行优化，该优化公式为：
其中，D是判别器，G是生成器， 是残差模板边界纹理的权重，S代表用sobel算子求出的边界。
对于基于T1影像转STIR影像的生成对抗神经网络的训练，下面将提供具体实施例作进一步地说明：
在步骤S100中，本实施例中所使用的神经纤维瘤影像有1980例样本，从样本中选取220例做为测试集，剩下的1760例做为训练集。
在步骤S200中，构建基于T1影像转STIR影像的生成对抗神经网络主要由两部分组成：①基于残差模板的生成器；②STIR影像的判别器。
其中，在步骤S210中，基于残差模板的生成器中有8个空洞卷积和8个空洞反卷积构成。所有卷积核大小均为4*4，滑动步长为2，卷积核数的数量分别为64，128，256，512，512，512，512，512，512，512，512，512，256，128，64。所有的参数权重初始化为随机正态分布初始化，均值为0，方差为0.02，权重正则化方式为L2正则，偏置值初始化为0。模型逐层输出如下表1所示：
其中，在步骤S220中，STIR影像的判别器中有4个空洞卷积和1个普通卷积构成。空洞卷积核大小均为4*4，滑动步长为2，卷积核数的数量分别为64，128，256，512。普通卷积核大小为4*4，滑动步长为1，卷积核数为1。所有的参数权重初始化为随机正态分布初始化，均值为0，方差为0.02，权重正则化方式为L2正则，偏置值初始化为0。模型逐层输出如下表2所示：
表2
在步骤S300中，对模型进行训练，具体采用batch训练的方式。训练集生成器和验证集生成器每个batch的样本数均为1，设定训练集生成器返回1760次数据为一个轮次(epoch)。一个轮次训练完成后，验证集生成器会返回320次数据，评估生成效果。评估标准为结构相似度，峰值信噪比和均方误差。
生成器的模型优化器为Adam，学习率为0.002，且，从第100个轮次开始学习率呈线性下降，学习率公式为：
其中，epochtotal是总训练轮次，epochdecay是开始衰减的轮次，epoch为当前训练的轮次，模型最大训练轮次为250。
判别器的模型优化器为Adam，学习率为0.002，且，从第100个轮次开始学习率呈线性下降，学习率公式为：
其中，epochtotal是总训练轮次，epochdecay是开始衰减的轮次，epoch为当前训练的轮次，模型最大训练轮次为250。验证与训练损失收敛后停止训练，并保存模型。
在步骤S400中，基于T1到STIR的生成对抗网络模型测试。载入模型，将预处理完毕的测试样本输入到模型进行分析测试。
目前，生成对抗神经网络在计算机视觉领域已成为了研究的热点，其良好的图像特征提取能力和其生成新图像的效果也吸引了医学影像分析领域的关注。但是，大部分的医学影像的转换是主要是T1影像和T2影像之间、CT影像和MR影像之间，现有的技术还不能很好地克服技术难题而实现T1影像和STIR影像转换，相比于T2影像，STIR影像更难生成，因为STIR影像要能够区分出水和脂肪，而且信号强度也不统一，数据包含的噪声更大，所以难度也更大，然而神经纤维瘤诊断主要依靠的就是MR影像中的STIR影像。
基于此，本发明实施例研究出一种基于细节增强的T1到STIR影像转换的方法，并将其应用在神经纤维瘤的T1影像转化成STIR影像中。通过求STIR影像和T1影像的残差可以将两者中相同的部分的特征减小，从而突出差异大的特征部分，并且为了加大两者之间的突出部分，还采用了sobel算子求两者残差影像的边界，以进一步地突出差异、增强细节。
与传统的MR影像转换方式相比，本发明的有益效果主要表现在：首先，与传统的半自动方法相比，采用了深度神经网络，那么积累的数据越多，转换的效果也可以更好；其次，与传统的变分自编码器相比，转换影像会更加清晰；最后，与其他传统的生成对抗网络相比，在T1影像到STIR转换效果上，可以较大程度地保留原始信息，减少细节特征遗漏或丢失，有效地提升影像细节的清晰度。
综上所述，本发明实施例提供的基于细节增强的T1到STIR图像转换的方法，通过提取T1中图像特征来生成T1和STIR的残差模板，并对生成的残差模板求sobel边缘，为了让生成的残差模板能够更好的学习到边缘细节，来合成一个高还原度的STIR影像，并做出评估。相比传统的T1影像转换STIR影像相比，本发明能够更大程度的还原细节和特征，得到一份更稳定的STIR影像，从而提升影像转换质量和效果。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (8)
1.一种基于细节增强的T1到STIR影像转换的方法，其特征在于，所述方法包括以下步骤：
对获取的神经纤维瘤数据进行预处理；
构建基于T1影像转STIR影像的生成对抗神经网络；
设置对抗神经网络模型超参数，并将预处理后的数据以mini-batch的形式导入对抗神经网络中进行训练，直至对抗神经网络收敛达到预定条件；
其中，输入预处理后的测试数据至训练好的对抗神经网络中进行转换而得到残差模板，将残差模板和T1影像融合得到合成的STIR影像，并评估合成的STIR影像；
所述构建基于T1影像转STIR影像的生成对抗神经网络包括以下步骤：
构建基于残差模板的生成器；
构建STIR影像的判别器；
其中，所述构建基于残差模板的生成器具体包括以下步骤：
输入经过预处理后的T1数据；
经过4*4大小的空洞卷积，提取局部特征F并下采样；
将提取的特征F进行实例标准化处理, 得到特征Fdownsample1，防止梯度爆炸或弥散；
以特征Fdownsample1作为输入，通过空洞卷积模块得到特征Fdownsample2，其中，空洞卷积模块依次包括带泄漏线性整流函数、4*4的空洞卷积以及实例标准化；
其中，以特征Fdownsample2作为输入，重复通过空洞卷积模块六次，分别得到特征Fdownsample3，Fdownsample4，Fdownsample5，Fdownsample6，Fdownsample7，Fdownsample8；
将特征Fdownsample8通过反卷积模块得到特征Fupsample8，其中，反卷积模块依次包括线性整流函数、4*4的反卷积以及实例标准化；
对得到的特征Fupsample8做随机损失；
将特征Fdownsample7和特征Fupsample8进行通道融合得到特征Fupsample7；
其中，以特征Fupsample7作为输入，通过重复步骤反卷积模块、随机损失和通道融合的组合两次分别得到特征Fupsample6，Fupsample5；
其中，以特征Fupsample5作为输入，通过重复步骤反卷积模块和通道融合的组合四次分别得到特征Fupsample4，Fupsample3，Fupsample2，Fupsample1；
其中，以特征Fupsample1作为输入，经过线性整流激活函数、4*4的反卷积和双曲正切激活函数得到合成的残差模板；
其中，所述构建STIR影像的判别器具体包括以下步骤：
将合成或经过预处理的SITR影像通过4*4的空洞卷积模块和带泄露线性整流激活函数提取特征F1；
以特征F1作为输入，通过4*4的空洞卷积、实例标准化和带泄露线性整流函数进一步提取特征F2；
其中，重复通过4*4的空洞卷积、实例标准化和带泄露线性整流函数三次，分别提取并得到特征F3，F4，F5；
其中，将特征F5进行普通卷积，得到Featurepatch；
所述设置对抗神经网络的超参数，并将预处理后的数据以mini-batch的形式导入对抗神经网络中进行训练，直至对抗神经网络收敛达到预定条件包括以下步骤：
将设置的模型超参数给网络，其中，所述模型超参数包括优化器，batch_size,image_lambda,edge_lambda,epoch,filter_channels,learning_rate,epoch_decay；
将训练集进行数据增广处理，以扩充训练数据；
将增广处理后的数据提供给生成器来进行训练；
将生成器生成后的结果用来训练判别器；
在训练的过程中保存模型结构和最优的权重，直至充分收敛为止；
其中，所述将训练集进行数据增广处理，以扩充训练数据具体包括以下步骤：
在每一个epoch前进行随机打乱所有的训练集；
把每一个切片按时间序列填充通道，如果通道大小大于当前时间通道，则对多余的通道填充空白的数组；
对图像随机进行左右翻转；
对图像进行双线性插值，然后再随机偏移裁剪；
把得到的时间序列数据按batch大小封装并传出；
其中，所述将增广后的数据提供给生成器来进行训练具体包括以下步骤：
把预处理后的STIR影像和T1影像训练数据作差值，差值公式为：，以减弱公共区域而强化突出区域；
把预处理后的T1影像的训练数据传入基于差值模板生成器网络得到合成的差值；
计算真差值模板和合成的差值模板的最小绝对值偏差；
对真差值模板和合成的差值模板用sobel算子分别求边界模板；
计算边界模板的最小绝对值偏差；
用合成的差值模板加上T1切片得到合成的STIR切片，该步骤公式为：
；
将合成的STIR影像和T1影像在通道上相加，再放入判别器中得到特征矩阵；
计算幺矩阵和特征矩阵之间的平方差；
把真差值模板和合成的差值模板的最小绝对值偏差、边界模板的最小绝对值偏差和幺矩阵和特征矩阵之间的平方差作为生成器的损失函数进行优化，优化公式为：
其中D是判别器函数，G是生成器函数，是残差模板的像素级的权重，/>是残差模板边界纹理的权重，S代表用sobel算子求出的边界；
其中，所述将生成器生成后的结果用来训练判别器具体包括以下步骤：
把真的STIR影像和T1影像在通道上相加，并放入判别器中求特征矩阵；
计算幺矩阵和真的STIR影像的特征矩阵之间的平方差；
把合成的STIR影像和T1影像在通道上相加，并放入判别器中求特征矩阵；
计算零矩阵和合成的STIR影像特征矩阵之间的平方差；
把幺矩阵和真的STIR影像的特征矩阵之间的平方差、零矩阵和合成的STIR影像特征矩阵之间的平方差和边界模板的最小绝对值偏差作为判别器的损失函数进行优化，优化公式为：
其中D是判别器，G是生成器，是残差模板边界纹理的权重，S代表用sobel算子求出的边界。
2.根据权利要求1所述一种基于细节增强的T1到STIR影像转换的方法，其特征在于，所述对获取的神经纤维瘤数据进行预处理具体包括以下步骤：
计算原始影像数据的边界框；
配对组合影像数据，并校准每组影像数据；
根据双线性缩放和发射填充统一全部影像数据；
影像数据信号强度归一化；
伽马变换归一化后的配对影像数据；
根据训练数据、验证数据和测试数据的比例为8:1:1分配并压缩影像数据。
3.根据权利要求2所述一种基于细节增强的T1到STIR影像转换的方法，其特征在于，所述计算原始影像数据的边界框具体包括以下步骤：
获取神经纤维瘤影像中所有非零像素的坐标；
计算坐标中每个维度的最小坐标和最大坐标而得到两个配对影像的边界框。
4.根据权利要求3所述一种基于细节增强的T1到STIR影像转换的方法，其特征在于，所述配对影像数据，并校准每组影像数据具体包括以下步骤：
对所述两个配对影像的边界框取并集；
裁剪每组配对的影像的公共边界，以减少公共空白区域。
5.根据权利要求2所述一种基于细节增强的T1到STIR影像转换的方法，其特征在于，所述根据双线性缩放和发射填充统一全部影像数据具体包括以下步骤：
将小于预定尺寸的影像进行反射填充；
将大于预定尺寸的影像进行双线性缩放。
6.根据权利要求2所述一种基于细节增强的T1到STIR影像转换的方法，其特征在于，所述影像数据信号强度归一化具体包括以下步骤：
获取影像中非零的体素；
计算体素的均值μ和方差σ；
根据公式计算并进行标准化；
根据公式计算并进行归一化。
7.根据权利要求2所述一种基于细节增强的T1到STIR影像转换的方法，其特征在于，所述伽马变换归一化后的配对影像数据具体包括以下步骤：
设置变换参数γ；
根据公式计算并进行伽马变换。
8.根据权利要求1所述一种基于细节增强的T1到STIR影像转换的方法，其特征在于，所述生成器和所述判别器采用如下的优化器：
生成器的模型优化器为Adam，学习率为0.002，且，从第100个轮次开始学习率呈线性下降，该学习率公式为：
其中epochtotal是总训练轮次，epochdecay是开始衰减的轮次，epoch为当前训练的轮次，模型最大训练轮次为250；
判别器的模型优化器为Adam，学习率为0.002，且，从第100个轮次开始学习率呈线性下降，该学习率公式为：
，其中epochtotal是总训练轮次，epochdecay是开始衰减的轮次，epoch为当前训练的轮次，模型最大训练轮次为250。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010949798.XA CN112085687B (zh) | 2020-09-10 | 2020-09-10 | 一种基于细节增强的t1到stir影像转换的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010949798.XA CN112085687B (zh) | 2020-09-10 | 2020-09-10 | 一种基于细节增强的t1到stir影像转换的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112085687A CN112085687A (zh) | 2020-12-15 |
| CN112085687B true CN112085687B (zh) | 2023-12-01 |
Family
ID=73737364
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010949798.XA Active CN112085687B (zh) | 2020-09-10 | 2020-09-10 | 一种基于细节增强的t1到stir影像转换的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112085687B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107590797A (zh) * | 2017-07-26 | 2018-01-16 | 浙江工业大学 | 一种基于三维残差神经网络的ct影像肺结节检测方法 |
| CN108765319A (zh) * | 2018-05-09 | 2018-11-06 | 大连理工大学 | 一种基于生成对抗网络的图像去噪方法 |
| CN109325931A (zh) * | 2018-08-22 | 2019-02-12 | 中北大学 | 基于生成对抗网络和超分辨率网络的多模态图像融合方法 |
| CN110580695A (zh) * | 2019-08-07 | 2019-12-17 | 深圳先进技术研究院 | 一种多模态三维医学影像融合方法、系统及电子设备 |
| KR102097742B1 (ko) * | 2019-07-31 | 2020-04-06 | 주식회사 딥노이드 | 인공지능 기반의 의료영상 검색 시스템 및 그 구동방법 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10859657B2 (en) * | 2018-05-31 | 2020-12-08 | The Board Of Trustees Of The Leland Stanford Junior University | MRI reconstruction using deep learning, generative adversarial network and acquisition signal model |
| US11232541B2 (en) * | 2018-10-08 | 2022-01-25 | Rensselaer Polytechnic Institute | CT super-resolution GAN constrained by the identical, residual and cycle learning ensemble (GAN-circle) |
-
2020
- 2020-09-10 CN CN202010949798.XA patent/CN112085687B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107590797A (zh) * | 2017-07-26 | 2018-01-16 | 浙江工业大学 | 一种基于三维残差神经网络的ct影像肺结节检测方法 |
| CN108765319A (zh) * | 2018-05-09 | 2018-11-06 | 大连理工大学 | 一种基于生成对抗网络的图像去噪方法 |
| CN109325931A (zh) * | 2018-08-22 | 2019-02-12 | 中北大学 | 基于生成对抗网络和超分辨率网络的多模态图像融合方法 |
| KR102097742B1 (ko) * | 2019-07-31 | 2020-04-06 | 주식회사 딥노이드 | 인공지능 기반의 의료영상 검색 시스템 및 그 구동방법 |
| CN110580695A (zh) * | 2019-08-07 | 2019-12-17 | 深圳先进技术研究院 | 一种多模态三维医学影像融合方法、系统及电子设备 |
Non-Patent Citations (4)
| Title |
|---|
| Ea-GANs: Edge-Aware Generative Adversarial Networks for Cross- Modality MR Image Synthesis;Biting Yu et al;《IEEE TRANSACTIONS》;第38卷(第7期);第1750-1762页 * |
| Image Synthesis in Multi-Contrast MRI With Conditional Generative Adversarial Networks;Salman UH. Dar et al;《IEEE TRANSACTIONS》;第38卷(第10期);第2375-2387页 * |
| 基于MRI的合成CT生成方法综述;菅影超 等;《中国生物医学工程学报》;第39卷(第4期);第486-491页 * |
| 基于细节增强的MR 序列转换方法;严凡 等;《智能科学与技术学报》;第3卷(第1期);第93-100页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112085687A (zh) | 2020-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kaplan et al. | Full-dose PET image estimation from low-dose PET image using deep learning: a pilot study | |
| US10859657B2 (en) | MRI reconstruction using deep learning, generative adversarial network and acquisition signal model | |
| Kuanar et al. | Low dose abdominal CT image reconstruction: An unsupervised learning based approach | |
| US11120582B2 (en) | Unified dual-domain network for medical image formation, recovery, and analysis | |
| AU2019234674B2 (en) | Systems and methods for generating thin image slices from thick image slices | |
| CN113344799A (zh) | 用于使用深度神经网络减少医学图像中的有色噪声的系统和方法 | |
| US11624795B2 (en) | Systems and methods for improving low dose volumetric contrast-enhanced MRI | |
| CN113436290A (zh) | 用于使用深度神经网络从图像中选择性地去除条纹伪影和噪声的方法和系统 | |
| Han et al. | A dual-encoder-single-decoder based low-dose CT denoising network | |
| CN112435164A (zh) | 基于多尺度生成对抗网络的低剂量ct肺部图像的同时超分辨率和去噪方法 | |
| Bai et al. | Super-resolution reconstruction of MR brain images | |
| JP2024507767A (ja) | コントラスト補正機械学習システムのための訓練データ合成器 | |
| Benhaddou et al. | Anisotropic functional Laplace deconvolution | |
| Li et al. | Unpaired low‐dose computed tomography image denoising using a progressive cyclical convolutional neural network | |
| CN112085687B (zh) | 一种基于细节增强的t1到stir影像转换的方法 | |
| Haase et al. | Impact of the non‐negativity constraint in model‐based iterative reconstruction from CT data | |
| Gunduzalp et al. | 3d u-netr: Low dose computed tomography reconstruction via deep learning and 3 dimensional convolutions | |
| JP2024507766A (ja) | 機械学習によるコントラスト強調 | |
| Chang et al. | Deep learning image transformation under radon transform | |
| CN117203671A (zh) | 基于机器学习的迭代图像重建改进 | |
| Sureau et al. | Convergent ADMM Plug and Play PET Image Reconstruction | |
| Zhong et al. | Super-resolution image reconstruction from sparsity regularization and deep residual-learned priors | |
| Yang et al. | Learned Multi-layer Residual Sparsifying Transform Model for Low-dose CT Reconstruction | |
| CN115578263B (zh) | 一种基于生成网络的ct超分辨重建方法、系统及装置 | |
| EP4071705A1 (en) | Medical image processing method, medical image processing apparatus, and computer readable, non-volatile storage medium storing medical image processing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |