CN118037594A - 一种基于e-gan网络的弥散磁共振数据修复方法 - Google Patents
一种基于e-gan网络的弥散磁共振数据修复方法 Download PDFInfo
- Publication number
- CN118037594A CN118037594A CN202410202966.7A CN202410202966A CN118037594A CN 118037594 A CN118037594 A CN 118037594A CN 202410202966 A CN202410202966 A CN 202410202966A CN 118037594 A CN118037594 A CN 118037594A
- Authority
- CN
- China
- Prior art keywords
- image
- data
- convolution
- images
- weighted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000012549 training Methods 0.000 claims abstract description 31
- 210000004556 brain Anatomy 0.000 claims abstract description 13
- 238000013528 artificial neural network Methods 0.000 claims abstract description 11
- 238000011156 evaluation Methods 0.000 claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 239000006185 dispersion Substances 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 29
- 230000004913 activation Effects 0.000 claims description 24
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000012952 Resampling Methods 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 12
- 238000013256 Gubra-Amylin NASH model Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 9
- 210000005013 brain tissue Anatomy 0.000 claims description 6
- 238000000926 separation method Methods 0.000 claims description 6
- 210000003625 skull Anatomy 0.000 claims description 6
- 230000017105 transposition Effects 0.000 claims description 6
- 238000009792 diffusion process Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 2
- 230000010365 information processing Effects 0.000 abstract description 2
- 230000000877 morphologic effect Effects 0.000 abstract description 2
- 238000012360 testing method Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000002595 magnetic resonance imaging Methods 0.000 description 5
- 238000011160 research Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 241000288906 Primates Species 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000013518 transcription Methods 0.000 description 1
- 230000035897 transcription Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Image Processing (AREA)
Abstract
本发明属于智能信息处理领域，具体是一种基于E‑GAN网络的弥散磁共振数据修复方法。包括：S1：获取大脑成对的n个数据集，每个数据集包括dMRI图像数据和T1加权像数据；S2：对dMRI图像数据和T1加权像数据进行预处理，分别得到两个沿冠状面切片的高b值像和T1加权图像；S3：构建神经网络用于训练dMRI图像数据集和T1加权像数据集；S4：利用dMRI图像数据集和T1加权像数据集获取成对的高b值像和T1加权图像，在S3构建的神经网络上进行训练，得到最终的模型；S5：选择最终模型预测目标模态的三维图像数据，并用评价指标对数据进行评价。本发明有效地保留了医学图像中的低维形态信息与高维纹理特征相结合，充分利用了多模态数据的不同特征。
Description
技术领域
本发明属于智能信息处理领域，具体是一种基于E-GAN网络的弥散磁共振数据修复方法。
背景技术
弥散磁共振成像(diffusion Magnetic Resonance Imaging, dMRI)是探索大脑连通性和跨物种比较研究的重要手段，对探索生物进化和人类疾病的诊断与治疗具有重要价值。大量研究者以计算神经科学为研究方法对大脑的dMRI数据进行计算，以反映大脑神经元的结构连接特征。然而，部分dMRI在采集和转录之后出现序列b0图像缺失，影响了计算神经科学的准确性。因此，修复dMRI序列对当前的脑科学研究具有积极意义。
通过图像转换的方法从已有模态的图像生成b0像并修复dMRI序列是一种解决方案。作为深度学习图像生成领域的经典网络，生成对抗网络有生成真假难辨图像的能力，这对磁共振图像转换有重要作用。在众多生成对抗网络中，无监督学习的代表CycleGAN和有监督学习的代表pix2pix在计算机视觉任务上表现最为出色。
其中，无监督的CycleGAN方法不需要成对的图像，已被广泛应用于磁共振图像转换任务上，如T1加权磁共振成像转换为弥散张量图像；结构磁共振成像T1和T2的转换,T1合成fMRI；结构磁共振合成CT，T2和dMRI相互转换，但其仅仅局限于无监督学习任务上。相比于无监督学习，有成对图像的基于pix2pix的方法表现出更高的精度。有研究者应用pix2pix提出Synb0-DisCo方法，用于失真b0的校正；也有pGAN，MedGAN，Ea-GAN，ResViT等网络用于磁共振脑影像的转换。但上述两种方法均是基于单模态图像数据的脑影像转换方法，无法充分利用多模态脑影像的结构信息，最终生成的数据与真实数据的差异仍然较大，不能满足连接计算的要求。
发明内容
本发明为了解决上述问题，提供一种基于E-GAN网络的弥散磁共振数据修复方法。
本发明采取以下技术方案：一种基于E-GAN网络的弥散磁共振数据修复方法，包括：
S1：获取大脑成对的n个数据集，每个数据集包括dMRI图像数据和T1加权像数据；
S2：对dMRI图像数据和T1加权像数据进行预处理，分别得到两个沿冠状面切片的高b值像和T1加权图像；
S3：构建神经网络用于训练dMRI图像数据集和T1加权像数据集；
S4：利用dMRI图像数据集和T1加权像数据集获取成对的高b值像和T1加权图像，在S3构建的神经网络上进行训练，得到最终的模型；
S5：选择最终模型预测目标模态的三维图像数据，并用评价指标对数据进行评价。
在一些实施例中，步骤S2包括：
S21：对dMRI图像数据集进行预处理：
对dMRI图像数据集用深度模型进行颅骨分离，获取到大脑组织图像；
进行b值图像提取，提取出成对的b0图像和高b值图像；
对成对的图像数据集进行强度归一化处理，使每个图像数据的强度值都在0到1之间；
将图像数据样本重新采样为3D张量，其中数据样本的采样维度重新缩放至256×256×256；
将缩放后的图像沿冠状面切片；
S22：对T1加权像数据集进行预处理：
将T1加权像用深度模型进行颅骨分离，获取到大脑组织图像；
将T1加权像配准到对应的高b值图像上，使形态、切片数与之对齐；对T1加权像进行强度归一化处理，使每个图像数据的强度值在0到1之间；
将图像数据样本重采样为3D张量，维度为256×256×256；
将重采样后的图像沿冠状面切片。
在一些实施例中，步骤S3中神经网络采用E-GAN网络，E-GAN网络包括E-Net生成器架构和PatchGAN鉴别器架构；
E-Net生成器架构包括：两个相同的卷积编码结构和一个共享的卷积解码结构；
卷积编码结构包括8个下采样Block，第一个Block由卷积模块和LeakyReLU激活函数构成，其卷积核大小为4×4，步长为2，边缘扩充像素值为1，设置输出维度为输入维度的一半；第二到第七个Block按卷积模块、BatchNorm、LeakyReLU激活函数的顺序构成，其中卷积核大小为4×4，步长为2，边缘扩充像素值为1，设置输出维度为输入维度的一半。最后一个Block由卷积模块和ReLU激活函数组成，卷积核大小为4×4，步长为2，边缘扩充像素值为1，输出维度y为输入维度x的1/2；
卷积解码结构包括8个上采样Block，前七个Block按转置卷积、BatchNorm操作、ReLU激活函数的顺序构成，转置卷积层的卷积核大小为4×4，步长为2，边缘扩充像素值为1，输出维度y为输入维度x的2倍；最后一个Block按转置卷积Tanh激活函数组成。两个编码器的第i个下采样Block输出的特征图与第9-i个上采样Block的输入特征图通过长连接进行维度融合操作，其中1≤i≤8；
PatchGAN鉴别器架构包括五个Block，其中第一个Block和第二个Block由卷积模块和LeakyReLU激活函数构成，卷积核大小为4×4，步长为2，边缘扩充像素值为1，设置输出维度y为输入维度x的1/2；第三个和第四个Block由卷积模块、BatchNorm操作和LeakyReLU激活函数组成，卷积核大小为4×4，步长为2，边缘扩充像素值为1，设置输出维度y为输入维度x的1/2；第五个Block由卷积模块和BatchNorm操作组成，卷积核大小为4×4，步长为2，边缘扩充像素值为1，设置输出维度y为输入维度x的1/2。
在一些实施例中，E-GAN网络中卷积模块的数学形式为：
表示网络中每个卷积层的输入，/>表示/>经过一个卷积层之后的输出；
表示卷积操作、批量归一化和激活函数的某一个序列，/>定义为：
和/>表示权重矩阵，所述/>表示进行卷积操作，/>表示批量归一化，为激活函数。
在一些实施例中，步骤S4包括：
S41：使用n个数据集配对的高b值图像、b0图像和T1图像的冠状面切片数据集在E-GAN上进行训练；
S42：以训练多个epoch的模型作为预训练模型，再分别对n个数据集在E-GAN上训练，沿冠状面将E-GAN网络生成的图像进行合并，得到三维的预测b0图像；
S43：重新缩放图像，使其和原始b0图像维度相同；
S44：通过计算每一次迭代中预测结果和真实b0图像之间的结构相似性，最终分别选择相似性指数最高的n个模型作为最终的模型。
在一些实施例中，步骤S42中，epoch的模型的数量为20到200。
在一些实施例中，步骤S5预测目标模态的三维图像数据过程包括：将S4中得到的n个模型分别作为n个数据集的最终E-GAN模型，将待生成的图像进行强度标准化处理，使每个图像数据的强度值都在0到1之间，并将图像数据样本重新采样为3D强度矩阵，其中数据样本的最高采样维度重新缩放至256，将缩放后的图像沿冠状面重新采样成切片，经过E-GAN模型得出平均三维概率矩阵，重新缩放和裁剪矩阵得到与原始图像尺寸相同的b0图像，该图像为生成结果。
在一些实施例中，步骤S5中评价指标包括峰值信噪比，结构相似性，互信息。其中，峰值信噪比越大，说明图像质量越高；结构相似性越接近于1，说明生成图像的结构于目标图像越相似；互信息越大，说明生成图像与目标图像相关性越高。
与现有技术相比，本发明具有以下有益效果：
本发明使用基于多模态数据的编码解码结构和长连接结构的E型E-Net生成器，有效地保留了医学图像中的低维形态信息与高维纹理特征相结合，充分利用了多模态数据的不同特征，提高了模型训练的效果，丰富了生成图像的细节，同时利用PatchGAN作为E-GAN的鉴别器，输出的卷积以局部特征代替图像的某一区域，使鉴别器更好的关注每一区域的特征，从而使生成器更好的在细节上与源图像更接近。在5个数据集的峰值信噪比，结构相似性和互信息上分别能达到32.2587，0.8822和1.3828，且在视觉效果上也与源图像接近。
附图说明
图1为本发明的E-GAN模型结构图；
图2为本发明的流程图；
图3为本发明的预测结果展示图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种基于E-GAN网络的弥散磁共振数据修复方法，包括：
S1：获取大脑成对的dMRI图像数据集和T1加权像数据集。
本发明的数据样本包含五个数据中心灵长动物的dMRI图像和T1加权像数据集，分别为威斯康星大学麦迪逊分校（UWM），加州大学戴维斯分校（UCDavis），西奈山医学院（MountSinai-P，MountSinai-S）和艾克斯马赛大学（AMU）。其中UWM数据中心包括66个数据，53个用于训练，13个用于测试；UCDavis数据中心包括19个数据，15个用于训练，4个用于测试；MountSinai-P数据中心包括6个数据，4个用于训练，2个用于测试；MountSinai-S数据中心包括5个数据，3个用于训练，2个用于测试；AMU数据中心包括4个数据，3个用于训练，1个用于测试。
S2：对dMRI图像数据集和T1加权像数据集进行预处理，分别得到两个数据集沿冠状面切片的高b值像和T1加权图像。
步骤S2包括：
S21：对dMRI图像数据集进行预处理：
具体为，对dMRI图像数据集用深度模型进行颅骨分离，获取到大脑组织图像。然后进行b值图像提取，提取出成对的b0图像和高b值图像（b值在1000左右），对成对的图像数据集进行强度归一化处理，使每个图像数据的强度值都在0到1之间，并将图像数据样本重新采样为3D张量，其中数据样本的采样维度重新缩放至256×256×256，将缩放后的图像沿冠状面切片。
S22：对T1加权像数据集进行预处理：
具体为，将T1加权像用深度模型进行颅骨分离，获取到大脑组织图像。然后将T1加权像配准到对应的高b值图像上，使形态、切片数与之对齐。对T1加权像进行强度归一化处理，使每个图像数据的强度值在0到1之间，并将图像数据样本重采样为3D张量，维度为256×256×256，将重采样后的图像沿冠状面切片。
S3：构建神经网络用于训练dMRI图像数据集和T1加权像数据集。
步骤S3中神经网络采用E-GAN，E-GAN包括E-Net生成器架构和PatchGAN鉴别器架构。
E-Net生成器架构是基于编码解码结构与长连接模块的E型多模态卷积神经网络，包含两个相同的卷积编码结构和一个共享的卷积解码结构。所述卷积编码结构包含8个下采样Block，第一个Block由卷积模块和LeakyReLU激活函数构成，其卷积核大小为4×4，步长为2，边缘扩充像素值为1，设置输出维度为输入维度的一半；第二到第七个Block按卷积模块、BatchNorm、LeakyReLU激活函数的顺序构成，其中卷积核大小为4×4，步长为2，边缘扩充像素值为1，设置输出维度为输入维度的一半。最后一个Block由卷积模块和ReLU激活函数组成，卷积核大小为4×4，步长为2，边缘扩充像素值为1，输出维度y为输入维度x的1/2。所述解码结构包含8个上采样Block，前七个Block按转置卷积、BatchNorm操作、ReLU激活函数的顺序构成，转置卷积层的卷积核大小为4×4，步长为2，边缘扩充像素值为1，输出维度y为输入维度x的2倍。最后一个Block按转置卷积Tanh激活函数组成。两个编码器的第i（1≤i≤8）个下采样Block输出的特征图与第9-i个上采样Block的输入特征图通过长连接进行维度融合操作。此解码结构可将两个编码器融合，充分利用多模态数据，若新增解码器不仅会提高模型复杂度，还无法融合多模态特征。
所述PatchGAN鉴别器架构由五个Block组成，其中第一个Block和第二个Block由卷积模块和LeakyReLU激活函数构成，卷积核大小为4×4，步长为2，边缘扩充像素值为1，设置输出维度y为输入维度x的1/2；第三个和第四个Block由卷积模块、BatchNorm操作和LeakyReLU激活函数组成，卷积核大小为4×4，步长为2，边缘扩充像素值为1，设置输出维度y为输入维度x的1/2。第五个Block由卷积模块和BatchNorm操作组成，卷积核大小为4×4，步长为2，边缘扩充像素值为1，设置输出维度y为输入维度x的1/2。通过生成器和鉴别器的对抗学习，最终得到合适的生成器参数，以实现高质量的b0模态图像生成。
基本卷积模块的数学形式为：
表示网络中每个卷积层的输入，/>表示/>经过一个卷积层之后的输出。
所述表示卷积操作、批量归一化和激活函数的某一个序列，所述/>定义为：
所述和/>表示权重矩阵，所述/>表示进行卷积操作，所述/>表示批量归一化，所述/>为激活函数。
利用训练集对所构建的E-GAN网络模型进行训练，采用生成器对抗损失、鉴别器对抗损失和像素损失作为模型的总损失，并以0.002的学习率进行反向传播以更新权重，所述模型的损失计算公式为：
生成对抗损失：
鉴别器对抗损失：
像素损失：
其中，E代表期望，G代表生成器,D代表鉴别器，x和z代表两种模态的输入图像，y代表目标图像。
综上得到的总损失：
所述，/>，/>为模型训练中得到的权重常数。
本发明测试所用模型是在统一训练80个epoch后，又对五个数据集分别训练得到的五个模型，所用测试数据是未参与训练的来自不同数据中心的脑dMRI图像和T1加权像。将所有图像先进行强度标准化处理，使每个图像数据的强度值都在0到1 之间，并将图像数据样本重采样为3维张量，具体为256×256×256，将缩放后的图像沿冠状面重新采样成切片，最终构建测试数据集，经过E-GAN模型得出预测b0图像，重新缩放和裁剪矩阵得到与原始图像尺寸相同的预测b0图像。部分脑MRI预测结果如图3所示，其中图像最左侧一列为数据集，每个数据的第一列是原始高b值图像，第二列是预测结果，第三列是真实b0图像。为了更好的显示细节，红色矩形框框住了部分图像细节。
步骤S3中构建的E型对抗生成网络其具有灵活的数据模态接受能力，具体表现为：
（1）当使用者无法提供T1模态数据时，可将E-Net的T1模态数据的输入替换为其他高B值模态数据，用于提取补偿特征而无需修改网络结构和训练参数。
（2）当使用者期望增加更多种模态时，仅需将E-Net的数据输入编码部分进行简单复制，即可增加一条新的编码通道，而无需修改其他任何网络结构和训练参数，即可完成对新增模态数据的对接。
S4：利用dMRI图像数据集和T1加权像数据集获取成对的高b值像和T1加权图像，在S3构建的神经网络上进行训练，得到最终的模型；
步骤S4包括：
S41：使用5个数据集使用配对的高b值图像、b0图像和T1图像的冠状面切片数据集在E-GAN上进行训练。
S42：为寻找本模型epoch合适大小，从20到200个epoch，以20个epoch为间隔，分别得到10个不同epoch的模型，最终在80个epoch时模型达到最优性能。因此以训练80个epoch的模型作为预训练模型，再分别对5个数据集在E-GAN上训练，沿冠状面将E-GAN网络生成的图像进行合并，得到三维的预测b0图像。
S43：重新缩放图像，使其和原始b0图像维度相同；
S44：通过计算每一次迭代中预测结果和真实b0图像之间的结构相似性，最终分别选择相似性指数最高的5个模型作为最终的模型。
S5：选择最终模型预测目标模态的三维图像数据，并用评价指标对数据进行评价。
步骤S5中E-GAN模型预测目标模态的三维图像数据的方法为：将S4中得到的5个模型分别作为5个数据集的最终E-GAN模型，将待生成的图像进行强度标准化处理，使每个图像数据的强度值都在0到1之间，并将图像数据样本重新采样为3D强度矩阵，其中数据样本的最高采样维度重新缩放至256，将缩放后的图像沿冠状面重新采样成切片，经过E-GAN模型得出平均三维概率矩阵，重新缩放和裁剪矩阵得到与原始图像尺寸相同的b0图像，该图像为生成结果。
评价指标包括：
峰值信噪比：
其中代表y图像中体素的最大强度值，/>代表x进入生成器后生成的图像中体素的最大强度值，/>代表对y和/>计算均方误差，；
结构相似性：
其中代表y的均值，/>代表x进入生成器生成图像的均值，/>代表y的方差，代表/>的方差，/>代表y和/>的协方差；
互信息：
考虑两个随机变量X和Y，他们的联合概率密度函数为，其边际概率密度函数分别为/>和/>，其中/>和/>代表y和/>图像每个像素出现的概率，/>为每个像素的联合概率。
利用预测结果和真实b0图像计算评价指标以评估模型的性能。其中，峰值信噪比越大，说明图像质量越高；结构相似性越接近于1，说明生成图像的结构于目标图像越相似；互信息越大，说明生成图像与目标图像相关性越高。
评估结果如表1所示，与目前使用较为广泛的4个深度模型在不进行其他预处理操作使用相同数据集的情况下，本发明所使用的模型得到的预测结果在各评价指标上均有不错的表现，且平均峰值信噪比，结构相似性和互信息分别达到了32.2587，0.8822和1.3828，表明本发明的模型有较高的精确度。
表1 各模型比较表
评估结果如表2所示，为与E-GAN只有一个编码器且读取单模态数据的对比结果，本发明的E型生成器用两个编码器读取多模态数据有明显的优势。
表2 单编码器与多编码器的比较表
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (8)
1.一种基于E-GAN网络的弥散磁共振数据修复方法，其特征在于，包括：
S1：获取大脑成对的n个数据集，每个数据集包括dMRI图像数据和T1加权像数据；
S2：对dMRI图像数据和T1加权像数据进行预处理，分别得到两个沿冠状面切片的高b值像和T1加权图像；
S3：构建神经网络用于训练dMRI图像数据集和T1加权像数据集；
S4：利用dMRI图像数据集和T1加权像数据集获取成对的高b值像和T1加权图像，在S3构建的神经网络上进行训练，得到最终的模型；
S5：选择最终模型预测目标模态的三维图像数据，并用评价指标对数据进行评价。
2.根据权利要求1所述的基于E-GAN网络的弥散磁共振数据修复方法，其特征在于，所述步骤S2包括：
S21：对dMRI图像数据集进行预处理：
对dMRI图像数据集用深度模型进行颅骨分离，获取到大脑组织图像；
进行b值图像提取，提取出成对的b0图像和高b值图像；
对成对的图像数据集进行强度归一化处理，使每个图像数据的强度值都在0到1之间；
将图像数据样本重新采样为3D张量，其中数据样本的采样维度重新缩放至256×256×256；
将缩放后的图像沿冠状面切片；
S22：对T1加权像数据集进行预处理：
将T1加权像用深度模型进行颅骨分离，获取到大脑组织图像；
将T1加权像配准到对应的高b值图像上，使形态、切片数与之对齐；对T1加权像进行强度归一化处理，使每个图像数据的强度值在0到1之间；
将图像数据样本重采样为3D张量，维度为256×256×256；
将重采样后的图像沿冠状面切片。
3.根据权利要求1所述的基于E-GAN网络的弥散磁共振数据修复方法，其特征在于，所述步骤S3中神经网络采用E-GAN网络，E-GAN网络包括E-Net生成器架构和PatchGAN鉴别器架构；
E-Net生成器架构包括：两个相同的卷积编码结构和一个共享的卷积解码结构；
卷积编码结构包括8个下采样Block，第一个Block由卷积模块和LeakyReLU激活函数构成，其卷积核大小为4×4，步长为2，边缘扩充像素值为1，设置输出维度为输入维度的一半；第二到第七个Block按卷积模块、BatchNorm、LeakyReLU激活函数的顺序构成，其中卷积核大小为4×4，步长为2，边缘扩充像素值为1，设置输出维度为输入维度的一半。最后一个Block由卷积模块和ReLU激活函数组成，卷积核大小为4×4，步长为2，边缘扩充像素值为1，输出维度y为输入维度x的1/2；
卷积解码结构包括8个上采样Block，前七个Block按转置卷积、BatchNorm操作、ReLU激活函数的顺序构成，转置卷积层的卷积核大小为4×4，步长为2，边缘扩充像素值为1，输出维度y为输入维度x的2倍；最后一个Block按转置卷积Tanh激活函数组成。两个编码器的第i个下采样Block输出的特征图与第9-i个上采样Block的输入特征图通过长连接进行维度融合操作，其中1≤i≤8；
PatchGAN鉴别器架构包括五个Block，其中第一个Block和第二个Block由卷积模块和LeakyReLU激活函数构成，卷积核大小为4×4，步长为2，边缘扩充像素值为1，设置输出维度y为输入维度x的1/2；第三个和第四个Block由卷积模块、BatchNorm操作和LeakyReLU激活函数组成，卷积核大小为4×4，步长为2，边缘扩充像素值为1，设置输出维度y为输入维度x的1/2；第五个Block由卷积模块和BatchNorm操作组成，卷积核大小为4×4，步长为2，边缘扩充像素值为1，设置输出维度y为输入维度x的1/2。
4.根据权利要求3所述的基于E-GAN网络的弥散磁共振数据修复方法，其特征在于，所述E-GAN网络中卷积模块的数学形式为：
表示网络中每个卷积层的输入，/>表示/>经过一个卷积层之后的输出；
表示卷积操作、批量归一化和激活函数的某一个序列，/>定义为：
所述和/>表示权重矩阵，所述/>表示进行卷积操作，/> 表示批量归一化，为激活函数。
5.根据权利要求2所述的基于E-GAN网络的弥散磁共振数据修复方法，其特征在于，所述步骤S4包括：
S41：使用n个数据集配对的高b值图像、b0图像和T1图像的冠状面切片数据集在E-GAN上进行训练；
S42：以训练多个epoch的模型作为预训练模型，再分别对n个数据集在E-GAN上训练，沿冠状面将E-GAN网络生成的图像进行合并，得到三维的预测b0图像；
S43：重新缩放图像，使其和原始b0图像维度相同；
S44：通过计算每一次迭代中预测结果和真实b0图像之间的结构相似性，最终分别选择相似性指数最高的n个模型作为最终的模型。
6.根据权利要求5所述的基于E-GAN网络的弥散磁共振数据修复方法，其特征在于，所述步骤S42中，epoch的模型的数量为20到200。
7.根据权利要求1所述的基于E-GAN网络的弥散磁共振数据修复方法，其特征在于，所述S5预测目标模态的三维图像数据过程包括：将S4中得到的n个模型分别作为n个数据集的最终E-GAN模型，将待生成的图像进行强度标准化处理，使每个图像数据的强度值都在0到1之间，并将图像数据样本重新采样为3D强度矩阵，其中数据样本的最高采样维度重新缩放至256，将缩放后的图像沿冠状面重新采样成切片，经过E-GAN模型得出平均三维概率矩阵，重新缩放和裁剪矩阵得到与原始图像尺寸相同的b0图像，该图像为生成结果。
8.根据权利要求1所述的基于E-GAN网络的弥散磁共振数据修复方法，其特征在于，所述步骤S5中评价指标包括峰值信噪比，结构相似性，互信息。其中，峰值信噪比越大，说明图像质量越高；结构相似性越接近于1，说明生成图像的结构于目标图像越相似；互信息越大，说明生成图像与目标图像相关性越高。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410202966.7A CN118037594A (zh) | 2024-02-23 | 2024-02-23 | 一种基于e-gan网络的弥散磁共振数据修复方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410202966.7A CN118037594A (zh) | 2024-02-23 | 2024-02-23 | 一种基于e-gan网络的弥散磁共振数据修复方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118037594A true CN118037594A (zh) | 2024-05-14 |
Family
ID=90987027
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410202966.7A Pending CN118037594A (zh) | 2024-02-23 | 2024-02-23 | 一种基于e-gan网络的弥散磁共振数据修复方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118037594A (zh) |
-
2024
- 2024-02-23 CN CN202410202966.7A patent/CN118037594A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113763442B (zh) | 一种可变形医学图像配准方法及系统 | |
| CN111738363B (zh) | 基于改进的3d cnn网络的阿尔茨海默病分类方法 | |
| CN111461232A (zh) | 一种基于多策略批量式主动学习的核磁共振图像分类方法 | |
| CN112132878B (zh) | 基于卷积神经网络的端到端大脑核磁共振图像配准方法 | |
| CN112785593A (zh) | 一种基于深度学习的脑部图像分割方法 | |
| CN112634265B (zh) | 基于dnn的胰腺全自动分割模型的构建、分割方法及系统 | |
| CN114266939A (zh) | 一种基于ResTLU-Net模型的脑提取方法 | |
| CN115496720A (zh) | 基于ViT机制模型的胃肠癌病理图像分割方法及相关设备 | |
| CN117274599A (zh) | 一种基于组合双任务自编码器的脑磁共振分割方法及系统 | |
| CN117372452A (zh) | 结合高效Transformer与UNet的3D脑肿瘤分割模型 | |
| CN116091412A (zh) | 一种从pet/ct图像中分割肿瘤的方法 | |
| Li et al. | Category guided attention network for brain tumor segmentation in MRI | |
| Li et al. | MCRformer: Morphological constraint reticular transformer for 3D medical image segmentation | |
| Li et al. | CorrDiff: Corrective Diffusion Model for Accurate MRI Brain Tumor Segmentation | |
| CN116309754A (zh) | 一种基于局部-全局信息协作的大脑医学图像配准方法及系统 | |
| CN117689754A (zh) | 一种基于人脑功能磁共振成像的潜在模型图像重建方法、系统、设备及介质 | |
| CN117746042A (zh) | 一种基于APA-UNet的肝脏肿瘤CT图像分割方法 | |
| CN117475268A (zh) | 一种基于sgdd gan的多模态医学图像融合方法 | |
| CN116704184A (zh) | 一种基于Deep U-Net模型的左心房及疤痕分割方法 | |
| CN118037594A (zh) | 一种基于e-gan网络的弥散磁共振数据修复方法 | |
| CN115565671A (zh) | 基于跨模型相互教学半监督的房颤辅助分析方法 | |
| CN113689544B (zh) | 一种跨视图几何约束的医学影像三维重建方法 | |
| CN115691770A (zh) | 基于条件分数的跨模态医学影像补全方法、装置及设备 | |
| CN112734906B (zh) | 一种基于知识蒸馏的超声或ct医学影像的三维重建方法 | |
| Lou et al. | Nu-net based gan: Using nested u-structure for whole heart auto segmentation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |