CN114140404A - 基于人工智能的肺部多核mri双域超分辨率重建方法 - Google Patents
基于人工智能的肺部多核mri双域超分辨率重建方法 Download PDFInfo
- Publication number
- CN114140404A CN114140404A CN202111371902.2A CN202111371902A CN114140404A CN 114140404 A CN114140404 A CN 114140404A CN 202111371902 A CN202111371902 A CN 202111371902A CN 114140404 A CN114140404 A CN 114140404A
- Authority
- CN
- China
- Prior art keywords
- resolution
- image
- core
- reconstruction
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 19
- 210000004072 lung Anatomy 0.000 title claims abstract description 14
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 12
- 238000002595 magnetic resonance imaging Methods 0.000 title abstract description 19
- 230000004927 fusion Effects 0.000 claims abstract description 24
- 238000012549 training Methods 0.000 claims description 23
- 238000005070 sampling Methods 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 9
- 101100173586 Schizosaccharomyces pombe (strain 972 / ATCC 24843) fft2 gene Proteins 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 101100269850 Caenorhabditis elegans mask-1 gene Proteins 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 3
- 238000005481 NMR spectroscopy Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 6
- 208000006545 Chronic Obstructive Pulmonary Disease Diseases 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 208000019693 Lung disease Diseases 0.000 description 2
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 2
- 238000012307 MRI technique Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 201000005202 lung cancer Diseases 0.000 description 2
- 208000020816 lung neoplasm Diseases 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000002503 metabolic effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000002685 pulmonary effect Effects 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
- A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
- A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
- A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- General Physics & Mathematics (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Mathematical Physics (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Radiology & Medical Imaging (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- High Energy & Nuclear Physics (AREA)
- Quality & Reliability (AREA)
- Fuzzy Systems (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明提供了基于人工智能的肺部多核MRI双域超分辨率重建方法,包括构建k空间重建网络和图像域重建网络。利用k空间重建网络重建上采样的多核低分辨率k空间域的数据,再利用k空间重建网络和图像域重建网络得到超分辨率的多核图像。本发明采用双域重建网络,有效地利用了数据在k空间及图像域中各自的特征;采用图像融合技术,有效利用了多核数据彼此在空间中的关联性。相比于传统的超分辨率重建方法,本发明可学习更丰富的特征,有效提高肺部多核磁共振图像的超分辨率重建效果。
Description
技术领域
本发明属于成像技术领域,具体涉及基于人工智能的肺部多核MRI双域超分辨率重建方法。
背景技术
磁共振成像(Magnetic Resonance Imaging,MRI)具有非侵入、无放射性的特,可以在整体水平上提供丰富的结构和功能信息,在临床诊断和临床前研究等领域有着重要且广泛的应用[Mehmet A,Steen M,Sebastian W,et al.Magn.Reson. Med.,2019,439:453.]。质子(1H)是活体含量最高的磁共振可观测核,且具有最高的旋磁比,经典MRI通常以质子(1H)作为成像观测核。而多核元素相比1H具有更大的化学位移范围,从而能够提供更全面的功能和代谢信息。近年来,磁共振可观测多核元素的MRI能力正在不断被研究探索,特别地,针对于肺部 MRI技术的发展。
肺部疾病如慢性阻塞性肺部疾病(Chronic Obstructive Pulmonary Diseases,COPD)、肺癌等是威胁我国人民生命健康的重大疾病。其中COPD目前在国内有近1亿患者,肺癌的发病率及死亡率在全部恶性肿瘤中占17.9%及23.8%[https://gco.iarc.fr/],居恶性肿瘤之首。[Spinelli A,Pellino G.Brit.J. Surg.,2020,107:785.]。多核MRI技术有望为肺部重大疾病的诊断和治疗提供有效支持。
然而,多核MRI技术受限于采集数据量大、耗费时间长、超极化气体极化度在成像过程中不可恢复等因素,难以获取高质量的肺部多核磁共振数据。最近,深度学习在超分辨率图像重建领域取得了成功[Wei.L,Jia.H,Narendra.A.IEEE Trans.Pattern Anal.,2019,41:2599],通过卷积神经网络训练成对的低分辨率及高分辨率图像,可有效将低分辨率数据提升为高分辨率数据,提升数据质量。尽管深度学习算法能够得到较高质量的超分辨率重建图像,但是,仍然需要大量高分辨率图像作为标签,多核MRI易受噪声和伪影的影响,高质量的多核MRI图像较少,较少的训练集数据难以提取到丰富的图像特征,影响最终的超分辨率重建结果。
发明内容
本发明的目的在于针对现有技术存在的上述缺陷,提供基于人工智能的肺部多核MRI双域超分辨率重建方法,利用复值卷积层保留了k空间中的相位信息,同时学习分割和重建任务,使卷积神经网络能够充分利用多核数据的空间关联性,以及k空间域、图像域的双域信息,并学习更丰富的特征,有效提高图像超分辨率重建效果。
本发明的上述目的通过以下技术方案实现:
基于人工智能的肺部多核MRI双域超分辨率重建方法,包括以下步骤:
步骤1、构建训练集和测试集,训练集和测试集均包括多个样本对,样本对包括多核高分辨率k空间数据和对应的多核低分辨率k空间数据,将训练集中多核高分辨率k空间数据做傅里叶逆变换得到多核高分辨率图像,再将多核高分辨率图像取最大值,得到多核高分辨率融合图像;
步骤2、构建k空间重建网络;
步骤3、将步骤1生成的训练集中多核低分辨率k空间数据输入到步骤2构建的k空间重建网络中得到重建多核k空间数据;
步骤4、构建图像域重建网络;
步骤5、将步骤3得到的重建多核k空间数据进行二维傅里叶反变换得到多核图像域数据,再将再将多核图像域数据取最大值,得到多核融合数据,将多核图像域数据及多核融合数据输入到步骤4构建的图像域重建网络中得到超分辨率多核重建图像及超分辨率多核融合图像IA,再将超分辨率多核重建图像取最大值进行融合,得到融合的超分辨率多核重建图像IB;
步骤6、定义损失函数;
步骤7、根据步骤6设定的损失函数,利用步骤1生成的训练集对步骤2中的k空间重建网络及步骤4中的图像域重建网络进行整体训练,训练完成后保存模型参数。
如上所述的步骤2包括以下步骤:
k空间重建网络包括级联的多个复值卷积层、多个ReLu激活层、一个上采样模块和一个k空间数据一致层,
k空间重建网络中的上采样模块包括上采样层和复值卷积层,
k空间重建网络的输入通道数为多核k空间数据中核的数目,
k空间数据一致层的映射函数f(KDC)由下式表示:
f(KDC)=kr×(1-mask1)+ku
其中,kr为k空间重建网络中上采样模块输出的k空间数据,ku为k空间重建网络输入的多核低分辨率k空间数据,mask1是中心区域数值为1,其余数值均为0的矩阵。
如上所述的步骤4中图像域重建网络包括级联的多个残差模块、多个复值卷积模块、一个上采样模块和一个图像域数据一致层,
残差模块包括多个复值卷积层及ReLu激活层,
图像域重建网络中的上采样模块包括一个上采样层和复值卷积层,
图像域数据一致层的映射函数f(IDC)由下式表示:
f(IDC)=IFFT2(FFT2(Ir)×(1-mask2)+kl)
其中,FFT2和IFFT2分别代表二维傅里叶变换和二维傅里叶反变换,Ir为图像域重建网络的上采样模块输出的图像,kl为步骤3中的重建多核k空间数据, Mask2是尺寸与步骤1中多核高分辨率图像尺寸相同的矩阵,中心区域的数值为 1,其余数值均为0。
如上所述的步骤6中损失函数为以下五部分的任意组合,上述五部分分别为:步骤3中的重建多核k空间数据与步骤1中对应的多核高分辨率k空间数据之间的均方误差损失;步骤5中得到的超分辨率多核重建图像与步骤1中对应的多核高分辨率图像的平均绝对误差损失;步骤5中图像域重建网络输出的超分辨率多核融合图像IA与步骤1中对应的多核高分辨率融合图像之间的L1损失;步骤5 中图像域重建网络输出的超分辨率多核融合图像IA与步骤5中融合的超分辨率多核重建图像IB之间的L1损失;步骤1中对应的多核高分辨率融合图像与步骤 5中融合的超分辨率多核重建图像IB之间的L1损失。
本发明相对于现有技术,具有以下有益效果
本发明将低分辨率多核k空间数据直接输入到卷积神经网络模型(k空间重建网络+图像域重建网络)中,得到超分辨率重建图像,网络采用了复值卷积层,更好地利用了k空间数据中的相位信息。与传统的超分辨率重建方法相比,提升了对复值数据的利用效率,有助于提升重建精度。
此外,通过图像融合思想,在网络及损失函数中约束对融合图像的重建效果,能够更好地利用多核信息关联性,不仅可以有效提升重建精度,还可挖掘多核数据融合后的价值。
附图说明
图1是本发明的流程图。
图2是k空间重建网络的结构示意图。
图3是上采样模块结构示意图。
图4是残差模块结构示意图。
图5是测试集重建结果图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明,下面结合实施例对本发明作进一步的详细描述,应当理解,此处所描述的实施示例仅用于说明和解释本发明,并不用于限定本发明。
如图1所示,一种基于人工智能的肺部多核MRI双域超分辨率重建方法,具体包括以下步骤:
步骤1、多核高分辨率(分辨率=3mm)k空间数据(H、129Xe核)和对应的多核低分辨率(分辨率=12mm)k空间数据(H、129Xe核)构成样本对,一部分样本对构成训练集,另一部分样本对构成测试集,上述多核高分辨率k空间数据(H、129Xe核)和多核低分辨率k空间数据(H、129Xe核)可以是现有历史数据。
也可以通过以下方式获得:利用Flash、3DbSSFP序列扫描94例志愿者获得多核高分辨率k空间数据(H、129Xe核)和对应的多核低分辨率k空间数据 (H、129Xe核),高分辨率k空间数据矩阵大小为96×96,层数为24,超分辨率方法相对于低分辨率数据提升倍数为4倍,即低分辨率k空间数据矩阵大小为 24×24,采样方式为笛卡尔采样。
本实施例中,共获得929个由多核高分辨率k空间数据(H、129Xe核)和对应的多核低分辨率k空间数据(H、129Xe核)构成的样本对,其中801个样本对作为训练集,128个样本对作为测试集。
之后,将训练集中多核高分辨率k空间数据(H、129Xe核)做傅里叶逆变换得到多核高分辨率图像(H、129Xe核),再将多核高分辨率图像(H、129Xe核) 取最大值,得到多核高分辨率融合图像(H、129Xe核)。
步骤2、构建k空间重建网络,k空间重建网络的结构示意图如图2所示, k空间重建网络包括级联的5个复值卷积层、4个ReLu激活层、一个上采样模块和一个k空间数据一致层。
k空间重建网络中的上采样模块结构示意图如图3所示,包括1个上采样层, 1个复值卷积层,上采样倍数为2。
k空间重建网络的输入通道数为2,输出通道数为2。
k空间重建网络中的复值卷积层的卷积核大小为3×3,通道数为64。
k空间数据一致层的映射函数f(KDC)由下式表示:
f(KDC)=kr×(1-mask1)+ku
其中,kr为k空间重建网络中上采样模块输出的k空间数据,ku为k空间重建网络输入的多核低分辨率k空间数据(H、129Xe核),mask1是一个尺寸为48×48 的矩阵,中心区域的24×24数值为1,其余数值均为0。
步骤3、将步骤1生成的训练集中多核低分辨率k空间数据输入到步骤2 构建的k空间重建网络中得到重建多核k空间数据(H、129Xe核)。
步骤4、构建图像域重建网络,图像域重建网络包括级联的24个残差模块、 2个复值卷积层、一个上采样模块和一个图像域数据一致层。图像域重建网络中的复值卷积层结构如图2所示,图像域重建网络中的复值卷积层的结构与k空间重建网络中的复值卷积层相同,即图像域重建网络中的复值卷积层的卷积核大小为3×3,通道数为64,残差模块结构如图4所示,残差模块包括2个复值卷积层及1个ReLu激活层,残差模块中的每个复值卷积层的卷积核的大小为3×3,通道数为64。图像域重建网络中的上采样模块结构示意图如图3所示,包括一个上采样层和复值卷积层,上采样倍数为2。图像域重建网络的输入通道数为3,输出通道数为3。图像域数据一致层的映射函数f(IDC)由下式表示:
f(IDC)=IFFT2(FFT2(Ir)×(1-mask2)+kl)
其中,FFT2和IFFT2分别代表二维傅里叶变换和二维傅里叶反变换,Ir为图像域重建网络的上采样模块输出的图像,kl为步骤3中的重建多核k空间数据 (H、129Xe核)。Mask2是一个尺寸为96×96的矩阵,中心区域的48×48数值为 1,其余数值均为0。
步骤5、将步骤3得到的重建多核k空间数据(H、129Xe核)进行二维傅里叶反变换得到多核图像域数据(H、129Xe核),再将再将多核图像域数据(H、129Xe核)取最大值,得到多核融合数据(H、129Xe核)。将多核图像域数据(H、129Xe核)及多核融合数据(H、129Xe核)输入到步骤4构建的图像域重建网络中得到超分辨率多核重建图像(H、129Xe核)及超分辨率多核融合图像(H、129Xe 核)IA。再将超分辨率多核重建图像(H、129Xe核)取最大值进行融合,得到融合的超分辨率多核重建图像IB。
步骤6、设定损失函数。网络的损失函数为以下五部分的任意组合,上述五部分分别为:步骤3中的重建多核k空间数据(H、129Xe核)与步骤1中对应的多核高分辨率k空间数据(H、129Xe核)之间的均方误差(L2)损失;步骤5中得到的超分辨率多核重建图像(H、129Xe核)与步骤1中对应的多核高分辨率图像(H、129Xe核)的平均绝对误差(L1)损失;步骤5中图像域重建网络输出的超分辨率多核融合图像(H、129Xe核)IA与步骤1中对应的多核高分辨率融合图像(H、129Xe核)之间的L1损失;步骤5中图像域重建网络输出的超分辨率多核融合图像(H、129Xe核)IA与步骤5中融合的超分辨率多核重建图像IB之间的L1损失;步骤1中对应的多核高分辨率融合图像(H、129Xe核)与步骤5中融合的超分辨率多核重建图像IB之间的L1损失。损失函数项还可根据实际情况做增加、修改、加权等。
步骤7、根据步骤6设定的损失函数,利用步骤1生成的训练集对步骤2 中的k空间重建网络及步骤4中的图像域重建网络进行整体训练,学习率初始化为0.0001,20个epoch之后乘以0.1,batch大小设置为50,epoch设置为500,使用ADAM优化器在Tensorflow2.0平台上进行网络的训练,训练完成后保存模型参数。
步骤8、将步骤1生成的测试集中的多核低分辨率k空间数据输入到步骤7 训练好的k空间重建网络及图像域重建网络中,得到重建图像并进行定量评价,如利用峰值信噪比(Peak Signal-to-Noise Ratio,PSNR),结构相似性(Structural Similarity,SSIM)等评价指标定量分析重建结果。
图5展示了测试集中一低分辨率k空间数据(H、129Xe核)的重建结果图,图像底部标注了PSNR/SSSIM值。第一列为低分辨率图像(H、129Xe核),第二列为高分辨率图像(H、129Xe核),第三列为采用本发明方法的重建结果图。由结果图可以看出,本发明提供的一种基于人工智能的肺部多核MRI双域超分辨率重建方法,能够从低分辨率多核k空间数据中重建出高质量的磁共振图像。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (4)
1.基于人工智能的肺部多核MRI双域超分辨率重建方法,其特征在于,包括以下步骤:
步骤1、构建训练集和测试集,训练集和测试集均包括多个样本对,样本对包括多核高分辨率k空间数据和对应的多核低分辨率k空间数据,将训练集中多核高分辨率k空间数据做傅里叶逆变换得到多核高分辨率图像,再将多核高分辨率图像取最大值,得到多核高分辨率融合图像;
步骤2、构建k空间重建网络;
步骤3、将步骤1生成的训练集中多核低分辨率k空间数据输入到步骤2构建的k空间重建网络中得到重建多核k空间数据;
步骤4、构建图像域重建网络;
步骤5、将步骤3得到的重建多核k空间数据进行二维傅里叶反变换得到多核图像域数据,再将再将多核图像域数据取最大值,得到多核融合数据,将多核图像域数据及多核融合数据输入到步骤4构建的图像域重建网络中得到超分辨率多核重建图像及超分辨率多核融合图像IA,再将超分辨率多核重建图像取最大值进行融合,得到融合的超分辨率多核重建图像IB;
步骤6、定义损失函数;
步骤7、根据步骤6设定的损失函数,利用步骤1生成的训练集对步骤2中的k空间重建网络及步骤4中的图像域重建网络进行整体训练,训练完成后保存模型参数。
2.根据权利要求1所述的基于人工智能的肺部多核MRI双域超分辨率重建方法,其特征在于,所述的步骤2包括以下步骤:
k空间重建网络包括级联的多个复值卷积层、多个ReLu激活层、一个上采样模块和一个k空间数据一致层,
k空间重建网络中的上采样模块包括上采样层和复值卷积层,
k空间重建网络的输入通道数为多核k空间数据中核的数目,
k空间数据一致层的映射函数f(KDC)由下式表示:
f(KDC)=kr×(1-mask1)+ku
其中,kr为k空间重建网络中上采样模块输出的k空间数据,ku为k空间重建网络输入的多核低分辨率k空间数据,mask1是中心区域数值为1,其余数值均为0的矩阵。
3.根据权利要求2所述的基于人工智能的肺部多核MRI双域超分辨率重建方法,其特征在于,所述的步骤4中图像域重建网络包括级联的多个残差模块、多个复值卷积模块、一个上采样模块和一个图像域数据一致层,
残差模块包括多个复值卷积层及ReLu激活层,
图像域重建网络中的上采样模块包括一个上采样层和复值卷积层,
图像域数据一致层的映射函数f(IDC)由下式表示:
f(IDC)=IFFT2(FFT2(Ir)×(1-mask2)+kl)
其中,FFT2和IFFT2分别代表二维傅里叶变换和二维傅里叶反变换,Ir为图像域重建网络的上采样模块输出的图像,kl为步骤3中的重建多核k空间数据,Mask2是尺寸与步骤1中多核高分辨率图像尺寸相同的矩阵,中心区域的数值为1,其余数值均为0。
4.根据权利要求1所述的基于人工智能的肺部多核MRI双域超分辨率重建方法,其特征在于,所述的步骤6中损失函数为以下五部分的任意组合,上述五部分分别为:步骤3中的重建多核k空间数据与步骤1中对应的多核高分辨率k空间数据之间的均方误差损失;步骤5中得到的超分辨率多核重建图像与步骤1中对应的多核高分辨率图像的平均绝对误差损失;步骤5中图像域重建网络输出的超分辨率多核融合图像IA与步骤1中对应的多核高分辨率融合图像之间的L1损失;步骤5中图像域重建网络输出的超分辨率多核融合图像IA与步骤5中融合的超分辨率多核重建图像IB之间的L1损失;步骤1中对应的多核高分辨率融合图像与步骤5中融合的超分辨率多核重建图像IB之间的L1损失。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111371902.2A CN114140404A (zh) | 2021-11-18 | 2021-11-18 | 基于人工智能的肺部多核mri双域超分辨率重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111371902.2A CN114140404A (zh) | 2021-11-18 | 2021-11-18 | 基于人工智能的肺部多核mri双域超分辨率重建方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114140404A true CN114140404A (zh) | 2022-03-04 |
Family
ID=80390679
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111371902.2A Pending CN114140404A (zh) | 2021-11-18 | 2021-11-18 | 基于人工智能的肺部多核mri双域超分辨率重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114140404A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115272510A (zh) * | 2022-08-08 | 2022-11-01 | 中国科学院精密测量科学与技术创新研究院 | 基于编码增强复值网络的肺部气体mri重建方法 |
-
2021
- 2021-11-18 CN CN202111371902.2A patent/CN114140404A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115272510A (zh) * | 2022-08-08 | 2022-11-01 | 中国科学院精密测量科学与技术创新研究院 | 基于编码增强复值网络的肺部气体mri重建方法 |
CN115272510B (zh) * | 2022-08-08 | 2023-09-22 | 中国科学院精密测量科学与技术创新研究院 | 基于编码增强复值网络的肺部气体mri重建方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wang et al. | DeepcomplexMRI: Exploiting deep residual network for fast parallel MR imaging with complex convolution | |
Knoll et al. | Deep-learning methods for parallel magnetic resonance imaging reconstruction: A survey of the current approaches, trends, and issues | |
Sandino et al. | Compressed sensing: From research to clinical practice with deep neural networks: Shortening scan times for magnetic resonance imaging | |
CN108335339B (zh) | 一种基于深度学习和凸集投影的磁共振重建方法 | |
Wang et al. | Deep learning for fast MR imaging: a review for learning reconstruction from incomplete k-space data | |
CN108090871A (zh) | 一种基于卷积神经网络的多对比度磁共振图像重建方法 | |
US11170543B2 (en) | MRI image reconstruction from undersampled data using adversarially trained generative neural network | |
Cole et al. | Analysis of deep complex-valued convolutional neural networks for MRI reconstruction | |
Luo et al. | Bayesian MRI reconstruction with joint uncertainty estimation using diffusion models | |
CN111487573B (zh) | 一种用于磁共振欠采样成像的强化型残差级联网络模型 | |
CN111754598B (zh) | 基于变换学习的局部空间邻域并行磁共振成像重构方法 | |
Lv et al. | Parallel imaging with a combination of sensitivity encoding and generative adversarial networks | |
CN114119791A (zh) | 一种基于交叉域迭代网络的mri欠采样图像重建方法 | |
CN114140404A (zh) | 基于人工智能的肺部多核mri双域超分辨率重建方法 | |
CN113538611A (zh) | 一种无监督的心脏磁共振参数定量图像重建方法 | |
Fan et al. | An interpretable MRI reconstruction network with two-grid-cycle correction and geometric prior distillation | |
Ekanayake et al. | Multi-branch Cascaded Swin Transformers with Attention to k-space Sampling Pattern for Accelerated MRI Reconstruction | |
Guan et al. | Magnetic resonance imaging reconstruction using a deep energy‐based model | |
Li et al. | Deep residual network for highly accelerated fMRI reconstruction using variable density spiral trajectory | |
Dar et al. | Learning deep mri reconstruction models from scratch in low-data regimes | |
CN113506258B (zh) | 多任务复值深度学习的欠采样肺部气体mri重建方法 | |
CN116630178A (zh) | 基于U-Net的极低场磁共振图像工频伪影抑制方法 | |
CN110992435A (zh) | 图像重建方法及设备、成像数据的处理方法及装置 | |
CN113920211B (zh) | 一种基于深度学习的快速磁敏感加权成像方法 | |
Cheng et al. | High-resolution 3D magnetic resonance fingerprinting with a graph convolutional network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |