CN112598578B - 一种核磁共振图像超分辨率重建系统及方法 - Google Patents
一种核磁共振图像超分辨率重建系统及方法 Download PDFInfo
- Publication number
- CN112598578B CN112598578B CN202011574791.0A CN202011574791A CN112598578B CN 112598578 B CN112598578 B CN 112598578B CN 202011574791 A CN202011574791 A CN 202011574791A CN 112598578 B CN112598578 B CN 112598578B
- Authority
- CN
- China
- Prior art keywords
- network
- resolution image
- resolution
- image
- magnetic resonance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005481 NMR spectroscopy Methods 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 41
- 238000010276 construction Methods 0.000 claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims description 7
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 125000004435 hydrogen atom Chemical group [H]* 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000007430 reference method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明涉及一种核磁共振图像超分辨率重建系统及方法。该系统包括：生成对抗网络、数据集构建模块和训练模块；生成对抗网络包括生成器和判别器，生成器用于将核磁共振图像重建为第一高分辨率图像；判别器的输入为核磁共振图像和第一高分辨率图像，判别器包括第一网络、第二网络和第三网络，第一网络用于共享生成器的参数；第二网络用于根据第一网络共享的参数对第一高分辨率图像进行判别；第三网络用于输出第二网络的判别结果；数据集构建模块用于构建训练数据集；训练模块用于对生成对抗网络进行训练；训练好的生成对抗网络中的生成器用于对待重建的核磁共振图像进行超分辨率重建。本发明可以提高重建高分辨率图像的准确度。
Description
技术领域
本发明涉及图像处理领域，特别是涉及一种核磁共振图像超分辨率重建系统及方法。
背景技术
超分辨率是指从观测到的低分辨率图像重建出相应的高分辨率图像的技术，具体来说，图像超分辨率重建技术指的是利用数字图像处理、计算机视觉等领域的相关知识，借由特定的算法和处理流程，从给定的低分辨率图像中复原出高分辨率图像的过程。其旨在克服或补偿由于图像采集系统或采集环境本身的限制，导致的成像图像模糊、质量低下、感兴趣区域不显著等问题。
医学图像的超分辨率相比自然图像的超分辨率有其自身的特点，首先，从数据来源讲，医学图像的成像过程比较复杂，例如MRI图像，通过对静磁场中的人体施加某种特定频率的射频脉冲，使人体中的氢质子受到激励而发生磁共振现象。停止脉冲后，质子在弛豫过程中产生MR(Magnetic Resonance)信号。通过对MR信号的接收、空间编码和图像重建等处理过程，即产生MRI图像。其次，医学图像的模态多，数据处理流程复杂，不同设备获得的图像存在差异，这从某种程度上也阻碍了医学图像超分辨率研究的发展。最重要的一点是，医学图像一般用于医生辅助诊断，图片质量与医生的诊断直接相关，在现有条件下，利用技术手段产生的医学图像缺乏可解释性。即便如此，医学图像的超分辨率结果也可以为医生辅助诊断提供一定程度上的帮助。近年来医学影像计算发展势头很强，越来越多的医工交叉初创公司诞生，从侧面反映了医学图像处理存在的应用需求和巨大市场潜力。
目前流行超分辨率方法都是基于生成对抗网络(Generative AdversarialNetworks，GAN)来进行的，如图1所示，GAN有两部分组成，其中G是生成器，作用是从低分辨率的输入图像生成高分辨率的输出图像，在图中表示为低分辨率图片x经过G的作用生成高分辨率G(x)；D是判别器，判断图片是真的高分辨率图片还是假的高分辨率图片，在图中表示为D对G(x)判定为假(fake)，对原始的高分辨率yr判定为真(real)；当判别器无法识别生成的图片真假的时候，认为生成的高分辨图像质量已经满足要求。
现有的基于GAN的超分辨率方法把生成器和判别器分别当作两个相对独立的网络，在模型训练过程中G和D交替优化，D没有有效的利用G中的信息，造成GAN训练参数难以调整、模型收敛慢等问题，而且G生成的高分辨率图片与低分辨率图片的匹配度较低，从现有结果的细节上来看，现有技术产生的高分辨率图片确有很多细节，但是这些细节在原数据中的高分辨率中并没有出现过。
发明内容
本发明的目的是提供一种核磁共振图像超分辨率重建系统及方法，以提高高分辨率图片与核磁共振图像的匹配度，同时提升超分辨率重建模型的性能。
为实现上述目的，本发明提供了如下方案：
一种核磁共振图像超分辨率重建系统，包括：生成对抗网络、数据集构建模块和训练模块；
所述生成对抗网络包括生成器和判别器，所述生成器用于将核磁共振图像重建为第一高分辨率图像；所述判别器的输入为所述核磁共振图像和所述第一高分辨率图像，所述判别器包括第一网络、第二网络和第三网络，所述第一网络用于共享所述生成器的参数；所述第二网络用于根据所述第一网络共享的参数对所述第一高分辨率图像进行判别；所述第三网络用于输出所述第二网络的判别结果；
所述数据集构建模块用于构建训练数据集；所述训练数据集中每个训练样本为高分辨率图像样本与对应的低分辨率核磁共振图像构成的一组图片；
所述训练模块用于利用所述训练数据集对所述生成对抗网络进行训练，得到训练好的生成对抗网络；所述训练好的生成对抗网络中的生成器用于对待重建的核磁共振图像进行超分辨率重建。
可选的，所述第二网络具体包括：
高分辨率图像生成模块，用于根据所述第一网络共享的参数生成第二高分辨率图像；
判别模块，用于根据所述第二高分辨率图像对所述第一高分辨率图像进行判别。
可选的，所述判别模块利用公式OP1(y1,y2)＝||y1-y2||1计算所述第一高分辨率图像和所述第二高分辨率图像的L1范数；其中，y1为所述第一高分辨率图像，y2为所述第二高分辨率图像，OP1(y1,y2)为第一高分辨率图像和第二高分辨率图像的L1范数。
可选的，所述第三网络的输入为所述第一高分辨率图像和所述L1范数，所述L1范数作为权重作用至所述第三网络的中间层，输出权重作用后的特征图，得到所述判别结果。
可选的，所述判别模块利用公式OP2(y1,y2)＝|y1-y2|计算所述第一高分辨率图像和所述第二高分辨率图像的像素差值；其中，y1为所述第一高分辨率图像，y2为所述第二高分辨率图像，OP2(y1,y2)为第一高分辨率图像和第二高分辨率图像的像素差值。
可选的，所述第三网络的输出为所述第一高分辨率图像和第二高分辨率图像的像素差值构成的矩阵。
本发明还提供一种核磁共振图像超分辨率重建方法，包括：
构建生成对抗网络；所述生成对抗网络包括生成器和判别器，所述生成器用于将核磁共振图像重建为第一高分辨率图像；所述判别器的输入为所述核磁共振图像和所述第一高分辨率图像，所述判别器包括第一网络、第二网络和第三网络，所述第一网络用于共享所述生成器的参数；所述第二网络用于根据所述第一网络共享的参数对所述第一高分辨率图像进行判别；所述第三网络用于输出所述第二网络的判别结果；
构建训练数据集；所述训练数据集中每个训练样本为高分辨率图像样本与对应的低分辨率核磁共振图像构成的一组图片；
利用所述训练数据集对所述生成对抗网络进行训练，得到训练好的生成对抗网络；
利用所述训练好的生成对抗网络中的生成器对待重建的核磁共振图像进行超分辨率重建。
可选的，所述第二网络用于根据所述第一网络共享的参数生成第二高分辨率图像，并根据所述第二高分辨率图像对所述第一高分辨率图像进行判别。
可选的，所述第二网络利用公式OP1(y1,y2)＝||y1-y2||1计算所述第一高分辨率图像和所述第二高分辨率图像的L1范数；或者利用公式OP2(y1,y2)＝|y1-y2|计算所述第一高分辨率图像和所述第二高分辨率图像的像素差值；其中，y1为所述第一高分辨率图像，y2为所述第二高分辨率图像，OP1(y1,y2)为第一高分辨率图像和第二高分辨率图像的L1范数，OP2(y1,y2)为第一高分辨率图像和第二高分辨率图像的像素差值。
可选的，当所述第二网络利用公式OP1(y1,y2)＝||y1-y2||1计算所述第一高分辨率图像和所述第二高分辨率图像的L1范数时；所述第三网络的输入为所述第一高分辨率图像和所述L1范数，所述L1范数作为权重作用至所述第三网络的中间层，输出权重作用后的特征图，得到所述判别结果；
当所述第二网络利用公式OP2(y1,y2)＝|y1-y2|计算所述第一高分辨率图像和所述第二高分辨率图像的像素差值时，所述第三网络的输出为所述第一高分辨率图像和第二高分辨率图像的像素差值构成的矩阵。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明通过设计判别器的架构，能够加速模型收敛，在一定程度上避免在GAN的训练过程中出现的模式崩塌现象，进而提升超分辨率重建模型的性能；而且，通过使用条件GAN对生成的图片进行约束，有效的保证了生成的图片与输入的图片对应关系，避免GAN在图片生成过程中出现的结果看似很真实，但是与输入的低分辨率图片匹配度低的现象，进而提高高分辨率图片与核磁共振图像的匹配度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为现有技术中生成对抗网络的结构图；
图2为本发明核磁共振图像超分辨率重建系统的结构示意图；
图3为本发明生成对抗网络的结构示意图；
图4为本发明对生成对抗网络进行训练的流程示意图；
图5为本发明核磁共振图像超分辨率重建方法的流程示意图；
图6为本发明具体实例中低分辨率图片和高分辨率图像的对比图；
图7为本发明具体实例中不同方法的重建结果对比图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图2为本发明核磁共振图像超分辨率重建系统的结构示意图，如图2所示，本发明核磁共振图像超分辨率重建系统包括：生成对抗网络201、数据集构建模块202和训练模块203。
如图3所示，本发明的生成对抗网络201包括生成器G和判别器D，生成器用于将核磁共振图像x重建为第一高分辨率图像G(x)；所述判别器D的输入为配对的核磁共振图像x和对应的第一高分辨率图像G(x)，所述判别器包括第一网络DG、第二网络OP和第三网络Dp，所述第一网络DG用于共享所述生成器G的参数；所述第二网络OP用于根据所述第一网络DG共享的参数对所述第一高分辨率图像G(x)进行判别；所述第三网络Dp用于将判别结果映射到真或假的编码上，输出所述第二网络OP的判别结果。
本发明把传统的GAN改为配对的GAN。传统的GAN如图1所示，判别器D将生成器G的输出G(x)判断为假，将原始高分辨率图片yr判断为真。在超分辨率中，输入与输出存在配对关系，一张低分辨率图片对应一张高分辨率图片。本发明将配对关系输入到判别器D中，此时判别器D的输入不是一张图片(G(x)或者yr)，而是(x，G(x))和(x，yr)这两组配对的图片。在图3中可以看到D的输入有两个。前一组配对是低分辨率图片x与对应的生成结果G(x)的配对，这个配对经过判别器D的判断后应该输出为假，对应了图3左半部分的fake输出，因为x对应的高分辨率图片不是G(x)而是yr，那么对于后一组而言，判别器的输出应该是真，在图3中，右半部分的real输出即表示真配对的情形。
具体的，本发明判别器D包括第一网络DG、第二网络OP和第三网络Dp，第一网络DG通过共享部分或全部生成器G的参数来更好的帮助判别器识别输入的真假。第二网络OP定义为一种操作，在判别器工作的时候，对于输入的x经过DG作用后生成的G(x)与判别器输入的y(可能为前述的G(x)或者yr)之间，可以有不同的处理方式。第二网络OP包括两个部分，分别为高分辨率图像生成模块和判别模块，高分辨率图像生成模块用于根据所述第一网络共享的参数生成第二高分辨率图像；判别模块用于根据所述第二高分辨率图像对所述第一高分辨率图像进行判别。本发明的第二网络OP采用与生成器相同的方式生成第二高分辨率图像，以此来判别生成器生成的高分辨率图像是否为真，这样可以更好的优化生成器的参数，提高高分辨率图像的准确度。
第三网络Dp为一个神经网络，具体作用是把第二网络的输出通过神经网络映射到真或者假的编码上，输出最终的判别结果。
第二网络OP中的判别模块可以采用以下两种方式进行判别：
(1)把OP操作定义为计算配对输入的L1范数，公式如下：
OP1(y1,y2)＝||y1-y2||1
式中，y1为所述第一高分辨率图像，y2为所述第二高分辨率图像，OP1(y1,y2)为第一高分辨率图像和第二高分辨率图像的L1范数。这样对于真实的配对，OP操作之后的结果为非零值，对于虚假的配对结果输出为零。对于判别器而言，此时就能将真假区别开。但是在具体的实践中，这样做存在一些问题，真实配对OP操作的结果为非零值，但是结果为非零值的不一定是真实的配对。因此，本发明将真实的高分辨率图片或生成器产生的图片输入到第三网络Dp中，把OP操作的结果当作权重作用在Dp的中间某层上，这样对于真实的分布，权重作用后的特征图是非零值；而对于虚假的分布而言，权重作用后的特征图就变成了全0值，而对于第三网络Dp而言很容易将0与非0区分开。
(2)把OP操作定义为计算配对输入的像素差值，公式如下：
OP2(y1,y2)＝|y1-y2|
式中，y1为所述第一高分辨率图像，y2为所述第二高分辨率图像，OP2(y1,y2)为第一高分辨率图像和第二高分辨率图像的像素差值。依据上式，对于真实的配对，OP的输出是一个非0的矩阵，而对于虚假的配对，OP的输出是一张全0的矩阵。此时的第三网络Dp是一个普通的判别器，输入就是前面所述的全0或者非0的矩阵。这样操作对于神经网络而言，真实数据与虚假(生成)数据的分布就转化成非0矩阵与全0矩阵的分布。对于判别器而言，很容易将这两个分布区别开，从而引导生成器更好的模拟生成的数据。
本发明训练模块203对生成对抗网络201进行训练的流程如图4所示，在优化判别器D之前，先要把当前生成器的参数拷贝到第一网络DG中，要保证每次优化D的时候，此时D中第一网络DG的参数都是最新的。
基于上述核磁共振图像超分辨率重建系统，本发明还提供一种核磁共振图像超分辨率重建方法，图5为本发明核磁共振图像超分辨率重建方法的流程示意图。如图5所示，本发明核磁共振图像超分辨率重建方法包括以下步骤：
步骤501：构建生成对抗网络。所述生成对抗网络包括生成器和判别器，所述生成器用于将核磁共振图像重建为第一高分辨率图像；所述判别器的输入为所述核磁共振图像和所述第一高分辨率图像，所述判别器包括第一网络、第二网络和第三网络，所述第一网络用于共享所述生成器的参数；所述第二网络用于根据所述第一网络共享的参数对所述第一高分辨率图像进行判别，具体的，首先根据所述第一网络共享的参数生成第二高分辨率图像，然后根据所述第二高分辨率图像对所述第一高分辨率图像进行判别；所述第三网络用于输出所述第二网络的判别结果。
步骤502：构建训练数据集。所述训练数据集中每个训练样本为高分辨率图像样本与对应的低分辨率核磁共振图像构成的一组图片，通过对已有的高分辨率图像样本进行降采样可以得到低分辨率核磁共振图像。
步骤503：利用训练数据集对生成对抗网络进行训练，得到训练好的生成对抗网络。
步骤504：利用训练好的生成对抗网络中的生成器对待重建的核磁共振图像进行超分辨率重建。
下面提供一个具体实例进一步说明本发明的上述方案。
本实例的具体过程如下：
Step1：搭建模型，利用深度学习模型框架搭建深度学习模型，按照上述的方法将GAN修改为本发明的生成对抗网络，定义为SpyGAN。
Step2：处理数据，在高分辨率图像数据集上模拟仿真出低分辨率数据，如所图6示，左部分是低分辨率图片，右部分是高分辨率图片。
Step3：训练模型，根据上面得到的配对的低-高分辨率的图片训练深度学习模型SpyGAN，该模型是一个低分辨率到高分辨率的映射关系，待模型收敛后得到训练好的模型。
Step4：测试结果，将一张低分辨的核磁共振图像输入到上述的SpyGAN模型中，该模型的生成器将输入的低分辨数据映射到高分辨率空间，得到重建后的高分辨图像结果。如图7所示，图7给出了不同重建结果的对比图，可以看到本发明的方法在细节的修复上要优于其他参照的方法。为了更好的对比本发明方法与目前流行的医学图像超分辨率方法，本发明计算了PSNR、SSIM和NRMSE这三个指标，表1和表2是最后计算的结果。其中表1是在缩放因子为2的情况下的实验结果，表2是缩放因子为3的计算结果。
表1在2×2×2缩放因子下的结果对比
表2在3×3×3缩放因子下的结果对比
作为对比，使用一种插值方法(zoom)作为对比，SRGAN作为一种流行的深度学习方法也是对比参考。观察表格中的数据，可以发现，经过本发明提供的方法的改造，GAN的结果在这些指标上都有所提高。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (2)
1.一种核磁共振图像超分辨率重建系统，其特征在于，包括：生成对抗网络、数据集构建模块和训练模块；
所述生成对抗网络包括生成器和判别器，所述生成器用于将核磁共振图像重建为第一高分辨率图像；所述判别器的输入为所述核磁共振图像和所述第一高分辨率图像，所述判别器包括第一网络、第二网络和第三网络，所述第一网络用于共享所述生成器的参数；所述第二网络用于根据所述第一网络共享的参数对所述第一高分辨率图像进行判别；所述第三网络用于输出所述第二网络的判别结果；
所述第二网络具体包括：
高分辨率图像生成模块，用于根据所述第一网络共享的参数生成第二高分辨率图像；
判别模块，用于根据所述第二高分辨率图像对所述第一高分辨率图像进行判别；
所述判别模块利用公式OP1(y1,y2)＝||y1-y2||1计算所述第一高分辨率图像和所述第二高分辨率图像的L1范数；其中，y1为所述第一高分辨率图像，y2为所述第二高分辨率图像，OP1(y1,y2)为第一高分辨率图像和第二高分辨率图像的L1范数；
所述第三网络的输入为所述第一高分辨率图像和所述L1范数，所述L1范数作为权重作用至所述第三网络的中间层，输出权重作用后的特征图，得到所述判别结果；
所述判别模块利用公式OP2(y1,y2)＝|y1-y2|计算所述第一高分辨率图像和所述第二高分辨率图像的像素差值；其中，y1为所述第一高分辨率图像，y2为所述第二高分辨率图像，OP2(y1,y2)为第一高分辨率图像和第二高分辨率图像的像素差值；
所述第三网络的输出为所述第一高分辨率图像和第二高分辨率图像的像素差值构成的矩阵；
所述数据集构建模块用于构建训练数据集；所述训练数据集中每个训练样本为高分辨率图像样本与对应的低分辨率核磁共振图像构成的一组图片；
所述训练模块用于利用所述训练数据集对所述生成对抗网络进行训练，得到训练好的生成对抗网络；所述训练好的生成对抗网络中的生成器用于对待重建的核磁共振图像进行超分辨率重建。
2.一种核磁共振图像超分辨率重建方法，其特征在于，包括：
构建生成对抗网络；所述生成对抗网络包括生成器和判别器，所述生成器用于将核磁共振图像重建为第一高分辨率图像；所述判别器的输入为所述核磁共振图像和所述第一高分辨率图像，所述判别器包括第一网络、第二网络和第三网络，所述第一网络用于共享所述生成器的参数；所述第二网络用于根据所述第一网络共享的参数对所述第一高分辨率图像进行判别；所述第三网络用于输出所述第二网络的判别结果；
所述第二网络用于根据所述第一网络共享的参数生成第二高分辨率图像，并根据所述第二高分辨率图像对所述第一高分辨率图像进行判别；
所述第二网络利用公式OP1(y1,y2)＝||y1-y2||1计算所述第一高分辨率图像和所述第二高分辨率图像的L1范数；或者利用公式OP2(y1,y2)＝|y1-y2|计算所述第一高分辨率图像和所述第二高分辨率图像的像素差值；其中，y1为所述第一高分辨率图像，y2为所述第二高分辨率图像，OP1(y1,y2)为第一高分辨率图像和第二高分辨率图像的L1范数，OP2(y1,y2)为第一高分辨率图像和第二高分辨率图像的像素差值；
当所述第二网络利用公式OP1(y1,y2)＝||y1-y2||1计算所述第一高分辨率图像和所述第二高分辨率图像的L1范数时，所述第三网络的输入为所述第一高分辨率图像和所述L1范数，所述L1范数作为权重作用至所述第三网络的中间层，输出权重作用后的特征图，得到所述判别结果；
当所述第二网络利用公式OP2(y1,y2)＝|y1-y2|计算所述第一高分辨率图像和所述第二高分辨率图像的像素差值时，所述第三网络的输出为所述第一高分辨率图像和第二高分辨率图像的像素差值构成的矩阵；
构建训练数据集；所述训练数据集中每个训练样本为高分辨率图像样本与对应的低分辨率核磁共振图像构成的一组图片；
利用所述训练数据集对所述生成对抗网络进行训练，得到训练好的生成对抗网络；
利用所述训练好的生成对抗网络中的生成器对待重建的核磁共振图像进行超分辨率重建。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011574791.0A CN112598578B (zh) | 2020-12-28 | 2020-12-28 | 一种核磁共振图像超分辨率重建系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011574791.0A CN112598578B (zh) | 2020-12-28 | 2020-12-28 | 一种核磁共振图像超分辨率重建系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112598578A CN112598578A (zh) | 2021-04-02 |
| CN112598578B true CN112598578B (zh) | 2022-12-30 |
Family
ID=75204016
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011574791.0A Active CN112598578B (zh) | 2020-12-28 | 2020-12-28 | 一种核磁共振图像超分辨率重建系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112598578B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116797457B (zh) * | 2023-05-20 | 2024-05-14 | 北京大学 | 一种同时实现磁共振影像超分辨和伪影去除的方法和系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110047138A (zh) * | 2019-04-24 | 2019-07-23 | 复旦大学 | 一种磁共振薄层图像重建方法 |
| CN110119780A (zh) * | 2019-05-10 | 2019-08-13 | 西北工业大学 | 基于生成对抗网络的高光谱图像超分辨重建方法 |
| CN110136063A (zh) * | 2019-05-13 | 2019-08-16 | 南京信息工程大学 | 一种基于条件生成对抗网络的单幅图像超分辨率重建方法 |
| CN111028146A (zh) * | 2019-11-06 | 2020-04-17 | 武汉理工大学 | 基于双判别器的生成对抗网络的图像超分辨率方法 |
| CN111583109A (zh) * | 2020-04-23 | 2020-08-25 | 华南理工大学 | 基于生成对抗网络的图像超分辨率方法 |
-
2020
- 2020-12-28 CN CN202011574791.0A patent/CN112598578B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110047138A (zh) * | 2019-04-24 | 2019-07-23 | 复旦大学 | 一种磁共振薄层图像重建方法 |
| CN110119780A (zh) * | 2019-05-10 | 2019-08-13 | 西北工业大学 | 基于生成对抗网络的高光谱图像超分辨重建方法 |
| CN110136063A (zh) * | 2019-05-13 | 2019-08-16 | 南京信息工程大学 | 一种基于条件生成对抗网络的单幅图像超分辨率重建方法 |
| CN111028146A (zh) * | 2019-11-06 | 2020-04-17 | 武汉理工大学 | 基于双判别器的生成对抗网络的图像超分辨率方法 |
| CN111583109A (zh) * | 2020-04-23 | 2020-08-25 | 华南理工大学 | 基于生成对抗网络的图像超分辨率方法 |
Non-Patent Citations (2)
| Title |
|---|
| CT Super-Resolution GAN Constrained by the Identical, Residual, and Cycle Learning Ensemble (GAN-CIRCLE);Chenyu You 等;《IEEE TRANSACTIONS ON MEDICAL IMAGING,》;20200131;全文 * |
| 基于多网络集成的脑白质高信号分割方法;李鑫鑫 等;《中国卒中杂志》;20200331;第15卷(第3期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112598578A (zh) | 2021-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109636721B (zh) | 基于对抗学习和注意力机制的视频超分辨率方法 | |
| CN109214989B (zh) | 基于多方向特征预测先验的单幅图像超分辨率重建方法 | |
| CN110047138A (zh) | 一种磁共振薄层图像重建方法 | |
| CN111870245B (zh) | 一种跨对比度引导的超快速核磁共振成像深度学习方法 | |
| Fan et al. | A segmentation-aware deep fusion network for compressed sensing mri | |
| CN111861886B (zh) | 一种基于多尺度反馈网络的图像超分辨率重建方法 | |
| CN109544652B (zh) | 基于深度生成对抗神经网络的核磁共振多加权成像方法 | |
| CN117333750A (zh) | 空间配准与局部全局多尺度的多模态医学图像融合方法 | |
| CN111797891A (zh) | 基于生成对抗网络的非成对异质人脸图像生成方法、装置 | |
| CN115880158A (zh) | 一种基于变分自编码的盲图像超分辨率重建方法及系统 | |
| CN114266939A (zh) | 一种基于ResTLU-Net模型的脑提取方法 | |
| CN114913262B (zh) | 采样模式与重建算法联合优化的核磁共振成像方法及系统 | |
| CN112598578B (zh) | 一种核磁共振图像超分辨率重建系统及方法 | |
| CN114283058A (zh) | 基于对抗网络和最大互信息优化的图像超分辨率重建方法 | |
| CN114140341A (zh) | 一种基于深度学习的磁共振图像非均匀场校正方法 | |
| WO2024188180A1 (zh) | 一种三维磁共振图像增强系统 | |
| CN116823613A (zh) | 基于梯度增强注意力的多模态mr影像超分辨率方法 | |
| CN112184552B (zh) | 一种基于高频特征学习的子像素卷积图像超分辨方法 | |
| Qin et al. | Multi-resolution space-attended residual dense network for single image super-resolution | |
| Ke et al. | CRDN: cascaded residual dense networks for dynamic MR imaging with edge-enhanced loss constraint | |
| CN117576250A (zh) | 前瞻性欠采样MRI Dixon数据的快速重建方法及系统 | |
| Yi et al. | Contrastive learning for local and global learning mri reconstruction | |
| CN116309038A (zh) | 低分辨图像域迁移网络构建方法及装置、基于域迁移的非配对mr图像超分辨方法及装置 | |
| CN114529519B (zh) | 基于多尺度深度空洞残差网络的图像压缩感知重建方法及系统 | |
| CN113129237B (zh) | 基于多尺度融合编码网络的深度图像去模糊方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |