CN117237196A - 基于隐式神经表征的脑部mri超分辨率重建方法及系统 - Google Patents
基于隐式神经表征的脑部mri超分辨率重建方法及系统 Download PDFInfo
- Publication number
- CN117237196A CN117237196A CN202311307829.1A CN202311307829A CN117237196A CN 117237196 A CN117237196 A CN 117237196A CN 202311307829 A CN202311307829 A CN 202311307829A CN 117237196 A CN117237196 A CN 117237196A
- Authority
- CN
- China
- Prior art keywords
- resolution
- low
- characterization
- image
- scale
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012512 characterization method Methods 0.000 title claims abstract description 61
- 230000001537 neural effect Effects 0.000 title claims abstract description 49
- 238000000034 method Methods 0.000 title claims abstract description 39
- 210000004556 brain Anatomy 0.000 title claims abstract description 36
- 238000009792 diffusion process Methods 0.000 claims abstract description 49
- 230000006870 function Effects 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 11
- 230000007246 mechanism Effects 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 238000011084 recovery Methods 0.000 claims description 4
- 239000013598 vector Substances 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 6
- 238000002595 magnetic resonance imaging Methods 0.000 description 86
- 238000010586 diagram Methods 0.000 description 7
- LJROKJGQSPMTKB-UHFFFAOYSA-N 4-[(4-hydroxyphenyl)-pyridin-2-ylmethyl]phenol Chemical compound C1=CC(O)=CC=C1C(C=1N=CC=CC=1)C1=CC=C(O)C=C1 LJROKJGQSPMTKB-UHFFFAOYSA-N 0.000 description 5
- 230000015556 catabolic process Effects 0.000 description 4
- 238000006731 degradation reaction Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000003321 amplification Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000003174 Brain Neoplasms Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002610 neuroimaging Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本公开提供了基于隐式神经表征的脑部MRI超分辨率重建方法及系统，涉及超分辨率图像处理技术领域，去噪扩散概率模型采用U‑Net网络框架，在编码器中引入多尺度低分辨率引导网络，来提取低分辨率MRI图像的多尺度特征，并将低分辨率MRI图像的多尺度特征进行融合，输出高频纹理和细节特征；所述去噪扩散概率模型的U‑Net的解码器部分由隐式神经表征替换，通过引入隐式图像函数，获取低分辨率MRI图像的连续分辨率表征，利用获取到的连续分辨率表征，输出任意尺度的超分辨率MRI图像。
Description
技术领域
本公开涉及超分辨率图像处理技术领域，具体涉及基于隐式神经表征的脑部MRI超分辨率重建方法及系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
磁共振成像(Magnetic Resonance Imaging，MRI)是一种临床中经常使用的医学成像技术，成像后所得到的三维MR图像提供了丰富的组织解剖细节，便于在早期对肿瘤等疾病进行准确诊断。然而，在临床应用中，由于扫描设备成本、患者不合作和扫描时间的限制，难以获得高质量的MRI图像。此外，噪声干扰和采样不足也可能导致医疗图像传输和存储过程中的图像质量下降。因此，提高采集MRI图像的质量和分辨率已成为研究的热点。由于超分辨率(Super-resolution，SR)能够在不需要改变MRI硬件的情况下提高图像质量，这种后处理技术在解决获取高质量MRI图像的障碍方面得到了广泛的应用。
近年来，基于深度学习的系统在MRI SR中显示出了巨大的潜力。深度生成模型，包括自回归、基于GAN的和基于流程的模型，已经成为生成具有丰富纹理的MRI的解决方案。然而，它们通常会出现伪影，并且只适用于预定义的缩放因子。为了解决上述问题，人们探索了许多解决自然图像中任意尺度的SR任务的系统，包括Meta-SR和LIIF。然而，这些系统往往不能产生高倍放大所需的高保真细节。
目前，去噪扩散概率模型(Denoising Diffusion Probabilistic Model，DDPM)由于其相对于基于GAN的系统的优势而引起了广泛的研究兴趣。DDPM擅长于生成与训练数据的分布紧密一致的高质量图像，在提高MRI图像保真度方面，显示出令人印象深刻的性能。
然而，发明人发现，基于DDPM的SR系统仅限于处理特定的升级因子(如2×、3×和4×)，一旦升级因子发生变化，就会导致输出质量下降，纹理和细节的显著损失。因此，为了获得在不同的升级因子下的高质量的SR图像，这些系统则需要针对每个特定的尺度分别进行训练和存储，这给可能需要不同规模因素的SR的医疗专业人员带来了昂贵的存储和能源成本。
发明内容
本公开为了解决上述问题，提出了基于隐式神经表征的脑部MRI超分辨率重建方法及系统，通过将隐式神经表征集成到去噪扩散概率模型中，以实现任意尺度的高保真脑MRI图像。利用隐式神经表示将图像编码为一个连续空间中的一个函数，在集成到扩散模型中后，该函数被一个基于坐标的多层感知器(Multi-layer Perceptron，MLP)参数化，从而能够更精确地捕获连续的图像分辨率表示，以此生成具有连续分辨率的高质量的MRI图像。
根据一些实施例，本公开采用如下技术方案：
基于隐式神经表征的脑部MRI超分辨率重建方法，包括：
获取低分辨率MRI图像，将所述低分辨率MRI图像输入至去噪扩散概率模型中，输出任意尺度的超分辨率重建MRI图像；
其中，所述去噪扩散概率模型采用U-Net网络框架，在编码器中引入多尺度低分辨率引导网络，来提取低分辨率MRI图像的多尺度特征，并将低分辨率MRI图像的多尺度特征进行融合，输出高频纹理和细节特征；所述去噪扩散概率模型的U-Net的解码器部分由隐式神经表征替换，通过引入隐式图像函数，获取低分辨率MRI图像的连续分辨率表征，利用获取到的连续分辨率表征，输出任意尺度的超分辨率MRI图像。
根据一些实施例，本公开采用如下技术方案：
基于隐式神经表征的脑部MRI超分辨率重建系统，包括：
数据获取模块，用于获取低分辨率MRI图像；
图像重建模块，用于将所述低分辨率MRI图像输入至去噪扩散概率模型中，输出任意尺度的超分辨率重建MRI图像；
其中，所述去噪扩散概率模型采用U-Net网络框架，在编码器中引入多尺度低分辨率引导网络，来提取低分辨率MRI图像的多尺度特征，并将低分辨率MRI图像的多尺度特征进行融合，输出高频纹理和细节特征；所述去噪扩散概率模型的U-Net的解码器部分由隐式神经表征替换，通过引入隐式图像函数，获取低分辨率MRI图像的连续分辨率表征，利用获取到的连续分辨率表征，输出任意尺度的超分辨率MRI图像。
根据一些实施例，本公开采用如下技术方案：
一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现所述的基于隐式神经表征的脑部MRI超分辨率重建方法。
根据一些实施例，本公开采用如下技术方案：
一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现所述的基于隐式神经表征的脑部MRI超分辨率重建方法。
与现有技术相比，本公开的有益效果为：
本公开的一种基于隐式神经表征的脑部MRI超分辨率重建方法，将隐式神经表示与去噪扩散概率模型相结合，从而实现了任意尺度、高保真的医学图像超分辨率。此外，还制定了一个连续分辨率调节机制，包括一个多尺度低分辨率引导网络和一个缩放因子。缩放因子可以精细地调整分辨率，从而动态地调节低分辨率信息和合成特征在最终输出中的比例，使模型能够无缝地满足连续分辨率调整的需求。此外，多尺度低分辨率引导网络为去噪模型提供了具有多尺度低分辨率特征，以丰富纹理信息，恢复高频细节。通过结合两种模型的优势，便利了放射科医生对病变的充分可视化，提高了医学诊断的准确性。
本公开通过将隐式神经表征集成到去噪扩散概率模型中，以实现任意尺度的高保真脑MRI图像。利用隐式神经表示的吸引人的属性，将图像编码为一个连续空间中的一个函数。在集成到扩散模型中后，该函数被一个基于坐标的多层感知器(Multi-layerPerceptron，MLP)参数化，从而能够更精确地捕获连续的图像分辨率表示，以此生成具有连续分辨率的高质量的MRI图像，辅助医生诊断脑部肿瘤疾病。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
图1为本公开实施例的脑部MRI超分辨率重建系统的反向扩散流程示意图；
图2为本公开实施例的在反向扩散第t步迭代的详细架构示意图；
图3为本公开实施例的在fastMRI数据集上，不同系统的可视化恢复结果、错误映射和局部放大图；
图4为本公开实施例的在IXI数据集上，不同系统的可视化恢复结果、错误映射和局部放大图；
图5为本公开实施例的不同比例因子s的可视化结果；
其中，第一行显示重建的t2加权图像，中间行显示从第一行放大的红框区域的详细图像，下面一行行显示地面真实值与重建图像之间的误差图；
图6为本公开实施例的三种引入低分辨率特征的系统的可视化结果；
其中，上面一行显示了完整的参考图像和使用三种不同的调节机制重建的t1加权图像；下面一行说明了参考图像和重建图像之间的差异。
具体实施方式
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例1
本公开的一种实施例中提供了一种基于隐式神经表征的脑部MRI超分辨率重建方法，包括：
步骤一：获取低分辨率MRI图像，将所述低分辨率MRI图像输入至去噪扩散概率模型中；
步骤二：输出任意尺度的超分辨率重建MRI图像；
其中，所述去噪扩散概率模型采用U-Net网络框架，在编码器中引入多尺度低分辨率引导网络，来提取低分辨率MRI图像的多尺度特征，并将低分辨率MRI图像的多尺度特征进行融合，输出高频纹理和细节特征，具体是指图像中的微小病变；所述去噪扩散概率模型的U-Net的解码器部分由隐式神经表征替换，通过引入隐式图像函数，获取低分辨率MRI图像的连续分辨率表征，利用获取到的连续分辨率表征，输出任意尺度的超分辨率MRI图像。
作为一种实施例，本公开的一种基于隐式神经表征的脑部MRI超分辨率重建方法具体实施细节如下：
本公开基于去噪扩散概率模型，将隐式神经表征集成到去噪扩散概率模型中，以实现任意尺度的高保真脑MRI图像。
具体的，使用U-Net网络架构作为去噪块，U-Net将有噪声的低分辨率MRI图像yt编码为多重尺度特征映射o(i)，其中i∈{1，···，W}，W表示U-Net主干内的深度计数。此外，在U-Net的解码器中引入了一个隐式图像函数，能够生成高质量、分辨率连续的图像。本去噪扩散概率模型将迭代扩散细化过程和隐式图像函数统一在一个端到端框架中。
本公开中采用连续分辨率调节机制，包括多尺度低分辨率引导网络和缩放因子调制。
所述多尺度低分辨率引导网络引入到U-Net网络的编码器中，利用卷积神经网络(Convolutional Neural Networks，CNN)作为条件网络从低分辨率MRI图像中提取多分辨率的条件特征。它由卷积层堆叠，具有双线性滤波降采样操作和泄漏的ReLU(RectifiedLinear Activation Function)激活；
进一步的，在编码器中引入多尺度低分辨率引导网络，来提取低分辨率MRI图像的多尺度特征，并将低分辨率MRI图像的多尺度特征进行融合，输出高频纹理和细节特征，包括：
首先，利用EDSR从低分辨率MRI图像x中提取原始特征l(0)，一方面，将原始特征与第t步的MRI图像yt结合输入到U-Net的编码器中，一方面将原始特征l(0)输入到多尺度低分辨率引导网络中，得到多尺度低分辨率特征。
使用EDSR(Enhanced Deep Residual Networks)建立初始低分辨率特征f(0)，并通过双线性插值使其分辨率与yt相同。然后，将l(0)与yt连接起来，并将合并后的结果输入到U-Net中，以提供初始指导。同时，l(0)也被发送到CNN，其中该特征被逐步降采样为：
l(i)＝Convo(l(i-1))
其中，l(i-1)是降采样得到的。
“Convo”表示包含双线性滤波降采样操作和一个泄漏的ReLU激活的卷积层。值得注意的是，指导网络只专注于提供编码的多分辨率特性。然后，这些特性被直接输入U-Net，而没有任何额外的先验，使潜在表示的建模，而不依赖于额外的假设或约束。
进一步的，之后将多尺度低分辨率特征和U-Net的输出按一定比例结合，并且可以通过缩放比例因子s动态调整两者的比例，这样可以保证模型最终输出的保真度。
缩放比例因子调制负责超越特定放大尺度的限制。在扩散过程中加入了一个表示为s的缩放比例因子。这个因素有助于持续提高分辨率，促进灵活放大可能性。
首先，建立了一个从1到Q的值范围，Q表示放大比的上限。在训练过程中，从这个区间内随机选择一个s的值。随后，根据所选的缩放比例因子s重塑yt，使能够控制生成的图像的分辨率。缩放比例因子s的重要性在于它能够精细地平衡来自制导网络的初始输入数据l(i)和来自去噪块的结果输出o(i)之间的比例。与交叉注意机制或连接操作等系统相比，利用自适应MLP(多层感知器)将比例因子s映射到一组比例向量，表示为在这里，i表示来自制导网络和去噪块的不同分辨率输出的深度指数。
随后，使用L2范数对和/>进行归一化，然后使用它们进行信道调制l(i)和o(i)，以自适应的方式动态合并这些组件。本质上，调制过程与缩放比例因子s相结合，概述如下：
其中，和/>分别来自于隐式神经抑制和去噪块，z(i)是调制结果，l(i)都是原始特征l(0)降采样得到的多尺度特征。
在这个调制过程中，引入了一个小的常数τ＝1e-8，以防止零分母。特征图和分别来自于隐式神经抑制和去噪块，z(i)是调制结果。
进一步的，为了得到低分辨率MRI图像的连续分辨率表征，引入引入隐式图像函数，利用隐式神经表征来获取连续的MRI图像表征，简化了整个过程。
将多个MLP集成到U-Net体系结构的上采样阶段。这些MLP被用来定义隐式神经表征的参数，便于在连续的尺度范围内以更高的保真度进行低分辨率MRI图像的恢复。使用假设的多分辨率特征的连续坐标，表示为g＝{g(1),...,g(i),...g(N)}作为参考。这些坐标是使用缩放比例因子s从MLP中获得。在隐式表示过程中，提供了指示坐标(调制结果z(i)对应的坐标)周围的调制特征作为输入，并确定相应的目标特征
在上式中，Fi表示一个2层MLP(多层感知器)，隐藏维数为256。
其中，Fi是一个隐藏维数为256的2层MLP，和/>分别通过计算距离z(i+1)和g(i+1)的最近欧氏距离来插值。
然后，设计通过一系列的去噪迭代来预测超分辨率图像y0，对去噪模型进行优化，有效地从噪声图像yt中恢复超分辨率图像y0。此外，目标是获得分辨率连续输出，因此去噪模型∈θ(x，t，s，yt，γt)在训练过程中必须适应任意尺度，同时保持投影噪声∈θ的精度。总之，微调去噪网络的目标如下：
其中，∈～N(0，I)，t～{1，···，t}，s～U(1，M)和(x，y)从低分辨率-高分辨率图像对的训练集中采样。投影噪声∈服从正态分布，N表示正态分布。t表示第t步扩散，T表示总的扩散步骤，s是缩放因子，大小在1到M范围内，x表示低分辨率MRI,y表示高分辨率MRI。去噪模型∈θ，该模型相当于从有噪声的目标图像yt中恢复目标图像y0。同时，为了实现分辨率连续输出，去噪模型∈θ应通过训练应用于任意尺度，同时确保投影噪声∈。x指低分辨率图像，t指第t步扩散，s是缩放因子。
作为一种实施例，本公开所述去噪扩散概率模型的训练过程包括：
S1、建立医学图像超分辨率数据集：当采用单一的经典退化模型来合成训练对数据集时，与现实医学图像退化具有很大差异性，导致重建LR图像的效果稍显不足。因此，引入多个图像退化模型进行组合来对原始的高分辨率医学图像进行图像退化处理，得到相对应的低分辨率图像，以此模拟真实情况下所获取的低分辨率图像，将这样一对图像对作为输入。
S2、设计医学图像超分辨率算法：采用低分辨率医学图像和高分辨率医学图像为训练对，以结合了隐式神经表征的去噪扩散模型为框架。分别对去噪扩散模型的U-Net的编码器和解码器部分做了改进。首先是编码器部分引入了多尺度低分辨率引导网络，此网络可以获取到低分辨率MRI图像的多尺度特征，并将这些提取的特征融合到U-Net的编码器中，使模型的输出包含更多的高频纹理和细节。其次是将U-Net的解码器部分替换为隐式神经表征，隐式神经表征可以学习MRI图像的连续分辨率函数，利用学习到的连续分辨率函数，可以输出任意尺度的MRI图像。
S3、训练医学图像超分辨率模型：基于S2所设计的算法搭建模型，并利用深度学习框架Pytorch平台训练模型，训练过程分为两个阶段，第一阶段训练得到具有L1损失的峰值信噪比导向模型，每批次训练数量大小为8，epoch设置为100，学习率初始化为1×10-4经过迭代后学习率更新衰减一半，继续迭代直到损失收敛，得到最终模型。
S4、将测试集中的低分辨率医学图像输入到模型中，得到相应医学图像超分辨率的输出结果。
在本实施例中，利用上述基于扩散模型和隐式神经表征的脑部MRI超分辨率重建方法，实现了输出高保真的连续分辨率的MRI图像，具体包括以下步骤：
如图1所示反向去噪过程。yT表示高分辨率MRI图像逐步加噪后得到的噪声图像，t表示反向扩散的第t步，s指代缩放比例因子，同时来表示模型最终输出结果的超分辨率倍数，x是高分辨率图像经过退化得到的低分辨率图像，g表示s经过多层MLP得到的一组向量坐标。在反向去噪过程的每一步，利用多尺度低分辨率引导网络从低分辨率MRI图像x中提取多分辨率的低分辨率特征，并将这些提取到的低分辨率特征作为条件，引入去噪板块，这样做是为了保证最终的超分辨率结果包含更丰富的纹理和更多高频细节，辅助医生做出更准确的判断。
如图2所示，展现了从第t步的MRI图像yt到第t-1步的MRI图像yt-1过程中用到的详细架构。首先，利用EDSR从低分辨率MRI图像x中提取原始特征l(0)，一方面，将原始特征与第t步的MRI图像yt结合输入到U-Net的编码器中，一方面将原始特征l(0)输入到多尺度低分辨率引导网络中，得到多尺度低分辨率特征。之后将多尺度低分辨率特征和U-Net的输出按一定比例结合，并且可以通过缩放因子s动态调整两者的比例，这样可以保证模型最终输出的保真度。
本实施例中，在IXI和fastMRI数据集上进行了MRI超分辨率实验，IXI数据集是一个公开访问的大脑图像MRI数据集。该数据集由三种模式的真实脑MRI图像组成，即t1加权、t2加权和pd加权图像。从.nii文件中提取脑成像区域，以获得相关的和足够的区域进行分析。此外，为了评估模型的有效性，将IXI数据集中的578个健康大脑MRI扫描分为500个用于训练，6个用于验证，70个用于测试。应用中心裁剪将每个MRI转换为一个新的扫描图像，每片分辨率为256×256像素。fastMRI数据集是公开可访问的MRI数据集。在实验中，从fastMRI数据集中选择了t2加权和pd加权的大脑图像。与IXI数据集的预处理类似，总共有584、168和80对卷。每对体积被切成24片，分别得到14016、4032和1920对2D图像(256×256)用于训练、测试和验证集。
在NVIDIA Tesla A100 GPU上使用PyTorch框架实现了本公开的模型。建立了一个1Q迭代的里程碑，使用一致的Q×降尺度因子进行训练。在里程碑结束后，使用均匀分布的U(1，Q)随机调整HR图像，以进行0.5Q迭代的进一步训练。与传统的DDPM一致，使用了Adam优化器。DDPM的学习速率设置为1×10-4，而本模型的学习速率设置为2×10-5，批量大小设置为8。
定量地评估了所提出的系统和其他最先进的系统，使用了两个广泛使用的指标：PSNR和SSIM。将模型与最近的几种先进系统进行了比较，包括五种特定的整数比例的超分辨率系统：Bicubic，SwinIR，Guided Diffusion，TTSR和MASA-SR，以及两种任意比例的图像SR系统：Meta-SR，LIIIF。为了评估它们在超分辨率任务中不同尺度因子的有效性，采用了一个涉及两个阶段的上下策略：在上采样阶段，使用具有最高尺度的熟练训练模型来生成过度放大的SR图像。随后，在降采样阶段，通过双边插值对过采样的超分辨率图像进行了适当的细化。最终，本实施例所述系统与其它系统的对比结果及相应数据如图3和图4以及下表1所示。
表1各个系统对测试集进行2倍和4倍超分辨率的PSNR和SSIM值。
为了证明模型优于最先进的任意尺度超分辨率系统的优越性，在IXI数据集上与Meta-SR和LIIF进行了定量比较。Meta-SR、LIIF和本模型在(1,4]的升级范围内进行训练，并在分布内和分布外尺度上进行测试。如表2所示，在IXI数据集上始终产生了最好的结果。重要的是，对于分布外的尺度，本公开性能甚至显著地超过了现有的系统。这些结果证实了本公开框架优于最先进的系统的优越性和普遍性。
表2在8倍尺度上训练LR-HR对，对IXI数据集上的连续超分辨率结果的定量评价。
本实施例验证缩放因子的重要性。为了强调缩放因子的重要性，展示了来自图5中IXI数据集的8倍超分辨T2图像的定性视觉结果。具体来说，使用分配给其他特定放大因子的不同的s值。例如，图5中的第三列对应于4.1倍T2图像超分辨率输出。显然，对于8倍T2图像超分辨率输出，，使用较小的放大因子指定的较小的比例因子会导致模糊纹理。随着相应的放大系数的增加，更有效的合成更细的细节。这表明，在高倍率超分辨率的背景下，比例因子倾向于赋予合成的特征更多的权重。在本质上，缩放因子巧妙地适应了缩放因子特征和合成细节之间的平衡。
为了验证多尺度低分辨率引导网络的有效性，对来自IXI数据集的T1图像进行了8倍的定性实验，对来自fastMRI数据集的T2加权脑图像进行了定性实验。精确地说，用两种不同的调制机制替换系统中的多尺度低分辨率引导网络，构建了两个比较模型：(1)直接使用对LR图像进行采样，或(2)使用EDSR编码器对其进行编码，然后将它们输入去噪块。
如图6的第二列所示，直接使用上采样的低分辨率MRI图像作为条件，往往会导致纹理模糊。尽管预先合并一个编码器来提取特征在某种程度上减轻了这种担忧(如图6的第三列所示)，但它在产生高保真细节方面仍然表现出有限的能力，比如边缘。与之形成鲜明对比的是，引入的多尺度低分辨率引导网络采用了并行架构，赋予去噪模型多分辨率的LR特征，增强了纹理信息的丰富性。从图6中箭头指向，可以观察到，就细节而言，使用多尺度低分辨率引导网络更接近地面真实图像与其他系统相比，与本公开高PSNR和SSIM值如表3所示。以上观察结果证实，提出的多尺度LR制导网络为指导细节和纹理的恢复提供了关键的多分辨率特征。
表3在IXI和fastMRI数据集上消融研究的定量结果
实施例2
本公开的一种实施例中提供了一种基于隐式神经表征的脑部MRI超分辨率重建系统，包括：
数据获取模块，用于获取低分辨率MRI图像；
图像重建模块，用于将所述低分辨率MRI图像输入至去噪扩散概率模型中，输出任意尺度的超分辨率重建MRI图像；
其中，所述去噪扩散概率模型采用U-Net网络框架，在编码器中引入多尺度低分辨率引导网络，来提取低分辨率MRI图像的多尺度特征，并将低分辨率MRI图像的多尺度特征进行融合，输出高频纹理和细节特征；所述去噪扩散概率模型的U-Net的解码器部分由隐式神经表征替换，通过引入隐式图像函数，获取低分辨率MRI图像的连续分辨率表征，利用获取到的连续分辨率表征，输出任意尺度的超分辨率MRI图像。
实施例3
本公开的一种实施例中提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现所述的基于隐式神经表征的脑部MRI超分辨率重建方法。
实施例4
本公开的一种实施例中提供一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现所述的基于隐式神经表征的脑部MRI超分辨率重建方法。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。
Claims (10)
1.基于隐式神经表征的脑部MRI超分辨率重建方法，其特征在于，包括：
获取低分辨率MRI图像，将所述低分辨率MRI图像输入至去噪扩散概率模型中，输出任意尺度的超分辨率重建MRI图像；
其中，所述去噪扩散概率模型采用U-Net网络框架，在编码器中引入多尺度低分辨率引导网络，来提取低分辨率MRI图像的多尺度特征，并将低分辨率MRI图像的多尺度特征进行融合，输出高频纹理和细节特征；所述去噪扩散概率模型的U-Net的解码器部分由隐式神经表征替换，通过引入隐式图像函数，获取低分辨率MRI图像的连续分辨率表征，利用获取到的连续分辨率表征，输出任意尺度的超分辨率MRI图像。
2.如权利要求1所述的基于隐式神经表征的脑部MRI超分辨率重建方法，其特征在于，所述多尺度低分辨率引导网络利用卷积神经网络作为条件网络从低分辨率MRI图像中提取低分辨率MRI图像的多尺度特征，包括卷积层堆叠、双线性滤波降采样和激活函数。
3.如权利要求1所述的基于隐式神经表征的脑部MRI超分辨率重建方法，其特征在于，所述去噪扩散概率模型的解码器部分由隐式神经表征替换，通过引入隐式图像函数，获取低分辨率MRI图像的连续分辨率表征，包括：
在获取低分辨率MRI图像连续分辨率表征的过程中，通过缩放因子调制持续提高分辨率，在扩散过程中加入一个缩放比例因子，根据所选的缩放比例因子重塑低分辨率MRI图像，使能够控制生成的图像的分辨率。
4.如权利要求3所述的基于隐式神经表征的脑部MRI超分辨率重建方法，其特征在于，所述缩放比例因子平衡初始输入低分辨率MRI图像和输出的多尺度特征之间的比例，利用自适应MLP将缩放比例因子映射到一组比例向量，使用L2范数对比例向量进行归一化，然后进行信道调制，以自适应的方式动态合并。
5.如权利要求1所述的基于隐式神经表征的脑部MRI超分辨率重建方法，其特征在于，利用隐式神经表征来获取低分辨率MRI图像的连续分辨率表征，包括：将多个MLP集成到U-Net扩散网络框架的上采样阶段，MLP被用来定义隐式神经表征的参数，便于在连续的尺度范围内以更高的保真度进行低分辨率MRI图像的恢复，使用假设的多分辨率特征的连续坐标作为参考，所述连续坐标是使用缩放比例因子从MLP中获得的，在隐式表示过程中，提供指示坐标周围的调制特征作为输入，并确定相应的目标特征。
6.如权利要求5所述的基于隐式神经表征的脑部MRI超分辨率重建方法，其特征在于，目标特征是获得分辨率连续输出，要将扩散网络框架适应任意尺度，定义的目标为：
其中，去噪模型∈θ，该模型相当于从有噪声的目标图像yt中恢复目标图像y0，同时，为了实现分辨率连续输出，去噪模型∈θ应通过训练应用于任意尺度，同时确保投影噪声∈，x指低分辨率图像，t指第t步扩散，s是缩放因子。
7.如权利要求1所述的基于隐式神经表征的脑部MRI超分辨率重建方法，其特征在于，使用U-Net网络作为去噪扩散概率模型的架构，使用U-Net网络作为去噪块，能给实现连续分辨率调节机制，所述连续分辨率调节机制包括多尺度低分辨率引导网络和缩放比例因子调制。
8.基于隐式神经表征的脑部MRI超分辨率重建系统，其特征在于，包括：
数据获取模块，用于获取低分辨率MRI图像；
图像重建模块，用于将所述低分辨率MRI图像输入至去噪扩散概率模型中，输出任意尺度的超分辨率重建MRI图像；
其中，所述去噪扩散概率模型采用U-Net网络框架，在编码器中引入多尺度低分辨率引导网络，来提取低分辨率MRI图像的多尺度特征，并将低分辨率MRI图像的多尺度特征进行融合，输出高频纹理和细节特征；所述去噪扩散概率模型的U-Net的解码器部分由隐式神经表征替换，通过引入隐式图像函数，获取低分辨率MRI图像的连续分辨率表征，利用获取到的连续分辨率表征，输出任意尺度的超分辨率MRI图像。
9.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如权利要求1-7任一项所述的基于隐式神经表征的脑部MRI超分辨率重建方法。
10.一种电子设备，其特征在于，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如权利要求1-7任一项所述的基于隐式神经表征的脑部MRI超分辨率重建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311307829.1A CN117237196A (zh) | 2023-10-10 | 2023-10-10 | 基于隐式神经表征的脑部mri超分辨率重建方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311307829.1A CN117237196A (zh) | 2023-10-10 | 2023-10-10 | 基于隐式神经表征的脑部mri超分辨率重建方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117237196A true CN117237196A (zh) | 2023-12-15 |
Family
ID=89082510
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311307829.1A Pending CN117237196A (zh) | 2023-10-10 | 2023-10-10 | 基于隐式神经表征的脑部mri超分辨率重建方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117237196A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117649344A (zh) * | 2024-01-29 | 2024-03-05 | 之江实验室 | 磁共振脑影像超分辨率重建方法、装置、设备和存储介质 |
| CN117934289A (zh) * | 2024-03-25 | 2024-04-26 | 山东师范大学 | 一种集成mri超分辨率与合成任务的系统及方法 |
-
2023
- 2023-10-10 CN CN202311307829.1A patent/CN117237196A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117649344A (zh) * | 2024-01-29 | 2024-03-05 | 之江实验室 | 磁共振脑影像超分辨率重建方法、装置、设备和存储介质 |
| CN117649344B (zh) * | 2024-01-29 | 2024-05-14 | 之江实验室 | 磁共振脑影像超分辨率重建方法、装置、设备和存储介质 |
| CN117934289A (zh) * | 2024-03-25 | 2024-04-26 | 山东师范大学 | 一种集成mri超分辨率与合成任务的系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108460726B (zh) | 一种基于增强递归残差网络的磁共振图像超分辨重建方法 | |
| CN110443867B (zh) | 基于生成对抗网络的ct图像超分辨率重构方法 | |
| CN117237196A (zh) | 基于隐式神经表征的脑部mri超分辨率重建方法及系统 | |
| CN109214989B (zh) | 基于多方向特征预测先验的单幅图像超分辨率重建方法 | |
| Kudo et al. | Virtual thin slice: 3D conditional GAN-based super-resolution for CT slice interval | |
| Du et al. | Accelerated super-resolution MR image reconstruction via a 3D densely connected deep convolutional neural network | |
| CN111899165A (zh) | 一种基于功能模块的多任务图像重建卷积网络模型 | |
| CN111260667B (zh) | 一种结合空间引导的神经纤维瘤分割方法 | |
| CN111583262A (zh) | 一种血管分割方法与系统 | |
| Huang et al. | TransMRSR: transformer-based self-distilled generative prior for brain MRI super-resolution | |
| CN115512182A (zh) | 一种基于聚焦学习的ct血管造影智能成像方法 | |
| Wang et al. | Brain MR image super-resolution using 3D feature attention network | |
| CN116645283A (zh) | 基于自监督感知损失多尺度卷积神经网络的低剂量ct图像去噪方法 | |
| CN113538616B (zh) | 一种联合PUGAN与改进U-net的磁共振图像重构方法 | |
| Lu et al. | Two-stage self-supervised cycle-consistency transformer network for reducing slice gap in MR images | |
| Lim et al. | Motion artifact correction in fetal MRI based on a Generative Adversarial network method | |
| Rashid et al. | Single MR image super-resolution using generative adversarial network | |
| CN115294225A (zh) | 一种针对新冠肺炎胸部ct的渐进式反向投影网络超分辨率重建方法 | |
| Qin et al. | A2OURSR: Adaptive adjustment based real MRI super-resolution via opinion-unaware measurements | |
| Zhang et al. | Deep residual network based medical image reconstruction | |
| CN115578263B (zh) | 一种基于生成网络的ct超分辨重建方法、系统及装置 | |
| Xu et al. | Multi-modal brain MRI images enhancement based on framelet and local weights super-resolution | |
| He et al. | Gating feature dense network for single anisotropic mr image super-resolution | |
| CN114187181B (zh) | 基于残差信息精炼的双路径肺部ct图像超分辨率方法 | |
| Patel et al. | Deep Learning in Medical Image Super-Resolution: A Survey |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |