CN116823625A - 基于变分自编码器的跨对比度磁共振超分辨率方法和系统 - Google Patents
基于变分自编码器的跨对比度磁共振超分辨率方法和系统 Download PDFInfo
- Publication number
- CN116823625A CN116823625A CN202311099719.0A CN202311099719A CN116823625A CN 116823625 A CN116823625 A CN 116823625A CN 202311099719 A CN202311099719 A CN 202311099719A CN 116823625 A CN116823625 A CN 116823625A
- Authority
- CN
- China
- Prior art keywords
- resolution
- contrast
- super
- data
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000013507 mapping Methods 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 45
- 230000006870 function Effects 0.000 claims description 35
- 239000013598 vector Substances 0.000 claims description 24
- 239000010410 layer Substances 0.000 claims description 20
- 230000000694 effects Effects 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 12
- 210000004556 brain Anatomy 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000011282 treatment Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 5
- 239000011229 interlayer Substances 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000001308 synthesis method Methods 0.000 claims description 2
- 238000002595 magnetic resonance imaging Methods 0.000 abstract description 4
- 238000011160 research Methods 0.000 abstract description 4
- 238000004451 qualitative analysis Methods 0.000 abstract 1
- 238000004445 quantitative analysis Methods 0.000 abstract 1
- 238000012545 processing Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241000257303 Hymenoptera Species 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000005013 brain tissue Anatomy 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 210000004884 grey matter Anatomy 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明公开了一种基于变分自编码器的跨对比度磁共振超分辨率方法和系统。首先，获取同一受试者的不同对比度的高分辨和低分辨率的磁共振成像；然后设计单一对比度的超分辨率网络学习低分辨率到高分辨率图像的映射；接着设计编码和解码模块学习对比度信息，并接入单一对比度的超分辨率网络完成跨对比度重建。本发明可以对不同对比度的低分辨率磁共振图像重建出参考对比度的高分辨率磁共振图像，为临床应用和研究提供大量高质量的数据，便于后续磁共振定性定量分析。
Description
技术领域
本发明涉及医学影像领域和深度学习领域，尤其涉及一种基于变分自编码器的跨对比度磁共振超分辨率方法和系统。
背景技术
磁共振成像（MRI）由于其非侵入式成像和丰富的软组织对比度信息成为了脑科学研究中的重要研究手段。大量的人脑组织结构的定量以及可重复分析都依赖于各向同性的高分辨率磁共振图像。现存的大量磁共振分析方法和工具，比如FreeSurfer，FSL，SPM，AFNI，ANTs等在脑区分割，配准时算法的精确度尤其受到图像分辨率的影响。
更为重要的是，上述的大部分工具为了准确的区分灰白质，因而对磁共振序列以及对比度有着特殊要求，比如MP-RAGE序列以及其变种。研究表明，大多数分割方法（除了基于无监督的贝叶斯算法外），在使用其他对比度或者序列（比如T2加权磁共振）时都会导致分割精度的下降。特别对于监督学习中的卷积神经网络算法，其在测试数据的对比度，分辨率以及采样方向发生改变时，精度会迅速下降。
因此提升磁共振成像分辨率，同时统一对比度，将能复用大量的临床数据，对临床应用和医学研究都有十分重要的意义。比如医学多中心数据融合分析，医学影像互认技术，医学影像病历文本联合分析等。
近年来随着深度学习的快速发展，越来越多的网络开始应用磁共振超分辨技术和对比度合成技术。然而将这两种技术进行结合的超分辨率重建算法还比较少，大部分超分辨率重建算法应用于其他对比度的低分辨率数据时会导致网络性能的快速下降。因此跨对比度的超分辨率重建是一个亟待解决的问题。
发明内容
针对现有大多数技术无法有效解决不同对比度下超分辨重建问题，本发明提出了一种基于变分自编码器的跨对比度磁共振超分辨率方法和系统。
本发明的目的是通过以下技术方案来实现的：第一方面，本发明提供了一种基于变分自编码器的跨对比度磁共振超分辨率方法，该方法包括以下步骤：
（1）获取包括不同分辨率和不同对比度的多个受试者的三维磁共振数据并进行预处理，将待重建对比度的低分辨率图像记为参考对比度低分辨率图像；
（2）预训练一个单对比度重建的超分辨网络，该网络输入参考对比度低分辨率图像，生成参考对比度高分辨率图像；
（3）构建变分自编码器，包含编码器和解码器两个部分，其中编码器输入同一个受试者的参考对比度低分辨率图像和其他对比度数据，输出自定义维度的向量，该向量含有对比度信息，记为隐藏向量；解码器输入该隐藏向量和该受试者的其他对比度数据；随后将解码器的输出连接到预训练的超分辨网络，得到变分超分辨网络；
（4）变分超分辨网络中，编码器、解码器和预训练的超分辨网络训练使用的损失函数为高斯分布假设下根据贝叶斯理论推导的变分损失函数；训练时预训练超分辨率网络的权重保持不变；
（5）训练好的网络进行跨对比度超分辨重建时，单独使用解码器模块和预训练好的超分辨网络获得参考对比度的高分辨率图像；或者使用其他受试者的数据，并使用变分超分辨网络获得参考对比度的高分辨率图像。
进一步地，步骤（1）中，通过数据采集或者人工合成的方法获得低分辨率数据，所述低分辨率数据为2mm到7mm的层间分辨率的磁共振数据，高分辨率数据为1mm层间分辨率的数据。
进一步地，步骤（1）中，将获得的数据去除脑壳和背景，矩阵大小和数值归一化，并将低分辨率数据通过插值的方式插值为高分辨率的模糊数据，然后分为两组；第一组数据集包括多个同受试者的不同对比度的低分辨率数据；第二组数据集包括多个同受试者的第一对比度/>的高分辨率和低分辨率数据/>，第一对比度为参考对比度，其中N表示受试者数目，i表示受试者编号，/>分别表示不同的第一对比度和第二对比度，/>分别表示第i个受试者第一对比度/>和第二对比度/>的低分辨率数据，/>表示第i个受试者第一对比度/>的高分辨率数据；对于第二组数据还需要做切分图像小块的操作，图像小块为/>的大小；其中，数值归一化采用最大最小归一化MinMax，插值采用双线性插值。
进一步地，预训练的单对比度重建的超分辨网络为多个卷积层和残差连接构成的网络，并且训练采用的损失函数是均方误差损失函数和VGG16损失函数，利用VGG16损失函数提取图像特征的能力将基于像素点的损失函数计算转化为基于特征的损失函数计算。
进一步地，编码器是多个卷积层和全连接层构成的网络，解码器是多个全连接层和解卷积层构成的网络；训练时，编码器输入同一个受试者的两个低分辨率且不同对比度的数据，输出是长度为d的两个向量/>；解码器的输入是长度为d的隐变量/>和低分辨率图像/>，输出是参考对比度图像/>，对应的训练标签是/>，/>经过预训练网络后，输出对应重建的高分辨图像/>，其对应的训练标签是/>；其中隐藏变量，/>代表高斯分布，/>取该分布的均值/>，/>为该分布的方差。
进一步地，变分损失函数为：
；
其中是受试者编号，/>和/>表示编码器的输出/>第j个分量，分别代表解码器和变分超分辨网络的输出，/>表示预训练的超分辨网络模块，/>表示的解码器模块，/>表示超分辨效果和对比度转换效果的权重参数，/>表示超分辨效果与对比度转换效果同等重要。
进一步地，跨对比度重建时，如果待重建数据中包括第一对比度的低分辨率图像，则直接使用预训练网络重建，如果待重建数据中仅有第二对比度/>加权的低分辨率图像，则通过以下两种方式重建：
其一，仅使用解码器模块和预训练网络，隐藏变量通过采样高斯分布获得，解码器输入低分辨率图像/>，得到高分辨率图像；
其二，使用编码器、解码器和预训练网络，基于不同受试者间大脑结构和对比度映射关系，使用另一个受试者的两个低分辨率且不同对比度的数据作为编码器的输入得到参数/>，解码器输入/>和低分辨率图像/>，得到高分辨率图像。
第二方面，本发明还提供了一种基于变分自编码器的跨对比度磁共振超分辨率系统，该系统包括数据预处理模块、单对比度超分辨模块、编码模块、解码模块以及跨对比度超分辨模块。
所述数据预处理模块用于获取包括不同分辨率和不同对比度的多个受试者的三维磁共振数据并进行预处理，将待重建的对比度的低分辨率图像记为参考对比度低分辨率图像；
所述单对比度超分辨模块用于预训练一个单对比度重建的超分辨网络，该网络输入参考对比度低分辨图像，能生成参考对比度高分辨率图像；
所述编码模块用于输入同一个受试者的参考对比度低分辨率图像和其他对比度的数据，输出一个自定义维度的向量，该向量含有对比度信息，记为隐藏向量；
所述解码模块用于输入编码模块输出的隐藏向量和该受试者的其他对比度数据；随后将解码器的输出连接到预训练的超分辨网络，得到变分超分辨网络；变分超分辨网络中，编码模块、解码模块和预训练的超分辨网络训练使用的损失函数为高斯分布假设下根据贝叶斯理论推导的变分损失函数；训练时预训练超分辨率网络的权重保持不变；
所述跨对比度超分辨模块用于基于训练好的网络进行跨对比度超分辨重建，单独使用解码器模块和预训练好的超分辨网络获得参考对比度的高分辨率图像；或者使用其他受试者的数据，并使用变分超分辨网络获得参考对比度的高分辨率图像。
第三方面，本发明还提供了一种基于变分自编码器的跨对比度磁共振超分辨率装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现所述的一种基于变分自编码器的跨对比度磁共振超分辨率方法。
第四方面，本发明还提供了一种计算机可读存储介质，其上存储有程序，所述程序被处理器执行时，实现所述的一种基于变分自编码器的跨对比度磁共振超分辨率方法。
本发明的有益效果是，本发明通过将超分辨率和对比度分别用两种网络进行分开处理，然后通过优化损失函数有效的结合在一起，设计一种基于变分自编码器的超分辨率方法，为跨对比超分辨率重建提供了一种新的思路。首先，由于设备误差，采集噪声，参数控制等问题，不同对比度之间的映射并不是一一对应的，为此设计了使用变分自编码器以随机采样和概率分布的方式模拟这一情况，大幅提升了网络对不同对比度之间转化的性能。此外，本发明仅是以T1和T2加权两种对比度进行举例，可以替换成其他对比度，极大提升了磁共振不同对比度图像之间互相转换的能力，进一步地，本发明网络还能对任意对比度的低分辨率图像进行超分辨率重建，为临床医学中磁共振图像分割，诊断，治疗提供了一种有效的后处理途径，丰富了医生从图像中获取信息的途径，这对于医学多中心数据融合，医学影像互认有着极为重要的意义。
附图说明
图1是本发明提供的基于变分自编码器的跨对比度磁共振超分辨率方法网络示意图。
图2是本发明提供的基于变分自编码器的跨对比度磁共振超分辨率方法中随机变量关系示意图。
图3是本发明提供的基于变分自编码器的跨对比度磁共振超分辨率方法重建流程图。
图4是本发明提供的基于变分自编码器的跨对比度磁共振超分辨率方法系统结构示意图。
图5是本发明提供的基于变分自编码器的跨对比度磁共振超分辨率装置的结构图。
具体实施方式
以下结合附图对本发明具体实施方式作进一步详细说明。
本发明将跨对比度重建分解成对比度恢复和超分辨重建两个子问题：首先，如何将对比度为的数据转化为对比度为/>的数据，/>可以是任何对比度，/>代表要恢复的参考对比度；其次，如何对相同对比度的低分辨率数据进行超分辨率重建。针对第一个子问题，本发明采用变分自编码器生成模型来重建，并以相同对比度的低分辨率数据组和一个设定的隐藏变量作为该网络的输入。针对第二个问题，首先选取目标对比度/>为参考对比度，采用该对比度下的不同分辨率的磁共振数据作为训练集来训练超分辨网络。最后，为了完成跨对比度重建，将变分自编码器和预训练的超分辨网络连接起来就能重建不同对比度的低分辨率数据。
本发明提供了一种基于变分自编码器的跨对比度磁共振超分辨率方法，在获取MRI数据时，每个受试者至少包含两种不同对比度的低分辨率数据和相同对比度的两种不同分辨率数据；然后利用两种分辨率的数据训练超分辨网络模块（图1中的（c））；将训练好的超分辨网络模块接入到变分自编码器后（图1中的（b）），构成变分超分辨网络，使用不同对比度的低分辨率数据训练整个网络；利用训练好网络对新数据进行超分辨重建时，可以有两种方法重建：仅使用解码器和超分辨网络模块重建；使用整个网络以及额外的受试者的数据重建。具体步骤为：
步骤（1）：数据获取。每个受试者数据组需要包括两种对比度以及至少两种分辨率的数据，即，其中N表示受试者数目，/>表示受试者编号，/>表示低分辨率和高分辨率数据，/>表示两种对比度，/>分别表示第i个受试者对比度/>的高分辨率数据和对比度/>的低分辨率数据。不失一般性，可以假定/>分别为T1加权，T2加权，/>代表5mm和1mm，并使用磁共振扫描设备获取。
步骤（2）：数据预处理。首先将图像像素值归一化到0-1之间，然后对所有低分辨率数据进行双线性插值，使每组数据都有相同的维度，其次使用FreeSurfer软件对每组数据提取脑壳，最后通过去除脑壳和图片背景将数据规范化到大小。由于需要训练两个网络，因此要对数据分为两小组。第一小组数据集包括多个受试者的T1,T2加权的低分辨率数据/>；第二小组数据集包括多个受试者的T1加权的高分辨率和低分辨率数据/>。对于第二小组数据，还需要切分成3维图像小块，这里经验选取小块大小为/>，小块之间的重叠步长为/>。借此可以充分利用图像局部相似性来超分辨低质量图像。
步骤（3）：预训练超分辨网络。如图1中的（c）所示，构建9层三维卷积网络，并将输入以相加的形式连接到输出。这里经验选取输出通道数为64，卷积核为，步长为1。然后使用第二小组的数据/>进行训练，首先将网络损失函数设置为均方误差损失函数，学习率为0.0001，迭代周期最大为100，batch为8，并使用Adam优化器进行训练。为了进一步提升图像质量，引入感知损失VGG16损失函数，对上述训练好的网络进一步微调，学习率设置为0.00001，其他参数不变。这里VGG16是在自然图像上进行大规模训练的网络，其训练权重已经公开使用，这里主要利用其提取图像特征的能力将基于像素点的损失函数计算转化为基于特征的损失函数计算。
步骤（4）：构建变分超分辨网络。如图1中的（a）所示，首先构建编码器。编码器接收两种对比度的低分辨率数据，它们各自通过4个卷积层生成特征图，图中c表示对应网络层输出通道数，s表示卷积核的移动步长；随后将输出的两张特征图沿着通道维度拼接在一起，并经过图1中的（a）中融合层做扁平化操作，然后经过四个全连接网络输出维度为64的两个向量/>，其中四个全连接层的输出通道大小为1024，256，64，64。解码器则接收维度为64的隐变量/>，其中/>从高斯分布/>采样得到，经过三个全连接层并进行维度扩展后得到对应的特征图，与来自编码器中/>对比度低分辨率数据的特征图沿着通道维度拼接在一起得到新的特征，然后经过四个解卷积层得到解码器输出/>，这里四个解卷积层的通道数为16，32，32，1，且卷积核步长为2。最后将解码器的输出输入到预训练好的超分辨率网络中得到最终输出/>。训练过程中，学习率为0.0001，迭代周期最大为100，batch为1。值得注意的是，超分辨率网络模块在训练过程中权重不变，且虽然超分辨率网络模块是基于图像块/>大小训练得到的，但由于是全卷积网络，因此可以直接拼接到解码器输出后面。
步骤（5）：变分超分辨网络损失函数。如图2描述的随机变量的关系所示，根据步骤（1）到（4）中变量的定义，依据最大似然概率思想，跨对比度重建就是为了最大化如下函数，其中/>，/>代表超分辨模型参数。推导如下：
上述公式第一项对应单对比度超分辨网络模块，第二项对应变分自编码器模块。引入隐变量，其中隐藏变量/>，/>代表高斯分布，一般/>取该分布的均值/>，/>为该分布的方差，/>表示以/>为随机变量，以/>为参数的概率分布。假定，/>，/>，/>，其中表示高斯分布，箭头部分表示向量。根据贝叶斯定理和EM算法，可以得到最终损失函数为：
其中是受试者编号，/>和/>表示/>第j个分量，分别代表解码器和变分超分辨网络的输出，/>表示预训练的超分辨网络模块，/>表示的解码器模块，/>表示超分辨效果和对比度转换效果的权重参数，/>表示超分辨效果与对比度转换效果同等重要。
步骤（6）：在使用网络进行超分辨率重建时，一般情况下可以仅使用解码器（图1中的（b））和超分辨率网络模块（图1中的（c））即可重建跨对比对高质量图像。输入待重建的T2加权的低分辨率图像和隐藏变量，其中/>。然而如果有其他受试者的T1和T2加权的低分辨率图像，由于人脑结构相似且对比度图像成像原理相同，可以假定，其中/>表示不同的受试者编号，/>表示后验概率分布。那么编码器（图1中的（c））可以输入另外一组受试者的数据，从而获得输出的/>，并赋值给解码器的输入/>。该重建流程如图3所示。
本发明具有良好的可扩展性。特别地，本发明虽然目前针对的是将T2加权的层厚5mm低分辨率磁共振数据重建成T1加权的层厚1mm高分辨率磁共振数据，但是更换对比度或者分辨率都可以按照本发明描述流程进行操作。具体而言，本发明在数据分组时，分为和/>。其中/>就表示目前已有的低分辨率数据的对比度，/>表示希望恢复的高分辨率数据的对比度，所有其他过程保持不变。
如图4所示，另一方面，本发明还提供了基于变分自编码器的跨对比度磁共振超分辨率系统，该系统包括数据预处理模块、单对比度超分辨模块、变分超分辨网络模块以及跨对比度超分辨模块；各模块实现功能的具体过程可以参考对应的方法实现步骤。
所述数据预处理模块用于获取包括不同分辨率和不同对比度的多个受试者的三维磁共振数据并进行预处理，对数据提取脑壳，去除背景，并对数据矩阵大小和数组进行归一化，同时将低分辨率数据通过插值的方式插值为高分辨率的模糊数据并将数据划分为两组，将待重建的对比度的低分辨率图像记为参考对比度低分辨率图像。
所述单对比度超分辨模块用于预训练一个单对比度重建的超分辨网络，该网络输入为参考对比度低分辨率图像，将相同对比度且不同分辨率的数据切分成小图像块，并输入到网络中，能生成参考对比度高分辨率图像，采用均方误差和VGG16网络进行训练。
所述编码模块用于输入同一个受试者的参考对比度和其他对比度的数据，输出一个自定义维度的向量，该向量含有对比度信息，记为隐藏向量；
所述解码模块用于输入编码模块输出的隐藏向量和该受试者的其他对比度数据；随后将解码器的输出连接到预训练的超分辨网络，得到变分超分辨网络；变分超分辨网络中，编码模块、解码模块和预训练的超分辨网络训练使用的损失函数为高斯分布假设下根据贝叶斯理论推导的变分损失函数；训练时预训练超分辨率网络的权重保持不变；
所述跨对比度超分辨模块用于基于训练好的网络进行跨对比度超分辨重建，单独使用解码器模块和预训练好的超分辨网络获得参考对比度的高分辨率图像；或者使用其他受试者的数据，并使用变分超分辨网络获得参考对比度的高分辨率图像。
与前述一种基于变分自编码器的跨对比度磁共振超分辨率方法的实施例相对应，本发明还提供了基于变分自编码器的跨对比度磁共振超分辨率装置的实施例。
参见图5，本发明实施例提供的一种基于变分自编码器的跨对比度磁共振超分辨率装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，用于实现上述实施例中的一种基于变分自编码器的跨对比度磁共振超分辨率方法。
本发明一种基于变分自编码器的跨对比度磁共振超分辨率装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图5所示，为本发明一种基于变分自编码器的跨对比度磁共振超分辨率装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图5所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的一种基于变分自编码器的跨对比度磁共振超分辨率方法。
所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备的外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、SD卡、闪存卡（Flash Card）等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。
Claims (10)
1.一种基于变分自编码器的跨对比度磁共振超分辨率方法，其特征在于，该方法包括以下步骤：
（1）获取包括不同分辨率和不同对比度的多个受试者的三维磁共振数据并进行预处理，将待重建对比度的低分辨率图像记为参考对比度低分辨率图像；
（2）预训练一个单对比度重建的超分辨网络，该网络输入参考对比度低分辨率图像，生成参考对比度高分辨率图像；
（3）构建变分自编码器，包含编码器和解码器两个部分，其中编码器输入同一个受试者的参考对比度低分辨率图像和其他对比度数据，输出自定义维度的向量，该向量含有对比度信息，记为隐藏向量；解码器输入该隐藏向量和该受试者的其他对比度数据；随后将解码器的输出连接到预训练的超分辨网络，得到变分超分辨网络；
（4）变分超分辨网络中，编码器、解码器和预训练的超分辨网络训练使用的损失函数为高斯分布假设下根据贝叶斯理论推导的变分损失函数；训练时预训练超分辨率网络的权重保持不变；
（5）训练好的网络进行跨对比度超分辨重建时，单独使用解码器模块和预训练好的超分辨网络获得参考对比度的高分辨率图像；或者使用其他受试者的数据，并使用变分超分辨网络获得参考对比度的高分辨率图像。
2.根据权利要求1所述的一种基于变分自编码器的跨对比度磁共振超分辨率方法，其特征在于，步骤（1）中，通过数据采集或者人工合成的方法获得低分辨率数据，所述低分辨率数据为2mm到7mm的层间分辨率的磁共振数据，高分辨率数据为1mm层间分辨率的数据。
3.根据权利要求1所述的一种基于变分自编码器的跨对比度磁共振超分辨率方法，其特征在于，步骤（1）中，将获得的数据去除脑壳和背景，矩阵大小和数值归一化，并将低分辨率数据通过插值的方式插值为高分辨率的模糊数据，然后分为两组；第一组数据集包括多个同受试者的不同对比度的低分辨率数据；第二组数据集包括多个同受试者的第一对比度/>的高分辨率和低分辨率数据/>，第一对比度为参考对比度，其中N表示受试者数目，i表示受试者编号，/>分别表示不同的第一对比度和第二对比度，分别表示第i个受试者第一对比度/>和第二对比度/>的低分辨率数据，/>表示第i个受试者第一对比度/>的高分辨率数据；对于第二组数据还需要做切分图像小块的操作，图像小块为/>的大小；其中，数值归一化采用最大最小归一化MinMax，插值采用双线性插值。
4.根据权利要求1所述的一种基于变分自编码器的跨对比度磁共振超分辨率方法，其特征在于，预训练的单对比度重建的超分辨网络为多个卷积层和残差连接构成的网络，并且训练采用的损失函数是均方误差损失函数和VGG16损失函数，利用VGG16损失函数提取图像特征的能力将基于像素点的损失函数计算转化为基于特征的损失函数计算。
5.根据权利要求3所述的一种基于变分自编码器的跨对比度磁共振超分辨率方法，其特征在于，编码器是多个卷积层和全连接层构成的网络，解码器是多个全连接层和解卷积层构成的网络；训练时，编码器输入同一个受试者的两个低分辨率且不同对比度的数据，输出是长度为d的两个向量/>；解码器的输入是长度为d的隐变量/>和低分辨率图像/>，输出是参考对比度图像/>，对应的训练标签是/>，/>经过预训练网络后，输出对应重建的高分辨图像/>，其对应的训练标签是/>；其中隐藏变量，/>代表高斯分布，/>取该分布的均值/>，/>为该分布的方差。
6.根据权利要求5所述的一种基于变分自编码器的跨对比度磁共振超分辨率方法，其特征在于，变分损失函数为：
；
其中是受试者编号，/>和/>表示编码器的输出/>第j个分量，分别代表解码器和变分超分辨网络的输出，/>表示预训练的超分辨网络模块，/>表示的解码器模块，/>表示超分辨效果和对比度转换效果的权重参数，/>表示超分辨效果与对比度转换效果同等重要。
7.根据权利要求5所述的一种基于变分自编码器的跨对比度磁共振超分辨率方法，其特征在于，跨对比度重建时，如果待重建数据中包括第一对比度的低分辨率图像，则直接使用预训练网络重建，如果待重建数据中仅有第二对比度/>加权的低分辨率图像，则通过以下两种方式重建：
其一，仅使用解码器模块和预训练网络，隐藏变量通过采样高斯分布获得，解码器输入低分辨率图像/>，得到高分辨率图像；
其二，使用编码器、解码器和预训练网络，基于不同受试者间大脑结构和对比度映射关系，使用另一个受试者的两个低分辨率且不同对比度的数据作为编码器的输入得到参数/>，解码器输入/>和低分辨率图像/>，得到高分辨率图像。
8.一种实现权利要求1-7任一项所述方法的基于变分自编码器的跨对比度磁共振超分辨率系统，其特征在于，该系统包括数据预处理模块、单对比度超分辨模块、编码模块、解码模块以及跨对比度超分辨模块；
所述数据预处理模块用于获取包括不同分辨率和不同对比度的多个受试者的三维磁共振数据并进行预处理，将待重建的对比度的低分辨率图像记为参考对比度低分辨率图像；
所述单对比度超分辨模块用于预训练一个单对比度重建的超分辨网络，该网络输入参考对比度低分辨图像，能生成参考对比度高分辨率图像；
所述编码模块用于输入同一个受试者的参考对比度低分辨率图像和其他对比度的数据，输出一个自定义维度的向量，该向量含有对比度信息，记为隐藏向量；
所述解码模块用于输入编码模块输出的隐藏向量和该受试者的其他对比度数据；随后将解码器的输出连接到预训练的超分辨网络，得到变分超分辨网络；变分超分辨网络中，编码模块、解码模块和预训练的超分辨网络训练使用的损失函数为高斯分布假设下根据贝叶斯理论推导的变分损失函数；训练时预训练超分辨率网络的权重保持不变；
所述跨对比度超分辨模块用于基于训练好的网络进行跨对比度超分辨重建，单独使用解码器模块和预训练好的超分辨网络获得参考对比度的高分辨率图像；或者使用其他受试者的数据，并使用变分超分辨网络获得参考对比度的高分辨率图像。
9.一种基于变分自编码器的跨对比度磁共振超分辨率装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，其特征在于，所述处理器执行所述可执行代码时，实现如权利要求1-7中任一项所述的一种基于变分自编码器的跨对比度磁共振超分辨率方法。
10.一种计算机可读存储介质，其上存储有程序，其特征在于，所述程序被处理器执行时，实现如权利要求1-7中任一项所述的一种基于变分自编码器的跨对比度磁共振超分辨率方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311099719.0A CN116823625B (zh) | 2023-08-30 | 2023-08-30 | 基于变分自编码器的跨对比度磁共振超分辨率方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311099719.0A CN116823625B (zh) | 2023-08-30 | 2023-08-30 | 基于变分自编码器的跨对比度磁共振超分辨率方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116823625A true CN116823625A (zh) | 2023-09-29 |
| CN116823625B CN116823625B (zh) | 2023-12-12 |
Family
ID=88118839
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311099719.0A Active CN116823625B (zh) | 2023-08-30 | 2023-08-30 | 基于变分自编码器的跨对比度磁共振超分辨率方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116823625B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117649343A (zh) * | 2024-01-29 | 2024-03-05 | 北京航空航天大学 | 基于条件变分自编码器的数据不确定性生成方法及系统 |
| CN117649344A (zh) * | 2024-01-29 | 2024-03-05 | 之江实验室 | 磁共振脑影像超分辨率重建方法、装置、设备和存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108090871A (zh) * | 2017-12-15 | 2018-05-29 | 厦门大学 | 一种基于卷积神经网络的多对比度磁共振图像重建方法 |
| CN110533591A (zh) * | 2019-08-20 | 2019-12-03 | 西安电子科技大学 | 基于编解码器结构的超分辨图像重建方法 |
| CN112348743A (zh) * | 2020-11-06 | 2021-02-09 | 天津大学 | 一种融合判别式网络和生成式网络的图像超分辨率方法 |
| CN113379601A (zh) * | 2021-06-08 | 2021-09-10 | 中国科学技术大学 | 基于降质变分自编码器的真实世界图像超分辨方法及系统 |
| CN114881852A (zh) * | 2022-03-09 | 2022-08-09 | 西北工业大学 | 基于去噪和超分辨率重构融合的攻击图像防御方法 |
| CN115880158A (zh) * | 2023-01-30 | 2023-03-31 | 西安邮电大学 | 一种基于变分自编码的盲图像超分辨率重建方法及系统 |
| WO2023071531A1 (zh) * | 2021-10-25 | 2023-05-04 | 之江实验室 | 一种基于深度形状学习的肝脏ct自动分割方法 |
| WO2023081095A1 (en) * | 2021-11-05 | 2023-05-11 | Subtle Medical, Inc. | Systems and methods for multi-contrast multi-scale vision transformers |
-
2023
- 2023-08-30 CN CN202311099719.0A patent/CN116823625B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108090871A (zh) * | 2017-12-15 | 2018-05-29 | 厦门大学 | 一种基于卷积神经网络的多对比度磁共振图像重建方法 |
| CN110533591A (zh) * | 2019-08-20 | 2019-12-03 | 西安电子科技大学 | 基于编解码器结构的超分辨图像重建方法 |
| CN112348743A (zh) * | 2020-11-06 | 2021-02-09 | 天津大学 | 一种融合判别式网络和生成式网络的图像超分辨率方法 |
| CN113379601A (zh) * | 2021-06-08 | 2021-09-10 | 中国科学技术大学 | 基于降质变分自编码器的真实世界图像超分辨方法及系统 |
| WO2023071531A1 (zh) * | 2021-10-25 | 2023-05-04 | 之江实验室 | 一种基于深度形状学习的肝脏ct自动分割方法 |
| WO2023081095A1 (en) * | 2021-11-05 | 2023-05-11 | Subtle Medical, Inc. | Systems and methods for multi-contrast multi-scale vision transformers |
| CN114881852A (zh) * | 2022-03-09 | 2022-08-09 | 西北工业大学 | 基于去噪和超分辨率重构融合的攻击图像防御方法 |
| CN115880158A (zh) * | 2023-01-30 | 2023-03-31 | 西安邮电大学 | 一种基于变分自编码的盲图像超分辨率重建方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| LINCHEN QIAN 等: "CQ-VAE: Coordinate Quantized VAE for Uncertainty Estimation with Application to Disk Shape Analysis from Lumbar Spine MRI Images", IEEE XPLORE * |
| 刘超;张晓晖;: "超低照度下微光图像的深度卷积自编码网络复原", 光学精密工程, no. 04 * |
| 苏健民;杨岚心;: "基于生成对抗网络的单帧遥感图像超分辨率", 计算机工程与应用, no. 12 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117649343A (zh) * | 2024-01-29 | 2024-03-05 | 北京航空航天大学 | 基于条件变分自编码器的数据不确定性生成方法及系统 |
| CN117649344A (zh) * | 2024-01-29 | 2024-03-05 | 之江实验室 | 磁共振脑影像超分辨率重建方法、装置、设备和存储介质 |
| CN117649343B (zh) * | 2024-01-29 | 2024-04-12 | 北京航空航天大学 | 基于条件变分自编码器的数据不确定性生成方法及系统 |
| CN117649344B (zh) * | 2024-01-29 | 2024-05-14 | 之江实验室 | 磁共振脑影像超分辨率重建方法、装置、设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116823625B (zh) | 2023-12-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110461228B (zh) | 使用多对比度和深度学习改进医学图像的质量 | |
| CN116823625B (zh) | 基于变分自编码器的跨对比度磁共振超分辨率方法和系统 | |
| Du et al. | Accelerated super-resolution MR image reconstruction via a 3D densely connected deep convolutional neural network | |
| CN109214989A (zh) | 基于多方向特征预测先验的单幅图像超分辨率重建方法 | |
| CN116402865B (zh) | 一种利用扩散模型的多模态影像配准方法、装置和介质 | |
| Hyun et al. | Deep learning-based solvability of underdetermined inverse problems in medical imaging | |
| CN111260705A (zh) | 一种基于深度卷积神经网络的前列腺mr图像多任务配准方法 | |
| CN112819914A (zh) | 一种pet图像处理方法 | |
| CN113112559A (zh) | 一种超声图像的分割方法、装置、终端设备和存储介质 | |
| Singh et al. | Medical image generation using generative adversarial networks | |
| CN114299185A (zh) | 磁共振图像生成方法、装置、计算机设备和存储介质 | |
| CN110874855B (zh) | 一种协同成像方法、装置、存储介质和协同成像设备 | |
| CN113538209A (zh) | 一种多模态医学影像配准方法、配准系统、计算设备和存储介质 | |
| Lu et al. | Two-stage self-supervised cycle-consistency transformer network for reducing slice gap in MR images | |
| Feng et al. | Deep multi-modal aggregation network for MR image reconstruction with auxiliary modality | |
| CN111814891A (zh) | 医学图像合成方法、装置及存储介质 | |
| CN116309754A (zh) | 一种基于局部-全局信息协作的大脑医学图像配准方法及系统 | |
| CN116091412A (zh) | 一种从pet/ct图像中分割肿瘤的方法 | |
| Muhammad et al. | IRMIRS: Inception-ResNet-Based Network for MRI Image Super-Resolution. | |
| CN113052840A (zh) | 一种基于低信噪比pet图像的处理方法 | |
| CN116805284B (zh) | 基于特征迁移的三维磁共振平面间超分辨重建方法和系统 | |
| CN113850710B (zh) | 一种跨模态医学影像精准转换方法 | |
| Xu | A Robust and Efficient Framework for Slice-to-Volume Reconstruction: Application to Fetal MRI | |
| CN113066145B (zh) | 基于深度学习的快速全身弥散加权成像方法及相关设备 | |
| CN117541673B (zh) | 一种多模态磁共振图像的转换方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |