CN113920212A - 磁共振重建模型训练方法、计算机装置及存储介质 - Google Patents
磁共振重建模型训练方法、计算机装置及存储介质 Download PDFInfo
- Publication number
- CN113920212A CN113920212A CN202111136430.2A CN202111136430A CN113920212A CN 113920212 A CN113920212 A CN 113920212A CN 202111136430 A CN202111136430 A CN 202111136430A CN 113920212 A CN113920212 A CN 113920212A
- Authority
- CN
- China
- Prior art keywords
- magnetic resonance
- image
- data
- training
- reconstruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
Abstract
本发明提供一种磁共振重建模型训练方法、计算机装置及存储介质,其包括步骤S1、获取磁共振K空间数据,并生成与其对应的磁共振图像,步骤S2、基于步骤S1所获取到的数据或图像,获取存在缺陷的磁共振K空间数据或磁共振图像,步骤S3、使用步骤S1、S2中的数据构成多个图像重建任务的训练数据,步骤S4、构建目标模型,使用多个图像重建任务对目标模型进行训练,步骤S5、获得训练完成的目标模型。本发明还提供实现上述方法的计算机装置以及存储介质。应用本发明能够从有限的训练数据中充分学习解剖结构信息,可以解决解剖结构信息的学习问题,从而提高磁共振图像信噪比和减少伪影。
Description
技术领域
本发明涉及医学成像、智能图像处理技术领域,尤其涉及一种基于多 任务的磁共振重建模型训练方法,还涉及一种实现上述方法的计算机装置 以及存储介质。
背景技术
磁共振成像因其非创伤性、无电离辐射等优势,在临床疾病诊断和生 物医学研究中有着巨大的价值,但是其成像速度较慢,过长的扫描时间等 问题阻碍着磁共振成像的发展。
为了提高磁共振成像速度和图像质量,近期的一些研究将机器学习引 入到磁共振重建中,在采集部分k空间样本的情况下,通过非线性算法重 建磁共振图像,实现加速磁共振成像这一目标。
然而,由于生物体解剖结构复杂多变、磁共振图像混叠模式特殊、可 用训练数据稀少等原因,因此现有技术在学习磁共振数据中的解剖结构信 息时效果欠佳,重建图像信噪比不足,伪影较多。
发明内容
本发明的第一目的是提供一种能够从有限的训练数据中充分学习解 剖结构信息,可以解决解剖结构信息的学习问题,提高磁共振图像信噪比, 减少伪影的基于多任务的磁共振重建模型训练方法。
本发明的第二目的是提供一种能够实现上述磁共振重建模型训练方 法的计算机装置。
本发明的第三目的是提供一种被处理器读取并执行时能够实现上述 磁共振重建模型训练方法的存储介质。
为了实现上述第一目的,本发明提供的一种基于多任务的磁共振重建 模型训练方法,包括步骤S1、获取磁共振K空间数据,并生成与其对应 的磁共振图像,其中,该磁共振K空间数据为K空间采样密度高于或接 近于奈奎斯特频率的磁共振数据;步骤S2、基于步骤S1所获取到的数据 或图像,获取存在缺陷的磁共振K空间数据或磁共振图像;步骤S3、使用步骤S1、S2中的数据构成多个图像重建任务的训练数据;步骤S4、构 建目标模型,使用多个图像重建任务对目标模型进行训练;步骤S5、获得 训练完成的目标模型。
进一步的方案中,在获得训练完成的目标模型后,还执行:获得实际 采集的磁共振K空间数据,使用训练完成的目标模型进行图像重建处理, 得到磁共振重建图像。
更进一步的方案中,在构建目标模型时,还执行:针对特定任务对目 标模型进行微调:在所述步骤S4中,冻结卷积神经网络的输入卷积层的 参数和变形器神经网络的权重,使用某一特定任务的训练数据,继续训练 若干轮,调整该特定任务对应的输出卷积层的权重。
更进一步的方案中,在所述步骤S2中,使用磁共振扫描仪或算法仿 真得到存在缺陷的磁共振K空间数据,该数据包括只被部分采集的磁共振 K空间数据、在部分区域是没有信号的磁共振图像、不同层之间相互混叠 的磁共振数据或者低信噪比的磁共振数据。
更进一步的方案中,在所述步骤S3中,每个图像重建任务的训练数 据包含有多个训练样本,其中,每个训练样本由一缺损的磁共振K空间数 据/磁共振图像和其对应的满采的高信噪比的磁共振K空间数据或图像组 成。
更进一步的方案中,在所述步骤S4中,多个图像重建任务包括:K 空间补全任务:由部分缺损的磁共振K空间数据恢复出无伪影的高信噪比 的图像;图像补全任务:由部分缺损的磁共振图像恢复出无伪影的高信噪 比的图像;SMS重建任务:由层间混叠的磁共振图像恢复出各层的高信噪 比的图像;图像去噪任务:由低信噪比的磁共振图像恢复出高信噪比的图 像。
更进一步的方案中,所述使用多个图像重建任务对目标模型进行训练, 包括:将多个图像重建任务的输入数据分别送入卷积神经网络的若干个卷 积层,并在卷积层输入和输出之间设置有激活函数;卷积层以1维数据的 形式输出至下一层,送入一个包含公共共享参数的变形器神经网络,其中, 该变形器神经网络主要包含若干个编码器和若干个解码器,每个编/解码器 由自注意力层、归一化层、全连接网络层等组成;变形器神经网络的输出 分别融入对应多个图像重建任务的输出卷积层,并使用激活函数进行输出。
更进一步的方案中,所述使用多个图像重建任务对目标模型进行训练, 包括:将多个图像重建任务的训练数据随机打乱、划分成批后,送入目标 模型进行训练,以优化其内部参数,使得输出效果接近目标的无伪影高信 噪比图像,其中,训练使用的损失函数由各个任务的损失函数加权相加得 到。
由此可见,本发明基于磁共振图像重建任务,采集所花费的时间少于 全采集,由于采集待处理对象的数据的时间减少,有效减少了生成磁共振 图像的时间,有利于提升磁共振图像重建效果,进一步提高磁共振成像速 度和图像质量,进而帮助提高磁共振扫描的机器利用率,帮助医生提高诊 断的准确率。所以,本发明可以获得较高质量的重建图像,同时提高了重 建速度,从而实现了加速磁共振图像重建的目的。
为了实现上述的第二目的,本发明提供的计算机装置包括处理器,处 理器用于执行存储器中存储的计算机程序时实现上述磁共振重建模型训 练方法的各个步骤。
为了实现上述的第三目的,本发明提供的存储介质上存储有计算机程 序,该计算机程序被处理器执行时实现上述磁共振重建模型训练方法的各 个步骤。
由此可见,本发明提供了一种计算机装置以及存储介质,其包括:一 个或多个存储器,一个或多个处理器。存储器用于存储程序代码和程序运 行过程中产生的中间数据、模型输出结果的储存和模型及模型参数的储存; 处理器用于代码运行所占用的处理器资源和训练模型时占用的多个处理 器资源。
附图说明
图1是本发明磁共振重建模型训练方法实施例的流程图。
图2是本发明磁共振重建模型训练方法实施例中关于多个图像重建任 务的原理图。
图3是本发明磁共振重建模型训练装置实施例的原理图。
以下结合附图及实施例对本发明作进一步说明。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本 发明实施例的附图,对本发明实施例的技术方案进行清楚、完整地描述。 显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。 基于所描述的本发明的实施例,本领域普通技术人员在无需创造性劳动的 前提下所获得的所有其他实施例,都属于本发明保护的范围。
磁共振重建模型训练方法实施例:
参见图1,本发明的磁共振重建模型训练方法,包括以下步骤:
步骤S1,获取磁共振K空间数据,并生成与其对应的磁共振图像, 其中,该磁共振K空间数据为K空间采样密度高于或接近于奈奎斯特频 率的磁共振数据。
步骤S2、基于步骤S1所获取到的数据或图像,获取存在缺陷的磁共 振K空间数据或磁共振图像。
步骤S3、使用步骤S1、S2中的数据构成多个图像重建任务的训练数 据。
步骤S4、构建目标模型,使用多个图像重建任务对目标模型进行训练。
步骤S5、获得训练完成的目标模型。
在本实施例中,在获得训练完成的目标模型后,还执行:获得实际采 集的磁共振K空间数据,使用训练完成的目标模型进行图像重建处理,得 到磁共振重建图像。
在构建目标模型时,还执行:针对特定任务对目标模型进行微调:在 上述步骤S4中,冻结卷积神经网络的输入卷积层的参数和变形器神经网 络的权重,使用某一特定任务的训练数据,继续训练若干轮,调整该特定 任务对应的输出卷积层的权重。
在上述步骤S2中,使用磁共振扫描仪或算法仿真得到存在缺陷的磁 共振K空间数据,该数据包括只被部分采集的磁共振K空间数据、在部 分区域是没有信号的磁共振图像、不同层之间相互混叠的磁共振数据或者 低信噪比的磁共振数据。
在上述步骤S3中,每个图像重建任务的训练数据包含有多个训练样 本,其中,每个训练样本由一缺损的磁共振K空间数据/磁共振图像和其 对应的满采的高信噪比的磁共振K空间数据或图像组成。
在上述步骤S4中,多个图像重建任务包括:
K空间补全任务:由部分缺损的磁共振K空间数据恢复出无伪影的高 信噪比的图像。例如,在本实施例中,K空间数据是隔行缺失的,那么原 始图像将呈现混叠伪影,需要恢复出无混叠伪影的干净图像;K空间数据 也可以是前若干行连续缺失,或者右上角若干百分比的数据缺失,会导致 图像模糊等问题。因此,该K空间补全任务需要恢复出无模糊的图像。
图像补全任务:由部分缺损的磁共振图像恢复出无伪影的高信噪比的 图像。例如,在本实施例中,磁共振图像的部分区域的信号丢失(也称signal dropout),需要补全图像内容;磁共振图像也可能是图像部分区域有明显 干扰,比如明暗条纹(bandingartifact)。因此,该图像补全任务需要抹去 干扰后补全原有内容。
SMS重建任务:由层间混叠的磁共振图像恢复出各层的高信噪比的图 像。例如,在本实施例中,两层或更多的磁共振图像混合到一起,各层之 间可能呈现一定的偏移。因此,该SMS重建任务需要分离这些层得到各 自的图像。
图像去噪任务:由低信噪比的磁共振图像恢复出高信噪比的图像。例 如,在本实施例中,图像或对应的K空间被高斯噪声、椒盐噪声干扰,可 能是加性干扰也可能是乘性的,呈现出全局的质量降低。该图像去噪任务 需要去除这些噪声,恢复高信噪比图像。
当然,上述K空间补全任务,图像补全任务,SMS重建任务、去噪 任务共同训练,这些任务的共同点是本质上都要学习对应成像部位的解剖 结构信息。其中,K空间补全任务和SMS重建任务是MRI(磁共振成像) 独有的;通过频率空间和图像空间混合训练,K空间是频率空间,和单纯 的图像空间任务互为补充;通过2D任务和3D任务混合训练,SMS重建 本质是2D变3D的任务,其他任务是2D变2D任务或3D变3D任务(取 决于原始数据是2D还是3D的)。
可见,本发明主要构建了K空间(频率空间)的任务以及SMS重建 任务,主要用于磁共振图像重建,主要目标是加速采集,与现有技术中的 图像去噪和超分辨率不同,现有技术属于后处理技术范畴。
在上述步骤S4中,使用多个图像重建任务对目标模型进行训练,包 括:
将多个图像重建任务的输入数据分别送入卷积神经网络的若干个卷 积层,并在卷积层输入和输出之间设置有激活函数。
卷积层以1维数据的形式输出至下一层,送入一个包含公共共享参数 的变形器神经网络,其中,该变形器神经网络主要包含若干个编码器和若 干个解码器,每个编/解码器由自注意力层、归一化层、全连接网络层等组 成。
变形器神经网络的输出分别融入对应多个图像重建任务的输出卷积 层,并使用激活函数进行输出。
在上述步骤S4中,使用多个图像重建任务对目标模型进行训练,包 括:将多个图像重建任务的训练数据随机打乱、划分成批后,送入目标模 型进行训练,以优化其内部参数,使得输出效果接近目标的无伪影高信噪 比图像,其中,训练使用的损失函数由各个任务的损失函数加权相加得到。
在实际应用中,在步骤S1中,准备满采的、高信噪比(fully-sampled, 指K空间采样密度高于或很接近奈奎斯特频率)的磁共振K空间数据和 对应图像。
上述数据的准备可以有多种方式,在某些实施例中可以从真实磁共振 扫描仪中获得的,根据目标应用场景的不同,数据可能从人类志愿者上采 集,也可能是从某种实验动物上或非生物体上采集。可以采用笛卡尔扫描 轨迹或者非笛卡尔扫描轨迹,重点是保证K空间采样密度高于或很接近奈 奎斯特频率,使得图像中将不会呈现明显的混叠伪影。更优的方式是在采 集磁共振数据过程中,使用多次重复的方式,以提高信噪比。
在其他一些实施例当中,上述数据也可以从大规模公开磁共振数据集 (例如ADNI、HCP等)上取得。
在其他一些实施例当中,这样的数据也可以通过算法仿真得到,可以 通过blochequation或者直接使用开源磁共振仿真软件如mrilab (http://mrilab.sourceforge.net/)。
当然,也可以混合使用以上三种方式,注意上述的K空间数据和图像, 可能是二维的,也可能是三维的。
在步骤S2中,准备与步骤S1中图像内容对应,但是部分缺损的磁共 振K空间数据或图像。
本实施例的部分缺损的磁共振K空间数据或图像可能包含但不限于 以下情况:磁共振的K空间数据只被部分采集(比如隔行采集、跳过部分 区域等),或者磁共振的图像在部分区域是没有信号的,或者是不同层 (slice)相互混叠的磁共振数据,或者磁共振数据被明显的噪声信号所污 染。上述数据可以通过在真实磁共振扫描仪上采集,例如使用跳过部分空 间编码步骤使得K空间被部分采集,例如使用预饱和技术使得磁共振图像 的部分区域是没有信号的,例如使用同时多层(simultaneous multislice, SMS)采集使得不同层混叠,例如使用较大的带宽(band-width)增加噪 声信号。
在其他一些实施例当中,也可以通过算法仿真得到,例如将步骤S1 中的图像进行傅立叶变换,得到其K空间数据,再对K空间数据的部分 区域置0,例如直接在图像当中将部分区域的信号置0,即可得到只被部 分采集的磁共振K空间数据或磁共振图像;例如将不同层的图像相加得到 多层混叠的图像,即可得到不同层之间相互混叠的磁共振数据;例如直接 在K空间或者图像中添加噪声,即可得到低信噪比的磁共振数据。
在步骤S3中,使用步骤S1、2中的数据构成多个图像重建任务的训 练数据。
其中,每个图像重建任务的训练数据应包含多个训练样本,每个训练 样本由一缺损的K空间数据/图像和其对应的满采的高信噪比的K空间数 据/图像组成。如图2所示,上述的多个图像重建任务可以包含以下类型:
K空间补全任务:由部分缺损的K空间恢复出无伪影的高信噪比的 图像(对应满采的高信噪比的K空间)。
图像补全任务:由部分缺损的图像恢复出无伪影的高信噪比的图像。
SMS重建任务:由层间混叠的图像恢复出各层的高信噪比的图像。
图像去噪任务:由低信噪比的(被噪声污染的)图像恢复出高信噪 比的图像。
当然,以上任务的共同特点是其重建(恢复)效果取决于机器学习模 型对潜在图像解剖结构的先验知识学习。
在步骤S4中,构建目标模型,即机器学习模型。本实施例的机器学 习模型的构建可以是人工神经网络,也可以是人工神经网络、角色树模型 或支持向量机模型等的结合。人工神经网络具体可以是多层感知机,卷积 神经网络,循环神经网络,变形器(transformer)神经网络或他们的组合。 对应多个图像重建任务,该机器学习模型可以接受多个输入,可以输出多 个输出结果,如图2所示:
将多个图像重建任务的输入数据分别送入卷积神经网络的若干个卷 积层(若输入是k空间数据,则预先使用反傅里叶变换,inverse Fourier transform,即iFT),例如3个卷积层,每个包含64个3x3的卷积核,使 用激活函数进行输出。其中,本实施例的激活函数可以是relu激活函数、 sigmoid、tanh、Leaky ReLU、PreLU、Swish等或其组合。
当卷积层的输出展开为1维后,送入一个公共的共享参数的变形器神 经网络(transformer),该变形器神经网络主要包含若干个编码器和若干 个解码器,每个编解码器由自注意力层(self-attention layer)、归一化层、 全连接网络层等组成,具体实现可参考开源资料 (https://github.com/microsoft/Swin-Transformer, https://github.com/ZhendongWang6/Uformer, https://github.com/huawei-noah/Pretrained-IPT)。
例如,在本实施例中,Transformer遵循了编码器-解码器的架构。在 编码器方面,若干个编码器组件协同工作,组成一个大的编码器;解码器 同样由若干个解码器组件组成,若干个编码器组件依次排列,每个组件内 部都是由一个多头自注意力层加上一个全连接网络层,自注意力层和全连 接网络层的输出都经过归一化,并且都有各自的残差网络。此外,解码器 组件的配置基本相同,但额外有从编码器到解码器的自注意力层。
Transformer网络的输出再分别融入对应多个图像重建任务的输出卷 积层,例如3个卷积层,每个包含64个3x3的卷积核,使用激活函数。
在本实施例中,训练机器学习模型具体包括:将多个图像重建任务的 训练数据随机打乱、划分成批(batch)后,送入机器学习模型进行训练, 以优化其内部参数,使得输出效果接近理想的无伪影高信噪比图像。其中, 可以使用Adam优化器和128的batch size,训练10-1000轮。训练使用的 损失函数由各个任务的损失函数加权相加得到,各个任务的损失函数可以 选用L1 loss、L2 loss等。可以在数据中引入随机旋转、随机运动干扰、 随机涡旋电流干扰以增加模型的泛化性能。
作为优选,为了进一步优化目标模型在某一个特定任务上的表现,可 以在步骤S4的基础上,针对特定任务微调机器学习模型,具体实现如下:
冻结输入卷积层和transformer网络的权重,而后仅使用某一特定任务 (称为主任务)的训练数据,继续训练若干轮,微调该任务对应的输出卷 积层的权重。
最后,在实际采集磁共振数据后,使用上述得到的机器学习模型进行 图像重建,可以从部分缺损或低信噪比的数据中得到无伪影的低信噪比的 的重建图像。
由此可见,本发明基于磁共振图像重建任务,采集所花费的时间少于 全采集,由于采集待处理对象的数据的时间减少,有效减少了生成磁共振 图像的时间,有利于提升磁共振图像重建效果,进一步提高磁共振成像速 度和图像质量,进而帮助提高磁共振扫描的机器利用率,帮助医生提高诊 断的准确率。所以,本发明可以获得较高质量的重建图像,同时提高了重 建速度,从而实现了加速磁共振图像重建的目的。
磁共振重建模型训练装置实施例:
如图3所示,本发明提供的一种基于多任务的磁共振重建模型训练装 置,包括:
第一数据获取单元10,用于获取磁共振K空间数据,并生成与其对 应的磁共振图像,其中,该磁共振K空间数据为K空间采样密度高于或 接近于奈奎斯特频率的磁共振数据。
第二数据获取单元20,用于基于第一数据获取单元10所获取到的数 据或图像,获取存在缺陷的磁共振K空间数据或磁共振图像。
训练数据获取单元30,用于使用第一数据获取单元10、第二数据获 取单元20中的数据构成多个图像重建任务的训练数据。
目标模型构建单元40,用于构建目标模型,使用多个图像重建任务对 目标模型进行训练。
目标模型单元50,用于获得训练完成的目标模型。
在本实施例中,在获得训练完成的目标模型后,目标模型单元50还 执行:获得实际采集的磁共振K空间数据,使用训练完成的目标模型进行 图像重建处理,得到磁共振重建图像。
在构建目标模型时,目标模型构建单元40还执行:针对特定任务对 目标模型进行微调:冻结卷积神经网络的输入卷积层的参数和变形器神经 网络的权重,使用某一特定任务的训练数据,继续训练若干轮,调整该特 定任务对应的输出卷积层的权重。
在本实施例中,使用磁共振扫描仪或算法仿真得到存在缺陷的磁共振 K空间数据,该数据包括只被部分采集的磁共振K空间数据、在部分区域 是没有信号的磁共振图像、不同层之间相互混叠的磁共振数据或者低信噪 比的磁共振数据。
在本实施例中,每个图像重建任务的训练数据包含有多个训练样本, 其中,每个训练样本由一缺损的磁共振K空间数据/磁共振图像和其对应 的满采的高信噪比的磁共振K空间数据或图像组成。
计算机装置实施例:
本实施例的计算机装置包括处理器,处理器执行计算机程序时实现上 述磁共振重建模型训练方法实施例中的步骤。
例如,计算机程序可以被分割成一个或多个模块,一个或者多个模块 被存储在存储器中,并由处理器执行,以完成本发明。一个或多个模块可 以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述计 算机程序在计算机装置中的执行过程。
计算机装置可包括,但不仅限于,处理器、存储器。本领域技术人员 可以理解,计算机装置可以包括更多或更少的部件,或者组合某些部件, 或者不同的部件,例如计算机装置还可以包括输入输出设备、网络接入 设备、总线等。
例如,处理器可以是中央处理单元(Central Processing Unit,CPU),还 可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、 专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程 门阵列(FieldProgrammable Gate Array,FPGA)或者其他可编程逻辑器件、 分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理 器或者该处理器也可以是任何常规的处理器等。处理器是计算机装置的控 制中心,利用各种接口和线路连接整个计算机装置的各个部分。
存储器可用于存储计算机程序和/或模块,处理器通过运行或执行存储 在存储器内的计算机程序和/或模块,以及调用存储在存储器内的数据,实 现计算机装置的各种功能。例如,存储器可主要包括存储程序区和存储数 据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序 (例如声音接收功能、声音转换成文字功能等)等;存储数据区可存储根 据手机的使用所创建的数据(例如音频数据、文本数据等)等。此外,存 储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬 盘、内存、插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数 字(Secure Digital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器 件、闪存器件、或其他易失性固态存储器件。
存储介质实施例:
终端设备集成的模块如果以软件功能单元的形式实现并作为独立的 产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样 的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计 算机程序来指令相关的硬件来完成,该计算机程序可存储于一计算机可读 存储介质中,该计算机程序在被处理器执行时,可实现上述各个磁共振重 建模型训练方法的各个步骤。
其中,计算机程序包括计算机程序代码,计算机程序代码可以为源代 码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质 可以包括:能够携带计算机程序代码的任何实体或装置、记录介质、U盘、 移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波 信号、电信信号以及软件分发介质等。需要说明的是,计算机可读介质包 含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减, 例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电 载波信号和电信信号。
由此可见,本发明提供了一种计算机装置以及存储介质,其包括:一 个或多个存储器,一个或多个处理器。存储器用于存储程序代码和程序运 行过程中产生的中间数据、模型输出结果的储存和模型及模型参数的储存; 处理器用于代码运行所占用的处理器资源和训练模型时占用的多个处理 器资源。
需要说明的是,以上仅为本发明的优选实施例,但发明的设计构思并 不局限于此,凡利用此构思对本发明做出的非实质性修改,也均落入本发 明的保护范围之内。
Claims (10)
1.磁共振重建模型训练方法,其特征在于,包括:
步骤S1、获取磁共振K空间数据,并生成与其对应的磁共振图像,其中,该磁共振K空间数据为K空间采样密度高于或接近于奈奎斯特频率的磁共振数据;
步骤S2、基于步骤S1所获取到的数据或图像,获取存在缺陷的磁共振K空间数据或磁共振图像;
步骤S3、使用步骤S1、S2中的数据构成多个图像重建任务的训练数据;
步骤S4、构建目标模型,使用多个图像重建任务对目标模型进行训练;
步骤S5、获得训练完成的目标模型。
2.根据权利要求1所述的磁共振重建模型训练方法,其特征在于,在获得训练完成的目标模型后,还执行:
获得实际采集的磁共振K空间数据,使用训练完成的目标模型进行图像重建处理,得到磁共振重建图像。
3.根据权利要求2所述的磁共振重建模型训练方法,其特征在于,在构建目标模型时,还执行:
针对特定任务对目标模型进行微调:在所述步骤S4中,冻结卷积神经网络的输入卷积层的参数和变形器神经网络的权重,使用某一特定任务的训练数据,继续训练若干轮,调整该特定任务对应的输出卷积层的权重。
4.根据权利要求1所述的磁共振重建模型训练方法,其特征在于:
在所述步骤S2中,使用磁共振扫描仪或算法仿真得到存在缺陷的磁共振K空间数据,该数据包括只被部分采集的磁共振K空间数据、在部分区域是没有信号的磁共振图像、不同层之间相互混叠的磁共振数据或者低信噪比的磁共振数据。
5.根据权利要求1所述的磁共振重建模型训练方法,其特征在于:
在所述步骤S3中,每个图像重建任务的训练数据包含有多个训练样本,其中,每个训练样本由一缺损的磁共振K空间数据/磁共振图像和其对应的满采的高信噪比的磁共振K空间数据或图像组成。
6.根据权利要求1所述的磁共振重建模型训练方法,其特征在于:
在所述步骤S4中,多个图像重建任务包括:
K空间补全任务:由部分缺损的磁共振K空间数据恢复出无伪影的高信噪比的图像;
图像补全任务:由部分缺损的磁共振图像恢复出无伪影的高信噪比的图像;
SMS重建任务:由层间混叠的磁共振图像恢复出各层的高信噪比的图像;
图像去噪任务:由低信噪比的磁共振图像恢复出高信噪比的图像。
7.根据权利要求6所述的磁共振重建模型训练方法,其特征在于,所述使用多个图像重建任务对目标模型进行训练,包括:
将多个图像重建任务的输入数据分别送入卷积神经网络的若干个卷积层,并在卷积层输入和输出之间设置有激活函数;
卷积层以1维数据的形式输出至下一层,送入一个包含公共共享参数的变形器神经网络,其中,该变形器神经网络主要包含若干个编码器和若干个解码器,每个编/解码器由自注意力层、归一化层、全连接网络层等组成;
变形器神经网络的输出分别融入对应多个图像重建任务的输出卷积层,并使用激活函数进行输出。
8.根据权利要求7所述的磁共振重建模型训练方法,其特征在于,所述使用多个图像重建任务对目标模型进行训练,包括:
将多个图像重建任务的训练数据随机打乱、划分成批后,送入目标模型进行训练,以优化其内部参数,使得输出效果接近目标的无伪影高信噪比图像,其中,训练使用的损失函数由各个任务的损失函数加权相加得到。
9.一种计算机装置,其特征在于:所述计算机装置包括处理器和存储器,所述处理器用于执行所述存储器中存储的计算机程序时实现如权利要求1至8中任意一项所述磁共振重建模型训练方法的步骤。
10.一种存储介质,其上存储有计算机程序,其特征在于:所述计算机程序被处理器执行时实现如权利要求1至8中任意一项所述磁共振重建模型训练方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111136430.2A CN113920212B (zh) | 2021-09-27 | 2021-09-27 | 磁共振重建模型训练方法、计算机装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111136430.2A CN113920212B (zh) | 2021-09-27 | 2021-09-27 | 磁共振重建模型训练方法、计算机装置及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113920212A true CN113920212A (zh) | 2022-01-11 |
CN113920212B CN113920212B (zh) | 2022-07-05 |
Family
ID=79236381
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111136430.2A Active CN113920212B (zh) | 2021-09-27 | 2021-09-27 | 磁共振重建模型训练方法、计算机装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113920212B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114418900A (zh) * | 2022-03-30 | 2022-04-29 | 南昌睿度医疗科技有限公司 | 一种磁共振图像降噪方法、装置、设备及存储介质 |
CN115294349A (zh) * | 2022-06-29 | 2022-11-04 | 北京百度网讯科技有限公司 | 训练模型的方法、装置、电子设备及存储介质 |
WO2023207416A1 (zh) * | 2022-04-27 | 2023-11-02 | 腾讯科技(深圳)有限公司 | 图像补全方法、装置、设备及存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109741416A (zh) * | 2019-01-04 | 2019-05-10 | 北京大学深圳医院 | 核磁共振图像重建方法、装置、计算机设备及其存储介质 |
CN110378980A (zh) * | 2019-07-16 | 2019-10-25 | 厦门大学 | 一种基于深度学习的多通道磁共振图像重建方法 |
US20200058106A1 (en) * | 2018-08-15 | 2020-02-20 | Carole Lazarus | Deep learning techniques for suppressing artefacts in magnetic resonance images |
US20200065969A1 (en) * | 2018-08-27 | 2020-02-27 | Siemens Healthcare Gmbh | Medical image segmentation from raw data using a deep attention neural network |
US20200150207A1 (en) * | 2018-11-13 | 2020-05-14 | Siemens Healthcare Gmbh | Mri method and device based on a blade sequence, and storage medium |
US20200300954A1 (en) * | 2019-03-22 | 2020-09-24 | Canon Medical Systems Corporation | Apparatus and method for deep learning to mitigate artifacts arising in simultaneous multi slice (sms) magnetic resonance imaging (mri) |
CN112150568A (zh) * | 2020-09-16 | 2020-12-29 | 浙江大学 | 基于Transformer模型的磁共振指纹成像重建方法 |
CN112801908A (zh) * | 2021-02-05 | 2021-05-14 | 深圳技术大学 | 图像去噪方法、装置、计算机设备和存储介质 |
CN113096208A (zh) * | 2021-03-16 | 2021-07-09 | 天津大学 | 基于双域交替卷积的神经网络磁共振图像的重建方法 |
-
2021
- 2021-09-27 CN CN202111136430.2A patent/CN113920212B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200058106A1 (en) * | 2018-08-15 | 2020-02-20 | Carole Lazarus | Deep learning techniques for suppressing artefacts in magnetic resonance images |
US20200065969A1 (en) * | 2018-08-27 | 2020-02-27 | Siemens Healthcare Gmbh | Medical image segmentation from raw data using a deep attention neural network |
US20200150207A1 (en) * | 2018-11-13 | 2020-05-14 | Siemens Healthcare Gmbh | Mri method and device based on a blade sequence, and storage medium |
CN109741416A (zh) * | 2019-01-04 | 2019-05-10 | 北京大学深圳医院 | 核磁共振图像重建方法、装置、计算机设备及其存储介质 |
US20200300954A1 (en) * | 2019-03-22 | 2020-09-24 | Canon Medical Systems Corporation | Apparatus and method for deep learning to mitigate artifacts arising in simultaneous multi slice (sms) magnetic resonance imaging (mri) |
CN110378980A (zh) * | 2019-07-16 | 2019-10-25 | 厦门大学 | 一种基于深度学习的多通道磁共振图像重建方法 |
CN112150568A (zh) * | 2020-09-16 | 2020-12-29 | 浙江大学 | 基于Transformer模型的磁共振指纹成像重建方法 |
CN112801908A (zh) * | 2021-02-05 | 2021-05-14 | 深圳技术大学 | 图像去噪方法、装置、计算机设备和存储介质 |
CN113096208A (zh) * | 2021-03-16 | 2021-07-09 | 天津大学 | 基于双域交替卷积的神经网络磁共振图像的重建方法 |
Non-Patent Citations (4)
Title |
---|
LYU M , BARTH M, XIE VB, ET AL.: "Robust SENSE reconstruction of simultaneous multislice EPI with low-rank enhanced coil sensitivity calibration and slice-dependent 2D Nyquist ghost correction", 《 MAGNETIC RESONANCE IN MEDICINE》 * |
孙如: "心脏MRI成像:从图像重建到运动分析", 《中国优秀硕士学位论文全文数据库(医药卫生科技辑)》 * |
杨健程等: "医学3D计算机视觉:研究进展和挑战", 《中国图象图形学报》 * |
胥祯浩 等: "基于生成对抗网络的磁共振图像重建", 《计算机工程与应用》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114418900A (zh) * | 2022-03-30 | 2022-04-29 | 南昌睿度医疗科技有限公司 | 一种磁共振图像降噪方法、装置、设备及存储介质 |
WO2023207416A1 (zh) * | 2022-04-27 | 2023-11-02 | 腾讯科技(深圳)有限公司 | 图像补全方法、装置、设备及存储介质 |
CN115294349A (zh) * | 2022-06-29 | 2022-11-04 | 北京百度网讯科技有限公司 | 训练模型的方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113920212B (zh) | 2022-07-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113920212B (zh) | 磁共振重建模型训练方法、计算机装置及存储介质 | |
Eo et al. | KIKI‐net: cross‐domain convolutional neural networks for reconstructing undersampled magnetic resonance images | |
CN110461228B (zh) | 使用多对比度和深度学习改进医学图像的质量 | |
Zhou et al. | DuDoRNet: learning a dual-domain recurrent network for fast MRI reconstruction with deep T1 prior | |
Hammernik et al. | Learning a variational network for reconstruction of accelerated MRI data | |
US11120582B2 (en) | Unified dual-domain network for medical image formation, recovery, and analysis | |
US11294011B2 (en) | Magnetic resonance imaging with deep neutral networks | |
Wen et al. | Transform learning for magnetic resonance image reconstruction: From model-based learning to building neural networks | |
KR20180010950A (ko) | 뉴럴 네트워크를 이용한 영상 처리 방법 및 장치 | |
Deora et al. | Structure preserving compressive sensing MRI reconstruction using generative adversarial networks | |
CN113920213B (zh) | 基于长距离注意力模型重建的多层磁共振成像方法及装置 | |
CN111784570A (zh) | 一种视频图像超分辨率重建方法及设备 | |
CN113359077A (zh) | 一种磁共振成像方法及相关设备 | |
Pawar et al. | A deep learning framework for transforming image reconstruction into pixel classification | |
CN111353935A (zh) | 基于深度学习的磁共振成像优化方法及其设备 | |
CN110246200B (zh) | 磁共振心脏电影成像方法、装置及磁共振扫描仪 | |
CN110874855B (zh) | 一种协同成像方法、装置、存储介质和协同成像设备 | |
Ekanayake et al. | Multi-branch Cascaded Swin Transformers with Attention to k-space Sampling Pattern for Accelerated MRI Reconstruction | |
Sander et al. | Autoencoding low-resolution MRI for semantically smooth interpolation of anisotropic MRI | |
WO2024021796A1 (zh) | 一种图像处理方法、装置、电子设备、存储介质及程序产品 | |
US20230032472A1 (en) | Method and apparatus for reconstructing medical image | |
Feng et al. | Deep multi-modal aggregation network for MR image reconstruction with auxiliary modality | |
CN114913262B (zh) | 采样模式与重建算法联合优化的核磁共振成像方法及系统 | |
CN114463459B (zh) | 一种pet图像的部分容积校正方法、装置、设备及介质 | |
Kumar et al. | Fractional Sailfish Optimizer with Deep Convolution Neural Network for Compressive Sensing Based Magnetic Resonance Image Reconstruction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |