CN116503507A - 基于预训练模型的磁粒子图像重建方法 - Google Patents

基于预训练模型的磁粒子图像重建方法 Download PDF

Info

Publication number
CN116503507A
CN116503507A CN202310753529.XA CN202310753529A CN116503507A CN 116503507 A CN116503507 A CN 116503507A CN 202310753529 A CN202310753529 A CN 202310753529A CN 116503507 A CN116503507 A CN 116503507A
Authority
CN
China
Prior art keywords
matrix
neural network
network model
dimensional
system matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310753529.XA
Other languages
English (en)
Other versions
CN116503507B (zh
Inventor
田捷
卫泽琛
惠辉
杨鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202310753529.XA priority Critical patent/CN116503507B/zh
Publication of CN116503507A publication Critical patent/CN116503507A/zh
Application granted granted Critical
Publication of CN116503507B publication Critical patent/CN116503507B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/0515—Magnetic particle imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/006—Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Algebra (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于磁粒子成像领域，具体涉及了基于预训练模型的磁粒子图像重建方法、系统及装置，旨在解决现有重建算法的不足，包括受点扩散函数影响、计算成本和时间成本较高等限制，因此重建图像精度低或获取高精度图像时间及计算成本高的问题。本发明包括：生成仿真系统矩阵；预构建的神经网络模型进行预训练，通过下游任务对所述预训练神经网络模型进行微调；将下游任务对应的真实数据输入微调后的预训练神经网络模型，进而辅助得到高质量MPI重建图像。本发明拟合不同谐波间的关系，有助于频域信息的增强，具有一定的普适性，可以泛化至多个磁粒子成像图像重建相关的下游任务，通过简单的模型微调，可以辅助重建算法获得高质量的重建图像。

Description

基于预训练模型的磁粒子图像重建方法
技术领域
本发明属于磁粒子成像领域，具体涉及了一种基于预训练模型的磁粒子图像重建方法、系统及装置。
背景技术
在临床诊断和检测中，如何准确、客观的定位肿瘤及其他病灶一直是国际上的研究热点和挑战性问题。现有的医学影像技术如CT，MRI，SPECT等方法均存在危害大，定位差，精度低等问题。而在近些年，一种全新的基于示踪剂的成像方式——磁粒子成像技术（MPI）被提出。利用断层成像技术，MPI可以通过检测对人体无害的超顺磁氧化铁纳米颗粒（SPIONs）的空间浓度分布，对肿瘤或目标物进行精准定位，具有三维成像、高时空分辨率和高灵敏度的特点。此外，MPI不显示解剖结构并且无背景信号干扰，因此信号的强度与示踪剂的浓度直接成正比，是一种颇具医学应用潜力的新方法。
现今的MPI技术还处于发展阶段，硬件和算法上都还在不断的完善，目标通过硬件改进和算法优化来实现高质量的图像重建。硬件改进往往会增加系统复杂度和降低系统稳定性，因此实现周期长、复杂度高，因此现有方法通过算法优化来实现图像重建质量的提升。现有重建算法主要包括两大类，基于X-space的重建方法和基于系统矩阵的重建方法。两种方法通过处理磁粒子信号得到重建图像，其中基于X-space的重建方法具有快速重建的优势，但受限于方法原理，重建图像往往受到点扩散函数（Point Spread Function,PSF）的影响，重建图像的分辨率较低。基于系统矩阵的重建方法可以取得高质量的图像重建，但系统矩阵的采集和校准需要耗费大量的时间和计算成本。因此需要一个通用的算法增强框架，能有效增强磁粒子信号，提升基于不同重建算法的重建质量。
基于此，本发明提出了一种基于预训练模型的磁粒子图像重建方法。
发明内容
为了解决现有技术中的上述问题，即现今的MPI技术还处于发展阶段，硬件和算法上都还在不断的完善，目标通过硬件改进和算法优化来实现高质量的图像重建。硬件改进往往会增加系统复杂度和降低系统稳定性，因此实现周期长、复杂度高的问题，本发明提供了一种基于预训练模型的磁粒子图像重建方法，所述方法包括如下步骤：
步骤S10、生成仿真系统矩阵；
步骤S20、根据所述仿真系统矩阵对预构建的神经网络模型进行预训练，将预训练后的神经网络模型作为第一神经网络模型，并获取第一神经网络模型参数；
步骤S30、生成下游任务对应的数据集，预构建下游任务对应的神经网络模型作为第二神经网络模型，将所述第一神经网络模型参数输入至所述第二神经网络模型中，使用所述数据集训练输入了第一神经网络模型参数第二神经网络模型，得到第三神经网络模型；
步骤S40、将真实获取的输入数据输入至所述第三神经网络模型进行增强，并辅助得到重建后的MPI图像；其中，若所述下游任务为X-space重建相关方法，所述输入数据为将实际采集的带噪一维时域信号进行傅里叶变换得到一维频域信号的分段信号；若所述下游任务为系统矩阵重建相关方法，所述输入数据为实际采集的低质量系统矩阵。
在一些优选的实施方式中，生成仿真系统矩阵的方法为：
步骤S11、获取参数，所述参数包括：梯度磁场、激励幅值/>、激励频率/>、扫描频率/>、粒径/>、像素点大小/>；
步骤S12、根据所述梯度磁场、激励幅值/>，计算成像视野大小，得到视场区域，根据所述像素点大小/>将所述视场区域划分为第一预设阈值N个等大的像素块；
步骤S13、将磁粒子样本放入所述视场区域中并遍历所述N个像素块，所述磁粒子每移动至其中一个所述像素块时，采集一次感应电压信号，得到所述N个感应电压信号；
步骤S14、对所述N个感应电压信号做傅里叶变换，得到所述N个感应电压信号对应的N个频谱序列，提取每个所述频谱序列中的主倍频和M个窄带频点，并依次拼接成所述N个一维谱向量，将所述N个所述一维谱向量组合为一个M×N大小的矩阵，即所述仿真系统矩阵。
在一些优选的实施方式中，所述扫描频率其通过李萨如轨迹的进行设置时，其方法为：
（1）
其中，所述为轨迹密度，其在设定的阈值范围内；
所述扫描频率其通过笛卡尔轨迹进行设置时：所述扫描频率/>位于第一阈值范围内，所述第一阈值范围为激励频率/>的阈值范围的设定倍。
在一些优选的实施方式中，在生成仿真系统矩阵过程中，磁粒子磁矩通过郎之万函数设置：
（2）
其中，所述x为无量纲磁场。
在一些优选的实施方式中，根据所述仿真系统矩阵对预构建的神经网络模型进行预训练，其方法为：
步骤S21、将所述仿真系统矩阵转化为实数域矩阵，作为第一矩阵；初始化与所述第一矩阵等大的全1矩阵，将所述全1矩阵中的所述第一预设百分比的数值置零，得到mask，将所述mask与所述第一矩阵相乘，得到掩码后的所述仿真系统矩阵，作为第二矩阵；
步骤S22、将所述第一矩阵作为真值标签，将所述第二矩阵划分为多个等大的矩阵块，将多个矩阵块作为所述预构建的神经网络模型的输入；其中，所述预构建的神经网络模型包括第一编码器和第一解码器；
步骤S23，基于多个矩阵块，通过所述预构建的神经网络模型，得到恢复系统矩阵，作为第三矩阵；
步骤S24，计算所述恢复系统矩阵与所述真值标签之间的损失函数，根据所述损失函数调整所述预构建的神经网络模型的模型参数；
步骤S25，根据设定的训练次数，循环执行步骤S23、S24，直至训练好所述预构建的神经网络，将训练好的所述预构建的神经网络作为第一神经网络模型，并获取所述第一神经网络模型参数。
在一些优选的实施方式中，基于多个矩阵块，通过所述预构建的神经网络模型，得到恢复系统矩阵，作为第三矩阵的方法为：
步骤S231、将所述多个矩阵块转化为一维向量，并将所述一维向量编码，得到矩阵块向量，并将所述矩阵块向量中加入可学习的位置嵌入，得到具有位置嵌入和编码后的矩阵块向量，作为第一向量；
步骤S232、将所述第一向量输入至所述第一编码器中，得到第一特征向量；
步骤S233、将所述第一特征向量的通道数映射至所述第一解码器维度，并输入至所述第一解码器中，得到第二特征向量，将所述第二特征向量转化为多个二维矩阵块，将所述多个二维矩阵块拼接得到第三矩阵；
其中，所述第一编码器用于对所述多个矩阵块进行编码得到第一特征向量，所述第一编码器包括多个连续的自注意力层；
所述自注意力层包括：顺次连接的自注意力层输入端、多头注意力层、第一加和单元、第一层归一化层、前馈网络、第二加和单元、第二层归一化层和自注意力层输出端；
所述自注意力层输入端与所述第一加和单元残差连接；所述第一层归一化层的输出端与所述第二加和单元残差连接；
所述多头注意力层包括：顺次连接的多头注意力层的输入端、Q个并行的点积注意力块、特征连接层、第一全连接层和多头注意力层的输出端；所述Q为整数；
所述点积注意力块包括：并行的点积第一全连接层、点积第二全连接层和点积第三全连接层，所述点积第一全连接层和所述点积第二全连接层的输出共同连接至矩阵乘法单元，并依次连接归一化层和softmax层，所述softmax层的输出与所述点积第三全连接层共同连接至矩阵乘法单元并连接所述点积注意力块的输出端；
所述第一解码器用于对所述第一特征向量进行解码，得到第三矩阵，所述第一解码器包括多个连续的自注意力层。
在一些优选的实施方式中，构建下游任务为X-space重建相关方法对应的数据集，并基于构建的数据集训练所述输入了第一神经网络模型参数的第二神经网络模型的方法为：
步骤S31、获取仿体图像以及所述仿体图像对应粒子的一维时域信号；所述仿体图像包括手写数字、字母图像以及散点图像；
步骤S32、通过对所述一维时域信号进行傅里叶变换得到一维频域信号，作为模型标签；对所述一维时域信号叠加噪声，得到带噪一维时域信号，将所述带噪一维时域信号进行傅里叶变换得到带噪一维频域信号，作为所述第二神经网络模型的输入；其中，所述第二神经网络模型包括第二全连接层、第二编码器、第二解码器；
步骤S33、将所述带噪一维频域信号分为等长的L段，所述L的数量与所述多个矩阵块的数量一致，通过所述第二全连接层后将所述L段的所述带噪一维频域信号输入至第二编码器中进行编码，得到第一编码数据；
步骤S34、将所述第一编码数据输入至第二解码器中，得到去噪后的数据段，拼接多个所述去噪后的数据段得到去噪后的一维频域信号；
步骤S35、获取去噪后的一维频域信号与模型标签的损失函数，根据所述损失函数调整所述输入了第一神经网络模型参数的第二神经网络模型；
步骤S36，根据设定的循环次数，循环执行步骤S33-S35，得到第三神经网络模型。
在一些优选的实施方式中，所述带噪一维时域信号，其计算方法为：
（3）
其中，表示仿真得到的一维时域信号，/>表示高斯噪声，/>表示谐波干扰噪声，/>表示带噪一维时域信号；
所述谐波干扰噪声的计算方法为：
（4）
n表示第n个谐波，表示谐波频率，/>表示随机相位且该随机相位均匀分布于[0，2π]中，/>表示附加谐波的幅值；
所述通过信号干扰比公式获得，其计算方法为：
（5）
其中，表示设定的噪声水平，/>表示一维时域信号的第n次谐波的带宽；
所述高斯噪声计算方法为：
（6）
表示信噪比，/>表示噪声的标准差，/>表示一维时域信号。
在一些优选的实施方式中，构建下游任务为系统矩阵重建相关方法对应的数据集，并基于构建的数据集训练输入了第一神经网络模型参数的第二神经网络模型的方法为：
步骤A10、生成高质量系统矩阵和低质量系统矩阵，并将所述高质量系统矩阵作为模型标签，将所述低质量系统矩阵作为所述第二神经网络模型的输入；其中，所述第二神经网络模型包括第三全连接层、第三编码器、第三解码器；
步骤A20、将所述低质量系统矩阵划分为多个矩阵块，所述低质量系统矩阵对应的矩阵块的数量与所述仿真系统矩阵中对应的矩阵块的数量一致，将所述低质量系统矩阵对应的矩阵块通过所述第三全连接层后输入到所述第三编码器中编码，得到第二编码数据；
步骤A30、将所述第二编码数据输入至所述第三解码器中，得到增强后的一维特征向量，并将所述增强后的一维特征向量转化为多个增强后的矩阵块，将多个所述解码后的矩阵块拼接为增强后的系统矩阵；
步骤A40、计算所述增强后的系统矩阵与所述高质量矩阵之间的损失函数，根据所述损失函数调整输入了第一神经网络模型参数的第二神经网络模型；
步骤A50、根据设定的循环次数，循环执行步骤A20-40，得到所述第三神经网络模型。
在一些优选的实施方式中，生成高质量系统矩阵和低质量系统矩阵，其方法为：
将所述磁粒子样本放入所述视场区域遍历所述第一预设阈值N个像素块，所述磁粒子每移动至其中一个所述像素块时，采集一次感应电压信号，得到所述N个感应电压信号；
对每个所述感应电压信号做傅里叶变换，得到与每个所述感应电压信号对应的N个谱频序列，提取每个所述频谱序列中的主倍频和M个窄带频点，并依次拼接成所述N个一维谱向量，将所述N个所述一维谱向量组合为一个M×N大小的矩阵，将所述矩阵作为高质量系统矩阵；
对所述高质量系统矩阵进行下采样，得到低质量的系统矩阵。
本发明的有益效果：
通过预训练模型建立了通用的磁粒子成像高质量的重建框架。该方法通过系统矩阵预训练神经网络模型，拟合不同谐波间的关系，有助于频域信息的增强。因此可以辅助X-space和系统矩阵两大重建算法快速、高效的获得高质量的重建图像。该方法具有一定的普适性，可以泛化至多个磁粒子成像图像重建相关的下游任务，通过简单的模型微调，可以辅助重建算法获得高质量的重建图像。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是基于预训练模型的磁粒子图像重建方法的技术路线图；
图2是基于预训练模型的磁粒子图像重建方法的X-space频谱增强下游任务的方法技术路线图；
图3是基于预训练模型的磁粒子图像重建方法的系统矩阵超分辨率重建下游任务的方法技术路线图；
图4是基于预训练模型的磁粒子图像重建方法的自注意力层结构图；
图5是基于预训练模型的磁粒子图像重建方法的多头注意力层结构图；
图6是用于实现本申请方法、系统、装置实施例的服务器的计算机系统的结构示意图；
图7基于预训练模型的磁粒子图像重建方法的流程框架图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
参见图1-图7，本发明第一实施例，提供一种基于预训练模型的磁粒子图像重建方法，所述方法包括如下步骤：
步骤S10、生成仿真系统矩阵；
步骤S20、根据所述仿真系统矩阵对预构建的神经网络模型进行预训练，将预训练后的神经网络模型作为第一神经网络模型，并获取第一神经网络模型参数；
步骤S30、生成下游任务对应的数据集，预构建下游任务对应的神经网络模型作为第二神经网络模型，将所述第一神经网络模型参数输入至所述第二神经网络模型中，使用所述数据集训练输入了第一神经网络模型参数的第二神经网络模型，得到第三神经网络模型；
步骤S40、将真实获取的输入数据输入至所述第三神经网络模型进行增强，并辅助得到重建后的MPI图像；其中，若所述下游任务为X-space重建相关方法，所述输入数据为将实际采集的带噪一维时域信号进行傅里叶变换得到一维频域信号的分段信号；若所述下游任务为系统矩阵重建相关方法，所述输入数据为实际采集的低质量系统矩阵。
其中，若所述下游任务为X-space重建相关方法，所述输入数据为将实际采集的带噪一维时域信号进行傅里叶变换得到一维频域信号的分段信号：采集真实的MPI一维时域信号，根据扫描周期将其分为多个数据，扫描周期为磁场自由区完整的扫描成像视野一遍的时间。将所述采集真实的MPI一维域时信号根据网络输入进行预处理操作，包括下采样截断或上采样补零等操作，将多个数据分段并输入第三神经网络模型中，得到去噪后结果，将结果拼接得到多个扫描周期的时域信号，对其进行X-space重建，得到重建后的MPI图像。
其中，若所述下游任务为所述系统矩阵重建相关方法，输入数据为将一维时域信号通过傅立叶变换得到的低质量系统矩阵：通过间隔放置样本点，扫描获得一维时域信号，并通过傅里叶变换得到低质量系统矩阵。通过将低质量系统矩阵输入第三神经网络模型中，获得超分后的高质量系统矩阵，通过采集目标样本的时域信号，经过系统矩阵重建算法，可以得到重建后的MPI图像。
优选的，生成仿真系统矩阵的方法为：
步骤S11、获取参数，所述参数包括：梯度磁场、激励幅值/>、激励频率/>、扫描频率/>、粒径/>、像素点大小/>；
步骤S12、根据所述梯度磁场、激励幅值/>，计算成像视野大小，得到视场区域，根据所述像素点大小/>将所述视场区域划分为第一预设阈值N个等大的像素块；
步骤S13、将磁粒子样本放入所述视场区域中并遍历所述N个像素块，所述磁粒子每移动至其中一个所述像素块时，采集一次感应电压信号，得到所述N个感应电压信号；
步骤S14、对所述N个感应电压信号做傅里叶变换，得到所述N个感应电压信号对应的N个频谱序列，提取每个所述频谱序列中的主倍频和M个窄带频点，并依次拼接成所述N个一维谱向量，将所述N个所述一维谱向量组合为一个M×N大小的矩阵，即所述仿真系统矩阵。
其中，所述粒径设置为5nm-70nm，间隔5nm，所述激励频率/>设置为10k-50k，间隔5k，所述梯度磁场/>设置为1T-5T，间隔为0.5T，所述激励幅值/>设置为1mT-10mT间隔为1mT。
其中，改变梯度磁场或激励幅值时，通过同步改变像素点大小s控制模拟采集系统矩阵的空间点数不变，在仿真中保持51×51大小的像素块，即所述N=2601。
其中，所述M×N大小的矩阵中，每一行代表不同像素块位置对应的同一频点，每一列为每个像素块对应的频谱向量。所述矩阵即为所述磁粒子浓度空间分布与一维频谱向量之间的测量矩阵。其中对于李萨如轨迹，选取频点的规则如下：
（7）
（8）
（9）
（10）
和/>分别取1-18的正整数，因此总共选取18×18共324个频点。对于笛卡尔轨迹，分别选取1-36倍频及其长度为4的边带，其中激励频率/>为基频，/>倍频即/>，边带谐波即为主倍频谐波相领的频点，左右各取4个，因此共取36×（4+1+4）共324个频点。因此M=324。
其中，在仿真过程中加入德拜驰豫模型用于模拟更真实粒子信号。
优选的，所述扫描频率其通过李萨如轨迹的进行设置时，其方法为：
（11）
其中，所述为轨迹密度，其在设定的阈值范围内，所述设定范围为19-99，间隔为10；
所述扫描频率其通过笛卡尔轨迹进行设置时：所述扫描频率/>位于第一阈值范围内，所述第一阈值范围为激励频率/>的阈值范围的设定倍，所述设定倍为1/1000-10/1000倍，间隔为1/1000。
优选的，在生成仿真系统矩阵过程中，磁粒子磁矩通过郎之万函数设置：
（12）
其中，所述x为无量纲磁场。
优选的，根据所述仿真系统矩阵对预构建的神经网络模型进行预训练，其方法为：
步骤S21、将所述仿真系统矩阵转化为实数域矩阵，作为第一矩阵；初始化与所述第一矩阵等大的全1矩阵，将所述全1矩阵中的所述第一预设百分比的数值置零，得到mask，将所述mask与所述第一矩阵相乘，得到掩码后的所述仿真系统矩阵，作为第二矩阵；
步骤S22、将所述第一矩阵作为真值标签，将所述第二矩阵划分为多个等大的矩阵块，将多个矩阵块作为所述预构建的神经网络模型的输入；其中，所述预构建的神经网络模型包括第一编码器和第一解码器；
步骤S23，基于多个矩阵块，通过所述预构建的神经网络模型，得到恢复系统矩阵，作为第三矩阵；
步骤S24，计算所述恢复系统矩阵与所述真值标签之间的损失函数，根据所述损失函数调整所述预构建的神经网络模型的模型参数；
步骤S25，根据设定的训练次数，循环执行步骤S23、S24，直至训练好所述预构建的神经网络，将训练好的所述预构建的神经网络作为第一神经网络模型，并获取所述第一神经网络模型参数。
其中，将所述仿真系统矩阵转化为实数域矩阵中：仿真系统矩阵是频域信号，因此是一个复数，将实部和虚部分别取出作为输入的两通道，即将原始系统矩阵H×W（复数域）变为H×W×2（实数域）进行操作。所述mask对于仿真系统矩阵的实部和虚部是一致的，因此mask大小为H×W，网络处理的系统矩阵都是将实部和虚部作为双通道的实数域数据。
其中，将所述mask保留作为计算loss的根据。
其中，所述第一编码器采用Vision Transformer结构。
其中，将所述矩阵块转化为一维向量的方法为：通过reshape函数转化。
其中，损失函数计算方法为，将mask与第三矩阵相乘得到未掩码部分对应恢复的系统矩阵，作为第四矩阵，将mask进行0-1转换，即0变成1，1变成0，再与第三矩阵相乘得到掩码部分对应恢复的系统矩阵，作为第五矩阵，计算第五矩阵与所述真值标签之间的平均平方误差及第四矩阵与所述真值标签之间的平均绝对误差/>，最终的损失函数为/>，其中/>为常数，取2。
其中，所述步骤S25中，设定的训练次数为300次，换句话说，对网络训练300个epoch并保留最终的模型作为预训练模型，也就是第一神经网络模型。
优选的，基于多个矩阵块，通过所述预构建的神经网络模型，得到恢复系统矩阵，作为第三矩阵的方法为：
步骤S231、将所述多个矩阵块转化为一维向量，并将所述一维向量编码，得到矩阵块向量，并将所述矩阵块向量中加入可学习的位置嵌入，得到具有位置嵌入和编码后的矩阵块向量，作为第一向量；
步骤S232、将所述第一向量输入至所述第一编码器中，得到第一特征向量；
步骤S233、将所述第一特征向量的通道数映射至所述第一解码器维度，并输入至所述第一解码器中，得到第二特征向量，将所述第二特征向量转化为多个二维矩阵块，将所述多个二维矩阵块拼接得到第三矩阵；
其中，所述第一编码器用于对所述多个矩阵块进行编码得到第一特征向量，所述第一编码器包括多个连续的自注意力层；
所述自注意力层包括：顺次连接的自注意力层输入端、多头注意力层、第一加和单元、第一层归一化层、前馈网络、第二加和单元、第二层归一化层和自注意力层输出端；
所述自注意力层输入端与所述第一加和单元残差连接；所述第一层归一化层的输出端与所述第二加和单元残差连接；
所述多头注意力层包括：顺次连接的多头注意力层的输入端、Q个并行的点积注意力块、特征连接层、第一全连接层和多头注意力层的输出端；所述Q为整数；
所述点积注意力块包括：并行的点积第一全连接层、点积第二全连接层和点积第三全连接层，所述点积第一全连接层和所述点积第二全连接层的输出共同连接至矩阵乘法单元，并依次连接归一化层和softmax层，所述softmax层的输出与所述点积第三全连接层共同连接至矩阵乘法单元并连接所述点积注意力块的输出端；
所述第一解码器用于对所述第一特征向量进行解码，得到第三矩阵，所述第一解码器包括多个连续的自注意力层。
其中，结合图4、图5，特征输入到自注意力层中，首先经过多头注意力层，每个所述多头注意力层中首先经过8个点积注意力块，在每个所述点积注意力块中首先是经过三个点积全连接层，其中第一点积全连接层、第二点积全连接层输出的结果相乘经过归一化后再经过softmax操作，其输出再与每个块中最开始的第三点积全连接层的输出结果相乘得到输出特征，8个点积注意力块的输出通过特征连接后，经过第一全连接层改变通道维度输出得到多头注意力层的输出。
多头注意力层的输出与自注意力层的输入直接相加，然后经过层归一化操作后进入前馈网络，前馈网络中，输入的特征向量先经过一个所述前馈网络的全连接层放大通道维度，通过激活函数GELU后，再经过一个所述前馈网络的全连接层降低通道维度与前馈网络的输入一致，再与前馈网络的输入特征向量直接相加，经过层归一化操作后输出。
每个自注意力层的操作一致，经过连续的自注意力层后最终得到第一编码器的输出。
优选的，构建下游任务为X-space重建相关方法对应的数据集，并基于构建的数据集训练输入了第一神经网络模型参数的第二神经网络模型的方法为：
步骤S31、获取仿体图像以及所述仿体图像对应粒子的一维时域信号；所述仿体图像包括手写数字、字母图像以及散点图像；
步骤S32、通过对所述一维时域信号进行傅里叶变换得到一维频域信号，作为模型标签；对所述一维时域信号叠加噪声，得到带噪一维时域信号，将所述带噪一维时域信号进行傅里叶变换得到带噪一维频域信号，作为所述第二神经网络模型的输入；其中，所述第二神经网络模型包括第二全连接层、第二编码器、第二解码器；
步骤S33、将所述带噪一维频域信号分为等长的L段，所述L的数量与所述多个矩阵块的数量一致，通过所述第二全连接层后将所述L段的所述带噪一维频域信号输入至第二编码器中进行编码，得到第一编码数据；
步骤S34、将所述第一编码数据输入至第二解码器中，得到去噪后的数据段，拼接多个所述去噪后的数据段得到去噪后的一维频域信号；
步骤S35、获取去噪后的一维频域信号与模型标签的损失函数，根据所述损失函数调整所述输入了第一神经网络模型参数的第二神经网络模型；
步骤S36，根据设定的循环次数，循环执行步骤S33-S35，得到第三神经网络模型。
其中，在所述步骤S32后，将所述第一神经网络模型参数加载到所述第二神经网络中，对所述第二神经网络进行微调。
其中，X-space重建相关方法受限于信号频谱分辨率，当获得信号信噪比较低时，有效频点数少，因此对应时域信号质量差，通过X-space重建后得到的MPI图像质量受限。因此通过频谱增强，可以有效提高频谱分辨率，增加有用频点数，进而提高时域信号质量，得到高质量MPI重建图像。
优选的，所述带噪一维时域信号，其计算方法为：
（13）
其中，表示仿真得到的一维时域信号，/>表示高斯噪声，/>表示谐波干扰噪声，/>表示带噪一维时域信号；
所述谐波干扰噪声的计算方法为：
（14）
n表示第n个谐波，表示谐波频率，/>表示随机相位且该随机相位均匀分布于[0，2π]中，/>表示附加谐波的幅值；
所述通过信号干扰比公式获得，其计算方法为：
（15）
其中，表示设定的噪声水平，/>表示一维时域信号的第n次谐波的带宽；
所述高斯噪声计算方法为：
（16）
表示信噪比，/>表示噪声的标准差，/>表示一维时域信号。
其中，分别对原始一维时域信号及带噪时域信号/>进行傅里叶变换得到一维频域信号，作为下游任务的模型标签和模型输入。由于仿真是在理想情况下进行的，因此原始一维信号/>不受任何噪声干扰，其频域信号质量高，可用谐波数量多。加噪后的信号由于受到噪声的影响，因此频域信号中谐波质量降低，包括被噪声淹没或叠加了噪声干扰，通过在预训练模型上有监督的训练，可以对频谱信号进行增强，实现更高质量的重建。
其中，所述第二编码器部分可以沿用第一编码器的结构，由于本下游任务为去噪任务，与预训练模型任务存在差异，因此可以采用常用的去噪网络结构作为第二解码器。
其中，在进行微调过程中，所述设定的循环次数为，训练50-100epoch，优选为100epoch后保存最终模型。其中通过计算网络输出与标签的损失函数监督网络训练。
优选的，构建下游任务为系统矩阵重建相关方法对应的数据集，并基于构建的数据集训练输入了第一神经网络模型参数的第二神经网络模型的方法为：
步骤A10、生成高质量系统矩阵和低质量系统矩阵，并将所述高质量系统矩阵作为模型标签，将所述低质量系统矩阵作为所述第二神经网络模型的输入；其中，所述第二神经网络模型包括第三全连接层、第三编码器、第三解码器；
步骤A20、将所述低质量系统矩阵划分为多个矩阵块，所述低质量系统矩阵对应的矩阵块的数量与所述仿真系统矩阵中对应的矩阵块的数量一致，将所述低质量系统矩阵对应的矩阵块通过所述第三全连接层后输入到所述第三编码器中编码，得到第二编码数据；
步骤A30、将所述第二编码数据输入至所述第三解码器中，得到增强后的一维特征向量，并将所述增强后的一维特征向量转化为多个增强后的矩阵块，将多个所述解码后的矩阵块拼接为增强后的系统矩阵；
步骤A40、计算所述增强后的系统矩阵与所述高质量矩阵之间的损失函数，根据所述损失函数调整所述输入了第一神经网络模型参数的第二神经网络模型；
步骤A50、根据设定的循环次数，循环执行步骤A20-40，得到所述第三神经网络模型。
其中，在所述步骤A10后，将所述第一神经网络模型参数加载到所述第二神经网络中，对所述第二神经网络进行微调。
其中，所述设定的循环次数为，训练50-100epoch，优选为100 epoch后保存最终模型。其中通过计算网络输出与标签的损失函数监督网络训练。
其中，所述第三解码器部分可以沿用所述第一解码器中的结构，由于本下游任务为去超分辨率重建任务，与预训练模型任务存在差异，因此可以采用常用的超分辨率重建网络结构作为第三解码器。
优选的，生成高质量系统矩阵和低质量系统矩阵，其方法为：
将所述磁粒子样本放入所述视场区域遍历所述第一预设阈值N个像素块，所述磁粒子每移动至其中一个所述像素块时，采集一次感应电压信号，得到所述N个感应电压信号；
对每个所述感应电压信号做傅里叶变换，得到与每个所述感应电压信号对应的N个谱频序列，提取每个所述频谱序列中的主倍频和M个窄带频点，并依次拼接成所述N个一维谱向量，将所述N个所述一维谱向量组合为一个M×N大小的矩阵，将所述矩阵作为高质量系统矩阵；
对所述高质量系统矩阵进行下采样，得到低质量的系统矩阵。
其中，所述下采样包括对频谱维M和像素块维N进行，设置下采样的倍数，如3×，9×等，对两个维度进行下采样，即等间隔的取出，对不同的行和列完成下采样。下采样后的矩阵即为低质量系统矩阵。低质量系统矩阵作为模型输入，高质量系统矩阵作为模型标签，通过神经网络完成对系统矩阵的超分辨率重建，加速重建流程并获得高质量的重建图像。
上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时(并行)执行或以颠倒的次序执行，这些简单的变化都在本发明的保护范围之内。
本发明第二实施例的基于预训练模型的磁粒子图像重建的系统，所述系统包括：预训练数据生成模块、预训练模块、微调模块、重建模块；
所述预训练数据生成模块，配置为生成仿真系统矩阵；
所述预训练模块，配置为根据所述仿真系统矩阵对预构建的神经网络模型进行预训练，将预训练后的神经网络模型作为第一神经网络模型，并获取第一神经网络模型参数；
所述微调模块，配置为生成下游任务对应的数据集，预构建下游任务对应的神经网络模型作为第二神经网络模型，将所述第一神经网络模型参数输入至所述第二神经网络模型中，使用所述数据集训练输入了所述第一神经网络模型参数的第二神经网络模型，得到第三神经网络模型；
所述重建模块，配置为将真实获取的输入数据输入至所述第三神经网络模型进行增强，并辅助得到重建后的MPI图像；其中，若所述下游任务为X-space重建相关方法，所述输入数据为将实际采集的带噪一维时域信号进行傅里叶变换得到一维频域信号的分段信号；若所述下游任务为系统矩阵重建相关方法，所述输入数据为实际采集的低质量系统矩阵。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于预训练模型的磁粒子图像重建的系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种存储装置，其中存储有多条程序，其特征在于，所述程序适用于由处理器加载并执行以实现基于预训练模型的磁粒子图像重建的方法。
本发明第四实施例的一种处理装置，包括处理器和存储装置；处理器，适用于执行各条程序；存储装置，适用于存储多条程序；其特征在于，所述程序适用于由处理器加载并执行以实现基于预训练模型的磁粒子图像重建的方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
下面参考图6，其示出了用于实现本申请方法、系统、装置实施例的服务器的计算机系统的结构示意图。图6示出的服务器仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示，计算机系统包括中央处理单元(CPU，Central Processing Unit)601，其可以根据存储在只读存储器(ROM，Read Only Memory)602中的程序或者从存储部分608加载到随机访问存储器(RAM，Random Access Memory)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统操作所需的各种程序和数据。CPU 601、ROM 602以及RAM603通过总线604彼此相连。输入/输出(I/O，Input/Output)接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT，Cathode Ray Tube)、液晶显示器(LCD，Liquid Crystal Display)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN(局域网，Local AreaNetwork)卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者装置/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.基于预训练模型的磁粒子图像重建方法，其特征在于，所述方法包括如下步骤：
步骤S10、生成仿真系统矩阵；
步骤S20、根据所述仿真系统矩阵对预构建的神经网络模型进行预训练，将预训练后的神经网络模型作为第一神经网络模型，并获取第一神经网络模型参数；
步骤S30、生成下游任务对应的数据集，预构建下游任务对应的神经网络模型作为第二神经网络模型，将所述第一神经网络模型参数输入至所述第二神经网络模型中，使用所述数据集训练输入了第一神经网络模型参数的所述第二神经网络模型，得到第三神经网络模型；
步骤S40、将真实获取的输入数据输入至所述第三神经网络模型进行增强，并辅助得到重建后的MPI图像；其中，若所述下游任务为X-space重建相关方法，所述输入数据为将实际采集的带噪一维时域信号进行傅里叶变换得到一维频域信号的分段信号；若所述下游任务为系统矩阵重建相关方法，所述输入数据为实际采集的低质量系统矩阵。
2.根据权利要求1所述的基于预训练模型的磁粒子图像重建方法，其特征在于，生成仿真系统矩阵的方法为：
步骤S11、获取参数，所述参数包括：梯度磁场 、激励幅值/>、激励频率/>、扫描频率、粒径/>、像素点大小/>；
步骤S12、根据所述梯度磁场、激励幅值/>，计算成像视野大小，得到视场区域，根据所述像素点大小/>将所述视场区域划分为第一预设阈值N个等大的像素块；
步骤S13、将磁粒子样本放入所述视场区域中并遍历所述N个像素块，所述磁粒子每移动至其中一个所述像素块时，采集一次感应电压信号，得到N个感应电压信号；
步骤S14、对所述N个感应电压信号做傅里叶变换，得到所述N个感应电压信号对应的N个频谱序列，提取每个所述频谱序列中的主倍频和M个窄带频点，并依次拼接成N个一维谱向量，将所述N个一维谱向量组合为一个M×N大小的矩阵，即所述仿真系统矩阵。
3.根据权利要求2所述的基于预训练模型的磁粒子图像重建方法，其特征在于，所述扫描频率，其通过李萨如轨迹进行设置时，方法为：
；
其中，所述为轨迹密度，其在设定的阈值范围内；
所述扫描频率其通过笛卡尔轨迹进行设置时：所述扫描频率/>位于第一阈值范围内，所述第一阈值范围为激励频率/>的阈值范围的设定倍。
4.根据权利要求3所述的基于预训练模型的磁粒子图像重建方法，其特征在于，在生成仿真系统矩阵过程中，磁粒子磁矩通过郎之万函数设置：
；
其中，所述x为无量纲磁场。
5.根据权利要求4所述的基于预训练模型的磁粒子图像重建方法，其特征在于，根据所述仿真系统矩阵对预构建的神经网络模型进行预训练，其方法为：
步骤S21、将所述仿真系统矩阵转化为实数域矩阵，作为第一矩阵；初始化与所述第一矩阵等大的全1矩阵，将所述全1矩阵中的所述第一预设百分比的数值置零，得到mask，将所述mask与所述第一矩阵相乘，得到掩码后的所述仿真系统矩阵，作为第二矩阵；
步骤S22、将所述第一矩阵作为真值标签，将所述第二矩阵划分为多个等大的矩阵块，将多个所述矩阵块作为所述预构建的神经网络模型的输入；其中，所述预构建的神经网络模型包括第一编码器和第一解码器；
步骤S23，基于多个所述矩阵块，通过所述预构建的神经网络模型，得到恢复系统矩阵，作为第三矩阵；
步骤S24，计算所述恢复系统矩阵与所述真值标签之间的损失函数，根据所述损失函数调整所述预构建的神经网络模型的模型参数；
步骤S25，根据设定的训练次数，循环执行步骤S23、S24，直至训练好所述预构建的神经网络，将训练好的所述预构建的神经网络作为所述第一神经网络模型，并获取所述第一神经网络模型参数。
6.根据权利要求5所述的基于预训练模型的磁粒子图像重建方法，其特征在于，基于多个矩阵块，通过所述预构建的神经网络模型，得到恢复系统矩阵，作为第三矩阵的方法为：
步骤S231、将多个所述矩阵块转化为一维向量，并将所述一维向量编码，得到矩阵块向量，并将所述矩阵块向量中加入可学习的位置嵌入，得到具有位置嵌入和编码后的矩阵块向量，作为第一向量；
步骤S232、将所述第一向量输入至所述第一编码器中，得到第一特征向量；
步骤S233、将所述第一特征向量的通道数映射至所述第一解码器维度，并输入至所述第一解码器中，得到第二特征向量，将所述第二特征向量转化为多个二维矩阵块，将所述多个二维矩阵块拼接得到第三矩阵；
其中，所述第一编码器用于对所述多个矩阵块进行编码得到第一特征向量，所述第一编码器包括多个连续的自注意力层；
所述自注意力层包括：顺次连接的自注意力层输入端、多头注意力层、第一加和单元、第一层归一化层、前馈网络、第二加和单元、第二层归一化层和自注意力层输出端；
所述自注意力层输入端与所述第一加和单元残差连接；所述第一层归一化层的输出端与所述第二加和单元残差连接；
所述多头注意力层包括：顺次连接的多头注意力层的输入端、Q个并行的点积注意力块、特征连接层、第一全连接层和多头注意力层的输出端；所述Q为整数；
所述点积注意力块包括：并行的点积第一全连接层、点积第二全连接层和点积第三全连接层，所述点积第一全连接层和所述点积第二全连接层的输出共同连接至矩阵乘法单元，并依次连接归一化层和softmax层，所述softmax层的输出与所述点积第三全连接层共同连接至矩阵乘法单元并连接所述点积注意力块的输出端；
所述第一解码器用于对所述第一特征向量进行解码，得到第三矩阵，所述第一解码器包括多个连续的自注意力层。
7.根据权利要求6所述的基于预训练模型的磁粒子图像重建方法，其特征在于，构建下游任务为X-space重建相关方法对应的数据集，并基于构建的数据集训练输入了第一神经网络模型参数的第二神经网络模型的方法为：
步骤S31、获取仿体图像以及所述仿体图像对应粒子的一维时域信号；所述仿体图像包括手写数字、字母图像以及散点图像；
步骤S32、通过对所述一维时域信号进行傅里叶变换得到一维频域信号，作为模型标签；对所述一维时域信号叠加噪声，得到带噪一维时域信号，将所述带噪一维时域信号进行傅里叶变换得到带噪一维频域信号，作为所述第二神经网络模型的输入；其中，所述第二神经网络模型包括第二全连接层、第二编码器、第二解码器；
步骤S33、将所述带噪一维频域信号分为等长的L段，所述L的数量与所述多个矩阵块的数量一致，通过所述第二全连接层后将所述L段的所述带噪一维频域信号输入至所述第二编码器中进行编码，得到第一编码数据；
步骤S34、将所述第一编码数据输入至所述第二解码器中，得到去噪后的数据段，拼接多个所述去噪后的数据段得到去噪后的一维频域信号；
步骤S35、获取所述去噪后的一维频域信号与所述模型标签的损失函数，根据所述损失函数调整所述输入了第一神经网络模型参数的第二神经网络模型；
步骤S36、根据设定的循环次数，循环执行步骤S33-S35，得到所述第三神经网络模型。
8.根据权利要求7所述的基于预训练模型的磁粒子图像重建方法，其特征在于，所述带噪一维时域信号，其计算方法为：
；
其中，表示仿真得到的一维时域信号，/>表示高斯噪声，/>表示谐波干扰噪声，/>表示带噪一维时域信号；
所述谐波干扰噪声的计算方法为：
；
n表示第n个谐波，表示谐波频率，/>表示随机相位且该随机相位均匀分布于[0，2π]中，/>表示附加谐波的幅值；
所述通过信号干扰比公式获得，其计算方法为：
；
其中，表示设定的噪声水平，/>表示一维时域信号的第n次谐波的带宽；
所述高斯噪声计算方法为：
；
表示信噪比，/>表示噪声的标准差，/>表示一维时域信号。
9.根据权利要求6所述的基于预训练模型的磁粒子图像重建方法，其特征在于，构建下游任务为系统矩阵重建相关方法对应的数据集，并基于构建的数据集训练输入了第一神经网络模型参数的第二神经网络模型的方法为：
步骤A10、生成高质量系统矩阵和低质量系统矩阵，并将所述高质量系统矩阵作为模型标签，将所述低质量系统矩阵作为所述第二神经网络模型的输入；其中，所述第二神经网络模型包括第三全连接层、第三编码器、第三解码器；
步骤A20、将所述低质量系统矩阵划分为多个矩阵块，所述低质量系统矩阵对应的矩阵块的数量与所述仿真系统矩阵中对应的矩阵块的数量一致，将所述低质量系统矩阵对应的矩阵块通过所述第三全连接层后输入到所述第三编码器中编码，得到第二编码数据；
步骤A30、将所述第二编码数据输入至所述第三解码器中，得到增强后的一维特征向量，并将所述增强后的一维特征向量转化为多个增强后的矩阵块，将多个所述解码后的矩阵块拼接为增强后的系统矩阵；
步骤A40、计算所述增强后的系统矩阵与所述高质量矩阵之间的损失函数，根据所述损失函数调整输入了第一神经网络模型参数的第二神经网络模型；
步骤A50、根据设定的循环次数，循环执行步骤A20-40，得到所述第三神经网络模型。
10.根据权利要求9所述的基于预训练模型的磁粒子图像重建方法，其特征在于，生成高质量系统矩阵和低质量系统矩阵，其方法为：
将所述磁粒子样本放入所述视场区域遍历所述第一预设阈值N个像素块，所述磁粒子每移动至其中一个所述像素块时，采集一次感应电压信号，得到所述N个感应电压信号；
对每个所述感应电压信号做傅里叶变换，得到与每个所述感应电压信号对应的N个谱频序列，提取每个所述频谱序列中的主倍频和M个窄带频点，并依次拼接成所述N个一维谱向量，将所述N个所述一维谱向量组合为一个M×N大小的矩阵，将所述矩阵作为所述高质量系统矩阵；
对所述高质量系统矩阵进行下采样，得到所述低质量的系统矩阵。
CN202310753529.XA 2023-06-26 2023-06-26 基于预训练模型的磁粒子图像重建方法 Active CN116503507B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310753529.XA CN116503507B (zh) 2023-06-26 2023-06-26 基于预训练模型的磁粒子图像重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310753529.XA CN116503507B (zh) 2023-06-26 2023-06-26 基于预训练模型的磁粒子图像重建方法

Publications (2)

Publication Number Publication Date
CN116503507A true CN116503507A (zh) 2023-07-28
CN116503507B CN116503507B (zh) 2023-08-29

Family

ID=87316885

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310753529.XA Active CN116503507B (zh) 2023-06-26 2023-06-26 基于预训练模型的磁粒子图像重建方法

Country Status (1)

Country Link
CN (1) CN116503507B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117078792A (zh) * 2023-10-16 2023-11-17 中国科学院自动化研究所 正则项自适应优化的磁粒子图像重建系统、方法及设备
CN117455013A (zh) * 2023-11-10 2024-01-26 无锡鸣石峻致医疗科技有限公司 一种训练样本数据生成方法、系统、电子设备及介质
CN117572309A (zh) * 2023-10-20 2024-02-20 暨南大学附属第一医院（广州华侨医院） 基于谐波相位偏转的磁粒子谱仪、定量方法和存储介质
CN117635479A (zh) * 2024-01-25 2024-03-01 北京航空航天大学 基于双阶段扩散模型的磁粒子图像去噪方法、系统及设备
CN117689761A (zh) * 2024-02-02 2024-03-12 北京航空航天大学 基于扩散模型的即插即用磁粒子成像重建方法、系统
CN117788630A (zh) * 2024-02-28 2024-03-29 中国科学院自动化研究所 基于脉冲方波激励的超分辨磁粒子成像方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113628296A (zh) * 2021-08-04 2021-11-09 中国科学院自动化研究所 一种从时频域信号到二维图像的磁粒子成像重建方法
CN113850883A (zh) * 2021-10-14 2021-12-28 北京航空航天大学 基于注意力机制的磁粒子成像重建方法
CN113947642A (zh) * 2021-10-18 2022-01-18 北京航空航天大学 一种x空间磁粒子成像解卷积方法
KR20220050758A (ko) * 2020-10-16 2022-04-25 현대자동차주식회사 다차원 어텐션 메커니즘에 기반한 다방향 장면 텍스트 인식 방법 및 시스템
CN114723729A (zh) * 2022-04-21 2022-07-08 中国科学院自动化研究所 基于Transformer的MPI图像重建方法
CN114998471A (zh) * 2022-06-22 2022-09-02 中国科学院自动化研究所 基于RecNet模型的磁粒子成像重建方法
CN116030155A (zh) * 2023-02-09 2023-04-28 中国科学院自动化研究所 基于时频双信息的磁粒子成像重建方法及系统
CN116068468A (zh) * 2023-03-06 2023-05-05 山东大学 时域系统矩阵联合x-space的MPI重建方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220050758A (ko) * 2020-10-16 2022-04-25 현대자동차주식회사 다차원 어텐션 메커니즘에 기반한 다방향 장면 텍스트 인식 방법 및 시스템
CN113628296A (zh) * 2021-08-04 2021-11-09 中国科学院自动化研究所 一种从时频域信号到二维图像的磁粒子成像重建方法
CN113850883A (zh) * 2021-10-14 2021-12-28 北京航空航天大学 基于注意力机制的磁粒子成像重建方法
CN113947642A (zh) * 2021-10-18 2022-01-18 北京航空航天大学 一种x空间磁粒子成像解卷积方法
CN114723729A (zh) * 2022-04-21 2022-07-08 中国科学院自动化研究所 基于Transformer的MPI图像重建方法
CN114998471A (zh) * 2022-06-22 2022-09-02 中国科学院自动化研究所 基于RecNet模型的磁粒子成像重建方法
CN116030155A (zh) * 2023-02-09 2023-04-28 中国科学院自动化研究所 基于时频双信息的磁粒子成像重建方法及系统
CN116068468A (zh) * 2023-03-06 2023-05-05 山东大学 时域系统矩阵联合x-space的MPI重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LIN YIN等: "Recent developments of the reconstruction in magnetic particle imaging", 《VISUAL COMPUTING FOR INDUSTRY, BIOMEDICINE, AND ART 》, vol. 5, no. 1 *
陈晓君等: "基于系统矩阵的磁粒子成像重构研究进展", 《北京生物医学工程》, vol. 39, no. 2 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117078792A (zh) * 2023-10-16 2023-11-17 中国科学院自动化研究所 正则项自适应优化的磁粒子图像重建系统、方法及设备
CN117078792B (zh) * 2023-10-16 2023-12-12 中国科学院自动化研究所 正则项自适应优化的磁粒子图像重建系统、方法及设备
US12117508B1 (en) 2023-10-16 2024-10-15 Institute Of Automation, Chinese Academy Of Sciences System for reconstructing magnetic particle image based on adaptive optimization of regularization terms
CN117572309A (zh) * 2023-10-20 2024-02-20 暨南大学附属第一医院（广州华侨医院） 基于谐波相位偏转的磁粒子谱仪、定量方法和存储介质
CN117572309B (zh) * 2023-10-20 2024-04-09 暨南大学附属第一医院（广州华侨医院） 基于谐波相位偏转的磁粒子谱仪、定量方法和存储介质
CN117455013A (zh) * 2023-11-10 2024-01-26 无锡鸣石峻致医疗科技有限公司 一种训练样本数据生成方法、系统、电子设备及介质
CN117635479A (zh) * 2024-01-25 2024-03-01 北京航空航天大学 基于双阶段扩散模型的磁粒子图像去噪方法、系统及设备
CN117635479B (zh) * 2024-01-25 2024-04-23 北京航空航天大学 基于双阶段扩散模型的磁粒子图像去噪方法、系统及设备
CN117689761A (zh) * 2024-02-02 2024-03-12 北京航空航天大学 基于扩散模型的即插即用磁粒子成像重建方法、系统
CN117689761B (zh) * 2024-02-02 2024-04-26 北京航空航天大学 基于扩散模型的即插即用磁粒子成像重建方法、系统
CN117788630A (zh) * 2024-02-28 2024-03-29 中国科学院自动化研究所 基于脉冲方波激励的超分辨磁粒子成像方法及系统
CN117788630B (zh) * 2024-02-28 2024-05-31 中国科学院自动化研究所 基于脉冲方波激励的超分辨磁粒子成像方法及系统

Also Published As

Publication number Publication date
CN116503507B (zh) 2023-08-29

Similar Documents

Publication Publication Date Title
CN116503507B (zh) 基于预训练模型的磁粒子图像重建方法
Güngör et al. TranSMS: Transformers for super-resolution calibration in magnetic particle imaging
Pierre et al. Multiscale reconstruction for MR fingerprinting
CN115640506B (zh) 基于时频谱信号增强的磁粒子分布模型重建方法和系统
Bao et al. Undersampled MR image reconstruction using an enhanced recursive residual network
Eo et al. Accelerating Cartesian MRI by domain-transform manifold learning in phase-encoding direction
CN114998471B (zh) 基于RecNet模型的磁粒子成像重建方法
Askin et al. PP-MPI: A deep plug-and-play prior for magnetic particle imaging reconstruction
Wang et al. Denoising auto-encoding priors in undecimated wavelet domain for MR image reconstruction
CN117078792B (zh) 正则项自适应优化的磁粒子图像重建系统、方法及设备
Goyal et al. Multimodal image fusion and denoising in NSCT domain using CNN and FOTGV
Liu et al. Exploring multi-scale deep encoder-decoder and patchgan for perceptual ultrasound image super-resolution
CN117689761B (zh) 基于扩散模型的即插即用磁粒子成像重建方法、系统
Peng et al. Multi-scale dual domain network for nonlinear magnetization signal filtering in magnetic particle imaging
Patel et al. Cross attention transformers for multi-modal unsupervised whole-body pet anomaly detection
Forigua et al. SuperFormer: Volumetric transformer architectures for MRI super-resolution
Ghaffari et al. Brain MRI motion artifact reduction using 3D conditional generative adversarial networks on simulated motion
CN117058262A (zh) 一种磁性纳米粒子成像重建的方法、系统及装置
Yang et al. Quasi-supervised learning for super-resolution PET
Guo Real-time medical image denoising and information hiding model based on deep wavelet multiscale autonomous unmanned analysis
Du et al. Iterative PET image reconstruction using cascaded data consistency generative adversarial network
Ward et al. Optimal isotropic wavelets for localized tight frame representations
Dumitrescu et al. Methods for improving image quality for contour and textures analysis using new wavelet methods
Rao et al. Brain MRI Noise Reduction Using Convolutional Autoencoder
Liang MRI image reconstruction based on artificial intelligence

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant