CN113628296B - 一种从时频域信号到二维图像的磁粒子成像重建方法 - Google Patents
一种从时频域信号到二维图像的磁粒子成像重建方法 Download PDFInfo
- Publication number
- CN113628296B CN113628296B CN202110890324.7A CN202110890324A CN113628296B CN 113628296 B CN113628296 B CN 113628296B CN 202110890324 A CN202110890324 A CN 202110890324A CN 113628296 B CN113628296 B CN 113628296B
- Authority
- CN
- China
- Prior art keywords
- processing module
- image
- frequency domain
- neural network
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 239000006249 magnetic particle Substances 0.000 title claims abstract description 38
- 238000003384 imaging method Methods 0.000 title claims abstract description 35
- 238000003062 neural network model Methods 0.000 claims abstract description 79
- 238000007781 pre-processing Methods 0.000 claims abstract description 17
- 230000009466 transformation Effects 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims description 160
- 238000011176 pooling Methods 0.000 claims description 96
- 238000000605 extraction Methods 0.000 claims description 70
- 230000006870 function Effects 0.000 claims description 36
- 230000004913 activation Effects 0.000 claims description 31
- 238000012549 training Methods 0.000 claims description 27
- 239000013598 vector Substances 0.000 claims description 26
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 24
- 238000004088 simulation Methods 0.000 claims description 22
- 238000012935 Averaging Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 15
- 238000003860 storage Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000009826 distribution Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- WTFXARWRTYJXII-UHFFFAOYSA-N iron(2+);iron(3+);oxygen(2-) Chemical compound [O-2].[O-2].[O-2].[O-2].[Fe+2].[Fe+3].[Fe+3] WTFXARWRTYJXII-UHFFFAOYSA-N 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229940031182 nanoparticles iron oxide Drugs 0.000 description 1
- 239000000700 radioactive tracer Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000002603 single-photon emission computed tomography Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明属于图像重建领域，具体涉及了一种从时频域信号到二维图像的磁粒子成像重建方法、系统及设备，旨在解决现有的磁粒子成像重建方法利用磁粒子成像的原始一维时域或频域信号进行重建，导致重建质量和效率较低的问题。本发明包括：采集待重建的MPI图像；采集后，提取待重建的MPI图像的一维时域信号，作为输入信号；通过傅里叶变换将输入信号转换为二维时频域信号，并进行预处理；将预处理后的二维时频域信号输入训练好的神经网络模型，得到重建的MPI图像。本发明提高了现有技术中MPI图像重建的质量和效率。
Description
技术领域
本发明属于图像重建领域，具体涉及了一种从时频域信号到二维图像的磁粒子成像重建方法、系统及设备。
背景技术
现有的医学影像技术如CT、MRI、SPECT等方法均存在危害大，定位差，精度低等问题。而在近些年，一种全新的基于示踪剂的成像方式——磁粒子成像技术(MPI)被提出。利用断层成像技术，MPI可以通过检测对人体无害的超顺磁氧化铁纳米颗粒(SPIOs)的空间浓度分布，对肿瘤或目标物进行精准定位，具有三维成像、高时空分辨率和高灵敏度的特点。此外，MPI不显示解剖结构并且无背景信号干扰，因此信号的强度与示踪剂的浓度直接成正比，是一种颇具医学应用潜力的新方法。
现今的MPI重建方法大多是利用磁粒子成像的原始信号，包括一维时域信号以及一维频域信号，通过传统算法如基于系统矩阵或基于X-space的重建方法进行重建。这类传统算法虽然已经能达到较好的重建效果，但其重建质量和重建效率仍存在一定的提升空间。
发明内容
为了解决现有技术中的上述问题，即为了解决现有的磁粒子成像重建方法利用磁粒子成像的原始一维时域或频域信号进行重建，导致重建质量和效率较低的问题，本发明第一方面，提出了一种从时频域信号到二维图像的磁粒子成像重建方法，该方法包括以下步骤：
步骤S10，采集待重建的MPI图像；采集后，提取所述待重建的MPI图像的一维时域信号，作为输入信号；
步骤S20，通过傅里叶变换将所述输入信号转换为二维时频域信号，并进行预处理；将预处理后的二维时频域信号输入训练好的神经网络模型，得到重建的MPI图像；
其中，所述神经网络模型为带有跳跃连接的编码器-解码器；
所述编码器包括第一处理模块、第二处理模块、第三处理模块、第四处理模块；所述编码器中的各处理模块通过最大池化连接；
所述解码器包括第五处理模块、第六处理模块、第七处理模块、卷积层；所述第四处理模块至所述第七处理模块之间通过上采样连接；
所述第一处理模块与所述第七处理模块、所述第二处理模块与所述第六处理模块、所述第三处理模块和第五处理模块跳跃连接；
所述编码器、所述解码器的各处理模块均基于顺次连接的卷积层、注意力模块、卷积层构成。
在一些优选的实施方式中，所述预处理为：将二维时频域信号转换为n*n的二维实数数组；其中，n*n的二维实数数组的每一列为不同子时间段对应的频域信息。
在一些优选的实施方式中，“将二维时频域信号转换为n*n的二维实数数组”，其方法为，
提取二维时频域信号中每列信号的实部和虚部；
对提取的实部信号和虚部信号分别取半得到长度为n/2的向量，并归一化；
将归一化后的实部信号和虚部信号连接得到长度为n的向量，以完成对二维时频域信号的转换。
在一些优选的实施方式中，所述编码器、解码器中的每个注意力模块包括残差块和注意力块；
所述残差块基于依次连接的卷积层、激活函数层、卷积层和激活函数层构建；
所述注意力块连接于残差块中第二个卷积层和第二个激活函数层之间；
所述残差块中第二个卷积层的输出构成所述注意力块的输入，所述残差块的输入和注意力块的输出相加后构成所述残差块内第二个激活函数层的输入；
其中，所述注意力块包括并行设置的第一特征提取单元和第二特征提取单元；
所述第一特征提取单元基于顺次连接的平均池化层、卷积层、激活函数层构建；
所述第二特征提取单元基于顺次连接的最大池化层、卷积层、激活函数层构建；
所述残差块中第二个卷积层的输出构成所述第一特征提取单元和第二特征提取单元的输入；所述第一特征提取单元内的激活函数层的输出和所述第一特征提取单元的输入相乘构成所述第一特征提取单元的输出；所述第二特征提取单元内的激活函数层的输出和所述第二特征提取单元的输入相乘构成所述第二特征提取单元的输出；所述第一特征提取单元的输出和所述第二特征提取单元的输出相加并经过一个卷积层后构成所述注意力块的输出。
在一些优选的实施方式中，所述平均池化层分为并行设置的第一平均池化层和第二平均池化层；所述第一平均池化层用于对第一特征提取单元的输入执行按列平均池化操作；所述第二平均池化层用于对第一特征提取单元的输入执行按行平均池化操作；所述第一平均池化层的输出和所述第二平均池化层的输出相乘构成所述平均池化层的输出；
所述最大池化层分为并行设置的第一最大池化层和第二最大池化层；所述第一最大池化层用于对第一特征提取单元的输入执行按列最大池化操作；所述第二最大池化层用于对第一特征提取单元的输入执行按行平均池化操作；所述第一最大池化层的输出和所述第二最大池化层的输出相乘构成所述最大池化层的输出。
在一些优选的实施方式中，所述神经网络模型，其训练方法为：
步骤A10，生成基于磁粒子成像的仿真图像；提取所述仿真图像的一维时域信号并转换为二维时频域信号；将所述仿真图像及其对应的二维时频域信号作为训练样本，构建训练样本集；
步骤A20，对所述训练样本集中的二维时频域信号进行预处理，预处理后输入神经网络模型中，得到重建的MPI图像；
步骤A30，基于神经网络模型输出的MPI图像、标签图像，计算损失值，并更新所述神经网络模型的模型参数；所述标签图像为仿真图像；
步骤A40，循环执行步骤A20-A30，直至得到训练好的神经网络模型。
在一些优选的实施方式中，所述神经网络模型其在训练过程中的损失函数为：
其中，I是神经网络模型输出的MPI图像，是标签图像，H表示神经网络模型输出的MPI图像或标签图像的高度，W表示神经网络模型输出的MPI图像或标签图像的宽度，C表示神经网络模型输出的MPI图像或标签图像的通道数。
本发明的另一方面，提出了一种从时频域信号到二维图像的磁粒子成像重建系统，该系统包括信号提取模块、图像重建模块；
所述信号提取模块，配置为采集待重建的MPI图像；采集后，提取所述待重建的MPI图像的一维时域信号，作为输入信号；
所述图像重建模块，配置为通过傅里叶变换将所述输入信号转换为二维时频域信号，并进行预处理；将预处理后的二维时频域信号输入训练好的神经网络模型，得到重建的MPI图像；
其中，所述神经网络模型为带有跳跃连接的编码器-解码器；
所述编码器包括第一处理模块、第二处理模块、第三处理模块、第四处理模块；所述编码器中的各处理模块通过最大池化连接；
所述解码器包括第五处理模块、第六处理模块、第七处理模块、卷积层；所述第四处理模块至所述第七处理模块之间通过上采样连接；
所述第一处理模块与所述第七处理模块、所述第二处理模块与所述第六处理模块、所述第三处理模块和第五处理模块跳跃连接；
所述编码器、所述解码器的各处理模块均基于顺次连接的卷积层、注意力模块、卷积层构成。
本发明的第三方面，提出了一种电子设备，包括：
至少一个处理器；以及
与至少一个所述处理器通信连接的存储器；其中，
所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的从时频域信号到二维图像的磁粒子成像重建方法。
本发明的第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的从时频域信号到二维图像的磁粒子成像重建方法。
本发明的有益效果：
本发明提高了现有技术中MPI图像重建的质量和效率。
(1)利用深度学习代替传统算法对MPI图像进行重建，通过在编码器和解码器中都加入注意力模块，可以更好的使神经网络模型学习到样本信息、抑制噪声信息，并对前面学习到的特征充分的学习，从而可以恢复高质量的重建图像，并提高重建效率。
(2)使用二维时频域信号对MPI图像进行重建，可以解决在使用一维信号对MPI图像进行重建时，其信号长度受限的问题，从而提高本发明的普适性。
(3)在本发明中，由于本神经网络模型是基于二维时频域信号进行图像重建的，且二维时频域信号的每一列分别表示不同子时间段所对应的频域信息，每一行分别表示不同频率所对应的时域信息，因此，在注意力块中，通过第一平均池化层、第二平均池化层和第一最大池化层、第二最大池化层，对注意力块的输入分别按行、按列进行平均池化和最大池化操作，可以充分的利用时域信号和频域信号之间关系提取二维时频域信号中的特征，从而提高重建质量。
(4)基于所输入的二维时频域信号中时频域信号之间的关系，在注意力块中，先对经过平均池化层或最大池化层后的输出分别进行处理后与原始输入相乘获得两个关注不同特征的特征图，再对这两个特征图进行聚合，可以更好的提取有效特征，抑制噪声信号，从而提高重建质量。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明一种实施例的从时频域信号到二维图像的磁粒子成像重建方法的流程示意图；
图2是本发明一种实施例的神经网络模型的结构示意图；
图3是本发明一种实施例的注意力模块的结构示意图；
图4是本发明一种实施例的神经网络模型的训练过程的流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
本发明的一种从时频域信号到二维图像的磁粒子成像重建方法，如图1所示，该方法包括以下步骤：
步骤S10，采集待重建的MPI图像；采集后，提取所述待重建的MPI图像的一维时域信号，作为输入信号；
步骤S20，通过傅里叶变换将所述输入信号转换为二维时频域信号，并进行预处理；将预处理后的二维时频域信号输入训练好的神经网络模型，得到重建的MPI图像；
其中，所述神经网络模型为带有跳跃连接的编码器-解码器；
所述编码器包括第一处理模块、第二处理模块、第三处理模块、第四处理模块；所述编码器中的各处理模块通过最大池化连接；
所述解码器包括第五处理模块、第六处理模块、第七处理模块、卷积层；所述第四处理模块至所述第七处理模块之间通过上采样连接；
所述第一处理模块与所述第七处理模块、所述第二处理模块与所述第六处理模块、所述第三处理模块和第五处理模块跳跃连接；
所述编码器、所述解码器的各处理模块均基于顺次连接的卷积层、注意力模块、卷积层构成。
为了更清晰地对本发明从时频域信号到二维图像的磁粒子成像重建方法进行说明，下面结合图对本发明实施例中各步骤展开详述。
在下述实施例中，先对神经网络模型的构建及训练过程进行详述，再对从时频域信号到二维图像的磁粒子成像重建方法获取MPI图像的重建结果的过程进行详述。
1、神经网络模型的构建及训练，如图4所示
步骤A10，生成基于磁粒子成像的仿真图像；提取所述仿真图像的一维时域信号并转换为二维时频域信号；将所述仿真图像及其对应的二维时频域信号作为训练样本，构建训练样本集；
在本实施例中，利用Mnist手写数据集图像模拟实际情况中采集到的MPI图像中的样本形状，以生成为黑白二值图像的仿真图像。之后，基于现有的重建算法，将生成的仿真图像作为实际的磁粒子分布输入，并通过仿真代码模拟FFP扫描过程，以提取与仿真图像对应的一维时域信号。
在现今的MPI图像重建中，通常基于传统算法，利用一维时域或一维频域信号进行重建，然而，如果在神经网络模型中直接通过一维信号进行重建，那么由于一维信号在利用神经网络模型转换为二维图像信息的过程中，必须使得神经网络模型中存在全连接层结构，因此，一维信号的长度被严格限制，长度不一的一维信号必须经过降采样或截断等预处理才能输入至神经网络模型，从而造成信号内信息的损失。故此，本发明通过将一维时域信号转换为二维时频域信号输入至神经网络模型，以解决这一问题。具体地，将一维时域信号转换为二维时频域信号的过程如下：
将提取仿真图像得到的一维时域信号平均分为5000个子信号，并分别对这5000个子信号做短时傅里叶变换得到对应长度为1*5000的一维频域信号，这5000个一维频域信号的组合即为二维时频域信号，组合后形成的二维时频域信号为5000*5000的二维数组，且二维数组中的每一列为不同子时间段对应的频域信息。
更进一步地，将仿真图像及其对应的二维时频域信号共10000组作为神经网络模型的训练样本集；且训练样本集按照9：1分为训练集和验证集。
步骤A20，对所述训练样本集中的二维时频域信号进行预处理，预处理后输入神经网络模型中，得到重建的MPI图像；
在本实施例中，预处理为将二维时频域信号转换为n*n的二维实数数组，n在本实施例中优选设置为5000，具体地，该预处理的过程如下：
A21：提取二维时频域信号中每列信号的实部和虚部；提取出的实部信号和虚部信号的长度均为1*5000；
A22：对提取的实部信号和虚部信号分别取半得到长度为n/2的向量，并归一化；
由于实部信号和虚部信号都是以信号中点为中心对称的，因此对实部信号和虚部信号分别各取前一半得到长度为1*2500的两个向量，以减小数据冗余，提高神经网络模型的学习效率。之后，对长度为1*2500的两个向量分别进行归一化，以获得取值范围在[0，1]的两个向量。
A23：将归一化后的实部信号和虚部信号连接得到长度为n的向量，以完成对二维时频域信号的转换。
将归一化后的实部信号和虚部信号连接，可以获得长度为1*5000的向量，从而实现将二维时频域信号转换为5000*5000的二维实数数组。
将预处理后得到的二维时频域信号输入至神经网络模型中，以得到重建的MPI图像。其中，关于神经网络模型的结构，详述如下：
如图2、图3所示，所述神经网络模型为带有跳跃连接的编码器-解码器；
所述编码器包括第一处理模块、第二处理模块、第三处理模块、第四处理模块；所述编码器中的各处理模块通过最大池化连接，其中，所述编码器的各处理模块均基于顺次连接的卷积层、注意力模块、卷积层构成；
关于编码器的具体结构：
所述第一处理模块的两个卷积层中分别包含32个5*5的卷积核；所述第二处理模块的两个卷积层中分别包含64个3*3卷积核；所述第三处理模块的两个卷积层中分别包含128个3*3卷积核；所述第四处理模块中的前一个卷积层包含256个3*3卷积核，第四处理模块中的后一个卷积层包含128个3*3卷积核；
所述第一处理模块和第二处理模块之间通过10*10的全局最大池化连接，所述第二处理模块和第三处理模块之间通过5*5的全局最大池化连接，所述第三处理模块和第四处理模块之间通过5*5的全局最大池化连接。
关于编码器的工作过程：
预处理后的二维时频域信号输入至第一处理模块，并依次经过第二处理模块、第三处理模块输入到第四处理模块中，在传输过程中，通过三次n*n的最大池化操作，实现特征提取。需要说明的是，每经过一次池化操作，特征图的大小缩小为原来的1/n。同时，需要补充的是，在编码器中，每个处理模块的输入为相连的前一个最大池化所输出的特征图，且第一处理模块、第二处理模块、第三处理模块以及第四处理模块中的特征图的通道数分别为32、64、128、256。
所述解码器包括第五处理模块、第六处理模块、第七处理模块、卷积层；所述第四处理模块至所述第七处理模块之间通过上采样连接，且所述第一处理模块与所述第七处理模块、所述第二处理模块与所述第六处理模块、所述第三处理模块和第五处理模块跳跃连接。其中，所述解码器的各处理模块均基于顺次连接的卷积层、注意力模块、卷积层构成；
关于解码器的具体结构：
所述第五处理模块中的前一个卷积层包含128个3*3卷积核，第五处理模块中的后一个卷积层包含64个3*3卷积核；所述第六处理模块中的前一个卷积层包含64个3*3卷积核，第六处理模块中的后一个卷积层包含32个3*3卷积核；所述第七处理模块的两个卷积层中分别包含32个3*3卷积核；和第七处理模块相连的卷积层中包含1个1*1卷积核；
第四处理模块至所述第七处理模块之间的上采样均为2*2的图像插值操作。
关于解码器的工作过程：
第四处理模块输出的特征图输入至第五处理模块，并依次经过第六处理模块、第七处理模块、卷积层输出，在传输过程中，通过三次上采样操作以及跳跃连接，实现将特征图恢复到原始尺寸大小，通过和七处理模块相连的卷积层，实现将第七处理模块输出的特征图转换为160*160的输出图像，即重建得到的MPI图像。同时，需要补充的是，在解码器中，每个处理模块的输入为将相连的前一个上采样所输出的特征图和与本处理模块同尺度的编码器输出的特征图连接后所得到的特征图。
更进一步地，编码器、解码器中的每个注意力模块均包括残差块和注意力块；所述注意力模块的输入即为所述残差块的输入，所述注意力模块的输出即为所述残差块的输出。
关于残差块的具体结构：
所述残差块基于依次连接的卷积层、激活函数层、卷积层和激活函数层构建；残差块中的两个卷积层均进行3*3的卷积操作，且两个激活函数层为ReLU激活函数。
关于注意力块的具体结构：
所述注意力块连接于残差块中第二个卷积层和第二个激活函数层之间，所述残差块中第二个卷积层的输出构成所述注意力块的输入，所述残差块的输入和注意力块的输出相加后构成所述残差块内第二个激活函数层的输入。
其中，所述注意力块包括并行设置的第一特征提取单元和第二特征提取单元；所述第一特征提取单元的输出和所述第二特征提取单元的输出相加并经过一个卷积层后构成所述注意力块的输出，该卷积层包含大小为3×3的卷积核。
所述第一特征提取单元基于顺次连接的平均池化层、卷积层、激活函数层构建；其中，第一处理模块所对应的第一特征提取单元内的卷积层中包含5×5×C三维卷积核，第二处理模块至第七处理模块所对应的第一特征提取单元内的卷积层中包含3×3×C三维卷积核，激活函数层为sigmoid激活函数。所述第一特征提取单元内的激活函数层的输出和所述第一特征提取单元的输入相乘构成所述第一特征提取单元的输出。
具体地，所述平均池化层分为并行设置的第一平均池化层和第二平均池化层；所述第一平均池化层用于对第一特征提取单元的输入执行按列平均池化操作得到1×W×C的特征向量；所述第二平均池化层用于对第一特征提取单元的输入执行按行平均池化操作得到H×1×C的特征向量；所述第一平均池化层的输出和所述第二平均池化层的输出相乘后得到H×W×C的特征向量，以构成所述平均池化层的输出；将所得到的H×W×C的特征向量再经过第一特征提取单元内的卷积层和激活函数层，可以获得大小为H×W×1的特征向量，将H×W×1的特征向量和第一特征提取单元的输入相乘，以构成所述第一特征提取单元的输出；其中，对第一平均池化层的输出和所述第二平均池化层的输出相乘的方法为，对C个通道每一组所对应的H×1向量和1×W向量相乘，得到C个H×W向量，即H×W×C的特征向量。
所述第二特征提取单元基于顺次连接的最大池化层、卷积层、激活函数层构建；第二特征提取单元中的卷积层、激活函数层和第一特征提取单元中的卷积层、激活函数层结构相同。所述第二特征提取单元内的激活函数层的输出和所述第二特征提取单元的输入相乘构成所述第二特征提取单元的输出。
具体地，所述最大池化层分为并行设置的第一最大池化层和第二最大池化层；所述第一最大池化层用于对第二特征提取单元的输入执行按列最大池化操作得到1×W×C的特征向量；所述第二最大池化层用于对第二特征提取单元的输入执行按行平均池化操作得到H×1×C的特征向量；所述第一最大池化层的输出和所述第二最大池化层的输出相乘后得到H×W×C的特征向量，以构成所述最大池化层的输出；将所得到的H×W×C的特征向量再经过第二特征提取单元内的卷积层和激活函数层，可以获得大小为H×W×1的特征向量，将H×W×1的特征向量和第二特征提取单元的输入相乘，以构成所述第二特征提取单元的输出；其中，对第一平均池化层的输出和所述第二平均池化层的输出相乘的方法参考第一特征提取单元中的计算方法。
在本发明中，由于本神经网络模型是基于二维时频域信号进行图像重建的，且二维时频域信号的每一列分别表示不同子时间段所对应的频域信息，每一行分别表示不同频率所对应的时域信息，因此，在注意力块中，通过第一平均池化层、第二平均池化层和第一最大池化层、第二最大池化层，对注意力块的输入分别按行、按列进行平均池化和最大池化操作，可以充分的利用时域信号和频域信号之间关系提取n*n二维实数数组中的特征，从而提高重建质量。
此外，基于所输入的二维时频域信号中时频域信号之间的关系，在注意力块中，先对经过平均池化层或最大池化层后的输出分别进行处理后与原始输入相乘获得两关注不同特征的特征图，再对这两个特征图进行聚合，同样可以更好的提取有效特征，抑制噪声信号，从而进一步提高重建质量。
步骤A30，基于神经网络模型输出的MPI图像、标签图像，计算损失值，并更新所述神经网络模型的模型参数；所述标签图像为仿真图像；
在本实施例中，对神经网络模型训练时，根据神经网络模型输出的MPI图像与标签图像计算损失值，并依据损失值更新网络模型参数，以获得最优神经网络模型。具体地，神经网络模型在训练过程中的损失函数为：
其中，I是神经网络模型输出的MPI图像，是标签图像，H表示神经网络模型输出的MPI图像或标签图像的高度，W表示神经网络模型输出的MPI图像或标签图像的宽度，C表示神经网络模型输出的MPI图像或标签图像的通道数。
步骤A40，循环执行步骤A20-A30，直至得到训练好的神经网络模型。
在本实施例中，循环执行步骤A20-A30以对神经网络模型迭代训练300个epoch，并在训练完成后保存训练好的神经网络模型。
在本实施例中，较为优选的，为确认神经网络模型训练后的重建效果，还设置有验证环节，具体地，该验证环节选用真实的MPI图像的二维时频域信号作为输入信号，将此输入信号经预处理后输入至神经网络模型，以获得重建的MPI图像，通过将重建的MPI图像与真实的MPI图像进行对比，实现对神经网络模型的重建效果的评估。
其中，真实的MPI图像通过制造模拟分叉血管结构的仿体，并利用现有商用磁粒子成像仪器对仿体进行图像采集来获得。
2、从时频域信号到二维图像的磁粒子成像重建方法，如图1所示
S10，采集待重建的MPI图像；采集后，提取所述待重建的MPI图像的一维时域信号，作为输入信号；
在本实施例中，参考步骤A10中的对一维时域信号的提取方法，提取待重建的MPI图像的一维时域信号，并作为输入信号。
步骤S20，通过傅里叶变换将所述输入信号转换为二维时频域信号，并进行预处理；将预处理后的二维时频域信号输入训练好的神经网络模型，得到重建的MPI图像；
在本实施例中，参考步骤A10中的二维时频域信号转换方法对步骤S10中的输入信号进行转换得到相应的二维时频域信号，并参考步骤A20中的预处理方法对得到的二维时频域信号进行预处理，以输入至步骤A40中所保存的训练好的神经网络模型，从而得到重建的磁粒子的精确分布图像。
上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时(并行)执行或以颠倒的次序执行，这些简单的变化都在本发明的保护范围之内。
本发明第二实施例的从时频域信号到二维图像的磁粒子成像重建系统，如2所示，该系统包括：信号提取模块、图像重建模块；
所述信号提取模块，配置为采集待重建的MPI图像；采集后，提取所述待重建的MPI图像的一维时域信号，作为输入信号；
所述图像重建模块，配置为通过傅里叶变换将所述输入信号转换为二维时频域信号，并进行预处理；将预处理后的二维时频域信号输入训练好的神经网络模型，得到重建的MPI图像；
其中，所述神经网络模型为带有跳跃连接的编码器-解码器；
所述编码器包括第一处理模块、第二处理模块、第三处理模块、第四处理模块；所述编码器中的各处理模块通过最大池化连接；
所述解码器包括第五处理模块、第六处理模块、第七处理模块、卷积层；所述第四处理模块至所述第七处理模块之间通过上采样连接；
所述第一处理模块与所述第七处理模块、所述第二处理模块与所述第六处理模块、所述第三处理模块和第五处理模块跳跃连接；
所述编码器、所述解码器的各处理模块均基于顺次连接的卷积层、注意力模块、卷积层构成。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的从时频域信号到二维图像的磁粒子成像重建系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种电子设备，包括：
至少一个处理器；以及
与至少一个所述处理器通信连接的存储器；其中，
所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的从时频域信号到二维图像的磁粒子成像重建方法。
本发明第四实施例的一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的从时频域信号到二维图像的磁粒子成像重建方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (8)
1.一种从时频域信号到二维图像的磁粒子成像重建方法，其特征在于，该方法包括以下步骤：
步骤S10，采集待重建的MPI图像；采集后，提取所述待重建的MPI图像的一维时域信号，作为输入信号；
步骤S20，通过傅里叶变换将所述输入信号转换为二维时频域信号，并进行预处理；将预处理后的二维时频域信号输入训练好的神经网络模型，得到重建的MPI图像；
其中，所述神经网络模型为带有跳跃连接的编码器-解码器；
所述编码器包括第一处理模块、第二处理模块、第三处理模块、第四处理模块；所述编码器中的各处理模块通过最大池化连接；
所述解码器包括第五处理模块、第六处理模块、第七处理模块、卷积层；所述第四处理模块至所述第七处理模块之间通过上采样连接；
所述第一处理模块与所述第七处理模块、所述第二处理模块与所述第六处理模块、所述第三处理模块和第五处理模块跳跃连接；
所述编码器、所述解码器的各处理模块均基于顺次连接的卷积层、注意力模块、卷积层构成；
所述神经网络模型，其训练方法为：
步骤A10，生成基于磁粒子成像的仿真图像；提取所述仿真图像的一维时域信号并转换为二维时频域信号；将所述仿真图像及其对应的二维时频域信号作为训练样本，构建训练样本集；
步骤A20，对所述训练样本集中的二维时频域信号进行预处理，预处理后输入神经网络模型中，得到重建的MPI图像；
步骤A30，基于神经网络模型输出的MPI图像、标签图像，计算损失值，并更新所述神经网络模型的模型参数；所述标签图像为仿真图像；
步骤A40，循环执行步骤A20-A30，直至得到训练好的神经网络模型；
所述神经网络模型其在训练过程中的损失函数为：
其中，I是神经网络模型输出的MPI图像，是标签图像，H表示神经网络模型输出的MPI图像或标签图像的高度，W表示神经网络模型输出的MPI图像或标签图像的宽度，C表示神经网络模型输出的MPI图像或标签图像的通道数。
2.根据权利要求1所述从时频域信号到二维图像的磁粒子成像重建方法，其特征在于，所述预处理为：将二维时频域信号转换为n*n的二维实数数组；其中，n*n的二维实数数组的每一列为不同子时间段对应的频域信息。
3.根据权利要求2所述从时频域信号到二维图像的磁粒子成像重建方法，其特征在于，“将二维时频域信号转换为n*n的二维实数数组”，其方法为，
提取二维时频域信号中每列信号的实部和虚部；
对提取的实部信号和虚部信号分别取半得到长度为n/2的向量，并归一化；
将归一化后的实部信号和虚部信号连接得到长度为n的向量，以完成对二维时频域信号的转换。
4.根据权利要求1所述从时频域信号到二维图像的磁粒子成像重建方法，其特征在于，
所述编码器、解码器中的每个注意力模块包括残差块和注意力块；
所述残差块基于依次连接的卷积层、激活函数层、卷积层和激活函数层构建；
所述注意力块连接于残差块中第二个卷积层和第二个激活函数层之间；
所述残差块中第二个卷积层的输出构成所述注意力块的输入，所述残差块的输入和注意力块的输出相加后构成所述残差块内第二个激活函数层的输入；
其中，所述注意力块包括并行设置的第一特征提取单元和第二特征提取单元；
所述第一特征提取单元基于顺次连接的平均池化层、卷积层、激活函数层构建；
所述第二特征提取单元基于顺次连接的最大池化层、卷积层、激活函数层构建；
所述残差块中第二个卷积层的输出构成所述第一特征提取单元和第二特征提取单元的输入；所述第一特征提取单元内的激活函数层的输出和所述第一特征提取单元的输入相乘构成所述第一特征提取单元的输出；所述第二特征提取单元内的激活函数层的输出和所述第二特征提取单元的输入相乘构成所述第二特征提取单元的输出；所述第一特征提取单元的输出和所述第二特征提取单元的输出相加并经过一个卷积层后构成所述注意力块的输出。
5.根据权利要求4所述从时频域信号到二维图像的磁粒子成像重建方法，其特征在于，
所述平均池化层分为并行设置的第一平均池化层和第二平均池化层；所述第一平均池化层用于对第一特征提取单元的输入执行按列平均池化操作；所述第二平均池化层用于对第一特征提取单元的输入执行按行平均池化操作；所述第一平均池化层的输出和所述第二平均池化层的输出相乘构成所述平均池化层的输出；
所述最大池化层分为并行设置的第一最大池化层和第二最大池化层；所述第一最大池化层用于对第一特征提取单元的输入执行按列最大池化操作；所述第二最大池化层用于对第一特征提取单元的输入执行按行平均池化操作；所述第一最大池化层的输出和所述第二最大池化层的输出相乘构成所述最大池化层的输出。
6.一种从时频域信号到二维图像的磁粒子成像重建系统，其特征在于，所述系统包括：信号提取模块、图像重建模块；
所述信号提取模块，配置为采集待重建的MPI图像；采集后，提取所述待重建的MPI图像的一维时域信号，作为输入信号；
所述图像重建模块，配置为通过傅里叶变换将所述输入信号转换为二维时频域信号，并进行预处理；将预处理后的二维时频域信号输入训练好的神经网络模型，得到重建的MPI图像；
其中，所述神经网络模型为带有跳跃连接的编码器-解码器；
所述编码器包括第一处理模块、第二处理模块、第三处理模块、第四处理模块；所述编码器中的各处理模块通过最大池化连接；
所述解码器包括第五处理模块、第六处理模块、第七处理模块、卷积层；所述第四处理模块至所述第七处理模块之间通过上采样连接；
所述第一处理模块与所述第七处理模块、所述第二处理模块与所述第六处理模块、所述第三处理模块和第五处理模块跳跃连接；
所述编码器、所述解码器的各处理模块均基于顺次连接的卷积层、注意力模块、卷积层构成；
所述神经网络模型，其训练方法为：
步骤A10，生成基于磁粒子成像的仿真图像；提取所述仿真图像的一维时域信号并转换为二维时频域信号；将所述仿真图像及其对应的二维时频域信号作为训练样本，构建训练样本集；
步骤A20，对所述训练样本集中的二维时频域信号进行预处理，预处理后输入神经网络模型中，得到重建的MPI图像；
步骤A30，基于神经网络模型输出的MPI图像、标签图像，计算损失值，并更新所述神经网络模型的模型参数；所述标签图像为仿真图像；
步骤A40，循环执行步骤A20-A30，直至得到训练好的神经网络模型；
所述神经网络模型其在训练过程中的损失函数为：
其中，I是神经网络模型输出的MPI图像，是标签图像，H表示神经网络模型输出的MPI图像或标签图像的高度，W表示神经网络模型输出的MPI图像或标签图像的宽度，C表示神经网络模型输出的MPI图像或标签图像的通道数。
7.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与至少一个所述处理器通信连接的存储器；其中，
所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现权利要求1-5任一项所述的从时频域信号到二维图像的磁粒子成像重建方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现权利要求1-5任一项所述的从时频域信号到二维图像的磁粒子成像重建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110890324.7A CN113628296B (zh) | 2021-08-04 | 2021-08-04 | 一种从时频域信号到二维图像的磁粒子成像重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110890324.7A CN113628296B (zh) | 2021-08-04 | 2021-08-04 | 一种从时频域信号到二维图像的磁粒子成像重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113628296A CN113628296A (zh) | 2021-11-09 |
| CN113628296B true CN113628296B (zh) | 2023-12-15 |
Family
ID=78382657
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110890324.7A Active CN113628296B (zh) | 2021-08-04 | 2021-08-04 | 一种从时频域信号到二维图像的磁粒子成像重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113628296B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115063500B (zh) * | 2022-06-10 | 2024-06-07 | 北京航空航天大学 | 基于生成对抗网络的磁性纳米粒子成像重建方法 |
| CN114998471B (zh) * | 2022-06-22 | 2022-12-16 | 中国科学院自动化研究所 | 基于RecNet模型的磁粒子成像重建方法 |
| CN115640506B (zh) * | 2022-11-18 | 2023-03-21 | 中国科学院自动化研究所 | 基于时频谱信号增强的磁粒子分布模型重建方法和系统 |
| CN116503507B (zh) * | 2023-06-26 | 2023-08-29 | 中国科学院自动化研究所 | 基于预训练模型的磁粒子图像重建方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106597327A (zh) * | 2015-10-15 | 2017-04-26 | 布鲁克碧奥斯平Mri有限公司 | 用于确定磁性粒子的空间分配或空间分布的方法 |
| CN109565357A (zh) * | 2016-08-11 | 2019-04-02 | 松下电器（美国）知识产权公司 | 多子帧许可中的码字禁用 |
| CN110420026A (zh) * | 2019-07-15 | 2019-11-08 | 中国科学院自动化研究所 | 基于ffl的磁粒子成像三维立体重建方法、系统、装置 |
| CN111192200A (zh) * | 2020-01-02 | 2020-05-22 | 南京邮电大学 | 基于融合注意力机制残差网络的图像超分辨率重建方法 |
| CN113143261A (zh) * | 2021-04-30 | 2021-07-23 | 中国科学院自动化研究所 | 基于肌电信号的身份识别系统、方法及设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8872697B2 (en) * | 2011-08-19 | 2014-10-28 | Daniel Flores Tapia | Real time reconstruction of 3D cylindrical near field radar images using a single instruction multiple data interpolation approach |
-
2021
- 2021-08-04 CN CN202110890324.7A patent/CN113628296B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106597327A (zh) * | 2015-10-15 | 2017-04-26 | 布鲁克碧奥斯平Mri有限公司 | 用于确定磁性粒子的空间分配或空间分布的方法 |
| CN109565357A (zh) * | 2016-08-11 | 2019-04-02 | 松下电器（美国）知识产权公司 | 多子帧许可中的码字禁用 |
| CN110420026A (zh) * | 2019-07-15 | 2019-11-08 | 中国科学院自动化研究所 | 基于ffl的磁粒子成像三维立体重建方法、系统、装置 |
| CN111192200A (zh) * | 2020-01-02 | 2020-05-22 | 南京邮电大学 | 基于融合注意力机制残差网络的图像超分辨率重建方法 |
| CN113143261A (zh) * | 2021-04-30 | 2021-07-23 | 中国科学院自动化研究所 | 基于肌电信号的身份识别系统、方法及设备 |
Non-Patent Citations (1)
| Title |
|---|
| 基于磁性粒子成像技术的一维建模仿真研究;谢迪等;《计算机仿真》;第30卷(第9期);第410-414页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113628296A (zh) | 2021-11-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113628296B (zh) | 一种从时频域信号到二维图像的磁粒子成像重建方法 | |
| CN107610194B (zh) | 基于多尺度融合cnn的磁共振图像超分辨率重建方法 | |
| CN115640506B (zh) | 基于时频谱信号增强的磁粒子分布模型重建方法和系统 | |
| Bao et al. | Undersampled MR image reconstruction using an enhanced recursive residual network | |
| CN116503507B (zh) | 基于预训练模型的磁粒子图像重建方法 | |
| Eo et al. | Accelerating Cartesian MRI by domain-transform manifold learning in phase-encoding direction | |
| Nguyen-Duc et al. | Frequency-splitting dynamic MRI reconstruction using multi-scale 3D convolutional sparse coding and automatic parameter selection | |
| CN112329609A (zh) | 基于2d心拍的特征融合迁移学习心律失常分类系统 | |
| US12045961B2 (en) | Image denoising method and apparatus based on wavelet high-frequency channel synthesis | |
| CN110942496B (zh) | 基于螺旋桨采样和神经网络的磁共振图像重建方法及系统 | |
| CN110490947B (zh) | 核磁共振图像重建方法、装置、存储介质及终端设备 | |
| Wang et al. | Denoising auto-encoding priors in undecimated wavelet domain for MR image reconstruction | |
| CN114820849A (zh) | 基于深度学习的磁共振cest图像重建方法、装置及设备 | |
| CN114913262B (zh) | 采样模式与重建算法联合优化的核磁共振成像方法及系统 | |
| CN117635479B (zh) | 基于双阶段扩散模型的磁粒子图像去噪方法、系统及设备 | |
| CN117689761B (zh) | 基于扩散模型的即插即用磁粒子成像重建方法、系统 | |
| CN115471580A (zh) | 一种物理智能高清磁共振扩散成像方法 | |
| Zhou et al. | Spatial orthogonal attention generative adversarial network for MRI reconstruction | |
| CN117173273B (zh) | 一种即插即用的生成数据深度学习快速磁共振成像方法 | |
| CN115063502A (zh) | 基于优化迭代网络的ct图像重建方法以及系统 | |
| CN117575746B (zh) | 虚拟试穿方法、装置、电子设备及存储介质 | |
| CN116503506B (zh) | 一种图像重建方法、系统、装置及存储介质 | |
| WO2024021796A1 (zh) | 一种图像处理方法、装置、电子设备、存储介质及程序产品 | |
| Islam et al. | Compressed sensing regularized calibrationless parallel magnetic resonance imaging via deep learning | |
| CN117058262A (zh) | 一种磁性纳米粒子成像重建的方法、系统及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |