CN114494493A - 断层图像重建方法、装置、可读存储介质和电子设备 - Google Patents

断层图像重建方法、装置、可读存储介质和电子设备 Download PDF

Info

Publication number
CN114494493A
CN114494493A CN202210056030.9A CN202210056030A CN114494493A CN 114494493 A CN114494493 A CN 114494493A CN 202210056030 A CN202210056030 A CN 202210056030A CN 114494493 A CN114494493 A CN 114494493A
Authority
CN
China
Prior art keywords
data
image data
reconstructed
tomographic image
fourier transform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210056030.9A
Other languages
English (en)
Inventor
陈慧军
李雨泽
杨润宇
窦佳琦
王雅洁
郭华
徐子茗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202210056030.9A priority Critical patent/CN114494493A/zh
Publication of CN114494493A publication Critical patent/CN114494493A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明涉及断层图像重建技术领域，特别地涉及一种断层图像重建方法、装置、可读存储介质和电子设备，该方法包括：采集断层扫描得到的待重建图像数据；利用预先训练的基于深度学习的非均匀傅里叶变换重建网络，将待重建图像数据在局部通路和全局通路进行数据填补处理，并融合得到重建的断层图像；从而直接优化非均匀傅里叶变换操作，使用深度学习方法根据大量数据自适应地学习卷积核，并获取空间频率域(即采集域)的局部和全局关联，更好地恢复数据，以得到质量好的无伪影重建图像。

Description

断层图像重建方法、装置、可读存储介质和电子设备
技术领域
本发明涉及断层图像重建技术领域，特别地涉及一种断层图像重建方法、装置、可读存储介质和电子设备。
背景技术
断层图像重建技术主要包括磁共振(MRI)、计算机断层成像(CT)以及正电子发射断层成像(PET)技术，医务工作者能够基于断层图像重建技术获得的受检对象的图像从而对受检对象的各种疾病进行诊断。但是，上述断层图像重建技术存在扫描时间过长以及存在电离辐射的技术问题，容易引起受检对象不适或对受检对象造成伤害，所以，本领域亟需一种可加速扫描过程或者降低辐射剂量的断层图像重建方法。
有研究者提出了基于并行成像原理、压缩感知理论(CS)及基于深度学习的重建算法。这些方法都假设采集到的图像原数据在空间-频率域是局部相关的，即存在局部冗余性，这些方法可以利用该局部冗余性进行降采条件下的图像重建和恢复。然而，图像原数据在空间-频率域还存在全局相关性，尚没有方法可以很好利用该全局相关性进行断层图像重建。
基于上述讨论可见，本领域亟需一种基于深度学习直接优化非均匀傅里叶变换的重建方法，直接对不同种类的断层图像数据进行重建，并且利用数据在空间-频率域的全局相关性，生成质量好的无伪影重建图像。
发明内容
本发明提供一种断层图像重建方法、装置、可读存储介质和电子设备，解决了现有技术中难以很好利用全局相关性进行断层图像重建的技术问题。
第一方面，本发明提供了一种断层图像重建方法，包括：
采集断层扫描得到的待重建图像数据；
利用预先训练的基于深度学习的非均匀傅里叶变换重建网络，将待重建图像数据在局部通路和全局通路进行数据填补处理，并融合得到重建的断层图像。
在一些实施例中，基于深度学习的非均匀傅里叶变换重建网络的训练过程，包括：
获取不同断层扫描方式的仿真图像数据；
搭建基于深度学习的非均匀傅里叶变换重建网络；
利用仿真图像数据对搭建好的基于深度学习的非均匀傅里叶变换重建网络进行训练；
基于真实采集的不同断层扫描方式的图像数据对训练的基于深度学习的非均匀傅里叶变换重建网络进行微调，得到最终的基于深度学习的非均匀傅里叶变换重建网络。
在一些实施例中，获取不同断层扫描方式的仿真图像数据，包括：
对多个自然图像进行灰度化处理得到对应的灰度图像；
随机生成降采样的采集轨迹；
对灰度图像和采集轨迹进行不同断层扫描方式的仿真，得到不同断层扫描方式的仿真图像数据，并在仿真图像数据中添加随机高斯分布噪声。
在一些实施例中，基于深度学习的非均匀傅里叶变换重建网络，包括：
数据重排与尺度变换模块，用于将不同断层扫描方式的仿真图像数据转换为相同的目标形式及生成对应的采集位置图以记录数据的采集位置信息，并将目标形式的仿真图像数据进行非线性尺度变换；
自适应插值模块，用于将非线性尺度变换后的数据分别在局部通路和全局通路进行数据填补处理；
融合模块，用于将数据填补处理后的局部通路和全局通路的数据进行融合得到重建的断层图像。
在一些实施例中，数据重排与尺度变换模块在将不同断层扫描方式的仿真图像数据转换为相同的目标形式时，用于：
当仿真图像数据为MRI扫描方式的仿真图像数据时，将仿真图像数据转换为规则尺寸的方形形状；
当仿真图像数据为CT扫描方式的仿真图像数据或者PET扫描方式的仿真图像数据时，对仿真图像数据的正弦图进行一维逆傅里叶变换，以得到与辐射状MRI采集得到的k空间数据相同的形式，然后将仿真图像数据转换为规则尺寸的方形形状。
在一些实施例中，数据重排与尺度变换模块在将目标形式的仿真图像数据进行非线性尺度变换时，用于：
采用下式将目标形式的仿真图像数据进行非线性尺度变换：
Figure BDA0003476516630000031
xt＝xt/max(xt)
Figure BDA0003476516630000032
其中，xin为目标形式的仿真图像数据，⊙为对应元素相乘操作，Ω为获取大于零元素位置的模板操作，max为取得最大值操作，p为超参数，xt为输出的非线性尺度变换后的数据。
在一些实施例中，自适应插值模块在将非线性尺度变换后的数据分别在局部通路和全局通路进行数据填补处理时，用于：
对非线性尺度变换后的数据进行展开操作，以得到非线性尺度变换后的数据中的各个数据点及各个数据点的邻域；
将展开的各个数据点与自适应密度补偿函数进行逐点相乘操作，以及进行卷积操作，得到第四数据；其中，自适应密度补偿函数是使用权重生成网络对采集位置图进行处理而得到的；
将第四数据进行分组卷积以得到第五数据，其中，分组数为数据点的总数；
将第五数据和第四数据分别在局部通路和全局通路进行数据填补处理。
在一些实施例中，将第五数据和第四数据分别在局部通路和全局通路进行数据填补处理，包括：
在局部通路中，将第五数据反展开并合并数据，利用第一空间变换操作将合并后的数据安置到靠近中心的采集区域；
在全局通路中，将第四数据通过编码器映射到低维空间并进行全局变换处理，通过解码器将全局变换处理后的数据映射回原始空间，再利用第二空间变换操作将数据安置到靠近外围的采集区域。
在一些实施例中，融合模块在将数据填补处理后的局部通路和全局通路的数据进行融合得到重建的断层图像时，用于：
将数据填补处理后的局部通路和全局通路的数据进行融合，再经过逆尺度变换和逆傅里叶变换得到重建的断层图像。
第二方面，本发明提供了一种断层图像重建装置，包括：
采集模块，用于采集断层扫描得到的待重建图像数据；
重建模块，用于利用预先训练的基于深度学习的非均匀傅里叶变换重建网络，将待重建的图像数据在局部通路和全局通路进行填补处理，并融合得到重建的断层图像。
第三方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现第一方面的任一实施例的方法。
第四方面，本发明提供了一种电子设备，包括处理器和存储器，存储器上存储有计算机程序，处理器执行计算机程序时实现第一方面的任一实施例的方法。
本发明提供的一种断层图像重建方法、装置、可读存储介质和电子设备，通过采集断层扫描得到的待重建图像数据；利用预先训练的基于深度学习的非均匀傅里叶变换重建网络，将待重建图像数据在局部通路和全局通路进行数据填补处理，并融合得到重建的断层图像；从而直接优化非均匀傅里叶变换操作，使用深度学习方法根据大量数据自适应地学习卷积核，并获取空间频率域(即采集域)的局部和全局关联，更好地恢复数据，以得到质量好的无伪影重建图像。
附图说明
在下文中将基于实施例并参考附图来对本发明进行更详细的描述：
图1为本发明实施例提供的一种断层图像重建方法的流程示意图；
图2为本发明实施例提供的一种断层图像重建装置的结构框图；
图3为本发明实施例提供的一种断层图像重建网络的示意图；
图4为本发明实施例提供的一种数据重排的示意图。
在附图中，相同的部件使用相同的附图标记，附图并未按照实际的比例绘制。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，并对本发明如何应用技术手段来解决技术问题，并达到相应技术效果的实现过程能充分理解并据以实施，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。本发明实施例以及实施例中的各个特征，在不相冲突前提下可以相互结合，所形成的技术方案均在本发明的保护范围之内。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
断层图像重建技术主要包括磁共振(MRI)、计算机断层成像(CT)以及正电子发射断层成像(PET)技术，医务工作者能够基于断层图像重建技术获得的受检对象的图像从而对受检对象的各种疾病进行诊断。但是，上述断层图像重建技术存在扫描时间过长以及存在电离辐射的技术问题，容易引起受检对象不适或对受检对象造成伤害，所以，本领域亟需一种可加速扫描过程或者降低辐射剂量的断层图像重建方法。
近年来，一些技术方案研究了MRI的降采重建、CT的少角度重建和PET的低剂量重建等方法，上述方法都可以减少引起受检对象不适。作为一种通用的断层图像重建方法，非均匀傅里叶变换(NUFFT)可以直接对MRI、CT及PET进行重建，但是这种方法存在以下不足：
首先，非均匀傅里叶变换对满采数据或者无较大噪声数据有比较好的重建效果，如果存在数据不足的情况，存在插值损失，则重建出的图像将有较大降采伪影；
其次，在非均匀傅里叶变换中，采用了一种固定参数的小范围卷积核，只能捕捉到空间-频率域(k-space)的局部信息，无法对全局信息进行很好的采集和恢复，从而影响算法的重建质量；
另外，非均匀傅里叶变换中还需要计算密度补偿函数进行采集点疏密的调节，密度补偿函数设计的好坏直接影响了重建的质量。
为了解决上述不足，有研究者提出了基于并行成像原理、压缩感知理论(CS)及基于深度学习的重建算法。这些方法都假设采集到的图像原数据在空间-频率域是局部相关的，即存在局部冗余性，这些方法可以利用该局部冗余性进行降采条件下的图像重建和恢复。然而，图像原数据在空间-频率域还存在全局相关性，尚没有方法可以很好利用该全局相关性进行重建。
基于上述讨论可见，本领域亟需一种基于深度学习直接优化非均匀傅里叶变换的重建方法，直接对不同种类的断层图像数据进行断层图像重建，并且利用数据在空间-频率域的全局相关性，生成质量好的无伪影重建图像。
实施例一
图1为本发明实施例提供的一种断层图像重建方法的流程示意图。如图1所示，一种断层图像重建方法，包括：
步骤S100，采集断层扫描得到的待重建图像数据；
步骤S200，利用预先训练的基于深度学习的非均匀傅里叶变换重建网络，将待重建图像数据在局部通路和全局通路进行数据填补处理，并融合得到重建的断层图像。
本实施例提供的一种断层图像重建方法，通过采集断层扫描得到的待重建图像数据；利用预先训练的基于深度学习的非均匀傅里叶变换重建网络，将待重建图像数据在局部通路和全局通路进行数据填补处理，并融合得到重建的断层图像；从而直接优化非均匀傅里叶变换操作，使用深度学习方法根据大量数据自适应地学习卷积核，并获取空间频率域(即采集域)的局部和全局关联，更好地恢复数据，以得到质量好的无伪影重建图像。
实施例二
在上述实施例的基础上，S200中基于深度学习的非均匀傅里叶变换重建网络的训练过程，包括：
步骤S211，获取不同断层扫描方式的仿真图像数据；
步骤S212，搭建基于深度学习的非均匀傅里叶变换重建网络；
步骤S213，利用仿真图像数据对搭建好的基于深度学习的非均匀傅里叶变换重建网络进行训练；
步骤S214，基于真实采集的不同断层扫描方式的图像数据对训练的基于深度学习的非均匀傅里叶变换重建网络进行微调，得到最终的基于深度学习的非均匀傅里叶变换重建网络。
在一些实施方式中，步骤S211中获取不同断层扫描方式的仿真图像数据，包括：
步骤S221，对多个自然图像进行灰度化处理得到对应的灰度图像；
步骤S222，随机生成降采样的采集轨迹；
步骤S223，对灰度图像和采集轨迹进行不同断层扫描方式的仿真，得到不同断层扫描方式的仿真图像数据，并在仿真图像数据中添加随机高斯分布噪声。
上述断层扫描形式包括CT、PET及MRI。在CT或PET形式下，对应的采集轨迹可以为正弦图，在MRI形式下，对应的采集轨迹包括辐射状、螺旋状以及螺旋桨状。基于大量灰度图像和采集轨迹进行仿真，实现不同断层扫描方式的仿真，可增加网络的泛化能力，对不同采集轨迹的数据都有较好的重建效果，通过添加10-50dB的随机高斯分布噪声，以增加数据的多样性，使得仿真图像数据更加贴近于真实图像数据；其中，仿真图像数据包括：MRI中的k空间数据、CT中的正弦图数据及PET中的正弦图数据。
在一个示例中，数据重排如图4所示，标号101即为三种的MRI采集轨迹(辐射状、螺旋状以及螺旋桨状)示意，标号102为不同的采集轨迹，不同的采集轨迹可以视作空间中连续采集的相邻线条，可将它们紧邻排布，生成规则的矩形二维数据；标号103为重排后的实际采集得到的数据；标号104为实际采集得到的数据所对应的位置图。
在一些情形中，以MRI数据作为第一数据101，将其变换为规则尺寸的方形形状从而得到第二数据102，同样地，采集位置图也可变换为相同形状；而对于CT数据或PET数据来说，对数据的正弦图进行一维逆傅里叶变换，得到与辐射状MRI采集得到的k空间数据相同的形式，然后按照MRI数据的方式进行变换。这一数据重排操作可以让不同模态的数据(MRI,CT,PET)规范到统一格式，无需对网络结构进行调整，就可实现单一网络结构的图像重建。
在本实施例中，利用自然图像生成仿真图像数据，并采用随机生成的降采样的采集轨迹和噪声增加基于深度学习的非均匀傅里叶变换重建网络的鲁棒性；搭建神经网络结构，采用数据重排和自适应插值进行数据的重建；将搭建好的网络在自然图像上进行训练，并使用真实采集的数据进行微调，并应用到实际采集的数据进行图像重建。
实施例三
在上述实施例的基础上，基于深度学习的非均匀傅里叶变换重建网络，包括：
数据重排与尺度变换模块，用于将不同断层扫描方式的仿真图像数据转换为相同的目标形式及生成对应的采集位置图以记录数据的采集位置信息，并将目标形式的仿真图像数据进行非线性尺度变换；
自适应插值模块，用于将非线性尺度变换后的数据分别在局部通路和全局通路进行数据填补处理；
融合模块，用于将数据填补处理后的局部通路和全局通路的数据进行融合得到重建的断层图像。
在一个示例中，搭建如图3所示的基于深度学习的非均匀傅里叶变换重建网络(DLNUFFT)；首先，将不同扫描方式的图像数据作为第一数据201输入数据重排与尺度变换模块202转换成相同尺寸的图像数据，并生成对应的采集位置图以记录数据的采集位置信息；然后，进行非线性尺度变换增加其全局关联性；将数据输入到自适应插值模块203中，使用局部和全局两条通路进行数据的填补及优化，最后使用融合模块得到恢复好的数据，并使用傅里叶变换得到重建图像204。
在一些实施方式中，数据重排与尺度变换模块在将不同断层扫描方式的仿真图像数据转换为相同的目标形式时，用于：
当仿真图像数据为MRI扫描方式的仿真图像数据时，将仿真图像数据转换为规则尺寸的方形形状；
当仿真图像数据为CT扫描方式的仿真图像数据或者PET扫描方式的仿真图像数据时，对仿真图像数据的正弦图进行一维逆傅里叶变换，以得到与辐射状MRI采集得到的k空间数据相同的形式，然后将仿真图像数据转换为规则尺寸的方形形状。由此，可以让不同模态的数据(MRI,CT,PET)规范到统一格式，无需对网络结构进行调整，就可实现单一网络结构的图像重建。
在一些实施方式中，数据重排与尺度变换模块在将目标形式的仿真图像数据进行非线性尺度变换时，用于：
采用下式将目标形式的仿真图像数据进行非线性尺度变换：
Figure BDA0003476516630000101
xt＝xt/max(xt)
Figure BDA0003476516630000102
其中，xin为目标形式的仿真图像数据，⊙为对应元素相乘操作，Ω为获取大于零元素位置的模板操作，max为取得最大值操作，p为超参数，xt为输出的非线性尺度变换后的数据。
仍以图4为例，对第二数据102进行非线性尺度变换操作，得到第三数据103，以增强数据全局和局部之间的关联。其中，非线性尺度变换操作可以采用但不限于上述表达式的开根号操作实现。上式中的输入的数据xin此处为第二数据102，超参数p的值可以是5，上式中输出的数据xt此处为第三数据。
在一些实施方式中，自适应插值模块在将非线性尺度变换后的数据分别在局部通路和全局通路进行数据填补处理时，用于：
对非线性尺度变换后的数据(第三数据)进行展开操作，以得到非线性尺度变换后的数据中的各个数据点及各个数据点的邻域；
将展开的各个数据点与自适应密度补偿函数进行逐点相乘操作，以及进行卷积操作(例如1x1卷积操作)，得到第四数据；其中，自适应密度补偿函数是使用权重生成网络(Weigh Net)对采集位置图进行处理而得到的；
将第四数据进行分组卷积以得到第五数据，其中，分组数为数据点的总数；
将第五数据和第四数据分别在局部通路和全局通路进行数据填补处理。
由此，可以提供相较非均匀傅里叶变换(NUFFT)更优的插值卷积和密度补偿函数，从而产生更优的重建图像。
应当理解的是，在实际应用时，利用预先训练的基于深度学习的非均匀傅里叶变换重建网络，将待重建图像数据在局部通路和全局通路进行数据填补处理，并融合得到重建的断层图像，可以是利用训练好的基于深度学习的非均匀傅里叶变换重建网络，将用于将待重建图像数据转换为目标形式及生成对应的采集位置图以记录数据的采集位置信息，并将目标形式的仿真图像数据进行非线性尺度变换；将非线性尺度变换后的数据分别在局部通路和全局通路进行数据填补处理；将数据填补处理后的局部通路和全局通路的数据进行融合得到重建的断层图像。其中，将待重建图像数据转换为目标形式时可根据待重建图像数据的断层扫描方式，采用不同的处理方式，针对MRI扫描方式图像数据，将待重建图像数据转换为规则尺寸的方形形状，针对CT扫描方式的图像数据或者PET扫描方式的图像数据，对仿真图像数据的正弦图进行一维逆傅里叶变换，以得到与辐射状MRI采集得到的k空间数据相同的形式，然后将仿真图像数据转换为规则尺寸的方形形状。
实施例四
在上述实施例的基础上，将第五数据和第四数据分别在局部通路和全局通路进行数据填补处理，包括：
在局部通路中，将第五数据反展开并合并数据，利用第一空间变换操作将合并后的数据安置到靠近中心的采集区域；
在全局通路中，将第四数据通过编码器(Encoder)映射到低维空间并进行全局变换处理，通过解码器(Decode)将全局变换处理后的数据映射回原始空间，再利用第二空间变换操作将数据安置到靠近外围的采集区域。
在一些实施方式中，融合模块在将数据填补处理后的局部通路和全局通路的数据进行融合得到重建的断层图像时，用于：
将数据填补处理后的局部通路和全局通路的数据进行融合，再经过逆尺度变换和逆傅里叶变换得到重建的断层图像。
由此，不仅能够利用数据在空间-频率域的局部相关性，还可以利用其全局相关性，使得重建图像有更好的对比度信息以及精细的结构，达到更优的重建效果。
本实施例中，在融合层将两部分数据进行融合，再经过逆尺度变换和逆傅里叶变换，得到重建图像，不仅能够利用数据在空间-频率域的局部相关性，还可以利用其全局相关性，使得重建图像有更好的对比度信息以及精细的结构，达到更优的重建效果。
以下，对基于深度学习的非均匀傅里叶变换重建网络涉及的不同卷积模块进行说明。
自适应插值模块中，权重生成网络Weigh Net由两组卷积-组归一化-泄露ReLU激活函数组成，最后一层为重复层，重复层将复制数据N次，N为输入数据的通道数，卷积核大小为3*3,通道数为8；编码器Encoder由两组卷积-组归一化-泄露ReLU激活函数组成，卷积核大小为3*3,通道数为32；解码器Decoder由两组反卷积-组归一化-泄露ReLU激活函数组成，卷积核大小为3*3,通道数为32。全局变换操作所采用的全局变换操作模块GlobalTransform，包括三组泄露ReLU激活函数-矩阵乘法操作，矩阵大小为前一层输入的数据大小；第一空间变换操作为矩阵相乘操作，矩阵为方阵，边长大小为数据的长宽相乘，矩阵中的元素由位置图得到，可以将数据进行线性变换到靠近中心的采集区域；第二空间变换操作为矩阵相乘操作，矩阵为方阵，边长大小为数据的长宽相乘，矩阵中的元素由位置图得到，可以将数据进行线性变换到靠近外围的采集区域。
融合模块中，包括四组Encoder及三组Decoder，其中，Encoder的卷积核都为3*3，通道数依次为32，64，128，128，Decoder的卷积核都为3*3，通道数依次为128，64，32。
综上，由于采用了上述技术方案，本发明的有益效果为：
本发明结合了深度神经网络的先验信息，重构并优化了非均匀傅里叶变换重建方法，可以高效地重建出多种高质量无伪影的断层扫描图像；
使用全局和局部通路，不仅能够利用数据在空间-频率域的局部相关性，还可以利用其全局相关性，使得重建图像有更好的对比度信息以及精细的结构，达到更优的重建效果；
采用自然图像仿真数据训结合真实数据微调的方法，提高了本发明的方法的鲁棒性和易用性；
可使用同一网络对不同数据及采集轨迹进行重建，增加了其泛用性，有临床大规模推广的潜力。
实施例五
图2为本发明实施例提供的一种断层图像重建装置的结构框图。在上述实施例的基础上，本实施例提供一种断层图像重建装置，包括：
采集模块，用于采集断层扫描得到的待重建图像数据；
重建模块，用于利用预先训练的基于深度学习的非均匀傅里叶变换重建网络，将待重建的图像数据在局部通路和全局通路进行填补处理，并融合得到重建的断层图像。
本实施例提供的一种断层图像重建装置，通过采集断层扫描得到的待重建图像数据；利用预先训练的基于深度学习的非均匀傅里叶变换重建网络，将待重建图像数据在局部通路和全局通路进行数据填补处理，并融合得到重建的断层图像；从而直接优化非均匀傅里叶变换操作，使用深度学习方法根据大量数据自适应地学习卷积核，并获取空间频率域(即采集域)的局部和全局关联，更好地恢复数据，以得到质量好的无伪影重建图像。
实施例六
在上述实施例的基础上，本实施例提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例的方法。
上述存储介质可以是闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等。
关于方法的内容请参见前述实施例，本实施例中不再赘述。
实施例七
在上述实施例的基础上，本实施例提供一种电子设备，计算机设备，包括存储器和处理器，存储器上存储有计算机程序，处理器执行计算机程序时实现上述实施例的方法。
处理器可以是专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(Digital Signal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable LogicDevice，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述实施例中的方法。关于方法的内容请参见前述实施例，本实施例中不再赘述。
存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。
在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，上述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
需要说明的是，在本发明中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
虽然本发明所揭露的实施方式如上，但上述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (12)

1.一种断层图像重建方法，其特征在于，包括：
采集断层扫描得到的待重建图像数据；
利用预先训练的基于深度学习的非均匀傅里叶变换重建网络，将所述待重建图像数据在局部通路和全局通路进行数据填补处理，并融合得到重建的断层图像。
2.根据权利要求1所述的断层图像重建方法，其特征在于，所述基于深度学习的非均匀傅里叶变换重建网络的训练过程，包括：
获取不同断层扫描方式的仿真图像数据；
搭建基于深度学习的非均匀傅里叶变换重建网络；
利用仿真图像数据对搭建好的基于深度学习的非均匀傅里叶变换重建网络进行训练；
基于真实采集的不同断层扫描方式的图像数据对训练的基于深度学习的非均匀傅里叶变换重建网络进行微调，得到最终的基于深度学习的非均匀傅里叶变换重建网络。
3.根据权利要求2所述的断层图像重建方法，其特征在于，所述获取不同断层扫描方式的仿真图像数据，包括：
对多个自然图像进行灰度化处理得到对应的灰度图像；
随机生成降采样的采集轨迹；
对所述灰度图像和所述采集轨迹进行不同断层扫描方式的仿真，得到不同断层扫描方式的仿真图像数据，并在仿真图像数据中添加随机高斯分布噪声。
4.根据权利要求2所述的断层图像重建方法，其特征在于，所述基于深度学习的非均匀傅里叶变换重建网络，包括：
数据重排与尺度变换模块，用于将不同断层扫描方式的仿真图像数据转换为相同的目标形式及生成对应的采集位置图以记录数据的采集位置信息，并将目标形式的仿真图像数据进行非线性尺度变换；
自适应插值模块，用于将非线性尺度变换后的数据分别在局部通路和全局通路进行数据填补处理；
融合模块，用于将数据填补处理后的局部通路和全局通路的数据进行融合得到重建的断层图像。
5.根据权利要求4所述的断层图像重建方法，其特征在于，所述数据重排与尺度变换模块在将不同断层扫描方式的仿真图像数据转换为相同的目标形式时，用于：
当仿真图像数据为MRI扫描方式的仿真图像数据时，将仿真图像数据转换为规则尺寸的方形形状；
当仿真图像数据为CT扫描方式的仿真图像数据或者PET扫描方式的仿真图像数据时，对仿真图像数据的正弦图进行一维逆傅里叶变换，以得到与辐射状MRI采集得到的k空间数据相同的形式，然后将仿真图像数据转换为规则尺寸的方形形状。
6.根据权利要求4所述的断层图像重建方法，其特征在于，所述数据重排与尺度变换模块在将目标形式的仿真图像数据进行非线性尺度变换时，用于：
采用下式将目标形式的仿真图像数据进行非线性尺度变换：
Figure FDA0003476516620000021
xt＝xt/max(xt)
Figure FDA0003476516620000022
其中，xin为目标形式的仿真图像数据，⊙为对应元素相乘操作，Ω为获取大于零元素位置的模板操作，max为取得最大值操作，p为超参数，xt为输出的非线性尺度变换后的数据。
7.根据权利要求4所述的断层图像重建方法，其特征在于，所述自适应插值模块在将非线性尺度变换后的数据分别在局部通路和全局通路进行数据填补处理时，用于：
对非线性尺度变换后的数据进行展开操作，以得到非线性尺度变换后的数据中的各个数据点及各个数据点的邻域；
将展开的各个数据点与自适应密度补偿函数进行逐点相乘操作，以及进行卷积操作，得到第四数据；其中，所述自适应密度补偿函数是使用权重生成网络对采集位置图进行处理而得到的；
将第四数据进行分组卷积以得到第五数据，其中，分组数为数据点的总数；
将第五数据和第四数据分别在局部通路和全局通路进行数据填补处理。
8.根据权利要求7所述的断层图像重建方法，其特征在于，将第五数据和第四数据分别在局部通路和全局通路进行数据填补处理，包括：
在局部通路中，将第五数据反展开并合并数据，利用第一空间变换操作将合并后的数据安置到靠近中心的采集区域；
在全局通路中，将第四数据通过编码器映射到低维空间并进行全局变换处理，通过解码器将全局变换处理后的数据映射回原始空间，再利用第二空间变换操作将数据安置到靠近外围的采集区域。
9.根据权利要求4所述的断层图像重建方法，其特征在于，所述融合模块在将数据填补处理后的局部通路和全局通路的数据进行融合得到重建的断层图像时，用于：
将数据填补处理后的局部通路和全局通路的数据进行融合，再经过逆尺度变换和逆傅里叶变换得到重建的断层图像。
10.一种断层图像重建装置，其特征在于，包括：
采集模块，用于采集断层扫描得到的待重建图像数据；
重建模块，用于利用预先训练的基于深度学习的非均匀傅里叶变换重建网络，将所述待重建的图像数据在局部通路和全局通路进行填补处理，并融合得到重建的断层图像。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法。
12.一种电子设备，包括处理器和存储器，其特征在于，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述的方法。
CN202210056030.9A 2022-01-18 2022-01-18 断层图像重建方法、装置、可读存储介质和电子设备 Pending CN114494493A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210056030.9A CN114494493A (zh) 2022-01-18 2022-01-18 断层图像重建方法、装置、可读存储介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210056030.9A CN114494493A (zh) 2022-01-18 2022-01-18 断层图像重建方法、装置、可读存储介质和电子设备

Publications (1)

Publication Number Publication Date
CN114494493A true CN114494493A (zh) 2022-05-13

Family

ID=81472767

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210056030.9A Pending CN114494493A (zh) 2022-01-18 2022-01-18 断层图像重建方法、装置、可读存储介质和电子设备

Country Status (1)

Country Link
CN (1) CN114494493A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503506A (zh) * 2023-06-25 2023-07-28 南方医科大学 一种图像重建方法、系统、装置及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110462689A (zh) * 2017-04-05 2019-11-15 通用电气公司 基于深度学习的断层摄影重建
CN111047660A (zh) * 2019-11-20 2020-04-21 深圳先进技术研究院 图像重建方法、装置、设备及存储介质
CN111192200A (zh) * 2020-01-02 2020-05-22 南京邮电大学 基于融合注意力机制残差网络的图像超分辨率重建方法
US20200196973A1 (en) * 2018-12-21 2020-06-25 Canon Medical Systems Corporation Apparatus and method for dual-energy computed tomography (ct) image reconstruction using sparse kvp-switching and deep learning
CN111696168A (zh) * 2020-06-13 2020-09-22 中北大学 基于残差自注意力图像增强的高倍速采mri重建方法
CN113077407A (zh) * 2021-03-17 2021-07-06 苏州工业园区智在天下科技有限公司 图像采集和重建的方法、装置、电子设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110462689A (zh) * 2017-04-05 2019-11-15 通用电气公司 基于深度学习的断层摄影重建
US20200196973A1 (en) * 2018-12-21 2020-06-25 Canon Medical Systems Corporation Apparatus and method for dual-energy computed tomography (ct) image reconstruction using sparse kvp-switching and deep learning
CN111047660A (zh) * 2019-11-20 2020-04-21 深圳先进技术研究院 图像重建方法、装置、设备及存储介质
CN111192200A (zh) * 2020-01-02 2020-05-22 南京邮电大学 基于融合注意力机制残差网络的图像超分辨率重建方法
CN111696168A (zh) * 2020-06-13 2020-09-22 中北大学 基于残差自注意力图像增强的高倍速采mri重建方法
CN113077407A (zh) * 2021-03-17 2021-07-06 苏州工业园区智在天下科技有限公司 图像采集和重建的方法、装置、电子设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503506A (zh) * 2023-06-25 2023-07-28 南方医科大学 一种图像重建方法、系统、装置及存储介质
CN116503506B (zh) * 2023-06-25 2024-02-06 南方医科大学 一种图像重建方法、系统、装置及存储介质

Similar Documents

Publication Publication Date Title
Lee et al. High quality imaging from sparsely sampled computed tomography data with deep learning and wavelet transform in various domains
Cui et al. PET image denoising using unsupervised deep learning
US10922816B2 (en) Medical image segmentation from raw data using a deep attention neural network
Chartsias et al. Multimodal MR synthesis via modality-invariant latent representation
US10810767B2 (en) Machine-learned network for Fourier transform in reconstruction for medical imaging
Mehta et al. Rodeo: robust de-aliasing autoencoder for real-time medical image reconstruction
Lyu et al. Super-resolution MRI through deep learning
Zhou et al. Limited view tomographic reconstruction using a cascaded residual dense spatial-channel attention network with projection data fidelity layer
EP3695382A1 (en) Image generation using machine learning
WO2018187020A1 (en) Tomographic reconstruction based on deep learning
Sood et al. An application of generative adversarial networks for super resolution medical imaging
Hammernik et al. Machine learning for image reconstruction
Hyun et al. Deep learning-based solvability of underdetermined inverse problems in medical imaging
US20220130084A1 (en) Systems and methods for medical image processing using deep neural network
US11869120B2 (en) System and method for image reconstruction
CN111325695B (zh) 基于多剂量等级的低剂量图像增强方法、系统及存储介质
CN111369433B (zh) 基于可分离卷积和注意力的三维图像超分辨率重建方法
Shao et al. SPECTnet: a deep learning neural network for SPECT image reconstruction
Su et al. A deep learning method for eliminating head motion artifacts in computed tomography
CN114494493A (zh) 断层图像重建方法、装置、可读存储介质和电子设备
Chan et al. An attention-based deep convolutional neural network for ultra-sparse-view CT reconstruction
WO2024021796A1 (zh) 一种图像处理方法、装置、电子设备、存储介质及程序产品
Arcadu et al. A forward regridding method with minimal oversampling for accurate and efficient iterative tomographic algorithms
CN116664710A (zh) 基于Transformer的CT图像金属伪影无监督校正方法
Xie et al. 3D few-view CT image reconstruction with deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination