CN117203671A - 基于机器学习的迭代图像重建改进 - Google Patents

基于机器学习的迭代图像重建改进 Download PDF

Info

Publication number
CN117203671A
CN117203671A CN202280030284.1A CN202280030284A CN117203671A CN 117203671 A CN117203671 A CN 117203671A CN 202280030284 A CN202280030284 A CN 202280030284A CN 117203671 A CN117203671 A CN 117203671A
Authority
CN
China
Prior art keywords
data
projection
image
domain
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280030284.1A
Other languages
English (en)
Inventor
A·F·萨洛蒙
C·维尔克
A·G·格迪克
M·格拉斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN117203671A publication Critical patent/CN117203671A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/006—Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/424—Iterative
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/441—AI-based methods, deep learning or artificial neural networks

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Nuclear Medicine (AREA)
  • Image Processing (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

一种用于促进迭代重建操作的系统(CDD)和相关方法。在迭代重建中，在多个步骤中根据投影域中的测量的投影数据重建图像域中的影像。所述系统和方法使用经训练的机器学习模块(MLM)。所述系统接收在迭代重建操作中生成的输入校正数据。所述系统基于所述输入校正数据预测输出校正数据。提供所述输出校正数据以促进将如在给定的步骤中重建的当前图像校正为新的图像。

Description

基于机器学习的迭代图像重建改进
技术领域
本发明涉及一种包括用于促进迭代图像重建操作的经训练的机器学习模块的系统、用于迭代图像重建的系统、一种用于训练机器学习模型的训练系统、一种用于生成训练数据的系统、相关方法、一种计算机程序单元以及一种计算机可读介质。
背景技术
成像是医学从业者的武库中的重要工具。
一种这样的工具是X射线成像，其允许以无创方式采集患者内部的影像。患者暴露于来自外部的X辐射。X辐射穿过患者组织，并且然后在成像装置的探测器处被探测到。以这种方式，可以获得投影数据。投影数据可以诸如在射线摄影协议中用作投影影像。然而，有时，横截面影像更适合于手头的医学任务。为此目的，可以通过重建算法计算地处理投影影像以获得所述横截面影像。横截面影像可以通过揭示否则在投影影像中不可用的细节来帮助诊断和/或治疗，因为沿着投影方向的介入解剖结构导致结构在投影影像中叠加，从而潜在地模糊关键细节。
横截面成像(也称为断层摄影成像)可用于许多模态，诸如用于CT(计算机断层摄影)或乳房摄影(两者都基于X射线)、核成像(SPECT[单光子发射计算机断层摄影]/PET[正电子发射断层摄影])、MRI(磁共振成像)、OCT(光学相干断层摄影)和US(超声)断层摄影。
存在不同类型的重建算法，包括迭代重建算法。迭代重建算法包括代数或统计类型的算法。统计类型的算法包括基于最大似然的算法(MLEM，“最大似然期望最大化”)。迭代重建算法进行迭代以计算可以收敛到最终结果(期望的横截面图像)的中间图像序列。然而，迭代重建算法并非没有缺陷，因为它们往往将统计噪声引入到重建图像中。更具体地，当可能需要许多迭代来达到一定水平的收敛时，统计噪声在每次迭代中传播到估计的图像中。这可能消耗不适当的时间和/或计算资源。
正则化技术已经用于迭代重建中以抑制噪声损坏(普及性/严重性)。用于噪声降低的这种正则化技术包括简单停止条件的公式化、或更高级的正则化方法，如相对差异先验。停止条件可以要求一旦感兴趣特征已经充分收敛就停止迭代，而同时图像噪声在掩蔽那些图像特征方面没有变得太显著。基于相对差异先验的正则化旨在根据空间结构对中间图像进行局部平滑。然而，已经发现这两种技术常常导致人工噪声纹理或降低的定量准确度，特别是对于小结构。
发明内容
因此，可能需要改进的断层摄影成像。
本发明的目的通过独立权利要求的主题来解决，其中，另外的实施例被并入在从属权利要求中。应当注意，本发明的以下描述的方面同样涉及用于迭代图像重建的系统、用于训练机器学习模型的训练系统、用于生成训练数据的系统、相关方法、计算机程序单元以及计算机可读介质。
根据本发明的第一方面，提供了一种包括用于促进迭代重建操作的经训练的机器学习模块的系统，其中，在一个或多个步骤中，图像域中的影像能够根据投影域中的测量的投影数据来重建，所述模块被配置为：
接收在所述迭代重建操作中生成的输入校正数据，
基于所述输入校正数据来预测输出校正数据，并且
提供所述输出校正数据以促进将在给定的步骤中重建的当前图像校正为新的图像。
所述当前图像是初始图像或通过不同迭代循环中的迭代重建生成的中间图像。
所提出的系统优选地使用迭代断层摄影重建算法。这样的迭代重建算法可以与直接反演型重建算法区分开，其中，重建图像的个体图像元素(体素或像素)的值的计算不涉及迭代。直接反演重建算法的示例是滤波反投影(FBP)算法。
所提出的系统可以使用机器学习(“ML”)来提高收敛的速度和/或降低迭代图像重建中的噪声。ML用于对校正数据而不是在迭代重建算法的执行期间生成的中间图像进行变换或滤波。
已经发现，在迭代重建中，中间重建图像的噪声方差高度地取决于采集的数据中的收敛水平和统计噪声。相比之下，校正数据(例如校正因子)确实示出了恒定的统计噪声水平，其与收敛水平和迭代无关，而是仅取决于所采集的原始投影数据。在本文中通过使用ML对校正数据而不是中间图像进行噪声降低来利用该发现。已经发现ML很好地捕获如从训练数据学习的较早校正数据中的不同噪声水平之间的关系。训练数据可以全部源自历史图像患者记录，或可以至少部分地由训练数据生成器TDG生成。
即使在使用ML时，尝试对中间影像进行噪声降低(也称为“去噪”)表现为不太有希望，因为ML模型将需要学习以降低宽频谱的噪声水平，或对于每次迭代或对于每个图像区域，可能必须选择和训练与输入噪声匹配的特定模型。两者都是麻烦且难以实施的。相比之下，所提出的校正数据的基于ML的噪声降低简化了模型的训练和模型架构两者，并且在添加时导致更好的鲁棒性。将基于ML的去噪应用于校正因子而不是如本文所做的那样应用于中间图像更简单，因为校正数据仅仅遭受与迭代无关的噪声。
先前提到的噪声正则化技术(诸如MAP(最大后验)重建或RDP(相对差异先验))导致人工或缺失的噪声纹理，这继而导致临床接受度降低，并且可能不允许临床用户评估小结构(例如，PET或SPECT成像中的假阳性病变的风险评估)。相比之下，所提出的解决方案确保了重建图像的自然外观，因为噪声纹理仅取决于每个区域中的(变化的)收敛水平。
在实施例中，所提出的解决方案使用比先前正则化方法(诸如RDP)中使用的滤波/平滑窗口更大的感受野。例如，在RDP中，对于典型的相对差异先验，每个体素的局部平滑仅取决于最近邻，即3×3×3体素邻域。因此，对于更小的体素和每个体素中更高的统计噪声，RDP在将噪声与真实的D图像特征结构分离方面变得无效。通过使用大于具有如本文所使用的某些ML模型的所述紧接体素邻域的感受野，即使小的图像结构也被防止被噪声淹没。
在实施例中，所述输入校正数据在图像域中，基于反向投影误差投影数据，所述误差投影数据表示测量的投影数据与估计的投影数据之间的偏差，并且所述估计的投影数据是通过将所述当前图像前向投影到投影域中而获得的。
在备选实施例中，所述输入校正数据在投影域中，基于测量的投影数据与估计的投影数据之间的偏差，所述估计的投影数据是通过将在给定的迭代步骤处重建的所述当前图像前向投影到投影域中而获得的。
在实施例中，所述模块充当数据/图像质量改进器，使得新的校正数据具有比所述输入校正数据更高的质量。具体地，在实施例中，模块充当噪声降低器，使得新的校正数据具有比输入校正数据更低的噪声水平。
在实施例中，质量是噪声之一，并且所述系统包括被配置用于相应的不同噪声降低水平的多个这样的机器学习模块。
在实施例中，所述系统包括选择器，所述选择器用于接收选择器信号以基于期望的噪声降低水平来选择所述多个模块中的一个。
选择器和多个模型还可以用于改进校正数据的其他图像/数据质量，诸如改进分辨率或减少伪影损坏。
在实施例中，所述多个机器学习模块或所述多个机器学习模块中的至少一个包括或被实施为人工神经网络模型。
在实施例中，所述人工神经网络模型是卷积神经网络。
在实施例中，所述网络包括至少一个隐藏层。
在实施例中，所述卷积神经网络具有比图像域中的体素或投影域中的像素的邻域更大的有效感受野。感受野可以是由用户通过用户接口可选择的/可调节的。邻域优选地是体素的紧接邻域。因此，可以选择网络以将卷积应用于体素周围的更大区，从而帮助改进数据/图像质量，诸如降低/消除噪声。
在实施例中，所述投影数据由成像装置测量，所述成像装置是以下各项中的任一项：X射线成像装置、PET/SPECT成像装置和MRI成像装置。
在另一方面中，提供了一种用于在一个或多个步骤中根据投影域中的投影数据对图像域中的影像进行迭代重建的系统，包括：
存储器，针对给定的迭代步骤的当前图像被存储在所述存储器上；
前向投影器，其用于将所述当前图像映射到投影域中以获得估计的投影数据；
比较器，其被配置为将投影误差数据建立为，如果有的话，在所述投影数据与所述估计的投影数据之间的偏差，并且如果存在，
反向投影器，其用于将所述投影误差数据反向投影到图像域中以获得输入校正数据；
校正数据确定器，其被实施为根据上述实施例中的任一个的经训练的机器学习模块，以基于所述输入校正数据来计算输出校正图像数据；以及
更新器，其被配置为将输出校正数据应用于所述当前图像以将所述当前图像更新为新的图像。
在另一方面中，提供了一种用于在一个或多个步骤中根据投影域中的投影数据对图像域中的影像进行迭代重建的系统，包括：
存储器，针对给定的迭代步骤的当前图像被存储在所述存储器上；
前向投影器，其用于将所述当前图像映射到投影域中以获得估计的投影数据；
比较器，其被配置为将输入校正数据建立为，如果有的话，在所述投影数据与所述估计的投影数据之间的偏差，并且如果有的话，
校正数据确定器，其被实施为根据上述实施例中的任一项的经训练的机器学习模块，以基于所述输入校正数据来计算所述输出校正数据；以及
反向投影器，其被配置为将所述输入校正数据反向投影到图像域中以获得校正图像数据；以及
更新器，其被配置为将所述校正图像数据应用于所述当前图像以将所述当前图像更新为新的图像。
在上面中，可以针对每个、至少一个或一些迭代步骤交换经训练的机器学习模块，诸如在CT中。然而，还设想保持相同的模块直到迭代结束。
在另一方面中，提供了一种被配置用于基于训练数据来训练根据上述实施例或方面中的任一项的机器学习模块的训练系统。所述训练系统可以实施机器学习训练算法。所述训练系统可以包括存储器，至少一些(或所有)训练数据存储在所述存储器上。所述训练系统被配置为基于所述训练数据来调整模型的初始版本以产生如上面使用的经训练的模型/模块。
在另一方面中，提供了一种用于生成用于在训练系统中使用的训练数据的系统，包括迭代重建器，所述迭代重建器被配置为i)处理投影数据以获得第一质量(水平)和第二质量(水平)处的校正图像数据，所述第二质量高于所述第一质量，所述系统提供所述第一质量和所述第二质量处的所述校正图像数据作为针对所述训练系统中的输入和训练目标的训练数据，或ii)处理投影数据以获得第一质量和第二质量处的校正投影数据，所述系统提供所述第一质量和所述第二质量处的校正投影数据作为针对所述训练系统中的输入和训练目标的训练数据。
在一个方面中，提供了一种包括经训练的机器学习模块的系统，所述经训练的机器学习模块用于促进在一个或多个步骤中根据投影域中的测量的投影数据对图像域中的影像进行迭代重建，所述模块被配置为：
接收i.a)基于表示测量的投影数据与估计的投影数据之间的偏差的反向投影误差投影数据的输入校正图像数据，或ii.a)基于测量的投影数据与估计的投影数据之间的偏差的输入误差投影数据，所述估计的投影数据是通过将在给定的迭代步骤处重建的当前图像前向投影到投影域中而获得的；并且
i.b)基于所述输入校正图像数据预测输出用于校正所述当前图像以获得新的图像的校正图像数据，或ii.b)基于所述输入误差投影数据预测可反向投影到校正图像数据中以便将所述当前图像更新为新的图像的输出误差投影数据。
在另一方面中，提供了一种用于促进迭代重建操作的方法，其中，在一个或多个步骤中，图像域中的影像能够根据投影域中的测量的投影数据来重建，所述方法包括：
接收在所述迭代重建操作中生成的输入校正数据，
由经训练的机器学习模块基于所述输入校正数据预测输出校正数据，并且
提供所述输出校正数据以促进将在给定的步骤中重建的当前图像校正为新的图像。
在另一方面中，提供了一种用于迭代重建的方法，其中，在一个或多个步骤中，根据投影域中的投影数据来重建图像域中的影像，所述方法包括：
在给定的迭代步骤处将当前图像前向投影到投影域中以获得估计的投影数据；
将投影误差数据建立为，如果有的话，在所述投影数据与所述估计的投影数据之间的偏差，并且如果存在，
将所述投影误差数据反向投影到图像域中以获得输入校正数据；
由经训练的机器学习模块基于所述输入校正数据来计算所述输出校正图像数据；并且
将输出校正数据应用于当前图像以将所述当前图像更新为新的图像。
在另一方面中，提供了一种用于迭代重建的方法，其中，在一个或多个步骤中，根据投影域中的投影数据来重建图像域中的影像，所述方法包括：
在给定的迭代步骤处将当前图像前向投影到投影域中以获得估计的投影数据；
将输入校正数据建立为，如果有的话，在所述投影数据与所述估计的投影数据之间的偏差，并且如果有的话，
由经训练的机器学习模块基于所述输入校正数据来计算输出校正数据；并且
将所述输入校正数据反向投影到图像域中以获得校正图像数据；并且
将所述校正图像数据应用于所述当前图像以将所述当前图像更新为新的图像。
在上面中，可以针对每个、至少一个或一些迭代步骤交换经训练的机器学习模块，诸如可以在CT中完成。然而，本文还设想保持相同的模块直到迭代结束，诸如可以在核断层摄影成像中完成。
在另一方面，提供了一种基于训练数据来训练根据上述实施例或方面中的任一项的机器学习模块的方法。
在另一方面中，提供了一种生成用于在训练机器学习模块中使用的训练数据的方法，包括：
i)处理投影数据以获得第一质量和第二质量处的校正图像数据，所述第二质量高于所述第一质量，并且
提供所述第一质量和所述第二质量处的所述校正图像数据作为针对训练系统中的输入和训练目标的训练数据，或
ii)处理投影数据以获得第一质量和第二质量处的校正投影数据，并且
提供所述第一质量和所述第二质量处的校正投影数据作为针对训练系统中的输入和训练目标的训练数据。
因此，i)和ij)分别表示获得图像域和投影域中的训练数据。在一些实施例中，i)和ii)中的一个或每个基于运行两个不同的迭代重建，但是基于不同量的给定的投影数据。使用更低量的投影数据的重建导致更低质量集合。使用更高量的投影数据的重建导致对应的更高质量集合。不同的量可以基于给定的投影数据的更小和更大角度范围。
例如并且更具体地，在图像域i)中，所述处理可以包括使用不同量的所述投影数据来执行迭代重建以获得所述第一质量和所述第二质量处的相应的校正图像数据，其中，所述相应的校正图像数据基于相应的反向投影误差投影数据，所述相应的误差投影数据表示相应的测量的投影数据与相应的估计的投影数据之间的相应的偏差，并且所述相应的估计的投影数据是通过将相应的当前图像相应地前向投影到投影域中而获得的，
例如并且更具体地，在投影域i)中，所述处理包括基于相应的测量的投影数据与相应的估计的投影数据之间的相应的偏差，使用不同量的所述投影数据来执行迭代重建以获得相应的校正投影数据，所述相应的估计的投影数据是通过将在给定的相应的迭代步骤处重建的相应的当前图像相应地前向投影到投影域中而获得的。
示例i)、ii)同样适用于上述用于生成训练数据的系统。
还设想了在图像和/或投影域中生成训练数据的其他方式。
“数据质量”或“第一和第二(数据)质量”可以涉及数据/图像质量或其水平。特别地，图像质量包括噪声、伪影和分辨率或其他可测量的关注质量。在本文中特别设想了噪声水平的降低，但还有由伪影引起的损坏的减少和/或增加/维持分辨率。
上面提及的用于获得新的图像的更新器或更新操作可以使用与比较器的算术比较器操作类似的算术操作。根据需要，图像域侧或投影域侧实施例中的校正数据可以乘法地或加法地或以其组合应用于当前图像。在实施例中，执行逐体素/像素减法或加法。备选地，通过将当前图像逐体素乘以或地除以校正数据中包括的校正因子集合来乘法地完成校正操作。
在另一方面中，提供了一种计算机程序单元，所述计算机程序单元在由至少一个处理单元运行时适于使所述处理单元执行上述方法中的任一种。
在另一方面中，提供了一种计算机可读介质，其上存储有所述程序单元或其中存储有所述合成的低IQ影像或高IQ影像。
本文描述的原理可以更一般地用于改进校正数据中的数据质量，例如图像域中的图像质量(IQ)。在图像域中，数据质量包括图像质量。可以改进的图像质量不限于噪声，而是可以包括改进(增加)分辨率和/或减少图像伪影损坏。因此，机器学习方法可以在本文中用于提高分辨率和/或减少图像域中的校正数据中的图像伪影。对于投影域中的校正数据，也可以改进这样的或类似的质量。特别地，校正数据的分辨率可以适应于给定的体素化(“图像矩阵”)的分辨率，即，图像域中的体素位置的空间定义。
在本公开中，对“噪声水平”(或更一般地，数据质量水平)的提及不限于点数据，而是还包括范围数据，诸如预定义的噪声水平范围。如果其相应的中点被相关为(r1+r2)/2<(s1+s2)/2，则认为第一个这样的范围[r1,r2]低于第二个范围[s1,s2]。可以针对数据中的每个位置(像素或体素)按邻域定义噪声水平或质量(诸如图像质量)，或可以针对整个图像/数据或其一部分定义平均噪声水平。
“迭代重建算法”是个体图像元素值的计算确实涉及迭代步骤的算法。迭代经常在前向和反向投影操作的序列中交替进行，以便确保迭代合成(人工创建)的投影图像朝向实际测量的投影图像集合的收敛。通常，迭代重建算法在计算上比直接反演重建算法更昂贵，但是可以具有更高信噪比或更高图像质量的益处。
如果迭代重建算法不使用关于测量过程或设备(诸如用于投影图像的图像采集的探测器)的统计信息，则迭代重建算法被称为“代数”。
如果迭代重建算法针对重建图像的计算使用统计信息或(一个或多个)统计模型来捕获或建模关于用于投影图像的图像采集的测量过程或设备(特别是探测器)的特性(诸如噪声)，则迭代重建算法被称为统计(SIR-统计迭代重建)。
通常，“机器学习部件或模块”是实施机器学习(“ML”)算法的计算机化布置装置(arrangement)。该算法被配置为执行任务。ML算法可以基于其参数由ML算法在训练阶段中基于训练数据来调节的ML模型。在ML算法中，任务性能通常随时间可测量地改进，更多(新的且充分变化的且代表性的)训练数据在训练中用于改进的训练体验。当向经训练的模型馈送测试数据并评价输出时，可以通过客观测试来对性能进行测量。可以通过要求针对给定的测试数据实现一定的误差率来定义性能。参见T.M.Mitchell的“Machine Learning”(第2页，第1.1节，McGraw-Hill，1997)。本文主要感兴趣的任务是改进数据/图像质量，诸如降低在交互式重建算法的执行期间生成的校正数据中的噪声。
附图说明
现在将参考以下附图描述本发明的示例性实施例，其中：
图1示出了断层摄影成像布置装置的框图；
图2示出了根据一个实施例的用于断层摄影成像的数据处理器的框图；
图3示出了根据另一实施例的用于断层摄影成像的数据处理器的框图；
图4示出了根据第一实施例的用于对断层摄影成像的数据处理的计算机实施的方法的流程图；
图5示出了根据另一实施例的用于对断层摄影成像的数据处理的计算机实施的方法的流程图；
图6示出了机器学习模型的框图；
图7图示了卷积类型的人工神经网络的感受野的概念；
图8示出了用于训练机器学习模型的训练系统的框图；并且
图9示出了用于生成训练数据并且用于训练机器学习模型的计算实施的方法的流程图。
具体实施方式
参考图1，示出了计算机化成像布置装置AR。在实施例中，布置装置AR包括成像装置IA和数据处理系统IP(在本文中称为“数据处理器”)以支持断层摄影成像。非常简单地，数据处理器IP将由成像器IA供应的数据变换成横截面影像X。横截面影像X可以显示在显示器DD上，可以存储在图像储存库IPR中，或可以以其他方式进行处理。
如本文所提出的数据处理器IP能够产生具有增强的图像质量(诸如降低的噪声或更高的对比度噪声比(CNR))的影像。要由数据处理器IP变换的数据可以由成像装置IA直接供应，或可以从图像存储器检索。由于增强器部件CDD，数据处理器IP产生具有低延迟的增强影像，如下面将更详细描述的。在一些实施例中，数据处理器IP包括经训练的机器学习模块MLM。模块MLM可以通过由训练系统TS基于训练数据TD训练的机器学习模型M来实施，或可以包括由训练系统TS基于训练数据TD训练的机器学习模型M。
成像装置IA(在本文中有时简称为“成像器”)在本文中优选地被设想用于医学目的，并且可操作为采集患者PAT的一幅或多幅图像。概括地说，成像装置包括用于生成询问信号XB的信号源SS。询问信号XB与患者PAT中的组织相互作用，并且由此被修改。经修改的信号然后由探测单元DT来探测。探测到的信号(诸如强度值)形成探测器原始数据或投影影像。投影影像本身可能是感兴趣的，但是有时投影影像可以由重建模块RECON进一步处理以产生重建影像X，下面将在图2处更详细地解释。
本文设想的成像器IA可以被配置用于结构或功能成像。在本文中设想了一系列成像模态，诸如透射成像和发射成像或其他成像模态，诸如超声(US)成像。例如，在诸如基于X射线的成像的透射成像中，信号源SS是X射线管，并且询问信号是由管SS生成的X射线束XB。在该实施例中，经修改的X射线束撞击在探测单元DT的X射线敏感像素上。X射线敏感探测器DT将撞击辐射记录为强度值的分布。记录的强度值形成投影数据λ。尽管有时本身诸如在X射线摄影中是有用的，但是X射线投影数据λ然后可以通过重建模块RECON被变换成横截面图像。这样的变换例如在基于X射线的CT成像中完成。具体地，重建模块RECON将重建算法(诸如滤波反投影或其他算法)应用于投影影像。横截面图像在3D空间中形成2D图像。在CT中，可以根据不同的投影图像集合重建多幅这样的横截面图像以获得3D图像体积。
在MRI成像中，探测单元由线圈形成，该线圈能够拾取表示投影影像的射频信号，可以通过MRI重建算法根据该投影影像重建MRI横截面图像。
CT或X射线摄影中的X射线影像表示患者解剖结构的结构细节。在诸如PET或SPECT的发射成像中，信号源SS可以以先前施用的放射性示踪物质的形式位于患者体内。由示踪物质引起的核事件然后在被布置在患者周围的探测器环中的PET/SPECT探测器DT处被记录为投影图像。然后应用PET/SPECT重建算法以获得重建PET/SPECT影像，该重建PET/SPECT影像表示患者内部的过程(诸如代谢过程)的功能细节。
成像装置IA由操作者从操作者控制台CS控制。由装置IA产生或从存储设备检索的投影数据λ由数据处理器IP在其接口IN处通过例如有线或无线通信手段来接收。投影数据λ可以直接从成像装置IA接收，或可以从存储器检索，数据在采集之后被存储在该存储器中。增强的输出影像X可以被映射在合适的灰度值或调色板上，并且可以由可视化器VIZ在显示设备DD上进行可视化。由于输出横截面图像X的低噪声，由数据处理器IP产生的高IQ影像X可以更好地帮助诊断医师IN确定甚至更精细的小尺度结构。
用于图像增强的数据处理器IP可以在一个或多个通用计算单元PU上运行。计算单元PU可以通信地耦合到成像装置或成像存储库IRP。在其他实施例中，数据处理器IP被集成到成像装置IA中。数据处理器IP可以被集成到控制台CS中。数据处理器IP可以以硬件或软件或其组合来布置。硬件实施方式可以包括适当编程的电路，诸如微处理器或微控制器、FGPA或其他通用电路。本文还设想了硬编码电路，诸如ASIC或片上系统等。可以使用专用处理器，诸如GPU(图形处理单元)。
通常，由重建器RECON运行的断层摄影图像重建算法实施从投影空间到图像空间中的映射。换句话说，重建算法将如由扫描器IA供应的投影测量结果/线积分/正弦图变换成图像空间/图像域中的对象的切片或跨轴图像或体积图像。图像域是由扫描器IA的视场(FoV)或膛形成的3D空间的部分。在概念上，图像域由诸如体素的3D图像元素构成。重建算法利用图像值填充体素位置以构建图像。重建算法可以利用两个变换操作：一个这样的变换操作是从投影空间到图像空间中。这也被称为反向投影，而另一操作是在相反方向上从图像域到投影域中。该另一个操作是前向投影。沿着患者的纵轴(z轴)的多幅横截面图像一起定义图像体积。然而，还设想了仅提供单幅跨轴图像X，而不是形成所述体积的多幅跨轴图像X。
如本文设想的断层摄影重建算法可以被公式化为用于改进目标函数的迭代流程。具体地，该流程可以根据成本函数的优化(特别是最小化)来公式化。成本函数对在迭代期间提供的图像域中的估计的影像与实际观察到的投影测量结果λ的匹配程度进行测量。系统矩阵可以用于将重建影像前向投影到投影域中，并且将该前向投影与实际测量的投影数据λ进行比较。实际测量的数据λ与根据系统矩阵的前向投影之间的偏差可以通过成本函数来量化。在迭代中，图像域中的影像适于减小成本函数q，算法因此朝向正确影像收敛。还考虑了上述优化的双重公式化，其包括效用函数的最大化。
更详细地，迭代发射或透射或MRI或其他断层摄影成像重建算法可以被描述如下(为了简单起见，不包括任何衰减校正)：
λe＝FP[fi](1)
fi j＝BP(λe,λm)(2)
其中：
λe是估计的投影数据，诸如采取列表或帧/正弦图模式/格式；
λm是在探测设备DT处测量的投影数据；
FP是前向投影算子，并且可以被实施为矩阵，有时被称为系统矩阵，其描述从图像域到投影域中的前向投影；
BP是根据投影估计体素值的反向投影算子；
fi是要重建的图像域中的影像中的第i个体素；
G是在迭代i期间更新体素f的更新函数。
G的性质取决于所使用的优化算法，并且通过更新器UD模块来实施，这将在下面更详细地解释。G的实施例包括基于以下数值方法或技术中的任何一个或多个的更新函数：梯度下降、随机梯度方法、共轭梯度、Nelder-Mead期望最大化(EM)、最大似然方法或任何其他方法。所述优化的目标是将体素值调节为根据成本函数q＝||λm-FP[fi]||的残差变得足够小，例如下降到预定义阈值以下。||.||是合适的相似性度量，例如欧几里德、最小二乘或一些合适的Lp范数。
关于核成像，重建操作(1)-(3)可以以列表模式或以帧或正弦图模式完成。
系统矩阵FP可以在重建期间预先或在运行中被计算为一次性的。在后一种情况下，不需要必然地将整个矩阵保持在存储器中。当在重建期间需要时，总是仅计算系统矩阵的部分，以节省存储器空间。
在W.Wang“Systematic and Distributed Time-of-Flight List Mode PETReconstruction”(发表于“Systematic and Distributed Time-of-Flight List ModePET Reconstruction”，2006年，第1715-1722页)中描述了如可以在本文中使用的迭代重建方案。存在类似的方案或CT、MRT、OCT和其他断层摄影成像模态。
现在参考图2、3的框图，其中，更详细地解释了数据处理器系统IP的操作。设想了两个主要实施例，其中，处理器系统IP的上述增强器部件CDD可在图像域ID(图2)或投影域PD(图3)中操作。
通常，数据处理器IP包括被配置用于迭代重建的重建器RECON。重建器RECON包括前向投影器部件FP和反向投影器部件BP。前向投影器FP实施前向投影操作，而反向投影器BP实施反向投影操作，诸如在等式(1)-(3)处。通常，前向投影器FP计算沿着不同投影方向并且跨图像域中的图像值的线积分。与此相反，在给定的投影域中的投影数据的情况下，反向投影器BP尝试估计图像域中的体素值。
重建器还可以包括比较器COMP和所述更新器UD作为部件。重建器RECON包括增强器部件CDD或与其最不协作。如下面将描述的，在迭代重建操作的过程期间，生成某些校正数据，并且这由增强器部件CDD处理，以促进更快地收敛到低噪声最终结果。下面将更详细地解释所述部件的功能和操作。
单个计算实体可以实施数据处理器IP和增强器部件CDD。数据处理器IP可以包括增强器部件CDD。备选地，使用分布式架构。数据处理器IP和增强器部件CDD被实施在通信地耦合以交换数据的单独物理实体上。耦合可以通过通信网络来实施，该通信网络可以是有线的、无线的或部分地是两者。如前所述，由于不久将变得显而易见的原因，增强器部件CDD在本文中也可以被称为校正数据确定器CDD。校正数据确定器CDD可以通过上述机器学习模块MLM来实施，或可以至少包括上述机器学习模块MLM。
在基于模型的实施例中，机器学习模块MLM包括在上述训练数据上训练的机器学习模型M。基于模型的实施方式在本文中可能是优选的，但是这并不是说在本文中排除非模型或“无模型”实施方式。校正数据确定器CDD可以通过所述模型M来实施。
在校正数据确定器CDD的机器学习实施例中，在本文中可以区分两个操作阶段：训练阶段和部署阶段。下面将在图8、9处更加详细地解释训练阶段。训练阶段也可以被称为学习阶段，但是在本文中将使用术语训练。训练阶段包括被称为训练或学习的计算流程，其中，基于训练数据来调节模型M的参数。所述流程可以基于训练或学习算法。一旦训练阶段结束，模型M然后就可以在部署期间用作校正数据确定器CDD。在部署中，可以在临床实践期间使用经训练的模型来以更有效的方式产生增强的重建影像。学习阶段可以以一次性操作完成。备选地，在动态学习设置中，一旦新的训练数据变得可用，就可以重复地重新进入训练阶段。因此，在给定新的训练数据的情况下，可以重新调节模型M。在部署或测试中，使模型M处理先前未“看到”的输入数据，即，不是分别在训练或测试中使用的训练或测试数据集的部分的数据。
现在将参考图2更详细地解释数据处理器IP的图像域侧实施例的操作。出于本目的，假设机器学习模型M已经被充分训练用于部署。训练的充分性可以通过使经训练的模型M处理训练数据并通过检查测试输出来建立。
重建器RECON优选地实施迭代重建操作，其中，从图像域中的初始图像开始，计算最终图像。最终图像也在图像域中。最终图像可以被输出以供用户使用，例如可以在显示设备上被显示为感兴趣区域的横截面视图，可以被存储在图像存储器中，或可以以其他方式被处理。最终图像由重建器RECON基于如在投影数据采集期间由探测器DT测量的投影数据λm来生成。
重建操作在从初始图像开始的一个或多个迭代步骤中产生一系列中间图像，以在已经探测到充分收敛或已经满足停止条件之后达到最终图像。最新的中间图像是最终图像。用户可以发出停止信号以停止迭代并输出当前中间图像作为最终图像。
可以任意地选择初始图像f0。它可以形成为例如具有常数值的条目的2D或3D矩阵。矩阵条目表示具有在所述相应位置处的图像值(“体素值”)的体素位置。备选地，初始图像可以包括与希望成像的感兴趣区域的预期物理特性大致匹配的体素值的先验分布。将当前图像fi加载到存储器中。当前图像fi是某幅中间图像，或实际上在初始阶段处是初始图像。由重建器RECON实施的重建算法如下进行。前向投影器FP将当前迭代i步骤处的当前图像前向投影到投影域PD中。投影域可以被概念化为表示在不同投影方向/角度处的探测器DT的辐射敏感表面的相应投影平面。该前向投影操作FP(.)在投影域PD中产生估计的投影图像λe。通过前向投影操作Fp(.)获得的投影图像的值表示当前图像fi的值沿着不同投影方向的相应线积分。估计的投影图像λe可以不同于如在探测器处针对各种投影方向测量的实际测量的投影数据λm。
比较器COMP比较两个投影数据集合λe、λm，从而生成误差数据Δλ。比较器COMP的比较操作可以通过任何代数运算(例如通过减法取逐像素差)来完成，或可以通过在对应位置处对两个测量数据集合中的条目进行除/乘来完成。存在这样的对应关系，因为两个集合具有相同的尺寸，因此两个集合自然配准。还预期了实现比较的加权代数运算。
由比较器COMP在给定的迭代步骤i处如此生成的校正数据Δλ然后被传递到反向投影器BP，反向投影器BP将误差数据Δλ从投影域反向投影到图像域中以获得误差图像Δf。通常，由反向投影器BP实施的反向投影操作BP(.)尝试基于投影域中的可用的(投影)误差数据Δλ来估计图像域中的误差图像Δf的体素位置的条目。误差图像Δf优选地在体素数量和布置方面具有与当前图像相同的尺寸。然而，在一些实施例中，误差图像Δf可以更大或更小，并且可以缩放到在需要的情况下的尺寸。如果误差图像Δf更小，则它可以仅被局部地应用，或可以根据需要在跨当前图像的全部或部分的不同位置处的拼贴操作中使用。
如前所述，上面概述的迭代重建流程本身引入了噪声贡献，申请人已经发现该噪声贡献取决于存在于测量的投影数据ΔM中的噪声水平。因此，误差图像在某种程度上“继承”投影数据中的该噪声贡献，可能进一步损害最终结果的图像质量的效果。为了降低误差图像中的噪声水平，校正数据确定CDD的预训练的机器学习模型被应用于在其输入处接收的误差图像ΔF。机器学习模块MLM可以被实施为例如人工神经网络NN，诸如卷积神经网络。误差图像Δf被应用于网络M的对应维度的输入层，并且然后被传播通过其中以在其输出层处出现作为输出误差图像Δf’。机器学习模块(诸如人工神经网络M)已经通过训练流程被配置为充当噪声降低器以降低原始输入误差图像Δf中的噪声水平。输出误差图像Δf’通常包括更低的噪声贡献，因此具有比输入误差图像Δf更低的噪声水平。模型被配置为保持误差输入图像的维度：误差输入图像和误差输出图像在其体素的数量和空间布置方面具有相同的尺寸。这可以通过将网络M的输入层IL和输出层OL配置为具有相同的尺寸来确保。误差输入和输出图像优选地是3D，但是也可以是2D，例如，如果仅重建单个z位置处的单幅横截面图像而不是图像体积。
然后，噪声降低的输出误差图像Δf’由更新器UD应用于当前图像fi以产生经更新的新的中间图像fi+1，其然后可以在下一迭代步骤i+1中使用。也就是说，它现在是新的中间图像fi+1，其现在如上所述的那样被处理，包括前向投影等，以如此开始新的迭代循环，等等。由更新器UD通过上面关于比较器COMP描述的任何合适的代数运算将输出误差图像Δf’应用于当前图像。输出误差图像Δf’被逐体素地应用于当前图像。因此，误差输出图像可以逐体素地添加到当前图像fi/从当前图像fi中减去，或可以逐体素地乘以或除以当前图像fi。该更新或校正操作是明确定义的，因为当前图像和误差图像根据定义具有相同的尺寸，因此存在自然配准。
在迭代期间产生的中间图像的条目预期收敛到最终结果/最终图像。如前所述，一旦已经满足停止条件或用户如此请求，则迭代停止，并且然后将驻留在存储器MEM中的当前中间体输出为最终图像/结果。最终图像然后可以被绘制用于如上所述的那样显示以支持用户，或可以根据需要存储或以其他方式处理最终图像。一个这样的停止条件可以通过比较器COMP来实施：如果发现投影域中的误差低于某个阈值，则输出新的当前图像fi+1作为最终图像/结果。
因此，如上所述的比较器COMP的输出可以被视为表示两个数据集(测量的投影数据λm和估计的投影数据λe)之间的偏差(如果有的话)。如前所述，实现噪声降低的水平很大程度上取决于已经存在于测量的投影数据λm中的噪声水平。因此，对于不同的流程或不同的采集，可能需要不同水平的噪声降低来实现具有低噪声损坏的适当快速的收敛。为此目的，可能期望具有包括多个不同的经训练的机器学习模块MLMi或一组不同的经训练的机器学习模块MLMi的ML模块存储器MM，每个经训练的机器学习模块MLMi在不同的训练数据上训练以产生对不同噪声水平的降低。
换句话说，如保存在存储器MM中的不同模块MLMi可以实现不同量的噪声降低。值得注意的是，最大量的降低并不总是有帮助的，因为这可能延长收敛。更确切地说，要通过机器学习模型降低噪声水平的量应当与存在于测量的投影数据的当前集合ΛM中的噪声相关。如果在测量的投影数据λm中存在高噪声，则与具有更低噪声水平的投影数据λm相比，需要针对更高量的噪声降低进行训练的模块MLMj，其中，针对更低量的噪声降低进行训练的模块MLMk是优选的。
为了使图像数据处理器IP更好地适应于当前的测量的投影数据λm集合的噪声水平，可以布置选择模块SL或选择器。选择器SL可以通过用户接口UI从用户接收输入信号。输入信号可以指示期望的噪声水平降低，并且选择器然后通过接口SIF在ML模块存储器MM中定位最佳地对应于用户选择的噪声降低量的机器学习模块MLMk。备选地，还设想了自动实施例，其中，选择器SL自主地分析当前的测量的投影数据集合以建立存在的噪声水平并且相应地从模块存储器MM中选择最佳模块。通常，噪声贡献/水平可以通过如本领域已知的各种计算技术(诸如统计技术)来量化。例如，在投影数据λm中的局部片块中，计算统计方差或标准偏差或更高的矩以表征噪声水平。可以组合对各种片块中的噪声水平的统计计算，以实现整体上针对数据λm的统计噪声水平量化。本文还可以使用用于表征噪声水平的其他噪声表征流程。标准偏差及其平方可以用于量化噪声。方差可以在许多噪声实现可用的情况下测量，或可以使用某个噪声模型(例如泊松、高斯等)来预测。
无论是用户选择的还是自动选择的，所选择的机器学习模块MLM都被加载到存储器中，并且然后准备好接收如上所述的校正图像ΔF。如将更详细地描述的，一些机器学习模型(特别是卷积网络)包括表示针对给定的数据位置处理的数据量的感受野RF。优选地，该感受野尺寸应当大于如由用户在采集之前选择的给定的体素尺寸的中间邻域。为此目的，数据处理器IP可以包括用户接口UI，其允许用户选择感受野以匹配所考虑的体素的邻域尺寸，其可能不同于成像装置和探测器装备等。
体素尺寸可以是用户选择的，并且可通过例如成像器IA的操作者控制台CS的用户接口(未示出)来调节。体素尺寸可以是探测器DL处的像素尺寸和图像域中的期望的切片厚度的函数。像素尺寸可以定义在探测器逻辑中如何对不同读数进行分组或“分箱”，以计算投影数据中的给定的像素值。
现在参考图3中的框图，这示出了数据处理器IP的投影域侧实施例。操作与图2中非常类似，其中，相似符号和部件由相似附图标记指示，只是现在反向投影器BP被布置在机器学习模块MLM的下游。MLM已经在投影域中的投影数据上训练，而不是如图2的MLM实施例中那样在图像域中的图像数据上训练。更详细地，在图3的实施例中，误差投影数据现在不像图2中那样被反向投影到图像域中以然后由机器学习模块变换，而是在图3中误差投影数据Δλ由机器学习模块MLM处理以在投影域中产生噪声降低的投影数据Δλ’。在图3中，该噪声降低的投影数据Δλ’然后被应用于反向投影器BP，并且被反向投影到图像域中以获得校正图像Δf。校正图像Δf然后由更新器UD应用于如先前描述的当前图像f0。
优选地，在图2、3的实施例中，更新器UD的操作方式对应于比较器COMP的操作方式。如果比较器COMP相乘地或相加地进行操作，则更新器分别相乘地或相加地进行操作。
用于根据体素尺寸选择感受野RF的选择器部件SL和用户接口UI如上面在图2中所描述的。
如可以看出的，在图2、3的上述两个实施例中，生成某个校正数据，在图2中，校正数据Δf在图像域中，并且在图3中，校正数据Δλ在投影域中。在每个实施例中，分别配置的机器学习模块MLM用于减少校正数据中的噪声。校正数据确定器CDD因此增强迭代重建算法以促进快速收敛到低噪声最终图像。
现在参考图4、5，其示出了用于断层摄影图像生成的数据处理方法的相应流程图。尽管方法可以用于实施图2、3中的上述系统，但是在本文中将理解，以下方法的步骤不一定与如上所述的图1-3中的架构相关联。图4、5中的实施例对应于通过迭代重建的断层图像生成的图像域侧和投影域侧实施方式。
首先转到根据图4的方法的图像域侧实施例，在步骤S410处，当前图像驻留或加载到存储器中。所述当前图像可以是如在迭代重建算法中在给定的迭代步骤处生成的中间图像fi，或当前图像是如上面所描述的初始图像f0。
在步骤S420处，将当前图像fi前向投影到投影域中以获得估计的投影数据。
在步骤S430处，将估计的投影数据与如在成像流程中的投影数据采集期间在X射线敏感探测器处探测到的测量的投影数据进行比较。该比较产生误差投影数据。
在步骤S440处，将误差投影数据反向投影到图像域，以获得校正图像Δf形式的校正数据。
在步骤S450处，将校正图像Δf应用于经训练的机器学习模块以获得或预测增强的校正图像Δf’。特别地，如此预测的校正图像具有比初始校正图像Δf更低的噪声水平。噪声降低的量优选地是测量的投影数据中的噪声的函数，并且相应地预先从能够以不同的量降低噪声水平的一组经训练的机器学习模块中选择机器学习模块。
在步骤S460处，基于增强的校正图像Δf’来更新当前图像fi。在一些这样的实施例中，增强的校正图像Δf在算术上应用于当前图像以获得新的当前图像，该新的当前图像可以用于下一迭代步骤，或如果建立了足够的收敛，则可以作为最终结果输出。可以通过重新运行前向投影步骤S420和比较步骤S430来建立收敛。如果如此获得的后续误差投影数据的幅度根据阈值化步骤S470是可忽略的，则输出新的当前图像作为最终图像，并且处理流程结束，如通过框S470右侧的小点所指示的。如果误差不是可忽略的，即，它超过在步骤S470中使用的阈值，则处理流程继续进入下一个迭代循环，等等。
更新步骤S460可以包括逐体素乘法、除法、加法或减法或其任何算术组合。校正图像和增强的校正图像具有相同的尺寸，并且该尺寸对应于当前图像fi。换句话说，行和列具有相同的数量，从而提供自然配准，使得逐体素更新或比较操作是明确定义的。比较步骤S430也是如此，因为估计的和测量的投影数据具有相同的尺寸，提供了自然配准，并且现在算术运算的逐像素应用是明确定义的。
在任选的先前步骤S450a中，接收用户选择信号以根据多个先前训练的机器学习模型识别在步骤S450中使用的机器学习模块。该信号指示期望的噪声降低量。以这种方式，机器学习模型可以被如此选择为使得可实现的噪声降低量对应于原始测量的数据中存在的噪声水平。
在一些实施例中，机器学习模型是卷积类型(“CNN”)的人工神经网络。在这样的实施例中，可以存在另一任选的步骤S450b，其中，基于体素邻域的尺寸来选择CNN模型的感受野的尺寸。特别地，感受野的尺寸被选择为大于图像域中的体素尺寸的紧接邻域。任何给定的体素位置的紧接邻域包括与紧接邻域位置相邻的八个体素位置。还可以定义扩展并包括紧接邻域的更大邻域，并且感受野优选地被相应地选择为更大。体素尺寸可以是探测器处的像素尺寸和/或针对可重建的给定的横截面图像的切片厚度的函数。体素尺寸也可以是用户可调节的。在这样的实施例中，模型存储器MM可以包括多个不同的机器学习模型，每个利用不同的感受野进行训练。因此，存储库MM中的机器学习模型/模块可以具有二维索引，一个索引指示可实现的噪声降低，另一个索引指示感受野的尺寸。因此，用户信号允许在给定集合或用户选择的体素尺寸的情况下检索具有足够大的感受野的模型。
现在转到具有迭代重建的断层摄影图像生成的方法的投影域侧实施例，现在参考图5。
在步骤S510处，如前所述的当前图像fi被加载或驻留在存储器中。
在步骤S520处，当前图像fi被前向投影以获得投影域中的估计的投影数据。
在步骤S530处，然后比较两个投影数据集合(估计集合和测量集合)以导出误差投影数据Δλ。
在步骤S540处，将误差投影数据Δλ应用于机器学习模块，该机器学习模块将误差投影数据Δλ变换成与原始误差投影数据Δλ相比具有更低噪声水平的增强的误差投影数据Δλ’。
然后，在步骤S550处，将增强的误差投影数据Δλ’反向投影到图像域中，以获得校正图像Δf。
在步骤S560处，然后将校正图像Δf应用于当前图像以针对新的图像对此进行更新，该新的图像然后可以用于下一迭代步骤，或可以根据在步骤S570处是否建立了足够的收敛而作为最终图像输出，如上面结合图4的步骤S470所解释的。
备选地，可以根据用户请求或一旦满足另一停止条件就中止迭代。这适用于图4和图5中的两个实施例。
如之前在图4中，可以在任选的步骤S540A处选择机器学习模型以匹配可以对应于测量的投影图像中的原始噪声损坏的期望的噪声降低量。同样如之前在图4中，可以存在选择机器学习模块使得其感受野大于图像域中的体素的紧接邻域的尺寸的任选的步骤S540b。基于i)检查测量的数据中的噪声贡献和/或基于ii)分别从图像系统设置查询当前体素尺寸和切片厚度，图4的步骤S540a、b和步骤S450a、b处的选择中的任一个或两个可以是用户发起的或完全自动的。
基于在重建开始时采集的原始数据λm的噪声选择特定模块MLMj作为任选的步骤S450a、S540a，可以在整个迭代中维持该模块MLMj直到结束，并且这是优选的，因为这使得所提出的系统易于管理。在每次迭代中，在更新中间重建图像之前，将一次选择的模式MLMj应用于校正数据。在实施例中，可以选择模型一次，并且在整个迭代中维持和使用该单个模型直到结束。备选地，根据用户请求或自动地，当前模型可以在结束之前与另一个交换。可以针对每次迭代或仅在特定一个或多个循环处交换模型。对于CT，模型的交换可能是优选的，因为不同的模型可以用于例如不同的z位置。
如图2、3所指示的，在步骤S450、S540处的经训练的机器学习模块不仅可以分别处理校正数据Δf、Δλ，而且可以共同处理额外先验数据p。处理这样的额外先验数据p可以进一步提高机器学习模块MLM、MLMi的相应图像域侧或投影域侧实施例的性能。先验数据p可以包括指示每个体素位置或区域的期望的收敛速度的数据。例如，可以在图2、4的实施例中提供先验数据作为每个相应体素的估计的统计计数率(或噪声水平)。该额外先验信息促进操纵噪声降低，即，在每个区域或体素邻域中的收敛。上述收敛速度是通过机器学习模型实施的平滑操作的结果。例如，平滑操作可以通过卷积神经网络中的某些滤波器窗口或内核来实施。对于图像域中的已经在投影数据中采集更多信息的那些区域，与其中更少信息可用并且需要利用例如更大(更宽)内核来应用更强平滑的区域相比，通过网络M学习的平滑内核可以更小(更窄)。下面将结合图6、7处的卷积神经网络更全面地探索滤波内核/窗口。
现在更详细地转向训练阶段，可以训练(一个或多个)机器学习模块MLM、MLMi以降低校正数据中的噪声水平。校正数据在图像域中(上面称为Δf)或在投影域中(称为Δλ)。在图像域中，校正数据Δf可以被形成为校正因子的2D或3D阵列。在投影域中，校正数据Δλ包括测量的投影数据与估计的投影数据之间的差异。通常，校正数据Δλ可以被表示为3D阵列，其中，强度值在2D和角投影方向的一个维度中。在两个实施例中，可以通过计算统计方差V1来测量相应校正数据中的初始噪声损坏。在应用经训练的模块MLM、MLMi之后，获得改进的(更低的)统计方差V2的校正数据Δf’、Δλ’。
如果一组多个这样的模型是如在一些实施例中提供的MLMi，则每个模块MLMi被训练为变换成具有特定的、相应的且不同的更低噪声水平的校正数据。因此，对于每个噪声水平，已经训练了将噪声水平降低相应的不同的预定义量的相应MLMi模块。然而，如其他地方所提到的，一组这样的模型在本文中不是必需的，因为在实施例中可以代替地使用单个模型。
图6示出了可以用于实施诸如ML模块MLM的模型M的架构。
具体地，图6示出了前馈类型的神经网络M的示意性框图。网络M优选地是全卷积的，其中，它不包括全连接层，但是在其他实施例中在本文中不排除全连接层。在功能上，如本文所使用的神经网络M的操作是回归之一，其中，学习高噪声校正数据与低校正数据之间的先验未知潜在关系。将高噪声类型的给定的校正数据阵列回归成其去噪声版本。
神经网络NN优选地是监督式机器学习模型，其被实施为例如通过使用优选地全卷积神经网络来解决本文设想的回归校正数据到校正数据任务。
模型M可以由计算机化训练系统TS训练。在训练中，训练系统TS调整模型M的(模型)参数θ的初始集合。训练数据可以根据如可以在医学图像数据库(诸如在PACS(影像归档和通信系统)等)中发现的现有历史影像生成，或可以根据如可以在医学图像数据库(诸如在PACS(影像归档和通信系统)等)中发现的现有历史影像获取。
在训练阶段中，在部署阶段之前，通过基于训练数据调整其参数来训练模型。训练阶段可以是一次性操作，或可以利用新的训练数据重复。现在将更详细地描述上述部件。
机器学习模型M可以存储在一个(或多个)计算机存储器MEM中。预训练的CNN模型M可以被部署为可以在计算设备PU(诸如台式计算机、工作站、膝上型计算机等)上运行的机器学习部件。优选地，为了实现良好的吞吐量，计算设备PU包括支持并行计算的一个或多个处理器(CPU)，诸如多核设计的处理器。在一个实施例中，使用(一个或多个)GPU(图形处理单元)。
继续参考图6并且更详细地，该示图示出了前馈架构中的卷积神经网络M。网络M包括以级联方式在层中布置的多个计算节点，其中，数据流从左到右并且因此从层到层进行。本文不排除递归网络。
在部署中，校正数据的3D阵列X被应用于输入层IL。3D阵列在输入层IL处被馈送到模型M中，然后传播通过隐藏层序列L1-L3(仅示出了三个，但是可以存在一个或两个、或多于三个)，然后在输出层OL处作为具有与输入X相同的尺寸的更低噪声版本X’出现。网络M可以被认为具有深度架构，因为它具有多于一个隐藏层。在前馈网络中，“深度”是输入层IL与输出层OL之间的隐藏层的数量，而在递归网络中，深度是隐藏层的数量乘以通过的次数。
网络的层和实际上输入和输出影像以及隐藏层之间的输入和输出(在本文中称为特征图)为了计算和存储器分配效率可以被表示为二维或更高维矩阵(“张量”)。对于图2、4的实施例，输入阵列X可以被表示为具有维度x、y、z的3D矩阵，或对于图3、5的实施例中的投影域数据，输入阵列X可以被表示为(x，y，α)。因此，输入数据X通常形成具有高度、宽度和深度的3D维矩阵。
优选地，隐藏层包括卷积层序列，在本文中被表示为层L1-LN-k,k>1。卷积层的数量是至少一个，诸如3或5或任何其他数量。该数量可以达到两位数字。
在实施例中，在卷积层序列的下游，可以存在一个或多个全连接层，但是不一定在所有实施例中都是这种情况，并且实际上优选地，在本文在实施例中设想的架构中不使用全连接层。
每个隐藏层Lm和输入层IL实施一个或多个卷积算子CV。每个层Lm可以实施相同数量的卷积算子CV，或对于一些或所有层，该数量可以不同。
卷积算子CV实施要对其相应输入执行的卷积运算。卷积算子可以被概念化为卷积内核。它可以被实施为包括形成本文被称为权重θ的滤波器元素的条目的矩阵。特别地，这些权重在学习阶段中被调节。第一层IL通过其一个或多个卷积算子处理输入体积V。特征图FM是卷积层的输出，针对层中的每个卷积算子，一个特征图。然后将较早层的特征图输入到下一层中以产生更高代的特征图FMi、FMi+1等，直到最后层OL将所有特征图组合成输出校正数据X’。最后组合器层也可以被实现为将去噪的校正数据X’的估计提供为具有与输入阵列X相同的尺寸的输出单个特征图的卷积。
输入层IL和一些或所有隐藏层中的卷积算子优选地是3D的。也就是说，存在跨空间维度的卷积，以更好地考虑所有3个空间维度中的空间相关性。
卷积层中的卷积算子CV与全连接层的区别在于卷积层的输出特征图中的条目不是作为该层的输入接收的所有节点的组合。换句话说，卷积内核仅应用于输入阵列X的子集，或应用于如从较早卷积层接收的特征图。子集(在本文中也称为卷积窗口或内核)对于输出特征图中的每个条目是不同的。子集中的元素的数量确定窗口或内核的尺寸。因此，卷积算子的运算可以被概念化为在输入上的“滑动”，类似于从经典信号处理已知的经典卷积运算中的离散滤波器内核。因此命名为“卷积层”。在全连接层中，通常通过处理输入层的所有节点来获得输出节点。
卷积算子的步幅可以被选择为1或大于1。步幅定义了如何选择子集。大于1的步幅相对于该层中的输入的维度减小了特征图的维度。在本文中，步幅为1是优选的。为了保持特征图的尺度对应于输入影像的尺度，应用零填充层P。这允许甚至对位于经处理的特征图的边缘处的特征图条目进行卷积。
现在参考图7，其示出了如本文在实施例中设想的3D卷积运算的更多细节。如前所述，出于效率原因，输入校正数据X、输出校正数据X’、特征图和卷积算子本身均可以被表示为矩阵。特别地，本文设想了3D维矩阵。特别地，卷积算子CV的内核具有宽度X、高度Y和深度Z，如通过图7中的坐标系所指示的。特别地，卷积算子的内核在本文中优选地被设想为3D内核，因此特别地具有大于1(例如，2、3或更大)的深度Z。
更具体地，图7表示第一层中的卷积算子CV的卷积运算，其中，校正数据阵列X被处理以产生第一代特征图FM＝FM1。类似的卷积处理被应用于级联层中的更下游的特征图，其中，特征图FMi被卷积成下一代的特征图FMi+1，等等。每个卷积算子CV可以由在图7中被表示为示例尺寸3×3×3的小立方体的其内核(尺寸)定义。对于输出特征图中的每个神经节点mij，卷积算子CV作用于输入块V中的上述子集或动作区域RA。换句话说，在神经网络NN的输入层IL中，卷积算子CV将形成动作区域RA(块X的子集)的多个体素映射到特征图FM的单个节点mij中。从不同的子集RA处理不同的特征图节点以构建整个特征图。由内核应用以构建第k代特征图的每个特征图节点的函数可以被写为其中，f可以是任何合适的函数，诸如线性函数，符号“z”是输入数据的体素或是相应动作区域RA中的较早特征图FMk-1中的节点。符号“*”指示卷积算子，并且W是在卷积中使用的权重集合。
每个输出节点mij如此处理的输入阵列X的体素的数量描述了该层处的单元mij的神经网络的感受野RF的尺寸，并且通过该层之前的mij所位于的所有卷积算子CV的内核尺寸、步幅和填充来确定。更具体地，卷积神经网络(CNN)的局部感受野是输入阵列X的动作区域RA的尺寸，其被“看到”(即被处理)以确定输出阵列X’的给定的单元mij。例如，如在图7中示意性地示出的，卷积算子的内核具有尺寸3×3×3的数字，这导致针对该单个卷积运算的尺寸3×3×3的局部感受野RF。
由于CNN的级联性质，感受野随着它操作的层的深度而增长，因为对于k>1，是越来越大数量的体素的函数。因此，可以说模型M具有整个的网络M的全局感受野，而不是如上面在图6处描述的在每个(隐藏)层处的网络的每个中间单元处的局部感受野。因此，全局感受野是网络深度和卷积窗口尺寸的函数，在上面也称为动作区域RA。为了最佳结果，网络的深度和构成CNN的所有卷积算子CV被调谐为使得对于给定的体素尺寸，全局RF大于紧接邻域：因此，可以选择更大的卷积窗口或网络的更大深度。不是如前所述的那样针对不同的感受野尺寸预先训练单独的网络，而是还可以可能使用单个初始“基础”网络架构，并且通过用户请求通过UI或自动地调节网络深度或窗口尺寸。对于通过用户UI的每个这样的调节，需要重新运行新ML架构中的训练。因此，鉴于根据当前图像系统设置的当前体素尺寸，一旦指定(一个或多个)卷积窗口尺寸和/或网络深度并且因此指定全局感受野RF的尺寸，就按需生成存储库中的多个模型。处理器IP可以通过接口设置自动查询所述成像系统设置，并且调节模型的RF，或从存储库访问合适的训练的模型，使得感受野RF大于当前系统体素尺寸。
将意识到，如图7所示的深度方向Z通常对应于成像轴线，然而，例如对于也如本文所设想的重新格式化的体积V，这可能不一定如此。一些或每个层Lm中的一些或每个卷积滤波器可以与非线性诱导层(诸如如图6所示的RELU(修正线性单元)算子)组合。RELU层将非线性函数f(z)＝max(z,0)应用于从相应的卷积滤波器内核CV接收的输出特征图。RELU层将非线性分量添加到网络M。可以代替地使用其他非线性算子，诸如S形函数或tanh函数等。除了所示的层之外的其他层可以以任何组合与卷积层组合，包括解卷积层、最大池化层P、丢弃层等，或可以代替地使用这样的其他层。
在用于CNN型模型M的上述架构中的任何中，CNN模型M的所有卷积/解卷积滤波器内核的权重W的总和定义了机器学习模型的配置。每个层的权重可以不同，并且每个层可以包括多个卷积算子，一些或每个卷积算子具有内核W的不同集合。这些权重Wj是在训练阶段学习的，其中，索引j在层和其中的卷积算子上运行。一旦训练阶段已经结束，完全学习的权重与布置节点的架构一起可以存储在存储器MEM中并且可以用于部署。
代替于使用如上面在图6处描述的架构，在一些实施例中，本文还设想了其他方法，特别是诸如生成对抗网络(“GAN”)的多模型方法。两种类型的ML模型(通常称为“生成器”和“鉴别器”)通过特殊的成本函数对抗地耦合。训练集包括不一定配对的两种类别的数据，所述高噪声校正数据和低噪声校正数据。可能随机地抽取来自高噪声类别的样本，并且生成器尝试预测其低噪声对应物，其然后被传递到鉴别器以便进行处理。鉴别器试图鉴别低噪声对应物是从低噪声类别的训练数据集中提取还是实际上由生成器生成。成本函数被配置为有利于生成器和鉴别器网络的参数，使得生成器平均至少成功误导鉴别器，而与此相反，鉴别器平均上成功地正确鉴别两个数据类别。已经示出该设置以收敛到统计平衡，在该点处，生成器被认为是经训练的，并且可以在本文中用于迭代断层摄影重建中的部署。I.Goodfellow等人已经在2014年6月10日提交的“Generative Adversarial Networks”(在arxiv存储库上在arXiv:1406.2661处可在线获得)中描述了GAN。
下面将在图8和9处进一步解释机器学习模型M的训练方面。训练可以是一次性操作，或还可以当新的训练数据变得可用时训练先前训练的模型。
现在参考图8，其示出了用于训练参数(即诸如在如图6、7等中所讨论的卷积神经网络中的机器学习模型的权重)的训练系统TS。训练数据包括数据的对k(xk,yk)。对于每个对k(索引k与上面用于指定特征图的生成的索引无关)，训练数据包括训练输入数据xk和相关联的目标yk。因此，训练数据被组织在对k中，特别是用于如本文主要设想的监督式学习方案。然而，应当注意，本文不排除非监督式学习方案。
训练输入数据xk可以从历史图像数据库或图像存储库获得。目标yk或“真实数据”可以表示在先前的迭代断层摄影重建中根据历史投影数据(优选地针对不同患者)生成的低噪声校正数据的示例，而xk是更高水平下的校正数据。在本文中，不需要对xk,yk表示相同患者的完全相同的解剖结构。一些成像协议可以要求不同的剂量，并且可以对PACS进行搜索以找到每个这样的协议的影像来组合成训练对。
在训练阶段中，机器学习模型M的架构(诸如图6、7中所示的CNN网络)预先填充有初始权重集。模型M的权重θ表示参数化Mθ，并且训练系统TS的目的是基于训练数据(xk,yk)对来优化并因此调整参数θ。换句话说，学习可以在数学上被公式化为优化方案，其中，成本函数F被最小化，但是可以代替地使用最大化效用函数的双重公式化。
现在假设成本函数F的范例，这对(一个或多个)聚合残差(即，在由神经网络模型M估计的数据与根据一些或所有训练数据对k的目标之间引起的误差)进行测量：
argmin θ F ＝ ∑k|| Mθ(xk) – yk|| (4)
在等式(4)和下文中，函数M()指代被应用于输入x的模型M的结果。成本函数可以是基于像素/体素的，诸如LI或L2成本函数。在训练中，训练对的训练输入数据xk被传播通过初始化的网络M。具体地，第k对的训练输入xk在输入部IL处被接收，传递通过该模型，并且然后在输出部OL处输出作为输出训练数据Mθ(x)。使用合适的度量||·||(诸如p范数、平方差等)来对由模型M产生的实际训练输出Mθ(xk)与期望的目标yk之间的差异(在本文中也称为残差)进行测量。可以使用适合于回归任务的任何成本函数和度量||.||。在使用GAN设置的情况下，成本函数(4)根据交叉熵被公式化，并且包括两个部分，一个针对生成器，并且一个针对鉴别器，如由Goodfellow等人在引用的论文在第3页等式(1)所描述的。
输出训练数据M(xk)是针对与所应用的输入训练图像数据xk相关联的目标yk的估计。通常，在该输出M(xk)与当前考虑的第k对的相关联的目标yk之间存在误差。然后可以使用诸如反向/前向传播或其他基于梯度的方法的优化方案来调整模型M的参数θ，以便减少所考虑的对(xk,yk)或来自完整训练数据集的训练对的子集的残差。
在第一内循环中的一次或多次迭代之后，其中，通过针对当前对(xk,yk)训练更新器UP更新模型的参数θ，训练系统TS进入第二个外循环，其中，下一训练数据对xk+1,yk+1相应地被处理。更新器UP的结构取决于所使用的优化方案。例如，由更新器UP管理的内循环可以通过前向/反向传播算法中的一个或多个前向和反向传递来实施。在调整参数时，所有训练对的聚合(例如求和)残差被考虑直到当前对，以改进目标函数。可以通过将目标函数F配置为平方残差的总和来形成聚合残差，诸如在等式(4)中每个对的一些或所有考虑的残差。还设想了代替于平方和的其他算术组合。
任选地，可以使用一个或多个3D批量归一化算子(“BN”，未示出)。批量归一化算子可以集成到模型M中，例如耦合到层中的卷积算子CV中的一个或多个。BN算子允许减轻消失的梯度效应，在模型M的学习阶段中的基于梯度的学习算法期间经历的重复的前向和反向传递中梯度幅度的逐渐减小。3D批量归一化算子BN可以用于训练中，但也可以用于部署中。与2D批量归一化算子相对比，3D批量归一化算子接收(小)批3D数据作为输入。
可以针对所有学习方案(特别是监督式方案)考虑如图8所示的广义训练系统。在备选实施例中，本文中还可以设想无监督式学习方案。GPU可以用于实施训练系统TS。
现在参考图9，其示出了训练数据生成方法和基于这样的或其他训练数据训练如上所述的ML模型M的训练方法的流程图。两种方法可以组合使用，但这不是本文的要求，因为所生成的训练数据也可以用于其他目的(诸如统计分析、可视化等)，并且训练数据方法也可以与现有的历史数据一起使用，因此本文中可能不总是需要所提出的生成方法。
首先转到训练数据生成模式，该方法允许生成校正数据集的对，一个集合具有比另一集合更低的噪声水平。该方法可以通过训练数据生成器TDG来实施。较早的集合形成训练输入x，较晚的集合形成其目标y。通常，每个投影数据集合或实际上任何种类的测量结果s的集合包括被噪声贡献n损坏的真实信号t。这可以被认为是相加的，其中，测量结果s＝t+n。在噪声降低或去噪中，人们希望减小n，或至少改进比率t/n。为了生成具有不同噪声水平的校正数据集的合适对以训练模型M，我们提出了利用以下事实：在断层摄影成像中，投影数据包括每个投影方向的不同强度测量结果。通常，对于至少180°的角度范围存在这样的测量结果。通常，在迭代重建中使用针对整个角度范围的测量结果。但是，针对一些角度或角度范围的测量结果被省略得越多，由迭代重建生成的数据将变得越嘈杂。这不仅适用于中间图像和最终图像，而且适用于在迭代重建的迭代期间生成的校正数据。
概括地说，该方法处理如下：在步骤S910中，识别并访问由迭代重建算法生成的历史投影数据。这可以通过在图像数据库中制定针对来自先前患者的较早研究或针对给定的患者的较早研究的搜索来完成。图像数据库可以包括HIS(医院信息系统)中的PACS(影像归档和通信系统)。可以使用DICOM数据或其他结构化格式的标头数据中的元数据来制定搜索。
优选地，访问具有不同生物特性的一系列不同患者的这种投影数据以增加数据可变性，使得模型M可以被训练为很好地一般化，但是原则上，单个患者的先前向投影数据对当前的建议能够是足够的，并且当用作训练数据时确实已经显示出令人惊讶的良好结果。
在步骤S920处，生成在不同噪声水平处的校正数据阵列对(x,y)k。阵列y在局部或全局上具有比阵列x更低的噪声水平。
在步骤S930中，使所述对(x,y)k可用作用于训练ML模型的所生成的训练数据。
更详细地，步骤S920可以被实施如下：基于历史保护数据，运行两个迭代重建，一个使用所有投影数据的u％，另一个使用仅v％，其中，v<u。例如，u＝100％，并且v＝50％。相应的校正数据Δfv、Δfu或Δλv、Δu可以被存储并配对直到形成训练数据(x＝Δfv,y＝Δfu)或(x＝Δλu,y＝Δλ)的实例，这取决于要训练的模型分别是用于图像域侧部署还是投影域侧部署。这可以针对(u,v)的任何组合进行重复。优选地，针对每个对(u,v)，针对一些或每个患者k生成多个这样的实例：针对图像域侧部署的(xk＝Δfv,yk＝Δfu)，或针对投影域侧部署的(xk＝Δλv,yk＝Δλu)。针对迭代重建运行k中的每个的校正数据优选地在迭代循环i*处已经检测到收敛之后被存储，但是如果时间紧迫，则比此更早地被存储，i<i*。备选地，通过运行单个迭代重建并且在迭代循环i处存储一个校正数据集合并且在稍后的循环j>i处存储另一校正数据来生成对。在较晚循环j处的校正数据具有比在较早循环i处的较早校正数据更低的噪声水平。循环j可以在收敛开始时被选择，并且i是在收敛前较早被选择的。因此，较晚循环j处的数据是目标y，并且较早校正数据是与所述y相关联的训练输入x。再次，这可以针对不同的患者数据记录进行重复。
百分比(u,v)和循环(i,j)在本文中分别可以被理解为数据生成器设计参数。由数据生成器设计参数之间的差异引起的噪声水平的差异确定了将训练(u,v)和(i,j)的相应选择的模型的噪声降低量。
仍然备选地，如果历史记录碰巧已经保存校正数据，则这可以用于形成该对的一部分，并且基于比在历史重建运行中生成历史校正数据时使用的投影数据更少的投影数据，针对第二部分仅运行一次重建。
除了在不同噪声水平下的两个校正数据集的对之外，可以生成第三数据项(即上述额外先前数据pk)以获得增强对(xk＝(pk,Δfv),yk＝Δfu)或(xk＝(pk,Δλv),yk＝Δλu)。取决于图2、4或图3、5中使用哪个实施例，额外先前数据pk在图像或投影域中。所述额外先验信息pk可以通过统计信息密度分布的中间或最终估计(例如PET成像中探测到的衰减的估计数量)来提供。在CT中。pk可以通过例如噪声估计来获得。
额外先验信息pk帮助ML模型计算局部操纵迭代重建算法的收敛的校正数据。额外先验信息pk具有与校正数据相同的尺寸，因此是3D阵列。每个条目在相应位置处局部地描述期望的噪声水平。
如果使用额外先验信息pk，则该阵列可以与针对校正数据的3D阵列组合以形成多维结构，其中，CNN模型M的输入层被相应地定尺寸。因此，校正数据和先验信息由网络M以多通道方式联合处理。卷积算子CV可以用深度维度来确定尺度以允许跨通道处理，或卷积算子CV没有深度分量，因此每个通道、校正数据和先验信息被单独卷积。
现在转到训练方法，这可以与上面生成的训练数据或与历史数据或与两者的混合一起使用。
更详细地，在步骤S940处，以对(xk,yk)的形式接收训练数据。每个对包括训练输入xk和相关联的目标yk。xk是更高噪声下的校正数据阵列，并且y是更低噪声下的对应校正数据阵列。如之前，“k”是特定数据对的索引。索引“k”通常可以对应于已经从其记录整理训练数据的不同患者。
在步骤S950处，将训练输入xk应用于初始化的机器学习模型M以产生训练输出。
通过成本函数F量化训练输出M(xk)与相关联的目标yk的偏差或残差。在步骤S960处，在内循环中的一次或多次迭代中调整模型的一个或多个参数，以改进成本函数。例如，模型参数适于减少如由成本函数测量的残差。参数特别地包括卷积算子CV的权重W。
然后，训练方法在外循环中返回到步骤S940，其中，下一对训练数据k+1被馈入。在步骤S950中，模型M的参数被适配为使得所考虑的所有对的聚合残差减小，特别是最小化。成本函数量化聚合残差。可以在内循环中使用前向-反向传播或类似的基于梯度的技术。
更一般地，调节模型M的参数以改进要么是成本函数要么是效用函数的目标函数F。在实施例中，成本函数被配置为对聚合残差进行测量。在实施例中，残差的聚合通过对所考虑的所有对的所有或一些残差求和来实施。该方法可以被实施在优选地具有能够进行并行处理以加速训练的处理器的一个或多个通用处理单元TS上。不是线性地处理训练数据对，而是可以并行地或“批量地”处理对的集合。因此，外循环在批次上循环。在极端情况下，可以一次处理所有训练数据，在这种情况下没有外循环。
尽管上面已经主要参考噪声降低描述了校正数据确定器CDD和本文中的方法，但是上述原理也可以用于改进其他数据质量，特别是其他图像质量，诸如改进分辨率和/或减少图像伪影。在这样的实施例中，为了训练，目标yk可以被选择为具有比相关联的训练输入xk中的分辨率/伪影损坏更高的分辨率和/或更低的伪影损坏的校正数据。例如，在CT中，存在由于射束硬化、散射、运动、锥形束、螺旋、环形和金属伪影引起的伪影。训练数据对(xk,yk)可以通过让人类专家相应地标记数据而被容易地供应。不同的分辨率可以通过如上所述的那样对投影数据进行重新分箱来模拟，并且运行至少一个新的迭代重建算法以在如上面在步骤S910-S930处描述的图像生成方法中获得高分辨率校正数据或低分辨率校正数据。作为数据/图像质量改进的示例，训练算法如上面在图8、9处针对噪声降低的实施例所描述的。特别地，利用所提出的方法和系统，校正数据的分辨率可以适应于图像域的给定的体素化的分辨率。GAN类型设置可以用于分辨率提高或伪影减少。
数据处理系统IPS的部件可以被实施为在一个或多个通用处理单元PU(诸如与成像器XI相关联的工作站)上或在与一组成像器相关联的服务器计算机上运行的一个或多个软件模块。
备选地，图像处理系统IPS的一些或所有部件可以以硬件布置，诸如被集成到成像系统XI中的适当编程的微控制器或微处理器，诸如FPGA(现场可编程门阵列)或硬连线IC芯片、专用集成电路(ASIC)。在又一实施例中，图像处理系统IPS可以部分地以软件并且部分地以硬件两者来实施。
图像处理系统IPS的不同部件可以被实施在单个数据处理单元PU上。备选地，一些或多个部件被实施在不同的处理单元PU上，可能作为网络托管服务等远程地布置在分布式架构中并且可连接在合适的通信网络中，诸如在云设置或客户端-服务器设置中。这允许跨单个医学设施或跨多个医学设施服务多个地理上分布的成像场所。
本文描述的一个或多个特征可以被配置或实施为或有被编码在计算机可读介质内的电路、和/或其组合。电路可以包括分立和/或集成电路、片上系统(SOC)、和其组合、机器、计算机系统、处理器和存储器、计算机程序。
在本发明的另一示例性实施例中，提供了一种计算机程序或一种计算机程序单元，其特征在于适于在适当的系统上执行根据前面的实施例之一所述的方法的方法步骤。
因此，该计算机程序单元可以被存储在计算机单元上，该计算机单元也可以是本发明的实施例的部分。该计算单元可以适于执行以上描述的方法的步骤或诱发以上描述的方法的步骤的执行。此外，其可以适于操作以上描述的装置的部件。该计算单元能够适于自动地操作和/或执行用户的命令。计算机程序可以被加载到数据处理器的工作存储器中。该数据处理器由此可以被装备为执行本发明的方法。
本发明的该示例性实施例涵盖从一开始就使用本发明的计算机程序和借助于更新将现有程序转变为使用本发明的程序的计算机程序两者。
此外，该计算机程序单元能够提供实现如以上所描述的方法的示例性实施例的流程的所有必需步骤。
根据本发明的另一示例性实施例，提出了一种计算机可读介质，例如CD-ROM，其中，该计算机可读介质具有存储在该计算机可读介质上的计算机程序单元，该计算机程序单元由前面部分描述。
计算机程序可以被存储和/或分布在合适的介质(特别地但非必要地，非瞬态介质)上，例如与其他硬件一起提供或作为其他硬件的部分提供的光学存储介质或固态介质，但计算机程序可也可以以其他形式来分布，例如经由因特网或者其他有线或无线电信系统分布。
然而，该计算机程序也可以存在于诸如万维网的网络上并能够从这样的网络中下载到数据处理器的工作存储器中。根据本发明的另一示例性实施例，提供了一种用于使得计算机程序单元可用于下载的介质，该计算机程序单元被布置为执行根据本发明的之前描述的实施例之一所述的方法。
必须指出，参考不同主题描述了本发明的实施例。具体而言，参考方法类型的权利要求描述了一些实施例，而参考设备类型的权利要求描述了其他实施例。然而，本领域技术人员将从以上和以下描述中了解到，除非另行指出，除了属于一种类型的主题的特征的任何组合之外，涉及不同主题的特征之间的任何组合也被认为由本申请公开。然而，所有特征能够被组合以提供超过特征的简单加和的协同效应。
尽管已经在附图和前面的描述中详细说明和描述了本发明，但这样的说明和描述应被认为是说明性或示例性的而非限制性的。本发明不限于所公开的实施例。通过研究附图、公开内容和从属权利要求，本领域的技术人员在实践请求保护的本发明时能够理解和实现所公开的实施例的其他变型。
在权利要求中，词语“包括”不排除其他元件或步骤，并且词语“一”或“一个”并不排除多个。单个处理器或其他单元可以履行权利要求书中记载的若干项目的功能。尽管在互不相同的从属权利要求中记载了特定措施，但是这并不指示不能有利地使用这些措施的组合。权利要求中的任何附图标记不应被解释为对范围的限制。

Claims (18)

1.一种包括用于促进迭代重建操作的经训练的机器学习模块(MLM)的系统(CDD)，其中，在一个或多个步骤中，图像域中的影像能够根据投影域中的测量的投影数据来重建，所述模块(MLM)被配置为：
接收在所述迭代重建操作中生成的输入校正数据，
基于所述输入校正数据来预测输出校正数据，并且
提供所述输出校正数据以促进将在给定的步骤中重建的当前图像校正为新的图像，
其中，所述输入校正数据在图像域中，基于反向投影误差投影数据，所述误差投影数据表示测量的投影数据与估计的投影数据之间的偏差，并且所述估计的投影数据是通过将所述当前图像前向投影到投影域中而获得的，或者
其中，所述输入校正数据在投影域中，基于测量的投影数据与估计的投影数据之间的偏差，所述估计的投影数据是通过将在给定的迭代步骤处重建的所述当前图像前向投影到投影域中而获得的。
2.根据权利要求1所述的系统，其中，所述模块(MLM)充当数据质量改进器，使得新的校正数据具有比所述输入校正数据更高的质量。
3.根据权利要求2所述的系统，其中，所述质量是噪声中的一个，并且所述系统包括多个这样的机器学习模块(MLMj)，所述多个这样的机器学习模块被配置用于相应的不同噪声降低水平。
4.根据权利要求3所述的系统，包括选择器(SL)，所述选择器用于接收选择器信号以基于期望的噪声降低水平来选择所述多个模块中的一个。
5.根据前述权利要求中的任一项所述的系统，其中，所述多个机器学习模块(MLMj)或所述多个机器学习模块(MLMj)中的至少一个机器学习模块包括人工神经网络模型(M)。
6.根据权利要求5所述的系统，其中，所述人工神经网络模型(M)是卷积神经网络。
7.根据前述权利要求中的任一项所述的系统，其中，所述卷积神经网络具有比图像域中的体素或投影域中的像素的邻域更大的有效感受野(RF)。
8.根据前述权利要求中的任一项所述的系统，所述投影数据是由成像装置测量的，所述成像装置是以下各项中的任一项：X射线成像装置、PET/SPECT成像装置和MRI成像装置。
9.根据权利要求2-8中的任一项所述的系统，其中，所述数据质量或图像质量涉及以下各项中的任一项或多项：噪声、分辨率和图像伪影。
10.一种用于在一个或多个步骤中根据投影域中的投影数据对图像域中的影像进行迭代重建的系统(IP)，包括：
存储器(MEM)，针对给定的迭代步骤的当前图像被存储在所述存储器上；
前向投影器(FP)，其用于将所述当前图像映射到投影域中以获得估计的投影数据；
比较器(COMP)，其被配置为将投影误差数据建立为，如果有的话，在所述投影数据与所述估计的投影数据之间的偏差，并且如果存在，
反向投影器(BP)，其用于将所述投影误差数据反向投影到图像域中以获得输入校正数据；
校正数据确定器(CDD)，其被实施为根据权利要求1-9中的任一项所述的经训练的机器学习模块，以基于所述输入校正数据来计算所述输出校正图像数据；以及
更新器(UD)，其被配置为将所述输出校正数据应用于所述当前图像以将所述当前图像更新为新的图像。
11.一种用于在一个或多个步骤中根据投影域中的投影数据对图像域中的影像进行迭代重建的系统(IP)，包括：
存储器(MEM)，针对给定的迭代步骤的当前图像被存储在所述存储器上；
前向投影器(FP)，其用于将所述当前图像映射到投影域中以获得估计的投影数据；
比较器(COMP)，其被配置为将输入校正数据建立为，如果有的话，在所述投影数据与所述估计的投影数据之间的偏差，并且如果有的话，
校正数据确定器(CDD)，其被实施为根据权利要求1-9中的任一项所述的经训练的机器学习模块，以基于所述输入校正数据来计算所述输出校正数据；以及
反向投影器(BP)，其被配置为将所述输入校正数据反向投影到图像域中以获得校正图像数据；以及
更新器(UD)，其被配置为将所述校正图像数据应用于所述当前图像以将所述当前图像更新为新的图像。
12.一种训练系统(TS)，其被配置为基于训练数据来训练根据前述权利要求中的任一项所述的机器学习模块(MLM)。
13.一种用于生成用于在根据权利要求12所述的系统中使用的训练数据的系统(TDG)，包括迭代重建器(RECON)，所述迭代重建器被配置为：i)处理投影数据以获得第一质量和第二质量处的校正图像数据，所述第二质量高于所述第一质量，所述系统提供所述第一质量和所述第二质量处的所述校正图像数据作为针对所述训练系统中的输入和训练目标的训练数据，其中，所述处理包括使用不同量的所述投影数据来执行迭代重建以获得所述第一质量和所述第二质量处的相应的校正图像数据，其中，所述相应的校正图像数据基于相应的反向投影误差投影数据，相应的误差投影数据表示相应的测量的投影数据与相应的估计的投影数据之间的相应的偏差，并且所述相应的估计的投影数据是通过将相应的当前图像相应地前向投影到投影域中而获得的，
或者ii)处理投影数据以获得第一质量和第二质量处的校正投影数据，所述系统提供所述第一质量和所述第二质量处的所述校正投影数据作为针对所述训练系统中的输入和训练目标的训练数据，
其中，所述处理包括基于相应的测量的投影数据与相应的估计的投影数据之间的相应的偏差使用不同量的所述投影数据来执行迭代重建以获得相应的校正投影数据，所述相应的估计的投影数据是通过将在给定的相应的迭代步骤处重建的相应的当前图像相应地前向投影到投影域中而获得的。
14.一种用于促进迭代重建操作的方法，其中，在一个或多个步骤中，图像域中的影像能够根据投影域中的测量的投影数据来重建，所述方法包括：
接收在所述迭代重建操作中生成的输入校正数据，
由经训练的机器学习模块基于所述输入校正数据来预测(S450、S540)输出校正数据，并且
提供所述输出校正数据以促进将在给定的步骤中重建的当前图像校正为新的图像，
其中，所述输入校正数据在图像域中，基于反向投影误差投影数据，所述误差投影数据表示测量的投影数据与估计的投影数据之间的偏差，并且所述估计的投影数据是通过将所述当前图像前向投影到投影域中而获得的，或者
其中，所述输入校正数据在投影域中，基于测量的投影数据与估计的投影数据之间的偏差，所述估计的投影数据是通过将在给定的迭代步骤处重建的所述当前图像前向投影到投影域中而获得的。
15.一种基于训练数据来训练(S940-S960)根据前述权利要求中的任一项所述的机器学习模块(MLM)的方法。
16.一种生成用于在训练机器学习模块中使用的训练数据的方法，包括：
i)处理(S920)投影数据以获得第一质量和第二质量处的校正图像数据，所述第二质量高于所述第一质量，其中，所述处理包括使用不同量的所述投影数据来执行迭代重建以获得所述第一质量和所述第二质量处的相应的校正图像数据，其中，所述相应的校正图像数据基于相应的反向投影误差投影数据，相应的误差投影数据表示相应的测量的投影数据与相应的估计的投影数据之间的相应的偏差，并且所述相应的估计的投影数据是通过将相应的当前图像相应地前向投影到投影域中而获得的，并且
提供(S930)所述第一质量和所述第二质量处的所述校正图像数据作为针对训练系统中的输入和训练目标的训练数据，或者
ii)处理(S920)投影数据以获得第一质量和第二质量处的校正投影数据，其中，所述处理包括基于相应的测量的投影数据与相应的估计的投影数据之间的相应的偏差使用不同量的所述投影数据来执行迭代重建以获得相应的校正投影数据，所述相应的估计的投影数据是通过将在给定的相应的迭代步骤处重建的相应的当前图像相应地前向投影到投影域中而获得的，并且
提供(S930)所述第一质量和所述第二质量处的所述校正投影数据作为针对训练系统中的输入和训练目标的训练数据。
17.一种计算机程序单元，所述计算机程序单元在由至少一个处理单元运行时适于使所述处理单元执行根据权利要求14-16中的任一项所述的方法。
18.一种至少一个计算机可读介质，在其上存储有根据权利要求17所述的程序单元，或者在其上存储有根据权利要求1-12、14和15中的任一项所述的训练机器学习模块。
CN202280030284.1A 2021-04-23 2022-04-12 基于机器学习的迭代图像重建改进 Pending CN117203671A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP21170069.5A EP4080459A1 (en) 2021-04-23 2021-04-23 Machine learning-based improvement in iterative image reconstruction
EP21170069.5 2021-04-23
PCT/EP2022/059674 WO2022223356A1 (en) 2021-04-23 2022-04-12 Machine learning-based improvement in iterative image reconstruction

Publications (1)

Publication Number Publication Date
CN117203671A true CN117203671A (zh) 2023-12-08

Family

ID=75659863

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280030284.1A Pending CN117203671A (zh) 2021-04-23 2022-04-12 基于机器学习的迭代图像重建改进

Country Status (4)

Country Link
EP (2) EP4080459A1 (zh)
JP (1) JP2024516611A (zh)
CN (1) CN117203671A (zh)
WO (1) WO2022223356A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115393534B (zh) * 2022-10-31 2023-01-20 深圳市宝润科技有限公司 一种基于深度学习的锥束三维dr重建方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11126914B2 (en) * 2017-10-11 2021-09-21 General Electric Company Image generation using machine learning

Also Published As

Publication number Publication date
EP4327286A1 (en) 2024-02-28
JP2024516611A (ja) 2024-04-16
WO2022223356A1 (en) 2022-10-27
EP4080459A1 (en) 2022-10-26

Similar Documents

Publication Publication Date Title
Würfl et al. Deep learning computed tomography: Learning projection-domain weights from image domain in limited angle problems
Armanious et al. Unsupervised medical image translation using cycle-MedGAN
US11847761B2 (en) Medical image processing apparatus having a plurality of neural networks corresponding to different fields of view
US11026642B2 (en) Apparatuses and a method for artifact reduction in medical images using a neural network
US11610346B2 (en) Image reconstruction using machine learning regularizers
US11517197B2 (en) Apparatus and method for medical image reconstruction using deep learning for computed tomography (CT) image noise and artifacts reduction
JP6855223B2 (ja) 医用画像処理装置、ｘ線コンピュータ断層撮像装置及び医用画像処理方法
US10475214B2 (en) Tomographic reconstruction based on deep learning
JP2024054204A (ja) ニューラルネットワークの学習方法、プログラム、医用画像処理方法及び医用装置
JP6044046B2 (ja) 動き追従ｘ線ｃｔ画像処理方法および動き追従ｘ線ｃｔ画像処理装置
US10475215B2 (en) CBCT image processing method
JP2021013736A (ja) Ｘ線診断システム、画像処理装置及びプログラム
EP3937122A1 (en) 3d-cnn processing for ct image noise removal
Ye et al. Unified supervised-unsupervised (super) learning for x-ray ct image reconstruction
CN116157826A (zh) 深度无监督的图像质量增强
CN116917945A (zh) 用于对比度增强机器学习系统的训练数据合成器
CN117203671A (zh) 基于机器学习的迭代图像重建改进
Jiao et al. Fast PET reconstruction using multi-scale fully convolutional neural networks
CN116888624A (zh) 通过机器学习的对比度提升
CN116420165A (zh) 通过具有和不具有形状先验的分割结果来检测解剖异常
US11672498B2 (en) Information processing method, medical image diagnostic apparatus, and information processing system
US20230029188A1 (en) Systems and methods to reduce unstructured and structured noise in image data
EP4343680A1 (en) De-noising data
Chen et al. Enhancing Low-dose CT Image Reconstruction by Integrating Supervised and Unsupervised Learning
WO2024061664A1 (en) De-noising data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination