CN110807737A - 迭代图像重建框架 - Google Patents

Abstract

本发明题为“迭代图像重建框架”。本发明涉及一种在降噪、空间分辨率、细节保留和计算复杂性方面具有有利特性的图像重建。所公开的技术可以包括以下各项中的一些或全部：第一遍重建、简化的数据拟合项、和/或深度学习去噪器。在各种具体实施中，所公开的技术可以诸如通过结合第一遍重建步骤来植入到不同的CT平台。

Description

迭代图像重建框架

技术领域

本文所公开的主题涉及使用非侵入性采集的扫描数据进行的图像迭代重建。

背景技术

非侵入性成像技术允许获得患者/对象的内部结构或特征的图像，而无需对患者/对象执行侵入性过程。具体地讲，此类非侵入性成像技术依赖于各种物理原理(诸如X射线穿过目标体积的差分透射、体积内的声波反射、体积内不同组织和材料的顺磁性、目标放射性核素在体内的分解等)，以采集数据和构建图像或以其它方式表示观察到的患者/对象的内部特征。

可以使用各种类型的重建过程和算法来执行使用非侵入性采集的扫描数据进行的图像重建。所有重建过程和算法均经受各种折衷，诸如在计算效率、患者剂量、扫描速度、图像质量和伪影之间的折衷。

以举例的方式，计算机断层摄影(CT)图像可能因X射线的量子特性和检测器读出噪声而受到图像噪声的影响。此类图像在空间分辨率方面受到几个因素的限制，这些因素包括有限焦点尺寸、检测器单元尺寸和重建过程。当辐射剂量增大时或者当空间分辨率增大时，图像噪声增大。因此，期望针对给定辐射剂量使图像噪声最小化并使空间分辨率最大化。同样重要的是，重建过程保留低对比度细节，并且重建过程在计算上有效。

发明内容

下文示出了本文所公开的某些实施方案的概述。应当理解，提供这些方面仅仅是为了向读者提供这些特定实施方案的简要概述，并且这些方面并非旨在限制本公开的范围。实际上，本公开可涵盖下文可能未示出的各个方面。

在一个实施方案中，提供了用于重建图像的方法。根据该实施方案，接收到正弦图输入。根据正弦图输入或者根据由正弦图输入生成的一个或多个中间图像生成一个或多个中间正弦图。迭代地处理一个或多个中间正弦图。迭代处理包括至少执行迭代数据拟合操作，以将迭代循环的输出与对迭代循环的输入进行比较。除数据拟合操作之外，还执行去噪操作。使用经训练的人工神经网络来执行去噪操作。在完成迭代处理之后，重建并输出最终图像，以供查看、存储或进一步处理。

在另一个实施方案中，提供了用于重建图像的方法。根据该实施方案，接收到正弦图输入。对正弦图输入执行初始重建或多重部分重建，以生成中间图像或多个中间图像。迭代地处理一个或多个中间图像或者一个或多个中间图像的变换形式。迭代处理包括至少执行迭代数据拟合操作，以将迭代循环的输出与对迭代循环的输入进行比较。除数据拟合操作之外，还执行去噪操作。使用经训练的人工神经网络来执行去噪操作。在完成迭代处理之后，重建并输出最终图像，以供查看、存储或进一步处理。

在另外的实施方案中，提供了用于重建图像的方法。根据该实施方案，接收到正弦图输入。使用第一经训练的人工神经网络对正弦图输入执行第一去噪操作。重建正弦图输入以生成一个或多个重建图像。使用第二经训练的人工神经网络在图像域中执行第二去噪操作。在完成迭代处理之后，输出最终图像，以供查看、存储或进一步处理。

附图说明

当参考附图阅读以下详细描述时，将更好地理解本发明的这些和其它特征、方面和优点，附图中相同的符号在整个附图中表示相同的部分，其中：

图1描绘了根据本公开的各方面的用于训练深度学习模型的人工神经网络的示例；

图2是描绘了根据本公开的各方面的计算机断层摄影(CT)成像系统的部件的框图；

图3描绘了根据本公开的各方面的包括数据拟合操作和去噪的图像重建过程流的通用具体实施；

图4描绘了根据本公开的各方面的使用常规和信息保留滤波反投影结合对应的残余误差正弦图重建的图像；

图5描绘了根据本公开的各方面的图像重建过程流的具体实施，该图像重建过程流包括在迭代循环内并行地运行的数据拟合操作和去噪；

图6描绘了根据本公开的各方面的图像重建过程流的具体实施，该图像重建过程流包括在迭代循环内串行地运行的数据拟合操作和去噪；

图7描绘了根据本公开的各方面的图像重建过程流的具体实施，该图像重建过程流包括在迭代循环内的数据拟合操作和单独的去噪操作；

图8描绘了根据本公开的各方面的图像重建过程流的具体实施，该图像重建过程流包括傅里叶域数据并且包括在迭代循环内串行地运行的数据拟合操作和去噪；

图9描绘了根据本公开的各方面的图像重建过程流的具体实施，该图像重建过程流包括在图像域中操作的迭代循环内串行地运行的数据拟合操作和去噪；

图10描绘了根据本公开的各方面的包括数据拟合操作和去噪的图像重建过程流的通用具体实施；

图11描绘了根据本公开的各方面的图像重建过程流的通用具体实施，该图像重建过程流包括正弦图重组操作并且包括数据拟合操作和去噪；

图12描绘了根据本公开的各方面的利用滤波反投影重建的图像的示例；

图13描绘了根据本公开的各方面的利用滤波反投影和正弦图域去噪重建的图像的示例；

图14描绘了根据本公开的各方面的利用滤波反投影、正弦图域去噪和图像域去噪重建的图像的示例；并且

图15描绘了根据本公开的各方面的利用信息保留滤波反投影、正弦图域去噪、图像域去噪和数据拟合操作重建的图像的示例。

具体实施方式

在下面将描述一个或多个具体的实施方案。为了提供这些实施方案的简明描述，并非实际具体实施的所有特征都要在说明书中进行描述。应当理解，在任何此类实际具体实施的开发中，如在任何工程或设计项目中，必须做出许多具体实施特定的决策以实现开发者的具体目标，诸如遵守可能因具体实施而不同的系统相关和业务相关约束。此外，应当理解，此类开发努力可能是复杂且耗时的，但对于受益于本公开的普通技术人员来说仍然是设计、制作和制造的常规任务。

虽然在医学成像背景中提供以下讨论的各个方面，但应当理解，本发明所公开的技术不限于此类医学背景。实际上，在此类医学背景中提供示例和解释仅是为了通过提供现实具体实施和应用的实例来便于进行解释。然而，所公开的技术也可以用于其他背景中，诸如用于在制成件或制成品的非破坏性检查(即，质量控制或质量审核应用)和/或包裹、箱盒、行李等的非侵入性检查(即，安检或筛检应用)中使用的工业计算机断层摄影(CT)的迭代断层摄影图像重建。一般来讲，本公开可以是在任何成像或筛检背景或图像处理领域中有用的，其中采集的一组或一类数据经历重建过程以生成图像或体积。

此外，虽然以下讨论集中于标准图像或图像体积，但是应当理解，同一方法也可以应用于对应于扫描的不同方面的各组图像或图像体积。例如，光谱CT产生一组图像，包括在不同的能量下的单色图像以及基础材料分解图像。或者，又如，动态CT或PET在不同的时间点上产生一组图像。本发明可以应用于这些组或类型的图像以及其他图像。

此外，尽管本文主要地提供CT和C臂示例，但是应当理解，所公开的技术可以用于其中采用迭代断层摄影重建过程的其他成像模态背景中。例如，当前描述的方法也可以用于由其他类型的断层摄影扫描仪(包括但不限于正电子发射断层摄影(PET)扫描仪、单光子发射计算机断层摄影(SPECT)扫描仪和/或磁共振成像(MRI)扫描仪)获取的数据。

以举例的方式，若干成像模态，诸如X射线CT(例如，多层面CT)和X射线C臂系统(例如，锥束CT)，测量被扫描的对象或患者的投影，其中取决于技术，投影对应于Radon变换数据、扇束变换数据、锥束变换数据或非均匀傅里叶变换。在其他背景下，扫描数据可以是响应于磁场和RF脉冲而生成的发射型数据(例如，PET或SPECT数据)或磁共振数据(例如，MRI数据)。迭代断层摄影重建算法和相关的校正和校准算法与这些成像模态结合使用，以根据原始测量值生成有用的横截面图像或体积图像。

常规重建技术通常使用重建算法，该重建算法可以被表征为直接重建(其执行显式反转步骤)或基于优化的重建(其迭代地优化成本函数)。直接重建方法是相对快的，但是缺乏抑制噪声和某些伪影的有效方法。基于优化的重建方法提供了改进的降噪，并且可以在不易分析上反转的正向模型中结合物理效应，但是这种方法是相对计算上昂贵的。

如本文所讨论的，本公开涉及一种在降噪、空间分辨率、细节保留和计算复杂性方面具有有利特性的图像重建方法。所公开的技术可以包括以下三个不同方面中的一些或全部：第一遍重建、简化的数据拟合项、和/或深度学习去噪器。如本文所用，术语“数据拟合”可以被理解为意指重建成本函数项，其定义估计解决方案或变量组(例如，重建图像)与测量数据(例如，正弦图)的一致性水平。例如，数据拟合项可以是测量的正弦图与估计的重建图像的重新投影之间的加权最小平方误差。为了降低数据拟合操作的计算复杂性或改善图像质量，“数据拟合操作”还可以定义估计解决方案或变量组(例如，重建图像)与如本文所讨论的测量数据的变换形式(例如，根据测量数据进行的初始重建的重新投影)的一致性水平。因此，如本文所用，“数据拟合操作”或“数据拟合更新”可以被理解为是指估计解决方案的迭代更新，其中迭代更新被设计为增强估计解决方案与测量数据或间接地与测量数据的变换形式的一致性。根据该方法，可以实现直接重建方法的简单性以及深度学习的降噪能力，其中还存在数据拟合项的统计益处。另外，在各种具体实施中，本公开可以容易地例如通过结合第一遍重建步骤来植入到不同的CT平台，如本文所讨论的。

考虑到前述介绍性评论，提供了一些通用信息，以指示本公开的通用背景，并且有利于理解和解释本文所述的某些技术概念。

例如，如上所述，关于图像的去噪可以采用深度学习方法。本文所讨论的深度学习去噪步骤可以包括基于残差网络、生成式对抗网络或另一种损耗网络的方法。在某些具体实施中，这种深度学习方法可以在作为用于生成断层摄影图像(诸如CT、PET、SPECT、C臂、相位对比和MR图像)的重建过程的一部分的该去噪角色中使用神经网络。如本文所讨论的神经网络可以涵盖深度神经网络、完全连接的网络、卷积神经网络(CNN)、感知器、自动编码器、回归网络、基于小波滤波器组的神经网络或其他神经网络架构。这些技术在本文中称为深度学习技术，但是也可以特别地参考深度神经网络的使用来使用该术语，深度神经网络是具有多个层的神经网络。

如本文所讨论，深度学习技术(其也可以被称为深度机器学习、分级学习或深度结构化学习)是机器学习技术的分支，其采用数据的数学表示和人工神经网络来进行学习。以举例的方式，深度学习方法可以被表征为它们使用一个或多个算法来提取一类感兴趣的数据的高级抽象或对其进行建模。这可以使用一个或多个处理层来完成，其中每个层通常对应于不同级别的抽象，并且因此可能采用或利用初始数据的不同方面或前一层的输出(即，层的分级结构或级联结构)作为给定层的过程或算法的目标。在图像处理或重建背景中，这可以被表征为对应于数据中的不同的特征级别或分辨率的不同的层。

一般来讲，从一个表示空间到下一级表示空间的处理可以被认为是重建过程的一个“阶段”。重建的每个阶段可以通过单独的神经网络或通过一个较大神经网络的不同部分来执行。例如，如本文所讨论的，可以使用单个深度学习网络来提供对图像的去噪，以作为重建过程中的步骤。

如本文所讨论，作为解决特定问题的深度学习过程的初始训练的一部分，可以采用具有深度学习过程的已知初始值(例如，输入图像、投影数据、发射数据、磁共振数据等)和最终输出(例如，重建断层摄影重建，诸如去噪的横截面图像或体积表示)的已知或期望值的训练数据集。单个阶段的训练可以具有对应于一个表示空间的已知输入值和对应于下一级表示空间的已知输出值。以这种方式，深度学习算法可以(以监督或指导的方式或以无监督或无指导的方式)处理已知或训练数据集，直到看出初始数据与一个或多个期望输出之间的数学关系和/或看出和表征每个层的输入和输出之间的数学关系。类似地，可以采用单独验证数据集，其中初始和期望目标值是已知的，但是仅将初始值提供到受过训练的深度学习算法，然后将输出与深度学习算法的输出进行比较以检验先前训练和/或防止过度训练。

考虑到前述内容，图1示意性地描绘了人工神经网络50的示例，该人工神经网络可以被训练为如本文所讨论的深度学习模型。在该示例中，网络50是多层的，具有训练输入52和存在于网络50中的多个层(包括输入层54、隐藏层58A、58B等，以及输出层60和训练目标64)。在该示例中，每个层由多个“神经元”或节点56组成。神经元56的数量可以在层之间是恒定的，或如图所示，可以各层不同。每个层的神经元56生成相应输出，该相应输出用作下一分层的神经元56的输入。在实践中，计算具有加入的偏差的输入的加权和以根据激活函数“激励”或“激活”层的每个相应神经元，诸如整流线性单位(ReLU)、S形函数、双曲正切函数，或以其他方式指定或编程。最后一层的输出构成网络输出60(例如，预测图像)，其与目标图像64一起用于计算一些损失或误差函数62，损失或误差函数将被反向传播以指导网络训练。

损耗或误差函数62测量网络输出(即，去噪图像)与训练目标之间的差异。在某些具体实施中，损失函数可以是体素级别值或部分线积分值的均方误差(MSE)和/或可以解释涉及其他图像特征的差异，诸如图像梯度或其他图像统计值。另选地，损失函数62可以由与所讨论的特定任务相关联的其他度量(诸如softmax函数)来定义。

为了便于解释使用深度学习技术的本发明的断层摄影重建方法，本公开主要在CT或C臂系统的背景中讨论这些方法。然而，应当理解，以下讨论也可以适用于其他图像模态和系统，包括但不限于PET、SPECT、多光谱CT、相衬成像和MRI，以及非医学背景或其中采用断层摄影重建来重建图像的任何背景。

考虑到这一点，图2中描绘了成像系统110(即，扫描仪)的示例。在所描绘的示例中，成像系统110是CT成像系统，其被设计为围绕患者(或其他感兴趣的受检者或对象)以各种视图获取扫描数据(例如，X射线衰减数据)并适合于使用断层摄影重建技术执行图像重建。在图2所示的实施方案中，成像系统110包括邻近准直器114定位的X射线辐射源112。X射线源112可以是X射线管、分布式X射线源(诸如固态或热离子X射线源)或适合于采集医疗或其他图像的任何其他X射线源。相反地，在PET或SPECT实施方案中，可以提供环形辐射检测器，并且使用放射性示踪剂作为辐射源。在MRI的情况下，测量值是傅里叶空间中的样本，并且可以作为神经网络的输入直接地应用，或可以首先在正弦图空间中转换为线积分。

在所描绘的示例中，准直器114对X射线束116进行成形或限制，该X射线束进入患者/对象118所定位的区域。在所描绘的示例中，X射线116被准直为穿过成像体积的锥形束，即锥束。X射线辐射120的一部分通过患者/对象118(或其他感兴趣的受检者)或穿过其周围并撞击检测器阵列(通常以附图标记122表示)。该阵列的检测器元件产生表示入射X射线120的强度的电信号。获取并处理这些信号以重建患者/对象118体内的特征的图像。

源112由系统控制器124控制，该系统控制器提供用于CT检查序列的功率和控制信号两者，包括采集二维定位器或用于识别患者/对象体内的感兴趣的解剖结构的侦察图像以用于后续扫描方案。在所描绘的实施方案中，系统控制器124经由X射线控制器126控制源112，该X射线控制器可以是系统控制器124的部件。在这样的实施方案中，X射线控制器126可以被配置为向X射线源112提供功率和定时信号。

此外，检测器122耦接到系统控制器124，该系统控制器控制对检测器122中生成的信号的采集。在所描绘的实施方案中，系统控制器124使用数据采集系统128获取由检测器生成的信号。数据采集系统128接收由检测器122的读出电子器件收集的数据。数据采集系统128可以从检测器122接收经采样的模拟信号，并且将数据转换为数字信号，以便由下面讨论的处理器130进行后续处理。另选地，在其他实施方案中，数字-模拟转换可以由设置在检测器122自身上的电路执行。系统控制器124还可以关于所获取的图像信号执行各种信号处理和滤波功能，诸如用于动态范围的初始调整、数字图像数据交错等。

在图2所示的实施方案中，系统控制器124耦接到旋转子系统132和线性定位子系统134。旋转子系统132使X射线源112、准直器114和检测器122能够围绕患者/对象118旋转一圈或多圈，诸如围绕患者主要在x、y平面中旋转。应当指出的是，旋转子系统132可以包括机架或C臂，相应的X射线发射和检测部件设置在该机架或C臂上。因此，在这样的实施方案中，系统控制器124可以用于操作机架或C臂。

线性定位子系统134可以使患者/对象118或更具体地支撑患者的工作台能够在CT系统110的孔内移位，诸如相对于机架的旋转在z方向上移位。因此，工作台可以在机架内线性移动(以连续或逐步的方式)以生成患者118的特定区域的图像。在所描绘的实施方案中，系统控制器124经由马达控制器136控制旋转子系统132和/或线性定位子系统134的移动。

一般来讲，系统控制器124命令成像系统110的操作(诸如经由源112、检测器122和上述定位系统的操作)以执行检查方案并处理所获取的数据。例如，系统控制器124经由上述系统和控制器可以使支撑源112和检测器122的机架围绕感兴趣的受检者旋转，使得可以相对于受检者的一个或多个视图获得X射线衰减数据。在本背景中，系统控制器124还可以包括信号处理电路、用于存储由计算机执行的程序和例程的相关联的存储器电路(诸如用于执行本文所述的断层摄影重建技术的例程)，以及配置参数、图像数据等。

在所描绘的实施方案中，由系统控制器124获取和处理的图像信号被提供给处理部件130，以用于根据当前公开的算法重建图像。处理部件130可以是一个或多个通用或专用微处理器。由数据采集系统128采集的数据可以直接地传输到处理部件130，或在存储在存储器138中之后传输。适合于存储数据的任何类型的存储器都可以由这样的示例性系统110使用。例如，存储器138可以包括一个或多个光学、磁性和/或固态存储器存储结构。此外，存储器138可以位于采集系统站点处和/或可以包括用于存储用于断层摄影图像重建的数据、处理参数和/或例程的远程存储设备，如下所述。

处理部件130可以被配置为经由操作员工作站140从操作员接收命令和扫描参数，操作员工作站140通常被配备有键盘和/或其他输入设备。操作员可以经由操作员工作站140控制系统110。因此，操作员可以使用操作员工作站140观察重建图像和/或以其他方式操作系统110。例如，耦接到操作员工作站140的显示器142可以用于观察重建图像并控制成像。另外，图像也可以由打印机144打印，该打印机144可以耦接到操作员工作站140。

此外，处理部件130和操作员工作站140可以耦接到其他输出设备，其他输出设备可以包括标准或专用计算机监视器和相关联的处理电路。可以在系统中进一步链接一个或多个操作员工作站140，以用于输出系统参数、请求检查、查看图像等。一般来讲，系统内提供的显示器、打印机、工作站和类似设备可以是数据采集部件本地的，或可以远离这些部件，诸如机构或医院内的其他地方，或位于完全不同的位置，经由一个或多个可配置的网络(诸如互联网、虚拟专用网络等)链接到图像采集系统。

还应注意，操作员工作站140还可以耦接到图片存档和通信系统(PACS)146。PACS146继而可以耦接到远程客户端148、放射科信息系统(RIS)、医院信息系统(HIS)、或内部网络或外部网络，以便不同位置的其他人可以访问原始或经处理的图像数据。

虽然前述讨论已经分别处理了成像系统110的各种示例性部件，但是这些各种部件可以在公共平台内或在互连平台中提供。例如，处理部件130、存储器138和操作员工作站140可以被共同地提供为通用或专用计算机或工作站，其被配置为根据本公开的方面进行操作。在这样的实施方案中，通用或专用计算机可以相对于系统110的数据采集部件被提供作为单独部件，或可以在具有这样的部件的公共平台中提供。同样地，系统控制器124可以作为这种计算机或工作站的一部分提供，或作为专用于图像采集的单独系统的一部分提供。

图2的系统可以用于采集关于患者的感兴趣的区域的各种视图的X射线投影数据(或其他模态的其他扫描数据)，以使用扫描数据重建成像区域的图像。由诸如成像系统110的系统获取的投影(或其他)数据可以如本文所讨论的那样被重建以执行断层摄影重建。

考虑到前述背景和上下文讨论，本公开涉及一种在降噪、空间分辨率、细节保留和计算复杂性方面具有有利特性的图像重建方法。所公开的技术可以包括以下三个不同方面中的一些或全部：第一遍重建、简化的数据拟合项、和/或图像域深度学习去噪器。根据该方法，可以实现直接重建方法的简单性以及深度学习的降噪能力，其中还存在数据拟合项的统计益处。另外，在各种具体实施中，所公开的技术可以容易地例如通过结合第一遍重建步骤来植入到不同的CT平台，如本文所讨论的。

通过举例说明的方式，并且转到图3，在通用具体实施中，测量的正弦图190可以首先经历各种任选的预处理步骤192。例如，在光子饥饿背景中，正弦图处理可以包括去除或以其他方式校正正弦图190中存在的低信号伪影，这可能使得形成在图像域中更难以进行寻址的伪影。类似地，还可以作为预处理步骤192的一部分执行射束硬化校正或散射校正。

第一遍重建194将正弦图190转换为中间图像198(或图像体积)，然后将该中间图像用作迭代处理步骤(诸如，包括数据拟合操作202和深度学习去噪操作204中的一者或两者的迭代过程)的输入，以产生最终图像208。在描绘的示例中，数据拟合和去噪操作是并行地执行的，但它们可以另选地串行地执行。

如本文所用，数据拟合操作202或比较类似于在基于模型的迭代重建(MBIR)中执行的数据拟合操作。然而，不同于MBIR操作，该数据拟合操作202和/或更新与对最新迭代的输出和中间重建或正弦图(例如，中间图像198)执行的比较和更新步骤对应，而不是与对原始测量数据执行比较和更新步骤对应。在实践中，数据拟合操作202通过重新参考较早状态的图像或数据(这里是初始中间图像198)来帮助保持空间分辨率。数据拟合操作202还允许应用统计建模，并从而改善过程的空间分辨率和统计效率。

在一个实施方案中，第一遍重建194是分析重建，诸如滤波反投影(FBP)，或者在一种具体实施中，为信息保留滤波反投影重建(IPFBP)。滤波反投影通常可抑制图像噪声以实现优化的图像质量或人类观察者的工作效能，但却以丢失相对于测量正弦图190的空间分辨率或信息为代价。关于如本文所用的IPFBP重建，这种重建是一种类型的FBP重建，其被设计或配置成避免或减少分辨率损失，即，保留测量正弦图190中存在的信息。与FBP相比，IPFBP可以具有更小的体素尺寸(例如，使用1024×1024或2048×2048图像矩阵，而不是512×512图像矩阵)、高通内核(例如，与标准斜坡滤波器相比，放大某些或所选频率)以及/或用于对正弦图进行滤波或反投影的较高上采样率(例如，在滤波和反投影期间以2至4的因子对正弦图进行上采样)。例如，可以根据经验定义重建内核以使FBP重建的重新投影与测量的正弦图190之间的误差最小化。可以在后续步骤中针对与人类观察者的直接观察相反的非人类分析或处理(例如，通过经训练神经网络进行)优化此类IPFBP重建。

以举例的方式，并且转向图4，提供通过标准FBP(左侧)重建的图像与通过IPFBP算法重建的图像之间的视觉比较，其可以用作如本文所讨论的第一遍重建194。在例示的示例中，利用512×512重建网格、标准滤波器内核、以及在反投影之前未对检测器数据进行上采样来执行标准FBP重建。相比之下，IPFBP重建使用1024×1024重建网格、高分辨率滤波器内核(即，通过使FBP重建的重新投影和测量的正弦图之间的误差最小化来设计的更高分辨率滤波器内核)、以及在反投影之前对检测器数据进行4X上采样。尽管所描绘的标准FBP图像220具有更低的噪声水平和更平滑的外观，但所描绘的IPFBP图像222包含更多信息，如仅在IPFBP图像中可见的精细分辨率特征所证实的。还描绘了每个重建的相应残余误差正弦图224、226以供比较，其进一步说明了在IPFBP重建中获得的残余误差的相对降低。

转到图5、图6和图7，在某些实施方案中，正弦图处理步骤192可以是或可以包括与在图像域中执行的去噪步骤204不同的正弦图去噪步骤230(例如，使用经训练的神经网络或卷积神经网络执行的深度学习正弦图去噪步骤)。在投影域中执行的该正弦图去噪步骤230可以主要应用于正弦图190的最低信号部分。这种对正弦图190的这种低信号部分的优先应用可以通过加权函数显式地实现，或者通过深度学习去噪网络隐式地实现。

如图5至图7所示，在某些实施方案中，数据拟合操作202可以采用使用第一遍重建的重新投影(重新投影步骤234)执行的数据拟合更新232的形式(即，数据拟合项基于由滤波反投影238生成的中间图像198)，以生成中间正弦图236。然后，可以将该中间正弦图236用作迭代重建更新步骤的输入(即，具有基于深度学习的去噪的数据拟合更新232，其可以用作迭代过程的规则化项)，例如，其中使用最佳噪声行为的对应统计权重。

在某些具体实施中，可以例如通过将重新投影任务分成更小的部分，在不同步骤或时间处对中间图像198的不同部分(即，中间图像198的受限部分)执行重新投影操作234，以提高计算效率。重投影步骤234可以简化为二维平行-光束或扇形-光束或扇形-平行-光束重新投影，以及相对于用于采集原始正弦图190的采集几何形状和/或视图数量的减少数量的视图。还可以利用虚拟源轨道和/或检测器位置来执行重新投影步骤234，该虚拟源轨道和/或检测器位置不同于为采集初始扫描数据所实际采用的那些(包括安装在扫描仪上的物理源和检测器不实用或不可能的虚拟源轨道和/或检测器位置)。这样，可以获得各种益处，包括计算效率和图像质量的改善。例如，源轨道的旋转轴线可以相对于物理旋转轴线偏移或倾斜。

在各种实施方案中，滤波反投影238和中间图像198还可以是诸如在部分角度范围内的简化部分重建(与诊断质量或常规分辨率重建相反)，其足以用于随后的重新投影步骤234。例如，中间图像198可以是一组有限角度重建，其沿重新投影射线的对应方向具有较大的像素尺寸。在此类具体实施中，可以降低第一遍重建(例如，FBP 238)和重新投影步骤234两者的计算成本。在各种此类实施方案中，可以生成与不同投影角度对应的多个中间图像或中间正弦图。

图5至图7在数据拟合操作(例如，数据拟合更新232)和去噪操作(例如，深度学习去噪204)协调的方式方面不同。如可以理解的，这些操作可以各种排列来执行和组合，图5至图7中描绘了三个示例。然而，应当理解，本讨论涵盖并设想了其他过程流程和步骤组合。

关于图5，在该示例性过程流中，深度学习去噪操作204在迭代循环内以并行方式与数据拟合更新232组合(步骤240)，使得循环的每次迭代生成重建图像242，该重建图像输入到相应数据拟合更新232和去噪操作204，以用于下一次迭代，直到执行设定数量的迭代或满足一些其他完成阈值(例如，成本函数)，此时，最新的重建图像242是最终图像208。

转到图6，在该示例性过程流中，深度学习去噪操作204在迭代循环内以顺序方式与数据拟合更新232组合(步骤240)，使得由相应迭代生成的对应重建图像242被输入到相应的数据拟合更新232，以用于下一次迭代，直到执行设定数量的迭代或满足一些其他完成阈值(例如，成本函数)，此时，最新的重建图像242是最终图像208。

最后，转到图7，在该示例性过程流中，深度学习去噪操作204在迭代循环之外在最终重建图像242上执行以生成最终图像208。在该示例中，由相应迭代生成的对应重建图像242被输入到相应的数据拟合操作232，以用于下一次迭代，直到执行设定数量的迭代或满足一些其他完成阈值(例如，成本函数)。从迭代更新过程输出所得的重建图像242，并对其进行去噪204以生成最终图像208。

在其他实施方案中，数据拟合项(例如，数据拟合更新232)可以基于中间图像198的图像变换。以举例的方式，并且如图8所示，迭代过程的数据拟合更新232可以基于第一遍重建(例如，FBP 238)的(局部)傅里叶变换250(产生傅里叶数据252)。在此类示例中，数据拟合项可以包括基于傅立叶的加权。将给定迭代循环的重建图像242的傅里叶变换(例如，快速傅里叶变换(FFT))作为傅里叶数据返回到数据拟合更新步骤232，直到迭代完成。如可以理解的，其他图像变换形式(诸如小波帧)也可以用作数据拟合项。

图8中示出的过程流示例与图6中所示的顺序流对应。然而，如可以理解的，该示例中的深度学习去噪步骤204可以应用于不同的配置中，这些配置包括图5和图7中所示的并行示例性过程流和迭代循环外部示例性过程流，以及其他合适的过程流配置。

在另一个实施方案中，图9中描绘了一个示例，数据拟合项直接基于第一遍重建(例如，根据滤波反投影238生成的中间图像198)。这样，数据拟合项在图像域中(即，图像域数据拟合更新260)。数据拟合项可以包括空间相关项以考虑相关噪声。给定迭代循环的重建图像242用作图像域数据拟合更新步骤260的输入，直到迭代完成。在各种此类实施方案中，数据拟合项还可以包括多个中间图像，例如，与不同投影角度对应的图像。

如前述示例中所述，图9中示出的过程流示例与图6中所示的顺序流对应。然而，如可以理解的，该示例中的深度学习去噪步骤204可以应用于不同的配置中，这些配置包括图5和图7中所示的并行示例性过程流和迭代循环外部示例性过程流，以及其他合适的过程流配置。

图10和图11的过程流中示出了上文所讨论的方法的各方面的其他变化和修改。以举例的方式，图10描绘了包括正弦图190的正弦图深度学习去噪230以及随后的重建步骤194(诸如，FBP或IPFBP)的过程流。重建步骤194的结果(即，图像)可以在图像域中经历深度学习去噪204以生成最终图像208。在第一遍重建194之后，任选的数据拟合操作202还可以与深度学习去噪204一起应用，以作为所描绘的过程流的一部分。

在又一个实施方案中，如图11所示，省略了如图3所示的第一遍重建步骤194和中间重建图像198。相反，通过正弦图重组270直接由预处理的正弦图190生成中间正弦图236。可以通过以各种方式重组来生成中间正弦图236，例如通过应用简化的、修改的、或虚拟的投影几何形状来生成该中间正弦图。另选地，可以根据一致性条件并且/或者通过深度学习方法(例如，经训练的神经网络)的应用来生成在中间正弦图236中使用的新的正弦图数据。可以针对各种计算或图像质量益处来完成此类方法。如前述示例中所述，数据拟合和图像域去噪操作可以与发生在迭代循环之外的去噪按顺序地、并行地应用。

还可以理解，在现有图像重建方法、图像处理方法和某些具体实施中，本文所述的不同方法和过程流中的一些或全部可以并行地运行，并且输出图像(即，由不同的并行过程生成的相应最终图像208)可以由深度学习网络(例如，经训练的神经网络)组合，以便选择最佳图像用于给定诊断目的，以便组合成聚合或加权图像，并且/或者以便处理成得到进一步改善的图像。此类并行处理方法(即，并行地运行生成不同但相当的输出的不同过程)以及随后生成或选择单个最终图像可以被称为“装袋”，并且可以用于组合优点以及避免或减少相应单个技术的缺点。

考虑到前述内容，图12至图15描绘了与本文所讨论和描述的不同操作对应的重建图像(这里是骨盆的临床CT扫描)，以便于对单独操作和组合操作的效果进行比较。例如，图12与使用标准滤波反投影(FBP)算法生成的重建图像对应，其可以因此与如本文所用的第一遍重建对应。通过将滤波反投影应用于测量的正弦图来生成该图像，其中未在投影或图像域中进行去噪。

图13示出了与图12相同的测量正弦图数据的滤波反投影重建。然而，在该示例中，在FBP操作之前执行正弦图域(即，投影空间)深度学习去噪操作。在该示例和以下示例中，将正弦图域(即，投影空间)深度学习去噪操作实现为具有层间连接的8层完全连接网络。

图14通过添加在FBP操作之后执行的图像域(即，图像空间)深度学习去噪操作来继续图13中例示的操作序列。在该示例和以下示例中，将图像域深度学习去噪操作实现为基于8层收缩路径的卷积编码器-解码器。

除了投影域和图像域去噪之外，图15还描绘了具有两个附加变量的图像重建。使用信息保留滤波反投影(IPFBP)算法代替常规FBP来执行第一遍重建，如本文所讨论的。另外，在该示例中采用数据拟合项(使用如本文所讨论的数据拟合更新来实现)来进行图像域去噪。用于生成图15的组合的DL_sino+IPFBP+数据拟合+Dlimg_img算法根据图7中所示的过程流来实现。

本发明的技术效应包括在降噪、空间分辨率、细节保留和计算复杂性方面具有有利特性的图像重建。所公开的所述技术可以包括以下各项中的一些或全部：第一遍重建、简化的数据拟合项、和/或深度学习去噪器。在各种具体实施中，本公开可以例如通过结合第一遍重建步骤来植入到不同的CT平台。

该书面描述使用示例来公开本发明，包括最佳模式，并且还使本领域技术人员能够实践本发明，包括制造和使用任何设备或系统以及执行任何包含的方法。本发明的专利范围由权利要求书限定，并且可包括本领域技术人员想到的其他示例。如果此类其它示例具有与权利要求书的字面语言没有区别的结构元素，或者如果它们包括与权利要求书的字面语言具有微小差别的等效结构元素，则此类其它示例旨在落入权利要求书的范围内。

Claims (10)

1.一种用于重建图像的方法，包括：

接收正弦图输入；

根据所述正弦图输入或者根据由所述正弦图输入生成的一个或多个中间图像生成一个或多个中间正弦图；

迭代地处理所述中间正弦图，其中所述迭代处理包括至少执行迭代数据拟合操作，以将迭代循环的输出与对所述迭代循环的输入进行比较；

除了所述数据拟合操作之外，还执行去噪操作，其中使用经训练的人工神经网络来执行所述去噪操作；以及

在完成所述迭代处理之后，重建最终图像并输出所述最终图像以供查看、存储或进一步处理。

2.根据权利要求1所述的方法，还包括：

在执行所述初始重建之前对所述正弦图输入执行附加的去噪操作，其中使用附加的经训练的人工神经网络来执行所述附加去噪操作。

3.根据权利要求1所述的方法，还包括：

对所述正弦图输入执行初始重建以生成所述一个或多个中间图像；以及

重新投影所述一个或多个中间图像中的全部或一部分以生成所述一个或多个中间正弦图。

4.根据权利要求3所述的方法，其中所述初始重建是滤波反投影或信息保留滤波反投影。

5.根据权利要求1所述的方法，还包括：

重组所述正弦图输入以生成所述一个或多个中间正弦图。

6.根据权利要求1所述的方法，其中所述数据拟合操作和所述去噪操作在所述迭代循环内并行或串行地执行。

7.根据权利要求1所述的方法，其中所述数据拟合操作在所述迭代循环内执行，并且所述去噪操作在所述迭代循环之后执行。

8.一种用于重建图像的方法，包括：

接收正弦图输入；

对所述正弦图输入执行初始重建或多重部分重建，以生成一个或多个中间图像；

迭代地处理所述一个或多个中间图像或者所述一个或多个中间图像的变换形式，其中所述迭代处理包括至少执行迭代数据拟合操作，以将迭代循环的输出与对所述迭代循环的输入进行比较；

除了所述数据拟合操作之外，还执行去噪操作，其中使用经训练的人工神经网络来执行所述去噪操作；以及

在完成所述迭代处理之后，重建最终图像并输出所述最终图像以供查看、存储或进一步处理。

9.一种用于重建图像的方法，包括：

接收正弦图输入；

使用第一经训练的人工神经网络对所述正弦图输入执行第一去噪操作；

重建所述正弦图输入以生成一个或多个重建图像；

使用第二经训练的人工神经网络在所述图像域中执行第二去噪操作；以及

在完成所述迭代处理之后，输出最终图像以供查看、存储或进一步处理。

10.根据权利要求9所述的方法，还包括：

迭代地处理所述一个或多个重建图像或根据所述一个或多个重建图像而生成的一个或多个中间正弦图，其中所述迭代处理包括至少执行迭代数据拟合操作，以将迭代循环的输出与对所述迭代循环的输入进行比较。

Images