CN110462689A

CN110462689A - 基于深度学习的断层摄影重建

Info

Publication number: CN110462689A
Application number: CN201880019611.7A
Authority: CN
Inventors: 付林; 萨斯什·拉马尼; 布鲁诺·克里斯蒂安·伯纳德·德梅恩; 芮雪; 桑塔伊·安
Original assignee: General Electric Co
Current assignee: General Electric Co
Priority date: 2017-04-05
Filing date: 2018-03-19
Publication date: 2019-11-15
Anticipated expiration: 2038-03-19
Also published as: US20180293762A1; KR20190133728A; WO2018187020A1; US10475214B2; EP3607529A1; JP2020516345A; CN110462689B; JP7187476B2; KR102257637B1

Abstract

本方法涉及使用机器学习和深度学习系统，其适用于解决大规模的空间变化断层摄影重建和/或校正问题。在某些实施方案中，从断层摄影扫描仪获得的测量数据的断层摄影变换用作神经网络的输入。根据本方法的某些方面，一个或多个断层摄影变换操作与所述神经网络分开或在所述神经网络外执行，使得所述断层摄影变换操作的结果替代地被提供作为所述神经网络的输入。另外，在某些实施方案中，所述神经网络的一个或多个层可以被提供作为小波滤波器组。

Description

基于深度学习的断层摄影重建

背景技术

本文公开的主题涉及断层摄影重建，并且具体地涉及使用深度学习技术将数据(诸如投影或其他扫描类型数据)重建为诊断上或临床上有用的图像，包括横截面图像和/或体积表示。

非侵入性成像技术允许获得患者/对象的内部结构或特征的图像，而无需对患者/对象执行侵入性过程。特别地，这种非侵入性成像技术依赖于各种物理原理(诸如X射线的穿过目标体积的差分透射、体积内的声波反射、体积内的不同组织和材料的顺磁性、目标放射性核素在体内的分解等)，以获取数据和构建图像或以其他方式表示患者/对象的观察到的内部特征。

所有重建算法都经受各种折衷，诸如在计算效率、患者剂量、扫描速度、图像质量和伪影之间的折衷。以举例的方式，基于卷积神经网络(CNN)的机器学习架构已经在许多模式识别、图像处理、检测和分类任务中设定基准。然而，在断层摄影重建背景中，CNN可能不适合以常规方式实施。特别地，CNN通常基于本地连接性和权重共享的原理而构建。权重共享(即，空间不变卷积)显著地减少网络的自由参数的数量，从而降低网络的训练时间和存储器要求。然而，虽然在许多计算机视觉问题上是成功的，但是权重共享的原理也将网络固有地限制为空间不变的，即，无论特征在视野中的位置如何都要进行检测，从而构成平移不变的性质。换句话说，CNN中的卷积运算通常由傅里叶滤波器实现，该傅立叶滤波器本质上是平移不变的。虽然这在许多计算机视觉问题上达成了良好结果，但是变得不适合于许多空间变化任务，诸如用空间变化点扩散函数(PSF)的图像恢复和/或重建。另一方面，完全地连接的深度神经网络对于大多数的高维问题(例如，图像重建)是计算上不可行的。

发明内容

在一个实施方案中，提供了方法。根据该方法，从断层摄影扫描仪获得测量数据。计算测量数据的一个或多个断层摄影变换。一个或多个断层摄影变换包括反投影、加权反投影、重投影、Fisher信息矩阵的多个对角元素、方差图像、噪声相关性图像、Fisher信息矩阵的多项式或它们的组合中的至少一者。提供一个或多个断层摄影变换作为受过训练的神经网络的一个或多个输入。基于一个或多个输入从受过训练的神经网络获得一个或多个输出。

在另一个实施方案中，提供了方法。根据该方法，从断层摄影扫描仪获得测量数据。将一个或多个输入提供到受过训练的神经网络，该一个或多个输入包括测量数据或该测量数据的一个或多个断层摄影变换中的一者或多者。神经网络包括基于小波、小波框架、曲波或其他稀疏变换的至少一个层。基于一个或多个输入从受过训练的神经网络获得一个或多个输出。

在另一个实施方案中，提供了图像处理系统。根据该实施方案，该图像处理系统包括：处理部件，该处理部件被配置为执行一个或多个存储的处理器可执行例程；和存储器，该存储器存储一个或多个可执行例程。一个或多个可执行例程在由处理部件执行时使动作执行，包括：获取或访问一组扫描数据，其中该组扫描数据初始由一组原始测量值表示；计算该组扫描数据的一个或多个断层摄影变换；提供一个或多个断层摄影变换作为受过训练的神经网络的一个或多个输入，其中受过训练的神经网络包括基于小波滤波器组的至少一个层；以及基于一个或多个输入从受过训练的神经网络获得一个或多个输出。

附图说明

当参考附图阅读以下详细描述时，将更好地理解本发明的这些和其他特征、方面和优点，附图中相同的符号在整个附图中表示相同的部分，其中：

图1描绘了根据本公开的各方面的用于训练深度学习模型的人工神经网络的示例；

图2是根据本公开的各方面的描绘计算机断层摄影(CT)成像系统的部件的框图；

图3描绘了根据本公开的各方面的使用一组测量数据的变换来生成输出的处理流程的第一示例；

图4描绘了根据本公开的各方面的使用一组测量数据的变换来生成输出的处理流程的第二示例；

图5描绘了根据本公开的各方面的使用一组测量数据的变换来生成输出的处理流程的第三示例；

图6描绘了根据本公开的各方面的使用一组测量数据的变换来生成输出的处理流程的第四示例；

图7描绘了根据本公开的各方面的使用一组测量数据的变换来生成输出的处理流程的第五示例；

图8描绘了根据本公开的各方面的使用一组测量数据的变换来生成输出的处理流程的第六示例；

图9描绘了根据本公开的各方面的用于训练滤波器系数的处理流程；

图10示出了根据本公开的各方面的深度学习系统的处理链中的步骤；

图11描绘了根据本公开的各方面的成对的噪声图案和噪声正弦图；并且

图12示出了根据本公开的各方面的由深度学习系统重建的输出图像。

具体实施方式

在下面将描述一个或多个具体的实施方案。为了提供这些实施方案的简明描述，并非实际实施方式的所有特征都要在说明书中进行描述。应当理解，在任何这样的实际实施方式的开发中，如在任何工程或设计项目中，必须做出许多实施方式特定的决策以实现开发者的具体目标，诸如遵守可能因实施方式而不同的系统相关和业务相关约束。此外，应当理解，这种开发工作可能是复杂和耗时的，但是对于受益于本公开的本领域的普通技术人员来说仍是设计、制作和制造的常规任务。

虽然在医学成像的背景中提供以下讨论的各方面，但是应当理解，本技术不限于这样的医学背景。实际上，在这样的医学背景中提供示例和解释仅是为了通过提供真实实施方式和应用的实例来便于进行解释。然而，本方法也可以用于其他背景中，诸如用于在制成件或制成品的非破坏性检查(即，质量控制或质量审核应用)和/或包裹、箱盒、行李等的非侵入性检查(即，安检或筛检应用)中使用的工业计算机断层摄影(CT)的断层摄影图像重建。一般来讲，本方法可以是在任何成像或筛检背景或图像处理领域中有用的，其中一组或一类获取数据经历重建过程以生成图像或体积。

此外，虽然以下讨论集中于标准图像或图像体积，但是应当理解，同一方法也可以应用于对应于扫描的不同方面的各组图像或图像体积。例如，光谱CT产生一组图像，包括在不同的能量下的单色图像以及基础材料分解图像。或者，又如，动态CT或PET在不同的时间点上产生一组图像。本发明可以应用于这些组或类型的图像，其中重建步骤或神经网络的分级结构的输入是多组图像或扫描数据集，并且预测也是一组图像。

此外，尽管本文主要地提供CT和C臂示例，但是应当理解，本方法可以用于其中采用断层摄影重建过程的其他成像模态背景中。例如，当前描述的方法也可以用于由其他类型的断层摄影扫描仪(包括但不限于正电子发射断层摄影(PET)扫描仪、单光子发射计算机断层摄影(SPECT)扫描仪和/或磁共振成像(MRI)扫描仪)获取的数据。

以举例的方式，若干成像模态，诸如X射线CT(例如，多层面CT)和X射线C臂系统(例如，锥束CT)，测量被扫描的对象或患者的投影，其中取决于技术，投影对应于Radon变换数据、扇束变换数据、锥束变换数据或非均匀傅里叶变换。在其他背景下，扫描数据可以是响应于磁场和RF脉冲而生成的发射型数据(例如，PET或SPECT数据)或磁共振数据(例如，MRI数据)。断层摄影重建算法和相关校正和校准算法(例如，部分体积校正、噪声抑制、束硬化伪影校正、x射线源/检测器光谱校准、低信号校正、散射校正、运动校正、截断校正、MR白像素校正、MR场不均匀性伪影校正等)结合这些成像模态用来从原始测量值生成有用横截面图像或体积图像。

常规重建技术通常使用重建算法，该重建算法可以被表征为直接重建(其执行显式反转步骤)或基于优化的重建(其迭代地优化成本函数)。直接重建方法是相对快的，但是缺乏抑制噪声和某些伪影的有效方法。基于优化的重建方法提供了改进的降噪，并且可以在不易分析上反转的正向模型中结合物理效应，但是这种方法是相对计算上昂贵的。

虽然目前有多种重建和校正算法可用于断层摄影成像，但是它们都可以被视为从原始和/或损坏数据到有意义的和/或经过校正的数据或图像的函数变换。通常，这些函数变换是非常大规模的、空间变化的，并且涉及包含数百万到数十亿甚至更多的变量的二维或体积图像。断层摄影图像重建问题的规模使得开发用于断层摄影重建和/或校正的机器学习或深度学习方法有挑战性。换句话说，对于每个输出节点，需要网络具有许多输入节点，并且因此机器学习问题的规模变成计算上难实现的。

考虑到这一点，本方法避开这些挑战，使得可以有效地构建深度学习网络以用于断层摄影重建和/或校正问题，而不产生过高计算成本。特别地，如本文所讨论，提供了机器学习和深度学习系统，其适用于解决大规模的空间变化断层摄影重建和/或校正问题。本方法解决和克服现有卷积神经网络(CNN)或用于将基于学习的技术应用于断层摄影重建/校正的其他蛮力方法的限制，并且可以提供解决断层摄影重建或图像校正和/或恢复问题并在以下方面胜过常规分析或迭代算法的机制：计算时间、噪声和伪影减少、准确度、分辨率等。考虑到这一点，本方法可以应用于各种断层摄影背景，包括但不限于图像重建、图像去噪、部分体积校正、标准摄取值(SUV)的确定或校正、定量校正、噪声方差估计等。

考虑到前述导论，本文描述的方法的一些实施方案利用神经网络作为用于生成断层摄影图像(诸如CT、PET、SPECT、C臂、相衬和MR图像)的重建过程的一部分。如本文所讨论的神经网络可以涵盖深度神经网络、完全地连接的网络、卷积神经网络(CNN)、感知器、自动编码器、回归网络、小波滤波器组或其他神经网络架构。这些技术在本文中称为深度学习技术，但是也可以特别地参考深度神经网络的使用来使用该术语，深度神经网络是具有多个层的神经网络。

如本文所讨论，深度学习技术(其也可以被称为深度机器学习、分级学习或深度结构化学习)是机器学习技术的分支，其采用数据的数学表示和人工神经网络来进行学习。以举例的方式，深度学习方法可以被表征为它们使用一个或多个算法来提取一类感兴趣的数据的高级抽象或对其进行建模。这可以使用一个或多个处理层来完成，其中每个层通常对应于不同级别的抽象，并且因此可能采用或利用初始数据的不同方面或前一层的输出(即，层的分级结构或级联结构)作为给定层的过程或算法的目标。在图像处理或重建背景中，这可以被表征为对应于数据中的不同的特征级别或分辨率的不同的层。

一般来讲，从一个表示空间到下一级表示空间的处理可以被认为是重建过程的一个“阶段”。重建的每个阶段可以通过单独神经网络或通过一个较大神经网络的不同部分来执行。例如，如本文所讨论，单个深度学习网络可以覆盖重建过程中的所有阶段(例如，从初始输入(诸如正弦图)到输出图像(诸如重建图像))。另选地，一个或多个单独不同深度学习网络可以各自覆盖整个重建过程的仅一个阶段(或阶段子集)。例如，在本背景中，这样的单个阶段可以是从初始输入(例如，正弦图或正弦图的变换)到中间表示、从一个中间图像或表示到另一个中间图像或表示、或从中间图像或表示到输出，诸如诊断图像、噪声方差图像、去噪图像和噪声图案、部分体积效应(PVE)或PVE校正因子、标准化摄取值(SUV)或SUV校正因子等。

如本文所讨论，作为解决特定问题的深度学习过程的初始训练的一部分，可以采用具有深度学习过程的已知初始值(例如，输入图像、投影数据、发射数据、磁共振数据等)和最终输出(例如，重建断层摄影重建，诸如横截面图像或体积表示)的已知或期望值的训练数据集。单个阶段的训练可以具有对应于一个表示空间的已知输入值和对应于下一级表示空间的已知输出值。以这种方式，深度学习算法可以(以监督或指导的方式或以无监督或无指导的方式)处理已知或训练数据集，直到看出初始数据与一个或多个期望输出之间的数学关系和/或看出和表征每个层的输入和输出之间的数学关系。类似地，可以采用单独验证数据集，其中初始和期望目标值是已知的，但是仅将初始值提供到受过训练的深度学习算法，然后将输出与深度学习算法的输出进行比较以检验先前训练和/或防止过度训练。

以举例的方式，在一个预期实施方式中，神经网络的监督训练利用成对地面真值图像、对应的正弦图和/或如本文所讨论的对应的正弦图的变换。如果用于训练的高剂量临床数据集数量不足，那么可以使用来自具有平移、旋转、缩放和成镜像的临床图像的正弦图的计算机模拟。还可以使用计算机生成的随机图案(例如，高斯斑点、随机噪声图案、随机形状等)来生成训练对。

考虑到前述内容，图1示意性地描绘了人工神经网络50的示例，该人工神经网络可以被训练为如本文所讨论的深度学习模型。在该示例中，网络50是多层的，具有训练输入52和存在于网络50中的多个层(包括输入层54、隐藏层58A、58B等，以及输出层60和训练目标64)。在该示例中，每个层由多个“神经元”或节点56组成。神经元56的数量可以在层之间是恒定的，或如图所示，可以各层不同。每个层的神经元56生成相应输出，该相应输出用作下一分层的神经元56的输入。在实践中，计算具有加入的偏差的输入的加权和以根据激活函数“激励”或“激活”层的每个相应神经元，诸如整流线性单位(ReLU)、S形函数、双曲正切函数，或以其他方式指定或编程。最后一层的输出构成网络输出60(例如，预测图像)，其与目标图像64一起用于计算一些损失或误差函数62，损失或误差函数将被反向传播以指导网络训练。

损失或误差函数62测量在网络输出(即，诊断图像、噪声方差图像、去噪图像和噪声图案、部分体积效应(PVE)或PVE校正因子、标准化摄取值(SUV)或SUV校正因子)和训练目标之间的差异。在某些实施方式中，损失函数可以是体素级别值或部分线积分值的均方误差(MSE)和/或可以解释涉及其他图像特征的差异，诸如图像梯度或其他图像统计值。另选地，损失函数62可以由与所讨论的特定任务相关联的其他度量(诸如softmax函数)定义。

考虑到前述内容，可以训练神经网络50以用于如本文所讨论的大规模的空间变化断层摄影重建。在训练示例中，可以首先将神经网络50约束为线性的(即，通过移除所有非线性单元)以确保网络参数的良好的初始化。还可以使用计算机模拟的输入-目标数据集逐阶段地预训练神经网络50，如下面更详细地讨论的。在预训练之后，神经网络50可以作为整体进行训练并还结合非线性单元。

为了便于解释使用深度学习技术的本发明的断层摄影重建方法，本公开主要在CT或C臂系统的背景中讨论这些方法。然而，应当理解，以下讨论也可以适用于其他图像模态和系统，包括但不限于PET、SPECT、多光谱CT、相衬成像和MRI，以及非医学背景或其中采用断层摄影重建来重建图像的任何背景。

考虑到这一点，图2中描绘了成像系统110(即扫描仪)的示例。在所描绘的示例中，成像系统110是CT成像系统，其被设计为围绕患者(或其他感兴趣的受检者或对象)以各种视图获取扫描数据(例如，X射线衰减数据)并适合于使用断层摄影重建技术执行图像重建。在图2所示的实施方案中，成像系统110包括邻近准直器114定位的X射线辐射源112。X射线源112可以是X射线管、分布式X射线源(诸如固态或热离子X射线源)或适合于采集医疗或其他图像的任何其他X射线源。相反地，在PET或SPECT实施方案中，可以提供环形辐射检测器，并且使用放射性示踪剂作为辐射源。在MRI的情况下，测量值是傅里叶空间中的样本，并且可以作为神经网络的输入直接地应用，或可以首先在正弦图空间中转换为线积分。

在所描绘的示例中，准直器114对X射线束116进行成形或限制，该X射线束进入患者/对象118所定位的区域。在所描绘的示例中，X射线116被准直为穿过成像体积的锥形束，即锥束。X射线辐射120的一部分通过患者/对象118(或其他感兴趣的受检者)或穿过其周围并撞击检测器阵列(通常以附图标记122表示)。该阵列的检测器元件产生表示入射X射线120的强度的电信号。获取并处理这些信号以重建患者/对象118体内的特征的图像。

源112由系统控制器124控制，该系统控制器提供用于CT检查序列的功率和控制信号两者，包括采集二维定位器或用于识别患者/对象体内的感兴趣的解剖结构的侦察图像以用于后续扫描方案。在所描绘的实施方案中，系统控制器124经由X射线控制器126控制源112，该X射线控制器可以是系统控制器124的部件。在这样的实施方案中，X射线控制器126可以被配置为向X射线源112提供功率和定时信号。

此外，检测器122耦接到系统控制器124，该系统控制器控制对检测器122中生成的信号的采集。在所描绘的实施方案中，系统控制器124使用数据采集系统128获取由检测器生成的信号。数据采集系统128接收由检测器122的读出电子器件收集的数据。数据采集系统128可以从检测器122接收经采样的模拟信号，并且将数据转换为数字信号，以便由下面讨论的处理器130进行后续处理。另选地，在其他实施方案中，数字-模拟转换可以由检测器122自身上提供的电路执行。系统控制器124还可以关于所获取的图像信号执行各种信号处理和滤波功能，诸如用于动态范围的初始调整、数字图像数据交错等。

在图2所示的实施方案中，系统控制器124耦接到旋转子系统132和线性定位子系统134。旋转子系统132使X射线源112、准直器114和检测器122能够围绕患者/对象118旋转一圈或多圈，诸如围绕患者主要在x,y平面中旋转。应当指出的是，旋转子系统132可以包括机架或C臂，相应的X射线发射和检测部件设置在该机架或C臂上。因此，在这样的实施方案中，系统控制器124可以用于操作机架或C臂。

线性定位子系统134可以使患者/对象118或更具体地支撑患者的工作台能够在CT系统110的孔内移位，诸如相对于机架的旋转在z方向上移位。因此，工作台可以在机架内线性移动(以连续或逐步的方式)以生成患者118的特定区域的图像。在所描绘的实施方案中，系统控制器124经由马达控制器136控制旋转子系统132和/或线性定位子系统134的移动。

一般来讲，系统控制器124命令成像系统110的操作(诸如经由源112、检测器122和上述定位系统的操作)以执行检查方案并处理所获取的数据。例如，系统控制器124经由上述系统和控制器可以使支撑源112和检测器122的机架围绕感兴趣的受检者旋转，使得可以以相对于受检者的一个或多个视图获得X射线衰减数据。在本背景中，系统控制器124还可以包括信号处理电路，用于存储由计算机执行的程序和例程的相关联的存储器电路(诸如用于执行本文所述的断层摄影重建技术的例程)，以及配置参数、图像数据等。

在所描绘的实施方案中，由系统控制器124获取和处理的图像信号被提供给处理部件130，以用于根据当前公开的算法重建图像。处理部件130可以是一个或多个通用或专用微处理器。由数据采集系统128采集的数据可以直接地传输到处理部件130，或在存储在存储器138中之后传输。适合于存储数据的任何类型的存储器都可以由这样的示例性系统110使用。例如，存储器138可以包括一个或多个光学、磁性和/或固态存储器存储结构。此外，存储器138可以位于采集系统站点处和/或可以包括用于存储用于断层摄影图像重建的数据、处理参数和/或例程的远程存储设备，如下所述。

处理部件130可以被配置为经由操作员工作站140从操作员接收命令和扫描参数，操作员工作站140通常被配备有键盘和/或其他输入设备。操作员可以经由操作员工作站140控制系统110。因此，操作员可以使用操作员工作站140观察重建图像和/或以其他方式操作系统110。例如，耦接到操作员工作站140的显示器142可以用于观察重建图像并控制成像。另外，图像也可以由打印机144打印，该打印机144可以耦接到操作员工作站140。

此外，处理部件130和操作员工作站140可以耦接到其他输出设备，其他输出设备可以包括标准或专用计算机监视器和相关联的处理电路。可以在系统中进一步链接一个或多个操作员工作站140，以用于输出系统参数、请求检查、查看图像等。一般来讲，系统内提供的显示器、打印机、工作站和类似设备可以是数据采集部件本地的，或可以远离这些部件，诸如机构或医院内的其他地方，或位于完全不同的位置，经由一个或多个可配置的网络(诸如互联网、虚拟专用网络等)链接到图像采集系统。

还应注意，操作员工作站140还可以耦接到图片存档和通信系统(PACS)146。PACS146继而可以耦接到远程客户端148、放射科信息系统(RIS)、医院信息系统(HIS)、或内部网络或外部网络，使得不同位置的其他人可以访问原始或经处理的图像数据。

虽然前述讨论已经分别处理了成像系统110的各种示例性部件，但是这些各种部件可以在公共平台内或在互连平台中提供。例如，处理部件130、存储器138和操作员工作站140可以被共同地提供为通用或专用计算机或工作站，其被配置为根据本公开的方面进行操作。在这样的实施方案中，通用或专用计算机可以相对于系统110的数据采集部件被提供作为单独部件，或可以在具有这样的部件的公共平台中提供。同样地，系统控制器124可以作为这种计算机或工作站的一部分提供，或作为专用于图像采集的单独系统的一部分提供。

图2的系统可以用于获取关于患者的感兴趣的区域的各种视图的X射线投影数据(或其他模态的其他扫描数据)，以使用扫描数据重建成像区域的图像。由诸如成像系统110的系统获取的投影(或其他)数据可以如本文所讨论的那样被重建以执行断层摄影重建。特别地，本方法利用深度学习技术来对来自大规模的数据集的图像进行断层摄影重建。

在所描述的断层摄影重建方法中，从断层摄影扫描仪(诸如X射线CT、PET、SPECT、MR或C臂系统)获得的测量数据的断层摄影变换被用作神经网络50的输入，如本文所描述。在某些模态背景中，测量数据可以被称为正弦图数据或投影数据。在某些实施方式中，可以提供从多于一种成像模态获得的测量数据的断层摄影变换，或者从与要重建图像的模态不同的成像模态获得的测量数据的断层摄影变换作为神经网络50的输入。例如，替代测量CT数据的断层摄影变换或除其之外，可以提供PET或MR测量数据的断层摄影变换作为神经网络50的输入，该神经网络被训练以促进CT图像的重建。

根据本方法的某些方面，一个或多个断层摄影变换操作与神经网络50分开或在该神经网络外执行，使得断层摄影变换操作的结果替代地被提供作为神经网络50的输入。以这种方式，神经网络50不必直接地学习(或以其他方式训练以执行)断层摄影变换操作。因此，如本文所讨论，使用测量数据的断层摄影变换作为神经网络50的输入52降低给定重建问题的复杂性和维度，并且可以帮助将数据映射到更有利于进一步由神经网络50进行处理的中间数据空间。在深度学习背景中期望复杂性和/或维度的这种降低。另外，测量(即，投影)数据中的有用信息可以保留在数据的断层摄影变换中，而该信息可能在从测量数据重建图像的过程中丢失。换句话说，除了重建图像之外，使用测量数据的断层摄影变换作为神经网络50的输入52可以胜过仅使用重建图像的情况。

作为示例，断层摄影变换可以是(或可以基于)反投影、加权反投影、一个或多个初步或非诊断图像重建、重投影、Fisher信息矩阵的多个对角元素、Fisher信息的多项式、方差图、噪声相关性图等以及这些操作的组合中的一者或多者。如本文所用，反投影和加权反投影被认为是变换，而不是重建图像。在一个实施方式中，加权反投影包括普通未加权反投影，其中权重都被设为1。如将理解的，这些变换中的某些变换将投影数据空间(例如，投影或正弦图空间)映射到图像空间中。这样的实施方式可以基于图像空间通常比投影数据空间更便于应对深度学习的概念。

关于神经网络50，如本文所指出，可以采用任何合适的神经网络架构。以举例的方式，在某些实施方式中，可以采用基于小波滤波器组的神经网络架构。例如，在这样的实施方式中，神经网络50的一个或多个层可以被实现为小波滤波器组，其中滤波器组的不同的滤波器通道以不同的分辨率或空间频率操作。关于这种基于小波滤波器组的实施方式，这些方法适合于应对通常不能通过常规卷积神经网络(CNN)很好地处理的空间变化处理，而常规卷积神经网络CNN非常适于空间不变检测任务。

以举例的方式，在常规的CNN中，前馈神经网络的卷积层可以被表达为：

(1)

其中x_i是相应卷积层的输入，并且y_j是相应卷积层的输出，h_k是呈卷积内核的形式的互连权重、并且f_j是线性或非线性激活函数(例如，S形函数或整流线性单元ReLU)。在傅立叶空间中，这可以被写成：

(2)

其中代表离散傅立叶变换：

(3)

在本文讨论的小波滤波器组方法中，傅立叶变换被替换为小波变换(或小波框架或其他稀疏变换)Ω，使得：

(4)y_j＝f_j[(Ω^TDΩX)_j]

其中D表示要学习的小波域互连权重。在该方法中，所考虑的一个或多个网络层是由各种空间和频率标度的一系列小波内核组成的小波滤波器组。由于小波擅长于紧凑地表示空间变化，因此它们允许学习空间变化行为。这改进了神经网络50的灵活性和能力，并且允许神经网络50学习和执行空间变化任务，而不引入过多的自由参数。

在这种基于小波滤波器的方法中，可以采用Haar小波或小波框架(如本文的某些示例中所讨论的)，或可以采用其他更多图像稀疏框架(诸如，曲波、轮廓波、带波、可操纵的框架等)。对于其中框架可能变为计算和/或存储器密集的较大规模3D问题，另选实施方式可以采用上述小波框架的正交型式，但是通过(随机化)图像平移引入伪冗余。

另外，如本文所用，所提出的基于小波滤波器组的框架应当被理解为不同于常规机器学习方法，其也可以在网络的输入层上使用小波变换，使得原始数据在后续机器学习任务执行之前预变换为小波系数。在这些常规方法中，小波变换在网络的输入层处应用一次以提取小波系数z＝Ωx，然后将常规网络(即卷积神经网络(CNN))应用于z：

(5)

在这些常规方法中，初始小波变换实际上不改变CNN的架构、容量或灵活性。相反地，在神经网络50的小波滤波器组层的当前实施方式中，小波滤波器组被并入神经网络50的内部层中并改进神经网络50的学习复杂任务的能力。

考虑到前述内容，并且为了便于以下详细地讨论和解释，这里提供一个实施方式的高级示例。基于该一般示例，可以在上下文中理解后续的详细示例和具体的实施方式。在该一般实施方式中，使用一组训练案例训练神经网络50。从诸如X射线CT、PET、SPECT、MR或C臂系统的断层摄影扫描仪获得受检者的测量数据(例如，投影数据或正弦图)。计算测量数据的一个或多个断层摄影变换，其中在某些实施方式中，一个或多个断层摄影变换与Fisher信息矩阵的加权反投影或多个对角元素相关联。通过使用一个或多个断层摄影变换作为受过训练的神经网络50的一个或多个输入52，基于受过训练的神经网络50而获得一个或多个输出。在某些实施方式中，为了进一步降低一个或多个断层摄影变换的维度，可以在输入到受过训练的神经网络之前将测量数据划分为非重叠片或重叠片。在某些实施方案中，在计算测量数据的一个或多个断层摄影变换之前预处理测量数据。这种预处理的示例可以包括但不限于测量数据的数据(预)校正和/或对数操纵。

在本文讨论的一些实施方案中，测量数据的断层摄影变换可以是加权反投影，其可以被计算为：

(6)b＝A^TWg

其中g表示测量数据，A表示将图像空间映射到投影数据空间中的正向投影仪或正向投影算子，并且W是权重矩阵。正向投影仪的转置(或伴随)A^T表示反投影算子。权重矩阵可以是单位矩阵，并且在这种实施方式中，加权反投影变为普通未加权反投影。在另选的实施方案中，测量数据的估计协方差矩阵的逆矩阵可以用作权重矩阵。如果测量数据是统计上独立的，那么协方差矩阵和权重矩阵是对角的。

在本文讨论的其他实施方案中，测量数据的断层摄影变换可以是Fisher信息矩阵(或从这样的Fisher信息矩阵得到的断层摄影变换)。Fisher信息矩阵可以被表示为：

(7)F＝A^TDA

其中A表示将图像空间映射到投影数据空间中的正向投影算子，A^T表示将投影数据空间映射到图像空间中的反投影算子，并且D是某个对角矩阵。在X射线CT中，D可以表示在对数变换之前的测量数据的估计均值或在对数变换之后的测量数据的估计均值的倒数。在PET和SPECT中，D可以表示测量数据的估计均值的倒数。

考虑到前述内容，图3描绘了第一实施方案的示例。在该实施方案中，初始获取测量数据180。在该示例中，测量状态180用于生成测量数据180的断层摄影变换182。以举例的方式，断层摄影变换182可以是Fisher信息、加权反投影或本文讨论的其他合适的断层摄影变换。在一个这样的背景中，术语“Fisher信息”是指Fisher信息矩阵的多个对角元素或与多个对角元素相关联的特定图像。另外，可以生成基于测量数据180的附加输入184，诸如参考重建图像。在该示例中，断层摄影变换182和附加输入184(如果使用的话)被输入到受过训练的神经网络50，作为响应，该神经网络50生成输出60。

转到图4，提供与图像重建相关的另一个示例。在该示例中，训练神经网络50以便于以一个或多个反投影190的形式接收测量数据180的断层摄影变换作为输入。受过训练的神经网络50继而输出重建图像192。因此，在该示例中，初始获取测量数据180，诸如经由CT或其他合适的成像系统。对测量数据执行反投影操作以生成反投影190，该反投影被提供作为受过训练的神经网络50的输入(具有或不具有附加输入)，该受过训练的神经网络输出重建图像192。

相反地，在其他示例中，可以训练神经网络以输出或预测重建图像的性质，诸如生成和输出方差图像。我们在图像的表示局部噪声水平的一般含义中使用术语方差图像，其可以包括实际方差度量、标准偏差度量、图像粗糙度度量或其他类似的度量。这些图像性质继而可以用于调整单独重建算法和/或后处理算法的参数。例如，转到图5，在用于噪声方差图像估计的某些实施方案中，基于测量数据180而计算Fisher信息200和重建图像202。受过训练的神经网络50接收Fisher信息200和重建图像202作为输入，并且继而生成噪声方差图像204作为输出，其中方差图像204表示按体素的方差估计。该噪声信息继而可以用于参数化或调谐CT扫描方案、重建算法或后处理算法中的一者或多者。

关于从测量数据180生成并用作神经网络50的输入的重建图像202，在其中将这样的重建图像202用作输入的实施方案中，仅需要来自给定重建算法的一组重建图像。如将理解的，并且如下面更详细地讨论的，存在针对不同模态存在的各种不同重建算法，其中一些可能是复杂的和/或计算上昂贵的。

以此示例为基础，并且转到图6，使用相同输入，可以替代地训练不同地训练的神经网络50以生成去噪图像和噪声图案210作为输出。在图像去噪和噪声图案估计的这种示例中，基于测量数据180而计算Fisher信息200和重建图像202。受过训练的神经网络50接收Fisher信息200和重建图像202作为输入，并且生成具有噪声图案的去噪图像210(即，重建图像减去去噪图像)作为输出。在另选的实施方式中，如图7所示，噪声方差图像204或噪声相关性图像可以用作受过训练的神经网络50的附加输入，以生成去噪图像和噪声图案210。

转到图8，在另一个实施方案中，可以替代地训练神经网络50以输出部分体积误差(PVE)校正图像220。例如，在用于部分体积校正的一个这样的实施方案中，基于测量数据180而计算Fisher信息200和重建图像202。受过训练的神经网络50接收Fisher信息200和重建图像202作为输入，并且生成部分体积误差校正图像、部分体积校正标准化摄取值(SUV)或部分体积误差校正系数中的一者或多者的基于部分体积的输出220。这种方法也可以用于伪影校正、散射校正等。

如将理解的，前述示例中的某些采用从测量数据180得到的重建图像202作为受过训练的神经网络50的输入。虽然在某些实施方式中，可以采用常规的图像重建方法和算法来生成神经网络50的重建图像202输入，但是在其他实施方式中，可以采用被设计为比常规方法从投影数据保留更多信息(即，测量数据180)的算法。

特别地，可以理解，当执行标准重建(诸如滤波的反投影(FBP))时，原始投影数据中存在的信息(即，测量数据180)中的一些丢失。可以使用高级迭代重建算法来重建更好的图像，但是甚至这些图像也不包含原始投影数据180中存在的所有信息。因此，当使用常规重建算法生成的重建图像作为神经网络50的输入时，投影数据中存在的信息中的一些已经丢失。

考虑到这一点，在本文讨论的某些实施方案中，执行重建以生成重建图像202，该重建图像用作神经网络50的输入，但是其可以不显示或以其他方式提供用于视觉检查或临床使用。特别地，可以使用比常规重建技术更好地保留存在于测量数据180中的信息(例如，投影数据)的算法或技术来生成这种初始重建图像202，其中重建图像旨在供显示或查看。

以举例的方式，用于生成用作神经网络50输入的重建图像202的这种重建方法可以利用较小的体素大小和/或较大的图像矩阵，使得重建图像202可以比常规重建图像表示更多的信息。例如，可以使用0.25mm的体素大小和/或2048×2048×层面数量的图像矩阵。此外，所采用的重建算法可以与常规重建算法不同。例如，用于生成用作神经网络50输入的重建图像202的重建算法可以是具有特殊滤波器内核的滤波反投影(FBP)。每个通道的特殊滤波器系数可以通过执行部分重建和重投影以及以保留原始的正弦图(即，测量数据180)的方式调谐系数来确定，如图9所示。在该示例中，原始的正弦图可以经历使用各种系数(这里是1到n)的部分滤波(步骤250)以生成n个部分滤波的正弦图252。部分滤波的正弦图252可以被部分反投影(步骤254)并随后部分重投影(步骤256)，并且将结果求和(步骤260)以生成重投影的正弦图262。然后可以使用原始的正弦图180和重投影的正弦图262的平方差的加权和(步骤264)来调谐用于在迭代过程中对原始的正弦图180进行部分滤波的n个系数，诸如直到加权平方和被最小化或以其他方式达到合适的阈值。

以举例的方式，滤波器抽头可以被优化为加权最小平方优化问题：

(8)

其中Y是原始的正弦图，U_k是正弦图滤波操作，其滤波器系数k设为1，而所有其他滤波器系数设为0，A和A^T是重投影和反投影操作，W是任选的对角线加权矩阵，并且c_k是滤波器抽头k的待优化滤波器系数。

另选地，在另一种方法中，可以采用迭代FBP技术来生成重建图像202以用作神经网络50输入。例如，可以迭代地应用FBP，使得残余误差正弦图变小，此时重建图像以合适的程度表示原始信息内容。

考虑到前述讨论，下面提供许多示例，演示了用于GE Discovery CT 750 HD CT系统(888个检测器通道，984次投影/旋转)的二维(2D)扇束CT重建任务。图10以图形方式示出了深度学习系统的处理链中的步骤。

转到图10，在该研究中，首先将原始输入数据(CT正弦图)(即，测量数据180)反投影(步骤280)到图像空间中以生成未经滤波的反投影。构建小波滤波器组(步骤286、288、290)以执行图像重建。使用具有9级分解的Haar小波框架作为滤波器内核。

小波域加权因子由200对模拟地面真值对象和对应的CT正弦图作为训练示例进行训练。计算机生成的高斯噪声图案被用作训练示例。图11示出了在训练过程中使用的一对噪声图案300和对应的CT正弦图302的实例。以与常规CNN相同的方式执行训练。

图12示出了由上述研究的深度学习系统重建的输出图像，其对应于未被用于训练神经网络50的验证数据集。输出图像是在分别用30个示例(中间图像)和200个示例(最右图像)训练机器学习系统之后获得的，其中地面真值图像显示在左侧以供参考。

本发明的技术效果包括使用机器学习和深度学习系统，其适用于解决大规模的空间变化断层摄影重建和/或校正问题。本方法解决和克服现有卷积神经网络(CNN)或用于将基于学习的技术应用于断层摄影重建/校正的其他蛮力方法的限制，并且可以提供解决断层摄影重建或图像校正和/或恢复问题并在以下方面胜过常规分析或迭代算法的机制：计算时间、噪声和伪影减少、准确度、分辨率等。本方法可以应用于各种断层摄影背景，包括但不限于图像重建、图像去噪、部分体积校正、标准摄取值(SUV)的确定或校正、定量校正、噪声方差估计等。

在某些实施方案中，从断层摄影扫描仪(诸如X射线CT、PET、SPECT、MR或C臂系统)获得的测量数据的断层摄影变换用作神经网络50的输入。根据本方法的某些方面，一个或多个断层摄影变换操作与神经网络50分开或在该神经网络外执行，使得断层摄影变换操作的结果替代地被提供作为神经网络50的输入。因此，如本文所讨论，使用测量数据的断层摄影变换作为神经网络50的输入52降低给定重建问题的复杂性和维度，并且可以帮助将数据映射到更有利于进一步由神经网络50进行处理的中间数据空间。另外，在本文讨论的某些实施方案中，可以提供神经网络的一个或多个层作为小波滤波器组。

该书面描述使用示例来公开本发明，包括最佳模式，并且还使本领域技术人员能够实践本发明，包括制造和使用任何设备或系统以及执行任何包含的方法。本发明的专利范围由权利要求书限定，并且可包括本领域技术人员想到的其他示例。如果此类其他示例具有与权利要求书的字面语言没有区别的结构元素，或者如果它们包括与权利要求书的字面语言具有微小差别的等效结构元素，则此类其他示例旨在落入权利要求书的范围内。

Claims

1.一种方法，包括：

从断层摄影扫描仪获得测量数据；

计算所述测量数据的一个或多个断层摄影变换，其中所述一个或多个断层摄影变换包括反投影、加权反投影、重投影、Fisher信息矩阵的多个对角元素、方差图像、噪声相关性图像、所述Fisher信息矩阵的多项式或它们的组合中的至少一者；

提供所述一个或多个断层摄影变换作为受过训练的神经网络的一个或多个输入；以及

基于所述一个或多个输入从所述受过训练的神经网络获得一个或多个输出。

2.根据权利要求1所述的方法，还包括：

使用多个训练案例训练神经网络。

3.根据权利要求2所述的方法，其中所述多个训练案例包括一个或多个计算机生成的随机图案，所述一个或多个计算机生成的随机图案包括高斯斑点、随机噪声图案或随机形状。

4.根据权利要求1所述的方法，其中所述断层摄影扫描仪包括X射线计算机断层摄影(CT)扫描仪、正电子发射断层摄影(PET)扫描仪、单光子发射计算机断层摄影(SPECT)扫描仪、磁共振成像(MRI)扫描仪或C臂扫描仪中的一者。

5.根据权利要求1所述的方法，其中所述一个或多个输出包括输出重建图像。

6.根据权利要求1所述的方法，其中除了所述一个或多个断层摄影变换之外，所述一个或多个输入还包括输入重建图像。

7.根据权利要求6所述的方法，其中所述输入重建图像包括具有特殊滤波器内核的滤波的反投影图像，其中滤波器系数经选择以在重投影之后保留原始的正弦图。

8.根据权利要求6所述的方法，其中除了所述输入重建图像之外，所述一个或多个输入还包括输入方差图像或输入噪声相关性图像中的至少一者。

9.根据权利要求1所述的方法，其中所述一个或多个输出包括输出方差图像。

10.根据权利要求1所述的方法，其中所述一个或多个输出包括部分体积误差校正图像、部分体积误差校正标准化摄取值或部分体积误差校正因子中的一者或多者。

11.根据权利要求1所述的方法，其中所述一个或多个输出包括去噪图像或噪声图案中的一者或多者。

12.根据权利要求1所述的方法，其中所述神经网络是空间变化的，并且基于小波滤波器组、小波、小波框架、曲波或其他稀疏变换。

13.一种方法，包括：

从断层摄影扫描仪获得测量数据；

将一个或多个输入提供到受过训练的神经网络，所述一个或多个输入包括所述测量数据或所述测量数据的一个或多个断层摄影变换中的一者或多者，其中所述神经网络包括基于小波、小波框架、曲波或其他稀疏变换的至少一个层；以及

14.根据权利要求13所述的方法，其中所述至少一个层包括小波滤波器组。

15.根据权利要求13所述的方法，其中所述一个或多个断层摄影变换包括反投影、加权反投影、重投影、方差图像、噪声相关性图像、Fisher信息矩阵的多个对角元素或所述Fisher信息矩阵的多项式中的至少一者。

16.根据权利要求13所述的方法，其中除了所述一个或多个断层摄影变换之外，所述一个或多个输入还包括重建图像，其中所述重建图像包括具有特殊滤波器内核的至少一个滤波的反投影图像，其中所述滤波器系数经选择以便在重投影之后保留所述原始的正弦图。

17.根据权利要求13所述的方法，其中所述神经网络是空间变化的。

18.一种图像处理系统，包括：

处理部件，所述处理部件被配置为执行一个或多个存储的处理器可执行例程；和

存储器，所述存储器存储所述一个或多个可执行例程，其中所述一个或多个可执行例程在由所述处理部件执行时使动作执行，包括：

获取或访问一组扫描数据，其中所述一组扫描数据初始由一组原始测量值表示；

计算所述一组扫描数据的一个或多个断层摄影变换；

提供所述一个或多个断层摄影变换作为受过训练的神经网络的一个或多个输入，其中所述受过训练的神经网络包括基于小波滤波器组、小波、小波框架、曲波或其他稀疏变换的至少一个层；以及

19.根据权利要求18所述的图像处理系统，其中所述一组扫描数据包括计算机断层摄影(CT)扫描数据、C臂扫描数据、正电子发射断层摄影(PET)扫描数据、单光子发射计算机断层摄影(SPECT)扫描数据或磁共振成像(MRI)扫描数据。

20.根据权利要求18所述的图像处理系统，其中所述一个或多个断层摄影变换包括反投影、加权反投影、重投影、方差图像、噪声相关性图像、Fisher信息矩阵的多个对角元素或所述Fisher信息矩阵的多项式中的至少一者。

21.根据权利要求18所述的图像处理系统，其中所述一个或多个输出包括以下各项中的一者或多者：输出重建图像、方差图像、部分体积误差校正图像、部分体积误差校正标准化摄取值、部分体积误差校正因子、或去噪图像或噪声图案中的一者或多者。

22.根据权利要求18所述的图像处理系统，其中除了所述一个或多个断层摄影变换之外，所述一个或多个输入包括输入重建图像。