CN110544282A - 基于神经网络的三维多能谱ct重建方法和设备及存储介质 - Google Patents

Abstract

公开了一种基于神经网络的三维多能谱CT重建方法和设备及存储介质。该方法包括步骤：对被检查对象进行三维多能谱CT扫描，得到多能谱扫描下的三维投影数据；利用第一卷积神经网络对多能谱扫描下的三维投影数据进行处理，得到一个或多个指定能量的虚拟单能扫描下的三维投影数据；利用第二卷积神经网络对虚拟单能扫描下的三维投影数据进行处理，对三维体得到每层独立的二维投影数据，其中，第二卷积神经网络包括多个卷积层；以及对每层的二维投影数据进行等效于二维解析重建的投影域到图像域转换算子操作，按层得到重建的图像，形成三维体图像。利用本公开上述实施例的方案，能够重建得到质量更高的CT图像。

Description

基于神经网络的三维多能谱CT重建方法和设备及存储介质

技术领域

本公开的实施例涉及辐射成像，具体涉及一种基于神经网络的三维多能谱CT重建方法和设备以及存储介质。

背景技术

基于X射线的CT成像技术自发明以来，在医疗诊断、安检、工业无损检测等多个领域中都有着广泛的应用。完整的CT成像硬件系统主要包含射线源，X射线探测器，扫描轨道等组成部分，射线源和探测器按照一定的轨道采集一系列的投影数据，经过图像重建算法的复原可以得到物体的线性衰减系数的三维空间分布。CT图像重建是从探测器采集到的数据中恢复线性衰减系数分布，是CT成像的核心步骤。

由于实际应用中很难获取真正的单能X射线光源，CT重建的对象实际上是物体在一定X射线能谱下的等效衰减系数，导致传统CT系统对于物质的识别能力较差，同时重建图像也会存在硬化伪影等问题。考虑到这一局限性，能谱CT技术应运而生，能谱CT是利用了X射线能谱信息的CT成像方式，它的目的是利用不同能谱下物质衰减系数的差别，在成像结果中消除或减小能量的影响，并获得材料分辨能力。目前，能谱CT领域最常见的双能CT系统已经在医疗诊断，危险物检测等领域取得了较传统CT更好的实用效果。随着光子计数探测器的逐渐发展成熟，能谱CT在硬件上也有了更好的实现方式，具有很大应用前景。传统的能谱CT重建方法包括前处理、后处理、直接迭代等方式，这些方法存在硬件标定和物理建模方法复杂，迭代计算量过大等局限性。

发明内容

针对现有技术中的一个或多个问题，提出了一种基于神经网络的三维多能谱CT图像重建方法，可应用于无损检测、医疗诊断、安检等领域的能谱CT成像。

根据本公开的一个方面，提出了一种基于神经网络的三维多能谱CT重建方法，包括步骤：对被检查对象进行三维多能谱CT扫描，得到多能谱扫描下的三维投影数据；利用第一卷积神经网络对多能谱扫描下的三维投影数据进行处理，得到一个或多个指定能量的虚拟单能扫描下的三维投影数据；利用第二卷积神经网络对一个或多个指定能量的虚拟单能扫描下的三维投影数据进行处理，对三维体得到每层独立的二维投影数据，其中，第二卷积神经网络包括多个卷积层；以及对每层的二维投影数据进行等效于二维解析重建的投影域到图像域转换算子操作，按层得到重建的图像，形成三维体图像。

根据本公开的另一方面，提出了一种基于神经网络的三维多能谱CT图像重建设备，包括：CT扫描装置，对被检查对象进行三维多能谱CT扫描，得到多能谱扫描下的三维投影数据；处理器，配置为：利用第一卷积神经网络对多能谱扫描下的三维投影数据进行处理，得到一个或多个指定能量的虚拟单能扫描下的三维投影数据；利用第二卷积神经网络对一个或多个指定能量的虚拟单能扫描下的三维投影数据进行处理，对三维体得到每层独立的二维投影数据，其中，第二卷积神经网络包括多个卷积层；以及对每层的二维投影数据进行等效于二维解析重建的投影域到图像域转换算子操作，按层得到重建的图像，形成三维体图像。

根据本公开的再一方面，提出了一种计算机可读介质，存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：利用第一卷积神经网络对多能谱扫描下的三维投影数据进行处理，得到一个或多个指定能量的虚拟单能扫描下的三维投影数据，其中多能谱扫描下的三维投影数据是通过对被检查对象进行三维多能谱CT扫描而得到的；利用第二卷积神经网络对一个或多个指定能量的虚拟单能扫描下的三维投影数据进行处理，对三维体得到每层独立的二维投影数据，其中，第二卷积神经网络包括多个卷积层；以及对每层的二维投影数据进行等效于二维解析重建的投影域到图像域转换算子操作，按层得到重建的图像，形成三维体图像。

上述实施例的方案克服了现有的能谱CT重建方法普遍存在探测器标定和能谱分解过程复杂和/或三维解析重建准确性不够高和/或三维迭代重建计算量过大等问题，重建出能量信息更准确，图像质量更好的能谱CT重建图像。

附图说明

为了更好地理解本发明，将根据以下附图对本发明进行详细描述：

图1示出了本公开一个实施例的CT设备的结构示意图；

图2是如图1所示的CT设备中控制与数据处理装置的结构示意图；

图3A是描述X射线能谱的示意图；

图3B是描述单能X射线的示意图；

图4示出了根据本公开实施例中的三维投影数据的例子；

图5示出了根据本公开实施例中的二维投影数据(正弦图)的例子；

图6示出了根据本公开一个实施例的卷积神经网络的整体结构示意图；

图7示出了根据本公开的实施例进行三维能谱扫描的示意图；

图8是描述如图6所示的神经网络架构中各个模块的具体操作过程的示意图；

图9A、图9B和图9C示出了根据本公开实施例的设备中使用的滤波器核的尺寸示意图；

图10是描述根据本公开的实施例的CT图像重建方法的示意性流程图；

图11示出了根据本公开另一实施例的实现螺旋CT扫描的扫描装置的示意图；

图12是根据本公开另一实施例的实现稀疏角度CT扫描的扫描装置的示意图；

图13是根据本公开另一实施例的实现有限角度CT扫描的扫描装置的示意图；

图14是根据本公开再一实施例的实现内重建扫描方式的扫描装置的示意图；

图15是根据本公开再一实施例的实现探测器欠采样扫描方式的扫描装置的示意图；

图16示出了根据本公开再一实施例的实现直线轨迹CT扫描的扫描装置的示意图；以及

图17示出了根据本公开再一实施例的实现多段直线轨迹CT扫描的扫描装置的示意图。

具体实施方式

下面将详细描述本发明的具体实施例，应当注意，这里描述的实施例只用于举例说明，并不用于限制本发明。在以下描述中，为了提供对本发明的透彻理解，阐述了大量特定细节。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实行本发明。在其他实例中，为了避免混淆本发明，未具体描述公知的结构、材料或方法。

在整个说明书中，对“一个实施例”、“实施例”、“一个示例”或“示例”的提及意味着：结合该实施例或示例描述的特定特征、结构或特性被包含在本发明至少一个实施例中。因此，在整个说明书的各个地方出现的短语“在一个实施例中”、“在实施例中”、“一个示例”或“示例”不一定都指同一实施例或示例。此外，可以以任何适当的组合和/或子组合将特定的特征、结构或特性组合在一个或多个实施例或示例中。此外，本领域普通技术人员应当理解，这里使用的术语“和/或”包括一个或多个相关列出的项目的任何和所有组合。

X射线与物质之间的相互作用主要有：光电效应、康普顿散射、电子对效应等方式。在医疗和安检CT领域，由于光子能量一般不高于140keV，X射线与物质作用主要可以表示为光电效应和康普顿散射。在集装箱透射扫描或者集装箱CT领域，射线能量超过1MeV，X射线与物质的作用主要可以表示为康普顿散射和电子对效应。在以上两种情况下，都可以通过双效应分解方法或基材料分解方法来计算被测物质的原子序数和电子密度，从而确定物质的类型。当然，在光电效应、康普顿散射和电子对效应同时考虑的情况下，同样可以通过能谱分解的方法来计算物质的原子序数和电子密度。

能谱CT是利用了X射线能谱信息的CT成像方式，能够利用不同能谱下物质衰减系数的差别，在成像结果中消除或减小能量的影响，并获得材料分辨能力。多能谱投影(或多能谱扫描)是指在不同的X射线能谱下对同一物体进行投影，在探测器上得到不同能谱下的投影数据的过程，可以通过高低压切换、双光源、双探测器、光子计数探测器等多种硬件方式实现。

要从多能谱投影得到虚拟单能投影，传统方法可以通过对此建立物理模型来求解(例如双效应分解模型)，但是这种建立模型的解决方案存在这样的问题：所建立的模型与真实的底层物理原理之间存在偏差，因此导致计算结果也存在偏差。

针对现有的基于双效应分解之类的模型的能谱分解方法存在的问题，本公开的实施例提出利用卷积神经网络来进行能谱分解，例如通过理论计算得到已知的各种材料在不同单能射线下的衰减系数，基于这样的理论模拟数据作为标签来训练卷积神经网络，解决从多能窗投影到虚拟单能投影的能谱分解问题。具体来说，本公开的实施例提出借助深度学习技术和大数据训练的优势来解决现有技术的问题。例如，通过卷积神经网络来解决上述问题。卷积神经网络因为其网络结构的简洁、特征提取的有效、参数空间的压缩等多个方面的优势成为图像分类、检测等应用的主流网络结构。卷积神经网络主要由卷积层、池化、升采样等组成。卷积层识别输入数据集合的特性表征，每个卷积层带一个非线性激活函数(常用的非线性激活函数有Sigmoid、tanh、ReLU、Leaky ReLU等等)，也可带一个用于数据归一化的归一化层。池化层精炼对特征的表示，典型的操作包括平均池化和最大化池化。升采样通过卷积实现对池化图像尺度的恢复。因此，针对常规的能谱CT重建方法的处理瓶颈问题，本公开的实施例提出从深度学习角度，设计基于卷积神经网络的X射线能谱CT重建方法，深度挖掘数据信息，结合X射线能谱信息提取及锥束CT系统的成像物理，设计了多层级联的网络架构、以及高效的网络训练方法，从而获得能量信息更准确，图像质量更好的三维能谱CT重建图像。

根据本公开的实施例，针对现有技术的能谱重建方法的问题，提出了一种基于神经网络的三维多能谱CT重建方法。根据该方法，首先，对被检查对象进行三维多能谱CT扫描，例如圆周锥束扫描/螺旋扫描/直线轨迹扫描，得到多能谱扫描下的三维投影数据。然后，利用第一卷积神经网络对多能谱扫描下的三维投影数据进行处理，得到一个或多个指定能量的虚拟单能扫描下的三维投影数据。进而，利用第二卷积神经网络对一个或多个指定能量的虚拟单能扫描下的三维投影数据进行处理，对三维体得到每层独立的二维投影数据，其中，第二卷积神经网络包括多个卷积层。最后，对每层的二维投影数据进行等效于二维解析重建的投影域到图像域转换算子操作(例如二维滤波反投影解析重建操作)，按层得到重建的图像，形成三维体图像。在其他实施例中，可以增加一个图像域卷积神经网络，对重建后的CT图像做进一步的处理。利用本公开上述实施例的方案，能够得到重建结果更准确，图像质量更高的重建图像，同时简化域转换所需的内存和计算量需求。

图1示出了本公开一个实施例的CT设备的结构示意图。如图1所示，根据本实施例的CT设备包括X射线源10、机械运动装置50、探测器和数据采集系统20，以及控制和数据处理装置60，对被检查对象40进行三维能谱CT扫描，例如圆周锥束/螺旋/直线等轨迹下的多能谱CT扫描，然后进行数据处理，例如神经网络的训练和利用训练后的网络重建图像。这里的多能谱扫描例如可以通过高低压切换、双源、双探测器、光子计数探测器等多种方式实现。

X射线源10例如为X光机，根据成像的分辨率选择合适的X光机焦点尺寸。在其他实施例中也可以不使用X光机，而是使用直线加速器等产生X射线束。

机械运动装置50包括载物台和机架以及控制系统等。载物台可平移以调整旋转中心的位置，机架可平移使X射线源(X光机)10、探测器和旋转中心三者对准。本实施例中按照旋转载物台、固定机架的圆周锥束扫描或者螺旋扫描进行描述。由于载物台与机架的运动属于相对运动，也可采用载物台静止、机架旋转的方式实现本实施例的方法。

探测器及数据采集系统20包括X射线探测器和数据采集电路等。X射线探测器可以使用固体探测器，也可以使用气体探测器或者其他探测器，也可以是光子计数探测器，上述探测器被用来采集多个能谱下的X射线投影数据。本公开的实施例不限于此。数据采集电路包括读出电路、采集触发电路及数据传输电路等。

控制和数据处理装置60例如包括安装有控制程序和数据处理程序的计算机设备，负责完成CT系统运行过程的控制，包括机械转动、电气控制、安全联锁控制等，训练神经网络，并且利用训练的神经网络从能谱投影数据重建CT图像等。

图2示出了如图1所示的控制和数据处理设备200的结构示意图。如图2所示，探测器及数据采集系统20采集得到的数据通过接口单元270和总线280存储在存储设备210中。只读存储器(ROM)220中存储有计算机数据处理器的配置信息以及程序。随机存取存储器(RAM)230用于在处理器250工作过程中暂存各种数据。另外，存储设备210中还存储有用于进行数据处理的计算机程序，例如训练神经网络的程序和重建CT图像的程序等等。内部总线280连接上述的存储设备210、只读存储器220、随机存取存储器230、输入装置240、处理器250、显示设备260和接口单元270。

在用户通过诸如键盘和鼠标之类的输入装置240输入操作命令后，计算机程序的指令代码命令处理器250执行训练神经网络的算法和/或重建CT图像的算法，在得到重建结果之后，将其显示在诸如LCD显示器之类的显示设备260上，或者直接以诸如打印之类硬拷贝的形式输出处理结果。

图3A示出了描述能谱X射线的示意图，图3B是描述单能X射线的示意图。X射线源10产生的X射线束并不是理想的单能X射线，而是占据了一个能谱段，电压为100kVp的光机产生的X射线经过0.1mm厚铜滤波片后的X射线能谱如图3A所示。单能X射线如图3B所示，是能量为单一数值的X射线。在上述以及后续的描述中，单能X射线是单色X射线，而能谱X射线束是多色X射线。本公开的方案涉及通过卷积神经网络将多色X射线扫描得到的三维体数据分解成特定单色X射线扫描数据。

根据本公开的实施例，利用上述设备对被检查对象进行三维多能谱CT扫描，得到三维投影数据，如图4所示。三维投影数据可以呈现在由角度方向、探测器列方向和探测器行方向构成的三维空间中。如图4所述三维投影数据包括A1、A2、A3、A4、A5……等多个二维投影数据。本发明实施例中控制设备的处理器250利用训练的卷积神经网络对三维投影数据进行处理，得到一个或多个指定能量的虚拟单能扫描下的三维投影数据，进而可以将这样的单能扫描下的三维投影数据处理成适合反投影操作的二维投影数据，例如在圆周扇束扫描下或者是平行束扫描下的投影数据。具体来说，将三维投影数据A1、A2、A3、A4、A5……转换成逐层独立的二维投影数据A’，然后对每层独立的二维投影数据A’进行二维滤波反投影操作，按层得到重建的图像，形成三维体图像。

图5示出了根据本公开的实施例得到的二维投影数据的例子。如图5所示的正弦图的纵轴方向表示探测器像素的列方向(例如从1到256)，而横轴表示角度方向(例如从1度到360度)。控制设备中的处理器250执行重建程序，对二维投影数据进行反投影操作，得到重建的图像，并进一步对重建图像进行处理，得到最终图像。例如，利用训练的卷积神经网络处理重建的图像，例如对图像域的数据进行去噪去伪影处理，得到质量更高的结果图像。

在本公开的实施例中，在投影域利用训练的第一卷积神经网络对能谱CT扫描得到的三维投影数据进行处理，得到一个或多个指定能量的虚拟单能扫描下的三维投影数据，利用训练的第二卷积神经网络对特定的虚拟单能扫描下的三维投影数据进行处理，得到逐层独立的二维投影数据，然后按层进行二维滤波反投影操作来重建各层的CT图像。卷积神经网络可以包括卷积层、池化、和上采样层。卷积层识别输入数据集合的特性表征，除最后一个卷积层外，每个卷积层带一个非线性激活函数，常用的非线性激活函数有Sigmoid、tanh、ReLU、Leaky ReLU等等。池化层精炼对特征的表示，典型的操作包括平均池化和最大化池化。卷积层之间通过上采样，逐层恢复图像尺度。

图6示出了根据本公开一个实施例的卷积神经网络的整体结构示意图。如图6所示，根据本公开实施例的神经网络包括级联的四部分子网络，能谱分解子网络600、投影域子网络610、域转换子网络620和图像域子网络630。能谱分解子网络600用于在投影域实现从三维多能谱投影到一个或多个指定能量的虚拟单能下的三维投影数据的合成，投影域子网络610用于将一个或多个指定能量的虚拟单能下的三维投影数据转换为二维投影数据，域转换子网络620用于进行投影域到图像域的域转换，得到三维图像，而图像域子网络630用于图像的优化。在图示的实施例中，上述四部分网络各有其功能分工，同时又通过整体的目标函数互相关联。但是，本领域技术人员可以认识到，上述的图像域子网络630并不是必要的，而是在需要对重建的图像进一步处理(例如去噪)的情况下才采用的。

能谱分解子网络600利用第一卷积神经网络对多能谱扫描下的三维投影数据进行处理，得到虚拟单能扫描下的三维投影数据，该子网络的输入数据是若干个能谱下的三维投影数据，这部分数据可以来自基于双层探测器、两次扫描、高低压切换等形式的双能CT系统，也可以来自基于光子计数探测器的双能或多能谱系统或者其他多能CT系统。具体而言，能谱分解子网络600以物体的若干个能谱下的三维投影数据为输入，通过若干层卷积神经网络的作用，输出物体在一个或多个指定能量的虚拟单能下的三维投影数据。该部分网络通过卷积核提取物体的多能谱投影数据到在一个或多个指定能量的虚拟单能下的投影之间的关系，从而实现投影域的能谱信息解析，实现了能谱分解的目的。

投影域子网络610以能谱分解子网络600得到的物体在一个或多个指定能量的虚拟单能下的三维投影数据作为输入，通过第二卷积神经网络的作用，输出物体在一个或多个指定能量的虚拟单能下的二维扇束(或平行束)投影数据。该部分网络旨在通过卷积核来提取出原始的三维CT投影数据的特征，从而估计不同截面互相独立的扇束(或平行束)投影，主要完成将三维投影的高复杂度问题简化为二维平面内投影，从而简化后面的重建问题。三维重建所需的资源和计算量远远大于分层二维平面内的重建。

域转换子网络620实现从二维扇束(或平行束)CT投影域数据到图像域切片的重建运算，网络节点间的权重系数可以由二维扇束(或平行束)CT扫描关系中的扫描几何确定。此子网络的输入为投影域子网络610输出的二维投影数据，输出为各层CT重建图像。由于投影域子网络610已经把重建问题转化到二维，域转换子网络620可以直接使用领域内已有的解析二维重建的算子完成。当然，也可以按照二维解析重建算法构建神经网络层来完成图像的重建。

根据本公开的实施例，利用域转换子网络620对二维投影数据进行基于二维解析重建的投影域到图像域的转换运算。域转换子网络620包含二维反投影或加权反投影运算层，该运算层的节点之间的权重系数由扇束圆周扫描系统或者平行束圆周扫描系统的几何参数来确定。域转换子网络620可以包含滤波层实现斜坡滤波或者希尔伯特滤波。另外，域转换子网络620可以包含重采样层，实现图像域的数据重采样。

域转换子网络620按层(切片)对二维投影数据进行反投影操作，得到重建的图像。在本实施例中，按照二维滤波反投影算法构建域转换子网络620，它与投影域子网络610(第二卷积神经网络)级联，形成综合重建网络，以整体方式训练得到三维CT重建网络。例如，域转换子网络620可以实现从二维扇束(或平行束)CT投影域数据到图像域切片的运算，网络节点间的权重系数可以由二维扇束(或平行束)CT扫描关系中的扫描几何确定。此子网络的输入为投影域子网络输出的二维投影数据(例如，扇束投影数据)，输出为CT重建图像。由于投影域子网络610已经把重建问题转化到二维，此部分的域转换网络620可以直接使用解析二维重建的算子完成。

此外，也可以按照类似二维滤波反投影的算法构建域转换神经网络层，与第二卷积神经网络级联，并在域转换子网络620的基础上进一步级联图像域子网络即第三卷积神经网络，形成综合精细重建网络，以整体方式训练得到三维CT重建网络。

图像域子网络630以域转换子网络620输出的各虚拟单能下的CT重建图像为输入，经过第三卷积神经网络作用，提取数据在图像域的特征，并以目标图像为学习目标，对图像特征进行抑制、放大和相互耦合，从而达到在图像域优化图像质量的作用。此部分的输出为整个网络关于虚拟单能衰减系数的输出结果。在以上结果基础上可以进一步求解被扫描物体的电子密度分布图像和等效原子序数分布图像。如本领域技术人员所认识到的那样，图像域子网络并不是必须的，而是在需要对图像进行优化的情况下才使用的。

各子网络和总体网络的代价函数可以使用但不限于领域内常用的l-范数||f-f^*||_l等。其中f＝{f₁，f₂，…，f_n}为输出图像，目标图像为f^*。

根据本公开的实施例，设计并制造已知几何形状和物质组成的物体，使用扫描物体的图像真值(理论值)作为图像标记，进行有监督的训练。此外，设计数值模体，使用模拟投影的方式，获得扫描物体的三维投影标记和二维投影标记，并将其作为子网络的输出目标。在本公开的实施例中，训练方式包括：(1)使用各子网络的输入数据和其相应的标记分别进行各子网络自身的单独训练，在单独训练完成后对四部分级联网络进行整体化训练。(2)仅进行(1)中所述的各子网络的单独训练，并直接进行四部分网络级联。(3)仅进行(1)中所述的四部分网络级联后的整体训练。(4)在域转换子网络中选定该子网络参数后，不对域转换子网络进行训练，其余子网络和整体网络的训练方式同(1)～(3)所述。例如，使用残差方式分部训练能谱分解子网络600、投影域子网络610和图像域子网络630，对三维投影数据使用近似重建方法形成三维体的逐层图像初步估计，对其进行二维投影，作为投影域子网络610使用残差运算的依据，图像域子网络630以三维体的逐层图像初步估计或通过域转换子网络所得到的按层重建的图像作为残差运算的依据。

图7示出了根据本公开的实施例进行三维能谱扫描的示意图。以锥束圆轨道CT成像系统为例。如图7所示，在该系统中，转台的旋转中心O被定义为坐标系原点。光子计数探测器采集获得L个能窗下的锥束投影数据，可表示为四维矩阵P∈R^C×D×V×L，其中C表示单个视角下投影的列数，D表示单个视角下投影的行数，V表示每扫描一周的视角个数。待重建物体在T个虚拟单能下的衰减系数真值可以用一个四维矩阵表示，其中N表示重建层数，M×M表示每层的重建像素数，T表示T个感兴趣的虚拟单能。μ在相同系统T个虚拟单能下的锥束投影记为Q和P具有几何一致性。为了表述的方便，对于一个n维矩阵用A(b₁：c₁，b₂：c₂，…，b_n：c_n)表示矩阵A的一个子矩阵，该子矩阵在A的各个维度上取到的索引分别为b₁至c₁，b₂至c₂，…，b_n至c_n，在这种表述法则中，用符号“：”代指某个维度的全部索引，即1至a_i。

图8示出了示例所用网络的整体结构，能谱分解子网络600将投影数据P在每一个视角下的数据pv＝P(：，：，v，：)，v＝1，2，…V作为网络的输入，相应地，将Q在每一个视角下的数据qv＝Q(：，：，v，：)，v＝1，2，…V作为网络的标签。能谱分解网络输入层有L个通道，分别是L个能窗的投影；含4个卷积层，分别有κ₂，κ₃，κ₄，κ₅(＝T)个通道，每个卷积层在进行完卷积运算后可以有选择性地在卷积结果上加一个偏置量，除最后一个卷积层外，每层卷积后的结果都要经过一个激活函数。网络采用残差网络的结构，先将投影数据p_v做预处理，处理结果加到第三个卷积层的结果上，再通过一次卷积，得到能谱分解子网络的输出，能谱分解子网络的目标函数是其中表示网络输出结果中某个像素的输出值，x_i ^*表示该输出值对应的训练标签值。λ_i是对不同像素权重进行调节的权重因子。通过最小化ε_l可以对该能谱分解子网络做单独训练。

如图8所示，各个视角的投影数据p_v经过能谱分解子网络得到v＝1，2，…V，将进行矩阵数据的叠加和重排，成为矩阵其各个虚拟单能下的投影t＝1，2，…，T为投影域子网络的输入，共D个通道。投影域子网络采用U型网络的结构，此部分网络作用是估计物体各个二维截面内线衰减系数图像的扇束投影投影域子网络输出的标签为t＝1，2，…，T，共N个通道。投影域子网络由多个卷积层组成，卷积层配置若干个尺度的二维卷积核。对于某一个尺度的二维卷积核有两个维度，此处定义第一维度为探测器列方向，第二维度为扫描角度方向。两个维度的卷积核长度不必相同，例如取3×1，5×1，5×3的卷积核，如图9A、图9B和图9C所示。本领域的技术人员理解，可以采用其他的卷积核长度，例如3×5，7×3，3×3等等。每个尺度可以设置多个卷积核。每个卷积层在进行完卷积运算后可以有选择性地在卷积结果上加一个偏置量，除最后一个卷积层外，每个卷积层带一个激活函数。设各卷积层的卷积核个数为：{k₁，k₂，…，k_K}，各层分别形成{k₁，k₂，…，k_K}个通道，也即正弦图，K为卷积层数。所有的卷积核为待定的网络参数。在网络的池化部分，卷积层之间经过池化，图像尺度逐层减小，在上采样部分，卷积层之间通过上采样，逐层恢复图像尺度。为保持图像分辨率，在上采样过程中，上采样部分和池化部分同等尺度的图像会进行拼接，拼接结果经过卷积层后继续下一步上采样，如此进行下去直至输出。在训练网络前，可以先用常规解析重建方法如FDK方法通过初步重建出输入数据对应的图像用H表示扇束扫描的系统矩阵，各层初步扇束投影估计可表示为将加到投影域子网络最后一个卷积层的输出结果上得到投影域子网络的输出目标函数其中表示任一样本在任一虚拟单能下的输出，表示该输出结果对应的训练标签，通过最小化ε₂可进行对投影域子网络做单独训练。可以采用随机梯度下降法、Adam算法、Momentum算法、NesterovAccelerated Gradient等算法来进行网络的训练。

域转换子网络620采用与扇束CT解析重建同样的计算方式，通过对进行投影域到图像域的逆向计算，得到图像域输出使用领域内已有的Siddon或其它方法计算系统矩阵，以此系统矩阵的元素对应域转换子网络的连接权重。以FBP扇束解析重建为例，重建结果这里W完成投影域数据的加权，F对应于一个斜坡滤波卷积运算，完成带权重的反投影。域转换子网络可以做或者不做训练。

图像域子网络的作用是实现图像域优化。图像域子网络630采用与投影域子网络610类似的U型神经网络结构，该部分网络先将t＝1，2，…，T通过层分离和虚拟单能叠加的方式进行矩阵重排，重排后的结果n＝1，2，…，N为图像域子网络的输入，输入共T个通道，M×M表示每层的重建像素数。类似于投影域子网络，在前半部分，卷积层之间经过池化，图像尺度逐层减小，在上采样部分，卷积层之间通过上采样，逐层恢复图像尺度。在上采样过程中，上采样部分和池化部分同等尺度的图像会进行拼接，拼接结果经过卷积层后继续下一步上采样，如此进行下去直至输出。图像域子网络依然采用残差训练方式，即最后一层卷积层的输出结果加上等于对物体各层重建图像的精细估计将按层叠加，得到最终输出目标函数其中表示网络输出结果中某个像素的输出值，y_* ^z表示该输出值对应的训练标签值，τ_z是对不同像素权重进行调节的权重因子。训练图像域子网络的过程就是使得目标函数ε₃最小化的过程。可以采用随机梯度下降法、Adam算法、Momentum算法、Nesterov Accelerated Gradient等方法算法来进行网络的训练。

在本实施实例中，在投影域子网络和图像域子网络均选择3×3或1×1的卷积核，各设置13层卷积层，池化和上采样均采用4×4的采样间隔。选择Sigmoid、Tanh、ReLU或Leaky ReLU等函数作为激活函数。在本实施实例中，可先对各个子网络进行单独训练，再将网络整体级联后做整体化训练。

例如，利用U型卷积神经网络处理重建的图像，可以得到不同尺度的特征图，并且对不同尺度的特征图进行合并，得到结果图像。更具体地，利用上采样操作逐级融合多个尺度下的特征图，并最终得到被检查物体的结果图像。例如，图像域子网络630在估计投影解析重建的基础之上，进一步应用先验知识进行去伪影。图像域子网络630在本实例中采用U型网络设计，600×600的重建图像经过3次池化，逐步缩小特征图尺寸从而增大接受域学习图像全局特征。随后逐步扩展，并与同尺寸没有降采样的特征图合并，用于防止因降采样导致的信息损失，最终再次恢复600×600的尺寸，成为最终重建图像。图像域在最后一层卷积层的卷积核大小为1×1，且不带激活函数，在其他层级卷积核大小均是3×3，且均带激活函数。图像在降采样过程中，随着特征图尺寸减小，特征图数量逐渐增多，在升采样过程中，特征图数量再逐渐减少。

虽然图8所示为U型网络，但是本领域的技术人员可想到用其他形式的网络也能实现本公开的技术方案。

根据本公开的实施例，投影域子网络610和图像域子网络630的所有卷积核为待定的网络参数，可随机初始化，也可使用其它途径的预训练结果，在本网络训练过程中更新。此外，网络分别对输入数据在投影域和图像域进行处理，使待优化的目标函数(在深度学习领域常称为损失函数)达到最优结果。由于在投影域和图像域相邻像素所具有的几何关系不同，因此投影域卷积层和图像域卷积层可以起到互补作用。

图10是描述根据本公开的实施例的方法的示意性流程图。如图10所示，在步骤S1000，对被检查对象进行三维多能谱CT扫描，例如圆周锥束扫描/螺旋扫描/直线轨迹扫描，得到三维多能谱投影数据。

在步骤S1010，利用第一卷积神经网络(如图8所示的能谱分解子网络)对多能谱扫描下的三维投影数据进行处理，得到一个或多个指定能量的虚拟单能扫描下的三维投影数据。

在步骤S1020，利用第二卷积神经网络(如图8所示的投影域子网络)在投影域对三维投影数据进行处理，对三维体得到每层独立的二维投影数据。例如，利用训练得到的卷积神经网络对锥束扫描得到的三维投影数据进行处理，得到处理后的扇束扫描下的各层的正弦图，如图5所示。然后可选地，使用斜坡滤波器对二维投影数据进行滤波。例如，使用RL斜坡滤波器对投影数据进行滤波。本领域技术人员可以理解，这里可以使用其他的滤波器，或者不进行滤波。

在步骤S1030，对每层的二维投影数据进行等效于二维解析重建的投影域到图像域转换算子操作，按层得到重建的CT图像，形成三维体图像。

如上所述，作为另一实施例，还可以在得到CT图像之后再进行后处理，例如利用第三卷积神经网络(如图8所示的图像域子网络)对重建的CT图像进行处理，得到结果图像。例如这里对重建的图像进行局部去噪和伪影抑制、细节的进一步恢复处理，或者其他的图像处理操作，例如分割、边缘增强和均衡等等。

虽然上面的描述主要是针对圆周锥束扫描来描述的，但是本领域的技术人员能够理解，上述方案可以用于螺旋扫描的情况，如图11所示。

本公开所述实施例方法的有益效果可以包括以下几个方面：(1)能谱分解使用神经网络的方式，在训练数据足够好的情况下，神经网络建立的分解模型较传统建模准确性更高，同时可以避免复杂的探测器标定过程，保持分解准确性的同时简化能谱分解过程；(2)使用神经网络方式用3D投影来估计2D投影，可提高重建准确性，同时简化域转换所需的内存和计算量需求，此外，还能简化图像域子网络结构；(3)本网络结构可以同时提取投影域和图像域的特征信息，有利于得到更好的CT重建图像质量；(4)在网络训练完毕后，实际CT重建过程中，此网络的主要计算量只与传统解析重建的计算量相当，从而可以实现快速重建。

本公开实施例的方法适用于不同的扫描模式包括圆周锥束模式，螺旋扫描模式、直线CT扫描模式、多段直线扫描模式等。

图12是根据本公开另一实施例的实现稀疏角度CT扫描的扫描装置的示意图；如图12所示，从射线源10发出的X射线稀疏角度扫描(6个位置)视野45中的被检查对象40后，被探测器30接收，转换成电信号并进而转换成表示衰减值的数字信号，作为投影数据，在计算机中进行重建。利用上述的方案，即使对被检查对象40进行稀疏角度的CT扫描(例如6个位置)，训练得到的神经网络也能够重建得到质量较高的图像。

图13是根据本公开另一实施例的实现有限角度CT扫描的扫描装置的示意图。如图13所示，从射线源10发出的X射线透射视野45中的被检查对象40后，被探测器30接收，转换成电信号并进而转换成表示衰减值的数字信号，作为投影数据，在计算机中进行重建。利用上述的方案，即使对被检查对象40进行有限角度的CT扫描(例如130度)，训练得到的神经网络也能够重建得到质量较高的图像。

图14是根据本公开再一实施例的实现内重建扫描方式的扫描装置的示意图。如图14所示，从射线源10发出的X射线透射视野45中的被检查对象40的一部分后，被探测器30接收，转换成电信号并进而转换成表示衰减值的数字信号，作为投影数据，在计算机中进行重建。利用上述的方案，即使对被检查对象40进行内重建CT扫描，训练得到的神经网络也能够重建得到质量较高的图像。

图15是根据本公开再一实施例的实现探测器欠采样扫描方式的扫描装置的示意图。如图16所示，从射线源10发出的X射线透射视野45中的被检查对象40后被探测器30接收，转换成电信号并进而转换成表示衰减值的数字信号，作为投影数据，在计算机中进行重建。在该例子中，探测器30被设置成欠采样的情形，例如将各个探测器单元间隔预定的距离来实现欠采样。这样，利用上述的方案，即使对被检查对象40进行探测器欠采样CT扫描，训练得到的神经网络也能够重建得到质量较高的图像。

图16示出了根据本公开再一实施例的实现直线轨迹CT扫描的扫描装置的示意图。如图16所示，从射线源10发出的X射线透射视野中的被检查物体40后被探测器30接收，转换成电信号并进而转换成表示衰减值的数字信号，作为投影数据，在计算机中进行重建。在该例子中，被检查物体40在与探测器平行的传送带上沿着直线轨迹运动。探测器在水平方向与射线源张角尽可能大，在竖直方向覆盖物体。例如，探测器阵列放置在源的对边，要求射线水平张角θ在90度以上，得到直线轨迹CT扫描投影数据。利用上述的方案，即使对被检查物体40进行直线轨迹CT扫描，训练得到的神经网络也能够重建得到质量较高的图像。

图17示出了根据本公开再一实施例的实现多段直线轨迹CT扫描的扫描装置的示意图。图17示出的是将多段直线轨迹级联起来并且相邻的直线段有固定的夹角例如60度或者90度，这相当于执行多次如图16的扫描，并且每次扫描后物体转动例如60度或者90度。

以上的详细描述通过使用示意图、流程图和/或示例，已经阐述了基于神经网络的重建能谱CT图像的方法和设备的众多实施例。在这种示意图、流程图和/或示例包含一个或多个功能和/或操作的情况下，本领域技术人员应理解，这种示意图、流程图或示例中的每一功能和/或操作可以通过各种结构、硬件、软件、固件或实质上它们的任意组合来单独和/或共同实现。在一个实施例中，本发明的实施例所述主题的若干部分可以通过专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、或其他集成格式来实现。然而，本领域技术人员应认识到，这里所公开的实施例的一些方面在整体上或部分地可以等同地实现在集成电路中，实现为在一台或多台计算机上运行的一个或多个计算机程序(例如，实现为在一台或多台计算机系统上运行的一个或多个程序)，实现为在一个或多个处理器上运行的一个或多个程序(例如，实现为在一个或多个微处理器上运行的一个或多个程序)，实现为固件，或者实质上实现为上述方式的任意组合，并且本领域技术人员根据本公开，将具备设计电路和/或写入软件和/或固件代码的能力。此外，本领域技术人员将认识到，本公开所述主题的机制能够作为多种形式的程序产品进行分发，并且无论实际用来执行分发的信号承载介质的具体类型如何，本公开所述主题的示例性实施例均适用。信号承载介质的示例包括但不限于：可记录型介质，如软盘、硬盘驱动器、紧致盘(CD)、数字通用盘(DVD)、数字磁带、计算机存储器等；以及传输型介质，如数字和/或模拟通信介质(例如，光纤光缆、波导、有线通信链路、无线通信链路等)。

虽然已参照几个典型实施例描述了本发明，但应当理解，所用的术语是说明和示例性、而非限制性的术语。由于本发明能够以多种形式具体实施而不脱离发明的精神或实质，所以应当理解，上述实施例不限于任何前述的细节，而应在随附权利要求所限定的精神和范围内广泛地解释，因此落入权利要求或其等效范围内的全部变化和改型都应为随附权利要求所涵盖。

Claims (15)

1.一种基于神经网络的三维多能谱CT重建方法，包括步骤：

对被检查对象进行三维多能谱CT扫描，得到多能谱扫描下的三维投影数据；

利用第一卷积神经网络对多能谱扫描下的三维投影数据进行处理，得到一个或多个指定能量的虚拟单能扫描下的三维投影数据；

利用第二卷积神经网络对一个或多个指定能量的虚拟单能扫描下的三维投影数据进行处理，对三维体得到每层独立的二维投影数据，其中，第二卷积神经网络包括多个卷积层；以及

对每层的二维投影数据进行等效于二维解析重建的投影域到图像域转换算子操作，按层得到重建的图像，形成三维体图像。

2.如权利要求1所述的方法，其中所述第一卷积神经网络包括输入层和多个卷积层，所述输入层具有与扫描能谱数目相同的通道，并且除最后一个卷积层外，每个卷积层后带有激活函数。

3.如权利要求1所述的方法，其中按照二维解析重建算法构建神经网络层，与第二卷积神经网络级联，形成综合重建网络，以整体方式训练得到三维CT重建网络。

4.如权利要求3所述的方法，其中按照二维解析重建算法构建神经网络层，与第二卷积神经网络级联，在此基础上进一步级联图像处理网络即第三卷积神经网络，形成综合精细重建网络，以整体方式训练得到三维CT重建网络。

5.如权利要求1所述的方法，其中所述三维CT扫描为如下扫描方式之一：圆周锥束扫描、螺旋扫描、直线轨迹扫描、有限角度扫描、内重建扫描、多段直线轨迹扫描、稀疏角度扫描。

6.如权利要求4所述的方法，其中所述第二卷积神经网络和第三卷积神经网络均为U型卷积神经网络。

7.如权利要求4所述的方法，还包括步骤：

在对二维投影数据进行反投影操作之前，使用斜坡滤波器对二维投影数据进行滤波。

8.如权利要求1所述的方法，其中第二卷积神经网络中的卷积层的卷积核的一个维度为探测器像素序列，另一个维度为扫描角度，并且第二卷积神经网络中的卷积层的卷积核在探测器像素序列维度上的尺度与在扫描角度维度上的尺度是独立设置的。

9.如权利要求4所述的方法，其中使用残差方式分步训练第一卷积神经网络、第二卷积神经网络和第三卷积神经网络，对虚拟单能扫描下的三维投影数据使用近似重建方法形成三维体的逐层图像初步估计，对其进行二维投影，作为第二卷积神经网络使用残差运算的依据，第三卷积神经网络以三维体的逐层图像初步估计或通过投影域到图像域转换算子操作所得到的按层重建的图像作为残差运算的依据。

10.一种基于神经网络的三维多能谱CT图像重建设备，包括：

CT扫描装置，对被检查对象进行三维多能谱CT扫描，得到多能谱扫描下的三维投影数据；

处理器，配置为：

利用第一卷积神经网络对多能谱扫描下的三维投影数据进行处理，得到一个或多个指定能量的虚拟单能扫描下的三维投影数据；

利用第二卷积神经网络对一个或多个指定能量的虚拟单能扫描下的三维投影数据进行处理，对三维体得到每层独立的二维投影数据，其中，第二卷积神经网络包括多个卷积层；以及

对每层的二维投影数据进行等效于二维解析重建的投影域到图像域转换算子操作，按层得到重建的图像，形成三维体图像。

11.如权利要求10所述的设备，其中所述第一卷积神经网络包括输入层和多个卷积层，所述输入层具有与扫描能谱数目相同的通道，并且除最后一个卷积层外，每个卷积层后带有激活函数。

12.如权利要求10所述的设备，其中，所述处理器按照二维解析重建算法构建神经网络层，与第二卷积神经网络级联，形成综合重建网络，以整体方式训练得到三维CT重建网络。

13.如权利要求10所述的设备，其中所述处理器按照二维解析重建算法构建神经网络层，与第二卷积神经网络级联，在此基础上进一步级联图像处理网络即第三卷积神经网络，形成综合精细重建网络，以整体方式训练得到三维CT重建网络。

14.如权利要求13所述的设备，其中所述处理器还配置为：

使用残差方式分部训练第一卷积神经网络、第二卷积神经网络和第三卷积神经网络，对虚拟单能扫描下的三维投影数据使用近似重建方法形成三维体的逐层图像初步估计，对其进行二维投影，作为第二卷积神经网络使用残差运算的依据，第三卷积神经网络以三维体的逐层图像初步估计或通过投影域到图像域转换算子操作所得到的按层重建的图像作为残差运算的依据。

15.一种计算机可读介质，存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：

利用第一卷积神经网络对多能谱扫描下的三维投影数据进行处理，得到一个或多个指定能量的虚拟单能扫描下的三维投影数据，其中多能谱扫描下的三维投影数据是通过对被检查对象进行三维多能谱CT扫描而得到的；

利用第二卷积神经网络对一个或多个指定能量的虚拟单能扫描下的三维投影数据进行处理，对三维体得到每层独立的二维投影数据，其中，第二卷积神经网络包括多个卷积层；以及

对每层的二维投影数据进行等效于二维解析重建的投影域到图像域转换算子操作，按层得到重建的图像，形成三维体图像。