CN110675467A - 能谱ct的材料分解方法、装置、存储介质及电子设备 - Google Patents

Abstract

本发明实施例公开了一种能谱CT的材料分解方法、装置、存储介质及电子设备。该方法包括：获取多能谱CT投影数据；将多能谱CT投影数据输入至预先训练的能谱分解模型中，根据能谱分解模型的输出结果，得到各材料基的CT图像，其中，能谱分解模型用于同步对多能谱CT投影数据进行图像重建和能谱分解。本发明实施例的技术方案，可以实现端到端的一站式能谱CT的材料分解，中间环节的省略可以有效降低CT图像的噪声水平，由此提高了能谱CT的材料分解的效率和质量。

Description

能谱CT的材料分解方法、装置、存储介质及电子设备

技术领域

本发明实施例涉及CT成像技术，尤其涉及一种能谱CT的材料分解方法、装置、存储介质及电子设备。

背景技术

能谱CT成像是一种定量化CT成像技术，利用不同能量的X射线对物体进行扫描的方法，理论计算出物体的组份。当基于最基本的物质和X射线相互作用时，能谱CT成像可以精确的给出物质等效原子序数分布图、电子密度分布图，上述分解得到的CT图也称作材料或者物质分解基。

对于目前的能谱CT图像重建算法，一类是投影域分解，第二类是CT图像域分解。所谓投影域分解是指首先对采集到的投影数据进行基材料或者基物质的分解，其次再进行CT图像重建。而CT图像域分解则正好相反，它是先把不同能量采集到的数据进行CT图像重建，然后对CT图像进行基材料或者基物质的分解。前一类算法的优势是计算效率高，但是缺点是分解精度较差，分解基图像的噪声较高。后一类算法通常对数据采集过程进行建模，同时引入一定的正则化项来对重建过程进行约束，保证最终得到的结果具有较低的噪声和较高的精确度。

发明内容

本发明提供一种能谱CT的材料分解方法、装置、存储介质及电子设备，以提高能谱CT的材料分解的效率和质量。

第一方面，本发明实施例提供了一种能谱CT的材料分解方法，可以包括：

获取多能谱CT投影数据；

将多能谱CT投影数据输入至预先训练的能谱分解模型中，根据能谱分解模型的输出结果，得到各材料基的CT图像，其中，能谱分解模型用于同步对多能谱CT投影数据进行图像重建和能谱分解。

第二方面，本发明实施例还提供了一种能谱CT的材料分解装置，该装置可以包括：

投影数据获取模块，用于获取多能谱CT投影数据；

能谱分解模块，用于将多能谱CT投影数据输入至预先训练的能谱分解模型中，根据能谱分解模型的输出结果，得到各材料基的CT图像，其中，能谱分解模型用于同步对多能谱CT投影数据进行图像重建和能谱分解。

第三方面，本发明实施例还提供了一种电子设备，该电子设备可以包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现本发明任意实施例所提供的能谱CT的材料分解方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本发明任意实施例所提供的能谱CT的材料分解方法。

本发明实施例的技术方案，通过将多能谱CT投影数据输入至预先训练的能谱分解模型中，可以直接得到各材料基的CT图像，该能谱分解模型将能谱分解和图像重建有机结合起来，同时具备能谱分解和图像重建的能力。上述技术方案实现了端到端的一站式能谱CT的材料分解，中间环节的省略可以有效降低CT图像的噪声水平，由此提高了能谱CT的材料分解的效率和质量。

附图说明

图1是本发明实施例一中的一种能谱CT的材料分解方法的流程图；

图2是本发明实施例二中的一种能谱CT的材料分解方法的流程图；

图3是本发明实施例二中的一种能谱CT的材料分解方法中的结果示意图；

图4是本发明实施例三中的一种能谱CT的材料分解方法的流程图；

图5a是本发明实施例三中的一种能谱CT的材料分解方法中的初始能谱分解模型的第一种框架示意图；

图5b是本发明实施例三中的一种能谱CT的材料分解方法中的初始能谱分解模型的第二种框架示意图；

图6是本发明实施例四中的一种能谱CT的材料分解方法的流程图；

图7a是本发明实施例四中的一种能谱CT的材料分解方法中的初始能谱分解模型的框架示意图；

图7b是本发明实施例四中的一种能谱CT的材料分解方法中的初始能谱分解模型中的卷积网络模块的框架示意图；

图8是本发明实施例五中的一种能谱CT的材料分解装置的结构框图；

图9是本发明实施例六中的一种电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1是本发明实施例一中提供的一种能谱CT的材料分解方法的流程图。本实施例可适用于能谱CT的材料分解的情况，尤其适用于得到多能谱CT投影数据对应的各材料基的CT图像的情况。该方法可以由本发明实施例提供的能谱CT的材料分解装置来执行，该装置可以由软件和/或硬件的方式实现，该装置可以集成在各种电子设备上。

参见图1，本发明实施例的方法具体包括如下步骤：

S110、获取多能谱CT投影数据。

其中，多能谱电子计算机断层扫描仪(Computed Tomography，CT)利用不同能量的X射线对物体进行扫描，获取多能谱CT投影数据，该多能谱CT投影数据可以包括两个能谱或是两个以上能谱的CT投影数据。可选的，各个能谱下的CT投影数据可以通过能量分辨光子计数探测器获得，该能量分辨光子计数探测器可以分辨出捕获到的光子能量，并对在预设能谱区间的光子进行接收以及计数，由此获得多能谱CT投影数据。

S120、将多能谱CT投影数据输入至预先训练的能谱分解模型中，根据能谱分解模型的输出结果，得到各材料基的CT图像，其中，能谱分解模型用于同步对多能谱CT投影数据进行图像重建和能谱分解。

其中，将多能谱CT投影数据输入至预先训练的能谱分解模型中，该能谱分解模型可以用于同步对多能谱CT投影数据进行图像重建和能谱分解，得到各材料基的CT图像。即，该能谱分解模型没有简单地应用在多能谱CT投影数据的分解上，和/或，应用在基于多能谱CT投影数据得到的重建图像的分解上；而是将能谱分解和图像重建有机结合起来，或是说将材料分解和图像重建有机结合起来，实现端到端的能谱CT分解，这样就能提高能谱分解模型的使用效率，省略多能谱CT投影数据的预处理和/或重建图像的后处理等中间环节，步骤简单，且有效降低CT图像的噪声水平并提高CT图像的精确度。

从医学应用的角度考虑，如果选择两种或者两种以上材料作为分解基，基于能谱分解模型得到的各材料基的CT图像可以精确地给出被扫描物体内这些选定的材料基的空间构成比份图，该空间构成比份图可以显著提高临床应用中对疾病的定量化诊断的准确度，具有十分可观的临床应用价值。

本发明实施例的技术方案，通过将多能谱CT投影数据输入至预先训练的能谱分解模型中，可以直接得到各材料基的CT图像，该能谱分解模型将能谱分解和图像重建有机结合起来，同时具备能谱分解和图像重建的能力。上述技术方案实现了端到端的一站式能谱CT的材料分解，中间环节的省略可以有效降低CT图像的噪声水平，由此提高了能谱CT的材料分解的效率和质量。

实施例二

图2是本发明实施例二中提供的一种能谱CT的材料分解方法的流程图。本实施例以上述各技术方案为基础进行优化。在本实施例中，可选的，上述能谱分解模型的训练方法，具体可包括：采集初始图像，对初始图像的像素值进行通道分解，得到模拟材料基；基于预设规则，根据模拟材料基生成模拟多能谱样本数据；构建初始能谱分解模型；基于模拟多能谱样本数据和模拟材料基对初始能谱分解模型进行训练，调节初始能谱分解模型的网络参数，生成能谱分解模型。其中，与上述各实施例相同或相应的术语的解释在此不再赘述。

参见图2，本实施例的方法具体可以包括如下步骤：

S210、采集初始图像，对初始图像的像素值进行通道分解，得到模拟材料基，并基于预设规则，根据模拟材料基生成模拟多能谱样本数据。

其中，在模型训练过程中，作为训练数据的能谱CT的材料分解结果比如原子序数分布图、电子密度分布图较难得到，为了得到大量的训练数据以提高模型训练的准确度，可以基于某些技术手段模拟能谱CT的材料分解结果，进而得到训练数据。比如，由于能谱CT是由各材料基构成，相应的，初始图像可以由各通道构成，则对初始图像的通道分解的过程就好比对能谱CT进行材料分解的过程，由此，初始图像的通道分解结果和能谱CT的材料分解结果具有类似的性质，基于上述思想可以模拟出能谱CT的材料分解结果。

具体的，采集初始图像，该初始图像可以是任意的彩色自然图像，在此基础上，可以对该初始图像进行归一化处理，比如，将初始图像的大小调整N×M，N和M是大于等于2的整数，这有助于规范化每张初始图像的尺寸，N和M可以是根据能谱CT图像尺寸确定，示例性的，可以将初始图像的大小调整256×256。进一步，若初始图像是由至少两个通道构成，则可以对初始图像的像素值进行通道分解，得到各个通道各自对应的灰度图像，并根据该灰度图像生成CT图像，该CT图像就可以作为模拟材料基，即模拟出的能谱CT的材料分解结果。

示例性的，模拟材料基可以通过如下方式得到：初始图像是由R通道、G通道和B通道构成，提取初始图像中R通道、G通道和B通道的像素值，并基于任一通道的像素值生成对应的归一化灰度图像，也就是说，该归一化灰度图像可以是基于R通道、G通道或是B通道的像素值生成的归一化处理后的灰度图像。进一步，根据任一通道的归一化灰度图像可以生成与其对应的关联灰度图像，该关联灰度图像的像素点的像素值可以根据数值1与归一化灰度图像中对应像素点的像素值的差值确定。比如，R通道的归一化灰度图像和1-R的关联灰度图像，B通道的归一化灰度图像和1-B的关联灰度图像，G通道的归一化灰度图像和1-G的关联灰度图像。在此基础上，对该归一化灰度图像与该归一化灰度图像的关联灰度图像进一步处理，得到它们各自对应的CT图像(正投影图像),并将这两项CT图像作为模拟材料基。

比如，以生成两项模拟材料基为例，可以提取初始图像中任一通道对应的归一化灰度图像与该归一化灰度图像的关联灰度图像，比如R通道的归一化灰度图像与1-R的关联灰度图像，并将这两项图像各自对应的CT图像作为模拟材料基，当然，也可以将G通道和1-G各自对应的CT图像，或是，B通道和1-B各自对应的CT图像作为模拟材料基。再比如，以生成四项模拟材料基为例，当式子Gray＝a*R*0.5+b*(1-R)*0.5+c*B*0.5+d*(1-B)*0.5时，(R，(1-R)，B，(1-B))可以生成四项归一化灰度图像以及与该四项归一化图像分别对应的关联灰度图像，进而得到它们各自对应的CT图像，由此得到四项模拟材料基，其中，式子中的R和B(或G)分别是初始图像中R通道和B通道(或G通道)的像素值。

在得到模拟材料基后，可以基于该模拟材料基生成模拟多能谱样本数据，该模拟多能谱样本数据就相当于模拟出的能谱CT。可选的，经实验验证，以两项模拟材料基b₁和b₂为例，模拟多能谱样本数据的生成式子可以是：

其中，P_E是模拟多能谱样本数据，该模拟多能谱样本数据是模拟出的能谱CT正弦图像，Ω_E是归一化能谱，b₁,b₂表示物质1,2的实际质量密度分布，ξ₁(E_i)是材料1在能量E_i下的质量吸收系数，ξ₂(E_i)是材料2在能量E_i下的质量吸收系数，A是系统矩阵。根据先验知识，可知b₁＝α₁*ρ₁,b₂＝α₂*ρ₂，其中ρ₁,ρ₂分别是物质1,2的标准质量密度，α₁,α₂分别是物质1,2的体积分数分布，考虑到质量和体积守恒,α₁,α₂满足如下约束：α₁+α₂＝1,α₁∈[0,1],α₂∈[0,1]。若对上述式子进行离散化处理，可以得到如下式子：

由此得到各个能量下的模拟多能谱样本数据。具体的，低能能谱对应的模拟多能谱样本数据P_LE可以表示为：

相应的，高能能谱对应的模拟多能谱样本数据P_HE可以表示为：

为了更好地理解上述步骤的具体实现过程，示例性的，首先，可以从ImageNet数据库中下载初始图像，该数据库内存有十万张自然图像；将各初始图像归一化至同一尺寸256×256，提取出经归一化处理后的初始图像中R通道对应的归一化灰度图像以及该归一化灰度图像的关联灰度图像，这些归一化灰度图像和关联灰度图像的灰度值可以在区间[0，1]的范围内。其次，获取它们各自对应的CT图像(即模拟材料基b₁和b₂)，尺寸为256×256，以及，正弦图像Ab₁和Ab₂，尺寸为424×360。再次，基于生成的低能能谱和高能能谱，以及，上述模拟多能谱样本数据P_E的生成式子得到双能CT的正弦图像，即，低能能谱对应的模拟多能谱样本数据P_LE和高能能谱对应的模拟多能谱样本数据P_HE。最后，将b₁、b₂和P_HE、P_LE保存为.TFRecord格式的文件，由此得到初始能谱分解模型的训练数据。

图3可以很好地呈现出上述各个步骤的处理结果：图3左上角的两幅示意图分别是初始图像中R通道对应的归一化灰度图像RG和1-R对应的关联灰度图像R’G；图3左下角两幅示意图分别是RG的CT图像(b₁)和R’G的CT图像(b₂)；图3右上角两幅示意图分别是RG的CT图像对应的正弦图像(Ab₁)和R’G的CT图像对应的正弦图像(Ab₂)；图3右下角两幅示意图分别是低能能谱CT对应的正弦图像(P_LE)以及高能能谱CT对应的正弦图像(P_HE)。

S220、构建初始能谱分解模型。

其中，初始能谱分解模型的构建方式有多种，比如，可以基于传统的迭代思想与卷积神经网络相结合的方式构建，还可以基于特征信息的提取和融合的方式构建。需要说明的是，无论采用哪种构建方式，由此构建出的初始能谱分解模型可以是一个端到端的用于能谱CT的材料分解的深度卷积神经网络模型，即，该初始能谱分解模型可以同时具备能谱分解和图像重建的能力，端到端的实现能谱分解，中间环节的省略有效提高了能谱CT的材料分解的效率。

S230、基于模拟多能谱样本数据和模拟材料基对初始能谱分解模型进行训练，调节初始能谱分解模型的网络参数，生成能谱分解模型。

其中，将模拟材料基和模拟多能谱样本数据作为训练数据，基于该训练数据对初始能谱分解模型进行训练，调节初始能谱分解模型的网络参数，生成能谱分解模型。具体的，可选的，可以将模拟多能谱样本数据输入至初始能谱分解模型中，生成预测材料基；根据预测材料基与模拟材料基的差异值，确定损失函数；将损失函数反向输入至初始能谱分解模型，调节初始能谱分解模型的网络参数，生成能谱分解模型，其中，上述差异值可以均方差、差值、比值等等。在初始能谱分解模型的训练过程，可以采用采用Adam优化器，此时，初始学习率为0.0001，并且每500步衰减为0.98。

S240、获取多能谱CT投影数据，将多能谱CT投影数据输入至预先训练的能谱分解模型中，根据能谱分解模型的输出结果，得到各材料基的CT图像，该能谱分解模型用于同步对多能谱CT投影数据进行图像重建和能谱分解。

本发明实施例的技术方案，通过对采集到的初始图像的像素值进行通道分解，得到用于模拟能谱CT的材料分解结果的模拟材料基；进而，根据模拟材料基可以生成模拟多能谱样本数据，该模拟多能谱样本数据可以用于模拟多能谱CT的正弦图像；将模拟多能谱样本数据和模拟材料作为训练数据，对初始能谱分解模型进行训练，由此生成能谱分解模型。上述技术方案通过分解初始图像中各个通道的技术手段，较好地模拟出了与实际应用中能谱CT的材料分解较为相似的训练数据，由此训练得到的能谱分解模型可以实现能谱CT中材料的精确分解，提高了能谱CT的材料分解的质量。

实施例三

图4是本发明实施例三中提供的一种能谱CT的材料分解方法的流程图。本实施例以上述各技术方案为基础进行优化。在本实施例中，可选的，初始能谱分解模型可以包括多通道网络模型，对于第一通道网络模型，其可以包括依次连接的投影域子模型、数据转换模块和图像域子模型。其中，与上述各实施例相同或相应的术语的解释在此不再赘述。

参见图4，本实施例的方法具体可以包括如下步骤：

S310、采集初始图像，对初始图像的像素值进行通道分解，得到模拟材料基，并基于预设规则，根据模拟材料基生成模拟多能谱样本数据。

S320、构建初始能谱分解模型，该初始能谱分解模型包括多通道网络模型。对于第一通道网络模型，第一通道网络模型包括依次连接的投影域子模型、数据转换模块和图像域子模型；其中，第一通道网络模型的投影域子模型还与第二通道网络模型的投影域子模型进行连接，用于提取输入数据的第一特征信息，将第一特征信息与第二通道网络模型中投影域子模型提取的第二特征信息进行交互，并将第一特征信息与第二特征信息进行融合；数据转换模块用于将投影域子模型输出的投影数据转换为CT图像；第一通道网络模型的图像域子模型还与第二通道网络模型的图像域子模型连接，用于提取CT图像的第三特征信息，第三特征信息与第二通道网络模型中图像域子模型提取的第四特征信息进行交互，并将第三特征信息与第四特征信息进行融合，生成材料基的CT图像。

其中，多通道网络模型可以包括至少两个通道网络模型，比如，双通道网络模型可以包括第一通道网络模型和第二通道网络模型，三通道网络模型可以包括第一通道网络模型、第二通道网络模型和第三通道网络模型，等等。而且，多通道网络模型中的各个通道可以用于处理不同能谱区间的CT投影数据。由于在任一的多通道网络模型中，肯定存在第一通道网络模型和第二通道网络模型，则以第一通道网络模型，以及，与该第一通道网络模型产生交互的第二通道网络模型为例，详细阐述初始能谱分解模型的框架。需要说明的是，在下面的示例中，对于两个通道网络模型之间的交互，仅是阐述了第一通道网络模型和第二通道网络模型的交互过程。实际上，若在多通道网络模型中还存在第三通道网络模型，则第一通道网络模型还会与第三通道网络模型产生交互，该交互过程类似于第一通道网路模型和第二通道网络模型的交互过程。

示例性的，如图5a所示，以第一通道网络模型为例，该第一通道网络模型可以包括依次连接的投影域子模型、数据转换模块和图像域子模型。具体的，该第一通道网络模型的投影域子模型还可以与第二通道网络模型的投影域子模型进行连接，用于提取输入数据的第一特征信息，将第一特征信息与第二通道网络模型中投影域子模型提取的第二特征信息进行交互，并将第一特征信息与第二特征信息进行融合(Information Fusion)，该第一特征信息和第二特征信息可以通过特征图(Feature Maps)的形式呈现。

该第一通道网络模型的数据转换模块(OP)用于将第一通道网络模型的投影域子模型输出的投影数据转换为CT图像，即将第一特征信息和第二特征信息的融合结果转换为CT图像。上述投影数据到CT图像的转换过程可以是基于CT成像中正弦域和图像域的转换原理得到：

其中，f(x,y)为数据转换模块输出的CT图像，x和y分别为CT图像中的横坐标和纵坐标，p(r,θ)为数据转换模块输入的差分相称投影数据，r为差分相称投影数据与原点的距离，δ为投影X射线，θ为投影角度。

该第一通道网络模型的图像域子模型还可以与第二通道网络模型的图像域子模型连接，用于提取CT图像的第三特征信息，该第三特征信息与第二通道网络模型中图像域子模型提取的第四特征信息进行交互，并将第三特征信息与第四特征信息进行融合(Information Fusion)，生成材料基的CT图像，该第三特征信息和第四特征信息可以通过特征图(Feature Maps)的形式呈现。

S330、基于模拟多能谱样本数据和模拟材料基对初始能谱分解模型进行训练，调节初始能谱分解模型的网络参数，生成能谱分解模型。

S340、获取多能谱CT投影数据，将多能谱CT投影数据输入至预先训练的能谱分解模型中，根据能谱分解模型的输出结果，得到各材料基的CT图像，该能谱分解模型用于同步对多能谱CT投影数据进行图像重建和能谱分解。

本发明实施例的技术方案所构建的初始能谱分解模型包括多通道网络模型，以第一通道网络模型为例，第一通道网络模型包括依次连接的投影域子模型、数据转换模块和图像域子模型；其中，该投影域子模型可以实现不同能谱的CT投影数据的特征信息的交叉与融合，该数据转换模块可以将投影域子模型输出的投影数据转换为CT图像；该图像域子模型可以实现不同能谱的CT图像的特征信息的交叉与融合，由此生成材料基的CT图像。上述技术方案在构建初始能谱分解模型时，采用多学习任务式地交叉、连接与融合特征信息的思路，实现多能谱的特征信息的融合，以便在能谱CT的材料分解的过程中，每个能谱CT的投影数据与其余各个能谱CT的投影数据保持关联性，由此实现了纯网络层的端到端的用于能谱CT的材料分解的深度卷积神经网络模型的构建。

为了更好地理解上述技术方案的具体实现过程，以适用于双能CT的材料分解的初始能谱分解模型为例，示例性的，如图5b所示，该初始能谱分解模型包括双通道网络模型，该双通道网络模型的输入可以是两张424×360的双能正弦图像(P_HE和P_LE)，输出可以是两个256×256的材料基(b₁和b₂)。其中，该双通道网络模型中的第一通道网络模型中的投影域子模型可以包括第一信息提取模块、第一信息交互模块和第一信息融合模块。具体的，

第一信息提取模块用于对输入的能谱CT投影数据进行特征提取，比如，基于卷积网络的方式进行特征提取，该卷积网络可以是一个二维的7×7×64的卷积网络，还可以是一个基于多种尺寸卷积核的卷积网络，该多种尺寸可以包括3×3、5×5、7×7、1×33等等，由此生成第一特征信息。而且，在该卷积网络中，可以忽略池化操作，这样可以避免分辨率的损失。

第一信息交互模块可以与第二通道网络模型中的投影域子模型连接，用于将提取的第一特征信息发送至第二通道网络模型。可选的，在将第一特征信息发送至第二通道网络模型之前，还可以对第一特征信息进行处理，比如，基于两个连续的3x3x64的残差网络(ResBlock)处理第一特征信息，并将处理后的第一特征信息发送至第二通道网络模型，该残差网络的激活函数可以是leakly_relu函数。

第一信息融合模块(+)可以用于接收第二通道网络模型中的投影域子模型发送的第二特征信息，并将第一特征信息与第二特征信息进行融合。需要说明的是，作用于第一信息融合模块的第一特征信息可以是第一信息提取模块提取出的初始的第一特征信息，也可以是经过处理后的第一特征信息，比如，经过三个连续的3×3×64的残差网络处理后的第一特征信息。第一信息融合模块实现了第一特征信息与第二特征信息融合，在此基础上，还可以对融合结果进行再处理，比如，基于两个连续的二维的5×5×1的卷积网络对融合结果进行再处理，并将处理后的融合结果发送至数据转换模块。

在上述内容的基础上，图像域子模型可以包括第二信息提取模块、第二信息交互模块和第二信息融合模块；其中，第二信息提取模块用于对输入的CT图像进行特征提取，生成第三特征信息，该第三特征信息可以直接通过与第二通道网络模型中的图像域子模型连接的第二信息交互模块发送至第二通道网络模型，也可以先对第三特征信息经过卷积处理，并将卷积处理后的第三特征信息发送至第二通道网络模型。特别地，该卷积处理所涉及到的卷积网络中可以采用1维的探测器方向的1×33或是其余尺寸的卷积核，由此学习CT图像重建算法中的滤波操作；与此同时，还可以采用采用跳连操作融合浅层的有效特征，由此防止梯度消失和梯度下降。第二信息融合模块用于接收第二通道网络模型中的图像域子模型发送的第四特征信息，并将第三特征信息与第四特征信息进行融合，由此生成材料基的CT图像。

实施例四

图6是本发明实施例四中提供的一种能谱CT的材料分解方法的流程图。本实施例以上述实施例一和实施例二中的各技术方案为基础进行优化。在本实施例中，可选的，构建初始能谱分解模型，具体可以包括：确定材料基迭代函数，根据材料基迭代函数的组成结构进行函数划分，得到各组成部分；根据组成部分构建数据处理模块；根据各组成部分之间的关联关系确定各数据处理模块的连接关系，生成初始能谱分解模型的任一网络层，其中，初始能谱分解模型包括多通道子模型，任一通道子模型包括预设数量的网络层，各网络层的网络结构相同。其中，与上述各实施例相同或相应的术语的解释在此不再赘述。

参见图6，本实施例的方法具体可以包括如下步骤：

S410、采集初始图像，对初始图像的像素值进行通道分解，得到模拟材料基，并基于预设规则，根据模拟材料基生成模拟多能谱样本数据。

S420、确定材料基迭代函数，根据材料基迭代函数的组成结构进行函数划分，得到各组成部分，并根据组成部分构建数据处理模块。

其中，以双能谱CT为例进行函数推导，在已知多能谱CT投影数据时，可以基于迭代思想实现能谱CT的材料分解。具体的，可以定义一个目标函数：

其中，P_LE和P_HE的具体表述如实施例二所示。另

由于

是一个与能量无关的项，由此可得：

因此，上述目标函数可以表示为：

其中，w是与P_HE和P_LE相关的对角矩阵，R₁(b₁(x,y))、R₂(b₂(x,y))是和b₁、b₂相关的先验知识函数，β是该项系数。进一步，若利用牛顿法求极值，并用卷积神经网络替代先验知识函数，则，当以双能谱CT为例时，可以分别得到材料基b₁和b₂的材料基迭代函数：

其中，

是一个关于b_k(x,y)的卷积网络模块。可以理解的是，对于多能谱CT，材料基迭代函数的实质含义与上述内容相同。

在确定出材料基迭代函数后，可以根据材料基迭代函数的组成结构进行函数划分，得到各组成部分。可选的，任一材料基迭代函数可以包括分母部分、分子中的输入数据处理部分和分子中的先验函数部分，比如，若以上述材料基迭代函数为例，分母部分可以为

分子中的先验函数部分可以为

以及，分子中的输入数据处理部分

由此可以构建出各个数据处理模块，即各个数据处理模块可以实现的功能与上述材料基迭代函数中分母部分、分子中的输入数据处理部分和分子中的先验函数部分可以实现的功能实质相同。

S430、根据各组成部分之间的关联关系确定各数据处理模块的连接关系，生成初始能谱分解模型的任一网络层，其中，初始能谱分解模型包括多通道子模型，任一通道子模型包括预设数量的网络层，各网络层的网络结构相同。

其中，由于各个数据处理模块可以实现的功能与上述材料基迭代函数可以实现的功能实质相同，则根据各组成部分之间的关联关系可以确定各数据处理模块的连接关系。比如，可选的，若数据处理模块包括第一数据模块Denoninator-b_k、第二数据模块Numerator-b_k和卷积网络模块CNN-b_k(b_k是编号为k的材料基，k是大于等于2的整数)，且第一数据模块Denoninator-b_k相当于分母部分，第二数据模块Numerator-b_k相当于分子中的输入数据处理部分，卷积网络模块CNN-b_k相当于分子中的先验函数部分为例，则各数据处理模块的连接关系可以理解为：

进一步，根据各数据处理模块的连接关系可以生成初始能谱分解模型的任一网络层，这是因为初始能谱分解模型可以包括多通道子模型，任一通道子模型包括预设数量的网络层，预设数量的大小可以与迭代次数相匹配，各网络层的网络结构相同，由此实现初始能谱分解模型的构建。

需要说明的是，可选的，当任一网络层中的数据处理模块包括Denoninator-b_k、Numerator-b_k和CNN-b_k，且Numerator-b_k相当于分子中的输入数据处理部分时，在上述构建的初始能谱分解模型中，Numerator-b_k可以与前一网络层中各通道的输出端连接，用于对各通道输出的材料基数据进行融合，即采用多学习任务式地交叉、连接与融合特征信息的思路，由此实现了多能谱的特征信息的融合。

另外，再可选的，在模型训练过程中，Denoninator-b_k可以认为是一个常数，因此，该Denoninator-b_k无需对应有梯度回传子模块；相应的，由于Numerator-b_k会持续更新，则在计算Numerator-b_k时，需要编写

对

的梯度回传函数，以便在深度学习中使用梯度下降法。即，Numerator-b_k可以包括正向传输数据子模块和梯度回传子模块，其中，正向传输数据子模块用于对正向输入数据进行处理，梯度回传子模块用于对反向输入数据进行处理，梯度回传子模块可以有效解决材料基数据在回传过程中梯度损失的问题。

S440、基于模拟多能谱样本数据和模拟材料基对初始能谱分解模型进行训练，调节初始能谱分解模型的网络参数，生成能谱分解模型。

S450、获取多能谱CT投影数据，将多能谱CT投影数据输入至预先训练的能谱分解模型中，根据能谱分解模型的输出结果，得到各材料基的CT图像，该能谱分解模型用于同步对多能谱CT投影数据进行图像重建和能谱分解。

本发明实施例的技术方案，通过数学推导确定材料基迭代函数，并对该材料基迭代函数的组成结构进行函数划分，构建与划分结果匹配的各个数据处理模块；当各个数据处理模块按照材料基迭代函数中各组成结构的关联关系相连接时，各个数据处理模块实现的功能与材料基迭代函数所实现的功能实质相同；因此，可以基于各个数据处理模块的连接关系生成初始能谱分解模型的任一网络层，预设数量的网络层可以构成任一通道子模型，进而，经由多个通道子模型构建初始能谱分解模型。上述技术方案以基于数据推导确定的材料基迭代函数为出发点，将卷积神经网络嵌入至能谱CT的材料分解的迭代算法中，根据该材料基迭代函数的组成结构生成的初始能谱分解模型，可以较好地模拟由多能谱CT投影数据到材料基的CT图像的分解过程，由此提高了已训练完成的能谱分解模型的分解精度。

为了更好地理解上述步骤构建出的初始能谱分解模型的框架，以双能CT的材料分解为例，示例性的，该初始能谱分解模型可以如图7a所示，其中，输入数据可以是两个424x360的双能正弦图像(P_HE和P_LE)，输出数据可以是两个256x256的材料基(b₁和b₂)。在获取到输入数据后，可以基于滤波反投影重建算法、0初始化或者1初始化等对输入数据进行初始化处理，得到

和需要说明的是，第一数据模块Denoninator-b_k和第二数据模块Numerator-b_k的实现方式可以如上述材料基迭代函数所示。可选的，卷积网络模块CNN-b_k可以如图7b所示，考虑到迭代算法中可能出现负值，激活函数可以采用leakly_relu函数；每个卷积网络模块的输入数据可以是256×256×1大小的材料基b_k，输出数据可以是256×256×1大小的材料基b_k的特征图；卷积核的大小可以为3×3；可以忽略池化操作，由此避免分辨率的损失。

具体的，如图7a所示，将输入数据P_LE所在的通道子模型作为当前通道子模型，以该当前通道子模型为例：对于当前通道子模型中的第一网络层，Denoninator-b_k的输入端与输入数据P_LE连接，Numerator-b_k及CNN-b_k的输入端和输入数据的初始化结果

连接，与此同时，Numerator-b_k的输入端还会与除当前通道子模型以外的任一通道子模型的第一网络层的输入数据的初始化结果

连接。此时，基于式子

确定Denoninator-b_k、Numerator-b_k和CNN-b_k的输出端的连接关系，并确定连接结果

该连接结果

是第一网络层的输出数据，由此完成第一网络层的构建。

相应的，对于当前通道子模型中的第二网络层，Denoninator-b_k、Numerator-b_k和CNN-b_k的输入端与第二网络层的输入数据

连接，与此同时，Numerator-b_k的输入端还会与除当前通道子模型以外的任一通道子模型的第二网络层的输入数据

连接。此时，再次基于式子确定第二网络层的输出数据

由此完成第二网络层的构建。需要说明的是，第三及以后的网络层的构建方式与第二网络层相同，即各网络层的网络结构相同。而且，由上述内容可知，Numerator-b_k总是与前一网络层中各通道的输出端连接，用于对各通道输出的材料基数据进行融合。

实施例五

图8为本发明实施例五提供的能谱CT的材料分解装置的结构框图，该装置用于执行上述任意实施例所提供的能谱CT的材料分解方法。该装置与上述各实施例的能谱CT的材料分解方法属于同一个发明构思，在能谱CT的材料分解装置的实施例中未详尽描述的细节内容，可以参考上述能谱CT的材料分解方法的实施例。参见图8，该装置具体可包括：投影数据获取模块510和能谱分解模块520。

其中，投影数据获取模块510，用于获取多能谱CT投影数据；

能谱分解模块520，用于将多能谱CT投影数据输入至预先训练的能谱分解模型中，根据能谱分解模型的输出结果，得到各材料基的CT图像，其中，能谱分解模型用于同步对多能谱CT投影数据进行图像重建和能谱分解。

可选的，在上述装置的基础上，该装置还可包括模型训练模块，用于得到预先训练的能谱分解模型，其中，该模型训练模块，具体可包括：

模拟材料基得到子模块，用于采集初始图像，对初始图像的像素值进行通道分解，得到模拟材料基；

模拟多能谱样本数据生成子模块，用于基于预设规则，根据模拟材料基生成模拟多能谱样本数据；

初始能谱分解模型构建子模块，用于构建初始能谱分解模型；

能谱分解模型生成子模块，用于基于模拟多能谱样本数据和模拟材料基对初始能谱分解模型进行训练，调节初始能谱分解模型的网络参数，生成能谱分解模型。

可选的，模拟材料基得到子模块，具体可以用于：

提取初始图像中R通道、G通道和B通道的像素值，基于任一通道的像素值生成对应的归一化灰度图像，将归一化灰度图像与归一化灰度图像的关联灰度图像作为模拟材料基底，其中，关联灰度图像的像素点的像素值根据数值1与归一化灰度图像中对应像素点的像素值的差值确定。

可选的，在上述装置的基础上，初始能谱分解模型包括多通道网络模型；

对于第一通道网络模型，第一通道网络模型包括依次连接的投影域子模型、数据转换模块和图像域子模型；其中，

第一通道网络模型的投影域子模型还与第二通道网络模型的投影域子模型进行连接，用于提取输入数据的第一特征信息，将第一特征信息与第二通道网络模型中投影域子模型提取的第二特征信息进行交互，并将第一特征信息与第二特征信息进行融合；

数据转换模块用于将投影域子模型输出的投影数据转换为CT图像；

第一通道网络模型的图像域子模型还与第二通道网络模型的图像域子模型连接，用于提取CT图像的第三特征信息，第三特征信息与第二通道网络模型中图像域子模型提取的第四特征信息进行交互，并将第三特征信息与第四特征信息进行融合，生成材料基的CT图像。

可选的，在上述装置的基础上，投影域子模型包括第一信息提取模块、第一信息交互模块和第一信息融合模块；其中，

第一信息提取模块用于对输入的能谱CT投影数据进行特征提取，生成第一特征信息，第一信息交互模块与第二通道网络模型中的投影域子模型连接，用于将提取的第一特征信息发送至第二通道网络模型，第一信息融合模块用于接收第二通道网络模型中的投影域子模型发送的第二特征信息，并将第一特征信息与第二特征信息进行融合；

相应的，图像域子模型包括第二信息提取模块、第二信息交互模块和第二信息融合模块；其中，

第二信息提取模块用于对输入的CT图像进行特征提取，生成第三特征信息，第二信息交互模块与第二通道网络模型中的图像域子模型连接，用于将提取的第三特征信息发送至第二通道网络模型，第二信息融合模块用于接收第二通道网络模型中的图像域子模型发送的第四特征信息，并将第三特征信息与第四特征信息进行融合，生成材料基的CT图像。

可选的，初始能谱分解模型构建子模块，可以包括：

各组成部分得到单元，用于确定材料基迭代函数，根据材料基迭代函数的组成结构进行函数划分，得到各组成部分；

数据处理模块构建单元，用于根据组成部分构建数据处理模块；

初始能谱分解模型生成单元，用于根据各组成部分之间的关联关系确定各数据处理模块的连接关系，生成初始能谱分解模型的任一网络层，其中，初始能谱分解模型包括多通道子模型，任一通道子模型包括预设数量的网络层，各网络层的网络结构相同。

可选的，在上述装置的基础上，任一材料基迭代函数包括分母部分、分子中的输入数据处理部分和分子中的先验函数部分；

相应的，任一网络层中的数据处理模块包括第一数据模块Denoninator-b_k、第二数据模块Numerator-b_k和卷积网络模块CNN-b_k,其中，第二数据模块与前一网络层中各通道的输出端连接，用于对个通道输出的材料基数据进行融合，其中，b_k是编号为k的材料基，k是大于等于2的整数。

可选的，在上述装置的基础上，第二数据模块包括正向传输数据子模块和梯度回传子模块，其中，正向传输数据子模块用于对正向输入数据进行处理，梯度回传子模块用于对反向输入数据进行处理。

可选的，能谱分解模型生成子模块，包括：

预测材料基生成单元，用于将模拟多能谱样本数据输入至初始能谱分解模型，生成预测材料基；

损失函数确定单元，用于根据预测材料基与模拟材料基的均方差，确定损失函数；

能谱分解模型生成单元，用于将损失函数反向输入至初始能谱分解模型，调节初始能谱分解模型的网络参数，生成能谱分解模型。

本发明实施例五提供的能谱CT的材料分解装置，通过投影数据获取模块510和能谱分解模块520的相互配合，将多能谱CT投影数据输入至预先训练的能谱分解模型中，可以直接得到各材料基的CT图像，该能谱分解模型将能谱分解和图像重建有机结合起来，同时具备能谱分解和图像重建的能力。上述装置实现了端到端的一站式能谱CT的材料分解，中间环节的省略可以有效降低CT图像的噪声水平，由此提高了能谱CT的材料分解的效率和质量。

本发明实施例所提供的能谱CT的材料分解装置可执行本发明任意实施例所提供的能谱CT的材料分解方法，具备执行方法相应的功能模块和有益效果。

值得注意的是，上述能谱CT的材料分解装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

实施例六

图9为本发明实施例六提供的一种电子设备的结构示意图，如图9所示，该电子设备包括存储器610、处理器620、输入装置630和输出装置640。电子设备中的处理器620的数量可以是一个或多个，图9中以一个处理器620为例；电子设备中的存储器610、处理器620、输入装置630和输出装置640可以通过总线或其它方式连接，图9中以通过总线650连接为例。

存储器610作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的能谱CT的材料分解方法对应的程序指令/模块(例如，能谱CT的材料分解装置中的投影数据获取模块510和能谱分解模块520)。处理器620通过运行存储在存储器610中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述的能谱CT的材料分解方法。

存储器610可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器610可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器610可进一步包括相对于处理器620远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置630可用于接收输入的数字或字符信息，以及产生与装置的用户设置以及功能控制有关的键信号输入。输出装置640可包括显示屏等显示设备。

实施例七

本发明实施例七提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种能谱CT的材料分解方法，该方法包括：

获取多能谱CT投影数据；

将多能谱CT投影数据输入至预先训练的能谱分解模型中，根据能谱分解模型的输出结果，得到各材料基的CT图像，其中，能谱分解模型用于同步对多能谱CT投影数据进行图像重建和能谱分解。

当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的能谱CT的材料分解方法中的相关操作。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。依据这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (12)

1.一种能谱CT的材料分解方法，其特征在于，包括：

获取多能谱CT投影数据；

将所述多能谱CT投影数据输入至预先训练的能谱分解模型中，根据所述能谱分解模型的输出结果，得到各材料基的CT图像，其中，所述能谱分解模型用于同步对所述多能谱CT投影数据进行图像重建和能谱分解。

2.根据权利要求1所述的方法，其特征在于，所述能谱分解模型的训练方法包括：

采集初始图像，对所述初始图像的像素值进行通道分解，得到模拟材料基；

基于预设规则，根据模拟材料基生成模拟多能谱样本数据；

构建初始能谱分解模型；

基于所述模拟多能谱样本数据和所述模拟材料基对所述初始能谱分解模型进行训练，调节所述初始能谱分解模型的网络参数，生成能谱分解模型。

3.根据权利要求2所述的方法，其特征在于，对所述初始图像的像素值进行通道分解，得到模拟材料基，包括：

提取所述初始图像中R通道、G通道和B通道的像素值，基于任一通道的像素值生成对应的归一化灰度图像，将所述归一化灰度图像与所述归一化灰度图像的关联灰度图像作为模拟材料基，其中，所述关联灰度图像的像素点的像素值根据数值1与归一化灰度图像中对应像素点的像素值的差值确定。

4.根据权利要求2所述的方法，其特征在于，所述初始能谱分解模型包括多通道网络模型；

对于第一通道网络模型，所述第一通道网络模型包括依次连接的投影域子模型、数据转换模块和图像域子模型；其中，

所述第一通道网络模型的投影域子模型还与第二通道网络模型的投影域子模型进行连接，用于提取输入数据的第一特征信息，将所述第一特征信息与所述第二通道网络模型中投影域子模型提取的第二特征信息进行交互，并将所述第一特征信息与第二特征信息进行融合；

所述数据转换模块用于将所述投影域子模型输出的投影数据转换为CT图像；

所述第一通道网络模型的图像域子模型还与第二通道网络模型的图像域子模型连接，用于提取CT图像的第三特征信息，所述第三特征信息与所述第二通道网络模型中图像域子模型提取的第四特征信息进行交互，并将所述第三特征信息与第四特征信息进行融合，生成材料基的CT图像。

5.根据权利要求4所述的方法，其特征在于，所述投影域子模型包括第一信息提取模块、第一信息交互模块和第一信息融合模块；其中，

所述第一信息提取模块用于对输入的能谱CT投影数据进行特征提取，生成第一特征信息，所述第一信息交互模块与第二通道网络模型中的投影域子模型连接，用于将提取的第一特征信息发送至所述第二通道网络模型，所述第一信息融合模块用于接收第二通道网络模型中的投影域子模型发送的第二特征信息，并将所述第一特征信息与所述第二特征信息进行融合；

所述图像域子模型包括第二信息提取模块、第二信息交互模块和第二信息融合模块；其中，

所述第二信息提取模块用于对输入的CT图像进行特征提取，生成第三特征信息，所述第二信息交互模块与第二通道网络模型中的图像域子模型连接，用于将提取的第三特征信息发送至所述第二通道网络模型，所述第二信息融合模块用于接收第二通道网络模型中的图像域子模型发送的第四特征信息，并将所述第三特征信息与所述第四特征信息进行融合，生成材料基的CT图像。

6.根据权利要求2所述的方法，其特征在于，构建初始能谱分解模型，包括：

确定材料基迭代函数，根据所述材料基迭代函数的组成结构进行函数划分，得到各组成部分；

根据所述组成部分构建数据处理模块；

根据所述各组成部分之间的关联关系确定各数据处理模块的连接关系，生成所述初始能谱分解模型的任一网络层，其中，所述初始能谱分解模型包括多通道子模型，任一通道子模型包括预设数量的网络层，各网络层的网络结构相同。

7.根据权利要求6所述的方法，其特征在于，

任一所述材料基迭代函数包括分母部分、分子中的输入数据处理部分和分子中的先验函数部分；

相应的，任一网络层中的数据处理模块包括第一数据模块Denoninator-b_k、第二数据模块Numerator-b_k和卷积网络模块CNN-b_k,其中，所述第二数据模块与前一网络层中各通道的输出端连接，用于对各通道输出的材料基数据进行融合，其中，b_k是编号为k的材料基，k是大于等于2的整数。

8.根据权利要求7所述的方法，其特征在于，所述第二数据模块包括正向传输数据子模块和梯度回传子模块，其中，所述正向传输数据子模块用于对正向输入数据进行处理，所述梯度回传子模块用于对反向输入数据进行处理。

9.根据权利要求2所述的方法，其特征在于，基于所述模拟多能谱样本数据和所述模拟材料基对所述初始能谱分解模型进行训练，调节所述初始能谱分解模型的网络参数，生成能谱分解模型，包括：

将所述模拟多能谱样本数据输入至初始能谱分解模型，生成预测材料基；

根据所述预测材料基与所述模拟材料基的均方差，确定损失函数；

将所述损失函数反向输入至所述初始能谱分解模型，调节所述初始能谱分解模型的网络参数，生成能谱分解模型。

10.一种能谱CT的材料分解装置，其特征在于，包括：

投影数据获取模块，用于获取多能谱CT投影数据；

能谱分解模块，用于将所述多能谱CT投影数据输入至预先训练的能谱分解模型中，根据所述能谱分解模型的输出结果，得到各材料基的CT图像，其中，所述能谱分解模型用于同步对所述多能谱CT投影数据进行图像重建和能谱分解。

11.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一所述的能谱CT的材料分解方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-9中任一所述的能谱CT的材料分解方法。

Images