CN111950714A - 一种基于3d全卷积神经网络的能谱ct图像域材料识别方法 - Google Patents

Abstract

本发明公开了一种基于3D全卷积神经网络的能谱CT图像域材料识别方法，包括:S1、获取不同能量段的包括待识别材料的能谱CT图像；S2、将所述不同能量段的包括待识别材料的能谱CT图像转化为三维图像数据；S3、将所述三维图像数据输入3D全卷积神经网络材料识别模型，得到各能量段的能谱CT图像的材料识别结果；S4、将各能量段的能谱CT图像的材料识别结果进行图像融合得到综合材料识别图像。本发明使用3D全卷积神经网络，学习不同能量段之间CT图像信息以及卷积过程中不同层之间的特征。输出的图像经过特征融合的方法得到综合各能段清晰特征的能谱CT图像，进而可以获得准确而且客观的材料识别结果。

Description

一种基于3D全卷积神经网络的能谱CT图像域材料识别方法

技术领域

本发明涉及图像识别领域，具体涉及一种基于3D全卷积神经网络的能谱CT图像域材料识别方法。

背景技术

X-CT(X-ray Computed Tomography)，即X射线计算机层析或断层扫描成像技术，它是一种核成像技术，利用X射线物理特性能够无损检测出被测物体内部的结构状况及材料组成，已在很多领域得到了广泛的应用。而X射线能谱CT，即是借助于X射线能量分辨光子计数探测器，利用不同能量的入射X射线与被检测物体作用后的透射X射线所携带的信息而进行计算机断层扫描成像的一种技术。

能谱CT使用光子计数探测器,在一次扫描中可以收集多个能量段的能谱信息,在低剂量CT成像、造影剂成像、K-edge成像以及材料识别等方面中具有潜在用途。然而,光子计数探测器在探测X射线光子时,受康普顿散射、电荷共享、脉冲堆积效应以及光子噪声等影响,导致CT重建图像的信噪比和材料分解的精度降低。无论在投影域还是在图像域都很难区分密度相近的材料特性，进而无法实现多种软组织材料的精确识别。

目前分析CT图像主要是通过医生人为去分析大量采集得到的CT图像，众所周知，分析大量CT图像是一项繁重的工作，且存在一定的主观性，容易造成误诊。

因此，如何在不同重建图像质量中获得准确而且客观的材料识别结果，成为了本领域技术人员急需解决的问题。

发明内容

针对现有技术存在的上述不足，本发明实际需要解决的问题是：如何在不同重建图像质量中获得准确而且客观的材料识别结果。

本发明采用了如下的技术方案：

一种基于3D全卷积神经网络的能谱CT图像域材料识别方法，包括:

S1、获取不同能量段的包括待识别材料的能谱CT图像；

S2、将所述不同能量段的包括待识别材料的能谱CT图像转化为三维图像数据；

S3、将所述三维图像数据输入3D全卷积神经网络材料识别模型，得到各能量段的能谱CT图像的材料识别结果；

S4、将各能量段的能谱CT图像的材料识别结果进行图像融合得到综合材料识别图像。

优选地，步骤S3中，3D全卷积神经网络材料识别模型的构建及训练方法包括:

S301、获取包括不同能量段的能谱CT图像的训练集及其对应的标签；

S302、基于识别材料的不同将训练集转化为三维图像数据训练集；

S303、构建待训练的3D全卷积神经网络材料识别模型；

S304、利用三维图像数据训练集对待训练的3D全卷积神经网络材料识别模型进行训练，并通过损失函数反向更新卷积参数，完成训练，损失函数表达式如下：

式中，LossCE()表示交叉熵损失函数，GD()表示梯度密度函数，gi表示第i种材料的梯度模长，N表示待识别材料种类，pi表示预测为第i种材料的概率，pi^*表示第i种材料的标签，取值为0或1。

优选地，步骤S302中，所述待训练的3D全卷积神经网络材料识别模型由三维稠密模块组成，还包括下采样路径与上采样路径中的两个过渡层，所述稠密模块包含3层，每层通过稠密连接，第l层的数学表达式为x_l＝H_l([x₀,x₁,x₂…x_l-1])，[x₀,x₁,x₂…x_l-1]表示将0到l-1层的输出特征图做通道的合并,H_l()表示非线性变换；三维卷积公式如下：

式中，

表示第i层第k个尺寸为l₁×l₂×l₃的卷积核，

表示

对应的三维映射，x,y,z分别表示表示待卷积三维数据的层数、行数、列数，i,j分别表示三维数据集的层数和对应序数，K,k分别表示卷积的通道数和第k个通道，l₁,l₂,l₃分别表示表示卷积核的长、宽、高尺寸，L₁,L₂,L₃分别表示待卷积核的层、行、列，b_i,j表示偏置。

优选地，步骤S4包括：

S401、分别对各能量段的能谱CT图像的材料识别结果进行小波变换，得到各能量段的能谱CT图像的材料识别结果的低频和高频图像；

S402、基于局部方差准则分别融合高频图像和低频图像；

S403、对融合后的图像进行小波逆变换得到综合材料识别图像。

优选地，步骤S4中，小波变换公式如下：

式中，A_l-1(i,j)，

分别表示低频近似图像、水平高频图像、垂直高频图像、对角高频图像，

分别表示正交镜像滤波器对，Z表示整数集，(i,j)表示图像像素坐标；

融合高频图像和低频图像的过程中，当

时，

当

时，

为局部区域的方差，确定融合系数后通过小波逆变换得到综合材料识别图像，M，N分别表示像素中心范围尺寸，x_i,j表示像素点值，

表示局部区域像素的平均值，

表示图像A在分解尺度j上方向上的局部区域方差，

表示融合图像F的融合系数，A表示图像A，B表示图像B，F表示融合图像F，取1，2，3分别代表水平，垂直，对角三个方向，(x,y)表示图像像素坐标。

与现有技术相比，本发明具有以下技术效果：

(1)使用3D全卷积神经网络，学习不同能量段之间CT图像信息以及卷积过程中不同层之间的特征。输出的图像经过特征融合的方法得到综合各能段清晰特征的能谱CT图像，进而可以获得准确而且客观的材料识别结果。

(2)神经模型训练过程中，3D网络能够提取相同部位不同能谱段图片特征，计算误差值后，更新网络参数。实现综合不同成像质量图片的材料识别。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步的详细描述，其中：

图1为本发明公开的一种基于3D全卷积神经网络的能谱CT图像域材料识别方法的流程图；

图2为本发明中3D全卷积神经网络材料识别模型的结构示意图；

图3为本发明中小波变换融合各能段识别信息的流程图。

具体实施方式

下面结合附图对本申请作进一步的详细说明。

如图1所示，本发明公开了一种基于3D全卷积神经网络的能谱CT图像域材料识别方法，包括:

S1、获取不同能量段的包括待识别材料的能谱CT图像；

S2、将所述不同能量段的包括待识别材料的能谱CT图像转化为三维图像数据；

S3、将所述三维图像数据输入3D全卷积神经网络材料识别模型(如图2所示)，得到各能量段的能谱CT图像的材料识别结果；

S4、将各能量段的能谱CT图像的材料识别结果进行图像融合得到综合材料识别图像。

与现有技术相比，本发明使用3D全卷积神经网络，学习不同能量段之间CT图像信息以及卷积过程中不同层之间的特征。输出的图像经过特征融合的方法得到综合各能段清晰特征的能谱CT图像，进而可以获得准确而且客观的材料识别结果。

具体实施时，步骤S3中，3D全卷积神经网络材料识别模型的构建及训练方法包括:

S301、获取包括不同能量段的能谱CT图像的训练集及其对应的标签；

以小鼠能谱CT图像为例，可将CT图像中骨骼、肺、软组织作为需要识别的材料。在获取训练集的过程中，可采集总共包含2450张图像的训练集。其中，包括25～90、30～90、35～90、40～90、45～90、50～90、55～90、60～90、65～90、70～90keV十种不同能量图像。使用Labelme，Photoshop等软件，对数据集进行不同材料的标注，得到对应的标签。

S302、基于识别材料的不同将训练集转化为三维图像数据训练集；

仍以小鼠能谱CT图像为例，可将小鼠同一部位的不同能段能谱CT图像尺寸变换为64*64*10的三维数据结构。

S303、构建待训练的3D全卷积神经网络材料识别模型；

S304、利用三维图像数据训练集对待训练的3D全卷积神经网络材料识别模型进行训练，并通过损失函数反向更新卷积参数，完成训练，损失函数表达式如下：

式中，LossCE()表示交叉熵损失函数，GD()表示梯度密度函数，gi表示第i种材料的梯度模长，N表示待识别材料种类，pi表示预测为第i种材料的概率，pi^*表示第i种材料的标签，取值为0或1。

基于上述损失函数，本发明的训练过程中，采用度协调机制度抑制易分类样本和难分类样本的损失值，使训练高效，具有鲁棒性。

具体实施时，步骤S302中，所述待训练的3D全卷积神经网络材料识别模型由三维稠密模块组成，还包括下采样路径与上采样路径中的两个过渡层，所述稠密模块包含3层，每层通过稠密连接，第l层的数学表达式为x_l＝H_l([x₀,x₁,x₂…x_l-1])，[x₀,x₁,x₂…x_l-1]表示将0到l-1层的输出特征图做通道的合并,H_l()表示非线性变换；三维卷积公式如下：

式中，

表示第i层第k个尺寸为l₁×l₂×l₃的卷积核，

表示

对应的三维映射，x,y,z分别表示表示待卷积三维数据的层数、行数、列数，i,j分别表示三维数据集的层数和对应序数，K,k分别表示卷积的通道数和第k个通道，l₁,l₂,l₃分别表示表示卷积核的长、宽、高尺寸，L₁,L₂,L₃分别表示待卷积核的层、行、列，b_i,j表示偏置。

在本发明中，3D全卷积神经网络材料识别模型使用3D-Densenet，其包括三维稠密模块与Transitions Down和Transitions Up构成的上下采样结构与跳跃连接结构组成。其中稠密模块的layer由BN,Relu，3x3x3的Convolution，dropout操作组成；本发明中通过稠密模块增加层间特征的重复利用，减少了网络冗余参数。

其中，Transitions Down由BN,ReLu，1x1x1的Convolution，2x2x2的Maxpooling操作组成，减少了特征图的空间维度。上采样路径中通过Transitions Up中的transposedconvolution和跳跃连接来恢复特征图的分辨率。

如图3所示，具体实施时，步骤S4包括：

S401、分别对各能量段的能谱CT图像的材料识别结果进行小波变换，得到各能量段的能谱CT图像的材料识别结果的低频和高频图像；

S402、基于局部方差准则分别融合高频图像和低频图像；

S403、对融合后的图像进行小波逆变换得到综合材料识别图像。

具体实施时，步骤S4中，小波变换公式如下：

式中，A_l-1(i,j)，

分别表示低频近似图像、水平高频图像、垂直高频图像、对角高频图像，

分别表示正交镜像滤波器对，Z表示整数集，(i,j)表示图像像素坐标；

融合高频图像和低频图像的过程中，当

时，

当

时，

为局部区域的方差，确定融合系数后通过小波逆变换得到综合材料识别图像，M，N分别表示像素中心范围尺寸，x_i,j表示像素点值，

表示局部区域像素的平均值，

表示图像A在分解尺度j上方向上的局部区域方差，

表示融合图像F的融合系数，A表示图像A，B表示图像B，F表示融合图像F，取1，2，3分别代表水平，垂直，对角三个方向，(x,y)表示图像像素坐标。

最后说明的是，以上实施例仅用以说明本申请的技术方案而非限制，尽管通过参照本申请的优选实施例已经对本申请进行了描述，但本领域的普通技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离所附权利要求书所限定的本申请的精神和范围。

Claims (5)

1.一种基于3D全卷积神经网络的能谱CT图像域材料识别方法，其特征在于，包括:

S1、获取不同能量段的包括待识别材料的能谱CT图像；

S2、将所述不同能量段的包括待识别材料的能谱CT图像转化为三维图像数据；

S3、将所述三维图像数据输入3D全卷积神经网络材料识别模型，得到各能量段的能谱CT图像的材料识别结果；

S4、将各能量段的能谱CT图像的材料识别结果进行图像融合得到综合材料识别图像。

2.如权利要求1所述的基于3D全卷积神经网络的能谱CT图像域材料识别方法，其特征在于，步骤S3中，3D全卷积神经网络材料识别模型的构建及训练方法包括:

S301、获取包括不同能量段的能谱CT图像的训练集及其对应的标签；

S302、基于识别材料的不同将训练集转化为三维图像数据训练集；

S303、构建待训练的3D全卷积神经网络材料识别模型；

S304、利用三维图像数据训练集对待训练的3D全卷积神经网络材料识别模型进行训练，并通过损失函数反向更新卷积参数，完成训练，损失函数表达式如下：

式中，LossCE()表示交叉熵损失函数，GD()表示梯度密度函数，gi表示第i种材料的梯度模长，N表示待识别材料种类，pi表示预测为第i种材料的概率，pi^*表示第i种材料的标签，取值为0或1。

3.如权利要求2所述的基于3D全卷积神经网络的能谱CT图像域材料识别方法，其特征在于，步骤S302中，所述待训练的3D全卷积神经网络材料识别模型由三维稠密模块组成，还包括下采样路径与上采样路径中的两个过渡层，所述稠密模块包含3层，每层通过稠密连接，第l层的数学表达式为x_l＝H_l([x₀,x₁,x₂…x_l-1])，[x₀,x₁,x₂…x_l-1]表示将0到l-1层的输出特征图做通道的合并,H_l()表示非线性变换；三维卷积公式如下：

式中，

表示第i层第k个尺寸为l₁×l₂×l₃的卷积核，

表示

对应的三维映射，x,y,z分别表示表示待卷积三维数据的层数、行数、列数，i,j分别表示三维数据集的层数和对应序数，K,k分别表示卷积的通道数和第k个通道，l₁,l₂,l₃分别表示表示卷积核的长、宽、高尺寸，L₁,L₂,L₃分别表示待卷积核的层、行、列，b_i,j表示偏置。

4.如权利要求3所述的基于3D全卷积神经网络的能谱CT图像域材料识别方法，其特征在于，步骤S4包括：

S401、分别对各能量段的能谱CT图像的材料识别结果进行小波变换，得到各能量段的能谱CT图像的材料识别结果的低频和高频图像；

S402、基于局部方差准则分别融合高频图像和低频图像；

S403、对融合后的图像进行小波逆变换得到综合材料识别图像。

5.如权利要求3所述的基于3D全卷积神经网络的能谱CT图像域材料识别方法，其特征在于，步骤S4中，小波变换公式如下：

式中，A_l-1(i,j)，

分别表示低频近似图像、水平高频图像、垂直高频图像、对角高频图像，

分别表示正交镜像滤波器对，Z表示整数集，(i,j)表示图像像素坐标；

融合高频图像和低频图像的过程中，当

时，

当

时，

为局部区域的方差，确定融合系数后通过小波逆变换得到综合材料识别图像，M，N分别表示像素中心范围尺寸，x_i,j表示像素点值，

表示局部区域像素的平均值，

表示图像A在分解尺度j上方向上的局部区域方差，

表示融合图像F的融合系数，A表示图像A，B表示图像B，F表示融合图像F，取1，2，3分别代表水平，垂直，对角三个方向，(x,y)表示图像像素坐标。

Images