CN109598727B - 一种基于深度神经网络的ct图像肺实质三维语义分割方法 - Google Patents

Abstract

本发明公开了一种基于深度神经网络的CT图像肺实质三维语义分割方法，该分割方法包括离线部分和在线部分。离线部分：包括4个步骤：数据集的预处理；全卷积神经网络框架搭建；GRU循环卷积神经网络框架搭建；网络训练。在线部分：包括5个步骤：图像预处理；像素特征提取与融合；体素特征提取与融合；分割输出；分割结果评价。特征融合包括编码层与解码层之间的特征融合，解剖结构层与层之间的特征融合。通过设计带有门控循环单元的深度神经网络模型，利用肺部的解剖结构先验信息，提取空间特征来有效表征断层序列之间的表观演变关系，实现对CT图像中的肺实质进行准确的三维语义分割。

Description

一种基于深度神经网络的CT图像肺实质三维语义分割方法

技术领域

本发明属于医学影像处理领域中的图像分割技术，具体涉及一种基于深度神经网络的CT图像肺实质三维语义分割方法。

背景技术

肺部疾病一直严重威胁着人类健康，肺癌居所有恶性肿瘤的病死率首位，总体5年生存率不超过15％。随着我国经济水平的快速发展，人们对于自身健康的关注程度也不断提高，疾病的早期诊断、早期治疗已经日益成为全社会共同关注的目标。为减轻医生的工作量，更快更准确地检查出肺部疾病，将医学图像处理技术应用于肺部疾病辅助诊断中，对临床肺部疾病的辅助诊断意义重大。肺实质的分割指的是将肺实质从肺部CT图像中提取出来，为临床治疗和病理学研究提供可靠依据。在肺部疾病计算机辅助诊断研究中，肺实质的分割是最为核心的步骤，是影响分析自动化、稳定性、结果精确性的关键问题，其处理结果的好坏直接影响到后续的分析过程，具有重大的临床诊断意义。

针对肺部CT图像肺实质分割问题，目前已有研究者开展了相关的研究工作。传统的肺部CT图像肺分割技术有阈值法、区域生长法、基于聚类的分割方法等。

阈值法用一个或几个门限值将图像的灰度直方图分成几类，认为灰度值在同一类的像素属于同一个物体。由于CT图像具有较高的密度分辨率，成像后的灰度差异很明显，因此阈值分割对于CT图像分割具有较好的效果，且其算法简单、计算速度快。但在选择阈值时需要依据经验判断，或者先做多次尝试性分割后再对阈值进行调整，直至效果满意。它的主要局限是只考虑了像素本身的值，一般并不考虑图像的空间特性。

区域生长法是根据预先定义的标准提取图像中相连接区域的方法。区域生长法弥补了阈值分割法没有或很少考虑空间关系的不足，但它的主要缺陷是每一个需要提取的区域都必须人工给出1个种子点，这样有多个区域就必须给出相应的种子个数，而且对种子点及生长合并规则的选取也比较敏感。在肺实质提取过程中，肺部CT图像经过初步处理之后，上肺层片中间目标区域上还保留有大气管的影像，而在中层肺片，还保留有左右主支气管的影像，这都是不属于肺实质的部分，需要去除，区域生长法多用于此处。区域生长法存在的不足之处是：(1)如何定义区域一致性准则；(2)其分割结果和种子点的选择有很大的关系；(3)此法对噪声也很敏感，可能会形成孔状甚至是根本不连续的区域。

基于聚类的方法中常用的是模糊C-均值算法。该算法是一种非监督模糊聚类后再标定的过程，适于分割有模糊性和不确定性特点的医学图像，如超声图像等。优点在于可形成原始图像的细致的特征空间，不会产生偏倚；无需人的干预，分割过程是完全自动的；对噪声敏感度较低。但该算法在应用于大数据量时收敛速度慢，耗时多。而且该算法易受初始设置的影响，初始值的选取会影响算法的收敛速度，不当的初始值可能会使算法陷入局部极小点，得到错误的结果。

但是这些方法仍然得不到令人满意的效果。近几年，随着深度学习的迅速发展，基于深度学习的肺分割方法逐渐受到研究者关注。基于2D CNN的方法通常以逐层的方式分割体积CT或MR数据。例如，将具有各种级联架构的双通道浅层网络用于脑MR图像中的低/高级成胶质细胞瘤分割。在胰腺分割中运用了整体嵌套网络的空间聚合来对CT图像实现了准确的胰腺分割。

尽管这些基于2D CNN的方法大大提高了基于传统手工特征的方法的分割精度，但是对于容积医学图像分析，因为它们不能充分利用体积数据中的特殊信息，效果可能不是最佳的。后来研究者们提出了2.5D方法，以加入更丰富的空间信息，但仍然受于2D内核。为了克服这个缺点，最近基于3D CNN的算法被广泛提出并运用，旨在三个空间维度上提取更强大的体积表示，包括3D U-Net、V-Net、VoxResNet等。3D U-Net将2D U-Net扩展为3D版本，其通过抽象特征的分析路径和合成路径以产生全分辨率分割。V-Net进行了一项新颖的Dice系数目标函数训练，旨在解决类失衡现象。VoxResNet深刻借鉴了2D深层残留学习的思想，构建了一个非常深入的3D网络，进一步利用多模态输入和多层次的上下文信息来产生最先进的分割结果。

发明内容

本发明的目的在于，通过设计带有门控循环单元(Gated Recurrent Unit，GRU)的深度神经网络模型，利用肺部的解剖结构先验信息，提取空间特征来有效表征断层序列之间的表观演变关系，实现对CT图像中的肺实质进行准确的三维语义分割。

本发明是采用以下技术手段实现的：一种基于深度神经网络的CT图像肺实质三维语义分割方法，该分割方法包括离线部分和在线部分。

离线部分：包括4个步骤：数据集的预处理；全卷积神经网络框架搭建；GRU循环卷积神经网络框架搭建；网络训练。

在线部分：包括5个步骤：图像预处理；像素特征提取与融合；体素特征提取与融合；分割输出；分割结果评价。特征融合包括编码层与解码层之间的特征融合，解剖结构层与层之间的特征融合。

首先对收集的胸部CT图像进行数据集的预处理，然后搭建全卷积神经网络用于二维粗略分割。二维粗略分割采用基于跳过连接结构的全卷积神经网络提取二维图像中的上下文像素特征，包括编码器和解码器两部分。编码器逐渐减少池化层的空间维度，解决图像的边缘定位问题；解码器逐步修复肺实质的细节和空间维度，解决像素语义分类的问题；跳过连接结构则将编码器的定位信息传至解码器，因此能帮助解码器更好地修复目标的细节，实现边界定位的二维分割。然后搭建GRU循环卷积神经网络用于三维准确分割，在扫描层图像的二维分割基础之上，结合肺部解剖结构的先验知识指导，针对轴向序列的三维图像，采用带有GRU记忆单元的循环卷积神经网络建模肺解剖结构信息，通过获得表征肺解剖结构信息的特征来挖掘扫描层序列之间的表观演变关系，训练获得肺实质分割模型。得到肺实质分割模型之后，对待分割的序列图像进行测试。首先对图像进行预处理，然后将序列图像送入肺实质分割模型中，通过像素特征的提取融合和体素特征的提取融合来实现肺实质三维语义分割。此外，采用DSC系数对分割结果进行有效评价，来验证分割的准确性。

设计的深度神经网络架构由全卷积神经网络和GRU循环卷积神经网络两个子网络构成，每个子网络都担负着分割任务。在二维粗略分割中，第一个子网络即全卷积神经网络架构包含编码路径、解码路径和跳过的连接路径。编码路径包括8个卷积层，4个Relu激活函数，4个最大池化层。解码路径包括10个卷积层，4个反卷积层，以及最后一层的卷积映射层。跳过的连接路径将编码路径每次Relu激活函数后的特征图复制连接到解码路径的反卷积层特征图中。第一个子网络共有23个卷积层，4个池化层，4个跳过的连接结构。通过跳过的连接路径，第一个子网络将浅层的粗略的边缘定位信息与深层的细节的像素分割信息相融合，得到一个有效的二维分割结果。在三维准确分割中，第二个子网络即门控循环单元即GRU循环卷积神经网络包括1个输入层，9个带有GRU记忆单元的隐藏卷积层，其中GRU记忆单元包含9个sigmoid激活函数，1个输出层。每一个隐藏卷积层是对上一层特征与当前层状态的卷积运算。每个GRU记忆单元包含1个更新门和1个复位门，通过更新门和复位门的相互作用，获得输入与输出之间的演变状态。经过GRU记忆单元的模型推演，获得的隐藏卷积层蕴含的上一层的特征信息，从而使得整个网络学习到了表征容积数据信息的体素特征。

在网络的卷积层之间需要通过卷积滤波器联系，卷积滤波器的定义表示为W×H×C×D，其中，C代表被滤波图像的通道数；W、H分别代表滤波范围的宽、高；D代表卷积滤波器的种类。

离线部分具体步骤如下：

(1)数据集的预处理

胸部CT图像是通过X线计算机体层扫描得到的序列图像。首先依据肺实质的CT值对胸部CT断层扫描图像进行预处理操作，利用不同组织的窗宽及窗位的标准值进行归一化，降低不相关区域对肺分割的干扰。然后将断层图像尺寸规范化成508×508大小的统一序列图像。最后在胸部CT序列图像中对肺实质进行手工标注，获得肺实质真实值标签。

(2)全卷积神经网络框架搭建

首先采用全卷积神经网络来实现肺实质断层图像的二维分割。全卷积神经网络包含编码路径、解码路径和跳过的连接路径。编码路径包括8个卷积层，4个Relu激活函数，4个最大池化层。解码路径包括10个卷积层，4个反卷积层，以及最后一层的卷积映射层。跳过的连接路径将编码路径每次Relu激活函数后的特征图复制连接到解码路径的反卷积层特征图中。全卷积神经网络共有23个卷积层，4个池化层，4个跳过的连接结构。通过跳过的连接路径，全卷积神经网络能够将浅层的粗略的边缘定位信息与深层的细节的像素分割信息相融合，得到一个有效的二维分割结果。

各卷积层输入和输出特征图的变化如下：

首先，输入为508×508×1大小的图像，在第一组卷积层中，先经过64个卷积核3×3之后生成506×506×64的特征图，重复卷积操作得到504×504×64的特征图，然后进行下采样2×2的最大池化生成252×252×64的特征图。

在第二组卷积层中，输入为252×252×64的特征图，先经过128个卷积核3×3之后生成250×250×128的特征图，重复卷积操作得到248×248×128的特征图，然后进行下采样2×2的最大池化生成124×124×128的特征图。

在第三组卷积层中，输入为124×124×128的特征图，先经过256个卷积核3×3之后生成122×122×256的特征图，重复卷积操作得到120×120×256的特征图，然后进行下采样2×2的最大池化生成60×60×256的特征图。

在第四组卷积层中，输入为60×60×256的特征图，先经过512个卷积核3×3之后生成58×58×512的特征图，重复卷积操作得到56×56×512的特征图，然后进行下采样2×2的最大池化生成28×28×512的特征图。

在第五组卷积层中，输入为28×28×512的特征图，先经过1024个卷积核3×3之后生成26×26×1024的特征图，重复卷积操作得到24×24×1024的特征图，然后进行上采样2×2的反卷积生成48×48×1024的特征图。

在第六组卷积层中，首先通过连接路径将第四组输出的特征图复制与第五组输出的特征图合并，输入为48×48×1024的连接特征图，先经过512个卷积核3×3之后生成46×46×512的特征图，重复卷积操作得到44×44×512的特征图，然后经过上采样2×2的反卷积生成88×88×512的特征图。

在第七组卷积层中，首先通过连接路径将第三组输出的特征图复制与第六组输出的特征图合并，输入为88×88×512的连接特征图，先经过256个卷积核3×3之后生成86×86×256的特征图，重复卷积操作得到84×84×256的特征图，然后经过上采样2×2的反卷积生成168×168×256的特征图。

在第八组卷积层中，首先通过连接路径将第二组输出的特征图复制与第七组输出的特征图合并，输入为168×168×256的连接特征图，先经过128个卷积核3×3之后生成166×166×128的特征图，重复卷积操作得到164×164×128的特征图，然后经过上采样2×2的反卷积生成328×328×128的特征图。

在第九组卷积层中，首先通过连接路径将第一组输出的特征图复制与第八组输出的特征图合并，输入为328×328×128的连接特征图，先经过64个卷积核3×3之后生成326×326×64的特征图，重复卷积操作得到324×324×64的特征图。最终经过2个1×1的卷积核生成324×324×2的图像。此外，每一组卷积层之后都会有一个修正线性单元(Rectifiedlinear unit，Relu)作为激活函数，帮助提取特征图。

(3)GRU循环卷积神经网络框架搭建

在全卷积神经网络框架搭建的基础上，设计了GRU循环卷积神经网络用于肺实质CT序列图像的三维分割。GRU循环卷积神经网络包括输入层、带有GRU记忆单元的隐藏卷积层和输出层。输入层为全卷积神经网络每一组卷积层输出的特征图；隐藏卷积层通过GRU记忆单元的两个控制门对输入层和上一层输出层进行卷积操作，每个GRU记忆单元包含2个sigmoid激活函数；输出层输出卷积后的特征图。全卷积神经网络每一组卷积层输出的特征图被送入GRU循环卷积神经网络中，通过两个控制门得到输入层与上一层卷积的信息保留情况，然后输出到下一层卷积隐藏层中。

每个GRU记忆单元包含1个更新门和1个复位门，通过两个控制门的相互作用，获得输入与输出之间的演变状态。经过GRU记忆单元的模型推演，获得的隐藏卷积层蕴含了上一层的特征信息，从而使得整个网络学习到了表征容积数据信息的体素特征。每一个隐藏层不再是简单的求和操作，而是上一层特征与当前层状态的卷积运算。

对应GRU循环卷积神经网络的第l层隐藏卷积层h_s，l，s是全卷积神经网络的第s层，l是循环卷积神经网络的第l层。带有GRU记忆单元的隐藏卷积层h_s，l的递推关系为：

Z_s，l＝σ(W_z，l*x_s，l+U_z，l*h_s-1，l) (1)

r_s，l＝σ(W_r，l*x_s，l+U_r，l*h_s-1，l) (2)

式中*为卷积运算，°为逐元素的乘积，σ(·)是sigmoid函数。x_s，l是全卷积

神经网络每一组卷积层输出的特征图，作为输入层。h_s-1，l是GRU循环卷积神经网络上一层的输出。r_s，l为GRU记忆单元的复位门，控制是否忽略先前的隐状态。z_s，l是GRU记忆单元的更新门，控制当前的隐状态携带了多少历史信息。W_z，l和U_z，l是复位门的权重。W_r，l和U_r，l是更新门的权重。

从断层序列维度看，循环卷积神经网络定义了暗含空间关系的隐状态及其演变形式。对于断层s，隐状态依赖于前一断层的隐状态以及当前断层输入状态，这种断层空间依存关系通过GRU记忆单元表征。使用l层卷积特征图作为当前的输入状态，经过记忆单元GRU的模型推演，获得的l层隐状态则蕴含了容积数据的空间结构信息。

(4)网络训练

首先为整个深度神经网络建立损失监督，并采用常用的梯度下降法求解最小化损失函数的问题。深度神经网络采用softmax和交叉熵结合的方式计算损失函数。将预处理后的数据通过该网络进行训练，经过反复迭代学习，最终迭代8万次停止训练获得图像分割的网络模型。学习速率决定了权重更新的快慢，一般倾向于选取较小的学习速率，设置学习速率为0.0001。动量参数和权重衰减因子可提高训练的自适应性，动量参数设置为0.99，权重衰减因子设置为0.0005。

在线部分具体步骤如下：

(1)图像预处理

依据肺部断层图像的CT值及窗位、窗宽标准值，排除不相关的区域，并归一化操作来调整影像对比度。调整完影像对比度之后将图像统一规范化成508×508尺寸大小，统一规范序列图像数据。并在CT序列图像中对肺实质进行手工标注，获得肺实质真实值标签。

(2)像素特征提取与融合

通过全卷积神经网络来进行像素特征的提取与融合。首先对规范的序列图像数据采用3×3卷积核进行卷积操作，然后通过下采样提取粗略的边缘定位信息，接着通过上采样提取细节的像素分割信息，通过直接的跳过连接结构将浅层信息与深层信息进行特征融合，从而实现断层图像的肺实质二维分割。

(3)体素特征提取与融合

通过GRU循环卷积神经网络来进行体素特征的提取与融合。对提取得到的特征图，利用GRU记忆单元获取上一层的特征信息，通过两个控制门将上一层的像素特征与当前层的像素特征融合，这样提取的特征图是一种空间信息的表征。其中，GRU记忆单元的运算也不再是上一层与当前层的求和，而是上一层与当前层的卷积操作，从而更有效获取空间特征。

(4)分割输出

通过像素特征的提取与融合，体素特征提取与融合得到网络训练的肺实质分割模型。将肺部CT图像输入肺实质分割模型当中，通过softmax函数和交叉熵结合的方式计算损失函数得到分割输出结果。肺实质分割模型经过softmax函数之后得到一个概率分布情况，然后通过交叉熵衡量两个分布之间的距离，反映真实图像和测试图像之间的相似性，当测试迭代次数增加，相似性不再增加时得到最准确的输出结果。

(5)分割结果评价

使用Dice-

系数DSC作为评估指标进行分割结果的评价，以此来确定分割的准确度。DSC系数是利用二进制进行标签化，将前景体素设置为1，背景体素设计为0，通过以下公式进行分割结果评价。

式中，y为真实的前景体素，z为分割的前景体素。

与现有技术相比较，本发明针对CT容积影像，设计了基于深度神经网络的三维解剖结构先验表达模型，并在此基础之上，设计了肺实质CT影像分割算法。首先，针对轴位扫描的断层序列影像，采用包含编码路径、解码路径和跳过的连接路径的全卷积神经网络，提取二维影像像素特征；然后利用基于循环卷积神经网络的肺实质解剖结构先验表达模型，挖掘断层序列之间的肺实质表观演变关系，提取能够表征肺解剖空间结构的三维特征；进而实现肺实质区域的三维语义分割。本发明设计了带有门控记忆单元的循环神经网络来建模肺实质三维解剖结构，记忆单元GRU可以保留空间上相邻的断层数据的相关关系，在二维特征提取基础上，更加有效地保留了容积影像中肺实质的三维形态。

附图说明

图1、发明方法总体流程图；

图2、深度神经网络总体架构图；

图3、记忆单元GRU原理图。

具体实施方式

以下结合说明书附图，对本发明的实施实例加以详细说明：

所述离线部分分为4个步骤：

步骤1数据集的预处理

通过以下公式利用窗宽、窗位对图像I进行归一化处理。

式中，Winc是从图像中读取的WindowCenter，表示该图像的窗位；Winw是从图像中读取的WindowWidth，表示该图像的窗宽；R是从图像中读取的RescaleSlope，表示像素值的比例系数；RI是从图像中读取的RescaleIntercept，表示像素值的比例参数；i表示图像的每一个像素点；N为归一化函数。

然后将不同尺寸大小的图像统一裁剪到508×508尺寸大小，形成统一的序列图像。最后由经验丰富的医生在胸部CT序列图像中通过软件对肺实质进行手工标注，获得肺实质真实值标签。

步骤2全卷积神经网络框架

本网络包括输入层，9组卷积层和输出层。每组卷积层包含两个卷积操作，1个Relu激活函数，1-5组卷积层之间分别进行下采样最大池化操作，5-9组卷积层之间进行上采样反卷积操作，最后输出层进行1×1卷积映射。

(1)输入层的特征提取公式表示如下：

F₁(X₁)＝max(0，W₁*X₁+B₁) (8)

式中，X₁为进入输入层的特征图。W₁表示输入层的卷积滤波器，W₁的尺寸是64×3×3，它表示64个卷积核，每个卷积的核尺寸3×3，F₁(X₁)是输入层得到的特征图，B₁是偏置。

(2)第2-9组卷积层的各阶段公式表示如下：

F_i(X_i)＝max(0，W_i*F_i-1(X_i)+B_i){i＝2，3，…，9} (9)

式中，i表示第i层，X_i为第i-1层的输出。W_i表示卷积层的卷积滤波器，卷积滤波器W₁的尺寸是64×3×3，第2-9组卷积层W_i的卷积核的尺寸分别为128×3×3、256×3×3、512×3×3、1024×3×3、512×3×3、256×3×3、128×3×3、64×3×3，B_i是偏置。

第1-5组下采样池化操作的公式表示如下：

F_i(X_i)＝max(0，W_i*F_i-₁(X_i)+B_i){i＝1，2，3，4} (10)

式中，i表示第i层，X_i为第i-1层的输出。W_i表示卷积层的卷积滤波器，卷积滤波器W_i的卷积核大小是2×2，B_i是偏置。

第5-8组上采样反卷积操作的公式表示如下：

F_i(X_i)＝deConv(0，W_i*F_i-1(X_i)+B_i){i＝5，6，7，8，} (11)

式中，i表示第i层，X_i为第i-1层的输出。W_i表示卷积层的卷积滤波器，卷积滤波器W_i的卷积核大小是2×2，B_i是偏置。

(3)输出层的公式表示如下：

F₁₀(X₁₀)＝W₁₀*F₉(X₉)+B₁₀ (12)

式中，X₁₀为第9组卷积层的输出。W₁₀表示卷积映射层的卷积滤波器，W₁₀的尺寸是2×1×1，能够实现平均特征图的作用，B₁₀是偏置，F₉(X₉)是第9组卷积层产生的特征图。

(4)在每组卷积层的激活函数中，采用修正线性单元Relu，公式如下所示。x表示特征图经过卷积后的结果，当x<0，f(x)＝0；如果x>0，f(x)＝x。在正向传播时，加快了计算速度。在反向传播时，当x>0时，梯度为1，因而减轻了梯度弥散问题。

f(x)＝max(0，x) (13)

步骤3 GRU循环卷积神经网络框架

GRU循环卷积神经网络包括输入层，隐藏卷积层和输出层。隐藏卷积层带有GRU记忆单元来控制信息保留情况，附图3给出了GRU记忆单元的组成结构。对应GRU循环卷积神经网络的第l层隐藏卷积层h_s，l，s是全卷积神经网络的第s层，l是循环卷积神经网络的第l层。带有GRU记忆单元的隐藏卷积层h_s，l的递推关系为：

z_s，l＝σ(W_z，l*x_s，l+U_z，l*h_s-1，l) (14)

r_s，l＝σ(W_r，l*x_s，l+U_r，l*h_s-1，l) (15)

式中*为卷积运算，°为逐元素的乘积，σ(·)是sigmoid函数。x_s，l是全卷积神经网络每一组卷积层输出的特征图，作为输入层。h_s-1，l是GRU循环卷积神经网络上一层的输出。r_s，l为GRU记忆单元的复位门，控制是否忽略先前的隐状态。z_s，l是GRU记忆单元的更新门，控制当前的隐状态携带了多少历史信息。W_z，l和U_z，l是复位门的权重。W_r，l和U_r，l是更新门的权重。

复位门r_s控制是否忽略先前的隐状态，而聚焦关注于当前输入状态，它的存在使得隐状态可以丢弃与未来不相关的信息，获得更紧凑的表达。更新门z_s则控制当前的隐状态携带了多少历史信息，以帮助网络回忆长期信息。由于这两个控制门的存在，GRU可以捕获不同序列跨度下输入状态的依存关系。权重经过训练，一些复位门较活跃的GRU可表达序列数据间的微观依赖关系，而更新门较活跃的GRU则更能保留数据的宏观特性。

步骤4网络训练

网络采用Softmax和交叉熵结合的方式计算损失函数。Softmax通过以下公式来定义，其中a_k(x)表示x像素点被特征通道k激活，K是通道类的数量，p_k(x)是近似最大函数。

然后交叉熵函数来确定误差，其中

Ω→{1，…，K}是每一个像素的标签，w：

是一个权重图。

权重图通过以下公式计算：

其中w_c：

是平衡类频率的权重映射，d₁：

表示距离最近单元格边界的距离，d₂：

是与第二个最近单元格边界的距离。在实验中设置权重w₀＝10，σ≈5，设置学习速率为0.0001，动量参数设置为0.99，权重衰减因子设置为0.0005。经过反复迭代学习，最终迭代8万次停止训练获得图像分割的网络模型。

所述的在线部分，具体步骤如下：

步骤1图像预处理

首先依据肺实质的CT值对胸部CT断层扫描图像进行预处理操作，利用不同组织的窗宽及窗位的标准值进行归一化，降低不相关区域对肺分割的干扰。然后将断层图像尺寸规范化成508×508大小的统一序列图像。最后经验丰富的医生在胸部CT序列图像中对肺实质进行手工标注，获得肺实质真实值标签。

步骤2像素特征提取与融合

将序列图像输入全卷积神经网络中，分别对每层图像进行卷积操作实现像素特征的提取，然后通过对浅层特征和深层特征的复制连接进行特征融合，这样得到的肺实质是单层图像的二维分割结果。

步骤3体素特征提取与融合

在全卷积神经网络每组卷积操作后增加带有GRU记忆单元的隐藏层，输入当前层卷积后的特征图，与上一层的特征图进行卷积操作，输出新的特征图。通过GRU循环卷积神经网络对解剖结构层与层之间特征图进行卷积提取空间体素特征，并通过GRU两个控制门进行特征融合，从而实现肺实质三维的语义分割。

步骤4分割输出

将规范化的肺部CT序列图像输入总网络训练得到的肺实质分割模型，通过softmax函数和交叉熵结合的方式计算损失函数得到分割输出结果。肺实质分割模型经过softmax函数之后对所有的输出转换为概率值，然后通过交叉熵计算真实标签分布与模型预测分布之间的相似性，当测试迭代次数增加，相似性不再增加时得到最准确的输出结果。

步骤5分割结果评价

使用Dice-

系数(DSC)作为评估参数进行分割结果的评价，以此来确定分割的准确度。DSC系数是利用二进制进行标签化，将前景体素设置为1，背景体素设计为0，通过以下公式进行分割结果评价。

式中，Y(t)和Z(t)表示为真实前景体素和预测的前景体素的集合。这样得到的准确度会在[0，1]范围内。

Claims (3)

1.一种基于深度神经网络的CT图像肺实质三维语义分割方法，其特征在于：该分割方法包括离线部分和在线部分：

离线部分：包括4个步骤：数据集的预处理；全卷积神经网络框架搭建；GRU循环卷积神经网络框架搭建；网络训练；

在线部分：包括5个步骤：图像预处理；像素特征提取与融合；体素特征提取与融合；分割输出；分割结果评价；特征融合包括编码层与解码层之间的特征融合，解剖结构层与层之间的特征融合；

首先对收集的胸部CT图像进行数据集的预处理，然后搭建全卷积神经网络用于二维粗略分割；二维粗略分割采用基于跳过连接结构的全卷积神经网络提取二维图像中的上下文像素特征，包括编码器和解码器两部分；编码器逐渐减少池化层的空间维度，解决图像的边缘定位问题；解码器逐步修复肺实质的细节和空间维度，解决像素语义分类的问题；跳过连接结构则将编码器的定位信息传至解码器，因此能帮助解码器更好地修复目标的细节，实现边界定位的二维分割；然后搭建GRU循环卷积神经网络用于三维准确分割，在扫描层图像的二维分割基础之上，结合肺部解剖结构的先验知识指导，针对轴向序列的三维图像，采用带有GRU记忆单元的循环卷积神经网络建模肺解剖结构信息，通过获得表征肺解剖结构信息的特征来挖掘扫描层序列之间的表观演变关系，训练获得肺实质分割模型；得到肺实质分割模型之后，对待分割的序列图像进行测试；首先对图像进行预处理，然后将序列图像送入肺实质分割模型中，通过像素特征的提取融合和体素特征的提取融合来实现肺实质三维语义分割；此外，采用DSC系数对分割结果进行评价，验证分割的准确性；

设计的深度神经网络架构由全卷积神经网络和GRU循环卷积神经网络两个子网络构成，每个子网络都担负着分割任务；在二维粗略分割中，第一个子网络即全卷积神经网络架构包含编码路径、解码路径和跳过的连接路径；编码路径包括8个卷积层，4个Relu激活函数，4个最大池化层；解码路径包括10个卷积层，4个反卷积层，以及最后一层的卷积映射层；跳过的连接路径将编码路径每次Relu激活函数后的特征图复制连接到解码路径的反卷积层特征图中；第一个子网络共有23个卷积层，4个池化层，4个跳过的连接结构；通过跳过的连接路径，第一个子网络将浅层的粗略的边缘定位信息与深层的细节的像素分割信息相融合，得到一个有效的二维分割结果；在三维准确分割中，第二个子网络即门控循环单元即GRU循环卷积神经网络包括1个输入层，9个带有GRU记忆单元的隐藏卷积层，其中GRU记忆单元包含2个sigmoid激活函数，1个输出层；每一个隐藏卷积层是对上一层特征与当前层状态的卷积运算；每个GRU记忆单元包含1个更新门和1个复位门，通过更新门和复位门的相互作用，获得输入与输出之间的演变状态；经过GRU记忆单元的模型推演，获得的隐藏卷积层蕴含的上一层的特征信息，从而使得整个网络学习到了表征容积数据信息的体素特征；

在网络的卷积层之间需要通过卷积滤波器联系，卷积滤波器的定义表示为W×H×C×D，其中，C代表被滤波图像的通道数；W、H分别代表滤波范围的宽、高；D代表卷积滤波器的种类。

2.根据权利要求1所述的一种基于深度神经网络的CT图像肺实质三维语义分割方法，其特征在于：离线部分具体步骤如下，

(1)数据集的预处理

胸部CT图像是通过X线计算机体层扫描得到的序列图像；首先依据肺实质的CT值对胸部CT断层扫描图像进行预处理操作，利用不同组织的窗宽及窗位的标准值进行归一化，降低不相关区域对肺分割的干扰；然后将断层图像尺寸规范化成508×508大小的统一序列图像；最后在胸部CT序列图像中对肺实质进行手工标注，获得肺实质真实值标签；

(2)全卷积神经网络框架搭建

首先采用全卷积神经网络来实现肺实质断层图像的二维分割；

(3)GRU循环卷积神经网络框架搭建

在全卷积神经网络框架搭建的基础上，设计了GRU循环卷积神经网络用于肺实质CT序列图像的三维分割；GRU循环卷积神经网络包括输入层、带有GRU记忆单元的隐藏卷积层和输出层；输入层为全卷积神经网络每一组卷积层输出的特征图；隐藏卷积层通过GRU记忆单元的两个控制门对输入层和上一层输出层进行卷积操作，每个GRU记忆单元包含2个sigmoid激活函数；输出层输出卷积后的特征图；全卷积神经网络每一组卷积层输出的特征图被送入GRU循环卷积神经网络中，通过两个控制门得到输入层与上一层卷积的信息保留情况，然后输出到下一层卷积隐藏层中；

每一个隐藏层不再是简单的求和操作，而是上一层特征与当前层状态的卷积运算；

对应GRU循环卷积神经网络的第l层隐藏卷积层h_s，l，s是全卷积神经网络的第s层，l是循环卷积神经网络的第l层；带有GRU记忆单元的隐藏卷积层的递推关系为：

z_s，l＝σ(W_z，l*x_s，l+U_z，l*h_s-1，l) (1)

r_s，l＝σ(W_r，l*x_s，l+U_r，l*h_s-1，l) (2)

式中*为卷积运算，

为逐元素的乘积，σ(·)是sigmoid函数；x_s，l是全卷积神经网络每一组卷积层输出的特征图，作为输入层；r_s，l为GRU记忆单元的复位门，控制是否忽略先前的隐状态；z_s，l是GRU记忆单元的更新门，控制当前的隐状态携带多少历史信息；W_z，l和U_z，l是复位门的权重；W_r，l和U_r，l是更新门的权重；

从断层序列维度看，循环卷积神经网络定义了暗含空间关系的隐状态及其演变形式；对于断层，隐状态依赖于前一断层的隐状态以及当前断层输入状态，这种断层空间依存关系通过GRU记忆单元表征；使用l层卷积特征图作为当前的输入状态，经过记忆单元GRU的模型推演，获得的l层隐状态则蕴含了容积数据的空间结构信息；

(4)网络训练

首先为整个深度神经网络建立损失监督，并采用常用的梯度下降法求解最小化损失函数的问题；深度神经网络采用softmax和交叉熵结合的方式计算损失函数；将预处理后的数据通过该网络进行训练，经过反复迭代学习，最终迭代8万次停止训练获得图像分割的网络模型；学习速率决定了权重更新的快慢，选取学习速率为0.0001；动量参数和权重衰减因子提高训练的自适应性，动量参数设置为0.99，权重衰减因子设置为0.0005。

3.根据权利要求1所述的一种基于深度神经网络的CT图像肺实质三维语义分割方法，其特征在于：在线部分具体步骤如下，

(1)图像预处理

依据肺部断层图像的CT值及窗位、窗宽标准值，排除不相关的区域，并归一化操作来调整影像对比度；调整完影像对比度之后将图像统一规范化成508×508尺寸大小，统一规范序列图像数据；并在CT序列图像中对肺实质进行手工标注，获得肺实质真实值标签；

(2)像素特征提取与融合

通过全卷积神经网络来进行像素特征的提取与融合；首先对规范的序列图像数据采用3×3卷积核进行卷积操作，然后通过下采样提取粗略的边缘定位信息，接着通过上采样提取细节的像素分割信息，通过直接的跳过连接结构将浅层信息与深层信息进行特征融合，从而实现断层图像的肺实质二维分割；

(3)体素特征提取与融合

通过GRU循环卷积神经网络来进行体素特征的提取与融合；对提取得到的特征图，利用GRU记忆单元获取上一层的特征信息，通过两个控制门将上一层的像素特征与当前层的像素特征融合，这样提取的特征图是一种空间信息的表征；其中，GRU记忆单元的运算也不再是上一层与当前层的求和，而是上一层与当前层的卷积操作，从而更有效获取空间特征；

(4)分割输出

通过像素特征的提取与融合，体素特征提取与融合得到网络训练的肺实质分割模型；将肺部CT图像输入肺实质分割模型当中，通过softmax函数和交叉熵结合的方式计算损失函数得到分割输出结果；肺实质分割模型经过softmax函数之后得到一个概率分布情况，然后通过交叉熵衡量两个分布之间的距离，反映真实图像和测试图像之间的相似性，当测试迭代次数增加，相似性不再增加时得到最准确的输出结果；

(5)分割结果评价

使用Dice-

系数DSC作为评估指标进行分割结果的评价，以此来确定分割的准确度；DSC系数是利用二进制进行标签化，将前景体素设置为1，背景体素设计为0，通过以下公式进行分割结果评价；

式中，y为真实的前景体素，z为分割的前景体素。

Images