CN115690423A - 一种基于深度学习的ct序列图像肝脏肿瘤分割方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的CT序列图像肝脏肿瘤分割方法，主要包括：(1)构建基于空洞空间金字塔卷积的U型2D卷积网络，并利用该网络分别从矢状面、冠状面和横切面三个视图方向对CT序列图像进行二维切片分割；(2)采用轻量级的3D卷积网络对不同视图方向获取的分割结果进行融合，获取CT序列各像素属于目标的概率及CT序列肝脏肿瘤三维分割结果；(3)根据所获取的概率和三维分割结果，构建图割能量函数，进一步优化分割结果。本发明通过结合2D、3D卷积网络以及图割算法，可在轻量化网络的情况下，有效提取CT序列的三维空间信息，提高肝脏肿瘤分割精度。

Description

一种基于深度学习的CT序列图像肝脏肿瘤分割方法

技术领域

本发明涉及医学图像处理技术领域，特别涉及一种基于深度学习的CT序列图像肝脏肿瘤分割方法。

背景技术

肝癌已经成为严重危害我国人民身体健康的癌症之一。据国家癌症中心数据显示，我国肝癌发病率在所有恶性肿瘤中排第5，且死亡率高居第2位。肝癌的早诊断、早分期和早治疗对于提高患者生存率和生活质量起着至关重要的作用。计算机断层扫描(Computed Tomography,CT)成像具有分辨率高、速度快、成本低等优点，被广泛应用于肝脏肿瘤的临床诊断。CT序列图像中的肝脏肿瘤区域的精确分割是进行肝癌计算机辅助诊疗的重要基础。肿瘤医师可根据分割结果获取肿瘤大小、形状、位置等详细信息，为患者制定合适的治疗方案。目前临床上，肝脏肿瘤分割通常由专业人员手动分割完成。由于CT扫描生成的切片数量巨大，手动分割耗时耗力，且分割结果质量高度取决于操作者的经验。因此，亟需开发腹部CT序列图像肝脏肿瘤区域的自动精确分割方法。

CT图像中肝脏肿瘤具有对比度低、边界模糊、形状不规则等特点，传统分割方法，如阈值、区域生长、水平集、图割等，通常需要人工交互，难以实现肿瘤的自动分割。近年来，随着人工智能技术在智能医疗领域的快速发展与广泛应用，国内外相关专家学者提出了一些基于深度学习的肝脏肿瘤分割方法。该类方法主要可分为基于2D和3D卷积的方法。基于2D卷积的分割网络未考虑CT序列图像的片间信息，无法有效提取三维空间特征，分割精度有限。而基于3D卷积的分割网络参数量巨大。受限于计算资源，现有基于3D卷积的分割网络通常无法直接对原始CT序列进行处理，需要预先将CT序列进行下采样或截取为小尺寸的三维数据，这将导致图像细节信息丢失、网络的分割精度降低。

发明内容

针对现有技术的缺点与不足，本发明将2D深度卷积网络、3D轻量网络和图割算法相结合，旨在提供一种可有效分割CT序列图像中肝脏肿瘤区域的方法，有效解决单纯采用2D卷积无法提取三维特征、3D卷积内存开销大的问题，并通过结合深度学习和图割算法可有效提高肿瘤分割精度。本发明成果可为肝脏肿瘤的临床诊疗和病理学研究提供技术支持和决策服务。

一种基于深度学习的CT序列图像肝脏肿瘤分割方法，包括以下步骤：

(1)建立包含原始CT序列图像和肝脏区域手动分割结果的原始训练数据集A和B；

(2)构建基于空洞空间金字塔卷积的U型2D卷积网络，记作ASPP-UNet，具体包括：

(2-a)采用U形网络作为主干网络，该主干网络包含三个编码层、两个跳跃连接、一个空洞空间金字塔卷积层、三个解码层和和一个1×1卷积层，其中：第一个编码层的输出不仅作为第二个编码层的输入，同时还通过第一个跳跃连接与第二个解码层相连作为该解码层的输入；第二个编码层的输出不仅作为第三个编码层的输入，同时还通过第二个跳跃连接与第一个解码层相连作为该解码层的输入；第三个编码层的输出作为空洞空间金字塔卷积层的输入，且空洞空间金字塔卷积层的输出作为第一个解码层的输入；此外，上一个解码层的输出均作为下一个解码层的输入；为了得到分割结果，将最后一个解码层与一个1×1卷积层相连，其中最后一个解码层的输出作为1×1卷积层的输入，1×1卷积层的输出为各像素属于目标的概率，通过引入阈值ε₁，即可得到分割结果；所述ε₁优选0.3～0.7的常数；

(2-b)在步骤(2-a)所述的主干网络中，每个编码层均由两个2D卷积模块连接组成，即2D双卷积模块，其中每个2D卷积模块包含一个大小为3×3的卷积层，一个批归一化层和一个Relu激活层；为了对图像进行下采样，第二和第三个编码层中，2D双卷积模块的末尾均增加1个大小为2×2的最大池化层；

(2-c)在步骤(2-a)所述的主干网络中，空洞空间金字塔卷积层具体包括：采用n个具有不同采样半径{r_i|i＝1,2,...,n}的3×3卷积核分别对输入特征图进行空洞卷积，并将空洞卷积结果进行拼接作为该空洞空间金字塔卷积层的输出，其中n为大于1的自然数；为了扩大卷积核的感受野、获取多尺度的上下文信息，采样半径设置为r_i＝k×i+1，其中k为大于0的自然数；所述n优选2～10的自然数，k优选1～8的自然数；

(2-d)在步骤(2-a)所述的主干网络中，第一和第二个解码层均由一个步骤(2-b)所述的2D双卷积模块、一个2×2反卷积层和一个拼接操作连接组成，第三个解码层仅由一个步骤(2-b)所述的2D双卷积模块组成，其中：第一个解码层中2D双卷积模块的输入为空洞空间金字塔卷积层的输出，此后，下一个解码层中2D双卷积模块的输入均为上一个解码层的输出；第一个解码层中的拼接操作用于拼接该解码层中反卷积结果和第二个编码层的输出，拼接结果作为该解码层的输出；第二个解码层中的拼接操作用于拼接该解码层中反卷积结果和第一个编码层的输出，拼接结果作为该解码层的输出；

(3)构建轻量级的3D卷积网络，记作LW-3DNet，该网络涉及三个输入和一个输出，网络具体结构包括：首先采用三个3D双卷积模块，分别对三个输入进行卷积，然后采用拼接操作将卷积结果进行拼接，并采用一个3D双卷积模块对拼接结果进行卷积，得到特征图F，最后，采用一个1×1×1卷积层对特征图F进行卷积，1×1×1卷积层的输出为各体素属于目标的概率，通过引入阈值ε₂，即可得到三维分割结果，所述ε₂优选0.3～0.7的常数；步骤(3)中所述的3D双卷积模块均由两个3D卷积模块连接组成，其中每个3D卷积模块包含一个大小为3×3×3的卷积层，一个批归一化层和一个Relu激活层；

(4)利用ASPP-UNet，训练多个可用于分割不同视图方向二维切片的网络模型，具体步骤包括：对于训练数据集A中的每一个CT序列，首先分别从矢状面、冠状面和横切面三个视图方向重构二维切片，获取不同视图方向的二维切片，分别记作

和

然后，将训练数据集中获取的矢状面视图方向的二维切片

及其对应的二维切片手动分割结果输入ASPP-UNet网络进行训练，获取可用于分割矢状面二维切片的网络模型ASPP-UNet^X，将训练数据集中获取的冠状面视图方向的二维切片

及其对应的二维切片手动分割结果输入ASPP-UNet网络进行训练，获取可用于分割冠状面二维切片的网络模型ASPP-UNet^Y，将训练数据集中获取的横切面视图方向的二维切片

及其对应的二维切片手动分割结果输入ASPP-UNet网络进行训练，获取可用于分割横切面二维切片的网络模型ASPP-UNet^Z；训练获取网络模型ASPP-UNet^X、ASPP-UNet^Y和ASPP-UNet^Z时，损失函数优选基于交叉熵和Dice的混合损失函数，具体定义如下：

l＝l_c+η·l_d

其中，l_c和l_d分别表示交叉熵和Dice损失，η为权重参数，优选0.5～2的常数，

表示CT图像中第w个像素的专家手动分割结果，其中背景标记为0，目标标记为1，

表示网络模型预测第w个像素属于目标的概率，N为CT图像中的像素数目；

(5)利用LW-3DNet，训练一个可用于融合不同视图方向分割结果的网络模型，具体包括：

(5-a)构建LW-3DNet网络的训练数据集C，具体包括：首先，对于原始训练数据集B中的每一个CT序列，分别从矢状面、冠状面和横切面三个视图方向重构二维切片，获取不同视图方向的二维切片，分别记作

和

然后，分别将

和

输入至已训练好的网络模型ASPP-UNet^X、ASPP-UNet^Y和ASPP-UNet^Z中进行测试，得到不同视图方向的二维切片分割结果S^X、S^Y和S^Z；最后，将网络预测的S^X、S^Y和S^Z作为LW-3DNet网络训练的输入，训练数据集B中CT序列三维手动分割结果作为标签，构建LW-3DNet网络的训练数据集C；

(5-b)将训练数据集C输入LW-3Dnet网络进行训练，损失函数优选Dice损失函数，得到训练好的网络模型LW-3DNet^F；

(6)对于待检测的CT序列T，首先分别从矢状面、冠状面和横切面三个视图方向进行二维切片重构，获取CT序列图像不同视图方向的二维切片，分别记作T^X、T^Y和T^Z；然后，分别将T^X、T^Y和T^Z输入到已训练好的网络模型ASPP-UNet^X、ASPP-UNet^Y和ASPP-UNet^Z中进行测试，得到不同视图方向的二维切片分割结果F^X、F^Y和F^Z；最后，将F^X、F^Y和F^Z输入LW-3DNet^F网络模型进行测试，得到CT序列T中各体素属于目标的概率P^obj，以及肝脏肿瘤三维分割结果S^obj；

(7)构建图割能量函数，进一步优化分割结果，得到精确的肝脏肿瘤分割结果，具体包括：

(7-a)对于待检测的CT序列T，构建如下图割能量函数：

其中，v表示CT序列图像T中的体素，L_v表示体素v的邻域体素集，所述L_v优选为以当前体素v为中心、大小为3×3×3的邻域体素集，u表示属于邻域体素集L_v中的体素，R(v)和B(v,u)分别表示图割能量函数中的区域惩罚项和边界惩罚项，α为权重参数，取值为0～1之间的常数；区域惩罚项主要用于对单个体素分配标签为“目标”或“背景”进行惩罚，计算公式如下：

R(v)＝β·R₁(v)+(1-β)·R₂(v)

其中，P^obj(v)表示CT序列T中体素v属于肝脏肿瘤的概率，由步骤(6)所述方式获取，体素v属于“目标”即“肝脏肿瘤”的概率越大，对该体素分配为“目标”的惩罚越小，且对该体素分配为“背景”的惩罚越大，β为权重参数，取值为0～1之间的常数，g_v表示CT序列T中体素v的灰度值，

和γ分别表示根据步骤(6)所述方式获取的分割结果S^obj计算得到的肝脏肿瘤区域的灰度均值和标准差，计算公式如下：

其中，R_o表示分割结果S^obj中的肝脏肿瘤区域体素集，m表示属于体素集R_o中的体素，g_m表示体素m的灰度值，N_o表示体素集R_o中的体素数目；边界项B(v,u)用于对相邻体素间的灰度不一致进行惩罚，计算公式如下：

其中

D(v,u)表示求体素v和u的欧氏距离，N₁表示CT序列T中的体素数目，g_v和g_u分别表示体素v和u的灰度值，|g_v-g_u|表示求g_v与g_u差的绝对值；

(7-b)采用最大流/最小割算法最小化能量函数E(T)，即可得到精确的肝脏肿瘤分割结果。

附图说明

图1 ASPP-UNet网络结构示意图

图2空洞空间金字塔卷积层结构示意图

图3 LW-3DNet网络结构示意图

图4本发明实施方式的CT序列图像肝脏肿瘤分割流程示意图

图5本发明实施方式的肝脏肿瘤分割结果示例，其中5(a)～(c)为三维分割结果分别在矢状面、冠状面和横切面三个视图方向下的二维切片结果示例

具体实施方式

一种基于深度学习的CT序列图像肝脏肿瘤分割方法，具体实施步骤如下：

(1)从LiTS公共数据库中随机挑选100个腹部CT原始序列图像和其对应的肝脏肿瘤区域手动分割结果，选取其中的50个病例，即50个腹部CT原始序列图像和其对应的肝脏肿瘤区域手动分割结果，作为训练数据集A，剩余的50个病例作为训练数据集B；手动分割结果中，肝脏肿瘤区域(即目标区域)标记为“1”，背景区域标记为“0”；

(2)构建基于空洞空间金字塔卷积的U型2D卷积网络，记作ASPP-UNet，结构如图1所示，具体包括：

(2-a)采用U形网络作为主干网络，该主干网络包含三个编码层、两个跳跃连接、一个空洞空间金字塔卷积层、三个解码层和和一个1×1卷积层，其中：第一个编码层的输出不仅作为第二个编码层的输入，同时还通过第一个跳跃连接与第二个解码层相连作为该解码层的输入；第二个编码层的输出不仅作为第三个编码层的输入，同时还通过第二个跳跃连接与第一个解码层相连作为该解码层的输入；第三个编码层的输出作为空洞空间金字塔卷积层的输入，且空洞空间金字塔卷积层的输出作为第一个解码层的输入；此外，上一个解码层的输出均作为下一个解码层的输入；为了得到分割结果，将最后一个解码层与一个1×1卷积层相连，其中最后一个解码层的输出作为1×1卷积层的输入，1×1卷积层的输出为各像素属于目标的概率，通过引入阈值ε₁，即可得到分割结果；本实施例优选ε₁＝0.5；

(2-b)在步骤(2-a)所述的主干网络中，每个编码层均由两个2D卷积模块连接组成，即2D双卷积模块，其中每个2D卷积模块包含一个大小为3×3的卷积层，一个批归一化层和一个Relu激活层；为了对图像进行下采样，第二和第三个编码层中，2D双卷积模块的末尾均增加1个大小为2×2的最大池化层；

(2-c)在步骤(2-a)所述的主干网络中，空洞空间金字塔卷积层，结构如图2所示，具体包括：采用n个具有不同采样半径{r_i|i＝1,2,...,n}的3×3卷积核分别对输入特征图进行空洞卷积，并将空洞卷积结果进行拼接作为该空洞空间金字塔卷积层的输出，其中n为大于1的自然数；为了扩大卷积核的感受野、获取多尺度的上下文信息，采样半径设置为r_i＝k×i+1，其中k为大于0的自然数；本实施例优选n＝5，k＝2；

(2-d)在步骤(2-a)所述的主干网络中，第一和第二个解码层均由一个步骤(2-b)所述的2D双卷积模块、一个2×2反卷积层和一个拼接操作连接组成，第三个解码层仅由一个步骤(2-b)所述的2D双卷积模块组成，其中：第一个解码层中2D双卷积模块的输入为空洞空间金字塔卷积层的输出，此后，下一个解码层中2D双卷积模块的输入均为上一个解码层的输出；第一个解码层中的拼接操作用于拼接该解码层中反卷积结果和第二个编码层的输出，拼接结果作为该解码层的输出；第二个解码层中的拼接操作用于拼接该解码层中反卷积结果和第一个编码层的输出，拼接结果作为该解码层的输出；

(3)构建轻量级的3D卷积网络，记作LW-3DNet，结构如图3所示，该网络涉及三个输入和一个输出，网络具体结构包括：首先采用三个3D双卷积模块，分别对三个输入进行卷积，然后采用拼接操作将卷积结果进行拼接，并采用一个3D双卷积模块对拼接结果进行卷积，得到特征图F，最后，采用一个1×1×1卷积层对特征图F进行卷积，1×1×1卷积层的输出为各体素属于目标的概率，通过引入阈值ε₂，即可得到三维分割结果；步骤(3)中所述的3D双卷积模块均由两个3D卷积模块连接组成，其中每个3D卷积模块包含一个大小为3×3×3的卷积层，一个批归一化层和一个Relu激活层；本实施例优选ε₂＝0.5；

(4)利用ASPP-UNet，训练多个可用于分割不同视图方向二维切片的网络模型，具体步骤包括：对于训练数据集A中的每一个CT序列，首先分别从矢状面、冠状面和横切面三个视图方向重构二维切片，获取不同视图方向的二维切片，分别记作

和

然后，将训练数据集中获取的矢状面视图方向的二维切片

及其对应的二维切片手动分割结果输入ASPP-UNet网络进行训练，获取可用于分割矢状面二维切片的网络模型ASPP-UNet^X，将训练数据集中获取的冠状面视图方向的二维切片

及其对应的二维切片手动分割结果输入ASPP-UNet网络进行训练，获取可用于分割冠状面二维切片的网络模型ASPP-UNet^Y，将训练数据集中获取的横切面视图方向的二维切片

及其对应的二维切片手动分割结果输入ASPP-UNet网络进行训练，获取可用于分割横切面二维切片的网络模型ASPP-UNet^Z；训练获取网络模型ASPP-UNet^X、ASPP-UNet^Y和ASPP-UNet^Z时，损失函数优选基于交叉熵和Dice的混合损失函数，具体定义如下：

l＝l_c+η·l_d

其中，l_c和l_d分别表示交叉熵和Dice损失，η为权重参数，本实施例优选η＝1，

表示CT图像中第w个像素的专家手动分割结果，其中背景标记为0，目标标记为1，

表示网络模型预测第w个像素属于目标的概率，N为CT图像中的像素数目；

(5)利用LW-3DNet，训练一个可用于融合不同视图方向分割结果的网络模型，具体包括：

(5-a)构建LW-3DNet网络的训练数据集C，具体包括：首先，对于原始训练数据集B中的每一个CT序列，分别从矢状面、冠状面和横切面三个视图方向重构二维切片，获取不同视图方向的二维切片，分别记作

和

然后，分别将

和

输入至已训练好的网络模型ASPP-UNet^X、ASPP-UNet^Y和ASPP-UNet^Z中进行测试，得到不同视图方向的二维切片分割结果S^X、S^Y和S^Z；最后，将网络预测的S^X、S^Y和S^Z作为LW-3DNet网络训练的输入，训练数据集B中CT序列三维手动分割结果作为标签，构建LW-3DNet网络的训练数据集C；

(5-b)将训练数据集C输入LW-3Dnet网络进行训练，损失函数优选Dice损失函数，得到训练好的网络模型LW-3DNet^F；

(6)对于待检测的CT序列T，首先分别从矢状面、冠状面和横切面三个视图方向进行二维切片重构，获取CT序列图像不同视图方向的二维切片，分别记作T^X、T^Y和T^Z；然后，分别将T^X、T^Y和T^Z输入到已训练好的网络模型ASPP-UNet^X、ASPP-UNet^Y和ASPP-UNet^Z中进行测试，得到不同视图方向的二维切片分割结果F^X、F^Y和F^Z；最后，将F^X、F^Y和F^Z输入LW-3DNet^F网络模型进行测试，得到CT序列T中各体素属于目标的概率P^obj，以及肝脏肿瘤三维分割结果S^obj；

(7)构建图割能量函数，进一步优化分割结果，得到精确的肝脏肿瘤分割结果，具体包括：

(7-a)对于待检测的CT序列T，构建如下图割能量函数：

其中，v表示CT序列图像T中的体素，L_v表示体素v的邻域体素集，本实施例优选L_v为以当前体素v为中心、大小为3×3×3的邻域体素集，即三维体素的26-邻域，u表示属于邻域体素集L_v中的体素，R(v)和B(v,u)分别表示图割能量函数中的区域惩罚项和边界惩罚项，α为权重参数，取值为0～1之间的常数，本实施例优选α＝0.5；区域惩罚项主要用于对单个体素分配标签为“目标”或“背景”进行惩罚，根据步骤(6)所述方式获取的概率P^obj和分割结果S^obj计算得到，具体计算公式如下：

R(v)＝β·R₁(v)+(1-β)·R₂(v)

其中，P^obj(v)表示CT序列T中体素v属于肝脏肿瘤的概率，由步骤(6)所述方式获取，体素v属于“目标”即“肝脏肿瘤”的概率越大，对该体素分配为“目标”的惩罚越小，且对该体素分配为“背景”的惩罚越大，β为权重参数，取值为0～1之间的常数，本实施例优选β＝0.5，g_v表示CT序列T中体素v的灰度值，

和γ分别表示根据步骤(6)所述方式获取的分割结果S^obj计算得到的肝脏肿瘤区域的灰度均值和标准差，计算公式如下：

其中，R_o表示分割结果S^obj中的肝脏肿瘤区域体素集，m表示属于体素集R_o中的体素，g_m表示体素m的灰度值，N_o表示体素集R_o中的体素数目；边界项B(v,u)用于对相邻体素间的灰度不一致进行惩罚，计算公式如下：

其中

D(v,u)表示求体素v和u的欧氏距离，N₁表示CT序列T中的体素数目，g_v和g_u分别表示体素v和u的灰度值，|g_v-g_u|表示求g_v和g_u差的绝对值；

(7-b)采用最大流/最小割算法最小化能量函数E(T)，即可得到精确的肝脏肿瘤分割结果。图4为本发明实施方式的CT序列图像肝脏肿瘤分割流程示意图。

图5给出了肝脏肿瘤三维分割结果分别在矢状面、冠状面和横切面三个视图方向下的二维切片结果示例，其中白色封闭曲线所示区域为本实施例得到的肝脏肿瘤分割结果，可以看到，图像中的肝脏肿瘤区域均被有效分割。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (5)

1.一种基于深度学习的CT序列图像肝脏肿瘤分割方法，其特征在于，包括以下步骤：

(1)建立包含原始CT序列图像和肝脏区域手动分割结果的原始训练数据集A和B；；

(2)构建基于空洞空间金字塔卷积的U型2D卷积网络，记作ASPP-UNet，具体包括：

(2-a)采用U形网络作为主干网络，该主干网络包含三个编码层、两个跳跃连接、一个空洞空间金字塔卷积层、三个解码层和和一个1×1卷积层，其中：第一个编码层的输出不仅作为第二个编码层的输入，同时还通过第一个跳跃连接与第二个解码层相连作为该解码层的输入；第二个编码层的输出不仅作为第三个编码层的输入，同时还通过第二个跳跃连接与第一个解码层相连作为该解码层的输入；第三个编码层的输出作为空洞空间金字塔卷积层的输入，且空洞空间金字塔卷积层的输出作为第一个解码层的输入；此外，上一个解码层的输出均作为下一个解码层的输入；为了得到分割结果，将最后一个解码层与一个1×1卷积层相连，其中最后一个解码层的输出作为1×1卷积层的输入，1×1卷积层的输出为各像素属于目标的概率，通过引入阈值ε₁，即可得到分割结果；

(2-b)在步骤(2-a)所述的主干网络中，每个编码层均由两个2D卷积模块连接组成，即2D双卷积模块，其中每个2D卷积模块包含一个大小为3×3的卷积层，一个批归一化层和一个Relu激活层；为了对图像进行下采样，第二和第三个编码层中，2D双卷积模块的末尾均增加1个大小为2×2的最大池化层；

(2-c)在步骤(2-a)所述的主干网络中，空洞空间金字塔卷积层具体包括：

采用n个具有不同采样半径{r_i|i＝1,2,...,n}的3×3卷积核分别对输入特征图进行空洞卷积，并将空洞卷积结果进行拼接作为该空洞空间金字塔卷积层的输出，其中n为大于1的自然数；为了扩大卷积核的感受野、获取多尺度的上下文信息，采样半径设置为r_i＝k×i+1，其中k为大于0的自然数；

(2-d)在步骤(2-a)所述的主干网络中，第一和第二个解码层均由一个步骤(2-b)所述的2D双卷积模块、一个2×2反卷积层和一个拼接操作连接组成，第三个解码层仅由一个步骤(2-b)所述的2D双卷积模块组成，其中：第一个解码层中2D双卷积模块的输入为空洞空间金字塔卷积层的输出，此后，下一个解码层中2D双卷积模块的输入均为上一个解码层的输出；第一个解码层中的拼接操作用于拼接该解码层中反卷积结果和第二个编码层的输出，拼接结果作为该解码层的输出；第二个解码层中的拼接操作用于拼接该解码层中反卷积结果和第一个编码层的输出，拼接结果作为该解码层的输出；

(3)构建轻量级的3D卷积网络，记作LW-3DNet，该网络涉及三个输入和一个输出，网络具体结构包括：首先采用三个3D双卷积模块，分别对三个输入进行卷积，然后采用拼接操作将卷积结果进行拼接，并采用一个3D双卷积模块对拼接结果进行卷积，得到特征图F，最后，采用一个1×1×1卷积层对特征图F进行卷积，1×1×1卷积层的输出为各体素属于目标的概率，通过引入阈值ε₂，即可得到三维分割结果；步骤(3)中所述的3D双卷积模块均由两个3D卷积模块连接组成，其中每个3D卷积模块包含一个大小为3×3×3的卷积层，一个批归一化层和一个Relu激活层；

(4)利用ASPP-UNet，训练多个可用于分割不同视图方向二维切片的网络模型，具体步骤包括：对于训练数据集A中的每一个CT序列，首先分别从矢状面、冠状面和横切面三个视图方向重构二维切片，获取不同视图方向的二维切片，分别记作

和

然后，将训练数据集中获取的矢状面视图方向的二维切片

及其对应的二维切片手动分割结果输入ASPP-UNet网络进行训练，获取可用于分割矢状面二维切片的网络模型ASPP-UNet^X，将训练数据集中获取的冠状面视图方向的二维切片

及其对应的二维切片手动分割结果输入ASPP-UNet网络进行训练，获取可用于分割冠状面二维切片的网络模型ASPP-UNet^Y，将训练数据集中获取的横切面视图方向的二维切片

及其对应的二维切片手动分割结果输入ASPP-UNet网络进行训练，获取可用于分割横切面二维切片的网络模型ASPP-UNet^Z；

(5)利用LW-3DNet，训练一个可用于融合不同视图方向分割结果的网络模型，具体包括：

(5-a)构建LW-3DNet网络的训练数据集C，具体包括：首先，对于原始训练数据集B中的每一个CT序列，分别从矢状面、冠状面和横切面三个视图方向重构二维切片，获取不同视图方向的二维切片，分别记作

和

然后，分别将

和

输入至已训练好的网络模型ASPP-UNet^X、ASPP-UNet^Y和ASPP-UNet^Z中进行测试，得到不同视图方向的二维切片分割结果S^X、S^Y和S^Z；最后，将网络预测的S^X、S^Y和S^Z作为LW-3DNet网络训练的输入，训练数据集B中CT序列三维手动分割结果作为标签，构建LW-3DNet网络的训练数据集C；

(5-b)将训练数据集C输入LW-3Dnet网络进行训练，得到训练好的网络模型LW-3DNet^F；

(6)对于待检测的CT序列T，首先分别从矢状面、冠状面和横切面三个视图方向进行二维切片重构，获取CT序列图像不同视图方向的二维切片，分别记作T^X、T^Y和T^Z；然后，分别将T^X、T^Y和T^Z输入到已训练好的网络模型ASPP-UNet^X、ASPP-UNet^Y和ASPP-UNet^Z中进行测试，得到不同视图方向的二维切片分割结果F^X、F^Y和F^Z；最后，将F^X、F^Y和F^Z输入LW-3DNetF网络模型进行测试，得到CT序列T中各体素属于目标的概率P^obj，以及肝脏肿瘤三维分割结果S^obj；

(7)构建图割能量函数，进一步优化分割结果，得到精确的肝脏肿瘤分割结果，具体包括：

(7-a)对于待检测的CT序列T，构建如下图割能量函数：

其中，v表示CT序列图像T中的体素，L_v表示体素v的邻域体素集，u表示属于邻域体素集L_v中的体素，R(v)和B(v,u)分别表示图割能量函数中的区域惩罚项和边界惩罚项，α为权重参数，取值为0～1之间的常数；区域惩罚项主要用于对单个体素分配标签为“目标”或“背景”进行惩罚，计算公式如下：

R(v)＝β·R₁(v)+(1-β)·R₂(v)

其中，P^obj(v)表示CT序列T中体素v属于肝脏肿瘤的概率，由步骤(6)所述方式获取，体素v属于“目标”即“肝脏肿瘤”的概率越大，对该体素分配为“目标”的惩罚越小，且对该体素分配为“背景”的惩罚越大，β为权重参数，取值为0～1之间的常数，g_v表示CT序列T中体素v的灰度值，

和γ分别表示根据步骤(6)所述方式获取的分割结果S^obj计算得到的肝脏肿瘤区域的灰度均值和标准差，计算公式如下：

其中，R_o表示分割结果S^obj中的肝脏肿瘤区域体素集，m表示属于体素集R_o中的体素，g_m表示体素m的灰度值，N_o表示体素集R_o中的体素数目；边界项B(v,u)用于对相邻体素间的灰度不一致进行惩罚，计算公式如下：

其中

D(v,u)表示求体素v和u的欧氏距离，N₁表示CT序列T中的体素数目，g_v和g_u分别表示体素v和u的灰度值，|g_v-g_u|表示求g_v与g_u差的绝对值；

(7-b)采用最大流/最小割算法最小化能量函数E(T)，即可得到精确的肝脏肿瘤分割结果。

2.如权利要求1所述的一种基于深度学习的CT序列图像肝脏肿瘤分割方法，其特征在于：在步骤(4)中，训练获取网络模型ASPP-UNet^X、ASPP-UNet^Y和ASPP-UNet^Z时，损失函数优选基于交叉熵和Dice的混合损失函数，具体定义如下：

l＝l_c+η·l_d

其中，l_c和l_d分别表示交叉熵和Dice损失，η为权重参数，

表示CT图像中第w个像素的专家手动分割结果，其中背景标记为0，目标标记为1，

表示网络模型预测第w个像素属于目标的概率，N为CT图像中的像素数目。

3.如权利要求1所述的一种基于深度学习的CT序列图像肝脏肿瘤分割方法，其特征在于：在步骤(5-b)中，训练获取网络模型LW-3DNet^F时，损失函数优选Dice损失函数。

4.如权利要求1所述的一种基于深度学习的CT序列图像肝脏肿瘤分割方法，其特征在于：在步骤(7-a)中，所述L_v优选为以当前体素v为中心、大小为3×3×3的邻域体素集。

5.如权利要求1所述的一种基于深度学习的CT序列图像肝脏肿瘤分割方法，其特征在于：所述ε₁优选0.3～0.7的常数，n优选2～10的自然数，k优选1～8的自然数，ε₂优选0.3～0.7的常数，α优选0.3～0.7的常数、参数β优选0.3～0.7的常数，η优选0.5～2的常数。

Images