CN111127484A - 基于深度学习神经网络的肝脏ct图像分割方法及装置 - Google Patents

Abstract

本发明公开了一种基于深度学习神经网络的肝脏CT图像分割方法及装置，所述方法包括：构建基于密集卷积网络DenseNet和U型网络Unet的U型DenseNet二维2D网络及U型DenseNet三维3D网络；基于自动上下文auto‑context方法，将U型DenseNet 3D网络集成到U型DenseNet 2D网络中，获取U型DenseNet混合网络并进行深度学习训练；通过训练好的U型DenseNet混合网络对肝脏CT图像进行分割。本发明能够尽可能地提取CT肝脏图象的层内信息和层级间信息，并同时兼顾计算性能，降低运算参数，使得计算机能够而且较快地输出比较精确的肝脏和肿瘤分割图。

Description

基于深度学习神经网络的肝脏CT图像分割方法及装置

技术领域

本发明涉及计算机多媒体的图像分割技术领域，尤其涉及一种基于深度学习神经网络的肝脏CT图像分割方法及装置。

背景技术

肝脏肿瘤是人体最常发生的肿瘤疾病之一，每年在全世界范围内造成了数量巨大的死亡案例。在进行治疗此类疾病的时候，精确的肝脏和肿瘤的形状、位置、大小信息，能够给手术医生提供巨大的帮助，以制定出更加优良的治疗计划。

传统的肝脏和肿瘤信息，是医生通过肉眼对机器扫描出的包含病人体透视图像信息的片子逐张进行观察分析获取到的。上述处理方法耗时耗力还容易出错，对于医生的资历和经验更是高度依赖。因此，实现计算机的自动肝脏肿瘤分割定位，是现在医学临床界的一个迫切的愿望。

肝脏肿瘤的信息主要存在于电子计算机断层扫描(Computed Tomography，简称为CT)切片图上。通过计算机分析CT切片图实现自动肝脏肿瘤分割技术是一个非常有挑战性的工作，其主要的难点，第一，不同于普通的相机图片， CT机扫描出的CT切片图像，像素很低，可以说是非常的模糊，对于肿瘤甚至肝脏的边缘的精确界定十分困难。第二，通常，医生为了在机器扫描透视能力有限的情况下，还能够尽可能的看清器官的内部情况，会使用一些显影剂，注入到病人的体内，并通过血管扩散到肝脏器官内，从而让疑似存在病变的肝脏器官与周围的身体器官在色彩上区别开来。这样的做法，对于图片而言，相当于增加很多的噪声，增加了机器完成任务的难度。第三，由于CT的机器不同，或是提取数据方式的不同，最后产出的图像分布也很不同，图像的像素距离和层间距都不是统一的规格，有的差别甚至达到数十倍，这也为完成任务增加了难度。此外，与肝脏的自动分割的难度相比，肿瘤自动分割的难度更高。这是因为肿瘤的形状大小位置和数量等参数都十分地不确定，而且可能由于肿瘤的扩散等原因，肿瘤的边界相交肝脏器官更加模糊，更难界定。

为了解决以上这些问题，很多前人做了扎实的工作，提出了不同的分割模型。例如，利用像素的阈值分割(threshold)，区域生长(regional growth)等。这些办法，很多依赖手动的特征提取，费时费力，效果也不稳定和明显。在全卷积神经网络(FullyConvolutional Network，简称为FCN)在图像识别领域取得了巨大成功后，很多研究人员都开始利用这项技术解决实际的器官图象分割类的问题。这个趋势主要可以分为两类办法，一类是2D的办法，比如使用U 型网络(UNet)结构，或多通道FCN等。这种办法模型使用的参数较少，易于训练，但只能关注在切片的层内信息，不能得到层与层之间的信息。通常，有经验的医生在看片子的时候，会同事注意到临近的多张切片。另一类是3D的办法，例如3D-FCN或者VNet等。这种办法设计的模型能够关注到层与层之间(z 轴)的信息。但是模型参数巨大，难以训练。

发明内容

本发明实施例提供一种基于深度学习神经网络的肝脏CT图像分割方法及装置，用以解决现有技术中仅采用2D网络进行肝脏肿瘤分割不能得到层间信息，采用3D网络进行肝脏肿瘤分割训练量巨大的问题。

本发明实施例提供一种基于深度学习神经网络的肝脏CT图像分割方法，包括：

构建基于密集卷积网络DenseNet和U型网络Unet的U型DenseNet二维 2D网络及U型DenseNet三维3D网络；

基于自动上下文auto-context方法，将U型DenseNet 3D网络集成到U型DenseNet2D网络中，获取U型DenseNet混合网络并进行深度学习训练；

通过训练好的U型DenseNet混合网络对肝脏CT图像进行分割。

本发明实施例还提供一种基于深度学习神经网络的肝脏CT图像分割装置，包括：

构建模块，用于构建基于密集卷积网络DenseNet和U型网络Unet的U型 DenseNet二维2D网络及U型DenseNet三维3D网络；

集成模块，用于基于自动上下文auto-context方法，将U型DenseNet 3D网络集成到U型DenseNet 2D网络中，获取U型DenseNet混合网络并进行深度学习训练；

分割模块，用于通过训练好的U型DenseNet混合网络对肝脏CT图像进行分割。

本发明实施例还提供一种基于深度学习神经网络的肝脏CT图像分割装置，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，计算机程序被处理器执行时实现上述基于深度学习神经网络的肝脏CT图像分割方法的步骤。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有信息传递的实现程序，程序被处理器执行时实现上述基于深度学习神经网络的肝脏CT图像分割方法的步骤。

采用本发明实施例，通过将U型DenseNet 3D网络集成到U型DenseNet 2D 网络中得到U型DenseNet混合网络进行肝脏的肿瘤分割，能够尽可能地提取 CT肝脏图象的层内信息和层级间信息，并同时兼顾计算性能，降低运算参数，使得计算机能够而且较快地输出比较精确的肝脏和肿瘤分割图。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1是本发明实施例的基于深度学习神经网络的肝脏CT图像分割方法的流程图；

图2是本发明实施例的基于深度学习神经网络的肝脏CT图像分割2D和 3D转化的示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

方法实施例

根据本发明的实施例，提供了一种基于深度学习神经网络的肝脏CT图像分割方法，图1是本发明实施例的基于深度学习神经网络的肝脏CT图像分割方法的流程图，如图1所示，根据本发明实施例的基于深度学习神经网络的肝脏CT 图像分割方法具体包括：

步骤101，构建基于密集卷积网络(Dense Convolutional Network，简称为DenseNet)和U型网络(Unity Networking，简称为Unet)的U型DenseNet二维2D网络及U型DenseNet三维3D网络；

在本发明实施例中，为了很好地提取层内信息，构建一个预训练的U型 DenseNet2D网络，这个网络结合了DenseNet和UNet。其中，UNet的U型结构使得这种模型非常适合用于图象的分割，其远距离连接模型编码部分和解码部分的设计使得这种模型能很好的保存高层次的特征。DenseNet的密集连接结构改善了模型参数在训练过程中流动更新的效率，讲两者结合从而非常好地实现了层内图象的信息提取。

片内特征提取U型DenseNet 2D网络遵循DenseNet-161的结构。它由167 个卷积层、池层、密集块(Dense block)、过渡层和上采样层组成。其中，密集块表示几个微块的级联，其中所有层都直接连接。设I∈R^{n×224×224×12×1}表示具有地面真值标签Y∈R^{n×224x224×12×1}的输入训练样本，即对于224×224×12输入体积，其中n表示输入训练样本的批量大小，R表示训练样本，最后一维表示信道。 y_i，j，k＝C，因为每个像素(i，j，k)都标记有C类(表示背景，即肝脏和肿瘤)。设函数f表示从体数据到三个相邻切片的变换，其具体的变换如公式1所示，具体地，例如，原来是一个(12345)这个5层的体数据(实际是12层)，函数f直接每层读出来，然后前后相邻的做合并，变成012，123，234，345，450，其中， 0表示空白层。f^-1表示从三个相邻切片到体积数据的逆变换，正变换是为了让数据能够输入2d模型，逆变换是为了让数据输入到3d模型。2d模型输入的数据每个病例只要3层，3d模型则需要12层。具体地说，沿z轴的每三个相邻切片堆叠在一起，并且可以将组的数量转换为批维度。例如，I_2d＝F(I)，其中I_2d∈ R^{12n×224×224×3}表示U型DenseNet 2D网络的输入样本。由于变换，U型DenseNet 2D和3D网络可以被联合训练。需要说明的是，主结构里有池化层的和过渡层，过度层里也有池化层，但是这两个池化层的地位不同，主结构的池化层是为了将输入图像尺寸降低；而过渡层里的池化层是为了将输入通道数量降低。每层的输入如果写成是x*x*z，主结构的池化，是将x减少，过渡层的池化，是将z 减少。

其中，X_2d＝R^{12n×224×224×64}，

n表示输入训练样本的批量大小，R 表示训练样本，X_2d是U型DenseNet 2D网络中的上采样层的特征量(要素图)，

是I_2d的对应像素的概率，I_2d∈R^{12n×224×224×3，}表示U型DenseNet 2D网络的输入样本，θ_2d和θ_2dcls为网络参数，函数f表示从体数据到三个相邻切片的变换函数。

在U型DenseNet 2D网络中，为了改变特征图的大小，采用了过渡层，该过渡层由一个批归一化层和一个1×1卷积层组成，然后是平均池化层。在过渡层中包含压缩因子，以压缩特征映射的数量，防止特征映射的扩展(在实验中设置为0.5)。上采样层通过双线性插值实现，随后是具有低级特征(即，UNET连接)和3×3卷积层的求和。在每个卷积层之前，在结构中使用批量归一化BN和激活函数RELU。其中，归一化是把所有输入函数的数，集体变换成标准正态分布的样子，再继续传递给下一层模型。作用是抑制了极大极小值的范围，让数据不那么地分散，这样容易训练。激活函数ReLU是个特殊的函数，基本上作用是把小于0的数设置为0(其中，0相当于死亡，因为变成0之后参数需要再更新)，而大于0的数，则不变。这些函数都是作用在预先设置的一层一层的参数变量上。这些参数变量看作是神经元。一层一层的神经元看坐是神经网络。

步骤102，基于自动上下文(auto-context)方法，将U型DenseNet 3D网络集成到U型DenseNet 2D网络中，获取U型DenseNet混合网络并进行深度学习训练；

在本发明实施例中，还构建了一个混合特征提取模型即U型DenseNet混合网络。为了使得模型能够兼顾其他层切片图的信息，该混合网络能够同时提取层间信息和层内信息的特征。特别地，利用auto-context的思想，将3D的U型 DenseNet网络集成到2D的U型DenseNet网络中去。如此一来，有了2D网络的指引，3D网络的计算负担大大降低，混合网络对于特征的提取能力得到了很大的提高，对于肿瘤的分割精度也就大大提升。

因此，为了实现肝脏和肿瘤的精确分割，首先构建了一个U型DenseNet，能高效提取图像的层内特征；随后构建了一个U型DenseNet混合网络能够同时提取层内和层间的信息，又能很好地控制由于3D网络训练带来的参数过多训练负担过重的问题，从而更好地提升肝脏和肿瘤的分割精度。

在本发明实施例中，在对简单的加深网络(ResNet)架构进行训练，以获得快速但粗略的肝脏分割。利用感兴趣区域(ROI)，将粗略的肝脏分割作为U型 DenseNet混合网络的输入，U型DenseNet混合网络通过2D DenseNet和3D DenseNet高效地探测片内和片间特征，然后联合优化特征融合层中的特征，以实现精确的肝脏和病变分割。

在步骤102中，要融合U型DenseNet 2D网络和U型DenseNet 3D网络中的混合特征，应对齐特征体积大小。因此，U型DenseNet 2D网络中的特征映射和得分映射被转换为体积形状，如下所示：

其中，

表示体形状变换函数，X_2d′＝R^{12n×224×224×64}，

U型DenseNet 3D网络通过将原始体积I与来自U型DenseNet 2D网络的上下文信息

来提取具有3D上下文的视觉特征。具体地说，3D模型不仅基于从原始图像中探测到的特征，而且还基于来自U型DenseNet 2D网络的上下层图像特征。这样减轻在3D模型搜索最优解的负担，显著提高了模型学习效率。

U型DenseNet 3D网络的学习过程可以描述为：

其中X_3d表示来自U型DenseNet 3D网络中的“上采样层”的特征量。Z表示混合特征，其分别指来自2D和3D网络的切片内和切片间特征的总和。然后在融合层中联合学习和优化混合特征。

在步骤102中，可以根据如公式4的加权交叉熵函数对获取的U型DenseNet 混合网络进行深度学习训练：

其中，λ为权重平衡参数，第一交叉熵函数

用于训练U型DenseNet 2D网络，第二交叉熵函数

用于训练U型DenseNet 3D网络，H表示混合特征Z对应的混合特征图。

具体地，加权交叉熵函数作为损失函数：

其中

表示属于类别c(背景，肝脏或肿瘤)的概率，w表示权重，y表示真实标签，N表示样本总个数。

训练方案：首先训练ResNet，得到粗略的肝脏分割结果。U型DenseNet 2D 网络中的编码器部分的参数用DenseNet的权重(ImageNet)初始化，而解码器部分用随机初始化来训练。由于在解码器部分用随机分布初始化权重，所以首先在没有UNet连接的情况下预热网络。经过几次迭代后，添加UNet连接以联合微调模型。为了有效地训练U型DenseNet混合网络，首先在数据集上用交叉熵损失

优化2D网络。其次，将2D网络参数固定，用交叉熵损失

训练3D网络，其中，H代表混合后的特征图，其中参数都是随机初始化的。最后，整个损失函数可以写成以下形式：

其中，λ是为了平衡权重，在本发明实施例中，设置为0.5。

步骤103，通过训练好的U型DenseNet混合网络对肝脏CT图像进行分割。步骤103的处理如图2所示，具体包括如下处理：

通过训练好的U型DenseNet混合网络获取待分割的肝脏CT图像的3D输入体I(其中，3D输入体I是粗略分割结果，再拼接上原图，然后作为一个整体输入到3D模型里)，通过U型DenseNet 2D网络将3D输入体I进行切片，并获取3D输入体I的切片内特征，通过U型DenseNet 3D网络，根据U型DenseNet 2D网络输出的上下层切片内特征和3D输入体I，获取3D输入体I的切片间特征，并获取基于切片内特征和切片间特征的混合特征，对混合特征进行优化，根据优化结果输出肝脏CT图像的肝脏和肿瘤的分割图。

也就是说，通过变换过程f将每个3D输入体切片为相邻的切片，然后输入 U型DenseNet 2D网络；将3D输入体与来自U型DenseNet 2D网络的预测体连接，将3D输入体馈入U型DenseNet 3D学习切片间特征，融合和优化切片内和切片间特征以实现精确的肝脏和肿瘤分割。

在本发明实施例中，通过U型DenseNet 2D网络将3D输入体I进行切片，并获取3D输入体I的切片内特征具体包括：

根据公式7获取3D输入体I的切片内特征：

其中，X_2d＝R^{12n×224×224×64}，

n表示输入训练样本的批量大小，R 表示训练样本，X_2d是U型DenseNet 2D网络中的上采样层的特征量，

是I_2d的对应像素的概率，I_2d∈R^{12n×224×224×3，}表示U型DenseNet 2D网络的输入样本，θ_2d和θ_2dcls为网络参数，函数f表示从体数据到三个相邻切片的变换函数。

在通过U型DenseNet 2D网络将3D输入体I进行切片，并获取3D输入体 I的切片内特征之后，可以通过U型DenseNet 2D网络中设置的过渡层改变切片内特征的大小进行切片内特征的对齐，并通过过渡层中的压缩因子，对特征映射的数量进行压缩，其中，过渡层包括一个批归一化层和一个1×1卷积层。

在步骤103中，通过U型DenseNet 3D网络，根据U型DenseNet 2D网络输出的上下层切片内特征和3D输入体I，获取3D输入体I的切片间特征，并获取基于切片内特征和切片间特征的混合特征具体包括：

根据公式8对U型DenseNet 2D网络输出的上下层切片内特征进行体形状的转换:

其中，

表示体形状变换函数，X_2d′＝R^{12n×224×224×64}，

根据公式9，通过U型DenseNet 3D网络，根据3D输入体I与来自U型 DenseNet 2D网络的上下文信息

提取3D输入体的切片间特征即U型 DenseNet 3D网络上采样层的特征量X_3d，并根据X_3d和X_2d′获取混合特征Z：

其中，θ_3d表示网络参数。

综上，借助于本发明实施例的技术方案，结合了DenseNet和UNet各自的优点构建模型，综合考虑切片层内和层间信息，有效地实现了图像上的肝脏和肿瘤分割。本发明实施例可以有效地控制模型需要训练的参数，较大程度减少训练的时间，同时获得较好的训练精度。

装置实施例一

根据本发明实施例，提供了一种基于深度学习神经网络的肝脏CT图像分割装置，具体包括：

构建模块，用于构建基于密集卷积网络DenseNet和U型网络Unet的U型DenseNet二维2D网络及U型DenseNet三维3D网络；

集成模块，用于基于自动上下文auto-context方法，将U型DenseNet 3D网络集成到U型DenseNet 2D网络中，获取U型DenseNet混合网络并进行深度学习训练；集成模块具体用于：

根据如公式4的加权交叉熵函数对获取的U型DenseNet混合网络进行深度学习训练：

其中，λ为权重平衡参数，第一交叉熵函数

用于训练U型DenseNet 2D网络，第二交叉熵函数

用于训练U型DenseNet 3D网络，H表示混合特征Z对应的混合特征图。

分割模块，用于通过训练好的U型DenseNet混合网络对肝脏CT图像进行分割。分割模块具体用于：

通过训练好的U型DenseNet混合网络获取待分割的肝脏CT图像的3D输入体I，通过U型DenseNet 2D网络将3D输入体I进行切片，并获取3D输入体I的切片内特征，通过U型DenseNet 3D网络，根据U型DenseNet 2D网络输出的上下层切片内特征和3D输入体I，获取3D输入体I的切片间特征，并获取基于切片内特征和切片间特征的混合特征，对混合特征进行优化，根据优化结果输出肝脏CT图像的肝脏和肿瘤的分割图。具体地，

根据公式1获取3D输入体I的切片内特征：

其中，X_2d＝R^{12n×224×224×64}，

n表示输入训练样本的批量大小，R 表示训练样本，X_2d是U型DenseNet 2D网络中的上采样层的要素图，

是I_2d的对应像素的概率，I_2d∈R^{12n×224×224×3，}表示U型DenseNet 2D网络的输入样本，θ_2d和θ_2dcls为网络参数，函数f表示从体数据到三个相邻切片的变换函数；

通过U型DenseNet 2D网络中设置的过渡层改变切片内特征的大小进行切片内特征的对齐，并通过其中的压缩因子，对特征映射的数量进行压缩，其中，过渡层包括一个批归一化层和一个1×1卷积层；

根据公式2对U型DenseNet 2D网络输出的上下层切片内特征进行体形状的转换:

其中，

表示体形状变换函数，X_2d′＝R^{12n×224×224×64}，

根据公式3，通过U型DenseNet 3D网络，根据3D输入体I与来自U型 DenseNet 2D网络的上下文信息

提取3D输入体的切片间特征X_3d，并根据 X_3d和X_2d′获取混合特征Z：

其中，θ_3d表示网络参数；

本发明的装置实施例一是与上述方法实施例对应的虚拟装置实施例，其各个模块的处理可以参照上述方法实施例进行理解，在此不再赘述。

综上所述，借助于本发明实施例的技术方案，结合了DenseNet和UNet各自的优点构建模型，综合考虑切片层内和层间信息，有效地实现了图像上的肝脏和肿瘤分割。本发明实施例可以有效地控制模型需要训练的参数，较大程度减少训练的时间，同时获得较好的训练精度。

装置实施例二

本发明实施例提供一种基于深度学习神经网络的肝脏CT图像分割装置，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如下方法步骤：

步骤101，构建基于DenseNet和Unet的U型DenseNet 2D网络及U型 DenseNet 3D网络；

在本发明实施例中，为了很好地提取层内信息，构建一个预训练的U型 DenseNet2D网络，这个网络结合了DenseNet和UNet。其中，UNet的U型结构使得这种模型非常适合用于图象的分割，其远距离连接模型编码部分和解码部分的设计使得这种模型能很好的保存高层次的特征。DenseNet的密集连接结构改善了模型参数在训练过程中流动更新的效率，讲两者结合从而非常好地实现了层内图象的信息提取。

片内特征提取U型DenseNet 2D网络遵循DenseNet-161的结构。它由167 个卷积层、池层、密集块(Dense block)、过渡层和上采样层组成。其中，密集块表示几个微块的级联，其中所有层都直接连接。设I∈R^{n×224×224×12×1}表示具有地面真值标签Y∈R^{n×224x224×12×1}的输入训练样本，即对于224×224×12输入体积，其中n表示输入训练样本的批量大小，R表示训练样本，最后一维表示信道。 y_i，j，k＝C，因为每个像素(i，j，k)都标记有C类(表示背景，即肝脏和肿瘤)。设函数f表示从体数据到三个相邻切片的变换，其具体的变换如公式1所示，f^-1表示从三个相邻切片到体积数据的逆变换。具体地说，沿z轴的每三个相邻切片堆叠在一起，并且可以将组的数量转换为批维度。例如，I_2d＝F(I)，其中I_2d∈ R^{12n×224×224×3}表示U型DenseNet 2D网络的输入样本。由于变换，U型DenseNet 2D和3D网络可以被联合训练。

其中，X_2d＝R^{12n×224×224×64}，

n表示输入训练样本的批量大小，R 表示训练样本，X_2d是U型DenseNet 2D网络中的上采样层的特征量(要素图)，

是I_2d的对应像素的概率，I_2d∈R^{12n×224×224×3，}表示U型DenseNet 2D网络的输入样本，θ_2d和θ_2dcls为网络参数，函数f表示从体数据到三个相邻切片的变换函数。

在U型DenseNet 2D网络中，为了改变特征图的大小，采用了过渡层，该过渡层由一个批归一化层和一个1×1卷积层组成，然后是平均池化层。在过渡层中包含压缩因子，以压缩特征映射的数量，防止特征映射的扩展(在实验中设置为0.5)。上采样层通过双线性插值实现，随后是具有低级特征(即，UNET连接)和3×3卷积层的求和。在每个卷积层之前，在结构中使用批量归一化BN和激活函数RELU。

步骤102，基于auto-context方法，将U型DenseNet 3D网络集成到U型 DenseNet2D网络中，获取U型DenseNet混合网络并进行深度学习训练；

在本发明实施例中，还构建了一个混合特征提取模型即U型DenseNet混合网络。为了使得模型能够兼顾其他层切片图的信息，该混合网络能够同时提取层间信息和层内信息的特征。特别地，利用auto-context的思想，将3D的U型 DenseNet网络集成到2D的U型DenseNet网络中去。如此一来，有了2D网络的指引，3D网络的计算负担大大降低，混合网络对于特征的提取能力得到了很大的提高，对于肿瘤的分割精度也就大大提升。

因此，为了实现肝脏和肿瘤的精确分割，首先构建了一个U型DenseNet，能高效提取图像的层内特征；随后构建了一个U型DenseNet混合网络能够同时提取层内和层间的信息，又能很好地控制由于3D网络训练带来的参数过多训练负担过重的问题，从而更好地提升肝脏和肿瘤的分割精度。

在本发明实施例中，在对简单的加深网络(ResNet)架构进行训练，以获得快速但粗略的肝脏分割。利用感兴趣区域(ROI)，将粗略的肝脏分割作为U型 DenseNet混合网络的输入，U型DenseNet混合网络通过2D DenseNet和3D DenseNet高效地探测片内和片间特征，然后联合优化特征融合层中的特征，以实现精确的肝脏和病变分割。

在步骤102中，要融合U型DenseNet 2D网络和U型DenseNet 3D网络中的混合特征，应对齐特征体积大小。因此，U型DenseNet 2D网络中的特征映射和得分映射被转换为体积形状，其中，得分映射就是最终的输出的结果。特征映射是模型半途的输出结果，是中间的特征图。如下所示：

其中，

表示体形状变换函数，X_2d′＝R^{12n×224×224×64}，

U型DenseNet 3D网络通过将原始体积I与来自U型DenseNet 2D网络的上下文信息

来提取具有3D上下文的视觉特征。具体地说，3D模型不仅基于从原始图像中探测到的特征，而且还基于来自U型DenseNet 2D网络的上下层图像特征。这样减轻在3D模型搜索最优解的负担，显著提高了模型学习效率。

U型DenseNet 3D网络的学习过程可以描述为：

其中X_3d表示来自U型DenseNet 3D网络中的“上采样层”的特征量。Z表示混合特征，其分别指来自2D和3D网络的切片内和切片间特征的总和。然后在融合层中联合学习和优化混合特征。具体地，将2D的中途结果，和3D的中途结果拼接一起做为输入，因此同时含有2D和3D的特征。在学习时，就有Dd 和Dd的信息在里面，从而成为联合学习、优化混合特征。

在步骤102中，可以根据如公式4的加权交叉熵函数对获取的U型DenseNet 混合网络进行深度学习训练：

其中，λ为权重平衡参数，第一交叉熵函数

用于训练U型DenseNet 2D网络，第二交叉熵函数

用于训练U型DenseNet 3D网络，H表示混合特征Z对应的混合特征图。公式4中等号右边有两个交叉熵函数，第二交叉熵函数

是融合模型的损失函数，输入为公式3中的Z。第一交叉熵函数

一个是2D网络的损失函数，输入为公式1。第一交叉熵函数

乘了一个λ权重，压低了2D网络的损失在总损失中的分量。

具体地，加权交叉熵函数作为损失函数：

其中

表示属于类别c(背景，肝脏或肿瘤)的概率，w表示权重，y表示真实标签，N表示样本总个数。

训练方案：首先训练ResNet，得到粗略的肝脏分割结果。U型DenseNet 2D 网络中的编码器部分的参数用DenseNet的权重(ImageNet)初始化，而解码器部分用随机初始化来训练。由于在解码器部分用随机分布初始化权重，所以首先在没有UNet连接的情况下预热网络。经过几次迭代后，添加UNet连接以联合微调模型。为了有效地训练U型DenseNet混合网络，首先在数据集上用交叉熵损失

优化2D网络。其次，将2D网络参数固定，用交叉熵损失

训练3D网络，其中，H代表混合后的特征图，其中参数都是随机初始化的。最后，整个损失函数可以写成以下形式：

其中，λ是为了平衡权重，在本发明实施例中，设置为0.5。

步骤103，通过训练好的U型DenseNet混合网络对肝脏CT图像进行分割。步骤103的处理如图2所示，具体包括如下处理：

通过训练好的U型DenseNet混合网络获取待分割的肝脏CT图像的3D输入体I，通过U型DenseNet 2D网络将3D输入体I进行切片，并获取3D输入体I的切片内特征，通过U型DenseNet 3D网络，根据U型DenseNet 2D网络输出的上下层切片内特征和3D输入体I，获取3D输入体I的切片间特征，并获取基于切片内特征和切片间特征的混合特征，对混合特征进行优化，根据优化结果输出肝脏CT图像的肝脏和肿瘤的分割图。

也就是说，通过变换过程f将每个3D输入体切片为相邻的切片，然后输入 U型DenseNet 2D网络；将3D输入体与来自U型DenseNet 2D网络的预测体连接，将3D输入体馈入U型DenseNet 3D学习切片间特征，融合和优化切片内和切片间特征以实现精确的肝脏和肿瘤分割。

在本发明实施例中，通过U型DenseNet 2D网络将3D输入体I进行切片，并获取3D输入体I的切片内特征具体包括：

根据公式7获取3D输入体I的切片内特征：

其中，X_2d＝R^{12n×224×224×64}，

n表示输入训练样本的批量大小，R 表示训练样本，X_2d是U型DenseNet 2D网络中的上采样层的特征量，

是I_2d的对应像素的概率，I_2d∈R^{12n×224×224×3，}表示U型DenseNet 2D网络的输入样本，θ_2d和θ_2dcls为网络参数，函数f表示从体数据到三个相邻切片的变换函数。

在通过U型DenseNet 2D网络将3D输入体I进行切片，并获取3D输入体 I的切片内特征之后，可以通过U型DenseNet 2D网络中设置的过渡层改变切片内特征的大小进行切片内特征的对齐，并通过过渡层中的压缩因子，对特征映射的数量进行压缩，其中，过渡层包括一个批归一化层和一个1×1卷积层。

在步骤103中，通过U型DenseNet 3D网络，根据U型DenseNet 2D网络输出的上下层切片内特征和3D输入体I，获取3D输入体I的切片间特征，并获取基于切片内特征和切片间特征的混合特征具体包括：

根据公式8对U型DenseNet 2D网络输出的上下层切片内特征进行体形状的转换:

其中，

表示体形状变换函数，X_2d′＝R^{12n×224×224×64}，

根据公式9，通过U型DenseNet 3D网络，根据3D输入体I与来自U型 DenseNet 2D网络的上下文信息

提取3D输入体的切片间特征即U型 DenseNet 3D网络上采样层的特征量X_3d，并根据X_3d和X_2d′获取混合特征Z：

其中，θ_3d表示网络参数。

装置实施例三

本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有信息传输的实现程序，所述程序被处理器42执行时实现如下方法步骤：

步骤101，构建基于DenseNet和Unet的U型DenseNet2D网络及U型 DenseNet3D网络；

在本发明实施例中，为了很好地提取层内信息，构建一个预训练的U型 DenseNet2D网络，这个网络结合了DenseNet和UNet。其中，UNet的U型结构使得这种模型非常适合用于图象的分割，其远距离连接模型编码部分和解码部分的设计使得这种模型能很好的保存高层次的特征。DenseNet的密集连接结构改善了模型参数在训练过程中流动更新的效率，讲两者结合从而非常好地实现了层内图象的信息提取。

片内特征提取U型DenseNet 2D网络遵循DenseNet-161的结构。它由167 个卷积层、池层、密集块(Dense block)、过渡层和上采样层组成。其中，密集块表示几个微块的级联，其中所有层都直接连接。设I∈R^{n×224×224×12×1}表示具有地面真值标签Y∈R^{n×224x224×12×1}的输入训练样本，即对于224×224×12输入体积，其中n表示输入训练样本的批量大小，R表示训练样本，最后一维表示信道。 y _i，j，k＝C，因为每个像素(i，j，k)都标记有C类(表示背景，即肝脏和肿瘤)。设函数f表示从体数据到三个相邻切片的变换，其具体的变换如公式1所示，f^-1表示从三个相邻切片到体积数据的逆变换。具体地说，沿z轴的每三个相邻切片堆叠在一起，并且可以将组的数量转换为批维度。例如，I_2d＝F(I)，其中I_2d∈ R^{12n×224×224×3}表示U型DenseNet 2D网络的输入样本。由于变换，U型DenseNet 2D和3D网络可以被联合训练。

其中，X_2d＝R^{12n×224×224×64}，

n表示输入训练样本的批量大小，R 表示训练样本，X_2d是U型DenseNet 2D网络中的上采样层的特征量(要素图)，

是I_2d的对应像素的概率，I_2d∈R^{12n×224×224×3，}表示U型DenseNet 2D网络的输入样本，θ_2d和θ_2dcls为网络参数，函数f表示从体数据到三个相邻切片的变换函数。

在U型DenseNet 2D网络中，为了改变特征图的大小，采用了过渡层，该过渡层由一个批归一化层和一个1×1卷积层组成，然后是平均池化层。在过渡层中包含压缩因子，以压缩特征映射的数量，防止特征映射的扩展(在实验中设置为0.5)。上采样层通过双线性插值实现，随后是具有低级特征(即，UNET连接)和3×3卷积层的求和。在每个卷积层之前，在结构中使用批量归一化BN和激活函数RELU。

步骤102，基于自动上下文(auto-context)方法，将U型DenseNet 3D网络集成到U型DenseNet 2D网络中，获取U型DenseNet混合网络并进行深度学习训练；

在本发明实施例中，还构建了一个混合特征提取模型即U型DenseNet混合网络。为了使得模型能够兼顾其他层切片图的信息，该混合网络能够同时提取层间信息和层内信息的特征。特别地，利用auto-context的思想，将3D的U型 DenseNet网络集成到2D的U型DenseNet网络中去。如此一来，有了2D网络的指引，3D网络的计算负担大大降低，混合网络对于特征的提取能力得到了很大的提高，对于肿瘤的分割精度也就大大提升。

因此，为了实现肝脏和肿瘤的精确分割，首先构建了一个U型DenseNet，能高效提取图像的层内特征；随后构建了一个U型DenseNet混合网络能够同时提取层内和层间的信息，又能很好地控制由于3D网络训练带来的参数过多训练负担过重的问题，从而更好地提升肝脏和肿瘤的分割精度。

在本发明实施例中，在对简单的加深网络(ResNet)架构进行训练，以获得快速但粗略的肝脏分割。利用感兴趣区域(ROI)，将粗略的肝脏分割作为U型 DenseNet混合网络的输入，U型DenseNet混合网络通过2D DenseNet和3D DenseNet高效地探测片内和片间特征，然后联合优化特征融合层中的特征，以实现精确的肝脏和病变分割。

在步骤102中，要融合U型DenseNet 2D网络和U型DenseNet 3D网络中的混合特征，应对齐特征体积大小。因此，U型DenseNet 2D网络中的特征映射和得分映射被转换为体积形状，如下所示：

其中，

表示体形状变换函数，X_2d′＝R^{12n×224×224×64}，

U型DenseNet 3D网络通过将原始体积I与来自U型DenseNet 2D网络的上下文信息

来提取具有3D上下文的视觉特征。具体地说，3D模型不仅基于从原始图像中探测到的特征，而且还基于来自U型DenseNet 2D网络的上下层图像特征。这样减轻在3D模型搜索最优解的负担，显著提高了模型学习效率。

U型DenseNet 3D网络的学习过程可以描述为：

其中X_3d表示来自U型DenseNet 3D网络中的“上采样层”的特征量。Z表示混合特征，其分别指来自2D和3D网络的切片内和切片间特征的总和。然后在融合层中联合学习和优化混合特征。

在步骤102中，可以根据如公式4的加权交叉熵函数对获取的U型DenseNet 混合网络进行深度学习训练：

其中，λ为权重平衡参数，第一交叉熵函数

用于训练U型DenseNet 2D网络，第二交叉熵函数

用于训练U型DenseNet 3D网络，H表示混合特征Z对应的混合特征图。

具体地，加权交叉熵函数作为损失函数：

其中

表示属于类别c(背景，肝脏或肿瘤)的概率，w表示权重，y表示真实标签，N表示样本总个数。

训练方案：首先训练ResNet，得到粗略的肝脏分割结果。U型DenseNet 2D 网络中的编码器部分的参数用DenseNet的权重(ImageNet)初始化，而解码器部分用随机初始化来训练。由于在解码器部分用随机分布初始化权重，所以首先在没有UNet连接的情况下预热网络。经过几次迭代后，添加UNet连接以联合微调模型。为了有效地训练U型DenseNet混合网络，首先在数据集上用交叉熵损失

优化2D网络。其次，将2D网络参数固定，用交叉熵损失

训练3D网络，其中，H代表混合后的特征图，其中参数都是随机初始化的。最后，整个损失函数可以写成以下形式：

其中，λ是为了平衡权重，在本发明实施例中，设置为0.5。

步骤103，通过训练好的U型DenseNet混合网络对肝脏CT图像进行分割。步骤103的处理如图2所示，具体包括如下处理：

通过训练好的U型DenseNet混合网络获取待分割的肝脏CT图像的3D输入体I，通过U型DenseNet 2D网络将3D输入体I进行切片，并获取3D输入体I的切片内特征，通过U型DenseNet 3D网络，根据U型DenseNet 2D网络输出的上下层切片内特征和3D输入体I，获取3D输入体I的切片间特征，并获取基于切片内特征和切片间特征的混合特征，对混合特征进行优化，根据优化结果输出肝脏CT图像的肝脏和肿瘤的分割图。

也就是说，通过变换过程f将每个3D输入体切片为相邻的切片，然后输入 U型DenseNet 2D网络；将3D输入体与来自U型DenseNet 2D网络的预测体连接，将3D输入体馈入U型DenseNet 3D学习切片间特征，融合和优化切片内和切片间特征以实现精确的肝脏和肿瘤分割。

在本发明实施例中，通过U型DenseNet 2D网络将3D输入体I进行切片，并获取3D输入体I的切片内特征具体包括：

根据公式7获取3D输入体I的切片内特征：

其中，X_2d＝R^{12n×224×224×64}，

n表示输入训练样本的批量大小，R 表示训练样本，X_2d是U型DenseNet 2D网络中的上采样层的特征量，

是I_2d的对应像素的概率，I_2d∈R^{12n×224×224×3，}表示U型DenseNet 2D网络的输入样本，θ_2d和θ_2dcls为网络参数，函数f表示从体数据到三个相邻切片的变换函数。

在通过U型DenseNet 2D网络将3D输入体I进行切片，并获取3D输入体 I的切片内特征之后，可以通过U型DenseNet 2D网络中设置的过渡层改变切片内特征的大小进行切片内特征的对齐，并通过过渡层中的压缩因子，对特征映射的数量进行压缩，其中，过渡层包括一个批归一化层和一个1×1卷积层。

在步骤103中，通过U型DenseNet 3D网络，根据U型DenseNet 2D网络输出的上下层切片内特征和3D输入体I，获取3D输入体I的切片间特征，并获取基于切片内特征和切片间特征的混合特征具体包括：

根据公式8对U型DenseNet 2D网络输出的上下层切片内特征进行体形状的转换:

其中，

表示体形状变换函数，X_2d′＝R^{12n×224×224×64}，

根据公式9，通过U型DenseNet 3D网络，根据3D输入体I与来自U型 DenseNet 2D网络的上下文信息

提取3D输入体的切片间特征即U型 DenseNet 3D网络上采样层的特征量X_3d，并根据X_3d和X_2d′获取混合特征Z：

其中，θ_3d表示网络参数。

综上，借助于本发明实施例的技术方案，结合了DenseNet和UNet各自的优点构建模型，综合考虑切片层内和层间信息，有效地实现了图像上的肝脏和肿瘤分割。本发明实施例可以有效地控制模型需要训练的参数，较大程度减少训练的时间，同时获得较好的训练精度。

本实施例所述计算机可读存储介质包括但不限于为：ROM、RAM、磁盘或光盘等。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种基于深度学习神经网络的肝脏电子计算机断层扫描CT图像分割方法，其特征在于，包括：

构建基于密集卷积网络DenseNet和U型网络Unet的U型DenseNet二维2D网络及U型DenseNet三维3D网络；

基于自动上下文auto-context方法，将U型DenseNet 3D网络集成到U型DenseNet 2D网络中，获取U型DenseNet混合网络并进行深度学习训练；

通过训练好的所述U型DenseNet混合网络对肝脏CT图像进行分割。

2.如权利要求1所述的方法，其特征在于，通过训练好的所述U型DenseNet混合网络对肝脏CT图像进行分割具体包括：

通过训练好的所述U型DenseNet混合网络获取待分割的肝脏CT图像的3D输入体I，通过U型DenseNet 2D网络将所述3D输入体I进行切片，并获取所述3D输入体I的切片内特征，通过所述U型DenseNet 3D网络，根据所述U型DenseNet 2D网络输出的上下层切片内特征和所述3D输入体I，获取所述3D输入体I的切片间特征，并获取基于所述切片内特征和所述切片间特征的混合特征，对所述混合特征进行优化，根据优化结果输出肝脏CT图像的肝脏和肿瘤的分割图。

3.如权利要求2所述的方法，其特征在于，通过U型DenseNet 2D网络将所述3D输入体I进行切片，并获取所述3D输入体I的切片内特征具体包括：

根据公式1获取所述3D输入体I的切片内特征：

其中，X_2d＝R^{12n×224×224×64}，

n表示输入训练样本的批量大小，R表示训练样本，X_2d是U型DenseNet 2D网络中的上采样层的特征量，

是I_2d的对应像素的概率，I_2d∈R^{12n×224×224×3，}表示U型DenseNet 2D网络的输入样本，θ_2d和θ_2dcls为网络参数，函数f表示从体数据到三个相邻切片的变换函数。

4.如权利要求2或3所述的方法，其特征在于，通过U型DenseNet 2D网络将所述3D输入体I进行切片，并获取所述3D输入体I的切片内特征之后，所述方法进一步包括:

通过U型DenseNet 2D网络中设置的过渡层改变切片内特征的大小进行切片内特征的对齐，并通过过渡层中的压缩因子，对特征映射的数量进行压缩，其中，所述过渡层包括一个批归一化层、一个1×1卷积层以及一个池化层。

5.如权利要求3所述的方法，其特征在于，通过所述U型DenseNet 3D网络，根据所述U型DenseNet 2D网络输出的上下层切片内特征和所述3D输入体I，获取所述3D输入体I的切片间特征，并获取基于所述切片内特征和所述切片间特征的混合特征具体包括：

根据公式2对U型DenseNet 2D网络输出的上下层切片内特征进行体形状的转换:

其中，

表示体形状变换函数，X_2d′＝R^{12n×224×224×64}，

根据公式3，通过所述U型DenseNet 3D网络，根据3D输入体I与来自U型DenseNet 2D网络的上下文信息

提取3D输入体的切片间特征即U型DenseNet 3D网络上采样层的特征量X_3d，并根据X_3d和X_2d′获取混合特征Z：

其中，θ_3d表示网络参数。

6.如权利要求2所述的方法，其特征在于，对获取的U型DenseNet混合网络进行深度学习训练具体包括：

根据如公式4的加权交叉熵函数对获取的U型DenseNet混合网络进行深度学习训练：

其中，λ为权重平衡参数，第一交叉熵函数

用于训练U型DenseNet2D网络，第二交叉熵函数

用于训练U型DenseNet 3D网络，H表示混合特征Z对应的混合特征图。

7.一种基于深度学习神经网络的肝脏电子计算机断层扫描CT图像分割装置，其特征在于，包括：

构建模块，用于构建基于密集卷积网络DenseNet和U型网络Unet的U型DenseNet二维2D网络及U型DenseNet三维3D网络；

集成模块，用于基于自动上下文auto-context方法，将U型DenseNet 3D网络集成到U型DenseNet 2D网络中，获取U型DenseNet混合网络并进行深度学习训练；

分割模块，用于通过训练好的所述U型DenseNet混合网络对肝脏CT图像进行分割。

8.如权利要求7所述的装置，其特征在于，所述分割模块具体用于：

通过训练好的所述U型DenseNet混合网络获取待分割的肝脏CT图像的3D输入体I，通过U型DenseNet 2D网络将所述3D输入体I进行切片，并获取所述3D输入体I的切片内特征，通过所述U型DenseNet 3D网络，根据所述U型DenseNet 2D网络输出的上下层切片内特征和所述3D输入体I，获取所述3D输入体I的切片间特征，并获取基于所述切片内特征和所述切片间特征的混合特征，对所述混合特征进行优化，根据优化结果输出肝脏CT图像的肝脏和肿瘤的分割图。

9.如权利要求8所述的装置，其特征在于，

所述分割模块具体用于：

根据公式1获取所述3D输入体I的切片内特征：

其中，X_2d＝R^{12n×224×224×64}，

n表示输入训练样本的批量大小，R表示训练样本，X_2d是U型DenseNet 2D网络中的上采样层的要素图，

是I_2d的对应像素的概率，I_2d∈R^{12n×224×224×3，}表示U型DenseNet 2D网络的输入样本，θ_2d和θ_2dcls为网络参数，函数f表示从体数据到三个相邻切片的变换函数；

通过U型DenseNet 2D网络中设置的过渡层改变切片内特征的大小进行切片内特征的对齐，并通过其中的压缩因子，对特征映射的数量进行压缩，其中，所述过渡层包括一个批归一化层、一个1×1卷积层以及一个池化层；

根据公式2对U型DenseNet 2D网络输出的上下层切片内特征进行体形状的转换:

其中，

表示体形状变换函数，X_2d′＝R^{12n×224×224×64}，

根据公式3，通过所述U型DenseNet 3D网络，根据3D输入体I与来自U型DenseNet 2D网络的上下文信息

提取3D输入体的切片间特征X_3d，并根据X_3d和X_2d′获取混合特征Z：

其中，θ_3d表示网络参数；

所述集成模块具体用于：

根据如公式4的加权交叉熵函数对获取的U型DenseNet混合网络进行深度学习训练：

其中，λ为权重平衡参数，第一交叉熵函数

用于训练U型DenseNet2D网络，第二交叉熵函数

用于训练U型DenseNet 3D网络，H表示混合特征Z对应的混合特征图。

10.一种基于深度学习神经网络的肝脏电子计算机断层扫描CT图像分割装置，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至6中任一项所述的基于深度学习神经网络的肝脏CT图像分割方法的步骤。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现如权利要求1至6中任一项所述的基于深度学习神经网络的肝脏CT图像分割方法的步骤。

Images