CN110415230B - 一种基于深度学习的ct切片图像语义分割系统及方法 - Google Patents

Abstract

本发明提供一种基于深度学习的CT切片图像语义分割系统及方法，涉及图像处理技术领域。本发明具体步骤为：获取CT数据集和标签CT数据集；对数据进行阈值和切片处理；将原始CT切片数据集内的数据划分为原始CT切片训练集和原始CT切片测试集；根据原始CT切片训练集和肝脏标签切片训练集建立肝脏区域分割模型；根据原始CT切片训练集和病变标签切片训练集建立病变区域分割模型；根据原始CT切片测试集中的数据对肝脏区域分割模型和病变区域分割模型进行测试；本方法结合计算机视觉领域的深度学习技术，通过这个系统可以在临床上自动、准确而又快速地切割出CT切片的肝脏区域和肝脏的病变区域，提高放射科医生的工作效率。

Description

一种基于深度学习的CT切片图像语义分割系统及方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于深度学习的CT切片图像语义分割系统及方法。

背景技术

肝癌是最为常见的癌症疾病之一，每一年，世界上都有大多数人因患有这种癌症而死亡。现代的医学领域，都是需要通过对病人肝脏CT图像的准确测量，包括肿瘤的体积、形状还有位置以及肝脏的体积等等这些指标，来协助医生制定对病人肝脏癌细胞病变情况的评估和治疗计划。为了完成以上任务，传统上都是放射科的医生，在病人肝脏CT图像上，逐个切片地描绘出肝脏区域和肝脏的病变区域。这种做法是非常耗时和低效率的，因此，临床上非常需要针对CT切片里面肝脏区域以及其病变区域的自动分割方法。

为了应对这个挑战，很多传统的分割算法被提出来了，譬如强度阈值、区域增长等等。但是这些传统的方法，基本上都需要人工手动操作的环节，而且，这些算法的能力也有很大的局限性。所以，通过计算机视觉领域的深度学习技术，来对病人肝脏的CT图像进行处理，自动、准确并且快速地分割出肝脏以及病变区域，会是一个更好的选择。

发明内容

本发明要解决的技术问题是针对上述现有技术的不足，提供一种基于深度学习的CT切片图像语义分割系统及方法，本系统结合计算机视觉领域的深度学习技术，通过这个系统可以在临床上自动、准确而又快速地切割出CT切片的肝脏区域和肝脏的病变区域，提高放射科医生的工作效率。

为解决上述技术问题，本发明所采取的技术方案是：

一方面，本发明提供一种基于深度学习的CT切片图像语义分割系统，包括数据采集模块、数据预处理模块、建立初始模型单元、肝脏区域分割单元、病变区域分割单元；

所述数据采集模块用于采集多组腹腔CT数据以及与腹腔CT数据相对应的带有标签的腹腔CT数据，形成原始CT数据集和标签CT数据集，数据采集模块的输出端与数据预处理模块的输入端相连接；

所述数据预处理模块用于对原始CT数据集内的数据进行阈值和切片处理，对标签CT数据集内的数据进行切片处理，得到原始CT切片数据集和标签CT切片数据集；数据预处理模块的输出端分别与肝脏区域分割单元和病变区域分割单元的输入端相连接；

所述建立初始模型单元用于通过DenseNet将输入的图片进行下采样得到224x224、112x112、56x56、28x28、14x14和7x7的逐层空间尺度划分，并提取各个尺度上的所有特征，空间尺度划分层级由7x7尺度按照14x14、28x28、56x56、112x112尺度进行上采样，对提取的每个尺度上的所有特征不断进行重组融合，上采样得到14x14，并提取该尺度上的任务特征，并将上采样得到的14x14尺度与下采样得到的14x14尺度通过拼接和卷积操作进行特征融合得到14x14尺度的融合特征图像，卷积操作采用DenseNet自身结构里面的bottleneck卷积操作，依次进行其他尺度的特征融合，得到28x28尺度的融合特征图像、56x56尺度的融合特征图像、112x112尺度的融合特征图像，对112x112尺度的融合特征进行一次上采样得到224x224尺度的图像，形成初始深度学习模型，所述建立初始模型单元的输出端分别与肝脏区域分割单元的输入端和病变区域分割单元的输入端相连接；

所述肝脏区域分割单元用于根据数据预处理模块输出的数据对建立初始模型单元输出的初始深度学习模型进行训练，在肝脏标签切片训练集中选择出与初始深度学习模型输入的原始CT切片相对应的肝脏标签CT切片，并将肝脏标签CT切片与初始深度学习模型输出的图像根据评价指标β_j进行评价，并设计损失函数L_j＝1-β_j，根据损失函数执行后向传播算法对初始权重矩阵进行调整；得到肝脏区域分割模型和最优权重矩阵，所述肝脏区域分割单元的输出端与病变区域分割单元的输入端相连接；

所述病变区域分割单元用于根据数据预处理模块输出的数据和肝脏区域分割单元输出的最优权重矩阵对建立初始模型单元输出的初始深度学习模型进行训练，在病变标签切片训练集中选择出与初始深度学习模型输入的原始CT切片相对应的病变标签CT切片，并将病变标签CT切片与初始深度学习模型输出的图像根据评价指标β′_j进行评价，并设计损失函数L′_j＝1-β′_j，根据损失函数执行后向传播算法对初始权重矩阵进行调整；得到肝脏区域分割模型和最优权重矩阵；

另一方面，本发明提供一种基于深度学习的CT切片图像语义分割方法，通过所述的一种基于深度学习的CT切片图像语义分割系统实现，包括以下步骤：

步骤1：获取训练深度学习模型所需要的原始CT数据集和标签CT数据集；

采集多组腹腔CT数据以及与腹腔CT数据相对应的带有标签的腹腔CT数据，形成原始CT数据集和标签CT数据集，所述腹腔CT数据包括患有肝癌病人的CT数据和未患有肝癌病人的CT数据，所述标签CT数据集包括肝脏标签数据集和病变标签数据集，所述肝脏标签数据集包括原始CT数据集所对应的标注有肝脏区域和非肝脏区域的腹腔CT数据；所述病变标签数据集包括原始CT数据集所对应的标注有病变区域和非病变区域的腹腔CT数据；

步骤2：对原始CT数据集内的数据进行阈值和切片处理，用传统的阈值处理去掉噪音区域；将去掉噪音区域的腹腔CT数据沿着通道方向进行切片处理，每个CT数据进行切片处理后会得到与其通道数相对应的病理切片；对标签CT数据集内的所有数据沿着通道方向进行切片处理，每个CT数据处理后都会得到与其通道数相对应的病理切片；得到原始CT切片数据集和标签CT切片数据集；所述标签CT切片数据集包括肝脏标签切片数据集和病变标签切片数据集；

步骤3：将原始CT切片数据集内的数据随机按照8:2的比例划分为原始CT切片训练集和原始CT切片测试集；将肝脏标签切片数据集和病变标签切片数据集内与原始CT切片训练集相对应的数据分别设置为肝脏标签切片训练集和病变标签切片训练集，将肝脏标签切片数据集和病变标签切片数据集内与原始CT切片测试集数据相对应的数据分别设置为肝脏标签切片测试集和病变标签切片测试集；

步骤4：根据原始CT切片训练集和肝脏标签切片训练集建立肝脏区域分割模型；

步骤4.1：设定待建立的肝脏区域分割模型输入及输出的CT切片图像高为224像素、宽为224像素、颜色通道数量为1，将原始CT切片训练集中的原始CT切片作为肝脏区域分割模型的输入，肝脏区域分割模型的输出为标记好肝脏区域的CT切片；

步骤4.2：基于语义分割的U型网络结构的初始深度学习模型建立肝脏区域分割模型；设置肝脏区域分割模型的初始权重矩阵；U型网络结构的DenseNet部分将原始CT切片作为输入图像按照112x112、56x56、28x28、14x14和7x7进行逐层空间尺度划分，并提取上述各个尺度上的所有特征；

步骤4.3：由7x7尺度按照14x14、28x28、56x56、112x112尺度进行上采样，从上采样开始，这个时候的任务就变成了对提取的每个尺度上的所有特征根据拼接和卷积操作不断进行特征重组融合，融合属于肝脏区域的特征以及融合属于非肝脏区域的特征，上采样到14x14尺度，并对提取的所有特征进行分类，分为肝脏区域和非肝脏区域，将14x14尺度与步骤4.2中的14x14尺度的特征通过拼接和卷积操作进行特征融合，得到14x14尺度的融合特征；将14x14尺度的融合特征进行上采样得到28x28尺度，并对提取的所有特征进行分类，将28x28尺度与步骤4.2中的28x28尺度的特征通过拼接和卷积操作进行特征融合，得到28x28尺度的融合特征，根据上述步骤，依次进行上采样，并得到56x56尺度的融合特征、112x112尺度的融合特征，对112x112尺度的融合特征进行一次上采样得到224x224尺度的图像；所述的卷积操作采用DenseNet自身结构里面的bottleneck卷积操作；

步骤4.4：在肝脏标签切片训练集中选择出与输入的原始CT切片相对应的肝脏标签CT切片，并将肝脏标签CT切片与步骤4.3中输出的224x224尺度的图像进行评价指标β_j的计算；

其中，f(x⁽ⁱ⁾；θ⁽ⁱ⁾)代表肝脏区域分割模型输出图像矩阵里面的肝脏区域面积，θ⁽ⁱ⁾代表肝脏区域分割模型输出图像的第i层的权重矩阵，x⁽ⁱ⁾代表肝脏区域分割模型输出图像的第i层的的输入矩阵，G(y^j)代表肝脏标签CT切片图像矩阵的肝脏区域面积，y^j代表第j个肝脏标签CT切片的图像矩阵；j∈m，m为训练样本的数量，C代表f(x⁽ⁱ⁾；θ⁽ⁱ⁾)和G(y^j)的肝脏区域重叠面积；

根据得到的评价指标β_j，设计损失函数L_j＝1-β_j，对损失函数执行后向传播算法对初始权重矩阵进行调整；后向传播算法依据链式规则计算出每一个卷积层的权重矩阵的梯度矩阵，依据每一层的梯度矩阵调整该层的权重矩阵；权重矩阵调整公式如下：

θ⁽ⁱ⁾＝θ⁽ⁱ⁾-τg_i

其中τ代表学习率，控制权重矩阵更新的幅度，g_i代表肝脏区域分割模型输出图像的第i层权重矩阵的jacobian梯度矩阵；

步骤4.5：在原始CT切片训练集中随机选取CT切片，重复步骤4.1-步骤4.5，若连续5次出现损失函数L_G的变化值停止减小，则停止训练模型，输出建立好的肝脏区域分割模型和其最优的权重矩阵；

步骤5：根据原始CT切片训练集和病变标签切片训练集建立病变区域分割模型；

步骤6：根据原始CT切片测试集中的数据对肝脏区域分割模型和病变区域分割模型进行测试；

将原始CT切片测试集中的原始CT切片图像输入到肝脏区域分割模型中，肝脏区域分割模型输出标记好肝脏区域的二值图像，所述二值图像中像素值为0的黑色区域为模型预测的非肝脏区域，像素值为1的白色区域为模型预测的肝脏区域；

将原始CT切片测试集中的原始CT切片图像输入到病变区域分割模型中，病变区域分割模型输出标记好病变区域的二值图像，所述二值图像中像素值为0的黑色区域为模型预测的非病变区域，像素值为1的白色区域为模型预测的病变区域；

所述步骤5的具体步骤如下：

步骤5.1：设定待建立的病变区域分割模型输入及输出的CT切片图像高为224像素、宽为224像素、颜色通道数量为1，将原始CT切片训练集中的原始CT切片作为病变区域分割模型的输入，病变区域分割模型的输出为标记好病变区域的CT切片；

步骤5.2：基于语义分割的U型网络结构的初始深度学习模型建立病变区域分割模型；设置病变区域分割模型的初始权重矩阵，所述初始权重矩阵为肝脏区域分割模型的最优权重矩阵；U型网络结构的DenseNet部分将原始CT切片作为输入图像按照112x112、56x56、28x28、14x14和7x7进行逐层空间尺度划分，并提取上述各个尺度上的所有特征；

步骤5.3：由7x7尺度按照14x14、28x28、56x56、112x112尺度进行上采样，从上采样开始，这个时候的任务就变成了对提取的每个尺度上的所有特征根据拼接和卷积操作不断进行特征重组融合，融合属于病变区域的特征以及融合属于非病变区域的特征，上采样到14x14尺度，并对提取的所有特征进行分类，分为病变区域和非病变区域，将14x14尺度与步骤5.2中的14x14尺度的特征通过拼接和卷积操作进行特征融合，得到14x14尺度的融合特征；将14x14尺度的融合特征进行上采样得到28x28尺度，并对提取的所有特征进行分类，将28x28尺度与步骤5.2中的28x28尺度的特征通过拼接和卷积操作进行特征融合，得到28x28尺度的融合特征，根据上述步骤，依次进行上采样，并得到56x56尺度的融合特征、112x112尺度的融合特征，对112x112尺度的融合特征进行一次上采样得到224x224尺度的图像；

步骤5.4：在病变标签切片训练集中选择出与输入的原始CT切片相对应的病变标签CT切片，并将病变标签CT切片与步骤5.3中输出的224x224尺度的图像进行评价指标β_j′的计算；

其中，f′(x′⁽ⁱ⁾；θ′⁽ⁱ⁾)代表病变区域分割模型输出图像矩阵里面的病变区域面积，θ′⁽ⁱ⁾代表病变区域分割模型输出图像的第i层的权重矩阵，x′⁽ⁱ⁾代表病变区域分割模型输出图像的第i层的的输入矩阵，G′(y′^j)代表病变标签CT切片图像矩阵的病变区域面积，y′^j代表第j个病变标签CT切片的图像矩阵；j∈m，m为训练样本的数量，C′代表f′(x′⁽ⁱ⁾；θ′⁽ⁱ⁾)和G′(y′^j)的病变区域重叠面积，

根据得到的评价指标β′_j，设计损失函数L′_j＝1-β′_j，根据损失函数执行后向传播算法对初始权重矩阵进行调整；后向传播算法依据链式规则计算出每一个卷积层的权重矩阵的梯度矩阵，依据每一层的梯度矩阵调整该层的权重矩阵；权重矩阵调整公式如下：

θ′⁽ⁱ⁾＝θ′⁽ⁱ⁾-τg′_i

其中τ代表学习率，控制权重矩阵更新的幅度，g′_i代表病变区域分割模型输出图像的第i层权重矩阵的jacobian梯度矩阵；

步骤5.5：在原始CT切片训练集中随机选取CT切片，重复步骤5.1-步骤5.5，若连续5次出现损失函数L′_j的变化值停止减小，则停止训练模型，输出建立好的病变区域分割模型和其最优的权重矩阵；

采用上述技术方案所产生的有益效果在于：本发明提供的一种基于深度学习的CT切片图像语义分割系统及方法，本方法结合计算机视觉领域的深度学习技术，来实现的肝脏病理切片图像的语义分割算法，完成针对病人肝脏区域的语义分割任务以及肝癌区域的语义分割任务，都是全自动的，不需要手动设置任何参数，把输入图像输入到对应任务的模型里面就可以得到相应的结果。而且深度学习技术是数据驱动的，不像传统算法那样有很大的局限性，可以很在一些困难样本上面很好地完成相关任务。模型训练好之后，投入到使用中，测试的速度是也非常快；

附图说明

图1为本发明实施例提供的系统结构图；

图2为本发明实施例提供的完成肝脏病理切片图像语义分割任务的操作流程图；

图3为本发明实施例提供的模型结构图；

图4为本发明实施例提供的完成肝脏区域语义分割任务实例，其中，a代表原始腹腔CT切片，b代表对应标示了肝脏区域和病变区域的原始标签，c代表处理肝脏和非肝脏任务的标签。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

本实施例的方法如下所述。

一方面，本发明提供一种基于深度学习的CT切片图像语义分割系统，如图1所示，包括数据采集模块、数据预处理模块、建立初始模型单元、肝脏区域分割单元、病变区域分割单元；

所述数据采集模块用于采集多组腹腔CT数据以及与腹腔CT数据相对应的带有标签的腹腔CT数据，形成原始CT数据集和标签CT数据集，数据采集模块的输出端与数据预处理模块的输入端相连接；

所述数据预处理模块用于对原始CT数据集内的数据进行阈值和切片处理，对标签CT数据集内的数据进行切片处理，得到原始CT切片数据集和标签CT切片数据集；这是为后续的模块做准备。原始CT数据包含着大量的噪音，所以首先是用传统的阈值处理，尽可能地去掉无关的噪音区域；然后下一步就是把原始CT数据沿着通道方向处理成一张张的病理切片；至于标注好了的腹腔CT数据这里，暂时只需要沿着通道方向处理成切片；数据预处理模块的输出端分别与肝脏区域分割单元和病变区域分割单元的输入端相连接；

所述建立初始模型单元用于通过DenseNet将输入的图片进行下采样得到224x224、112x112、56x56、28x28、14x14和7x7的逐层空间尺度划分，并提取各个尺度上的所有特征，此处的处理对象是上述腹腔CT数据的切片，不是标注好的腹腔CT数据的切片。上述得到的腹腔CT数据的切片，大小是224x224x1(宽x高x通道)，通过DenseNet的DenseBlock模块以及Transition模块，输入的空间尺度(也就是只考虑宽x高)会从224x224逐渐地走到112x112、56x56、28x28、14x14、以及7x7。DenseBlock模块用于提取各个尺度上的丰富特征，而Transition模块则是完成对尺寸的减小。空间尺度划分层级由7x7尺度按照14x14、28x28、56x56、112x112尺度进行上采样，对提取的每个尺度上的所有特征不断进行重组融合，上采样得到14x14，并提取该尺度上的任务特征，并将上采样得到的14x14尺度与下采样得到的14x14尺度通过拼接和卷积操作进行特征融合得到14x14尺度的融合特征图像，卷积操作采用DenseNet自身结构里面的bottleneck卷积操作，依次进行其他尺度的特征融合，得到28x28尺度的融合特征图像、56x56尺度的融合特征图像、112x112尺度的融合特征图像，对112x112尺度的融合特征进行一次上采样得到224x224尺度的图像，形成初始深度学习模型，所述建立初始模型单元的输出端分别与肝脏区域分割单元的输入端和病变区域分割单元的输入端相连接，如图3所示；

所述肝脏区域分割单元用于根据数据预处理模块输出的数据对建立初始模型单元输出的初始深度学习模型进行训练，在肝脏标签切片训练集中选择出与初始深度学习模型输入的原始CT切片相对应的肝脏标签CT切片，并将肝脏标签CT切片与初始深度学习模型输出的图像根据评价指标β_j进行评价，并设计损失函数L_j＝1-β_j，根据损失函数执行后向传播算法对初始权重矩阵进行调整；得到肝脏区域分割模型和最优权重矩阵，所述肝脏区域分割单元的输出端与病变区域分割单元的输入端相连接；

所述病变区域分割单元用于根据数据预处理模块输出的数据和肝脏区域分割单元输出的最优权重矩阵对建立初始模型单元输出的初始深度学习模型进行训练，在病变标签切片训练集中选择出与初始深度学习模型输入的原始CT切片相对应的病变标签CT切片，并将病变标签CT切片与初始深度学习模型输出的图像根据评价指标β′_j进行评价，并设计损失函数L′_j＝1-β′_j，根据损失函数执行后向传播算法对初始权重矩阵进行调整；得到肝脏区域分割模型和最优权重矩阵；

另一方面，本发明提供一种基于深度学习的CT切片图像语义分割方法，通过所述的一种基于深度学习的CT切片图像语义分割系统实现，如图2所示，包括以下步骤：

步骤1：获取训练深度学习模型所需要的原始CT数据集和标签CT数据集；

采集多组腹腔CT数据以及与腹腔CT数据相对应的带有标签的腹腔CT数据，形成原始CT数据集和标签CT数据集，所述腹腔CT数据包括患有肝癌病人的CT数据和未患有肝癌病人的CT数据，所述标签CT数据集包括肝脏标签数据集和病变标签数据集，所述肝脏标签数据集包括原始CT数据集所对应的标注有肝脏区域和非肝脏区域的腹腔CT数据；(即将原始CT数据集内的所有数据都标注好肝脏区域和非肝脏区域)所述病变标签数据集包括原始CT数据集所对应的标注有病变区域和非病变区域的腹腔CT数据；

步骤2：对原始CT数据集内的数据进行阈值和切片处理，这是为后续的模块做准备，原始的腹腔CT数据包括着大量的噪音，所以用传统的阈值处理尽可能地去掉无关的噪音区域；将去掉噪音区域的腹腔CT数据沿着通道方向进行切片处理，每个CT数据进行切片处理后会得到与其通道数相对应的病理切片；对标签CT数据集内的所有数据沿着通道方向进行切片处理，每个CT数据处理后都会得到与其通道数相对应的病理切片；得到原始CT切片数据集和标签CT切片数据集；所述标签CT切片数据集包括肝脏标签切片数据集和病变标签切片数据集；

需要说明的是，标签集合里面，可能存在有的病人，不患有肝癌，也就是说标注的腹腔CT数据里面，只有肝脏区域，没有病变区域。这种样本对于我们的病变区域语义分割任务来说，相当于是一个负样本。我们的网络也是需要这样的样本的，需要从这些负样本里面学习哪些特征不属于肝癌区域。而且，有些患有肝癌的病人CT数据，在处理成切片之后，有的切片上面包含病变区域，有的切片可能不包含病变区域，甚至与有的切片上面包含肝脏区域，有的切片上面不包含肝脏区域。同样的，对于肝脏区域的语义分割任务来说，包含肝脏区域的腹腔CT切片，属于我们训练模型的正样本，让模型更多的来学习切片里面哪些特征是肝脏区域。而不包含肝脏区域的切片属于我们训练模型的负样本，让模型更多的来学习切片里面哪些特征不属于肝脏区域。通过切片的肝脏区域和非肝脏区域的特征的学习就可以把肝脏区域给定位和分割出来。同样的，通过对切片的病变区域和非病变区域的特征的学习就可以把病变区域给定位和分割出来。

步骤3：将原始CT切片数据集内的数据随机按照8:2的比例划分为原始CT切片训练集和原始CT切片测试集；将肝脏标签切片数据集和病变标签切片数据集内与原始CT切片训练集相对应的数据分别设置为肝脏标签切片训练集和病变标签切片训练集，将肝脏标签切片数据集和病变标签切片数据集内与原始CT切片测试集数据相对应的数据分别设置为肝脏标签切片测试集和病变标签切片测试集；

步骤4：根据原始CT切片训练集和肝脏标签切片训练集建立肝脏区域分割模型；

步骤4.1：设定待建立的肝脏区域分割模型输入及输出的CT切片图像高为224像素、宽为224像素、颜色通道数量为1，将原始CT切片训练集中的原始CT切片作为肝脏区域分割模型的输入，肝脏区域分割模型的输出为标记好肝脏区域的CT切片；

步骤4.2：基于语义分割的U型网络结构的初始深度学习模型建立肝脏区域分割模型；设置肝脏区域分割模型的初始权重矩阵；U型网络结构的DenseNet部分将224像素x224像素(高x宽)原始CT切片作为输入图像按照112x112、56x56、28x28、14x14和7x7进行逐层空间尺度划分，并提取上述各个尺度上的所有特征；上述得到的原始腹腔CT切片大小为224x224x1(宽x高x通道)，通过DenseNet的DenseBlock模块以及Transition模块，输入的空间尺度(也就是只考虑宽x高)会从224x224逐渐地走到112x112、56x56、28x28、14x14、以及7x7。DenseBlock模块用于提取各个尺度上的丰富特征，而Transition模块则是完成对尺寸的减小。

步骤4.3：由7x7尺度按照14x14、28x28、56x56、112x112尺度进行上采样，从上采样开始，这个时候的任务就变成了对提取的每个尺度上的所有特征根据拼接和卷积操作不断进行特征重组融合，融合属于肝脏区域的特征以及融合属于非肝脏区域的特征，上采样到14x14尺度，并对提取的所有特征进行分类，分为肝脏区域和非肝脏区域，将14x14尺度与步骤4.2中的14x14尺度的特征通过拼接和卷积操作进行特征融合，得到14x14尺度的融合特征；将14x14尺度的融合特征进行上采样得到28x28尺度，并对提取的所有特征进行分类，将28x28尺度与步骤4.2中的28x28尺度的特征通过拼接和卷积操作进行特征融合，得到28x28尺度的融合特征，根据上述步骤，依次进行上采样，并得到56x56尺度的融合特征、112x112尺度的融合特征，对112x112尺度的融合特征进行一次上采样得到224x224尺度的图像；所述的卷积操作采用DenseNet自身结构里面的bottleneck卷积操作；

步骤4.4：在肝脏标签切片训练集中选择出与输入的原始CT切片相对应的肝脏标签CT切片，并将肝脏标签CT切片与步骤4.3中输出的224x224尺度的图像进行评价指标β_j的计算；

其中，f(x⁽ⁱ⁾；θ⁽ⁱ⁾)代表肝脏区域分割模型输出图像矩阵里面的肝脏区域面积，θ⁽ⁱ⁾代表肝脏区域分割模型输出图像的第i层的权重矩阵，x⁽ⁱ⁾代表肝脏区域分割模型输出图像的第i层的的输入矩阵，G(y^j)代表肝脏标签CT切片图像矩阵的肝脏区域面积，y^j代表第j个肝脏标签CT切片的图像矩阵；j∈m，m为训练样本的数量，C代表f(x⁽ⁱ⁾；θ⁽ⁱ⁾)和G(y^j)的肝脏区域重叠面积；

根据得到的评价指标β_j，设计损失函数L_j＝1-β_j，对损失函数执行后向传播算法对初始权重矩阵进行调整；后向传播算法依据链式规则计算出每一个卷积层的权重矩阵的梯度矩阵，依据每一层的梯度矩阵调整该层的权重矩阵；

上面计算的损失是通过输出矩阵f(x⁽ⁱ⁾；θ⁽ⁱ⁾)和标签CT切片的图像矩阵y^j计算得到的，而输出矩阵又是通过上一层的输入矩阵x⁽ⁱ⁾以及上一层的权重矩阵θ计算得到的。上一层的输出同样如此，也是通过上上一层的输入矩阵和上上一层权重矩阵计算得到的，所以可以把输出矩阵看作是最开始的输入矩阵经过模型每一层的权重矩阵不断计算得到的。我们通过导数计算的链式规则，后向传播，计算每一层权重矩阵的jacobian梯度矩阵：

权重矩阵调整公式如下：

θ⁽ⁱ⁾＝θ⁽ⁱ⁾-τg_i

其中τ代表学习率，控制权重矩阵更新的幅度，g_i代表肝脏区域分割模型输出图像的第i层权重矩阵的jacobian梯度矩阵；

所以通过链式规则，每一层的权重矩阵就都可以得到更新了。损失函数也向值变小的方向前进了一小步；

步骤4.5：在原始CT切片训练集中随机选取CT切片，重复步骤4.1-步骤4.5，若连续5次出现损失函数L_G的变化值停止减小，则停止训练模型，输出建立好的肝脏区域分割模型和其最优的权重矩阵；

初始深度学习模型对输入的CT切片进行处理得到一个与输入形状一样的输出矩阵(224x224x1)，对该矩阵进行阈值处理得到一个二值图像。我们知道图像本身就是矩阵，我们通过计算输出的图像矩阵和标签的图像矩阵之间的差距，也就是对像素点预测肝脏区域和非肝脏区域的一个评价，通过这个评价指标，我们进行后向传播，更新模型的参数值，更新的目的就在于让模型的输出更接近标签。所以一个图像进来，我们通过模型的参数值计算出一个输出，通过输出和标签计算出一个评价β_j，通过这个评价我们更新模型的参数，然后接着处理下一张图片和对应的标签。这样不断地对深度学习模型进行训练，到了一定训练次数之后，β的变动就很小了，我们可以认为模型收敛了，然后这个时候模型以及对应的参数值，我们就可以用来很好地完成病人切片图像的肝脏区域语义分割任务；

步骤5：根据原始CT切片训练集和病变标签切片训练集建立病变区域分割模型；

步骤5.1：设定待建立的病变区域分割模型输入及输出的CT切片图像高为224像素、宽为224像素、颜色通道数量为1，将原始CT切片训练集中的原始CT切片作为病变区域分割模型的输入，病变区域分割模型的输出为标记好病变区域的CT切片；

步骤5.2：基于语义分割的U型网络结构的初始深度学习模型建立病变区域分割模型；设置病变区域分割模型的初始权重矩阵，所述初始权重矩阵为肝脏区域分割模型的最优权重矩阵；U型网络结构的DenseNet部分将224像素x224像素(高x宽)原始CT切片作为输入图像按照112x112、56x56、28x28、14x14和7x7进行逐层空间尺度划分，并提取上述各个尺度上的所有特征；

上述得到的原始腹腔CT切片大小为224x224x1(宽x高x通道)，通过DenseNet的DenseBlock模块以及Transition模块，输入的空间尺度(也就是只考虑宽x高)会从224x224逐渐地走到112x112、56x56、28x28、14x14、以及7x7。DenseBlock模块用于提取各个尺度上的丰富特征，而Transition模块则是完成对尺寸的减小。

步骤5.3：由7x7尺度按照14x14、28x28、56x56、112x112尺度进行上采样，从上采样开始，这个时候的任务就变成了对提取的每个尺度上的所有特征根据拼接和卷积操作不断进行特征重组融合，融合属于病变区域的特征以及融合属于非病变区域的特征，上采样到14x14尺度，并对提取的所有特征进行分类，分为病变区域和非病变区域，将14x14尺度与步骤5.2中的14x14尺度的特征通过拼接和卷积操作进行特征融合，得到14x14尺度的融合特征；将14x14尺度的融合特征进行上采样得到28x28尺度，并对提取的所有特征进行分类，将28x28尺度与步骤5.2中的28x28尺度的特征通过拼接和卷积操作进行特征融合，得到28x28尺度的融合特征，根据上述步骤，依次进行上采样，并得到56x56尺度的融合特征、112x112尺度的融合特征，对112x112尺度的融合特征进行一次上采样得到224x224尺度的图像；

步骤5.4：在病变标签切片训练集中选择出与输入的原始CT切片相对应的病变标签CT切片，并将病变标签CT切片与步骤5.3中输出的224x224尺度的图像进行评价指标β′_j的计算；

其中，f′(x′⁽ⁱ⁾；θ′⁽ⁱ⁾)代表病变区域分割模型输出图像矩阵里面的病变区域面积，θ′⁽ⁱ⁾代表病变区域分割模型输出图像的第i层的权重矩阵，x′⁽ⁱ⁾代表病变区域分割模型输出图像的第i层的的输入矩阵，G′(y′^j)代表病变标签CT切片图像矩阵的病变区域面积，y′^j代表第j个病变标签CT切片的图像矩阵；j∈m，m为训练样本的数量，C′代表f′(x′⁽ⁱ⁾；θ′⁽ⁱ⁾)和G′(y′^j)的病变区域重叠面积，

根据得到的评价指标β′_j，设计损失函数L′_j＝1-β′_j，根据损失函数执行后向传播算法对初始权重矩阵进行调整；损失函数越小意味着IoU越大，这样模型的预测就越准确。而后向传播算法就是让损失函数变小的方法，后向传播算法依据链式规则计算出每一个卷积层的权重矩阵的梯度矩阵，依据每一层的梯度矩阵调整该层的权重矩阵；这样不断地进行前向传播，计算损失，后向传播操作。模型的损失就可以逐渐地变小。权重矩阵调整公式如下：

θ′⁽ⁱ⁾＝θ′⁽ⁱ⁾-τg′_i

其中τ代表学习率，控制权重矩阵更新的幅度，g′_i代表病变区域分割模型输出图像的第i层权重矩阵的jacobian梯度矩阵；

步骤5.5：在原始CT切片训练集中随机选取CT切片，重复步骤5.1-步骤5.5，若连续5次出现损失函数L′_j的变化值停止减小，则停止训练模型，输出建立好的病变区域分割模型和其最优的权重矩阵；

步骤6：根据原始CT切片测试集中的数据对肝脏区域分割模型和病变区域分割模型进行测试；

将原始CT切片测试集中的原始CT切片图像输入到肝脏区域分割模型中，肝脏区域分割模型输出标记好肝脏区域的二值图像，所述二值图像中像素值为0的黑色区域为模型预测的非肝脏区域，像素值为1的白色区域为模型预测的肝脏区域，如图4所示；将该图像与输入的CT切片相对应的分割好肝脏区域的二值图像。针对测试集合上面模型的IoU指标，在肝脏区域分割任务上面可以达到95％左右；

将原始CT切片测试集中的原始CT切片图像输入到病变区域分割模型中，病变区域分割模型输出标记好病变区域的二值图像，所述二值图像中像素值为0的黑色区域为模型预测的非病变区域，像素值为1的白色区域为模型预测的病变区域；将该图像与输入的CT切片相对应的分割好病变区域的二值图像。针对测试集合上面模型的IoU指标，在肝癌的区域分割任务上面可以达到65％左右；

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (3)

1.一种基于深度学习的CT切片图像语义分割系统，其特征在于：包括数据采集模块、数据预处理模块、建立初始模型单元、肝脏区域分割单元、病变区域分割单元；

所述数据采集模块用于采集多组腹腔CT数据以及与腹腔CT数据相对应的带有标签的腹腔CT数据，形成原始CT数据集和标签CT数据集，数据采集模块的输出端与数据预处理模块的输入端相连接；

所述数据预处理模块用于对原始CT数据集内的数据进行阈值和切片处理，对标签CT数据集内的数据进行切片处理，得到原始CT切片数据集和标签CT切片数据集；数据预处理模块的输出端分别与肝脏区域分割单元和病变区域分割单元的输入端相连接；

所述建立初始模型单元用于通过DenseNet将输入的图片进行下采样得到224x224、112x112、56x56、28x28、14x14和7x7的逐层空间尺度划分，并提取各个尺度上的所有特征，空间尺度划分层级由7x7尺度按照14x14、28x28、56x56、112x112尺度进行上采样，对提取的每个尺度上的所有特征不断进行重组融合，上采样得到14x14，并提取该尺度上的任务特征，并将上采样得到的14x14尺度与下采样得到的14x14尺度通过拼接和卷积操作进行特征融合得到14x14尺度的融合特征图像，卷积操作采用DenseNet自身结构里面的bottleneck卷积操作，依次进行其他尺度的特征融合，得到28x28尺度的融合特征图像、56x56尺度的融合特征图像、112x112尺度的融合特征图像，对112x112尺度的融合特征进行一次上采样得到224x224尺度的图像，形成初始深度学习模型，所述建立初始模型单元的输出端分别与肝脏区域分割单元的输入端和病变区域分割单元的输入端相连接；

所述肝脏区域分割单元用于根据数据预处理模块输出的数据对建立初始模型单元输出的初始深度学习模型进行训练，在肝脏标签切片训练集中选择出与初始深度学习模型输入的原始CT切片相对应的肝脏标签CT切片，并将肝脏标签CT切片与初始深度学习模型输出的图像根据评价指标β_j进行评价，并设计损失函数L_j＝1-β_j，根据损失函数执行后向传播算法对初始权重矩阵进行调整；得到肝脏区域分割模型和最优权重矩阵，所述肝脏区域分割单元的输出端与病变区域分割单元的输入端相连接；

所述病变区域分割单元用于根据数据预处理模块输出的数据和肝脏区域分割单元输出的最优权重矩阵对建立初始模型单元输出的初始深度学习模型进行训练，在病变标签切片训练集中选择出与初始深度学习模型输入的原始CT切片相对应的病变标签CT切片，并将病变标签CT切片与初始深度学习模型输出的图像根据评价指标β′_j进行评价，并设计损失函数L′_j＝1-β′_j，根据损失函数执行后向传播算法对初始权重矩阵进行调整；得到肝脏区域分割模型和最优权重矩阵。

2.一种基于深度学习的CT切片图像语义分割方法，通过权利要求1所述的一种基于深度学习的CT切片图像语义分割系统实现，其特征在于：包括以下步骤：

步骤1：获取训练深度学习模型所需要的CT数据集和标签CT数据集；

采集多组腹腔CT数据以及与腹腔CT数据相对应的带有标签的腹腔CT数据，形成原始CT数据集和标签CT数据集，所述腹腔CT数据包括患有肝癌病人的CT数据和未患有肝癌病人的CT数据，所述标签CT数据集包括肝脏标签数据集和病变标签数据集，所述肝脏标签数据集包括原始CT数据集所对应的标注有肝脏区域和非肝脏区域的腹腔CT数据；所述病变标签数据集包括原始CT数据集所对应的标注有病变区域和非病变区域的腹腔CT数据；

步骤2：对原始CT数据集内的原始CT数据集内的数据进行阈值和切片处理，用传统的阈值处理去掉噪音区域；将去掉噪音区域的腹腔CT数据沿着通道方向进行切片处理，每个CT数据进行切片处理后会得到与其通道数相对应的病理切片；对标签CT数据集内的所有数据沿着通道方向进行切片处理，每个CT数据处理后都会得到与其通道数相对应的病理切片；得到原始CT切片数据集和标签CT切片数据集；所述标签CT切片数据集包括肝脏标签切片数据集和病变标签切片数据集；

步骤3：将原始CT切片数据集内的数据随机按照8:2的比例划分为原始CT切片训练集和原始CT切片测试集；将肝脏标签切片数据集和病变标签切片数据集内与原始CT切片训练集相对应的数据分别设置为肝脏标签切片训练集和病变标签切片训练集，将肝脏标签切片数据集和病变标签切片数据集内与原始CT切片测试集数据相对应的数据分别设置为肝脏标签切片测试集和病变标签切片测试集；

步骤4：根据原始CT切片训练集和肝脏标签切片训练集建立肝脏区域分割模型；

步骤4.1：设定待建立的肝脏区域分割模型输入及输出的CT切片图像高为224像素、宽为224像素、颜色通道数量为1，将原始CT切片训练集中的原始CT切片作为肝脏区域分割模型的输入，肝脏区域分割模型的输出为标记好肝脏区域的CT切片；

步骤4.2：基于语义分割的U型网络结构的初始深度学习模型建立肝脏区域分割模型；设置肝脏区域分割模型的初始权重矩阵；U型网络结构的DenseNet部分将原始CT切片作为输入图像按照112x112、56x56、28x28、14x14和7x7进行逐层空间尺度划分，并提取上述各个尺度上的所有特征；

步骤4.3：由7x7尺度按照14x14、28x28、56x56、112x112尺度进行上采样，从上采样开始，这个时候的任务就变成了对提取的每个尺度上的所有特征根据拼接和卷积操作不断进行特征重组融合，融合属于肝脏区域的特征以及融合属于非肝脏区域的特征，上采样到14x14尺度，并对提取的所有特征进行分类，分为肝脏区域和非肝脏区域，将14x14尺度与步骤4.2 中的14x14尺度的特征通过拼接和卷积操作进行特征融合，得到14x14尺度的融合特征；将14x14尺度的融合特征进行上采样得到28x28尺度，并对提取的所有特征进行分类，将28x28尺度与步骤4.2中的28x28尺度的特征通过拼接和卷积操作进行特征融合，得到28x28尺度的融合特征，根据上述步骤，依次进行上采样，并得到56x56尺度的融合特征、112x112尺度的融合特征，对112x112尺度的融合特征进行一次上采样得到224x224尺度的图像；所述的卷积操作采用DenseNet自身结构里面的bottleneck卷积操作；

步骤4.4：在肝脏标签切片训练集中选择出与输入的原始CT切片相对应的肝脏标签CT切片，并将肝脏标签CT切片与步骤4.3中输出的224x224尺度的图像进行评价指标β_j的计算；

其中，f(x⁽ⁱ⁾；θ⁽ⁱ⁾)代表肝脏区域分割模型输出图像矩阵里面的肝脏区域面积，θ⁽ⁱ⁾代表肝脏区域分割模型输出图像的第i层的权重矩阵，x⁽ⁱ⁾代表肝脏区域分割模型输出图像的第i层的输入矩阵，G(y^j)代表肝脏标签CT切片图像矩阵的肝脏区域面积，y^j代表第j个肝脏标签CT切片的图像矩阵；j∈m，m为训练样本的数量，C代表f(x⁽ⁱ⁾；θ⁽ⁱ⁾)和G(y^j)的肝脏区域重叠面积；

根据得到的评价指标β_j，设计损失函数L_j＝1-β_j，对损失函数执行后向传播算法对初始权重矩阵进行调整；后向传播算法依据链式规则计算出每一个卷积层的权重矩阵的梯度矩阵，依据每一层的梯度矩阵调整该层的权重矩阵；权重矩阵调整公式如下：

θ⁽ⁱ⁾＝θ⁽ⁱ⁾-τg_i

其中τ代表学习率，控制权重矩阵更新的幅度，g_i代表肝脏区域分割模型输出图像的第i层权重矩阵的jacobian梯度矩阵；

步骤4.5：在原始CT切片训练集中随机选取CT切片，重复步骤4.1-步骤4.5，若连续5次出现损失函数L_G的变化值停止减小，则停止训练模型，输出建立好的肝脏区域分割模型和其最优的权重矩阵；

步骤5：根据原始CT切片训练集和病变标签切片训练集建立病变区域分割模型；

步骤6：根据原始CT切片测试集中的数据对肝脏区域分割模型和病变区域分割模型进行测试；

将原始CT切片测试集中的原始CT切片图像输入到肝脏区域分割模型中，肝脏区域分割模型输出标记好肝脏区域的二值图像，所述二值图像中像素值为0的黑色区域为模型预测的非肝脏区域，像素值为1的白色区域为模型预测的肝脏区域；

将原始CT切片测试集中的原始CT切片图像输入到病变区域分割模型中，病变区域分割模型输出标记好病变区域的二值图像，所述二值图像中像素值为0的黑色区域为模型预测的非病变区域，像素值为1的白色区域为模型预测的病变区域。

3.根据权利要求2所述的一种基于深度学习的CT切片图像语义分割方法，其特征在于：所述步骤5的具体步骤如下：

步骤5.1：设定待建立的病变区域分割模型输入及输出的CT切片图像高为224像素、宽为224像素、颜色通道数量为1，将原始CT切片训练集中的原始CT切片作为病变区域分割模型的输入，病变区域分割模型的输出为标记好病变区域的CT切片；

步骤5.2：基于语义分割的U型网络结构的初始深度学习模型建立病变区域分割模型；设置病变区域分割模型的初始权重矩阵，所述初始权重矩阵为肝脏区域分割模型的最优权重矩阵；U型网络结构的DenseNet部分将原始CT切片作为输入图像按照112x112、56x56、28x28、14x14和7x7进行逐层空间尺度划分，并提取上述各个尺度上的所有特征；

步骤5.3：由7x7尺度按照14x14、28x28、56x56、112x112尺度进行上采样，从上采样开始，这个时候的任务就变成了对提取的每个尺度上的所有特征根据拼接和卷积操作不断进行特征重组融合，融合属于病变区域的特征以及融合属于非病变区域的特征，上采样到14x14尺度，并对提取的所有特征进行分类，分为病变区域和非病变区域，将14x14尺度与步骤5.2中的14x14尺度的特征通过拼接和卷积操作进行特征融合，得到14x14尺度的融合特征；将14x14尺度的融合特征进行上采样得到28x28尺度，并对提取的所有特征进行分类，将28x28尺度与步骤5.2中的28x28尺度的特征通过拼接和卷积操作进行特征融合，得到28x28尺度的融合特征，根据上述步骤，依次进行上采样，并得到56x56尺度的融合特征、112x112尺度的融合特征，对112x112尺度的融合特征进行一次上采样得到224x224尺度的图像；

步骤5.4：在病变标签切片训练集中选择出与输入的原始CT切片相对应的病变标签CT切片，并将病变标签CT切片与步骤5.3中输出的224x224尺度的图像进行评价指标β_j′的计算；

其中，f′(x′⁽ⁱ⁾；θ′⁽ⁱ⁾)代表病变区域分割模型输出图像矩阵里面的病变区域面积，θ′⁽ⁱ⁾代表病变区域分割模型输出图像的第i层的权重矩阵，x′⁽ⁱ⁾代表病变区域分割模型输出图像的第i层的输入矩阵，G′(y′^j)代表病变标签CT切片图像矩阵的病变区域面积，y′^j代表第j个病变标签CT切片的图像矩阵；j∈m，m为训练样本的数量，C′代表f′(x′⁽ⁱ⁾；θ′⁽ⁱ⁾)和G′(y′^j)的病变区域重叠面积，

根据得到的评价指标β′_j，设计损失函数L′_j＝1-β′_j，根据损失函数执行后向传播算法对初始权重矩阵进行调整；后向传播算法依据链式规则计算出每一个卷积层的权重矩阵的梯度矩阵，依据每一层的梯度矩阵调整该层的权重矩阵；权重矩阵调整公式如下：

θ′⁽ⁱ⁾＝θ′⁽ⁱ⁾-τg′_i

其中τ代表学习率，控制权重矩阵更新的幅度，g′_i代表病变区域分割模型输出图像的第i层权重矩阵的jacobian梯度矩阵；

步骤5.5：在原始CT切片训练集中随机选取CT切片，重复步骤5.1-步骤5.5，若连续5次出现损失函数L′_j的变化值停止减小，则停止训练模型，输出建立好的病变区域分割模型和其最优的权重矩阵。

Images