CN110992373B - 一种基于深度学习的胸腔器官分割方法 - Google Patents

Abstract

本发明提供一种基于深度学习的胸腔器官分割方法。本发明改进了U‑Net的结构，得到了一种更优的用于胸腔器官分割的编码解码结构，相较于传统的U‑Net，在特征提取部分具有更好的性能以及更好的效果，而在上采样部分针对各层的不同特点增加了卷积和池化层，有效减少了锯齿现象，使得上采样结果更加精细，本发明也对分割结果中出现的一些脱离主体的分割错误进行了只取最大连通区域的处理。本发明训练速度和计算速度都优于传统的U‑Net网络，本发明方法的网络达到了50层，提取特征的效果更好，并且本发明仅需一个模型就可以用于多器官的图像分割。

Description

一种基于深度学习的胸腔器官分割方法

技术领域

本发明涉及医学图像分割领域，具体来讲是一种基于深度学习技术的胸腔器官解剖学位置定位与轮廓描绘算法。

背景技术

在临床上，胸腔器官的自动分割具有十分重大的临床意义，也已经成为了国内外研究的重点。在肺癌和食道癌中，放射治疗是一种较好的选择，要进行放射治疗需要描绘患有靶肿瘤的器官与靶肿瘤附近的健康器官。

在当前阶段，描绘器官的工作主要由肿瘤科医生手动完成，繁琐，耗时久，而且描绘的精确度也并不高。对于某些器官(例如食道)，图像分割的任务具有十足的挑战性：患者与患者之间的形状和位置差异很大；CT图像中的轮廓具有低对比度，并且当CT值设置不合理时有可能不存在。

在医学影像中现在常用的分割算法大多基于U-Net，大量研究表明U-Net在此领域是可行且相对可靠的。但是U-Net还存在一定的改进空间，从而可以更精确地描绘出各个器官的边缘轮廓。

现在传统的U-Net结构简介如下：

U-Net采用的是一个包含下采样和上采样的网络结构。下采样用来逐渐展现环境信息，而上采样的过程是结合下采样各层信息和上采样的输入信息来还原细节信息，并且逐步还原图像精度。

左半边，也就是U型的下降部分是特征提取部分，每经过一个池化层图片的尺寸就下降一个尺度，上采样部分，每上采样一次，就和特征提取部分对应的通道数相同尺度融合，但是融合之前要将其尺寸调节为相同大小，这里的融合不是像素之间对应的加和，而是拼接。

最终的输出不采用传统分类算法的全连接层，而是卷积层，这样可以实现像素级别的预测分类效果，宏观来看也就是对图像进行了分割处理。简单来看U-Net目前的优势在于可以实现端到端的分割，而且能适应大尺寸输入。

同样的，缺点也比较明显。一个是U-Net对于每个块都要运行一次预测，而且由于网络本身的特点，会有许多重叠部分进行了多次的重复运算，虽然这样有助于提高特征提取的精度，但是对运行速度的影响是巨大的。必须在局部标记准确性和语义的确定之间进行权衡，大的分割块需要更多的池化层，但是池化层降低了局部标记的准确性，而小的分割块无法获得充分的语义信息。

发明内容

针对现有技术中存在的问题，本发明提供一种基于深度学习的胸腔器官分割方法。本发明改进了U-Net的结构，得到了一种更优的用于胸腔器官分割的编码解码结构，相较于传统的U-Net，在特征提取部分具有更好的性能以及更好的效果，而在上采样部分针对各层的不同特点增加了卷积和池化层，有效减少了锯齿现象，使得上采样结果更加精细，本发明也对分割结果中出现的一些脱离主体的分割错误进行了只取最大连通区域的处理。

一种基于深度学习的胸腔器官分割方法，步骤如下：

步骤(1)、图像预处理

将输入的患者胸腔的CT图像进行预处理，去掉CT图像上不需要的文字信息，并将其转换为灰度图；所述的灰度图按顺序标记为 (0，1，2，……，n)，将灰度图的灰度值进行归一化处理，对图像中的像素进行从[0,255]到[0,1]的映射。将灰度图中按 {(0,1,2)，(1,2,3)，……，(n-2，n-1，n)}的顺序取出三张图，将取出的三张图融合为一张图，在维度上增加所需要分割的四个器官和背景的标记，所述的标记为人工添加，包含相对准确的器官位置和该图上包含的器官，没有器官的图被标记为背景。标记的顺序为气管、食道、心脏、大动脉和背景。例如，某张CT图上并没有上述四个器官，则标记为(0， 0，0，0，1)；仅有食道，则标记为(0，1，0，0，0)，注意此处背景标志被取消；仅有气管和食道，则标记为(1，1，0，0，0)。

最终获得预处理后的CT图像的NPY文件的形状为512*512*8，其中8代表3张图片加需要识别的5个特征；用于同时体现水平和竖直方向的信息。

步骤(2)、对U-Net神经网络模型的结构进行改进

首先将将传统U-Net的VGG网络替换为ResNet残差网络。对于上采样部分，仿照ResNet对网络结构进行扩充，针对各层的不同特点增加了卷积层和池化层，并且最后可以还原为原先的输入尺寸。

步骤(3)、定义softmax函数与惩罚函数

定义分类所需要的softmax函数：

式中，ak(x)表示每个像素点对应特征通道的得分，K为类的数量， p_k(x)是对类k的对像素点分类的结果，softmax函数用于在神经网络计算完成之后对计算结果进行分类输出，在通过softmax之前，数据的表现为一个一维的激活数据体，经过softmax之后输出的结果将会映射到相应的类别上，并形成上述的对应器官的对应标记；

定义需要最小化的惩罚函数：

E＝∑ω(x)log (p_l(x)(x))

式中，p_l(x)(x)是经过神经网络计算之后生成的每个像素的标签；ω(x)是人工标注的每个像素的标签，x表示每一个像素，惩罚函数的作用为比对神经网络计算所得到的结果和人工标注的结果的差距，差距越大，给神经网络反馈的惩罚就越大，以此来激励神经网络朝着期望的方向进行训练；

步骤(4)、训练改进后的U-Net神经网络模型，获得初步分割结果

将预处理后的患者胸腔的CT图像输入改进后的U-Net进行训练，各层的激活函数均设置为ReLu,优化器采用Adam，学习率设置为0.01。

训练结束后获得用于胸腔器官分割的神经网络模型，将待分割的 CT图像输入神经网络模型中，得到输入CT图像对应的初步分割结果。

步骤(5)、对获得的初步分割结果进行数据后处理，获得患者胸腔CT图像的最终分割结果

对获得的初步分割结果采取只取最大连通区域的处理，获得患者胸腔CT图像的最终分割结果。

所述的只取最大连通区域的处理的具体操作方法如下：

(1)对于每个器官，生成的标记已经为二值化，仅有1和0，将不同器官的标记分离成不同文件；

(2)给标记增加一个维度，仅取0和1；0表示未访问过，1表示已访问；

(3)找到第一个有标记内容的像素点，将像素点的访问维度设置为1，同时将其入栈；

(4)寻找栈顶元素周边八个像素点中是否存在非零像素点，如果存在，则压入堆栈，结束后将栈顶元素删除，当栈被清空时，则表示一个区域已经找完，继续寻找下一个有标记的区域；

(5)当所有的像素都被遍历过之后，保留像素点个数最多的连通区域，其余的残渣区域全部都舍弃不用。

本发明有益效果如下：

1、本发明训练速度和计算速度都优于传统的U-Net网络；

2、骨干网络ResNet自带的残差结构可以支持更深层次的网络结构，一般来说网络越深，提取特征的效果就越好，传统的VGG为 19层，本发明方法的网络达到了50层，并且可以在牺牲速度的前提下达到101层；

3、本发明仅需一个模型就可以用于多器官的图像分割；

4、本发明基于工业界流行的Tensorflow的上级框架Keras 开发，便于在其他设备上进行部署。

附图说明

图1为ResNet部分结构示意图；

图2为气管的分割结果图；

图3为食道的分割结果图；

图4是心脏的分割结果图；

图5是大动脉的分割结果图。

具体实施方式

以下结合附图及实施例对本发明进行进一步说明。

一种基于深度学习的胸腔器官分割方法，步骤如下：

步骤(1)、图像预处理

将输入的患者胸腔的CT图像进行预处理，去掉CT图像上不需要的文字信息，并将其转换为灰度图；所述的灰度图按顺序标记为 (0，1，2，……，n)，将灰度图的灰度值进行归一化处理，对图像中的像素进行从[0,255]到[0,1]的映射。从灰度图中按{(0,1,2)，(1,2,3)，……，(n-2，n-1，n)}的顺序取出三张图，将取出的三张图融合为一张图，在维度上增加所需要分割的四个器官和背景的标记，所述的标记为人工添加，包含相对准确的器官位置和该图上包含的器官，没有器官的图被标记为背景。标记的顺序为气管、食道、心脏、大动脉和背景。例如，某张CT图上并没有上述四个器官，则标记为(0， 0，0，0，1)；仅有食道，则标记为(0，1，0，0，0)，注意此处背景标志被取消；仅有气管和食道，则标记为(1，1，0，0，0)。

最终获得预处理后的CT图像的NPY文件的形状为512*512*8，其中8代表3张图片加需要识别的5个特征；用于同时体现水平和竖直方向的信息。

步骤(2)、对U-Net神经网络模型的结构进行改进

首先将将传统U-Net的VGG网络替换为ResNet残差网络，也可以理解为使用ResNet网络构建了一个U型的新型神经网络模型。

对于上采样部分，仿照ResNet对网络结构进行扩充，针对各层的不同特点增加了卷积层和池化层，并且最后可以还原为原先的输入尺寸；

图1为ResNet部分结构示意图。

步骤(3)、定义softmax函数与惩罚函数

定义分类所需要的softmax函数：

式中，ak(x)表示每个像素点对应特征通道的得分，K为类的数量， p_k(x)是对类k的对像素点分类的结果，softmax函数用于在神经网络计算完成之后对计算结果进行分类输出，在通过softmax之前，数据的表现为一个一维的激活数据体，经过softmax之后输出的结果将会映射到相应的类别上，并形成上述的对应器官的对应标记；

定义需要最小化的惩罚函数：

E＝∑ω(x)log (p_l(x)(x))

式中，p_l(x)(x)是经过神经网络计算之后生成的每个像素的标签；ω(x)是人工标注的每个像素的标签，x表示每一个像素，惩罚函数的作用为比对神经网络计算所得到的结果和人工标注的结果的差距，差距越大，给神经网络反馈的惩罚就越大，以此来激励神经网络朝着期望的方向进行训练；

步骤(4)、训练改进后的U-Net神经网络模型，获得初步分割结果

将预处理后的患者胸腔的CT图像输入改进后的U-Net进行训练，各层的激活函数均设置为ReLu,优化器采用Adam，学习率设置为0.01。

训练结束后获得用于胸腔器官分割的神经网络模型，将待分割的 CT图像输入神经网络模型中，得到输入CT图像对应的初步分割结果。所述的初步分割结果为带标签的png格式图片，背景为透明，四个器官分别对应不同的颜色，颜色根据需要进行自定义。

步骤(5)、对获得的初步分割结果进行数据后处理，获得患者胸腔CT图像的最终分割结果

对获得的初步分割结果采取只取最大连通区域的处理，获得患者胸腔CT图像的最终分割结果。

图2、图3、图4和图5分别为气管、食道、心脏和大动脉的分割结果图；

所述的只取最大连通区域的处理的具体操作方法如下：

(1)对于每个器官，生成的标记已经为二值化，仅有1和0，将不同器官的标记分离成不同文件；

(2)给标记增加一个维度，仅取0和1；0表示未访问过，1表示已访问；

(3)找到第一个有标记内容的像素点，将像素点的访问维度设置为1，同时将其入栈；

(4)寻找栈顶元素周边八个像素点中是否存在非零像素点，如果存在，则压入堆栈，结束后将栈顶元素删除，当栈被清空时，则表示一个区域已经找完，继续寻找下一个有标记的区域；

(5)当所有的像素都被遍历过之后，保留像素点个数最多的连通区域，其余的残渣区域全部都舍弃不用。

步骤(6)、将获得的患者胸腔CT图像的最终分割结果与预先由医生标记好的分割结果进行重叠度Dice(S_a,S_b)的计算，公式如下：

式中，Dice(S_a,S_b)表示块重叠度(Dice Overlap),|S_a∩S_b|表示两幅图的重合区域，|S_a|表示输入图像的标签，|S_b|表示标签融合后图像的标签。若两者图像完全重合，则Dice(S_a,S_b)的值将趋近于1，若两者图像重合都很低，则Dice(S_a,S_b)的值将会趋向于0。

Claims (1)

1.一种基于深度学习的胸腔器官分割方法，其特征在于，具体步骤如下：

步骤(1)、图像预处理；

将输入的患者胸腔的CT图像进行预处理，去掉CT图像上不需要的文字信息，并将其转换为灰度图；所述的灰度图按顺序标记为0,1,2，……，n，将灰度图的灰度值进行归一化处理，对图像中的像素进行从[0,255]到[0,1]的映射；将灰度图中按{(0,1,2)，(1,2,3)，……，(n-2，n-1，n)}的顺序取出三张图，将取出的三张图融合为一张图，在维度上增加所需要分割的四个器官和背景的标记，所述的标记为人工添加，包含相对准确的器官位置和该图上包含的器官，没有器官的图被标记为背景；标记的顺序为气管、食道、心脏、大动脉和背景；

最终获得预处理后的CT图像的NPY文件的形状为512*512*8，其中8代表3张图片加需要识别的5个特征；用于同时体现水平和竖直方向的信息；

步骤(2)、对U-Net神经网络模型的结构进行改进；

首先将传统U-Net的VGG网络替换为ResNet残差网络；对于上采样部分，仿照ResNet对网络结构进行扩充，针对各层的不同特点增加了卷积层和池化层，并且最后可以还原为原先的输入尺寸；

步骤(3)、定义softmax函数与惩罚函数；

定义分类所需要的softmax函数：

式中，ak(x)表示每个像素点对应特征通道的得分，K为类的数量，p_k(x)是对类k的对像素点分类的结果，softmax函数用于在神经网络计算完成之后对计算结果进行分类输出，在通过softmax之前，数据的表现为一个一维的激活数据体，经过softmax之后输出的结果将会映射到相应的类别上，并形成上述的对应器官的对应标记；

定义需要最小化的惩罚函数：

E＝∑ω(x)log(p_l(x)(x))

式中，p_l(x)(x)是经过神经网络计算之后生成的每个像素的标签；ω(x)是人工标注的每个像素的标签，x表示每一个像素，惩罚函数的作用为比对神经网络计算所得到的结果和人工标注的结果的差距，差距越大，给神经网络反馈的惩罚就越大，以此来激励神经网络朝着期望的方向进行训练；

步骤(4)、训练改进后的U-Net神经网络模型，获得初步分割结果；

将预处理后的患者胸腔的CT图像输入改进后的U-Net进行训练，各层的激活函数均设置为ReLu,优化器采用Adam，学习率设置为0.01；

训练结束后获得用于胸腔器官分割的神经网络模型，将待分割的CT图像输入神经网络模型中，得到输入CT图像对应的初步分割结果；

步骤(5)、对获得的初步分割结果进行数据后处理，获得患者胸腔CT图像的最终分割结果；

对获得的初步分割结果采取只取最大连通区域的处理，获得患者胸腔CT图像的最终分割结果；

所述的只取最大连通区域的处理的具体操作方法如下：

(1)对于每个器官，生成的标记已经为二值化，仅有1和0，将不同器官的标记分离成不同文件；

(2)给标记增加一个维度，仅取0和1；0表示未访问过，1表示已访问；

(3)找到第一个有标记内容的像素点，将像素点的访问维度设置为1，同时将其入栈；

(4)寻找栈顶元素周边八个像素点中是否存在非零像素点，如果存在，则压入堆栈，结束后将栈顶元素删除，当栈被清空时，则表示一个区域已经找完，继续寻找下一个有标记的区域；

(5)当所有的像素都被遍历过之后，保留像素点个数最多的连通区域，其余的残渣区域全部都舍弃不用。

Images