CN108053417A - 一种基于混合粗分割特征的3DU-Net网络的肺分割装置 - Google Patents

Abstract

本发明公开了一种基于混合粗分割特征的3D U‑Net网络的肺分割装置，包括：肺部3D二值图生成模块，对原始肺部CT切片依次进行高斯滤波、二值化、标记连通区域并筛选、尺寸匹配以及微调处理，生成肺部3D二值图；肺分割模块，采用训练完毕的3D U‑Net网络对原始肺部CT图像和肺部3D二值图进行计算，输出分割概率图；优化模块，采用条件随机场对分割概率图进行计算，输出最终肺部分割结果。该装置在产生更高分割精确度的同时，保证了较低的计算消耗和内存消耗。

Description

一种基于混合粗分割特征的3DU-Net网络的肺分割装置

技术领域

本发明属于图像处理领域，具体涉及一种基于混合粗分割特征的3DU-Net网络的肺分割装置。

背景技术

深度学习方法在图像处理领域取得了巨大的成就，这也为医疗图像数据应用深度学习技术识别特征部位提供了可能。目前，以深度学习为基础的CAD(computer aideddiagnosis)系统，在识别并分割CT图像中的器官、特征区域等方面具有广泛的应用。

图像分割是作为图像处理的一个分支，在医学领域应用中是一个重要研究方向。人体组织的二维重建、定量分析都需要事先对有关部位进行分割。然而，由于人体内部组织的个体差异很大，不同算法对输入的图像形状、质量要求不同，临床应用中对肺部图像分割的准确度和速度要求又很高，导致肺部图像分割工作成为医学影像在临床引用中的一个难题。

现有的对肺部CT图像进行分割的装置和方法，均准确度不高，且分割效率也不能满足需要。

发明内容

本发明的目的是提供一种基于混合粗分割特征的3D U-Net网络的肺分割装置。该装置能够准确、快速的分割肺部CT图像，且分割结果能够满足应用需要。

为实现上述目的，本发明提供以下技术方案：

一种基于混合粗分割特征的3D U-Net网络的肺分割装置，包括：

肺部3D二值图生成模块，对原始肺部CT切片依次进行高斯滤波、二值化、标记连通区域并筛选、尺寸匹配以及微调处理，生成肺部3D二值图；

肺分割模块，采用训练完毕的3D U-Net网络对原始肺部CT图像和肺部3D二值图进行计算，输出分割概率图；

优化模块，采用条件随机场对分割概率图进行计算，输出最终肺部分割结果。

本发明首先对肺部CT图像进行粗分割特征提取，生成分布图像的3D二值图，然后再采用训练好的U-Net神经网络对3D二值图进一步特征提取，输出概率图，最后采用条件随机场对概率图进行微调，获得最终的肺部分割结果，该装置在产生更高分割精确度的同时，因为采用复杂度较低的U-net和二值化算法，保证了较低的计算消耗和内存消耗。

其中，所述肺部3D二值图生成模块包括：

高斯滤波模块，采用高斯滤波器对原始肺部CT切片进行平滑处理；

二值化模块，根据设定的二值化阈值，对平滑处理后的肺部CT图像进行二值化处理，获得二值图；

连通区域标记和筛选模块，采用连通区域算法(Two-Pass)标记出二值图的连通区域，并筛选掉面积大于600个像素和面积小于50个像素的连通区域；

尺寸匹配模块，将每张连通区域标记和筛选后的二值图与原始肺部CT图像进行比较，筛选获得与肺容量大小匹配的连通区域，并对该连通区域进行标记，然后，按照切片标号顺序对二值图进行组合，得到肺部3D二值图；

微调处理模块，采用形态学方法对肺部3D二值图进行膨胀、腐蚀、闭合、开启以及填补处理，获得最终的肺部3D二值图。

由于事先不知道分割结果的边缘方向，在滤波器前无法确定每个方向应进行的平滑程度，因此，作为优选，高斯滤波模块中，采用旋转对称性的高斯滤波器对原始肺部CT切片进行平滑处理，这样能够保证处理后的图像边缘不会偏向任一方。进一步优选，高斯滤波器窗口大小为3*3，高斯分布的标准差为1。经过大量实验验证，高斯滤波器这样的参数设置，能够使处理后的CT图像肺边缘更加平滑。

二值化模块中，二值化阈值为0.5。根据该二值化阈值，将平滑处理后的肺部CT图像中大于该二值化阈值的像素点设置为白色，其余像素点为黑色，获得二值图，二值化处理实际是对肺部CT切片进行粗分割，获得粗分割特征，并将肺部CT切片以二值图形式存储，能够大大减少数据量。经过大量实验研究表明，二值化阈值为0.5，可以使得结果中对肺部的分割更加准确。

微调处理模块中，膨胀是指采用二值形态学运算对肺部3D二值图进行扩大区域处理，腐蚀是指采用二值形态学运算对肺部3D二值图进行缩小区域处理，闭合是指采用二值形态学运算填充肺部3D二值图的区域内小孔并消除便捷缺口处理，开启是指采用二值形态学运算去掉肺部3D二值图的区域边界外凸结构。微调后获得轮廓更加清晰且杂质更少的肺部3D二值图，同时填补内部漏洞。

具体地，所述肺分割模块是利用大量肺部3D二值图训练U-Net网络获得的。在U-Net网络中，输入肺部3D二值图经过19个卷积层、4次下采样、4次上采样操作，输出分割概率图。

3D U-Net网络的性能受限于GPU和VRAM资源，另外，CT图像中的各向异性分辨率，使得训练出具有高区别度的3D滤波器变得困难。因此，为了利用数据集中不同切片之间的位置信息，本发明使用3D条件随机场(conditionalrandomfield,CRF)对结果进行处理。条件随机场(CRF)结合了最大熵模型和隐马尔可夫模型的特点，是一种无向图模型，近年来在多项标注任务中取得了很好的效果。结合上述得到的分割概率图，使用条件随机场进行微调，输出最终的肺部分割结果。

与现有技术相比，本发明具有的有益效果为：

结合经典图形学算法、U-net网络和CRF技术对CT图像中的肺进行分割，得到的结果准确且具有光滑边界。

附图说明

图1是实施例提供的基于混合粗分割特征的3D U-Net网络的肺分割装置的结构示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

图1是实施例提供的基于混合粗分割特征的3D U-Net网络的肺分割装置的结构示意图。如图1所示，实施例提供的肺分割装置包括：高斯滤波模块101、二值化模块102、连通区域标记和筛选模块103、尺寸匹配模块104、微调处理模块105、肺分割模块106、优化模块107。高斯滤波模块101用于原始肺部CT切片进行平滑处理。具体地，采用旋转对称性的高斯滤波器对原始肺部CT切片进行平滑处理，且高斯滤波器窗口大小为3*3，高斯分布的标准差为1。具体地操作时，不断移动高斯核，遍历原始输入肺部CT切片，在每一个窗口中，将输入图像的像素值作为权重，与核相乘，然后将各部分得到的乘积结果相加即可生成输出图像。

二值化模块102用于对对平滑处理后的肺部CT图像进行二值化处理，获得二值图。具体地，根据该二值化阈值0.5，将平滑处理后的肺部CT图像中大于该二值化阈值的像素点设置为白色，其余像素点为黑色，获得二值图。

连通区域标记和筛选模块103用于标记出二值图的连通区域，并筛选掉面积大于600个像素和面积小于50个像素的连通区域。

尺寸匹配模块104用于将每张连通区域标记和筛选后的二值图与原始肺部CT图像进行比较，筛选获得与肺容量大小匹配的连通区域，并对该连通区域进行标记，然后，按照切片标号顺序对二值图进行组合，得到肺部3D二值图。

微调处理模块105用于采用形态学方法对肺部3D二值图进行膨胀、腐蚀、闭合、开启以及填补处理，获得最终的肺部3D二值图。

具体地，采用二值形态学运算对肺部3D二值图进行扩大区域处理，采用二值形态学运算对肺部3D二值图进行缩小区域处理，采用二值形态学运算填充肺部3D二值图的区域内小孔并消除便捷缺口处理，采用二值形态学运算去掉肺部3D二值图的区域边界外凸结构。微调后获得轮廓更加清晰且杂质更少的肺部3D二值图，同时填补内部漏洞。

肺分割模块106，采用训练完毕的3D U-Net网络对原始肺部CT图像和肺部3D二值图进行计算，输出分割概率图。结合原始图像和3D二值图有利于分割结果更加精确可靠，边界处更加平滑。

U-Net网络作为一种编码器-解码器结构，能够有效解决FCN分割过于粗糙问题，编码器通过卷积与下采样逐层减少池化层的空间维度，解码器通过卷积和上采样逐层修复物体的细节和空间维度。编码器和解码器结构之间通常存在横向连接，使得编码器能够帮助解码器更好地修复目标细节。具体地，输入图像(原始肺部CT图像和肺部3D二值图)经过19个卷积层、4次下采样、4次上采样操作，输出分割概率图，输入图像尺寸大于输出分割概率图。

优化模块107用于采用条件随机场对分割概率图进行计算，输出最终肺部分割结果。

表1为使用形态学处理方法和不使用形态学处理方法处理输入图像，对3D U-Net网略的影响结果对比。

表1

	使用形态学	不使用形态学
			召回率	88％	82％
收敛所需epoch数	60	70

分析表1可得，使用形态学处理输入图像，肺分割装置的召回率为88％，收敛所需epoch数为60，与不使用形态学处理输入图像相比，装置的分割精度和准确率较高。

表2均为使用CRF和不使用CRF对肺分割装置的影响结果对比。

表2

	使用CRF	不使用CRF
			召回率	95％	90％

分析表2可得，使用CRF对输出的分割概率图进行处理，能够提升装置的分割精度和准确率。

本实施例提供的肺分割装置同时使用上述两个处理方法，因此，能够很大程度地提高装置的分割精度和准确率，满足应用需求。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于混合粗分割特征的3D U-Net网络的肺分割装置，其特征在于，包括：

肺部3D二值图生成模块，对原始肺部CT切片依次进行高斯滤波、二值化、标记连通区域并筛选、尺寸匹配以及微调处理，生成肺部3D二值图；

肺分割模块，采用训练完毕的3D U-Net网络对原始肺部CT图像和肺部3D二值图进行计算，输出分割概率图；

优化模块，采用条件随机场对分割概率图进行计算，输出最终肺部分割结果。

2.如权利要求1所述的基于混合粗分割特征的3D U-Net网络的肺分割装置，其特征在于，所述肺部3D二值图生成模块包括：

高斯滤波模块，采用高斯滤波器对原始肺部CT切片进行平滑处理；

二值化模块，根据设定的二值化阈值，对平滑处理后的肺部CT图像进行二值化处理，获得二值图；

连通区域标记和筛选模块，采用连通区域算法标记出二值图的连通区域，并筛选掉面积大于600个像素和面积小于50个像素的连通区域；

尺寸匹配模块，将每张连通区域标记和筛选后的二值图与原始肺部CT图像进行比较，筛选获得与肺容量大小匹配的连通区域，并对该连通区域进行标记，然后，按照切片标号顺序对二值图进行组合，得到肺部3D二值图；

微调处理模块，采用形态学方法对肺部3D二值图进行膨胀、腐蚀、闭合、开启以及填补处理，获得最终的肺部3D二值图。

3.如权利要求1所述的基于混合粗分割特征的3D U-Net网络的肺分割装置，其特征在于，高斯滤波模块中，采用旋转对称性的高斯滤波器对原始肺部CT切片进行平滑处理，高斯滤波器窗口大小为3*3，高斯分布的标准差为1。

4.如权利要求1所述的基于混合粗分割特征的3D U-Net网络的肺分割装置，其特征在于，在二值化模块中，二值化阈值为0.5。