CN110503649B

CN110503649B - 一种基于空间多尺度U-net与超像素修正的肝脏分割方法

Info

Publication number: CN110503649B
Application number: CN201910605862.XA
Authority: CN
Inventors: 雷涛; 连倩; 丁菊敏; 加小红; 刘鹏
Original assignee: Shaanxi University of Science and Technology
Current assignee: Shaanxi University of Science and Technology
Priority date: 2019-07-05
Filing date: 2019-07-05
Publication date: 2022-09-30
Anticipated expiration: 2039-07-05
Also published as: CN110503649A

Abstract

一种基于空间多尺度U‑net与超像素修正的肝脏分割方法，首先，利用调窗算法增强肝脏图像的对比度，并通过高斯滤波抑制噪声干扰；其次，利用空洞空间金字塔池化U‑net模型分割肝脏预处理图像，得到肝脏初步分割结果；再次，利用形态学膨胀算法获取肝脏的过分割结果；最后，应用FSLIC‑E超像素算法修正肝脏初步分割图像，从而获得肝脏的精确边缘，本发明结合了ASPP‑U‑net和FSLIC_E超像素算法各自的优点，弥补了U‑net对肝脏图像分割鲁棒性较差的问题，能较好地应用于肝脏图像的自动分割，解决传统网络对模糊肝脏影像分割精度低的问题，具有分割精度高的特点。

Description

一种基于空间多尺度U-net与超像素修正的肝脏分割方法

技术领域

本发明属于图像处理及模式识别技术领域，特别涉及一种基于空间多尺度U-net与超像素修正的肝脏分割方法。

背景技术

在肝脏疾病的初期诊断中，一直以医学影像为医生的诊疗依据，来初步判断肝脏疾病的严重程度。为了辅助医生对肝脏病症患者进行疾病诊断及治疗方案制定，需要对肝脏区域进行精准分割。目前，计算机视觉结合医学影像研究已成为智能医疗领域热点。基于医学影像的肝脏分割技术可以获取肝脏大小以及几何形状等信息，从而辅助医生的初期诊断和治疗。

目前，研究人员已经提出大量的肝脏分割算法，可分为两大类：传统算法，深度学习算法。传统算法包括：水平集法、主动轮廓法、阈值法、图割法、聚类算法等。针对传统的区域生长算法需要人为设定停止生长阈值的问题，Gambino等人提出一种基于纹理的区域生长肝脏分割算法，该算法可自动计算区域生长停止条件的阈值，但对于灰度不均匀肝脏图像无法准确地获取目标边界。水平集算法对同质的目标区域分割效果较好，但容易陷入局部极小值，Goceri等人提出一种基于变分水平集的肝脏分割算法，该方法使用自适应有符号压力函数获取肝脏边缘，并在此基础上利用索伯列夫空间梯度进行水平集的演化，得到肝脏分割结果。但该方法在处理边缘模糊的肝脏图像虚假边缘处常常会出现停止演化的问题，导致分割结果不准确。针对主动轮廓模型受初始轮廓影响较大的问题，Zareei等人提出一种基于主动轮廓模型的肝脏自动分割算法，首先根据图像能量得到一个接近肝脏边界的初始分割，然后采用融合梯度矢量流失的主动轮廓模型改进初始分割结果，但是当肝脏轮廓边缘的存在肿瘤时会导致分割失败。传统阈值算法需要人为设定阈值，Farzaneh等人利用自适应阈值得到目标区域并使用超像素算法约束肝脏区域边界，得到最终的肝脏分割结果，但该算法只适用于目标和背景区域对比度明显的图像。针对一般传统算法在一定程度上不能兼顾边缘信息和区域信息，Li等人提出了一种基于形状约束和图割模型的肝脏分割算法，通过使用阈值与欧式距离变换获得肝脏的初始位置，然后利用图割算法得到最终的肝脏分割结果。该方法可以在有效避免对灰度相似区域的误分割，但对于肝脏边界模糊和肝脏内发生病变的情况，分割精度会明显下降。针对模糊C均值(Fuzzy C-means,FCM)和K-means聚类算法需要人为设定聚类数目，Chi等人提出一种基于自组织映射的凝聚层次聚类肝脏自动分割方法，首先通过自组织映射对图像的局部特征进行训练，然后对输出结果进行过滤，最后使用凝聚层次聚类得到肝脏分割结果，但该方法对肝脏周围灰度相似组织存在误分割现象，且分割结果边界不平滑。传统肝脏分割算法主要采用人工设计的特征模板提取图像特征，这种特征提取方式所获得的特征数量较少，容易将接近于肝脏灰度值的非肝脏组织错分为肝脏区域，且当肝脏内发生病变或者CT成像过程中设备的参数不同时，最终分割结果误差较大。

相比于传统肝脏分割方法，深度学习方法能够充分利用大量训练样本的数据多样性，使得肝脏分割结果优于传统方法的分割结果。卷积神经网络(ConvolutionalNeuralNetwork,CNN)是一种经典的深度学习模型，可以捕捉输入与输出之间复杂的非线性映射。而在此基础上改进的全卷积神经网络(Fully Convolutional Networks,FCN)可直接实现端到端的图像分割。针对直接采用FCN网络模型进行肝脏分割时存在定位不准确的问题，Ben等人采用基于VGG-16修改的FCN来实现肝脏分割以及肝脏损伤程度的检测，但是该方法的分割结果无法准确地定位目标区域，存在误分割情况。Christ等人采用级联的U-net模型实现肝脏以及肝脏肿瘤分割，该方法能得到较好的肝脏肿瘤分割效果，但是分割边缘不够精细，平滑度较差。

将传统方法与深度学习方法结合，可以在自动识别出肝脏具体位置的同时兼顾目标区域和边缘细节，因此设计合适的传统算法与深度学习算法组合模型能有效解决肝脏分割难题，具有广阔的应用前景。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供一种基于空间多尺度U-net与超像素修正的肝脏分割方法，能较好地应用于肝脏图像的自动分割，解决传统网络对模糊肝脏影像分割精度低的问题，具有分割精度高的特点。

为了达到上述目的，本发明采取的技术方案为：

一种基于空间多尺度U-net与超像素修正的肝脏分割方法，步骤如下：

步骤1：对肝脏CT数据进行窗宽窗位的调整，将窗宽值设置为300-500hu，窗位值设置为50-150hu，以便清晰地显示肝脏区域，并利用高斯滤波器对数据进行去噪，然后对数据进行归一化处理；

步骤2：对U-net中将要级联的两个特征图中收缩路径部分进行空洞空间金字塔池化(Atrous spatialpyramid pooling,ASPP)，并与扩张路径中的特征图进行级联从而得到ASPP-U-net模型；并对此模型进行训练，并将测试图像输入至ASPP-U-net中，输出肝脏初步分割结果；对肝脏初步分割结果进行膨胀得到肝脏的过分割结果；然后对过分割结果使用FSLIC-E超像素算法，将生成的轮廓线与肝脏初步分割结果叠加；

步骤3：计算各超像素块中肝脏初始分割结果的占比，并利用膨胀后的分割结果对肝脏初步分割结果进行边界修正，得到最终的肝脏分割结果。

所述步骤1数据集预处理采用W/L(Window-Leveling)调窗算法将肝脏CT数据进行窗宽窗位的调整，将窗宽值设置为400hu，窗位值设置为100hu，并将数据的灰度像素归一化至[-200，200]范围内。

所述步骤2具体实施步骤如下：

提出ASPP-U-net模型：对U-net中将要级联的两个特征图中收缩路径部分进行空洞空间金字塔池化(Atrous spatial pyramid pooling,ASPP)，并与扩张路径中的特征图进行级联；

训练网络并进行初步分割：给定网络运行参数，对ASPP-U-net进行训练，直至网络收敛；并将测试图像输入至ASPP-U-net中，得到肝脏的初步分割结果；

形态学处理：对ASPP-U-net初步分割结果进行膨胀处理得到肝脏的过分割结果，并利用此掩膜图像提取原图信息；

FSLIC-E超像素算法：在SLIC算法基础上将纹理信息融入距离的度量，并利用高斯核函数将矢量信息映射到高维，最后提出只对超像素的部分像素进行迭代分类。

所述步骤3具体操作如下：

计算占比并进行边界修正：对第(3)步的输出图像做FSLIC-E超像素算法计算，形成超像素网格，然后对ASPP-U-net的初步分割结果计算占比并进行边缘修正。

本发明与现有技术相比的有益效果为：

1、本发明设计了一种新的超像素算法，该算法将肝脏的纹理信息与颜色信息、空间信息进行融合，并通过高斯核函数将这四维矢量映射到高维，更易实现像素点的分类；其次在迭代求最优解过程中通过只考虑部分像素实现算法的快速收敛。

2、本发明设计了一个全新的肝脏自动分割网络模型，该模型通过在级联处引入ASPP模块可以在多个尺度上捕捉目标区域的信息，同时将ASPP-U-net网络和FSLIC-E超像素算法结合兼顾了目标区域和边缘细节，使分割结果的边界更平滑，分割精度更准确。

实际应用中肝脏图像具有较高的复杂性和形状差异性，与周围相邻器官间的边界难以区分，传统网络难以实现肝脏区域的高精度分割。因此针对该问题，本发明提出一种基于空间多尺度U-net与超像素修正的肝脏分割方法，旨在自动分割出肝脏区域的同时修正初步分割结果的边界，使最终分割结果边界更加平滑准确，由此提高肝脏自动分割的准确率。与现有的肝脏自动分割方法相比，本发明利用ASPP-U-net可以在一定程度上排除肝脏病变干扰，确定肝脏初始轮廓，并采用FSLIC-E超像素算法提高分割轮廓的平滑度，实现更为精准的肝脏分割，具有广阔的应用前景。

附图说明

图1为本发明的流程图。

图2为本发明的ASPP-U-net网络模型。

图3为ASPP网络模型。

图4为利用5种肝脏分割方法对公开数据集3DIRCADb图像。图4中的(a)-(e)和图5中的(a)-(e)分别为图割法、图割和边缘匹配法(Graph cuts and border marching,GCBM)、FCN、U-net和本发明的结果图。红色线代表对应方法分割结果，绿色线代表金标准。

图5为DataA数据进行肝脏分割得到的视觉结果图。红色线代表对应方法分割结果，绿色线代表金标准。

具体实施方式

下面结合实施例对本发明做进一步详细说明。

附图1是本发明实现步骤的流程原理框图，针对传统网络在分割肝脏边界较模糊的影像数据时容易错失位置信息，导致分割精度低的问题，本发明设计了一种超像素结合深度学习的肝脏分割方法。本发明方法具体描述如下：

(1)数据集预处理：先采用W/L调窗算法将肝脏CT数据设置至合适的对比度，W/L算法步骤为：

(a)将图像DICOM转为HU公式为：

HU＝D*RS+RI

其中，HU为图像DICOM值转化后的输出值；D为图像的DIOCM值；RS为重新调节斜率值，本发明设置RS值为1；RI为重新调节截距值，本发明设置RI值为-1024。

(b)计算映射区间最小值(min)和最大值(max)，映射公式为：

min＝(2*WC-WW)/2.0

max＝(2*WC+WW)/2.0

其中，WW(window width)为窗宽，这里取400hu；WC(window center)为窗位，这里取100hu；

(c)将HU映射到灰度区间[0，255]为：

其中，g为调窗后的输出图像。

其次用δ＝0.5的高斯滤波器对输入的CT数据进行去噪；将数据的灰度像素归一化至[-200，200]范围内，并导出为图片，分辨率大小为512×512；

(2)提出ASPP-U-net模型：对U-net中将要级联的两个特征图中收缩路径部分进行空洞空间金字塔池化(Atrous spatial pyramid pooling,ASPP)，并与扩张路径中的特征图进行级联，从而可以在多个尺度上捕捉目标区域内容。ASPP-U-net模型结构如图2、图3所示。

(3)训练网络并对肝脏进行初步分割：本网络训练阶段使用腹部CT图像和金标准作为输入。ASPP-U-net模型运行参数为：初始学习率η＝1×10^-4，且每经过一个周期学习率衰减为0.9倍；权重w＝0.0005；动量因子α＝0.99；最小批量输入m＝4；周期epo(epochs)＝30；再将测试图像输入至ASPP-U-net中，输出肝脏初步分割结果IM_o，图像分辨率大小为512×512；

(4)形态学处理：将ASPP-U-net初步分割结果进行膨胀处理得到过分割结果，并利用此掩膜图像提取原图信息，得到图像IM_d；膨胀运算中的结构元素取10；

(5)提出FSLIC-E超像素算法：在SLIC超像素算法度量距离公式中引入纹理信息，并将矢量空间映射到高维，最后提出只对部分像素进行迭代分类，加快算法运行速度。

(a)在SLIC算法的距离度量公式中引入二维图像熵，二维图像熵的定义如下：

其中，E表示熵值；i表示像素的灰度值(0≤i≤255)；j表示邻域灰度均值(0≤j≤255)；p_ij表示二元特征组(i,j)出现的频数，公式为：

p_ij＝f(i,j)/N²

其中，f表示图像灰度值，f(i,j)表示i，j坐标处的图像灰度值；N表示图像的大小；这里取像素点9邻域大小的图像，并将9邻域的熵值作为该点的熵值。

(b)其次引入高斯核函数，将膨胀后肝脏图像的灰度值，空间坐标信息和图像熵纹理信息这3维矢量映射到高维空间，核方法中的距离度量公式可写为：

||φ(x)-φ(y)||²＝2(1-K(x,y))

其中，x，y是低维空间内的元素；φ(·)表示从低维空间到高维空间的变换；K(x,y)是从低维空间到高维空间的显示映射函数，这里采用高斯核函数，有：

其中，σ是高斯核函数尺度参数，可用样本方差来估计；本发明中的尺度参数均取值为0.04；

(c)引入二维图像熵和高斯核函数后，在度量像素点与聚类中心的四维矢量特征时，将原SLIC算法中的欧式距离的平方d²(x,y)＝||x-y||²用高维空间中的高斯核函数距离度量公式||φ(x)-φ(y)||²替代，新的距离公式可写为：

其中，d_C表示颜色空间的距离；C_k表示聚类中心；i表示像素点；h_C表示聚类中心的灰度值；h_i表示像素点的灰度值；σ_C表示颜色特征中的高斯核函数尺度参数；

其中，d_S表示位置空间的距离；x_C，y_C表示聚类中心的坐标值；x_i，y_i表示像素点的坐标值；σ_S表示位置特征中的高斯核函数尺度参数；

其中，d_T表示纹理空间的距离；e_C表示聚类中心的熵值；e_i表示像素点的熵值；σ_T表示纹理特征中的高斯核函数尺度参数。总距离公式为：

其中，D(C_k,i)表示像素点与聚类中心点的六维矢量距离；N_C表示最大颜色距离，这里取10；N_S表示类内最大空间距离，这里取播撒种子点的步长值；N_T表示类内最大纹理距离，这里取区域内的纹理最大值。

(d)最后在迭代过程中只对部分像素进行标签的分配，即只对超像素的部分像素进行距离计算和类别调整。首先迭代一次后，在生成超像素块内计算每个像素与聚类中心的差异程度，当像素点的灰度值与聚类中心灰度值的欧式距离小于λ倍的标准差时，将该像素点视为不稳定像素，判断公式如下：

UP＝{u_piont|||h_i-h_j||＜λ·σ_i}

其中，u_piont表示不稳定像素点；UP表示不稳定像素点集；h表示灰度图像的强度值，h_i表示当前类簇内像素点的灰度值，h_j表示j类簇内聚类中心的灰度值；

表示当前区域内强度值的均值；i表示当前类簇内的像素点；j表示第j个类簇；σ_i是j类簇内像素点i灰度值的标准差；λ为常数，这里取4；N表示当前类簇内的像素点个数；

其次在每次迭代后计算出不稳定像素集，在下次迭代中为不稳定像素点分配标签，直至达到最大迭代次数。这样只对部分像素迭代分配标签，一定意义上对图像进行了降尺度处理，从而降低运算时间复杂度，加快算法运行速度；

(6)计算占比并进行边缘修正：将第(3)步的输出结果图IM_d使用FSLIC-E超像素算法进行分割，将得到的超像素轮廓线叠加在ASPP-U-net初步分割结果图IM_o上。首先对每一个超像素块中肝脏初步分割结果像素点的占比进行计算，计算占比公式如下：

其中，T_i(i＝1,2,3,···,N)表示每一个超像素块中初始分割结果像素数与超像素块总像素数的比值；m_i表示初始分割结果IM_o中各超像素块的像素数；Z_i表示各超像素块中的总像素个数。利用如下公式进行超像素修正：

其中，I_i表示超像素算法优化后的超像素块；im_oi表示IM_o图像中的超像素块；im_di表示IM_d图像中的超像素块。上式描述的是当T≥0.5时，使用IM_d图中对应的超像素块im_di替代初始分割结果；当T＜0.5时，使用IM_o图中对应的超像素块im_oi替代初始分割结果。

本发明的效果可以通过以下实验进一步说明。

为了测试本发明分割肝脏图像的准确性和优越性，硬件实验平台：CPU为IntelCore i9-9900X 10，3.5GHz，128GB双GPU为NVIDIA GeForce RTX 2080Ti；软件平台：U-net网络在PyTorch开源框架下实现。实验采用3DIRCADb公开数据集中的10例影像数据和DataA(由飞利浦256CT设备对人体肝脏进行测量获取)数据集中的70例影像数据进行网络模型的训练，剩余数据作为测试集。本发明通过计算以下几个指标参数来评估算法性能，分别是：

ASD＝mean({B_pred,B_gt})、MSD＝max({B_pred,B_gt})、

其中，VOE表示体积重叠误差；ASD表示平均对称表面距离；MSD表示最大对称表面距离；IoU表示交并比；V_seg代表算法分割结果；V_gt代表金标准结果；B_pred表示预测边界；B_gt表示金标准边界；表1是用上述四个指标对对比方法和本发明方法实验结果进行计算得到的实验指标；图4和图5是对比方法和本发明在测试图像上的肝脏分割视觉效果图。

表1是利用5种肝脏分割方法对测试图像进行肝脏分割后，计算以下4个指标参数：VOE(Volumetric Overlap Error)、ASD(Average Symmetric Surface Distance)、MSD(MaxSymmetric Surface Distance)、IoU(IntersectionoverUnion)得到的结果。

表1在测试集上的各项指标的平均值及标准差

评价结果如表1所示，FCN算法指标总体比U-net算法、图割法和GCBM算法得分高，验证了空洞空间金字塔池化U-net(Atrous spatial pyramid pooling U-net,ASPP-U-net)模型学习特征比传统网络提取特征更有优势。本文算法模型的Iou比U-net网络的Iou指标升高了1.12％，VOE指标降低了1.19％，表明本文算法能更好地分割肝脏的细节区域，使得分割结果更加精细。表1中的数据表明本文算法拥有较小的MSD，能够更好地获取肝脏边界。对于其余指标经FSLIC-E超像素算法优化后均有提升，明显优于对比方法。

图割算法是基于颜色统计采样的方法，因此对前景和背景灰度值相差较大的图像分割效果较佳。由图4、图5所示，Massoptier等人提出的传统的图割算法对肝脏区域灰度值均匀的图像分割效果良好，但是对于与肝脏灰度相近的相邻组织会产生误识别现象，且当肝脏内有严重病变的情况时，如图4(a)的第一行分割结果所示，分割效果较差。Liao等人提出的GCBM方法将亮度模型和外观模型融合在图割的能量函数中，提高了肝脏区域与周围组织的对比度，对灰度相似的非肝脏区域误识别现象有所改善，但是当肝脏内有严重病变时，该算法并不能排除病变区域的干扰，完整地分割出肝脏区域。此外，图割算法需要人工标记前景与背景，难以实肝脏全自动分割。所以从一定程度来讲，图割算法并不能很好的解决肝脏分割问题。

FCN网络中的池化层受感受野扩大等因素的影响，导致细节信息丢失，虽然VGG-16修改的FCN可以在一定程度上避免肝内病变的干扰，但对于复杂背景的肝脏影像，难以准确定位，如图5(c)的一、三行分割结果所示，脾脏被错分割为肝脏，存在误分割现象。U-net可分割出肝脏所在区域的轮廓，但无法获得肝脏的精确边界，且分割结果存在孔洞。如图4(e)、图5(e)所示，因为本发明在U-net分割的基础上引入ASPP模块并采用FSLIC-E超像素算法进行修正，而FSLIC-E超像素算法对图像边缘具良好的响应，弥补了网络分割结果不精确的问题，所以可以提高肝脏图像的分割精度。通过对图4、图5和表1的综合分析，本发明所提出的基于超像素修正和空间多尺度U-net的肝脏分割方法能实现更高精度的肝脏分割，在智能医疗具有广泛的应用前景。

Claims

1.一种基于空间多尺度U-net与超像素修正的肝脏分割方法，其特征在于，包括如下步骤：

步骤2：对U-net中将要级联的两个特征图中收缩路径部分进行空洞空间金字塔池化，并与扩张路径中的特征图进行级联从而得到ASPP-U-net模型；并对此模型进行训练，并将测试图像输入至ASPP-U-net中，输出肝脏初步分割结果；对肝脏初步分割结果进行膨胀得到肝脏的过分割结果；然后对过分割结果使用FSLIC-E超像素算法，将生成的轮廓线与肝脏初步分割结果叠加；

2.根据权利要求1所述的一种基于空间多尺度U-net与超像素修正的肝脏分割方法，其特征在于，所述步骤1数据集预处理采用W/L调窗算法将肝脏CT数据进行窗宽窗位的调整，将窗宽值设置为400hu，窗位值设置为100hu，并将数据的灰度像素归一化至[-200，200]范围内。

3.根据权利要求1所述的一种基于空间多尺度U-net与超像素修正的肝脏分割方法，其特征在于，所述步骤2具体实施步骤如下：

4.根据权利要求1所述的一种基于空间多尺度U-net与超像素修正的肝脏分割方法，其特征在于，所述步骤3具体操作如下：