CN108776969B - 基于全卷积网络的乳腺超声图像肿瘤分割方法 - Google Patents

Abstract

本发明属于图像处理技术领域，具体为基于全卷积神经网络的乳腺超声图像肿瘤分割方法。本发明方法包括：构建基于空洞卷积的全卷积神经网络，用于粗略分割超声图像上获得乳腺肿瘤；构建的DFCN网络中，使用空洞卷积，从而使网络保持较深层的特征图的分辨率，以确保在有大量阴影区域的情况下也能很好地分割肿瘤；此外，DFCN网络中还使用批量归一化技术，使得网络具有更高的学习率，加速了训练过程；利用基于相位信息的动态轮廓PBAC模型，对于粗略分割结果进行优化，得到最终精细的分割结果；实验结果表明，本发明可以准确地分割肿瘤，尤其对边界模糊、阴影多的超声图像有很好的分割结果。

Description

基于全卷积网络的乳腺超声图像肿瘤分割方法

技术领域

本发明属于图像处理技术领域，具体涉及基于全卷积网络的乳腺超声图像肿瘤分割方法。

背景技术

超声成像技术具有无创、无辐射、实时性好和价格低廉等优点，在乳腺肿瘤筛查和诊断方面应用广泛。临床应用中，通常由超声科医师手动描绘乳腺超声图像中肿瘤的轮廓，这是非常耗时的。此外，手动分割结果高度依赖超声科医师的经验，不同观察者分割的结果不尽相同。然而，由于超声成像的特性，乳腺超声图像的自动分割存在以下问题：1)严重的斑点噪声导致超声图像的对比度低和边界模糊；2)图像中存在大量的阴影区域，其与肿瘤区域在灰度和纹理信息上较相似，使得全自动方法难以实现；3)乳腺肿瘤的形状、大小和位置差异较大，这对分割算法的准确性和鲁棒性提出了更高要求[1]。

近年来，基于卷积神经网络(Convolutional Neural Network,CNN)的分割方法在医学图像的研究中有着大量的研究，主要分为基于块的CNN方法[2]、全卷积神经网络(Fully Convolutional Network,FCN)[3]和U-net[4]三大类。然而，乳腺超声图像中存在大量阴影和斑点噪声，使得基于块的CNN或U-net很难获得满意的分割结果。FCN更适合乳腺超声图像分割，但原始的FCN-8s网络参数太多，训练过程需要很长时间，且分割精度还有待提高。

针对上述问题，本发明提出了一种基于全卷积神经网络的乳腺超声图像肿瘤分割方法，通过一个改进的全卷积神经网络获得肿瘤粗略的分割结果，该结果已经十分接近肿瘤的实际轮廓，用它作为基于相位的活动轮廓模型的初始轮廓，进一步优化分割结果，从而得到最终的精细的分割结果。

发明内容

本发明的目的是提出一种全自动分割超声乳腺超声图像中肿瘤的方法。

本发明提出的分割超声乳腺超声图像中肿瘤的方法,是基于全卷积网络，其具体步骤为：

(一)构建基于空洞卷积的全卷积神经网络，用于粗略分割超声图像上获得乳腺肿瘤；

首先，构建基于空洞卷积的全卷积神经网络(Dilated fully convolutionalneural network,简记为DFCN)，然后在超声图像对乳腺肿瘤进行相对粗略分割，所谓粗略分割，就是使分割结果达到能较好地显示出肿瘤位置和边界的要求，细节部分仍需进一步优化。

构建的DFCN网络中，使用空洞卷积，从而使网络保持较深层的特征图的分辨率，以确保在有大量阴影区域的情况下也能很好地分割肿瘤。此外，DFCN网络中还使用批量归一化技术，使得网络具有更高的学习率，加速了训练过程。

(二)利用基于相位信息的动态轮廓PBAC(Phase-based active contour,PBAC)模型，对于上一步得到的分割结果进行优化，得到最终精细的分割结果。

该步骤中，使用由DFCN标定的肿瘤边缘作为动态轮廓PBAC模型的初始边界，经过多次迭代，进一步优化DFCN的结果。

下面就本发明方法的各个步骤涉及的相关技术细节作进一步的具体描述。

步骤(一)中，基于空洞卷积的全卷积神经网络，是一种改进的全卷积神经网络，命名为DFCN的网络，其结构如图1所示，包括依次连接的6个层，其中，层1包含：Block(块)1、Block(块)2、一个最大池化层(Maxpooling)；层2包含：Block(块)3、Block(块)4、一个最大池化层(Maxpooling)；层3包含：Block(块)5、Block(块)6、Block(块)7、Block(块)8、一个最大池化层(Maxpooling)；层4包含：Block(块)9、Block(块)10、Block(块)11、Block(块)12、Block(块)13；层5包含：Block(块)14、Block(块)15、Block(块)16、Block(块)17、Block(块)18；层6包含：Block(块)19；参见图1(a)所示；其中每个Block(块)结构由卷积层(Conv)、批量归一化(Batch Normalization,BN)层[5]和修正线性单元层(ReLU)组成，参见图1(b)所示。

在Block(块)13和Block(块)18中，在每个卷积层中对卷积核的每个参数的四周使用零填充，形成空洞卷积，以保持输出特征图的大小不变；批量归一化层使得网络不需要过于关注初始化权值的影响，并允许使用更高的学习率，极大地方便了网络的训练。

图1(a)中的Conv(卷积层)1、Conv(卷积层)2和Conv(卷积层)3是跳跃连接，分别利用层6、层4和层3的特征进行特征融合，使得网络可以较好地融合不同深度的特征，使得分割结果可以更加精细。

对于乳腺超声图像使用DFCN网络，经过层1-层6处理，可以从乳腺超声图像中有效提取不同深度的适合肿瘤分割的特征。

本发明中，每个块(Block)中用“M×M×H”表示卷积层的参数，M是卷积核大小，H是特征图的通道数。例如，在块1中，“3×3×64”表示块1中的卷积层具有3×3大小的卷积核和64个特征通道。DFCN中的每个最大池化层具有2×2的核大小和2的步长。设输入图像大小为P×Q，块1、2和3中分别使用了一次最大池化层，所以包含2层卷积层的层1输出特征图的分辨率为

特征通道数为64；包含2层卷积层的层2输出特征图的分辨率为

特征通道数为128；包含4层卷积层的层3输出特征图的分辨率为

特征通道数为256。而在层4和层5中，使用了空洞卷积代替最大池化层的作用，使得网络在扩大感受野的同时，保持原有分辨率大小，层4和层5均包含4层卷积层和1层空洞卷积层，它们输出特征图的分辨率均为

特征通道数均为512。

本发明中，考虑到具有更深特征的卷积层对精确预测的贡献更大，本发明将Conv(卷积层)1、Conv(卷积层)2和Conv(卷积层)3的学习率分别设置为整个网络学习率的1倍、10％和1％。同时在Conv(卷积层)1之后添加丢失层以防止网络出现过拟合，丢失率为0.5。最后，在对三个跳跃结构的输出经过叠加层求和后，使用反卷积层进行8倍上采样，使得最后的输出结果与输入图像在图像大小上保持一致。

本发明设计的DFCN网络中，在Block(块)13和Block(块)18中运用了空洞卷积。常规的扩大感受野的方法是使用最大池化层，但是在端到端的语义分割中，池化操作会降低特征图的分辨率。空洞卷积是在常规的卷积操作的基础上，通过在卷积核中每个参数的四周插入值为0的空洞，从而使得在增加感受野的同时不丢失特征图的分辨率[6]。图2展示了使用不同空洞率的卷积核大小为3×3且步长为1的空洞卷积的感受野的情况。一个卷积核大小为3×3常规卷积的感受野为5×5，而一个卷积核大小为3×3和空洞率为2的空洞卷积会在每个卷积核的参数的四周都插入0，使得感受野扩大为7×7。而空洞卷积通过扩大感受野而又不降低特征图分辨率的方法来得到分辨率更高的预测结果，从而提高网络对小物体和边缘细节的敏感度。但是，考虑到完全不进行下采样的特征图的分辨率很高，使得卷积运算会花费很多的时间，故这里并没有使用空洞卷积代替所有的最大池化层。

本发明设计的DFCN网络中，运用了权值随机初始化和批量归一化。批量归一化的作用主要有两点：一是解决反向传播过程中的梯度消失和梯度爆炸问题；二是减少网络对权值初始化的结果的要求，允许使用更高的学习率，以加快网络训练过程[5]。

记h_l为第l层的输出；则h_l-1作为第l-1层的输出，也就是l层的输入。记w_l为第l层的卷积核的权重，则前向传播可以表示为：

那么反向传播时可以表示为：

那么从第l层到第k层时，梯度为：

在网络层数较多的情况下，若w_i小于1，则Πw_i会很小，那么传递下来的梯度就会很小，将出现梯度消失的问题；若w_i大于1，则Πw_i会很大，那么传递下来的梯度就会很大，将出现梯度爆炸的问题。

而批量归一化的主要操作就是进行了一个类似白化的处理，经过批量归一化操作后的输出y_i可以表示为：

其中，

其中，{x₁，x₂，…，x_m}是一个批量(batch)中输入的元素，m是其中元素的个数。γ和β是两个可学习的参数，用于数的缩放和平移，以增强网络的表达性。

这样，通过加入批量归一化实现网络输出的归一化，解决了反向传播过程中的梯度消失和梯度爆炸问题。同时，批量归一化对输出的归一效果又使得网络对权值的更新不是特别敏感，从而使得网络对初始化的权值以及权值更新的学习率不敏感，允许网络使用更高的学习率，加速了网络的训练。

传统的FCN-8s网络是对已经在ImageNet数据集预先训练好的VGG-16网络针对具体的分割问题进行迁移学习，而本发明提出的DFCN网络是全新设计的，无法从现有网络中预先得到权重。因此，本发明使用了Xavier权重初始化的方法对卷积层中核的权重进行初始化。同时在网络中增加了批量归一化层，使网络可以使用更高的学习率，加速网络训练过程。

二、步骤2中利用基于相位信息的动态轮廓PBAC模型，对于上一步得到的分割结果进行优化。DFCN的一个局限性在于8倍上采样得到的分割结果的分辨率不高。由于乳腺超声图像边界模糊且阴影区域多，直接通过网络得到精确的分割结果很难实现。另外，一些肿瘤很小，难以在大面积的乳腺超声图像中实现足够精细的分割。为了克服这些问题，本发明使用PBAC模型[7]来优化DFCN的输出结果。

PBAC模型结合边缘和区域的信息，其能量函数由两部分组成：基于区域的能量函数E^RSF和基于相位的边缘能量函数E^PA。总能量函数E^PBAC为：

E^PBAC＝E^RSF+E^PA(8)

其中，

其中，|C|为曲线C的长度，ν为相应的权重系数；o_n(x)和e_n(x)分别是尺度n上滤波器的奇对称和偶对称部分，T是噪声补偿项。对此，需要最小化E^PBAC的值，这里是通过水平集的方法实现。水平集函数的迭代公式为：

其中，k和Δt分别表示迭代的次数及时间步长。而

可表示为：

利用水平集的方法，通过多次迭代，实现了初始曲线向目标边界的演化。

DFCN的输出结果被用作PBAC模型的初始边界。小肿瘤由于面积太小而无法在DFCN中直接获得精确的分割结果，需要更多的迭代次数来优化输出。而大肿瘤在DFCN中的输出结果与金标准中的结果更为接近，仅需较少的迭代便可得到精确结果。本发明选择训练集中肿瘤占整幅超声图像面积比的平均值作为判断肿瘤的大小的阈值。经过参数优化，PBAC中，我们认为在乳腺超声图像中占比大于平均值的肿瘤为大肿瘤，选择较小的迭代次数。对于肿瘤占比小于平均值，认为是小肿瘤，选择较大的迭代次数。在实施方式部分的计算中，该阈值取为9.05％；即在乳腺超声图像中肿瘤占比大于9.05％的肿瘤为大肿瘤，选择较小的迭代次数：60次；对于肿瘤占比小于9.05％的肿瘤为小肿瘤，选择较大的迭代次数：120次。

实验结果表明，本发明可以准确地分割肿瘤，尤其对边界模糊、阴影多的超声图像有很好的分割结果。

附图说明

图1：DFCN网络的总体结构。其中，(a)DFCN结构；(b)图(a)中使用的块(Block)结构。

图2：使用不同空洞率的卷积核大小为3×3的卷积。其中，(a)标准的卷积运算，对应于空洞率为1的空洞卷积；(b)空洞率为2的空洞卷积。

图3：各个方法的分割结果。(a)、(h)和(o)为原图像和金标准；(b)、(i)和(p)为FCN-8s的结果；(c)、(j)和(q)为U-net的结果；(d)、(k)和(f)为DRN的结果；(e)、(l)和(s)为不加空洞卷积的DFCN的结果；(f)、(m)和(t)为DFCN的结果；(g)、(n)和(u)为经过活动轮廓模型优化后的DFCN的结果。

图4：DFCN中的Conv 1、Sum 1、Sum 2和无空洞卷积的DFCN的输出比较。其中，(a)DFCN中Conv 1的输出；(b)DFCN中Sum1的输出；(c)DFCN中的Sum2的输出；(d)无空洞卷积的DFCN中Conv 1的输出；(e)无空洞卷积的DFCN中Sum1的输出；(f)无空洞卷积的DFCN中Sum 2的输出。

图5：使用学习率为0.001(红线)的有批量归一化的DFCN和使用学习率为0.00001(蓝线)的无批量归一化的DFCN的损失值。

图6：PBAC在乳腺超声图像中的优化效果。其中，(a)、(d)、(g)和(j)是四幅乳腺超声图像和其金标准的分割图；(b)、(e)、(h)和(k)分别是对应的DFCN的输出结果；(c)、(f)、(i)和(l)分别是对应的DFCN+PBAC的输出结果。

具体实施方式

对本发明提出的分割方法进行实际乳腺超声图像测试。训练集包括400幅乳腺超声图像，用于训练全卷积网络。为了评估所提出的方法分割的准确程度，使用了170幅乳腺超声图像来进行测试，由一位经验丰富的超声科医生勾画边缘以确定分割金标准。

为了评估本发明的DFCN+PBAC算法的分割效果，比较了以下五种方法：(1)从预先训练的VGG-16网络进行迁移训练的FCN-8s[2]；(2)U-net[3]；(3)使用空洞卷积的残差网络(Dilated Residual Networks,DRN)[8]；(4)无空洞卷积的DFCN；(5)DFCN。

在上述算法中，FCN-8s、U-net和DRN是三种最先进的方法，这些方法已被证明是有效的。为了评估空洞卷积的影响，我们通过将DFCN中的块13和18替换为最大池化层，并分别在Conv 1和Sum 2之前引入2倍上采样的反卷积层，得到了一个无空洞卷积的DFCN。在迭代计算中，该阈值取为9.05％；即在乳腺超声图像中肿瘤占比大于9.05％的肿瘤为大肿瘤，选择较小的迭代次数：60次；对于肿瘤占比小于9.05％的肿瘤为小肿瘤，选择较大的迭代次数：120次。

此外，将DFCN的结果与所提出的DFCN+PBAC的结果进行比较，以证明PBAC模型的优化效果。FCN-8s是使用从ImageNet数据集中训练好的VGG-16网络对训练集进行了迁移学习后得到的网络。U-net、DRN、无空洞卷积的DFCN和DFCN使用了Xavier权值初始化方法进行了初始化。对于上述比较的算法，均使用交叉熵作为损失函数，使用随机梯度下降法进行了训练，动量为0.9，权值衰减为0.0001，批量为20，次批量为10和循环次数为500。FCN-8s的学习率为0.0001，而其他方法的学习率为0.001。

在评价指标方面，戴斯相似系数(Dice similarity coefficient,DSC)、平均绝对偏差(Mean absolute deviation,MAD)和霍斯多夫距离(Hausdorff distance,HD)被用来衡量分割的结果与金标准之间的相似程度。

DSC是一个相似性指数，用于测量分割算法结果与金标准的结果之间的重叠区域。

其中，A和B分别是分割方法和金标准的肿瘤的轮廓；Ω_A和Ω_B表示A和B的包含的闭合区域，n(.)表示该区域中的像素总数。DSC为0表示分割方法的结果与金标准的结果完全不重合，而1表示完全重合。

在提取的轮廓A中的每个点处的表面距离误差(Surface distance error,SDE)被定义为其到金标准的轮廓B中的最接近的相邻点的欧几里得距离。MAD和HD分别被定义为所有点的SDE的平均值和最大值：

其中，a和b分别是轮廓A和B中的两个对应点；d(a,B)是从点a到轮廓B的最小距离；N_A和N_B是相应轮廓的大小。更小的MAD和HD意味着分割算法提取的轮廓更接近于金标准的轮廓。

如图3所示，本发明提出的DFCN+PBAC的方法获得的初始轮廓更加接近肿瘤形状，最终的分割结果也更加准确。同时，由表1可以看出，本方法的分割结果的评价指标最优，因此分割效果最好。

如图4所示，空洞卷积可以有效地保持感受野的大小而不会降低深层特征图的分辨率，从而包涵了更多有用的细节信息，对后方阴影严重的肿瘤有更好的分割结果。

从表2来看，在没有批量归一化的情况下，网络很难收敛，只能在学习率很小的情况下才能收敛。在图5中，使用批量归一化的学习率大的DFCN的损失值比不使用批量归一化的学习率小的DFCN小，这表明使用批量归一化使网络的损失函数下降更快，更容易收敛，加速了训练。

从图6可以看出，无论肿瘤的大小如何，基于相位信息的活动轮廓模型都可以有效提高DFCN的输出的准确率，使得该方法对边界附近的灰度变化更为敏感。

综上所述，本发明可以实现乳腺超声图像的肿瘤的全自动分割，具有很高的自动性、鲁棒性和准确性，尤其对边界模糊、阴影多的图像有很好的分割结果。

表1：所提出的DFCN+PBAC方法与DFCN、无空洞卷积的DFCN、DRN、U-net和FCN-8s的比较结果。

表2：在不同的学习速率下，有无批量归一化的网络的收敛性。是或否分别表示网络收敛或不收敛。

参考文献

[1]RM Kirberger.Imaging artifacts in diagnostic ultrasound-a review[J].Veterinary Radiology&Ultrasound,1995,36(4):297-306.

[2]CC Dan,AGiusti,LM Gambardella,Schmidhuber.Deep neural networkssegment neuronal membranes in electron microscopy images[C].Advances inNeural Information Processing Systems,2012:2843-2851.

[3]E Shelhamer,J Long,T Darrell.Fully convolutional networks forsemantic segmentation[J].IEEE transactions on Pattern Analysis and MachineIntelligence,2017,39(4):640-651.

[4]O Ronneberger,P Fischer,T Brox.U-net:Convolutional networks forbiomedical image segmentation[C].International Conference on Medical ImageComputing and Computer-assisted Intervention,2015:234-241.

[5]S Ioffe,C Szegedy.Batch normalization:Accelerating deep networktraining by reducing internal covariate shift[C].International Conference onMachine Learning,2015:448-456.

[6]LC Chen,G Papandreou,I Kokkinos,K Murphy,AL Yuille.Deeplab:Semantic image segmentation with deep convolutional nets,atrous convolution,and fully connected CRFs[J].arXiv preprint arXiv:1606.00915,2016.

[7]Cai L,Wang Y.A phase-based active contour model for segmentationof breast ultrasound images[C].International Conference on BiomedicalEngineering and Informatics,2014:91-95.

[8]F Yu,V Koltun,T Funkhouser.Dilated residual networks[C].ComputerVision and Pattern Recognition,2017:472-480.。

Claims (6)

1.一种基于全卷积神经网络的乳腺超声图像肿瘤分割方法，其特征在于，具体步骤为：

(一)构建基于空洞卷积的全卷积神经网络，用于粗略分割超声图像获得乳腺肿瘤；

首先，构建基于空洞卷积的全卷积神经网络，该全卷积神经网络简记为DFCN；然后在超声图像对乳腺肿瘤进行相对粗略分割，使分割结果能较好地显示出肿瘤位置和边界；

构建的DFCN网络中，使用空洞卷积，从而使网络保持较深层的特征图的分辨率，以确保在有大量阴影区域的情况下也能很好地分割肿瘤；此外，DFCN网络中还使用批量归一化技术，使得网络具有更高的学习率，加速了训练过程；

(二)利用基于相位信息的动态轮廓PBAC模型，对于上一步得到的分割结果进行优化，得到最终精细的分割结果；

其中，使用由DFCN标定的肿瘤边缘作为动态轮廓PBAC模型的初始边界，经过多次迭代，进一步优化DFCN的结果；

步骤(一)中，基于空洞卷积的全卷积神经网络，是一种改进的全卷积神经网络，其结构包括依次连接的6个层，其中，层1包含：Block1、Block2、一个最大池化层；层2包含：Block3、Block4、一个最大池化层；层3包含：Block5、Block6、Block7、Block8、一个最大池化层(Maxpooling)；层4包含：Block9、Block10、Block11、Block12、Block13；层5包含：Block14、Block15、Block16、Block17、Block18；层6包含：Block19；

其中，每个Block结构由卷积层、批量归一化层和修正线性单元层组成；在Block13和Block18中，在卷积层中对卷积核的每个参数的四周使用零填充，形成空洞卷积，以保持输出特征图的大小不变；

卷积层1、卷积层2和卷积层3是跳跃连接，分别利用层6、层4和层3的特征进行特征融合，使得网络较好地融合不同深度的特征从而得到更加精细的分割结果；

对于乳腺超声图像使用DFCN网络，经过层1-层6处理，可以从乳腺超声图像中有效提取不同深度的适合肿瘤分割的特征。

2.根据权利要求1所述的乳腺超声图像肿瘤分割方法，其特征在于，步骤(一)中，

每个Block中用“M×M×H”表示卷积层的参数，M是卷积核大小，H是特征图的通道数；DFCN中的每个最大池化层具有2×2的核大小和2的步长；设输入图像大小为P×Q，Block1、2和3中分别使用一次最大池化层；包含2层卷积层的层1输出特征图的分辨率为

特征通道数为64；包含2层卷积层的层2输出特征图的分辨率为

特征通道数为128；包含4层卷积层的层3输出特征图的分辨率为

特征通道数为256；在层4和层5中，使用空洞卷积代替最大池化层的作用，使得网络在扩大感受野的同时，保持原有分辨率大小，层4和层5均包含4层卷积层和1层空洞卷积层，它们输出特征图的分辨率均为

特征通道数均为512。

3.根据权利要求1所述的乳腺超声图像肿瘤分割方法，其特征在于，步骤(一)中，将卷积层1、卷积层2和卷积层3的学习率分别设置为整个网络学习率的1倍、10％和1％；同时在卷积层1之后添加丢失层以防止网络出现过拟合，丢失率为0.5；最后，在对三个跳跃结构的输出经过叠加层求和后，使用反卷积层进行8倍上采样，使得最后的输出结果与输入图像在图像大小上保持一致。

4.根据权利要求1所述的乳腺超声图像肿瘤分割方法，其特征在于，步骤(一)中，所述批量归一化，是进行一个类似白化的处理，经过批量归一化操作后的输出y_i表示为：

其中，

其中，{x₁，x₂，...，x_m}是一个批量中输入的元素，m是其中元素的个数，γ和β是两个可学习的参数，用于数的缩放和平移，以增强网络的表达性；

此外，使用Xavier权重初始化的方法对卷积层中核的权重进行初始化。

5.根据权利要求1-4之一所述的乳腺超声图像肿瘤分割方法，其特征在于，步骤(二)中，PBAC模型结合边缘和区域的信息，其能量函数由两部分组成：基于区域的能量函数E^RSF和基于相位的边缘能量函数E^PA，总能量函数E^PBAC为：

E^PBAC＝E^RSF+E^PA (8)

其中，

其中，|C|为曲线C的长度，ν为相应的权重系数；o_n(x)和e_n(x)分别是尺度n上滤波器的奇对称和偶对称部分，T是噪声补偿项；对此，最小化E^PBAC的值，这里是通过水平集的方法实现；水平集函数的迭代公式为：

其中，k和Δt分别表示迭代的次数及时间步长，而

表示为：

利用水平集的方法，通过多次迭代，实现了初始曲线向目标边界的演化。

6.根据权利要求5所述的乳腺超声图像肿瘤分割方法，其特征在于，步骤(二)中，选择训练集中肿瘤占整幅超声图像面积比的平均值作为判断肿瘤的大小的阈值，即在乳腺超声图像中肿瘤占比大于平均值的肿瘤为大肿瘤，选择较小的迭代次数；对于肿瘤占比小于平均值的肿瘤为小肿瘤，选择较大的迭代次数。

Images