CN107886514B - 基于深度残差网络的乳腺钼靶图像肿块语义分割方法 - Google Patents

Abstract

本发明提出了一种基于深度残差网络的乳腺钼靶图像肿块语义分割方法，包括以下步骤：标注收集的乳腺钼靶图像对应肿块和正常组织的像素类别，生成标签图像，连同乳腺钼靶图像及其对应的标签图像分成训练样本和测试样本；预处理训练样本后，形成一个训练数据集；构建一个深度残差网络，利用训练数据集训练网络，得到深度残差网络训练模型；预处理待分割乳腺钼靶图像肿块后，利用深度残差网络训练模型对待分割的乳腺钼靶图像像素进行二分类和后处理，输出肿块分割图像，实现乳腺钼靶图像肿块的语义分割。本发明能够有效提高乳腺钼靶图像肿块分割的自动化和智能化水平，可应用于辅助放射科医生进行医学诊断等技术领域。

Description

基于深度残差网络的乳腺钼靶图像肿块语义分割方法

技术领域

本发明涉及机器学习和数字医学图像处理与分析领域，具体涉及一种基于深度残差网络的乳腺钼靶图像肿块语义分割方法。

背景技术

乳腺癌已成为全球范围女性常见的恶性肿瘤，也是主要的女性癌症死因。我国女性乳腺癌发病率呈年轻化和逐年上升之势，每年死于乳腺癌的人数多达20万，给女性健康带来了灾难性的恐慌。早期检测以便改善乳腺癌结果和存活率，仍然是乳腺癌控制的基石。乳腺钼靶摄影术具有空间分辨率较高，能够显示乳腺癌的早期症状，被公认为乳腺癌早期诊断的最可靠、最便捷的方法。随着计算机以及图像处理技术的迅速发展，利用计算机辅助诊断技术辅助临床医生检测图像中的可疑病灶，降低诊断的假阳性率对乳腺癌早期诊断至关重要。肿块分割是计算机辅助诊断系统的重要环节，良好的分割能更准确地反映肿块的病理特征，为后续特征提取和诊断提供依据，但肿块弱边缘和周围组织的干扰给肿块的精确分割带来一定的挑战。

目前，已有众多国内外研究人员在肿块分割方面做了一些研究工作，大致可分为基于像素点的方法、基于区域的方法以及基于边缘的方法三类。专利号为201610523605.8的发明专利《基于乳腺子区域密度聚类的乳腺肿块分割系统及方法》，包括预处理单元、分割窗口单元、密度特征提取单元、聚类单元和分割结果可视化单元。然而，这些方法都有其致命缺陷——仅仅依赖于单一灰度信息或一些简单特征来获取分割结果。由于单一的简单特征不足以准确地表征肿块，虽然这些方法实现起来较为容易，但是在分割复杂边缘肿块时往往得不到令人不满意的结果。

考虑到肿块轮廓的重要性，为了使分割结果更加准确，不少学者提出使用活动轮廓模型对初始分割结果进行优化。设计思路大致为：首先利用一些方法对图像中像素点灰度信息进行分析得到肿块粗边缘，然后利用水平集(Levelset)方法细化初始分割得到最终结果。通过引入基于像素点梯度信息的水平集方法使分割结果得到了一些改善，但在整个细化过程中，水平集的变化是基于区域梯度信息的，由于肿块区域边缘梯度不明显，导致这些方法的分割结果可信度大打折扣。

为进一步降低肿块区域背景与前景灰度分布带来的影响，不少学者提出了基于无边缘活动轮廊(Active ContourWithout Edge)模型的乳腺肿块分割方法，又称为CV模型。然而，CV模型有其自身不可避免的缺陷，当前景和背景区域内分布不均匀时，CV模型中水平集内外部特性参数并不能准确表述图像局部特征。另一方面，乳腺钼靶图像中肿块附近的正常组织与肿块特征极为相似，而且这些区域强度分布也很不均匀。因此，CV在处理低对比度且肿块内外灰度波动较大的ROI(region ofinterest，感兴趣区)图像时，分割结果往往不理想。

近年来，深度学习在语音识别、目标检测、图像识别和遥感图像分类等应用领域获得了很大进展，成为当前的研究热点之一。与传统模式识别方法相比，深度网络具有更强大的特征学习和特征表达能力。特别地，深度残差学习很好地解决了深度网络训练难的问题，使得网络层数达到了一个新高度，这为设计对泛化性能和精度要求高的分割模型提供了可能。

发明内容

本发明要解决的技术问题是提出一种能够分割乳腺肿块和正常组织的基于深度残差网络的乳腺钼靶图像肿块语义分割方法。

为了解决上述技术问题，本发明提出一种基于深度残差网络的乳腺钼靶图像肿块语义分割方法，包括以下步骤：

S1、标注收集的乳腺钼靶图像对应乳腺肿块和正常组织的像素类别，生成标签图像，并将乳腺钼靶图像及其对应的标签图像分成训练样本和测试样本；

S2、预处理训练样本后，形成一个训练数据集；

S3、构建一个深度残差网络，利用训练数据集训练网络，并进行超参数搜索，得到深度残差网络训练模型；

S4、待分割乳腺钼靶图像(包括实际工作中待分割乳腺钼靶图像和作为测试样本的待分割乳腺钼靶图像)经过预处理后，利用深度残差网络训练模型对该图像的每个像素进行二分类和后处理，确定该像素是属于乳腺肿块还是正常组织，输出肿块分割结果。

作为本发明基于深度残差网络的乳腺钼靶图像肿块语义分割方法的改进：

所述步骤S3中深度残差网络只含有卷积层，并使用膨胀卷积进行池化；

所述步骤S3中深度残差网络包含10个卷积层，其中第一层至第九层含有LRELU激活单元，总共有894017个可学习参数，接受野尺寸为228×228；

第一层：输入图像数据为116×116像素图像，填充值是2，滤波器窗口大小为6×6，步长为2，膨胀值为1，经过LRELU单元激活后输出数据为58×58×32，可学习参数1184个；

第二层：输入数据58×58×32，填充值是1，滤波器窗口大小为3×3，步长为1，膨胀值为1，经过LRELU单元激活后输出数据为58×58×32，可学习参数9248个；

第三层：输入数据58×58×32，填充值是1，滤波器窗口大小为3×3，步长为2，膨胀值为1，经过LRELU单元激活后输出数据为29×29×64，可学习参数18496个；

第四层：输入数据29×29×64，填充值是1，滤波器窗口大小为3×3，步长为1，膨胀值为1，经过LRELU单元激活后输出数据为29×29×64，可学习参数36928个；

第五层：输入数据29×29×64，填充值是2，滤波器窗口大小为3×3，步长为1，膨胀值为2，经过LRELU单元激活后输出数据为29×29×128，可学习参数73856个；

第六层：输入数据29×29×128，填充值是2，滤波器窗口大小为3×3，步长为1，膨胀值为2，经过LRELU单元激活后输出数据为29×29×128，可学习参数147584个；

第七层：输入数据29×29×128，填充值是2，滤波器窗口大小为3×3，步长为1，膨胀值为2，经过LRELU单元激活后输出数据为29×29×128，可学习参数147584个；

第八层：输入数据29×29×128，填充值是2，滤波器窗口大小为3×3，步长为1，膨胀值为2，经过LRELU单元激活后输出数据为29×29×128，可学习参数147584个；

第九层：输入数据29×29×128，填充值是4，滤波器窗口大小为3×3，步长为1，膨胀值为4，经过LRELU单元激活后输出数据为29×29×256，可学习参数295168个；

第十层：输入数据29×29×256，填充值是14，滤波器窗口大小为8×8，步长为1，膨胀值为4，输出数据为29×29×1，可学习参数16385个；

所述深度残差网络第十层的输出数据经过双线性插值，得到乳腺钼靶图像每个像素所属类别的概率热图，大小为116×116像素。

作为本发明基于深度残差网络的乳腺钼靶图像肿块语义分割方法的进一步改进：

所述LRELU单元的激活函数采用泄露修正线性函数(LReLU)。

作为本发明基于深度残差网络的乳腺钼靶图像肿块语义分割方法的进一步改进：

所述步骤S3中通过训练数据集训练深度残差网络建立深度残差网络分割模型时采用加权的logistic代价函数J(Θ)，函数J(Θ)公式如下所示：

其中：e为自然底数；m为训练数据集的样本数量；h_Θ(x)为网络的预测类别概率向量；K为训练样本的类别数量；x⁽ⁱ⁾为训练数据集中第i幅图像；y⁽ⁱ⁾∈{0,1}，为训练数据集中第i幅图像对应的标签图像；式中第二项是L2范数正则化项(权重衰减项)，λ为L2范数正则化参数(权重衰减系数)；l为当前神经元所在的神经元层数；L为神经网络的总层数；s^(l)为层l的单元数量；

为模型参数。

作为本发明基于深度残差网络的乳腺钼靶图像肿块语义分割方法的进一步改进：

所述深度残差网络训练时在每个卷积层的LRELU单元后采用L2范数正则化网络以减少权重之间的方差，并使用dropout方法按照一定的概率p从深度残差网络中删除节点，减少过拟合的发生。

作为本发明基于深度残差网络的乳腺钼靶图像肿块语义分割方法的进一步改进：

所述深度残差网络训练时使用dropout方法从第一层到第九层的卷积层删除节点的概率p依次设定为0.9、0.9、0.8、0.8、0.7、0.7、0.7、0.7和0.6。

作为本发明基于深度残差网络的乳腺钼靶图像肿块语义分割方法的进一步改进：

所述深度残差网络训练时采用ADAM算法加速收敛，使代价函数达到最小值；

所述深度残差网络训练时输入到每层的连接权重利用均值为0、标准差为

的正态分布进行初始化，其中，n_in表示层连接的数目；偏置值初始化为0。

作为本发明基于深度残差网络的乳腺钼靶图像肿块语义分割方法的进一步改进：

所述步骤S2中预处理训练样本后形成一个训练数据集的方法如下：

2.1、增强训练样本中乳腺钼靶图像的对比度；

计算每幅乳腺钼靶图像乳房区域像素强度的平均值，将低于像素强度平均值的任何像素值设置为0，并线性地缩放其余像素值以覆盖整个0-255强度范围；

2.2、调整乳腺钼靶图像及其对应标签图像的尺寸；

对步骤2.1对比度增强后的乳腺钼靶图像像素值进行Lanczos插值，而对于其对应的标签图像像素值则进行最近邻插值，然后计算标签图像中包围乳房区域的边界框，并用此边界框在标签图像及其对应乳腺钼靶图像进行裁剪；

2.3、扩增训练样本数据：

将步骤2.2处理后的每幅乳腺钼靶图像及其对应标签图像进行旋转n×90°(n＝0,1,2,3)，并将旋转后获得的图像进行左右镜像，生成训练数据集。

作为本发明基于深度残差网络的乳腺钼靶图像肿块语义分割方法的进一步改进：

所述步骤S4中待分割乳腺钼靶图像(包括实际工作中待分割乳腺钼靶图像和作为测试样本的待分割乳腺钼靶图像)通过步骤S1获取其相对应的标签图像；

所述待分割乳腺钼靶图像及其标签图像预处理后，利用深度残差网络训练模型进行二分类和后处理的方法包括如下步骤：

4.1通过步骤2.1完成待分割乳腺钼靶图像的对比度增强；

4.2通过步骤2.2完成步骤4.1处理后的待分割乳腺钼靶图像的Lanczos插值及其对应标签图像的最近邻插值，并分别利用标签图像中包围乳房区域的边界框进行裁剪；

4.3利用深度残差网络分割模型对待分割乳腺钼靶图像每个像素二分类，获得每个像素分别对应乳腺肿块和正常组织两种类别的概率向量，概率最大的类别作为该像素所属类别；双线性插值后得到每个像素所属类别对应的概率热图；

4.4进行后处理，将步骤4.3所获得概率热图中值为0的像素在待分割乳腺钼靶图像中分类为背景像素(像素值为0)，将概率热图中值大于0.95的非图像背景像素在待分割乳腺钼靶图像中分类为肿块(像素值为255)，其余剩下的像素待分割乳腺钼靶图像中分类为正常组织(像素值为127)，得到带分割乳腺钼靶图像肿块的最终分割结果。

作为本发明基于深度残差网络的乳腺钼靶图像肿块语义分割方法的进一步改进：

所述步骤S1依次进行如下步骤：

1.1、对收集的乳腺钼靶图像标注对应乳腺肿块和正常组织的像素类别，生成标签图像；

1.2、将乳腺钼靶图像以及步骤1.1所获得对应的标签图像随机将80％的乳腺钼靶图像及其对应的标签图像作为训练样本，剩余的20％乳腺钼靶图像及其对应的标签图像作为测试样本。

本发明与现有技术相比，具有如下技术优势：

1、本发明采用了10层的深度残差网络，网络深度更深但可学习参数却更少，降低了训练时发生过拟合的可能性，能够提高乳腺钼靶图像肿块分割模型的鲁棒性和精准度。

2、本发明训练网络时采用了加权的logistic代价函数，解决了乳腺钼靶图像像素类别数据不平衡的问题，能够改善乳腺钼靶图像肿块分割模型的泛化能力。

3、本发明将乳腺钼靶图像的背景进行了剪裁并对图像对比度进行了增强，提高了乳腺肿块的显著性，有利于提高肿块的分割精度。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细说明。

图1是本发明基于深度残差网络的乳腺钼靶图像肿块语义分割方法的流程示意图。

图2是本发明实施例中乳腺钼靶图像的预处理结果(图2(a)为原始乳腺钼靶图像，图2(b)为图2(a)对比度增强后的结果，图2(c)为图2(b)进行Lanczos插值后的结果，图2(d)为图2(c)裁剪后的结果)。

图3是实施例中训练模型对待分割图像每个像素预测的概率热图。

图4是实施例中最终的肿块分割结果。

具体实施方式

下面结合具体实施例对本发明进行进一步描述，但本发明的保护范围并不仅限于此。

实施例1、基于深度残差网络的乳腺钼靶图像肿块语义分割方法，如图1-图4所示，包括以下内容：

标注收集的乳腺钼靶图像对应乳腺肿块和正常组织的像素类别(即，标注语义分割标签)，得到标签图像，并将乳腺钼靶图像连同其对应的标签图像分成训练样本和测试样本；预处理训练样本后，生成一个训练数据集；构建一个深度残差网络，利用训练数据集训练网络，进行超参数搜索，得到深度残差网络训练模型；预处理测试样本后生成一个测试数据集，将测试数据集中的待分割乳腺钼靶图像利用深度残差网络训练模型对该图像的每个像素进行二分类和后处理，得到语义分割结果，确定该像素是属于乳腺肿块还是正常组织，实现乳腺钼靶图像肿块的语义分割。

本实施例采用的乳腺钼靶图像为BDCR-D01数据集中的63位患者的256幅乳腺钼靶图像，图像分辨率有3328×4084、2816×3072或2560×3328像素。

具体工作内容包括如下步骤：

步骤1、标注收集的乳腺钼靶图像对应乳腺肿块和正常组织的像素类别，得到标签图像，并将乳腺钼靶图像及其对应的标签图像分成训练样本和测试样本。具体工作流程如下：

1.1、标注收集的乳腺钼靶图像对应乳腺肿块和正常组织的像素类别，得到标签图像，包括依次进行的以下步骤：

1.1.1、将阈值t₁设置为0，对BDCR-D01数据集中的63位患者的256幅乳腺钼靶图像进行阈值分割，分离出图像背景区域；

1.1.2、利用BDCR-D01数据集预先提供的病变轮廓线分离出乳腺病变区域；

1.1.3、使用直线将乳腺肿块区域的所有像素点连接起来，获得乳腺肿块的轮廓；除此之外的乳房剩余区域则认为是正常组织区域，得到标签图像。

1.2、将步骤1.1.3的乳腺钼靶图像及其对应的标签图像分成训练样本和测试样本；

随机将80％的乳腺钼靶图像及其对应的标签图像作为训练样本，剩余的20％乳腺钼靶图像及其对应的标签图像作为测试样本。

步骤2：预处理从步骤1.2所获得的训练样本，形成一个训练数据集；包括依次进行的以下步骤：

2.1、增强训练样本中乳腺钼靶图像的对比度；

为了降低图像背景区域像素值微小变化的影响和增加图像的对比度，实施例通过计算每幅乳腺钼靶图像乳房区域像素强度的平均值，将低于像素强度平均值的每个像素值设置为0，并线性地缩放其余像素值以覆盖整个0-255强度范围。

2.2、调整乳腺钼靶图像及其对应标签图像的尺寸；

由于本发明的深度参数网络有一个有效的接受野(大概228×228)，同时考虑到乳腺肿块的大小往往小于2cm，乳癌钼靶图像的大小需要调整到能够包围2×2cm的区域。因此，本发明对步骤2.1对比度增强后的乳腺钼靶图像像素值进行Lanczos插值(兰索斯插值)，而对于其对应的标签图像像素值则进行最近邻插值。然后，计算标签图像中包围乳房区域的边界框，用其在标签图像及其对应乳腺钼靶图像进行裁剪，删除不必要的黑色图像背景区域。

2.3、扩增训练样本数据：

将步骤2.2处理后的每幅乳腺钼靶图像连同对应的标签图像分别进行旋转n×90°(n＝0,1,2,3)和左右镜像，完成对训练样本乳腺钼靶图像的数据扩增，形成一个训练数据集。

对于深度学习网络来说，训练样本的数量很重要，一般来说，训练样本越多，训练出来的分割模型泛化能力也就越强。本实施例中数据扩增的具体方法为对训练样本每幅乳腺钼靶图像连同对应的标签图像分别旋转0度、90度、180度和270度，并将旋转所得的图像进行左右镜像，使图像数据量扩大8倍，从而达到扩增训练样本数据的目的。

步骤3：构建一个深度残差网络，利用训练数据集训练该网络，进行超参数搜索，从而实现深度残差网络训练模型的建立；该深度残差网络结构如表1所示，包含10个卷积层，总共有894017个可学习参数，接受野尺寸为228×228：

第一层：输入图像数据为116×116像素图像，填充值是2，滤波器窗口大小为6×6，步长为2，膨胀值为1，经过LRELU单元激活后输出数据为58×58×32，可学习参数1184个；

第二层：输入数据58×58×32，填充值是1，滤波器窗口大小为3×3，步长为1，膨胀值为1，经过LRELU单元激活后输出数据为58×58×32，可学习参数9248个；

第三层：输入数据58×58×32，填充值是1，滤波器窗口大小为3×3，步长为2，膨胀值为1，经过LRELU单元激活后输出数据为29×29×64，可学习参数18496个；

第四层：输入数据29×29×64，填充值是1，滤波器窗口大小为3×3，步长为1，膨胀值为1，经过LRELU单元激活后输出数据为29×29×64，可学习参数36928个；

第五层：输入数据29×29×64，填充值是2，滤波器窗口大小为3×3，步长为1，膨胀值为2，经过LRELU单元激活后输出数据为29×29×128，可学习参数73856个；

第六层：输入数据29×29×128，填充值是2，滤波器窗口大小为3×3，步长为1，膨胀值为2，经过LRELU单元激活后输出数据为29×29×128，可学习参数147584个；

第七层：输入数据29×29×128，填充值是2，滤波器窗口大小为3×3，步长为1，膨胀值为2，经过LRELU单元激活后输出数据为29×29×128，可学习参数147584个；

第八层：输入数据29×29×128，填充值是2，滤波器窗口大小为3×3，步长为1，膨胀值为2，经过LRELU单元激活后输出数据为29×29×128，可学习参数147584个；

第九层：输入数据29×29×128，填充值是4，滤波器窗口大小为3×3，步长为1，膨胀值为4，经过LRELU单元激活后输出数据为29×29×256，可学习参数295168个；

第十层：输入数据29×29×256，填充值是14，滤波器窗口大小为8×8，步长为1，膨胀值为4，输出数据为29×29×1，可学习参数16385个；

表1、深度残差网络结构

层	滤波器大小	步长	填充	膨胀	输出尺寸	可学习参数
							输入	/	/	/	/	116×116×1	/
卷积->LRELU	6×6	2	2	1	58×58×32	1184
							卷积->LRELU	3×3	1	1	1	58×58×32	9248
卷积->LRELU	3×3	2	1	1	29×29×64	18496
							卷积->LRELU	3×3	1	1	1	29×29×64	36928
卷积->LRELU	3×3	1	2	2	29×29×128	73856
							卷积->LRELU	3×3	1	2	2	29×29×128	147584
卷积->LRELU	3×3	1	2	2	29×29×128	147584
							卷积->LRELU	3×3	1	2	2	29×29×128	147584
卷积->LRELU	3×3	1	4	4	29×29×256	295168
							卷积	8×8	1	14	4	29×29×1	16385
双线性插值	/	/	/	/	116×116×1	/

本实施例中，深度残差网络只含有卷积层，并使用膨胀卷积进行池化。深度残差网络第十层的输出数据经过双线性插值，输出与输入图像尺寸相同的乳腺钼靶图像每个像素所属类别的概率热图(第十层卷积层输出乳腺钼靶图像每个像素所属类别的概率热图，通过双线性插值使其尺寸与输入图像尺寸相同)。

利用训练样本集训练全卷积深度神经网络的具体内容如下：

训练时在每个卷积层的LRELU单元后采用L2范数正则化网络以减少权重之间的方差；训练时还使用dropout方法从网络中删除节点，减少过拟合的发生，从第一层到第九层的卷积层删除节点的概率p依次设定为0.9、0.9、0.8、0.8、0.7、0.7、0.7、0.7和0.6；

输入到每层的连接权重利用均值为0、标准差为

的正态分布进行初始化，其中，n_in表示层连接的数目；偏置值初始化为0；LRELU单元的激活函数采用泄露修正线性函数(LReLU)。

采用ADAM算法(三个参数β₁、β₂和ε分别取值为0.9、0.995和10^-6)加速收敛，使代价函数达到最小值。由于乳腺钼靶图像中乳腺肿块像素比正常乳房组织像素少得多，导致类别数据不平衡，因此深度残差网络训练时采用加权的logistic代价函数J(Θ)，公式如下所示：

其中：e为自然底数；m为训练数据集的样本数量；h_Θ(x)为网络的预测类别概率向量；K为训练样本的类别数量；x⁽ⁱ⁾为训练数据集中第i幅图像；y⁽ⁱ⁾∈{0,1}，为训练数据集中第i幅图像对应的标签图像；式中第二项，是L2范数正则化项，也叫权重衰减项；λ为L2范数正则化参数，也称权重衰减系数；l为当前神经元所在的神经元层数；L为神经网络的总层数；s^(l)为层l的单元数量；

为模型参数。

本实施例中，对于加权的logistic代价函数J(Θ)，乳腺钼靶图像肿块分割错误时的权重值设定为0.9，乳腺钼靶图像正常组织分割错误时的权重值设定为0.1，对于乳腺钼靶图像背景分割错误时的权重值设定为0，从而解决了乳腺钼靶图像像素类别数据不平衡的问题。

深度残差网络训练30个epoch(时期)，训练过程中对学习率α和L2范数正则化参数λ进行超参数搜索，本实施例中学习率α为0.002，L2范数正则化参数λ为0.03，得到深度残差网络训练模型。

步骤4：预处理测试样本后形成一个测试数据集，该测试数据集的待分割乳腺钼靶图像利用深度残差网络训练模型对该图像的每个像素进行二分类和后处理，确定该像素是属于乳腺肿块还是正常组织，输出肿块分割结果，实现乳腺钼靶图像肿块的语义分割。

实际使用中待分割的乳腺钼靶图像(该图像根据步骤1.1获得其对应的标签图像)与测试数据集中的待分割乳腺钼靶图像分割方法一致，故本说明书中以测试数据集为例进行详细阐述，主要包括如下步骤：

4.1通过步骤2.1完成测试样本中待分割乳腺钼靶图像的对比度增强；

4.2通过步骤2.2完成测试样本中待分割乳腺钼靶图像及其对应标签图像尺寸的调整，并分别利用标签图像中包围乳房区域的边界框进行裁剪，生成测试数据集。

通过上述方法对测试样本中一图像进行预处理后的结果如图2所示。图2(a)为原始乳腺钼靶图像，图2(b)为图2(a)对比度增强后的结果，图2(c)为图2(b)进行Lanczos插值后的结果，图2(d)为图2(c)裁剪后的结果。

4.3利用深度残差网络分割模型对测试数据集中的待分割乳腺钼靶图像每个像素二分类，获得每个像素分别对应乳腺肿块和正常组织两种类别的概率向量，概率最大的类别作为该像素所属类别；双线性插值后得到每个像素所属类别对应的概率热图，如图3所示。

4.4进行后处理，将步骤4.3所获得概率热图中的值为0的像素在测试数据集中对应乳腺钼靶图像中分类为背景像素(像素值设定为0)，将概率热图中的值大于0.95的非图像背景像素在测试数据集中对应乳腺钼靶图像中分类为肿块(像素值设定为255)，其余剩下的像素在测试数据集中对应乳腺钼靶图像中分类为正常组织(像素值设定为127)，得到乳腺钼靶图像肿块的最终分割结果，如图4所示。

本发明采用了10层的深度残差网络，网络深度更深但可学习参数却更少，降低了训练时发生过拟合的可能性，能够提高乳腺钼靶图像肿块分割模型的鲁棒性和精准度。本发明训练网络时采用了加权的logistic代价函数，解决了乳腺钼靶图像像素类别数据不平衡的问题，能够改善乳腺钼靶图像肿块分割模型的泛化能力。本发明将乳腺钼靶图像的背景区域进行了剪裁并对图像对比度进行了增强，提高了乳腺肿块的显著性，有利于提高肿块的分割精度。综上，本发明能够有效提高乳腺钼靶图像肿块分割的自动化和智能化水平，适用于辅助放射科医生进行医学诊断等对乳腺钼靶图像肿块分割具有高精度需求的领域。

最后，还需要注意的是，以上列举的仅是本发明的若干个具体实施例。显然，本发明不限于以上实施例，还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。

Claims (5)

1.基于深度残差网络的乳腺钼靶图像肿块语义分割方法，其特征在于包括以下步骤：

S1、标注收集的乳腺钼靶图像对应乳腺肿块和正常组织的像素类别，生成标签图像，并将乳腺钼靶图像及其对应的标签图像分成训练样本和测试样本；

S2、预处理训练样本后，形成一个训练数据集；

所述步骤S2中预处理训练样本后形成一个训练数据集的方法如下：

2.1、增强训练样本中乳腺钼靶图像的对比度；

计算每幅乳腺钼靶图像乳房区域像素强度的平均值，将低于像素强度平均值的任何像素值设置为0，并线性地缩放其余像素值以覆盖整个0-255强度范围；

2.2、调整乳腺钼靶图像及其对应标签图像的尺寸；

对步骤2.1对比度增强后的乳腺钼靶图像像素值进行Lanczos插值，而对于其对应的标签图像像素值则进行最近邻插值，然后计算标签图像中包围乳房区域的边界框，并用此边界框在标签图像及其对应乳腺钼靶图像进行裁剪；

2.3、扩增训练样本数据：

将步骤2.2处理后的每幅乳腺钼靶图像及其对应标签图像进行旋转n×90°，n＝0,1,2,3，并将旋转后获得的图像进行左右镜像，生成训练数据集；

S3、构建一个深度残差网络，利用训练数据集训练网络，并进行超参数搜索，得到深度残差网络训练模型；

所述步骤S3中深度残差网络只含有卷积层，并使用膨胀卷积进行池化；

所述步骤S3中深度残差网络包含10个卷积层，其中第一层至第九层含有LRELU激活单元，总共有894017个可学习参数，接受野尺寸为228×228；

第一层：输入图像数据为116×116像素图像，填充值是2，滤波器窗口大小为6×6，步长为2，膨胀值为1，经过LRELU单元激活后输出数据为58×58×32，可学习参数1184个；

第二层：输入数据58×58×32，填充值是1，滤波器窗口大小为3×3，步长为1，膨胀值为1，经过LRELU单元激活后输出数据为58×58×32，可学习参数9248个；

第三层：输入数据58×58×32，填充值是1，滤波器窗口大小为3×3，步长为2，膨胀值为1，经过LRELU单元激活后输出数据为29×29×64，可学习参数18496个；

第四层：输入数据29×29×64，填充值是1，滤波器窗口大小为3×3，步长为1，膨胀值为1，经过LRELU单元激活后输出数据为29×29×64，可学习参数36928个；

第五层：输入数据29×29×64，填充值是2，滤波器窗口大小为3×3，步长为1，膨胀值为2，经过LRELU单元激活后输出数据为29×29×128，可学习参数73856个；

第六层：输入数据29×29×128，填充值是2，滤波器窗口大小为3×3，步长为1，膨胀值为2，经过LRELU单元激活后输出数据为29×29×128，可学习参数147584个；

第七层：输入数据29×29×128，填充值是2，滤波器窗口大小为3×3，步长为1，膨胀值为2，经过LRELU单元激活后输出数据为29×29×128，可学习参数147584个；

第八层：输入数据29×29×128，填充值是2，滤波器窗口大小为3×3，步长为1，膨胀值为2，经过LRELU单元激活后输出数据为29×29×128，可学习参数147584个；

第九层：输入数据29×29×128，填充值是4，滤波器窗口大小为3×3，步长为1，膨胀值为4，经过LRELU单元激活后输出数据为29×29×256，可学习参数295168个；

第十层：输入数据29×29×256，填充值是14，滤波器窗口大小为8×8，步长为1，膨胀值为4，输出数据为29×29×1，可学习参数16385个；

所述深度残差网络第十层的输出数据经过双线性插值，得到乳腺钼靶图像每个像素所属类别的概率热图，大小为116×116像素；

所述步骤S3中通过训练数据集训练深度残差网络建立深度残差网络分割模型时采用加权的logistic代价函数J(Θ)，函数J(Θ)公式如下所示：

其中：e为自然底数；m为训练数据集的样本数量；h_Θ(x)为网络的预测类别概率向量；K为训练样本的类别数量；x⁽ⁱ⁾为训练数据集中第i幅图像；y⁽ⁱ⁾∈{0,1}，为训练数据集中第i幅图像对应的标签图像；式中第二项是L2范数正则化项，λ为L2范数正则化参数；l为当前神经元所在的神经元层数；L为神经网络的总层数；s^(l)为层l的单元数量；

为模型参数；

对于加权的logistic代价函数J(Θ)，乳腺钼靶图像肿块分割错误时的权重值设定为0.9，乳腺钼靶图像正常组织分割错误时的权重值设定为0.1，对于乳腺钼靶图像背景分割错误时的权重值设定为0，从而解决了乳腺钼靶图像像素类别数据不平衡的问题；

所述深度残差网络训练时在每个卷积层的LRELU单元后采用L2范数正则化网络以减少权重之间的方差，并使用dropout方法按照一定的概率p从深度残差网络中删除节点，减少过拟合的发生；

所述深度残差网络训练时使用dropout方法从第一层到第九层的卷积层删除节点的概率p依次设定为0.9、0.9、0.8、0.8、0.7、0.7、0.7、0.7和0.6；

深度残差网络训练30个epoch，训练过程中对学习率α和L2范数正则化参数λ进行超参数搜索，学习率α为0.002，L2范数正则化参数λ为0.03，得到深度残差网络训练模型；

S4、待分割乳腺钼靶图像经过预处理后，利用深度残差网络训练模型对该图像的每个像素进行二分类和后处理，输出肿块分割结果；

后处理为将步骤S3所获得概率热图中值为0的像素在待分割乳腺钼靶图像中分类为背景像素，将概率热图中值大于0.95的非图像背景像素在待分割乳腺钼靶图像中分类为肿块，其余剩下的像素待分割乳腺钼靶图像中分类为正常组织，得到带分割乳腺钼靶图像肿块的最终分割结果。

2.根据权利要求1所述的基于深度残差网络的乳腺钼靶图像肿块语义分割方法，其特征在于：

所述LRELU单元的激活函数采用泄露修正线性函数。

3.根据权利要求1所述的基于深度残差网络的乳腺钼靶图像肿块语义分割方法，其特征在于：

所述深度残差网络训练时采用ADAM算法加速收敛，使代价函数达到最小值；

所述深度残差网络训练时输入到每层的连接权重利用均值为0、标准差为

的正态分布进行初始化，其中，n_in表示层连接的数目；偏置值初始化为0。

4.根据权利要求1～3任一所述的基于深度残差网络的乳腺钼靶图像肿块语义分割方法，其特征在于：

所述步骤S4中待分割乳腺钼靶图像通过步骤S1获取其相对应的标签图像；

所述待分割乳腺钼靶图像及其标签图像预处理后，利用深度残差网络训练模型进行二分类和后处理的方法包括如下步骤：

4.1通过步骤2.1完成待分割乳腺钼靶图像的对比度增强；

4.2通过步骤2.2完成步骤4.1处理后的待分割乳腺钼靶图像的Lanczos插值及其对应标签图像的最近邻插值，并分别利用标签图像中包围乳房区域的边界框进行裁剪；

4.3利用深度残差网络分割模型对待分割乳腺钼靶图像每个像素二分类，获得每个像素分别对应乳腺肿块和正常组织两种类别的概率向量，概率最大的类别作为该像素所属类别；双线性插值后得到每个像素所属类别对应的概率热图。

5.根据权利要求4所述的基于深度残差网络的乳腺钼靶图像肿块语义分割方法，其特征在于：所述步骤S1依次进行如下步骤：

1.1、对收集的乳腺钼靶图像标注对应乳腺肿块和正常组织的像素类别，生成标签图像；

1.2、将乳腺钼靶图像以及步骤1.1所获得对应的标签图像随机将80％的乳腺钼靶图像及其对应的标签图像作为训练样本，剩余的20％乳腺钼靶图像及其对应的标签图像作为测试样本。

Images