CN111681210A - 基于深度学习的剪切波弹性图鉴别乳腺结节良恶性的方法 - Google Patents

Abstract

本发明涉及医学图像处理技术，旨在提供一种基于深度学习的剪切波弹性图鉴别乳腺结节良恶性的方法。包括：收集有结节的超声乳腺普通B超图像和剪切波弹性图像的病例数据，根据病理结果构建良恶性分类数据集；选择基础网络结构，使用旋转池化卷积层替换部分卷积层，构建良恶性识别网络结构；网络输入增加结节掩模信息，在训练集上进行数据增强，训练过程中使用可分离Dropout计算提高模型泛化能力；输入测试图像，进行多图像块和多模型测试评价模型性能，对图像进行乳腺结节良恶性判断。本发明与使用普通B超图像识别良恶性相比，能够提高良恶性诊断准确率。本发明可以学习到旋转不变性，在不增加网络计算复杂度情况下，能够提高模型识别准确率。

Description

基于深度学习的剪切波弹性图鉴别乳腺结节良恶性的方法

技术领域

本发明关于医学图像处理技术领域，特别涉及基于深度卷积神经网络的剪切波弹性图像识别乳腺结节良恶性的方法。

背景技术

随着乳腺恶性肿瘤发病率逐年提高，乳腺检查已经成为女性体检中必不可少的一项检查项目，目前的乳腺检查主要以超声及钼靶检查为主，但钼靶检查存在X射线辐射及检查方式较为痛苦等因素，因此超声以其独特的检查特性位列乳腺检查首选。常规乳腺检查以二维、彩色多普勒等检查手段为主，主要观察病灶的形态、边界、内部回声及血供等，后来超声弹性成像的出现为检查提供了更加明确的质地信息，组织弹性的改变与病理有关，组织间的弹性差异远大于声阻抗的差异，应用这种显著差异，可以对组织良恶性进行更精确的鉴别诊断。

传统弹性成像应用外力(手动加压、心跳、呼吸、脉搏)作用于被检组织，观察被检组织的应变情况，压力的大小会直接影响最终弹性的结果，人为因素较大、重复性较差、无具体硬度值。点式剪切波弹性成像使用探头发射推力脉冲波(纵波)作用于组织，引起组织形变并产生剪切波(横波)，计算剪切波速度以换算组织硬度，可以直接显示被检组织的硬度值，但是点式剪切波弹性成像是非实时的，取样容积大小不可调，取样深度受限，测量重复性差。实时剪切波弹性成像(E-成像)通过探头发射推力脉冲波以马赫圆锥的形式进行多点连续聚焦作用于被检组织，并以极速成像平台高速捕获剪切波的传播过程及组织的形变信息，进而实时、全幅、全定量的显示组织质地信息(杨氏模量值，Kpa)，避免了操作者人为因素影响，重复性更好，可应用于全身各个器官的慢性病分级、占位性病变鉴别诊断等。

剪切波弹性图像中包含很多客观的有医学意义的信息，这些信息是肉眼难以发现的，采用深度卷积神经网络(Convolutional Neural Network，CNN)在有临床手术病理结果的乳腺结节剪切波弹性图像上进行训练，从临床常规影像学资料中提取出更多信息，随着数据累积和算法优化，结节良恶性识别准确率可以不断提高，对超声乳腺疾病早期检查的开展和普及具有重要意义。

深度卷积神经网络可以学习到图像中同类别的共性和不同类别之间的主要差异，网络最后几层输出的高度抽象特征，具有一定的平移、尺度、亮度等不变性，但不具有旋转不变性，导致学习到的特征稳定性不足。在对输入图像做模拟的数据增广时，虽然可以加入随机旋转变换，但参数需要预先设置，而且不同任务参数范围不一样，参数很难调整到最优，不合适的参数范围甚至会降低网络准确性。一般情况下网络越深模型分类准确率越高，但在数据比较少时，模型很容易过拟合，尤其是在超声图像。Dropout是一种简单、有效的防止过拟合的方法，但Dropout会降低网络收敛速度，增加训练时间，同时Dropout百分比对结果影响比较大，需要更多的实验确定最优百分比。

发明内容

本发明要解决的技术问题是，解决现有技术中的不足，提供一种基于深度学习的剪切波弹性图鉴别乳腺结节良恶性的方法。通过利用已知超声乳腺结节区域和剪切波弹性图像，提高乳腺结节良恶性识别准确率。

为解决上述技术问题，本发明的解决方案是：

提供一种基于深度学习的剪切波弹性图鉴别乳腺结节良恶性的方法，包括以下步骤：

(1)收集有结节的超声乳腺普通B超图像和剪切波弹性图像的病例数据，根据病理结果构建良恶性分类数据集；

(2)选择基础网络结构，使用旋转池化卷积层替换部分卷积层，构建良恶性识别网络结构；

(3)网络输入增加结节掩模信息，在训练集上进行数据增强，训练过程中使用可分离Dropout计算提高模型泛化能力；

(4)输入测试图像，进行多图像块和多模型测试评价模型性能，对图像进行乳腺结节良恶性判断。

本发明中，所述步骤(1)包括：

(1.1)收集有结节的超声乳腺普通B超图像和剪切波弹性图像的病例数据，以病例为单位，将普通B超图像和剪切波弹性图像一一对应；

(1.2)根据手术病理结果划分良恶性；对于多结节情况，明确每个结节的病理结果；

(1.3)裁剪图像上非超声区域，勾画结节位置，生成结节掩模图像；

(1.4)以病例为单位，按照三交叉划分训练集和测试集。

本发明中，所述步骤(2)包括：

(2.1)选取DenseNet作为基础网络结构；

(2.2)构建169层DenseNet网络结构，网络输入图像大小224×224，修改输入特征通道数为4；首先经过7×7卷积和3×3最大池化得到64个下采样2倍的112×112特征图，然后依次经过4个增长率是32的密集连接块，每个密集连接块分别由6、12、32、32个使用了1×1卷积降低特征通道的3×3卷积层稠密连接组成，密集连接块之间使用由批量归一化层、1×1卷积层和2×2平均池化层组成的过渡层减小特征图的数量；网络输出1664个下采样32倍的7×7特征图，最后经过全局平均池化输出预测类别概率；

(2.3)结合网络的局部感受野、权重绑定和池化策略，使用旋转卷积核参数的方法将旋转不变性编码加进卷积层；卷积核在平面内以中心位置分别旋转0度、45度、90度、135度、180度、225度、270度和315度，得到8个卷积核；在做卷积时，8个卷积核分别对输入特征通道进行卷积，得到8个独立输出特征通道，最后在8个通道图之间做最大池化，作为RPC层输出的最终特征图像；训练时前向过程和普通网络一样，误差反向传播时与最大值池化层一致；在DenseNet网络最后1个密集连接块使用RPC层替换3×3卷积层，学习到旋转不变特征。

本发明中，所述步骤(3)包括：

(3.1)在乳腺良恶性训练集普通B超图像或剪切波弹性图像上使用数据增强方法，增加数据多样性；对输入图像的每个通道做随机对比度拉伸、亮度值调整和像素值噪声扰动，并以进行水平镜像翻转；

(3.2)在结节区域内随机选取坐标点作为中心点，裁剪出224×224的结节掩模图像块，输入网络的第1通道；在经过数据增强后的普通B超图像或剪切波弹性图像对应位置裁剪出224×224的图像块，作为网络的第2、3、4通道的输入，对每个通道采用不同的均值和方差进行归一化；

(3.3)以可分离Dropout计算方法按设定的概率对输入层进行随机采样，减少神经元之间的相关性对特征学习的影响，防止过拟合；

可分离Dropout计算公式如下：

其中l是全连接层，y^(l)＝[y₁，y₂，...，y_n]^T是l层的输出，1_e是d维全1向量，m^(l)是l层的d维二值向量，m的每个元素

服从独立伯努利随机分布，即m_i～Berniulli(p)，l层输出的每个元素以概率p保留，以1-p的概率置为0，y^(l)被分离成了

和

然后分别与l+1层的权重W^(l+1)相乘得到z^(l+1)，输入激活函数a后计算出l+1层的输出y^(l+1)，i表示向量或矩阵中每个元素。

选用随机梯度下降法训练网络参数，训练过程中每遍历完一次训练集，就在测试集上做一次预测，最后取在测试集上识别率最高的一次参数，作为良恶性识别模型。

本发明中，所述步骤(4)包括：

(4.1)根据已知结节位置，在测试图像上计算最小外接矩形；根据矩形的最长边均匀扩展短边，使短边与长边一样大小，得到包含结节的正方形区域；然后以正方形区域中心为原点，边长放大n倍作为识别区域，1＜n＜2；

(4.2)在识别区域内选取5个224×224的图像块，分别位于左上角、右上角、左下角、右下角和中心；然后对识别区域做水平镜像操作，再选取5个图像块，共10个图像块，分别输入每个交叉训练得到的模型，取所有输出恶性类别概率值的平均值作为最终结节的恶性概率；

(4.3)在测试集上，计算每个结节在普通B超图像和剪切波弹性图像上的恶性概率值，做出ROC曲线，计算AUC值；选取合适阈值调节模型预测敏感性和特异性，结合普通B超图像和剪切波弹性图像预测的概率值综合判断良恶性。

与现有技术相比，本发明的有益效果是：

1、本发明使用比较深的卷积神经网络在超声乳腺剪切波弹性图像上训练结节良恶性识别模型，与使用普通B超图像识别良恶性相比，能够提高良恶性诊断准确率。

2、本发明使用旋转池化卷积层替换网部分卷积层，可以学习到旋转不变性。在训练过程中使用可分离Dropout提高模型泛化能力，在不增加网络计算复杂度情况下，能够提高模型识别准确率。

附图说明

图1为本发明的操作流程图。

图2为乳腺普通B超和剪切波弹性图像。

图3为旋转池化卷积示意图。

图4为可分离Dropout示意图。

图5为在测试集的ROC曲线。

具体实施方式

下面结合附图与具体实施方式对本发明作进一步详细描述。实施例可以使本专业的专业技术人员更全面地理解本发明，但不以任何方式限制本发明。

本发明采用的基于深度卷积神经网络的超声乳腺剪切波弹性图像识别结节良恶性的方法，如图1所示，其具体步骤如下：

过程一，收集病例数据，根据手术病理结果构建良恶性分类数据集

(1)收集有结节的超声乳腺剪切波弹性图像的病例数据，以病例为单位，同一个病人的一次检查放在一个文件夹，包含多次检查的结果以日期文件夹区分开，每个病例包含普通B超图像和对应的剪切波弹性图像，普通B超图像和剪切波弹性图像可以在一张图像上(例如左边是普通B超图像，右边是剪切波弹性图像)，也可以是一张普通B超图像和一张对应的剪切波弹性图像。

(2)根据手术病理结果划分良恶性，只有穿刺病理结果的病例不加入良恶性数据集，对于多结节情况，需要明确每个结节的病理结果，收集病例数不少于2千例，图像总数不少于1万张。

(3)数据收集完成后，进行文件重命名，裁剪图像上非超声区域。在普通B超图像上勾画结节位置，在对应剪切波图像上自动计算结节位置。勾画完成后分别产生普通B超图像和剪切波图像的结节掩模图像，结节区域内的像素值是255，其余区域像素值为0。勾画过程是以人工方式按常规医学图像识别规则进行的。通常情况下，各医院超声检查科室的持证上岗医师均能完成该工作。

(4)以病例为单位，按照三交叉划分训练集和测试集，将所有良恶性数据随机平均分成3份，每次选取2份作为训练集，1份作为测试集。

过程二，构建良恶性识别网络，使用旋转池化卷积层替换部分卷积层

(1)选取DenseNet(2017)作为基础结构结构。

一般情况下网络越深模型分类准确率越高，但在数据量较少时网络越深训练越难收敛，而且很容易过拟合，使用具有跳层连接方式的网络结构，可以解决梯度消失和退化问题，可以提高收敛速度和识别率。DenseNet是一种具有密集连接的卷积神经网络，在该网络中，任何两层之间都有直接的连接，也就是说，网络每一层的输入都是前面所有层输出的并集，而该层所学习的特征图也会被直接传给其后面所有层作为输入。DenseNet网络结构由密集连接块组成，每个密集连接块中每层输出的特征通道数是固定的，每一层可以得到前面所有层的输入，然后通过设计卷积核是1的卷积操作，减少输入特征通道数量，既能降维减少计算量，又能融合各个通道的特征。在一些公开数据集上的实验表明，DenseNet具有很强的泛化性能，尤其是在小数据集上具有很高识别率，比较适合在超声剪切波弹性图像上识别良恶性。

(2)构建169层DenseNet网络结构，网络输入图像大小224×224，修改输入特征通道数为4，首先经过7×7卷积和3×3最大池化得到64个下采样2倍的112×112特征图，然后依次经过4个增长率是32的密集连接块，每个密集连接块分别由6、12、32、32个使用了1×1卷积降低特征通道的3×3卷积层稠密连接组成，密集连接块之间使用由批量归一化层、1×1卷积层和2×2平均池化层组成的过渡层减小特征图的数量。最后网络输出1664个下采样32倍的7×7特征图，最后经过全局平均池化输出预测类别概率。

(3)结合网络的局部感受野、权重绑定和池化策略，使用旋转卷积核参数的方法将旋转不变性编码加进卷积层，称为旋转池化卷积(Rotate Pooling Convolution,RPC)层。卷积核在平面内以中心位置分别旋转0度、45度、90度、135度、180度、225度、270度和315度，可以得到8个卷积核，卷积核的值保持不变，只是位置发生变化。在做卷积时，8个卷积核分别对输入特征通道进行卷积，得到8个独立输出特征通道，最后在8个通道图之间做最大池化，作为旋转池化卷积层输出的最终特征图像。训练时前向过程和普通网络一样，误差反向传播时与最大值池化层一致。设计在DenseNet网络最后1个密集连接块使用旋转池化卷积层替换3×3卷积层，没有增加额外训练参数，可以减少计算开销，学习到旋转不变特征。

过程三，在训练集上进行数据增强，输入增加结节掩模信息，使用可分离Dropout计算来训练模型

(1)网络结构设计完成后，使用斯坦福大学创建的ImageNet在ILSVRC2012竞赛上的数据集训练基础模型，作为网络的初始化参数。在乳腺良恶性训练集普通B超图像或剪切波弹性图像上使用数据增强方法，增加数据多样性，在设定参数范围内，对输入图像的每个通道做随机对比度拉伸、亮度值调整和像素值噪声扰动，并以设定概率进行水平镜像翻转。

(2)考虑结节形状及其边缘、周围部分区域有助于识别良恶性，网络输入增加结节掩模信息。在结节区域内随机选取坐标点作为中心点，裁剪出224×224的结节掩模图像块，输入网络的第1通道；在经过数据增强后的普通B超图像或剪切波弹性图像对应位置裁剪出224×224的图像块(普通B超图像如果是灰度图则转换为RGB图)，作为网络的第2、3、4通道的输入，对每个通道采用不同的均值和方差进行归一化。

(3)在网络的训练过程中，按照一定概率使网络中的一些神经元不参与学习，保持输入输出神经元不变，这样每批次样本都在训练不同的网络，即Dropout方法。使用可分离Dropout替代Dropout方法，以设定的概率对输入层进行随机采样，减少神经元之间的相关性对特征学习的影响，防止过拟合，提高收敛速度和网络准确率。可分离Dropout和Dropout的主要区别是可分离Dropout随机抽样到不更新的神经元节点作为另外一个共享相同网络参数的子网络的输入参与训练更新，这样整个网络模型的收敛速度更快，而且相同网络在不同输入时做加权平均可以提高网络准确率。可分离Dropout计算具体过程见发明内容部分所述。

选用随机梯度下降法训练网络参数，训练过程中每遍历完一次训练集，就在测试集上做一次预测，最后取在测试集上识别率最高的一次参数，作为良恶性识别模型。由于使用三交叉训练和测试方法，最终得到3个良恶性识别模型。

过程四，输入测试图像，进行多图像块多模型预测，在测试集上评价模型性能，对图像进行乳腺结节良恶性判断。

(1)模型训练完成后，在测试图像上，根据已知结节位置，计算最小外接矩形，根据矩形的最长边均匀扩展短边，使短边与长边一样大小，得到包含结节的正方形区域，然后以正方形区域中心为原点，边长放大n(1＜n＜2)倍,作为识别区域。

(2)在识别区域内，选取5个224×224的图像块，分别位于左上角、右上角、左下角、右下角和中心；然后对识别区域做水平镜像操作，再选取5个图像块，共10个图像块，分别输入每个交叉训练得到的模型，取所有输出恶性类别概率值的平均值作为最终结节的恶性概率。

(3)在测试集上，计算每个结节在普通B超图像和剪切波弹性图像上的恶性概率值，做出ROC曲线，计算AUC值，AUC值越高模型分类性能越好。临床应用时，选取合适阈值调节预测敏感性和特异性，结合普通B超图像和剪切波弹性图像预测的概率值综合判断良恶性。

图2展示了本实施例中所用超声乳腺剪切波弹性图像，左边是普通B超图像，右边是对应的剪切波弹性图像；图3是旋转池化卷积示意图；图4是可分离Dropout示意图；图5是在测试集上普通B超图像和剪切波弹性图像的ROC曲线和AUC值，可以看出在剪切波弹性图像上识别结节良恶性准确率更高。

最后，需要注意的是，以上列举的仅是本发明的具体实施例。显然，本发明不限于以上实施例，还可以有很多变形和应用场景，如超声甲状腺剪切波弹性图像识别结节良恶性、超声肝脏剪切波弹性图像识别肿块类型等。本领域的普通技术人员能从本发明公开的内容中直接导出或联想到的所有变形，均应认为是本发明的保护范围。

Claims (5)

1.一种基于深度学习的剪切波弹性图鉴别乳腺结节良恶性的方法，其特征在于，包括以下步骤：

(1)收集有结节的超声乳腺普通B超图像和剪切波弹性图像的病例数据，根据病理结果构建良恶性分类数据集；

(2)选择基础网络结构，使用旋转池化卷积层替换部分卷积层，构建良恶性识别网络结构；

(3)网络输入增加结节掩模信息，在训练集上进行数据增强，训练过程中使用可分离Dropout计算提高模型泛化能力；

(4)输入测试图像，进行多图像块和多模型测试评价模型性能，对图像进行乳腺结节良恶性判断。

2.根据权利要求1所述的方法，其特征在于，所述步骤(1)包括：

(1.1)收集有结节的超声乳腺普通B超图像和剪切波弹性图像的病例数据，以病例为单位，将普通B超图像和剪切波弹性图像一一对应；

(1.2)根据手术病理结果划分良恶性；对于多结节情况，明确每个结节的病理结果；

(1.3)裁剪图像上非超声区域，勾画结节位置，生成结节掩模图像；

(1.4)以病例为单位，按照三交叉划分训练集和测试集。

3.根据权利要求1所述的方法，其特征在于，所述步骤(2)包括：

(2.1)选取DenseNet作为基础网络结构；

(2.2)构建169层DenseNet网络结构，网络输入图像大小224×224，修改输入特征通道数为4；首先经过7×7卷积和3×3最大池化得到64个下采样2倍的112×112特征图，然后依次经过4个增长率是32的密集连接块，每个密集连接块分别由6、12、32、32个使用了1×1卷积降低特征通道的3×3卷积层稠密连接组成，密集连接块之间使用由批量归一化层、1×1卷积层和2×2平均池化层组成的过渡层减小特征图的数量；网络输出1664个下采样32倍的7×7特征图，最后经过全局平均池化输出预测类别概率；

(2.3)结合网络的局部感受野、权重绑定和池化策略，使用旋转卷积核参数的方法将旋转不变性编码加进卷积层；卷积核在平面内以中心位置分别旋转0度、45度、90度、135度、180度、225度、270度和315度，得到8个卷积核；在做卷积时，8个卷积核分别对输入特征通道进行卷积，得到8个独立输出特征通道，最后在8个通道图之间做最大池化，作为RPC层输出的最终特征图像；训练时前向过程和普通网络一样，误差反向传播时与最大值池化层一致；在DenseNet网络最后1个密集连接块使用RPC层替换3×3卷积层，学习到旋转不变特征。

4.根据权利要求1所述的方法，其特征在于，所述步骤(3)包括：

(3.1)在乳腺良恶性训练集普通B超图像或剪切波弹性图像上使用数据增强方法，增加数据多样性；对输入图像的每个通道做随机对比度拉伸、亮度值调整和像素值噪声扰动，并以进行水平镜像翻转；

(3.2)在结节区域内随机选取坐标点作为中心点，裁剪出224×224的结节掩模图像块，输入网络的第1通道；在经过数据增强后的普通B超图像或剪切波弹性图像对应位置裁剪出224×224的图像块，作为网络的第2、3、4通道的输入，对每个通道采用不同的均值和方差进行归一化；

(3.3)以可分离Dropout计算方法按设定的概率对输入层进行随机采样，减少神经元之间的相关性对特征学习的影响，防止过拟合；

可分离Dropout计算公式如下：

其中l是全连接层，y^(l)＝[y₁，y₂，...，y_n]^T是l层的输出，1_e是d维全1向量，m^(l)是l层的d维二值向量，m的每个元素

服从独立伯努利随机分布，即m_i～Bernoulli(p)，l层输出的每个元素以概率p保留，以1-p的概率置为0，y^(l)被分离成了

和

然后分别与l+1层的权重W^(l+1)相乘得到z^(l+1)，输入激活函数a后计算出l+1层的输出y^(l+1)，i表示向量或矩阵中每个元素；

选用随机梯度下降法训练网络参数，训练过程中每遍历完一次训练集，就在测试集上做一次预测，最后取在测试集上识别率最高的一次参数，作为良恶性识别模型。

5.根据权利要求1所述的方法，其特征在于，所述步骤(4)包括：

(4.1)根据已知结节位置，在测试图像上计算最小外接矩形；根据矩形的最长边均匀扩展短边，使短边与长边一样大小，得到包含结节的正方形区域；然后以正方形区域中心为原点，边长放大n倍作为识别区域，1＜n＜2；

(4.2)在识别区域内选取5个224×224的图像块，分别位于左上角、右上角、左下角、右下角和中心；然后对识别区域做水平镜像操作，再选取5个图像块，共10个图像块，分别输入每个交叉训练得到的模型，取所有输出恶性类别概率值的平均值作为最终结节的恶性概率；

(4.3)在测试集上，计算每个结节在普通B超图像和剪切波弹性图像上的恶性概率值，做出ROC曲线，计算AUC值；选取合适阈值调节模型预测敏感性和特异性，结合普通B超图像和剪切波弹性图像预测的概率值综合判断良恶性。

Images