CN106780448A - 一种基于迁移学习与特征融合的超声甲状腺结节良恶性分类方法 - Google Patents

Abstract

一种基于迁移学习与特征融合的超声甲状腺结节良恶性分类方法，首先将超声图像进行预处理并缩放为统一尺寸，然后对超声图像提取传统底层特征，再通过迁移学习的方法，把自然图像中经深度神经网络训练得到的模型用于提取超声图像的高层语义特征，其后，将底层特征与高层特征融合，利用良恶性甲状腺结节的区分度进行特征筛选得到最终的特征向量，用于训练支持向量机分类器，进行最终的甲状腺结节良恶性分类；本发明将底层特征和高层特征相融合、并进行显著性特征筛选，弥补了单一特征在语义层次上对甲状腺结节特性描述能力的不足，有效提高了分类精度；通过引入迁移学习，解决了医学样本图像少、无法直接训练获取深度特征的问题。

Description

一种基于迁移学习与特征融合的超声甲状腺结节良恶性分类 方法

技术领域

本发明属于医学图像分类技术领域，适用于超声甲状腺分类，具体涉及一种基于迁移学习与特征融合的超声甲状腺结节良恶性分类方法。

背景技术

超声检查是甲状腺结节最有价值的诊断方法之一。超声波在人体内传播时，由于不同组织的声阻抗和衰减特性不同，表现出不同的回声强度。良恶性结节在超声图像中表现不同，因此可用图像识别和图像分类的方法，对甲状腺的结节进行良恶性自动分类与判别。该方法可为医生提供辅助性诊断手段，减轻医生临床诊断压力，解决诊断结果过度依赖医生主观经验问题，具有重要实用价值与理论意义。

甲状腺结节良恶性分类的关键在于寻找合适的有区分度的特征。传统方法是提取底层纹理特征、灰度特征等用于分类，如梯度直方图(HOG)、局部二值模式(LBP)、灰度共生矩阵(GLCM)、尺度不变特征(SIFT)、局部特征聚合描述符(VLAD)等特征。然而，超声图像具有斑点噪声严重、对比度低的固有成像特点，甲状腺结节的形状大小和病例特点又不尽相同，这些底层特征由于其单一性和局域性，缺少语义层次上对结节特性的有效描述，因此无法在结节良恶性分类任务中获得令人满意的结果。

近年来，深度学习，特别是卷积神经网络(CNNs)在图像识别领域展现了巨大的应用潜力。CNNs由多个卷积层和特征映射层组成，由CNNs提取得到的特征，可以看做是输入图像的一种高度融合的特征表达方式，其中体现了语义层次上的隐含信息。这类高层的语义特征正好可以补充传统底层特征在表达深度上的不足。将此特征引入超声图像分类的困难是，在医学领域无法获得如此大的数据集来训练一个针对性的深度网络，而采用小规模医学图像数据集(通常在数百张左右)训练一个含有上百万参数的深度网络，可以预见到训练会陷入过拟合。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供一种基于迁移学习与特征融合的超声甲状腺结节良恶性分类方法，通过引入迁移学习的概念，将自然图像中经神经网络训练得到的模型，应用到医学图像处理中，从而为医学图像提取更高层次的语义特征，能够较好地识别甲状腺结节的良恶性，获得更高的分类精度。

为了实现上述目的，本发明采用的技术方案是：

一种基于迁移学习与特征融合的超声甲状腺结节良恶性分类方法，包括以下步骤：

步骤1，对包含结节区域的超声图像进行预处理，并将图像缩放为统一尺寸；

步骤2，对步骤1得到的每一张图像，分别提取底层特征；

步骤3，将步骤1得到的每一张图像，输入到已通过ImageNet数据集训练后的VGG-F模型，并提取第二个全连接层的输出向量作为该图像的高层语义特征；

步骤4，将步骤2和3提取的特征合并，根据良恶性甲状腺结节的区分度进行特征筛选，得到最终的显著特征描述向量；

步骤5，将医生已标记好的甲状腺结节超声图像作为训练集，利用支持向量机(SVM)及步骤4得到的显著特征描述向量进行样本训练，得到针对超声甲状腺结节的分类器；

步骤6，将待分类的甲状腺结节超声图像按照步骤2-4提取到其特征向量，并输入步骤5得到的分类器，得到该结节良恶性分类结果。

所述步骤1中，采用各向异性扩散斑点抑制方法进行斑点噪声消除。

所述步骤2中，底层特征包括HOG、LBP、SIFT-VLAD。

所述步骤3中，VGG-F模型是牛津大学VGG小组在ImageNet图像集上训练的深度模型，包括5个卷积层和3个全连接层，所述第二个全连接层是指VGG-F模型特征映射层的第二层，也是该模型的第7层，该层输出向量为4096维。

所述步骤4中，底层特征与高层语义特征合并方法是将各特征向量首尾相连直接连缀成一维向量。

所述步骤4中，根据良恶性甲状腺的区分度进行特征筛选指的是，根据以下公式得到N维特征的区分度，从N维特征分量中选择K个显著分量：

其中，MB代表良性，MM代表恶性，N代表特征维数，v_ik代表第i个图像样本的第k维特征，将计算得到的diff_k从大到小排列，选择前K个对应的特征描述子分量作为显著特征，组成新的特征描述子。

所述步骤5中，SVM分类器训练是指，在特征空间内，寻找一个超平面，使得不同良恶性类别的特征点位于超平面的两边，并且特征点距离该超平面尽可能的远，此超平面即为训练所得分类面。

与现有技术相比，本发明先通过迁移学习得到关于图像的高层语义特征，其后将底层特征与高层特征相融合，并进行特征筛选得到显著性特征，最后再进行甲状腺结节的良恶性分类，其有益效果包括：

1)本发明对于超声甲状腺图像引入了通过深度学习得到的高层语义特征，并将这种高层语义特征与传统的底层特征相结合，更好地刻画了超声甲状腺结节的病例特性。

2)本发明利用迁移学习的方法，将利用自然图像训练好的深度神经网络模型作为高层特征提取器，避免了医学图像数据少无法训练卷积神经网络的障碍。

3)本发明将高层特征与底层特征融合筛选，有效提高了超声甲状腺结节的良恶性分类精度。

附图说明

图1是本发明超声甲状腺结节良恶性分类方法流程图。

具体实施方式

下面结合附图和实施例详细说明本发明的实施方式。

如图1所示，本发明一种基于迁移学习与特征融合的超声甲状腺结节良恶性分类方法，包括以下步骤：

步骤1，对包含肿瘤区域的超声图像进行预处理，具体利用各向异性扩散斑点抑制方法进行斑点噪声消除，并将图像缩放到统一尺寸。

在本实施例中，采用超声甲状腺结节图像1037张。为统一尺寸，将图片统一采样缩放为224*224大小。

步骤2，对步骤1得到的每一张图像，分别提取传统底层特征HOG特征，LBP特征，SIFT-VLAD特征。

在本实施例中，HOG特征算法参数选择为：直方图计算范围(Cell)大小64*64像素，块大小4*4Cell，利用该算子可得到144维的特征向量；LBP特征算法参数选择为：邻近像素数目为24，半径为3像素，利用该算子可得到26维的特征向量；VLAD特征算法参数选择为：码本词汇数为4，该算子提取特征为512维向量。

步骤3，将步骤1得到的每一张图像，作为输入到已通过ImageNet数据集训练后的VGG-F模型，并提取第二个全连接层的输出向量作为该图像的高层语义特征；经过VGG-F模型，可提取得到4096维的特征向量。

步骤4，将步骤2和3提取的特征向量合并，根据良恶性甲状腺结节的区分度进行特征筛选，得到最终的显著特征描述向量；

图像特征向量合并得到4887维的特征向量。本实施例中，根据良恶性甲状腺结节的区分度大小进行排列，并选取前1100个分量作为显著特征描述向量。

步骤5，将医生已标记好的甲状腺结节超声图像作为训练集，利用支持向量机(SVM)对步骤4得到的显著特征描述向量进行训练，得到针对超声甲状腺结节的分类器；

本实施例中，采用933张已标记甲状腺结节超声图像样本作为训练集。采用步骤4中得到1100维的显著特征描述向量，训练出针对超声甲状腺结节的SVM分类器。

步骤6，将待分类的甲状腺结节超声图像按照步骤2-4提取到其特征向量，并输入步骤5得到的分类器，得到该结节良恶性分类结果。

本实施例中，将剩余104张图片作为待分类的甲状腺结节图像。分别得到1100维的显著特征描述向量后，进行分类，分类精度为93.3％。

综上，本发明将底层特征和高层特征相融合、并进行显著性特征筛选，弥补了单一特征在语义层次上对甲状腺结节特性描述能力的不足，有效提高了分类精度；通过引入迁移学习，解决了医学样本图像少、无法直接训练获取深度特征的问题。

Claims (7)

1.一种基于迁移学习与特征融合的超声甲状腺结节良恶性分类方法，其特征在于，包括以下步骤：

步骤1，对包含结节区域的超声图像进行预处理，并将图像缩放为统一尺寸；

步骤2，对步骤1得到的每一张图像，分别提取底层特征；

步骤3，将步骤1得到的每一张图像，输入到已通过ImageNet数据集训练后的VGG-F模型，并提取第二个全连接层的输出向量作为该图像的高层语义特征；

步骤4，将步骤2和3提取的特征合并，根据良恶性甲状腺结节的区分度进行特征筛选，得到最终的显著特征描述向量；

步骤5，将医生已标记好的甲状腺结节超声图像作为训练集，利用支持向量机(SVM)及步骤4得到的显著特征描述向量进行样本训练，得到针对超声甲状腺结节的分类器；

步骤6，将待分类的甲状腺结节超声图像按照步骤2-4提取到其特征向量，并输入步骤5得到的分类器，得到该结节良恶性分类结果。

2.根据权利要求1所述基于迁移学习与特征融合的超声甲状腺结节良恶性分类方法，其特征在于，所述步骤1中，采用各向异性扩散斑点抑制方法进行斑点噪声消除。

3.根据权利要求1所述基于迁移学习与特征融合的超声甲状腺结节良恶性分类方法，其特征在于，所述步骤2中，底层特征包括HOG、LBP、SIFT-VLAD。

4.根据权利要求1所述基于迁移学习与特征融合的超声甲状腺结节良恶性分类方法，其特征在于，所述步骤3中，VGG-F模型是牛津大学VGG小组在ImageNet图像集上训练的深度模型，包括5个卷积层和3个全连接层，所述第二个全连接层是指VGG-F模型特征映射层的第二层，也是该模型的第7层，该层输出向量为4096维。

5.根据权利要求1所述基于迁移学习与特征融合的超声甲状腺结节良恶性分类方法，其特征在于，所述步骤4中，底层特征与高层语义特征合并方法是将各特征向量首尾相连直接连缀成一维向量。

6.根据权利要求1所述基于迁移学习与特征融合的超声甲状腺结节良恶性分类方法，其特征在于，所述步骤4中，根据良恶性甲状腺的区分度进行特征筛选指的是，根据以下公式得到N维特征的区分度，从N维特征分量中选择K个显著分量：

${\mathrm{diff}}_k=|\frac{1}{N_{MB}}{\Σ}_{i=1}^{N_{MB}}{v}_{ik}-\frac{1}{N_{MM}}{\mathrm{\Σ}}_{i=1}^{N_{MM}}{v}_{ik}|(k=1,...,N)$

其中，MB代表良性，MM代表恶性，N代表特征维数，v_ik代表第i个图像样本的第k维特征，将计算得到的diff_k从大到小排列，选择前K个对应的特征描述子分量作为显著特征，组成新的特征描述子。

7.根据权利要求1所述基于迁移学习与特征融合的超声甲状腺结节良恶性分类方法，其特征在于，所述步骤5中，SVM分类器训练是指，在特征空间内，寻找一个超平面，使得不同良恶性类别的特征点位于超平面的两边，并且特征点距离该超平面尽可能的远，此超平面即为训练所得分类面。