CN106156793A - 结合深层特征提取和浅层特征提取的医学图像分类方法 - Google Patents

Abstract

本发明涉及一种结合深层特征提取和浅层特征提取的医学图像分类方法，首先训练深度卷积神经网络模型、词袋模型和BP神经网络，然后将待分类医学图像分为图像子块，将图像子块先后输入到训练好的深度卷积神经网络模型、词袋模型和BP神经网络，得到每个图像子块的类别，基于多数表决的原则对待分类医学图像进行分类。

Description

结合深层特征提取和浅层特征提取的医学图像分类方法

技术领域

本发明涉及一种图像分类方法，特别是针对具有类内差异大(如来自身体不同部位的CT图像)、类间差异小(如CT图像和MRI图像)的医学图像分类问题，同时使用基于深度卷积神经网络的特征提取和由领域知识指导的视觉特征提取，并且将得到的深层和浅层特征结合起来训练分类器，较好的实现了医学图像分类。

背景技术

图像分类主要包括特征提取和分类器构造两个主要环节。其中，特征提取旨在将图像转化为一组便于后续处理的数值特征，是分类器构造的基础，在解决图像分类问题中显得尤为重要。传统的视觉特征一般包括图像的颜色、纹理、形状特征和拓扑结构特征等，其中著名的有模糊颜色纹理直方图(Fuzzy Color and Texture Histogram，FCTH)、颜色边缘方向算子(Color and Edge Directivity Descriptor，CEDD)、灰度共生矩阵(GrayLevel Co-Occurrence Matrix，GLCM)、局部二值模式(Local Binary Pattern，LBP)特征、Gabor滤波器特征和尺度不变特征变换(Scale-invariant feature transform，SIFT)等。对于医学图像分类问题，由于同一模态的图像(如CT图像)可能采集自人体的不同部位，从而具有较大的类内差异；同时，当两种不同模态的图像(如CT图像和MRI图像)采集自人体的同一部位时，又具有较小的类间差异。因此，寻找能够反映各种模态的医学图像的固有特点而非人体的解剖机构信息的图像描述特征，是解决医学图像分类问题的难点和关键所在。

2006年以来，深度学习技术受到了越来越多的重视，被广泛应用于语音识别、自然语言理解、广告分类、游戏设计和图像处理等领域，甚至被认为是大数据时代最成功的机器学习技术。近年来，各类深度学习技术在自然景物图像分类竞赛中取得了令人瞩目的成绩，特别是深度卷积神经网络将特征提取和分类集成在一个统一的网络结构中进行，通过训练，可以自动学习到特征提取所需的卷积模板，其有效性已经在自然景物图像分类中得到了验证。但是，一方面深度学习网络通常都要求海量的训练数据，这对于医学图像而言，很难实现；另一方面，各种医学影像技术涉及各自独特的物理过程，所获得的图像有不同的物理意义和自身特点，目前很多医学图像分类方法都是根据这些特点来寻找合适的图像描述特征，也取得了不错的效果。

发明内容

要解决的技术问题

为了避免现有技术由于医学图像数量少所导致的基于深度学习的分类算法效果不佳，以及基于视觉特征的传统分类方法正确率偏低的问题，本发明提出一种结合深层特征提取和浅层特征提取的医学图像分类方法。

技术方案

一种结合深层特征提取和浅层特征提取的医学图像分类方法，其特征在于步骤如下：

步骤1：训练深度卷积神经网络模型、词袋模型和BP神经网络：

步骤1a：从每一幅训练医学图像中随机提取若干个大小为L×L图像子块，使用双线性插值算法将所有的图像子块的尺寸调整一致；

步骤1b：采用随机梯度下降方法使用图像子块去训练一个深度卷积神经网络模型；提取深度卷积神经网络的全连接层作为深层特征；

步骤1c：采用快速鲁棒特征算法SURF提取图像子块中的关键点，使用尺度不变特征算子计算关键点附近局部信息的特征，采用向量量化算法VQ将全部关键点附近局部信息特征聚类构成词袋模型；将全部关键点附近局部信息特征映射到不同类聚，计算这些特征归属不同类别的频率直方图，将频率直方图作为浅层特征；

步骤1d：将每一个图像子块的深层特征和浅层特征拼接在一起，然后将所有的拼接特征训练一个BP神经网络；

步骤2：从待分类医学图像中随机提取若干个大小为L×L图像子块，使用双线性插值算法将所有的图像子块的尺寸调整一致；

步骤3：将图像子块输入到训练好的深度卷积神经网络模型，提取深度卷积神经网络的全连接层作为深层特征；

步骤4：将图像子块输入到训练好的词袋模型，提取词袋模型的频率直方图作为浅层特征；

步骤5：将每个图像子块的深层特征和浅层特征拼接在一起，将拼接特征输入到训练好的BP神经网络，得到每个图像子块的类别；

步骤6：基于多数表决的原则对待分类医学图像进行分类：即将待分类医学图像归入从其上提取的最多图像子块所属的类别。

所述的其中W为测试图像的宽度、H为测试图像的高度。

步骤1b中训练深度卷积神经网络模型中：网络的学习率设置为0.6，最大迭代次数为500，每一批训练所用的样本量为50。

步骤1d中训练时采用批训练模式，每一批包括50个样本，设置网络学习率为3，动量比设置为0.5，最大迭代步数为100。

有益效果

本发明提出的一种结合深层特征提取和浅层特征提取的医学图像分类方法，该方法较好的克服了由于医学图像数量少所导致的基于深度学习的分类算法效果不佳，以及基于视觉特征的传统分类方法正确率偏低的问题，通过将深度学习技术的特征提取能力与传统方法中的视觉描述能力相结合，实现了正确率较高的医学图像自动分类，为计算机辅助的医学图像存储、管理、分析和计算机辅助诊断等应用提供了技术支撑；同时，本方法也可以应用于其它图像分类问题。

附图说明

图1结合深层特征提取和浅层特征提取的医学图像分类算法流程

具体实施方式

现结合实施例、附图对本发明作进一步描述：

本发明提供了一种同时进行基于深度卷积神经网络的特征提取和由领域知识指导的启发式特征提取，并结合使用所得到的两类特征训练分类器，实现医学图像分类的创新方法。

该方法从每一幅医学图像中提取若干小的图像块，每一个图像块的类别就是其所在图像的类别，从而将基于图像的分类问题转换为基于图像块的分类问题。首先，使用从所有训练图像中提取的图像块采用随机梯度下降方法训练一个深度卷积神经网络模型，选取该网络的全连接层的输出作为相应图像块的描述特征，称之为深层特征；接着，对每一个图像块提取能够描述关键点附近局部信息的特征，在本发明中采用了SURF特征，并利用所有图像块上的全部关键点特征训练一个词袋模型(Bag of Keypoints，BoK)，利用该模型得到的词袋频率统计直方图描述每个图像块上的局部视觉信息的特征，由于该特征提取过程中并不涉及深度学习，所以将其称为浅层特征；最后，将每一个图像块的深层特征和浅层特征拼接在一起，用所有这些特征去训练一个分类器，本发明中采用的是BP神经网络。当使用本方法分类一幅医学图像时，首先，同样的从该图像中提取若干小的图像块；接着，将每一个图像块分别输入训练好的深度卷积网络模型和词袋模型，提取其深层和浅层特征，并将两种特征拼接在一起；然后，将每一个拼接特征输入训练好的BP神经网络，得到对该图像块的分类结果；最后，基于多数表决的原则对测试图像进行分类，即将测试图像归入从其上提取的最多图像块所属的类别。

1.提取图像子块

基本思想是将基于图像的分类转换为基于图像子块的分类问题来解决。设原始图像I宽度为W、高度为H，我们从图像中随机提取100个部分交叠的边长为L(这里，的图像子块。由于每个图像的原始大小未必一致，即每个原始图像的W和H的值不一致，所以从原始图像中提取出的图像子块的边长L大小也不一定相同，为了得到大小一致的图像子块，我们使用双线性插值算法将大小不一的图像子块的尺寸统一调整为56×56。

2.基于深度学习模型的深层特征提取

我们以LeNet-5模型为基础，构造了深度卷积神经网络。该网络包括6个子层：第一层是采用6个5×5卷积模板的卷积层，为了消除卷积边界效应的影响，图像块儿四周边界在卷积时被丢弃；第二层是一个最大降采样层，采用2×2区域中的最大值像素来代替该区域；第三层同样是采用2个5×5卷积模板的卷积层；第四层是另一个2×2的最大降采样层；第五层是一个具有1452个神经节点的全连接层，使用sigmoid激活函数，且没有经过降采样或归一化处理；第六层为输出层，包括两个神经节点，同样采用sigmoid激活函数。该网络的前四层扮演了特征提取的角色，第五层和第六层扮演了分类器的角色。

给定一个56×56的图像块作为网络的输入，前五层的网络输出分别为6个52×52的特征矩阵、6个26×26的特征矩阵、12个22×22的特征矩阵、12个11×11的特征矩阵和一个1452维的特征向量。在训练过程中，我们设置网络的学习率为0.6，最大迭代次数为500，每一批训练所用的样本量为50。当网络训练至收敛后，我们提取第五层网络输出的1452维向量作为输入图像块的深层特征。

3.领域知识启发下的浅层特征提取

不同医学影像技术所得到的图像反映的是人体不同的理化特性或生理过程，因此这些图像具有不同的特点，特别表现在图像的局部细节上。例如，CT图像中骨头呈现出高亮，而MRI图像中不同软组织呈现出较好的对比度。为了提取图像局部所呈现的这些视觉特征，我们采用了将尺度不变特征与词袋模型相结合的方法。首先，利用快速鲁棒特征(Speeded-Up Robust Feature，SURF)算法提取图像块儿中的关键点；接着，使用尺度不变特征算子，在以每个关键点为中心的小区域内计算一个128维的尺度不变特征；然后，使用向量量化(Vector Quantization，VQ)算法将所有图像块中关键点的特征聚为500类，构成词袋模型，每个类在该模型中被称为一个单词；最后，将每个图像块中全部关键点特征映射到不同类聚，计算这些特征归属不同类的频率直方图。这个500维的直方图就是每一个图像块的浅层特征。

4.构造BP分类器

对于每一个图像块，我们将其1452维深层特征和500维浅层特征拼在一起，构成了一个维度为1952的组合特征。我们使用所有从训练图像中提取的图像块的组合特征训练一个单隐层的BP神经网络作为图像块的分类器。在该网络中，输入层有1952个节点，隐藏层有200个节点，输出层有2个节点。隐藏层使用的是优化的tanh激活函数，输出层使用sigmoid激活函数。训练时采用批训练模式，每一批包括50个样本，设置网络学习率为3，动量比(momentum rate)设置为0.5，最大迭代步数为100。

5.医学图像的分类

有了特征提取方案和训练好的深度卷积神经网络、词袋模型和BP神经网络，整个医学图像的分类工作可以分为以下几个步骤进行。

1)、从一幅待分类的测试图像中随机提取49个大小为L×L的图像块，然后通过双线性插值算法将每个图像块的大小调整为56×56；

2)、将图像块输入到训练好的深度卷积神经网络中，由第五层的输出得到1452维的深层特征；

3)、利用训练好的词袋模型，提取每个图像块的浅层特征；

4)、对每个图像子块，结合其深层特征和浅层特征形成一个1952维的特征向量，将其输入到训练好的BP神经网络中，预测出该图像子块所属类别；

5)、根据BP网络预测的这49个图像块的类别，采用多数投票机制进行测试图像类别的最终判定，即将测试图像归入包含图像块最多的那个类。

Claims (4)

1.一种结合深层特征提取和浅层特征提取的医学图像分类方法，其特征在于步骤如下：

步骤1：训练深度卷积神经网络模型、词袋模型和BP神经网络：

步骤1a：从每一幅训练医学图像中随机提取若干个大小为L×L图像子块，使用双线性插值算法将所有的图像子块的尺寸调整一致；

步骤1b：采用随机梯度下降方法使用图像子块去训练一个深度卷积神经网络模型；提取深度卷积神经网络的全连接层作为深层特征；

步骤1c：采用快速鲁棒特征算法SURF提取图像子块中的关键点，使用尺度不变特征算子计算关键点附近局部信息的特征，采用向量量化算法VQ将全部关键点附近局部信息特征聚类构成词袋模型；将全部关键点附近局部信息特征映射到不同类聚，计算这些特征归属不同类别的频率直方图，将频率直方图作为浅层特征；

步骤1d：将每一个图像子块的深层特征和浅层特征拼接在一起，然后将所有的拼接特征训练一个BP神经网络；

步骤2：从待分类医学图像中随机提取若干个大小为L×L图像子块，使用双线性插值算法将所有的图像子块的尺寸调整一致；

步骤3：将图像子块输入到训练好的深度卷积神经网络模型，提取深度卷积神经网络的全连接层作为深层特征；

步骤4：将图像子块输入到训练好的词袋模型，提取词袋模型的频率直方图作为浅层特征；

步骤5：将每个图像子块的深层特征和浅层特征拼接在一起，将拼接特征输入到训练好的BP神经网络，得到每个图像子块的类别；

步骤6：基于多数表决的原则对待分类医学图像进行分类：即将待分类医学图像归入从其上提取的最多图像子块所属的类别。

2.根据权利要求1所述的一种结合深层特征提取和浅层特征提取的医学图像分类方法，其特征在于所述的其中W为测试图像的宽度、H为测试图像的高度。

3.根据权利要求1所述的一种结合深层特征提取和浅层特征提取的医学图像分类方法，其特征在于步骤1b中训练深度卷积神经网络模型中：网络的学习率设置为0.6，最大迭代次数为500，每一批训练所用的样本量为50。

4.根据权利要求1所述的一种结合深层特征提取和浅层特征提取的医学图像分类方法，其特征在于步骤1d中训练时采用批训练模式，每一批包括50个样本，设置网络学习率为3，动量比设置为0.5，最大迭代步数为100。