CN108171232B - 基于深度学习算法的细菌性与病毒性儿童肺炎的分类方法 - Google Patents

Abstract

本发明提供一种基于深度学习算法的细菌性与病毒性儿童肺炎的分类方法，该方法首先对源数据集进行人工标注，再在全卷积网络语义分割与卷积神经网络算法的基础上，先采用全卷积网络语义分割算法对图像进行前景分割肺部区域得到感兴趣区域，将提取到的感兴趣区域输入到卷积神经网络模型中训练分类器，从而预测未知胸部X线图像所属类别提取感兴趣区域的高维特征，同时采用传统的图像处理方法提取感兴趣区域的低维特征，分别将高、低维特征用于训练非线性分类器，并预测未知X线图像的类别，从而判断患者所患肺炎的类型。采用主成成分分析算法对特征降维，减少计算量，然后将混合降维后的特征输入到非线性分类器中，对未知X线图像预测类别。

Description

基于深度学习算法的细菌性与病毒性儿童肺炎的分类方法

技术领域

本发明涉及计算机视觉技术与医学图像处理领域，更具体地，涉及一种基于深度学习算法的细菌性与病毒性儿童肺炎的分类方法。

背景技术

肺炎是儿童常见病和多发病，也是致儿童死亡的首要疾病。儿童肺炎多由细菌和病毒引起，少数由支原体、真菌等引起，病原诊断是临床正确选择抗生素的重要依据。胸部X影像作为最常见的辅助诊断肺炎手段之一，随着计算机领域的飞速发展和深度学习算法的成功，逐渐在计算机辅助诊断领域掀起热潮，涌现出大量基于X影像的图像处理算法与疾病预测分类算法，其中最关键的是提取影像中有效的特征信息。但在胸部X影像中仍存在严重的噪声，例如人体骨骼遮挡、支气管与血管、人体脏器的干扰等等，且影像随着个体差异而不同。且目前还没有相关技术提出采用深度学习的方法从图像上判断儿童肺炎是由细菌还是由病毒感染。因此从胸部X影像来对肺炎病原学诊断仍然是计算机视觉与医学图像领域的难点问题，也是计算机医学交叉学科研究的热点问题。

Chunming Li等人Chunming Li,et al.Distance regularized level setevolution and its application to image segmentation[J].IEEE Transactions onImage Processing,2010,19(2):3243-3254)提出的水平集Level Set分割算法通过高维函数曲面来表达低维的演化曲线或曲面。Leandro等人(Leandro Luis Galdino Oliveira,etal.Computer-aided diagnosis in chest radiography for detection of childhoodpneumonia[J].European Journal of Radiology,2009,72(2):226)提出基于胸部X影像的儿童肺炎检测计算机辅助诊断算法，用小波变换提取图像特征，并采取机器学习算法K近邻对特征进行分类。Rafael T.Sousa等人(Comparative performance analysis of machinelearning classifiers in detection of childhood pneumonia using chestradiographs[C].Procedia Computer Science,2013,18:2579-2582)基于儿童胸部X影像检测对比了朴素贝叶斯、K近邻和支持向量机(Support Vector Machines,支持向量机)三种分类器，且支持向量机取得了最好的效果。Geert等人(Geert Litjens,et al.A surveyon deep learning in medical image analysis[J].Medical Image Analysis,2017,42(9):60)提出随着深度学习卷积神经网络的流行，越来越多论文提出了用深度学习模型来进行分割和分类。Alexander等人(Alexender Kalinovsky,Vassili Kovalev.Lung imagesegmentation using deep learning methods and convolutional neural networks[C].XIII Int.Conf.on Pattern Recognition and Information Processing,2016,21-24)利用深度学习方法和编码-解码卷积神经网络对胸部X影像进行肺部的分割。在医学图像数据不足、以训练深度学习网络的情况下，可以进行迁移学习。Hoo-Chang Shin等人(Hoo-Chang shin,et al.Deep convolutional neural networks for computer-aideddetection:CNN features,dataset characteristics and transfer learning)提出将已经学习到ImageNet图像特征深度学习模型应用到医学领域，用相对较少的医学图像对模型进行微调用以最终的预测或分类。Yaniv Bar等人(Yaniv Bar,et al.Chest pathologydetection using deep learning with non-medical training[C].IEEE InternationalSymposium on Biomedical Imaging,2015:294-297)采用已有的ImageNet数据集训练的到的卷积神经网络模型，对胸部X影像进行迁移学习，并且提取图像特征与GIST特征结合输入支持向量机训练器中。

目前有许多基于深度学习的分割方法，应用于自然图像分割、脑部肿瘤分割、肺部分割，2015年最流行的分割方法是全卷积网络(Jonathan Long,et al.Fullyconvolutional networks for semantic segmentation[J].Computer Vision&PatternRecognition,2015,79(10):3431-3440)，可以接受任意尺寸的输入图像，采用反卷积层对最后一个卷积层的特征图进行上采样，是其恢复到导入图像相同的尺寸，从而对每个像素产生预测，同时保留原始输入图像中的空间信息。此外，基于卷积神经网络的分类方法应用已非常广泛，在医学图像领域，有乳腺良恶性钙化分析、膀胱癌治疗反应评估、肺炎检测、肺结节良恶性检测等等。为用计算机技术手段提取胸部X影像信息来对肺炎病原学诊断以节约放射科医生阅片时间并为临床医生提供参考，目前亟需一种能区分细菌性与病毒性儿童肺炎的分类方法。

发明内容

本发明提供一种减少计算量的基于深度学习算法的细菌性与病毒性儿童肺炎的分类方法。

为了达到上述技术效果，本发明的技术方案如下：

一种基于深度学习算法的细菌性与病毒性儿童肺炎的分类方法，包括以下步骤：

S1：分割胸部X图像的肺部区域作为感兴趣区域；

S2：将感兴趣区域输入卷积神经网络分类器；

S3：抽取高、低维特征放入非线性分类器；

S4：混合高、低维特征放入非线性分类器得到分类结果。

进一步地，所述步骤S1的具体过程是：

准备若干张胸部X影像以及对应的图像格式和肺部掩模图像，将图像及肺部掩模图像按照4:1比例划分成训练集和验证集，采用已公开数据作为测试集，用8层网络结构训练PSCAL VOC2012数据集得到全卷积网络模型，对上述数据进行迁移学习，将训练所得模型用于测试集，生成测试集对应的肺部掩模图像，依据肺部掩模图像得到感兴趣区域。

进一步地，用8层网络结构训练PSCAL VOC2012数据集得到全卷积网络模型的具体过程是：

1)、8层网络结构都是卷积层，神经网络的结构特点就是将上一层的输出作为下一层的输入，即第n-1层的第k个特征图，

经过卷积核g和偏置项b的运算，得到第n层的的输入

公式如下：

其中，f()代表激活函数，比如这里采用修正线性单元激活函数，对于输入值x，激活函数表示：f(x)＝max(0,x)；

2)、为了减少参数便于计算，在第1、2层卷积层后面加上采样层，假设n-1层为卷积层，第n层的

计算公式如下：

其中down(·)为下采样函数，以n×n的最大池化为例，即选取n2个值中最大值来代表该区域；

3)、在后3层卷积层加上了反卷积层，也称为上采样层，可理解为卷积的逆操作过程，在网络中，g_ij是连接n-1层的某个神经元i与第n层某个神经元j的权重，0表示i和j不相连，那么权重矩阵C可由公式表示为：

由步骤A1可知，卷积过程由输入x得到输出o的公式可以简化为：

反卷积过程由输入x’得到输出o’的公式为：

得到与原图一样大小的预测图像并每一个像素都会有对应分类；

4)、定义损失函数，公式如下：

其中，b表示批量尺寸大小，y_i表示第i个样本的真实标签，

表示预测标签，p_i是一个[0,1]概率值，取值依据公式：

其中，γ属于惩罚项，o_i是第i个神经元的输出；

5)、在训练网络的过程中，前向传播和后向传播是交替进行的，直到最终误差在可接受范围以内便可训练完成。

进一步地，所述步骤S2中，采用卷积神经网络8层网络结构训练ImageNet数据集得到的模型，将步骤S1中得到的感兴趣区域数据按4:1:1比例分成训练集、验证集和测试集，训练的到的模型将输出图像样本的所属类别，即分类结果。

进一步地，将感兴趣区域输入卷积神经网络分类器方法步骤如下：

S21、卷积神经网络8层网络结构包含5个卷积层和3个全连接层，卷积和采样过程和A1、A2是一致的，后3层全连接层即第n-1层所有神经元和第n层所有神经元相连，设初始化参数是θ_fc，卷积核为g，迭代次数为0：t←0，批量尺寸大小为0，则迁移学习过程为重复2)至5)；

S22、计算损失函数L(g,θ_fc)，公式如下：

S23、梯度下降法求出参数的变化，公式如下：

S24、同时更新参数：

S25、迭代次数增加，t←t+1；判断是否达到最大迭代次数，如果未达到，转至2)；已达到，则输出{θ_fc,g}。

进一步地，所述步骤S3中，迭代抽取步骤S2得到的卷积神经网络8层网络结构模型中的第6层特征图特征，放入支持向量机分类器，选取径向基核函数核函数，输出分类结果，分别提取图像的灰度共生矩阵特征、哈尔小波特征、灰度梯度直方图特征，将3种特征按一定规律混合形成手工特征，放入支持向量机分类器，同样选取径向基核函数核函数，输出分类结果。

进一步地，抽取卷积神经网络高维特征，手工特征灰度共生矩阵、哈尔小波、方向梯度直方图特征放入支持向量机分类器的过程是：

S31、迭代抽取每张输入图像经过卷积神经网络8层网络结构第6层的特征图作为高维稀疏特征；

S32、采用传统的图像特征提取方法，分别提取图像的灰度共生矩阵特征，哈尔小波特征和方向梯度直方图特征，将这3种特征按照顺序串联，得到混合手工特征；

S33、分别将1)和2)中得到的特征，利用函数F(X)＝wTX+b表示，为了使间隔最大，得到如下目标函数：

其中C是惩罚因子，ξi是松弛变量，w为决策边缘，选择径向基核函数。

进一步地，所述步骤S4中，混合步骤S3中高维特征特征图和低维手工特征，放入支持向量机分类器，同样选取径向基核函数函数，输出分类结果。

进一步地，混合高、低维特征放入支持向量机非线性分类器步骤如下：

S41、特征向量

标签

用典型关联分析方法找到X与Y的关系，目标函数：

，其中

S42、求得权重后，采用如下公式混合所有特征得到Z：

S43、采用主成成分分析方法对混合特征矩阵Z进行降维处理，然后进行步骤S33的处理进行支持向量机分类，同样选择径向基核函数。

与现有技术相比，本发明技术方案的有益效果是：

本发明方法首先对源数据集进行人工标注，再在全卷积网络语义分割与卷积神经网络算法的基础上，先采用全卷积网络语义分割算法对图像进行前景分割肺部区域得到感兴趣区域，将提取到的感兴趣区域输入到卷积神经网络模型中训练分类器，从而预测未知胸部X线图像所属类别。用训练得到的卷积神经网络模型提取感兴趣区域的高维特征，同时采用传统的图像处理方法提取感兴趣区域的低维特征，分别将高、低维特征用于训练非线性分类器，并预测未知X线图像的类别，从而判断患者所患肺炎的类型。采用线性组合的方式混合所得高、低维特征，采用主成成分分析算法对特征降维，减少计算量，然后将混合降维后的特征输入到非线性分类器中，对未知X线图像预测类别。

附图说明

图1为本发明的基于深度学习算法的细菌性与病毒性儿童肺炎的分类方法框架；

图2为全卷积网络语义分割结果效果图；

图3为卷积神经网络训练结果效果示意图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1：本发明基于深度学习算法的细菌性与病毒性儿童肺炎的分类方法的具体步骤

如图1所示，本发明基于深度学习算法的细菌性与病毒性儿童肺炎的分类方法包括(1)在预处理阶段，采用全卷积网络语义分割模型进行迁移学习从胸部X线图像中分割出肺部区域作为感兴趣区域；(2)将提取的感兴趣区域输入到卷积神经网络模型中训练分类器，从而预测未知胸部X线图像所属类别；(3)利用训练得到的卷积神经网络模型提取感兴趣区域的高维特征，同时采用传统的图像处理方法提取感兴趣区域的低维特征，分别将高、低维特征用于训练支持向量机分类器，并预测未知X线图像的类别，从而判断患者所患肺炎的类型；(4)根据一定规则混合所得高、低维特征，采用主成成分分析算法对特征降维，减少计算量，然后将混合降维后的特征输入到支持向量机分类器中，对未知X线图像预测类别。

本发明基于深度学习算法的细菌性与病毒性儿童肺炎的分类方法的具体步骤如下：

1、如图1所示，首先修改全卷积网络语义分割PSCAL VOC2012数据集预训练模型的网络结构，然后用JSRT和Montgomery数据集训练模型，用此模型分割出自己数据集中肺部感兴趣区域。具体包括：

A1：修改全卷积网络语义分割PSCAL VOC2012数据集预训练模型的网络结构，由于数据集不一致，需要重新构建后两层网络，采用修正线性单元作为神经元激活函数；

A2：为了减少参数便于计算，在第1、2层卷积层后面加上采样层，这里选取最大池化采样方法；

A3：在后3层反卷积层中，由于数据集的不同，重构图像输入、分类输出、offset等参数结构；

A4：定义损失函数；

A5：重写训练启动文件，在训练网络的过程中，前向传播和后向传播是交替进行的，直到最终误差在可接受范围以内便可训练完成，重要参数迭代次数设置为10000次，批量尺寸大小设置为50，学习率设置为0.001，迭代次数大小设置为10。

进一步地，在步骤B中，将感兴趣区域输入卷积神经网络分类器方法步骤如下：

B1：如图2所示，8层卷积神经网络包含5个卷积层和3个全连接层，卷积和采样过程和A1、A2是一致的。重构后三层网络结构，修改输入数据各项参数、输出分类等。迁移学习过程为重复B2至B5；

B2：计算损失函数L(g,θ_fc)；

B3：梯度下降法求出参数的变化：

B4：同时更新参数；

B5：迭代次数增加，判断是否达到最大迭代次数，如果未达到，转至B2；已达到，则输出结果。

进一步地，在步骤C中，抽取卷积神经网络高维特征，手工特征灰度共生矩阵、哈尔小波、方向梯度直方图特征放入支持向量机分类器。

C1：迭代抽取每张输入图像经过8层卷积神经网络第6层的特征图作为高维稀疏特征；

C2：采用传统的图像特征提取方法，分别提取图像的灰度共生矩阵特征，哈尔小波特征和方向梯度直方图特征，将这3种特征按照顺序串联，得到混合手工特征；

C3：分别将C1和C2中得到的特征，利用函数F(X)＝wTX+b表示，为了使间隔最大，得到如下目标函数：

其中C是惩罚因子，ξi是松弛变量，w为决策边缘，选择径向基核函数。

进一步地，混合高、低维特征放入支持向量机非线性分类器步骤如下：

D1：特征向量

标签

用典型关联分析方法找到X与Y的关系，目标函数：

，其中

D2：求得权重后，采用如下公式混合所有特征得到Z：

D3：采用主成成分分析方法对混合特征矩阵Z进行降维处理，然后进行步骤C3的处理进行支持向量机分类，同样选择径向基核函数。

实施例2：本发明基于深度学习算法的细菌性与病毒性儿童肺炎的分类方法的识别效果实验

1、实验数据集：包括JSRT公开数据集(共247例图像及分割后的肺部掩模图像)、Montgomery公开数据集(共138例图像及分割后的肺部掩模图像)和广州市妇女儿童医院数据集(共568例图像分为细菌性、病毒性肺炎两个类别)；

2、实验环境：Matlab 2016a平台、Caffe框架和Python；

3、实验工具集：PASCAL VOC2012数据集训练得到的全卷积网络模型、ImageNet训练得到的AlexNet卷积神经网络模型，Anaconda python库；

4、实验方法：将上述JSRT和Montgomery的385张图像及肺部掩模图像按照4:1比例划分成训练集和验证集，采用568份来自于广州市妇女儿童医院的数据作为测试集。用全卷积网络模型对上述385份数据进行迁移学习并将训练所得模型用于测试集，生成测试集对应的肺部掩模图像，依据肺部掩模图像得到最终568份感兴趣区域。采用卷积神经网络模型，将568份感兴趣区域数据按4:1:1比例分成训练集、验证集和测试集，训练的到的模型将输出图像样本的所属类别，采用二分类径向基核函数的支持向量机对后续提取的特征进行分类。

5、评价标准：

前提：数据标注时，用0代表细菌性肺炎，1代表病毒性肺炎。混淆矩阵如下：

(1)准确率：其公式如下所示：

其TP是正确预测的正例样本数量，TN是预测正确的负例样本数量，FP是真实值为0但是预测值为1的样本数量，FN是真实值为1但是预测值为0的样本数量；准确率代表的就是分类器正确预测样本的能力。

(2)精确率：其公式如下所示：

其反映了分类器预测值为1的样本中真实值为1的样本比例。

(3)特异度：其公式如下所示：

其反映了分类器预测值为0的样本占所有真实值为0的样本的比例。

(4)灵敏度：其公式如下所示：

其反映了分类器预测值为1的样本占所有真实值为1的样本的比例。

(5)AUC(曲线下面积)：其公式如下所示：

ins_i∈正类，其中M表示正样本的个数，N表示负样本的个数ins_i表示按概率从高至低排序，正样本概率依次取值[1,M]。

6、实验结果：如图3所示，图中表示10000次迭代之后，卷积神经网络模型的准确率，训练集损失率，测试集损失率的变化规律，由图可知准确率达到了0.9。使用本发明方法在给定数据集上的最终识别效果如下表1所示：

实验结果表明，本发明识别方法取得较好的识别效果，在医学图像是非常有使用价值的进步。

相同或相似的标号对应相同或相似的部件；

附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (7)

1.一种基于深度学习算法的细菌性与病毒性儿童肺炎的分类方法，其特征在于，包括以下步骤：

S1：分割胸部X图像的肺部区域作为ROI区域；

S2：将ROI输入卷积神经网络分类器；

S3：抽取高、低维特征放入非线性分类器；

S4：混合高、低维特征放入非线性分类器得到分类结果；

准备若干张胸部X影像以及对应的图像格式和肺部掩模图像，将胸部X影像对应的图像格式的图像及肺部掩模图像按照4:1比例划分成训练集和验证集，采用已公开数据作为测试集，用8层网络结构训练PSCAL VOC2012数据集得到全卷积网络模型，对上述数据进行迁移学习，将训练所得模型用于测试集，生成测试集对应的肺部掩模图像，依据肺部掩模图像得到感兴趣区域；

用8层网络结构训练PSCAL VOC2012数据集得到FCN模型的具体过程是：

1)、8层网络结构都是卷积层，神经网络的结构特点就是将上一层的输出作为下一层的输入，即第n-1层的第k个特征图，

经过卷积核g和偏置项b的运算，得到第n层的输入

公式如下：

其中，f()代表激活函数，这里采用修正线性单元激活函数，对于输入值x，激活函数表示：f(x)＝max(0,x)；

2)、为了减少参数便于计算，在第1、2层卷积层后面加上了采样层，假设n-1层为卷积层，第n层的

计算公式如下：

其中down(·)为下采样函数；

3)、在后3层卷积层加上了反卷积层，也称为上采样层，可理解为卷积的逆操作过程，在网络中，g_ij是连接n-1层的某个神经元i与第n层某个神经元j的权重，0表示i和j不相连，那么权重矩阵C可由公式表示为：

由步骤1)可知，卷积过程由输入x得到输出o的公式可以简化为：

反卷积过程由输入x’得到输出o’的公式为：

得到与原图一样大小的预测图像，并且该预测图像每一个像素都会有对应分类；

4)、定义损失函数Loss Function，公式如下：

其中，b表示batch size大小，y_i表示第i个样本的真实label，

表示预测label，p_i是一个[0,1]概率值，取值依据公式：

其中，γ属于惩罚项，o_i是第i个神经元的输出；

5)、在训练网络的过程中，前向传播和后向传播是交替进行的，直到最终误差在可接受范围以内便可训练完成。

2.根据权利要求1所述的基于深度学习算法的细菌性与病毒性儿童肺炎的分类方法，其特征在于，所述步骤S2中，采用卷积神经网络8层网络结构训练ImageNet数据集得到的模型，将步骤S1中得到的ROI数据按4:1:1比例分成训练集、验证集和测试集，训练的到的模型将输出图像样本的所属类别，即分类结果。

3.根据权利要求2所述的基于深度学习算法的细菌性与病毒性儿童肺炎的分类方法，其特征在于，将ROI输入卷积神经网络分类器方法步骤如下：

S21、卷积神经网络8层网络结构包含5个卷积层和3个全连接层，卷积和采样过程和步骤1)、步骤2)是一致的，后3层全连接层即第n-1层所有神经元和第n层所有神经元相连，设初始化参数是θ_fc，卷积核为g，迭代次数为0：t←0，batch size为0，则迁移学习过程为重复S22 至S25 ；

S22、计算损失函数L(g,θ_fc)，公式如下：

S23、梯度下降法求出参数的变化，公式如下：

S24、同时更新参数：

S25、迭代次数增加，t←t+1；判断是否达到最大迭代次数，如果未达到，转至2)；已达到，则输出{θ_fc,g}。

4.根据权利要求3所述的基于深度学习算法的细菌性与病毒性儿童肺炎的分类方法，其特征在于，所述步骤S3中，迭代抽取步骤S2得到的卷积神经网络8层网络结构模型中的第6层特征图特征，放入支持向量机分类器，选取径向基核函数核函数，输出分类结果，分别提取图像的灰度共生矩阵特征、哈尔小波特征、灰度梯度直方图特征，将3种特征按一定规律混合形成手工特征，放入支持向量机分类器，同样选取径向基核函数核函数，输出分类结果。

5.根据权利要求4所述的基于深度学习算法的细菌性与病毒性儿童肺炎的分类方法，其特征在于，抽取卷积神经网络高维特征，手工特征灰度共生矩阵、哈尔小波、方向梯度直方图特征放入支持向量机分类器的过程是：

S31、迭代抽取每张输入图像经过卷积神经网络8层网络结构第6层的特征图作为高维稀疏特征；

S32、采用传统的图像特征提取方法，分别提取图像的灰度共生矩阵特征，哈尔小波特征和灰度梯度直方图特征，将这3种特征按照顺序串联，得到混合手工特征；

S33、分别将S31 和S32 中得到的特征，利用函数F(X)＝w^TX+b表示，为了使间隔最大，得到如下目标函数：

y_i(w^TXi+b)≥1-ξ_i，其中C₀是惩罚因子，ξi是松弛变量，w为决策边缘，选择径向基核函数。

6.根据权利要求5所述的基于深度学习算法的细菌性与病毒性儿童肺炎的分类方法，其特征在于，所述步骤S4中，混合步骤S3中高维特征特征图和低维手工特征混合手工特征，放入支持向量机分类器，同样选取径向基核函数函数，输出分类结果。

7.根据权利要求6的基于深度学习算法的细菌性与病毒性儿童肺炎的分类方法，其特征在于，混合高、低维特征放入支持向量机非线性分类器步骤如下：

S41、特征向量

用典型关联分析方法找到X与Y的关系，目标函数：

其中

S42、求得权重后，采用如下公式混合所有特征得到Z：

S43、采用主成成分分析方法对混合特征矩阵Z进行降维处理，然后进行步骤S33的处理进行支持向量机分类，同样选择径向基核函数。

Images