CN111709446A - 基于改进的密集连接网络的x线胸片分类装置 - Google Patents

Abstract

本发明涉及一种基于改进的密集连接网络的X线胸片分类装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时用于实现下面所述的方法步骤：第一步，胸片图预处理；第二步，构建和训练深度卷积神经网络：先对分类网络DenseNet121进行修改，在该网络中以密集连接的方式加入挤压—激励模块，形成一个改进的密集连接网络，再构建符合本任务的损失函数，并利用预处理后的胸片图对网络进行训练；第三步，测试网络并选出最佳的网络模型：将每一轮训练得到的网络模型在测试集上进行测试，并选出平均AUC值最高的网络模型作为最终的模型。

Description

基于改进的密集连接网络的X线胸片分类装置

技术领域

本发明属于计算机视觉与医疗影像结合的医学图像识别领域，涉及一种将深度学习算法应用于医学图像的判别，完成胸片分类的装置。

背景技术

肺结节、肺炎等常见的肺部疾病对人体有较大的影响。肺结节被认为可能是癌症的前兆，对于有潜在恶性肿瘤的患者，它也有可能是癌症已经扩散到肺部的证据。据统计肺炎是发展中国家幼儿死亡的最大原因且全球每年约有400万人死于肺炎。此外，胸腔积液、肺气肿、气胸、肺不张、浸润等异常也是某些严重疾病所表现出来的症状。这些疾病或异常的早期诊断和治疗可以有效降低死亡率，因此能够准确检测和辨别出这些疾病或者异常的方法对于后期进行更有效的治疗是非常具有参考价值的。拍摄X射线胸片 (CXR，Chest X-Ray)是诊断这些疾病最常用的方法，同时它也是体检时经常会检查的常规项目。CXR 光片具有能够揭示一些未被怀疑的病理变化、非侵入性特征、低辐射剂量和更加经济的特征。但同时，CXR 光片也具有一定的局限性，例如容易受到过厚软组织的影响从而使得其不透明度增加，尤其是当出现多个部位异常且有重叠的时候诊断就会变得更加困难。同时由于现实中存在着人为不确定性带来的误判以及医疗水平和医疗人员水平不同的问题，给疾病的诊断带来了很多不确定性，因此采用计算机辅助诊断系统来用于疾病的诊断以及辅助专业医生是十分有必要的。

近年来，计算机硬件技术和机器学习算法的快速发展以及大量数据集的整理和公开，使得采用机器学习方法来进行图像处理成为热门，基于深度学习的卷积神经网络(Convolutional Neural Network,CNN)已经广泛被应用于图像分类、目标检测以及语义分割等计算机视觉领域。深度学习方法是一种含多隐藏层、多感知器的网络结构，能够不依赖于人工提取的特征而能够自动从训练样本中提取更抽象、更深层次描述物体的属性和特征。而卷积神经网络作为深度学习中的一种重要模型，已经在各个领域被广泛应用和研究。

虽然基于深度学习的胸片疾病分类研究目前已经取得了较好的研究结果和进展，但是仍旧存在以下比较普遍的问题：(1)用于研究的X射线胸片片数据集存在数据不平衡问题，某些疾病的样本量太少不足以训练网络模型，给识别带来困难；(2)网络要同时学习14种疾病的特征，难以兼顾到每一种导致网络对不同疾病的识别准确率存在较大差异；(3)网络模型过度学习提取到的图像特征导致过拟合问题，降低了模型的泛化性能。针对以上问题，本发明将提出一种改进的密集连接网络和自适应的胸片疾病分类算法。

发明内容

本发明提供基于改进的密集连接网络的自适应胸片分类装置。本发明的技术方案如下：

一种基于改进的密集连接网络的X线胸片分类装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时用于实现下面所述的方法步骤：

第一步，胸片图预处理：将Chest X-ray 14数据集按照8.5:1:0.5的比例分为训练集、测试集和验证集并删除标签为无病的胸片图，对胸片图的大小以及格式进行调整，并采用图像增强技术以及像素值归一化处理操作，形成格式符合要求、匹配网络结构的胸片图；

第二步，构建和训练深度卷积神经网络：先对分类网络DenseNet121进行修改，在该网络中以密集连接的方式加入挤压—激励模块(SE,Squeeze and Excitation Block)，形成一个改进的密集连接网络，再构建符合本任务的损失函数，并利用预处理后的胸片图对网络进行训练；方法如下：

(1)构建改进的密集连接网络：在DenseNet121网络上进行修改，形成一个如下的对14种疾病进行分类的网络，在DenseNet121中4个Dense Block内的每一个单元，由两个卷积核层组成，卷积核的大小分别为1×1和3×3，的前面引入挤压—激励(SE)模块，即将前面所有单元的输出在通道维度上进行连接再经过挤压—激励操作后来作为当前单元的输入，在此基础上再将网络原来维度为1000的全连接层改为维度为14的全连接层；

(2)设计自适应的焦点损失函数并对网络进行训练：对网络进行第一轮训练时，采用焦点损失函数

来计算每种疾病的损失再求平均作为最终损失值，其中参数设置α＝1、β＝2，y_i、

分别为第i，i＝1,2,...,14，种疾病的真实值和预测值；从训练的第二轮开始，采用由前一轮训练得到的网络模型在验证集上的验证结果进行调整的自适应损失函数

来计算每种疾病的损失值，其中α＝β＝2，A_i为第i种疾病在验证集上的AUC值，即ROC曲线下的面积，std是均值为0，标准差为1的正态分布标准化操作，且

再采用

来计算最终的损失值，其中N＝14。

第三步，测试网络并选出最佳的网络模型：将每一轮训练得到的网络模型在测试集上进行测试，并选出平均AUC值最高的网络模型作为最终的模型。

本发明将医学图像的识别与深度学习结合起来，利用卷积神经网络设计一种X射线胸14种疾病的分类系统。该系统在DenseNet121中以密集连接的方式加入挤压—激励模块并采用了自行设计的根据验证结果进行调整的自适应焦点损失函数用于网络的训练学习。与现有的胸部疾病分类装置相比，本发明能够一定上解决数据集样本不平衡问题，并通过采用挤压—激励模块有效利用了所提取特征图的信息，使得网络模型具有较高的分类精度。

附图说明

图1本发明分类装置所采用的算法流程图；

图2Chest X-ray 14数据集中图例；

图3改进的密集连接分类网络结构图；

图4挤压激励模块原理图；

图5本发明的测试ROC曲线及AUC值；

具体实施方式

为使本发明的技术方案更加清楚，下面结合附图对本发明做进一步阐述。包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，流程图如图1所示，具体按以下步骤实现：

第一步，图像预处理

用于此分类任务的Chest X-ray 14数据集包含了30805个患者的112120张X射线胸片前视图，图2 为数据集中一名患有心脏扩大和积液的患者胸片图。数据集中所有胸片都由专家标注了各自的标签，这些标签分为肺不张(Atelectasis)、心脏扩大(Cardiomegaly)、积液(Effusion)、渗透(Infiltration)、肿块(Mass)、肺结节(Nodule)、肺炎(Pneumonia)、气胸(Pneumothorax)、肺实变(Consolidation)、水肿(Edema)、肺气肿(Emphysema)、纤维化(Fibrosis)、胸膜增厚(PleuralThickening)和疝气(Hernia) 14种疾病以及无异常(No Finding)共15类，其中有的胸片图只包含一种疾病或无疾病，有的胸片图包含两种或者两种以上的疾病。本课题的任务是对14种疾病进行识别分类，首先将数据集按照8.5:1:0.5的比例分为训练集、测试集和验证集，再将每个数据集中标签是无疾病的胸片图共60361张删除而利用剩下的胸片图供网络训练、验证和测试。数据集中所有胸片图的原始大小为1024×1024，为了减少计算量同时匹配网络结构，将胸片图缩放至大小为256×256，并将其由灰度图格式转换为RGB三通道格式，再随机选取中心点将图片剪裁至224×224大小并进行随机水平翻转来实现数据增强。最后再把胸片图转换为向量格式并对其像素值进行归一化处理将其像素值限制在0～255的范围内以供网络进行读取。

第二步，构建改进的密集连接网络并设计损失函数训练网络

(1)构建改进的密集连接网络

DenseNet121网络结构共包含了4个Dense Block，每一个Dense Block又包含了不同个数的单元(由两个卷积核层组成，卷积核的大小分别为1×1和3×3)，每个单元之间的连接方式如图3中(a)所示，每一单元的输入不仅包含了上一单元的输出，而且包含了之前所有单元的输出，因此网络中个Dense Block 中的每一单元都是前面所有单元在通道(channel)维度上的连接(concat)。该网络中每一单元的输出特征图大小是相同的，相比于残差网络(ResNet)，这是一种密集连接，通过连接来自不同单元的特征图，实现了特征重用，提升了效率。本发明将挤压—激励模块同样以密集连接的方式加入到DenseNet121网络中，其连接方式如图3中(b)所示，每一单元的输入都是前面所有单元在通道维度相连接后经过挤压激励操作后再输入到当前的单元。在此基础上再将网络原来维度为1000的全连接层改为维度为14的全连接层，以形成一个维度为14的输出向量，代表了网络判断14种疾病每一种的患病概率。

如图4所示为挤压—激励模块作用于通道的原理图。首先挤压操作通过对卷积核提取的原始特征图 U_C进行全局平局池化，将维度为H×W×C的原始特征图U_C压缩为1×1×C的向量z_C，该向量集合了原始特征图U_C的全局信息，其维度等同于原始特征图的通道数C，计算公式如下：

其次，激励操作是将拥有全局信息的向量z_C经过两个全连接层从而学习到相应的权重W₁、W₂，从而得到新的1×1×C向量s，该向量掌握了各通道的重要程度，其计算方式如下：

s＝F_ex(z,W)＝σ(g(z,W))＝σ(W₂δ(W₁z))

其中，δ为ReLU激活函数，σ为Sigmoid激活函数，

最后，根据运用激励操作得到的向量s进行特征重标定，具体方式为将激励操作的输出权重对原始特征 U_C进行逐通道加权，由此得到新的特征图，其各个通道的不同大小代表着其重要程度，公式如下：

其中，

函数F_scale(u_C,s_C)为标量s_C与特征图u_C∈R^H×W在通道维度上相乘。由此，整个网络的每一个Dense Block内的每个单元都将前面所有的单元进行了以上的挤压—激励操作即对特征图的通道进行了加权之后再进行连接来作为当前的输入，让网络通过学习不同通道重要程度的参数来抑制无效特征信息的传播而增强有效信息的传播，实现网络性能的提升。

(2)设计自适应的焦点损失函数并对网络进行训练：

对于Chest X-ray 14数据集中的胸片图像，本发明令其中的每一张胸片图都对应一个14维的向量作为标签(即真实值)，该向量为

其中N＝14，代表了14种疾病，y_i(i＝1,2,...,14)的值为1或0，值1代表患者患有第i种病，值0代表患者未患第i种病病。同时，令向量

代表网络的预测值，即网络判断14种疾病患病的概率值。由于Chest X-ray 14数据集存在样本不平衡问题，某些疾病的样本较少不利用网络掌握足够的纹理信息，且很多样本中同时包含多种疾病的信息，较难训练，另外不同的疾病其病理信息有所不同，因此学习的难易程度也不同。根据任务面对的以上问题，为了使网络更重视学习易分错的样本，本发明提出一种自适应的焦点损失函数将其用于上面改进的网络中。进行第一轮训练时对每一种疾病的损失值计算采用一般的焦点损失函数：

其中，其中参数设置α＝1、β＝2，y_i、

分别为第i(i＝1,2,...,14)种疾病的真实值和预测值，再对14 种疾病的损失值求平均作为整个网络的损失值。从第二轮开始，每一轮的损失函数都根据上一轮的验证结果进行调整。Chest X-ray 14分类任务的评价指标普遍采用AUC值，即受试者特征曲线(ROC，receiver operating characteristic curve)下的面积，其值越大表明模型的性能越好。实验中每轮验证完毕会得到一组每种疾病的分类AUC值，将其保存为一组向量如

则改进后每一种疾病的损失函数的计算公式为：

其中，α＝β＝2，i∈[1，N]，N＝14，std是均值为0，标准差为1的正态分布标准化操作，且

上述公式相当于对焦点损失函数进行加权，对于AUC值较低的疾病使其乘以一个较大的权重，对于 AUC值较高的疾病使其乘以一个较小的权重，使网路更加关注对难识别疾病的学习。整个网络的损失函数为：

由此，整个网络模型会根据每轮的损失函数通过网络的反向传播不断学习新的网络权重，以得到对疾病的分类能力更强的网络模型。

第三步，测试网络的分类性能并选出最佳的网络模型

(1)将每一轮训练得到的网络模型在测试集上进行测试，得出每一轮的网络模型对14种疾病的分类 AUC值和平均AUC值，并选出14种疾病平均AUC值最高的网络模型作为最终的模型。

表1

(2)本发明最佳网络模型的测试结果如图5所示，图中描绘了网络模型在测试集上每一类疾病的 ROC曲线和AUC值以及14种疾病的平均ROC曲线和AUC值，最佳网络模型的平均AUC值达到了0.8246，且在肺气肿(Emphysema)和疝气(Hernia)等疾病的识别上表现突出，AUC值达到了0.9072和0.9428，与领域内的基准方法比较结果如表1所示，本发明总体上取得了较好的性能。

Claims (1)

1.一种基于改进的密集连接网络的X线胸片分类装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时用于实现下面所述的方法步骤：

第一步，胸片图预处理：将ChestX-ray 14数据集按照8.5:1:0.5的比例分为训练集、测试集和验证集并删除标签为无病的胸片图，对胸片图的大小以及格式进行调整，并采用图像增强技术以及像素值归一化处理操作，形成格式符合要求、匹配网络结构的胸片图；

第二步，构建和训练深度卷积神经网络：先对分类网络DenseNet121进行修改，在该网络中以密集连接的方式加入挤压—激励模块(SE,Squeeze and Excitation Block)，形成一个改进的密集连接网络，再构建符合本任务的损失函数，并利用预处理后的胸片图对网络进行训练；方法如下：

(1)构建改进的密集连接网络：在DenseNet121网络上进行修改，形成一个如下的对14种疾病进行分类的网络，在DenseNet121中4个Dense Block内的每一个单元，由两个卷积核层组成，卷积核的大小分别为1×1和3×3，的前面引入挤压—激励(SE)模块，即将前面所有单元的输出在通道维度上进行连接再经过挤压—激励操作后来作为当前单元的输入，在此基础上再将网络原来维度为1000的全连接层改为维度为14的全连接层；

(2)设计自适应的焦点损失函数并对网络进行训练：对网络进行第一轮训练时，采用焦点损失函数

来计算每种疾病的损失再求平均作为最终损失值，其中参数设置α＝1、β＝2，y_i、

分别为第i，i＝1,2,...,14，种疾病的真实值和预测值；从训练的第二轮开始，采用由前一轮训练得到的网络模型在验证集上的验证结果进行调整的自适应损失函数

来计算每种疾病的损失值，其中α＝β＝2，A_i为第i种疾病在验证集上的AUC值，即ROC曲线下的面积，std是均值为0，标准差为1的正态分布标准化操作，且

再采用

来计算最终的损失值，其中N＝14；

第三步，测试网络并选出最佳的网络模型：将每一轮训练得到的网络模型在测试集上进行测试，并选出平均AUC值最高的网络模型作为最终的模型。

Images