CN113486969A - 一种基于改进的Resnet网络的X光图像分类方法 - Google Patents

Abstract

本发明涉及一种基于改进的Resnet网络的X光图像分类方法，属于图像处理技术领域。该方法将X光图像数据集作为图像输入，通过SMOTE数据扩充算法得到模型的训练、测试和验证数据集；分类模型采用残差网络ResNet为模型基本框架，通过在残差网络ResNet中加入挤压激励网络并将其进行捷径连接；模型中普通方形卷积核中加入了水平卷积和垂直卷积组成非对称卷积结构，突显局部关键特征和加快训练效率；采用焦点损失函数，整个网络会根据损失函数调整每种疾病的损失值，以得到对疾病分类能力更强的网络模型。本发明能够解决数据不平衡分布带来的问题，并增强特征信息提取能力，提高模型整体性能，从而提高对X光图像分类的准确度。

Description

一种基于改进的Resnet网络的X光图像分类方法

技术领域

本发明属于图像处理技术领域，涉及一种基于改进的Resnet网络的X光图像分类方法。

背景技术

当今，计算机结合医学影像辅助医生诊断病情已成常规步骤，但是现有的医学影像图像分析方法仍具有分析不准确等缺陷，如：

Wang等人以弱监督的方式采用经过ImageNet预训练的全卷积网络作为特征提取器而仅训练过渡层和分类层的方法，比较了4种卷积神经网络模型对病变区域的分类和定位性能，有效利用了ImageNet预训练结果，但是训练时使用经典网络独立处理多个特征图忽略了特征通道间的相关性。Yao提出了一种结合ResNet和DenseNet构建的在多分辨率下学习且训练模型进行定位的结构，模型还采用了更具优势的下限自适应Log-Sum-Exp池化函数，该方法在生成分辨率高的病灶区定位图上表现突出，但是由于缺乏对特征通道信息的关注因此诊断精度不够。Ma提出一种多注意网络进行分类，该网络以ResNet-101作为主干网络，并在其中加入挤压激励(squeeze-and-excitation，SE)模块来建模通道间的依赖关系，其次还配备了空间注意模块(space attention module，SAM)以融合全局和局部信息，同时使用错分样例注意模块(hard example attention module，HEAM)将分类错误的阳性病例与原始数据集结合起来训练网络，以缓解类失衡问题，但是其中错分样例注意模块将易分错样本加入训练集的方法并不能真正提升模型本身的性能。

为了克服上述现有技术的不足，本发明提供了一种新的医学图像分类方法。

发明内容

有鉴于此，本发明的目的在于提供一种基于改进的Resnet网络的X光图像分类方法，解决胸部X光原始图像数据不平衡分布带来的问题，并增强特征信息提取能力，提高模型整体性能，从而提高对胸部X光图像分类的准确度。

为达到上述目的，本发明提供如下技术方案：

一种基于改进的Resnet网络的X光图像分类方法，具体包括以下步骤：

S1：获取X光图像数据；

S2：采用SMOTE算法对获取的图像数据进行分析合成新数据，并添加到原图像数据中；

S3：训练网络时，采用焦点损失函数计算每种疾病的损失值，再将N种疾病的损失值求平均作为网络整体的损失；

S4：以残差网络ResNet为基础模型，在ResNet中加入挤压激励网络，生成改进的网络SE-ResNet；

S5：在SE-ResNet网络的方形卷积核中加入水平卷积和垂直卷积，构成非对称卷积；

S6：对原始图像的灰度图进行缩放，并将其转换为RGB 3通道格式，再随机选取中心点对图像进行剪裁；

S7：利用步骤S5的SE-ResNet网络将经步骤S6处理后的图像编码成大小为S×S的C个特征图，并将其输出到过渡层；通过过渡层将每个特征图简化为1×1×D，再由采样层将其转换为D维特征向量；

S8：通过Sigmoid函数转换完全连接层，然后输出目标分类的概率分数。

进一步，步骤S1中，获取的X光图像数据属于少数类样本，如胸部X光图像。

进一步，步骤S2中，对于数据集中的X光图像，令其中的每一张图像都对应一个N维的向量作为标签(即真实值)，该向量为y＝[y₁,y₂,…,y_N]，其中N代表N种疾病，y_i(i＝1,2,…,N)的值为1或0，1代表患者患有第i种疾病，0代表患者未患第i种疾病。同时，网络的N个输出值也可看做一个N维向量，即

其中

代表网络判断第i种疾病患病的概率值(即预测值)。

进一步，步骤S3中，采用焦点损失函数计算每种疾病图像的损失值L_i，表达式为：

其中，i＝1,2，...，N，N表示疾病种类，α＝0.5、β＝2为超参数。

进一步，步骤S4中，生成改进的网络SE-ResNet，具体包括：RseNet网络将每个残差块中的某些层与前面的某层通过对应通道上元素级别的相加实现短路连接(skipconnection)不同；改进的网络SE-ResNet将前面所有卷积单元的特征图在通道维度相连后先进行加权，即挤压激励操作，之后再作为当前卷积单元的输入。

进一步，步骤S4中，所述挤压激励操作具体包括：首先，对特征图U进行全局平均池化，将特征图U压缩为向量Z；然后，激励操作是将向量Z经过两个全连接层，通过自适应学习权重参数矩阵，得到新的向量S；最后，根据向量S进行特征重标定，得到加权特征图X。因此通过学习网络能够高度地关注X光图像特征图不同通道的重要程度，从而抑制对疾病诊断无用信息的表达，促进有用信息的表达，以此来增强网络对胸部疾病的分类性能。

进一步，所述步骤S5具体包括：通过将每个方形卷积核替换为非对称卷积(ACB结构)并训练网络到收敛；然后，将每个ACB中非对称核的权值加到方形核的对应位置，将非对称卷积网络(ACNet)转换为和原始网络等效的结构；利用卷积的可加性，即如果几个大小兼容的二维核在相同的输入上以相同的步幅操作以产生相同分辨率的输出，并且它们的输出求和，将这些核在相应的位置相加，从而得到一个产生相同输出的等效核；

其中，I为一个矩阵，K⁽¹⁾和K⁽²⁾为具有兼容尺寸的两个2D核，

表示在对应位置的求和操作。注意I可能会被裁剪或者执行Padding操作。这里，“兼容”意味着我们可以把较小的内核“修补”到较大的内核上。

本发明的有益效果在于：本发明解决了胸部X光原始图像数据不平衡分布带来的问题，并增强特征信息提取能力，提高模型整体性能(即网络模型对疾病分类能力更强)，从而提高对胸部X光图像分类的准确度。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为本发明方法的整体流程图；

图2为本发明改进的SE-ResNet网络的结构图；

图3为非对称卷积融合示意图；

图4为SMOTE流程图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

请参阅图1～图4，本发明方法所用的算法模型主要包括以下几个步骤：

S1：采用SMOTE算法，即合成少数类过采样技术，它是基于随机过采样算法的一种改进方案，SMOTE算法的基本思想是对少数类样本进行分析并根据少数类样本人工合成新样本添加到数据集中；

S2：训练网络时，采用焦点损失函数计算每种疾病的损失值；

S3：以残差网络ResNet为基本模型，在ResNet中加入挤压激励网络，生成的新网络结构SE-ResNet；

S4：生成的新网络结构SE-ResNet中将普通方形卷积核加入了水平卷积和垂直卷积，构成非对称卷积。

本实施例的主要指标就是提升肺部疾病的平均准确率。具体如下：

(1)准确率和召回率

在机器学习领域，评判一个模型的好坏，需要一些性能度量指标，其中最常用的是P(准确率)，R(召回率)和F1 score(综合性指标F值)，准确率和召回率是广泛用于信息检索和统计学分类领域的两个度量值，用来评价结果的质量。其中准确率是所有被预测为正例的样本中有多少是真正例，衡量的是检索系统的查准率；召回率衡量的是所有的正例中有多少是被正确分类，衡量的是检索系统的查全率。一般情况下，准确率和召回率是一对相互矛盾的度量。F1 score是一个综合指标，为Precision和Recall的调和平均(harmonicmean)，数值上一般接近于二者中的较小值，因此如果F1 score比较高的话，意味着Precision和Recall都较高。因此，在模型评价研究中，一般采用P和R的综合度量F1 score作为主要的评价指标，F1 score可以使用P和R转换，如公式(2)所示。同时，考虑模型的实用性，本实施例也将时间作为考虑指标。

P(准确率)，R(召回率)和F1 score(综合性指标F值)的计算公式如下：

P：TP/(TP+FP)，正确预测为正占全部预测为正的比例。

R：TP/(TP+FN)，正确预测为正占全部正样本的比例。

F1 score：P和R调和均值的2倍。

其中，

TP：样本为正，预测结果为正；

FP：样本为负，预测结果为正；

TN：样本为负，预测结果为负；

FN：样本为正，预测结果为负。

(2)混淆矩阵(confusion matrix)

混淆矩阵也称误差矩阵，是表示精度评价的一种标准格式，用n行n列的矩阵形式来表示。在人工智能中，混淆矩阵是可视化工具，在图像精度评价中，主要用于比较分类结果和实际测得值，可以把分类结果的精度显示在一个混淆矩阵里面。混淆矩阵的每一列代表了预测类别，每一列的总数表示预测为该类别的数据的数目；每一行代表了数据的真实归属类别，每一行的数据总数表示该类别的数据实例的数目。

(3)ROC曲线

ROC的全称是Receiver Operating Characteristic Curve，中文名字叫“受试者工作特征曲线”，受试者工作特征曲线就是以假阳性概率(false positive rate)为横轴，真阳性概率(true positive rate)为纵轴所组成的坐标图，和受试者在特定刺激条件下由于采用不同的判断标准得出的不同结果画出的曲线。选择最佳的诊断界限值。ROC曲线越靠近左上角，试验的准确性就越高。最靠近左上角的ROC曲线的点是错误最少的最好阈值，其假阳性和假阴性的总数最少。

本实施例烟雾净化模型主要分为以下三个步骤：首先使用大小调整为224×224×3的CXR图像作为输入，采用SE-ResNet模型将图像编码成大小为S×S的C个特征图，并将其输出到过渡层；通过过渡层将每个特征图简化为1×1×D，再由采样层将其转换为D维特征向量；然后通过Sigmoid函数转换完全连接层，输出胸部疾病的概率分数；最后在残差网络ResNet中加入挤压激励网络并将其进行捷径连接。其具体实现步骤如下：

步骤1：采用SMOTE采样算法对少样本数据集X(minority class samples)进行操作：SMOTE采样算法流程图如图4所示。

首先，对于少数类(X)中每一个样本x，计算它到少数类样本集(X)中所有样本的距离，得到其k近邻。

其次，根据样本不平衡比例设置一个采样比例以确定采样倍率sampling rate，对于每一个少数类样本x_(i)，从其k近邻中随机选择sampling rate个近邻，假设选择的近邻为

最后，对于每一个随机选出的近邻

分别与原样本x_(i)按照如下的公式构建新的样本

步骤2：训练网络时，采用损失函数的权值均衡；

对于数据集中的胸片图像，本文令其中的每一张胸片都对应一个N维的向量作为标签(即真实值)，该向量为y＝[y₁,y₂,…,y_N]，其中N代表N种疾病，y_i(i＝1,2,…，N)的值为1或0，1代表患者患有第i种疾病，0代表患者未患第i种疾病。同时，网络的N个输出值也可看做一个N维向量，即

其中

代表网络判断第i种疾病患病的概率值(即预测值)。

但是，在X-ray数据集中，存在数据不平衡问题，某些疾病的样本较少，不利于网络掌握足够的纹理信息；很多样本中同时包含多种疾病信息，较难训练；不同疾病的病理信息有所不同，导致学习的难易程度不同。针对以上问题，本文训练网络时，采用焦点损失函数计算每种疾病的损失值L_i为：

式中，α＝0.5、β＝2为超参数，再将N种疾病的损失值求平均作为网络整体的损失。由此，整个网络会根据损失函数调整每种疾病的损失值，使得难识别疾病乘以一个较大的权重，易识别疾病乘以一个较小的权重，通过网络反向传播使得网路更加关注对难以识别疾病种类的学习，以得到对疾病分类能力更强的网络模型。

步骤3：普通方形卷积改变成非对称卷积

非对称卷积块的结构是在普通方形卷积核中加入了水平卷积和垂直卷积。非对称卷积融合图如图3所示，并行进行3×3、1×3和3×1卷积，然后将3路的输出叠加起来得到新的输出；将3×3、1×3和3×1卷积核转换为1个新的非对称卷积核进行卷积操作得到输出，两种方式得到的输出特征图等价的。ACB能够匹配各种网络结构以提升其性能，同时由于不会引入额外的超参数，因此不增加计算负担。

3×3卷积核中的9个参数重要程度并不相同，在中央交叉位置即卷积核骨架上的5个参数更加重要，而边角的4个参数影响较小。普通方形卷积核在初始化时是随机的，因此可能导致它向着非强化骨架参数的方向优化。通过采用非对称卷积块将水平卷积和垂直卷积加到卷积核骨架上能够起到强化骨架上参数的作用。将每个3×3卷积层替换为ACB来构建ACNet，该ACB模块包含三个并行层，内核大小分别为3×3，1×3，和3×1。和标准CNN的常规做法类似，在三层中的每一层之后都进行批量归一化，这被成为分子，并将三个分支的输出综合作为ACB的输出。训练ACNet完成后，将每个ACB转换为产生相同输出的标准卷积层，与经过常规训练的对等方相比，获得不需要任何额外计算的功能更强大的网络。为了使网络更加重视卷积核骨架上的参数，增强网络的特征提取能力，将SE-ResNet网络结构中所有的3×3普通方形卷积核全都替换为ACB。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种基于改进的Resnet网络的X光图像分类方法，其特征在于，该方法具体包括以下步骤：

S1：获取X光图像数据；

S2：采用SMOTE算法对获取的图像数据进行分析合成新数据，并添加到原图像数据中；

S3：训练网络时，采用焦点损失函数计算每种疾病的损失值，再将N种疾病的损失值求平均作为网络整体的损失；

S4：以残差网络ResNet为基础模型，在ResNet中加入挤压激励网络，生成改进的网络SE-ResNet；

S5：在SE-ResNet网络的方形卷积核中加入水平卷积和垂直卷积，构成非对称卷积；

S6：对原始图像的灰度图进行缩放，并将其转换为RGB 3通道格式，再随机选取中心点对图像进行剪裁；

S7：利用步骤S5的SE-ResNet网络将经步骤S6处理后的图像编码成大小为S×S的C个特征图，并将其输出到过渡层；通过过渡层将每个特征图简化为1×1×D，再由采样层将其转换为D维特征向量；

S8：通过Sigmoid函数转换完全连接层，然后输出目标分类的概率分数。

2.根据权利要求1所述的X光图像分类方法，其特征在于，步骤S1中，获取的X光图像数据属于少数类样本。

3.根据权利要求1所述的X光图像分类方法，其特征在于，步骤S3中，采用焦点损失函数计算每种疾病图像的损失值L_i，表达式为：

其中，i＝1,2,...,N，N表示疾病种类；y_i的值为1或0，1代表患者患有第i种疾病，0代表患者未患第i种疾病；

表示网络判断第i种疾病患病的概率值；α、β为超参数。

4.根据权利要求1所述的X光图像分类方法，其特征在于，步骤S4中，生成改进的网络SE-ResNet，具体包括：RseNet网络将每个残差块中的某些层与前面的某层通过对应通道上元素级别的相加实现短路连接不同；改进的网络SE-ResNet将前面所有卷积单元的特征图在通道维度相连后先进行加权，即挤压激励操作，之后再作为当前卷积单元的输入。

5.根据权利要求4所述的X光图像分类方法，其特征在于，步骤S4中，所述挤压激励操作具体包括：首先，对特征图U进行全局平均池化，将特征图U压缩为向量Z；然后，激励操作是将向量Z经过两个全连接层，通过自适应学习权重参数矩阵，得到新的向量S；最后，根据向量S进行特征重标定，得到加权特征图X。

6.根据权利要求1所述的X光图像分类方法，其特征在于，所述步骤S5具体包括：通过将每个方形卷积核替换为非对称卷积并训练网络到收敛；然后，将每个ACB中非对称核的权值加到方形核的对应位置，将非对称卷积网络转换为和原始网络等效的结构；利用卷积的可加性，即如果几个大小兼容的二维核在相同的输入上以相同的步幅操作以产生相同分辨率的输出，并且它们的输出求和，将这些核在相应的位置相加，从而得到一个产生相同输出的等效核；

其中，I为一个矩阵，K⁽¹⁾和K⁽²⁾为具有兼容尺寸的两个2D核，

表示在对应位置的求和操作。

Images