CN107784324A - 基于深度残差网络的白血细胞多分类识别方法 - Google Patents

Abstract

本发明公开了一种基于深度残差网络的白血细胞多分类识别方法。本发明设计出一种基于深度学习卷积神经网络技术的网络架构，并且融入的残差设计思想，使用该网络架构生成的较好的拟合模型对陌生的白血细胞图像进行识别分类。采用深度学习中具有残差架构的卷积神经网络技术设计出一个可以进行端到端学习的多分类网络架构，并且依据此架构可以训练拟合度较好的分类模型。同时该架构运行速度快，能快速得到训练数据的拟合模型。该多分类模型可以对陌生的白血细胞显微图像进行准确识别分类。本发明在白血病细胞识别分类领域具有比较高的准确率。

Description

基于深度残差网络的白血细胞多分类识别方法

技术领域

本发明属于白血病细胞分类领域，具体涉及一种基于深度残差网络的白血细胞多分类识别方法。

背景技术

白血病已经连续多年成为全球恶性肿瘤发病率和致死率最高的病种，当下主要依靠血液常规检查和统计各类型白血细胞所占单位比重来判定白血病，而这一操作又严重依赖于医生的临床经验和认知水平。检验医生对各种类型白血病的认知水平各不相同，判断白血细胞类型的能力也不一样，所有有时在判断白血病及其类型时就存在严重误差。白血病有很多不同的种类，然而每种类型所需要的处理办法也因病而异的。目前市场上主要有基于白血细胞分析仪的三分类技术和五分类技术，但是它只能检测三种主要类别或者五种主要类别，使得检测数据报告不够详细，效果并不是很好。

发明内容

本发明针对现有技术的不足，提出一种基于深度残差网络的白血细胞多分类识别方法，该方法采用深度残差网络来对白血细胞进行多分类识别。

本发明解决其技术问题所采用的技术方案包括如下步骤：

步骤1、获取N(N∈[2,40])种不同的批量白血细胞显微图像数据，对数据进行清洗和数据增广处理，从而平衡各个不同种类中的图像数量。

步骤2、将处理后的数据按照4：1的比例划分为训练集和测试集，并且存储为LMDB或LevelDB格式的数据，并每张图像数据按照其类别做相应的标记；

步骤3、构建卷积神经残差网络架构，用N分类的深度卷积残差网络架构训练模型，并且保留最终拟合较好的模型；

所述的深度残差网络架构具体如下：

深度残差网络架构总共有33层，主要包含6个卷积层 (Convolution)、6个局部归一化层(Batch Norm和Scale)、6个激活函数层(PReLU和ReLU)、1个残差层(Eltwise)、两个全连接层(Fc)、和一个dropout层(drop)。

深度残差网络架构由8个操作单元组成，每个单元首尾相连，数据从第一单元流入，从末尾单元流出。第一个单元是数据输入层，主要用于将RGB图像转化为LMDB格式的矢量矩阵数据；第二单元与第三、第四、第五、第六单元结构相同，都有4个网络层；第二单元与第三、第四、第五、第六单元的单元第一层均为卷积层，该层主要由 96个卷积核来提取图像数据的特征。第二层均为批量归一化层，主要让数据在经过卷积操作之后趋于一定的范围，从而使得图像特征分布更加合理。第三层均为激活函数层，采用ReLU的激活函数对图像数据进行非线性影响。第四层均为池化层，采用最大池化算法对图像降维以降低计算复杂度。为了提高拟合精度和降低计算量，在第四单元首部和第五单元尾部引入残差计算，即该第四单元和第五单元构成残差单元层。该架构第七单元主要由全连接层、激活函数层和丢弃层构成，全连接层有4096个神经元，激活函数层采用ReLU算法，丢弃层则是采用dropout策略防止网络在训练时过拟合。最后第八单元为输出层，采用常规的Softmax算法计算损失度并且给出最恰当的预测结果。

普通的网络层主要作用是学习输入数据的原始分布特征，而残差层是学习下一层数据相对于上一层数据的变化量的分布特征。如图3残差示意图，左侧是普通网络层，右侧为残差层。X是输入的矢量数据矩阵，经过两个网络层的数据处理后生成H(X)。但是残差网络则是在数据入口处添加一个分支，将数据X直接从分支输出，最后输出 F(x)+x。相同的数据X有相同的特征，所以该段网络处理后的输出应该是一致的，故有如下公式始终成立：

H(X)＝F(X)+X

显然F(X)远比H(X)容易求得，试想极端情况，当该段网络不对数据提取特征(即输出数据相较于输出数据未发生改变)，则H(X)＝X，如果是残差网络，则只要学习F(X)＝0的表达式即可，而普通网络则要学习H(X)＝X表达式，而对于计算机而言F(x)＝0的表达式更容易处理。故该残差网络可以极大地减小架构的计算量，加快模型拟合时间，更准确的表达矢量数据的特征，从而提高模型分类精确率。

步骤4、将任意一张陌生的白血细胞图像输入进模型输入层，可以进行正确地识别其所属类别。

本发明的有益效果：

本发明摒弃了传统繁琐并且识别能力有限的传统人工识别白血细胞方法，采用深度学习中具有残差架构的卷积神经网络技术设计出一个可以进行端到端学习的多分类网络架构，并且依据此架构可以训练拟合度较好的分类模型。同时该架构运行速度快，能快速得到训练数据的拟合模型。该多分类模型可以对陌生的白血细胞显微图像进行准确识别分类。本发明在白血病细胞识别分类领域具有比较高的准确率。

附图说明

图1为本发明流程图。

图2为本发明深度残差网络架构。

图3为本发明残差示意图。

具体实施方式

以下结合附图对本发明进一步说明。

如图1-3所示，基于深度残差网络的白血细胞多分类识别方法，具体实现步骤如下：

步骤1.使用训练集数据对深度残差网络架构进行训练，并且使用测试集来验证深度残差网络架构所生成的模型的精确率，舍弃测试集上表现较差的模型，保存测试集上表现较好的模型。如流程图1中“Train WBCnet”步骤单元；

步骤2.图像数据采集:采集批量的多类别白血细胞显微图像(RGB白血细胞图像),如图1中“Image Acquisition”步骤单元；

步骤3.数据清洗：主要采用裁剪、翻转、PCA、添加随机噪音等方法来进行数据增广，然后平衡各个类别的图像数量，如图1中“Data Cleaning”步骤单元；

步骤4.统一数据格式：将是所有的图像按照4：1的比例划分为训练集和测试集，并将其转化为LMDB或者LevelDB数据格式，如图1中“Unify Data Format”步骤单元；

步骤5.均值操作：对训练集数据取均值，以便于加快模型计算速度，如图1中“MeanOperation”步骤单元；

步骤6.构建深度残差网络架构：设计一个深度残差网络架构。架构图如图2所示，架构总共有33层，主要包含6个卷积层 (Convolution)、6个局部归一化层(Batch Norm和Scale)、6个激活函数层(PReLU和ReLU)、1个残差层(Eltwise)、两个全连接层(Fc)、一个dropout层(drop)。普通的网络层主要作用是学习输入数据的原始分布特征，而残差层是学习下一层数据相对于上一层数据的变化量的分布特征。如图3残差示意图，左侧是普通网络层，右侧为残差层。X是输入的矢量数据矩阵，经过两个网络层的数据处理后生成 H(X)。但是残差网络则是在数据入口出添加一个分支，将数据X直接从分支输出，最后输出F(x)+x。相同的数据X有相同的特征，所以该段网络处理后的输出应该是一致的，故有如下公式始终成立：

H(X)＝F(X)+X

显然F(X)远比H(X)容易求得，试想极端情况，当该段网络不对数据提取特征(即输出数据相较于输出数据未发生改变)，则H(X)＝X，如果是残差网络，则只要学习F(X)＝0的表达式即可，而普通网络则要学习H(X)＝X表达式，而对于计算机而言F(x)＝0的表达式更容易处理。故该残差网络可以极大地减小架构的计算量，加快模型拟合时间，更准确的表达矢量数据的特征，从而提高模型分类精确率。

步骤7.使用训练集数据对深度残差网络架构进行训练，并且使用测试集来验证深度残差网络架构所生成的模型的精确率，舍弃测试集上表现较差的模型，保存测试集上表现较好的模型。如流程图1中“Train WBCnet”步骤单元；

步骤8.选用一个较好的模型对任意陌生的白血细胞图像进行预测，可以在极短的时间内得出准确率较高的分类结果。

通过以上步骤可以训练出准确率较高的白血细胞多分类模型，该模型可以准确地对陌生未知的白血细胞图像预测类别结果。

将该架构部署于Caffe运行架构下，对获取92800张40种类别的白血细胞图像进行训练和验证，结果证明该发明可以快速构建出识别率较高的深度残差多分类模型，并且分类表现比市场上三分类和五分类血细胞检测仪优秀。

Claims (3)

1.基于深度残差网络的白血细胞多分类识别方法，其特征在于包括如下步骤：

步骤1、获取N(N∈[2,40])种不同的批量白血细胞显微图像数据，对数据进行清洗和数据增广处理，从而平衡各个不同种类中的图像数量；

步骤2、将处理后的数据按照4：1的比例划分为训练集和测试集，并且存储为LMDB或LevelDB格式的数据，并每张图像数据按照其类别做相应的标记；

步骤3、构建卷积神经残差网络架构，用N分类的深度卷积残差网络架构训练模型，并且保留最终拟合好的模型；

步骤4、将任意一张陌生的白血细胞图像输入进模型输入层，可以进行正确地识别其所属类别。

2.根据权利要求1所述的基于深度残差网络的白血细胞多分类识别方法，其特征在于所述的深度残差网络架构具体如下：

深度残差网络架构总共有33层，主要包含6个卷积层、6个局部归一化层、6个激活函数层、1个残差层、两个全连接层和一个丢弃层，具体的：

深度残差网络架构由8个操作单元组成，每个单元首尾相连，数据从第一单元流入，从末尾单元流出；第一个单元是数据输入层，用于将RGB图像转化为LMDB格式的矢量矩阵数据；第二单元与第三、第四、第五、第六单元结构相同都有4个网络层；第二单元与第三、第四、第五、第六单元的单元第一层均为卷积层，该层由96个卷积核来提取图像数据的特征；第二层均为批量归一化层，用于数据在经过卷积操作之后趋于一定的范围，从而使得图像特征分布更加合理；第三层均为激活函数层，采用ReLU的激活函数对图像数据进行非线性影响；第四层均为池化层，采用最大池化算法对图像降维以降低计算复杂度；且第四单元首部和第五单元尾部引入残差计算，即该第四单元和第五单元构成残差单元层；第七单元由全连接层、激活函数层和丢弃层构成，全连接层有4096个神经元，激活函数层采用ReLU算法，丢弃层则是采用dropout策略防止网络在训练时过拟合；最后第八单元为输出层，采用常规的Softmax算法计算损失度并且给出最恰当的预测结果。

3.根据权利要求2所述的基于深度残差网络的白血细胞多分类识别方法，其特征在于

残差层是学习下一层数据相对于上一层数据的变化量的分布特征；X是输入的矢量数据矩阵，经过两个网络层的数据处理后生成H(X)；但是残差网络则是在数据入口处添加一个分支，将数据X直接从分支输出，最后输出F(x)+x；相同的数据X有相同的特征，所以该段网络处理后的输出应该是一致的，故有如下公式始终成立：

H(X)＝F(X)+X。