CN108520206A - 一种基于全卷积神经网络的真菌显微图像识别方法 - Google Patents

Abstract

本发明公开了一种基于全卷积神经网络的真菌显微图像识别方法，包含如下步骤：真菌图像采集；图像预处理；构建全卷积神经网络；训练真菌识别神经网络；验证识别效果并进行参数调整。本发明能从海量真菌图像中，提取出足够用于识别的特征信息，从而应用与多类的真菌图像识别。此外，全卷积神经网络的使用，提高了图像的识别效率和识别精度，同时使得学习特征更容易可视化。本发明实现了高效、准确的真菌图像识别，因此具有较高的实用价值。

Description

一种基于全卷积神经网络的真菌显微图像识别方法

技术领域

本发明涉及图像识别领域，具体应用为显微真菌图像识别分类，尤其涉及一种基于全卷积神经网络(Convolutional Neural Network，CNN)的真菌显微图像识别方法。

背景技术

随着信息技术的不断飞速发展，各个领域每天都在以惊人的速度产生各种类型的图像数据。其中医学领域图像的的增长尤其明显，包括CT图像、脑波图像和显微图像等，如何从海量的医学图像中提取重要信息，构建人工智能模型辅助医学诊断和病理识别，成为了一个十分重要的问题。在医学中，对人类有致病性的真菌约有300多个种类，因此如何能通过计算机，对真菌显微图像进行分析和识别并辅助医生诊断，也成为了医学和计算机视觉结合的重要应用。

图像分类作为计算机视觉和模式识别的最主要技术之一，一直受到了学术界和工业界的广泛关注，并且经常作为各种图像相关国际学术会议的重要主题。图像分类是指，根据图像数据特征，通过一定的技术手段，将未标注类别的图像进行准确分类。图像分类在医学图像中也有很多不同的应用，如脑电波图像分类，细菌显微图像分类，真菌显微图像分类等。但传统自然图像分类的方法在医学图像中往往效果不好，一方面因为医学图像数据分布比较集中，不同图像间差异小，分类困难，另一方面因为医学图像的标注需要大量受过专业训练的医生，因此有标注数据的数量往往有限。科学研究人员已经渐渐意识到以上问题的重要性并不断深入分析，使得医学图像分类成为一个活跃的研究方向。

近几年，基于深度神经网络，特别是深度卷积神经网络的方法广泛应用于许多计算机视觉和模式识别任务，在自然图像的分类问题上取得了超越人类表现的效果，但由于其对标注数据的过分依赖，使得其在医学图像上的表现不尽如人意，仍有许多研究点尚未涉及，因此在该领域仍有巨大的突破空间。因此基于卷积神经网络的医学图像识别，已成为当前相关领域研究的的热点，对积极推进社会信息化起到重要作用。已有的卷积神经网络用于医学图像方法，往往针对CT图像、细菌图像等数据量较大的图像类型，而对数据数量较为匮乏的真菌图像则少有优化。因此，如何利用深度卷积神经网络，更有效地学习真菌显微图像分类，对于人类加深对真菌的研究和真菌相关疾病辅助诊断，具有深远的意义。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种基于全卷积神经网络(Convolutional Neural Network，CNN)[1]的真菌显微图像识别方法，通过在海量有标注真菌显微图像数据中训练全卷积神经网络模型，最终提取得高准确率的真菌图像识别效果。

为了解决上述技术问题，本发明公开了一种基于全卷积神经网络的真菌显微图像识别方法，包含如下步骤：

步骤1，真菌图像采集与标类：在显微镜下拍摄并采集真菌图像，同时对每张图像进行标类，得到标注好类的原始图像数据集合；

步骤2，数据预处理：对标注好类的原始图像进行缩放和裁剪处理，并对每张图像以50％概率翻转，同时进行归一化处理，得到预处理后的图像集合；

步骤3，构建神经网络：卷积神经网络[1]总深度为11层，卷积核大小为3x3，第2、4、7层步长为2，其余层步长为1；

步骤4，训练神经网络：对所构建神经网络进行训练，以标好的对应类标作为网络监督信息，使用优化算法调整参数使网络输出和真实类标差距尽可能小，得到训练后的神经网络；

步骤5，将训练后的神经网络作为模型，测试真菌图像识别效果，并调整步骤4优化算法参数继续训练，直到验证识别准确率稳定。

步骤1具体包括如下步骤：

步骤1-1，使用显微镜对不同类型的真菌进行拍摄，为使图像保持稳定，显微镜倍数为20至40倍，具体倍数根据图像类别而决定，保证主要菌体在图像中心，且菌体占据图像大部分。图像分辨率统一为640*512。为避免分类时，不同背景颜色与背景光照影响分类结果，图像背景色统一设置为淡蓝色，RGB值标准为rgb(153,204,255)，对所有拍摄图像施加统一亮度光照，亮度值为500sb，最终得到原始图像数据集合；

步骤1-2，收集阶段完成后，由专业人员对图像进行标注，为保证准确性由3人分开标注，取标注最多类别作为标注结果，若标注结果均不同，则图像弃用，不放入训练集。最终取得的数据集表示为(X,Y)，其中X为原始图像数据集合，Y为类标向量，Y＝{y₁,y₂,…y_n}，其中y_i为第i张图片类标。n取值为自然数。

步骤2具体包括如下步骤：

步骤2-1，对标注好的原始数据进行预处理，保证数据适用于卷积神经网络算法，并通过一定数据变换变相扩大数据集。首先计算原始图像数据集合X上每个像素的均值和标准差，设原始图像数据集合X上的所有图像均值图像为标准差为std，对于一张特定图像x，对其进行归一化如下：

x′为图像x归一化后的图像；

步骤2-2，对归一化后的图像进行缩放，对于分辨率不为640*512的图像，若长宽比例为640:512，直接缩放为640*512大小；若长宽比例不为640:512，先根据短边裁剪为640:512比例，再缩放为640*512大小。对缩放后的图像周围8像素进行扩张，像素值置为0，在扩张后的648*520图像上裁剪640*512的图像块，对于每个生成的图像块，以50％概率进行水平翻转；

步骤2-3，原始图像数据集合X经过步骤2-1和步骤2-2的处理后得到图像数据集X’，随机将其中90％的数据与对应的类标向量组成用于训练神经网络的图像数据集A，剩余10％的数据与对应的类标向量组成验证集B。

步骤3具体包括如下步骤：

步骤3-1，神经网络总深度为11层，其中前10层为卷积层，卷积核大小为3*3，第2、4、7层步长为2，其余层步长为1，对于第i层卷积层，其可训练参数包含权重W_i和偏置b_i。

步骤3-2，在每层卷积层之后添加BatchNormalization层[2]，对于第k层的特征x^(k)，通过BatchNormalization层后得到归一化后的特征其具体计算如下：

其中E(x^(k))和Var(x^(k))分别为当前处理数据束(batch)的均值和方差:

x_i ^(k)为数据束中第i张图片对应第k层特征向量。第i层Batch Normalization层可训练参数包括γ_i和β_i。

步骤3-3，之后添加ReLU非线性层，对于第k层特征x^(k)，其ReLU层函数ReLU(x^(k))计算过程如下：

ReLU(x^(k))＝max(0,x^(k))，

步骤3-4，第10层卷积层后为全局均值池化(Global Average Pooling)层，其后为Softmax层，设Softmax层的输出向量S＝Softmax(z)，则S为K维向量，其第i维S_j计算公式如下：

其中j＝1,2…,K，K为类标总数，即Softmax层输出向量宽度取决于输入数据的类标总数，z表示Softmax层前池化层的K维输出向量，z_i表示该向量第i维，神经网络输入为图像数据集A中图片，输出为值在0～1之间向量，设为P＝{p₁,p₂,…p_k}，p_i值对应于某张图片属于第i类真菌的概率。e为自然对数的底数。

步骤4具体包括如下步骤：

本步骤使用数据，利用反向传播算法训练步骤3中所构建网络的参数，其中优化算法采用ADAM(adaptive moment estimation，自适应矩估计)[3]算法。该方法为适应性梯度下降算法，在保证优化结果的情况下，减少优化参数，同时有更快的收敛速度。优化最终层的Softmax函数，获得各层梯度后，更新每一层参数，参数包括卷积层权重W和偏置b，BatchNormalization参数γ_i和β_i。初始学习率λ设置为1e-4，训练持续N轮(初始N＝200)，在第n₁、n₂和n₃轮(初始n₁＝80、n₂＝120，n₃＝160)结束后，将当前学习率乘以g(初始g＝0.2)得到新学习率，N轮后直到网络收敛。

步骤5具体包括如下步骤：

使用验证集B对步骤4中训练的神经网络进行验证，根据验证集B中的图像识别结果决定是否需要调整步骤4中所涉及的优化参数(λ，n₁，n₂，n₃，g)继续训练，调整方式如下：

(1)对于λ，设调整之前值为λ₀，尝试λ₀+1e-5和λ₀-1e-5两值，若未有改进则保持原值，否则取准确率最高值，并继续调整，直到准确率不能改进为止。

(2)对于n₁，n₂，n₃，将他们的值加10重新训练，若最终准确率较之前一次不变时停止。

(3)对于g，设调整之前值为g₀，尝试g₀*0.9和g₀*1.1，若准确率未有改进则保持原值，否则取准确率最高值，并继续调整，直到准确率不能改进为止。

当三次验证集B准确率值不变时，判定神经网络收敛，停止训练过程，使用训练好的神经网络作为测试模型。

本发明针对真菌图像识别的深度卷积神经网络方法，本发明具有如下特征：1)使用卷积神经网络进行真菌图像识别分类，相比于传统方法，准确率更高，且可以应用于除真菌识别外的其他应用场景2)本发明使用全卷积网络作为基础网络结构，保留局部信息，使得学习到的特征更易被可视化和理解，同时全卷积网络对图像大小和类型没有太多限制，增强了实用性。

有益效果：本发明充分考虑了真菌图像特点和应用场景，使用深度全卷积神经网络作为分类模型，通过大量数据变换扩大数据集。因此，最终得到的分类准确率在95％以上，从而提升真菌图像识别的效果。

[1]LeCun,Yann,and Yoshua Bengio."Convolutional networks for images,speech,and time series."The handbook of brain theory and neural networks3361.10(1995):1995.

[2]Ioffe,Sergey,and Christian Szegedy."Batch normalization:Accelerating deep network training by reducing internal covariate shift."International conference on machine learning.2015.

[3]Kingma,Diederik P.,and Jimmy Ba."Adam:A method for stochasticoptimization."arXiv preprint arXiv:1412.6980(2014).

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述或其他方面的优点将会变得更加清楚。

图1为本发明流程图。

图2为网络结构示意图。

图3为采集的真菌图像例图。

图4为图像预处理流程图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

如图1所示，本发明公开了一种基于全卷积神经网络的真菌显微图像识别方法，包含如下步骤：

步骤1，真菌图像采集与标类：在显微镜下拍摄并采集真菌图像，同时对每张图像进行标类；

步骤2，数据预处理：在标好类型的图像数据集上，对数据进行缩放和裁剪处理，并对每张图像以50％概率翻转，同时进行归一化处理，得到预处理后图像集合；

步骤3，构建神经网络：全卷积神经网络，网络总深度为11层，卷积核大小为3x3，第2、4、7层步长为2，其余层步长为1。其输入为预处理后真菌图像，输出为每张图像对应每类的概率；

步骤4，训练网络：使用随机梯度下降，采用步骤2得到的训练集对所构建网络进行训练，以预处理后真菌图像作为训练数据，并以标好的对应类标作为网络监督信息；

步骤5，将步骤4得到的训练后网络作为模型，在不同于训练数据的验证集上测试真菌识别效果，并调整步骤4优化算法参数继续训练，直到验证识别准确率稳定。

步骤1具体包括如下步骤：

使用显微镜对不同类型的真菌进行拍摄，为使图像保持稳定，规定倍数为20—40倍，具体倍数根据图像类别而决定，保证主要菌体在图像中心，且菌体占据图像大部分。图像分辨率统一为640*512。为避免分类时，不同背景颜色与背景光照影响分类结果，图像背景色统一设置为淡蓝色，同时对所有拍摄图像施加统一亮度的光照。采集真菌图像示例如图3所示。收集阶段完成后，由专业人员对图像进行标注，为保证准确性由3人分开标注，取标注最多类别作为标注结果，若标注结果均不同，则图像弃用，不放入训练集。最终取得的数据集表示为(X,Y)，其中X为原始图像数据，Y为类标向量。将其90％数据作为训练集，另外10％数据划分为验证集。最终采集并标注的数据共17类，其与类标值对应关系如下(类标值：真菌名称)：

0:红色毛癣菌，1:犬小孢子菌，2:须毛，3:美国瓶霉，4:新月弯孢，5:棘状外瓶霉，6:Bastina喙枝孢，7:斑替枝孢瓶霉，8:波氏枝孢瓶霉，9:甄氏外瓶霉，10:疣状瓶霉，11:皮炎外瓶霉，12:石膏样小孢子菌，13:穗状离孺孢，14:絮状表皮癣菌，15:裴氏着色真菌，16:卡氏枝孢霉40倍

如图4所示，步骤2具体包括如下步骤：

对标注好的原始数据进行预处理，保证数据适用于卷积神经网络算法，并通过一定数据变换变相扩大数据集。首先计算整个数据集上每个像素的均值和标准差，设X上的所有图像均值图像为标准差为std，对于某张特定图像x，对其进行归一化如下：

为保正分类训练效率，对归一化后的图像进行缩放，对于较高分辨率和较低低分辨率图像，统一缩放为640*512大小。为增加训练集大小，对缩放后的图像周围8像素进行扩张，像素值置为0，在扩张后的648*520图像上裁剪640*512的图像块。对于每个生成的图像块，以50％概率进行水平翻转，最终得到用于训练的图像数据集(X’,Y)。

步骤3具体包括如下步骤：

本步骤描述对模型神经网络的构建过程，网络总深度为11层，其中前10层为卷积层，卷积核大小为3*3，第2、4、7层步长为2，其余层步长为1。在每层卷积层之后添加BatchNormalization层用于使网络优化更稳定，对于第k层的特征x^(k)，通过BatchNormalization层后得到归一化后的特征其具体计算如下：

其中E(x^(k))和Var(x^(k))分别为当前处理数据的均值和方差。

其后添加ReLU(Rectified Linear Unit)非线性层，对于第k层的特征x^(k)，计算过程如下：

ReLU(x^(k))＝max(0,x^(k))

第10层卷积层后为全局Pooling层，其后为Softmax层，其向量宽度取决于输入数据的类标总数。网络输入为步骤2中生成的破坏后的图像，输出为0～1向量，其值对应于每类的概率；具体网络结构如图2所示，网络包含十层卷积-Batchnorm-ReLU层(图中C1-C10，其中C2，C4，C7步长为2，其余层步长为1)，一层池化层(P)和一层Softmaxc层(图中S)。

步骤4具体包括如下步骤：

本步骤使用数据，利用反向传播算法训练步骤3中所构建网络的参数，其中优化算法采用ADAM算法，优化Softmax函数，获得各层梯度后，更新每一层参数，参数包括卷积层权重W和偏置b，Batch Normalization参数γ和β。初始学习率λ设置为1e-4，训练持续N轮(初始N＝200)，在第n₁、n₂和n₃轮(初始n₁＝80、n₂＝120，n₃＝160)结束后，将当前学习率乘以g(初始g＝0.2)得到新学习率，N轮后直到网络收敛。

步骤5具体包括如下步骤：

本步骤使用验证集对步骤4中训练的神经网络进行验证，根据验证集B中的图像识别结果决定是否需要调整步骤4中所涉及的优化参数(λ，n₁，n₂，n₃，g)继续训练，调整方式如下：

(1)对于λ，设调整之前值为λ₀，尝试λ₀+1e-5和λ₀-1e-5两值，若未有改进则保持原值，否则取准确率最高值，并继续调整，直到准确率不能改进为止。

(2)对于n₁，n₂，n₃，将他们的值加10重新训练，若最终准确率较之前一次不变时停止。

(3)对于g，设调整之前值为g₀，尝试g₀*0.9和g₀*1.1，若准确率未有改进则保持原值，否则取准确率最高值，并继续调整，直到准确率不能改进为止。

当三次验证集B准确率值不变时，判定神经网络收敛，停止训练过程，使用训练好的神经网络作为测试模型。

实施例

本实施例描述在17类真菌显微图像上的分类，包括以下部分：

1、拍摄和构建数据集，共17类真菌图像，每类大约510张图像，共8670张，拍摄过程中保持光照均匀，同时对每张图像由专业人员人工进行准确标注。将标注后的图像90％作为训练集，每类459张共7803张，另外10％作为验证集，每类51张共867张，训练集与验证集为均匀随机划分。

2、对标注好的原始数据进行预处理，保证数据适用于卷积神经网络算法，并通过一定数据变换变相扩大数据集。首先计算整个数据集上每个像素的均值和标准差，对其进行归一化。为保正分类训练效率，对归一化后的图像进行缩放，统一缩放为640*512大小。为增加训练集大小，对缩放后的图像周围8像素进行扩张，像素值置为0，在扩张后的648*520图像上裁剪640*512的图像块。对于每个生成的图像块，以50％概率进行水平翻转，最终得到用于训练的图像数据集。

3、构建网络总深度为11层的卷积神经网络，其中前10层为卷积层，卷积核大小为3*3，第2、4、7层步长为2，其余层步长为1。在每层卷积层之后添加ReLU(Rectified LinearUnit)非线性层和BatchNormalization层，第10层后添加全局Pooling层和N＝17的Softmax层。

4、利用反向传播算法，在划分好并预处理的训练集上训练所构建的神经网络，其中优化算法采用ADAM算法，初始学习率设置为1e-4，训练持续200轮，在第80、120和160轮结束后，将当前学习率乘以0.2得到新学习率，200轮后直到网络收敛；

5、验证集准确率调整参数反复训练，直到结果不变。测试结果准确率在95％以上，表明算法在真菌图像识别问题上效果很好。

本发明提供了一种基于全卷积神经网络的真菌显微图像识别方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (6)

1.一种基于全卷积神经网络的真菌显微图像识别方法，其特征在于，包括如下步骤：

步骤1，真菌图像采集与标类：采集真菌图像，同时对每张图像进行标类，得到标注好类的原始图像数据集合；

步骤2，数据预处理：对标注好类的原始图像进行缩放和裁剪处理，并对每张图像以50％概率翻转，同时进行归一化处理，得到预处理后的图像集合；

步骤3，构建神经网络：卷积神经网络总深度为11层，卷积核大小为3x3，第2、4、7层步长为2，其余层步长为1；

步骤4，训练神经网络：对所构建神经网络进行训练，以标好的对应类标作为网络监督信息，使用优化算法调整参数使网络输出和真实类标差距尽可能小，得到训练后的神经网络；

步骤5，将训练后的神经网络作为模型，测试真菌图像识别效果，并调整步骤4优化算法参数继续训练，直到验证识别准确率稳定。

2.根据权利要求1所述的方法，其特征在于，步骤1包括：

步骤1-1，使用显微镜对不同类型的真菌进行拍摄，显微镜倍数为20至40倍，图像分辨率统一为640*512，图像背景色统一设置为淡蓝色，RGB值标准为rgb(153,204,255)，对所有拍摄图像施加统一亮度光照，亮度值为500sb，最终得到原始图像数据集合；

步骤1-2，对图像进行标注，取标注最多类别作为标注结果，若标注结果均不同，则图像弃用；最终取得的数据集表示为(X,Y)，其中X为原始图像数据集合，Y为类标向量，Y＝{y₁,y₂,…y_n}，其中y_i为第i张图片类标。

3.根据权利要求2所述的方法，其特征在于，步骤2包括如下步骤：

步骤2-1，计算原始图像数据集合X上每个像素的均值和标准差，使用其值对每张图像进行归一化，设原始图像数据集合X上的所有图像均值图像为标准差为std，对于一张特定图像x，对其进行归一化如下：

x′为图像x归一化后的图像；

步骤2-2，对归一化后的图像进行缩放，对于分辨率不为640*512的图像，若长宽比例为640:512，直接缩放为640*512大小；若长宽比例不为640:512，先根据短边裁剪为640:512比例，再缩放为640*512大小，对缩放后的图像周围8像素进行扩张，像素值置为0，在扩张后的648*520图像上裁剪640*512的图像块，对于每个生成的图像块，以50％概率进行水平翻转；

步骤2-3，原始图像数据集合X经过步骤2-1和步骤2-2的处理后得到图像数据集X’，随机将其中90％的数据与对应的类标向量组成用于训练神经网络的图像数据集A，剩余10％的数据与对应的类标向量组成验证集B。

4.根据权利要求3所述的方法，其特征在于，步骤3包括如下步骤：

步骤3-1，神经网络总深度为11层，其中前10层为卷积层，卷积核大小为3*3，第2、4、7层步长为2，其余层步长为1，对于第i层卷积层，其可训练参数包含权重W_i和偏置b_i；

步骤3-2，在每层卷积层之后添加BatchNormalization层，对于第k层的特征x^(k)，通过BatchNormalization层后得到归一化后的特征其具体计算如下：

其中E(x^(k))和Var(x^(k))分别为当前处理数据束batch的均值和方差:

x_i ^(k)为数据束中第i张图片对应第k层特征向量，第i层Batch Normalization层可训练参数包括γ_i和β_i；

步骤3-3，之后添加ReLU非线性层，对于第k层特征x^(k)，其ReLU层函数ReLU(x^(k))计算过程如下：

ReLU(x^(k))＝max(0,x^(k))，

步骤3-4，第10层卷积层后为全局均值池化层，其后为Softmax层，设Softmax层的输出向量S＝Softmax(z)，则S为K维向量，其第i维S_j计算公式如下：

其中j＝1,2…,K，K为类标总数，即Softmax层输出向量宽度取决于输入数据的类标总数，z表示Softmax层前池化层的K维输出向量，z_i表示该向量第i维，神经网络输入为图像数据集A中图片，输出为值在0～1之间向量，设为P＝{p₁,p₂,…p_k}，p_i值对应于某张图片属于第i类真菌的概率。

5.根据权利要求4所述的方法，其特征在于，步骤4包括如下步骤：

利用反向传播算法训练步骤3中所构建网络的参数，其中优化算法采用ADAM算法，优化最终层的Softmax函数，获得各层梯度后，更新每一层参数，参数包括卷积层权重W和偏置b，Batch Normalization参数γ_i和β_i，初始学习率λ设置为1e-4，训练持续N轮，在第n₁、n₂和n₃轮结束后，将当前学习率乘以g得到新学习率，N轮后直到网络收敛，初始N＝200，初始n₁＝80、n₂＝120，n₃＝160，初始g＝0.2。

6.根据权利要求5所述方法，其特征在于，步骤5包括：使用验证集B对步骤4中训练的神经网络进行验证，根据验证集B中的图像识别结果决定是否需要调整步骤4中所涉及的优化参数λ，n₁，n₂，n₃，g继续训练，调整方式如下：

对于λ，设调整之前值为λ₀，尝试λ₀+1e-5和λ₀-1e-5两值，若未有改进则保持原值，否则取准确率最高值，并继续调整，直到准确率不能改进为止；

对于n₁，n₂，n₃，将他们的值加10重新训练，若最终准确率较之前一次不变时停止；

对于g，设调整之前值为g₀，尝试g₀*0.9和g₀*1.1，若准确率未有改进则保持原值，否则取准确率最高值，并继续调整，直到准确率不能改进为止；

当三次验证集B准确率值不变时，判定神经网络收敛，停止训练过程，使用训练好的神经网络作为测试模型。