CN114663765A - 一种基于弱监督细粒度的植物叶片识别系统及方法 - Google Patents

Abstract

本发明公开一种基于弱监督细粒度的植物叶片识别系统及方法，包括，客户端，服务器；所述客户端与所述服务器连接；其中，所述客户端用于获取植物叶片图像及识别请求，并对识别结果进行展示；所述服务器用于接收植物叶片图像及识别请求，并基于识别请求通过弱监督细粒度模型对所述植物叶片图像进行识别，并将识别请求及识别结果存储至数据库，其中服务器内包含有数据库。本发明能够对叶片图像进行准确识别，同时构建识别应用系统，通过获取植物的叶片图像，即可高效率高准确率地识别出植物的物种类别。

Description

一种基于弱监督细粒度的植物叶片识别系统及方法

技术领域

本发明涉及图像处理技术领域，特别涉及一种基于弱监督细粒度的植物叶片识别系统及方法。

背景技术

植物对于整个地球生态圈来说是非常重要的组成部分，对于自然界中的大多数自然场景和对象作用来说，植物都充当着十分重要的保护角色。植物通过光合作用，将自然界动物产生的二氧化碳吸收，同时释放动物维持生命所必需的氧气，这一过程中植物降低了大气环境中的二氧化碳含量，同时提供维持生命的氧气，没有植物，大多数动物将难以生存。不仅如此，植物还拥有保持土壤生态环境，维持土壤生态平衡，吸收有毒气体，提升空气质量，调节大气湿度以及杀菌等重要作用。因此对于植物物种的研究工作，对于人类，对于自然界乃至整个地球环境都是具有重要意义的。

近几年，随着计算机算力的提升和卷积神经网络的兴起，大部分的识别技术开始转向研究以卷积神经网络为主的相关模型和方法。在神经网络兴起之前，传统的植物叶片识别技术主要是人工的对植物的特征进行提取，通过将植物叶片的图像转化为人为设计的特征向量然后再利用机器学习的方法对其进行分类。由于人工提取特征植物叶片图像的方式过于依赖提取专业人员的经验知识，而且特征的设计对于植物的识别会产生特别大的影响导致精度会产生一定的下降。对于神经网络而言就没有这样的烦恼，神经网络模型的训练需要预先设定好数据以及标签，采用损失函数对网络中的参数进行训练，不断修改参数以使得网络能够学习到最佳的图像特征。随着神经网络的出现，引起了越来越多的学者的关注，卷积神经网络得到稳定发展逐渐趋于成熟，各种优化版本的出现，使得计算机对于图像的识别能力相较于传统机器学习时期得到了较大的提升

植物叶片识别任务与传统的图像识别任务相比，存在一些问题，植物叶片图像数据存在类内间距大，类间间距小的特点，不同植物种类的植物叶片图片非常相似，同一植物叶片图片由于姿态，背景以及拍摄角度的不同，存在较大的类内差异。对于此特点，传统的卷积神经网络已经无法解决问题，需要设计出新的网络模型和方法识别高区分性的特征。

发明内容

为解决上述现有技术中所存在的问题，本发明提供一种基于弱监督细粒度的植物叶片识别系统及方法，能够对叶片图像进行准确识别，同时构建识别应用系统，通过获取植物的叶片图像，即可高效率高准确率地识别出植物的物种类别。

为了实现上述技术目的，本发明提供了如下技术方案：

一种基于弱监督细粒度的植物叶片识别系统，包括：

客户端，服务器；所述客户端与所述服务器连接；

其中，所述客户端用于获取植物叶片图像及识别请求；

所述服务器用于接收植物叶片图像及识别请求，并基于识别请求通过弱监督细粒度模型对所述植物叶片图像进行识别，并将识别请求及识别结果存储至数据库，其中服务器内包含有数据库；

所述客户端还用于对识别结果进行展示。

可选的，所述客户端通过摄像头拍照或从客户端的本地数据库中获取植物叶片图像。

可选的，所述客户端与所述服务器采用HTTP协议通信进行数据传输。

可选的，所述服务器包括对外联网的nginx流量分发服务器及双主多从的工作服务器。

为了更好的实现上述技术目的，本发明提供了一种基于弱监督细粒度的植物叶片识别系统的识别方法，包括，获取所述叶片图像，对所述叶片图像进行预处理；

通过弱监督细粒度模型对预处理后的图像进行识别，得到识别结果，其中弱监督细粒度模型为训练后的卷积神经网络。

可选的，基于ResNet50及VGG16网络，构建原始网络；

获取原始图像，通过拼图打乱式方法对所述原始图像进行处理，得到打乱后的拼图数据，基于打乱后的拼图数据，通过分层式渐进式训练方法对所述原始网络进行训练，同时在所述训练过程中，通过模拟退化法优化原始网络的更新步长，得到弱监督细粒度模型。

可选的，所述预处理过程包括：裁剪、切割、压缩、旋转、随机裁剪。

可选的，所述拼图数据的得到过程包括：

获取原始图像，通过切片方法将所述原始图像切分为2^k份，其中，k为超参数，并将所述切分后的图像进行打乱，得到打乱后的拼图数据。

可选的，对所述原始网络进行训练的过程包括：

将原始网络分割为若干个卷积块，并根据卷积块中的数据输出顺序依次对卷积块进行训练，其中，从第一个卷积块开始，训练第一个卷积块，同时不对第一个之后的卷积块进行训练，当第一个卷积块训练完成后，训练下一个卷积块，同时不对下一个卷积块之后的卷积块进行训练，通过对若干个卷积块依次训练，直到所有卷积块训练完成，得到弱监督细粒度模型。

本发明具有如下技术效果：

本发明将ResNet50和VGG16作为基础骨干网络进行特征提取方式，设计分层次渐进式训练方法训练弱监督细粒度模型网络应用于植物叶片图像的识别工作，获得了良好的叶片识别结果，且成功地构建了基于手机平台上的植物识别应用系统，方法实施后可供手机用户直接下载使用，通过拍摄植物的叶片图像，即可高效率高准确率地识别出植物的物种类别，实现了手机平台上的植物物种自动识别，完成从理论成果到应用成果的转化。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的系统流程示意图；

图2为本发明实施例提供的服务器端所用的分布式及主从复制大致流程；

图3为本发明实施例提供的方法中分层次渐进式训练模型图。

图4为本发明实施例提供的方法中弱监督细粒度的网络整体框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

如图1所述，本发明提供了一种基于弱监督细粒度的植物叶片识别系统，包括：

本发明涉及一种基于弱监督细粒度的植物叶片识别方法，该方法以手机作为载体，在手机上安装客户端，通过手机客户端采集植物叶片图像，用户根据需求点击按钮选择是否发出识别请求，手机客户端收到指令发出网络请求，通过后台服务器对手机端上传的植物叶片进行识别，将识别请求及结果保存至植物物种信息数据库，并将识别结果返回给客户端进行展示；针对识别流程：服务器端对叶片图像进行特征提取、训练，利用弱监督细粒度方法对叶片进行识别。与现有技术相比，本发明具有识别准确率高、使用方便等优点。

本发明提供的一种基于弱监督细粒度的植物叶片识别系统，以手机客户端为载体，实现叶片图像的采集、识别请求和植物物种信息数据库的展示；通过将叶片图像数据上传至服务器端，实现对叶片图像的特征提取、训练和识别，以及对植物物种信息数据库的构建和检索。服务器安装操作系统，并安装PyTorch和Python开发环境。客户端到服务器端的叶片图像的识别请求和服务器端到客户端的植物物种信息传输采用HTTP协议通信。客户端获取叶片图像的方式包括通过摄像头拍照获取或从客户端本地数据库中获取。

服务器端设计

如图2所示，所述的服务器端包括一台对外联网的nginx流量分发服务器，以及双主多从的工作服务器，双主多从采用主从复制、读写分离的思想，nginx服务器根据请求类型将请求分发至不同的服务器。服务器节点采用双主多从的架构方式，服务器端的架构采用主从复制、读写分离的思想，所有的上传新的叶片图像及植物数据的写操作将由主服务器进行接收实现，所有的图片识别操作均由从服务器进行接收请求实现识别。设计的目的是为了避免识别操作过多而导致服务器的压力较大，服务器处理不来容器导致请求丢失，降低用户体验。设计双主多从的目的在于，另一个主(备份)服务器处于standby的状态，一旦主服务器宕机或响应超时，将采用另一台服务器作为主服务器接收写请求相应，主(备份)服务器一直处于复制主服务器数据的状态，随时保持和主服务器的数据同步。

为了防止两台主服务器同时接收写请求导致数据不一致问题，为此设计放脑裂的解决方案，同一时刻仅有一台主服务器进行写请求响应，一旦主服务器宕机或响应超时，主(备份)服务器将启动杀死主服务器命令防止主服务器又重新连接导致的脑裂现象。通过双主多从的服务器架构设计，将能够实现较大流量的请求，并能够得到迅速相应。

对于主从服务器的请求相应，采用nginx服务器对流量进行拦截，将所有的写请求转发到主服务器，将所有的图像识别分类的读请求转发到从服务器上，由于多台从服务器的设置，nginx服务器采用轮询的方式进行读请求的负载均衡。最终实现的服务器的架构如图2所示。

实施例二

为了更好的实现上述技术目的，本发明提供了一种基于弱监督细粒度的植物叶片识别系统的识别方法，其中以上述系统为载体对该方法进行详细描述：

步骤1)将原始图片数据集划分训练集和测试集，并将测试集划分为查询集和候选集；

步骤2)服务器收到客户端上传的叶片图像进行预处理，通过裁剪、切割、压缩以统一数据格式，并通过旋转、随机裁剪等方式对数据进行增强：

(1)格式统一

原始图片的大小从160*160像素到7800*7800像素不等，不同样本的尺度存在着严重差别，因此本发明采用的方法是对图片进行缩放，将图片的最短边缩放到224，同时长边乘以相同的缩放倍数，这样就得到了224*x尺寸的图片。接下来进行裁剪操作，在图像的左上、右上、左下、右下以及正中间五个位置，分别截取160*160大小的子图，这样就得到了五张160*160大小的图片，最后为了保证输入图片信息的丰富性，再将得到的图片resize到224*224大小，后续的数据增强以及模型训练在得到的224*224大小的图片基础上进行。

(2)数据增强

经过格式统一阶段进行的裁剪操作之后，原始数据实际上已经进行了一次初始的数据增强，通过裁剪输入图片的不同区域，让模型接受到原始图片的部分子区域，从而提升输入图片的多样性，提高模型的泛化能力，是数据增强的方式之一。通过随机裁剪，输入样本数量变为原来的5倍，将得到的所有样本，再经过水平翻转和垂直翻转，由于原始样本数据量的问题，随机裁剪和随机翻转从常规的随机变换改成强制执行，从而适应本数据集的特点，最大程度上克服数据量过小带来的过拟合问题，经过增强，数据量变为原来的20倍。通过增强后的数据集，提高模型的泛化能力。

步骤3)选用卷积神经网络ResNet50和VGG16作为基准网络模型进行训练，通过优化网络，对基准网络的超参数进行调整；。

步骤4)在实际植物叶片识别应用中，客户端获取叶片图像，获取叶片图像的方式包括通过摄像头拍照获取或从客户端本地数据库中获取。客户端将叶片图像传输给服务器端，并同时通过HTTP协议(HTTP POST)向服务器端发送识别请求。

步骤5)服务器端接收叶片图像，当服务器端收到识别请求后，基于弱监督细粒度模型对叶片图像进行识别。

弱监督细粒度的具体架构为：

采用ResNet50和VGG16作为基础架构进行网络构建，引入拼图打乱式方法，对原始图像进行裁剪分割成不同的网络块，打乱后的图片信息将使得网络模型能够聚焦于更具有识别性的特征上，通过渐进式训练方法，对模型进行分层次训练，采用余弦退火学习率衰减降低学习率，最终结合不同层次及粒度的信息结果将预测结果进行输出。

基于弱监督细粒度对叶片图像进行特征提取及识别的具体内容为：首先对数据进行切片处理，输入的训练数据是经过切片拼图后重新得到的256*256像素图片数据，目的是为了针对N个过程进行不同粒度的数据输入，在实验过程，切片方法将每张原始植物叶片图片，切分成2^k份，其中k为超参数，将分割后的拼图数据进行打乱，使得对于每个训练过程，训练时更加关注于更细粒度级别的信息。

采用分层式渐进式训练，将整个训练网络分成N个层次进行训练，先训练网络的低层部分，再训练网络的高层部分。采用渐进网络训练的优势在网络低层的表示能力很有限，这就迫使网络的低层阶段去学习有判别力的局部特征。相比于整体进行网络训练时同时进行多粒度的训练，渐进式训练使得网络逐渐学习到由局部到全局的特征信息。

采用模拟退火法逐步减少浅层网络参数的更新步长，目的是为了结合渐进式训练方法，让深层网络利用浅层得到的细粒度的信息，能够更好的帮助网络识别类内之间和类间之间具有较大区分信息的区域块。

对弱监督细粒度图像分类算法具体设计及实验分析：

从研究领域而言，植物叶片图片存在类内间距较小，类间间距较大的特点。不同植物种类的植物叶片图片非常相似，同一植物叶片图片由于姿态，背景以及拍摄角度的不同，存在较大的类内差异。针对此问题，本发明采用拼图分割打乱的数据处理方式，配合上分层式渐进式训练方式，对ResNet50和VGG16网络进行训练。

如图3所示，本发明将整个训练网络分成N个层次进行训练，先训练网络的低层部分，再渐进式训练网络的高层部分。采用渐进网络训练的优势在网络低层的表示能力很有限，这就迫使网络的低层阶段去学习有判别力的局部特征。相比于整体进行网络训练时同时进行多粒度的训练，渐进式训练使得网络逐渐学习到由局部到全局的特征信息。

模型骨干可以采用不同的网络模型，本发明以vgg16为例，在训练时将vgg16拆分成5个卷积块进行训练，每个卷积块由2个卷积层和一个最大池化层组成，在训练第i个卷积块时，将第i+1到N层卷积块进行冰冻，每一步只训练其中一个卷积块的输出，并且对于每次训练，输出将直接输送给由3个全连接层组成的分类器，将得到的损失值进行迭代更新，使得当前卷积块能够学习到本层粒度的特征信息。

由于在每次迭代中，在更深层次的网络训练中，将之前训练过的网络的迭代参数余弦退火法进行逐步减少，最后串联每一个卷积块，得到的网络将是得到能够感受不同粒度的网络模型。需要清楚的是，这里不断更新之前训练过的卷积块是因为，针对不同粒度的输入数据，即使浅层网络可能已经在之前的步骤中更新过了，但是仍然可以帮助模型一起工作。

本发明训练的数据在渐进式训练的过程中也经过处理，采用重新增强后的数据进行多批次训练，训练浅层网络采用的数据为经过切片后拼图得到的重新组合数据，切片块数计算为2^(n-i)块，其中i表示第i层网络，n表示全局总网络层数。即网络层次越浅，得到的切片拼图粒度更小，这样强迫浅层网络能够更加专注的去学习数据中的局部特征，随着训练网络层次的加深，这种增量特性允许模型定位从局部细节到全局结构的区别信息时这些特征被逐步地送到更高的阶段，而不是学习所有的同时粒度。

拼图结构的设计上，输入的训练数据是经过切片拼图后重新得到的256*256像素图片数据，目的是为了针对N个过程进行不同粒度的数据输入，在实验过程，切片方法将每张原始植物叶片图片，切分成2^k份，其中k为超参数，将分割后的拼图数据进行打乱，使得对于每个训练过程，训练时更加关注于更细粒度级别的信息。

对于拼图结构的切分，需要保证深层的网络的切分的切片大小要比浅层网络的切片大，因为这样深层网络能够在更广阔的视野捕捉到更加宏观的信息，在浅层网络训练完毕，将采用模拟退火法逐步减少浅层网络参数的更新步长，目的是为了结合渐进式训练方法，让深层网络利用浅层得到的细粒度的信息，能够更好的帮助网络识别类内之间和类间之间具有较大区分信息的区域块。

如图4所示，以vgg16中4个卷积块为例，每个卷积块包含2个卷积层和一个最大池化层，整个训练过程分为4个训练步骤，分别对应4种不同粒度的切片拼图数据，每个步骤将训练对应层次的卷积块，最终将得到的结果输入到由3个全连接层和一个softmax函数组成的分类器中，将分类预测的输出结果利用交叉熵损失函数计算损失值，更新当前层次的网络参数。在最后层将输入最大粒度的完整图片数据，前面经过训练的浅层网络的参数也将影响到下一层网络的训练，最后一层网络在之前所有已经训练过的网络层次的帮助下，能够感知不同粒度的信息特征，最终得到的训练模型能感知到不同粒度后信息结果。

损失函数采用交叉熵损失函数计算损失，对于每层网络的输出，我们在真值之间采用交叉熵标号y、y_j、y^truth计算损失的预测概率分布为：

其中：y表示当前样本对应的预测值，y_j表示当前样本的第j个数据的预测值，y^truth表示当前样本的真实值。

在每次迭代中，将一批数据d用于S+1步，我们在串联的每一步中只训练一个阶段的输出。需要清楚的是，所有当前预测中使用的参数将得到优化，即使它们可能已经在之前的步骤中更新过了，这可以帮助模型一起工作。

对所提出的方法采用VGG16和ResNet50作为骨干网络:

输入图像大小为256*256，为了避免梯度爆炸，我们使用梯度夹紧。使用Adam来最小化损失函数，并设置超参数为beta1＝0.9,beta2＝0.999,epsilon＝1e-8。采用渐进式训练方法，我们需要对新增的卷积层和全连接层的学习速度初始化和已经训练好的学习速率不一致，设置新增网络层的learning_rate＝0.002,对于已经训练好的层次的学习速率通过在训练中遵循模拟退火法来减少。对于上述所有模型，我们对它们进行了300个周期的训练，设置批量大小为16，模拟退火法其参数更新公式如下。其中

分别代表了学习率的最小值和最大值，T_cur表示当前训练迭代次数，T_i为为超参，用于调整余弦退火的周期大小，η_t为学习率。

数据组织——ICL植物叶片数据集是同济大学机器学习与系统生物学研究所与合肥市植物园合作进行整理、收集、标注的。该数据及囊括了220种植物，共计16851张植物叶片的样本，其中每类植物的样本数量不等，从26张到1078张。数据集中的图像格式相同，都为JPG压缩格式，其扫描精度为300dpi，均是24位白色背景图片。从中50类的植物叶片样本，其中每类植物含有100多张图片。

本发明以传统的VGG16、ResNet50网络作为骨干网络进行实验，实验分别以采用了本发明提出的弱监督细粒度方法(FGVC)、和未采用本发明提出的弱监督细粒度方法(FGVC)的基准网络进行对比实验。通过实验结果可以看出，实验结果如表1所示，使用基本的VGG16、ResNet50网络的训练策略最终的分类准确率远远低于使用渐进式训练方法训练VGG16、ResNet50策略分类的准确率。

经过实验证明，采用渐进式分层训练方法，相比于整体进行网络训练时同时进行多粒度的训练，渐进式训练使得网络逐渐学习到由局部到全局的特征信息，这也证明了细粒度图像分类方法能够有效解决植物叶片中特征距离小，不同类别的特征距离大的问题，表1为不同网络模型的分类准确率。

表1

Model	Top1(％)	Top3(％)
			VGG16	86.44	89.23
ResNet50	87.78	90.03
			VGG16+FGVC	90.03	93.39
ResNet50+FGVC	91.33	94.84

以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (9)

1.一种基于弱监督细粒度的植物叶片识别系统，其特征在于，包括：

客户端，服务器；所述客户端与所述服务器连接；

其中，所述客户端用于获取植物叶片图像及识别请求；

所述服务器用于接收植物叶片图像及识别请求，并基于识别请求通过弱监督细粒度模型对所述植物叶片图像进行识别，并将识别请求及识别结果存储至数据库，其中服务器内包含有数据库；

所述客户端还用于对识别结果进行展示。

2.根据权利要求1所述基于弱监督细粒度的植物叶片识别系统，其特征在于：

所述客户端通过摄像头拍照或从客户端的本地数据库中获取植物叶片图像。

3.根据权利要求1所述基于弱监督细粒度的植物叶片识别系统，其特征在于：

所述客户端与所述服务器采用HTTP协议通信进行数据传输。

4.根据权利要求1所述基于弱监督细粒度的植物叶片识别系统，其特征在于：

所述服务器包括对外联网的nginx流量分发服务器及双主多从的工作服务器。

5.基于权利要求1-4任一项所述基于弱监督细粒度的植物叶片识别系统的识别方法，其特征在于，包括：

获取所述叶片图像，对所述叶片图像进行预处理；

通过弱监督细粒度模型对预处理后的图像进行识别，得到识别结果，其中弱监督细粒度模型为训练后的卷积神经网络。

6.根据权利要求5所述基于弱监督细粒度的植物叶片识别方法，其特征在于：

基于ResNet50及VGG16网络，构建原始网络；

获取原始图像，通过拼图打乱式方法对所述原始图像进行处理，得到打乱后的拼图数据，基于打乱后的拼图数据，通过分层式渐进式训练方法对所述原始网络进行训练，同时在所述训练过程中，通过模拟退化法优化原始网络的更新步长，得到弱监督细粒度模型。

7.根据权利要求5所述基于弱监督细粒度的植物叶片识别方法，其特征在于：

所述预处理过程包括：裁剪、切割、压缩、旋转、随机裁剪。

8.根据权利要求6所述基于弱监督细粒度的植物叶片识别方法，其特征在于：

所述拼图数据的得到过程包括：

获取原始图像，通过切片方法将所述原始图像切分为2^k份，其中，k为超参数，并将所述切分后的图像进行打乱，得到打乱后的拼图数据。

9.根据权利要求6所述基于弱监督细粒度的植物叶片识别方法，其特征在于：

对所述原始网络进行训练的过程包括：

将原始网络分割为若干个卷积块，并根据卷积块中的数据输出顺序依次对卷积块进行训练，其中，从第一个卷积块开始，训练第一个卷积块，同时不对第一个之后的卷积块进行训练，当第一个卷积块训练完成后，训练下一个卷积块，同时不对下一个卷积块之后的卷积块进行训练，通过对若干个卷积块依次训练，直到所有卷积块训练完成，得到弱监督细粒度模型。

Images