CN108133186A - 一种基于深度学习的植物叶片识别方法 - Google Patents

Abstract

植物物种的辨别主要依赖于植物叶片特征的识别。然而，大多数识别系统在复杂背景下检测植物叶片等小目标时表现出较差的性能。为了提高复杂环境中的植物叶片的识别能力，本文提出了一种基于深度学习的植物叶片识别方法，利用带有batch normalization(BN)的Inception V2代替Faster RCNN中的卷积神经层提供多尺度图像特征给region proposal network(RPN)。此外，原始图像首先根据网格被切割成指定的大小，并将分割图像按顺序加载到提出的网络中。通过Softmax和bounding box regressor的精确分类后，带有识别标签的分割图像拼接起来作为最终的输出图像。实验结果表明在复杂背景中对叶片识别，该方法比Fastrer RCNN具有更高的识别精度。

Description

一种基于深度学习的植物叶片识别方法

技术领域

本发明所属技术领域是数字图像处理，运用深度学习中的深度卷积网络FasterRCNN并结合具有批量标准化Inception V2，提出一种在复杂背景下对植物叶片快速、精度的识别方法。

背景技术

植物作为一种重要的资源不仅能够提供人类食物与药材，还能在维持生态平衡起到积极作用。因此，识别和保护植物是十分重要的。众所周知，植物叶片包含有不同的纹理、颜色和形态结构等大量的物种信息，其在判别植物种类时起着至关重要的作用。不同于花朵或果实，植物叶片几乎存在于每个季节中并且会根据季节不同产生显著的变化。由于叶片的这些优势可以很方便的获得，因此通过叶片来对植物进行分类和识别变成了近几年的研究热点。尽管通过人类专家对叶片识别是如今最常用的方法，但是该方法较高的主观性和低效性。随着数字图像处理和机器视觉的迅速发展，计算机图像处理和模式识别技术在一定程度上提高了识别效果。同时，叶片图像分析与识别对植物识别、植物多样性保护、林业信息化等均具有重要意义。

近年来，基于图像分析及图像处理的植物识别被进行了广泛的研究。Backes等采用了复杂网络算法对带有采样噪声的不同分辨率的叶片图像进行了特征识别。张宁等采用将K邻近算法(KNN)分类器与克隆选择算法相结合的手段，有效的提升了叶片的几何特征和纹理特征的识别率。Charles等人创建了叶片样本数据库，并且通过将密度估算法(KDE)与K邻近算法(KNN)结合，在较小训练集范围和不完整特征提取情况下对叶片特征进行提取。杨天天等通过对柳属植物叶片的形状、纹理等特征进行数字化信息识别，实现了对特定种类的叶片高准确率的识别。Y.Naresh等人通过符号表示修改局部二进制模式(LBP)对植物进行了分类。王丽君采用将支持向量机(SVM)与图像多特征融合法相结合的手段，对观叶植物叶片进行了识别。D.Hall等人利用神经网络对不同条件下叶片的特征进行评价和分类。以上所述的方法虽然在单一背景下能够具有较好的叶片识别能力。但是其往往很难在具有不同叶片角度的复杂背景下取得较好的识别效果。

发明内容

为了增强在自然环境下的识别能力并且降低计算成本，本文提出了一种基于Faster RCNN和Inception V2的改进的深度卷积神经网络，整体流程图如图1所示。原始图像被切割成数百张子图像，然后按顺序加载到提出的网络中。此外，Inception模块取代了卷积神经层，为下面的网络提供了丰富的图像特征。具有共享卷积网络的region proposalnetwork(RPN)取替了类独立的方法去预测区域建议框。生成的特征映射和区域建议框被送到region of interest(ROI)pooling用于提取区域映射，然后他们可以通过全链接的softmax分类器和bounding box regression进行精确分类。最后，生成的子图像在最后一个阶段中被拼接回最终的识别图像。

本发明设计了一种基于深度学习的植物叶片识别方法，主要包括以下步骤：

(1)采用Inception V2代替Faster RCNN的卷积神经网络层，利用其batchnormalization(BN)正则化的作用，可以确保网络的不同层继续以较少的内部协作来学习传入的信息。

Inception V2由7个卷积层和1个池化层组成，其卷积核具有不同的大小意味着具有不同大小的接受区域。此外，Inception V2通过使用两个3*3卷积层代替一个5*5卷积层来优化算法。测试数据的内部表示在将BN应用到网络层之后进行归一化处理，然后将输出归一化到正态分布，从而减少内部协变量。网络中某一层的输入可以归一化为：

其中x和分别表示某一层的输入和归一化值。E[x]和Var[x]分别是输入的期望和方差。此外，ω代表内部协方差的偏移量。这可以通过使用BN来消除，归一化之后，在每一层中可以达到相同的输入分布。为了减少归一化后对每个网络层的影响，引入参与γ和β。方程式可以表示为：

其中l被定义为反向传播的梯度损失。M代表批量数据θ的大小。x_i和y_i分别代表批量输入x和BN处理之后的输出值。μ_θ和σ² _θ分别是批量数据的均值和方差。BN网络的最终输出可以表示如下：

一方面，应用BN的Inception减少了内部协变量的数量，以正规化每一层的输出。另一方面，它能够减少网络内参数的数量，从而加快了计算速度。

(2)由Inception提取出的图像特征送入RPN生成区域建议框和特征映射。生成的特征映射和区域建议框被送到RoI池化层用于提取建议特征映射。

Faster RCNN中的RPN能是用于提取叶片区域建议框的。由于RPN能够将任意大小的图像作为输入，所以可以形成一系列矩形区域建议框。在这个过程中，一个3*3的窗口被用于滑动网络中，并且这个窗口状的网络在通过最后一层时生成的特征映射上滑动，然后生成固定大小的矢量。此外，在每个窗口位置生成3个尺度的9个区域建议，并在每个窗口位置生成纵横比，以确保实现更好的平移不变性。生成的矢量然后被加载到回归层和分类层以预测偏移和判断前景。Box regression的输出是区域建议的左上角和右下角的坐标，softmax的输出是区域建议的前景分数。RPN中的损失函数如下所示：

L(p,p^*,t,t^*)＝L_cls(p,p^*)+λL_reg(t,t^*)

其中L_cls表示softmax损失，L_reg表示边界框的回归损失。λ表示损失平衡参数。P和P*分别代表预测和真实标签。由此产生的特征映射和区域建议框被发送到RoI池化层。RoI被设定为是一个完全包含叶子主体的矩形区域，且它应该排除尽可能多的背景。为了实现图像特征位于特征映射的相同位置，需要RoI将特征映射映射到每个区域建议框中。之后，利用该层的最大池将特征映射的某一部分转换成更小。

(3)通过全链接的softmax分类器和bounding box regression进行精确分类，生成最终的识别图像。

这部分由全连接的softmax和bounding box regression组成。所获得的特征映射可以在这个阶段被用来将每个建议分类到特定类别(树叶的种类)并且输出分类的概率向量。在此阶段，使用加权输入总和的softmax激活函数计算来自全连接层的类别标签的概率。激活函数可以表示如下：

其中x_c表示从全连接网络的最后一个输出层中的类别c导入的输入。y_c表示类别c的softmax激活函数的输出。类别总数由C表示。同时，通过bounding box regression回归生成每个建议框的位置偏移量用于回归更精确的对象检测。

附图说明

图1是改进的卷积网络的总流程图；

图2是五种树叶和其相应的识别子图像；

图3是提出的方法与Faster RCNN叶片识别效果；

图4是提出的方法与Faster RCNN叶片识别效果；

图5是三种相似颜色、不同形状叶片样本及其特征识别结果；

图6是两种不同颜色、形态相似的叶片识别效果。

具体实施方式：

在本文中，五种不同品种的叶片被用来进行识别，即重阳木、扶芳藤、海桐、红叶李和垂柳。其中，前三种叶片的形状相似，呈显绿色。第四种叶与前三种形态相似，但呈紫红色。最后一种叶片呈现绿色但具有明显的形状区别。

叶片的图像是由1200万像素的相机拍摄的。与利用光学扫描仪获取二维结构相比，通过相机获得不同角度的叶片形态，有助于提高野外拍摄的叶片图像的识别性能。为了获得良好的图像质量和从自然背景中较容易的分割叶子，训练样本是以白板作为背景收集的。此外，训练图像中的叶子需要有完整的轮廓，叶子上的损伤越小越好。每个种类拍摄180幅图像，包括150幅用于训练的图像和30幅用于验证的图像。所有这些图像都被标记和调整到256×256像素，为了大量的训练样本可以在不消耗过多的计算时间的情况下成功的被训练。同时，又在野外拍摄了30张图像作为测试集。测试图像独立于训练和验证图像，可以评估所提出的叶片识别结构的准确性。同时，这些图像需要在测试前切割成具有256×256像素的子图像。

该叶片识别架构运行在tensorflow，并且模型在配置为具有NVIDIA GeForce GTX1070GPU和8GB的内存的环境下训练。训练阶段对验证集和训练集上交叉熵的目标函数进行周期性评价，其同时分别采用权值衰减和动量集参数分别为0.005和0.9的随机梯度下降法进行优化。为了达到综合评价和避免随机因素带来的负面影响，我们进行了50000次迭代，设置学习率为0.001。再进行20000次迭代，设置学习率为0.0001。此外，当验证损失不再变化时，可以通过迭代停止准则停止迭代。

利用提出的神经网络生成的叶片识别结果由五种不同颜色的标签标记。名称和概率等信息显示在每个标签的顶部。图2展示了五种树叶和其相应的识别子图像。最终的识别结果由这些尺寸为256×256的子图像拼接而成。

Faster RCNN已经被证明具有比RCNN和Fast RCNN更高的计算速度和识别率。图5和图6均展示了我们的改进方法和Faster RCNN之间的对比。具体而言，图3、图4中的植物是在野外从不同角度拍摄的同一株重阳木。图3(a)和图4(a)是我们所提出的方法所得到的最终识别结果，而Faster RCNN的结果显示在图3(b)和图4(b)。图像(c)比较了两种方法中同一个子图像的效果。

从图片我们可以很容易地发现，我们所提出的架构在复杂背景下的叶片识别大体上比Faster RCNN的效果更好。显然，扶芳藤的叶子与重阳木的叶子具有相似的颜色和结构，这种现象导致了在两种方法在复杂环境下均出现错误的识别。相比Faster RCNN，虽然从改善的方法中得到结果还是有一些不同颜色识别的错误标签，但植物中大多数叶片还是被正确的识别出来了。

在复杂背景下，利用改进的深层神经网络对形状差异明显的叶片进行了测试。具体来说，扶芳藤具有锯齿状边缘的椭圆形叶子，垂柳用于细长的叶片，而海桐的托叶位置能同时长出多片叶片。图5(a)、(b)和(c)分别呈现了扶芳藤、海桐、垂柳的样本和特征识别结果。通过图片对比，我们能够发现改进的深度卷积神经网络具有在复杂环境下识别不同形状叶片的能力。在实验中，除了一些小的叶子融合到背景中，每个图像中的大部分叶子都能够被识别出来。这是由于深色背景中的小叶子通常没有清晰的纹理特征可以提取。此外，从图5(c)中，我们注意到，柳树在自然环境下有叶卷曲现象，提取的特征与训练集中的有差异。这导致了所提出的方法不能识别出复杂背景中的每一个树叶。

为了测试我们改进后的结构是否适合在自然环境下进行叶片识别，我们也对具有相似形状但不同颜色的叶子进行了比较。图6(a)、图6(b)分别给出了紫叶李、重阳木的鉴定结果。从这两个种叶片的鉴定结果中我们可以看到图6(a)具有非常好的输出图像。这是由于紫叶李叶片颜色是区别于其他绿色叶片样品的紫红色。基于此，从中提取出来的特征与其他特征也有明显的区别，从而可以准确地识别和分类。相反，图6(b)的识别效果相对较弱，其中一些叶片被错误标签标记。这是由于重阳木叶子上有许多与其他种类的叶子相似的特征，从而增加了在复杂背景下识别的错误。因此，作为目标特征的叶子颜色会影响最终的识别精度。

Claims (4)

1.一种基于深度学习的植物叶片识别方法，主要包括以下步骤：

(1)采用Inception V2代替Faster RCNN的卷积神经网络层，利用其batchnormalization(BN)正则化的作用，可以确保网络的不同层继续以较少的内部协作来学习传入的信息。此外，它还可以解决训练中输入分布波动引起的训练困难问题。

(2)由Inception提取出的图像特征送入RPN生成区域建议框和特征映射。生成的特征映射和区域建议框被送到RoI池化层用于提取建议特征映射。

(3)通过全链接的softmax分类器和bounding box regression进行精确分类，生成最终的识别图像。

2.如权利要求1所述的一种基于深度学习的植物叶片识别方法，按上述步骤(1)：Inception V2由7个卷积层和1个池化层组成，其卷积核具有不同的大小意味着具有不同大小的接受区域。此外，Inception V2通过使用两个3*3卷积层代替一个5*5卷积层来优化算法。测试数据的内部表示在将BN应用到网络层之后进行归一化处理，然后将输出归一化到正态分布，从而减少内部协变量。网络中某一层的输入可以归一化为：

其中x和分别表示某一层的输入和归一化值。E[x]和Var[x]分别是输入的期望和方差。此外，ω代表内部协方差的偏移量。这可以通过使用BN来消除，归一化之后，在每一层中可以达到相同的输入分布。为了减少归一化后对每个网络层的影响，引入参与γ和β。方程式可以表示为：

其中l被定义为反向传播的梯度损失。M代表批量数据θ的大小。x_i和y_i分别代表批量输入x和BN处理之后的输出值。μ_θ和σ² _θ分别是批量数据的均值和方差。BN网络的最终输出可以表示如下：

一方面，应用BN的Inception减少了内部协变量的数量，以正规化每一层的输出。另一方面，它能够减少网络内参数的数量，从而加快了计算速度。

3.如权利要求1所述的一种基于深度学习的植物叶片识别方法，按所述步骤(2)：Faster RCNN中的RPN能是用于提取叶片区域建议框的。由于RPN能够将任意大小的图像作为输入，所以可以形成一系列矩形区域建议框。在这个过程中，一个3*3的窗口被用于滑动网络中，并且这个窗口状的网络在通过最后一层时生成的特征映射上滑动，然后生成固定大小的矢量。此外，在每个窗口位置生成3个尺度的9个区域建议，并在每个窗口位置生成纵横比，以确保实现更好的平移不变性。生成的矢量然后被加载到回归层和分类层以预测偏移和判断前景。Box regression的输出是区域建议的左上角和右下角的坐标，softmax的输出是区域建议的前景分数。RPN中的损失函数如下所示：

L(p,p^*,t,t^*)＝L_cls(p,p^*)+λL_reg(t,t^*)

其中L_cls表示softmax损失，L_reg表示边界框的回归损失。λ表示损失平衡参数。P和P*分别代表预测和真实标签。由此产生的特征映射和区域建议框被发送到RoI池化层。RoI被设定为是一个完全包含叶子主体的矩形区域，且它应该排除尽可能多的背景。为了实现图像特征位于特征映射的相同位置，需要RoI将特征映射映射到每个区域建议框中。之后，利用该层的最大池将特征映射的某一部分转换成更小。

4.如权利要求1所述的一种基于深度学习的植物叶片识别方法，按述步骤(3)：这部分由全连接的softmax和bounding box regression组成。所获得的特征映射可以在这个阶段被用来将每个建议分类到特定类别(树叶的种类)并且输出分类的概率向量。在此阶段，使用加权输入总和的softmax激活函数计算来自全连接层的类别标签的概率。激活函数可以表示如下：

其中x_c表示从全连接网络的最后一个输出层中的类别c导入的输入。y_c表示类别c的softmax激活函数的输出。类别总数由C表示。同时，通过bounding box regression回归生成每个建议框的位置偏移量用于回归更精确的对象检测。