CN105631451A - 一种基于安卓系统的植物叶片识别方法 - Google Patents

Abstract

本发明涉及一种基于安卓系统的植物叶片识别方法，该方法包括以下步骤：1)ARM设备端在得到服务器端允许接入的情况下，与服务器端建立网络连接；2)ARM设备端获取待识别图片，抠取待识别图片中的叶片部分，并进行预处理；3)处理完成之后发送服务请求，服务器端接受和分析ARM设备端的服务请求，并启动服务器端的识别功能模块，响应ARM设备端的识别请求，进行叶片识别，完成识别后将植物叶片识别结果反馈给ARM设备端。4)ARM设备端获取服务器端发送的植物叶片识别结果，并显示出来。与现有技术相比，本发明具有适用范围广、识别精度高、速度快、操作简单、使用方便等优点。

Description

一种基于安卓系统的植物叶片识别方法

技术领域

本发明涉及android软件开发、图像处理与模式识别在植物经典分类中的应用，尤其是涉及一种基于安卓系统的植物叶片识别方法。

背景技术

植物是世界上物种数量最多且分布最广泛的生命形式，与人类以及环境的关系最为密切。由于人类生产活动造成了植物物种的灭绝，而植物在维持生物平衡、水土保持等方面又起着重要作用；同时，植物农业作为国民经济的命脉，是人们生活生产的基础部分，提高农业生产需要农业植物的精细数据，因此植物分类与识别具有非常重要的意义。植物的分类与识别一般选取植物的局部特征，如植物的叶、花、果、茎、纸条等特征。这些器官都有各自的分类价值，但是相比起植物其他的器官，植物叶片的存活时间较长，在一年的大部分时间内都可较为方便地采集到，所以常作为植物的识别特征和认识植物的主要参照器官；同时叶形是研究植物物种的形态变异和分化的一个非常好的指标，因此基于叶片的识别是识别一种植物最直接有效且最简单的方法。

传统的叶片分类识别需要操作者有丰富的分类学知识和长期的实践经验，且工作效率低、工作量大、数据存在一定的主观性，而这些都会影响到识别的客观性与精确性。由于植物叶片基本处于一个平面状态，适合进行二维图像加工处理。随着计算机的应用，探索如何利用计算机快速准确地识别植物叶片，是解决这些问题的一个切实可行的新途径。因此研究基于图像分析的植物叶片识别技术，对于植物分类识别、植物资源

的保护与利用、探索植物间的亲缘关系、阐明植物的进化规律、农业与园艺的实际应用等方面具有现实意义.

在国外，1986年，ingrouille等人采用27种叶形特征，使用主成分分析方法对橡树进行分类。Guyer等人在1993年提取了17种叶片形状特征对40类植物进行分类。1996年，Yonekawa等人研究发现，简单的叶片形状因子对于植物叶片识别是有效的。国外学者运用判别式分析方法、匹配方法和机器学习方法进行植物叶片分类识别，取得了良好效果。2001年，Osikar使用叶片的几项区域几何特征和矩特征，采用BP前馈神经网络为分类器，对15种瑞典树木进行分类。

但是上述的很多算法以及试验大都在PC机上完成的，且有些试验的运行速度不理想或者识别精度达不到令人满意的要求。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种适用范围广、识别精度高、速度快、操作简单、使用方便的基于安卓系统的植物叶片识别方法。

本发明的目的可以通过以下技术方案来实现：

一种基于安卓系统的植物叶片识别方法，该方法包括以下步骤：

1)ARM设备端在得到服务器端允许接入的情况下，与服务器端建立网络连接；

2)ARM设备端获取待识别图片，抠取待识别图片中的叶片部分，并进行预处理；

3)处理完成之后发送服务请求，服务器端接受和分析ARM设备端的服务请求，并启动服务器端的识别功能模块，响应ARM设备端的识别请求，进行叶片识别，完成识别后将植物叶片识别结果反馈给ARM设备端。

4)ARM设备端获取服务器端发送的植物叶片识别结果，并显示出来。

所述的步骤2)中的待识别图片包括本地图片和摄像机拍摄到的图片。

所述的步骤2)中的预处理具体包括以下步骤：

21)去噪：采用高斯滤波去除图像中的高斯噪声，并且采用中值滤波抑制图像中的椒盐噪声；

22)图像分割：采用基于能量函数的分割方法中的grabcut算法对去噪后的待分割图形进行分割，通过对待分割的图像进行区域划分并标号，分别获取每个标号区域的gibbs能量，获得所有标号区域的总能量最小对应的分割图像即为最优；

23)特征提取：对分割后的叶片图像采用全局特征中的形状特征和LBP纹理特征作为特征向量，形状特征包括8个几何特征和7个Hu矩特征。

所述的步骤3)中的叶片识别具体包括以下步骤：

31)从叶片数据库中选取每个物种多张叶片图像，并提取特征向量，采用SVM分类器进行训练；

32)向SVM分类器导入待识别叶片的特征向量，根据SVM分类器的结果对叶片进行分类；

33)服务器将对叶片分类后的物种ID回传给ARM设备端，ARM设备端根据叶片数据库匹配ID信息，检索出对应物种的相关信息，然后在ARM设备端界面显示给用户。

所述的步骤23)中，8个几何特征包括纵横轴比、矩形度、面积凹凸比、周长凹凸比、球状性、圆形度、偏心率和形状参数，7个Hu矩特征为利用二阶和三阶中心矩构造出的不变矩。

与现有技术相比，本发明具有以下优点：

一、适用范围广：从捕获图片来说，本发明可以对复杂背景的叶片进行识别。

二、识别精度高、速度快：从提取特征的算法上来说，本发明使用了Hu矩特征与LBP纹理特征的集成，Hu矩特征的优点是速度很快，缺点是识别率比较低，对于纹理比较丰富的图片，识别率只有10％左右，而LBP纹理特征专注于纹理特征的描述，弥补了Hu矩特征的不足，它在纹理分类中具有强区分能力，从而使本发明的识别方法达到很高的识别精度。

三、本发明操作简单，使用方便，能够识别的植物种类多，简化了植物识别的步骤。

附图说明

图1为本发明的方法流程图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

实施例：

客户端负责捕获植物叶片，并做一些预处理，其中包括去噪，分割，提取特征，然后根据提取到的特征在客户端进行识别，其中识别方法包括：LBP识别方法和几何特征的超球识别方法。

关于去噪：

噪声根据其服从的分布对其进行分类，可以分为服从高斯分布的高斯噪声、服从泊松分布的泊松噪声(泊松噪声可以认为是椒盐噪声)。

我们去噪一般指的就是图像平滑，我们提供了三种去除噪声的方法：线性滤波、中值滤波和高斯滤波。高斯滤波可以很有效的滤除高斯噪声，线性滤波和中值滤波相比，中值滤波能更有效地抑制椒盐噪声。

图像分割有很多方法，我们选择grabcut算法进行分割，其中常用的阈值分割方法(包括固定阈值分割法，迭代阈值分割法，自适应阈值分割法，直方图双峰分割法)和分水岭分割方法(存在比较严重的过分割现象)在复杂背景下效果都显得很糟糕，于是我们考虑到了基于能量函数的分割方法，我们采用opencv函数库中的grabcut算法，该图像分割算法其实就是对图像的不同区域进行标号，不同的标号对应不同的gibbs能量，使总能量最小的标号就是最优的分割，这种方法在复杂背景下分割效果相当不错，分割之后，我们得到了比较干净的叶片前景，接下来就可以进行特征提取了。

提取特征，得到比较好的特征向量是本发明非常看重的部分！在很多情况下，提取特征的好坏很大程度上决定了识别结果的精度高低。特征好坏的评判标准就是该特征是否非常具有区分性。

常用的图像特征有颜色特征、纹理特征(LocalBinaryPattern(LBP)))、形状特征(几何特征，包括图像的纵横轴比、矩形度、面积凹凸比、周长凹凸比、球状性、圆形度、偏心率以及形状参数共8种区域描述特征和7个Hu不变矩作为分类特征)、空间关系特征，这些都是能够用眼睛观察非常明显，可以很快辨别的一些特征。

上面说的这些特征都是全局特征，在物体识别中，目前非常流行以及切实可行的方法之一是基于局部特征的，由于特征的局部性，使得物体识别可以处理遮挡、复杂背景等比较复杂的情况。譬如：

Scaleinvariantfeaturetransform(SIFT):Lowe,2004，这是一个非常经典的提取特征的方法，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性。

speeduprobustfeature(SURF)是对SIFT的改进版本，提出使用积分图像完成图像卷积(相关)操作，在保证识别精度的前提下，大大提高了提取特征的速度。

近两年还提出了许多二值特征描述，例如ORB、BRISK(BinaryRobustInvariantScalableKeypoints)、FREAK(FastRetinaKeypoint)。

从植物叶片识别的角度来看，局部特征显得有些不太适合，在大量实验的测试中，局部特征要求图像具有比较比较大的分辨率，因为要做尺度金字塔，纹理上要有很大的差异性，因为提取的特征向量都是在一个区域内非常有差异性的关键点，从这些角度来分析，植物叶片的特征都不太满足局部特征的要求，首先，拍摄一片一般分辨率都不会要求很高，从肉眼的角度看，只要大概能分辨出来轮廓以及大概的纹理，就可以很容易分别叶片的类别；对于纹理，叶片纹理都是比较一致的，所以提取差异性较大的关键点在叶片上还是比较困难的，所以，提取局部特征上效果不是很好。再次，拍摄叶片一般都会从正面角度来拍摄，所以基本上都不会有遮盖，那么全局特征是可以使用的。

本发明使用了形状特征(共15维特征，8个几何特征和7个Hu矩特征)和LBP纹理特征作为我们的特征向量。

8个几何特征：

1)纵横轴比(AspectRatio)是叶片最小包围盒的长宽比值：

$AspectRatio=\frac{{\mathrm{length}}_{bounding-box}}{{\mathrm{width}}_{bounding-box}}$

2)矩形度(Rectangularity)是叶片面积与叶片最小包围盒面积的比值：

$\mathrm{Re}c\tan gularity=\frac{{\mathrm{Area}}_{object}}{{\mathrm{Area}}_{bounding-box}}$

3)面积凹凸比(AreaConvexity)是叶片面积与叶片凸包面积的比值：

$AreaConvexity=\frac{Area}{ConvexArea}$

4)周长凹凸比(PerimeterConvexity)是叶片周长与叶片凸包周长的比值：

$PerimeterConvexity=\frac{Perimeter}{Conv\mathrm{ex}Perimeter}$

5)球状性(Sphericity)是叶片面积与叶片凸包周长的计算值：

$Sphericity=\frac{4\mathrm{\π}\×Area}{Conv\mathrm{ex}{\mathrm{Perimeter}}^2}$

6)圆形度(Circularity)是叶片内切圆半径与外切圆半径的比值：

$Circularity=\frac{R_{inscribedcircle}}{R_{excircle}}$

7)偏心率(Eccentricity)是叶片自身长轴与短轴的比值：

$Eccentricity=\frac{{\mathrm{AxisLength}}_{long}}{{\mathrm{AxisLength}}_{short}}$

8)形状参数(FormFactor)是叶片面积和周长的计算值：

$FormFactor=\frac{4\mathrm{\π}\×Area}{{\mathrm{Perimeter}}^2}$

7个Hu矩特征：

对于数字图像，(p+q)阶不变矩定义为：

式中，p,q＝0,1,2,….

当图像发生变化时，m_pq也发生变化，而μ_pq则具有平移不变性但对旋转依然敏感。归一化中心矩：

$y_{pq}=\frac{{\mathrm{\μ}}_{pq}}{{\mathrm{\μ}}_{00}},r=\frac{p+q+2}{2},p+q=2,3,...$

直接用普通矩或中心矩进行特征表示，不能使特征同时具有平移、旋转和比例不变性。利用归一化中心矩，则特征不仅具有平移不变性，而且还具有比例不变性。

Hu矩定义：

Hu利用了二阶和三阶中心矩构造了七个不变矩，可保持平移、缩放和旋转不变，具体定义如下：

I₁＝y₂₀+y₀₂

$I_2={(y_{20}+y_{02})}^2+4y_{11}^2$

I₃＝(y₃₀+3y)²+(3y₂₁-y₀₃)²

I₄＝(y₃₀+y₁₂)²+(y₂₁-y₀₃)²

I₅＝(y₃₀-y₁₂)(y₃₀+y₁₂)[(y₃₀+y₁₂)²-3(y₂₁+y₀₃)²]+(3y₂₁-y₀₃)(y₂₁+y₃₀)[3(y₃₀+y₁₂)²-(y₂₁+y₀₃)²]

I₆＝(y₂₀-y₀₂)[(y₃₀+y₁₂)²-(y₂₁+y₀₃)²]+4y₁₁(y₃₀+y₁₂)(y₂₁+y₀₃)

I₇＝(3y₂₁-y₀₃)(y₃₀+y₁₂)[(y₃₀+y₁₂)²-3(y₂₁+y₀₃)²]+(y₃₀-3y₁₂)(y₂₁+y₃₀)[3(y₃₀+y₁₂)²-(y₂₁+y₀₃)²]

由Hu矩组成的特征量对图片进行识别，优点就是速度很快，缺点是识别率比较低，对于纹理比较丰富的图片，识别率只有10％左右。这一部分原因是由于Hu不变矩只用到低阶矩(最多也就用到三阶矩)，对于图像的细节未能很好的描述出来，导致对图像的描述不够完整。Hu不变矩一般用来识别图像中大的物体，对于物体的形状描述得比较好，图像的纹理特征不能太复杂。

LBP可以弥补Hu矩特征的不足，LBP专注于纹理特征的描述。它在纹理分类中具有强区分能力。用其中心像素的灰度值作为闽值，与它的邻域相比较得到的二进制码来表述局部纹理特征。在纹理分析方面，LBP算子是最好的纹理描述符之一，它的主要优点有以下几点：

(l)LBP算子的灰度尺度不随任何单一变换而变化，因此灰度尺度的鲁棒性好，也就是光照条件下的鲁棒性好；

计算速度快。由于它可以通过在小邻域内进行比较操作得到，使得在复杂的实时条件下分析图像成为可能；

(3)由于LBP算子是一种无参数(Non一Parametric)的方法，在应用过程中不需要对它的分布进行预先假设。

特征提取完成之后，接下来就是识别了，在训练中我们使用支持向量机(supportvectormachines)来进行训练，生成模型。接着，导入生成模型就可以对待识别图像提取的特征进行分类了。

如图1所示，植物叶片识别系统操作过程：

1.打开客户端的app之后，点击登录界面。

2.登录成功之后，通过ARM版的摄像头捕获想要抓取的植物叶片图像。

3.捕获图像成功之后，由于叶片处在复杂环境下，先抠取前景叶片，点击划线，选择需要抠取的区域。

4.抠取前景叶片成功之后，提取Hu矩和LBP特征，并上传到服务器端进行识别处理，SVM分类器作为常用的分类器，目前已经有不同语言下的各种开源代码包。我们采用的是开源的LibSVM，从官网下载LibSVM的JAR包并导入项目工程中。将前一步已经经过特征提取的训练样本，作为训练函数svm.svm_train(svm_problem,svm_parameter)的参数进行训练，得到训练好的svm_model，然后调用保存函数svm.svm_save_model(filename,svm_model)保存在文件中，最后调用svm.svm_predict_values(svm_model,svm_node,double)对测试样本进行预测，返回预测值。

5.识别处理完成之后，服务器端反馈信息到android客户端，并返回正确匹配的图片和相关信息。至此，识别过程结束。

Claims (5)

1.一种基于安卓系统的植物叶片识别方法，其特征在于，该方法包括以下步骤：

1)ARM设备端在得到服务器端允许接入的情况下，与服务器端建立网络连接；

2)ARM设备端获取待识别图片，抠取待识别图片中的叶片部分，并进行预处理；

3)处理完成之后发送服务请求，服务器端接受和分析ARM设备端的服务请求，并启动服务器端的识别功能模块，响应ARM设备端的识别请求，进行叶片识别，完成识别后将植物叶片识别结果反馈给ARM设备端。

4)ARM设备端获取服务器端发送的植物叶片识别结果，并显示出来。

2.根据权利要求1所述的一种基于安卓系统的植物叶片识别方法，其特征在于，所述的步骤2)中的待识别图片包括本地图片和摄像机拍摄到的图片。

3.根据权利要求1所述的一种基于安卓系统的植物叶片识别方法，其特征在于，所述的步骤2)中的预处理具体包括以下步骤：

21)去噪：采用高斯滤波去除图像中的高斯噪声，并且采用中值滤波抑制图像中的椒盐噪声；

22)图像分割：采用基于能量函数的分割方法中的grabcut算法对去噪后的待分割图形进行分割，通过对待分割的图像进行区域划分并标号，分别获取每个标号区域的gibbs能量，获得所有标号区域的总能量最小对应的分割图像即为最优；

23)特征提取：对分割后的叶片图像采用全局特征中的形状特征和LBP纹理特征作为特征向量，形状特征包括8个几何特征和7个Hu矩特征。

4.根据权利要求1所述的一种基于安卓系统的植物叶片识别方法，其特征在于，所述的步骤3)中的叶片识别具体包括以下步骤：

31)从叶片数据库中选取每个物种多张叶片图像，并提取特征向量，采用SVM分类器进行训练；

32)向SVM分类器导入待识别叶片的特征向量，根据SVM分类器的结果对叶片进行分类；

33)服务器将对叶片分类后的物种ID回传给ARM设备端，ARM设备端根据叶片数据库匹配ID信息，检索出对应物种的相关信息，然后在ARM设备端界面显示给用户。

5.根据权利要求3所述的一种基于安卓系统的植物叶片识别方法，其特征在于，所述的步骤23)中，8个几何特征包括纵横轴比、矩形度、面积凹凸比、周长凹凸比、球状性、圆形度、偏心率和形状参数，7个Hu矩特征为利用二阶和三阶中心矩构造出的不变矩。