CN101398898A - 基于流形学习的植物叶片识别方法 - Google Patents

Abstract

基于流形学习的植物叶片识别方法，属于生物特征识别技术领域。本方法包括：(1)植物叶片数据的采集与预处理；(2)植物叶片数据的特征提取；(3)分类器训练和植物叶片数据的测试。首先，用一种装置采集植物叶片数据，并进行去噪、平滑、分割、归一化、灰度化和向量化处理；然后利用半监督流形学习算法从中提取线性特征；最后采用最近邻分类器进行分类。对采集的数据进行了一些预处理，有效地抑制了噪声的影响。半监督流形学习算法能够有效地探测植物叶片数据分布的内部结构，并引入监督信息提高了数据的可分性能。半监督流形学习算法是一种线性特征提取方法，在很大程度上降低了算法的计算复杂度。

Description

基于流形学习的植物叶片识别方法

所属领域

本发明涉及生物特征识别技术领域，特别涉及基于流形学习的植物叶片识别方法。

背景技术

植物是地球上物种数量最多、分布最广泛的生命形式之一。植物是人类生存与发展的重要遗传资源，是人类的重要食物来源，也是人类生产和生活必需的资源。同时，植物在水土保持、抑制荒漠和改善气候等方面起着至关重要的作用。近年来随着人类生产活动的日益增加，生态环境不断遭到破坏。据调查统计，世界上大约有3.4万种植物物种已处于灭绝的边缘，占世界上已知的25万种植物的13％。反之，广泛的植物物种灭绝，已经对人类和生态系统产生严重的影响。据估计，世界上有一半以上的药物模仿天然植物合成，1/4的药物直接从植物中提取或以植物为原料制成。农业也会由于新的食物链和生态系统活力的消失而受到影响。越来越多的证据表明，随着生物多样性的消失，自然和人工的生态系统的功能也在发生变化。事实上，每失去一种物种，就失去了一种独特的基因库，这对人类是一种巨大的损失。同样，受环境污染、滥伐森林、超限采摘、盲目开垦等人类活动影响，中国一些野生近缘植物和珍稀物种已消失或急剧减少，阻碍了农业的可持续发展并破坏了生物的多样性。见文献：Alan K.Knapp，Philip A.Fay，John M.Blair，Scott L.Collins，Melinda D.Smith，Jona than D.Carlisle，Christopher W.Harper，Brett T.Danner，Michelle S.Lett，and James K.McCarron，“Rainfall variability，carbon cycling，and plant species diversity in a mesicgrassland，”Science，Vol.298，pp.2202-2205，13 December 2002.

目前的植物分类有很多种方法，如植物细胞分类学、植物化学分类学、植物血清分类学以及植物遗产学，但对于非专业人员，这些分类方法很难掌握或不实用。相对来讲，经典的植物分类方法，即形态分类方法比较容易掌握，而且适用于野外活体植物识别。然而由于学科发展和社会等原因，全世界范围内目前从事经典分类的人数急剧下降，且呈现出明显的老龄化趋势，后继乏人，植物分类学已经成为一个“濒危学科”。这不仅对于植物分类学本身，而且对于农业生产和国民经济的发展都会带来重大的不利影响。因此，有必要研究如何借助数字图像处理、模式识别、人工智能等信息技术进行计算机辅助的植物分类性状自动提取，实现植物物种的自动分类、机器识别，以及研究这些数字分类性状在植物物种生态分类中的意义。另一方面，我国是农业大国，农业是国民经济的命脉，是一个国家赖以生存的基础，研究信息技术在农业中的应用具有更重大的现实意义。近年来，图像处理技术、计算机视觉、模式识别技术等在农业领域得到了广泛研究和应用，主要包括自动除草和病虫害防治、对农作物生长态势的监测、对农产品的品质检测、农产品自动收获等。实际上，信息技术在农业领域的应用多数涉及到植物物种图像的特征提取、分类和识别。

利用数字图像技术和模式识别技术进行植物物种的分类识别的研究，国外起步较早。如Ray在1992年提出一种“特征形状”的方法对叶片进行分类；2000年，Oide等利用类似的方法结合神经网络分类大豆叶片。Timmermans等在1996年用人工神经网络根据彩色图像的三色分量统计对盆栽植物进行分类。通过对人工神经网络的分类结果和线性分类器以及二次分类器进行了比较，认为神经网络在简单的应用条件下，其结果至少与后两种等价，而在复杂情况下，人工神经网络的效果要好的多。Yonekawa在1996年对几个简单的形状因子进行了评价，这些简单形状因子为：紧密度、圆度、伸长度、叶状度和粗糙度，它们与叶片的方向无关。通过对1280个典型理想的叶片识别分析的结果表明，简单的形状因子对识别植物是有效的，这也为植物物种机器识别提供了必要的基础。1997年，Abbasi等利用多尺度曲率空间(CSS)方法来描述叶片形状，并用来对菊花进行分类。Mokhtarian等在2004年又发展了这种方法，用于自遮掩的叶片识别。通过对12类菊花共120张叶片图像的识别发现，比起原始的CSS方法，识别率可以提高4.3％，达到98.4％。2000年，Saitoh等利用花朵和叶片的图像来识别野生花，但这种方法需要花和叶两张图像。国内在这一方面的研究非常少。1994年，傅星、卢汉清等开展了应用计算机进行植物自动分类的初步研究。此后10年间，没有发现相关文献。从2003年以来，浙江大学、南京大学、中国科学技术大学、浙江林业学院等相继开始这方面的研究工作。

从目前的研究结果来看，应用在植物物种识别中比较广泛和成功的方法是结合植物叶片形状特征的神经网络方法，而此方法的成功在于神经网络的构造和植物图像特征矢量化，即如何从植物图像中提取特征。特征提取和选择对于机器学习方法来说是至关重要的，所抽取和选择的特征决定了分类器的性能和整个算法的结果。目前，绝大多数应用到植物物种识别中的机器学习方法的不同之处在于植物图像特征矢量化方法的不同，由此可见特征提取和选择在植物识别中的重要性。目前最常用的特征抽取技术就是主成分分析方法。在植物物种识别中，主成分分析也是一种常用的特征维数约简方法。主成分分析对具有线性结构的数据处理效果很好，它通过寻找数据的二阶统计性质来发现数据的线性结构，但对于高度非线性分布的数据并不能找到真正的分布结构。基于非线形分布数据本征维数分析的流形学习方法提供了一种新的解决途径。流形学习旨在发现高维流形分布数据的内在规律性，其本质是，要从采样数据学习出低维流形的内在几何结构.这就意味着流形学习方法比传统的维数约简方法更能体现事物的本质，更利于对数据的理解和进一步处理.因此，针对植物物种的多类别、高维分类性状数据，流形学习更有助于发现这些数据的内在分布规律和几何结构，这为植物分类学提供一种新型有效的分类性状分析工具。

发明内容

本发明的目的是提出一种基于流形半监督学习(SSML)的植物叶片识别方法，通过半监督流形学习方法，提取经过图像分割，图像灰度化等预处理后的植物叶片数据中的某些更适宜于分类的特征，最后采用一种有效的分类器预测这些特征的类别标签。

本发明的技术方案是：

依据流形半监督学习的植物叶片识别技术，其步骤包括：

植物叶片数据的采集

在所述植物叶片数字信息采集仪的长方形箱体结构中，CCD摄像机内嵌于植物叶片数字信息采集仪的顶部正上方，为了防止光照不均匀导致叶片信息采集不完整，四周镶嵌了四个规格相同三基色灯泡，所述植物叶片数字信息采集仪的四周由挡光的板子组成；

在所述植物叶片数字信息采集仪的中间位置，即所述CCD摄像机正下方是一个推拉透明玻璃板，所述透明玻璃被两个凹槽轨道水平移动固定在植物叶片数字信息采集仪的中间位置，在所述透明玻璃上固定一块比其略小的哑光玻璃，所述哑光玻璃一端通过合页轴被固定在透明玻璃上随所述合页轴90度翻动，所述合页轴与凹槽轨道垂直，所述哑光玻璃压在植物叶片表面使植物叶片平整，用于减少上面四个所述三基色灯泡的反光，所述透明玻璃用来承载植物叶片，在所述透明玻璃一端有凹槽，便于操作者用手推拉；所述植物叶片数字信息采集仪通过所述USB数据线与计算机连接。

当所述三基色灯泡工作时，电子变色控制电路板根据三基色原理控制三基色灯泡的发光亮度连续变化，实现灯泡灯光颜色的自动变化，不同的颜色即光谱波段的灯光照射在植物叶片上面，所述植物叶片数字信息采集仪将采集的多光谱叶片图像被自动读入计算机中。

植物叶片数据的预处理

由计算机实现对多光谱叶片图像的预处理。首先采用去噪、平滑的处理方法，消除多光谱叶片图像中的噪声；然后从多光谱叶片图像中提取目标图像，并按照RGB图像与灰度图像的转换方法，将彩色目标图像转换为灰度图像；最后将具有64*64像素的灰度目标图像拉直为4096维行向量，组成输入向量集合X以及相应的类别信息向量Gnd。

植物叶片数据的特征提取

A、建立类间散度矩阵

根据预处理后的植物叶片数据和相应的类别信息，通过：

$S_B=\underset{i=1}{\overset{c}{\mathrm{\Σ}}}{n}_i(m_i-m){(m_i-m)}^T---\left(1\right)$

建立类间散度矩阵，其中n_i是第i类样本点的个数，c是样本点的类别数，m_i和m分别是第i类样本点和总的样本点的质心，通过：

$m_i=\frac{1}{n_i}\underset{j=1}{\overset{n_i}{\mathrm{\Σ}}}{X}_j---\left(2\right)$

$m=\frac{1}{n}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{X}_j---\left(3\right)$

得到，其中n是总样本个数；

B、计算局部结构矩阵

根据输入的植物叶片数据，通过：

$S_L=\frac{1}{2}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{S}_{\mathrm{ij}}(X_i-X_j){(X_i-X_j)}^T$

$={\mathrm{XDX}}^T-{\mathrm{XHX}}^T---\left(4\right)$

$={\mathrm{XLX}}^T$

计算植物叶片数据的局部结构矩阵，通过：

计算近邻点之间的相似度，其中β是一个调节参数，通过：

$D_{\mathrm{ii}}=\underset{j}{\mathrm{\Σ}}{S}_{\mathrm{ij}}---\left(6\right)$

得到对角化矩阵D，通过：

L＝D-S                                (7)

获取植物叶片数据的Laplacian矩阵L；

C、线性特征提取

通过线性变化：

Y＝W^TX                            (8)

来提取植物叶片数据的线性特征，其中变换矩阵W通过目标优化函数：

$W=\max \frac{\mathrm{tr}\left\{W^T{S}_{B}W\right\}}{\mathrm{tr}\left\{W^T{S}_{L}W\right\}}---\left(9\right)$

求得，即W由以下广义特征方程的前几个最大特征值所对应的特征向量组成：

S_BW＝λS_LW                     (10)

(4)分类器训练和植物叶片数据的测试

A、训练和测试样本区分和处理

判断输入样本是训练样本还是测试样本？如果是训练样本则依次进行训练集的类空间划分和分类器设计；如果是测试样本，则进行分类；

B、决策方法

采用K近邻决策方法，对每一个测试样本的特征计算其在训练集特征中的K近邻点数，找出其K近邻点中同一类别点数最多的类别作为测试样本点的类别。

本发明的有益效果是：

1、提出了一种基于流形学习的植物叶片分类的方法。流形学习作为一种非线性维数约简方法，能够有效地发现植物叶片数据中的本征维数和数据间的内在分布规律(见图2)，从而为识别植物叶片过程中抽取最有效的特征提供充分的保证。

2、建立了一种半监督学习模式。传统的流形学习方法都是一种无监督的维数约简方法，往往是按照某种准则将样本从高维空间映射到低维空间，能够有效地保留原始数据间的结构，但是这种方法是不适合于数据分类的，所以在映射过程中引入一种半监督学习模式(类间散度矩阵是有监督的，而局部结构矩阵是无监督)来指导数据的分类。

附图说明

图1是一种植物叶片采集装置

图2是应用流形学习方法将1035个植物叶片数据映射到2维空间的可视化示意图。

图3是本发明方法的流程图。

具体实施方式

图1是植物叶片图像摄像机采集仪结构示意图。图1中，1：CCD摄像机；2：电源开关；3：透光玻璃；4：哑光玻璃；5：凹槽；6：凹槽轨道；7：合页轴；8：三基色灯泡；9：USB数据线.

植物叶片信息摄像机采集仪的结构包括：用来采集植物叶片图像信息的CCD摄像机1、控制采集仪的电源开关2、透光玻璃3、哑光玻璃4、透光玻璃滑动的凹槽轨道6、固定透光玻璃的合页轴7、固定哑光玻璃的合页轴7、用来提供变色光光源的可编程控制三基色灯泡8、用来输出采集数据的USB数据线9。其中植物叶片采集仪的四周由不透光的挡板组成。

植物叶片图像摄像机采集仪结构中，采集植物叶片图像信息的CCD摄像机1内嵌在采集仪的正上方，其四周置有四个提供变色光光源的可编程控制三基色灯泡8。摄像机的正下方是可以沿透光玻璃滑动的凹槽轨道6自由水平滑动的透光玻璃3，透光玻璃被轨道6水平固定在植物叶片摄像机采集仪的中间位置。哑光玻璃4通过固定哑光玻璃的合页轴7被固定在透光玻璃上。采集叶片信息时，手握住透光玻璃3上的凹槽5，将透光玻璃3由采集仪中水平拉出，绕固定哑光玻璃的合页轴7掀起哑光玻璃4，将叶片平铺在透光玻璃3上，将哑光玻璃4压在叶片上，沿采集仪中的透光玻璃3滑动的凹槽轨道6将透光玻璃3推入采集仪。将采集的植物叶片数据通过USB数据线9输入到计算机，对植物叶片数据的预处理，包括去噪、平滑、图像分割、灰度化和向量化处理，最后进行特征提取和数据分类。

图2是应用流形学习方法将1035个植物叶片数据映射到2维空间的可视化示意图。从这个示意图中可以发现这些植物叶片是服从流形分布的，从横轴方向来看，主要表现为植物叶片的叶柄从垂直方向到水平方向的变化，并且叶片的轮廓从圆形(基本上是一瓣)向掌形(即多瓣)的方向变化；从纵轴变化来说，主要是植物叶片从针型向圆形或者掌形变化，并且叶片叶柄的方向没有多大的变化。也就是说，植物叶片数据的本征特征就是其形状特征。

图3是本发明方法的流程图。

首先，打开系统的电源，把要采集的植物叶片放进植物叶片数字信息采集仪(步骤100)；

把要采集的植物叶片在植物叶片采集仪中放置好，调节CCD摄像头焦距直到获取清晰的植物叶片图像调节CCD摄像机焦距(步骤110)；

观察采集仪得到的植物叶片图像；三基色灯泡8依次产生白，红，绿，蓝四种颜色的灯光，同时CCD摄像机1在不同颜色的灯光下各自动采集一幅植物叶片图像；将植物叶片数字信息采集仪得到的图像在计算机上显示(步骤120)，信息采集完成后，顶部四个可编程控制三基色灯泡9亮，等待下一次信息采集；

由于采集过程中噪声的干扰，采集到的植物叶片图像不清晰，因此需要对图像进行去噪和平滑处理(步骤130)；对植物叶片数字信息采集仪采集的植物叶片图像进行分割，去掉背景信息，得到目标图像(步骤140)；

将目标图像中的像素由RGB彩色转换为灰度，然后该灰度图像进行向量化处理(步骤150)；根据半监督流形学习算法提取向量化处理后的植物叶片图像的特征向量(步骤160)；判断植物叶片图像是否训练集(步骤170)？如果是用来训练KNN分类器，就使用植物叶片图像的特征向量对KNN分类器进行训练(步骤180)；如果作为测试集，就预测该植物叶片图像的分类类别(步骤190)；完成一次植物叶片数据的识别结束(步骤200)。

为了测试我们提出的半监督流形学习算法，我们将其与传统的线性特征提出方法(如线性判别分析，LDA)和已经存在的基于流形学习的特征提取方法(如局部保存映射，LPP)比较。评价本发明方法的性能，主要使用数据分类的准确率，即正确预测的样本数目和总样本数目的比例。采用本发明的方法，对植物叶片数据集进行测试。该植物叶片数据包含有25类数据共1053个样本，在实验中我们提取一个数据子集，即从每一类中选取40个样本，随机从中选取20个作为训练集，其余的20个作为测试集。重复实验10次，以获得真实客观的评价。具体测试结果详见表一。

表一、对植物叶片数据的识别结果

 

方法	平均识别率(％)	对应的特征维数
			LDA	84.22±2.14	40
LPP	87.56±1.98	38
			SSML	90.38±2.26	32

Claims (4)

1、一种基于流形学习的植物叶片识别方法，包括植物叶片数据的预处理由计算机实现对多光谱叶片图像的预处理，首先采用去噪、平滑的处理方法，消除多光谱叶片图像中的噪声；然后从多光谱叶片图像中提取目标图像，并按照RGB图像与灰度图像的转换方法，将彩色目标图像转换为灰度图像；最后将具有64*64像素的灰度目标图像拉直为4096维行向量，组成输入向量集合X以及相应的类别信息向量Gnd；其特征在于：

植物叶片数据的特征提取

A、建立类间散度矩阵

根据预处理后的植物叶片数据和相应的类别信息，通过：

$S_B=\underset{i=1}{\overset{c}{\mathrm{\Σ}}}{n}_i(m_i-m){(m_i-m)}^T---\left(1\right)$

建立类间散度矩阵，其中n_i是第i类样本点的个数，c是样本点的类别数，m_i和m分别是第i类样本点和总的样本点的质心，通过：

$m_i=\frac{1}{n_i}\underset{j=1}{\overset{n_i}{\mathrm{\Σ}}}{X}_j---\left(2\right)$

$m=\frac{1}{n}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{X}_j---\left(3\right)$

得到，其中n是总样本个数；

B、计算局部结构矩阵

根据输入的植物叶片数据，通过：

$S_L=\frac{1}{2}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{S}_{\mathrm{ij}}(X_i-X_j){(X_i-X_j)}^T$

$={\mathrm{XDX}}^T-{\mathrm{XHX}}^T---\left(4\right)$

$={\mathrm{XLX}}^T$

计算植物叶片数据的局部结构矩阵，通过：

计算近邻点之间的相似度，其中β是一个调节参数，通过：

$D_{\mathrm{ii}}=\underset{j}{\mathrm{\Σ}}{S}_{\mathrm{ij}}---\left(6\right)$

得到对角化矩阵D，通过：

L＝D-S                       (7)

获取植物叶片数据的Laplacian矩阵L；

C、线性特征提取

通过线性变化：

Y＝W^TX                   (8)

来提取植物叶片数据的线性特征，其中变换矩阵W通过目标优化函数：

$W=\max \frac{\mathrm{tr}\left\{W^T{S}_{B}W\right\}}{\mathrm{tr}\left\{W^T{S}_{L}W\right\}}---\left(9\right)$

求得，即W由以下广义特征方程的前几个最大特征值所对应的特征向量组成：

S_BW＝λS_LW                    (10)

分类器训练和植物叶片数据的测试

A、训练和测试样本区分和处理

判断输入样本是训练样本还是测试样本？如果是训练样本则依次进行训练集的类空间划分和分类器设计；如果是测试样本，则进行分类；

B、决策方法

采用K近邻决策方法，对每一个测试样本的特征计算其在训练集特征中的K近邻点数，找出其K近邻点中同一类别点数最多的类别作为测试样本点的类别。

2、根据权利要求1所述的一种基于流形学习的植物叶片识别方法，其特征是：所述由计算机实现对多光谱叶片图像的预处理，通过图像去噪、平滑、图像分割、灰度化和向量化处理，转化为4096维向量。

3、根据权利要求1所述的一种基于流形学习的植物叶片识别方法，其特征是：所述计算局部结构矩阵，确定点与点之间的K近邻标准采用4-20之间的自然数，设置参数β为训练样本的标准差。

4、根据权利要求1所述的一种基于流形学习的植物叶片识别方法，其特征是：所述采用K近邻决策方法，将K设置为1。

Images