CN101894263A - 基于水平集和局部敏感判别映射的植物物种计算机辅助分类系统及分类方法 - Google Patents

Abstract

本发明公开了一种基于水平集和局部敏感判别映射的植物物种计算机分类系统及分类方法，其特征是在采集仪的箱体内，CCD摄像机设置在采集仪的顶部正上方，在箱体的四周分别设置有采用红、绿、蓝三基色微型发光光源和电子变色控制电路板的三基色灯泡；在CCD摄像机的正下方是一个可水平推拉的透明玻璃板，透明玻璃板由两个位于箱体侧壁上的凹槽轨道固定在采集仪的中部，在透明玻璃板的中部固定设置一哑光玻璃板，以透明玻璃板承载植物叶片，并由哑光玻璃坡将植物叶片固压平整；在采集仪中，位于透明玻璃板的下方，设置日光灯灯泡，用于产生透射植物叶片的光。本发明可实现植物物种的自动快速分类。

Description

基于水平集和局部敏感判别映射的植物物种计算机辅助分类系统及分类方法

技术领域

本发明涉及图像处理与模式识别在植物识别与分类系统中的应用，特别涉及基于水平集和局部敏感判别分析的植物物种计算机辅助分类系统设计。

背景技术

植物是地球上物种数量最多、分布最广泛的生命形式之一，是人类生存与发展的重要遗传资源，是人类的重要食物来源，也是人类生产和生活所必需的资源。同时，植物在水土保持、抑制荒漠和改善气候等方面起着至关重要的作用。无论对于农业信息化还是对于生态保护，植物种类的计算机辅助识别研究都是非常必要的，也是基础而又重要的一个环节。据统计，地球上大约有30万种植物，其中植物学家命名和记录在案的约有25万种。而我国仅高等植物就有3.5万多种，是世界第二大植物物种资源库。随着人类的生产活动的日益增加，生态环境不断遭到破坏。Alan K.Knapp于2002年在Science上发表关于植物物种分布的论文，文中提到世界上大约有3.4万种植物物种已处于灭绝的边缘，占世界已知的25万种植物的13％。植物保护的一个重要方面就是对植物进行分类研究。随着计算机技术的飞速发展，对植物的分类研究，已经突破了单纯从植物细胞及化学遗传成分的角度去鉴定植物种类的方法，可以综合应用图像处理技术、模式识别技术，并辅以图像获取设备实现对植物的快速识别。

从目前的研究结果来看，植物的叶片图像为最主要的研究对象，这与植物形态分类学也是相符的。在传统的植物形态分类学中，主要通过观察和测量植物营养器官和生殖器官上稳定的外部可见特征来确定植物间的亲缘关系并进行分类。一般情况下，开花类植物都含有六种器官，分别是根、茎、叶、花、果和种，在植物分类学上它们的形态均可以作为分类的参考依据。但是，根或茎会随着植物的环境变迁在形态结构上产生较大的改变；果实和种子一般是在特定季节才会出现，且是三维形状的物体，因此处理起来较为复杂。相比较而言，植物的叶片作为营养器官，在形状结构上一般较为稳定，且基本上处于平面状态，适合于进行二维图像处理；同时，叶片的数字图像在一年的大部分时间内都可以很方便地采集到。近年来，对植物叶片进行图像处理和分析渐渐得到了人们的重视。Y.F.Li等[13]在2005年利用基于细胞神经网络的Snake模型来提取叶脉【Y.F.Li，Q.S.Zhu，Y.K.Cao，C.L.Wang.A Leaf VeinExtraction Method Based On Snakes Technique.Proceedings of IEEE International Conference onNeural Networks and Brain，2005，885-888.】。Neto等在2006年提出了一种对叶片形状分析的基于椭圆傅立叶变换的植物种类识别方法来识别大豆、向日葵、绒毛叶和美洲茶【NetoJC，Meyer GE，Jones DD，et al.“Plant species identification using Elliptic Fourier leaf shapeanalysis，”Computers and Electronics in Agriculture，2006，2(50)：121-134.】。在2008年，O.M.Bruno等利用盒维数法估算了70个叶片样本图像的分形维数，从而较好地分析了相应叶片类型的复杂度，为植物叶片的机器识别提供了分形学方面的理论依据【Bruno OM，PlotzeRO，Falvo M，et al.“Fractal dimension applied to plant identification，”Inform.Sci.，2008，178(12)2722-2733.】。

在我国，1994年，傅星等开展了应用计算机进行植物自动分类的初步研究【傅星，卢汉清，“应用计算机进行植物自动分类的初步研究，”生态学杂志，13(2)，1994.】。2002以后，王志勇等提出了一种中心-轮廓距离曲线方法来匹配叶片形状【Wang，Z.，Chi，Z.，Feng，D.，“Fuzzy Integral for Leaf Image Retrieval，”Proceeding of Fuzzy Systems，Vol.1，pp.372-377，2002；Wang，Z.，Chi，Z.，Feng，D.，“Shape based Leaf Image Retrieval，”IEEE Transaction onImage Signal Process，Vol.150，No.1，pp.34-43，2003】。2003年，祁亨年等提出了基于叶片特征的计算机辅助植物识别模型【祁亨年，寿韬，金水虎，“基于叶片特征的计算机辅助植物识别模型，”浙江林学院学报，20(3)：281-284，2003.】；2004年，祁亨年提出了计算机辅助植物分类与识别的系统方案，并对相关技术进行了分析【祁亨年，“植物外观特征自动获取及计算机辅助植物分类与识别，”浙江林学院学报，21(2)：222-227，2004.】。王晓峰等提出了一种基于叶片特征进行植物种类识别的新方法【王晓峰等，“叶片图像特征提取与识别技术的研究，”计算机工程与应用，2006，03：190-193.】。2008年贺鹏提出一种专门针对阔叶树的机器识别方法。该方法平均正确识别率达98.3％【贺鹏，“基于叶片综合特征的阔叶树机器识别研究，”西北农林大学硕士学位论文，2008.】。

随着近年来计算机技术的高速发展，图像处理与模式识别技术逐步开始应用于这项研究，随之出现了计算机辅助植物分类与识别系统。它有很多的应用研究，如机器人除草、除草剂喷洒精确控制、植物博物馆的数字化等应用。国外研究主要侧重于农业生产中杂草种类的识别。而侧重于植物分类学应用的计算机辅助植物分类与识别系统(CAPCIS)的研究国内外都是于本世纪初才开始的，并取得了一定的成果。CAPCIS的研究内容是提取植物的特征，“认识”植物，进而能在众多的植物中“识别”出已经“认识”的植物，或者找到相似的同类和近亲植物。研究的关键问题在于如何提取出植物稳定的能区别于其他植物的特征。该知识库有系统“认识”的植物的特征信息，尤其是区别于其他植物的标志特征，并包含有可能感兴趣的其他相关信息。植物分类知识库是在计算机辅助植物分类的基础上生成的，是进行植物识别的基础。哥伦比亚大学计算机系在美国国家自然科学基金(NO.IIS-03-25867，ITR：AnElectronic Field Guide：Plant Exploration and Discovery in the 21st Century)资助下，于2007年开发出面向植物学家的、基于虚拟现实技术的可穿戴式植物物种辅助鉴定设备原型，这是目前报道的第一套植物物种机器识别硬件设备。Maryland大学计算机系也于2004年开始植物物种机器鉴定的研究工作，该校与哥伦比亚大学计算机系合作，重点研究数字化植物图像的识别，在2007年提出一种基于叶片shape-context匹配的算法，具有比较高的识别率。目前还没有国内比较实用的CAPCIS的相关报道。

随着植物数值分类学的发展，对基于叶片图像的植物分类与识别逐渐得到了国内外很多科技工作者的普遍重视，虽然目前已有很多基于植物叶片图像的植物分类与识别方法和系统，但普遍存在着识别率不高、识别结果不稳定的问题。主要原因一是植物叶片图像千差万别，而且对于季节、位置和光照等条件都比较敏感，即使同一叶片在不同季节、位置和光照等条件下的不同图像之间一般差别都很大，因此，利用已有的植物分类方法很难提取到鲁棒的植物分类特征；二是在植物分类特征提取过程中缺乏整体性。具体来说就是，目前已有的很多方法都是针对所研究叶片图像集中的每幅叶片图像进行特征提取、选择、融合等处理，而没有从整体的角度，同时对全部叶片图像进行整体性维数约简和特征提取与选择；三是实验过程中使用的图像背景较为简单，对于自然环境或室内条件下具有复杂背景的植物叶片图像分割的研究较少；四是没有研究叶片图像数据集的本征结构；五是大部分研究都没有结合植物叶片自身所具有的先验信息。

发明内容

本发明是为避免上述现有的植物叶片分类方法和技术所存在的不足之处，提供一种基于水平集和局部敏感判别映射的植物物种计算机辅助分类系统及分类方法。利用该方法对植物叶片图像进行维数约简，提取植物叶片图像的鲁棒的分类特征，对各种混杂的植物物种分类并对植物叶片随季节、位置、光照等条件变化趋势进行可视化。以期提高植物叶片的分类与识别精度、提高分类速度和稳定性，实现了植物物种的自动快速分类。

本发明为解决技术问题采用如下技术方案：

本发明基于水平集和局部敏感判别映射的植物物种计算机分类系统，由用于采集植物叶片信息的采集仪和用于处理采集数据的处理器构成；其结构特点是在所述采集仪的箱体内，CCD摄像机设置在采集仪的顶部正上方，在箱体的四周分别设置有采用红、绿、蓝三基色微型发光光源和电子变色控制电路板的三基色灯泡，用于在图像采集时设置和调整清晰度、亮度、对比度、色度，并作色平衡调整；在所述CCD摄像机的正下方是一个可水平推拉的透明玻璃板，所述透明玻璃板由两个位于箱体侧壁上的凹槽轨道固定在采集仪的中部，在所述透明玻璃板的中部固定设置一哑光玻璃板，以所述透明玻璃板承载植物叶片，并由所述哑光玻璃坡将植物叶片固压平整；在所述采集仪中，位于透明玻璃板的下方，设置日光灯灯泡，用于产生透射植物叶片的光。

本发明基于水平集和局部敏感判别映射的植物物种计算机分类系统的结构特点也在于：

在所述哑光玻璃板的一侧设置合页轴，所述哑光玻璃板由合页轴固定在所述透明玻璃上、并随所述合页轴可呈90度翻动，所述合页轴与所述凹槽轨道垂直。

在所述采集仪与处理器之间以USB数据线相连接；所述处理器内置用于数据处理和存储的单片机和数据库，所述单片机包括SD接口、扩展SD卡存储器、CD屏、GPRS数据传输模块及各操作按钮。

所述各操作按钮分别是启动/退出按钮、增减摄像机焦距调节按钮、叶片采集按钮、系统参数设置按钮、图像降噪增强按钮、图像分割按钮、植物分类结果及其文字说明按钮、归档保存按钮、GPRS数据传输按钮、添加按钮、删除按钮和修改按钮。

本发明基于水平集和局部敏感判别映射的植物物种计算机分类方法的特点是：

提取植物叶片分类特征：采用去噪、平滑的处理方式，消除多光谱叶片图像中的噪声；利用水平集从多光谱叶片图像中提取目标图像，并按照RGB图像与灰度图像的转换方式，将彩色目标图像转换为灰度图像；将具有64*64像素的灰度目标图像拉直为4096维列向量，组成输入向量集合X以及相应的类别信息向量集合L；利用局部敏感判别分析算法对叶片图像进行维数约简，包括构造邻域图、制定局部判别准则、求解目标优化函数、计算映射矩阵和提取分类特征；

构造叶片图像数据库：对于某类植物叶片在系统中存有的植物叶片训练图像A，对A分别旋转不同的角度α₁、α₂、α₃、α₄、α₅、α₆、α₇、α₈，得到新的植物叶片训练图像集A₁、A₂、A₃、A₄、A₅、A₆、A₇、A₈；

利用训练样本训练分类器，然后测试利用该分类器测试待识别叶片图像的类别信息。

本发明基于水平集和局部敏感判别映射的植物物种计算机分类方法的特点也在于按如下过程进行：

(1)采集植物叶片图像

控制三基色灯泡的发光亮度连续变化，使灯泡灯光颜色自动变化；不同的颜色即光谱波段的灯光照射在植物叶片表面，使叶片的叶脉，叶肉不同组织结构有不同的反射效果，采集仪将采集的多光谱叶片图像读入到数据处理器中，数据处理器根据不同的设置对采集的叶片图像进行显示、处理并识别归档；

(2)植物叶片图像预处理

采用去噪、平滑和分割的方式，消除多光谱叶片图像中的噪声；然后从多光谱叶片图像中提取目标图像，并按照RGB图像与灰度图像的转换方法，将彩色目标图像转换为灰度图像；

(3)采用两级水平集分割方法对植物叶片图像进行分割

设定目标叶片的主轴，采用两点确定直线的方式，在叶片的首尾两端各取一点，分别为(x1，y1)和(x2，y2)，则主轴的直线方程可表示为：

Ax+By+C＝0                      (1)

其中A＝y1-y2，B＝x2-x1，C＝x1*y2-x2*y1；

首先，人工设定第一次演化的初始轮廓，并将水平集函数φ初始化为符号距离函数；设定Local Chan-Vese模型的各项参数：时间步长Δt，网格间隔h，正则化参数ε，平均卷积计算子窗口大小k，全局项的控制参数α，局部项的控制参数β，长度惩罚项参数μ；默认参数设置为：两次演化过程中的时间步长Δt＝0.1，网格间隔h＝1，正则化参数ε＝1，平均卷积算子的窗口大小k＝15，局部项的控制参数β＝1；在第一次演化过程中，μ＝0.01*255²且α＝1，而在第二次演化中，μ＝0.001*255²且α＝0.1；

第一次演化结束，从水平集函数φ(t)中提取零水平集，对于零水平集中包含有多个大小不一的轮廓(C₁，C₂，…，C_n)，仅提取最长的轮廓C^*：

$C^{*}=\underset{1\≤i\≤n}{\arg \max }\mathrm{length}\left(C_i\right)---\left(2\right)$

在轮廓C^*中寻找未被交叠的部分，即属于目标叶片的轮廓，按照在主轴两侧分布的位置，将轮廓C^*划分为在主轴一侧的C_A和在另一侧的C_B两部分；对于C^*上的任意一点(x，y)，判断其属于C_A或C_B的规则为：

$A*x+B*y+C\begin{array}{c}>0\\ <0\end{array}\left\{\begin{array}{c}(x,y)\&Element;C_A\\ (x,y)\&Element;C_B\end{array}\right.---\left(3\right)$

其中A，B和C是(1)中主轴直线方程的系数；

统计C_A和C_B上点的法线方向的连续性来判断轮廓是否被交叠，如果连续就属于目标叶片轮廓，由此得到属于目标叶片轮廓C_T，计算所述C_T关于主轴的对称曲线C′_T，对于任何一点(x，y)∈C_T，其对称点(x′，y′)可由下式计算得到：

$\left\{\begin{array}{c}{x}^{\&prime;}=x-2A(\mathrm{Ax}+\mathrm{By}+C)/(A^2+B^2)\\ y^{\&prime;}=y-2B(\mathrm{Ax}+\mathrm{By}+C)/(A^2+B^2)\end{array}---\left(4\right)\right.$

将C_T与C′_T进行首尾合并，可以得到一条完整的封闭曲线C_c；以封闭曲线C_c为中心线，形成一个内外边界距离为2w的窄带区域，同时，新的初始轮廓自动构建，即以C_T的中心点为基点向四周扩散形成大小为r×r的正方形，r＜2w；

(4)构造叶片图像数据库

对于某类植物叶片，若系统中存有一幅植物叶片训练图像A，则对A分别旋转1°、3°、6°、9°、-1°、-3°、-6°、-9°，得到新的植物叶片训练图像集A₁、A₂、A₃、A₄、A₅、A₆、A₇、A₈；若系统中存有多幅植物叶片训练图像，除了A之外还有B、C，则最后的植物叶片训练图像集为A、A₁、A₂、A₃、A₄、A₅、A₆、A₇、A₈、B、C；

(5)植物叶片数据的维数约简与特征提取

将具有灰度目标二维图像数据拉直为列向量，组成输入向量集合X以及相应的类别信息向量集合L；

构造邻域图

设叶片图像样本为X＝[X₁，X₂，...，X_n]∈R^D×n，N(X_i)为叶片图像X_i的k邻域，c_i为X_i的类别值；将N(X_i)划分为两个子集：类内邻域子集N_w(X_i)和类间邻域子集N_b(X_i)；建立类内G_w和类间图G_b，计算对应的权值矩阵H_w和H_b：

$H_{w,\mathrm{ij}}=\left\{\begin{array}{cc}\exp (-\frac{{\left|\right|X_i-X_j\left|\right|}^2}{\left|\right|X_i\left|\right|\&CenterDot;\left|\right|X_j\left|\right|}),& \mathrm{If}{X}_i\&Element;N_w\left(X_j\right)\mathrm{or}{X}_j\&Element;N_w\left(X_i\right)\\ 0,& \mathrm{otherwise}\end{array}---\left(5\right)\right.$

$H_{b,\mathrm{ij}}=\left\{\begin{array}{cc}1,& \mathrm{If}{X}_i\&Element;N_b\left(X_j\right)\mathrm{or}{X}_j\&Element;N_b\left(X_i\right)\\ 0,& \mathrm{otherwise}\end{array}---\left(6\right)\right.$

计算对角矩阵D_w和D_b，其中，它们的元素分别为D_w，ii＝∑_jH_w，ij，D_b，ii＝∑_jH_b，ij；计算L_w＝D_w-H_w和L_b＝D_b-H_b

求解满足约束条件A^TXX^TA＝I的优化函数：

$\arg \underset{A^T{\mathrm{XX}}^{T}A=I}{\min }\frac{\mathrm{tr}\left(A^T{\mathrm{XL}}_w{X}^{T}A\right)}{\mathrm{tr}\left(A^T{\mathrm{XL}}_b{X}^{T}A\right)}---\left(7\right)$

设{A₁，A₂，...，A_d}为式(7)对应d个特征值的特征向量，构造映射矩阵：

A＝[A₁，A₂，...，A_d]；

利用公式X_i→Y_i＝A^TX_i映射所有的叶片图像到低维特征空间；

(6)训练分类器和测试叶片图像类别

采用K最近邻决策的方法，对每个测试样本的特征计算其在训练集特征中的K最近邻点数，找出其K最近邻点中同一类别点数最多的类别作为测试样本点的类别。

本发明利用植物叶片采集仪采集在不同时期、不同树中位置、不同颜色光照下的植物叶片，存入数据处理器；然后利用水平集和流形学习算法对大量植物叶片本身含有的特征信息进行图像分割、维数约简和特征提取；最后利用分类器自动分类存储到植物叶片数据库中，从而可以较大地节省专业方面的人力和物力的投入，并可以借助GPRS数据传输模块实时传输功能，快速传输和使用采集到的植物叶片信息。

与已有技术相比，本发明有益效果体现在：

1、本发明根据植物叶图像类型多、样本大等特点，以及不同植物叶片颜色差异、同一植物叶片的叶脉叶肉等组织结构也呈现不同颜色特征的特点，通过采集植物叶片在红、绿、蓝及正常白色反射光下的多光谱图像，进而提取包括叶脉和叶肉在内的叶片不同组织结构的图像特征，在识别的同时形成大规模的植物叶片数据库。利用水平集对叶片图像进行分割，利用局部敏感判别流形学习算法提取植物叶片图像的一些低维特征进行植物分类与识别。

2、本发明建立基于植物叶片图像的计算机辅助植物分类与识别系统，将图像显示、采集、降噪、分割、识别、归档存储、GPRS数据传输模块、CCD摄像机参数调节等功能集成于一体。利用采集到的植物叶片的特征信息，对一些濒临灭绝或比较稀少的植物进行植物种类进行鉴别，这对于保护植物物种有着重要的意义。还可用于农林院校的辅助教学以及植物园的科普宣传等方面，对于我国正大力倡导的数字农业的发展有着积极的推动意义。

3、本发明系统的结构简单、携带方便、容易操作，信息处理实时、快捷，同时采用基于多光谱的反射光和透射光进行采集，相对于现有技术提高了识别率。

附图说明

图1是本发明系统的植物叶片采集结构示意图。

图2是本发明方法的植物叶片图像分类与识别流程图。

图3基于水平集的植物叶片的分割图像。

图4植物叶片图像的二维可视化效果。

图中标号：A为采集仪、B为处理器、1为CCD摄像机、2为三基色灯泡、3为电源开关、3′为亮度调节开关、4为哑光玻璃板、5为透明玻璃板、6为挡光板子、7为透射光光源日光灯灯泡、8为凹槽、9为凹槽轨道、10为合页轴、11为USB数据线、12为启动\退出按钮、13为CCD摄像机焦距调节按钮、14为叶片图像采集按钮、15为系统参数设置按钮、16为图像降噪按钮、17为图像分割按钮、18为植物分类结果及其文字说明按钮、19为归档保存按钮、20为GPRS数据传输按钮、21为添加按钮、22为删除按钮、23为修改按钮、24为LCD屏、25为SD接口、26为扩展SD卡存储器。

具体实施方式

本实施例中的分类方法按如下过程进行：

(1)采集植物叶片图像

控制三基色灯泡的发光亮度连续变化，使灯泡灯光颜色自动变化；不同的颜色即光谱波段的灯光照射在植物叶片表面，使叶片的叶脉，叶肉不同组织结构有不同的反射效果，采集仪将采集的多光谱叶片图像读入到数据处理器中，数据处理器根据不同的设置对采集的叶片图像进行显示、处理并识别归档；

(2)植物叶片图像预处理

在采集植物叶片图像的时候，一般是采集整个树叶的叶片图像，但是直接使用这种叶片图像进行植物识别与分类是不太合适的。因为原始叶片图像没有经过定位、去噪、平滑和去柄等处理，存在很大的旋转、位移误差，使得识别结果不稳定。在叶片图像分类识别前，采用去噪、平滑和分割的方式，消除多光谱叶片图像中的噪声；然后从多光谱叶片图像中提取目标图像，并按照RGB图像与灰度图像的转换方法，将彩色目标图像转换为灰度图像；通过图像预处理可去除原始图像上的瑕疵，获得优于原图的图像质量，且使所需的图像数据占用尽可能少的存储空间，有利于节省计算机硬件资源和系统的普及应用。

(3)采用两级水平集分割方法对植物叶片图像进行分割

设定目标叶片的主轴，采用两点确定直线的方式，在叶片的首尾两端各取一点，分别为(x1，y1)和(x2，y2)，则主轴的直线方程可表示为：

Ax+By+C＝0                            (1)

其中A＝y1-y2，B＝x2-x1，C＝x1*y2-x2*y1。

首先，人工设定第一次演化的初始轮廓，并将水平集函数φ初始化为符号距离函数。设定Local Chan-Vese模型的各项参数：时间步长Δt，网格间隔h，正则化参数ε，平均卷积计算子窗口大小k，全局项的控制参数α，局部项的控制参数β，长度惩罚项参数μ。默认参数设置为：两次演化过程中的时间步长Δt＝0.1，网格间隔h＝1，正则化参数ε＝1(计算H_ε(z)和δ_ε(z)时使用)，平均卷积算子的窗口大小k＝15，局部项的控制参数β＝1。在第一次演化过程中，μ＝0.01*255²且α＝1，而在第二次演化中，μ＝0.001*255²且α＝0.1。

第一次演化结束，从水平集函数φ(t)中提取零水平集，对于零水平集中包含有多个大小不一的轮廓(C₁，C₂，…，C_n)，其中既有交叠叶片的轮廓，也有干扰枝叶的小轮廓。为了消除小轮廓的干扰，在提取零水平集的时候，仅提取最长的轮廓C^*：

$C^{*}=\underset{1\&le;i\&le;n}{\arg \max }\mathrm{length}\left(C_i\right)---\left(2\right)$

由于交叠叶片中既包含目标叶片又包含背景叶片，因此需要在轮廓C^*中寻找未被交叠的部分，即属于目标叶片的轮廓，用于进一步提取近似对称性信息。首先，按照在主轴两侧分布的位置，将轮廓C^*划分为在主轴一侧的C_A和在另一侧的C_B两部分。对于C^*上的任意一点(x，y)，判断其属于C_A或C_B的规则为：

$A*x+B*y+C\begin{array}{c}>0\\ <0\end{array}\left\{\begin{array}{c}(x,y)\&Element;C_A\\ (x,y)\&Element;C_B\end{array}\right.---\left(3\right)$

其中A，B和C是(1)中主轴直线方程的系数。

此时需要进一步判断，C_A和C_B中哪一个是属于目标叶片且未被交叠的轮廓C_T。根据叶片的结构和生长特性可知，绝大部分叶片的轮廓是较为平滑的，且呈现出向主轴弯曲的形态，因此轮廓上点的法线方向从总体而言是指向主轴的。而存在交叠的一侧轮廓实际上是由两部分所组成，即目标叶片的轮廓和背景叶片的轮廓，其分属于不同的叶片，因此在叶片交界处必然会存在一个法线方向的突变。根据这一原则，统计C_A和C_B上点的法线方向的连续性来判断轮廓是否被交叠，如果连续就属于目标叶片轮廓，由此得到属于目标叶片轮廓C_T，计算所述C_T关于主轴的对称曲线C′_T。对于任何一点(x，y)∈C_T，其对称点(x′，y′)可由下式计算得到：

$\left\{\begin{array}{c}{x}^{\&prime;}=x-2A(\mathrm{Ax}+\mathrm{By}+C)/(A^2+B^2)\\ y^{\&prime;}=y-2B(\mathrm{Ax}+\mathrm{By}+C)/(A^2+B^2)\end{array}---\left(4\right)\right.$

将C_T与C′_T进行首尾合并，可以得到一条完整的封闭曲线C_c；以曲线C_c为中心线，形成一个内外边界距离为2w的窄带区域，同时，新的初始轮廓也可以自动构建，即以C_T的中心点为基点向四周扩散形成大小为r×r的正方形，r＜2w；

叶片图像分割算法的具体操作步骤分为以下六步：

第1步：人工设定主轴和初始轮廓，设定第一次演化时LCV模型的各项参数；

第2步：进行水平集第一次演化，演化结束后提取最长的零水平集；

第3步：根据主轴计算两侧轮廓C_A和C_B，利用轮廓上抽样点的法线方向的连续性寻找属于目标叶片且未被交叠的轮廓C_T；

第4步：计算C_T关于主轴的对称曲线C′_T，将C_T与C′_T进行合并形成封闭曲线C_c，以C_c为中心线扩展构建窄带区域，计算二次演化的初始轮廓；

第5步：更新LCV模型的演化参数μ和α；

第6步：进行水平集第二次演化，演化结束后提取零水平集作为最终的分割结果。

(4)构造叶片图像数据库

在植物叶片识别系统中，首先把采集到的一幅或者几幅植物叶片图像作为植物叶片训练图像存放在系统中。然而，由于不完善的预处理操作，待识别的植物叶片图像往往和植物叶片训练图像存在一定的旋转误差，易造成错误识别，而且植物叶片图像对时间、位置和光照等变换比较敏感。本发明使用构造新的植物叶片训练图像来解决这一问题。通过观察，待识别植物叶片图像和植物叶片训练图像间的最大旋转误差约为10°。若系统中存有一幅植物叶片训练图像A，则对A分别旋转1°、3°、6°、9°、-1°、-3°、-6°、-9°，得到新的植物叶片训练图像集A₁、A₂、A₃、A₄、A₅、A₆、A₇、A₈；若系统中存有多幅植物叶片训练图像，除了A之外还有B、C等，则最后的植物叶片训练图像集为A、A₁、A₂、A₃、A₄、A₅、A₆、A₇、A₈、B、C；通过植物叶片训练图像集的构造，能有效补偿旋转误差。其中，旋转角度以及生成的新的植物叶片训练图像的数量，可以根据实际情况调整。

(5)植物叶片图像的维数约简与特征提取

首先将叶片的灰度目标图像拉直为列向量，组成输入向量集合X＝[X₁，X₂，...，X_n]∈R^D×n以及相应的类别信息向量L；

然后构造邻域图

设叶片图像样本为X＝[X₁，X₂，...，X_n]∈R^D×n，N(X_i)为叶片图像X_i的k邻域，c_i为X_i的类别值；将N(X_i)划分为两个子集：类内邻域子集N_w(X_i)和类间邻域子集N_b(X_i)。然后建立类内G_w和类间图G_b。计算对应的权值矩阵H_w和H_b：

$H_{w,\mathrm{ij}}=\left\{\begin{array}{cc}\exp (-\frac{{\left|\right|X_i-X_j\left|\right|}^2}{\left|\right|X_i\left|\right|\&CenterDot;\left|\right|X_j\left|\right|}),& \mathrm{If}{X}_i\&Element;N_w\left(X_j\right)\mathrm{or}{X}_j\&Element;N_w\left(X_i\right)\\ 0,& \mathrm{otherwise}\end{array}---\left(5\right)\right.$

$H_{b,\mathrm{ij}}=\left\{\begin{array}{cc}1,& \mathrm{If}{X}_i\&Element;N_b\left(X_j\right)\mathrm{or}{X}_j\&Element;N_b\left(X_i\right)\\ 0,& \mathrm{otherwise}\end{array}---\left(6\right)\right.$

计算对角矩阵D_w和D_b，其中，它们的元素分别为D_w，ii＝∑_jH_w，ij，D_b，ii＝∑_jH_b，ij；计算L_w＝D_w-H_w和L_b＝D_b-H_b

求解满足约束条件A^TXX^TA＝I的优化函数：

$\arg \underset{A^T{\mathrm{XX}}^{T}A=I}{\min }\frac{\mathrm{tr}\left(A^T{\mathrm{XL}}_w{X}^{T}A\right)}{\mathrm{tr}\left(A^T{\mathrm{XL}}_b{X}^{T}A\right)}---\left(7\right)$

设{A₁，A₂，...，A_d}为式(7)对应d个特征值的特征向量，构造映射矩阵：

A＝[A₁，A₂，...，A_d]。

利用公式X_i→Y_i＝A^TX_i映射所有的叶片图像到低维特征空间。

(6)分类器训练和叶片数据分类的测试

采用K最近邻决策方法，对每个测试样本的特征计算其在训练集特征中的K最近邻点数，找出其K最近邻点中同一类别点数最多的类别作为测试样本点的类别。

图1是本发明系统的结构示意图，包括植物叶片采集仪A和植物叶片图像数据处理器B。

采集仪A的结构包括：用来采集植物叶片图像信息的CCD摄像机1、用来提供变色光光源的可编程控制三基色灯泡2、电源开关3、哑光玻璃板4、透明玻璃板5、透明玻璃滑动的凹槽轨道9、固定哑光玻璃的合页轴10、下方提供可调控的透射光光源日光灯灯泡7，其亮度调节开关3’。其中植物叶片数叶片图像采集仪的外壳由挡光板子6组成。其中，CCD摄像机1内嵌在采集仪的正上方，其四周置有四个提供变色光光源的可编程控制三基色灯泡2。CCD摄像机的正下方是沿滑动的凹槽轨道9自由水平滑动的透明玻璃5，透明玻璃5被凹槽轨道9水平固定在植物叶片采集仪A的中间位置。哑光玻璃4通过固定哑光玻璃的合页轴10被固定在透明玻璃5上。采集叶片信息时，操作者手握住透明玻璃5上的凹槽8，将透明玻璃5沿两端的滑动凹槽轨道9将透明玻璃5水平拉出，绕固定哑光玻璃的合页轴10掀起哑光玻璃4，将植物叶片平铺在透明玻璃5上，将哑光玻璃4压在叶片上，沿滑动的凹槽轨道9将透明玻璃5推入植物叶片采集仪A中，通过数据处理器B程序控制叶片图像采集与处理过程。图像采集时需要设置和调整清晰度、亮度、对比度、色度、色平衡调整等。

数据处理器B面板上有12个用户按钮：启动\退出按12钮；CCD摄像机焦距调节按钮13；叶片图像采集按钮14；系统参数设置按钮15；图像降噪按钮16；图像分割按钮17；植物分类结果及其文字说明按钮18，双击此按钮，则会弹出所选植物的说明窗口，它包括植物的图片、文字说明使用者随时可以输人图片、编辑相应的文字说明；归档保存按钮19；GPRS数据传输按钮20；通过主窗体中的添加按钮21、删除按钮22和修改按钮23可以对当前选项进行相关的操作。

植物叶片采集仪A通过USB数据线11与处理器B连接，数据处理器扩展SD卡存储器26通过数据处理器B上的SD接口25与数据处理器B连接。系统得到的植物叶片图像信息自动读入数据处理器B，经过处理器B数据处理后，将植物叶片分类存储到扩展SD卡存储器26中。

在基于水平集和局部敏感判别分析的植物计算机辅助分类系统中，用于信息处理的单片机是基于ARM9内核的单片机，用于信息处理的单片机包括LCD屏24，GPRS数据传输模块，12个用途按钮。在数据库管理系统中，需要创建很多表，把植物的各个分类等级做成多张表格，然后通过表格之间的相互嵌套调用，形成植物的分类归属在本管理系统中，通过窗口可以连接植物分类表，获取植物分类信息，显示植物的分类归属，以及添加、修改、删除植物分类信息等功能用户界面窗口就是进入系统的主窗口，它可以建立主窗体与子窗体之间的通讯，不仅可以直接了解植物的分类归属，还可以详细了解某种植物的形态特征运行应用程序就是将应用程序和用户窗体连接起来首先要进行程序设计，就是为每个控件对象编写脚本。

基于多光谱的植物叶片数字叶片图像采集与自动识别系统在工作过程中，植物叶片图像采集设备采集完毕并存储到扩展SD卡存储器后，触发GPRS数据传输按钮20，GPRS数据传输模块将采集到植物叶片信息通过GPRS网络和互联网传送到远程服务器。数据库用户可以通过互联网来访问远程服务器上的数据库，经远程服务器上的数据库使用采集到的植物叶片。

图2是植物叶片图像分类与识别流程图。主要包括叶片图像采集、预处理、建数据库、注册过程和识别过程。叶片图像的采集是选择采集设备，用计算机来控制用于获取叶片图像的各种类型的传感器，将采集的叶片图像直接输入到计算机中。叶片图像预处理包括叶片图像的定位、去噪、平滑、归一化和增强等。注册过程：用户使用采集设备采集叶片图像和已知的植物信息等存入系统中。采用水平集对叶片图像进行分割。构造叶片训练图像集，对其中的一副叶片训练图像进行若干小角度旋转，形成若干幅旋转后的叶片图像，即形成新的叶片图像集。利用局部敏感判别流形学习算法对所有叶片训练图像进行处理，提取映射矩阵模版和低维特征模版，存入模版数据库中。其中，每个叶片训练图像的低维特征模版都和先前存入的植物信息对应。识别过程：用户使用采集设备进行叶片图像采集。对植物叶片测试图像预处理，分割叶片测试图像。利用映射矩阵模版对叶片图像进行维数约简，提取识别特征，形成待识别的叶片图像特征模版。对于植物物种分类、识别，待识别植物还需要向系统中输入植物编号等信息。利用K最近邻分类器进行植物叶片分类，进而进行植物辨识。

图3为展示了使用基于叶片近似对称性先验信息的水平集分割方案对一幅叶片图像进行分割的全过程。(a)原始图像；(b)主轴和初始轮廓；(c)第一次水平集演化之后的零水平集；(d)最长的轮廓(零水平集)C^*；(e)主轴、轮廓C_A和C_B；(f)通过对称性计算得到的中心线C_c；(g)窄带区域和二次演化初始轮廓；(h)第二次水平集演化的分割结果。图像大小＝183×160。

图4为应用局部线性嵌入(LLE)和局部切空间排列(LTSA)流形学习算法将50种1000幅植物叶片图像映射到二维空间的可视化示意图。由图4可以看出利用流形学习得到了叶片图像最佳可视化效果。

在本发明的具体实施过程中，首先建立应用程序，设计植物类别数据库，创建数据窗口，设计用户界面窗口，运行应用程序。然后由植物叶片采集仪A读取真实植物叶片图像，传递到数据处理器B。再在数据处理器B中分别调用图像处理和识别程序，利用一系列图像处理与模式识别方法，确定叶片所属的种类并自动保存到扩展SD卡存储器23对应的数据库中，并且可根据需要选择是否传输到互联网上的远程服务器。

测试：选用采集的每种植物的第1到第10幅图像作为叶片训练图像集，然后对此每幅图像进行若干小角度旋转，形成若干幅旋转后的叶片图像，作为训练集。剩下的10幅叶片图像作为测试集。

验证：将本发明方法与传统的线性特征提取方法(如线性判别分析，LDA)和已经存在的基于流形学习的维数约简方法(如局部保存映射，LPP)及张量最大边缘准则算法(TMMC)得到的识别结果进行比较。采用本发明的系统对植物叶片图像数据集进行测试。测试图像选取中国科学院合肥智能机械研究所智能实验室建立的植物叶片数据库。图像分多次对不同时期、不同位置和不同光照的不同种植物进行采集，两次采集间隔平均为1个月，每次对一种植物采集10幅叶片图像。数据库中每种植物有20多幅叶片图像。图像大小为128×128像素。在实验中我们提取一个叶片图像子集，即从每种叶片中选取10个样本，每幅叶片图像再各生成8各样本，作为训练集，其余的10个作为测试集。重复实验20次，以获得真实客观的评价。具体测试结果详见表1。

表1  对掌纹图像的识别结果

方法	平均识别率(％)
		LDA	85.67±2.14
LPP	92.26±1.85
		TMMC	96.92±1.72
本发明	98.23±1.63

用户操作界面。打开电源开关3使四个三基色灯泡2发光，并微调调节按钮3′使得灯泡7的亮度适中；触发信息处理器B上的启动/退出按钮12，启动基于多光谱的植物叶片数字信息采集与自动识别系统，CCD摄像机采集到的图像在LCD屏24上显示；触发减小或增大CCD摄像机的增减摄像机焦距调节按钮13，使得CCD摄像机1获取清晰的植物叶片信息图像；触发叶片图像采集按钮14，将符合标准的图像信息传输至信息处理器B中，触发系统参数设置按钮15，根据具体情况设置系统参数；触发图像降噪、增强按钮16，对采集到的图像进行降噪和增强处理；触发图像分割按钮17，对通过降噪处理后的叶片图像进行图像分割处理；触发植物分类结果及其文字说明按钮18，显示预处理和分割后的图像及其文字说明。双击此按钮，则会弹出所选植物的说明窗口，它包括植物的图片、文字说明使用者随时可以输人图片、编辑相应的文字说明。对识别归档保存按钮，对植物叶片进行自动识别并归档到对应的数据库中，在识别的同时形成大规模的植物叶片数据库；触发归档保存按钮19，归档保存；GPRS数据传输按钮20；LCD屏24；SD接口25；扩展SD卡存储器26。通过主窗体中的“添加”、“删除”和“修改”按钮可以对当前选项进行相关的操作。把采集并存储的数字植物叶片信息发送到互联网上的远程服务器，方便用户通过互联网访问远程服务器上的数据库；或通过触发启动/退出按钮12，退出基于水平集和局部敏感判别分析植物计算机辅助分类与识别系统程序。

Claims (6)

1.基于水平集和局部敏感判别映射的植物物种计算机分类系统，由用于采集植物叶片信息的采集仪和用于处理采集数据的处理器构成；其特征是：在所述采集仪的箱体内，CCD摄像机(1)设置在采集仪的顶部正上方，在箱体的四周分别设置有采用红、绿、蓝三基色微型发光光源和电子变色控制电路板的三基色灯泡(2)，用于在图像采集时设置和调整清晰度、亮度、对比度、色度，并作色平衡调整；在所述CCD摄像机(1)的正下方是一个可水平推拉的透明玻璃板(5)，所述透明玻璃板(5)由两个位于箱体侧壁上的凹槽轨道(9)固定在采集仪的中部，在所述透明玻璃板(5)的中部固定设置一哑光玻璃板(4)，以所述透明玻璃板(5)承载植物叶片，并由所述哑光玻璃坡(4)将植物叶片固压平整；在所述采集仪中，位于透明玻璃板(5)的下方，设置日光灯灯泡(7)，用于产生透射植物叶片的光。

2.根据权利要求1所述的基于水平集和局部敏感判别映射的植物物种计算机分类系统，其特征是，在所述哑光玻璃板(4)的一侧设置合页轴(10)，所述哑光玻璃板(4)由合页轴(10)固定在所述透明玻璃(5)上、并随所述合页轴(10)可呈90度翻动，所述合页轴(10)与所述凹槽轨道(9)垂直。

3.根据权利要求1所述的基于水平集和局部敏感判别映射的植物物种计算机分类系统，其特征是在所述采集仪与处理器之间以USB数据线(11)相连接；所述处理器内置用于数据处理和存储的单片机和数据库，所述单片机包括SD接口(25)、扩展SD卡存储器(26)、CD屏(24)、GPRS数据传输模块及各操作按钮。

4.根据权利要求1所述的基于水平集和局部敏感判别映射的植物物种计算机分类系统，其特征是所述各操作按钮分别是启动/退出按钮(12)、增减摄像机焦距调节按钮(13)、叶片采集按钮(14)、系统参数设置按钮(15)、图像降噪增强按钮(16)、图像分割按钮(17)、植物分类结果及其文字说明按钮(18)、归档保存按钮(19)、GPRS数据传输按钮(20)、添加按钮(21)、删除按钮(22)和修改按钮(23)。

5.一种基于水平集和局部敏感判别映射的植物物种计算机分类方法，其特征是：

提取植物叶片分类特征：采用去噪、平滑的处理方式，消除多光谱叶片图像中的噪声；利用水平集从多光谱叶片图像中提取目标图像，并按照RGB图像与灰度图像的转换方式，将彩色目标图像转换为灰度图像；将具有64*64像素的灰度目标图像拉直为4096维列向量，组成输入向量集合X以及相应的类别信息向量集合L；利用局部敏感判别分析算法对叶片图像进行维数约简，包括构造邻域图、制定局部判别准则、求解目标优化函数、计算映射矩阵和提取分类特征；

构造叶片图像数据库：对于某类植物叶片在系统中存有的植物叶片训练图像A，对A分别旋转不同的角度α₁、α₂、α₃、α₄、α₅、α₆、α₇、α₈，得到新的植物叶片训练图像集A₁、A₂、A₃、A₄、A₅、A₆、A₇、A₈；

利用训练样本训练分类器，然后测试利用该分类器测试待识别叶片图像的类别信息。

6.根据权利要求5所述的基于水平集和局部敏感判别映射的植物物种计算机分类方法，其特征是按如下过程进行：

(1)采集植物叶片图像

控制三基色灯泡的发光亮度连续变化，使灯泡灯光颜色自动变化；不同的颜色即光谱波段的灯光照射在植物叶片表面，使叶片的叶脉，叶肉不同组织结构有不同的反射效果，采集仪将采集的多光谱叶片图像读入到数据处理器中，数据处理器根据不同的设置对采集的叶片图像进行显示、处理并识别归档；

(2)植物叶片图像预处理

采用去噪、平滑和分割的方式，消除多光谱叶片图像中的噪声；然后从多光谱叶片图像中提取目标图像，并按照RGB图像与灰度图像的转换方法，将彩色目标图像转换为灰度图像；

(3)采用两级水平集分割方法对植物叶片图像进行分割

设定目标叶片的主轴，采用两点确定直线的方式，在叶片的首尾两端各取一点，分别为(x1，y1)和(x2，y2)，则主轴的直线方程可表示为：    

Ax+By+C＝0                (1)

其中A＝y1-y2，B＝x2-x1，C＝x1*y2-x2*y1；

首先，人工设定第一次演化的初始轮廓，并将水平集函数φ初始化为符号距离函数；设定Local Chan-Vese模型的各项参数：时间步长Δt，网格间隔h，正则化参数ε，平均卷积计算子窗口大小k，全局项的控制参数α，局部项的控制参数β，长度惩罚项参数μ；默认参数设置为：两次演化过程中的时间步长Δt＝0.1，网格间隔h＝1，正则化参数ε＝1，平均卷积算子的窗口大小k＝15，局部项的控制参数β＝1；在第一次演化过程中，μ＝0.01*255²且α＝1，而在第二次演化中，μ＝0.001*255²且α＝0.1；

第一次演化结束，从水平集函数φ(t)中提取零水平集，对于零水平集中包含有多个大小不一的轮廓(C₁，C₂，…，C_n)，仅提取最长的轮廓C^*：

$C^{*}=\underset{1\&le;i\&le;n}{\arg \max }\mathrm{length}\left(C_i\right)---\left(2\right)$

在轮廓C^*中寻找未被交叠的部分，即属于目标叶片的轮廓，按照在主轴两侧分布的位置，将轮廓C^*划分为在主轴一侧的C_A和在另一侧的C_B两部分；对于C^*上的任意一点(x，y)，判断其属于C_A或C_B的规则为：

$A*x+B*y+C\begin{array}{c}>0\\ <0\end{array}\left\{\begin{array}{c}(x,y)\&Element;C_A\\ (x,y)\&Element;C_B\end{array}---\left(3\right)\right.$

其中A，B和C是(1)中主轴直线方程的系数；

统计C_A和C_B上点的法线方向的连续性来判断轮廓是否被交叠，如果连续就属于目标叶片轮廓，由此得到属于目标叶片轮廓C_T，计算所述C_T关于主轴的对称曲线C′_T，对于任何一点(x，y)∈C_T，其对称点(x′，y′)可由下式计算得到：

$\left\{\begin{array}{c}{x}^{\&prime;}=x-2A(\mathrm{Ax}+\mathrm{By}+C)/(A^2+B^2)\\ y^{\&prime;}=y-2B(\mathrm{Ax}+\mathrm{By}+C)/(A^2+B^2)\end{array}---\left(4\right)\right.$

将C_T与C′_T进行首尾合并，可以得到一条完整的封闭曲线C_c；以封闭曲线C_c为中心线，形成一个内外边界距离为2w的窄带区域，同时，新的初始轮廓自动构建，即以C_T的中心点为基点向四周扩散形成大小为r×r的正方形，r＜2w；

(4)构造叶片图像数据库

对于某类植物叶片，若系统中存有一幅植物叶片训练图像A，则对A分别旋转1°、3°、6°、9°、-1°、-3°、-6°、-9°，得到新的植物叶片训练图像集A₁、A₂、A₃、A₄、A₅、A₆、A₇、A₈；若系统中存有多幅植物叶片训练图像，除了A之外还有B、C，则最后的植物叶片训练图像集为A、A₁、A₂、A₃、A₄、A₅、A₆、A₇、A₈、B、C；

(5)植物叶片数据的维数约简与特征提取

将具有灰度目标二维图像数据拉直为列向量，组成输入向量集合X以及相应的类别信息向量集合L；

构造邻域图

设叶片图像样本为X＝[X₁，X₂，...，X_n]∈R^D×n，N(X_i)为叶片图像X_i的k邻域，c_i为X_i的类别值；将N(X_i)划分为两个子集：类内邻域子集N_w(X_i)和类间邻域子集N_b(X_i)；建立类内G_w和类间图G_b，计算对应的权值矩阵H_w和H_b：

$H_{w,\mathrm{ij}}=\left\{\begin{array}{cc}\exp (-\frac{{\left|\right|X_i-X_j\left|\right|}^2}{\left|\right|X_i\left|\right|\&CenterDot;\left|\right|X_j\left|\right|}),& \mathrm{If}{X}_i\&Element;N_w\left(X_j\right)\mathrm{or}{X}_j\&Element;N_w\left(X_i\right)\\ 0,& \mathrm{otherwise}\end{array}\right.---\left(5\right)$

$H_{b,\mathrm{ij}}=\left\{\begin{array}{c}1,\mathrm{If}{X}_i\&Element;N_b\left(X_j\right)\mathrm{or}{X}_j\&Element;N_b\left(X_j\right)\\ 0,\mathrm{otherwise}\end{array}---\left(6\right)\right.$

计算对角矩阵D_w和D_b，其中，它们的元素分别为D_w，ii＝∑_jH_w，ij，D_b，ii＝∑_jH_b，ij；计算L_w＝D_w-H_w和L_b＝D_b-H_b

求解满足约束条件A^TXX^TA＝I的优化函数：

$\arg \underset{A^T{\mathrm{XX}}^{T}A=I}{\min }\frac{\mathrm{tr}\left(A^T{\mathrm{XL}}_w{X}^{T}A\right)}{\mathrm{tr}\left(A^T{\mathrm{XL}}_b{X}^{T}A\right)}---\left(7\right)$

设{A₁，A₂，...，A_d}为式(7)对应d个特征值的特征向量，构造映射矩阵：

A＝[A₁，A₂，...，A_d]；

利用公式X_i→Y_i＝A^TX_i映射所有的叶片图像到低维特征空间；

(6)训练分类器和测试叶片图像类别

采用K最近邻决策的方法，对每个测试样本的特征计算其在训练集特征中的K最近邻点数，找出其K最近邻点中同一类别点数最多的类别作为测试样本点的类别。

Images