CN101916382A - 一种植物叶片的图像识别方法 - Google Patents

一种植物叶片的图像识别方法 Download PDF

Info

Publication number
CN101916382A
CN101916382A CN2010102427037A CN201010242703A CN101916382A CN 101916382 A CN101916382 A CN 101916382A CN 2010102427037 A CN2010102427037 A CN 2010102427037A CN 201010242703 A CN201010242703 A CN 201010242703A CN 101916382 A CN101916382 A CN 101916382A
Authority
CN
China
Prior art keywords
image
blade
point
plant leaf
plant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010102427037A
Other languages
English (en)
Other versions
CN101916382B (zh
Inventor
高理文
林小桦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou University of Chinese Medicine
Original Assignee
Guangzhou University of Chinese Medicine
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou University of Chinese Medicine filed Critical Guangzhou University of Chinese Medicine
Priority to CN2010102427037A priority Critical patent/CN101916382B/zh
Publication of CN101916382A publication Critical patent/CN101916382A/zh
Application granted granted Critical
Publication of CN101916382B publication Critical patent/CN101916382B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开一种植物叶片的图像识别方法,分为训练和识别两个阶段。训练阶段,先向系统输入植物叶片图像训练集,系统经过批量预处理、批量特征提取、神经网络分类器训练后,把训练结果存储。识别阶段,用户向系统输入单张不认识种类的植物叶片图像,标定该叶片的叶基点坐标和叶尖点坐标;系统对该单张图像进行预处理、特征提取后;再用神经网络分类器进行分类,输出植物种类列表,同时为列表的每一项附上详细的图文信息。本发明能够提供较高准确率的多个候选结果输出,大大提高识别的可信性;不但支持标量的叶片特征,还支持复杂形式(如矩阵形式)的叶片特征,从而提高了植物叶片的识别率。

Description

一种植物叶片的图像识别方法
技术领域
本发明涉及植物自动分类技术领域,具体涉及植物叶片图像识别方法。
背景技术
千百年来植物与人类息息相关、紧密相连。随着人类文明的进步,植物却遭到了越来越严重的破坏。因此,对植物进行识别归类,建立植物数字化资源库,以助于植物的保护,具有重要的意义。而植物叶片数字化图像机器识别算法无疑会大大加快植物的分类工作。
由于花、果、茎、枝存在复杂的立体几何特征,对于机器而言,叶片的识别相对简单有效。Stephen Gang Wu等人采用概率神经网络(PNN,全称Probabilistic Neural Network)对植物叶片进行分类识别。实验表明,对32种植物叶片的识别率为90%。同时,作者在篇末展望中指出:如果能在识别后提供可能性排序结果列表而不仅仅是单一结果,那将会大大改善识别效果。而Xiao-Feng Wang等人从植物叶片中提取了“纵横轴比”、“面积凹凸比”等特征,并运用自行设计的超球分类器对其进行分类。在对20种植物叶片的分类实验中,识别率为92%。Xiao Gu等人结合小波变换和高斯插值法,提取出叶片的轮廓特征和叶脉特征,并分别运用1最近邻分类器(1-NN,全称1-Nearest Neighbor)、k最近邻分类器(k-NN,全称k-Nearest Neighbor)、概率神经网络等三种方法进行了分析识别。在20种植物叶片的分类实验中,采用1-NN、k-NN和PNN的识别率分别是93%、85%和91%。Qing-Kui Man等人则提取植物叶片的颜色特征和纹理特征,并用支持向量机分类算法对植物叶片进行分类识别。在结合这两种特征对24种植物叶片进行的分类实验中,识别率为92%。
上述提到的众多现有的方法只提供单一的识别结果。与此同时,这些算法都是在二三十种植物叶片的情况下,达到92%左右的正确率。那么,当涵盖的植物叶片种类达到几百上千种甚至更多的时候,这些算法得出的唯一的结果,与真实结果一致的概率(也就是识别的正确率)就会大大减少。这也是诸如google、baidu等所有的搜索引擎要提供多个候选结果的原因。在搜索引擎中,用户输入关键字,系统进行搜索匹配,由于系统涵盖着海量的信息,如果它仅仅把与用户输入的关键字最匹配的那个结果显示,那么用户很可能得不到想要的信息。因此,搜索引擎按与用户输入的关键字匹配程度从高到低,把大量结果排序输出。用户就可以按顺序逐一确认,从而较快地找到真正想要的信息。
尽管按可能性从大到小排列的识别结果列表可大大方便用户确定最终的植物种类,此方面的研究罕见报道。唯有香港理工大学Yanhua Ye等人在他们在国际会议“International Symposium on Intelligent Multimedia,Video and Speech Processing,2004”发表的题为《A computerized plant species recognition system》学术论文中,介绍了他们的计算机植物种类识别系统。该系统提供了基于文本和基于内容两种检索方式。其中,基于内容检索是实现叶片图片的识别并提供按可能性从大到小排序的结果列表。该系统提取了叶片的叶基点角度、叶尖点角度和长宽比三个特征。对于任意的两片叶片,按如下方法计算它们之间的差别:叶基点角度、叶尖点角度和长宽比三个特征对应相减并求绝对值,进行归一化后,乘以三个权值,得到两片叶片的差别值。用户提交叶片图像进行识别时,系统逐一计算提交的叶片与每一种类的叶片的差别值。从数据库中检索得到按差别值从小到大排序的植物种类列表。但上述的计算机植物种类识别系统仍然存在一些不足之处:
首先,该系统提取的叶片特征较少和过于简单。其叶基点角的定义是:在距离叶基点四分之一叶片长度的位置,垂直于中心叶脉线,作一直线,与叶片轮廓相交于两点,以叶基点为顶点,分别穿过这两点作两条射线所形成的角就是叶基点角。其叶尖点角的定义是:在距离叶尖点四分之三叶片长度的位置,垂直于中心叶脉线,作一直线,与叶片轮廓相交于两点,以叶尖点为顶点,分别穿过这两点作两条射线所形成的角就是叶尖点角。然而,文献中并没有明确阐述叶基点和叶尖点是自动确定还是人工选择。现有的叶基点和叶尖点自动确定方法常出现错误。例如,其中一种方法是寻找叶片上距离最远的两点作为叶基点和叶尖点。倘若叶片宽度大于长度,则该方法得到错误的结果。而人工选择存在一定的主观性,不同的人对同一张叶片的叶基点和叶尖点的标定都会有一定的误差,甚至同一个人对同一张叶片的叶基点和叶尖点的两次标定之间都会有误差。这些误差将会导致距离叶基点四分之一叶片长度的位置或距离叶尖点四分之三叶片长度的位置存在一定的摆动性。使得叶基角和叶尖角的大小有摆动性。最终削弱这两个特征与植物叶片种类的相关性。总的来说,提取的三个特征并不是最好的三个特征,不足以完成叶片识别。例如,经过实验,叶片的轮廓周长平方与叶片的面积之比与植物叶片的种类具有更高的相关性。因此,该方法采取的特征的在质量和数量上有待改善。
第二,没有提到数据库中每种植物叶片的标准样本的选择或计算。该方法的核心思想是把待识别的叶片与数据库中已知种类的叶片进行匹配。然而,同一种类的植物的叶片间仍存在一定程度的差异。缺乏有代表性的标准样本,匹配效果必然大受影响。
第三,分类方法缺乏权值取定策略。文献中仅仅提到可由实证仿真确定或者由用户调整。由于每个特征与分类结果的相关性不同,权值的确定大大影响了分类的性能。因此,务必要有完善的权值取定策略。
第四,该系统的识别率未能适应叶片识别应用的要求。正确种类落在识别结果前五位的概率仅为71%。
发明内容
针对上述现有技术的缺陷,本发明的目的是提供一种植物叶片的图像识别方法,该方法能够提供较高准确率的多个候选结果输出,从而便于用户结合候选结果列表中每一种植物详细的图文信息进行最终的选择确认,大大提高识别的可信性;此外,该方法不但支持标量的叶片特征,还支持复杂形式(如矩阵形式)的叶片特征,从而提高了植物叶片的识别率。
为了达到以上目的,本发明采取以下技术方案:本植物叶片的图像识别方法,包括以下步骤:
S1、先判断当前是向系统输入已知种类的训练集,还是输入待识别的叶片;如果是前者,转向步骤S2,如果是后者,转向步骤S6;
S2、向系统输入扫描或拍摄的各类植物叶片的RGB彩色图像及其种类名,并逐一标定叶基点、叶尖点;
S3、对步骤S2所输入的训练集中的批量图像逐一进行预处理,得到批量二值图像;
S4、对预处理后的批量二值图像逐一进行特征提取;
S5、在面向叶片识别的神经网络分类器中,进行训练学习,并存储训练学习结果;
S6、向系统输入单张扫描或拍摄的某类植物叶片的RGB彩色图像,并标定其叶基点、叶尖点;
S7、对步骤S6中所输入的单张图像进行预处理,得到单张二值图像;
S8、对预处理后的单张二值图像进行特征提取;
S9、在面向叶片识别的神经网络分类器中进行分类;
S10、输出按可能性从大到小排序的植物种类列表。
在上述植物叶片的图像识别方法中,步骤S3或步骤S7所述预处理,包括如下步骤:
S31)把RGB彩色图像转化为灰度图像;
S32)把灰度图像进行中值滤波;
S33)对图像进行动态阀值分割,把图像前景和背景分离出来,得到二值图像;
S34)用连通区域选择的方法,在分割得到的二值图像中选择该叶片的叶基点所在的那个连通区域,其他区域的点的值均更改为“0”。
所述动态阈值分割采用图像直方图分析法,选取图像直方图中双峰间的波谷作为阀值。
步骤S4所述特征包括:对每片叶片的二值图像采用旋转、按比例缩放、平移基本变换后,所转换成的标准化二值矩阵;其中,叶基点和叶尖点分别处于纵坐标值相等的两个固定点上,且叶尖点的横坐标大于叶基点的横坐标。
步骤S5包括以下步骤:
S51)首先统计步骤S2中所输入的植物种类数;然后按顺序为每个不同的植物种类名编号,种类名和编号的对应关系以二维数组的形式存储在存储器中;最后把步骤S4提取的特征,附加了其植物种类编号之后,存储在存储器中;
S52)对输入的各类的植物叶片样本,计算出每类的特征值的中心;
S53)采用优先进化迭代逼近的原则,对权值向量进行调整,使得神经网络的损失尽可能小。
所述面向叶片识别的神经网络分类器包括依次连接的输入层、隐层和输出层;输入层有M个节点,M等于对二值图像所提取特征的数量;隐层有N个节点,N等于植物种类数;输出层是一个排列比较器。
与现有技术相比,本发明具有如下有益效果和优点:
1、可提供较高准确率的多个候选结果输出(即叶片分类的多个可能性排序结果),而并非单一的分类结果,并为每类植物附上详细的图文说明的链接;这让用户能在显示的多个候选结果中根据详细信息逐一辨认,排除不可能的植物种类,确定最终的植物种类。从而这大大提高了最终分类结果的可信性。
2、由于植物叶片识别难度较大,为了提高植物叶片的识别率,就需要寻找与其种类相关性更大的有效特征;而这些有效特征可能是标量,但是也可能是矩阵形式并不可转化为标量的。本发明除了支持标量的叶片特征外,还支持矩阵形式的叶片特征,因而对植物叶片进行识别时,可以采用与其种类最为相关的有效特征,以实现更高的识别率。
附图说明
图1是本发明方法的流程图;
图2是图像预处理的流程图;
图3是面向叶片识别的神经网络结构图;
图4是的训练过程示意图;
图5是对
Figure BSA00000213368100051
进行调整时训练一轮的过程示意图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述,但本发明的实施方式不限于此。
实施例
如图1所示,本发明植物叶片的图像识别方法包括以下步骤:
1)启动系统,然后转向步骤2)。
2)在本方法的使用过程中,分为“用已知种类的训练集对系统(按本方法编程实现的软件系统)进行训练”和“使用系统对未知植物进行分类”两种情形。因此,本步骤具体为:先判断当前是专业人员需要向系统输入已知种类的训练集,还是普通用户输入待识别的叶片;如果是前者,转向步骤3),如果是后者,转向步骤7)。
其中,步骤3)至步骤6)称为系统的学习阶段;步骤7)至步骤12)称为系统的工作阶段。需要补充说明的是,在系统启用之初,务必要经过专业人员向系统输入已知种类的训练集,并按后续步骤对系统进行训练;否则,普通用户输入待识别的叶片进行识别,将会得到毫无参考价值的识别结果。当然,在系统运行一段时间后也可输入更新后的训练集再次对系统进行训练。
3)专业人员向系统输入扫描或拍摄的各类植物叶片的样本图像(RGB彩色图像)及其种类名,并逐一标定叶基点、叶尖点。每片叶片的样本图像、每片叶片对应的种类名、每片叶片的叶基点、叶尖点坐标均存储在存储器中。
需要说明的是,叶尖点指的是叶片的顶端;连接叶片和枝干的,常呈圆柱形的部分称为叶柄;叶柄与叶片轮廓线的交界处称为叶基点。与通常的计算机图像坐标系一致,每张图像的坐标原点是图像的左上角,其纵坐标的正方向是垂直向下,单位长度是每个像素点垂直方向的长度;横坐标的正方向是自左向右,单位长度是每个像素点水平方向的长度。
4)对步骤3)所输入的训练集中的批量图像逐一进行预处理,得到批量二值图像;预处理是从原始图像中提取目标对象的过程,是算法的核心步骤之一。需要说明的是,本发明中的叶片图像预处理算法允许多片叶片同在一张图像中。图像预处理步骤又细分为若干环节,如图2所示,具体的过程如下:
4-1)由于RGB图像所含信息较为复杂,难以实现分割。因此,先把RGB图像转化为灰度(Gray)图像。把RGB图像中的每一点转换为灰度图像中对应的一点,所采用的公式如下:
Gray=0.299*Red+0.587*Green+0.114*Blue                            (式1)
其中,Red、Green、Blue分别表示RGB图像中任一点的红、绿、蓝的值,Gray表示该点转换后的灰度值。
4-2)把灰度图像进行中值滤波;从而消除灰度图像中的噪声,而又能清晰保留叶尖、叶边缘等局部细节。
4-3)接着,就需要对图像进行动态阀值分割,把图像前景(叶片)和背景分离出来,得到二值图像。图像分割有许多种方法。在此,由于叶片与背景灰度差异明显,采用动态阀值分割法。阀值的选定对于分割的效果起着重要的影响。阀值过于接近前景灰度,就会把部分前景消掉,反之,阀值过于接近背景,就会把部分背景误当作前景。而不同种类的叶片的颜色有所不同,产生的灰度前景自然也不同。因此,无法统一设定一个唯一的阀值。在此,我们采用图像直方图分析法,巧妙地选取图像直方图中双峰间的波谷作为阀值;图像直方图分析法对于各种不同的叶片均达到较好的分割效果;分割后得到只有前景点(标记为“1”)和背景点(标记为“0”)的二值图像。
4-4)用连通区域(按八连通)选择的方法,在分割得到的二值图像中选择该叶片的叶基点所在的那个连通区域,其他区域的点的值均更改为“0”。
5)对预处理后的批量二值图像逐一进行特征提取。
特征是模式识别的依据,选取具有代表性的叶片特征是获得高识别率的基础。经过反复实验验证,我们选取了八个叶片特征。本步骤以步骤4)处理后的所有的二值图像为输入;对每张二值图像,均提取如下八个特征,并存储在存储器中,然后转向步骤6):
(1)标准化矩阵。这是一个非常有效的特征。对每片叶片的二值图像,采用旋转、按比例缩放、平移等基本变换,转换成一个[Rnum*Cnum]的标准化二值矩阵(也是一个二值图像,Rnum和Cnum是二值矩阵的行数和列数,以大于10小于10000为宜),并使得叶基点和叶尖点分别处于纵坐标值相等的两个固定点上,且叶尖点的横坐标大于叶基点的横坐标。
而两个标准化二值矩阵的差(Dstandard)定义为:
Dstandard=area(P1 xor P2),其中,P1和P2分别表示两个标准化二值矩阵,xor是求异或;area是求标准化二值矩阵的面积,也就是所有单元的和。
也就是:
Ds tan dard = Σ i = 1 Rnum Σ j = 1 Cnum P 1 ( i , j ) ⊕ P 2 ( i , j ) (式2)
若对于其他的每个单元非二值的矩阵,其差(DisMatrix)可定义为先求每个矩阵所对应的单元的差的绝对值,然后再把这些绝对值求和。
DisMatrix = Σ i = 1 Rnum Σ j = 1 Cnum | P 1 ( i , j ) - P 2 ( i , j ) | (式3)
(2)叶基点角。叶基点角指的是,在叶片轮廓线上纵坐标最小、最大的两点(记为:“最低点”、“最高点”)分别与叶基点连线后,所形成的夹角。
(3)叶尖点角。叶尖点角指的是,在叶片轮廓线上纵坐标最小、最大的两点分别与叶尖点连线后,所形成的夹角。
(4)最低点角。最低点角指的是,以叶片轮廓线上纵坐标最小的点为顶点,该顶点分别与叶基点、叶尖点的连线后,所形成的夹角。
(5)长宽比:以叶基点和叶尖点的距离为长(记为length),以叶片轮廓线上纵坐标最小、最大的两点的纵坐标的差的绝对值为宽(记为width);求长与宽的比值。
(6)类圆率。先求出叶片的面积,接着求叶片轮廓周长;最后按如下公式求类圆率:类圆率=4*∏*叶片面积/轮廓周长平方。
(7)微分基角。在连接叶基点与叶尖点的线段上,离叶基点距离为length*ratiol(ratiol是大于0小于1的小数,以0.01至0.2为宜)的位置,垂直作一条直线,该直线与叶片轮廓相交于两点(分别记为“低邻近叶基点”、“高邻近叶基点”)。这两点与叶基点的连线所形成的夹角就是微分基角。
(8)微分尖角。在连接叶基点与叶尖点的线段上,离叶尖点距离为length*ratio2(ratio2是大于0小于1的小数,以0.01至0.2为宜)的位置,垂直作一条直线,该直线与叶片轮廓相交于两点(分别记为“低邻近叶尖点”、“高邻近叶尖点”)。这两点与叶尖点的连线所形成的夹角就是微分尖角。
6)在面向叶片识别的神经网络分类器中,进行训练学习,并存储训练学习结果。
面向叶片识别的神经网络分类器如图4所示,是一个包括输入层、隐层和输出层的三层神经网络。输入层有M个节点,M是输入向量
Figure BSA00000213368100071
的维度;本实施例中,由于每片叶片提取了8个特征,也就是特征向量的维度为8,故M=8,以后可根据实际的特征数量修改M的值。隐层只有一层,具有N个节点(N可手工设定);N等于植物种类数(speciesNum)。输出层只有一个节点,是一个排列比较器;输出的是一个种类号列表。输入层和隐层的转换关系、排列比较器的工作原理、SingleLoss的含义和计算方法,将在步骤6-3)中详细说明。
本步骤6)具体分为以下环节:
6-1)训练数据准备。本神经网络的训练学习属于有师学习方式。首先,统计步骤3)中专业人员所输入的植物种类数(speciesNum)。然后按顺序为每个不同的植物种类名编号,编号从1开始;种类名和编号的对应关系以二维数组的形式存储在存储器中。最后把步骤5)中存储的每片叶片的8个特征,附加了其植物种类编号之后,存储在存储器中。
6-2)神经网络分类器的第一阶段训练学习:对输入的各类的植物叶片样本,计算出每类的8个特征值的中心。第j类植物叶片的第i个特征值的中心cij计算方法如下:
不妨先令训练集Train中,第j类样本所组成的集合为Trainj
Train j ⊆ Train (式4)
当cij是标量时:
Figure BSA00000213368100082
(xi是输入样本
Figure BSA00000213368100083
第i维的值,Size(Trainj)是Trainj的样本总数。)(式5)
当cij是二值矩阵时:
(式6)
本步骤6-2)就是标准样本的计算方法。
6-3)神经网络分类器的第二阶段训练学习:对权值向量
Figure BSA00000213368100085
进行调整,其目的就是要使神经网络的损失(Loss)尽可能小。调整时,采用的是优先进化迭代逼近的原则。本步骤6-3)是权值取定方法。在本实施例中,求两个叶片的距离时,用8个特征值的差值,对应相乘8个权值;而权值向量
Figure BSA00000213368100086
指的就是这8个权值组成的向量。
神经网络的损失(Loss)计算方法如下(这里要注明的是,是Loss的计算方法,即步骤6-3)中经常要调用的一个子函数;不是步骤6-3)中对
Figure BSA00000213368100087
的调整。):
I、读入步骤6-1)中存储的每片叶片的8个特征及其植物种类编号(记为y),并按顺序把每片叶片的8个特征组成一个特征向量
Figure BSA00000213368100088
(x1,x2……x8);然后把所有叶片的特征向量
Figure BSA00000213368100089
和植物种类编号y都存储在内存中,并以循环的形式对每片叶片的特征向量
Figure BSA000002133681000810
和植物种类编号y,执行下述的分环节II到V,待处理完所有叶片后,转向分环节VI。
II、特征向量
Figure BSA000002133681000811
输入到神经网络分类器的输入层中。如图4所示,输入层有M(M=8)个节点,输入层的第i个节点的输入为xi,输出为ai,按如下数学关系转换:
ai=xi                                                     (式7)
III、输入层的每个节点的值均输入到隐层的每个节点中。隐层共有speciesNum个节点。对于隐层,第j个节点的输入为(a1,a2…ai…a8),输出为bj,按如下数学关系转换:
b j = Σ i = 1 M diss ( x i , c i j ) · w i (式8)
在此,diss(xi,cij)定义为特征xi与中心值cij之间的距离。
一般地,当xi是标量时,cij也是标量。diss(xi,cij)=|xi-cij|           (式9)
然而,由于我们需要隐层节点能接受一个矩阵特征值的输入。xi也可能是一个矩阵(xi是一个二值图像)。在这种情况下,cij也是一个矩阵(cij也是一个二值图像)。则:
diss(xi,cij)=area(xi⊕cij),即是:
Figure BSA00000213368100092
(Rnum、Cnum分别是矩阵的行数和列数)(式10)
即把xi与cij做异或操作后,再求其面积。
IV、每个隐层节点的输出结果附加隐层节点的序号,输入到输出层的唯一一个节点(即排列比较器)中。具体而言,隐层共有speciesNum个节点,依次输入到排列比较器的是二元组序列(b1,1),(b2,2)…(bj,j)…(bspeciesNum,speciesNum)。排列比较器依据二元组的第一个值bi从小到大的顺序把二元组序列重新排列,然后再顺序提取二元组的第二个值(隐层节点的序号),得到的这个由隐层节点的序号组成的长度为speciesNum的向量(以数组形式存储),就是输出向量
Figure BSA00000213368100093
V、分环节I中已经读入了特征向量
Figure BSA00000213368100094
及其植物种类编号y。在此,在
Figure BSA00000213368100095
(数组形式)中顺序查找y,找到后记录其位置序号(
Figure BSA00000213368100096
是一个向量,位置序号从0开始算起,的第1维的位置序号就是0,第n维的位置序号是n-1);该位置序号的数值就是
Figure BSA00000213368100098
每个向量
Figure BSA00000213368100099
对应的
Figure BSA000002133681000910
都存储在存储器中。
VI、计算所有训练样本的损失总和Loss,具体如下:
Figure BSA000002133681000911
(Train为所有训练样本的集合)      (式11)
Loss的计算过程只是
Figure BSA000002133681000912
训练过程的一个子过程。从软件工程的角度看,Loss的计算过程只是
Figure BSA000002133681000913
训练过程中常要调用的一个子函数。
Figure BSA000002133681000914
的训练过程如图4所示。
Figure BSA000002133681000915
进行调整的步骤如下:
6-3-1)把
Figure BSA000002133681000916
归一化。可根据特征向量
Figure BSA000002133681000918
中xi的大致数量级,给以一个适当的wi的初值,其目标是使得xi和对应的wi的乘积的结果处于接近的数量级中。然后对
Figure BSA00000213368100101
的每个wi同时除以w1,完成归一化后,w1=1。这时,w1固定无需训练,训练时仅需要调整w2…wi…wM
6-3-2)生成象限矩阵。
M(在本实施例中M具体为8)个特征值,就有w2,w3…wi…wM共(M-1)个权值要训练。则有生长方向如下:
Figure BSA00000213368100102
派生出2M-1个象限(向量形式)
每个象限对应唯一一个象限矩阵,生成方法是:象限矩阵对角线上第i行第i列的值就是象限向量第i列的值,象限矩阵其他单元的值全为0。如第3象限的矩阵如下:
Figure BSA00000213368100111
所有的2M-1个象限矩阵均存储在存储器中。
6-3-3)训练一轮;过程如图5所示。
(注:recept表示研究人员可以忍受的最大的Loss值。parentLoss表示生出本向量的那个向量的Loss。)
训练一轮的过程如下:
6-3-3-1)根生孩子。读入当前的w2…wi…wM值,作为根,并计算根的Loss。当第一次执行“训练一轮”这个子过程时,w2…wi…wM的值是由用户指定再经归一化步骤后的值;当第N次执行时,w2…wi…wM的值是第N-1次执行这个子过程后所存储的值。特别地,根节点同属于2M-1个生长象限,在任意第k个象限生孩子时,需要先算出第k个象限的计算矩阵:
由6-3-2)中算出的每一个象限矩阵,可算出对应的计算矩阵T。例如,对于第3象限,由第3象限的象限矩阵得到其计算矩阵T3
Figure BSA00000213368100112
T3的计算方法:由第3象限矩阵,上加一行(全0),然后再把矩阵的每个元素作为step的指数,得到的幂就是新矩阵T3的每一个元素。这里,step是控制逼近步长的值。
step = ( 1 + spread * 200000 * Loss 2 MaxLoss 2 ) 2 1 - round (式12)
MaxLoss是当每一个SingleLoss均取得最大值时的Loss值。由于SingleLoss得最大值为
Figure BSA00000213368100122
所以:
MaxLoss=(speciesNum-1)*Size(Train)(注:Size(Train)是训练样本总数。)(式13)
spread是训练步长系数。默认为1。当spread>1时,表示加大步长;当0<spread<1时,表示缩小步长。特别地,当设spread=0时,表示步长为0,原地不动,训练无效。
round是当前的轮数,表示当前的训练处于第几轮。
接着,利用计算矩阵Tk计算出孩子:
把根的列向量
Figure BSA00000213368100123
复制膨胀为M-1列的矩阵P。即
Figure BSA00000213368100124
P的每一列都是一个
Figure BSA00000213368100125
把Tk和P对应的元素相乘,得到孩子矩阵Bk
B=Tk·*P                                 (式14)
Bk是一个M行,M-1列的矩阵。Bk的每一列都是一个新的孩子
对于根而言,由第1至第2M-1个计算矩阵算出的的每一列都是它的一个新的孩子
Figure BSA00000213368100128
因此,根一次过共生出2M-1*(M-1)个孩子。
根的Loss就是它的每个孩子的parentLoss(每个孩子都是由其双亲
Figure BSA00000213368100129
计算而来,parentLoss就是指生出它的那个双亲的Loss。双亲
Figure BSA000002133681001210
Figure BSA000002133681001211
只是一个相对的概念,同一个
Figure BSA000002133681001212
对于生出它的
Figure BSA000002133681001213
而言,就是
Figure BSA000002133681001214
对于它所生出的
Figure BSA000002133681001215
而言,就是双亲
Figure BSA000002133681001216
)。对于每个孩子,记录其parentLoss,同时,还要记录每个孩子所属的象限,存储在存储器中。
6-3-3-2)进优先队列。每个
Figure BSA000002133681001217
附上它的parentLoss组成二元组(
Figure BSA000002133681001218
parentLoss),进优先队列。该优先队列是parentLoss越大就越早出队,parentLoss相等的情况下先进先出。
6-3-3-3)从优先队列中取出一个
Figure BSA000002133681001219
6-3-3-4)做判断。如果队列空,报错返回;否则转向6-3-3-5)。
6-3-3-5)计算这个
Figure BSA000002133681001220
的Loss。
6-3-3-6)判断Loss<=recept?如果是,成功返回,整个训练过程都会随即结束;否则转向6-3-3-7)。recept表示研究人员可以忍受的最大的Loss值。以手工方式设定,其设定的方法为:先人工设定一个可容忍的损失百分率(LossPercent),等于0的时候表示,一点损失也无法容忍。然后根据下式计算recept:
recept=MaxLoss*LossPercent                               (式15)
6-3-3-7)判断Loss<=parentLoss?如果是,转向6-3-3-8);否则转向6-3-3-3)。
6-3-3-8)当前的
Figure BSA00000213368100131
生孩子。判定当前
Figure BSA00000213368100132
所属的向量,假定属于象限k。则按照6-3-3-1)所述的由象限矩阵算出计算矩阵的方法,得到计算矩阵用Tk。然后依如下过程计算其孩子:
把当前的列向量
Figure BSA00000213368100133
复制膨胀为M-1列的矩阵P。即
Figure BSA00000213368100134
P的每一列都是一个
Figure BSA00000213368100135
把Tk和P对应的元素相乘,得到孩子矩阵Bk
B=Tk·*P
Bk是一个M行,M-1列的矩阵。Bk的每一列都是一个新的孩子
Figure BSA00000213368100136
完成后转向6-3-3-2)。
6-3-4)判断“训练一轮”是否成功返回,如果是,转向6-3-5);否则,转向6-3-6)。
6-3-5)输出
Figure BSA00000213368100137
并把
Figure BSA00000213368100138
存储在存储器中。训练得到的
Figure BSA00000213368100139
就是w2…wi…wM,而
Figure BSA000002133681001310
结束。
6-3-6)把当前的训练轮数(round)加1。round是训练的轮数(当第1轮时,round=1)。转向6-3-7)。
6-3-7)判断是否已达到最大的训练轮数?也就是round>MaxRound?如果是,转向6-3-5);否则,转向6-3-3)。MaxRound是最大的训练轮数是一个自然数,大小由研究人员给定,通常设定在5到15之间。
至此,系统的学习阶段完成,下述步骤7)至步骤12)为系统的叶片识别阶段:
7)用户向系统输入单张扫描或拍摄的某类植物叶片的RGB彩色图像,并标定其叶基点、叶尖点。
8)对步骤7)中所输入的单张图像(即单片叶片图像)进行预处理,得到二值图像。具体方法和步骤4)中对每一张样本图像的预处理过程相同。也是要通过分步骤4-1)至4-4)。只不过本步骤仅是处理一张图像。单片叶片的彩色图像经过本步骤处理后得到一张分割完毕的二值图像,存储在存储器中。
9)对预处理后的单张图像进行特征提取。具体而言也是提取如步骤5)所述的8个特征。提取得到的该叶片的8个特征存储在存储器中。
10)在面向叶片识别的神经网络分类器中进行分类。把步骤9)得到的该叶片的8个特征值,组合成向量
Figure BSA00000213368100141
再经过与步骤6-3)的子函数“Loss的计算”的细分步骤II、III、IV一样的处理过程,得到输出向量
11)输出按可能性从大到小排序的植物种类列表。具体是把
Figure BSA00000213368100143
里的植物编号逐一转换成植物名称。转换方法是根据步骤6-1)中已存储的种类名和编号的对应关系的二维数组,由编号查询,得到相应的种类名;再为每类植物附上详细的图文说明的链接;最后输出。
12)用户按顺序查看结果列表的植物名和查阅对应的图文链接,最终选择确认他所输入的植物叶片的种类。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。

Claims (6)

1.一种植物叶片的图像识别方法,其特征在于,包括以下步骤:
S1、先判断当前是向系统输入已知种类的训练集,还是输入待识别的叶片;如果是前者,转向步骤S2,如果是后者,转向步骤S6;
S2、向系统输入扫描或拍摄的各类植物叶片的RGB彩色图像及其种类名,并逐一标定叶基点、叶尖点;
S3、对步骤S2所输入的训练集中的批量图像逐一进行预处理,得到批量二值图像;
S4、对预处理后的批量二值图像逐一进行特征提取;
S5、在面向叶片识别的神经网络分类器中,进行训练学习,并存储训练学习结果;
S6、向系统输入单张扫描或拍摄的某类植物叶片的RGB彩色图像,并标定其叶基点、叶尖点;
S7、对步骤S6中所输入的单张图像进行预处理,得到单张二值图像;
S8、对预处理后的单张二值图像进行特征提取;
S9、在面向叶片识别的神经网络分类器中进行分类;
S10、输出按可能性从大到小排序的植物种类列表。
2.根据权利要求1所述的植物叶片的图像识别方法,其特征在于,步骤S3或步骤S7所述预处理,包括如下步骤:
S31)把RGB彩色图像转化为灰度图像;
S32)把灰度图像进行中值滤波;
S33)对图像进行动态阀值分割,把图像前景和背景分离出来,得到二值图像;
S34)用连通区域选择的方法,在分割得到的二值图像中选择该叶片的叶基点所在的那个连通区域,其他区域的点的值均更改为“0”。
3.根据权利要求2所述的植物叶片的图像识别方法,其特征在于,所述动态阈值分割采用图像直方图分析法,选取图像直方图中双峰间的波谷作为阀值。
4.根据权利要求1所述的植物叶片的图像识别方法,其特征在于,步骤S4所述特征包括:对每片叶片的二值图像采用旋转、按比例缩放、平移基本变换后,所转换成的标准化二值矩阵;其中,叶基点和叶尖点分别处于纵坐标值相等的两个固定点上,且叶尖点的横坐标大于叶基点的横坐标。
5.根据权利要求1所述的植物叶片的图像识别方法,其特征在于,步骤S5包括以下步骤:
S51)首先统计步骤S2中所输入的植物种类数;然后按顺序为每个不同的植物种类名编号,种类名和编号的对应关系以二维数组的形式存储在存储器中;最后把步骤S4提取的特征,附加了其植物种类编号之后,存储在存储器中;
S52)对输入的各类的植物叶片样本,计算出每类的特征值的中心;
S53)采用优先进化迭代逼近的原则,对权值向量
Figure FSA00000213368000021
进行调整,使得神经网络的损失尽可能小。
6.根据权利要求1所述的植物叶片的图像识别方法,其特征在于,所述面向叶片识别的神经网络分类器包括依次连接的输入层、隐层和输出层;输入层有M个节点,M等于对二值图像所提取特征的数量;隐层有N个节点,N等于植物种类数;输出层是一个排列比较器。
CN2010102427037A 2010-07-30 2010-07-30 一种植物叶片的图像识别方法 Expired - Fee Related CN101916382B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2010102427037A CN101916382B (zh) 2010-07-30 2010-07-30 一种植物叶片的图像识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2010102427037A CN101916382B (zh) 2010-07-30 2010-07-30 一种植物叶片的图像识别方法

Publications (2)

Publication Number Publication Date
CN101916382A true CN101916382A (zh) 2010-12-15
CN101916382B CN101916382B (zh) 2012-05-30

Family

ID=43323891

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010102427037A Expired - Fee Related CN101916382B (zh) 2010-07-30 2010-07-30 一种植物叶片的图像识别方法

Country Status (1)

Country Link
CN (1) CN101916382B (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103248800A (zh) * 2012-02-14 2013-08-14 联想(北京)有限公司 一种添加注释信息的方法、装置及数码相机
CN103336943A (zh) * 2013-06-04 2013-10-02 广东药学院 用于判定动物饲料中所添加药物的显微图像识别方法
CN103473558A (zh) * 2013-09-04 2013-12-25 深圳先进技术研究院 基于神经网络的图像识别方法和系统
CN103606221A (zh) * 2013-12-04 2014-02-26 广州广电运通金融电子股份有限公司 清分机故障自动诊断方法以及装置
CN103617417A (zh) * 2013-11-25 2014-03-05 中国科学院深圳先进技术研究院 植物自动识别方法和系统
CN103617430A (zh) * 2013-09-14 2014-03-05 西北农林科技大学 一种基于植物叶片图像信息的便携式校园植物种类识别系统
CN103729621A (zh) * 2013-12-20 2014-04-16 华南农业大学 基于叶片骨架模型的植物叶片图像自动识别方法
CN103870816A (zh) * 2014-03-26 2014-06-18 中国科学院寒区旱区环境与工程研究所 一种识别率高的植物识别方法及装置
CN103902996A (zh) * 2014-03-31 2014-07-02 合肥晶奇电子科技有限公司 一种多元化植物识别手机app设计方法
CN104331713A (zh) * 2014-11-04 2015-02-04 无锡北斗星通信息科技有限公司 用于检测树叶品种的移动终端
CN104331704A (zh) * 2014-10-27 2015-02-04 合肥星服信息科技有限责任公司 一种基于Haar特征的植物识别方法
CN105203456A (zh) * 2015-10-28 2015-12-30 小米科技有限责任公司 植物品种识别方法及装置
CN105409435A (zh) * 2015-07-24 2016-03-23 农业部南京农业机械化研究所 一种电动智能绿叶蔬菜收获机
CN106897724A (zh) * 2015-12-18 2017-06-27 南京财经大学 一种基于轮廓线形状特征的植物叶片识别方法
CN107392091A (zh) * 2017-06-09 2017-11-24 河北威远生物化工有限公司 一种农业人工智能作物检测方法、移动终端和计算机可读介质
CN107969297A (zh) * 2017-12-20 2018-05-01 佛山市洛克威特科技有限公司 一种智能种植草莓的方法
CN109635653A (zh) * 2018-11-09 2019-04-16 华南农业大学 一种植物识别方法
CN110851638A (zh) * 2019-11-06 2020-02-28 杭州睿琪软件有限公司 获取物种识别名称的方法及装置
CN110991454A (zh) * 2019-12-23 2020-04-10 云南大学 一种叶片图像识别方法、装置、电子设备及存储介质
WO2020181706A1 (zh) * 2019-03-12 2020-09-17 平安科技(深圳)有限公司 植物种类的识别方法及装置
CN111753903A (zh) * 2020-06-24 2020-10-09 武汉理工大学 一种基于叶脉拓扑特征的大豆品种识别方法
CN111783667A (zh) * 2020-07-02 2020-10-16 南阳理工学院 一种中医药识别系统及其使用方法
CN111867211A (zh) * 2020-07-14 2020-10-30 深圳市千百辉照明工程有限公司 一种智慧灯的自动调节方法、装置和系统
CN114663766A (zh) * 2022-04-02 2022-06-24 广西科学院 基于多图像协同注意力机制的植物叶片识别系统及方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI467499B (zh) * 2012-11-05 2015-01-01 Univ Nat Kaohsiung Applied Sci 樹葉辨識方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5887078A (en) * 1993-12-29 1999-03-23 Korea Telecommunication Authority Apparatus and method for classifying and recognizing image patterns using neural network
JP2007315941A (ja) * 2006-05-26 2007-12-06 Univ Of Miyazaki 植物品種判定装置、植物品種判定方法及び植物品種判定用プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5887078A (en) * 1993-12-29 1999-03-23 Korea Telecommunication Authority Apparatus and method for classifying and recognizing image patterns using neural network
JP2007315941A (ja) * 2006-05-26 2007-12-06 Univ Of Miyazaki 植物品種判定装置、植物品種判定方法及び植物品種判定用プログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
《Proceeding of 2004 International Multimedia,Video and Speech Processing》 20041022 Yanhua Ye,et al A Computerized Plant Species Recognition System 723-726 1-6 , 2 *
《西北农林科技大学学报(自然科学版)》 20080930 黄林 基于概率神经网络和分形的植物叶片机器识别研究 212-218 1-6 第36卷, 第9期 2 *
《计算机工程与应用》 20060331 王晓峰等 叶片图像特征提取与识别技术的研究 190-193 1-6 , 2 *

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103248800A (zh) * 2012-02-14 2013-08-14 联想(北京)有限公司 一种添加注释信息的方法、装置及数码相机
CN103336943A (zh) * 2013-06-04 2013-10-02 广东药学院 用于判定动物饲料中所添加药物的显微图像识别方法
CN103336943B (zh) * 2013-06-04 2016-06-08 广东药学院 用于判定动物饲料中所添加药物的显微图像识别方法
CN103473558A (zh) * 2013-09-04 2013-12-25 深圳先进技术研究院 基于神经网络的图像识别方法和系统
CN103617430A (zh) * 2013-09-14 2014-03-05 西北农林科技大学 一种基于植物叶片图像信息的便携式校园植物种类识别系统
CN103617417B (zh) * 2013-11-25 2017-02-01 中国科学院深圳先进技术研究院 植物自动识别方法和系统
CN103617417A (zh) * 2013-11-25 2014-03-05 中国科学院深圳先进技术研究院 植物自动识别方法和系统
US9947164B2 (en) 2013-12-04 2018-04-17 Grg Banking Equipment Co., Ltd. Automatic fault diagnosis method and device for sorting machine
CN103606221A (zh) * 2013-12-04 2014-02-26 广州广电运通金融电子股份有限公司 清分机故障自动诊断方法以及装置
CN103606221B (zh) * 2013-12-04 2016-01-20 广州广电运通金融电子股份有限公司 清分机故障自动诊断方法以及装置
CN103729621A (zh) * 2013-12-20 2014-04-16 华南农业大学 基于叶片骨架模型的植物叶片图像自动识别方法
CN103729621B (zh) * 2013-12-20 2017-02-08 华南农业大学 基于叶片骨架模型的植物叶片图像自动识别方法
CN103870816A (zh) * 2014-03-26 2014-06-18 中国科学院寒区旱区环境与工程研究所 一种识别率高的植物识别方法及装置
CN103870816B (zh) * 2014-03-26 2016-11-23 中国科学院寒区旱区环境与工程研究所 一种识别率高的植物识别的方法
CN103902996A (zh) * 2014-03-31 2014-07-02 合肥晶奇电子科技有限公司 一种多元化植物识别手机app设计方法
CN104331704A (zh) * 2014-10-27 2015-02-04 合肥星服信息科技有限责任公司 一种基于Haar特征的植物识别方法
CN104331713B (zh) * 2014-11-04 2017-07-07 许金普 用于检测树叶品种的移动终端
CN104331713A (zh) * 2014-11-04 2015-02-04 无锡北斗星通信息科技有限公司 用于检测树叶品种的移动终端
CN105409435A (zh) * 2015-07-24 2016-03-23 农业部南京农业机械化研究所 一种电动智能绿叶蔬菜收获机
CN105203456A (zh) * 2015-10-28 2015-12-30 小米科技有限责任公司 植物品种识别方法及装置
CN106897724A (zh) * 2015-12-18 2017-06-27 南京财经大学 一种基于轮廓线形状特征的植物叶片识别方法
CN107392091B (zh) * 2017-06-09 2020-10-16 河北威远生物化工有限公司 一种农业人工智能作物检测方法、移动终端和计算机可读介质
CN107392091A (zh) * 2017-06-09 2017-11-24 河北威远生物化工有限公司 一种农业人工智能作物检测方法、移动终端和计算机可读介质
CN107969297A (zh) * 2017-12-20 2018-05-01 佛山市洛克威特科技有限公司 一种智能种植草莓的方法
CN109635653A (zh) * 2018-11-09 2019-04-16 华南农业大学 一种植物识别方法
WO2020181706A1 (zh) * 2019-03-12 2020-09-17 平安科技(深圳)有限公司 植物种类的识别方法及装置
CN110851638A (zh) * 2019-11-06 2020-02-28 杭州睿琪软件有限公司 获取物种识别名称的方法及装置
CN110991454A (zh) * 2019-12-23 2020-04-10 云南大学 一种叶片图像识别方法、装置、电子设备及存储介质
CN111753903A (zh) * 2020-06-24 2020-10-09 武汉理工大学 一种基于叶脉拓扑特征的大豆品种识别方法
CN111783667A (zh) * 2020-07-02 2020-10-16 南阳理工学院 一种中医药识别系统及其使用方法
CN111867211A (zh) * 2020-07-14 2020-10-30 深圳市千百辉照明工程有限公司 一种智慧灯的自动调节方法、装置和系统
CN114663766A (zh) * 2022-04-02 2022-06-24 广西科学院 基于多图像协同注意力机制的植物叶片识别系统及方法

Also Published As

Publication number Publication date
CN101916382B (zh) 2012-05-30

Similar Documents

Publication Publication Date Title
CN101916382B (zh) 一种植物叶片的图像识别方法
Lines et al. Hive-cote: The hierarchical vote collective of transformation-based ensembles for time series classification
CN110490946B (zh) 基于跨模态相似度和生成对抗网络的文本生成图像方法
CN109948143B (zh) 社区问答系统的答案抽取方法
CN108920720A (zh) 基于深度哈希和gpu加速的大规模图像检索方法
CN108829719A (zh) 一种非事实类问答答案选择方法及系统
CN112733866B (zh) 一种提高可控图像文本描述正确性的网络构建方法
CN109086437A (zh) 一种融合Faster-RCNN和Wasserstein自编码器的图像检索方法
CN105718532B (zh) 一种基于多深度网络结构的跨媒体排序方法
CN107291871A (zh) 基于人工智能的多域信息的匹配度评估方法、设备及介质
Christlein et al. ICDAR 2019 competition on image retrieval for historical handwritten documents
KR101939209B1 (ko) 신경망 기반의 텍스트의 카테고리를 분류하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
KR102444141B1 (ko) 멀티 레이블 분류 기반 상표 이미지 검색 방법과 이 방법을 적용한 상표 이미지 검색 시스템
CN110825850B (zh) 一种自然语言主题分类方法及装置
CN112115716A (zh) 一种基于多维词向量下文本匹配的服务发现方法、系统及设备
CN112464638A (zh) 一种基于改进谱聚类算法的文本聚类方法
CN109902714A (zh) 一种基于多图正则化深度哈希的多模态医学图像检索方法
CN114297415A (zh) 面向全媒体数据空间的多源异构数据存储方法及检索方法
CN103678513A (zh) 一种交互式的检索式生成方法及系统
CN112766400A (zh) 高维数据基于多个数据变换空间的半监督分类集成方法
CN113095158A (zh) 一种基于对抗生成网络的笔迹生成方法及装置
CN109284388B (zh) 字符数字唯一可译深度模型的文本分类方法及存储介质
Huo et al. Unique faces recognition in videos
CN110825852B (zh) 面向长文本的语义匹配方法及系统
CN114048854B (zh) 一种深度神经网络大数据内部数据文件的管理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120530

Termination date: 20170730

CF01 Termination of patent right due to non-payment of annual fee