CN112257730A - 植物害虫图像识别方法、装置、设备及存储介质 - Google Patents

植物害虫图像识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112257730A
CN112257730A CN202011314482.XA CN202011314482A CN112257730A CN 112257730 A CN112257730 A CN 112257730A CN 202011314482 A CN202011314482 A CN 202011314482A CN 112257730 A CN112257730 A CN 112257730A
Authority
CN
China
Prior art keywords
pest
plant
image
outline
species
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011314482.XA
Other languages
English (en)
Inventor
黄求应
闫科
刘田谷
许红
蔡夫业
雷朝亮
蔡丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Benye Green Prevention And Control Technology Co ltd
Huazhong Agricultural University
Original Assignee
Hunan Benye Green Prevention And Control Technology Co ltd
Huazhong Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Benye Green Prevention And Control Technology Co ltd, Huazhong Agricultural University filed Critical Hunan Benye Green Prevention And Control Technology Co ltd
Priority to CN202011314482.XA priority Critical patent/CN112257730A/zh
Publication of CN112257730A publication Critical patent/CN112257730A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种植物害虫图像识别方法，包括对采集到的植物图像进行灰度化处理，获得灰度图像；对灰度图像中的害虫区域进行识别提取，获得害虫轮廓；将害虫轮廓和各种不同种类害虫的轮廓模板进行对比，确定和害虫轮廓相似度最高的至少一个轮廓模板对应的害虫种类为第一备选害虫种类；采用预先训练获得各个第一备选害虫种类对应的害虫分类器，分别对植物图像的害虫区域进行识别，确定植物图像对应害虫种类。本申请先对害虫种类进行粗略筛选，缩小害虫种类识别范围；再害虫分类器识别最可能的害虫种类，提高害虫识别的精度。本申请还提供了一种植物害虫图像识别装置、设备以及计算机可读存储介质，具有上述有益效果。

Description

植物害虫图像识别方法、装置、设备及存储介质
技术领域
本发明涉及植物害虫识别技术领域，特别是涉及一种植物害虫图像识别方法、装置、设备以及计算机可读存储介质。
背景技术
随着农业现代化的发展，自动化生产也逐渐在农业生产中广泛应用。农业植物在生长过程中不可避免的会存在病虫害问题，如果未及时发现并采取相应的措施，很可能会造成植物收成大大降低，进而造成重大的经济损失。
传统的田间植物病虫害问题的巡查基本依赖于人工定期巡视。显然这种查看病虫害问题的方式效率相对低下，且如果植物显现的是不常见的病虫害问题，而巡视人员并不能识别出甚至不能注意到，显然会对植物的良好生长埋下隐患。基于人工巡检植物的问题，目前可以采用图像识别的方式对植物的病虫害进行识别研究。
发明内容
本发明的目的是提供一种植物害虫图像识别方法、装置、设备以及计算机可读存储介质，提高植物害虫识别的准确性。
为解决上述技术问题，本发明提供一种植物害虫图像识别方法，包括：
对采集到的植物图像进行灰度化处理，获得灰度图像；
对所述灰度图像中的害虫区域进行识别提取，获得害虫轮廓；
将所述害虫轮廓和各种不同种类害虫的轮廓模板进行对比，确定和所述害虫轮廓相似度最高的至少一个所述轮廓模板对应的害虫种类为第一备选害虫种类；
采用预先训练获得的各种不同害虫种类的害虫分类器中各个所述第一备选害虫种类对应的害虫分类器，分别对所述植物图像的害虫区域进行识别，确定所述植物图像对应害虫种类。
可选地，在获得害虫轮廓之后，还包括：
基于所述害虫轮廓分割出所述植物图像中的害虫区域；
将所述害虫区域由RGB格式转换为HSV格式，并提取颜色特征；
将所述颜色特征和各种不同种类害虫的标准颜色特征对比，确定和所述颜色特征相似度最高的至少一个所述标准颜色特征对应的害虫种类为第二备选害虫种类；
相应地，采用预先训练获得的各种不同害虫种类的害虫分类器中各个所述第一备选害虫种类对应的识别器，分别对所述植物图像的害虫区域进行识别，包括：
采用所述第一备选害虫种类和所述第二备选害虫种类对应的害虫分类器，分别对所述植物图像的害虫区域进行识别。
可选地，将所述害虫轮廓和各种不同种类害虫的轮廓模板进行对比，包括：
将所述害虫轮廓和所述轮廓模板的进行像素点重合度对比，获得像素点重合度比例。
可选地，预先训练获得的每种害虫种类对应的害虫分类器包括SVM向量机和BP神经网络模型；
相应地，采用预先训练获得的各种不同害虫种类的害虫分类器中各个所述第一备选害虫种类对应的识别器，分别对所述植物图像的害虫区域进行识别，确定所述植物图像对应害虫种类，包括：
采用Hog算法提取所述植物图像中的害虫区域的第一纹理特征，并采用灰度共生矩阵对所述植物图像中的害虫区域提取第二纹理特征；
将所述第一纹理特征输入至所述第一备选害虫种类对应的SVM向量机中，确定第一识别结果；并将所述第二纹理特征输入至所述第一备选害虫种类对应的BP神经网络模型中，确定第二识别结果；
结合每个所述第一备选害虫种类对应的所述第一识别结果和所述第二识别结果，确定所述植物图像对应害虫种类。
可选地，当所述SVM向量机识别所述植物图像的害虫是所述SVM向量机对应的靶标害虫，则所述第一识别结果为1，当所述SVM向量机识别所述植物图像的害虫不是所述SVM向量机对应的靶标害虫，则所述第一识别结果为0；
所述第二识别结果为所述植物图像中害虫是所述BP神经网络模型对应的靶标害虫的概率；
相应地，结合每种所述第一备选害虫种类对应的所述第一识别结果和所述第二识别结果，确定所述植物图像对应害虫种类，包括：
将各个所述第一备选害虫种类对应的第一识别结果和所述第二识别结果进行加权求和运算，以最大的求和运算结果对应的第一备选害虫种类为所述植物图像对应的害虫种类，其中，所述第一识别结果的权重系数小于所述第二识别结果的权重系数。
可选地，还包括：
采用K-均值聚类算法对所述植物图像中病害侵染和受害虫啃咬区域进行分割提取，获得危害状区域；
利用预先训练的第一深度神经网络模型对所述危害状区域进行识别，获得植物受损程度。
可选地，还包括：
采用阈值分割法提取所述植物图像中的幼虫成像区域；
利用预先训练好的第二神经网络模型对所述幼虫成像区域进行识别，确定幼虫种类。
本申请还提供一种植物害虫图像识别装置，包括：
图像处理模块，用于对采集到的植物图像进行灰度化处理，获得灰度图像；
轮廓提取模块，用于对所述灰度图像中的害虫区域进行识别提取，获得害虫轮廓；
第一近似识别模块，用于将所述害虫轮廓和各种不同种类害虫的轮廓模板进行对比，确定和所述害虫轮廓相似度最高的至少一个所述轮廓模板对应的害虫种类为第一备选害虫种类；
种类识别模块，用于采用预先训练获得的各种不同害虫种类的害虫分类器中各个所述第一备选害虫种类对应的识别器，分别对所述植物图像的害虫区域进行识别，确定所述植物图像对应害虫种类。
本申请还提供一种植物害虫图像识别设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现如上任一项所述的植物害虫图像识别方法的步骤。
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项所述的植物害虫图像识别方法的步骤。
本发明所提供的植物害虫图像识别方法，包括对采集到的植物图像进行灰度化处理，获得灰度图像；对灰度图像中的害虫区域进行识别提取，获得害虫轮廓；将害虫轮廓和各种不同种类害虫的轮廓模板进行对比，确定和害虫轮廓相似度最高的至少一个轮廓模板对应的害虫种类为第一备选害虫种类；采用预先训练获得的各种不同害虫种类的害虫分类器中各个第一备选害虫种类对应的害虫分类器，分别对植物图像的害虫区域进行识别，确定植物图像对应害虫种类。
本申请中在采用图像识别的方式对植物的害虫进行识别研究时，对每种不同种类的害虫都预先训练了害虫分类器，且在采集得到植物图像之后，先利用轮廓模板对害虫的种类进行粗略筛选识别，确定出植物上的害虫最可能的害虫种类，缩小害虫种类判断的范围；再分别通过各个害虫分类器逐一确认识别判断该害虫属于最可能的害虫种类中的哪一种类。相对于常规的害虫图像分类器或者模型对植物害虫的识别，本申请中的害虫分类器能够在极大程度上提高害虫识别的精度，有利于害虫自动化识别为提高植物产量提供贡献。
本申请还提供了一种植物害虫图像识别装置、设备以及计算机可读存储介质，具有上述有益效果。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的植物害虫图像识别方法的流程示意图；
图2为本申请实施例提供的多种害虫的轮廓模板示意图；
图3为本申请实施例提供的另一植物害虫图像识别方法的流程示意图；
图4为本发明实施例提供的植物害虫图像识别装置的结构框图。
具体实施方式
目前常规的对植物害虫的图像识别，一般是以多个不同种类的害虫拍摄害虫样本图像进行机器学习训练，获得害虫种类识别器；将采集的害虫图像输入害虫种类识别器中，即可输出该害虫图像对应的害虫种类。也即是说现有技术中是采用一个害虫种类识别器识别出多种不同种类的害虫，这种识别方式的害虫种类识别器识别害虫的种类往往非常有限，且因为需要识别多种不同的害虫，在一定程度上就降低了识别的准确度。
为此，本申请中提供了一种能够提高害虫种类识别准确度的植物害虫图像识别的技术方案。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，图1为本申请实施例提供的植物害虫图像识别方法的流程示意图，该方法可以包括：
S11：对采集到的植物图像进行灰度化处理，获得灰度图像。
本实施例中的植物图像主要采集于田间植物，可以借助于无人机或者在田间移动的工具车等携带摄像头采集大量的植物图像进行分析灰度处理。
当然，为了提高后续害虫种类识别的准确性，避免环境光线对图像采集产生的干扰，在采集到植物图像之后，可以先对植物图像进行去噪声处理，提升后续害虫识别的准确度，再将去噪后的灰度图像转换为灰度图像。
S12：对灰度图像中的害虫区域进行识别提取，获得害虫轮廓。
可以采用阈值分割法对灰度图像中害虫成像的害虫区域进行提取识别。
一般情况下害虫主要存留在植物的叶片上，害虫的颜色尤其是其轮廓颜色和植物叶片的颜色都存在较大的区别。为此可以以此作为识别灰度图像中害虫区域的依据。设定预定阈值，分割出灰度图像中害虫成像的区域，进而确定害虫的轮廓形状。
S13：将害虫轮廓和各种不同种类害虫的轮廓模板进行对比，确定害虫轮廓相似度最高的至少一个轮廓模板对应的对应的害虫种类为第一备选害虫种类。
如图2所示，图2为本申请实施例提供的多种害虫的轮廓模板示意图。将可以将害虫轮廓和轮廓模板的进行像素点重合度对比，获得像素点重合度比例。
像素点重合度比例可以为1-不重合的像素个数/重合的像素个数。显然，像素点重合度比例最高，表面害虫轮廓和轮廓模版相似度最高由此可以选取出相似度最高的至少一种备选害虫种类。通常情况下，为了提高害虫识别的准确性，可以选取两到三种相似度最高的轮廓模板对应的害虫种类，作为初次害虫种类筛选的结果。
当然，也可以设定一个预设相似度概率阈值，和灰度图像中害虫区域轮廓达到预设相似度概率阈值的轮廓模板对应的害虫种类均可以作为筛选出的备选害虫种类。
S14：采用预先训练获得的各种不同害虫种类的害虫分类器中各个第一备选害虫种类对应的识别器，分别对植物图像的害虫区域进行识别，确定植物图像对应害虫种类。
需要说明的是，本申请中预先针对已知的每一种害虫均分别训练获得对应的害虫分类器，在进行害虫种类分类识别时，只需要将采集到的植物图像输入到害虫分类器中，即可确定该植物图像中的害虫是或者不是害虫分类器对应的靶标害虫，若该植物图像中的害虫是害虫分类器对应的靶标害虫，也即确定了该植物图像中的害虫的种类；相对于同时区分多种害虫类型的分类器而言，针对一种害虫识别的分类器能够在很大程度上提高识别分析的准确性。
但是，若是将植物图像分别通过各个不同种类的害虫分类器逐个识别，在面对害虫种类繁多的情况下，害虫分类器识别植物图像的运算过程过于繁琐，且运算量较大。
为此，本实施例中在利用害虫分类器识别植物图像中的害虫之前，先通过轮廓模板对比对植物图像中害虫种类进行了初步筛选，缩小后续害虫分类器对植物图像中害虫种类进行识别的范围，从而避免将植物图像输入每个害虫分类器中进行各个害虫种类的识别，简化害虫分类器的害虫种类识别过程。
综上所述，本申请中针对每种种类的害虫单独进行机器学习获得每种害虫的害虫分类器，因为每个害虫分类器是针对单独一种害虫进行训练获得的，在保证了每种害虫分类器对害虫识别的准确性。在此基础上，为避免害虫分类器数量较多各个害虫分类器逐一识别植物图像造成的运算量大的问题，在采用不同种类害虫的识别器识别植物图像中的害虫之前，先基于植物图像中害虫区域的轮廓形状与害虫的轮廓模板进行对比，实现植物图像对应的害虫种类的粗略筛选，缩小害虫分类器识别的范围，进而简化后续害虫分类器对植物图像中害虫的识别过程。由此可见，本申请中对植物图像中害虫的识别能够在保证识别的准确性的基础上，简化识别过程，有利于植物害虫的自动化识别的应用和发展。
基于上述实施例，在利用各个害虫分类器对植物图像对应的害虫进行识别之前，对植物图像中害虫的种类进行初步筛选过程中，也并不仅仅是利用害虫区域的轮廓特征进行害虫轮廓模板进行筛选。在本申请的可选的实施例中，还提供了另一种对植物图像中害虫的种类进行初步筛选的方法，该筛选过程可以包括：
S21：在获得害虫轮廓之后，基于害虫轮廓分割出植物图像中的害虫区域。
S22：将害虫区域由RGB格式转换为HSV格式，并提取颜色特征。
害虫的颜色特征可以包括有颜色直方图、颜色集和颜色矩。
S23：将颜色特征和各种不同种类害虫的标准颜色特征对比，确定颜色特征相似度最高的至少一个标准颜色特征对应的害虫种类为第二备选害虫种类。
对于对于不同种类的植物害虫，其表面的花纹、颜色等各不相同，而花纹、颜色等信息均可以通过害虫在植物图像中成像的害虫区域的颜色特征进行识别确定。为此，可以以植物图像中的害虫区域的颜色特征作为植物害虫种类初步筛选的依据。
和上述实施例中，通过害虫轮廓模板筛选多种第一备选害虫种类的方式类似，也可以筛选出几个多种第二备选害虫种类作为备选害虫种类。筛选过程中，同样选取至少一个和植物图像中害虫颜色特征最为近似的标准颜色特征对应的害虫种类为备选害虫种类。
在基于颜色特征筛选对植物图像中的害虫种类进行初步筛选后，得到第二备选害虫种类，同样采用各个第二备选害虫种类对应的害虫分类器对植物图像进行识别，最终确定植物图像中害虫的种类。
在实际应用过程中，对植物图像中害虫种类进行初步筛选确定备用害虫种类的范围时，可以仅仅采用害虫的轮廓模板或者标准颜色特征中的一种对害虫种类进行初步筛选。当然为了提高初步筛选的准确性，避免漏选的情况，也可以分别采用轮廓模板或者标准颜色特征分别进行害虫种类的初步筛选，从而分别获得两种特征筛选的第一备选害虫种类和第二备选害虫种类，以第一备选害虫种类和第二备选害虫种类共同作为备选害虫种类，并以备选害虫种类对应的识别器对植物图像进行识别。
在本申请的另一可选地实施例中，还可以进一步地包括：
在基于轮廓模板筛选出多个第一备选害虫种类之后，基于各个第一备选害虫种类对应的标准颜色特征对植物图像中害虫区域的颜色特征进行对比，确定颜色特征相似度最高的至少一个标准颜色特征对应的害虫种类为第二备选害虫种类。
也即是说，本申请中还可以先通过轮廓模版筛选出第一备选害虫种类之后，再基于颜色特征对比从多个第一备选害虫种类中进一步筛选出第二备选害虫种类，再以该第二备选害虫种类作为备选害虫种类，并采用对应的识别器对植物图像进行识别。
基于上述任意实施例，在本申请的一种可选地实施例中，采用识别器对植物图像进行害虫种类识别的过程可以包括：
S31：采用Hog算法提取植物图像中的害虫区域的第一纹理特征，并采用灰度共生矩阵对植物图像中的害虫区域提取第二纹理特征。
对于图像的纹理特征可以包括灰度矩阵的对比度、角二阶矩、相关性、熵、逆差矩、差异熵等等；采用Hog算法和灰度共生矩阵均是对植物图像的害虫区域的纹理特征进行提取，但是提取纹理特征的角度各不相同。
HOG特征的提取是将植物图像灰度化和进行Gamma预处理，首先对昆虫图像区域的每个像素用计算横纵轴两个方向的卷积核进行梯度计算。以64个像素为一个细胞，统计每个细胞区域的梯度的方向和大小，得到每个细胞的梯度直方图(9维)，以4个细胞作为一个block，每个block的梯度直方图为36维，一个昆虫区域包含105个block，这样每一个昆虫图像区域就得到了3780维的HOG特征向量。
S32：将第一纹理特征输入至预先训练的备选害虫种类对应的SVM向量机中，确定第一识别结果，并将第二纹理特征输入至预先训练的备选害虫种类对应的BP神经网络模型中，确定第二识别结果。
可以理解的是，本实施例中的备选害虫种类，可以是仅仅根据害虫的轮廓模板筛选确定的备选害虫种类，也可以是根据害虫的标准颜色特征筛选确定的备选害虫种类，还可以是分别根据害虫的轮廓模板以及标准颜色特征筛选确定的备选害虫种类。
本实施例中预先训练获得的每种害虫种类对应的害虫分类器包括SVM向量机和BP神经网络模型。SVM向量机和BP神经网络模型均是预先通过采集害虫样本进行机器学习确定的，例如，针对某一种靶标害虫的SVM向量机的训练过程可以包括：提取1000张靶标害虫和非靶标害虫图像的HOG特征向量，这些HOG特征向量作为SVM向量机的输入向量，SVM会根据自身的算法原理进行一系列的推导运算最终得到一个预测函数，这个预测函数就是将某一单种靶标害虫图像和非靶标害虫图像区分开来的二分类器。对10种靶标害虫都用SVM向量机构建二分类器。该训练过程和常规的SVM向量机的训练过程类似，同理BP神经网络模型也训练过程和常规的训练过程类似，对此，本实施例中不进行详细说明。
S33：结合每个所述第一备选害虫种类对应的所述第一识别结果和所述第二识别结果，确定所述植物图像对应害虫种类。
相应地，本实施例中每种害虫的害虫器均设置两种，一种为SVM向量机，另一种为BP神经网络模型。HOG算法提取的纹理特征输入到SVM向量机中，灰度共生矩阵算法提取的纹理特征输入到BP神经网络模型中。两种识别器同时运行，BP神经网络模型的运行结果为植物图像中的害虫为靶标害虫和非靶标害虫的概率；靶标害虫也即是识别器对应种类的害虫。SVM向量机则为植物图像的害虫为靶标害虫还是非靶标害虫，最终的识别结果取两个害虫分类器识别结果的折中结果，从而提高植物图像中害虫种类的识别结果的准确度。
基于SVM向量机和BP神经网络模型的识别特性，当SVM向量机识别植物图像的害虫是SVM向量机对应的靶标害虫，则第一识别结果为1，当SVM向量机识别植物图像的害虫不是SVM向量机对应的靶标害虫，则第一识别结果为0；
第二识别结果为植物图像中害虫是BP神经网络模型对应的靶标害虫的概率。
由此，在基于第一识别结果和第二识别结果确定植物对应的害虫种类时，可以将每种害虫对应的害虫分类器的SVM向量机和BP神经网络模型输出的第一识别结果和第二识别结果进行加权求和运算考虑到第一识别结果仅仅只有0和1两种结果，相对于第二识别结果波动性更大，为此，可以设定第一识别结果的权重系数小于第二识别结果的权重系数。那么，对于各个备选害虫种类对应的第一识别结果和第二识别结果的加权求和运算结果必然各不相同，而求和运算结果的大小也直接反映加权求和运算结果对应的备选害虫种类为植物图像中害虫种类的可能性大小，因此可以将最大的求和运算结果对应的备选害虫种类为植物图像对应的害虫种类。
当然，为了提高识别结果的准确度，还可以设定一个运算结果阈值，只有第一识别结果和第二识别结果的加权求和运算结果不小于运算结果阈值，且在所有的加权求和运算结果中最大，其对应的备选害虫种类才是植物图像对应的害虫种类。
基于上述任意实施例，如图3所示，图3为本申请实施例提供的另一植物害虫图像识别方法的流程示意图，该识别方法可以包括：
S41：预先对已知的各种害虫进行机器学习训练，获得每种害虫的SVM向量机和BP神经网络模型。
S42：采集待检测植物的植物图像，并提取植物图像中的害虫区域。
S43：将害虫区域的害虫轮廓和各种不同种类害虫的轮廓模板进行对比，筛选对应轮廓模板和害虫轮廓相似度最高的第一备选害虫种类。
S44：将提取害虫区域的颜色特征，将颜色特征和各种不同种类害虫的标准颜色特征对比，确定颜色特征相似度最高的至少一个标准颜色特征对应的第二备选害虫种类。
S45：将植物图像的害虫区域输入每个备选害虫种类对应的SVM向量机，获得第一识别结果。
该备选害虫种类包括第一备选害虫种类和第二备选害虫种类。
S46：将植物图像的害虫区域输入每个备选害虫种类对应的BP神经网络模型，获得第二识别结果。
S47：将每个备选害虫种类对应的第一识别结果和第二识别结果进行加权求和运算，以最大的加权求和运算结果对应的备选害虫种类为植物图像对应的害虫种类。
需要说明的是，本实施例中的S43与S44不存在必然的先后顺序，在实际应用过程中，可以并行进行；而S45和S46也可以并行进行。
在植物生长过程中，对植物造成危害的还包括病害和幼虫。为此，在本申请的另一可选地实施例中，还可以进一步地包括：
采用K-均值聚类算法对所述植物图像中病害侵染和受害虫啃咬区域进行分割提取，获得危害状区域；
利用预先训练的第一深度神经网络模型对所述危害状区域进行识别，获得植物受损程度。
病害一般容易在植物的茎、叶上产生斑点，而受害虫啃咬的植物，在茎、叶上会形成缺口，在图像成像上斑点和缺口具有一定的相似性。且产生斑点和缺口区域的颜色和周边正常叶片或茎的颜色均存在差异，由此可以以此为依据采用K-均值聚类算法识别出病害侵染和受害虫啃咬区域对应的危害状区域，再基于深度神经网络模型确定植物受损程度，为植物生长提供可靠的数据依据。
考虑到，在植物表面往往除了附着有成虫以外，还往往附着有类似于虫卵等幼虫，幼虫也是能够对植物产生危害的原因之一，为此，在本申请的另一可选地实施例中，还可以包括：
采用阈值分割法提取植物图像中的幼虫成像区域；
利用预先训练好的第二神经网络模型对幼虫成像区域进行识别，确定幼虫种类。
对于不同种类害虫的虫卵，一般都具有明显的外形特征且颜色一般较为白色等鲜亮颜色。为此，本实施例中可以先利用阈值分割法分割出植物图像中的幼虫成像区域，在基于幼虫成像区域进行深度神经网络的识别，进而确定幼虫的种类，从而在能够识别成虫的基础上还能够进一步识别幼虫，有利于更全面的获得植物生长过程中危害状信息，为保证植物良好生长提供全面的理论依据。
下面对本发明实施例提供的植物害虫图像识别装置进行介绍，下文描述的植物害虫图像识别装置与上文描述的植物害虫图像识别方法可相互对应参照。
图4为本发明实施例提供的植物害虫图像识别装置的结构框图，参照图4的植物害虫图像识别装置可以包括：
图像处理模块100，用于对采集到的植物图像进行灰度化处理，获得灰度图像；
轮廓提取模块200，用于对所述灰度图像中的害虫区域进行识别提取，获得害虫轮廓；
第一近似识别模块300，用于将所述害虫轮廓和各种不同种类害虫的轮廓模板进行对比，确定和所述害虫轮廓相似度最高的至少一个所述轮廓模板对应的害虫种类为第一备选害虫种类；
种类识别模块400，用于采用预先训练获得的各种不同害虫种类的害虫分类器中各个所述第一备选害虫种类对应的识别器，分别对所述植物图像的害虫区域进行识别，确定所述植物图像对应害虫种类。
在本申请的一种可选地实施例中，还包括第二近似识别模块，用于在获得害虫轮廓之后，基于所述害虫轮廓分割出所述植物图像中的害虫区域；将所述害虫区域由RGB格式转换为HSV格式，并提取颜色特征；将所述颜色特征和各种不同种类害虫的标准颜色特征对比，确定和所述颜色特征相似度最高的至少一个所述标准颜色特征对应的害虫种类为第二备选害虫种类；
相应地，所述种类识别模块400，用于采用所述第一备选害虫种类和所述第二备选害虫种类对应的害虫分类器，分别对所述植物图像的害虫区域进行识别。
在本申请的一种可选地实施例中，第一近似识别模块300，用于将所述害虫轮廓和所述轮廓模板的进行像素点重合度对比，获得像素点重合度比例。
在本申请的一种可选地实施例中，预先训练获得的每种害虫种类对应的害虫分类器包括SVM向量机和BP神经网络模型；
所述种类识别模块400，用于采用Hog算法提取所述植物图像中的害虫区域的第一纹理特征，并采用灰度共生矩阵对所述植物图像中的害虫区域提取第二纹理特征；将所述第一纹理特征输入至所述第一备选害虫种类对应的SVM向量机中，确定第一识别结果；并将所述第二纹理特征输入至所述第一备选害虫种类对应的BP神经网络模型中，确定第二识别结果；结合每个所述第一备选害虫种类对应的所述第一识别结果和所述第二识别结果，确定所述植物图像对应害虫种类。
在本申请的一种可选地实施例中，当所述SVM向量机识别所述植物图像的害虫是所述SVM向量机对应的靶标害虫，则所述第一识别结果为1，当所述SVM向量机识别所述植物图像的害虫不是所述SVM向量机对应的靶标害虫，则所述第一识别结果为0；
所述第二识别结果为所述植物图像中害虫是所述BP神经网络模型对应的靶标害虫的概率；
相应地，所述种类识别模块400，用于将各个所述第一备选害虫种类对应的第一识别结果和所述第二识别结果进行求和运算，以最大的求和运算结果对应的第一备选害虫种类为所述植物图像对应的害虫种类。
在本申请的一种可选地实施例中，还可以包括受损程度模块，用于采用K-均值聚类算法对所述植物图像中病害侵染和受害虫啃咬区域进行分割提取，获得危害状区域；利用预先训练的第一深度神经网络模型对所述危害状区域进行识别，获得植物受损程度。
在本申请的一种可选地实施例中，还可以包括幼虫识别模块，用于采用阈值分割法提取所述植物图像中的幼虫成像区域；利用预先训练好的第二神经网络模型对所述幼虫成像区域进行识别，确定幼虫种类。
本实施例的植物害虫图像识别装置用于实现前述的植物害虫图像识别方法，因此植物害虫图像识别装置中的具体实施方式可见前文中的植物害虫图像识别方法的实施例部分，在此不再赘述。
本申请还提供了一种植物害虫图像识别设备的实施例，该设备可以包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现如上任一项所述的植物害虫图像识别方法的步骤。
本实施例中的处理器执行实现上述任意实施例的植物害虫图像识别方法，先对植物图像中的害虫种类进行初步筛选，大体确定害虫种类的范围之后，在采用筛选确定的害虫种类范围对应的害虫分类器对各个植物图像中的害虫种类进行逐一精确识别，在保证运算过程简单的基础上，保证运算结果的准确性，有利于植物害虫图像自动化识别技术的应用和发展。
本申请还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上任一项的植物害虫图像识别方法的步骤。
该计算机存储介质可以是随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。另外，本申请实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种植物害虫图像识别方法，其特征在于，包括：
对采集到的植物图像进行灰度化处理，获得灰度图像；
对所述灰度图像中的害虫区域进行识别提取，获得害虫轮廓；
将所述害虫轮廓和各种不同种类害虫的轮廓模板进行对比，确定和所述害虫轮廓相似度最高的至少一个所述轮廓模板对应的害虫种类为第一备选害虫种类；
采用预先训练获得的各种不同害虫种类的害虫分类器中各个所述第一备选害虫种类对应的害虫分类器，分别对所述植物图像的害虫区域进行识别，确定所述植物图像对应害虫种类。
2.如权利要求1所述的植物害虫图像识别方法，其特征在于，在获得害虫轮廓之后，还包括：
基于所述害虫轮廓分割出所述植物图像中的害虫区域；
将所述害虫区域由RGB格式转换为HSV格式，并提取颜色特征；
将所述颜色特征和各种不同种类害虫的标准颜色特征对比，确定和所述颜色特征相似度最高的至少一个所述标准颜色特征对应的害虫种类为第二备选害虫种类；
相应地，采用预先训练获得的各种不同害虫种类的害虫分类器中各个所述第一备选害虫种类对应的识别器，分别对所述植物图像的害虫区域进行识别，包括：
采用所述第一备选害虫种类和所述第二备选害虫种类对应的害虫分类器，分别对所述植物图像的害虫区域进行识别。
3.如权利要求1所述的植物害虫图像识别方法，其特征在于，将所述害虫轮廓和各种不同种类害虫的轮廓模板进行对比，包括：
将所述害虫轮廓和所述轮廓模板的进行像素点重合度对比，获得像素点重合度比例。
4.如权利要求1至3任一项所述的植物害虫图像识别方法，其特征在于，预先训练获得的每种害虫种类对应的害虫分类器包括SVM向量机和BP神经网络模型；
相应地，采用预先训练获得的各种不同害虫种类的害虫分类器中各个所述第一备选害虫种类对应的识别器，分别对所述植物图像的害虫区域进行识别，确定所述植物图像对应害虫种类，包括：
采用Hog算法提取所述植物图像中的害虫区域的第一纹理特征，并采用灰度共生矩阵对所述植物图像中的害虫区域提取第二纹理特征；
将所述第一纹理特征输入至所述第一备选害虫种类对应的SVM向量机中，确定第一识别结果；并将所述第二纹理特征输入至所述第一备选害虫种类对应的BP神经网络模型中，确定第二识别结果；
结合每个所述第一备选害虫种类对应的所述第一识别结果和所述第二识别结果，确定所述植物图像对应害虫种类。
5.如权利要求4所述的植物害虫图像识别方法，其特征在于，当所述SVM向量机识别所述植物图像的害虫是所述SVM向量机对应的靶标害虫，则所述第一识别结果为1，当所述SVM向量机识别所述植物图像的害虫不是所述SVM向量机对应的靶标害虫，则所述第一识别结果为0；
所述第二识别结果为所述植物图像中害虫是所述BP神经网络模型对应的靶标害虫的概率；
相应地，结合每种所述第一备选害虫种类对应的所述第一识别结果和所述第二识别结果，确定所述植物图像对应害虫种类，包括：
将各个所述第一备选害虫种类对应的第一识别结果和所述第二识别结果进行加权求和运算，以最大的加权求和运算结果对应的第一备选害虫种类为所述植物图像对应的害虫种类，其中所述第一识别结果的权重系数小于所述第二识别结果的权重系数。
6.如权利要求1所述的植物害虫图像识别方法，其特征在于，还包括：
采用K-均值聚类算法对所述植物图像中病害侵染和受害虫啃咬区域进行分割提取，获得危害状区域；
利用预先训练的第一深度神经网络模型对所述危害状区域进行识别，获得植物受损程度。
7.如权利要求1所述的植物害虫图像识别方法，其特征在于，还包括：
采用阈值分割法提取所述植物图像中的幼虫成像区域；
利用预先训练好的第二神经网络模型对所述幼虫成像区域进行识别，确定幼虫种类。
8.一种植物害虫图像识别装置，其特征在于，包括：
图像处理模块，用于对采集到的植物图像进行灰度化处理，获得灰度图像；
轮廓提取模块，用于对所述灰度图像中的害虫区域进行识别提取，获得害虫轮廓；
第一近似识别模块，用于将所述害虫轮廓和各种不同种类害虫的轮廓模板进行对比，确定和所述害虫轮廓相似度最高的至少一个所述轮廓模板对应的害虫种类为第一备选害虫种类；
种类识别模块，用于采用预先训练获得的各种不同害虫种类的害虫分类器中各个所述第一备选害虫种类对应的识别器，分别对所述植物图像的害虫区域进行识别，确定所述植物图像对应害虫种类。
9.一种植物害虫图像识别设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现如权利要求1至7任一项所述的植物害虫图像识别方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的植物害虫图像识别方法的步骤。
CN202011314482.XA 2020-11-20 2020-11-20 植物害虫图像识别方法、装置、设备及存储介质 Pending CN112257730A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011314482.XA CN112257730A (zh) 2020-11-20 2020-11-20 植物害虫图像识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011314482.XA CN112257730A (zh) 2020-11-20 2020-11-20 植物害虫图像识别方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN112257730A true CN112257730A (zh) 2021-01-22

Family

ID=74225043

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011314482.XA Pending CN112257730A (zh) 2020-11-20 2020-11-20 植物害虫图像识别方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112257730A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113255440A (zh) * 2021-04-13 2021-08-13 山东农业大学 一种基于机器学习的农作物叶片异常检测方法及系统
CN113647281A (zh) * 2021-07-22 2021-11-16 盘锦光合蟹业有限公司 一种除草方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103440488A (zh) * 2013-09-03 2013-12-11 江苏物联网研究发展中心 一种虫害识别的方法
CN105046280A (zh) * 2015-08-10 2015-11-11 北京小豹科技有限公司 一种衣柜智能管理装置及方法
CN105488536A (zh) * 2015-12-10 2016-04-13 中国科学院合肥物质科学研究院 一种基于多特征深度学习技术的农田害虫图像识别方法
CN107292891A (zh) * 2017-06-20 2017-10-24 华南农业大学 一种基于机器视觉的南方蔬菜重大害虫的检测计数方法
CN107346434A (zh) * 2017-05-03 2017-11-14 上海大学 一种基于多特征及支持向量机的植物病虫害检测方法
CN109859181A (zh) * 2019-01-29 2019-06-07 桂林电子科技大学 一种pcb焊点缺陷检测方法
CN110796148A (zh) * 2019-10-12 2020-02-14 广西大学 一种荔枝虫害监测识别系统和监测识别方法
CN111310628A (zh) * 2020-02-10 2020-06-19 武汉科技大学 一种基于纸币印刷图案特征的纸币形成方式检验鉴定方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103440488A (zh) * 2013-09-03 2013-12-11 江苏物联网研究发展中心 一种虫害识别的方法
CN105046280A (zh) * 2015-08-10 2015-11-11 北京小豹科技有限公司 一种衣柜智能管理装置及方法
CN105488536A (zh) * 2015-12-10 2016-04-13 中国科学院合肥物质科学研究院 一种基于多特征深度学习技术的农田害虫图像识别方法
CN107346434A (zh) * 2017-05-03 2017-11-14 上海大学 一种基于多特征及支持向量机的植物病虫害检测方法
CN107292891A (zh) * 2017-06-20 2017-10-24 华南农业大学 一种基于机器视觉的南方蔬菜重大害虫的检测计数方法
CN109859181A (zh) * 2019-01-29 2019-06-07 桂林电子科技大学 一种pcb焊点缺陷检测方法
CN110796148A (zh) * 2019-10-12 2020-02-14 广西大学 一种荔枝虫害监测识别系统和监测识别方法
CN111310628A (zh) * 2020-02-10 2020-06-19 武汉科技大学 一种基于纸币印刷图案特征的纸币形成方式检验鉴定方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
余小高: "《基于大数据的高风险学生预测研究》", 31 May 2019, 厦门大学出版社, pages: 122 - 125 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113255440A (zh) * 2021-04-13 2021-08-13 山东农业大学 一种基于机器学习的农作物叶片异常检测方法及系统
CN113255440B (zh) * 2021-04-13 2022-11-25 山东农业大学 一种基于机器学习的农作物叶片异常检测方法及系统
CN113647281A (zh) * 2021-07-22 2021-11-16 盘锦光合蟹业有限公司 一种除草方法及系统

Similar Documents

Publication Publication Date Title
Amara et al. A deep learning-based approach for banana leaf diseases classification
CN111178197B (zh) 基于Mask R-CNN和Soft-NMS融合的群养粘连猪实例分割方法
Al Bashish et al. Detection and classification of leaf diseases using K-means-based segmentation and
Al-Hiary et al. Fast and accurate detection and classification of plant diseases
Han et al. A novel computer vision-based approach to automatic detection and severity assessment of crop diseases
Tamilselvi et al. Unsupervised machine learning for clustering the infected leaves based on the leaf-colours
CN108520215B (zh) 基于多尺度联合特征编码器的单样本人脸识别方法
CN110909618A (zh) 一种宠物身份的识别方法及装置
CN110458007B (zh) 匹配人脸的方法、装置、计算机设备和存储介质
CN112464983A (zh) 一种用于苹果树叶病害图像分类的小样本学习方法
Patki et al. Cotton leaf disease detection & classification using multi SVM
CN112257730A (zh) 植物害虫图像识别方法、装置、设备及存储介质
CN111539320B (zh) 基于互相学习网络策略的多视角步态识别方法及系统
CN111539293A (zh) 一种果树病害诊断方法及系统
Gupta et al. Rice diseases multi-classification: An image resizing deep learning approach
CN113989799A (zh) 一种宫颈异常细胞识别方法、装置和电子设备
Pushpa et al. Deep learning model for plant species classification using leaf vein features
CN116245855B (zh) 作物品种鉴定方法、装置、设备及存储介质
CN112418085B (zh) 一种部分遮挡工况下的面部表情识别方法
Abraham Plasmodium detection using simple CNN and clustered GLCM features
CN111460864B (zh) 一种基于图像识别的动物疾病检测方法
CN113192022A (zh) 基于深度学习的病原孢子识别计数方法和装置
Marcuzzo et al. A hybrid approach for Arabidopsis root cell image segmentation
Santhosh et al. Detection of leaf diseases and classifying them using multiclass SVM
Singh et al. A Survey on Intelligent Techniques for Disease Recognition in Agricultural Crops

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination