CN112528726B - 一种基于光谱成像和深度学习的棉蚜虫害监测方法及系统 - Google Patents

一种基于光谱成像和深度学习的棉蚜虫害监测方法及系统 Download PDF

Info

Publication number
CN112528726B
CN112528726B CN202011094117.2A CN202011094117A CN112528726B CN 112528726 B CN112528726 B CN 112528726B CN 202011094117 A CN202011094117 A CN 202011094117A CN 112528726 B CN112528726 B CN 112528726B
Authority
CN
China
Prior art keywords
image
cotton plant
cotton
type
spectrum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011094117.2A
Other languages
English (en)
Other versions
CN112528726A (zh
Inventor
高攀
鄢天荥
吕新
徐巍
林皎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shihezi Jingzhe Information Technology Co.,Ltd.
Original Assignee
Shihezi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shihezi University filed Critical Shihezi University
Priority to CN202011094117.2A priority Critical patent/CN112528726B/zh
Publication of CN112528726A publication Critical patent/CN112528726A/zh
Application granted granted Critical
Publication of CN112528726B publication Critical patent/CN112528726B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Catching Or Destruction (AREA)

Abstract

本发明公开一种基于光谱成像和深度学习的棉蚜虫害监测方法及系统，涉及虫害病情监测技术领域，利用高光谱成像系统，获得棉叶的高光谱图像，以单片棉叶作为感兴趣区，提取得到单叶的高光谱图像，最终计算平均光谱和一阶导数光谱，充分利用光谱信息和深度学习技术，使用可视化技术发现各波段重要性，选择重要波段进行监测预警；使用三维卷积神经网络对单叶的高光谱图像进行学习，选择可见光和近红外波段范围内的高光谱图像，使用可视化技术生成显著性图，可以发现受棉蚜胁迫的棉叶损伤部位。本发明能够快速监测棉株是否受棉蚜虫害胁迫。

Description

一种基于光谱成像和深度学习的棉蚜虫害监测方法及系统
技术领域
本发明涉及虫害病情监测技术领域，特别是涉及一种基于光谱成像和深度学习的棉蚜虫害监测方法及系统。
背景技术
棉花富含纤维素，是天然纺织品的最大来源，在全球经济具有重要地位。然而，棉花在六个月的生长期内很容易受到害虫的危害，棉蚜是棉花中最具入侵性的害虫之一。棉蚜虫害不加以控制，很有可能在短期内迅速扩散，使得棉花的产量大大降低。
目前，防治棉蚜的方式主要以被动防治为主，过度依赖农药以控制棉蚜虫害，使得后期的棉蚜表现出抗性。这种方式使得后期防治效果越来越差，此外，加大农药使用量对环境也会造成一定破坏。
随着数字图像的精度提高，计算机视觉领域的快速发展，基于图像的虫害病情监测已经得到广泛应用，目前已经存在大量的基于图像的虫害监测技术和软件，然而这些技术和软件专注于识别容易分辨的中大型害虫，对于棉蚜等小型害虫识别效果基本不佳。其次，棉蚜等小型害虫的监测效果与图像质量息息相关，使得棉蚜虫害监测工作的效果对拍摄设备的分辨率过度依赖，不能准确的监测棉蚜虫害。
光谱成像技术是基于多波段的影像数据技术，它将成像技术与光谱技术相结合，探测目标的二维几何空间及一维光谱信息，可以针对研究对象进行快速无损的分析。深度学习是机器学习的一个领域，旨在学习样本数据的内在规律和表示层次，它的最终目标是发现并学习数据内部的规律。
目前已经存在利用光谱成像和深度学习技术对虫害进行监测。在光谱成像技术方面，只是将棉花冠层的平均光谱进行处理和计算，并预测高光谱图像的每一个像素点光谱的等级，根据每一个像素点光谱的等级对棉蚜虫害进行监测，存在“以点概面”的误差。在深度学习技术方面，主要基于卷积神经网络识别RGB图像中棉蚜，需要近距离拍摄棉蚜，且对拍摄设备具有高像素成像要求，很难应用到大规模监测中。
对目前检索到的相关专利“棉花蕾期蚜害棉花冠层光谱特征提取及等级估测方法”(申请号：201911087521.4，申请日：2019-11-08)、“一种基于卷积神经网络的棉蚜识别方法”(申请号：201911127841.8，申请日：2019-11-18)和“基于无人机成像的农田棉蚜为害等级模型的监测方法”(申请号：201911111389.6，申请日：2020-03-23)进行分析可知，现有基于光谱成像的棉蚜虫害监测技术仅关注棉蚜虫害等级估测，从光谱角度进行虫害等级估测，对高光谱图像中的光谱进行预测，并没有完全利用光谱成像技术的成像特性，没有关注棉叶因为棉蚜胁迫后的损伤部位。现有技术根据棉蚜数量造成的光谱变化进行棉蚜虫害等级估测，将棉花冠层的平均光谱进行处理和计算，并预测高光谱图像的每一个像素点光谱的等级，存在“以点概面”的误差。同时只能从大尺度评估棉花受到棉蚜胁迫的情况，不能像素级的可视化棉叶因虫害造成的损伤部位。即现有技术只关注棉蚜虫害等级估测，并未关注棉叶损害部位所导致的结果。现有棉蚜虫害监测技术仍然停留在传统的波段选择方法。波段选择方法依据是否独立于后续的学习算法，可分为过滤式和封装式。过滤式波段选择方法一般使用评价准则来增强特征与类的相关性，削减特征之间的相关性，可将评价函数分成4类：距离度量、信息度量、依赖性度量以及一致性度量。代表算法为方差法(波段是否发散，如果方差接近于0，说明该波段基本没有差异，对于样本的区分基本无用，应该删去)和相关系数法(常用皮尔森相关系数衡量波段与样本标签之间的相关性，保留相关性高的波段)。封装式波段选择方法将特征选择算法作为学习算法的一个组成部分，并且直接使用分类性能作为特征重要性程度的评价标准。它的依据是采用能在分类器(主要包括线性逻辑回归模型、支持向量机和决策树)取得较高分类性能的波段，从而进行波段选择，组成波段子集。常见算法有递归特征消除法RFE和蚁群算法。传统的波段选择方法需要大量的试验，最终选择合适的波段范围，不但工作量极大，而且很难挑选出合适的波段范围。过滤式波段选择方法注重评价函数的试错过程。封装式波段选择方法的效果不仅和分类器有关，也和自身有关。
综上，本领域亟需一种新的基于光谱成像和深度学习的棉蚜虫害监测技术，以充分利用光谱信息和深度学习技术，使用可视化技术发现各波段重要性，选择重要波段进行监测预警，快速监测棉株是否受棉蚜虫害胁迫，提高棉蚜虫害监测预警的时效性。
发明内容
本发明的目的是提供一种基于光谱成像和深度学习的棉蚜虫害监测方法及系统，能够快速监测棉株是否受棉蚜虫害胁迫。
为实现上述目的，本发明提供了如下方案：
一种基于光谱成像和深度学习的棉蚜虫害监测方法，所述方法包括：
获取自然生长条件状态下的第一类棉株图像和第二类棉株图像；所述第一类棉株图像包括受棉蚜胁迫程度不断加深的棉株图像；所述第二类棉株图像包括健康棉株图像；
分别对所述第一类棉株图像和所述第二类棉株图像进行校准，得到校准后的第一类棉株图像和校准后的第二类棉株图像；
分别对所述校准后的第一类棉株图像和所述校准后的第二类棉株图像提取感兴趣区图像，得到第一类感兴趣区图像和第二类感兴趣区图像；
分别对所述第一类感兴趣区图像和所述第二类感兴趣区图像计算各个波段的平均光谱，得到第一类平均光谱和第二类平均光谱；
分别对所述第一类平均光谱和所述第二类平均光谱计算各个波段的一阶导数光谱，得到第一类一阶导数光谱和第二类一阶导数光谱；
利用所述第一类一阶导数光谱和所述第二类一阶导数光谱对第一卷积神经网络进行训练和优化，得到训练和优化后的第一卷积神经网络；
利用可视化分析技术对所述训练和优化后的第一卷积神经网络进行可视化分析，选择敏感波段；
利用各所述敏感波段的一阶导数光谱对所述训练和优化后的第一卷积神经网络进行训练和优化，得到训练和优化后的第二卷积神经网络；所述第二卷积神经网络和所述第一卷积神经网络均为一维卷积神经网络；
获取待监测棉株图像的一阶导数光谱；
将所述待监测棉株图像的一阶导数光谱输入所述训练和优化后的第二卷积神经网络中，对所述待监测棉株图像进行分类，得到所述待监测棉株图像所属的类别；所述类别包括未受棉蚜虫害胁迫和受棉蚜虫害胁迫。
可选地，所述分别对所述第一类棉株图像和所述第二类棉株图像进行校准，得到校准后的第一类棉株图像和校准后的第二类棉株图像，具体包括：
根据公式
Figure BDA0002723088640000041
分别对所述第一类棉株图像和所述第二类棉株图像进行校准，得到校准后的第一类棉株图像和校准后的第二类棉株图像；式中，Ic是每一类校准后的棉株图像，Ir是每一类原始棉株图像，Id是每一类暗参考棉株图像，Iw是每一类白色参考棉株图像。
可选地，所述分别对所述校准后的第一类棉株图像和所述校准后的第二类棉株图像提取感兴趣区图像，得到第一类感兴趣区图像和第二类感兴趣区图像，具体包括：
截取所述校准后的第一类棉株图像和所述校准后的第二类棉株图像中波长范围为461-994nm对应的图像，得到有效图像；
选择所述有效图像中波长为461nm、548nm和698nm对应的图像作为待合成图像；
对所述待合成图像合成RGB图像，得到第一类RGB图像和第二类RGB图像；所述第一类RGB图像为第一类棉株图像的RGB图像；所述第二类RGB图像为第二类棉株图像的RGB图像；
使用2G-R-B分割算法在所述第一类RGB图像和所述第二类RGB图像中计算掩膜区域，根据所述掩膜区域在所述有效图像中依次提取单个叶片区域，将提取的所述单个叶片区域作为感兴趣区图像，得到第一类感兴趣区图像和第二类感兴趣区图像。
可选地，所述截取所述校准后的第一类棉株图像和所述校准后的第二类棉株图像中波长范围为461-994nm对应的图像，得到有效图像，之后还包括：
利用所述有效图像对三维卷积神经网络进行训练和优化，得到训练和优化后的三维卷积神经网络；
采用可视化分析技术，基于所述训练和优化后的三维卷积神经网络生成显著图，标记棉叶损伤部位。
可选地，所述分别对所述第一类感兴趣区图像和所述第二类感兴趣区图像计算各个波段的平均光谱，得到第一类平均光谱和第二类平均光谱，具体包括：
根据公式Bk＝mean(∑Ai,j,kforall(i,j)∈o)计算每一类第k个波段的平均光谱；式中，Bk为每一类第k个波段的平均光谱，O为每一类感兴趣区图像中的所述单个叶片区域，i、j分别为每一类感兴趣区图像中的坐标值，i为每一类感兴趣区图像横坐标值，j为每一类感兴趣区图像纵坐标值，k表示第k个波段，Ai,j,k为每一类感兴趣区图像在第k个波段的坐标(i,j)的值。
可选地，所述分别对所述第一类平均光谱和所述第二类平均光谱计算各个波段的一阶导数光谱，得到第一类一阶导数光谱和第二类一阶导数光谱，具体包括：
根据公式
Figure BDA0002723088640000051
计算每一类一阶导数光谱；式中，xk-1代表第k-1个波段对应的波长，xk+1代表第k+1个波段对应的波长，B′k为每一类第k个波段的一阶导数光谱，Bk+1为每一类第k+1个波段的平均光谱，Bk-1为每一类第k-1个波段的平均光谱。
可选地，所述利用所述第一类一阶导数光谱和所述第二类一阶导数光谱对第一卷积神经网络进行训练和优化，得到训练和优化后的第一卷积神经网络，具体包括：
对所述第一类一阶导数光谱和所述第二类一阶导数光谱分别按照3：1：1的比例划分，得到训练集、验证集和测试集；所述训练集、所述验证集和所述测试集中均包括所述第一类一阶导数光谱和所述第二类一阶导数光谱；
利用所述训练集和所述验证集对所述第一卷积神经网络进行训练和优化，得到训练和优化后的第一卷积神经网络。
可选地，所述利用可视化分析技术对所述训练和优化后的第一卷积神经网络进行可视化分析，选择敏感波段，具体包括：
将所述测试集输入所述训练和优化后的第一卷积神经网络中进行分类，得到预测类别；所述预测类别包括未受棉蚜虫害胁迫和受棉蚜虫害胁迫；
判断所述预测类别与所述测试集中所述一阶导数光谱对应的实际类别是否一致；
若是，则记录所述一阶导数光谱，并获取所述一阶导数光谱所属的类别的概率值；
若否，则放弃记录所述一阶导数光谱；
根据公式
Figure BDA0002723088640000061
对记录的各所述概率值进行梯度反向计算，得到记录的各所述一阶导数光谱中每个波段的梯度值；式中，wn为记录的第n个所述一阶导数光谱中每个波段的梯度值，n与记录的各所述一阶导数光谱中的波段数量相同，Sc为所述概率值，OP0为所述一阶导数光谱，OP为OP0中每个波段；
分别对记录的各所述一阶导数光谱中每个波段的梯度值计算L1距离，并对所有所述L1距离进行求和后再求均值，获得各波段的重要性；具体公式为：
Figure BDA0002723088640000062
式中，S为记录的所述一阶导数光谱的数量，l表示L1距离，w*为各波段的重要性；
根据所述各波段的重要性绘制折线图，选择所述折线图中的峰尖作为敏感波段。
可选地，所述获取待监测棉株图像的一阶导数光谱，具体包括：
获取待监测棉株图像；
对所述待监测棉株图像进行校准，得到校准后的待监测棉株图像；
对所述校准后的待监测棉株图像提取感兴趣区图像，得到待监测棉株图像的感兴趣区图像；
对所述待监测棉株图像的感兴趣区图像计算各个波段的平均光谱，得到待监测棉株图像的平均光谱；
对所述平均光谱计算各个波段的一阶导数光谱，得到待监测棉株图像的一阶导数光谱。
本发明还提供了如下方案：
一种基于光谱成像和深度学习的棉蚜虫害监测系统，所述系统包括：
第一获取模块，用于获取自然生长条件状态下的第一类棉株图像和第二类棉株图像；所述第一类棉株图像包括受棉蚜胁迫程度不断加深的棉株图像；所述第二类棉株图像包括健康棉株图像；
校准模块，用于分别对所述第一类棉株图像和所述第二类棉株图像进行校准，得到校准后的第一类棉株图像和校准后的第二类棉株图像；
感兴趣区提取模块，用于分别对所述校准后的第一类棉株图像和所述校准后的第二类棉株图像提取感兴趣区图像，得到第一类感兴趣区图像和第二类感兴趣区图像；
平均光谱计算模块，用于分别对所述第一类感兴趣区图像和所述第二类感兴趣区图像计算各个波段的平均光谱，得到第一类平均光谱和第二类平均光谱；
一阶导数光谱计算模块，用于分别对所述第一类平均光谱和所述第二类平均光谱计算各个波段的一阶导数光谱，得到第一类一阶导数光谱和第二类一阶导数光谱；
第一训练和优化模块，用于利用所述第一类一阶导数光谱和所述第二类一阶导数光谱对第一卷积神经网络进行训练和优化，得到训练和优化后的第一卷积神经网络；
可视化分析模块，用于利用可视化分析技术对所述训练和优化后的第一卷积神经网络进行可视化分析，选择敏感波段；
第二训练和优化模块，用于利用各所述敏感波段的一阶导数光谱对所述训练和优化后的第一卷积神经网络进行训练和优化，得到训练和优化后的第二卷积神经网络；所述第二卷积神经网络和所述第一卷积神经网络均为一维卷积神经网络；
第二获取模块，用于获取待监测棉株图像的一阶导数光谱；
类别预测模块，用于将所述待监测棉株图像的一阶导数光谱输入所述训练和优化后的第二卷积神经网络中，对所述待监测棉株图像进行分类，得到所述待监测棉株图像所属的类别；所述类别包括未受棉蚜虫害胁迫和受棉蚜虫害胁迫。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明公开的基于光谱成像和深度学习的棉蚜虫害监测方法及系统，利用高光谱成像系统，获得棉叶的高光谱图像，以单片棉叶作为感兴趣区，提取得到单叶的高光谱图像，最终计算平均光谱和一阶导数光谱，充分利用光谱信息和深度学习技术，使用可视化技术发现各波段重要性，选择重要波段进行监测预警，基于深度学习的波段范围选择方法可以发现敏感波段，选择敏感波段后建立棉蚜虫害监测模型，能够快速监测棉株是否受棉蚜虫害胁迫，提高了棉蚜监测预警的时效性，合适波段的选择可以降低光谱成像设备的投入成本；此外，使用三维卷积神经网络对单叶的高光谱图像进行学习，选择可见光和近红外波段范围内的高光谱图像，使用可视化技术生成显著性图，可以发现受棉蚜胁迫的棉叶损伤部位，作为判断棉蚜虫害的辅助手段，也可以作为棉蚜为害等级划分的依据。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明基于光谱成像和深度学习的棉蚜虫害监测方法实施例的流程图；
图2为本发明构建的一维卷积神经网络结构示意图；
图3为本发明构建的三维卷积神经网络结构示意图；
图4为本发明总体技术方案流程示意图；
图5为本发明未受棉蚜虫害胁迫的棉叶图；
图6为本发明受棉蚜虫害胁迫的棉叶图；
图7为本发明各波段重要性结果展示图；
图8为本发明一棉叶损伤部位标记结果展示图；
图9为本发明另一棉叶损伤部位标记结果展示图；
图10为本发明基于光谱成像和深度学习的棉蚜虫害监测系统实施例的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于光谱成像和深度学习的棉蚜虫害监测方法及系统，能够快速监测棉株是否受棉蚜虫害胁迫。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明基于光谱成像和深度学习的棉蚜虫害监测方法实施例的流程图。参见图1，该基于光谱成像和深度学习的棉蚜虫害监测方法包括：
步骤101：获取自然生长条件状态下的第一类棉株图像和第二类棉株图像；所述第一类棉株图像包括受棉蚜胁迫程度不断加深的棉株图像；所述第二类棉株图像包括健康棉株图像。
该步骤101具体包括：
使用SOC 710VP高光谱成像仪(Surface Optics Corporation，美国加利福尼亚州圣地亚哥)采集棉蚜不同为害等级的高光谱图像(376-1044nm)，具体为：拍摄时间固定在某一时间段，以降低棉叶气孔开放状态等生化因素干扰。使用高光谱成像系统对棉株某时期(如蕾期)自然生长条件状态下受棉蚜胁迫程度不断加深的棉株和健康棉株进行拍摄，得到受棉蚜胁迫程度不断加深的棉株图像和健康棉株图像。
步骤102：分别对所述第一类棉株图像和所述第二类棉株图像进行校准，得到校准后的第一类棉株图像和校准后的第二类棉株图像。
该步骤102具体包括：
根据校准公式
Figure BDA0002723088640000091
分别对所述第一类棉株图像和所述第二类棉株图像进行校准，得到校准后的第一类棉株图像和校准后的第二类棉株图像；式中，Ic是每一类校准后的棉株图像，Ir是每一类原始棉株图像，Id是每一类暗参考棉株图像，Iw是每一类白色参考棉株图像。其中，校准后的第一类棉株图像和校准后的第二类棉株图像均为高光谱图像。
步骤103：分别对所述校准后的第一类棉株图像和所述校准后的第二类棉株图像提取感兴趣区图像，得到第一类感兴趣区图像和第二类感兴趣区图像。
该步骤103具体包括：
截取所述校准后的第一类棉株图像和所述校准后的第二类棉株图像中波长范围为461-994nm对应的图像，得到有效图像。具体包括：对所述校准后的第一类棉株图像和所述校准后的第二类棉株图像分别剔除前后噪声波长图像，新的高光谱图像的有效波长范围为461-994nm。
选择所述有效图像中波长为461nm、548nm和698nm对应的图像作为待合成图像。在SOC 710VP高光谱成像仪拍摄的高光谱图像的有效波长中，最接近国际照明委员会确定的RGB三基色的波长为436nm、546nm和700nm，因此，选择所述有效图像中波长为461nm、548nm和698nm对应的图像作为待合成图像。
对所述待合成图像合成RGB图像，得到第一类RGB图像和第二类RGB图像；所述第一类RGB图像为第一类棉株图像的RGB图像；所述第二类RGB图像为第二类棉株图像的RGB图像。
使用2G-R-B分割算法在所述第一类RGB图像和所述第二类RGB图像中计算掩膜区域，根据所述掩膜区域在所述有效图像中依次提取单个叶片区域，将提取的所述单个叶片区域作为感兴趣区图像，得到第一类感兴趣区图像和第二类感兴趣区图像。
其中，所述截取所述校准后的第一类棉株图像和所述校准后的第二类棉株图像中波长范围为461-994nm对应的图像，得到有效图像，之后还包括：
利用所述有效图像对三维卷积神经网络进行训练和优化，得到训练和优化后的三维卷积神经网络。
采用可视化分析技术，基于所述训练和优化后的三维卷积神经网络生成显著图，标记棉叶损伤部位，从而实现棉叶损伤部位可视化。
步骤104：分别对所述第一类感兴趣区图像和所述第二类感兴趣区图像计算各个波段的平均光谱，得到第一类平均光谱和第二类平均光谱。
该步骤104具体包括：
根据公式Bk＝mean(∑Ai,j,kforall(i,j)∈o)计算每一类第k个波段的平均光谱；式中，Bk为每一类第k个波段的平均光谱，O为每一类感兴趣区图像中的所述单个叶片区域，i、j分别为每一类感兴趣区图像中的坐标值，i为每一类感兴趣区图像横坐标值，j为每一类感兴趣区图像纵坐标值，k表示第k个波段，Ai,j,k为每一类感兴趣区图像在第k个波段的坐标(i,j)的值。所述平均光谱为棉蚜不同为害等级的平均光谱。
步骤105：分别对所述第一类平均光谱和所述第二类平均光谱计算各个波段的一阶导数光谱，得到第一类一阶导数光谱和第二类一阶导数光谱。
该步骤105具体包括：
根据公式
Figure BDA0002723088640000111
计算每一类一阶导数光谱；式中，xk-1代表第k-1个波段对应的波长，xk+1代表第k+1个波段对应的波长，B′k为每一类第k个波段的一阶导数光谱，Bk+1为每一类第k+1个波段的平均光谱，Bk-1为每一类第k-1个波段的平均光谱。一阶导数光谱可以有效降低背景的影响。根据平均光谱可以计算一阶导数光谱。
步骤106：利用所述第一类一阶导数光谱和所述第二类一阶导数光谱对第一卷积神经网络进行训练和优化，得到训练和优化后的第一卷积神经网络。
该步骤106具体包括：
对所述第一类一阶导数光谱和所述第二类一阶导数光谱分别按照3：1：1的比例划分，得到训练集、验证集和测试集；所述训练集、所述验证集和所述测试集中均包括所述第一类一阶导数光谱和所述第二类一阶导数光谱。具体包括：每一拍摄时期采集的未受棉蚜虫害胁迫的棉叶和受棉蚜虫害胁迫的棉叶感兴趣区图像按照3：1：1的比例划分训练集、验证集和测试集，共分成未受棉蚜虫害胁迫的棉叶和受棉蚜虫害胁迫的棉叶两类。
利用所述训练集和所述验证集对所述第一卷积神经网络进行训练和优化，得到训练和优化后的第一卷积神经网络。
第一卷积神经网络为一维卷积神经网络，其模型依赖于MXNet深度学习库，激活层的激活函数设置为’relu’。一维卷积神经网络由四个模块组成。第一个模块由一个一维卷积层(Conv1D)、一个线性整流函数(Relu)，一个批量归一化层(Batch Normalization)和一个一维最大池化层(MaxPool1D)组成，第二个模块由压平层(Flatten)组成，第三个模块由全连接层(Dense)和随机失活层(Dropout)组成，第四个模块由全连接层和激励函数层(Softmax)组成。学习策略为’adam’，初始学习率为0.1，训练过程中逐渐调整学习率至0.01，损失函数为Softmax CrossEntropy Loss，构建的网络结构示意图如图2所示。图2中，Data为输入数据，即一阶导数光谱。经过各个网络层计算，输出的是特征值，最后一个特征值为Score，为预测得分值。Score的尺寸大小等于一阶导数光谱的类别数量。如果给定预测集中类别c的一阶导数光谱OP0，在被一维卷积神经网络正确分类后，将获得预测得分值Score，其类别c对应Score中的值为Sc。
步骤107：利用可视化分析技术对所述训练和优化后的第一卷积神经网络进行可视化分析，选择敏感波段。
该步骤107具体包括：
将所述测试集输入所述训练和优化后的第一卷积神经网络中进行分类，得到预测类别；所述预测类别包括未受棉蚜虫害胁迫和受棉蚜虫害胁迫。
判断所述预测类别与所述测试集中所述一阶导数光谱对应的实际类别是否一致。
若是，则记录所述一阶导数光谱，并获取所述一阶导数光谱所属的类别的概率值。所述概率值为所述一阶导数光谱所属的类别为未受棉蚜虫害胁迫的概率值或所述一阶导数光谱所属的类别为受棉蚜虫害胁迫的概率值。
若否，则放弃记录所述一阶导数光谱。
根据公式
Figure BDA0002723088640000131
对记录的各所述概率值进行梯度反向计算，得到记录的各所述一阶导数光谱中每个波段的梯度值；式中，wn为记录的第n个所述一阶导数光谱中每个波段的梯度值，wn是有关一阶导数光谱OP0的分数Sc(即所述概率值)的导数的绝对值，即梯度；wn的尺寸大小与波段数一致，wn的数值一一对应每个波段的重要性；n与记录的各所述一阶导数光谱中的波段数量相同，Sc为所述概率值，OP0为所述一阶导数光谱，OP为OP0中每个波段，OP0中每个元素用OP表示，OP即一阶导数光谱的每个波段。
分别对记录的各所述一阶导数光谱中每个波段的梯度值(即每个样本的梯度值)计算L1距离，并对所有所述L1距离进行求和后再求均值，获得各波段的重要性；具体公式为：
Figure BDA0002723088640000132
式中，S为记录的所述一阶导数光谱的数量(即正确分类的样本数)，l表示L1距离，w*为各波段的重要性，wn为第n个被正确分类的样本的梯度(即记录的第n个所述一阶导数光谱中每个波段的梯度值)。
根据所述各波段的重要性绘制折线图，选择所述折线图中的峰尖作为敏感波段。即用w*绘制折线图，选择w*中的极大值，即折线图中的峰尖作为选择的敏感波段。
上述基于光谱成像和深度学习的波段范围选择方法，通过选取一阶导数光谱训练集，使用一维卷积神经网络学习数据规律，使用验证集优化模型参数，并将一维卷积神经网络预测验证集的准确率最高的模型为最优模型，使用测试集评估最优模型的表现效果，使用可视化技术将一维卷积神经网络进行可视化，选择敏感波段。可视化和选择敏感波段的具体过程为：给定预测集中类别c(即未受棉蚜虫害胁迫或受棉蚜虫害胁迫)的一阶导数光谱OP0，在被一维卷积神经网络正确分类后，将获得预测得分值Sc(即所述概率值)。将一维卷积神经网络对测试集正确分类的样本进行梯度反向计算，得到对应每个波段的梯度值，梯度值反映了波段的重要程度。
步骤108：利用各所述敏感波段的一阶导数光谱对所述训练和优化后的第一卷积神经网络进行训练和优化，得到训练和优化后的第二卷积神经网络；所述第二卷积神经网络和所述第一卷积神经网络均为一维卷积神经网络。
该步骤108具体包括：
将平均光谱的训练集、验证集、测试集提取出选择的敏感波段，组成新的训练集、验证集、测试集，使用相同的一维卷积神经网络对新的训练集进行学习，新的验证集被用来优化模型参数，并将一维卷积神经网络预测新的验证集的准确率最高的模型作为新的最优模型，用新的模型预测新的测试集的准确率来评估基于深度学习的敏感波段选择方法的性能，最终使用该模型作为棉蚜虫害监测模型，快速监测棉株是否被棉蚜胁迫。
步骤109：获取待监测棉株图像的一阶导数光谱。
该步骤109具体包括：
获取待监测棉株图像。
对所述待监测棉株图像进行校准，得到校准后的待监测棉株图像。
对所述校准后的待监测棉株图像提取感兴趣区图像，得到待监测棉株图像的感兴趣区图像。
对所述待监测棉株图像的感兴趣区图像计算各个波段的平均光谱，得到待监测棉株图像的平均光谱。
对所述平均光谱计算各个波段的一阶导数光谱，得到待监测棉株图像的一阶导数光谱。
步骤110：将所述待监测棉株图像的一阶导数光谱输入所述训练和优化后的第二卷积神经网络中，对所述待监测棉株图像进行分类，得到所述待监测棉株图像所属的类别；所述类别包括未受棉蚜虫害胁迫和受棉蚜虫害胁迫。
此外，步骤103中，截取所述校准后的第一类棉株图像和所述校准后的第二类棉株图像中波长范围为461-994nm对应的图像，得到有效图像，之后还包括的步骤“利用所述有效图像对三维卷积神经网络进行训练和优化，得到训练和优化后的三维卷积神经网络”和“采用可视化分析技术，基于所述训练和优化后的三维卷积神经网络生成显著图，标记棉叶损伤部位，从而实现棉叶损伤部位可视化”为基于光谱成像和深度学习的棉叶损伤部位可视化技术，可以发现受棉蚜胁迫的棉叶损伤部位。
该基于光谱成像和深度学习的棉叶损伤部位可视化技术，使用三维卷积神经网络对已划分的高光谱图像训练集进行学习，使用验证集优化模型参数，并将深度学习对验证集预测正确率最高的模型保存为最优模型，使用测试集评估最优模型的表现效果，判别棉叶是否受到棉蚜侵害。选择表现最优的模型，使用可视化技术生成显著性图(即显著图)，标记棉叶损伤部位。三维卷积神经网络模型依赖于MXNet深度学习库，激活层的激活函数设置为’relu’。三维卷积神经网络由四个模块组成。第一个模块由一个三维卷积层(Conv3D)、一个线性整流函数层(Relu)，一个批量归一化层(Batch Normalization)和一个三维最大池化层(MaxPool3D)组成，第二个模块由压平层(Flatten)组成，第三个模块由全连接层(Dense)和随机失活层(Dropout)组成，第四个模块由全连接层和激励函数层(Softmax)组成。学习策略为’adam’，初始学习率为0.1，训练过程中逐渐调整学习率至0.01，损失函数为Softmax CrossEntropy Loss，构建的网络结构示意图如图3所示。
图3中，Data为输入数据，即只包含单叶的高光谱图像(461-994nm)。经过各个网络层计算，输出的是特征值，最后一个特征值为Score，为预测得分值。“+”表示各特征值逐点相加。Score的尺寸大小等于只包含单叶的高光谱图像(461-994nm)的类别数量。如果给定预测集中类别c的只包含单叶的高光谱图像(461-994nm)HS0，在被三维卷积神经网络正确分类后，将获得预测得分值Score，其类别c对应Score中的值为Sc。
三维卷积神经网络的可视化技术流程具体包括：
1、给定预测集中类别c的只包含单叶的高光谱图像(461-994nm)HS0，在被三维卷积神经网络正确分类后，将获得预测得分值Sc，将其进行梯度反向计算。梯度反向计算的公式如下：
Figure BDA0002723088640000161
式中，W是有关只包含单叶的高光谱图像(461-994nm)HS0的分数Sc的导数的绝对值，即梯度。W的尺寸大小与只包含单叶的高光谱图像(461-994nm)HS0一致，W包含三个参数K、I、J。K为只包含单叶的高光谱图像(461-994nm)HS0的波段数，I为图像长，J为图像宽，HS为HS0中每个元素，即高光谱图像中任一波段的任一像素点。
2、可视化技术计算显著性图，计算公式如下：
Figure BDA0002723088640000162
式中，显著性图map的宽为J，长为I，根据map画出热力图。
本实施例的总体技术方案流程示意图如图4所示，本实施例利用基于光谱成像和深度学习的棉蚜虫害监测技术，可以快速监测受棉蚜胁迫的棉株。通过深度学习技术、图像处理技术和光谱成像技术的结合，提出了基于光谱成像和深度学习的棉蚜虫害监测技术和波段范围选择方法，其中，基于深度学习的波段范围选择方法可以发现敏感波段，选择敏感波段后建立棉蚜虫害监测模型。这提高了棉蚜监测预警的时效性，合适波段的选择可以降低光谱成像设备的投入成本。此外，通过三维卷积神经网络对单叶的高光谱图像进行学习，使用基于光谱成像和深度学习的棉叶损伤部位可视化技术，利用可视化技术标记棉叶损伤部位，可以发现受棉蚜胁迫的棉叶损伤部位。这可以与棉蚜虫害监测模型结合使用，将单叶的高光谱图像提取计算平均光谱和一阶导数光谱后，使用一阶导数光谱监测受棉蚜胁迫的棉株，同时，使用单叶的高光谱图像和棉叶损伤部位可视化技术发现受棉蚜胁迫的棉叶损伤部位，作为判断棉蚜虫害的辅助手段，也可以作为棉蚜为害等级划分的依据。基于光谱成像和深度学习的棉蚜虫害监测和棉叶损伤部位可视化技术，代替了人为判断棉蚜虫害情况的方式，为棉蚜的快速监测预警提供了技术保障。同时，这打破了传统的被动式棉蚜防治方式，不但经济、科学，而且达到精准防治的目的，减少大量的人力资源和农药等的浪费。
利用上述“基于光谱成像和深度学习的棉蚜虫害监测和棉叶损伤部位可视化技术”，在棉花苗期进行技术实现，于2019年12月5日—12月25日在石河子大学北二区温室大棚进行了为期二十天的中试试验，其棉花生产过程一半棉株并未进行控虫，另一半棉株进行控虫并处于健康状态。在此基础上对本实施例基于光谱成像和深度学习的棉蚜虫害监测方法的有效性进行验证。该过程具体包括：
棉蚜不同为害等级的高光谱图像的获取：每隔5日，使用高光谱成像系统对受棉蚜胁迫程度不断加深的棉株和健康棉株进行拍摄，提取感兴趣区得到单片棉叶样本。为了降低棉叶气孔开放状态等生化因素干扰，拍摄时间固定在14:00左右(北京时间，中国)。部分采集结果展示图如图5和图6所示，其中，图5为未受棉蚜虫害胁迫的棉叶图像，图6为受棉蚜虫害胁迫的棉叶图像。图5和图6均为波长740nm波段的高光谱图像。
棉蚜不同为害等级的平均光谱和一阶导数光谱的获取：以单叶作为感兴趣区，计算平均光谱，并进一步计算一阶导数光谱。
基于光谱成像和深度学习的棉蚜虫害监测技术和波段范围选择方法：选取461-994nm范围内的一阶导数光谱，使用一维卷积神经网络学习数据规律，预测精度高达0.98，并使用可视化技术将一维卷积神经网络进行可视化，选择敏感波段发现各波段在监测过程中的重要程度。选择重要波段建立棉蚜虫害监测模型。各波段重要性结果展示如图7所示。选择峰尖的波段作为敏感波段，使用敏感波段建立棉蚜虫害监测模型，预测精度达到0.96。
基于光谱成像和深度学习的棉蚜虫害监测和棉叶损伤部位可视化技术：选取461-994nm范围内的受棉蚜胁迫的单叶高光谱图像，使用三维卷积神经网络标记棉叶损伤部位。结果展示如图8和图9所示。图8中(a)部分为受棉蚜虫害胁迫的一棉叶图像，(b)部分表示其损伤部位标记图。图9中(a)部分为受棉蚜虫害胁迫的另一棉叶图像，(b)部分表示其损伤部位标记图。结果发现，棉叶损伤部位集中在叶脉周围。
效益评价：通过中试试验，本实施例对棉蚜虫害监测预警达到了高效准确的效果，可以通过建立棉蚜虫害监测预警模型提供对应的防治措施，为农民适时、适量喷药提供技术指导；并且本实施例创造性地利用最先进的信息化技术，标记棉叶损伤部位，其新颖性、创造性和实用性是其他在先技术无法比拟的，带来了明显的经济效益、生态效益和社会效益。
图10为本发明基于光谱成像和深度学习的棉蚜虫害监测系统实施例的结构图。参见图10，该基于光谱成像和深度学习的棉蚜虫害监测系统包括：
第一获取模块1001，用于获取自然生长条件状态下的第一类棉株图像和第二类棉株图像；所述第一类棉株图像包括受棉蚜胁迫程度不断加深的棉株图像；所述第二类棉株图像包括健康棉株图像。
校准模块1002，用于分别对所述第一类棉株图像和所述第二类棉株图像进行校准，得到校准后的第一类棉株图像和校准后的第二类棉株图像。
感兴趣区提取模块1003，用于分别对所述校准后的第一类棉株图像和所述校准后的第二类棉株图像提取感兴趣区图像，得到第一类感兴趣区图像和第二类感兴趣区图像。
平均光谱计算模块1004，用于分别对所述第一类感兴趣区图像和所述第二类感兴趣区图像计算各个波段的平均光谱，得到第一类平均光谱和第二类平均光谱。
一阶导数光谱计算模块1005，用于分别对所述第一类平均光谱和所述第二类平均光谱计算各个波段的一阶导数光谱，得到第一类一阶导数光谱和第二类一阶导数光谱。
第一训练和优化模块1006，用于利用所述第一类一阶导数光谱和所述第二类一阶导数光谱对第一卷积神经网络进行训练和优化，得到训练和优化后的第一卷积神经网络。
可视化分析模块1007，用于利用可视化分析技术对所述训练和优化后的第一卷积神经网络进行可视化分析，选择敏感波段。
第二训练和优化模块1008，用于利用各所述敏感波段的一阶导数光谱对所述训练和优化后的第一卷积神经网络进行训练和优化，得到训练和优化后的第二卷积神经网络；所述第二卷积神经网络和所述第一卷积神经网络均为一维卷积神经网络。
第二获取模块1009，用于获取待监测棉株图像的一阶导数光谱。
类别预测模块1010，用于将所述待监测棉株图像的一阶导数光谱输入所述训练和优化后的第二卷积神经网络中，对所述待监测棉株图像进行分类，得到所述待监测棉株图像所属的类别；所述类别包括未受棉蚜虫害胁迫和受棉蚜虫害胁迫。
本发明提出一种基于光谱成像和深度学习的棉蚜虫害监测技术和波段范围选择方法，利用高光谱成像系统，获得棉叶的高光谱图像。以单片棉叶作为感兴趣区，提取得到单叶的高光谱图像，最终计算平均光谱和一阶导数光谱。充分利用光谱信息和深度学习技术，使用可视化技术发现各波段重要性，选择重要波段进行监测预警，棉蚜虫害监测预警取得了良好的表现效果。
本发明还提出一种基于光谱成像和深度学习的棉叶损伤部位可视化技术，使用三维卷积神经网络对单叶的高光谱图像进行学习，选择可见光和近红外波段范围内的高光谱图像。使用可视化技术生成显著性图，可以发现受棉蚜胁迫的棉叶损伤部位。
本发明公开的基于光谱成像和深度学习的棉蚜虫害监测方法及系统，基于光谱成像和深度学习进行棉蚜虫害监测，并对受棉蚜胁迫的棉叶损伤部位进行可视化。使用深度学习技术直接对棉花单叶的高光谱图像作为样本对象进行学习，结合高光谱图像的光谱和图像信息进行虫害胁迫状况判定，不存在“以点概面”的误差。同时，利用高光谱图像图谱融合的特点，将光谱作为棉蚜虫害监测的主要因素，可以适当降低图像分辨率。此外，利用高光谱图像的图像特性，对因为受到棉蚜虫害导致的棉叶损害部位进行可视化。本发明在现有基于光谱成像的棉蚜虫害监测技术的基础上，对棉花单叶的高光谱图像作为样本对象进行学习，利用高光谱图像的图像特性，细粒度的标记棉叶因为棉蚜虫害而受到损害的部位。经中试实验证明，区分棉花是否受棉蚜胁迫的准确率高达96％，并发现棉蚜虫害导致的棉叶损害部位主要集中在棉蚜的叶脉部分。通过基于深度学习的波段选择方法，深度学习和传统分类器(线性分类器或非线性分类器)在分类的效果接近甚至更高，无需进行分类器的选择。同时，利用深度学习的梯度反向传播过程，可以发现各波段的权重得分，直接进行波段选择，不用对波段选择方法进行试错。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种基于光谱成像和深度学习的棉蚜虫害监测方法，其特征在于，所述方法包括：
获取自然生长条件状态下的第一类棉株图像和第二类棉株图像；所述第一类棉株图像包括受棉蚜胁迫程度不断加深的棉株图像；所述第二类棉株图像包括健康棉株图像；
分别对所述第一类棉株图像和所述第二类棉株图像进行校准，得到校准后的第一类棉株图像和校准后的第二类棉株图像；
分别对所述校准后的第一类棉株图像和所述校准后的第二类棉株图像提取感兴趣区图像，得到第一类感兴趣区图像和第二类感兴趣区图像；
分别对所述第一类感兴趣区图像和所述第二类感兴趣区图像计算各个波段的平均光谱，得到第一类平均光谱和第二类平均光谱；
分别对所述第一类平均光谱和所述第二类平均光谱计算各个波段的一阶导数光谱，得到第一类一阶导数光谱和第二类一阶导数光谱；
利用所述第一类一阶导数光谱和所述第二类一阶导数光谱对第一卷积神经网络进行训练和优化，得到训练和优化后的第一卷积神经网络；
利用可视化分析技术对所述训练和优化后的第一卷积神经网络进行可视化分析，选择敏感波段；
利用各所述敏感波段的一阶导数光谱对所述训练和优化后的第一卷积神经网络进行训练和优化，得到训练和优化后的第二卷积神经网络；所述第二卷积神经网络和所述第一卷积神经网络均为一维卷积神经网络；
获取待监测棉株图像的一阶导数光谱；
将所述待监测棉株图像的一阶导数光谱输入所述训练和优化后的第二卷积神经网络中，对所述待监测棉株图像进行分类，得到所述待监测棉株图像所属的类别；所述类别包括未受棉蚜虫害胁迫和受棉蚜虫害胁迫；
所述分别对所述第一类棉株图像和所述第二类棉株图像进行校准，得到校准后的第一类棉株图像和校准后的第二类棉株图像，具体包括：
根据公式
Figure FDA0003538229190000011
分别对所述第一类棉株图像和所述第二类棉株图像进行校准，得到校准后的第一类棉株图像和校准后的第二类棉株图像；式中，Ic是每一类校准后的棉株图像，Ir是每一类原始棉株图像，Id是每一类暗参考棉株图像，Iw是每一类白色参考棉株图像。
2.根据权利要求1所述的基于光谱成像和深度学习的棉蚜虫害监测方法，其特征在于，所述分别对所述校准后的第一类棉株图像和所述校准后的第二类棉株图像提取感兴趣区图像，得到第一类感兴趣区图像和第二类感兴趣区图像，具体包括：
截取所述校准后的第一类棉株图像和所述校准后的第二类棉株图像中波长范围为461-994nm对应的图像，得到有效图像；
选择所述有效图像中波长为461nm、548nm和698nm对应的图像作为待合成图像；
对所述待合成图像合成RGB图像，得到第一类RGB图像和第二类RGB图像；所述第一类RGB图像为第一类棉株图像的RGB图像；所述第二类RGB图像为第二类棉株图像的RGB图像；
使用2G-R-B分割算法在所述第一类RGB图像和所述第二类RGB图像中计算掩膜区域，根据所述掩膜区域在所述有效图像中依次提取单个叶片区域，将提取的所述单个叶片区域作为感兴趣区图像，得到第一类感兴趣区图像和第二类感兴趣区图像。
3.根据权利要求2所述的基于光谱成像和深度学习的棉蚜虫害监测方法，其特征在于，所述截取所述校准后的第一类棉株图像和所述校准后的第二类棉株图像中波长范围为461-994nm对应的图像，得到有效图像，之后还包括：
利用所述有效图像对三维卷积神经网络进行训练和优化，得到训练和优化后的三维卷积神经网络；
采用可视化分析技术，基于所述训练和优化后的三维卷积神经网络生成显著图，标记棉叶损伤部位。
4.根据权利要求2所述的基于光谱成像和深度学习的棉蚜虫害监测方法，其特征在于，所述分别对所述第一类感兴趣区图像和所述第二类感兴趣区图像计算各个波段的平均光谱，得到第一类平均光谱和第二类平均光谱，具体包括：
根据公式Bk＝mean(∑Ai,j,kforall(i,j)∈o)计算每一类第k个波段的平均光谱；式中，Bk为每一类第k个波段的平均光谱，O为每一类感兴趣区图像中的所述单个叶片区域，i、j分别为每一类感兴趣区图像中的坐标值，i为每一类感兴趣区图像横坐标值，j为每一类感兴趣区图像纵坐标值，k表示第k个波段，Ai,j,k为每一类感兴趣区图像在第k个波段的坐标(i,j)的值。
5.根据权利要求1所述的基于光谱成像和深度学习的棉蚜虫害监测方法，其特征在于，所述分别对所述第一类平均光谱和所述第二类平均光谱计算各个波段的一阶导数光谱，得到第一类一阶导数光谱和第二类一阶导数光谱，具体包括：
根据公式
Figure FDA0003538229190000031
计算每一类一阶导数光谱；式中，xk-1代表第k-1个波段对应的波长，xk+1代表第k+1个波段对应的波长，B′k为每一类第k个波段的一阶导数光谱，Bk+1为每一类第k+1个波段的平均光谱，Bk-1为每一类第k-1个波段的平均光谱。
6.根据权利要求1所述的基于光谱成像和深度学习的棉蚜虫害监测方法，其特征在于，所述利用所述第一类一阶导数光谱和所述第二类一阶导数光谱对第一卷积神经网络进行训练和优化，得到训练和优化后的第一卷积神经网络，具体包括：
对所述第一类一阶导数光谱和所述第二类一阶导数光谱分别按照3：1：1的比例划分，得到训练集、验证集和测试集；所述训练集、所述验证集和所述测试集中均包括所述第一类一阶导数光谱和所述第二类一阶导数光谱；
利用所述训练集和所述验证集对所述第一卷积神经网络进行训练和优化，得到训练和优化后的第一卷积神经网络。
7.根据权利要求6所述的基于光谱成像和深度学习的棉蚜虫害监测方法，其特征在于，所述利用可视化分析技术对所述训练和优化后的第一卷积神经网络进行可视化分析，选择敏感波段，具体包括：
将所述测试集输入所述训练和优化后的第一卷积神经网络中进行分类，得到预测类别；所述预测类别包括未受棉蚜虫害胁迫和受棉蚜虫害胁迫；
判断所述预测类别与所述测试集中所述一阶导数光谱对应的实际类别是否一致；
若是，则记录所述一阶导数光谱，并获取所述一阶导数光谱所属的类别的概率值；
若否，则放弃记录所述一阶导数光谱；
根据公式
Figure FDA0003538229190000041
对记录的各所述概率值进行梯度反向计算，得到记录的各所述一阶导数光谱中每个波段的梯度值；式中，wn为记录的第n个所述一阶导数光谱中每个波段的梯度值，n与记录的各所述一阶导数光谱中的波段数量相同，Sc为所述概率值，OP0为所述一阶导数光谱，OP为OP0中每个波段；
分别对记录的各所述一阶导数光谱中每个波段的梯度值计算L1距离，并对所有所述L1距离进行求和后再求均值，获得各波段的重要性；具体公式为：
Figure FDA0003538229190000042
式中，S为记录的所述一阶导数光谱的数量，l表示L1距离，w*为各波段的重要性；
根据所述各波段的重要性绘制折线图，选择所述折线图中的峰尖作为敏感波段。
8.根据权利要求1所述的基于光谱成像和深度学习的棉蚜虫害监测方法，其特征在于，所述获取待监测棉株图像的一阶导数光谱，具体包括：
获取待监测棉株图像；
对所述待监测棉株图像进行校准，得到校准后的待监测棉株图像；
对所述校准后的待监测棉株图像提取感兴趣区图像，得到待监测棉株图像的感兴趣区图像；
对所述待监测棉株图像的感兴趣区图像计算各个波段的平均光谱，得到待监测棉株图像的平均光谱；
对所述平均光谱计算各个波段的一阶导数光谱，得到待监测棉株图像的一阶导数光谱。
9.一种基于光谱成像和深度学习的棉蚜虫害监测系统，其特征在于，所述系统包括：
第一获取模块，用于获取自然生长条件状态下的第一类棉株图像和第二类棉株图像；所述第一类棉株图像包括受棉蚜胁迫程度不断加深的棉株图像；所述第二类棉株图像包括健康棉株图像；
校准模块，用于分别对所述第一类棉株图像和所述第二类棉株图像进行校准，得到校准后的第一类棉株图像和校准后的第二类棉株图像；所述分别对所述第一类棉株图像和所述第二类棉株图像进行校准，得到校准后的第一类棉株图像和校准后的第二类棉株图像，具体包括：根据公式
Figure FDA0003538229190000051
分别对所述第一类棉株图像和所述第二类棉株图像进行校准，得到校准后的第一类棉株图像和校准后的第二类棉株图像；式中，Ic是每一类校准后的棉株图像，Ir是每一类原始棉株图像，Id是每一类暗参考棉株图像，Iw是每一类白色参考棉株图像；
感兴趣区提取模块，用于分别对所述校准后的第一类棉株图像和所述校准后的第二类棉株图像提取感兴趣区图像，得到第一类感兴趣区图像和第二类感兴趣区图像；
平均光谱计算模块，用于分别对所述第一类感兴趣区图像和所述第二类感兴趣区图像计算各个波段的平均光谱，得到第一类平均光谱和第二类平均光谱；
一阶导数光谱计算模块，用于分别对所述第一类平均光谱和所述第二类平均光谱计算各个波段的一阶导数光谱，得到第一类一阶导数光谱和第二类一阶导数光谱；
第一训练和优化模块，用于利用所述第一类一阶导数光谱和所述第二类一阶导数光谱对第一卷积神经网络进行训练和优化，得到训练和优化后的第一卷积神经网络；
可视化分析模块，用于利用可视化分析技术对所述训练和优化后的第一卷积神经网络进行可视化分析，选择敏感波段；
第二训练和优化模块，用于利用各所述敏感波段的一阶导数光谱对所述训练和优化后的第一卷积神经网络进行训练和优化，得到训练和优化后的第二卷积神经网络；所述第二卷积神经网络和所述第一卷积神经网络均为一维卷积神经网络；
第二获取模块，用于获取待监测棉株图像的一阶导数光谱；
类别预测模块，用于将所述待监测棉株图像的一阶导数光谱输入所述训练和优化后的第二卷积神经网络中，对所述待监测棉株图像进行分类，得到所述待监测棉株图像所属的类别；所述类别包括未受棉蚜虫害胁迫和受棉蚜虫害胁迫。
CN202011094117.2A 2020-10-14 2020-10-14 一种基于光谱成像和深度学习的棉蚜虫害监测方法及系统 Active CN112528726B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011094117.2A CN112528726B (zh) 2020-10-14 2020-10-14 一种基于光谱成像和深度学习的棉蚜虫害监测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011094117.2A CN112528726B (zh) 2020-10-14 2020-10-14 一种基于光谱成像和深度学习的棉蚜虫害监测方法及系统

Publications (2)

Publication Number Publication Date
CN112528726A CN112528726A (zh) 2021-03-19
CN112528726B true CN112528726B (zh) 2022-05-13

Family

ID=74979133

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011094117.2A Active CN112528726B (zh) 2020-10-14 2020-10-14 一种基于光谱成像和深度学习的棉蚜虫害监测方法及系统

Country Status (1)

Country Link
CN (1) CN112528726B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113326841B (zh) * 2021-05-31 2022-06-17 山东深蓝智谱数字科技有限公司 一种基于高光谱的作物虫害监测方法及设备
CN114550108B (zh) * 2022-04-26 2022-07-08 广东省农业科学院植物保护研究所 一种草地贪夜蛾的识别预警方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107576618A (zh) * 2017-07-20 2018-01-12 华南理工大学 基于深度卷积神经网络的水稻穗瘟检测方法及系统
DE102016225806A1 (de) * 2016-12-21 2018-06-21 Henkel Ag & Co. Kgaa Verfahren zur Erfassung und Klassifizierung von Objekten
CN108304844A (zh) * 2018-01-30 2018-07-20 四川大学 基于深度学习二值化卷积神经网络的农业病虫害识别方法
CN108596213A (zh) * 2018-04-03 2018-09-28 中国地质大学（武汉） 一种基于卷积神经网络的高光谱遥感图像分类方法及系统
CN109102004A (zh) * 2018-07-23 2018-12-28 鲁东大学 棉花害虫识别分类方法及装置
CN110287944A (zh) * 2019-07-04 2019-09-27 吉林大学 基于深度学习的多光谱遥感影像的农作物虫害监测方法
CN110766041A (zh) * 2019-09-04 2020-02-07 江苏大学 一种基于深度学习的害虫检测方法
CN110852398A (zh) * 2019-11-18 2020-02-28 河南农业大学 一种基于卷积神经网络的棉蚜识别方法
KR20200084940A (ko) * 2018-12-24 2020-07-14 순천대학교 산학협력단 Cnn 기반 병해 및 손상 과일 분류 장치 및 방법
WO2020165913A1 (en) * 2019-02-12 2020-08-20 Tata Consultancy Services Limited Automated unsupervised localization of context sensitive events in crops and computing extent thereof
CN111753646A (zh) * 2020-05-12 2020-10-09 江苏大学 一种融合种群季节消长信息的农业害虫检测分类方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110658211A (zh) * 2019-11-08 2020-01-07 河南农业大学 棉花蕾期蚜害棉花冠层光谱特征提取及等级估测方法
CN111062251A (zh) * 2020-03-23 2020-04-24 乔红波 基于无人机成像的农田棉蚜为害等级模型的监测方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016225806A1 (de) * 2016-12-21 2018-06-21 Henkel Ag & Co. Kgaa Verfahren zur Erfassung und Klassifizierung von Objekten
CN107576618A (zh) * 2017-07-20 2018-01-12 华南理工大学 基于深度卷积神经网络的水稻穗瘟检测方法及系统
CN108304844A (zh) * 2018-01-30 2018-07-20 四川大学 基于深度学习二值化卷积神经网络的农业病虫害识别方法
CN108596213A (zh) * 2018-04-03 2018-09-28 中国地质大学（武汉） 一种基于卷积神经网络的高光谱遥感图像分类方法及系统
CN109102004A (zh) * 2018-07-23 2018-12-28 鲁东大学 棉花害虫识别分类方法及装置
KR20200084940A (ko) * 2018-12-24 2020-07-14 순천대학교 산학협력단 Cnn 기반 병해 및 손상 과일 분류 장치 및 방법
WO2020165913A1 (en) * 2019-02-12 2020-08-20 Tata Consultancy Services Limited Automated unsupervised localization of context sensitive events in crops and computing extent thereof
CN110287944A (zh) * 2019-07-04 2019-09-27 吉林大学 基于深度学习的多光谱遥感影像的农作物虫害监测方法
CN110766041A (zh) * 2019-09-04 2020-02-07 江苏大学 一种基于深度学习的害虫检测方法
CN110852398A (zh) * 2019-11-18 2020-02-28 河南农业大学 一种基于卷积神经网络的棉蚜识别方法
CN111753646A (zh) * 2020-05-12 2020-10-09 江苏大学 一种融合种群季节消长信息的农业害虫检测分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Comparative Study of Computer Vision Models for Insect Pest Identification in Complex Backgrounds;Gabriel L. Tenório等;《 2019 12th International Conference on Developments in eSystems Engineering (DeSE)》;20191010;第551-556页 *
基于深度卷积条件生成对抗网络的虫害分类算法研究;王铎等;《中国农机化学报》;20200615;第179-187页 *

Also Published As

Publication number Publication date
CN112528726A (zh) 2021-03-19

Similar Documents

Publication Publication Date Title
Hu et al. Recognition of diseased Pinus trees in UAV images using deep learning and AdaBoost classifier
Ruiz-Ruiz et al. Testing different color spaces based on hue for the environmentally adaptive segmentation algorithm (EASA)
Farmonov et al. Crop type classification by DESIS hyperspectral imagery and machine learning algorithms
CN109325431B (zh) 草原放牧绵羊采食路径中植被覆盖度的检测方法及其装置
CN110717903A (zh) 一种利用计算机视觉技术进行农作物病害检测的方法
Mishra et al. A Deep Learning-Based Novel Approach for Weed Growth Estimation.
CN113221765B (zh) 一种基于数字相机影像有效像元的植被物候期提取方法
CN111462223B (zh) 基于Sentinel-2影像的江淮地区大豆和玉米种植面积识别方法
CN112528726B (zh) 一种基于光谱成像和深度学习的棉蚜虫害监测方法及系统
Patil et al. Enhanced radial basis function neural network for tomato plant disease leaf image segmentation
Ninomiya High-throughput field crop phenotyping: current status and challenges
Ji et al. In-field automatic detection of maize tassels using computer vision
CN116543316B (zh) 一种利用多时相高分辨率卫星影像识别稻田内草皮的方法
CN110879992A (zh) 基于迁移学习的草原地表覆盖物分类方法和系统
Lin et al. Identification of pumpkin powdery mildew based on image processing PCA and machine learning
CN116129260A (zh) 基于深度学习的牧草图像识别方法
Prasher et al. Analysis of DenseNet201 with SGD optimizer for diagnosis of multiple rice leaf diseases
Bhuyar et al. Crop classification with multi-temporal satellite image data
AU2021103520A4 (en) A system for monitoring health condition of a crop and a method there of
Meng et al. Fine hyperspectral classification of rice varieties based on attention module 3D-2DCNN
CN116778343B (zh) 一种用于综合识别的目标图像特征提取方法
Xu et al. A Band Math-ROC operation for early differentiation between Sclerotinia sclerotiorum and Botrytis cinerea in oilseed rape
CN115862003A (zh) 一种基于轻量化YOLOv5的在体苹果目标检测和分级方法
Rony et al. BottleNet18: Deep Learning-Based Bottle Gourd Leaf Disease Classification
AU2021102735A4 (en) Cotton aphid stress monitoring method and system based on high-throughput plant phenotyping platform and deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230420

Address after: Room 211-28, No. 19-3 North 3rd East Road, Incubation Building, National and Local Joint Research Center for Characteristic Fruits and Vegetables, Shihezi Development Zone, Xinjiang Uygur Autonomous Region, 832061

Patentee after: Shihezi Jingzhe Information Technology Co.,Ltd.

Address before: 832000 North four road, the Xinjiang Uygur Autonomous Region, Shihezi

Patentee before: SHIHEZI University