CN117407833A - 基于神经网络的农作物致病孢子识别自动监测系统及方法 - Google Patents

基于神经网络的农作物致病孢子识别自动监测系统及方法 Download PDF

Info

Publication number
CN117407833A
CN117407833A CN202311419347.5A CN202311419347A CN117407833A CN 117407833 A CN117407833 A CN 117407833A CN 202311419347 A CN202311419347 A CN 202311419347A CN 117407833 A CN117407833 A CN 117407833A
Authority
CN
China
Prior art keywords
crop
disease
information
text
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311419347.5A
Other languages
English (en)
Inventor
张超
王安炜
王涛
王俊美
张兴国
张铭志
贾文明
李小芹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Jiegou Information Technology Co ltd
Shandong Agricultural University
Original Assignee
Shandong Jiegou Information Technology Co ltd
Shandong Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Jiegou Information Technology Co ltd, Shandong Agricultural University filed Critical Shandong Jiegou Information Technology Co ltd
Priority to CN202311419347.5A priority Critical patent/CN117407833A/zh
Publication of CN117407833A publication Critical patent/CN117407833A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Forestry; Mining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Animal Husbandry (AREA)
  • Agronomy & Crop Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Probability & Statistics with Applications (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及基于神经网络的农作物致病孢子识别系统及方法，属于农业自动化技术领域。所述识别系统包括图像分类模块、文本分类模块及联合分类模块，所述图像分类模块，基于农作物图像得到病害种类的第一预测概率；所述文本分类模块，基于农作物文本信息得到病害种类的第二预测概率；所述联合分类模块，用于将所述第一预测概率和所述第二预测概率进行联合输出，得到病害类别。本发明设计的自动识别系统及方法在图像数据集的基础上，以文本的形式，增加了病害描述信息，从而构成病害图像‑文本对作为病害识别模型的数据集，进一步增强了病害的特征表达，削弱了病害图像背景对识别过程带来的影响，实现精准识别。

Description

基于神经网络的农作物致病孢子识别自动监测系统及方法
技术领域
本发明涉及农业自动化技术领域，具体涉及基于神经网络的农作物致病孢子识别自动监测系统及方法。
背景技术
在农业生产过程中，由于细菌、真菌和病毒等病原体的存在，会导致农作物病害频繁发生。这些病害严重影响蔬菜的质量和产量，每年导致十分严重的经济损失。在最近的几年时间里，因为气候、耕作方式、选取的品种不适合种植环境以及不合适的用药等因素，近年来出现了农作物病害面积逐步增大、病害种类逐步增多等情况。致病孢子用肉眼难以观察，会随着空气以及雨水传播到农作物的各个部位造成病害，直接导致农作物减产，带来惨重的经济损失。所以及时判断出农作物各个部位上是否有致病孢子有很重要的意义。
传统的病害诊断主要通过农学专家或者技术员根据经验进行识别和评估，存在耗时、费力且效率低的问题，难以适应病害快速防治的实时性与准确性要求。在过去几年中，神经网络的发展推动了大规模基准数据集视觉识别的快速发展。这些基于卷积神经网络的模型和算法已被证明可用于解决病害识别问题。因此越来越多的研究聚焦于农作物病害检测和分类，并取得了一定的成功。
基于神经网络的农作物病害识别模型通常需要大规模的病害叶片图像作为训练数据集，构建时空分布广泛，不同病害阶段的数据集费时耗力，而且在复杂环境下，农作物病害图像中常包含其他植株、土壤、地膜、水管等各种背景。因此，在现有病害数据集中，一方面，病害图像数量不足以支撑训练参数量大的识别模型，另一方面，病害图像的背景单一，直接使用此种类型的数据集进行训练，在真实环境下测试将会存在较大误差。
发明内容
为解决现有技术中的问题，本发明专利设计了基于神经网络的农作物致病孢子识别自动监测系统，以解决现有基于神经网络的农作物病害图像识别模型所需处理量大，实际应用效果不佳的问题。
本发明所采用的技术方案是：基于神经网络的农作物致病孢子识别自动监测系统，所述识别自动监测系统包括图像分类模块、文本分类模块及联合分类模块，所述图像分类模块，基于农作物图像得到病害种类的第一预测概率；所述文本分类模块，基于农作物文本信息得到病害种类的第二预测概率；所述联合分类模块，用于将所述第一预测概率和所述第二预测概率进行联合输出，得到病害类别。
进一步的，所述图像分类模块包括：第一特征提取网络和第一概率计算单元。第一特征提取网络，用于对农作物图像进行特征提取，得到第一提取结果，其中第一提取结果包括农作物特征图像和农作物特征图像标签；第一概率计算单元基于所述第一提取结果计算第一预测概率。
进一步的，所述文本分类模块包括第二特征提取网络和第二概率计算单元，所述第二特征提取网络用于对农作物文本信息进行特征提取，得到文本信息提取结果，所述农作物文本信息包括病斑生长的位置信息、叶片的正背面信息及病害本身的特征信息；所述文本信息提取结果包括农作物特征文本和农作物特征文本标签；所述第二概率计算单元用于基于所述文本信息提取结果计算第二预测概率。
进一步的，所述第二特征提取网络包括上下文网络和当前文本网络，所述上下文网络包括所述病斑生长的位置信息和所述叶片的正背面信息，通过双向循环神经网络对上下文信息进行特征提取，得到第二提取结果；所述当前文本网络为所述病害本身的特征信息，通过神经网络对当前文本信息进行特征提取，得到第三提取结果。
进一步的，所述联合分类模块包括联合输出单元和病害识别单元，所述联合输出单元用于将所述农作物图像和所述农作物文本进行联合输出，得到第三预测概率，所述病害识别单元基于所述第三预测概率对农作物病害进行识别，得到病害类别。
进一步的，还包括图像采集模块，所述图像采集模块包括抽风装置、孢子捕捉装置、数字显微相机和远传模块，所述孢子捕捉装置设置在抽风装置的进风口处，所述抽风装置定时开启，所述孢子捕捉装置捕捉被抽风装置带来的孢子，并定时将捕捉的孢子输送至数字显微相机处进行拍摄，所述远传模块将拍摄的孢子图像传输至服务器进行识别。
同时，本发明还公开了基于神经网络的农作物致病孢子识别自动监测系统方法，所述识别自动监测系统方法包括以下步骤：
步骤1，基于农作物图像得到农作物病害种类的第一预测概率；
步骤2，基于农作物文本信息得到农作物病害种类的第二预测概率；
步骤3，将第一预测概率和第二预测概率进行联合输出，得到病害类别。
进一步的，所述步骤1的过程包括对农作物图像进行特征提取，得到第一提取结果；第一提取结果包括农作物特征图像和农作物特征图像标签；基于第一提取结果计算第一预测概率。
进一步的，所述步骤2得到农作物病害种类的第二预测概率的过程包括：对农作物文本信息进行特征提取，得到文本信息提取结果，基于文本信息提取结果计算第二预测概率；其中农作物文本信息包括病斑生长的位置信息、叶片的正背面信息及病害本身的特征信息，文本信息提取结果包括农作物特征文本和农作物特征文本标签。
进一步的，所述步骤2对农作物文本信息进行特征提取的过程包括通过双向循环神经网络对上下文信息进行特征提取，得到第二提取结果，以及通过神经网络对当前文本信息进行特征提取，得到第三提取结果；其中当前文本信息为病害本身的特征信息，包括病斑生长的位置信息和叶片的正背面信息；上下文信息包括病斑生长的位置信息和叶片的正背面信息及病害本身的特征信息。
进一步的，所述步骤3得到病害类别的过程包括将农作物图像和所述农作物文本进行联合输出，得到第三预测概率；基于第三预测概率对农作物病害进行识别，得到病害类别。
相对于现有技术，本发明专利设计的基于神经网络的农作物致病孢子识别自动监测系统的进步之处在于：本发明基于农作物图像得到农作物病害种类的第一预测概率，基于农作物文本得到农作物病害种类的第二预测概率，以图像通道和文本通道两种通道并行的方式进行病害种类分类；本发明在图像数据集的基础上，以文本的形式，增加了病害描述信息，从而构成病害图像-文本对作为病害识别模型的数据集。本发明在文本通道中通过描述病害症状，进一步增强了病害的特征表达，削弱了病害图像背景对识别过程带来的影响。本发明通过联合分类模块，能够将图像-文本对输入模型，避免传统的图像识别模型需要对大量的图像信息进行识别对比的处理缺陷以及单一背景的识别准确率的制约，提高对病害识别的准确率，实用性更强。
附图说明
图1是基于神经网络的农作物致病孢子识别自动监测系统的构成示意图。
图2是基于神经网络的农作物致病孢子识别自动监测系统致病孢子分类模型训练集准确率变化曲线。
图3是基于神经网络的农作物致病孢子识别自动监测系统致病孢子分类模型训练集损失函数变化曲线。
图4是农作物图像特征提取的流程示意图。
图5是 Mask Scoring R-CNN模型图。
图6是深度学习的文本分类过程示意图。
图7是Bengio的语言模型框架图。
图8是CNN文本分类模型结构图。
图9是联合输出的整体流程图。
图10是图像采集模块的结构示意图。
图中，1排风扇、11进风管、21转轴、22步进电机、3数字显微相机、4壳体
具体实施方式
下面结合附图和具体实施例对本发明做进一步的说明。对本发明实施例中的技术方案进行清楚、完整的描述，所描述的实施例仅仅是本发明创造一部分的实施例，而不是全部。基于本发明创造中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明创造保护的范围。
如图1所示，本发明专利设计了基于神经网络的农作物致病孢子识别自动监测系统的一种实施例，本实施例中识别自动监测系统包括图像分类模块、文本分类模块及联合分类模块，图像分类模块基于农作物图像得到病害种类的第一预测概率；文本分类模块基于农作物文本信息得到病害种类的第二预测概率；联合分类模块用于将第一预测概率和第二预测概率进行联合输出，得到病害类别。
其中，图像分类模块包括：第一特征提取网络和第一概率计算单元。第一特征提取网络，用于对农作物图像进行特征提取，得到第一提取结果，其中第一提取结果包括农作物特征图像和农作物特征图像标签；第一概率计算单元基于第一提取结果计算第一预测概率。
文本分类模块包括第二特征提取网络和第二概率计算单元，第二特征提取网络用于对农作物文本信息进行特征提取，得到文本信息提取结果，农作物文本信息包括病斑生长的位置信息、叶片的正背面信息及病害特征的本身信息；文本信息提取结果包括农作物特征文本和农作物特征文本标签；第二概率计算单元用于基于上述文本信息提取结果计算第二预测概率。
第二特征提取网络包括上下文网络和当前文本网络，上下文网络包括病斑生长的位置信息和叶片的正背面信息，通过双向循环神经网络对上下文信息进行特征提取，得到第二提取结果；当前文本网络为病害特征的本身信息，通过神经网络对当前文本信息进行特征提取，得到第三提取结果。
联合分类模块包括联合输出单元和病害识别单元，联合输出单元用于将农作物图像和农作物文本进行联合输出，得到第三预测概率；病害识别单元基于第三预测概率对农作物病害进行识别，得到病害类别。
本发明的基于神经网络的农作物致病孢子识别自动监测系统还设置有图像采集模块，通过图像采集模块获取农作物的孢子图像信息。如图10所示，图像采集模块包括支撑壳体4及其内部的抽风装置、孢子捕捉装置、数字显微相机3和远传模块，抽风装置采用的是12V低压排风扇1，排气扇1的进风口处连接有进风管11，孢子捕捉装置设置在抽风装置的进风管11的进风口处，包括高透的粘性胶带，粘性胶带的两端分别缠绕在两根转轴21上，两根转轴之间跨过进风管11的进风口以及数字显微相机3的拍摄端，其中一根转轴21的端部连接有步进电机22，步进电机22转动可带动转轴21转动，从而带动粘性胶带从进风管11处的转轴向数字显微相机3处的转轴上移动卷绕。抽风装置的排气扇1定时开启，以10L/min的速度将大棚内的空气抽进图像采集模块，抽动的空气在经过进风口处的孢子捕捉装置时，随风带来的孢子会被粘性胶带捕捉粘附，通过单片机控制每小时一次启动步进电机22，每次带动粘性胶带移动10cm，将捕捉了孢子的粘性胶带输送至数字显微相机3处进行拍摄，数字显微相机3为研究级数字显微相机，集成远传模块，支持wifi，配备可调光源和自动对焦功能。远传模块通过wifi将采集的孢子图像经过数据网关传到服务器进行识别。图像采集模块的壳体4内部设置蓄电池作为电源，并在壳体的顶面设置有太阳能光伏板。
本实施例同时还公开了基于神经网络的农作物致病孢子的识别自动监测系统方法，该识别自动监测系统方法包括以下步骤：
步骤1，基于农作物图像得到农作物病害种类的第一预测概率。包括对农作物图像进行特征提取，得到第一提取结果；第一提取结果包括农作物特征图像和农作物特征图像标签；基于第一提取结果计算第一预测概率。
步骤2，基于农作物文本信息得到农作物病害种类的第二预测概率。包括对农作物文本信息进行特征提取，得到文本信息提取结果，基于文本信息提取结果计算第二预测概率。其中农作物文本信息包括病斑生长的位置信息、叶片的正背面信息及病害特征的本身信息，文本信息提取结果包括农作物特征文本和农作物特征文本标签。
其中对农作物文本信息进行特征提取的过程包括通过双向循环神经网络对上下文信息进行特征提取，得到第二提取结果，以及通过神经网络对当前文本信息进行特征提取，得到第三提取结果；其中当前文本信息为病害特征的本身信息，包括病斑生长的位置信息和叶片的正背面信息；上下文信息包括所病斑生长的位置信息和叶片的正背面信息及病害特征的本身信息。基于农作物的当前文本信息和上下文信息的第二提取结果和第三提取结果获得第二预测概率。
步骤3，将第一预测概率和第二预测概率进行联合输出，得到病害类别。包括将农作物图像和农作物文本进行联合输出，得到第三预测概率；基于第三预测概率对农作物病害进行识别，得到病害类别。
本发明公开的基于神经网络的农作物致病孢子识别自动监测系统的具体的构建实现方法为：
第一、图像分类，获得第一预测概率。
1.致病孢子图像预处理
1.1 图像灰度化
由于致病孢子显微图像包含的色彩识别度不高，而后续对孢子的识别计数主要依据其形态特征参数，与其色彩识别度无关。因此，将三通道的色彩空间图转换为单通道的灰色图像，以缩短后续的处理时间，提高处理效率，根据获得图像信息提取结果获得图像信息提取结果利用图像处理库中的函数实现致病孢子图像从 RGB三通道图像转换成单通道灰度图像的过程。灰度转化所采用的公式为：
Gray = (R+G+B)/3 。
式中的 R、G、B 分别为红、黄、绿三通道上的像素值，Gray为单通道的灰度值，其取值范围为0至255。
1.2 图像滤波降噪
为滤除孢子图像中的噪声，提高图像质量，降低后续的特征提取难度，选择进行滤波处理降噪。根据孢子相关特征选取高斯滤波和双孢滤波作为图像降噪的方法。制作高斯滤波器内核首先需要以内核中心位置为原点坐标对邻域各像素点进行取样，然后将取得的像素点的坐标带入到高斯函数中，得到内核函数。对于奇数内核而言，内核中各个元素值的计算公式如下所示：
式中，Hi，j表示生成的内核矩阵；i表示内核矩阵坐标值；j表示内核矩阵的列坐标；σ表示标准差，k为内核尺寸。内核尺寸越大，对图像的平滑越强，噪点去除越明显，但同时对原图的轮廓、边缘等信息造成的丢失越严重。
其计算公式如下所示：
双边滤波器输出像素点的灰度值取决于对应内核灰度值的加权值组合，式中，w(i，j，k，l)表示加权系数，f函数代表加权结果，其输出g（i，j）的灰度值取决于定义域核和值域核。
1.3 非锐化掩模图像边缘增强
非锐化掩模图像增强处理方法首先使用拉普拉斯算子获得图像的低频图像，然后使用抱子原图像减去低频得到高频图像。拉普拉斯算子是最简单的各向同性微分算子，具有旋转不变性。拉普拉斯算子的定义为：
式中其中x与y代表平面上的笛卡尔坐标，▽2 f((x，y)定义为梯度的散度。
该方程离散形式为：
x与y代表平面上的笛卡尔坐标，▽2 f定义为梯度的散度，f函数为其加权的结果。
非锐化掩模图像增强的原理流程为：
(1) 对原图像f(x)进行拉普拉斯滤波操作，得到模糊图像s(x，y)。
(2) 从原图中减去模糊图像s(x，y)，得到差值图像作为模板m(x，y) = f(x，y)-s(x，y)。
(3) 将模板加到原图像中得到增强后的图像g(x，y)；g(x，y) = f(x，y) + m(x，y)。
采用Rank Of Experts（专家等级）方法中的其中之一对融合模型进行全局搜索，得到评估值；基于评估值选择最优的模型对目标进行检测，得到召回率。
对混合后的图像样本中的特征点进行平滑处理，具体包括：
通过Prewitt（边缘检测）算子，利用像素点上下、左右邻点的灰度差，在边缘处达到极值检测边缘，去掉部分伪边缘；在图像空间利用两个方向模板与图像进行邻域卷积，上述两个方向模板一个检测水平边缘，一个检测垂直边缘；
对数字图像f(x，y)，Prewitt算子的定义如下：
G(i)=|[f(i-1，j-1)+f(i-1，j)+f(i-1，j+1)]-[f(i+1，j-1)+f(i+1，j)+f(i+1，j+1)]|；
G(j)=|[f(i-1，j+1)+f(i，j+1)+f(i+1，j+1)]-[f(i-1，j-1)+f(i，j-1)+f(i+1，j-1)]|；
则P(i，j)=max[G(i)，G(j)]或P(i，j)=G(i)+G(j)；
其中f函数代表边缘点，P函数代表边缘图像，G函数表示梯度值。选择阈值T，若P(i，j)≥T，则(i，j)为边缘点，P(i，j)为边缘图像。
1.4 Canny算子边缘检测的实现
Canny 算法的具体实现过程为：
（1）使用高斯函数对图像进行平滑滤波操作，使用高斯算子在图像行方向上依次
进行卷积运算，行方向上运算完成后按列方向进行下一行的卷积运算，直至整个图像运
算完毕。
（2）计算图像在水平方向和垂直方向上的梯度强度分量，获得图像的梯度方向和强度。最后将计算结果记载于梯度强度图和方向图中。
（3）判断该像素点是否为虚假边缘点，若该点在梯度方向的强度比相邻的两点大，则判定该点为边缘点，否则判定为虚假边缘点。
（4）按照设定的两个高低闯值对该点进行比较运算。
该算法首先对图像进行非极大值抑制，然后利用分别计算其x、y方的梯度值。计算所使用的偏导数公式为：Sx=(a2+ca3+a4)-(a0+ca7+a6)
Sy=(ao+ca1 +a2)-(a6+ca5 +a4) 。
其中，a0、a1、a2、a3、a4、a5、a6、a7分别为中心像素点 3×3 邻域像素点，c=2。Sx，Sy代表x、y的偏导数公式输出结果。该算法计算并存储孢子图像的梯度值，得到的图像与新图像大小一样，对应像素点位置的灰度值为求取的梯度值。构建成的新图像的灰度值图即为原图的梯度直方图。
2．孢子轮廓提取
通过Canny 边缘检测，得到了孢子图像的边缘图像，得到的边缘图像的包含了孢子内部的纹理结构等的边缘信息，需要继续研究算法以提取完整的孢子轮廓。
在Open CV中，其中vector向量中的每个元素都编码了曲线上下一点的位置信息，外层矢量的个数就是提取出来的轮廓的个数，而内层矢量的大小就是轮廓的总点数。研究中将通过Canny边缘检测得到的边缘图像作为输入图像输入到find Contours函数中计算，获取孢子的最外层的轮廓图像。
根据致病孢子形态，选择最小外接矩形长宽比（长轴短轴之比）、轮廓面积、周长、椭圆度4个形态特征参数，来描述致病孢子的形态特征。
2.1 基于HOG特征的致病孢子特征提取
HOG （Histogram of Oriented Gridients）特征是目前计算机视觉、模式识别领域很常用的一种描述图像局部纹理的特征，提取的流程如图4所示，HOG特征描述算子本质为：梯度的统计信息，而梯度主要存在于边缘的地方。HOG算子通过计算梯度方向分布来描述图像的边缘信息，这一点与上文中提到的自适应阈值Canny边缘检测算法计算图像的梯度值并构建图像的梯度直方图的方法类似。但由于HOG算子是在图像的局部方块单元上进行计算，所以它对图像的几何和光学形变都能表现很好的鲁棒性，受灰度分布、光照变化和噪声影响较小。由于在粗的空域和精细的方向都进行抽样并且执行较强的局部光学归一化，只要被检测物体具有较为规律的一般形状，HOG算子都可以较好的描述目标物体的信息。
2.1.1 Gamma校正
对输入孢子图像的灰度值进行指数变换，进而校正亮度偏差，通常应用于拓展暗调的细节。
2.1.2 梯度计算
根据输入图像像素点的横坐标和纵坐标计算其梯度，并根据其梯度值计算该像素位置的梯度方向。计算公式为：
I(x，y)表示输入图像在坐标点（x，y）处的像素值，Gx(x，y)、Gy(x，y)结果分别为像素点(x，y)的水平方向梯度、垂直方向梯度。
2.1.3 划分细胞单元格进行梯度投票
将梯度计算之后的目标图像划分成若干个细胞单元，每一个C能够给局部的图像区域提供一个指示函数量化梯度方向（或者称编码），同时又能够使提取的HOG特征保持对识别目标（孢子）的细胞局部状轮廓的弱敏感性。
2.1.4建立Block与梯度向量归一化
首先将小的Cl合并成一个更大的块(Block)，该方法能够降低由于图像归一化造成的图像检测率的降低。同时，B1ock重叠的部分可以对图像的每个像素点进行多次计算，使像素点的梯度值区分度更加明显，提高分类检测率。然后将B1ock合并成一个检测窗口(W)，检测窗口沿特征提取图像的行从左至右完成每行的HOG特征提取，行特征提取完成后按列从上往下进行下一行的HOG特征的提取，以此类推，直至完成整副图片的特征提取。将最终处理后的 HOG 特征输入到支持向量机中进行分类，在高维空间中寻找可将特征向量圆满二元分类的最优分类面。
3.Mask RCNN环境模型搭建
选用Pytorch模型不同的卷积组成其中每个网络块，ResNeSt主要贡献是设计了一个模块化的拆分注意模块(Split-attention Blocks)如图5所示，可以实现跨通道注意。从而解决原始网络模型中对于果蔬病害孢子数据集中小目标识别因难的问题，同时降低参数量和计算量，增加网络的实时性，实现对病害孢子更为精准的检测。
该网络训练出的模型值为0.71，相比于原始网络提升大约3个百分点，足够对果蔬病害孢子提供良好的检测效果。不仅能够精准地标出了孢子，还能够对孢子的边缘进行分割，在识别出的每个孢子旁边都标识出孢子的类别和模型的预测类别概率。
第二、文本分类获得第二预测概率。
基于神经网络深度学习的文本分类模块处理的过程如图6所示，包括对于文本分类模块进行预处理、文本的分布式表示、深度学习文本分类模型、性能评价等步骤，再利用人工神经网络结构自动获取特征表达能力，替代传统方法中复杂的人工特征工程，实现端到端地解决问题。
1.预处理
文本转化为适合于表示和分类的干净的词序列，预处理包括以下内容。
（1）分词。中文不同于英文，词语间无显式的分隔，因此需要利用中文分词技术将词语切分开。
（2）词干化。将英文中表示单复数、时态等变形词转换成原型。
（3）删除停用词。这类词不包含任何信息，如中文中的“的”、“了”，英文中的“the”、“a”等。
（4）去除低频词。一些词只在极个别个文本中出现过，对大部分文本没有实际意义，因此需要去除。
2. 文本的分布式表示
通过对大量语料的学习，将每个词映射到一个K维的实数向量，K的取值在几十到几百之间，远小于语料中词典的大小，从而解决了传统方法中向量稀疏和高维度的问题，如图7所示，使用Bengio的语言模型框架。基于神经网络建立统计语言模型框架（NeuralNetwork Language Model，NNLM），图中的矩阵C即为词向量。
3. 深度学习文本分类模型
利用神经网络处理文本分类的优势之一是无需花费大量的时间在特征提取与选择上，将词的分布式表示作为特征输入到网络中，神经网络可以自动抽取出对文本分类有价值的信息，通常这些信息是经过卷积、点乘、非线性函数、矩阵相乘等操作得到，且所得信息高度编码不易被解读。
使用CNN通过反向传播算法进行参数优化，CNN文本分类模型结构如图8所示，
（1）输入层。输入层是句子中词语的词向量矩阵，假设有n个词，词向量维度是k，那么这个矩阵的大小就是n×k。词向量的值可以固定不变（Static），也可以在模型训练的过程中作为参数优化（Not static）。
（2）隐层。隐层包括卷积层和池化层，通常以两者交替迭代出现，通过一组不同大小的卷积核（Filter）hi×k（hi是卷积核窗口中包含的词数），对文本进行从前向后的卷积运算，得到若干个特征映射。池化层（Pooling）负责对特征进行压缩，简化网络计算复杂度，提出主要特征，它包括average pooling（平均池化）和max pooling（最大池化）两种，通常文本分类会选择用max pooling（最大池化）来选择出局部最重要的信息。通过池化层可以解决可变长度的句子输入问题，输出每个特征映射向量中的最大值。
（3）输出层。输出层以池化层为输入，通过Softmax分类器计算文本在各个类别下的概率，并输出最终的分类结果。
对于文本分类任务，LSTM每一层的输入对应一篇文本的词Xi，将最后一个词的隐状态输入到全连接层Softmax，输出分类结果y。Siwei Lai等则设计了更加复杂的网络结构，用双向LSTM（长短期记忆）得到每个词的前向和后向上下文表示，这种词表示就是词向量和前后上下文向量结合起来的结果，
Xi=[cl(wi)；e(wi)；cr(wi)] 。
其中cl和cr分别表示wi的前向和后向上下文，e表示词向量。接下来应用激活函数得到每一个词的浅层语义向量送到CNN的池化层，获取整个文本的隐层信息。模型最后一层与传统神经网络模型一样，利用Softmax函数得到分类结果。
第三、联合输出，作出最终决定。
如图9所示，联合输出模块的运行包括以下步骤：
1. 属性划分
将第一预测概率和第二预测概率进行联合输出，得到病害类别。一个重要步骤就是找到一个合适的基本概率分配函数(BPA)，以便将证据分配给每个可能的状态。
第一是基于密度的生成方法，第二是基于距离函数的判别方法。生成方法(Generative Approach)和判别方法(Discriminative Approach)是监督学习的两种学习方法，所生成的模型就是生成模型(Generative Model)和判别模型(DiscriminativeModel)。
生成方法是直接对X和Y的联合分布P(X，Y)进行建模，然后通过贝叶斯公式求出P(y)，选取使得P(y)最大的y1作为输出结果。生成方法关心数据的产生原因，再对一个数据进行分类，基于假设，哪个数据源最有可能产出这个结果，那么就属于哪个假设，通常与处理识别问题的概率分布、模糊隶属度或可能性函数有关。常见的生成式模型有朴素贝叶斯模型、高斯混合模型高斯、混合多项式、专家的混合物等。
判别方法是直接对学习决策函数f(x)或者条件概率P(X，Y)进行建模，判别模型不关心数据是如何产生的，它只关心数据之间的差异，利用这个差异来对数据进行分类。常见的相关经典算法有K-NN算法、决策树、支持向量机(SVM，Support Vector Machine)、线性回归模型、线性判别分析、神经网络、条件随机场等。
对于一个给定的多维数据集，在属性划分之后，具有p个属性的测试数据集就被划分并转化为文中的p个独立模型。在应用于D-S证据理论框架时，因为数据是作为证据被输入，所以这部分也可以叫作证据划分。
2.复合BPA生成
对每个类别利用高斯分布进行建模，落在ROU中的样本会难以辨识，因为它们较大程度地同时具有两个不同类别的性质，所以这部分样本的识别任务可能会产生分类错误。因此，我们需要使用ROU来表示复合假设{Ci，Cj}，以此来对不确定性数据进行划分。这样，对于每个属性可以获得N个高斯分布和C子个ROU函数来分别作为单一假设和复合假设的模型。
3.BPA的合成
使用Dempster合成规则将由不同属性产生的BPA组合起来以获取综合BPA。根据D-S证据合成公式，从每个独立信息源中获得一个综合BPA。
4.概率转换
所有BPA组合完成之后，利用公式4-20将综合BPA被转换为一个聚焦决策的概率。
5.最终决策
使用转换做出决策。具有最大概率的假设（类别）被选作测试数据中样本的预测类别。上述方法量化了来自每个信息源的证据并对单一假设和复合假设分别构造其基本概率分配函数，在我们的方法中，使用ROU来定义复合假设，为了兼顾不同源的特征，采用加权调节架构来为单一和复合假设分配概率。在实际应用中，可以采用训练机制来寻找适当的加权系数(α，β)，将它们运用到不用的证据类别。
如图2、3所示，为本发明所公开的基于神经网络的农作物致病孢子识别自动监测系统方法所构建训练模型的训练结果，在总体数据训练的情况下，通过35轮的数据训练，统计模型的准确率及误差率，经过35轮训练后训练数据的准确率能达到98%以上，训练数据与真实数据的误差率＜5‰。
上述内容仅为本发明创造的较佳实施例而已，不能以此限定本发明创造的实施范围，即凡是依本发明创造权利要求及发明创造说明内容所做出的简单的等效变化与修饰，皆仍属于本发明创造涵盖的范围。

Claims (10)

1.基于神经网络的农作物致病孢子识别自动监测系统，其特征在于，所述识别自动监测系统包括图像分类模块、文本分类模块及联合分类模块，所述图像分类模块，基于农作物图像得到病害种类的第一预测概率；所述文本分类模块，基于农作物文本信息得到病害种类的第二预测概率；所述联合分类模块，用于将所述第一预测概率和所述第二预测概率进行联合输出，得到病害类别。
2.根据权利要求1所述的基于神经网络的农作物致病孢子识别自动监测系统，其特征在于，所述图像分类模块包括第一特征提取网络和第一概率计算单元，第一特征提取网络，用于对农作物图像进行特征提取，得到第一提取结果，其中第一提取结果包括农作物特征图像和农作物特征图像标签；第一概率计算单元基于所述第一提取结果计算第一预测概率。
3.根据权利要求2所述的基于神经网络的农作物致病孢子识别自动监测系统，其特征在于，所述文本分类模块包括第二特征提取网络和第二概率计算单元，所述第二特征提取网络用于对农作物文本信息进行特征提取，得到文本信息提取结果，所述农作物文本信息包括病斑生长的位置信息、叶片的正背面信息及病害本身的特征信息；所述文本信息提取结果包括农作物特征文本和农作物特征文本标签；所述第二概率计算单元用于基于所述文本信息提取结果计算第二预测概率。
4.根据权利要求3所述的基于神经网络的农作物致病孢子识别自动监测系统，其特征在于，所述第二特征提取网络包括上下文网络和当前文本网络，所述上下文网络包括所述病斑生长的位置信息和所述叶片的正背面信息，通过双向循环神经网络对上下文信息进行特征提取，得到第二提取结果；所述当前文本网络为病害本身的特征信息，通过神经网络对当前文本信息进行特征提取，得到第三提取结果。
5.根据权利要求4所述的基于神经网络的农作物致病孢子识别自动监测系统，其特征在于，所述联合分类模块包括联合输出单元和病害识别单元，所述联合输出单元用于将所述农作物图像和所述农作物文本进行联合输出，得到第三预测概率，所述病害识别单元基于所述第三预测概率对农作物病害进行识别，得到病害类别。
6.根据权利要求5所述的基于神经网络的农作物致病孢子识别自动监测系统，其特征在于，还包括图像采集模块，所述图像采集模块包括抽风装置、孢子捕捉装置、数字显微相机和远传模块，所述孢子捕捉装置设置在抽风装置的进风口处，所述抽风装置定时开启，所述孢子捕捉装置捕捉被抽风装置带来的孢子，并定时将捕捉的孢子输送至数字显微相机处进行拍摄，所述远传模块将拍摄的孢子图像传输至服务器进行识别。
7.基于神经网络的农作物致病孢子识别自动监测方法，其特征在于，所述识别自动监测系统方法包括以下步骤：
步骤1，基于农作物图像得到农作物病害种类的第一预测概率，包括对农作物图像进行特征提取，得到第一提取结果；第一提取结果包括农作物特征图像和农作物特征图像标签；基于第一提取结果计算第一预测概率；
步骤2，基于农作物文本信息得到农作物病害种类的第二预测概率；
步骤3，将第一预测概率和第二预测概率进行联合输出，得到病害类别。
8.根据权利要求7所述基于神经网络的农作物致病孢子识别自动监测系统方法，其特征在于，所述步骤2得到农作物病害种类的第二预测概率的过程包括：对农作物文本信息进行特征提取，得到文本信息提取结果，基于文本信息提取结果计算第二预测概率；其中农作物文本信息包括病斑生长的位置信息、叶片的正背面信息及病害特征的本身信息，文本信息提取结果包括农作物特征文本和农作物特征文本标签。
9.根据权利要求8所述基于神经网络的农作物致病孢子识别自动监测系统方法，其特征在于，所述步骤2对农作物文本信息进行特征提取的过程包括通过双向循环神经网络对上下文信息进行特征提取，得到第二提取结果，以及通过神经网络对当前文本信息进行特征提取，得到第三提取结果；其中当前文本信息为病害本身的特征信息，包括病斑生长的位置信息和叶片的正背面信息；上下文信息包括病斑生长的位置信息和叶片的正背面信息及病害特征的本身信息。
10.根据权利要求9所述基于神经网络的农作物致病孢子识别自动监测系统方法，其特征在于，所述步骤3得到病害类别的过程包括将农作物图像和所述农作物文本进行联合输出，得到第三预测概率；基于第三预测概率对农作物病害进行识别，得到病害类别。
CN202311419347.5A 2023-10-30 2023-10-30 基于神经网络的农作物致病孢子识别自动监测系统及方法 Pending CN117407833A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311419347.5A CN117407833A (zh) 2023-10-30 2023-10-30 基于神经网络的农作物致病孢子识别自动监测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311419347.5A CN117407833A (zh) 2023-10-30 2023-10-30 基于神经网络的农作物致病孢子识别自动监测系统及方法

Publications (1)

Publication Number Publication Date
CN117407833A true CN117407833A (zh) 2024-01-16

Family

ID=89490511

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311419347.5A Pending CN117407833A (zh) 2023-10-30 2023-10-30 基于神经网络的农作物致病孢子识别自动监测系统及方法

Country Status (1)

Country Link
CN (1) CN117407833A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108763793A (zh) * 2018-06-01 2018-11-06 电子科技大学 一种加权模糊型d-s证据理论框架
CN109614856A (zh) * 2018-10-31 2019-04-12 西安理工大学 基于卷积神经网络的真菌图像分类方法
CN115050014A (zh) * 2022-06-15 2022-09-13 河北农业大学 一种基于图像文本学习的小样本番茄病害识别系统及方法
CN116109840A (zh) * 2023-04-10 2023-05-12 山东农业大学 一种基于机器视觉的樱桃孢子识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108763793A (zh) * 2018-06-01 2018-11-06 电子科技大学 一种加权模糊型d-s证据理论框架
CN109614856A (zh) * 2018-10-31 2019-04-12 西安理工大学 基于卷积神经网络的真菌图像分类方法
CN115050014A (zh) * 2022-06-15 2022-09-13 河北农业大学 一种基于图像文本学习的小样本番茄病害识别系统及方法
CN116109840A (zh) * 2023-04-10 2023-05-12 山东农业大学 一种基于机器视觉的樱桃孢子识别方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
双锴: "《自然语言处理》", 31 August 2021, 北京邮电大学出版社, pages: 20 - 24 *
李勇 等: "《复杂情感分析方法及其应用》", 30 April 2020, 北京：冶金工业出版社, pages: 98 - 103 *
李明 等: "基于改进YOLOv5s的日光温室黄瓜霜霉病孢子囊检测计数方法", 《中国农机化学报》, vol. 44, no. 5, 31 May 2023 (2023-05-31), pages 63 - 70 *
苗启广: "《手势识别技术理论及应用》", 30 June 2022, 西安电子科学技术大学出版社, pages: 59 - 61 *
葛致磊: "《导弹导引系统原理》", 31 March 2016, 国防工业出版社, pages: 138 - 139 *

Similar Documents

Publication Publication Date Title
Krishnamoorthy et al. Rice leaf diseases prediction using deep neural networks with transfer learning
CN106845510B (zh) 基于深度层级特征融合的中国传统视觉文化符号识别方法
CN110097060B (zh) 一种面向树干图像的开集识别方法
CN106340016A (zh) 一种基于细胞显微镜图像的dna定量分析方法
Rathore et al. Automatic rice plant disease recognition and identification using convolutional neural network
CN111160407A (zh) 一种深度学习目标检测方法及系统
Liang et al. Comparison detector for cervical cell/clumps detection in the limited data scenario
CN112633386A (zh) 基于sacvaegan的高光谱图像分类方法
CN111178177A (zh) 一种基于卷积神经网络的黄瓜病害识别方法
Hao et al. Growing period classification of Gynura bicolor DC using GL-CNN
CN112749675A (zh) 一种基于卷积神经网络的马铃薯病害识别方法
Udawant et al. Cotton leaf disease detection using instance segmentation
CN115050014A (zh) 一种基于图像文本学习的小样本番茄病害识别系统及方法
CN104933410B (zh) 一种高光谱图像光谱域与空间域联合分类方法
Kundur et al. Deep convolutional neural network architecture for plant seedling classification
CN110992301A (zh) 一种气体轮廓识别方法
Chen et al. Deep convolutional network for citrus leaf diseases recognition
CN116310870A (zh) 基于高光谱图像的目标检测分类方法、系统及存储介质
Zhang et al. Rapid computer vision detection of apple diseases based on AMCFNet
CN117407833A (zh) 基于神经网络的农作物致病孢子识别自动监测系统及方法
CN115393631A (zh) 基于贝叶斯层图卷积神经网络的高光谱图像分类方法
CN116012903A (zh) 一种人脸表情自动标注的方法及系统
Li et al. A novel denoising autoencoder assisted segmentation algorithm for cotton field
CN114240822A (zh) 基于YOLOv3及多尺度特征融合的棉布瑕疵检测方法
Yu Research progress of crop disease image recognition based on wireless network communication and deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination