CN114565826B - 一种农业病虫害识别诊断方法、系统及装置 - Google Patents

一种农业病虫害识别诊断方法、系统及装置 Download PDF

Info

Publication number
CN114565826B
CN114565826B CN202210454540.1A CN202210454540A CN114565826B CN 114565826 B CN114565826 B CN 114565826B CN 202210454540 A CN202210454540 A CN 202210454540A CN 114565826 B CN114565826 B CN 114565826B
Authority
CN
China
Prior art keywords
pest
disease
crop
agricultural
diagnosis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210454540.1A
Other languages
English (en)
Other versions
CN114565826A (zh
Inventor
欧吉顺
张伟
周楚新
吴德才
周发展
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Green Technology Research Institute Co ltd
Original Assignee
Nanjing Green Technology Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Green Technology Research Institute Co ltd filed Critical Nanjing Green Technology Research Institute Co ltd
Priority to CN202210454540.1A priority Critical patent/CN114565826B/zh
Publication of CN114565826A publication Critical patent/CN114565826A/zh
Application granted granted Critical
Publication of CN114565826B publication Critical patent/CN114565826B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31—Indexing; Data structures therefor; Storage structures
    • G06F16/316—Indexing structures
    • G06F16/322—Trees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Mining
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Agronomy & Crop Science (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Biophysics (AREA)
  • Animal Husbandry (AREA)
  • Computing Systems (AREA)
  • Mining & Mineral Resources (AREA)
  • Biomedical Technology (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种农业病虫害识别诊断方法、系统及装置，属于农业病虫害领域，考虑农业病虫害文本特征、图像特征以及知识图谱等多模态数据源的特点，采用多模态机器学习方法，研究农业病虫害多模态数据融合在线诊断方法，通过结合各类数据源的互补性，有效提高农业病虫害诊断的准确性、鲁棒性和可靠性。

Description

一种农业病虫害识别诊断方法、系统及装置
技术领域
本发明涉及农业病虫害领域，特别是涉及一种农业病虫害识别诊断方法、系统及装置。
背景技术
农作物病虫害不仅会影响农作物的产量，还会影响农作物的质量。农作物病虫害的主要特点是传播速度快，一旦某个地区出现了病虫害，就会在很短时间内传播给其他作物，甚至会传播到其他地区，有时某个作物可能会被多种害虫和病原体影响。所以，农作物病虫害对农业发展影响很大，农业病虫害的诊断是农业领域一个重要关键环节。
传统基于人眼观察方式识别病虫害种类和提供诊治方案具有主观性强、误诊率高、效率低下等缺点。随着物联网、互联网、计算机视觉、人工智能等先进技术的成熟和日渐渗透，基于图像识别的病虫害诊断成为当下主流趋势。然而，仅仅通过图像识别技术手段诊断病虫害也有显著不足，如病虫害在作物生长不同阶段呈现不同的形态、病症，所构建的识别模型需要大量的图像作为训练数据，一旦训练样本无法体现病虫害特点，模型的识别准确率将大打折扣。此外，图像识别方法在光线昏暗、遮挡严重等复杂场景下鲁棒性和可靠性均不高。
因此，研究精准的农业病虫害诊断方法是目前亟待解决的技术问题。
发明内容
本发明的目的是提供一种农业病虫害识别诊断方法、系统及装置，以提高病虫害诊断准确性。
为实现上述目的，本发明提供了如下方案：
一种农业病虫害识别诊断方法，所述方法包括：
利用农业病虫害图像库，基于深度学习，构建病虫害图像诊断模型；
利用农业病虫害文本库，基于关联规则，构建病虫害文本关联诊断模型；
构建每个预设区域每种农作物在每月的农业病虫害知识图谱；所述农业病害知识图谱的节点表示农作物所在预设区域和月份、农作物类型实体、病虫害名称实体、病虫害类型实体、发病部位实体和症状实体；
获取摄像头捕获的待诊断农作物的实时图像和与待诊断农作物病虫害症状相关的描述文本；
将所述实时图像输入病虫害图像诊断模型，获得第一病虫害诊断结果；所述第一病虫害诊断结果为病虫害类型和发生概率；
提取所述与待诊断农作物病虫害症状相关的描述文本中的病虫害特征、发病月份和待诊断农作物所在预设区域；所述病虫害特征包括农作物名称、发病部位和症状；
将所述病虫害特征输入病虫害文本关联诊断模型，获得第二病虫害诊断结果；所述第二病虫害诊断结果为病虫害类型和发生概率；
根据所述病虫害特征、发病月份和待诊断农作物所在预设区域，从所述农业病虫害知识图谱中获得第三病虫害诊断结果；所述第三病虫害诊断结果为病虫害类型；
采用图像处理技术识别所述实时图像中的特征向量和特征值；
根据识别的特征向量和特征值，采用基于目标多特征的mass函数确定方法，确定第一病虫害诊断结果的mass值、第二病虫害诊断结果的mass值和第三病虫害诊断结果的mass值，并将最大mass值对应的病虫害诊断结果确定为待诊断农作物的病虫害诊断类型。
可选的，所述利用农业病虫害图像库，基于深度学习，构建病虫害图像诊断模型，具体包括：
将农业病虫害图像库划分为农作物病害样本图像库和农作物虫害样本图像库；
标注所述农作物病害样本图像库中同一种农作物的每个样本图像的发病部位；
按照发病部位进行分类，获得同一种农作物的每个发病部位的标注样本图像；
将同一种农作物的每个发病部位的标注样本图像作为输入量，病害名称作为标签构成该种农作物的病害样本集；
利用该种农作物的病害样本集对深度残差神经网络进行训练和验证，获得该种农作物的病害图像诊断模型；
标注所述农作物虫害样本图像库中同一种虫害的每个样本图像的位置；所述同一种虫害包括同一种虫子的幼虫和成虫；
将同一种虫害已标注位置的样本图像作为输入量，虫害名称作为标签构成该种农作物的虫害样本集；
利用该种农作物的虫害样本集对深度残差神经网络进行训练和验证，获得该种农作物的虫害图像诊断模型；
该种农作物的虫害图像诊断模型和该种农作物的病害图像诊断模型构成该种农作物的病虫害图像诊断模型。
可选的，所述利用该种农作物的病害样本集对深度残差神经网络进行训练和验证，获得该种农作物的病害图像诊断模型，具体包括：
利用ImageNet数据集对ViTransformer模型进行预训练，获得预训练模型；
基于模型迁移学习和深度学习框架，将预训练模型的网络参数迁移至深度残差神经网络模型中；
利用该种农作物的病害样本集调整迁移后的深度残差神经网络模型的权重，获得该种农作物的病害图像诊断模型。
可选的，所述利用农业病虫害文本库，基于关联规则，构建病虫害文本关联诊断模型，具体包括：
对农业病虫害文本库的每个文本进行文本语义分析；
从本文语义分析后的文本中提取农作物类型、发病部位和病虫害特征；
根据提取的农作物类型、发病部位和病虫害特征构建关联规则库，作为病虫害文本关联诊断模型。
可选的，所述构建每个预设区域每种农作物在每月的农业病虫害知识图谱，具体包括：
对从互联网采集的多个农业技术文章进行分类索引，获得每个预设区域每种农作物在每月的农业技术文章；
对每个预设区域每种农作物在每月的农业技术文章进行DOM树解析，提取每个农业技术文章的要素；所述要素包括文章标题、内容和发布来源；
根据所提取的每个农业技术文章的要素，建立哈希字典；
利用所述哈希字典对所提取的所有农业技术文章的要素进行去重；
针对去重后的要素进行中文分词和语法语义分析；
基于分析结果，利用Bert预训练模型，从文本内容中提取实体和属性；
基于知识图谱技术，对实体关系进行自动抽取；
根据提取的实体、属性和实体关系建立图数据库，构建每个预设区域每种农作物在每月的农业病虫害知识图谱。
可选的，所述根据识别的特征向量和特征值，采用基于目标多特征的mass函数确定方法，确定第一病虫害诊断结果的mass值、第二病虫害诊断结果的mass值和第三病虫害诊断结果的mass值，具体包括：
确定待识别的目标框架{A 1,A 2,A 3}；其中，A 1、A 2和A 3分别表示第一病虫害诊断结果、第二病虫害诊断结果和第三病虫害诊断结果；
根据目标框架和识别的特征向量，利用三分法计算特征隶属度矩阵T；
利用公式
Figure 214581DEST_PATH_IMAGE001
，计算特征隶属度矩阵T的列向量μ j 的可信度向量w j ；
根据所述可信度向量w j 和特征隶属度矩阵T，利用公式d j =w j ×μ j ，计算每个目标在目标框架中的重要度d j ；
对每个目标在目标框架中的重要度d j 归一化，获得每个目标的mass值；
式中，w ij 为可信度向量w j 中第i个特征对第j个目标所对应的可信度，l ij 为第i个特征对第j个目标所对应的偏差系数，A为系数，k为数据偏离中心点的程度，μ ij (x)为第i个特征对第j个目标的隶属度，e j 为第j个目标对应的隶属度的中心点，m为特征数量。
可选的，所述构建每个预设区域每种农作物在每月的农业病虫害知识图谱，之后还包括：
获取待测预设区域每月的大气平均温度和大气平均湿度；
从农业病虫害知识图谱中获取待测预设区域待预警农作物在每月可能发生的所有病虫害名称，作为待预警病虫害序列；
判断每个病虫害是否在待预警病虫害序列中，获得第一判断结果；
若所述第一判断结果表示该病虫害在待预警病虫害序列中，则从农业病虫害文本库中获取该病虫害的介绍文本；
从介绍文本中提取该病虫害的发病温度范围和发病湿度范围；
判断所述大气平均温度是否在发病温度范围之内和所述大气平均湿度是否在发病湿度范围之内，获得第二判断结果；
若所述第二判断结果表示所述大气平均温度不在发病温度范围之内且所述大气平均湿度不在发病湿度范围之内，则对待测预设区域待预警农作物在该月发生该病虫害进行第一预警；
若所述判断结果表示所述大气平均温度不在发病温度范围之内或所述大气平均湿度不在发病湿度范围之内，则对待测预设区域待预警农作物在该月发生该病虫害进行第二预警；
若所述判断结果表示所述大气平均温度在发病温度范围之内且所述大气平均湿度在发病湿度范围之内，则对待测预设区域待预警农作物在该月发生该病虫害进行第三预警；
若所述第一判断结果表示该病虫害不在待预警病虫害序列中，则待测预设区域待预警农作物在该月无病害预警。
一种农业病虫害识别诊断系统，所述系统利用前述的农业病虫害识别诊断方法，所述系统包括：病虫害拍照模块、病虫害识别模块和病虫害知识图谱模块；
所述病虫害拍照模块用于显示每种农作物的图标和虫害图标，在农作物发生病害时选择待拍照农作物的图标后继续选择部位进行拍照，获取农作物病害图像，或在农作物发生虫害时点击虫害图标，获取农作物虫害图像；
所述病虫害知识图谱模块用于构建每个预设区域每种农作物在每月的农业病虫害知识图谱；
所述病虫害识别模块用于构建病虫害图像诊断模型和病虫害文本关联诊断模型，并根据农作物病虫害图片和与待诊断农作物病虫害症状相关的描述文本，利用病虫害图像诊断模型、病虫害文本关联诊断模型和所述农业病虫害知识图谱，获得待诊断农作物的病虫害诊断类型。
可选的，所述系统还包括：病虫害预警模块；
所述病虫害预警模块用于利用所述农业病虫害知识图谱，对每个预设区域的农作物在每月可能发生的病虫害进行预警。
一种农业病虫害识别诊断装置，所述装置包括：摄像头、服务器和客户端；
摄像头与服务器连接；所述摄像头用于拍摄发生病害或虫害的农作物，并将农作物病害图像或农作物虫害图像发送至服务器；
所述服务器用于构建病虫害图像诊断模型、病虫害文本关联诊断模型和每个预设区域每种农作物在每月的农业病虫害知识图谱，并在接收到与待诊断农作物病虫害症状相关的描述文本后，根据农作物病虫害图片和与待诊断农作物病虫害症状相关的描述文本，利用病虫害图像诊断模型、病虫害文本关联诊断模型和所述农业病虫害知识图谱，获得待诊断农作物的病虫害诊断类型；
客户端与服务器连接；所述客户端用于接收并显示服务器获得的待诊断农作物的病虫害诊断类型。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明公开一种农业病虫害识别诊断方法、系统及装置，考虑农业病虫害文本特征、图像特征以及知识图谱等多模态数据源的特点，采用多模态机器学习方法，研究农业病虫害多模态数据融合在线诊断方法，通过结合各类数据源的互补性，有效提高农业病虫害诊断的准确性和可靠性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种农业病虫害识别诊断方法的原理图；
图2为本发明提供的一种农业病虫害识别诊断方法的流程框图；
图3为本发明提供的知识图谱构建过程图；
图4为本发明实施例提供的农业病虫害知识图谱的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种农业病虫害识别诊断方法、系统及装置，以提高病虫害诊断准确性。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明提供了一种农业病虫害识别诊断方法，方法包括：
步骤1，利用农业病虫害图像库，基于深度学习，构建病虫害图像诊断模型。
在一个示例中，具体包括：
将农业病虫害图像库划分为农作物病害样本图像库和农作物虫害样本图像库；
标注农作物病害样本图像库中同一种农作物的每个样本图像的发病部位；
按照发病部位进行分类，获得同一种农作物的每个发病部位的标注样本图像；
将同一种农作物的每个发病部位的标注样本图像作为输入量，病害名称作为标签构成该种农作物的病害样本集；
利用该种农作物的病害样本集对深度残差神经网络进行训练和验证，获得该种农作物的病害图像诊断模型；
标注农作物虫害样本图像库中同一种虫害的每个样本图像的位置；同一种虫害包括同一种虫子的幼虫和成虫；
将同一种虫害已标注位置的样本图像作为输入量，虫害名称作为标签构成该种农作物的虫害样本集；
利用该种农作物的虫害样本集对深度残差神经网络进行训练和验证，获得该种农作物的虫害图像诊断模型；
该种农作物的虫害图像诊断模型和该种农作物的病害图像诊断模型构成该种农作物的病虫害图像诊断模型。
其中，利用该种农作物的病害样本集对深度残差神经网络进行训练和验证，获得该种农作物的病害图像诊断模型，具体包括：
利用ImageNet数据集对ViTransformer模型进行预训练，获得预训练模型；
基于模型迁移学习和深度学习框架，将预训练模型的网络参数迁移至深度残差神经网络模型中；
利用该种农作物的病害样本集调整迁移后的深度残差神经网络模型的权重，获得该种农作物的病害图像诊断模型。
步骤2，利用农业病虫害文本库，基于关联规则，构建病虫害文本关联诊断模型。
在一个示例中，具体包括：
对农业病虫害文本库的每个文本进行文本语义分析；
从本文语义分析后的文本中提取农作物类型、发病部位和病虫害特征；
根据提取的农作物类型、发病部位和病虫害特征构建关联规则库，作为病虫害文本关联诊断模型。
步骤3，构建每个预设区域每种农作物在每月的农业病虫害知识图谱；农业病害知识图谱的节点表示农作物所在预设区域和月份、农作物类型实体、病虫害名称实体、病虫害类型实体、发病部位实体和症状实体。
传统基于关键词查询的方式进行农业技术搜索，具有命中率低、查询效率低下的缺点。本发明基于自然语言处理技术，对从互联网搜集的农业技术文章进行信息提取、去重、中文分词等基本预处理，在此基础上利用预训练模型Bert从中提取命名实体，为实体确定相关属性，并建立实体与实体之间的关系，最后通过倒排索引技术，建立关键词字典，最终构建起农业技术大数据知识图谱，为用户提供精准问答解决方案。
以中国为例，则预设区域指代中国的省份。
在一个示例中，如图3所示，具体包括：
对从互联网采集的多个农业技术文章进行分类索引，获得每个预设区域每种农作物在每月的农业技术文章；
对每个预设区域每种农作物在每月的农业技术文章进行DOM树解析，提取每个农业技术文章的要素；要素包括文章标题、内容和发布来源；
根据所提取的每个农业技术文章的要素，建立哈希字典；
利用哈希字典对所提取的所有农业技术文章的要素进行去重；
针对去重后的要素进行中文分词和语法语义分析；
基于分析结果，利用Bert预训练模型，从文本内容中提取实体和属性；
基于知识图谱技术，对实体关系进行自动抽取；
根据提取的实体、属性和实体关系建立图数据库，构建每个预设区域每种农作物在每月的农业病虫害知识图谱。
构建的农业技术知识图谱将数据关联转化为语义知识关联，通过用户查询，直接给出精准答案，提高技术查询的效率和准确性。构建的部分农业病虫害知识图谱如图4所示。
步骤4，获取摄像头捕获的待诊断农作物的实时图像和与待诊断农作物病虫害症状相关的描述文本；描述文本包括病症描述、病虫害发生时间和地理位置。
步骤5，将实时图像输入病虫害图像诊断模型，获得第一病虫害诊断结果；第一病虫害诊断结果为病虫害类型和发生概率。
步骤6，提取与待诊断农作物病虫害症状相关的描述文本中的病虫害特征、发病月份和待诊断农作物所在预设区域；病虫害特征包括农作物名称、发病部位和症状。
步骤7，将病虫害特征输入病虫害文本关联诊断模型，获得第二病虫害诊断结果；第二病虫害诊断结果为病虫害类型和发生概率。
步骤8，根据病虫害特征、发病月份和待诊断农作物所在预设区域，从农业病虫害知识图谱中获得第三病虫害诊断结果；第三病虫害诊断结果为病虫害类型。
步骤9，采用图像处理技术识别所述实时图像中的特征向量和特征值。
步骤10，根据识别的特征向量和特征值，采用基于目标多特征的mass函数确定方法，确定第一病虫害诊断结果的mass值、第二病虫害诊断结果的mass值和第三病虫害诊断结果的mass值，并将最大mass值对应的病虫害诊断结果确定为待诊断农作物的病虫害诊断类型。
在一个示例中，具体包括：
确定待识别的目标框架{A 1,A 2,A 3}；其中，A 1、A 2和A 3分别表示第一病虫害诊断结果、第二病虫害诊断结果和第三病虫害诊断结果；
根据目标框架和识别的特征向量，利用三分法计算特征隶属度矩阵T；
利用公式
Figure 888008DEST_PATH_IMAGE001
，计算特征隶属度矩阵T的列向量μ j 的可信度向量w j ；
根据所述可信度向量w j 和特征隶属度矩阵T，利用公式d j =w j ×μ j ，计算每个目标在目标框架中的重要度d j ；
对每个目标在目标框架中的重要度d j 归一化，获得每个目标的mass值；
式中，w ij 为可信度向量w j 中第i个特征对第j个目标所对应的可信度，l ij 为第i个特征对第j个目标所对应的偏差系数，A为系数，k为数据偏离中心点的程度，μ ij (x)为第i个特征对第j个目标的隶属度，e j 为第j个目标对应的隶属度的中心点，m为特征数量。
参照图2，在使用数据库中的病虫害图像数据、病虫害描述文本和病虫害防治信息之前，会对这些这些数据进行预处理，包括信息提取、数据清洗、数据规整、数据融合等，得到干净文本数据和干净图像数据。
本发明的农业病虫害识别诊断方法除了以上方法步骤还包括：
获取待测预设区域每月的大气平均温度和大气平均湿度；
从农业病虫害知识图谱中获取待测预设区域待预警农作物在每月可能发生的所有病虫害名称，作为待预警病虫害序列；
判断每个病虫害是否在待预警病虫害序列中，获得第一判断结果；
若第一判断结果表示该病虫害在待预警病虫害序列中，则从农业病虫害文本库中获取该病虫害的介绍文本；
从介绍文本中提取该病虫害的发病温度范围和发病湿度范围；
判断大气平均温度是否在发病温度范围之内和大气平均湿度是否在发病湿度范围之内，获得第二判断结果；
若第二判断结果表示大气平均温度不在发病温度范围之内且大气平均湿度不在发病湿度范围之内，则对待测预设区域待预警农作物在该月发生该病虫害进行第一预警；
若判断结果表示大气平均温度不在发病温度范围之内或大气平均湿度不在发病湿度范围之内，则对待测预设区域待预警农作物在该月发生该病虫害进行第二预警；
若判断结果表示大气平均温度在发病温度范围之内且大气平均湿度在发病湿度范围之内，则对待测预设区域待预警农作物在该月发生该病虫害进行第三预警；
若第一判断结果表示该病虫害不在待预警病虫害序列中，则待测预设区域待预警农作物在该月无病害预警。
由于农业病虫害在复杂场景下精度和鲁棒性不高，本发明提出基于多模态数据融合的农业病虫害在线诊断方法，如图2所示。考虑农业病虫害文本特征、图像特征以及知识图谱等多模态数据源的特点，采用多模态机器学习方法，研究农业病虫害多模态数据融合在线诊断方法，通过结合各类数据源的互补性，有效提高农业病虫害诊断的准确性、鲁棒性和可靠性。
本发明还提供了一种农业病虫害识别诊断系统，系统利用前述的农业病虫害识别诊断方法，系统包括：病虫害拍照模块、病虫害识别模块和病虫害知识图谱模块。
病虫害拍照模块用于显示每种农作物的图标和虫害图标，在农作物发生病害时选择待拍照农作物的图标后继续选择部位进行拍照，获取农作物病害图像，或在农作物发生虫害时点击虫害图标，获取农作物虫害图像。
病虫害知识图谱模块用于构建每个预设区域每种农作物在每月的农业病虫害知识图谱。
病虫害识别模块用于构建病虫害图像诊断模型和病虫害文本关联诊断模型，并根据农作物病虫害图片和与待诊断农作物病虫害症状相关的描述文本，利用病虫害图像诊断模型、病虫害文本关联诊断模型和农业病虫害知识图谱，获得待诊断农作物的病虫害诊断类型。
系统还包括：病虫害预警模块。病虫害预警模块用于利用农业病虫害知识图谱，对每个预设区域的农作物在每月可能发生的病虫害进行预警。
一种农业病虫害识别诊断装置，装置包括：摄像头、服务器和客户端。摄像头与服务器连接；摄像头用于拍摄发生病害或虫害的农作物，并将农作物病害图像或农作物虫害图像发送至服务器。服务器用于构建病虫害图像诊断模型、病虫害文本关联诊断模型和每个预设区域每种农作物在每月的农业病虫害知识图谱，并在接收到与待诊断农作物病虫害症状相关的描述文本后，根据农作物病虫害图片和与待诊断农作物病虫害症状相关的描述文本，利用病虫害图像诊断模型、病虫害文本关联诊断模型和所述农业病虫害知识图谱，获得待诊断农作物的病虫害诊断类型。客户端与服务器连接；客户端用于接收并显示服务器获得的待诊断农作物的病虫害诊断类型。该客户端可以为智能手机、触摸屏、个人电脑、平板电脑等，并服务于广大农户，为广大农户提供农业病虫害查询、农业病虫害防治、农业病虫害诊断和农业病虫害预警。
本发明研发的基于深度学习和知识图谱的农业病虫害智能诊断平台，以农业病虫害相关的图像和文本为分析基础，依托当前先进的深度学习和知识图谱两大核心技术，从海量数据中提取潜在的特征、规律及模式，并将其转化为有用的知识，进而为广大农户提供农业病虫害知识查询、农业病虫害在线诊断、农业病虫害防治建议、农业病虫害大规模爆发预警四大类核心应用服务。另一方面，在此基础上研发面向智能手机、触摸屏、个人电脑和平板电脑的综合应用，对接农资厂商，为其提供产品宣传推广服务。平台的主要创新点：
1.构建了面向农业病虫害的文本+图像特征描述、防治对策、农资厂商等海量数据存储库，为后续基于深度学习和知识图谱进行数据挖掘分析提供了基础数据支撑；
2.研发了实体抽取、属性抽取、关系抽取、知识表示学习等系列知识图谱算法，从而构建起面向海量农业病虫害信息存储与查询的知识图谱平台；
3.研发了基于深度神经网络的农业病虫害分类算法，通过对图像及文本特征进行深层次表达、抽象、提取及预测建模，构建起基于深度学习的农业病虫害快速精准诊断平台；
4.围绕智能手机、触摸屏、个人电脑和平板电脑等多种信息发布和推送渠道，构建起农业病虫害智能应用服务平台，对接广大种养殖农户与农资厂商，为其提供精准可靠及时稳定的应用服务。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种农业病虫害识别诊断方法，其特征在于，所述方法包括：
利用农业病虫害图像库，基于深度学习，构建病虫害图像诊断模型；
利用农业病虫害文本库，基于关联规则，构建病虫害文本关联诊断模型；
构建每个预设区域每种农作物在每月的农业病虫害知识图谱；所述农业病害知识图谱的节点表示农作物所在预设区域和月份、农作物类型实体、病虫害名称实体、病虫害类型实体、发病部位实体和症状实体；
获取摄像头捕获的待诊断农作物的实时图像和与待诊断农作物病虫害症状相关的描述文本；
将所述实时图像输入病虫害图像诊断模型，获得第一病虫害诊断结果；所述第一病虫害诊断结果为病虫害类型和发生概率；
提取所述与待诊断农作物病虫害症状相关的描述文本中的病虫害特征、发病月份和待诊断农作物所在预设区域；所述病虫害特征包括农作物名称、发病部位和症状；
将所述病虫害特征输入病虫害文本关联诊断模型，获得第二病虫害诊断结果；所述第二病虫害诊断结果为病虫害类型和发生概率；
根据所述病虫害特征、发病月份和待诊断农作物所在预设区域，从所述农业病虫害知识图谱中获得第三病虫害诊断结果；所述第三病虫害诊断结果为病虫害类型；
采用图像处理技术识别所述实时图像中的特征向量和特征值；
根据识别的特征向量和特征值，采用基于目标多特征的mass函数确定方法，确定第一病虫害诊断结果的mass值、第二病虫害诊断结果的mass值和第三病虫害诊断结果的mass值，并将最大mass值对应的病虫害诊断结果确定为待诊断农作物的病虫害诊断类型。
2.根据权利要求1所述的农业病虫害识别诊断方法，其特征在于，所述利用农业病虫害图像库，基于深度学习，构建病虫害图像诊断模型，具体包括：
将农业病虫害图像库划分为农作物病害样本图像库和农作物虫害样本图像库；
标注所述农作物病害样本图像库中同一种农作物的每个样本图像的发病部位；
按照发病部位进行分类，获得同一种农作物的每个发病部位的标注样本图像；
将同一种农作物的每个发病部位的标注样本图像作为输入量，病害名称作为标签构成该种农作物的病害样本集；
利用该种农作物的病害样本集对深度残差神经网络进行训练和验证，获得该种农作物的病害图像诊断模型；
标注所述农作物虫害样本图像库中同一种虫害的每个样本图像的位置；所述同一种虫害包括同一种虫子的幼虫和成虫；
将同一种虫害已标注位置的样本图像作为输入量，虫害名称作为标签构成该种农作物的虫害样本集；
利用该种农作物的虫害样本集对深度残差神经网络进行训练和验证，获得该种农作物的虫害图像诊断模型；
该种农作物的虫害图像诊断模型和该种农作物的病害图像诊断模型构成该种农作物的病虫害图像诊断模型。
3.根据权利要求2所述的农业病虫害识别诊断方法，其特征在于，所述利用该种农作物的病害样本集对深度残差神经网络进行训练和验证，获得该种农作物的病害图像诊断模型，具体包括：
利用ImageNet数据集对ViTransformer模型进行预训练，获得预训练模型；
基于模型迁移学习和深度学习框架，将预训练模型的网络参数迁移至深度残差神经网络模型中；
利用该种农作物的病害样本集调整迁移后的深度残差神经网络模型的权重，获得该种农作物的病害图像诊断模型。
4.根据权利要求1所述的农业病虫害识别诊断方法，其特征在于，所述利用农业病虫害文本库，基于关联规则，构建病虫害文本关联诊断模型，具体包括：
对农业病虫害文本库的每个文本进行文本语义分析；
从本文语义分析后的文本中提取农作物类型、发病部位和病虫害特征；
根据提取的农作物类型、发病部位和病虫害特征构建关联规则库，作为病虫害文本关联诊断模型。
5.根据权利要求1所述的农业病虫害识别诊断方法，其特征在于，所述构建每个预设区域每种农作物在每月的农业病虫害知识图谱，具体包括：
对从互联网采集的多个农业技术文章进行分类索引，获得每个预设区域每种农作物在每月的农业技术文章；
对每个预设区域每种农作物在每月的农业技术文章进行DOM树解析，提取每个农业技术文章的要素；所述要素包括文章标题、内容和发布来源；
根据所提取的每个农业技术文章的要素，建立哈希字典；
利用所述哈希字典对所提取的所有农业技术文章的要素进行去重；
针对去重后的要素进行中文分词和语法语义分析；
基于分析结果，利用Bert预训练模型，从文本内容中提取实体和属性；
基于知识图谱技术，对实体关系进行自动抽取；
根据提取的实体、属性和实体关系建立图数据库，构建每个预设区域每种农作物在每月的农业病虫害知识图谱。
6.根据权利要求1所述的农业病虫害识别诊断方法，其特征在于，所述根据识别的特征向量和特征值，采用基于目标多特征的mass函数确定方法，确定第一病虫害诊断结果的mass值、第二病虫害诊断结果的mass值和第三病虫害诊断结果的mass值，具体包括：
确定待识别的目标框架{A 1,A 2,A 3}；其中，A 1、A 2和A 3分别表示第一病虫害诊断结果、第二病虫害诊断结果和第三病虫害诊断结果；
根据目标框架和识别的特征向量，利用三分法计算特征隶属度矩阵T；
利用公式
Figure DEST_PATH_IMAGE001
，计算特征隶属度矩阵T的列向量μ j 的可信度向量w j ；
根据所述可信度向量w j 和特征隶属度矩阵T，利用公式d j =w j ×μ j ，计算每个目标在目标框架中的重要度d j ；
对每个目标在目标框架中的重要度d j 归一化，获得每个目标的mass值；
式中，w ij 为可信度向量w j 中第i个特征对第j个目标所对应的可信度，l ij 为第i个特征对第j个目标所对应的偏差系数，A为系数，k为数据偏离中心点的程度，μ ij (x)为第i个特征对第j个目标的隶属度，e j 为第j个目标对应的隶属度的中心点，m为特征数量。
7.根据权利要求1所述的农业病虫害识别诊断方法，其特征在于，所述构建每个预设区域每种农作物在每月的农业病虫害知识图谱，之后还包括：
获取待测预设区域每月的大气平均温度和大气平均湿度；
从农业病虫害知识图谱中获取待测预设区域待预警农作物在每月可能发生的所有病虫害名称，作为待预警病虫害序列；
判断每个病虫害是否在待预警病虫害序列中，获得第一判断结果；
若所述第一判断结果表示该病虫害在待预警病虫害序列中，则从农业病虫害文本库中获取该病虫害的介绍文本；
从介绍文本中提取该病虫害的发病温度范围和发病湿度范围；
判断所述大气平均温度是否在发病温度范围之内和所述大气平均湿度是否在发病湿度范围之内，获得第二判断结果；
若所述第二判断结果表示所述大气平均温度不在发病温度范围之内且所述大气平均湿度不在发病湿度范围之内，则对待测预设区域待预警农作物在该月发生该病虫害进行第一预警；
若所述判断结果表示所述大气平均温度不在发病温度范围之内或所述大气平均湿度不在发病湿度范围之内，则对待测预设区域待预警农作物在该月发生该病虫害进行第二预警；
若所述判断结果表示所述大气平均温度在发病温度范围之内且所述大气平均湿度在发病湿度范围之内，则对待测预设区域待预警农作物在该月发生该病虫害进行第三预警；
若所述第一判断结果表示该病虫害不在待预警病虫害序列中，则待测预设区域待预警农作物在该月无病害预警。
8.一种农业病虫害识别诊断系统，其特征在于，所述系统利用权利要求1-7任一项所述的农业病虫害识别诊断方法，所述系统包括：病虫害拍照模块、病虫害识别模块和病虫害知识图谱模块；
所述病虫害拍照模块用于显示每种农作物的图标和虫害图标，在农作物发生病害时选择待拍照农作物的图标后继续选择部位进行拍照，获取农作物病害图像，或在农作物发生虫害时点击虫害图标，获取农作物虫害图像；
所述病虫害知识图谱模块用于构建每个预设区域每种农作物在每月的农业病虫害知识图谱；
所述病虫害识别模块用于构建病虫害图像诊断模型和病虫害文本关联诊断模型，并根据农作物病虫害图片和与待诊断农作物病虫害症状相关的描述文本，利用病虫害图像诊断模型、病虫害文本关联诊断模型和所述农业病虫害知识图谱，获得待诊断农作物的病虫害诊断类型。
9.根据权利要求8所述的农业病虫害识别诊断系统，其特征在于，所述系统还包括：病虫害预警模块；
所述病虫害预警模块用于利用所述农业病虫害知识图谱，对每个预设区域的农作物在每月可能发生的病虫害进行预警。
10.一种农业病虫害识别诊断装置，其特征在于，所述装置包括：摄像头、服务器和客户端；
摄像头与服务器连接；所述摄像头用于拍摄发生病害或虫害的农作物，并将农作物病害图像或农作物虫害图像发送至服务器；
所述服务器用于构建病虫害图像诊断模型、病虫害文本关联诊断模型和每个预设区域每种农作物在每月的农业病虫害知识图谱，并在接收到与待诊断农作物病虫害症状相关的描述文本后，根据农作物病虫害图片和与待诊断农作物病虫害症状相关的描述文本，利用病虫害图像诊断模型、病虫害文本关联诊断模型和所述农业病虫害知识图谱，获得待诊断农作物的病虫害诊断类型；
客户端与服务器连接；所述客户端用于接收并显示服务器获得的待诊断农作物的病虫害诊断类型；
其中，服务器获得待诊断农作物的病虫害诊断类型的具体步骤包括：
利用农业病虫害图像库，基于深度学习，构建病虫害图像诊断模型；
利用农业病虫害文本库，基于关联规则，构建病虫害文本关联诊断模型；
构建每个预设区域每种农作物在每月的农业病虫害知识图谱；所述农业病害知识图谱的节点表示农作物所在预设区域和月份、农作物类型实体、病虫害名称实体、病虫害类型实体、发病部位实体和症状实体；
获取摄像头捕获的待诊断农作物的实时图像和与待诊断农作物病虫害症状相关的描述文本；
将所述实时图像输入病虫害图像诊断模型，获得第一病虫害诊断结果；所述第一病虫害诊断结果为病虫害类型和发生概率；
提取所述与待诊断农作物病虫害症状相关的描述文本中的病虫害特征、发病月份和待诊断农作物所在预设区域；所述病虫害特征包括农作物名称、发病部位和症状；
将所述病虫害特征输入病虫害文本关联诊断模型，获得第二病虫害诊断结果；所述第二病虫害诊断结果为病虫害类型和发生概率；
根据所述病虫害特征、发病月份和待诊断农作物所在预设区域，从所述农业病虫害知识图谱中获得第三病虫害诊断结果；所述第三病虫害诊断结果为病虫害类型；
采用图像处理技术识别所述实时图像中的特征向量和特征值；
根据识别的特征向量和特征值，采用基于目标多特征的mass函数确定方法，确定第一病虫害诊断结果的mass值、第二病虫害诊断结果的mass值和第三病虫害诊断结果的mass值，并将最大mass值对应的病虫害诊断结果确定为待诊断农作物的病虫害诊断类型。
CN202210454540.1A 2022-04-28 2022-04-28 一种农业病虫害识别诊断方法、系统及装置 Active CN114565826B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210454540.1A CN114565826B (zh) 2022-04-28 2022-04-28 一种农业病虫害识别诊断方法、系统及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210454540.1A CN114565826B (zh) 2022-04-28 2022-04-28 一种农业病虫害识别诊断方法、系统及装置

Publications (2)

Publication Number Publication Date
CN114565826A CN114565826A (zh) 2022-05-31
CN114565826B true CN114565826B (zh) 2022-07-22

Family

ID=81721285

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210454540.1A Active CN114565826B (zh) 2022-04-28 2022-04-28 一种农业病虫害识别诊断方法、系统及装置

Country Status (1)

Country Link
CN (1) CN114565826B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115048537A (zh) * 2022-07-11 2022-09-13 河北农业大学 一种基于图像-文本多模态协同表示的病害识别系统
CN114881047B (zh) * 2022-07-12 2022-10-25 杭州远传新业科技股份有限公司 一种蔬菜病虫害图片问答方法及装置
CN115375923B (zh) * 2022-10-27 2023-03-24 江西省亿发姆科技发展有限公司 一种农作物诊断方法、装置、慧诊仪以及可读存储介质
CN115689064B (zh) * 2022-12-30 2023-04-07 中化现代农业有限公司 病害预测方法、装置、电子设备和存储介质
CN115937689B (zh) * 2022-12-30 2023-08-11 安徽农业大学 一种农业害虫智能识别与监测技术
CN116894983B (zh) * 2023-09-05 2023-11-21 云南瀚哲科技有限公司 基于知识蒸馏的细粒度农业病虫害图像识别方法及系统
CN117557914B (zh) * 2024-01-08 2024-04-02 成都大学 一种基于深度学习的农作物病虫害识别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020064568A (ja) * 2018-10-19 2020-04-23 株式会社日立製作所 映像解析システム、学習装置、及びその方法
CN111916207A (zh) * 2020-08-07 2020-11-10 杭州深睿博联科技有限公司 一种基于多模态融合的疾病识别方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101848321B1 (ko) * 2017-10-27 2018-04-20 주식회사 뷰노 피검체에 대한 안저 영상의 판독을 지원하는 방법 및 이를 이용한 장치
CN113516164A (zh) * 2021-04-30 2021-10-19 辽宁工程技术大学 一种融合知识图谱与深度学习的果树病虫害诊断方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020064568A (ja) * 2018-10-19 2020-04-23 株式会社日立製作所 映像解析システム、学習装置、及びその方法
CN111916207A (zh) * 2020-08-07 2020-11-10 杭州深睿博联科技有限公司 一种基于多模态融合的疾病识别方法及装置

Also Published As

Publication number Publication date
CN114565826A (zh) 2022-05-31

Similar Documents

Publication Publication Date Title
CN114565826B (zh) 一种农业病虫害识别诊断方法、系统及装置
CN109543084B (zh) 一种建立面向网络社交媒体的隐蔽敏感文本的检测模型的方法
Spiesman et al. Assessing the potential for deep learning and computer vision to identify bumble bee species from images
CN110717534B (zh) 一种基于网络监督的目标分类和定位方法
CN108182262A (zh) 基于深度学习和知识图谱的智能问答系统构建方法和系统
CN110019616A (zh) 一种poi现势状态获取方法及其设备、存储介质、服务器
WO2023108980A1 (zh) 基于文本对抗样例的信息推送方法及装置
KR101986418B1 (ko) 병해충 검색을 위한 통합 시스템
Shi et al. Recent advances in plant disease severity assessment using convolutional neural networks
CN107729363A (zh) 基于GoogLeNet网络模型鸟类种群识别分析方法
CN113516164A (zh) 一种融合知识图谱与深度学习的果树病虫害诊断方法
Ozdemir et al. Comparison of deep learning techniques for classification of the insects in order level with mobile software application
CN110569761B (zh) 一种基于对抗学习的手绘草图检索遥感图像的方法
Schneider et al. Getting the bugs out of AI: Advancing ecological research on arthropods through computer vision
CN111753151B (zh) 一种基于互联网用户行为的服务推荐方法
CN107943937A (zh) 一种基于司法公开信息分析的债务人资产监控方法及系统
CN116778391A (zh) 一种多模态作物病害表型协同分析模型及装置
CN111144453A (zh) 构建多模型融合计算模型的方法及设备、网站数据识别方法及设备
CN116089708A (zh) 农业知识推荐方法及装置
Zhang et al. Apple leaf disease recognition method based on Siamese dilated Inception network with less training samples
CN115391549A (zh) 一种基于知识图谱的病虫害诊断系统及其方法
Boros et al. Automatic page classification in a large collection of manuscripts based on the International Image Interoperability Framework
CN114238735A (zh) 一种互联网数据智能采集方法
Zen et al. Applications for detecting plant diseases based on artificial intelligence
Aisyah et al. Food packaging search application from text image in android with deep convolutional neural network (DCNN) method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant