CN112115888B - 一种基于病斑相关性的植物病害诊断系统 - Google Patents

一种基于病斑相关性的植物病害诊断系统 Download PDF

Info

Publication number
CN112115888B
CN112115888B CN202011007107.0A CN202011007107A CN112115888B CN 112115888 B CN112115888 B CN 112115888B CN 202011007107 A CN202011007107 A CN 202011007107A CN 112115888 B CN112115888 B CN 112115888B
Authority
CN
China
Prior art keywords
picture
lesion
database
feature
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011007107.0A
Other languages
English (en)
Other versions
CN112115888A (zh
Inventor
雷印杰
陈浩楠
王浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202011007107.0A priority Critical patent/CN112115888B/zh
Publication of CN112115888A publication Critical patent/CN112115888A/zh
Application granted granted Critical
Publication of CN112115888B publication Critical patent/CN112115888B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于病斑相关性的植物病害诊断系统，包括以下步骤：S1、通过摄像设备采集图片，并通过网络将图片上传到云端服务器；S2、针对步骤S1得到的图片，对图片进行缩放和归一化预处理，使用CenterNet目标检测算法检测上传图片中存在的病斑区域；S3、根据步骤S2得到的所有病斑区域，将其依次送入聚类特征提取模型得到特征集；S4、根据步骤S3得到的特征集，计算特征集中的每个特征计算与数据库中的所有特征的余弦相似度并对所有区域进行面积加权求和，取加权余弦相似度最大的特征的类别作为诊断结果。本发明属于计算机视觉技术领域，代替传统直接基于的整张图片的识别方式，实现了高精度的植物病虫害识别。

Description

一种基于病斑相关性的植物病害诊断系统
技术领域
本发明涉及计算机视觉技术领域，特别涉及一种基于病斑相关性的植物病害诊断系统。
背景技术
我国的植被众多，农业发达，农业为重要的支柱性产业，长期以来由于病虫害的危害，造成巨大的经济损失，严重影响了地区农业经济的可持续发展。植被和农作物遭受的病虫害是我国的主要自然灾害，对病虫害进行诊断治疗不仅有助提高作物的产量减少经济损失还能提高我国的植被覆盖率。但植物遭受病虫害的种类非常之多，普通人难以仅通过植物表面的病斑虫蛀情况对遭病害的植物做出准确的诊断。
在传统做法中，通常由农作物种植人员或者专家直接通过观察植物表面的病斑虫蛀情况来诊断病害种类，这种方式不但耗时费力且由于病害种类的庞杂，直接诊断非常容易出错，一旦出错就会导致防治措施无效从而产生巨大的经济损失。通过手机摄像头获取患病植物的病斑虫蛀情况的图片并通过计算机算法来处理这些图片可以快速得到准确的诊断结果，这种做法的主要优势在于实时性好、诊断成本较低且准确性高。近些年来，随着人工智能的不断发展，自动检测识别技术开始越来越多地应用到工业生产、社会安防和农业监测等各个方面。由于不同植物可能患上同一种病虫害，故不同植物间的病虫害的种类是存在相关性的，但以往的病虫害识别算法都是通过直接识别整张图片的方式来直接诊断病虫害的种类，并没有利用这种相关性来提高算法对病虫害种类识别的精度，所以遇见从未见过的遭受病虫害的植物需要重新训练模型，这会大大提高模型的训练成本且泛化性较差。
发明内容
本发明的主要目的在于提供了一种基于病斑相关性的植物病害诊断系统，可以有效解决背景技术中提出的问题。
为实现上述目的，本发明采取的技术方案为：
一种基于病斑相关性的植物病害诊断系统，包括以下步骤：
S1、通过摄像设备采集图片，并通过网络将图片上传到云端服务器；
S2、针对步骤S1得到的图片，对图片进行缩放和归一化预处理，使用CenterNet目标检测算法检测上传图片中存在的病斑区域；
S3、根据步骤S2得到的所有病斑区域，将其依次送入聚类特征提取模型得到特征集；
S4、根据步骤S3得到的特征集，计算特征集中的每个特征计算与数据库中的所有特征的余弦相似度并对所有区域进行面积加权求和，取加权余弦相似度最大的特征的类别作为诊断结果；
S5、根据步骤S4得到的余弦相似度，判断该余弦相似度是否小于数据库中该类别余弦相似度的平均值，如果小于则将该图片区域送入专家库并标记为待确认的状态；
S6、根据步骤S5中得到的专家库，按照一定周期进行检查，待所有图片区域从待确认状态变为确认状态后，将库中所有数据用于新一轮的网络训练。
优选的，所述步骤S1中的照片中病斑所占像素不少于400(20*20)，拍摄方向与植物病斑所在平面的夹角为90度。
优选的，所述步骤S2中的病斑区域是由CenterNet算法训练得到；通过人工标注大量植物图片中的病斑位置，基于这些标注数据来生成热力图进而训练得到最终的检测模型，进而检测到病斑的准确位置。
优选的，所述步骤S3中的特征提取模型是去掉了全连接层的深度卷积网络ResNet50。
优选的，所述步骤S4中的余弦相似度可以表示两个特征的相似度，假设Ai属于检测到的病斑区域的特征，Bj为数据库中提取的模板特征，则余弦相似度的计算公式如下：
Figure GDA0003592332540000031
假设检测到的病斑区域共m个且每个区域的面积记作Sj，数据库中的所有特征为B，则基于面积加权的余弦相似度的计算公式如下：
Figure GDA0003592332540000032
。
与现有技术相比，本发明具有如下有益效果：
1.由单目摄像设备头完成采集工作，对场景的光照、分辨率有很好的适应能力。
2.精度高，在检测误检率为0.5％的条件下，识别准确率高达98.6％。
3.速度快鲁棒性高，单张图片从采集到最终结果记录完毕总体耗时在5毫秒以内，能够精确判断出农作物遭受的病害种类，最终得到可靠的植物病害状态诊断。
附图说明
图1为本发明的流程示意图；
图2为本发明的程序包含主要模块结构示意图；
图3为本发明的摄像设备的有效采集区域示意图；
图4为本发明的病斑检测网络示意图；
图5为本发明的病斑特征提取网络示意图。
具体实施方式
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。
一种基于病斑相关性的植物病害诊断系统，包括以下步骤：
S1、通过摄像设备采集图片，并通过网络将图片上传到云端服务器；
S2、针对步骤S1得到的图片，对图片进行缩放和归一化预处理，使用CenterNet目标检测算法检测上传图片中存在的病斑区域；
S3、根据步骤S2得到的所有病斑区域，将其依次送入聚类特征提取模型得到特征集；
S4、根据步骤S3得到的特征集，计算特征集中的每个特征计算与数据库中的所有特征的余弦相似度并对所有区域进行面积加权求和，取加权余弦相似度最大的特征的类别作为诊断结果；
S5、根据步骤S4得到的余弦相似度，判断该余弦相似度是否小于数据库中该类别余弦相似度的平均值，如果小于则将该图片区域送入专家库并标记为待确认的状态；
S6、根据步骤S5中得到的专家库，按照一定周期进行检查，待所有图片区域从待确认状态变为确认状态后，将库中所有数据用于新一轮的网络训练。
在本实施例中，步骤S1中的摄像设备拍摄位置需要根据植物距摄像设备的距离以及摄像头的分辨率等参数进行调节，确保照片中病斑所占像素不少于400(20*20)，拍摄方向与植物病斑所在平面的夹角为90度。
在本实施例中，步骤S2中的病斑区域是由CenterNet算法训练得到；该方法在CVPR2019中被首次提出，在物体检测任务中兼顾了精度与速度；通过人工标注大量植物图片中的病斑位置，基于这些标注数据来生成热力图进而训练得到最终的检测模型，可以检测到病斑的准确位置。
在本实施例中，步骤S3中的特征提取模型是去掉了全连接层的深度卷积网络ResNet50，ResNet50网络结构在CVPR2016中被首次提出，与传统卷积网相比，ResNet50引入了残差结构，提高了模型的分类性能。
在本实施例中，步骤S4中的余弦相似度可以表示两个特征的相似度，假设Ai属于检测到的病斑区域的特征，Bj为数据库中提取的模板特征，则余弦相似度的计算公式如下：
Figure GDA0003592332540000051
假设检测到的病斑区域共m个且每个区域的面积记作Sj，数据库中的所有特征为B，则基于面积加权的余弦相似度的计算公式如下：
Figure GDA0003592332540000052
。
需要说明的是，本发明所述的一种基于病斑相关性的植物病害诊断系统通过摄像设备采集遭受病害的农作物图片，然后运用度量学习的方法对不同的病害进行聚类特征训练，并建立病害特征数据库；该方法充分考虑了不同植物叶面上同一发病状态所具有的相似的症状，针对该数据库设计了一种的新的特征更新方法，实现了高精度的植物病虫害识别。
该方法需要用户使用摄像设备采集待识别的植物病害图片；得到采集的照片后，本发明使用CenterNet目标检测算法快速检测植物的病斑部位，然后将采集到的病斑区域依次送入训练好的深度神经网络支提取聚类特征，然后将聚类后的特征与数据库中的所有特征计算余弦相似度，按照从大到小的顺序排列余弦相似度的结果，最后取相似度最大的一类作为结果；且本系统会将不同用户上传的结果得到的最大余弦相似度储存，如果某一图片的最大余弦相似度的小于平均值，则将该图片送入专家库进行识别，待专家标记后用于新一轮的网络训练。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (3)

1.一种基于病斑相关性的植物病害诊断系统，其特征在于：包括以下步骤：
S1、通过摄像设备采集图片，并通过网络将图片上传到云端服务器；
S2、针对步骤S1得到的图片，对图片进行缩放和归一化预处理，使用CenterNet目标检测算法检测上传图片中存在的病斑区域；
S3、根据步骤S2得到的所有病斑区域，将其依次送入聚类特征提取模型得到特征集，特征提取模型是去掉了全连接层的深度卷积网络ResNet50；
S4、根据步骤S3得到的特征集，计算特征集中的每个特征计算与数据库中的所有特征的余弦相似度并对所有区域进行面积加权求和，取加权余弦相似度最大的特征的类别作为诊断结果，余弦相似度可以表示两个特征的相似度，假设Ai属于检测到的病斑区域的特征，Bj为数据库中提取的模板特征，则余弦相似度的计算公式如下：
Figure FDA0003592332530000011
假设检测到的病斑区域共m个且每个区域的面积记作Sj，数据库中的所有特征为B，则基于面积加权的余弦相似度的计算公式如下：
Figure FDA0003592332530000012
；
S5、根据步骤S4得到的余弦相似度，判断该余弦相似度是否小于数据库中该类别余弦相似度的平均值，如果小于则将该图片区域送入专家库并标记为待确认的状态；
S6、根据步骤S5中得到的专家库，按照一定周期进行检查，待所有图片区域从待确认状态变为确认状态后，将库中所有数据用于新一轮的网络训练。
2.根据权利要求1所述的一种基于病斑相关性的植物病害诊断系统，其特征在于：所述步骤S1中照片中病斑所占像素不少于400(20*20)，拍摄方向与植物病斑所在平面的夹角为90度。
3.根据权利要求1所述的一种基于病斑相关性的植物病害诊断系统，其特征在于：所述步骤S2中的病斑区域是由CenterNet算法训练得到；通过人工标注大量植物图片中的病斑位置，基于这些标注数据来生成热力图进而训练得到最终的检测模型，进而检测到病斑的准确位置。
CN202011007107.0A 2020-09-22 2020-09-22 一种基于病斑相关性的植物病害诊断系统 Active CN112115888B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011007107.0A CN112115888B (zh) 2020-09-22 2020-09-22 一种基于病斑相关性的植物病害诊断系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011007107.0A CN112115888B (zh) 2020-09-22 2020-09-22 一种基于病斑相关性的植物病害诊断系统

Publications (2)

Publication Number Publication Date
CN112115888A CN112115888A (zh) 2020-12-22
CN112115888B true CN112115888B (zh) 2022-06-03

Family

ID=73800537

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011007107.0A Active CN112115888B (zh) 2020-09-22 2020-09-22 一种基于病斑相关性的植物病害诊断系统

Country Status (1)

Country Link
CN (1) CN112115888B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230186623A1 (en) * 2021-12-14 2023-06-15 Ping An Technology (Shenzhen) Co., Ltd. Systems and methods for crop disease diagnosis

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109640267A (zh) * 2018-12-12 2019-04-16 四川大学 基于多区域划分和相似度匹配的非测距定位方法
CN110399515A (zh) * 2019-06-28 2019-11-01 中山大学 图片检索方法、装置及图片检索系统
CN111369540A (zh) * 2020-03-06 2020-07-03 西安电子科技大学 基于掩码卷积神经网络的植物叶片病害识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6594033B2 (ja) * 2015-05-14 2019-10-23 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109640267A (zh) * 2018-12-12 2019-04-16 四川大学 基于多区域划分和相似度匹配的非测距定位方法
CN110399515A (zh) * 2019-06-28 2019-11-01 中山大学 图片检索方法、装置及图片检索系统
CN111369540A (zh) * 2020-03-06 2020-07-03 西安电子科技大学 基于掩码卷积神经网络的植物叶片病害识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"基于CSI的区域粒子化的室内定位算法的研究";宋阳光 等;《现代计算机(专业版)》;20181231;第12-16页 *
"基于二值化卷积神经网络的农业病虫害识别";蒲秀夫 等;《中国农机化学报》;20200229;第41卷(第2期);第177-182页 *
"基于卷积神经网络的大豆病害识别研究";徐冬;《中国优秀硕士学位论文全文数据库 (农业科技辑)》;20180915;第26-40页 *
基于图像内容的常见蔬菜病害诊治研究;相林等;《淮阴工学院学报》;20160615(第03期);第1-5页 *

Also Published As

Publication number Publication date
CN112115888A (zh) 2020-12-22

Similar Documents

Publication Publication Date Title
WO2020042419A1 (zh) 基于步态的身份识别方法、装置、电子设备
Kukreja et al. Recognizing wheat aphid disease using a novel parallel real-time technique based on mask scoring RCNN
Parikh et al. Disease detection and severity estimation in cotton plant from unconstrained images
CN111783576B (zh) 基于改进型YOLOv3网络和特征融合的行人重识别方法
CN110717903A (zh) 一种利用计算机视觉技术进行农作物病害检测的方法
CN103517042B (zh) 一种养老院老人危险行为监测方法
Lin et al. The pest and disease identification in the growth of sweet peppers using faster R-CNN and mask R-CNN
Huang et al. Development and validation of a deep learning algorithm for the recognition of plant disease
CN109101865A (zh) 一种基于深度学习的行人重识别方法
CN109522853A (zh) 面向监控视频的人脸检测与搜索方法
CN102419819A (zh) 人脸图像识别方法和系统
CN111488850B (zh) 一种基于神经网络的老年人跌倒检测方法
WO2019153175A1 (zh) 基于机器学习的遮挡人脸识别系统、方法及存储介质
CN110728252B (zh) 一种应用于区域人员运动轨迹监控的人脸检测方法
CN112257702A (zh) 一种基于增量学习的农作物病害识别方法
CN112132157A (zh) 一种基于树莓派的步态人脸融合识别方法
CN111967441A (zh) 一种基于深度学习的农作物病害分析方法
CN112115888B (zh) 一种基于病斑相关性的植物病害诊断系统
CN116977937A (zh) 一种行人重识别的方法及系统
CN114550299A (zh) 基于视频的老年人日常生活活动能力评估系统和方法
CN117557840A (zh) 一种基于小样本学习的眼底病变分级方法
Xin et al. An image recognition algorithm of soybean diseases and insect pests based on migration learning and deep convolution network
CN112131950A (zh) 一种基于Android手机的步态识别方法
Poonguzhali et al. Crop condition assessment using machine learning
CN106980864A (zh) 一种基于支持样本间接式的行人再识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant