CN113837073A - 一种基于卷积神经网络的核桃虫害识别系统及检测方法 - Google Patents

一种基于卷积神经网络的核桃虫害识别系统及检测方法 Download PDF

Info

Publication number
CN113837073A
CN113837073A CN202111118194.1A CN202111118194A CN113837073A CN 113837073 A CN113837073 A CN 113837073A CN 202111118194 A CN202111118194 A CN 202111118194A CN 113837073 A CN113837073 A CN 113837073A
Authority
CN
China
Prior art keywords
pest
neural network
convolutional neural
walnut
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111118194.1A
Other languages
English (en)
Inventor
黄汝维
华蓓
梁琼祯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangxi University
Original Assignee
Guangxi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangxi University filed Critical Guangxi University
Priority to CN202111118194.1A priority Critical patent/CN113837073A/zh
Publication of CN113837073A publication Critical patent/CN113837073A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Catching Or Destruction (AREA)

Abstract

本发明公开了一种基于卷积神经网络的核桃虫害识别检测方法，包括以下步骤：第一步，数据采集，因为病虫的图片比较少，所以采用网络爬虫的方法进行获得相应的虫害图片，在初步删除重复照片之后，筛选出不一样的照片作为测试集，由于不同的虫害之间的照片数量差距巨大，会导致卷积网络训练的效果不佳和性能下降，所以采用数据增强的办法，对数据量小的病虫害进行数据增强，使得各物种之间的数据量大小差距不大。本发明依托机器学习中性能较好的卷积神经网络并结合知识蒸馏的方法，提高了模型的泛化能力、降低运算时间和减少存储空间，最后根据不同的模型投放到了相应的适用环境当中，可以在保证识别率的同时，获得较快的虫害识别速度。

Description

一种基于卷积神经网络的核桃虫害识别系统及检测方法
技术领域
本发明涉及机器学习技术领域，尤其涉及一种基于卷积神经网络的核桃虫害识别系统及检测方法。
背景技术
虫害识别在农作物种植占据着重要地位，针对不同的虫害有着不同的治疗方案，如果治疗措施不当将会带来虫害耐药性增强、环境污染等后果。目前我国的虫害识别方式仍以传统的人工识别方式为主，该方式识别成本高，识别效率低，且受人的经验影响。我国每年约有七十亿亩次的农田被病虫害侵扰。因为防控能力不足，每年损失将近350亿斤的农作物产品，因此农业部种植业有关负责人呼吁尽快改善病虫害的检测防控手段。随着中国经济的发展，我国的智慧农业也得到了快速发展，中国农资预测未来十大农业科技的其中之一就是AI农作物病虫害监测。
目前，基于人工智能的虫害识别方法是通过拍照，将图片上传到服务器当中进行识别，但这种方式存在两个问题：一是识别速度受限于网络，如果网络信号差，可能无法识别虫害；二是没有相应健全的虫害预警图，因此，亟需研究一种可以离线且占用存储空间小的基于人工智能的虫害识别方法，能够让用户在无网络的情况下进行高精度和快速的识别，从而摆脱对网络的依赖。
发明内容
本发明提供了一种基于卷积神经网络的核桃虫害识别系统及检测方法，以解决上述背景技术中提出的问题。
为了实现上述目的，本发明采用了如下技术方案：
一种基于卷积神经网络的核桃虫害识别检测方法，包括以下步骤：
第一步，数据采集，因为病虫的图片比较少，所以采用网络爬虫的方法进行获得相应的虫害图片，在初步删除重复照片之后，筛选出不一样的照片作为测试集，由于不同的虫害之间的照片数量差距巨大，会导致卷积网络训练的效果不佳和性能下降，所以采用数据增强的办法，对数据量小的病虫害进行数据增强，使得各物种之间的数据量大小差距不大；
第二步，分别构建大型和小型卷积神经网络模型；
第三步，优化卷积神经网络模型，在对大型卷积神经网络模型采用现代学习方式的基础下，采用数据蒸馏的方式通过教师模型，对学生模型进行训练，现能够对常见的核桃11种病虫识别率高达85％，而且移动端的模型大小仅为30Mb，速度上也是大型网络ResNet101的三倍；
第四步，系统的设计和实现，采用了Flask、ajax和pytorch-android 工具，开发了网页端的虫害预警系统和移动端的虫害识别系统，包括虫害识别、虫害信息上传和全国虫害信息查看功能，实现了用户可以通过手机端对核桃虫害进行识别，识别完成之后用户可以通过选择是否上传虫害信息，如果上传则将相应的虫害信息上传到数据库当中，核桃虫害预警网页每隔一秒进行更新相应数据的效果。
作为本技术方案的进一步改进方案：第一步中，虫害图片包括11类昆虫，分别为核桃小吉丁虫、芳香木蠹蛾成虫、芳香木蠹蛾幼虫、核桃缀叶螟、黄刺蛾成虫、黄刺蛾幼虫、美国白蛾成虫、美国白蛾幼虫、云斑天牛、舞毒蛾成虫、舞毒蛾幼虫。
作为本技术方案的进一步改进方案：第一步中，数据增强的方式主要是添加高斯噪声和旋转图片。
作为本技术方案的进一步改进方案：第二步中，选择ResNet优化后的 ResNet-101作为教师模型。
作为本技术方案的进一步改进方案：其特征在于，第三步中，学生模型为EfficientNet-b1模型，EfficientNet-b1模型不仅体积小，而且运算速度快、精度高，因此适用于移动端。
作为本技术方案的进一步改进方案：第三步中，知识蒸馏为先训练一个优良的教师模型，再用优良的教师模型去训练学生模型，使得学生模型的性能和精度都与教师模型相近，最后根据不同模型的优点放入不同的场景当中使用。
作为本技术方案的进一步改进方案：第三步中，知识蒸馏中的梯度计算如公式为：
Figure RE-GDA0003315361860000031
Figure RE-GDA0003315361860000032
Figure RE-GDA0003315361860000033
其中，f函数是将输出对数进行归一化，λ是权衡函数，lavg是教师输出的正则化的平均值，τ是温度函数。
一种基于卷积神经网络的核桃虫害识别系统，作为本技术方案的进一步改进方案：包括虫害识别APP和虫害预警网页，虫害识别APP包括手机拍照/ 相册、虫害信息上传和查看相关虫害，虫害预警网页包括虫害信息更新和虫害信息浏览，基于卷积神经网络的核桃虫害识别系统采用如权利要求1-7中任意一项的基于卷积神经网络的核桃虫害识别检测方法。
作为本技术方案的进一步改进方案：虫害识别APP用于对虫害的识别，农户识别虫害之后，APP将会自动上传虫害的信息，比如虫害的发生地和虫害的名称，上传的虫害信息会自动更新到相应的数据库的当中，虫害预警网页则从数据库中获得相应的数据并且展示给全国的农户；
作为本技术方案的进一步改进方案：虫害预警网页用于根据虫害识别APP 端自动上传的数据，如虫害的发生地和虫害的名称，虫害网页端可提供预警信息，网页每隔1000毫秒会对虫害地图进行刷新。
与现有技术相比，本发明的有益效果是：
本发明通过改进ResNet，ResNet使得网络能够提取的特征信息更多，提高卷积神经网络的鲁棒性和泛化能力，并采用EfficientNet作为移动端的神经网络，EfficientNet卷积神经网络不仅能够大大地减少存储空间，还能够加速识别，减少计算成本和降低硬件要求，在相同计算量和体积的情况下， EfficientNet是准确率最高的模型，再运用知识蒸馏，大大提高了 EfficientNet的准确率，同时，在学生模型的训练中也添加了预热学习率衰减，权重衰减等优化的学习方法，提高模型性能，将得到的卷积神经网络嵌入到移动端APP中，在保证识别率的同时，可以将核桃虫害识别时间下降到 500毫秒内，该发明依托机器学习中性能较好的卷积神经网络并结合知识蒸馏的方法，提高了模型的泛化能力、降低运算时间和减少存储空间，最后根据不同的模型投放到了相应的适用环境当中，可以在保证识别率的同时，获得较快的虫害识别速度。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。本发明的具体实施方式由以下实施例及其附图详细给出。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明提出的一种基于卷积神经网络的核桃虫害识别系统及检测方法的结构示意图；
图2为本发明提出的一种基于卷积神经网络的核桃虫害识别系统及检测方法中不同昆虫数据去重后大小分布图；
图3为本发明提出的一种基于卷积神经网络的核桃虫害识别系统及检测方法中ResNet数据增强实验对比图；
图4为本发明提出的一种基于卷积神经网络的核桃虫害识别系统及检测方法中EfficientNet数据增强实验对比图；
图5为本发明提出的一种基于卷积神经网络的核桃虫害识别系统及检测方法中EfficientNet和未优化ResNet相比较；
图6为本发明提出的一种基于卷积神经网络的核桃虫害识别系统及检测方法中优化之后的识别率效果图；
图7为本发明提出的一种基于卷积神经网络的核桃虫害识别系统及检测方法中知识蒸馏总体思路图；
图8为本发明提出的一种基于卷积神经网络的核桃虫害识别系统及检测方法中EfficientNet和ResNet实验结果比较图；
图9为本发明提出的一种基于卷积神经网络的核桃虫害识别系统及检测方法中知识蒸馏实验结果图；
图10为本发明提出的一种基于卷积神经网络的核桃虫害识别系统及检测方法中两种知识蒸馏区别示意图；
图11为本发明提出的一种基于卷积神经网络的核桃虫害识别系统及检测方法中SKD实验结果图；
图12为本发明提出的一种基于卷积神经网络的核桃虫害识别系统及检测方法中虫害预警系统示意图；
图13为本发明提出的一种基于卷积神经网络的核桃虫害识别系统及检测方法中虫害识别APP系统示意图；
图14为本发明提出的一种基于卷积神经网络的核桃虫害识别系统及检测方法中预测用时对比图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。在下列段落中参照附图以举例方式更具体地描述本发明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。
请参阅图1～15，本发明实施例中，一种基于卷积神经网络的核桃虫害识别检测方法，包括以下步骤：
第一步，数据采集，因为病虫的图片比较少，所以采用网络爬虫的方法进行获得相应的虫害图片，在初步删除重复照片之后，筛选出不一样的照片作为测试集，由于不同的虫害之间的照片数量差距巨大，会导致卷积网络训练的效果不佳和性能下降，所以采用数据增强的办法，对数据量小的病虫害进行数据增强，使得各物种之间的数据量大小差距不大；
第二步，分别构建大型和小型卷积神经网络模型；
第三步，优化卷积神经网络模型，在对大型卷积神经网络模型采用现代学习方式的基础下，采用数据蒸馏的方式通过教师模型，对学生模型进行训练，现能够对常见的核桃11种病虫识别率高达85％，而且移动端的模型大小仅为30Mb，速度上也是大型网络ResNet101的三倍；
第四步，系统的设计和实现，采用了Flask、ajax和pytorch-android 工具，开发了网页端的虫害预警系统和移动端的虫害识别系统，包括虫害识别、虫害信息上传和全国虫害信息查看功能，实现了用户可以通过手机端对核桃虫害进行识别，识别完成之后用户可以通过选择是否上传虫害信息，如果上传则将相应的虫害信息上传到数据库当中，核桃虫害预警网页每隔一秒进行更新相应数据的效果。
具体的，第一步中，虫害图片包括11类昆虫，分别为核桃小吉丁虫、芳香木蠹蛾成虫、芳香木蠹蛾幼虫、核桃缀叶螟、黄刺蛾成虫、黄刺蛾幼虫、美国白蛾成虫、美国白蛾幼虫、云斑天牛、舞毒蛾成虫、舞毒蛾幼虫。
具体的，第一步中，数据增强的方式主要是添加高斯噪声和旋转图片。
具体的，第二步中，选择ResNet优化后的ResNet-101作为教师模型。
具体的，第三步中，学生模型为EfficientNet-b1模型，EfficientNet-b1 模型不仅体积小，而且运算速度快、精度高，因此适用于移动端。
具体的，第三步中，知识蒸馏为先训练一个优良的教师模型，再用优良的教师模型去训练学生模型，使得学生模型的性能和精度都与教师模型相近，最后根据不同模型的优点放入不同的场景当中使用。
具体的，第三步中，知识蒸馏中的梯度计算如公式为：
Figure RE-GDA0003315361860000071
Figure RE-GDA0003315361860000072
Figure RE-GDA0003315361860000073
Figure RE-GDA0003315361860000074
其中，f函数是将输出对数进行归一化，λ是权衡函数，lavg是教师输出的正则化的平均值，τ是温度函数。
一种基于卷积神经网络的核桃虫害识别系统，包括虫害识别APP和虫害预警网页，虫害识别APP包括手机拍照/相册、虫害信息上传和查看相关虫害，虫害预警网页包括虫害信息更新和虫害信息浏览，基于卷积神经网络的核桃虫害识别系统采用如权利要求1-7中任意一项的基于卷积神经网络的核桃虫害识别检测方法。
具体的，虫害识别APP用于对虫害的识别，农户识别虫害之后，APP将会自动上传虫害的信息，比如虫害的发生地和虫害的名称，上传的虫害信息会自动更新到相应的数据库的当中，虫害预警网页则从数据库中获得相应的数据并且展示给全国的农户；
具体的，虫害预警网页用于根据虫害识别APP端自动上传的数据，如虫害的发生地和虫害的名称，虫害网页端可提供预警信息，网页每隔1000毫秒会对虫害地图进行刷新。
本发明的实施过程是：
首先需要进行数据进行数据收集，因为在核桃病虫害识别方面的数据并不多，所以需要通过网络爬虫进行获得相应的虫害图片，爬取的网站包括知名的搜索引擎，以及一些知名的图片搜索网站，最终汇总一共获得7878张图片，虫害图片包括11类昆虫，分别为核桃小吉丁虫、芳香木蠹蛾成虫、芳香木蠹蛾幼虫、核桃缀叶螟、黄刺蛾成虫、黄刺蛾幼虫、美国白蛾成虫、美国白蛾幼虫、云斑天牛、舞毒蛾成虫、舞毒蛾幼虫，由于不同的网站中可能出现重复图片，重复的图片在卷积神经网络中训练不仅无用，而且可能造成过拟合现象，所以需要进行筛选去重，筛选时比较两种不同图片之间的结构的相似性SSIM(StrucuralSIMilarity)，主要参考图片的三个维度，分别为亮度、对比度和结构，公式如(1)：
SSIM(x,y)＝[l(x,y)α·c(x,y)β·s(x,y)γ] (1)
相似度为0.9以上认为同一张图片，进行删除操作。操作完成之后数据的分布如图2所示，将图片统一缩放为256×256大小，去重之后的数据按9： 1的比例划分为训练集和测试集，其中测试集最少不得少于30张，且全部数据都是数据增强前图片。
之后再对收集的数据进行数据处理，由图2可见，去重后的数据集数据间的分布差距非常大，有的数据多达1000张左右，有的只有100张左右。不平衡的数据可能会导致神经网络的性能下降，识别精度下降，为了解决部分虫害的样本稀缺问题和为了防止过拟合提高模型的鲁棒性，通过对原始图像进行水平翻转、角度变换和添加噪音来解决这个问题，本发明中数据增强的方式主要是添加高斯噪声和旋转图片，在深度学习当中，为了避免模型过拟合，需要一些噪声进行干扰。在实际应用当中，数据种会遇到各种各样的噪声，真实的噪声分布式不确定的，有可能是有结构的，也有可能没有结构。在真实环境中，噪声往往不是单一的，由多个不同的概率分布组成，概率分布越多，越趋近于高斯分布，高斯噪声能较好地模拟真实环境中的未知噪声，所以本发明采用高斯噪声进行数据增强；
经过高斯噪声之后和旋转之后得到新的图片，新的图片可以用于训练当中，不仅可以降低数据过拟合，还可以弥补数据不均衡问题，通过实验证明，数据增强后的训练效果更佳，训练结果的准确率如图3和图4所示，即不同模型数据增强后效果，无论ResNet还是EfficientNet模型，数据增强之后的识别准确率明显提高，且ResNet(ResNet101)的识别准确率略高于 EfficientNet(b8)。
分别构建大型和小型卷积神经网络模型时，应用比较广泛的卷积神经网络有AlexNet，VGG，GoogleNet，ResNet，前三者的网络模型结构越来越大，但是都无法解决同一个问题，就是退化问题，前三者都使用了不同的方法进行加深网络，实验分析已知，继续加深和加宽网络的深度会出现某个节点性能骤降的情况，性能骤降的原因和梯度消失有关，为了解决网络深度不断地加大而出现的退化问题和梯度问题，出现了一种全新的网络-深度残差网络，这种网络能够进一步加深网络而且不导致梯度消失，残差网络的创新点在于，深层的隐藏层能够学习到一定的浅层的隐藏层所提取的特征信息，在一定程度上弱化了函数的非线性转化，ResNet有一种结构称为shortcut，与vgg不同的是,这种结构能够将许多不同的支路的输出和后续隐藏层的输入直接相连，这样做可以将数据进行线性转换，通过大量的实验，ResNet在线性和非线性的转换间找到了最佳的平衡，同时解决了梯度爆炸或者消失的问题，教师模型应当是一个高精度的而且泛化能力较强的模型，在使用本次爬取的数据进行实验结果可见，在未优化的前提下，ResNet的性能要比EfficientNet 好很多。实验结果的准确率如图5所示，根据实验结果可见未优化的 ResNet-101的性能要更好一些，精度更高，所以本发明选择ResNet-101作为教师模型，ResNet-101为基于ResNet的改进，改进训练方法和拓展策略可以使得传统ResNet优于EfficientNet，准确度提高最优的方案，包括： LabalSmoothing、Decrease Weight decay、SqueezeandExicitation、学习率衰减和添加辅助层。通过多种学习方法糅合得出，在识别虫害的情景下，权重衰减和学习率预热衰减最佳情况下能够达到85％以上的识别率，由图6可以看出，经过优化之后的卷积神经模型识别率得到了提高，学习率衰减采用的办法是学习率初始值为0.001，每三十轮的训练后将学习率乘以0.5；
而权重衰减公式如公式(2)：
Figure RE-GDA0003315361860000101
其中W为权重矩阵，b为偏移向量，m为识别的种类个数，λ为正则化系数。
之后再基于知识蒸馏的虫害识别卷积模型进行设计与改进，知识蒸馏的总体思路为由于教师模型作为指导，所以对教师模型的泛化能力要求也比较高。因此总体的思路是，先训练一个优良的教师模型，再用优良的教师模型去训练学生模型，使得学生模型的性能和精度都与教师模型相近，最后根据不同模型的优点放入不同的场景当中使用，总体思路如图7所示；
当得到了良好性能的教师模型之后，第二步要选择性能良好的学生模型，EfficientNet模型不仅体积小，而且运算速度快、精度高，因此适用于移动端，EfficientNet相比以往的网络，创新的地方有三点，第一点是模型可以同时在深度、宽度和图片分辨率同时进行调整，并且根据此提出来组合缩放系数，第二点，在第一点的基础上根据算力的不同提出了B0-B7八个不同的缩放尺度，第三个创新点在于利用了16个Block块，交叉使用了3×3和5×5 的卷积核进行特征提取；
实验结果的准确率如图8所示，EfficientNet模型无论大小、泛化能力都不如ResNet。但是EfficientNet-b1的体积只有ResNet的十一分之一，运算速度大概是ResNet的三倍，可以看得出EfficientNet和性能良好的ResNet 还是有很大的差距的，但是可以通过知识蒸馏减少他们之间的差距，在本发明中，学生模型采用EfficientNet-b1；
对知识蒸馏及其优化时，以优化的ResNet作为教师模型，尽可能地减少教师模想型和学生模型的差距，本发明采用离线优化，因为离线的教师模型是高度训练好的，所以教师模型的泛化能力更强，而学生模型正需要学习教师的泛化能力。使用常用的知识蒸馏方法，实验结果的准确率如图9所示；
图中的EfficientNet-b1是没有经过知识蒸馏的EfficientNet，DK线段经过知识蒸馏之后，提高了一定的准确率，一定程度上说明知识蒸馏的有效性，但是仍然存在一定的不足，可以看到知识蒸馏之后的EfficientNet和教师模型之间的最大差距仍有5％，所以还有待提升，在一般情况下，因为模型大小的原因，学生模型的泛化能力和性能低于教师模型是非常正常的，所以当学生模型和教师模型差距过大的时候就会出现性能下降，loss增高，识别准确率下降，主要问题出在教师模型和学生模型之间的依赖隔阂，当代的卷积神经网络参数非常多，能够存储更多的信息，所以能够产生更高的置信度，然而小模型的劣势就是没有足够的参数对大模型的高置信度进行拟合，。教师模型和学生模型的差距越大，学生模型不仅不能提高准确率，反而可能出现准确率下降，本发明的教师模型体积可达400Mb，学生模型体积只有28Mb，两者相差了14倍，与传统的知识蒸馏不同的是，SKD(SphericalKnowledge Distillation)的温度的重要性并不像KD如此重要，在SKD里面，学生和教师模型的logits是被它们自己的方向所归一化的，所以在SKD里面温度的重要性要更低一些，实验的结果证明，SKD因为温度的波动并不是很大，通过用 L2正则化的思想，在学生和教师预测结果进行正则化，通过减弱教师模型中的高置信度，来减少教师模型和教师模型之间的差距，使得学生能够尽可能地学习教师模型的泛化能力，SDK的中的梯度计算如公式(3)：
Figure RE-GDA0003315361860000121
通过(3)公式可以得到每个分类上反向传播的梯度，相比于旧的知识蒸馏可以发现，每个反向传播都能够根据当前的梯度进行学习，而不是仅仅根据标签之间的差距进行学习，知识蒸馏和坐标知识蒸馏的区别示意图如图 (10)，最终的计算公式如公式(4)：
Figure RE-GDA0003315361860000122
Figure RE-GDA0003315361860000123
Figure RE-GDA0003315361860000124
其中，f函数是将输出对数进行归一化，λ是权衡函数，lavg为教师输出的正则化的平均值。τ是温度函数，根据实验结果可知，在坐标知识蒸馏当中，后期学习的准确率更稳定，同时也更高，实验结果的准确率如图11所示，因为SKD的教师模型是离线的，但是可以从图中看到，学生模型后期逐渐接近教师模型。两者最近的差别只有1％，相比5％进步了4％。坐标知识蒸馏的识别率最高达到了84％，与大型卷积神经网络非常相近；
最后虫害预警系统，虫害预警系统结构如图12所示，虫害预警系统主要有两个部分组成，第一个是虫害识别APP，主要的功能就是对虫害的识别。农户识别虫害之后，APP将会自动上传虫害的信息，比如虫害的发生地和虫害的名称。上传的虫害信息会自动更新到相应的数据库的当中，虫害预警网页则从数据库中获得相应的数据并且展示给全国的农户；
其中虫害识别APP中，APP所需原始数据为虫害的图片，由图13所示， (a)是虫害识别的界面，点击右上角搜索按钮选择获取照片的方式，效果如(b) 所示，可以从相册和拍照两种不同的方式进行选择。识别结果如(c)所示，从结果中可见虫害的相应信息。其中，在(c)的界面中可以选择是否上传害情，如果选择上传则返回的结果如(d)，图(d)是返回成功；
虫害网页预警是根据虫害识别APP端自动上传的数据，如虫害的发生地和虫害的名称，虫害网页端可提供预警信息。网页每隔1000毫秒会对虫害地图进行刷新；每个省份的数据由当地所上传的病虫害数据构成，病虫害数据上传越多，地图上相应区域颜色会越深，表明当地的虫害泛滥程度越严重，以警示附近省份注意防范，从而达到虫害预警的效果。
对APP分析时，采集二十张不同的照片进行实验，集中式处理的网络申请方式平均用时3.7秒，从图15可见，移动端的离线识别平均用时仅为338 毫秒，相比于传统的网络申请识别功能，本发明很好地解决了识别速度问题；
相比于传统需要联网的APP，本发明APP支持离线识别，即在没有网络的情况下也能正常识别虫害，且软件大小仅有30Mb；
综上所述，在移动端部署卷积神经网络识别功能，将训练好的小型网络嵌套到相应的软件当中，使农户可离线进行病虫害识别，提高识别速率的同时还能够摆脱对网络的依赖，用户识别虫害的时间平均减少到0.3秒，移动端虫害识别功能可将虫害信息上传，结合网页端虫害预警机制提供虫害联防，为全国用户提供最新的病虫害预警信息。
以上，仅为本发明的较佳实施例而已，并非对本发明作任何形式上的限制；凡本行业的普通技术人员均可按说明书附图所示和以上而顺畅地实施本发明；但是,凡熟悉本专业的技术人员在不脱离本发明技术方案范围内，利用以上所揭示的技术内容而做出的些许更动、修饰与演变的等同变化，均为本发明的等效实施例；同时,凡依据本发明的实质技术对以上实施例所作的任何等同变化的更动、修饰与演变等，均仍属于本发明的技术方案的保护范围之内。

Claims (10)

1.一种基于卷积神经网络的核桃虫害识别检测方法，其特征在于，包括以下步骤：
第一步，数据采集，因为病虫的图片比较少，所以采用网络爬虫的方法进行获得相应的虫害图片，在初步删除重复照片之后，筛选出不一样的照片作为测试集，由于不同的虫害之间的照片数量差距巨大，会导致卷积网络训练的效果不佳和性能下降，所以采用数据增强的办法，对数据量小的病虫害进行数据增强，使得各物种之间的数据量大小差距不大；
第二步，分别构建大型和小型卷积神经网络模型；
第三步，优化卷积神经网络模型，在对大型卷积神经网络模型采用现代学习方式的基础下，采用数据蒸馏的方式通过教师模型，对学生模型进行训练，现能够对常见的核桃11种病虫识别率高达85％，而且移动端的模型大小仅为30Mb，速度上也是大型网络ResNet101的三倍；
第四步，系统的设计和实现，采用了Flask、ajax和pytorch-android工具，开发了网页端的虫害预警系统和移动端的虫害识别系统，包括虫害识别、虫害信息上传和全国虫害信息查看功能，实现了用户可以通过手机端对核桃虫害进行识别，识别完成之后用户可以通过选择是否上传虫害信息，如果上传则将相应的虫害信息上传到数据库当中，核桃虫害预警网页每隔一秒进行更新相应数据的效果。
2.根据权利要求1的一种基于卷积神经网络的核桃虫害识别检测方法，其特征在于，第一步中，虫害图片包括11类昆虫，分别为核桃小吉丁虫、芳香木蠹蛾成虫、芳香木蠹蛾幼虫、核桃缀叶螟、黄刺蛾成虫、黄刺蛾幼虫、美国白蛾成虫、美国白蛾幼虫、云斑天牛、舞毒蛾成虫、舞毒蛾幼虫。
3.根据权利要求1的一种基于卷积神经网络的核桃虫害识别检测方法，其特征在于，第一步中，数据增强的方式主要是添加高斯噪声和旋转图片。
4.根据权利要求1的一种基于卷积神经网络的核桃虫害识别检测方法，其特征在于，第二步中，选择ResNet优化后的ResNet-101作为教师模型。
5.根据权利要求1的一种基于卷积神经网络的核桃虫害识别检测方法，其特征在于，第三步中，学生模型为EfficientNet-b1模型，EfficientNet-b1模型不仅体积小，而且运算速度快、精度高，因此适用于移动端。
6.根据权利要求1的一种基于卷积神经网络的核桃虫害识别检测方法，其特征在于，第三步中，知识蒸馏为先训练一个优良的教师模型，再用优良的教师模型去训练学生模型，使得学生模型的性能和精度都与教师模型相近，最后根据不同模型的优点放入不同的场景当中使用。
7.根据权利要求1的一种基于卷积神经网络的核桃虫害识别检测方法，其特征在于，第三步中，知识蒸馏中的梯度计算如公式为：
Figure FDA0003273375670000021
Figure FDA0003273375670000022
Figure FDA0003273375670000023
其中，f函数是将输出对数进行归一化，λ是权衡函数，lavg是教师输出的正则化的平均值，τ是温度函数。
8.一种基于卷积神经网络的核桃虫害识别系统，其特征在于，包括虫害识别APP和虫害预警网页，虫害识别APP包括手机拍照/相册、虫害信息上传和查看相关虫害，虫害预警网页包括虫害信息更新和虫害信息浏览，基于卷积神经网络的核桃虫害识别系统采用如权利要求1-7中任意一项的基于卷积神经网络的核桃虫害识别检测方法。
9.根据权利要求8的一种基于卷积神经网络的核桃虫害识别系统，其特征在于，虫害识别APP用于对虫害的识别，农户识别虫害之后，APP将会自动上传虫害的信息，比如虫害的发生地和虫害的名称，上传的虫害信息会自动更新到相应的数据库的当中，虫害预警网页则从数据库中获得相应的数据并且展示给全国的农户。
10.根据权利要求8的一种基于卷积神经网络的核桃虫害识别系统，其特征在于，虫害预警网页用于根据虫害识别APP端自动上传的数据，如虫害的发生地和虫害的名称，虫害网页端可提供预警信息，网页每隔1000毫秒会对虫害地图进行刷新。
CN202111118194.1A 2021-09-22 2021-09-22 一种基于卷积神经网络的核桃虫害识别系统及检测方法 Pending CN113837073A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111118194.1A CN113837073A (zh) 2021-09-22 2021-09-22 一种基于卷积神经网络的核桃虫害识别系统及检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111118194.1A CN113837073A (zh) 2021-09-22 2021-09-22 一种基于卷积神经网络的核桃虫害识别系统及检测方法

Publications (1)

Publication Number Publication Date
CN113837073A true CN113837073A (zh) 2021-12-24

Family

ID=78969718

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111118194.1A Pending CN113837073A (zh) 2021-09-22 2021-09-22 一种基于卷积神经网络的核桃虫害识别系统及检测方法

Country Status (1)

Country Link
CN (1) CN113837073A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114078126A (zh) * 2022-01-19 2022-02-22 江苏金恒信息科技股份有限公司 一种基于机器学习的废钢评级方法及装置
CN115713755A (zh) * 2023-01-09 2023-02-24 三亚中国农业科学院国家南繁研究院 一种高效精准的草地贪夜蛾的图像识别方法
CN116894983A (zh) * 2023-09-05 2023-10-17 云南瀚哲科技有限公司 基于知识蒸馏的细粒度农业病虫害图像识别方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110309841A (zh) * 2018-09-28 2019-10-08 浙江农林大学 一种基于深度学习的山核桃常见害虫识别方法
CN112116030A (zh) * 2020-10-13 2020-12-22 浙江大学 一种基于向量标准化和知识蒸馏的图像分类方法
CN113177612A (zh) * 2021-05-24 2021-07-27 同济大学 一种基于cnn少样本的农业病虫害图像识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110309841A (zh) * 2018-09-28 2019-10-08 浙江农林大学 一种基于深度学习的山核桃常见害虫识别方法
CN112116030A (zh) * 2020-10-13 2020-12-22 浙江大学 一种基于向量标准化和知识蒸馏的图像分类方法
CN113177612A (zh) * 2021-05-24 2021-07-27 同济大学 一种基于cnn少样本的农业病虫害图像识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIA GUO: "Spherical Knowledge Distillation", 《ARXIV:2010.07485V1》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114078126A (zh) * 2022-01-19 2022-02-22 江苏金恒信息科技股份有限公司 一种基于机器学习的废钢评级方法及装置
CN115713755A (zh) * 2023-01-09 2023-02-24 三亚中国农业科学院国家南繁研究院 一种高效精准的草地贪夜蛾的图像识别方法
CN116894983A (zh) * 2023-09-05 2023-10-17 云南瀚哲科技有限公司 基于知识蒸馏的细粒度农业病虫害图像识别方法及系统
CN116894983B (zh) * 2023-09-05 2023-11-21 云南瀚哲科技有限公司 基于知识蒸馏的细粒度农业病虫害图像识别方法及系统

Similar Documents

Publication Publication Date Title
CN113837073A (zh) 一种基于卷积神经网络的核桃虫害识别系统及检测方法
Akshai et al. Plant disease classification using deep learning
Khan et al. Deep learning for apple diseases: classification and identification
CN114565826B (zh) 一种农业病虫害识别诊断方法、系统及装置
CN107330074A (zh) 基于深度学习和哈希编码的图像检索方法
CN106709482A (zh) 基于自编码器的人物亲缘关系识别方法
CN109493976A (zh) 基于卷积神经网络模型的慢性病复发预测方法和装置
Yadav et al. AFD-Net: Apple Foliar Disease multi classification using deep learning on plant pathology dataset
CN106980831A (zh) 基于自编码器的自亲缘关系识别方法
CN113468996A (zh) 一种基于边缘细化的伪装物体检测方法
CN112562791A (zh) 基于知识图谱的药物靶标作用深度学习预测系统、计算机设备、存储介质
Kumar et al. Early detection of locust swarms using deep learning
Singh et al. Comparison of RSNET model with existing models for potato leaf disease detection
Veeragandham et al. Effectiveness of convolutional layers in pre-trained models for classifying common weeds in groundnut and corn crops
Praveen et al. To detect plant disease identification on leaf using machine learning algorithms
CN113298150A (zh) 一种基于迁移学习与自学习的小样本植物病害识别方法
Alam et al. Classification of deep-SAT images under label noise
Prasetyo et al. The implementation of CNN on website-based rice plant disease detection
Hicks et al. Deep learning object detection to estimate the nectar sugar mass of flowering vegetation
CN112632406A (zh) 查询方法、装置、电子设备及存储介质
CN116883364A (zh) 一种基于CNN和Transformer的苹果叶片病害识别方法
CN116089708A (zh) 农业知识推荐方法及装置
Shi et al. W-net: The convolutional network for multi-temporal high-resolution remote sensing image arable land semantic segmentation
Sahu et al. Deep learning models for crop quality and diseases detection
Hu et al. Research on pest and disease recognition algorithms based on convolutional neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination