CN113177612B - 一种基于cnn少样本的农业病虫害图像识别方法 - Google Patents

一种基于cnn少样本的农业病虫害图像识别方法 Download PDF

Info

Publication number
CN113177612B
CN113177612B CN202110567724.4A CN202110567724A CN113177612B CN 113177612 B CN113177612 B CN 113177612B CN 202110567724 A CN202110567724 A CN 202110567724A CN 113177612 B CN113177612 B CN 113177612B
Authority
CN
China
Prior art keywords
model
few
classification
teacher
stage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110567724.4A
Other languages
English (en)
Other versions
CN113177612A (zh
Inventor
赵冰辰
戴浏
温鑫
俞少作
鞠璇
叶晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN202110567724.4A priority Critical patent/CN113177612B/zh
Publication of CN113177612A publication Critical patent/CN113177612A/zh
Application granted granted Critical
Publication of CN113177612B publication Critical patent/CN113177612B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种基于CNN少样本的农业病虫害图像识别方法，特征是：首先基于自监督学习方法和知识蒸馏技术提出了一种少样本分类方法，再通过导入农业病虫害的训练数据，实现对于病虫害图像的分类。

Description

一种基于CNN少样本的农业病虫害图像识别方法
技术领域
本发明涉及深度学习技术领域。
技术背景
近年来，深度学习技术发展迅猛，人们通过搭建神经网络、导入一定数量的数据集进行训练从而实现物体识别、物体分类等任务。特别是将卷积神经网络(CNN)用于图像分类任务中，模型通过对数据集较好的特征提取，已经到达了较高的准确度。
然而，目前将CNN网络用于农业病虫害识别时往往采用传统的监督学习训练方法，这要求用于训练的数据集需要达到一定的规模。在样本量较小的前提下，利用传统监督学习方法训练的模型往往会″过拟合″，即过分提取导入数据集的数据特征，而对于未知数据的识别能力较差，这导致其在真实任务中表现不佳。同时，考虑到农业病虫害方面的研究现状，目前所能建立的数据库往往规模较小，因此迫切地需要一种适用于少样本的病虫害图像识别技术。
另外，不同病虫害图像之间的差异往往非常细微，集中在某些局部特征上。因此，普通的图像分类技术也不能满足病虫害的识别要求，需要一种更精细的图像分类方法来满足病虫害分类任务的特性。
1)自监督学习方法
自监督学习(Self-Supervised Learning)是无监督学习的一个分支，用以改善监督学习中人工标签的高昂成本以及对人工标签依赖造成容易受攻击的特点，提升模型的表征性能和泛化能力。其核心定义为两个步骤过程：(1)通过″半自动″过程从数据本身获取″标签″；(2)用数据的其他部分信息预测数据的一部分信息。
2)知识蒸馏技术
知识蒸馏技术可以将一个网络的知识(teacher网络)转移到另一个网络(student网络)，其中，两个网络可以是同构或者异构。知识蒸馏技术的做法是先训练teacher网络，然后使用这个teacher网络输出和数据的真实标签对student网络进行训练。知识蒸馏可以用来将网络从大网络转化为一个小网络，并保留接近于大网络的性能；也可以将多个网络的学到的知识转移到一个网络中，使得单个网络的性能接近多个网络集合的结果。
3)细粒度图像分类任务
细粒度图像分类(Fine-grained image categorization)，又被称作子类别图像分类(Sub-category recognition)，是近年来计算机视觉、模式识别等领域一个非常热门的研究课题。其目的是对属于同一基础类别的图像(汽车、狗、花、鸟等)进行更加细致的子类划分，但由于子类别间细微的类间差异以及较大的类内差异，较之普通的图像分类任务，细粒度图像分类难度更大。
细粒度图像的类别精度更加细致，类间差异更加细微，往往只能借助于微小的局部差异才能区分出不同的类别。绝大多数细粒度图像分类算法的流程框架为：首先找到前景对象及其局部区域，之后分别对这些区域提取特征。对所得到的特征进行适当的处理之后，用来完成分类器的训练和预测。完成图像细粒度分类有两个关键点：
①细粒度图像的信噪比很小，包含足够区分度的信息往往只存在于很细小的局部区域中，如何找到并有效利用这些有用的局部区域信息，成为了决定细粒度图像分类算法成功与否的关键所在。
②特征的提取也是决定图像分类准确性的关键因素。根据细粒度图像分类算法的特征，其使用的方法主要有基于人工特征的早期算法、深度卷积网络、强监督的细粒度图像分类、弱监督的细粒度图像分类几种。
实际上，由于不同病虫害图像之间的差别很小，因此针对农业病虫害图像分类的任务就是一种细粒度图像分类任务。
目前，业界往往采用一些传统监督学习方法下的卷积神经网络模型来完成农业病虫害识别任务。采用例如LeNet、GoogleNet等网络进行训练。
最接近现有技术
以一种基于LeNet网络的病虫害图像识别模型为例，该模型使用Keras框架实现。主要实现流程如图1所示。
现有技术可改进点
正如其他监督学习下的卷积神经网络模型，以上所介绍的方法均需要较大的数据集进行训练。在较小数据集下，模型容易出现″过拟合″现象：面对未知的图像数据，模型的识别结果将大大降低，无法在实用中达到可用的地步。
同时，该分类方法为传统的图像分类方法，只能较好地区分不同的″主类别″(例如区分小麦和水稻)，但对于同一主类别下的病虫害″子类别〞(例如区分水稻条纹叶枯病和水稻东格鲁病毒病)的区分效果较差，不能满足农业病虫害图像分类任务的实际需求。
发明内容
基于以上所述的现状，″一种基于CNN少样本的农业病虫害图像识别方案〞随之诞生。该方案结合自监督学习方法和知识蒸馏技术，实现了少样本下较高性能分类模型的训练，并且针对细粒度图像分类任务，具有较高的性能。利用这一技术，我们在样本规模较小、不对样本数据进行标注的前提下，改善了″过拟合″问题，实现了相比其他模型更高的识别率，并简化了数据准备过程。同时，针对农业病虫害图像识别的实际应用场景，本方案由于对数据特征的提取准确度较高，因此能够满足病虫害图像分类的需求。
现有的传统CNN图像分类方法没有较好地解决少样本下模型″过拟合″问题，并且也无法达到对于病虫害图像分类的″细微区分″。这是本发明方案所解决的痛点。本发明方案通过将自监督学习训练方法和蒸馏技术相结合，相比其他模型，提高了少样本分类任务的识别率，实现了对于农业病虫害图像的较精准识别。
技术方案
一种基于CNN少样本的农业病虫害图像识别方法，特征是：首先基于自监督学习方法和知识蒸馏技术提出了一种少样本分类方法，再通过导入农业病虫害的训练数据，实现对于病虫害图像的分类。
少样本分类方法，包括两阶段流水线，该流水线利用自监督学习和知识蒸馏来提高CNN模型在少样本下对于图像分类任务的泛化能力：第一阶段是通过自监督学习来学习具有丰富且可概括的视觉表示形式的教师(teacher)模型，第二阶段是通过知识蒸馏将表示形式提取为学生(student)模型，并对其进行微调；
少样本分类方法还为自监督学习中的对比学习训练提出了一种新颖的损失度计算方法，以进一步提升在少样本前提下的分类能力。
基于这样的少样本分类方法，本方案向模型导入农业病虫害图像数据作为训练数据，实现了对于农业病虫害的高性能少样本图像分类任务。
本技术方案优势
本方案最终可以在少样本农业病虫害图像分类领域中，达到以下两种效果：
1、在少样本数据集下改善″过拟合″问题，提高识别准确度
2、针对农业病虫害此类″细粒度图像分类任务″，有较高的性能表现
综上，本方案对少样本农业病虫害图像分类任务的推进有着极大的有益效果。
附图说明
图1为传统的LeNet网络处理农业病虫害图像分类任务。
图2为结合自监督学习和知识蒸馏技术的少样本分类方法。
图3为本方案得出的农业病虫害图像识别模型的准确率。
图4为训练所使用的农业病虫害数据库的部分截图。
具体实施方式
以下结合附图对本发明技术方案做详细说明。
实施例1
该流程为图2表示。
一、少样本分类方法
本方法提出的模型训练分为两个阶段：
第一阶段是通过自我监督对比学习构建一个有效视觉先验，从而用于进一步的超视觉先验训练。
第二阶段是使用第一阶段获取到的权重初始化teacher模型和student模型，teacher模型权重保持不变，而student模型使用classication loss和overhaul-feature-distillation(OFD)loss在预先训练好的检查点上进行自蒸馏，从而进一步对模型进行分类调整。
模型第一阶段借鉴近期发表[1]的MoCo v2方法，在原有损失函数中增加一个余量系数m，如(2)式所示，从而帮助模型在不良样本集上获得与其他样本集相似的结果。
原始MoCo模型中使用的损失函数如(1)式所示。
Figure BDA0003081375050000061
加入余量系数m以后，Lmargin为最终的损失函数。
Figure BDA0003081375050000062
模型第二阶段使用第一个阶段自我监督训练得到的检查点进行初始化teacher模型和student模型的权重，随后使用OFD提炼teacher模型和student模型的视觉前沿，蒸馏损失定义为(3)式：
Figure BDA0003081375050000063
其中Ft和Fs分别为teacher模型特征和student模型特征，StopGrad代表teacher模型的权重不会通过梯度下降进行更新，dp为距离向量，r为将特征由student模型转为teacher模型的连接函数。
模型评估中，第二阶段的模型损失计算公式为：
Figure BDA0003081375050000064
其中，Lce定义为：
Figure BDA0003081375050000071
二、将少样本分类方法用于细粒度农业病虫害图像分类任务，并进行效果验证
基于以上提出的少样本分类方法，本方案导入了农业病虫害的少样本数据图像，将其应用于病虫害图像识别任务中。
选自Kaggle、CVPR和天池数据挑战赛等渠道汇总了约50000张农业病虫害图像数据(如图4所示)，共覆盖10种作物、27种病害、61类严重程度，其中平均每一类的数据均在1000张以下，符合″少样本″的标准。
如图3所示，经过训练，最终的模型识别率约为88.5％。
通过估计student模型的损失，实验表明本方法可以有效在少样本的情况下训练出良好效果。通过结合其他的一些技巧，本方法在VIPrior提供的lmageNet数据集下取得了理想的成果。
表1
Figure BDA0003081375050000072
表1展示了该方法训练出的模型(最后一行)相比其他模型的准确率提高情况。
参考文献：
[1]He，K.，Fan，H.，Wu，Y.，Xie，S.，Girshick，R.：Momentum contrast forunsupervised visual representation learnning.In：2020IEEE/CVF Conference onComputer Vision and Pattern Recognition.pp.9729{9738(2020)

Claims (1)

1.一种基于CNN少样本的农业病虫害图像识别方法，特征是：首先基于自监督学习方法和知识蒸馏技术提出了一种少样本分类方法，再通过导入农业病虫害的训练数据，实现对于病虫害图像的分类；
特征是：少样本分类方法，包括两阶段流水线，该流水线利用自监督学习和知识蒸馏来提高CNN模型在少样本下对于图像分类任务的泛化能力：第一阶段是通过自监督学习来学习具有丰富且可概括的视觉表示形式的教师(teacher)模型，第二阶段是通过知识蒸馏将表示形式提取为学生(student)模型，并对其进行微调；
少样本分类方法还为自监督学习中的对比学习训练提出了一种新颖的损失度计算方法，以进一步提升在少样本前提下的分类能力；特征是：模型第二阶段使用第一个阶段自我监督训练得到的检查点进行初始化teacher模型和student模型的权重，随后使用OFD提炼teacher模型和student模型的视觉前沿，蒸馏损失定义为(3)式：
Figure FDA0003653645070000011
其中Ft和FS分别为teacher模型特征和student模型特征，StopGrad代表teacher模型的权重不会通过梯度下降进行更新，dp为距离向量，r为将特征由student模型转为teacher模型的连接函数；特征是：基于少样本分类方法，向模型导入农业病虫害图像数据作为训练数据，实现了对于农业病虫害的高性能少样本图像分类任务；特征是：损失度计算，包括原始MoCo模型中使用的损失函数如(1)式所示：
Figure FDA0003653645070000021
还包括加入余量系数m以后的Lmargin的损失函数：
Figure FDA0003653645070000022
模型评估中，第二阶段的模型损失计算公式为：
Figure FDA0003653645070000023
其中，Lce定义为：
Figure FDA0003653645070000024
CN202110567724.4A 2021-05-24 2021-05-24 一种基于cnn少样本的农业病虫害图像识别方法 Active CN113177612B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110567724.4A CN113177612B (zh) 2021-05-24 2021-05-24 一种基于cnn少样本的农业病虫害图像识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110567724.4A CN113177612B (zh) 2021-05-24 2021-05-24 一种基于cnn少样本的农业病虫害图像识别方法

Publications (2)

Publication Number Publication Date
CN113177612A CN113177612A (zh) 2021-07-27
CN113177612B true CN113177612B (zh) 2022-09-13

Family

ID=76930018

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110567724.4A Active CN113177612B (zh) 2021-05-24 2021-05-24 一种基于cnn少样本的农业病虫害图像识别方法

Country Status (1)

Country Link
CN (1) CN113177612B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113837238B (zh) * 2021-09-02 2023-09-01 南京大学 一种基于自监督和自蒸馏的长尾图像识别方法
CN113837073A (zh) * 2021-09-22 2021-12-24 广西大学 一种基于卷积神经网络的核桃虫害识别系统及检测方法
CN113635310B (zh) * 2021-10-18 2022-01-11 中国科学院自动化研究所 模型迁移方法、装置
CN114067202A (zh) * 2021-11-01 2022-02-18 武汉理工大学重庆研究院 一种小麦赤霉病的抗性鉴定方法及装置
CN116894983B (zh) * 2023-09-05 2023-11-21 云南瀚哲科技有限公司 基于知识蒸馏的细粒度农业病虫害图像识别方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110232109A (zh) * 2019-05-17 2019-09-13 深圳市兴海物联科技有限公司 一种网络舆情分析方法以及系统
CN112381764A (zh) * 2020-10-23 2021-02-19 西安科锐盛创新科技有限公司 一种农作物病虫害检测方法
CN112801105A (zh) * 2021-01-22 2021-05-14 之江实验室 一种两阶段的零样本图像语义分割方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200084940A (ko) * 2018-12-24 2020-07-14 순천대학교 산학협력단 Cnn 기반 병해 및 손상 과일 분류 장치 및 방법
CN112052948B (zh) * 2020-08-19 2023-11-14 腾讯科技（深圳）有限公司 一种网络模型压缩方法、装置、存储介质和电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110232109A (zh) * 2019-05-17 2019-09-13 深圳市兴海物联科技有限公司 一种网络舆情分析方法以及系统
CN112381764A (zh) * 2020-10-23 2021-02-19 西安科锐盛创新科技有限公司 一种农作物病虫害检测方法
CN112801105A (zh) * 2021-01-22 2021-05-14 之江实验室 一种两阶段的零样本图像语义分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Knowledge Distillation Meets Self-Supervision;Guodong Xu;《arXiv》;20200713;第1-21页 *

Also Published As

Publication number Publication date
CN113177612A (zh) 2021-07-27

Similar Documents

Publication Publication Date Title
CN113177612B (zh) 一种基于cnn少样本的农业病虫害图像识别方法
CN112308158B (zh) 一种基于部分特征对齐的多源领域自适应模型及方法
CN109241817B (zh) 一种无人机拍摄的农作物图像识别方法
CN111898736B (zh) 基于属性感知的高效行人重识别方法
Rao et al. Multi-pose facial expression recognition based on SURF boosting
CN110717411A (zh) 一种基于深层特征融合的行人重识别方法
CN109359541A (zh) 一种基于深度迁移学习的素描人脸识别方法
CN111639564B (zh) 一种基于多注意力异构网络的视频行人重识别方法
CN106203318A (zh) 基于多层次深度特征融合的摄像机网络行人识别方法
CN110598018B (zh) 一种基于协同注意力的草图图像检索方法
CN112633051A (zh) 一种基于图像搜索的在线人脸聚类方法
CN116543269B (zh) 基于自监督的跨域小样本细粒度图像识别方法及其模型
CN116704611A (zh) 一种基于运动特征混合和细粒度多阶段特征提取的跨视角步态识别方法
CN114329031A (zh) 一种基于图神经网络和深度哈希的细粒度鸟类图像检索方法
CN113743251B (zh) 一种基于弱监督场景的目标搜索方法及装置
CN109635647B (zh) 一种基于约束条件下的多图片多人脸的聚类方法
CN114781647A (zh) 一种区分简单与困难样本的无监督域适应方法
WO2022252089A1 (zh) 对象检测模型的训练方法、对象检测方法及装置
Patil et al. Video content classification using deep learning
CN110110598A (zh) 一种基于视觉特征与时空约束的行人再识别方法及系统
CN112200093B (zh) 一种基于不确定性估计的行人再识别方法
CN110751023B (zh) 一种用于视频流的串联行人检测方法
CN112270228A (zh) 一种基于dcca融合特征的行人重识别方法
CN112069908A (zh) 基于共现属性的行人重识别方法
Liu et al. Vehicle attribute recognition for normal targets and small targets based on multitask cascaded network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant