CN109949283B - 基于卷积神经网络识别虫子种类和活性的方法及系统 - Google Patents

基于卷积神经网络识别虫子种类和活性的方法及系统 Download PDF

Info

Publication number
CN109949283B
CN109949283B CN201910182844.5A CN201910182844A CN109949283B CN 109949283 B CN109949283 B CN 109949283B CN 201910182844 A CN201910182844 A CN 201910182844A CN 109949283 B CN109949283 B CN 109949283B
Authority
CN
China
Prior art keywords
identified
video
insects
images
insect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910182844.5A
Other languages
English (en)
Other versions
CN109949283A (zh
Inventor
孙杰
王光夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Seweilansi Technology Co ltd
Original Assignee
Tianjin Seweilansi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Seweilansi Technology Co ltd filed Critical Tianjin Seweilansi Technology Co ltd
Priority to CN201910182844.5A priority Critical patent/CN109949283B/zh
Publication of CN109949283A publication Critical patent/CN109949283A/zh
Application granted granted Critical
Publication of CN109949283B publication Critical patent/CN109949283B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A50/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE in human health protection, e.g. against extreme weather
    • Y02A50/30—Against vector-borne diseases, e.g. mosquito-borne, fly-borne, tick-borne or waterborne diseases whose impact is exacerbated by climate change

Abstract

本发明涉及一种基于卷积神经网络识别虫子种类和活性的方法及系统，包括以下步骤：截取一组含有虫子特定形态的图片样本，将图片样本中全部种类虫子进行标记；将已标记的图片样本进行区域分割和种类分析训练；提取待识别视频中一组连续的待识别图像；预测出所有待识别图像中虫子位置、种类以及活性状态；通过视频的运动跟踪校正预测结果；输出校正后的识别结果，本发明主要应用在农业病虫害种类分析、病虫害发展趋势分析以及杀虫剂灭活效果等生物农业技术领域，尽可能的接近人观察判断活死虫的方式判断各类虫子死活，最大限度的接近了人类对该情况的分析模拟，确保分析的结果具有可靠性、稳定性、一致性，使得最终的识别结果具有说服力。

Description

基于卷积神经网络识别虫子种类和活性的方法及系统
技术领域
本发明涉及生物特征识别领域，尤其涉及一种基于卷积神经网络识别虫子种类和活性的方法及系统。
背景技术
病害虫一直是人类生产生活中一个不可忽视的问题。在生产中，病害虫主要毁坏粮食、水果、棉花等农产品的生产加工与储藏，在生活中，病害虫主要传播疾病，侵袭人体健康等。
目前业内常用分析手段为捕捉单位面积中虫体进行图像分析，获得虫体数量，由于视觉技术的不完善，为了配合识别效果，当前主要采取的是粘虫板，捕虫网等捕捉设备，在虫体死亡后，对单个虫子进行分析。
当前技术主要有如下问题：第一，使用捕捉设备需要一定时间进行捕捉，并希望虫体相对静止，所以一般都是分析已经死亡的虫子或者需要预先输入虫子活死比例参数进而进行分析，导致目前主流技术无法分析虫子的活性程度；第二，当前技术主要分析大型零散虫子分布等情况，无法分析较小，单位密度高的聚集在一起的虫子；第三、现有技术无法分析半个或者相互有叠加覆盖的虫子，同时根据虫子形态学分割识别的时候甚至两个虫子位置在一起时就没法分析，所以现有技术分析识别的准确度较低。
发明内容
本发明所要解决的技术问题是克服现有技术中存在的不足，提供一种基于卷积神经网络识别虫子种类和活性的方法及系统。
本发明是通过以下技术方案予以实现：
一种基于卷积神经网络识别虫子种类和活性的方法，其特征在于，包括以下步骤：
a.在视频中截取一组含有虫子特定形态的图片样本，将图片样本中全部种类虫子进行标记；
b.使用mask-rcnn将已标记的图片样本进行区域分割和种类分析训练；
c.导入待识别视频，提取待识别视频中一组随机连续的待识别图像；
d.通过mask-rcnn语义分割预测出所有待识别图像中虫子位置、种类以及活性状态；
e.通过视频的运动跟踪校正预测结果；
f.输出校正后的识别结果。
根据上述技术方案，优选地，所述标记包括标记虫子的种类以及活性状态。
根据上述技术方案，优选地，所述待识别图像为待识别视频中2至5秒内随机连续选取的20至30张图。
根据上述技术方案，优选地，步骤e包括：通过物体追踪算法追踪相邻帧的待识别图像中所有虫子位置；根据虫子追踪情况将预测结果中虫子的活性状态进行修正。
根据上述技术方案，优选地，步骤f包括：对校正后的识别结果进行染色标记，将染色标记好的图像合成渲染视频。
一种基于卷积神经网络识别虫子种类和活性的系统，其特征在于，包括：标记单元，在视频中截取一组含有虫子特定形态的图片样本，将图片样本中全部种类虫子进行标记；训练单元，使用mask-rcnn将已标记的图片样本进行区域分割和种类分析训练；提取单元，导入待识别视频，提取待识别视频中一组连续的待识别图像；识别单元，通过mask-rcnn语义分割预测出所有待识别图像中虫子位置、种类以及活性状态；校正单元，通过视频的运动跟踪校正预测结果；输出单元，输出校正后的识别结果。
根据上述技术方案，优选地，所述校正单元包括：追踪模块，通过物体追踪算法追踪相邻帧的待识别图像中所有虫子位置；修正模块，根据虫子追踪情况将预测结果中虫子的活性状态进行修正。
根据上述技术方案，优选地，所述输出单元包括：渲染模块，用于对校正后的识别结果进行染色标记，将染色标记好的图像合成渲染视频。
本发明的有益效果是：
通过深度学习卷积神经网络的方式模拟人眼观察情况，对活动的高密度聚集的虫子的种类和活性状态进行分析和识别，同时通过视频的运动跟踪对于预测结果进行校正，输出最终的识别结果。本发明主要应用在农业病虫害种类分析、病虫害发展趋势分析以及杀虫剂灭活效果等生物农业技术领域，尽可能的接近人观察判断活死虫的方式判断各类虫子死活，同时还不受到杂质和互相叠加虫子影响，最大限度的接近了人类对该情况的分析模拟，确保分析的结果具有可靠性、稳定性、一致性，使得最终的识别结果具有说服力。
附图说明
图1是本发明视频中截取的含有虫子特定形态的图片样本。
图2是本发明标记的一种活虫的轮廓，轮廓上的点为标记的多边形的点。
图3是与图2相同种类的虫子的死虫状态的轮廓。
图4是本发明两个叠加在一起的虫子各自分别走向的轮廓精修图。
图5是本发明根据预先标记出来的样本判断出虫子的种类和活性状态进行统计标记的示意图。
图6是本发明工作过程示意图。
具体实施方式
为了使本技术领域的技术人员更好地理解本发明的技术方案，下面结合附图和最佳实施例对本发明作进一步的详细说明。
如图所示，本发明公开了一种基于卷积神经网络识别虫子种类和活性的方法，其特征在于，包括以下步骤：在视频中截取一组含有虫子特定形态的图片样本，将图片样本中全部种类虫子进行标记，本例中利用VIA图像标记算法框架精细标记截取的含有虫子特定形态的图片样本中所有虫子的轮廓，形成多个闭合的多边形围成的轮廓，同时标记种类和活性状态，并将标记的信息导出成json文件；使用mask-rcnn将已标记的图片样本进行区域分割和种类分析训练，本例中使用tensorflow框架下mask-rcnn算法训练json文件样本；导入待识别视频，提取待识别视频中一组随机连续的待识别图像；通过mask-rcnn语义分割预测出所有待识别图像中虫子位置、种类以及活性状态；通过视频的运动跟踪校正预测结果；输出校正后的识别结果。通过深度学习卷积神经网络的方式模拟人眼观察情况，对活动的高密度聚集的虫子的种类和活性状态进行分析和识别，同时通过视频的运动跟踪对于预测结果进行校正，输出最终的识别结果。本发明主要应用在农业病虫害种类分析、病虫害发展趋势分析以及杀虫剂灭活效果等生物农业技术领域，尽可能的接近人观察判断活死虫的方式判断各类虫子死活，同时还不受到杂质和互相叠加虫子影响，最大限度的接近了人类对该情况的分析模拟，确保分析的结果具有可靠性、稳定性、一致性，使得最终的识别结果具有说服力。
根据上述实施例，优选地，所述标记包括标记虫子的种类以及活性状态，利用VIA图像标记算法框架精细标记截取的含有虫子特定形态的图片样本中所有虫子的轮廓，形成多个闭合的多边形围成的轮廓，同时标记种类和活性状态，并将标记的信息导出成json文件，本例中使用tensorflow框架下mask-rcnn算法训练json文件样本。
根据上述实施例，优选地，所述待识别图像为待识别视频中2至5秒内连续选取的20至30张图，本例中利用图像算法框架opencv导入待识别视频，从此视频中提取关键帧2-5秒，时间跟运算速度和观察时间有关，可以无限长但不可以过短，本例中将提取的视频中识别出的虫子种类和活性状态最多的一帧定义为第一帧待识别图像，连续选取第一帧图像开始的25张图作为待识别图像。
根据上述实施例，优选地，校正预测结果的步骤包括：通过物体追踪算法追踪相邻帧的待识别图像中所有虫子位置，从第一帧待识别图像开始，观察相邻帧图像所有虫子位置，利用矩阵算法计算虫子轮廓所在的质心，以第一张图的每个虫子的质心为圆心，100像素为半径依次搜索，查看在下一帧中虫子位移情况，判断物体与质心所在物体的形状差异是否在一定范围，如果是则认为当前的物体是上一张图像质心所在物体产生位移后的物体，反之则认为是其他虫子；根据虫子追踪情况将预测结果中虫子的活性状态进行修正，根据所有的待识别图像进行统计，将上一步预测出所有待识别图像中虫子活性状态进行修正，如果是初步预测为活虫并产生位移，则认为是活虫，如果是初步预测为活虫，但是没有产生位移，则认为是死虫或者是濒死虫，如果初步预测为死虫，但是产生了位移，则认为是其他虫子移动带动死虫产生了位移。此方法避免仅通过虫子位移追踪情况判定虫子死活，无法判断出死虫被活虫带动产生位移的情况，确保分析的结果具有可靠性与稳定性。
根据上述实施例，优选地，输出识别结果的步骤包括：对校正后的识别结果进行染色标记，将染色标记好的图像合成渲染视频。
本发明还公开了一种基于卷积神经网络识别虫子种类和活性的系统，其特征在于，包括：标记单元，在视频中截取一组含有虫子特定形态的图片样本，将图片样本中全部种类虫子进行标记；训练单元，使用mask-rcnn将已标记的图片样本进行区域分割和种类分析训练；提取单元，导入待识别视频，提取待识别视频中一组连续的待识别图像；识别单元，通过mask-rcnn语义分割预测出所有待识别图像中虫子位置、种类以及活性状态；校正单元，通过视频的运动跟踪校正预测结果；输出单元，输出校正后的识别结果。
根据上述实施例，优选地，所述校正单元包括：追踪模块，通过物体追踪算法追踪相邻帧的待识别图像中所有虫子位置；修正模块，根据虫子追踪情况将预测结果中虫子的活性状态进行修正。
根据上述实施例，优选地，所述输出单元包括：渲染模块，用于对校正后的识别结果进行染色标记，将染色标记好的图像合成渲染视频。
通过深度学习卷积神经网络的方式模拟人眼观察情况，对活动的高密度聚集的虫子的种类和活性状态进行分析和识别，同时通过视频的运动跟踪对于预测结果进行校正，输出最终的识别结果。本发明主要应用在农业病虫害种类分析、病虫害发展趋势分析以及杀虫剂灭活效果等生物农业技术领域，尽可能的接近人观察判断活死虫的方式判断各类虫子死活，同时还不受到杂质和互相叠加虫子影响，最大限度的接近了人类对该情况的分析模拟，确保分析的结果具有可靠性、稳定性、一致性，使得最终的识别结果具有说服力。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (3)

1.一种基于卷积神经网络识别虫子种类和活性的方法，其特征在于，包括以下步骤：
a.在视频中截取一组含有虫子特定形态的图片样本，将图片样本中全部种类虫子进行标记；
b.使用mask-rcnn将已标记的图片样本进行区域分割和种类分析训练；
c.导入待识别视频，提取待识别视频中一组随机连续的待识别图像，其中，所述待识别图像为待识别视频中2至5秒内随机连续选取的20至30张图；
d.通过mask-rcnn语义分割预测出所有待识别图像中虫子位置、种类以及活性状态；
e.通过视频的运动跟踪校正预测结果，其中，所述通过视频的运动跟踪校正预测结果包括：通过物体追踪算法追踪相邻帧的待识别图像中所有虫子位置；根据虫子追踪情况将预测结果中虫子的活性状态进行修正；
f.输出校正后的识别结果，其中，所述输出校正后的识别结果包括：对校正后的识别结果进行染色标记，将染色标记好的图像合成渲染视频。
2.根据权利要求1所述一种基于卷积神经网络识别虫子种类和活性的方法，其特征在于，所述标记包括标记虫子的种类以及活性状态。
3.一种基于卷积神经网络识别虫子种类和活性的系统，其特征在于，包括：
标记单元，在视频中截取一组含有虫子特定形态的图片样本，将图片样本中全部种类虫子进行标记；
训练单元，使用mask-rcnn将已标记的图片样本进行区域分割和种类分析训练；
提取单元，导入待识别视频，提取待识别视频中一组随机连续的待识别图像，其中，所述待识别图像为待识别视频中2至5秒内随机连续选取的20至30张图；
识别单元，通过mask-rcnn语义分割预测出所有待识别图像中虫子位置、种类以及活性状态；
校正单元，通过视频的运动跟踪校正预测结果，其中，所述通过视频的运动跟踪校正预测结果包括：通过物体追踪算法追踪相邻帧的待识别图像中所有虫子位置；根据虫子追踪情况将预测结果中虫子的活性状态进行修正；
输出单元，输出校正后的识别结果，其中，所述输出校正后的识别结果包括：对校正后的识别结果进行染色标记，将染色标记好的图像合成渲染视频。
CN201910182844.5A 2019-03-12 2019-03-12 基于卷积神经网络识别虫子种类和活性的方法及系统 Active CN109949283B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910182844.5A CN109949283B (zh) 2019-03-12 2019-03-12 基于卷积神经网络识别虫子种类和活性的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910182844.5A CN109949283B (zh) 2019-03-12 2019-03-12 基于卷积神经网络识别虫子种类和活性的方法及系统

Publications (2)

Publication Number Publication Date
CN109949283A CN109949283A (zh) 2019-06-28
CN109949283B true CN109949283B (zh) 2023-05-26

Family

ID=67008740

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910182844.5A Active CN109949283B (zh) 2019-03-12 2019-03-12 基于卷积神经网络识别虫子种类和活性的方法及系统

Country Status (1)

Country Link
CN (1) CN109949283B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11048928B1 (en) 2020-02-04 2021-06-29 University Of South Florida Systems and methods of entomology classification based on extracted anatomies

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102339382A (zh) * 2004-06-01 2012-02-01 光谱辨识公司 多光谱成像生物识别
CN108074224A (zh) * 2016-11-09 2018-05-25 环境保护部环境规划院 一种陆生哺乳动物与鸟类的监测方法及其监测装置
CN108492319A (zh) * 2018-03-09 2018-09-04 西安电子科技大学 基于深度全卷积神经网络的运动目标检测方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102281385B (zh) * 2011-08-16 2013-03-27 上海交通大学 基于运动视频的周期运动检测方法
CN107016405B (zh) * 2017-02-24 2019-08-30 中国科学院合肥物质科学研究院 一种基于分级预测卷积神经网络的害虫图像分类方法
CN107273933A (zh) * 2017-06-27 2017-10-20 北京飞搜科技有限公司 一种图像追踪分类器的构建方法及应用其的人脸追踪方法
CN109087315B (zh) * 2018-08-22 2021-02-23 中国科学院电子学研究所 一种基于卷积神经网络的图像识别定位方法
CN109191455A (zh) * 2018-09-18 2019-01-11 西京学院 一种基于ssd卷积网络的大田作物病虫害检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102339382A (zh) * 2004-06-01 2012-02-01 光谱辨识公司 多光谱成像生物识别
CN108074224A (zh) * 2016-11-09 2018-05-25 环境保护部环境规划院 一种陆生哺乳动物与鸟类的监测方法及其监测装置
CN108492319A (zh) * 2018-03-09 2018-09-04 西安电子科技大学 基于深度全卷积神经网络的运动目标检测方法

Also Published As

Publication number Publication date
CN109949283A (zh) 2019-06-28

Similar Documents

Publication Publication Date Title
Zhang et al. Putting visual object recognition in context
Torralba How many pixels make an image?
US11328525B2 (en) Method for calculating deviation relations of a population
Aruraj et al. Detection and classification of diseases of banana plant using local binary pattern and support vector machine
US20200320294A1 (en) Artificial intelligence based plantable blank spot detection
CN113298023B (zh) 一种基于深度学习及图像技术的昆虫动态行为识别方法
CN107330403A (zh) 一种基于视频数据的牦牛计数方法
Ayyub et al. Fruit disease classification and identification using image processing
Dhiman et al. A general purpose multi-fruit system for assessing the quality of fruits with the application of recurrent neural network
CN109949283B (zh) 基于卷积神经网络识别虫子种类和活性的方法及系统
Rahim et al. Deep learning-based accurate grapevine inflorescence and flower quantification in unstructured vineyard images acquired using a mobile sensing platform
Kumar et al. A systematic ML based approach for quality analysis of fruits impudent
Sharma Rise of computer vision and internet of things
Cheng et al. Identifying tomato leaf diseases under real field conditions using convolutional neural networks and a chatbot
Dhore et al. Study On Various Machine Learning Techniques For Plant Disease Detections In Agricultural Sector
Dandekar et al. Weed Plant Detection from Agricultural Field Images using YOLOv3 Algorithm
KR102393265B1 (ko) 버섯 병해충 검출 시스템
Ambashtha et al. Leaf disease detection in crops based on single-hidden layer feed-forward neural network and hierarchal temporary memory
Noola et al. Corn Leaf Disease Detection with Pertinent Feature Selection Model Using Machine Learning Technique with Efficient Spot Tagging Model.
CN108829154A (zh) 杀虫灯控制方法及装置
Sharmila et al. Weighted Mask Recurrent-Convolutional Neural Network based Plant Disease Detection using Leaf Images
Polke et al. Leaf disease detection based on machine learning
Gupta et al. Lemon Diseases Detection and Classification using Hybrid CNN-SVM Model
Mahendran et al. Feature Extraction and Classification Based on Pixel in Banana Fruit for Disease Detection Using Neural Networks
Tambe et al. Detection of Plant Leaf Disease using Machine Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant