CN114239756B - 一种虫害检测方法及系统 - Google Patents

一种虫害检测方法及系统 Download PDF

Info

Publication number
CN114239756B
CN114239756B CN202210173807.XA CN202210173807A CN114239756B CN 114239756 B CN114239756 B CN 114239756B CN 202210173807 A CN202210173807 A CN 202210173807A CN 114239756 B CN114239756 B CN 114239756B
Authority
CN
China
Prior art keywords
pest
insect
vegetable
insect pest
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210173807.XA
Other languages
English (en)
Other versions
CN114239756A (zh
Inventor
钱浩
张波
周晓坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Innotitan Intelligent Equipment Technology Tianjin Co Ltd
Original Assignee
Innotitan Intelligent Equipment Technology Tianjin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Innotitan Intelligent Equipment Technology Tianjin Co Ltd filed Critical Innotitan Intelligent Equipment Technology Tianjin Co Ltd
Priority to CN202210173807.XA priority Critical patent/CN114239756B/zh
Publication of CN114239756A publication Critical patent/CN114239756A/zh
Application granted granted Critical
Publication of CN114239756B publication Critical patent/CN114239756B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
    • Y02A40/25—Greenhouse technology, e.g. cooling systems therefor

Abstract

本发明涉及一种虫害检测方法及系统，属于图像检测技术领域，该方法包括：构建虫害检测数据集；基于邻域信息融合构建虫害检测网络；采用虫害检测数据集训练虫害检测网络获得虫害检测模型；采用虫害检测模型进行虫害位置和虫害类别检测；虫害检测网络包括候选目标区域提取模块、邻域信息融合模块和后端预测模块；邻域信息融合模块用于根据多个虫害目标区域获得多个虫害区域特征图，并获得各虫害区域特征图的邻域信息特征图，将各虫害区域特征图与对应的邻域信息特征图进行特征融合，获得各虫害区域特征图对应的融合式虫害区域特征图。本发明提高了检测效率和准确性。

Description

一种虫害检测方法及系统
技术领域
本发明涉及虫害监测技术领域，特别是涉及一种虫害检测方法及系统。
背景技术
随着现代化农业的不断发展和农产品需求的日益增长，大棚种植在农业生产所占的比重越来越大。相比传统的耕种模式，大棚这种封闭式环境更容易为害虫提供有利的繁殖和生长条件，而且现阶段农作物的虫害管理主要依靠人力和人工经验，不仅工作效率低下，且缺乏科学指导，更加难以保障农作物的品质。因此，亟需一种自动化的虫害监测方法，为大棚农作物的虫害管理提供精准可靠的监测数据，从而有效提升农产品的品质和产量，促进农业经济的快速发展。
发明内容
本发明的目的是提供一种虫害检测方法及系统，提高了检测效率和准确性。
为实现上述目的，本发明提供了如下方案：
一种虫害检测方法，包括：
构建虫害检测数据集；所述虫害检测数据集包括多张设定蔬菜种类的蔬菜图像和与各所述蔬菜图像对应的标注文件，所述标注文件标注的是蔬菜图像中虫害位置和虫害类别；
基于邻域信息融合构建虫害检测网络；
采用所述虫害检测数据集训练所述虫害检测网络，获得虫害检测模型；
将待检测蔬菜图像输入所述虫害检测模型，获得所述待检测蔬菜图像的虫害位置和虫害类别；
所述虫害检测网络包括候选目标区域提取模块、邻域信息融合模块和后端预测模块；所述目标区域提取模块用于对输入蔬菜图像进行虫害目标特征提取，对提取的虫害图特征进行特征融合，获得多张尺度不同的融合特征图，并根据各融合特征图获得多个虫害目标区域；所述邻域信息融合模块用于根据多个所述虫害目标区域获得多个虫害区域特征图，并获得各虫害区域特征图的邻域信息特征图，将各虫害区域特征图与对应的邻域信息特征图进行特征融合，获得各虫害区域特征图对应的融合式虫害区域特征图；所述后端预测模块根据各所述融合式虫害区域特征图确定所述输入蔬菜图像的虫害位置和虫害类别。
可选地，所述方法还包括：
根据所述待检测蔬菜图像的虫害位置统计虫害数量；
根据所述虫害数量确定所述待检测蔬菜图像的虫害状态。
可选地，所述邻域信息融合模块包括ROI Align层，所述ROI Align层用于根据多个所述虫害目标区域获得多个虫害区域特征图。
可选地，所述邻域信息融合模块用于以第i张虫害区域特征图的中心为中心，在与第i张虫害区域特征图对应的融合特征图中截取设定边长的正方形作为第i张虫害区域特征图的虫害邻域特征图，对第i张虫害区域特征图的虫害邻域特征图进行下采样获得第i张虫害区域特征图的邻域信息特征图；所述邻域信息融合模块还用于将第i张虫害区域特征图与对应的邻域信息特征图进行逐像素相乘操作，再将逐像素相乘结果进行卷积核为1*1的卷积操作，获得融合式虫害区域特征图。
可选地，所述后端预测模块包括两层全连接层。
可选地，所述将待检测蔬菜图像输入所述虫害检测模型，获得所述待检测蔬菜图像的虫害位置和虫害类别，具体包括：
采用搭载工业相机的机械臂AGV小车在蔬菜大棚内逐行进行图像采集，实时获得待检测蔬菜图像；
将实时获得的待检测蔬菜图像输入所述虫害检测模型，获得所述待检测蔬菜图像的虫害位置和虫害类别。
本发明还公开了一种虫害检测系统，包括：
数据集构建模块，用于构建虫害检测数据集；所述虫害检测数据集包括多张设定蔬菜种类的蔬菜图像和与各所述蔬菜图像对应的标注文件，所述标注文件标注的是蔬菜图像中虫害位置和虫害类别；
虫害检测网络构建模块，用于基于邻域信息融合构建虫害检测网络；
虫害检测网络训练模块，用于采用所述虫害检测数据集训练所述虫害检测网络，获得虫害检测模型；
虫害检测模块，用于将待检测蔬菜图像输入所述虫害检测模型，获得所述待检测蔬菜图像的虫害位置和虫害类别；
所述虫害检测网络包括候选目标区域提取模块、邻域信息融合模块和后端预测模块；所述目标区域提取模块用于对输入蔬菜图像进行虫害目标特征提取，对提取的虫害图特征进行特征融合，获得多张尺度不同的融合特征图，并根据各融合特征图获得多个虫害目标区域；所述邻域信息融合模块用于根据多个所述虫害目标区域获得多个虫害区域特征图，并获得各虫害区域特征图的邻域信息特征图，将各虫害区域特征图与对应的邻域信息特征图进行特征融合，获得各虫害区域特征图对应的融合式虫害区域特征图；所述后端预测模块根据各所述融合式虫害区域特征图确定所述输入蔬菜图像的虫害位置和虫害类别。
可选地，所述系统还包括：
虫害数量统计模块，用于根据所述待检测蔬菜图像的虫害位置统计虫害数量；
虫害状态确定模块，用于根据所述虫害数量确定所述待检测蔬菜图像的虫害状态。
可选地，所述邻域信息融合模块包括ROI Align层，所述ROI Align层用于根据多个所述虫害目标区域获得多个虫害区域特征图。
可选地，所述邻域信息融合模块用于以第i张虫害区域特征图的中心为中心，在与第i张虫害区域特征图对应的融合特征图中截取设定边长的正方形作为第i张虫害区域特征图的虫害邻域特征图，对第i张虫害区域特征图的虫害邻域特征图进行下采样获得第i张虫害区域特征图的邻域信息特征图；所述邻域信息融合模块还用于将第i张虫害区域特征图与对应的邻域信息特征图进行逐像素相乘操作，再将逐像素相乘结果进行卷积核为1*1的卷积操作，获得融合式虫害区域特征图。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明公开了一种虫害检测方法及系统，通过构建虫害检测网络进行虫害信息检测，实现虫害信息检测的自动化，从而提高了虫害检测效率，另外虫害检测网络为基于邻域信息融合的虫害检测网络，在预测阶段引入虫害目标的邻域信息，进一步将虫害监测范围缩小在农作物表面，避免因与虫害具有高度相似性的干扰信息所导致的虫害虚警，从而有效提升虫害检测网络对虫害目标的检测准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种虫害检测方法流程示意图；
图2为本发明虫害检测网络结构示意图；
图3为本发明一种虫害检测系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种虫害检测方法及系统，提高了检测效率和准确性。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明一种虫害检测方法流程示意图，如图1所示，一种虫害检测方法，包括：
步骤101：构建虫害检测数据集；虫害检测数据集包括多张设定蔬菜种类的蔬菜图像和与各蔬菜图像对应的标注文件，标注文件标注的是蔬菜图像中虫害位置和虫害类别。
虫害检测数据集中蔬菜图像为采用不同的培育方式进行种植管理，从而获得不同虫害状态的蔬菜图像样本。
采用搭载工业相机的机械臂自动导航车(Automated Guided Vehicle, AGV)在大棚内逐行进行图像采集，采集方式为：在设定蔬菜种类的蔬菜播种后的第5天开始第一次采集，每周采集一次，直至经历整个蔬菜的生长周期，采集过程中，确保拍摄角度与地面垂直，且镜头与地面的距离保持不变。
虫害检测数据集中图像数量为足够规模的图像数据。
虫害类别包括虫眼、蚜虫、菜青虫和钻心虫。
步骤102：基于邻域信息融合构建虫害检测网络。
步骤103：采用虫害检测数据集训练虫害检测网络，获得虫害检测模型。
步骤104：将待检测蔬菜图像输入虫害检测模型，获得待检测蔬菜图像的虫害位置和虫害类别。
虫害检测网络包括候选目标区域提取模块、邻域信息融合模块和后端预测模块；目标区域提取模块用于对输入蔬菜图像进行虫害目标特征提取，对提取的虫害图特征进行特征融合，获得多张尺度不同的融合特征图，并根据各融合特征图获得多个虫害目标区域；邻域信息融合模块用于根据多个虫害目标区域获得多个虫害区域特征图，并获得各虫害区域特征图的邻域信息特征图，将各虫害区域特征图与对应的邻域信息特征图进行特征融合，获得各虫害区域特征图对应的融合式虫害区域特征图；后端预测模块根据各融合式虫害区域特征图确定输入蔬菜图像的虫害位置和虫害类别。
采用密集连接网络（DenseNet）的前四个卷积块作为候选目标区域提取模块的骨干网络，将各卷积块输出的特征图分别表示为D_1、D_2、D_3和D_4，四个特征图维度依次为512×512×32、256×256×32、128×128×32和64×64×32。
将D_4表示为P_4，并对P_4进行2倍上采样操作后与D_3进行元素级相加得到特征图P_3，对P_3进行2倍上采样操作后与D_2进行元素级相加得到特征图P_2，将特征图P_2、P_3和P_4分别输入卷积核为3*3的卷积层中进行特征提取，得到特征图A_2、A_3和A_4。
将特征图A_2、A_3和A_4输入区域建议网络(Region Proposal Network，RPN)中，输出多张虫害目标区域。
将多张虫害目标区域输入ROI Align层，获得多张虫害区域特征图IA。
一种虫害检测方法还包括：根据待检测蔬菜图像的虫害位置统计虫害数量；根据虫害数量确定待检测蔬菜图像的虫害状态：
若虫害数量为0，则虫害状态为健康状态；
若虫害数量大于0且小于设定值，则虫害状态为轻度虫害状态；
若虫害数量大于或等于设定值，则虫害状态为重度虫害状态。设定值为5。
邻域信息融合模块包括ROI Align层，ROI Align层用于根据多个虫害目标区域获得多个虫害区域特征图。
邻域信息融合模块用于以第i张虫害区域特征图的中心为中心，在与第i张虫害区域特征图对应的融合特征图中截取设定边长的正方形作为第i张虫害区域特征图的虫害邻域特征图，对第i张虫害区域特征图的虫害邻域特征图进行下采样获得第i张虫害区域特征图的邻域信息特征图；
邻域信息融合模块还用于将第i张虫害区域特征图与对应的邻域信息特征图进行逐像素相乘操作，再将逐像素相乘结果进行卷积核为1*1的卷积操作，获得融合式虫害区域特征图。后端预测模块包括两层全连接层。
将待检测蔬菜图像输入虫害检测模型，获得待检测蔬菜图像的虫害位置和虫害类别，具体包括：
采用搭载工业相机的机械臂AGV小车在蔬菜大棚内逐行进行图像采集，实时获得待检测蔬菜图像。
将实时获得的待检测蔬菜图像输入虫害检测模型，获得待检测蔬菜图像的虫害位置和虫害类别。
图2中虚线框将虫害检测网络从上到下，依次分割为候选目标区域提取模块、邻域信息融合模块、后端预测模块和虫害状态评估模块。
下面以大棚白菜为例，展示基于本发明一种虫害检测方法实现的自动化虫害监测的过程。
Step1、建立虫害检测数据集。首先，将用于图像采集的白菜苗圃划分为多个组，并采用不同的培育方式进行白菜种植管理，确保获得不同虫害状态下的白菜样本；同时，采用搭载工业相机的机械臂自动导航车(Automated Guided Vehicle，AGV)在大棚内逐行进行图像采集，采集方式为：在播种后的第5天开始第一次采集，每周采集一次，直至经历整个白菜生长周期，采集过程中，确保拍摄角度与地面垂直，且镜头与地面的距离保持不变；获得足够规模的图像数据后，采用标注软件对白菜图像进行标签标注，在每张图像中标注出白菜虫害的位置矩形框和对应的虫害类别（包括虫眼、蚜虫、菜青虫和钻心虫等），从而获得相应的标注文件；最后，将所得图像和对应标注文件按比例划分为训练集和测试集，从而获得大棚蔬菜的虫害检测数据集。
Step2、构建候选目标区域提取模块。如图2所示，以本发明输入一张待检测的白菜图像2048*2048*3为例，展示候选目标区域提取模块的设计过程：
首先，采用密集连接网络（DenseNet）进行虫害目标的特征提取。DenseNet由五个卷积结构构成，由于农作物上的虫害目标属于小目标，因此为了避免过度下采样导致目标信息丢失，此处仅采用前四个卷积结构作为候选目标区域提取模块的骨干网络。将各卷积块的输出特征图分别表示为D_1、D_2、D_3、D_4，则四个特征图维度依次为512×512×32、256×256×32、128×128×32、64×64×32。
接下来，对特征图D_1、D_2、D_3、D_4进行特征融合，以增强网络对小目标的特征提取能力。在特征融合阶段，将D_4直接命名为P_4，并对P_4进行2倍上采样操作，尺寸转换为128×128×32，并与D_3进行元素级相加，得到P_3，采用同样的方式，基于P_3和D_2得到特征图P_2。再将特征图P_2、P_3和P_4分别输入卷积核为3*3的卷积层中进行特征提取和梳理，得到尺寸分别为254×254×32、126×126×32和62×62×32的特征图A_2、A_3和A_4。
最后，将A_2、A_3和A_4输入区域建议网络(Region Proposal Network，RPN)中，输出一系列可能存在虫害目标的虫害目标区域。
Step3、构建邻域信息融合模块。由于虫害目标在图像中属于小目标，自身可获取的信息较少，仅采用特征融合和在低层特征图进行预测的策略仍然难以取得良好的检测效果。根据农业常识，虫眼、蚜虫、菜青虫等虫害目标大概率位于蔬菜的叶面、茎部等部位，而不会出现在土壤表面或其他地方，也就是说虫害目标的邻域一般是蔬菜植株的表面，否则可能是与虫害目标具有高度相似性的干扰信息。因此，在最后的预测阶段引入虫害目标的邻域信息，将虫害目标和其邻域信息相融合进行预测，能够有效提升虫害目标的检测准确率。
如图2所示，以本发明输入一张待检测的白菜图像2048*2048*3为例，展示邻域信息融合模块的设计过程：
首先，将上一步骤输出的虫害目标区域输入ROI Align层，获得一系列尺寸为7×7×32的虫害区域特征图IA。
随后，基于虫害区域特征图获取邻域信息。以第i张虫害区域特征图IAi为例，若该区域特征图基于特征图A_2获得，且在原图中对应的矩形框坐标为（xi，yi，wi，hi），则其中心点坐标为（xi+wi/2，yi+hi/2），（xi，yi）表示第i张虫害区域特征图IAi对应的矩形框左上角的坐标，wi表示第i张虫害区域特征图IAi的宽度，hi表示第i张虫害区域特征图IAi的高度。以点（xi+wi/2，yi+hi/2）为中心，获取长度和宽度均为wi+hi的虫害邻域，则该虫害邻域在原图中对应的矩形框坐标为（xi-hi/2，yi-wi/2，wi+hi，wi+hi），即虫害邻域在原图中对应矩形框为边长为wi+hi的正方形，正方形的左上角坐标为（xi-hi/2，yi-wi/2）。根据原图与特征图A_2的尺寸比例r，计算该虫害邻域在特征图A_2中的矩形框坐标，并基于该坐标截取虫害邻域特征图，获得尺寸为
Figure 721351DEST_PATH_IMAGE001
的虫害邻域特征图。对所得邻域特征图进行下采样操作，并输出尺寸为7×7×32的邻域信息特征图NFi。
接下来，进行邻域信息融合操作。为了将邻域信息嵌入虫害区域特征图中，同时增强嵌入效果，此处采用矩阵相乘方式而不是常见的元素级加和操作对两张特征图进行融合。具体操作如下：将ROI Align层所输出的虫害区域特征图IAi与其对应的邻域信息特征图NFi进行逐像素相乘操作，再将所得融合特征图输入1*1卷积层中，进行进一步特征提取和梳理，从而得到尺寸为7×7×32的融合式虫害区域特征图FIAi。
最后，采用上述方式（先获取虫害邻域特征图，再进行邻域融合操作），对每个虫害区域特征图IA依次进行处理，获得其对应的融合式虫害区域特征图FIA。
Step4、构建后端预测模块，获得虫害检测网络。将上一步所得的一系列融合式虫害区域特征图FIA输入Faster RCNN的预测端，即两层全连接层，从而获得虫害目标的类别信息和具体坐标信息。
Step5、训练虫害检测网络，并获得虫害检测模型。采用虫害检测数据集中的训练集训练虫害检测网络，直到网络参数达到局部最优值，并在测试集上取得满足要求的检测准确率。然后，将训练所得的网络模型作为虫害检测模型。
Step6、构建虫害状态评估模块。如图2所示，以本发明输入一张待检测的大棚白菜图像为例，展示虫害状态评估模块的设计过程：将一张待检测的白菜图像输入虫害检测模型中，获得对应的虫害目标类别信息和具体坐标信息。根据模型输出信息统计图像中的虫害目标数量，如果虫害目标数量为0，则输出“作物处于健康状态”；如果图中虫害目标数量小于5，则输出“作物处于轻度虫害状态”以及虫害目标的坐标信息和类别；否则，输出“作物处于重度虫害状态”以及虫害目标的坐标信息和类别。
基于虫害检测模型和虫害状态评估模块获得完整的虫害监测系统。
Step7、基于虫害监测系统对大棚农作物进行虫害监测。采用搭载工业相机的机械臂AGV小车在大棚内逐行进行图像采集，并将待检测图像输入虫害检测模型中，获得虫害检测结果。再将虫害检测结果输入虫害状态评估模块进行评估，获得当前的虫害状态水平和具体虫害信息。
本发明一种虫害检测方法为一种基于计算机视觉的虫害监测方法，相比当前大棚种植主要依靠人工经验进行农作物的虫害管理，该虫害监测方法则能够依靠工业相机和深度学习算法进行自动化虫害监测，并给出准确实时的监测结果，从而指导作业人员进行更精准化的虫害管理，实现农作物的增产增收。
本发明考虑到在实际应用场景中，虫害目标属于视觉面积占比较小的小目标，可获取的信息较少，采用普通目标检测网络难以取得良好的检测效果。因此，结合农业常识设计了邻域信息融合模块，并基于此提出了虫害检测网络。
本发明虫害检测网络的结构能够在最后的预测阶段引入虫害目标的邻域信息，进一步将虫害监测范围缩小在农作物表面，避免因与虫害具有高度相似性的干扰信息所导致的虫害虚警，从而有效提升网络对虫害目标的检测准确率。
图3为本发明一种虫害检测系统结构示意图，如图3所示，一种虫害检测系统，包括：
数据集构建模块201，用于构建虫害检测数据集；虫害检测数据集包括多张设定蔬菜种类的蔬菜图像和与各蔬菜图像对应的标注文件，标注文件标注的是蔬菜图像中虫害位置和虫害类别。
虫害检测网络构建模块202，用于基于邻域信息融合构建虫害检测网络。
虫害检测网络训练模块203，用于采用虫害检测数据集训练虫害检测网络，获得虫害检测模型。
虫害检测模块204，用于将待检测蔬菜图像输入虫害检测模型，获得待检测蔬菜图像的虫害位置和虫害类别。
虫害检测网络包括候选目标区域提取模块、邻域信息融合模块和后端预测模块；目标区域提取模块用于对输入蔬菜图像进行虫害目标特征提取，对提取的虫害图特征进行特征融合，获得多张尺度不同的融合特征图，并根据各融合特征图获得多个虫害目标区域；邻域信息融合模块用于根据多个虫害目标区域获得多个虫害区域特征图，并获得各虫害区域特征图的邻域信息特征图，将各虫害区域特征图与对应的邻域信息特征图进行特征融合，获得各虫害区域特征图对应的融合式虫害区域特征图；后端预测模块根据各融合式虫害区域特征图确定输入蔬菜图像的虫害位置和虫害类别。
一种虫害检测系统还包括：
虫害数量统计模块，用于根据待检测蔬菜图像的虫害位置统计虫害数量。
虫害状态确定模块，用于根据虫害数量确定待检测蔬菜图像的虫害状态。
邻域信息融合模块包括ROI Align层，ROI Align层用于根据多个虫害目标区域获得多个虫害区域特征图。
邻域信息融合模块用于以第i张虫害区域特征图的中心为中心，在与第i张虫害区域特征图对应的融合特征图中截取设定边长的正方形作为第i张虫害区域特征图的虫害邻域特征图，对第i张虫害区域特征图的虫害邻域特征图进行下采样获得第i张虫害区域特征图的邻域信息特征图。
邻域信息融合模块还用于将第i张虫害区域特征图与对应的邻域信息特征图进行逐像素相乘操作，再将逐像素相乘结果进行卷积核为1*1的卷积操作，获得融合式虫害区域特征图。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种虫害检测方法，其特征在于，包括：
构建虫害检测数据集；所述虫害检测数据集包括多张设定蔬菜种类的蔬菜图像和与各所述蔬菜图像对应的标注文件，所述标注文件标注的是蔬菜图像中虫害位置和虫害类别；
基于邻域信息融合构建虫害检测网络；
采用所述虫害检测数据集训练所述虫害检测网络，获得虫害检测模型；
将待检测蔬菜图像输入所述虫害检测模型，获得所述待检测蔬菜图像的虫害位置和虫害类别；
所述虫害检测网络包括候选目标区域提取模块、邻域信息融合模块和后端预测模块；所述目标区域提取模块用于对输入蔬菜图像进行虫害目标特征提取，对提取的虫害图特征进行特征融合，获得多张尺度不同的融合特征图，并根据各融合特征图获得多个虫害目标区域；所述邻域信息融合模块用于根据多个所述虫害目标区域获得多个虫害区域特征图，并获得各虫害区域特征图的邻域信息特征图，将各虫害区域特征图与对应的邻域信息特征图进行特征融合，获得各虫害区域特征图对应的融合式虫害区域特征图；所述后端预测模块根据各所述融合式虫害区域特征图确定所述输入蔬菜图像的虫害位置和虫害类别；
所述邻域信息融合模块用于以第i张虫害区域特征图的中心为中心，在与第i张虫害区域特征图对应的融合特征图中截取设定边长的正方形作为第i张虫害区域特征图的虫害邻域特征图，对第i张虫害区域特征图的虫害邻域特征图进行下采样获得第i张虫害区域特征图的邻域信息特征图；所述邻域信息融合模块还用于将第i张虫害区域特征图与对应的邻域信息特征图进行逐像素相乘操作，再将逐像素相乘结果进行卷积核为1*1的卷积操作，获得融合式虫害区域特征图。
2.根据权利要求1所述的虫害检测方法，其特征在于，所述方法还包括：
根据所述待检测蔬菜图像的虫害位置统计虫害数量；
根据所述虫害数量确定所述待检测蔬菜图像的虫害状态。
3.根据权利要求1所述的虫害检测方法，其特征在于，所述邻域信息融合模块包括ROIAlign层，所述ROI Align层用于根据多个所述虫害目标区域获得多个虫害区域特征图。
4.根据权利要求1所述的虫害检测方法，其特征在于，所述后端预测模块包括两层全连接层。
5.根据权利要求1所述的虫害检测方法，其特征在于，所述将待检测蔬菜图像输入所述虫害检测模型，获得所述待检测蔬菜图像的虫害位置和虫害类别，具体包括：
采用搭载工业相机的机械臂AGV小车在蔬菜大棚内逐行进行图像采集，实时获得待检测蔬菜图像；
将实时获得的待检测蔬菜图像输入所述虫害检测模型，获得所述待检测蔬菜图像的虫害位置和虫害类别。
6.一种虫害检测系统，其特征在于，包括：
数据集构建模块，用于构建虫害检测数据集；所述虫害检测数据集包括多张设定蔬菜种类的蔬菜图像和与各所述蔬菜图像对应的标注文件，所述标注文件标注的是蔬菜图像中虫害位置和虫害类别；
虫害检测网络构建模块，用于基于邻域信息融合构建虫害检测网络；
虫害检测网络训练模块，用于采用所述虫害检测数据集训练所述虫害检测网络，获得虫害检测模型；
虫害检测模块，用于将待检测蔬菜图像输入所述虫害检测模型，获得所述待检测蔬菜图像的虫害位置和虫害类别；
所述虫害检测网络包括候选目标区域提取模块、邻域信息融合模块和后端预测模块；所述目标区域提取模块用于对输入蔬菜图像进行虫害目标特征提取，对提取的虫害图特征进行特征融合，获得多张尺度不同的融合特征图，并根据各融合特征图获得多个虫害目标区域；所述邻域信息融合模块用于根据多个所述虫害目标区域获得多个虫害区域特征图，并获得各虫害区域特征图的邻域信息特征图，将各虫害区域特征图与对应的邻域信息特征图进行特征融合，获得各虫害区域特征图对应的融合式虫害区域特征图；所述后端预测模块根据各所述融合式虫害区域特征图确定所述输入蔬菜图像的虫害位置和虫害类别；
所述邻域信息融合模块用于以第i张虫害区域特征图的中心为中心，在与第i张虫害区域特征图对应的融合特征图中截取设定边长的正方形作为第i张虫害区域特征图的虫害邻域特征图，对第i张虫害区域特征图的虫害邻域特征图进行下采样获得第i张虫害区域特征图的邻域信息特征图；所述邻域信息融合模块还用于将第i张虫害区域特征图与对应的邻域信息特征图进行逐像素相乘操作，再将逐像素相乘结果进行卷积核为1*1的卷积操作，获得融合式虫害区域特征图。
7.根据权利要求6所述的虫害检测系统，其特征在于，所述系统还包括：
虫害数量统计模块，用于根据所述待检测蔬菜图像的虫害位置统计虫害数量；
虫害状态确定模块，用于根据所述虫害数量确定所述待检测蔬菜图像的虫害状态。
8.根据权利要求6所述的虫害检测系统，其特征在于，所述邻域信息融合模块包括ROIAlign层，所述ROI Align层用于根据多个所述虫害目标区域获得多个虫害区域特征图。
CN202210173807.XA 2022-02-25 2022-02-25 一种虫害检测方法及系统 Active CN114239756B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210173807.XA CN114239756B (zh) 2022-02-25 2022-02-25 一种虫害检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210173807.XA CN114239756B (zh) 2022-02-25 2022-02-25 一种虫害检测方法及系统

Publications (2)

Publication Number Publication Date
CN114239756A CN114239756A (zh) 2022-03-25
CN114239756B true CN114239756B (zh) 2022-05-17

Family

ID=80748101

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210173807.XA Active CN114239756B (zh) 2022-02-25 2022-02-25 一种虫害检测方法及系统

Country Status (1)

Country Link
CN (1) CN114239756B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114550104B (zh) * 2022-04-22 2022-08-05 科大天工智能装备技术（天津）有限公司 一种火情监测方法及系统
CN115082743B (zh) * 2022-08-16 2022-12-06 之江实验室 考虑肿瘤微环境的全视野数字病理图像分类系统及构建方法
CN115686110A (zh) * 2023-01-07 2023-02-03 广州市农业科学研究院 温室大棚智能控制方法、系统、监控装置、设备及介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106295564A (zh) * 2016-08-11 2017-01-04 南京理工大学 一种邻域高斯结构和视频特征融合的动作识别方法
CN110096961A (zh) * 2019-04-04 2019-08-06 北京工业大学 一种超像素级别的室内场景语义标注方法
CN111369540A (zh) * 2020-03-06 2020-07-03 西安电子科技大学 基于掩码卷积神经网络的植物叶片病害识别方法
CN111611889A (zh) * 2020-05-12 2020-09-01 安徽大学 基于改进卷积神经网络的农田微型虫害识别装置
CN112116563A (zh) * 2020-08-28 2020-12-22 南京理工大学 一种基于谱维与空间协作邻域注意力的高光谱图像目标检测方法与系统
CN112307958A (zh) * 2020-10-30 2021-02-02 河北工业大学 基于时空外观运动注意力网络的微表情识别方法
CN112598031A (zh) * 2020-12-08 2021-04-02 北京农业信息技术研究中心 一种蔬菜病害检测方法及系统
CN112733614A (zh) * 2020-12-22 2021-04-30 中国科学院合肥物质科学研究院 一种带有相似尺寸强化识别的害虫图像检测方法
CN113052168A (zh) * 2021-03-12 2021-06-29 西安航天自动化股份有限公司 基于多源特征融合的农作物病虫害图像识别方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109191455A (zh) * 2018-09-18 2019-01-11 西京学院 一种基于ssd卷积网络的大田作物病虫害检测方法
CN112841154A (zh) * 2020-12-29 2021-05-28 长沙湘丰智能装备股份有限公司 一种基于人工智能的病虫害防治系统
CN113327218B (zh) * 2021-06-10 2023-08-25 东华大学 一种基于级联网络的高光谱与全色图像融合方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106295564A (zh) * 2016-08-11 2017-01-04 南京理工大学 一种邻域高斯结构和视频特征融合的动作识别方法
CN110096961A (zh) * 2019-04-04 2019-08-06 北京工业大学 一种超像素级别的室内场景语义标注方法
CN111369540A (zh) * 2020-03-06 2020-07-03 西安电子科技大学 基于掩码卷积神经网络的植物叶片病害识别方法
CN111611889A (zh) * 2020-05-12 2020-09-01 安徽大学 基于改进卷积神经网络的农田微型虫害识别装置
CN112116563A (zh) * 2020-08-28 2020-12-22 南京理工大学 一种基于谱维与空间协作邻域注意力的高光谱图像目标检测方法与系统
CN112307958A (zh) * 2020-10-30 2021-02-02 河北工业大学 基于时空外观运动注意力网络的微表情识别方法
CN112598031A (zh) * 2020-12-08 2021-04-02 北京农业信息技术研究中心 一种蔬菜病害检测方法及系统
CN112733614A (zh) * 2020-12-22 2021-04-30 中国科学院合肥物质科学研究院 一种带有相似尺寸强化识别的害虫图像检测方法
CN113052168A (zh) * 2021-03-12 2021-06-29 西安航天自动化股份有限公司 基于多源特征融合的农作物病虫害图像识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
object Detection Based on DenseNet RPN;Jing Li 等;《Proceedings of the 38th Chinese Control Conference》;20190730;第8410-8416页 *
实例分割和边缘优化算法的研究与实现;梁正兴 等;《图学学报》;20201231;第939-946页 *

Also Published As

Publication number Publication date
CN114239756A (zh) 2022-03-25

Similar Documents

Publication Publication Date Title
CN114239756B (zh) 一种虫害检测方法及系统
Zhao et al. Rapeseed seedling stand counting and seeding performance evaluation at two early growth stages based on unmanned aerial vehicle imagery
CN109886155B (zh) 基于深度学习的单株水稻检测定位方法、系统、设备及介质
CN111126287B (zh) 一种遥感影像密集目标深度学习检测方法
CN110765916B (zh) 一种基于语义和实例分割的农田苗垄识别方法及系统
CN111727457B (zh) 一种基于计算机视觉的棉花作物行检测方法、装置及存储介质
de Silva et al. Towards agricultural autonomy: crop row detection under varying field conditions using deep learning
CN116091951A (zh) 一种农田与机耕道边界线提取方法及系统
Liu et al. Estimating maize seedling number with UAV RGB images and advanced image processing methods
CN114724031A (zh) 结合上下文感知和多尺度混合注意力的玉米虫害区域检测方法
CN114092822B (zh) 图像处理方法、移动控制方法以及移动控制系统
Ospina et al. Simultaneous mapping and crop row detection by fusing data from wide angle and telephoto images
CN114332849B (zh) 一种农作物生长状态联合监测方法、装置及存储介质
CN112304902A (zh) 一种农作物物候的实时监测方法和装置
CN115497067A (zh) 一种苗圃巡检智能车的路径识别与规划方法
CN115687850A (zh) 一种农田的灌溉需水量计算方法及装置
CN113807309B (zh) 一种基于深度学习的果园机械行走路线规划方法
CN111523457B (zh) 一种杂草识别方法及杂草处理设备
Potena et al. Suckers emission detection and volume estimation for the precision farming of hazelnut orchards
CN116739739A (zh) 一种贷款额度评估方法、装置、电子设备及存储介质
CN117036926A (zh) 一种融合深度学习与图像处理的杂草识别方法
CN115451965A (zh) 基于双目视觉的插秧机插植系统相对航向信息检测方法
CN116052141B (zh) 作物生育期的识别方法、装置、设备及介质
CN116453003B (zh) 一种基于无人机监测智能识别水稻生长势的方法和系统
Bates et al. Automating measurements of canopy and fruit to map crop load in commercial vineyards

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant