CN115100517B - 田间昆虫识别方法及装置 - Google Patents

田间昆虫识别方法及装置 Download PDF

Info

Publication number
CN115100517B
CN115100517B CN202210646228.2A CN202210646228A CN115100517B CN 115100517 B CN115100517 B CN 115100517B CN 202210646228 A CN202210646228 A CN 202210646228A CN 115100517 B CN115100517 B CN 115100517B
Authority
CN
China
Prior art keywords
module
residual
output
sub
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210646228.2A
Other languages
English (en)
Other versions
CN115100517A (zh
Inventor
李文勇
郑腾飞
吕佳威
孙传恒
杨信廷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Research Center of Information Technology of Beijing Academy of Agriculture and Forestry Sciences
Original Assignee
Research Center of Information Technology of Beijing Academy of Agriculture and Forestry Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Research Center of Information Technology of Beijing Academy of Agriculture and Forestry Sciences filed Critical Research Center of Information Technology of Beijing Academy of Agriculture and Forestry Sciences
Priority to CN202210646228.2A priority Critical patent/CN115100517B/zh
Publication of CN115100517A publication Critical patent/CN115100517A/zh
Application granted granted Critical
Publication of CN115100517B publication Critical patent/CN115100517B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Catching Or Destruction (AREA)

Abstract

本发明提供一种田间昆虫识别方法及装置，该方法包括：获取目标图像；将目标图像输入昆虫识别模型，获取昆虫识别模型输出的目标图像的昆虫识别结果；其中，目标图像中包括田间昆虫；昆虫识别模型是以样本图像为样本，以样本图像的昆虫识别结果为样本标签进行训练后得到的；样本图像中包括田间昆虫；昆虫识别模型是基于融合通道信息和位置信息的双注意力机制以及MobileNet网络构建的。本发明提供的田间昆虫识别方法及装置，能通过在轻量级的MobileNet网络中引入双注意力机制，实现在降低模型复杂度、参数量和推理时长的同时，保持较高的田间昆虫识别准确率，实现昆虫识别模型在移动设备中的部署和应用。

Description

田间昆虫识别方法及装置
技术领域
本发明涉及农业害虫防治技术领域，尤其涉及一种田间昆虫识别方法及装置。
背景技术
虫害是农业生产和林业发展中的常见问题，虫害发生严重时，会导致农作物大面积的绝收或损失。因此，虫情监测对农林业的生产发展有着重要意义，而田间昆虫的识别是虫害防治的前提。
近年来，随着机器视觉技术和人工智能技术的发展，使得利用机器视觉技术和人工智能算法实现田间昆虫的自动识别成为可能。
现有技术中利用机器视觉技术和人工智能算法对田间昆虫进行识别时，为了追求较高的识别精度，构建的昆虫识别模型复杂度高、参数计算量大，对硬件算力和存储空间的要求较高，导致上述昆虫识别模型难以部署和应用于移动设备(例如：嵌入式终端、手机以及便携式电脑等)。通过降低上述昆虫识别模型的复杂度，虽然可以实现将上述昆虫识别模型在移动设备中的部署和应用，但随着上述昆虫识别模型的复杂度的降低，基于上述昆虫识别模型进行田间昆虫识别的准确率随之降低。因此，如何利用移动设备实现更准确的田间昆虫识别，是本领域亟待解决的技术问题。
发明内容
本发明提供一种田间昆虫识别方法及装置，用以解决现有技术中难以利用移动设备实现更准确的田间昆虫识别的缺陷，实现利用移动设备实现更准确的田间昆虫识别。
本发明提供一种田间昆虫识别方法，包括：
获取目标图像；
将所述目标图像输入昆虫识别模型，获取所述昆虫识别模型输出的所述目标图像的昆虫识别结果；
其中，所述目标图像中包括田间昆虫；所述昆虫识别模型是以样本图像为样本，以所述样本图像的昆虫识别结果为样本标签进行训练后得到的；所述样本图像中包括田间昆虫；所述昆虫识别模型是基于融合通道信息和位置信息的双注意力机制以及MobileNet网络构建的。
根据本发明提供的一种田间昆虫识别方法，所述昆虫识别模型，包括：依次串行连接的卷积模块、倒残差模块、平均池化模块和分类模块；所述倒残差模块是基于所述双注意力机制构建的；
所述卷积模块的输入为所述目标图像；
所述倒残差模块的输入为所述卷积模块的输出；
所述平均池化模块的输入为所述倒残差模块的输出；
所述分类模块的输入为所述平均池化模块的输出。
根据本发明提供的一种田间昆虫识别方法，所述倒残差模块，包括：串行连接的N个第一倒残差子模块；N为大于1的正整数；任一第一倒残差子模块的输入为所述卷积模块的输出，或者为所述任一第一倒残差子模块的上一个第一倒残差子模块的输出；
所述第一倒残差子模块，包括：第一倒残差单元、第二倒残差单元、第一池化单元和特征融合单元；所述第一倒残差单元和所述第二倒残差单元是基于所述双注意力机制构建的；
所述第一倒残差单元的输入为所述卷积模块的输出，或者为与所述第一倒残差单元串行连接的上一个第一倒残差子模块的输出；
所述第二倒残差单元的输入和所述第一池化单元的输入，均为所述第一倒残差单元的输出；
所述特征融合单元的输入，为所述第一池化单元的输出和所述第二倒残差单元的输出；
所述特征融合单元的输出为所述第一倒残差子模块的输出。
根据本发明提供的一种田间昆虫识别方法，所述倒残差模块，还包括：M个第二倒残差子模块；N个第一倒残差子模块306和M个第二倒残差子模块按照预设顺序依次串行连接的；M为大于0的正整数；
任一第一倒残差子模块的输入为所述卷积模块的输出，或者为所述任一第一倒残差子模块的上一个第一倒残差子模块的输出，或者为所述任一第一倒残差子模块的上一个第二倒残差子模块的输出；任一第二倒残差子模块的输入，为所述卷积模块的输出，或者为所述任一第二倒残差子模块的上一个第一倒残差子模块的输出，或者为所述任一第一倒残差单元的上一个第二倒残差子模块的输出；
所述第二倒残差子模块，包括：所述第一倒残差单元。
根据本发明提供的一种田间昆虫识别方法，所述第一倒残差单元，包括：第一卷积子单元和第一注意力机制子单元；
所述第一卷积子单元，包括：依次串行连接的第一卷积层、第二卷积层、第三卷积层和第一特征融合层；
所述第一注意力机制子单元，包括：第一注意力机制层和第二特征融合层；
所述第一卷积层的输入为所述卷积模块的输出，或者为与所述第一卷积层串行连接的上一个第一倒残差子模块的输出，或者为与所述第一卷积层串行连接的上一个第二倒残差子模块的输出；
所述第二卷积层的输入为所述第一卷积层的输出；
所述第一注意力机制层的输入为所述第二卷积层的输出；所述第一注意力机制层用于对所述第二卷积层的输出进行双注意力机制处理；
所述第二特征融合层的输入，为所述第一注意力机制层的输出和所述第二卷积层的输出；
所述第三卷积层的输入为所述第二特征融合层的输出；
所述第一特征融合层的输入，为所述第一卷积层的输入和所述第三卷积层的输出，所述第一特征融合层的输出为所述第一倒残差单元的输出。
根据本发明提供的一种田间昆虫识别方法，所述第二倒残差单元，包括：第二卷积子单元和第二注意力机制子单元；
所述第二卷积子单元，包括：依次串行连接的第四卷积层、第五卷积层和第六卷积层；
所述第二注意力机制子单元，包括：第二注意力机制层和第三特征融合层；
所述第四卷积层的输入为与所述第四卷积层串行连接的上一个第一倒残差单元的输出；
所述第五卷积层的输入为所述第四卷积层的输出；
所述第二注意力机制层的输入为所述第五卷积层的输出；所述第二注意力机制层用于对所述第五卷积层的输出进行双注意力机制处理；
所述第三特征融合层的输入为所述第二注意力机制层的输出和所述第五卷积层的输出；
所述第六卷积层的输入为所述第三特征融合层的输出，所述第六卷积层的输出为所述倒残差模块的输出。
根据本发明提供的一种田间昆虫识别方法，所述昆虫识别模型中的激活函数为FReLU激活函数。
根据本发明提供的一种田间昆虫识别方法，所述平均池化模块，包括：串行连接的X个卷积单元和Y个池化单元；任意两个卷积单元不相邻；任意两个池化单元不相邻；X和Y均为大于0的正整数。
本发明还提供一种田间昆虫识别装置，包括：
图像获取模块，用于获取目标图像；
昆虫识别模块，用于将所述目标图像输入昆虫识别模型，获取所述昆虫识别模型输出的所述目标图像的昆虫识别结果；
其中，所述目标图像中包括田间昆虫；所述昆虫识别模型是以样本图像为样本，以所述样本图像的昆虫识别结果为样本标签进行训练后得到的；所述样本图像中包括田间昆虫；所述昆虫识别模型是基于融合通道信息和位置信息的双注意力机制以及MobileNet网络构建的。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述田间昆虫识别方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述田间昆虫识别方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述田间昆虫识别方法。
本发明提供的田间昆虫识别方法及装置，通过将包括田间昆虫的目标图像输入昆虫识别模型，获取昆虫识别模型输出的目标图像的昆虫识别结果，昆虫识别模型是以样本图像为样本，以样本图像的昆虫识别结果为样本标签进行训练后得到的，样本图像中包括田间昆虫，昆虫识别模型是基于融合通道信息和位置信息的双注意力机制以及MobileNet网络构建的，能通过在轻量级的MobileNet网络中引入双注意力机制，实现昆虫识别模型在移动设备中的部署和应用，进而能在实现在降低模型复杂度、参数量和推理时长的同时，保持较高的田间昆虫识别准确率，能更好的满足实际生产中进行现场的田间昆虫识别的需求。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的田间昆虫识别方法的流程示意图；
图2是本发明提供的田间昆虫识别方法中昆虫识别模型训练过程的流程示意图；
图3是本发明提供的田间昆虫识别方法中昆虫识别模型的结构示意图；
图4是本发明提供的田间昆虫识别方法中第二倒残差单元进行特征融合的流程示意图；
图5是本发明提供的田间昆虫识别方法中昆虫识别模型中的第一卷积子单元的结构示意图；
图6是本发明提供的田间昆虫识别方法中昆虫识别模型中的第一倒残差单元的结构示意图；
图7是本发明提供的田间昆虫识别方法中昆虫识别模型中的第一注意力机制层进行双注意力机制处理的流程示意图；
图8是本发明提供的田间昆虫识别方法中昆虫识别模型中的第二卷积子单元的结构示意图；
图9是本发明提供的田间昆虫识别方法中昆虫识别模型中的第二倒残差单元的结构示意图；
图10是本发明提供的田间昆虫识别装置的结构示意图；
图11是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
需要说明的是，虫害对农林业生产具有极其严重的影响，发生严重时会导致大面积的绝收和损失。因此，虫害监测预警工作显得尤为重要，而田间昆虫的识别是进行这虫害监测预警工作的前提。传统的田间昆虫识别依赖于植保专家的现场鉴识，存在工作强度大、主观低效等问题。
近年来，机器视觉技术因其具有模拟人眼及广泛的应用性，并结合特定的人工智能算法，使得利用机器视觉技术和人工智能算法实现田间昆虫的自动识别成为可能。
传统的田间昆虫识别方法中，可以基于大量的历史病虫害图像，按照农作物类别同时训练多种残差网络模型，每一种农作物对应一种残差网络模型；或者，还可以利用农业害虫识别算法，同时解决害虫识别的背景复杂多变、害虫间相似度过高、数据分布不平衡带来的问题。
但是，上述基于机器学习的传统的田间昆虫识别方法，虽然实现了田间昆虫的自动识别，并取得了不错的性能，但是上述传统的田间昆虫识别方法为了追求较高的识别精度，构建的昆虫识别模型的复杂度高、计算参数量大，对硬件算力和存储空间的要求较高，需要很高的硬件算力和存储要求，导致上述昆虫识别模型难以部署和应用于移动设备。
并且，田间昆虫识别面临诸多挑战，例如：光照不均、复杂的背景(各种作物叶片、枝条以及土壤等)的干扰、害虫种间特征相似及害虫与周围环境特征相似、害虫大小尺度不一。低复杂度的昆虫识别模型面对这些挑战时，存在图像定位不准确、特征提取不充分等问题。例如：基于轻量级的网络架构构建昆虫识别模型，在光照不均、背景复杂、害虫种类相似及尺度相差大等情况下，进行田间昆虫识别的识别准确率不高；其中，轻量级的网络架构包括但不限于MobileNet网络架构以及ShuffleNet网络架构。
因此，通过降低传统的昆虫识别模型的复杂度，虽然可以实现将上述昆虫识别模型在移动设备中的部署和应用，但随着上述昆虫识别模型的复杂度的降低，基于上述昆虫识别模型进行田间昆虫识别的准确率随之降低。
对此，本发明提供一种田间昆虫识别方法及装置。本发明提供的田间昆虫识别方法，针对田间自然场景中背景复杂、昆虫在颜色纹理上与背景相似、昆虫受生长时期以及拍摄角度等影响形态差异较大等问题，通过对轻量级的网络架构进行改进，可以实现昆虫识别模型在移动设备中的部署和应用，进而可以在提高自然场景中的田间昆虫识别准确率的同时降低昆虫识别模型的复杂度、参数量和计算时长，可以更好的满足实际生产中进行现场的田间昆虫识别的需求。
图1是本发明提供的田间昆虫识别方法的流程示意图。下面结合图1描述本发明的田间昆虫识别方法。如图1所示，该方法包括：步骤101、获取目标图像；其中，目标图像中包括田间昆虫。
需要说明的是，本发明实施例的执行主体为田间昆虫识别装置。
具体地，技术人员可以利用具有图像采集功能的移动终端，采集包括田间昆虫的原始图像，上述移动终端可以将采集到的原始图像发送至田间昆虫识别装置；或者，田间昆虫识别装置可以控制预先布设于田间的具有图像采集功能的终端，采集包括田间昆虫的原始图像，上述终端可以将采集到的原始图像发送至田间昆虫识别装置。
田间昆虫识别装置接收到上述移动终端或预先布设于田间的电子设备发送的原始图像之后，可以直接将上述原始图像作为目标图像，还可以对上述原始图像进行图像预处理之后，将图像预处理之后的原始图像作为目标图像。
可选地，对上述原始图像进行的图像预处理，可以包括但不限于将上述原始图像的尺寸调整为预设尺寸、剔除过明、过暗的图像以及图像增强等。
需要说明的是，本发明实施例中终端可以是具有通信功能和图像采集功能的终端，例如：网络摄像头等；本发明实施例中的移动终端，可以是具有通信功能和图像采集功能，且可以在移动中使用的终端，例如：智能手机等。
步骤102、将目标图像输入昆虫识别模型，获取昆虫识别模型输出的目标图像的昆虫识别结果。
其中，昆虫识别模型是以样本图像为样本，以样本图像的昆虫识别结果为样本标签进行训练后得到的；样本图像中包括田间昆虫；昆虫识别模型是基于融合通道信息和位置信息的双注意力机制以及MobileNet网络构建的。
具体地，获取目标图像之后，可以将目标图像输入训练好的昆虫识别模型。
上述训练好的昆虫识别模型可以对目标图像中的田间昆虫进行图像识别，获取目标图像中田间昆虫的数量、田间昆虫的类型以及田间昆虫的位置信息中的至少一种，作为目标图像的昆虫识别结果输出。
可选地，上述训练好的昆虫识别模型可以在目标图像中标注田间昆虫的位置和/或类型，并将标注后的目标图像作为目标图像的昆虫识别结果输出；上述训练好的昆虫识别模型，还可以输出目标图像中田间昆虫的位置坐标作为目标图像的昆虫识别结果。本发明实施例中的目标图像的昆虫识别结果的具体数据类型不作限定。
图2是本发明提供的田间昆虫识别方法中昆虫识别模型训练过程的流程示意图。如图2所示，昆虫识别模型的训练过程可以具体包括：步骤21、采集原始样本图像。
利用具有图像采集功能的移动终端，技术人员可以采集包括田间昆虫的原始样本图像；或者，利用预先布设于田间的具有图像采集功能的终端，可以采集包括田间昆虫的原始样本图像。
需要说明的是，采集到的原始样本图像中，对于任意一种田间昆虫，包括该种田间昆虫的原始样本图像的数量在50至100张之间。
步骤22、制作训练数据集和验证数据集。
基于原始样本图像构建训练数据集和验证数据集，并分别对训练数据集中的原始样本图像和验证数据集中的原始样本图像进行图像预处理，获得包括样本图像的训练数据集和包括验证图像的验证数据集。
利用上述移动终端或终端获取原始样本图像之后，可以基于预设比例对上述原始样本图像分为训练数据集和验证数据集。
可选地，上述预设比例可以为7:3，即训练数据集中原始样本图像的数量与验证数据集中原始样本图像的数量的比例为7:3。
获取训练数据集之后，可以对训练数据集中的原始样本图像进行图像预处理，并可以将训练数据集中经过图像预处理的原始样本图像，作为样本图像。
对训练数据集中的原始样本图像进行图像预处理的具体过程包括：将上述原始样本图像的尺寸统一调整为预设尺寸，以适应昆虫识别模型的输入尺寸；为了缓解光照变化带来的影响，对上述原始样本图像使用Gamma变换进行图像预处理；通过旋转、翻转和平移等操作，对上述原始样本图像进行增强，从而可以使得上述原始样本图像的数量增加至之前6倍。
获取验证数据集之后，可以对验证数据集中的原始样本图像进行图像预处理，并可以将验证数据集中经过图像预处理的原始样本图像，作为验证图像。
对验证数据集中的原始样本图像进行图像预处理的具体过程包括：将上述原始样本图像的尺寸统一调整为预设尺寸，以适应昆虫识别模型的输入尺寸；为了缓解光照变化带来的影响，对上述原始样本图像使用Gamma变换进行图像预处理。
可选地，上述预设尺寸可以为224×224×3。
步骤23、制作样本标签及验证标签。
通过对训练数据集中的样本图像进行标注，可以将标注后的样本图像作为样本图像的昆虫识别结果，进而可以将样本图像的昆虫识别结果作为样本标签。
对训练数据集中的样本图像进行标注时，可以对样本图像中田间昆虫的类型进行标注；对训练数据集中的样本图像进行标注时，还可以对样本图像中田间昆虫的位置和/或数量进行标注。
通过对验证数据集中的验证图像进行标注，可以将标注后的验证图像作为验证图像的昆虫识别结果，进而可以将验证图像的昆虫识别结果作为验证标签。
对验证数据集中的样本图像进行标注时，可以对验证图像中田间昆虫的类型进行标注；对验证数据集中的验证图像进行标注时，还可以对验证图像中田间昆虫的位置和/或数量进行标注。
需要说明的是，对样本图像和对验证图像进行标注的标注类型相同。
步骤24、构建昆虫识别模型，设置初始模型参数。
可以基于融合通道信息和位置信息的双注意力机制以及MobileNet网络，构建昆虫识别模型，并可以使用算法优化损失函数。
需要说明的是，MobileNet网络是专注于移动端或者嵌入式设备中的轻量级CNN网络。相较于传统的卷积神经网络，MobileNet网络在准确率小幅降低的前提下大大减少模型参数与运算量(相比于VGG16准确率减少0.9％，但模型参数只有VGG的1/32)。
基于MobileNet网络的上述优点，结合复杂田间环境和移动端的昆虫识别问题，本发明实施例中基于MobileNet网络构建昆虫识别模型，并通过引入融合通道信息和位置信息的双注意力机制，可以增强图像中田间昆虫的位置以及特征的表征，压缩冗余的背景信息，从而可以提升昆虫识别模型的识别精度。
步骤25、模型训练。
以训练数据集中的样本图像为样本，以样本图像的昆虫识别结果为样本标签对昆虫识别模型进行训练，获得训练好的昆虫识别模型；
步骤26、终端部署模型进行模型验证。
获得训练好的昆虫识别模型之后，可以将上述训练好的昆虫识别模型部署于终端，并可以基于验证数据集中的验证图像以及验证图像的昆虫识别结果，对上述训练好的昆虫识别模型进行验证。
步骤27、模型应用。
在上述训练好的昆虫识别模型通过验证的情况下，可以应用上述训练好的昆虫识别模型进行田间昆虫的识别。
需要说明的是，本发明实施例中在64位windows10操作系统平台上，使用python语言构建昆虫图像识别模型，使用一块NVIDIA GTX 2080ti GPU完成模型的训练。单个GPU上的batch为32，224*224像素图片，最小批处理数为1，模型初始学习率均设置为0.01，训练轮数为200个batch。加速环境为CUDA10.2和CUDNN7.6.5，开发环境为Visual Studio 2019，使用了Opencv3.4.0库。
本发明实施例通过将包括田间昆虫的目标图像输入昆虫识别模型，获取昆虫识别模型输出的目标图像的昆虫识别结果，昆虫识别模型是以样本图像为样本，以样本图像的昆虫识别结果为样本标签进行训练后得到的，样本图像中包括田间昆虫，昆虫识别模型是基于融合通道信息和位置信息的双注意力机制以及MobileNet网络构建的，能通过在轻量级的MobileNet网络引入双注意力机制，实现昆虫识别模型在移动设备中的部署和应用，进而能在实现在降低模型复杂度、参数量和推理时长的同时，保持较高的田间昆虫识别准确率，能更好的满足实际生产中进行现场的田间昆虫识别的需求。
图3是本发明提供的田间昆虫识别方法中昆虫识别模型的结构示意图。如图3所示，昆虫识别模型301，包括：依次串行连接卷积模块302、倒残差模块303、平均池化模块304和分类模块305；倒残差模块303是基于双注意力机制构建的；
卷积模块302的输入为目标图像；倒残差模块303的输入为卷积模块302的输出；平均池化模块304的输入为倒残差模块303的输出；分类模块305的输入为平均池化模块304的输出。
具体地，目标图像输入卷积模块302之后，卷积模块302可以对目标图像进行卷积计算、BN批量归一化和激活函数计算，从而可以实现对目标图像的特征提取，获取第一特征图，并将上述第一特征图输入至倒残差模块303。
可选地，可以根据实际情况确定卷积模块302对目标图像进行卷积计算的卷积核大小。例如：卷积模块302对目标图像进行卷积计算的卷积核大小可以为3×3。本发明实施例中对卷积模块302对目标图像进行卷积计算的卷积核大小不作具体限定。
可选地，卷积模块302中的激活函数可以为ReLU激活函数或FReLU激活函数。本发明实施例中卷积模块302中的激活函数不作具体限定。
上述第一特征图输入倒残差模块303之后，基于上述双注意力机制构建的倒残差模块303可以准确定位第一特征图中的田间昆虫，并可以降低图像背景对田间昆虫进行定位的影响，从而可以获取第二特征图，并可以将上述第二特征图输入至平均池化模块304。
上述第二特征图输入平均池化模块304之后，平均池化模块304可以降低上述第二特征图的空间大小，并增加模型的感受野，进而可以获取第三特征图，并可以将上述第三特征图输入至分类模块305。
上述第三特征图输入分类模块305之后，分类模块305可以通过全连接层和softmax函数，对上述第三特征图中的田间昆虫进行分类，进而可以获得并输入目标图像的昆虫识别结果。
需要说明的是，本发明实施例中目标图像的昆虫识别结果，可以包括目标图像中田间昆虫的类型。
需要说明的是，图3中的k表示卷积核大小或池化核大小，例如：k＝3表示卷积核大小为3×3，或者表示池化核大小为3×3；s表示卷积步长或者池化步长，例如：s＝2表示卷积步长为2，或者表示池化步长为2。
基于上述各实施例的内容，平均池化模块304，包括：串行连接的X个卷积单元316和Y个池化单元317；任意两个卷积单元316不相邻，任意两个池化单元317不相邻；X和Y均为大于0的正整数。
具体地，可以根据实际情况确定X和Y的具体取值。本发明实施例中以X和Y的取值均为2为例，说明本发明实施例中的平均池化模块304。
倒残差模块303输出第二特征图输入平均池化模块304中的第一个卷积单元316。上述第一个卷积单元316对第二特征图进行卷积计算之后，将卷积计算结果输入至第一个池化单元317。上述第一个池化单元317对上述第一个卷积单元316的输出进行池化计算之后，将池化计算结果输入至第二个卷积单元316。以此类推，第二个池化单元317可以输出第三特征图，并可以将上述第三特征图输入至分类模块305。
需要说明的是，卷积单元316的卷积核大小和卷积步长，以及池化单元317的池化核大小和池化步长可以根据实际情况确定。本发明实施例中对卷积单元316的卷积核大小和卷积步长，以及池化单元317的池化核大小和池化步长不作具体限定。
可选地，卷积单元316的卷积核大小可以为3×3，卷积步长可以为1；池化单元317的池化核大小可以为2×2，池化步长可以为2。
本发明实施例通过将目标图像输入将目标图像输入昆虫识别模型中的卷积模块，卷积模块输出的第一特征图输入至倒残差模块，倒残差模块输出第二特征图输入至平均池化模块，平均池化模块输出的第三特征图输入至分类模块，进而获取分类模块输出的目标图像的昆虫识别结果，能基于昆虫识别模型中的倒残差模块，同时对目标图像中田间昆虫的位置和特征进行表征，从而能在提高自然场景中的田间昆虫识别准确率的同时，降低昆虫识别模型的复杂度、参数量和计算时长。
基于上述各实施例的内容，倒残差模块303，包括：串行连接的N个第一倒残差子模块306；N为大于1的正整数；任一第一倒残差子模块306的输入为卷积模块302的输出，或者，为任一第一倒残差子模块306的上一个第一倒残差子模块306的输出；
第一倒残差子模块306，包括：第一倒残差单元307、第二倒残差单元308、第一池化单元309和特征融合单元310；
第一倒残差单元307和第二倒残差单元308是基于双注意力机制构建的；
第一倒残差单元307的输入为卷积模块302的输出，或者为与第一倒残差单元307串行连接的上一个第一倒残差子模块306的输出；
第二倒残差单元308的输入和第一池化单元309的输入，均为第一倒残差单元307的输出；
特征融合单元310的输入，为第一池化单元309的输出和第二倒残差单元308的输出；
特征融合单元310的输出为第一倒残差子模块306的输出。
具体地，可以根据实际情况确定N的具体取值。以下以N取3，为例，说明本发明实施例中倒残差模块303。
在第一倒残差子模块306为倒残差模块303中串行连接的各子模块中的第一个子模块的情况下，卷积模块302输出的第一特征图可以输入至上述第一倒残差子模块306中的第一倒残差单元307。基于上述双注意力机制构建的第一倒残差单元307可以准确定位第一特征图中的田间昆虫，并可以降低图像背景对田间昆虫进行定位的影响，从而可以获取第一子特征图，并可以将上述第一子特征图，分别输入至上述第一倒残差子模块306中的第二倒残差单元308和第一池化单元309。
需要说明的是，本发明实施例中第一倒残差单元307和第二倒残差单元308的卷积步长不同。第一倒残差单元307的卷积步长小于第二倒残差单元308的卷积步长。
优选地，第一倒残差单元307的卷积步长为1，第二倒残差单元308的卷积步长为2。
上述第一子特征图输入上述第二倒残差单元308之后，基于上述双注意力机制构建的第二倒残差单元308可以准确定位第一子特征图中的田间昆虫，并可以降低图像背景对田间昆虫进行定位的影响，从而可以获取第二子特征图，并可以将上述第二子特征图输入至上述特征融合单元310。
上述第一子特征图输入上述第一池化单元309之后，上述第一池化单元309可以对上述第一子特征图进行平均池化，从而可以获取第三子特征图，并可以将上述第三子特征图输入至上述特征融合单元310。
需要说明的是，第一池化单元309对输入的特征图进行池化的池化核大小和池化步长可以根据实际情况确定。本发明实施例中第一池化单元309对输入的特征图进行池化的池化核大小可以为2×2，池化步长可以为2。
图4是本发明提供的田间昆虫识别方法中第二倒残差单元进行特征融合的流程示意图。如图4所示，上述第二子特征图和上述第三子特征图输入上述特征融合单元310之后，上述特征融合单元310合并上述第二子特征图和上述第三子特征图，从而实现上述第二子特征图和上述第三子特征图的特征融合，弥补上述第一倒残差单元307和上述第二倒残差单元308进行下采样带来的特征损失。
上述特征融合单元310合并上述第二子特征图和上述第三子特征图之后，获得第四子特征图，并将上述第四子特征图输入至与上述第二倒残差单元308串行连接的下一个第一倒残差子模块306。
在第一倒残差子模块306不为倒残差模块303中串行连接的各子模块中的第一个子模块的情况下，上述第一倒残差子模块306的输入为上一个第一倒残差子模块306的输出。上述第一倒残差子模块306对输入的特征图的处理过程，与第一倒残差子模块306为倒残差模块303中串行连接的各子模块中的第一个子模块时的相同，此处不再赘述。
在第一倒残差子模块306为倒残差模块303中串行连接的各子模块中的最后一个子模块的情况下，第一倒残差子模块306的输出即为上述第二特征图。
本发明实施例基于倒残差模块中串行连接多个第一倒残差子模块，能增强昆虫识别模型的非线性表征能力，能基于每一第一倒残差子模块中基于上述双注意力机制构建的第一倒残差单元和第二倒残差单元，更准确的定位目标图像中田间昆虫以及降低图像背景的影响，能基于每一第一倒残差子模块中的特征融合单元，实现浅层特征与深层特征的融合，增强昆虫识别模型的特征表征与挖掘，提高小体积田间昆虫的特征表征能力。
基于上述各实施例的内容，倒残差模块303，还包括：M个第二倒残差子模块314；N个第一倒残差子模块306和M个第二倒残差子模块314按照预设顺序依次串行连接的；M为大于0的正整数；
任一第一倒残差子模块306的输入为卷积模块302的输出，或者为任一第一倒残差子模块306的上一个第一倒残差子模块306的输出，或者为任一第一倒残差子模块306的上一个第二倒残差子模块314的输出；
任一第二倒残差子模块314的输入，为卷积模块302的输出，或者为任一第二倒残差子模块314的上一个第一倒残差子模块306的输出，或者为任一第一倒残差单元307的上一个第二倒残差子模块314的输出；
第二倒残差子模块314，包括：第一倒残差单元307。
具体地，可以根据实际情况确定上述预设顺序以及N和M的具体取值。
在第二倒残差子模块314为倒残差模块303中串行连接的各子模块中的第一个子模块的情况下，卷积模块302输出的第一特征图可以输入至上述第二倒残差子模块314中的第一倒残差单元307。基于上述双注意力机制构建的第一倒残差单元307可以准确定位第一特征图中的田间昆虫，并可以降低图像背景对田间昆虫进行定位的影响，从而可以获取第一子特征图，并可以将上述第一子特征图，分别输入至上述第一倒残差子模块306中的第二倒残差单元308和第一池化单元309。
在第二倒残差子模块314不为倒残差模块303中串行连接的各子模块中的第一个子模块的情况下，第二倒残差子模块314的输入为串行连接的上一个子模块的输出。第二倒残差子模块314对输入的特征图的处理过程，与第一倒残差子模块306为倒残差模块303中串行连接的各子模块中的第一个子模块时的相同，此处不再赘述。
在第二倒残差子模块314为倒残差模块303中串行连接的各子模块中的最后一个子模块的情况下，第二倒残差子模块314的输出即为上述第二特征图。
以下以N取3，M取1，第一倒残差子模块306、第二倒残差子模块314、第一倒残差子模块306和第一倒残差子模块306依次串行连接为例，说明本发明实施例中倒残差模块303。
如图3所示，卷积模块302输出的第一特征图首先输入至第一倒残差子模块306中的第一倒残差单元307。基于上述双注意力机制构建的第一倒残差单元307可以准确定位第一特征图中的田间昆虫，并可以降低图像背景对田间昆虫进行定位的影响，从而可以获取第一子特征图，并可以将上述第一子特征图，分别输入至上述第一倒残差子模块306中的第二倒残差单元308和第一池化单元309。
上述第一子特征图输入上述第二倒残差单元308之后，基于上述双注意力机制构建的第二倒残差单元308可以准确定位第一子特征图中的田间昆虫，并可以降低图像背景对田间昆虫进行定位的影响，从而可以获取第二子特征图，并可以将上述第二子特征图输入至上述特征融合单元310。
上述第一子特征图输入上述第一池化单元309之后，上述第一池化单元309可以基于预先确定的池化核大小和池化步长，对上述第一子特征图进行平均池化，从而可以获取第三子特征图，并可以将上述第三子特征图输入至上述特征融合单元310。
需要说明的是，第一池化单元309对输入的特征图进行池化的池化核大小和池化步长可以根据实际情况确定。本发明实施例中第一池化单元309对输入的特征图进行池化的池化核大小可以为2×2，池化步长可以为2。
上述第二子特征图和上述第三子特征图输入上述特征融合单元310之后，上述特征融合单元310合并上述第二子特征图和上述第三子特征图，从而实现上述第二子特征图和上述第三子特征图的特征融合，弥补上述第一倒残差单元307和上述第二倒残差单元308进行下采样带来的特征损失。
上述特征融合单元310合并上述第二子特征图和上述第三子特征图之后，获得第四子特征图，并将上述第四子特征图输入至下一个第二倒残差子模块314。
上述第四子特征图输入上述第二倒残差子模块314之后，上述第二倒残差子模块314中的第一倒残差单元307可以准确定位上述第四子特征图中的田间昆虫，并可以降低图像背景对田间昆虫进行定位的影响，从而可以获取第五子特征图，并可以将上述第五子特征图输入至下一个第一倒残差子模块306。
在第一倒残差子模块306不为倒残差模块303中串行连接的各子模块中的第一个子模块的情况下，第一倒残差子模块306的输入为串行连接的上一个子模块的输出。第一倒残差子模块306对输入的特征图的处理过程，与第一倒残差子模块306为倒残差模块303中串行连接的各子模块中的第一个子模块时的相同，此处不再赘述。
倒残差模块303中串行连接的最后一个第一倒残差子模块306的输出即为上述第二特征图。
本发明实施例基于倒残差模块中按照预设顺序串行连接多个第一倒残差子模块和至少一个第二倒残差子模块，能增强昆虫识别模型的非线性表征能力，能基于每一第一倒残差子模块中的第一倒残差单元和第二倒残差单元，以及第二倒残差子模块中的第一倒残差单元，进一步提高定位目标图像中田间昆虫的准确性，以及进一步降低图像背景的影响。
基于上述各实施例的内容，第一倒残差单元307，包括：第一卷积子单元311和第一注意力机制子单元312；
图5是本发明提供的田间昆虫识别方法中昆虫识别模型中的第一卷积子单元的结构示意图。如图5所示，第一卷积子单元311，包括：依次串行连接的第一卷积层501、第二卷积层502、第三卷积层503和第一特征融合层504；
图6是本发明提供的田间昆虫识别方法中昆虫识别模型中的第一倒残差单元的结构示意图。如图6所示，第一注意力机制子单元312，包括：第一注意力机制层601和第二特征融合层602；
第一卷积层501的输入为卷积模块302的输出，或者为与第一卷积层501串行连接的上一个第一倒残差子模块306的输出，或者为与第一卷积层501串行连接的上一个第二倒残差子模块314的输出；
第二卷积层502的输入为第一卷积层501的输出；
第一注意力机制层601的输入为第二卷积层502的输出；第一注意力机制层601用于对第二卷积层502的输出进行双注意力机制处理；
第二特征融合层602的输入，为第一注意力机制层601的输出和第二卷积层502的输出；
第三卷积层503的输入为第二特征融合层602的输出；
第一特征融合层504的输入，为第一卷积层501的输入和第三卷积层503的输出；
第一特征融合层504的输出为第一倒残差单元307的输出。
具体地，第一卷积层501可以基于预设的卷积核大小和卷积步长，对输入的特征图进行常规的卷积计算。
第一卷积层501的卷积核大小和卷积步长可以根据实际情况确定。本发明实施例中第一卷积层501的卷积核大小为1×1，卷积步长1。
第二卷积层502可以基于预设的卷积和大小和卷积步长，对第一卷积层501输出的特征图进行深度卷积计算。
第二卷积层502的卷积核大小和卷积步长可以根据实际情况确定。本发明实施例中第二卷积层502的卷积核大小为3×3，卷积步长为2。
第三卷积层503可以基于预设的卷积和大小和卷积步长，对第二卷积层502输出的特征图进行点卷积技术。
第三卷积层503的卷积核大小和卷积步长可以根据实际情况确定。本发明实施例中第三卷积层503的卷积核大小为1×1，卷积步长为1。
第一特征融合层504可以将第一卷积层501的输入和第三卷积层503的输出进行相加，从而可以实现第一卷积层501的输入与第三卷积层503的输出的特征融合。
第一卷积子单元311通过可分离卷积(深度卷积计算+点卷积计算)，可以大大降低昆虫识别模型301的参数量。
本发明实施例中的第一注意力机制层601与通过2D全局池化将特征张量转换为单个特征向量的通道注意力机制不同，第一注意力机制层601将通道注意力分解为两个1D特征编码过程，分别沿两个空间方向聚合特征，从而可以沿一个空间方向捕获远程依赖关系，同时可以沿另一空间方向保留精确的位置信息，然后将生成的特征图分别编码为一对方向感知和位置敏感的注意图，可以将通道信息和位置信息互补地应用于输出的特征图，以增强对田间昆虫的表示。
图7是本发明提供的田间昆虫识别方法中昆虫识别模型中的第一注意力机制层进行双注意力机制处理的流程示意图。如图7所示，特征图输入第一注意力机制层601之后，首先进行残差计算，获取残差计算结果；获得上述残差计算结果之后，将上述残差计算结果分为三个分支，上述三个分支中的第一个分支和第二个分支，分别进行X轴方向和Y轴方向上的平均池化之后，再合并，并进行卷积计算、批量归一化、非线性处理、卷积计算和Sigmoid激活输出，最后上述三个分支中的第三个分支进行重新赋予权重后输出至第二特征融合层602。
第二特征融合层602可以将第一注意力机制层601输出的特征图和第二卷积层502输出的特征图进行相乘后输出至第三卷积层503，从而实现将第一注意力机制层601输出的特征图和第二卷积层502输出的特征图的特征融合。
本发明实施例基于第一卷积子单元进行可分离卷积计算，能进一步降低昆虫识别模型的参数量，能基于第一特征融合层实现特征的融合，能基于第一注意力机制层将通道信息和位置信息互补地应用于第一注意力机制层输出的特征图，进而能增强上述特征图对田间昆虫的表示。
基于上述各实施例的内容，第二倒残差单元308，包括：第二卷积子单元313和第二注意力机制子单元315；
图8是本发明提供的田间昆虫识别方法中昆虫识别模型中的第二卷积子单元的结构示意图。如图8所示，第二卷积子单元313，包括：依次串行连接的第四卷积层801、第五卷积层802和第六卷积层803；
图9是本发明提供的田间昆虫识别方法中昆虫识别模型中的第二倒残差单元的结构示意图。如图9所示，第二注意力机制子单元315，包括：第二注意力机制层901和第三特征融合层902；
第四卷积层801的输入为与第四卷积层801串行连接的上一个第一倒残差单元307的输出；
第五卷积层802的输入为第四卷积层801的输出；
第二注意力机制层901的输入为第五卷积层802的输出；第二注意力机制层901用于对第五卷积层802的输出进行双注意力机制处理；
第三特征融合层902的输入为第二注意力机制层901的输出和第五卷积层802的输出；
第六卷积层803的输入为第三特征融合层902的输出，第六卷积层803的输出为倒残差模块303的输出。
具体地，第四卷积层801可以基于预设的卷积核大小和卷积步长，对输入的特征图进行常规的卷积计算。
第四卷积层801的卷积核大小和卷积步长可以根据实际情况确定。本发明实施例中第四卷积层801的卷积核大小为1×1，卷积步长1。
第五卷积层802可以基于预设的卷积和大小和卷积步长，对第四卷积层801输出的特征图进行深度卷积计算。
第五卷积层802的卷积核大小和卷积步长可以根据实际情况确定。本发明实施例中第五卷积层802的卷积核大小为3×3，卷积步长为2。
第六卷积层803可以基于预设的卷积和大小和卷积步长，对第五卷积层802输出的特征图进行点卷积技术。
第六卷积层803的卷积核大小和卷积步长可以根据实际情况确定。本发明实施例中第六卷积层803的卷积核大小为1×1，卷积步长为1。
第二卷积子单元313通过可分离卷积(深度卷积计算+点卷积计算)，可以大大降低昆虫识别模型301的参数量。
需要说明的是，本发明实施例中的第二注意力机制层901与第一注意力机制层601的结构与具体的计算流程相同；第三特征融合层902与第二特征融合层602的机构和具体的计算流程相同。第二注意力机制层901和第三特征融合层902的具体结构和计算流程可以参见上述各实施例的内容，此处不再赘述。
本发明实施例基于第二卷积子单元进行可分离卷积计算，能进一步降低昆虫识别模型的参数量，能基于第二注意力机制层将通道信息和位置信息互补地应用于第人注意力机制层输出的特征图，进而能增强上述特征图对田间昆虫的表示。
基于上述各实施例的内容，昆虫识别模型中的激活函数为FReLU激活函数。
具体地，为实现像素级的空间信息建模，本发明实施例中昆虫识别模型301中的激活函数为FReLU激活函数，从而可以在不增加计算量的情况下，提高识别精度。
的FReLU激活函数计算公式为：
FReLU(xc,i,j)＝max[xc,i,j,T(xc,i,j)]
其中，xc,i,j表示当前通道下的像素值；T(xc,i,j)表示空间条件，通过深度可分离卷积和BN层计算；代表当前通道中卷积核共享权重。
本发明实施例中昆虫识别模型中的激活函数为FReLU激活函数，能在不增加计算量的情况下，提高识别精度。
图10是本发明提供的田间昆虫识别装置的结构示意图。下面结合图10对本发明提供的田间昆虫识别装置进行描述，下文描述的田间昆虫识别装置与上文描述的本发明提供的田间昆虫识别方法可相互对应参照。如图10所示，该装置包括：图像获取模块1001和昆虫识别模块1002。
图像获取模块1001，用于获取目标图像；
昆虫识别模块1002，用于将目标图像输入昆虫识别模型，获取昆虫识别模型输出的目标图像的昆虫识别结果；
其中，目标图像中包括田间昆虫；昆虫识别模型是以样本图像为样本，以样本图像的昆虫识别结果为样本标签进行训练后得到的；样本图像中包括田间昆虫；昆虫识别模型是基于融合通道信息和位置信息的双注意力机制以及MobileNet网络构建的。
具体地，图像获取模块1001和昆虫识别模块1002电连接。
本发明实施例中的田间昆虫识别装置，通过将包括田间昆虫的目标图像输入昆虫识别模型，获取昆虫识别模型输出的目标图像的昆虫识别结果，昆虫识别模型是以样本图像为样本，以样本图像的昆虫识别结果为样本标签进行训练后得到的，样本图像中包括田间昆虫，昆虫识别模型是基于融合通道信息和位置信息的双注意力机制以及MobileNet网络构建的，能通过在轻量级的MobileNet网络引入双注意力机制，实现昆虫识别模型在移动设备中的部署和应用，进而能在实现在降低模型复杂度、参数量和推理时长的同时，保持较高的田间昆虫识别准确率，能更好的满足实际生产中进行现场的田间昆虫识别的需求。
图11示例了一种电子设备的实体结构示意图，如图11所示，该电子设备可以包括：处理器(processor)1110、通信接口(Communications Interface)1120、存储器(memory)1130和通信总线1140，其中，处理器1110，通信接口1120，存储器1130通过通信总线1140完成相互间的通信。处理器1110可以调用存储器1130中的逻辑指令，以执行田间昆虫识别方法，该方法包括：获取目标图像；将目标图像输入昆虫识别模型，获取昆虫识别模型输出的目标图像的昆虫识别结果；其中，目标图像中包括田间昆虫；昆虫识别模型是以样本图像为样本，以样本图像的昆虫识别结果为样本标签进行训练后得到的；样本图像中包括田间昆虫；昆虫识别模型是基于融合通道信息和位置信息的双注意力机制以及MobileNet网络构建的。
此外，上述的存储器1130中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的田间昆虫识别方法，该方法包括：获取目标图像；将目标图像输入昆虫识别模型，获取昆虫识别模型输出的目标图像的昆虫识别结果；其中，目标图像中包括田间昆虫；昆虫识别模型是以样本图像为样本，以样本图像的昆虫识别结果为样本标签进行训练后得到的；样本图像中包括田间昆虫；昆虫识别模型是基于融合通道信息和位置信息的双注意力机制以及MobileNet网络构建的。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的田间昆虫识别方法，该方法包括：获取目标图像；将目标图像输入昆虫识别模型，获取昆虫识别模型输出的目标图像的昆虫识别结果；其中，目标图像中包括田间昆虫；昆虫识别模型是以样本图像为样本，以样本图像的昆虫识别结果为样本标签进行训练后得到的；样本图像中包括田间昆虫；昆虫识别模型是基于融合通道信息和位置信息的双注意力机制以及MobileNet网络构建的。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种田间昆虫识别方法，其特征在于，包括：
获取目标图像；
将所述目标图像输入昆虫识别模型，获取所述昆虫识别模型输出的所述目标图像的昆虫识别结果；
其中，所述目标图像中包括田间昆虫；所述昆虫识别模型是以样本图像为样本，以所述样本图像的昆虫识别结果为样本标签进行训练后得到的；所述样本图像中包括田间昆虫；所述昆虫识别模型是基于融合通道信息和位置信息的双注意力机制以及MobileNet网络构建的；
所述昆虫识别模型，包括：依次串行连接的卷积模块、倒残差模块、平均池化模块和分类模块；所述倒残差模块是基于所述双注意力机制构建的；
所述卷积模块的输入为所述目标图像；
所述倒残差模块的输入为所述卷积模块的输出；
所述平均池化模块的输入为所述倒残差模块的输出；
所述分类模块的输入为所述平均池化模块的输出；
所述倒残差模块，包括：串行连接的N个第一倒残差子模块；N为大于1的正整数；任一第一倒残差子模块的输入为所述卷积模块的输出，或者为所述任一第一倒残差子模块的上一个第一倒残差子模块的输出；
所述第一倒残差子模块，包括：第一倒残差单元、第二倒残差单元、第一池化单元和特征融合单元；所述第一倒残差单元和所述第二倒残差单元是基于所述双注意力机制构建的；
所述第一倒残差单元的输入为所述卷积模块的输出，或者为与所述第一倒残差单元串行连接的上一个第一倒残差子模块的输出；
所述第二倒残差单元的输入和所述第一池化单元的输入，均为所述第一倒残差单元的输出；
所述特征融合单元的输入，为所述第一池化单元的输出和所述第二倒残差单元的输出；
所述特征融合单元的输出为所述第一倒残差子模块的输出；
所述倒残差模块，还包括：M个第二倒残差子模块；N个第一倒残差子模块和M个第二倒残差子模块按照预设顺序依次串行连接的；M为大于0的正整数；
任一第一倒残差子模块的输入为所述卷积模块的输出，或者为所述任一第一倒残差子模块的上一个第一倒残差子模块的输出，或者为所述任一第一倒残差子模块的上一个第二倒残差子模块的输出；任一第二倒残差子模块的输入，为所述卷积模块的输出，或者为所述任一第二倒残差子模块的上一个第一倒残差子模块的输出，或者为所述任一第一倒残差单元的上一个第二倒残差子模块的输出；
所述第二倒残差子模块，包括：所述第一倒残差单元。
2.根据权利要求1所述的田间昆虫识别方法，其特征在于，所述第一倒残差单元，包括：第一卷积子单元和第一注意力机制子单元；
所述第一卷积子单元，包括：依次串行连接的第一卷积层、第二卷积层、第三卷积层和第一特征融合层；
所述第一注意力机制子单元，包括：第一注意力机制层和第二特征融合层；
所述第一卷积层的输入为所述卷积模块的输出，或者为与所述第一卷积层串行连接的上一个第一倒残差子模块的输出，或者为与所述第一卷积层串行连接的上一个第二倒残差子模块的输出；
所述第二卷积层的输入为所述第一卷积层的输出；
所述第一注意力机制层的输入为所述第二卷积层的输出；所述第一注意力机制层用于对所述第二卷积层的输出进行双注意力机制处理；
所述第二特征融合层的输入，为所述第一注意力机制层的输出和所述第二卷积层的输出；
所述第三卷积层的输入为所述第二特征融合层的输出；
所述第一特征融合层的输入，为所述第一卷积层的输入和所述第三卷积层的输出，所述第一特征融合层的输出为所述第一倒残差单元的输出。
3.根据权利要求1所述的田间昆虫识别方法，其特征在于，所述第二倒残差单元，包括：第二卷积子单元和第二注意力机制子单元；
所述第二卷积子单元，包括：依次串行连接的第四卷积层、第五卷积层和第六卷积层；
所述第二注意力机制子单元，包括：第二注意力机制层和第三特征融合层；
所述第四卷积层的输入为与所述第四卷积层串行连接的上一个第一倒残差单元的输出；
所述第五卷积层的输入为所述第四卷积层的输出；
所述第二注意力机制层的输入为所述第五卷积层的输出；所述第二注意力机制层用于对所述第五卷积层的输出进行双注意力机制处理；
所述第三特征融合层的输入为所述第二注意力机制层的输出和所述第五卷积层的输出；
所述第六卷积层的输入为所述第三特征融合层的输出，所述第六卷积层的输出为所述倒残差模块的输出。
4.根据权利要求1至3任一所述的田间昆虫识别方法，其特征在于，所述昆虫识别模型中的激活函数为FReLU激活函数。
5.根据权利要求1至3任一所述的田间昆虫识别方法，其特征在于，所述平均池化模块，包括：串行连接的X个卷积单元和Y个池化单元；任意两个卷积单元不相邻；任意两个池化单元不相邻；X和Y均为大于0的正整数。
6.一种田间昆虫识别装置，其特征在于，包括：
图像获取模块，用于获取目标图像；
昆虫识别模块，用于将所述目标图像输入昆虫识别模型，获取所述昆虫识别模型输出的所述目标图像的昆虫识别结果；
其中，所述目标图像中包括田间昆虫；所述昆虫识别模型是以样本图像为样本，以所述样本图像的昆虫识别结果为样本标签进行训练后得到的；所述样本图像中包括田间昆虫；所述昆虫识别模型是基于融合通道信息和位置信息的双注意力机制以及MobileNet网络构建的；
所述昆虫识别模型，包括：依次串行连接的卷积模块、倒残差模块、平均池化模块和分类模块；所述倒残差模块是基于所述双注意力机制构建的；
所述卷积模块的输入为所述目标图像；
所述倒残差模块的输入为所述卷积模块的输出；
所述平均池化模块的输入为所述倒残差模块的输出；
所述分类模块的输入为所述平均池化模块的输出；
所述倒残差模块，包括：串行连接的N个第一倒残差子模块；N为大于1的正整数；任一第一倒残差子模块的输入为所述卷积模块的输出，或者为所述任一第一倒残差子模块的上一个第一倒残差子模块的输出；
所述第一倒残差子模块，包括：第一倒残差单元、第二倒残差单元、第一池化单元和特征融合单元；所述第一倒残差单元和所述第二倒残差单元是基于所述双注意力机制构建的；
所述第一倒残差单元的输入为所述卷积模块的输出，或者为与所述第一倒残差单元串行连接的上一个第一倒残差子模块的输出；
所述第二倒残差单元的输入和所述第一池化单元的输入，均为所述第一倒残差单元的输出；
所述特征融合单元的输入，为所述第一池化单元的输出和所述第二倒残差单元的输出；
所述特征融合单元的输出为所述第一倒残差子模块的输出；
所述倒残差模块，还包括：M个第二倒残差子模块；N个第一倒残差子模块和M个第二倒残差子模块按照预设顺序依次串行连接的；M为大于0的正整数；
任一第一倒残差子模块的输入为所述卷积模块的输出，或者为所述任一第一倒残差子模块的上一个第一倒残差子模块的输出，或者为所述任一第一倒残差子模块的上一个第二倒残差子模块的输出；任一第二倒残差子模块的输入，为所述卷积模块的输出，或者为所述任一第二倒残差子模块的上一个第一倒残差子模块的输出，或者为所述任一第一倒残差单元的上一个第二倒残差子模块的输出；
所述第二倒残差子模块，包括：所述第一倒残差单元。
7.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述田间昆虫识别方法。
8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述田间昆虫识别方法。
CN202210646228.2A 2022-06-08 2022-06-08 田间昆虫识别方法及装置 Active CN115100517B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210646228.2A CN115100517B (zh) 2022-06-08 2022-06-08 田间昆虫识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210646228.2A CN115100517B (zh) 2022-06-08 2022-06-08 田间昆虫识别方法及装置

Publications (2)

Publication Number Publication Date
CN115100517A CN115100517A (zh) 2022-09-23
CN115100517B true CN115100517B (zh) 2023-10-24

Family

ID=83289900

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210646228.2A Active CN115100517B (zh) 2022-06-08 2022-06-08 田间昆虫识别方法及装置

Country Status (1)

Country Link
CN (1) CN115100517B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019201187A1 (zh) * 2018-04-16 2019-10-24 图灵人工智能研究院（南京）有限公司 物品鉴别方法、系统、设备及存储介质
CN111652247A (zh) * 2020-05-28 2020-09-11 大连海事大学 一种基于深度卷积神经网络的双翅目昆虫识别方法
CN111985370A (zh) * 2020-08-10 2020-11-24 华南农业大学 一种基于改进混合注意力模块的农作物病虫害的细粒度识别方法
CN114220035A (zh) * 2021-12-23 2022-03-22 中科合肥智慧农业协同创新研究院 一种基于改进yolo v4的快速害虫检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019201187A1 (zh) * 2018-04-16 2019-10-24 图灵人工智能研究院（南京）有限公司 物品鉴别方法、系统、设备及存储介质
CN111652247A (zh) * 2020-05-28 2020-09-11 大连海事大学 一种基于深度卷积神经网络的双翅目昆虫识别方法
CN111985370A (zh) * 2020-08-10 2020-11-24 华南农业大学 一种基于改进混合注意力模块的农作物病虫害的细粒度识别方法
CN114220035A (zh) * 2021-12-23 2022-03-22 中科合肥智慧农业协同创新研究院 一种基于改进yolo v4的快速害虫检测方法

Also Published As

Publication number Publication date
CN115100517A (zh) 2022-09-23

Similar Documents

Publication Publication Date Title
CN109934197B (zh) 人脸识别模型的训练方法、装置和计算机可读存储介质
CN108875821A (zh) 分类模型的训练方法和装置、移动终端、可读存储介质
CN111259898A (zh) 基于无人机航拍图像的农作物分割方法
CN111340141A (zh) 一种基于深度学习的作物幼苗与杂草检测方法及系统
CN114387520B (zh) 一种用于机器人采摘的密集李子精准检测方法及其系统
CN115880558B (zh) 农事行为检测方法、装置、电子设备及存储介质
CN110136162B (zh) 无人机视角遥感目标跟踪方法及装置
CN114972208B (zh) 一种基于YOLOv4的轻量化小麦赤霉病检测方法
CN112990232B (zh) 面向多种高空作业施工现场的安全带佩戴识别与检测方法
CN114005029A (zh) 基于改进yolov5网络的广佛手病虫害识别方法及系统
CN104063686A (zh) 作物叶部病害图像交互式诊断系统与方法
CN115457006B (zh) 基于相似一致性自蒸馏的无人机巡检缺陷分类方法及装置
CN110162657A (zh) 一种基于高层语义特征和颜色特征的图像检索方法及系统
CN115376125A (zh) 一种基于多模态数据融合的目标检测方法以及基于目标检测模型的在体果实采摘方法
CN113076873B (zh) 一种基于多阶段训练的农作物病害长尾图像识别方法
CN114463651A (zh) 基于超轻量级高效卷积神经网络的农作物病虫害识别方法
CN115100517B (zh) 田间昆虫识别方法及装置
CN116189021B (zh) 多分支互交叉注意力增强的无人机多光谱目标检测方法
CN116246184A (zh) 一种应用于无人机航拍图像的罂粟智能识别方法及系统
CN115578624A (zh) 农业病虫害模型构建方法、检测方法及装置
CN115170987A (zh) 一种基于图像分割和配准融合对葡萄进行病害检测的方法
CN115294467A (zh) 茶叶病害的检测方法及相关装置
CN114972264A (zh) 一种基于MS-PLNet模型绿豆叶斑病识别方法及装置
CN114462485A (zh) 一种红枣枣疯病初期防治方法
CN112464766B (zh) 一种农田地头自动识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant