CN117373055A - 一种害虫的检测识别方法、系统、电子设备及存储介质 - Google Patents

一种害虫的检测识别方法、系统、电子设备及存储介质 Download PDF

Info

Publication number
CN117373055A
CN117373055A CN202311088326.XA CN202311088326A CN117373055A CN 117373055 A CN117373055 A CN 117373055A CN 202311088326 A CN202311088326 A CN 202311088326A CN 117373055 A CN117373055 A CN 117373055A
Authority
CN
China
Prior art keywords
pest
module
image
region
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311088326.XA
Other languages
English (en)
Inventor
李燕羽
杨海英
周晓光
赵会义
苑江浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Academy of National Food and Strategic Reserves Administration
Original Assignee
Beijing University of Posts and Telecommunications
Academy of National Food and Strategic Reserves Administration
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications, Academy of National Food and Strategic Reserves Administration filed Critical Beijing University of Posts and Telecommunications
Priority to CN202311088326.XA priority Critical patent/CN117373055A/zh
Publication of CN117373055A publication Critical patent/CN117373055A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种害虫的检测识别方法、系统、电子设备及存储介质，其中方法包括：获取待识别害虫图像；将待识别害虫图像输入至检测识别模型中，输出害虫识别结果；检测识别模型包括多层卷积结构图像特征提取器、区域候选网络和位置敏感预测模块；多层卷积结构特征提取器通过不同的卷积层和最大池化层的组合提取图像特征；归一化模块对图像特征进行不同的卷积操作得到各个位置敏感得分图；感兴趣区域池化模块对候选感兴趣区域中各感兴趣区域进行池化操作，得到各感兴趣子区域，并对各感兴趣子区域对应的位置敏感得分图进行池化，得到池化结果；识别模块基于池化结果进行识别，得到害虫检测识别结果，从而提高了待识别害虫图像的检测和识别效果。

Description

一种害虫的检测识别方法、系统、电子设备及存储介质
技术领域
本发明涉及图像识别技术领域，尤其涉及一种害虫的检测识别方法、系统、电子设备及存储介质。
背景技术
每年虫害造成的损失非常普遍和十分严重，对粮食的污染可分为直接污染和间接污染，直接污染包括害虫尸体、排泄物、蜕皮和身体碎片等物理污染，也包括致癌物质、过敏源和不良气味等化学污染；间接污染主要是改变储藏微环境，营造真菌等微生物适宜生长的条件。且会主动或被动的促进微生物的传播。对于虫害情况的检测，分辨发生虫害的种类至关重要。由于不同种类的害虫，生活史和习性，发生与环境的关系都有很大差别，针对不同虫种，选择合适的防治技术才能达到较好的防治效果。例如米象和玉米象，二者对磷化氢的抗性不同，区分二者可以指导用药量，避免浪费又能达到较好的防治效果。因此需要对危害样品的害虫种类进行判别。
对于虫种的判别，传统的方法是根据其外部形态特征，采用这种方法不仅需要经验丰富的人员进行，而且耗时费力，特别是对于近缘种，它们产卵的习性相同，生物学特性很相似，生活周期基本一致，因此对粮食籽粒的危害情况很相似，仅采用人眼观察区分是十分困难的，对人员的专业水平要求就比较高，且容易出错。采用电子扫描显微镜、电子显微镜以及生物化学方法和技术来进行害虫检测不仅需要对样品复杂的预处理和丰富的专业知识和技能，过程中需要使用的化学药剂对人身体可能有害。另外，从事昆虫分类的专家也有减少。因此研究开发自动简单的昆虫分类方法成为各国学者关注的课题。
基于机器视觉技术的害虫检测识别在于构建实时性强、准确度高的检测识别系统。首先，通过实验室模拟、害虫诱捕设备或粘虫板采集害虫图像，准备数据；其次，对图像进行裁剪、增加噪声、调整亮度和对比度、滤波和图像增强等预处理操作，以增强数据的多样性；随后，手动设计或利用卷积神经网络从图像中进行特征提取；最后，采用候选区域生成算法来生成可能包含目标物体的候选区域，并使用传统机器学习的方法或深度学习的方法对候选区域进行分类和检测识别。基于传统机器学习技术受手动设计特征提取器的限制，无法满足实仓复杂背景下的图像特征提取和分类任务，缺乏稳定性和可靠性。手动设计特征也受主观性和计算机语言限制的影响，导致提取的特征失真或不准确，需要针对不同类型的害虫采用自定义特征提取方式。另外，检测识别系统的过拟合和泛化能力问题也比较严重。
发明内容
本发明提供一种害虫的检测识别方法、系统、电子设备及存储介质，用以解决现有技术中传统的害虫检测识别方法和基于传统机器学习技术的害虫检测识别方法中的缺陷。
本发明提供一种害虫的检测识别方法，包括：
获取待识别害虫图像；
将所述待识别害虫图像输入至检测识别模型中，得到所述检测识别模型输出的害虫识别结果；
所述检测识别模型包括多层卷积结构图像特征提取器、区域候选网络和位置敏感预测模块；
所述多层卷积结构图像特征提取器用于提取所述待识别害虫图像的图像特征；
所述区域候选网络用于基于所述图像特征，从所述待识别害虫图像中定位候选感兴趣区域；
所述位置敏感预测模块包括归一化模块、感兴趣区域池化模块和识别模块；
所述归一化模块用于对所述图像特征进行不同的卷积操作，得到各个位置敏感得分图；
所述感兴趣区域池化模块用于对所述候选感兴趣区域中各感兴趣区域分别进行池化操作，得到各感兴趣子区域，并对所述各感兴趣子区域对应的位置敏感得分图进行池化操作，得到池化结果；
所述识别模块用于基于所述池化结果进行识别，得到所述害虫识别结果。
根据本发明提供的一种害虫的检测识别方法，所述识别模块包括分类模块和定位模块；
所述分类模块用于基于一组感兴趣子区域对应的池化结果进行分类，得到所述待识别害虫图像的所述害虫识别结果；
所述定位模块用于基于所述一组感兴趣子区域对应的池化结果进行边界框回归，得到所述边界框的偏移量，并基于所述边界框的偏移量对所述候选感兴趣区域进行调整。
根据本发明提供的一种害虫的检测识别方法，所述区域候选网络包括第一锚框筛选模块、重叠候选区域消除模块和第二锚框筛选模块；
所述第一锚框筛选模块用于将锚框作用于所述图像特征中，计算所述锚框与基准真实值之间的第一交并比，并基于所述第一交并比与第一预设阈值进行第一次锚框筛选，得到第一锚框筛选结果；
所述重叠候选区域消除模块用于对所述第一锚框筛选结果中的重叠区域进行非极大值抑制，得到预测区域；
所述第二锚框筛选模块用于计算所述预测区域与所述基准真实值之间的第二交并比，并基于所述第二交并比与第二预设阈值进行第二次锚框筛选，得到所述候选感兴趣区域。
根据本发明提供的一种害虫的检测识别方法，所述第一锚框筛选模块还用于计算包含目标的图像特征的锚框与所述基准真实值之间的第一位置偏移，并基于所述第一位置偏移对所述包含目标的图像特征的锚框进行修正；
所述第二锚框筛选模块还用于计算所述预测区域与所述基准真实值之间的第二位置偏移，并基于所述第二位置偏移对所述预测区域进行修正。
根据本发明提供的一种害虫的检测识别方法，所述多层卷积结构图像特征提取器包括第一卷积分支和第二卷积分支；
所述第一卷积分支用于提取所述待识别害虫图像的微结构基础特征；
所述第二卷积分支用于提取所述待识别害虫图像的深层语义特征，并将所述深层语义特征和所述微结构基础特征进行特征融合，得到所述图像特征。
根据本发明提供的一种害虫的检测识别方法，所述获取待识别害虫图像，之前还包括：
获取原始待识别害虫图像；
对所述原始待识别害虫图像进行旋转、剪裁和拼接，得到增强害虫图像；
对所述增强害虫图像进行水平翻转和垂直翻转，得到所述待识别害虫图像。
本发明还提供一种害虫的检测识别系统，包括：
获取单元，用于获取待识别害虫图像；
检测识别单元，用于将所述待识别害虫图像输入至检测识别模型中，得到所述检测识别模型输出的害虫识别结果；
所述检测识别模型包括多层卷积结构图像特征提取器、区域候选网络和位置敏感预测模块；
所述多层卷积结构图像特征提取器用于提取所述待识别害虫图像的图像特征；
所述区域候选网络用于基于所述图像特征，从所述待识别害虫图像中定位候选感兴趣区域；
所述位置敏感预测模块包括归一化模块、感兴趣区域池化模块和识别模块；
所述归一化模块用于对所述图像特征进行不同的卷积操作，得到各个位置敏感得分图；
所述感兴趣区域池化模块用于对所述候选感兴趣区域中各感兴趣区域分别进行池化操作，得到各感兴趣子区域，并对所述各感兴趣子区域对应的位置敏感得分图进行池化操作，得到池化结果；
所述识别模块用于基于所述池化结果进行识别，得到所述害虫识别结果。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述害虫的检测识别方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述害虫的检测识别方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述害虫的检测识别方法。
本发明提供的害虫的检测识别方法、系统、电子设备及存储介质，针对害虫图像的特点，在候选感兴趣区域的生成和定位上，设计了适应害虫尺寸的锚框纵横比和尺寸数量，由此能够更好地适应害虫的尺寸特征，提高检测和定位的精度；并且，引入了位置敏感预测模块，该模块通过全卷积的方式对位置信息进行编码增强，以实现更精确的害虫定位回归，在位置敏感预测模块中，通过增加对候选感兴趣区域的归一化操作，在降低特征维度的同时保持图像特征的尺寸不变，同时，它对不同通道的特征进行线性组合，以保持特征之间的空间关系，这种操作有助于更好地交互和融合各通道特征信息。因此，引入位置敏感预测模块有效地解决了因下采样和小尺寸目标而导致的位置信息丢失和预测误差问题，从而提高了待识别害虫图像的检测和识别效果。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的害虫的检测识别方法的流程示意图之一；
图2是本发明提供的害虫的检测识别方法的流程示意图之二；
图3是本发明提供的锚框映射的示意图；
图4是本发明提供的位置敏感预测模块的结构示意图；
图5是本发明提供的害虫的检测识别系统的结构示意图；
图6是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类。
相关技术中，当前现有的害虫检测识别系统存在以下几个问题：首先，现有方法无法满足大规模应用场景的检测识别需求。其次，传统人工方法不仅需要经验丰富的人员进行，而且耗时费力，准确率不高。同时，采用电子扫描显微镜或分子方法和技术来进行害虫检测识别不仅需要对样品复杂的预处理和丰富的专业知识和技能，过程中需要使用的化学药剂对人身体可能有害。另外，基于传统机器学习技术受手动设计特征提取器的限制，无法满足实仓复杂背景下的害虫图像特征提取和分类任务，缺乏稳定性和可靠性。手动设计特征也受主观性和计算机语言限制的影响，导致提取的特征失真或不准确，需要针对不同类型的害虫采用自定义特征提取方式。另外，检测识别系统的过拟合和泛化能力问题也比较严重，无法满足在线实时检测识别的需求。
基于上述问题，本发明提供一种害虫的检测识别方法，图1是本发明提供的害虫的检测识别方法的流程示意图之一，图2是本发明提供的害虫的检测识别方法的流程示意图之二，如图1、图2所示，该方法包括：
步骤110，获取待识别害虫图像；
具体地，可以获取待识别害虫图像，此处的待识别害虫图像即后续需要进行检测和识别的害虫图像，此处，待识别害虫图像还可以是待识别的近缘种害虫图像。
待识别害虫图像可以是通过图像采集设备预先采集得到的，也可以是实时拍摄得到的，还可以是通过互联网下载或者扫描得到的，本发明实施例对此不作具体限定。
例如，待识别害虫图像的采集步骤如下：
可以将形态相似的虫种按不同地理品系放入38cm宽×27cm长×3cm高的托盘中，置于55m宽×24m长×6m高的散粮粮堆表面，使用配置100W照明器的现场监控设备进行视频录制。通过在粮库建立的分布式现场数据采集系统，利用4G、5G、WLAN(Wireless LocalArea Networks，无线局域网络)和点对点传输技术将图像传送至数据中心进行处理。录制的视频使用MATLAB(Math works,Matlab R2018b,Inc.,USA)程序进行逐帧分离，得到每张尺寸大小为1280宽×720高(像素)的实仓静态原始图像，即待识别害虫图像。现场监控设备在视频录制中能够覆盖大规模应用场景，捕捉到昆虫在自由移动过程中姿态变化最为丰富的图像。
步骤120，将所述待识别害虫图像输入至检测识别模型中，得到所述检测识别模型输出的害虫识别结果；
所述检测识别模型包括多层卷积结构图像特征提取器、区域候选网络和位置敏感预测模块；
所述多层卷积结构图像特征提取器用于提取所述待识别害虫图像的图像特征；
所述区域候选网络用于基于所述图像特征，从所述待识别害虫图像中定位候选感兴趣区域；
所述位置敏感预测模块包括归一化模块、感兴趣区域池化模块和识别模块；
所述归一化模块用于对所述图像特征进行不同的卷积操作，得到各个位置敏感得分图；
所述感兴趣区域池化模块用于对所述候选感兴趣区域中各感兴趣区域分别进行池化操作，得到各感兴趣子区域，并对所述各感兴趣子区域对应的位置敏感得分图进行池化操作，得到池化结果；
所述识别模块用于基于所述池化结果进行识别，得到所述害虫识别结果。
具体地，在获取到待识别害虫图像之后，可以将待识别害虫图像输入至检测识别模型中，得到检测识别模型输出的害虫识别结果。
此处的检测识别模型可以包括多层卷积结构图像特征提取器(Multi-layerConvolutional Structure，MCS Feature extractor)、区域候选网络(Region ProposalNetwork，RPN)和位置敏感预测模块(Position-sensitive Prediction module，PSPM)，此处的多层卷积结构图像特征提取器用于提取所述待识别害虫图像的图像特征，此处的区域候选网络用于基于待识别害虫图像的图像特征，从待识别害虫图像中定位候选感兴趣区域。此处的候选感兴趣区域即初步确定的包含害虫目标的边界框。
确定候选感兴趣区域(区域候选框)是目标检测任务中常用的一种技术，用于提供可能包含目标对象的矩形边界框。现有的锚(Anchor)方法是一种解决多尺度和纵横比预测的有效方法，相较于传统的多尺度预测方法，该方法使用了锚框金字塔来参考多个尺度和纵横比的候选框，从而对边界框进行分类和回归。锚方法仅依赖于单一比例的图像和图像特征，使用单一尺寸的过滤器(图像特征上的滑动窗口)进行计算，具有更高的成本效益。通过锚方法，区域候选网络(RPN)可以实现全卷积网络计算，将整个目标检测算法融合成一个基于深度学习的端到端学习框架。本质上，锚是整个图像上以均匀间隔采样的不同尺度和纵横比的边界框。这些边界框被称为锚框(Anchor box)或者先验框(prior boundingbox)，它们提供了进一步检测和识别很好的先验信息。锚框的设计可以根据不同的检测任务进行相应的调整和优化。
本发明实施例针对实际存储粮面场景中害虫图像中害虫身体的尺寸和宽高比例的特点，重新设计了锚框的尺度。在这个设计中，锚框的纵横比例可以为[0.5，1，2]，也可以为[0.5，1，1.5]、[0.5，1，1.5,2]，还可以为[0.4，0.7，1，1.5，2]、[0.4，0.6，0.8，1，1.5]、[0.5，0.8，1，1.5，2]、[0.4,0.5，0.7，1，1.5，2]等，并选择了特定的锚框尺寸数量为[82，162，242，322，482]，也可以为[42，82，162，242，322，482]、[42，82，162，322]，还可以为[42，82，162，322，482]、[82，162，242，322，482]、[82，162，242，322，482，562]、[82，162，322]等，本发明实施例对此不作具体限定。
图3是本发明提供的锚框映射的示意图，如图3所示，图3左部分：图像特征上一个采样点坐标(x,y)-coordinate(坐标)对应的不同尺寸和宽高比的锚框数量。而图3右部分：图像特征上不同的采样点坐标(x,y)-coordinate映射回待识别害虫图像中的锚框范围。这样，在图像特征上的每个像素点上都包含了15个不同大小和纵横比的锚框组合，这些锚框通过映射回待识别害虫图像，形成了重重叠叠的边界框。这些边界框与基准真实值进行比较，计算其类别概率得分。这些得分将用于后续目标分类和定位任务。
在本发明实施例中，设计锚框的尺度时考虑到了图像中害虫尺寸的变化特点，从而提高了目标检测的准确性和鲁棒性。同时，在确定锚框数量时，也兼顾了模型的检测精度和处理速度，以达到模型的优化。通过这种针对实际仓储场景的锚框设计，能够更好地适应不同尺寸和纵横比的害虫目标，提高目标检测算法的性能和实用性。
考虑到在实际仓储场景中，由于单个害虫样本在采集的粮面图像上所占的面积非常小，经过多层卷积的特征提取，不断的下采样会导致昆虫在图像上的位置信息逐渐丢失。此外，由于预测框中几个像素的偏移可能会造成检测识别结果的较大误差。为了提高预测位置的精确性，本发明实施例引入了位置敏感预测模块来进行分类预测和边框回归。
此处的位置敏感预测模块可以包括归一化模块、感兴趣区域池化模块和识别模块，此处的归一化模块用于对图像特征进行不同的卷积操作，得到各个位置敏感得分图(position-sensitive score maps)，在该位置敏感得分图中，每个通道代表着目标在不同位置的响应。
此外，在得到各个位置敏感得分图之前，可以使用512维的1×1卷积对图像特征进行维度归一化操作。
此处的感兴趣区域池化模块(position-sensitive RoI-pooling)用于对候选感兴趣区域中各感兴趣区域分别进行池化操作，得到各感兴趣子区域，并对各感兴趣子区域对应的位置敏感得分图进行池化操作，得到池化结果。
最终，得到的池化结果即每个感兴趣区域的聚合特征表示，这些表示不仅包含分类预测所需的信息，还包含用于位置调整的信息。
可以理解的是，通过使用位置敏感得分图和感兴趣区域池化，能够有效地结合位置信息和特征表示，实现更准确的分类预测和位置调整。这种获取位置敏感得分图的操作允许模型更好地感知目标在图像中的位置，并进行精确的预测和定位。这一模块的设计提供了一种有效的方式来利用位置信息，从而提升目标检测和定位的性能。
通过位置敏感得分图，可以捕捉到害虫在图像中不同位置的置信度，从而能够更准确地进行分类预测，而位置敏感池化机制则能够针对不同位置的特征进行池化操作，以获取更精确的定位信息。通过引入位置敏感预测模块，本发明实施例能够有效地解决由于下采样和小尺寸目标导致的位置信息丢失和预测误差问题，从而提高了害虫图像的检测和识别效果，进而提升算法的性能和可靠性。
在位置敏感预测模块中，通过使用位置敏感得分映射(position-sensitivescore map)和位置敏感感兴趣区域池化操作(position-sensitive RoI pooling)，以获得包含目标的候选感兴趣区域的高响应值用于分类。同时，通过使用4个数值来记录相应矩形的候选感兴趣区域坐标的偏移量，进行位置回归，实现更精确的目标定位。
此处的识别模块用于基于池化结果进行识别，得到害虫识别结果。
本发明实施例提供的方法，针对害虫图像的特点，在候选感兴趣区域的生成和定位上，设计了适应害虫尺寸的锚框纵横比和尺寸数量，由此能够更好地适应害虫的尺寸特征，提高检测和定位的精度；并且，引入了位置敏感预测模块，该模块通过全卷积的方式对位置信息进行编码增强，以实现更精确的害虫定位回归，在位置敏感预测模块中，通过增加对候选感兴趣区域的归一化操作，在降低特征维度的同时保持图像特征尺寸不变，同时，它对不同通道的特征进行线性组合，以保持特征之间的空间关系，这种操作有助于更好地交互和融合各通道特征信息。因此，引入位置敏感预测模块有效地解决了因下采样和小尺寸目标而导致的位置信息丢失和预测误差问题，从而提高了待识别害虫图像的检测和识别效果。
基于上述实施例，图4是本发明提供的位置敏感预测模块的结构示意图，如图4所示，所述识别模块包括分类模块和定位模块；
所述分类模块用于基于一组感兴趣子区域对应的池化结果进行分类，得到所述待识别害虫图像的所述害虫识别结果；
所述定位模块用于基于所述一组感兴趣子区域对应的池化结果进行边界框回归，得到所述边界框的偏移量，并基于所述边界框的偏移量对所述候选感兴趣区域进行调整。
具体地，识别模块可以包括分类模块和定位模块，可以将感兴趣子区域对应的两组池化结果送入两个分支模块(分类模块和定位模块)进行处理。此处的分类模块用于基于一组感兴趣区域集合对应的池化结果进行分类，得到待识别害虫图像的害虫识别结果。
此处，分类模块可以使用k2(C+1)个通道的卷积操作生成位置敏感得分图,这些得分图用来生成目标的类别预测。
在分类模块中，经过卷积运算生成具有k2(c+1)个通道的位置敏感得分图。这些位置敏感得分图与区域候选网络提取的候选感兴趣区域进行感兴趣区域池化(RoI pooling)操作。每个候选感兴趣区域(RoI)分别映射到一个k2的网格空间。这些响应值经过相加运算，得到(C+1)个类别的预测得分。通过对这些预测得分进行softmax激活函数处理，可以得到各个类别的概率预测值。这里(C+1)表示目标类别数+背景类别；而k2表示每个感兴趣区域在位置敏感得分图中对应的区域大小。
此处的定位模块用于基于同一组感兴趣子区域对应的池化结果进行边界框回归，得到边界框的偏移量，并基于边界框的偏移量对候选感兴趣区域进行调整。
由于考虑到害虫的尺寸，本发明实施例将k值设置为3。在定位模块中，经过卷积运算产生4k2维的位置敏感得分图。同样地，将这些位置敏感得分图与区域候选网络提取的候选感兴趣区域进行感兴趣区域池化操作。通过这一过程，获得每个感兴趣区域的偏移量(tx,ty,tw,th)。根据这些偏移量，对区域候选网络给出的候选感兴趣区域位置进行调整，从而实现更精确的目标定位。
此处，(tx,ty)表示感兴趣区域的中心点的坐标，tw表示中心点移动的宽度，th表示中心点移动的高度。
基于上述实施例，所述区域候选网络包括第一锚框筛选模块、重叠候选区域消除模块和第二锚框筛选模块；
所述第一锚框筛选模块用于将锚框作用于所述图像特征中，计算所述锚框与基准真实值之间的第一交并比，并基于所述第一交并比与第一预设阈值进行第一次锚框筛选，得到第一锚框筛选结果；
所述重叠候选区域消除模块用于对所述第一锚框筛选结果中的重叠区域进行非极大值抑制，得到预测区域；
所述第二锚框筛选模块用于计算所述预测区域与所述基准真实值之间的第二交并比，并基于所述第二交并比与第二预设阈值进行第二次锚框筛选，得到所述候选感兴趣区域。
具体地，区域候选网络可以包括第一锚框筛选模块、重叠候选区域消除模块和第二锚框筛选模块。
此处的第一锚框筛选模块用于将锚框作用于图像特征中，计算锚框与基准真实值(ground-truth)之间的第一交并比(Intersection over Union，IoU)，并基于第一交并比与第一预设阈值进行第一次锚框筛选(first filtration anchor boxes)，得到第一锚框筛选结果。
此处，基准真实值是在待识别害虫图像上，提前手动将目标用最小外接矩形框标出来的边界框。
此处的第一预设阈值可以是0.7，也可以是0.8等，本发明实施例对此不作具体限定。
此处，可以将第一交并比大于第一预设阈值的锚框筛选出来，作为第一锚框筛选结果。
此处的重叠候选区域消除模块用于对第一锚框筛选结果中的重叠区域进行非极大值抑制，得到预测区域。
此处，可以利用Soft-非极大值抑制(Soft Non-maximum suppression，Soft-NMS)的方法对重叠区域进行非极大值抑制，消除同一目标的重叠候选区域，筛选出预测区域(prediction proposals)。
Soft-NMS是一种改进的非极大值抑制方法，与传统的非极大值抑制相比，它采用了一种软性权重计算的方式，能够更好地处理重叠框的情况。通过使用Soft-NMS，本发明实施例在保留重要信息的同时，减少背景框和重叠框的数量，从而得到更精确的预测区域。
此处的第二锚框筛选模块用于计算预测区域与基准真实值之间的第二交并比，并基于第二交并比与第二预设阈值进行第二次锚框筛选，得到候选感兴趣区域。
此处的第二预设阈值可以是0.7，也可以是0.8等，本发明实施例对此不作具体限定。
此处，可以将第二交并比大于第二预设阈值的锚框筛选出来，作为候选感兴趣区域。
本发明实施例提供的方法，区域候选网络利用锚框与基准真实值的类别概率得分为后续操作提供一组区域候选框，在这个处理过程中，结合了类别概率得分(交并比)和Soft-非极大值抑制的方法，以过滤掉大部分背景框和重叠框，获取最佳的预测区域，由此可以为后续的目标分类和定位任务提供更准确、可靠的结果。
基于上述实施例，所述第一锚框筛选模块还用于计算包含目标的图像特征的锚框与所述基准真实值之间的第一位置偏移，并基于所述第一位置偏移对所述包含目标的图像特征的锚框进行修正；
所述第二锚框筛选模块还用于计算所述预测区域与所述基准真实值之间的第二位置偏移，并基于所述第二位置偏移对所述预测区域进行修正。
具体地，此处的第一锚框筛选模块还用于计算包含目标的图像特征的锚框与基准真实值之间的第一位置偏移，并基于第一位置偏移对包含目标的图像特征的锚框进行修正。
此处的第二锚框筛选模块还用于计算预测区域与基准真实值之间的第二位置偏移，并基于第二位置偏移对预测区域进行修正。
此处，第一位置偏移和第二位置偏移可以用(tx,ty,tw,th)表示，(tx,ty)表示感兴趣区域的中心点的坐标，tW表示中心点移动的宽度，th表示中心点移动的高度。
由此，根据这些偏移量对预测区域进行修正，从而实现更精准的目标定位。
基于上述实施例，所述多层卷积结构图像特征提取器包括第一卷积分支和第二卷积分支；
所述第一卷积分支用于提取所述待识别害虫图像的微结构基础特征；
所述第二卷积分支用于提取所述待识别害虫图像的深层语义特征，并将所述深层语义特征和所述微结构基础特征进行特征融合，得到所述图像特征。
具体地，多层卷积结构图像特征提取器可以包括第一卷积分支和第二卷积分支。
此处的第一卷积分支用于提取待识别害虫图像的微结构基础特征，第一卷积分支中使用了三种不同尺度的卷积滤波器：5×5，3×3和1×1。
在第一卷积分支结构的第一层和第二层，分别使用了64个5×5卷积滤波器，步长为两个像素，空间填充为一个像素，以保持卷积后的空间分辨率。采用5×5的卷积核可以增加局部感受野，获取图像更多、更全面的底层细节信息。为了增加决策函数的非线性，在第三层设置了64个1×1卷积滤波器，用于计算跨多个通道的图像特征。在第一层和第二层主要倾向于提取角点和颜色等基础特征。经过第三层的特征信息综合，将综合后的特征传递给下一个卷积层，以提取更抽象的特征。从第四层到第六层，重复了上述三层的设置，并将通道数增加到128个。在这几层中，主要倾向于提取害虫的局部纹理、边缘和颜色特征，特别是对于害虫的胸部背板、鞘翅、足和喙等部分的特征，得到了更进一步的激活。从第一层到第六层，主要获取了害虫形态上的微结构信息。
接下来的第七层到第十二层，采用了3×3的卷积滤波器进行卷积运算，仍然设置了一个像素的空间填充和两个像素的步长。其中，第七到第九层具有256个通道，第十至第十二层具有512个通道。通过多层卷积操作，将害虫形态上的微结构基础特征进行融合，呈现出更抽象的整体性综合特征，这些特征代表了害虫的局部或整体物体语义特征。通过这种卷积神经网络的结构，能够有效地提取害虫图像中的各层特征。不同层的卷积操作有助于捕捉不同角度的特征表达，从微观结构到更抽象的物体语义信息，为害虫的检测和识别提供了综合的特征表示。在第三、第六、第九个卷积层之后，添加了最大池化层。最大池化层将卷积层输出的图像特征划分为多个大小相同不重叠的区域，并保留每个区域中的最大值。最大池化操作使用2×2的池化窗口和步长为2，有助于去除冗余信息、保留显著特征，并且缩小张量的大小，从而提取更广范围内的特征组合。
最后，在第一卷积分支的最后一个卷积层后，加入了一个全局平均池化层。全局平均池化操作针对整个图像特征，这样有助于进一步减少维度，提取全局范围内的特征。
此处的第二卷积分支用于提取待识别害虫图像的深层语义特征，并将深层语义特征和微结构基础特征进行特征融合，得到图像特征。
第二卷积分支的输入是第一卷积分支中第三层和第六层的池化层的输出，并且，第二卷积分支的输出与第一卷积分支的输出进行连接运算，将不同层获取的特征表达融合在一起，形成某一物体综合的特征信息，即图像特征。
在经过12个卷积层和4次池化操作后，待识别害虫图像的特征变得越来越抽象，但同时也失去了很多原有的细节信息，这对于区分形态相似的虫种不利。然而，第二卷积分支通过将第一卷积分支提取的微结构基础特征与深层语义特征进行融合，提升了模型的分类性能。通过连接运算，可以利用浅层基础特征和深层语义特征的互补作用，提高模型对物体细节和语义特征的理解能力。
这种融合操作能够有效地利用多个层次的特征表示，更全面地描述物体的特征，增强模型的表示能力和判别能力。这样的设计策略有助于减轻形态相似虫种之间的混淆问题，并提高模型在害虫分类任务中的性能。
即本发明实施例可以解决现有方法在提取图像中个体微小害虫特征时可能会造成害虫形态上微结构信息的丢失，导致在形态相近且背景复杂的图像中无法准确定位和识别害虫的缺陷。
基于上述实施例，步骤110，之前还包括：
步骤111，获取原始待识别害虫图像；
步骤112，对所述原始待识别害虫图像进行旋转、剪裁和拼接，得到增强害虫图像；
步骤113，对所述增强害虫图像进行水平翻转和垂直翻转，得到所述待识别害虫图像。
具体地，可以获取原始待识别害虫图像，在获取到原始待识别害虫图像之后，还可以对原始待识别害虫图像进行人工筛选，剔除没有目标物存在且画面相同的图像，以确保数据的质量和害虫姿态变换的多样性。
然后，可以对原始待识别害虫图像进行数据增强，数据增强是一种通过特定形式对训练数据进行转换的方法，它可以从原始待识别害虫图像中生成新的样本数据，同时保持类别标签不变。
基于对害虫在实际场景中活动轨迹进行大量观察的研究发现，除了姿态变化之外，粮面活动的害虫在图像中的位置、方向和距离镜头的变化会导致尺寸大小的变异。
所以，可以对原始待识别害虫图像进行旋转、剪裁和拼接，得到增强害虫图像。
最后，可以对增强害虫图像进行水平翻转和垂直翻转，得到待识别害虫图像。
因此，选择对图像进行旋转、剪裁、拼接、水平翻转和垂直翻转等几何变换的预处理技术，是增加图像数据量最有效的方式。这样做可以在不改变原始待识别害虫图像的质量的情况下，大量增加图像的数量，提升模型的鲁棒性和泛化能力，有助于更好地理解和适应粮面上各种害虫变化情况的出现。
下面对本发明提供的害虫的检测识别系统进行描述，下文描述的害虫的检测识别系统与上文描述的害虫的检测识别方法可相互对应参照。
基于上述任一实施例，本发明提供一种害虫的检测识别系统，图5是本发明提供的害虫的检测识别系统的结构示意图，如图5所示，该系统包括：
获取单元510，用于获取待识别害虫图像；
检测识别单元520，用于将所述待识别害虫图像输入至检测识别模型中，得到所述检测识别模型输出的害虫识别结果；
所述检测识别模型包括多层卷积结构图像特征提取器、区域候选网络和位置敏感预测模块；
所述多层卷积结构图像特征提取器用于提取所述待识别害虫图像的图像特征；
所述区域候选网络用于基于所述图像特征，从所述待识别害虫图像中定位候选感兴趣区域；
所述位置敏感预测模块包括归一化模块、感兴趣区域池化模块和识别模块；
所述归一化模块用于对所述图像特征进行不同的卷积操作，得到各个位置敏感得分图；
所述感兴趣区域池化模块用于对所述候选感兴趣区域中各感兴趣区域分别进行池化操作，得到各感兴趣子区域，并对所述各感兴趣子区域对应的位置敏感得分图进行池化操作，得到池化结果；
所述识别模块用于基于所述池化结果进行识别，得到所述害虫识别结果。
本发明实施例提供的系统，针对害虫图像的特点，在候选感兴趣区域的生成和定位上，设计了适应害虫尺寸的锚框纵横比和尺寸数量，由此能够更好地适应害虫的尺寸特征，提高检测和定位的精度；并且，引入了位置敏感预测模块，该模块通过全卷积的方式对位置信息进行编码增强，以实现更精确的害虫定位回归，在位置敏感预测模块中，通过增加对候选感兴趣区域的归一化操作，在降低特征维度的同时保持图像特征尺寸不变，同时，它对不同通道的特征进行线性组合，以保持特征之间的空间关系，这种操作有助于更好地交互和融合各通道特征信息。因此，引入位置敏感预测模块有效地解决了因下采样和小尺寸目标而导致的位置信息丢失和预测误差问题，从而提高了待识别害虫图像的检测和识别效果。
基于上述任一实施例，所述识别模块包括分类模块和定位模块；
所述分类模块用于基于一组感兴趣子区域对应的池化结果进行分类，得到所述待识别害虫图像的所述害虫识别结果；
所述定位模块用于基于所述一组感兴趣子区域对应的池化结果进行边界框回归，得到所述边界框的偏移量，并基于所述边界框的偏移量对所述候选感兴趣区域进行调整。
基于上述任一实施例，所述区域候选网络包括第一锚框筛选模块、重叠候选区域消除模块和第二锚框筛选模块；
所述第一锚框筛选模块用于将锚框作用于所述图像特征中，计算所述锚框与基准真实值之间的第一交并比，并基于所述第一交并比与第一预设阈值进行第一次锚框筛选，得到第一锚框筛选结果；
所述重叠候选区域消除模块用于对所述第一锚框筛选结果中的重叠区域进行非极大值抑制，得到预测区域；
所述第二锚框筛选模块用于计算所述预测区域与所述基准真实值之间的第二交并比，并基于所述第二交并比与第二预设阈值进行第二次锚框筛选，得到所述候选感兴趣区域。
基于上述任一实施例，所述第一锚框筛选模块还用于计算包含目标的图像特征的锚框与所述基准真实值之间的第一位置偏移，并基于所述第一位置偏移对所述包含目标的图像特征的锚框进行修正；
所述第二锚框筛选模块还用于计算所述预测区域与所述基准真实值之间的第二位置偏移，并基于所述第二位置偏移对所述预测区域进行修正。
基于上述任一实施例，所述多层卷积结构图像特征提取器包括第一卷积分支和第二卷积分支；
所述第一卷积分支用于提取所述待识别害虫图像的微结构基础特征；
所述第二卷积分支用于提取所述待识别害虫图像的深层语义特征，并将所述深层语义特征和所述微结构基础特征进行特征融合，得到所述图像特征。
基于上述任一实施例，还包括数据增强单元，所述数据增强单元具体用于：
获取原始待识别害虫图像；
对所述原始待识别害虫图像进行旋转、剪裁和拼接，得到增强害虫图像；
对所述增强害虫图像进行水平翻转和垂直翻转，得到所述待识别害虫图像。
图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行害虫的检测识别方法，该方法包括：获取待识别害虫图像；将所述待识别害虫图像输入至检测识别模型中，得到所述检测识别模型输出的害虫识别结果；所述检测识别模型包括多层卷积结构图像特征提取器、区域候选网络和位置敏感预测模块；所述多层卷积结构图像特征提取器用于提取所述待识别害虫图像的图像特征；所述区域候选网络用于基于所述图像特征，从所述待识别害虫图像中定位候选感兴趣区域；所述位置敏感预测模块包括归一化模块、感兴趣区域池化模块和识别模块；所述归一化模块用于对所述图像特征进行不同的卷积操作，得到各个位置敏感得分图；所述感兴趣区域池化模块用于对所述候选感兴趣区域中各感兴趣区域分别进行池化操作，得到各感兴趣子区域，并对所述各感兴趣子区域对应的位置敏感得分图进行池化操作，得到池化结果；所述识别模块用于基于所述池化结果进行识别，得到所述害虫识别结果。
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的害虫的检测识别方法，该方法包括：获取待识别害虫图像；将所述待识别害虫图像输入至检测识别模型中，得到所述检测识别模型输出的害虫识别结果；所述检测识别模型包括多层卷积结构图像特征提取器、区域候选网络和位置敏感预测模块；所述多层卷积结构图像特征提取器用于提取所述待识别害虫图像的图像特征；所述区域候选网络用于基于所述图像特征，从所述待识别害虫图像中定位候选感兴趣区域；所述位置敏感预测模块包括归一化模块、感兴趣区域池化模块和识别模块；所述归一化模块用于对所述图像特征进行不同的卷积操作，得到各个位置敏感得分图；所述感兴趣区域池化模块用于对所述候选感兴趣区域中各感兴趣区域分别进行池化操作，得到各感兴趣子区域，并对所述各感兴趣子区域对应的位置敏感得分图进行池化操作，得到池化结果；所述识别模块用于基于所述池化结果进行识别，得到所述害虫识别结果。又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的害虫的检测识别方法，该方法包括：获取待识别害虫图像；将所述待识别害虫图像输入至检测识别模型中，得到所述检测识别模型输出的害虫识别结果；所述检测识别模型包括多层卷积结构图像特征提取器、区域候选网络和位置敏感预测模块；所述多层卷积结构图像特征提取器用于提取所述待识别害虫图像的图像特征；所述区域候选网络用于基于所述图像特征，从所述待识别害虫图像中定位候选感兴趣区域；所述位置敏感预测模块包括归一化模块、感兴趣区域池化模块和识别模块；所述归一化模块用于对所述图像特征进行不同的卷积操作，得到各个位置敏感得分图；所述感兴趣区域池化模块用于对所述候选感兴趣区域中各感兴趣区域分别进行池化操作，得到各感兴趣子区域，并对所述各感兴趣子区域对应的位置敏感得分图进行池化操作，得到池化结果；所述识别模块用于基于所述池化结果进行识别，得到所述害虫识别结果。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种害虫的检测识别方法，其特征在于，包括：
获取待识别害虫图像；
将所述待识别害虫图像输入至检测识别模型中，得到所述检测识别模型输出的害虫识别结果；
所述检测识别模型包括多层卷积结构图像特征提取器、区域候选网络和位置敏感预测模块；
所述多层卷积结构图像特征提取器用于提取所述待识别害虫图像的图像特征；
所述区域候选网络用于基于所述图像特征，从所述待识别害虫图像中定位候选感兴趣区域；
所述位置敏感预测模块包括归一化模块、感兴趣区域池化模块和识别模块；
所述归一化模块用于对所述图像特征进行不同的卷积操作，得到各个位置敏感得分图；
所述感兴趣区域池化模块用于对所述候选感兴趣区域中各感兴趣区域分别进行池化操作，得到各感兴趣子区域，并对所述各感兴趣子区域对应的位置敏感得分图进行池化操作，得到池化结果；
所述识别模块用于基于所述池化结果进行识别，得到所述害虫识别结果。
2.根据权利要求1所述的害虫的检测识别方法，其特征在于，所述识别模块包括分类模块和定位模块；
所述分类模块用于基于一组感兴趣子区域对应的池化结果进行分类，得到所述待识别害虫图像的所述害虫识别结果；
所述定位模块用于基于所述一组感兴趣子区域对应的池化结果进行边界框回归，得到所述边界框的偏移量，并基于所述边界框的偏移量对所述候选感兴趣区域进行调整。
3.根据权利要求1所述的害虫的检测识别方法，其特征在于，所述区域候选网络包括第一锚框筛选模块、重叠候选区域消除模块和第二锚框筛选模块；
所述第一锚框筛选模块用于将锚框作用于所述图像特征中，计算所述锚框与基准真实值之间的第一交并比，并基于所述第一交并比与第一预设阈值进行第一次锚框筛选，得到第一锚框筛选结果；
所述重叠候选区域消除模块用于对所述第一锚框筛选结果中的重叠区域进行非极大值抑制，得到预测区域；
所述第二锚框筛选模块用于计算所述预测区域与所述基准真实值之间的第二交并比，并基于所述第二交并比与第二预设阈值进行第二次锚框筛选，得到所述候选感兴趣区域。
4.根据权利要求3所述的害虫的检测识别方法，其特征在于，所述第一锚框筛选模块还用于计算包含目标的图像特征的锚框与所述基准真实值之间的第一位置偏移，并基于所述第一位置偏移对所述包含目标的图像特征的锚框进行修正；
所述第二锚框筛选模块还用于计算所述预测区域与所述基准真实值之间的第二位置偏移，并基于所述第二位置偏移对所述预测区域进行修正。
5.根据权利要求1至4中任一项所述的害虫的检测识别方法，其特征在于，所述多层卷积结构图像特征提取器包括第一卷积分支和第二卷积分支；
所述第一卷积分支用于提取所述待识别害虫图像的微结构基础特征；
所述第二卷积分支用于提取所述待识别害虫图像的深层语义特征，并将所述深层语义特征和所述微结构基础特征进行特征融合，得到所述图像特征。
6.根据权利要求1至4中任一项所述的害虫的检测识别方法，其特征在于，所述获取待识别害虫图像，之前还包括：
获取原始待识别害虫图像；
对所述原始待识别害虫图像进行旋转、剪裁和拼接，得到增强害虫图像；
对所述增强害虫图像进行水平翻转和垂直翻转，得到所述待识别害虫图像。
7.一种害虫的检测识别系统，其特征在于，包括：
获取单元，用于获取待识别害虫图像；
检测识别单元，用于将所述待识别害虫图像输入至检测识别模型中，得到所述检测识别模型输出的害虫识别结果；
所述检测识别模型包括多层卷积结构图像特征提取器、区域候选网络和位置敏感预测模块；
所述多层卷积结构图像特征提取器用于提取所述待识别害虫图像的图像特征；
所述区域候选网络用于基于所述图像特征，从所述待识别害虫图像中定位候选感兴趣区域；
所述位置敏感预测模块包括归一化模块、感兴趣区域池化模块和识别模块；
所述归一化模块用于对所述图像特征进行不同的卷积操作，得到各个位置敏感得分图；
所述感兴趣区域池化模块用于对所述候选感兴趣区域中各感兴趣区域分别进行池化操作，得到各感兴趣子区域，并对所述各感兴趣子区域对应的位置敏感得分图进行池化操作，得到池化结果；
所述识别模块用于基于所述池化结果进行识别，得到所述害虫识别结果。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述害虫的检测识别方法。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述害虫的检测识别方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述害虫的检测识别方法。
CN202311088326.XA 2023-08-25 2023-08-25 一种害虫的检测识别方法、系统、电子设备及存储介质 Pending CN117373055A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311088326.XA CN117373055A (zh) 2023-08-25 2023-08-25 一种害虫的检测识别方法、系统、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311088326.XA CN117373055A (zh) 2023-08-25 2023-08-25 一种害虫的检测识别方法、系统、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN117373055A true CN117373055A (zh) 2024-01-09

Family

ID=89388078

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311088326.XA Pending CN117373055A (zh) 2023-08-25 2023-08-25 一种害虫的检测识别方法、系统、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN117373055A (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111583417A (zh) * 2020-05-12 2020-08-25 北京航空航天大学 一种图像语义和场景几何联合约束的室内vr场景构建的方法、装置、电子设备和介质
CN113343749A (zh) * 2021-04-13 2021-09-03 山东师范大学 基于D2Det模型的果实识别方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111583417A (zh) * 2020-05-12 2020-08-25 北京航空航天大学 一种图像语义和场景几何联合约束的室内vr场景构建的方法、装置、电子设备和介质
CN113343749A (zh) * 2021-04-13 2021-09-03 山东师范大学 基于D2Det模型的果实识别方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIFENG DAI等: "R-FCN: Object Detection via Region-based Fully Convolutional Networks", 《NIPS\'16: PROCEEDINGS OF THE 30TH INTERNATIONAL CONFERENCE ON NEURAL INFORMATION PROCESSING SYSTEMS》, 5 December 2016 (2016-12-05), pages 16 *

Similar Documents

Publication Publication Date Title
CN109800736B (zh) 一种基于遥感影像和深度学习的道路提取方法
Zhang et al. Automated robust crop-row detection in maize fields based on position clustering algorithm and shortest path method
CN105574513B (zh) 文字检测方法和装置
US8319793B2 (en) Analyzing pixel data by imprinting objects of a computer-implemented network structure into other objects
CN102867196B (zh) 基于Gist特征学习的复杂海面遥感影像舰船检测方法
CN107609575B (zh) 书法评价方法、书法评价装置和电子设备
CN112598713A (zh) 一种基于深度学习的近岸海底鱼类检测、跟踪统计方法
CN113392775A (zh) 一种基于深度神经网络的甘蔗幼苗自动识别与计数方法
CN109740483A (zh) 一种基于深层神经网络的水稻生长期检测方法
CN112132166B (zh) 一种数字细胞病理图像智能分析方法、系统及装置
CN111626284A (zh) 一种手写字体去除的方法、装置、电子设备和存储介质
CN113312999B (zh) 一种自然果园场景下的柑橘木虱高精度检测方法及装置
CN113095441A (zh) 一种猪群扎堆检测方法、装置、设备及可读存储介质
CN110298366B (zh) 农作物分布提取方法及装置
CN107481224A (zh) 基于线粒体结构的图像配准方法及装置、存储介质及设备
Gonçalves et al. Automatic detection of Acacia longifolia invasive species based on UAV-acquired aerial imagery
CN115205520A (zh) 胃镜图像智能目标检测方法、系统、电子设备及存储介质
CN115019181A (zh) 遥感图像旋转目标检测方法、电子设备及存储介质
CN116543386A (zh) 一种基于卷积神经网络的农业病虫害图像识别方法
CN111898677A (zh) 一种基于深度学习的浮游生物自动检测方法
CN113280820B (zh) 基于神经网络的果园视觉导航路径提取方法与系统
CN110363103A (zh) 虫害识别方法、装置、计算机设备及存储介质
CN117373055A (zh) 一种害虫的检测识别方法、系统、电子设备及存储介质
CN108967246B (zh) 虾苗定位方法
CN116416136A (zh) 可见光遥感图像舰船目标检测的数据扩增方法、电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination