CN113569769A - 基于深度神经网络的红火蚁蚁巢远程识别与定位方法 - Google Patents

基于深度神经网络的红火蚁蚁巢远程识别与定位方法 Download PDF

Info

Publication number
CN113569769A
CN113569769A CN202110875921.2A CN202110875921A CN113569769A CN 113569769 A CN113569769 A CN 113569769A CN 202110875921 A CN202110875921 A CN 202110875921A CN 113569769 A CN113569769 A CN 113569769A
Authority
CN
China
Prior art keywords
size
feature
layers
feature layers
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110875921.2A
Other languages
English (en)
Inventor
朱立学
黄培峰
韩群鑫
黄伟锋
陈品岚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongkai University of Agriculture and Engineering
Original Assignee
Zhongkai University of Agriculture and Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongkai University of Agriculture and Engineering filed Critical Zhongkai University of Agriculture and Engineering
Priority to CN202110875921.2A priority Critical patent/CN113569769A/zh
Publication of CN113569769A publication Critical patent/CN113569769A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于深度神经网络的红火蚁蚁巢远程识别与定位方法，采用无人巡检小车代替人工去获取红火蚁蚁巢图像，并采用深度相机进行拍摄图像，能够获取红火蚁蚁巢图像的深度信息，实现红火蚁蚁巢的精准定位和远程识别与定位，其检测效率高，能够代替人工巡检，能够对需要监测的野外高风险区域进行红火蚁蚁巢的远程检测，并把检测出的疑似红火蚁蚁巢的区域坐标信息返回给专业技术人员，专业技术人员再对返回的疑似红火蚁蚁巢区域进行重点监测防治，以此做到早发现、早防治的目的，避免了红火蚁入侵造成生态系统的破坏以及避免人被叮咬。

Description

基于深度神经网络的红火蚁蚁巢远程识别与定位方法
技术领域
本发明涉及红火蚁蚁巢的识别与定位技术领域，具体为基于深度神经网络的红火蚁蚁巢远程识别与定位方法。
背景技术
红火蚁原产于南美洲，在我国属于外来入侵物种，现在已经蔓延到广东、四川、浙江等省份。而红火蚁的危害极大，会啃食大多数常见的农作物，给我国的生态系统及农业生产带来了巨大的影响。红火蚁被称为“无敌蚂蚁”，其腹部的蛰针毒性大且破坏力强，叮咬人后，伤口处会有火灼感，严重者甚至会引起过敏性休克。且红火蚁的筑巢能力强，其蚁巢形状为隆起的沙堆状，会危害灌溉系统，影响灌溉效率。红火蚁是世界自然保护联盟认定的危险入侵物种，需要做好对红火蚁的防控工作。
目前对于红火蚁入侵的防控方法，主要是以人工巡查为主，专业技术人员通过定时巡查高风险区域的方法，通过观察目标土堆的颜色形状，根据红火蚁蚁巢的特征，利用过往关于红火蚁的防治经验对其是否是红火蚁蚁巢进行判断。在高风险区域对红火蚁疫情进行巡查，需要大量的人力。并且，由于人工巡查的效率低下，不能做到红火蚁入侵的初期及早发现及早防治，容易造成重大的生态破坏以及经济损失。
现有的发明专利申请号201711178612.X公开了基于计算机视觉技术对红火蚁巢的检测识别方法，该方法能够实现对红火蚁蚁巢的识别，但是该方法仍然需要人手持高光谱仪器靠近蚁巢进行检测，无法做到远程识别与定位，有被红火蚁咬伤的风险。
发明内容
本发明的目的在于提供基于深度神经网络的红火蚁蚁巢远程识别与定位方法，能够提高识别效率，获得精准定位，能够减少人员投入，防止人员叮咬，对红火蚁的入侵防治工作有着积极作用，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
基于深度神经网络的红火蚁蚁巢远程识别与定位方法，包括以下步骤：
S1：采集大量红火蚁蚁巢的图像，并在图像上标注出红火蚁巢穴的位置，形成YOLOv4深度神经网络模型的训练数据集；
S2：将训练数据集输入YOLOv4深度神经网络模型进行训练，得到训练后的YOLOv4网络模型；
S3：将训练好的网络模型部署到无人巡检小车的板载计算机上，用于对待检测图像进行识别；
S4：使用无人巡检小车对红火蚁入侵的高风险区域进行巡检，其搭载的深度相机获取待检测图像和待检测图像的深度信息；
S5：将待检测图像输入训练好的YOLOv4网络模型进行识别，再把识别出的疑似红火蚁蚁巢在图像上标注显示，实现远程识别，并得到疑似红火蚁蚁巢图像的深度信息；
S6：根据无人巡检小车自身的GPS经纬度坐标与红火蚁蚁巢图像的深度信息，得到红火蚁蚁巢的坐标信息，实现远程定位红火蚁蚁巢。
更进一步地，YOLOv4网络模型训练时的位置损失的函数CIOU为：
Figure BDA0003190256450000021
其中，IOU(P,T)损失定义为：1与预测框P和真实框T之间交并比的差值；
Pc为预测框中心点坐标，Tc为真实框中心点坐标；
ρ2(Pc,Tc)是欧式距离为Pc和Tc的欧式距离的计算；
c为能够同时包含P和T的最小包围框的对角线距离；
α是一个正数，v用来测量长宽比的一致性，公式如下：
Figure BDA0003190256450000031
Figure BDA0003190256450000032
其中，ωgt和hgt为真实框的宽、高；ω和h为预测框的宽、高。
更进一步地，YOLOv4网络模型的识别预测步骤如下：
S1：将图像尺寸调整为416*416*3，输入YOLOv4深度神经网络模型；
S2：将S1的输入图像经过CSPDarknet53主干特征提取网络，输出最后三个有效特征层，大小分别为52*52*256，26*26*512，13*13*1024；
S3：将S2中的13*13*1024大小的特征层经过三次卷积后，得到13*13*512大小的特征层；
S4：将S3得到的13*13*512大小的特征层，输入SPP网络结构进行特征增强，将输出结果进行堆叠，并进行三次卷积，得到大小为13*13*512的特征层；
S5：将S2中的52*52*256大小的特征层和26*26*512大小的特征层分别进行一次卷积后，与S3中的13*13*512大小的特征层，一起输入PANet网络结构进行特征增强，得到三个大小分别为52*52*128，26*26*256，13*13*512的特征层；
S6：将S5的三个特征层进行两次卷积操作，得到大小分别为52*52*18，26*26*18，13*13*18的三个检测层；
S7：将S6的三个检测层进行解码，得到多个预测框，根据对应的置信度值去判断，去除掉小于设定值的预测框；
S8：图像还含有多个预测框的，根据置信度值，把这些预测框用非极大值抑制算法进行筛选，去掉重复的预测框，得到预测结果。
更进一步地，图像输入CSPDarknet53主干特征提取网络的具体步骤如下：
S1：图像经过一次卷积得到416*416*32大小的特征层；
S2：将S1得到的特征层进入Resblock模块，进行一次残差块的堆叠，得到208*208*64大小的特征层；
S3：将S2得到的特征层进入Resblock模块，进行两次残差块的堆叠，得到104*104*128大小的特征层；
S4：将S3得到的特征层进入Resblock模块，进行八次残差块的堆叠，得到52*52*256大小的特征层；
S5：将S4得到的特征层进入Resblock模块，进行八次残差块的堆叠，得到26*26*512大小的特征层；
S6：将S5得到的特征层进入Resblock模块，进行四次残差块的堆叠，得到13*13*1024大小的特征层。
更进一步地，特征层输入Resblock模块的具体步骤如下：
S1：将输入的特征层进行一次卷积，得到一个基础特征层；
S2：将S1得到的基础特征层进行一次卷积，得到一个残差边，作为第一部分；
S3：将S2得到的基础特征层进行另一次卷积，并进行n次残差块的堆叠，作为第二部分；
S4：将S2得到的第一部分与S3得到的第二部分进行堆叠，得到特征层。
更进一步地，特征层输入SPP网络结构的具体步骤如下：
S1：输入SPP网络结构的特征层大小为13*13*512；
S2：将S1的13*13*512大小的特征层进行最大池化处理，池化核大小为13*13，得到13*13*512大小的特征层；
S3：将S1的13*13*512大小的特征层进行最大池化处理，池化核大小为9*9，得到13*13*512大小的特征层；
S4：将S1的13*13*512大小的特征层进行最大池化处理，池化核大小为5*5，得到13*13*512大小的特征层；
S5：在S1-S4中所得到的四个特征层，即为经过SPP网络结构得到的特征层。
更进一步地，特征层输入PANet网络结构的具体步骤如下：
S1：输入PANet的三个特征层大小分别是52*52*128，26*26*256，13*13*512，将13*13*512大小的特征层进行一次卷积加一次上采样，得到的特征层与输入的26*26*256大小的特征层进行堆叠，得到26*26*512大小的特征层；
S2：将S1得到的26*26*512大小的特征层进行五次卷积，得到26*26*256的特征层；
S3：将S2得到的26*26*256大小的特征层进行一次卷积加一次上采样，得到的特征层与输入的52*52*128大小的特征层进行堆叠，得到52*52*256大小的特征层；
S4：将S3得到的52*52*256大小的特征层进行五次卷积，得到52*52*128的特征层；
S5：将S4得到的52*52*128大小的特征层进行一次卷积加一次下采样，得到的特征层与步骤二得到的26*26*256大小的特征层进行堆叠，得到26*26*512大小的特征层；
S6：将S5得到的26*26*512大小的特征层进行五次卷积，得到26*26*256的特征层；
S7：将S6得到的26*26*256大小的特征层进行一次卷积加一次下采样，得到的特征层与步骤一输入的13*13*512大小的特征层进行堆叠，得到13*13*1024大小的特征层；
S8：将S7得到的13*13*1024大小的特征层进行五次卷积，得到13*13*512的特征层；
S9：在S4、S6、S8中得到的三个特征层，即为经过PANet网络结构得到的三个特征层，分别是52*52*128，26*26*256，13*13*512。
与现有技术相比，本发明的有益效果是：
本发明提供的基于深度神经网络的红火蚁蚁巢远程识别与定位方法，采用无人巡检小车代替人工去获取红火蚁蚁巢图像，实现红火蚁蚁巢的远程识别与定位，检测效率高，能够代替人工巡检，能够对需要监测的野外高风险区域进行红火蚁蚁巢的远程检测，并把检测出的疑似红火蚁蚁巢的区域坐标信息返回给专业技术人员，专业技术人员再对返回的疑似红火蚁蚁巢区域进行重点监测防治，以此做到早发现、早防治的目的，避免了红火蚁入侵造成生态系统的破坏以及避免人被叮咬。
附图说明
图1为本发明中的YOLOv4深度神经网络结构模型图；
图2为本发明中的YOLOv4深度神经网络的测试流程图；
图3为本发明的方法流程图；
图4为本发明的Resblock模块结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例中：基于深度神经网络的红火蚁蚁巢远程识别与定位方法，包括以下步骤：
第一步：采集大量红火蚁蚁巢的图像，并在图像上标注出红火蚁巢穴的位置，形成YOLOv4深度神经网络模型的训练数据集；
第二步：将训练数据集输入YOLOv4深度神经网络模型进行训练，得到训练后的YOLOv4网络模型；
第三步：将训练好的网络模型部署到无人巡检小车的板载计算机上，用于对待检测图像进行识别；
第四步：使用无人巡检小车对红火蚁入侵的高风险区域进行巡检，其搭载的深度相机获取待检测图像和待检测图像的深度信息；
第五步：将待检测图像输入训练好的YOLOv4网络模型进行识别，再把识别出的疑似红火蚁蚁巢在图像上标注显示，实现远程识别，并得到疑似红火蚁蚁巢图像的深度信息；
第六步：根据无人巡检小车自身的GPS经纬度坐标与红火蚁蚁巢图像的深度信息，得到红火蚁蚁巢的坐标信息，实现远程定位红火蚁蚁巢。
在上述实施例中，YOLOv4网络模型训练时的位置损失的函数CIOU为：
Figure BDA0003190256450000071
其中，IOU(P,T)损失定义为：1与预测框P和真实框T之间交并比的差值；
Pc为预测框中心点坐标，Tc为真实框中心点坐标；
ρ2(Pc,Tc)是欧式距离为Pc和Tc的欧式距离的计算；
c为能够同时包含P和T的最小包围框的对角线距离；
α是一个正数，v用来测量长宽比的一致性，公式如下：
Figure BDA0003190256450000072
Figure BDA0003190256450000073
其中，ωgt和hgt为真实框的宽、高；ω和h为预测框的宽、高。
请参阅图1-2，在上述实施例中，YOLOv4网络模型的识别预测步骤如下：
步骤一：将图像尺寸调整为416*416*3，输入YOLOv4深度神经网络模型；
步骤二：将步骤一的输入图像经过CSPDarknet53主干特征提取网络，输出最后三个有效特征层，大小分别为52*52*256，26*26*512，13*13*1024；
步骤三：将步骤二中的13*13*1024大小的特征层经过三次卷积后，得到13*13*512大小的特征层；
步骤四：将步骤三得到的13*13*512大小的特征层，输入SPP网络结构进行特征增强，将输出结果进行堆叠，并进行三次卷积，得到大小为13*13*512的特征层；
步骤五：将步骤二中的52*52*256大小的特征层和26*26*512大小的特征层分别进行一次卷积后，与S3中的13*13*512大小的特征层，一起输入PANet网络结构进行特征增强，得到三个大小分别为52*52*128，26*26*256，13*13*512的特征层；
步骤六：将步骤五的三个特征层进行两次卷积操作，得到大小分别为52*52*18，26*26*18，13*13*18的三个检测层；
步骤七：将步骤六的三个检测层进行解码，得到多个预测框，根据对应的置信度值去判断，去除掉小于设定值的预测框；
步骤八：图像还含有多个预测框的，根据置信度值，把这些预测框用非极大值抑制算法进行筛选，去掉重复的预测框，得到预测结果。
在上述实施例中，图像输入CSPDarknet53主干特征提取网络的具体步骤如下：
步骤一：图像经过一次卷积得到416*416*32大小的特征层；
步骤二：将步骤一得到的特征层进入Resblock模块，进行一次残差块的堆叠，得到208*208*64大小的特征层；
步骤三：将步骤二得到的特征层进入Resblock模块，进行两次残差块的堆叠，得到104*104*128大小的特征层；
步骤四：将步骤三得到的特征层进入Resblock模块，进行八次残差块的堆叠，得到52*52*256大小的特征层；
步骤五：将步骤四得到的特征层进入Resblock模块，进行八次残差块的堆叠，得到26*26*512大小的特征层；
步骤六：将步骤五得到的特征层进入Resblock模块，进行四次残差块的堆叠，得到13*13*1024大小的特征层。
在上述实施例中，请参阅图4，特征层输入Resblock模块的具体步骤如下：
步骤一：将输入的特征层进行一次卷积，得到一个基础特征层；
步骤二：将步骤一得到的基础特征层进行一次卷积，得到一个残差边，作为第一部分；
步骤三：将步骤二得到的基础特征层进行另一次卷积，并进行n次残差块的堆叠，作为第二部分；
步骤四：将步骤二得到的第一部分与步骤三得到的第二部分进行堆叠，得到特征层。
在上述实施例中，特征层输入SPP网络结构的具体步骤如下：
步骤一：输入SPP网络结构的特征层大小为13*13*512；
步骤二：将步骤一的13*13*512大小的特征层进行最大池化处理，池化核大小为13*13，得到13*13*512大小的特征层；
步骤三：将步骤一的13*13*512大小的特征层进行最大池化处理，池化核大小为9*9，得到13*13*512大小的特征层；
步骤四：将步骤一的13*13*512大小的特征层进行最大池化处理，池化核大小为5*5，得到13*13*512大小的特征层；
步骤五：在步骤一到步骤四中所得到的四个特征层，即为经过SPP网络结构得到的特征层。
其中，感受野为一个像素对应原来特征图的区域大小，最大池化操作可以增大神经网络的感受野，使其在图像的某个区域内看到更多的信息。
在上述实施例中，特征层输入PANet网络结构的具体步骤如下：
步骤一：输入PANet的三个特征层大小分别是52*52*128，26*26*256，13*13*512，将13*13*512大小的特征层进行一次卷积加一次上采样，得到的特征层与输入的26*26*256大小的特征层进行堆叠，得到26*26*512大小的特征层；
步骤二：将步骤一得到的26*26*512大小的特征层进行五次卷积，得到26*26*256的特征层；
步骤三：将步骤二得到的26*26*256大小的特征层进行一次卷积加一次上采样，得到的特征层与输入的52*52*128大小的特征层进行堆叠，得到52*52*256大小的特征层；
步骤四：将步骤三得到的52*52*256大小的特征层进行五次卷积，得到52*52*128的特征层；
步骤五：将步骤四得到的52*52*128大小的特征层进行一次卷积加一次下采样，得到的特征层与步骤二得到的26*26*256大小的特征层进行堆叠，得到26*26*512大小的特征层；
步骤六：将步骤五得到的26*26*512大小的特征层进行五次卷积，得到26*26*256的特征层；
步骤七：将步骤六得到的26*26*256大小的特征层进行一次卷积加一次下采样，得到的特征层与步骤一输入的13*13*512大小的特征层进行堆叠，得到13*13*1024大小的特征层；
步骤八：将步骤七得到的13*13*1024大小的特征层进行五次卷积，得到13*13*512的特征层；
步骤九：在步骤四、步骤六、步骤八中得到的三个特征层，即为经过PANet网络结构得到的三个特征层，分别是52*52*128，26*26*256，13*13*512。
为了进一步更好的解释说明本发明，还提供如下具体的实施例：
请参阅图3，基于深度神经网络的红火蚁蚁巢远程识别与定位方法，其主要步骤如下：
步骤一，对监测区域进行路径规划，规划无人巡检小车的巡检路线、速度、以及深度相机的拍摄；
步骤二：让无人巡检小车按照设定的路径规划参数自动巡检拍摄，获取监测区域的图像；
步骤三：基于已经使用大量红火蚁蚁巢图像训练好的深度神经网络，把步骤二获得的监测区域图像输入到神经网络进行红火蚁蚁巢的识别；
步骤四：网络识别后会返还出检测图像结果，会把检测出的疑似红火蚁蚁巢在图像上标注显示，并返回拍摄该图像时小车的GPS经纬度坐标以及疑似红火蚁蚁巢的深度信息，得到疑似红火蚁蚁巢的GPS经纬度坐标；
步骤五：根据步骤四的坐标位置，专业技术人员实地对疑似红火蚁蚁巢区域进行重点防控；
步骤六：重复步骤五，直至所有疑似区域全部检测完毕。
本发明实施例中采用无人巡检小车代替人工去获取红火蚁蚁巢图像，实现红火蚁蚁巢的远程识别与定位，提高检测效率，减少人员投入，且能防止红火蚁对人的叮咬；其次，采用深度相机进行拍摄图像，能够获取红火蚁蚁巢图像的深度信息，实现红火蚁蚁巢的精准定位。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (7)

1.基于深度神经网络的红火蚁蚁巢远程识别与定位方法，其特征在于，包括以下步骤：
S1：采集大量红火蚁蚁巢的图像，并在图像上标注出红火蚁巢穴的位置，形成YOLOv4深度神经网络模型的训练数据集；
S2：将训练数据集输入YOLOv4深度神经网络模型进行训练，得到训练后的YOLOv4网络模型；
S3：将训练好的网络模型部署到无人巡检小车的板载计算机上，用于对待检测图像进行识别；
S4：使用无人巡检小车对红火蚁入侵的高风险区域进行巡检，其搭载的深度相机获取待检测图像和待检测图像的深度信息；
S5：将待检测图像输入训练好的YOLOv4网络模型进行识别，再把识别出的疑似红火蚁蚁巢在图像上标注显示，实现远程识别，并得到疑似红火蚁蚁巢图像的深度信息；
S6：根据无人巡检小车自身的GPS经纬度坐标与红火蚁蚁巢图像的深度信息，得到红火蚁蚁巢的坐标信息，实现远程定位红火蚁蚁巢。
2.如权利要求1所述的基于深度神经网络的红火蚁蚁巢远程识别与定位方法，其特征在于：YOLOv4网络模型训练时的位置损失的函数CIOU为：
Figure FDA0003190256440000011
其中，IOU(P,T)损失定义为：1与预测框P和真实框T之间交并比的差值；
Pc为预测框中心点坐标，Tc为真实框中心点坐标；
ρ2(Pc,Tc)是欧式距离为Pc和Tc的欧式距离的计算；
c为能够同时包含P和T的最小包围框的对角线距离；
α是一个正数，v用来测量长宽比的一致性，公式如下：
Figure FDA0003190256440000012
Figure FDA0003190256440000021
其中，ωgt和hgt为真实框的宽、高；ω和h为预测框的宽、高。
3.如权利要求2所述的基于深度神经网络的红火蚁蚁巢远程识别与定位方法，其特征在于：YOLOv4网络模型的识别预测步骤如下：
S1：将图像尺寸调整为416*416*3，输入YOLOv4深度神经网络模型；
S2：将S1的输入图像经过CSPDarknet53主干特征提取网络，输出最后三个有效特征层，大小分别为52*52*256，26*26*512，13*13*1024；
S3：将S2中的13*13*1024大小的特征层经过三次卷积后，得到13*13*512大小的特征层；
S4：将S3得到的13*13*512大小的特征层，输入SPP网络结构进行特征增强，将输出结果进行堆叠，并进行三次卷积，得到大小为13*13*512的特征层；
S5：将S2中的52*52*256大小的特征层和26*26*512大小的特征层分别进行一次卷积后，与S3中的13*13*512大小的特征层，一起输入PANet网络结构进行特征增强，得到三个大小分别为52*52*128，26*26*256，13*13*512的特征层；
S6：将S5的三个特征层进行两次卷积操作，得到大小分别为52*52*18，26*26*18，13*13*18的三个检测层；
S7：将S6的三个检测层进行解码，得到多个预测框，根据对应的置信度值去判断，去除掉小于设定值的预测框；
S8：图像还含有多个预测框的，根据置信度值，把这些预测框用非极大值抑制算法进行筛选，去掉重复的预测框，得到预测结果。
4.如权利要求3所述的基于深度神经网络的红火蚁蚁巢远程识别与定位方法，其特征在于：图像输入CSPDarknet53主干特征提取网络的具体步骤如下：
S1：图像经过一次卷积得到416*416*32大小的特征层；
S2：将S1得到的特征层进入Resblock模块，进行一次残差块的堆叠，得到208*208*64大小的特征层；
S3：将S2得到的特征层进入Resblock模块，进行两次残差块的堆叠，得到104*104*128大小的特征层；
S4：将S3得到的特征层进入Resblock模块，进行八次残差块的堆叠，得到52*52*256大小的特征层；
S5：将S4得到的特征层进入Resblock模块，进行八次残差块的堆叠，得到26*26*512大小的特征层；
S6：将S5得到的特征层进入Resblock模块，进行四次残差块的堆叠，得到13*13*1024大小的特征层。
5.如权利要求4所述的基于深度神经网络的红火蚁蚁巢远程识别与定位方法，其特征在于，特征层输入Resblock模块的具体步骤如下：
S1：将输入的特征层进行一次卷积，得到一个基础特征层；
S2：将S1得到的基础特征层进行一次卷积，得到一个残差边，作为第一部分；
S3：将S2得到的基础特征层进行另一次卷积，并进行n次残差块的堆叠，作为第二部分；
S4：将S2得到的第一部分与S3得到的第二部分进行堆叠，得到特征层。
6.如权利要求3所述的基于深度神经网络的红火蚁蚁巢远程识别与定位方法，其特征在于，特征层输入SPP网络结构的具体步骤如下：
S1：输入SPP网络结构的特征层大小为13*13*512；
S2：将S1的13*13*512大小的特征层进行最大池化处理，池化核大小为13*13，得到13*13*512大小的特征层；
S3：将S1的13*13*512大小的特征层进行最大池化处理，池化核大小为9*9，得到13*13*512大小的特征层；
S4：将S1的13*13*512大小的特征层进行最大池化处理，池化核大小为5*5，得到13*13*512大小的特征层；
S5：在S1-S4中所得到的四个特征层，即为经过SPP网络结构得到的特征层。
7.如权利要求3所述的基于深度神经网络的红火蚁蚁巢远程识别与定位方法，其特征在于，特征层输入PANet网络结构的具体步骤如下：
S1：输入PANet的三个特征层大小分别是52*52*128，26*26*256，13*13*512，将13*13*512大小的特征层进行一次卷积加一次上采样，得到的特征层与输入的26*26*256大小的特征层进行堆叠，得到26*26*512大小的特征层；
S2：将S1得到的26*26*512大小的特征层进行五次卷积，得到26*26*256的特征层；
S3：将S2得到的26*26*256大小的特征层进行一次卷积加一次上采样，得到的特征层与输入的52*52*128大小的特征层进行堆叠，得到52*52*256大小的特征层；
S4：将S3得到的52*52*256大小的特征层进行五次卷积，得到52*52*128的特征层；
S5：将S4得到的52*52*128大小的特征层进行一次卷积加一次下采样，得到的特征层与步骤二得到的26*26*256大小的特征层进行堆叠，得到26*26*512大小的特征层；
S6：将S5得到的26*26*512大小的特征层进行五次卷积，得到26*26*256的特征层；
S7：将S6得到的26*26*256大小的特征层进行一次卷积加一次下采样，得到的特征层与步骤一输入的13*13*512大小的特征层进行堆叠，得到13*13*1024大小的特征层；
S8：将S7得到的13*13*1024大小的特征层进行五次卷积，得到13*13*512的特征层；
S9：在S4、S6、S8中得到的三个特征层，即为经过PANet网络结构得到的三个特征层，分别是52*52*128，26*26*256，13*13*512。
CN202110875921.2A 2021-07-30 2021-07-30 基于深度神经网络的红火蚁蚁巢远程识别与定位方法 Pending CN113569769A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110875921.2A CN113569769A (zh) 2021-07-30 2021-07-30 基于深度神经网络的红火蚁蚁巢远程识别与定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110875921.2A CN113569769A (zh) 2021-07-30 2021-07-30 基于深度神经网络的红火蚁蚁巢远程识别与定位方法

Publications (1)

Publication Number Publication Date
CN113569769A true CN113569769A (zh) 2021-10-29

Family

ID=78169769

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110875921.2A Pending CN113569769A (zh) 2021-07-30 2021-07-30 基于深度神经网络的红火蚁蚁巢远程识别与定位方法

Country Status (1)

Country Link
CN (1) CN113569769A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114128673A (zh) * 2021-12-14 2022-03-04 仲恺农业工程学院 基于混合深度神经网络的肉鸽精准饲喂方法
CN114219051A (zh) * 2022-02-23 2022-03-22 成都明途科技有限公司 图像分类方法、分类模型的训练方法、装置及电子设备
CN114708322A (zh) * 2022-03-03 2022-07-05 仲恺农业工程学院 一种红火蚁蚁巢被河流、公路分隔开的判断方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN211696367U (zh) * 2020-04-13 2020-10-16 江西省水土保持科学研究院 一种基于无人机遥测的野外红火蚁灾情监测系统
CN112001339A (zh) * 2020-08-27 2020-11-27 杭州电子科技大学 一种基于YOLO v4的行人社交距离实时监测方法
CN112101221A (zh) * 2020-09-15 2020-12-18 哈尔滨理工大学 一种用于交通信号灯实时检测与识别的方法
US20200410273A1 (en) * 2018-08-24 2020-12-31 Tencent Technology (Shenzhen) Company Limited Target detection method and apparatus, computer-readable storage medium, and computer device
CN112668490A (zh) * 2020-12-30 2021-04-16 浙江托普云农科技股份有限公司 基于YOLOv4的害虫检测方法、系统、装置及可读存储介质
CN112767357A (zh) * 2021-01-20 2021-05-07 沈阳建筑大学 一种基于Yolov4的混凝土结构病害检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200410273A1 (en) * 2018-08-24 2020-12-31 Tencent Technology (Shenzhen) Company Limited Target detection method and apparatus, computer-readable storage medium, and computer device
CN211696367U (zh) * 2020-04-13 2020-10-16 江西省水土保持科学研究院 一种基于无人机遥测的野外红火蚁灾情监测系统
CN112001339A (zh) * 2020-08-27 2020-11-27 杭州电子科技大学 一种基于YOLO v4的行人社交距离实时监测方法
CN112101221A (zh) * 2020-09-15 2020-12-18 哈尔滨理工大学 一种用于交通信号灯实时检测与识别的方法
CN112668490A (zh) * 2020-12-30 2021-04-16 浙江托普云农科技股份有限公司 基于YOLOv4的害虫检测方法、系统、装置及可读存储介质
CN112767357A (zh) * 2021-01-20 2021-05-07 沈阳建筑大学 一种基于Yolov4的混凝土结构病害检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BRAND-R: "目标检测---YOLOV4", 《HTTPS://BLOG.CSDN.NET/LONGING_AA/ARTICLE/DETAILS/113269477》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114128673A (zh) * 2021-12-14 2022-03-04 仲恺农业工程学院 基于混合深度神经网络的肉鸽精准饲喂方法
CN114219051A (zh) * 2022-02-23 2022-03-22 成都明途科技有限公司 图像分类方法、分类模型的训练方法、装置及电子设备
CN114219051B (zh) * 2022-02-23 2022-05-06 成都明途科技有限公司 图像分类方法、分类模型的训练方法、装置及电子设备
CN114708322A (zh) * 2022-03-03 2022-07-05 仲恺农业工程学院 一种红火蚁蚁巢被河流、公路分隔开的判断方法
CN114708322B (zh) * 2022-03-03 2024-05-17 仲恺农业工程学院 一种红火蚁蚁巢被河流、公路分隔开的判断方法

Similar Documents

Publication Publication Date Title
CN113569769A (zh) 基于深度神经网络的红火蚁蚁巢远程识别与定位方法
CN111444809B (zh) 一种基于改进YOLOv3的输电线路异常目标检测方法
CN104850836B (zh) 基于深度卷积神经网络的害虫图像自动识别方法
CN109544501B (zh) 一种基于无人机多源图像特征匹配的输电设备缺陷检测方法
CN108010030A (zh) 一种基于深度学习的航拍图像绝缘子实时检测方法
CN107633199A (zh) 一种基于深度学习的苹果采摘机器人果实目标检测方法
CN110969205A (zh) 一种基于目标检测的森林烟火检测方法、存储介质和设备
CN107194396A (zh) 国土资源视频监控系统中基于特定违章建筑识别预警方法
CN109255286A (zh) 一种基于yolo深度学习网络框架的无人机光学快速检测识别方法
CN108564065A (zh) 一种基于ssd的电缆隧道明火识别方法
CN107818303A (zh) 无人机油气管线影像自动对比分析方法、系统及软件存储器
CN109458978B (zh) 一种基于多尺度检测算法的天线下倾角测量方法
CN112229845A (zh) 基于视觉导航技术的无人机高精度饶塔智能巡检方法
CN113887412A (zh) 污染排放的检测方法、检测终端、监控系统及存储介质
CN111125290A (zh) 一种基于河长制的智能巡河方法、装置及存储介质
CN115809986A (zh) 一种多传感器融合的输电走廊智能外破检测方法
CN110703760A (zh) 一种用于安防巡检机器人的新增可疑物体检测方法
CN115272826A (zh) 一种基于卷积神经网络的图像识别方法、装置及系统
CN112435240B (zh) 一种面向工人违规使用手机的深度视觉手机检测系统
CN113610009A (zh) 一种洪涝灾害无人机影像信息提取系统
CN113379738A (zh) 一种基于图像的疫木检测与定位方法及系统
CN105741479A (zh) 基于热成像和烟雾识别一体森林防火ia-pcnn算法
CN113033386A (zh) 一种基于高分辨率遥感影像的输电线路通道隐患识别方法及系统
CN114782844B (zh) 一种松材线虫病树识别方法、系统和存储介质
CN116895036A (zh) 一种基于深度学习的耕地保护预警方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20211029