CN117496105A - 一种农业害虫视觉识别系统及方法 - Google Patents
一种农业害虫视觉识别系统及方法 Download PDFInfo
- Publication number
- CN117496105A CN117496105A CN202410004944.XA CN202410004944A CN117496105A CN 117496105 A CN117496105 A CN 117496105A CN 202410004944 A CN202410004944 A CN 202410004944A CN 117496105 A CN117496105 A CN 117496105A
- Authority
- CN
- China
- Prior art keywords
- visual
- crops
- picture
- crop
- pest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 241000607479 Yersinia pestis Species 0.000 title claims abstract description 137
- 230000000007 visual effect Effects 0.000 title claims abstract description 136
- 238000000034 method Methods 0.000 title claims abstract description 14
- 238000004458 analytical method Methods 0.000 claims abstract description 64
- 239000002689 soil Substances 0.000 claims abstract description 33
- 230000003044 adaptive effect Effects 0.000 claims description 14
- 101150044960 PSPN gene Proteins 0.000 claims description 9
- 101100301987 Rattus norvegicus Rida gene Proteins 0.000 claims description 9
- 210000000988 bone and bone Anatomy 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 abstract description 17
- 238000007689 inspection Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 241000238631 Hexapoda Species 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 241000241125 Gryllotalpa gryllotalpa Species 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000012271 agricultural production Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003306 harvesting Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000003449 preventive effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U20/00—Constructional aspects of UAVs
- B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
- B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R2011/0042—Arrangements for holding or mounting articles, not otherwise provided for characterised by mounting means
- B60R2011/008—Adjustable or movable supports
- B60R2011/0084—Adjustable or movable supports with adjustment by linear movement in their operational position
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Mechanical Engineering (AREA)
- Remote Sensing (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Biodiversity & Conservation Biology (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Aviation & Aerospace Engineering (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种农业害虫视觉识别系统及方法,涉及农作物害虫视觉分析技术领域,包括用于获取农作物整体画面的第一拍摄单元、用于获取农作物间隙土壤画面的第二拍摄单元和用于拍摄农作物顶部空间画面的第三拍摄单元和视觉分析服务器。本发明通过第一拍摄单元拍摄农作物整体画面,展示农作物的叶面及枝茎上的害虫画面;同时通过第二拍摄单元获取农作物间隙土壤画面,将农作物间隙土壤画面也纳入害虫监测范围内;采用第三拍摄单元拍摄农作物顶部空间画面对于农作物害虫的监测,使农作物害虫监测更加全面;害虫的视觉识别采用视觉分析服务器布设的害虫目标视觉分析网络实现,大幅提升区域范围内的农作物识别的准确率及完整性。
Description
技术领域
本发明涉及农作物害虫视觉分析技术领域,尤其是涉及一种农业害虫视觉识别系统及方法。
背景技术
作物害虫会对作物造成直接伤害,导致减产甚至绝收。传统的农作物害虫识别方法主要依靠人工调查,这不仅费时费力,而且效率低下。利用计算机视觉技术,可以快速准确地识别害虫,大大提高了识别的效率。农及时准确地识别害虫,可以及时采取防治措施,最大限度地减少农作物损失;计算机视觉技术可以与无人机、农业机器人等技术结合,实现农田的实时监控和精准管理,推动农业现代化和精准农业的发展;农作物害虫的视觉识别不仅可以提高农业生产效率,减少损失,降低成本,还可以促进精准农业的发展,保障食品安全,保护环境,具有极高的必要性。
现有的农作物害虫的视觉识别都是基于局部采样的图像来进行分析,通过固定设置的摄像头或者无人机等拍摄手段,获取固定地点的或随机地点的目标监测区域的部分植物图像,并基于部分植物图像进行图像分析,得到虫情图像分析结果。
公开号为CN108040997A的中国发明专利公开一种基于机器视觉的虫害监测方法,其步骤包括:在害虫聚集处安装诱虫装置,并设置图像采集装置面向诱虫装置采集图像;识别所采集图像中的害虫并得出害虫数量;若害虫数量大于或等于预先设定的害虫数量阈值,则将识别到的各个害虫在图像中所处的区域分别提取为多个害虫疑似图像,判断每个害虫疑似图像的识别正确率;根据害虫数量和每个害虫疑似图像的识别正确率计算出虫害预测水平。
该方案就是典型的局部采样的农作物害虫视觉分析方法,采用局部设置的诱虫装置来进行诱虫后,再通过图像采集装置获取被诱害虫的画面,基于画面进行视觉分析得到虫情信息,上述方案存在的缺陷是虫情分析结果一是受诱虫装置的影响较大,无论什么诱虫装置也不可能实现对所有害虫的诱捕,因此虫情分析结果受诱捕装置设置位置及诱捕害虫的结果影响很大,因此图像分析的虫情结果虽然能一定程度预测虫害水平,但其结果准确率及完整性并不理想。
发明内容
为了解决上述技术问题,本发明提供一种农业害虫视觉识别系统及方法。采用如下的技术方案:
一种农业害虫视觉识别系统,包括用于获取农作物整体画面的第一拍摄单元、用于获取农作物间隙土壤画面的第二拍摄单元和用于拍摄农作物顶部空间画面的第三拍摄单元和视觉分析服务器,所述第一拍摄单元、第二拍摄单元和第三拍摄单元的视觉图像数据输出口分别与视觉分析服务器通信连接,所述视觉分析服务器布置害虫目标视觉分析网络,所述害虫目标视觉分析网络包括视觉数据输入端、Backbone网络、Neck网络和识别结果输出端,所述视觉数据输入端用于对视觉图像数据进行预处理并输出初始预测框,预处理后的视觉图像数据传输给Backbone网络,Backbone网络用于提取视觉图像数据的害虫特征点,Backbone网络的提取结果数据输送到Neck网络,Neck网络用于定位目标害虫特征,Neck网络的定位结果发送给识别结果输出端,所述识别结果输出端基于损失函数对目标特征进行害虫预测结果输出,并绘制修正后的预测框。
通过采用上述技术方案,区别于传统采样抽检的方式来获取农作物检测目标的视觉图像,通过第一拍摄单元拍摄农作物整体画面,这个农作物整体画面是指农作物顶部拍摄的全貌画面,在分辨率足够的情况下,可以展示农作物的叶面及枝茎上的害虫画面;同时还需要通过第二拍摄单元获取农作物间隙土壤画面,因为有的害虫例如蝼蛄,会经常位于土壤表面爬行,而对于叶面的拍摄并不能获取这类害虫的画面信息,因此将农作物间隙土壤画面也纳入害虫监测范围内,同理有的害虫还会低空飞行,采用第三拍摄单元拍摄农作物顶部空间画面对于农作物害虫的监测,使农作物害虫监测更加全面;
具体的害虫的视觉识别采用视觉分析服务器布设的害虫目标视觉分析网络实现,能高效地对大批量及大尺寸的原始图像进行分析后实现害虫预测框输出,大幅提升区域范围内的农作物识别的准确率及完整性。
可选的,所述第一拍摄单元包括多个无人机、多个第一视觉摄像头和基于芯片的无人机飞控中心,多个第一视觉摄像头分别挂载安装在多个无人机的底部,且镜头垂直朝下,无人机飞控中心分别控制多个无人机的飞行动作,并分别控制多个第一视觉摄像头的拍摄动作,实现对目标范围进行同拍摄高度的全覆盖拍摄,无人机飞控中心与视觉分析服务器通信连接。
通过采用上述技术方案,采用多个无人机来获取农作物顶部的整体画面,无人机可在无人机飞控中心的控制下便捷准确地进行高度的调整,适配不同的农作物拍摄工作,且根据视觉控制,可以进行拍摄焦点的便捷调整。
可选的,所述第二拍摄单元采用第一拍摄单元降低拍摄高度实现,将第一视觉摄像头的拍摄焦点控制在相邻四株农作物的中间空地位置,通过多个无人机的多次拍摄获取多张农作物间隙土壤画面。
通过采用上述技术方案,因为有的害虫会经常位于土壤表面爬行,或者位于农作物之间的空间进行飞行,而单纯的对于叶面的拍摄并不能获取这类害虫的画面信息,因此将农作物间隙土壤画面也纳入害虫监测范围内,能有效提升农作物害虫监测的完整性。
可选的,所述第三拍摄单元包括电动小车、伸缩杆和第三视觉摄像头,所述电动小车位于农作物的行间移动,所述伸缩杆的底部安装在电动小车的顶部,所述第三视觉摄像头安装在伸缩杆的顶部,用于从侧向拍摄农作物顶部空间画面。
通过采用上述技术方案,为了获取农作物顶部空间画面,这个空间画面并不需要高度很高,一般只需拍摄农作物顶部以上0米到3米的空间之间即可,具体的采用电动小车位于行间移动,搭载一个伸缩杆调节第三视觉摄像头的拍摄高度可以实现从侧向拍摄农作物顶部空间画面,可以对农作物上方飞行的害虫进行视觉捕获,能进一步提升农作物视觉监测的完整性。
可选的,视觉分析服务器用于将第一拍摄单元获得的多张农作物顶部拍摄的多张农作物整体画面和第二拍摄单元获得的多张农作物间隙土壤画面进行拼接处理,且拼接后保持原始图像分辨率,得到农作物全画面图;
将第三拍摄单元拍摄的同一行农作物的多张农作物顶部空间画面进行首尾拼接,形成一幅长条状拼接图,再将多行农作物的长条状拼接图进行上下拼接,形成农作物顶部空间全画面图;
将农作物全画面图和顶部空间全画面图输入到害虫目标视觉分析网络进行视觉分析。
通过采用上述技术方案,为了保证后续视觉分析的一致性,将多张农作物顶部拍摄的多张农作物整体画面和多张农作物间隙土壤画面进行拼接处理,且拼接后保持原始图像分辨率,得到农作物全画面图;
同理采用农作物顶部空间全画面图,最终得到两张全画面图来进行视觉分析,使分析的准确性更好。
可选的,视觉数据输入端包括数据增强模块、自适应锚框模块和自适应图片缩放模块,所述数据增强模块用于提升农作物全画面图和农作物顶部空间全画面图的batchsize,自适应锚框模块与数据增强模块连接,用于针对不同的训练集,给出初始预测框,自适应图片缩放模块自适应图片压缩,对于输入到网络的图片进行归一化处理。
通过采用上述技术方案,输入端主要有三个部分,分别为Mosaic数据增强、自适应锚框计算和自适应图片缩放,使特征图初步处理。Mosaic数据增强的主要思想是,将四张图片进行随机裁剪,再拼接到一张图上作为训练数据,优点在于丰富了图片的背景,变相提高了batch size;自适应锚框计算是针对不同的训练集,给出初始的预测框,进而和真实框进行对比,计算两者差距,在反向更新,迭代网络参数;自适应图片压缩,对于输入到网络的图片,宽高,像素各不相同,需要及进行归一化处理。
可选的,Backbone网络包括Focus结构和CSP结构,利用Focus结构和CSP结构提取害虫体征。
通过采用上述技术方案,主干网络主要采用了两种结构,Focus结构和CSP结构,利用这两种结构,可以有效提取体征。Focus结构通过slice操作对输入的图片进行裁剪,由原始的608×608×3图像,输出一个304×304×12的特征映射,接着再经过一次32个卷积核的卷积操作,最终变成304×304×32的特征图。再通过CSP模块,将基础层和特征映射划分为两个部分,然后通过跨阶段层次结构将它们合并,在减少了计算量的同时可以保证特征提取的准确率。
可选的,Neck网络采用FPN+PAN的结构。
通过采用上述技术方案,Neck采用FPN+PAN的结构,FPN自顶向下,将高层的强特征语义特征传递下来,对整个金字塔进行增强;PAN针对定位信息,在FPN的后面添加一个自底向上的金字塔,对FPN补充,将低层的强定位特征传递上去。通过组合这两种模块,可以很好完成目标定位的功能。
可选的,识别结果输出端采用CIoU Loss函数。
通过采用上述技术方案,输出端采用CIoU Loss函数。目标检查任务的损失函数一般由分类损失函数和回归损失函数两部分构成,由最初的IoU Loss进化而来,通过计算预测框和真实框之间的数值差异,判断预测结果的好坏,但是IoU Loss只考虑了检测框和真实框的重叠面积,GIoU Loss在IoU的基础上,解决了边界框不重合时出现的问题,DIoULoss在GIoU的基础上考虑了边界框中心点距离的问题,CIoU Loss在DIoU的基础上,又考虑了边界框宽高比的尺度信息,为目前最合适的回归损失函数。
一种农业害虫视觉识别方法,采用一种农业害虫视觉识别系统进行农业害虫视觉识别,包括以下步骤:
步骤1,无人机飞控中心分别控制多个无人机的飞行高度为农作物平均株高以上5米-10米,依次位于农作物顶部中心位置控制第一视觉摄像头拍摄,每张画面的拍摄高度一致,获取n张农作物整体画面,分别记为P1,P2,……,Pn;
步骤2,无人机飞控中心再次控制多个无人机的飞行高度为地面以上3米-5米,依次位于四柱农作物的中心位置控制第一视觉摄像头拍摄,获取n张农作物间隙土壤画面,分别记为Ps1,Ps2,……,Psn;
步骤3,控制伸缩杆进行伸缩,使第三视觉摄像头拍摄焦点位于农作物上方,且拍摄画面的底部位于同一行农作物的第一株农作物的顶面,控制电动小车位于农作物的行间中心线移动,从侧向拍摄农作物顶部空间画面,获取n张农作物顶部空间画面,分别记为Psp1,Psp2,……,Pspn;
分别将n张农作物整体画面、n张农作物间隙土壤画面和n张农作物顶部空间画面传输给视觉分析服务器;
步骤4,视觉分析服务器采用图像拼接算法对Psp1,Psp2,……,Pspn和Ps1,Ps2,……,Psn进行拼接,生成农作物全画面图;
先对Psp1,Psp2,……,Pspn中同一行农作物的多张农作物顶部空间画面进行首尾拼接,形成一幅长条状拼接图,再将多行农作物的长条状拼接图进行上下拼接,形成农作物顶部空间全画面图;
步骤5,视觉分析服务器依次将农作物全画面图和农作物顶部空间全画面图输入害虫目标视觉分析网络,害虫目标视觉分析网络的识别结果输出端输出害虫识别结果,并进行预测框标记显示。
综上所述,本发明包括以下至少一种有益技术效果:
本发明能提供一种农业害虫视觉识别系统及方法,区别于传统采样抽检的方式,通过第一拍摄单元拍摄农作物整体画面,展示农作物的叶面及枝茎上的害虫画面;同时通过第二拍摄单元获取农作物间隙土壤画面,将农作物间隙土壤画面也纳入害虫监测范围内;采用第三拍摄单元拍摄农作物顶部空间画面对于农作物害虫的监测,使农作物害虫监测更加全面;害虫的视觉识别采用视觉分析服务器布设的害虫目标视觉分析网络实现,能高效地对大批量及大尺寸的原始图像进行分析后实现害虫预测框输出,大幅提升区域范围内的农作物识别的准确率及完整性。
附图说明
图1是本发明一种农业害虫视觉识别系统的电器件连接原理示意图;
图2是本发明一种农业害虫视觉识别系统第一拍摄单元进行拍摄的结构原理示意图;
图3是本发明一种农业害虫视觉识别系统第二拍摄单元进行拍摄的结构示意图;
图4是本发明一种农业害虫视觉识别系统第三拍摄单元进行拍摄的结构示意图。
附图标记说明:1、第一拍摄单元;11、无人机;12、第一视觉摄像头;13、无人机飞控中心;2、第二拍摄单元;3、第三拍摄单元;31、电动小车;32、伸缩杆;33、第三视觉摄像头;4、视觉分析服务器;41、视觉数据输入端;42、Backbone网络;43、Neck网络;44、识别结果输出端。
具体实施方式
以下结合附图对本发明作进一步详细说明。
本发明实施例公开一种农业害虫视觉识别系统及方法。
参照图1-图4,实施例1,一种农业害虫视觉识别系统,包括用于获取农作物整体画面的第一拍摄单元1、用于获取农作物间隙土壤画面的第二拍摄单元2和用于拍摄农作物顶部空间画面的第三拍摄单元3和视觉分析服务器4,第一拍摄单元1、第二拍摄单元2和第三拍摄单元3的视觉图像数据输出口分别与视觉分析服务器4通信连接,视觉分析服务器4布置害虫目标视觉分析网络,害虫目标视觉分析网络包括视觉数据输入端41、Backbone网络42、Neck网络43和识别结果输出端44,视觉数据输入端41用于对视觉图像数据进行预处理并输出初始预测框,预处理后的视觉图像数据传输给Backbone网络42,Backbone网络42用于提取视觉图像数据的害虫特征点,Backbone网络42的提取结果数据输送到Neck网络43,Neck网络43用于定位目标害虫特征,Neck网络43的定位结果发送给识别结果输出端44,识别结果输出端44基于损失函数对目标特征进行害虫预测结果输出,并绘制修正后的预测框。
区别于传统采样抽检的方式来获取农作物检测目标的视觉图像,通过第一拍摄单元1拍摄农作物整体画面,这个农作物整体画面是指农作物顶部拍摄的全貌画面,在分辨率足够的情况下,可以展示农作物的叶面及枝茎上的害虫画面;同时还需要通过第二拍摄单元2获取农作物间隙土壤画面,因为有的害虫例如蝼蛄,会经常位于土壤表面爬行,而对于叶面的拍摄并不能获取这类害虫的画面信息,因此将农作物间隙土壤画面也纳入害虫监测范围内,同理有的害虫还会低空飞行,采用第三拍摄单元3拍摄农作物顶部空间画面对于农作物害虫的监测,使农作物害虫监测更加全面;
具体的害虫的视觉识别采用视觉分析服务器4布设的害虫目标视觉分析网络实现,能高效地对大批量及大尺寸的原始图像进行分析后实现害虫预测框输出,大幅提升区域范围内的农作物识别的准确率及完整性。
实施例2,第一拍摄单元1包括多个无人机11、多个第一视觉摄像头12和基于芯片的无人机飞控中心13,多个第一视觉摄像头12分别挂载安装在多个无人机11的底部,且镜头垂直朝下,无人机飞控中心13分别控制多个无人机11的飞行动作,并分别控制多个第一视觉摄像头12的拍摄动作,实现对目标范围进行同拍摄高度的全覆盖拍摄,无人机飞控中心13与视觉分析服务器4通信连接。
采用多个无人机11来获取农作物顶部的整体画面,无人机11可在无人机飞控中心13的控制下便捷准确地进行高度的调整,适配不同的农作物拍摄工作,且根据视觉控制,可以进行拍摄焦点的便捷调整。
实施例3,第二拍摄单元2采用第一拍摄单元1降低拍摄高度实现,将第一视觉摄像头12的拍摄焦点控制在相邻四株农作物的中间空地位置,通过多个无人机11的多次拍摄获取多张农作物间隙土壤画面。
因为有的害虫会经常位于土壤表面爬行,或者位于农作物之间的空间进行飞行,而单纯的对于叶面的拍摄并不能获取这类害虫的画面信息,因此将农作物间隙土壤画面也纳入害虫监测范围内,能有效提升农作物害虫监测的完整性。
实施例4,第三拍摄单元3包括电动小车31、伸缩杆32和第三视觉摄像头33,电动小车31位于农作物的行间移动,伸缩杆32的底部安装在电动小车31的顶部,第三视觉摄像头33安装在伸缩杆32的顶部,用于从侧向拍摄农作物顶部空间画面。
为了获取农作物顶部空间画面,这个空间画面并不需要高度很高,一般只需拍摄农作物顶部以上0米到3米的空间之间即可,具体的采用电动小车31位于行间移动,搭载一个伸缩杆32调节第三视觉摄像头33的拍摄高度可以实现从侧向拍摄农作物顶部空间画面,可以对农作物上方飞行的害虫进行视觉捕获,能进一步提升农作物视觉监测的完整性。
实施例5,视觉分析服务器4用于将第一拍摄单元1获得的多张农作物顶部拍摄的多张农作物整体画面和第二拍摄单元2获得的多张农作物间隙土壤画面进行拼接处理,且拼接后保持原始图像分辨率,得到农作物全画面图;
将第三拍摄单元3拍摄的同一行农作物的多张农作物顶部空间画面进行首尾拼接,形成一幅长条状拼接图,再将多行农作物的长条状拼接图进行上下拼接,形成农作物顶部空间全画面图;
将农作物全画面图和顶部空间全画面图输入到害虫目标视觉分析网络进行视觉分析。
为了保证后续视觉分析的一致性,将多张农作物顶部拍摄的多张农作物整体画面和多张农作物间隙土壤画面进行拼接处理,且拼接后保持原始图像分辨率,得到农作物全画面图;
同理采用农作物顶部空间全画面图,最终得到两张全画面图来进行视觉分析,使分析的准确性更好。
实施例6,视觉数据输入端41包括数据增强模块、自适应锚框模块和自适应图片缩放模块,数据增强模块用于提升农作物全画面图和农作物顶部空间全画面图的batchsize,自适应锚框模块与数据增强模块连接,用于针对不同的训练集,给出初始预测框,自适应图片缩放模块自适应图片压缩,对于输入到网络的图片进行归一化处理。
输入端主要有三个部分,分别为Mosaic数据增强、自适应锚框计算和自适应图片缩放,使特征图初步处理。Mosaic数据增强的主要思想是,将四张图片进行随机裁剪,再拼接到一张图上作为训练数据,优点在于丰富了图片的背景,变相提高了batch size;自适应锚框计算是针对不同的训练集,给出初始的预测框,进而和真实框进行对比,计算两者差距,在反向更新,迭代网络参数;自适应图片压缩,对于输入到网络的图片,宽高,像素各不相同,需要及进行归一化处理。
实施例7,Backbone网络42包括Focus结构和CSP结构,利用Focus结构和CSP结构提取害虫体征。
主干网络主要采用了两种结构,Focus结构和CSP结构,利用这两种结构,可以有效提取体征。Focus结构通过slice操作对输入的图片进行裁剪,由原始的608×608×3图像,输出一个304×304×12的特征映射,接着再经过一次32个卷积核的卷积操作,最终变成304×304×32的特征图。再通过CSP模块,将基础层和特征映射划分为两个部分,然后通过跨阶段层次结构将它们合并,在减少了计算量的同时可以保证特征提取的准确率。
实施例8,Neck网络43采用FPN+PAN的结构。
Neck采用FPN+PAN的结构,FPN自顶向下,将高层的强特征语义特征传递下来,对整个金字塔进行增强;PAN针对定位信息,在FPN的后面添加一个自底向上的金字塔,对FPN补充,将低层的强定位特征传递上去。通过组合这两个模块,可以很好完成目标定位的功能。
识别结果输出端44采用CIoU Loss函数。
实施例9,输出端采用CIoU Loss函数。目标检查任务的损失函数一般由分类损失函数和回归损失函数两部分构成,由最初的IoU Loss进化而来,通过计算预测框和真实框之间的数值差异,判断预测结果的好坏,但是IoU Loss只考虑了检测框和真实框的重叠面积,GIoU Loss在IoU的基础上,解决了边界框不重合时出现的问题,DIoU Loss在GIoU的基础上考虑了边界框中心点距离的问题,CIoU Loss在DIoU的基础上,又考虑了边界框宽高比的尺度信息,为目前最合适的回归损失函数。
实施例10,一种农业害虫视觉识别方法,采用一种农业害虫视觉识别系统进行农业害虫视觉识别,包括以下步骤:
步骤1,无人机飞控中心13分别控制多个无人机11的飞行高度为农作物平均株高以上5米-10米,依次位于农作物顶部中心位置控制第一视觉摄像头12拍摄,每张画面的拍摄高度一致,获取n张农作物整体画面,分别记为P1,P2,……,Pn;
步骤2,无人机飞控中心13再次控制多个无人机11的飞行高度为地面以上3米-5米,依次位于四柱农作物的中心位置控制第一视觉摄像头12拍摄,获取n张农作物间隙土壤画面,分别记为Ps1,Ps2,……,Psn;
步骤3,控制伸缩杆32进行伸缩,使第三视觉摄像头33拍摄焦点位于农作物上方,且拍摄画面的底部位于同一行农作物的第一株农作物的顶面,控制电动小车31位于农作物的行间中心线移动,从侧向拍摄农作物顶部空间画面,获取n张农作物顶部空间画面,分别记为Psp1,Psp2,……,Pspn;
分别将n张农作物整体画面、n张农作物间隙土壤画面和n张农作物顶部空间画面传输给视觉分析服务器4;
步骤4,视觉分析服务器4采用图像拼接算法对Psp1,Psp2,……,Pspn和Ps1,Ps2,……,Psn进行拼接,生成农作物全画面图;
先对Psp1,Psp2,……,Pspn中同一行农作物的多张农作物顶部空间画面进行首尾拼接,形成一幅长条状拼接图,再将多行农作物的长条状拼接图进行上下拼接,形成农作物顶部空间全画面图;
步骤5,视觉分析服务器4依次将农作物全画面图和农作物顶部空间全画面图输入害虫目标视觉分析网络,害虫目标视觉分析网络的识别结果输出端44输出害虫识别结果,并进行预测框标记显示。
以上均为本发明的较佳实施例,并非以此限制本发明的保护范围,故:凡依本发明的结构、形状、原理所做的等效变化,均应涵盖于本发明的保护范围之内。
Claims (10)
1.一种农业害虫视觉识别系统,其特征在于:包括用于获取农作物整体画面的第一拍摄单元(1)、用于获取农作物间隙土壤画面的第二拍摄单元(2)和用于拍摄农作物顶部空间画面的第三拍摄单元(3)和视觉分析服务器(4),所述第一拍摄单元(1)、第二拍摄单元(2)和第三拍摄单元(3)的视觉图像数据输出口分别与视觉分析服务器(4)通信连接,所述视觉分析服务器(4)布置害虫目标视觉分析网络,所述害虫目标视觉分析网络包括视觉数据输入端(41)、Backbone网络(42)、Neck网络(43)和识别结果输出端(44),所述视觉数据输入端(41)用于对视觉图像数据进行预处理并输出初始预测框,预处理后的视觉图像数据传输给Backbone网络(42),Backbone网络(42)用于提取视觉图像数据的害虫特征点,Backbone网络(42)的提取结果数据输送到Neck网络(43),Neck网络(43)用于定位目标害虫特征,Neck网络(43)的定位结果发送给识别结果输出端(44),所述识别结果输出端(44)基于损失函数对目标特征进行害虫预测结果输出,并绘制修正后的预测框。
2.根据权利要求1所述的一种农业害虫视觉识别系统,其特征在于:所述第一拍摄单元(1)包括多个无人机(11)、多个第一视觉摄像头(12)和基于芯片的无人机飞控中心(13),多个第一视觉摄像头(12)分别挂载安装在多个无人机(11)的底部,且镜头垂直朝下,无人机飞控中心(13)分别控制多个无人机(11)的飞行动作,并分别控制多个第一视觉摄像头(12)的拍摄动作,实现对目标范围进行同拍摄高度的全覆盖拍摄,无人机飞控中心(13)与视觉分析服务器(4)通信连接。
3.根据权利要求2所述的一种农业害虫视觉识别系统,其特征在于:所述第二拍摄单元(2)采用第一拍摄单元(1)降低拍摄高度实现,将第一视觉摄像头(12)的拍摄焦点控制在相邻四株农作物的中间空地位置,通过多个无人机(11)的多次拍摄获取多张农作物间隙土壤画面。
4.根据权利要求3所述的一种农业害虫视觉识别系统,其特征在于:所述第三拍摄单元(3)包括电动小车(31)、伸缩杆(32)和第三视觉摄像头(33),所述电动小车(31)位于农作物的行间移动,所述伸缩杆(32)的底部安装在电动小车(31)的顶部,所述第三视觉摄像头(33)安装在伸缩杆(32)的顶部,用于从侧向拍摄农作物顶部空间画面。
5.根据权利要求1所述的一种农业害虫视觉识别系统,其特征在于:视觉分析服务器(4)用于将第一拍摄单元(1)获得的多张农作物顶部拍摄的多张农作物整体画面和第二拍摄单元(2)获得的多张农作物间隙土壤画面进行拼接处理,且拼接后保持原始图像分辨率,得到农作物全画面图;
将第三拍摄单元(3)拍摄的同一行农作物的多张农作物顶部空间画面进行首尾拼接,形成一幅长条状拼接图,再将多行农作物的长条状拼接图进行上下拼接,形成农作物顶部空间全画面图;
将农作物全画面图和顶部空间全画面图输入到害虫目标视觉分析网络进行视觉分析。
6.根据权利要求1所述的一种农业害虫视觉识别系统,其特征在于:视觉数据输入端(41)包括数据增强模块、自适应锚框模块和自适应图片缩放模块,所述数据增强模块用于提升农作物全画面图和农作物顶部空间全画面图的batchsize,自适应锚框模块与数据增强模块连接,用于针对不同的训练集,给出初始预测框,自适应图片缩放模块自适应图片压缩,对于输入到网络的图片进行归一化处理。
7.根据权利要求1所述的一种农业害虫视觉识别系统,其特征在于:Backbone网络(42)包括Focus结构和CSP结构,利用Focus结构和CSP结构提取害虫体征。
8.根据权利要求1所述的一种农业害虫视觉识别系统,其特征在于:Neck网络(43)采用FPN+PAN的结构。
9.根据权利要求1所述的一种农业害虫视觉识别系统,其特征在于:识别结果输出端(44)采用CIoU Loss函数。
10.一种农业害虫视觉识别方法,其特征在于:采用权利要求4所述的一种农业害虫视觉识别系统进行农业害虫视觉识别,包括以下步骤:
步骤1,无人机飞控中心(13)分别控制多个无人机(11)的飞行高度为农作物平均株高以上5米-10米,依次位于农作物顶部中心位置控制第一视觉摄像头(12)拍摄,每张画面的拍摄高度一致,获取n张农作物整体画面,分别记为P1,P2,……,Pn;
步骤2,无人机飞控中心(13)再次控制多个无人机(11)的飞行高度为地面以上3米-5米,依次位于四柱农作物的中心位置控制第一视觉摄像头(12)拍摄,获取n张农作物间隙土壤画面,分别记为Ps1,Ps2,……,Psn;
步骤3,控制伸缩杆(32)进行伸缩,使第三视觉摄像头(33)拍摄焦点位于农作物上方,且拍摄画面的底部位于同一行农作物的第一株农作物的顶面,控制电动小车(31)位于农作物的行间中心线移动,从侧向拍摄农作物顶部空间画面,获取n张农作物顶部空间画面,分别记为Psp1,Psp2,……,Pspn;
分别将n张农作物整体画面、n张农作物间隙土壤画面和n张农作物顶部空间画面传输给视觉分析服务器(4);
步骤4,视觉分析服务器(4)采用图像拼接算法对Psp1,Psp2,……,Pspn和Ps1,Ps2,……,Psn进行拼接,生成农作物全画面图;
先对Psp1,Psp2,……,Pspn中同一行农作物的多张农作物顶部空间画面进行首尾拼接,形成一幅长条状拼接图,再将多行农作物的长条状拼接图进行上下拼接,形成农作物顶部空间全画面图;
步骤5,视觉分析服务器(4)依次将农作物全画面图和农作物顶部空间全画面图输入害虫目标视觉分析网络,害虫目标视觉分析网络的识别结果输出端(44)输出害虫识别结果,并进行预测框标记显示。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410004944.XA CN117496105B (zh) | 2024-01-03 | 2024-01-03 | 一种农业害虫视觉识别系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410004944.XA CN117496105B (zh) | 2024-01-03 | 2024-01-03 | 一种农业害虫视觉识别系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117496105A true CN117496105A (zh) | 2024-02-02 |
CN117496105B CN117496105B (zh) | 2024-03-12 |
Family
ID=89683444
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410004944.XA Active CN117496105B (zh) | 2024-01-03 | 2024-01-03 | 一种农业害虫视觉识别系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117496105B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113439727A (zh) * | 2021-06-24 | 2021-09-28 | 平安国际智慧城市科技股份有限公司 | 大棚农作物的除虫方法、装置、设备及存储介质 |
CN113608551A (zh) * | 2021-08-11 | 2021-11-05 | 成都信息工程大学 | 无人农机群协同系统及其应用方法 |
CN113925039A (zh) * | 2021-10-12 | 2022-01-14 | 一鼎(福建)生态园林建设有限公司 | 一种基于物联网的园林病虫害智能防护系统及防控方法 |
CN114279490A (zh) * | 2021-11-22 | 2022-04-05 | 杭州睿坤科技有限公司 | 一种用于大田作物病虫害监测设备及方法 |
CN114488921A (zh) * | 2022-04-14 | 2022-05-13 | 山东省农业机械科学研究院 | 一种智慧果园物联网管控系统 |
KR20220080276A (ko) * | 2020-12-07 | 2022-06-14 | 서명랑 | 초지향성 스피커와 인공지능 스트리밍기반의 스마트팜 해충퇴치시스템 |
CN114812663A (zh) * | 2021-01-29 | 2022-07-29 | 巧叶有限责任公司 | 用于耕作的空中传感器和操纵平台及其使用方法 |
CN115937689A (zh) * | 2022-12-30 | 2023-04-07 | 安徽农业大学 | 一种农业害虫智能识别与监测技术 |
CN116543386A (zh) * | 2023-02-02 | 2023-08-04 | 中科合肥智慧农业协同创新研究院 | 一种基于卷积神经网络的农业病虫害图像识别方法 |
CN116616267A (zh) * | 2023-04-04 | 2023-08-22 | 河南理工大学 | 一种农作物病虫害防治的装置和方法 |
-
2024
- 2024-01-03 CN CN202410004944.XA patent/CN117496105B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220080276A (ko) * | 2020-12-07 | 2022-06-14 | 서명랑 | 초지향성 스피커와 인공지능 스트리밍기반의 스마트팜 해충퇴치시스템 |
CN114812663A (zh) * | 2021-01-29 | 2022-07-29 | 巧叶有限责任公司 | 用于耕作的空中传感器和操纵平台及其使用方法 |
CN113439727A (zh) * | 2021-06-24 | 2021-09-28 | 平安国际智慧城市科技股份有限公司 | 大棚农作物的除虫方法、装置、设备及存储介质 |
CN113608551A (zh) * | 2021-08-11 | 2021-11-05 | 成都信息工程大学 | 无人农机群协同系统及其应用方法 |
CN113925039A (zh) * | 2021-10-12 | 2022-01-14 | 一鼎(福建)生态园林建设有限公司 | 一种基于物联网的园林病虫害智能防护系统及防控方法 |
CN114279490A (zh) * | 2021-11-22 | 2022-04-05 | 杭州睿坤科技有限公司 | 一种用于大田作物病虫害监测设备及方法 |
CN114488921A (zh) * | 2022-04-14 | 2022-05-13 | 山东省农业机械科学研究院 | 一种智慧果园物联网管控系统 |
CN115937689A (zh) * | 2022-12-30 | 2023-04-07 | 安徽农业大学 | 一种农业害虫智能识别与监测技术 |
CN116543386A (zh) * | 2023-02-02 | 2023-08-04 | 中科合肥智慧农业协同创新研究院 | 一种基于卷积神经网络的农业病虫害图像识别方法 |
CN116616267A (zh) * | 2023-04-04 | 2023-08-22 | 河南理工大学 | 一种农作物病虫害防治的装置和方法 |
Non-Patent Citations (1)
Title |
---|
张萌;董伟;钱蓉;杨前进;张立平;: "安徽省植保大数据平台建设与应用展望", 农业大数据学报, no. 01, 26 March 2020 (2020-03-26) * |
Also Published As
Publication number | Publication date |
---|---|
CN117496105B (zh) | 2024-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3374928B1 (en) | A method for aerial imagery acquisition and analysis | |
CN112801230B (zh) | 一种配电线路无人机智能验收方法 | |
CN111225855A (zh) | 无人机 | |
Baofeng et al. | Digital surface model applied to unmanned aerial vehicle based photogrammetry to assess potential biotic or abiotic effects on grapevine canopies | |
CN112507768A (zh) | 目标物检测方法、装置和图像采集方法、装置 | |
CN112307992A (zh) | 一种基于无人机可见光遥感的红树植物自动识别方法 | |
CN112734083A (zh) | 一种基于机器视觉的水稻收割机路径规划控制系统 | |
CN114723667A (zh) | 一种农业精细化种植及灾害预防控制系统 | |
KR20180043082A (ko) | 식물병 감지 시스템 및 그 방법 | |
CN117496105B (zh) | 一种农业害虫视觉识别系统及方法 | |
CN110689022A (zh) | 基于叶片匹配的各株作物图像提取方法 | |
CN117456358A (zh) | 一种基于YOLOv5神经网络的植物病虫害检测方法 | |
CN111985472A (zh) | 基于人工智能和主动球机的食槽干草温度图像处理方法 | |
CN117167208A (zh) | 基于uav和cnn的风力发电机叶片损伤智能巡检系统及方法 | |
CN115912183A (zh) | 高压输电线路生态措施巡视方法、系统及可读存储介质 | |
KR20230094918A (ko) | 드론을 이용한 자동화 방제 관리 시스템 및 그 방법 | |
CN113361377A (zh) | 一种植物生长管控模型构建方法、电子设备、存储介质 | |
CN116965394B (zh) | 一种激光除草装置 | |
Gbelec et al. | The Use Of Hyperspectral Sensors In Aerial Inspections Of Overhead Transmission Lines | |
CN117789063A (zh) | 一种无人机机载ai图像处理设备及方法 | |
CN118038370A (zh) | 一种林业病虫害监测系统及方法 | |
CN114494694A (zh) | 一种种植园场景下的语义建图方法 | |
AU2022283024A1 (en) | Method and system for automatically capturing and extracting data from images of agricultural field crops and weeds using machine learning processes | |
Valkovski et al. | Distributed Thermal Scanners for Detecting Changes in Grasslands | |
KR20230076219A (ko) | 저고도 드론을 이용한 농작물 생육 분석 방법 및 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |