CN116389693A - 一种基于无人机航拍的草原牲畜数量自动监测装置及方法 - Google Patents
一种基于无人机航拍的草原牲畜数量自动监测装置及方法 Download PDFInfo
- Publication number
- CN116389693A CN116389693A CN202310648459.1A CN202310648459A CN116389693A CN 116389693 A CN116389693 A CN 116389693A CN 202310648459 A CN202310648459 A CN 202310648459A CN 116389693 A CN116389693 A CN 116389693A
- Authority
- CN
- China
- Prior art keywords
- data
- real
- time
- module
- livestock
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 244000144972 livestock Species 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000012806 monitoring device Methods 0.000 title claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 81
- 238000012544 monitoring process Methods 0.000 claims abstract description 48
- 238000004891 communication Methods 0.000 claims abstract description 27
- 238000013500 data storage Methods 0.000 claims abstract description 24
- 238000011897 real-time detection Methods 0.000 claims abstract description 16
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 11
- 238000001514 detection method Methods 0.000 claims description 41
- 230000002093 peripheral effect Effects 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 13
- 239000007787 solid Substances 0.000 claims description 13
- 230000003993 interaction Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 7
- 230000002776 aggregation Effects 0.000 claims description 6
- 238000004220 aggregation Methods 0.000 claims description 6
- 230000001133 acceleration Effects 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000007726 management method Methods 0.000 claims description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 3
- 238000002347 injection Methods 0.000 claims description 3
- 239000007924 injection Substances 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 claims description 3
- 238000012805 post-processing Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000013461 design Methods 0.000 abstract description 13
- 238000005516 engineering process Methods 0.000 abstract description 10
- 238000009304 pastoral farming Methods 0.000 abstract description 3
- 241001465754 Metazoa Species 0.000 description 13
- 230000006870 function Effects 0.000 description 10
- 238000011835 investigation Methods 0.000 description 7
- 238000011161 development Methods 0.000 description 5
- 101100498818 Arabidopsis thaliana DDR4 gene Proteins 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/13—Receivers
- G01S19/14—Receivers specially adapted for specific applications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/72—Data preparation, e.g. statistical preprocessing of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/78—Television signal recording using magnetic recording
- H04N5/781—Television signal recording using magnetic recording on disks or drums
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/70—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in livestock or poultry
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Remote Sensing (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Radar, Positioning & Navigation (AREA)
- Quality & Reliability (AREA)
- Computer Networks & Wireless Communication (AREA)
- Position Fixing By Use Of Radio Waves (AREA)
- Studio Devices (AREA)
Abstract
本发明提供一种基于无人机航拍的草原牲畜数量自动监测装置及方法,装置由机上系统和地面系统组成;所述机上系统搭载于无人机平台上,包括CCD相机、GPS传感器、数据存储模块、无线通信模块、控制及实时处理模块和供电模块。所述地面系统由无线路由器和用户终端组成。本发明基于机载嵌入式系统,以ZYNQ异构多核处理器为核心,采用软硬件协同设计实现基于卷积神经网络的牲畜目标实时检测、目标数量统计,并提供定位信息。本发明将无人机技术的优势应用到基于航拍图像的牲畜目标监测中,满足草原放牧牲畜数量的实时监测的应用需求。
Description
技术领域
本发明涉及无人机技术和遥感数据实时处理技术领域,尤其涉及一种基于无人机航拍的草原牲畜数量自动监测装置及方法。
背景技术
早在20 世纪 60 年代学术界提出了“以草定畜,草畜平衡”的概念。草畜平衡对现代畜牧业发展、政府宏观调控和草原的生态平衡可持续发展战略有着重要的意义。放牧牲畜资源调查是草畜平衡管理的信息基础。
目前牲畜调查主要采用入户抽样调查方法统计获得,这种方法统计困难、效率低下,且人工劳动强度大。遥感技术给草原牲畜数量核算带来了高效率、高精度的新手段,尤其是无人机航拍影像在大型陆生动物、海洋动物的调查与检测的应用逐步增加。但是在这些研究中,影像采集和处理过程相互分离,目标检测与识别依赖于计算机、工作站等地面设备,依然存在调查周期长、时效性差等问题。探索无人机航拍图像的牲畜目标实时检测技术,依托嵌入式处理器实现在飞行拍摄过程中同步获得目标检测信息,对大面积草原中的牲畜资源的快速普查具有重要意义。
近年来,卷积神经网络在动物目标检测中的研究逐渐增多,但是这些研究大多面向地面处理,以更大的计算规模换取精度的提升,不能直接应用于资源有限的嵌入式实时检测中。另一方面,在实时目标检测的硬件平台中,FPGA因具有更灵活的重构性、更出色的能源效率而备受青睐,但是,将庞大的神经网络合理部署到FPGA中并获得高速处理性能,仍然是非常有挑战性的。以早期的AlexNet网络为例,虽然只有8层,但是需要0.61亿个网络参数,占用约233MB内存,执行7.29亿次浮点型计算。然而FPGA内部缓存空间仅有几十Mb,而网络参数的访问效率又进一步制约着处理性能,因此,如何将卷积神经网络部署到资源有限的FPGA中,设计小体积、低功耗、高性能的牲畜目标检测单元,是实现无人机平台实时监测的又一关键问题。
综上所述,无人机及机器视觉的发展为大面积草原中牲畜资源的快速普查提供了新手段,然而考虑到无人机平台的低功耗、低重量等严苛物理条件限制,开展基于FPGA的牲畜目标实时检测和识别技术研究,是延长续航时间、提高普查精度的关键技术。该研究有利于大大提升放牧牲畜、野外动物等的生态普查效率,此外在牲畜智能监管、应急救援等领域也具有广阔的应用前景。
结合无人机、FPGA和深度学习技术开展草原牲畜数量的实时监测,是比较前沿的研究领域,中国专利申请CN 202122708483.9(一种基于深度学习动物图像识别的检测系统)对无人机的结构构成进行了详细说明,但未涉及到基于深度学习的动物图像识别关键技术,不能对基于嵌入式处理器的动物检测设计形成指导。中国专利申请CN202111080000.3(基于卷积神经网络的动物识别模型建立方法及其应用系统)构建了动物识别初始模型,仅提供了检测模型算法设计,但不足以支撑无人机平台中动物目标的实时检测装置设计。
发明内容
为解决上述技术问题,本发明提供一种基于无人机航拍的草原牲畜数量自动监测装置及方法,基于机载嵌入式系统,以ZYNQ异构多核处理器为核心,实现基于卷积神经网络的牲畜目标实时检测、目标数量统计,并提供定位信息。
为了达到上述目的,本发明所采用的技术方案为:
一种基于无人机航拍的草原牲畜数量自动监测装置,由机上系统和地面系统组成;
所述机上系统搭载于无人机平台上,包括CCD相机、GPS传感器、数据存储模块、无线通信模块、控制及实时处理模块和供电模块;所述CCD相机、GPS传感器用于采集CCD图像数据和GPS定位数据;所述数据存储模块用于原始数据及监测结果的机上存储;所述无线通信模块实现地面指令上传和监测结果的实时下传;所述控制及实时处理模块实现CCD相机、GPS传感器、数据存储模块、无线通信模块的管理管理控制,以及利用航拍图像进行牲畜目标的实时检测、目标数量统计、定位信息匹配等;所述供电模块用于机上系统供电;所述地面系统由无线路由器和用户终端组成,所述无线路由器用于与所述机上系统的信息交互;用户终端实现用户对机上系统的可视化操控、监测。
进一步地,所述机上系统由核心板和载板构成;所述核心板包括ZYNQ MPSoC处理器,支持机上系统的控制及草原牲畜目标的实时检测和处理;载板为核心板提供多种外围接口,支撑外围扩展设备。
进一步地,以 YOLOX算法为基础,主干网络为Darknet53网络结构,以下采样卷积结合残差块的结构实现高效的特征提取,同时采用不同大小的池化核,有利于增大网络感受野,提取更多的特征;颈部网络结合特征金字塔网络和路径聚合网络,将高层的特征信息,先通过上采样的方式进行传递融合,再通过下采样融合方式得到预测的特征图,最终输出3个特征层组成的元组结果,实现多尺度特征融合;预测头部模块利用解耦的检测头,在特征金字塔网络的特征信息基础上,分别在不同尺度上进行定位预测和分类置信度计算,提高模型精度,加快网络的收敛速度。
进一步地,所述ZYNQ MPSoC处理器包括处理系统端和可编程逻辑端;利用处理系统端的ARM处理器完成数据接收、转发及任务调度,支持多个外围设备的接口控制功能;利用可编程逻辑端互联的可编程逻辑资源,实现高度并行化的卷积计算完成卷积神经网络并行加速计算,实现草原牲畜目标的实时检测和处理。
进一步地,所述CCD相机用于实时采集CCD图像数据,所述CCD图像数据包括可见光图像或视频数据,采集图像尺寸为1280×960,最高帧频为30FPS,相机参数、曝光通过控制及实时处理模块在线控制;所述GPS传感器实时获取CCD相机曝光拍摄时刻的设备位置信息,并发送给控制及实时处理模块;所述数据存储模块利用固态硬盘对CCD图像数据、GPS定位数据以及检测结果数据进行实时存储,便于地面后处理;所述无线通信模块实现与地面系统的信息交互,包括接收用户端上注指令、参数,并将检测结果数据、GPS定位数据以及设备状态信息实时传输到地面系统;所述控制及实时处理模块负责机上系统中的CCD相机、GPS传感器、数据存储模块以及无线通信模块的任务控制,同时对采集的CCD图像数据、GPS定位数据进行实时数据处理,计算获得当前帧图像的牲畜数量以及位置信息,形成标签数据,实时传输到地面系统;所述供电模块通过DC/DC转换,为机上系统中各个模块供电。
本发明还提供一种基于无人机航拍的草原牲畜数量自动监测方法,包括如下步骤:
S1:用户通过用户终端规划无人机飞行任务,设定无人机飞行高度、速度、航线;
S2:用户通过用户终端中的交互界面设置观测参数,包括CCD相机、GPS传感器的工作模式、工作参数,并通过无线通信模块传输到机上系统的控制及实时处理模块;
S3:控制及实时处理模块根据用户注入参数,配置CCD相机、GPS传感器的工作参数;飞行过程中,控制及实时处理模块按照设定帧频触发CCD相机曝光,同时触发GPS传感器采集GPS定位数据;
S4:控制及实时处理模块接收CCD相机采集的CCD图像数据以及成像时刻的GPS定位数据,对数据进行实时处理,同时将所述数据转发到数据存储接口,实时存储到固态硬盘中;
S5:控制及实时处理模块采用基于卷积神经网络的目标检测模型,对航拍图像数据逐帧进行牲畜目标检测,并进一步统计目标数量,最后将检测结果与GPS定位数据匹配,形成监测数据;监测数据一方面实时存储到到固态硬盘中,一方面实时下传到地面系统中;
S6:实时处理生成的监测数据以及设备运行状态信息通过无线通信模块实时传输到用户终端,进行动态展示;
S7:CCD图像数据、GPS定位数据以及监测数据在固态硬盘中进行实时存储;控制及实时处理模块根据监测结果剔除无牲畜图像数据,节约机上存储空间和数据导出时间;
S8:飞行任务结束后,将原始数据和监测结果导出至服务器;用户根据监测结果快速筛选感兴趣区域数据,提高数据精细处理与分析效率。
有益效果:
1.本发明将无人机技术的优势应用到基于航拍影像的牲畜目标监测中,并进一步结合深度学习方法、FPGA嵌入式实时处理技术,形成一套低功耗、轻小型的光学航拍图像实时检测装置,满足草原放牧牲畜数量的实时监测的应用需求。
2.本发明中的关键模块——控制及实时处理模块,依托ZYNQ的异构多核处理器,实现基于卷积神经网络的牲畜目标检测模型加速设计,充分发挥软件和硬件优势,提高能效比,满足大尺寸航拍影像中目标检测的实时处理需求,并满足无人机平台的低功耗要求。
3.本发明不仅支持牲畜数量的实时统计、定位功能,并支持通过无线通信网络实时传输到用户终端;同时,该装置提供的数据标签将为地面数据的精处理、无效数据在线剔除等提供支撑,极大加快地面处理速度。
附图说明
图1为本发明的基于无人机航拍的草原牲畜数量自动监测装置结构示意图。
图2为本发明的基于无人机航拍的草原牲畜数量自动监测方法流程图。
图3为本发明的控制及实时处理模块结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示,本发明基于无人机航拍的草原牲畜数量自动监测装置由机上系统和地面系统组成。
所述机上系统搭载于无人机平台上,主要包括:CCD相机、GPS传感器,用于采集可见光图像数据和定位数据;数据存储模块用于原始数据及监测结果的机上存储;无线通信模块实现地面指令上传和监测结果的实时下传;控制及实时处理模块作为机上系统的核心,实现CCD相机、GPS传感器、数据存储模块、无线通信模块的管理以及牲畜目标的实时检测功能。所述供电模块实现DC/DC转换,为机上系统各模块供电。
所述地面系统由无线路由器和用户终端两部分组成,其中无线路由器用于与所述机上系统的信息交互;用户终端实现用户对机上系统的可视化操控、监测。
进一步地,所述机上系统由核心板和载板构成。其中,核心板主要由ZYNQ MPSoC处理器为核心,支持机上系统的控制及草原牲畜目标实时检测处理;载板主要为核心板提供多种的外围接口,支撑外围扩展设备。
为了支持嵌入式实现,草原牲畜目标检测模型选用效率更高的端对端的网络结构,以YOLOX算法为基础改进实现。主干网络为Darknet53网络结构,以下采样卷积+残差块的结构实现高效的特征提取,同时不同大小的池化核,有利于增大网络感受野,提取更多的特征。颈部网络结合特征金字塔网络(Feature pyramid network,FPN)和路径聚合网络(Path Aggregation Network,PAN),将高层的特征信息,先通过上采样的方式进行传递融合,再通过下采样融合方式得到预测的特征图,最终输出3个特征层组成的元组结果,实现多尺度特征融合。预测头部模块利用解耦的检测头,在FPN特征信息基础上,分别在不同尺度上进行定位预测和分类置信度计算,不仅提高了模型精度,也加快了网络的收敛速度。
进一步,将上述处理过程部署到ZYNQ MPSoC处理器中实现。综合考虑机上系统的控制及草原牲畜目标实时检测处理需求,并结合ZYNQ芯片结构特性,进行软硬件划分设计。利用PS端的ARM处理器完成数据接收、转发及任务调度,支持多个外围设备的接口控制功能;利用PL端大量的、灵活互联的可编程逻辑资源,实现高度并行化的卷积计算完成卷积神经网络并行加速计算,实现草原牲畜目标检测的实时处理。
具体地,本实施例中选用大疆M300 RTK无人机。所述CCD相机主要负责实时采集可见光图像或视频数据,采集图像尺寸为1280×960,最高帧频为30FPS,相机参数、曝光可通过控制及实时处理模块在线控制。所述GPS传感器实时获取CCD相机曝光拍摄时刻的设备位置信息,并发送给控制及实时处理模块。所述数据存储模块利用固态硬盘对CCD图像数据、GPS数据以及检测结果数据进行实时存储,便于地面后处理。所述无线通信模块实现与地面系统的信息交互,包括接收用户端上注指令、参数等,并将检测结果数据、GPS定位数据以及设备状态信息等实时传输到地面系统。所述控制及实时处理模块负责机上系统中的CCD相机、GPS传感器、数据存储模块以及无线通信模块的任务控制;同时对采集的图像数据、GPS定位数据进行实时数据处理,计算获得当前帧图像的牲畜数量以及位置信息,形成标签数据,实时传输到地面系统。所述供电模块通过DC/DC转换,为机上系统中各个模块供电。
所述地面系统的无线路由器实现与机上系统的信息交互,包括接收用户端的上注指令、参数等并发送给机上系统;同时,接收检测结果数据、GPS定位数据以及设备状态信息,并转发给用户终端;所述用户终端实现用户对机上系统间的监控,包括用户控制指令、任务参数等设置、上传;设备状态、飞行状态、监测数据等显示、报警功能。
如图2所示,本发明的基于无人机航拍的草原牲畜数量自动监测方法包括如下步骤:
S1:用户通过用户终端规划无人机飞行任务,设定无人机飞行高度、速度、航线;
S2:用户通过用户终端中的交互界面设置观测参数,包括CCD相机、GPS传感器的工作模式、工作参数等,并通过无线路由器传输到机上系统的控制及实时处理模块;
S3:控制及实时处理模块根据用户注入参数,配置CCD相机、GPS传感器的工作参数。飞行过程中,控制及实时处理模块按照设定帧频触发CCD相机曝光,同时触发GPS传感器采集定位数据;
S4:控制及实时处理模块接收CCD采集图像以及成像时刻的GPS定位数据,一方面对数据进行实时处理,同时,将这些数据转发到数据存储接口,实时存储到固态硬盘中。
S5:控制及实时处理模块采用基于卷积神经网络的目标检测模型,对影响数据逐帧进行牲畜目标检测,并进一步统计检测数量,最后将检测结果与GPS定位数据匹配,形成监测数据。监测数据一方面实时存储到到固态硬盘中,一方面将实时下传到地面系统中;
S6:实时处理生成的监测数据以及设备运行状态信息,将通过无线通信模块实时传输到用户终端,进行动态展示;
S7:CCD图像数据、GPS定位数据以及监测数据等,将在固态硬盘中进行实时存储;值得注意的是,控制及实时处理模块支持根据监测结果剔除无牲畜图像数据,从而大大节约机上存储空间和数据导出时间;
S8:飞行任务结束后,将原始数据和监测结果导出至服务器。用户可根据监测结果快速筛选感兴趣区域数据,提高数据精细处理与分析效率。
在本发明的一个示例性实施例中,机上系统的核心板主要由ZYNQ MPSoC处理器及外围DDR4存储器、Flash存储器构成最小系统,实现控制及实时处理模块功能;载板主要支撑外围扩展设备,为核心板提供丰富的外围接口,包括CCD相机、GPS传感器、无线通信模块以及数据存储模块等。载板与核心板通过高速板间连接器互联,这种核心板+载板的设计模式,将外围设备(CCD相机、GPS传感器、数据存储模块、无线通信模块)和核心处理器件解耦设计,仅需更新载板设计便可迅速适应不同应用场景需求,有利于缩短设计周期和研制成本。
在本发明的一个示例性实施例中,核心板中处理器选用Xilinx公司的ZYNQUltraScale+ MPSoC芯片。MPSoC芯片内部资源分为处理系统(Processing System, PS)端和可编程逻辑(Progarmmable Logic, PL)端。PS端集成了Cortex-A53 ARM四核处理器,适于外部接口设计、任务控制、浮点运算等;PL端集成丰富可编程逻辑阵列,提供强大并行处理能力,能解决大量数据的并行处理问题。
本发明中,利用ZYNQ芯片实现控制及实时处理模块功能,结合接口控制、任务控制及实时处理算法特性需求,结合ZYNQ芯片结构特性进行了软硬件划分设计。利用PS端的ARM处理器完成数据及任务调度、外部接口控制功能,利用PL端完成卷积神经网络并行加速计算,实现草原牲畜目标检测的实时处理。
本发明中的草原牲畜目标检测模型以YOLOX算法为基础改进实现,该设计方法能够良好适用于其他端对端的网络结构,通过一次前向传播获得到目标框的位置和目标类别,有效提高目标检测效率,充分发挥可编程逻辑阵列的并行处理能力。
如图3所示为控制及实时处理模块的结构示意图。
所述PS端主要包括:
(1)数据及任务调度模块,负责机上系统的数据流、处理任务的综合调度,包括:
a.接收无线通信模块的上注指令,对CCD相机、GPS传感器等进行参数初始化配置,设定工作模式、帧频等;
b.接收CCD图像数据,转发到PL端进行草原牲畜目标实时检测处理;
c.将CCD图像数据转存到数据存储模块,可支持根据目标检测结果,剔除没有牲畜目标的图像数据,减少数据存储空间占用;
d.接收GPS定位数据,缓存到DDR4存储器,同时转存到数据存储模块;
e.接收PL端中当前图像的目标检测结果,并检索到当前帧曝光时刻的定位数据,组包监测结果数据;
f.将监测结果数据转存到数据存储模块,为地面数据精处理提供支撑;
g.通过无线通信模块,将监测结果数据、机上系统工作状态信息,下传到地面系统,供用户终端实时显示、监测;
(2)外部接口控制器模块:负责外围设备的接口通信功能,包括:
a.RS485接口控制器:实现与无线通信模块的数据交互;
b.RS232接口控制器:实现对GPS传感器的控制与定位数据采集;
c.USB3.0接口控制器:实现对CCD相机的控制,并接收图像数据;
d.SATA-3接口控制器:实现对固态硬盘的高速数据读写;
e.DDR4控制器:实现对DDR4存储气的高速数据读写。
所述PL端主要包括:
(1)主干网络模块:实现目标检测模型中的主干网络,负责特征信息提取,支持不同尺寸的卷积核,ReLU及SiLU激活函数,批归一化处理,最大池化和平均池化处理,并支持残差块。
(2)颈部网络模块:实现目标检测模型中的颈部网络,结合特征金字塔网络(Feature pyramid network,FPN)和路径聚合网络(Path Aggregation Network,PAN)实现多尺度特征融合。
(3)预测头部模块:实现目标检测模型中的预测头,利用解耦的检测头,在FPN特征信息基础上,分别在不同尺度上进行高精度定位预测和分类置信度计算。
(4)特征缓存区:利用Block RAM搭建特征图缓存模块,利用特征数复用方法,实现卷积层间的特征高效读写。
(5)权重缓存区:利用Block RAM实现权重数据缓存,配合卷积层中的循环展开,采用权重复用的方法,支持卷积计算的快速处理。
(6)数据访存控制器:利用状态机实现特征缓存区、权重缓存区以及外部DDR4存储器的数据传输控制。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于无人机航拍的草原牲畜数量自动监测装置,其特征在于:由机上系统和地面系统组成;
所述机上系统搭载于无人机平台上,包括CCD相机、GPS传感器、数据存储模块、无线通信模块、控制及实时处理模块和供电模块;所述CCD相机、GPS传感器用于采集CCD图像数据和GPS定位数据;所述数据存储模块用于原始数据及监测结果的机上存储;所述无线通信模块实现地面指令上传和监测结果的实时下传;所述控制及实时处理模块实现CCD相机、GPS传感器、数据存储模块、无线通信模块的管理控制,以及利用航拍图像进行牲畜目标的实时检测、目标数量统计、定位信息匹配;所述供电模块用于为机上系统供电;所述地面系统由无线路由器和用户终端组成,所述无线路由器用于与所述机上系统的信息交互;用户终端实现用户对机上系统的可视化操控、监测。
2.根据权利要求1所述的一种基于无人机航拍的草原牲畜数量自动监测装置,其特征在于:所述机上系统由核心板和载板构成;所述核心板包括ZYNQ MPSoC处理器,支持机上系统的控制及草原牲畜目标的实时检测和处理;载板为核心板提供多种外围接口,支撑外围扩展设备。
3.根据权利要求1所述的一种基于无人机航拍的草原牲畜数量自动监测装置,其特征在于:以 YOLOX算法为基础,主干网络为Darknet53网络结构,以下采样卷积结合残差块的结构实现高效的特征提取,同时采用不同大小的池化核,有利于增大网络感受野,提取更多的特征;颈部网络结合特征金字塔网络和路径聚合网络,将高层的特征信息,先通过上采样的方式进行传递融合,再通过下采样融合方式得到预测的特征图,最终输出3个特征层组成的元组结果,实现多尺度特征融合;预测头部模块利用解耦的检测头,在特征金字塔网络的特征信息基础上,分别在不同尺度上进行定位预测和分类置信度计算,提高模型精度,加快网络的收敛速度。
4.根据权利要求2所述的一种基于无人机航拍的草原牲畜数量自动监测装置,其特征在于:所述ZYNQ MPSoC处理器包括处理系统端和可编程逻辑端;利用处理系统端的ARM处理器完成数据接收、转发及任务调度,支持多个外围设备的接口控制功能;利用可编程逻辑端互联的可编程逻辑资源,实现高度并行化的卷积计算完成卷积神经网络并行加速计算,实现草原牲畜目标的实时检测和处理。
5.根据权利要求1所述的一种基于无人机航拍的草原牲畜数量自动监测装置,其特征在于:所述CCD相机用于实时采集CCD图像数据,所述CCD图像数据包括可见光图像或视频数据,采集图像尺寸为1280×960,最高帧频为30FPS,相机参数、曝光通过控制及实时处理模块在线控制;所述GPS传感器实时获取CCD相机曝光拍摄时刻的设备位置信息,并发送给控制及实时处理模块;所述数据存储模块利用固态硬盘对CCD图像数据、GPS定位数据以及检测结果数据进行实时存储,便于地面后处理;所述无线通信模块实现与地面系统的信息交互,包括接收用户端上注指令、参数,并将检测结果数据、GPS定位数据以及设备状态信息实时传输到地面系统;所述控制及实时处理模块负责机上系统中的CCD相机、GPS传感器、数据存储模块以及无线通信模块的任务控制,同时对采集的CCD图像数据、GPS定位数据进行实时数据处理,计算获得当前帧图像的牲畜数量以及位置信息,形成标签数据,实时传输到地面系统;所述供电模块通过DC/DC转换,为机上系统中各个模块供电。
6.根据权利要求1-5之一所述的一种基于无人机航拍的草原牲畜数量自动监测装置的监测方法,其特征在于,包括如下步骤:
S1:用户通过用户终端规划无人机飞行任务,设定无人机飞行高度、速度、航线;
S2:用户通过用户终端中的交互界面设置观测参数,包括CCD相机、GPS传感器的工作模式、工作参数,并通过无线通信模块传输到机上系统的控制及实时处理模块;
S3:控制及实时处理模块根据用户注入参数,配置CCD相机、GPS传感器的工作参数;飞行过程中,控制及实时处理模块按照设定帧频触发CCD相机曝光,同时触发GPS传感器采集GPS定位数据;
S4:控制及实时处理模块接收CCD相机采集的CCD图像数据以及成像时刻的GPS定位数据,对数据进行实时处理,同时将所述数据转发到数据存储接口,实时存储到固态硬盘中;
S5:控制及实时处理模块采用基于卷积神经网络的目标检测模型,对航拍图像数据逐帧进行牲畜目标检测,并进一步统计目标数量,最后将检测结果与GPS定位数据匹配,形成监测数据;监测数据一方面实时存储到到固态硬盘中,一方面实时下传到地面系统中;
S6:实时处理生成的监测数据以及设备运行状态信息通过无线通信模块实时传输到用户终端,进行动态展示;
S7:CCD图像数据、GPS定位数据以及监测数据在固态硬盘中进行实时存储;控制及实时处理模块根据监测结果剔除无牲畜图像数据,节约机上存储空间和数据导出时间;
S8:飞行任务结束后,将原始数据和监测结果导出至服务器;用户根据监测结果快速筛选感兴趣区域数据,提高数据精细处理与分析效率。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310648459.1A CN116389693B (zh) | 2023-06-02 | 2023-06-02 | 一种基于无人机航拍的草原牲畜数量自动监测装置及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310648459.1A CN116389693B (zh) | 2023-06-02 | 2023-06-02 | 一种基于无人机航拍的草原牲畜数量自动监测装置及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116389693A true CN116389693A (zh) | 2023-07-04 |
CN116389693B CN116389693B (zh) | 2023-08-08 |
Family
ID=86979101
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310648459.1A Active CN116389693B (zh) | 2023-06-02 | 2023-06-02 | 一种基于无人机航拍的草原牲畜数量自动监测装置及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116389693B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN205229809U (zh) * | 2015-11-27 | 2016-05-11 | 杨珊珊 | 一种利用无人飞行器的牧场智能管理系统及其无人飞行器 |
US20170086428A1 (en) * | 2015-09-24 | 2017-03-30 | Digi-Star, Llc | Agricultural Drone for Use in Livestock Monitoring |
US20170202185A1 (en) * | 2016-01-18 | 2017-07-20 | Dinklage Feed Yards, Inc. | Unmanned livestock monitoring system and methods of use |
CN107229289A (zh) * | 2017-07-31 | 2017-10-03 | 内蒙古智牧溯源技术开发有限公司 | 一种无人机放牧管理系统 |
CN211015083U (zh) * | 2019-10-29 | 2020-07-14 | 倪关英 | 一种牲畜数量监测系统 |
CN212850809U (zh) * | 2020-09-24 | 2021-03-30 | 广州市广州工程建设监理有限公司 | 一种无人机工程图像实时上传与分区展示系统 |
CN113222453A (zh) * | 2021-05-28 | 2021-08-06 | 中国农业科学院草原研究所 | 一种基于北斗导航的天然草地草畜平衡评估方法、系统、设备及存储介质 |
CN113885060A (zh) * | 2021-09-26 | 2022-01-04 | 中国农业科学院草原研究所 | 基于无人机遥感技术的放牧强度监测方法 |
CN114115359A (zh) * | 2021-10-26 | 2022-03-01 | 南京邮电大学 | 一种无人机山区寻羊系统及其工作方法 |
CN116310895A (zh) * | 2023-02-23 | 2023-06-23 | 淮阴工学院 | 一种基于改进的YOLOv5算法的羊群计数方法 |
-
2023
- 2023-06-02 CN CN202310648459.1A patent/CN116389693B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170086428A1 (en) * | 2015-09-24 | 2017-03-30 | Digi-Star, Llc | Agricultural Drone for Use in Livestock Monitoring |
CN205229809U (zh) * | 2015-11-27 | 2016-05-11 | 杨珊珊 | 一种利用无人飞行器的牧场智能管理系统及其无人飞行器 |
US20170202185A1 (en) * | 2016-01-18 | 2017-07-20 | Dinklage Feed Yards, Inc. | Unmanned livestock monitoring system and methods of use |
CN107229289A (zh) * | 2017-07-31 | 2017-10-03 | 内蒙古智牧溯源技术开发有限公司 | 一种无人机放牧管理系统 |
CN211015083U (zh) * | 2019-10-29 | 2020-07-14 | 倪关英 | 一种牲畜数量监测系统 |
CN212850809U (zh) * | 2020-09-24 | 2021-03-30 | 广州市广州工程建设监理有限公司 | 一种无人机工程图像实时上传与分区展示系统 |
CN113222453A (zh) * | 2021-05-28 | 2021-08-06 | 中国农业科学院草原研究所 | 一种基于北斗导航的天然草地草畜平衡评估方法、系统、设备及存储介质 |
CN113885060A (zh) * | 2021-09-26 | 2022-01-04 | 中国农业科学院草原研究所 | 基于无人机遥感技术的放牧强度监测方法 |
CN114115359A (zh) * | 2021-10-26 | 2022-03-01 | 南京邮电大学 | 一种无人机山区寻羊系统及其工作方法 |
CN116310895A (zh) * | 2023-02-23 | 2023-06-23 | 淮阴工学院 | 一种基于改进的YOLOv5算法的羊群计数方法 |
Also Published As
Publication number | Publication date |
---|---|
CN116389693B (zh) | 2023-08-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Li et al. | A remote sensing and airborne edge-computing based detection system for pine wilt disease | |
CN105425815B (zh) | 一种利用无人飞行器的牧场智能管理系统及方法 | |
CN108881825A (zh) | 基于Jetson TK1的水稻杂草无人机监控系统及其监控方法 | |
CN208401845U (zh) | 用于促进无人驾驶飞行工具网络的系统 | |
CN112990262B (zh) | 一种草原生态数据监测与智能决策一体化解决系统 | |
CN111765974B (zh) | 一种基于微型制冷红外热像仪的野生动物观测系统及方法 | |
CN111739184A (zh) | 基于输电线塔杆的输电线路巡检系统 | |
CN113050693B (zh) | 一种用于风电叶片检测的无人机巡检方法和装置以及设备 | |
CN111712129A (zh) | 智能授粉系统 | |
CN110370273A (zh) | 一种机器人避障方法、装置和系统 | |
CN111401215A (zh) | 一种多类别目标检测的方法及系统 | |
CN112729248A (zh) | 一种基于无人机平台的遥感探测系统及方法 | |
CN111831010A (zh) | 一种基于数字空间切片的无人机避障飞行方法 | |
CN111818146A (zh) | Soa云雾计算智慧农业数据处理方法及系统 | |
CN116597332A (zh) | 一种基于无人机的茶树嫩芽检测方法及装置 | |
Koo et al. | A jellyfish distribution management system using an unmanned aerial vehicle and unmanned surface vehicles | |
CN116389693B (zh) | 一种基于无人机航拍的草原牲畜数量自动监测装置及方法 | |
CN108804616B (zh) | 一种空间有效载荷在轨图像数据挖掘的装置和方法 | |
Savvidis et al. | Remote crop sensing with ioT and AI on the edge | |
CN108009491A (zh) | 一种解决快速背景运动中的目标物识别方法及系统 | |
CN109766372A (zh) | 一种影响钓鱼的因素监测与分析系统 | |
CN109960965A (zh) | 基于无人机识别动物行为的方法、装置和系统 | |
CN112016380A (zh) | 野生动物监测方法及系统 | |
CN107255520A (zh) | 一种基于无人机红外航拍森林群落更新格局分析系统 | |
CN111627220B (zh) | 一种用于车辆检测的无人机与地面协同处理系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |