CN112990262B - 一种草原生态数据监测与智能决策一体化解决系统 - Google Patents

一种草原生态数据监测与智能决策一体化解决系统 Download PDF

Info

Publication number
CN112990262B
CN112990262B CN202110170259.0A CN202110170259A CN112990262B CN 112990262 B CN112990262 B CN 112990262B CN 202110170259 A CN202110170259 A CN 202110170259A CN 112990262 B CN112990262 B CN 112990262B
Authority
CN
China
Prior art keywords
data
module
ecological
network
grassland
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110170259.0A
Other languages
English (en)
Other versions
CN112990262A (zh
Inventor
刘洋
柴进
李雅婷
连尹博
张秋彤
韩宇飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inner Mongolia University
Original Assignee
Inner Mongolia University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inner Mongolia University filed Critical Inner Mongolia University
Priority to CN202110170259.0A priority Critical patent/CN112990262B/zh
Publication of CN112990262A publication Critical patent/CN112990262A/zh
Application granted granted Critical
Publication of CN112990262B publication Critical patent/CN112990262B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/047Probabilistic or stochastic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Abstract

本发明公开了一种草原生态数据监测与智能决策一体化解决系统,所述系统包括:生态环境数据采集模块、目标区域视频数据采集模块、传感器模块、数据处理模块和云端服务平台模块,所述系统可在短时间内对大范围草原生态环境建立云端生态数据库,结合大数据及人工智能应用,可对目标区域生态状态从多个维度进行一系列的科学分析及决策,包括植物种类识别、生态灾害预警以及植物病虫害程度分析,使用户充分了解目标区域生态状态的同时能采取合理的改善措施,同时也为科研人员提供了宝贵的科研数据,将对草原生态环境的恢复和保护形成强有力的技术支撑。

Description

一种草原生态数据监测与智能决策一体化解决系统
技术领域
本发明涉及互联网通信技术及人工智能领域,具体是一种草原生态数据监测与智能决策一体化解决系统。
背景技术
草原是世界上分布最广泛的生态系统之一,总面积约占陆地总面积26%,为全球农牧业提供种类丰富的植被和生态系统服务。草原也是一个巨大的储碳库,我国陆地储碳量的17%都来源于草原,其在维持生态系统碳平衡方面发挥着重要作用,草原具有不可替代的资源价值和生态功能,保护草原具有全球性重要意义。优化草原区域生态环境建设,维护草原生物多样性,可促进经济持续协调稳定发展、进而推动社会文明进步。目前草原生态现状不容乐观,面临严峻的问题,局部改善、整体恶化的趋势在我国还没有根本扭转。我国草原生态环境破坏严重,距草原牧区生态全面恢复目标有一定距离。采用科学手段对天然草原实时监测,科学管理,合理规划利用草原。利用现代技术手段对退化草原进行全面综合防治和信息采集,为发展现代草原畜牧业提供依据,对优化草原生态环境、保护草原物种资源多样具有重要意义。
目前现有的草原生态数据监测手段主要包括卫星遥感、农业气象台、光谱无人机采集和地面人工数据收集等技术。
传统物种以及病虫害识别依靠人工经验判断,费时费力,效率低,无法准确识别物种类别,无法大范围监测病虫害,无法及时识别处理病害,无法保证时效性,容易造成更严重的损失。人工得到的数据量有限,人为因素也会带来识别误差。传统火灾监测系统依靠地面传感器设备,人工服务和航空器对火情进行监测,存在监测盲区,反应速度慢,实时性差,检测范围小,不适用于户外环境,系统成本高。环境中的灰尘、气流和人为因素会对火灾监测系统产生影响,出现误报的情况。生态环境监测资源信息化和数字化是当前发展趋势。
农业气象台除对基本的生态环境监测外,可以使用结合了现代光、电、数控技术的虫情测报灯(可视化),实现在无人监管的情况下,自动完成诱虫、杀虫、收集、分装、排水等系统作业。通过借助GPRS无线通信网络,将定时拍照的接虫盒内的情况回传到远端监控平台,平台将采集数据录入到数据库。工作人员可随时远程获取区域范围内昆虫种类及数量变化情况,但由于采集的数据分辨率有限且不能被及时回传,数据汇总及分析总是存在一定的误差。
为适应现代草原信息采集和管理的需要,建立一种基于深度学习的草原生态数据检测与智能决策一体化解决系统,形成动态大范围生态环境感知、高效精细化的生态数据解析以及科学可靠的生态智能决策系统。通过上传至云端的大量生态信息并结合专家经验,提供生态灾害预警、草畜平衡评估、合理密植决策等智能决策新体验,决策耗时更短也更科学可靠,对于我国草原资源的发展和利用,具有重要现实意义。
发明内容
本发明的目的在于提供一种草原生态数据监测与智能决策一体化解决系统,用以实现对现有草原资源信息的科学获取,可动态收集和更新草原相关即时信息数据,实现对草原资源更合理的保护和利用。
为实现上述目的,本发明采用以下技术方案:
一种草原生态数据监测与智能决策一体化解决系统,其特征在于,所述系统包括:
生态环境数据采集模块,所述生态环境数据采集模块采集内容包括:土壤温湿度、压强、降水量、光照强度和PH值数据;
目标区域视频数据采集模块,所述目标区域视频数据采集模块采集内容包括各种草原植物视频和图像数据;
传感器模块,所述传感器模块输出端口为模拟信号,将该传感器模块依次接入ZigBee模块节点的ADC端口(PA口)进行信号采集;
数据处理模块,所述数据处理模块利用深度学习技术对采集到的图像进行物种分类识别、目标识别检测,确定物种位置和分布信息,使用基于卷积神经网络的草原植物分类识别算法作为特征提取网络,采用弱监督方式,对网络模型优化训练,得到判别模型进行物种分类识别,目标监测;
云端服务平台模块,所述云端服务平台模块包括前端静态显示界面和后台用户数据交互系统。
进一步地,所述生态环境数据采集模块由挂载在无人机上的生态环境监测传感器及Zigbee模块节点组成。
进一步地,所述目标区域视频数据采集模块包括搭载高清摄像头的无人机,运用4K超精细图像采集技术,采集生态数据。
进一步地,所述一体化解决系统的建立和实施步骤包括:
S1)建立生态环境数据库、建立阿里OSS存储位置URL;
S2)将生态环境数据通过Zigbee协调器发往树莓派Raspberry Pi终端进行数据汇总后传送到云端服务器,将目标区域视频数据向树莓派Raspberry Pi指定连接IP地址进行视频推流;
S3)树莓派Raspberry Pi通过接入WIFI或5G网络将生态环境数据上传至云端服务器,打开无人机地面站软件,接收目标区域视频数据及无人机飞行状态数据,并在界面进行显示;
S4)地面站控制无人机自作作业及多机协作作业,云端服务器对目标区域视频或图像数据进行精确识别分析,并将结果写入云端服务器数据库;
S5)用户登录云端Web平台,查看当前已识别物种及分类情况、异常情况以及生态环境数据情况。
进一步地,所述ZigBee模块包括CC2530主控制器、外设端口、无线射频模块以及晶振。
进一步地,所述目标区域的视频数据采集模块,采用具有出色的防抖性能和4K高清拍摄能力的高清运动相机GoPro,为之后的生态数据解析功能提供了有力的数据辨析度。
进一步地,所述模块之间的信号传输采用5G通信网络,并在信号不佳时,自动切换到WIFI网络进行短距离数据传送。
进一步地,所述基于卷积神经网络的草原植物分类识别算法,以残差网络ResNet作为特征提取网络,利用双线性池化方式将原始特征图和注意力特征图融合,融合的特征图经反卷积层、池化层、1×1卷积层输出,经过归一化指数函数SoftMax输出分类概率,使用迁移学习的方式,对网络进一步训练,提升性能。
进一步地,所述基于卷积神经网络的草原植物分类识别算法涉及模块包括:数据增强模块、特征提取网络模块、分类识别模块、注意力机制模块和GUI交互界面模块。
进一步地,所述基于卷积神经网络的草原植物分类识别算法的步骤为:
S1)建立数据集:获取植物图像数据,将获取的数据按名称存放在不同的文件夹;
S2)图像预处理:
1)将图像数据裁剪到相同尺寸,深度卷积神经网络模型需要固定尺寸大小图像;
2)数据归一化和标准化;
3)图像增强:通过数据增强方式扩充训练样本,增加训练样本丰富度,提升模型泛化能力;
S3)构建特征提取网络:以残差网络ResNet34作为基础骨干网络,对卷积神经网络结构进行改进,改变池化方式;
S4)分类识别:利用构建好的卷积神经网络模型和训练集中数据,对卷积神经网络进行训练,找出最优的权值参数;
S5)GUI界面交互:将训练好的卷积神经网络模型保存,通过交互系统实现与用户互动。
本发明公开的一种基于深度学习的草原生态数据监测与智能决策一体化解决系统,本系统建立了草原植物图像数据集,具有针对性,适用于草原生态数据监测。对于深度学习算法,通过裁剪到固定尺寸,归一化,标准化,数据增强操作使得算法可发挥最佳性能。
植物学家通过观察和研究植物特征对植物进行分类,通常利用植物的所有器官,利用一些物理特征来区分不同类别,如局部的形状或者纹理、边界的形状、花瓣的整体空间分布和颜色等。植物之间存在大量相似性,建立一个自动分类识别系统是具有挑战性的任务。需要找到适合的颜色、形状、图案描述符,以及能够选择显著特征的分类器。
深度学习在计算机视觉、自然语言处理和语音识别领域受到广泛关注,是机器学习领域中的新技术,相对于浅层网络,在特征提取和数据建模上有优势,能够提取到对图像处理和语音识别有意义的特征信息。以数据作为驱动,通过大量非线性变换,从浅层到深层,从简单到复杂,从具体到抽象提取特征。植物识别属于细粒度识别问题,细粒度识别问题主要在特征定位和特征表达上,对于人来说识别难度较大,但对于训练的模型没有什么不同,人有先验知识,不同的模型也有不同专长。细粒度图像识别主要有三个特点:低类间差异、高类内差异,以及各种位置姿态变化、拍摄角度和光照强弱等都增大了细粒度图像识别难度,为了达到较高准确性,计算机视觉算法需要捕获类别之间细节差异,这些细节差异为分类识别带来很大挑战。不同的数据集用于不同领域和任务上,数据规模和识别难易程度不同,但识别原理和算法思想基本相似。本文所使用的算法可以推广到其他数据集应用上。
采用CutMix图像数据混叠增强方法,利用裁剪掉的部分区域再补丁的形式混合图像,不会有图像混合后不自然的情形,能够提升模型分类的表现。训练过程中不会出现非信息像素,能够提高训练效率。保留了区域dropout的优势,能够关注目标的不可分辨部分,通过要求模型从局部视图识别对象,对裁剪区域中添加其他样本信息,能进一步增强模型的定位能力。Cutmix能有效地改善数据增强的效果,准确地定位和分类。
由于样本较难采集或样本示例较少会产生不同训练样本数目相差较大,出现类别不平衡问题,会导致预测不准确,降低模型分类性能。
如果不对训练图像进行重新采样或对损失加权处理,则头部中具有更多图像的类别将主导尾部中的图像(头部指图像数量多的类别)。
对于常见的图像分类问题,常使用归一化指数函数SoftMax-loss来求损失。归一化指数函数SoftMax并没有明确地将特征优化成正样本能够有更高的相似度,负样本能够有更低的相似度,没有扩大决策边界。对于公共数据集,不同类别样本数目几乎是一样的,不同类别样例数目差异小,对分类器性能影响不大,可以避免在其他因素的影响下,充分反映分类模型的性能。如果类别间样例数目相差过大,会对学习过程造成一定的影响,导致分类模型性能变差。自建数据集收集到的样本数据不均衡,会对分类器性能产生影响。对现有算法进行改进,通过修改损失函数和学习方式来消除类别不平衡带来的影响,使用类平衡损失结合标签平滑损失。直观上看,标签平滑限制了正确类的logits值,并使得它更接近于其他类的logits值。从而在一定程度上,它被当作为一种正则化技术和一种对抗模型过拟合的方法。
细粒度分类解决“类内分类”问题,与传统的猫狗分类问题不同,类别之间的区别较小。细粒度图像识别关键是在多个对象部件中提取更具有区分性的局部特征。训练数据有限,标记这些需要额外的人工,需要专业知识和大量注释时间,仅通过粗粒度卷积神经网络很难获得准确分类结果。注意力机制和人类的视觉注意力很相似,人类通过快速扫描全局图像,获得需要重点关注的目标区域,得到注意力焦点,之后对这一区域投入更多注意力,以获取更多所需要关注目标的细节信息,从而抑制其他无用信息。极大地提高了视觉信息处理的效率与准确性。深度学习中的注意力机制从本质上讲和人类的选择性视觉注意力机制类似,目的也是从众多信息中选择出对当前任务目标更关键的信息。
通道注意力会使得要提取的关键特征的特征图权重加大,最后输出结果会更准确。通道注意力只会关注到图像的一个小部分,而空间注意力的作用为关键部分分配更大的权重,让模型的注意力更集中于这部分内容。空间注意力是以特征图的每个像素点为单位,对特征图的每个像素点都配一个权重值;通道注意力则是以特征图为单位,对每个通道都配一个权重值。以无监督的方式通过注意力机制自动定位判别区域,不需要额外的注释。
全连接层一般会放在网络的最后,作用是用来综合所有信息。对于CNN它提取特征的范围是全图的,直接把图像降维成一维序列。卷积层是一种局部连接,它所能提取的特征的范围,取决于卷积核的感受野,当卷积核感受野覆盖到全图的时候,它的作用就和全连接层类似。1×1卷积一般用于降维或者升维,可以灵活控制特征图卷积核个数,减少参数量,特征图卷积核减少,参数量也会减少,能够实现跨通道的交互和信息整合。用和特征图尺寸一样大小的卷积核做卷积,提取全图范围特征,和接全连接层,计算过程是等效的,全连接层可以用1×1卷积替换,解决输入尺寸固定的问题。当网络规模越来越大,全连接层的权重参数会占大多数,容易产生过拟合,需要采用防止过拟合或者其他正则化手段来限制,而使用1×1卷积不会产生大量的权重参数。
深度学习需要大数据量来进行网络的训练,对于新的任务,重新训练一个全新的网络比较复杂,数据量远远不够,网络参数也不好调整。本文采用迁移学习的思想解决花卉数据量缺乏问题。将设计好的模型使用ImageNet大型图像数据集训练后,得到预训练模型,通过预训练模型避免了特征重复训练,同时保留了模型的大量可提升空间。在此基础上将新任务中的带标签训练集送入已经有初始化权值的分类模型进行训练,进行参数的调整,训练过程和预训练模型的过程相同。预训练模型的卷积神经网络全连接层上预训练出的现成特征,可以用来训练出新的模型,通过保持预训练的参数固定不变,或者以一个较小的学习率来调节,保证新模型不会忘记之前学习到的知识,同时修改最后一层归一化指数函数SoftMax的权重来更新分类结果。通过这种方法可以用较小的代价得到一个新的特定模型用于图像识别任务。迁移学习是运用已有的知识对不同但相关领域问题进行求解的一种新的机器学习方法,目的是迁移已有的知识来解决目标领域中新环境的学习任务。
综上所述,本发明公开的一种基于深度学习的草原生态数据监测与智能决策一体化解决系统有益效果显著:
1.利用空天地一体化通信网络系统模型组成信息采集网络,其中搭载4K超高清摄像头及多种环境监测传感器的无人机,应用多机协作通信技术实现动态大范围的生态数据获取,再通过高速率、低延迟的5G地面通信网络、wifi或无人机中继组成的空中网络以及信号覆盖范围广泛的卫星通信网络,三种网络融合组网将生态数据传送至终端平台,该系统在生态数据获取过程中具有动态采集、覆盖范围广、采集效率高、数据精度高、传输延迟低等优势。
2.在终端平台利用深度学习技术对采集到的图像进行物种分类识别、目标检测,并确定物种位置和分布信息,使用卷积神经网络作为特征提取网络,采用弱监督方式,对网络模型优化训练,得到判别模型进行物种分类识别,目标监测。针对传统神经网络需要人工设计特征,泛化能力及鲁棒性差的问题,本发明提出利用深度残差网络ResNet作为特征提取网络的方法,该方法能够自主提取特征,准确率和识别性能远超传统网络。
3.针对植物,昆虫,病虫害等识别过程中存在的类间差异小,类内差异大问题,本系统采用弱监督学习结合注意力机制,在网络不需要额外标注信息的情况下聚焦到图像中有判别力的局部区域,同时对局部区域做数据增强处理,提高了分类识别性能。
4.系统终端平台利用5G/wifi网络对无人机进行控制,形成了兼具动态大范围生态环境感知、高效精细化的生态数据解析以及科学可靠的生态智能决策特点的一体化解决系统。
5.本系统可在短时间内对大范围生态环境建立云端生态数据库,结合大数据及人工智能应用,将能够对目标区域生态状态从多个维度进行一系列的科学分析及决策。包括植物种类识别、生态灾害预警、植物病虫害程度分析、使用户充分了解目标区域生态状态的同时能进行积极合理的应对措施。同时也为科研人员提供了宝贵的科研数据,将对草原生态环境的恢复形成强有力的技术支撑。
6.本发明公开的基于卷积神经网络的草原植物分类识别算法的网络结构,利用双线性池化方式将原始特征图和注意力特征图融合,生成的特征图经反卷积层、池化层、1×1卷积层输出,经过归一化指数函数SoftMax输出分类概率,使用迁移学习的方式,可对网络进一步训练,提升性能。
综上,本发明应用于对现有草原资源信息的科学获取,动态收集和更新草原相关即时信息数据,实现对草原资源更合理的保护、开发和利用具有重要意义。
附图说明
图1:为本发明系统工作原理示意图一;
图2:为本发明系统工作原理示意图二;
图3:为本发明生态数据采集系统总体结构示意图;
图4:为本发明生态环境数据的采集终端节点流程示意图;
图5:为本发明协调器节点流程示意图;
图6:为本发明传感器与CC2530引脚连接示意图;
图7:为本发明视频数据采集硬件连接示意图;
图8:为本发明视频数据采集工作流程示意图;
图9:为本发明云端服务平台工作流程示意图;
图10:为本发明卷积神经网络的草原植物分类识别算法工作原理示意图;
图11:为本发明基于卷积神经网络植物识别功能模块示意图;
图12:为本发明基于卷积神经网络植物识别总体结构示意图;
图13:为本发明单样本数据增强示意图;
图14:为本发明CutMix示意图;
图15:为本发明多种基本网络准确率曲线示意图;
图16:为本发明Oxford 17Flower上训练准确率示意图;
图17:为本发明Oxford 17Flower上验证准确率对比示意图;
图18:为本发明改进网络结构验证准确率对比示意图;
图19:为本发明改进网络结构验证损失率示意图;
图20:为本发明18Plant数据集上验证准确率示意图;
图21:为本发明18Plant数据集上准确率对比示意图;
图22:为本发明随机识别预测结果示意图;
图23:为本发明对象激活区域示意图;
图24:为本发明注意力机制流程示意图;
图25:为本发明双线性池化方式示意图;
图26:为本发明GUI交互界面流程图示意图;
图27:为本发明登录界面示意图;
图28:为本发明识别界面示意图;
图29:为本发明数据管理界面示意图。
具体实施方式
下面结合附图和实施例对本专利的技术方案作进一步说明。
实施例1
参见图1,本发明在空天地一体化通信系统架构下,利用无人机搭载多种无线传感器和多机协作的采集方式,可以做到兼具动态覆盖范围广、数据传输延迟低的生态数据感知。该功能主要实现了生态环境数据和目标区域生态视频数据的采集,将为之后的生态数据解析功能提供数据支撑。整个设计思路是首先利用多无人机协作实现动态覆盖广的区域采集,之后通过接入5G或卫星通信网络实现将海量数据上传至云端服务器,将目标区域的视频数据在地面站界面上实时显示,并借助阿里云OSS存储服务将数据有序的存放在固定文件路径下,以便后续的数据查询、修改和数据解析。
本系统的功能需求如下:
1)通过地面部署和机载Zigbee节点,保证多路环境数据并发传输的同时,确保数据传输的可靠性。
2)通过基于树莓派Raspberry Pi的飞控数据链路系统,保证向地面站实时推流拍摄区域视频数据,同时为了监控传输信号质量、无人机状态,在视频界面上添加相应的指示指标情况。
3)将现场采集的数据经数据转接传输网络保存在云端,方便后续的数据处理。
4)为减少能源消耗,要求能够在地面站或数据链路管理系统中控制无人机采集数据与否、控制视频传输码率,实现无人机环境数据云端交互、视频数据流与地面站的双向通信。
5)由于监测区域难免存在蜂窝信号弱的情况,故要求系统在较长周期工作时,如果出现蜂窝网络连接故障的状况,要求能够智能切换到wifi6模式下将数据暂存现场终端。在系统正常接入5G通信网络时,在保证海量数据传输的及时性和可靠性前提下,要求能够接入卫星通信终端进行数据交互。
本系统工作原理,参见图2,包括以下步骤:
步骤S1:建立生态环境数据库、建立阿里OSS存储位置URL;
步骤S2:将生态环境数据通过Zigbee协调器发往树莓派Raspberry Pi终端进行数据汇总,将目标区域视频数据向树莓派Raspberry Pi指定连接IP地址进行视频推流;
步骤S3:树莓派Raspberry Pi通过接入WIFI或5G网络将生态环境数据上传至云端服务器,打开无人机地面站软件,接收目标区域视频数据及无人机飞行状态数据,并在界面进行显示;
步骤S4:地面站控制无人机自作作业及多机协作作业,云服务器对目标区域视频或图像数据进行精确识别分析,并将结果写入云服务器数据库;
步骤S5:登录云端Web平台,可查看当前已识别物种及分类情况、异常情况、生态环境数据情况等。
实施例2
本系统涉及的主要模块包括:生态环境数据采集模块、目标区域的视频数据采集模块、传感器模块、数据处理模块和云端服务平台模块,分述如下:
生态环境数据采集模块:
参见图3和图4,生态环境数据监测主要包括水、土、地、光4类数据的获取,为满足采集覆盖范围广和采集数据精准,需要在多个节点部署传感器或无人机挂载多个传感器,同时考虑到对相同覆盖半径的同类型多个传感器数据需要进行比对矫正、传感器材质要耐热耐风蚀、传感器对环境感知敏感度等很多因素,故选择灵敏度高且适合室外部署材质的传感器。敏感元件将感知到的生态环境信号经信号调理电路转换成可被采样的电压信号,然后主控制器CC2530将采样的数据处理后统一通过射频模块发往协调器。生态环境数据采集的终端节点(终端节点的总体框图如图3所示)由光照强度模块、大气压强模块、PH值模块、降水量模块、土壤温湿度模块、风速风向一体传感器模块连接在ZigBee模块上组成,ZigBee模块主要包括CC2530主控制器、外设端口、无线射频模块以及晶振。
生态环境数据的采集终端节点通过指示灯来判断是否与协调器组网,组网成功后,当有数据发送或数据接收的情形时,对应的指示灯会快速闪烁。其中无线射频模块负责数据的接收与发送,JTAG模块则主要负责程序的烧录与后期调试。目标区域视频数据的采集则可以通过地面站和树莓派Raspberry Pi运行状态来判断是否正常传输。
环境数据采集的终端节点与协调器网关匹配组网成功后,为避免数据接收碰撞,将一直处于轮询的工作模式,期间判断是否有来自协调器下发的控制命令。当接收到协调器以广播模式发出的控制命令时,终端节点开始由待机变为工作状态。发送的数据先标定一个1字节的数据头,用于接收时进行初次判断,之后设定校验位2字节,用于二次请求发送时进行再次验证。实际采集的数据预留200个字节,包括转换后的土壤温湿度、压强、降水量、光照强度、PH值数字量,以便后续的设备对数据识别与分类。环境数据采集的终端节点的整体工作流程可见图4终端节点流程图。
协调器是整个生态环境数据采集网络的核心组件,分布于不同地理位置的的终端节点都将采集的生态环境数据发往协调器,协调器利用数据避免碰撞机制将多种数据整合后接入数据链路传输系统发往云端数据库存储。
协调器网关是整个系统的核心部分,是生态环境数据采集系统的控制中心,协调器不仅要接收分布在各个不同位置的终端节点发送过来的数据,还需要将数据整合后发往树莓派Raspberry Pi控制中心。之后,树莓派Raspberry Pi控制器通过接入传输网络将环境数据存储在云端服务器,以便工作人员进行后续分析。考虑到草原生态环境数据的采集覆盖范围,选用多无人机挂载传感器实现动态覆盖范围广的采集,同时考虑到ZigBee技术实现无线传输在传输距离上极其受限,所以选用在树莓派Raspberry Pi 4B上驱动5G模块来完成远程传输任务。对于草原生态环境数据,其要传输的字节量有限,一般来说几百Kbps的传输速率足以满足系统需求,但本设计还对目标区域的视频数据进行采集,数据传输量已达G级别,而5G模块的传输速率可达1~100Gbps,因此选用华为5G模块作为主要的接入广域网硬件。
选用树莓派Raspberry Pi 4B,其搭载由博通公司推出的基于ARM架构的A72微处理器作为数据汇总和协同控制部分,协调器网关的结构如图5虚线部分所示。因此这部分硬件电路主要包括以下部分:ZigBee协调器部分,ARM控制中心和5G模块。协调器主要负责组建局域网络,将多终端节点发来的数据汇总后通过串口发完ARM控制中心;同时,在该控制器中移植嵌入了web服务器,其不仅能够检测控制器的工作状态,而且将能对整个系统的工作状态进行查询监控。主控制器在获取数据后,驱动5G模块工作并通过USB口将数据送往5G模块,实现模块与云端TCP数据传输、与地面站UDP数据传输。以上便是生态环境数据采集的协调器网关的结构组成及工作流程。
环境数据采集的协调器对其上电初始化后,会自动搜索附近的同频段设备ID,并监听433Mhz频段和设定的信道,以此来判断是否有新的终端节点请求加入网络,如果有新的申请,在核实完终端节点的信息后,下发允许加入网络确认命令。在多节点自组网后,协调器将会等待来自树莓派Raspberry Pi通过串口1发送的控制命令,当接收到采集命令后,以广播的方式通知所有节点或以固定信道、固定频段的方式通知某一节点开始数据采集工作。在同时接收到多个终端节点的数据时,采用数据避免碰撞机制将数据依次有序的通过串口1发往树莓派Raspberry Pi。图5给出了协调器节点工作的具体流程图。
目标区域的视频数据采集模块:
相比于草原生态环境数据的采集,对目标区域的视频数据监测则主要借助于高清运动相机GoPro,其具有出色的防抖性能和4K高清拍摄能力,这为之后的生态数据解析功能提供了有力的数据辨析度。整个硬件的连接为:GoPro相机通过MINI-HDMI接口和C779转接板的HDMI接口连通,C779转接板又与树莓派Raspberry Pi的CSI接口连接来建立数据交互(如图7所示)。在硬件连接完成后,首先,对树莓派Raspberry Pi 4B移植Linux系统,修改底层内核来驱动摄像机。之后,登录搭建的数据链路系统,根据具体的需要设定相机的比特率、FPS及分辨率等。基本参数设定完成后,接入数据传输网络,以UDP通信方式与地面站建立联系,将实时捕获的视频数据在无人机地面站软件界面上进行显示,以TCP通信方式与云端服务器交互,将视频数据或图像数据存储在云端,以便后续进行数据分析。
对目标区域的视频数据采集的软件设计流程为:首先,在树莓派Raspberry Pi 4B开发板上移植烧录Linux系统,配置内核驱动树莓派Raspberry Pi CSI接口完成初始化配置。然后编译H.264高清视频编解码程序并将其加入系统自动启动脚本中。之后登录编写好的树莓派Raspberry Pi Web服务器平台,对相机的传输FPS、录制分辨率、传输比特率进行设定。设定完成后,将Web服务器平台设置为自动开启状态,通过对驱动树莓派RaspberryPi CSI接口返回的状态值来判断是否成功开启摄像功能。当相机的数据流显示正常后,重新打开Web服务器平台,选用UDP通信协议给定地面站IP地址后,将能在无人机地面站软件实时看到返回的实时视频。该设计在接入5G移动通信网络后,信号质量良好的情况下,经多次测试,延迟都低于10ms。图8给出了目标区域视频数据采集的软件实现流程图。为满足草原生态数据1Gb/s的传输需求,采用5G通信网络,并在信号不佳时,自动切换到WIFI网络进行短距离数据传送。
传感器模块:
该部分将对生态环境数据采集用到的传感器做进一步的详细叙述。首先土壤温湿度传感器的敏感元件主要材料是金属氧化物,其对水分子有较强的吸附能力,利用电磁脉冲原理,根据电磁波在介质中传播频率来测量土壤的表现介电常数,从而得到土壤相对温湿度。光照强度传感器模块采用先进的光电转换模块,将光照强度值转化为电压值,再经调理电路,输出端可得0~2V左右的电压值。大气压传感器是在单晶硅片上扩散一个惠斯通电桥,电压阻效应使得桥壁电阻值发生变化,产生一个差动电压信号。此信号经专用放大器,再经电压电流变换,将量程相对应的信号转化成标准4~20mA。PH值传感器由化学二次表和信号传输两部分组成,用来检测被测物中氢离子浓度并将相应的信号转化成电压差输出。雨量传感器利用下雨时雨滴撞击压电振子,压电振子按照雨滴的强弱和雨量做振动,振动板的功用是接收雨滴冲击的能量,并将振动传递给内侧压电元件上,压电元件把从振动板传递来的变形转换成电压。电压大小与加到振动板上的雨滴能量成正比,一般为0.5mv至300mv。
这些用于环境指标监测的传感器的输出端口都为模拟信号,故将该传感器模块依次接入ZigBee终端节点的ADC端口(PA口)进行信号采集。控制器CC2530在使用ADC端口进行信号采样时,为满足其工作电压不超过3.3V,因此在输出端外接10K的上拉电阻。本设计将光照强度传感器的输出端连接在CC2530的PA_1引脚上,将温湿度传感器的输出端连接在CC2530的PA_2引脚上,将PH值传感器的输出端连接在CC2530的PA_3和PA_4引脚上,将雨量传感器的输出端连接在CC2530的PA_5引脚上,将压强、风向传感器连接在CC2530的PA_6引脚上,工作电压选择5V。传感器模块与CC2530的引脚连接示意图如图6所示。
数据处理模块:
采用具有科学运算速度快、模型训练适配性强的云端服务器,由英伟达3080Ti、因特尔I7-10700及16G内存组成,为之后的生态数据解析功能提供了有力的数据解析运算支持。
云端服务平台模块:
相比采集终端程序的设计,云端用户服务平台不涉及太多硬件内容,主要包括前端静态显示界面和后台用户数据交互系统,具体工作流程可见图9。树莓派Raspberry Pi通过接入通信模块,将采集到的数据传输到广域网,要想到达地面站或连接到云端服务器,必须先与地面站建立UDP连接,必须与云端服务器建立TCP连接。因此,地面站在启动网络服务后,绑定固定的IP地址和端口号,树莓派Raspberry Pi在建立的数据传输链路系统中配置好对应的地面站IP和端口号,等待与地面站建立UDP连接,当地面站收到请求后,建立UDP连接。在成功建立连接后,可以在地面站的界面上看到实时的视频数据。并且地面站通过Mavlink协议可以下发控制命令,对无人机定点巡航、作业进行规划,对无人机飞行姿态进行控制。此外,在树莓派Raspberry Pi终端搭建的数据传输链路系统可以设定对多个地面站同时传输数据,并实时对程序运行的状态、硬件的使用程度等进行监控。而与云端服务器则需要建立TCP连接,树莓派Raspberry Pi与阿里云云端服务器API接口建立通信后,可以设置每隔固定时间上传指定内容。之后,进行数据解析后将相应的处理结果存储在数据库中,云端用户服务平台在授权登录后依据不同的角色权限对生态数据的处理进行查看、录入和修改,并能查看当日12个小时的生态环境状况。
实施例3
基于卷积神经网络的草原植物分类识别算法涉及模块包括:数据增强模块、特征提取网络模块、分类识别模块、注意力机制模块和GUI交互界面模块(参见图11)。
数据增强模块:
采用单样本集合变换以及多样本合成数据增强。(1)单样本集合变换包括翻转,旋转,平移,裁剪,缩放。这种方式没有改变图像本身,只是选择了图像的一部分或者像素空间重分布。单样本数据增强示意图如图13所示。(2)多样本合成数据增强CutMix,随机生成一个裁剪框,裁剪掉A图的相应位置,然后利用B图相应位置的ROI放到A图中被裁剪的区域形成新的样本,计算损失时同样采用加权求和的方式求解。CutMix示意图如图14所示。将一部分区域裁剪掉不填充0像素,而是随机填充训练集中的其他数据的区域像素值,分类结果按一定比例分配。两张图合并操作定义:
Figure GDA0003029552900000211
Figure GDA0003029552900000212
其中M表示二进制0,1矩阵,表示从两个图像中删除并填充的位置。用来标记需要裁剪的区域和保留的区域,裁剪区域值设置为0,其余部分设置为1。1是所有元素都是1的矩阵,维度大小与M相同。图像A和B组合得到新样本,两个图的标签也对应求加权和。权值采用β分布随机得到,α取值为1,这样加权系数服从β分布。对二进制掩码M采样,首先要对剪裁区域的边界框B=(rx,ry,rw,rh)进行采样,对样本xA和XB做裁剪区域的指示标定。
裁剪区域的边界框采样公式如下:
rx~Unif(0,W),
Figure GDA0003029552900000221
ry~Unif(0,H),
Figure GDA0003029552900000222
W,H是二进制掩码矩阵M的宽高大小,裁剪区域的比例满足
Figure GDA0003029552900000223
确定裁剪区域B后,将二进制掩码M中的裁剪区域B置0,其他区域置1,完成掩码M的采样,然后M点乘A,将样本A中的剪裁区域B移除,(1-M)点乘B将样本B中的剪裁区域B进行裁剪填充到样本A,形成一个新样本。
特征提取网络模块:
对图像分类识别时,首先利用特征提取网络学习特征,然后根据特征分类。基本网络采用残差网络ResNet34结构,用跨层连接方式,解决了随网络深度增加带来的退化问题。改变池化方式及全连接结构,使用1×1卷积代替一般全连接层。将输出特征映射送入一个14×14,步长为3的反卷积层,增加一个反卷积对特征矩阵上采样,增加特征维度,结合标准平均池化操作完成二维特征池化,代替自适应平均池化操作。再经过一个7×7的平均池化层进行下采样。最后分类层通过1×1卷积完成,输出Logits值,再经过归一化指数函数SoftMax输出分类概率,利用分类概率确定对应类别标签。
实验采用PyTorch深度学习框架和Python编程语言,硬件使用英伟达显卡训练。图像大小为488×488,实验中特征提取网络采用ResNet34预训练模型。采用随机梯度下降方式,使用ReLu激活函数,学习率设置为0.001,动态调整学习率,动量设置为0.9。
利用GPU训练模型,加快训练速度和搜索匹配速度。GPU并行处理同层内网络的前向运算及CPU传递层间节点数据及归一化指数函数SoftMax分类计算的结构框架。GPU主要用于加速卷积过程运算,采用NIVIDIA公司的cuDNN库具体实现和调用。CPU是通过单核的强大处理能力来进行数据分配,并传递给GPU进行加速处理。在Oxford17Flower数据集上验证多种基本网络性能。在VGG,ResNet18,ResNet34,VovNet网络上训练准确率曲线如图15所示。经过100次迭代,在六种网络模型上验证准确率对比如图16所示,验证准确率对比如图17所示。通过实验对比ResNet34网络性能最好。在18种自建数据集上实验,改进网络结构与原始ResNet34网络模型对比,验证准确率如图18所示,准确率有所提升,验证损失率如图19所示。
分类识别模块:
构建损失函数,解决分类任务中不同类别训练样本数目相差较大的情况,即数据类别不平衡问题。
(1)使用基于有效样本数的类平衡损失,为最常用的损失函数针对每个类别重新加权,能够快速提高精度,处理高度类别不平衡的数据。利用有效样本数的概念,解决数据重叠问题。在处理长尾数据集的时候,对不同类的损失进行加权比较困难。权重设置为类样本的倒数或类样本的平方根的倒数。对于使用数据增强手段添加的新样本,可能存在近似样本,对有效样本数重新加权可以得到较好的结果。有效样本数:可以表示为n个样本所覆盖的实际体积,其中总体积N由总样本表示,
Figure GDA0003029552900000241
类别均衡损失:β设置为0.99,
Figure GDA0003029552900000242
标签平滑损失:将真实概率构造成:
Figure GDA0003029552900000243
其中ε是一个小常数,K是标签总数量。使模型的预测结果不再仅为一个确定值,是改变目标变量的一种正则化方式,改变目标变量的最小值为ε。当模型进行分类时,结果不再是1或者0,而是1-ε和ε。防止输入到归一化指数函数SoftMax函数的最大logits变得特别大,使得分类模型变得更加准确。Logits是输入到归一化指数函数SoftMax之前的数值,本质是概率,归一化指数函数SoftMax进行了归一化。
带标签平滑的交叉熵损失函数为:
Figure GDA0003029552900000244
Figure GDA0003029552900000245
结合类平衡损失为有效样本重新加权后的损失函数如公式:
Figure GDA0003029552900000246
在这个公式中,e(X)表示x的标准交叉熵损失函数,ε是一个非常小的正数,i表示对应的正确分类,N为所有分类的数量。
(2)迁移将训练好的模型作为特征提取器,利用在大型数据集上获得的参数,将新任务中带标签的训练集送入有初始化模型权值的特征提取网络中继续训练,修改最后一层权重更新分类结果。越浅的层,学习的特征越简单基础;越深的层,学习的特征越复杂而具体。从浅层到深层,识别的特征从边缘、线条、颜色,过渡到纹理、图案,再过渡到复杂图形,甚至到具体的物品。
图20为采用各种性能提升手段后在18种植物自建数据集上验证准确率对比,使用残差网络ResNet34直接分类识别结果如红色曲线所示,在基本网络上加入数据增强和改进损失函数之后曲线如Lable-CutMix-Net所示,在这基础上增加注意力机制如Attention-Net。在最终的植物识别网络上实验曲线如Plant-Net,经过迁移学习的网络曲线如TL-Plant-Net,准确率有大幅提升,但是存在过拟合问题。具体验证准确率见图21。图22为随机输入6张图片得到的预测结果,显示的预测结果与图片标签一致。
注意力机制模块:
通过图像级监督准确定位目标或者局部,通过激活区域反映一个对象的位置,使模型关注最具判别力的位置,提取更多有区别有判别力的特征,对象激活区域如图23所示。使用双线性注意力池化和注意力正则化损失对注意力生成过程进行弱监督,更容易定位到对象的区别较大位置,获得更好的性能。准确定位物体,使得模型能更近距离观察物体,改进预测结果。对每一幅测试图像,对目标类别进行由粗到细预测,对目标区域放大,预测目标优化概率。
(1)注意力机制利用卷积块注意力模型,模型将通道注意力机制和空间注意力机制结合起来,在一定程度上优化特征。植物存在类内差异大,类间差异小问题,属于细粒度分类问题。使用弱监督注意力学习方式,生成注意力图表示识别对象各部分空间分布,提取连续的局部特征解决细粒度视觉分类问题。利用注意力映射对整个目标精确定位,放大目标,进一步提高分类精度。不依靠关键区域边界框,通过卷积生成的注意力图表示目标对象,使得网络在不需要额外标注信息的情况下聚焦到图像中显著特征上。注意力机制流程图如图24所示。首先预测部分区域目标,训练和测试时不用目标位置标注框,使用类别标注,采用弱监督学习预测对象的位置分布。通过卷积网络CNN提取特征,特征图定义为F∈RH ×W×N,其中H,W和C代表特征层的高,宽,通道数。物体各部分分布由注意力图A∈RH×W×M表示,通过下面公式F获得,
Figure GDA0003029552900000261
f(·)是卷积函数。Ak∈RH×W代表对象的一部分或者视觉模式。M是注意力图数量,注意力图用于增强训练数据。
(2)双线性注意力池化,将原始特征图与注意力特征图结合。双线性池化方式如图25所示。注意力图用A表示对象各个部分之后,利用双线性池化方式(BAP)来提取这些部分的特征。按元素顺序将特征图F与每个注意力图按类型顺序相乘,生成M部分特征映射Fk。Fk=Ak⊙F(k=1,2,…,M),⊙表示两个张量的元素相乘。然后通过附加的特征提取函数g(·)获得kth注意力特征fk∈R1×N,fk=g(Fk)。目标特征由部分特征矩阵P∈RM×N表示,由这些部分的特征fk叠加得到。用Γ(A,F)表示特征映射A和特征映射F之间的双线性注意力池化。
Figure GDA0003029552900000271
注意力归一化:对于每一个细粒度类别,希望注意力映射Ak能够代表同一个kth对象部位,采用注意力归一化损失去弱化监督注意力学习过程。除计算预测结果的损失外,加入特征图与部位中心的平方差之和作为惩罚项。部分特征fk将与全局特征中心ck∈R1×N靠近,注意力映射Ak将在同样的kth对象部分被激活。使得每个特征图固定到每个部位的中心。损失函数如下:
Figure GDA0003029552900000272
Figure GDA0003029552900000273
ck是局部特征中心,ck从零初始化,通过移动平均值进行更新。M控制维度降到多少。β控制ck的更新速率。
随机数据增强效率低,在对象较小的情况下,会引入较高百分比的背景噪声,利用注意力图,可以有效扩充数据。对每个训练图像,随机选择注意力图Ak去指导数据增强过程,并且归一化为kth增强映射。
Figure GDA0003029552900000274
注意力机制下的数据增强有助于弱监督注意学习过程,目标对象的位置预测更准确。分类结果由粗粒度预测和细粒度预测平均得到。目标对象图Am表示对象位置,公式如下:
Figure GDA0003029552900000281
GUI交互界面模块:
Windows窗体GUI设计使用Python程序设计语言,在PyCharm环境下实现。GUI程序设计包括:发送控制命令,接收数据显示,访问数据库等方面。用户通过交互界面登录系统,查询,完成识别并保存数据。调用预训练模型,完成植物图片识别,显示识别信息,访问数据库保存信息。数据管理界面显示历史查询信息,包括图片路径,植物类别,操作时间。Windows窗口的GUI界面设计包含以下内容:登录窗口、发送控制命令和显示接收数据的窗口、数据管理窗口。GUI交互界面流程如图26。
启动应用程序,先显示登录窗口,用户输入正确的用户名的密码后跳转到植物识别显示窗口,同时关闭登录窗口的显示。登录界面如图27。
植物显示识别窗口,在该窗口发送控制命令,选择待识别图像,并将信息接收,显示结果。用户可将结果存储在数据库中。用户点击打开文件,选择待识别图像,图像同时显示在界面上。点击开始按钮,待识别图像经过训练好的神经网络模型,得出分类结果,详细信息显示在界面。点击保存按钮,信息将保存到数据库中。点击复制按钮,复制结果的文本信息。选择历史记录按钮,打开数据管理窗口。在植物识别界面可以多次操作,完成多次识别分类过程。具体识别过程需要使用神经网络预训练模型,接收到控制命令,载入训练好模型,验证图像,得出分类结果,识别界面如图28。
数据库存储,使用MySql建立数据库,数据信息保存到数据库做持久化存储。通过Python的pymysql模块执行连接数据库,访问数据库等操作,数据管理界面如图29。
实施例4
基于卷积神经网络的草原植物分类识别算法,首先获取植物图像数据集,采用Oxford 17Flower数据集和利用中国植物图像库中图片自建的数据集。Oxford 17Flower包含17种花卉图像,共有1360张图片,每个类别80张,包含因光照不同,背景差异,视觉变化,形态多变造成的识别问题。自建数据集包含18种草原植物,分别为达乌里芯芭,黄芩,天仙子,党参,菊三七,牛蒡,芍药,野艾蒿,芫荽,远志,百合,半日花,红景天,茴香,桔梗,肉苁蓉,山丹,野豌豆。这些植物的一些部分有药用价值并且可以生长在内蒙古草原;然后对数据集进行预处理,裁剪到固定尺寸,数据归一化和标准化,图像增强,CutMix图像混叠扩充数据样本;基于卷积神经网络构建特征提取网络结构,以残差网络ResNet34作为特征提取骨干网络,将经过预处理的图像送入特征提取网络中,利用基于弱监督的注意力学习方式,提取特征图中具有判别力的特征生成注意力特征图,将注意力特征图放大再次送入特征提取网络中。利用双线性池化方式将原始特征图和注意力特征图融合;最终生成的特征图经反卷积层、池化层、1×1卷积层输出,经过归一化指数函数SoftMax输出分类概率;使用迁移学习的方式,对网络进一步训练,提升性能。其工作原理如图10所示。
基于卷积神经网络的草原植物分类识别算法实现步骤(部分内容参见图11、图12):
步骤S1:建立数据集:获取植物图像数据,并将获取的数据按名称存放在不同的文件夹。按7:3比例随机分为训练集和测试集。为了避免出现错误和重复,通过人工筛选和标注整理。深度学习模型通常需要大量的样本数据进行训练,以提高模型的鲁棒性和识别率,防止模型过拟合。植物图像属于细粒度图像数据集,获取需要更多专家知识,相对于一般分类任务获取难度较大。为了证明本文方法的有效性和准确性,将采用公开植物图像数据集和自建植物图像数据集。
步骤S2:图像预处理:
1)将图像数据裁剪到相同尺寸,深度卷积神经网络模型需要固定尺寸大小图像,AlexNet,VGG网络模型需要调整输入图像大小为224×224,GoogleNet模型要求输入图像大小为299×299,本发明调整输入图像大小为488×488,裁剪到固定尺寸可以减少数据量,帮助神经网络更好地提取图像中的特征。
2)数据归一化和标准化:彩色图像三个色彩通道间不平稳,输入网络前,将整个训练集图像和测试集图像进行特征缩放,将原始图像像素范围归一化到[0,1]区间,便于后续标准化。通过去除均值,移除图像平均亮度,去除亮度对图像分类的影响。神经网络模型依赖数据标准化加速网络训练,避免梯度弥散。
3)图像增强:通过数据增强方式扩充训练样本,增加训练样本丰富度,提升模型泛化能力。植物图像数据集属于小样本,对原始图片做随机裁剪,翻转,平移,缩放,旋转等操作生成更多图像以扩充数据集,生成的新图像包含相同的语义信息。利用CutMix图像混叠数据增强方式,将一个batch的图像与图像,标签与标签之间进行混合,形成新的batch数据,送入网络训练。
步骤S3:构建特征提取网络:以残差网络ResNet34作为基础骨干网络,对网络结构进行改进,改变池化方式,使用1×1卷积代替一般全连接层,改进损失函数解决各类别数据不平衡问题。
步骤S4:分类识别:利用构建好的卷积神经网络模型和训练集中数据,对卷积神经网络进行训练,找出最优的权值参数,使损失函数最小,学习数据特征,经分类层得到输出概率。将一张待分类图片放进训练好的模型,归一化指数函数SoftMax输出概率中最大概率对应的标签就是待分类图片标签。
步骤S5:GUI界面交互:将训练好的卷积神经网络模型保存,通过交互系统实现与用户互动。交互系统包括登录界面、识别界面和数据管理界面,选择待识别图像,调用训练好的模型识别,显示结果,保存信息到数据库中,用户可以查看历史识别信息。
以上实施例对本发明进行了进一步阐述和说明,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,本说明书内容不应理解为对本申请的限制。

Claims (6)

1.一种草原生态数据监测与智能决策一体化解决系统,其特征在于,所述系统包括:
生态环境数据采集模块,所述生态环境数据采集模块采集内容包括:土壤温湿度、压强、降水量、光照强度和PH值数据;
目标区域视频数据采集模块,所述目标区域视频数据采集模块采集内容包括各种草原植物视频和图像数据;
传感器模块,所述传感器模块输出端口为模拟信号,将该传感器模块依次接入ZigBee模块节点的ADC端口PA口进行信号采集;
数据处理模块,所述数据处理模块利用深度学习技术对采集到的图像进行物种分类识别、目标识别检测,确定物种位置和分布信息,使用基于卷积神经网络的草原植物分类识别算法作为特征提取网络,采用弱监督方式,对网络模型优化训练,得到判别模型进行物种分类识别,目标监测;
云端服务平台模块,所述云端服务平台模块包括前端静态显示界面和后台用户数据交互系统;
一体化解决系统的建立和实施步骤包括:
S1)建立生态环境数据库、建立阿里OSS存储位置URL;
S2)将生态环境数据通过Zigbee协调器发往树莓派Raspberry Pi终端进行数据汇总后传送到云端服务器,将目标区域视频数据向树莓派Raspberry Pi指定连接IP地址进行视频推流;
S3)树莓派Raspberry Pi通过接入WIFI或5G网络将生态环境数据上传至云端服务器,打开无人机地面站软件,接收目标区域视频数据及无人机飞行状态数据,并在界面进行显示;
S4)地面站控制无人机自作作业及多机协作作业,云端服务器对目标区域视频或图像数据进行精确识别分析,并将结果写入云端服务器数据库;
S5)用户登录云端Web平台,查看当前已识别物种及分类情况、异常情况以及生态环境数据情况;
所述基于卷积神经网络的草原植物分类识别算法,以残差网络ResNet作为特征提取网络,利用双线性池化方式将原始特征图和注意力特征图融合,融合的特征图经反卷积层、池化层、1×1卷积层输出,经过归一化指数函数SoftMax输出分类概率,使用迁移学习的方式,对网络进一步训练,提升性能;
所述基于卷积神经网络的草原植物分类识别算法涉及模块包括:数据增强模块、特征提取网络模块、分类识别模块、注意力机制模块和GUI交互界面模块;
所述基于卷积神经网络的草原植物分类识别算法的步骤为:
S1)建立数据集:获取植物图像数据,将获取的数据按名称存放在不同的文件夹;
S2)图像预处理:
1)将图像数据裁剪到相同尺寸,深度卷积神经网络模型需要固定尺寸大小图像;
2)数据归一化和标准化;
3)图像增强:通过数据增强方式扩充训练样本,增加训练样本丰富度,提升模型泛化能力;
S3)构建特征提取网络:以残差网络ResNet34作为基础骨干网络,对卷积神经网络结构进行改进,改变池化方式;
S4)分类识别:利用构建好的卷积神经网络模型和训练集中数据,对卷积神经网络进行训练,找出最优的权值参数;
S5)GUI界面交互:将训练好的卷积神经网络模型保存,通过交互系统实现与用户互动。
2.根据权利要求1所述的一种草原生态数据监测与智能决策一体化解决系统,其特征在于,所述生态环境数据采集模块由挂载在无人机上的生态环境监测传感器及Zigbee模块节点组成。
3.根据权利要求1所述的一种草原生态数据监测与智能决策一体化解决系统,其特征在于,所述目标区域视频数据采集模块包括搭载高清摄像头的无人机,运用4K超精细图像采集技术,采集生态数据。
4.根据权利要求1所述的一种草原生态数据监测与智能决策一体化解决系统,其特征在于,所述ZigBee模块包括CC2530主控制器、外设端口、无线射频模块以及晶振。
5.根据权利要求1所述的一种草原生态数据监测与智能决策一体化解决系统,其特征在于,所述目标区域的视频数据采集模块,采用具有防抖性能和4K高清拍摄能力的高清运动相机GoPro,为之后的生态数据解析功能提供了有力的数据辨析度。
6.根据权利要求1所述的一种草原生态数据监测与智能决策一体化解决系统,其特征在于,所述模块之间的信号传输采用5G通信网络,并在信号不佳时,自动切换到WIFI网络进行短距离数据传送。
CN202110170259.0A 2021-02-08 2021-02-08 一种草原生态数据监测与智能决策一体化解决系统 Active CN112990262B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110170259.0A CN112990262B (zh) 2021-02-08 2021-02-08 一种草原生态数据监测与智能决策一体化解决系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110170259.0A CN112990262B (zh) 2021-02-08 2021-02-08 一种草原生态数据监测与智能决策一体化解决系统

Publications (2)

Publication Number Publication Date
CN112990262A CN112990262A (zh) 2021-06-18
CN112990262B true CN112990262B (zh) 2022-11-22

Family

ID=76349143

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110170259.0A Active CN112990262B (zh) 2021-02-08 2021-02-08 一种草原生态数据监测与智能决策一体化解决系统

Country Status (1)

Country Link
CN (1) CN112990262B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3876163B1 (en) * 2020-12-18 2023-08-23 Beijing Baidu Netcom Science Technology Co., Ltd. Model training, image processing method, device, storage medium, and program product
CN113452912B (zh) * 2021-06-25 2022-12-27 山东新一代信息产业技术研究院有限公司 巡视机器人的云台摄像机的控制方法、装置、设备及介质
CN113781551B (zh) * 2021-09-06 2023-10-31 中南民族大学 基于视觉感知的茶园植物状态监测管理系统及其方法
CN114943290B (zh) * 2022-05-25 2023-08-08 盐城师范学院 一种基于多源数据融合分析的生物入侵识别方法
CN115348297A (zh) * 2022-10-18 2022-11-15 山东省地质矿产勘查开发局八〇一水文地质工程地质大队(山东省地矿工程勘察院) 一种生态环境治理修复方式的智慧分析处理系统
CN115861821B (zh) * 2023-01-10 2024-04-26 三峡高科信息技术有限责任公司 一种基于多目标优化的生态环境监测保护方法
CN116233208B (zh) * 2023-05-05 2023-07-25 四川省核地质调查研究所 一种基于人工智能布局的矿山生态监控系统及方法
CN116681675A (zh) * 2023-06-07 2023-09-01 深圳鑫振华光电科技有限公司 一种基于大数据分析的自动化控制系统及方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111339977A (zh) * 2020-03-03 2020-06-26 河南中光学集团有限公司 一种基于远程视频监控的小目标智能识别系统及其识别方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102130942A (zh) * 2010-12-31 2011-07-20 北京京鹏环球科技股份有限公司 一种基于ZigBee、3G网络的温室无线远程植物生理生态监测系统
CN103576632B (zh) * 2012-08-07 2016-05-18 南京财经大学 基于物联网技术的生猪生长环境监测与控制系统及方法
WO2019040866A2 (en) * 2017-08-25 2019-02-28 The Board Of Trustees Of The University Of Illinois APPARATUS AND METHOD FOR COLLECTING AGRICULTURAL DATA AND AGRICULTURAL OPERATIONS
CN108537795A (zh) * 2018-04-23 2018-09-14 中国科学院地球化学研究所 一种山区河流信息提取方法
CN111798332A (zh) * 2020-05-27 2020-10-20 北京国电通网络技术有限公司 一种基于标准化的综合能源一体化系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111339977A (zh) * 2020-03-03 2020-06-26 河南中光学集团有限公司 一种基于远程视频监控的小目标智能识别系统及其识别方法

Also Published As

Publication number Publication date
CN112990262A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
CN112990262B (zh) 一种草原生态数据监测与智能决策一体化解决系统
Chen et al. An AIoT based smart agricultural system for pests detection
Kattenborn et al. Review on Convolutional Neural Networks (CNN) in vegetation remote sensing
CN108037770B (zh) 基于人工智能的无人机输电线路巡检系统和方法
US11227191B2 (en) Conditional loss function modification in a neural network
US11232330B2 (en) Adaptive neural network selection to extract particular results
Su et al. AI meets UAVs: A survey on AI empowered UAV perception systems for precision agriculture
Chamoso et al. UAVs applied to the counting and monitoring of animals
CN110046631A (zh) 用于自动推断时空图像的变化的系统和方法
MS et al. Optimal Squeeze Net with Deep Neural Network-Based Arial Image Classification Model in Unmanned Aerial Vehicles.
CN113160150A (zh) 基于多类型样本融合与多复杂网络的线网异物入侵ai检测方法与装置
Bouachir et al. Computer vision system for automatic counting of planting microsites using UAV imagery
CN112528912A (zh) 基于边缘计算的作物生长监测嵌入式系统及方法
Ainiwaer et al. Deep learning-based rapid recognition of oasis-desert ecotone plant communities using UAV low-altitude remote-sensing data
CN208335208U (zh) 包含气象参数的图像融合采集系统
CN114898238A (zh) 一种野生动物遥感识别方法及装置
Rangarajan et al. A low-cost UAV for detection of Cercospora leaf spot in okra using deep convolutional neural network
Zhou et al. Pairs autogeo: an automated machine learning framework for massive geospatial data
AHM et al. A deep convolutional neural network based image processing framework for monitoring the growth of soybean crops
Wang et al. Image detection system based on smart sensor network and ecological economy in the context of fine agriculture
CN114494850A (zh) 一种村庄无人居住院落智能识别方法及系统
Chamara et al. AICropCAM: Deploying classification, segmentation, detection, and counting deep-learning models for crop monitoring on the edge
Ahamed et al. Instance Segmentation of Visible Cloud Images Based on Mask R-CNN Applying Transfer Learning Approach
Jha et al. Crop Disease Classification using Support Vector Machines with Green Chromatic Coordinate (GCC) and Attention based feature extraction for IoT based Smart Agricultural Applications
Mohagheghi et al. IoT based Plant Monitoring and Identification using Low-Cost Image Sensors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant