CN117197595A - 基于边缘计算的果树生育期识别方法、装置及管理平台 - Google Patents

基于边缘计算的果树生育期识别方法、装置及管理平台 Download PDF

Info

Publication number
CN117197595A
CN117197595A CN202311473850.9A CN202311473850A CN117197595A CN 117197595 A CN117197595 A CN 117197595A CN 202311473850 A CN202311473850 A CN 202311473850A CN 117197595 A CN117197595 A CN 117197595A
Authority
CN
China
Prior art keywords
image
identification
fruit
period
fruit tree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311473850.9A
Other languages
English (en)
Inventor
刘永波
高文波
何鹏
胡亮
赵国梁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Century Ruitong Technology Co ltd
Agricultural Information And Countryside Economy Research Institute Sichuan Academy Of Agricultural Sciences
Original Assignee
Chengdu Century Ruitong Technology Co ltd
Agricultural Information And Countryside Economy Research Institute Sichuan Academy Of Agricultural Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Century Ruitong Technology Co ltd, Agricultural Information And Countryside Economy Research Institute Sichuan Academy Of Agricultural Sciences filed Critical Chengdu Century Ruitong Technology Co ltd
Priority to CN202311473850.9A priority Critical patent/CN117197595A/zh
Publication of CN117197595A publication Critical patent/CN117197595A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种基于边缘计算的果树生育期识别方法、装置及管理平台,其能够以边缘计算模式代替传统云计算模式,数据处理量更少、传输速度更快且识别更精准,生育期周期识别更全面,平台根据终端识别结果计算得到果树日需求量,并给予培育建议、控制智能系统灌溉等,方法如下:图像采集器每日对果树进行自动拍摄,由边缘识别计算终端获取果树图像,并依次对果树图像进行预处理、分类识别、目标检测识别后获得果树图像的识别结果;平台获取当日所有识别结果并予以校正,生成当日生育期信息;根据当日生育期识别结果,结合其他影响因素,计算得到果树生长日需求量;将日需求量数据传输至果园智能控制系统,实现精准培育。

Description

基于边缘计算的果树生育期识别方法、装置及管理平台
技术领域
本发明涉及农业种植技术领域,具体而言,涉及一种基于边缘计算的果树生育期识别方法、装置及智能监测生产管理平台。
背景技术
近年来,以深度学习理论为指导的计算机视觉技术在农业中得到广泛利用。作物生育期的智能识别技术研究步入新的阶段。李诗涛等提出了基于时间序列全极化合成孔径雷达数据结合决策树模型的油菜生育期识别方法,对油菜生育期识别取得较为准确的结果。王志毅等使用卷积神经网络对白茶生育期进行识别,再融合气象特征对识别效果进行优化,从而得出了准确率较高的白茶生育期识别模型。Tan等构建了基于RiceRes2Net的田间水稻穗检测及生育期识别模型,对水稻孕穗期、抽穗期和灌浆期的识别精度分别达到了99.83%、99.34%和94.59%。
国内外研究者运用现代深度神经网络技术对作物的生育期识别研究取得了一定成效,但依然存在以下问题:
1.深度学习模型部署于远离园区的云服务器,存在计算延迟高、数据传输成本高、对网络依赖大等问题。在有限的计算资源和偏远地区的网络环境的限制下,深度神经网络较难在农业实际环境中得到应用,现代果园中的生育期识别仍然大量依靠人工观测。
2.当前苹果树生育期识别研究大多与果实自动采摘的目标相结合,更多关注苹果在幼果期、成熟期的识别,针对苹果树全生命生育期识别的研究较少。
3.且生育期识别方法大多数停留在试验阶段,部分研究成果虽然具有较高的识别准确率,但模型未运用到实际苹果园区生产中,难以验证真实效果。
发明内容
本发明的目的在于提供一种基于边缘计算的果树生育期识别方法,其能够以边缘计算模式代替传统的云计算模式,就近服务产生更快的服务响应,相较于云计算模式数据更少、传输更快更即时,采用分类识别和目标检测识别两步法精准、快速的得到全周期的生育期识别结果。
本发明的另一目的在于提供一种基于边缘计算的果树生育期识别装置,其部署于园区内,通过边缘识别计算终端即可完成果树生育期的识别,减少云端计算量和传输量,防止大量传输过程中的数据丢失和泄漏风险,降低云端能耗。
本发明的另一目的在于提供一种基于边缘计算的果树生育期智能监测生产管理平台,其能够结合边缘识别计算终端识别结果、其他影响因素和果树生育期需求等进行综合分析,并能够通过果园智能控制系统完成作物的精准灌溉、施肥等管理工作,降低人力成本,提升管理效率和生产效率。
本发明的实施例是这样实现的:
一种基于边缘计算的果树生育期识别方法,该识别方法包括:
图像采集,通过园区内定点设置的图像采集器每日对果树进行拍摄,自动采集果树图像;
图像识别,边缘识别计算终端与图像采集器有线连接,图像采集器获取的果树图像传输至所述边缘识别计算终端,所述边缘识别计算终端依次对果树图像进行预处理、分类识别、目标检测识别后获得果树图像的识别结果;
识别结果存储,将识别结果存储至边缘识别计算终端。
在本发明的较佳实施例中,上述图像采集器为网络摄像机,通过设定运行轨迹对定点区域进行早、中、晚三个时间段的多张图片采集。
在本发明的较佳实施例中,上述预处理包括如下步骤:
图像清洗,用于去除无效图像;
图像增强,用于对清洗后的有效图像进行图像增强;
图像扩增,将增强后的果树图像成倍数扩增。
在本发明的较佳实施例中,上述图像增强的方式包括随机剪裁、随机旋转、水平左右翻转、亮度调节中的一种或多种增强方式组合。
在本发明的较佳实施例中,上述分类识别包括如下步骤:
通过专业人员对获取的历史有效图像进行标记得到第一训练图集,并使用ImageNet模型进行预训练;
将预训练后的第一训练图集导入至改进ResNet50分类模型再次训练,并在训练过程中使用Adam优化器进行改进ResNet50分类模型收敛;
将实时获取的并经过预处理后的果树图像导入至改进ResNet50分类模型进行分类识别;若识别为芽期、花期、落叶期和休眠期则直接输出识别结果;若识别为果期,则将果期图像进行目标检测识别。
在本发明的较佳实施例中,上述改进ResNet50分类模型通过在经典ResNet50的stage1-4的残差模块结尾加入SE通道注意力机制,优化改进ResNet50分类模型的特征提取能力。
在本发明的较佳实施例中,上述目标检测识别包括如下步骤:
通过专业人员对获取的历史有效果期图像进行标记,得到第二训练图集,使用Labeling标记出历史有效果期图像的类别和目标位置;
将标记后的历史有效果期图像导入至YOLO-ReT模型进行训练;
将实时采集的并经过预处理后的果期图像导入至训练好的YOLO-ReT模型进行果期识别,输出果期识别结果;果期识别结果为幼果期、果实膨大期、果实着色期或果实成熟期。
一种基于边缘计算的果树生育期识别装置,该识别装置包括:
图像采集器,搭建于园区,用于每日自动采集果树图像;
边缘识别计算终端,与图像采集器有线连接,使用上述任一所述的图像识别方法,对获取的果树图像依次进行预处理、分类识别、目标检测识别并得到识别结果,将识别结果存储至边缘识别计算终端。
一种基于边缘计算的果树生育期智能监测生产管理平台,该智能监测生产管理平台分别与上述任一所述的边缘识别计算终端、果园智能控制系统通讯连接,智能监测生产管理平台的管理方法包括:
获取当日所有边缘识别计算终端的识别结果并予以校正,生成当日生育期信息;
根据当日的生育期识别结果,结合其他影响因素,计算得到果树生长日水、肥需求量;
将需求量数据传输至果园智能控制系统,由果园智能控制系统配比水、肥后完成精准的灌溉。
在本发明的较佳实施例中,上述智能监测生产管理平台包括:
数据获取单元,用于获取其他影响因素和边缘识别计算终端的识别结果;其他影响因素包括土壤参数、农事参数、气象参数以及植株参数;
数据校正单元,通过最大值法对其他影响因素和识别结果进行校正;
数据分析单元,根据识别结果和其他影响数据进行分析,并生成图表,同时调取对应生育期的管理工作建议;
数据可视化单元,用于识别结果、其他影响数据、图表和管理工作建议中至少一者的可视化展示;
数据储存单元,用于各类型数据存储。
本发明实施例的有益效果是:
1.本发明提出以边缘计算的架构模式替换农业物联网中常用的云计算模式,采集设备组装在园区气象观测站内,并研发适合部署于苹果园区的轻量化识别模型,形成完整的边缘计算框架。
2.本发明提出一种融合改进型ResNet50与YOLO-ReT算法的苹果树生育期识别模型,可对苹果树芽期、花期、幼果期、果实膨大期、果实着色期、果实成熟期、落叶期和休眠期8个生育阶段精确识别。
3. 本发明围绕苹果树生育期识别模型,配套研发了果树生育期智能监测生产管理平台,生产管理平台综合生育期需求和其他影响因素,计算出果树生产日需求量,通过控制系统实现作物精准灌溉。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例的基于边缘计算的果树生育期识别方法流程图;
图2为本发明实施例的图像采集装置和边缘计算识别终端结合的示意图;
图3为本发明实施例的苹果树各阶段生育期图像,其中(a)为芽期图像,(b)为花期图像,(c)为幼果期图像,(d)为果实膨大期图像,(e)为果实着色期图像,(f)为果实成熟期图像,(g)为落叶期图像,(h)为休眠期图像;
图4为本发明实施例的边缘计算识别终端的识别流程示意图;
图5为本发明实施例的图像预处理步骤中的数据增强效果图,其中(a)为原图,(b)为缩放图,(c)为随机裁剪图,(d)为随机翻转图,(e)为上下翻转图,(f)为灰度化图,(g)为亮度调整图,(h)为饱和度调整图;
图6为本发明实施例的改进后的ResNet50模型结构示意图;
图7为本发明实施例的SE通道注意力机制的网络结构示意图;
图8为本发明实施例中使用Labelimg作为图像标记的效果图;
图9为本发明实施例中的YOLO-ReT模型结构示意图;
图10为本发明实施例中的改进ResNet50模型的果树生育期混淆矩阵图;
图11为本发明实施例中的改进ResNet50与YOLO-ReT结合模型的果树生育期混淆矩阵图;
图12为本发明实施例中的智能监测生产管理平台。
附图标记:001-球形网络摄像机;002-边缘识别计算终端;003-立杆。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
第一实施例
目前,苹果果园环境、土壤监测以及灌溉系统等已经实现自动化,但仅利用环境、土壤监测已不满足于苹果果树灌溉、施肥决策指导,融合作物生长的自动化监测是一个重要方向,而生育期是作物生长的一个关键参数,生育期的准确判别是指导农事操作和农业生产的关键。
通过图像技术识别作物生育期具有高效率、非接触等特点,然而,在相关技术中存在如下缺陷:
1、如申请号为202210100180.5的一种基于边缘计算的果树识别方法、系统、设备及介质,其通过无人机采集果树图像后,由边缘终端对视频进行预处理得到果树病害识别图像集;将果树病害识别图像发送给云服务器;在云服务器中对果树病害识别图像集进行病害种类识别处理。其仅仅在边缘终端进行将视频预处理得到图像的工作,实际的果树识别工作依旧由云服务器进行,实际也是采用的云计算识别,而非边缘计算识别,由于数据量大且果树园区一般地处偏远,会导致传输速度慢、数据丢失的风险存在;且云端识别的计算量大,耗能依旧很高,识别不够即时。
且在云服务器的识别工作其仅仅是对苗期、开花期、结果期以及成熟期的识别,而对于关键的如果实膨大期等直接影响果实质量的时期,按照结果期或者成熟期进行判定,不能对果实膨大期内的果树进行精确的灌溉量、施肥量提供建议或指导,而该阶段的精确灌溉量/施肥量会对果树的产出质量起到关键作用。
针于此,请参见图1,本实施例提供一种基于边缘计算的果树生育期识别方法,通过图像采集装置、内置有生育期识别模型的边缘计算识别终端以及果树生育期智能监测生产管理平台3部分组成,该识别方法包括:
S1:图像采集,通过园区内定点设置的图像采集器每日对果树进行拍摄,自动采集果树图像。
在步骤S1中,如图2所示,图像采集器以搭建在试验站的3组球形网络摄像机001为采集设备,由球形网络摄像机001、边缘识别计算终端002和立杆003 三部分组成。具体的球形网络摄像机选用海康威视DS-2DC4223IW-D,其分辨率为1920*1080,球机架设在立杆顶部,当球形网络摄像机拍摄完图像后,经有线传输至边缘识别计算终端,避免传输过程中的数据丢失。
可选的,为反映不同时段、不同角度的苹果树图像特征,可以为球形网络摄像机设定运动轨迹。例如本实施例中的球形网络摄像机001能够完成水平360°转动,垂直-15-90°的转动,并以早、中、晚三个时间段分别采集图像(夜间不做采集),其采集的图像可以是图片也可以是巡航视频,若为视频,使用如202210100180.5中的预处理方式即得有效原始图像。在本实施例中选择每个时段采集3张,每天9张,3组摄像机采集了2022年4月至2023年3月约9800张原始图像。
S2:图像识别,边缘识别计算终端与图像采集器有线连接,边缘识别计算终端用于获取图像采集器拍摄的果树图像,并在边缘识别计算终端对果树图像进行预处理、分类识别、目标检测识别后获得果树图像的识别结果。
在S2中,图像识别在边缘识别计算终端进行,其边缘识别计算终端选用Jetsonnano边缘计算盒为载体,以VIDIA Maxwell™GPU架构,具备128 CUDA核,CPU是4核ARM A57。内存为4GB 64位 LPDDR4,用于每日拍摄的图像进行存储以及果树图像识别、并上报识别结果,其包括MIPI CSI摄像头接头、DC接口、HDMI输出接口、USB 3.0接口*4、千兆以太网端口、micro USB接口、40针膨胀接口、Poe接口和主存储TF卡插槽,开发环境安装在MicroSD上。
在本发明中根据苹果树生育期外在特征及需水、需肥特征,将苹果树生育期划分为芽期、花期、果期(幼果期、果实膨大期、果实着色期、果实成熟期)、落叶期和休眠期5个主要阶段(果期包含4个细分阶段), 如图3所示出的(a)为芽期图像,(b)为花期图像,(c)为幼果期图像,(d)为果实膨大期图像,(e)为果实着色期图像,(f)为果实成熟期图像,(g)为落叶期图像,(h)为休眠期图像。
其中芽期、花期、落叶期和休眠期的整体特征明显,而幼果期、果实膨大期、果实着色期、果实成熟期同为果期的细分,在整体特征上相似,局部特征区分较为明显。为提升模型对果树图像的适配性、提高模型的识别准确率,本发明提出一种基于“两步法”的识别模式,识别流程如图4所示:第一步,以模型A(改进ResNet50)对果树生育期图像进行第一次分类识别,若识别结果为芽期、花期、落叶期和休眠期则直接输出结果,若识别结果为果期则将图像输入至模型B(YOLO-ReT);第二步,以模型B(YOLO-ReT)对果期图像进行第二次目标检测识别,并输出最终识别结果。
S21:图像预处理
本发明图像均为试验站球形摄像机在自然环境下自动采集,由于现场环境的复杂性和不确定性,采集的图像会存在物体遮挡、曝光过度、对焦不准、目标偏离等问题,需对原始图像数据集进行预处理:将全年采集的9800张图像通过数据清洗的方式筛除无效图像数据,保留8000张成像效果较好的图像数据;由于苹果各生育期持续时间长短不同,采集数量上存在一定差异,为避免因数量不平衡导致模型精度下降的问题,通过随机裁剪、随机旋转、水平左右翻转、调整亮度等方式进行数据增强,如图5所示出的(a)为原图,(b)为缩放图,(c)为随机裁剪图,(d)为随机翻转图,(e)为上下翻转图,(f)为灰度化图,(g)为亮度调整图,(h)为饱和度调整图。将8000张原始数据扩增到32,000张,在提高模型的泛化能力的同时平衡各生育期的数量差。
S22:图像分类识别
S221:通过专业人员对获取的历史有效图像进行标记得到第一训练图集,并使用ImageNet模型进行预训练;
具体的,由果树专业人员对8000张原始图像进行标记,用于得到第一训练图集,用于分类识别模型训练,具体操作方式为:对生育期特征较为明显的图像可直接标记;若个别图像中同时包含多个生育期的特征,则参考中晚熟苹果树生育期划分标准,根据图像采集时间和同一时间其他果树的物候特征来综合判定。例如,某一张图像采集自10月29日,果树在落叶的同时存在少量尚未采摘的果实,参考中晚熟苹果树生育期划分标准,该时期处于落叶期,同时该时期其他果树也呈现出落叶特征,尽管图像中存在少量未采摘的果实,该图像依然标记为落叶期。
S222:将预训练后的第一训练图集导入至改进ResNet50分类模型再次训练,并在训练过程中使用Adam优化器进行改进ResNet50分类模型收敛;
其中,改进ResNet50分类模型的构建方式如下:
本发明在经典ResNet50模型的基础上,融合通道注意力机制和Adam优化器,在每组残差模块结尾处引入SE通道注意力,以提高模型对苹果树图像的特征提取能力。同时,为使模型能够快速收敛,文本采用ImageNet作为预训练模型。改进后的ResNet50模型结构如图6所示。
其中Conv代表神经网络中的卷积层,“Conv, 7x7, 64”表示卷积核大小为7x7,通道数为64的卷积层。Max pool表示最大池化层,SE block表示注意力机制层,Average pool表示平均池化层,Softmax为全连接层,整个模型包含4组Building block块,Buildingblock块的数量分别为3块、4块、6块、3块。
由于本发明苹果树的图像均为自然环境下采集,图像数据特征的提取会受到大量环境因素影响,模型无法自主判断所提取的特征是否为背景数据特征。注意力机制借鉴了人类视觉的选择机制,将注意力集中在具有明显特征的信息上,选择性忽略一些次要信息,以此达到最优识别性能。注意力机制包括通道注意力机制和空间注意力机制,在本发明中的苹果树生育期数据均为复杂环境下自然生长的果树图像,并非独立的目标物体。因此,选择在ResNet50模型中增加通道注意力机制(Squeeze-and-Excitation Network,SE),用于提高模型对苹果树图像的特征提取能力,通道注意力机制的网络结构如图7所示。
SE模块主要包含三个步骤:第一步,将一个特征图X,经过Ftr卷积后得到大小为H×W×C的特征图U,特征图U经过Fsq压缩后得到1×1×C的输出,即通过全局平均池化将每个通道的二维特征压缩为一个实数。其表达式为公式(1):
其中,W、H代表特征图的宽、高;uc表示输入特征图;c表示特征通道数;i、j分别表示特征数据的行、列值;Zc为输出数据特征值。
第二步,将经过Fex激活的1×1×C矩阵看作z,使每一个通道获得不同的权重,z矩阵经过一个全连接层,把维度压缩为C/r,r为缩放尺寸参数,经过ReLu激活函数后,再通过另一全连接层把维度变回C,使输入输出通道保持一致,最后经过sigmoid函数计算获得特征权重s,其表达式为公式(2)。
其中,δ表示ReLu激活函数;σ表示sigmoid函数;s为特征权重,W1和W2为两个全连接层。
第三步,将上一步输出的s与原特征数据相乘,实现通道的原有数据特征加权标定,其表达式为公式(3):
式中,Uc表示特征图U的第c个通道;Sc表示1×1×C权重矩阵的第c个通道;Fscale为标定操作。
在模型训练过程中,通过前向传播得过程得到损失值,再进入反向传播过程得到参数的梯度,优化器的作用在于利用梯度去更新参数,使得损失不断地降低。Adam优化器融合了自适应学习率的梯度下降算法和动量梯度下降算法的优点,既能适应稀疏梯度,又能缓解梯度震荡的问题。
Adam优化器在损失梯度更新时,可根据不同参数自适应学习率。为更好地促进模型收敛,本文研究改进ResNet50模型在Adam优化器中引入余弦退火(Cosine Annealing)衰减学习率以提高Adam优化器的性能。
S223:将实时获取的并经过预处理后的果树图像导入至改进ResNet50分类模型进行分类识别;若识别为芽期、花期、落叶期和休眠期则直接输出识别结果;若识别为果期,则将果期图像进行目标检测识别。
具体的,在本发明中的目标检测识别包括如下步骤:
通过专业人员对获取的历史有效果期图像进行标记,得到第二训练图集,使用Labeling标记出历史有效果期图像的类别和目标位置;
具体方法为:由果树专业人员果期原始图像进行标记,不同于分类模型只需给图像标记类别,在目标检测模型中不仅需要标记目标类别,还需要标记目标位置。本发明选择Labelimg作为图像标记工具,标记效果如图8所示。具体标记方法为:对图像中的果实进行框选标记,并分别打上幼果期、果实膨大期、果实着色期、果实成熟期的标签。由于果树发育的个体差异性,标记时允许同一张图像上存在多种生育期特征的标签。
将标记后的历史有效果期图像导入至YOLO-ReT模型进行训练;YOLO-ReT模型提出了一个轻量级的特征收集和再分配模块,该模块将来自Backbone的原始多尺度特征融合在一起,然后将其重新分配到每个特征尺度。因此,每个比例的特征图包含了所有其他比例尺度的特征。这种层不会增加模型计算的负担,但允许每对特征尺度之间的直接联系,其总体架构如图9所示。
本发明选择YOLO-ReT模型作为果期目标检测的原因在于,YOLO-ReT提出了RFCR模块,有效结合多尺度特征,兼容各种Backbone和检测头。对个体迁移学习层的重要性进行广泛的实验分析,并采用截断方法提高模型效率。截断和RFCR模块相互补充,允许创建更快、更准确的检测模型;YOLO-ReT模型具备体量小、准确率高、速度快的优点,对本发明中的边缘计算设备Jetson nano更为友好。
将实时采集的并经过预处理后的果期图像导入至训练好的YOLO-ReT模型进行果期识别,输出果期识别结果;果期识别结果为幼果期、果实膨大期、果实着色期或果实成熟期。
为验证改进本发明模型的有效性,将本发明模型分别与目前图像分类领域最常用的AlexNet、VGG16、ResNet18、ResNet34、ResNet50进行对比试验。在相同训练数据集和运行环境下,从验证集准确率(Validation Accuracy)、测试集准确率(Test Accuracy)、平均检测时间(Average detection)3个方面对模型进行评价。不同分类模型的试验对比结果如表1所示。
表1-在果树生育期识别中不同模型的性能对比表
由表1内容可知,本发明模型相较于AlexNet、VGG16、ResNet18、ResNet34、ResNet50模型,在验证集准确率和测试集准确率上都有明显提升。由于本发明模型采用“两步法”实现,平均检测时间上相对其他模型较长,但对于每日更新一次的果树生育期模型来说,检测时间在可接受的范围内。试验结果表明,本发明模型在苹果树自建数据集中的性能优于其他常用模型。
为了进一步验证本发明模型对苹果树生育期数据集识别的有效性和性能优越性,本发明通过混淆矩阵分别对改进ResNet50模型和改进ResNet50与YOLO-ReT组合模型进行对比试验。
混淆矩阵是评价图像分类模型的重要指标之一,本发明设计了两组混淆矩阵实验以验证改进ResNet50模型与YOLO-ReT模型结合后对识别效果提升的有效性。在试验测试数据方面,由于红富士苹果全年8类物候期分布时间长短不同,不同生育期的测试集数据在数量上有较大差异。为客观评价模型对各类物候期的识别准确率,提高模型混淆矩阵的可读性,本试验从测试集3200张图像中,选取8类物候期各200张图像作为测试数据。分别以改进改进ResNet50模型和本发明提出的“两步法”结合模型对8类生育期数据进行分类测试,得出的混淆矩阵如图10、11所示。
在混淆矩阵中的,纵轴为苹果树物候期图像的真实标签,横轴为模型预测标签,右侧为预测准确率分布热力图,主对角线为模型预测正确的样本数量,颜色越深代表准确率越高。由图10可知,改进ResNet50模型对果树芽期和休眠期的识别准确率相对较低。由于苹果幼果期、果实膨大期、果实着色期处于相邻生育阶段,其图像特征具有一定相似性,且改进ResNet50模型无法捕捉到果实图像的细微特征,从而导致果期的几种阶段存在相互误判的情况,混淆矩阵实验中改进ResNet50模型平均测试集准确率为91.93%。
由图11可知,本发明提出的“两步法”将改进ResNet50模型与YOLO-ReT模型结合,对果树芽期、落叶期、休眠期的识别结果与改进ResNet50模型的结果相差不大。但在加入YOLO-ReT模型后,对果树幼果期、果实膨大期、果实着色期、果实成熟期的识别效果提升显著,测试集准确率分别提升3.50%、2.44%、5.05%、1.01%。对8类果树生育期的平均准确率达到93.43%。
S3:识别结果存储,将识别结果存储至边缘识别计算终端,防止传输过程中数据丢失且便于后期果树生育期智能监测生产管理平台获取识别结果。
第二实施例
本实施例提供一种基于边缘计算的果树生育期识别装置,该识别装置包括:
支撑件,支撑件固定设置于园区。支撑件的可选方案有多种,只需要完成图像采集器和边缘识别计算终端装配即可,在本实施例中的支撑件选用为立杆003。
图像采集器,用于每日自动采集果树图像,图像采集器设置于支撑件上并基于支撑件可进行预定轨迹移动。本实施例中的图像采集器选用为海康威视DS-2DC4223IW-D。
边缘识别计算终端,与图像采集器有线连接,使用第一实施例的果树生育期识别方法,对获取的果树图像依次进行预处理、分类识别、目标检测识别并得到识别结果,将识别结果存储至边缘识别计算终端,并且能够通过4G网络将识别结果传输至果树生育期智能监测生产管理平台。
第三实施例
请参见图12,本实施例提供一种基于边缘计算的果树生育期智能监测生产管理平台,该智能监测生产管理平台分别与第一实施例或第二实施例中的边缘识别计算终端、果园智能控制系统通讯连接,智能监测生产管理平台的管理方法包括:
获取当日所有边缘识别计算终端的识别结果并予以校正,生成当日生育期信息;
具体的,本发明模型对苹果树图像的生育期识别虽整体识别率虽达到90%以上,但依然存在小概率的误判情况。为降低模型的误判概率,提高模型识别准确率,确保平台对苹果园区的精准管控,平台后端采用取最大值法降低误判概率,具体措施为:对部署于苹果园区的3组摄像头设定成像效果较好的拍摄运动轨迹,并以早、中、晚三个时间段采集图像,3组摄像头3个时段分别采集3幅,每天总计27幅;模型对27幅图像的识别结果进行统计,取识别数量最多的一类作为输出结果,并更新当日生育期信息。例如今当日27幅苹果树图像中,22幅识别为幼果期,2幅识别为花期,3幅识别为果实膨大期,1幅因遮挡物干扰无法识别,则平台根据取最大值法更新当日生育期为幼果期,以此方式校正识别率,提高平台的可靠性。
根据当日的生育期识别结果,结合其他影响因素,计算得到果树生长日水、肥需求量,并进行需求量显示;
将需求量数据传输至果园智能控制系统,由果园智能控制系统配比水、肥后完成精准的灌溉。
本实施例中的苹果树生育期的准确识别,可指导果园管理者在不同生育期开展农事活动。本发明围绕苹果树生育期识别模型,研发了“果树生育期智能监测生产管理平台”,平台界面如图10所示。平台以苹果树生育期水分需求特征为基础,综合考虑土壤持水特征、作物日水分消耗量、天气降水预报以及补灌点等因素,计算果树生长日需水量和缺水量,并通过控制系统实现作物精准灌溉。
智能监测生产管理平台包括:数据获取单元、数据校正单元、数据分析单元、数据可视化单元和数据储存单元等功能模块,数据获取单元用于获取其他影响因素和边缘识别计算终端的识别结果;其他影响因素包括土壤参数、农事参数、气象参数以及植株参数;数据校正单元通过最大值法对其他影响因素和识别结果进行校正;数据分析单元根据识别结果和其他影响数据进行分析,并生成图表,同时调取对应生育期的管理工作建议;数据可视化单元用于识别结果、其他影响数据、图表和管理工作建议中至少一者的可视化展示;数据储存单元用于各类型数据存储。
综上所述,本发明的优势在于:
1.本发明提出以边缘计算的架构模式替换农业物联网中常用的云计算模式,以Nvidia微型GPU芯片为核心,搭载海康威视摄像头、5G双频网卡、散热器、亚克力外壳等配件,组装在园区气象观测站内,并研发适合部署于苹果园区的轻量化识别模型,形成完整的边缘计算框架。其优势在于模型的运算不再依赖网络对图像的传输,在设备边缘实现运算,4G网络只需传输少量的结果数据,成本更低,可靠性更高。
2.本发明提出一种基于ResNet50与YOLO-ReT的“两步法”苹果树生育期识别模型,该模型融合了分类模型和目标检测模型的优势,可对苹果树芽期、花期、幼果期、果实膨大期、果实着色期、果实成熟期、落叶期和休眠期8个生育阶段精确识别。通过对比试验证明,本发明模型的识别精度较常规模型有较大提升。
3. 本发明围绕苹果树生育期识别模型,配套研发了“果树生育期智能监测生产管理平台”。平台以苹果树生育期水分需求特征为基础,综合考虑土壤持水特征、作物日水分消耗量、天气降水预报以及补灌点等因素,计算果树生长日需水量和缺水量,并通过控制系统实现作物精准灌溉。不同于以往算法模型大多数停留在试验阶段,本发明提出的图像采集装置、识别模型与平台相结合投入实际生产,起到了对园区管理提质增效的目的,降低了人力成本,提高了生产效率。
本说明书描述了本发明的实施例的示例,并不意味着这些实施例说明并描述了本发明的所有可能形式。应理解,说明书中的实施例可以多种替代形式实施。附图无需按比例绘制;可放大或缩小一些特征以显示特定部件的细节。公开的具体结构和功能细节不应当作限定解释,仅仅是教导本领域技术人员以多种形式实施本发明的代表性基础。本领域内的技术人员应理解,参考任一附图说明和描述的多个特征可以与一个或多个其它附图中说明的特征组合以形成未明确说明或描述的实施例。说明的组合特征提供用于典型应用的代表实施例。然而,与本发明的教导一致的特征的多种组合和变型可以根据需要用于特定应用或实施。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于边缘计算的果树生育期识别方法,其特征在于,所述识别方法包括:
图像采集,通过园区内定点设置的图像采集器每日对果树进行拍摄,自动采集果树图像;
图像识别,边缘识别计算终端与图像采集器有线连接,图像采集器获取的果树图像传输至所述边缘识别计算终端,所述边缘识别计算终端依次对所述果树图像进行预处理、分类识别、目标检测识别后获得果树图像的识别结果;
识别结果存储,将所述识别结果存储至所述边缘识别计算终端。
2.根据权利要求1所述的基于边缘计算的果树生育期识别方法,其特征在于,所述图像采集器为网络摄像机,通过设定运行轨迹对定点区域进行早、中、晚三个时间段的多张图片采集。
3.根据权利要求1所述的基于边缘计算的果树生育期识别方法,其特征在于,所述预处理包括如下步骤:
图像清洗,用于去除无效图像;
图像增强,用于对清洗后的有效图像进行图像增强;
图像扩增,将增强后的果树图像成倍数扩增。
4.根据权利要求3所述的基于边缘计算的果树生育期识别方法,其特征在于,所述图像增强的方式包括随机剪裁、随机旋转、水平左右翻转、亮度调节中的一种或多种增强方式组合。
5.根据权利要求1所述的基于边缘计算的果树生育期识别方法,其特征在于,所述分类识别包括如下步骤:
通过专业人员对获取的历史有效图像进行标记得到第一训练图集,并使用ImageNet模型进行预训练;
将预训练后的第一训练图集导入至改进ResNet50分类模型再次训练,并在训练过程中使用Adam优化器进行改进ResNet50分类模型收敛;
将实时获取的并经过预处理后的果树图像导入至改进ResNet50分类模型进行分类识别;若识别为芽期、花期、落叶期和休眠期则直接输出识别结果;若识别为果期,则将果期图像进行目标检测识别。
6.根据权利要求5所述的基于边缘计算的果树生育期识别方法,其特征在于,所述改进ResNet50分类模型通过在经典ResNet50的stage1-4的残差模块结尾加入SE通道注意力机制,优化改进ResNet50分类模型的特征提取能力。
7.根据权利要求1所述的基于边缘计算的果树生育期识别方法,其特征在于,所述目标检测识别包括如下步骤:
通过专业人员对获取的历史有效果期图像进行标记,得到第二训练图集,使用Labeling标记出历史有效果期图像的类别和目标位置;
将标记后的所述历史有效果期图像导入至YOLO-ReT模型进行训练;
将实时采集的并经过预处理后的果期图像导入至训练好的YOLO-ReT模型进行果期识别,输出果期识别结果;所述果期识别结果为幼果期、果实膨大期、果实着色期或果实成熟期。
8.一种基于边缘计算的果树生育期识别装置,其特征在于,所述识别装置包括:
支撑件,支撑件固定设置于园区;
图像采集器,用于每日自动采集果树图像,所述图像采集器设置于所述支撑件上并基于所述支撑件可进行预定轨迹移动;
边缘识别计算终端,设置于所述支撑件上并与所述图像采集器有线连接,所述边缘识别计算终端使用权利要求1-7中任一所述的果树生育期识别方法,对获取的所述果树图像依次进行预处理、分类识别、目标检测识别并得到识别结果,将所述识别结果存储至所述边缘识别计算终端。
9.一种基于边缘计算的果树生育期智能监测生产管理平台,其特征在于,所述智能监测生产管理平台分别与权利要求1-7任一所述的边缘识别计算终端、果园智能控制系统通讯连接,所述智能监测生产管理平台的管理方法包括:
获取当日所有边缘识别计算终端的识别结果并予以校正,生成当日生育期信息;
根据当日的生育期识别结果,结合其他影响因素,计算得到果树生长日水、肥需求量;
将需求量数据传输至果园智能控制系统,由果园智能控制系统配比水、肥后完成精准的灌溉。
10.根据权利要求9所述的基于边缘计算的果树生育期智能监测生产管理平台,其特征在于,所述智能监测生产管理平台包括:
数据获取单元,用于获取其他影响因素和边缘识别计算终端的识别结果;其他影响因素包括土壤参数、农事参数、气象参数以及植株参数;
数据校正单元,通过最大值法对所述其他影响因素和识别结果进行校正;
数据分析单元,根据所述识别结果和所述其他影响数据进行分析,并生成图表,同时调取对应生育期的管理工作建议;
数据可视化单元,用于识别结果、其他影响数据、图表和管理工作建议中至少一者的可视化展示;
数据储存单元,用于各类型数据存储。
CN202311473850.9A 2023-11-08 2023-11-08 基于边缘计算的果树生育期识别方法、装置及管理平台 Pending CN117197595A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311473850.9A CN117197595A (zh) 2023-11-08 2023-11-08 基于边缘计算的果树生育期识别方法、装置及管理平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311473850.9A CN117197595A (zh) 2023-11-08 2023-11-08 基于边缘计算的果树生育期识别方法、装置及管理平台

Publications (1)

Publication Number Publication Date
CN117197595A true CN117197595A (zh) 2023-12-08

Family

ID=88994679

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311473850.9A Pending CN117197595A (zh) 2023-11-08 2023-11-08 基于边缘计算的果树生育期识别方法、装置及管理平台

Country Status (1)

Country Link
CN (1) CN117197595A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117765403A (zh) * 2024-02-22 2024-03-26 山西余得水农牧有限公司 提高作物抗倒伏能力和籽粒品质的施肥方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102413161A (zh) * 2011-07-06 2012-04-11 西北农林科技大学 一种苹果果园精准管理系统
CN109191074A (zh) * 2018-08-27 2019-01-11 宁夏大学 智慧果园种植管理系统
CN112084977A (zh) * 2020-09-14 2020-12-15 太原理工大学 一种融合图像和时间特征的苹果物候期自动识别方法
CN112528912A (zh) * 2020-12-19 2021-03-19 扬州大学 基于边缘计算的作物生长监测嵌入式系统及方法
CN113344035A (zh) * 2021-05-17 2021-09-03 捷佳润科技集团股份有限公司 一种香蕉物候期监控模块及种植系统
CN113657469A (zh) * 2021-07-30 2021-11-16 广东省生态气象中心(珠江三角洲环境气象预报预警中心) 基于图像识别的木本植物物候期的自动观测方法和系统
CN114627411A (zh) * 2022-03-04 2022-06-14 水发智慧农业科技有限公司 基于计算机视觉下并行检测的农作物生育期识别方法
CN115294566A (zh) * 2022-06-27 2022-11-04 青岛农业大学 一种基于YOLO V3与ResNeXt-50级联模型的脐橙病虫害识别方法
CN115861686A (zh) * 2022-11-17 2023-03-28 华南农业大学 基于边缘深度学习的荔枝关键生长期识别检测方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102413161A (zh) * 2011-07-06 2012-04-11 西北农林科技大学 一种苹果果园精准管理系统
CN109191074A (zh) * 2018-08-27 2019-01-11 宁夏大学 智慧果园种植管理系统
CN112084977A (zh) * 2020-09-14 2020-12-15 太原理工大学 一种融合图像和时间特征的苹果物候期自动识别方法
CN112528912A (zh) * 2020-12-19 2021-03-19 扬州大学 基于边缘计算的作物生长监测嵌入式系统及方法
CN113344035A (zh) * 2021-05-17 2021-09-03 捷佳润科技集团股份有限公司 一种香蕉物候期监控模块及种植系统
CN113657469A (zh) * 2021-07-30 2021-11-16 广东省生态气象中心(珠江三角洲环境气象预报预警中心) 基于图像识别的木本植物物候期的自动观测方法和系统
CN114627411A (zh) * 2022-03-04 2022-06-14 水发智慧农业科技有限公司 基于计算机视觉下并行检测的农作物生育期识别方法
CN115294566A (zh) * 2022-06-27 2022-11-04 青岛农业大学 一种基于YOLO V3与ResNeXt-50级联模型的脐橙病虫害识别方法
CN115861686A (zh) * 2022-11-17 2023-03-28 华南农业大学 基于边缘深度学习的荔枝关键生长期识别检测方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘永波等: "基于改进ResNet50模型的自然环境下苹果物候期识别", 智慧农业, vol. 05, no. 02, pages 13 - 22 *
许增: "轻量级苹果生长状态自动观测方法研究", 中国优秀硕士学位论文全文数据库农业科技辑, pages 048 - 214 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117765403A (zh) * 2024-02-22 2024-03-26 山西余得水农牧有限公司 提高作物抗倒伏能力和籽粒品质的施肥方法
CN117765403B (zh) * 2024-02-22 2024-04-30 山西余得水农牧有限公司 提高作物抗倒伏能力和籽粒品质的施肥方法

Similar Documents

Publication Publication Date Title
CN111582234B (zh) 基于uav和深度学习的大范围油茶林果智能检测与计数方法
CN110197308B (zh) 一种用于农业物联网的作物监测系统及方法
CN113657469B (zh) 基于图像识别的木本植物物候期的自动观测方法和系统
CN113920474B (zh) 一种智能监管柑橘种植态势的物联网系统及方法
CN114387520A (zh) 一种用于机器人采摘的密集李子精准检测方法及其系统
CN111985724B (zh) 一种农作物产量预估的方法、装置、设备及存储介质
CN117197595A (zh) 基于边缘计算的果树生育期识别方法、装置及管理平台
CN114239756B (zh) 一种虫害检测方法及系统
CN110969654A (zh) 基于收割机的玉米高通量表型测量的方法及装置、收割机
CN110598532A (zh) 一种树木病虫害监控系统及方法
CN111967441A (zh) 一种基于深度学习的农作物病害分析方法
CN113011221A (zh) 作物分布信息的获取方法、装置及测量系统
Lyu et al. Development of phenotyping system using low altitude UAV imagery and deep learning
CN113822198B (zh) 基于uav-rgb图像和深度学习的花生生长监测方法、系统及介质
CN106683092A (zh) 测算蓝莓树冠郁闭度的装置、系统和方法
CN117392535A (zh) 一种面向复杂环境的果树花芽目标检测与白点率估算方法
Zhang et al. Automatic counting of lettuce using an improved YOLOv5s with multiple lightweight strategies
CN115797764B (zh) 一种应用于耕地非农化监测的遥感大数据解译方法及系统
CN116740337A (zh) 一种红花采摘点识别定位方法及采摘系统
CN115661544A (zh) 基于N-MobileNetXt的菠菜幼苗水分胁迫等级分类系统及方法
CN114511777A (zh) 一种基于图像识别方法的桃树花期监测评估方法
Bonaria Grapevine yield estimation using image analysis for the variety Arinto
Miller Estimation of individual tree metrics using structure-from-motion photogrammetry.
Yang et al. Simple, Low-Cost Estimation of Potato Above-Ground Biomass Using Improved Canopy Leaf Detection Method
CN116052141B (zh) 作物生育期的识别方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination