CN112836623B - 设施番茄农事决策辅助方法及装置 - Google Patents

设施番茄农事决策辅助方法及装置 Download PDF

Info

Publication number
CN112836623B
CN112836623B CN202110129527.4A CN202110129527A CN112836623B CN 112836623 B CN112836623 B CN 112836623B CN 202110129527 A CN202110129527 A CN 202110129527A CN 112836623 B CN112836623 B CN 112836623B
Authority
CN
China
Prior art keywords
network
decision
images
agronomic
intelligent glasses
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110129527.4A
Other languages
English (en)
Other versions
CN112836623A (zh
Inventor
张云鹤
张馨
陈新
鲍锋
郭瑞
唐冰霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Research Center of Intelligent Equipment for Agriculture
Original Assignee
Beijing Research Center of Intelligent Equipment for Agriculture
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Research Center of Intelligent Equipment for Agriculture filed Critical Beijing Research Center of Intelligent Equipment for Agriculture
Priority to CN202110129527.4A priority Critical patent/CN112836623B/zh
Publication of CN112836623A publication Critical patent/CN112836623A/zh
Application granted granted Critical
Publication of CN112836623B publication Critical patent/CN112836623B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Forestry; Mining
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
    • Y02A40/25—Greenhouse technology, e.g. cooling systems therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Evolutionary Biology (AREA)
  • Mining & Mineral Resources (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Animal Husbandry (AREA)
  • Agronomy & Crop Science (AREA)
  • Multimedia (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种设施番茄农事决策辅助方法及装置，该方法包括：通过智能眼镜获取设施内的作物图像；将作物图像输入智能眼镜中预存储的改进型SSD网络模型，输出需要农事决策的部位，并在智能眼镜中进行显示；其中，改进型SSD网络模型为基于MobileNet V3网络代替SSD网络的特征提取网络结构，并基于确定的农事决策部位作为标签的样本图像，进行训练得到；农事决策包括，整枝打杈、疏花、疏果、叶片摘除和熟果采摘中任意一种或多种。该方法以无损图像方式得到番茄不同时期的果实、花、枝叶等部位图像，通过适合移动环境下的轻量级分类模型进行识别，大大减小型移动设备本身存在的处理速度、存储规模等设备因素对识别结果的影响。

Description

设施番茄农事决策辅助方法及装置
技术领域
本发明涉及农业信息化技术领域，尤其涉及一种设施番茄农事决策辅助方法及装置。
背景技术
茄果类蔬菜中最具规模和特色的设施番茄产业对于菜农增收和蔬菜产业发展都具有重要意义，疏花、疏果、打叶、落蔓、绕秧整枝打岔、采收是保证番茄产量和质量的重要措施，可以保证营养供给，协调植株均衡生长，提高果实商品性，具有广泛的应用价值。在传统农业生产过程中，相关农事操作多依赖于农业工作者的经验积累，劳动强度大，不适于在现代设施环境中的科学管理。因此，通过先进的计算机技术，实现对设施蔬菜进行自动识别叶片、果实等生长参数，并且结合实际生产经验，对农事作业进行指导，对解决作业效率低、成本高等问题有重要意义。
目前的方法中，以果实图像轮廓识别方法为例，包括：基于Mask R-CNN深度卷积神经网络进行训练,将果实图像训练集输入所述Mask R-CNN深度卷积神经网络中,训练得到目标检测模型；通过所述目标检测模型对果实图像验证集进行感兴趣区域提取，根据感兴趣区域生成目标回归框；对所述目标回归框中的果实图像进行多特征融合分析,确定果实边缘轮廓位置；对所述果实边缘轮廓位置进行轮廓拟合优化处理，得到优化后的果实边缘轮廓。
目前的部分卷积网络实现对不同作物的参数监测，具有良好的识别效果，但是存在模型复杂、参数计算量大、硬件要求高等条件限制，难以达到移动环境下操作，而在实际生产中，需要移动环境下在线快速决策，以方便用户快速操作。
发明内容
针对现有技术存在的问题，本发明提供一种设施番茄农事决策辅助方法及装置。
本发明提供一种设施番茄农事决策辅助方法，包括：通过智能眼镜获取设施内的作物图像；将所述作物图像，输入智能眼镜中预存储的改进型单镜头多盒检测器(SingleShot MultiBox Detector，SSD)网络模型，输出需要农事决策的部位，并在智能眼镜中进行显示；其中，所述改进型SSD网络模型，为基于MobileNet(移动深度学习网络)V3网络代替SSD网络的特征提取网络结构，并基于确定的农事决策部位作为标签的样本图像，进行训练得到；所述农事决策包括，整枝打杈、疏花、疏果、叶片摘除和熟果采摘中任意一种或多种。
根据本发明一个实施例的设施番茄农事决策辅助方法，所述通过智能眼镜获取设施内的作物图像之前，还包括：通过巡检机器人获取作物各生长周期的图像，对需要农事决策的部位和无需农事决策的部位，分别标注对应的正负样本图像；在智能眼镜以外的计算设备上，构建改进型SSD网络模型，基于样本图像，对构建的改进型SSD网络模型进行训练；将训练完成的改进型SSD网络模型，发送至智能眼镜进行存储。
根据本发明一个实施例的设施番茄农事决策辅助方法，所述构建改进型SSD网络模型，包括：选取MobileNet V3中的layer_14和layer_17作为特征提取层，代替SSD网络的特征提取网络。
根据本发明一个实施例的设施番茄农事决策辅助方法，对构建的改进型SSD网络模型进行训练之后，还包括：根据采样AP值确定训练后模型的性能；
其中，P为准确率，R为召回率，TP为真实的正样本数量，FP为错误的正样本数量，FN为错误的负样本数量。
根据本发明一个实施例的设施番茄农事决策辅助方法，所述通过巡检机器人获取作物各生长周期的图像，对需要农事决策的部位和无需农事决策的部位，分别标注对应的正负样本图像，包括以下中的一项或多：
采集具有腋芽的枝杈部分的样本图像，将腋芽大于预设长度的图像标记为需要打岔的正样本；采集开花部位的样本图像，将每穗花朵数量大于预设数量的图像标记为需要疏花的正样本；采集穗果坐齐后的样本图像，将单株的果实大于预设数量的样本图像标记为需要疏果的正样本；分别采集成熟果实和非成熟果实的样本图像，将成熟果实图像标记为适合采摘的正样本，将非成熟果实图像标记为不适合采摘的负样本；采集叶片部位的样本图像，将叶片覆盖果实的部位或叶片密度大于预设条件的部位，标记为需要叶片摘除的正样本。
根据本发明一个实施例的设施番茄农事决策辅助方法，所述通过巡检机器人获取作物各生长周期的图像之后，还包括：从获取的整体图像数据集中，独立同分布采样得到作物各生长周期的图像，用于训练。
根据本发明一个实施例的设施番茄农事决策辅助方法，输出需要农事决策的部位，并在智能眼镜中进行显示之后，还包括：根据显示的需决策部位，进行农事决策作业后，再次获取设施内作物图像；根据所述需要农事决策的部位和已作业的部位，对决策作业的效果进行评估。
本发明还提供一种设施番茄农事决策辅助装置，包括：采集模块，用于获取设施内的作物图像；处理模块，用于将所述作物图像，输入智能眼镜中预存储的改进型SSD网络模型，输出需要农事决策的部位，并在智能眼镜中进行显示；其中，所述改进型SSD网络模型，为基于MobileNet V3网络代替SSD网络的特征提取网络结构，并基于确定的农事决策部位作为标签的样本图像，进行训练得到；所述农事决策包括，整枝打杈、蔬花、蔬果、叶片摘除和熟果采摘中任意一种或多种。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述设施番茄农事决策辅助方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述设施番茄农事决策辅助方法的步骤。
本发明提供的设施番茄农事决策辅助方法及装置，以无损图像方式得到番茄不同时期的果实、花、枝叶等部位的图像，通过适合移动环境下的轻量级分类模型进行识别，大大减小型移动设备本身存在的处理速度、存储规模等设备因素对识别结果的影响。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的设施番茄农事决策辅助方法的流程示意图；
图2是本发明提供的深度可分离卷积图示意图；
图3是本发明提供的改进型SSD网络模型示意图；
图4是本发明提供的设施番茄农事决策辅助装置的结构示意图；
图5是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图5描述本发明的设施番茄农事决策辅助方法及装置。图1是本发明提供的设施番茄农事决策辅助方法的流程示意图，如图1所示，本发明提供一种设施番茄农事决策辅助方法，包括：
101、通过智能眼镜获取设施内的作物图像。
102、将所述作物图像，输入智能眼镜中预存储的改进型SSD网络模型，输出需要农事决策的部位，并在智能眼镜中进行显示。所述农事决策包括，整枝打杈、疏花、疏果、叶片摘除和熟果采摘中任意一种或多种。
首先，通过新型智能眼镜设备收集设施内的作物图像。智能眼镜中预存储有训练好的改进型SSD网络模型。该改进型SSD网络模型，为基于MobileNet V3网络代替SSD网络的特征提取网络结构，并基于确定的农事决策部位作为标签的样本图像，进行训练得到。本发明主要基于轻量化神经网络实现对设施番茄农事活动进行识别和分析。
SSD算法结合了Faster RCNN和YOLO的优点，包括提取图像特征的基础网络和多尺度检测网络,在检测精度和效果上更为均衡。将VGG16最后的两个全连接层改成卷积层，并增加了几个特征层。选取网络结构中不同层次的特征图，进行位置回归和分类，接着利用非极大值抑制算法对预测到的先验框进行筛选，以产生最终检测结果。
对于以VGG-16为基础骨架的SSD检测模型而言，拥有大量的权值参数，这需要高性能的硬件设备和稳定的实验环境。在农业生产过程中，小型移动设备应用非常广泛，但是其处理器难以达到试验要求，存在模型存储和处理速度等问题，传统SSD检测模型难以达到应用要求。为解决此类问题，可以替换前端特征提取模型，设计轻量化的网络模型，减少网络参数数量和节省运行内存，提高计算速度。
MobileNet V3中包含了深度可分离卷积、具有线性瓶颈的逆残差结构和基于squeeze and excitation结构的轻量级注意力模型。深度可分离卷积是轻量级神经网络发展过程中的一项重要技术，在保证精度降低很小的前提下，大幅度提高网络运行速度，降低模型参数和运算成本。其基本思想是把区域和通道分开考虑，将标准卷积分解成深度卷积及一个1×1的逐点卷积。深度卷积是用于特征提取，对输入数据的每个通道应用单个卷积滤波器进行卷积。逐点卷积是对上一步的输出进行线性组合，得到新的特征。而标准卷积是使用同等深度的卷积核与输入数据进行卷积并求和运算。对比两种卷积方式，可以发现深度可分离卷积在保证与标准卷积输出维度相同的前提下具有更加优异的性能。
图2是本发明提供的深度可分离卷积图示意图，如图2所示，图2中上面部分表示标准卷积。假设输入特征图尺寸为DF×DF×M，卷积核尺寸DK×Dk×M，输出特征图尺寸DF×DF×N，标准卷积层参数(DK×Dk×M)×N。
深度卷积参数量为(DK×Dk×1)×M，逐点卷积参数量为(1×1×M)×N，所以深度可分离卷积参数量是标准卷积的
同时，还具有线性瓶颈的反向残差模块，由于深度卷积没有改变输入通道的能力，所以当通道很少时，深度可分离卷积只能在低维度特征上工作，而通常情况下激活函数在低维度时的非线性变化会导致较大的信息损失，所以在深度卷积之前先经过1×1的卷积来提高提升输入数据的维度，使其可以在高纬度下提取特征，在深度卷积后再经过一个1×1的卷积用于降维，这样整个结构与标准残差结构的先降维再升维相反，所以称为反向残差，线性瓶颈是指降维后，将激活函数换成线性。
轻量级注意力模型SE，SE模块思想简单，易于实现，对卷积后的特征图进行处理，利用通道的独立性分别重调通道维度的特征来获得更好的最终效果，而且很容易可以加载到现有的网络模型框架中。
此外，引进非线性激活函数h-swish。Swish具有无上界有下界、平滑、非单调等特点，可以提高神经网络的精度，且在深度模型方面也优于ReLU，但是在计算量很大，通过h-swish近似代替swish。h-swish会造成延迟，所以在模型后半部分使用了h-swish。
swish(x)＝x*sigmoidleft(betaxright)
本发明的设施番茄农事决策辅助方法，以无损图像方式得到番茄不同时期的果实、花、枝叶等部位的图像，通过适合移动环境下的轻量级分类模型进行识别，大大减小型移动设备本身存在的处理速度、存储规模等设备因素对识别结果的影响。本发明从主干网络着手，对传统SSD算法进行改进，通过轻量化的改进型SDD网络模型(MN_SSD)，识别的mAp达到92.57％以上，而综合模型大小可为十几MB，平均识别速度可为0.079s/幅，能够较为准确的对叶片、侧枝、串开花数，串结果数，果实成熟度等参数进行识别。本发明通过智能眼镜，结合实际农业生产经验，对整枝打杈、疏花疏果，果实采摘等农事工作进行科学合理的指导和预判，实现设施番茄的智能化管理。
在一个实施例中，通过智能眼镜获取设施内的作物图像之前，还包括：通过巡检机器人获取作物各生长周期的图像，对需要农事决策的部位和无需农事决策的部位，分别标注对应的正负样本图像；在智能眼镜以外的计算设备上，构建改进型SSD网络模型，基于样本图像，对构建的改进型SSD网络模型进行训练；将训练完成的改进型SSD网络模型，发送至智能眼镜进行存储。
利用移动机器人作为本系统的硬件载体，通过巡检机器人上配置的高清摄像头获取图像信息。通过labelImg软件对获取到的图像样本进行标签制作，使用POSCAL VOC2007数据集格式，分为训练集、验证集和测试集，其中训练集是随机从整体数据集中独立同分布采样得到，为保证后期评价标准的可靠性，测试集要和验证集互斥。将训练好的模型植入智能眼镜，实现农业活动时通过智能眼镜自主进行整枝打杈，疏花疏果等农事作业质量的决策和评估。
本方法通过对巡检机器人采集的图像标注训练后，将训练后的模型植入智能眼镜，当农业从事人员佩戴眼镜后，可以通过算法识别出需要进行整枝打杈的部分以及需要摘除的叶片，并在眼镜中显示其位置，以提醒相关人员进行操作。
在一个实施例中，所述构建改进型SSD网络模型，包括：选取MobileNet V3中的layer_14和layer_17作为特征提取层，代替SSD网络的特征提取网络。
如图3所示，MN_SSD模型可以分为2个部分，前端的基础网络部分主要用于目标特征的提取，用MobileNet V3网络代替VGG-16，并选取MobileNet V3中的layer_14和layer_17作为特征提取层，模型后端是不同尺度的特征检测网络。MN_SSD模型结合了Mobile net和SSD两种网络的优点，可以有效提取待识别目标的信息，准确识别不同类别目标。
在一个实施例中，对构建的改进型SSD网络模型进行训练之后，还包括：
根据采样AP值确定训练后模型的性能；
其中，P为准确率，R为召回率，P和R是相互影响的，理想条件下是两者都高，但是一般条件下准确率与召回率成反比。当R增加到接近1时，准确率有所下降。TP为真实的正样本数量，FP为错误的正样本数量，FN为错误的负样本数量。将P表示为关于R的曲线，在0～1上积分得到AP值，AP值越大，代表模型精度越高，相反则越低。
在一个实施例中，所述通过巡检机器人获取作物各生长周期的图像，对需要农事决策的部位和无需农事决策的部位，分别标注对应的正负样本图像，包括以下中的一项或多项：采集具有腋芽的枝杈部分的样本图像，将腋芽大于预设长度的图像标记为需要打岔的正样本；采集开花部位的样本图像，将每穗花朵数量大于预设数量的图像标记为需要疏花的正样本；采集穗果坐齐后的样本图像，将单株的果实大于预设数量的样本图像标记为需要疏果的正样本；分别采集成熟果实和非成熟果实的样本图像，将成熟果实图像标记为适合采摘的正样本，将非成熟果实图像标记为不适合采摘的负样本；采集叶片部位的样本图像，将叶片覆盖果实的部位或叶片密度大于预设条件的部位，标记为需要叶片摘除的正样本。
在番茄生长过程中一般每株只保留一个主干,把所有的侧枝都摘除。为保持良好的株形,要及时整枝打杈。整枝打杈的时间不宜过早或过晚,一般当腋芽长到3cm时要进行整枝打杈了,打杈时不留桩、不带掉主干上过多的皮,尽可能减少伤口面。可以此作为预设长度进行筛选。
整枝打杈一般选在晴天上午10时至下午3时进行,此时温度高,利于伤口愈合,减少病害发生的概率。不可在连阴天或棚内湿度过大的情况下进行整枝打杈，不利于减少伤口面。整枝打杈一般选在晴天上午10时至下午3时进行,此时温度高,利于伤口愈合,减少病害发生的概率，不可在连阴天或棚内湿度过大的情况下进行整枝打杈。
及时吊绳、绕蔓,可以有效防止倒伏。以冬季为例，落蔓时间大约在12月底至1月上旬。将上部固定的绳结松开,让植株下坠,以茎基部为轴心盘成圆圈,同时摘除下部茎上的老叶,加强通风透光。落蔓时注意将龙头落在同一水平线上。
番茄长势过旺时,适度的摘叶可以抑制长势,因为长势过旺时叶片又大又多,叶片覆盖果实是形成空洞果的主要原因,所以最好摘除覆盖果实的复叶或摘除半片叶。另外在番茄生长的中后期,植株下部叶片进入衰老阶段,既消耗养分，又影响植株通风透光,也易感染和传播病害,因此应及时去掉这部分老叶。
疏花是是调节设施番茄生长和产量的关键管理技术之一，可以有效调节植株局部营养的供给。而且种植的品种为无限生长类型，番茄会连续分化果穗，全部保留的话会使植株营养生长与生殖生长失去平衡，影响早期产量。所以每穗多个花蕾之间会相互争夺营养。在开2～3朵花后根据实际情况疏花，每穗结合蘸花选留4-6朵正常健壮的花蕾，其余多余的花蕾全部疏掉，这是争取早熟的关键措施。
当单株的结果数目过多时，会使得植株容易提前衰败，且果实体积会偏小，最后产量会变低，影响经济收益。所以在待每穗果坐齐后，及时疏掉因蘸花而形成的烂果、畸形果、虫害、特小果等情况，使得每穗保留较整齐的3-5个果，保证果实体型的一致性。
番茄果实是逐步分批成熟的，当果实成熟后，需要及时采摘，否则就会自动坠地，造成损失。判断设施环境下，整体果实的成熟情况，并结合运输，销售等情况综合考量，合理安排采摘时间可以有效进行产量预估，指导果实销售和市场分配，规避市场风险。
在一个实施例中，所述通过巡检机器人获取作物各生长周期的图像，包括：从整体图像数据集中，独立同分布采样得到作物各生长周期的图像。从整体数据集中独立同分布采样得到，可保证后期评价标准的可靠性。
在一个实施例中，输出需要农事决策的部位，并在智能眼镜中进行显示之后，还包括：根据显示的需决策部位，进行农事决策作业后，获取作业后的设施内作物图像；根据所述需要农事决策的部位和已作业的部位，对决策作业的效果进行评估。
本方法通过对巡检机器人采集的图像标注训练后，将训练后的模型植入智能眼镜，当农业从事人员佩戴眼镜后，可自主进行番茄果实和花的数量判断。一方面可以通过定期对番茄的开花和结果状态进行判断，判断大棚内番茄整体的开花和结果情况，然后合理选择时间安排人力进行疏花疏果。另一方面通过对每株具体开花和结果数的判断，如每穗开花数目大于6或结果数目大于5时，可将识别信息传送给大棚农业管理人员或操作人员进行指导。
考虑到作业人员的操作失误，完成作业之后，可再次通过智能眼镜，获取作业后的设施内作物图像。根据作业前判断的需要农事决策的部位和已作业的部位，对决策作业的效果进行评估，如作业完成度，作业准确度等等进行评估。
本发明的设施番茄农事决策辅助方法，利用智能眼镜分析不同采集情况下的识别效果，可以实现佩戴眼镜后，自主处理，智能显示识别效果。番茄会连续分化果穗，避免营养生长失去平衡，影响早期产量，可结合识别情况判断每穗的花蕾生长情况。在每穗果坐齐阶段，判断整体坐果情况，及时进行整枝打杈，疏掉因蘸花而形成的烂果、畸形果、虫害、特小果等情况。此外，还能有效实现作业效果的评估，确保作业的精准性。
结合上述各实施例，本发明通过图像分析对设施番茄叶片数量、开花结果位置、串开花数、串结果数、果实成熟度等生长参数的判断，实现整枝打杈、摘叶落蔓、疏花疏果、采摘等农事作业质量评估。通过建立轻量化神经网络分析模型，减少判断参数规模，达到移动环境下操作条件，实现巡检机器人图像采集后，通过计算机对模型进行训练，然后将训练好的模型植入新型智能眼镜，并且结合实际生产经验，实现通过佩戴智能眼镜对农事作业进行指导、预判及评估。
此外，还可在番茄不同生长阶段进行农事作业质量评估，验证算法在实际生产过程中的识别效果。结合不同阶段采集的图像及模型训练，可以有效覆盖番茄生长全过程。
在整枝打杈阶段，当农事人员佩戴智能眼镜后，通过智能处理，可以在镜片中展现不同位置和不同生长状况的侧枝，并进行标注，与人员直接进行判断相比，识别效率有明显提升。在疏果疏果验证过程中，智能眼镜可以有效显示不同开花状态和果实生长情况，及时提醒工作人员对发育不良及畸形的果实进行摘除，与人工相比，可以极大的提高工作效率，减轻劳动负担。在果实采摘期，当农事人员佩戴智能眼镜在大棚内巡视后，即可判断整体果实中可采摘果实的比例，协助管理人员进行农事安排。
下面对本发明提供的设施番茄农事决策辅助装置进行描述，下文描述的设施番茄农事决策辅助装置与上文描述的设施番茄农事决策辅助方法可相互对应参照。
图4是本发明实施例提供的设施番茄农事决策辅助装置的结构示意图，如图4所示，该设施番茄农事决策辅助装置包括：采集模块401和处理模块402。其中，采集模块401用于获取设施内的作物图像；处理模块402用于将所述作物图像，输入智能眼镜中预存储的改进型SSD网络模型，输出需要农事决策的部位，并在智能眼镜中进行显示；其中，所述改进型SSD网络模型，为基于MobileNet V3网络代替SSD网络的特征提取网络结构，并基于确定的农事决策部位作为标签的样本图像，进行训练得到；所述农事决策包括，整枝打杈、蔬花、蔬果、叶片摘除和熟果采摘中任意一种或多种。
本发明实施例提供的装置实施例是为了实现上述各方法实施例的，具体流程和详细内容请参照上述方法实施例，此处不再赘述。
本发明实施例提供的设施番茄农事决策辅助装置，以无损图像方式得到番茄不同时期的果实、花、枝叶等部位的图像，通过适合移动环境下的轻量级分类模型进行识别，大大减小型移动设备本身存在的处理速度、存储规模等设备因素对识别结果的影响。
图5是本发明提供的电子设备的结构示意图，如图5所示，该电子设备可以包括：处理器(processor)501、通信接口(Communications Interface)502、存储器(memory)503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信。处理器501可以调用存储器503中的逻辑指令，以执行设施番茄农事决策辅助方法，该方法包括：通过智能眼镜获取设施内的作物图像；将所述作物图像，输入智能眼镜中预存储的改进型SSD网络模型，输出需要农事决策的部位，并在智能眼镜中进行显示；其中，所述改进型SSD网络模型，为基于MobileNet V3网络代替SSD网络的特征提取网络结构，并基于确定的农事决策部位作为标签的样本图像，进行训练得到；所述农事决策包括，整枝打杈、疏花、疏果、叶片摘除和熟果采摘中任意一种或多种。
此外，上述的存储器503中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的设施番茄农事决策辅助方法，该方法包括：通过智能眼镜获取设施内的作物图像；将所述作物图像，输入智能眼镜中预存储的改进型SSD网络模型，输出需要农事决策的部位，并在智能眼镜中进行显示；其中，所述改进型SSD网络模型，为基于MobileNet V3网络代替SSD网络的特征提取网络结构，并基于确定的农事决策部位作为标签的样本图像，进行训练得到；所述农事决策包括，整枝打杈、疏花、疏果、叶片摘除和熟果采摘中任意一种或多种。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的设施番茄农事决策辅助方法，该方法包括：通过智能眼镜获取设施内的作物图像；将所述作物图像，输入智能眼镜中预存储的改进型SSD网络模型，输出需要农事决策的部位，并在智能眼镜中进行显示；其中，所述改进型SSD网络模型，为基于MobileNet V3网络代替SSD网络的特征提取网络结构，并基于确定的农事决策部位作为标签的样本图像，进行训练得到；所述农事决策包括，整枝打杈、疏花、疏果、叶片摘除和熟果采摘中任意一种或多种。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种设施番茄农事决策辅助方法，其特征在于，包括：
通过智能眼镜获取设施内的作物图像；
将所述作物图像，输入智能眼镜中预存储的改进型单镜头多盒检测器SSD网络模型，输出需要农事决策的部位，并在智能眼镜中进行显示；
其中，所述改进型SSD网络模型，为基于移动深度学习网络MobileNet V3网络代替SSD网络的特征提取网络结构，并基于确定的农事决策部位作为标签的样本图像，进行训练得到；所述农事决策包括，整枝打杈、疏花、疏果、叶片摘除和熟果采摘中任意一种或多种；
所述改进型SSD网络模型包括特征提取网络和特征检测网络，所述特征提取网络是通过用MobileNet V3网络代替SSD网络的VGG-16网络，并选取MobileNet V3中的layer_14和layer_17作为特征提取层，代替SSD网络的特征提取网络而得到的；所述特征检测网络为SSD网络的特征检测网络。
2.根据权利要求1所述的设施番茄农事决策辅助方法，其特征在于，所述通过智能眼镜获取设施内的作物图像之前，还包括：
通过巡检机器人获取作物各生长周期的图像，对需要农事决策的部位和无需农事决策的部位，分别标注对应的正负样本图像；
在智能眼镜以外的计算设备上，构建改进型SSD网络模型，基于样本图像，对构建的改进型SSD网络模型进行训练；
将训练完成的改进型SSD网络模型，发送至智能眼镜进行存储。
3.根据权利要求1所述的设施番茄农事决策辅助方法，其特征在于，对构建的改进型SSD网络模型进行训练之后，还包括：
根据采样AP值确定训练后模型的性能；
其中，P为准确率，R为召回率，TP为真实的正样本数量，FP为错误的正样本数量，FN为错误的负样本数量。
4.根据权利要求2所述的设施番茄农事决策辅助方法，其特征在于，所述通过巡检机器人获取作物各生长周期的图像，对需要农事决策的部位和无需农事决策的部位，分别标注对应的正负样本图像，包括以下中的一项或多项：
采集具有腋芽的枝杈部分的样本图像，将腋芽大于预设长度的图像标记为需要打岔的正样本；
采集开花部位的样本图像，将每穗花朵数量大于预设数量的图像标记为需要疏花的正样本；
采集穗果坐齐后的样本图像，将单株的果实大于预设数量的样本图像标记为需要疏果的正样本；
分别采集成熟果实和非成熟果实的样本图像，将成熟果实图像标记为适合采摘的正样本，将非成熟果实图像标记为不适合采摘的负样本；
采集叶片部位的样本图像，将叶片覆盖果实的部位或叶片密度大于预设条件的部位，标记为需要叶片摘除的正样本。
5.根据权利要求2所述的设施番茄农事决策辅助方法，其特征在于，所述通过巡检机器人获取作物各生长周期的图像之后，还包括：
从获取的整体图像数据集中，独立同分布采样得到作物各生长周期的图像，用于训练。
6.根据权利要求1所述的设施番茄农事决策辅助方法，其特征在于，输出需要农事决策的部位，并在智能眼镜中进行显示之后，还包括：
根据显示的需决策部位，进行农事决策作业后，获取作业后的设施内作物图像；
根据所述需要农事决策的部位和已作业的部位，对决策作业的效果进行评估。
7.一种设施番茄农事决策辅助装置，其特征在于，用于智能眼镜，包括：
采集模块，用于获取设施内的作物图像；
处理模块，用于将所述作物图像，输入智能眼镜中预存储的改进型SSD网络模型，输出需要农事决策的部位，并在智能眼镜中进行显示；
其中，所述改进型SSD网络模型，为基于MobileNet V3网络代替SSD网络的特征提取网络结构，并基于确定的农事决策部位作为标签的样本图像，进行训练得到；所述农事决策包括，整枝打杈、蔬花、蔬果、叶片摘除和熟果采摘中任意一种或多种；
所述改进型SSD网络模型包括特征提取网络和特征检测网络，所述特征提取网络是通过用MobileNet V3网络代替SSD网络的VGG-16网络，并选取MobileNet V3中的layer_14和layer_17作为特征提取层，代替SSD网络的特征提取网络而得到的；所述特征检测网络为SSD网络的特征检测网络。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述设施番茄农事决策辅助方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述设施番茄农事决策辅助方法的步骤。
CN202110129527.4A 2021-01-29 2021-01-29 设施番茄农事决策辅助方法及装置 Active CN112836623B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110129527.4A CN112836623B (zh) 2021-01-29 2021-01-29 设施番茄农事决策辅助方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110129527.4A CN112836623B (zh) 2021-01-29 2021-01-29 设施番茄农事决策辅助方法及装置

Publications (2)

Publication Number Publication Date
CN112836623A CN112836623A (zh) 2021-05-25
CN112836623B true CN112836623B (zh) 2024-04-16

Family

ID=75931121

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110129527.4A Active CN112836623B (zh) 2021-01-29 2021-01-29 设施番茄农事决策辅助方法及装置

Country Status (1)

Country Link
CN (1) CN112836623B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113591901A (zh) * 2021-06-10 2021-11-02 中国航天时代电子有限公司 一种基于锚框的目标检测方法
CN113777917A (zh) * 2021-07-12 2021-12-10 山东建筑大学 基于Mobilenet网络仿生机器鱼场景感知系统
CN113673866A (zh) * 2021-08-20 2021-11-19 上海寻梦信息技术有限公司 农作物决策方法、模型训练方法以及相关设备
CN114511849B (zh) * 2021-12-30 2024-05-17 广西慧云信息技术有限公司 一种基于图注意力网络的葡萄疏果识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010161980A (ja) * 2009-01-16 2010-07-29 Mayekawa Mfg Co Ltd 農作業支援用自律走行ロボットにおける走行経路認識装置及び走行経路認識に用いられる防草シート
CN109191074A (zh) * 2018-08-27 2019-01-11 宁夏大学 智慧果园种植管理系统
CN110059558A (zh) * 2019-03-15 2019-07-26 江苏大学 一种基于改进ssd网络的果园障碍物实时检测方法
CN111242007A (zh) * 2020-01-10 2020-06-05 上海市崇明区生态农业科创中心 一种农事行为监管方法
CN112232263A (zh) * 2020-10-28 2021-01-15 中国计量大学 一种基于深度学习的番茄识别方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108846355B (zh) * 2018-06-11 2020-04-28 腾讯科技（深圳）有限公司 图像处理方法、人脸识别方法、装置和计算机设备
US20200193552A1 (en) * 2018-12-18 2020-06-18 Slyce Acquisition Inc. Sparse learning for computer vision

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010161980A (ja) * 2009-01-16 2010-07-29 Mayekawa Mfg Co Ltd 農作業支援用自律走行ロボットにおける走行経路認識装置及び走行経路認識に用いられる防草シート
CN109191074A (zh) * 2018-08-27 2019-01-11 宁夏大学 智慧果园种植管理系统
CN110059558A (zh) * 2019-03-15 2019-07-26 江苏大学 一种基于改进ssd网络的果园障碍物实时检测方法
CN111242007A (zh) * 2020-01-10 2020-06-05 上海市崇明区生态农业科创中心 一种农事行为监管方法
CN112232263A (zh) * 2020-10-28 2021-01-15 中国计量大学 一种基于深度学习的番茄识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于改进型YOLO的复杂环境下番茄果实快速识别方法;刘芳;刘玉坤;林森;郭文忠;徐凡;张白;;农业机械学报(06);全文 *
基于改进深度残差网络的番茄病害图像识别;方晨晨;石繁槐;;计算机应用(S1);全文 *

Also Published As

Publication number Publication date
CN112836623A (zh) 2021-05-25

Similar Documents

Publication Publication Date Title
CN112836623B (zh) 设施番茄农事决策辅助方法及装置
CN111709489B (zh) 一种基于改进YOLOv4的柑橘识别方法
MacEachern et al. Detection of fruit maturity stage and yield estimation in wild blueberry using deep learning convolutional neural networks
Victorino et al. Yield components detection and image-based indicators for non-invasive grapevine yield prediction at different phenological phases
CN115204689A (zh) 一种基于图像处理的智慧农业管理系统
CN112001242A (zh) 一种智能园艺管理方法和装置
CN111832448A (zh) 一种用于葡萄果园的病害识别方法及系统
CN111582035B (zh) 一种果树树龄识别方法、装置、设备及存储介质
CN115620151B (zh) 物候期识别方法、装置、电子设备和存储介质
CN117057946A (zh) 一种智慧农业园区数据监控装置及方法
Victorino et al. Grapevine yield prediction using image analysis-improving the estimation of non-visible bunches
Sharma Recognition of Anthracnose Injuries on Apple Surfaces using YOLOV 3-Dense
MacEachern et al. Deep Learning Artificial Neural Networks for Detection of Fruit Maturity Stage in Wild Blueberries
CN114882365A (zh) 一种牡丹嫁接的智能化监测系统
Robinson et al. Studies in precision crop load management of apple
Santhosh Kumar et al. Review on disease detection of plants using image processing and machine learning techniques
CN115660236B (zh) 作物物候期预测方法、装置、电子设备和存储介质
CN116453003B (zh) 一种基于无人机监测智能识别水稻生长势的方法和系统
CN117893914B (zh) 一种基于图像识别的植物生长监测方法及系统
KR20190053318A (ko) 생육환경정보 및 생육량 정보를 이용한 작물 생육 진단방법
WO2021225528A1 (en) System and method for ai-based improvement of harvesting operations
Xin et al. Melon Growth Detection Strategy Using Artificial Intellegence in Greenhouse Cultivation
Sheel et al. Intelligent Orchard monitoring: IoT integrated Fuzzy Logic based real-time apple disease prediction encompassing environmental factors
Terzi et al. Automatic detection of grape varieties with the newly proposed CNN model using ampelographic characteristics
KR20230033768A (ko) 클라우드 기반의 영상 이미지를 통한 농작물 생육측정 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant