CN117152105A - 果园荔枝估产方法、装置、设备及介质 - Google Patents

果园荔枝估产方法、装置、设备及介质 Download PDF

Info

Publication number
CN117152105A
CN117152105A CN202311163983.6A CN202311163983A CN117152105A CN 117152105 A CN117152105 A CN 117152105A CN 202311163983 A CN202311163983 A CN 202311163983A CN 117152105 A CN117152105 A CN 117152105A
Authority
CN
China
Prior art keywords
litchi
orchard
model
estimated
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311163983.6A
Other languages
English (en)
Inventor
彭红星
李振兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Agricultural University
Original Assignee
South China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Agricultural University filed Critical South China Agricultural University
Priority to CN202311163983.6A priority Critical patent/CN117152105A/zh
Publication of CN117152105A publication Critical patent/CN117152105A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Forestry; Mining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Mining & Mineral Resources (AREA)
  • Animal Husbandry (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Agronomy & Crop Science (AREA)
  • Quality & Reliability (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种果园荔枝估产方法、装置、设备及介质，方法包括：获取多个角度的果园荔枝图像，根据多个角度的果园荔枝图像确定预设的果园荔枝估产模型的训练集；更新果园荔枝估产模型，将小目标检测头至添加至果园荔枝估产模型中的预测模块，将果园荔枝估产模型中的基准网络中的C3模块更新为带有多头注意力机制的C3TR模块，以及将ECA注意力机制添加至C3TR模块之后；根据所述训练集中的训练样本以及监督标签训练更新后的果园荔枝估产模型，直至更新后的果园荔枝估产模型达到收敛状态，以完成果园荔枝估产模型的构建；将果园荔枝图像输入至训练好的果园荔枝估产模型，确定果园荔枝图像中荔枝果实相对应的位置及数量。本申请能够大大提升果农的估产效率。

Description

果园荔枝估产方法、装置、设备及介质
技术领域
本申请涉及农业种植领域，尤其涉及一种果园荔枝估产方法、相应的装置、电子设备及计算机可读存储介质。
背景技术
荔枝是一种广泛种植在中国和东南亚的热带地区的水果，因其口感鲜美而广受人们喜爱，并且具有很高的经济价值。荔枝原产于中国南方，优质荔枝及其副产品具有很高的市场价值，现在许多国家都在进行种植活动，中国依然是世界上荔枝产量最大的国家。果园水果的产量预测和估算对于果农来说具有重要意义，可以用于经济效益评价、管理模式调整等。
近年来，荔枝树的种植面积不断增加，大量荔枝同时供应市场，导致荔枝市场供大于求，荔枝的估产工作可以为农民提供有效的参考，帮助他们及时联系卖家或准备足够的存储空间，而估产工作的前提就是高效的荔枝检测方法。传统的荔枝估产采用人工操作，人工估产荔枝效率很低，大大浪费人力物力，而且，人工进行估产过程中容易受到环境干扰而出现产量计算遗漏、估产错误等问题，容易造成较大的产量计算误差或错误等等。
适应现有技术中采用人工操作，人工估产荔枝效率很低，大大浪费人力物力，而且，人工进行估产过程中容易受到环境干扰而出现产量计算遗漏、估产错误等问题，本申请人出于解决该问题的考虑做出相应的探索。
发明内容
本申请的目的在于解决上述问题而提供一种果园荔枝估产方法、相应的装置、电子设备及计算机可读存储介质。
为满足本申请的各个目的，本申请采用如下技术方案：
适应本申请的目的之一而提出的一种果园荔枝估产方法，包括：
响应果园荔枝估产指令，获取多个角度的果园荔枝图像，根据所述多个角度的果园荔枝图像确定预设的果园荔枝估产模型的训练集；
更新所述果园荔枝估产模型，将小目标检测头至添加至所述果园荔枝估产模型中的预测模块，将所述果园荔枝估产模型中的基准网络中的C3模块更新为带有多头注意力机制的C3TR模块，以及将ECA注意力机制添加至所述C3TR模块之后，以确定更新后的果园荔枝估产模型；
根据所述果园荔枝估产模型的训练集中的训练样本以及监督标签训练所述更新后的果园荔枝估产模型，直至所述更新后的果园荔枝估产模型达到收敛状态，以完成所述果园荔枝估产模型的构建；
将果园荔枝图像输入至训练好的所述果园荔枝估产模型，确定所述果园荔枝图像中荔枝果实相对应的位置及数量，以完成果园荔枝的估产。
可选的，根据所述果园荔枝估产模型的训练集中的训练样本以及监督标签训练所述更新后的果园荔枝估产模型，直至所述更新后的果园荔枝估产模型达到收敛状态，以完成所述果园荔枝估产模型的构建的步骤,包括：
对所述果园荔枝图像进行标注，将标注后的原始荔枝图像划分为训练集以及验证集；
根据所述训练集以及验证集对所述更新后的果园荔枝估产模型进行反向传播迭代训练，以使在每一次反向传播迭代训练中，根据标注后的所述果园荔枝图像输入至更新后的果园荔枝估产模型所得到的预测框结果与实际标注结果的误差，计算目标损失函数；
根据所述目标损失函数更新模型参数，直至所述目标损失函数的变化值小于预设阈值或训练次数大于预设次数之后，保存模型参数并完成果园荔枝估产模型的构建。
可选的，根据所述果园荔枝估产模型的训练集中的训练样本以及监督标签训练所述更新后的果园荔枝估产模型，直至所述更新后的果园荔枝估产模型达到收敛状态，以完成所述果园荔枝估产模型的构建的步骤，包括：
从预备的训练集中获取单个训练样本及其监督标签，所述训练样本包括存在荔枝果实的图像帧，所述监督标签表征所述训练样本中的图像帧存在的荔枝果实位置及数量；
将所述训练样本输入至所述更新后的果园荔枝估产模型的卷积层提取所述训练样本的图像特征信息；
基于所述更新后的果园荔枝估产模型的分类器对所述图像特征信息进行全连接，获得其映射到预设的所述荔枝果实相对应的分类概率；
基于所述训练样本的监督标签，确定出所述分类概率最大的所述荔枝果实相对应的损失值，在所述损失值未达到预设阈值时，对所述果园荔枝估产模型实施权重更新，并继续调用其他训练样本实施迭代训练直至模型收敛，以完成所述果园荔枝估产模型的构建。
可选的，将所述果园荔枝估产模型中的基准网络中的C3模块更新为带有多头注意力机制的C3TR模块，将ECA注意力机制添加至所述C3TR模块之后，以确定更新后的果园荔枝估产模型的步骤，包括：
确定所述多头注意力机制相对应的自注意力机制计算函数中的查询向量、键向量以及值向量；
对所述自注意力机制计算函数相对应的Softmax函数进行归一化处理，计算确定每个所述键向量相对应的权重，将所述键向量相对应的权重与所述值向量进行乘积运算确定两者之间的乘积，对所述乘积进行加权求和以确定所述更新后的果园荔枝估产模型的注意力输出。
可选的，将所述果园荔枝估产模型中的基准网络中的C3模块更新为带有多头注意力机制的C3TR模块，将ECA注意力机制添加至所述C3TR模块之后，以确定更新后的果园荔枝估产模型的步骤，包括：
将ECA注意力机制添加至所述果园荔枝估产模型中的特征提取网络末端；
确定各特征提取通道相对应的通道总维数，基于跨通道信息覆盖率计算公式以及所述通道总维数确定跨通道信息的覆盖率，所述跨通道信息覆盖率计算公式为：
其中，|x|odd是最接近x的奇数，b＝1，γ＝2，所述C为通道总维数；
根据所述跨通道信息的覆盖率对所述果园荔枝估产模型中的特征提取网络中各特征提取通道的权值进行自适应加权调整。
可选的，将所述果园荔枝估产模型中的基准网络中的C3模块更新为带有多头注意力机制的C3TR模块，将ECA注意力机制添加至所述C3TR模块之后，以确定更新后的果园荔枝估产模型的步骤，包括：
所述自注意力机制计算函数为：
其中，所述Attention为自注意力机制计算函数，所述Q、K、V分别为查询向量、键向量以及值向量，所述dK为键向量的维度，所述T为矩阵转置符号。
可选的，直至所述更新后的果园荔枝估产模型达到收敛状态，以完成所述果园荔枝估产模型的构建的步骤，包括：
响应果园荔枝估产模型评价指令，确定所述果园荔枝估产模型相对应的精度以及召回率；
根据所述果园荔枝估产模型相对应的精度以及召回率确定所述果园荔枝估产模型相对应的性能评价函数；
检测所述性能评价函数相对应的值是否超过预设阈值，若所述性能评价函数相对应的值超过预设阈值，则确定所述果园荔枝估产模型达到收敛状态。
适应本申请的另一目的而提供的一种果园荔枝估产装置，包括：
训练集确定模块，设置为响应果园荔枝估产指令，获取多个角度的果园荔枝图像，根据所述多个角度的果园荔枝图像确定预设的果园荔枝估产模型的训练集；
检测模型更新模块，设置为更新所述果园荔枝估产模型，将小目标检测头至添加至所述果园荔枝估产模型中的预测模块，将所述果园荔枝估产模型中的基准网络中的C3模块更新为带有多头注意力机制的C3TR模块，以及将ECA注意力机制添加至所述C3TR模块之后，以确定更新后的果园荔枝估产模型；
检测模型构建模块，设置为根据所述果园荔枝估产模型的训练集中的训练样本以及监督标签训练所述更新后的果园荔枝估产模型，直至所述更新后的果园荔枝估产模型达到收敛状态，以完成所述果园荔枝估产模型的构建；
荔枝检测模块，设置为将果园荔枝图像输入至训练好的所述果园荔枝估产模型，确定所述果园荔枝图像中荔枝果实相对应的位置及数量，以完成果园荔枝的估产。
适应本申请的另一目的而提供的一种电子设备，包括中央处理器和存储器，所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行本申请所述果园荔枝估产方法的步骤。
适应本申请的另一目的而提供的一种计算机可读存储介质，其以计算机可读指令的形式存储有依据所述果园荔枝估产方法所实现的计算机程序，该计算机程序被计算机调用运行时，执行相应的方法所包括的步骤。
相对于现有技术，本申请针对现有技术中采用人工操作，人工估产荔枝效率很低，大大浪费人力物力，而且，人工进行估产过程中容易受到环境干扰而出现产量计算遗漏、估产错误等问题，本申请能够基于深度学习的果园荔枝估产模型对荔枝果园中的荔枝进行估产，其具有速度快、精度高、泛化能力强的特点，能够为估产工作提供有效的帮助，大大提高果园荔枝的估产效率，针对果园荔枝的估产任务，本申请在通过改进算法提升检测精度的同时保证计算速度以及计算量大小也能符合实时检测的需要，为将来将模型部署在移动端打下基础，各项指标相对于原始模型均得到了可观的提升；
进一步地，基于改进后的YOLOv5模型进行荔枝果实估产，其能够大大提升果农的估产效率，其检测精度高，避免出现检测错误而导致果农估产错误，便于果农进行荔枝估产，大大提高工作效率以及节省人力物力，尤其对于一些类似于荔枝等小目标水果的检测取得较好的效果，改进后的模型在田间条件下对荔枝的识别具有更强的鲁棒性、更高的检测精度和更低的计算复杂度，可以帮助果农提升估产的精度和效率，有助于荔枝果园的精准管理工作。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例中果园荔枝估产方法的流程示意图；
图2为本申请实施例中采集的果园荔枝图像数据集的示意图；
图3为本申请实施例中采用LabelImg标注果园荔枝图像的示意图；
图4为本申请实施例中改进后的YOLOv5的特征提取模型的结构示意图；
图5为本申请实施例中改进后的YOLOv5的结构示意图；
图6为本申请实施例中改进后的YOLOv5的TransformerBlock的结构示意图；
图7为本申请实施例中Efficient Channel Attention(ECA)注意力机制的结构示意图；
图8为本申请实施例中改进后的YOLOv5模型与传统YOLOv5模型相对应的召回率对比曲线的示意图；
图9为本申请实施例中果园荔枝估产装置的原理框图；
图10为本申请实施例中的计算机设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解，这里所使用的“客户端”、“终端”、“终端设备”既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通信链路上，进行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他诸如个人计算机、平板电脑之类的通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备；PCS(PersonalCommunications Service，个人通信系统)，其可以组合语音、数据处理、传真和/或数据通信能力；PDA(Personal Digital Assistant，个人数字助理)，其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global PositioningSystem，全球定位系统)接收器；常规膝上型和/或掌上型计算机或其他设备，其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“客户端”、“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的，或者适合于和/或配置为在本地运行，和/或以分布形式，运行在地球和/或空间的任何其他位置运行。这里所使用的“客户端”、“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端，例如可以是PDA、MID(Mobile Internet Device，移动互联网设备)和/或具有音乐/视频播放功能的移动电话，也可以是智能电视、机顶盒等设备。
本申请所称的“服务器”、“客户端”、“服务节点”等名称所指向的硬件，本质上是具备个人计算机等效能力的电子设备，为具有中央处理器(包括运算器和控制器)、存储器、输入设备以及输出设备等冯诺依曼原理所揭示的必要构件的硬件装置，计算机程序存储于其存储器中，中央处理器将存储在外存中的程序调入内存中运行，执行程序中的指令，与输入输出设备交互，借此完成特定的功能。
需要指出的是，本申请所称的“服务器”这一概念，同理也可扩展到适用于服务器机群的情况。依据本领域技术人员所理解的网络部署原理，所述各服务器应是逻辑上的划分，在物理空间上，这些服务器既可以是互相独立但可通过接口调用的，也可以是集成到一台物理计算机或一套计算机机群的。本领域技术人员应当理解这一变通，而不应以此约束本申请的网络部署方式的实施方式。
本申请的一个或数个技术特征，除非明文指定，既可部署于服务器实施而由客户端远程调用获取服务器提供的在线服务接口来实施访问，也可直接部署并运行于客户端来实施访问。
本申请中所引用或可能引用到的神经网络模型，除非明文指定，既可部署于远程服务器且在客户端实施远程调用，也可部署于设备能力胜任的客户端直接调用，某些实施例中，当其运行于客户端时，其相应的智能可通过迁移学习来获得，以便降低对客户端硬件运行资源的要求，避免过度占用客户端硬件运行资源。
本申请所涉及的各种数据，除非明文指定，既可远程存储于服务器，也可存储于本地终端设备，只要其适于被本申请的技术方案所调用即可。
本领域技术人员对此应当知晓：本申请的各种方法，虽然基于相同的概念而进行描述而使其彼此间呈现共通性，但是，除非特别说明，否则这些方法都是可以独立执行的。同理，对于本申请所揭示的各个实施例而言，均基于同一发明构思而提出，因此，对于相同表述的概念，以及尽管概念表述不同但仅是为了方便而适当变换的概念，应被等同理解。
本申请即将揭示的各个实施例，除非明文指出彼此之间的相互排斥关系，否则，各个实施例所涉的相关技术特征可以交叉结合而灵活构造出新的实施例，只要这种结合不背离本申请的创造精神且可满足现有技术中的需求或解决现有技术中的某方面的不足即可。对此变通，本领域技术人员应当知晓。
在参考以上示例性场景的基础上，请参阅图1，本申请的果园荔枝估产方法在其一个实施例中，包括：
步骤S10、响应果园荔枝估产指令，获取多个角度的果园荔枝图像，根据所述多个角度的果园荔枝图像确定预设的果园荔枝估产模型的训练集；
为保证果园荔枝图像中各个荔枝果实目标能够被完整检测，可以使用目标注软件LabelImg对无人机所拍摄的多个角度的果园荔枝图像中的荔枝果实目标进行依次标注，对每张果园荔枝图像进行标注完成后，将其存储为XML格式的文本文件，用于果园荔枝估产模型的训练与测试，所述预设的果园荔枝估产模型可以为YOLOv5模型等等。
在一些实施例中，请参阅图2以及图3，所述YOLOv5模型采用的数据集可以拍摄于广州市华南农业大学园艺学院荔枝果园，可以采用大疆精灵无人机，在距地约3～10m的高度，共采集200张分辨率为3840×2160像素的原始图像，由于每张图片上的荔枝目标数量繁多且荔枝目标较小，考虑到数据标注工作量较大且原始数据量不足，所以对每张图像通过步长为512的滑动窗口调整为1024×1024像素的图像,再对得到的扩增数据集经过人工筛选去除劣质数据，最终得到3222张荔枝图片。对该数据集采用PASCAL VOC格式，且按照8：1：1的比例随机选取2578、322和322张图片数据分别作为训练集、验证集和测试集，使用LabelImg进行果实目标标注，每张图片中有5～150个荔枝目标。为避免模型过拟合，在数据标注过程中对小部分遮挡严重人眼难以分辨出的荔枝以及形状与正常荔枝差异过大的荔枝不进行标注。除了使用滑动窗口式的数据增强方式提升数据总量，本申请对于训练的数据集，还采用Random、Mosaic和HSV变换方法在线增强，增加模型训练数据。Random用于随机旋转和拉伸图像，Mosaic用于随机拼接四幅图像，HSV变换用于随机变换图像的色调(H)，饱和度(S)和值(V)。
所述YOLOv5模型的结构主要由三部分组成，分别为基准网络(Backbone)、特征融合网络(Neck)、预测模块(Detection)。所述基准网络(Backbone)是YOLOv5模型的主干，以提取出图像的高中低层的特征。所述特征融合网络(Neck)部分主要用于生成特征金字塔。特征金字塔会增强模型对于不同缩放尺度对象的检测，从而能够识别不同大小和尺度的同一个物体；预测模块(Detection)通过再次卷积得到预测结果。
除基准网络(Backbone)、特征融合网络(Neck)、预测模块(Detection)3部分之外的右侧一列从上至下五框的具体内容如下：第一框是CBS结构，Conv+Bn+SiLU激活函数三者组成；第二框和第三框分别是C3_1_X与C3_2_X，所述YOLOv5模型设计了两个CSP结构，即C3_1_X和C3_2_X，其中X表示使用的结构数量，根据需求决定。这两种结构不仅增强了CNN的学习能力，还降低了计算复杂度，在轻量级和准确性之间取得了很好的平衡。C3_1_X主要应用于骨干网部分，C3_2_X主要应用于颈部网络部分。第四框与第五框分别对应C3_1_X与C3_2_X中使用的不同的BottleNeck的结构，分别称为BottleNeck1与BottleNeck2。第六框为SPPF的具体结构示意，SPPF层起到将池化前后的特征图进行合并，得到精细化的特征图，再进行多尺度融合，提高训练效果。
步骤S20、更新所述果园荔枝估产模型，将小目标检测头至添加至所述果园荔枝估产模型中的预测模块，将所述果园荔枝估产模型中的基准网络中的C3模块更新为带有多头注意力机制的C3TR模块，以及将ECA注意力机制添加至所述C3TR模块之后，以确定更新后的果园荔枝估产模型；
请参阅图4，改进后的YOLOv5模型的特征提取模型如图4所示，更新所述果园荔枝估产模型，将小目标检测头至添加至所述果园荔枝估产模型中的预测模块，在果园荔枝图像中荔枝果实目标密集的情况下，大部分荔枝果实目标占整幅图像的比例较小。因此，在YOLOv5骨干网络的基础上对原始输入图片增加一个4倍下采样的过程，原始图片经过4倍下采样后送入到特征融合网络得到新尺寸的特征图，该特征图感受野较小，位置信息相对丰富，可以提升检测小目标的检测效果。将所述小目标检测头添加至所述YOLOv5模型的预测模块，能够大大提升荔枝果实的检测精度；
将所述果园荔枝估产模型中的基准网络中的C3模块更新为带有多头注意力机制的C3TR模块，更新后的C3TR模块在高密度遮挡物体上比原先的C3模块经具有更好的性能，可以在特征提取网络的C3模块的位置采用带有多头注意力机制TransformerBlock的C3TR模块替换掉原始YOLOv5模型中C3模块的BottleNeck，确定改进后的YOLOv5模型，请参阅图5，改进后的YOLOv5模型的结构如图5所示，以提升网络捕获全局信息的能力。
请参阅图6，TransformerBlock的结构如图6所示，其最关键的部分在于TransformerLayer及其内部的多头注意力机制，其中，所述多头注意力机制的公式表示如下：
MultiHead(Q,K,V)＝Concat(head1,...,headh)WO (1)
headi＝Attention(QWi Q,KWi K,VWi V) (2)
其中，式中的Q、K、V分别表示查询向量、键向量和值向量，h表示头的数量，headi表示第i个头的输出，WO是输出变换矩阵。
式表示每个头的输出，其中，Wi Q、Wi K、Wi V分别是第i个头的查询、键、值变换矩阵；
式Attention表示自注意力机制计算函数，其中，所述Q、K、V分别表示查询向量、键向量和值向量，dK为键向量的维度，所述T为矩阵转置符号对softmax函数进行归一化处理，将每个键向量K的权重计算出来，然后将键向量K的权重乘以值向量V，最后进行加权求和得到注意力输出。
请参阅图7，Efficient Channel Attention(ECA)注意力机制结构如图7所示，将所述Efficient Channel Attention(ECA)注意力机制引入至特征提取网络末端，也即，将所述Efficient Channel Attention(ECA)注意力机制添加至所述C3TR模块之后，对所述改进后的YOLOv5模型的特征提取网络中各特征提取通道的权值进行自适应加权调整。所述改进后的YOLOv5模型中一维卷积的卷积核大小为k，表示跨通道信息的覆盖率，即当前通道和k个相邻通道共同参与预测通道关注。跨通道信息的覆盖率k与通道总维数C之间存在映射关系。基于给定通道总维数C，通过自适应计算可以确定一维卷积核k。
跨通道信息的覆盖率k与通道总维数C之间的映射关系可以是线性映射，表示为C＝φ(k)＝γ*k-b；
但其线性映射关系过于简单，卷积网络中的通道数通常设置为2的幂。因此，将线性函数推广为非线性函数，表示为C＝φ(k)＝2(γ*k-b)；
在指定通道总维数C的基础上，可确定跨通道信息的覆盖率k的计算公式：
其中，|x|odd是最接近x的奇数，b＝1，γ＝2。
步骤S30、根据所述果园荔枝估产模型的训练集中的训练样本以及监督标签训练所述更新后的果园荔枝估产模型，直至所述更新后的果园荔枝估产模型达到收敛状态，以完成所述果园荔枝估产模型的构建；
从预备的训练集中获取单个训练样本及其监督标签，所述训练样本包括存在荔枝果实的图像帧，所述监督标签表征所述训练样本中的图像帧存在的荔枝果实位置及数量；将所述训练样本输入至所述更新后的果园荔枝估产模型的卷积层提取所述训练样本的图像特征信息；基于所述更新后的果园荔枝估产模型的分类器对所述图像特征信息进行全连接，获得其映射到预设的所述荔枝果实相对应的分类概率；基于所述训练样本的监督标签，确定出所述分类概率最大的所述荔枝果实相对应的损失值，在所述损失值未达到预设阈值时，对所述果园荔枝估产模型实施权重更新，并继续调用其他训练样本实施迭代训练直至模型收敛，以完成所述果园荔枝估产模型的构建。
在一些实施例中，对所述果园荔枝图像进行标注，将标注后的原始荔枝图像划分为训练集以及验证集；根据所述训练集以及验证集对所述更新后的果园荔枝估产模型进行反向传播迭代训练，以使在每一次反向传播迭代训练中，根据标注后的所述果园荔枝图像输入至更新后的果园荔枝估产模型所得到的预测框结果与实际标注结果的误差，计算目标损失函数；根据所述目标损失函数更新模型参数，直至所述目标损失函数的变化值小于预设阈值或训练次数大于预设次数之后，保存模型参数并完成果园荔枝估产模型的构建。
在一些实施例中，响应果园荔枝估产模型评价指令，确定所述果园荔枝估产模型相对应的精度P以及召回率R；根据所述果园荔枝估产模型相对应的精度以及召回率确定所述果园荔枝估产模型相对应的性能评价函数；检测所述性能评价函数相对应的值是否超过预设阈值，若所述性能评价函数相对应的值超过预设阈值，则确定所述果园荔枝估产模型达到收敛状态。
具体而言，所述果园荔枝估产模型的常用指标采用AP、精度P以及召回率R来评价模型在检测荔枝方面的性能，并将其作为检测性能指标，与其他模型进行比较。与实际目标对应的例为正例，与实际目标不对应的例为反例。AP是评价模型检测性能的主要指标；P是模型预测的真正例与预测的正例的比例，它反映了模型的误检率。R为模型预测的真正例与图像中实际正例的比例，反映了模型的漏检率。
确定所述果园荔枝估产模型相对应的精度P以及召回率R,精度P表示为召回率R表示为/>在确定精度P以及召回率R之后，性能评价函数可表示为/>
其中，所述TP为真正，表示预测为正例的实际正例数，FP为假正，表示预测为正例的实际负例数，FN为假负，表示预测为负例的实际正例数，k为被检测样本的类别(本模型为单目标检测模型，此时k＝1)。
在一些实施例中，请参阅图8，改进后的YOLOv5模型与传统的YOLOv5模型相对应的召回率对比曲线如图8所示，其中，曲线上方为改进后的YOLOv5模型的召回率R,曲线下方为传统的YOLOv5模型的召回率。
步骤S40、将果园荔枝图像输入至训练好的所述果园荔枝估产模型，确定所述果园荔枝图像中荔枝果实相对应的位置及数量，以完成果园荔枝的估产。
在所述果园荔枝估产模型达到收敛状态之后，将果园荔枝图像输入至训练好的所述果园荔枝估产模型，确定所述果园荔枝图像中荔枝果实相对应的位置及数量，以完成果园荔枝的估产。
相对于现有技术，本申请针对现有技术中采用人工操作，人工估产荔枝效率很低，大大浪费人力物力，而且，人工进行估产过程中容易受到环境干扰而出现产量计算遗漏、估产错误等问题，本申请能够基于深度学习的果园荔枝估产模型对荔枝果园中的荔枝进行估产，其具有速度快、精度高、泛化能力强的特点，能够为估产工作提供有效的帮助，大大提高果园荔枝的估产效率，针对果园荔枝的估产任务，本申请在通过改进算法提升检测精度的同时保证计算速度以及计算量大小也能符合实时检测的需要，为将来将模型部署在移动端打下基础，各项指标相对于原始模型均得到了可观的提升；
进一步地，基于改进后的YOLOv5模型进行荔枝果实估产，其能够大大提升果农的估产效率，其检测精度高，避免出现检测错误而导致果农估产错误，便于果农进行荔枝估产，大大提高工作效率以及节省人力物力，尤其对于一些类似于荔枝等小目标水果的检测取得较好的效果，改进后的模型在田间条件下对荔枝的识别具有更强的鲁棒性、更高的检测精度和更低的计算复杂度，可以帮助果农提升估产的精度和效率，有助于荔枝果园的精准管理工作。
在本申请任意实施例的基础上，根据所述果园荔枝估产模型的训练集中的训练样本以及监督标签训练所述更新后的果园荔枝估产模型，直至所述更新后的果园荔枝估产模型达到收敛状态，以完成所述果园荔枝估产模型的构建的步骤，包括：
从预备的训练集中获取单个训练样本及其监督标签，所述训练样本包括存在荔枝果实的图像帧，所述监督标签表征所述训练样本中的图像帧存在的荔枝果实位置及数量；
将所述训练样本输入至所述更新后的果园荔枝估产模型的卷积层提取所述训练样本的图像特征信息；
基于所述更新后的果园荔枝估产模型的分类器对所述图像特征信息进行全连接，获得其映射到预设的所述荔枝果实相对应的分类概率；
基于所述训练样本的监督标签，确定出所述分类概率最大的所述荔枝果实相对应的损失值，在所述损失值未达到预设阈值时，对所述果园荔枝估产模型实施权重更新，并继续调用其他训练样本实施迭代训练直至模型收敛，以完成所述果园荔枝估产模型的构建。
在本申请任意实施例的基础上，将所述果园荔枝估产模型中的基准网络中的C3模块更新为带有多头注意力机制的C3TR模块，将ECA注意力机制添加至所述C3TR模块之后，以确定更新后的果园荔枝估产模型的步骤，包括：
确定所述多头注意力机制相对应的自注意力机制计算函数中的查询向量、键向量以及值向量；
对所述自注意力机制计算函数相对应的Softmax函数进行归一化处理，计算确定每个所述键向量相对应的权重，将所述键向量相对应的权重与所述值向量进行乘积运算确定两者之间的乘积，对所述乘积进行加权求和以确定所述更新后的果园荔枝估产模型的注意力输出。
具体而言，将所述果园荔枝估产模型中的基准网络中的C3模块更新为带有多头注意力机制的C3TR模块，更新后的C3TR模块在高密度遮挡物体上比原先的C3模块经具有更好的性能，可以在特征提取网络的C3模块的位置采用带有多头注意力机制TransformerBlock的C3TR模块替换掉原始YOLOv5模型中C3模块的BottleNeck，以提升网络捕获全局信息的能力。
TransformerBlock的结构，其最关键的部分在于TransformerLayer及其内部的多头注意力机制，其中，所述多头注意力机制的公式表示如下：
MultiHead(Q,K,V)＝Concat(head1,...,headh)WO (1)
headi＝Attention(QWi Q,KWi K,VWi V) (2)
其中，式中的Q、K、V分别表示查询向量、键向量和值向量，h表示头的数量，headi表示第i个头的输出，WO是输出变换矩阵。
式表示每个头的输出，其中，Wi Q、Wi K、Wi V分别是第i个头的查询、键、值变换矩阵；
式Attention表示自注意力机制计算函数，其中，dK是键向量的维度，对softmax函数进行归一化处理，将每个键向量K的权重计算出来，然后将键向量K的权重乘以值向量V，最后进行加权求和得到注意力输出。
在本申请任意实施例的基础上，将所述果园荔枝估产模型中的基准网络中的C3模块更新为带有多头注意力机制的C3TR模块，将ECA注意力机制添加至所述C3TR模块之后，以确定更新后的果园荔枝估产模型的步骤，包括：
将ECA注意力机制添加至所述果园荔枝估产模型中的特征提取网络末端；
确定各特征提取通道相对应的通道总维数，基于跨通道信息覆盖率计算公式以及所述通道总维数确定跨通道信息的覆盖率，所述跨通道信息覆盖率计算公式为：
其中，|x|odd是最接近x的奇数，b＝1，γ＝2，所述C为通道总维数；
根据所述跨通道信息的覆盖率对所述果园荔枝估产模型中的特征提取网络中各特征提取通道的权值进行自适应加权调整。
具体而言，将所述多头注意力机制Efficient Channel Attention(ECA)模块引入至特征提取网络末端，对所述YOLOv5模型的特征提取网络中各特征提取通道的权值进行自适应加权调整。所述YOLOv5模型中一维卷积的卷积核大小为k，表示跨通道信息的覆盖率，即当前通道和k个相邻通道共同参与预测通道关注。跨通道信息的覆盖率k与通道总维数C之间存在映射关系。基于给定通道总维数C，通过自适应计算可以确定一维卷积核k。
跨通道信息的覆盖率k与通道总维数C之间的映射关系可以是线性映射，表示为C＝φ(k)＝γ*k-b；
但其线性映射关系过于简单，卷积网络中的通道数通常设置为2的幂。因此，将线性函数推广为非线性函数，表示为C＝φ(k)＝2(γ*k-b)；
在指定通道总维数C的基础上，可确定跨通道信息的覆盖率k的计算公式：:
其中，|x|odd是最接近x的奇数，b＝1，γ＝2。
请参阅图9，适应本申请的目的之一而提供的一种果园荔枝估产装置，包括训练集确定模块1100、检测模型更新模块1200、检测模型构建模块1300以及荔枝检测模块1400。其中，训练集确定模块1100，设置为响应果园荔枝估产指令，获取多个角度的果园荔枝图像，根据所述多个角度的果园荔枝图像确定预设的果园荔枝估产模型的训练集；检测模型更新模块1200，设置为更新所述果园荔枝估产模型，将小目标检测头至添加至所述果园荔枝估产模型中的预测模块，将所述果园荔枝估产模型中的基准网络中的C3模块更新为带有多头注意力机制的C3TR模块，以及将ECA注意力机制添加至所述C3TR模块之后，以确定更新后的果园荔枝估产模型；检测模型构建模块1300，设置为根据所述果园荔枝估产模型的训练集中的训练样本以及监督标签训练所述更新后的果园荔枝估产模型，直至所述更新后的果园荔枝估产模型达到收敛状态，以完成所述果园荔枝估产模型的构建；荔枝检测模块1400，设置为将果园荔枝图像输入至训练好的所述果园荔枝估产模型，确定所述果园荔枝图像中荔枝果实相对应的位置及数量，以完成果园荔枝的估产。
在本申请任意实施例的基础上，请参阅图10，本申请的另一实施例还提供一种电子设备，所述电子设备可由计算机设备实现，如图10所示，计算机设备的内部结构示意图。该计算机设备包括通过系统总线连接的处理器、计算机可读存储介质、存储器和网络接口。其中，该计算机设备的计算机可读存储介质存储有操作系统、数据库和计算机可读指令，数据库中可存储有控件信息序列，该计算机可读指令被处理器执行时，可使得处理器实现一种果园荔枝估产方法。该计算机设备的处理器用于提供计算和控制能力，支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行本申请的果园荔枝估产方法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本实施方式中处理器用于执行图9中的各个模块及其子模块的具体功能，存储器存储有执行上述模块或子模块所需的程序代码和各类数据。网络接口用于向用户终端或服务器之间的数据传输。本实施方式中的存储器存储有本申请的果园荔枝估产装置中执行所有模块/子模块所需的程序代码及数据，服务器能够调用服务器的程序代码及数据执行所有子模块的功能。
本申请还提供一种存储有计算机可读指令的存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行本申请任一实施例所述果园荔枝估产方法的步骤。
本申请还提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被一个或多个处理器执行时实现本申请任一实施例所述果园荔枝估产方法的步骤。
本领域普通技术人员可以理解实现本申请上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等计算机可读存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。
综上所述，基于改进后的YOLOv5模型进行荔枝果实估产，其能够大大提升果农的估产效率，其检测精度高，避免出现检测错误而导致果农估产错误，便于果农进行荔枝估产，大大提高工作效率以及节省人力物力，尤其对于一些类似于荔枝等小目标水果的检测取得较好的效果。

Claims (10)

1.一种果园荔枝估产方法，其特征在于，包括：
响应果园荔枝估产指令，获取多个角度的果园荔枝图像，根据所述多个角度的果园荔枝图像确定预设的果园荔枝估产模型的训练集；
更新所述果园荔枝估产模型，将小目标检测头至添加至所述果园荔枝估产模型中的预测模块，将所述果园荔枝估产模型中的基准网络中的C3模块更新为带有多头注意力机制的C3TR模块，以及将ECA注意力机制添加至所述C3TR模块之后，以确定更新后的果园荔枝估产模型；
根据所述果园荔枝估产模型的训练集中的训练样本以及监督标签训练所述更新后的果园荔枝估产模型，直至所述更新后的果园荔枝估产模型达到收敛状态，以完成所述果园荔枝估产模型的构建；
将果园荔枝图像输入至训练好的所述果园荔枝估产模型，确定所述果园荔枝图像中荔枝果实相对应的位置及数量，以完成果园荔枝的估产。
2.根据权利要求1所述的果园荔枝估产方法，其特征在于，根据所述果园荔枝估产模型的训练集中的训练样本以及监督标签训练所述更新后的果园荔枝估产模型，直至所述更新后的果园荔枝估产模型达到收敛状态，以完成所述果园荔枝估产模型的构建的步骤,包括：
对所述果园荔枝图像进行标注，将标注后的原始荔枝图像划分为训练集以及验证集；
根据所述训练集以及验证集对所述更新后的果园荔枝估产模型进行反向传播迭代训练，以使在每一次反向传播迭代训练中，根据标注后的所述果园荔枝图像输入至更新后的果园荔枝估产模型所得到的预测框结果与实际标注结果的误差，计算目标损失函数；
根据所述目标损失函数更新模型参数，直至所述目标损失函数的变化值小于预设阈值或训练次数大于预设次数之后，保存模型参数并完成果园荔枝估产模型的构建。
3.根据权利要求1所述的果园荔枝估产方法，其特征在于，根据所述果园荔枝估产模型的训练集中的训练样本以及监督标签训练所述更新后的果园荔枝估产模型，直至所述更新后的果园荔枝估产模型达到收敛状态，以完成所述果园荔枝估产模型的构建的步骤，包括：
从预备的训练集中获取单个训练样本及其监督标签，所述训练样本包括存在荔枝果实的图像帧，所述监督标签表征所述训练样本中的图像帧存在的荔枝果实位置及数量；
将所述训练样本输入至所述更新后的果园荔枝估产模型的卷积层提取所述训练样本的图像特征信息；
基于所述更新后的果园荔枝估产模型的分类器对所述图像特征信息进行全连接，获得其映射到预设的所述荔枝果实相对应的分类概率；
基于所述训练样本的监督标签，确定出所述分类概率最大的所述荔枝果实相对应的损失值，在所述损失值未达到预设阈值时，对所述果园荔枝估产模型实施权重更新，并继续调用其他训练样本实施迭代训练直至模型收敛，以完成所述果园荔枝估产模型的构建。
4.根据权利要求1所述的果园荔枝估产方法，其特征在于，将所述果园荔枝估产模型中的基准网络中的C3模块更新为带有多头注意力机制的C3TR模块，将ECA注意力机制添加至所述C3TR模块之后，以确定更新后的果园荔枝估产模型的步骤，包括：
确定所述多头注意力机制相对应的自注意力机制计算函数中的查询向量、键向量以及值向量；
对所述自注意力机制计算函数相对应的Softmax函数进行归一化处理，计算确定每个所述键向量相对应的权重，将所述键向量相对应的权重与所述值向量进行乘积运算确定两者之间的乘积，对所述乘积进行加权求和以确定所述更新后的果园荔枝估产模型的注意力输出。
5.根据权利要求1所述的果园荔枝估产方法，其特征在于，将所述果园荔枝估产模型中的基准网络中的C3模块更新为带有多头注意力机制的C3TR模块，将ECA注意力机制添加至所述C3TR模块之后，以确定更新后的果园荔枝估产模型的步骤，包括：
将ECA注意力机制添加至所述果园荔枝估产模型中的特征提取网络末端；
确定各特征提取通道相对应的通道总维数，基于跨通道信息覆盖率计算公式以及所述通道总维数确定跨通道信息的覆盖率，所述跨通道信息覆盖率计算公式为：
其中，|x|odd是最接近x的奇数，b＝1，γ＝2，所述C为通道总维数；
根据所述跨通道信息的覆盖率对所述果园荔枝估产模型中的特征提取网络中各特征提取通道的权值进行自适应加权调整。
6.根据权利要求4所述的果园荔枝估产方法，其特征在于，将所述果园荔枝估产模型中的基准网络中的C3模块更新为带有多头注意力机制的C3TR模块，将ECA注意力机制添加至所述C3TR模块之后，以确定更新后的果园荔枝估产模型的步骤，包括：
所述自注意力机制计算函数为：
其中，所述Attention为自注意力机制计算函数，所述Q、K、V分别为查询向量、键向量以及值向量，所述dK为键向量的维度，所述T为矩阵转置符号。
7.根据权利要求1至6任意一项所述的果园荔枝估产方法，其特征在于，直至所述更新后的果园荔枝估产模型达到收敛状态，以完成所述果园荔枝估产模型的构建的步骤，包括：
响应果园荔枝估产模型评价指令，确定所述果园荔枝估产模型相对应的精度以及召回率；
根据所述果园荔枝估产模型相对应的精度以及召回率确定所述果园荔枝估产模型相对应的性能评价函数；
检测所述性能评价函数相对应的值是否超过预设阈值，若所述性能评价函数相对应的值超过预设阈值，则确定所述果园荔枝估产模型达到收敛状态。
8.一种果园荔枝估产装置，其特征在于，包括:
训练集确定模块，设置为响应果园荔枝估产指令，获取多个角度的果园荔枝图像，根据所述多个角度的果园荔枝图像确定预设的果园荔枝估产模型的训练集；
检测模型更新模块，设置为更新所述果园荔枝估产模型，将小目标检测头至添加至所述果园荔枝估产模型中的预测模块，将所述果园荔枝估产模型中的基准网络中的C3模块更新为带有多头注意力机制的C3TR模块，以及将ECA注意力机制添加至所述C3TR模块之后，以确定更新后的果园荔枝估产模型；
检测模型构建模块，设置为根据所述果园荔枝估产模型的训练集中的训练样本以及监督标签训练所述更新后的果园荔枝估产模型，直至所述更新后的果园荔枝估产模型达到收敛状态，以完成所述果园荔枝估产模型的构建；
荔枝检测模块，设置为将果园荔枝图像输入至训练好的所述果园荔枝估产模型，确定所述果园荔枝图像中荔枝果实相对应的位置及数量，以完成果园荔枝的估产。
9.一种电子设备，包括中央处理器和存储器，其特征在于，所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行如权利要求1至7中任意一项所述的方法的步骤。
10.一种计算机可读存储介质，其特征在于，其以计算机可读指令的形式存储有依据权利要求1至7中任意一项所述的方法所实现的计算机程序，该计算机程序被计算机调用运行时，执行相应的方法所包括的步骤。
CN202311163983.6A 2023-09-08 2023-09-08 果园荔枝估产方法、装置、设备及介质 Pending CN117152105A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311163983.6A CN117152105A (zh) 2023-09-08 2023-09-08 果园荔枝估产方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311163983.6A CN117152105A (zh) 2023-09-08 2023-09-08 果园荔枝估产方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN117152105A true CN117152105A (zh) 2023-12-01

Family

ID=88909817

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311163983.6A Pending CN117152105A (zh) 2023-09-08 2023-09-08 果园荔枝估产方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN117152105A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117575111A (zh) * 2024-01-16 2024-02-20 安徽农业大学 一种基于迁移学习的农业遥感图像时空序列预测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117575111A (zh) * 2024-01-16 2024-02-20 安徽农业大学 一种基于迁移学习的农业遥感图像时空序列预测方法
CN117575111B (zh) * 2024-01-16 2024-04-12 安徽农业大学 一种基于迁移学习的农业遥感图像时空序列预测方法

Similar Documents

Publication Publication Date Title
US11551333B2 (en) Image reconstruction method and device
Zhang et al. Real-time strawberry detection using deep neural networks on embedded system (rtsd-net): An edge AI application
CN111985370B (zh) 一种基于混合注意力模块的农作物病虫害识别方法
Chen et al. Weed detection in sesame fields using a YOLO model with an enhanced attention mechanism and feature fusion
Zeng et al. Lightweight tomato real-time detection method based on improved YOLO and mobile deployment
CN112651438A (zh) 多类别图像的分类方法、装置、终端设备和存储介质
CN113807399B (zh) 一种神经网络训练方法、检测方法以及装置
CN111696101A (zh) 一种基于SE-Inception的轻量级茄科病害识别方法
Guo-Feng et al. A rapid, low-cost deep learning system to classify strawberry disease based on cloud service
CN113344045B (zh) 一种结合hog特征提高sar船只分类精度的方法
CN117152105A (zh) 果园荔枝估产方法、装置、设备及介质
US20230104262A1 (en) Panoptic segmentation refinement network
CN116152591B (zh) 模型训练方法、红外小目标检测方法、装置及电子设备
CN113158831B (zh) 检测摄像设备移动的方法、装置、计算机设备和存储介质
CN113988357B (zh) 基于深度学习的高层建筑风致响应预测方法及装置
CN110765882A (zh) 一种视频标签确定方法、装置、服务器及存储介质
CN114972208B (zh) 一种基于YOLOv4的轻量化小麦赤霉病检测方法
CN113344077A (zh) 一种基于卷积胶囊网络结构的抗噪茄科病害识别方法
Wang et al. An efficient attention module for instance segmentation network in pest monitoring
CN114780767A (zh) 一种基于深度卷积神经网络的大规模图像检索方法及系统
Zhao et al. A novel strategy for pest disease detection of Brassica chinensis based on UAV imagery and deep learning
CN116343266A (zh) 图像人物识别方法及其装置、设备、介质、产品
Tian et al. Depth inference with convolutional neural network
Yang et al. Multi-Growth Period Tomato Fruit Detection Using Improved Yolov5
CN114049254B (zh) 低像素牛头图像重建识别方法、系统、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination