CN114550166B - 一种面向智慧大棚的果实检测方法、装置及存储介质 - Google Patents

一种面向智慧大棚的果实检测方法、装置及存储介质 Download PDF

Info

Publication number
CN114550166B
CN114550166B CN202210436108.XA CN202210436108A CN114550166B CN 114550166 B CN114550166 B CN 114550166B CN 202210436108 A CN202210436108 A CN 202210436108A CN 114550166 B CN114550166 B CN 114550166B
Authority
CN
China
Prior art keywords
fruit
network
maturity
image
fruits
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210436108.XA
Other languages
English (en)
Other versions
CN114550166A (zh
Inventor
张超
钱浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Innotitan Intelligent Equipment Technology Tianjin Co Ltd
Original Assignee
University of Science and Technology Beijing USTB
Innotitan Intelligent Equipment Technology Tianjin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB, Innotitan Intelligent Equipment Technology Tianjin Co Ltd filed Critical University of Science and Technology Beijing USTB
Priority to CN202210436108.XA priority Critical patent/CN114550166B/zh
Publication of CN114550166A publication Critical patent/CN114550166A/zh
Application granted granted Critical
Publication of CN114550166B publication Critical patent/CN114550166B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
    • Y02A40/25—Greenhouse technology, e.g. cooling systems therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请涉及一种面向智慧大棚的果实检测方法、装置及存储介质，方法包括在YOLOv5的特征融合网络中嵌入两个CBAM注意力模块，分别用于对YOLOv5的骨干网络的低层的两个输出特征图进行关键信息提取和冗余信息去除；基于两个CBAM注意力模块所输出的两个注意力特征图进行特征融合，去除YOLOv5预测端的输出特征图的尺寸最小的预测分支，得到用于果实识别和定位的FR‑YOLOv5网络；将待检测图像输入至训练好的FR‑YOLOv5网络进行检测，得到每个果实在待检测图像中的位置坐标；根据各果实的位置坐标，依次从待检测图像中裁剪出每个果实的所在区域图像；将区域图像输入至训练好的进行果实成熟度分类的分类网络，得到各个果实的成熟度类别。该方法能降低检测复杂程度，提升检测准确率。

Description

一种面向智慧大棚的果实检测方法、装置及存储介质
技术领域
本申请涉及果实采摘技术领域，尤其涉及一种面向智慧大棚的果实检测方法、装置及存储介质。
背景技术
传统大棚主要依靠人力和人工经验进行果实采摘以及后续的果实品质分级，这一过程不仅效率低下，而且会消耗大量的人力，造成较高的生产成本。因此，提高果实采摘的智能化程度成为了智慧大棚产业的主要发展方向之一，而实现采收成熟期果实的准确检测是进行智能化果实采摘的基础，能够为果实采摘机器人提供精确的目标信息。
近年来，由于出色的特征提取能力，基于卷积神经网络的目标检测技术在多个领域取得了良好的实用效果，并被逐渐应用于果实的自动化检测中。然而，现有基于深度学习的果实检测算法主要分为两大类：仅进行果实的定位检测，实用性不足；或者采用一个网络实现果实的定位和成熟度检测两个任务，导致网络所需提取特征的复杂性较高，模型难以收敛到最优解。因此，亟需一种全面可靠的智能化果实检测方法，在快速准确地进行果实定位的同时，判断其是否达到规定的采收成熟度，并进行产量统计，从而指导采摘机器人更规范准确地进行果实采摘和分类放置。
公开于本发明背景技术部分的信息仅仅旨在加深对本发明的一般背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。
发明内容
为了解决上述背景技术提到的技术问题或者至少部分地解决上述技术问题，本申请提供一种面向智慧大棚的果实检测方法、装置及存储介质，能降低检测复杂程度，提升检测准确率。
第一方面，本申请提供了一种面向智慧大棚的果实检测方法，包括：
在YOLOv5的特征融合网络中嵌入两个CBAM注意力模块，两个CBAM注意力模块分别用于对YOLOv5的骨干网络的低层的两个输出特征图进行关键信息提取和冗余信息去除；
基于两个CBAM注意力模块所输出的两个注意力特征图进行特征融合，去除YOLOv5预测端的输出特征图的尺寸最小的预测分支，得到用于果实识别和定位的FR-YOLOv5网络；
将待检测图像输入至训练好的所述FR-YOLOv5网络进行检测，得到每个果实在所述待检测图像中的位置坐标；根据各果实的位置坐标，依次从所述待检测图像中裁剪出每个果实的所在区域图像；
将所述区域图像输入至训练好的进行果实成熟度分类的分类网络，得到各个果实的成熟度类别。
可选的，面向智慧大棚的果实检测方法还包括：
统计各个成熟度类别的果实的数量。
可选的，面向智慧大棚的果实检测方法还包括：
采用工业相机拍摄大棚内不同生长周期下的果实图像；
对所述果实图像进行图像标注，在每张果实图像中标注出各个果实的所在位置框，获得每张果实图像对应的标注文件；
通过图像预处理对所述果实图像进行数量扩充；
将扩充后的果实图像和对应的标注文件按比例划分为第一训练集和第一测试集，得到果实检测数据集；
基于所述果实检测数据集的第一训练集对FR-YOLOv5网络进行训练；
基于所述果实检测数据集的第一测试集对训练后的FR-YOLOv5网络进行测试，确定FR-YOLOv5网络的检测准确率满足预设准确率要求，FR-YOLOv5网络的训练完成。
可选的，采用分类网络ResNet101进行果实的成熟度分类。
可选的，面向智慧大棚的果实检测方法还包括：
采用Imagenet数据集对ResNet101进行参数预训练；
采用成熟度分类数据集的训练集对预训练后的ResNet101进行网络训练和参数优化；
确定训练后的ResNet101在成熟度分类数据集的测试集上的准确率达到预设准确率要求，则确定ResNet101训练完成。
可选的，面向智慧大棚的果实检测方法还包括：
建立果实的成熟度分类数据集。
可选的，面向智慧大棚的果实检测方法还包括：
根据所述标注文件中标注出的各个果实的所在位置框，将果实检测数据集中的所有果实目标从原图中裁剪下来，得到仅包含果实的果实小图；
根据所述果实小图中果实的着色面积，为果实小图添加成熟度标签，获得每张果实小图对应的成熟度标注文件；
对所述果实小图进行数量扩充；
将扩充后的果实小图和对应的成熟度标注文件按比例划分为第二训练集和第二测试集，得到成熟度分类数据集。
第二方面，本申请提供了一种面向智慧大棚的果实检测装置，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的所述程序指令以实现如第一方面中任一技术方案所述的面向智慧大棚的果实检测方法。
第三方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质存储有程序代码，所述程序代码用于实现如第一方面中任一技术方案所述的面向智慧大棚的果实检测方法。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点：第一方面，该面向智慧大棚的果实检测方法，将复杂的果实检测任务分解为两个相对简单的任务：利用FR-YOLOv5识别果实的有无和具体位置；利用分类网络对果实进行成熟度分类，降低了网络所需提取特征的多样性和复杂性，有助于网络更有针对性地提取出任务所需的关键特征，从而显著提升算法的检测准确率。
第二方面，该面向智慧大棚的果实检测方法，针对果实检测任务的自身特性，对YOLOv5进行改进，获得了FR-YOLOv5网络：基于CBAM模块对低层特征图的特征融合操作进行改进，提升算法检测精度的同时，有效减少了算法的计算成本；通过去除不必要的预测分支，显著降低了模型的参数量。
第三方面，该面向智慧大棚的果实检测方法，进行果实的初步分级和产量统计，不仅可以节约大量的人力成本，而且有助于进行果实的生长监测和产量预测，有效提升我国智慧大棚产业的自动化和智能化水平。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种面向智慧大棚的果实检测方法的流程示意图；
图2为以大棚草莓为例，面向智慧大棚的果实检测方法的流程示意图；
图3为FR-YOLOv5的网络结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了便于理解，下面对本申请实施例提供的一种面向智慧大棚的果实检测方法、装置及存储介质进行详细介绍，一种面向智慧大棚的果实检测方法，包括以下步骤：
步骤S1，在YOLOv5的特征融合网络中嵌入两个CBAM注意力模块，两个CBAM注意力模块分别用于对YOLOv5的骨干网络的低层的两个输出特征图进行关键信息提取和冗余信息去除；
步骤S2，基于两个CBAM注意力模块所输出的两个注意力特征图进行特征融合，去除YOLOv5预测端的输出特征图的尺寸最小的预测分支，得到用于果实识别和定位的FR-YOLOv5网络；
步骤S3，将待检测图像输入至训练好的所述FR-YOLOv5网络进行检测，得到每个果实在所述待检测图像中的位置坐标；根据各果实的位置坐标，依次从所述待检测图像中裁剪出每个果实的所在区域图像；
步骤S4，将所述区域图像输入至训练好的进行果实成熟度分类的分类网络，得到各个果实的成熟度类别。
该面向智慧大棚的果实检测方法，将复杂的果实检测任务分解为两个相对简单的任务：利用FR-YOLOv5识别果实的有无和具体位置；利用分类网络对果实进行成熟度分类，降低了网络所需提取特征的多样性和复杂性，有助于网络更有针对性地提取出任务所需的关键特征，从而显著提升算法的检测准确率。
该面向智慧大棚的果实检测方法，针对果实检测任务的自身特性，对YOLOv5进行改进，获得了FR-YOLOv5网络：基于CBAM模块对低层特征图的特征融合操作进行改进，提升算法检测精度的同时，有效减少了算法的计算成本；通过去除不必要的预测分支，显著降低了模型的参数量。
在本申请的一些具体实施例中，面向智慧大棚的果实检测方法还包括：
统计各个成熟度类别的果实的数量。
该面向智慧大棚的果实检测方法，进行果实的初步分级和产量统计，不仅可以节约大量的人力成本，而且有助于进行果实的生长监测和产量预测，有效提升我国智慧大棚产业的自动化和智能化水平。
在本申请的一些具体实施例中，面向智慧大棚的果实检测方法还包括：
采用工业相机拍摄大棚内不同生长周期下的果实图像；
对所述果实图像进行图像标注，在每张果实图像中标注出各个果实的所在位置框，获得每张果实图像对应的标注文件；
通过图像预处理对所述果实图像进行数量扩充；
将扩充后的果实图像和对应的标注文件按比例划分为第一训练集和第一测试集，得到果实检测数据集；
基于所述果实检测数据集的第一训练集对FR-YOLOv5网络进行训练；
基于所述果实检测数据集的第一测试集对训练后的FR-YOLOv5网络进行测试，确定FR-YOLOv5网络的检测准确率满足预设准确率要求，FR-YOLOv5网络的训练完成。
在本申请的一些具体实施例中，采用分类网络ResNet101进行果实的成熟度分类。
在本申请的一些具体实施例中，面向智慧大棚的果实检测方法还包括：
采用Imagenet数据集对ResNet101进行参数预训练；
采用成熟度分类数据集的训练集对预训练后的ResNet101进行网络训练和参数优化；
确定训练后的ResNet101在成熟度分类数据集的测试集上的准确率达到预设准确率要求，则确定ResNet101训练完成。
在本申请的一些具体实施例中，面向智慧大棚的果实检测方法还包括：
建立果实的成熟度分类数据集。
在本申请的一些具体实施例中，面向智慧大棚的果实检测方法还包括：
根据所述标注文件中标注出的各个果实的所在位置框，将果实检测数据集中的所有果实目标从原图中裁剪下来，得到仅包含果实的果实小图；
根据所述果实小图中果实的着色面积，为果实小图添加成熟度标签，获得每张果实小图对应的成熟度标注文件；
对所述果实小图进行数量扩充；
将扩充后的果实小图和对应的成熟度标注文件按比例划分为第二训练集和第二测试集，得到成熟度分类数据集。
在本申请的另一些实施例中，还提供了一种面向智慧大棚的果实检测装置，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的所述程序指令以实现如上述任一实施例所述的面向智慧大棚的果实检测方法。
在本申请的另一些实施例中，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有程序代码，所述程序代码用于实现如上述任一实施例所述的面向智慧大棚的果实检测方法。
为了便于理解，下面以大棚草莓为例，参见图2，对自动化果实检测过程进行详细说明。其具体步骤如下：
步骤一、建立果实识别数据集。首先，采用工业相机拍摄大棚内不同生长周期下的草莓图像，以丰富数据集样本的多样性；接下来，采用Labelme软件进行图像标注，在每张图像中标注出各个草莓果实的所在位置框，获得每张图像对应的标注文件；其次，采用旋转、加噪等预处理操作对果实图像进行数量扩充；最后，将所得图像和对应标注文件按7:3比例划分为训练集和测试集，从而得到果实检测数据集。
步骤二、设计FR-YOLOv5网络，并构建果实识别模块。
（1）本发明以YOLOv5作为基础网络，根据果实识别任务的特殊性对其进行针对性改进，从而得到如图3所示的FR-YOLOv5网络。YOLOv5网络由输入端、骨干网络、特征融合网络和预测端四大部分组成，以本发明输入一张待检测的果实图像1024×1024为例，展示对YOLOv5的改进过程：
（a）在智能化果实检测任务中，检测算法的速度和精度同样重要。如图3所示，YOLOv5的骨干网络由B1、B2、B3三个部分构成，B1、B2、B3三部分的输出特征图分别作为特征融合网络的输入，参与后续的特征融合操作。由于B1和B2位于骨干网络的低层，其输出特征图的尺寸较大（分别为128*128*128和64*64*256），且包含大量背景细节信息，直接进行特征融合操作会导致网络的计算量较大，检测速度变慢。
因此，第一处改进是在特征融合网络中嵌入两个CBAM注意力模块，也就是将B1和B2的输出特征图分别输入CBAM注意力模块，进行关键信息提取和冗余信息去除；再基于CBAM注意力模块所输出的两个注意力特征图进行concat特征融合操作。
这一改进操作在增强网络对果实特征的提取能力，提升算法检测精度的同时，去除了多余的空间及通道信息，有效减少了算法的计算成本。
（b）YOLOv5网络的预测端有三个分支，其输出特征图尺寸分别为128*128*255、64*64*255和32*32*255，用于检测不同尺寸范围内的目标。由于果实在检测图像中所占视觉面积较小，因此果实检测属于小目标检测任务，基本都在前两个分支中进行检测。
因此，第二处改进是去除YOLOv5预测端的第三个预测分支，仅保留前两个尺寸为128*128*255和64*64*255的输出特征图，用于最终的果实识别和定位。
这一操作针对果实目标的尺寸特点进行了预测端的结构改进，通过去除不必要的预测分支，显著降低了模型的参数量。
经过以上两步改进操作，即可获得如图3所示的FR-YOLOv5网络。
（2）基于果实检测数据集中的训练集对FR-YOLOv5网络进行训练，直至其在测试集上的准确率达到指定要求，从而获得FR-YOLOv5模型。
将待检测图像输入FR-YOLOv5模型，即可获得每个果实在图像中的具体位置坐标；根据各果实的坐标信息，依次从原图中裁剪出每个果实的所在区域图像；输出每个果实的所在区域图像和其在图像中的坐标信息。
步骤三、建立成熟度分类数据集。根据果实的着色面积，草莓成熟度可分为25%、50%、75%和全部着色4个进程，一般在果面着色度达到75%时即可进行草莓采收。因此，本专利根据果面着色程度对草莓的成熟度进行初步分类。
首先，编写python脚本，根据标注文件中的坐标信息，将果实检测数据集中的所有果实目标从原图中批量裁剪下来，获得仅包含草莓果实的果实小图；接下来，根据图中草莓的果面着色程度对所有果实小图进行分类，将果面着色度大于100%的果实小图存放至“一级果”文件夹（成熟度标签为1），将果面着色度小于100%且大于75%的果实小图存放至“二级果”文件夹（成熟度标签为2），将果面着色度小于75%的果实小图存放至“未熟果”文件夹（成熟度标签为3）；其次，采用旋转、加噪等预处理操作对果实图像进行数量扩充；最后，将各文件夹中的果实小图按7:3比例划分为训练集和测试集，从而得到成熟度分类数据集。
步骤四、构建采收判定模块。
该模块采用经典的分类网络ResNet101进行果实的成熟度分类。首先，采用Imagenet数据集对ResNet101网络进行参数预训练；然后，采用成熟度分类数据集的训练集对预训练后的ResNet101进行网络训练和参数优化；当训练后的ResNet101在测试集上的准确率达到指定要求后，获得ResNet101模型。
将步骤二所输出的各果实所在区域图像作为输入图像，依次输入到ResNet101模型中，从而获得各果实小图对应的果实成熟度类别。如果成熟度类别为1，则输出指令“可采摘，属一级果”，并根据索引顺序，输出其在原图像中的坐标信息；如果成熟度类别为2，则输出指令“可采摘，属二级果”，并根据索引顺序，其在原图像中的坐标信息；否则说明果实成熟度不达标，输出指令“未成熟，不采摘”。
步骤五、构建产量统计模块。采收判定模块每输出一次指令“可采摘，属一级果”，变量“一级果数量”增加1，变量“二级果数量”和“未熟果数量”的更新方式同理。一次大棚巡检或果实采收完成后，输出最终的一级果总数量、二级果总数量和未熟果总数量。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (5)

1.一种面向智慧大棚的果实检测方法，其特征在于，包括：
在YOLOv5的特征融合网络中嵌入两个CBAM注意力模块，两个CBAM注意力模块分别用于对YOLOv5的骨干网络的低层的两个输出特征图进行关键信息提取和冗余信息去除；
基于两个CBAM注意力模块所输出的两个注意力特征图进行特征融合，去除YOLOv5预测端的输出特征图的尺寸最小的预测分支，得到用于果实识别和定位的FR-YOLOv5网络；
将待检测图像输入至训练好的所述FR-YOLOv5网络进行检测，得到每个果实在所述待检测图像中的位置坐标；根据各果实的位置坐标，依次从所述待检测图像中裁剪出每个果实的所在区域图像；
将所述区域图像输入至训练好的进行果实成熟度分类的分类网络，得到各个果实的成熟度类别；
统计各个成熟度类别的果实的数量；
采用工业相机拍摄大棚内不同生长周期下的果实图像；
对所述果实图像进行图像标注，在每张果实图像中标注出各个果实的所在位置框，获得每张果实图像对应的标注文件；
通过图像预处理对所述果实图像进行数量扩充；
将扩充后的果实图像和对应的标注文件按比例划分为第一训练集和第一测试集，得到果实检测数据集；基于所述果实检测数据集的第一训练集对FR-YOLOv5网络进行训练；
基于所述果实检测数据集的第一测试集对训练后的FR-YOLOv5网络进行测试，确定FR-YOLOv5网络的检测准确率满足预设准确率要求，FR-YOLOv5网络的训练完成；
建立果实的成熟度分类数据集；
所述果实成熟度分类的分类网络根据所述FR-YOLOv5网络检测得到每个果实在所述待检测图像中的位置坐标信息，将果实检测数据集中的所有果实目标从原图中批量裁剪下来，获得仅包含果实的果实小图，根据所述果实小图中果实的果面着色程度对所有所述果实小图进行分类，将果面着色度大于100％的所述果实小图存放至“一级果”文件夹，将果面着色度小于100％且大于75％的所述果实小图存放至“二级果”文件夹，将果面着色度小于75％的果实小图存放至“未熟果”文件夹；其次，采用旋转、加噪预处理操作对果实图像进行数量扩充；最后，将各文件夹中的果实小图按7:3比例划分为训练集和测试集，从而得到成熟度分类数据集；
采用分类网络ResNet101进行果实的成熟度分类，采用Imagenet数据集对所述ResNet101网络进行参数预训练；然后，采用所述成熟度分类数据集的训练集对预训练后的ResNet101进行网络训练和参数优化；当训练后的ResNet101在测试集上的准确率达到指定要求后，获得ResNet101模型；
将所述FR-YOLOv5网络所输出的各果实所在区域图像作为输入图像，依次输入到ResNet101模型中，从而获得各所述果实小图对应的果实成熟度类别，如果成熟度类别为1，则输出指令“可采摘，属一级果”，并根据索引顺序，输出其在原图像中的坐标信息；如果成熟度类别为2，则输出指令“可采摘，属二级果”，并根据索引顺序，其在原图像中的坐标信息；否则说明果实成熟度不达标，输出指令“未成熟，不采摘”；
根据所述ResNet101模型输出的指令统计不同级别果实的数量。
2.根据权利要求1所述的面向智慧大棚的果实检测方法，其特征在于，还包括：
采用Imagenet数据集对ResNet101进行参数预训练；
采用成熟度分类数据集的训练集对预训练后的ResNet101进行网络训练和参数优化；
确定训练后的ResNet101在成熟度分类数据集的测试集上的准确率达到预设准确率要求，则确定ResNet101训练完成。
3.根据权利要求1所述的面向智慧大棚的果实检测方法，其特征在于，还包括：
根据所述标注文件中标注出的各个果实的所在位置框，将果实检测数据集中的所有果实目标从原图中裁剪下来，得到仅包含果实的果实小图；
根据所述果实小图中果实的着色面积，为果实小图添加成熟度标签，获得每张果实小图对应的成熟度标注文件；
对所述果实小图进行数量扩充；
将扩充后的果实小图和对应的成熟度标注文件按比例划分为第二训练集和第二测试集，得到成熟度分类数据集。
4.一种面向智慧大棚的果实检测装置，其特征在于，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的所述程序指令以实现如权利要求1至3中任一项所述的面向智慧大棚的果实检测方法。
5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有程序代码，所述程序代码用于实现如权利要求1至3中任一项所述的面向智慧大棚的果实检测方法。
CN202210436108.XA 2022-04-25 2022-04-25 一种面向智慧大棚的果实检测方法、装置及存储介质 Active CN114550166B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210436108.XA CN114550166B (zh) 2022-04-25 2022-04-25 一种面向智慧大棚的果实检测方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210436108.XA CN114550166B (zh) 2022-04-25 2022-04-25 一种面向智慧大棚的果实检测方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN114550166A CN114550166A (zh) 2022-05-27
CN114550166B true CN114550166B (zh) 2022-08-19

Family

ID=81666788

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210436108.XA Active CN114550166B (zh) 2022-04-25 2022-04-25 一种面向智慧大棚的果实检测方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN114550166B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110633610A (zh) * 2019-05-17 2019-12-31 西南交通大学 一种基于yolo的学员状态检测算法
CN112560896A (zh) * 2020-11-19 2021-03-26 安徽理工大学 一种基于图像处理的水果品质筛选分类系统
CN113812262A (zh) * 2021-09-10 2021-12-21 中以集知(广州)科技有限公司 一种基于机器视觉的油茶果采摘机器人

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6608931B2 (en) * 2001-07-11 2003-08-19 Science Applications International Corporation Method for selecting representative endmember components from spectral data
CN109658454B (zh) * 2018-12-04 2020-11-17 深圳前海达闼云端智能科技有限公司 一种位姿信息确定方法、相关装置及存储介质
CN210093992U (zh) * 2019-03-20 2020-02-21 河北工业大学 一种山楂采摘机器人
CN114049550A (zh) * 2021-10-13 2022-02-15 天津农学院 基于深度学习的笼养死亡肉鸡自动识别方法
CN113989716B (zh) * 2021-10-21 2024-05-28 西安科技大学 煤矿井下输送带异物目标检测方法、系统、设备及终端
CN114332004A (zh) * 2021-12-27 2022-04-12 华南师范大学 一种瓷砖表面缺陷检测方法、装置、电子设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110633610A (zh) * 2019-05-17 2019-12-31 西南交通大学 一种基于yolo的学员状态检测算法
CN112560896A (zh) * 2020-11-19 2021-03-26 安徽理工大学 一种基于图像处理的水果品质筛选分类系统
CN113812262A (zh) * 2021-09-10 2021-12-21 中以集知(广州)科技有限公司 一种基于机器视觉的油茶果采摘机器人

Also Published As

Publication number Publication date
CN114550166A (zh) 2022-05-27

Similar Documents

Publication Publication Date Title
Song et al. Kiwifruit detection in field images using Faster R-CNN with VGG16
Faisal et al. Deep learning and computer vision for estimating date fruits type, maturity level, and weight
WO2022236876A1 (zh) 一种玻璃纸缺陷识别方法、系统、装置及存储介质
CN106557778A (zh) 通用物体检测方法和装置、数据处理装置和终端设备
KR20170091716A (ko) 샘플링 및 특징 선택 없는 자동 결함 분류
Huang et al. Immature apple detection method based on improved Yolov3
CN109886295A (zh) 一种基于神经网络的蝴蝶识别方法及相关设备
CN113378829B (zh) 一种基于正负样本均衡的弱监督目标检测方法
CN108932712A (zh) 一种转子绕组质量检测系统及方法
CN114529839A (zh) 一种面向无人机巡检的输电线金具异常检测方法及系统
Yang et al. Instance segmentation and classification method for plant leaf images based on ISC-MRCNN and APS-DCCNN
CN115272204A (zh) 一种基于机器视觉的轴承表面划痕检测方法
Rahman et al. Identification of mature grape bunches using image processing and computational intelligence methods
CN114550166B (zh) 一种面向智慧大棚的果实检测方法、装置及存储介质
CN117058669A (zh) 一种基于深度学习的荔枝果实识别方法
Wang et al. A transformer-based mask R-CNN for tomato detection and segmentation
CN114067314B (zh) 一种基于神经网络的花生霉变识别方法及系统
CN111539931A (zh) 一种基于卷积神经网络和边界限定优化的外观异常检测方法
CN115984632A (zh) 一种高光谱塑料垃圾材质快速分类方法、装置及存储介质
CN116524344A (zh) 一种基于rgb-d信息融合的番茄串采摘点检测方法
CN113610831B (zh) 基于计算机图像技术和迁移学习的木材缺陷检测方法
CN113210264B (zh) 烟草杂物剔除方法及装置
CN113837039A (zh) 一种基于卷积神经网络的果实生长形态视觉辨识方法
CN114187501A (zh) 包裹检测方法、装置及系统
CN113570542A (zh) 一种基于机器视觉的遮挡情况下煤矸石检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant