CN115050020A - 一种基于改进Mask R-CNN草莓叶面积的智能视觉检测方法及系统 - Google Patents

一种基于改进Mask R-CNN草莓叶面积的智能视觉检测方法及系统 Download PDF

Info

Publication number
CN115050020A
CN115050020A CN202210468407.1A CN202210468407A CN115050020A CN 115050020 A CN115050020 A CN 115050020A CN 202210468407 A CN202210468407 A CN 202210468407A CN 115050020 A CN115050020 A CN 115050020A
Authority
CN
China
Prior art keywords
data
cnn
strawberry
image data
improved mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210468407.1A
Other languages
English (en)
Inventor
陈鹏
黄琼娇
章军
夏懿
梁栋
黄林生
张东彦
赵晋陵
王兵
雷雨
牛子寒
路宝榕
许浪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University
Original Assignee
Anhui University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University filed Critical Anhui University
Priority to CN202210468407.1A priority Critical patent/CN115050020A/zh
Publication of CN115050020A publication Critical patent/CN115050020A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种基于改进Mask R‑CNN草莓叶面积的智能视觉检测方法，包括以下步骤：获取带有参照物的草莓叶片照片数据；对照片数据进行预处理，得到输入图像数据；使用改进型Mask R‑CNN网络框架对输入图像数据进行特征提取，得的特征图像数据，改进型Mask R‑CNN网络框架中利用Swintransformer作为主干网络；将特征图像数据输入识别模型中，识别模型由改进型Mask R‑CNN网络框架进行模型训练得到；利用识别模型统计草莓叶片和参照物的像素；根据草莓叶片和参照物的像素面积比计算出草莓叶片的面积。本申请解决了现有技术中叶片面积测量方式比较繁琐、费时费工、对植株破坏性较大等技术问题，实现了采用改进Mask R‑CNN算法在对物体进行实例分割时具有叶片测量精度高，响应速度快的效果。

Description

一种基于改进Mask R-CNN草莓叶面积的智能视觉检测方法及 系统
技术领域
本申请涉及植物表型识别的领域，尤其是涉及一种基于改进MaskR-CNN草莓叶面积的智能视觉检测方法及系统。
背景技术
叶片是绿色植物进行光合作用合成植物有机物的主要器官，叶片的叶面积大小、受虫害程度和发育状况对作物生长发育、抗逆性及产量有很大的影响，草莓叶片面积是草莓果实产量和品质形成的关键，因此建立合理准确的叶面积测定方法，对草莓栽培模式、栽培管理有一定的指导意义。随着计算机技术的不断发展，尤其是深度学习技术的突破，近些年来越来越多的研究者开始采用深度学习技术提升农业生产效率，我们经常见到的图像分割方法主要有阈值分割算法、边缘分割算法、区域分割算法等。
由于在自然场景下，背景较为复杂，草莓叶子之间重叠较多，使得对于多株草莓的多叶面积计算具有较大挑战性，现在大多数是针对单个植物整体或单个叶片进行面积计算，使得测量方式比较繁琐、费时费工、对植株破坏性较大等问题。
发明内容
本申请实施例通过提供一种基于改进MaskR-CNN草莓叶面积的智能视觉检测方法及系统，解决了现有技术中叶片面积测量方式比较繁琐、费时费工、对植株破坏性较大等技术问题，实现了采用改进Mask R-CNN算法在对物体进行实例分割时具有叶片测量精度高，响应速度快的效果。
本申请实施例提供了一种基于改进Mask R-CNN草莓叶面积的智能视觉检测方法，包括以下步骤：获取带有参照物的草莓叶片照片数据；对照片数据进行预处理，得到输入图像数据；使用改进型Mask R-CNN网络框架对所述输入图像数据进行特征提取，得的特征图像数据，其中所述改进型Mask R-CNN网络框架中利用Swin transformer作为主干网络；将所述特征图像数据输入识别模型中，所述识别模型由所述改进型Mask R-CNN网络框架进行模型训练得到；利用识别模型统计草莓叶片和参照物的像素；根据草莓叶片和参照物的像素面积比计算出草莓叶片的面积。
进一步地，对照片数据进行预处理，得到输入图像数据包括：对所述照片数据中的图片进行几何畸变矫正；对几何畸变矫正后的草莓叶片图片和参照物图片进行数据集标注，得到标注数据；对所述标注数据进行数据增强，得到所述输入图像数据，其中，所述数据增强包括图片的亮度加强、亮度减弱、高斯噪声操作来实现数据集扩张。
进一步地，所述Swin transformer主干网络包括四个阶段和一个输出层，每个阶段由图像块合并模块和多个Swin transformer模块组成。
进一步地，所述Swin transformer主干网络中第一阶段、第二阶段以及第四阶段中的Swin transformer模块为2个，第三阶段中的Swin transformer模块为6个。
进一步地，利用带权平均二值交叉熵损失函数代替所述Mask R-CNN整体损失函数中Lmask平均二值交叉熵损失函数。
本申请还提供了一种基于改进Mask R-CNN草莓叶面积的智能视觉检测系统，所述智能视觉检测系统，包括：获取单元，所述获取单元被配置为获取带有参照物的草莓叶片照片数据；预处理单元，所述预处理单元被配置为对照片数据进行预处理，得到输入图像数据；特征提取单元，所述特征提取单元被配置为使用改进型Mask R-CNN网络框架对所述输入图像数据进行特征提取，得的特征图像数据，其中所述改进型Mask R-CNN网络框架中利用Swin transformer作为主干网络；输入单元，所述输入单元被配置为将所述特征图像数据输入识别模型中，所述识别模型由所述改进型Mask R-CNN网络框架进行模型训练得到；识别统计单元，所述识别统计单元被配置为利用识别模型统计草莓叶片和参照物的像素；计算单元，所述计算单元被配置为根据草莓叶片和参照物的像素面积比计算出草莓叶片的面积。
进一步地，所述预处理单元包括：几何畸变矫正子单元，所述几何畸变矫正子单元被配置为对所述照片数据中的图片进行几何畸变矫正；数据集标注子单元，所述数据集标注子单元被配置为对几何畸变矫正后的草莓叶片图片和参照物图片进行数据集标注，得到标注数据；数据增强子单元，所述对所述标注数据进行数据增强，得到所述输入图像数据，其中，所述数据增强包括图片的亮度加强、亮度减弱、高斯噪声操作来实现数据集扩张。
本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
1、由于采用了改进型Mask R-CNN网络框架中利用Swin transformer作为主干网络，Swin transformer通过将自注意力计算限制在一个滑动的窗口，又充分吸取了卷积神经网络的层次性、局部性和平移不变性的优点，分阶段降低图像的分辨率、增加通道数，大大降低了网络的计算量，提高了模型训练的速度。
2、由于Swin transformer主干网络将主要由层归一化、多层感知机、窗口多头自注意力和移位窗口多头自注意力组成，将注意力的计算限制在每个窗口中，实现了窗口间的信息交互，极大减轻了网络的计算量，将复杂度降低到了图像尺寸的线性比例。
附图说明
图1为本申请实施例中一种基于改进Mask R-CNN草莓叶面积的智能视觉检测方法的流程图；
图2为本申请实施例中带有参照物的草莓叶片的示意图；
图3为本申请实施例中照片数据预处理的流程图；
图4为本申请实施例中一种基于改进Mask R-CNN草莓叶面积的智能视觉检测系统的结构示意图；
图5为本申请实施例中预处理单元的结构示意图。
具体实施方式
本申请实施例公开了一种基于改进Mask R-CNN草莓叶面积的智能视觉检测方法，解决了现有技术中叶片面积测量方式比较繁琐、费时费工、对植株破坏性较大等技术问题。
针对上述技术问题，本申请提供的技术方案总体思路如下：
本申请实施例提供了一种基于改进Mask R-CNN草莓叶面积的智能视觉检测方法，所示智能视觉检测方法包括：获取带有参照物的草莓叶片照片数据；对照片数据进行预处理，得到输入图像数据；使用改进型Mask R-CNN网络框架对所述输入图像数据进行特征提取，得的特征图像数据；将所述特征图像数据输入识别模型中；利用识别模型统计草莓叶片和参照物的像素；根据草莓叶片和参照物的像素面积比计算出草莓叶片的面积。
为使本申请实施例的上述基本方法能够更为明显易懂，下面结合附图对本申请的具体实施例做详细的说明。
实施例一
图1是本申请实施例中一种基于改进Mask R-CNN草莓叶面积的智能视觉检测方法，以下通过具体步骤进行详细说明。
S1，获取带有参照物的草莓叶片照片数据。
在具体实施中，可以在草莓叶片旁放置参照物，参照物可以是边长为3cm的正方形小木块(参照图2所示)，然后可以在自然场景下定高拍摄草莓叶片和参照物，将拍摄得到的照片作为带有参照物的草莓叶片照明数据。
在具体实施中，可以在一米高支架上固定一部智能手机，并用遥控器远程控制手机来拍摄各个盆栽中草莓的叶片和参照物。
S2，对照片数据进行预处理，得到输入图像数据。
在具体实施中，参照图3所示，可以通过如下步骤对照片进行预处理。
S21，对所述照片数据中的图片进行几何畸变矫正。
在具体实施中，拍摄得到的叶片和参照物图片往往会产生几何畸变，其中，几何畸变分为切向畸变和径向畸变。切向畸变就是沿着透镜半径方向分布的畸变，产生原因是光线在原理透镜中心的地方比靠近中心的地方更加弯曲，这种畸变在短焦镜头中表现更加明显，径向畸变主要包括桶形畸变和枕形畸变两种，而切向畸变是由于透镜本身与相机传感器平面(成像平面)或图像平面不平行而产生的，这种情况多是由于透镜被粘贴到镜头模组上的安装偏差导致，此时，通过同时对径向畸变及切向畸变消除，最终可以得到5个畸变参数，这5个参数就是相机标定中需要确定的相机的5个畸变系数。求得这5个参数后，就可以校正由于镜头畸变引起的图像的变形失真。
S22，对几何畸变矫正后的草莓叶片图片和参照物图片进行数据集标注，得到标注数据。
在具体实施中，可以采用Labelme标注工具对几何畸变矫正后的草莓叶片图片和参照物图片进行数据集标注，最终得到含有标注信息的标注数据。
S23，对所述标注数据进行数据增强，得到所述输入图像数据。
在具体实施中，在得到含有标注信息的标注数据后，可以对标注数据进行数据增强，其中数据增强可以是对图片进行亮度加强、亮度减弱、高斯噪声操作等，当数据增强后可以提高对Mask R-CNN网络训练的精度。
S3，使用改进型Mask R-CNN网络框架对所述输入图像数据进行特征提取，得的特征图像数据。
在具体实施中，改进型Mask R-CNN网络框架中利用Swin transformer作为主干网络，Swin transformer通过将自注意力计算限制在一个滑动的窗口，又充分吸取了卷积神经网络的层次性、局部性和平移不变性的优点，分阶段降低图像的分辨率、增加通道数，大大降低了网络的计算量，提高了模型训练的速度。
在具体实施中，Swin transformer模型采用层次化的设计，主要分为四个阶段和一个输出层，其中每个阶段由图像合并模块和多个的Swin transformer模块组成，其中Swin transformer主干网络中第一阶段、第二阶段以及第四阶段中的Swin transformer模块为2个，第三阶段中的Swin transformer模块为6个。
在具体实施中，Swin transformer主干网络将主要由层归一化、多层感知机、窗口多头自注意力和移位窗口多头自注意力组成，将注意力的计算限制在每个窗口中，实现了窗口间的信息交互，极大减轻了网络的计算量，将复杂度降低到了图像尺寸的线性比例。
在具体实施中，利用带权平均二值交叉熵损失函数代替所述Mask R-CNN整体损失函数中Lmask平均二值交叉熵损失函数。在草莓叶片检测中，图像中大多数都是草莓叶片样本，参照物只有一个样本，占很小的比例，但是参照物的样本的相关参数信息很重要，会很大程度上影响后期草莓叶面积计算的精确度，而采用带权平均二值交叉熵损失函数代替Lmask平均二值交叉熵损失函数，减少草莓叶片和参照物样本量之间不平衡对结果造成的影响，使得模型能够充分学习参照物样本参数，从而有效降低算法的损失值。
S4，将所述特征图像数据输入识别模型中。
在具体实施中，识别模型由所述改进型Mask R-CNN网络框架进行模型训练得到。其中，可以采用迁移学习的方法进行模型的训练，使用基于COCO数据集的预训练权重来初始化网络参数，然后通过批量训练的方式，将训练集100幅图片每8幅图片作为一个批次输入到模型中训练，初始学习率为0.00025，权重衰减率为0.0001，动量因子为0.9，最大迭代次数为50，每迭代10次保留一次模型权重。并且采用了预热学习率的方式，使用10个epoch将学习率从非常小的数值0.000025线性增加到预设值0.00025之后，然后在第27和33个前向计算和方向传播的过程中，学习率线性衰减到3×10-5和3×10-6，以此来减缓模型在初始阶段震荡，提前过拟合，梯度爆炸的现象，使模型保持平稳的分布，并且有助于保持模型深层的稳定性。模型采用AdamW算法更新模型参数，使得模型收敛速度快，学习效率高。
S5，利用识别模型统计草莓叶片和参照物的像素。
在具体实施中，模型输出的边界框数组和掩膜二值数组包含像素点位置和分类类别，掩膜数组用“1”表示该像素属于分类目标，因此统计掩膜数组中“1”的数量就得到了图像中每片叶子和参照物的像素数。
S6，根据草莓叶片和参照物的像素面积比计算出草莓叶片的面积。
在具体实施中，利用Mask R-CNN像素统计结果，并根据参照物和叶片比例关系计算出草莓叶片的面积，用以下公式进行计算：
Figure BDA0003625516040000071
其中，Sti为第i片叶片面积；Srectangle为实际参照物的面积；Nti为第i片叶片的像素数；Nrectangle为参照物的像素数；i为叶片编号。
综上所述，首先，上述检测方法可以利用手机来采集草莓图片，并通过数据处理来将原有图像的平行、垂直关系得以保持，无需采用专业的摄像机或者扫描仪，具有经济实惠、操作简单、携带便捷等优点。
其次，由于Mask R-CNN是基于像素点的实例分割算法，在执行Mask R-CNN后可以获得每个叶片的分割区域并统计每个叶片分割区域上的像素数。上述检测方法中首先在草莓植株里放上固定大小的木块作为参照物，然后利用Swin transformer改进的Mask R-CNN模型对叶片和参照物进行分割；然后模型得到图像中每片叶子和参照物的像素数，最后通过参照物和叶片像素面积比例关系计算出草莓叶片的面积，通过和现实测量数据对比，验证了有效性，提供了一种更加高效、智能的叶面积计算方法。
为使本领域技术人员更好地理解和实现本申请实施例，以下参照图4对一种基于改进Mask R-CNN草莓叶面积的智能视觉检测系统进行相应介绍。
实施例二
参照图4所示，本申请实施例提供了一种基于改进Mask R-CNN草莓叶面积的智能视觉检测系统，所述智能视觉检测系统包括：获取单元、预处理单元、特征提取单元、输入单元、识别统计单元以及计算单元。
所述获取单元被配置为获取带有参照物的草莓叶片照片数据；
所述预处理单元被配置为对照片数据进行预处理，得到输入图像数据；
所述特征提取单元被配置为使用改进型Mask R-CNN网络框架对所述输入图像数据进行特征提取，得的特征图像数据，其中所述改进型Mask R-CNN网络框架中利用Swintransformer作为主干网络；
所述输入单元被配置为将所述特征图像数据输入识别模型中，所述识别模型由所述改进型Mask R-CNN网络框架进行模型训练得到；
所述识别统计单元被配置为利用识别模型统计草莓叶片和参照物的像素；
所述计算单元被配置为根据草莓叶片和参照物的像素面积比计算出草莓叶片的面积。
在具体实施中，如图5所示，预处理单元包括：几何畸变矫正子单元、数据集标注子单元以及数据增强子单元。
所述几何畸变矫正子单元被配置为对所述照片数据中的图片进行几何畸变矫正；
所述数据集标注子单元被配置为对几何畸变矫正后的草莓叶片图片和参照物图片进行数据集标注，得到标注数据；
所述对所述标注数据进行数据增强，得到所述输入图像数据，其中，所述数据增强包括图片的亮度加强、亮度减弱、高斯噪声操作来实现数据集扩张。
前述实施例一中的种基于改进Mask R-CNN草莓叶面积的智能视觉检测方法的各种变化方式和具体实施同样适用于本实施例的一种基于改进Mask R-CNN草莓叶面积的智能视觉检测系统，通过前述对一种基于改进Mask R-CNN草莓叶面积的智能视觉检测方法的详细描述，本领域技术人员可以清楚的知道本实施例中一种基于改进Mask R-CNN草莓叶面积的智能视觉检测系统，所以为了说明书的简洁，在此不在详述。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的系统。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令系统的制造品，该指令系统实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (7)

1.一种基于改进Mask R-CNN草莓叶面积的智能视觉检测方法，其特征在于，包括以下步骤：
获取带有参照物的草莓叶片照片数据；
对照片数据进行预处理，得到输入图像数据；
使用改进型Mask R-CNN网络框架对所述输入图像数据进行特征提取，得的特征图像数据，其中所述改进型Mask R-CNN网络框架中利用Swin transformer作为主干网络；
将所述特征图像数据输入识别模型中，所述识别模型由所述改进型Mask R-CNN网络框架进行模型训练得到；
利用识别模型统计草莓叶片和参照物的像素；
根据草莓叶片和参照物的像素面积比计算出草莓叶片的面积。
2.如权利要求1所述的一种基于改进Mask R-CNN草莓叶面积的智能视觉检测方法，其特征在于，对照片数据进行预处理，得到输入图像数据包括：
对所述照片数据中的图片进行几何畸变矫正；
对几何畸变矫正后的草莓叶片图片和参照物图片进行数据集标注，得到标注数据；
对所述标注数据进行数据增强，得到所述输入图像数据，其中，所述数据增强包括图片的亮度加强、亮度减弱、高斯噪声操作来实现数据集扩张。
3.如权利要求1所述的一种基于改进Mask R-CNN草莓叶面积的智能视觉检测方法，其特征在于，所述Swin transformer主干网络包括四个阶段和一个输出层，每个阶段由图像块合并模块和多个Swin transformer模块组成。
4.如权利要求3所述的一种基于改进Mask R-CNN草莓叶面积的智能视觉检测方法，其特征在于，所述Swin transformer主干网络中第一阶段、第二阶段以及第四阶段中的Swintransformer模块为2个，第三阶段中的Swin transformer模块为6个。
5.如权利要求1所述的一种基于改进Mask R-CNN草莓叶面积的智能视觉检测方法，其特征在于，利用带权平均二值交叉熵损失函数代替所述Mask R-CNN整体损失函数中Lmask平均二值交叉熵损失函数。
6.一种基于改进Mask R-CNN草莓叶面积的智能视觉检测系统，其特征在于，所述智能视觉检测系统，包括：
获取单元，所述获取单元被配置为获取带有参照物的草莓叶片照片数据；
预处理单元，所述预处理单元被配置为对照片数据进行预处理，得到输入图像数据；
特征提取单元，所述特征提取单元被配置为使用改进型Mask R-CNN网络框架对所述输入图像数据进行特征提取，得的特征图像数据，其中所述改进型Mask R-CNN网络框架中利用Swin transformer作为主干网络；
输入单元，所述输入单元被配置为将所述特征图像数据输入识别模型中，所述识别模型由所述改进型Mask R-CNN网络框架进行模型训练得到；
识别统计单元，所述识别统计单元被配置为利用识别模型统计草莓叶片和参照物的像素；
计算单元，所述计算单元被配置为根据草莓叶片和参照物的像素面积比计算出草莓叶片的面积。
7.如权利要求6所述的一种基于改进Mask R-CNN草莓叶面积的智能视觉检测系统，其特征在于，所述预处理单元包括：
几何畸变矫正子单元，所述几何畸变矫正子单元被配置为对所述照片数据中的图片进行几何畸变矫正；
数据集标注子单元，所述数据集标注子单元被配置为对几何畸变矫正后的草莓叶片图片和参照物图片进行数据集标注，得到标注数据；
数据增强子单元，所述对所述标注数据进行数据增强，得到所述输入图像数据，其中，所述数据增强包括图片的亮度加强、亮度减弱、高斯噪声操作来实现数据集扩张。
CN202210468407.1A 2022-04-29 2022-04-29 一种基于改进Mask R-CNN草莓叶面积的智能视觉检测方法及系统 Pending CN115050020A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210468407.1A CN115050020A (zh) 2022-04-29 2022-04-29 一种基于改进Mask R-CNN草莓叶面积的智能视觉检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210468407.1A CN115050020A (zh) 2022-04-29 2022-04-29 一种基于改进Mask R-CNN草莓叶面积的智能视觉检测方法及系统

Publications (1)

Publication Number Publication Date
CN115050020A true CN115050020A (zh) 2022-09-13

Family

ID=83158451

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210468407.1A Pending CN115050020A (zh) 2022-04-29 2022-04-29 一种基于改进Mask R-CNN草莓叶面积的智能视觉检测方法及系统

Country Status (1)

Country Link
CN (1) CN115050020A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115861409A (zh) * 2023-02-28 2023-03-28 华南农业大学 大豆叶面积测算方法、系统、计算机设备及存储介质
CN117079060A (zh) * 2023-10-13 2023-11-17 之江实验室 一种基于光合信号的叶片智能分类方法和系统
CN117593652A (zh) * 2024-01-18 2024-02-23 之江实验室 一种智能识别大豆叶片叶形的方法和系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115861409A (zh) * 2023-02-28 2023-03-28 华南农业大学 大豆叶面积测算方法、系统、计算机设备及存储介质
CN117079060A (zh) * 2023-10-13 2023-11-17 之江实验室 一种基于光合信号的叶片智能分类方法和系统
CN117079060B (zh) * 2023-10-13 2024-03-12 之江实验室 一种基于光合信号的叶片智能分类方法和系统
CN117593652A (zh) * 2024-01-18 2024-02-23 之江实验室 一种智能识别大豆叶片叶形的方法和系统
CN117593652B (zh) * 2024-01-18 2024-05-14 之江实验室 一种智能识别大豆叶片叶形的方法和系统

Similar Documents

Publication Publication Date Title
Jia et al. Detection and segmentation of overlapped fruits based on optimized mask R-CNN application in apple harvesting robot
Li et al. A high-precision detection method of hydroponic lettuce seedlings status based on improved Faster RCNN
Parvathi et al. Detection of maturity stages of coconuts in complex background using Faster R-CNN model
CN115050020A (zh) 一种基于改进Mask R-CNN草莓叶面积的智能视觉检测方法及系统
WO2020177432A1 (zh) 基于目标检测网络的多标签物体检测方法、系统、装置
CN110222215B (zh) 一种基于f-ssd-iv3的作物害虫检测方法
CN110472575B (zh) 一种基于深度学习和计算机视觉的串番茄成熟度检测方法
CN114387520B (zh) 一种用于机器人采摘的密集李子精准检测方法及其系统
CN111340141A (zh) 一种基于深度学习的作物幼苗与杂草检测方法及系统
CN111178177A (zh) 一种基于卷积神经网络的黄瓜病害识别方法
CN113160062B (zh) 一种红外图像目标检测方法、装置、设备及存储介质
CN115050021B (zh) 基于改进YOLOv4的非结构环境下葡萄识别方法
Lv et al. A visual identification method for the apple growth forms in the orchard
CN112862849A (zh) 一种基于图像分割和全卷积神经网络的田间稻穗计数方法
CN114140665A (zh) 一种基于改进YOLOv5的密集小目标检测方法
CN116682106A (zh) 一种基于深度学习的柑橘木虱智能检测方法及装置
CN109166127B (zh) 一种可穿戴式植物表型感知系统
CN113313692A (zh) 一种基于航拍可见光图像的香蕉幼株自动识别与计数方法
Hu et al. Automatic detection of pecan fruits based on Faster RCNN with FPN in orchard
CN110705698A (zh) 尺度自适应感知的目标计数深度网络设计方法
Yu et al. A-pruning: a lightweight pineapple flower counting network based on filter pruning
CN115147835A (zh) 一种基于改进RetinaNet的自然果园场景下的凤梨成熟度检测方法
CN114898359A (zh) 一种基于改进EfficientDet的荔枝病虫害检测方法
CN114663791A (zh) 一种非结构化环境下面向剪枝机器人的枝条识别方法
CN116012571A (zh) 一种融合注意力机制的玉米籽粒破碎率实时检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination