CN112580646A - 番茄果实成熟度分割方法及采摘机器人 - Google Patents

番茄果实成熟度分割方法及采摘机器人 Download PDF

Info

Publication number
CN112580646A
CN112580646A CN202011446794.6A CN202011446794A CN112580646A CN 112580646 A CN112580646 A CN 112580646A CN 202011446794 A CN202011446794 A CN 202011446794A CN 112580646 A CN112580646 A CN 112580646A
Authority
CN
China
Prior art keywords
tomato
mask
neural network
region
fruit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011446794.6A
Other languages
English (en)
Inventor
林森
龙洁花
李银坤
郭文忠
张宇
文朝武
王少磊
赵倩
魏晓明
周波
李友丽
陈红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Research Center of Intelligent Equipment for Agriculture
Original Assignee
Beijing Research Center of Intelligent Equipment for Agriculture
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Research Center of Intelligent Equipment for Agriculture filed Critical Beijing Research Center of Intelligent Equipment for Agriculture
Priority to CN202011446794.6A priority Critical patent/CN112580646A/zh
Publication of CN112580646A publication Critical patent/CN112580646A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D45/00—Harvesting of standing crops
    • A01D45/006—Harvesting of standing crops of tomatoes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Environmental Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种番茄果实成熟度分割方法及采摘机器人，该方法包括对基于区域的掩膜卷积神经网络算法主干网络进行改进，并优化掩膜分支损失函数，获得改进基于区域的掩膜卷积神经网络模型，减少特征信息集成过程中重复的可能性；根据不同类别的番茄图片训练集对所述改进基于区域的掩膜卷积神经网络模型进行训练，获得识别模型，获取番茄果实的果实图片，通过所述识别模型对所述果实图片进行识别，获得所述果实图片的分割结果，提高番茄果实的识别效率和准确率。

Description

番茄果实成熟度分割方法及采摘机器人
技术领域
本发明涉及人工智能技术领域，尤其涉及一种番茄果实成熟度分 割方法及采摘机器人。
背景技术
随着我国农业结构的不断调整和互联网的快速发展，设施果蔬种 植逐渐由传统大棚走向智能化温室，产量也日益增加，果蔬采摘引起 了人们的关注，尤其是番茄。目前，设施农业中番茄采摘主要依靠人 工作业，由于温室面积较大、采摘番茄数量巨多，会导致大量的人力 物力浪费、人工劳动强度很大、工作效率比较低。番茄采摘机器人可 以减少作业人员、降低生产成本，对设施农业中实现采摘作业的自动 化具有现实意义。采摘机器人的关键是番茄的识别、分割与定位，对 于非结构化温室来说，番茄所处环境非常复杂，果实之间密集分布， 存在叶片遮挡、枝杆遮挡、重叠等问题，同时光照复杂性也会影响果 实采摘的正确率，采摘机器人对不同成熟度番茄果实的精准识别具有 一定的困难和挑战。因此，研究一种温室复杂环境下精确分割不同成 熟度番茄果实对提高采摘机器人采摘成熟番茄具有重要意义。
近年来，国内外很多学者对果蔬的识别与分割进行了大量的理论 与试验研究，其中包括传统分割方法和目前流行的基于深度学习的方 法。传统分割方法主要包括基于阈值的分割方法、基于区域生长的分 割方法、以及基于边缘检测的分割方法等，用于从不同颜色空间中提 取果蔬的外观特征，包括颜色、纹理、形状等，大多数研究均对单一 特征进行分类识别，未能对处于不同生长阶段的果实进行实例分割。
发明内容
本发明提供一种番茄果实成熟度分割方法、采摘机器人及计算机 可读存储介质，用以解决现有技术中未能对处于不同生长阶段的果实 进行实例分割的缺陷，实现对处于不同生长阶段的番茄果实进行实例 分割，提高番茄果实识别和分割准确率。
本发明提供一种番茄果实成熟度分割方法，包括：
对基于区域的掩膜卷积神经网络算法主干网络进行改进，并优化 掩膜分支损失函数，获得改进基于区域的掩膜卷积神经网络模型；
根据不同类别的番茄图片训练集对所述改进基于区域的掩膜卷 积神经网络模型进行训练，获得识别模型；
获取番茄果实的果实图片，通过所述识别模型对所述果实图片进 行识别，获得所述果实图片的分割结果。
根据本发明提供一种的番茄果实成熟度分割方法，所述对基于区 域的掩膜卷积神经网络算法主干网络进行改进，并优化掩膜分支损失 函数，获得改进基于区域的掩膜卷积神经网络模型的步骤，具体包括：
对基于区域的掩膜卷积神经网络算法主干网络ResNet50/101中 一个或多个残差网络进行特征融合，对梯度流分割，通过不同路径传 播，并优化掩膜分支损失函数，获得改进基于区域的掩膜卷积神经网 络模型。
根据本发明提供一种的番茄果实成熟度分割方法，所述对基于区 域的掩膜卷积神经网络算法主干网络ResNet50/101中一个或多个残 差网络进行特征融合，对梯度流分割，通过不同路径传播，并优化掩 膜分支损失函数，获得改进基于区域的掩膜卷积神经网络模型的步骤， 具体包括：
对基于区域的掩膜卷积神经网络算法主干网络ResNet50/101中 一个或多个残差网络采用分层特征融合机制，通过不断的与多个残差 结构跨阶段连接，对梯度流进行分割，通过不同路径传播，并优化掩 膜分支损失函数，获得改进基于区域的掩膜卷积神经网络模型。
根据本发明提供一种的番茄果实成熟度分割方法，所述对基于区 域的掩膜卷积神经网络算法主干网络ResNet50/101中一个或多个残 差网络采用分层特征融合机制，通过不断的与多个残差结构跨阶段连 接，对梯度流进行分割的步骤，具体包括：
对基于区域的掩膜卷积神经网络算法主干网络ResNet50/101中 基础层拆分成两部分，一部分进行卷积操作，另一部分卷积和残差结 构卷积操作的结果进行级联，利用线性整流激活函数计算，得到的结 果再继续进行拆分融合，与下一个残差模块进行级联，重复上次步骤， 直至最终输出结果，对梯度流进行分割。
根据本发明提供一种的番茄果实成熟度分割方法，所述优化掩膜 分支损失函数，具体包括：
基于交叉熵损失为每个类别增加一个权重因子，获得带权交叉熵 损失函数；
根据所述带权交叉熵损失函数计算掩膜损失，获得优化掩膜分支 损失函数。
根据本发明提供一种的番茄果实成熟度分割方法，所述根据不同 类别的番茄图片训练集对所述改进基于区域的掩膜卷积神经网络模 型进行训练，获得识别模型，具体包括：
通过所述改进基于区域的掩膜卷积神经网络模型的骨干网络采 用CSP-ResNet50和CSP-ResNet101对不同类别的番茄图片训练集进 行特征提取，根据提取的特征采用COCO预训练模型权重在图像处 理单元上训练，获得识别模型。
根据本发明提供一种的番茄果实成熟度分割方法，所述根据不同 类别的番茄图片训练集对所述改进基于区域的掩膜卷积神经网络模 型进行训练，获得识别模型的步骤之后，还包括：
获取所述识别模型预测为正的正样本、预测为正的负样本、预测 为负的正样本；
根据所述正的正样本、所述正的负样本和所述负的正样本，计算 所述识别模型的准确率和召回率；
根据所述准确率和所述召回率计算所述识别模型对每一类别番 茄图片分割的平均精度；
计算出的每一类的所述平均精度求平均值，获得所述识别模型的 平均精度均值；
在所述平均精度均值满足预设取值范围时，执行所述获取番茄果 实的果实图片，通过所述识别模型对所述果实图片进行识别，获得所 述果实图片的分割结果的步骤。
根据本发明提供一种的番茄果实成熟度分割方法，不同类别的番 茄图片包括绿熟期番茄、半熟期番茄、成熟期番茄以及背景的番茄图 片；
所述获取番茄果实的果实图片，通过所述识别模型对所述果实图 片进行识别，获得所述果实图片的分割结果的步骤之后，还包括：
对所述分割结果为成熟期番茄的果实进行采摘。
本发明还提供一种采摘机器人，包括存储器、处理器及存储在存 储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序 时实现如上述任一种所述番茄果实成熟度分割方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算 机程序，该计算机程序被处理器执行时实现如上述任一种所述番茄果 实成熟度分割方法的步骤。
本发明提供的番茄果实成熟度分割方法及采摘机器人，通过对基 于区域的掩膜卷积神经网络算法主干网络进行改进，并优化掩膜分支 损失函数，获得改进基于区域的掩膜卷积神经网络模型，减少特征信 息集成过程中重复的可能性；根据不同类别的番茄图片训练集对所述 改进基于区域的掩膜卷积神经网络模型进行训练，获得识别模型，获 取番茄果实的果实图片，通过所述识别模型对所述果实图片进行识别， 获得所述果实图片的分割结果，提高番茄果实的识别效率和准确率。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实 施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见 地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术 人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得 其他的附图。
图1是本发明提供的番茄果实成熟度分割方法的流程示意图之 一；
图2为现有技术中Mask R-CNN算法流程图；
图3为本发明番茄果实成熟度分割方法第一实施例中一个残差 结构图；
图4(a)为本发明番茄果实成熟度分割方法第一实施例中 ResNet50/101网络结构；
图4(b)为本发明番茄果实成熟度分割方法第一实施例中 CSP-ResNet拆分融合结构；
图5为本发明番茄果实成熟度分割方法中改进的Mask RCNN网 络模型架构；
图6是本发明提供的番茄果实成熟度分割方法的流程示意图之 二；
图7(a)为本发明番茄果实成熟度分割方法第二实施例中 CSP-ResNet50损失函数变化曲线；
图7(b)为本发明番茄果实成熟度分割方法第二实施例中CSP-ResNet101损失函数变化曲线；
图8是本发明提供的采摘机器人的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发 明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然， 所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提 下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图8描述本发明的番茄果实成熟度分割方法及采 摘机器人。
在本实施例中，所述番茄果实成熟度分割方法包括以下步骤：
步骤100：对基于区域的掩膜卷积神经网络算法主干网络进行改 进，并优化掩膜分支损失函数，获得改进基于区域的掩膜卷积神经网 络模型。
可理解的是，针对温室复杂环境下不同成熟度番茄精准识别与分 割的问题，提出一种改进基于区域的掩膜卷积神经网络模型 (Region-based Convolution NeuralNetworks，Mask R-CNN)的复杂 环境下番茄果实成熟度分割方法。本实施例对Mask R-CNN主干网络 ResNet50/101进行改进，采用跨阶段部分连接思想(Cross Stage Partial，CSP)将ResNet中一个或多个残差网络进行特征融合，对梯度流分割， 通过不同路径传播，减少特征信息集成过程中重复的可能性，同时优 化掩膜(mask)分支损失函数。在本实施例中，所述步骤100，具体 包括：对基于区域的掩膜卷积神经网络算法主干网络ResNet50/101中一个或多个残差网络进行特征融合，对梯度流分割，通过不同路径 传播，并优化掩膜分支损失函数，获得改进基于区域的掩膜卷积神经 网络模型。
需要说明的是，实例分割是视觉经典四个任务(图像分类、目标 检测、语义分割、实例分割)中相对复杂的一个，Mask R-CNN算法 是一个经典的集目标检测与语义分割于一体的通用型网络，属于自上 而下的两阶段方法(two-stage)。首先通过目标检测找出每一个实例 所在区域，再在bounding box内进行语义分割，每个分割结果都作为 不同的实例输出。Mask R-CNN采用ResNet50/101作为骨干网络进行 特征提取，提取出的特征输入FPN网络中进行多尺度检测，将高层 语义信息与低层空间信息进行融合，得出的featuremap输入RPN网 络中，通过非极大值抑制方法(NMS)滤除低分anchor，保留高分 anchor产生感兴趣区域(RoI)；Mask R-CNN采用RoIAlign代替Faster R-CNN的ROI Pooling，保正输入像素与特征中的像素一一对应，同 时添加一个以FCN网络为主的mask分支与经过全连接层(fc)进行 目标类别划分和边界框定位的分支并行，进行多任务训练，最终产生 目标图像的类别(class)、预测的框(box)和掩膜(mask)。图2为 Mask R-CNN算法流程图。在本实施例中，所述对基于区域的掩膜卷 积神经网络算法主干网络ResNet50/101中一个或多个残差网络进行 特征融合，对梯度流分割，通过不同路径传播，并优化掩膜分支损失 函数，获得改进基于区域的掩膜卷积神经网络模型的步骤，具体包括： 对基于区域的掩膜卷积神经网络算法主干网络ResNet50/101中一个 或多个残差网络采用分层特征融合机制，通过不断的与多个残差结构 跨阶段连接，对梯度流进行分割，通过不同路径传播，并优化掩膜分 支损失函数，获得改进基于区域的掩膜卷积神经网络模型。
在具体实现中，Mask R-CNN采用ResNet50/101-FPN作为主干 网络提取特征，ResNet采用将残差思想引入网络结构中且在浅层网 络与深层网络间引入跳跃连接(skip-connection)的方法解决增加网 络深度出现梯度消失或者梯度爆炸的问题，残差结构单元(Res unit) 由三个卷积层组成，跳跃连接一个残差单元或多个残差单元，残差映 射结果的维度与跳跃连接的维度一致进行相加操作并使用relu激活 函数计算，共有x个残差结构单元，图3所示为一个残差结构图。如 图4(a)所示，ResNet网络层数达50或101，分别由48个残差单元 和99个残差单元组成，由于网络层数较深，反向传播时存在优化的 梯度信息重复，导致训练时间久、计算量大、网络运行速度慢。本发 明提出如图4(b)所示的将跨阶段部分连接(Cross Stage Partial，CSP) 思想应用于ResNet网络进行特征融合，跨阶段使用拆分与合并策略， 通过将梯度从头到尾地集成到特征图中，增强残差网络的学习能力， 有效减少计算量的同时保证准确率。
跨阶段部分连接思想是将浅层特征拆分成两部分，再进行级联操 作，有利于增强CNN的学习能力，降低计算瓶颈。本实施例中采用 跨阶段部分连接思想，将其应用于ResNet50/101中，融合网络由卷 积层和X个残差模块级联组成，采用分层特征融合机制，首先通过 将Base Layer(7x7 x64)拆分成两部分，一部分进行卷积操作(3x3x64)， 另一部分卷积(1x1x256)和残差结构卷积操作的结果进行级联，再 利用relu激活函数计算，得到的结果再继续进行拆分融合，与下一个 残差模块进行级联，重复上次步骤，直至最终输出结果。通过不断的 与多个残差结构跨阶段连接，对梯度流进行分割，通过不同路径传播， 减少特征信息集成过程中重复的可能性，有助于降低ResNet由于网 络深度较深所带来的的庞大计算量以及内存成本，从而提高Mask RCNN网络运行速度。改进的Mask RCNN网络模型架构如图5所示。 在本实施例中，所述对基于区域的掩膜卷积神经网络算法主干网络ResNet50/101中一个或多个残差网络采用分层特征融合机制，通过不 断的与多个残差结构跨阶段连接，对梯度流进行分割的步骤，具体包 括：对基于区域的掩膜卷积神经网络算法主干网络ResNet50/101中 基础层拆分成两部分，一部分进行卷积操作，另一部分卷积和残差结 构卷积操作的结果进行级联，利用线性整流激活函数计算，得到的结 果再继续进行拆分融合，与下一个残差模块进行级联，重复上次步骤， 直至最终输出结果，对梯度流进行分割。
步骤200：根据不同类别的番茄图片训练集对所述改进基于区域 的掩膜卷积神经网络模型进行训练，获得识别模型。
应理解的是，本实施例中网络训练环境可在ubuntu16.04系统下 进行，主要配置为
Figure BDA0002824680690000091
CoreTM i7-9800X CPU@3.8GHz×16中央 处理器、16GB运行内存、630GB硬盘、8GB的GeForce GTX 1070 GPU。网络搭建环境为:
Anaconda3+Keras2.2.4+Tensorflow1.13.1+Cuda10.0+Cudnn7.4，用 Python语言实现网络训练和测试。
需要说明的是，不同类别的番茄图片，类别数通常为4，绿熟期 番茄、半熟期番茄、成熟期番茄以及背景的番茄图片。
在具体实现中，所述改进基于区域的掩膜卷积神经网络模型采用 COCO预训练模型权重在单个GPU上训练，每个批次(batch)处理 1张图片；类别数为4(绿熟期番茄、半熟期番茄、成熟期番茄以及 背景)；图片最大维度设置为768，最小维度设置为384；RPN锚框 大小为8×6,16×6,32×6,64×6,128×6；每张图片训练的RoI(感兴 趣区域)为100；每个迭代步数为50；验证步数50；网络头部(heads) 训练学习率为0.001，整个网络训练初始学习率为0.001，每迭代100 次，学习率降低10-1，epoch都设置为1000；网络权重衰减系数weight_decay为0.0001，动量momentum为0.9。骨干网络采用 CSP-ResNet50和CSP-ResNet101对输入图片进行特征提取。在本实 施例中，所述步骤200，具体包括：通过所述改进基于区域的掩膜卷 积神经网络模型的骨干网络采用CSP-ResNet50和CSP-ResNet101对不同类别的番茄图片训练集进行特征提取，根据提取的特征采用 COCO预训练模型权重在图像处理单元上训练，获得识别模型。
步骤300：获取番茄果实的果实图片，通过所述识别模型对所述 果实图片进行识别，获得所述果实图片的分割结果。
需要说明的是，可通过实时拍摄番茄园的图片，获取番茄果实的 果实图片。本实施例基于CSP-ResNet50(Cross Stage Partial ResNet50) 主干网络的Mask RCNN模型对不同成熟度番茄分割的平均准确率为 95.25％，平均召回率为87.43％，平均AP为95.45％，平均IoU为86.28％， 平均F1 score为0.973，相比于基于ResNet50主干网络的Mask R-CNN模型分别提高1.28％、2.16％、2.7％、2.29％、2.03％。最终将基于 CSP-ResNet50主干网络的改进Mask RCNN模型移植到采摘机器人上， 在大型玻璃温室中验证模型对不同成熟度番茄果实的识别与分割效 果。在实际应用中具有较强的鲁棒性和适用性，为复杂环境下番茄采 摘机器人精准采摘成熟番茄提供了依据。
在本实施例中，通过对基于区域的掩膜卷积神经网络算法主干网 络进行改进，并优化掩膜分支损失函数，获得改进基于区域的掩膜卷 积神经网络模型，减少特征信息集成过程中重复的可能性；根据不同 类别的番茄图片训练集对所述改进基于区域的掩膜卷积神经网络模 型进行训练，获得识别模型，获取番茄果实的果实图片，通过所述识 别模型对所述果实图片进行识别，获得所述果实图片的分割结果，提 高番茄果实的识别效率和准确率。
参照图6，提出本发明番茄果实成熟度分割方法第二实施例。
在本实施例中，所述优化掩膜分支损失函数，具体包括：
基于交叉熵损失为每个类别增加一个权重因子，获得带权交叉熵 损失函数；
根据所述带权交叉熵损失函数计算掩膜损失，获得优化掩膜分支 损失函数。
应理解的是，Mask R-CNN网络经过特征区域筛选，网络头部对 各特征图进行分类、边框和掩膜计算，网络整体损失为分类、边框和 掩膜三者损失之和(公式1)。
Lloss＝Lcls+Lbox+Lmask (1)
公式(1)中Lcls为分类损失；Lbox为边界框损失；Lmask为掩膜损失。 其中Lmask损失采用的是平均二值交叉熵损失函数(公式2)，mask 分支对每个感兴趣区域(RoI)产生k*m*m个维的输出，在m*m的 分辨率上有k个二分类masks，每个像素点都应用了sigmoid函数， 为每个类别都产生mask，即对于一个属于第k个类别的RoI，Lmask仅 考虑第k个mask。在分割时，若第k个类别像素数量小于背景像素 数量时，交叉熵损失会导致样本数较少的类别分割效果较差。
Figure BDA0002824680690000111
公式(2)中N表示样本总数；y(i)表示样本i的期望输出，只有0 和1两种取值；
Figure BDA0002824680690000112
表示样本i的实际输出，即分割结果。
本发明对复杂环境下不同成熟度番茄进行分割，由于半熟期番茄 样本数量少于绿熟期和成熟期，整体样本存在不均衡的情况，需要优 化损失函数以获得更好的分割效果，如公式3所示。
Figure BDA0002824680690000113
公式(3)在交叉熵损失基础上为每个类别增加了一个权重因子β， 其中β＝(w-wi)/w，w表示总的像素个数，wi表示ground-truth类 别为i的像素个数。带权交叉熵损失函数相比于原本的交叉熵损失， 对于样本数较少的类别也能获得较好的分割效果。
不同骨干网络的训练集和验证集损失函数变化曲线如图7(a) 和图7(b)所示。可以看出，随着迭代次数的增加，CSP-ResNet50 和CSP-ResNet101损失值逐渐下降并趋于稳定，且都在0～200内下 降速度最快，当迭代到1000时训练集和验证集损失值变化不大基本趋于稳定，达到收敛状态，说明网络在此时达到了较好的训练结果。 不同的是，对于不同的骨干网络，CSP-ResNet50的验证损失略低于 训练损失，而CSP-ResNet101的训练损失略低于验证损失，这是由于 网络内部结构不同所造成的，但总体相差不大。
在本实施例中，所述步骤200之后，还包括：
获取所述识别模型预测为正的正样本、预测为正的负样本、预测 为负的正样本；
根据所述正的正样本、所述正的负样本和所述负的正样本，计算 所述识别模型的准确率和召回率；
根据所述准确率和所述召回率计算所述识别模型对每一类别番 茄图片分割的平均精度；
计算出的每一类的所述平均精度求平均值，获得所述识别模型的 平均精度均值；
在所述平均精度均值满足预设取值范围时，执行所述步骤300。
需要说明的是，本发明采用的性能评价指标主要包括MAP(Mean AveragePrecision)、P(准确率)、R(召回率)、F1 score(平衡F分 数)、MIoU(平均交并比)。平均精度(Average Precision，AP)是目 前目标检测和图像分割中最重要的评价指标，是准确率(Precision) 和召回率(Recall)的综合体现。MAP是计算绿熟期、半熟期、成熟 期三种类别番茄AP的平均值；F1 score为精确率和召回率的调和平 均数。计算公式如下：
Figure BDA0002824680690000121
Figure BDA0002824680690000122
Figure BDA0002824680690000123
式4，5中TP(True Positive)表示模型预测为正的正样本、FP (False Positive)表示模型预测为正的负样本、FN(False Negative) 表示模型预测为负的正样本。式6中AP是准确率在召回率上的积分， 一般AP值越高，模型性能越好。
Figure BDA0002824680690000124
Figure BDA0002824680690000131
式7中对计算出的每一类的AP值求平均值得到MAP，n为类别 数(本实施例中n＝3)。式8中F1 score综合了精确率和召回率的结 果，取值范围从0-1，1代表模型输出最好，0代表模型输出最差。为 了模型的识别与分割准确度更高，所述预设取值范围可以设置为临近 1的取值范围，本实施例对此不加以限制。
在本实施例中，不同类别的番茄图片包括绿熟期番茄、半熟期番 茄、成熟期番茄以及背景的番茄图片；
所述步骤300之后，还包括：
步骤400：对所述分割结果为成熟期番茄的果实进行采摘。
在具体实现中，将主干网络为CSP-ResNet50的改进Mask R-CNN 模型移植到番茄采摘机器人上，对温室环境下不同成熟度番茄识别与 分割效果进行验证。所述采摘机器人平台核心控制器配置为I7-7500U、 8G运行内存、128G固态硬盘。所述采摘机器人使用基于CSP-ResNet50主干网络的改进Mask R-CNN模型对温室复杂环境下 不同成熟度番茄的分割效果，在实际应用中具有一定的鲁棒性和适用 性，可为复杂环境下所述采摘机器人精确采摘成熟期番茄提供行之有 效的算法。
在本实施例中，改进的Mask RCNN网络对复杂环境下不同成熟 度番茄识别与分割，将主干网络ResNet50/101的一个或多个残差结 构跨阶段拆分与合并，截断梯度流，通过不同路径传播，减少特征信 息集成过程中重复的可能性，降低ResNet由于网络深度带来的内存 成本和计算量的同时提高了分割精度。
将基于CSP-ResNet50主干网络的改进Mask RCNN模型移植到 采摘机器人上，在大型玻璃温室中验证模型对不同成熟度番茄果实的 识别与分割效果。
在实际应用中模型整体分割效果优于其他模型，在降低网络计算 量的同时提高了精度，更具鲁棒性。为复杂环境下番茄采摘机器人精 准采摘成熟番茄提供了依据；对所述分割结果为成熟期的番茄果实进 行采摘，提高番茄采摘效率和采摘果实质量。
图8示例了一种采摘机器人的实体结构示意图，如图8所示，该 采摘机器人可以包括：处理器(processor)810、通信接口 (CommunicationsInterface)820、存储器(memory)830和通信总线840， 其中，处理器810，通信接口820，存储器830通过通信总线840完 成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以 执行番茄果实成熟度分割方法，该方法包括：对基于区域的掩膜卷积 神经网络算法主干网络进行改进，并优化掩膜分支损失函数，获得改 进基于区域的掩膜卷积神经网络模型；根据不同类别的番茄图片训练集对所述改进基于区域的掩膜卷积神经网络模型进行训练，获得识别 模型；获取番茄果实的果实图片，通过所述识别模型对所述果实图片 进行识别，获得所述果实图片的分割结果。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的 形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可 读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说 对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品 的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若 干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者 网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而 前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM， Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、 磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序 产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计 算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能 够执行上述各方法所提供的番茄果实成熟度分割方法，该方法包括： 对基于区域的掩膜卷积神经网络算法主干网络进行改进，并优化掩膜 分支损失函数，获得改进基于区域的掩膜卷积神经网络模型；根据不 同类别的番茄图片训练集对所述改进基于区域的掩膜卷积神经网络 模型进行训练，获得识别模型；获取番茄果实的果实图片，通过所述 识别模型对所述果实图片进行识别，获得所述果实图片的分割结果。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上 存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各 提供的番茄果实成熟度分割方法，该方法包括：对基于区域的掩膜卷 积神经网络算法主干网络进行改进，并优化掩膜分支损失函数，获得 改进基于区域的掩膜卷积神经网络模型；根据不同类别的番茄图片训 练集对所述改进基于区域的掩膜卷积神经网络模型进行训练，获得识 别模型；获取番茄果实的果实图片，通过所述识别模型对所述果实图 片进行识别，获得所述果实图片的分割结果。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部 件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的 部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也 可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或 者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付 出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解 到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然 也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现 有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软 件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光 盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机， 服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所 述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而 非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领 域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技 术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修 改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方 案的精神和范围。

Claims (10)

1.一种番茄果实成熟度分割方法，其特征在于，包括：
对基于区域的掩膜卷积神经网络算法主干网络进行改进，并优化掩膜分支损失函数，获得改进基于区域的掩膜卷积神经网络模型；
根据不同类别的番茄图片训练集对所述改进基于区域的掩膜卷积神经网络模型进行训练，获得识别模型；
获取番茄果实的果实图片，通过所述识别模型对所述果实图片进行识别，获得所述果实图片的分割结果。
2.根据权利要求1所述的番茄果实成熟度分割方法，其特征在于，所述对基于区域的掩膜卷积神经网络算法主干网络进行改进，并优化掩膜分支损失函数，获得改进基于区域的掩膜卷积神经网络模型的步骤，具体包括：
对基于区域的掩膜卷积神经网络算法主干网络ResNet50/101中一个或多个残差网络进行特征融合，对梯度流分割，通过不同路径传播，并优化掩膜分支损失函数，获得改进基于区域的掩膜卷积神经网络模型。
3.根据权利要求2所述的番茄果实成熟度分割方法，其特征在于，所述对基于区域的掩膜卷积神经网络算法主干网络ResNet50/101中一个或多个残差网络进行特征融合，对梯度流分割，通过不同路径传播，并优化掩膜分支损失函数，获得改进基于区域的掩膜卷积神经网络模型的步骤，具体包括：
对基于区域的掩膜卷积神经网络算法主干网络ResNet50/101中一个或多个残差网络采用分层特征融合机制，通过不断的与多个残差结构跨阶段连接，对梯度流进行分割，通过不同路径传播，并优化掩膜分支损失函数，获得改进基于区域的掩膜卷积神经网络模型。
4.根据权利要求2所述的番茄果实成熟度分割方法，其特征在于，所述对基于区域的掩膜卷积神经网络算法主干网络ResNet50/101中一个或多个残差网络采用分层特征融合机制，通过不断的与多个残差结构跨阶段连接，对梯度流进行分割的步骤，具体包括：
对基于区域的掩膜卷积神经网络算法主干网络ResNet50/101中基础层拆分成两部分，一部分进行卷积操作，另一部分卷积和残差结构卷积操作的结果进行级联，利用线性整流激活函数计算，得到的结果再继续进行拆分融合，与下一个残差模块进行级联，重复上次步骤，直至最终输出结果，对梯度流进行分割。
5.根据权利要求1-4中任一项所述的番茄果实成熟度分割方法，其特征在于，所述优化掩膜分支损失函数，具体包括：
基于交叉熵损失为每个类别增加一个权重因子，获得带权交叉熵损失函数；
根据所述带权交叉熵损失函数计算掩膜损失，获得优化掩膜分支损失函数。
6.根据权利要求1-4中任一项所述的番茄果实成熟度分割方法，其特征在于，所述根据不同类别的番茄图片训练集对所述改进基于区域的掩膜卷积神经网络模型进行训练，获得识别模型，具体包括：
通过所述改进基于区域的掩膜卷积神经网络模型的骨干网络采用CSP-ResNet50和CSP-ResNet101对不同类别的番茄图片训练集进行特征提取，根据提取的特征采用COCO预训练模型权重在图像处理单元上训练，获得识别模型。
7.根据权利要求1-4中任一项所述的番茄果实成熟度分割方法，其特征在于，所述根据不同类别的番茄图片训练集对所述改进基于区域的掩膜卷积神经网络模型进行训练，获得识别模型的步骤之后，还包括：
获取所述识别模型预测为正的正样本、预测为正的负样本、预测为负的正样本；
根据所述正的正样本、所述正的负样本和所述负的正样本，计算所述识别模型的准确率和召回率；
根据所述准确率和所述召回率计算所述识别模型对每一类别番茄图片分割的平均精度；
计算出的每一类的所述平均精度求平均值，获得所述识别模型的平均精度均值；
在所述平均精度均值满足预设取值范围时，执行所述获取番茄果实的果实图片，通过所述识别模型对所述果实图片进行识别，获得所述果实图片的分割结果的步骤。
8.根据权利要求1-4中任一项所述的番茄果实成熟度分割方法，其特征在于，不同类别的番茄图片包括绿熟期番茄、半熟期番茄、成熟期番茄以及背景的番茄图片；
所述获取番茄果实的果实图片，通过所述识别模型对所述果实图片进行识别，获得所述果实图片的分割结果的步骤之后，还包括：
对所述分割结果为成熟期番茄的果实进行采摘。
9.一种采摘机器人，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-8任一项所述番茄果实成熟度分割方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-8任一项所述番茄果实成熟度分割方法的步骤。
CN202011446794.6A 2020-12-08 2020-12-08 番茄果实成熟度分割方法及采摘机器人 Pending CN112580646A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011446794.6A CN112580646A (zh) 2020-12-08 2020-12-08 番茄果实成熟度分割方法及采摘机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011446794.6A CN112580646A (zh) 2020-12-08 2020-12-08 番茄果实成熟度分割方法及采摘机器人

Publications (1)

Publication Number Publication Date
CN112580646A true CN112580646A (zh) 2021-03-30

Family

ID=75130913

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011446794.6A Pending CN112580646A (zh) 2020-12-08 2020-12-08 番茄果实成熟度分割方法及采摘机器人

Country Status (1)

Country Link
CN (1) CN112580646A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113932712A (zh) * 2021-10-13 2022-01-14 南开大学 一种基于深度相机和关键点的瓜果类蔬菜尺寸测量方法
CN113989594A (zh) * 2021-11-03 2022-01-28 中国农业科学院农业信息研究所 基于货架期预测和成熟度判别的番茄采摘装置及其使用方法
CN114724107A (zh) * 2022-03-21 2022-07-08 北京卓视智通科技有限责任公司 一种图像检测方法、装置、设备及介质
CN116665070A (zh) * 2023-05-26 2023-08-29 华中师范大学 融合跳跃网络与Mask R-CNN模型的梯田遥感识别方法
CN116935070A (zh) * 2023-09-19 2023-10-24 北京市农林科学院智能装备技术研究中心 果串采摘机器人采摘目标建模方法
CN117670755A (zh) * 2024-01-31 2024-03-08 四川泓宝润业工程技术有限公司 一种吊钩防脱装置检测方法、装置、存储介质及电子设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104408407A (zh) * 2014-11-05 2015-03-11 江苏大学 苹果采摘机器人的夜间识别方法
CN107451602A (zh) * 2017-07-06 2017-12-08 浙江工业大学 一种基于深度学习的果蔬检测方法
CN109640620A (zh) * 2016-08-18 2019-04-16 泰维先进技术有限公司 用于种植园农业任务管理和数据收集的系统和方法
CN109711325A (zh) * 2018-12-25 2019-05-03 华南农业大学 一种芒果采摘点识别方法
CN110599507A (zh) * 2018-06-13 2019-12-20 中国农业大学 一种番茄识别定位方法及系统
CN111444749A (zh) * 2019-01-17 2020-07-24 杭州海康威视数字技术股份有限公司 路面导向标志的识别方法、装置及存储介质
CN111461127A (zh) * 2020-03-30 2020-07-28 华南理工大学 基于一阶段目标检测框架的实例分割方法
CN111602517A (zh) * 2020-05-28 2020-09-01 华南农业大学 一种串型水果分布式视觉主动感知方法及其应用
US20200320748A1 (en) * 2017-10-24 2020-10-08 L'oreal System and method for image processing using deep neural networks
CN111832406A (zh) * 2020-06-05 2020-10-27 中国科学院计算技术研究所 一种长尾目标检测方法与系统
CN111862096A (zh) * 2020-09-23 2020-10-30 平安科技（深圳）有限公司 图像分割方法、装置、电子设备及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104408407A (zh) * 2014-11-05 2015-03-11 江苏大学 苹果采摘机器人的夜间识别方法
CN109640620A (zh) * 2016-08-18 2019-04-16 泰维先进技术有限公司 用于种植园农业任务管理和数据收集的系统和方法
CN107451602A (zh) * 2017-07-06 2017-12-08 浙江工业大学 一种基于深度学习的果蔬检测方法
US20200320748A1 (en) * 2017-10-24 2020-10-08 L'oreal System and method for image processing using deep neural networks
CN110599507A (zh) * 2018-06-13 2019-12-20 中国农业大学 一种番茄识别定位方法及系统
CN109711325A (zh) * 2018-12-25 2019-05-03 华南农业大学 一种芒果采摘点识别方法
CN111444749A (zh) * 2019-01-17 2020-07-24 杭州海康威视数字技术股份有限公司 路面导向标志的识别方法、装置及存储介质
CN111461127A (zh) * 2020-03-30 2020-07-28 华南理工大学 基于一阶段目标检测框架的实例分割方法
CN111602517A (zh) * 2020-05-28 2020-09-01 华南农业大学 一种串型水果分布式视觉主动感知方法及其应用
CN111832406A (zh) * 2020-06-05 2020-10-27 中国科学院计算技术研究所 一种长尾目标检测方法与系统
CN111862096A (zh) * 2020-09-23 2020-10-30 平安科技（深圳）有限公司 图像分割方法、装置、电子设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHIEN-YAO WANG等: ""CSPNet: A New Backbone that can Enhance Learning Capability of CNN"", 《ARXIV:1911.11929》 *
Y. -P. HUANG 等: ""Using Fuzzy Mask R-CNN Model to Automatically Identify Tomato Ripeness"", 《 IEEE 》 *
吴止锾 等: ""类别非均衡遥感图像语义分割的全卷积网络方法"", 《光学学报》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113932712A (zh) * 2021-10-13 2022-01-14 南开大学 一种基于深度相机和关键点的瓜果类蔬菜尺寸测量方法
CN113989594A (zh) * 2021-11-03 2022-01-28 中国农业科学院农业信息研究所 基于货架期预测和成熟度判别的番茄采摘装置及其使用方法
CN114724107A (zh) * 2022-03-21 2022-07-08 北京卓视智通科技有限责任公司 一种图像检测方法、装置、设备及介质
CN114724107B (zh) * 2022-03-21 2023-09-01 北京卓视智通科技有限责任公司 一种图像检测方法、装置、设备及介质
CN116665070A (zh) * 2023-05-26 2023-08-29 华中师范大学 融合跳跃网络与Mask R-CNN模型的梯田遥感识别方法
CN116935070A (zh) * 2023-09-19 2023-10-24 北京市农林科学院智能装备技术研究中心 果串采摘机器人采摘目标建模方法
CN116935070B (zh) * 2023-09-19 2023-12-26 北京市农林科学院智能装备技术研究中心 果串采摘机器人采摘目标建模方法
CN117670755A (zh) * 2024-01-31 2024-03-08 四川泓宝润业工程技术有限公司 一种吊钩防脱装置检测方法、装置、存储介质及电子设备
CN117670755B (zh) * 2024-01-31 2024-04-26 四川泓宝润业工程技术有限公司 一种吊钩防脱装置检测方法、装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
CN112580646A (zh) 番茄果实成熟度分割方法及采摘机器人
CN110533084A (zh) 一种基于自注意力机制的多尺度目标检测方法
CN107038221A (zh) 一种基于语义信息引导的视频内容描述方法
CN109410239A (zh) 一种基于条件生成对抗网络的文本图像超分辨率重建方法
CN107563381A (zh) 基于全卷积网络的多特征融合的目标检测方法
CN107092926A (zh) 基于深度学习的服务机器人物体识别算法
CN110287882A (zh) 一种基于深度学习的大菊品种图像识别方法
CN112395905A (zh) 一种森林病虫害实时检测方法、系统及模型建立方法
CN110210577A (zh) 一种针对密集鸟群的深度学习以及识别方法
CN111666897A (zh) 基于卷积神经网络的斑石鲷个体识别方法
CN112990103A (zh) 一种基于机器视觉的串采二次定位方法
CN115631462A (zh) 基于am-yolox的草莓病虫害检测方法及系统
Ma et al. Using an improved lightweight YOLOv8 model for real-time detection of multi-stage apple fruit in complex orchard environments
CN111626133A (zh) 基于深度学习和无人机航拍的松材线虫病树识别方法
CN116152198A (zh) 一种基于Wave-SubNet轻量级模型的番茄叶斑病识别方法
Zhang et al. Verification of improved yolox model in detection of greenhouse crop organs: Considering tomato as example
CN115984698A (zh) 一种基于改进YOLOv5的荔枝果实生长期识别方法
Zhang et al. Canopy segmentation using ResNet for mechanical harvesting of apples
CN111282281B (zh) 图像处理方法及装置、电子设备和计算机可读存储介质
Wang et al. A transformer-based mask R-CNN for tomato detection and segmentation
Zheng et al. Single shot multibox detector for urban plantation single tree detection and location with high-resolution remote sensing imagery
CN114445691A (zh) 模型训练方法、装置、电子设备及存储介质
CN108428234A (zh) 基于图像分割结果评价的交互式分割性能优化方法
CN112766134A (zh) 一种强化类间区分的表情识别方法
Yan et al. Identification and Location Method of Cherry Tomato Picking Point Based on Si-YOLO

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210330

RJ01 Rejection of invention patent application after publication