CN111507967A - 一种自然果园场景下的芒果高精度检测方法 - Google Patents

一种自然果园场景下的芒果高精度检测方法 Download PDF

Info

Publication number
CN111507967A
CN111507967A CN202010306354.4A CN202010306354A CN111507967A CN 111507967 A CN111507967 A CN 111507967A CN 202010306354 A CN202010306354 A CN 202010306354A CN 111507967 A CN111507967 A CN 111507967A
Authority
CN
China
Prior art keywords
iou
boxiou
mango
branch
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010306354.4A
Other languages
English (en)
Other versions
CN111507967B (zh
Inventor
薛月菊
陈畅新
涂淑琴
甘海明
王卫星
李诗梅
黄思民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Agricultural University
Original Assignee
South China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Agricultural University filed Critical South China Agricultural University
Priority to CN202010306354.4A priority Critical patent/CN111507967B/zh
Publication of CN111507967A publication Critical patent/CN111507967A/zh
Application granted granted Critical
Publication of CN111507967B publication Critical patent/CN111507967B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明公开了一种自然果园场景下的芒果高精度检测方法，包括：建立自然场景下的芒果数据库；构建基于Mask Scoring R‑CNN的初步网络结构；在ROI Align层后增加一个并行训练的BoxIOU分支，为RPN输出的候选框预测IOU得分；测试阶段BoxIOU分支预测的IOU得分与相应的分类置信度进行耦合，再将耦合后的分值替代原本的分类置信度作为后处理阶段的非极大抑制的排列依据；利用训练后的BoxIOU MangoNet进行芒果果实的检测和分割。该方法为果实目标筛选出定位更准确的检测框，简单有效，能够解决自然果园场景下受复杂环境干扰的检测分割难题。

Description

一种自然果园场景下的芒果高精度检测方法
技术领域
本发明涉及农业计算机视觉的图像检测和分割技术领域，具体涉及了一种基于Mask Scoring R-CNN的自然果园场景下的芒果高精度检测方法。
背景技术
芒果是人们日常生活中常见的水果之一。近年来，随着世界芒果栽培面积不断扩大，产量逐年上升，芒果已成为世界五大水果之一。其中，中国是世界芒果收获面积第二大的国家，占17％。芒果在我国果业发展中占有重要地位。但农业劳动力日益紧缺，亟待提高果园的机械自动化水平。而果实的实例分割是果园机械自动化的重要前提。
在水深度学习技术的兴起给各行各业都带来了较大的变革，但农业领域的相关研究还是相对较少。果园的机械自动化管理依赖于农业机器人对果树或果实的自动识别，其中包括目标检测和目标分割等，而目前采用较多的方法仍旧是基于传统的机器学习方法，这类方法通常鲁棒性不强，难以适应自然果园环境下的光照变化、枝干遮挡、果实大小和形状不一等多种复杂场景。
公开号CN109684941A公开了一种基于MATLAB图像处理的荔枝果实采摘区域的划分方法。公开号CN109800619A公开了一种成熟期的柑橘果实图像识别方法。公开号CN108335308A公开了一种橙子自动检测方法、系统以及机器人智能零售终端，但其未能处理遮挡情况下的橙子。上述发明基于传统的机器学习方法，受限于果实目标的特征提取过程，容易受到自然场景中复杂环境的干扰，且所述方法难以迁移运用到其他类别的水果上。公开号CN110348503A公开了一种基于卷积神经网络的苹果品质检测方法。公开号CN110548699A公开了一种基于双目视觉和多光谱检测技术的菠萝自动分级分拣方法及装置。公开号CN110148122A公开了一种基于深度学习的苹果外观质量分级方法。公开号CN110619632A公开了一种基于Mask R CNN的芒果实例对抗分割方法，将对抗网络的思想和Mask R-CNN融合在一起，提高了芒果果实的检测及分割精度。但其在自然果园环境下进行果实目标的检测仍旧存在一个弊端：背光角度或枝干枝叶的干扰同样给上述文献中，基于卷积神经网络的精确特征提取带来了困难，导致模型筛选的检测框定位不够准确。
发明内容
鉴于上述问题，本发明提供一种自然果园场景下的芒果高精度检测方法，基于Mask Scoring R-CNN对自然果园环境下的芒果进行检测，能够解决自然果园场景下受复杂环境干扰的检测分割难题。
本发明实施例提供一种自然果园场景下的芒果高精度检测方法，包括：
S1、建立自然场景下的芒果数据库；
S2、构建基于Mask Scoring R-CNN的初步网络结构；
S3、在所述初步网络结构的基础上构建BoxIOU MangoNet作为芒果的检测及分割网络：在ROI Align层后增加一个并行训练的BoxIOU分支，为RPN输出的候选框预测IOU得分；
S4、测试阶段BoxIOU分支预测的IOU得分与相应的分类置信度进行耦合，再将耦合后的分值替代原本的分类置信度作为后处理阶段的非极大抑制的排列依据；
S5、利用训练后的BoxIOU MangoNet进行芒果果实的检测和分割。
在一个实施例中，所述步骤S1包括：
S11、采集果园中未成熟的芒果果实彩色图像，所述彩色图像包括枝叶干扰、果实互相遮挡或表皮光照分布不均的芒果图像；
S12、为采集的彩色图像中的每个芒果标注标签信息；
S13、将标注后的彩色图像数据按照预设比例构建训练集、验证集和测试集；
S14、对所述训练集中的彩色图像进行亮度调节、水平翻转、垂直翻转和对比度增强四种操作扩增数据。
在一个实施例中，所述步骤S2，包括：
构建Mask Scoring R-CNN的初步网络结构，其中基础特征提取网络选择ResNet50+FPN；相应地设定RPN输出的候选框个数、网络输出维度、初始学习率及迭代次数；每迭代预设次数保存一个模型。
在一个实施例中，所述步骤S3，包括：
S31、在ROI Align层后增加一个并行训练的BoxIOU分支；所述BoxIOU分支结构为三层全连接层，其中前两层的输出维度相同，第三层的输出维度为类别数；对全连接层的参数进行高斯初始化；
S32、训练BoxIOU分支的监督信号为RPN输出的候选框与对应标注框的IOU；分支的输入为ROI Align后的7×7特征图，输出为背景类和芒果类的预测IOU得分；损失函数采用公式(1)所示的SmoothL1；
Figure BDA0002455920790000031
(1)式中，IOUpred表示BoxIOU分支预测的IOU得分，IOUgt表示候选框与真实标注框的交并比；
S33、BoxIOU分支在训练过程中的优化权重初始值，随着训练迭代次数的增加而逐步增大到预设值。
在一个实施例中，所述步骤S32中所述监督信号包含2维：背景类和芒果类；其中背景类等于1减去芒果类真实IOU后所得的分值，作为背景类的监督信号；
所述芒果类真实IOU具体获取方式为：求取所有RPN输出的候选框与同一张图像所有真实标注框的IOU，并为每个候选框保留一个最高的IOU得分，该得分所对应的标注框为候选框所对应的真实框。
在一个实施例中，所述步骤S33中BoxIOU分支优化权重逐步增大的策略为：每迭代训练固定次数优化权重增大相同数值；直至优化权重增大到预设值。
在一个实施例中，所述步骤S4中测试阶段BoxIOU分支预测的IOU得分与相应的分类置信度进行耦合的方式采用加权求和，其中为IOU得分分配一个耦合权重因子α，分类置信度的耦合权重因子为(1-α)；
SNMS＝α*SIOU+(1-α)*SClass (2)
(2)式中，SNMS表示耦合分值；SIOU表示IOU得分，SClass表示分类置信度。
本发明实施例提供的上述技术方案的有益效果至少包括：
本发明实施例提供的一种自然果园场景下的芒果高精度检测方法：
1、在ROI Align层后增加一个并行训练的BoxIOU分支，目的是为RPN输出的候选框预测IOU得分。测试阶段将候选框的预测IOU得分和分类得分进行耦合，作为后处理阶段的非极大抑制的排列依据，最终为果实目标筛选出定位更准确的检测框。该方法简单有效，能够解决自然果园场景下受复杂环境干扰的检测分割难题。
2、BoxIOU分支由一个由三层全连接层构成，为模型预测的候选框进行定位精确度的打分。其采用RPN输出的候选框进行训练；该分支的优化权重初始值，随着训练过程再逐步增大到预设值；该分支与其他分支的损失合并在一起进行并行训练，这能够使前面的共享卷积层提取出更具判别性的特征。
3、测试阶段BoxIOU分支为每个候选框预测的IOU得分与相应的分类置信度进行加权求和，耦合后的分值替代原本的分类置信度作为后处理阶段的非极大抑制的排列依据，能够筛选出更为精确的候选框，进一步提高检测和分割效果。
4、相比于公开号CN110619632A中基于Mask R-CNN的芒果实例对抗分割方法，其主要将对抗网络的思想和Mask R-CNN目标检测框架融合在一起，把原始的Mask R-CNN视为生成掩膜的网络，另外构建一个判别网络。以二人博弈的训练方式来接近优化的纳什平衡点，从而提高模型对芒果的检测和分割精度。但其在光照不均、枝叶遮挡的干扰下仍旧存在检测框定位不准确的问题。而本发明把检测框的定位优化作为出发点，针对目标检测框架中非极大抑制过程采用分类置信度来对候选框进行排序的问题，提出了耦合IOU得分和分类置信度的处理方式，本发明的方法仅需额外增加一个BoxIOU分支结构，最终在光照不均和枝干枝叶遮挡测试集上的检测和分割结果都更优。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例提供的自然果园场景下的芒果高精度检测方法流程图；
图2为本发明实施例提供的步骤S1的流程图；
图3为本发明实施例提供的BoxIOU MangoNet网络整体结构图；
图4为本发明实施例提供的分类置信度和预测IOU对应的候选框定位情况示意图；
图5为本发明实施例提供的基于BoxIOU MangoNet的芒果果实检测及分割结果示意图；
图6为本发明与对比文件在光照不均测试集的模型性能对比示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
参照图1所示，本发明实施例提供的自然果园场景下的芒果高精度检测方法，包括：S1～S5；
S1、建立自然场景下的芒果数据库；
S2、构建基于Mask Scoring R-CNN的初步网络结构；
S3、在所述初步网络结构的基础上构建BoxIOU MangoNet作为芒果的检测及分割网络：在ROI Align层后增加一个并行训练的BoxIOU分支，为RPN输出的候选框预测IOU得分；
S4、测试阶段BoxIOU分支预测的IOU得分与相应的分类置信度进行耦合，再将耦合后的分值替代原本的分类置信度作为后处理阶段的非极大抑制的排列依据；
S5、利用训练后的BoxIOU MangoNet进行芒果果实的检测和分割。
本实施例中，在ROI Align层后增加一个并行训练的BoxIOU分支，目的是为RPN输出的候选框预测IOU得分。测试阶段将候选框的预测IOU得分和分类得分进行耦合，作为后处理阶段的非极大抑制的排列依据，最终为果实目标筛选出定位更准确的检测框。该方法简单有效，能够解决自然果园场景下受复杂环境干扰的检测分割难题。
下面分别对上述各个步骤进行详细的说明。
参照图2所示，上述步骤S1包括：
S11、采集果园中未成熟的芒果果实彩色图像，所述彩色图像包括枝叶干扰、果实互相遮挡或表皮光照分布不均的芒果图像，可确保数据的多样性；
S12、为采集的彩色图像中的每个芒果标注标签信息；得到相应的标签文件；
S13、将标注后的彩色图像数据按照预设比例构建训练集、验证集和测试集；
S14、对所述训练集中的彩色图像进行亮度调节、水平翻转、垂直翻转和对比度增强四种操作扩增数据。
本实施例中，对上述三种不同情况的芒果数据库分别进行随机采样，比如可按5:1:2的比例，构建相应的训练集、验证集和测试集；并对训练集中的图像进行亮度调节、水平翻转、垂直翻转和对比度增强操作进行数据扩增。
上述步骤S2中构建基于Mask Scoring R-CNN的初步网络结构；其中特征提取网络选择ResNet50+FPN；比如：RPN输出的候选框保留512个；分类分支的全连接层输出维度从81更改为2，以对应背景类和芒果类；训练的初始学习率为0.005，衰减因子为0.1，迭代到3万次和4万次时进行学习率衰减，最大的迭代次数为5万次，每迭代2500次保存一个模型到硬盘中；
上述步骤S3中在Mask Scoring R-CNN的初步网络结构的基础上构建BoxIOUMangoNet作为芒果的检测及分割网络：参照图3所示；在ROI Align层后增加一个并行训练的BoxIOU分支，目的是为RPN输出的候选框预测IOU得分；
具体地包括如下3个步骤：
S31、添加的BoxIOU分支结构为三层全连接层，其中前两层的输出维度为1024，第三层的输出维度为类别数2；对全连接层的参数进行高斯初始化，其中均值为0，标准差为0.01；
S32、训练BoxIOU分支的监督信号为RPN输出的候选框与对应标注框的IOU；分支的输入为ROI Align后的7×7特征图，输出为背景类和芒果类的预测IOU得分；损失函数采用公式(1)所示的SmoothL1；
Figure BDA0002455920790000071
(1)式中，IOUpred表示BoxIOU分支预测的IOU得分，IOUgt表示候选框与真实标注框的交并比；
其中，步骤S32中的监督信号包含2维：背景类和芒果类；其中背景类等于1减去芒果类真实IOU后所得的分值，作为背景类的监督信号。上述的芒果类真实IOU具体获取方式为：求取512个RPN输出的候选框与同一张图像所有真实标注框的IOU，并为每个候选框保留一个最高的IOU得分，该得分所对应的标注框即认为是候选框所对应的真实框。
S33、BoxIOU分支在训练过程中的优化权重，比如初始化为0.1，随着训练迭代次数的增加而逐步增大到1。这是由于训练初期RPN预测的较多候选框与真实框的IOU偏小，此时训练的正负样本不均衡，因此训练初期侧重于回归检测框本身。BoxIOU分支优化权重逐步增大的策略为：每迭代训练5000次优化权重增大0.3，迭代到15000次时优化权重增大到1，此时RPN能够预测出更多与真实框的IOU大于0.5的候选框。
上述步骤S4测试阶段BoxIOU分支预测的IOU得分与相应的分类置信度进行耦合的方式采用加权求和，其中为IOU得分分配一个耦合权重因子α，分类置信度的耦合权重因子为(1-α)；
SNMS＝α*SIOU+(1-α)*SClass (2)
(2)式中，SNMS表示耦合分值；SIOU表示IOU得分，SClass表示分类置信度。
比如耦合权重因子IOU得分的耦合权重因子为0.6，分类置信度的耦合权重因子为0.4，公式(2)则转换为；
SNMS＝0.6*SIOU+0.4*SClass
本实施例中，耦合后的分值替代原本的分类置信度作为后处理阶段的非极大抑制的排列依据，可参照图4所示，能够筛选出更为精确的候选框，进一步提高检测和分割效果。
最后，步骤S5利用已训练好的BoxIOU MangoNet进行芒果果实的检测和分割；在验证集上测试保存的各个模型性能，从中挑选最佳的模型进行测试。由于添加的BoxIOU分支结构简单，对于单一的候选框运算量仅为0.0138G FLOPs，仅占整个ROI分支运算量的1.51％，因此最终在训练和测试阶段都几乎没有增加耗时。
在测试集上进行芒果的检测和分割，并使用COCO评价指标进行检测和分割的结果统计；相应的可视化结果见图5。
为了进一步说明本发明提供的自然果园场景下的芒果高精度检测方法，列举一个具体实施例：
本实施例的所有数据皆采集于自然芒果园中，来源于广东省云浮市、肇庆市和湛江市三市内。主要使用高清摄像手机和佳能EOS800D单反相机，距离树冠1-2米处拍摄未成熟的芒果果实RGB彩色图像，再剔除掉部分由于相机抖动或拍摄模糊的图像，最终保留1608张。
三个不同地区的果园环境各不相同，采集到的图像数据包含了多种曝光、背光和枝干、枝叶遮挡的多种情况，且在拍摄时的天气也有所不同。拍摄的芒果种类包括台农1号、澳芒和椰香芒，种类不同导致芒果的形状和大小都存在一定的差异，十足的多样性涵盖了真实芒果果园存在的大部分情况，因而在此数据集上所作的实验具有更强的可行性。
将总数据集划分为枝干枝叶遮挡、表皮光照不均两个类别，分别按5：1：2的比例进行随机抽样，最终训练集包含1008张图像，验证集包含200张，测试集400张。对训练集进行亮度调节、水平翻转、垂直翻转和对比度增强操作进行数据扩增，其中亮度调节包含增强和减弱两种操作，最终训练集总图像数为6048张。
实验基于Ubuntu16.04操作系统，采用32GB内存、Nvidia GTX 980Ti型号的GPU、
Figure BDA0002455920790000091
Xeon(R)CPU E3-1245 v3@3.40GHz处理器的硬件平台。使用Python3.6作为编程语言和PyTorch1.0深度学习框架来实现本发明的自然果园场景下的芒果高精度检测方法，最终结果采用COCO评价指标进行统计。
1、训练BoxIOU MangoNet
按上述实施例中的步骤搭建好BoxIOU MangoNet，再固定训练的随机初始种子数，将训练的初始学习率设置为0.005，衰减因子为0.1，迭代到3万次和4万次时进行学习率衰减，最大的迭代次数为5万次，每迭代2500次保存一个模型到硬盘中。
根据COCO数据集的评价标准，在验证集上统计检测任务的结果，从上述保存的模型中选取检测AP最高的模型作为最终的测试模型；并在该模型上测试多种IOU得分与分类置信度的耦合方式，如表1所示，表中左侧的“+”表示采用加权求和的方式进行耦合，“*”表示直接对分类置信度和IOU得分进行相乘，“Not IOU”表示不采用BoxIOU分支进行训练。
表1IOU得分与分类置信度的耦合方式对比结果
Figure BDA0002455920790000101
根据表1的实验结果，最终选择0.6作为IOU得分的耦合因子，0.4作为分类置信度的耦合因子，对二者进行加权得到最终的非极大抑制排列依据，称此方法为耦合-非极大抑制，Couple-NMS(C-NMS)。
由于添加的BoxIOU分支结构简单，对于单一的候选框运算量仅为0.0138G FLOPs，仅占整个ROI分支运算量的1.51％，如表2所示；因此在训练和测试阶段都几乎没有增加耗时。最终实验结果表明：本发明改进的模型效果提升明显，尤其是果实目标受环境干扰严重而导致特征难以提取的情况。
表2单一候选框的ROI分支运算量统计表
ROI分支 运算量FLOPs 占比
回归+分类分支 0.0139G 1.51％
分割分支 0.5144G 56.15％
MaskIOU分支 0.3741G 40.83％
BoxIOU分支 0.0138G 1.51％
2、测试BoxIOU MangoNet
根据COCO数据集的评价标准，分别在总测试集上和划分的枝叶遮挡、光照不均以及果实互相遮挡的测试集上进行检测和分割的结果统计，将BoxIOU MangoNet(本发明)与Mask Scoring R-CNN(MS R-CNN)进行对比。表3展示了总测试集的对比结果，其中BoxIOU表示该分支参与训练，C-NMS表示对预测的IOU得分和分类置信度进行耦合。
表3总测试集的统计结果
Figure BDA0002455920790000111
表4表皮光照不均的统计结果
Figure BDA0002455920790000112
表5果实重叠的统计结果
Figure BDA0002455920790000113
表6枝干枝叶遮挡的统计结果
Figure BDA0002455920790000121
表4、5、6具体展示了表皮光照不均、果实重叠以及枝干枝叶遮挡测试集的统计结果。测试集中的芒果果实目标大都受到环境的干扰影响，导致计算出来的分类置信度和框的定位准确度不匹配，从而在非极大抑制的过程中一些定位准确但分类置信度低的框会被定位不准确但分类置信度高的框给抑制掉，具体如图4所示：本发明在测试阶段从回归分支修正后的候选框中针对同一芒果目标筛选出两个框进行对比：其中一个是分类置信度最高的候选框，另一个则是预测IOU最高的候选框；若采用分类置信度进行非极大抑制，那么对于同一芒果目标的两个候选框，分类置信度更高的框最终被保留了下来，但显然其定位的准确度不如另一个框，而预测的IOU得分则展示了更准确的定位情况。
图5展示了基于BoxIOU MangoNet的芒果果实检测与分割的鲁棒性和准确性。本发明改进后的模型在处理自然果园场景下的多种复杂芒果图像时，相比于原始的MS R-CNN都有明显的性能提升，其中在光照不均测试集上的检测AP50达到了99％，AP75达到了96.1％。不仅如此，多任务并行的训练方式使共享卷积层的特征提取能力更强，准确的检测框也带来了更好的分割效果。
对比实施例：
本发明与公开号CN110619632A的一种基于Mask R-CNN的芒果实例对抗分割方法(以下简称对比文件)，在光照不均测试集、果实重叠测试集和枝干枝叶遮挡测试集上进行对比。
图6展示了光照不均测试集的对比情况，其中“GAN”表示对比文件所采用的方法。
实验结果表明芒果表皮光照不均的情况严重干扰了检测框的定位准确度。在添加了BoxIOU分支并进行C-NMS后，芒果的检测框定位情况有了显著的改善。不仅如此，多任务并行的训练方式使前面共享卷积层的特征提取能力更强，准确的检测框也带来了更好的分割效果。
表7果实重叠的统计结果
Figure BDA0002455920790000131
表8枝干枝叶遮挡的统计结果
Figure BDA0002455920790000132
表7、8展示了果实重叠和枝干枝叶遮挡测试集的实验对比结果，可见相比于原始的MS R-CNN，BoxIOU的改进算法都取得了较好的提升效果。在枝干枝叶遮挡测试集中，虽然AP指标得到结果要低于对比文件中融合对抗网络的方法，但其在AP75指标上都要略高于融合对抗网络的方法，这足以展示本发明BoxIOU分支和C-NMS的有效性。
本发明设计的BoxIOU分支结构简单，包含的运算量也较少，但由于全连接层存储的参数量较大，因此最终得到的模型大小会额外增加111.2M。而对比文件中融合对抗网络的方法，虽然稍微增加了训练耗时，但在测试阶段由于不需要调用对抗网络的模型，所以没有增加额外的测试时间，且其最终保存的模型也没有增加额外的内存占用。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (7)

1.一种自然果园场景下的芒果高精度检测方法，其特征在于，包括：
S1、建立自然场景下的芒果数据库；
S2、构建基于Mask Scoring R-CNN的初步网络结构；
S3、在所述初步网络结构的基础上构建BoxIOU MangoNet作为芒果的检测及分割网络：在ROIAlign层后增加一个并行训练的BoxIOU分支，为RPN输出的候选框预测IOU得分；
S4、测试阶段BoxIOU分支预测的IOU得分与相应的分类置信度进行耦合，再将耦合后的分值替代原本的分类置信度作为后处理阶段的非极大抑制的排列依据；
S5、利用训练后的BoxIOU MangoNet进行芒果果实的检测和分割。
2.如权利要求1所述的方法，其特征在于，所述步骤S1包括：
S11、采集果园中未成熟的芒果果实彩色图像，所述彩色图像包括枝叶干扰、果实互相遮挡或表皮光照分布不均的芒果图像；
S12、为采集的彩色图像中的每个芒果标注标签信息；
S13、将标注后的彩色图像数据按照预设比例构建训练集、验证集和测试集；
S14、对所述训练集中的彩色图像进行亮度调节、水平翻转、垂直翻转和对比度增强四种操作扩增数据。
3.如权利要求1所述的方法，其特征在于，所述步骤S2，包括：
构建Mask Scoring R-CNN的初步网络结构，其中基础特征提取网络选择ResNet50+FPN；相应地设定RPN输出的候选框个数、网络输出维度、初始学习率及迭代次数；每迭代预设次数保存一个模型。
4.如权利要求1所述的方法，其特征在于，所述步骤S3，包括：
S31、在ROIAlign层后增加一个并行训练的BoxIOU分支；所述BoxIOU分支结构为三层全连接层，其中前两层的输出维度相同，第三层的输出维度为类别数；对全连接层的参数进行高斯初始化；
S32、训练BoxIOU分支的监督信号为RPN输出的候选框与对应标注框的IOU；分支的输入为ROI Align后的7×7特征图，输出为背景类和芒果类的预测IOU得分；损失函数采用公式(1)所示的SmoothL1；
Figure FDA0002455920780000021
(1)式中，IOUpred表示BoxIOU分支预测的IOU得分，IOUgt表示候选框与真实标注框的交并比；
S33、BoxIOU分支在训练过程中的优化权重初始值，随着训练迭代次数的增加而逐步增大到预设值。
5.如权利要求4所述的方法，其特征在于，所述步骤S32中所述监督信号包含2维：背景类和芒果类；其中背景类等于1减去芒果类真实IOU后所得的分值，作为背景类的监督信号；
所述芒果类真实IOU具体获取方式为：求取所有RPN输出的候选框与同一张图像所有真实标注框的IOU，并为每个候选框保留一个最高的IOU得分，该得分所对应的标注框为候选框所对应的真实框。
6.如权利要求4所述的方法，其特征在于，所述步骤S33中BoxIOU分支优化权重逐步增大的策略为：每迭代训练固定次数优化权重增大相同数值；直至优化权重增大到预设值。
7.如权利要求1所述的方法，其特征在于，所述步骤S4中测试阶段BoxIOU分支预测的IOU得分与相应的分类置信度进行耦合的方式采用加权求和，其中为IOU得分分配一个耦合权重因子α，分类置信度的耦合权重因子为(1-α)；
SNMS＝α*SIOU+(1-α)*SClass (2)
(2)式中，SNMS表示耦合分值；SIOU表示IOU得分，SClass表示分类置信度。
CN202010306354.4A 2020-04-17 2020-04-17 一种自然果园场景下的芒果高精度检测方法 Active CN111507967B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010306354.4A CN111507967B (zh) 2020-04-17 2020-04-17 一种自然果园场景下的芒果高精度检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010306354.4A CN111507967B (zh) 2020-04-17 2020-04-17 一种自然果园场景下的芒果高精度检测方法

Publications (2)

Publication Number Publication Date
CN111507967A true CN111507967A (zh) 2020-08-07
CN111507967B CN111507967B (zh) 2023-06-02

Family

ID=71877597

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010306354.4A Active CN111507967B (zh) 2020-04-17 2020-04-17 一种自然果园场景下的芒果高精度检测方法

Country Status (1)

Country Link
CN (1) CN111507967B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112149727A (zh) * 2020-09-22 2020-12-29 佛山科学技术学院 一种基于Mask R-CNN的青椒图像检测方法
CN112507950A (zh) * 2020-12-18 2021-03-16 中国科学院空天信息创新研究院 一种生成对抗式多任务多要素样本自动标注方法及装置
CN112802005A (zh) * 2021-02-07 2021-05-14 安徽工业大学 一种基于改进Mask RCNN的汽车表面擦伤检测方法
CN112966553A (zh) * 2021-02-02 2021-06-15 同济大学 基于孪生网络的强耦合目标跟踪方法、装置、介质及设备
CN113723833A (zh) * 2021-09-02 2021-11-30 湖南三乔林业有限公司 造林实绩质量评价方法、系统、终端设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711325A (zh) * 2018-12-25 2019-05-03 华南农业大学 一种芒果采摘点识别方法
CN110619632A (zh) * 2019-09-18 2019-12-27 华南农业大学 一种基于Mask R-CNN的芒果实例对抗分割方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711325A (zh) * 2018-12-25 2019-05-03 华南农业大学 一种芒果采摘点识别方法
CN110619632A (zh) * 2019-09-18 2019-12-27 华南农业大学 一种基于Mask R-CNN的芒果实例对抗分割方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112149727A (zh) * 2020-09-22 2020-12-29 佛山科学技术学院 一种基于Mask R-CNN的青椒图像检测方法
CN112507950A (zh) * 2020-12-18 2021-03-16 中国科学院空天信息创新研究院 一种生成对抗式多任务多要素样本自动标注方法及装置
CN112507950B (zh) * 2020-12-18 2021-09-03 中国科学院空天信息创新研究院 一种生成对抗式多任务多要素样本自动标注方法及装置
CN112966553A (zh) * 2021-02-02 2021-06-15 同济大学 基于孪生网络的强耦合目标跟踪方法、装置、介质及设备
CN112802005A (zh) * 2021-02-07 2021-05-14 安徽工业大学 一种基于改进Mask RCNN的汽车表面擦伤检测方法
CN113723833A (zh) * 2021-09-02 2021-11-30 湖南三乔林业有限公司 造林实绩质量评价方法、系统、终端设备及存储介质
CN113723833B (zh) * 2021-09-02 2024-03-29 湖南三乔林业有限公司 造林实绩质量评价方法、系统、终端设备及存储介质

Also Published As

Publication number Publication date
CN111507967B (zh) 2023-06-02

Similar Documents

Publication Publication Date Title
CN110619632B (zh) 一种基于Mask R-CNN的芒果实例对抗分割方法
CN111507967A (zh) 一种自然果园场景下的芒果高精度检测方法
Jia et al. Detection and segmentation of overlapped fruits based on optimized mask R-CNN application in apple harvesting robot
CN109711325B (zh) 一种芒果采摘点识别方法
CN108647652B (zh) 一种基于图像分类和目标检测的棉花发育期自动识别方法
CN105718945B (zh) 基于分水岭和神经网络的苹果采摘机器人夜间图像识别方法
CN114120037B (zh) 一种基于改进yolov5模型的发芽马铃薯图像识别方法
Wu et al. Detection and counting of banana bunches by integrating deep learning and classic image-processing algorithms
Wang Identification of crop diseases and insect pests based on deep learning
Zheng et al. Research on tomato detection in natural environment based on RC-YOLOv4
Das Choudhury et al. Automated stem angle determination for temporal plant phenotyping analysis
CN109977802A (zh) 强噪音背景下作物分类识别方法
CN111369498A (zh) 一种基于改进生成对抗网络的种苗生长势评估的数据增强方法
CN111798470A (zh) 一种应用于智能农业的农作物图像实体分割方法及系统
CN114693616A (zh) 一种基于改进目标检测模型与卷积神经网络的水稻病害检测方法、设备和介质
CN116129260A (zh) 基于深度学习的牧草图像识别方法
Liu et al. Development of a machine vision algorithm for recognition of peach fruit in a natural scene
CN115861686A (zh) 基于边缘深度学习的荔枝关键生长期识别检测方法及系统
Li et al. Strawberry R-CNN: Recognition and counting model of strawberry based on improved faster R-CNN
CN117132802A (zh) 一种田间小麦病虫害识别方法、装置及存储介质
CN116863452A (zh) 植物病害识别方法、存储介质和识别系统
Bortolotti et al. A computer vision system for in-field quality evaluation: Preliminary results on peach fruit
CN115147835A (zh) 一种基于改进RetinaNet的自然果园场景下的凤梨成熟度检测方法
CN114266975A (zh) 无人机遥感图像的荔枝果实检测与计数方法
CN113469224A (zh) 一种基于卷积神经网络与特征描述算子相融合的大米分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant