CN112651404A - 一种基于无锚框检测器的绿色果实高效分割方法及系统 - Google Patents
一种基于无锚框检测器的绿色果实高效分割方法及系统 Download PDFInfo
- Publication number
- CN112651404A CN112651404A CN202011527172.6A CN202011527172A CN112651404A CN 112651404 A CN112651404 A CN 112651404A CN 202011527172 A CN202011527172 A CN 202011527172A CN 112651404 A CN112651404 A CN 112651404A
- Authority
- CN
- China
- Prior art keywords
- fruit
- segmentation
- mask
- adopting
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 235000013399 edible fruits Nutrition 0.000 title claims abstract description 202
- 230000011218 segmentation Effects 0.000 title claims abstract description 124
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012549 training Methods 0.000 claims abstract description 36
- 238000002372 labelling Methods 0.000 claims abstract description 13
- 230000006870 function Effects 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 12
- 230000015654 memory Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 11
- 238000011156 evaluation Methods 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 2
- 230000004931 aggregating effect Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 15
- 238000005286 illumination Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 239000002420 orchard Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 235000011511 Diospyros Nutrition 0.000 description 3
- 244000236655 Diospyros kaki Species 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 235000012055 fruits and vegetables Nutrition 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000132456 Haplocarpha Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本公开提供了一种基于无锚框检测器的绿色果实高效分割方法及系统包括：步骤1：采集图像，对目标果实进行标注；步骤2：提取图像特征，并将多尺度特征进行融合；步骤3：预测果实置信度，并采用边框回归定位绿色果实；步骤4：采用全卷积网络实现果实掩膜分割；步骤5：采用MaskIoU分支校准预测掩膜质量；步骤6：采用训练集并通过损失函数迭代训练果实分割模型，输出最优果实分割模型；步骤7：采用训练好的最优果实分割模型分割目标果实。本公开的分割方法能够在保证精度的前提下大幅提升了模型的分割速度，识别不同种类的目标果实时不需要重新设计超参数，且适应绿色果实在同色系背景下存在的诸多干扰，满足采摘机器人视觉系统在各个方面的需求。
Description
技术领域
本公开属于农业机械领域，涉及果蔬采摘机器人视觉系统的绿色果实高效分割，具体涉及一种基于无锚框检测器的绿色果实高效分割方法及系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
智能采摘技术的发展对于适应现代化农业发展的需求及缓解果蔬产业的劳动力压力具有重要意义，其中，视觉系统分割果实的精度与速度将直接影响到机器运行时的采摘质量与效率。因此，研发一套高效的目标果实分割算法对推动智能采摘技术的发展具有重要意义。对于识别精度而言，其通常受到模型自身的特征提取能力及自然果园环境下各种干扰的影响，如遮挡、重叠、光照、同色系背景等因素，都会影响到模型对目标果实的特征提取；对于识别速度而言，其通常受到图像是否需要繁杂的处理过程、模型的计算复杂度等因素的影响，且这类方法一般伴随更多的计算与存储资源，对模型部署到实际应用时的功耗和稳定也是一个不小的挑战。
为解决以上问题，众多学者展开了广泛研究，较早期的研究成果主要基于色差法、K-means聚类、支持向量机、模糊C均值等方法，但该类方法容易被干扰，且不能实现端到端的分割流程，难以迁移至嵌入式移动设备。近期的研究成果大多基于深度学习及卷积神经网络来实现，虽然精度与鲁棒性有所提升，但模型复杂度、功耗等方面又面临新的挑战。
专利申请号为“CN202010458491.X”、名称为“一种基于稀疏卷积核的果实分割方法”的中国发明，通过分析果实图像内主要物体在不同颜色因子下的区分度，选择合适的颜色通道对图像进行重构，然后提出了一种元素间彼此间隔、互不相邻的稀疏卷积核构造方式并采用线性分类器确定稀疏卷积核内元素，最后采用稀疏卷积核对重构图像进行卷积运算，从而实现果实的分割。但是该专利中，颜色因子选取以及处理过程中浪费了果实分割的时间，降低了果实分割的效率。
专利申请号为“CN201510359242.4”、名称为“一种苹果采摘机器人目标果实快速跟踪识别方法”的中国发明，公开了图像分割、目标果实确定、识别区域提取、快速模板提取识别、目标果实定位的方案，在快速模板提取识别时，后帧图像通过利用前帧图像目标果实的质心坐标及自身大小来合理缩小图像处理区域从而达到减小图像识别时间的目的。但是由于自然果园环境下各种干扰的影响，如遮挡、重叠、光照、同色系背景等因素，导致果实质心坐标并不准确。因此，该专利的识别精度上并不高。
针对现有技术中存在的不足，本发明借助深度学习，基于无锚框检测器，在保证精度与鲁棒性的前提下，以提升模型分割速度、缩减模型复杂度及计算存储资源为目标，提出一种效率与准确率均能满足采摘机器人部署到实际应用的绿色果实高效分割方法。
发明内容
本公开为了解决上述问题，提出了一种基于无锚框检测器的绿色果实高效分割方法及系统，本公开解决自然环境下各种干扰对绿色果实识别的影响，该方法精度高、速度快、抗干扰能力强、对于分割不同种类果实时的适应性好，能够满足果实采摘机器人的视觉系统在实际作业时各个方面的需求。
根据一些实施例，本公开采用如下技术方案：
第一方面，本公开提供了一种基于无锚框检测器的绿色果实高效分割方法；
一种基于无锚框检测器的绿色果实高效分割方法，包括：
步骤1：采集图像，对目标果实进行标注；
步骤2：提取图像特征，并将多尺度特征进行融合；
步骤3：预测果实置信度，并采用边框回归定位绿色果实；
步骤4：采用全卷积网络实现果实掩膜分割；
步骤5：采用MaskIoU分支校准预测掩膜质量；
步骤6：采用训练集并通过损失函数迭代训练果实分割模型，输出最优果实分割模型；
步骤7：采用训练好的最优果实分割模型分割目标果实。
第二方面，本公开提供了一种基于无锚框检测器的绿色果实高效分割系统；
一种基于无锚框检测器的绿色果实高效分割系统，包括：
采集与标注模块，其被配置为：采集图像，对目标果实进行标注；
特征提取与融合模块，其被配置为：提取图像特征，并将多尺度特征进行融合；
果实预测模块：预测果实置信度，并采用边框回归定位绿色果实；
果实掩膜分割模块：采用全卷积网络实现果实掩膜分割；
掩膜质量预测模块：采用MaskIoU分支校准预测掩膜质量；
模型训练模块：采用训练集并通过损失函数迭代训练果实分割模型，输出最优果实分割模型；
输出模块：采用训练好的最优果实分割模型分割目标果实。
第三方面，本公开还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述第一方面所述的基于无锚框检测器的绿色果实高效分割方法。
第四方面，本公开还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述的基于无锚框检测器的绿色果实高效分割方法。
第五方面，本公开还提供了一种计算机程序(产品)，包括计算机程序，所述计算机程序当在一个或多个处理器上运行的时候用于实现前述第一方面任意一项的方法。
本公开的工作原理为：首先通过深度卷积网络提取果园环境下采集到的图像特征；然后采用多尺度预测，以全卷积的方式识别并回归边框以定位图像中的绿色果实；预测边框经过非极大值抑制等过程的筛选后，映射保留下来的候选框到指定特征图上，得到其对应的特征区域并统一采样至固定尺寸；接下来，将其输入到嵌入了空间注意力机制的掩膜分支，在每一个候选框内实现像素级分割，从而实现全图范围内的实例级分割；最后，通过MaskIoU分支，进一步校准果实的掩膜质量，提升分割精度。
与现有技术相比，本公开的有益效果为：
1、本公开的分割方法能够在保证精度的前提下大幅提升了模型的分割速度，识别不同种类的目标果实时不需要重新设计超参数，且能够适应绿色果实在同色系背景下存在的诸多干扰，满足采摘机器人视觉系统在各个方面的需求。
2、本公开的分割方法可以快速准确的定位图像中的绿色目标果实，并将其实例级的分割出来，整个方法以无锚框、单阶段、全卷积的方式，在不输基于锚框目标检测器精度的基础上压缩模型容量，缩减计算及存储资源，加速模型的训练及分割速度，解决了以往果实识别方法在速度和精度上的矛盾，很好的兼顾了绿色果实的检测精度及工作效率。
3、本公开的分割方法得到的分割掩膜更为准确，模型前向测试阶段将通过掩膜分支中的位置注意力模块来融合全图的上下文信息进行分割，再通过MaskIoU分支进一步校准掩码质量。因此能够更好的指导采摘机器人进行作业。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
图1是第一个实施例的基于无锚框检测器的绿色果实高效分割方法流程图；
图2是第二个实施例的果实分割模型整体组成结构图；
图3是第二个实施例中不同场景下采集的绿色果实图像(以苹果为例)；
图4是第二个实施例中采用labelme软件标注后的效果图；
图5是第二个实施例采用多尺度特征金字塔融合过程图；
图6是第二个实施例的果实置信度预测与边框偏移示意图；
图7是第二个实施例的不同层级的特征图负责预测的尺度范围不同示意图；
图8是第二个实施例的有无PAM的模型在检测与分割效果上的对比图；
图9是第二个实施例的预训练与直接训练两种方式的损失变化曲线图与评估结果比较图；
图10是第二个实施例的模型测试阶段网络的分割流程图；
图11是第二个实施例的模型对不同场景下绿色果实的分割效果图。
具体实施方式：
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
本实施例提供了一种基于无锚框检测器的绿色果实高效分割方法；
图1是本实施例基于无锚框检测器的绿色果实高效分割方法流程图，如图1所示，基于无锚框检测器的绿色果实高效分割方法，包括：
步骤1：采集图像，对目标果实进行标注；
采用摄像机拍摄果实图片，同时将图像中的目标果实标注出来；挑选不同场景下的绿色果实图像进行拍摄，并标注绿色果实的轮廓形成果实掩膜，将其作为模型训练的分割目标；使用标注轮廓的坐标自动生成果实的最小外接矩阵，将其作为果实分割模型训练的检测目标。
示例的，摄像机可以采用Sony Alpha 7II相机拍摄，对目标果实的标注可以采用Labelme软件，人工标注图像中的目标果实，并统一转化成MS COCO数据集格式供果实分割模型学习。
步骤2：提取图像特征，并将多尺度特征进行融合；
使用ResNet提取图像特征，并通过特征金字塔网络(Feature Pyramid Networks,FPN)融合ResNet中各个残差块输出的特征图，实现多尺度特征融合与预测。
步骤3：预测果实置信度，并采用边框回归定位绿色果实；
与区域候选网络(Region Proposal Networks,RPN)类似，以全卷积的方式，解耦预测每一层级特征图上的每一个特征点属于果实的置信度及边框偏移。
步骤4：采用全卷积网络实现果实掩膜分割；
首先筛选掉低质量与重叠度过高的边界框(bounding boxes,bboxes)，将其输入至嵌入了注意力机制的全卷积网络，在每一个bbox内实现目标果实的掩膜分割。
步骤5：采用MaskIoU分支校准预测掩膜质量；
合并上一阶段的输入与输出作为MaskIoU分支的输入，并将预测掩膜以0.5为阈值进行二值化，计算其与真实掩膜之间的交并比并作为当前样本在MaskIoU分支的回归目标。
步骤6：采用训练集并通过损失函数迭代训练果实分割模型，输出最优果实分割模型；
对于不同分支的预测结果，选择最适合的损失函数计算误差，通过随机梯度下降(Stochastic Gradient Descent,SGD)反复更新果实分割模型参数，每训练完一个epoch后在验证集上评估结果，以选择最优果实分割模型测试图像。
步骤7：采用训练好的最优果实分割模型分割目标果实。
将待测图像输入到训练好的最优果实分割模型中，输出果实分割后图像，指导采摘机器人精确地采摘果实。
实施例二
图2是本实施例的果实分割模型整体组成结构图，如图2所示：
作为一个或多个实施例，所述步骤1中图像采集与标注，包括：对采集到的图像采用Labelme软件人工标注图像中的目标果实，并统一转化成MS COCO数据集格式供所述果实分割模型学习。
示例的，图3是不同场景下采集的绿色果实图像(以苹果为例)，如图3所示。挑选不同光照角度(顺光、逆光、测光)、不同光照强度(清晨、正午、夜晚)、不同遮挡类型(叶片遮挡、枝干遮挡、果实间相互重叠)的拍摄场景，按照不同的拍摄距离采集图像。采用分割任务常用的标注软件Labelme，以点描绘出目标果实的轮廓，得到目标果实的真实掩膜，并自动生成最小外接矩阵作为真实框，图4是采用labelme软件标注后的效果图，如图4所示。以图像数量为7:3的比例划分训练集与验证集，分别生成MS COCO数据集格式的标注文件。
作为一个或多个实施例，所述步骤2中图像特征提取与多尺度特征融合，包括：采集不同类型的绿色果实图像，首先通过前馈卷积网络进行自底向上的特征提取，强化深层特征图的表达能力，再通过横向连接与自顶向下的方式进行多尺度特征融合，充分结合深层特征图的语义信息与浅层特征图的细节信息，构建特征金字塔。
如图2中Backbone+FPN部分所示。记ResNet后三个残差块输出的特征图分别为C3，C4，C5，P3，P4，P5通过C3，C4，C5之间依次进行1×1卷积的横向连接与2倍的上采样得到，P5再经过两次下采样依次得到P6，P7，图5是多尺度特征金字塔融合过程图，如图5所示。从而得到{P3，P4，P5，P6，P7}这个具有不同尺度的特征金字塔，并采用其中每一层级的特征图参与接下来网络的预测。
作为一个或多个实施例，述步骤3中果实置信度预测与边框回归，包括：对特征金字塔中的每一层特征图接以两个全卷积子网络，以类似区域候选网络的结构，分别负责产生特征点属于果实的类别置信度和其在输入图片上对应位置到真实框四条边的距离，最后依据置信度与IoU筛选得到候选框。
如图2中FoveaBox Head部分所示。图6是果实置信度预测与边框偏移示意图，如图6所示；对于特征金字塔中的每一层特征图，本实施例分别接一个分类子网和回归子网，两个子网均以全卷积的方式进行预测。训练阶段，本实施例首先依据真实框的尺度，将其分配到适合的特征图中负责预测，图7是不同层级的特征图负责预测的尺度范围不同示意图，如图7所示，解决模型对由于拍摄距离不同导致的图像中绿色果实的尺度变化较大的问题；然后依据输入图片与特征图的映射关系，得到每一个真实框在特征图上的正采样区域，并为正采样区域内的每一个空间位置生成分类子网与回归子网的预测目标。
作为一个或多个实施例，所述步骤4中采用全卷积网络实现果实掩膜分割，包括：通过自适应RoI分配策略，到最优特征图上提取候选框对应的特征空间，再通过Align层固定尺度为14×14的RoIs，将其输入到全卷积网络并上采样至28×28，在每一个候选框内分割果实掩膜，期间通过位置注意力模块聚合全图信息。
如图2中PAM-Mask部分所示。考虑到复杂自然场景下，果实重叠、枝干遮挡、光照条件及硬件设备等因素都会导致果实的纹理、形状、颜色等特征发生变化，且分割绿色果实时更容易受到图像中占主导位置的同色系背景干扰，降低模型的分割效果，影响机器人采摘质量。因此，本实施例在FCN中嵌入位置注意力模块(Position Attention MechanismPAM)，借助注意力机制，以提升模型在噪声及干扰条件下的分割效果。首先，由于RoIs是由FPN中不同层级的特征图共同预测得到的，且FCN对RoI特征的输入尺寸为固定值，因此，本实施例需要依据其与输入图片的尺寸比例，判定RoI Align该从哪一层级的特征图中提取果实RoI的特征。不同于FPN原文中提出的RoI分配策略，本实施例按照公式(1)，自适应分配果实RoI到适合的特征图中。
kmax代表FPN中最后一层的特征图索引，Aori/ARoI表示输入图片与果实RoI之间的尺寸比。因此，公式(1)将按照RoI的尺寸，将其自适应分配给某一特征图层级k，供RoIAlign到该层提取对应特征并下采样到固定尺寸，以输入到mask分支中进行果实区域的精准分割。
自果实RoI经以上分配策略及Align层提取特征后，定义特征表示为Xalign∈RC×H×W，如图2中PAM-Mask部分所示，将其相继输入到四个卷积层及PAM中，得到经注意力机制聚合相似特征并抑制噪声之后的特征表示Xpag∈R1×W×H，具体表示如下：
其中，
首先，PAM在通道维度上分别经过平均和最大池化操作得到Pavg，Pmax∈R1×W×H，
表示将Pavg，Pmax合并到一起，并依次通过3×3卷积(C3×3)及sigmoid函数(σ)得到各空间点之间的特征关联Apag(Xalign)。最后，按照公式(2)，将(3)中得到的空间注意力关联图Apag(Xalign)与输入特征图Xalign进行像素级相乘
得到Xpag。同Xalign相比，Xpag更能融合特征图中的相似信息并有效抑制干扰和噪声因素，能显著提升FCN针对目标果实的分割效果，以更加适应复杂自然果园环境下的果实识别任务。本实施例对嵌入PAM的模型与没有嵌入PAM的模型分别训练，分析评估结果；图8是有无PAM的模型在检测与分割效果上的对比图，如图8所示，第一行分别为有无PAM模块的模型对预测边框在10种不同阈值下的评估结果；第二行分别为有无PAM模块的模型对预测掩码在10种不同阈值下的评估结果。不难看出，在提升IoU阈值之后，对应的P-R曲线逐渐向坐标轴靠拢，但嵌入PAM之后的模型，其靠拢程度明显低于没有嵌入PAM的FoveaMask模型。
作为一个或多个实施例，所述步骤5中采用MaskIoU分支校准预测掩膜质量，包括：将预测掩膜与Mask分支的输入进行合并，作为MaskIoU分支的输入，通过简单的卷积层与全连接层连接，得到预测掩膜与真实掩膜之间的交并比，将分类子网预测的果实置信度与该分支预测的掩膜交并比相乘，作为预测掩膜最终的质量得分。
如图2中MaskIoU Head部分所示。在任务场景较单一，干扰及噪声因素较少的情况下，图片中目标的分割相对简单，边框置信度能够在一定程度上衡量掩码的分割质量。但采摘机器人的工作环境为复杂自然场景条件下，背景、干扰、噪声等因素会使得果实的分割难度增大，分割效果下降，边框置信度与掩码质量之间的关联性降低，出现置信度与掩码质量不匹配的现象，采用IoU作为阈值判定预测结果的混淆矩阵时导致评估指标下降。因此，本实施例引入MaskIoU Head，回归预测掩码与真实掩码之间的IoU得分，以此来替代Mask R-CNN等模型中采用边框置信度衡量分割效果的做法。首先将PAM-Mask分支的预测掩码下采样并与Xalign合并得到该分支的输入特征表示，然后依次经过四个卷积层和三个全连接层进行训练学习以预测样本的MaskIoU得分。训练阶段，预测掩码以0.5为阈值进行二值化操作，然后将其与相匹配的真实目标果实掩码比较，得到两者之间的MaskIoU值并作为该样本的回归目标；推断阶段，将该分支的预测值siou与检测阶段的边框分类置信度scls相乘，得到校正后的掩码置信度smask，即smask＝siou×scls。
作为一个或多个实施例，所述步骤6中采用训练集并通过损失函数迭代训练果实分割模型，输出最优果实分割模型，包括：采用检测阶段FoveaBox产生的损失、PAM-Mask分支的损失及MaskIoU分支的损失构造整体损失函数，对于不同分支的损失结果采用整体损失函数计算误差，通过随机梯度下降反复更新果实分割模型的参数，每训练完一个epoch后再验证集上评估结果，以选择最优果实分割模型测试图像，并输出最优果实分割模型。
决定模型对果实分割效果的重要因素之一为损失函数的设计，依据各分支的预测目标、任务类型、正负样本占比等因素，采用如下所示的损失函数进行模型的迭代优化。
如图2所示，模型的损失函数应由三部分构成：检测阶段FoveaBox产生的损失、PAM-Mask分支的损失及MaskIoU分支的损失。整体损失函数如公式(4)所示：
Loverall＝LFoveaBox+Lpam+Lmaskiou (4)
关于模型在检测阶段FoveaBox产生的损失LFoveaBox，又由Classification及BoxRegression两个分支产生的损失构成，由于一张图片中，目标果实与背景相比，面积占比较小，且又经过σ因子收缩，因此，在训练阶段，正负样本之间存在不平衡问题。为兼顾以上弊端及简便计算，故Classification和Regression分支分别选择采用Focal Loss和SmoothL1Loss进行FoveaBox部分的迭代优化。
关于PAM-Mask分支产生的损失Lpam，同Mask R-CNN一样，采用平均二元交叉熵损失函数。因为每个数据集只有一个果实类别，因此每个RoI经过PAM-Mask预测后产生大小为m×m的掩码。如公式(5)所示：
si为Mask分支预测的m×m掩码，
为其对应的预测目标，本实施例设置中，经过排序筛选，得到FoveaBox检测的100(训练阶段，检测阶段设为50)个高置信度预测框，i对应在特征图上负责预测这100个框的输出位置。同样，由于每个数据集只有一个类别，因此MaskIoU Head只预测一个数值，为简便计算，该分支采用简单的L2Loss负责回归MaskIoU。模型在正式训练前采用MS COCO数据集中提取的1586张苹果图像中包含的5851个苹果果实进行预训练，模型采用预训练与直接训练两种方式的损失曲线图与评估结果曲线图；如图9所示，可以看到，采用预训练方式时，模型的损失更小，评估结果更好。
作为一个或多个实施例，使用训练好的最优果实分割模型分割目标果实；
图10模型测试阶段网络的分割流程图，如图10所示。通过选取多幅包含了重叠、枝叶遮挡、夜间、远景、雨后及逆光等混合干扰情况下的柿子及苹果果实的图像进行分割，并对分割效果图进行研究分析。图11是对不同场景下绿色果实的分割效果图，如图11所示，FoveaMask对两种绿色果实(柿子与苹果)的分割效果。其中，左侧为柿子果实，右侧为苹果果实，每一对图片中分别为人工标注的目标果实分割图及网络预测的果实分割图。可以看出，模型针对各种干扰及混合干扰条件下，均能取得很好的检测效果，且在人工标注的目标果实分割图中，存在一些果实由于面积遮挡严重或拍摄距离过远等原因而没有标注，本公开也能准确检测到并将其分割出来，这除了说明模型具有较好的检测效果与抗干扰能力之外，也在一定程度上说明模型具有较强的泛化能力。
实施例三
本实施例提供了基于无锚框检测器的绿色果实高效分割系统；
一种基于无锚框检测器的绿色果实高效分割系统，包括：
采集与标注模块，其被配置为：采集图像，对目标果实进行标注；
特征提取与融合模块，其被配置为：提取图像特征，并将多尺度特征进行融合；
果实预测模块：预测果实置信度，并采用边框回归定位绿色果实；
果实掩膜分割模块：采用全卷积网络实现果实掩膜分割；
掩膜质量预测模块：采用MaskIoU分支校准预测掩膜质量；
模型训练模块：采用训练集并通过损失函数迭代训练果实分割模型，输出最优果实分割模型；
输出模块：采用训练好的最优果实分割模型分割目标果实。
此处需要说明的是，上述采集与标注模块、特征提取与融合模块、果实预测模块、果实掩膜分割模块、掩膜质量预测模块、模型训练模块以及输出模块对应于实施例一中的步骤1-7，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
实施例四
本实施例还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述实施例一所述的基于无锚框检测器的绿色果实高效分割方法。
实施例五
本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例一所述的基于无锚框检测器的绿色果实高效分割方法。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。
Claims (10)
1.一种基于无锚框检测器的绿色果实高效分割方法，其特征在于，包括：步骤1：采集图像，对目标果实进行标注；
步骤2：提取图像特征，并将多尺度特征进行融合；
步骤3：预测果实置信度，并采用边框回归定位绿色果实；
步骤4：采用全卷积网络实现果实掩膜分割；
步骤5：采用MaskIoU分支校准预测掩膜质量；
步骤6：采用训练集并通过损失函数迭代训练果实分割模型，输出最优果实分割模型；
步骤7：采用训练好的最优果实分割模型分割目标果实。
2.根据权利要求1所述的基于无锚框检测器的绿色果实高效分割方法，其特征在于，所述步骤1中图像采集与标注，包括：对采集到的图像采用Labelme软件人工标注图像中的目标果实，并统一转化成MS COCO数据集格式供所述果实分割模型学习。
3.根据权利要求1所述的基于无锚框检测器的绿色果实高效分割方法，其特征在于，所述步骤2中图像特征提取与多尺度特征融合，包括：采集不同类型的绿色果实图像，首先通过前馈卷积网络进行自底向上的特征提取，强化深层特征图的表达能力，再通过横向连接与自顶向下的方式进行多尺度特征融合，充分结合深层特征图的语义信息与浅层特征图的细节信息，构建特征金字塔。
4.根据权利要求3所述的基于无锚框检测器的绿色果实高效分割方法，其特征在于，所述步骤3中果实置信度预测与边框回归，包括：对特征金字塔中的每一层特征图接以两个全卷积子网络，以类似区域候选网络的结构，分别负责产生特征点属于果实的类别置信度和其在输入图片上对应位置到真实框四条边的距离，最后依据置信度与IoU筛选得到候选框。
5.根据权利要求1所述的基于无锚框检测器的绿色果实高效分割方法，其特征在于，所述步骤4中采用全卷积网络实现果实掩膜分割，包括：通过自适应RoI分配策略，到最优特征图上提取候选框对应的特征空间，再通过Align层固定尺度为14×14的RoIs，将其输入到全卷积网络并上采样至28×28，在每一个候选框内分割果实掩膜，期间通过位置注意力模块聚合全图信息。
6.根据权利要求1所述的基于无锚框检测器的绿色果实高效分割方法，其特征在于，所述步骤5中采用MaskIoU分支校准预测掩膜质量，包括：将预测掩膜与Mask分支的输入进行合并，作为MaskIoU分支的输入，通过简单的卷积层与全连接层连接，得到预测掩膜与真实掩膜之间的交并比，将分类子网预测的果实置信度与该分支预测的掩膜交并比相乘，作为预测掩膜最终的质量得分。
7.根据权利要求1所述的基于无锚框检测器的绿色果实高效分割方法，其特征在于，所述步骤6中采用训练集并通过损失函数迭代训练果实分割模型，输出最优果实分割模型，包括：采用检测阶段FoveaBox产生的损失、PAM-Mask分支的损失及MaskIoU分支的损失构造整体损失函数，对于不同分支的损失结果采用整体损失函数计算误差，通过随机梯度下降反复更新果实分割模型的参数，每训练完一个epoch后再验证集上评估结果，以选择最优果实分割模型测试图像，并输出最优果实分割模型。
8.一种基于无锚框检测器的绿色果实高效分割系统，其特征在于，包括：
采集与标注模块，其被配置为：采集图像，对目标果实进行标注；
特征提取与融合模块，其被配置为：提取图像特征，并将多尺度特征进行融合；
果实预测模块：预测果实置信度，并采用边框回归定位绿色果实；
果实掩膜分割模块：采用全卷积网络实现果实掩膜分割；
掩膜质量预测模块：采用MaskIoU分支校准预测掩膜质量；
模型训练模块：采用训练集并通过损失函数迭代训练果实分割模型，输出最优果实分割模型；
输出模块：采用训练好的最优果实分割模型分割目标果实。
9.一种电子设备，其特征在于，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述权利要求1-7任一项所述的基于无锚框检测器的绿色果实高效分割方法。
10.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一项所述的基于无锚框检测器的绿色果实高效分割方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011527172.6A CN112651404A (zh) | 2020-12-22 | 2020-12-22 | 一种基于无锚框检测器的绿色果实高效分割方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011527172.6A CN112651404A (zh) | 2020-12-22 | 2020-12-22 | 一种基于无锚框检测器的绿色果实高效分割方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112651404A true CN112651404A (zh) | 2021-04-13 |
Family
ID=75358935
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011527172.6A Pending CN112651404A (zh) | 2020-12-22 | 2020-12-22 | 一种基于无锚框检测器的绿色果实高效分割方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112651404A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113223026A (zh) * | 2021-04-14 | 2021-08-06 | 山东师范大学 | 基于轮廓的目标果实图像实例分割方法及系统 |
| CN113221961A (zh) * | 2021-04-20 | 2021-08-06 | 山东师范大学 | 一种能够缓和表达瓶颈的目标果实检测方法及系统 |
| CN113343750A (zh) * | 2021-04-15 | 2021-09-03 | 山东师范大学 | 一种同色系目标果实检测方法及系统 |
| CN113344845A (zh) * | 2021-04-14 | 2021-09-03 | 山东师范大学 | 一种基于锚点集的目标果实分割方法及系统 |
| CN113343751A (zh) * | 2021-04-15 | 2021-09-03 | 山东师范大学 | 一种小目标果实的检测方法及系统 |
| CN113361533A (zh) * | 2021-05-19 | 2021-09-07 | 山东师范大学 | 重叠遮挡的目标物的分割识别方法及系统 |
| CN113420770A (zh) * | 2021-06-21 | 2021-09-21 | 梅卡曼德（北京）机器人科技有限公司 | 图像数据处理方法、装置、电子设备和存储介质 |
| CN113627269A (zh) * | 2021-07-16 | 2021-11-09 | 中国科学院合肥物质科学研究院 | 基于解耦分类和回归特征最优层技术的害虫目标检测方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111161290A (zh) * | 2019-12-27 | 2020-05-15 | 西北大学 | 一种图像分割模型的构建方法、图像分割方法及系统 |
| CN111862119A (zh) * | 2020-07-21 | 2020-10-30 | 武汉科技大学 | 基于Mask-RCNN的语义信息提取方法 |
-
2020
- 2020-12-22 CN CN202011527172.6A patent/CN112651404A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111161290A (zh) * | 2019-12-27 | 2020-05-15 | 西北大学 | 一种图像分割模型的构建方法、图像分割方法及系统 |
| CN111862119A (zh) * | 2020-07-21 | 2020-10-30 | 武汉科技大学 | 基于Mask-RCNN的语义信息提取方法 |
Non-Patent Citations (4)
| Title |
|---|
| TAO KONG ET AL: "FoveaBox: Beyound Anchor-Based Object Detection", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
| YOUNGWAN LEE AND JONGYOUL PARK: "CenterMask : Real-Time Anchor-Free Instance Segmentation", 《ARXIV:1911.06667V6》 * |
| ZHAOJIN HUANG ET AL: "Mask Scoring R-CNN", 《ARXIV:1903.00241V1》 * |
| 岳有军等: "基于改进Mask RCNN的复杂环境下苹果检测研究", 《中国农机化学报》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113223026A (zh) * | 2021-04-14 | 2021-08-06 | 山东师范大学 | 基于轮廓的目标果实图像实例分割方法及系统 |
| CN113344845A (zh) * | 2021-04-14 | 2021-09-03 | 山东师范大学 | 一种基于锚点集的目标果实分割方法及系统 |
| CN113343750A (zh) * | 2021-04-15 | 2021-09-03 | 山东师范大学 | 一种同色系目标果实检测方法及系统 |
| CN113343751A (zh) * | 2021-04-15 | 2021-09-03 | 山东师范大学 | 一种小目标果实的检测方法及系统 |
| CN113221961A (zh) * | 2021-04-20 | 2021-08-06 | 山东师范大学 | 一种能够缓和表达瓶颈的目标果实检测方法及系统 |
| CN113361533A (zh) * | 2021-05-19 | 2021-09-07 | 山东师范大学 | 重叠遮挡的目标物的分割识别方法及系统 |
| CN113420770A (zh) * | 2021-06-21 | 2021-09-21 | 梅卡曼德（北京）机器人科技有限公司 | 图像数据处理方法、装置、电子设备和存储介质 |
| CN113420770B (zh) * | 2021-06-21 | 2024-06-21 | 梅卡曼德（北京）机器人科技有限公司 | 图像数据处理方法、装置、电子设备和存储介质 |
| CN113627269A (zh) * | 2021-07-16 | 2021-11-09 | 中国科学院合肥物质科学研究院 | 基于解耦分类和回归特征最优层技术的害虫目标检测方法 |
| CN113627269B (zh) * | 2021-07-16 | 2023-04-28 | 中国科学院合肥物质科学研究院 | 基于解耦分类和回归特征最优层技术的害虫目标检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112651404A (zh) | 一种基于无锚框检测器的绿色果实高效分割方法及系统 | |
| CN111640125B (zh) | 基于Mask R-CNN的航拍图建筑物检测和分割方法及装置 | |
| US20200410212A1 (en) | Fast side-face interference resistant face detection method | |
| CN111444821A (zh) | 一种城市道路标志自动识别方法 | |
| CN109685045A (zh) | 一种运动目标视频跟踪方法及系统 | |
| CN109242826B (zh) | 基于目标检测的移动设备端签状物根数计数方法及系统 | |
| CN107944354B (zh) | 一种基于深度学习的车辆检测方法 | |
| CN111860587B (zh) | 一种用于图片小目标的检测方法 | |
| CN114972191A (zh) | 一种耕地变化检测方法和装置 | |
| CN113223027A (zh) | 基于PolarMask的未成熟柿子分割方法及系统 | |
| CN110853070A (zh) | 基于显著性与Grabcut的水下海参图像分割方法 | |
| CN111553898A (zh) | 一种基于卷积神经网络的面料疵点检测方法 | |
| CN114140665A (zh) | 一种基于改进YOLOv5的密集小目标检测方法 | |
| CN112766361A (zh) | 一种同色系背景下目标果实检测方法及检测系统 | |
| CN111274964B (zh) | 一种基于无人机视觉显著性分析水面污染物的检测方法 | |
| CN116740758A (zh) | 一种防止误判的鸟类图像识别方法及系统 | |
| CN111046782A (zh) | 一种用于苹果采摘机器人的果实快速识别方法 | |
| CN111832508B (zh) | 基于die_ga的低照度目标检测方法 | |
| CN115830302B (zh) | 一种多尺度特征提取融合配电网设备定位识别方法 | |
| CN117132802A (zh) | 一种田间小麦病虫害识别方法、装置及存储介质 | |
| CN110889418A (zh) | 一种气体轮廓识别方法 | |
| CN116563205A (zh) | 基于小目标检测和改进YOLOv5的麦穗计数检测方法 | |
| CN116030346A (zh) | 基于马尔可夫判别器的非成对弱监督云检测方法及系统 | |
| CN115187878A (zh) | 基于无人机图像分析的风力发电装置叶片缺陷检测方法 | |
| CN113496159B (zh) | 一种多尺度卷积与动态权重代价函数的烟尘目标分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210413 |
|
| RJ01 | Rejection of invention patent application after publication |