CN109784204A - 一种用于并联机器人的堆叠串类水果主果梗识别和提取方法 - Google Patents

一种用于并联机器人的堆叠串类水果主果梗识别和提取方法 Download PDF

Info

Publication number
CN109784204A
CN109784204A CN201811589864.6A CN201811589864A CN109784204A CN 109784204 A CN109784204 A CN 109784204A CN 201811589864 A CN201811589864 A CN 201811589864A CN 109784204 A CN109784204 A CN 109784204A
Authority
CN
China
Prior art keywords
image
fruit
class fruit
stacking
string class
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811589864.6A
Other languages
English (en)
Other versions
CN109784204B (zh
Inventor
高国琴
张千
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University
Original Assignee
Jiangsu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University filed Critical Jiangsu University
Priority to CN201811589864.6A priority Critical patent/CN109784204B/zh
Publication of CN109784204A publication Critical patent/CN109784204A/zh
Application granted granted Critical
Publication of CN109784204B publication Critical patent/CN109784204B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本发明公开了一种用于并联机器人的堆叠串类水果主果梗识别和提取方法。基于Kinect传感器构建该类水果的立体视觉检测系统，获取三维视觉信息，构建数据集，通过图像处理方法增加其分布范围。构建一种卷积神经网络，增加特征量。基于构建的CNN架构改进现有Faster R‑CNN，设计由粗到精和参数分享策略实现Faster R‑CNN的级联，减少背景干扰。设计多迁移学习训练策略对网络进行训练直到精度达标，将满足测试精度要求的已训练的由粗到精级联Faster R‑CNN用于实现并联机器人水果分拣系统中堆叠串类水果的在线主果梗识别和提取，并提高识别和提取的精度和效率，为基于立体视觉的并联机器人实现对堆叠串类水果的准确、快速、无损自动分拣奠定基础。

Description

一种用于并联机器人的堆叠串类水果主果梗识别和提取方法
技术领域
本发明涉及机器视觉领域，具体涉及一种用于并联机器人的基于机器视觉、图像处理 和神经网络，针对堆叠串类水果的主果梗识别和提取方法。
背景技术
近年来我国的水果产量增长迅猛，传统人工分拣方法已很难满足现代农业生产的需求， 基于机器人技术实现水果的自动分拣对农业生产和农产品加工的自动化、规模化、精确化 发展具有重要意义。在基于机器人的水果自动分拣过程中，水果的准确抓取检测是机器人 实现准确、快速、无损抓取控制的前提条件。机器视觉由于具有非接触、强适用性、高性 价比等优点，适合用于解决机器人自动分拣水果的抓取检测问题。与苹果、梨、菠萝等独 立水果相比，形如葡萄、桂圆、荔枝等堆叠串类水果由于其果梗和果粒分布无规律、主果梗无形状和位置约束、水果串形态多样等原因，其抓取检测仍是难点。在堆叠串类水果的抓取检测中，主果梗的识别和提取是其中重要的一部分，也是难点所在。
现有的基于机器视觉的主果梗识别和提取技术主要包括了固定阈值法、霍夫变换法以 及图像特征分类法。较早出现的是基于区域的中心、面积、长宽等特征的固定阈值法。之 后出现了针对悬挂串类水果，基于累计概率霍夫直线检测的果梗提取研究。此方法将果梗 看作直线进行检测，并将果梗定位在悬挂水果果穗的上方，具有一定局限性。图像特征分 类法主要针对水果串图像中的果粒、果梗、叶子、背景等对象进行分类，提取精度较高，适用于自然放置水果串的果梗提取研究。现有的基于分类的果梗提取研究主要使用的分类器为SVM、PLS、GMM等模型，需要实验选定多个能表征对象间区别的特征，并构建特征向 量，此方法仅能实现已提取出的区域间的分类，难以实现图像上对象的直接识别和定位。 因此，对于果梗和果粒分布无规律、主果梗无形状和位置约束、水果串形态多样的堆叠串 类水果，现有的主果梗识别和提取方法并不适用。另外，由于用于本发明并联机器人水果 分拣系统的抓取检测视场需覆盖整个工作空间，因此使得堆叠串类水果上的主果梗在RGB-D图像中成像较小，导致基于现有深度神经网络所提取的堆叠串类水果主果梗小区域的特征较少。同时，堆叠串类水果上的果粒、果蒂等元素使得主果梗的背景不单一，导致堆叠串 类水果主果梗的识别和提取的精度更加难以提高。
发明内容
本发明的目的提出了一种准确、快速的立体视觉基于改进Faster R-CNN的用于并联机 器人的堆叠串类水果主果梗识别和提取方法。
本发明采用的技术方案是采用如下步骤：
步骤1，并联机器人水果分拣系统下基于Kinect传感器的堆叠串类水果的立体视觉系 统构建：本发明基于Kinect传感器和并联机器人水果分拣系统共同构建堆叠串类水果的 立体视觉检测系统。将Kinect传感器置于分拣系统的检测平台上方，检测平台中心轴线 处，并选择Kinect传感器深度检测误差最低的区域构建检测视场。同时，基于检测平面大小、水果堆叠高度范围、物距范围等设计视觉硬件参数，构建稳定可靠的堆叠串类水果的立体视觉检测系统，为实现高精度的堆叠串类水果主果梗识别和提取奠定基础。
步骤2，堆叠串类水果主果梗识别和提取的数据集构建和扩充：为深度神经网络可以 学习到尽可能多而有效的图像特征，本发明采用了用于学习图像的边缘、轮廓、纹理以及 角点等一般特征的具有多种对象的大数据集。并构建了用于学习堆叠串类水果的水果串特 征和主果梗特征的小数据集。同时，采用图像旋转、镜像变化、尺度变化、加噪处理方法 对构建的数据集进行扩充，并将基于相机标定参数配准后的图像用以进一步扩充构建的小 数据集，增加数据集分布范围。
步骤3，一种能够提取小对象特征的卷积神经网络的构建：包括图像输入、特征提取 和分类三部分。
由于用于本发明并联机器人水果分拣系统的抓取检测视场需覆盖整个工作空间，因此 使得堆叠串类水果上的主果梗在RGB-D图像中成像较小，导致基于现有卷积神经网络所提 取的堆叠串类水果主果梗小区域的特征较少。因此本发明设计无尺度变化的卷积层、较小 尺度变化的池化层和多全连接层，构建一种能够提取小对象特征的卷积神经网络，以减少 图像尺度的降低，增加在并联机器人水果分拣系统中所需的视觉检测大视场下网络提取的 主果梗小区域的特征量，为堆叠串类水果主果梗的准确识别和提取奠定基础。
图像输入部分：
基于数据集中标签框的真实值大小设计图像输入层的神经元数量，首先根据获取的堆 叠串类水果数据集，统计标签框的真实值大小，根据式(1)～(2)求取数据集中标签框的真实 值宽度均值Wa和高度均值Ha，其中Wi和Hi分别为第i个主果梗标签框真实值的宽度和 高度，n为参与统计的主果梗标签框的数量；
为减少图像失真和保留更多的原始图像信息，基于宽度均值Wa和高度均值Ha设计图 像输入层的神经元数量，同时通过将输入图像减去堆叠串类水果数据集的平均图像实现对 图像输入层中输入数据的归一化处理；
特征提取部分：
主要包括了卷积结构和全连接结构；
卷积结构包括了无图像尺度变化的卷积层、具有较小图像尺度变化的最大池化层和平 均池化层、ReLu激活函数，本发明通过三次无图像尺度变化的卷积和具有较小图像尺度变 化的池化，获取原始图像上表针主果梗信息的特征图，降低原始特征信息的丢失；
对于卷积层，基于式(3)计算卷积层初始参数，使得卷积层的输入和输出特征图尺度一 致，其中osc为卷积层输出特征图的长或宽，isc为卷积层输入特征图的长或宽，fs为卷积 层滤波器的大小，pc为填充大小，sc为步长，对图像进行边缘填充，降低卷积过程中边缘信息的丢失；
对于池化层，本发明包括了最大池化层和平均池化层，均基于式(4)计算池化层初始参 数，使得池化层的输出特征图以2倍下采样输入特征图，其中osp为池化层输出特征图的长 或宽，isp为池化层输入特征图的长或宽，ps为池化大小，pp为填充大小，sp为步长；
对于ReLu激活函数，本发明基于式(5)对输入的每个元素执行阈值操作，所有小于0 的值均设置为0，用以减少数据冗余，保留重要特征；
对于全连接结构，主要包括了ReLu激活函数、全连接层和丢弃层，为防止过拟合，将 网络中加入了丢弃层，在训练时随机设置某些元素权值为0，通过增加全连接层的数量，用以提高网络对提取的特征图的学习能力；
分类部分：主要包括了Softmax层和分类输出层。
步骤4，基于构建的CNN架构和设计的由粗到精和参数分享策略改进现有FasterR-CNN：堆叠串类水果中果梗和果粒分布无规律、主果梗无形状和位置约束、水果串形态多样等特征，导致基于现有Faster R-CNN难以实现高精度的堆叠串类水果主果梗识别和提取。 同时，堆叠串类水果上的果粒、果蒂等元素使得主果梗的背景不单一，导致堆叠串类水果 主果梗的识别和提取的精度更加难以提高。为此，本发明将所构建的CNN架构用于进一步 地改进现有Faster R-CNN，并设计由粗到精和参数分享策略实现Faster R-CNN的级联，构建一种用于堆叠串类水果主果梗识别和提取的改进后的由粗到精级联Faster R-CNN模型。
所改进的由粗到精级联Faster R-CNN模型包括两级深度神经网络。第一级深度神经网 络用于提取图像中堆叠串类水果区域，第二级深度神经网络用于提取堆叠串类水果区域中 的主果梗区域，两级深度神经网络共享CNN架构和参数。分级串联的网络模型设计，降低 了图像中背景因素的干扰，提高了主果梗提取的精度和效率。
每级中的深度神经网络均采用Faster R-CNN架构。首先采用所构建的能够提取小对象 特征的CNN架构中的卷积结构提取输入图像的特征图。之后采用所构建的CNN架构构建 候选区域生成网络，基于候选区域生成网络从卷积架构输出的特征图中生成大量候选区域 作为对象可能存在的区域。最后基于分类网络对候选区域进行筛选，获取对象所在的区域， 并通过图像投影计算，获取对象区域所对应的原始图像中的位置，实现对象的识别和提取。
本发明的由粗到精级联Faster R-CNN模型中，每级中的深度神经网络将候选区域生成、 特征提取、分类和位置精修四部分均统一到一个深度网络框架之内，减少了重复计算，大 大提高了计算速度。同时，每级的深度神经网络中均采用了非极大值抑制，对获取到的候 选区域和最终网络得到的候选区域各自采用不同的IoU(Intersection-over-Union)阈值进行筛 选，去掉重合度较高的区域，大大降低了同一串水果的主果梗对应多个候选框的可能性。
步骤5，基于多迁移学习策略的网络训练和基于可视化分析的网络精度测试：本发明 采用所构建的训练数据集对改进的网络模型进行多迁移学习，实现网络模型的离线训练。 同时基于构建的测试数据集对训练完成后的网络进行可视化分析和精度测试，并对精度进 行判断，若精度不满足要求，则通过调节参数，再次进行多迁移学习训练，直到精度满足 要求为止。具体如下：
基于多迁移学习策略的网络训练：采用多迁移学习的方法，结合多数据集对构建的网 络模型进行训练；首先基于大数据集对构建的CNN架构进行预训练，学习图像的边缘、纹 理、方向的一般特征，将预训练之后的CNN架构用于改进的级联Faster R-CNN模型，之后采用构建的堆叠串类水果训练集对级联Faster R-CNN模型的第一级进行再训练，学习堆叠串类水果的区域特征，之后将再训练的级联Faster R-CNN模型的第一级中的CNN架构和参数用于级联Faster R-CNN模型的第二级，作为级联Faster R-CNN模型第二级的初始训练参数，之后采用构建的堆叠串类水果主果梗训练集对级联Faster R-CNN模型的第二级进行微调，学习堆叠串类水果的主果梗区域特征；
基于可视化分析的网络精度测试：采用可视化分析，对训练后的网络学习能力进行评 估；首先通过提取预训练后CNN架构的卷积层权值参数，分析预训练的CNN架构对图像的 边缘、纹理、方向的一般特征的学习能力，之后对级联Faster R-CNN模型的两级中的深度 神经网络进行评估，分别提取其不同卷积层和全连接层的输出特征图进行分析，评估其学 习能力，最后采用堆叠串类水果测试集统计计算级联Faster R-CNN模型的检测精度，并对 精度进行判断，若精度不满足要求，则通过调节参数，再次进行训练，直到精度满足要求为止。
步骤6，基于已训练网络模型的堆叠串类水果主果梗识别和提取：将满足测试精度要 求的已训练的由粗到精级联Faster R-CNN模型用于实现并联机器人水果分拣系统中堆叠串 类水果的在线主果梗识别和提取，并提高识别和提取的精度和效率，为基于立体视觉的并 联机器人实现对堆叠串类水果的准确、快速、无损自动分拣奠定基础。
本发明提出一种用于并联机器人的堆叠串类水果主果梗识别和提取方法，通过采用上 述技术方案后，其具有以下有益效果：
1、针对基于深度神经网络的堆叠串类水果主果梗识别和提取研究中，堆叠串类水果样 本集不足，数据集分布范围不广泛等问题，本发明提出采用配准前后的彩色图像进行数据 集构建的方法，并基于图像旋转、镜像变化、尺度变化、加噪处理方法对构建的数据集进 行扩充。同时结合多迁移学习策略进行多次训练，提高网络对堆叠串类水果特征和堆叠串 类水果主果梗特征的学习能力。
2、由于用于本发明并联机器人水果分拣系统的抓取检测视场需覆盖整个工作空间，使 得堆叠串类水果上的主果梗在RGB-D图像中成像较小，导致基于现有卷积神经网络所提取 的堆叠串类水果主果梗小区域的特征较少。因此本发明设计无尺度变化的卷积层、较小尺 度变化的池化层和多全连接层，构建一种能够提取小对象特征的卷积神经网络，以减少图 像尺度的降低，增加在并联机器人水果分拣系统中所需的视觉检测大视场下网络提取的主 果梗小区域的特征量，为堆叠串类水果主果梗的准确识别和提取奠定基础。
3、堆叠串类水果中果梗和果粒分布无规律、主果梗无形状和位置约束、水果串形态多 样等特征，导致基于现有Faster R-CNN难以实现高精度的堆叠串类水果主果梗识别和提取。 同时，堆叠串类水果上的果粒、果蒂等元素使得主果梗的背景不单一，导致堆叠串类水果 主果梗的识别和提取的精度更加难以提高。为此，本发明将所构建的CNN架构用于进一步 地改进现有Faster R-CNN，并设计由粗到精和参数分享策略实现Faster R-CNN的级联， 构建一种用于堆叠串类水果主果梗识别和提取的改进后的由粗到精级联Faster R-CNN模 型。
附图说明
以下结合附图和具体实施方式对本发明作进一步详细说明。
图1为本发明用于并联机器人的堆叠串类水果主果梗识别和提取方法流程图。
图2为Kinect传感器检测范围示意图。
图3为本发明堆叠串类水果主果梗识别和提取的数据集构建和扩充流程图。
图4为构建的一种能够提取小对象特征的卷积神经网络的示意图。
图5为改进的由粗到精级联Faster R-CNN模型示意图。
图6为基于已训练网络模型的堆叠串类水果主果梗识别和提取流程图。
图7为Kinect传感器的三维信息获取示意图。
图8为堆叠串类水果数据集。其中：图8a为原始彩色图像，图8b为添加高斯噪声后的彩色图像，图8c为添加椒盐噪声后的彩色图像，图8d为垂直镜像变换后的彩色图像， 图8e为水平镜像变换后的彩色图像，图8f为中心镜像变换后的彩色图像，图8g为旋转正 15度后的彩色图像，图8h为旋转负15度后的彩色图像。
图9为预训练后CNN架构的卷积层权值参数。
图10为由粗到精级联Faster R-CNN模型第一级网络的部分卷积层和全连接层的输出 特征图。
图11为由粗到精级联Faster R-CNN模型第二级网络的部分卷积层和全连接层的输出 特征图。
具体实施方式
下面结合附图进一步说明本发明具体实施方式。
本发明公开了一种立体视觉基于改进Faster R-CNN的用于并联机器人的堆叠串类水果 主果梗识别和提取方法。首先，在并联机器人水果分拣系统下基于Kinect传感器构建堆叠 串类水果的立体视觉检测系统，实现堆叠串类水果三维视觉信息的获取。之后，构建堆叠 串类水果数据集和堆叠串类水果主果梗数据集。并基于图像旋转、镜像变化、尺度变化、 加噪处理方法对构建的数据集进行扩充，用以增加数据集分布范围。之后，设计无尺度变 化的卷积层、较小尺度变化的池化层和多全连接层，构建一种能够提取小对象特征的卷积 神经网络，以减少图像尺度的降低，增加在并联机器人水果分拣系统中所需的视觉检测大 视场下网络提取的主果梗小区域的特征量。之后，基于构建的CNN架构进一步地改进现有 Faster R-CNN，设计由粗到精和参数分享策略实现Faster R-CNN的级联，以减少主果梗背 景的干扰。之后，基于构建的堆叠串类水果数据集和堆叠串类水果主果梗数据集设计多迁 移学习训练策略对网络进行训练，并基于测试数据集对网络进行可视化分析和精度测试。 若精度不满足要求，则通过调节参数，再次进行多迁移学习训练，直到精度满足要求为止。 最后将满足测试精度要求的已训练的由粗到精级联Faster R-CNN用于实现并联机器人水果 分拣系统中堆叠串类水果的在线主果梗识别和提取，并提高识别和提取的精度和效率，为 基于立体视觉的并联机器人实现对堆叠串类水果的准确、快速、无损自动分拣奠定基础。
具体实施方式以本课题组研发的并联机器人堆叠串类水果分拣系统为例、白罗莎葡萄 串为对象进行描述。
参见图1，其具体步骤如下：
步骤1、并联机器人水果分拣系统下基于Kinect传感器的堆叠串类水果的立体视觉系 统构建：本发明基于Kinect传感器和并联机器人水果分拣系统共同构建堆叠串类水果的 立体视觉检测系统。将Kinect传感器置于分拣系统的检测平台上方，检测平台中心轴线 处。
参见图2，为减少硬件带来的测量误差，选择Kinect传感器的物距为500～2000mm之 间，靠近光轴中心，深度检测误差<2mm的位置作为本发明的视觉检测范围。根据并联机器 人水果分拣系统中，检测平面大小900*860mm2，水果串堆叠的高度范围0～200mm，选择检 测平台到Kinect传感器的距离为550～750mm。根据式(1)～(6)，求得传感器在550mm和750mm 时分别的视场平面大小为770.2*635.1mm2和1050.3*866.1mm2，因此选择物距为750mm的 平面作为检测平面。
FOVh1＝LCD＝2LCM (3)
FOVv1＝LAB＝2LAM (4)
FOVh2＝LGH＝2LGN (5)
FOVv2＝LEF＝2LEN (6)
其中，FOVh1和FOVv1分别为物距为550mm时的视场长和宽，FOVh2和FOVv2分别为物距为 750mm时的视场长和宽。
基于式(7)求得在750mm物距的最大视场下，对于实际堆叠串类水果主果梗直径范围 5～20mm，在获取的深度图像中，主果梗对应的像素范围为2.44～9.76像素，满足检测的像 素需求。
其中，FOV为视场的长或宽，Pa为主果梗的实际直径，单位均为mm。DR为深度图像分辨率的长或宽，Pi为主果梗映射在图像上的直径，单位均为像素。
步骤2、堆叠串类水果主果梗识别和提取的数据集构建和扩充：参见图3，为深度神经 网络可以学习到尽可能多而有效的图像特征，本发明采用了用于学习图像的边缘、轮廓、 纹理以及角点等一般特征的具有多种对象的大数据集。并构建了用于学习堆叠串类水果的 水果串特征和主果梗特征的小数据集。同时，采用图像旋转、镜像变化、尺度变化、加噪 处理方法对构建的数据集进行扩充，并将基于相机标定参数配准后的图像用以进一步扩充 构建的小数据集，增加数据集分布范围。
具体如下:
首先，大数据集采用CIFAR-10、ImageNet等现有的大型数据集，用于预训练网络。
之后，基于并联机器人堆叠串类水果分拣系统下Kinect传感器获取到的RGB-D图像包 括彩色图像和深度图像。为使所识别和提取的彩色图像中的主果梗区域可以与深度图像中 的主果梗区域一一对应，本发明基于与深度图像配准后的彩色图像对堆叠串类水果的主果 梗区域进行提取和分级。通过对Kinect传感器中的彩色相机和深度相机进行双目标定，基 于标定参数实现原始彩色图像与原始深度图像的配准，获取配准后的彩色图像。同时，将 原始彩色图像和配准后的彩色图像共同用以构建堆叠串类水果数据集和堆叠串类水果主果 梗数据集。
之后，采用图像处理方法对数据集进行变换和扩充，具体方法包括了图像多种角度的 旋转、图像的水平镜像、图像的垂直镜像、图像的中心镜像、图像的多种尺度变化、图像 的多种加噪处理等。以增加数据集分布范围，进一步用以提高网络对堆叠串类水果特征和 堆叠串类水果主果梗特征的学习能力。
最后，对扩充后的数据集进行随机选取，随机选取60％的堆叠串类水果数据集作为堆 叠串类水果训练集，随机选取40％的堆叠串类水果数据集作为堆叠串类水果测试集。并对 堆叠串类水果数据集进行人工主果梗区域的剪切提取，构建堆叠串类水果主果梗训练集， 用以测试网络性能和精度。
步骤3、构建一种能够提取小对象特征的卷积神经网络：由于用于本发明并联机器人 水果分拣系统的抓取检测视场需覆盖整个工作空间，因此使得堆叠串类水果上的主果梗在 RGB-D图像中成像较小，导致基于现有卷积神经网络所提取的堆叠串类水果主果梗小区域 的特征较少。因此本发明设计无尺度变化的卷积层、较小尺度变化的池化层和多全连接层， 构建一种能够提取小对象特征的卷积神经网络，以减少图像尺度的降低，增加在并联机器 人水果分拣系统中所需的视觉检测大视场下网络提取的主果梗小区域的特征量，为堆叠串 类水果主果梗的准确识别和提取奠定基础。
参见图4，本发明构建的一种能够提取小对象特征的卷积神经网络包括图像输入、特 征提取和分类三部分。
其具体如下：
(1)一种能够提取小对象特征的卷积神经网络的图像输入部分。本发明基于数据集中 标签框的真实值大小设计图像输入层的神经元数量。首先根据获取的堆叠串类水果数据集， 统计标记的标签框的真实值大小。根据式(8)～(9)求取数据集中标签框的真实值宽度均值 Wa和高度均值Ha，其中Wi和Hi分别为第i个主果梗标签框真实值的宽度和高度，n为参 与统计的主果梗标签框的数量。
为减少图像失真和保留更多的原始图像信息，基于宽度均值Wa和高度均值Ha设计CNN 的图像输入层的神经元数量。同时通过将输入图像减去堆叠串类水果数据集的平均图像实 现对图像输入层中输入数据的归一化处理。
(2)一种能够提取小对象特征的卷积神经网络的特征提取部分，主要包括了卷积结构 和全连接结构。
卷积结构包括了无图像尺度变化的卷积层、具有较小图像尺度变化的最大池化层和平 均池化层、ReLu(Rectified Linear Units)激活函数。本发明通过三次无图像尺度变化的 卷积层和具有较小图像尺度变化的池化层，获取原始图像上表针主果梗信息的特征图，降 低原始特征信息的丢失。
对于卷积层，基于式(10)计算卷积层初始参数，使得卷积层的输入和输出特征图尺度 一致。其中osc为卷积层输出特征图的长或宽，isc为卷积层输入特征图的长或宽，fs为卷 积层滤波器的大小，pc为填充大小，sc为步长。对图像进行边缘填充，降低卷积过程中边缘信息的丢失。
对于池化层，本发明包括了最大池化层和平均池化层，均基于式(11)计算池化层初始 参数，使得池化层的输出特征图以2倍下采样输入特征图。其中osp为池化层输出特征图的 长或宽，isp为池化层输入特征图的长或宽，ps为池化大小，pp为填充大小，sp为步长。
对于ReLu激活函数，本发明基于式(12)对输入的每个元素执行阈值操作，所有小于0 的值均设置为0，用以减少数据冗余，保留重要特征。
对于全连接结构，主要包括了ReLu激活函数、全连接层和丢弃层。为防止过拟合，将 网络中加入了丢弃层，在训练时随机设置某些元素权值为0，同时可提高网络训练速度。同时本发明通过增加全连接层的数量，用以提高网络对提取的特征图的学习能力。
(3)一种能够提取小对象特征的卷积神经网络的分类部分，主要包括了Softmax层和 分类输出层。
步骤4、参见图5，基于构建的CNN架构和设计的由粗到精和参数分享策略改进现有Faster R-CNN：堆叠串类水果中果梗和果粒分布无规律、主果梗无形状和位置约束、水果串形态多样等特征，导致基于现有Faster R-CNN难以实现高精度的堆叠串类水果主果梗识别和提取。同时，堆叠串类水果上的果粒、果蒂等元素使得主果梗的背景不单一，导致堆叠 串类水果主果梗的识别和提取的精度更加难以提高。为此，本发明将所构建的CNN架构用 于进一步地改进现有Faster R-CNN，并设计由粗到精和参数分享策略实现Faster R-CNN 的级联，构建一种用于堆叠串类水果主果梗识别和提取的改进后的由粗到精级联Faster R-CNN模型。
具体如下：
本发明所改进的由粗到精级联Faster R-CNN模型包括两级深度神经网络。第一级深度 神经网络用于提取图像中堆叠串类水果所在区域，第二级深度神经网络用于提取堆叠串类 水果区域中的主果梗区域，两级深度神经网络共享CNN架构和参数。分级串联的网络模型 设计，降低了图像中背景因素的干扰，提高了主果梗提取的精度和效率。
每级中的深度神经网络均采用Faster R-CNN架构。首先采用所构建的能够提取小对象 特征的CNN架构中的卷积结构提取输入图像的特征图。之后采用所构建的CNN架构构建候 选区域生成网络，基于候选区域生成网络从卷积架构输出的特征图中生成大量候选区域作 为对象可能存在的区域。最后基于分类网络对候选区域进行筛选，获取对象所在的区域， 并通过图像投影计算，获取对象区域所对应的原始图像中的位置，实现对象的识别和提取。
本发明的由粗到精级联Faster R-CNN模型中，每级中的深度神经网络将候选区域生成、 特征提取、分类和位置精修四部分均统一到一个深度网络框架之内，减少了重复计算，大 大提高了运行速度。同时，每级的深度神经网络中均采用了非极大值抑制，对获取到的候 选区域和最终网络得到的候选区域各自采用不同的IoU(Intersection-over-Union)阈值进 行筛选，去掉重合度较高的区域，大大降低了同一串水果的主果梗对应多个候选框的可能 性。
步骤5、参见图1，基于多迁移学习策略的网络训练和基于可视化分析的网络精度测试： 本发明采用所构建的训练数据集对改进的网络模型进行多迁移学习，实现网络模型的离线 训练。同时基于构建的测试数据集对训练完成后的网络进行可视化分析和精度测试，并对 精度进行判断，若精度不满足要求，则通过调节参数，再次进行多迁移学习训练，直到精 度满足要求为止。
具体步骤如下：
(1)基于多迁移学习策略的网络训练：本发明采用多迁移学习的方法，结合多数据集 对构建的网络模型进行训练。首先基于大数据集对构建的CNN架构进行预训练，学习图像 的边缘、纹理、方向等一般特征。将预训练之后的CNN架构用于改进的级联Faster R-CNN模型。之后采用构建的堆叠串类水果训练集对级联Faster R-CNN模型的第一级进行再训练， 学习堆叠串类水果的区域特征。之后将再训练的级联Faster R-CNN模型的第一级中的CNN 架构和参数用于级联Faster R-CNN模型的第二级，作为级联Faster R-CNN模型第二级的 初始训练参数。之后采用构建的堆叠串类水果主果梗训练集对级联Faster R-CNN模型的第 二级进行微调，学习堆叠串类水果的主果梗区域特征。
(2)基于可视化分析的网络精度测试：本发明采用可视化分析，对训练后的网络学习 能力进行评估。首先通过提取预训练后CNN架构的卷积层权值参数，分析预训练的CNN架构对图像的边缘、纹理、方向等一般特征的学习能力。之后对级联Faster R-CNN模型的两级中的深度神经网络进行评估，分别提取其不同卷积层和全连接层的输出特征图进行分析， 评估其学习能力。最后采用堆叠串类水果测试集统计计算级联Faster R-CNN模型的检测精 度，并对精度进行判断，若精度不满足要求，则通过调节参数，再次进行训练，直到精度 满足要求为止。
步骤6、参见图1和图6，基于已训练网络模型的堆叠串类水果主果梗识别和提取：将 满足测试精度要求的已训练的由粗到精级联Faster R-CNN模型用于实现并联机器人水果分 拣系统中堆叠串类水果的在线主果梗识别和提取，并提高识别和提取的精度和效率，为基 于立体视觉的并联机器人实现对堆叠串类水果的准确、快速、无损自动分拣奠定基础。
具体步骤如下：
(1)堆叠串类水果的RGB-D图像获取：基于并联机器人堆叠串类水果分拣系统下的Kinect传感器获取堆叠串类水果的RGB-D图像，提取其中的原始彩色图像和深度图像。
(2)相机标定与图像配准：对Kinect传感器中的彩色相机和深度相机进行双目标定， 获取相机的内外参数。并基于内外参数计算彩色图像和深度图像的对应关系。基于转换关 系，实现原始彩色图像与原始深度图像的配准，获取配准后的彩色图像。
(3)基于改进的由粗到精级联Faster R-CNN的堆叠串类水果的在线主果梗识别和提 取：将配准后的彩色图像作为输入，基于训练后满足测试精度要求的由粗到精级联Faster R-CNN模型实现堆叠串类水果的在线主果梗识别和提取，定位主果梗在原始图像中的区域。 位置参数以方框的顶点坐标进行描述。
(4)主果梗区域的剪切与分割：对网络获取的主果梗区域进行剪切，得到对应的主果 梗图像，并对应标号，便于并联机器人实际抓取位置的确定。将得到的主果梗区域采用Niblack局部阈值方法进行二值化，如式(6)所示，对于图像I(x,y)，在(x,y)处的阈值T(x,y)由局部均值m(x,y)和局部标准差s(x,y)决定，k表示调整系数。
T(x,y)＝m(x,y)+k*s(x,y)(6)
最终得到主果梗二值图像，其中主果梗像素值为1，其他为0，完成用于并联机器人水 果分拣系统的堆叠串类水果主果梗识别和提取。
至此，用于并联机器人水果分拣系统的堆叠串类水果主果梗识别和提取已完成。
实施例
本发明着重提出了一种用于并联机器人的堆叠串类水果主果梗识别和提取方法，解决 形如葡萄、桂圆、荔枝等堆叠串类水果由于其果梗和果粒分布无规律、主果梗无形状和位 置约束、水果串形态多样等原因，导致的主果梗难以识别和提取的难题。同时针对主果梗 在RGB-D图像中成像较小和主果梗的背景不单一导致的基于现有深度神经网络难以实现高 精度的堆叠串类水果主果梗识别和提取的问题，构建一种能够提取小对象特征的卷积神经 网络，以减少图像尺度的降低，增加在并联机器人水果分拣系统中所需的视觉检测大视场 下网络提取的主果梗小区域的特征量。并将所构建的CNN架构用于进一步地改进现有 Faster R-CNN，并设计由粗到精和参数分享策略实现Faster R-CNN的级联，构建一种用于 堆叠串类水果主果梗识别和提取的改进后的由粗到精级联Faster R-CNN模型。
具体实施例以本课题组研发的并联机器人水果分拣系统为例、白罗莎葡萄为对象进行 描述。其具体实施方式如下：
1、并联机器人水果分拣系统下基于Kinect传感器的堆叠串类水果的立体视觉系统构 建：本发明基于Kinect传感器和并联机器人水果分拣系统共同构建堆叠串类水果的立体 视觉检测系统。将Kinect传感器置于分拣系统的检测平台上方，检测平台中心轴线处。
为减少硬件带来的测量误差，选择Kinect传感器的物距在500～2000mm之间，靠近光 轴中心，深度检测误差<2mm的位置作为本发明的视觉检测范围。根据并联机器人水果分拣 系统中，检测平面大小900*860mm2，水果串堆叠的高度范围0～200mm，选择检测平台到Kinect 传感器的距离为550～750mm。根据式(1)～(6)，求得传感器在550mm和750mm时分别的视场 平面大小为770.2*635.1mm2和1050.3*866.1mm2，因此选择物距为750mm的平面作为检测 平面。
FOVh1＝LCD＝2LCM (3)
FOVv1＝LAB＝2LAM (4)
FOVh2＝LGH＝2LGN (5)
FOVv2＝LEF＝2LEN (6)
其中，FOVh1和FOVv1分别为物距为550mm时的视场长和宽，FOVh2和FOVv2分别为物距为 750mm时的视场长和宽。
基于式(7)求得在750mm物距的最大视场条件下，对于实际堆叠串类水果主果梗直径范 围5～20mm，在获取的深度图像中，主果梗对应的像素范围为2.44～9.76像素，满足检测的 像素需求。
其中，FOV为视场的长或宽，Pa为主果梗的直径，单位均为mm。DR为深度图像分辨率的长或宽，Pi为主果梗映射在图像上的直径，单位均为像素。
参见图7，为Kinect传感器的三维信息获取示意图，其中白色实体区域为物距750mm 的检测平面；白色边框区域为其他背景区域，不作为检测区域；凸起的白色块为自然放置 的堆叠串类水果；红色实线区域为Kinect传感器的检测范围。
2、堆叠串类水果主果梗识别和提取的数据集构建和扩充：为深度神经网络可以学习到 尽可能多而有效的图像特征，本发明采用了用于学习图像的边缘、轮廓、纹理以及角点等 一般特征的具有多种对象的大数据集。并构建了用于学习堆叠串类水果的水果串特征和主 果梗特征的小数据集。同时，采用图像旋转、镜像变化、尺度变化、加噪处理方法对构建 的数据集进行扩充，并将基于相机标定参数配准后的图像用以进一步扩充构建的小数据集， 增加数据集分布范围。
具体如下:
首先，大数据集采用CIFAR-10、ImageNet等现有的大型数据集，用于预训练网络。
之后，基于并联机器人堆叠串类水果分拣系统下Kinect传感器获取到的RGB-D图像包 括彩色图像和深度图像。为使所识别和提取的彩色图像中的主果梗区域可以与深度图像中 的主果梗区域一一对应，本发明基于与深度图像配准后的彩色图像对堆叠串类水果的主果 梗区域进行提取和分级。通过对Kinect传感器中的彩色相机和深度相机进行双目标定，基 于标定参数实现原始彩色图像与原始深度图像的配准，获取配准后的彩色图像。同时，将 原始彩色图像和配准后的彩色图像共同用以构建堆叠串类水果数据集和堆叠串类水果主果 梗数据集。
之后，参见图8，采用图像处理方法对数据集进行变换和扩充。具体方法包括了图像 多种角度的旋转、图像的水平镜像、图像的垂直镜像、图像的中心镜像、图像的多种尺度变化、图像的多种加噪处理等。以增加数据集分布范围，进一步用以提高网络对堆叠串类水果特征和堆叠串类水果主果梗特征的学习能力。
最后，对扩充后的数据集进行随机选取，随机选取60％的堆叠串类水果数据集作为堆 叠串类水果训练集，随机选取40％的堆叠串类水果数据集作为堆叠串类水果测试集。并对 堆叠串类水果数据集进行人工主果梗区域的剪切提取，构建堆叠串类水果主果梗训练集。， 用以测试网络性能和精度。
3、构建一种能够提取小对象特征的卷积神经网络：由于用于本发明并联机器人水果分 拣系统的抓取检测视场需覆盖整个工作空间，因此使得堆叠串类水果上的主果梗在RGB-D 图像中成像较小，导致基于现有卷积神经网络所提取的堆叠串类水果主果梗小区域的特征 较少。因此本发明设计无尺度变化的卷积层、较小尺度变化的池化层和多全连接层，构建 一种能够提取小对象特征的卷积神经网络，以减少图像尺度的降低，增加在并联机器人水 果分拣系统中所需的视觉检测大视场下网络提取的主果梗小区域的特征量，为堆叠串类水 果主果梗的准确识别和提取奠定基础。
本发明构建的一种能够提取小对象特征的卷积神经网络包括图像输入、特征提取和分 类三部分。
其具体如下：
(1)一种能够提取小对象特征的卷积神经网络的图像输入部分。本发明基于数据集中 标签框的真实值大小设计图像输入层的神经元数量。首先根据获取的堆叠串类水果数据集， 统计标记的标签框的真实值大小。根据式(8)～(9)求取数据集中标签框的真实值宽度均值 Wa和高度均值Ha，其中Wi和Hi分别为第i个主果梗标签框真实值的宽度和高度，n为参 与统计的主果梗标签框的数量。
为减少图像失真和保留更多的原始图像信息，基于宽度均值Wa和高度均值Ha设计CNN 的图像输入层的神经元数量。同时通过将输入图像减去堆叠串类水果数据集的平均图像实 现对图像输入层中输入数据的归一化处理。
(2)一种能够提取小对象特征的卷积神经网络的特征提取部分，主要包括了卷积结构 和全连接结构。
卷积结构包括了无图像尺度变化的卷积层、具有较小图像尺度变化的最大池化层和平 均池化层、ReLu(Rectified Linear Units)激活函数。本发明通过三次无图像尺度变化的 卷积层和具有较小图像尺度变化的池化层，获取原始图像上表针主果梗信息的特征图，降 低原始特征信息的丢失。
对于卷积层，基于式(10)计算卷积层初始参数，使得卷积层的输入和输出特征图尺度 一致。其中osc为卷积层输出特征图的长或宽，isc为卷积层输入特征图的长或宽，fs为卷 积层滤波器的大小，pc为填充大小，sc为步长。对图像进行边缘填充，降低卷积过程中边缘信息的丢失。
对于池化层，本发明包括了最大池化层和平均池化层，均基于式(11)计算池化层初始 参数，使得池化层的输出特征图以2倍下采样输入特征图。其中osp为池化层输出特征图的 长或宽，isp为池化层输入特征图的长或宽，ps为池化大小，pp为填充大小，sp为步长。
对于ReLu激活函数，本发明基于式(12)对输入的每个元素执行阈值操作，所有小于0 的值均设置为0，用以减少数据冗余，保留重要特征。
对于全连接结构，主要包括了ReLu激活函数、全连接层和丢弃层。为防止过拟合，将 网络中加入了丢弃层，在训练时随机设置某些元素权值为0，同时可提高网络训练速度。同时本发明通过增加全连接层的数量，用以提高网络对提取的特征图的学习能力。
(3)一种能够提取小对象特征的卷积神经网络的分类部分，主要包括了Softmax层和 分类输出层。
4、基于构建的CNN架构和设计的由粗到精和参数分享策略改进现有Faster R-CNN： 堆叠串类水果中果梗和果粒分布无规律、主果梗无形状和位置约束、水果串形态多样等特 征，导致基于现有Faster R-CNN难以实现高精度的堆叠串类水果主果梗识别和提取。同时， 堆叠串类水果上的果粒、果蒂等元素使得主果梗的背景不单一，导致堆叠串类水果主果梗 的识别和提取的精度更加难以提高。为此，本发明将所构建的CNN架构用于进一步地改进 现有Faster R-CNN，并设计由粗到精和参数分享策略实现Faster R-CNN的级联，构建一 种用于堆叠串类水果主果梗识别和提取的改进后的由粗到精级联Faster R-CNN模型。
具体如下：
本发明所改进的由粗到精级联Faster R-CNN模型包括两级深度神经网络。第一级深度 神经网络用于提取图像中堆叠串类水果所在区域，第二级深度神经网络用于提取堆叠串类 水果区域中的主果梗区域，两级深度神经网络共享CNN架构和参数。分级串联的网络模型 设计，降低了图像中背景因素的干扰，提高了主果梗提取的精度和效率。
每级中的深度神经网络均采用Faster R-CNN架构。首先采用所构建的能够提取小对象 特征的CNN架构中的卷积结构提取输入图像的特征图。之后采用所设计的CNN架构构建候 选区域生成网络，基于候选区域生成网络从卷积架构输出的特征图中生成大量候选区域作 为对象可能存在的区域。最后基于分类网络对候选区域进行筛选，获取对象所在的区域， 并通过图像投影计算，获取对象区域所对应的原始图像中的位置，实现对象的识别和提取。
本发明的由粗到精级联Faster R-CNN模型中，每级中的深度神经网络将候选区域生成、 特征提取、分类和位置精修四部分均统一到一个深度网络框架之内，减少了重复计算，大 大提高了运行速度。同时，每级的深度神经网络中均采用了非极大值抑制，对获取到的候 选区域和最终网络得到的候选区域各自采用不同的IoU(Intersection-over-Union)阈值进 行筛选，去掉重合度较高的区域，大大降低了同一串水果的主果梗对应多个候选框的可能 性。
5、基于多迁移学习策略的网络训练和基于可视化分析的网络精度测试：本发明采用所 构建的训练数据集对改进的网络模型进行多迁移学习，实现网络模型的离线训练。同时基 于构建的测试数据集对训练完成后的网络进行可视化分析和精度测试，并对精度进行判断， 若精度不满足要求，则通过调节参数，再次进行多迁移学习训练，直到精度满足要求为止。
具体步骤如下：
(1)基于多迁移学习策略的网络训练：本发明采用多迁移学习的方法，结合多数据集 对构建的网络模型进行训练。首先基于大数据集对构建的CNN架构进行预训练，学习图像 的边缘、纹理、方向等一般特征。将预训练之后的CNN架构用于改进的级联Faster R-CNN模型。之后采用构建的堆叠串类水果训练集对级联Faster R-CNN模型的第一级进行再训练， 学习堆叠串类水果的区域特征。之后将再训练的级联Faster R-CNN模型的第一级中的CNN 架构和参数用于级联Faster R-CNN模型的第二级，作为级联Faster R-CNN模型第二级的 初始训练参数。之后采用构建的堆叠串类水果主果梗训练集对级联Faster R-CNN模型的第 二级进行微调，学习堆叠串类水果的主果梗区域特征。
(2)基于可视化分析的网络精度测试：本发明采用可视化分析，对训练后的网络学习 能力进行评估。首先通过提取预训练后CNN架构的卷积层权值参数，分析预训练的CNN架构对图像的边缘、纹理、方向等一般特征的学习能力。之后对级联Faster R-CNN模型的两级中的深度神经网络进行评估，分别提取其不同卷积层和全连接层的输出特征图进行分析， 评估其学习能力。最后采用堆叠串类水果测试集统计计算级联Faster R-CNN模型的检测精 度，并对精度进行判断，若精度不满足要求，则通过调节参数，再次进行训练，直到精度 满足要求为止。
6、基于已训练网络模型的堆叠串类水果主果梗识别和提取：将满足测试精度要求的已 训练的由粗到精级联Faster R-CNN模型用于实现并联机器人水果分拣系统中堆叠串类水果 的在线主果梗识别和提取，并提高识别和提取的精度和效率，为基于立体视觉的并联机器 人实现对堆叠串类水果的准确、快速、无损自动分拣奠定基础。
具体步骤如下：
(1)堆叠串类水果的RGB-D图像获取：基于并联机器人堆叠串类水果分拣系统下的Kinect传感器获取堆叠串类水果的RGB-D图像，提取其中的原始彩色图像和深度图像。
(2)相机标定与图像配准：对Kinect传感器中的彩色相机和深度相机进行双目标定， 获取相机的内外参数。并基于内外参数计算彩色图像和深度图像的对应关系。基于转换关 系，实现原始彩色图像与原始深度图像的配准，获取配准后的彩色图像。
(3)基于改进的由粗到精级联Faster R-CNN的堆叠串类水果的在线主果梗识别和提 取：将配准后的彩色图像作为输入，基于训练后满足测试精度要求的由粗到精级联Faster R-CNN模型实现堆叠串类水果的在线主果梗识别和提取，定位主果梗在原始图像中的区域。 位置参数以方框的顶点坐标进行描述。
(4)主果梗区域的剪切与分割：对网络获取的主果梗区域进行剪切，得到对应的主果 梗图像，并对应标号，便于并联机器人实际抓取位置的确定。将得到的主果梗区域采用Niblack局部阈值方法进行二值化，如式(6)所示，对于图像I(x,y)，在(x,y)处的阈值 T(x,y)由局部均值m(x,y)和局部标准差s(x,y)决定，k表示调整系数。
T(x,y)＝m(x,y)+k*s(x,y)(6)
最终得到主果梗二值图像，其中主果梗像素值为1，其他为0，完成用于并联机器人水 果分拣系统的堆叠串类水果主果梗识别和提取。
本实施例基于并联机器人水果分拣系统构建堆叠串类水果图像采集的机器视觉硬件， 通过平台基于kinect传感器采集白罗莎葡萄的不同形态下的可见光图像，并进行基于深度 神经网络的堆叠串类水果主果梗识别和提取实验，得到彩色图像中与深度图像对应的主果 梗所在的区域的位置，并转换为二值区域图像。为基于立体视觉的并联机器人实现对堆叠 串类水果的准确、快速、无损自动分拣奠定基础。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示 例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、 材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示 意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特 点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离 本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发 明的范围由权利要求及其等同物限定。

Claims (8)

1.一种用于并联机器人的堆叠串类水果主果梗识别和提取方法，其特征在于，包括如下步骤：
步骤1，对堆叠串类水果主果梗识别和提取的数据集构建和扩充；
步骤2，对堆叠串类水果主果梗提取小对象特征的卷积神经网络的构建，包括图像输入、特征提取和分类三部分；
步骤3，构建堆叠串类水果主果梗数据集的CNN架构和设计的由粗到精和参数分享策略改进现有Faster R-CNN模型；
步骤4，对堆叠串类水果主果梗数据集多迁移学习策略的网络训练和基于可视化分析的网络精度测试；
步骤5，在已训练网络模型的基础上对堆叠串类水果主果梗识别和提取。
2.根据权利要求1所述的一种用于并联机器人的堆叠串类水果主果梗识别和提取方法，其特征在于：所述步骤1中，
采用用于学习图像的边缘、轮廓、纹理以及角点的一般特征的具有多种对象的大数据集，并构建了用于学习堆叠串类水果的水果串特征和主果梗特征的小数据集。
3.根据权利要求2所述的一种用于并联机器人的堆叠串类水果主果梗识别和提取方法，其特征在于：具体包括了堆叠串类水果数据集和堆叠串类水果主果梗数据集，同时，采用图像处理方法对数据集进行变换和扩充，具体方法包括了图像多种角度的旋转、图像的水平镜像、图像的垂直镜像、图像的中心镜像、图像的多种尺度变化、图像的多种加噪处理，并将基于相机标定参数配准后的图像用以进一步扩充构建的小数据集，以增加数据集分布范围，并进一步用以提高网络对堆叠串类水果特征和堆叠串类水果主果梗特征的学习能力。
4.根据权利要求1所述的一种用于并联机器人的堆叠串类水果主果梗识别和提取方法，其特征在于：所述步骤2具体如下：
步骤2.1，图像输入部分：
基于数据集中标签框的真实值大小设计图像输入层的神经元数量，首先根据获取的堆叠串类水果数据集，统计标签框的真实值大小，根据式(1)～(2)求取数据集中标签框的真实值宽度均值Wa和高度均值Ha，其中Wi和Hi分别为第i个主果梗标签框真实值的宽度和高度，n为参与统计的主果梗标签框的数量；
为减少图像失真和保留更多的原始图像信息，基于宽度均值Wa和高度均值Ha设计图像输入层的神经元数量，同时通过将输入图像减去堆叠串类水果数据集的平均图像实现对图像输入层中输入数据的归一化处理；
步骤2.2，特征提取部分：
主要包括了卷积结构和全连接结构；
卷积结构包括了无图像尺度变化的卷积层、具有较小图像尺度变化的最大池化层和平均池化层、ReLu激活函数，本发明通过三次无图像尺度变化的卷积和具有较小图像尺度变化的池化，获取原始图像上表针主果梗信息的特征图，降低原始特征信息的丢失；
对于卷积层，基于式(3)计算卷积层初始参数，使得卷积层的输入和输出特征图尺度一致，其中osc为卷积层输出特征图的长或宽，isc为卷积层输入特征图的长或宽，fs为卷积层滤波器的大小，pc为填充大小，sc为步长，对图像进行边缘填充，降低卷积过程中边缘信息的丢失；
对于池化层，本发明包括了最大池化层和平均池化层，均基于式(4)计算池化层初始参数，使得池化层的输出特征图以2倍下采样输入特征图，其中osp为池化层输出特征图的长或宽，isp为池化层输入特征图的长或宽，ps为池化大小，pp为填充大小，sp为步长；
对于ReLu激活函数，本发明基于式(5)对输入的每个元素执行阈值操作，所有小于0的值均设置为0，用以减少数据冗余，保留重要特征；
对于全连接结构，主要包括了ReLu激活函数、全连接层和丢弃层，为防止过拟合，将网络中加入了丢弃层，在训练时随机设置某些元素权值为0，通过增加全连接层的数量，用以提高网络对提取的特征图的学习能力；
步骤2.3，分类部分：主要包括了Softmax层和分类输出层。
5.根据权利要求1所述的一种用于并联机器人的堆叠串类水果主果梗识别和提取方法，其特征在于：所述步骤3具体如下：
本发明所改进的由粗到精级联Faster R-CNN模型包括两级深度神经网络，第一级深度神经网络用于提取图像中堆叠串类水果区域；第二级深度神经网络用于提取堆叠串类水果区域中的主果梗区域，两级深度神经网络共享CNN架构和参数；
每级中的深度神经网络均采用Faster R-CNN架构，首先采用所构建的能够提取小对象特征的CNN架构中的卷积结构提取输入图像的特征图，之后采用所构建的CNN架构构建候选区域生成网络，基于候选区域生成网络从卷积架构输出的特征图中生成大量候选区域作为对象可能存在的区域，最后基于分类网络对候选区域进行筛选，获取对象所在的区域，并通过图像投影计算，获取对象区域所对应的原始图像中的位置，实现对象的识别和提取。
6.根据权利要求5所述的一种用于并联机器人的堆叠串类水果主果梗识别和提取方法，其特征在于：所述的由粗到精级联Faster R-CNN模型中，每级中的深度神经网络将候选区域生成、特征提取、分类和位置精修四部分均统一到一个深度网络框架之内，每级的深度神经网络中均采用了非极大值抑制，对获取到的候选区域和最终网络得到的候选区域各自采用不同的IoU阈值进行筛选，去掉重合度较高的区域。
7.根据权利要求1所述的一种用于并联机器人的堆叠串类水果主果梗识别和提取方法，其特征在于：所述步骤4具体如下：
步骤4.1，基于多迁移学习策略的网络训练：采用多迁移学习的方法，结合多数据集对构建的网络模型进行训练；首先基于大数据集对构建的CNN架构进行预训练，学习图像的边缘、纹理、方向的一般特征，将预训练之后的CNN架构用于改进的级联Faster R-CNN模型，之后采用构建的堆叠串类水果训练集对级联Faster R-CNN模型的第一级进行再训练，学习堆叠串类水果的区域特征，之后将再训练的级联Faster R-CNN模型的第一级中的CNN架构和参数用于级联Faster R-CNN模型的第二级，作为级联Faster R-CNN模型第二级的初始训练参数，之后采用构建的堆叠串类水果主果梗训练集对级联Faster R-CNN模型的第二级进行微调，学习堆叠串类水果的主果梗区域特征；
步骤4.2，基于可视化分析的网络精度测试：采用可视化分析，对训练后的网络学习能力进行评估；首先通过提取预训练后CNN架构的卷积层权值参数，分析预训练的CNN架构对图像的边缘、纹理、方向的一般特征的学习能力，之后对级联Faster R-CNN模型的两级中的深度神经网络进行评估，分别提取其不同卷积层和全连接层的输出特征图进行分析，评估其学习能力，最后采用堆叠串类水果测试集统计计算级联Faster R-CNN模型的检测精度，并对精度进行判断，若精度不满足要求，则通过调节参数，再次进行训练，直到精度满足要求为止。
8.根据权利要求1所述的一种用于并联机器人的堆叠串类水果主果梗识别和提取方法，其特征在于：所述步骤5具体如下：
将满足测试精度要求的已训练的由粗到精级联Faster R-CNN模型用于实现并联机器人水果分拣系统中堆叠串类水果的在线主果梗识别和提取。
CN201811589864.6A 2018-12-25 2018-12-25 一种用于并联机器人的堆叠串类水果主果梗识别和提取方法 Active CN109784204B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811589864.6A CN109784204B (zh) 2018-12-25 2018-12-25 一种用于并联机器人的堆叠串类水果主果梗识别和提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811589864.6A CN109784204B (zh) 2018-12-25 2018-12-25 一种用于并联机器人的堆叠串类水果主果梗识别和提取方法

Publications (2)

Publication Number Publication Date
CN109784204A true CN109784204A (zh) 2019-05-21
CN109784204B CN109784204B (zh) 2023-04-07

Family

ID=66497634

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811589864.6A Active CN109784204B (zh) 2018-12-25 2018-12-25 一种用于并联机器人的堆叠串类水果主果梗识别和提取方法

Country Status (1)

Country Link
CN (1) CN109784204B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110246132A (zh) * 2019-06-23 2019-09-17 中车青岛四方车辆研究所有限公司 轨道车辆螺栓松动检测方法及系统
CN110853080A (zh) * 2019-09-30 2020-02-28 广西慧云信息技术有限公司 一种田间果实尺寸的测量方法
CN111199192A (zh) * 2019-12-23 2020-05-26 中国农业大学 一种采用平行线取样的田间红提葡萄整体成熟度检测方法
CN111523429A (zh) * 2020-04-16 2020-08-11 中冶赛迪重庆信息技术有限公司 基于深度学习的堆钢识别方法
CN112016622A (zh) * 2020-08-28 2020-12-01 中移（杭州）信息技术有限公司 模型训练的方法、电子设备和计算机可读存储介质
CN112149501A (zh) * 2020-08-19 2020-12-29 北京豆牛网络科技有限公司 具有包装的果蔬的识别方法、识别装置、电子设备以及计算机可读介质
CN112488233A (zh) * 2020-12-09 2021-03-12 中国农业科学院农业资源与农业区划研究所 一种基于果纹图谱信息的编码和识别方法及装置
CN112715162A (zh) * 2021-01-21 2021-04-30 重庆文理学院 一种智能化采摘串型水果的系统
CN112784735A (zh) * 2021-01-21 2021-05-11 重庆文理学院 基于单目相机与双目相机识别串型水果母枝的方法
CN113077450A (zh) * 2021-04-12 2021-07-06 大连大学 基于深度卷积神经网络的樱桃分级检测方法及系统
CN113657551A (zh) * 2021-09-01 2021-11-16 陕西工业职业技术学院 一种用于分拣堆叠多目标的机器人抓取姿态任务规划方法
CN113762190B (zh) * 2021-09-15 2024-03-29 中科微至科技股份有限公司 一种基于神经网络的包裹堆叠检测方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101273688A (zh) * 2008-05-05 2008-10-01 江苏大学 柑橘采摘机器人的柔性采摘装置和方法
CN102124866A (zh) * 2011-01-19 2011-07-20 南京农业大学 一种轮式移动水果采摘机器人及水果采摘方法
CN107741432A (zh) * 2017-11-16 2018-02-27 天津商业大学 一种基于机器视觉的水果自动分拣机器人系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101273688A (zh) * 2008-05-05 2008-10-01 江苏大学 柑橘采摘机器人的柔性采摘装置和方法
CN102124866A (zh) * 2011-01-19 2011-07-20 南京农业大学 一种轮式移动水果采摘机器人及水果采摘方法
CN107741432A (zh) * 2017-11-16 2018-02-27 天津商业大学 一种基于机器视觉的水果自动分拣机器人系统

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110246132A (zh) * 2019-06-23 2019-09-17 中车青岛四方车辆研究所有限公司 轨道车辆螺栓松动检测方法及系统
CN110853080A (zh) * 2019-09-30 2020-02-28 广西慧云信息技术有限公司 一种田间果实尺寸的测量方法
CN111199192A (zh) * 2019-12-23 2020-05-26 中国农业大学 一种采用平行线取样的田间红提葡萄整体成熟度检测方法
CN111523429A (zh) * 2020-04-16 2020-08-11 中冶赛迪重庆信息技术有限公司 基于深度学习的堆钢识别方法
CN112149501A (zh) * 2020-08-19 2020-12-29 北京豆牛网络科技有限公司 具有包装的果蔬的识别方法、识别装置、电子设备以及计算机可读介质
CN112016622A (zh) * 2020-08-28 2020-12-01 中移（杭州）信息技术有限公司 模型训练的方法、电子设备和计算机可读存储介质
CN112488233A (zh) * 2020-12-09 2021-03-12 中国农业科学院农业资源与农业区划研究所 一种基于果纹图谱信息的编码和识别方法及装置
CN112715162A (zh) * 2021-01-21 2021-04-30 重庆文理学院 一种智能化采摘串型水果的系统
CN112784735A (zh) * 2021-01-21 2021-05-11 重庆文理学院 基于单目相机与双目相机识别串型水果母枝的方法
CN113077450A (zh) * 2021-04-12 2021-07-06 大连大学 基于深度卷积神经网络的樱桃分级检测方法及系统
CN113077450B (zh) * 2021-04-12 2024-03-12 大连大学 基于深度卷积神经网络的樱桃分级检测方法及系统
CN113657551A (zh) * 2021-09-01 2021-11-16 陕西工业职业技术学院 一种用于分拣堆叠多目标的机器人抓取姿态任务规划方法
CN113657551B (zh) * 2021-09-01 2023-10-20 陕西工业职业技术学院 一种用于分拣堆叠多目标的机器人抓取姿态任务规划方法
CN113762190B (zh) * 2021-09-15 2024-03-29 中科微至科技股份有限公司 一种基于神经网络的包裹堆叠检测方法及装置

Also Published As

Publication number Publication date
CN109784204B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN109784204A (zh) 一种用于并联机器人的堆叠串类水果主果梗识别和提取方法
CN110378196B (zh) 一种结合激光点云数据的道路视觉检测方法
CN110321923B (zh) 不同尺度感受野特征层融合的目标检测方法、系统及介质
CN106127204B (zh) 一种全卷积神经网络的多方向水表读数区域检测算法
CN109523552A (zh) 基于视锥点云的三维物体检测方法
CN107451602A (zh) 一种基于深度学习的果蔬检测方法
CN101713776B (zh) 一种基于神经网络的尿液中有形成分识别分类方法
CN110147807A (zh) 一种船舶智能识别跟踪方法
CN109241913A (zh) 结合显著性检测和深度学习的船只检测方法及系统
CN104063702B (zh) 一种基于遮挡修复和局部相似性匹配的三维步态识别方法
CN108280856A (zh) 基于混合信息输入网络模型的未知物体抓取位姿估计方法
CN108711148B (zh) 一种基于深度学习的轮胎缺陷智能检测方法
CN109711288A (zh) 基于特征金字塔和距离约束fcn的遥感船舶检测方法
CN112990310A (zh) 服务于电力机器人的人工智能系统及方法
CN104573744B (zh) 精细粒度类别识别及物体的部分定位和特征提取方法
CN107064170A (zh) 一种检测手机外壳轮廓度缺陷方法
CN107392929B (zh) 一种基于人眼视觉模型的智能化目标检测及尺寸测量方法
CN110322453A (zh) 基于位置注意力和辅助网络的3d点云语义分割方法
CN106295124A (zh) 利用多种图像检测技术综合分析基因子图相似概率量的方法
CN109829476B (zh) 基于yolo的端到端三维物体检测方法
CN111209832B (zh) 变电站巡检机器人辅助避障训练方法、设备及介质
CN109284779A (zh) 基于深度全卷积网络的物体检测方法
CN108668637A (zh) 一种机器视觉自然放置葡萄串抓取点定位方法
CN113160062B (zh) 一种红外图像目标检测方法、装置、设备及存储介质
CN113435282B (zh) 基于深度学习的无人机影像麦穗识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant