CN109863874A

CN109863874A - 一种基于机器视觉的果蔬采摘方法、采摘装置及存储介质

Info

Publication number: CN109863874A
Application number: CN201910091794.XA
Authority: CN
Inventors: 张坛; 黄惠
Original assignee: Shenzhen University
Current assignee: Shenzhen University
Priority date: 2019-01-30
Filing date: 2019-01-30
Publication date: 2019-06-11
Anticipated expiration: 2039-01-30
Also published as: US20210212257A1; WO2020155277A1; US11596104B2; CN109863874B

Abstract

本发明公开了一种基于机器视觉的果蔬采摘方法、采摘装置及存储介质，所述果蔬采摘方法包括：获取当前待采摘果蔬的果实图像，调用预先训练好的神经网络模型对所述果实图像进行识别，并判断所述待采摘果蔬的种类；获取所述待采摘果蔬的种类，并根据果蔬的种类确定所述待采摘果蔬的果柄上的可剪切区域，并定位剪切点；根据确定的剪切点，控制末端采摘装置剪断所述待采摘果蔬的果柄通过预先训练好的神经网络模型对果实进行识别后剪切果柄进行采摘，可以做到一个装置采摘多种果蔬，通用性高，并且采摘精度高，不伤果肉，提高了采摘效率和采摘果蔬的质量。

Description

一种基于机器视觉的果蔬采摘方法、采摘装置及存储介质

技术领域

本发明涉及果蔬采摘技术领域，尤其涉及的是一种基于机器视觉的果蔬采摘方法、采摘装置及存储介质。

背景技术

近年来，智能机器人的发展是研究的热点，通过智能机器人的应用，在工业、农业生产中能有效提高作业效率、降低生产的劳动强度和成本。在农业机器人方面，果蔬采摘机器人是发展现代化农业生产的主要手段之一，而采摘机器人的视觉识别和采摘方法是采摘作业能成功完成的关键技术之一。但相对于当前国内外农业生产的发展，采摘机器人的研究成果较少，大多数采摘机器人识别系统只能识别单一种类的水果或者蔬菜，只能用于采摘单一种类的果蔬，而每种水果需要不同的机械臂和末端采摘装置，这大大增加了采摘机器人的加工成本。同时，大多数机器人通过抓取果肉来采摘，但是，对于不同种类的果蔬、甚至是同一种果蔬在不同的形状、不同位置的抓取点以及抓取力矩是不一样的，而现有的果蔬采摘机器人并不能根据果蔬的种类、形状、位置等因素来确定具体的抓取点，从而影响采摘精度。

因此，现有技术还有待于改进和发展。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于机器视觉的果蔬采摘方法、采摘装置及存储介质，旨在解决现有技术中的果蔬采摘机器人无法识别多种果蔬，且无法根据不同的果蔬来确定抓取点位置的问题。

本发明解决技术问题所采用的技术方案如下：

一种基于机器视觉的果蔬采摘方法，包括：

获取当前待采摘果蔬的果实图像，调用预先训练好的神经网络模型对所述果实图像进行识别，并判断所述待采摘果蔬的种类；

获取所述待采摘果蔬的种类，并根据果蔬的种类确定所述待采摘果蔬的果柄上的可剪切区域，并定位剪切点；

根据确定的剪切点，控制末端采摘装置剪断所述待采摘果蔬的果柄。

所述的基于机器视觉的果蔬采摘方法，其中，所述获取当前待采摘果蔬的果实图像，调用预先训练好的神经网络模型对所述果实图像进行识别，并判断所述待采摘果蔬的种类的步骤之前，还包括：

预先采集不同种类的果蔬的数据集，并利用Tensorflow和Keras深度学习框架搭建Mask r-CNN网络模型；

通过监督学习方式在所述数据集上进行模型学习训练，并利用训练出的模型对不同种类果蔬的数据集进行特征提取，构建出用于自动识别果蔬的果肉的神经网络模型。

所述的基于机器视觉的果蔬采摘方法，其中，所述数据集中包括不同种类的果蔬的果实图像。

所述的基于机器视觉的果蔬采摘方法，其中，所述获取当前待采摘果蔬的果实图像，调用预先训练好的神经网络模型对所述果实图像进行识别，并判断所述待采摘果蔬的种类的步骤，包括：

利用预设在采摘装置上的摄像头设备获取待采摘果蔬的果实图像，并对所述果实图像进行预处理；

对预处理后的果实图像进行特征提取，并调用神经网络模型对提取的特征进行识别；

根据识别结果判断所述待采摘的果蔬的种类。

所述的基于机器视觉的果蔬采摘方法，其中，所述对所述果实图像进行预处理的步骤包括：对所述果实图像进行降噪、补光以及白平衡处理，以提高所述果实图像的质量。

所述的基于机器视觉的果蔬采摘方法，其中，所述对预处理后的果实图像进行特征提取，并调用神经网络模型对提取的特征进行识别的步骤包括：

调用Mask r-cnn主干网络提取出预处理后的果实图像的特征图，并使用区域建议网络生成目标的建议框；

从所述建议框中选取感兴趣区域，并对所述感兴趣区域进行类别识别，输出识别结果。

所述的基于机器视觉的果蔬采摘方法，其中，所述获取所述待采摘果蔬的种类，根据果蔬的种类确定所述待采摘果蔬的果柄上的可剪切区域，并定位剪切点的步骤，包括：

获取识别出的待采摘果蔬的种类，并根据果蔬的种类对果实图像中的果柄进行预测框选，确定出果柄区域；

根据确定出的果柄区域，确定果柄上的可剪切区域，并定位最佳剪切点。

所述的基于机器视觉的果蔬采摘方法，其中，所述根据确定的剪切点，控制末端采摘装置剪断所述待采摘果蔬的果柄的步骤，包括：

根据确定的剪切点，控制末端采摘装置将采摘果蔬的果柄夹紧；

并在夹紧果柄之后将果柄剪断，剪断锅柄之后，控制所述末端采摘装置恢复初始状态。

一种采摘装置，包括：处理器、与处理器通信连接的存储介质，所述存储介质适于存储多条指令；所述处理器适于调用所述存储介质中的指令，以执行实现上述任一项所述的基于机器视觉的果蔬采摘方法的步骤。

一种存储介质，其上存储有多条指令，其中，所述指令适于由处理器加载并执行，以执行实现上述任一项所述的基于机器视觉的果蔬采摘方法的步骤。

本发明的有益效果：本发明通过预先训练好的神经网络模型对果实进行识别后剪切果柄进行采摘，不但可以做到一个装置采摘多种果蔬，而且可以根据果实种类以及实际情况对果实进行采摘，通用性高，并且采摘精度高，不伤果肉，提高了采摘效率和采摘果蔬的质量。

附图说明

图1是本发明提供的基于机器视觉的果蔬采摘方法的较佳实施例的流程图。

图2是本发明提供的基于机器视觉的果蔬采摘方法的神经网络模型识别果肉的示意图。

图3是本发明提供的基于机器视觉的果蔬采摘方法的一个实施例的末端采摘装置的采摘夹的示意图。

图4是本发明提供的基于机器视觉的果蔬采摘方法的一个实施例的末端采摘装置的控制网络的示意图。

图5是本发明提供的采摘装置的功能原理图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供的基于机器视觉的果蔬采摘方法，可以应用于终端中。其中，终端可以但不限于是各种个人计算机、笔记本电脑、手机、平板电脑、车载电脑和便携式可穿戴设备。本发明的终端采用多核处理器。其中，终端的处理器可以为中央处理器（CentralProcessing Unit，CPU），图形处理器（Graphics Processing Unit，GPU）、视频处理单元（Video Processing Unit，VPU）等中的至少一种。

本发明提供一种基于机器视觉的果蔬采摘方法，具体如图1所示，所述方法包括：

步骤S100、获取当前待采摘果蔬的果实图像，调用预先训练好的神经网络模型对所述果实图像进行识别，并判断所述待采摘果蔬的种类。

步骤S200、获取所述待采摘果蔬的种类，并根据果蔬的种类确定所述待采摘果蔬的果柄上的可剪切区域，并定位剪切点；

步骤S300、根据确定的剪切点，控制末端采摘装置剪断所述待采摘果蔬的果柄。

具体实施时，步骤S100之前，本发明预先构建一个能够识别果实图像，并判断待采摘果蔬的种类的神经网络模型。

进一步地，构建所述神经网络模型，需要预先采集不同种类的果蔬的数据集，并利用Tensorflow（TensorFlow是谷歌基于DistBelief进行研发的第二代人工智能学习系统，其命名来源于本身的运行原理，Tensor(张量)意味着N维数组，Flow(流)意味着基于数据流图的计算，TensorFlow为张量从流图的一端流动到另一端计算过程。TensorFlow是将复杂的数据结构传输至人工智能神经网中进行分析和处理过程的系统）和Keras（Keras是一个高层神经网络API，Keras由纯Python编写而成并基Tensorflow、Theano以及CNTK后端）深度学习框架搭建Mask r-cnn网络模型，然后通过监督学习方式在所述数据集上进行模型学习训练，并利用训练出的Mask r-cnn网络模型对不同种类果蔬的数据集进行特征提取，构建出用于自动识别果蔬的果肉的神经网络模型。本实施例中的Mask r-cnn是一个小巧、灵活的通用对象实例分割框架（object instance segmentation）。它不仅可对图像中的目标进行检测，还可以对每一个目标给出一个高质量的分割结果。它在Faster r-cnn基础之上进行扩展，并行地在bounding box recognition分支上添加一个用于预测目标掩模（objectmask）的新分支。该网络还很容易扩展到其他任务中，比如估计人的姿势，也就是关键点识别（person keypoint detection）。该框架在COCO的一些列挑战任务重都取得了最好的结果，包括实例分割（instance segmentation）、候选框目标检测（bounding-box objectdetection）和人关键点检测（person keypoint detection）。

优选地，所述数据集包括不同种类的果蔬的果实图像。为了提高自动识别果蔬的果肉的神经网络模型的准确性以及鲁棒性，在模型学习训练时，尽可能地使用信息量多的数据集来进行学习训练，也就是说，预先采集尽可能多的数据信息，使数据集含括在采摘过程中可能会遇到的各种情况，例如，预先采集的不同种类的果蔬的数据集可以包括：不同种类的果蔬的果实图像、植株图像，不同成熟度的果蔬果实图像，果蔬生长环境，如果园，蔬菜大棚的环境图像，以及各种果蔬在果园、蔬菜大棚内待采摘状态的图像等数据，基于多样及大量的数据进行学习训练，可以使Mask r-cnn网络模型的识别范围更广，识别更准确。

在本发明的基于机器视觉的果蔬采摘方法的步骤S100中，首先获取果蔬的果实图像，例如，通过摄像头拍摄照片或者视频获取果蔬的果实图像。然后调用预先训练好的神经网络模型对所述果实图像进行识别，并判断所述待采摘果蔬的种类。

进一步地，为了对果实图像的识别更加准确，缩短识别时间，对获取的果实图像还进行一个预处理，包括对所述果实图像进行降噪、补光以及白平衡处理等，以提高所述果实图像的质量，使得后续的识别程序效率更高。

进一步地，如前所述，所述神经网络模型是采用Mask r-cnn算法进行待采摘果蔬的果实图像的识别。Mask r-cnn是当前最高水平的实例分割算法，利用Mask r-cnn网络模型完成识别的过程包含两个阶段：首先，由Mask r-cnn主干网络提取出图像的特征图，然后使用区域建议网络生成目标的建议框，并对建议框筛选得到感兴趣区域(Regions OfInterest, ROIs)；然后，对每个ROIs预测类别，位置和对应物体的掩膜。具体到本发明，如图2所示，在获取到待采摘的果实的图像后，并进行预处理后，Mask r-cnn主干网络首先提取出获取的果蔬图像的特征图，然后使用区域建议网络在特征图上生成目标的果肉区域建议框，并对建议框筛选得到ROIs（具体到本发明，感兴趣的区域就是果肉区域），然后根据学习训练的结果对每个ROIs（果肉区域）预测类别，位置和对应果肉的掩膜，从而完成对果肉的识别，判断待采摘的果蔬的种类。

值得说明的是，由于在同一片果园或蔬菜大棚里可能同时混合种植了多种果蔬，在进行一种果蔬的采摘时，其他的果蔬可能没有成熟，不需要进行采摘，因此，在本发明提供的果蔬采摘方法中的另一个实施例中，在采摘之前，可以设定采摘的果蔬种类，在采摘作业过程中，将识别出的待采摘果蔬的种类与预设的种类进行比较，如不是需采摘的果蔬种类，则不进行后续的采摘。

可以理解，在本发明提供的果蔬采摘方法中，还可以在预先的神经网络训练学习中，增加对果蔬成熟度的识别，并设定采摘时的果蔬成熟度的阈值，例如，针对苹果等成熟时颜色变红的水果，可以设置红色的深浅度或者红色区域所占百分比作为成熟度的判断值并设定相应的阈值，在采摘作业过程中，将识别出的待采摘水果的成熟度的判断值与相应的阈值相比较，如没有达到相应阈值，也不进行后续的采摘。

在本发明的基于机器视觉的果蔬采摘方法的步骤S200中，根据Mask r-cnn算法预测的果肉区域（ROIs）的位置和对应的掩膜，以及神经网络模型识别出的待采摘的果蔬的种类，对所述待采摘果蔬的果柄进行预测框选，确定出所述待采摘果蔬的果柄上的可剪切区域，并定位剪切点。

在一个实施例中，是根据几何算法对果柄区域进行预测框选的。具体地，在识别出待采摘的果蔬的种类的基础上，可以判断对应的果柄的大致长度，并且果蔬的果柄都在果肉靠近植株的方向上，在判断出对应的果柄的大致长度，并已经利用Mask r-cnn算法预测出果肉区域的位置和对应的掩膜的基础上，用几何算法框选出果柄区域。

当然，在其他的实施例中，也可以根据其他的算法对果柄区域进行预测框选，包括Mask r-cnn算法识别出果柄区域，进行框选等。当框选出果柄区域后，进一步确定出果柄上的最佳剪切点。优选地，本实施例中可以在确定出的果柄区域选取与果肉区域距离为5-8mm的点，该点即为最佳剪切点。当然，具体的剪切点的选取位置可以根据果蔬的种类进行设置，本实施例中并不对此进行限定。

在本发明的基于机器视觉的果蔬采摘方法的步骤S300中，根据确定的剪切点，控制末端采摘装置剪断所述待采摘果蔬的果柄。

优选地，本实施例中的末端采摘装置可以是机器人，机械手或者其他带有剪断功能的装置。

我们知道，工业机器人是应用最为广泛的智能机器人，已经有很多工业机器人被广泛应用并量产。但是很多用于果园采摘的机器人不能直接使用现有的工业机器人来采摘，为了克服定制的采摘机器人成本高的缺点，本发明的一个实施例的末端采摘装置，通过增加一个采摘夹结构，可以简便地实现直接利用现有的工业机器人进行采摘。

请参照图3，图3是本发明提供的基于机器视觉的果蔬采摘办法的一个实施例的末端采摘装置的采摘夹的示意图。

所述采摘夹包括压紧板1、切刀2、支撑板3、切槽4、夹持板5、第一弹性件6、第二弹性件7和连接组件8；所述压紧板1、所述夹持板5和所述支撑板3依次设置；所述切刀2设置在所述压紧板1朝向所述支撑板3一面；所述切槽4设置在所述支撑板3上，并与所述切刀2对应配合；所述压紧板1、所述夹持板5和所述支撑板3均与所述连接组件8连接，且均可相对于所述连接组件8旋转；所述第一弹性件6的两个自由端分别与所述压紧板1、所述支撑板3连接；所述第二弹性件7的两个自由端分别与所述压紧板1、所述夹持板5连接；自然状态下，所述第一弹性件6的两个自由端之间的距离大于所述第二弹性件7的两个自由端之间的距离，使得所述第一弹性件6、所述第二弹性件7均处于自然状态时，所述压紧板1、所述夹持板5、所述支撑板3相互分离。

当分别把持所述压紧板1和所述支撑板3，并将两者相互靠拢时，所述第一弹性件6被压缩，由于所述夹持板5与所述支撑板3之间的距离小于所述压紧板1与所述支撑板3之间的距离，所述压紧板1带动所述第二弹性件7朝向所述支撑板3移动，同时所述夹持板5朝向所述支撑板3移动，且最先与所述支撑板3接触；继续按压所述压紧板1，所述第一弹性件6和所述第二弹性件7均被压缩，所述切刀2可插入所述切槽4内。

使用所述采摘夹对带有柄的水果或蔬菜进行采摘时，由于自然状态下所述支撑板3与所述夹持板5相分离，因此，可先将柄插入所述支撑板3与所述夹持板5之间，再相向按压所述支撑板3和所述压紧板1，所述夹持板5首先与所述支撑板3靠拢并夹持柄，继续按压所述压紧板1与所述支撑板3，使所述切刀2接触柄并压入所述切槽4内，从而将柄剪断。

可以看出，所述采摘夹只用操作支撑板3和压紧板1互相靠拢，就可以剪断果柄，因此，在本实施例中，将所述采摘夹直接固定在现有的工业机器人的机械臂上，就可以通过机械臂操作所述采摘夹的支撑板和压紧板相互靠拢，完成剪断果柄动作。

优选地，本实施例中使用现有的工业机器人中有两个手指的机器人作为末端采摘装置，这样，所述采摘夹可以放置在两个手指之间，支撑板或压紧板固定在机器人的一个手指上，在进行剪断动作时，利用一个手指靠近另一个手指或者两个手指同时互相靠近，带动采摘夹的支撑板和压紧板互相靠拢，夹紧待采摘果蔬的果柄后，继续靠拢，剪断果柄。

进一步地，在剪断果柄后，本实施例的采摘夹仍然保持夹持果柄的状态，也就是说，剪断果柄的果蔬还被夹持在末端采摘设备上，然后通过控制末端采摘设备移动至果蔬收集篮位置后，控制采摘夹的支撑板和压紧板松开，恢复自然状态，果蔬不再被夹持，掉入果蔬收集篮中，完成对果蔬的采摘。优选地，在采摘夹恢复自然状态后，所述末端采摘装置也回复初始状态，等待执行下一个采摘动作。

可以看出，控制末端采摘装置完成采摘的过程，需要机器人的手臂准确移动至剪切点位置，才能完成采摘。而在步骤S200中，在对果柄区域进行预测框选后，在框的边界附近框出剪切点，这时得到的剪切点是基于获取的所述待采摘果蔬的图像所定位的，是一个在所述图像上的二维坐标，需要将所述二维坐标转换成基于末端采摘装置的剪切动作的三维空间坐标。

具体地，在一个实施例中，由于所述二维坐标是基于摄像头拍摄的待采摘果蔬的图像所确定的，因此可以首先利用Point Cloud2将所述二维坐标转化成对应摄像头的三维空间坐标，然后通过摄像头与末端采摘装置基底，也就是机器人手臂的坐标转换矩阵，得到基于机器人手臂的三维坐标，用于末端采摘装置后续操作。

在实际环境中，果园或者蔬菜大棚内的环境复杂，机器人自身和周围环境的噪音会导致机器人控制存在一定的误差，在一个实施例中，使用卷积神经网络的反复训练和拟合来达到精准计算出机器人操作终端（手臂）运动至剪切点的路径的能力。如图4所示，在本实施例中，所述卷积神经网络包含三个卷积层和三个全连接层，建立有从所述三维坐标到机器人手臂的N个自由度的映射，通过训练好的卷积神经网络，可以将所述三维坐标转化成机器人手臂的N个自由度的旋转角，使机器人手臂精准到达所述剪切点。所述卷积神经网络的算法在不需已知机器人构型参数时，也可以实现对机器人的精准控制，提升了采摘的精度。

由以上采摘过程可以看出，本发明提供的基于机器视觉的果蔬采摘方法，是对果实进行识别后剪切果柄进行采摘，采摘全过程中，不接触果肉，可以采摘较软的果蔬而不伤果肉，保证了采摘果蔬的质量，同时，本发明的采摘方法是基于对果柄的剪切完成的，所以，本发明的采摘方法可以采摘大多数带果柄的果蔬，做倒一个装置采摘多种果蔬，通用性高，解决了现有采摘技术中，定制果蔬采摘装置通用性低、成本高的缺点。

应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。

基于上述实施例，本发明还提供了一种采摘装置，其原理框图可以如图5所示。该采摘装置包括通过系统总线连接的处理器、存储器、网络接口、显示屏、温度传感器和末端采摘装置。其中，该采摘装置的处理器用于提供计算和控制能力。该采摘装置的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该采摘装置的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于机器视觉的果蔬采摘方法。该采摘装置的显示屏可以是液晶显示屏或者电子墨水显示屏，该采摘装置的温度传感器是预先在智能终端内部设置，用于检测内部设备的当前运行温度，该采摘装置的末端采摘装置用于接收指令完成采摘动作。

本领域技术人员可以理解，图5中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的采摘装置的限定，具体的采摘装置可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种采摘装置，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时至少可以实现以下步骤：

在其中的一个实施例中，该处理器执行计算机程序时还可以实现：预先采集不同种类的果蔬的数据集，并利用Tensorflow和Keras深度学习框架搭建Mask r-cnn网络模型；通过监督学习方式在所述数据集上进行模型学习训练，并利用训练出的模型对不同种类果蔬的数据集进行特征提取，构建出用于自动识别果蔬的果肉的神经网络模型。优选地，所述数据集中包括不同种类的果蔬的果实图像。

在其中的一个实施例中，该处理器执行计算机程序时还可以实现：利用预设在采摘装置上的摄像头设备获取待采摘果蔬的果实图像，并对所述果实图像进行预处理；对预处理后的果实图像进行特征提取，并调用神经网络模型对提取的特征进行识别；根据识别结果判断所述待采摘的果蔬的种类。

在其中的一个实施例中，该处理器执行计算机程序时还可以实现：对所述果实图像进行降噪、补光以及白平衡处理，以提高所述果实图像的质量。

在其中的一个实施例中，该处理器执行计算机程序时还可以实现：调用Mask r-cnn主干网络提取出预处理后的果实图像的特征图，并使用区域建议网络生成目标的建议框；从所述建议框中选取感兴趣区域，并对所述感兴趣区域进行类别识别，输出识别结果。

在其中的一个实施例中，该处理器执行计算机程序时还可以实现：获取识别出的待采摘果蔬的种类，并根据果蔬的种类对果实图像中的果柄进行预测框选，确定出果柄区域；根据确定出的果柄区域，确定果柄上的可剪切区域，并定位最佳剪切点。

在其中的一个实施例中，该处理器执行计算机程序时还可以实现：根据确定的剪切点，控制末端采摘装置将采摘果蔬的果柄夹紧；并在夹紧果柄之后将果柄剪断，剪断果柄之后，控制所述末端采摘装置恢复初始状态。

基于上述实施例，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述任意一项所述的基于机器视觉的果蔬采摘方法中的步骤，具体如上所述。

综上所述，本发明提供的一种基于机器视觉的果蔬采摘方法、采摘装置和存储介质，通过预先训练好的神经网络模型对果实进行识别后剪切果柄进行采摘，可以做到一个装置采摘多种果蔬，通用性高，并且采摘精度高，不伤果肉，提高了采摘效率和采摘果蔬的质量。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims

1.一种基于机器视觉的果蔬采摘方法，其特征在于，所述方法包括：

2.根据权利要求1所述的基于机器视觉的果蔬采摘方法，其特征在于，所述获取当前待采摘果蔬的果实图像，调用预先训练好的神经网络模型对所述果实图像进行识别，并判断所述待采摘果蔬的种类的步骤之前，还包括：

3.根据权利要求2所述的基于机器视觉的果蔬采摘方法，其特征在于，所述数据集中包括不同种类的果蔬的果实图像。

4.根据权利要求1所述的基于机器视觉的果蔬采摘方法，其特征在于，所述获取当前待采摘果蔬的果实图像，调用预先训练好的神经网络模型对所述果实图像进行识别，并判断所述待采摘果蔬的种类的步骤，包括：

根据识别结果判断所述待采摘的果蔬的种类。

5.根据权利要求4所述的基于机器视觉的果蔬采摘方法，其特征在于，所述对所述果实图像进行预处理的步骤包括：对所述果实图像进行降噪、补光以及白平衡处理，以提高所述果实图像的质量。

6.根据权利要求4所述的基于机器视觉的果蔬采摘方法，其特征在于，所述对预处理后的果实图像进行特征提取，并调用神经网络模型对提取的特征进行识别的步骤包括：

7.根据权利要求1所述的基于机器视觉的果蔬采摘方法，其特征在于，所述获取所述待采摘果蔬的种类，根据果蔬的种类确定所述待采摘果蔬的果柄上的可剪切区域，并定位剪切点的步骤，包括：

8.根据权利要求1所述的基于机器视觉的果蔬采摘方法，其特征在于，所述根据确定的剪切点，控制末端采摘装置剪断所述待采摘果蔬的果柄的步骤，包括：

并在夹紧果柄之后将果柄剪断，剪断果柄之后，控制所述末端采摘装置恢复初始状态。

9.一种采摘装置，其特征在于，包括：处理器、与处理器通信连接的存储介质，所述存储介质适于存储多条指令；所述处理器适于调用所述存储介质中的指令，以执行实现上述权利要求1-8任一项所述的基于机器视觉的果蔬采摘方法的步骤。

10.一种存储介质，其上存储有多条指令，其特征在于，所述指令适于由处理器加载并执行，以执行实现上述权利要求1-8任一项所述的基于机器视觉的果蔬采摘方法的步骤。