CN109740681A - 一种水果分拣方法、装置、系统、终端及存储介质 - Google Patents

Abstract

本发明公开了一种水果分拣方法、装置、系统、终端及存储介质。该方法包括：获取待分拣水果的图像；将待分拣水果的图像输入水果分类模型，得到待分拣水果的目标分类标签，水果分类模型基于第一卷积神经网络训练生成；将待分拣水果的图像输入与待分拣水果的目标分类标签对应的水果分级模型，得到待分拣水果的目标等级标签，水果分级模型基于第二卷积神经网络训练生成；将待分拣水果的目标分类标签和目标等级标签发送给目标机器人，以使目标机器人根据待分拣水果的目标分类标签和目标等级标签对待分拣水果进行分拣。本发明实施例采用基于卷积神经网络训练生成的水果分类模型和水果分级模型，实现了自动提取图像特征，提高了水果分拣的效率和准确率。

Description

一种水果分拣方法、装置、系统、终端及存储介质

技术领域

本发明实施例涉及计算机视觉技术，尤其涉及一种水果分拣方法、装置、系统、终端及存储介质。

背景技术

水果分拣是指将水果按照水果所属类别和所属等级放置到对应位置，其中，水果所属类别指的是水果种类，水果所属等级指的是水果的质量等级，示例性的，如某水果所属类别为苹果，该水果所属级别为A级。

现有技术中，通常采用如下两种方式进行水果分拣，具体的：方式一、人工分拣方法。即通过人的感官确定水果的所属类别和所属级别；方式二、机器视觉方法。在上述过程中需要手动设计滤波器去匹配图像特征。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：针对方式一、利用人的感官确定水果所属级别时，存在着准确率低的问题，同时，人工分拣方法的分拣效率也不高；针对方式二、手动设计滤波器去匹配各个图像特征，耗费时间较长，分拣效率和分拣准确率也不高。基于上述，现有技术中存在着水果分拣效率和准确率不高的问题。

发明内容

本发明实施例提供一种水果分拣方法、装置、系统、终端及存储介质，以提高水果分拣的效率和准确率。

第一方面，本发明实施例提供了一种水果分拣方法，该方法包括：

获取待分拣水果的图像；

将所述待分拣水果的图像输入水果分类模型，得到所述待分拣水果的目标分类标签，所述水果分类模型基于第一卷积神经网络训练生成；

将所述待分拣水果的图像输入与所述待分拣水果的目标分类标签对应的水果分级模型，得到所述待分拣水果的目标等级标签，所述水果分级模型基于第二卷积神经网络训练生成；

将所述待分拣水果的目标分类标签和目标等级标签发送给目标机器人，以使所述目标机器人根据所述待分拣水果的目标分类标签和目标等级标签对所述待分拣水果进行分拣。

进一步的，所述将所述待分拣水果的图像输入水果分类模型，得到所述待分拣水果的目标分类标签，包括：

将所述待分拣水果的图像输入水果分类模型，得到所述待分拣水果的预测分类标签和分类概率；

根据所述待分拣水果的分类概率，对所述待分拣水果的预测分类标签进行排序；

从排序结果中确定所述待分拣水果的目标分类标签。

进一步的，所述将所述待分拣水果的图像输入与所述待分拣水果的目标分类标签对应的水果分级模型，得到所述待分拣水果的目标等级标签，包括：

将所述待分拣水果的图像输入与所述待分拣水果的目标分类标签对应的水果分级模型，得到所述待分拣水果的预测等级标签和等级概率；

根据所述待分拣水果的等级概率，对所述待分拣水果的预测等级标签进行排序；

从排序结果中确定所述待分拣水果的目标等级标签。

进一步的，所述水果分类模型基于第一卷积神经网络训练生成，包括：

获取第一训练样本，所述第一训练样本包括第一水果的图像和第一水果的标准分类标签；

将各第一水果的图像输入第一卷积神经网络，得到各第一水果的目标分类标签；

根据各第一水果的标准分类标签和各第一水果的目标分类标签，确定所述第一卷积神经网络的损失函数；

根据所述第一卷积神经网络的损失函数调整所述第一卷积神经网络的网络参数，直至所述第一卷积神经网络的损失函数的输出值小于等于第一预设阈值，则将所述第一卷积神经网络作为所述水果分类模型。

进一步的，所述将各第一水果的图像输入第一卷积神经网络，得到各第一水果的目标分类标签，包括：

将各第一水果的图像输入第一卷积神经网络，得到各第一水果的预测分类标签和分类概率；

根据各第一水果的分类概率，对各第一水果的预测分类标签进行排序；

从排序结果中确定各第一水果的目标分类标签。

进一步的，所述水果分级模型基于第二卷积神经网络训练生成，包括：

获取第二训练样本，所述第二训练样本包括第二水果的图像和第二水果的标准等级标签，各第二水果的标准分类标签相同；

将各第二水果的图像输入第二卷积神经网络，得到各第二水果的目标等级标签；

根据各第二水果的标签等级标签和各第二水果的目标等级标签，确定所述第二卷积神经网络的损失函数；

根据所述第二卷积神经网络的损失函数调整所述第二卷积神经网络的网络参数，直至所述第二卷积神经网络的损失函数的输出值小于等于第二预设阈值，则将所述第二卷积神经网络作为所述水果分级模型。

进一步的，所述将各第二水果的图像输入第二卷积神经网络，得到各第二卷积神经网络的目标等级标签，包括：

将各第二水果的图像输入第二卷积神经网络，得到各第二水果的预测等级标签和等级概率；

根据各第二水果的等级概率，对各第二水果的预测等级标签进行排序；

从排序结果中确定各第二水果的目标等级标签。

第二方面，本发明实施例还提供了一种水果分拣装置，该装置包括：

待分拣水果的图像获取模块，用于获取待分拣水果的图像；

待分拣水果的目标分类标签获取模块，用于将所述待分拣水果的图像输入水果分类模型，得到所述待分拣水果的目标分类标签，所述水果分类模型基于第一卷积神经网络训练生成；

待分拣水果的目标等级标签获取模块，用于将所述待分拣水果的图像输入与所述待分拣水果的目标分类标签对应的水果分级模型，得到所述待分拣水果的目标等级标签，所述水果分级模型基于第二卷积神经网络训练生成；

目标分类标签和目标等级标签发送模块，用于将所述待分拣水果的目标分类标签和目标等级标签发送给目标机器人，以使所述目标机器人根据所述待分拣水果的目标分类标签和目标等级标签对所述待分拣水果进行分拣。

进一步的，所述待分拣水果的目标分类标签获取模块，包括：

待分拣水果的预测分类标签和分类概率获取单元，用于将所述待分拣水果的图像输入水果分类模型，得到所述待分拣水果的预测分类标签和分类概率；

待分拣水果的预测分类标签排序单元，用于根据所述待分拣水果的分类概率，对所述待分拣水果的预测分类标签进行排序；

待分拣水果的目标分类标签确定单元，用于从排序结果中确定所述待分拣水果的目标分类标签。

进一步的，所述待分拣水果的目标等级标签获取模块，包括：

待分拣水果的预测等级标签和等级概率获取单元，用于将所述待分拣水果的图像输入与所述待分拣水果的目标分类标签对应的水果分级模型，得到所述待分拣水果的预测等级标签和等级概率；

待分拣水果的预测等级标签排序单元，用于根据所述待分拣水果的等级概率，对所述待分拣水果的预测等级标签进行排序；

待分拣水果的目标等级标签确定单元，用于从排序结果中确定所述待分拣水果的目标等级标签。

进一步的，所述水果分类模型基于第一卷积神经网络训练生成，包括：

获取第一训练样本，所述第一训练样本包括第一水果的图像和第一水果的标准分类标签；

将各第一水果的图像输入第一卷积神经网络，得到各第一水果的目标分类标签；

根据各第一水果的标准分类标签和各第一水果的目标分类标签，确定所述第一卷积神经网络的损失函数；

根据所述第一卷积神经网络的损失函数调整所述第一卷积神经网络的网络参数，直至所述第一卷积神经网络的损失函数的输出值小于等于第一预设阈值，则将所述第一卷积神经网络作为所述水果分类模型。

进一步的，所述将各第一水果的图像输入第一卷积神经网络，得到各第一水果的目标分类标签，包括：

将各第一水果的图像输入第一卷积神经网络，得到各第一水果的预测分类标签和分类概率；

根据各第一水果的分类概率，对各第一水果的预测分类标签进行排序；

从排序结果中确定各第一水果的目标分类标签。

进一步的，所述水果分级模型基于第二卷积神经网络训练生成，包括：

获取第二训练样本，所述第二训练样本包括第二水果的图像和第二水果的标准等级标签，各第二水果的标准分类标签相同；

将各第二水果的图像输入第二卷积神经网络，得到各第二水果的目标等级标签；

根据各第二水果的标签等级标签和各第二水果的目标等级标签，确定所述第二卷积神经网络的损失函数；

根据所述第二卷积神经网络的损失函数调整所述第二卷积神经网络的网络参数，直至所述第二卷积神经网络的损失函数的输出值小于等于第二预设阈值，则将所述第二卷积神经网络作为所述水果分级模型。

进一步的，所述将各第二水果的图像输入第二卷积神经网络，得到各第二卷积神经网络的目标等级标签，包括：

将各第二水果的图像输入第二卷积神经网络，得到各第二水果的预测等级标签和等级概率；

根据各第二水果的等级概率，对各第二水果的预测等级标签进行排序；

从排序结果中确定各第二水果的目标等级标签。

第三方面，本发明实施例还提供了一种水果分拣系统，该系统包括图像采集模块和终端，所述终端设置如本发明实施例第二方面所述的水果分拣装置；所述图像采集模块包括摄像机、白板和暗箱，所述摄像机位于所述暗箱的一侧，所述白板位于所述暗箱的另一侧；所述摄像机与所述终端通信连接；

所述摄像机采集从所述摄像机和所述白板中间通过的待分拣水果的图像，并将所述待分拣水果的图像发送给所述终端，所述白板用于抑制所述待分拣水果的图像的背景干扰，所述暗箱用于维持稳定的光照环境。

第四方面，本发明实施例还提供了一种终端，该终端包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例第一方面所述的方法。

第五方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例第一方面所述的方法。

本发明实施例通过获取待分拣水果的图像，将待分拣水果的图像输入水果分类模型，得到待分拣水果的目标分类标签，水果分类模型基于第一卷积神经网络训练生成，将待分拣水果的图像输入与待分拣水果的目标分类标签对应的水果分级模型，得到待分拣水果的目标等级标签，水果分级模型基于第二卷积神经网络训练生成，将待分拣水果的目标分类标签和目标等级标签发送给目标机器人，以使目标机器人根据待分拣水果的目标分类标签和目标等级标签对所待分拣水果进行分拣，通过采用基于卷积神经网络训练生成的水果分类模型和水果分级模型，实现了自动提取图像特征，而无需手动设计滤波器提取图像特征，进而提高了水果分拣的效率和准确率。

附图说明

图1是本发明实施例中的一种水果分拣方法的流程图；

图2是本发明实施例中的一种水果分拣装置的结构示意图；

图3是本发明实施例中的一种水果分拣系统的结构示意图；

图4是本发明实施例中的一种终端的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例

近年来，随着计算机硬件性能的提升和大规模图像数据的出现，深度学习得到广泛应用。深度学习是机器学习的一个重要领域，是一种试图使用包含复杂结构或多层的线性与非线性计算层组成的多处理层的具有对高维数据进行高层抽象及信息提取的方法。更为具体的，深度学习是对输入图像进行边缘特征的提取，通过对这些低级的特征进行组合获得高层次的局部特征，通过对上一级的特征进行组合获得更高层次的目标及行为。这一层层的组合使得特征变得越来越抽象，语义信息更加明显。其通过构建类似于人脑的多层网络模型来实现对目标的分层抽象表达，摆脱了手动设计滤波器提取特征的诸多限制，可以让计算机自动完成对特征的提取和选择，减少了人为因素的影响。其中，卷积神经网络是具有突出成就的一个深度学习的神经网络结构。

为了解决水果分拣中存在的分拣效率和分拣准确率不高的问题，可考虑采用卷积神经网络，即建立基于卷积神经网络的水果分类和水果分级模型。下面将结合具体实施例对上述内容进行进一步说明。

图1为本发明实施例提供的一种水果分拣方法的流程图，本实施例可适用于对水果进行分拣的情况，该方法可以由水果分拣装置来执行，该装置可以采用软件和/或硬件的方式实现，该装置可以配置于终端中，例如典型的是计算机或移动终端等。如图1所示，该方法具体包括如下步骤：

步骤110、获取待分拣水果的图像。

在本发明的实施例中，为了抑制背景干扰和降低光照对获取到的待分拣水果的图像的影响，提高获取到的待分拣水果的图像的质量，可以通过如下方式拍摄待分拣水果的图像：在执行水果分拣任务时，通常待分拣水果位于传送带上，为了拍摄待分拣水果的图像，可在传动带上方设置图像采集模块，图像采集模块可以包括摄像机、白板和暗箱，其中，摄像机设置在暗箱中的一侧，白板设置为暗箱的另一侧，其中，暗箱可以用于避免光照环境过于复杂，换句话说，可用于维持稳定的光照环境，白板可以用于抑制待分拣水果的图像的背景干扰，使得到的待分拣水果的图像的背景得到简化。

需要说明的是，本发明实施例所述的待分拣水果的图像可以为通过上述方案拍摄得到的。

步骤120、将待分拣水果的图像输入水果分类模型，得到待分拣水果的目标分类标签，水果分类模型基于第一卷积神经网络训练生成。

步骤130、将待分拣水果的图像输入与待分拣水果的目标分类标签对应的水果分级模型，得到待分拣水果的目标等级标签，水果分级模型基于第二卷积神经网络训练生成。

在本发明的实施例中，水果分类模型可用于为待分拣水果确定对应的目标分类标签，待分拣水果的目标分类标签可以理解为待分拣水果所属的类别。水果分级模型可用于为待分拣水果确定对应的目标等级标签，待分拣水果的目标等级标签可以理解为待分拣水果所属的等级，这里的等级可以指水果质量等级。需要说明的是，每种类别的待分拣水果具有对应的水果分级模型，即不同类别的待分拣水果的水果分级模型不同，可以理解到，由于目标分类标签可用于表示类别，因此，每种目标分类标签的待分拣水果具有对应的水果分级模型，换句话说，待分拣水果的目标等级标签是将待分拣水果的图像输入与待分拣水果的目标分类标签对应的水果分级模型得到的。

水果分类模型可以基于第一卷积神经网络训练生成，水果分级模型基于第二卷积神经网络训练生成，第一卷积神经网络和第二卷积神经网络均是卷积神经网络，第一卷积神经网络和第二卷积神经网络所不同的可能是网络结构和网络参数。其中，卷积神经网络具体可以包括卷积层、池化层、非线性激活层和全连接层。它的每一层都是由多个特征图组成，而每个特征图中的像素代表一个神经元，卷积神经网络具有权值共享特性，权值共享即指卷积核，可以通过一个卷积核的操作提取图像的不同位置的同样特征，换句话说，即是在一张图像中的不同位置的相同目标，它们的特征是基本相同的。可以理解到，使用一个卷积核只能得到一部分特征，可以通过设置多核卷积，用每个卷积核来学习不同的特征来提取图像数据的特征。还可以理解到，在图像处理中，卷积层的作用是将低层次的特征抽取分析为高层次特征，低层次的特征是基本特征，诸如纹理和边缘等特征，高层次特征如物体的形状等，更能表现的属性，这个过程就是卷积神经网络的层次性。

卷积层，即是对特征图进行卷积运算的网络层，也可以理解成特征提取层。需要进行卷积运算的原因在于：对于终端而言，图像只是一个包含了各种数字的矩阵，它需要从中得到一些有用的信息，进而才能理解和分析图像。卷积运算就是将特征图矩阵与卷积核的元素一一对应，然后再相乘求和的操作。卷积层在卷积神经网络中占有最主要的作用，其本质为通过卷积核对前一层特征图进行区域特征提取得到当前层特征图。可以理解到，对于当前卷积层来说，前一层特征图为当前卷积层的输入特征图，而当前层特征图为当前卷积层的输出特征图。

池化层(或称降采样层)连接在卷积层之后，其对卷积层的输出特征图进行降采样，池化层的输出特征图的通道数与上一层特征图的通道数保持一致，并且一一对应。池化层可起到如下两方面的作用，具体的：其一，能够压缩特征，使特征图尺寸变小，且没有额外的参数，简化网络的计算复杂度；其二，能够扩大输出特征的感受野，提取出主要特征，增强网络的表达能力。

由于卷积运算是多项式加权求和的计算方法，属于线性变换，而复杂的分类识别任务往往需要非线性变换函数拟合，因此，卷积神经网络中在每个卷积层之后需要加入非线性激活层。其中，非线性变换函数也称为激活函数。激活函数可以包括饱和非线性变换函数和不饱和非线性变换函数，饱和非线性变换函数可以包括Sigmoid函数和Tanh函数等，非线性变换函数可以包括ReLU(Rectified Linear Units，修正线性单元)函数和Softplus函数等。

全连接层在卷积神经网络中可以起到分类器的作用，即全连接层通过与前一层所有神经元相连获取图像的全局信息，以此学习出图像中局域类别区分性的特征。在实际使用中，全连接层可由卷积运算实现：对前一层是全连接的全连接层可以转化为卷积核为1×1的卷积运算；对前一层是卷积层的全连接层可以转化为卷积核为W×H的全局卷积，W和H分别表示前一层的输出特征图的宽度和长度。需要说明的是，全连接层的网络参数占据了卷积神经网络中网络参数中的大部分比例。全连接层将前一层的输出特征图映射成一个一维特征向量。

需要说明的是，上述为传统技术中的卷积神经网络，可以根据实际情况对该卷积神经网络的网络结构进行改进，如LeNet-5、AlexNet、GoogleNet、VGGNet、ResNet、FCN和SegNet等。具体可以根据实际情况进行设定，在此不作具体限定。还需要说明的是，由于训练完成的第一卷积神经网络用于水果分类，训练完成的第二卷积神经网络用于水果分级，因此，第一卷积神经网络和第二卷积神经网络的网络结构和网络参数可能不相同。

本发明实施例所述的水果分类模型是一个多分类的水果分类模型，即基于该水果分类模型得到待分拣水果的预测分类标签的个数为两个或两个以上。同时，由于每个预测分类标签对应一个分类概率，即预测分类标签的个数和分类概率的个数相同。将待分拣的水果输入水果分类模型，可以得到待分拣水果的预测分类标签和分类概率，可根据待分拣水果的分类概率对待分拣水果的预测分类标签进行排序，从排序结果中确定待分拣水果的目标分类标签，更为具体的：根据待分拣水果的分类概率对待分拣水果的预测分类标签按降序方式进行排序，并选择排序第一的待分拣水果的预测分类标签作为待分拣水果的目标分类标签；或者，根据待分拣水果的分类概率对待分拣水果的预测分类标签按升序方式进行排序，并选择排序最后的待分拣水果的预测分类标签作为待分拣水果的目标分类标签。需要说明的是，本发明实施例所述的水果分类模型是一个可适用于对所有待分拣水果进行目标分类标签确定的模型，即本发明实施例所述的水果分类模型是一个具有普适性的水果分类模型。还需要说明的是，针对不同待分拣水果来说，所不同的是预测分类标签对应的分类概率。当然，也可能存在不同待分拣水果的预测分类标签对应的分类概率部分相同或全部相同的情况，如果水果分类模型的预测精度比较高，则存在上述不同待分拣水果的预测分类标签对应的分类概率部分相同或全部相同的情况，可以说明不同待分拣水果属于同种类别，换句话说，不同待分拣水果的目标分类标签相同。可以理解到，预测分类标签和预测分类标签的个数由水果分类模型所确定。

本发明实施例中待分拣水果的目标分类标签不同，则选用的水果分级模型不同，即如果待分拣水果的目标分类标签相同，则选用同一水果分级模型；如果待分拣水果的目标分类标签不同，则选用不同的水果分级模型。换句话说，针对每种目标分类标签，将基于第二卷积神经网络训练生成对应的水果分级模型，即每种目标分类标签对应一种水果分类模型。简而言之，本发明实施例所述的水果分级模型不是具体普适性的水果分级模型。同时，对于每个目标分类标签对应的水果分级模型来说，水果分级模型是一个多分级的水果分级模型，即基于该水果分级模型得到待分拣水果的预测等级标签的个数为两个或两个以上。此外，由于每个预测等级标签对应一个等级概率，即预测等级标签的个数和等级概率的个数相同。

在确定待分拣水果的目标分类标签后，可将待分拣水果的图像输入与待分拣水果的目标分类标签对应的水果分级模型，以得到待分拣水果的预测等级标签和等级概率，可根据待分拣水果的等级概率对待分拣水果的预测等级标签进行排序，从排序结果中确定待分拣水果的目标等级标签，更为具体的：根据待分拣水果的等级概率对待分拣水果的预测等级标签按降序方式进行排序，并选择排序第一的待分拣水果的预测等级标签作为待分拣水果的目标等级标签；或者，根据待分拣水果的等级概率对待分拣水果的预测等级标签按降序方式进行排序，并选择排序最后的待分拣水果的预测等级标签作为待分拣水果的目标等级标签。

需要说明的是，根据前文所述可知，对于每个目标分类标签对应的水果分级模型来说，不同待分拣水果的预测等级标签以及预测等级标签的个数相同，所不同的是预测等级标签对应的等级概率。当然，也可能存在不同待分拣水果的预测等级标签对应的等级概率部分相同或全部相同的情况，如果水果分级模型的预测精度比较高，则存在上述不同待分拣水果的预测等级标签对应的等级概率部分相同或全部相同的情况，可以说明不同待分拣水果属于同种等级，换句话说，不同待分拣水果的目标等级标签相同。这里不同待分拣水果的目标分类标签相同。可以理解到，预测等级标签和预测等级标签的个数由水果分级模型所确定。

示例性的，如将待分拣水果的图像输入水果分类模型，得到该待分拣水果的目标分类标签为苹果，再将该待分拣水果输入与待分拣水果的目标分类标签(即水果)对应的水果分级模型，得到该待分拣水果的目标等级标签为A级。

步骤140、将待分拣水果的目标分类标签和目标等级标签发送给目标机器人，以使目标机器人根据待分拣水果的目标分类标签和目标等级标签对待分拣水果进行分拣。

在本发明的实施例中，将待分拣水果的目标分类标签和目标等级标签发送给目标机器人，目标机器人将根据该待分拣水果的目标分类标签和目标等级标签将该待分拣水果放置到目标位置。可以理解到，如果不同待分拣水果的目标分类标签和目标等级标签均相同，则目标机器人可将上述待分拣水果放置到同一目标位置。

本实施例的技术方案，通过获取待分拣水果的图像，将待分拣水果的图像输入水果分类模型，得到待分拣水果的目标分类标签，水果分类模型基于第一卷积神经网络训练生成，将待分拣水果的图像输入与待分拣水果的目标分类标签对应的水果分级模型，得到待分拣水果的目标等级标签，水果分级模型基于第二卷积神经网络训练生成，将待分拣水果的目标分类标签和目标等级标签发送给目标机器人，以使目标机器人根据待分拣水果的目标分类标签和目标等级标签对所待分拣水果进行分拣，通过采用基于卷积神经网络训练生成的水果分类模型和水果分级模型，实现了自动提取图像特征，而无需手动设计滤波器提取图像特征，进而提高了水果分拣的效率和准确率。

可选的，在上述技术方案的基础上，将待分拣水果的图像输入水果分类模型，得到待分拣水果的目标分类标签，具体可以包括：将待分拣水果的图像输入水果分类模型，得到待分拣水果的预测分类标签和分类概率。根据待分拣水果的分类概率，对待分拣水果的预测分类标签进行排序。从排序结果中确定待分拣水果的目标分类标签。

在本发明的实施例中，水果分类模型是一个多分类模型，即基于该水果分类模型得到待分拣水果的预测分类标签的个数为两个或两个以上。同时，由于每个预测分类标签对应一个分类概率，即预测分类标签的个数和分类概率的个数相同。同时，本发明实施例所述的水果分类模型是一个可适用于对所有待分拣水果进行目标分类标签确定的模型，即本发明实施例所述的水果分类模型是一个具有普适性的水果分类模型。

将待分拣水果的图像输入水果分类模型，得到待分拣水果的预测分类标签和分类概率，可根据待分拣水果的分类概率对待分拣水果的预测分类标签按降序方式进行排序，并选择排序第一的待分拣水果的预测分类标签作为待分拣水果的目标分类标签；或者，根据待分拣水果的分类概率对待分拣水果的预测分类标签按升序方式进行排序，并选择排序最后的待分拣水果的预测分类标签作为待分拣水果的目标分类标签。需要说明的是，如果出现待分拣水果的排序第一或排序最后的分类概率的个数为两个或两个以上的情况，则可随机选择其中一个待分拣水果的分类概率对应的预测分类标签作为待分拣水果的目标分类标签即可。

需要说明的是，针对不同待分拣水果来说，所不同的是预测分类标签对应的分类概率。当然，也可能存在不同待分拣水果的预测分类标签对应的分类概率部分相同或全部相同的情况，如果水果分类模型的预测精度比较高，则存在上述不同待分拣水果的预测分类标签对应的分类概率部分相同或全部相同的情况，可以说明不同待分拣水果属于同种类别，换句话说，不同待分拣水果的目标分类标签相同。可以理解到，预测分类标签和预测分类标签的个数由水果分类模型所确定。

示例性的，如水果分类模型可识别的预测分类标签的个数为五个，五个预测分类标签分别为苹果、梨、香蕉、葡萄和草莓，则将待分分拣水果A的图像输入水果分类模型，得到待分拣水果A的预测分类标签的个数即为五个，分别为苹果、梨、香蕉、葡萄和草莓，其对应的分类概率分别为0.8、0.7、0.2、0.1和0.2；将待分拣水果B的图像输入水果分类模型，得到待分拣水果B的预测分类标签的个数同样为五个，分别为苹果、梨、香蕉、葡萄和草莓，其对应的分类概率分别为0.1、0.9、0.2、0.3和0.2。

对于待分拣水果A，根据待分拣水果A的分类概率，按降序方式对待分拣水果A的预测分类标签进行排序，并选择排序第一的预测分类标签作为待分拣水果A的目标分类标签，即将待分拣水果A的预测分类标签苹果作为待分拣水果A的目标分类标签；对于待分拣水果B，根据待分拣水果B的分类概率，按降序方式对待分拣水果B的预测分类标签进行排序，并选择排序第一的预测分类标签作为待分拣水果B的目标分类标签，即将待分拣水果B的预测分类标签梨为待分拣水果B的目标分类标签。

可选的，在上述技术方案的基础上，将待分拣水果的图像输入与待分拣水果的目标分类标签对应的水果分级模型，得到待分拣水果的目标等级标签，具体可以包括：将待分拣水果的图像输入与待分拣水果的目标分类标签对应的水果分级模型，得到待分拣水果的预测等级标签和等级概率。根据待分拣水果的等级概率，对待分拣水果的预测等级标签进行排序。从排序结果中确定待分拣水果的目标等级标签。

在本发明的实施例中，待分拣水果的目标分类标签不同，则选用的水果分级模型不同，即如果待分拣水果的目标分类标签相同，则选用同一水果分级模型；如果待分拣水果的目标分类标签不同，则选用不同的水果分级模型。换句话说，针对每种目标分类标签，将基于第二卷积神经网络训练生成对应的水果分级模型，即每种目标分类标签对应一种水果分类模型。简而言之，本发明实施例所述的水果分级模型不是具体普适性的水果分级模型。同时，对于每个目标分类标签对应的水果分级模型来说，水果分级模型是一个多分级的水果分级模型，即基于该水果分级模型得到待分拣水果的预测等级标签的个数为两个或两个以上。此外，由于每个预测等级标签对应一个等级概率，即预测等级标签的个数和等级概率的个数相同。

将待分拣水果的图像输入与待分拣水果的目标分类标签对应的水果分级模型，得到待分拣水果的预测等级标签和等级概率，可根据待分拣水果的等级概率对待分拣水果的预测等级标签按降序方式进行排序，并选择排序第一的待分拣水果的预测等级标签作为待分拣水果的目标等级标签；或者，根据待分拣水果的等级概率对待分拣水果的预测等级标签按升序方式进行排序，并选择排序最后的待分拣水果的预测等级标签作为待分拣水果的目标等级标签。需要说明的是，如果出现待分拣水果的排序第一或排序最后的等级概率的个数为两个或两个以上的情况，则可随机选择其中一个待分拣水果的等级概率对应的预测等级标签作为待分拣水果的目标等级标签即可。

需要说明的是，根据前文所述可知，对于每个目标分类标签对应的水果分级模型来说，不同待分拣水果的预测等级标签以及预测等级标签的个数相同，所不同的是预测等级标签对应的等级概率。当然，也可能存在不同待分拣水果的预测等级标签对应的等级概率部分相同或全部相同的情况，如果水果分级模型的预测精度比较高，则存在上述不同待分拣水果的预测等级标签对应的等级概率部分相同或全部相同的情况，可以说明不同待分拣水果属于同种等级，换句话说，不同待分拣水果的目标等级标签相同。这里不同待分拣水果的目标分类标签相同。可以理解到，预测等级标签和预测等级标签的个数由水果分级模型所确定。

示例性的，如根据前文所述的待分拣水果A的目标分类标签为苹果，与待分拣水果A的目标分类标签对应的水果分级模型可识别的预测等级标签的个数为三个，三个预测等级标签分别为A级、B级和C级，则将待分拣水果A的图像输入与待分拣水果A的目标分类标签对应的水果分级模型，得到待分拣水果A的预测等级标签的个数即为三个，分别为A级、B级和C级，其对应的等级概率分别为0.8、0.2和0.2。

待分拣水果B的目标分类标签为梨，与待分拣水果B的目标分类标签对应的水果分级模型可识别的预测分类标签的个数为四个，四个预测等级标签分别为A级、B级、C级和D级，则将待分拣水果B的图像输入与待分拣水果B的目标分类标签对应的水果分级模型，得到待分拣水果B的预测分类标签的个数同样为四个，分别为A级、B级、C级和D级，其对应的等级概率分别为0.1、0.9、0.2和0.2。

对于待分拣水果A，根据待分拣水果A的等级概率，按降序方式对待分拣水果A的预测等级标签进行排序，并选择排序第一的预测等级标签作为待分拣水果A的目标等级标签，即将待分拣水果A的预测分类标签A级作为待分拣水果A的目标等级标签；对于待分拣水果B，根据待分拣水果B的等级概率，按降序方式对待分拣水果B的预测等级标签进行排序，并选择排序第一的预测等级标签作为待分拣水果B的目标等级标签，即将待分拣水果B的预测等级标签B级为待分拣水果B的目标等级标签。

可选的，在上述技术方案的基础上，水果分类模型基于第一卷积神经网络训练生成，具体可以包括：获取第一训练样本，第一训练样本包括第一水果的图像和第一水果的标准分类标签。将各第一水果的图像输入第一卷积神经网络，得到各第一水果的目标分类标签。根据各第一水果的标准分类标签和各第一水果的目标分类标签，确定第一卷积神经网络的损失函数。根据第一卷积神经网络的损失函数调整第一卷积神经网络的网络参数，直至第一卷积神经网络的损失函数的输出值小于等于第一预设阈值，则将第一卷积神经网络作为水果分类模型。

在本发明的实施例中，水果分类模型基于第一卷积神经网络训练生成，第一卷积神经网络的训练过程是经过前向传播计算第一卷积神经网络的损失函数，即根据各第一水果的标准分类标签和对应的目标分类标签，得到第一卷积神经网的损失函数，并计算第一卷积神经网络的损失函数对网络参数的偏导数，采用反向梯度传播方法，对第一卷积神经网络的网络参数进行调整，直至第一卷积神经网络的损失函数的输出值小于等于第一预设阈值。当第一卷积神经网络的损失函数值小于等于第一预设阈值时，表示第一卷积神经网络已训练完成，此时，第一卷积神经网络的网络参数也得以确定。在此基础上，可将第一卷积神经网络作为水果分类模型。其中，第一卷积神经网络的网络参数可以包括权值和偏置。

需要说明的是，第一水果的标准分类标签即为第一水果的真实分类标签。同时，为了使训练生成的水果分类模型具有普适性，第一训练样本将包括各类标准分类标签对应的第一水果的图像。

可选的，在上述技术方案的基础上，将各第一水果的图像输入第一卷积神经网络，得到各第一水果的目标分类标签，具体可以包括：将各第一水果的图像输入第一卷积神经网络，得到各第一水果的预测分类标签和分类概率。根据各第一水果的分类概率，对各第一水果的预测分类标签进行排序。从排序结果中确定各第一水果的目标分类标签。

在本发明的实施例中，将各第一水果的图像输入第一卷积神经网络，得到各第一水果的预测分类标签和分类概率，根据各第一水果的分类概率，对各第一水果的预测分类标签按降序方式进行排序，并选择排序第一的各第一水果的预测分类标签作为各第一水果的目标分类标签；或者，根据各第一水果的分类概率，对各第一水果的预测分类标签按升序方式进行排序，并选择排序最后的各第一水果的预测分类标签作为各第一水果的目标分类标签。

需要说明的是，如果出现第一水果的排序第一或排序最后的分类概率的个数为两个或两个以上的情况，则可随机选择其中一个第一水果的分类概率对应的预测分类标签作为第一水果的目标分类标签即可。

可选的，在上述技术方案的基础上，水果分级模型基于第二卷积神经网络训练生成，具体可以包括：获取第二训练样本，第二训练样本包括第二水果的图像和第二水果的标准等级标签，各第二水果的标准分类标签相同。将各第二水果的图像输入第二卷积神经网络，得到各第二水果的目标等级标签。根据各第二水果的标准等级标签和各第二水果的目标等级标签，确定第二卷积神经网络的损失函数。根据第二卷积神经网络的损失函数调整第二卷积神经网络的网络参数，直至第二卷积神经网络的损失函数的输出值小于等于第二预设阈值，则将第二卷积神经网络作为水果分级模型。

在本发明的实施例中，水果分级模型基于第二卷积神经网络训练生成，第二卷积神经网络的训练过程是经过前向传播计算第二卷积神经网络的损失函数，即根据各第二水果的标准等级标签和对应的目标等级标签，得到第二卷积神经网的损失函数，并计算第二卷积神经网络的损失函数对网络参数的偏导数，采用反向梯度传播方法，对第二卷积神经网络的网络参数进行调整，直至第二卷积神经网络的损失函数的输出值小于等于第二预设阈值。当第二卷积神经网络的损失函数值小于等于第二预设阈值时，表示第二卷积神经网络已训练完成，此时，第二卷积神经网络的网络参数也得以确定。在此基础上，可将第二卷积神经网络作为水果分级模型。其中，第二卷积神经网络的网络参数可以包括权值和偏置。

需要说明的是，第二水果的标准等级标签即为第二水果的真实等级标签。还需要说明的是，第二训练样本中各第二水果的标准分类标签相同，即训练生成的水果分级模型不具有普适性，每种标准分类标签具有对应的水果分级模型，换句话说，不同标准分类标签对应不同的水果分级模型。当然可以理解到，为了得到各标准分类标签对应的水果分级模型，需要分别对第二卷积神经网络进行训练，以得到对应的水果分级模型，相应的，第二训练样本需要作对应调整。

可选的，在上述技术方案的基础上，将各第二水果的图像输入第二卷积神经网络，得到各第二水果的目标等级标签，具体可以包括：将各第二水果的图像输入第二卷积神经网络，得到各第二水果的预测等级标签和等级概率。根据各第二水果的等级概率，对各第二水果的预测等级标签进行排序。从排序结果中确定各第二水果的目标等级标签。

在本发明的实施例中，将各第二水果的图像输入第二卷积神经网络，得到各第二水果的预测等级标签和等级概率，根据各第二水果的等级概率，对各第二水果的预测等级标签按降序方式进行排序，并选择排序第一的各第二水果的预测等级标签作为各第二水果的目标等级标签；或者，根据各第二水果的等级概率，对各第二水果的预测等级标签按升序方式进行排序，并选择排序最后的各第二水果的预测等级标签作为各第二水果的目标等级标签。

需要说明的是，如果出现第二水果的排序第二或排序最后的等级概率的个数为两个或两个以上的情况，则可随机选择其中一个第二水果的等级概率对应的预测等级标签作为第二水果的目标等级标签即可。

图2为本发明实施例提供的一种水果分拣装置的结构示意图，本实施例可适用于对水果进行分拣的情况，该装置可以采用软件和/或硬件的方式实现，该装置可以配置于终端中，例如典型的是计算机或移动终端等。如图2所示，该装置具体包括：

待分拣水果的图像获取模块210，用于获取待分拣水果的图像。

待分拣水果的目标分类标签获取模块220，用于将待分拣水果的图像输入水果分类模型，得到待分拣水果的目标分类标签，水果分类模型基于第一卷积神经网络训练生成。

待分拣水果的目标等级标签获取模块230，用于将待分拣水果的图像输入与待分拣水果的目标分类标签对应的水果分级模型，得到待分拣水果的目标等级标签，水果分级模型基于第二卷积神经网络训练生成。

目标分类标签和目标等级标签发送模块240，用于将待分拣水果的目标分类标签和目标等级标签发送给目标机器人，以使目标机器人根据待分拣水果的目标分类标签和目标等级标签对待分拣水果进行分拣。

本实施例的技术方案，通过获取待分拣水果的图像，将待分拣水果的图像输入水果分类模型，得到待分拣水果的目标分类标签，水果分类模型基于第一卷积神经网络训练生成，将待分拣水果的图像输入与待分拣水果的目标分类标签对应的水果分级模型，得到待分拣水果的目标等级标签，水果分级模型基于第二卷积神经网络训练生成，将待分拣水果的目标分类标签和目标等级标签发送给目标机器人，以使目标机器人根据待分拣水果的目标分类标签和目标等级标签对所待分拣水果进行分拣，通过采用基于卷积神经网络训练生成的水果分类模型和水果分级模型，实现了自动提取图像特征，而无需手动设计滤波器提取图像特征，进而提高了水果分拣的效率和准确率。

可选的，在上述技术方案的基础上，待分拣水果的目标分类标签获取模块220，具体可以包括：

待分拣水果的预测分类标签和分类概率获取单元，用于将待分拣水果的图像输入水果分类模型，得到待分拣水果的预测分类标签和分类概率。

待分拣水果的预测分类标签排序单元，用于根据待分拣水果的分类概率，对待分拣水果的预测分类标签进行排序。

待分拣水果的目标分类标签确定单元，用于从排序结果中确定待分拣水果的目标分类标签。

可选的，在上述技术方案的基础上，待分拣水果的目标等级标签获取模块230，具体可以包括：

待分拣水果的预测等级标签和等级概率获取单元，用于将待分拣水果的图像输入与待分拣水果的目标分类标签对应的水果分级模型，得到待分拣水果的预测等级标签和等级概率。

待分拣水果的预测等级标签排序单元，用于根据待分拣水果的等级概率，对待分拣水果的预测等级标签进行排序。

待分拣水果的目标等级标签确定单元，用于从排序结果中确定待分拣水果的目标等级标签。

可选的，在上述技术方案的基础上，水果分类模型可以基于第一卷积神经网络训练生成，具体可以包括：

获取第一训练样本，第一训练样本包括第一水果的图像和第一水果的标准分类标签。

将各第一水果的图像输入第一卷积神经网络，得到各第一水果的目标分类标签。

根据各第一水果的标准分类标签和各第一水果的目标分类标签，确定第一卷积神经网络的损失函数。

根据第一卷积神经网络的损失函数调整第一卷积神经网络的网络参数，直至第一卷积神经网络的损失函数的输出值小于等于第一预设阈值，则将第一卷积神经网络作为水果分类模型。

可选的，在上述技术方案的基础上，将各第一水果的图像输入第一卷积神经网络，得到各第一水果的目标分类标签，具体可以包括：

将各第一水果的图像输入第一卷积神经网络，得到各第一水果的预测分类标签和分类概率。

根据各第一水果的分类概率，对各第一水果的预测分类标签进行排序。

从排序结果中确定各第一水果的目标分类标签。

可选的，在上述技术方案的基础上，水果分级模型可以基于第二卷积神经网络训练生成，具体可以包括：

获取第二训练样本，第二训练样本包括第二水果的图像和第二水果的标准等级标签，各第二水果的标准分类标签相同。

将各第二水果的图像输入第二卷积神经网络，得到各第二水果的目标等级标签。

根据各第二水果的标签等级标签和各第二水果的目标等级标签，确定第二卷积神经网络的损失函数。

根据第二卷积神经网络的损失函数调整第二卷积神经网络的网络参数，直至第二卷积神经网络的损失函数的输出值小于等于第二预设阈值，则将第二卷积神经网络作为水果分级模型。

可选的，在上述技术方案的基础上，将各第二水果的图像输入第二卷积神经网络，得到各第二卷积神经网络的目标等级标签，具体可以包括：

将各第二水果的图像输入第二卷积神经网络，得到各第二水果的预测等级标签和等级概率。

根据各第二水果的等级概率，对各第二水果的预测等级标签进行排序。

从排序结果中确定各第二水果的目标等级标签。

本发明实施例所提供的配置于终端的水果分拣装置可执行本发明任意实施例所提供的应用于终端的水果分拣方法，具备执行方法相应的功能模块和有益效果。

图3为本发明实施例提供的一种水果分拣系统的结构示意图，本实施例可适用于对水果进行分拣的情况，如图3所示，该水果分拣系统具体可以包括：图像采集模块310和终端320，终端310设置本发明实施例所述的水果分拣装置，图像采集模块310包括摄像机、白板和暗箱，摄像机位于暗箱的一侧，白板位于暗箱的另一侧；摄像机与终端320通信连接。

摄像机采集从摄像机和白板中间通过的待分拣水果的图像，并将待分拣水果的图像发送给终端320，白板用于抑制待分拣水果的图像的背景干扰，暗箱用于维持稳定的光照环境。

在本发明的实施例中，为了提高待分拣水果的图像的质量，可考虑采用采用如下设置的图像采集模块310，图像采集模块310具体可以包括摄像机、白板和暗箱，其中，摄像机设置在暗箱中的一侧，白板设置为暗箱的另一侧，其中，暗箱可以用于避免光照环境过于复杂，换句话说，可用于维持稳定的光照环境，白板可以用于抑制待分拣水果的图像的背景干扰，使得到的待分拣水果的图像的背景得到简化。利用上述图像采集模块310，将放置在传送带上，并且从图像采集模块310中的摄像机和白板中间穿过的待分拣水果，由图像采集模块310中的摄像机得到待分拣水果的图像，相比于传统技术中未采用上述图像采集模块310而言，将提高待分拣水果的图像的质量。在得到待分拣水果的图像后，将待分拣水果的图像发送给终端320，以使终端320可以对待分拣水果的图像进行分析，确定其目标分类标签和目标等级标签。

需要说明的是，图像采集模块310还可以包括闪光灯，闪光灯与摄像机配合，来拍摄待分拣水果的图像。

还需要说明的是，本发明实施例所提及的第一水果的图像和第二水果的图像也可以采用上述图像采集模块310拍摄得到。采用上述方式拍摄得到的第一水果的图像和第二水果的图像，将提高第一水果的图像和第二水果的图像的质量，进而也将提高训练生成的水果分类模型和水果分级模型的预测精度。

本实施例的技术方案，通过采用摄像机位于暗箱的一侧，白板位于暗箱的另一侧的图像采集模块获取待分拣水果的图像，使得到的待分拣水果的图像的背景得到简化，提高了待分拣水果的图像的质量，并将待分拣水果的图像发送给终端，使得终端获取待分拣水果的图像，将待分拣水果的图像输入水果分类模型，得到待分拣水果的目标分类标签，水果分类模型基于第一卷积神经网络训练生成，将待分拣水果的图像输入与待分拣水果的目标分类标签对应的水果分级模型，得到待分拣水果的目标等级标签，水果分级模型基于第二卷积神经网络训练生成，将待分拣水果的目标分类标签和目标等级标签发送给目标机器人，以使目标机器人根据待分拣水果的目标分类标签和目标等级标签对所待分拣水果进行分拣，通过采用基于卷积神经网络训练生成的水果分类模型和水果分级模型，实现了自动提取待分拣水果的图像特征，确定待分拣水果的目标等级标签和目标等级标签，在这个过程中无需手动设计滤波器去提取图像特征，进而提高了水果分拣的效率和准确率。

图4为本发明实施例提供的一种终端的结构示意图。图4示出了适于用来实现本发明实施方式的示例性终端412的框图。图4显示的终端412仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图4所示，终端412以通用计算终端的形式表现。终端412的组件可以包括但不限于：一个或者多个处理器416，系统存储器428，连接于不同系统组件(包括系统存储器428和处理器416)的总线418。

总线418表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Instruction Set Architecture，ISA)总线，微通道体系结构(Micro Channel Architecture，MCA)总线，增强型(Instruction Set Architecture，ISA)总线、视频电子标准协会(Video ElectronicsStandards Association，VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnect，PCI)总线。

终端412典型地包括多种计算机系统可读介质。这些介质可以是任何能够被移动终端412访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器428可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory，RAM)430和/或高速缓存存储器432。终端412可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统434可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如(Computer Disc Read-Only Memory，CD-ROM)，数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线418相连。存储器428可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块442的程序/实用工具440，可以存储在例如存储器428中，这样的程序模块442包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块442通常执行本发明所描述的实施例中的功能和/或方法。

终端412也可以与一个或多个外部终端414(例如键盘、指向终端、显示器424等)通信，还可与一个或者多个使得用户能与该终端412交互的终端通信，和/或与使得该终端412能与一个或多个其它计算终端进行通信的任何终端(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口422进行。并且，终端512还可以通过网络适配器420与一个或者多个网络(例如局域网(Local Area Network，LAN)，广域网(Wide Area Network，WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器420通过总线418与终端412的其它模块通信。应当明白，尽管图4中未示出，可以结合终端412使用其它硬件和/或软件模块，包括但不限于：微代码、终端驱动器、冗余处理单元、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of Independent Disks，RAID)系统、磁带驱动器以及数据备份存储系统等。

处理器416通过运行存储在系统存储器428中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的一种水果分拣方法，该方法包括：

获取待分拣水果的图像。

将待分拣水果的图像输入水果分类模型，得到待分拣水果的目标分类标签，水果分类模型基于第一卷积神经网络训练生成。

将待分拣水果的图像输入与待分拣水果的目标分类标签对应的水果分级模型，得到待分拣水果的目标等级标签，水果分级模型基于第二卷积神经网络训练生成。

将待分拣水果的目标分类标签和目标等级标签发送给目标机器人，以使目标机器人根据待分拣水果的目标分类标签和目标等级标签对待分拣水果进行分拣。

当然，本领域技术人员可以理解，处理器还可以实现本发明任意实施例所提供应用于终端的水果分拣方法的技术方案。该终端的硬件结构以及功能可参见实施例的内容解释。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所提供的一种水果分拣方法，该方法包括：

获取待分拣水果的图像。

将待分拣水果的图像输入水果分类模型，得到待分拣水果的目标分类标签，水果分类模型基于第一卷积神经网络训练生成。

将待分拣水果的图像输入与待分拣水果的目标分类标签对应的水果分级模型，得到待分拣水果的目标等级标签，水果分级模型基于第二卷积神经网络训练生成。

将待分拣水果的目标分类标签和目标等级标签发送给目标机器人，以使目标机器人根据待分拣水果的目标分类标签和目标等级标签对待分拣水果进行分拣。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(Random AccessMemory，RAM)、只读存储器(Read-Only Memory，ROM)、可擦式可编程只读存储器(ErasableProgrammable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Computer Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、射频等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LocalArea Network，LAN)或广域网(Wide Area Network，WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

当然，本发明实施例所提供的一种计算机可读存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的终端的水果分拣方法的相关操作。对存储介质的介绍可参见实施例中的内容解释。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (11)

1.一种水果分拣方法，其特征在于，包括：

获取待分拣水果的图像；

将所述待分拣水果的图像输入水果分类模型，得到所述待分拣水果的目标分类标签，所述水果分类模型基于第一卷积神经网络训练生成；

将所述待分拣水果的图像输入与所述待分拣水果的目标分类标签对应的水果分级模型，得到所述待分拣水果的目标等级标签，所述水果分级模型基于第二卷积神经网络训练生成；

将所述待分拣水果的目标分类标签和目标等级标签发送给目标机器人，以使所述目标机器人根据所述待分拣水果的目标分类标签和目标等级标签对所述待分拣水果进行分拣。

2.根据权利要求1所述的方法，其特征在于，所述将所述待分拣水果的图像输入水果分类模型，得到所述待分拣水果的目标分类标签，包括：

将所述待分拣水果的图像输入水果分类模型，得到所述待分拣水果的预测分类标签和分类概率；

根据所述待分拣水果的分类概率，对所述待分拣水果的预测分类标签进行排序；

从排序结果中确定所述待分拣水果的目标分类标签。

3.根据权利要求1所述的方法，其特征在于，所述将所述待分拣水果的图像输入与所述待分拣水果的目标分类标签对应的水果分级模型，得到所述待分拣水果的目标等级标签，包括：

将所述待分拣水果的图像输入与所述待分拣水果的目标分类标签对应的水果分级模型，得到所述待分拣水果的预测等级标签和等级概率；

根据所述待分拣水果的等级概率，对所述待分拣水果的预测等级标签进行排序；

从排序结果中确定所述待分拣水果的目标等级标签。

4.根据权利要求1或2所述的方法，其特征在于，所述水果分类模型基于第一卷积神经网络训练生成，包括：

获取第一训练样本，所述第一训练样本包括第一水果的图像和第一水果的标准分类标签；

将各第一水果的图像输入第一卷积神经网络，得到各第一水果的目标分类标签；

根据各第一水果的标准分类标签和各第一水果的目标分类标签，确定所述第一卷积神经网络的损失函数；

根据所述第一卷积神经网络的损失函数调整所述第一卷积神经网络的网络参数，直至所述第一卷积神经网络的损失函数的输出值小于等于第一预设阈值，则将所述第一卷积神经网络作为所述水果分类模型。

5.根据权利要求4所述的方法，其特征在于，所述将各第一水果的图像输入第一卷积神经网络，得到各第一水果的目标分类标签，包括：

将各第一水果的图像输入第一卷积神经网络，得到各第一水果的预测分类标签和分类概率；

根据各第一水果的分类概率，对各第一水果的预测分类标签进行排序；

从排序结果中确定各第一水果的目标分类标签。

6.根据权利要求1或3所述的方法，其特征在于，所述水果分级模型基于第二卷积神经网络训练生成，包括：

获取第二训练样本，所述第二训练样本包括第二水果的图像和第二水果的标准等级标签，各第二水果的标准分类标签相同；

将各第二水果的图像输入第二卷积神经网络，得到各第二水果的目标等级标签；

根据各第二水果的标准等级标签和各第二水果的目标等级标签，确定所述第二卷积神经网络的损失函数；

根据所述第二卷积神经网络的损失函数调整所述第二卷积神经网络的网络参数，直至所述第二卷积神经网络的损失函数的输出值小于等于第二预设阈值，则将所述第二卷积神经网络作为所述水果分级模型。

7.根据权利要求6所述的方法，其特征在于，所述将各第二水果的图像输入第二卷积神经网络，得到各第二水果的目标等级标签，包括：

将各第二水果的图像输入第二卷积神经网络，得到各第二水果的预测等级标签和等级概率；

根据各第二水果的等级概率，对各第二水果的预测等级标签进行排序；

从排序结果中确定各第二水果的目标等级标签。

8.一种水果分拣装置，其特征在于，包括：

待分拣水果的图像获取模块，用于获取待分拣水果的图像；

待分拣水果的目标分类标签获取模块，用于将所述待分拣水果的图像输入水果分类模型，得到所述待分拣水果的目标分类标签，所述水果分类模型基于第一卷积神经网络训练生成；

待分拣水果的目标等级标签获取模块，用于将所述待分拣水果的图像输入与所述待分拣水果的目标分类标签对应的水果分级模型，得到所述待分拣水果的目标等级标签，所述水果分级模型基于第二卷积神经网络训练生成；

目标分类标签和目标等级标签发送模块，用于将所述待分拣水果的目标分类标签和目标等级标签发送给目标机器人，以使所述目标机器人根据所述待分拣水果的目标分类标签和目标等级标签对所述待分拣水果进行分拣。

9.一种水果分拣系统，其特征在于，包括图像采集模块和终端，所述终端设置如权利要求8所述的水果分拣装置；所述图像采集模块包括摄像机、白板和暗箱，所述摄像机位于所述暗箱的一侧，所述白板位于所述暗箱的另一侧；所述摄像机与所述终端通信连接；

所述摄像机采集从所述摄像机和所述白板中间通过的待分拣水果的图像，并将所述待分拣水果的图像发送给所述终端，所述白板用于抑制所述待分拣水果的图像的背景干扰，所述暗箱用于维持稳定的光照环境。

10.一种终端，其特征在于，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7任一所述的方法。

11.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一所述的方法。