CN109800795A - 一种果蔬识别方法及系统 - Google Patents

Abstract

本发明公开了一种果蔬识别方法及系统，方法包括：获取水果蔬菜图像；采用神经网络训练出水果蔬菜识别模型；将水果蔬菜图像输入水果蔬菜识别模型中，得到水果蔬菜识别结果。本发明采用神经网络训练出水果蔬菜识别模型，并将水果蔬菜图像输入水果蔬菜识别模型中来得到水果蔬菜识别结果，采用了神经网络进行模型训练，并结合了图像处理技术，能自动识别出水果蔬菜，不再需要人工进行识别，受人的主观因素和经验影响小，更加高效且精度更高。本发明可广泛应用于数字图像处理领域。

Description

一种果蔬识别方法及系统

技术领域

本发明涉及数字图像处理领域，尤其是一种果蔬识别方法及系统。

背景技术

我国一直是世界水果蔬菜的生产大国，随着农业技术的不断进步，水果蔬菜的品种越来越多，水果蔬菜的识别也显得越来越重要。在我国的果蔬市场中，虽然也有一些针对水果蔬菜的识别分类方法，但是这些方法大多都在人工下进行(如通过肉眼进行识别等)，这种方式不仅效率低，而且受人的主观因素和经验影响较大，识别精度不高。

发明内容

为解决上述技术问题，本发明的目的在于：提供一种高效率和高精度的果蔬识别方法及系统。

本发明一方面所采取的技术方案是：

一种果蔬识别方法，包括以下步骤：

获取水果蔬菜图像；

采用神经网络训练出水果蔬菜识别模型；

将水果蔬菜图像输入水果蔬菜识别模型中，得到水果蔬菜识别结果。

进一步，所述神经网络采用tensorflow框架搭建，所述神经网络包括第一卷积层、17个线性瓶颈层、第二卷积层、池化层和第三卷积层，所述第一卷积层依次通过17个线性瓶颈层、第二卷积层和池化层进而与第三卷积层连接。

进一步，在所述获取水果蔬菜图像步骤与采用神经网络训练出水果蔬菜识别模型步骤之间，还包括以下步骤：

对水果蔬菜图像进行预处理，所述预处理包括将水果蔬菜图像转换为tfrecord格式。

进一步，所述采用神经网络训练出水果蔬菜识别模型这一步骤，具体包括：

设置神经网络的超参数，所述神经网络的超参数包括学习率、批大小、最大迭代步数以及优化器类型；

将给定的样本划分为训练集和测试集；

根据神经网络的超参数、训练集和测试集采用神经网络进行模型训练，得到果蔬菜识别模型。

进一步，所述神经网络在进行模型训练采用联合损失函数，所述联合损失函数由centerloss损失函数和focal loss损失函数加权得到。

进一步，所述采用神经网络训练出水果蔬菜识别模型这一步骤，还具体包括以下步骤：

将果蔬菜识别模型进行固化，得到用于水果蔬菜识别分类的pb格式文件。

进一步，还包括以下步骤：

将水果蔬菜识别模型移植到智能移动终端系统中。

本发明另一方面所采取的技术方案是：

一种果蔬识别系统，包括：

图像获取模块，用于获取水果蔬菜图像；

训练模块，用于采用神经网络训练出水果蔬菜识别模型；

识别模块，用于将水果蔬菜图像输入水果蔬菜识别模型中，得到水果蔬菜识别结果。

进一步，所述神经网络采用tensorflow框架搭建，所述神经网络包括第一卷积层、17个线性瓶颈层、第二卷积层、池化层和第三卷积层，所述第一卷积层依次通过17个线性瓶颈层、第二卷积层和池化层进而与第三卷积层连接。

本发明另一方面所采取的技术方案是：

一种果蔬识别系统，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如本发明所述的一种果蔬识别方法。

本发明的有益效果是：本发明一种果蔬识别方法及系统，采用神经网络训练出水果蔬菜识别模型，并将水果蔬菜图像输入水果蔬菜识别模型中来得到水果蔬菜识别结果，采用了神经网络进行模型训练，并结合了图像处理技术，能自动识别出水果蔬菜，不再需要人工进行识别，受人的主观因素和经验影响小，更加高效且精度更高。

附图说明

图1为本发明一种果蔬识别方法的主要流程图；

图2为本发明具体实施例的果蔬识别方法流程图；

图3为本发明神经网络的一种优选实施例架构图；

图4为线性瓶颈层的结构示意图；

图5为联合损失函数训练示意图。

具体实施方式

参照图1，本发明实施例提供了一种果蔬识别方法，包括以下步骤：

获取水果蔬菜图像；

采用神经网络训练出水果蔬菜识别模型；

将水果蔬菜图像输入水果蔬菜识别模型中，得到水果蔬菜识别结果。

具体地，水果蔬菜图像可以实时拍摄或从互联网上获取。

神经网络是一种运算模型，由大量的节点(或称神经元)之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数(activation function)。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。神经网络有很强的非线性拟合能力，可映射任意复杂的非线性关系，而且学习规则简单，便于计算机实现，具有很强的鲁棒性、记忆能力、非线性映射能力以及强大的自学习能力。

本实施例选取了神经网络来训练各个种类的水果蔬菜样本，从而发现水果蔬菜的规律并建立相应的水果蔬菜识别模型，这样有新的水果蔬菜图像即可采用该水果蔬菜识别模型来进行自动识别，效率高且更加精确。

进一步作为优选的实施方式，所述神经网络采用tensorflow框架搭建，所述神经网络包括第一卷积层、17个线性瓶颈层、第二卷积层、池化层和第三卷积层，所述第一卷积层依次通过17个线性瓶颈层、第二卷积层和池化层进而与第三卷积层连接。

具体地，本实施例的神经网络采用了谷歌的Mobilenetv2卷积神经网络结构。其中，第一卷积层连接输入，将输入图像的长和宽都缩小为原来的二分之一。线性瓶颈层作为Mobilenetv2引入的bottlenck layer的激活层，能避免采用非线性激活层(如Relu层)对bottlenck layer所造成的信息损失。第二卷积层用于提升特征维数，以获取更多的细节信息；池化层则是用来减少特征图和网络参数的维数，将输入图像的长和宽都缩小；第三卷积层用于变换特征维数，使得通道数刚好是水果蔬菜的类别数。

进一步作为优选的实施方式，在所述获取水果蔬菜图像步骤与采用神经网络训练出水果蔬菜识别模型步骤之间，还包括以下步骤：

对水果蔬菜图像进行预处理，所述预处理包括将水果蔬菜图像转换为tfrecord格式。

具体地，预处理主要包括去噪、图像格式转换等。

本实施例在预处理时，将水果蔬菜图像转换为tfrecord格式，有利于节省内存空间。

进一步作为优选的实施方式，所述采用神经网络训练出水果蔬菜识别模型这一步骤，具体包括：

设置神经网络的超参数，所述神经网络的超参数包括学习率、批大小、最大迭代步数以及优化器类型；

将给定的样本划分为训练集和测试集；

根据神经网络的超参数、训练集和测试集采用神经网络进行模型训练，得到果蔬菜识别模型。

具体地，学习率不能设置得太小或者太大，太小或者太大都无法挑出最优，一般首先设置初始值为0.01，然后再进行调整，调整依据为：设置初始学习率，若训练多次loss值不降低，说明学习率太小，则需要加大；若一开始下降很快，而后又出现大幅度震荡，说明学习率太大，则需要降低学习率。

批大小batchsize是一个批次的照片数量，一般根据电脑的性能而定，设置得越大内存消耗越大，对性能不好的电脑会卡死，例如可设置batchsize为32。batchsize除了要根据电脑性能还需要考虑样本数量，一般样本数量很大，设置batchsize不超过64；如果样本数量很小，batchsize就不能设置得太小，一般大于64；

常用的优化器有三种：SGD、RMSprop和adam，主要用于优化模型训练时各层的权值系数。

进一步作为优选的实施方式，所述神经网络在进行模型训练采用联合损失函数，所述联合损失函数由center loss损失函数和focal loss损失函数加权得到。

具体地，水果蔬菜种类繁多，采集难度大，而且公开数据集的类别有限，每一类数据采集过程中可能会出现类别样本不均衡的情况，所以在训练时产生模型退化现象。为此，本实施例采用了focal loss损失函数来解决样本不均衡的问题。

传统的分类问题大多采用交叉熵损失函数，而交叉熵损失在解决分类问题时，很多情况下类内间距大于类间间距，使得每一类占据的面积较大，在多类别的情况下分类效果不好。为此，本实施例采用了center loss损失函数来减少类内间距。

综上所述，本实施例采用了center loss损失函数和focal loss损失函数加权得到的联合损失函数来进行模型训练，在增加类间间距的同时减少类内差距，解决了样本不均衡和分类效果不好的问题。

进一步作为优选的实施方式，所述采用神经网络训练出水果蔬菜识别模型这一步骤，还具体包括以下步骤：

将果蔬菜识别模型进行固化，得到用于水果蔬菜识别分类的pb格式文件。

具体地，在训练结束后，本实施例把模型固化产生一个pb格式的文件来实现对水果蔬菜识别分类。固化过程首先导出果蔬菜识别模型的网络结构图，然后在这个网络结构图中输入固定(训练好的)的权值参数。

进一步作为优选的实施方式，还包括以下步骤：

将水果蔬菜识别模型移植到智能移动终端系统中。

具体地，本实施例还可以将水果蔬菜识别模型移植到安卓系统、苹果系统等智能移动终端系统，以提升该方法的通用性和可移植性。

移植时有两种方法：一种是采用mobile tensorflow方法；另一种是tensorflowlite方法，需要将pb格式的文件转化为tflife格式。两种方法相比较，tensorflow lite移植方法更适合移动端，识别一次需要的时间可低于200多ms，速度更快。

如图2所示，本具体实施例的果蔬识别方法包括以下步骤：

第一步：获取水果蔬菜图像；

第二步：将图像数据转化为tfrecord格式，这样有利于节省内存空间；

第三步：设置超参数：学习率、batchsize(批大小)、最大迭代步数以及优化器类型；

第四步：搭建神经网络用于训练数据，得到果蔬识别模型；

本具体实施例的神经网络采用开源深度学习框架tensorflow搭建网络，通过谷歌的Mobilenetv2卷积神经网络结构来搭建了21层的神经网络进行训练。如图3所示，这21层网络包括第一卷积层(图中连接输入input的层)、17个线性瓶颈层Bottleneck-1到Bottleneck-17、第二卷积层(图中与Bottleneck-17层连接的层)、池化层Globalpool和第三卷积层(图中与Globalpool连接的层)，第一卷积层用于连接输入，将输入图像的长和宽都缩小为原来的二分之一。线性瓶颈层作为Mobilenetv2引入的bottlenck layer的激活层，能避免采用非线性激活层(如Relu层)对bottlenck layer所造成的信息损失。第二卷积层用于提升特征维数，以获取更多的细节信息；池化层则是用来减少特征图和网络参数的维数，将输入图像的长和宽都缩小；第三卷积层用于变换特征维数，使得通道数刚好是水果蔬菜的类别数。图3中箭头旁的数字N×M×P中N、M、P分别代表长、宽和通道数，如224×224×3代表长224，宽224且通道数为3的图像。

从图3可以看到，本实施例网络结构最大特点是含有17个线性瓶颈层Bottleneck，每一个线性瓶颈层都由三个小模块组成，分别是PW，DW，PW操作模块，如图4所示。

训练的过程是首先将图片依次通过这21层，通过center loss损失函数和focalloss损失函数加权的联合损失函数得到熵损失，然后反向传播进行权值更新，更新一次代表着训练了一次。

具体地，以水果训练为例，其训练实现过程和要求如下：

(1)在训练该网络结构时，传统分类问题大多采用交叉熵损失函数(即softmaxloss函数)，而交叉熵损失在解决分类问题时，很多情况下类内间距大于类间间距，而本实施例则需要类间差异要越大越好。

(2)用传统softmax loss函数来训练，每一类占据的面积较大，本实施例则需要每一个类别只占据很小一块地方，这样在多类别的情况下才能有好的效果。

(3)水果种类繁多，采集难度大，而且目前公开数据集只有80个类别，每一类数据采集过程中有时会出现类别样本不均衡的情况，所以在训练时产生模型退化现象。

为了解决这些问题，本实施例提出了center loss+focal loss联合训练的办法，在增加类间间距的同时减少类内差距。

center loss原理如下式所示：

C_yi表示第yi个类别的特征中心，x_i表示全连接层之前的特征。m表示mini-batch的大小。因此这个公式就是希望一个batch中的每个样本的特征feature离feature的中心的距离的平方和要越小越好，也就是类内距离要越小越好。

Focal loss是论文Focal Loss for Dense Object Detection提出来的损失函数，最早是用在图像检测问题解决样本类别数量不平衡问题。本实施例把focal loss函数用于水果分类，解决水果数据样本不均衡的问题。

二分类问题中传统的softmax loss公式如下：

而focal loss的二分类公式如下：

其中，为样本预测值，y∈{0,1}为真实标签，γ指数是调节权重曲线的陡度。推广到多分类问题的损失函数公式为：

针对水果分类问题，本实施例将上述center loss和focal loss函数联合起来进行训练，其损失函数为：

其中，m为mini-batch的大小，为第i个样本的预测值，xi为第i个样本的输入值，Cyi为第i个类别的特征中心，λ为比例系数，可以调整或设置。

联合损失函数训练的结构如图5所示，center loss的输入特征是倒数第二个全连接层的输出特征；而focal loss为最后一个全连接层。

为了验证本实施例采用center loss和focal loss函数联合训练的效果，本实施例以10个类别为例来分别采用softmax loss和采用center loss+focal loss联合损失的方法来训练，经验证集验证后发现，采用center loss+focal loss联合训练的方法的准确率比softmax loss提高了约0.008％。

第五步：在经过多轮迭代后，训练集损失和测试集损失均不再降低时停止训练，最后一层把神经网络的输出结果转为概率输出；

第六步：训练结束后，把模型固化产生一个pb格式的文件来实现对水果蔬菜识别分类；固化过程是首先导出网络结构图，然后在这个网络结构图中输入固定的权值参数；

第七步：移植到安卓系统。

移植有两种方法：一种是采用mobile tensorflow方法；另一种是tensorflowlite方法，需要将pb格式的文件转化为tflife格式。两种方法相比较，tensorflow lite移植方法更适合移动端，在oppo手机上识别一次仅需要200多ms。

由上述内容可见，本具体实施例采用了神经网络进行模型训练，并结合了图像处理技术，能自动识别出水果蔬菜，不再需要人工进行识别，受人的主观因素和经验影响小，更加高效且精度更高。

与图1的方法相对应，本发明实施例还提供了一种果蔬识别系统，包括：

图像获取模块，用于获取水果蔬菜图像；

训练模块，用于采用神经网络训练出水果蔬菜识别模型；

识别模块，用于将水果蔬菜图像输入水果蔬菜识别模型中，得到水果蔬菜识别结果。

进一步作为优选的实施方式，所述神经网络采用tensorflow框架搭建，所述神经网络包括第一卷积层、17个线性瓶颈层、第二卷积层、池化层和第三卷积层，所述第一卷积层依次通过17个线性瓶颈层、第二卷积层和池化层进而与第三卷积层连接。

上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。

与图1的方法相对应，本发明实施例还提供了一种果蔬识别系统，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如本发明所述的一种果蔬识别方法。

上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。

以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种果蔬识别方法，其特征在于：包括以下步骤：

获取水果蔬菜图像；

采用神经网络训练出水果蔬菜识别模型；

将水果蔬菜图像输入水果蔬菜识别模型中，得到水果蔬菜识别结果。

2.根据权利要求1所述的一种果蔬识别方法，其特征在于：所述神经网络采用tensorflow框架搭建，所述神经网络包括第一卷积层、17个线性瓶颈层、第二卷积层、池化层和第三卷积层，所述第一卷积层依次通过17个线性瓶颈层、第二卷积层和池化层进而与第三卷积层连接。

3.根据权利要求1所述的一种果蔬识别方法，其特征在于：在所述获取水果蔬菜图像步骤与采用神经网络训练出水果蔬菜识别模型步骤之间，还包括以下步骤：

对水果蔬菜图像进行预处理，所述预处理包括将水果蔬菜图像转换为tfrecord格式。

4.根据权利要求2所述的一种果蔬识别方法，其特征在于：所述采用神经网络训练出水果蔬菜识别模型这一步骤，具体包括：

设置神经网络的超参数，所述神经网络的超参数包括学习率、批大小、最大迭代步数以及优化器类型；

将给定的样本划分为训练集和测试集；

根据神经网络的超参数、训练集和测试集采用神经网络进行模型训练，得到果蔬菜识别模型。

5.根据权利要求4所述的一种果蔬识别方法，其特征在于：所述神经网络在进行模型训练采用联合损失函数，所述联合损失函数由center loss损失函数和focal loss损失函数加权得到。

6.根据权利要求4所述的一种果蔬识别方法，其特征在于：所述采用神经网络训练出水果蔬菜识别模型这一步骤，还具体包括以下步骤：

将果蔬菜识别模型进行固化，得到用于水果蔬菜识别分类的pb格式文件。

7.根据权利要求1所述的一种果蔬识别方法，其特征在于：还包括以下步骤：

将水果蔬菜识别模型移植到智能移动终端系统中。

8.一种果蔬识别系统，其特征在于：包括：

图像获取模块，用于获取水果蔬菜图像；

训练模块，用于采用神经网络训练出水果蔬菜识别模型；

识别模块，用于将水果蔬菜图像输入水果蔬菜识别模型中，得到水果蔬菜识别结果。

9.根据权利要求8所述的一种果蔬识别系统，其特征在于：所述神经网络采用tensorflow框架搭建，所述神经网络包括第一卷积层、17个线性瓶颈层、第二卷积层、池化层和第三卷积层，所述第一卷积层依次通过17个线性瓶颈层、第二卷积层和池化层进而与第三卷积层连接。

10.一种果蔬识别系统，其特征在于：包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-7任一项所述的一种果蔬识别方法。