CN110276386A - 一种基于机器视觉的苹果分级方法及系统 - Google Patents

Abstract

本发明公开了一种基于机器视觉的苹果分级方法及系统，包括：采集设定数量的样本图像，构建样本图像集；采集待测样本图像，进行图像预处理；对待测样本进行特征提取；分别提取待测样本图像的颜色特征、果形特征、果径特征以及表面缺陷特征；制定分级标准，利用遗传算法和BP神经网络建立样本特征与等级的分类模型；将提取到的待测样本图像的颜色特征、果形特征、果径特征以及表面缺陷特征输入到分类模型中，输出待测样本的等级分类。本发明有益效果：能获得清晰的苹果表面图像，减小分类误差。基于遗传算法优化的BP神经网络模型能对苹果进行准确分级，大大提高苹果的分级效率。

Description

一种基于机器视觉的苹果分级方法及系统

技术领域

本发明涉及机器视觉技术领域，尤其涉及一种基于机器视觉的苹果分级方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

2017年世界苹果总产量7600多万吨，中国约占57％，位居世界首位。其中，山东年产量高达940万吨，位居全国第二，富士系占80％左右。与之相反，2017年我国苹果出口量不足总产量的3％，而且主要面向一些中低端市场，在高端苹果市场上与欧美国家还存在一定的差距。针对我国目前的苹果出口现状，有研究发现，最主要原因之一就是目前我国的苹果分级技术仍采用人工分级，在分类精度、速度上都不如发达国家的自动分级技术，达不到苹果的国际分类标准。在某种程度上，苹果分级技术己成为影响我国苹果出口的关键问题。

二十世纪末，机器视觉技术以其高效率、高精度等优点被广泛应用于苹果、大枣等新鲜果蔬的外观品质检测。人工神经网络是近年来的热点研究领域，BP神经网络作为目前应用较多的一种神经网络结构，具有良好的逼近性能，且结构简单，性能优良，被广泛应用于模式识别以及分类中。苹果的外部品质被认为是判定其等级的重要因素，对大多数消费者而言，更倾向于购买外观较好的苹果；对果农来说，外观较好的苹果更容易被卖出高价。

发明人发现，现有的利用机器视觉对苹果进行分级的方法，分级的标准往往只针对果径、表面缺陷等单一的因素，无法综合多种因素共同实现苹果的分级，这样的分级方式往往导致苹果的分级不准确，仍然需要人工的挑拣过程，分级效率低下。

发明内容

为了解决上述问题，本发明提出一种基于机器视觉的苹果分级方法及系统，利用机器视觉技术，将苹果的色泽、果形、果径及表面缺陷等外部品质特征提取出来，通过遗传算法优化BP神经网络进行分级，能够实现苹果的自动，分级结果准确，分级效率高。

在一些实施方式中，采用如下技术方案：

一种基于机器视觉的苹果分级方法，其特征在于，包括：

采集设定数量的样本图像，构建样本图像集；

采集待测样本图像，进行图像预处理；

对待测样本进行特征提取；分别提取待测样本图像的颜色特征、果形特征、果径特征以及表面缺陷特征；

制定分级标准，利用遗传算法和BP神经网络建立样本特征与等级的分类模型；采用样本图像集对分类模型进行训练；

将提取到的待测样本图像的颜色特征、果形特征、果径特征以及表面缺陷特征输入到训练后分类模型中，输出待测样本的等级分类。

其中，提取待测样本图像的颜色特征，具体为：

将原始图像的RGB颜色模型转化为HSI模型；

提取红色分量的H值，并与样本区域总面积相比，以比值作为颜色特征。

其中，提取待测样本图像的果形特征，具体为：

对待测样本图像进行边缘检测；

得到待测样本图像的最小外接矩形参数，以最小外接矩形的长度和宽度的比值作为果形特征，并定义为果形指数。

其中，提取待测样本图像的果径特征，具体为：

根据最小外接矩形参数，得到待测样本图像的横纵像素个数；

根据测量得到的待测样本的实际横纵尺寸，得到横向和纵向像素当量；

取横向和纵向像素当量的平均值作为图像的像素当量；

根据待测样本图像的像素当量以及待测样本目标区域的像素个数，得到待测样本的果径大小。

其中，提取待测样本图像的表面缺陷特征，具体为：通过灰度级在设定区间的像素个数与待测样本区域总像素个数的比值，作为缺陷特征。

在另一些实施方式中，采用如下技术方案：

一种基于机器视觉的苹果分级系统，包括：

用于采集设定数量的样本图像，构建样本图像集的模块；

用于采集待测样本图像，进行图像预处理的模块；

用于对待测样本进行特征提取；分别提取待测样本图像的颜色特征、果形特征、果径特征以及表面缺陷特征的模块；

用于利用遗传算法和BP神经网络建立样本特征与等级的分类模型的模块；

用于将提取到的待测样本图像的颜色特征、果形特征、果径特征以及表面缺陷特征输入到分类模型中，输出待测样本的等级分类的模块。

在另一些实施方式中，采用如下技术方案：

一种终端设备，其包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行上述的基于机器视觉的苹果分级方法。

在另一些实施方式中，采用如下技术方案：

一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行上述的基于机器视觉的苹果分级方法。

与现有技术相比，本发明的有益效果是：

1、本发明方法能获得清晰的苹果表面图像，减小分类误差。

2、基于遗传算法优化的BP神经网络模型能对苹果进行准确分级，大大提高苹果的分级效率。

3、针对样本特点采BP神经网络进行识别，能大大提高分级率。

4、从分级结果可以看出BP神经网络分类的精度为91.67％，说明本发明能很好的预测出苹果样本的等级。

5、综合苹果颜色特征、果形特征、果径特征以及表面缺陷特征等因素对苹果进行分级，分级准确率更高，分级效果更好。

6、本发明方法同样适用于除苹果以外的其他水果或者蔬菜的分级，比如：桃子、梨、猕猴桃、马铃薯、番茄等等。

附图说明

图1为实施例一中基于机器视觉的苹果分级方法流程图；

图2为实施例一中硬件平台结构示意图；

图3(a)-(b)分别为实施例一中采集到的原始样本图像以及背景分割后的图像；

图4(a)-(b)分别为实施例一中高斯滤波后的图像以及中值滤波后的图像；

图5为实施例一中Canny边缘检测结果图；

图6为实施例一中最小外接矩结果图；

图7为实施例一中遗传算法优化结果；

图8为实施例一中优化后的分级结果。

其中，1.传送机，2.LED光源控制器，3.收集箱，4.传果槽，5.翻转果盘，6.苹果，7.LED光源，8.相机，9.计算机，10.暗箱。

具体实施方式

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例一

在一个或多个实施方式中，公开了一种基于机器视觉的苹果分级方法，如图1所示，包括以下步骤：

(1)采集设定数量的样本图像，构建样本图像集；

(2)采集待测样本图像，进行图像预处理；

(3)对待测样本进行特征提取；分别提取待测样本图像的颜色特征、果形特征、果径特征以及表面缺陷特征；

(4)制定分级标准，利用遗传算法和BP神经网络建立样本特征与等级的分类模型；采用样本图像集对分类模型进行训练；

(5)将提取到的待测样本图像的颜色特征、果形特征、果径特征以及表面缺陷特征输入到训练后分类模型中，输出待测样本的等级分类。

首先组建硬件平台；硬件平台的基本功能就是使用相机8获取样本图像，然后把该图像传输到计算机9等处理单元，再由计算机9进行下一步的识别工作。

本实施例硬件平台的结构如图2所示，包括：传送带、设置在传送带上的翻转果盘5，翻转果盘5通过传果槽4连接到收集箱3；传送带的设定位置设置暗箱10，在传输带上传输的苹果会穿过暗箱10；暗箱10内分别设置LED光源7和相机8，相机8与计算机9相连，LED光源7与LED光源控制器2相连。

其中，电荷耦合器件(CCD)相机是一个分辨率达1280*960的彩色相机；镜头选取Computar公司生产的MP2系列镜头，此系列具有低失真、高对比度的特点。光源选取采用光源强度可调节的LED光源7，光源颜色选用白色，并且针对苹果表面光滑的特性，照明方式采取正上方漫反射。传果槽4和收集箱3里都铺有硅胶发泡材料，避免苹果滑落产生损伤。使用的计算机9配置为intel(R)Core(TM)i5-3230M CPU@2.60GHz，内存4GB。图像处理软件为MTALB R2014b、Microsoft visual studio 2012等软件。

调节LED光源7，选择最合适的光照方式使苹果表面最清晰，调整相机8焦距，并将其余部件固定在支架上；支架设置在传送带上，翻转果盘5、传果槽4均固定在支架上。

将苹果6放到传送机1上，到达暗箱10的时候会触发相机8开始拍照，对目标区域进行图像采集。将提取到的原始图像输入到计算机9进行分类识别，然后将结果通过传感器来使相应果盘翻转来分类。

下面对本实施例的分类方法进行详细说明。

本实施例研究的是产自山东的红富士苹果，红富士苹果的外部品质分类有国家标准。国标GB/T10651-2008对苹果的外在品质有明确要求，其中针对果径、色泽以及果面都有详细说明，本发明结合国标以及山东一家提供苹果图像的食品企业的实验室给出的参考标准，给出了本发明所用的分类标准如表1所示。在试验前，先对300个红富士苹果进行了人工分级。其中，特级苹果105个，一级苹果110个，二级苹果85个，并分别对特级、一级、二级苹果贴上1/2/3标签。

图像预处理的具体方法为：

从硬件平台采集到的原始图像中，除果实外还包含了链条、托盘。这些干扰的存在会影响目标区域分割和特征提取的准确性，对分类结果造成干扰。因此，利用背景与苹果区域颜色的不同来去除背景。首先原始图像中R通道上比B通道上像素值大于10～20的区域被提取出来；然后利用形态学闭操作、孔洞填充得到了二值图；最后，去除背景后的苹果区域被得到通过重组；图3(a)-(b)分别给出了采集到的原始样本图像以及背景分割后的图像。

由于拍摄环境的影响，图像采集过程中不可避免的会存在噪声，为了尽可能的保留图像自身的细节特征，需要对图像的噪声进行抑制。这个过程被称为图像的滤波操作，主要是用来减少图像上的噪点。中值滤波作为非线性滤波方法的一种，也是图像处理技术中最常用的预处理技术。中值滤波在平滑脉冲噪声方面非常有效，同时可以保护图像尖锐的边缘。针对苹果图像的特点，高斯滤波和中值滤波被同时采用；图4(a)-(b)分别给出了高斯滤波后的图像以及中值滤波后的图像。可以看出，高斯滤波会使图像整体变得模糊，像一层薄纱覆盖在上边；相较而言，中值滤波的处理效果更好，本实施例选用中值滤波。

提取待测样本图像的颜色特征、果形特征、果径特征以及表面缺陷特征的具体方法如下：

对苹果图像预处理结束以后，就要提取特征以输入到分类器中进行识别。首先，针对红富士苹果的特点，优质红富士苹果的表面颜色应以红色为主。因此，红色区域面积占总面积的比值被作为颜色特征用于苹果分类。在HSI颜色模型中，色调(Hue)和饱和度(Saturation)与人们理解和解释颜色的表达方式相似，更适用于本实施例这种分类处理。由于原始图像属于RGB颜色模型，需要将其转化为HSI模型，转化公式如下：

其中，

在HSI模型中，H值的范围是0°-360°，各个区间代表不同的颜色，红色分量的H值基本集中于0°-25°和330°-360°两区间内。因此，提取这两个区间的H值，并与总面积相比，以比值作为颜色特征。

其次，果形被认为是判断苹果等级的一个关键因素，消费者也更青睐于购买果形较好的苹果。表示果形特征的方法有很多，比如圆度、长宽比以及紧密度等等。本发明通过最小外接矩法得到苹果的长度和宽度，以长度和宽度的比值作为果形特征，并定义为果形指数。

对苹果进行边缘检测是提取果形特征的关键步骤，本实施例用Canny边缘检测法来检测边缘：

(1)通过高斯滤波对图像进行平滑操作。

(2)用2*2的一阶有限差分计算q(x,y)的梯度幅值和方向。

(3)局部梯度幅值最大点被保留，非极大值被抑制，这一步也被作为Canny边缘检测的关键步骤。

(4)双阈值算法被用来检测和连接边缘。

通过Canny算法获得图像的二值图，如图5所示，图像物体在90°范围内被等间隔地旋转根据等间隔旋转搜索方法，记录每次在坐标系方向上的数据。通过计算外接矩形面积得到图像的最小外接矩形参数。得到图像的最小外接矩参数后，定义果形指数为外接矩形的长宽比。果形指数越接近1，苹果果形越接近圆。图6给出了最小外接矩形效果图。

然后，相机8的高度在图像拍摄过程中是保持不变的，有利于图像尺寸与实际尺寸的转换。由得到的最小外接矩形参数，可以得到图像的横纵像素个数，再根据测量得到的苹果实际横纵尺寸，可以得到横向和纵向像素当量。取横纵像素当量的平均值作为图像的像素当量。由下式可计算得到果径大小R：

其中，Pe为像素当量，Na为苹果目标区域的像素个数。

最后，针对苹果样本的特点，缺陷面积是进行苹果分类尤为重要的因素。对于红富士苹果来说，果面缺陷区域的颜色一般为深褐色，肉眼很容易观察出。在灰度图像中，缺陷区域的像素灰度级也与正常区域不同，缺陷部分的灰度级集中在20～65之间。因此，通过灰度级在20～60区间的像素个数与苹果区域总像素个数的比值，计算缺陷面积，以此作为缺陷特征。

制定分级标准，本实施例研究的是产自山东的红富士苹果，红富士苹果的外部品质分类有国家标准。国标GB/T10651-2008对苹果的外在品质有明确要求，其中针对果径、色泽以及果面都有详细说明，本发明结合国标以及山东一家提供苹果图像的食品企业的实验室给出的参考标准，给出了本发明所用的分类标准如表1所示。

表1分级参考标准

利用遗传算法和BP神经网络建立样本特征与等级的分类模型，具体为：

Rumelhart和McClelland等人于1986年提出的BP网络，是一种在理论和应用方面发展都较成熟的反向传播多层前馈ANN网络。BP神经网络，一般由输入层、隐含层和输出层组成，隐含层可以是一层或者多层，每个层中又包含许多单个神经元。各隐含层节点的激活函数使用Sigmoid函数，其输入层和输出层激励函数可以根据应用的不同需要而异。算法的核心是通过一边向后传播误差，一边向前修正误差的方法来不断调整权值，以实现或逼近所希望的输入输出关系。

在BP神经网络结构中，隐含层的数量对网络精度具有重要影响，增加隐含层的数量能提高识别精度，但会使网络结构变得复杂，增加训练及识别时间。根据Kolmogorov定理，三层BP网络可以逼近任意有理函数，故可以采用一个隐含层而增加神经元数的方法来提高网络训练的精度。因此，BP神经网络的隐含层数选为1层。本实施例中用于苹果分类的特征有果形、颜色、果径以及缺陷四项，因此输入层节点被设置为4个。由Kolmogorov定理，若输入层节点为N，隐含层节点数应为2N+1，所以隐含层节点被设置为9个。本发明中，苹果等级被设置为3种，因此输出层神经元个数为3，用3*1的矩阵来表示，即特等为(1，0，0)、一等(0，1，0)、二等(0，0，1)。因此，本实施例将构建4—9—3的BP神经网络模型。

BP学习算法采用梯度下降法来收敛实际输出与期望输出之间的误差，网络的权值和阈值一般是随机生成的，这样对网络训练的影响很大。遗传算法在优化神经网络权值方面具有优势，能够更好地防止搜索陷入局部极小值。遗传算法是模拟生物在自然环境下的遗传和进化过程的一种自适应的全局优化搜索算法，简单来说，就是通过种群搜索技术对种群施加类似生物遗传环境因素的选择、交叉、变异等操作来产生新种群，并逐步使种群优化到包含近似最优解的状态。首先，用遗传算法对初始权值分布进行优化，在解空间中找出一个较好的搜索空间；然后，再用BP算法在这个较小的解空间中搜索出全局最优解及对应的输入值。

对这300个苹果进行图像采集和特征提取，并将得到的300组特征向量作为神经网络的输入。本发明采用遗传算法优化出适合神经网络的最佳的初始权值和阈值，设置遗传算法的迭代次数是50次，种群规模是40，交叉概率为0.8，变异概率为0.001。基于遗传算法，寻找到了最佳的初始权值和阈值，通过BP神经网络对训练集进行训练，并用训练后的网络对测试样本进行分类。图7和图8分别给出了遗传算法的优化结果以及优化后的分级结果；分类准确率为94.4％，分级结果如表2所示：

表2分类结果

因此，训练出的BP神经网络对大多数的样本都能实现正确分类。准确率达94.4％，证明了该方法的可行性。

实施例二

在一个或多个实施方式中，公开了一种基于机器视觉的苹果分级系统，包括：

用于采集设定数量的样本图像，构建样本图像集的模块；

用于采集待测样本图像，进行图像预处理的模块；

用于对待测样本进行特征提取；分别提取待测样本图像的颜色特征、果形特征、果径特征以及表面缺陷特征的模块；

用于利用遗传算法和BP神经网络建立样本特征与等级的分类模型的模块；

用于将提取到的待测样本图像的颜色特征、果形特征、果径特征以及表面缺陷特征输入到分类模型中，输出待测样本的等级分类的模块。

实施例三

在一个或多个实施方式中，公开了一种终端设备，包括服务器，所述服务器包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现实施例一中的基于机器视觉的苹果分级方法。为了简洁，在此不再赘述。

应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。

在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。

结合实施例一中的方法步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。

本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于机器视觉的苹果分级方法，其特征在于，包括：

采集设定数量的样本图像，构建样本图像集；

采集待测样本图像，进行图像预处理；

对待测样本进行特征提取；分别提取待测样本图像的颜色特征、果形特征、果径特征以及表面缺陷特征；

制定分级标准，利用遗传算法和BP神经网络建立样本特征与等级的分类模型；

将提取到的待测样本图像的颜色特征、果形特征、果径特征以及表面缺陷特征输入到分类模型中，输出待测样本的等级分类。

2.如权利要求1所述的一种基于机器视觉的苹果分级方法，其特征在于，提取待测样本图像的颜色特征，具体为：

将原始图像的RGB颜色模型转化为HSI模型；

提取红色分量的H值，并与样本区域总面积相比，以比值作为颜色特征。

3.如权利要求1所述的一种基于机器视觉的苹果分级方法，其特征在于，提取待测样本图像的果形特征，具体为：

对待测样本图像进行边缘检测；

得到待测样本图像的最小外接矩形参数，以最小外接矩形的长度和宽度的比值作为果形特征，并定义为果形指数。

4.如权利要求3所述的一种基于机器视觉的苹果分级方法，其特征在于，提取待测样本图像的果径特征，具体为：

根据最小外接矩形参数，得到待测样本图像的横纵像素个数；

根据测量得到的待测样本的实际横纵尺寸，得到横向和纵向像素当量；

取横向和纵向像素当量的平均值作为图像的像素当量；

根据待测样本图像的像素当量以及待测样本目标区域的像素个数，得到待测样本的果径大小。

5.如权利要求1所述的一种基于机器视觉的苹果分级方法，其特征在于，提取待测样本图像的表面缺陷特征，具体为：通过灰度级在设定区间的像素个数与待测样本区域总像素个数的比值，作为缺陷特征。

6.如权利要求5所述的一种基于机器视觉的苹果分级方法，其特征在于，所述设定区间为20～65。

7.如权利要求1所述的一种基于机器视觉的苹果分级方法，其特征在于，利用遗传算法和BP神经网络建立样本特征与等级的分类模型，具体为：

利用遗传算法对BP神经网络初始权值分布进行优化，在解空间中找出一个合适的搜索空间；

利用BP算法在所述搜索空间中搜索出全局最优的初始权值和阈值；

利用样本图像集对BP神经网络进行训练，并用训练后的BP神经网络对待测样本进行分类。

8.一种基于机器视觉的苹果分级系统，其特征在于，包括：

用于采集设定数量的样本图像，构建样本图像集的模块；

用于采集待测样本图像，进行图像预处理的模块；

用于对待测样本进行特征提取；分别提取待测样本图像的颜色特征、果形特征、果径特征以及表面缺陷特征的模块；

用于利用遗传算法和BP神经网络建立样本特征与等级的分类模型的模块；

用于将提取到的待测样本图像的颜色特征、果形特征、果径特征以及表面缺陷特征输入到分类模型中，输出待测样本的等级分类的模块。

9.一种终端设备，其包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，其特征在于，所述指令适于由处理器加载并执行权利要求1-7任一项所述的基于机器视觉的苹果分级方法。

10.一种计算机可读存储介质，其中存储有多条指令，其特征在于，所述指令适于由终端设备的处理器加载并执行权利要求1-7任一项所述的基于机器视觉的苹果分级方法。