CN109815923A - 基于lbp特征与深度学习的金针菇菇头分选识别方法 - Google Patents

Abstract

本发明提供一种基于LBP特征与深度学习的金针菇菇头分选识别方法，包括：1、收集金针菇头部图片，并将所有的金针菇头部图片分为训练集和测试集；2、将训练集的金针菇头部图片进行变化，将变化前的金针菇头部图片和变化后的的金针菇头部图片作为训练数据保存于训练集中；3、提取训练数据的LBP特征a；4、利用卷积神经网络提取训练数据中的深度特征b；5、将降维后的LBP特征a和深度特征b进行融合，得到融合特征c；6、将融合特征c输入到分类器中进行分类得到训练好的模型；7、将测试集中的金针菇头部图片输入到训练好的模型得出预测值，并将预测值与真实值进行比较算出准确率。本发明提高了金针菇头部分类的准确率和效率。

Description

基于LBP特征与深度学习的金针菇菇头分选识别方法

技术领域

本发明涉及计算机视觉和图像处理领域，特别涉及一种基于LBP特征与深度学习的金针菇菇头分选识别方法。

背景技术

计算机视觉就是只用机器代替人眼去做一些识别，而图像处理就是把坏的图像处理成好的图像的一个过程。只有把通过图像处理好的图片放入模型中，才能得到比较准确的结果。

传统的图像分类一般都是先根据图像的特点进行手工提取特征(如人脸识别可提取HOG，SIFT特征等)，然后利用SVM分类器进行分类，最后得出结果。近年来，随着深度学习的研究不断深入，可以说深度学习模型是图像分类问题的一个强有力的工具。应用深度学习技术在解决图像分类问题上成了国内外研究的热点之一。

金针菇学名毛柄金钱菌，具有很高的药用食疗作用。有研究又表明，金针菇具有很好的抗癌作用。所以，金针菇既是一种美味食品，又是较好的保健食品，金针菇的国内外市场日益广阔。优质的金针菇可以卖到更好的价钱，而普通的金针菇却不能。目前来说，金针菇的分类主要依据人工分类，人工分类效率低，且分类的过程易受到人的主观情感影响，容易分错，准确率低。

发明内容

本发明要解决的技术问题，在于提供一种基于LBP特征与深度学习的金针菇菇头分选识别方法，提高了金针菇头部分类的准确率和效率。

本发明是这样实现的：一种基于LBP特征与深度学习的金针菇菇头分选识别方法，包括如下步骤：

步骤1、收集金针菇头部图片，并将所有的金针菇头部图片分为训练集和测试集；

步骤2、将所述训练集的金针菇头部图片进行变化，将变化前的金针菇头部图片和变化后的的金针菇头部图片作为训练数据保存于训练集中；

步骤3、提取所述训练数据的LBP特征a，并对LBP特征a进行降维处理；

步骤4、利用卷积神经网络提取所述训练数据中的深度特征b；

步骤5、将降维后的所述LBP特征a和深度特征b进行融合，得到融合特征c；

步骤6、将所述训练数据的所述融合特征c输入到分类器中进行分类得到训练好的模型，并得到最终的分类结果；

步骤7、将所述测试集中的金针菇头部图片输入到训练好的模型得出预测值，并将预测值与真实值进行比较算出模型的准确率。

进一步地，所述步骤1具体包括以下步骤：

步骤11、在金针菇厂搭建机器视觉系统，选用型号为FL3-GE-03S1M-C的灰点彩色相机进行拍摄，相机的像素大小为1024×1280；

步骤12、在进行拍摄的时候，由专业技术人员对金针菇头部的类别进行判定，然后通过该机器视觉系统对金针菇头部进行拍摄，再将拍摄好的金针菇头部图片交由专业技术人员进行核实后，根据金针菇头部的类别将金针菇头部图片存储于对应种类的数据库中；

步骤13、将拍摄好的金针菇头部图片进行收集和标记，将收集到的金针菇头部图片的80％作为训练集，20％作为测试集。

进一步地，所述步骤2具体为：

通过图片旋转、图片平移和图片加噪声的方式，对金针菇头部图片进行扩充，三种方式的计算公式如下：

①图像旋转计算公式如下：

其中，(i₂,j₂)是原图像F(i₂,j₂)的像素点的坐标，θ为旋转角度，(i₁,j₁)是将对应像素点(i₂,j₂)旋转之后的像素点的坐标；

②图像平移的计算公式如下：

其中，(i₂,j₂)是原图像F(i₂,j₂)的像素点的坐标，为平移量，(i₁,j₁)是将对应像素点(i₂,j₂)平移之后的像素点的坐标；

③图像加高斯噪声的计算公式如下：

(i₁,j₁)＝(i₂,j₂)+XMeans+sigma*G(d) (3)

其中，(i₂,j₂)是原图像F(i₂,j₂)的像素点的坐标，(i₁,j₁)是将对应像素点(i₂,j₂)加入高斯噪声之后的像素点的坐标，XMeans代表平均值，sigma代表标准方差，d为一个线性的随机数，G(d)是随机数的高斯分布随机值。

进一步地，所述步骤3具体为：

首先将收集到的彩色的金针菇头部图片转换为灰度的金针菇头部图片，设定每张金针菇头部图片的像素大小为m×m及子块的尺寸大小为n×n，m和n为正整数且m能被n整除；按照设定的子块尺寸大小对每张金针菇头部图片划分m²/n²个相同尺寸大小的子块，对于每个子块中的一个像素，采用的算子将相邻的p个子块的像素的灰度值与其进行比较，中的R为半径，P为采样点的个数，若周围子块的像素的灰度值大于该子块的像素的灰度值，则该子块的像素点的位置被标记为1，否则为0；这样，以R为半径的圆形邻域内，中心子块与周围p个子块的像素的灰度值比较后，产生p位二进制数，即得到该中心子块的窗口中心像素点的LBP值，如公式(4)所示：

其中，(x_c,y_c)是窗口中心像素点，i_c是中心子块的像素的灰度值，i_p是相邻子块的像素的灰度值，s是一个符号函数：

然后计算每个子块的直方图，然后对直方图进行归一化处理，最后将得到的每个子块的统计直方图进行连接成为一张金针菇头部图片的LBP特征a，最终得到2×n²×m/n维的LBP特征a，之后通过PCA进行降维处理后得到h维的LBP特征a；PCA的做法就是通过原来的变量做线性投影形成新的变量，一般通过公式(6)来计算特征的主成分：

y＝U^T(x_i-x) (6)

其中，y表示主成分特征，x表示训练样本的特征均值，x_i为需要降维的特征，U^T为协方差矩阵计算公式，如公式(7)所示：

进一步地，所述步骤4具体为：

采用vgg-16模型，通过一系列的卷积池化操作，最后通过全连接层得到深度特征b；对于卷积层来说，每层卷积层的输出特征是通过将一组M₁×M₂的滤波器与前一层卷积层的输出特征进行卷积获得，卷积操作的输出公式表示如下：

其中，Y_j为第j层卷积层所得的输出特征，X_i表示卷积层的输入特征，W_j,i为M₁×M₂滤波器的权重矩阵，b_j为第j层的偏置，代表卷积操作，N为前一层卷积层所有或部分特征的个数；

对于池化层来说，通过对前一层的卷积层的每个特征图进行最大采样来获得相应的输出特征；对于全连接层，该全连接层中的每个神经元连接前面一层池化层中的所有神经元，从而得到一个深度特征b。

进一步地，所述步骤5具体为：

c＝[a₁,b₁；a₂,b₂；a₃,b₃；…；a_p,b_p] (9)

其中，p为训练的金针菇头部图片总数。

进一步地，所述步骤6具体为：

将所述融合特征c后接一个K维的全连接层，利用softmax分类器进行分类得到训练好的模型，并得到最终的分类结果，softmax函数的本质就是将一个K维的任意实数向量压缩成另一个K维的实数向量，其中实数向量中的每个元素取值都介于(0，1)之间，计算公式如下：

本发明的优点在于：本发明利用了计算机视觉以及图像处理等技术，对金针菇头部图片进行处理，通过输入金针菇头部图片，先提取LBP特征，再搭建caffe框架，提取深度特征，将LBP特征与深度特征融合，作为模型的输入，最后利用softmax分类器得出正确结果，通过训练模型和测试模型，最后预测结果；大大提高了分类的准确率，同时有效的避免了人工分类的主观性和个体差异性等问题，减少了劳动力，提高工作效率，能够为企业带来更大的经济效益。

附图说明

下面参照附图结合实施例对本发明作进一步的说明。

图1为本发明一种基于LBP特征与深度学习的金针菇菇头分选识别方法的执行流程图。

图2为本发明中池化层、卷积层和全连接层操作后得到深度特征b的示意图。

图3为本发明中LBP特征与深度特征融合后得到融合特征的示意图。

具体实施方式

为使得本发明更明显易懂，现以一优选实施例，并配合附图作详细说明如下。

如图1所示，本发明的一种基于LBP特征与深度学习的金针菇菇头分选识别方法，包括如下步骤：

步骤1、收集金针菇头部图片做成样本，并将所有的金针菇头部图片分为训练集和测试集；

本实例中，具体有：

步骤11、在金针菇厂搭建机器视觉系统，选用型号为FL3-GE-03S1M-C的灰点彩色相机进行拍摄，相机的像素大小为1024×1280；收集图片的时候，需要提前搭建好机器视觉系统，包括相机的选型、镜头的选择、光源的摆放等，拍摄的时候不要让相机晃动，并且保证每张图片的拍摄环境相同。

步骤12、在进行拍摄的时候，由专业技术人员对金针菇头部的类别进行判定，然后通过该机器视觉系统对金针菇头部进行拍摄，再将拍摄好的金针菇头部图片交由专业技术人员进行核实后，根据金针菇头部的类别将金针菇头部图片存储于对应种类的数据库中，通过该机器视觉系统对金针菇头部进行拍摄，确保标注的准确性；

步骤13、拍摄图片之后，将拍摄好的金针菇头部图片进行收集和标记，将收集到的金针菇头部图片的80％作为训练集，20％作为测试集(训练集为金针菇头部图片总数的80％，用来训练模型；测试集为金针菇头部图片总是的20％，用来检测模型的效果)。

同时，将金针菇头部图片的像素大小归一化为128×128，然后把一幅图所有像素值都加起来之后再除以像素点的个数得到均值m，最后将每个像素点的像素值减去m得到去均值之后的图像。训练集中分别命名有0和1两个集合，0代表品质差的菇，1代表品质好的菇，0集合里面的金针菇头部图片统一从1开始命名，同理可得，1集合里面的金针菇头部图片统一从1开始命名。测试集依然也分为0和1两个集合，与训练集命名方式一致。

步骤2、将所述训练集的金针菇头部图片进行变化，将变化前的金针菇头部图片和变化后的的金针菇头部图片作为训练数据保存于训练集中，增加了训练集的数据量，降低过拟合，提高模型的泛化能力；

本实例中，通过将金针菇头部图片旋转45度、90度和135度，平移量分别等于5、10和15，以及加高斯噪声将金针菇头部图片扩大为原来的7倍，通过图片旋转、图片平移和图片加噪声的方法，对金针菇头部图片进行扩充。三种方式的计算公式如下：

①图像旋转计算公式如下：

其中，(i₂,j₂)是原图像F(i₂,j₂)的像素点的坐标，θ为旋转角度，(i₁,j₁)是将对应像素点(i₂,j₂)旋转之后的像素点的坐标。

②图像平移的计算公式如下：

其中，(i₂,j₂)是原图像F(i₂,j₂)的像素点的坐标，为平移量，(i₁,j₁)是将对应像素点(i₂,j₂)平移之后的像素点的坐标。

③图像加高斯噪声的计算公式如下：

(i₁,j₁)＝(i₂,j₂)+XMeans+sigma*G(d) (3)

其中，(i₂,j₂)是原图像F(i₂,j₂)的像素点的坐标，(i₁,j₁)是将对应像素点(i₂,j₂)加入高斯噪声之后的像素点的坐标，XMeans代表平均值，sigma代表标准方差，d为一个线性的随机数，G(d)是随机数的高斯分布随机值。

步骤3、提取所述训练数据的LBP特征a，然后通过PCA对LBP特征a进行降维处理；

本实例中，首先将收集到的彩色的金针菇头部图片转换为灰度的金针菇头部图片，设定每张金针菇头部图片的像素大小为m×m及子块的尺寸大小为n×n，m和n为正整数且m能被n整除；按照设定的子块尺寸大小对每张金针菇头部图片划分m²/n²个相同尺寸大小的子块，对于每个子块中的一个像素，采用的算子将相邻的p个子块的像素的灰度值与其进行比较，中的R为半径，P为采样点的个数，若周围子块的像素的灰度值大于该子块的像素的灰度值，则该子块的像素点的位置被标记为1，否则为0；这样，以R为半径的圆形邻域内，中心子块与周围p个子块的像素的灰度值比较后，产生p个子块的像素的灰度值比较后，产生8位二进制数，即得到该中心子块的窗口中心像素点的LBP值，如公式(4)所示：

其中，(x_c,y_c)是窗口中心像素点，i_c是中心子块的像素的灰度值，i_p是相邻子块的像素的灰度值，s是一个符号函数：

针对每个子块，采用算子求出每个子块的图像纹理特征a1，每个子块的图像纹理特征a1的维数为2×n²维；

然后计算每个子块的直方图，即每个数字(假定是十进制数LBP值)出现的频率，然后对直方图进行归一化处理，最后将得到的每个子块的统计直方图进行连接成为一张金针菇头部图片的LBP特征a，最终一张金针菇头部图片得到2×n²×m/n维的LBP特征a，之后通过PCA进行降维处理后得到h维(h取多少是用户根据实际情况设定的，h为正整数)的LBP特征a；具体有：每张金针菇头部图片的像素大小为128×128，子块的大小为16×16，按照16×16的大小对每张金针菇头部图片划分为64个子块(cell)(检测窗口为64个子块)针对每个子块，采用算子(8为采样点个数，1为半径，这是个圆形的算子)求出每个子块的图像纹理特征，每个子块都得到512维特征向量，然后计算每个子块的直方图，然后对直方图进行归一化处理，最后将得到的每个子块的统计直方图进行连接成为一张金针菇头部图片的LBP特征a，最终得到512×64＝32768维的LBP特征a，之后通过PCA降维得到128维的LBP特征a，本发明中输入的金针菇头部图片的大小为128×128，最后得到一个128维的LBP向量；PCA的做法就是通过原来的变量做线性投影形成新的变量，一般通过公式(6)来计算特征的主成分：

y＝U^T(x_i-x) (6)

其中，y表示主成分特征，x表示训练样本的特征均值，x_i为需要降维的特征，U^T为协方差矩阵计算公式，如公式(7)所示：

步骤4、利用卷积神经网络(深度学习模型)提取所述训练数据中的深度特征b；

采用vgg-16模型，通过一系列的卷积池化操作，最后通过全连接层得到深度特征b；本实例中，利用以vgg-16模型(vgg-16模型可以参考文献Olga Russakovsky,Jia Deng,Hao Su,et al.ImageNet Large Scale Visual Recognition Challenge[J].International Journal of Computer Vision,2015,115(3):211-252.)为基础的模型LD(LD为本模型的名字)(如图2所示)来提取金针菇头部图片的深度特征b，该部分由13层卷积层、4层池化层和1层全连接层组成。对于卷积层来说，每层卷积层的输出特征是通过将一组M₁×M₂的滤波器与前一层卷积层的输出特征进行卷积获得。卷积操作的输出公式表示如下：

其中，Y_j为第j层卷积层所得的输出特征，X_i表示卷积层的输入特征，W_j,i为M₁×M₂滤波器的权重矩阵，b_j为第j层的偏置，代表卷积操作，N为前一层卷积层所有或部分特征的个数；

对于池化层来说，通过对前一层的卷积层每个特征图进行最大采样来获得相应的输出特征，第三层池化是对第二层卷积层得到的特征图进行最大采样之后得到新的特征作为第四层的输入，换句话说就是运用固定大小的池化窗对卷积特征提取窗口中所有像素的最大值；同理第六层是对第五层卷积层得到的特征图进行最大采样之后得到新的特征作为下一层的输入；对于全连接层，该全连接层中的每个神经元连接前面一层池化层中的所有神经元，从而得到一个深度特征b，将图2所示的全连接层设置为128个神经元，就可得到128维向量，如果设置为256个神经元就可以得到256维向量，以此类推。

步骤5、将降维后的所述LBP特征a和深度特征b进行融合，得到融合特征c；

本实例中，将a、b特征进行融合成c，具体步骤如下：

c＝[a₁,b₁；a₂,b₂；a₃,b₃；…；a_p,b_p] (9)

其中，p为训练的金针菇头部图片总数(训练样本总数)，本实例中p＝128。

步骤6、将所述训练数据的所述融合特征c输入到分类器中进行分类得到训练好的模型，并得到最终的分类结果；

本实例中，如图3所示，将所述融合特征c后接一个2维的全连接层d，利用softmax分类器(还可以采用svm分类器)进行分类得到训练好的模型，并得到最终的分类结果，softmax函数的本质就是将一个K维的任意实数向量压缩(映射)成另一个K维的实数向量，其中向量中的每个元素取值都介于(0，1)之间,本实例中K＝2，计算公式如下：

步骤7、将所述测试集中的金针菇头部图片输入到训练好的模型得出预测值，并将预测值与真实值进行比较算出模型的准确率，模型的输入为图片的像素点(在计算机中读取的是一个矩阵)，输出的是预测结果。预测值指的是通过模型预测出来的值，真实值指的是实际的值。准确率等于预测值与真实值相等的个数/总个数。

本发明的优点如下：

本发明利用了计算机视觉以及图像处理等技术，对金针菇头部图片进行处理，通过输入金针菇头部图片，先提取LBP特征，再搭建caffe框架，提取深度特征，将LBP特征与深度特征融合，作为模型的输入，最后利用softmax分类器得出正确结果，通过训练模型和测试模型，最后预测结果；大大提高了分类的准确率，同时有效的避免了人工分类的主观性和个体差异性等问题，减少了劳动力，提高工作效率，能够为企业带来更大的经济效益。

虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (7)

1.一种基于LBP特征与深度学习的金针菇菇头分选识别方法，其特征在于：包括如下步骤：

步骤1、收集金针菇头部图片，并将所有的金针菇头部图片分为训练集和测试集；

步骤2、将所述训练集的金针菇头部图片进行变化，将变化前的金针菇头部图片和变化后的的金针菇头部图片作为训练数据保存于训练集中；

步骤3、提取所述训练数据的LBP特征a，并对LBP特征a进行降维处理；

步骤4、利用卷积神经网络提取所述训练数据中的深度特征b；

步骤5、将降维后的所述LBP特征a和深度特征b进行融合，得到融合特征c；

步骤6、将所述训练数据中所述融合特征c输入到分类器中进行分类得到训练好的模型，并得到最终的分类结果；

步骤7、将所述测试集中的金针菇头部图片输入到训练好的模型得出预测值，并将预测值与真实值进行比较算出模型的准确率。

2.如权利要求1所述的一种基于LBP特征与深度学习的金针菇菇头分选识别方法，其特征在于：所述步骤1具体包括以下步骤：

步骤11、在金针菇厂搭建机器视觉系统，选用型号为FL3-GE-03S1M-C的灰点彩色相机进行拍摄，相机的像素大小为1024×1280；

步骤12、在进行拍摄的时候，由专业技术人员对金针菇头部的类别进行判定，然后通过该机器视觉系统对金针菇头部进行拍摄，再将拍摄好的金针菇头部图片交由专业技术人员进行核实后，根据金针菇头部的类别将金针菇头部图片存储于对应种类的数据库中；

步骤13、将拍摄好的金针菇头部图片进行收集和标记，将收集到的金针菇头部图片的80％作为训练集，20％作为测试集。

3.如权利要求1所述的一种基于LBP特征与深度学习的金针菇菇头分选识别方法，其特征在于：所述步骤2具体为：

通过图片旋转、图片平移和图片加噪声的方式，对金针菇头部图片进行扩充，三种方式的计算公式如下：

①图像旋转计算公式如下：

其中，(i₂,j₂)是原图像F(i₂,j₂)的像素点的坐标，θ为旋转角度，(i₁,j₁)是将对应像素点(i₂,j₂)旋转之后的像素点的坐标；

②图像平移的计算公式如下：

其中，(i₂,j₂)是原图像F(i₂,j₂)的像素点的坐标，为平移量，(i₁,j₁)是将对应像素点(i₂,j₂)平移之后的像素点的坐标；

③图像加高斯噪声的计算公式如下：

(i₁,j₁)＝(i₂,j₂)+XMeans+sigma*G(d) (3)

其中，(i₂,j₂)是原图像F(i₂,j₂)的像素点的坐标，(i₁,j₁)是将对应像素点(i₂,j₂)加入高斯噪声之后的像素点的坐标，XMeans代表平均值，sigma代表标准方差，d为一个线性的随机数，G(d)是随机数的高斯分布随机值。

4.如权利要求1所述的一种基于LBP特征与深度学习的金针菇菇头分选识别方法，其特征在于：所述步骤3具体为：

首先将收集到的彩色的金针菇头部图片转换为灰度的金针菇头部图片，设定每张金针菇头部图片的像素大小为m×m及子块的尺寸大小为n×n，m和n为正整数且m能被n整除；按照设定的子块尺寸大小对每张金针菇头部图片划分m²/n²个相同尺寸大小的子块，对于每个子块中的一个像素，采用的算子将相邻的p个子块的像素的灰度值与其进行比较，中的R为半径，P为采样点的个数，若周围子块的像素的灰度值大于该子块的像素的灰度值，则该子块的像素点的位置被标记为1，否则为0；这样，以R为半径的圆形邻域内，中心子块与周围p个子块的像素的灰度值比较后，产生p位二进制数，即得到该中心子块的窗口中心像素点的LBP值，如公式(4)所示：

其中，(x_c,y_c)是窗口中心像素点，i_c是中心子块的像素的灰度值，i_p是相邻子块的像素的灰度值，s是一个符号函数：

然后计算每个子块的直方图，然后对直方图进行归一化处理，最后将得到的每个子块的统计直方图进行连接成为一张金针菇头部图片的LBP特征a，最终得到2×n²×m/n维的LBP特征a，之后通过PCA进行降维处理后得到h维的LBP特征a；PCA的做法就是通过原来的变量做线性投影形成新的变量，一般通过公式(6)来计算特征的主成分：

y＝U^T(x_i-x) (6)

其中，y表示主成分特征，x表示训练样本的特征均值，x_i为需要降维的特征，U^T为协方差矩阵计算公式，如公式(7)所示：

5.如权利要求1所述的一种基于LBP特征与深度学习的金针菇菇头分选识别方法，其特征在于：所述步骤4具体为：

采用vgg-16模型，通过一系列的卷积池化操作，最后通过全连接层得到深度特征b；对于卷积层来说，每层卷积层的输出特征是通过将一组M₁×M₂的滤波器与前一层卷积层的输出特征进行卷积获得，卷积操作的输出公式表示如下：

其中，Y_j为第j层卷积层所得的输出特征，X_i表示卷积层的输入特征，W_j,i为M₁×M₂滤波器的权重矩阵，b_j为第j层的偏置，代表卷积操作，N为前一层卷积层所有或部分特征的个数；

对于池化层来说，通过对前一层的卷积层的每个特征图进行最大采样来获得相应的输出特征；对于全连接层，该全连接层中的每个神经元连接前面一层池化层中的所有神经元，从而得到一个深度特征b。

6.如权利要求1所述的一种基于LBP特征与深度学习的金针菇菇头分选识别方法，其特征在于：所述步骤5具体为：

c＝[a₁,b₁；a₂,b₂；a₃,b₃；…；a_p,b_p] (9)

其中，p为训练的金针菇头部图片总数。

7.如权利要求1所述的一种基于LBP特征与深度学习的金针菇菇头分选识别方法，其特征在于：所述步骤6具体为：

将所述融合特征c后接一个K维的全连接层，利用softmax分类器进行分类得到训练好的模型，并得到最终的分类结果，softmax函数的本质就是将一个K维的任意实数向量压缩成另一个K维的实数向量，其中实数向量中的每个元素取值都介于(0，1)之间，计算公式如下：