CN109295159A

CN109295159A - 香肠品质智能鉴别方法

Info

Publication number: CN109295159A
Application number: CN201811259315.2A
Authority: CN
Inventors: 郭培源; 董小栋; 邢素霞; 肖洪兵; 孙梅
Original assignee: Beijing Technology and Business University
Current assignee: Beijing Technology and Business University
Priority date: 2018-10-26
Filing date: 2018-10-26
Publication date: 2019-02-01

Abstract

本申请公开了一种香肠品质智能鉴别方法，包括以下步骤：对香肠菌落总数光谱数据利用主成分分析法PCA进行光谱特征提取；利用深度学习中的卷积网络CNN和支持向量机SVM相结合自动提取适用于表达香肠菌落总数图像数据深度特征；将香肠菌落总数光谱特征和图像数据深度特征再次融合并输入到粒子群算法PSO改进后的SVM分类模型中，进行香肠新鲜或腐败二分类。本发明提出了一种利用香肠菌落总数的光谱特征和图像数据的深度特征相结合检测方法，品质检测不仅充分利用了香肠高光谱数据的光谱特征，而且融入了香肠高光谱丰富的图像信息，实现了高光谱数据的“图谱合一”，可以快速对香肠的新鲜和腐败进行识别，并大幅度提高分类的准确度。

Description

香肠品质智能鉴别方法

技术领域

本申请涉及食品检测领域，具体涉及一种香肠品质智能鉴别方法。

背景技术

香肠以其独特的口味和口感，已经成为人们生活中必不可少的美食。但是，由于目前香肠的制作一部分来源于人们的手工制作，其传统的方法在食品安全方面意识淡薄，安全条件未达标。另一部分虽然在工厂生产，但因为其本身制作过程需要在露天环境中，还要经过很多的化学处理过程，导致肉类会有大量的外来菌的污染、微生物和化学微量元素残留，也就无法保证制作的香肠品质完全符合国家食品安全标准。

目前对于香肠品质鉴别的检测方法主要是：感官分析法和理化值测定法。前者依靠经验，无法准确地判断食品质量；后者虽然在准确度上会大大提高，但是，这种传统的检测方法，需要专业人士操作，花费时间周期长，也不能被大量的人员掌握，无法满足大众实际生活中的实时需要。

发明内容

鉴于现有技术中的上述缺陷或不足，期望提供一种能够快速识别香肠新鲜度的香肠品质智能鉴别方法。

为了实现上述目的，本发明采取的技术方案是：

一种香肠品质智能鉴别方法，包括以下步骤：

采集数据：采集香肠样本的菌落总数高光谱中的光谱数据和图像数据；

提取光谱特征：对香肠菌落总数光谱数据进行光谱特征提取；

提取深度特征：提取香肠菌落总数图像数据的深度特征；

特征融合：将香肠菌落总数的光谱特征和图像数据的深度特征再次融合并得到融合特征；

分类：将融合特征输入到分类模型中，进行香肠新鲜或腐败二分类。

所述提取光谱特征包括：对所述光谱数据利用主成分分析法PrincipalComponent Analysis，PCA进行光谱特征提取。

所述提取深度特征包括：利用深度学习中的卷积网络Convolutional NeuralNetwork,CNN和支持向量机Support Vector Machine,SVM相结合自动提取适用于表达香肠菌落总数图像数据的深度特征。

所述主成分分析法为选择累积大于100％的主成分，作为最终的光谱特征。

所述分类模型为利用粒子群算法Particle Swarm Optimization，PSO改进后的支持向量机Support Vector Machine,SVM分类模型。

与现有技术相比，本发明的有益效果是：

本发明提出了一种利用香肠菌落总数的光谱特征和图像数据的深度特征相结合检测方法，品质检测不仅充分利用了香肠高光谱数据的光谱特征，而且融入了香肠高光谱丰富的图像信息，实现了高光谱数据的“图谱合一”，可以快速对香肠的新鲜和腐败进行识别，并大幅度提高分类的准确度。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1为本发明实施例提供的整体线路图。

图2为本发明实施例提供的样本的感兴趣区域原始光谱图像；

图3为本发明实施例提供的样本感兴趣区域的平均光谱曲线；

图4为本发明实施例提供的预处理光谱经过PCA主成分分析后的原始光谱曲线；

图5为本发明实施例提供的样本的预处理光谱经过PCA主成分分析后的感兴趣区域的平均光谱曲线；

图6为本发明实施例提供的样本原始高光谱图像；

图7为本发明实施例提供的样本增广后的高光谱图像；

图8为本发明实施例提供的CNN特征图可视化图；

图9为本发明实施例提供的CNN训练损失函数图；

图10为本发明实施例提供的一种测试样本受试者工作特征曲线(receiveroperating characteristic curve，ROC曲线)；

图11为本发明实施例提供的另一种测试样本ROC曲线；

图12为本发明实施例提供的样本的检索样本和结果图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

一种香肠品质智能鉴别方法，包括以下步骤：

提取深度特征：提取香肠菌落总数图像数据的深度特征；

优选地，所述提取光谱特征包括：对所述光谱数据利用主成分分析法PrincipalComponent Analysis，PCA进行光谱特征提取。主成分分析法为选择累积大于100％的主成分，作为最终的光谱特征。

本发明首次利用主成分分析法对香肠菌落总数光谱数据进行光谱特征提取，并采用支持向量回归预测模型(Support Vector Regression,SVR)的超参数进行寻优。

本发明提取的光谱特征作为高斯核函数的支持向量机回归预测模型的输入数据。SVR有两个重要的参数，C和g。C是惩罚系数，即对误差的宽容度。C越高，说明越不能容忍出现误差,容易过拟合。C越小，容易欠拟合。C过大或过小，泛化能力变差。g是选择高斯核函数的参数，g越大，支持向量越少，g值越小，支持向量越多。支持向量的个数影响训练与预测的速度。因此，C和g参数的寻优尤为重要。

优选地，所述提取深度特征包括：利用深度学习中的卷积网络ConvolutionalNeural Network,CNN和支持向量机Support Vector

Machine,SVM相结合自动提取适用于表达香肠菌落总数图像数据的深度特征。

本发明首次构建针对香肠高光谱图像数据的深度特征学习中的卷积网络和支持向量机相结合自动提取适用于表达香肠菌落总数图像数据深度特征。卷积网络已经成为图像特征提取的重要手段。利用该方法将香肠的高光谱图像特征和光谱特征进行融合，无人工干预自动提取更适用于香肠高光谱图像表达的特征，实现真正的“图谱合一”。

优选地，所述分类模型为利用粒子群算法Particle Swarm Optimization，PSO改进后的支持向量机Support Vector Machine,SVM分类模型。

本发明首次融合香肠菌落总数的光谱特征和图像数据的深度特征，输入到粒子群算法(Particle Swarm Optimization，PSO)超参数优化算法中进行二分类训练，得到分类模型结果，搭建检索系统，实现香肠新鲜度等级快速分类识别。

为了实现香肠的快速检测，确定其新鲜度的等级，可以利用训练好的离线模型提取香肠高光谱图像的深层特征，然后融合对应香肠的高光谱特征，采用欧式距离计算测试样本与标准库样本的相似度，从而快速确定测试样本的新鲜度等级。

本发明充分的利用香肠的内部特征和外部特征，作为改进SVM算法的输入数据，建立和训练分类预测离线模型，进行香肠新鲜度快速识别。

参见图1，一种香肠品质智能鉴别方法，包括以下步骤：

1、制作香肠样本，并获取香肠的高光谱图像样本，该样本包括香肠的高光谱图像数据和光谱数据，下面分别对光谱数据和图像数据进行处理；

2、对香肠的光谱数据进行主成分分析，提取光谱特征；

3、提取的光谱特征作为高斯核(Radial Basis Function,RB)F支持向量的输入数据，并利用遗传算法(Genetic Algorithm，GA)、网格搜索算法、PSO对C和g参数进行寻优；

4、利用CNN提取香肠高光谱图像数据的深度特征；

5、利用特征融合的手段将步骤2和步骤4中的光谱特征和深度特征进行特征融合；

6、利用优化算法，即步骤3中对比GA、网格搜索、PSO寻优算法后，选择的最优算法及其最优算法的最优参数，对步骤5中融合后的特征进行香肠新鲜度的二分类训练；

7.利用分类训练后的分类模型搭建检索系统，对香肠的新鲜度进行识别。

下面通过具体的实施例对本发明做进一步的说明：

1试验材料与方法

1.1材料与仪器

实验材料的广式腊肠，来源于超市，其中腐败的腊肠有一部分是来源超市。实验仪器使用的是北京安洲科技有限公司的SOC710VP高光谱分析仪，实验室用的光谱范围是400-1000nm，共有128个波段。

1.2实验方法

1.2.1样品制备

一部分腐败的腊肉是在实验室培养箱(湿度>75％，温度大于50℃，历时六个月)中制作的，将腊肉切块，每块腊肉厚2cm，新鲜和腐败各选择50组，新鲜(挥发性盐基氮<25mg/100g)或腐败(挥发性盐基氮>25mg/100g)，香肠是否腐败是根据GB5009.44-1989《总挥发性盐基氮肉类新鲜度标准》测定标准做理化值判断。

1.2.2香肠光谱数据的获取

对采集得到的高光谱图像进行黑白板校正，以样本(去掉腊肉样本中的皮)的中心点向左右扩散，分别以半径为14，12，10,8，6mm五个感兴趣区域等级，然后获取每个分等级的感兴趣区域的平均光谱曲线，然后对不同等级的感兴趣区域建立SVM分类预测模型，采用精确率和召回率来评价模型的预测的好坏。

为防止因为样品的不均匀性、光散射等因素造成的影响，在建模之前采用多元散射校正对光谱进行预处理。使用全波段进行SVM分类建模，因为数据的高维度和复杂度，不仅计算量多而且冗余的信息也比较多。利用PCA对预处理后的光谱进行降维，既能保证原始信息的完整性，还可以有效的去掉信息中相关性较高的信息。

1.2.3高光谱图像数据的获取

深度模型使用的是三通道，获得样本的高光谱图像，新鲜和腐败各选择50组，利用ENVI软件选取256通道中三个通道，两两之间相隔25。在新鲜和腐败共100个原始样本上依次选择三个光谱通道Band10、Band35和Band60，Band11、Band36和Band61，如此交替共50次，共5000个原始样本，然后经过8种数据增广的方式裁剪、旋转和镜像等扩展至4万张数据样本。

1.2.4高光谱图像特征提取

高光谱图像特征提取的特征如图8所示，本发明使用的CNN结构共16层，10个3×3的卷积层、3个5×5的卷积层、5个5×5的池化层、2个全连层和损失层。系统的输入是高光谱图像素的三个Bands[15-16]，系统的输出是分类的标签，在本发明中即新鲜或者腐败，它由几个卷积和堆叠层以及逻辑回归(Logical Regression)层组成。经过几个卷积和池化层之后，输入像素矢量可以转换成特征向量，它捕获输入像素矢量中的空间信息，最后，利用LR或其他分类器来完成二分类步骤。

1.2.5逻辑回归

在本发明中，模型参数被随机初始化，并通过误差反向传播算法进行训练，在进行参数更新之前，需要定义逻辑回归损失函数，概率值(Softmax)应用在多分类任务中，类别标签有两个以上的值。对于数据训练样本：

{(x⁽¹⁾,y⁽¹⁾),L,(x^(m),y^(m))},对应的类别标签有y⁽ⁱ⁾∈{1,2,3,L k}，i∈1,2,L,n。针对输入样本，对应设计每一个样本对应类别j的估算的概率值P(y⁽ⁱ⁾＝j|x⁽ⁱ⁾)，该值就是最终分为其中一类的概率。当为二分类时，可化简为逻辑回归。

在这之前，首先定义最大似然函数，训练样本x_i相互独立，则公式为：

其中，L为最大似然值，P表示样本为正例的概率，取值范围为[0,1],n为样本个数，x⁽ⁱ⁾为第i个样本的输入的特征向量，ω为训练中的权重参数，y⁽ⁱ⁾为第i个样本的标签，在本发明中，预测香肠新鲜度，则新鲜为正例，腐败为负例。是逻辑斯蒂函数，有时简称为sigmoid函数，函数图像为S型：

其中，z是网络的输入，及权重参数和特征的线性组合，ω₀Lω_n为每一个神经元的权重参数，x₁,L,x_n为输入的特征，_T为转置。

z_i＝ω^Tx＝ω₀+ω₁x₁+L+ω_nx_n。

有了样本的预测概率P，得到样本的类别如下：

其中，其中为预测的标签，通过上面的分析，对于最大似然函数，要找出的是最大值。则：

用梯度下降等优化算法来求解最大化似然时的参数。最大化和最小化本质上没有区别，所以将最大似然写成求最小值的损失函数J(ω)形式：

为了防止过拟合，加入L2范数，公式如下：

其中，m是权重的数量，λ是正则化系数，而1/2是为了公式方便推导。

1.2.6光谱特征和图像特征融合

本发明采用特征层融合。将CNN最后一层提取的深度特征与光谱特征融合，公式如下：

V_fusion＝[F_spectral+F_{hyper_image}] (7)

其中，F_{hyper_image}矩阵为CNN模型提取的1×n的矩阵，实验中所取的特征维数n为FC7(第七全连层，Fully Connected Layers,FC)层最终的256维。F_spectral为光谱曲线提取的1×m的矩阵，实验中提取的光谱特征维数m为10维。V_fusion为融合后的特征矩阵1×(n+m)，即融合后的特征维数为266。将融合的特征输入PSO+SVM网络中，本文采用的核函数是RBF，其中的超参数C,g是通过粒子群算法进行优化。

1.2.7交叉验证

为了进一步测试模型的泛化能力，随机的将样本，此时的样本为输入的融合特征样本分成两份，如此操作十次，便可得到十份训练集和测试集，分别取十份训练集中的一份以及其对应的测试集，代入到CNN和SVM中训练，分别计算模型在其余剩下的九个测试集中的泛化能力。然后依次取一份对应训练集和测试集，则可完成十次，将计算十次的结果表现进行综合评价,涉及到的分类指标：

精确率：是针对预测结果而言，表示预测为正的样本中有多少是真正的正样本。有两种可能，一种就是把正类预测为正类(True Positive，TP)，另一种，将负类预测为正类(False Positive，FP)，如下：

召回率(Recall，R)：是针对原来的样本，表示样本中的正例有多少被预测正确。也有两种可能，一种是把原来的正类预测成正类(TP)，另一种就是把原来的正类预测为负类(False Negative，FN)，如下：

F1Score：是准确率与召回率的综合。可以认为是平均效果。百分百召回的算法不一定是最优算法，因此，F1Score就显得尤为重要：

SVM分类的准确率公式如下：

其中，TN为真阴性True Negative，FN为假阴性，TP为假阳性，FP为真阳性。

1.3数据处理

2结果与分析

2.1光谱数据

以半径为10mm获得样本的全波段原始反射光谱曲线如图2和图3所示，图2中是IDL83ENVI51(win64)软件选择band(波段)10、band35和band60后的图像数据，图3中是感兴趣区域的平均光谱图，从图中的光谱曲线可以看出，感兴趣区域的平均光谱曲线非常平滑，没有太多的噪声。

2.2光谱预处理和特征提取

如图4所示是预处理光谱经过PCA主成分分析后的结果图。

由图4和图5可知，前10个主成分累计贡献率已接近100％，已经可以反映出样本的绝大部分所包含信息，所以在接下来的SVM分类模型中，选择前10个PCA主成分作为光谱特征和图像深度特征融合。

2.3光谱建模结果

表1是各个等级的感兴趣区域建立分类预测模型得到的预测结果。从表中可以看出，不同等级的感兴趣区域之间的预测结果，并没有很大的差距，所以，在采集时，采取了五个感兴趣区域的平均光谱后，在对五个等级的感兴趣区域的平均光谱进行平均，尽可能的将样本的整个面积都覆盖。

表1不同大小感兴趣区域预测结果对比

2.4高光谱图像增光结果

如图6和图7所示，图6中是实验过程中利用ENVI软件采集到的是选择波段数为10、35、60的香肠高光谱图像样本，图7中是经过增广的数据样本示例，包括利用旋转、裁剪、镜像等方法处理后的样本。在样本不足的情况下，进行增广可以防止网络的过拟合。

2.5 CNN图像特征分析

利用CNN提取特征，CNN学习到的特征可以很容易的可视化和理解，卷积网络学习到的特征并没有人为的干预，从而使得网络学习到的特征更能代表样本的特性,由图8可知深度学习到的特征为像素级、边缘、边缘的线性组合、深度特征，依次越深越抽象，越能对图像进行深度的表达，该过程可以简单的理解为将高维非线性的特征逐渐趋向于低维线性。

在图8中：(a)高光谱图像原图，(b)、(c)、(d)、(e)和(f)分别为卷积第一层、第三层、第四层、第五层、第六层特征图。

2.6 CNN模型训练

样本图像调整为256×256×3像素，训练样本和测试样本的比例为3:1。直接使用保存好的模型提取目标图像的特征性能难以满足要求，继续使用目标图像样本对训练好的CNN模型进行参数微调。输入样本与训练过程一样，网络参数的初始化使用训练过程中得到的参数，得到损失(Loss)曲线和对应的ROC曲线如图9示,由图可知该模型损失函数的值在逐渐降低，并稳定到接近于零的值。

由图9可知，损失函数值(Loss)明显趋于平稳，已经降到足够低(例如,Loss值已经降到0.00这个数量级)，随着学习率(learning rate)的进一步降低，Loss还可能继续减小，说明该模型训练结果较好。

2.7 CNN模型分类

以下是直接利用深度模型提取特征后，作为SVM的输入进行分类得到的结果，将结果用ROC曲线统计，结果如图10所示。

由图10ROC曲线可知，直接使用卷积神经网络训练好的模型提取特征后对样本进行分类，分类的准确率只有75.6％左右。

2.8融合特征模型分类

考虑到以上分类的结果不理想，利用融合光谱特征和深度图像特征的方法得到的分类结果ROC曲线如图11所示。

由图11可知，分类结果可以达到95.3％左右，说明加入的光谱特征更能体现样本特征的差异性。

2.9融合特征模型交叉验证分类结果

按1.2.7小节公式计算得到如下表格：

表2分类结果

Table2 Results of classification

由表2可知，利用该方法得到的模型的泛化能力高，SVM最终分类的准确度可以达到99.2％左右，并且真正地实现了“图谱合一”。

2.10新鲜等级检索结果分析

为了实现腊肉的快速检测，确定其新鲜度的等级，可以利用训练好的模型提取图像的深层特征，然后融合对应图片的光谱特征，采用欧式距离计算待检索样本与标准库样本的相似度，从而快速确定待检所样本的新鲜度等级，评级细则：

新鲜：相似度大于95％，则为标准新鲜(挥发性盐基氮<25mg/100g)；

腐败：相似度大于95％，则为标准的腐败(挥发性盐基氮>25mg/100g)。检索实例如图12所示。

图12中：(a)被检索腐败样本，(b)标准腐败样本，最高相似度Top1，

(c)新鲜样本，最高相似度Top2。

检索结果对应相似度如表3所示，可知被检索样本最接近腐败，所以检索结果为腐败的腊肉：

表3检索结果表

本发明利用CNN提取腊肉图像特征并融合光谱曲线特的方法，可以实现腊肉高光谱图像的分类和检索功能，该方法不仅充分利用了高光谱图像丰富的信息，自动学习和选择适合的特征，而且融合的样本的光谱曲线特征，可以大大提高样本的分类准确度。通过PSO+SVM分类算法，并对比了图像深度特征方法、融合光谱特征和图像深度特征方法的分类结果，后者的分类结果准确率可以达到99.2％左右，可以满足最终的分类任务。另外，将CNN视觉特征应用于检索任务中有非常大的优势，利用欧氏距离方法计算被检索样本和标准等级样本的融合的特征向量，并按欧氏距离值从大到小排序，返回检索后的结果，既不破坏样本，也可以快速得到样本的新鲜度等级，完成检索任务。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims

1.一种香肠品质智能鉴别方法，其特征在于，包括以下步骤：

提取深度特征：提取香肠菌落总数图像数据的深度特征；

2.根据权利要求1所述的香肠品质智能鉴别方法，其特征在于，所述提取光谱特征包括：对所述光谱数据利用主成分分析法Principal Component Analysis，PCA进行光谱特征提取。

3.根据权利要求1所述的香肠品质智能鉴别方法，其特征在于，所述提取深度特征包括：利用深度学习中的卷积网络Convolutional Neural Network,CNN和支持向量机Support Vector Machine,SVM相结合自动提取适用于表达香肠菌落总数图像数据的深度特征。

4.根据权利要求2所述的香肠品质智能鉴别方法，其特征在于，所述主成分分析法为选择累积大于100％的主成分，作为最终的光谱特征。

5.根据权利要求1-4任一项所述的香肠品质智能鉴别方法，其特征在于，所述分类模型为利用粒子群算法Particle Swarm Optimization，PSO改进后的支持向量机SupportVector Machine,SVM分类模型。