CN114494779B - 一种改进鉴别转换的茶叶近红外光谱分类方法 - Google Patents

Abstract

本发明公开了一种改进鉴别转换的茶叶近红外光谱分类方法，包括以下步骤：步骤1，对茶叶样本的近红外光谱进行收集；步骤2，使用多元散射校正的预处理方法对茶叶样本的近红外光谱进行预处理；步骤3，对茶叶样本的近红外光谱数据进行维度压缩；步骤4，对茶叶样本的近红外光谱的鉴别信息提取，得到鉴别信息向量矩阵；步骤5，将待测试的茶叶样本投影至鉴别信息向量矩阵上来获取经过特征提取后的测试样本，使用K近邻分类器对该测试样本进行分类辨别，完成分类。本发明解决了传统鉴别转换方法在处理不满足正态分布的数据时易产生结果偏差的问题，降低了噪声数据对鉴别信息提取的影响，可简单，快速，准确的对茶叶进行分类。

Description

一种改进鉴别转换的茶叶近红外光谱分类方法

技术领域

本发明涉及一种茶叶近红外光谱分类方法，特别是一种改进鉴别转换的茶叶近红外光谱分类方法。

背景技术

茶是世界著名饮料之一。茶叶中富含多种有益于人体的物质，常饮茶有消除疲劳，促进新陈代谢，抑制细胞衰老以及减肥等功效。然而不同品类茶叶经济差距较大，不法商贩以次充好或销售假冒伪劣的茶叶，严重损害了消费者权益以及茶叶市场的信誉。因此，很有必要研究一种高效、便捷、准确的茶叶品种辨别方法。

近红外光谱凭借其操作简单，成本低廉，准确率高的特点广泛围应用于食品检测领域。近红外区域的波长能够记录C-O，O-H和N-H等化学键振动的倍频和合频吸收信息，而不同品种的茶叶在这些化学键的吸收度存在差异，根据这些差异可以实现茶叶的辨别。

傅里桑蒙转换(FST)根据线性判别分析(LDA)改进而来，但是仍存在某些问题。比如LDA，FST等判别算法在面对不满足正态分布的数据时，往往会出现较大的偏差，影响后续的分类结果。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种改进鉴别转换的茶叶近红外光谱分类方法。

为了解决上述技术问题，本发明公开了一种改进鉴别转换的茶叶近红外光谱分类方法，包括以下步骤:

步骤1，对茶叶样本的近红外光谱进行收集，得到茶叶样本的近红外光谱数据；

步骤2，使用多元散射校正的预处理方法对茶叶样本的近红外光谱进行预处理，得到茶叶样本的近红外光谱预处理数据；

步骤3，对茶叶样本的近红外光谱数据进行维度压缩，得到茶叶样本的近红外光谱压缩数据；

步骤4，对茶叶样本的近红外光谱的鉴别信息提取：利用改进鉴别转换方法对经过步骤3所述维度压缩后的茶叶样本的近红外光谱压缩数据进行鉴别信息的提取，得到鉴别信息向量矩阵；

步骤5，将待测试的茶叶样本投影至步骤4获得的鉴别信息向量矩阵上来获取经过特征提取后的测试样本，使用K近邻分类器对经过特征提取后的测试样本进行分类辨别，最终完成改进鉴别转换的茶叶近红外光谱分类。

本发明中步骤1包括，使用傅里叶近红外光谱仪对茶叶样本进行数据采集，将采集到的茶叶样本的近红外光谱数据导入至计算机中。

本发明中步骤2包括，使用多元散射校正的预处理方法对茶叶样本的近红外光谱进行预处理，将原始茶叶光谱样本数据放入至多元散射校正中，采用多元散射校正处理基线平移和漂移现象，增强光谱特异性。

本发明中步骤3包括，采用主成分分析法对经过步骤2所述预处理后的茶叶样本的近红外光谱预处理数据进行冗余数据缩减，得到茶叶样本的近红外光谱压缩数据。

本发明中步骤4包括以下步骤：

步骤4-1，根据茶叶样本类别，设置茶叶的训练样本数量及测试样本数量；

步骤4-2，计算茶叶样本的加权类间散布矩阵和加权总体散布矩阵；

步骤4-3，计算得出加权总体散布矩阵的逆矩阵与加权类间散布矩阵乘积的特征值和特征向量；

步骤4-4，根据目标函数使用拉格朗日乘子法并结合约束条件对特征方程进行计算，得到茶叶样本的近红外光谱的鉴别信息即鉴别向量矩阵。

本发明步骤4-1中，设w₁，w₂，…，w_c是c种已知茶叶类别，x_i∈w_j，j∈{1，2，…，c}，其中x_i表示第i个样本，w_j表示第j种茶叶；设置茶叶的训练样本数为n₁，测试样本数为n₂。

本发明步骤4-2中，计算加权类间散布矩阵S_wb，加权总体散布矩阵S_wt。此外目标函数如下：

其中，m_i表示第i类样本的均值，i∈{1，2，…，c}，x表示任意一样本，E(·)表示求括号中数值的期望，P(w_i)是第w_i类的先验概率，/>为q维空间中任一向量；

其中，k和j表示n₁中的任一样本，为训练样本加权后的平均矩阵，α_kj是一个n₁×n₁的近邻关系矩阵；

其中，||x_j-x_k||表示样本x_j和样本x_k的欧式距离，σ²为训练样本的方差。

本发明步骤4-3中，目标函数可被转换为以下公式进一步计算：

其中，α是的特征值，/>是α对应的特征向量，/>表示S_wt的逆矩阵；

对特征值α按从大到小的顺序排列，并取前c-1个的特征值{α₁，α₂，…α_c-1}，取特征值相对的特征向量取最大特征值α₁其相应的特征向量/>当做最优鉴别向量矩阵/>的第一个列向量。

本发明步骤4-4中，根据目标函数并使用拉格朗日乘子法结合相应的约束条件和/>对特征方程/>计算可得：

其中r为第r个β为PS_wt ^-1S_wb的特征值，/>是对应的特征向量，矩阵P如下：

其中，I是单位矩阵，Q是鉴别信息向量矩阵。

本发明中步骤5包括，使用多元散射校正的预处理方法解决茶叶样本的近红外光谱的基线平移和漂移现象，增强光谱特异性，具体方法包括：

鉴别信息向量矩阵对测试样本进行投影方法如下：

将测试样本矩阵乘上鉴别信息矩阵即为在鉴别信息向量矩阵上投影，得到经过鉴别向量矩阵特征提取后的测试样本矩阵；

使用K近邻分类器对测试样本进行分类辨别方法如下：

将K近邻的近邻参数设置为1，分别在K近邻程序中放入训练样本，经特征提取后的测试样本，以及对应的训练样本标签和测试样本标签即获得最终分类结果。

有益效果：

本发明是在茶叶近红外光谱分类过程中，为了改进FST在对不满足正态分布的数据进行鉴别信息提取时的不足而提出的一种改进鉴别转换方法，相比现有的傅里桑蒙转换方法直接以均值计算期望而忽略了样本间的距离对均值的影响，本发明利用高斯核函数对样本加权后再取平均，从而减弱了异常数据对均值的影响，加强了对不满足正态分布的数据的鉴别信息提取。

本发明解决了对茶叶的传统鉴别转换方法在处理不满足正态分布的数据时易产生结果偏差的问题，同时降低噪声数据对鉴别信息提取的影响。本发明可简单，快速，准确的对茶叶进行分类。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述步骤或其他方面的优点将会变得更加清楚。

图1为本发明的总流程示意图。

图2为四种茶叶的近红外光谱示意图。

图3为经过多元散射校正预处理过的近红外光谱示意图。

图4为经过一种改进鉴别转换处理后的茶叶数据分布示意图。

具体实施方式

下面将结合附图和示例对本发明进一步说明。

一种改进鉴别转换的茶叶近红外光谱分类方法，如图1所示，包括下列步骤：

S1,采集四种茶叶的近红外光谱数据：使用傅立叶转换近红外光谱仪采集四种茶叶样本的近红外光谱数据并把将数据存储至计算机中。

四种茶叶(六安瓜片、施集毛峰、岳西翠兰、黄山毛峰)被用作近红外光谱采集的对象，每种茶叶采集65个样本，总计260个样本。将茶叶样本经研磨机研磨后再使用40目筛过滤。傅立叶光谱仪Antaris II开机预热1个小时。将Antaris II的采集模式设置为反射积分球模式，对每个样品扫描32次以获取样品的漫反射光谱均值。近红外光谱扫描的范围为10000～4000cm^-1，扫描间隔为3.857cm-1，采集后的茶叶近红外数据是1577维的高维数据，实验中每个样本均采样3次并取其平均值获得最终的茶叶近红外光谱数据。实验中保持温度和湿度恒定，四种茶叶近红外光谱图如图2所示，图2的横坐标为实验中设定的近红外光谱范围，纵坐标为吸光度。四种茶叶的近红外光谱在设定光谱范围内的吸光度趋势有所区别，这些差异提供了近红外光谱分类的依据。

S2，使用多元散射校正(MSC)的预处理方法对茶叶近红外光谱进行处理。

经MSC预处理后的四种茶叶的近红外光谱如图3所示，横纵坐标的含义同图2，经过预处理后可解决原始光谱基线平移和漂移现象，增强光谱特异性。

S3，对茶叶近红外数据进行必要的维度压缩，即采用主成分分析法(PCA)对经过MSC预处理后的茶叶近红外数据进行冗余数据缩减。

对S2中经预处理后的近红外光谱数据使用PCA计算其特征值和特征向量，计算获得前四个最大的特征值及其对应的特征向量，并将这四个特征值对应的特征向量作为数据投影降维向量，进而实现1557维的近红外数据维度缩减至4维。再对维度缩减后的光谱数据进行训练集和测试集划分，每种茶叶取22个作为训练集，剩余的每种茶叶的43个作为测试集。

S4，茶叶近红外光谱的鉴别信息提取：利用一种改进鉴别转换方法对经过维度缩减后的光谱数据进行鉴别信息的提取。实现步骤如下：

S4.1，假设w₁，w₂，…，w_c是c种已知类别，x_i∈w_j，j∈{1，2，…，c}。设置茶叶的训练样本数为n₁＝88，每种茶叶取22个作为训练集，测试样本数为n₂＝172，每种茶叶取43个作为测试集。

S4.2，计算加权类间散布矩阵S_wb，加权总体散布矩阵S_wt。此外目标函数如下：

其中，m_i表示第i类样本的均值，i∈{1，2，…，c}，x表示任意一样本，E(·)表示求括号中数值的期望，P(w_i)是第w_i类的先验概率，/>为q维空间中任一向量；

其中，k和j表示n₁中的任一样本，为训练样本加权后的平均矩阵，α_kj是一个n₁×n₁的近邻关系矩阵，/>||x_j-x_k||表示样本x_j和样本x_k的欧式距离，σ²为训练样本的方差。

计算得：

S4.5，目标函数可被转换为以下公式进一步计算：

其中，α是的特征值，/>是α对应的特征向量，/>表示S_wt的逆矩阵。

在计算得到特征值α后按从大到小的顺序排列，然后拿出前c-1＝3个的特征值为{α₁＝1.0001，α₂＝1.0012，α₃＝1.0024}，和特征值相对的特征向量为取最大特征值α₁其相应的特征向量/>当做最优鉴别向量矩阵/>的第一个列向量。

S4.6，根据目标函数并使用拉格朗日乘子法结合相应的约束条件 和/>对特征方程/>计算可得：

其中r为第r个β为PS_wt ^-1S_wb的特征值，/>是对应的特征向量；矩阵P如下：

I是单位矩阵，Q是鉴别向量矩阵。

计算得：

S5，利用S4.6中的鉴别向量矩阵Q对测试样本n₂进行投影来获得经过特征提取后的测试样本n₃，然后使用K近邻分类器(K＝1)对测试样本n₃进行分类辨别。投影至鉴别向量矩阵Q中的鉴别向量上的茶叶测试集如图4所示，图4即为四种茶叶的测试样本在前三个鉴别向量上的投影分布情况。

在经过以上步骤后，将放入K近邻测试集的茶叶样本运行后得到的准确率为98.26％。

本发明提供了一种改进鉴别转换的茶叶近红外光谱分类方法的思路及方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (7)

1.一种改进鉴别转换的茶叶近红外光谱分类方法，其特征在于，包括以下步骤:

步骤1，对茶叶样本的近红外光谱进行收集，得到茶叶样本的近红外光谱数据；

步骤2，使用多元散射校正的预处理方法对茶叶样本的近红外光谱进行预处理，得到茶叶样本的近红外光谱预处理数据；

步骤3，对茶叶样本的近红外光谱数据进行维度压缩，得到茶叶样本的近红外光谱压缩数据；

步骤4，对茶叶样本的近红外光谱的鉴别信息提取：利用改进鉴别转换方法对经过步骤3所述维度压缩后的茶叶样本的近红外光谱压缩数据进行鉴别信息的提取，得到鉴别信息向量矩阵；

步骤5，将待测试的茶叶样本投影至步骤4获得的鉴别信息向量矩阵上来获取经过特征提取后的测试样本，使用K近邻分类器对经过特征提取后的测试样本进行分类辨别，最终完成改进鉴别转换的茶叶近红外光谱分类；

步骤4包括以下步骤：

步骤4-1，根据茶叶样本类别，设置茶叶的训练样本数量及测试样本数量；

步骤4-2，计算茶叶样本的加权类间散布矩阵和加权总体散布矩阵；

步骤4-3，计算得出加权总体散布矩阵的逆矩阵与加权类间散布矩阵乘积的特征值和特征向量；

步骤4-4，根据目标函数使用拉格朗日乘子法并结合约束条件对特征方程进行计算，得到茶叶样本的近红外光谱的鉴别信息即鉴别向量矩阵；

步骤4-1中，设w₁,w₂,…,w_c是c种已知茶叶类别，x_i∈w_j,j∈{1,2,…,c}，其中x_i表示第i个样本，w_j表示第j种茶叶；设茶叶的训练样本数为n₁，测试样本数为n₂；

骤4-2中，计算加权类间散布矩阵S_wb，加权总体散布矩阵S_wt；此外目标函数如下：

其中，m_i表示第i类样本的均值，i∈{1,2，…，c}，x表示任意一样本，E(·)表示求括号中数值的期望，P(w_i)是第w_i类的先验概率，/>为q维空间中任一向量；

其中，k和j₁表示n₁中的任一样本，为训练样本加权后的平均矩阵，/>是一个n₁×n₁的近邻关系矩阵；

其中，表示样本/>和样本x_k的欧式距离，σ²为训练样本的方差。

2.根据权利要求1所述的一种改进鉴别转换的茶叶近红外光谱分类方法，其特征在于，步骤1包括，使用傅里叶近红外光谱仪对茶叶样本进行数据采集，将采集到的茶叶样本的近红外光谱数据导入至计算机中。

3.根据权利要求2所述的一种改进鉴别转换的茶叶近红外光谱分类方法，其特征在于，步骤2包括，使用多元散射校正的预处理方法对茶叶样本的近红外光谱进行预处理，将原始茶叶光谱样本数据放入至多元散射校正中，采用多元散射校正处理基线平移和漂移现象，增强光谱特异性。

4.根据权利要求3所述的一种改进鉴别转换的茶叶近红外光谱分类方法，其特征在于，步骤3包括，采用主成分分析法对经过步骤2所述预处理后的茶叶样本的近红外光谱预处理数据进行冗余数据缩减，得到茶叶样本的近红外光谱压缩数据。

5.根据权利要求1所述的一种改进鉴别转换的茶叶近红外光谱分类方法，其特征在于，步骤4-3中，将目标函数转换为以下公式进一步计算：

其中，α是的特征值，/>是α对应的特征向量，/>表示S_wt的逆矩阵；

对特征值α按从大到小的顺序排列，并取前c-1个的特征值{α₁,α₂,…α_c-1}，取特征值α相对的特征向量取最大特征值α₁其相应的特征向量/>当做最优鉴别向量矩阵/>的第一个列向量。

6.根据权利要求5所述的一种改进鉴别转换的茶叶近红外光谱分类方法，其特征在于，步骤4-4中，根据目标函数并使用拉格朗日乘子法结合相应的约束条件和/>对特征方程/>计算可得：

其中t为第r个β为PS_wt ^-1S_wb的特征值，/>是对应的特征向量，矩阵P如下：

其中，I是单位矩阵，Q是鉴别信息向量矩阵。

7.根据权利要求6所述的一种改进鉴别转换的茶叶近红外光谱分类方法，其特征在于，步骤5包括，使用多元散射校正的预处理方法解决茶叶样本的近红外光谱的基线平移和漂移现象，增强光谱特异性，具体方法包括：

鉴别信息向量矩阵对测试样本进行投影方法如下：

将测试样本矩阵乘上鉴别信息矩阵即为在鉴别信息向量矩阵上投影，得到经过鉴别向量矩阵特征提取后的测试样本矩阵；

使用K近邻分类器对测试样本进行分类辨别方法如下：

将K近邻的近邻参数设置为1，分别在K近邻程序中放入训练样本，经特征提取后的测试样本，以及对应的训练样本标签和测试样本标签即获得最终分类结果。