CN103389281A - 一种基于近红外光谱技术的普洱茶聚类分析方法 - Google Patents

Abstract

本发明涉及一种基于近红外光谱技术的普洱茶聚类分析方法，包括如下步骤：(1)采集已知种类普洱茶样品的近红外光谱图；(2)谱图预处理；(3)建立数据模型；(4)对已建立数据模型进行算法验证，确定最佳算法；(5)对未知(待测)样品进行检测。

Description

一种基于近红外光谱技术的普洱茶聚类分析方法

技术领域

本发明涉及一种普洱茶的检测方法，特别涉及一种基于近红外光谱技术的普洱茶聚类分析方法。

背景技术

云南普洱茶以其悠久的历史，丰富的文化以及甘醇的韵味享誉全球。而近些年来，随着养生、保健成为了普通百姓日常生活的主题，普洱茶减肥、降血脂、降血压、抗癌等独特的保健功效一经报道，立刻吸引了社会各界，尤其是各方学者的广泛关注，民间更是随之兴起了一股买普洱、藏普洱、饮普洱的热潮。在“普洱热”兴起的同时，人们渐渐意识到，在普洱茶生产过程当中的质量控制环节，仍然存在着较大的问题。例如普洱茶成分复杂，各组分难以单独定性或定量分析，使得研究人员难以入手，而产业内部各生产厂家标准不一、仍主要依赖人工主观品评等，为普洱茶的质量控制造成了很大困难。

普洱茶的复杂性、整体性决定了其整体质量评价的必要性。然而，常规的现代仪器分析多注重于普洱茶微观化学成分的研究，而将普洱茶本身各种成分的综合作用和相互关系割裂开来，这种运用于普洱茶质量标准的分析方法很难适应普洱茶的综合、宏观的整体评价标准；而传统的鉴别鉴定方法又容易受到主观性和经验性影响。

目前在普洱茶生产过程中的质量控制一环，以质量检验人员的经验为基础的感官品评仍然占据主导地位，其主观性强、准确性和重现性较差的缺点逐渐暴露出来。针对这一难题，本发明中利用傅里叶变换近红外光谱技术结合适当的谱图预处理方法和聚类分析算法，实现了对多种普洱茶样品聚类与定性分析，模型判别准确率能达到90%以上，稳定性与重现性极高。该方法被证明在普洱茶的品质分析与质量控制方面具有较大的应用价值和乐观的应用前景。

傅里叶变换近红外光谱法利用近红外光谱技术结合计算机算法对普洱茶进行“无损、快速”检测，既能客观反映普洱茶内在物质基础，又能在宏观上有效控制普洱茶整体质量。

近红外普洱茶品质分析光谱技术与计算机算法技术的有机结合，是解决复杂混合物定性和定量分析的一个崭新思路，它突破了复杂物系统分析的传统技术路线，使混合物分析既能宏观定性整体属性，又能微观定量各组分特性，该系统的建立和完善必将为普洱茶产业的发展起到重要的推动作用。

发明内容

本发明根据研究，发现傅里叶变换近红外光谱法利用近红外光谱技术结合计算机算法对普洱茶进行“无损、快速”检测，准确性高，操作简便。本发明是这样实现的：

本发明提供一种基于近红外光谱技术的普洱茶聚类分析方法，该方法包括如下步骤：

(1)采集已知种类普洱茶样品的近红外光谱图；

(2)谱图预处理；

(3)建立数据模型；

(4)对已建立数据模型进行聚类分析算法验证，确定最佳算法；

(5)对未知(待测)样品进行检测。

其中：

步骤(1)方法是：将某一已知种类的普洱茶样品烘干后粉碎过筛，所得样品粉末采集一张以上的近红外光谱图；

步骤(2)方法是：上步所得光谱图依次经过批量归一化处理、批量基线校正处理以及剔除异常样本点处理；

步骤(3)方法是：使用聚类分析软件建立数据模型；

步骤(4)方法是：对数据模型进行聚类分析算法验证，其中聚类分析算法包括线性判别分析、支持向量机、自适应提升、k临近、分类与回归树，选择出一种精度高的算法。

步骤(5)方法是：对未知或与步骤(1)已知种类的普洱茶类似的样品烘干后粉碎过筛，所得样品粉末采集一张以上的近红外光谱图，所得光谱图依次经过批量归一化处理、批量基线校正处理以及剔除异常样本点处理，再进行聚类分析，其结果用分类识别率和拒绝率来评价。

其中：

所述近红外光谱的采集，方法如下：普洱茶样品在60℃烘箱中烘干至恒重，使用粉碎机粉碎后过300目筛，所得样品粉末使用积分球采集近红外谱图，近红外光谱仪参数设置：光谱扫描范围10000~4000cm^-1，谱图32次叠加，扫描速率0.5cm^-1/s，谱图分辨率4cm^-1；

其中：

所述谱图预处理方法为：批量归一化处理、批量基线校正处理以及剔除异常样本点处理，方法如下：

批量归一化：即对于同种类样品的近红外谱图，首先扣除平均值，再除以均方差值，在最大程度上消除在实验操作中由于样品装填高度的细微差异以及红外光谱仪光源扰动而造成的系统误差，保证了谱图的一致性(图1A、图1B)。

批量基线校正：在近红外谱图的采集过程当中，由于样品在样品管中的密实程度存在微小差异，会出现红外光出现散射现象，进而导致谱图出现基线漂移，给后续聚类计算工作带来影响。故而本发明采用递归直方图的背景估计方法得到拟合的基线，用原始谱图减去该基线后得到基线校正后的谱图(图1C)。

剔除异常样本点：本发明采用马氏距离法剔除异常样本点，即求出谱图数据经PCA降维之后的平均马氏距离，对于马氏距离大于1.5倍平均值的谱图，则认为是异常样本点予以剔除(图1D)。

其中：

所述进行聚类分析，为进行聚类分析计算，算法包括线性判别分析(LDA)、支持向量机(SVM)、自适应提升(AdaBoost)、k临近(k NearestNeighbor)、分类与回归树(Classification and Regression Trees)等。

其中线性判别分析方法，包括如下步骤：

(1)对输入的光谱数据进行预处理，根据已知的类别信息计算相应的总类内离散度矩阵S_w和样本类间离散度矩阵S_b，其中S_w=S₁+S₂， $S_i=\underset{x\∈X_i}{\mathrm{\Σ}}{(x-m_i)(x-m_i)}^T,i=\mathrm{1,2},$ S_b=(m₁-m₂)(m₁-m₂)^TW为投影方向，m_i为均值向量， $m_i=\frac{1}{N_i}\underset{x\∈X_i}{\mathrm{\Σ}}x,i=\mathrm{1,2},$ X_i为样本，Ni为样本个数；

(2)计算投影方向

及分类阈值y₀=(m′₁+m′₂)/2；

(3)对于未知待测样本向量x，如果y=W^T·x>y₀则x属于第一类，否则x属于第二类。

其中支持向量机分析方法，包括如下步骤：

(1)对输入的光谱数据进行预处理；

(2)根据已知的类别信息对其用SVM算法进行建模；

(3)分析模型的性能，如果满足要求，进行下一步，否则优化参数重新建模；

(4)根据所建模型对待测谱图进行检测，并输出其类别。

本发明采用分类识别率和拒绝率来评价结果的好坏。对于每类样本，识别率是指识别自身类样本个数与该类样本总数之比，而拒绝率则是指拒绝其它类样本个数与其它类样本的总数之比。

根据本发明，所述分类识别率和拒绝率即通过聚类分析算法将不同的普洱茶分辨出来，当拒绝率高于90%时，说明两者不是同一类。当分类识别率高于90%时，说明是同一类。

因此，当本发明测定未知或与已知普洱茶相似的样品时，如果分类识别率高于90%时，说明未知样品和已知普洱茶相同，当拒绝率高于90%时，说明被检测的未知样品或与已知普洱茶在外观和气味上相似的普洱茶未知样品不是同一品种，由此可分辨真假普洱茶种类。

本发明适用于任何一种普洱茶以及他们的制品，所述普洱茶样品包括普洱茶生茶、熟茶、台地茶、古树茶、不同产地普洱生茶、不同年份发酵普洱熟茶等；所述普洱茶制品为含有普洱茶成分的固体制品，包括食品，调味品等，如糖果，饼干，面包，茶粉，袋泡茶，罐头等。

本发明通过比较经过处理和模型化的已知的标准普洱茶近红外光谱数据和待测的普洱茶近红外光谱数据，可以知道，待测普洱茶是什么种类，什么产地，什么特色，可以用来对普洱茶进行鉴别。如真假，伪劣等。

附图说明：

图1谱图的预处理流程

A:原始近红外谱图；B:归一化；C:基线校正；D:剔除三个异常样本点。

图2生茶/熟茶模型的聚类分析结果

A:聚类分析结果；B:PCA图，从图上可以看出两个模型之间存在明显分界面，其中蓝色样本点为普洱生茶，红色样本点为普洱熟茶。

图3台地茶/古树茶模型的聚类分析结果

A:聚类分析结果；B:PCA图，两个模型之间存在分界面比较明显，其中蓝色样本点为台地茶，红色样本点为古树茶。

图4不同产地普洱生茶模型的聚类分析结果

A:聚类分析结果；B:PCA图，两个模型之间存在分界面比较明显，其中蓝色样本点为普洱市种植采摘，红色样本点为非普洱市种植采摘。

图5不同年份发酵普洱熟茶模型的聚类分析结果

A:聚类分析结果；B:PCA图，两个模型之间存在分界面比较明显，其中蓝色样本点为2009年发酵普洱熟茶，红色样本点为2010年发酵普洱熟茶。

图6不同工艺的台地茶普洱茶提取物的聚类分析结果

A:聚类分析结果；B:PCA图，红色样本点为旧工艺，蓝色样本点为新工艺。图7不同香型普洱茶茶珍的聚类分析结果

A:聚类分析结果；B:PCA图，红色样本点为清香型普洱茶茶珍，蓝色样本点为古茶型普洱茶茶珍。

具体实施方式

下面通过具体的实施例进一步说明本发明，下述实施例是用于说明本发明而不是对本发明的限制，根据本发明的实质对本发明进行的简单改进都属于本发明要求保护的范围。

实施例1

普洱生茶与普洱熟茶的鉴别

1、样品的选择及其预处理过程

普洱茶样品(生茶、熟茶)购自云南省普洱市及周边地区。选普洱生茶和熟茶样品各10个，茶叶样品在60℃烘箱中烘干至恒重，使用粉碎机粉碎之后过300目筛，上机采集近红外光谱图。

2、仪器设备以及参数设置

使用Perkin Elmer公司生产Spectrum 400傅里叶变换红外光谱仪，黑体空腔恒温高效冷却光源，DTGS检测器，近红外积分球，内径1.0cm石英样品管。

实验中采集样品近红外谱图，扫描范围10000~4000cm^-1，扫描速度0.5cm^-1/s，谱图32次叠加，谱图分辨率4cm^-1。

3、谱图预处理及聚类分析算法验证

所得近红外光谱图依次经批量归一化处理、批量基线校正处理以及剔除异常样本点处理，结果代入事先已建立的数据模型中分别进行线性判别分析、支持向量机、自适应提升、k临近、分类与回归树等聚类分析算法验证，确定最佳算法。

4、结果

普洱生茶与普洱熟茶用肉眼即可轻易辨别，故此两种茶被用来首先检验方法的可靠性(图2)。从图中可以看到，对于生茶/熟茶模型，除自适应提升算法(AdaBoost)之外，其他4种算法的准确率与拒绝率均可达到100%，且两个模型在PCA示意图上界面明显，与肉眼判别结果完全一致，说明该方法完全适用于普洱茶的聚类分析。

实施例2

台地茶与古树茶的鉴别

1、样品的选择及其预处理过程

普洱茶样品(台地茶、古树茶)购自云南省普洱市及周边地区。选取台地茶样品23个和古树茶样品36个，茶叶样品在60℃烘箱中烘干至恒重，使用粉碎机粉碎之后过300目筛，上机采集近红外光谱图。

2、仪器设备以及参数设置

使用Perkin Elmer公司生产Spectrum 400傅里叶变换红外光谱仪，黑体空腔恒温高效冷却光源，DTGS检测器，近红外积分球，内径1.0cm石英样品管。

实验中采集样品近红外谱图，扫描范围10000~4000cm^-1，扫描速度0.5cm^-1/s，谱图32次叠加，谱图分辨率4cm^-1。

3、谱图预处理及聚类分析算法验证

所得近红外光谱图依次经批量归一化处理、批量基线校正处理以及剔除异常样本点处理，结果代入事先已建立的数据模型中分别进行线性判别分析、支持向量机、自适应提升、k临近、分类与回归树等聚类分析算法验证，确定最佳算法。

4、结果

台地茶产自云南密植茶园，茶树多为近些年来人工栽培于梯地，树龄较短。另外由于经人工干预程度较高，生长过程中管理人员施以化肥增产，并用农药杀灭虫害，故产量较大，但品质稍逊。而古树茶则产自平均树龄在百年以上的天然乔木，因人工干预程度较低，无农药污染，故品质远优于台地茶，但产量有限。这两种茶叶用肉眼较难分辨，多数情况下只可通过色泽、香气等加以鉴别，但受主观因素影响较大。

本实验中样品采集近红外谱图，经谱图预处理后建模分析(图3)。比较五种算法，确定最佳算法为SVM算法，可使识别率与拒绝率分别可以达到94.29%和90.71%，符合实际检测要求。

实施例3

不同产地普洱生茶的鉴别

1、样品的选择及其预处理过程

普洱茶样品(不同产地的普洱生茶)购自云南省普洱市及周边地区。种植与采集于普洱市的台地茶样品35个，于非普洱市的台地茶样品17个，茶叶样品在60℃烘箱中烘干至恒重，使用粉碎机粉碎之后过300目筛，上机采集近红外光谱图。

2、仪器设备以及参数设置

使用Perkin Elmer公司生产Spectrum 400傅里叶变换红外光谱仪，黑体空腔恒温高效冷却光源，DTGS检测器，近红外积分球，内径1.0cm石英样品管。

实验中采集样品近红外谱图，扫描范围10000~4000cm^-1，扫描速度0.5cm^-1/s，谱图32次叠加，谱图分辨率4cm^-1。

3、谱图预处理及聚类分析算法验证

所得近红外光谱图依次经批量归一化处理、批量基线校正处理以及剔除异常样本点处理，结果代入事先已建立的数据模型中分别进行线性判别分析、支持向量机、自适应提升、k临近、分类与回归树等聚类分析算法验证，确定最佳算法。

4、结果

普洱生茶产地的不同，其品质也会有细微的不同，这种差别会影响到最终发酵所得成品茶的质量。对于普洱熟茶的生产厂家来说，控制原料茶品质的稳定性至关重要。

实验中，样品采集近红外谱图，谱图数据经预处理后进行算法验证(图4)，其中最佳算法为SVM算法，所得结果较好，识别率和拒绝率分别可以达到96.77%和91.67%。

实施例4

不同年份发酵普洱熟茶的鉴别

1、样品的选择及其预处理过程

普洱茶样品(不同年份发酵普洱熟茶)购自云南省普洱市及周边地区。实验中采用原料茶相同的2009年发酵普洱熟茶和2010年发酵普洱熟茶样品各50个，茶叶样品在60℃烘箱中烘干至恒重，使用粉碎机粉碎之后过300目筛，上机采集近红外光谱图。

2、仪器设备以及参数设置

使用Perkin Elmer公司生产Spectrum 400傅里叶变换红外光谱仪，黑体空腔恒温高效冷却光源，DTGS检测器，近红外积分球，内径1.0cm石英样品管。

实验中采集样品近红外谱图，扫描范围10000~4000cm^-1，扫描速度0.5cm^-1/s，谱图32次叠加，谱图分辨率4cm^-1。

3、谱图预处理及聚类分析算法验证

所得近红外光谱图依次经批量归一化处理、批量基线校正处理以及剔除异常样本点处理，结果代入事先已建立的数据模型中分别进行线性判别分析、支持向量机、自适应提升、k临近、分类与回归树等聚类分析算法验证，确定最佳算法。

4、结果

普洱陈茶在口感、品质、香气、色泽等诸多方面都优于新茶。由于单纯凭借人工品评很难准确推断出熟茶样品的发酵年份，存在相当大的误差；另一方面，在普洱茶市场上新茶与陈茶的价格差异导致目前出现了不法商贩以新茶冒充陈茶非法获利的现象。

实验中，样品采集近红外谱图并建立数据模型，确定最佳算法为LDA，在用LDA算法进行模型验证的时候得到了识别率与拒绝率均为100%的理想结果(图5)。

实施例5

不同工艺普洱茶提取物的鉴别

1、样品的选择及其预处理过程

普洱茶提取物样品(台地茶提取物)由江苏天士力帝益药业有限公司提供。其中有20个样品为旧工艺，20个样品为新工艺，提取物样品无需预处理即可直接上机采集近红外谱图。

2、仪器设备以及参数设置

使用Perkin Elmer公司生产Spectrum 400傅里叶变换红外光谱仪，黑体空腔恒温高效冷却光源，DTGS检测器，近红外积分球，内径1.0cm石英样品管。

实验中采集样品近红外谱图，扫描范围10000~4000cm^-1，扫描速度0.5cm^-1/s，谱图32次叠加，谱图分辨率4cm^-1。

3、谱图预处理及聚类分析算法验证

所得近红外光谱图依次经批量归一化处理、批量基线校正处理以及剔除异常样本点处理，结果代入事先已建立的数据模型中分别进行线性判别分析、支持向量机、自适应提升、k临近、分类与回归树等聚类分析算法验证，确定最佳算法。

4、结果

本实验选用江苏天士力帝益药业有限公司生产台地茶提取物40个，其中有20个样品为旧工艺，20个样品为新工艺，两种工艺在所用原料茶的种类和数量方面略有区别。直接上机采集近红外谱图，谱图经预处理后建立数据模型，确定最佳算法为LDA，在使用LDA进行模型验证时，识别率与拒绝率均为100%(图6)。

实施例6

普洱茶茶珍的鉴别

1、样品的选择及其预处理过程

普洱茶茶珍(清香型、古茶型)由云南天士力帝泊洱生物茶集团有限公司提供。清香型普洱茶珍样品40个，古茶型普洱茶珍样品20个，茶珍样品无需预处理即可直接上机采集近红外谱图。

2、仪器设备以及参数设置

使用Perkin Elmer公司生产Spectrum 400傅里叶变换红外光谱仪，黑体空腔恒温高效冷却光源，DTGS检测器，近红外积分球，内径1.0cm石英样品管。

实验中采集样品近红外谱图，扫描范围10000~4000cm^-1，扫描速度0.5cm^-1/s，谱图32次叠加，谱图分辨率4cm^-1。

3、谱图预处理及聚类分析算法验证

所得近红外光谱图依次经批量归一化处理、批量基线校正处理以及剔除异常样本点处理，结果代入事先已建立的数据模型中分别进行线性判别分析、支持向量机、自适应提升、k临近、分类与回归树等聚类分析算法验证，确定最佳算法。

4、结果

本实验中选用云南天士力帝泊洱生物茶集团有限公司生产的两种不同香型普洱茶茶珍——清香型和古茶型，其中清香型茶珍样品40个，古茶型茶珍样品20个，两种普洱茶茶珍直接上机采集近红外谱图，谱图经预处理后建立数据模型，确定最佳算法为SVM和LDA，在使用SVM和LDA两种算法进行模型验证时，识别率与拒绝率均为100%(图7)。

实施例7

帝泊洱曲奇的生产质量控制

1、样品选择及其预处理过程

帝泊洱曲奇由云南天士力帝泊洱生物茶集团有限公司提供，按质量检验部门要求分别测定其全部理化参数指标以评价其质量，选取其中合格品与不合格品各20个。所有样品在60℃真空干燥箱中烘干，使用粉碎机粉碎后过300目筛，上机采集近红外光谱图。

2、仪器设备以及参数设置

使用Perkin Elmer公司生产Spectrum 400傅里叶变换红外光谱仪，黑体空腔恒温高效冷却光源，DTGS检测器，近红外积分球，内径1.0cm石英样品管。

实验中采集样品近红外谱图，扫描范围10000~4000cm^-1，扫描速度0.5cm^-1/s，谱图32次叠加，谱图分辨率4cm^-1。

3、谱图预处理及聚类分析算法验证

所得近红外光谱图依次经批量归一化处理、批量基线校正处理以及剔除异常样本点处理，结果代入事先已建立的数据模型中分别进行线性判别分析、支持向量机、自适应提升、k临近、分类与回归树等聚类分析算法验证，确定最佳算法。

4、结果

在使用SVM、LDA两种算法处理合格品/不合格品数据模型时，准确率与拒绝率均可达到100%，且两个模型在PCA示意图上界面明显，说明该方法同样适用于帝泊洱曲奇合格品与不合格品的聚类分析，亦即可实现该产品的快速品质控制。

Claims (8)

1.一种基于近红外光谱技术的普洱茶聚类分析方法，包括如下步骤：

(1)采集已知种类普洱茶样品的近红外光谱图；

(2)谱图预处理；

(3)建立数据模型；

(4)对已建立数据模型进行聚类分析算法验证，确定最佳算法；

(5)对未知(待测)样品进行检测。

2.如权利要求1所述的基于近红外光谱技术的普洱茶聚类分析方法，其中：

步骤(1)方法是：将某一已知种类的普洱茶样品烘干后粉碎过筛，所得样品粉末采集近红外光谱图；

步骤(2)方法是：上步所得光谱图依次经过批量归一化处理、批量基线校正处理以及剔除异常样本点处理；

步骤(3)方法是：使用聚类分析软件建立数据模型；

步骤(4)方法是：对数据模型进行聚类分析算法验证，其中聚类分析算法包括线性判别分析、支持向量机、自适应提升、k临近、分类与回归树，选择出一种精度高的算法；

步骤(5)方法是：将未知种类的普洱茶样品烘干后粉碎过筛，所得样品粉末采集近红外光谱图，所得光谱图依次经过批量归一化处理、批量基线校正处理以及剔除异常样本点处理，再进行聚类分析，其结果用分类识别率和拒绝率来评价。

3.如权利要求1或2所述的基于近红外光谱技术的普洱茶聚类分析方法，其中：所述近红外光谱图的采集，方法如下：普洱茶样品在60℃烘箱中烘干至恒重，使用粉碎机粉碎后过300目筛，所得样品粉末使用积分球采集近红外谱图，近红外光谱仪参数设置：光谱扫描范围10000~4000cm^-1，谱图32次叠加，扫描速率0.5cm^-1/s，谱图分辨率4cm^-1。

4.如权利要求1或2所述的基于近红外光谱技术的普洱茶聚类分析方法，其中，

批量归一化处理、批量基线校正处理以及剔除异常样本点处理，方法如下：

批量归一化：对于同种类样品的近红外谱图，首先扣除平均值，再除以均方差值，在最大程度上消除在实验操作中由于样品装填高度的细微差异以及红外光谱仪光源扰动而造成的系统误差；

批量基线校正：采用递归直方图的背景估计方法得到拟合的基线，用原始谱图减去该基线后得到基线校正后的谱图；

剔除异常样本点：采用马氏距离法剔除异常样本点，即求出谱图数据经PCA降维之后的平均马氏距离，对于马氏距离大于1.5倍平均值的谱图，则认为是异常样本点予以剔除。

5.如权利要求2所述的基于近红外光谱技术的普洱茶聚类分析方法，所述分类识别率和拒绝率即通过聚类分析算法将不同的普洱茶分辨出来，当拒绝率高于90%时，说明两者不是同一类，当分类识别率高于90%时，说明是同一类。

6.如权利要求1或2所述的基于近红外光谱技术的普洱茶聚类分析方法，其中所述普洱茶样品包括普洱茶生茶、熟茶、台地茶、古树茶、不同产地普洱生茶、不同年份发酵普洱熟茶等。

7.如权利要求1或2所述的基于近红外光谱技术的普洱茶聚类分析方法，其中所述普洱茶样品包括含有普洱茶成分的固体制品，所述普洱茶固体制品包括，食品，调味品等，如糖果，饼干，面包，茶粉，袋泡茶，罐头等。

8.如权利要求1所述的聚类分析方法，通过比较经过处理和模型化的已知的标准普洱茶近红外光谱数据和待测的普洱茶近红外光谱数据，可以知道，待测普洱茶是什么种类，什么产地，什么特色，可以用来对普洱茶进行鉴别。

Images