CN110286094B - 一种基于聚类分析的光谱模型转移方法 - Google Patents

Abstract

本发明公开了一种基于聚类分析的光谱模型转移方法，包括以下步骤：(1)样品分类，采用密度聚类算法，按照样品光谱间的密度距离，对样品进行聚类分析，从而对样品进行分类；(2)光谱建模，根据聚类分析结果，针对同类样品分别建立光谱模型；(3)自动模型转移，对于待测样品，采集其光谱，根据步骤(1)的方法对其进行聚类分析，判定其所属类别，从而确定所属的光谱模型；按照样品所属的光谱模型，进行样品速测，自动完成模型转移。本发明所公开的方法可以快速高效完成光谱模型转移，能够用于仪器自动校准，真正实现样品速测，并保证测量准确性。

Description

一种基于聚类分析的光谱模型转移方法

技术领域

本发明涉及一种光谱模型转移方法，特别涉及一种基于聚类分析的光谱模型转移方法。

背景技术

光谱分析技术因其具有分析速度快、多参数同时测定、样品不需要预处理或简单的预处理、实时、低成本和操作简单等特点，被广泛应用于地质、冶金、石油、化工、农业、医药、生物化学、环境保护等许多方面。然而，这些应用仅限于同类样品内部，极大限制了该技术使用的深度。

要把一类样品的光谱模型应用于他类样品，必须进行模型转移。以往模型转移方法分为两类：有标方法和无标方法。其中，有标方法使用小规模的标样集重新定标(建模)，程序繁琐耗时，效果较好；无标方法完全依赖化学计量学方法，程序简单，效果较差。但是，无论有标方法还是无标方法，都需要设立主样品和从样品，利用主样品和一部分从样品重新建立新的光谱模型，从而较好的保证从样品的预测准确度。这意味着，在用主样品的光谱模型之前，需要先了解从样品，即需要测定一部分代表性的从样品的化学及其光谱数据，而前者是个繁琐耗时的过程。因此，已有的模型转移并未实现真正意义上的速测。

发明内容

为解决上述技术问题，本发明提供了一种基于聚类分析的光谱模型转移方法，以达到快速进行光谱模型转移，实现样品速测，保证测量准确性的目的。

为达到上述目的，本发明的技术方案如下：

一种基于聚类分析的光谱模型转移方法，包括以下步骤：

(1)样品分类，采用密度聚类算法，按照样品光谱间的密度距离，对样品进行聚类分析，从而对样品进行分类；

(2)光谱建模，根据聚类分析结果，针对同类样品分别建立光谱模型；

(3)自动模型转移，对于待测样品，采集其光谱，根据步骤(1)的方法对其进行聚类分析，判定其所属类别，从而确定所属的光谱模型；按照样品所属的光谱模型，进行样品速测，自动完成模型转移。

上述方案中，所述步骤(1)的聚类分析方法具体如下：

设有N个样本，样本光谱集合

x_i为样本光谱，i是样本标号，i属于I_s，I_S＝{1,2,…,N}；

1)计算所有样本两两光谱间的欧氏距离d_ij＝dist(x_i,x_j)，j为样本标号，j属于I_s，I_S＝{1,2,…,N}；

2)确定截断距离d_c，将所有d_ij进行升序排列，取第2％个d_ij作为d_c；

3)对每个样本的光谱x_i，计算两个量ρ_i和δ_i：

①第i个样本的局部密度距离ρ_i：

与x_i的距离小于d_c的样本越多，ρ_i值越大；

②第i个样本的相对局部密度距离δ_i：

对所有的ρ_i进行降序排列ρ_q1≥ρ_q2≥…≥ρ_qN，q代表ρ_i的标号；

有样本局部密度比i大时，求密度比i大的样本和i之间的欧氏距离，选其最小值作为δ_i；

i的局部密度为最大时，选其他所有样本和i之间的最大欧氏距离作为δ_i；

4)根据(ρ_i,δ_i)画决策图，根据决策图，选择局部密度距离ρ和相对局部密度距离δ同时很大，且偏离其他样本的样本点作为聚类中心；

5)对非聚类中心的样本进行归类：

①从大到小遍历所有非聚类中心的ρ_i，计算该样本和所有聚类中心的欧氏距离，选择距离最小的归为同一类；

②划分中心元素和光晕元素，

对每一个聚类中心生成一个局部密度的边界

边界区域的含义：本身属于第c_i个聚类，但在与其距离不超过d_c的范围内有另一个聚类的样本点；

6)对归类好的样本进行多维缩放，使用不同形状代表不同的聚类。

上述方案中，所述步骤(2)的建立光谱模型的方法如下：

先利用多元散射校正和标准正态变换手段对光谱进行前处理，然后，通过续投影算法、遗传算法、无信息变量消除法提取特征光谱，然后利用基于x-y距离结合的样本划分方法划分建模集和预测集，最后，利用最小二乘-支持向量机方法建立光谱模型。

通过上述技术方案，本发明提供的基于聚类分析的光谱模型转移方法具有如下有益效果：

1)能够快速高效地解决几乎所有模型转移问题，真正实现光谱速测，从根本上扫除了光谱速测技术在复杂体系应用受限的关键技术瓶颈。

2)省却了以往通过设立主样品和从样品实现模型转移的繁琐过程，能够实现机器自动校准，保证了仪器的稳定性和精度，为原位/在线监测设备的开发提供了必要条件。

3)相比旧方法，新方法的模型转移效果得到了更大的提高，所测结果的误差更小。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

图1为本发明提出的一种基于聚类分析的光谱模型转移方法的原理图；

图2为本发明实施例采集的青岛浮山、枣山和李村河底土壤的总碳含量；

图3为本发明实施例采集的青岛浮山、枣山和李村河底土壤的可见-近红外反射光谱；

图4为本发明实施例的决策图；

图5为本发明实施例采集的青岛浮山、枣山和李村河底土壤的聚类结果；

图6为本发明实施例采集的青岛浮山、枣山和李村河底土壤的建模结果；

图7为样品速测结果。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

本发明提供了一种基于聚类分析的光谱模型转移方法，如图1所示的原理图，包括如下过程：首先建立总样本，采集总样品中每个样品的光谱建模集，然后对样品的光谱进行聚类分析，建立一个一个的子集，再对每一个子集分别建立光谱模型，对于要测样品进行聚类分析，判断其属于哪一类别，然后按照所属类别的光谱模型进行分析，输出结果。

本发明实施例采集了青岛浮山、枣山和李村河底的土壤各60个，烘干后，研磨过0.5mm筛；通过元素分析仪测定总碳含量。土壤总碳含量分布如图2所示，分布范围为g/kg，均值为g/kg。

同时，用海洋光学QE65000光谱仪，配置DH-2000光源，通过定制Y型光纤测定了这些土壤样品在226-975nm的反射光谱，如图3所示。然后按照如下过程进行模型转移与速测：

一、样品分类，采用密度聚类算法，按照样品光谱间的密度距离，对样品进行聚类分析，从而对样品进行分类，具体如下：

设有N个样本，样本光谱集合

x_i为样本光谱，i是样本标号，i属于I_s，I_S＝{1,2,…,N}；

1)计算所有样本两两光谱间的欧氏距离d_ij＝dist(x_i,x_j)，j为样本标号，j属于I_s，I_S＝{1,2,…,N}；

2)确定截断距离d_c，将所有d_ij进行升序排列，取第2％个d_ij作为d_c；

3)对每个样本的光谱x_i，计算两个量ρ_i和δ_i：

①第i个样本的局部密度距离ρ_i：

与x_i的距离小于d_c的样本越多，ρ_i值越大；

②第i个样本的相对局部密度距离δ_i：

对所有的ρ_i进行降序排列ρ_q1≥ρ_q2≥…≥ρ_qN，q代表ρ_i的标号；

有样本局部密度比i大时，求密度比i大的样本和i之间的欧氏距离，选其最小值作为δ_i；

i的局部密度为最大时，选其他所有样本和i之间的最大欧氏距离作为δ_i；

4)根据(ρ_i,δ_i)画决策图，根据决策图，选择局部密度距离ρ和相对局部密度距离δ同时很大，且偏离其他样本的样本点作为聚类中心；

5)对非聚类中心的样本进行归类：

①从大到小遍历所有非聚类中心的ρ_i，计算该样本和所有聚类中心的欧氏距离，选择距离最小的归为同一类；

②划分中心元素和光晕元素，

对每一个聚类中心生成一个局部密度的边界

边界区域的含义：本身属于第c_i个聚类，但在与其距离不超过d_c的范围内有另一个聚类的样本点；

中心元素：

光晕元素：

6)对归类好的样本进行多维缩放，使用不同形状代表不同的聚类，结果如图5所示。

二、光谱建模，根据聚类分析结果，针对同类样品分别建立光谱模型；

先利用多元散射校正和标准正态变换手段对光谱进行前处理，然后，通过续投影算法、遗传算法、无信息变量消除法提取特征光谱，然后利用基于x-y距离结合的样本划分方法划分建模集和预测集，最后，利用最小二乘-支持向量机方法建立光谱模型，结果如图6所示。光谱模型的r²达0.995以上，相对分析误差RPD在3.7以上，显示光谱模型的预测能力极高。

三、自动模型转移，随意给定一批样品，采集其光谱，根据步骤一的方法对其进行聚类分析，判定其所属类别，从而确定所属的光谱模型；按照样品所属的光谱模型，进行样品速测，自动完成模型转移，测试结果如图7所示。

本发明的方法相比已有模型转移方法，极大降低了相对误差，如表1所示。

表1本发明与现有方法的模型转移效果的比较

模型转移方法	最大相对误差(％)	平均相对误差(％)
			本发明	11.6	5.0
现有方法PDS-S/B	24.0	6.1
			现有方法WMPDS-S/B	15.4	6.1

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (2)

1.一种基于聚类分析的光谱模型转移方法，其特征在于，包括以下步骤：

(1)样品分类，采用密度聚类算法，按照样品光谱间的密度距离，对样品进行聚类分析，从而对样品进行分类；

(2)光谱建模，根据聚类分析结果，针对同类样品分别建立光谱模型；

(3)自动模型转移，对于待测样品，采集其光谱，根据步骤(1)的方法对其进行聚类分析，判定其所属类别，从而确定所属的光谱模型；按照样品所属的光谱模型，进行样品速测，自动完成模型转移；

所述步骤(1)的聚类分析方法具体如下：

设有N个样本，样本光谱集合

x_i为样本光谱，i是样本标号，i属于I_s，I_S＝{1,2,…,N}；

1)计算所有样本两两光谱间的欧氏距离d_ij＝dist(x_i,x_j)，j为样本标号，j属于I_s，I_S＝{1,2,…,N}；

2)确定截断距离d_c，将所有d_ij进行升序排列，取第2％个d_ij作为d_c；

3)对每个样本的光谱x_i，计算两个量ρ_i和δ_i：

①第i个样本的局部密度距离ρ_i：

与x_i的距离小于d_c的样本越多，ρ_i值越大；

②第i个样本的相对局部密度距离δ_i：

对所有的ρ_i进行降序排列ρ_q1≥ρ_q2≥…≥ρ_qN，q代表ρ_i的标号；

有样本局部密度比第i个样本的局部密度大时，求局部密度比第i个样本大的样本和第i个样本之间的欧氏距离，选其最小值作为δ_i；

第i个样本的局部密度为最大时，选其他所有样本和第i个样本之间的最大欧氏距离作为δ_i；

4)根据(ρ_i,δ_i)画决策图，根据决策图，选择局部密度距离ρ和相对局部密度距离δ同时很大，且偏离其他样本的样本点作为聚类中心；

5)对非聚类中心的样本进行归类：

①从大到小遍历所有非聚类中心的ρ_i，计算该样本和所有聚类中心的欧氏距离，选择距离最小的归为同一类；

②划分中心元素和光晕元素，

对每一个聚类中心生成一个局部密度的边界

边界区域的含义：本身属于第c_i个聚类，但在与其距离不超过d_c的范围内有另一个聚类的样本点；

6)对归类好的样本进行多维缩放，使用不同形状代表不同的聚类。

2.根据权利要求1所述的一种基于聚类分析的光谱模型转移方法，其特征在于，所述步骤(2)的建立光谱模型的方法如下：

先利用多元散射校正和标准正态变换手段对光谱进行前处理，然后，通过续投影算法、遗传算法、无信息变量消除法提取特征光谱，然后利用基于x-y距离结合的样本划分方法划分建模集和预测集，最后，利用最小二乘-支持向量机方法建立光谱模型。

Images