CN105069462A - 基于光谱特征细分和分类器级联的有机化学品定性判定方法 - Google Patents

Abstract

本发明涉及一种基于光谱特征细分和分类器级联的有机化学品定性判定方法，首先对有机化学品的光谱特征进行细分，然后选取不同的特征采用聚类分析方法构建单个分类器，然后将构建的单个分类器进行级联，形成级联的分类器，实现对未知有机化学品的层层筛选、逐级分类，最终得到判定结果；该方法利用线性判别式分析等方法，对光谱进行特征细分，建立级联的分类器，经过层层筛选，最终实现各类化学品的定性判别。该方法具有准确、简便、高效等优点，在进出口化学品检验、危险化学品筛查、废弃和未知化学品处理中具有很好的应用前景。

Description

基于光谱特征细分和分类器级联的有机化学品定性判定方法

技术领域

本发明涉及一种利用化学品的光谱特征判定其类别的方法，具体地，是一种利用波长范围从紫外光到红外光的光谱技术快速识别化学品的方法。特别是基于光谱特征细分和分类器级联的有机化学品定性判定方法。

背景技术

有机化合物是含碳的、主要由氧元素、氢元素等组成的化合物。目前，世界上已知的有机物有几千万种之多，包括烃类化合物和其各种衍生物，如醇、酚、醚、醛、酮、酸、酯、胺、腈等，这些有机化学品被广泛用于工业、农业、医疗卫生、生命科学、检验检疫、环境保护、能源开发、国防军工、科学研究和国民经济的各行各业，为我们的衣、食、住、行提供了极大方便的同时，也有力的促进了社会的发展和进步。

有机化学品在给人类生活带来便捷的同时，也带来了一些危害甚至灾难。比如化工厂在生产对人类有用的化学品的同时，也产生了很多有毒有害的副产品，对河流和土壤都造成了非常严重的污染，尤其是一些运行多年化工厂旧址，被其污染过的土地在几十年内都无法正常使用。由于这些污染的严重性，使得快速识别这些污染物进而进行有效的治理就显得尤为紧迫和重要。而出现在化学品进出口中的瞒报与夹带，使一些有毒有害甚至是高危剧毒的化学品在没有监管的情况下流入国内，不仅扰乱了我国正常的贸易秩序，对国家安全也造成了严重威胁。在危险化学品筛查、废弃和未知化学品无害化处理中，如何快速识别化学品同样具有非常重要的现实意义。

简单的有机化学品分析方法，利用一些化学反应中的颜色、温度变化或者气体、沉淀的生成来鉴别有机化合物，如利用其能与氯化铁能产生显色反应鉴别酚类，只能获知其官能团信息，而对其具体的成分信息却无能为力。要获知其具体的化学成分，则需更为精密的分析手段，如化学分析法和仪器分析法。然而，化学分析如重量分析和滴定分析，需要耗费大量样品，分析过程繁琐且耗时，因此自上世纪50年代以后便逐渐被仪器分析法取代。与光谱分析方法相比，仪器分析法如电化学分析、波谱分析和色谱分析等成本较高，不仅需要经验丰富的专业人员进行操作，且难以进行现场检测。

光谱分析法是光学分析法的一种，是基于物质与辐射能量发生作用下，由物质内部发生量子化的能级之间的跃迁而产生的发射、吸收或散射辐射的波长和强度而进行分析的方法，包括可见光、紫外、近红外和中红外等分析方法。其中近红外和中红外光谱可以准确的反映各种化学键的振动情况，如C-H、C＝C、O-H、N-H、S-H等的弯曲和伸缩振动，而有机物在紫外光或可见的作用下发生电子跃迁而产生吸收光谱。由于这些吸收光谱可以全面、有效的反映有机化合物中各种化学键的振动情况，且具有采样方式灵活、测试速率高、对样品无损、可设定多通道瞬间多点采集并通过与化学计量学的结合，瞬间输出分析结果等诸多优点，因而在农副产品质鉴定、工业生产在线监测、中西药质量和真假鉴别等领域发挥着越来越重要的作用。

虽然有机化学品的智能识别有巨大的需求，但是由于有机化合物数量繁多，结构复杂，因此单纯利用吸收光谱难以获得直观的信息，须结合化学计量学方法，尤其是本专利所述的级联分类器分类法，进行逐级的识别分类，最终达到智能识别的目的。

发明内容

本发明利用有机物在可见、紫外、近红外、中红外光源下的吸收光谱，结合化学计量学的方法将这些反映在谱图上的信息有效的提取出来，进而实现对有机化学品的有效识别。

本发明利用级联分类器方法对有机化合物的谱图进行建模，其中单个分类器的构建可以使用基于LDA或PCA的聚类分析方法。LDA方法，又称线性判别式分析(LinearDiscriminantAnalysis)，它能将样本在矢量空间上进行最优化投影，以达到获得最佳鉴别矢量空间、抽取分类信息、压缩特征空间维数的目的，使得模型样本在新的子空间有最大的类间距离和最小的类内距离，即样本在该空间中有最佳的可分离性。级联分类能对同一个训练集训练出不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器(强分类器)。利用该分类器的多层分类模型，级级分类层层识别，提取不同有机化合物的特征并逐步细化，使化合物之间的差别逐级放大，进而实现正确的分类和识别。利用该模型可以有效解决有机化学品的种类多样性、结构复杂性而导致分类和识别过程中的易混淆的问题，如不同类别但含有部分相同官能团的化合物在分类的时候极易出现类间的混淆的问题、而同类的有机化合物尤其是分子量相近的化合物在识别其具体成分的时候出现识别的混淆的问题。该方法(光谱结合化学计量学)具有操作简便、快速准确等优点，在进出口化学品检验和危险、未知化学品处理中有很好的应用前景。

本发明是通过以下技术方案加以实现的。

一种基于光谱特征细分和分类器级联的有机化学品定性判定方法，包括以下步骤：

首先对有机化学品的光谱特征进行细分，然后选取不同的特征采用聚类分析方法构建单个分类器，然后将构建的单个分类器进行级联，形成级联的分类器，实现对未知有机化学品的层层筛选、逐级分类，最终得到判定结果；包括以下步骤：

a)光谱的采集与预处理

采集一些已知类别和成分的化学品光谱作为训练集；采用透射或漫反射方式采集光谱数据；光谱的预处理可采用平滑、一阶导数、二阶导数或小波变换；对待判定类别的化学品采用与训练集一致的方法进行光谱采集与预处理；

b)光谱特征细分

将训练集的光谱进行特征细分，将这些特征分成多组，每组分别用于不同分类器的设计；特征分组按照从粗大到细致的原则；第一级分类器，仅实现几个化学品大类别的准确划分；第二级实现在第一级已判定的大类别中的二级类别的划分；依次进行下去，最终实现化学品类别的准确识别；

c)采用训练集中的光谱数据建立级联的分类器；

对每一级分别进行分类器设计：

1)第一级识别仅有1个分类器组成，仅实现化学品的大类别划分；在允许一定的假阳性结果，但不允许出现假阴性结果的原则下，选择适当的类别总数，进行第一级的分类器设计；

2)第二级在第一级的基础上进行设计，需要设计N₁个分类器，分类器i＝1,2,…N₁分别对应第一级划分的第i＝1,2,…N₁个类别；每个分类器内部针对某一个大类别进行第二次特征细分，分别分为N_i,2个二级子类别，设计原则与a相同，即不允许出现假阴性结果；

3)第三级设计及以下各级的设计与b相同，均需要在前一级设计好的基础上，进行进一步的特征细分；

4)最终将所有级的分类器进行级联，前一级的输出结果，选定了后一级的分类器，然后输入分类器进行识别，再依次输入下一级，直至最后一级，得到最终的判定结果；

d)光谱识别

将未知类别的光谱经过与训练集相同的预处理，然后输入(3)中建立的级联分类器，依次经过层层判定，获得最终的判定结果。

所述的分类器的设计可以使用LDA、PCA或聚类树等聚类分析方法。

若使用LDA方法，其步骤为：

①选定适宜的类数，计算每类的样本均值u_i和总样本均值u：

$u_i=\frac{1}{n_i}\underset{x\∈classi}{\Σ}x$

其中，n_i表示每类的样品总数，x代表某样本光谱值；

$u=\frac{1}{m}\underset{i=1}{\overset{m}{\Σ}}{x}_i$

其中，m表示样品总数，x_i表示第i类的某样本光谱值；

②计算类间离散度S_b和类内离散度S_w：

$S_b=\underset{i=1}{\overset{c}{\Σ}}{n}_i(u_i-u){(u_i-u)}^T$

c表示拟选择的类数；

$S_w=\underset{i=1}{\overset{c}{\Σ}}\underset{x_k\∈classi}{\Σ}(u_i-x_k){(u_i-x_k)}^T$

③计算矩阵的特征值及特征向量，取最大特征值λ_max对应的特征向量L作为投影空间；

④将样本在特征向量空间L上投影，通过样本投影值的大小关系判断其在新空间上距离的大小和分类效果的优劣；

⑤若分类效果不佳，可调整分类数c，重复以上步骤直到实现最佳的分类效果。

所述的光谱选用化学品的官能团特征中的一种或者几种作为分类标准；利用化学品在可见、紫外、近红外、中红外光源下的吸收光谱，结合化学计量学的方法将这些反映在谱图上的信息有效的提取出来，进而实现对有化学品的有效识别。

可选用化学品的官能团特征中的一种或者几种作为分类标准，如O-H(醇)、O-H(酚)、O-H(酸)、C-O(醚)、C＝O(醛)、C＝O(酮)、C＝O(酸)、C＝O(酯)、C＝O(酰卤)、N-H(酰胺)、C-N(酰胺)、C≡N(腈)、C＝C、-C＝C-(苯环)等。当选用的官能团特征越少时，分类器越弱，弱分类器可作为低级的分类器，比如醇类分类器、酸类分类器等等；当选用的官能团特征越多，化学品的类别越精确。

光谱特征进行细分，还可以选用不同的波段，当选用的波段越窄，波段数越少，光谱特征越少，分类器越弱，弱分类器可作为低级的分类器，比如醇类分类器、酸类分类器等等；当选用的波段越宽，波段数越多，光谱特征越多，分类器越强，化学品的类别越精确。

本发明涉及的化学品包含有机化学品，如化工和医药行业常用化学品，尤其是在进出口检验、危险化学品筛查和实验室废弃化学品处理中常见的化学品，如烃类及其衍生物，烃、醇、醚、醛、酮、酸、酯、胺等。

本发明采用的光谱可以为紫外光、可见光、近红外光、中红外光，波长范围为100nm-4000nm。

本发明识别的化学品可以为液态或固态的，可以为透射光谱或漫反射光谱。本发明的方法应用于医药行业化学品，进出口检验化学品、危险化学品筛查和实验室废弃化学品处理。

附图说明

图1利用LDA方法对醇、酸、醛、酮和酯类化合物进行最优化投影的结果。

图2利用LDA方法对醇类化合物和酸类化合物进行最优化投影的结果。

图3利用LDA方法对醛类化合物和酯类化合物进行最优化投影的结果。

图4实施例1和2中用于类内识别的级联分类器的示意性图。

图5实施例1所用级联分类器的流程图。

图6实施例2所用级联分类器的流程图。

具体实施方式

实施例1

采用海洋光学公司生产的NQ51A0586型近红外光谱仪，波长范围为900nm-1720nm，使用2mm的石英比色皿。选择醇类化合物14种，酸类化合物7种，醛类化合物6种，酮类化合物9种，酯类化合物17种(以上化合物均为分析纯)，具体物质信息见表1。具体步骤如下：

1)利用NQ51A0586型近红外光谱仪和2mm石英比色皿，在室温下，采用透射法获得样本的近红外光谱数据，每种化合物做两次近红外光谱数据测试，分别作为建模集和验证集；

2)对所有的光谱图进行光谱预处理，其具体过程如下：

a)用平均窗口平滑法对所有光谱进行平滑处理

b)用差分法对平滑后的光谱进行求一阶导数

3)由于醇、醛、酸、酮或酯类化合物具有明显的化学官能团上的特征差异，因此在近红外吸收光谱中也具有较大的特征差异，所以首先用LDA方法对这5类化合物进行5类的LDA最优化投影，发现除酮类化合物外，醇类和酸类、醛类和酯类化合物相互之间都出现混淆。如图1所示，x轴为样本序列号，代表每类化合物中不同的样本，y轴为每个样本的训练集经过LDA聚类分析之后的投影值，从图中可以看出醇类化合物和酸类化合物的投影值有重合，醛类化合物和酯类化合物的投影值也有重合，只有酮类化合物的投影值整体偏离其他四类化合物的投影值，且三类之间分割清晰并无重合，于是可以将整个样本划分为三类，其中酮类化合物可以被直接分类识别出来，同时将醇类化合物和酸类化合物作为一类、将醛类和酯类化合物作为另一个类别进入下一步的分类识别；

4)将醇和酸、醛和酯类化合物分别进行2类的LDA最优化投影，实现醇和酸、醛和酯类化合物的分离，结果如图2和图3所示，从图中可以明显的看出醇类化合物和酸类化合物，以及醛类化合物和酯类化合物的投影值都有非常清晰的分离；

5)用聚类分析方法建立级联分类器实现对醇、酸、醛、酮和酯类化合物进行类内识别，获得其具体的成分信息，流程示意图如图4所示：首先用PCA和LDA方法建立第一级分类器，并在第一级分类器中将该类化合物分为若干个子类，所分的类数取决于这些样品投影值的聚集情况，采用类似用步骤(3)中的方法进行类数的确定；然后对每一个子类建立第二级分类器，采用同样的方法确定每个分类器所要划分的类数，并将这些子类在第二级分类器进一步分为更小的子类，依次类推。当某一个子类中只有一个化合物的时候，便实现了该化合物的识别，不再建立下一级的分类器；如果某子类中的化合物不止一种，则需要建立下一级分类器继续进行聚类分析，按此规则进行分类器的建立直到所有的子类中只有一个化合物，该类别化合物的类内识别模型建立完成；

6)将上述模型方法进行级联形成一个级联的分类器，如图5所示，首先对未知化合物进行类间的识别，将其分入醇、醛、酸、酮或酯类化合物中，然后分别进行类内识别，获得其具体的成分信息；

7)用建立好的级联分类器模型对验证集进行识别，结果与实际成分一致，说明该模型可以实现对有机化学品的准确、快速识别。

实施例2

采用海洋光学公司的ecoVis氪光源型可见近红外光谱仪，波长范围为400nm-2500nm，使用2mm的石英比色皿。在阿拉丁试剂公司选购醇类化合物14种，酸类化合物7种，醛类化合物6种，酮类化合物9种，酯类化合物17种，具体物质信息见表1。具体步骤如下：

1)利用ecoVis氪光源型可见近红外光谱仪和2mm石英比色皿，在室温下，采用透射法获得样本的近红外光谱图，每种物质的近红外光谱图保存2次，分别作为建模集和验证集；

2)对所有的光谱图进行光谱预处理，其具体过程如下：

a)用平均窗口平滑法对所有光谱进行平滑处理

b)用差分法对平滑后的光谱进行求一阶导数

3)分别提取醇、酸、醛、酮和酯类化合物的光谱特征，通过对建模集样本的学习依次获得醇、酸、醛、酮、酯类化合物的弱分类器；

4)用聚类分析法建立级联分类器实现对醇、酸、醛、酮和酯类化合物类内的识别，并将其和这些弱分类器级联获得有机化学品识别的强分类器，并该模型流程图如图6所示：每个弱分类器可以分别实现对醇、醛、酸、酮类化合物的分类识别，光谱数据首先会经过一个判定其是否是醇类化合物的分类器，如果符合醇类化合物的分类条件，则识别其为醇类化合物并进入醇的类内识别，否则继续判断其是否是醛类化合物，依次进行，当不满足酮类化合物的分类条件时，该化合物会自动归属为酯类化合物并进入酯的类内识别过程。最后将这些分类器组合获得一个可以直接识别具体成分的强分类器；

5)用建立好的模型对验证集进行识别，识别结果与实际成分一致。

表1

Claims (6)

1.一种基于光谱特征细分和分类器级联的有机化学品定性判定方法，首先对有机化学品的光谱特征进行细分，然后选取不同的特征采用聚类分析方法构建单个分类器，然后将构建的单个分类器进行级联，形成级联的分类器，实现对未知有机化学品的层层筛选、逐级分类，最终得到判定结果；其特征在于包括以下步骤：

a)光谱的采集与预处理

采集一些已知类别和成分的化学品光谱作为训练集；采用透射或漫反射方式采集光谱数据；光谱的预处理可采用平滑、一阶导数、二阶导数和小波变换中的一种或者多种预处理方法；对待判定类别的化学品采用与训练集一致的方法进行光谱采集与预处理；

b)光谱特征细分

将训练集的光谱进行特征细分，将这些特征分成多组，每组分别用于不同分类器的设计；特征分组按照从粗大到细致的原则；第一级分类器，仅实现几个化学品大类别的准确划分；第二级实现在第一级已判定的大类别中的二级类别的划分；依次进行下去，最终实现化学品类别的准确识别；

c)将这些用训练集中的光谱数据建立的分类器进行级联，建立级联的分类器；

对每一级分别进行分类器设计：

1)第一级识别仅有1个分类器组成，仅实现化学品的大类别划分；在允许一定的假阳性结果，但不允许出现假阴性结果的原则下，选择适当的类别总数，进行第一级的分类器设计；

2)第二级在第一级的基础上进行设计，需要设计N₁个分类器，分类器i＝1,2,…N₁分别对应第一级划分的第i＝1,2,…N₁个类别；每个分类器内部针对某一个大类别进行第二次特征细分，分别分为N_i,2个二级子类别，设计原则与a相同，即不允许出现假阴性结果；

3)第三级设计及以下各级的设计与b相同，均需要在前一级设计好的基础上，进行进一步的特征细分；

4)最终将所有级的分类器进行级联，前一级的输出结果，选定了后一级的分类器，然后输入分类器进行识别，再依次输入下一级，直至最后一级，得到最终的判定结果；

d)光谱识别

将未知类别的光谱经过与训练集相同的预处理，然后输入使用训练集数据建立的级联分类器，获得最终的判定结果。

2.如权利要求1所述的方法，其特征是建立单个分类器的方法是基于LDA或基于PCA或聚类树的聚类分析方法。

3.如权利要求2所述的方法，其特征是若使用基于LDA的聚类分析方法，其步骤为：

①选定适宜的类数，计算每类的样本均值u_i和总样本均值u：

$u_i=\frac{1}{n_i}{\underset{x\∈class}{\Σ}}_{i}x$

其中，n_i表示每类的样品总数，x代表某样本光谱值；

$u=\frac{1}{m}\underset{i=1}{\overset{m}{\Σ}}{x}_i$

其中，m表示样品总数，x_i表示第i类的某样本光谱值；

②计算类间离散度S_b和类内离散度S_w：

$S_b=\underset{i=1}{\overset{c}{\Σ}}{n}_i(u_i-u){(u_i-u)}^T$

c表示拟选择的类数；

$S_w=\underset{i=1}{\overset{c}{\Σ}}{\underset{x_k\∈class}{\Σ}}_i(u_i-x_k){(u_i-x_k)}^T$

③计算矩阵的特征值及特征向量，取最大特征值λ_max对应的特征向量L作为投影空间；

④将样本在特征向量空间L上投影，通过样本投影值的大小关系判断其在新空间上距离的大小和分类效果的优劣；

⑤若分类效果不佳，可调整分类数c，重复以上步骤直到实现最佳的分类效果。

4.如权利要求1所述的方法，其特征是所述的光谱选用化学品的官能团特征中的一种或者几种作为分类标准；利用化学品在可见、紫外、近红外、中红外光源下的吸收光谱，结合化学计量学的方法将这些反映在谱图上的信息有效的提取出来，进而实现对有化学品的有效识别。

5.如权利要求4所述的方法，其特征是所述的吸收光谱波长范围为100nm-4000nm。

6.根据权利要求1所述的方法应用于医药行业化学品，进出口检验化学品、危险化学品筛查和实验室废弃化学品处理。