CN106092893A - 一种光谱判别分析的波长优选方法 - Google Patents

Abstract

本发明公开了一种光谱判别分析的波长优选方法，所述方法包括：收集需要判别的两类样品，分别称为阴性样品和阳性样品，测试阴性样品和阳性样品的光谱；将阴性样品和阳性样品分别随机划分为定标集和预测集，分别计算定标集的阴性样品和阳性样品的平均光谱，作为预测集的样品类型判断的标准；确定波长筛选的范围，在波长筛选的范围内的每个子波段上，分别计算预测集的样品与定标集的阴性样品、阳性样品的平均光谱的相关系数，根据这两个相关系数的大小判断预测集的样品类型，对应预测集的样品真实类型，计算预测集的样品判别准确率；根据最大预测集的样品判别准确率，筛选最优波长模型。本发明应用范围广、模型简单、计算量少、预测效果好。

Description

一种光谱判别分析的波长优选方法

技术领域

本发明涉及一种波长选择方法，尤其是一种光谱判别分析的波长优选方法，属于光谱仪器的分光系统设计中的波长筛选领域。

背景技术

随着化学计量学和计算机技术的发展，现代光谱分析技术(紫外-可见、近红外、中红外等)以其简便快速、非破坏性和易于实时分析等特点已在农业、食品、环境、生物医学很多领域得到广泛应用。全波段通用型近红外光谱仪器的技术已经比较成熟、但仪器体积大、价格昂贵，主要适用于实验室检测，不便于近红外光谱技术的规模化应用。研发低成本小型专用仪器具有应用前景，高信噪比分光波长筛选方法是关键技术之一。现有的用于光谱判别分析的方法，在波长的选择、小型专用光谱仪器的分光系统设计等方面还存在困难，缺乏有效的分光波长筛选方法。

发明内容

本发明的目的是为了解决上述现有技术的缺陷，提供了一种光谱判别分析的波长优选方法，该方法具有应用范围广、模型简单、计算量少、预测效果好等优点，为小型专用分析仪器中分光系统的设计提出有效的解决方案。

本发明的目的可以通过采取如下技术方案达到：

一种光谱判别分析的波长优选方法，所述方法包括以下步骤：

S1、收集需要判别的两类样品，分别称为阴性样品和阳性样品，测试阴性样品和阳性样品的光谱；

S2、将阴性样品和阳性样品分别随机划分为定标集和预测集，分别计算定标集的阴性样品和阳性样品的平均光谱，作为预测集的样品类型判断的标准；

S3、确定波长筛选的范围，在波长筛选的范围内的每个子波段上，分别计算预测集的样品与定标集的阴性样品、阳性样品的平均光谱的相关系数，根据这两个相关系数的大小判断预测集的样品类型，对应预测集的样品真实类型，计算预测集的样品判别准确率；

S4、根据最大的预测集的样品判别准确率，筛选最优波长模型。

进一步的，步骤S3，具体为：

确定波长筛选的范围，采用起点波长I和波长个数N作为波长模型筛选的参数，起点波长I和波长个数N构成一组参数，每组参数对应波长筛选范围内的一个子波段，在波长筛选的范围内划分多个子波段，将一个子波段称为一个窗口，在每个窗口分别计算预测集的样品与定标集的阴性样品、阳性样品的平均光谱的相关系数，根据这两个相关系数的大小判断预测集的样品类型，对应预测集的样品真实类型，计算预测集的样品判别准确率。

进一步的，所述在每个窗口分别计算预测集的样品与定标集的阴性样品、阳性样品的平均光谱的相关系数，根据这两个相关系数的大小，判断预测集的样品类型，对应预测集的样品真实类型，计算预测集的样品判别准确率，具体为：

在其中一个窗口分别计算预测集的样品与定标集的阴性样品、阳性样品的平均光谱的相关系数，根据这两个相关系数的大小判断预测集的样品类型，对应预测集的样品真实类型，计算预测集的样品判别准确率；改变窗口的大小和位置，采用移动窗口的方式，在下一个窗口分别计算预测集的样品与定标集的阴性样品、阳性样品的平均光谱的相关系数，根据这两个相关系数的大小判断预测集的样品类型，对应预测集的样品真实类型，计算预测集的样品判别准确率，依次类推，直到所有窗口的预测集的样品判别准确率计算完成。

进一步的，步骤S3中，所述分别计算预测集的样品与定标集的阴性样品、阳性样品的平均光谱的相关系数，根据这两个相关系数的大小判断预测集的样品类型，对应预测集的样品真实类型，计算预测集的样品判别准确率，具体过程如下：

1)设某个子波段的波长依次为：λ₁，λ₂,...,λ_N，定标集的阴性样品、阳性样品的平均光谱分别记为：

2)对于任意给定的第k个预测集的样品的平均光谱(A_1，k,A_2,k,...,A_N,k)与阴性、阳性样品的平均光谱的相关系数，分别记为和由下式计算：

$R_k^{-}=\frac{\underset{i=1}{\overset{N}{\Σ}}(A_i^{-}-A_{Ave}^{-})(A_{i,k}-A_{Ave,k})}{\sqrt{\underset{i=1}{\overset{N}{\Σ}}{(A_i^{-}-A_{Ave}^{-})}^2\underset{i=1}{\overset{N}{\Σ}}{(A_{i,k}-A_{Ave,k})}^2}}---\left(1\right)$

$R_k^{+}=\frac{\underset{i=1}{\overset{N}{\Σ}}(A_i^{+}-A_{Ave}^{+})(A_{i,k}-A_{Ave,k})}{\sqrt{\underset{i=1}{\overset{N}{\Σ}}{(A_i^{+}-A_{Ave}^{+})}^2\underset{i=1}{\overset{N}{\Σ}}{(A_{i,k}-A_{Ave,k})}^2}}---\left(2\right)$

其中，A_Ave,k是A_1,k,A_2,k,...,A_N,k的平均值，是的平均值，是的平均值；

3)比较第k个预测集的样品的两个相关系数的大小，若则判别第k个预测集的样品为阴性样品；则判别第k个预测集的样品为阳性样品；

4)参照预测集的样品的真实类型，计算对应于波段的判别准确率。

进一步的，所述波长筛选的范围为全扫描光谱区。

进一步的，所述波长筛选的范围为根据实际对象的特征指定某个具体的大范围。

本发明相对于现有技术具有如下的有益效果：

1、本发明方法通过确定波长筛选的范围，在波长筛选的范围内的每个子波段上，分别计算预测集的样品与定标集的阴性样品、阳性样品的平均光谱的相关系数，根据这两个相关系数的大小，判断预测集的样品类型，对应预测集的样品真实类型，计算预测集的样品判别准确率，根据最大的预测集的样品判别准确率，筛选最优波长模型，该筛选出的波长模的预测准确率非常高。

2、本发明方法针对光谱(紫外-可见、近红外、中红外等)的判别分析技术，将在波长筛选的范围内划分多个子波段和计算光谱相关系数结合，其与现有的主成分分析-线性判别分析法(PCA-LDA)相比，具有模型简单、计算量少、预测精度高等优点，为研发小型专用光谱仪器提出有效的解决方案，在光谱分析的诸多应用领域具有产业化前景。

附图说明

图1为本发明实施例1的基于光谱判别分析的波长选择方法流程图。

图2为本发明实施例2的145个人外周血样品的近红外光谱图。

图3为本发明实施例3的300个甘蔗叶样品的可见-近红外光谱图。

具体实施方式

下面结合附图对本发明的一种光谱判别分析的波长优选方法的具体实施方式作详细描述。

实施例1：

如图1所示，本实施例提供了一种光谱判别分析的波长优选方法，该方法包括以下步骤：

S1、收集需要判别的两类样品，分别称为阴性样品和阳性样品，测试阴性样品和阳性样品的光谱；

S2、将阴性样品和阳性样品分别随机划分为定标集和预测集，分别计算定标集的阴性样品和阳性样品的平均光谱，作为预测集的样品类型判断的标准；

S3、确定波长筛选的范围，在波长筛选的范围内的每个子波段上，分别计算预测集的样品与定标集的阴性样品、阳性样品的平均光谱的相关系数，这两个相关系数称为双线性相关系数(Bis-Correlation and Coefficients,简称为BiCC)；根据这两个相关系数的大小，判断预测集的样品类型(阴性或阳性)，对应预测集的样品真实类型，计算预测集的样品判别准确率Recognition rate(记为P_REC)；其中，所述波长筛选的范围可以为全扫描光谱区，也可以为根据实际对象的特征指定某个具体的大范围。

S4、根据最大的预测集的样品判别准确率(P_REC值)，筛选最优波长模型。

上述步骤S3，具体为：

确定波长筛选的范围，采用起点波长I和波长个数N作为波长模型筛选的参数，起点波长I和波长个数N构成一组参数，每组参数对应波长筛选范围内的一个子波段，在波长筛选的范围内划分多个子波段，将一个子波段称为一个窗口，在每个窗口分别计算预测集的样品与定标集的阴性样品、阳性样品的平均光谱的相关系数，根据这两个相关系数的大小判断预测集的样品类型，对应预测集的样品真实类型，计算预测集的样品判别准确率(P_REC值)；

其中，所述在每个窗口分别计算预测集的样品与定标集的阴性样品、阳性样品的平均光谱的相关系数，根据这两个相关系数的大小判断预测集的样品类型，对应预测集的样品真实类型，计算预测集的样品判别准确率(P_REC值)，具体为：

在其中一个窗口分别计算预测集的样品与定标集的阴性样品、阳性样品的平均光谱的相关系数，根据这两个相关系数的大小判断预测集的样品类型，对应预测集的样品真实类型，计算预测集的样品判别准确率(P_REC值)；改变窗口的大小和位置，采用移动窗口(Moving-window)的方式，在下一个窗口分别计算预测集的样品与定标集的阴性样品、阳性样品的平均光谱的相关系数，根据这两个相关系数的大小判断预测集的样品类型，对应预测集的样品真实类型，计算预测集的样品判别准确率(P_REC值)，依次类推，直到所有窗口的预测集的样品判别准确率(P_REC值)计算完成。

所述分别计算预测集的样品与定标集的阴性样品、阳性样品的平均光谱的相关系数，根据这两个相关系数的大小判断预测集的样品类型，对应预测集的样品真实类型，计算预测集的样品判别准确率，具体过程如下：

1)设某个子波段的波长依次为：λ₁，λ₂,...,λ_N，定标集的阴性样品、阳性样品的平均光谱分别记为：

2)对于任意给定的第k个预测集的样品的平均光谱(A_1，k,A_2,k,...,A_N,k)与阴性、阳性样品的平均光谱的相关系数，分别记为和由下式计算：

$R_k^{-}=\frac{\underset{i=1}{\overset{N}{\Σ}}(A_i^{-}-A_{Ave}^{-})(A_{i,k}-A_{Ave,k})}{\sqrt{\underset{i=1}{\overset{N}{\Σ}}{(A_i^{-}-A_{Ave}^{-})}^2\underset{i=1}{\overset{N}{\Σ}}{(A_{i,k}-A_{Ave,k})}^2}}---\left(1\right)$

$R_k^{+}=\frac{\underset{i=1}{\overset{N}{\Σ}}(A_i^{+}-A_{Ave}^{+})(A_{i,k}-A_{Ave,k})}{\sqrt{\underset{i=1}{\overset{N}{\Σ}}{(A_i^{+}-A_{Ave}^{+})}^2\underset{i=1}{\overset{N}{\Σ}}{(A_{i,k}-A_{Ave,k})}^2}}---\left(2\right)$

其中，A_Ave,k是A_1,k,A_2,k,...,A_N,k的平均值，是的平均值，是的平均值；

3)比较第k个预测集的样品的两个相关系数的大小，若则判别第k个预测集的样品为阴性样品；则判别第k个预测集的样品为阳性样品；

4)参照预测集的样品的真实类型，计算对应于波段(λ₁，λ₂,...,λ_N)的判别准确率(P_REC值)。

实施例2：

本实施例以人外周血样品的近红外(Near Infrared，NIR)光谱判别分析为例，说明上述实施例1的基于光谱判别分析的波长选择方法具体步骤。

S1、收集到90个正常对照样品和55个β-地中海贫血样品，其中正常对照样品为阴性样品，β-地中海贫血样品为阳性样品，测试阴性样品和阳性样品的近红外光谱，如图2所示；

S2、将阴性样品和阳性样品分别随机划分为定标集和预测集，分别计算定标集的阴性样品和阳性样品的平均光谱，作为预测集的样品类型判断的标准；

S3、将全扫描光谱区(780～2498nm)作为波长筛选的范围，它包含全近红外区，采用起点波长I和波长个数N作为波长模型筛选的参数，起点波长I和波长个数N构成一组参数，每组参数对应波长筛选范围内的一个子波段，在波长筛选的范围内划分多个子波段，将一个子波段称为一个窗口，在其中一个窗口分别计算预测集的样品与定标集的阴性样品、阳性样品的平均光谱的相关系数，根据这两个相关系数的大小判断预测集的样品类型，对应预测集的样品真实类型，计算预测集的样品判别准确率(P_REC值)；改变窗口的大小和位置，采用移动窗口(Moving-window)的方式，在下一个窗口分别计算预测集的样品与定标集的阴性样品、阳性样品的平均光谱的相关系数，根据这两个相关系数的大小判断预测集的样品类型，对应预测集的样品真实类型，计算预测集的样品判别准确率(P_REC值)，依次类推，直到所有窗口的预测集的样品判别准确率(P_REC值)计算完成；

S4、根据最大的预测集的样品判别准确率(P_REC值)，筛选最优波长模型。

整个实施例的方法可以称为双线性相关系数法(BiCC)，将双线性相关系数法(BICC)与目前常用的主成分分析-线性判别分析法(PCA-LDA)进行比较；首先，在全扫描光谱区(780～2498nm)进行比较，两种方法分别记为Full-BiCC、Full-PCA-LDA，比较结果如下表1所示。

表1基于全谱的BiCC和PCA-LDA方法的建模参数与预测准确率

其次，筛选出最优波长模型后的双线性相关系数法(BiCC)记为MW-BiCC，其对应的移动窗口-主成分分析-线性判别分析法记为MW-PCA-LDA，比较结果如下表2所示。

表2 MW-BiCC和MW-PCA-LD法的建模参数与预测准确率

从上表1和表2可以看出，MW-BiCC法筛选出的波长模型的预测准确率优于Full-BiCC法的波长模型，所采用的波长个数仅为全谱的不足3％，因此模型复杂性大幅度降低；另一方面，BiCC法与PCA-LDA法具有同样的预测准确率，但是BiCC法只需要计算相关系数，而PCA-LDA法需要进行主成分相关的大量的运算，可见本发明具有模型简单、计算量少、预测精度高等优点。

实施例3：

本实施例以甘蔗叶样品的可见-近红外(Visual and Near Infrared，Vis-NIR)光谱判别分析为例，说明上述实施例1的基于光谱判别分析的波长选择方法具体步骤，如下：

S1、收集到100个非转基因甘蔗叶样品和200个包含抗虫基因Bt、抗除草剂基因Bar的转基因甘蔗叶样品，其中非转基因甘蔗叶样品为阴性样品，转基因甘蔗叶样品为阳性样品，测试阴性样品和阳性样品的可见-近红外光谱，如图3所示；

S2、将阴性样品和阳性样品分别随机划分为定标集和预测集，分别计算定标集的阴性样品和阳性样品的平均光谱，作为预测集的样品类型判断的标准；

S3、将全扫描光谱区(400～2498nm)作为波长筛选的范围，它包含全近红外区和部分可见光区，采用起点波长I和波长个数N作为波长模型筛选的参数，起点波长I和波长个数N构成一组参数，每组参数对应波长筛选范围内的一个子波段，在波长筛选的范围内划分多个子波段，将一个子波段称为一个窗口，在其中一个窗口分别计算预测集的样品与定标集的阴性样品、阳性样品的平均光谱的相关系数，根据这两个相关系数的大小判断预测集的样品类型，对应预测集的样品真实类型，计算预测集的样品判别准确率(P_REC值)；改变窗口的大小和位置，采用移动窗口(Moving-window)的方式，在下一个窗口分别计算预测集的样品与定标集的阴性样品、阳性样品的平均光谱的相关系数，根据这两个相关系数的大小判断预测集的样品类型，对应预测集的样品真实类型，计算预测集的样品判别准确率(P_REC值)，依次类推，直到所有窗口的预测集的样品判别准确率(P_REC值)计算完成；

S4、根据最大的预测集的样品判别准确率(P_REC值)，筛选最优波长模型。

整个实施例的方法可以称为双线性相关系数法(BiCC)，将双线性相关系数法(BICC)与目前常用的主成分分析-线性判别分析法(PCA-LDA)进行比较；首先，在全扫描光谱区(400～2498nm)进行比较，两种方法分别记为Full-BiCC、Full-PCA-LDA，比较结果如下表3所示。

表3基于全谱的BiCC和PCA-LDA方法的建模参数与预测准确率

其次，筛选出最优波长模型后的双线性相关系数法(BiCC)记为MW-BiCC，其对应的移动窗口-主成分分析-线性判别分析法记为MW-PCA-LDA，比较结果如下表4所示。

表4 MW-BiCC和MW-PCA-LD方法的建模参数与预测准确率

从上表3和表4可以看出，MW-BiCC法筛选出的波长模型的预测准确率优于Full-BiCC法的波长模型，所采用的波长个数仅为全谱的不足5％，因此模型复杂性大幅度降低；另一方面，BiCC法的预测准确率优于PCA-LDA法，而且BiCC法只需要计算相关系数，可见本发明具有模型简单、计算量少、预测精度高等优点。

综上所述，本发明方法针对光谱的判别分析技术，将光谱相关系数和波长筛选结合，从实验结果来看，与现有的主成分分析-线性判别分析法相比，具有模型简单、计算量少、预测精度高等优点，为研发小型专用光谱仪器提出有效的解决方案，在光谱分析的诸多应用领域具有产业化前景。

以上所述，仅为本发明专利优选的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明构思加以等同替换或改变，都属于本发明专利的保护范围。

Claims (6)

1.一种光谱判别分析的波长优选方法，其特征在于：所述方法包括以下步骤：

S1、收集需要判别的两类样品，分别称为阴性样品和阳性样品，测试阴性样品和阳性样品的光谱；

S2、将阴性样品和阳性样品分别随机划分为定标集和预测集，分别计算定标集的阴性样品和阳性样品的平均光谱，作为预测集的样品类型判断的标准；

S3、确定波长筛选的范围，在波长筛选的范围内的每个子波段上，分别计算预测集的样品与定标集的阴性样品、阳性样品的平均光谱的相关系数，根据这两个相关系数的大小，判断预测集的样品类型，对应预测集的样品真实类型，计算预测集的样品判别准确率；

S4、根据最大的预测集的样品判别准确率，筛选最优波长模型。

2.根据权利要求1所述的一种光谱判别分析的波长优选方法，其特征在于：步骤S3，具体为：

确定波长筛选的范围，采用起点波长I和波长个数N作为波长模型筛选的参数，起点波长I和波长个数N构成一组参数，每组参数对应波长筛选范围内的一个子波段，在波长筛选的范围内划分多个子波段，将一个子波段称为一个窗口，在每个窗口分别计算预测集的样品与定标集的阴性样品、阳性样品的平均光谱的相关系数，根据这两个相关系数的大小判断预测集的样品类型，对应预测集的样品真实类型，计算预测集的样品判别准确率。

3.根据权利要求2所述的一种光谱判别分析的波长优选方法，其特征在于：所述在每个窗口分别计算预测集的样品与定标集的阴性样品、阳性样品的平均光谱的相关系数，根据这两个相关系数的大小判断预测集的样品类型，对应预测集的样品真实类型，计算预测集的样品判别准确率，具体为：

在其中一个窗口分别计算预测集的样品与定标集的阴性样品、阳性样品的平均光谱的相关系数，根据这两个相关系数的大小判断预测集的样品类型，对应预测集的样品真实类型，计算预测集的样品判别准确率；改变窗口的大小和位置，采用移动窗口的方式，在下一个窗口分别计算预测集的样品与定标集的阴性样品、阳性样品的平均光谱的相关系数，根据这两个相关系数的大小判断预测集的样品类型，对应预测集的样品真实类型，计算预测集的样品判别准确率，依次类推，直到所有窗口的预测集的样品判别准确率计算完成。

4.根据权利要求1-3任一项所述的一种光谱判别分析的波长优选方法，其特征在于：步骤S3中，所述分别计算预测集的样品与定标集的阴性样品、阳性样品的平均光谱的相关系数，根据这两个相关系数的大小判断预测集的样品类型，对应预测集的样品真实类型，计算预测集的样品判别准确率，具体过程如下：

1)设某个子波段的波长依次为：λ₁，λ₂,...,λ_N，定标集的阴性样品、阳性样品的平均光谱分别记为：

2)对于任意给定的第k个预测集的样品的平均光谱(A_1，k,A_2,k,...,A_N,k)与阴性、阳性样品的平均光谱的相关系数，分别记为和由下式计算：

$R_k^{-}=\frac{\underset{i=1}{\overset{N}{\Σ}}(A_i^{-}-A_{Ave}^{-})(A_{i,k}-A_{Ave,k})}{\sqrt{\underset{i=1}{\overset{N}{\Σ}}{(A_i^{-}-A_{Ave}^{-})}^2\underset{i=1}{\overset{N}{\Σ}}{(A_{i,k}-A_{Ave,k})}^2}}---\left(1\right)$

$R_k^{+}=\frac{\underset{i=1}{\overset{N}{\Σ}}(A_i^{+}-A_{Ave}^{+})(A_{i,k}-A_{Ave,k})}{\sqrt{\underset{i=1}{\overset{N}{\Σ}}{(A_i^{+}-A_{Ave}^{+})}^2\underset{i=1}{\overset{N}{\Σ}}{(A_{i,k}-A_{Ave,k})}^2}}---\left(2\right)$

其中，A_Ave,k是A_1,k,A_2,k,...,A_N,k的平均值，是的平均值，是的平均值；

3)比较第k个预测集的样品的两个相关系数的大小，若则判别第k个预测集的样品为阴性样品；则判别第k个预测集的样品为阳性样品；

4)参照预测集的样品的真实类型，计算对应于波段的判别准确率。

5.根据权利要求1-3任一项所述的一种光谱判别分析的波长优选方法，其特征在于：所述波长筛选的范围为全扫描光谱区。

6.根据权利要求1-3任一项所述的一种光谱判别分析的波长优选方法，其特征在于：所述波长筛选的范围为根据实际对象的特征指定某个具体的大范围。