CN105136688A - 一种用于分析分子光谱的改进可变移动窗偏最小二乘法 - Google Patents

Abstract

本发明涉及一种在分析分子光谱时同时优选数据预处理算法和波长变量的方法——预处理方法分类参数可调的可变移动窗偏最小二乘法。首先该算法对读入的光谱数据和待测物性质数据进行样本划分，完成窗口的个数、窗口宽度等参数进行初始化，并选择回归模型；然后该算法将其生成的部分个体按照其编码规则初始化在信息含量较高的区域上，其它个体初始化在全光谱区域内；接着根据该算法的解码规则和适应度函数进行模型评价，并执行遗传操作；最后完成既定的独立运行次数后进行输出并统计结果。该方法生成的个体较易给出合理的化学解释，同时也避免人工挑选数据预处理算法时的主观性和单一变量引入的噪声，显著降低模型的复杂度，提高模型的准确性鲁棒性。

Description

一种用于分析分子光谱的改进可变移动窗偏最小二乘法

技术领域

本发明涉及分子光谱分析技术，尤其涉及一种在分析分子光谱时同时优选波长变量和数据预处理算法的方法。

背景技术

分子光谱形成的本质是组成物质分子的原子受外部光子照射时发生了能级跃迁，它包括紫外光谱、近红外光谱、红外光谱和拉曼光谱等。虽然近代化学分析仪器的快速发展促使该技术在众多行业得以广泛应用，但是随之而来的问题是：由这些仪器采集而来的数据具有严重的多重相关性。主成分回归（PrincipleComponentRegression,PCR）和偏最小二乘回归（PartialLeastSquareRegression,PLSR）是解决该问题时应用最多的方法。这两种方法通过将有效信息映射到得分较高的载荷向量上，滤除在得分低的载荷向量的噪声，进而可以对全谱直接分析。然而由于光谱中有时存在大量无用信息，在使用PCR或者PLSR之前很有必要进行变量和光谱数据预处理算法的选择，这将有利于模型性能的提高。

迄今为止，光谱波长变量选择方法大概可以分为离散单波长和连续区间波长选择两种方法。前者主要包括先验知识选择法、相关系数选择法、连续投影法、无信息变量消除法、遗传算法（GeneticAlgorithm,GA）、模拟退火等；后者包括区间偏最小二乘法、反向区间偏最小二乘、组合区间偏最小二乘（synergyintervalPartialLeastSquare,siPLS）、移动窗偏最小二乘（MovingWindowPartialLeastSquare,MWPLS）、可变移动窗偏最小二乘（ChangeableSizeMovingWindowPartialLeastSquare,CSMWPLS）、搜索组合窗偏最小二乘和区间随机青蛙法等。大量试验数据已经证实，连续区间波长选择方法中的中移动窗偏最小二乘法以及其衍生方法在提高模型性能方面已经广泛得到认可。如在《应用光谱学（AppliedSpectroscopy）》（2000年第54卷，413-419页）上发表的名称为“间隔偏最小二乘回归：利用一个近红外光谱例子比较化学计量学的研究（IntervalPartialLeast-SquaresRegression(iPLS):AComparativeChemometricStudywithanExamplefromNear-InfraredSpectroscopy）”，所涉及的正是这样一种利用连续区间波长选择法和移动窗偏最小二乘法进行光谱分析方法。

在建立光谱数学模型时，合理地选择光谱数据预处理算法也是一项重要的工作。特别是对于一些复杂物质，或者原始谱图中信息含量较弱的物质，数据预处理算法合理地应用就显得更为重要。常见的数据预处理算法，大概可分为平滑（Savitzky-GolaySmoothing，SGS）、导数（Savitzky-GolayDerivatization，SGD）、信号校正和数据标准化等四类。其中SGS、SGD算法由于采用Savitzky-Golay方式，分别涉及到3个和2个可调参数；数据标准化算法包括均值中心化（MeanCenter,MC）和标准化两种方法；信号校正算法包括标准正态变换（SNV）、多元散射校正（MSC）等方法。事实上，光谱波长变量和数据预处理算法会在一定程度上相互影响的。如在《化学计量学和智能实验室系统（ChemometricsandIntelligentLaboratorySystems）》（2011年第107卷，50-58页）上发表的名称为“同时优化光谱预处理方法和波长变量的并行遗传算法在PLSR中的应用（Parallelgeneticalgorithmco-optimizationofspectralpre-processingandwavelengthselectionforPLSregression）”，所涉及的正是这样一种利用GA对玉米、猪肉和甜菜等近红外光谱进行建模的方法，文章明确指出在优选数据预处理算法的同时优化波长变量将会进一步提高模型的性能。

然而，在分子光谱分析时，以往的同时优选波长变量和数据预处理算法仍然具有以下不足：（1）算法生成的个体解码后，存在同一类型数据预处理算法多次被选择的情况，导致了该个体难以用合理的化学进行解释；（2）数据预处理算法参与计算的顺序不能得以优化；（3）由于采用了特定基因编码对应特定的数据预处理算法，造成数据预处理算法内部可调参数变化的范围有限，这在一定程度上限制了全局最优解的合理导出。

发明内容

针对上述技术的不足，本发明的目的是为分析分子光谱提供一种改进的可变移动窗偏最小二乘法：预处理方法分类参数可调的可变移动窗偏最小二乘法（pretreatmentmethodClassificationandAdjustableparameterChangeableSizeMovingWindowPartialLeastSquare,CA-CSMWPLS）。该方法通过其自身特有的编码机制、染色体结构和解码规则，不仅能够克服以往相关方法的不足，而且可以避免人工选择数据预处理算法和波长变量的主观性，从而进一步改善光谱模型的各项性能指标。

本发明所采用的技术方案是：利用所述CA-CSMWPLS进行光谱分析时包括下列步骤：

S1参数初始化：首先读入光谱数据和待测物性质数据，按照样本划分的方法以比例为4:1或者3:1或其它合理比值，将其划分为建模样本和测试样本；然后设置窗口的个数N、窗口宽度的变化范围、GA精英数量E、GA已完成独立运行的次数i=0、允许GA独立运行的最大次数L，GA的种群规模P、GA已完成的遗传操作次数g=0、允许遗传操作的最大次数G；最后选择一种回归算法M。

S2个体初始化：对于CA-CSMWPLS个体的染色体中的数据预处理算法优化区的基因按照CA-CSMWPLS编码规则进行随机初始化；对于CA-CSMWPLS染色体中的波长变量优化区的基因，使用MWPLS搜索有效信息含量较高的光谱区域后，将CA-CSMWPLS的全部个体中80%左右的个体的窗口位置按照CA-CSMWPLS编码规则初始化在该有效信息含量较高的光谱区域上，其余个体的窗口位置随机初始化在全光谱区域内。

S3模型评价：首先按照CA-CSMWPLS解码规则对每一个个体进行解码，并根据解码的结果，得到波长变量优化区基因和数据预处理算法优化区基因对应的波长变量信息和数据预处理算法信息；然后基于留一法交互验证和得到的上述信息，拟合最佳的回归模型M，同时根据CA-CSMWPLS适应度函数计算每个个体的适应度，选择适应度值最佳的个体对测试样本进行精度评价。

S4遗传操作：适应度最高的E个个体跳过该步骤直接进入下次循环，其它个体按照赌轮盘的方法对个体进行复制、交叉和变异等遗传操作，并且令g=g+1，即完成一次遗传操作，如果g≤G，则返回S3；否则执行S5。

S5输出结果：令i=i+1；如果GA独立运行的次数i≤L,则执行S2；否则统计L次独立运行的结果，并输出最优值（变量个数和主成分个数相对较少、同时RMSECV和RMSEP相对较低所对应的个体）。

优选地，所述样本划分的方法可以是SPXY（SamplesetPartitioningbasedonjointx–ydistances）算法，也可以根据需要选择其他样本划分方法。

优选地，所述窗口的个数N取值范围为4~12个，窗口宽度的变化范围为2~20个变量，允许GA独立运行的最大次数L为10次，GA的种群规模为50~100，允许遗传操作的最大次数G为100，回归算法M采用PLSR，上述参数也可以根据情况选用其他值。其中，RMSECV代表交互验证均方根误差（RootMeanSquareErrorCrossValidation）,Q为使用交互验证得到的RMSECV第一个极小值时主因子的个数。

优选地，所述GA精英数量N为2，也可以根据需要设置为其它值。

优选地，所述CA-CSMWPLS个体的染色体中的数据预处理算法优化区的基因和CA-CSMWPLS染色体中的波长变量优化区的基因均由十进制非负整数构成，这样可以降低对个体解码时的计算复杂度，同时便于扩展和删除相应的参数。

优选地，所述CA-CSMWPLS个体的染色体按照CA-CSMWPLS编码规进行编码，其规则如下：所述CA-CSMWPLS个体的染色体的前十一位基因构成所述数据预处理算法优化区，其中第一位、第四位、第八位和第十位基因，记为O_x（其中x∈[0~4]），取值范围为[1~4]，分别表示SGS、SGD、信号校正和数据标准化等四类数据预处理算法的优化次序；第二位、第五位基因，记为K_x（其中x∈[1~2]），取值范围为[2~5]，分别表示SGS和SGD的多项式次数；第三位、第七位基因，记为F_x（其中x∈[1~2]），取值范围为[3~15]，分别表示SGS和SGD的多项式窗口宽度；第六位基因，记为N，取值范围为[1~2]，表示SGD的微分的阶数；第九位和第十一位基因，记为P_x（其中x∈[1~2]），取值范围为[1~2]，分别表示信号校正和数据标准化的具体方式。也可以根据需要适当增加或删减数据预处理算法的类型，或者适当调整基因在染色体中的位置。

优选地，所述信号校正数据预处理算法包括SNV、MSC等方法，也可以增加或删减其它信号校正算法；所述数据标准化数据预处理算法包括MC和标准化，也可以增加或删减其它数据标准化算法。

优选地，所述CA-CSMWPLS个体的染色体的第十二位到末尾位的基因构成所述波长变量优化区，并且该区域中的基因成对出现，例如W_j和L_j分别表示第j个可变长度移动窗的起始位置和窗口长度。

所述CA-CSMWPLS解码规则是这样的：

所述数据预处理算法优化区中，数据预处理算法次序基因O_x值越大，则该数据预处理算法应用次序越靠前；如果O_x=0，则表示数据预处理算法X不参与计算；如果有二个或多个次序基因值相等，则以仅仅处于染色体最左边的一个数据预处理算法参与计算。F₁、F₂在解码以后分别转换为F₁ ^*=F₁×2+1，F₂ ^*=F₂×2+1。如果P₁=1,信号校正采用MSC，否则为SNV；如果P₂=1,标准化采用MC，否则为标准化。

所述波长变量优化区中，如果有多个窗口相互重叠时，则重叠部分的波长变量只参与建模一次；如果窗口超出原始光谱范围的波长变量不参与建模。

优选地，所述CA-CSMWPLS适应度函数可采用式（1），其中Q为RMSECV第一个极小值时主因子的个数；η为Q的比例因子，其作用是将Q缩放至与RMSECV同一个数量级，从而均衡RMSECV和Q在函数中的地位；为样本i的预测值，为样本i的实际测量值，n为样本个数，θ为一个很小的正实数。

（1）

本发明具有的优点及积极效果是：第一，CA-CSMWPLS将光谱分析时常见的数据数据预处理算法分为若干类型，结合CA-CSMWPLS特有的解码规则，避免了在传统遗传操作中出现同一类型数据预处理算法多次选择，进而导致难以用合理的化学进行解释的现象；第二，CA-CSMWPLS将光谱分析时常见的数据预处理算法参与计算的顺序和参数同时得以优化，该方法不仅增加最优解导出的可能，而且可以有效避免人工挑选波长变量和数据预处理算法参数时的主观性；第三，CA-CSMWPLS在适应度函数中引入比例因子η，显著降低模型的复杂度和提高模型的鲁棒性；第四，CA-CSMWPLS进行数据预处理算法选择地同时，其波长变量优化区中包括多个位置可移动、宽度可改变大小的窗口，可以充分利用现有光谱数据的特性，优选出连续的波长变量，避免单一变量引入的噪声，进一步提高所建模型性能。

附图说明

以下结合附图对本发明作进一步描述。

图1是CA-CSMWPLS的流程图。

图2是本发明中一种CA-CSMWPLS的染色体结构示意图。

图3是玉米数据的光谱图。

图4是利用MWPLS和PLS对玉米数据的分析结果。图中的实线为MWPLS分析结果，点划线为PLS分析的结果，长划线为玉米光谱数据的平均光谱。

图5是CA-CSMWPLS分析玉米数据时选择出的波长变量分布（A）和优选出的最优波长变量（B）。

图6为玉米数据建模结果。

图7为十次独立运行CA-CSMWPLS选择的预处理方法。

具体实施方式

具体实施方式结合以下一个实施实例进行详尽的说明。

实施实例：利用CA-CSMWPLS分析玉米近红外光谱。

该数据为80个玉米的近红外光谱，如图3所示，其待测成分为水分。该数据的光谱范围为1100~2498nm，分辨率2nm，波长数量为700个，，光谱的单位为吸光度。当使用全光谱PLSR分析玉米的近红外光谱时，所得到的RMSECV=0.0086，Q=15，所以当取θ为0.0005时，η的值大致分布在[0.0001~0.0009]区间内。利用CA-CSMWPLS分析该光谱时按照下列步骤进行：

S1：将玉米近红外光谱按照SPXY样本划分的方法，以比例为4:1将其划分为建模样本和测试样本。窗口的个数N取值为6个，GA已完成独立运行的次数i=0，窗口宽度的变化范围为2~20个变量，GA精英数量E为2，允许GA独立运行的最大次数L为10次，GA的种群规模P为50，GA已完成的遗传操作次数g=0，允许遗传操作的最大次数G为100，回归算法M采用PLSR。

S2：使用MWPLS搜索得到有效信息含量较高的区域为1940nm左右各50个变量的光谱范围（如图4所示），然后将其80%个体的窗口位置按照CA-CSMWPLS编码规则初始化在该区域上，其余个体的窗口位置随机初始化在全光谱区域内。

S3：按照CA-CSMWPLS解码规则对每一个个体进行解码，并根据解码的结果，得到波长变量优化区基因和数据预处理算法优化区基因对应的波长变量信息和数据预处理算法信息；然后基于留一法交互验证上述信息，拟合最佳的PLSR，同时根据CA-CSMWPLS适应度函数计算每个个体的适应度，选择适应度值最佳的个体对测试样本进行精度评价根据适应度函数表达式（1）计算每个个体的适应度，选择适应度值最佳的个体对测试样本进行精度评价。

S4：适应度最高的2个个体跳过该步骤直接进入下次循环，其它个体按照赌轮盘的方法对个体进行复制、交叉和变异等遗传操作进行遗传操作，并且令g=g+1，即完成一次遗传操作，如果g≤100，则返回S3；否则执行S5。

S5：令i=i+1；如果GA独立运行的次数i≤L,则执行S2；否则统计10次独立运行的结果，并输出最优值。

图6为玉米数据建模结果，为了说明CA-CSMWPLS在提高模型性能方面有着明显的优势，该表同时还列出了利用全光谱PLSR、siPLS和MWPLS建模的结果。图7为10次独立运行后最佳个体选择出的数据预处理算法，按照CA-CSMWPLS的解码规则，从该表中可以看出：十次独立运行均舍弃了微分和信号校正运算，而平滑和数据标准化处理是玉米数据的最佳预处理方法，其中以均值中心化为主（选中概率71.43%），标准化（选中概率28.57%）次之；当平滑运算和标准化运算同时选中时，平滑运算的顺序普遍先于标准化运算（概率66.67%）。优选出的波长变量分布及其最优波长变量如图5所示。

上述具体实施仅为本发明可行性实施方式的具体说明，并非用以限制本发明的保护范围，凡未脱离本发明技术思路所做的等效实施方式或变更均应包含在本发明的保护范围内。

Claims (4)

1.一种用于分析分子光谱的改进可变移动窗偏最小二乘法—预处理方法分类参数可调的可变移动窗偏最小二乘法（CA-CSMWPLS），其特征是：首先进行相关参数的初始化，其次对于CA-CSMWPLS的个体按照CA-CSMWPLS的编码规则进行初始化，接着根据CA-CSMWPLS的解码规则和CA-CSMWPLS适应度函数进行模型评价，然后执行遗传操作，最后完成既定次数的独立运行后进行输出并统计结果。

2.根据权利要求1所述的CA-CSMWPLS的编码规则，其特征是：所述CA-CSMWPLS个体的染色体的前十一位基因构成所述数据预处理算法优化区，其中第一位、第四位、第八位和第十位基因，记为O_x（其中x∈[0~4]），取值范围为[1~4]，分别表示SGS、SGD、信号校正和数据标准化等四类数据预处理算法的优化次序；第二位、第五位基因，记为K_x（其中x∈[1~2]），取值范围为[2~5]，分别表示SGS和SGD数据预处理算法的多项式次数；第三位、第七位基因，记为F_x（其中x∈[1~2]），取值范围为[3~15]，分别表示SGS和SGD数据预处理算法的多项式窗口宽度；第六位基因，记为N，取值范围为[1~2]，表示SGD数据预处理算法的微分的阶数；第九位和第十一位基因，记为P_x（其中x∈[1~2]），取值范围为[1~2]，分别表示信号校正和数据标准化数据预处理算法的具体方式；所述CA-CSMWPLS个体的染色体的第十二位到末尾位的基因构成所述波长变量优化区，并且该区域中的基因成对出现。

3.根据权利要求1所述的CA-CSMWPLS的解码规则，其特征是：所述数据预处理算法优化区中，数据预处理算法次序基因O_x值越大，则该数据预处理算法应用次序越靠前；如果O_x=0，则表示数据预处理算法x不参与计算；如果有二个或多个次序基因值相等，则以仅仅处于染色体最左边的数据预处理算法参与计算；F₁、F₂在解码以后分别转换为F₁ ^*=F₁×2+1，F₂ ^*=F₂×2+1；如果P₁=1,信号校正采用MSC，否则为SNV；如果P₂=1,标准化采用MC，否则为标准化；所述波长变量优化区中，如果有多个窗口相互重叠时，则重叠部分的波长变量只参与建模一次；如果窗口超出原始光谱范围的波长变量不参与建模。

4.根据权利要求1所述的CA-CSMWPLS适应度函数，其特征是：所述适应度函数采用第一个极小值时主因子的个数Q和参数η，η的其作用是将Q缩放至与RMSECV同一个数量级，从而均衡RMSECV和Q在函数中的地位。