CN110567937A - 一种用于绝缘油拉曼光谱分析的竞争性自适应重加权关键数据提取方法 - Google Patents

Abstract

一种用于绝缘油拉曼光谱分析的竞争性自适应重加权关键数据提取方法，其特征在于，包括如下步骤：步骤一，实测获得光谱数据；步骤二，对所有原始数据处理，对实测光谱数据通过偏最小二乘法提取PLS子集；步骤三，使用蒙特卡洛交互验证对奇异样本进行筛除；步骤四，采用CARS法对绝缘油拉曼光谱的变量进行多次筛选。本发明所述方法筛选出的拉曼光谱关键变量可以去除拉曼光谱中不必要的波长点，并去除拉曼光谱数据的共线性。由于受到对油中老化特征物拉曼信号检测极限的限制，直接检测绝缘油难以观测到各老化特征物的特征峰，利用变量筛选手段去除冗余信息、获取关键变量并分析其与特征峰之间的关系，能够为光谱老化特征量的提取及其判别能力提供有效支撑。

Description

一种用于绝缘油拉曼光谱分析的竞争性自适应重加权关键数 据提取方法

技术领域

本发明属于电气设备绝缘在线监测与故障诊断领域，尤其涉及绝缘油拉曼光谱的分析方法。

背景技术

经过多年来的研究与检测技术的发展，拉曼光谱技术已经被证明能够有效用于各个领域无损检测的定量和定性分析。但是，由于目前用以搭建光谱检测平台的光谱仪检测分辨率非常高，在原始油纸绝缘拉曼光谱中的波长点数非常多，往往远多于样本数。一方面，在分析油纸绝缘样本的时候并不是所有波长点都有用，甚至还会带来不必要的干扰；另一方面，光谱中大量波长数据点之间存在较为严重的共线性。由于受到对油中老化特征物拉曼信号检测极限的限制，直接检测绝缘油难以观测到各老化特征物的特征峰，利用变量筛选手段去除冗余信息、获取关键变量并分析其与特征峰之间的关系，能够为光谱老化特征量的提取及其判别能力提供有效支撑。

对绝缘油拉曼光谱进行关键变量选择的物理依据和意义如下：

①油纸绝缘样本集的绝缘油拉曼光谱在有些波段的有效差异非常小，这表示这些波段的光谱信息微弱，蕴含的样本老化信息很少；

②在光谱中的某些波段，绝缘油光谱与油中老化特征物的组成或老化程度之间缺乏线性相关关系；

③由于绝缘油成分复杂，在老化过程中还会产生各种老化特征物，其拉曼光谱数据通常存在严重的波峰重叠现象，光谱中有些波长处所含老化信息灵敏度比较差；

④通常在拉曼光谱信息中往往存在多重相关性(即多重共线性)，且光谱仪检测的波长范围较广，导致光谱中存在大量的冗余信息；

⑤在光谱检测过程中，由于油中荧光物质、荧光效应的存在，以及光谱仪器噪声和宇宙射线等方面的影响，光谱在某些波段的信噪比(SNR)较低，导致该光谱数据的整体质量较差；

⑥外界的诸多干扰因素(如温度、湿度、入射角度等)对油中老化特征物在某些波长处的拉曼特性影响较大，加之油中溶解老化特征物浓度很低，外界影响对于微弱信息检测的情况十分不利，因此会降低模型的稳健性；由于波长点数的增加，模型的估计方差随着复杂程度的上升而扩大，因此不但会浪费系统资源，还会降低模型的预测精度；

⑦最重要的，如果在无任何关于油中特征物的拉曼先验知识的前提下，提取出的与油纸绝缘老化程度最密切相关的光谱变量，能够与老化特征物的拉曼特征峰有良好的对应关系，就能为拉曼光谱技术对油纸绝缘老化的诊断能力提供有力的依据。

竞争性自适应重加权算法(competitive adaptive reweighted sampling，CARS)是一种模仿达尔文进化理论中的“适者生存”原则而新提出的变量选择理论，该方法既可以对无信息变量进行有效去除，也可以对光谱数据中的共线性变量进行有效压缩，最终优选出对与绝缘油老化程度关系最密切的光谱变量(波数)。CARS每次通过自适应重加权采样(adaptive reweighted sampling，ARS)技术筛选出多变量回归模型(如PLS，是一种比较典型的多变量回归模型，中文名为偏最小二乘法)中回归系数绝对值大的波长点并去掉权重小的波长点。

发明内容

本发明的目的是筛选出的拉曼光谱关键变量可以去除拉曼光谱中不必要的波长点，并去除拉曼光谱数据的共线性。由于受到对油中老化特征物拉曼信号检测极限的限制，直接检测绝缘油难以观测到各老化特征物的特征峰，利用变量筛选手段去除冗余信息、获取关键变量并分析其与特征峰之间的关系，能够为光谱老化特征量的提取及其判别能力提供有效支撑。

本发明采用的技术方案为：

一种用于绝缘油拉曼光谱分析的竞争性自适应重加权关键数据提取方法，其特征在于，包括如下步骤：

步骤一，实测获得光谱数据；

步骤二，对所有原始数据处理，对实测光谱数据通过偏最小二乘法提取PLS子集；

步骤三，使用蒙特卡洛交互验证对奇异样本进行筛除；以一定比例随机选取样本，用来建立PLS校正模型，记为Vsel_old；

步骤四，采用CARS法对绝缘油拉曼光谱的变量进行多次筛选；设置采样次数为N，在N次采样后，选择RMSECV值最小的变量子集为最终结果。

所述步骤二中，所述对实测光谱数据通过偏最小二乘法提取PLS子集包括：

记每个原始光谱的数据点数量为p，变压器油纸绝缘老化特征量的数量记为q，以p个光谱数据点的值作为原始自变量数据，以q个绝缘老化特征量的值作为原始因变量数据，n个原始光谱的数据可组成原自变量数据矩阵X₀＝【x₁,…,x_p】_n*p，n个变压器油纸绝缘老化特征量的数据可组成原因变量数据矩阵Y₀＝【y₁,…,y_q】_n*q；

将数据做标准化处理，矩阵X₀经标准化后的数据矩阵记为E₀，矩阵Y₀经标准化后的数据矩阵记为F；

利用偏最小二乘法分别在X₀和Y₀中求自变量与因变量的第一对主成分t1和u1，t1是x₁,…,x_p的线性组合，u1是y₁,…,y_q的线性组合，根据主成分原理，要求t1与u1的方差达到最大；建立t1和u1分别与原自变量、原因变量之间的回归；如果回归达到了满意的精度，则停止求取主成分，否则继续求取主成分直到达到满意精度为止；

假设共提取了m个主成分t₁,…,t_m，则将t₁,…,t_m作为PLS子集，将新的自变量数据记为矩阵X；将新的因变量数据记为矩阵Y。

所述步骤三中，所述比例设置为80％，其余的20％的样本用以预测。

所述采用CARS法对绝缘油拉曼光谱的变量进行多次筛选包括如下步骤：

①以一定比例随机抽取样本作为校正集建立PLS模型；

②设置T为X的得分矩阵，其是X与W的线性组合，W为组合系数；c表示Y和T建立的PLS校正模型的回归系数向量，e为预测残差；

则有如下关系式：

T＝XW

Y＝Tc+e＝XWc+e＝Xb+e；

③计算PLS子集模型中回归系数b＝Wc＝[b₁,b₂,…b_p]^T的绝对值|b_i|(1≤i≤p)(p是光谱数据点的数量)，b_i代表第i个波长对老化状态诊断的贡献，为评价波长的权重，对权重w做如下定义：

④计算变量保持率r_i＝ae^ki；

其中，a和k为常数，分别为在第一次和第N次取样时，样本集中全部p个变量和仅仅两个变量参与建模，即r₁＝1且r_N＝2/p，i为采样次数，第1次采样和第N次采样样本保持率均为参与建模的变量和样本集中全部变量数量的比值，也就是r₁＝p/p＝1，r_N＝2/p，因此a和k的计算公式为：

⑤根据回归系数，进行基于指数衰减函数EDF的强制性波长筛选和基于自适应重加权采样的竞争性波长筛选两个过程，利用指数衰减函数EDP筛除b_i较小的变量；

⑥基于交互验证以最小交互验证均方差为准则选择变量集；采用ARS采样技术从p×r_i个变量中提取变量子集，并将变量子集Vsel_new作为新的样本替换Vsel_old返回输入；在N次重复采样后输出，选择RMSECV值最小的变量子集为最终结果。

本发明相对于现有技术具有以下有益的技术效果：本发明去除了拉曼光谱中不必要的波长点，并去除了拉曼光谱数据的共线性，利用变量筛选手段去除冗余信息、获取关键变量并分析其与特征峰之间的关系，为光谱老化特征量的提取及其判别能力提供了有效支撑。

附图说明

下面结合附图对本技术方案作进一步说明。

图1是本发明方法进行关键变量选择的流程图；

图2(a)是在一次CARS算法运行中随着MC采样次数的增加变量的变化趋势；

图2(b)是十折交叉验证RMSECV值的变化趋势；

图2(c)是每个变量回归系数的路径变化；

图3是本发明采用CARS方法提取的关键变量点。

具体实施方式

下面结合说明书附图以及具体实施例对本发明的技术方案做进一步详细介绍。

本实施例搜集了重庆大学输配电装备及系统安全与新技术国家重点实验室配置的老化状态油纸绝缘标准油样数据。

步骤一，实测光谱数据。

步骤二，对所有原始数据处理，对实测光谱数据通过偏最小二乘法提取PLS(partial least-square method，偏最小二乘法)子集。

记每个原始光谱的数据点数量为p，变压器油纸绝缘老化特征量的数量记为q，以p个光谱数据点的值作为原始自变量数据，以q个绝缘老化特征量的值作为原始因变量数据，n个原始光谱的数据可组成原自变量数据矩阵X₀＝【x₁,…,x_p】_n*p和n个变压器油纸绝缘老化特征量的数据可组成原因变量数据矩阵Y₀＝【y₁,…,y_q】_n*q。

首先将数据做标准化处理。矩阵X₀经标准化后的数据矩阵记为E₀，矩阵Y₀经标准化后的数据矩阵记为F。利用偏最小二乘法分别在X₀和Y₀中求自变量与因变量的第一对主成分t1和u1，t1是x₁,…,x_p的线性组合，u1是y₁,…,y_q的线性组合，根据主成分原理，要求t1与u1的方差达到最大。建立t1和u1分别与原自变量、原因变量之间的回归。如果回归达到了满意的精度，则停止求取主成分，否则继续求取主成分直到达到满意精度为止。假设共提取了m个主成分t₁,…,t_m，则将t₁,…,t_m作为PLS子集模型，将新的自变量数据记为矩阵X。同理，将新的因变量数据记为矩阵Y。

步骤三，筛除步骤二处理后的数据中的奇异样本，使用蒙特卡洛交互验证对奇异样本进行筛除。基于蒙特卡洛采样的方法处理步骤二中得到的矩阵X，将采集到的拉曼光谱数据进行奇异点筛出；采用蒙特卡洛采样对油纸绝缘老化样本的绝缘油拉曼光谱数据进行奇异样本筛除时，每次采样都随机选取样本，集中80％的样本光谱数据用来建立PLS校正模型，记为Vsel_old，其余的20％的样本用以预测。

步骤四，采用CARS法对绝缘油拉曼光谱的变量进行多次筛选。

①计算方法如下：以一定比例随机抽取样本作为校正集建立PLS校正模型。

②T为X的得分矩阵，它是X与W的线性组合，W为组合系数。c表示Y和T建立的PLS校正模型的回归系数向量，e为预测残差。则有如下关系式：

T＝XW

Y＝Tc+e＝XWc+e＝Xb+e

③计算PLS子集模型中回归系数b＝Wc＝[b₁,b₂,…b_p]^T的绝对值|b_i|(1≤i≤p)(p是光谱数据点的数量)，b_i代表第i个波长对老化状态诊断的贡献，b_i能够反映该波长点的重要性。为直观地体现每个波长的重要程度，评价波长的权重，对权重w做如下定义：

④计算变量保持率r_i＝ae^ki。其中，a和k为常数，分别为在第一次和第N次取样时，样本集中全部p个变量和仅仅两个变量参与建模，即r₁＝1且r_N＝2/p(i为采样次数，第一次采样和第N次采样样本保持率均为参与建模的变量和样本集中全部变量数量的比值，也就是r₁＝p/p＝1，r_N＝2/p，因此a和k的计算公式为：

分别把i＝1,r_i＝1；i＝N,r_i＝2/p带入前面的方程，求解即可得到a和k的值。

⑤根据回归系数，进行基于指数衰减函数(EDF)的强制性波长筛选和基于自适应重加权采样的竞争性波长筛选两个过程，利用指数衰减函数(EDP)筛除b_i较小的变量。

⑥最后，基于交互验证以最小交互验证均方差为准则选择变量集。采用ARS采样技术从p×r_i个变量中提取变量子集，并将变量子集Vsel_new作为新的样本返回输入。在50次重复采样后输出，选择RMSECV值最小的变量子集为最终结果。

将样本集中的奇异点剔除、以及一系列数据预处理后，采用CARS法对绝缘油拉曼光谱的变量进行多次筛选，将MC采样次数(MC采样即为蒙特卡洛采样，即为随机采样)为设置为50次，图2(a)表示在一次CARS算法运行中随着MC采样次数的增加变量的变化趋势，图2(b)表示十折交叉验证RMSECV值的变化趋势，图2(c)表示每个变量回归系数的路径变化。

从图2(a)中可以看出，随着指数衰减函数(EDP)的作用，在前几次采样时变量减少的速度非常快，之后变量随着采样次数的增加减少的速度越来越慢，表明CARS算法在筛选关键变量的过程中有粗选与精选两个过程；

从图2(b)前半部分中可以看出，随着蒙特卡洛采样次数的增加，每个PLS模型的十折交叉验证残差越来越小，表明光谱数据点中大量与观测性质预测无关的或者部分共线的信息被剔除；

结合图2(c)与图2(b)的后半部分可以看出，当RMSECV值达到最小值时(图(c)中的星号垂线所对应的点即15次采样)，RMSECV值随着采样的继续进行又开始逐渐增大，这是因为在此后的采样中，绝缘油拉曼光谱数据一些与观测性质相关的重要信息被剔除掉了，从而导致PLS模型性能的劣化。前文共采样50次，其中第15次RMSECV最小，因此此处选了15次MC采样。

因此，通过15次MC采样后，最终在整个光谱范围内筛选出90个关键变量,如图(3)。将提取的关键变量在绝缘油拉曼光谱上以“☆”标出，可以看出，在几种油纸绝缘老化特征物的主要拉曼特征峰的分布范围内，拉曼光谱经CARS提取的关键变量与老化物特征峰之间有较好的应对关系，其中糠醛位于1371、1399、1471、1677和1699cm^-1的主要特征峰；丙酮位于789、931、1711cm^-1的主要特征峰；甲醇位于1084、1453cm^-1的主要特征峰以及CO₂位于1285和1388cm^-1的主要特征峰均与CARS关键变量的筛选结果有较好的吻合。

值得注意的是，通过本节筛选出的拉曼光谱关键变量并没有基于任何相关老化特征物拉曼特征峰的先验知识，而是通过分析光谱性质直接从整个光谱中提取,能够有效地佐证激光拉曼光谱对油纸绝缘老化状态的诊断能力。

申请人结合说明书附图对本发明的实施例做了详细的说明与描述，但是本领域技术人员应该理解，以上实施例仅为本发明的优选实施方案，详尽的说明只是为了帮助读者更好地理解本发明精神，而并非对本发明保护范围的限制，相反，任何基于本发明的发明精神所作的任何改进或修饰都应当落在本发明的保护范围之内。

Claims (4)

1.一种用于绝缘油拉曼光谱分析的竞争性自适应重加权关键数据提取方法，其特征在于，包括如下步骤：

步骤一，实测获得光谱数据；

步骤二，对所有原始数据处理，对实测光谱数据通过偏最小二乘法提取PLS子集；

步骤三，使用蒙特卡洛交互验证对奇异样本进行筛除；以一定比例随机选取样本，用来建立PLS校正模型，记为Vsel_old；

步骤四，采用CARS法对绝缘油拉曼光谱的变量进行多次筛选；设置采样次数为N，在N次采样后，选择RMSECV值最小的变量子集为最终结果。

2.根据权利要求1所述的方法，其特征在于，所述步骤二中，所述对实测光谱数据通过偏最小二乘法提取PLS子集包括：

记每个原始光谱的数据点数量为p，变压器油纸绝缘老化特征量的数量记为q，以p个光谱数据点的值作为原始自变量数据，以q个绝缘老化特征量的值作为原始因变量数据，n个原始光谱的数据可组成原自变量数据矩阵X₀＝【x₁,…,x_p】_n*p，n个变压器油纸绝缘老化特征量的数据可组成原因变量数据矩阵Y₀＝【y₁,…,y_q】_n*q；

将数据做标准化处理，矩阵X₀经标准化后的数据矩阵记为E₀，矩阵Y₀经标准化后的数据矩阵记为F；

利用偏最小二乘法分别在X₀和Y₀中求自变量与因变量的第一对主成分t1和u1，t1是x₁,…,x_p的线性组合，u1是y₁,…,y_q的线性组合，根据主成分原理，要求t1与u1的方差达到最大；建立t1和u1分别与原自变量、原因变量之间的回归；如果回归达到了满意的精度，则停止求取主成分，否则继续求取主成分直到达到满意精度为止；

假设共提取了m个主成分t₁,…,t_m，则将t₁,…,t_m作为PLS子集，将新的自变量数据记为矩阵X；将新的因变量数据记为矩阵Y。

3.根据权利要求1所述的方法，其特征在于，所述步骤三中，所述比例设置为80％，其余的20％的样本用以预测。

4.根据权利要求2所述的方法，其特征在于，所述采用CARS法对绝缘油拉曼光谱的变量进行多次筛选包括如下步骤：

①以一定比例随机抽取样本作为校正集建立PLS校正模型；

②设置T为X的得分矩阵，其是X与W的线性组合，W为组合系数；c表示Y和T建立的PLS校正模型的回归系数向量，e为预测残差；

则有如下关系式：

T＝XW

Y＝Tc+e＝XWc+e＝Xb+e；

③计算PLS子集模型中回归系数b＝Wc＝[b₁,b₂,…b_p]^T的绝对值|b_i|(1≤i≤p)(p是光谱数据点的数量)，b_i代表第i个波长对老化状态诊断的贡献，为评价波长的权重，对权重w做如下定义：

④计算变量保持率r_i＝ae^ki；

其中，a和k为常数，分别为在第一次和第N次取样时，样本集中全部p个变量和仅仅两个变量参与建模，即r₁＝1且r_N＝2/p，i为采样次数，第1次采样和第N次采样样本保持率均为参与建模的变量和样本集中全部变量数量的比值，也就是r₁＝p/p＝1，r_N＝2/p，因此a和k的计算公式为：

⑤根据回归系数，进行基于指数衰减函数EDF的强制性波长筛选和基于自适应重加权采样的竞争性波长筛选两个过程，利用指数衰减函数EDP筛除b_i较小的变量；

⑥基于交互验证以最小交互验证均方差为准则选择变量集；采用ARS采样技术从p×r_i个变量中提取变量子集，并将变量子集Vsel_new作为新的样本替换Vsel_old返回输入；在N次重复采样后输出，选择RMSECV值最小的变量子集为最终结果。