CN103810392A - 基于支持向量机和rbf神经网络的退化数据缺失插补方法 - Google Patents

Abstract

本发明公开了一种基于支持向量机和RBF神经网络的退化数据缺失插补方法，包括以下几个步骤：步骤一、利用支持向量机建立退化数据趋势模型；步骤二、计算已观测退化数据的残差序列；步骤三、建立RBF神经网络，并利用已观测数据的残差序列训练网络；步骤四、通过训练好的RBF神经网络估计缺失数据的残差序列；步骤五、合并缺失数据的趋势项与残差序列的估计结果为退化数据插补结果。本发明将支持向量机方法和RBF神经网络方法结合，提出了一种退化数据缺失插补方法，解决了加速退化试验中缺失性能退化数据的插补问题。

Description

基于支持向量机和RBF神经网络的退化数据缺失插补方法

技术领域

本发明涉及一种基于支持向量机和RBF神经网络的退化数据缺失插补方法，属于加速退化试验技术领域。

背景技术

在加速退化试验的数据采集中，由于监测设备发生故障或人工记录人员过失等原因，采集到的性能退化数据经常发生有缺失的情况。数据的缺失造成了后续的性能退化数据处理的困难，在加速退化试验的数据处理与评估、故障预测或寿命预测中，都需要完整的数据作为输入，另外很多传统的性能退化数据处理方法无法对有缺失的数据进行统计分析，比如一些关于时间序列的算法就要求输入的数据为完整的等间距数据集。在寿命预测或故障预测中，性能退化数据的缺失会对预测结果造成影响，致使得到的结果不能满足工程要求。

针对数据发生缺失的情况，最常用的处理方法有三种：（1）个案剔除法：将含有缺失的数据个案剔除，这种方法会造成数据资源的大量浪费，尤其在样本量较小的情况下，删除少量数据就足以严重影响到数据的客观性。（2）数据挖掘法：直接在包含缺失数据的数据上进行数据挖掘，不对缺失数据进行处理，具体主要有贝叶斯网络和人工神经网络等方法，但这方面的方法还有待进一步展开。（3）缺失插补法：缺失插补法采用某种缺失值插补技术，把缺失值用最接近它的值来替代的方法，这种方法不必删除不完整数据，保留了潜在的有用信息，使分析结果不易产生偏差。

缺失插补法是当前最常用的缺失数据处理方法，也是当前的研究热点。采用有效的插补方法处理缺失数据可以提高对数据资源的有效利用，减少数据资源的浪费，并且有助于加速退化试验的数据处理与评估等工作，甚至可能影响研究结果，减少如寿命预测结果不准确等情况所带来的隐患。因此，对有缺失的性能退化数据采用正确和有效的处理方法是能否得出正确结论的关键之一。

常用的缺失数据插补法有均值插补法、热卡插补法、冷卡插补法、最邻近插补法、回归插补法、EM（Expectation Maximization）算法等。但这些方法都有一些缺点，它们经常忽略缺失数据插补的不确定性，比如均值插补法只用样本均值作为插补数据，传统回归插补法的插补数据也不考虑原始数据的离散性，这会导致插补数据的方差被低估，而不能真实地反映出原始数据。尽管后来由于回归插补引入了随机误差项，能够缓解这一问题，但是随机误差项的确定是比较困难的。另外，在某些复杂的情况下，对数据趋势进行回归建模的方法会难以应用，有时为了方便使用而采用了一些简单的回归方程还会导致部分趋势信息的丢失。

支持向量机（Support Vector Machines,SVM）是由Vapnik等人提出的一种机器学习算法（参见参考文献[1]：Vapnik V.The Nature of Statistical Learning Theory.New York:Springer-Verlag,1999），其重要理论基础是统计学习理论，它从观测数据出发寻找规律，利用这些规律对未来数据或无法观测的数据进行预测。支持向量机基于结构风险最小化原理，结构风险最小化原理不仅使经验风险最小，还要使VC维（Vapnik-Chervonnkis Dimension）尽量小以缩小置信范围，这就取得了较小的实际风险，即对未知样本有较好的泛化性能。相比于回归分析的方法，支持向量机凭借较强的泛化能力同样可以很好的拟合非线性函数。而且对于复杂的情况，支持向量机相比于回归分析的方法使用起来更加方便。

支持向量机的基本思想是通过用内积函数定义的非线性变换将输入空间变换到一个高维空间，在这个高维空间中寻找输入变量和输出变量之间的一种非线性关系。其算法是一个凸二次优化问题，保证找到的解是全局最优解。

随着对支持向量机研究的深入，许多支持向量机的变形算法被提了出来，如C-SVM系列、v-SVM系列、RSVM、WSVM和LS-SVM等算法。其中由Suykens等人提出的最小二乘支持向量机（Least Squares Support Vector Machine,LS-SVM）就是一种简洁有效的算法（参见参考文献[2]：Suykens J.A.K.,Vandewalle J.Least squares support vector machine classifiers.Neural Processing Letter,1999,9:293-300），其核心思想是用等式约束替换标准支持向量机中的不等式约束。由于采用等式约束，原来需要求解一个凸二次优化的问题就转换成了求解一个线性方程组，这样，求解的难度大大降低，提高了算法的收敛速度。如今LS-SVM被广泛运用于许多领域中，本发明将采用LS-SVM对退化数据的缺失进行处理。

径向基函数（Radial Basis Function,RBF）神经网络是目前应用最广泛的神经网络模型之一，它是以函数逼近理论为基础而构造的一类前向网络，这类网络的学习等价于在多维空间中寻找训练数据的最佳拟合平面。RBF神经网络的每个隐层神经元的函数都构成了拟合平面的一个基函数。RBF神经网络是一种局部逼近网络，即对于输入空间的某一个局部区域只存在少数的神经元用于决定网络的输出。相比于另一种应用广泛的BP（Back Propagation）神经网络或以BP神经网络拓扑结构为基础的小波神经网络，RBF神经网络在函数逼近能力和学习速度等方面均有优势。

发明内容

本发明的目的是为了解决性能退化数据的缺失插补问题，提出了一种通用性较强的基于支持向量机和RBF神经网络的退化数据缺失插补方法。本发明综合采用支持向量机方法与RBF神经网络方法，利用已观测退化数据的信息来实现缺失退化数据的插补。

本发明是一种基于支持向量机和RBF神经网络的退化数据缺失插补方法，包括以下几个步骤：

步骤一、利用支持向量机建立退化数据趋势模型；

步骤二、计算已观测退化数据的残差序列；

步骤三、建立RBF神经网络，并利用已观测退化数据的残差序列训练网络；

步骤四、通过训练好的RBF神经网络估计缺失数据的残差序列；

步骤五、合并缺失数据的趋势项与残差序列的估计结果为退化数据插补结果。

本发明的优点在于：

（1）利用支持向量机对退化数据的趋势进行建模可以使插补数据的趋势与原始数据保持一致，且支持向量机使用起来十分方便。

（2）使用RBF神经网络估计缺失数据的残差序列可以使插补数据保持原始数据的离散性，使插补数据更加接近真实。

附图说明

图1是本发明所述基于支持向量机和RBF神经网络的退化数据缺失插补方法的流程图；

图2是本发明实施例有缺失的退化数据曲线；

图3是本发明实施例缺失数据的退化趋势估计结果；

图4是本发明实施例缺失数据的残差序列估计结果；

图5是本发明实施例缺失数据的最终插补结果。

具体实施方式

下面将结合附图和实施例对本发明作进一步的详细说明。

本发明提供一种基于支持向量机和RBF神经网络的退化数据缺失插补方法，针对有缺失的性能退化数据进行插补处理，假设完整的退化数据为Y，其对应的时间为T，记Y=(Y_obs,Y_mis)，T=(T_obs,T_mis)，其中已观测退化数据Y_obs、已观测退化数据对应的时间T_obs和缺失数据对应的时间T_mis为已知数据，具体为：

$\left\{\begin{array}{c}{Y}_{\mathrm{obs}}=(y_{\mathrm{obs}\_1},y_{\mathrm{obs}\_2},\·\·\·,y_{\mathrm{obs}\_n})\\ T_{\mathrm{obs}}=(t_{\mathrm{obs}\_1},t_{\mathrm{obs}\_2},\·\·\·,t_{\mathrm{obs}\_n})\\ T_{\mathrm{mis}}=(t_{\mathrm{mis}\_1},t_{\mathrm{mis}\_2},\·\·\·,t_{\mathrm{mis}\_m})\end{array}\right.$

式中，n为已观测退化数据的数据量，m为缺失数据的数据量。

通过已知数据，综合利用支持向量机方法与RBF神经网络方法来估计缺失的退化数据Y_mis：

Y_mis＝(y_{mis_1},y_{mis_2},…,y_{mis_m})     (2)并最后得到插补完整的退化数据Y=(Y_obs,Y_mis)。

本发明是一种基于支持向量机和RBF神经网络的退化数据缺失插补方法，方法流程图如图1所示，包括以下几个步骤：

步骤一、利用支持向量机建立退化数据趋势模型；

首先利用支持向量机建立退化数据的趋势模型，以已观测退化数据对应的时间T_obs=(t_{obs_1}，t_{obs_2}，…，t_{obs_n})为输入向量，已观测退化数据Y_obs=(y_{obs_1}，y_{obs_2}，…，y_{obs_n})为输出向量，利用最小二乘支持向量机算法得出已观测退化数据的退化趋势模型：

$f\left(t_{\mathrm{obs}\_i}\right)=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\α}}_i\mathrm{\ψ}(t_{\mathrm{obs}\_i},t_{\mathrm{obs}\_j})+b---\left(3\right)$

式中，α与b支持向量机模型参数，t_{obs_i}，t_{obs_j}为已观测退化数据对应的时间，为式中Ψ(*)为核函数，常用的核函数有如下几种：

1）多项式核函数：

Ψ(x,y)＝(x·y+1)^d     (4)

2）径向基（RBF）核函数：

$\mathrm{\ψ}=(x,y)=\exp (-\frac{{\left|\right|x-y\left|\right|}^2}{{2\mathrm{\σ}}^2})---\left(5\right)$

3）sigmoid核函数：

Ψ(x,y)＝tanh[b·(x·y)+θ]     (6)

本发明通过MATLAB软件中内嵌的LS-SVM工具箱完成上述趋势模型的建立，核函数选用RBF核函数，通过调节正则参数gam，内核参数sig2，得到适合的退化数据趋势模型f(t)。

通过支持向量机建模得到的退化趋势模型f(t)，将缺失数据对应的时间T_mis=(t_{mis_1}，t_{mis_2}，…，t_{mis_m})作为输入，计算缺失数据的趋势序列Q_mis=(q_{mis_1},q_{mis_2},…,q_{mis_m})：

$q_{\mathrm{mis}\_i}=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\α}}_i\mathrm{\ψ}(t_{\mathrm{mis}\_i},t_{\mathrm{obs}\_j})+b,i=\mathrm{1,2},\·\·\·,m---\left(7\right)$

步骤二、计算已观测退化数据的残差序列；

将已观测退化数据对应的时间T_obs作为输入，通过退化趋势模型f(t)计算已观测退化数据的趋势序列Q_obs=(q_{obs_1},q_{obs_2},…,q_{obs_n})，并用已观测退化数据的真实值Y_obs减去已观测退化数据的趋势序列Q_obs，得到已观测退化数据的残差序列E_obs=(e_{obs_1},e_{obs_2},…,e_{obs_n})：

e_{obs_i}＝y_{obs_i}-q_{obs_i},i＝1,2,…,n     (8)

步骤三、建立RBF神经网络，并利用已观测退化数据的残差序列训练网络；

建立单输入单输出的RBF神经网络：

$y=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{w}_i{R}_i\left(x\right)---\left(9\right)$

式中，y表示一维输出向量，x表示一维输入向量，w_i是隐层与输出层间权值，k是感知单元的个数，R_i(x)表示基函数，最常用的基函数是高斯函数：

$R_i\left(x\right)=\exp [-\frac{\left|\right|x-c_i\left|\right|}{{2\mathrm{\σ}}_i^2}],i=\mathrm{1,2},\·\·\·,k---\left(10\right)$

式中，c_i是第i个基函数的中心，与x具有相同维数的向量；σ_i是第i个基函数的方差，它决定了该基函数中心点的宽度；||x-c_i||表示x和c_i之间的距离。

将已观测退化数据的残差序列E_obs作为输出向量，相应的时间T_obs作为输入向量，采用RBF神经网络的学习算法对网络进行训练，得到基函数的中心c_i和方差σ_i，以及权值w_i。

本发明通过MATLAB软件中内嵌的RBF神经网络工具箱完成上述RBF神经网络的训练，通过调节扩展速度参数SPREAD，得到适合的RBF神经网络模型。

步骤四、通过训练好的RBF神经网络估计缺失数据的残差序列；

将缺失数据对应的时间T_mis作为输入，通过训练好的RBF神经网络估计缺失数据的残差序列E_mis=(e_{mis_1},e_{mis_2},…,e_{mis_m})：

$e_{\mathrm{mis}\_i}=\underset{j=1}{\overset{k}{\mathrm{\Σ}}}{w}_i{R}_j\left(t_{\mathrm{mis}\_i}\right)=\underset{j=1}{\overset{k}{\mathrm{\Σ}}}{w}_j\exp [-\frac{\left|\right|t_{\mathrm{mis}\_i}-c_j\left|\right|}{{2\mathrm{\σ}}_j^2}],i=\mathrm{1,2},\·\·\·,m---\left(11\right)$

在估计缺失数据残差序列的过程中，不断更新RBF神经网络的训练数据，将已经估计得到的残差序列值e_{mis_i}与对应的时间t_{mis_i}补充到训练数据{E_obs,T_obs}中，通过新训练数据训练得到的RBF神经网络去估计下一个缺失数据的残差值e_{mis_i+1}。这样不断更新训练数据再估计，直到估计完所有缺失数据的残差序列值。

步骤五、合并缺失数据的趋势项与残差序列，得到的估计结果为退化数据插补结果；

将由步骤一中得到的缺失数据的趋势序列Q_mis与由步骤四中得到的缺失数据残差序列E_mis合并，得到最终的缺失数据插补结果Y_mis=(y_{mis_1}，y_{mis_2}，…，y_{mis_m})：

y_{mis_i}＝q_{mis_i}+e_{mis_i},i＝1,2,…,m     (12)

这样最后得到插补完整的性能退化数据Y=(Y_obs,Y_mis)，完成了退化数据的缺失插补工作。

实施例1：

以一组仿真的有缺失性能退化数据为例，完整数据共有300个，数据中间有120个数据出现缺失，单位已略去，如图2所示。采用本发明提出的基于支持向量机和RBF神经网络的退化数据缺失插补方法对其缺失数据进行插补，应用步骤和方法如下：

步骤一、利用支持向量机建立退化数据趋势模型；

利用MATLAB软件中内嵌的LS-SVM工具箱建立退化趋势模型，核函数选用RBF核函数，取正则参数gam=2.1090×10⁶，内核参数sig2=30.9913，以Y_obs与T_obs为训练数据，得到退化趋势模型f(t)。再通过得到的退化趋势模型f(t)，将T_mis作为输入，计算缺失数据的趋势序列Q_mis，结果如图3所示。

步骤二、计算已观测退化数据的残差序列；

将T_obs作为输入，通过退化趋势模型f(t)计算观测数据的趋势序列Q_obs，并用已观测退化数据的真实值Y_obs减去已观测退化数据的趋势序列Q_obs，得到已观测退化数据的残差序列E_obs。

步骤三、建立RBF神经网络，并利用已观测数据的残差序列训练网络；

通过MATLAB软件中内嵌的RBF神经网络工具箱建立RBF神经网络，并用已观测退化数据的残差序列E_obs与对应的时间T_obs作为训练数据，取扩展速度参数SPREAD=0.005，得到适合的RBF神经网络模型。

步骤四、通过训练好的RBF神经网络估计缺失数据的残差序列；

将缺失数据对应的时间T_mis作为输入，通过训练好的RBF神经网络估计缺失数据的残差序列E_mis，结果如图4所示。

步骤五、合并缺失数据的趋势项与残差序列的估计结果为退化数据插补结果；

将由步骤一中得到的缺失数据的趋势序列Q_mis与由步骤四中得到的缺失数据残差序列E_mis合并，得到最终的缺失数据插补结果Y_mis，并最后得到插补完整的性能退化数据Y=(Y_obs,Y_mis)，最终插补结果如图5所示。从图中可以看出，插补结果不仅保持了原始数据的退化趋势，也保持了原始数据的离散性，插补结果很好的还原了真实数据，因此，本发明提出的方法是准确可行的。

Claims (3)

1.一种基于支持向量机和RBF神经网络的退化数据缺失插补方法，其特征在于，包括以下几个步骤：

步骤一、利用支持向量机建立退化数据趋势模型；

首先利用支持向量机建立退化数据的趋势模型，以已观测退化数据对应的时间T_obs=(t_{obs_1}，to_{bs_2}，…，t_{obs_n})为输入向量，已观测的退化数据Y_obs=(y_{obs_1}，y_{obs_2}，…，y_{obs_n})为输出向量，利用最小二乘支持向量机算法得出退化数据趋势模型：

$f\left(t_{\mathrm{obs}\_i}\right)=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\α}}_i\mathrm{\ψ}(t_{\mathrm{obs}\_i},t_{\mathrm{obs}\_j})+b$

式中，α与b支持向量机模型参数，t_{obs_i}，t_{obs_j}为退化数据对应的时间，为式中ψ(*)为核函数；

通过支持向量机建模得到的退化趋势模型f(t)，将缺失数据数据对应的时间T_mis=(t_{mis_1}，t_{mis_2}，…，t_{mis_m})作为输入，计算缺失数据的趋势序列Q_mis=(q_{mis_1},q_{mis_2},…,q_{mis_m})：

$q_{\mathrm{mis}\_i}=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\α}}_i\mathrm{\ψ}(t_{\mathrm{mis}\_i},t_{\mathrm{obs}\_j})+b,i=\mathrm{1,2},\·\·\·,m$

步骤二、计算已观测退化数据的残差序列；

将已观测退化数据对应的时间T_obs作为输入，通过退化趋势模型f(t)计算已观测退化数据的趋势序列Q_obs=(q_{obs_1},q_{obs_2},…,q_{obs_n})，并用已观测退化数据的真实值Y_obs减去已观测数据的趋势序列Q_obs，得到已观测退化数据的残差序列E_obs=(e_{obs_1},e _{obs_2},…,e _{obs_n})：

e_{obs_i}＝y_{obs_i}-q_{obs_i},i＝1,2,…,n

步骤三、建立RBF神经网络，并利用已观测退化数据的残差序列训练网络；

建立单输入单输出的RBF神经网络：

$y=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{w}_i{R}_i\left(x\right)$

式中，y表示一维输出向量，x表示一维输入向量，w_i是隐层与输出层间权值，k是感知单元的个数，R_i(x)表示基函数；

将已观测退化数据的残差序列E_obs作为输出向量，相应的时间T_obs作为输入向量，采用RBF神经网络的学习算法对网络进行训练，

得到训练好的RBF神经网络模型；

步骤四、通过训练好的RBF神经网络模型估计缺失数据的残差序列；

将缺失数据对应的时间T_mis作为输入，通过训练好的RBF神经网络估计缺失数据的残差序列E_mis=(e_{mis_1},e_{mis_2},…,e_{mis_m})：

$e_{\mathrm{mis}\_i}=\underset{j=1}{\overset{k}{\mathrm{\Σ}}}{w}_i{R}_j\left(t_{\mathrm{mis}\_i}\right)=\underset{j=1}{\overset{k}{\mathrm{\Σ}}}{w}_j\exp [-\frac{\left|\right|t_{\mathrm{mis}\_i}-c_j\left|\right|}{{2\mathrm{\σ}}_j^2}],i=\mathrm{1,2},\·\·\·,m$

在估计缺失数据残差序列的过程中，不断更新RBF神经网络的训练数据，将已经估计得到的残差序列值e_{mis_i}与对应的时间t_{mis_i}补充到训练数据{E_obs,T_obs}中，通过新训练数据训练得到的RBF神经网络去估计下一个缺失数据的残差值e_{mis_i+1}；这样不断更新训练数据再估计，直到估计完所有缺失数据的残差序列值；

步骤五、合并缺失数据的趋势项与残差序列的估计结果为退化数据插补结果；

将由步骤一中得到的缺失数据的趋势序列Q_mis与由步骤四中得到的缺失数据残差序列E_mis合并，得到最终的缺失数据插补结果Y_mis=(y_{mis_1}，y_{mis_2}，…，y_{mis_m})：

y_{mis_i}＝q_{mis_i}+e_{mis_i},i＝1,2,…,m

这样最后得到插补完整的性能退化数据Y=(Y_obs,Y_mis)，完成了退化数据的缺失插补工作。

2.根据权利要求1所述的一种基于支持向量机和RBF神经网络的退化数据缺失插补方法，其特征在于，步骤一中，所述的核函数有如下几种：

1）多项式核函数：

Ψ(x,y)＝(x·y+1)^d

2）径向基（RBF）核函数：

$\mathrm{\ψ}=(x,y)=\exp (-\frac{{\left|\right|x-y\left|\right|}^2}{{2\mathrm{\σ}}^2})$

3）sigmoid核函数：

Ψ(x,y)＝tanh[b·(x·y)+θ]。

3.根据权利要求1所述的一种基于支持向量机和RBF神经网络的退化数据缺失插补方法，其特征在于，所述的基函数是高斯函数：

$R_i\left(x\right)=\exp [-\frac{\left|\right|x-c_i\left|\right|}{{2\mathrm{\σ}}_i^2}],i=\mathrm{1,2},\·\·\·,k$

式中，c_i是第个i基函数的中心，与x具有相同维数的向量；σ_i是第个i基函数的方差，它决定了该基函数中心点的宽度；||x-c_i||表示x和c_i之间的距离。

Images