CN103793613A - 基于回归分析和rbf神经网络的退化数据缺失插补方法 - Google Patents

Abstract

本发明公开了一种基于回归分析和RBF神经网络的退化数据缺失插补方法，包括以下几个步骤：步骤一、已观测的退化数据趋势回归建模；步骤二、计算已观测退化数据的残差序列；步骤三、建立RBF神经网络，并利用已观测数据的残差序列训练网络；步骤四、通过训练好的RBF神经网络估计缺失数据的残差序列；步骤五、合并缺失数据的趋势项与残差序列的估计结果为退化数据插补结果。本发明将回归分析方法与RBF神经网络方法结合，提出了一种退化数据缺失插补方法，解决了加速退化试验中缺失性能退化数据的插补问题。

Description

基于回归分析和RBF神经网络的退化数据缺失插补方法

技术领域

本发明涉及一种基于回归分析RBF神经网络的退化数据缺失插补方法，属于加速退化试验技术领域。

背景技术

由于检测仪器故障、记录人员过失等原因，常常会造成在加速退化试验中采集到的性能退化数据缺失的情况。而在加速退化试验的数据处理与评估、故障预测或寿命预测中，都需要完整的数据作为输入。数据缺失给性能退化数据的处理带来了很大的困难，很多传统的性能退化数据处理方法无法对有缺失数据的数据进行统计分析，比如一些关于时间序列数据分析的方法就要求所分析的数据为完整的等间距数据集。在故障预测或寿命预测中，性能退化数据的缺失会造成预测结果的偏差。

这时要么改进传统的数据处理方法，使之能够适应有缺失的性能退化数据，要么针对有缺失的数据进行处理，使之转化为完整的数据。前一种方案，在实现上有难度，后一种方案的实现更切合实际，且有缺失的数据转化为完整的数据后可以应用到更多的数据处理方法中，适用性更强。

缺失数据的插补方法是如今应用最多、发展最快的缺失数据处理方法。采用有效的方法处理缺失数据可以提高对数据资源的有效利用，减少数据资源的浪费；并会有助于性能退化数据的处理，有助于加速退化试验评估，有助于故障预测或寿命预测等工作，甚至可能影响研究结论，减少如寿命预测结果不准确等情况所带来的隐患。因此，对有缺失的性能退化数据采用正确和有效的方法进行处理是能否得出正确结论的关键之一。

常用的缺失数据插补法有均值插补法、热卡插补法、冷卡插补法、最邻近插补法、回归插补法、EM（Expectation Maximization）算法等。这些方法有一个共同的缺点：扭曲样本分布。比如均值插补法会降低变量间的相关关系，回归插补法则会人为的增大变量间的相关关系，而且这些插补法忽略了缺失数据插补的不确定性。尽管由于回归插补引入随机误差项，能够缓解这一问题，但是随机误差项的确定是比较困难的。

回归分析插补是一种非常常用的插补方法。回归分析插补的基本思想是利用辅助变量与已观测数据的关系，建立回归模型，利用已知的辅助变量的信息，对缺失的数据进行估计。回归分析插补通常使用服从正态分布的残差作为随机项，以使插补数据保持原始数据的离散性，但有些情况下正态分布随机项并不能够反映原始数据的离散性。

径向基函数（Radial Basis Function,RBF）神经网络是目前应用最广泛的神经网络模型之一，相比于以BP神经网络拓扑结构为基础的小波神经网络，RBF神经网络在函数逼近能力、分类能力和学习速度等方面均有优势。RBF神经网络是以函数逼近理论为基础而构造的一类前向网络，这类网络的学习等价于在多维空间中寻找训练数据的最佳拟合平面，RBF神经网络的每个隐层神经元的函数都构成了拟合平面的一个基函数。RBF神经网络结构简单、训练简洁而且学习收敛速度快，能够逼近任意非线性函数。

发明内容

本发明的目的是为了解决性能退化数据的缺失插补问题，提出了一种通用性较强的基于回归分析和RBF神经网络的退化数据缺失插补方法。本发明综合采用回归分析方法与RBF神经网络方法，利用已观测退化数据的信息来实现缺失退化数据的插补。

本发明是一种基于回归分析和RBF神经网络的退化数据缺失插补方法，包括以下几个步骤：

步骤一、已观测的退化数据趋势回归建模；

步骤二、计算已观测退化数据的残差序列；

步骤三、建立RBF神经网络，并利用已观测退化数据的残差序列训练网络；

步骤四、通过训练好的RBF神经网络估计缺失数据的残差序列；

步骤五、合并缺失数据的趋势项与缺失数据的残差序列的估计结果为退化数据插补结果。

本发明的优点在于：

（1）对已观测退化数据的趋势进行回归建模可以使插补数据的趋势与原始数据保持一致。

（2）使用RBF神经网络估计缺失数据的残差序列可以使插补数据保持原始数据的离散性，使插补数据更加接近真实。

（3）RBF神经网络可以应对不同类型的残差，适用范围广泛。

附图说明

图1是本发明所述基于回归分析和RBF神经网络的退化数据缺失插补方法的流程图；

图2是本发明实施例有缺失的退化数据曲线；

图3是本发明实施例缺失数据的退化趋势估计结果；

图4是本发明实施例缺失数据的残差序列估计结果；

图5是本发明实施例缺失数据的最终插补结果。

具体实施方式

下面将结合附图和实施例对本发明作进一步的详细说明。

本发明提供一种基于回归分析和RBF神经网络的退化数据缺失插补方法，所述方法针对有缺失的性能退化数据进行插补处理，假设完整的退化数据为Y，其对应的时间为T，记Y=(Y_obs,Y_mis)，T=(T_obs,T_mis)，其中已观测退化数据Y_obs、已观测退化数据对应的时间T_obs和缺失数据对应的时间T_mis为已知数据，具体为：

$\left\{\begin{array}{c}{Y}_{\mathrm{obs}}=(y_{\mathrm{obs}\_1},y_{\mathrm{obs}\_2},\·\·\·,y_{\mathrm{obs}\_n})\\ T_{\mathrm{obs}}=(t_{\mathrm{obs}\_1},t_{\mathrm{obs}\_2},\·\·\·,t_{\mathrm{obs}\_n})\\ T_{\mathrm{mis}}=(t_{\mathrm{mis}\_1},t_{\mathrm{mis}\_2},\·\·\·,t_{\mathrm{mis}\_m})\end{array}\right.---\left(1\right)$

式中，n为已观测退化数据的数据量，m为缺失数据的数据量。

通过已知数据，综合利用回归分析方法与RBF神经网络方法来估计缺失数据Y_mis：

Y_mis＝(y_{mis_1},y_{mis_2},…,y_{mis_m})    (2)

并最后得到插补完整的退化数据Y=(Y_obs,Y_mis)。

本发明是一种基于回归分析和RBF神经网络的退化数据缺失插补方法，方法流程图1所示，包括以下几个步骤：

步骤一、已观测退化数据趋势回归建模；

根据已观测退化数据的趋势特点选择回归函数，本发明中选择指数函数作为回归函数。再根据已观测退化数据Y_obs=(y_{obs_1}，y_{obs_2}，…，y_{obs_n})与对应的时间T_obs=(t_{obs_1}，t_{obs_2}，…，t_{obs_n})，利用最小二乘法来估计回归模型参数，得到退化趋势的函数表达式：

$f\left(t_{\mathrm{obs}\_i}\right)=a\·e^{b\·t_{\mathrm{obs}\_i}}+c---\left(3\right)$

式中，a、b与c为回归模型参数，t_{obs_i}表示已观测退化数据对应的时间。

通过回归分析得到的退化趋势模型f(t)，将缺失数据对应的时间T_mis=(t_{mis_1}，t_{mis_2}，…，t_{mis_m})作为输入，计算缺失数据的趋势序列Q_mis=(q_{mis_1},q_{mis_2},…,q_{mis_m})：

$q_{\mathrm{mis}\_i}=a\·e^{b\·t_{\mathrm{mis}\_i}}+c,i=\mathrm{1,2},\·\·\·,m---\left(4\right)$

步骤二、计算已观测退化数据的残差序列；

将已观测退化数据对应的时间T_obs作为输入，通过趋势模型f(t)计算已观测退化数据的趋势序列Q_obs=(q_{obs_1},q_{obs_2},…,q_{obs_n})，并用相应的已观测退化数据的真实值Y_obs减去已观测数据的趋势序列Q_obs，得到已观测退化数据的残差序列E_obs=(e_{obs_1},e_{obs_2},…,e_{obs_n})：

e_{obs_i}＝y_{obs_i}-q_{obs_i},i＝1,2,…,n    (5)

步骤三、建立RBF神经网络，并利用已观测退化数据的残差序列训练网络；

建立单输入单输出的RBF神经网络：

$y=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{w}_i{R}_i\left(x\right)$

式中，y表示一维输出向量，x表示一维输入向量，w_i是隐层与输出层间权值，k是感知单元的个数，R_i(*)表示基函数，最常用的基函数是高斯函数：

$R_i\left(x\right)=\exp [-\frac{\left|\right|x-c_i\left|\right|}{2{{\mathrm{\σ}}_i}^2}],i=\mathrm{1,2},...,k---\left(7\right)$

式中，c_i是第个i基函数的中心，与x具有相同维数的向量；σ_i是第i个基函数的方差，它决定了该基函数中心点的宽度；||x-c_i||表示x和c_i之间的距离。

将已观测退化数据的残差序列E_obs作为输出向量，相应的时间T_obs作为输入向量，采用RBF神经网络的学习算法对RBF神经网络进行训练，得到基函数的中心c_i和方差σ_i，以及权值w_i。

本发明通过MATLAB软件中内嵌的RBF神经网络工具箱完成上述RBF神经网络的训练，通过调节扩展速度参数SPREAD，得到适合的RBF神经网络模型。

步骤四、通过训练好的RBF神经网络估计缺失数据的残差序列；

将缺失数据对应的时间T_mis作为输入，通过训练好的RBF神经网络估计缺失数据的残差序列E_mis=(e_{mis_1},e_{mis_2},…,e_{mis_m})：

$e_{\mathrm{mis}\_i}=\underset{j=1}{\overset{k}{\mathrm{\Σ}}}{w}_j{R}_j\left(t_{\mathrm{mis}\_i}\right)=\underset{j=1}{\overset{k}{\mathrm{\Σ}}}{w}_j\exp [-\frac{\left|\right|t_{\mathrm{mis}\_i}-c_i\left|\right|}{2{{\mathrm{\σ}}_j}^2}],i=\mathrm{1,2},\·\·\·,m---\left(8\right)$

在估计缺失数据的残差序列的过程中，不断更新RBF神经网络的训练数据，将已经估计得到的残差序列值e_{mis_}i与对应的时间t_{mis_i}补充到训练数据{E_obs,T_obs}中，通过新训练数据训练得到的RBF神经网络去估计下一个缺失数据的残差值e_{mis_i+1}。这样不断更新训练数据再估计，直到估计完所有缺失数据的残差序列值。

步骤五、合并缺失数据的趋势项与残差序列的估计结果为退化数据插补结果；

将由步骤一中得到的缺失数据的趋势序列Q_mis与由步骤四中得到的缺失数据的残差序列E_mis合并，得到最终的缺失数据插补结果Y_mis=(y_{mis_1}，y_{mis_2}，…，y_{mis_m})：

y_{mis_i}＝q_{mis_i}+e_{mis_i},i＝1,2,…,m    (9)

这样最后得到插补完整的性能退化数据Y=(Y_obs,Y_mis)，完成了退化数据的缺失插补工作。

实施例1：

以一组仿真的有缺失性能退化数据为例，完整数据共有300个，数据中间有120个数据出现缺失，单位已略去，如图2所示。采用本发明提出的基于回归分析和RBF神经网络的退化数据缺失插补方法对其缺失数据进行插补，应用步骤和方法如下：

步骤一、已观测的退化数据趋势回归建模；

对已观测退化数据进行回归建模得到的退化趋势模型为f(t)=300.2954-0.0215×e^0.0272t。通过得到的退化趋势模型f(t)，将T_mis作为输入，计算缺失数据的趋势序列Q_mis，结果如图3所示。

步骤二、计算已观测退化数据的残差序列；

将T_obs作为输入，通过趋势模型f(t)计算观测数据的趋势序列Q_obs，并用已观测退化数据的真实值Y_obs减去已观测退化数据的趋势序列Q_obs，得到已观测退化数据的残差序列E_obs。

步骤三、建立RBF神经网络，并利用已观测数据的残差序列训练网络；

通过MATLAB软件中内嵌的RBF神经网络工具箱建立RBF神经网络，并用已观测退化数据的残差序列E_obs与对应的时间T_obs作为训练数据，取扩展速度参数SPREAD=0.005，得到适合的RBF神经网络模型。

步骤四、通过训练好的RBF神经网络估计缺失数据的残差序列；

将缺失数据对应的时间T_mis作为输入，通过训练好的RBF神经网络估计缺失数据的残差序列E_mis，结果如图4所示。

步骤五、合并缺失数据的趋势项与残差序列的估计结果为退化数据插补结果；

将由步骤一中得到的缺失数据的趋势序列Q_mis与由步骤四中得到的缺失数据残差序列E_mis合并，得到最终的缺失数据插补结果Y_mis，并最后得到插补完整的性能退化数据Y=(Y_obs,Y_mis)，最终插补结果如图5所示。从图中可以看出，插补结果不仅保持了原始数据的退化趋势，也保持了原始数据的离散性，插补结果很好的还原了真实数据，因此，本发明提出的方法是准确可行的。

Claims (3)

1.一种基于回归分析和RBF神经网络的退化数据缺失插补方法，其特征在于，包括以下几个步骤：

步骤一、已观测的退化数据趋势回归建模；

根据已观测退化数据的趋势特点选择回归函数，再根据已观测退化数据Y_obs=(y_{obs_1}，y_{obs_2}，…，y_{obs_n})与对应的时间T_obs=(t_{obs_1}，t_{obs_2}，…，t_{obs_n})，利用最小二乘法来估计回归模型参数，得到退化趋势的函数表达式；

通过回归分析得到的退化趋势模型f(t)，将缺失数据数据对应的时间T_mis=(t_{mis_1}，t_{mis_2}，…，t_{mis_m})作为输入，计算缺失数据的趋势序列Q_mis=(q_{mis_1},q_{mis_2},…,q_{mis_m})；

步骤二、计算已观测退化数据的残差序列；

将已观测数据对应的时间T_obs作为输入，通过趋势模型f(t)计算已观测数据的趋势序列Q_obs=(q_{obs_1},q_{obs_2},…,q_{obs_n})，并用已观测退化数据的真实值Y_obs减去已观测数据的趋势序列Q_obs，得到已观测退化数据的残差序列E_obs=(e_{obs_1},e_{obs_2},…,e_{obs_n})：

e_{obs_i}＝y_{obs_i}-q_{obs_i},i＝1,2,…,n；

步骤三、建立RBF神经网络，并利用已观测数据的残差序列训练网络；

建立单输入单输出的RBF神经网络：

$y=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{w}_i{R}_i\left(x\right)$

式中，y表示一维输出向量，x表示一维输入向量，w_i是隐层与输出层间权值，k是感知单元的个数，R_i(x)表示基函数。

将已观测退化数据的残差序列E_obs作为输出向量，相应的时间T_obs作为输入向量，采用RBF神经网络的学习算法对网络进行训练，得到基函数的中心c_i和方差σ_i，以及权值w_i；

步骤四、通过训练好的RBF神经网络估计缺失数据的残差序列；

将缺失数据对应的时间T_mis作为输入，通过训练好的RBF神经网络估计缺失数据的残差序列E_mis=(e_{mis_1},e_{mis_2},…,e_{mis_m})：

$e_{\mathrm{mis}\_i}=\underset{j=1}{\overset{k}{\mathrm{\Σ}}}{w}_j{R}_j\left(t_{\mathrm{mis}\_i}\right)=\underset{j=1}{\overset{k}{\mathrm{\Σ}}}{w}_j\exp [-\frac{\left|\right|t_{\mathrm{mis}\_i}-c_i\left|\right|}{2{{\mathrm{\σ}}_j}^2}],i=\mathrm{1,2},\·\·\·,m$

在估计缺失数据残差序列的过程中，不断更新RBF神经网络的训练数据，将已经估计得到的残差序列值e_{mis_i}与对应的时间t_{mis_i}补充到训练数据{E_obs,T_obs}中，通过新训练数据训练得到的RBF神经网络去估计下一个缺失数据的残差值e_{mis_i+1}；这样不断更新训练数据再估计，直到估计完所有缺失数据的残差序列值；

步骤五、合并缺失数据的趋势项与残差序列的估计结果为退化数据插补结果；

将由步骤一中得到的缺失数据的趋势序列Q_mis与由步骤四中得到的缺失数据残差序列E_mis合并，得到最终的缺失数据插补结果Y_mis=(y_{mis_1}，y_{mis_2}，…，y_{mis_m})：

y_{mis_i}＝q_{mis_i}+e_{mis_i},i＝1,2,…,m

这样最后得到插补完整的性能退化数据Y=(Y_obs,Y_mis)，完成了退化数据的缺失插补工作。

2.根据权利要求1所述的一种基于回归分析和RBF神经网络的退化数据缺失插补方法，其特征在于，步骤一中，所述的回归函数选择指数函数，相应的退化趋势的函数表达式为： $f\left(t_{\mathrm{obs}\_i}\right)=a\·e^{b\·t_{\mathrm{obs}\_i}}+c$

式中，a、b与c为回归模型参数；

所述缺失数据的趋势序列Q_mis=(q_{mis_1},q_{mis_2},…,q_{mis_m})中：

$q_{\mathrm{mis}\_i}=a\·e^{b\·t_{\mathrm{mis}\_i}}+c,i=\mathrm{1,2},\·\·\·,m.$

3.根据权利要求1所述的一种基于回归分析和RBF神经网络的退化数据缺失插补方法，其特征在于，步骤三中，所述的基函数是高斯函数：

$R_i\left(x\right)=\exp [-\frac{\left|\right|x-c_i\left|\right|}{2{{\mathrm{\σ}}_j}^2}],i=\mathrm{1,2},\·\·\·,k$

式中，c_i是第个i基函数的中心，与x具有相同维数的向量；σ_i是第个i基函数的方差，它决定了该基函数中心点的宽度；||x-c_i||表示x和c_i之间的距离。

Images