CN103246702A - 一种基于分段形态表示的工业序列数据缺失的填补方法 - Google Patents

Abstract

一种基于分段形态表示的工业序列数据缺失的填补方法，首先对待填补的目标序列进行非等间距分割，并通过幅值水平、变化趋势以及波动大小三个特征量对分割后序列进行形态表示，然后建立一种计算形态表示相似系数的方法，利用计算的相似系数来寻找相似序列，最后利用机器学习方法训练待填补序列的相似序列，以建立数据缺失填补模型，实现对缺失数据序列的填补。本发明能够对工业过程因数据存储或传输故障等原因导致的序列数据缺失情况进行填补，进一步完整监测数据，提高数据的可靠性为实施工业过程基于数据的优化、控制和调度工作提供保障。

Description

一种基于分段形态表示的工业序列数据缺失的填补方法

技术领域

本发明属于信息技术领域，涉及到序列非等间距分割、序列形态表示、寻找相似序列和回声状态网络建模理论，是一种基于分段状态表示的工业序列数据缺失的填补方法。本发明利用工业现场已有的历史数据，首先对待填补的目标序列进行非等间距分割，然后通过幅值水平，变化趋势以及波动大小三个特征量对分割后序列进行形态表示，进一步计算序列形态表示相似系数，利用计算的相似系数来寻找相似序列，最后利用机器学习的方法建立数据缺失填补模型，实现对缺失数据序列的填补。从而有效地保障现场调度人员所需数据的完整性和可靠性。此方法在不同工业领域中均可有广泛的应用。

背景技术

随着信息技术的发展，尤其是大数据时代的到来，数据逐步成为了解决很多工业问题的关键，如近些年发展的基于数据的优化、控制、调度、决策和故障诊断等。基于数据的相关研究前提是有完整的数据，然而由于生产过程工艺的复杂性、采集过程故障、系统传输偏差、数据存储异常等原因，现场采集到的数据经常出现不同程度的缺失情况，这样很容易导致相关工作人员在制定优化、控制和调度时的误判，做出错误的决策，影响正常的生产运行。因此，工业现场急需一种对缺失数据进行填补的科学方法。

常见的数据填补问题通常分为两类：一是对多变量问题中的某个变量的值的缺失的填补，目前对该类数据填补的研究很多，主要是借助于其它几个变量的值来估计某一变量的缺失值，如对日常降水量数据缺失的填补（C.Simolo,M.Brunetti,M.Maugeri,et al.(2010).Improvingestimation of missing values in daily precipitation series by a probability densityfunction-preserving approach.International Journal of Climatology,30,1564–1576），对基因表达序列数据缺失的填补（X.B.Zhang,H.N.Wang,X.F.Song,H.P.Zhang.(2007).Anon-parametric imputation method for microarray missing values.Computers and AppliedChemistry,24(12),1611-1616），对微阵列矩阵中的数据缺失的填补（T.Aittokallio.(2010).Dealing with missing values in large-scale studies:microarray data imputation and beyond.BriefBioinformatics,11(2),253-264）；二是对序列数据缺失的填补，对该类序列数据缺失进行填补目前是非常少见的。

工业数据中存在着大量的序列数据，如典型的与时间相关的序列数据，在数据填补领域属于序列数据缺失填补，其填补难点在于：1）序列形态的表示；2）样本序列与目标序列的相似度计算；3）建立有效的数据填补模型。目前还缺少一种有效的方法能够同时解决上述所示的三个问题。

发明内容

本发明要解决的技术问题是工业序列数据缺失的填补问题。为解决上述这一问题，对某工业现场提供的数据进行分析，首先对待填补的目标序列以及样本序列进行非等间距分割；然后通过幅值水平、变化趋势以及波动大小三个特征量对分割后序列进行形态表示，进一步计算序列形态表示相似系数，利用计算的相似系数寻找相似序列；最后利用机器学习的方法建立数据缺失填补模型，实现对缺失序列数据的填补。利用该发明可以准确地对不同程度缺失的工业序列数据进行有效填补，从而为现场工作人员进行优化、控制和调度等工作提供决策支持。

本发明技术方案的整体实现流程如附图1所示，具体步骤如下：

1.建立历史数据库：从现场实时数据库中读取能源数据，将数据序列划分为与目标序列等长的样本序列；

2.序列非等间距分割：对目标序列和样本序列进行非等间距分割；

3.筛选训练样本：对分割好的序列进行形态表示，计算目标序列与样本序列的相似度，筛选相似度较高的样本作为训练样本；

4.建立基于机器学习方法的数据填补模型：训练样本中已知索引数据点为网络输入，缺失索引数据为网络输出，训练缺失数据模型；

5.进行数据填补：目标序列作为填补模型输入，获取填补序列。

本发明的效果和益处是：

本发明在对工业现场序列数据进行填补时，通过对目标序列和样本序列的非等间距分割，能够对序列进行更好的形态表示；在对序列进行形态表示时，综合考虑幅值水平、变化趋势和波动大小是更有效的形态表示方法；给出一种更有效的计算序列相似性的方法，筛选出有效的训练样本；利用机器学习方法对筛选好的训练样本进行训练，建立的数据填补模型运行速度快，精度高。

本发明能够根据给定工业序列数据的特点，提出一套关于工业序列数据缺失的填补方法，及时有效的填补缺失的数据，从而为现场相关的优化、预测和平衡调度提供有效的支持。

附图说明

图1为本发明的实施流程图。

图2(a)为1#高炉煤气受入流量监测曲线。

图2(b)为1#热轧使用高炉煤气流量监测曲线。

图2(c)为1#焦炉使用高炉煤气流量监测曲线。

图3为如何利用key‐sliding‐window分割方法对序列进行非等间距划分。

具体实施方式

为了更好地理解本发明的技术方案，本发明以冶金企业能源序列数据缺失为例，结合附图对本发明的实施方式作详细描述。冶金企业能源序列数据的种类众多，不同的能源数据呈现出不同的特征，如具有类周期特性并且数据波动幅度较大的数据，见附图2(a)高炉煤气受入流量数据；具有相对固定的周期性数据，见附图2(b)焦炉使用高炉煤气流量数据；还有无明显规律性的数据，见如图2(c)热轧用户高炉煤气使用量。本发明通过对不同类型的能源序列数据进行非等间距划分，使得每段序列划分可以用同一特征量即序列形态进行表示，以待填补序列为比对目标，寻找与待填补序列相似性较高的序列作为机器学习的样本，从而建立缺失数据填补模型，完成冶金能源序列数据缺失的填补。按照图1所示的方法流程，本发明的具体实施步骤如下：

步骤1：样本的获取

从工业现场实时数据库中读取能源数据，将读取的数据序列划分为与目标序列等长的样本序列；

步骤2：序列非等间距分割

以key‐sliding‐window分割方法为例来说明如何对上述的序列进行非等间距划分，首先逐次选取序列内点与指定邻域δ内的所有数据点进行比较，若该点为其范围内最大值点或最小值点则将该点定义为关键点，本发明取全部关键点对序列进行粗划分，如果两个关键点之间的数据点数大于3个，在此基础上采用sliding‐window方法验证关键点间的数据是否平稳，对非平稳的粗划分进一步精划分，如附图3所示，s_i,s_j为序列S的两个连续关键点，两个连续关键点包含点数大于3个，需要用滑动窗进一步精划分，s_k为两个连续关键点间任意一点，s_i与s_k右侧点依次连线表示为l_k，s_k到滑动窗端点拟合直线的垂直距离为d_k，给定sliding‐window拟合最大误差e_max，若max(d_k)>e_max,则s_k为sliding‐window分割点。

对于序列S，用key‐sliding‐window分割方法将序列划分为n段，序列表示如式（1），其中s_kl,s_kr,l_k分别表示第k段划分的左侧起点和右侧终点以及第k段划分包含的段数。

S={(s_1l,s_1r,l₁),……,(s_kl,s_kr,l_k),......s_nl,s_nr,l_n)}    （1）

步骤3：筛选训练样本

采用基于序列形态表示的方法筛选训练样本具体流程如下：

①本发明提出利用均值偏移，变化趋势以及标准差来描述序列特征。序列的均值表示为：

u=(u₁,……,u_k,......u_n)    （2）

其中，u_k表示第k段序列的均值。序列变化趋势用tr表示，tr表示形式如下：

tr=(1,0,……,1)    （3）

其中，1表示序列趋势上升即在该段划分内s_kr>s_kl,否则用0表示序列趋势下降。σ为序列标准差，表示序列的波动程度，即：

σ=(σ₁,......,σ_k,……,σ_n)    （4）

其中，σ_k表示第k段序列的标准差。对于给定的序列，序列均值偏移表示该段序列偏离序列整体均值的程度，能够有效表示幅值所处的一个整体水平，序列S的第k段均值偏移表示为：

$q_k=\frac{u_k}{u}---\left(5\right)$

②对于比较两相似序列S_i,S_j第k段划分的相似性，本发明定义第k段的相似性系数为：

${\mathrm{\ρ}}_k=|q_{\mathrm{ik}}+\left(\mathrm{xor}({\mathrm{tr}}_{\mathrm{ik}},{\mathrm{tr}}_{\mathrm{jk}})\right)q_{\mathrm{jk}}|\frac{\max ({\mathrm{\σ}}_{\mathrm{ik}},{\mathrm{\σ}}_{\mathrm{jk}})*l_k}{\max ({\mathrm{\σ}}_{\mathrm{ik}},{\mathrm{\σ}}_{\mathrm{jk}})+a\min ({\mathrm{\σ}}_{\mathrm{ik}},{\mathrm{\σ}}_{\mathrm{jk}})}---\left(6\right)$

其中，a表示序列波动大小对序列相似性的决定程度，l_k为第k段分割的线段数。xor(tr_ik,tr_jk)为序列S_i,S_j的第k段划分变化趋势取异或，即若趋势变化相同则为0，否则为1。则给定的序列S_i,S_j的相似系数为：

$Q(i,j)=\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\ρ}}_k---\left(7\right)$

③相似系数表示两序列的差异程度，相似系数越小，相似度越高。根据计算所得的相似性系数，从数据样本中寻找与待填补的目标样本相似性最高的N个样本作为训练样本。

步骤4：建立基于机器学习方法的数据填补模型

回声状态网络是一种典型的机器学习方法，以高斯过程回声状态网络为例来说明本发明如何建立数据填补模型，回声状态网络是一种新型递归神经网络，通过动态储备池存储大量的稀有连接的神经元，使网络具有记忆能力，用非线性激活函数使系统保持良好的非线性特性。回声状态网络更新公式为：

x(t+1)=f(Wⁱⁿu(t+1)+Wx(t)+W^backy(t))     （8）

y(t+1)=f^out(W^out(u(t+1),x(t+1),y(t)))    （9）

其中，f为系统激活函数；x(t)为t时刻储备池神经元的状态，u(t)为t时刻系统输入变量,y(t)为系统输出变量，Wⁱⁿ为输入权值矩阵，W为储备池的内部神经元连接权值矩阵，储备池稀疏度通常保持0.01-0.05的连接，谱半径小于1，W^back为输出神经元与内部状态神经元的反馈连接，f^out为输出激活函数，W^out为输出权值矩阵，Wⁱⁿ，W，W^back在训练过程中不变。

对于普通的回声状态网络在其应用过程中，经常因参数学习会出现过学习的问题，而得不到很好的实际应用，本发明利用高斯过程来求解和计算回声状态网络的输出。对于工业数据，多会受到噪声的干扰，因此回声状态网络的输出模型可以重新写成如式（10）所示的形式。

y(t+1)=φ^T([u(t+1),x(t+1),y(t)])W^out+ε(t+1)    （10）

这里φ是非线性函数，假定W^out服从先验概率

噪声ε服从独立同分布

那么y(t+1)也是高斯过程。在使用高斯过程时，因为是从函数的角度来看，所以y(t+1)的均值和方差可以计算如式（11），式中函数φ([u(t+1),x(t+1),y(t)])简写为φ。

（11）

定义核函数K=k(φ,φ')=φ^Tφ，如果给定回声状态网络的一个输入u_*，那么相应的网络输出可以写为y_*，进一步可以将输出写成以给定输入和数据样本情况下的条件概率形式p(y_*|u_*,U,y,k)，其中U为输入样本矩阵U=[u₁,u₂,L,u_n]，y为输出样本矩阵y=[y₁,y₂,L,y_n]，那么根据式（11），可以得到下式

其中k(U,u_*)=k(u_*,U)^T=[k(u_*,u₁),L,k(u_*,u_n)]^T，为了方便的表示将其记为k_*，同时令k_*=k(u_*,u_*)和K=k(U,U)。根据高斯分布的性质，可以得到

这样，就可以计算出y_*的均值μ(y_*)，如式（14）所示，也就是网络输出的估计值。

以冶金企业的副产煤气系统为例，假设待填补的含缺失点序列S由两部分组成：S_obs表示观测部分和S_abs表示缺失部分。通过上述提出的基于序列形态相似的相似性寻找方法，将S_obs作为目标序列获得q个最相似序列组成相似集

，q作为回声状态网络的训练样本数量，相似集

中的相似序列的观测部分S_obs作为训练输入，S_abs作为训练输出，用于训练数据填补模型，通过训练获得完整的数据缺失填补模型。

步骤5：填补缺失的数据

将待填补序列S观测部分作为训练好的填补模型的输入，模型的输出即为序列S的缺失部分。表1给出了本发明方法与可变窗相似比较法的填补效果比较。

表1本发明方法与其它两种填补方法的填补效果比较

Claims (1)

1.一种基于分段形态表示的工业序列数据缺失的填补方法，其特征在于如下步骤：

(1)从工业现场的实时数据库读取序列数据，用序列数据划分为与待填补的目标序列等长的样本序列；

(2)将待填补序列和其他的样本序列进行非等间距分割：

首先对序列进行非等间距划分，逐次取序列内点与指定邻域δ内的所有数据点进行比较，若该点为其范围内最大值点或最小值点则将该点定义为关键点，取全部关键点对序列进行粗划分；如果两个关键点之间的数据点数小于3个，则不需要精划分，否则，验证关键点间的数据是否平稳，并对非平稳的粗划分进一步精划分：选取两个关键点间的任意一点，将该点右侧的点与左侧关键点间做连线，如果该点到各条连线间的距离的最大值大于指定的最大拟合误差，则视该点为一个新的关键点，用于进行分割；

对于序列S，将序列划分为n段，序列表示如式：

S={(s_1l,s_1r,l₁),……,(s_kl,s_kr,l_k),......s_nl,s_nr,l_n)}

其中，s_kl,s_kr,l_k分别表示第k段划分的左侧起点和右侧终点以及第k段划分包含的段数；

(3)计算序列的形态相似性，筛选训练样本

①用均值偏移，变化趋势以及标准差来描述序列特征。序列的均值表示为：

u=(u₁,……,u_k,......u_n)

其中，u_k表示第k段序列的均值。序列变化趋势用tr表示，tr表示形式如下：

tr=(1,0,……,1)

其中，1表示序列趋势上升即在该段划分内s_kr>s_kl,否则用0表示序列趋势下降；σ为序列标准差，表示序列的波动程度，即：

σ=(σ₁,......,σ_k,……,σ_n)

其中，σ_k表示第k段序列的标准差。对于给定的序列，序列均值偏移表示该段序列偏离序列整体均值的程度，能够有效表示幅值所处的一个整体水平，序列S的第k段均值偏移表示为q_k=u_k/u；

②对于比较两相似序列S_i,S_j第k段划分的相似性，定义第k段的相似性系数为：

${\mathrm{\ρ}}_k=|q_{\mathrm{ik}}+\left(\mathrm{xor}({\mathrm{tr}}_{\mathrm{ik}},{\mathrm{tr}}_{\mathrm{jk}})\right)q_{\mathrm{jk}}|\frac{\max ({\mathrm{\σ}}_{\mathrm{ik}},{\mathrm{\σ}}_{\mathrm{jk}})*l_k}{\max ({\mathrm{\σ}}_{\mathrm{ik}},{\mathrm{\σ}}_{\mathrm{jk}})+a\min ({\mathrm{\σ}}_{\mathrm{ik}},{\mathrm{\σ}}_{\mathrm{jk}})}$

其中，a表示序列波动大小对序列相似性的决定程度；l_k为第k段分割的线段数；xor(tr_ik,tr_jk)为序列S_i,S_j的第k段划分变化趋势取异或，即若趋势变化相同则为0，否则为1；则给定的序列S_i,S_j的相似系数为：

$Q(i,j)=\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\ρ}}_k$

③相似系数表示两序列的差异程度，相似系数越小，相似度越高；根据计算所得的相似性系数，从数据样本中寻找与待填补的目标样本相似性最高的N个样本作为训练样本；

(4)基于机器学习的数据填补模型

以高斯过程的回声状态网络更新公式为：

x(t+1)=f(Wⁱⁿu(t+1)+Wx(t)+W^backy(t))

y(t+1)=f^out(W^out(u(t+1),x(t+1),y(t)))

其中，f为系统激活函数；x(t)为t时刻储备池神经元的状态，u(t)为t时刻系统输入变量,y(t)为系统输出变量，Wⁱⁿ为输入权值矩阵，W为储备池的内部神经元连接权值矩阵，储备池稀疏度通常保持0.01-0.05的连接，谱半径小于1，W^back为输出神经元与内部状态神经元的反馈连接，f^out为输出激活函数，W^out为输出权值矩阵，Wⁱⁿ，W，W^back在训练过程中不变；

回声状态网络的输出模型重新写成：

y(t+1)=φ^T([u(t+1),x(t+1),y(t)])W^out+ε(t+1)

这里φ是非线性函数，假定W^out服从先验概率

噪声ε服从独立同分布

那么y(t+1)也是高斯过程；在使用高斯过程时，从函数的角度来看，y(t+1)的均值和方差如下式计算

式中φ是对函数φ([u(t+1),x(t+1),y(t)])的简写；定义核函数K=k(φ,φ')=φ^Tφ，给定回声状态网络的一个输入u_*，那么相应的网络输出写为y_*，进一步将输出写成以给定输入和数据样本情况下的条件概率形式p(y_*|u_*,U,y,k)，其中U为输入样本矩阵U=[u₁,u₂,L,u_n]，y为输出样本矩阵y=[y₁,y₂,L,y_n]，得到下式

其中，k(U,u_*)=k(u_*,U)^T=[k(u_*,u₁),L,k(u_*,u_n)]^T，表示为k_*，同时令k_*=k(u_*,u_*)和K=k(U,U)；根据高斯分布的性质，得到

这样，计算出y_*的均值μ(y_*)，网络输出的估计值如式所示为：

假设待填补的含缺失点序列S由两部分组成：S_obs表示观测部分和S_abs表示缺失部分；通过上述提出的基于序列形态相似的相似性寻找方法，将S_obs作为目标序列获得q个最相似序列组成相似集

，q作为回声状态网络的训练样本数量，相似集中的相似序列的观测部分S_obs作为训练输入，S_abs作为训练输出，用于训练数据填补模型，通过训练获得完整的数据缺失填补模型；

(5)将待填补序列S观测部分作为训练好的填补模型的输入，模型的输出即为序列S的缺失部分。

Images