CN103488884B - 基于小波神经网络的退化数据缺失插补方法 - Google Patents
基于小波神经网络的退化数据缺失插补方法 Download PDFInfo
- Publication number
- CN103488884B CN103488884B CN201310415076.6A CN201310415076A CN103488884B CN 103488884 B CN103488884 B CN 103488884B CN 201310415076 A CN201310415076 A CN 201310415076A CN 103488884 B CN103488884 B CN 103488884B
- Authority
- CN
- China
- Prior art keywords
- prime
- interpolation
- data
- subsequence
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Complex Calculations (AREA)
Abstract
本发明公开了一种基于小波神经网络的退化数据缺失插补方法,包括以下几个步骤:步骤一、缺失退化数据趋势回归建模,估计残差序列;步骤二、对残差序列进行小波分解;步骤三、分解子序列预处理;步骤四、采用小波神经网络插补模型插补缺失残差序列;步骤五、将缺失处的趋势项及残差序列插补结果合成为退化数据插补结果。本发明对退化数据的趋势进行回归建模,保证了缺失数据趋势与整体数据的统一。本发明对残差序列采用小波神经网络模型进行插补,避免了退化数据细节的丢失。本发明在插补过程中不存在对数据统计特性的假设,使得本方法对退化数据具有广泛的适用性。
Description
技术领域
本发明涉及一种基于小波神经网络的退化数据缺失插补方法,属于加速退化试验技术领域。
背景技术
由于在传输过程中发生数据丢失,或者在人工记录时遗漏部分数据,以及监测设备中途发生故障等原因,性能退化数据经常会出现有缺失的情况。数据缺失给性能退化数据的处理带来了很大的困难:常用的性能退化数据处理方法都是针对完整数据研究出来的,而对存在部分缺失的数据进行统计分析,则存在适用性上的问题,使得处理结果的准确性难以满足工程需求。
面对这种问题,存在两种可能的解决思路:其中一种是改进现有的退化数据处理方法,使之能够适应有缺失的性能退化数据,另一种则是针对有缺失的数据进行处理,使之转化为符合下一阶段处理要求的完整数据。对于前一种方案,在实现上有难度,针对大量现有成熟处理方法的改进是一件庞大的工程;后一种方案的在实施上则更切合实际,并且将有缺失的数据转化为完整数据后,可以应用到更多的现有数据处理方法中,对下一阶段数据处理的通用性更强。
对缺失数据进行插补是应用最广泛的缺失数据处理思路。目前在插补领域,已经基于统计理论,研究出了均匀插补、回归插补和经验最大化插补等统计插补方法。虽然可以将统计学中对缺失数据的处理方法借鉴到性能退化数据的缺失处理中,但性能退化数据的一些特点则可能对这些统计方法的应用带来挑战。通常情况下,退化数据具有一定的趋势性,而要求数据具有平稳性的插补方法则不再适用。另外,现有统计插补方法都是以假设待插补数据或残差服从某种统计分布为前提。然而从设备中直接采集到的退化数据则带有明显的系统特征,任意时刻前后的数据都具有难以忽略的相关性。若忽略这种相关性的存在,对退化数据进行统计分布假设,则存在明显的偏差。因此,对有缺失的性能退化数据的处理,所采用的插补方法是否正确有效,是影响最终结论可信性的关键因素之一。
发明内容
本发明的目的是为了解决有缺失退化数据的插补问题,提出一种基于小波神经网络的退化数据缺失插补方法,采用的技术方案如下所述:
(1)缺失退化数据趋势回归建模,估计残差序列;
(2)对残差序列进行小波分解,得到小波分解子序列;
(3)对小波分解子序列进行预处理;
(4)采用小波神经网络插补模型插补缺失残差序列;
(5)将缺失处的趋势项及残差序列插补结果合成为退化数据插补结果。
本发明的优点在于:
(1)对退化数据的趋势进行回归建模,保证了缺失数据趋势与整体数据的统一;
(2)对残差序列采用小波神经网络模型进行插补,避免了退化数据细节的丢失;
(3)在插补过程中不存在对数据统计特性的假设,使得本方法对退化数据具有广泛的适用性。
附图说明
图1是本发明的方法流程图;
图2是本发明残差序列E小波分解子序列(虚线框内);
图3是本发明小波神经网络插补模型插补缺失残差序列;
图4是本发明实施例含缺失数据的退化曲线;
图5是本发明实施例残差序列;
图6是本发明实施例前段残差序列E的小波分解;
图7是本发明实施例各级插补子序列结果;
图8是本发明实施例第401~700min缺失段的最终插补结果。
具体实施方式
下面将结合附图和实施例对本发明作进一步的详细说明。
本发明是一种基于小波神经网络的退化数据缺失插补方法,如图1所示流程,具体实施方法如下:
步骤一、缺失退化数据趋势回归建模,估计残差序列;
根据退化数据中已有数据的趋势特点,选择多项式函数、指数函数或幂律函数等常见函数作为回归函数,得到退化趋势的函数表达式,并计算已有数据去除趋势项之后的残差序列。令E=(e1,e2,…,en)和E′=(e′1,e′2,…,e′m)分别表示缺失数据之前和之后的残差序列,而n和m表示序列的长度。
步骤二、对残差序列进行小波分解;
选择同一种小波函数,分别对残差序列E和E′中数据进行L级小波分解。
以E为例的小波分解示意图如附图2。分解后得到的L阶低频和高频子序列为:
采用同样的方法,得到E′的小波分解子序列:
步骤三、小波分解子序列预处理;
序列分解后得到的子序列只具有一个维度,若以其作为小波神经网络的输入,则输入节点数为1,只能够利用待插值节点前1位的数据。为了充分利用待插值节点前更多节点的信息,需要对子序列做插值前的预处理,调整数据维度。以E和E′的高频分解子序列GL和G′L为例,构建L级高频的插值训练输入矩阵trinGLG′L和训练输出向量troutGLG′L,如公式(3)所示。
其中q为小波神经网络输入节点数。
trinGLG′L中的每一行作为小波神经网络的一组输入向量,而对应训练输出值则为troutGLG′L中对应行的元素。其他高频及低频子序列的训练输入矩阵和训练输出向量的构建可参照公式(3),简单替换对应位置的元素即可。
步骤四、采用小波神经网络插补模型插补缺失残差序列;
以步骤三中预处理得到的各子序列训练输入矩阵和训练输出向量为基础,对每一级子序列构建一个q输入单输出小波神经网络,训练得到网络权值参数。将缺失节点前q个值作为网络插补的输入,若以GL和G′L为例,则其对应的L级高频插补的输入向量为ininGLG′L=[gL,n-q+1gL,n-q+2…gL,n],待插补序列G″L的第一个节点为在插补r个缺失节点的过程中,不断更新输入向量,将已经插补得到的节点值补充到输入向量中,舍弃与待插补点距离超过长度q的节点值。此过程如图3所示。
按照同样方法,最终得到各级插补子序列:
步骤五、将缺失处的趋势项及残差序列插补结果合成为退化数据插补结果;
根据步骤一中得到的回归函数,计算缺失数据段的趋势序列将与由公式(4)中子序列重构得到的残差插补序列,合成最终插补序列完成退化缺失数据插补。
实施例1:以某型号SLD退化数据为基础,仿真得到含有缺失数据的性能退化曲线,如图4所示。在不影响方法验证的情况下,参数的量级已经做相关处理,单位已略去。缺失数据段为第401~700min,相应的性能参数值为0。
步骤一、缺失退化数据趋势回归建模,估计残差序列;
回归得到退化数据的趋势项函数为x=0.0196t+0.1390,计算已有数据去除趋势项之后的前后两段残差序列E和E′,如图5所示。
步骤二、对残差序列进行小波分解;
选择Daubechies5小波对残差序列E和E′进行4级小波分解,残差序列E的分解结果如图6所示。
步骤三、分解子序列预处理;
按照上文公式(3)对分解后的子序列进行预处理,其中q取为10。
步骤四、采用小波神经网络插补模型插补缺失残差序列;
对每一级子序列构建一个10输入单输出小波神经网络,完成网络训练。按照图3所示流程插补残差序列。最终得到各级插补子序列如图7所示。
步骤五、将缺失处的趋势项及残差序列插补结果合成为退化数据插补结果;
根据步骤一中得到的回归函数x=0.0196t+0.1390,计算缺失数据段的趋势序列将与由图7各子序列重构得到的残差插补序列,合成最终插补序列完成退化数据缺失插补。最终插补结果如图8所示。
Claims (2)
1.一种基于小波神经网络的退化数据缺失插补方法,其特征在于,包括以下几个步骤:
步骤一、缺失退化数据趋势回归建模,估计残差序列;
根据退化数据中已有数据的趋势特点,选择多项式函数、指数函数或幂律函数作为回归函数,得到退化趋势的函数表达式,并计算已有数据去除趋势项之后的残差序列;令E=(e1,e2,…,en)和E′=(e′1,e′2,…,e′m)分别表示缺失数据之前和之后的残差序列,而n和m表示残差序列的长度;
步骤二、对残差序列进行小波分解;
步骤三、小波分解子序列预处理;具体为:
小波分解子序列只具有一个维度,若以其作为小波神经网络的输入,则输入节点数为1,只能够利用待插值节点前1位的数据;为了充分利用待插值节点前更多节点的信息,需要对子序列做插值前的预处理,调整数据维度;针对E和E′的高频分解子序列GL和G′L,构建L级高频的插值训练输入矩阵trinGLG′L和训练输出向量troutGLG′L,如公式(3)所示:
其中q为小波神经网络输入节点数;
trinGLG′L中的每一行作为小波神经网络的一组输入向量,而对应训练输出值则为troutGLG′L中对应行的元素;其他高频及低子序列的训练输入矩阵和训练输出向量的构建参照公式(3),替换对应位置的元素即可;
步骤四、采用小波神经网络插补模型插补缺失残差序列;
以步骤三中预处理得到的各子序列训练输入矩阵和训练输出向量为基础,对每一级子序列构建一个q输入单输出小波神经网络,训练得到网络权值参数;将缺失节点前q个值作为网络插补的输入,针对GL和G′L,则其对应的L级高频插补的输入向量为ininGLG′L=[gL,n-q+1gL,n-q+2…gL,n],待插补序列G″L的第一个节点为在插补r个缺失节点的过程中,不断更新输入向量,将已经插补得到的节点值补充到输入向量中,舍弃与待插补点距离超过长度q的节点值;
最终得到各级插补子序列;
步骤五、将缺失处的趋势项及残差序列插补结果合成为退化数据插补结果;
根据步骤一中得到的回归函数,计算缺失数据段的趋势序列将与由公式(4)中子序列重构得到的残差插补序列,合成最终插补序列完成退化缺失数据插补。
2.根据权利要求1所述的一种基于小波神经网络的退化数据缺失插补方法,其特征在于:步骤二中选择同一种小波函数,分别对残差序列E和E′中数据进行L级小波分解;
分解后得到残差序列E的子序列为:
采用同样的方法,得到残差序列E′的小波分解子序列:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310415076.6A CN103488884B (zh) | 2013-09-12 | 2013-09-12 | 基于小波神经网络的退化数据缺失插补方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310415076.6A CN103488884B (zh) | 2013-09-12 | 2013-09-12 | 基于小波神经网络的退化数据缺失插补方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103488884A CN103488884A (zh) | 2014-01-01 |
CN103488884B true CN103488884B (zh) | 2016-07-13 |
Family
ID=49829100
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310415076.6A Expired - Fee Related CN103488884B (zh) | 2013-09-12 | 2013-09-12 | 基于小波神经网络的退化数据缺失插补方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103488884B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105184072B (zh) * | 2015-08-31 | 2018-05-25 | 中国华能集团清洁能源技术研究院有限公司 | 数据插补的方法和装置 |
CN105930303A (zh) * | 2016-04-11 | 2016-09-07 | 中国石油大学(华东) | 含有不可忽略缺失数据的估计方程的稳健估计方法 |
CN107729943B (zh) * | 2017-10-23 | 2021-11-30 | 辽宁大学 | 信息反馈极限学习机优化估值的缺失数据模糊聚类算法及其应用 |
CN107842713B (zh) * | 2017-11-03 | 2019-04-05 | 东北大学 | 基于knn-svr的海底管道漏磁数据缺失插补方法 |
CN109359104B (zh) * | 2018-09-14 | 2022-06-17 | 广州帷策智能科技有限公司 | 时间数据序列的缺失数据插值方法和装置 |
KR102643592B1 (ko) * | 2021-04-27 | 2024-03-06 | 한국과학기술원 | 에지 컴퓨팅 환경에서의 IoT 누락데이터 관리 방법 및 장치 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7983443B2 (en) * | 1995-05-08 | 2011-07-19 | Digimarc Corporation | Methods for managing content using intentional degradation and insertion of steganographic codes |
CN102262700A (zh) * | 2011-08-01 | 2011-11-30 | 北京航空航天大学 | 基于小波分析的退化数据预处理的产品寿命预测方法 |
CN102323049A (zh) * | 2011-07-18 | 2012-01-18 | 福州大学 | 数据不完备下基于一致性数据替换的结构异常检测方法 |
CN102867132A (zh) * | 2012-10-16 | 2013-01-09 | 南京航空航天大学 | 基于分数阶小波变换的航空直流变换器在线故障组合预测方法 |
-
2013
- 2013-09-12 CN CN201310415076.6A patent/CN103488884B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7983443B2 (en) * | 1995-05-08 | 2011-07-19 | Digimarc Corporation | Methods for managing content using intentional degradation and insertion of steganographic codes |
CN102323049A (zh) * | 2011-07-18 | 2012-01-18 | 福州大学 | 数据不完备下基于一致性数据替换的结构异常检测方法 |
CN102262700A (zh) * | 2011-08-01 | 2011-11-30 | 北京航空航天大学 | 基于小波分析的退化数据预处理的产品寿命预测方法 |
CN102867132A (zh) * | 2012-10-16 | 2013-01-09 | 南京航空航天大学 | 基于分数阶小波变换的航空直流变换器在线故障组合预测方法 |
Non-Patent Citations (5)
Title |
---|
两个辅助变量下目标变量缺失数据的回归插补;刘瑞元等;《青海大学学报(自然科学版)》;20090220;第27卷(第1期);第39-44页 * |
基于一维漂移布朗运动的SLD退化失效建模;晁代宏等;《红外与激光工程》;20120814;第41卷(第7期);第1848-1853页 * |
基于相关分析和组合神经网络的退化预测;党香俊等;《北京航空航天大学学报》;20130115;第39卷(第1期);第42-51页 * |
基于神经网络的数字图像恢复方法研究;陈俊宏;《中国优秀硕士学位论文全文数据库 信息科学辑》;20090315;I138-724 * |
风场分形特性及缺失数据插补研究;秦付倩;《中国优秀硕士学位论文全文数据库 工程科技II辑》;20130215;C038-277 * |
Also Published As
Publication number | Publication date |
---|---|
CN103488884A (zh) | 2014-01-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103488884B (zh) | 基于小波神经网络的退化数据缺失插补方法 | |
Young | Refined instrumental variable estimation: Maximum likelihood optimization of a unified Box–Jenkins model | |
Gonçalves et al. | Block bootstrap HAC robust tests: The sophistication of the naive bootstrap | |
CN103514398B (zh) | 一种实时在线日志检测方法及系统 | |
CN104766175A (zh) | 一种基于时间序列分析的电力系统异常数据辨识与修正方法 | |
CN112491096B (zh) | 一种用于生成电网仿真分析算例的方法及系统 | |
CN103793613A (zh) | 基于回归分析和rbf神经网络的退化数据缺失插补方法 | |
Bazanella et al. | Necessary and sufficient conditions for uniqueness of the minimum in prediction error identification | |
AT511272A1 (de) | Kopplungsmethodik für nicht-iterative co-simulation | |
Senyange et al. | Computational efficiency of symplectic integration schemes: application to multidimensional disordered Klein–Gordon lattices | |
González-Ordiano et al. | Probabilistic forecasts of the distribution grid state using data-driven forecasts and probabilistic power flow | |
Han et al. | Reachability analysis of nonlinear systems using trajectory piecewise linearized models | |
CN103093079B (zh) | 基于仿射算术的辐射型配电网不确定潮流分析方法 | |
Mai et al. | A misspecification test for logit based route choice models | |
CN105449667A (zh) | 一种发输电系统可靠性预测方法 | |
Sydor et al. | Recurent Expression for Reliability Indicators of Compound Electropower Systems | |
CN103607219A (zh) | 一种电力线通信系统的噪声预测方法 | |
CN105404973A (zh) | 输变电设备状态预测方法和系统 | |
CN113724508B (zh) | 一种考虑交通排放不确定性的交通信号鲁棒控制方法 | |
CN104794101A (zh) | 一种分数阶非线性系统状态估计方法 | |
CN109639319B (zh) | 一种基于复杂电力线拓扑环境下的多源端噪声建模方法 | |
CN103093756B (zh) | 舒适噪声生成方法及舒适噪声生成器 | |
Alvisi et al. | Calibration and sensitivity analysis of the C-Town pipe network model | |
Nieto | Ex‐post and ex‐ante prediction of unobserved economic time series: a case study | |
JP6575942B2 (ja) | プロジェクトqcd管理システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB03 | Change of inventor or designer information |
Inventor after: Sun Fuqiang Inventor after: Jiang Tongmin Inventor after: Dang Xiangjun Inventor after: Fan Ye Inventor before: Dang Xiangjun Inventor before: Fan Ye Inventor before: Sun Fuqiang Inventor before: Jiang Tongmin |
|
COR | Change of bibliographic data | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160713 Termination date: 20200912 |
|
CF01 | Termination of patent right due to non-payment of annual fee |