CN110347666B - 一种改善时序数据质量和预警的方法及装置 - Google Patents
一种改善时序数据质量和预警的方法及装置 Download PDFInfo
- Publication number
- CN110347666B CN110347666B CN201910571954.0A CN201910571954A CN110347666B CN 110347666 B CN110347666 B CN 110347666B CN 201910571954 A CN201910571954 A CN 201910571954A CN 110347666 B CN110347666 B CN 110347666B
- Authority
- CN
- China
- Prior art keywords
- data
- early warning
- time
- time sequence
- time series
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2474—Sequence data queries, e.g. querying versioned data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Fuzzy Systems (AREA)
- Quality & Reliability (AREA)
- Alarm Systems (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明公开了一种改善时序数据质量和预警的方法及装置,包括:对原始的时间序列数据进行数据清洗;对数据清洗后的时间序列数据进行小波变换;对小波变换后的时间序列数据进行数据滤波,得到滤波时间序列;当检测所述滤波时间序列中的数据超过第一阈值且数据保持超过第一阈值的时长超过第一时间阈值时,则记录为一次预警预兆信号;在第二时间阈值内,记录了超过N次预警预兆信号时,发出预警信号。本发明对时间序列数据进行去噪,同时降低去噪过程中失真情况,提高时间序列数据的质量,通过设置阈值判断预警预兆信号,根据检测情况发出预警信号。
Description
技术领域
本发明涉及数据处理技术领域,更具体地说涉及一种改善时序数据质量和预警的方法及装置。
背景技术
近几年随着科技的发展,出现了越来越多的以时间和空间为维度的数据。例如在生物医学方面,基因数据就是以空间为维度的数据,针对基因数据的异常检测可以发现疾病;在金融方面,持卡人的消费记录就是以时间为维度的数据,通过检测持卡人的消费记录所对应的时间序列数据,可以找到异常持卡人;在工业方面,温度传感器、压力传感器等的数据都是以时间和空间为维度的数据。
这些时间序列数据中蕴含了大量的信息,但时间序列数据中存在许多噪声,对时间序列数据进行数据挖掘之前需要对时间序列数据进行预处理,提高时间序列数据的质量,不然时间序列数据中的噪音严重影响了进一步地分析和处理,同时对数据进行判断是不准确的。但现有技术中时间序列数据预处理方法通常是不彻底的,这会影响后续的数据挖掘效果。
发明内容
本发明提供一种改善时序数据质量和预警的方法及装置,提高时间序列数据的质量和发出预警。
本发明解决其技术问题的解决方案是:
一种改善时序数据质量和预警的方法,其特征在于,包括:
对原始的时间序列数据进行数据清洗;
对数据清洗后的时间序列数据进行小波变换;
对小波变换后的时间序列数据进行数据滤波,得到滤波时间序列;
当检测到所述滤波时间序列中的数据超过第一阈值且数据保持超过第一阈值的时长超过第一时间阈值时,则记录为一次预警预兆信号;
在第二时间阈值内,记录了超过N次预警预兆信号时,发出预警信号。
作为上述技术方案的进一步改进,所述对原始的时间序列数据进行数据清洗的过程包括:
对原始的时间序列数据中的脏数据进行去除,所述脏数据包括缺失值和异常值。
作为上述技术方案的进一步改进,所述对原始的时间序列数据中的脏数据进行去除的过程包括:
对所述缺失值进行均值填补;
利用单变量的散点图对所述异常值进行初步判断,再利用统计学3σ法原则进行述异常值的排查,先采用零值替换法剔除异常值,然后利用均值填补。
作为上述技术方案的进一步改进,对小波变换后的时间序列数据进行数据滤波的过程包括:
对小波变换后的时间序列数据进行卡尔曼滤波。
一种改善时序数据质量和预警的装置,包括:
数据采集模块,用于监测和采集时间序列数据,并将采集得到的时间序列数据发送到处理模块;
处理模块,用于对数据采集模块采集得到的时间序列数据进行处理,检测预警预兆信号,控制预警模块发出预警信号;
预警模块,当数据处理模块检测在第二时间阈值内记录了超过N次预警预兆信号时,控制预警模块发出预警信号;
所述处理模块分别与数据采集模块和预警模块相连接。
本发明的有益效果是:本发明对时间序列数据进行去噪,同时降低去噪过程中失真情况,提高时间序列数据的质量,通过设置阈值判断预警预兆信号,根据检测情况发出预警信号。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单说明。显然,所描述的附图只是本发明的一部分实施例,而不是全部实施例,本领域的技术人员在不付出创造性劳动的前提下,还可以根据这些附图获得其他设计方案和附图。
图1是本发明方法的流程示意图。
具体实施方式
以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述,以充分地理解本发明的目的、特征和效果。显然,所描述的实施例只是本发明的一部分实施例,而不是全部实施例,基于本发明的实施例,本领域的技术人员在不付出创造性劳动的前提下所获得的其他实施例,均属于本发明保护的范围。另外,文中所提到的所有连接关系,并非单指构件直接相接,而是指可根据具体实施情况,通过添加或减少连接辅件,来组成更优的连接结构。本发明创造中的各个技术特征,在不互相矛盾冲突的前提下可以交互组合。
实施例1,参照图1,一种改善时序数据质量和预警的方法,包括:
对原始的时间序列数据进行数据清洗;
对数据清洗后的时间序列数据进行小波变换;
对小波变换后的时间序列数据进行数据滤波,得到滤波时间序列;
当检测到所述滤波时间序列中的数据超过第一阈值且数据保持超过第一阈值的时长超过第一时间阈值时,则记录为一次预警预兆信号;
在第二时间阈值内,记录了超过N次预警预兆信号时,发出预警信号。
本实施例使用Mallat算法进行小波变换,当尺度参数较大时,频率分辨率较高,适合分析低频信号,当尺度参数较小时,时间分辨率较高,适合分析高频信号。
其中,a为尺度参数,b为时间中心参数,ψ为小波母函数。
现有技术中通过傅里叶变换对数据进行处理,去掉数据中的高频信息,但是通过利用傅立叶变换对数据进行处理,得到的结果却不尽人意,因为存在比较严重的失真情况,而本实施例利用小波变换中的多分辨特点来对数据进行分解,通过多分辨信号算法来实现对数据的逐层分解,最后得到数据清洗后的时间序列数据的低频信息,起到了消除噪音的作用,不会出现严重的失真情况,保持数据的准确性。
进一步作为优选的实施方式,所述对原始的时间序列数据进行数据清洗的过程包括:
对原始的时间序列数据中的脏数据进行去除,所述脏数据包括缺失值和异常值。
进一步作为优选的实施方式,所述对原始的时间序列数据中的脏数据进行去除的过程包括:
对所述缺失值进行均值填补;
利用单变量的散点图对所述异常值进行初步判断,再利用统计学3σ法原则进行所述异常值的排查,得到异常值;
对于所述异常值,先采用零值替换法剔除异常值,然后利用均值填补。
当时间序列数据中出现特殊字符的数据时,先采用零值替换法剔除异常值,然后利用均值填补。
所述均值为所述原始的时间序列数据的均值。
进一步作为优选的实施方式,对小波变换后的时间序列数据进行数据滤波的过程包括:
对小波变换后的时间序列数据进行卡尔曼滤波。
所述一种改善时序数据质量的方法可应用在所述一种改善时序数据质量和预警的装置,所述装置包括:
数据采集模块,用于监测和采集时间序列数据,并将采集得到的时间序列数据发送到处理模块;
处理模块,用于对数据采集模块采集得到的时间序列数据进行处理,检测预警预兆信号,控制预警模块发出预警信号;
预警模块,当数据处理模块检测在第二时间阈值内记录了超过N次预警预兆信号时,控制预警模块发出预警信号;
所述处理模块分别与数据采集模块和预警模块相连接。
本实施例的工作过程:
在工业方面,温度传感器、压力传感器等的数据都是以时间和空间为维度的数据。本实施例以检测工业上检测温度为例,所述数据采集模块为温度传感器。
所述数据采集模块实时采集锅炉的温度值,并将采集得到的时间序列数据发送到所述处理模块,所述处理模块对所述时间序列数据进行数据清洗,对数据清洗后的时间序列数据进行小波变换,得到低频数据,消除噪音。对小波变换后的时间序列数据进行卡尔曼滤波,得到滤波时间序列。
当处理模块检测到到所述滤波时间序列中数据超过第一阈值,且保持超过第一阈值的时长超过第一时间阈值时,则记录为一次预警预兆信号。
本实施例的数据采集模块用于检测低压锅炉的蒸汽温度,低压锅炉的蒸汽温度需要在400℃以下,所述第一阈值为380℃,所述第一时间阈值为15s,所述第二时间阈值为12h。低压锅炉的蒸汽温度超过380℃,且超过380℃的时长超过15s,则记录为一次预警预兆信号。
本实施例中N为5,在12小时内,处理模块记录了超过5次预警预兆信号时,则处理模块控制所述预警模块发出预警信号。
低压锅炉的蒸汽温度如果长期超过400℃,引起锅炉金属部件的蠕动速度加快,许用应力大大降低,更严重的会导致管道过热爆破。低压锅炉瞬时的蒸汽温度上升是很正常的,当蒸汽温度上升维持一段时间,且在固定时间内蒸汽温度上升过于频繁,则说明低压锅炉内部有出现故障的可能。但现有技术中无法提前发现锅炉的故障,本实例检测低压锅炉的蒸汽温度超过380℃以及每次超过380℃的时长,当12小时内,记录了超过5次预警预兆信号时,则低压锅炉的蒸汽温度上升的频率较大,可能低压锅炉内部出现了故障,提醒工作人员对各个部件进行检查,及时发现问题。
本发明对时间序列数据进行去噪,同时降低去噪过程中失真情况,提高时间序列数据的质量,通过设置第一阈值、第一时间阈值和第二时间阈值判断预警预兆信号,根据检测情况发出预警信号。这样有利于通过处理时间序列数据及时发现潜在的问题,预警和定位故障。
以上对本发明的较佳实施方式进行了具体说明,但本发明创造并不限于所述实施例,熟悉本领域的技术人员在不违背本发明精神的前提下还可作出种种的等同变型或替换,这些等同的变型或替换均包含在本申请权利要求所限定的范围内。
Claims (5)
1.一种改善时序数据质量和预警的方法,其特征在于,包括:
对原始的时间序列数据进行数据清洗;
对数据清洗后的时间序列数据进行小波变换;
对小波变换后的时间序列数据进行数据滤波,得到滤波时间序列;
当检测到所述滤波时间序列中的数据超过第一阈值且数据保持超过第一阈值的时长超过第一时间阈值时,则记录为一次预警预兆信号;
在第二时间阈值内,记录了超过N次预警预兆信号时,发出预警信号;
使用Mallat算法进行小波变换,当尺度参数较大时,频率分辨率较高,适合分析低频信号,当尺度参数较小时,时间分辨率较高,适合分析高频信号;
其中,a为尺度参数,b为时间中心参数,ψ为小波母函数。
2.根据权利要求1所述的一种改善时序数据质量和预警的方法,其特征在于,所述对原始的时间序列数据进行数据清洗的过程包括:
对原始的时间序列数据中的脏数据进行去除,所述脏数据包括缺失值和异常值。
3.根据权利要求2所述的一种改善时序数据质量和预警的方法,其特征在于,所述对原始的时间序列数据中的脏数据进行去除的过程包括:对所述缺失值进行均值填补;
利用单变量的散点图对所述异常值进行初步判断,再利用统计学3σ法原则进行述异常值的排查,先采用零值替换法剔除异常值,然后利用均值填补。
4.根据权利要求1所述的一种改善时序数据质量和预警的方法,其特征在于,对小波变换后的时间序列数据进行数据滤波的过程包括:
对小波变换后的时间序列数据进行卡尔曼滤波。
5.一种改善时序数据质量和预警的装置,其特征在于,包括:
数据采集模块,用于监测和采集时间序列数据,并将采集得到的时间序列数据发送到处理模块;
处理模块,用于对数据采集模块采集得到的时间序列数据进行处理,检测预警预兆信号,控制预警模块发出预警信号;
预警模块,当数据处理模块检测在第二时间阈值内记录了超过N次预警预兆信号时,控制预警模块发出预警信号;
所述处理模块分别与数据采集模块和预警模块相连接;
使用Mallat算法进行小波变换,当尺度参数较大时,频率分辨率较高,适合分析低频信号,当尺度参数较小时,时间分辨率较高,适合分析高频信号;
其中,a为尺度参数,b为时间中心参数,ψ为小波母函数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910571954.0A CN110347666B (zh) | 2019-06-28 | 2019-06-28 | 一种改善时序数据质量和预警的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910571954.0A CN110347666B (zh) | 2019-06-28 | 2019-06-28 | 一种改善时序数据质量和预警的方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110347666A CN110347666A (zh) | 2019-10-18 |
CN110347666B true CN110347666B (zh) | 2023-03-31 |
Family
ID=68177121
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910571954.0A Active CN110347666B (zh) | 2019-06-28 | 2019-06-28 | 一种改善时序数据质量和预警的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110347666B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111177128B (zh) * | 2019-12-11 | 2023-10-27 | 国网天津市电力公司电力科学研究院 | 基于改进的离群点检测算法的计量大数据批量处理方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102141403A (zh) * | 2010-12-17 | 2011-08-03 | 北京航空航天大学 | 基于小波阈值去噪、中值滤波和均值滤波的实时混合去噪方法 |
CN104574848A (zh) * | 2015-01-14 | 2015-04-29 | 深圳市欧瑞博电子有限公司 | 一种燃气报警装置的报警方法 |
CN106895946A (zh) * | 2017-04-12 | 2017-06-27 | 北京恒合信业技术股份有限公司 | 检测加油站密闭系统密闭性的装置、方法及在线监控系统 |
CN108167653A (zh) * | 2017-12-23 | 2018-06-15 | 浙江大学 | 基于动态神经网络预测的城市供水管网爆管检测方法 |
CN109469896A (zh) * | 2018-12-28 | 2019-03-15 | 佛山科学技术学院 | 一种基于时间序列分析工业锅炉故障的诊断方法及系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5842010B2 (ja) * | 2011-11-07 | 2016-01-13 | 株式会社日立製作所 | 時系列データ処理装置、時系列データ処理方法、及び時系列データ処理プログラムを格納したコンピュータ読み取り可能な記録媒体 |
-
2019
- 2019-06-28 CN CN201910571954.0A patent/CN110347666B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102141403A (zh) * | 2010-12-17 | 2011-08-03 | 北京航空航天大学 | 基于小波阈值去噪、中值滤波和均值滤波的实时混合去噪方法 |
CN104574848A (zh) * | 2015-01-14 | 2015-04-29 | 深圳市欧瑞博电子有限公司 | 一种燃气报警装置的报警方法 |
CN106895946A (zh) * | 2017-04-12 | 2017-06-27 | 北京恒合信业技术股份有限公司 | 检测加油站密闭系统密闭性的装置、方法及在线监控系统 |
CN108167653A (zh) * | 2017-12-23 | 2018-06-15 | 浙江大学 | 基于动态神经网络预测的城市供水管网爆管检测方法 |
CN109469896A (zh) * | 2018-12-28 | 2019-03-15 | 佛山科学技术学院 | 一种基于时间序列分析工业锅炉故障的诊断方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN110347666A (zh) | 2019-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109783903B (zh) | 一种基于时间序列的工业用水管道故障诊断方法及系统 | |
US8073634B2 (en) | Method to extract target signals of a known type from raw data containing an unknown number of target signals, interference, and noise | |
CN109469896B (zh) | 一种基于时间序列分析工业锅炉故障的诊断方法及系统 | |
EP1264412A2 (en) | Complex signal decomposition and modeling | |
CN104089186B (zh) | 一种基于组合滤波和动态阈值的管道压力异常诊断方法 | |
CN111170103B (zh) | 设备故障识别方法 | |
CN109141625B (zh) | 一种滚珠丝杠副的在线状态监测方法 | |
CN116992393B (zh) | 一种基于工业物联网的安全生产监测方法 | |
CN110653661A (zh) | 基于信号融合和多重分形谱算法的刀具状态监测识别方法 | |
CN110347666B (zh) | 一种改善时序数据质量和预警的方法及装置 | |
CN112720071B (zh) | 多能域信号智能化融合的刀具实时状态监测指标构造方法 | |
CN111678699B (zh) | 一种面向滚动轴承早期故障监测与诊断方法及系统 | |
CN112233695A (zh) | 基于人工智能和大数据的加油机异音分析及故障预警系统 | |
CN116383754A (zh) | 一种机车车辆配件生产在线监测系统及方法 | |
CN111552921A (zh) | 一种用于异常检测的飞行数据预处理方法 | |
CN117072460B (zh) | 一种基于振动数据和专家经验的离心泵状态监测方法 | |
CN117390568A (zh) | 基于增强Transformer模型的芯片封装丝网印刷机的异常检测方法 | |
CN113670611A (zh) | 一种轴承早期退化评估方法、系统、介质及电子设备 | |
CN113052272B (zh) | 一种异常检测方法、装置、电子设备及存储介质 | |
CN112104340B (zh) | 一种基于HMM模型和Kalman滤波技术的开关量输入模块BIT降虚警方法 | |
CN114879033A (zh) | 一种电机故障的检测方法、系统及存储介质 | |
CN112525337A (zh) | 一种针对机械压力机振动监测数据预处理方法 | |
CN114112390A (zh) | 一种非线性复杂系统早期故障诊断方法 | |
CN112766203A (zh) | 一种确定故障信号的方法、装置、存储介质及计算机设备 | |
CN117390570B (zh) | 一种电铲电动机绕组故障监测方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |