CN115292659B - 智能家居的时序数据异常检测方法 - Google Patents
智能家居的时序数据异常检测方法 Download PDFInfo
- Publication number
- CN115292659B CN115292659B CN202210921092.1A CN202210921092A CN115292659B CN 115292659 B CN115292659 B CN 115292659B CN 202210921092 A CN202210921092 A CN 202210921092A CN 115292659 B CN115292659 B CN 115292659B
- Authority
- CN
- China
- Prior art keywords
- encoder
- significance
- decoder
- time sequence
- characteristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 20
- 230000002159 abnormal effect Effects 0.000 claims abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 11
- 238000001228 spectrum Methods 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 239000000126 substance Substances 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000012549 training Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000000739 chaotic effect Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Algebra (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Operations Research (AREA)
- Probability & Statistics with Applications (AREA)
- Alarm Systems (AREA)
Abstract
本发明涉及智能家居的时序数据异常检测方法,包括步骤:步骤S1,按照设定的时间周期获取智能家居的时序数据x,通过消息队列进入数据库,提取输入数据库的时序数据x的显著性特征S(x);步骤S2,使用编码器将显著性特征S(x)编码为编码特征t,再使用解码器将编码特征t解码为新的显著性特征S(x)`;步骤S3,将显著性特征S(x)与新的显著性特征S(x)`进行差异性对比,若差异大于异常阈值,则触发报警。本发明实现无监督、统一、准确、高效的对智能家居的时序数据进行异常检测。
Description
技术领域
本发明涉及时序数据异常检测技术领域,特别涉及一种智能家居的时序数据异常检测方法。
背景技术
随着科技发展,将智能电器带入家庭已不是难事,比如智能窗帘、智能空调、扫地机器人等智能家电,就是将微处理器、传感器技术、网络通信技术引入家电设备后形成的家电产品,能自动感知住宅空间状态、家电自身状态和家电服务状态,能够与住宅内其他家电、家具和设施互联组成系统,实现智能家居功能。
但智能家居的时序数据呈现的模式繁多,难以统一,因此在对时序数据的异常检测上充满了挑战。请参见图2(a)为周期性时序数据,图2(b)为稳定型时序数据,图2(c)为紊乱型时序数据。当面临需要同时处理数以百万计的时序数据流,且监控周期在分钟级时,时序数据异常检测便更加有难度。
发明内容
本发明的目的在于无监督、统一、准确、高效的对智能家居的时序数据进行异常检测,提供一种智能家居的时序数据异常检测方法。
为了实现上述发明目的,本发明实施例提供了以下技术方案:
智能家居的时序数据异常检测方法,包括以下步骤:
步骤S1,按照设定的时间周期获取智能家居的时序数据x,通过消息队列进入数据库,提取输入数据库的时序数据x的显著性特征S(x);
步骤S2,使用编码器将显著性特征S(x)编码为编码特征t,再使用解码器将编码特征t解码为新的显著性特征S(x)`;
步骤S3,将显著性特征S(x)与新的显著性特征S(x)`进行差异性对比,若差异大于异常阈值,则触发报警。
所述提取输入数据库的时序数据x的显著性特征S(x)的步骤,包括:
通过傅里叶变换获取时序数据x的幅度谱A(f):
基于幅度谱A(f)计算时序数据x的残差谱R(f):
其中,表示时序数据x的频率域,A(f)表示幅度谱,P(f)表示相位谱,L(f)表示幅度谱A(f)做对数处理得到的对数幅度谱,AL(f)表示L(f)进行均值滤波之后的结果,hq(f)表示空间滤波函数,R(f)表示残差谱;
再通过傅里叶逆变换将时序数据x转换回空间域,获得显著性特征S(x):
所述使用编码器将显著性特征S(x)编码为编码特征t的步骤,包括:
其中,SoftPlus[*]=log[exp(*)+1];SoftPlus[*]表示激活函数;
所述再使用解码器将编码特征t解码为新的显著性特征S(x)`的步骤,包括:
其中,SoftPlus[*]=log[exp(*)+1];SoftPlus[*]表示激活函数;
所述将显著性特征S(x)与新的显著性特征S(x)`进行差异性对比,若差异大于异常阈值,则触发报警的步骤,包括:
设定所述异常阈值为Ab,计算显著性特征S(x)与新的显著性特征S(x)`的差异AbScore=|S(x)-S(x)`|,若AbScore>Ab,则触发报警。
与现有技术相比,本发明的有益效果:
本发明无监督、统一、准确、高效的对智能家居的时序数据进行异常检测,从而保证家庭中智能家居的正常使用。
本发明使用变分自编码器(Variational Auto-Encoder,VAE)作为异常检测架构的编码器,如此在训练时只需要提供正常分布的时序数据即可进行训练,无需依靠经验对异常时序数据的注入提供超参数,实用性得到了提升。
本发明介入权重、偏置,以及涉及正、余弦编码,进一步优化编码器的变分模型,使得最终重构的特征离实际更加接近,并且异常检测速度得到了大幅提升,实现分钟级检测。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明时序数据异常检测方法流程图;
图2为背景技术中常见的几种时序数据示意图,其中,图2中的a为周期性时序数据,图2中的b为稳定型时序数据,图2中的c为紊乱型时序数据。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
实施例:
本发明通过下述技术方案实现,智能家居的时序数据异常检测方法,如图1所示,包括以下步骤:
步骤S1,按照设定的时间周期获取智能家居的时序数据x,通过消息队列进入数据库,提取输入数据库的时序数据x的显著性特征S(x)。
本实施例设定的时间周期为一分钟,传统其他领域对时序数据的异常检测通常都是十几分钟一次,甚至半小时一次。而通过本方案的技术手段可以实现分钟级的时序数据异常检测。
获取了智能家居的时序数据x后,通过傅里叶变换获取时序数据x的幅度谱A(f):
基于幅度谱A(f)计算时序数据x的残差谱R(f):
其中,表示时序数据x的频率域,A(f)表示幅度谱,P(f)表示相位谱,L(f)表示幅度谱A(f)做对数处理得到的对数幅度谱,AL(f)表示L(f)进行均值滤波之后的结果,hq(f)表示空间滤波函数,R(f)表示残差谱。
再通过傅里叶逆变换将时序数据x转换回空间域,获得显著性特征S(x):
步骤S2,使用编码器将显著性特征S(x)编码为编码特征t,再使用解码器将编码特征t解码为新的显著性特征S(x)`。
使用变分自编码器作为异常检测架构的编码器,如此在训练时只需要提供正常分布的数据即可进行训练,无需依靠经验对异常数据的注入提供超参数,实用性得到了提升。
上述,SoftPlus[*]=log[exp(*)+1];SoftPlus[*]表示激活函数。
相对于传统计算均值和标准差时,本方案介入权重、偏置,以及涉及正、余弦编码,进一步优化编码器的变分模型,使得最终重构的特征离实际更加接近,并且异常检测速度得到了大幅提升,实现分钟级检测。
步骤S3,将显著性特征S(x)与新的显著性特征S(x)`进行差异性对比,若差异大于异常阈值,则触发报警。
设定所述异常阈值为Ab,计算显著性特征S(x)与新的显著性特征S(x)`的差异AbScore=|S(x)-S(x)`|,若AbScore>Ab,则触发报警。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
Claims (4)
1.智能家居的时序数据异常检测方法,其特征在于:包括以下步骤:
步骤S1,按照设定的时间周期获取智能家居的时序数据x,通过消息队列进入数据库,提取输入数据库的时序数据x的显著性特征S(x);
步骤S2,使用编码器将显著性特征S(x)编码为编码特征t,再使用解码器将编码特征t解码为新的显著性特征S(x)`;
所述使用编码器将显著性特征S(x)编码为编码特征t的步骤,包括:
其中,SoftPlus[*]=log[exp(*)+1];SoftPlus[*]表示激活函数;
步骤S3,将显著性特征S(x)与新的显著性特征S(x)`进行差异性对比,若差异大于异常阈值,则触发报警。
2.根据权利要求 1 所述的智能家居的时序数据异常检测方法,其特征在于:所述提取输入数据库的时序数据x的显著性特征S(x)的步骤,包括:
通过傅里叶变换获取时序数据x的幅度谱A(f):
基于幅度谱A(f)计算时序数据x的残差谱R(f):
其中,表示时序数据x的频率域,A(f)表示幅度谱,P(f)表示相位谱,L(f)表示幅度谱A(f)做对数处理得到的对数幅度谱,AL(f)表示L(f)进行均值滤波之后的结果,hq(f)表示空间滤波函数,R(f)表示残差谱;
再通过傅里叶逆变换将时序数据x转换回空间域,获得显著性特征S(x):
4.根据权利要求 1 所述的智能家居的时序数据异常检测方法,其特征在于:所述将显著性特征S(x)与新的显著性特征S(x)`进行差异性对比,若差异大于异常阈值,则触发报警的步骤,包括:
设定所述异常阈值为Ab,计算显著性特征S(x)与新的显著性特征S(x)`的差异AbScore=|S(x)-S(x)`|,若AbScore>Ab,则触发报警。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210921092.1A CN115292659B (zh) | 2022-08-02 | 2022-08-02 | 智能家居的时序数据异常检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210921092.1A CN115292659B (zh) | 2022-08-02 | 2022-08-02 | 智能家居的时序数据异常检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115292659A CN115292659A (zh) | 2022-11-04 |
CN115292659B true CN115292659B (zh) | 2023-03-21 |
Family
ID=83825673
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210921092.1A Active CN115292659B (zh) | 2022-08-02 | 2022-08-02 | 智能家居的时序数据异常检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115292659B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021164267A1 (zh) * | 2020-02-21 | 2021-08-26 | 平安科技(深圳)有限公司 | 异常检测方法、装置、终端设备及存储介质 |
WO2021204010A1 (zh) * | 2020-11-19 | 2021-10-14 | 平安科技(深圳)有限公司 | 一种时序异常检测方法、装置、计算机设备及存储介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111967508A (zh) * | 2020-07-31 | 2020-11-20 | 复旦大学 | 基于显著图的时间序列异常点检测方法 |
CN112987675B (zh) * | 2021-05-06 | 2021-07-23 | 北京瑞莱智慧科技有限公司 | 一种异常检测的方法、装置、计算机设备和介质 |
CN114844796A (zh) * | 2022-04-29 | 2022-08-02 | 济南浪潮数据技术有限公司 | 一种对时序kpi的异常检测的方法、装置及介质 |
-
2022
- 2022-08-02 CN CN202210921092.1A patent/CN115292659B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021164267A1 (zh) * | 2020-02-21 | 2021-08-26 | 平安科技(深圳)有限公司 | 异常检测方法、装置、终端设备及存储介质 |
WO2021204010A1 (zh) * | 2020-11-19 | 2021-10-14 | 平安科技(深圳)有限公司 | 一种时序异常检测方法、装置、计算机设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN115292659A (zh) | 2022-11-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Schoukens et al. | Modeling the noise influence on the Fourier coefficients after a discrete Fourier transform | |
Li et al. | The DCT-based oscillation detection method for a single time series | |
US5629872A (en) | System for monitoring an industrial process and determining sensor status | |
Silva et al. | Gapless power-quality disturbance recorder | |
CN111444168A (zh) | 一种配电室变压器日最大负荷异常数据检测处理方法 | |
CN107733737A (zh) | 一种监控网络流量异常的方法 | |
CN113255738A (zh) | 一种基于自注意力生成对抗网络的异常图像检测方法 | |
CN115292659B (zh) | 智能家居的时序数据异常检测方法 | |
CN111935099A (zh) | 一种基于深度降噪自编码网络的恶意域名检测方法 | |
CN114595134A (zh) | 异常数据的检测方法、装置、电子设备及计算机存储介质 | |
Yan et al. | efhmm: Event-based factorial hidden markov model for real-time load disaggregation | |
Dinesh et al. | Residential appliance monitoring based on low frequency smart meter measurements | |
Sheng et al. | Polynomial filtering for nonlinear stochastic systems with state‐and disturbance‐dependent noises | |
CN117172601A (zh) | 一种基于残差全卷积神经网络的非侵入式负荷监测方法 | |
CN115758273A (zh) | 一种时序数据异常检测方法、装置、设备及介质 | |
CN113533904B (zh) | 一种配电网高阻接地故障检测方法、装置、设备和介质 | |
Zhang et al. | Detection of high‐impedance fault in distribution network based on time–frequency entropy of wavelet transform | |
CN114764599B (zh) | 一种配电网单相接地故障灵敏度分析方法和系统 | |
CN112730984B (zh) | 一种基于智能电表的低压配电网相位识别方法 | |
Yang et al. | Denoising of partial discharge signal by common factor method and wavelet thresholding | |
CN113702861B (zh) | 一种基于大数据分析的电源故障位置预测方法及装置 | |
Li et al. | Load data compression based on integrated neural network model | |
WO2021198356A1 (en) | Method of hierarchical machine learning for an industrial plant machine learning system | |
CN112465259B (zh) | 一种基于深度神经网络的开关故障预测方法 | |
CN112834959A (zh) | 基于高频特征提取的直流配电系统故障检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20231009 Address after: No. 500-432 Hangshu Avenue, Dongsheng Street, Shuangliu District, Chengdu City, Sichuan Province, 610207 Patentee after: Sichuan Yichuang Kanghua Health Technology Co.,Ltd. Address before: No. 347, Floor 3, Building 1, No. 1388, Middle Section of Tianfu Avenue, Chengdu Hi tech Zone, Chengdu Free Trade Pilot Zone, 610000, Sichuan Patentee before: CHENGDU YICHUANG SPACE TECHNOLOGY Co.,Ltd. |
|
TR01 | Transfer of patent right |