CN114265882A - 时序信号点异常检测方法、系统、设备及介质 - Google Patents
时序信号点异常检测方法、系统、设备及介质 Download PDFInfo
- Publication number
- CN114265882A CN114265882A CN202111602172.2A CN202111602172A CN114265882A CN 114265882 A CN114265882 A CN 114265882A CN 202111602172 A CN202111602172 A CN 202111602172A CN 114265882 A CN114265882 A CN 114265882A
- Authority
- CN
- China
- Prior art keywords
- data
- time sequence
- sample
- industrial
- sequence signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明提出的一种时序信号点异常检测方法、系统、设备及介质,该方法通过预先构建自编码器模型,利用多个样本工业时序信号数据对该自编码器模型进行训练,获取待检测工业时序信号数据,将待检测工业时序信号数据输入到训练后的自编码器模型,并确定待检测工业时序信号数据中各时序信号点的维度重构误差,进而确定检测状态,使得生产隐患特别是异常生产数据发现难度降低、提升发现效率。
Description
技术领域
本发明涉及工业时序信号的处理与分析技术领域,尤其涉及一种时序信号点异常检测方法、系统、设备及介质。
背景技术
大型工厂中,对于生产安全的意识和管理越来越严格,但由于设备众多、工序繁杂等因素,导致对于生产过程中是否出现异常的发现往往依赖于人工肉眼观察的方式实现,效率低,且由于隐患往往较为隐秘细微,发现难度高。
发明内容
鉴于以上所述现有技术的缺点,本发明提供一种时序信号点异常检测方法、系统、设备及介质,以解决生产隐患、异常发现难度高、效率低的技术问题。
本发明提供的一种时序信号点异常检测方法,所述方法包括:
构建自编码器模型,所述自编码器模型包括编码器和解码器;
获取多个样本工业时序信号数据,并利用所述样本工业时序信号数据对所述自编码器模型进行训练,得到训练后的自编码器模型,所述样本工业时序信号数据通过时序数据采集窗口采集;
获取待检测工业时序信号数据,将所述待检测工业时序信号数据输入到训练后的自编码器模型,并确定所述待检测工业时序信号数据中各时序信号点的维度重构误差,所述待检测工业时序信号数据通过所述时序数据采集窗口采集;
根据各维度重构误差确定检测状态。
可选的,利用所述样本工业时序信号数据对所述自编码器模型进行训练包括:
分别将各所述样本工业时序信号数据进行序列化表示,得到多个样本工业时序信号序列;
将所述样本工业时序信号序列通过所述编码器进行编码得到样本编码序列;
将所述样本编码序列通过所述解码器进行解码得到样本重构序列;
根据所述样本工业时序信号序列和样本重构序列确定样本序列重构误差,若所述样本序列重构误差小于预设样本序列误差阈值或迭代次数达到预设次数,完成对所述自编码器模型的训练。
可选的,所述样本序列重构误差的确定方式包括:
可选的,利用所述样本工业时序信号数据对所述自编码器模型进行训练,和/或将所述待检测工业时序信号数据输入到训练后的自编码器模型之前,所述方法还包括对待处理数据进行预处理,所述待处理数据包括所述样本工业时序信号数据和/或待检测工业时序信号数据,所述预处理包括以下至少之一:
获取所述待处理数据中的缺失值,并将所述缺失值填充为预设填充值;
获取所述待处理数据中的无效数据,并将所述无效数据进行平滑处理;
获取所述待处理数据中的正常波动值,并将所述正常波动值进行剔除;
若所述待处理数据包括多维时序数据,将每一维数据分别进行数据归一化处理。
可选的,所述待检测工业时序信号数据为多维数据,根据各维度重构误差确定所述检测状态包括:
分别获取各时序信号点对应的维度重构误差并确定检测重构误差;
根据各所述维度重构误差确定标准差和平均值,并根据所述标准差、平均值和维度重构误差确定所述时序信号点的异常得分;
根据所述检测重构误差和/或异常得分确定检测状态。
可选的,所述方法还包括以下至少之一,
所述检测重构误差的确定方式包括,
所述异常得分的确定方式包括,
所述检测状态的确定方式包括以下至少之一,若所述异常得分超过预设异常得分阈值,则所述时序信号点的检测状态包括异常,若所述异常得分小于或等于所述预设异常得分阈值,则所述时序信号点的检测状态包括正常,若存在至少一个所述时序信号点的检测状态为异常和/或所述检测重构误差大于预设检测误差阈值,所述待检测工业时序信号数据的检测状态包括异常;
其中,e为检测重构误差,D为维度总数量,d为维度,为待检测工业时序信号数据中时序信号点i维度d的向量,为自编码器模型根据待检测工业时序信号数据所输出的检测编码序列中时序信号点i维度d的向量,N为待检测工业时序信号数据的序列长度,Zi为时序信号点i的异常得分,ei为时序信号点i的维度重构误差,e为平均值,σ(e)为标准差。
可选的,所述方法还包括以下至少之一:
若所述检测状态为异常,发出报警信号,并将所述时序信号点进行异常标记;
获取所述待检测工业时序信号数据的检测时长,若所述检测时长大于所述时序数据采集窗口的滑动步长,增大所述滑动步长。
本发明还提供了一种时序信号点异常检测系统,所述系统包括:
构建模块,用于构建自编码器模型,所述自编码器模型包括编码器和解码器;
训练模块,用于获取多个样本工业时序信号数据,并利用所述样本工业时序信号数据对所述自编码器模型进行训练,得到训练后的自编码器模型,所述样本工业时序信号数据通过时序数据采集窗口采集;
误差确定模块,用于获取待检测工业时序信号数据,将所述待检测工业时序信号数据输入到训练后的自编码器模型,并确定所述待检测工业时序信号数据中各时序信号点的维度重构误差,所述待检测工业时序信号数据通过所述时序数据采集窗口采集;
状态检测模块,用于根据各维度重构误差确定检测状态。
本发明还提供了一种电子设备,包括处理器、存储器和通信总线;
所述通信总线用于将所述处理器和存储器连接;
所述处理器用于执行所述存储器中存储的计算机程序,以实现如上述中任一项实施例所述的方法。
本发明还提供了一种计算机可读存储介质,其上存储有计算机程序,
所述计算机程序用于使所述计算机执行如上述任一项实施例所述的方法。
本发明的有益效果:本发明提出的一种时序信号点异常检测方法、系统、设备及介质,该方法通过预先构建自编码器模型,通过多个样本工业时序信号数据对该自编码器模型进行训练,获取待检测工业时序信号数据,将待检测工业时序信号数据输入到训练后的自编码器模型,并确定待检测工业时序信号数据中各时序信号点的维度重构误差,进而确定检测状态,使得生产隐患特别是异常生产数据发现难度降低、提升发现效率。
附图说明
图1是本发明实施例一中提供的时序信号点异常检测方法的一种流程示意图;
图2是本发明实施例一中提供的时序信号点异常检测方法的一种具体的流程示意图;
图3是本发明实施例一种提供的时序信号点异常检测方法的一种原理示意图;
图4-1是本发明实施例一中提供的原始数据序列的一种示意图;
图4-2是本发明实施例一中提供的重构数据序列的一种示意图;
图5是本发明实施例一中提供的异常分分布情况的一种示意图;
图6是本发明实施例二提供的时序信号点异常检测系统的一种结构示意图;
图7是本发明一实施例提供的一种电子设备的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
在下文描述中,探讨了大量细节,以提供对本发明实施例的更透彻的解释,然而,对本领域技术人员来说,可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的,在其他实施例中,以方框图的形式而不是以细节的形式来示出公知的结构和设备,以避免使本发明的实施例难以理解。
实施例一
随着物联网技术的兴起和5G万物互联概念的提出,物联网技术在工业生产领域得到了越来越广泛的应用。针对物联网传感器收集到的大量生产过程中的时序数据,若能合理利用将大幅提升工业生产的效率和智能化程度,其应用方向之一为生产异常检测。对生产过程中反馈的时序信号进行准确的捕捉可以辅助相关工作人员及时发现并处理异常或隐患,降低事故发生率、提升作业率。在大部分大型工厂,这类数据往往没有得到足够的重视,仅通过操作工肉眼观察的方式判断是否异常。
针对工业生产过程中的时序数据异常检测问题,学术界和工业界目前研究较少。相关技术中所提供的方法大部分为监督学习方法,这类方法将异常检测问题转化为分类问题,需要依赖大量的带标签的样本训练模型,这类模型只能识别出训练数据中存在的异常类型,并且需要耗费大量精力去寻找工业生产中的异常样本,有些相关技术的方法很多只能实现离线的异常检测,例如基于聚类的方法将时序信号按照固定时间节点进行切分然后聚类识别异常,只能在时序到达指定切分点时才能识别出时序片段的异常,这使得这类方法很难应用到实际工业场景中。
如图1所示,本实施例提供了一种时序信号点异常检测方法,该方法包括:
步骤S101:构建自编码器模型。
其中,自编码器模型包括编码器和解码器,该自编码模型可以基于长短期记忆网络构建。
可选的,该自编码模型中的编码器和解码器均可以基于长短期记忆网络构建,其中,编码器的长短期记忆网络的输入数据尺寸设置为N×D,单元数设置为D,其余训练参数和隐藏层数等可针对数据情况灵活调整。时间序列在通过编码器之后得到编码特征,对应于编码器网络的输出状态值S,其中N为时序数据采集窗口所采集的数据中包括的时序信号点的数量,D为维度数量,也可以说是时序数据采集窗口所采集的数据中的数据种类。解码器的长短期记忆网络的参数根据编码器的输出状态值S来设定。编码器的输出状态值S在通过解码器之后得到原始时间序列对应的重构序列 与具有相同的长度(N)和维度(D)。可选的,长度和维度可以根据时序数据采集窗口和所需要采集数据的数据种类确定。
步骤S102:获取多个样本工业时序信号数据,并利用样本工业时序信号数据对自编码器模型进行训练,得到训练后的自编码器模型。
其中,样本工业时序信号数据通过时序数据采集窗口采集,样本工业时序信号数据可以是一维数据,也可以是多维数据。
可选的,时序数据采集窗口可以是由本领域技术人员所预先设定,该时序数据采集窗口可以采集预设数量时刻点的数据。由于工业生产数据往往是依据时间顺序进行采集的,每一个时刻点可能采集有多个维度的数据,故可以选择一定数量的时刻点的数据作为一个样本工业时序信号数据。
在一个实施例中,利用样本工业时序信号数据对自编码器模型进行训练包括:
分别将各样本工业时序信号数据进行序列化表示,得到多个样本工业时序信号序列;
将样本工业时序信号序列通过编码器进行编码得到样本编码序列;
将样本编码序列通过解码器进行解码得到样本重构序列;
根据样本工业时序信号序列和样本重构序列确定样本重构误差,若样本重构误差小于预设样本误差阈值或迭代次数达到预设次数,完成对自编码器模型的训练。
可选的,将各样本工业时序信号数据进行序列化表示的具体实现方式可以由本领域技术人员所知晓的方式实现。将每一个时刻点各个维度的样本数据融合为一个样本向量,根据多个时刻点的样本向量得到样本工业时序信号序列。
通过编码器和解码器依次对样本工业时序信号序列进行编码和解码,得到样本重构序列,此时,将样本重构序列与样本工业时序信号序列之间的误差作为样本序列重构误差,若样本序列重构误差小于预设样本序列误差阈值,则说明模型满足要求,完成对自编码器模型的训练。
在一个实施例中,样本序列重构误差的确定方式包括:
可选的,在利用样本工业时序信号数据对自编码器模型进行训练时,可以此采用作为目标函数,更新编码器和解码器的参数,在达到指定迭代次数(迭代次数达到预设次数)或足够小(样本重构误差小于预设样本误差阈值)之后停止迭代。
待检测工业时序信号数据和样本工业时序信号数据可以是所采集的一种或多种工业生产数据。
步骤S103:获取待检测工业时序信号数据,将所述待检测工业时序信号数据输入到训练后的自编码器模型,并确定所述待检测工业时序信号数据中各时序信号点的维度重构误差。
其中,待检测工业时序信号数据通过时序数据采集窗口采集。
对于待检测工业时序信号数据的采集方式与样本工业时序信号数据的采集方式类似,在此不做赘述。
可选的,待检测工业时序信号数据输入到训练后的自编码器模型,也即先通过编码器对该待检测工业时序信号数据进行编码,再通过解码器进行解码,得到重构序列。根据重构序列与待检测工业时序信号数据的原始序列(检测工业时序信号序列)来确定时序信号点的维度重构误差。
可选的,不论是待检测工业时序信号数据还是样本工业时序信号数据,若为非序列化表示数据,在通过自编码器模型对其进行编码之前,还需要对待检测工业时序信号数据和样本工业时序信号数据进行序列化表示。也就是说将样本工业时序信号数据转化为样本工业时序信号序列,将待检测工业时序信号数据转化为检测工业时序信号序列。该序列化表示可以由自编码器模型实现,也可以由其他模块执行完成后,将序列号表示得到的原始序列输入到自编码器模型。
在一个实施例中,利用样本工业时序信号数据对自编码器模型进行训练,和/或将待检测工业时序信号数据输入到训练后的自编码器模型之前,该方法还包括对待处理数据进行预处理,待处理数据包括样本工业时序信号数据和/或待检测工业时序信号数据,预处理包括以下至少之一:
获取待处理数据中的缺失值,并将缺失值填充为预设填充值;
获取待处理数据中的无效数据,并将无效数据进行平滑处理;
获取待处理数据中的正常波动值,并将正常波动值进行剔除;
若待处理数据包括多维时序数据,将每一维数据分别进行数据归一化处理。
其中,缺失值为传感器没有采集到的空白值,预设填充值可以是本领域技术人员根据需要所设定的一个值,也可以是基于该缺失值的相关值(相邻时刻点的数据)所确定的值。例如,温度在t1时刻的值为5.1℃,在t2时刻的值为缺失,在t3时刻的值为5.3℃,此时,可以将该缺失值填充为预设的值如5.0℃,也可以是取t1时刻和t3时刻温度值的平均值,得到5.2℃,将5.2℃填入缺失位置。
无效数据可以是通过对数据进行数据格式校验和数据大小校验,将过高、过低或者数据格式错误的数据作为无效数据。如,对于温度的采集值一般在100℃-150℃,若采集到的数据为-20℃,则该数据为无效数据。平滑处理的方式包括但不限于取该数据的相关数据的平均值替换该无效数据,此时相关数据可以是该无效数据前后两个时刻点的数据,也可以是该无效数据时刻点附近多个时刻点数据等。
正常波动值可以是由本领域技术人员所设置的在预设时刻所采集的数据,如没隔10分钟后30秒所采集的数据为正常波动值,此时以初始状态为0,0分钟到10分钟的数据为正常数据,进行缺失值和无效数据的筛选并处理,针对于10分1秒到10分30秒所采集的数据作为正常波动值,进行剔除,不计入时序序列。该剔除方式可以是在时序数据采集窗口进行采集数据时跳过出现正常波动值的时间段,部件该时间段的数据作为待检测工业时序信号数据。也可以是将待检测工业时序信号数据中包括有正常波动值的时刻点的数据进行整体的删除,或者采用预设正常值对该正常波动值进行替换等本领域技术人员所知晓的方式实现。例如,以棒线材轧钢产线轧机为例,由于轧制节奏快慢的影响,钢坯之间存在时间长度不等的电流陡降和轧制速度陡增,此外,由于采样频率较低的原因,不同的钢坯之间电流陡降的谷值和速度陡增的峰值大小也不统一,若不对这些数据进行处理,将会对点异常检测带来极大干扰。因此在进行异常检测前,将对钢坯切换时的电流陡降值进行剔除。
由于每一维数据为同一类数据,如温度数据、电流数据等,按照维度(数据类别)对该维度的数据进行归一化处理,将便于后续的数据处理。对多维时序信号的每一维分别进行归一化,以减小维度之间的数据规模差异性。具体的归一化处理方式,可以由本领域技术人员根据所知晓的方式实现。
在一个实施例中,维度重构误差的确定方式包括:
其中,ei为时序信号点i的维度重构误差,D为维度总数量,d为维度,为待检测工业时序信号数据中时序信号点i、维度d的向量,为自编码器模型根据待检测工业时序信号数据所输出的检测编码序列中时序信号点i、维度d的向量。
步骤S104:根据各维度重构误差确定检测状态。
该检测状态包括正常或异常,该检测状态可以是时序信号点的检测状态,也可以是待检测工业时序信号数据的检测状态。
在一个实施例中,待检测工业时序信号数据为多维数据,根据各维度重构误差确定检测状态包括:
分别获取各时序信号点对应的维度重构误差并确定检测重构误差;
根据各维度重构误差确定标准差和平均值,并根据标准差、平均值和维度重构误差确定时序信号点的异常得分;
根据检测重构误差和异常得分确定检测状态。
换句话说,检测重构误差可以是每个时刻(时序信号点)的维度重构误差之和。或者说,检测重构误差为各维度重构误差所构成的序列。
在一个实施例中,检测重构误差的确定方式包括:
其中,e为检测重构误差,D为维度总数量,d为维度,为待检测工业时序信号数据中时序信号点i维度d的向量,为自编码器模型根据待检测工业时序信号数据所输出的检测编码序列中时序信号点i维度d的向量,N为待检测工业时序信号数据的序列长度。
可见,检测重构误差为各时序信号点的维度重构误差的集合所形成的序列。
在一个实施例中,异常得分的确定方式包括,
其中,Zi为时序信号点i的异常得分,ei为时序信号点i的维度重构误差,e为平均值,σ(e)为标准差。
其中,平均值和标准差的确定方式可以由本领域技术人员所知晓的方式实现,在此不做限定。
在一个实施例中,检测状态的确定方式包括以下至少之一:
若所述异常得分超过预设异常得分阈值,则所述时序信号点的检测状态包括异常;
若所述异常得分小于或等于所述预设异常得分阈值,则所述时序信号点的检测状态包括正常;
若存在至少一个所述时序信号点的检测状态为异常和/或所述检测重构误差大于预设检测误差阈值,所述待检测工业时序信号数据的检测状态包括异常。
换句话说,检测状态可以是某一个时序信号点的的数据状态是否异常,也可是一个数据采集窗口内的全部数据(待检测工业时序信号数据)的数据状态是否异常。
其中,预设检测误差阈值可以根据经验和数据特征确定。
在一个实施例中,该方法还包括:
若检测状态为异常,发出报警信号,并将时序信号点进行异常标记。
其中,报警信号可以是声音、信息、报警灯闪烁等中至少之一。报警信号为信息时,该报警信号还包括时序信息点标识信息,以便后续进行数据查找。
对时序信号点进行异常标记可以是在该时序信号点的数据进行打标等操作。
在一个实施例中,该方法还包括:
获取待检测工业时序信号数据的检测时长,若检测时长大于时序数据采集窗口的滑动步长,增大滑动步长。
检测时长可以是自获取到数据起,到得到检测状态止的用时。增大滑动步长可以是按照预设规则,增加一定数量的滑动步长,如检测时长10秒,滑动步长8秒,则可以将滑动步长增加为10秒或者11秒。滑动步长大于或等于检测时长。
可选的,滑动步长也可以理解为两次时序信号数据(待检测工业时序信号数据)采集之间间隔固定的时间间隔,间隔时间间隔略大于完成一次异常检测的时间。
可选的,若检测时长小于滑动步长,则调小滑动步长,使得异常检测的实时性更佳,提升检测效率。
上述实施例提供的时序信号点异常检测方法,该方法通过预先构建自编码器模型,利用多个样本工业时序信号数据对该自编码器模型进行训练,获取待检测工业时序信号数据,将待检测工业时序信号数据输入到训练后的自编码器模型,并确定待检测工业时序信号数据中各时序信号点的维度重构误差,进而确定检测状态,使得生产隐患特别是异常生产数据发现难度降低、提升发现效率。
可选的,若待检测工业时序信号数据为在线实时数据中的一部分数据,该方法还可以实现在线的实时异常检测,不需要对训练数据进行标记,并且对训练数据样本量要求较低,能辅助和指导操作大型工业设备的工作人员及时发现设备故障,降低安全风险并减小设备停机的概率。当检测完一个待检测工业时序信号数据后,按照数据时间再获取下一个时间窗口的待检测工业时序信号数据,这样可以实现对生产数据的实时监测。
可选的,基于上述方法能够实现对工业多维时序信号的异常点捕捉,且对训练样本量要求较低,收敛快,所采用的模型(自编码器模型)采用无监督学习方式训练,不需要异常标签数据;可以在线部署,从而实现实时的异常检测。
可选的,本实施例提供的异常检测方法,借助于通常被忽略的物联网传感器所收集到的大量生产过程中的时序数据进行异常检测,既不需要积累异常样本对模型进行训练,也不需要收集一定量数据后再进行聚类处理以识别异常数据,而是基于对自编码模型的训练后,将需要进行异常检测的数据输入到自编码模型中,基于原始数据序列与重构数据序列之间的误差情况来确定是否存在异常数据点(异常时序信号点),异常检测更加敏锐,对于个别时序信号点的异常也能被发现,且可以适用于多种维度数据,也就是说可以从多种生产数据维度实现对生成过程是否发生异常进行检测,适用性更佳,检测更全面。
参见图2和图3,下面通过具体的实施例示例性的对上述方法进行说明。
步骤S1:采集工业多维时序信号数据片断。
例如,可以利用物联网传感器设备采集多维工业时序信号数据片段。按窗口长度(时序信号点数量)采集数据,在完成一个窗口内的时序信号数据(待检测工业时序信号数据)的异常检测后,根据滑动步长向前移动数据采集窗口,完成下一次时序信号数据片段采集。
其中,采集工业时序信号数据片段包括以下步骤:
1)设置数据采集的窗口长度,根据窗口长度采集多维时序信号数据,时序信号的不同维度由电流、线速度等时序信号构成;
2)根据异常检测的执行时间设定窗口的滑动步长,滑动步长即两次时序信号数据采集之间间隔固定的时间间隔,间隔时间间隔略大于完成一次异常检测的时间,如滑动步长=1.05*检测时间;
3)在完成一个窗口内的时序信号异常检测后,根据滑动步长向前移动数据采集窗口,完成下一次时序信号数据片段采集。
步骤S2:清洗数据及预处理。
例如,对时序数据的缺失值、无效数据进行处理,对时序数据片段进行归一化处理,此外,还需对时序数据中部分对异常检测结果存在干扰的正常波动值进行剔除处理。
可选的,数据清洗及预处理包括以下步骤:
1)对采集到的时序数据里的缺失值进行填充处理,对时序数据里面的无效数据进行平滑处理;
2)剔除时序数据中部分对异常检测结果存在干扰的正常波动值。以棒线材轧钢产线轧机为例,由于轧制节奏快慢的影响,钢坯之间存在时间长度不等的电流陡降和轧制速度陡增,此外,由于采样频率较低的原因,不同的钢坯之间电流陡降的谷值和速度陡增的峰值大小也不统一,若不对这些数据进行处理,将会对点异常检测带来极大干扰。因此在进行异常检测前,将对钢坯切换时的电流陡降值进行剔除;
3)对时序数据片段进行归一化处理,对多维时序信号的每一维分别进行归一化,以减小维度之间的数据规模差异性。
步骤S3:建立基于长短期记忆网络的自编码模型并采用无监督学习方式对模型进行训练。
可选的,基于长短期记忆网络的自编码器模型的构建和训练步骤如下:
1)序列表示。记对样本工业时序信号数据进行预处理后的多维时间序列(样本工业时序信号序列)为其中N为序列长度(序列中包括的时序信号点的数量),向量表示任意时刻(时序信号点)i时间序列的数值,D为时间序列的维数(有多少种数据,如电流、电压就是两种,也即两维),若D=1,则时间序列为单维时间序列,若D>1则时间序列为多维时间序列。
2)构建基于长短期记忆网络的编码器。长短期记忆网络的输入数据尺寸设置为N×D,单元数设置为D,其余训练参数和隐藏层数等可针对数据情况灵活调整。时间序列(样本工业时序信号序列)在通过编码器之后得到编码特征,对应于编码器网络的输出状态值S。
需要说明的是,对于待检测工业时序信号数据的序列表示的方式与上述样本工业时序信号数据的序列表示方式一致,在此不再赘述。
对于待检测工业时序信号数据也如样本工业时序信号数据在自编码模型中的处理流程一致,先经过编码器进行编码,再经过解码器进行解码。
步骤S4:计算时序信号内个时间点的异常分并设定合理的异常阈值。
其中,异常分也即异常得分,异常阈值也即预设异常得分阈值。换句话说,该步骤为将待检测工业时序信号数据输入到训练后的自编码模型中,根据模型输出结果和原始序列得到异常分。
可选的,异常分计算方法如下:
为了更好地衡量异常点的偏差度,在得到重构误差e之后,在计算的Zi分数作为最终的异常分,计算方式如下:
步骤S5:根据异常分及阈值判定异常。
此处的阈值即为步骤S4中的异常阈值。
可选的,将大于异常分阈值的点标记为异常点,报警系统输出报警信息,及时提醒相关工作人员通过操作降低故障及安全风险;返回至步骤S1。
例如,选取某钢厂棒线材轧钢产线某轧机的轧制过程时序信号来进行异常捕捉,具体地,所选择的信号包括反馈电流、反馈轧制线速度及反馈转矩三个维度,时序信号的采样频率为1Hz,单次数据采集窗口长度设置为2000,网络迭代训练次数设置为100,长短期记忆网络的单元数设置为3,隐藏层数量设置为16,学习率设置为1e-3。
首先,对采集到的时序数据进行数据清洗和预处理,然后基于上述参数训练好自编码器后,生成重构序列,计算重构序列与原始序列之间的重构误差,进而计算出异常分。图4-1和图4-2分别为原始数据序列和重构数据序列,图5为异常分分布情况,可以看出,本发明提出的异常检测方法能检测到多维时序中的异常突变点。
基于上述方法能够实现对工业多维时序信号的异常点捕捉,且对训练样本量要求较低,收敛快,所采用的模型(自编码器模型)采用无监督学习方式训练,不需要异常标签数据;可以在线部署,从而实现实时的异常检测。
实施例二
请参阅图6,本实施例提供了时序信号点异常检测系统600,该系统包括:
构建模块601,用于构建自编码器模型,自编码器模型包括编码器和解码器;
训练模块602,用于获取多个样本工业时序信号数据,并利用样本工业时序信号数据对自编码器模型进行训练,得到训练后的自编码器模型,样本工业时序信号数据通过时序数据采集窗口采集;
误差确定模块603,用于获取待检测工业时序信号数据,将待检测工业时序信号数据输入到训练后的自编码器模型,并确定待检测工业时序信号数据中各时序信号点的维度重构误差,待检测工业时序信号数据通过时序数据采集窗口采集;
状态检测模块604,用于根据各维度重构误差确定检测状态。
可选的,该系统还包括数据采集模块,该数据采集模块可以由大量物联网传感器构成,用于采集工业生产中的电流、速度等时序数据。
可选的,该系统还包括数据处理模块,该模块可以部署于服务器,用于对采集到的时序数据进行预处理。
可选的,该系统还包括报警信息输出模块,用于输出异常报警信息,提醒操作工人及时处理。
以上各模块通信连接。
在本实施例中,该系统实质上是设置了多个模块用以执行上述实施例中的方法,具体功能和技术效果参照上述实施例一即可,此处不再赘述。
参见图7,本发明实施例还提供了一种电子设备700,包括处理器701、存储器702和通信总线703;
通信总线703用于将处理器701和存储器连接702;
处理器701用于执行存储器702中存储的计算机程序,以实现如上述实施例一中的一个或多个所述的方法。
本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,
计算机程序用于使计算机执行如上述实施例一中的任一项所述的方法。
本申请实施例还提供了一种非易失性可读存储介质,该存储介质中存储有一个或多个模块(programs),该一个或多个模块被应用在设备时,可以使得该设备执行本申请实施例的实施例一所包含步骤的指令(instructions)。
需要说明的是,本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。
Claims (10)
1.一种时序信号点异常检测方法,其特征在于,所述方法包括:
构建自编码器模型,所述自编码器模型包括编码器和解码器;
获取多个样本工业时序信号数据,并利用所述样本工业时序信号数据对所述自编码器模型进行训练,得到训练后的自编码器模型,所述样本工业时序信号数据通过时序数据采集窗口采集;
获取待检测工业时序信号数据,将所述待检测工业时序信号数据输入到训练后的自编码器模型,并确定所述待检测工业时序信号数据中各时序信号点的维度重构误差,所述待检测工业时序信号数据通过所述时序数据采集窗口采集;
根据各维度重构误差确定检测状态。
2.如权利要求1所述的时序信号点异常检测方法,其特征在于,利用所述样本工业时序信号数据对所述自编码器模型进行训练包括:
分别将各所述样本工业时序信号数据进行序列化表示,得到多个样本工业时序信号序列;
将所述样本工业时序信号序列通过所述编码器进行编码得到样本编码序列;
将所述样本编码序列通过所述解码器进行解码得到样本重构序列;
根据所述样本工业时序信号序列和样本重构序列确定样本序列重构误差,若所述样本序列重构误差小于预设样本序列误差阈值或迭代次数达到预设次数,完成对所述自编码器模型的训练。
4.如权利要求1所述的时序信号点异常检测方法,其特征在于,利用所述样本工业时序信号数据对所述自编码器模型进行训练,和/或将所述待检测工业时序信号数据输入到训练后的自编码器模型之前,所述方法还包括对待处理数据进行预处理,所述待处理数据包括所述样本工业时序信号数据和/或待检测工业时序信号数据,所述预处理包括以下至少之一:
获取所述待处理数据中的缺失值,并将所述缺失值填充为预设填充值;
获取所述待处理数据中的无效数据,并将所述无效数据进行平滑处理;
获取所述待处理数据中的正常波动值,并将所述正常波动值进行剔除;
若所述待处理数据包括多维时序数据,将每一维数据分别进行数据归一化处理。
5.如权利要求1-4任一项所述的时序信号点异常检测方法,其特征在于,所述待检测工业时序信号数据为多维数据,根据各维度重构误差确定所述检测状态包括:
分别获取各时序信号点对应的维度重构误差并确定检测重构误差;
根据各所述维度重构误差确定标准差和平均值,并根据所述标准差、平均值和维度重构误差确定所述时序信号点的异常得分;
根据所述检测重构误差和/或异常得分确定检测状态。
6.如权利要求5所述的时序信号点异常检测方法,其特征在于,所述方法还包括以下至少之一,
所述检测重构误差的确定方式包括,
所述异常得分的确定方式包括,
所述检测状态的确定方式包括以下至少之一,若所述异常得分超过预设异常得分阈值,则所述时序信号点的检测状态包括异常,若所述异常得分小于或等于所述预设异常得分阈值,则所述时序信号点的检测状态包括正常,若存在至少一个所述时序信号点的检测状态为异常和/或所述检测重构误差大于预设检测误差阈值,所述待检测工业时序信号数据的检测状态包括异常;
7.如权利要求1-4任一项所述的时序信号点异常检测方法,其特征在于,所述方法还包括以下至少之一:
若所述检测状态为异常,发出报警信号,并将所述时序信号点进行异常标记;
获取所述待检测工业时序信号数据的检测时长,若所述检测时长大于所述时序数据采集窗口的滑动步长,增大所述滑动步长。
8.一种时序信号点异常检测系统,其特征在于,所述系统包括:
构建模块,用于构建自编码器模型,所述自编码器模型包括编码器和解码器;
训练模块,用于获取多个样本工业时序信号数据,并利用所述样本工业时序信号数据对所述自编码器模型进行训练,得到训练后的自编码器模型,所述样本工业时序信号数据通过时序数据采集窗口采集;
误差确定模块,用于获取待检测工业时序信号数据,将所述待检测工业时序信号数据输入到训练后的自编码器模型,并确定所述待检测工业时序信号数据中各时序信号点的维度重构误差,所述待检测工业时序信号数据通过所述时序数据采集窗口采集;
状态检测模块,用于根据各维度重构误差确定检测状态。
9.一种电子设备,其特征在于,包括处理器、存储器和通信总线;
所述通信总线用于将所述处理器和存储器连接;
所述处理器用于执行所述存储器中存储的计算机程序,以实现如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,
所述计算机程序用于使所述计算机执行如权利要求1-7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111602172.2A CN114265882A (zh) | 2021-12-24 | 2021-12-24 | 时序信号点异常检测方法、系统、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111602172.2A CN114265882A (zh) | 2021-12-24 | 2021-12-24 | 时序信号点异常检测方法、系统、设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114265882A true CN114265882A (zh) | 2022-04-01 |
Family
ID=80829976
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111602172.2A Pending CN114265882A (zh) | 2021-12-24 | 2021-12-24 | 时序信号点异常检测方法、系统、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114265882A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114799610A (zh) * | 2022-06-24 | 2022-07-29 | 苏芯物联技术(南京)有限公司 | 一种基于傅里叶逆变换及自编码器的焊接质量实时检测方法及系统 |
CN116510223A (zh) * | 2023-06-29 | 2023-08-01 | 欣灵电气股份有限公司 | 基于物联网的自识别消防泵电参数巡检监测系统 |
CN116738170A (zh) * | 2023-06-13 | 2023-09-12 | 无锡物联网创新中心有限公司 | 一种工业设备的异常分析方法及相关装置 |
CN116989897A (zh) * | 2023-09-26 | 2023-11-03 | 山东聚亨源环保科技有限公司 | 一种低功耗的可车载式危废库远程异常监测系统 |
-
2021
- 2021-12-24 CN CN202111602172.2A patent/CN114265882A/zh active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114799610A (zh) * | 2022-06-24 | 2022-07-29 | 苏芯物联技术(南京)有限公司 | 一种基于傅里叶逆变换及自编码器的焊接质量实时检测方法及系统 |
CN114799610B (zh) * | 2022-06-24 | 2022-10-04 | 苏芯物联技术(南京)有限公司 | 一种基于傅里叶逆变换及自编码器的焊接质量实时检测方法及系统 |
CN116738170A (zh) * | 2023-06-13 | 2023-09-12 | 无锡物联网创新中心有限公司 | 一种工业设备的异常分析方法及相关装置 |
CN116510223A (zh) * | 2023-06-29 | 2023-08-01 | 欣灵电气股份有限公司 | 基于物联网的自识别消防泵电参数巡检监测系统 |
CN116510223B (zh) * | 2023-06-29 | 2023-09-01 | 欣灵电气股份有限公司 | 基于物联网的自识别消防泵电参数巡检监测系统 |
CN116989897A (zh) * | 2023-09-26 | 2023-11-03 | 山东聚亨源环保科技有限公司 | 一种低功耗的可车载式危废库远程异常监测系统 |
CN116989897B (zh) * | 2023-09-26 | 2023-12-22 | 山东聚亨源环保科技有限公司 | 一种低功耗的可车载式危废库远程异常监测系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114265882A (zh) | 时序信号点异常检测方法、系统、设备及介质 | |
CN112232447B (zh) | 一种电力设备状态监测数据的完整样本集的构建方法 | |
CN111914873A (zh) | 一种两阶段云服务器无监督异常预测方法 | |
CN113868006B (zh) | 时间序列的检测方法、装置、电子设备及计算机存储介质 | |
CN112414694B (zh) | 基于多元状态估计技术的设备多级异常状态识别方法及装置 | |
CN115293280A (zh) | 基于时空特征分割重构的动力装备系统异常检测方法 | |
CN110991471B (zh) | 一种高速列车牵引系统故障诊断方法 | |
CN115471216B (zh) | 智慧实验室管理平台的数据管理方法 | |
CN110991504A (zh) | 基于motcn-ae的多维时间序列异常值检测方法及系统 | |
CN115409131A (zh) | 基于spc过程管控系统的生产线异常检测方法 | |
CN116089218A (zh) | 基于Kubernetes的历史数据和趋势分析的动态基线告警方法及系统 | |
CN113259216B (zh) | 一种can总线信号解析方法及系统 | |
CN112990372B (zh) | 一种数据处理方法、模型训练方法、装置及电子设备 | |
CN114139624A (zh) | 一种基于集成模型挖掘时间序列数据相似性信息的方法 | |
CN115963344A (zh) | 故障检测方法、装置、电子设备及存储介质 | |
CN116979690A (zh) | 一种基于物联网的电网远程智能监测系统及方法 | |
CN116126807A (zh) | 一种日志分析方法及相关装置 | |
CN115310499A (zh) | 一种基于数据融合的工业设备故障诊断系统及方法 | |
CN114692767A (zh) | 异常检测方法和装置、计算机可读存储介质、电子设备 | |
CN113239075A (zh) | 一种施工数据自检方法及系统 | |
CN114255373B (zh) | 序列异常检测方法、装置、电子设备和可读介质 | |
CN117668684B (zh) | 基于大数据分析的电网电能数据异常检测方法 | |
CN116543538B (zh) | 一种物联网消防电气预警方法及预警系统 | |
CN117131465B (zh) | 单管塔损伤识别方法、装置、电子设备及可读存储介质 | |
CN116821831A (zh) | 电力智能巡检系统及其方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 401329 No. 5-6, building 2, No. 66, Nongke Avenue, Baishiyi Town, Jiulongpo District, Chongqing Applicant after: MCC CCID information technology (Chongqing) Co.,Ltd. Address before: 401329 No. 5-6, building 2, No. 66, Nongke Avenue, Baishiyi Town, Jiulongpo District, Chongqing Applicant before: CISDI CHONGQING INFORMATION TECHNOLOGY Co.,Ltd. |
|
CB02 | Change of applicant information |