CN115952465A - 一种传感器数据异常检测的方法、装置及计算机存储介质 - Google Patents

一种传感器数据异常检测的方法、装置及计算机存储介质 Download PDF

Info

Publication number
CN115952465A
CN115952465A CN202310225845.XA CN202310225845A CN115952465A CN 115952465 A CN115952465 A CN 115952465A CN 202310225845 A CN202310225845 A CN 202310225845A CN 115952465 A CN115952465 A CN 115952465A
Authority
CN
China
Prior art keywords
sensor data
data sequence
neural network
acquired
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310225845.XA
Other languages
English (en)
Other versions
CN115952465B (zh
Inventor
刘兴顺
文吉
熊昌伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CHANJET INFORMATION TECHNOLOGY CO LTD
Original Assignee
CHANJET INFORMATION TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CHANJET INFORMATION TECHNOLOGY CO LTD filed Critical CHANJET INFORMATION TECHNOLOGY CO LTD
Priority to CN202310225845.XA priority Critical patent/CN115952465B/zh
Publication of CN115952465A publication Critical patent/CN115952465A/zh
Application granted granted Critical
Publication of CN115952465B publication Critical patent/CN115952465B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Testing Or Calibration Of Command Recording Devices (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

本发明提出了一种传感器数据异常检测的方法、装置及计算机存储介质，涉及数据处理及人工智能技术领域，该方法包括：训练步骤，构建LSTM神经网络模型，使用采集的历史传感器数据进行训练得到训练好的LSTM神经网络模型；预测步骤，将实时采集的传感器数据序列输入至训练好的LSTM神经网络模型进行预测，如果所采集的传感器数据序列正常，则将采集的传感器数据序列存储在数据库中，否则，则进行场景分类；场景分类步骤，将预测为异常的传感器数据序列输入至训练好的场景分类模型中，得到异常的场景类型，并将异常的场景类型输出至电子显示屏上。本发明采用两个智能模型，从而整体上提高了异常数据检测的准确度及场景分类的准确度。

Description

一种传感器数据异常检测的方法、装置及计算机存储介质
技术领域
本发明涉及数据处理及人工智能技术领域，具体涉及一种传感器数据异常检测的方法、装置及计算机存储介质。
背景技术
对于周期性的时序数据（如每分钟的业务总量、每分钟业务成功笔数、传感器采集的数据等），其可以直观展示业务的健康状态。当数据发生突增、突降或者其他偏差情况时，往往意味着数据背后所代表的业务出现了问题，需要关注。
现有技术中，将异常数据的检测及分类采用一个模型，导致模型结构复杂，从而检测及场景识别精度降低，现有技术中各阈值的计算一般也就是仅考虑极大值、极小值、均值等等简单的方式，导致异常数据检测不准确。
发明内容
本发明针对上述现有技术中一个或多个技术缺陷，提出了如下技术方案。
一种传感器数据异常检测的方法，该方法包括：
训练步骤，构建LSTM神经网络模型，使用采集的历史传感器数据进行训练得到训练好的LSTM神经网络模型；
预测步骤，将实时采集的传感器数据序列输入至训练好的LSTM神经网络模型进行预测，如果所述采集的传感器数据序列正常，则将所述采集的传感器数据序列存储在数据库中，否则，则进行场景分类；
场景分类步骤，将预测为异常的传感器数据序列输入至训练好的场景分类模型中，得到异常的场景类型，并将所述异常的场景类型输出至电子显示屏上。
更进一步地，所述训练步骤的操作为：将所述采集的历史传感器数据根据时间序列划分为四部分：T、T+△t、T+2△t、T+3△t，构建三个历史传感器数据集合S1=（T、T+△t）、S2=（T、T+2△t）和S3=（T、T+3△t），针对集合S1、S2和S3分别计算上下阈值S1max、S1min、S2max、S2min和S3max、S3min，计算融合上下阈值：
Smax=W1*S1max+W2*S2max+W3*S3max；
Smin=W4*S1min+W5*S2min+W6*S3min；
基于所述S1max、S1min、S2max、S2min、S3max、S3min、Smax和Smin使用三个数据集合S1、S2和S3对所述LSTM神经网络模型进行训练得到训练好的LSTM神经网络模型，其中，W1、W2、W3、W4、W5和W6为权重系数。
更进一步地，所述W1、W2、W3、W4、W5和W6的计算方式为：
Figure SMS_1
；
Figure SMS_2
；
Figure SMS_3
；
Figure SMS_4
；
Figure SMS_5
；
Figure SMS_6
；
其中，
Figure SMS_7
、
Figure SMS_8
和
Figure SMS_9
分别为数据集合S1、S2和S3中数据的标准差，
Figure SMS_10
、
Figure SMS_11
和
Figure SMS_12
分别为数据集合S1、S2和S3中数据的均值。
更进一步地，所述传感器为网络中的流量传感器。
更进一步地，所述预测步骤的操作为：将实时采集的传感器数据序列输入至训练好的LSTM神经网络模型进行预测，所述预测为将所述采集的传感器数据序列与所述S1max、S1min、S2max、S2min、S3max、S3min、Smax和Smin进行比较，如果所述采集的传感器数据序列中的数据都大于S1min、S2min、S3min和Smin且小于S1max、S2max、S3max和Smax，则将所述采集的传感器数据序列正常，将其存储在数据库中，否则，则进行场景分类。
更进一步地，所述异常的场景类型包括：数据缺失类型，定义为缺失数据的持续时间为t，通过调整持续时间t来调整数据缺失告警的缺失时长；
尖刺/低谷类型，定义在一个时间段CT内出现n次异常，通过调整CT窗口大小、出现异常次数n来自定义尖刺/低谷的大小；
持续性异常类型，定义为存在数据但在连续时间st内数据存在异常，通过调整st来自定义该类型的异常；
指数级增长类型，当指数级增长类型开启时，需要定义指数级阈值倍率参数，即距离平均值k个标准差，k值大于10；
断崖式下跌类型，当断崖式下跌类型开启时，需要定义断崖式阈值倍率参数，即距离平均值L个标准差，L值大于10。
本发明还提出了一种传感器数据异常检测的装置，该装置包括：
训练单元，构建LSTM神经网络模型，使用采集的历史传感器数据进行训练得到训练好的LSTM神经网络模型；
预测单元，将实时采集的传感器数据序列输入至训练好的LSTM神经网络模型进行预测，如果所述采集的传感器数据序列正常，则将所述采集的传感器数据序列存储在数据库中，否则，则进行场景分类；
场景分类单元，将预测为异常的传感器数据序列输入至训练好的场景分类模型中，得到异常的场景类型，并将所述异常的场景类型输出至电子显示屏上。
更进一步地，所述训练单元的操作为：将所述采集的历史传感器数据根据时间序列划分为四部分：T、T+△t、T+2△t、T+3△t，构建三个历史传感器数据集合S1=（T、T+△t）、S2=（T、T+2△t）和S3=（T、T+3△t），针对集合S1、S2和S3分别计算上下阈值S1max、S1min、S2max、S2min和S3max、S3min，计算融合上下阈值：
Smax=W1*S1max+W2*S2max+W3*S3max；
Smin=W4*S1min+W5*S2min+W6*S3min；
基于所述S1max、S1min、S2max、S2min、S3max、S3min、Smax和Smin使用三个数据集合S1、S2和S3对所述LSTM神经网络模型进行训练得到训练好的LSTM神经网络模型，其中，W1、W2、W3、W4、W5和W6为权重系数。
更进一步地，所述W1、W2、W3、W4、W5和W6的计算方式为：
Figure SMS_13
；
Figure SMS_14
；
Figure SMS_15
；
Figure SMS_16
；
Figure SMS_17
；
Figure SMS_18
；
其中，
Figure SMS_19
、
Figure SMS_20
和
Figure SMS_21
分别为数据集合S1、S2和S3中数据的标准差，
Figure SMS_22
、
Figure SMS_23
和
Figure SMS_24
分别为数据集合S1、S2和S3中数据的均值。
更进一步地，所述传感器为网络中的流量传感器。
更进一步地，所述预测步骤的操作为：将实时采集的传感器数据序列输入至训练好的LSTM神经网络模型进行预测，所述预测为将所述采集的传感器数据序列与所述S1max、S1min、S2max、S2min、S3max、S3min、Smax和Smin进行比较，如果所述采集的传感器数据序列中的数据都大于S1min、S2min、S3min和Smin且小于S1max、S2max、S3max和Smax，则将所述采集的传感器数据序列正常，将其存储在数据库中，否则，则进行场景分类。
更进一步地，所述异常的场景类型包括：数据缺失类型，定义为缺失数据的持续时间为t，通过调整持续时间t来调整数据缺失告警的缺失时长；
尖刺/低谷类型，定义在一个时间段CT内出现n次异常，通过调整CT窗口大小、出现异常次数n来自定义尖刺/低谷的大小；
持续性异常类型，定义为存在数据但在连续时间st内数据存在异常，通过调整st来自定义该类型的异常；
指数级增长类型，当指数级增长类型开启时，需要定义指数级阈值倍率参数，即距离平均值k个标准差，k值大于10；
断崖式下跌类型，当断崖式下跌开启时，需要定义断崖式阈值倍率参数，即距离平均值L个标准差，L值大于10。
本发明还提出了一种计算机可读存储介质，所述存储介质上存储有计算机程序代码，当所述计算机程序代码被计算机执行时执行上述之任一的方法。
本发明的技术效果在于：本发明的一种传感器数据异常检测的方法、装置及存储介质，该方法包括：训练步骤S101，构建LSTM神经网络模型，使用采集的历史传感器数据进行训练得到训练好的LSTM神经网络模型；预测步骤S102，将实时采集的传感器数据序列输入至训练好的LSTM神经网络模型进行预测，如果所述采集的传感器数据序列正常，则将所述采集的传感器数据序列存储在数据库中，否则，则进行场景分类；场景分类步骤S103，将预测为异常的传感器数据序列输入至训练好的场景分类模型中，得到异常的场景类型，并将所述异常的场景类型输出至电子显示屏上。本发明通过训练后的LSTM神经网络模型对实时采集的传感器数据序列进行预测，如果所采集的传感器数据序列正常，则将所述采集的传感器数据序列存储在数据库中，否则，则进行场景分类，将预测为异常的传感器数据序列输入至训练好的场景分类模型中，得到异常的场景类型。从而实现了传感器采集的异常数据的智能分类，由于采用两个智能模型，一个模型进行异常数据的检测，另一个模型实现场景的分类，降低了单个模型的复杂度，且提高了单个模型的精度，从而整体上提高了异常数据检测的准确度及场景分类的准确度；本发明提出了具体的融合上下阈值计算方式中的权重计算方法，即融合上阈值计算时各权重与标准差相关，即融合下阈值计算时各权重与均值相关，从而将各数据集导致的预测影响降低，以提高异常检测精度。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显。
图1是根据本发明的实施例的一种传感器数据异常检测的方法的流程图。
图2是根据本发明的实施例的一种传感器数据异常检测的装置的结构图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了本发明的一种传感器数据异常检测的方法，该方法包括：
训练步骤S101，构建LSTM神经网络模型，使用采集的历史传感器数据进行训练得到训练好的LSTM神经网络模型；
预测步骤S102，将实时采集的传感器数据序列输入至训练好的LSTM神经网络模型进行预测，如果所述采集的传感器数据序列正常，则将所述采集的传感器数据序列存储在数据库中，否则，则进行场景分类；
场景分类步骤S103，将预测为异常的传感器数据序列输入至训练好的场景分类模型中，得到异常的场景类型，并将所述异常的场景类型输出至电子显示屏上。
本发明中，当stream时序数据（传感器采集的）进入异常检测器（LSTM神经网络模型），完成异常检测后，数据会有两种流向：异常和正常，其中正常时数据流入数据库后自动结束。当结果为异常时，该数据会传到场景分类器（即场景分类模型），场景分类器会进行场景匹配操作，对匹配到场景的数据进行告警，匹配不到的情况，根据场景的定义，决定是否继续等待下一个点或直接结束。
本发明通过训练后的LSTM神经网络模型对实时采集的传感器数据序列进行预测，如果所采集的传感器数据序列正常，则将所述采集的传感器数据序列存储在数据库中，否则，则进行场景分类，将预测为异常的传感器数据序列输入至训练好的场景分类模型中，得到异常的场景类型。从而实现了传感器采集的异常数据的智能分类，由于采用两个智能模型，一个模型进行异常数据的检测，另一个模型实现场景的分类，降低了单个模型的复杂度，且提高了单个模型的精度，从而整体上提高了异常数据检测的准确度及场景分类的准确度，这是本发明的一个重要发明点。
在一个实施例中，所述训练步骤S101的操作为：将所述采集的历史传感器数据根据时间序列划分为四部分：T、T+△t、T+2△t、T+3△t，构建三个历史传感器数据集合S1=（T、T+△t）、S2=（T、T+2△t）和S3=（T、T+3△t），针对集合S1、S2和S3分别计算上下阈值S1max、S1min、S2max、S2min和S3max、S3min，计算融合上下阈值：
Smax=W1*S1max+W2*S2max+W3*S3max；
Smin=W4*S1min+W5*S2min+W6*S3min；
基于所述S1max、S1min、S2max、S2min、S3max、S3min、Smax和Smin使用三个数据集合S1、S2和S3对所述LSTM神经网络模型进行训练得到训练好的LSTM神经网络模型，其中，W1、W2、W3、W4、W5和W6为权重系数。
本发明中，为了提高数据异常检测的准确度，先将训练样本数据，即历史传感器数据根据时间序列划分为四部分：T、T+△t、T+2△t、T+3△t，构建三个历史传感器数据集合S1=（T、T+△t）、S2=（T、T+2△t）和S3=（T、T+3△t），针对集合S1、S2和S3分别计算上下阈值S1max、S1min、S2max、S2min和S3max、S3min，计算融合上下阈值，并设计了融合上下阈值的具体计算方式，由于将数据分为T、T+△t、T+2△t、T+3△t，可以将一个时间内数据不均匀导致的误差降低至最小，从而提高了预测精度，进而实现了数据异常的检测精度，这是本发明的另一个重要发明点。
在一个更进一步的实施例中，所述W1、W2、W3、W4、W5和W6的计算方式为：
Figure SMS_25
；
Figure SMS_26
；
Figure SMS_27
；
Figure SMS_28
；
Figure SMS_29
；
Figure SMS_30
；
其中，
Figure SMS_31
、
Figure SMS_32
和
Figure SMS_33
分别为数据集合S1、S2和S3中数据的标准差，
Figure SMS_34
、
Figure SMS_35
和
Figure SMS_36
分别为数据集合S1、S2和S3中数据的均值。本发明提出了具体的融合上下阈值计算方式中的权重计算方法，即融合上阈值计算时各权重与标准差相关，即融合下阈值计算时各权重与均值相关，从而将各数据集导致的预测影响降低，以提高异常检测精度，这是本发明的另一个重要发明点。
本发明中，所述传感器为网络中的流量传感器，当然也可以是其它类型的传感器，如温度传感器、电压传感器等等。
在一个更进一步的实施例中，所述预测步骤S102的操作为：将实时采集的传感器数据序列输入至训练好的LSTM神经网络模型进行预测，所述预测为将所述数据序列与所述S1max、S1min、S2max、S2min、S3max、S3min、Smax和Smin进行比较，如果所采集的传感器数据序列中的数据都大于S1min、S2min、S3min和Smin且小于S1max、S2max、S3max和Smax，则将所述采集的传感器数据序列正常，将其存储在数据库中，否则，则进行场景分类。采用LSTM神经网络模型可以同时对大量的数据的进行预测，提高了预测效率，解决了传统的逐一比对的方式效率低的技术问题，这是本发明的另一个重要发明点。
在一个更进一步的实施例中，所述异常的场景类型包括：数据缺失类型，定义为缺失数据的持续时间为t，通过调整持续时间t来调整数据缺失告警的缺失时长；
尖刺/低谷类型，定义在一个时间段CT内出现n次异常，通过调整CT窗口大小、出现异常次数n来自定义尖刺/低谷的大小；
持续性异常类型，定义为存在数据但在连续时间st内数据存在异常，通过调整st来自定义该类型的异常；
指数级增长类型，当指数级增长类型开启时，需要定义指数级阈值倍率参数，即距离平均值k个标准差，k值大于10；
断崖式下跌类型，当断崖式下跌开启时，需要定义断崖式阈值倍率参数，即距离平均值L个标准差，L值大于10。
本发明中定义了场景的具体类型，并且各种类型是可以用户自己定义的，用户可以随时对各种类型进行调整，方便异常场景分类的调整，这是本申请的另一个重要发明点。
本发明可用于基于分组的环比数据进行检测，可避免节假日和周末带来的影响，以及避免历史数据中的异常导致阈值偏离。一般情况下，在做异常检测时首先需要对节假日和周末进行特殊处理，需要提前导入本年度的节假日日历，且需要不断更新，规则也非常复杂，且需要对历史数据做特殊处理，逻辑非常复杂。而本发明通过分组机制和向前数周的环比动作，可以很大程度减少误报。
本发明无需人工干预模型训练和检测过程，在时序数据实时接入的过程中，只要有足够的数据就可以计算得到上下阈值曲线，该观念类似于滑动窗口的概念，每个时间点都是滚动计算得到的动态阈值，其中人工可干预阈值的宽窄，通过调整标准差倍率完成。另外可通过场景分类器中的参数，对部分毛刺等情况进行过滤。如此，通过极简化调参的算法，即可完成本需要大量人工才能覆盖的业务数据巡检和异常检测，数据源适配具有多样性，且该算法为轻量级算法，执行效率高，准确性高。
图2示出了本发明的一种传感器数据异常检测的装置，该装置包括：
训练单元201，构建LSTM神经网络模型，使用采集的历史传感器数据进行训练得到训练好的LSTM神经网络模型；
预测单元202，将实时采集的传感器数据序列输入至训练好的LSTM神经网络模型进行预测，如果所述采集的传感器数据序列正常，则将所述采集的传感器数据序列存储在数据库中，否则，则进行场景分类；
场景分类单元203，将预测为异常的传感器数据序列输入至训练好的场景分类模型中，得到异常的场景类型，并将所述异常的场景类型输出至电子显示屏上。
本发明中，当stream时序数据（传感器采集的）进入异常检测器（LSTM神经网络模型），完成异常检测后，数据会有两种流向：异常和正常，其中正常时数据流入数据库后自动结束。当结果为异常时，该数据会传到场景分类器（即场景分类模型），场景分类器会进行场景匹配操作，对匹配到场景的数据进行告警，匹配不到的情况，根据场景的定义，决定是否继续等待下一个点或直接结束。
本发明通过训练后的LSTM神经网络模型对实时采集的传感器数据序列进行预测，如果所采集的传感器数据序列正常，则将所述采集的传感器数据序列存储在数据库中，否则，则进行场景分类，将预测为异常的传感器数据序列输入至训练好的场景分类模型中，得到异常的场景类型。从而实现了传感器采集的异常数据的智能分类，由于采用两个智能模型，一个模型进行异常数据的检测，另一个模型实现场景的分类，降低了单个模型的复杂度，且提高了单个模型的精度，从而整体上提高了异常数据检测的准确度及场景分类的准确度，这是本发明的一个重要发明点。
在一个实施例中，所述训练单元201的操作为：将所述采集的历史传感器数据根据时间序列划分为四部分：T、T+△t、T+2△t、T+3△t，构建三个历史传感器数据集合S1=（T、T+△t）、S2=（T、T+2△t）和S3=（T、T+3△t），针对集合S1、S2和S3分别计算上下阈值S1max、S1min、S2max、S2min和S3max、S3min，计算融合上下阈值：
Smax=W1*S1max+W2*S2max+W3*S3max；
Smin=W4*S1min+W5*S2min+W6*S3min；
基于所述S1max、S1min、S2max、S2min、S3max、S3min、Smax和Smin使用三个数据集合S1、S2和S3对所述LSTM神经网络模型进行训练得到训练好的LSTM神经网络模型，其中，W1、W2、W3、W4、W5和W6为权重系数。
本发明中，为了提高数据异常检测的准确度，先将训练样本数据，即历史传感器数据根据时间序列划分为四部分：T、T+△t、T+2△t、T+3△t，构建三个历史传感器数据集合S1=（T、T+△t）、S2=（T、T+2△t）和S3=（T、T+3△t），针对集合S1、S2和S3分别计算上下阈值S1max、S1min、S2max、S2min和S3max、S3min，计算融合上下阈值，并设计了融合上下阈值的具体计算方式，由于将数据分为T、T+△t、T+2△t、T+3△t，可以将一个时间内数据不均匀导致的误差降低至最小，从而提高了预测精度，进而实现了数据异常的检测精度，这是本发明的另一个重要发明点。
在一个更进一步的实施例中，所述W1、W2、W3、W4、W5和W6的计算方式为：
Figure SMS_37
；
Figure SMS_38
；
Figure SMS_39
；
Figure SMS_40
；
Figure SMS_41
；
Figure SMS_42
；
其中，
Figure SMS_43
、
Figure SMS_44
和
Figure SMS_45
分别为数据集合S1、S2和S3中数据的标准差，
Figure SMS_46
、
Figure SMS_47
和
Figure SMS_48
分别为数据集合S1、S2和S3中数据的均值。本发明提出了具体的融合上下阈值计算方式中的权重计算方法，即融合上阈值计算时各权重与标准差相关，即融合下阈值计算时各权重与均值相关，从而将各数据集导致的预测影响降低，以提高异常检测精度，这是本发明的另一个重要发明点。
本发明中，所述传感器为网络中的流量传感器，当然也可以是其它类型的传感器，如温度传感器、电压传感器等等。
在一个更进一步的实施例中，所述预测单元202的操作为：将实时采集的传感器数据序列输入至训练好的LSTM神经网络模型进行预测，所述预测为将所述数据序列与所述S1max、S1min、S2max、S2min、S3max、S3min、Smax和Smin进行比较，如果所采集的传感器数据序列中的数据都大于S1min、S2min、S3min和Smin且小于S1max、S2max、S3max和Smax，则将所述采集的传感器数据序列正常，将其存储在数据库中，否则，则进行场景分类。采用LSTM神经网络模型可以同时对大量的数据的进行预测，提高了预测效率，解决了传统的逐一比对的方式效率低的技术问题，这是本发明的另一个重要发明点。
在一个更进一步的实施例中，所述异常的场景类型包括：数据缺失类型，定义为缺失数据的持续时间为t，通过调整持续时间t来调整数据缺失告警的缺失时长；
尖刺/低谷类型，定义在一个时间段CT内出现n次异常，通过调整CT窗口大小、出现异常次数n来自定义尖刺/低谷的大小；
持续性异常类型，定义为存在数据但在连续时间st内数据存在异常，通过调整st来自定义该类型的异常；
指数级增长类型，当指数级增长类型开启时，需要定义指数级阈值倍率参数，即距离平均值k个标准差，k值大于10；
断崖式下跌类型，当断崖式下跌开启时，需要定义断崖式阈值倍率参数，即距离平均值L个标准差，L值大于10。
本发明中定义了场景的具体类型，并且各种类型是可以用户自己定义的，用户可以随时对各种类型进行调整，方便异常场景分类的调整，这是本申请的另一个重要发明点。
本发明可用于基于分组的环比数据进行检测，可避免节假日和周末带来的影响，以及避免历史数据中的异常导致阈值偏离。一般情况下，在做异常检测时首先需要对节假日和周末进行特殊处理，需要提前导入本年度的节假日日历，且需要不断更新，规则也非常复杂，且需要对历史数据做特殊处理，逻辑非常复杂。而本发明通过分组机制和向前数周的环比动作，可以很大程度减少误报。
本发明无需人工干预模型训练和检测过程，在时序数据实时接入的过程中，只要有足够的数据就可以计算得到上下阈值曲线，该观念类似于滑动窗口的概念，每个时间点都是滚动计算得到的动态阈值，其中人工可干预阈值的宽窄，通过调整标准差倍率完成。另外可通过场景分类器中的参数，对部分毛刺等情况进行过滤。如此，通过极简化调参的算法，即可完成本需要大量人工才能覆盖的业务数据巡检和异常检测，数据源适配具有多样性，且该算法为轻量级算法，执行效率高，准确性高。
本发明一个实施例中提出了一种计算机存储介质，所述计算机存储介质上存储有计算机程序，当所述计算机存储介质上的计算机程序被处理器执行时实现上述的方法，该计算机存储介质可以是硬盘、DVD、CD、闪存等等存储器。
本发明的为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例或者实施例的某些部分所述的装置。
最后所应说明的是：以上实施例仅以说明而非限制本发明的技术方案，尽管参照上述实施例对本发明进行了详细说明，本领域的普通技术人员应当理解：依然可以对本发明进行修改或者等同替换，而不脱离本发明的精神和范围的任何修改或局部替换，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种传感器数据异常检测的方法，其特征在于，该方法包括：
训练步骤，构建LSTM神经网络模型，使用采集的历史传感器数据进行训练得到训练好的LSTM神经网络模型；
预测步骤，将实时采集的传感器数据序列输入至训练好的LSTM神经网络模型进行预测，如果所述采集的传感器数据序列正常，则将所述采集的传感器数据序列存储在数据库中，否则，则进行场景分类；
场景分类步骤，将预测为异常的传感器数据序列输入至训练好的场景分类模型中，得到异常的场景类型，并将所述异常的场景类型输出至电子显示屏上。
2.根据权利要求1所述的方法，其特征在于，所述训练步骤的操作为：将所述采集的历史传感器数据根据时间序列划分为四部分：T、T+△t、T+2△t、T+3△t，构建三个历史传感器数据集合S1=（T、T+△t）、S2=（T、T+2△t）和S3=（T、T+3△t），针对集合S1、S2和S3分别计算上下阈值S1max、S1min、S2max、S2min和S3max、S3min，计算融合上下阈值：
Smax=W1*S1max+W2*S2max+W3*S3max；
Smin=W4*S1min+W5*S2min+W6*S3min；
基于所述S1max、S1min、S2max、S2min、S3max、S3min、Smax和Smin使用三个数据集合S1、S2和S3对所述LSTM神经网络模型进行训练得到训练好的LSTM神经网络模型，其中，W1、W2、W3、W4、W5和W6为权重系数。
3.根据权利要求2所述的方法，其特征在于，所述传感器为网络中的流量传感器。
4.根据权利要求3所述的方法，其特征在于，所述预测步骤的操作为：将实时采集的传感器数据序列输入至训练好的LSTM神经网络模型进行预测，所述预测为将所述采集的传感器数据序列与所述S1max、S1min、S2max、S2min、S3max、S3min、Smax和Smin进行比较，如果所述采集的传感器数据序列中的数据都大于S1min、S2min、S3min和Smin且小于S1max、S2max、S3max和Smax，则将所述采集的传感器数据序列正常，将其存储在数据库中，否则，则进行场景分类。
5.根据权利要求4所述的方法，其特征在于，所述异常的场景类型包括：数据缺失类型，定义为缺失数据的持续时间为t，通过调整持续时间t来调整数据缺失告警的缺失时长；
尖刺/低谷类型，定义在一个时间段CT内出现n次异常，通过调整CT窗口大小、出现异常次数n来自定义尖刺/低谷的大小；
持续性异常类型，定义为存在数据但在连续时间st内数据存在异常，通过调整st来自定义该类型的异常；
指数级增长类型，当指数级增长类型开启时，需要定义指数级阈值倍率参数，即距离平均值k个标准差，k值大于10；
断崖式下跌类型，当断崖式下跌类型开启时，需要定义断崖式阈值倍率参数，即距离平均值L个标准差，L值大于10。
6.一种传感器数据异常检测的装置，其特征在于，该装置包括：
训练单元，构建LSTM神经网络模型，使用采集的历史传感器数据进行训练得到训练好的LSTM神经网络模型；
预测单元，将实时采集的传感器数据序列输入至训练好的LSTM神经网络模型进行预测，如果所述采集的传感器数据序列正常，则将所述采集的传感器数据序列存储在数据库中，否则，则进行场景分类；
场景分类单元，将预测为异常的传感器数据序列输入至训练好的场景分类模型中，得到异常的场景类型，并将所述异常的场景类型输出至电子显示屏上。
7.根据权利要求6所述的装置，其特征在于，所述训练单元的操作为：将所述采集的历史传感器数据根据时间序列划分为四部分：T、T+△t、T+2△t、T+3△t，构建三个历史传感器数据集合S1=（T、T+△t）、S2=（T、T+2△t）和S3=（T、T+3△t），针对集合S1、S2和S3分别计算上下阈值S1max、S1min、S2max、S2min和S3max、S3min，计算融合上下阈值：
Smax=W1*S1max+W2*S2max+W3*S3max；
Smin=W4*S1min+W5*S2min+W6*S3min；
基于所述S1max、S1min、S2max、S2min、S3max、S3min、Smax和Smin使用三个数据集合S1、S2和S3对所述LSTM神经网络模型进行训练得到训练好的LSTM神经网络模型，其中，W1、W2、W3、W4、W5和W6为权重系数。
8.根据权利要求7所述的装置，其特征在于，所述传感器为网络中的流量传感器。
9.根据权利要求8所述的装置，其特征在于，所述预测步骤的操作为：将实时采集的传感器数据序列输入至训练好的LSTM神经网络模型进行预测，所述预测为将所述采集的传感器数据序列与所述S1max、S1min、S2max、S2min、S3max、S3min、Smax和Smin进行比较，如果所述采集的传感器数据序列中的数据都大于S1min、S2min、S3min和Smin且小于S1max、S2max、S3max和Smax，则将所述采集的传感器数据序列正常，将其存储在数据库中，否则，则进行场景分类。
10.一种计算机存储介质，所述计算机存储介质上存储有计算机程序，当所述计算机存储介质上的计算机程序被处理器执行时实现权利要求1-5任一项所述的方法。
CN202310225845.XA 2023-03-10 2023-03-10 一种传感器数据异常检测的方法、装置及计算机存储介质 Active CN115952465B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310225845.XA CN115952465B (zh) 2023-03-10 2023-03-10 一种传感器数据异常检测的方法、装置及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310225845.XA CN115952465B (zh) 2023-03-10 2023-03-10 一种传感器数据异常检测的方法、装置及计算机存储介质

Publications (2)

Publication Number Publication Date
CN115952465A true CN115952465A (zh) 2023-04-11
CN115952465B CN115952465B (zh) 2023-07-21

Family

ID=85891198

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310225845.XA Active CN115952465B (zh) 2023-03-10 2023-03-10 一种传感器数据异常检测的方法、装置及计算机存储介质

Country Status (1)

Country Link
CN (1) CN115952465B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116204846A (zh) * 2023-05-06 2023-06-02 云南星晟电力技术有限公司 一种基于可见图的配电网传感器数据异常快速定位方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106815639A (zh) * 2016-12-27 2017-06-09 东软集团股份有限公司 流数据的异常点检测方法及装置
CN108494746A (zh) * 2018-03-07 2018-09-04 长安通信科技有限责任公司 一种网络端口流量异常检测方法及系统
US20190095301A1 (en) * 2017-09-22 2019-03-28 Penta Security Systems Inc. Method for detecting abnormal session
CN111178456A (zh) * 2020-01-15 2020-05-19 腾讯科技（深圳）有限公司 异常指标检测方法、装置、计算机设备和存储介质
CN114021627A (zh) * 2021-10-25 2022-02-08 国家计算机网络与信息安全管理中心 一种融合lstm与场景规则知识的异常轨迹检测方法及装置
CN115409114A (zh) * 2022-08-31 2022-11-29 济南永信新材料科技有限公司 一种数据流两阶段早期分类方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106815639A (zh) * 2016-12-27 2017-06-09 东软集团股份有限公司 流数据的异常点检测方法及装置
US20190095301A1 (en) * 2017-09-22 2019-03-28 Penta Security Systems Inc. Method for detecting abnormal session
CN108494746A (zh) * 2018-03-07 2018-09-04 长安通信科技有限责任公司 一种网络端口流量异常检测方法及系统
CN111178456A (zh) * 2020-01-15 2020-05-19 腾讯科技（深圳）有限公司 异常指标检测方法、装置、计算机设备和存储介质
CN114021627A (zh) * 2021-10-25 2022-02-08 国家计算机网络与信息安全管理中心 一种融合lstm与场景规则知识的异常轨迹检测方法及装置
CN115409114A (zh) * 2022-08-31 2022-11-29 济南永信新材料科技有限公司 一种数据流两阶段早期分类方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116204846A (zh) * 2023-05-06 2023-06-02 云南星晟电力技术有限公司 一种基于可见图的配电网传感器数据异常快速定位方法
CN116204846B (zh) * 2023-05-06 2023-08-01 云南星晟电力技术有限公司 一种基于可见图的配电网传感器数据异常快速定位方法

Also Published As

Publication number Publication date
CN115952465B (zh) 2023-07-21

Similar Documents

Publication Publication Date Title
US10877863B2 (en) Automatic prediction system for server failure and method of automatically predicting server failure
CN111369016B (zh) 一种基于图像识别的现场运维方法及系统
CN108470172B (zh) 一种文本信息识别方法及装置
US10607463B2 (en) Automated object and activity tracking in a live video feed
US20190286990A1 (en) Deep Learning Apparatus and Method for Predictive Analysis, Classification, and Feature Detection
CN110288017B (zh) 基于动态结构优化的高精度级联目标检测方法与装置
EP4145345A1 (en) Data annotation method and device, and fine granularity identification method and device
CN107341508B (zh) 一种快速美食图片识别方法及系统
CN115952465A (zh) 一种传感器数据异常检测的方法、装置及计算机存储介质
CN113610331B (zh) 基于信息瀑布的成本核算方法、装置及存储介质
CN112633998B (zh) 税务大数据决策分析方法及系统
CN111931572B (zh) 一种遥感影像的目标检测方法
CN109410502A (zh) 火灾预警方法及装置
CN113139570A (zh) 一种基于最优混合估值的大坝安全监测数据补全方法
CN116756688A (zh) 一种基于多模态融合算法的舆情风险发现方法
EP4156092A1 (en) Image classification device, image classification method, and image classification program
CN117575685A (zh) 数据分析预警系统及方法
KR20220160974A (ko) 지도 학습 모델 및 비지도 학습 모델의 앙상블 구조를 이용한 대기질 데이터의 이상 판정 방법 및 시스템
CN110770753B (zh) 高维数据实时分析的装置和方法
EP4187438A1 (en) Object sample selection for training of neural networks
CN115712825A (zh) 一种基于工业互联网大数据的智能优化方法及系统
CN112580786B (zh) 一种用于ReID的神经网络构造方法及其训练方法
CN114220041A (zh) 目标识别方法、电子设备及存储介质
CN111625697A (zh) 一种基于条件生成对抗网络的网络数据标识过滤方法
CN113837173A (zh) 目标对象检测方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant