CN113537352A - 传感器异常值监测方法、装置、计算机设备及存储介质 - Google Patents

传感器异常值监测方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN113537352A
CN113537352A CN202110809529.8A CN202110809529A CN113537352A CN 113537352 A CN113537352 A CN 113537352A CN 202110809529 A CN202110809529 A CN 202110809529A CN 113537352 A CN113537352 A CN 113537352A
Authority
CN
China
Prior art keywords
data
sensor
abnormal
time window
monitored
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110809529.8A
Other languages
English (en)
Other versions
CN113537352B (zh
Inventor
张军
郑增荣
江子君
宋杰
胡辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Ruhr Technology Co Ltd
Original Assignee
Hangzhou Ruhr Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Ruhr Technology Co Ltd filed Critical Hangzhou Ruhr Technology Co Ltd
Priority to CN202110809529.8A priority Critical patent/CN113537352B/zh
Publication of CN113537352A publication Critical patent/CN113537352A/zh
Application granted granted Critical
Publication of CN113537352B publication Critical patent/CN113537352B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)

Abstract

本发明实施例公开了传感器异常值监测方法、装置、计算机设备及存储介质。所述方法包括：获取需要监测的传感器数据，以得到待监测传感器数据；采用移动窗口的方式划分所述待监测传感器数据，以得到时间窗口数据；将所述时间窗口数据输入至自编码解码器内计算欧式距离，以得到异常分数；计算所述时间窗口数据与所述时间窗口数据经过自编码解码器处理后的数据的DTW距离；对所述DTW距离以及所述异常分数进行加权处理，以得到最终异常分数；根据所述最终异常分数确定所述待监测传感器数据是否是异常值。通过实施本发明实施例的方法可实现可监测时间序列数据的异常值，且适用于不同的异常监测要求的场景中。

Description

传感器异常值监测方法、装置、计算机设备及存储介质
技术领域
本发明涉及异常值监测方法，更具体地说是指传感器异常值监测方法、装置、计算机设备及存储介质。
背景技术
无论是在环境监测还是机器实验过程中，均会采用传感器进行数据采集，但是对于传感器所采集的数据会因为所处环境以及自身的工作问题导致出现异常，表现为传感器所采集的是异常值，而对于环境监测或机器实验过程中，异常值的存在会对监测结果或实验结果造成一定的影响，因此，有必要对异常值进行监测。
现有的传感器异常监测方法是采用自编码算法进行异常值监测，而且是仅能针对单点监测异常值，不能全面监测，监测结果的准确率低，且由于自编码算法仅对于严重异常的数值才可以监测到，并不能适用于异常监测要求较高的场景。
因此，有必要设计一种新的方法，实现可监测时间序列数据的异常值，且适用于不同的异常监测要求的场景中。
发明内容
本发明的目的在于克服现有技术的缺陷，提供传感器异常值监测方法、装置、计算机设备及存储介质。
为实现上述目的，本发明采用以下技术方案：传感器异常值监测方法，包括：
获取需要监测的传感器数据，以得到待监测传感器数据；
采用移动窗口的方式划分所述待监测传感器数据，以得到时间窗口数据；
将所述时间窗口数据输入至自编码解码器内计算欧式距离，以得到异常分数；
计算所述时间窗口数据与所述时间窗口数据经过自编码解码器处理后的数据的DTW距离；
对所述DTW距离以及所述异常分数进行加权处理，以得到最终异常分数；
根据所述最终异常分数确定所述待监测传感器数据是否是异常值。
其进一步技术方案为：所述计算所述时间窗口数据与所述时间窗口数据经过自编码解码器处理后的数据的DTW距离，包括：
对所述时间窗口数据采用动态规划算法与所述时间窗口数据经过自编码解码器处理后的数据进行匹配，以计算DTW距离。
其进一步技术方案为：所述对所述DTW距离以及所述异常分数进行加权处理，以得到最终异常分数，包括：
确定所述DTW距离以及所述异常分数对应的权重；
根据所述DTW距离、所述异常分数以及对应的权重进行加权求和，以得到最终异常分数。
其进一步技术方案为：所述确定所述DTW距离以及所述异常分数对应的权重，包括：
根据监测项目的不同，通过网格选取参数的方式确定所述DTW距离以及所述异常分数对应的权重。
其进一步技术方案为：所述时间窗口数据包括当前监测点的待监测传感器数据以及监测点在设定时间段内的历史传感器数据。
其进一步技术方案为：所述待监测传感器数据的个数为至少一个。
其进一步技术方案为：所述自编码解码器是通过以移动窗口的方式划分传感器正常数据后，以当前监测点的传感器数据以及监测点在设定时间段内的历史传感器数据作为一个时间窗口训练所得的。
本发明还提供了传感器异常值监测装置，包括：
数据获取单元，用于获取需要监测的传感器数据，以得到待监测传感器数据；
划分单元，用于采用移动窗口的方式划分所述待监测传感器数据，以得到时间窗口数据；
分数计算单元，用于将所述时间窗口数据输入至自编码解码器内计算欧式距离，以得到异常分数；
距离计算单元，用于计算所述时间窗口数据与所述时间窗口数据经过自编码解码器处理后的数据的DTW距离；
加权处理单元，用于对所述DTW距离以及所述异常分数进行加权处理，以得到最终异常分数；
异常值确定单元，用于根据所述最终异常分数确定所述待监测传感器数据是否是异常值。
本发明还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
本发明还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现上述的方法。
本发明与现有技术相比的有益效果是：本发明通过采用移动窗口的方式对待监测传感器数据进行划分，以时间段的方式作为输入数据，输入至自编码解码器进行欧式距离计算，以得到异常分数；并加入DTW距离进行异常值的监测，以DTW距离以及异常分数进行加权求和，并以加权求和的结果进行异常值确定，实现可监测时间序列数据的异常值，且适用于不同的异常监测要求的场景中。
下面结合附图和具体实施例对本发明作进一步描述。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的传感器异常值监测方法的应用场景示意图；
图2为本发明实施例提供的传感器异常值监测方法的流程示意图；
图3为本发明实施例提供的传感器异常值监测方法的子流程示意图；
图4为本发明实施例提供的传感器异常值监测装置的示意性框图；
图5为本发明实施例提供的传感器异常值监测装置的加权处理单元的示意性框图；
图6为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1和图2，图1为本发明实施例提供的传感器异常值监测方法的应用场景示意图。图2为本发明实施例提供的传感器异常值监测方法的示意性流程图。该传感器异常值监测方法应用于服务器中，该服务器与传感器以及终端进行数据交互，获取传感器的数据，并采用移动窗口的方式，进行时间段的传感器数据监测，采用自编码解码器进行异常分数计算，并加入DTW距离进行度量，结合两者进行异常值的监测，并将监测结果反馈至终端。
上述的传感器异常值监测方法适用于传感器监测项，包括深部位移、地下水位计、雨量计等，每一个监测项都有对应的监测时间和监测值，对于实际项目来说，对于每一个监测时间点，都有若干监测项的数值如深部位移、地下水位计、雨量计等，假设有m个监测时间，n个监测项，那么原始数据就成为m*n的矩阵。对于每一个时间点的异常值监测，假设监测时间点为t，取t时刻及t时刻之前的K个时刻的数据组成观测窗口W(Xt-k，Xt-k-1，....，Xt)带入训练好的异常值检测算法进行异常值监测，从而得到t时刻的异常检测分数，设定合适的分数阈值，若超过阈值，则发出异常预警，对于时序数据来说，前K个时刻数据对t时刻数值影响最大，K算法中的超参数，训练模型的过程用以上方式结合历史数据带入模型训练。
图2是本发明实施例提供的传感器异常值监测方法的流程示意图。如图2所示，该方法包括以下步骤S110至S160。
S110、获取需要监测的传感器数据，以得到待监测传感器数据。
在本实施例中，待监测传感器数据是指传感器检测所得数据，比如雨量传感器检测所得的雨量数据等，依据不同的监测项目设置不同的传感器，以对传感器数据进行异常值的监测。
S120、采用移动窗口的方式划分所述待监测传感器数据，以得到时间窗口数据。
在本实施例中，时间窗口数据包括当前监测点的待监测传感器数据以及监测点在设定时间段内的历史传感器数据。
对于传感器数据来说，监测值为时间序列数据，传统的异常检测方法是进行单点检测异常值，但是实际情况并不能只看一个点的数值，应该是结合单点与其前一段时间的历史监测值进行检测异常值，更符合时序数据的规律。在本实施例中，采用移动窗口的方式对数据进行划分，每次选取监测点及其48h的历史数据作为一个时间窗口，由此得到时间窗口数据，每次输入自编码解码器的数据为一个窗口，也就是一个向量。
具体地，提取时间序列中的一些子序列，例如可以提取今天，昨天，一周前的数据，基于同样的时间戳把它们重叠在一起，具体地，提取同一传感器的今天中午十二点的传感器数据以及从今天中午十二点作为结束点的以往48小时内的传感器数据进行重叠后，形成一个向量，即时间窗口数据。
S130、将所述时间窗口数据输入至自编码解码器内计算欧式距离，以得到异常分数。
在本实施例中，时间窗口数据可以形成自编码器的输入数据，而自编码器是模拟一个恒等变换，因此它会把有异常的点尽量磨平，而正常的点则保持原样。所以，通过大量时间窗口数据来进行训练数据的输入，自编码解码器就能够得到一个较为合理的权重。得到了一个训练好的自编码解码器之后，对于任何一个时间窗口数据，都可以重构出一个新的数据。基于时间序列重构前和重构后的数据差异，可以获得时间序列的异常点，也就是异常值。
在本实施例中，自编码解码器是通过以移动窗口的方式划分传感器正常数据后，以当前监测点的传感器数据以及监测点在设定时间段内的历史传感器数据作为一个时间窗口训练所得的。
自编码器是一种数据的压缩算法，其中数据的压缩和解压缩函数是数据相关的、有损的、从样本中自动学习的。在大部分提到自动编码器的场合，压缩和解压缩的函数是通过神经网络实现的；自编码器能得到原数据的精髓,则只需要再创建一个神经网络学习这个精髓的数据，不仅减少了神经网络的负担，而且同样能达到很好的效果，自编码解码器在训练的时候是要将精髓信息解压成原始信息。
具体地，自编码解码器做异常值检测的原理在于原始数据与异常数据经过自编码解码器映射到新的特征空间后，相对距离会发生变化，即异常数据与标准数据之间存在的相对距离会发生变化，由此可监测到异常数据，自编码解码器训练时，采用全是正常的数据，检测的数据不区分是否正常或异常，训练过程中数据分为训练集、验证集、测试集，其中训练集全为正常数据，验证集、测试集有正常数据与异常数据，验证集的功能主要是为了防止过拟合，利用训练集训练自编码解码器，测试集对训练后的自编码解码器进行测试，再由验证集进行测试后的自编码解码器的防止过拟合的验证。
将时间窗口数据输入至自编码解码器后输出是异常分数，计算方式为：l(W)＝α‖W-AE(W)‖2；其中，W为时间窗口数据；AE(W)为自解码解码器算法处理后的数据，异常分数采用欧式距离进行度量，也就是ζ(W)是一个欧式距离。
S140、计算所述时间窗口数据与所述时间窗口数据经过自编码解码器处理后的数据的DTW(动态时间归整，Dynamic Time Warping)距离。
在本实施例中，DTW距离是指采用动态规划算法计算时间窗口数据与所述时间窗口数据经过自编码解码器处理后的数据之间的距离。
在维数或者序列数量相同的状况下使用欧式距离或者马氏距离均可以得到两个模板之间的相似度。但当维数或者序列数量不同，不能一一对应的时候，则需要使用动态规划算法来进行扩充或缩减到相同序列数，再进行距离计算。
在本实施例中，对所述时间窗口数据采用动态规划算法与所述时间窗口数据经过自编码解码器处理后的数据进行匹配，以计算DTW距离。
动态规划算法是一个计算时间序列即两个时间序列数据之间距离的算法，这里的时间序列数据是指一个时间窗口的数据。动态规划算法在数据点个数不对齐的情况下微调时间，从而能够计算距离；
用动态规划算法计算的DTW距离过程表示时间序列之间的相似性，DTW距离叫长度归一化后的距离。动态规划算法是一个典型的优化问题，它用满足一定条件的的时间规整函数W(n)描述测试模板和参考模板的时间对应关系，求解两模板匹配时累计距离最小所对应的规整函数，其中，测试模板指的是时间窗口数据，参考模板是指时间窗口数据经过自编码解码器处理后的数据。
S150、对所述DTW距离以及所述异常分数进行加权处理，以得到最终异常分数。
在本实施例中，最终分数是指异常分数和DTW距离加权求和所得的结果。
在一实施例中，请参阅图3，上述的步骤S150可包括步骤S151～S152。
S151、确定所述DTW距离以及所述异常分数对应的权重。
具体地，根据监测项目的不同，通过网格选取参数的方式确定所述DTW距离以及所述异常分数对应的权重。
S152、根据所述DTW距离、所述异常分数以及对应的权重进行加权求和，以得到最终异常分数。
加入DTW距离度量，时间窗口数据W与经过自编码解码器处理后的数据AE(W)之间的相异性更加明显，对于异常检测来说，异常可分为轻微异常与严重异常；对于轻微异常，通常的算法往往无法检测出，因为通过自编码解码器后AE(W)与时间窗口数据W的差异性不大，也就是说，原始空间中的时间窗口数据W与自编码解码器的解压所得的AE(W)无明显差异。而加入DTW距离度量后，通过对比AE(W)与W的DTW距离，可知映射空间是否能检测轻微异常。如果DTW距离很近，则训练的自编码解码器无法检测轻微异常，因为通过自编码解码器之后的比AE(W)与时间窗口数据W变化趋势相近，当DTW距离较远时，则可以很轻松的检测到轻微异常。
最终异常分数可定义为：l(W)＝α‖W-AE(W)‖2+β‖W-AE(W)‖DTW；α和β为两项度量方式的权重，可通过网格选参选取。对于实际预测问题来说，不同的预测目的可能对应的不同异常检测的要求，如果要求轻微异常被检测出来多一些，可以将β调大；如果要求严重异常不漏检，可将β调小一些。
S160、根据所述最终异常分数确定所述待监测传感器数据是否是异常值。
在本实施例中，当最终异常分数超过阈值时，所述待监测传感器数据是异常值，当最终异常分数不超过阈值时，所述待监测传感器数据不是异常值。
上述的待监测传感器数据的个数为至少一个，在本实施例中，对于一个监测项目来说，需要对多个传感器进行监测，本实施例能够同时对多个传感器的数据进行异常检测，将传感器数据表示为Γ＝{x1，...，xT}；给定一个时序数据τ，X1，X2，...，XT，X∈Rm；Wt＝{xt-K+1，...，xt-1，xt}；Wt表示t时刻下的观测窗口，即时间窗口，窗口长度为k。当m＝1时，Wt可视为T时刻内单个传感器数据，此时X为标量；当m>＝2时，则Wt可视为T时刻内多个传感器数据，此时x为向量形式，是时间窗口数据，当多个传感器数据进行划分处理后输入至自编码解码器内，可以同时处理。
上述的传感器异常值监测方法，通过采用移动窗口的方式对待监测传感器数据进行划分，以时间段的方式作为输入数据，输入至自编码解码器进行欧式距离计算，以得到异常分数；并加入DTW距离进行异常值的监测，以DTW距离以及异常分数进行加权求和，并以加权求和的结果进行异常值确定，实现可监测时间序列数据的异常值，且适用于不同的异常监测要求的场景中。
图4是本发明实施例提供的一种传感器异常值监测装置300的示意性框图。如图4所示，对应于以上传感器异常值监测方法，本发明还提供一种传感器异常值监测装置300。该传感器异常值监测装置300包括用于执行上述传感器异常值监测方法的单元，该装置可以被配置于服务器中。具体地，请参阅图5，该传感器异常值监测装置300包括数据获取单元301、划分单元302、分数计算单元303、距离计算单元304、加权处理单元305以及异常值确定单元306。
数据获取单元301，用于获取需要监测的传感器数据，以得到待监测传感器数据；划分单元302，用于采用移动窗口的方式划分所述待监测传感器数据，以得到时间窗口数据；分数计算单元303，用于将所述时间窗口数据输入至自编码解码器内计算欧式距离，以得到异常分数；距离计算单元304，用于计算所述时间窗口数据与所述时间窗口数据经过自编码解码器处理后的数据的DTW距离；加权处理单元305，用于对所述DTW距离以及所述异常分数进行加权处理，以得到最终异常分数；异常值确定单元306，用于根据所述最终异常分数确定所述待监测传感器数据是否是异常值。
在一实施例中，所述距离计算单元304，用于对所述时间窗口数据采用动态规划算法与所述时间窗口数据经过自编码解码器处理后的数据进行匹配，以计算DTW距离。
在一实施例中，如图5所示，所述加权处理单元305包括权重确定子单元3051以及加权求和子单元3052。
权重确定子单元3051，用于确定所述DTW距离以及所述异常分数对应的权重；加权求和子单元3052，用于根据所述DTW距离、所述异常分数以及对应的权重进行加权求和，以得到最终异常分数。
在一实施例中，所述权重确定子单元3051，用于根据监测项目的不同，通过网格选取参数的方式确定所述DTW距离以及所述异常分数对应的权重。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述传感器异常值监测装置300和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
上述传感器异常值监测装置300可以实现为一种计算机程序的形式，该计算机程序可以在如图6所示的计算机设备上运行。
请参阅图6，图6是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是服务器，其中，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图6，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种传感器异常值监测方法。
该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种传感器异常值监测方法。
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下步骤：
获取需要监测的传感器数据，以得到待监测传感器数据；采用移动窗口的方式划分所述待监测传感器数据，以得到时间窗口数据；将所述时间窗口数据输入至自编码解码器内计算欧式距离，以得到异常分数；计算所述时间窗口数据与所述时间窗口数据经过自编码解码器处理后的数据的DTW距离；对所述DTW距离以及所述异常分数进行加权处理，以得到最终异常分数；根据所述最终异常分数确定所述待监测传感器数据是否是异常值。
其中，所述时间窗口数据包括当前监测点的待监测传感器数据以及监测点在设定时间段内的历史传感器数据。
所述待监测传感器数据的个数为至少一个。
所述自编码解码器是通过以移动窗口的方式划分传感器正常数据后，以当前监测点的传感器数据以及监测点在设定时间段内的历史传感器数据作为一个时间窗口训练所得的。
在一实施例中，处理器502在实现所述计算所述时间窗口数据与所述时间窗口数据经过自编码解码器处理后的数据的DTW距离步骤时，具体实现如下步骤：
对所述时间窗口数据采用动态规划算法与所述时间窗口数据经过自编码解码器处理后的数据进行匹配，以计算DTW距离。
在一实施例中，处理器502在实现所述对所述DTW距离以及所述异常分数进行加权处理，以得到最终异常分数步骤时，具体实现如下步骤：
确定所述DTW距离以及所述异常分数对应的权重；根据所述DTW距离、所述异常分数以及对应的权重进行加权求和，以得到最终异常分数。
在一实施例中，处理器502在实现所述确定所述DTW距离以及所述异常分数对应的权重步骤时，具体实现如下步骤：
根据监测项目的不同，通过网格选取参数的方式确定所述DTW距离以及所述异常分数对应的权重。
应当理解，在本申请实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中该计算机程序被处理器执行时使处理器执行如下步骤：
获取需要监测的传感器数据，以得到待监测传感器数据；采用移动窗口的方式划分所述待监测传感器数据，以得到时间窗口数据；将所述时间窗口数据输入至自编码解码器内计算欧式距离，以得到异常分数；计算所述时间窗口数据与所述时间窗口数据经过自编码解码器处理后的数据的DTW距离；对所述DTW距离以及所述异常分数进行加权处理，以得到最终异常分数；根据所述最终异常分数确定所述待监测传感器数据是否是异常值。
其中，所述时间窗口数据包括当前监测点的待监测传感器数据以及监测点在设定时间段内的历史传感器数据。
所述待监测传感器数据的个数为至少一个。
所述自编码解码器是通过以移动窗口的方式划分传感器正常数据后，以当前监测点的传感器数据以及监测点在设定时间段内的历史传感器数据作为一个时间窗口训练所得的。
在一实施例中，所述处理器在执行所述计算机程序而实现所述计算所述时间窗口数据与所述时间窗口数据经过自编码解码器处理后的数据的DTW距离步骤时，具体实现如下步骤：
对所述时间窗口数据采用动态规划算法与所述时间窗口数据经过自编码解码器处理后的数据进行匹配，以计算DTW距离。
在一实施例中，所述处理器在执行所述计算机程序而实现所述对所述DTW距离以及所述异常分数进行加权处理，以得到最终异常分数步骤时，具体实现如下步骤：
确定所述DTW距离以及所述异常分数对应的权重；根据所述DTW距离、所述异常分数以及对应的权重进行加权求和，以得到最终异常分数。
在一实施例中，所述处理器在执行所述计算机程序而实现所述确定所述DTW距离以及所述异常分数对应的权重步骤时，具体实现如下步骤：
根据监测项目的不同，通过网格选取参数的方式确定所述DTW距离以及所述异常分数对应的权重。
所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.传感器异常值监测方法，其特征在于，包括：
获取需要监测的传感器数据，以得到待监测传感器数据；
采用移动窗口的方式划分所述待监测传感器数据，以得到时间窗口数据；
将所述时间窗口数据输入至自编码解码器内计算欧式距离，以得到异常分数；
计算所述时间窗口数据与所述时间窗口数据经过自编码解码器处理后的数据的DTW距离；
对所述DTW距离以及所述异常分数进行加权处理，以得到最终异常分数；
根据所述最终异常分数确定所述待监测传感器数据是否是异常值。
2.根据权利要求1所述的传感器异常值监测方法，其特征在于，所述计算所述时间窗口数据与所述时间窗口数据经过自编码解码器处理后的数据的DTW距离，包括：
对所述时间窗口数据采用动态规划算法与所述时间窗口数据经过自编码解码器处理后的数据进行匹配，以计算DTW距离。
3.根据权利要求1所述的传感器异常值监测方法，其特征在于，所述对所述DTW距离以及所述异常分数进行加权处理，以得到最终异常分数，包括：
确定所述DTW距离以及所述异常分数对应的权重；
根据所述DTW距离、所述异常分数以及对应的权重进行加权求和，以得到最终异常分数。
4.根据权利要求3所述的传感器异常值监测方法，其特征在于，所述确定所述DTW距离以及所述异常分数对应的权重，包括：
根据监测项目的不同，通过网格选取参数的方式确定所述DTW距离以及所述异常分数对应的权重。
5.根据权利要求1所述的传感器异常值监测方法，其特征在于，所述时间窗口数据包括当前监测点的待监测传感器数据以及监测点在设定时间段内的历史传感器数据。
6.根据权利要求1所述的传感器异常值监测方法，其特征在于，所述待监测传感器数据的个数为至少一个。
7.根据权利要求1所述的传感器异常值监测方法，其特征在于，所述自编码解码器是通过以移动窗口的方式划分传感器正常数据后，以当前监测点的传感器数据以及监测点在设定时间段内的历史传感器数据作为一个时间窗口训练所得的。
8.传感器异常值监测装置，其特征在于，包括：
数据获取单元，用于获取需要监测的传感器数据，以得到待监测传感器数据；
划分单元，用于采用移动窗口的方式划分所述待监测传感器数据，以得到时间窗口数据；
分数计算单元，用于将所述时间窗口数据输入至自编码解码器内计算欧式距离，以得到异常分数；
距离计算单元，用于计算所述时间窗口数据与所述时间窗口数据经过自编码解码器处理后的数据的DTW距离；
加权处理单元，用于对所述DTW距离以及所述异常分数进行加权处理，以得到最终异常分数；
异常值确定单元，用于根据所述最终异常分数确定所述待监测传感器数据是否是异常值。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的方法。
10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现如权利要求1至7中任一项所述的方法。
CN202110809529.8A 2021-07-15 2021-07-15 传感器异常值监测方法、装置、计算机设备及存储介质 Active CN113537352B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110809529.8A CN113537352B (zh) 2021-07-15 2021-07-15 传感器异常值监测方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110809529.8A CN113537352B (zh) 2021-07-15 2021-07-15 传感器异常值监测方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN113537352A true CN113537352A (zh) 2021-10-22
CN113537352B CN113537352B (zh) 2023-08-11

Family

ID=78128556

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110809529.8A Active CN113537352B (zh) 2021-07-15 2021-07-15 传感器异常值监测方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN113537352B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114189825A (zh) * 2021-12-09 2022-03-15 苏州捷布森智能科技有限公司 基于工业互联网和智能制造的数据处理方法及系统
CN114967613A (zh) * 2022-05-11 2022-08-30 杭州康吉森自动化科技有限公司 一种具有多传感器的生产设备状态监测方法和装置
CN116989897A (zh) * 2023-09-26 2023-11-03 山东聚亨源环保科技有限公司 一种低功耗的可车载式危废库远程异常监测系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190286506A1 (en) * 2018-03-13 2019-09-19 Nec Laboratories America, Inc. Topology-inspired neural network autoencoding for electronic system fault detection
US20200364579A1 (en) * 2019-05-17 2020-11-19 Honda Motor Co., Ltd. Systems and methods for anomalous event detection
CN112364939A (zh) * 2020-12-04 2021-02-12 中信银行股份有限公司 异常值检测方法、装置、设备及存储介质
CN112990372A (zh) * 2021-04-27 2021-06-18 北京瑞莱智慧科技有限公司 一种数据处理方法、模型训练方法、装置及电子设备
CN113114529A (zh) * 2021-03-25 2021-07-13 清华大学 基于条件变分自动编码器的kpi异常检测方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190286506A1 (en) * 2018-03-13 2019-09-19 Nec Laboratories America, Inc. Topology-inspired neural network autoencoding for electronic system fault detection
US20200364579A1 (en) * 2019-05-17 2020-11-19 Honda Motor Co., Ltd. Systems and methods for anomalous event detection
CN112364939A (zh) * 2020-12-04 2021-02-12 中信银行股份有限公司 异常值检测方法、装置、设备及存储介质
CN113114529A (zh) * 2021-03-25 2021-07-13 清华大学 基于条件变分自动编码器的kpi异常检测方法和装置
CN112990372A (zh) * 2021-04-27 2021-06-18 北京瑞莱智慧科技有限公司 一种数据处理方法、模型训练方法、装置及电子设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114189825A (zh) * 2021-12-09 2022-03-15 苏州捷布森智能科技有限公司 基于工业互联网和智能制造的数据处理方法及系统
CN114189825B (zh) * 2021-12-09 2022-10-18 苏州捷布森智能科技有限公司 基于工业互联网和智能制造的数据处理方法及系统
CN114967613A (zh) * 2022-05-11 2022-08-30 杭州康吉森自动化科技有限公司 一种具有多传感器的生产设备状态监测方法和装置
CN116989897A (zh) * 2023-09-26 2023-11-03 山东聚亨源环保科技有限公司 一种低功耗的可车载式危废库远程异常监测系统
CN116989897B (zh) * 2023-09-26 2023-12-22 山东聚亨源环保科技有限公司 一种低功耗的可车载式危废库远程异常监测系统

Also Published As

Publication number Publication date
CN113537352B (zh) 2023-08-11

Similar Documents

Publication Publication Date Title
CN113537352B (zh) 传感器异常值监测方法、装置、计算机设备及存储介质
EP3191797B1 (en) Gas turbine sensor failure detection utilizing a sparse coding methodology
JP6545728B2 (ja) 異常検知装置、異常検知方法、および異常検知プログラム
US11669080B2 (en) Abnormality detection device, abnormality detection method, and program
US20150272509A1 (en) Diagnostic apparatus and method
JP2015230727A (ja) 時系列データ内の異常を検出する方法
CN109086876B (zh) 设备的运行状态检测方法、装置、计算机设备和存储介质
CN111852463B (zh) 气井产能评价方法及设备
KR102031843B1 (ko) 가상의 센서 데이터를 생성하는 방법 및 장치
Chen et al. A novel knowledge transfer network with fluctuating operational condition adaptation for bearing fault pattern recognition
JP7126256B2 (ja) 異常診断装置、異常診断方法、及びプログラム
WO2019045699A1 (en) RECURRENT GAUSSIAN MIXTURE MODEL FOR ESTIMATING SENSOR STATUS IN STATUS MONITORING
CN112416662A (zh) 多时间序列数据异常检测方法与装置
CN112115184A (zh) 时间序列数据的检测方法、装置、计算机设备及存储介质
CN111796233A (zh) 双母线接线形式下多台电压互感器继发性误差的评估方法
WO2019121655A1 (en) A probability-based detector and controller apparatus, method, computer program
Ou et al. A deep sequence multi-distribution adversarial model for bearing abnormal condition detection
CN110866682B (zh) 基于历史数据的地下电缆预警方法和装置
CN115359846A (zh) 一种组学数据的批次矫正方法、装置、存储介质及电子设备
Darkhovsky et al. New approach to the segmentation problem for time series of arbitrary nature
CN112990372B (zh) 一种数据处理方法、模型训练方法、装置及电子设备
US11449781B2 (en) Plant abnormality prediction system and method
CN116595465A (zh) 基于自编码器和数据增强的高维稀疏数据离群点检测方法及系统
JP7437163B2 (ja) 診断装置、診断方法およびプログラム
CN114553681A (zh) 设备状态异常检测方法、装置和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant