CN113093985A - 传感器数据链路异常检测方法、装置和计算机设备 - Google Patents
传感器数据链路异常检测方法、装置和计算机设备 Download PDFInfo
- Publication number
- CN113093985A CN113093985A CN202110640983.5A CN202110640983A CN113093985A CN 113093985 A CN113093985 A CN 113093985A CN 202110640983 A CN202110640983 A CN 202110640983A CN 113093985 A CN113093985 A CN 113093985A
- Authority
- CN
- China
- Prior art keywords
- data
- abnormal
- link
- sensor
- detection model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/05—Digital input using the sampling of an analogue quantity at regular intervals of time, input from a/d converter or output to d/a converter
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D18/00—Testing or calibrating apparatus or arrangements provided for in groups G01D1/00 - G01D15/00
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本申请涉及一种传感器数据链路异常检测方法、装置、计算机设备和存储介质。该方法包括:获取传感器采集的对换流变的监测数据;对所述监测数据进行预处理,得到标准状态数据;将所述标准状态数据利用预先训练的链路异常检测模型,确定监测数据是否异常,并在监测数据异常时确定传感器数据链路上的异常节点;所述传感器数据链路上的节点包括:传感器、A/D数模转换、信号转换板卡、推送接口和数据库。采用该方法,能够明确导致监测数据异常出现的原因,从而能够针对性的进行修复和调整,并排除假异常,对于真正由传感器本身导致的异常及时进行处理,提高了监测的准确度及效率。
Description
技术领域
本申请涉及电力技术领域,特别是涉及一种传感器数据链路方法、装置、计算机设备和存储介质。
背景技术
如何保证电网安稳运行一直以来都是电力行业最重要的研究课题之一。电力换流变作为电网中电压等级变换、电能分配和转移的枢纽设备,其安全稳定运行对整个电网的安稳运行至关重要。目前,对于换流变通常采用传感器进行数据采集监测,基于传感器的监测数据能够对换流变进行状态评估。如采用油温传感器监测本体以及开关油温,采用温度传感器监测环境温度等。
然而在实际应用中,传感器采用的监测数据需要通过传感器数据链路传输到数据库。当从数据库读取数据进行分析时,查看到的监测数据可能受传感链路的影响,并不是传感器真正采集到的监测数据。如传输过程中,相关设备停机、线路切换和数据转换均可能造成监测数据偏离真正采集的监测数据。因此,当监测到传感器数据异常时,需要确定异常导致的原因才能针对性的解决问题。
但采用传统的方法,只能检测到传感器异常,并不能定位到导致异常的原因,对监测的准确度和效率造成影响。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高监测准确度和监测效率的传感器数据链路异常检测方法、装置、计算机设备和存储介质。
一种传感器数据链路异常检测方法,所述方法包括:
获取传感器采集的对换流变的监测数据;
对所述监测数据进行预处理,得到标准状态数据;
将所述标准状态数据利用预先训练的链路异常检测模型,确定监测数据是否异常,并在监测数据异常时确定传感器数据链路上的异常节点;所述传感器数据链路上的节点包括:传感器、A/D数模转换、信号转换板卡、推送接口和数据库。
在其中一个实施例中,对所述监测数据进行预处理,得到标准状态数据,包括:
根据预先设置的区间范围,剔除超过或低于对应区间范围的监测数据,得到标准区间数据;
对所述标准区间数据中的缺失数据进行补充,得到标准状态数据。
在其中一个实施例中,所述对所述标准区间数据中的缺失数据进行补充,得到标准状态数据,包括:
确定所述标准区间数据的缺失数据范围;
若所述标准区间数据的缺失数据范围在第一预设范围时,采用插值填补方法对所述缺失数据进行补充,得到标准状态数据;
若所述标准区间数据的缺失数据范围在第二预设范围时,采用随机森林算法或KNN算法对所述缺失数据进行补充,得到标准状态数据;
若所述标准区间数据的缺失数据范围在第三预设范围时,采用多重填补方法对所述缺失数据进行补充,得到标准状态数据;其中,所述第一预设范围、第二预设范围和第三预设范围依次增大。
在其中一个实施例中,训练所述链路异常检测模型的方式,包括:
获取传感器采集的对换流变的历史监测数据;
获取对历史监测数据进行预处理所得到的历史标准状态数据,以及各历史标准状态数据对应的状态标签;所述状态标签包括:传感器异常、A/D数模转换异常、信号转换板卡异常、推送接口异常、数据库异常、正常以及未知异常;
分别采用多种算法,基于所述历史监测数据和状态标签进行训练,得到各算法对应的链路异常检测模型。
在其中一个实施例中,所述将所述标准状态数据利用预先训练的链路异常检测模型,确定监测数据是否异常,并在监测数据异常时确定传感器数据链路上的异常节点,包括:
将所述标准状态数据分别利用各预先训练的链路异常检测模型,确定单一链路异常检测模型对应的异常数据占比;
根据各链路异常检测模型预测的异常数据占比确定传感器数据链路是否异常;
当确定所述传感器数据链路异常时,确定异常节点;所述异常节点包括:传感器、A/D数模转换、信号转换板卡、推送接口和数据库。
在其中一个实施例中,所述将单位时间段内的所述标准状态数据分别利用各预先训练的链路异常检测模型,确定单一链路异常检测模型对应的异常数据占比,包括:
将单位时间段内的所述标准状态数据分别利用各预先训练的链路异常检测模型,确定链路异常检测模型检测的单位时间段的异常数据量;
根据所述异常数据量以及单位时间段内的全部数据量,得到单一链路异常检测模型对应的异常数据占比。
在其中一个实施例中,所述根据各链路异常检测模型预测的异常数据占比确定传感器数据链路是否异常,包括:
获取单一链路异常检测模型对应的异常数据占比的平均值;
当所述平均值大于预设阈值时,确定传感器数据链路异常。
一种传感器数据链路异常检测装置,所述装置包括:
监测数据获取模块,用于获取传感器采集的对换流变的监测数据;
预处理模块,用于对所述监测数据进行预处理,得到标准状态数据;
检测模块,用于将所述标准状态数据利用预先训练的链路异常检测模型,确定监测数据是否异常,并在监测数据异常时确定传感器数据链路上的异常节点;所述传感器数据链路上的节点包括:传感器、A/D数模转换、信号转换板卡、推送接口和数据库。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取传感器采集的对换流变的监测数据;
对所述监测数据进行预处理,得到标准状态数据;
将所述标准状态数据利用预先训练的链路异常检测模型,确定监测数据是否异常,并在监测数据异常时确定传感器数据链路上的异常节点;所述传感器数据链路上的节点包括:传感器、A/D数模转换、信号转换板卡、推送接口和数据库。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取传感器采集的对换流变的监测数据;
对所述监测数据进行预处理,得到标准状态数据;
将所述标准状态数据利用预先训练的链路异常检测模型,确定监测数据是否异常,并在监测数据异常时确定传感器数据链路上的异常节点;所述传感器数据链路上的节点包括:传感器、A/D数模转换、信号转换板卡、推送接口和数据库。
上述传感器数据链路异常检测方法、装置、计算机设备和存储介质,通过获取传感器采集的对换流变的监测数据,在进行预处理后,提升数据准确性,进而利用预先训练好的模型确定监测数据是否异常,以及在异常时确定传感器数据链路上的异常节点。采用该方法,能够明确导致监测数据异常出现的原因,从而能够针对性的进行修复和调整,并排除假异常,对于真正由传感器本身导致的异常及时进行处理,提高了监测的准确度及效率。
附图说明
图1为一个实施例中传感器数据链路异常检测方法的应用环境图;
图2为一个实施例中传感器数据链路异常检测方法的流程示意图;
图3为一个实施例中传感器数据链路上的A/D数模转换的异常情况;
图4为一个实施例中传感器数据链路异常检测装置的结构框图;
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的传感器数据链路异常方法,可以应用于如图1所示的应用环境中。一个电力系统中典型的传感器数据链路传输示意图如图1所示,包括以下节点:传感器、A/D数模转换、信号转换板卡、推送接口和数据库。传感器采集的数据通过传感器链路传感至数据库,服务器从数据库中获取数据,用于传感器链路异常检测模型的训练以及传感器数据链路异常检测。
在一个实施例中,如图2所示,提供了一种传感器数据链路异常检测方法,以该方法应用于服务器为例进行说明,包括以下步骤:
步骤S202,获取传感器采集的对换流变的监测数据。
对换流变的监测有多种维度,包括本体油位、开关油位、网侧绕组温度、阀侧绕组温度、本体油温、环境温度、直流线路电压、阀侧电压、网侧三相电压、网侧单向电压、单极功率、直流线路电流、网侧有功功率、网侧无功功率和开关位置等。其中每个维度的监测数据分别采用对应类型的传感器进行监测,如本体油位传感器、开关油位传感器、网侧绕组温度传感器等。
步骤S204,对所述监测数据进行预处理,得到标准状态数据。
由于大部分机器学习模型不支持缺失值建模或对异常值敏感,因此,对监测数据预处理可以保证模型的准确性。
其中,数据预处理包括:异常数据转换和缺失数据填补。
其中,异常数据转换是指,参考设备出厂参数和数据链路的传送阈值,设定一个区间范围,将超过或低于范围的值剔除,填补成标准状态的数据。可以理解的是,每个传感器对应的监测数据有不同的区间范围。
缺失数据填补是指,对于在一个时间段内出现的缺失数据,采用预设填补方法补充。其中,参考间隔缺失数据量,针对不同缺失数据范围的数据量,采用不同的数据填补方法。如,对于小范围缺失的数据量,可采用差值填补,对于中等范围缺失的数据量,可采用KNN算法填补或使用随机森林算法替换,对于大范围缺失的数据量,采用多重填补方案填补。可以理解的是,缺失量与缺失数量的时长有关。缺失数量的时长越长,缺失量越大。
数据预处理后,得到标准状态数据。
步骤S206,将所述标准状态数据利用预先训练的链路异常检测模型,确定监测数据是否异常,并在监测数据异常时确定传感器数据链路上的异常节点;所述传感器数据链路上的节点包括:传感器、A/D数模转换、信号转换板卡、推送接口和数据库。
具体地,链路异常检测模型是预先根据历史监测数据训练得到的。其中,预先训练的过程,包括:首先预先通过对历史数据预处理,进而对预处理后的历史数据进行分析,生成单台变压器多指标时序图和多台变压器单指标时序图,进而对时序图进行分析,确定异常值(为异常突变点),分析异常突变产生的原因,得到样本数据及样本标注,根据样本和样本标注训练得到链路异常检测模型。例如,通过对历史数据进行分析,如图3所示,发现异常情况为AD转换所为的接线柜断电时出现负数值,则标注作为异常情况。
在得到链路异常检测模型后,将一段时间的标准状态数据利用链路异常检测模型,确定监测数据是否异常,并在监测数据异常时确定传感器链路上的异常节点。其中,所述传感器数据链路上的节点,如图1所示,包括:传感器、A/D数模转换、信号转换板卡、推送接口和数据库。
在确定了异常节点后,可对异常节点对应的设备进行检修,明确是真异常还是假异常,从而排除假异常,并同时能够对真异常进行及时处理,如及时更换相关设备。
本实施例中,通过在监测数据异常时,确定传感器链路上的异常节点,能够明确监测数据异常是由于什么原因导致的,从而能够针对性的进行修复和调整,并排除假异常,对于真正由传感器本身导致的异常及时进行处理。
上述的传感器数据链路异常检测方法,通过获取传感器采集的对换流变的监测数据,在进行预处理后,提升数据准确性,进而利用预先训练好的模型确定监测数据是否异常,以及在异常时确定传感器数据链路上的异常节点。采用该方法,能够明确导致监测数据异常出现的原因,从而能够针对性的进行修复和调整,并排除假异常,对于真正由传感器本身导致的异常及时进行处理,提高了监测的准确度及效率。
在另一个实施例中,对所述监测数据进行预处理,得到标准状态数据,包括:根据预先设置的区间范围,剔除超过或低于对应区间范围的监测数据,得到标准区间数据;对所述标准区间数据中的缺失数据进行补充,得到标准状态数据。
可以理解的是,不同传感器的监测数据预设有相应的区间范围。该区间范围根据传感器的出厂参数以及数据链路的传送阈值确定。将超出或低于该区间范围的值剔除。
实际工程应用中,换流变数据可能会出现杂乱无章的现象,例如,数据不完整性:状态信息的数值属性缺失或不确定。针对这种情况,可对于标准区间数据中的缺失数据进行补充。
具体地,所述对所述标准区间数据中的缺失数据进行补充,得到标准状态数据,包括:确定所述标准区间数据的缺失数据范围;若所述标准区间数据的缺失数据范围在第一预设范围时,采用插值填补方法对所述缺失数据进行补充,得到标准状态数据;若所述标准区间数据的缺失数据范围在第二预设范围时,采用随机森林算法或KNN算法对所述缺失数据进行补充,得到标准状态数据;若所述标准区间数据的缺失数据范围在第三预设范围时,采用多重填补方法对所述缺失数据进行补充,得到标准状态数据;其中,所述第一预设范围、第二预设范围和第三预设范围依次增大。
也就是说,针对不同的缺失数据范围,采用不同的补充方法。其中,缺失数据范围可根据数据量确定。如,设定依次增大的第一阈值和第二阈值,若小于第一阈值,则确定缺失数据范围在第一预设范围,若大于第一阈值且小于第二阈值,则确定缺失数据范围在第二预设范围,若大于第二阈值,则确定缺失数据范围在第三预设范围。对应地,第一预设范围、第二预设范围和第三预设范围依次增大。
例如,第一阈值设为36,若连续缺失数据量小于或等于36条,则确定缺失数据范围在在第一预设范围,为小范围的数据缺失。第二阈值为864,若连续缺失数据范围在36条到864条之间,则确定缺失数据范围在在第二预设范围,为中等范围的数据缺失。若续缺失数据范围大于864条,则确定缺失数据范围在在第三预设范围,为大范围的数据缺失。
针对不同缺失数据范围的数据量,采用不同的数据填补方法。如,对于小范围缺失的数据量,可采用插值填补方法,对于中等范围缺失的数据量,可采用KNN算法填补或使用随机森林算法替换,对于大范围缺失的数据量,采用多重填补方案填补。
其中,使用插值法可以计算缺失值的估计值,所谓的插值法就是通过两点(x0,y0),(x1,y1)估计中间点的值,假设y=f(x)是一条直线,通过已知的两点来计算函数f(x),然后只要知道x就能求出y,以此方法来估计缺失值。当然也可以假设f(x)不是直线,二是其他函数。
KNN算法填补,利用数据在各个维度上的相关性对数据中的缺失值或者异常值进行填补和修正。
多重填补方法,相对于单一插补方案而言,指给每个缺失值都构造m个替代值,从而产生m个完全数据集,然后对每个完全数据集采用相同的数据方法分析进行处理,得到m个处理结果。然后对这些结果,基于某种原则,得到最终的目标变量的估计。
由于针对不同缺失的数据量,采用不同的数据填补方法,因而能够利用每种的优点,提高数据补充的准确性和效率。
在另一个实施例中,获取传感器采集的对换流变的历史监测数据;获取对历史监测数据进行预处理所得到的历史标准状态数据,以及各历史标准状态数据对应的状态标签;所述状态标签包括:传感器异常、A/D数模转换异常、信号转换板卡异常、推送接口异常、数据库异常、正常以及未知异常;分别采用多种算法,基于所述历史监测数据和状态标签进行训练,得到各算法对应的链路异常检测模型。
具体地,首先预先通过对历史数据预处理,进而对预处理后的历史数据进行分析,生成单台变压器多指标时序图和多台变压器单指标时序图,进而对时序图进行分析,确定异常值(为异常突变点),分析异常突变产生的原因,得到样本数据及样本标注,根据样本和样本标注训练得到链路异常检测模型。例如,通过对历史数据进行分析,如图3所示,发现异常情况为AD转换所为的接线柜断电时出现负数值,则标注作为异常情况,以及该异常情况的类型为A/D数模转换异常。
在得到链路异常检测模型后,将一段时间的标准状态数据利用链路异常检测模型,确定监测数据是否异常,并在监测数据异常时确定传感器链路上的异常节点。其中,将所述传感器数据链路上的节点,如图1所示,包括:传感器、A/D数模转换、信号转换板卡、推送接口和数据库。
其中,训练链路异常检测模型时,可采用多种方法训练得到多个链路异常检测模型。方法至少包括LSPB、KNN、PCA、ABOD、CBLOF和IFroest方法等六种中的至少两种。
对于LSPB方法,Locally Selective Combination in Parallel OutlierEnsembles(LSCP),一个多个异常检测算法的并行集成框架,可以对多个异常检测模型进行集成,提高性能与稳定性。
对于KNN方法,邻近算法,或者说K最近邻(KNN,K-NearestNeighbor)分类算法是数据挖掘分类技术中最简单的方法之一。所谓K最近邻,就是K个最近的邻居的意思,说的是每个样本都可以用它最接近的K个邻近值来代表。近邻算法就是将数据集合中每一个记录进行分类的方法。
对于ABOD方法,ABOD(angle-based outlier detection),通过计算每个样本与所有其他样本对所形成的夹角的方差来识别异常样本。由于异常样本通常远离正常样本,因此方差变化小。
对于 CBLOF,是基于聚类的局部异常因子算法,是一种基于距离的无监督聚类和局部离群值检测的算法。采用该算法,数据会在多个不同的地方聚集,形成簇。当一个点越接近大簇的时候,他是正常点的概率就越高,反之越低。
对于PCA方法,PCA(Principal Component Analysis),即主成分分析方法,是一种使用最广泛的数据降维算法。PCA的主要思想是将n维特征映射到k维上,这k维是全新的正交特征也被称为主成分,是在原有n维特征的基础上重新构造出来的k维特征。
对于IFroest方法,即独立森林算法,一种非监督算法,不需要先验的类标签,在处理高纬度数据的时候不是把所有的属性都用上,而是通过峰度系数挑选出一些有价值的属性,然后构建独立森林,效果更加出色。
在训练得到链路异常检测模型后,将所述标准状态数据利用预先训练的链路异常检测模型,确定监测数据是否异常,并在监测数据异常时确定传感器数据链路上的异常节点,包括:将单位时间段内的所述标准状态数据分别利用各预先训练的链路异常检测模型,确定单一链路异常检测模型对应的异常数据占比;根据各链路异常检测模型预测的异常数据占比确定传感器数据链路是否异常;当确定所述传感器数据链路异常时,确定异常节点;所述异常节点包括:传感器、A/D数模转换、信号转换板卡、推送接口和数据库。
具体地,所述将单位时间段内的所述标准状态数据分别利用各预先训练的链路异常检测模型,确定单一链路异常检测模型对应的异常数据占比,包括:将单位时间段内的所述标准状态数据分别利用各预先训练的链路异常检测模型,确定链路异常检测模型检测的单位时间段的异常数据量;根据所述异常数据量以及单位时间段内的全部数据量,得到单一链路异常检测模型对应的异常数据占比。其中,异常数据占比是指异常数据和数据总量的比值。数据总量为用于预测的一段时间内的数据总量。例如,数据总量为一天的数据总量。也就是说,对于单位时间内的数据,分别采用各链路异常检测模型,预测单条异常数据的标签,根据标签为异常数据的异常数据数量与数据总量的比值,得到单位时间的异常数据占比。
进而,综合各链路异常检测模型的异常数据占比确定传感器链路是否异常。具体地,根据各链路异常检测模型预测的异常数据占比确定传感器数据链路是否异常,包括:获取单一链路异常检测模型对应的异常数据占比的平均值;当所述平均值大于预设阈值时,确定传感器数据链路异常。
具体地,对多种算法的异常数据占比取平均值,将平均值与预设阈值进行比较,确定传感器数据链路异常。
在实际应用中,可设置多个阈值,不同阈值对应不同的异常级别。如表1所示。
表1 故障分级
具体地,对于异常的结果,还根据单一链路异常检测模型输出的异常节点确定最终的异常节点。每个单一链路异常检测模型对于异常点,输出其预测的异常节点,即导致异常的原因。最终针对异常点,根据每个单一链路异常检测模型输出的异常节点占比最高的异常节点类型,确定为该异常点的异常节点。如六个模型对于一个异常点,有五个模型输出的异常节点为传感器故障,则该异常点的异常节点为传感器。
本实施例采用多个异常检测算法的并行集成框架,可以对多个异常检测模型进行集成,提高性能与稳定性。
应该理解的是,虽然图2的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图4所示,提供了一种传感器数据链路异常检测装置,包括:
监测数据获取模块402,用于获取传感器采集的对换流变的监测数据;
预处理模块404,用于对所述监测数据进行预处理,得到标准状态数据;
检测模块406,用于将所述标准状态数据利用预先训练的链路异常检测模型,确定监测数据是否异常,并在监测数据异常时确定传感器数据链路上的异常节点;所述传感器数据链路上的节点包括:传感器、A/D数模转换、信号转换板卡、推送接口和数据库。
上述传感器数据链路异常检测装置,通过获取传感器采集的对换流变的监测数据,在进行预处理后,提升数据准确性,进而利用预先训练好的模型确定监测数据是否异常,以及在异常时确定传感器数据链路上的异常节点。采用该方法,能够明确导致监测数据异常出现的原因,从而能够针对性的进行修复和调整,并排除假异常,对于真正由传感器本身导致的异常及时进行处理,提高了监测的准确度及效率。
在其中一个实施例中,预处理模块包括:
删除模块,用于根据预先设置的区间范围,剔除超过或低于对应区间范围的监测数据,得到标准区间数据;
补充模块,用于对所述标准区间数据中的缺失数据进行补充,得到标准状态数据。
其中,补充模块用于确定所述标准区间数据的缺失数据范围;若所述标准区间数据的缺失数据范围在第一预设范围时,采用插值填补方法对所述缺失数据进行补充,得到标准状态数据;若所述标准区间数据的缺失数据范围在第二预设范围时,采用随机森林算法或KNN算法对所述缺失数据进行补充,得到标准状态数据;若所述标准区间数据的缺失数据范围在第三预设范围时,采用多重填补方法对所述缺失数据进行补充,得到标准状态数据;其中,所述第一预设范围、第二预设范围和第三预设范围依次增大。
在另一个实施例中,还包括训练模块,用于获取传感器采集的对换流变的历史监测数据;获取对历史监测数据进行预处理所得到的历史标准状态数据,以及各历史标准状态数据对应的状态标签;所述状态标签包括:传感器异常、A/D数模转换异常、信号转换板卡异常、推送接口异常、数据库异常、正常以及未知异常;分别采用多种算法,基于所述历史监测数据和状态标签进行训练,得到各算法对应的链路异常检测模型。
在另一个实施例中,检测模块包括:
单一检测模块,用于将单位时间段内的所述标准状态数据分别利用各预先训练的链路异常检测模型,确定单一链路异常检测模型对应的异常数据占比;
综合处理模块,用于根据各链路异常检测模型预测的异常数据占比确定传感器数据链路是否异常;
异常节点分析模块,用于当确定所述传感器数据链路异常时,确定异常节点;所述异常节点包括:传感器、A/D数模转换、信号转换板卡、推送接口和数据库。
在另一个实施例中,单一检测模块,用于将单位时间段内的所述标准状态数据分别利用各预先训练的链路异常检测模型,确定链路异常检测模型检测的单位时间段的异常数据量;根据所述异常数据量以及单位时间段内的全部数据量,得到单一链路异常检测模型对应的异常数据占比。
在另一个实施例中,综合分析模块,用于获取单一链路异常检测模型对应的异常数据占比的平均值;当所述平均值大于预设阈值时,确定传感器数据链路异常
关于传感器数据链路异常检测装置的具体限定可以参见上文中对于传感器数据链路异常检测方法的限定,在此不再赘述。上述传感器数据链路异常检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储监测数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种传感器数据链路异常检测方法。
本领域技术人员可以理解,图5中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各实施例的方法。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述各实施例的方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种传感器数据链路异常检测方法,所述方法包括:
获取传感器采集的对换流变的监测数据;
对所述监测数据进行预处理,得到标准状态数据;
将所述标准状态数据利用预先训练的链路异常检测模型,确定监测数据是否异常,并在监测数据异常时确定传感器数据链路上的异常节点;所述传感器数据链路上的节点包括:传感器、A/D数模转换、信号转换板卡、推送接口和数据库。
2.根据权利要求1所述的方法,其特征在于,对所述监测数据进行预处理,得到标准状态数据,包括:
根据预先设置的区间范围,剔除超过或低于对应区间范围的监测数据,得到标准区间数据;
对所述标准区间数据中的缺失数据进行补充,得到标准状态数据。
3.根据权利要求2所述的方法,其特征在于,所述对所述标准区间数据中的缺失数据进行补充,得到标准状态数据,包括:
确定所述标准区间数据的缺失数据范围;
若所述标准区间数据的缺失数据范围在第一预设范围时,采用插值填补方法对所述缺失数据进行补充,得到标准状态数据;
若所述标准区间数据的缺失数据范围在第二预设范围时,采用随机森林算法或KNN算法对所述缺失数据进行补充,得到标准状态数据;
若所述标准区间数据的缺失数据范围在第三预设范围时,采用多重填补方法对所述缺失数据进行补充,得到标准状态数据;其中,所述第一预设范围、第二预设范围和第三预设范围依次增大。
4.根据权利要求1所述的方法,其特征在于,训练所述链路异常检测模型的方式,包括:
获取传感器采集的对换流变的历史监测数据;
获取对历史监测数据进行预处理所得到的历史标准状态数据,以及各历史标准状态数据对应的状态标签;所述状态标签包括:传感器异常、A/D数模转换异常、信号转换板卡异常、推送接口异常、数据库异常、正常以及未知异常;
分别采用多种算法,基于所述历史监测数据和状态标签进行训练,得到各算法对应的链路异常检测模型。
5.根据权利要求4所述的方法,其特征在于,所述将所述标准状态数据利用预先训练的链路异常检测模型,确定监测数据是否异常,并在监测数据异常时确定传感器数据链路上的异常节点,包括:
将单位时间段内的所述标准状态数据分别利用各预先训练的链路异常检测模型,确定单一链路异常检测模型对应的异常数据占比;
根据各链路异常检测模型预测的异常数据占比确定传感器数据链路是否异常;
当确定所述传感器数据链路异常时,确定异常节点;所述异常节点包括:传感器、A/D数模转换、信号转换板卡、推送接口和数据库。
6.根据权利要求5所述的方法,其特征在于,所述将单位时间段内的所述标准状态数据分别利用各预先训练的链路异常检测模型,确定单一链路异常检测模型对应的异常数据占比,包括:
将单位时间段内的所述标准状态数据分别利用各预先训练的链路异常检测模型,确定链路异常检测模型检测的单位时间段的异常数据量;
根据所述异常数据量以及单位时间段内的全部数据量,得到单一链路异常检测模型对应的异常数据占比。
7.根据权利要求5所述的方法,其特征在于,所述根据各链路异常检测模型预测的异常数据占比确定传感器数据链路是否异常,包括:
获取单一链路异常检测模型对应的异常数据占比的平均值;
当所述平均值大于预设阈值时,确定传感器数据链路异常。
8.一种传感器数据链路异常检测装置,其特征在于,所述装置包括:
监测数据获取模块,用于获取传感器采集的对换流变的监测数据;
预处理模块,用于对所述监测数据进行预处理,得到标准状态数据;
检测模块,用于将所述标准状态数据利用预先训练的链路异常检测模型,确定监测数据是否异常,并在监测数据异常时确定传感器数据链路上的异常节点;所述传感器数据链路上的节点包括:传感器、A/D数模转换、信号转换板卡、推送接口和数据库。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110640983.5A CN113093985B (zh) | 2021-06-09 | 2021-06-09 | 传感器数据链路异常检测方法、装置和计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110640983.5A CN113093985B (zh) | 2021-06-09 | 2021-06-09 | 传感器数据链路异常检测方法、装置和计算机设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113093985A true CN113093985A (zh) | 2021-07-09 |
CN113093985B CN113093985B (zh) | 2021-09-10 |
Family
ID=76664512
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110640983.5A Active CN113093985B (zh) | 2021-06-09 | 2021-06-09 | 传感器数据链路异常检测方法、装置和计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113093985B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114896333A (zh) * | 2022-04-22 | 2022-08-12 | 广东职业技术学院 | 一种基于区块链的花卉栽培跟踪系统及方法 |
CN115238831A (zh) * | 2022-09-21 | 2022-10-25 | 中国南方电网有限责任公司超高压输电公司广州局 | 故障预测方法、装置、计算机设备、存储介质和程序产品 |
CN116720153A (zh) * | 2023-05-29 | 2023-09-08 | 淮阴工学院 | 一种基于多传感器的信息融合系统及方法 |
CN117591502A (zh) * | 2023-11-22 | 2024-02-23 | 广州国测规划信息技术有限公司 | 一种航道控制网数据管理方法及系统 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104316839A (zh) * | 2014-11-07 | 2015-01-28 | 国网辽宁省电力有限公司鞍山供电公司 | 一种电力设备及输电线路故障综合在线监测系统 |
CN109655712A (zh) * | 2019-01-14 | 2019-04-19 | 中国电力科学研究院有限公司 | 一种配电网线路故障原因分析方法与系统 |
CN110826642A (zh) * | 2019-11-15 | 2020-02-21 | 安徽农业大学 | 一种针对传感器数据的无监督异常检测方法 |
CN111654405A (zh) * | 2020-06-29 | 2020-09-11 | 平安银行股份有限公司 | 通信链路的故障节点方法、装置、设备及存储介质 |
CN112345872A (zh) * | 2020-12-04 | 2021-02-09 | 中国南方电网有限责任公司超高压输电公司昆明局 | 基于深度置信网络的换流站二次回路异常识别和预警方法 |
CN112346393A (zh) * | 2021-01-08 | 2021-02-09 | 睿至科技集团有限公司 | 基于智能运维的数据全链路异常监测及处理方法和系统 |
CN112699946A (zh) * | 2020-12-31 | 2021-04-23 | 湖南工商大学 | 一种针对传感监测数据的异常检测方法、装置及相关设备 |
CN112750051A (zh) * | 2020-12-30 | 2021-05-04 | 广东电网有限责任公司计量中心 | 基于随机森林算法的台区相序识别方法、装置及终端设备 |
CN112818066A (zh) * | 2019-11-15 | 2021-05-18 | 深信服科技股份有限公司 | 一种时序数据异常检测方法、装置及电子设备和存储介质 |
CN112860968A (zh) * | 2021-02-02 | 2021-05-28 | 北京三快在线科技有限公司 | 一种异常检测的方法以及装置 |
-
2021
- 2021-06-09 CN CN202110640983.5A patent/CN113093985B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104316839A (zh) * | 2014-11-07 | 2015-01-28 | 国网辽宁省电力有限公司鞍山供电公司 | 一种电力设备及输电线路故障综合在线监测系统 |
CN109655712A (zh) * | 2019-01-14 | 2019-04-19 | 中国电力科学研究院有限公司 | 一种配电网线路故障原因分析方法与系统 |
CN110826642A (zh) * | 2019-11-15 | 2020-02-21 | 安徽农业大学 | 一种针对传感器数据的无监督异常检测方法 |
CN112818066A (zh) * | 2019-11-15 | 2021-05-18 | 深信服科技股份有限公司 | 一种时序数据异常检测方法、装置及电子设备和存储介质 |
CN111654405A (zh) * | 2020-06-29 | 2020-09-11 | 平安银行股份有限公司 | 通信链路的故障节点方法、装置、设备及存储介质 |
CN112345872A (zh) * | 2020-12-04 | 2021-02-09 | 中国南方电网有限责任公司超高压输电公司昆明局 | 基于深度置信网络的换流站二次回路异常识别和预警方法 |
CN112750051A (zh) * | 2020-12-30 | 2021-05-04 | 广东电网有限责任公司计量中心 | 基于随机森林算法的台区相序识别方法、装置及终端设备 |
CN112699946A (zh) * | 2020-12-31 | 2021-04-23 | 湖南工商大学 | 一种针对传感监测数据的异常检测方法、装置及相关设备 |
CN112346393A (zh) * | 2021-01-08 | 2021-02-09 | 睿至科技集团有限公司 | 基于智能运维的数据全链路异常监测及处理方法和系统 |
CN112860968A (zh) * | 2021-02-02 | 2021-05-28 | 北京三快在线科技有限公司 | 一种异常检测的方法以及装置 |
Non-Patent Citations (3)
Title |
---|
BENJAMIN YAO等: "Learning a scene contextual model for tracking and abnormality detection", 《2008 IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS》 * |
李晨等: "基于LSTM-OCSVM 的无人机传感器数据异常检测", 《小型微型计算机系统》 * |
许刚等: "基于链路状态数据库的数据中心网络异常检测算法", 《计算机研究与发展》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114896333A (zh) * | 2022-04-22 | 2022-08-12 | 广东职业技术学院 | 一种基于区块链的花卉栽培跟踪系统及方法 |
CN115238831A (zh) * | 2022-09-21 | 2022-10-25 | 中国南方电网有限责任公司超高压输电公司广州局 | 故障预测方法、装置、计算机设备、存储介质和程序产品 |
CN116720153A (zh) * | 2023-05-29 | 2023-09-08 | 淮阴工学院 | 一种基于多传感器的信息融合系统及方法 |
CN117591502A (zh) * | 2023-11-22 | 2024-02-23 | 广州国测规划信息技术有限公司 | 一种航道控制网数据管理方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN113093985B (zh) | 2021-09-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113093985B (zh) | 传感器数据链路异常检测方法、装置和计算机设备 | |
CN111210024A (zh) | 模型训练方法、装置、计算机设备和存储介质 | |
CN105637432A (zh) | 识别被监控实体的异常行为 | |
CN113419519B (zh) | 基于宽度学习的机电产品系统或设备实时故障诊断方法 | |
KR20170078252A (ko) | 시계열의 데이터를 모니터링 하는 방법 및 그 장치 | |
CN114091930B (zh) | 业务指标预警方法、装置、电子设备和存储介质 | |
CN113284002A (zh) | 用电数据异常检测方法、装置、计算机设备和存储介质 | |
CN110858072B (zh) | 设备运行状态的确定方法及装置 | |
CN118094347B (zh) | 液冷储能模组自适应调节优化方法、装置及存储介质 | |
CN116976530B (zh) | 一种电缆设备状态预测方法、装置及存储介质 | |
CN112416662A (zh) | 多时间序列数据异常检测方法与装置 | |
CN112598015A (zh) | 缺值补偿方法、缺值补偿系统及非暂态计算机可读取媒体 | |
CN110866682B (zh) | 基于历史数据的地下电缆预警方法和装置 | |
CN117172753A (zh) | 一种基于移动互联网的智慧水电站巡检系统及方法 | |
CN113758652B (zh) | 换流变压器漏油检测方法、装置、计算机设备和存储介质 | |
CN113447813B (zh) | 海上风力发电机组的故障诊断方法及设备 | |
CN111930728B (zh) | 一种设备的特征参数和故障率的预测方法及系统 | |
CN117407824A (zh) | 一种电力时间同步装置的健康检测方法、设备和介质 | |
CN113570473B (zh) | 设备故障监测方法、装置、计算机设备和存储介质 | |
CN115114990A (zh) | 一种基于图神经网络的配电网络状态在线检测方法 | |
Su et al. | Combining Self-Organizing Map with Reinforcement Learning for Multivariate Time Series Anomaly Detection | |
CN113033414A (zh) | 用电数据异常检测方法、装置、计算机设备和存储介质 | |
KR20220028727A (ko) | 열화에 따른 시계열 데이터를 이용한 실시간 이상 감지 방법 및 그를 위한 장치 | |
Wang et al. | IFP-ADAC: A two-stage interpretable fault prediction model for multivariate time series | |
KR20220028726A (ko) | 열화에 따른 패턴 학습을 이용한 이상 감지 방법 및 그를 위한 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |