CN112862127B - 一种传感器数据的异常处理方法、装置、电子设备及介质 - Google Patents

一种传感器数据的异常处理方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN112862127B
CN112862127B CN202110445193.1A CN202110445193A CN112862127B CN 112862127 B CN112862127 B CN 112862127B CN 202110445193 A CN202110445193 A CN 202110445193A CN 112862127 B CN112862127 B CN 112862127B
Authority
CN
China
Prior art keywords
sensor
sensors
sensor data
target
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110445193.1A
Other languages
English (en)
Other versions
CN112862127A (zh
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Real AI Technology Co Ltd
Original Assignee
Beijing Real AI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Real AI Technology Co Ltd filed Critical Beijing Real AI Technology Co Ltd
Priority to CN202110445193.1A priority Critical patent/CN112862127B/zh
Publication of CN112862127A publication Critical patent/CN112862127A/zh
Application granted granted Critical
Publication of CN112862127B publication Critical patent/CN112862127B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/20Administration of product repair or maintenance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

本申请提供了一种传感器数据的异常处理方法、装置、电子设备及介质:从第一传感器关系网中,选取包括的传感器数量最多的第一传感器集合;从多个目标传感器在不同时刻采集的传感器数据中,确定有值传感器数据和缺失传感器数据;根据有值传感器数据,确定针对预测模型的调整参数;根据调整参数对预测模型的初始参数进行调整,得到预测模型在对应的损失函数最小时的目标参数;根据目标参数,处理多个目标传感器中的异常传感器数据;根据每个传感器和与每个传感器相关性高的关联传感器分别采集的传感器数据对每个传感器中的异常传感器数据进行处理,提高了异常传感器数据处理后的准确性。

Description

一种传感器数据的异常处理方法、装置、电子设备及介质
技术领域
本发明涉及数据处理技术领域,具体而言,涉及一种传感器数据的异常处理方法、装置、电子设备及介质。
背景技术
在工程设备中通常需要安装大量的传感器,通过对这些传感器数据的实时分析可以监控工程设备的各项指标并评估工程设备的运作状况。
在实际生产过程中,传感器会因为种种原因出现传感器数据异常的情况,如停电导致的停机、传感器失灵、工作人员疏忽等,而基于带有异常的数据评估工程设备运作状况,会导致对工程设备的运转状况的误判,也即,传感器数据的异常会对评估设备运作状况的准确程度带来严重的影响。
发明内容
有鉴于此,本发明的目的在于提供一种传感器数据的异常处理方法、装置、设备及存储介质,根据每个传感器和与每个传感器相关性高的关联传感器分别采集的传感器数据对每个传感器中的异常传感器数据进行处理,提高了异常传感器数据处理后的准确性。
第一方面,本申请实施例提供了一种传感器数据的异常处理方法,所述异常处理方法包括:
从第一传感器关系网中,选取包括的传感器数量最多的第一传感器集合;其中,所述第一传感器关系网中包括多个传感器以及所述多个传感器之间的关联关系;所述第一传感器集合中包括的多个目标传感器之间具有关联关系;
从所述多个目标传感器在不同时刻采集的传感器数据中,确定有值传感器数据和缺失传感器数据;
根据所述有值传感器数据,确定针对预测模型的调整参数;
根据所述调整参数对预测模型的初始参数进行调整,得到所述预测模型在对应的损失函数最小时的目标参数;
根据所述目标参数,处理所述多个目标传感器中的异常传感器数据。
在本发明较佳的技术方案中,上述根据所述目标参数,处理所述多个目标传感器中的异常传感器数据之后,所述异常处理方法还包括:
从除所述第一传感器集合之外的第一传感器关系网中选取包括的传感器数量最多的第二传感器集合;
将所述第二传感器集合作为新的第一传感器集合,返回从第一传感器关系网中,选取包括的传感器数量最多的第一传感器集合的步骤,直至所述第一传感器关系网中不存在剩余传感器集合。
在本发明较佳的技术方案中,上述从除所述第一传感器集合之外的第一传感器关系网中选取包括的传感器数量最多的第二传感器集合,包括:
从所述第一传感器关系网中剔除第一传感器集合,得到第二传感器关系网;
将所述第二传感器关系网作为新的第一传感器关系网,并从中获取包括的传感器数量最多的第二传感器集合。
在本发明较佳的技术方案中,上述异常处理方法通过如下方式构建所述第一传感器关系网:
针对每一传感器,确定该传感器采集的传感器数据要传输的目的传感器;
根据每个传感器以及该传感器采集的传感器数据要传输的目的传感器,构建所述第一传感器关系网。
在本发明较佳的技术方案中,上述根据每个传感器以及该传感器采集的传感器数据要传输的目的传感器,构建所述第一传感器关系网,包括:
针对每一传感器,根据该传感器采集的传感器数据,计算该传感器与该传感器对应的目的传感器的相关性;
从该传感器对应的目的传感器中,选取对应的相关性大于预设阈值的目标目的传感器;
根据每个传感器和该传感器对应的目标目的传感器,构建所述第一传感器关系网;其中,所述第一传感器关系网中,每个传感器和该传感器对应的目标目的传感器之间具有一连线。
在本发明较佳的技术方案中,上述根据所述目标参数,处理所述多个目标传感器中的异常传感器数据,包括;
根据所述目标参数确定所述多个目标传感器中的异常传感器数据对应的预测值;
根据预测值处理所述异常传感器数据。
在本发明较佳的技术方案中,上述在根据所述目标参数,处理所述多个目标传感器中的异常传感器数据之后,所述异常处理方法还包括:
获取所述第一传感器关系网经过异常处理后的各个传感器分别对应的更新传感器数据;所述第一传感器关系网中的各个传感器为目标工程设备使用的传感器;
根据所述更新传感器数据,确定所述目标工程设备的评估结果。
第二方面,本申请实施例提供了一种传感器数据的异常处理装置,所述装置包括:
获取模块,用于从第一传感器关系网中,选取包括的传感器数量最多的第一传感器集合;其中,所述第一传感器关系网中包括多个传感器以及所述多个传感器之间的关联关系;所述第一传感器集合中包括的多个目标传感器之间具有关联关系;
检测模块,用于从所述多个目标传感器在不同时刻采集的传感器数据中,确定有值传感器数据和缺失传感器数据;
计算模块,用于根据所述有值传感器数据,确定针对预测模型的调整参数;
调整模块,用于根据所述调整参数对预测模型的初始参数进行调整,得到所述预测模型在对应的损失函数最小时的目标参数;
处理模块,用于根据所述目标参数,处理所述多个目标传感器中的异常传感器数据。
第三方面,本申请实施例提供了一种计算机设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述的传感器数据的异常处理方法的步骤。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行上述的传感器数据的异常处理方法的步骤。
本申请的实施例提供一种传感器数据的异常处理方法,通过从第一传感器关系网中,选取包括的传感器数量最多的第一传感器集合;其中,第一传感器关系网中包括多个传感器以及多个传感器之间的关联关系;第一传感器集合中包括的多个目标传感器之间具有关联关系;从多个目标传感器在不同时刻采集的传感器数据中,确定有值传感器数据和缺失传感器数据;根据有值传感器数据,确定针对预测模型的调整参数;根据调整参数对预测模型的初始参数进行调整,得到预测模型在对应的损失函数最小时的目标参数;根据目标参数,处理多个目标传感器中的异常传感器数据:通过本申请的方式,根据每个传感器和与每个传感器相关性高的关联传感器分别采集的传感器数据对每个传感器中的异常传感器数据进行处理,提高了异常传感器数据处理后的准确性。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍, 应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的一种传感器数据的异常处理方法的流程示意图;
图2示出了本申请实施例所提供的一种传感器数据的异常处理方法的第一传感器关系网示意图;
图3示出了本申请实施例所提供的一种传感器数据的异常处理装置示意图;
图4示出了本申请实施例所提供的一种计算机设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
目前,通常工程设备中传感器采集的传感器数据实时监控工程设备的各项指标,并通过各项指标评估工程设备的运作状况。但实际中,传感器会因为种种原因出现传感器数据异常的情况,如停电导致的停机原因、传感器故障原因等,而基于异常数据评估工程设备的运作状况,会导致工程设备的运转状况评估不准确,也即,传感器数据的缺失会对评估设备运作状况的准确程度带来严重的影响。
相关技术包括两种异常数据的处理方法,具体如下:
第一类是基于目标传感器自身的历史数据统计量;
此类方法将超过平均值一定程度的数据当作异常值处理,使用传感器数据的历史平均值、中位数或众数作为异常数据的替代值。这样处理异常值存在很多问题:使用此种替代值,会更改原始数据的统计分布,使得数据的统计量可靠度降低;使用此种替代值无法真实反映出缺失数据的变化细节;由于传感器会不断采集新的数据,采集到的新数据会影响数据统计量,所以此种替代值会因为不断采集新的数而发生改变;此种替代值可信度比较低,具有有限的参考价值。
第一类处理方法,仅仅使用的是目标传感器的历史数据为参量进行处理,本申请与该类处理方法相比,本申请根据每个传感器和与每个传感器相关性高的关联传感器分别采集的传感器数据对每个传感器中的异常传感器数据进行处理,因为,基于传感器数据的流向性,考虑到了传感器之间的相关性,所以,本申请提高了异常传感器数据处理后的准确性。
第二类是利用周围传感器数据;
基于线性回归方法,选择目标传感器周围的一个传感器数据为特征,利用线性变换的方法去预测目标传感器数据。这种方法计算参数少,但若选取的已有的传感器数据本身存在异常时,则进行线性计算得到的值必定存在较大误差,甚至无法根据此传感器数据进行补全或修正。在这种情况下,以此传感器数据为参量去处理目标传感器采集到的传感器数据没有可信度。
本申请与基于线性回归的方法相比,本申请根据相关性高的多个关联传感器分别采集的传感器数据对每个传感器中的缺失传感器数据进行处理。因为,考虑到了传感器之间的相关性,使用与目标传感器所有相关传感器的传感器数据作为参量,所以,本申请提高了异常传感器数据处理后的准确性。
利用神经网络补全方法,此方法准确度相对较高,但是当传感器和传感器数据的数量增加时,需要计算的未知参数量会指数级增加,导致计算量巨大,模型的训练时间很长。另外,由于每个传感器相关特征不同,导致需要针对每个传感器单独花费大量的计算资源和时间训练一个独属模型。除此之外,神经网络需要海量的数据进行训练以提高预测准确程度,当数据出现大量缺失值或者数据量本来就很少时,可能无法满足神经网络训练的要求。
本申请与利用神经网络补全方法相比,利用神经网络补全方法,需要训练大量的模型,需要花费大量的时间,与此类方法相比,本申请一次性补全多个传感器数据,不需要针对每个传感器单独建立模型,相对而言计算更加快捷需要优化的未知参数量少,计算成本、计算时间都会比使用神经网络要少。
由于环境的相似,相同类型的传感器之间具有一定的相关性,甚至在物理约束的作用下,不同类型传感器之间也存在很强的相关性。这里的相关性是指影响程度,例如一个传感器数据变化会影响另一个传感器数据变化。从而,利用已有的传感器数据去补全缺失或修正异常传感器数据是一种理想的选择。
基于此,本申请实施例提供了一种传感器数据的异常处理方法、装置、设备及存储介质,根据每个传感器和与每个传感器相关性高的关联传感器分别采集的传感器数据对每个传感器中的异常传感器数据进行处理,提高了异常传感器数据处理后的准确性。
本发明实施例提供了一种传感器数据的异常处理方法、装置、设备及存储介质,下面通过实施例进行描述。
图1示出了本申请实施例所提供的一种传感器数据的异常处理方法的流程示意图,其中,该方法包括步骤S101-S105;具体的:
S101、从第一传感器关系网中,选取包括的传感器数量最多的第一传感器集合;其中,第一传感器关系网中包括多个传感器以及多个传感器之间的关联关系;第一传感器集合中包括的多个目标传感器之间具有关联关系;
S102、从多个目标传感器在不同时刻采集的传感器数据中,确定有值传感器数据和缺失传感器数据;
S103、根据有值传感器数据,确定针对预测模型的调整参数;
S104、根据调整参数对预测模型的初始参数进行调整,得到预测模型在对应的损失函数最小时的目标参数;
S105、根据目标参数,处理多个目标传感器中的异常传感器数据。
本申请根据每个传感器和与每个传感器相关性高的关联传感器分别采集的传感器数据对每个传感器中的异常传感器数据进行处理,提高了异常传感器数据处理后的准确性。
根据上述的实施例,下面进行详细的解释。
S101、从第一传感器关系网中,选取包括的传感器数量最多的第一传感器集合;其中,第一传感器关系网中包括多个传感器以及多个传感器之间的关联关系;第一传感器集合中包括的多个目标传感器之间具有关联关系;
步骤S101中,第一传感器关系网包括多个传感器以及多个传感器之间的关联关系,关联关系即相关性表示传感器之间的相互影响关系,也即一个传感器数据变化会引起其他传感器数据的变化。第一传感器关系网中包括多个传感器,这些传感器中有些传感器之间存在关联关系,有些传感器之间不存在关联关系。存在关联关系的传感器作为一个集合,最多关联关系的传感器为第一传感器集合。也就是说第一传感器集合中可以有一个传感器也可以有多个传感器。
在第一传感器关系网中,选取存在关联关系的最多的传感器。
具体的,用无向图(边没有方向的图称)为例表示第一传感器关系网,绘制全体传感器的一个无向图G,G的顶点代表一个传感器。通过Bron-Kerbosch算法在无向图G中找到最大团。Bron-Kerbosch算法相当于遍历了无向图的所有子图,在其中寻找最大的那个子图。其维护了三个列表R、P、V。R代表已确定的极大团顶点的集合,P代表未处理并且与所有R中顶点相连接的顶点集,R代表已搜过的并且属于某个极大团的顶点集合。当遍历无向图中所有顶点时,出现P和R为空集时P即代表极大团,所有极大团中最大的那个便是最大团。
S102、从多个目标传感器在不同时刻采集的传感器数据中,确定有值传感器数据和缺失传感器数据;
步骤S102中,目标传感器为第一传感器集合中的传感器,目标传感器处于工作状态,也就是说目标传感器在不同时刻均会采集传感器数据,由于一些原因导致有些采集到的数据出现错误或者缺失,错误传感器数据或者缺失传感器数据为异常传感器数据。准确无误的传感器数据为正常传感器数据。有值传感器数据是指目标传感器采集到的数据,即有值传感器数据包括采集到的正常传感器数据和采集到的错误传感器数据;缺失传感器数据是指传感器未能采集到的数据。在目标传感器所有的传感器数据中,区分出有值传感器数据和缺失传感器数据。
本申请中的第一传感器集合中多个目标传感器在不同时刻采集的传感器数据作为一个整体进行相关处理操作,在进行相关处理操作时,使用第一传感器集合中多个目标传感器在不同时刻采集的传感器数据对异常传感器数据进行预测,准确度更高。
具体的,将无向图G中传感器数据按照预设顺序拼接成一个数据矩阵Mr×n,其中r是传感器的总数,n是时间序列数据的长度。预设顺序可以为传感器编号或传感器类别等。在无向图G中取出最大团,最大团中有m(m<r)个传感器,所以最大团中m个传感器在n个时刻采集到的数据可以用矩阵Xm×n表示。以矩阵Xm×n表示多个目标传感器在不同时刻采集传感器数据。其中矩阵的行向量为传感器数据,矩阵的列向量为传感器的数量。
区分目标传感器的缺失传感器数据时,以矩阵Xm×n表示多个目标传感器在不同时刻采集传感器数据。其中矩阵的行向量为传感器数据,矩阵的列向量为传感器的数量。
对矩阵Xm×n每个行向量(也就是针对每个传感器的数据)做标准滑窗3-sigma异常检测并记录缺失传感器数据位置。
标准滑窗是指首选选取固定的窗口大小如50个数据长度,在3-sigma缺失检测的时候数据的均值
Figure SYM_210420095916001
和标准差
Figure SYM_210420095916002
只看这个窗口内的所有数据,与其它数据无关,窗口从数据的开头一直滑动到结尾,每移动一个数据位置就做一次3-sigma检测。
3-sigma检测标准是对一维数据(行向量)判定的:先计算出一维数据的均值
Figure SYM_210420095916003
和标准差
Figure SYM_210420095916004
,利用公式将数值在
Figure SYM_210420095916005
±3×
Figure SYM_210420095916006
之外的数据标记为缺失传感器数据,利用公式将数值在
Figure SYM_210420095916007
±3×
Figure SYM_210420095916008
之间的数据标记为有值传感器数据。
S103、根据有值传感器数据,确定针对预测模型的调整参数;
步骤S103中为了提高处理结果的准确性,本申请不直接使用有值传感器数据,而是对有值传感器数据分别进行标准化处理之后作为调整参数,调整参数用于调整初始参数,初始参数为预设参数。
具体的,对上述矩阵Xm×n排除异常值后对每个行向量数据单独做标准化处理得到新的矩阵X
Figure SYM_210420095916009
m×n=[[x11, x12, …, x1n], [x21, x22, …, x2n], [xm1, xm2, …, xmn]]。
标准化处理的步骤是:先计算出数据的均值
Figure SYM_210420095916010
和标准差
Figure SYM_210420095916011
,利用公式x
Figure SYM_210420095916012
Figure SYM_210420095916013
=(x-
Figure SYM_210420095916014
)/
Figure SYM_210420095917015
将原有一维数据x(行向量)转换成新的一维数据x
Figure SYM_210420095917016
Figure SYM_210420095917017
(行向量)。
S104、根据调整参数对预测模型的初始参数进行调整,得到预测模型在对应的损失函数最小时的目标参数;
步骤S104中初始参数为预测模型预先设置好的参数。预测模型用于根据调整参数对初始参数进行调整,使得初始参数与异常传感器数据误差更小,直到满足预测条件即预测模型对应的损失函数最小,即认为此时的目标参数与异常传感器数据误差最小。
具体的,预设初始参数是两组向量Am,Bn。其中Am为列向量,Bn为行向量。当两个向量相乘时会产生一个新的矩阵:Ym×n=Am×Bn,其中Ym×n=[[y11, y12, …, y1n], [y21, y22,…, y2n], [ym1, ym2, …, ymn]]。
向量参数Am和Bn的初始值设定成随机非零值,采用梯度下降法得到Am和Bn的最优解A* m和B* n
梯度下降法为:向量参数Am和Bn中的任意一个参数
Figure SYM_210420095917018
可以通过下面这个公式进行迭代更新,
Figure SYM_210420095917019
Figure SYM_210420095917020
=
Figure SYM_210420095917021
+
Figure SYM_210420095917022
Figure SYM_210420095917023
Loss(
Figure SYM_210420095917024
),其中
Figure SYM_210420095917025
为人工设定的学习率,
Figure SYM_210420095917026
Loss(
Figure SYM_210420095917027
)为损失函数Loss对参数
Figure SYM_210420095917028
的偏导。当
Figure SYM_210420095917029
Figure SYM_210420095917030
Figure SYM_210420095917031
的值非常接近时停止迭代(即,当 |
Figure SYM_210420095917032
Figure SYM_210420095917033
-
Figure SYM_210420095917034
|<
Figure SYM_210420095917035
Figure SYM_210420095917036
Loss(
Figure SYM_210420095917037
)≈0 时停止迭代,
Figure SYM_210420095917038
人工设定)。
损失函数设置为Loss=∑|xij-yij|2 (0≦i≦m, 0≦j≦n, tij≠0),Loss函数的具体计算过程可以通过以下步骤完成:
Figure P_210420095918001
其中Tm×n为X
Figure SYM_210420095917039
m×n的Mask矩阵Tm×n,其中Mask矩阵的大小和矩阵X
Figure SYM_210420095917040
m×n一样为m×n。Mask矩阵其中的元素tij和X
Figure SYM_210420095917041
m×n的元素xij一一对应,当X
Figure SYM_210420095917042
m×n中的元素xij为异常值时Mask矩阵里对应元素tij为0,当X
Figure SYM_210420095917043
m×n中的元素xij为正常值时Mask矩阵里对应元素tij为1。⊙符号是两个相同尺寸矩阵对应元素相乘形成同尺寸矩阵的乘法操作,
Figure SYM_210420095917044
符号同样是对应位置元素相减。||M||F代表矩阵M的Frobenius范数,其意义是矩阵M的每个元素的平方和的平方根,矩阵X
Figure SYM_210420095917045
m×n的预测值可以认为是Ym×n=A* m×B* n
S105、根据目标参数,处理多个目标传感器中的异常传感器数据。
步骤S105中处理多个目标传感器中的异常传感器数据方式如下:
根据目标参数,确定多个目标传感器中的异常传感器数据对应的预测值;
根据预测值处理异常传感器数据。
其中,根据预测值处理异常传感器数据,包括:
根据预测值,对缺失传感器数据进行替换;
根据预测值,对错误传感器数据进行修正。
因为上述方法中,使用的是标准化处理后的有值传感器数据,所以得到的预测值也是与标准化处理后的有值传感器数据对应。此时需要对预测值进行反标准化处理,得到与原始有值传感器数据对应的原始预测值。
对缺失传感器数据进行替换时,具体的,X
Figure SYM_210420095917046
m×n中的异常值可以使用Ym×n中的对应值填充,即xij=yij (0≦i≦m, 0≦j≦n, tij=0)。填充的具体步骤可以同公式表示:
Figure P_210420095918002
,其中Tm×n是之前提及的Mask矩阵,~Tm×n是取反操作(Tm×n中的元素0变成1,1变成0),⊙符号是两个相同尺寸矩阵对应元素相乘形成同尺寸矩阵的乘法操作,+符号同样是对应位置元素相加。
将填充后的矩阵X
Figure SYM_210420095917047
m×n利用反标准化公式 x=x
Figure SYM_210420095917048
/
Figure SYM_210420095917049
+
Figure SYM_210420095917050
还原成原始数据,并替换数据矩阵Mr×n对应位置数据。
对错误传感器数据进行修正时,人工或自动设定阈值α,当有值传感器数据与预测传感器对应位置的数据的残差超过阈值α时,将有值传感器数据标记为错误传感器数据,并用预测传感器数据替换错误传感器数据,替换步骤上述缺失传感器数据类似。
对第一传感器集合中传感器的传感器数据处理结束后,本方法还包括处理第一传感器关系网中除第一传感器集合的其他传感器的传感器数据,步骤如下:
从除第一传感器集合之外的第一传感器关系网中选取包括的传感器数量最多的第二传感器集合;
将第二传感器集合作为新的第一传感器集合,返回从第一传感器关系网中,选取包括的传感器数量最多的第一传感器集合的步骤,直至第一传感器关系网中不存在剩余传感器集合。
具体实现从除第一传感器集合之外的第一传感器关系网中选取包括的传感器数量最多的第二传感器集合时还可以:
从第一传感器关系网中剔除第一传感器集合,得到第二传感器关系网;
将第二传感器关系网作为新的第一传感器关系网,并从中获取包括的传感器数量最多的第二传感器集合。
具体的,从无向图G中除去已补全的传感器顶点后,得到新的无向图G
Figure SYM_210420095917051
。针对新的无向图G
Figure SYM_210420095917052
从S101开始重复进行直至无向图无顶点存在。此时,全部数据都完成补全,得到补全后的数据矩阵Mr×n
上述方法中第一传感器关系网可通过以下方式构建:
针对每一传感器,确定该传感器采集的传感器数据要传输的目的传感器;
根据每个传感器以及该传感器采集的传感器数据要传输的目的传感器,构建第一传感器关系网。
其中,根据每个传感器以及该传感器采集的传感器数据要传输的目的传感器,构建第一传感器关系网包括:
获取的传感器数据,判断某一个传感器采集到的传感器数据与其他传感器采集到的传感器数据是否有相关性,根据传感器数据之间的相关性,构建第一传感器关系网。
针对每一传感器,根据该传感器采集的传感器数据,计算该传感器与该传感器对应的目的传感器的相关性;
从该传感器对应的目的传感器中,选取对应的相关性大于预设阈值的目标目的传感器;
根据每个传感器和该传感器对应的目标目的传感器,构建所述第一传感器关系网;其中,所述第一传感器关系网中,每个传感器和该传感器对应的目标目的传感器之间具有一连线。
具体的,构建第一传感器关系网时,设置一个传感器数据相关性阈值,这个阈值可以根据实际的需求进行更改。将任意两个传感器同一时刻采集到的传感器数据带入相关性计算公式,得到这两个传感器数据相关性的计算值,如果计算值大于阈值的话就用线段将采集这两个传感器数据对应的传感器连接起来,如果计算值不大于阈值的话,则不进行连接,由此得到第一传感器关系网。在第一传感器关系网中,连接起来的传感器具有关联关系,没有连接起来在一起的就认为没有关联关系。
具有关联关系的传感器可以是两个、三个或者多个,也可能存在没有关联关系的传感器。传感器数量越多传感器数据发生异常的可能性就越大,所以我们首先选取包括的传感器数量最多的第一传感器集合。第一传感器集合中可以有一个传感器也可以有多个传感器。
具体的,绘制全体传感器的一个无向图G,G的顶点代表一个传感器,根据各个传感器对应传感器数据的相关性进行连接。将无向图G中传感器数据按照一定顺序拼接成一个数据矩阵Mr×n,其中r是传感器的总数,n是时间序列数据的长度。
在连接时,手动设定一个判定相关性大小的阈值β(默认值为0.8,可以根据实际需求更改)。然后,任意两个传感器数据相关性大小利用相关系数r表征,计算公式如下:
Figure F_210420095916001
其中,xi 和 yi 分别是两个传感器对应的一对数据,
Figure P_210420095918004
Figure P_210420095918005
分别是两个传感器数据的平均值。r 值的大小在 [-1, 1] 之间。
如果计算得到的r大于阈值β则将与x、y对应的传感器用线段连接起来,否则,不连接。即可得到如图2所示的无向图G。
上述方法完成了异常传感器处理之后,本申请还包括:
获取第一传感器关系网经过异常处理后的各个传感器分别对应的更新传感器数据;第一传感器关系网中的各个传感器为目标工程设备使用的传感器;
根据更新传感器数据,确定目标工程设备的评估结果。
本申请,处理完第一传感器关系网中所有有异常的传感器数据之后,即目标工程设备中使用的传感器在各个时刻采集到的数据均没有异常之后,根据更新传感器数据,确定目标工程设备的评估结果。
图3示出了本申请实施例所提供的一种传感器数据的异常处理装置的结构示意图,装置包括:
获取模块,用于从第一传感器关系网中,选取包括的传感器数量最多的第一传感器集合;其中,传感器关系网中包括多个传感器以及多个传感器之间的关联关系;第一传感器集合中包括的多个目标传感器之间具有关联关系;
检测模块,用于从多个目标传感器在不同时刻采集的传感器数据中,确定有值传感器数据和缺失传感器数据;
计算模块,用于根据正常传感器数据,确定针对预测模型的调整参数;
调整模块,用于根据调整参数和正常传感器数据,对预测模型的初始参数进行调整,得到预测模型在对应的损失函数最小时的目标参数;
处理模块,用于根据目标参数,处理多个目标传感器中的异常传感器数据。
上述装置还包括:
选取模块,用于从除所述第一传感器集合之外的第一传感器关系网中选取包括的传感器数量最多的第二传感器集合;
将所述第二传感器集合作为新的第一传感器集合,返回从第一传感器关系网中,选取包括的传感器数量最多的第一传感器集合的步骤,直至所述第一传感器关系网中不存在剩余传感器集合。
选取模块在用于从除所述第一传感器集合之外的第一传感器关系网中选取包括的传感器数量最多的第二传感器集合,包括:
从所述第一传感器关系网中剔除第一传感器集合,得到第二传感器关系网;
将所述第二传感器关系网作为新的第一传感器关系网,并从中获取包括的传感器数量最多的第二传感器集合。
构建模块,用于针对每一传感器,确定该传感器采集的传感器数据要传输的目的传感器;
根据每个传感器以及该传感器采集的传感器数据要传输的目的传感器,构建所述第一传感器关系网。
构建模块,在用于根据每个传感器以及该传感器采集的传感器数据要传输的目的传感器,构建所述第一传感器关系网时,包括:
针对每一传感器,根据该传感器采集的传感器数据,计算该传感器与该传感器对应的目的传感器的相关性;
从该传感器对应的目的传感器中,选取对应的相关性大于预设阈值的目标目的传感器;
根据每个传感器和该传感器对应的目标目的传感器,构建所述第一传感器关系网;其中,所述第一传感器关系网中,每个传感器和该传感器对应的目标目的传感器之间具有一连线。
处理模块,在用于根据目标参数,处理多个目标传感器中的异常传感器数据时,包括:
根据所述目标参数确定所述多个目标传感器中的异常传感器数据对应的预测值;
根据预测值处理所述异常传感器数据。
如图4所示,本申请实施例提供了一种计算机设备,用于执行本申请中的传感器数据的异常处理方法,该设备包括存储器、处理器及存储在该存储器上并可在该处理器上运行的计算机程序,其中,上述处理器执行上述计算机程序时实现上述的传感器数据的异常处理方法的步骤。
具体地,上述存储器和处理器可以为通用的存储器和处理器,这里不做具体限定,当处理器运行存储器存储的计算机程序时,能够执行上述的传感器数据的异常处理方法。
对应于本申请中的传感器数据的异常处理方法,本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述的传感器数据的异常处理方法的步骤。
具体地,该存储介质能够为通用的存储介质,如移动磁盘、硬盘等,该存储介质上的计算机程序被运行时,能够执行上述的传感器数据的异常处理方法。
在本申请所提供的实施例中,应该理解到,所揭露系统和方法,可以通过其它的方式实现。以上所描述的系统实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,系统或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请提供的实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述异常处理方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory, ROM)、随机存取存储器(Random Access Memory ,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释,此外,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
最后应说明的是:以上所述实施例,仅为本申请的具体实施方式,用以说明本申请的技术方案,而非对其限制,本申请的保护范围并不局限于此,尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。

Claims (9)

1.一种传感器数据的异常处理方法,其特征在于,所述异常处理方法包括:
从第一传感器关系网中,选取包括的传感器数量最多的第一传感器集合;其中,所述第一传感器关系网中包括多个传感器以及所述多个传感器之间的关联关系;所述第一传感器集合中包括的多个目标传感器之间具有关联关系;
从所述多个目标传感器在不同时刻采集的传感器数据中,确定有值传感器数据和缺失传感器数据;
根据所述有值传感器数据,确定针对预测模型的调整参数;
根据所述调整参数对预测模型的初始参数进行调整,得到所述预测模型在对应的损失函数最小时的目标参数;
根据所述目标参数,处理所述多个目标传感器中的异常传感器数据;
从除所述第一传感器集合之外的第一传感器关系网中选取包括的传感器数量最多的第二传感器集合;
将所述第二传感器集合作为新的第一传感器集合,返回从第一传感器关系网中,选取包括的传感器数量最多的第一传感器集合的步骤,直至所述第一传感器关系网中不存在剩余传感器集合。
2.根据权利要求1所述的传感器数据的异常处理方法,其特征在于,所述从除所述第一传感器集合之外的第一传感器关系网中选取包括的传感器数量最多的第二传感器集合,包括:
从所述第一传感器关系网中剔除第一传感器集合,得到第二传感器关系网;
将所述第二传感器关系网作为新的第一传感器关系网,并从中获取包括的传感器数量最多的第二传感器集合。
3.根据权利要求1所述的传感器数据的异常处理方法,其特征在于,通过如下方式构建所述第一传感器关系网:
针对每一传感器,确定该传感器采集的传感器数据要传输的目的传感器;
根据每个传感器以及该传感器采集的传感器数据要传输的目的传感器,构建所述第一传感器关系网。
4.根据权利要求3所述的传感器数据的异常处理方法,其特征在于,所述根据每个传感器以及该传感器采集的传感器数据要传输的目的传感器,构建所述第一传感器关系网,包括:
针对每一传感器,根据该传感器采集的传感器数据,计算该传感器与该传感器对应的目的传感器的相关性;
从该传感器对应的目的传感器中,选取对应的相关性大于预设阈值的目标目的传感器;
根据每个传感器和该传感器对应的目标目的传感器,构建所述第一传感器关系网;其中,所述第一传感器关系网中,每个传感器和该传感器对应的目标目的传感器之间具有一连线。
5.根据权利要求1所述的传感器数据的异常处理方法,其特征在于,所述根据所述目标参数,处理所述多个目标传感器中的异常传感器数据,包括;
根据所述目标参数确定所述多个目标传感器中的异常传感器数据对应的预测值;
根据预测值处理所述异常传感器数据。
6.根据权利要求1所述的传感器数据的异常处理方法,其特征在于,在根据所述目标参数,处理所述多个目标传感器中的异常传感器数据之后,所述异常处理方法还包括:
获取所述第一传感器关系网经过异常处理后的各个传感器分别对应的更新传感器数据;所述第一传感器关系网中的各个传感器为目标工程设备使用的传感器;
根据所述更新传感器数据,确定所述目标工程设备的评估结果。
7.一种传感器数据的异常处理装置,其特征在于,所述装置包括:
获取模块,用于从第一传感器关系网中,选取包括的传感器数量最多的第一传感器集合;其中,所述第一传感器关系网中包括多个传感器以及所述多个传感器之间的关联关系;所述第一传感器集合中包括的多个目标传感器之间具有关联关系;
检测模块,用于从所述多个目标传感器在不同时刻采集的传感器数据中,确定有值传感器数据和缺失传感器数据;
计算模块,用于根据所述有值传感器数据,确定针对预测模型的调整参数;
调整模块,用于根据所述调整参数对预测模型的初始参数进行调整,得到所述预测模型在对应的损失函数最小时的目标参数;
处理模块,用于根据所述目标参数,处理所述多个目标传感器中的异常传感器数据;
选取模块,用于从除所述第一传感器集合之外的第一传感器关系网中选取包括的传感器数量最多的第二传感器集合;
将所述第二传感器集合作为新的第一传感器集合,返回从第一传感器关系网中,选取包括的传感器数量最多的第一传感器集合的步骤,直至所述第一传感器关系网中不存在剩余传感器集合。
8.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至6任一所述的传感器数据的异常处理方法的步骤。
9.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至6任一所述的传感器数据的异常处理方法的步骤。
CN202110445193.1A 2021-04-23 2021-04-23 一种传感器数据的异常处理方法、装置、电子设备及介质 Active CN112862127B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110445193.1A CN112862127B (zh) 2021-04-23 2021-04-23 一种传感器数据的异常处理方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110445193.1A CN112862127B (zh) 2021-04-23 2021-04-23 一种传感器数据的异常处理方法、装置、电子设备及介质

Publications (2)

Publication Number Publication Date
CN112862127A CN112862127A (zh) 2021-05-28
CN112862127B true CN112862127B (zh) 2021-07-23

Family

ID=75992720

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110445193.1A Active CN112862127B (zh) 2021-04-23 2021-04-23 一种传感器数据的异常处理方法、装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN112862127B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113343364A (zh) * 2021-07-05 2021-09-03 中国国际航空股份有限公司 航空大数据分析方法及工具
CN113469151B (zh) * 2021-09-03 2022-02-15 深圳市信润富联数字科技有限公司 工业制造中传感器的筛选方法、装置、设备及介质
CN114328483B (zh) * 2021-12-21 2023-07-07 浙江高信技术股份有限公司 一种传感器数据的处理系统
CN114691463B (zh) * 2022-04-20 2022-11-11 北京建工集团有限责任公司 基于云端的结构健康监测评估方法、系统及存储介质
CN115469136A (zh) * 2022-10-25 2022-12-13 南方电网数字电网研究院有限公司 一种基于电场传感器阵列的非侵入式三相电压测量方法
CN116451178B (zh) * 2023-06-20 2024-02-13 中国联合网络通信集团有限公司 传感器异常处理方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106815639A (zh) * 2016-12-27 2017-06-09 东软集团股份有限公司 流数据的异常点检测方法及装置
CN109189049A (zh) * 2018-10-15 2019-01-11 浙江工业大学 一种适用于网络化控制系统的主动时延补偿方法
CN110087207A (zh) * 2019-05-05 2019-08-02 江南大学 无线传感器网络缺失数据重建方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101344460B (zh) * 2007-08-10 2010-05-19 上海海事大学 水下机器人传感器故障诊断方法及系统
CN103729444B (zh) * 2013-12-30 2017-07-18 清华大学 一种基于设备监测数据间潜在关系的异常数据检测方法
CN104765354B (zh) * 2014-01-10 2018-02-09 北京博锐尚格节能技术股份有限公司 一种传感器及执行元件的故障诊断方法、装置及系统
US10945674B2 (en) * 2017-12-13 2021-03-16 Google Llc Methods, systems, and media for predicting sensor measurement quality

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106815639A (zh) * 2016-12-27 2017-06-09 东软集团股份有限公司 流数据的异常点检测方法及装置
CN109189049A (zh) * 2018-10-15 2019-01-11 浙江工业大学 一种适用于网络化控制系统的主动时延补偿方法
CN110087207A (zh) * 2019-05-05 2019-08-02 江南大学 无线传感器网络缺失数据重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A Method for Sensor-Based Activity Recognition in Missing Data Scenario;Tahera Hossain,and etc;《Sensors》;20200708;第1-23页 *
基于模型优化预测与温度场分析的温室传感器故障识别;任远等;《农业工程》;20210131(第1期);第73-81页 *

Also Published As

Publication number Publication date
CN112862127A (zh) 2021-05-28

Similar Documents

Publication Publication Date Title
CN112862127B (zh) 一种传感器数据的异常处理方法、装置、电子设备及介质
CN115018021B (zh) 基于图结构与异常注意力机制的机房异常检测方法及装置
CN112257755B (zh) 航天器运行状态的分析方法和装置
CN112508243B (zh) 电力信息系统多故障预测网络模型的训练方法及装置
CN113076215A (zh) 一种独立于数据类型的无监督异常检测方法
CN116032557B (zh) 一种网络安全异常检测中深度学习模型的更新方法与装置
EP2963552B1 (en) System analysis device and system analysis method
CN113574480B (zh) 用于预测设备损坏的装置
CN114978956A (zh) 智慧城市网络设备性能异常突变点检测方法及装置
WO2018211721A1 (ja) 異常情報推定装置、異常情報推定方法及びプログラム
CN117269742A (zh) 一种高海拔环境下断路器健康状态评估方法、装置及介质
CN113723861A (zh) 异常用电行为检测方法、装置、计算机设备和存储介质
CN113360656A (zh) 异常数据检测方法、装置、设备及存储介质
CN112182056A (zh) 一种数据检测方法、装置、设备及存储介质
CN117041017A (zh) 数据中心的智能运维管理方法及系统
KR101960755B1 (ko) 미취득 전력 데이터 생성 방법 및 장치
Liu et al. Fault diagnosis for TE process using RBF neural network
CN111639304A (zh) 基于Xgboost回归模型的CSTR故障定位方法
CN112380073B (zh) 一种故障位置的检测方法、装置及可读存储介质
Skubalska-Rafajłowicz Random projections and Hotelling’s statistics for change detection in high-dimensional data streams
KR20220145007A (ko) 텐서 스트림 데이터에서 손실, 이상치, 패턴을 검출 및 복구하는 데이터 처리 방법
CN110411724A (zh) 一种旋转机械故障诊断方法、装置、系统及可读存储介质
EP3407198A1 (en) System, device and method for frozen period detection in sensor datasets
CN107958089A (zh) 构建模型的方法和装置以及异常数据的检测方法和装置
CN114861753A (zh) 一种基于大规模网络的数据分类方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant