CN110084326A - 一种基于模糊集的工业设备异常检测方法 - Google Patents

一种基于模糊集的工业设备异常检测方法 Download PDF

Info

Publication number
CN110084326A
CN110084326A CN201910394398.4A CN201910394398A CN110084326A CN 110084326 A CN110084326 A CN 110084326A CN 201910394398 A CN201910394398 A CN 201910394398A CN 110084326 A CN110084326 A CN 110084326A
Authority
CN
China
Prior art keywords
attribute
degree
node
time window
abnormality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910394398.4A
Other languages
English (en)
Other versions
CN110084326B (zh
Inventor
张一川
徐纯发
王涵
宋杰
杨广明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeastern University China
Original Assignee
Northeastern University China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeastern University China filed Critical Northeastern University China
Priority to CN201910394398.4A priority Critical patent/CN110084326B/zh
Publication of CN110084326A publication Critical patent/CN110084326A/zh
Application granted granted Critical
Publication of CN110084326B publication Critical patent/CN110084326B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2468Fuzzy queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及工业设备异常检测技术领域,提供一种基于模糊集的工业设备异常检测方法。首先利用异常知识树构建工业设备的异常检测模型;然后,根据用户需求配置属性集、属性的数据流、时间窗口的大小、属性的隶属度函数与聚合函数,得到叶子节点的异常度;接着,根据属性之间的皮尔逊相关性系数对属性聚类并计算叶子节点的权重;然后,将类簇中涉及到的叶子节点聚合成非叶子节点,再将非叶子节点聚合成根节点;用户根据需求选择模型参数后,基于Storm实时计算系统,构建异常检测模型的流处理的拓扑结构,可视化工业设备在不同时间窗口内的异常程度结果。本发明能够对工业设备的异常进行实时检测,且能够实现对不同粒度数据的异常检测。

Description

一种基于模糊集的工业设备异常检测方法
技术领域
本发明涉及工业设备异常检测技术领域,特别是涉及一种基于模糊集的工业设备异常检测方法。
背景技术
随着信息社会的快速发展,数据规模开始呈现指数级别的爆发增长,如何在海量数据中挖掘出有价值的信息数据开始成为研究热点。特别是在网络入侵检测、金融风险分析、工业控制管理、传感器网络等等领域中会产生实时、快速、时序、连续不断的大规模数据,在传统静态数据集上的数据挖掘方法已经不太适合实时数据流,同时又因为会实时产生海量数据且计算机的内存是有限的,不可能将所有数据全部加载到内存,而通过设置滑动窗口的大小可以截取部分数据流实时处理,所以滑动窗口数据流模型的出现能够很好的解决上述计算机内存限制问题。目前基于滑动时间窗口的异常检测方法主要包括基于统计函数的方法、基于聚类的方法、基于预测模型的方法、基于距离的异常检测算法。
现有的异常检测方法所检测的数据级别通常是原始属性数据,检测的是细粒度级别的数据。而在实际工业生产过程中数据流的数据属性通常是成百上千个且异常复杂,很难从单个属性出现的异常来判断整体的异常情况,实际生产中判断异常是通过检测多个属性数据偏离了正常值来确定发生了异常。从而,现有的异常检测方法无法从工业生产过程中数据属性繁多复杂的数据流中有效检测出工业设备整体的异常情况,且不能对不同粒度数据的异常进行检测。
发明内容
针对现有技术存在的问题,本发明提供一种基于模糊集的工业设备异常检测方法,能够对工业设备的异常进行实时检测,且能够实现对不同粒度数据的异常检测。
本发明的技术方案为:
一种基于模糊集的工业设备异常检测方法,其特征在于,包括下述步骤:
步骤1:构建所述工业设备的异常检测模型,将所述异常检测模型描述为一棵异常知识树,所述异常知识树为
其中,m为所述异常知识树的任一节点,Sub(m)为节点m的子节点集合;|m|为节点m的异常度,为节点m的异常度的权重,DSm,w为节点m在时间窗口window内的数据流,fm为节点m的隶属度函数,gm为节点m的聚合函数;layer(m)为节点m所在节点层的节点集合;
步骤2:构建所述异常知识树的叶子节点:
步骤2.1:采集所述工业设备的属性集A0中每个属性在时间T0内每一时刻的值,根据用户需求配置属性集A0中L个属性构成子属性集A={a1,a2,...,al,...,aL}、时间T内属性al的值构成属性al的数据流DSl={dl1,dl2,......,dlt,......dlT},将子属性集A中的每个属性都作为所述异常知识树的一个叶子节点;其中,L≤L0,L0为属性集A0中的属性总数,l∈{1,2,...,L},dlt为属性al在t时刻的值,t∈{1,2,...,T},T≤T0
步骤2.2:根据用户需求配置时间窗口的大小W,得到属性al在时间窗口内的数据流DSl,w={dl,(t-W+1),dl,(t-W+2),...,dlt};
步骤2.3:配置属性al的隶属度函数fl,得到时间窗口内属性al的隶属度集合Fl={fl(dl,(t-W+1)),fl(dl,(t-W+2)),...,fl(dlt)};
步骤2.4:配置属性al的聚合函数gl,得到属性al对应的叶子节点的异常度|al|=gl(fl(dl,(t-W+1)),fl(dl,(t-W+2)),...,fl(dlt));
步骤2.5:重复上述步骤2.2至步骤2.4,直至l=L,得到所述异常知识树的每个叶子节点的异常度;
步骤3:计算每个叶子节点的异常度的权重:
步骤3.1:计算任意两个属性aY、aZ之间的皮尔逊相关性系数ρ(aY,aZ),得到属性相关性系数集R={|ρ(aY,aZ)|,Y,Z∈{1,2,...,L}且Y≠Z}={ρ1,ρ2,...,ρr};其中,
分别为属性aY、aZ的数据流DSY、DSZ中数据的均值;
步骤3.2:对所述属性相关性系数集R进行聚类:
步骤3.2.1:在属性相关性系数集R={ρ1,ρ2,...,ρr}中随机选取K个数据点作为初始聚类中心,形成K个初始聚类中心{μ1,μ2,...,μk,...,μK};其中,k∈{1,2,...,K},μk为第k个聚类中心;
步骤3.2.2:遍历属性相关性系数集R中的所有数据点,将每个数据点归类到离该数据点最近的聚类中心,得到类簇集合C={c1,c2,...,ck,...,cK},计算每个类簇的簇标记为
步骤3.2.3:更新每个类簇的聚类中心为
其中,|ck|为类簇ck中数据点的总数,yi为类簇ck中的第i个数据点;
步骤3.2.4:构建聚类目标函数,判断聚类目标函数是否收敛,若收敛,则进入步骤3.3;若不收敛,则重复上述步骤3.2.2至步骤3.2.3,进行下一次聚类,直至所述聚类目标函数收敛;所述聚类目标函数为其中,当聚类目标函数值在两次聚类中的变化量小于阈值ε时,所述聚类目标函数达到收敛;
步骤3.3:计算每个类簇的相关性系数权重值为
步骤3.4:计算属性al对应叶子节点的初始权重为得到叶子节点层的初始权重集合对叶子节点层的初始权重集合进行归一化处理,得到叶子节点层的权重集合其中,为类簇集合C中包含属性al的类簇的集合;
步骤4:构建所述异常知识树的非叶子节点:
步骤4.1:将类簇ck中涉及到的所有属性对应的叶子节点聚合成一个非叶子节点bk,得到叶子节点层的上层非叶子节点层为B={b1,b2,...,bk,...,bK};其中,
步骤4.2:计算非叶子节点bk的异常度为
步骤4.3:计算非叶子节点bk的异常度的初始权重为得到非叶子节点层B的初始权重集合为对非叶子节点层B的初始权重集合进行归一化处理,得到非叶子节点层B的权重集合为
步骤4.4:将所述非叶子节点层B聚合成根节点b,计算所述根节点b的异常度为 所述根节点b的权重为wb=1;
步骤5:将步骤1至步骤4所构建的异常检测模型存储到计算机磁盘上,加载计算机磁盘中的异常检测模型,并将所述异常检测模型显示在前端,用户根据需求从属性集A0中选取子属性集A、选取时间窗口的大小W以及时间窗口的滑动距离ΔW;
步骤6:基于Storm实时计算系统,构建所述异常检测模型的流处理的拓扑结构,运行所述Storm实时计算系统,得到所述工业设备在当前时间窗口内的异常程度结果;所述异常程度结果包括所述异常知识树中每个节点的异常度及异常度的权重;
步骤7:根据时间窗口的滑动距离ΔW,对不同时间窗口内的异常程度结果进行可视化。
所述步骤2.3中,所述属性al的隶属度函数
fl∈{frectangular,ftrapezoid,fparabolic,fnormal,fcauchy,fridgetype},采用专家咨询法确定每个属性的隶属度函数;其中,frectangular、ftrapezoid、fparabolic、fnormal、fcauchy、fridgetype分别为矩形分布、梯形分布、抛物型分布、正态分布、柯西分布、岭型分布的隶属度函数。
所述步骤2.4中,所述聚合函数gl为最小值聚合函数,|al|=min(fl(dl,(t-W+1)),fl(dl,(t-W+2)),...,fl(dlt))。
所述步骤6中,所述拓扑结构包括设备属性数据源组件、当前时间窗口同一属性异常度聚合组件、当前时间窗口不同属性异常度聚合组件、设备异常程度计算结果持久化组件、设备异常程度计算结果可视化组件;
所述设备属性数据源组件、当前时间窗口同一属性异常度聚合组件、当前时间窗口不同属性异常度聚合组件、设备异常程度计算结果持久化组件、设备异常程度计算结果可视化组件依次单向连接;
所述设备属性数据源组件用于加载时间T内所述属性集A中每个属性的数据流,并将数据流传输给当前时间窗口同一属性异常度聚合组件;所述当前时间窗口同一属性异常度聚合组件用于聚合当前时间窗口内同一属性的隶属度,得到每个叶子节点的异常度,并将叶子节点的异常度数据传输给当前时间窗口不同属性异常度聚合组件;所述当前时间窗口不同属性异常度聚合组件用于对所述叶子节点层进行聚类并构建所述异常知识树的非叶子节点,得到每个非叶子节点的异常度及异常度的权重;所述设备异常程度计算结果持久化组件用于对当前时间窗口内的异常程度结果进行持久化处理,将处理结果存储在缓存数据库Redis中;所述设备异常程度计算结果可视化组件用于根据时间窗口的滑动距离ΔW,加载Redis中缓存的不同时间窗口内的异常程度结果来进行可视化预警。
所述步骤7中,根据时间窗口的滑动距离ΔW,对不同时间窗口内的异常程度结果进行可视化包括:将当前时间窗口内的所述异常程度结果实时显示在计算机界面上的一个矩形中,对所述异常知识树从根节点开始遍历,根据每个节点的权重大小将矩形划分成多个子矩形,每个子矩形上显示该子矩形对应的节点的名称、异常度、异常度的权重,每个子矩形的面积大小、颜色深浅均同该子矩形对应的节点的权重大小成正比。
本发明的有益效果为:
(1)本发明基于模糊集理论中的隶属度函数,将工业信息化中设备仪器产生的实时数据流的异常程度数值化,也即将离散化的异常概念数值化,用0到1之间的数值表示异常程度的大小,越靠近1代表数据越正常,相反越靠近0代表数据异常程度越大;并在此基础上通过加权聚合的方法,动态构建工业设备的多叉树异常检测模型,实现对工业设备的异常进行实时检测。
(2)本发明中用户可以根据实际需求从属性集A0中选取子属性集A,从而灵活创建异常检测模型,并通过设置时间窗口的大小W以及时间窗口的滑动距离ΔW来控制异常检测的时间粒度,如小时级别、天均级别或者是周级别,从而实现不同用户需求下不同时间窗口内设备异常的监测。
(3)本发明根据异常检测模型中节点的权重大小对每个节点的异常度以不同深浅颜色进行可视化预警,从而实时显示不同粒度数据的异常值,实现对不同粒度数据的异常检测。
附图说明
图1为本发明实施例中构建变压器异常检测模型的流程图。
图2为本发明实施例中变压器异常知识树的部分结构示意图。
图3为本发明实施例中Storm系统中变压器异常检测模型的拓扑结构示意图。
图4为本发明实施例中变压器的异常程度结果可视化示意图。
具体实施方式
下面将结合附图和具体实施方式,对本发明作进一步描述。
本实施例中,根据某变压器组在2000年到2007年之间实际升降压过程中每天记录的几百条属性参数数据,来对该变压器组进行异常检测。由于变压过程中变压器组状态变化的复杂性,工作人员会记录每天的状态参数例如本体温度、配电负载率、配变功率因素等等,然后会通过以往的经验数据来判断变压器组状态的稳定性,缺少科学化的手段来判断变压器组状态的异常程度。而本发明通过构建变压器组的异常检测模型,实时检测变压器组的稳定情况并做出相关预警,帮助工作人员做出合理的预防措施。本发明基于模糊集的工业设备异常检测方法,其特征在于,包括下述步骤:
步骤1:构建所述工业设备的异常检测模型,将所述异常检测模型描述为一棵异常知识树,所述异常知识树为
其中,m为所述异常知识树的任一节点,Sub(m)为节点m的子节点集合;|m|为节点m的异常度,为节点m的异常度的权重,DSm,w为节点m在时间窗口window内的数据流,fm为节点m的隶属度函数,gm为节点m的聚合函数;layer(m)为节点m所在节点层的节点集合。
如图1所示,为本实施例中构建变压器异常检测模型的流程图。
步骤2:构建所述异常知识树的叶子节点:
步骤2.1:采集所述工业设备的属性集A0中每个属性在时间T0内每一时刻的值,根据用户需求配置属性集A0中L个属性构成子属性集A={a1,a2,...,al,...,aL}、时间T内属性al的值构成属性al的数据流DSl={dl1,dl2,......,dlt,......dlT},将子属性集A中的每个属性都作为所述异常知识树的一个叶子节点;其中,L≤L0,L0为属性集A0中的属性总数,l∈{1,2,...,L},dlt为属性al在t时刻的值,t∈{1,2,...,T},T≤T0
本实施例中,所述工业设备为企业变压器组,属性集A0包括变压器的三相不平衡度、低压电压合格率、高压软连接点温度、本体温度、配变负载率、配变功率因素、低压母线温度、低压母线电压、投运日期、低压出线三相不平衡度、低压出线功率因素、低压开关状态、配电室温度、风机状态、灯光状态、电缆沟水浸等因素。在变压器组生产过程中记录和整理所有原始数据,对原始数据进行相应的预处理后,以txt文档格式的形式保存所有的原始数据。以低压母线状态统计为例,进行预处理过后的部分数据的数据格式为:
2000-1-1,52,0.6,0.5,7,169,286,0.8,9,793,836,1999,5
2000-1-2,97,0.8,0.5,57,135,263,0.8,6,374,681,1938,10
2000-1-3,52,0.7,0.3,27,134,282,0.8,9,349,747,1985,3
2000-1-4,71,0.3,0.5,94,183,253,0.8,9,335,597,1729,4
2000-1-5,77,0.6,0.2,94,167,250,0.8,6,319,619,1193,5
2000-1-6,89,0.7,0.8,37,117,266,0.4,5,352,981,1992,10
2000-1-7,93,0.6,0.9,96,175,265,0.8,8,380,617,1177,9
2000-1-8,79,0.1,0.6,22,150,264,0.8,3,449,977,1981,4
2000-1-9,83,0.5,0.7,32,146,204,0.8,1,337,819,1886,5
2000-1-10,58,0.2,0.5,48,179,202,0.8,3,363,724,1872,9
设计XML的格式配置原始数据集的所有属性参数,监听服务器启动,启动后会加载所有预处理后的数据集到内存并解析加载配置的属性XML文件到内存,通过AJAX请求将内存中数据显示在前端供用户选择。本实施例中,以某型号变压器为例设计XML:
步骤2.2:根据用户需求配置时间窗口的大小W,得到属性al在时间窗口内的数据流DSl,w={dl,(t-W+1),dl,(t-W+2),...,dlt};
步骤2.3:配置属性al的隶属度函数fl,得到时间窗口内属性al的隶属度集合Fl={fl(dl,(t-W+1)),fl(dl,(t-W+2)),...,fl(dlt)};
本实施例中,所述步骤2.3中,所述属性al的隶属度函数
fl∈{frectangular,ftrapezoid,fparabolic,fnormal,fcauchy,fridgetype},采用专家咨询法确定每个属性的隶属度函数;其中,frectangular、ftrapezoid、fparabolic、fnormal、fcauchy、fridgetype分别为矩形分布、梯形分布、抛物型分布、正态分布、柯西分布、岭型分布的隶属度函数。
配置模糊数学中模糊集的隶属函数用来计算元数据的隶属值(异常程度),这里考虑的是以实数R作为论域的情况,在已有经验数据的前提下,隶属函数能够计算出输入数据偏离经验数据的程度,以抛物型分布(中间型)为例:
初始化参数k、a、b,k=2代表曲线上升、下降趋势类似二次函数,a、b初始化是根据属性来定,不同属性有不同判断是否异常的阈值。对同一属性,论域落在[b,c]之间计算结果值为1,代表该属性数据值正常;论域落在[a,b]之间时函数是单调的,结果值在[0,1]之间,即数据值越靠近b时数据越正常,相反靠近a时数据异常程度越大,这里用连续化的数值来描述异常,而不是仅通过离散化的结果值“正常”和“异常”来描述数据异常情况;论域落在[-∞,a]或[d,+∞]时数据异常;论域落在[c,d]之间时越靠近c越正常相反越异常。
本实施例中,设计XML配置隶属函数,同样是在服务器启动后加载解析隶属函数XML文件显示在前端,本实施例中以梯形分布(偏小型)为例设计XML:
步骤2.4:配置属性al的聚合函数gl,得到属性al对应的叶子节点的异常度|al|=gl(fl(dl,(t-W+1)),fl(dl,(tW+2)),...,fl(dlt));
本实施例中,所述步骤2.4中,所述聚合函数gl为最小值聚合函数,|al|=min(fl(dl,(t-W+1)),fl(dl,(t-W+2)),...,fl(dlt))。
配置时间窗口聚合函数用来聚合滑动时间窗口模型中当前窗口中元数据的隶属值,将时间窗口中的多个隶属值聚合成一个隶属值。时间窗口基于time-based,即当前窗口内的数据是时序的。对当前窗口数据流的管理通过配置聚合函数来计算窗口内全部数据的整体异常值。
本实施例中,设计XML配置时间窗口聚合函数,加载原理同步骤2.3,目的为了聚合当前时间窗口内属性的隶属值,XML格式类似步骤2.3中格式。
步骤2.5:重复上述步骤2.2至步骤2.4,直至l=L,得到所述异常知识树的每个叶子节点的异常度。
构建异常知识树的非叶子节点时,用户根据实际需求选择已经创建好的叶子节点,将多个叶子节点通过加权求和的方式聚合成一个中间节点,代表的是更粗粒度的数据或指标数据,观测到的是属性汇总后的整体异常程度。从而需要计算每个叶子节点的异常度的权重。
步骤3:计算每个叶子节点的异常度的权重:
步骤3.1:计算任意两个属性aY、aZ之间的皮尔逊相关性系数ρ(aY,aZ),得到属性相关性系数集R={|ρ(aY,aZ)|,Y,Z∈{1,2,...,L}且Y≠Z}={ρ1,ρ2,...,ρr};其中,
分别为属性aY、aZ的数据流DSY、DSZ中数据的均值;
计算结果值ρ(aY,aZ)范围在[-1,1]之间,负值表示负相关,0表示不相关,正值表示正相关,计算所有两两属性集的皮尔逊相关性系数,结果取绝对值,得到了属性的相关性系数集R。
步骤3.2:对所述属性相关性系数集R进行聚类:
步骤3.2.1:在属性相关性系数集R={ρ1,ρ2,...,ρr}中随机选取K个数据点作为初始聚类中心,形成K个初始聚类中心{μ1,μ2,...,μk,...,μK};其中,k∈{1,2,...,K},μk为第k个聚类中心;
步骤3.2.2:遍历属性相关性系数集R中的所有数据点,将每个数据点归类到离该数据点最近的聚类中心,得到类簇集合C={c1,c2,...,ck,...,cK},计算每个类簇的簇标记为
步骤3.2.3:更新每个类簇的聚类中心为
其中,|ck|为类簇ck中数据点的总数,yi为类簇ck中的第i个数据点;
步骤3.2.4:构建聚类目标函数,判断聚类目标函数是否收敛,若收敛,则进入步骤3.3;若不收敛,则重复上述步骤3.2.2至步骤3.2.3,进行下一次聚类,直至所述聚类目标函数收敛;所述聚类目标函数为其中,当聚类目标函数值在两次聚类中的变化量小于阈值ε时,所述聚类目标函数达到收敛;E值越小表示簇内样本相似度越高;
步骤3.3:计算每个类簇的相关性系数权重值为
其中,对于μk越小的簇我们赋予它越大的权重。
步骤3.4:计算属性al对应叶子节点的初始权重为得到叶子节点层的初始权重集合对叶子节点层的初始权重集合进行归一化处理,得到叶子节点层的权重集合其中,为类簇集合C中包含属性al的类簇的集合。
本实施例中,采取全部属性平分CWk的方式获得属性的权重。
步骤4:构建所述异常知识树的非叶子节点:
步骤4.1:将类簇ck中涉及到的所有属性对应的叶子节点聚合成一个非叶子节点bk,得到叶子节点层的上层非叶子节点层为B={b1,b2,...,bk,...,bK};其中,
步骤4.2:计算非叶子节点bk的异常度为
步骤4.3:计算非叶子节点bk的异常度的初始权重为得到非叶子节点层B的初始权重集合为对非叶子节点层B的初始权重集合进行归一化处理,得到非叶子节点层B的权重集合为
步骤4.4:将所述非叶子节点层B聚合成根节点b,计算所述根节点b的异常度为 所述根节点b的权重为wb=1。
步骤5:将步骤1至步骤4所构建的异常检测模型存储到计算机磁盘上,加载计算机磁盘中的异常检测模型,并将所述异常检测模型显示在前端,用户根据需求从属性集A0中选取子属性集A、选取时间窗口的大小W以及时间窗口的滑动距离ΔW。
本实施例中,在变压器组稳定性分析系统界面上选择配置好的属性、隶属函数和时间窗口聚合函数,在模型创建面板上依次创建异常检测模型树的叶子节点。在模型创建面板上选择叶子节点,然后聚合成中间节点,在变压器组稳定性分析系统中,中间节点称作子指数,依次聚合形成的子指数为:变压器状态、低压母线状态、低压开关柜状态、高低压开关状态、箱表状态、环境监测状态,再将子指数进行聚合,最终形成的变压器组稳定性评价模型中的变压器异常知识树的部分结构如图2所示。
启动Tomcat服务器时会加载磁盘中存储好的变压器组稳定性异常模型树即变压器异常知识树,并将其反序列化加载到内存,然后显示在变压器组稳定性评价系统的界面上,显示方式为下拉列表。用户可以根据需求从属性集A0中选取子属性集A、选取时间窗口的大小W以及时间窗口的滑动距离ΔW。根据已有的子指数,对所有子指数进行加权求和,用户可以根据需求更改聚合节点和中间节点也即叶子节点及其上层非叶子节点的权重值,最后得到的根节点称为变压器组稳定性评判指数,至此为止评价变压器组稳定性的异常检测模型被构建出来,整个模型树的数据结构将会以JSON数据格式序列化存储到磁盘。
步骤6:基于Storm实时计算系统,构建所述异常检测模型的流处理的拓扑结构,运行所述Storm实时计算系统,得到所述工业设备在当前时间窗口内的异常程度结果;所述异常程度结果包括所述异常知识树中每个节点的异常度及异常度的权重。
本实施例中,所述拓扑结构包括设备属性数据源组件、当前时间窗口同一属性异常度聚合组件、当前时间窗口不同属性异常度聚合组件、设备异常程度计算结果持久化组件、设备异常程度计算结果可视化组件;所述设备属性数据源组件、当前时间窗口同一属性异常度聚合组件、当前时间窗口不同属性异常度聚合组件、设备异常程度计算结果持久化组件、设备异常程度计算结果可视化组件依次单向连接;所述设备属性数据源组件用于加载时间T内所述属性集A中每个属性的数据流,并将数据流传输给当前时间窗口同一属性异常度聚合组件;所述当前时间窗口同一属性异常度聚合组件用于聚合当前时间窗口内同一属性的隶属度,得到每个叶子节点的异常度,并将叶子节点的异常度数据传输给当前时间窗口不同属性异常度聚合组件;所述当前时间窗口不同属性异常度聚合组件用于对所述叶子节点层进行聚类并构建所述异常知识树的非叶子节点,得到每个非叶子节点的异常度及异常度的权重;所述设备异常程度计算结果持久化组件用于对当前时间窗口内的异常程度结果进行持久化处理,将处理结果存储在缓存数据库Redis中;所述设备异常程度计算结果可视化组件用于根据时间窗口的滑动距离ΔW,加载Redis中缓存的不同时间窗口内的异常程度结果来进行可视化预警。
如图3所示,为本实施例中Storm系统中变压器异常检测模型的拓扑结构示意图。由图3可见,变压器异常检测模型的拓扑结构包括设备属性数据源组件、当前时间窗口同一属性异常度聚合组件、当前时间窗口不同属性异常度聚合组件、变压器组稳定性计算结果持久化组件、变压器组稳定性计算结果可视化组件。
其中,Storm实时计算系统是一个分布式、高容错的实时计算系统,在流处理方面具有出色的表现,Storm采用有效的编程模型可以很容易地做到可靠地处理无限的数据流。使用Storm,开发人员只需要关注业务逻辑,并且具有高性能、低延迟的特点。除此之外,还可以水平拓展来应对越来越大的数据量和计算量,很适合处理实时数据流。Storm中数据以元组(Tuple)这种轻量级的数据格式的形式传递,并且通过可靠的机制保证消息至少处理一次,具有较好的容错性,异常检测模型中的所有树节点数据都能作为元组传入到Storm中进行实时处理,这样就实现了数据流的实时异常监测。
步骤7:根据时间窗口的滑动距离ΔW,对不同时间窗口内的异常程度结果进行可视化:将当前时间窗口内的所述异常程度结果实时显示在计算机界面上的一个矩形中,对所述异常知识树从根节点开始遍历,根据每个节点的权重大小将矩形划分成多个子矩形,每个子矩形上显示该子矩形对应的节点的名称、异常度、异常度的权重,每个子矩形的面积大小、颜色深浅均同该子矩形对应的节点的权重大小成正比。其中,可以在矩形中悬浮显示部分块或整体块的详细信息和异常度、异常度的权重。
本实施例中,滑动时间窗口模型使用Storm中内置的Sliding Window模型,用户选择的时间窗口大小W为7,在本系统中表示7天,时间窗口滑动距离选定为1,即所有树节点的数据每隔一天显示一次,时间参数中选定时间范围为2000年1月1号到2006年12月31日,在某一时刻聚合当前滑动时间窗口内所有属性节点的隶属值,然后由底向上依次聚合,最终聚合得到变压器组稳定性评判指数,其通过颜色可视化预警的部分异常程度结果如图4所示。
本发明利用数据结构中的多叉树,通过聚合叶子节点,即单个属性元数据,形成了粗粒度级别的属性数据,再依次聚合粗粒度级别的属性数据,最终形成了一棵多叉树,利用滑动时间窗口模型在其上进行的异常检测能够较好地反应整体异常情况。
显然,上述实施例仅仅是本发明的一部分实施例,而不是全部的实施例。上述实施例仅用于解释本发明,并不构成对本发明保护范围的限定。基于上述实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,也即凡在本申请的精神和原理之内所作的所有修改、等同替换和改进等,均落在本发明要求的保护范围内。

Claims (5)

1.一种基于模糊集的工业设备异常检测方法,其特征在于,包括下述步骤:
步骤1:构建所述工业设备的异常检测模型,将所述异常检测模型描述为一棵异常知识树,所述异常知识树为
其中,m为所述异常知识树的任一节点,Sub(m)为节点m的子节点集合;|m|为节点m的异常度,为节点m的异常度的权重,DSm,w为节点m在时间窗口window内的数据流,fm为节点m的隶属度函数,gm为节点m的聚合函数;layer(m)为节点m所在节点层的节点集合;
步骤2:构建所述异常知识树的叶子节点:
步骤2.1:采集所述工业设备的属性集A0中每个属性在时间T0内每一时刻的值,根据用户需求配置属性集A0中L个属性构成子属性集A={a1,a2,…,al,…,aL}、时间T内属性al的值构成属性al的数据流DSl={dl1,dl2,……,dlt,……dlT},将子属性集A中的每个属性都作为所述异常知识树的一个叶子节点;其中,L≤L0,L0为属性集A0中的属性总数,l∈{1,2,…,L},dlt为属性al在t时刻的值,t∈{1,2,…,T},T≤T0
步骤2.2:根据用户需求配置时间窗口的大小W,得到属性al在时间窗口内的数据流DSl,w={dl,(t-W+1),dl,(t-W+2),…,dlt};
步骤2.3:配置属性al的隶属度函数fl,得到时间窗口内属性al的隶属度集合Fl={fl(dl,(t-W+1)),fl(dl,(t-W+2)),…,fl(dlt)};
步骤2.4:配置属性al的聚合函数gl,得到属性al对应的叶子节点的异常度|al|=gl(fl(dl,(t-W+1)),fl(dl,(t-W+2)),…,fl(dlt));
步骤2.5:重复上述步骤2.2至步骤2.4,直至l=L,得到所述异常知识树的每个叶子节点的异常度;
步骤3:计算每个叶子节点的异常度的权重:
步骤3.1:计算任意两个属性aY、aZ之间的皮尔逊相关性系数ρ(aY,aZ),得到属性相关性系数集R={|ρ(aY,aZ)|,Y,Z∈{1,2,…,L}且Y≠Z}={ρ1,ρ2,…,ρr};其中,
分别为属性aY、aZ的数据流DSY、DSZ中数据的均值;
步骤3.2:对所述属性相关性系数集R进行聚类:
步骤3.2.1:在属性相关性系数集R={ρ1,ρ2,…,ρr}中随机选取K个数据点作为初始聚类中心,形成K个初始聚类中心{μ1,μ2,…,μk,…,μK};其中,k∈{1,2,…,K},μk为第k个聚类中心;
步骤3.2.2:遍历属性相关性系数集R中的所有数据点,将每个数据点归类到离该数据点最近的聚类中心,得到类簇集合C={c1,c2,…,ck,…,cK},计算每个类簇的簇标记为
步骤3.2.3:更新每个类簇的聚类中心为
其中,|ck|为类簇ck中数据点的总数,yi为类簇ck中的第i个数据点;
步骤3.2.4:构建聚类目标函数,判断聚类目标函数是否收敛,若收敛,则进入步骤3.3;若不收敛,则重复上述步骤3.2.2至步骤3.2.3,进行下一次聚类,直至所述聚类目标函数收敛;所述聚类目标函数为其中,当聚类目标函数值在两次聚类中的变化量小于阈值ε时,所述聚类目标函数达到收敛;
步骤3.3:计算每个类簇的相关性系数权重值为
步骤3.4:计算属性al对应叶子节点的初始权重为得到叶子节点层的初始权重集合对叶子节点层的初始权重集合进行归一化处理,得到叶子节点层的权重集合其中,为类簇集合C中包含属性al的类簇的集合;
步骤4:构建所述异常知识树的非叶子节点:
步骤4.1:将类簇ck中涉及到的所有属性对应的叶子节点聚合成一个非叶子节点bk,得到叶子节点层的上层非叶子节点层为B={b1,b2,...,bk,...,bK};其中,
步骤4.2:计算非叶子节点bk的异常度为
步骤4.3:计算非叶子节点bk的异常度的初始权重为得到非叶子节点层B的初始权重集合为对非叶子节点层B的初始权重集合进行归一化处理,得到非叶子节点层B的权重集合为
步骤4.4:将所述非叶子节点层B聚合成根节点b,计算所述根节点b的异常度为|b|=所述根节点b的权重为wb=1;
步骤5:将步骤1至步骤4所构建的异常检测模型存储到计算机磁盘上,加载计算机磁盘中的异常检测模型,并将所述异常检测模型显示在前端,用户根据需求从属性集A0中选取子属性集A、选取时间窗口的大小W以及时间窗口的滑动距离ΔW;
步骤6:基于Storm实时计算系统,构建所述异常检测模型的流处理的拓扑结构,运行所述Storm实时计算系统,得到所述工业设备在当前时间窗口内的异常程度结果;所述异常程度结果包括所述异常知识树中每个节点的异常度及异常度的权重;
步骤7:根据时间窗口的滑动距离ΔW,对不同时间窗口内的异常程度结果进行可视化。
2.根据权利要求1所述的基于模糊集的工业设备异常检测方法,其特征在于,所述步骤2.3中,所述属性al的隶属度函数
fl∈{frectangular,ftrapezoid,fparabolic,fnormal,fcauchy,fridgetype},采用专家咨询法确定每个属性的隶属度函数;其中,frectangular、ftrapezoid、fparabolic、fnormal、fcauchy、fridgetype分别为矩形分布、梯形分布、抛物型分布、正态分布、柯西分布、岭型分布的隶属度函数。
3.根据权利要求2所述的基于模糊集的工业设备异常检测方法,其特征在于,所述步骤2.4中,所述聚合函数gl为最小值聚合函数,|al|=min(fl(dl,(t-W+1)),fl(dl,(t-W+2)),...,fl(dlt))。
4.根据权利要求3所述的基于模糊集的工业设备异常检测方法,其特征在于,所述步骤6中,所述拓扑结构包括设备属性数据源组件、当前时间窗口同一属性异常度聚合组件、当前时间窗口不同属性异常度聚合组件、设备异常程度计算结果持久化组件、设备异常程度计算结果可视化组件;
所述设备属性数据源组件、当前时间窗口同一属性异常度聚合组件、当前时间窗口不同属性异常度聚合组件、设备异常程度计算结果持久化组件、设备异常程度计算结果可视化组件依次单向连接;
所述设备属性数据源组件用于加载时间T内所述属性集A中每个属性的数据流,并将数据流传输给当前时间窗口同一属性异常度聚合组件;所述当前时间窗口同一属性异常度聚合组件用于聚合当前时间窗口内同一属性的隶属度,得到每个叶子节点的异常度,并将叶子节点的异常度数据传输给当前时间窗口不同属性异常度聚合组件;所述当前时间窗口不同属性异常度聚合组件用于对所述叶子节点层进行聚类并构建所述异常知识树的非叶子节点,得到每个非叶子节点的异常度及异常度的权重;所述设备异常程度计算结果持久化组件用于对当前时间窗口内的异常程度结果进行持久化处理,将处理结果存储在缓存数据库Redis中;所述设备异常程度计算结果可视化组件用于根据时间窗口的滑动距离ΔW,加载Redis中缓存的不同时间窗口内的异常程度结果来进行可视化预警。
5.根据权利要求4所述的基于模糊集的工业设备异常检测方法,其特征在于,所述步骤7中,根据时间窗口的滑动距离ΔW,对不同时间窗口内的异常程度结果进行可视化包括:将当前时间窗口内的所述异常程度结果实时显示在计算机界面上的一个矩形中,对所述异常知识树从根节点开始遍历,根据每个节点的权重大小将矩形划分成多个子矩形,每个子矩形上显示该子矩形对应的节点的名称、异常度、异常度的权重,每个子矩形的面积大小、颜色深浅均同该子矩形对应的节点的权重大小成正比。
CN201910394398.4A 2019-05-13 2019-05-13 一种基于模糊集的工业设备异常检测方法 Expired - Fee Related CN110084326B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910394398.4A CN110084326B (zh) 2019-05-13 2019-05-13 一种基于模糊集的工业设备异常检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910394398.4A CN110084326B (zh) 2019-05-13 2019-05-13 一种基于模糊集的工业设备异常检测方法

Publications (2)

Publication Number Publication Date
CN110084326A true CN110084326A (zh) 2019-08-02
CN110084326B CN110084326B (zh) 2022-12-06

Family

ID=67419821

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910394398.4A Expired - Fee Related CN110084326B (zh) 2019-05-13 2019-05-13 一种基于模糊集的工业设备异常检测方法

Country Status (1)

Country Link
CN (1) CN110084326B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110469522A (zh) * 2019-08-13 2019-11-19 浪潮通用软件有限公司 一种排水系统的异常检测方法及装置
CN112527788A (zh) * 2020-12-17 2021-03-19 北京中恒博瑞数字电力科技有限公司 变压器监测数据异常值检测与清洗的方法及装置
CN112559594A (zh) * 2020-12-15 2021-03-26 第四范式(北京)技术有限公司 生产流水线中的异常环节定位方法、装置及电子设备
CN114742178A (zh) * 2022-06-10 2022-07-12 航天亮丽电气有限责任公司 一种通过mems六轴传感器进行非侵入式压板状态监测的方法
CN115048826A (zh) * 2022-08-16 2022-09-13 昆仑智汇数据科技(北京)有限公司 工业设备的系统动力学模型的变量预测方法、装置及设备
CN115510302A (zh) * 2022-11-16 2022-12-23 西北工业大学 基于大数据统计的智能工厂数据分类方法
CN117235647A (zh) * 2023-11-03 2023-12-15 中色紫金地质勘查(北京)有限责任公司 基于边缘计算的矿产资源勘查业务hse数据管理方法
CN117313014A (zh) * 2023-11-27 2023-12-29 苏州科尔珀恩机械科技有限公司 一种窑炉运转能耗异常数据实时监测预警方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030061213A1 (en) * 2001-07-31 2003-03-27 International Business Machines Corporation Method for building space-splitting decision tree
CN101908065A (zh) * 2010-07-27 2010-12-08 浙江大学 一种支持动态更新的在线属性异常点检测方法
WO2018126984A2 (zh) * 2017-01-06 2018-07-12 江南大学 一种基于mea-bp神经网络wsn异常检测方法
CN109522926A (zh) * 2018-09-28 2019-03-26 南京航空航天大学 基于信息熵聚类的异常检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030061213A1 (en) * 2001-07-31 2003-03-27 International Business Machines Corporation Method for building space-splitting decision tree
CN101908065A (zh) * 2010-07-27 2010-12-08 浙江大学 一种支持动态更新的在线属性异常点检测方法
WO2018126984A2 (zh) * 2017-01-06 2018-07-12 江南大学 一种基于mea-bp神经网络wsn异常检测方法
CN109522926A (zh) * 2018-09-28 2019-03-26 南京航空航天大学 基于信息熵聚类的异常检测方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110469522A (zh) * 2019-08-13 2019-11-19 浪潮通用软件有限公司 一种排水系统的异常检测方法及装置
CN112559594A (zh) * 2020-12-15 2021-03-26 第四范式(北京)技术有限公司 生产流水线中的异常环节定位方法、装置及电子设备
CN112527788A (zh) * 2020-12-17 2021-03-19 北京中恒博瑞数字电力科技有限公司 变压器监测数据异常值检测与清洗的方法及装置
CN112527788B (zh) * 2020-12-17 2024-04-30 北京中恒博瑞数字电力科技有限公司 变压器监测数据异常值检测与清洗的方法及装置
CN114742178A (zh) * 2022-06-10 2022-07-12 航天亮丽电气有限责任公司 一种通过mems六轴传感器进行非侵入式压板状态监测的方法
CN114742178B (zh) * 2022-06-10 2022-11-08 航天亮丽电气有限责任公司 一种通过mems六轴传感器进行非侵入式压板状态监测的方法
CN115048826A (zh) * 2022-08-16 2022-09-13 昆仑智汇数据科技(北京)有限公司 工业设备的系统动力学模型的变量预测方法、装置及设备
CN115510302A (zh) * 2022-11-16 2022-12-23 西北工业大学 基于大数据统计的智能工厂数据分类方法
CN117235647A (zh) * 2023-11-03 2023-12-15 中色紫金地质勘查(北京)有限责任公司 基于边缘计算的矿产资源勘查业务hse数据管理方法
CN117235647B (zh) * 2023-11-03 2024-03-08 中色紫金地质勘查(北京)有限责任公司 基于边缘计算的矿产资源勘查业务hse数据管理方法
CN117313014A (zh) * 2023-11-27 2023-12-29 苏州科尔珀恩机械科技有限公司 一种窑炉运转能耗异常数据实时监测预警方法
CN117313014B (zh) * 2023-11-27 2024-03-22 苏州科恩新能科技股份有限公司 一种窑炉运转能耗异常数据实时监测预警方法

Also Published As

Publication number Publication date
CN110084326B (zh) 2022-12-06

Similar Documents

Publication Publication Date Title
CN110084326A (zh) 一种基于模糊集的工业设备异常检测方法
US10628409B2 (en) Distributed data transformation system
Chiu et al. An intelligent market segmentation system using k-means and particle swarm optimization
Hahsler et al. Introduction to stream: An extensible framework for data stream clustering research with R
CN103513983B (zh) 用于预测性警报阈值确定工具的方法和系统
Ceci et al. Effectively and efficiently supporting roll-up and drill-down OLAP operations over continuous dimensions via hierarchical clustering
CN106528874B (zh) 基于Spark内存计算大数据平台的CLR多标签数据分类方法
EP3561686A1 (en) Adaptive analytics user interfaces
US20220382733A1 (en) Methods And Systems For Extracting And Visualizing Patterns In Large-Scale Data Sets
CN109871809A (zh) 一种基于语义网的机器学习流程智能组装方法
Chen et al. Tensor decomposition for multilayer networks clustering
US20240095227A1 (en) Chart engine
US20230267302A1 (en) Large-Scale Architecture Search in Graph Neural Networks via Synthetic Data
Messaoud et al. A new OLAP aggregation based on the AHC technique
Vu et al. Using deep learning for big spatial data partitioning
Ghesmoune et al. Clustering over data streams based on growing neural gas
Gao et al. A data mining method using deep learning for anomaly detection in cloud computing environment
CN109784354A (zh) 基于改进分类效用的无参数聚类方法及电子设备
Wang et al. A new time series prediction method based on complex network theory
Yao et al. SimpleTS: An efficient and universal model selection framework for time series forecasting
Pisica et al. Feature selection filter for classification of power system operating states
Luo et al. Adaptive regularization-incorporated latent factor analysis
Rameshkhah et al. Comparison of shuffled frog leaping algorithm and PSO in data clustering with constraint for grouping voltage control areas in power systems
Mathur et al. In object-oriented software framework improving maintenance exercises through k-means clustering approach
Jiao et al. Research on Operation Perception of Treasury Centralized Payment Based on Spark

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20221206