CN112699113A - 时序数据流驱动的工业制造流程运行监测系统 - Google Patents

时序数据流驱动的工业制造流程运行监测系统 Download PDF

Info

Publication number
CN112699113A
CN112699113A CN202110037258.9A CN202110037258A CN112699113A CN 112699113 A CN112699113 A CN 112699113A CN 202110037258 A CN202110037258 A CN 202110037258A CN 112699113 A CN112699113 A CN 112699113A
Authority
CN
China
Prior art keywords
data
module
time
time sequence
monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110037258.9A
Other languages
English (en)
Other versions
CN112699113B (zh
Inventor
蔡鸿明
刘沐
于晗
支晨曦
周鑫
朱敏
姜丽红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202110037258.9A priority Critical patent/CN112699113B/zh
Publication of CN112699113A publication Critical patent/CN112699113A/zh
Application granted granted Critical
Publication of CN112699113B publication Critical patent/CN112699113B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/215Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • G06F16/24552Database cache management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • G06F16/285Clustering or classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

一种时序数据流驱动的工业制造流程运行监测系统,包括:依次连接的数据解析模块、时序数据补全模块、数据缓存分发模块、时序数据流增量聚类模块和离群点挖掘模块,以及动态优化监测模块。本发明在云边协同的工业制造场景下,以边缘计算节点上传的时序数据流作为输入,云端系统将对输入数据流进行解析和补全,并有序分发到云端分布式计算节点实施在线分析,以实时监测流程运行的异常情况,最终输出完整流程运行数据的可视化展示和分级异常预警信息。

Description

时序数据流驱动的工业制造流程运行监测系统
技术领域
本发明涉及的是一种信息技术领域的技术,具体是一种时序数据流驱动的工业制造流程运行监测系统。
背景技术
在工业4.0时代现行的趋势是利用信息化技术促进产业变革,利用物联网和云边协同实现对工业设备、数据和服务的互联互通,进而实现工业生产流程的自动化和智能化执行。在云边协同的工业制造场景下,每个生产流程可以由若干部署在边缘计算节点上的微服务按照一定的逻辑顺序编排而成。各个边缘计算节点微服务靠近生产设备端,与对应的生产设备绑定,生产设备响应边缘节点微服务的调用请求,同时返回设备执行状态数据,边缘节点进而将采集的设备状态数据传输至云端。在云端根据事先编排好的生产流程实现完整的数据监听、处理和分析,从而实现基于云边协同的工业制造流程的执行与监测过程。
现有对于基于云边协同的工业制造流程监测过程仍存在以下难题:首先,在设备端有着大量的不同种类的生产设备,不同设备产生的数据格式也各有不同,而且为了保证数据能够实时且详细地反映设备状态,边缘节点对设备数据的采集频率往往十分密集,从而导致从边缘节点传输至云端的时序数据流是海量且混杂的,因此如何高效地管理和分发这些海量时序数据是实现流程状态监测实时性的一大挑战。其次,在实际生产过程中由于网络波动等原因,最终传输到云端的数据流普遍存在缺失值现象,缺失值的存在将模糊和削弱数据集反映生产流程整体运行情况的精确度,降低监测的准确性,并且难以构造完整流程运行状态的可视化输出,从而无法为从业人员提供高质量的决策辅助。最后,现有的流程监测方式往往是基于人工定义的静态规则,一经创建,在之后的运行和监测过程中就不再更改,无法灵活适应实际生产状况的变更,而且人工定义的监测规则往往精细度不高,尤其欠缺在时间维度上的细分考量,因此对某些异常情况存在漏判的可能。
发明内容
本发明针对现有技术存在的上述不足,提出一种时序数据流驱动的工业制造流程运行监测系统,在云边协同的工业制造场景下,以边缘计算节点上传的时序数据流作为输入,云端系统将对输入数据流进行解析和补全,并有序分发到云端分布式计算节点实施在线分析,以实时监测流程运行的异常情况,最终输出完整流程运行数据的可视化展示和分级异常预警信息。
本发明是通过以下技术方案实现的:
本发明包括:依次连接的数据解析模块、时序数据补全模块、数据缓存分发模块、时序数据流增量聚类模块和离群点挖掘模块,以及动态优化监测模块,其中:数据解析模块接收流程状态时序数据,进行数据解析、清洗和分组,输出排序后的时序数据序列;数据缓存分发模块接收时序数据流,进行缺失值补全,输出完整的时序数据数列;数据缓存分发模块接收补全后的完整时序数据数列,进行缓存和分发,维护数据管道注册表和订阅表,输出可视化的流程运行数据;时序数据流增量聚类模块接收流程运行的时序数据流,进行增量聚类,输出数据在时间维度分布规律的增量结果;动态优化监测模块分别与数据缓存分发模块和时序数据流增量聚类模块相连,接收时序数据流增量聚类模块实时输出的聚类结果,对监测规则进行动态优化,输出流程异常预警信息;离群点挖掘模块接收基于时序数据流增量聚类模块实时输出的聚类结果,进行离群点挖掘,输出流程异常预警信息。
所述的数据解析模块根据边缘节点上传的数据包信息,分别对多源异构数据和同源数据进行数据清洗和格式统一,并对数据进行分组和排序,得到唯一的时序数据序列。
所述的多源异构数据的具体操作为:进行解析和清洗,统一数据格式,将流程模型和服务模型作为标签标识唯一的数据源,使每个时序数据点都分属于唯一的数据源。
所述的同源数据的具体操作为:以其来源的流程实例为标签进行分组,每组数据按照时间戳的先后顺序排序,得到该数据组对应的流程实例在运行某边缘节点服务时生成的时序数据序列。
所述的时序数据补全模块基于固定窗口内的历史数据序列,对存在缺失值的数据序列进行补全,具体方法步骤为:
步骤1、定义时间窗口大小N,从来自相同流程模型的流程实例的历史数据序列中,抽取距离当前时间最近的N条数据序列;
步骤2、定义两条数据序列A,B的距离d(A,B)=dFréchet(A,B),数据采集的时间段为[M,N],ti为任意数据采集时间戳,
Figure BDA0002893716070000021
Figure BDA0002893716070000022
分别表示两条数据序列在某时间戳上的数据值,则有:
Figure BDA0002893716070000023
根据上述公式计算N条历史数据序列与待补全数据序列的距离,并选择距离最近的前k条历史数据序列作为缺失值补全的参考数据,k条历史数据序列与待补全序列的距离记作di,i=1,2,...,k;
步骤3、将选中的k条历史数据序列与待补全序列的距离进行归一化处理,将距离统一映射到[0,1]区间上,得到归一化参数yi
Figure BDA0002893716070000024
步骤4、将归一化参数yi与1做差得到每条历史数据序列的权重wi:wi=1-yi,i=1,2,...,k;
步骤5、基于权重wi,对待补全数据序列在某一时刻t上的缺失值Vt,将k条历史数据序列在该时刻的取值
Figure BDA0002893716070000031
加权求和作为补全值,完成对缺失数据的数据补全:
Figure BDA0002893716070000032
Figure BDA0002893716070000033
所述的数据缓存分发模块包括:相连的数据缓存单元和数据分发单元,其中:数据缓存单元与时序数据补全模块相连,接收补全后的完整时序数据数列,数据分发单元与时序数据流增量聚类模块相连,输出可视化的流程运行数据。
所述的数据缓存单元,根据补全后的完整时序数据流,采用数据管道对时序数据流进行缓存和统一管理,通过解析输入的数据管道配置信息,输入到数据源映射的数据管道中,维护数据管道注册表。
所述的数据分发单元,根据输入的计算机节点信息,进行系统的计算节点注册表维护,得到分发到已订阅管道的计算节点中的数据流。
所述的时序数据流增量聚类模块采用基于密度和网格的聚类思想,将对数据点的处理转化为对二维网格的处理,进行增量聚类,得到在时间维度分布规律的增量结果,用于后续对流程异常预警和监测规则优化的数据支撑,具体为:
a.输入:初始数据集D、密度阈值δ、网格深度d、增加的数据pa;输出:实时数据集的网格聚类结果C;
b.网格空间划分:将时序数据流中的每个数据点用point(timestamp,data)的二元组表示,分别用时间戳和数据作为网格空间的两个维度进行划分,基于初始数据集D将二维数据空间划分为宽度为widthi的有限个不相交矩形单元:
Figure BDA0002893716070000034
其中:pi表示初始数据集D中的数据点p在某一维度上的值;
c.网格密度计算:在划分后的网格空间中,D中每个时序数据点都会落入唯一的网格,将落入每个网格中数据点的数目作为该网格的密度ρqrid:ρgrid=网格grid中数据点的数目;
d.网格分类:定义网格类型为:稠密网格和稀疏网格,然后根据网格密度ρgrid对网格进行分类;若满足ρgrid>δ,则该网格属于稠密网格,否则属于稀疏网格;
e.网格聚类:定义聚类为相邻的稠密网格覆盖的最大集合,对稠密网格空间作连通性检测,每一个连通集作为一个聚类Clusteri
f.增加数据点处理:对随时序数据流到来的实时增加的数据点pa进行以下处理:
1、将数据点pa放置到相应的网格grid;
2、if(grid原本就是稠密网格);
3、不影响聚类结果,无需进行后续处理;
4、else计算grid的密度ρ;
5、if(ρ>δ),grid是稠密网格;
6、查看grid的相邻网格;
7、case1相邻网格中有一个或几个稠密网格,且都属于聚类Clusteri
8、将grid归并到聚类Clusteri中;
9、case2相邻网格中没有稠密网格;
10、grid为新增的一个聚类;
11、case3相邻网格中存在大于1个稠密网格,且分属于不同的聚类;
12、将这几个聚类合并,grid归并到这个聚类中;
13、else;
14、grid是稀疏网格,不属任何聚类;
15、完成对新增数据点pa的处理后,输出实时聚类结果C。
在实际的工业生产流程中,同一个数据源的状态特征往往是随时间变化的,即在不同时间区间内的数据点表现出不同的聚集特征,而且同一时间区间内的数据聚集特征也会随着时间变化而演化,笼统地为某个数据源的整个生命周期指定静态的监测规则无法很好地考虑到以上特性,导致静态规则的监测效果不够精确。
所述的动态优化监测模块在原本的静态规则中引入时间概念,将监测粒度细化到时间维度上,基于时序数据流增量聚类模块实时输出的聚类结果C,通过以下步骤对监测规则进行动态优化:
步骤一、对网格聚类结果C进行深度优先搜索方法,找到所有的稠密网格联通集Unicom,联通集中每个联通分量Unicomi都是由若干相邻的稠密网格聚合而成的闭合区域,各联通分量之间互不相交且不联通,每个联通分量Unicomi中的所有数据点同属于一个聚类Clusteri
步骤二、将网格中的每个联通分量Unicomi设有时间维度和数据维度,使得时间维度上每个时间单元区间[tjtj+Δt],Unicomi在数据维度上落在数据区间
Figure BDA0002893716070000041
内,每个联通分量Unicomi的覆盖范围Coveri为:
Figure BDA0002893716070000042
其中:T为网格空间在时间维度上的网格单元总数,Δt为一个网格时间单元;
步骤三、定义基于联通集Unicom覆盖范围构造优化后的监测规则Model,使得落在联通集覆盖之内的数据点为正常数据,反之则为异常点,公式为:
Figure BDA0002893716070000043
Figure BDA0002893716070000044
所述的优化后的监测规则相对于人工定义的静态规则引入了时间维度,监测粒度更精细,同时随着时间变化,网格增量聚类的结果C不断变化,动态监测规则Model也会随之实时变化,灵活适应实际生产情况的变更,保证了流程运行状态监测的精确性和鲁棒性。
所述的离群点挖掘模块中,对于相同流程模型的所有流程实例,运行时产生的时序状态数据体现出聚集分布特征,但同时存在一些特殊的离群点,其分布特征与大部分的数据点显著不同,这些极少出现的离群点可能反映着流程运行异常的发生;因此离群点挖掘模块以时序数据流增量聚类的结果C为依赖,进行基于局部异常因子的实时离群点挖掘,具体方法过程如下:
A.对C中的稠密网格剪枝,基于稠密网格中所有数据点分属于不同的聚类,将剪枝后剩下的稀疏网格中的所有数据点作为离群点候选集M,进行后续处理筛选离群点;
B.对离群点候选集M中的数据点pi,计算其第k距离Dk(pi):
Figure BDA0002893716070000051
基于第k距离Dk(pi)得到点pi的第k距离邻域
Figure BDA0002893716070000052
即到点pi的距离小于Dk(pi)的所有数据点的集合,其中:
Figure BDA0002893716070000053
为距离pi第k远的数据点;
C.对点pi的xk距离邻域
Figure BDA0002893716070000054
计算
Figure BDA0002893716070000055
中每个点
Figure BDA0002893716070000056
到pi的可达距离:
Figure BDA0002893716070000057
D.对离群点候选集M中的数据点pi,计算其局部可达密度LRDk(pi):
Figure BDA0002893716070000058
Figure BDA0002893716070000059
E.对离群点候选集M中的数据点pi,计算其离群异常因子:
Figure BDA00028937160700000510
Figure BDA00028937160700000511
通过比较pi处的密度和其邻域的密度来判断pi是否是离群点,离群因子LOFk(pi)越大,pi越有可能是离群点;
F.设定离群异常阈值Threshold,与离群异常因子比较得到离群点集Outlier:Outlier={pi|LOFk(pi)>Threshold},pi∈M。
技术效果
本发明在云边协同的工业制造背景下,整体解决工业流程运行状态的实时监测问题。工业流程运行过程中,从边缘节点传输至云端的时序数据流是海量且混杂的,如何高效地管理和分发实时生成的海量时序数据是亟待解决的问题;在实际生产过程中由于网络波动等原因,导致最终传输到云端的数据流普遍存在缺失值现象,从而影响状态监测的精确度;现有基于人工定义静态规则的监测方法无法灵活适应实际生产状况的变更,且欠缺在时间维度上的细分考量,因此对某些异常情况存在漏判的可能。
与现有的状态监测系统相比,本发明能够有效解决在云边协同制造背景下面临的新挑战。本发明对从多源异构的大量边缘端数据源采集到的海量混杂时序数据具备实时有效的规整和管理能力,并按照多级标签进行分组缓存和空值补全,最终转化为完整有序的时序数据流形式实时输出处理。本发明解决了现有人工定义静态监控模版方法的精确度低和灵活性差的问题,将时间维度引入监测规则从而细化监测粒度,并且提出了规则优化算法,以实际生产数据为依据对监测规则进行实时动态优化,提升监测规则的精确性、扩展性和鲁棒性,并更好地适应生产情况的变更。
本发明技术效果进一步包括:
1、针对云边协同制造的工业生产流程,对其在边缘端运行产生的海量混杂时序数据进行采集、解析、排序、缓存和统一管理,并有序分发到云端分布式的计算节点进行实时在线分析;
2、针对实际流程运行情况中由于网络波动等原因导致的数据缺失问题,提出数据补全方法推测缺失值,从而构造完整的时序数据流,在提供可视化输出的同时提升数据集对制造流程运行情况的反映精确程度,构成后续离群点挖掘和异常监测的数据基础;
3、针对时序数据流实时动态到达且具备时间描述信息的特性,采用包含时间维度和数据维度的二维网格增量聚类方法,剖析时序数据的时间分布特征;
4、针对人工定义的工业流程运行监测规则粒度粗糙且难以适应实际生产情况的问题,采用基于时序数据流聚类结果的监测规则动态优化方法,将时间维度引入监测规则从而细化监测粒度,并且实时优化更新监测规则以灵活适应生产情况的变更;
5、针对聚集分布的时序状态数据中存在的一些特殊离群点,采用基于时序数据流聚类结果的离群点挖掘方法实时输出离群点异常预警,帮助监测排查工业流程运行过程中可能发生的异常。
附图说明
图1为本发明方法框架图;
图2为本发明实施例系统结构图。
具体实施方式
如图2所示,为一个云边协同制造系统的实施例,云边协同制造系统包含:自下而上依次设置的设备端的工业生产设备集合、边缘端的边缘计算节点(ECN)微服务集合和运行在云端的工业流程运行监测系统。
1)设备端:所述的设备端设置于云边协同制造系统的最底层,由各种类型的工业生产设备组成,工业设备在生产运行的过程中会不断生成生成时间序列数据,这些时序数据能实时地反映设备运行状况,基于这些时序状态数据进行分析挖掘能够监测到工业生产流程运行过程中可能发生的异常情况。
2)边缘端:所述的设置于靠近生产设备的边缘端的为边缘计算节点(ECN)微服务的集合,ECN微服务是工业生产设备的数字抽象,每个ECN微服务都与特定的设备绑定,对生产设备的运行状态进行信息监控;在实际生产过程中,工业设备将数据实时传输到OPCServer,ECN微服务与OPC Server进行交互以实现对绑定设备的时序数据的采集。
所述的每个ECN微服务都是一道设备工序的抽象,在此基础上按照实际生产工艺的逻辑顺序,通过对服务的重新编排和组合构造工业生产流程的信息化模型,并可以使用BPMN2.0规范来描述工艺流程模型。
3)云端:所述的运行在云端的为工业流程运行监测系统,也是整个云边协同制造系统的主体核心内容。工业流程设计人员遵循BPMN2.0规范,通过服务组合封装构建工艺流程模型,每个流程模型都对应若干运行的流程实例。在流程实例的运行过程中,组成流程的边缘端各个ECN微服务产生时序数据流会通过RESTful API或者消息队列的方式传输到云端的工业流程运行监测系统。监测系统会对输入的时序数据流进行解析、补全、分发与实时处理,并输出流程运行状态的可视化结果和异常情况预警。工业流程运行监测系统分为以下三个组成部分:
a)数据处理器:数据处理器负责对采集的时序数据进行解析和补全,以及对来自不同ECN微服务的时序数据进行解析和清洗,统一数据格式。基于输入的描述工艺流程模型的BPMN文件和边缘节点服务模型的Open API文件,将流程模型和服务模型作为标签标识唯一的数据源,对时序数据点进行分类,使每个时序数据点都分属于唯一的数据源。对于来自同一个数据源的数据点,以其来源的流程实例为标签进行分组,每组数据按照时间戳的先后顺序排序后,就是该数据组对应的流程实例在运行某个ECN微服务的生命周期内生成的数据序列。针对在实际生产场景中,由网络波动等原因导致这条数据序列存在的数据缺失情况,基于固定时间窗口内的历史数据序列,采用提出的数据补全方法对存在缺失值的数据序列进行补全。将补全后的完整时序数据序列可视化地输出,使流程监控人员更直观和清晰地掌握流程的全局运行状况。同时补全后的时序数据流也将作为后续异常检测和离群点挖掘的数据基础。
b)数据管理器:所述的数据管理器负责对时序数据流的缓存和分发。数据管理器解析输入的记录数据管道配置信息和计算节点信息的JSON文件,并使用数据管道注册表和计算节点注册表分别对数据管道和计算节点进行维护和管理。使用数据源映射表维护数据源到数据管道之间的一对一映射,来自相同数据源的时序数据流会缓存在同一个数据管道中。使用数据管道订阅表维护计算节点和数据管道的订阅关系,计算节点可以订阅数据管道,输入到该数据管道的时序数据流将分发到对应的计算节点上进行后续的数据分析和挖掘。
c)数据分析器:所述的数据分析器负责对时序数据流的分析和挖掘。数据分析器包含的各计算节点接收各自订阅的时序数据流,并采用面向时序数据流的网格增量聚类方法剖析时序数据分布特征。允许用户通过上传YAML文件的方式定义静态流程运行监测规则,指明模型的输入数据源,通过设定阈值的方式定义监测规则。通过解析用户构造的监测规则自动生成监测脚本,对流程运行产生的时序数据流进行实时计算处理,监测到异常数据后推送二级异常预警。在人工定义监测规则的基础上,采用基于时序数据流聚类结果的动态优化方法实时优化监测规则。同时采用基于时序数据流聚类结果的离群点挖掘方法实时挖掘时序数据的离群点,并推送一级异常预警。
工作过程:
首先,工业生产流程启动后,设备端的生产设备在运行时产生带有时间信息的混杂业务数据,通过OPC Server接口传输到边缘端与之绑定的ECN微服务;随后边缘端的微服务通过RESTful API或者Kafka消息队列将工业流程运行产生的业务时序数据上传至运行在云端的工业流程运行监测系统;系统的数据解析模块接受来自边缘端的时序数据输入,并解析输入的工艺流程模型BPMN文件和边缘节点服务模型Open API文件,按照所属流程模型和服务模型对时序数据进行分类、分组和排序操作,并将解析后的数据传输到时序数据补全模块,时序数据补全模块对数据序列中的缺失值进行数据补全,将补全后的完整数据序列可视化输出的同时,发送到数据缓存分发模块的各数据通道中进行缓存;数据缓存分发模块解析输入的记录数据管道配置信息和计算节点信息的JSON文件,通过数据管道注册表和计算节点注册表维护系统的当前数据管道和计算节点,通过数据源映射表维护数据源和数据管道间的映射关系,通过数据管道订阅表维护计算节点对数据管道的订阅信息;进入数据管道的时序数据流将分发到订阅该管道的计算节点的时序数据流增量聚类模块,该模块执行增量网格聚类方法处理数据流,并实时更新聚类结果;动态优化检测模块接受用户人工定义的静态流程监测规则YAML文件,自动生成脚本文件对数据流进行实时监测,对于异常数据点输出二级异常预警,同时基于聚类结果自适应地优化更新监测规则;离群点挖掘模块基于聚类结果执行离群点挖掘方法,实时挖掘离群点推送一级异常预警。
上述工作的技术指标与国内外同类产品的技术参数的比较见表1。
表1技术特性对比
Figure BDA0002893716070000081
Figure BDA0002893716070000091
本实施例充分切合云边协同的工业制造场景需求,通过对时序数据流的实时分析挖掘实现工业流程运行的在线异常监测,相较于离线数据分析具有更好的实时性;采用以时序数据序列为基本单元的数据补全方法,基于历史数据序列与待补全数据序列变化趋势的相似度进行缺失值推理,相较于仅关注缺失值本身的数据补全,更好地考虑到时序数据的时间特性和数据序列之间的整体关系;系统对实时生成的时序数据流进行在线分析处理,相较于离线分析静态数据集的传统方法更符合工业流程运行监测对实时性的要求;允许计算节点通过订阅数据管道来获取感兴趣的时序数据流,且允许根据实际处理情况进行在线适应性调整,相较于强制转发数据流的方法更好地保证了数据分析计算节点的均衡性和适配性;系统在实时更新的时序数据流聚类结果的基础上对异常监测规则进行自适应的在线优化,相对于人工定义静态流程监测规则的模式能更灵活地适应实际生产场景的变化;同时在流程监测规则中引入了时间维度上的考量,相较于简单设定阈值范围的监测规则构建方法具有更精细的监测粒度,从而保证监测结果的精确度。
综上,在实际的工业生产流程中,同一个数据源的状态特征往往是随时间变化的,即在不同时间区间内的数据点表现出不同的聚集特征,而且同一时间区间内的数据聚集特征也会随着时间变化而演化。现有方法一般是笼统地为某个数据源的整个生命周期指定简单设定阈值范围的静态监测规则,无法很好地考虑到以上生产场景,导致监测效果不够精确。相比之下,本发明通过动态优化监测模块将时间维度引入监测规则从而细化监测粒度,并且提出了规则优化算法,以实际生产数据为依据对监测规则进行实时动态优化,提升监测规则的精确性、扩展性和鲁棒性,更好地适应生产情况的变更。
上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整,本发明的保护范围以权利要求书为准且不由上述具体实施所限,在其范围内的各个实现方案均受本发明之约束。

Claims (10)

1.一种时序数据流驱动的工业制造流程运行监测系统,其特征在于,包括:依次连接的数据解析模块、时序数据补全模块、数据缓存分发模块、时序数据流增量聚类模块和离群点挖掘模块,以及动态优化监测模块,其中:数据解析模块接收流程状态时序数据,进行数据解析和清洗,输出排序后的时序数据序列;数据缓存分发模块接收时序数据流,进行缺失值补全,输出完整的时序数据数列;数据缓存分发模块接收补全后的完整时序数据数列,进行缓存和分发,维护数据管道注册表和订阅表,输出可视化的流程运行数据;时序数据流增量聚类模块接收流程运行的时序数据流,进行增量聚类,输出对流程异常预警和监测规则优化的数据;动态优化监测模块分别与数据缓存分发模块和时序数据流增量聚类模块相连,接收时序数据流增量聚类模块实时输出的聚类结果,对监测规则进行动态优化,输出流程异常预警信息;离群点挖掘模块接收基于时序数据流增量聚类模块实时输出的聚类结果,进行离群点挖掘,输出流程异常预警信息;
所述的数据缓存分发模块包括:相连的数据缓存单元和数据分发单元,其中:数据缓存单元与时序数据补全模块相连,接收补全后的完整时序数据数列,数据分发单元与时序数据流增量聚类模块相连,输出可视化的流程运行数据。
2.根据权利要求1所述的工业职业流程运行监测系统,其特征是,所述的数据解析模块根据边缘节点上传的数据包信息,分别对多源异构数据和同源数据进行数据清洗和格式统一,并对数据进行分组和排序,得到唯一的时序数据序列。
3.根据权利要求2所述的工业职业流程运行监测系统,其特征是,所述的多源异构数据的具体操作为:进行解析和清洗,统一数据格式,将流程模型和服务模型作为标签标识唯一的数据源,使每个时序数据点都分属于唯一的数据源。
4.根据权利要求2所述的工业职业流程运行监测系统,其特征是,所述的同源数据的具体操作为:以其来源的流程实例为标签进行分组,每组数据按照时间戳的先后顺序排序,得到该数据组对应的流程实例在运行某边缘节点服务时生成的时序数据序列。
5.根据权利要求1所述的工业职业流程运行监测系统,其特征是,所述的时序数据补全模块基于固定窗口内的历史数据序列,对存在缺失值的数据序列进行补全。
6.根据权利要求1所述的工业职业流程运行监测系统,其特征是,所述的数据缓存单元,根据补全后的完整时序数据流,采用数据管道对时序数据流进行缓存和统一管理,通过解析输入的数据管道配置信息,输入到数据源映射的数据管道中,维护数据管道注册表。
7.根据权利要求1所述的工业职业流程运行监测系统,其特征是,所述的数据分发单元,根据输入的计算机节点信息,进行系统的计算节点注册表维护,得到分发到已订阅管道的计算节点中的数据流。
8.根据权利要求1所述的工业职业流程运行监测系统,其特征是,所述的时序数据流增量聚类模块采用基于密度和网格的聚类思想,将对数据点的处理转化为对二维网格的处理,进行增量聚类,得到在时间维度分布规律的增量结果,用于后续对流程异常预警和监测规则优化的数据支撑。
9.根据权利要求1所述的工业职业流程运行监测系统,其特征是,所述的动态优化监测模块在原本的静态规则中引入时间概念,将监测粒度细化到时间维度上,基于时序数据流增量聚类模块实时输出的聚类结果。
10.根据权利要求1所述的工业职业流程运行监测系统,其特征是,所述的离群点挖掘模块以时序数据流增量聚类的结果为依赖,进行基于局部异常因子的实时离群点挖掘。
CN202110037258.9A 2021-01-12 2021-01-12 时序数据流驱动的工业制造流程运行监测系统 Active CN112699113B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110037258.9A CN112699113B (zh) 2021-01-12 2021-01-12 时序数据流驱动的工业制造流程运行监测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110037258.9A CN112699113B (zh) 2021-01-12 2021-01-12 时序数据流驱动的工业制造流程运行监测系统

Publications (2)

Publication Number Publication Date
CN112699113A true CN112699113A (zh) 2021-04-23
CN112699113B CN112699113B (zh) 2022-08-05

Family

ID=75514141

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110037258.9A Active CN112699113B (zh) 2021-01-12 2021-01-12 时序数据流驱动的工业制造流程运行监测系统

Country Status (1)

Country Link
CN (1) CN112699113B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113554363A (zh) * 2021-09-23 2021-10-26 国网江苏省电力有限公司营销服务中心 基于网格化系统监测的电力客户业务工单处理方法及系统
CN113590891A (zh) * 2021-08-09 2021-11-02 江苏网进科技股份有限公司 一种分布式空间索引系统及实时流处理框架
CN115174211A (zh) * 2022-07-05 2022-10-11 北京珞安科技有限责任公司 基于流量分析与控制的工业安全防护系统
CN118051800A (zh) * 2024-04-16 2024-05-17 山东峰华智能科技有限公司 基于云边协同的矿内监测数据智能处理方法

Citations (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102289585A (zh) * 2011-08-15 2011-12-21 重庆大学 基于数据挖掘的公共建筑能耗实时监测方法
CN104123448A (zh) * 2014-07-14 2014-10-29 南京理工大学 基于上下文的多数据流异常检测方法
CN104330675A (zh) * 2014-11-17 2015-02-04 国家电网公司 基于多元时间序列的变电设备在线监测分析系统及其方法
CN104537034A (zh) * 2014-12-22 2015-04-22 国家电网公司 基于时间序列分析的输变电设备的状态监测数据清洗方法
CN106373025A (zh) * 2016-08-22 2017-02-01 重庆邮电大学 基于离群点检测的用电信息采集系统实时防窃电监测方法
CN106371939A (zh) * 2016-09-12 2017-02-01 山东大学 一种时序数据异常检测方法及其系统
CN106909490A (zh) * 2017-02-28 2017-06-30 国网福建省电力有限公司 一种监测设备数据流评估和噪声消除方法
CN106909664A (zh) * 2017-02-28 2017-06-30 国网福建省电力有限公司 一种电力设备数据流故障识别方法
CN106934417A (zh) * 2017-03-06 2017-07-07 浙江工业大学 一种面向混合属性的数据流自适应聚类方法
CN107528722A (zh) * 2017-07-06 2017-12-29 阿里巴巴集团控股有限公司 一种时间序列中异常点检测方法及装置
US20180046926A1 (en) * 2014-05-23 2018-02-15 DataRobot, Inc. Systems for time-series predictive data analytics, and related methods and apparatus
CN107846472A (zh) * 2017-11-24 2018-03-27 华北电力大学(保定) 大规模输变电设备监测数据流的快速异常检测方法
WO2018075995A1 (en) * 2016-10-21 2018-04-26 DataRobot, Inc. Systems for predictive data analytics, and related methods and apparatus
CN108415910A (zh) * 2017-02-09 2018-08-17 中国传媒大学 基于时间序列的话题发展聚类分析系统和方法
CN108508294A (zh) * 2018-03-29 2018-09-07 深圳众厉电力科技有限公司 一种高铁电能质量监测系统
CN108667684A (zh) * 2018-03-30 2018-10-16 桂林电子科技大学 一种基于局部向量点积密度的数据流异常检测方法
CN108761227A (zh) * 2018-04-02 2018-11-06 深圳市益鑫智能科技有限公司 一种高铁电能质量数据处理系统
CN109067612A (zh) * 2018-07-13 2018-12-21 哈尔滨工程大学 一种基于增量聚类算法的在线流量识别方法
CN109765863A (zh) * 2019-01-21 2019-05-17 苏州首拓信息科技有限公司 一种基于云平台的设备参数边缘计算方法
CN109978379A (zh) * 2019-03-28 2019-07-05 北京百度网讯科技有限公司 时序数据异常检测方法、装置、计算机设备和存储介质
CN110022349A (zh) * 2019-01-17 2019-07-16 重庆邮电大学 一种基于边缘计算的异构工业网络设备组态微服务方法
CN110245880A (zh) * 2019-07-02 2019-09-17 浙江成功软件开发有限公司 一种污染源在线监控数据作弊识别方法
CN110555619A (zh) * 2019-09-09 2019-12-10 张阔 一种基于智能配电网的供电能力评估方法
CN110609864A (zh) * 2019-08-30 2019-12-24 广州奇化有限公司 一种面向化工供应链的数据可视化管理方法及装置
US20200065677A1 (en) * 2018-08-24 2020-02-27 Well Data Labs, Inc. Machine learning assisted events recognition on time series completion data
CN110865929A (zh) * 2019-11-26 2020-03-06 携程旅游信息技术(上海)有限公司 异常检测预警方法及系统
CN110866555A (zh) * 2019-11-11 2020-03-06 广州国音智能科技有限公司 增量数据的聚类方法、装置、设备及可读存储介质
US20200133254A1 (en) * 2018-05-07 2020-04-30 Strong Force Iot Portfolio 2016, Llc Methods and systems for data collection, learning, and streaming of machine signals for part identification and operating characteristics determination using the industrial internet of things
CN111143438A (zh) * 2019-12-30 2020-05-12 江苏安控鼎睿智能科技有限公司 一种基于流处理的车间现场数据实时监测与异常检测方法
US20200160227A1 (en) * 2018-11-15 2020-05-21 General Electric Company Model update based on change in edge data
CN111262722A (zh) * 2019-12-31 2020-06-09 中国广核电力股份有限公司 一种用于工业控制系统网络的安全监测方法
US20200211325A1 (en) * 2018-12-31 2020-07-02 Playtika Ltd. System and method for outlier detection in gaming
CN111367777A (zh) * 2020-03-03 2020-07-03 腾讯科技(深圳)有限公司 告警处理的方法、装置、设备及计算机可读存储介质
CN111624494A (zh) * 2020-04-20 2020-09-04 北京航空航天大学 基于电化学参数的电池分析方法和系统
US20200337648A1 (en) * 2019-04-24 2020-10-29 GE Precision Healthcare LLC Medical machine time-series event data processor
US20200348662A1 (en) * 2016-05-09 2020-11-05 Strong Force Iot Portfolio 2016, Llc Platform for facilitating development of intelligence in an industrial internet of things system
WO2020227429A1 (en) * 2019-05-06 2020-11-12 Strong Force Iot Portfolio 2016, Llc Platform for facilitating development of intelligence in an industrial internet of things system
CN111992869A (zh) * 2020-08-11 2020-11-27 上海新力动力设备研究所 一种基于边缘计算的电子束焊接设备预测性维护方法

Patent Citations (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102289585A (zh) * 2011-08-15 2011-12-21 重庆大学 基于数据挖掘的公共建筑能耗实时监测方法
US20180046926A1 (en) * 2014-05-23 2018-02-15 DataRobot, Inc. Systems for time-series predictive data analytics, and related methods and apparatus
CN104123448A (zh) * 2014-07-14 2014-10-29 南京理工大学 基于上下文的多数据流异常检测方法
CN104330675A (zh) * 2014-11-17 2015-02-04 国家电网公司 基于多元时间序列的变电设备在线监测分析系统及其方法
CN104537034A (zh) * 2014-12-22 2015-04-22 国家电网公司 基于时间序列分析的输变电设备的状态监测数据清洗方法
US20200348662A1 (en) * 2016-05-09 2020-11-05 Strong Force Iot Portfolio 2016, Llc Platform for facilitating development of intelligence in an industrial internet of things system
CN106373025A (zh) * 2016-08-22 2017-02-01 重庆邮电大学 基于离群点检测的用电信息采集系统实时防窃电监测方法
CN106371939A (zh) * 2016-09-12 2017-02-01 山东大学 一种时序数据异常检测方法及其系统
WO2018075995A1 (en) * 2016-10-21 2018-04-26 DataRobot, Inc. Systems for predictive data analytics, and related methods and apparatus
CN108415910A (zh) * 2017-02-09 2018-08-17 中国传媒大学 基于时间序列的话题发展聚类分析系统和方法
CN106909664A (zh) * 2017-02-28 2017-06-30 国网福建省电力有限公司 一种电力设备数据流故障识别方法
CN106909490A (zh) * 2017-02-28 2017-06-30 国网福建省电力有限公司 一种监测设备数据流评估和噪声消除方法
CN106934417A (zh) * 2017-03-06 2017-07-07 浙江工业大学 一种面向混合属性的数据流自适应聚类方法
CN107528722A (zh) * 2017-07-06 2017-12-29 阿里巴巴集团控股有限公司 一种时间序列中异常点检测方法及装置
CN107846472A (zh) * 2017-11-24 2018-03-27 华北电力大学(保定) 大规模输变电设备监测数据流的快速异常检测方法
CN108508294A (zh) * 2018-03-29 2018-09-07 深圳众厉电力科技有限公司 一种高铁电能质量监测系统
CN108667684A (zh) * 2018-03-30 2018-10-16 桂林电子科技大学 一种基于局部向量点积密度的数据流异常检测方法
CN108761227A (zh) * 2018-04-02 2018-11-06 深圳市益鑫智能科技有限公司 一种高铁电能质量数据处理系统
US20200133254A1 (en) * 2018-05-07 2020-04-30 Strong Force Iot Portfolio 2016, Llc Methods and systems for data collection, learning, and streaming of machine signals for part identification and operating characteristics determination using the industrial internet of things
CN109067612A (zh) * 2018-07-13 2018-12-21 哈尔滨工程大学 一种基于增量聚类算法的在线流量识别方法
US20200065677A1 (en) * 2018-08-24 2020-02-27 Well Data Labs, Inc. Machine learning assisted events recognition on time series completion data
US20200160227A1 (en) * 2018-11-15 2020-05-21 General Electric Company Model update based on change in edge data
US20200211325A1 (en) * 2018-12-31 2020-07-02 Playtika Ltd. System and method for outlier detection in gaming
CN110022349A (zh) * 2019-01-17 2019-07-16 重庆邮电大学 一种基于边缘计算的异构工业网络设备组态微服务方法
CN109765863A (zh) * 2019-01-21 2019-05-17 苏州首拓信息科技有限公司 一种基于云平台的设备参数边缘计算方法
CN109978379A (zh) * 2019-03-28 2019-07-05 北京百度网讯科技有限公司 时序数据异常检测方法、装置、计算机设备和存储介质
US20200337648A1 (en) * 2019-04-24 2020-10-29 GE Precision Healthcare LLC Medical machine time-series event data processor
WO2020227429A1 (en) * 2019-05-06 2020-11-12 Strong Force Iot Portfolio 2016, Llc Platform for facilitating development of intelligence in an industrial internet of things system
CN110245880A (zh) * 2019-07-02 2019-09-17 浙江成功软件开发有限公司 一种污染源在线监控数据作弊识别方法
CN110609864A (zh) * 2019-08-30 2019-12-24 广州奇化有限公司 一种面向化工供应链的数据可视化管理方法及装置
CN110555619A (zh) * 2019-09-09 2019-12-10 张阔 一种基于智能配电网的供电能力评估方法
CN110866555A (zh) * 2019-11-11 2020-03-06 广州国音智能科技有限公司 增量数据的聚类方法、装置、设备及可读存储介质
CN110865929A (zh) * 2019-11-26 2020-03-06 携程旅游信息技术(上海)有限公司 异常检测预警方法及系统
CN111143438A (zh) * 2019-12-30 2020-05-12 江苏安控鼎睿智能科技有限公司 一种基于流处理的车间现场数据实时监测与异常检测方法
CN111262722A (zh) * 2019-12-31 2020-06-09 中国广核电力股份有限公司 一种用于工业控制系统网络的安全监测方法
CN111367777A (zh) * 2020-03-03 2020-07-03 腾讯科技(深圳)有限公司 告警处理的方法、装置、设备及计算机可读存储介质
CN111624494A (zh) * 2020-04-20 2020-09-04 北京航空航天大学 基于电化学参数的电池分析方法和系统
CN111992869A (zh) * 2020-08-11 2020-11-27 上海新力动力设备研究所 一种基于边缘计算的电子束焊接设备预测性维护方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
周芬芬: "《中国知网》", 15 February 2017 *
爱吃甜食_: "parkstreaming-2 sparkstreaming之DStream", 《CSDN》 *
蔡鸿明: "《IoT-Based Big Data Storage Systems in Cloud Computing: Perspectives and Challenges", 《IEEE INTERNET OF THINGS JOURNAL》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113590891A (zh) * 2021-08-09 2021-11-02 江苏网进科技股份有限公司 一种分布式空间索引系统及实时流处理框架
CN113590891B (zh) * 2021-08-09 2023-08-11 江苏网进科技股份有限公司 一种实时流处理框架
CN113554363A (zh) * 2021-09-23 2021-10-26 国网江苏省电力有限公司营销服务中心 基于网格化系统监测的电力客户业务工单处理方法及系统
CN113554363B (zh) * 2021-09-23 2022-02-22 国网江苏省电力有限公司营销服务中心 基于网格化系统监测的电力客户业务工单处理方法及系统
CN115174211A (zh) * 2022-07-05 2022-10-11 北京珞安科技有限责任公司 基于流量分析与控制的工业安全防护系统
CN118051800A (zh) * 2024-04-16 2024-05-17 山东峰华智能科技有限公司 基于云边协同的矿内监测数据智能处理方法
CN118051800B (zh) * 2024-04-16 2024-06-21 山东峰华智能科技有限公司 基于云边协同的矿内监测数据智能处理方法

Also Published As

Publication number Publication date
CN112699113B (zh) 2022-08-05

Similar Documents

Publication Publication Date Title
CN112699113B (zh) 时序数据流驱动的工业制造流程运行监测系统
Fan et al. A review on data preprocessing techniques toward efficient and reliable knowledge discovery from building operational data
US10191529B2 (en) Real-time data management for a power grid
CN108628929B (zh) 用于智能存档和分析的方法和装置
JP6734265B2 (ja) ノンテクニカルロスを同定するための機械学習の利用
WO2021052394A1 (zh) 模型训练方法、装置及系统
CN108600009B (zh) 一种基于告警数据分析的网络告警根源定位方法
US11847130B2 (en) Extract, transform, load monitoring platform
CN106708016A (zh) 故障监控方法和装置
CN114757307B (zh) 一种人工智能自动训练方法、系统、装置及存储介质
CN113037802A (zh) 一种用于电力物联网的云边数据协同方法
JP7401677B2 (ja) モデル更新システム、モデル更新方法及び関連装置
Nayak et al. A review on edge analytics: Issues, challenges, opportunities, promises, future directions, and applications
CN114666224A (zh) 业务资源容量动态分配方法、装置、设备及存储介质
CN117240887A (zh) 一种智慧物联网能源管理平台系统
CN115562940A (zh) 负载能耗监控方法、装置、介质及电子设备
CN111125450A (zh) 一种多层拓扑网络资源对象的管理方法
WO2024007580A1 (zh) 一种基于混合聚类的电力设备并行故障诊断方法及装置
CN116629709A (zh) 一种供电指标的智能化分析报警系统
CN115981804A (zh) 一种工业大数据计算任务调度管理系统
CN115310923A (zh) 能源管理服务系统及方法
Balouek-Thomert et al. Evaluating policy-driven adaptation on the edge-to-cloud continuum
DUAN et al. Design and Application of the Intelligent Operation, Control and Maintenance of Distribution Networks Based on Wide-Area Distributed Sinking Computing Technology
KR102509381B1 (ko) 머신러닝 로그 분석 기반의 smart 로그병합 및 추이예측 시각화 시스템
Qiu et al. Automatic feature extraction model of power iot terminal

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant