CN116415688A - 一种流体回路状态监测基线模型在线学习方法及系统 - Google Patents
一种流体回路状态监测基线模型在线学习方法及系统 Download PDFInfo
- Publication number
- CN116415688A CN116415688A CN202310303991.XA CN202310303991A CN116415688A CN 116415688 A CN116415688 A CN 116415688A CN 202310303991 A CN202310303991 A CN 202310303991A CN 116415688 A CN116415688 A CN 116415688A
- Authority
- CN
- China
- Prior art keywords
- fluid circuit
- monitoring data
- baseline model
- abnormal
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 205
- 239000012530 fluid Substances 0.000 title claims abstract description 180
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000002159 abnormal effect Effects 0.000 claims abstract description 186
- 238000005096 rolling process Methods 0.000 claims abstract description 74
- 238000005192 partition Methods 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 14
- 238000012549 training Methods 0.000 claims abstract description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000005856 abnormality Effects 0.000 abstract description 7
- 238000012360 testing method Methods 0.000 description 16
- 238000001514 detection method Methods 0.000 description 9
- 230000001960 triggered effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005111 flow chemistry technique Methods 0.000 description 2
- 230000017525 heat dissipation Effects 0.000 description 2
- 238000000746 purification Methods 0.000 description 2
- 238000012896 Statistical algorithm Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000037406 food intake Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013450 outlier detection Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2113/00—Details relating to the application field
- G06F2113/08—Fluids
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明公开了一种流体回路状态监测基线模型在线学习方法及系统,包括:基于初次建模机制,对初始运行时间段的流体回路监测数据进行训练,得到基线模型的首个类簇,并初始化基线模型的类簇信息、疑似异常点列表和真实异常点列表,将初始运行时间段的流体回路监测数据中不属于首个类簇的流体回路监测数据添加至疑似异常点列表;基于当前基线模型,对每个新进入的流体回路监测数据进行分区标记,得到标记的数据流;对标记的数据流加滚动窗口,并对滚动窗口内的流体回路监测数据进行分区并行处理,以实现当前基线模型的增量学习并更新疑似异常点列表和真实异常点列表。本发明能够对基线模型进行在线自动更新,提升了流体回路异常监测的准确性。
Description
技术领域
本发明涉及工业系统状态监测技术领域,尤其涉及一种流体回路状态监测基线模型在线学习方法及系统。
背景技术
由泵组、阀门、管路、热交换器、过滤器等多种设备连接而形成的流体回路,是空间站、电厂等的典型关键设施,主要起到散热、净化等作用。在站或厂运行期间,对流体回路的状态进行持续监测,及时发现异常,对提高系统运行安全性意义重大。近年来,随着数字化运维技术的发展,对流体回路的监测已经从传统的仪表判读向数字化、网络化和智能化的方向转变。以实际应用需求为导向,状态监测首要目标应是对被监测系统进行是否正常的二分类判断,要求判断准确、快速。
随着外部条件、运行工况和自身健康状态的变化,流体回路监测数据呈现出稳态与概念漂移(Concept Drift)交织的特征。流体回路在投入运行后,大部分时间处于正常状态。在同一种外部条件和运行工况下,流体回路正常状态下的监测数据构成了多维空间包络,而基线模型就是对这个包络的表达。状态监测系统采集并积累的数据属于不平衡数据,即正常样本占绝大多数,故障样本较少。这就使得缺少故障样本情况下,建立流体回路基线模型是可行的且有必要的。采用统计学、机器学习等方法,可以学习出基线模型。传统的做法是对历史数据进行离线的学习,但是这种做法存在两个方面的缺点:一是需要积累大量历史数据后才能开展基线模型的学习;二是模型反馈、更新滞后,倾向于将未知的正常状态识别为异常。
因此,亟需提供一种技术方案解决上述技术问题。
发明内容
为解决上述技术问题,本发明提供了一种流体回路状态监测基线模型在线学习方法及系统。
本发明的一种流体回路状态监测基线模型在线学习方法的技术方案如下:
基于初次建模机制,对初始运行时间段内所采集的流体回路监测数据进行训练,得到用于流体回路状态监测的基线模型的首个类簇,并初始化所述基线模型的类簇信息、疑似异常点列表和真实异常点列表,将所述初始运行时间段内的流体回路监测数据中不属于所述首个类簇的流体回路监测数据添加至所述疑似异常点列表;
基于当前基线模型,对每个新进入的流体回路监测数据分别进行分区标记,得到标记的流体回路监测数据流;
对所述标记的流体回路监测数据流加滚动窗口,并对所述滚动窗口内的流体回路监测数据进行分区并行处理,以实现所述当前基线模型的增量学习并更新所述疑似异常点列表和所述真实异常点列表。
本发明的一种流体回路状态监测基线模型在线学习方法的有益效果如下:
本发明的方法能够对基线模型进行在线自动更新,提升了流体回路异常监测的准确性。
在上述方案的基础上,本发明的一种流体回路状态监测基线模型在线学习方法还可以做如下改进。
进一步,所述初始建模机制包括:
设定最短预设时长和最长预设时长,根据所述预设时长确定所述初始运行时间段;
获取所述初始运行时间段的第一个时间段内的每个正常运行状态下的流体回路监测数据,并将所述第一个时间段内的每个异常状态下的初始流体回路监测数据确定为疑似异常数据;其中,所述第一个时间段为:[T0,T0+TFmin|,T0表示在所述初始运行时间段内获取到首个流体回路监测数据的第一时间点,TFmin为所述最短预设时长;
当从所述初始运行时间段的第二个时间段内获取到首个异常状态下的流体回路监测数据时,将所述第一时间点与获取到所述首个异常状态下的流体回路监测数据的第二时间点之间的每个正常运行状态下的流体回路监测数据确定为所述初始运行时间段内所采集的流体回路监测数据;其中,所述第二个时间段为:[T0+TFmin,T0+TFmax],TFmax为所述最长预设时长;
当从所述第二个时间段内未获取到异常状态下的流体回路监测数据时,将所述初始运行时间段的每个正常运行状态下的流体回路监测数据确定为所述初始运行时间段内所采集的流体回路监测数据。
进一步,所述异常状态包括:疑似异常和概念漂移;
其中,采用kNN算法对流体回路监测数据的异常状态进行检测,kNN算法算法所需计算监测数据的成对距离值采用增量计算方式实现。
进一步,所述类簇信息包括:每个类簇的簇中心与簇半径,类簇成员与簇中心距离的平均值,以及类簇成员与簇中心距离的标准差。
进一步,对所述滚动窗口内的流体回路监测数据进行分区并行处理,以实现所述当前基线模型的增量学习并更新所述疑似异常点列表和所述真实异常点列表的步骤,包括:
基于分区标记属于所述当前基线模型中的任一类簇的流体回路监测数据,对该类簇进行更新,直至完成对所述当前基线模型的每个类簇更新;
分区标记不属于所述当前基线模型中的任一类簇的流体回路监测数据记为所述滚动窗口的疑似异常数据集,并根据所述滚动窗口的疑似异常数据集和所述窗口开始时所述疑似异常点列表中的疑似异常数据,生成当前异常数据集,并判断所述当前异常数据集中的监测数据是否能够聚合为新的类簇,得到判断结果;
当所述判断结果为是时,基于所述当前异常数据集中满足预设条件的监测数据,在所述当前基线模型中添加新的类簇,以扩展所述当前基线模型,并将所述当前异常数据集中不满足所述预设条件的监测数据确定为所述滚动窗口所判定的疑似异常点。
进一步,还包括:
当所述判断结果为否时,将所述疑似异常点列表中的疑似异常数据加入真实异常点列表,计算所述滚动窗口的疑似异常数据集中的任意两个监测数据的成对距离值,当所述滚动窗口的疑似异常数据集中的任一监测数据关联的每个成对距离值均大于预设距离值时,将该监测数据确定为真实异常点并更新所述真实异常点列表,否则,将该监测数据添加至所述疑似异常点列表。
进一步,还包括:
分别判断每个所述滚动窗口所判定的疑似异常点是否存在于所述滚动窗口开始时的疑似异常列表中,得到所有的第二判断结果;
将第二判断结果为是的所述滚动窗口所判定的疑似异常点确定为真实异常点并更新所述真实异常点列表;
将第二判断结果为否的所述滚动窗口所判定的疑似异常点确定为疑似异常点并更新所述疑似异常点列表。
本发明的一种流体回路状态监测基线模型在线学习系统的技术方案如下:
包括:初次建模模块、分区标记模块和滚动学习模块;
所述初次建模模块用于:基于初次建模机制,对初始运行时间段内所采集的流体回路监测数据进行训练,得到用于流体回路状态监测的基线模型的首个类簇,并初始化所述基线模型的类簇信息、疑似异常点列表和真实异常点列表,将所述初始运行时间段内的流体回路监测数据中不属于所述首个类簇的流体回路监测数据添加至所述疑似异常点列表;
所述分区标记模块用于:基于当前基线模型,对每个新进入的流体回路监测数据分别进行分区标记,得到标记的流体回路监测数据流;
所述滚动学习模块用于:对所述标记的流体回路监测数据流加滚动窗口,并对所述滚动窗口内的流体回路监测数据进行分区并行处理,以实现所述当前基线模型的增量学习并更新所述疑似异常点列表和所述真实异常点列表。
本发明的一种流体回路状态监测基线模型在线学习系统的有益效果如下:
本发明的系统能够对基线模型进行在线自动更新,提升了流体回路异常检测的准确性。
在上述方案的基础上,本发明的一种流体回路状态监测基线模型在线学习系统还可以做如下改进。
进一步,所述初始建模机制包括:
设定最短预设时长和最长预设时长,根据所述预设时长确定所述初始运行时间段;
获取所述初始运行时间段的第一个时间段内的每个正常运行状态下的流体回路监测数据,并将所述第一个时间段内的每个异常状态下的初始流体回路监测数据确定为疑似异常数据;其中,所述第一个时间段为:[T0,T0+TFmin],T0表示在所述初始运行时间段内获取到首个流体回路监测数据的第一时间点,TFmin为所述最短预设时长;
当从所述初始运行时间段的第二个时间段内获取到首个异常状态下的流体回路监测数据时,将所述第一时间点与获取到所述首个异常状态下的流体回路监测数据的第二时间点之间的每个正常运行状态下的流体回路监测数据确定为所述初始运行时间段内所采集的流体回路监测数据;其中,所述第二个时间段为:[T0+TFmin,T0+TFmax],TFmax为所述最长预设时长;
当从所述第二个时间段内未获取到异常状态下的流体回路监测数据时,将所述初始运行时间段的每个正常运行状态下的流体回路监测数据确定为所述初始运行时间段内所采集的流体回路监测数据。
进一步,所述异常状态包括:疑似异常和概念漂移;
其中,采用kNN算法对流体回路监测数据的异常状态进行检测,kNN算法所需计算监测数据的成对距离值采用增量计算方式实现。
附图说明
图1示出了本发明提供的一种流体回路状态监测基线模型在线学习方法的实施例的流程示意图;
图2示出了本发明提供的一种流体回路状态监测基线模型在线学习方法的实施例中异常数据检测算法的流程图;
图3示出了本发明提供的一种流体回路状态监测基线模型在线学习方法的实施例中基线模型在线学习和异常检测的程序框图;
图4示出了本发明提供的一种流体回路状态监测基线模型在线学习系统的实施例的结构示意图。
具体实施方式
图1示出了本发明提供的一种流体回路状态监测基线模型在线学习方法的实施例的流程示意图。如图1所示,该方法包括如下步骤:
步骤110:基于初次建模机制,对初始运行时间段内所采集的流体回路监测数据进行训练,得到用于流体回路状态监测的基线模型的首个类簇,并初始化所述基线模型的类簇信息、疑似异常点列表和真实异常点列表,将所述初始运行时间段内的流体回路监测数据中不属于所述首个类簇的流体回路监测数据添加至所述疑似异常点列表。
其中,①初始运行时间段为:流体回路异常状态监测的初始运行时所预设的时间段,其具体时长可根据需求进行设定,在此不设限制。②基线模型的类簇信息包括但不限于:每个类簇的簇中心与簇半径R,类簇成员与簇中心距离的平均值以及类簇成员与簇中心距离的标准差σ。
需要说明的是,①本实施例采用KNN算法检测疑似异常数据和概念漂移数据。②疑似异常点列表用于存储不属于基线模型的任一类簇的流体回路监测数据。真实异常点列表用于存储经过两次判断不属于任一类簇的流体回路监测数据;因此,初始运行时间段的真实异常点列表必然为空。
步骤120:基于当前基线模型,对每个新进入的流体回路监测数据分别进行分区标记,得到标记的流体回路监测数据流。
具体地,根据当前基线模型的类簇信息,判断每个新进入的流体回路监测数据属于正常类簇的点或疑似异常点,属于不同类簇的点或疑似异常点应当分区处理。如果新加入的数据点o,如果它属于第i个簇,那么o.partition=mod(i,P-1);如果新加入的点不属于基线模型中的任一类簇,那么o.partition=0。
需要说明的是,随着数据流的推进,基线模型中的类簇种类逐渐增多,并行度达到系统上限后,可以共享分区。假设当前基线模型包含类簇的个数为NBL,并行度应该设计成默认值,或者一个尽可能高的值,因此可以设置为处理系统可提供的最大并行度P。
步骤130:对所述标记的流体回路监测数据流加滚动窗口,并对所述滚动窗口内的流体回路监测数据进行分区并行处理,以实现所述当前基线模型的增量学习并更新所述疑似异常点列表和所述真实异常点列表。
其中,①滚动窗口默认为Flink滚动窗口。②滚动窗口的时间长度默认设置为1min,也可根据需求进行调整,在此不设限制。
需要说明的是,将滚动窗口设置为分钟量级主要考虑三个方面:a.满足在线学习和异常检测的即时性,窗口时间不宜过长;b.滚动窗口内应有一定的样本量,故窗口时间不宜过短;c.流体回路监测数据流概念漂移不会太频繁,分钟量级的窗口内的数据所属类簇一般不会超过2个。
较优地,所述初始建模机制包括:
设定最短预设时长和最长预设时长,根据所述预设时长确定所述初始运行时间段。
获取所述初始运行时间段的第一个时间段内的每个正常运行状态下的流体回路监测数据,并将所述第一个时间段内的每个异常状态下的初始流体回路监测数据确定为疑似异常数据。
其中,①第一个时间段为:[T0,T0+TFmin],T0表示在初始运行时间段内获取到首个流体回路监测数据的第一时间点,TFmin为最短预设时长。②异常状态包括:疑似异常和概念漂移。
当从所述初始运行时间段的第二个时间段内获取到首个异常状态下的流体回路监测数据时,将所述第一时间点与获取到所述首个异常状态下的流体回路监测数据的第二时间点之间的每个正常运行状态下的流体回路监测数据确定为所述初始运行时间段内所采集的流体回路监测数据。
其中,第二个时间段为:[T0+TFmin,T0+TFmax],TFmax为所述最长预设时长。
当从所述第二个时间段内未获取到异常状态下的流体回路监测数据时,将所述初始运行时间段的每个正常运行状态下的流体回路监测数据确定为所述初始运行时间段内所采集的流体回路监测数据。
其中,采用kNN算法对流体回路监测数据的运行状态进行检测,kNN算法所需计算监测数据的成对距离值采用增量计算方式实现。
需要说明的是,通过上述初始建模机制能够应对在流体回路实际监测场景下首次建模的三种特殊情况:1)监测开启后的第一个时间段内就出现了异常数据,需要识别并剔除异常数据;2)监测开启一定段时间后(第二个时间段),流体回路较早地发生模式切换,数据流检测出概念漂移事件或疑似异常数据,则立即用已积累的数据进行建模;3)监测开启后数据流迟迟没有检测到概念漂移事件发生,需要设定1个最长时间跨度(TFmax)来触发初次建模任务的执行。
较优地,对所述滚动窗口内的流体回路监测数据进行分区并行处理,以实现所述当前基线模型的增量学习并更新所述疑似异常点列表和所述真实异常点列表的步骤,包括:
基于分区标记属于所述当前基线模型中的任一类簇的流体回路监测数据,对该类簇进行更新,直至完成对所述当前基线模型的每个类簇更新。
具体地,滚动窗口内新加入的点如果是属于当前基线模型的任一类簇的点,那么需要将当前基线模型中对应的类簇信息进行更新。具体算法如下:①计算这些点与簇中心的距离值,如果这些距离值中的最大值超过簇半径,那么将簇的半径更新为距离最大值。②通过增量统计算法,将簇的距离均值和距离标准差进行更新。③更新簇的中心点信息。
分区标记不属于所述当前基线模型中的任一类簇的流体回路监测数据记为所述滚动窗口的疑似异常数据集,并根据所述滚动窗口的疑似异常数据集和所述窗口开始时所述疑似异常点列表中的疑似异常数据,生成当前异常数据集,并判断所述当前异常数据集中的监测数据是否能够聚合为新的类簇,得到判断结果。
其中,距离R的标准是当前基线模型对应的所有类簇半径中的最大值的2倍加上3倍的标准差,k+1的标准是窗口成员数的20%,满足该条件即可聚合成新的类簇。
当所述判断结果为是时,基于所述当前异常数据集中满足预设条件的监测数据,在所述当前基线模型中添加新的类簇,以扩展所述当前基线模型,并将所述当前异常数据集中不满足所述预设条件的监测数据确定为所述滚动窗口所判定的疑似异常点。
较优地,还包括:
当所述判断结果为否时,将所述疑似异常点列表中的疑似异常数据加入真实异常点列表,计算所述滚动窗口的疑似异常数据集中的任意两个监测数据的成对距离值,当所述滚动窗口的疑似异常数据集中的任一监测数据关联的每个成对距离值均大于预设距离值时,将该监测数据确定为真实异常点并更新所述真实异常点列表,否则,将该监测数据添加至所述疑似异常点列表。
分别判断每个所述滚动窗口所判定的疑似异常点是否存在于所述滚动窗口开始时的疑似异常列表中,得到所有的第二判断结果。
将第二判断结果为是的所述滚动窗口所判定的疑似异常点确定为真实异常点并更新所述真实异常点列表。
将第二判断结果为否的所述滚动窗口所判定的疑似异常点确定为疑似异常点并更新所述疑似异常点列表。
其中,①预设距离值为:默认设置为R,也可根据需求进行设置,在此不设限制。②图2示出了上述异常点检测与确认的流程图。
需要说明的是,图3示出了基线模型在线学习和异常检测的程序框图。在由source算子摄入数据流(滚动窗口的流体回路监测数据)后,主程序分为两个分支。第1个分支是初次基线模型学习分支,原始数据输入流不断进入处理系统,设计1个ListBuffer变量,将输入数据流逐条加入该变量,同时会对数据流进行持续的概念漂移事件检测,基于初始建模机制确定建模时机,条件满足后立即调用基线模型学习程序,得到并根据第一批数据生成基线模型,该分支结束。第二个分支为初次建模完成后的数据流处理分支,新输入的数据首先进入数据流分区处理子模块,它的作用是根据当前基线模型,判断当下数据点是否在类簇内,并给出相应的分区键值,输出分区后的数据流。然后分区后的数据流进入滚动时间窗口操作,设置窗口时间跨度参数,例如1分钟。在分区窗口中,并行执行自定义的窗口函数,实现基线模型的增量更新、疑似异常点列表更新和真实异常点列表更新。第二个分支会随着数据流推进而持续运转。
本实施例的技术方案能够对基线模型进行在线自动更新,提升了流体回路异常检测的准确性。
为更好地说明本实施例的技术方案,以空间站某典型的二次流体回路系统状态监测应用为实例,此回路主要有净化和散热功能,二次回路的状态与一次回路的换热器、二次回路的热源这两个外部条件直接相关。二次回路运行模式将因外部条件的变化而发生转变,在相同外部条件下,二次回路自身正常状态与故障状态之间,不同故障模式之间,其监测数据所表现的模式也不相同。
在本实例中,用于分析的二次流体回路的监测数据包括3个特征变量,分别是总入口液温、总出口液温以及总流量,每秒产生1条数据记录,除了这些特征变量对应的字段外,还有时间戳timestamp字段,其中timestamp是数据流处理的事件时间参数,对于初始建模机制、滚动窗口操作起到了关键作用。设计如下表1所示的测试项目,其中TFmin和TFmax分别设置为20秒和60秒。
表1:
首先启动在线学习与监测程序,然后启动模拟数据流生成程序,系统自动完成学习和监测过程,滚动窗口宽度设置为60秒(相当于一个预设时间段)。下面逐个给出测试情况与结果分析。
①无异常数据数据流测试:
模拟数据流包含4段数据,每段数据持续100s,共计400条数据记录,数据流中没有异常数据,数据流的事件时间戳从1668500167298到1668500566469,测试结果及分析如下:
在1668500229337时刻,触发了初始建模机制,收入了62条数据,得到基线模型的第1个类簇。
第1个滚动窗口的起止时间戳分别为1668500220000、1668500280000,其中0号分区收入了13条数据,这些数据不属于任何已知的类簇,0号分区的13条数据形成了新的类簇,1号分区收入了38条数据,扩充了基线模型的第1个类簇。
第2个滚动窗口的起止时间戳分别为1668500280000、1668500340000,窗口内所有的60条数据都属于2号分区,扩充了基线模型的第2个类簇。
第3个滚动窗口的起止时间戳分别为1668500340000、1668500400000,其中1号分区收入了33条数据,扩充了基线模型的第1个类簇,2号分区的收入了27条数据,扩充了基线模型的第2个类簇。
第4个滚动窗口的起止时间戳分别为1668500400000、1668500460000,窗口内所有的60条数据都属于1号分区,扩充了基线模型的第1个类簇。
第5个滚动窗口的起止时间戳分别为1668500460000、1668500520000,其中1号分区收入了7条数据,扩充了第1个类簇,2号分区的收入了53条数据,扩充了第2个类簇。
第6个滚动窗口的起止时间戳分别为1668500520000、1668500580000,窗口内所有的47条数据都属于2号分区,扩充了第2个类簇。
最终基线模型生成了2个类簇,异常检测结果显示没有异常,所有的400条数据都用在了基线模型的学习中。初次建模完成时的系统时间与第62条数据的事件时间戳相差1012ms,各滚动窗口的操作和数据流同步,具备低延迟的特征。
②[T0,T0+TFmin]之间有异常数据测试:
在第一个测试项的数据流基础上,在第1个点前插入一条异常数据,数据流的事件时间戳从1668508606311开始,测试能否正确识别出该异常数据:
在数据流进展到1668508667520时,检测到该异常数据,并将它放置在疑似异常点列表。
在1668508668207时刻,触发了初次建模,收入了62条数据,剔除其中的疑似异常数据后,用61条数据建模得到基线模型的第1个类簇。
在第二个滚动窗口(1668508680000~1668508740000)结束后,将该疑似异常数据确定为真实异常数据。
最终基线模型生成的结果和①完全一致。
③[T0+TFmin,T0+TFmax]之间发生概念漂移测试:
在第一个测试项的数据流基础上,在第30个点后插入一段与前30个数据不同模式的数据点,数据流的事件时间戳从1668567541381开始,测试初次建模机制运行情况以及是否能正确区分概念漂移事件和真实异常:
在数据流进展到1668567571398时,检测到该漂移事件,并将该点放置在疑似异常点列表。
在1668567571522时刻,触发了初次建模,收入了30条数据,得到基线模型的第1个类簇。
在第一个滚动窗口(1668567540000~1668567600000)结束后,将该疑似异常数据确认为概念漂移事件,并非真实异常数据。
④[T0+TFmin,T0+TFmax]之间发生异常测试
在第一个测试项的数据流基础上,在第30个点后插入一条异常数据,数据流的事件时间戳从1668568290582开始,测试初次建模机制运行情况以及是否能识别真实异常数据:
在数据流进展到1668568320598时,检测到该异常数据,并将该点放置在疑似异常点列表。
在1668568320622时刻,触发了初次建模,收入了30条数据,得到基线模型的第1个类簇。
在第二个滚动窗口(1668568380000~1668568440000)结束后,将该疑似异常数据确认为真实异常数据。
⑤T0+TFmax之后发生异常和概念漂移测试
在第一个测试项的数据流的基础上,在第60个点后不同时刻随机插入5条异常数据,数据流的事件时间戳从1668568985509开始,测试能否正确完成基线模型学习并检测出这5个真实的异常数据:
在1668569047551时刻,触发了初次建模,收入了62条数据,得到基线模型的第1个类簇。
在第1个滚动窗口(1668569040000~1668569100000)结束时,检测到第1个异常数据,并将它放入疑似异常点列表。
在第2个滚动窗口(1668569100000~1668569160000)结束时,检测到第2、3个异常数据,将它们放入疑似异常点列表,并将上个窗口的1个疑似异常数据确认为真实异常数据。
在第3个滚动窗口(1668569160000~1668569220000)结束时,检测到第4个异常数据,将它放入疑似异常点列表,并将上个窗口的2个疑似异常数据确认为真实异常数据。
在第4个滚动窗口(1668569220000~1668569280000)结束时,检测到第5个异常数据,将它放入疑似异常点列表,并将上个窗口的1个疑似异常数据确认为真实异常数据。
在第5个滚动窗口(1668569280000~1668569340000)结束时,将上个窗口的1个疑似异常数据确认为真实异常数据。
最终,5个疑似异常数据均被正确地检测出来,并且基线模型学习和第一项测试一致。
图4示出了本发明提供的一种流体回路状态监测基线模型在线学习系统的实施例的结构示意图。如图4所示,该系统200包括:初次建模模块210、分区标记模块220和滚动学习模块230。
所述初次建模模块210用于:基于初次建模机制,对初始运行时间段内所采集的流体回路监测数据进行训练,得到用于流体回路状态监测的基线模型的首个类簇,并初始化所述基线模型的类簇信息、疑似异常点列表和真实异常点列表,将所述初始运行时间段内的流体回路监测数据中不属于所述首个类簇的流体回路监测数据添加至所述疑似异常点列表;
所述分区标记模块220用于:基于当前基线模型,对每个新进入的流体回路监测数据分别进行分区标记,得到标记的流体回路监测数据流;
所述滚动学习模块230用于:对所述标记的流体回路监测数据流加滚动窗口,并对所述滚动窗口内的流体回路监测数据进行分区并行处理,以实现所述当前基线模型的增量学习并更新所述疑似异常点列表和所述真实异常点列表。
较优地,所述初始建模机制包括:
设定最短预设时长和最长预设时长,根据所述预设时长确定所述初始运行时间段;
获取所述初始运行时间段的第一个时间段内的每个正常运行状态下的流体回路监测数据,并将所述第一个时间段内的每个异常状态下的初始流体回路监测数据确定为疑似异常数据;其中,所述第一个时间段为:[T0,T0+TFmin],T0表示在所述初始运行时间段内获取到首个流体回路监测数据的第一时间点,TFmin为所述最短预设时长;
当从所述初始运行时间段的第二个时间段内获取到首个异常状态下的流体回路监测数据时,将所述第一时间点与获取到所述首个异常状态下的流体回路监测数据的第二时间点之间的每个正常运行状态下的流体回路监测数据确定为所述初始运行时间段内所采集的流体回路监测数据;其中,所述第二个时间段为:[T0+TFmin,T0+TFmax],TFmax为所述最长预设时长;
当从所述第二个时间段内未获取到异常状态下的流体回路监测数据时,将所述初始运行时间段的每个正常运行状态下的流体回路监测数据确定为所述初始运行时间段内所采集的流体回路监测数据。
较优地,所述异常状态包括:疑似异常和概念漂移;
其中,采用kNN算法对流体回路监测数据的运行状态进行检测,kNN算法所需计算监测数据的成对距离值采用增量计算方式实现。
本实施例的技术方案能够对基线模型进行在线自动更新,提升了流体回路异常检测的准确性。
上述关于本实施例的一种流体回路状态监测基线模型在线学习系统200中的各参数和各个模块实现相应功能的步骤,可参考上文中关于一种流体回路状态监测基线模型在线学习方法的实施中的各参数和步骤,在此不做赘述。
在此处所提供的说明书中,说明了大量具体细节。然而能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。类似地,为了精简本发明并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。其中,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤,除有特殊说明外,不应理解为对执行顺序的限定。
Claims (10)
1.一种流体回路状态监测基线模型在线学习方法,其特征在于,包括:
基于初次建模机制,对初始运行时间段内所采集的流体回路监测数据进行训练,得到用于流体回路状态监测的基线模型的首个类簇,并初始化所述基线模型的类簇信息、疑似异常点列表和真实异常点列表,将所述初始运行时间段内的流体回路监测数据中不属于所述首个类簇的流体回路监测数据添加至所述疑似异常点列表;
基于当前基线模型,对每个新进入的流体回路监测数据分别进行分区标记,得到标记的流体回路监测数据流;
对所述标记的流体回路监测数据流加滚动窗口,并对所述滚动窗口内的流体回路监测数据进行分区并行处理,以实现所述当前基线模型的增量学习并更新所述疑似异常点列表和所述真实异常点列表。
2.根据权利要求1所述的流体回路状态监测基线模型在线学习方法,其特征在于,所述初始建模机制包括:
设定最短预设时长和最长预设时长,根据所述预设时长确定所述初始运行时间段;
获取所述初始运行时间段的第一个时间段内的每个正常运行状态下的流体回路监测数据,并将所述第一个时间段内的每个异常状态下的初始流体回路监测数据确定为疑似异常数据;其中,所述第一个时间段为:[T0,T0+TFmin],T0表示在所述初始运行时间段内获取到首个流体回路监测数据的第一时间点,TFmin为所述最短预设时长;
当从所述初始运行时间段的第二个时间段内获取到首个异常状态下的流体回路监测数据时,将所述第一时间点与获取到所述首个异常状态下的流体回路监测数据的第二时间点之间的每个正常运行状态下的流体回路监测数据确定为所述初始运行时间段内所采集的流体回路监测数据;其中,所述第二个时间段为:[T0+TFmin,T0+TFmax],TFmax为所述最长预设时长;
当从所述第二个时间段内未获取到异常状态下的流体回路监测数据时,将所述初始运行时间段的每个正常运行状态下的流体回路监测数据确定为所述初始运行时间段内所采集的流体回路监测数据。
3.根据权利要求2所述的流体回路状态监测基线模型在线学习方法,其特征在于,所述异常状态包括:疑似异常和概念漂移;
其中,采用kNN算法对流体回路监测数据的异常状态进行检测,kNN算法所需计算监测数据的成对距离值采用增量计算方式实现。
4.根据权利要求1所述的流体回路状态监测基线模型在线学习方法,其特征在于,所述类簇信息包括:每个类簇的簇中心与簇半径,类簇成员与簇中心距离的平均值,以及类簇成员与簇中心距离的标准差。
5.根据权利要求1所述的流体回路状态监测基线模型在线学习方法,其特征在于,对所述滚动窗口内的流体回路监测数据进行分区并行处理,以实现所述当前基线模型的增量学习并更新所述疑似异常点列表和所述真实异常点列表的步骤,包括:
基于分区标记属于所述当前基线模型中的任一类簇的流体回路监测数据,对该类簇进行更新,直至完成对所述当前基线模型的每个类簇更新;
分区标记不属于所述当前基线模型中的任一类簇的流体回路监测数据记为所述滚动窗口的疑似异常数据集,并根据所述滚动窗口的疑似异常数据集和所述窗口开始时所述疑似异常点列表中的疑似异常数据,生成当前异常数据集,并判断所述当前异常数据集中的监测数据是否能够聚合为新的类簇,得到判断结果;
当所述判断结果为是时,基于所述当前异常数据集中满足预设条件的监测数据,在所述当前基线模型中添加新的类簇,以扩展所述当前基线模型,并将所述当前异常数据集中不满足所述预设条件的监测数据确定为所述滚动窗口所判定的疑似异常点。
6.根据权利要求5所述的流体回路状态监测基线模型在线学习方法,其特征在于,还包括:
当所述判断结果为否时,将所述疑似异常点列表中的疑似异常数据加入真实异常点列表,计算所述滚动窗口的疑似异常数据集中的任意两个监测数据的成对距离值,当所述滚动窗口的疑似异常数据集中的任一监测数据关联的每个成对距离值均大于预设距离值时,将该监测数据确定为真实异常点并更新所述真实异常点列表,否则,将该监测数据添加至所述疑似异常点列表。
7.根据权利要求5所述的流体回路状态监测基线模型在线学习方法,其特征在于,还包括:
分别判断每个所述滚动窗口所判定的疑似异常点是否存在于所述滚动窗口开始时的疑似异常列表中,得到所有的第二判断结果;
将第二判断结果为是的所述滚动窗口所判定的疑似异常点确定为真实异常点并更新所述真实异常点列表;
将第二判断结果为否的所述滚动窗口所判定的疑似异常点确定为疑似异常点并更新所述疑似异常点列表。
8.一种流体回路状态监测基线模型在线学习系统,其特征在于,包括:初次建模模块、分区标记模块和滚动学习模块;
所述初次建模模块用于:基于初次建模机制,对初始运行时间段内所采集的流体回路监测数据进行训练,得到用于流体回路状态监测的基线模型的首个类簇,并初始化所述基线模型的类簇信息、疑似异常点列表和真实异常点列表,将所述初始运行时间段内的流体回路监测数据中不属于所述首个类簇的流体回路监测数据添加至所述疑似异常点列表;
所述分区标记模块用于:基于当前基线模型,对每个新进入的流体回路监测数据分别进行分区标记,得到标记的流体回路监测数据流;
所述滚动学习模块用于:对所述标记的流体回路监测数据流加滚动窗口,并对所述滚动窗口内的流体回路监测数据进行分区并行处理,以实现所述当前基线模型的增量学习并更新所述疑似异常点列表和所述真实异常点列表。
9.根据权利要求8所述的流体回路状态监测基线模型在线学习系统,其特征在于,所述初始建模机制包括:
设定最短预设时长和最长预设时长,根据所述预设时长确定所述初始运行时间段;
获取所述初始运行时间段的第一个时间段内的每个正常运行状态下的流体回路监测数据,并将所述第一个时间段内的每个异常状态下的初始流体回路监测数据确定为疑似异常数据;其中,所述第一个时间段为:[T0,T0+TFmin],T0表示在所述初始运行时间段内获取到首个流体回路监测数据的第一时间点,TFmin为所述最短预设时长;
当从所述初始运行时间段的第二个时间段内获取到首个异常状态下的流体回路监测数据时,将所述第一时间点与获取到所述首个异常状态下的流体回路监测数据的第二时间点之间的每个正常运行状态下的流体回路监测数据确定为所述初始运行时间段内所采集的流体回路监测数据;其中,所述第二个时间段为:[T0+TFmin,T0+TFmax],TFmax为所述最长预设时长;
当从所述第二个时间段内未获取到异常状态下的流体回路监测数据时,将所述初始运行时间段的每个正常运行状态下的流体回路监测数据确定为所述初始运行时间段内所采集的流体回路监测数据。
10.根据权利要求9所述的流体回路状态监测基线模型在线学习系统,其特征在于,所述异常状态包括:疑似异常和概念漂移;
其中,采用kNN算法对流体回路监测数据的异常状态进行检测,kNN算法所需计算监测数据的成对距离值采用增量计算方式实现。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310303991.XA CN116415688B (zh) | 2023-03-27 | 2023-03-27 | 一种流体回路状态监测基线模型在线学习方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310303991.XA CN116415688B (zh) | 2023-03-27 | 2023-03-27 | 一种流体回路状态监测基线模型在线学习方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116415688A true CN116415688A (zh) | 2023-07-11 |
CN116415688B CN116415688B (zh) | 2023-11-03 |
Family
ID=87054181
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310303991.XA Active CN116415688B (zh) | 2023-03-27 | 2023-03-27 | 一种流体回路状态监测基线模型在线学习方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116415688B (zh) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10123106A1 (de) * | 2001-05-12 | 2002-11-21 | Bosch Gmbh Robert | Verfahren zum Überwachen eines Kühlflüssigkeitskreislaufs einer Brennkraftmaschine |
CN101561878A (zh) * | 2009-05-31 | 2009-10-21 | 河海大学 | 基于改进cure聚类算法的无监督异常检测方法和系统 |
CN101743063A (zh) * | 2007-05-03 | 2010-06-16 | 科隆迪亚戈有限公司 | 分析方法 |
KR101623071B1 (ko) * | 2015-01-28 | 2016-05-31 | 한국인터넷진흥원 | 공격의심 이상징후 탐지 시스템 |
US20180115578A1 (en) * | 2016-10-26 | 2018-04-26 | Elastic Beam, Inc. | Methods and systems for deep learning based api traffic security |
CN110222701A (zh) * | 2019-06-11 | 2019-09-10 | 北京新桥技术发展有限公司 | 一种桥梁病害自动识别方法 |
CN110225055A (zh) * | 2019-06-22 | 2019-09-10 | 福州大学 | 一种基于knn半监督学习模型的网络流量异常检测方法与系统 |
WO2020038353A1 (zh) * | 2018-08-21 | 2020-02-27 | 瀚思安信(北京)软件技术有限公司 | 异常行为检测方法及系统 |
CN110909505A (zh) * | 2019-12-03 | 2020-03-24 | 上海核工程研究设计院有限公司 | 核电厂疲劳监测和寿命评估系统的瞬态温度场计算方法 |
CN111191714A (zh) * | 2019-12-28 | 2020-05-22 | 浙江大学 | 桥梁外观损伤病害智能识别方法 |
CN111507376A (zh) * | 2020-03-20 | 2020-08-07 | 厦门大学 | 一种基于多种无监督方法融合的单指标异常检测方法 |
US20220053010A1 (en) * | 2020-08-13 | 2022-02-17 | Tweenznet Ltd. | System and method for determining a communication anomaly in at least one network |
-
2023
- 2023-03-27 CN CN202310303991.XA patent/CN116415688B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10123106A1 (de) * | 2001-05-12 | 2002-11-21 | Bosch Gmbh Robert | Verfahren zum Überwachen eines Kühlflüssigkeitskreislaufs einer Brennkraftmaschine |
CN101743063A (zh) * | 2007-05-03 | 2010-06-16 | 科隆迪亚戈有限公司 | 分析方法 |
CN101561878A (zh) * | 2009-05-31 | 2009-10-21 | 河海大学 | 基于改进cure聚类算法的无监督异常检测方法和系统 |
KR101623071B1 (ko) * | 2015-01-28 | 2016-05-31 | 한국인터넷진흥원 | 공격의심 이상징후 탐지 시스템 |
US20180115578A1 (en) * | 2016-10-26 | 2018-04-26 | Elastic Beam, Inc. | Methods and systems for deep learning based api traffic security |
WO2020038353A1 (zh) * | 2018-08-21 | 2020-02-27 | 瀚思安信(北京)软件技术有限公司 | 异常行为检测方法及系统 |
CN110222701A (zh) * | 2019-06-11 | 2019-09-10 | 北京新桥技术发展有限公司 | 一种桥梁病害自动识别方法 |
CN110225055A (zh) * | 2019-06-22 | 2019-09-10 | 福州大学 | 一种基于knn半监督学习模型的网络流量异常检测方法与系统 |
CN110909505A (zh) * | 2019-12-03 | 2020-03-24 | 上海核工程研究设计院有限公司 | 核电厂疲劳监测和寿命评估系统的瞬态温度场计算方法 |
CN111191714A (zh) * | 2019-12-28 | 2020-05-22 | 浙江大学 | 桥梁外观损伤病害智能识别方法 |
CN111507376A (zh) * | 2020-03-20 | 2020-08-07 | 厦门大学 | 一种基于多种无监督方法融合的单指标异常检测方法 |
US20220053010A1 (en) * | 2020-08-13 | 2022-02-17 | Tweenznet Ltd. | System and method for determining a communication anomaly in at least one network |
Non-Patent Citations (3)
Title |
---|
何明亮;陈泽茂;左进;: "基于多窗口机制的聚类异常检测算法", 信息网络安全, no. 11 * |
施建明: "基于Flink复杂事件处理的空间站实验柜排废气安全监测", 《载人航天》 * |
王海英;王伟魁;王领华;刘欣;杨勇;: "流体回路在轨泄漏检测与定位技术研究", 计算机测量与控制, no. 01 * |
Also Published As
Publication number | Publication date |
---|---|
CN116415688B (zh) | 2023-11-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12093818B2 (en) | Method and system for semi-supervised deep anomaly detection for large-scale industrial monitoring systems based on time-series data utilizing digital twin simulation data | |
CN109711659B (zh) | 一种工业生产的良率提升管理系统和方法 | |
CN104390657B (zh) | 一种发电机组运行参数测量传感器故障诊断方法及系统 | |
US10768188B2 (en) | Diagnostic device and method for monitoring operation of a technical system | |
CN102460529A (zh) | 装置异常监视方法以及系统 | |
CN109470946B (zh) | 一种发电设备故障检测方法及系统 | |
CN110673515A (zh) | 对工业设施的监控 | |
CN112001511A (zh) | 基于数据挖掘的设备可靠性及动态风险评价方法、系统和设备 | |
CN115640698A (zh) | 一种水电站运行设备故障预警系统 | |
CN117556366B (zh) | 基于数据筛选的数据异常检测系统及方法 | |
CN116415688B (zh) | 一种流体回路状态监测基线模型在线学习方法及系统 | |
CN116928803A (zh) | 基于空调参数检测的空调系统商检判断方法 | |
CN108198268A (zh) | 一种生产设备数据标定方法 | |
Chen et al. | Whole building system fault detection based on weather pattern matching and PCA method | |
CN103760889B (zh) | 基于贝叶斯网的故障分离快速方法 | |
CN113685235B (zh) | 一种汽轮发电机组的故障确定方法及系统 | |
Loboda et al. | Deviation problem in gas turbine health monitoring | |
Shen et al. | Fault root cause diagnosis method based on recurrent neural network and Granger causality | |
CN116628869A (zh) | 一种基于传递熵理论的数控机床故障传播机理分析方法 | |
CN114970311A (zh) | 一种远端模块寿命预测模型的建立方法与寿命预测方法 | |
CN108537174B (zh) | 时变工况条件下旋转机械运行状态在线监测方法及系统 | |
CN110570024A (zh) | 基于部分运行数据和模型校准的制冷站运行评价方法 | |
CN110543153B (zh) | 一种多工况工业过程的过渡工况故障检测方法 | |
CN114819743B (zh) | 一种化工企业能耗诊断分析方法 | |
Xiu et al. | Robust inference traceability technology for product quality enhancement |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |