CN113448807B - 告警监测方法、系统、电子设备及计算机可读存储介质 - Google Patents
告警监测方法、系统、电子设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN113448807B CN113448807B CN202110797116.2A CN202110797116A CN113448807B CN 113448807 B CN113448807 B CN 113448807B CN 202110797116 A CN202110797116 A CN 202110797116A CN 113448807 B CN113448807 B CN 113448807B
- Authority
- CN
- China
- Prior art keywords
- waveform data
- alarm
- model
- historical
- regression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 73
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000003860 storage Methods 0.000 title claims abstract description 16
- 238000012549 training Methods 0.000 claims description 59
- 238000001914 filtration Methods 0.000 claims description 23
- 230000004927 fusion Effects 0.000 claims description 17
- 238000003062 neural network model Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 238000002372 labelling Methods 0.000 claims description 12
- 238000012417 linear regression Methods 0.000 claims description 12
- 238000012216 screening Methods 0.000 claims description 5
- 238000005520 cutting process Methods 0.000 claims description 4
- 230000009469 supplementation Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000002360 preparation method Methods 0.000 abstract description 5
- 238000013461 design Methods 0.000 abstract description 4
- 230000033772 system development Effects 0.000 abstract description 4
- 238000012545 processing Methods 0.000 description 14
- 238000013499 data model Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000011161 development Methods 0.000 description 7
- 230000018109 developmental process Effects 0.000 description 7
- 238000010276 construction Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000001502 supplementing effect Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000002243 precursor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
- G06F11/324—Display of status information
- G06F11/327—Alarm or error message display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Alarm Systems (AREA)
Abstract
本发明提供了一种告警监测方法、系统、电子设备及计算机可读存储介质,涉及监控技术领域,该方法包括:获取当前波形数据,当前波形数据为按时序排列的当前监测数据;根据当前波形数据和训练后的回归告警模型,确定目标告警结果。在训练回归告警模型时,将专家知识和波形数据自身的数据规律进行了融合,系统可以接受不严格的断言,降低了系统输入要求;行业专家不需要彻底的了解整个系统,就可以设计一些专家知识来启动系统,减少了启动前准备,缩短了系统开发耗时。
Description
技术领域
本发明涉及监控技术领域,尤其是涉及一种告警监测方法、系统、电子设备及计算机可读存储介质。
背景技术
基于波形数据的告警监测系统用于用户业务上的时序检测,系统运行时根据用户输入的波形数据进行自动告警,该波形数据为按时序排列的监测数据。在该告警监测系统中,目前通常有如下三种模型:
1、有监督的时序模型,即通过输入一段历史波形数据及其告警标记进行模型学习,预测的时候在模型中输入当前波形数据,输出对应的告警标记;
2、无监督的时序模型,即通过输入一段历史波形数据进行模型学习,预测的时候在模型中输入当前波形数据,输出对应的告警标记;
3、专家模型,即专家给定数据处理方案及阈值范围,超过阈值范围则进行告警,专家模型基于专家经验总结得到。
然而上述三种模型均存在缺点:1、有监督的时序模型依赖标注,人力成本高,数据分析先于项目开发,严格依赖业务规律,泛用性差;2、无监督的时序模型前期依赖专家对业务的把握能力,开发周期长,见效慢,后期依赖专家对数据的把握能力,告警准确性/召回率不佳;3、专家模型依赖业务积累后的专家经验总结。
综上可知,现有的告警监测方案依赖人工标注或专家经验,因此系统输入要求较高,导致系统启动前的准备工作较多,系统开发耗时较长。
发明内容
本发明的目的在于提供一种告警监测方法、系统、电子设备及计算机可读存储介质,以降低系统输入要求,缩短系统开发耗时。
本发明实施例提供了一种告警监测方法,包括:
获取当前波形数据,所述当前波形数据为按时序排列的当前监测数据;
根据所述当前波形数据和训练后的回归告警模型,确定目标告警结果;其中,所述回归告警模型是基于由第一波形数据和第二波形数据融合后的合成波形数据训练得到的,所述第一波形数据是利用专家知识和历史波形数据构建得到的,所述专家知识包括经验阈值,所述第二波形数据是通过对所述历史波形数据进行滤波处理得到的。
进一步地,所述根据所述当前波形数据和训练后的回归告警模型,确定目标告警结果,包括:
将所述当前波形数据输入所述回归告警模型,得到所述回归告警模型输出的第一告警结果;
根据所述第一告警结果,确定目标告警结果。
进一步地,所述根据所述第一告警结果,确定目标告警结果,还包括:
当存在二分类告警模型时,将所述当前波形数据输入所述二分类告警模型,得到所述二分类告警模型输出的第二告警结果,并根据所述第一告警结果和所述第二告警结果,确定目标告警结果;其中,所述二分类告警模型是基于专家标注和所述历史波形数据训练得到的;
当不存在二分类告警模型,所述第一告警结果包括至少一个第一告警项,且存在推荐模型时,将所述至少一个第一告警项对应的告警波形数据输入所述推荐模型,得到所述推荐模型输出的目标告警结果;其中,所述推荐模型是基于用户标注训练得到的。
进一步地,所述根据所述第一告警结果和所述第二告警结果,确定目标告警结果,包括:
对所述第一告警结果和所述第二告警结果进行告警项汇总,得到至少一个汇总告警项;
当存在所述推荐模型时,将所述至少一个汇总告警项对应的告警波形数据输入所述推荐模型,得到所述推荐模型输出的目标告警结果。
进一步地,所述方法还包括:
根据所述专家知识和所述历史波形数据,构建第一波形数据;
对所述历史波形数据进行滤波处理,得到第二波形数据;
对所述第一波形数据和所述第二波形数据进行波形融合,得到合成波形数据;
根据所述历史波形数据和所述合成波形数据,学习得到所述回归告警模型,所述回归告警模型包括线性回归模型、残差神经网络模型和阈值规则。
进一步地,所述方法还包括:
根据所述专家标注和所述历史波形数据,构建第一训练样本;其中,所述专家标注包括专家强正标注和专家强反标注;
根据所述第一训练样本,学习得到所述二分类告警模型。
进一步地,所述方法还包括:
获取所述用户标注和所述回归告警模型输出的训练告警结果,所述用户标注包括用户强反标注和用户弱正标注;
根据所述用户标注和所述训练告警结果中的各个告警项对应的告警波形数据,构建第二训练样本;
根据所述第二训练样本,学习得到所述推荐模型。
本发明实施例还提供了一种告警监测系统,包括:
获取模块,用于获取当前波形数据,所述当前波形数据为按时序排列的当前监测数据;
确定模块,用于根据所述当前波形数据和训练后的回归告警模型,确定目标告警结果;其中,所述回归告警模型是基于由第一波形数据和第二波形数据融合后的合成波形数据训练得到的,所述第一波形数据是利用专家知识和历史波形数据构建得到的,所述专家知识包括经验阈值,所述第二波形数据是通过对所述历史波形数据进行滤波处理得到的。
本发明实施例还提供了一种电子设备,包括存储器、处理器,所述存储器中存储有可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述的告警监测方法。
本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行上述的告警监测方法。
本发明实施例提供的告警监测方法、系统、电子设备及计算机可读存储介质,在进行告警监测时,先获取当前波形数据,当前波形数据为按时序排列的当前监测数据;然后根据当前波形数据和训练后的回归告警模型,确定目标告警结果;其中,回归告警模型是基于由第一波形数据和第二波形数据融合后的合成波形数据训练得到的,第一波形数据是利用专家知识和历史波形数据构建得到的,专家知识包括经验阈值,第二波形数据是通过对历史波形数据进行滤波处理得到的。本发明实施例提供的告警监测方法、系统、电子设备及计算机可读存储介质,利用回归告警模型对当前波形数据进行告警监测,在训练回归告警模型时,将专家知识和波形数据自身的数据规律进行了融合,系统可以接受不严格的断言,降低了系统输入要求;行业专家不需要彻底的了解整个系统,就可以设计一些专家知识来启动系统,减少了启动前准备,缩短了系统开发耗时。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种告警监测方法的流程示意图;
图2为本发明实施例提供的一种告警监测方法中回归告警模型训练的流程图;
图3为本发明实施例提供的另一种告警监测方法的流程示意图;
图4为本发明实施例提供的一种告警监测系统的结构示意图;
图5为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
目前基于波形数据的告警监测系统所采用的告警监测方案,需要依赖人工标注或专家经验,因此系统输入要求较高,导致系统开发耗时较长。基于此,本发明实施例提供的一种告警监测方法、系统、电子设备及计算机可读存储介质,可以降低系统输入要求,缩短系统开发耗时。
为便于对本实施例进行理解,首先对本发明实施例所公开的一种告警监测方法进行详细介绍。
本发明实施例提供了一种告警监测方法,该方法适用于对任意行业的波形数据进行告警监测,该波形数据可以是按时序排列的监测数据。该方法可以由具有数据处理能力的电子设备执行,例如该电子设备为手机、笔记本电脑、台式电脑、平板电脑或车载电脑等。
参见图1所示的一种告警监测方法的流程示意图,该方法主要包括如下步骤S102~步骤S104:
步骤S102,获取当前波形数据,当前波形数据为按时序排列的当前监测数据。
当前波形数据可以为任意类型的连续监测数据,即每个时间点都有一个监测数值,例如该当前波形数据包括用电状况数据、银行系统使用率数据、内存占用率数据或安全健康检测数据等。
步骤S104,根据当前波形数据和训练后的回归告警模型,确定目标告警结果;其中,回归告警模型是基于由第一波形数据和第二波形数据融合后的合成波形数据训练得到的,第一波形数据是利用专家知识和历史波形数据构建得到的,专家知识包括经验阈值,第二波形数据是通过对历史波形数据进行滤波处理得到的。
上述目标告警结果可以包括与当前波形数据中存在异常的各段波形数据一一对应的告警项。在一种可能的实现方式中,步骤S104的具体过程可以如下:将当前波形数据输入回归告警模型,得到回归告警模型输出的第一告警结果;将第一告警结果确定为目标告警结果。
在一种可选地实现方式中,回归告警模型包括线性回归模型、残差神经网络模型和阈值规则,通过将当前波形数据输入回归告警模型,得到第一告警结果的具体过程如下:
将当前波形数据输入线性回归模型,得到线性回归模型预测的当前基波波形数据;将当前波形数据输入残差神经网络模型,得到残差神经网络模型预测的当前残差波形数据;将当前基波波形数据加上当前残差波形数据,得到当前预测波形数据;将当前波形数据减去当前预测波形数据,得到当前波形偏差;根据阈值规则,对当前波形偏差进行越界告警操作,得到第一告警结果。
本发明实施例提供的告警监测方法中,由于回归告警模型是基于由第一波形数据和第二波形数据融合后的合成波形数据训练得到的,第一波形数据是利用专家知识和历史波形数据构建得到的,专家知识包括经验阈值,第二波形数据是通过对历史波形数据进行滤波处理得到的,第二波形数据携带有波形数据自身的数据规律,因此,该方法将专家知识和波形数据自身的数据规律进行了融合,而经验阈值不是绝对的,主要反映的是趋势,因此系统可以接受不严格的断言,降低了系统输入要求;输入要求的降低,使得行业专家不需要彻底的了解整个系统,就可以设计一些规则(专家知识)来启动系统,减少了启动前准备,缩短了系统开发耗时;输入要求的降低,还使得更多的人员可以参与开发和维护,加快了迭代速度;由于有专家知识,所以比无监督的时序模型学习得更快,减少了从启动到用户可用的时间间隔。
在另一种可能的实现方式中,为了提高告警结果的准确性,还可以基于专家标注和历史波形数据,训练得到二分类告警模型。在此基础上,步骤S104的具体过程可以如下:将当前波形数据分别输入回归告警模型和二分类告警模型,得到回归告警模型输出的第一告警结果和二分类告警模型输出的第二告警结果;对将第一告警结果和第二告警结果进行告警项汇总,得到标告警结果。这里的告警项汇总指将第一告警结果和第二告警结果中的告警项合并在一起,并去除重复的告警项。二分类告警模型可以准确发现特殊的警告,能够对回归告警模型进行补充。
在另一种可能的实现方式中,为了满足用户的实际需求,突出用户关心的部分,可以基于用户标注,训练得到推荐模型,其中用户标注指用户对回归告警模型输出的告警项的标注,推荐模型的输入是告警项对应的告警波形数据,该告警波形数据为一段特定长度的波形数据,例如告警波形数据为3分钟的波形数据。在此基础上,步骤S104的具体过程可以如下:将当前波形数据输入回归告警模型,得到回归告警模型输出的第一告警结果;当第一告警结果包括至少一个第一告警项时,将该至少一个第一告警项对应的告警波形数据输入推荐模型,得到推荐模型输出的目标告警结果。需要说明的是,当第一告警结果为空时,可以直接确定目标告警结果为空。
在又一种可能的实现方式中,存在二分类告警模型和推荐模型,推荐模型训练时用到的用户标注指用户对回归告警模型和二分类告警模型二者输出的告警项的标注。在此基础上,步骤S104的具体过程可以如下:将当前波形数据分别输入回归告警模型和二分类告警模型,得到回归告警模型输出的第一告警结果和二分类告警模型输出的第二告警结果;对第一告警结果和第二告警结果进行告警项汇总,得到至少一个汇总告警项;将至少一个汇总告警项对应的告警波形数据输入推荐模型,得到推荐模型输出的目标告警结果。需要说明的是,当第一告警结果和第二告警结果均为空,即不存在汇总告警项时,可以直接确定目标告警结果为空。
为了便于理解,本发明实施例还提供了一种告警监测方法中回归告警模型的训练方法,参见图2所示的一种告警监测方法中回归告警模型训练的流程图,通过如下步骤进行回归告警模型的学习:
步骤S202,根据专家知识和历史波形数据,构建第一波形数据。
步骤S204,对历史波形数据进行滤波处理,得到第二波形数据。
步骤S206,对第一波形数据和第二波形数据进行波形融合,得到合成波形数据。
步骤S208,根据历史波形数据和合成波形数据,学习得到回归告警模型,该回归告警模型包括线性回归模型、残差神经网络模型和阈值规则。
上述二分类告警模型可以通过如下过程训练:根据专家标注和历史波形数据,构建第一训练样本;其中,专家标注包括专家强正标注和专家强反标注;根据第一训练样本,学习得到二分类告警模型。
上述推荐模型可以通过如下过程训练:获取用户标注和训练告警结果,用户标注包括用户强反标注和用户弱正标注,训练告警结果为回归告警模型输出的告警结果,或者训练告警结果为回归告警模型输出的告警结果和二分类告警模型输出的告警结果;根据用户标注和训练告警结果中的各个告警项对应的告警波形数据,构建第二训练样本;根据第二训练样本,学习得到推荐模型。
下面对上述回归告警模型、二分类告警模型和推荐模型三个模型的具体训练过程进行详细介绍。
上述三个模型均可以分为离线模型和在线模型,如下表1示出了离线模型和在线模型二者的作用、输入、输出和使用情况。
表1
1输入对象描述
1.1波形数据
波形数据为必要录入项,是模型学习和工作的最低标准,下表2示出了波形数据的具体内容:
表2
1.2标注数据
标注数据为可选录入项,用于提高模型预测准确性,下表3示出了标注数据的具体内容:
表3
1.3专家知识
专家知识包括经验阈值和滤波模型,还可以包括业务规范和经验惩罚项,业务规范和经验惩罚项为可选录入项。专家知识用于提高模型的收敛速度,尽可能提高模型的学习速度以及避免其向错误方向学习。下表4示出了专家知识的具体内容:
表4
2离线模型训练
2.1回归告警模型训练
2.1.1第一波形数据构建
首先,根据专家规则模型,对专家正标注和历史波形数据进行筛选标注操作,得到扩展后的正标注,其中,专家规则模型由专家知识生成,专家正标注为可选项,专家正标注包括上述的专家强正标注和专家强反标注;然后,根据扩展后的正标注,对历史波形数据进行裁剪,得到存在空缺的历史波形数据;当尚未生成滤波模型(即下述2.1.2中的自编码模型)时,对存在空缺的历史波形数据进行插值平滑处理(用于补充缺口),得到平滑后的历史波形数据,并将平滑后的历史波形数据作为第一波形数据;当已生成滤波模型时,根据自编码模型对存在空缺的历史波形数据进行数据补充,得到第一波形数据。
需要说明的是,由于告警波形远小于1%,裁剪波形并不会影响学习,只是样本预处理上在基波生成和残差生成两个不同的场景需要使用不同的方法。
2.1.2第二波形数据构建
首先,根据诸如卡尔曼等经典滤波模型和专家知识,对历史波形数据进行滤波处理,得到简易滤波波形数据;然后,对简易滤波波形数据中的一组波形数据进行窗口化处理,得到一堆简易滤波波形样本;之后,对一堆简易滤波波形样本进行学习,得到自编码模型;最后,将历史波形数据输入自编码模型中进行波形预测,得到算法滤波后的波形数据,并将该算法滤波后的波形数据作为第二波形数据。
需要说明的是,与样本相比,自编码模型的体积小得多,导致使用自编码模型有两个优点:①节省计算和存储资源②为了在尽可能小的空间里面记录尽可能多的数据,自编码模型会优先记录最重要的特性(特征突出和反复出现的模式),相当于对数据进行一次清洗,消除了部分噪音。
本发明实施例并不限于自编码模型,在另一些可能的实施例中,为了在构建样本训练模型的同时,方便专家和用户在项目早期阶段对可能的数据和业务逻辑进行总结扩展,提高学习效率,可以采用诸如对抗网络模型等的自监督模型。具体地,当采样单独训练时,可以根据上述一堆简易滤波波形样本,学习得到对抗网络模型;当采样联合训练时,可以根据上述一堆简易滤波波形样本,联合学习得到对抗网络模型和自编码模型;之后,可以通过随机种子和对抗网络模型,生成第二波形数据。
2.1.3波形融合
首先,对历史波形数据进行窗口平移一个时钟周期,可以得到下一时刻的真实波形数据;根据第一波形数据、第二波形数据、下一时刻的真实波形数据和融合关系公式,学习得到融合参数P、Q,其中融合关系公式为:第一波形数据*P+第二波形数据*Q=下一时刻的真实波形数据;然后,根据第一波形数据、第二波形数据和融合参数P、Q,得到合成波形数据。
2.1.4回归告警模型学习
首先,根据历史波形数据和合成波形数据,学习得到线性回归模型;然后,根据线性回归模型,对历史波形数据进行预测,得到基波波形数据;将下一时刻的真实波形数据减去基波波形数据,得到残差波形数据;对残差波形数据进行滤波处理,得到平滑残差波形数据;根据历史波形数据和平滑残差波形数据,学习得到残差神经网络模型;最后,根据残差神经网络模型,对历史波形数据进行预测,得到最终的残差预测波形数据;最终的残差预测波形数据加上基波波形数据,得到最终预测波形数据;真实输入波形数据减去最终预测波形数据,得到预测偏差;对预测偏差进行统计,得到阈值规则。后续即可根据该阈值规则,对真实输入波形数据对应的预测偏差进行越界告警操作,得到第一告警结果。
上述线性回归模型也是在线模块基线生成模型,残差神经网络模型也是在线模块残差生成模型。其中,残差神经网络模型用于提高预测精度,解决细粒度回归告警准确性的问题。残差神经网络模型捕获的是瞬时的态,对于监测粒度小(需要告警对应数据时间窗口越小,监测粒度越小)的应用场景是必要的。上述阈值规则用于提高整个模型判断的准确程度。
需要说明的是,线性回归模型可以替换为神经网络模型。模型线性回归模型比较稳定好调,可以用在前期上线时;后期可以采用诸如CNN(Convolutional NeuralNetworks,卷积神经网络)模型,该模型的效果更好。
2.2二分类告警模型训练
基于二分类1-0的二分类告警模型可以通过如下过程训练:首先,对专家强正标注、专家强反标注和历史波形数据进行分段采样处理,来构建第一训练样本;根据构建的第一训练样本,学习得到二分类告警模型。之后即可根据该二分类告警模型,对真实输入波形数据进行预测,得到第二告警结果。
2.3推荐模型训练
首先,对用户标注和相应的告警波形数据进行时间轴拼接,得到事件时间序列;然后,对事件时间序列进行分段采样,得到构建的第一训练样本;根据构建的第一训练样本,学习得到推荐模型,该推荐模型可以采样逻辑回归模型。之后即可根据该推荐模型,对告警项对应的告警波形数据进行预测,得到展示给用户的告警结果。
需要说明的是,推荐模型学习中的逻辑回归模型可以替换成其它的非强模型的推荐类型算法,这是因为强模型会陷入自增强导致用户只能看到自己筛选后的结果,从而漏掉故障预兆。
2.4训练样本的构建策略
2.4.1增强循环
增强循环指学习对象除了原始的历史波形数据外,还可以利用训练的数据模型构建新的训练集,循环地训练数据模型,用描述错误的规则对各种数据进行标记,通过模型学习干净正确的波形数据来学习正确波形数据的特点。
具体过程可以如下:对历史波形数据进行处理,得到干净的历史波形数据;根据干净的历史波形数据,学习得到数据模型;根据数据模型,得到生成数据;对生成数据进行处理,得到干净的生成数据;根据干净的生成数据,对数据模型进行更新,得到更新后的数据模型。这里的数据模型可以是上述的自编码模型,也可以是联合训练生成的对抗网络模型,还可以是一个单独训练生成的对抗网络模型。
2.4.2根据对错误预测的修正,构建新的训练样本
简单说就是通过专家反馈调整数据,进而通过训练来更新模型。具体地,对专家强反标注和历史波形数据进行筛选裁剪处理,得到存在空缺的历史波形数据;通过数据模型对存在空缺的历史波形数据进行补充,得到部分生成待学习的数据。
需要说明的是,为了提高模型的迁移能力,用于提供知识的数据专家是行业专家而不是被监测对象的场景专家,专家提供的指标和方法正确,但不够准确,通过样本来带入可以更好的利用数据本身特性进行补充;另外,采用样本而不是直接通过对模型进行加工,降低了实施和现场用户的要求,允许他们参与模型上线,从而可以缩短整个工期。
为了便于理解上述告警监测方法的整个过程,参见图3所示的另一种告警监测方法的流程示意图,在离线学习侧,首先判断是否有专家标注;当有专家标注时,进行二分类告警模型学习,并输出学习后的二分类告警模型,二分类告警模型学习后再进行回归告警模型学习,并输出学习后的回归告警模型;当没有专家标注时,进行回归告警模型学习,并输出学习后的回归告警模型;在回归告警模型学习后,判断是否有用户标注;当有用户标注时,进行推荐模型学习(推荐模型的输入来自于回归告警模型的输出,或者来自于二分类告警模型的输出和回归告警模型的输出),并输出学习后的推荐模型,推荐模型学习后本次学习结束;当没有用户标注时,本次学习结束。
如图3所示,在在线告警侧,首先判断是否存在二分类告警模型;当存在二分类告警模型时,利用离线学习侧学习后的二分类告警模型进行告警操作,之后利用离线学习侧学习后的回归告警模型进行告警操作;当不存在二分类告警模型时,直接利用离线学习侧学习后的回归告警模型进行告警操作;专家可以对告警结果进行专家反馈,该专家反馈用于生成专家标注,以供离线学习侧进行二分类告警模型学习;之后判断是否存在推荐模型;当存在推荐模型时,利用离线学习侧学习后的推荐模型进行推荐展示,之后输出告警项;当不存在推荐模型时,直接输出告警项;用户可以对告警项进行用户反馈,该用户反馈用于生成用户标注,以供离线学习侧进行推荐模型学习,本次预测结束。
需要说明的是,在线告警侧是逐段输入,逐段预测告警的;离线学习侧的二分类告警模型学习与回归告警模型学习无先后顺序,在线告警侧的二分类告警模型告警与回归告警模型告警也无先后顺序。
综上,本发明实施例提供的告警监测方法具有如下有益效果:
①将专家知识和波形数据自身的数据规律进行了融合,降低了系统输入要求;②输入要求的降低,缩短了系统开发耗时;③输入要求的降低,还加快了迭代速度;④有专家知识,比无监督的时序模型学习得更快,减少了从启动到用户可用的时间间隔;⑤提供用户反馈,更容易观察和修正,缩短了验收周期;⑥将专家标注和用户标注分离解耦,用户的个人喜好不会干扰整个模型的学习,同时突出用户关心的部分,更加满足用户的需求;⑦压缩了开发时间,节省了各方面的费用。
对应于上述的告警监测方法,本发明实施例还提供了一种告警监测系统,参见图4所示的一种告警监测系统的结构示意图,该告警监测系统包括:
获取模块42,用于获取当前波形数据,当前波形数据为按时序排列的当前监测数据;
确定模块44,用于根据当前波形数据和训练后的回归告警模型,确定目标告警结果;其中,回归告警模型是基于由第一波形数据和第二波形数据融合后的合成波形数据训练得到的,第一波形数据是利用专家知识和历史波形数据构建得到的,专家知识包括经验阈值,第二波形数据是通过对历史波形数据进行滤波处理得到的。
本发明实施例提供的告警监测系统,利用回归告警模型对当前波形数据进行告警监测,在训练回归告警模型时,将专家知识和波形数据自身的数据规律进行了融合,系统可以接受不严格的断言,降低了系统输入要求;行业专家不需要彻底的了解整个系统,就可以设计一些专家知识来启动系统,减少了启动前准备,缩短了系统开发耗时。
进一步地,上述确定模块44具体用于:将当前波形数据输入回归告警模型,得到回归告警模型输出的第一告警结果;根据第一告警结果,确定目标告警结果。
进一步地,上述确定模块44还用于:当存在二分类告警模型时,将当前波形数据输入二分类告警模型,得到二分类告警模型输出的第二告警结果,并根据第一告警结果和第二告警结果,确定目标告警结果;其中,二分类告警模型是基于专家标注和历史波形数据训练得到的;
当不存在二分类告警模型,第一告警结果包括至少一个第一告警项,且存在推荐模型时,将至少一个第一告警项对应的告警波形数据输入推荐模型,得到推荐模型输出的目标告警结果;其中,推荐模型是基于用户标注训练得到的。
进一步地,上述确定模块44还用于:对第一告警结果和第二告警结果进行告警项汇总,得到至少一个汇总告警项;当存在推荐模型时,将至少一个汇总告警项对应的告警波形数据输入推荐模型,得到推荐模型输出的目标告警结果。
进一步地,上述告警监测系统还包括与确定模块44连接的训练模块,训练模块用于根据专家知识和历史波形数据,构建第一波形数据;对历史波形数据进行滤波处理,得到第二波形数据;对第一波形数据和第二波形数据进行波形融合,得到合成波形数据;根据历史波形数据和合成波形数据,学习得到回归告警模型,回归告警模型包括线性回归模型、残差神经网络模型和阈值规则。
进一步地,上述训练模块还用于:根据专家标注和历史波形数据,构建第一训练样本;其中,专家标注包括专家强正标注和专家强反标注;根据第一训练样本,学习得到二分类告警模型。
进一步地,上述训练模块还用于:获取用户标注和回归告警模型输出的训练告警结果,用户标注包括用户强反标注和用户弱正标注;根据用户标注和训练告警结果中的各个告警项对应的告警波形数据,构建第二训练样本;根据第二训练样本,学习得到推荐模型。
本实施例所提供的告警监测系统,其实现原理及产生的技术效果和前述告警监测方法实施例相同,为简要描述,告警监测系统实施例部分未提及之处,可参考前述告警监测方法实施例中相应内容。
参见图5,本发明实施例还提供一种电子设备100,包括:处理器50,存储器51,总线52和通信接口53,所述处理器50、通信接口53和存储器51通过总线52连接;处理器50用于执行存储器51中存储的可执行模块,例如计算机程序。
其中,存储器51可能包含随机存取存储器(Random Access Memory,简称RAM),也可能还包括非易失性存储器(non-volatile memory,简称NVM),例如至少一个磁盘存储器。通过至少一个通信接口53(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接,可以使用互联网,广域网,本地网,城域网等。
总线52可以是工业标准体系结构(Industry Standard Architecture,简称ISA)总线、外设部件互连标准(Peripheral Component Interconnect,简称PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture,简称EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图5中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
其中,存储器51用于存储程序,所述处理器50在接收到执行指令后,执行所述程序,前述本发明实施例任一实施例揭示的流程定义的装置所执行的方法可以应用于处理器50中,或者由处理器50实现。
处理器50可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器50中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器50可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital SignalProcessing,简称DSP)、专用集成电路(Application Specific Integrated Circuit,简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器51,处理器50读取存储器51中的信息,结合其硬件完成上述方法的步骤。
本发明实施例还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行前面方法实施例中所述的告警监测方法。该计算机可读存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,简称ROM)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
在这里示出和描述的所有示例中,任何具体值应被解释为仅仅是示例性的,而不是作为限制,因此,示例性实施例的其他示例可以具有不同的值。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统和方法,可以通过其它的方式实现。以上所描述的系统实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种告警监测方法,其特征在于,包括:
获取当前波形数据,所述当前波形数据为按时序排列的当前监测数据;
根据所述当前波形数据和训练后的回归告警模型,确定目标告警结果;其中,所述回归告警模型是基于由第一波形数据和第二波形数据融合后的合成波形数据训练得到的,所述第一波形数据是利用专家知识和历史波形数据构建得到的,所述专家知识包括经验阈值,所述第二波形数据是通过对所述历史波形数据进行滤波处理得到的;
其中,所述第一波形数据是通过如下方式得到的:根据专家规则模型,对专家正标注和所述历史波形数据进行筛选标注操作,得到扩展后的正标注,其中,所述专家规则模型由所述专家知识生成;根据所述扩展后的正标注,对所述历史波形数据进行裁剪,得到存在空缺的历史波形数据;对所述存在空缺的历史波形数据进行数据补充,得到所述第一波形数据;
所述合成波形数据是通过如下方式得到的:对所述历史波形数据进行窗口平移一个时钟周期,得到下一时刻的真实波形数据;根据所述第一波形数据、所述第二波形数据、所述下一时刻的真实波形数据和融合关系公式,学习得到融合参数P、Q,其中所述融合关系公式为:第一波形数据*P+第二波形数据*Q=下一时刻的真实波形数据;根据所述第一波形数据、所述第二波形数据和所述融合参数P、Q,得到所述合成波形数据;
所述回归告警模型是基于所述历史波形数据和所述合成波形数据学习得到的。
2.根据权利要求1所述的告警监测方法,其特征在于,所述根据所述当前波形数据和训练后的回归告警模型,确定目标告警结果,包括:
将所述当前波形数据输入所述回归告警模型,得到所述回归告警模型输出的第一告警结果;
根据所述第一告警结果,确定目标告警结果。
3.根据权利要求2所述的告警监测方法,其特征在于,所述根据所述第一告警结果,确定目标告警结果,还包括:
当存在二分类告警模型时,将所述当前波形数据输入所述二分类告警模型,得到所述二分类告警模型输出的第二告警结果,并根据所述第一告警结果和所述第二告警结果,确定目标告警结果;其中,所述二分类告警模型是基于专家标注和所述历史波形数据训练得到的;
当不存在二分类告警模型,所述第一告警结果包括至少一个第一告警项,且存在推荐模型时,将所述至少一个第一告警项对应的告警波形数据输入所述推荐模型,得到所述推荐模型输出的目标告警结果;其中,所述推荐模型是基于用户标注训练得到的。
4.根据权利要求3所述的告警监测方法,其特征在于,所述根据所述第一告警结果和所述第二告警结果,确定目标告警结果,包括:
对所述第一告警结果和所述第二告警结果进行告警项汇总,得到至少一个汇总告警项;
当存在所述推荐模型时,将所述至少一个汇总告警项对应的告警波形数据输入所述推荐模型,得到所述推荐模型输出的目标告警结果。
5.根据权利要求1所述的告警监测方法,其特征在于,所述方法还包括:
根据所述专家知识和所述历史波形数据,构建第一波形数据;
对所述历史波形数据进行滤波处理,得到第二波形数据;
对所述第一波形数据和所述第二波形数据进行波形融合,得到合成波形数据;
根据所述历史波形数据和所述合成波形数据,学习得到所述回归告警模型,所述回归告警模型包括线性回归模型、残差神经网络模型和阈值规则。
6.根据权利要求3所述的告警监测方法,其特征在于,所述方法还包括:
根据所述专家标注和所述历史波形数据,构建第一训练样本;其中,所述专家标注包括专家强正标注和专家强反标注;
根据所述第一训练样本,学习得到所述二分类告警模型。
7.根据权利要求3所述的告警监测方法,其特征在于,所述方法还包括:
获取所述用户标注和所述回归告警模型输出的训练告警结果,所述用户标注包括用户强反标注和用户弱正标注;
根据所述用户标注和所述训练告警结果中的各个告警项对应的告警波形数据,构建第二训练样本;
根据所述第二训练样本,学习得到所述推荐模型。
8.一种告警监测系统,其特征在于,包括:
获取模块,用于获取当前波形数据,所述当前波形数据为按时序排列的当前监测数据;
确定模块,用于根据所述当前波形数据和训练后的回归告警模型,确定目标告警结果;其中,所述回归告警模型是基于由第一波形数据和第二波形数据融合后的合成波形数据训练得到的,所述第一波形数据是利用专家知识和历史波形数据构建得到的,所述专家知识包括经验阈值,所述第二波形数据是通过对所述历史波形数据进行滤波处理得到的;
其中,所述第一波形数据是通过如下方式得到的:根据专家规则模型,对专家正标注和所述历史波形数据进行筛选标注操作,得到扩展后的正标注,其中,所述专家规则模型由所述专家知识生成;根据所述扩展后的正标注,对所述历史波形数据进行裁剪,得到存在空缺的历史波形数据;对所述存在空缺的历史波形数据进行数据补充,得到所述第一波形数据;
所述合成波形数据是通过如下方式得到的:对所述历史波形数据进行窗口平移一个时钟周期,得到下一时刻的真实波形数据;根据所述第一波形数据、所述第二波形数据、所述下一时刻的真实波形数据和融合关系公式,学习得到融合参数P、Q,其中所述融合关系公式为:第一波形数据*P+第二波形数据*Q=下一时刻的真实波形数据;根据所述第一波形数据、所述第二波形数据和所述融合参数P、Q,得到所述合成波形数据;
所述回归告警模型是基于所述历史波形数据和所述合成波形数据学习得到的。
9.一种电子设备,包括存储器、处理器,所述存储器中存储有可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器运行时执行权利要求1-7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110797116.2A CN113448807B (zh) | 2021-07-14 | 2021-07-14 | 告警监测方法、系统、电子设备及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110797116.2A CN113448807B (zh) | 2021-07-14 | 2021-07-14 | 告警监测方法、系统、电子设备及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113448807A CN113448807A (zh) | 2021-09-28 |
CN113448807B true CN113448807B (zh) | 2024-02-23 |
Family
ID=77816404
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110797116.2A Active CN113448807B (zh) | 2021-07-14 | 2021-07-14 | 告警监测方法、系统、电子设备及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113448807B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114611715B (zh) * | 2022-05-12 | 2022-08-23 | 之江实验室 | 基于标注者可靠度时序建模的众包主动学习方法和装置 |
CN114896124B (zh) * | 2022-05-16 | 2024-08-20 | 华能澜沧江水电股份有限公司 | 一种基于时序分解进行告警监测的系统 |
CN116302897B (zh) * | 2023-05-15 | 2023-10-17 | 合肥联宝信息技术有限公司 | 一种数据集的建立方法、装置、电子设备及存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112803592A (zh) * | 2021-01-13 | 2021-05-14 | 广东省电力开发有限公司 | 一种适用于分布式电站的智能故障预警方法及系统 |
-
2021
- 2021-07-14 CN CN202110797116.2A patent/CN113448807B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112803592A (zh) * | 2021-01-13 | 2021-05-14 | 广东省电力开发有限公司 | 一种适用于分布式电站的智能故障预警方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN113448807A (zh) | 2021-09-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113448807B (zh) | 告警监测方法、系统、电子设备及计算机可读存储介质 | |
Schlegel et al. | Towards a rigorous evaluation of XAI methods on time series | |
CN107844567B (zh) | 一种业务经验包推荐系统和方法 | |
CN112069795B (zh) | 基于掩码语言模型的语料检测方法、装置、设备及介质 | |
CN110211119B (zh) | 图像质量评估方法、装置、电子设备及可读存储介质 | |
Stanula et al. | Machine learning algorithms in production: A guideline for efficient data source selection | |
CN110658905B (zh) | 设备运行状态的预警方法、预警系统及预警装置 | |
CN116500411A (zh) | 一种电机故障检测方法及装置 | |
CN109978261A (zh) | 确定负荷预测模型的方法、装置、可读介质及电子设备 | |
CN113313280B (zh) | 云平台的巡检方法、电子设备及非易失性存储介质 | |
CN112070180B (zh) | 基于信息物理双侧数据的电网设备状态判断方法及装置 | |
CN113805548A (zh) | 一种机械加工智能控制系统、方法及计算机可读介质 | |
CN115827888A (zh) | 一种复杂设备的故障预测方法 | |
CN117041017A (zh) | 数据中心的智能运维管理方法及系统 | |
CN115794578A (zh) | 一种电力系统的数据管理方法、装置、设备及介质 | |
CN116310914A (zh) | 基于人工智能的无人机监控方法及系统 | |
CN111859988A (zh) | 一种语义相似度评价方法、装置和计算机可读存储介质 | |
CN117591860A (zh) | 一种数据异常检测方法及装置 | |
Sampedro et al. | Fused deposition modeling 3d printing fault diagnosis using temporal convolutional network | |
CN114047710A (zh) | 智能家居数据分析方法、装置、终端设备以及存储介质 | |
CN107121616B (zh) | 一种用于对智能仪表进行故障定位的方法和装置 | |
CN116798053A (zh) | 图标生成方法及装置 | |
CN111352820A (zh) | 一种高性能应用运行状态预测和监控方法、设备和装置 | |
CN116526670A (zh) | 面向电力大数据可视化的信息融合方法 | |
Deng et al. | A method for reliability detection of automated guided vehicle based on timed automata |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |