CN114338435A - 网络变更监控方法、装置、计算机设备和存储介质 - Google Patents
网络变更监控方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN114338435A CN114338435A CN202011014321.9A CN202011014321A CN114338435A CN 114338435 A CN114338435 A CN 114338435A CN 202011014321 A CN202011014321 A CN 202011014321A CN 114338435 A CN114338435 A CN 114338435A
- Authority
- CN
- China
- Prior art keywords
- alarm
- information
- target
- network change
- alarm information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008859 change Effects 0.000 title claims abstract description 288
- 238000012544 monitoring process Methods 0.000 title claims abstract description 88
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000004590 computer program Methods 0.000 claims description 15
- 238000012163 sequencing technique Methods 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 10
- 238000012216 screening Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 3
- 238000012806 monitoring device Methods 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000005856 abnormality Effects 0.000 description 8
- 230000004075 alteration Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000010276 construction Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 125000003275 alpha amino acid group Chemical group 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000012502 risk assessment Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Abstract
本申请涉及监控技术领域,提供了一种网络变更监控方法、装置、计算机设备和存储介质。方法包括:获取待处理告警信息和网络变更信息,根据预先配置的匹配数据类型,提取待处理告警信息中的第一待匹配数据以及网络变更信息中的第二待匹配数据,将第一待匹配数据与第二待匹配数据进行匹配,得到匹配成功的目标告警信息、以及与目标告警信息对应的目标网络变更信息,将目标告警信息推送至目标网络变更信息对应的变更操作终端。利用现有的待处理告警信息和网络变更信息进行匹配的方式,无需为每个网络变更配置需要关联的告警,持续新增的告警信息能够通过匹配自动加入到网络变更的监控,实现全面的网络变更监控。
Description
技术领域
本申请涉及监控技术领域,特别是涉及一种网络变更监控方法、装置、计算机设备和存储介质。
背景技术
近年来,云计算发展越来越快,庞大的云计算网络经常需要对各种角色的网络设备做软硬件的更新,一旦网络变更失败不符合预期,将导致云上的业务受损。
目前大多数网络变更都依赖预先的风险评估,通过对变更影响的评估提前配置探测脚本,在网络设备的变更实施期间运行探测脚本实施监控变更质量。但是这种方式,需要变更实施人即用户在变更前及变更期间做大量的监控相关工作,任何一个变更配置错误,可能会导致该变更监控缺失,导致无法发现变更的异常,而且,网络变更可能会导致无法提前预估的异常影响,提前配置的告警,可能会无法发现预期外的异常,丧失某个维度的监控能力,从而无法实现全面的网络变更监控。
发明内容
基于此,有必要针对上述技术问题,提供一种能够实现全面的网络变更监控的网络变更监控方法、装置、计算机设备和存储介质。
一种网络变更监控方法,其特征在于,方法包括:
获取待处理告警信息和网络变更信息;
根据预先配置的匹配数据类型,提取待处理告警信息中的第一待匹配数据以及网络变更信息中的第二待匹配数据;
将第一待匹配数据与第二待匹配数据进行匹配,得到匹配成功的目标告警信息、以及与目标告警信息对应的目标网络变更信息;
将目标告警信息推送至目标网络变更信息对应的变更操作终端。
一种网络变更监控装置,装置包括:
信息获取模块,用于获取待处理告警信息和网络变更信息;
信息提取模块,用于根据预先配置的匹配数据类型,提取待处理告警信息中的第一待匹配数据以及网络变更信息中的第二待匹配数据;
信息匹配模块,用于将第一待匹配数据与第二待匹配数据进行匹配,得到匹配成功的目标告警信息、以及与目标告警信息对应的目标网络变更信息;
告警推送模块,用于将目标告警信息推送至目标网络变更信息对应的变更操作终端。
一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现以下步骤:
获取待处理告警信息和网络变更信息;
根据预先配置的匹配数据类型,提取待处理告警信息中的第一待匹配数据以及网络变更信息中的第二待匹配数据;
将第一待匹配数据与第二待匹配数据进行匹配,得到匹配成功的目标告警信息、以及与目标告警信息对应的目标网络变更信息;
将目标告警信息推送至目标网络变更信息对应的变更操作终端。
一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取待处理告警信息和网络变更信息;
根据预先配置的匹配数据类型,提取待处理告警信息中的第一待匹配数据以及网络变更信息中的第二待匹配数据;
将第一待匹配数据与第二待匹配数据进行匹配,得到匹配成功的目标告警信息、以及与目标告警信息对应的目标网络变更信息;
将目标告警信息推送至目标网络变更信息对应的变更操作终端。
上述网络变更监控方法、装置、计算机设备和存储介质,通过获取待处理告警信息,通过获取待处理告警信息和网络变更信息,通过预先配置的匹配数据类型,分别提取待处理告警信息和网络变更信息的待匹配数据,实现告警信息和网络变更信息的精确匹配,通过将目标告警信息推送至目标网络变更信息对应的变更操作终端,实现告警数据的精准有效推送,使得用户得到网络变更对应的监控结果,有效地将告警信息和网络变更信息进行了融合,利用现有的待处理告警信息和网络变更信息进行匹配的方式,无需为每个网络变更配置需要关联的告警,持续新增的告警信息能够通过匹配自动加入到网络变更的监控,实现全面的网络变更监控。
附图说明
图1为一个实施例中网络变更监控方法的应用环境图;
图2为一个实施例中网络变更监控方法的流程示意图;
图3为另一个实施例中网络变更监控方法的流程示意图;
图4为再一个实施例中网络变更监控方法的流程示意图;
图5为由一个实施例中网络变更监控方法的流程示意图;
图6为一个实施例中网络变更监控方法中的告警池的可添加告警类型集构建流程示意图;
图7为一个实施例中网络变更监控方法中确定告警类型对应的优先级的流程示意图;
图8为另一个实施例中网络变更监控方法中确定告警类型对应的优先级的流程示意图;
图9为再一个实施例中网络变更监控方法的流程示意图;
图10为一个实施例中网络变更监控方法的流程框架图;
图11为一个实施例中网络变更监控方法中基于告警池反向监控网络变更的实现流程示意图;
图12为还一个实施例中网络变更监控方法的流程示意图;
图13为一个实施例中网络变更监控装置的结构框图;
图14为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的网络变更监控方法,可以应用于如图1所示的应用环境中。其中,告警监控系统106通过网络与服务器104进行通信,变更操作终端102通过网络与服务器104进行通信。服务器104接收告警监控系统106发送的待处理告警信息,并获取自行监控到的网络变更信息,服务器160根据预先配置的匹配数据类型,提取待处理告警信息中的第一待匹配数据以及网络变更信息中的第二待匹配数据;将第一待匹配数据与第二待匹配数据进行匹配,得到匹配成功的目标告警信息、以及与目标告警信息对应的目标网络变更信息;将目标告警信息推送至目标网络变更信息对应的变更操作终端102。其中,告警监控系统106和服务器104可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。变更操作终端102可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。终端、服务器以及告警监控系统可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
在一个实施例中,如图2所示,提供了一种网络变更监控方法,以该方法应用于图1中的服务器为例进行说明,包括以下步骤202至步骤208。
步骤202,获取待处理告警信息和网络变更信息。
告警信息是指对各个设备进行监控发现的设备异常信息。告警信息可以由集成有设备异常监控功能的服务器自身监控得到,也可以通过接收告警监控系统发送的告警信息得到。告警监控系统用于对各个设备进行异常监控,并将生成的告警信息发送至服务器。当设备存在异常时,告警监控系统或是集成有设备异常监控功能的服务器会根据异常生成对应的告警信息,告警信息包括告警时间、告警类型、告警对象、告警地域、告警内容等特征。
在实施例中,待处理告警信息可以是指服务器接收到的告警监控系统发送的告警信息,也可以是指集成有设备异常监控功能的服务器自身采集得到的告警信息,还可以是服务器基于预先配置的筛选规则,对接收或采集的告警信息进行筛选处理后得到的告警信息。进一步地,筛选规则可以是基于告警时间、告警类型、告警对象、告警内容中的一项数据或多项数据组合配置得到的规则。
网络变更是指对网络设备进行软硬件更新。一般需要对变更操作进行监控,一旦发现变更影响了现网正常业务,需要及时发现并做回滚操作,减少对现网的影响。网络变更信息是指对变更操作进行监控记录的信息。
在实施例中,服务器集成有对变更操作进行监控的功能,会实时监控并获取正在进行的网络变更信息。
步骤204,根据预先配置的匹配数据类型,提取待处理告警信息中的第一待匹配数据以及网络变更信息中的第二待匹配数据。
其中,匹配数据类型包括设备匹配和地域匹配中的至少一种。设备匹配是指将待处理告警信息中的告警对象对应的设备标识与网络变更信息中的变更操作对应的设备标识进行匹配。地域匹配是指将待处理告警信息中的告警地域与网络变更信息中的变更操作对应设备所在的地域进行匹配。
在实施例中,匹配数据类型可以是设备匹配,也可以是地域匹配,还可以是设备匹配与地域匹配的结合匹配方案,结合匹配方案中设备匹配与地域匹配具有不同的优先级,例如,可以先进行设备匹配再进行地域匹配。
进一步地,根据预先配置的匹配数据类型,可以有针对性地从待处理告警信息按数据类型提取出第一待匹配数据,并从网络变更信息按数据类型提取出第二待匹配数据,从而实现针对性地数据提取和信息匹配,提高信息匹配效率和匹配结果的准确率。
步骤206,将第一待匹配数据与第二待匹配数据进行匹配,得到匹配成功的目标告警信息、以及与目标告警信息对应的目标网络变更信息。
将第一待匹配数据与第二待匹配数据进行匹配,可以得到待处理告警信息和网络变更信息的匹配结果,匹配结果包括匹配成功的目标告警信息、以及与目标告警信息对应的目标网络变更信息。
其中,匹配成功是指基于预先配置的匹配数据类型,第一待匹配数据与第二待匹配数据相同的情况。若第一待匹配数据与第二待匹配数据存在不同,则匹配结果为匹配失败。
步骤208,将目标告警信息推送至目标网络变更信息对应的变更操作终端。
由于网络变更的监控实际上的作用是帮助变更实施人判断其对设备的变更操作是否会导致异常,服务器在确定了目标告警信息以及目标告警信息对应的目标网络变更信息之后,可以快速定位网络变更操作的操作实施人对应的变更操作终端,通过及时将目标告警信息推送至目标网络变更信息对应的变更操作终端,实现告警数据的精准及时推送,使得变更实施人通过变更操作终端能够及时得到网络变更对应的监控结果,便于基于告警信息有效地进行网络变更调整,将告警信息和网络变更信息进行了有效融合。
上述网络变更监控方法,通过获取待处理告警信息,通过获取待处理告警信息和网络变更信息,通过预先配置的匹配数据类型,分别提取待处理告警信息和网络变更信息的待匹配数据,实现告警信息和网络变更信息的精确匹配,通过将目标告警信息推送至目标网络变更信息对应的变更操作终端,实现告警数据的精准有效推送,使得用户得到网络变更对应的监控结果,有效地将告警信息和网络变更信息进行了融合,利用现有的待处理告警信息和网络变更信息进行匹配的方式,无需为每个网络变更配置需要关联的告警,持续新增的告警信息能够通过匹配自动加入到网络变更的监控,实现全面的网络变更监控。
在一个实施例中,如图3所示,获取待处理告警信息和网络变更信息,即步骤202包括步骤302至步骤306。
步骤302,获取初始告警信息以及预设时间范围内的网络变更信息;
步骤304,将初始告警信息添加至告警池;
步骤306,根据告警池中的时间滑动窗口和初始告警信息携带的告警时间,对告警池中的告警信息进行过滤,得到待处理告警信息。
其中,告警池的时间滑动窗口的时间范围与获取的网络变更信息的时间范围关联。具体来说,告警池的时间滑动窗口的时间范围与获取的网络变更信息的时间范围关联可以相同,例如都是当前时间节点往前3分钟内,也可以是告警池的时间滑动窗口的时间范围与获取的网络变更信息的时间范围存在重合、告警池的时间滑动窗口的时间范围包含获取的网络变更信息的时间范围,还可以是获取的网络变更信息的时间范围包含告警池的时间滑动窗口的时间范围。
在实施例中,服务器可以从监控记录数据中获取预设时间范围内的网络变更信息,并接收预设告警监控系统发送的初始告警信息。监控记录数据是指服务器中预先配置的用于记录网络变更信息的数据库的数据。
在实施例中,服务器将各个独立预设告警监控系统触发的告警统一接入到告警中心,告警中心实时将所有告警转发一份到告警池,告警池通过时间有效性及过滤规则维护当前需要记录的告警信息。
进一步地,告警池具有时间滑动窗口,能够针对时间信息,对告警信息进行过滤,超过时间滑动窗口的时间范围的告警信息将移出告警池。举例来说,时间滑动窗口设置有时间范围,例如3s或是5s等,时间滑动窗口对应的起止时间会随着当前实际时间的变化而变化,每一条告警信息的告警时间是确定的,当告警时间早于时间滑动窗口的最早时间,则时间滑动窗口会将该告警时间对应的告警信息过滤掉。
如图4所示,告警池通过时间滑动出口控制告警信息的进出,时间滑动窗口的时间范围为T,起始时间点为t0,终止时间点为t0-T,新接收到的告警信息会进入到告警池中,随着时间滑动窗口的起止时间的变化,当告警信息的告警时间处于[t0-T,t0]时,会将该告警信息保留在告警池中,当告警信息的告警时间早于t0-T时,会将该告警信息从告警池中移除。
在一个实施例中,如图5所示,将初始告警信息添加至告警池,即步骤304包括步骤502至步骤506。
步骤502,获取初始告警信息的告警类型和告警池的可添加告警类型集。
步骤504,根据可添加告警类型集,对初始告警信息进行过滤,得到允许添加的告警信息。
步骤506,将允许添加的告警信息添加至告警池。
告警池用于对告警信息进行筛选,除了基于时间滑动窗口对超出时间范围的告警信息进行移除之外,还可以基于各个告警类型的优先级,对告警信息进行过滤。
在实施例中,告警池配置有允许条件告警类型集,可添加告警类型集中包括优先级满足优先级要求的告警类型,需要说明的是,各个告警类型对应的告警准确率是会随着用户反馈的准确标识进行调整的,也就是说,可添加告警类型集中的告警类型不是固定的,而是会随着用户反馈的准确标识变化的。
服务器基于历史告警数据,可以计算出每一个告警类型对应的告警准确率,然后基于配置的准确率阈值,确定可添加告警类型集中的告警类型。当获取的初始告警信息的告警类型为可添加告警类型集中的告警类型时,将该告警信息添加至告警池中。
通过按数据类型的告警准确率对初始告警信息进行筛选,能够提高待处理告警数据的准确性,尽量减少误告警的发送,避免对资源浪费。
在一个实施例汇总,如图6所示,获取初始告警信息的告警类型和告警池的可添加告警类型集,还包括告警池的可添加告警类型集的构建过程,具体包括以下步骤602至步骤610。
步骤602,获取任一告警类型的历史告警信息。
步骤604,提取历史告警信息携带的网络变更匹配结果以及终端反馈标识,确定网络变更匹配结果为匹配成功的历史告警信息的数量、以及终端反馈标识为告警成功的历史告警信息的数量。
步骤606,根据匹配成功的历史告警信息的数量与告警成功的历史告警信息的数量的比值,得到告警类型对应的告警准确率。
步骤608,根据告警准确率,确定告警类型对应的优先级。
步骤610,根据优先级满足预设优先级要求的告警类型,构建得到告警池的可添加告警类型集。
历史告警信息是指已经通过与网络变更信息的匹配并发送至变更操作终端。在实施例中,服务器会将匹配成功的告警信息发送至变更操作终端,由变更操作终端进一步评估该告警信息是否是告警信息是否由该网络变更导致,如果评估结果为是,则变更操作终端会对该告警信息标记告警成功的终端反馈标识并反馈至服务器,如果评估结果为否,则变更操作终端会对该告警信息标记告警失败的终端反馈标识并反馈至服务器。
服务器在接收到变更操作终端反馈的携带有终端反馈标识的告警信息,将这些告警信息均为匹配成功的历史告警信息,也就是说,匹配成功的历史告警信息的数量包括告警成功的历史告警信息的数量与告警失败的历史告警信息的数量的总和。
基于匹配成功的历史告警信息的数量与告警成功的历史告警信息的数量的比值,得到告警类型对应的告警准确率。在实施例中,通过告警准确率的数值大小,对告警类型进行排序,以确定告警类型对应的优先级。然后通过确定优先级满足预设优先级要求的告警类型,构建得到告警池的可添加告警类型集,预设优先级要求可以是具体的优先级排序,例如有100个告警类型,可以将预设优先级要求设定为前50,前30等。
在实施例中,可以基于优先级为各个告警类型编号并确定预设优先级要求对应的目标编号,假设编号规则为优先级高的编号越小,则100个告警类型的从高到低为1-100,假设预设优先级要求对应的目标编号为50,则告警池的可添加告警类型集包括编号为1-50的告警类型。
在实施例中,如图7所示,根据告警准确率,确定告警类型对应的优先级,即步骤608包括步骤702至步骤708。
步骤702,根据告警准确率,对告警类型进行初次排序,得到初次排序结果。
步骤704,当初次排序结果中存在告警准确率相同的多个目标告警类型时,获取目标告警类型对应的出现频率。
步骤706,根据出现频率,对目标告警类型进行二次排序,得到二次排序结果。
步骤708,根据初次排序结果和二次排序结果,确定告警类型对应的优先级。
在实施例中,基于告警准确率对告警类型进行排序,可以得到各告警类型对应的优先级。但在排序过程中,存在多个告警类型对应的告警准确率相同的情况。此时,可以基于各个告警类型对应的出现频率进行二次排序,基于告警准确率和出现频率,综合二者可以从多角度实现更为精准的优先级排序,避免同一优先级出现多个告警类型的情况。
在一个实施例中,如图8所示,当初次排序结果中存在告警准确率相同的多个目标告警类型时,获取目标告警类型对应的出现频率,步骤704包括步骤802至步骤806。
步骤802,获取目标告警类型在预设历史时间段内的历史告警信息,预设历史时间段包括按相同的时间间隔划分得到的多个子时间段。
步骤804,根据历史告警信息的告警时间,确定出现历史告警信息的目标子时间段的数量。
步骤806,根据目标子时间段的数量与子时间段的数量的比值,得到目标告警类型对应的出现频率。
预设历史时间段可以是以当前时间为节点往前的时间段,例如,过去3天,过去一周或是过去10天等。时间间隔可以是1小时、2小时等,通过相同的时间间隔,将预设历史时间段划分为多个子时间段,例如将过去7天划分为7*24小时。
目标子时间段出现历史告警信息是指存在告警时间落在这个子时间段内的历史告警信息。需要说明的是,在目标子时间段内出现1条历史告警信息与出现多条历史告警信息,对出现历史告警信息的目标子时间段的数量没有影响,只要在子时间段内出现过历史告警信息,则可以认定为该子时间段为目标子时间段。通过计算目标子时间段的数量与划分得到的总子时间段的数量的比值,得到目标告警类型对应的出现频率。通过按时间段来计算目标告警类型的出现频率,可以与出现时间为参考依据,考虑该目标告警类型的优先级。
在一个实施例中,目标网络变更信息对应的目标告警信息的数量为多个。如图9所示,将目标告警信息推送至目标网络变更信息对应的变更操作终端,即步骤208包括步骤902至步骤906。
步骤902,获取目标网络变更信息对应的网络变更类型、以及网络变更类型与告警类型的关联数据。
步骤904,根据目标告警信息的告警类型以及关联数据的数值大小,对目标告警信息进行筛选。
步骤906,将筛选后的目标告警信息推送至目标网络变更信息对应的变更操作终端。
在实施例中,网络变更类型与告警类型的关联数据可以通过告警类型和网络变更类型的亲和性来表示。如下表所示,告警类型和网络变更类型的亲和性=准确关联次数/关联次数。在实施例中,告警类型和网络变更类型的亲和性越高,告警提醒级别更高。
当多条告警信息同时匹配命中同一个网络变更信息时,亲和性topN的告警信息将被发送至变更操作终端,通过网络变更类型与告警类型的关联数据即告警类型和网络变更类型的亲和性,实现对目标告警信息的进一步筛选。在实施例中,亲和性较低的表示该告警信息和网络变更类型的关联不大,可以自动解除网络变更类型与告警类型的关联关系。
本申请还提供一种应用场景,该应用场景应用上述的网络变更监控方法。具体地,该网络变更监控方法在该应用场景的应用如下:
如图10所示,提供了一种网络变更监控方法的流程框架图,利用告警池将实时产生的批量告警反向关联到触发异常的网络变更,通过告警池主动匹配变更实现监控,在网络变更结束后通过变更实施人打标反馈调整告警池匹配策略。有别于以往的一般做法,本申请中不需要在变更阶段做关联告警的配置操作,减少了人力的消耗;持续新增的告警监控能力能够自动加入到变更的监控;并且通过打标反馈的方式能够持续优化告警池关联变更的准确性。
具体地,将当前时间窗内的网络告警汇聚形成一个庞大的告警池;当告警池中同一时刻多个类型告警的告警数量突增,提取他们的时间、影响范围及内容,通过关联规则反向找到最可能触发异常的根因变更。该过程全自动化,且无需变更人员在每次变更前再做繁琐的告警配置。
进一步地,如图11所示,基于告警池反向监控网络变更的实现流程如下:
a)告警中心接收来自各个监控系统发送过来的告警信息,并将告警信息实时转发一份到告警池;
b)告警池通过时间滑动窗口获取每次需要参与统计计算的告警信息,结合告警质量信息表,对告警信息进行优先级排序;
c)排序topN的告警,按匹配策略和正在操作的网络变更进行匹配,匹配命中则向变更实施人发送该告警信息;
d)变更实施人通过告警内容判断该告警信息是否和当前变更有关,如有关则执行变更回滚等修复措施;
e)变更实施人对告警准确性打标,标注信息将调整告警池中告警质量信息表对应告警类型的优先级。
具体来说,告警池用于记录当前时间滑动窗口的告警信息,通过这些告警信息的匹配命中操作异常的网络变更。告警池初始时不设置过滤条件,告警中心收到所有类型的告警都会送往告警池,超过时间窗口的告警信息将从告警池中移除。进入告警池的每条告警都含告警时间、告警类型、告警对象、告警地域以及告警内容等特征值。
告警池维护以下统计变量:
a)每个告警类型出现频率和告警准确率。告警池持续评估各告警类型的告警准确率,准确率低于阈值的告警类型将被自动过滤不再进入告警池。
其中告警类型出现频率=过去七天每小时出现告警次数/7*24;告警准确率=告警成功次数/匹配成功次数。其中,告警成功由变更实施人打标确认,匹配成功基于匹配策略确定。告警池中的告警将按归属告警类型的出现频率及告警准确率排序,出现频率低及告警准确率高的告警类型告警将排在最高位,拥有更高的优先级匹配变更。
表1告警池自动更新的告警质量信息示例表
需要说明的是,上述告警池自动更新的告警质量信息中的优先级是基于告警类型的数量,从[0,1)中确定的取值,例如告警类型的数量为100,则优先级可用0-0.99表示,0.99表征其优先级最高,0表征其优先级最低。如,表1中的数值为0.08的优先级高于数值为0.06的优先级。
b)告警类型和网络变更类型的亲和性。如表2所示的几个例子,告警类型和变更类型的亲和性=告警类型和网络变更类型准确关联次数/告警类型和网络变更类型关联次数。当多条告警同时匹配命中同一个变更时,亲和性topN的告警将发送给变更实施人。亲和性低于设定阈值的表示该告警和变更关联不大,自动剔除。
表2告警池自动更新的告警类型和变更类型关联亲和性示例表
告警类型 | 变更类型 | 关联次数 | 准确关联次数 | 亲和性 |
xx流量告警 | 出口变更 | 20 | 15 | 0.75 |
xx调度告警 | 出口变更 | 11 | 8 | 0.73 |
xx抖动 | 出口变更 | 7 | 4 | 0.57 |
xx告警 | 出口变更 | 17 | 0 | 0 |
c)当前告警池告警总量。如果当前告警池告警总量突增,则判断可能存在严重突发变更异常导致触发大量告警。
d)当前每个地域的告警总量。告警总量突增的地域可能是由于该地域设备变更异常触发大量告警。
告警池将当前告警统计信息及拥有高匹配优先级的前N条告警发送到变更监控系统,变更监控系统将通过匹配条件与当前正在操作的变更做告警匹配,匹配中告警信息的变更将推送告警给变更实施人所在的变更操作终端,由变更实施人进一步评估该告警信息是否为网络变更影响。匹配条件如下:
1、提取正在操作的变更信息,变更需满足:正在进行网络变更操作或网络变更操作完成后不超过3分钟。不满足该时间要求的变更将不做考虑。
2、如多个地域告警量突增,则当前需匹配的变更全部触发多地域突增告警提示;变更涉及多地域的变更,发送相关告警提醒。
3、如某个地域告警量突增导致,则匹配命中涉及该地域的变更。
4、匹配命中变更的告警,通过告警类型和变更类型的亲和性,设置告警提醒级别并发送告警信息给变更操作终端。
变更操作终端通过告警信息进行准确性打标并发送至变更监控系统,变更监控系统调整告警类型与变更类型的匹配亲和性及告警池过滤规则。
匹配命中变更的告警,由变更实施人打标是否告警准确。如果标记为告警成功,将提升该告警信息对应告警类型的准确率,以及该告警类型和当前网络变更类型的亲和性。当准确率下降到低于设定阈值时,将该告警类型移出告警池的可添加告警类型集。告警类型和网络变更类型的亲和性越高,在匹配命中变更时优先触发将告警信息发送给变更操作终端,并且提醒级别更高。
通过上述处理,在网络变更监控过程中,无需为每个网络变更配置需要关联的告警,极大地减少人力维护成本,并且自动将新增告警项的监控能力利用到网络变更的监控,提高网络变更的监控全面性。
在实施例中,如图12所示,提供了一种网络变更监控方法,方法包括以下步骤:
步骤1202,获取任一告警类型的历史告警信息。
步骤1204,提取历史告警信息携带的网络变更匹配结果以及终端反馈标识,确定网络变更匹配结果为匹配成功的历史告警信息的数量、以及终端反馈标识为告警成功的历史告警信息的数量。
步骤1206,根据匹配成功的历史告警信息的数量与告警成功的历史告警信息的数量的比值,得到告警类型对应的告警准确率。
步骤1208,根据告警准确率,对告警类型进行初次排序,得到初次排序结果。
步骤1210,当初次排序结果中存在告警准确率相同的多个目标告警类型时,获取目标告警类型在预设历史时间段内的历史告警信息,预设历史时间段包括按相同的时间间隔划分得到的多个子时间段。
步骤1212,根据历史告警信息的告警时间,确定出现历史告警信息的目标子时间段的数量。
步骤1214,根据目标子时间段的数量与子时间段的数量的比值,得到目标告警类型对应的出现频率。
步骤1216,根据出现频率,对目标告警类型进行二次排序,得到二次排序结果。
步骤1218,根据初次排序结果和二次排序结果,确定告警类型对应的优先级。
步骤1220,根据优先级满足预设优先级要求的告警类型,构建得到告警池的可添加告警类型集。
步骤1222,获取初始告警信息以及预设时间范围内的网络变更信息。
步骤1224,根据可添加告警类型集和初始告警信息的告警类型,对初始告警信息进行过滤,得到允许添加的告警信息。
步骤1226,将允许添加的告警信息添加至告警池。
步骤1228,根据告警池中的时间滑动窗口和初始告警信息携带的告警时间,对告警池中的告警信息进行过滤,得到待处理告警信息。
步骤1230,根据预先配置的匹配数据类型,提取待处理告警信息中的第一待匹配数据以及网络变更信息中的第二待匹配数据。
步骤1232,将第一待匹配数据与第二待匹配数据进行匹配,得到匹配成功的目标告警信息、以及与目标告警信息对应的目标网络变更信息。
步骤1234,当目标网络变更信息对应的目标告警信息的数量为多个时。获取目标网络变更信息对应的网络变更类型、以及网络变更类型与告警类型的关联数据。
步骤1236,根据目标告警信息的告警类型以及关联数据的数值大小,对目标告警信息进行筛选。
步骤1238,将筛选后的目标告警信息推送至目标网络变更信息对应的变更操作终端。
应该理解的是,虽然上述各流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,上述各流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图13所示,提供了一种网络变更监控装置1300,该装置可以采用软件模块或硬件模块,或者是二者的结合成为计算机设备的一部分,该装置具体包括:信息获取模块1302、信息提取模块1304、信息匹配模块1306和告警推送模块1308,其中:
信息获取模块1302,用于获取待处理告警信息和网络变更信息。
信息提取模块1304,用于根据预先配置的匹配数据类型,提取待处理告警信息中的第一待匹配数据以及网络变更信息中的第二待匹配数据。
信息匹配模块1306,用于将第一待匹配数据与第二待匹配数据进行匹配,得到匹配成功的目标告警信息、以及与目标告警信息对应的目标网络变更信息。
告警推送模块1308,用于将目标告警信息推送至目标网络变更信息对应的变更操作终端。
在一个实施例中,信息获取模块还用于获取初始告警信息以及预设时间范围内的网络变更信息;将初始告警信息添加至告警池;根据告警池中的时间滑动窗口和初始告警信息携带的告警时间,对告警池中的告警信息进行过滤,得到待处理告警信息,其中,时间滑动窗口的时间范围与预设时间范围关联。
在一个实施例中,信息获取模块还用于获取初始告警信息的告警类型和告警池的可添加告警类型集;根据可添加告警类型集,对初始告警信息进行过滤,得到允许添加的告警信息;将允许添加的告警信息添加至告警池。
在一个实施例中,网络变更监控装置还包括可添加告警类型集构建模块,用于获取任一告警类型的历史告警信息;提取历史告警信息携带的网络变更匹配结果以及终端反馈标识,确定网络变更匹配结果为匹配成功的历史告警信息的数量、以及终端反馈标识为告警成功的历史告警信息的数量;根据匹配成功的历史告警信息的数量与告警成功的历史告警信息的数量的比值,得到告警类型对应的告警准确率;根据告警准确率,确定告警类型对应的优先级;根据优先级满足预设优先级要求的告警类型,构建得到告警池的可添加告警类型集。
在一个实施例中,可添加告警类型集构建模块还用于根据告警准确率,对告警类型进行初次排序,得到初次排序结果;当初次排序结果中存在告警准确率相同的多个目标告警类型时,获取目标告警类型对应的出现频率;根据出现频率,对目标告警类型进行二次排序,得到二次排序结果;根据初次排序结果和二次排序结果,确定告警类型对应的优先级。
在一个实施例中,可添加告警类型集构建模块还用于获取目标告警类型在预设历史时间段内的历史告警信息,预设历史时间段包括按相同的时间间隔划分得到的多个子时间段;根据历史告警信息的告警时间,确定出现历史告警信息的目标子时间段的数量;根据目标子时间段的数量与子时间段的数量的比值,得到目标告警类型对应的出现频率。
在一个实施例中,告警推送模块还用于获取目标网络变更信息对应的网络变更类型、以及网络变更类型与告警类型的关联数据;根据目标告警信息的告警类型以及关联数据的数值大小,对目标告警信息进行筛选;将筛选后的目标告警信息推送至目标网络变更信息对应的变更操作终端。
上述网络变更监控装置,通过获取待处理告警信息,通过获取待处理告警信息和网络变更信息,通过预先配置的匹配数据类型,分别提取待处理告警信息和网络变更信息的待匹配数据,实现告警信息和网络变更信息的精确匹配,通过将目标告警信息推送至目标网络变更信息对应的变更操作终端,实现告警数据的精准有效推送,使得用户得到网络变更对应的监控结果,有效地将告警信息和网络变更信息进行了融合,利用现有的待处理告警信息和网络变更信息进行匹配的方式,无需为每个网络变更配置需要关联的告警,持续新增的告警信息能够通过匹配自动加入到网络变更的监控,实现全面的网络变更监控。
关于网络变更监控装置的具体限定可以参见上文中对于网络变更监控方法的限定,在此不再赘述。上述网络变更监控装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图14所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储告警信息和网络变更信息数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种网络变更监控方法。
本领域技术人员可以理解,图14中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种网络变更监控方法,其特征在于,所述方法包括:
获取待处理告警信息和网络变更信息;
根据预先配置的匹配数据类型,提取所述待处理告警信息中的第一待匹配数据以及所述网络变更信息中的第二待匹配数据;
将所述第一待匹配数据与所述第二待匹配数据进行匹配,得到匹配成功的目标告警信息、以及与所述目标告警信息对应的目标网络变更信息;
将所述目标告警信息推送至所述目标网络变更信息对应的变更操作终端。
2.根据权利要求1所述的方法,其特征在于,所述获取待处理告警信息和网络变更信息包括:
获取初始告警信息以及预设时间范围内的网络变更信息;
将所述初始告警信息添加至告警池;
根据所述告警池中的时间滑动窗口和所述初始告警信息携带的告警时间,对所述告警池中的告警信息进行过滤,得到待处理告警信息,其中,所述时间滑动窗口的时间范围与所述预设时间范围关联。
3.根据权利要求2所述的方法,其特征在于,所述将所述初始告警信息添加至告警池包括:
获取初始告警信息的告警类型和告警池的可添加告警类型集;
根据所述可添加告警类型集,对所述初始告警信息进行过滤,得到允许添加的告警信息;
将所述允许添加的告警信息添加至所述告警池。
4.根据权利要求3所述的方法,其特征在于,所述获取初始告警信息的告警类型和告警池的可添加告警类型集之前,还包括:
获取任一告警类型的历史告警信息;
提取所述历史告警信息携带的网络变更匹配结果以及终端反馈标识,确定所述网络变更匹配结果为匹配成功的历史告警信息的数量、以及所述终端反馈标识为告警成功的历史告警信息的数量;
根据所述匹配成功的历史告警信息的数量与所述告警成功的历史告警信息的数量的比值,得到所述告警类型对应的告警准确率;
根据所述告警准确率,确定所述告警类型对应的优先级;
根据所述优先级满足预设优先级要求的告警类型,构建得到所述告警池的可添加告警类型集。
5.根据权利要求4所述的方法,其特征在于,所述根据所述告警准确率,确定所述告警类型对应的优先级包括:
根据所述告警准确率,对所述告警类型进行初次排序,得到初次排序结果;
当所述初次排序结果中存在告警准确率相同的多个目标告警类型时,获取所述目标告警类型对应的出现频率;
根据所述出现频率,对所述目标告警类型进行二次排序,得到二次排序结果;
根据所述初次排序结果和所述二次排序结果,确定所述告警类型对应的优先级。
6.根据权利要求5所述的方法,其特征在于,所述获取所述目标告警类型对应的出现频率包括:
获取目标告警类型在预设历史时间段内的历史告警信息,所述预设历史时间段包括按相同的时间间隔划分得到的多个子时间段;
根据所述历史告警信息的告警时间,确定出现所述历史告警信息的目标子时间段的数量;
根据所述目标子时间段的数量与所述子时间段的数量的比值,得到所述目标告警类型对应的出现频率。
7.根据权利要求1所述的方法,其特征在于,所述目标网络变更信息对应的目标告警信息的数量为多个;
所述将所述目标告警信息推送至所述目标网络变更信息对应的变更操作终端包括:
获取所述目标网络变更信息对应的网络变更类型、以及网络变更类型与告警类型的关联数据;
根据所述目标告警信息的告警类型以及所述关联数据的数值大小,对所述目标告警信息进行筛选;
将筛选后的目标告警信息推送至所述目标网络变更信息对应的变更操作终端。
8.一种网络变更监控装置,其特征在于,所述装置包括:
信息获取模块,用于获取待处理告警信息和网络变更信息;
信息提取模块,用于根据预先配置的匹配数据类型,提取所述待处理告警信息中的第一待匹配数据以及所述网络变更信息中的第二待匹配数据;
信息匹配模块,用于将所述第一待匹配数据与所述第二待匹配数据进行匹配,得到匹配成功的目标告警信息、以及与所述目标告警信息对应的目标网络变更信息;
告警推送模块,用于将所述目标告警信息推送至所述目标网络变更信息对应的变更操作终端。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011014321.9A CN114338435B (zh) | 2020-09-24 | 2020-09-24 | 网络变更监控方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011014321.9A CN114338435B (zh) | 2020-09-24 | 2020-09-24 | 网络变更监控方法、装置、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114338435A true CN114338435A (zh) | 2022-04-12 |
CN114338435B CN114338435B (zh) | 2024-02-09 |
Family
ID=81011943
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011014321.9A Active CN114338435B (zh) | 2020-09-24 | 2020-09-24 | 网络变更监控方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114338435B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115102834A (zh) * | 2022-04-27 | 2022-09-23 | 浙江大学 | 一种变更风险评估方法、设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130290791A1 (en) * | 2012-04-27 | 2013-10-31 | General Instrument Corporation | Mapping a Network Fault |
CN105827422A (zh) * | 2015-01-06 | 2016-08-03 | 中国移动通信集团上海有限公司 | 一种确定网元告警关联关系的方法及装置 |
CN106034051A (zh) * | 2015-03-12 | 2016-10-19 | 腾讯科技(深圳)有限公司 | 网络监控数据处理方法及网络监控数据处理装置 |
CN106656590A (zh) * | 2016-12-14 | 2017-05-10 | 北京亿阳信通科技有限公司 | 一种网络设备告警消息风暴的处理方法和装置 |
WO2018125628A1 (en) * | 2016-12-29 | 2018-07-05 | Alcatel-Lucent Usa Inc. | A network monitor and method for event based prediction of radio network outages and their root cause |
CN109639504A (zh) * | 2019-01-04 | 2019-04-16 | 平安科技(深圳)有限公司 | 一种基于云平台的告警信息处理方法和装置 |
-
2020
- 2020-09-24 CN CN202011014321.9A patent/CN114338435B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130290791A1 (en) * | 2012-04-27 | 2013-10-31 | General Instrument Corporation | Mapping a Network Fault |
CN105827422A (zh) * | 2015-01-06 | 2016-08-03 | 中国移动通信集团上海有限公司 | 一种确定网元告警关联关系的方法及装置 |
CN106034051A (zh) * | 2015-03-12 | 2016-10-19 | 腾讯科技(深圳)有限公司 | 网络监控数据处理方法及网络监控数据处理装置 |
CN106656590A (zh) * | 2016-12-14 | 2017-05-10 | 北京亿阳信通科技有限公司 | 一种网络设备告警消息风暴的处理方法和装置 |
WO2018125628A1 (en) * | 2016-12-29 | 2018-07-05 | Alcatel-Lucent Usa Inc. | A network monitor and method for event based prediction of radio network outages and their root cause |
CN109639504A (zh) * | 2019-01-04 | 2019-04-16 | 平安科技(深圳)有限公司 | 一种基于云平台的告警信息处理方法和装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115102834A (zh) * | 2022-04-27 | 2022-09-23 | 浙江大学 | 一种变更风险评估方法、设备及存储介质 |
CN115102834B (zh) * | 2022-04-27 | 2024-04-16 | 浙江大学 | 一种变更风险评估方法、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114338435B (zh) | 2024-02-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105095056B (zh) | 一种数据仓库数据监控的方法 | |
CN113556258B (zh) | 一种异常检测方法及装置 | |
CN109669844B (zh) | 设备故障处理方法、装置、设备和存储介质 | |
US20130219053A1 (en) | Method for improved handling of incidents in a network monitoring system | |
CN111104260B (zh) | 服务升级的监测方法、装置、服务器及存储介质 | |
CN109698763B (zh) | 一种巡检的方法、装置及计算机可读存储介质 | |
CN113434327B (zh) | 一种故障处理系统、方法、设备和存储介质 | |
CN112631913A (zh) | 应用程序的运行故障监控方法、装置、设备和存储介质 | |
CN109783325A (zh) | 业务监控方法、装置、设备及存储介质 | |
CN112131081B (zh) | 一种故障报警参数调整方法、装置、电子设备及存储介质 | |
CN111782462A (zh) | 告警方法、装置和电子设备 | |
CN111767173A (zh) | 网络设备数据处理方法、装置、计算机设备和存储介质 | |
JP2018160186A (ja) | 監視プログラム、監視方法および監視装置 | |
CN113704018A (zh) | 应用运维数据处理方法、装置、计算机设备及存储介质 | |
CN115102834B (zh) | 一种变更风险评估方法、设备及存储介质 | |
CN110674149B (zh) | 业务数据处理方法、装置、计算机设备和存储介质 | |
CN114338435A (zh) | 网络变更监控方法、装置、计算机设备和存储介质 | |
US11563625B1 (en) | Static and dynamic non-deterministic finite automata tree structure application apparatus and method | |
JP7339321B2 (ja) | 機械学習モデル更新方法、コンピュータプログラムおよび管理装置 | |
CN110890977B (zh) | 云平台的主机节点监控方法、装置和计算机设备 | |
CN115878450A (zh) | 执行测试任务的方法及装置 | |
CN114356722A (zh) | 用于服务器集群的监控告警方法、系统、设备及存储介质 | |
CN112612679A (zh) | 系统运行状态监控方法、装置、计算机设备和存储介质 | |
CN111078974A (zh) | 实时检测新闻量异常的方法、设备和存储介质 | |
CN111506446B (zh) | 接口故障检测方法及服务器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |