CN115202802A - 告警阈值确定方法、装置、设备及存储介质、告警系统 - Google Patents

告警阈值确定方法、装置、设备及存储介质、告警系统 Download PDF

Info

Publication number
CN115202802A
CN115202802A CN202110387421.4A CN202110387421A CN115202802A CN 115202802 A CN115202802 A CN 115202802A CN 202110387421 A CN202110387421 A CN 202110387421A CN 115202802 A CN115202802 A CN 115202802A
Authority
CN
China
Prior art keywords
data
alarm
continuous monitoring
virtual machine
threshold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110387421.4A
Other languages
English (en)
Inventor
刘野
赵志杰
史远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Group Liaoning Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Group Liaoning Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Group Liaoning Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202110387421.4A priority Critical patent/CN115202802A/zh
Publication of CN115202802A publication Critical patent/CN115202802A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/32Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324Display of status information
    • G06F11/327Alarm or error message display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G06F11/3433Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment for load management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • G06F2009/45591Monitoring or debugging support

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Computer Hardware Design (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请公开了一种告警阈值确定方法、装置、设备及存储介质、告警系统。该告警阈值确定方法包括:实时获取虚拟机系统的性能指标的连续监测数据;基于性能指标的连续监测数据,确定虚拟机系统是否处于稳定状态的状态结果;在状态结果指示虚拟机系统处于非稳定状态的情况下,基于预设方法分割性能指标的连续监测数据,得到目标连续监测数据;将状态结果和目标连续监测数据输入预先训练的阈值确定模型,得到虚拟机系统的告警阈值,以使虚拟机系统在性能指标低于告警阈值的情况下,发出告警信息。采用本申请提供的告警阈值确定方法,可以实现自适应系统本身特性来获取动态告警阈值,进而保障确定的告警阈值能适应当前的系统,确保告警信息的准确性。

Description

告警阈值确定方法、装置、设备及存储介质、告警系统
技术领域
本申请涉及通信技术领域,具体涉及一种告警阈值确定方法、装置、设备及存储介质、告警系统。
背景技术
随着云计算技术的发展,云平台上的设备和相关业务系统的稳定性越来越受到业务负责方和运维支撑方的重视。
目前,运维支撑系统一般采用云平台建设。运维支撑系统中虚拟机的性能告警阈值,通常为静态阈值,在监控到性能指标超过所设定的静态阈值,就会触发告警来提醒业务侧和运维侧。但是,随着业务逻辑不断复杂交错,底层设备如网络存储、负载均衡等运行状态难以保持固定唯一,如果不考虑系统运行状态切换,继续依靠静态告警阈值,将会导致告警信息不准确,进而使运维负责人无法把握系统实际运行情况。
发明内容
本申请实施例的目的是提供一种告警阈值确定方法、装置、设备及存储介质、告警系统,能够解决现有技术中在系统配置改变后告警阈值导致告警信息不准确的技术问题。
本申请的技术方案如下:
第一方面,提供了一种告警阈值确定方法,包括:实时获取虚拟机系统的性能指标的连续监测数据;基于性能指标的连续监测数据,确定虚拟机系统是否处于稳定状态的状态结果;在状态结果指示虚拟机系统处于非稳定状态的情况下,基于预设方法分割性能指标的连续监测数据,得到目标连续监测数据;将状态结果和目标连续监测数据输入预先训练的阈值确定模型,得到虚拟机系统的告警阈值,以使虚拟机系统在性能指标低于告警阈值的情况下,发出告警信息。
在一些实施例中,在状态结果指示虚拟机系统处于稳定状态的情况下,将状态结果和性能指标的连续监测数据输入预先训练的阈值确定模型,得到虚拟机系统的告警阈值。
在一些实施例中,基于预设方法分割性能指标的连续监测数据,包括:
基于多组性能指标的连续监测数据,进行数据回归分析,得到分析结果;
在分析结果中的数据拟合误差大于预设阈值的情况下,分割性能指标的连续监测数据,以得到目标连续监测数据,目标连续监测数据为本次分割后至下一次分割前的连续监测数据。
在一些实施例中,将状态结果和目标连续监测数据输入预先训练的阈值确定模型之前,方法还包括:
获取训练样本集,训练样本集包括多个训练样本,每个训练样本包括性能指标数据及其对应的告警阈值的阈值标签;
利用训练样本训练预设的阈值确定模型,直至满足训练停止条件,得到训练后的阈值确定模型。
在一些实施例中,获取训练样本集,包括:
获取来自资源池的历史性能指标数据和历史阈值标签;
将相同时间的历史性能指标数据及其对应的历史阈值标签作为一个训练样本,以得到训练样本集;
获取告警系统的告警信息数据和虚拟机的性能指标数据;
基于告警信息数据和性能指标数据,剔除训练样本集中不满足预设条件的训练样本。
在一些实施例中,利用训练样本训练预设的阈值确定模型之前,方法还包括:
获取来自资源池的历史性能指标数据和代理程序采集的性能指标数据;
基于来自资源池的历史性能指标数据和代理程序采集的性能指标数据,确定阈值确定模型中的初始阈值参数。
第二方面,提供了一种告警系统,系统包括:
告警阈值确定模块,用于应用第一方面的告警阈值确定方法,确定告警阈值;
数据获取模块,用于获取虚拟机系统的性能数据;
告警模块,用于在性能数据低于告警阈值的情况下,发出告警信息。
第三方面,提供了一种告警阈值确定装置,装置包括:
第一获取模块,用于实时获取虚拟机系统的性能指标的连续监测数据;
信息处理模块,用于基于性能指标的连续监测数据,确定虚拟机系统是否处于稳定状态的状态结果;
数据分割模块,用于在状态结果指示虚拟机系统处于非稳定状态的情况下,基于预设方法分割性能指标的连续监测数据,得到目标连续监测数据;
模型预测模块,用于将状态结果和目标连续监测数据输入预先训练的阈值确定模型,得到虚拟机系统的告警阈值,以使虚拟机系统在性能指标低于告警阈值的情况下,发出告警信息。
第四方面,本申请实施例提供了一种电子设备,该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的告警阈值确定方法的步骤。
第五方面,本申请实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的告警阈值确定方法的步骤。
本申请的实施例提供的技术方案至少带来以下有益效果:
本申请实施例提供的告警阈值确定方法,基于性能指标的连续监测数据,确定虚拟机系统是否处于稳定状态的状态结果;在状态结果指示虚拟机系统处于非稳定状态的情况下,基于预设方法分割性能指标的连续监测数据,得到目标连续监测数据;将状态结果和目标连续监测数据输入预先训练的阈值确定模型,得到虚拟机系统的告警阈值。在确定虚拟机系统的告警阈值时,能够针对系统的稳定运行状态和非稳定运行状态进行划分,实现自适应系统本身特性来获取动态告警阈值,进而保障确定的告警阈值能适应当前的系统,确保告警信息的准确性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理,并不构成对本申请的不当限定。
图1是本申请实施例提供的一种告警阈值确定系统的结构示意图;
图2是本申请实施例提供的一种告警阈值确定方法的流程示意图;
图3是本申请实施例提供的一种劣性性能数据模型示意图;
图4是本申请实施例提供的一种告警系统的结构示意图;
图5是本申请实施例提供的一种告警阈值确定装置的结构示意图;
图6是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本领域普通人员更好地理解本申请的技术方案,下面将结合附图,对本申请实施例中的技术方案进行清楚、完整地描述。应理解,此处所描述的具体实施例仅意在解释本申请,而不是限定本申请。对于本领域技术人员来说,本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的例子。
基于背景技术可知,现有技术中虚拟机的性能告警阈值一般为静态阈值,依靠静态告警阈值,将会导致告警信息不准确,进而使运维负责人无法把握系统实际运行情况。
具体的,云计算技术的发展,使得云平台上的设备和相关业务系统的稳定性越来越受到业务负责方和运维支撑方的重视,目前监控运维支撑系统的性能告警规则设定依靠固定阈值来保证监控目标处于正常工作状态,一旦监控指标超过所设定的静态阈值,就会触发告警来提醒业务侧和运维侧。随着业务逻辑不断复杂交错,底层设备如网络存储、负载均衡等运行状态难以保持固定唯一,如果不考虑系统运行状态切换,继续依靠定值告警阈值,容易产生遗漏告警的情况,最终导致运维负责人无法把握系统实际运行情况,出现故障情况时难以准确定位系统问题。不仅如此,缺少自适应的动态阈值,也容易使得监控运维系统对告警过程的抖动过程难以识别,容易产生错误告警,浪费系统及人力资源。
基于上述问题,申请人想到了一种动态告警阈值生成方法,该方法利用业务系统的历史数据对目标时刻进行业务数据的预测,从而实现了随运行时刻不同,生成动态告警阈值,提高了告警阈值生成的灵活性,充分合理利用了丰富的数据资源,得到的告警阈值更为合理。
但是,上述动态阈值生成方法仍然存在下述问题:
随着业务系统及其业务逻辑不断复杂,按照时间维度,参照年度维度抽取的数据子集已无法具备训练数据预测模型的意义,通过这类时间较久的历史数据获取的预测值难以满足当下业务系统的实际运行状态。其次,由于系统运行存在多种状态,其预测模型中未进行划分系统稳态和非稳态情况下的数据模型训练,在这种情况下,训练所得的性能阈值难以具备符合系统多运行状态的普适性。再次,在训练数据基础中,使用数据源单一,仅仅利用了系统的历史业务数据,不存在其他数据源作为参照训练数据集,无法通过多组数据相关性训练结果来对获取的告警阈值进行调优。最后,由于告警阈值最终应用于监控告警系统本身,该方法未抽取告警系统告警数据作为校验数据集,形成反向调优告警阈值预测过程。这种方法并不适合于系统逻辑复杂、运行情况多样且频繁变更的业务系统。
基于上述发现,本申请实施例提供了一种告警阈值确定方法、装置、设备及存储介质、告警系统,以至少解决现有技术中虚拟机的性能告警阈值不准确,导致告警信息不准确的技术问题。本申请实施例提供的告警阈值确定方法,为支持动态校验的自适应告警阈值预测方法,该方法能够针对系统的稳定运行状态和非稳定运行状态进行划分,实现自适应系统本身特性来获取动态告警阈值。
本申请实施例中的告警阈值确定方法可以通过告警阈值确定系统实现,如图1所示,该告警阈值确定系统100可以包括:数据采集模块101、数据处理模块102、阈值预测模块103、劣性数据收集模块104。
数据采集模块101连接虚拟机200,数据采集模块101用于采集虚拟机的性能数据,作为该告警阈值确定系统的主要数据基础来源。
数据处理模块102,用于接收并处理数据采集模块采集的数据,数据处理模块102还可以连接一个数据库。
阈值预测模块103,用于根据数据处理模块传输过来的虚拟机性能数据,预测得到阈值数据,该阈值预测模块103还可以用于训练预测模型。
该告警阈值确定系统100还连接告警系统300,为告警系统300提供阈值数据。
劣性数据收集模块104,用于收集告警系统返回的告警信息,并将该数据反馈至阈值预测模块103,指导阈值预测模块103中的模型训练过程。
阈值预测模块103之后还可以连接性能阈值数据处理模块,性能阈值数据处理模块将传入的性能数据与性能阈值进行对比,将超过设定阈值的情况告知告警系统,作为监控告警前传依据;并将传入的自适应性能数据指标作为告警系统的监控告警阈值,形成智能判断处理过程。
下面结合附图对本申请实施例提供的告警阈值确定方法进行详细说明。
图2示出了本申请实施例提供的一种告警阈值确定方法的流程示意图,可以应用于前文中的告警阈值确定系统,如图2所示,该方法可以包括步骤S110-S140。
步骤S110,实时获取虚拟机系统的性能指标的连续监测数据。
性能指标,可以表示虚拟机性能的指标,具体可以是虚拟机资源的cpu、内存等数据。
告警阈值确定系统中的数据采集模块,实时获取虚拟机性能数据,还可以对采集后的性能数据进行处理,提取有效数据字段,作为性能阈值预测的数据基础,最后将性能数据入数据库,作为离线训练数据来源。
步骤S120,基于性能指标的连续监测数据,确定虚拟机系统是否处于稳定状态的状态结果。
非稳定状态,由于系统工作环境复杂,在某些时间段,可能会有业务量激增、系统业务迁移或基础平台设备变化的情况,导致性能数据存在异常变化情况,即非稳定状态。非稳定状态具体可以是割接、调优等情况时系统对应的状态。在非稳定状态,传统的阈值设定方法容易使告警系统产生错误或遗漏告警,最终影响运维人员准确判断。
告警阈值确定系统根据步骤S110中获取的连续监测数据,判断其是否存在异常波动,基于此判断系统的状态。
在该步骤中,告警阈值确定系统还可以对传入的历史数据,利用滑动窗口提取先验知识,确认自适应阈值的带宽参数,作为自适应阈值的噪声容量。
步骤S130,在状态结果指示虚拟机系统处于非稳定状态的情况下,基于预设方法分割性能指标的连续监测数据,得到目标连续监测数据。
预设方法,可以有很多种,下文中以滑动窗口算法进行示例性说明。
为了在非稳定状态情况下获取自适应告警阈值,可以采取滑动窗口算法对采集的数据进行持续分割,并结合新数据,不断建立数据回归模型。若建立的模型的拟合误差高于设定的分割点误差,则将新数据划入新数据分割段,并采取新的回归模型来进行计算。若数据分割点误差小于预设误差值,则继续分析计算新数据。
作为一个示例,基于上述内容,步骤S130可以具体包括步骤S131-S132。
步骤S131,基于多组性能指标的连续监测数据,进行数据回归分析,得到分析结果;
步骤S132,在分析结果中的数据拟合误差大于预设阈值的情况下,分割性能指标的连续监测数据,以得到目标连续监测数据,目标连续监测数据为本次分割后至下一次分割前的连续监测数据。
针对系统过渡过程,采用滑动窗口算法对连续数据进行分割,在建立的规模模型基础上用心的数据扩大现有的数据段建立新的回归模型,获取动态告警阈值置信范围
步骤S140,将状态结果和目标连续监测数据输入预先训练的阈值确定模型,得到虚拟机系统的告警阈值,以使虚拟机系统在性能指标低于告警阈值的情况下,发出告警信息。
阈值确定模型,可以提前进行训练,使其学习到各状态下监测数据中各性能值与告警阈值的关联关系,其具体训练过程详见下文实施例中的具体描述,在此不再赘述。
为了提高告警系统的性能,在得到告警阈值之后还可以利用均值和方差的变化,优化动态阈值,实现降低故障信号造成的漏警率。
在一些实施例中,在状态结果指示虚拟机系统处于稳定状态的情况下,该告警阈值确定方法还可以包括步骤S150,步骤S150的执行顺序与步骤S140没有先后关系。
步骤S150,在状态结果指示虚拟机系统处于稳定状态的情况下,将状态结果和性能指标的连续监测数据输入预先训练的阈值确定模型,得到虚拟机系统的告警阈值。
针对系统稳态过程,采用迭代递推的方式,获取N+1时刻阈值范围即可。
本申请实施例提供的告警阈值确定方法,基于性能指标的连续监测数据,确定虚拟机系统是否处于稳定状态的状态结果;在状态结果指示虚拟机系统处于非稳定状态的情况下,基于预设方法分割性能指标的连续监测数据,得到目标连续监测数据;将状态结果和目标连续监测数据输入预先训练的阈值确定模型,得到虚拟机系统的告警阈值。在确定虚拟机系统的告警阈值时,能够针对系统的稳定运行状态和非稳定运行状态进行划分,实现自适应系统本身特性来获取动态告警阈值,进而保障确定的告警阈值能适应当前的系统,确保告警信息的准确性。
为了便于理解,下面以一个具体的示例详细说明本申请实施例中的阈值确定模型。
由于IT系统工作环境的多变性和复杂性,致使IT系统存在多种运行状态,传统告警阈值设定依靠以往运维经验来设定静态固定阈值,会造成告警信息出错。因此,本申请实施例中依靠滑动窗口算法划分时间窗口,训练历史经验数据,并结合先验数据和新采集性能数据来获取下一时刻的告警阈值,即前文中的阈值确定模型的训练过程。下面具体说明阈值确定模型的构建过程:
假设不等式均值E(y)=μ,方差D(y)=σ2
根据切比雪夫不等式,对于任意的y参数,可得到P(|y-μ|≥ε)≤σ22,使ε=nσ
则可得到如下公式(1)
P(|y-μ|≥ε)≤1/n2 (1)
基于公式(1)便可得到以y参数表示的告警阈值区间为:[μ-nσ,μ+nσ]
获取数据集的均值为
Figure BDA0003014552780000081
其中yi为实际采集数据,m为采集数据的实际均值。
对于第N时刻的方差为S,计算方法如下:
Figure BDA0003014552780000082
公式(2)中,以μ、σ代替m、S,获得最大正常范围[m-nS,m+nS],得到的变化范围对于任意的随机变量均可成立。
公式(2)中告警阈值将随着带宽参数n,均值μ和方差σ变化而变化,均值μ和方差σ可用在线计算数据进行获取。
因带宽参数难以通过自适应方式获取,因此可以采取离线方式进行数据训练,从在线系统获取定值,即前文中的离线训练。
根据切比雪夫不等式,在正常状态下,对任意ε>0,在假设RF为错误告警率和RM漏失告警率的最大限度值的前提下,得到:
P(|y-m|≥ε)≤RF (3)
Pr(y>m+ε)≤RF (4)
设ε=nS,则得到:
Pr(y>m+nS)≤RF (5)
其中
Figure BDA0003014552780000091
且m和S为根据实时数据集获取的均值和方差。
在获取初始带宽参数后,在后续的训练中将不断的对其进行调整改进,根据快速下降法对参数n进行调优,得到:
nN+1=nN+ηeN (6)
其中eN为N时的调优量,η为调优参数,满足0<η<1/yN,则在N+1时刻有:
Figure BDA0003014552780000092
其中,
Figure BDA0003014552780000093
为预测阈值的上限值,
Figure BDA0003014552780000094
为预测阈值的下限值。
由于系统工作环境复杂,在某些时间段,可能会有业务量激增、系统业务迁移或基础平台设备变化的情况,导致性能数据存在异常变化情况,从而致使告警系统产生错误或遗漏告警,最终影响运维人员准确判断。
为了在非稳态情况下获取自适应告警阈值,采取滑动窗口算法对采集的数据进行持续分割,并结合新数据,不断建立数据回归模型。若建立的模型的拟合误差高于设定的分割点误差,则将新数据划入新数据分割段,并采取新的回归模型来进行计算。若数据分割点误差小于预设误差值,则继续分析计算新数据,即前述实施例中的步骤S120-S140。
对非稳态过程的时间序列为[t1,tn],基于此建立测量数据变量回归模型为:
yi=a+bti (8)
其中需要考虑将变量的估算转变为对斜率b和截断误差a的估算。
在考虑噪声变量对测量数据变量的影响下,假定测量数据变量的噪声变量服从独立分布,能够得到测量数据变量的模型为:
yi=a+bti+ε (9)
其中,变量ε为随机变量误差,服从平均值为0,方差为δ2的正态分布,即ε~N(0,δ2),于是告警阈值的概率计算模型可以表示为平均值为a+bti,方差为δ2,即yi~N(a+bti2)。
下面将利用贝叶斯的线性方程来对a和b两个参数进行预测。依据tn+1时刻采集的新性能数据,来构造yn+1预测的分布函数。
利用最小二乘法,估算参数a和b,并将估算值记为:
Figure BDA0003014552780000101
其中各参数表示为:
Figure BDA0003014552780000102
Figure BDA0003014552780000103
Figure BDA0003014552780000104
Figure BDA0003014552780000105
Figure BDA0003014552780000106
Figure BDA0003014552780000107
分别是a和b的无偏估计,且二者皆服从正态分布,即
Figure BDA0003014552780000108
Figure BDA0003014552780000109
并且有:
Figure BDA00030145527800001010
Figure BDA0003014552780000111
Figure BDA0003014552780000112
计算
Figure BDA0003014552780000113
并根据贝叶斯公式,参数a和b的后验概率分布函数表示为:
g(a,b|t,y)∝f(t,y|a,b)×g(a,b) (20)
∝[f(t,y|b)×g(b)]×[f(t,y|a)×g(a)] (21)
∝[g(b|t,y)]×g(a|t,y) (22)
假定a和b的先验概率分布函数为:
Figure BDA0003014552780000114
并且a和b的先验概率分布函数为:
Figure BDA0003014552780000115
计算参数b的均值和方差为:
Figure BDA0003014552780000116
并也能计算参数a的平均值和方差:
Figure BDA0003014552780000117
Figure BDA0003014552780000118
推导后验分布函数,能够得到预测阈值的均值和方差为:
Figure BDA0003014552780000119
Figure BDA00030145527800001110
当Qe大于最大允许误差β,则拟合数据(t1,tn)将不符合要求,需要重新对数据分段进行线性化处理;如果Qe满足小于最大允许误差β的条件,便能够得到动态告警阈值。
动态告警阈值
Figure BDA00030145527800001111
的预测置信区间为:
Figure BDA00030145527800001112
在系统稳态情况下,在满足均值和方差的实时估算要求的前提下,为减少计算量,采用迭代递推公式:
Figure BDA0003014552780000121
在tN+1时刻的均值计算,只需计算tN时刻的均值和tN+1时刻的数据,缩小计算成本。
其中,方差的迭代递推公式为:
Figure BDA0003014552780000122
计算得tN+1时刻的阈值范围为:
Figure BDA0003014552780000123
依靠两种性能数据采集方式:代理采集和资源池采集,结合两种性能数据的变化趋势,获取其二者的相关性参数,对带宽参数进行调优计算。
在给定时间序列T的条件下,假设代理采集性能数据序列为AG,资源池采集性能数据序列为VC,为更好的计算两者之间的相关性参数,需要选取两组数据间的平稳序列数据作为计算基础,抛弃其中非匹配数据序列,下面将对如何获取非匹配数据序列算法进行描述:
步骤1:对采集性能数据按照时间序列分割成多个子序列,每个序列以原始数据序列的均值来表示,以子序列的值来表示这段时间内原始性能数据序列的值。
步骤2:对于给定时间序列T下,AG的子序列AGi的长度为n,起始位置为SAG;VC的子序列VCi起始位置为SVC
步骤3:先设定子序列AGi和VC的初始距离为0,定位点为空,以嵌套遍历的方式下,对两组子序列进行遍历。
步骤4:对于每一个AGi和VCi来说,当|SAG-SVC|≥n时,则说明两组序列存在非匹配情况,并且两者之间的距离为(SAG,...,SAG+n-1,SVC,...,SVC+n-1),若该距离小于初始距离,则彻底跳出嵌套循环,执行结束。若不满足条件,将两组子序列的距离设置为最小距离。
步骤5:若两组子序列之间的最小距离大于初始距离,则初始距离更新为最小距离,且当前记录点位记录加入到空点位集合。随后跳转执行步骤4。
步骤6:执行结束后,获取空位点集合和其对应距离集合,并将其作为非匹配数据点进行丢弃。
根据相似性度量函数,结合性能数据子序列的均值和方差进行度量,获取度量函数,计算调优参数ξ:
Figure BDA0003014552780000124
其中
Figure BDA0003014552780000125
是两个序列中子序列的均值距离函数,D为两个序列中子序列方差的距离函数。
于是得到降噪之后的带宽参数为ξn,完成参数调优,实现在获取告警阈值过程中完成降噪。
下面针对上述实施例中阈值确定模型的训练过程进行说明。
在一些实施例中,将状态结果和目标连续监测数据输入预先训练的阈值确定模型之前,还需要对该阈值确定模型进行序列。因此,该告警阈值确定方法还可以包括步骤S160-S170。
步骤S160,获取训练样本集,训练样本集包括多个训练样本,每个训练样本包括性能指标数据及其对应的告警阈值的阈值标签。
作为一个示例,步骤S160,可以具体包括步骤S161-S164。
步骤S161,获取来自资源池的历史性能指标数据和历史阈值标签。
步骤S162,将相同时间的历史性能指标数据及其对应的历史阈值标签作为一个训练样本,以得到训练样本集。
步骤S163,获取告警系统的告警信息数据和虚拟机的性能指标数据。
对告警系统传入的历史告警数据进行收集,以系统运行健康度为标准,收集系统运行状况异常时,收集其当前性能数据情况,形成劣性性能数据集,作为离线训练数据基础,最后对性能预测进行降噪调优,实现预测指标与系统实际运行情况高度匹配。
步骤S164,基于告警信息数据和性能指标数据,剔除训练样本集中不满足预设条件的训练样本。
在具体实现时,该步骤可以是对劣性性能数据进行收集,形成劣性性能数据模型,并依靠此数据模型,来对动态性能阈值获取过程进行指导参数集,实现性能阈值预测调优。
步骤S170,利用训练样本训练预设的阈值确定模型,直至满足训练停止条件,得到训练后的阈值确定模型。
作为一个示例,如图1所示,样本训练过程可以包括离线训练、相关性训练和自适应阈值训练。
离线训练,对历史性能数据进行训练,获取带宽系数训练集,并对历史劣性性能指标数据进行离线训练,将其作为调优性能数据阈值预测的数据基础。
相关性训练,通过对代理程序采集性能指标数据和资源池采集性能指标数据进行相关性训练,结合两种性能数据变化趋势,降低自适应阈值训练过程中噪声因素的影响,以提升预测阈值可信度。
自适应阈值训练,采用滑动窗口算法训练性能历史数据,得到数据带宽系数,而后采用改进的递推公式实时估计得到告警阈值,建立阈值监测和实际运行情况映射关系。
本申请实施例提供的告警阈值确定方法,在训练数据源的抽取过程中,选取两种数据源:代理程序采集性能数据和资源池采集性能数据,通过对两种数据集的相关性训练,获取相关性参数,以此参数来对自适应阈值计算过程进行降噪,实现动态调优。此外,通过告警服务系统产生的告警信息数据,形成劣性性能数据集,反向送至自适应性能阈值获取功能模块,监控告警系统与性能采集系统动态联合,实现闭环调优,保证告警的准确性和针对不同状态的自适应性。
在一些实施例中,利用训练样本训练预设的阈值确定模型之前,需要先获取数据,用来构建训练样本,因此,该告警阈值确定方法还可以包括步骤S180-S190。
步骤S180,获取来自资源池的历史性能指标数据和代理程序采集的性能指标数据。
告警阈值确定系统中的数据采集模块可以通过代理方式采集虚拟机资源的cpu、内存等性能指标数据,作为该告警阈值确定系统的主要数据基础来源。告警阈值确定系统中的数据采集模块还可以从资源池管理平台直采或接口传入数据采集主机资源的cpu、内存等性能指标,作为相关性训练数据集基础。
步骤S190,基于来自资源池的历史性能指标数据和代理程序采集的性能指标数据,确定阈值确定模型中的初始阈值参数。
告警阈值确定系统对传入的历史数据,利用滑动窗口提取先验知识,确认自适应阈值的带宽参数,作为自适应阈值的噪声容量,对代理程序及资源池采集数据进行相关性训练,利用二者变化趋势相关性训练结果,来调优自适应阈值,缩短带宽参数,实现降低噪声。
现有技术中因缺少实际告警数据指导,调优的告警阈值依然无法指导告警系统来进行工作,于是获取告警系统的劣性性能数据流,建立劣性性能数据流模型,来对告警阈值的计算进行动态校验调优。劣性性能数据模型,请参考图3。
下面对告警系统对告警阈值的动态校验过程进行描述:
1)前台调用功能模块将监控性能数据指标发送至告警服务系统,告警客户端根据告警阈值,判断是否告警事件发生后,并通过调用接口,将判断结果发送给告警服务系统。
2)当判定为告警事件后,将发送预告警信息至业务系统负责人和监控人员,通过自查业务系统健康状态,将结果反馈至告警服务系统。
3)告警系统则通过反馈结果,结合当前性能阈值数据,形成劣性性能数据模型,反馈至告警阈值数据调优模块部分,以此来动态校验告警阈值预测过程。
本申请实施例提供的告警阈值确定方法,不仅能够普遍适用于各种系统运行情况,实现不同状态下单独估算预测,还能够充分利用多种采集数据样本,对整个告警阈值预测过程进行降噪调优,实现告警阈值范围更小、数值更加准确。此外,监控告警系统通过对告警信息抽取及维护,形成劣性性能数据样本集,对整个告警阈值预测过程进行动态调优,实现告警服务系统与性能预测模块的有机联动,保证得到的告警阈值更加贴合系统的实际运行状态,有效的降低误告警率和漏告警率。
本申请实施例还提供了一种告警系统。
图4示出了本申请实施例提供的一种告警系统,如图4所示,该告警系统400,可以包括:
告警阈值确定模块410,用于应用上述任一实施例提供的告警阈值确定方法,确定告警阈值;
数据获取模块420,用于获取虚拟机系统的性能数据;
告警模块430,用于在性能数据低于告警阈值的情况下,发出告警信息。
本申请实施例提供的告警系统,可以通过上述实施例中的告警阈值确定方法,确定出自适应阈值,用来设定告警监控规则,以此来提升告警的准确性,降低误警率和漏警率,优化告警处理过程,优化运维过程,实现智能化运维。
基于相同的发明构思,本申请实施例还提供了一种告警阈值确定装置。
图5示出了本申请实施例提供的一种告警阈值确定装置,如图5所示,该告警阈值确定装置500,可以包括:
第一获取模块510,可以用于实时获取虚拟机系统的性能指标的连续监测数据;
信息处理模块520,可以用于基于性能指标的连续监测数据,确定虚拟机系统是否处于稳定状态的状态结果;
数据分割模块530,可以用于在状态结果指示虚拟机系统处于非稳定状态的情况下,基于预设方法分割性能指标的连续监测数据,得到目标连续监测数据;
模型预测模块540,可以用于将状态结果和目标连续监测数据输入预先训练的阈值确定模型,得到虚拟机系统的告警阈值,以使虚拟机系统在性能指标低于告警阈值的情况下,发出告警信息。
在一些实施例中,模型预测模块540,还可以用于在状态结果指示虚拟机系统处于稳定状态的情况下,将状态结果和性能指标的连续监测数据输入预先训练的阈值确定模型,得到虚拟机系统的告警阈值。
在一些实施例中,数据分割模块530,可以具体包括回归分析单元和数据分割单元。
回归分析单元,可以用于基于多组性能指标的连续监测数据,进行数据回归分析,得到分析结果;
数据分割单元,可以用于在分析结果中的数据拟合误差大于预设阈值的情况下,分割性能指标的连续监测数据,以得到目标连续监测数据,目标连续监测数据为本次分割后至下一次分割前的连续监测数据。
在一些实施例中,该告警阈值确定装置500,还可以包括样本获取模块和模型训练模块。
样本获取模块,可以用于获取训练样本集,训练样本集包括多个训练样本,每个训练样本包括性能指标数据及其对应的告警阈值的阈值标签;
模型训练模块,可以用于利用训练样本训练预设的阈值确定模型,直至满足训练停止条件,得到训练后的阈值确定模型。
作为一个示例,样本获取模块,可以具体包括第一获取单元、样本生成单元、第二获取单元、样本筛选单元。
第一获取单元,可以用于获取来自资源池的历史性能指标数据和历史阈值标签;
样本生成单元,可以用于将相同时间的历史性能指标数据及其对应的历史阈值标签作为一个训练样本,以得到训练样本集;
第二获取单元,可以用于获取告警系统的告警信息数据和虚拟机的性能指标数据;
样本筛选单元,可以用于基于告警信息数据和性能指标数据,剔除训练样本集中不满足预设条件的训练样本。
在一些实施例中,该告警阈值确定装置500,还可以包括第二获取模块和参数确定模块。
第二获取模块,可以用于在利用训练样本训练预设的阈值确定模型之前,获取来自资源池的历史性能指标数据和代理程序采集的性能指标数据;
参数确定模块,可以用于基于来自资源池的历史性能指标数据和代理程序采集的性能指标数据,确定阈值确定模型中的初始阈值参数。
本申请实施例提供的告警阈值确定装置,可以用于执行上述各方法实施例提供的告警阈值确定方法,其实现原理和技术效果类似,为简介起见,在此不再赘述。
基于同一发明构思,本申请实施例还提供了一种电子设备。
图6是本申请实施例提供的一种电子设备的结构示意图。如图6所示,电子设备可以包括处理器601以及存储有计算机程序或指令的存储器602。
具体地,上述处理器601可以包括中央处理器(CPU),或者特定集成电路(Application Specific Integrated Circuit,ASIC),或者可以被配置成实施本发明实施例的一个或多个集成电路。
存储器602可以包括用于数据或指令的大容量存储器。举例来说而非限制,存储器602可包括硬盘驱动器(Hard Disk Drive,HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus,USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下,存储器502可包括可移除或不可移除(或固定)的介质。在合适的情况下,存储器602可在综合网关容灾设备的内部或外部。在特定实施例中,存储器602是非易失性固态存储器。在特定实施例中,存储器602包括只读存储器(ROM)。在合适的情况下,该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
处理器601通过读取并执行存储器602中存储的计算机程序指令,以实现上述实施例中的任意一种告警阈值确定方法。
在一个示例中,电子设备还可包括通信接口603和总线610。其中,如图6示,处理器601、存储器602、通信接口603通过总线610连接并完成相互间的通信。
通信接口603,主要用于实现本发明实施例中各模块、设备、单元和/或设备之间的通信。
总线610包括硬件、软件或两者,将电子设备的部件彼此耦接在一起。举例来说而非限制,总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线610可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线,但本发明考虑任何合适的总线或互连。
该电子设备可以执行本发明实施例中的容灾方法,从而实现上述实施例描述的告警阈值确定方法和装置。
另外,结合上述实施例中的告警阈值确定方法,本发明实施例可提供一种可读存储介质来实现。该可读存储介质上存储有程序指令;该程序指令被处理器执行时实现上述实施例中的任意一种告警阈值确定方法。
需要明确的是,本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见,这里省略了对已知方法的详细描述。在上述实施例中,描述和示出了若干具体的步骤作为示例。但是,本发明的方法过程并不限于所描述和示出的具体步骤,本领域的技术人员可以在领会本发明的精神后,作出各种改变、修改和添加,或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时,其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时,本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中,或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路,等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是,本发明中提及的示例性实施例,基于一系列的步骤或者装置描述一些方法或系统。但是,本发明不局限于上述步骤的顺序,也就是说,可以按照实施例中提及的顺序执行步骤,也可以不同于实施例中的顺序,或者若干步骤同时执行。
以上所述,仅为本发明的具体实施方式,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的系统、模块和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。应理解,本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种告警阈值确定方法,所述方法包括:
实时获取虚拟机系统的性能指标的连续监测数据;
基于所述性能指标的连续监测数据,确定所述虚拟机系统是否处于稳定状态的状态结果;
在所述状态结果指示所述虚拟机系统处于非稳定状态的情况下,基于预设方法分割所述性能指标的连续监测数据,得到目标连续监测数据;
将所述状态结果和所述目标连续监测数据输入预先训练的阈值确定模型,得到所述虚拟机系统的告警阈值,以使所述虚拟机系统在性能指标低于所述告警阈值的情况下,发出告警信息。
2.根据权利要求1所述的方法,其特征在于,在所述状态结果指示所述虚拟机系统处于稳定状态的情况下,将所述状态结果和所述性能指标的连续监测数据输入预先训练的阈值确定模型,得到所述虚拟机系统的告警阈值。
3.根据权利要求1所述的方法,其特征在于,所述基于预设方法分割所述性能指标的连续监测数据,包括:
基于多组所述性能指标的连续监测数据,进行数据回归分析,得到分析结果;
在所述分析结果中的数据拟合误差大于预设阈值的情况下,分割所述性能指标的连续监测数据,以得到目标连续监测数据,所述目标连续监测数据为本次分割后至下一次分割前的连续监测数据。
4.根据权利要求1所述的方法,其特征在于,所述将所述状态结果和所述目标连续监测数据输入预先训练的阈值确定模型之前,所述方法还包括:
获取训练样本集,所述训练样本集包括多个训练样本,每个所述训练样本包括性能指标数据及其对应的告警阈值的阈值标签;
利用所述训练样本训练预设的阈值确定模型,直至满足训练停止条件,得到训练后的阈值确定模型。
5.根据权利要求4所述的方法,其特征在于,所述获取训练样本集,包括:
获取来自资源池的历史性能指标数据和历史阈值标签;
将相同时间的历史性能指标数据及其对应的历史阈值标签作为一个训练样本,以得到所述训练样本集;
获取告警系统的告警信息数据和虚拟机的性能指标数据;
基于所述告警信息数据和所述性能指标数据,剔除所述训练样本集中不满足预设条件的训练样本。
6.根据权利要求4所述的方法,其特征在于,所述利用所述训练样本训练预设的阈值确定模型之前,所述方法还包括:
获取来自资源池的历史性能指标数据和代理程序采集的性能指标数据;
基于所述来自资源池的历史性能指标数据和代理程序采集的性能指标数据,确定所述阈值确定模型中的初始阈值参数。
7.一种告警系统,包括:
告警阈值确定模块,用于应用权利要求1-6任一所述的告警阈值确定方法,确定告警阈值;
数据获取模块,用于获取虚拟机系统的性能数据;
告警模块,用于在所述性能数据低于所述告警阈值的情况下,发出告警信息。
8.一种告警阈值确定装置,所述装置包括:
第一获取模块,用于实时获取虚拟机系统的性能指标的连续监测数据;
信息处理模块,用于基于所述性能指标的连续监测数据,确定所述虚拟机系统是否处于稳定状态的状态结果;
数据分割模块,用于在所述状态结果指示所述虚拟机系统处于非稳定状态的情况下,基于预设方法分割所述性能指标的连续监测数据,得到目标连续监测数据;
模型预测模块,用于将所述状态结果和所述目标连续监测数据输入预先训练的阈值确定模型,得到所述虚拟机系统的告警阈值,以使所述虚拟机系统在性能指标低于所述告警阈值的情况下,发出告警信息。
9.一种电子设备,其特征在于,包括处理器,存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1-6任一所述的告警阈值确定方法的步骤。
10.一种可读存储介质,其特征在于,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如权利要求1-6任一所述的告警阈值确定方法的步骤。
CN202110387421.4A 2021-04-09 2021-04-09 告警阈值确定方法、装置、设备及存储介质、告警系统 Pending CN115202802A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110387421.4A CN115202802A (zh) 2021-04-09 2021-04-09 告警阈值确定方法、装置、设备及存储介质、告警系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110387421.4A CN115202802A (zh) 2021-04-09 2021-04-09 告警阈值确定方法、装置、设备及存储介质、告警系统

Publications (1)

Publication Number Publication Date
CN115202802A true CN115202802A (zh) 2022-10-18

Family

ID=83571099

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110387421.4A Pending CN115202802A (zh) 2021-04-09 2021-04-09 告警阈值确定方法、装置、设备及存储介质、告警系统

Country Status (1)

Country Link
CN (1) CN115202802A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115802199A (zh) * 2022-10-26 2023-03-14 北京力控元通科技有限公司 报警门限的确定方法、装置、电子设备及可读存储介质
CN116738241A (zh) * 2023-08-15 2023-09-12 烽台科技(北京)有限公司 基于时间粒度的阈值生成方法、装置、终端及介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115802199A (zh) * 2022-10-26 2023-03-14 北京力控元通科技有限公司 报警门限的确定方法、装置、电子设备及可读存储介质
CN115802199B (zh) * 2022-10-26 2023-09-22 北京力控元通科技有限公司 报警门限的确定方法、装置、电子设备及可读存储介质
CN116738241A (zh) * 2023-08-15 2023-09-12 烽台科技(北京)有限公司 基于时间粒度的阈值生成方法、装置、终端及介质
CN116738241B (zh) * 2023-08-15 2023-12-01 烽台科技(北京)有限公司 基于时间粒度的阈值生成方法、装置、终端及介质

Similar Documents

Publication Publication Date Title
CN107092582B (zh) 一种基于残差后验的异常值在线检测及置信度评估方法
CN111694879B (zh) 一种多元时间序列异常模式预测方法及数据采集监控装置
US10248528B2 (en) System monitoring method and apparatus
US20190056983A1 (en) It system fault analysis technique based on configuration management database
CN115202802A (zh) 告警阈值确定方法、装置、设备及存储介质、告警系统
CN112241351B (zh) 数据处理方法、装置、设备和介质
CN113723716B (zh) 一种客流分级预警异常告警方法、设备及存储介质
CN114564370B (zh) 告警阈值的确定方法、装置、设备及计算机存储介质
CN114819289A (zh) 预测方法、训练方法、装置、电子设备及存储介质
WO2021061090A1 (en) Time-series anomaly detection using an inverted index
CN115659411A (zh) 数据分析的方法和装置
CN114881167A (zh) 异常检测方法、装置、电子设备和介质
CN111611097A (zh) 故障检测方法、装置、设备及存储介质
CN109918280B (zh) 一种伺服系统的健康管理方法和装置
CN112906213B (zh) 一种机载电子设备剩余寿命自适应预测方法
CN117076869B (zh) 旋转机械时频域融合故障诊断方法及系统
CN117036732A (zh) 一种基于融合模型的机电设备检测系统、方法及设备
CN112581727B (zh) 桥梁的位移漂移预警方法、装置、设备及存储介质
CN114358581A (zh) 性能指标的异常阈值确定方法和装置、设备、存储介质
CN112561153A (zh) 一种基于模型集成的景区人群聚集预测方法
WO2017118429A1 (zh) 一种通信网络的可靠性确定方法及装置
CN111309716A (zh) 应用于pas案例库的维护方法、装置及计算机设备
KR102669408B1 (ko) 고장 예측 및 진단 기능이 구비된 재난대응 배수시스템
KR102622027B1 (ko) 머신러닝을 이용한 시설의 영업시간 정보 제공 방법
CN114615131A (zh) 多级云计算体系自适应故障诊断算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination