CN111581052A - 报警数据的处理方法及装置 - Google Patents

Abstract

本发明公开了一种报警数据的处理方法及装置，该方法包括：接收多个报警数据，所述报警数据包括：报警级别信息；根据报警数据的当前处理状态和目标处理状态确定报警数据的当前处理阈值；响应于所述当前处理阈值小于接收的报警数据数量，根据所述报警级别信息对所述接收的报警数据进行处理。通过本发明，可以有效避免报警风暴情况下的“虚警”误报和重要报警漏警的风险。

Description

报警数据的处理方法及装置

技术领域

本发明涉及数据处理领域，具体涉及一种报警数据的处理方法及装置。

背景技术

随着互联网金融日益兴起、应用业务功能不断拓展，加之用户体验的“零卡顿”要求，应用的监控埋点越发密集，对监控系统的响应能力、高并发下的处理能力提出了很大的挑战。

尤其在出现报警风暴的情况下，监控系统的稳定性、健壮性都可能随时被瓦解。而报警风暴无法百分百避免，比如基础设施故障、个别应用监控设置不合理等场景都会导致监控系统发生报警风暴。近期云技术、分布式框架等公共平台技术逐渐得到广泛使用，但对于监控系统而言，在某些场景下，如云平台自身发生故障可能导致成千上万个应用容器同时报警、分布式框架中某个应用服务的不可用可能导致数以万计的服务调用方同时报警，都更加大了监控系统报警风暴发生的可能性。

传统的报警抑制方法通过设置固定性能阀值实现，主要存在两个问题：一是固定性能阀值通过压力测试提前获得，但随着程序不断更新，固定性能阀值却无法完全适配新程序新场景，容易造成性能浪费或性能过载；二是固定性能阀值在不同报警风暴场景下，都采取“一刀切”的方式，高优先级报警可能被漏警，而低优先级的“虚警”反而消耗了监控系统的性能报出，给运维人员带来较大困扰。

发明内容

有鉴于此，本发明提供一种报警数据的处理方法及装置，以解决上述提及的至少一个问题。

根据本发明的第一方面，提供一种报警数据的处理方法，所述方法包括：接收多个报警数据，所述报警数据包括：报警级别信息；根据报警数据的当前处理状态和目标处理状态确定报警数据的当前处理阈值；响应于所述当前处理阈值小于接收的报警数据数量，根据所述报警级别信息对所述接收的报警数据进行处理。

根据本发明的第二方面，提供一种报警数据的处理装置，所述装置包括：数据接收单元，用于接收多个报警数据，所述报警数据包括：报警级别信息；处理阈值确定单元，用于根据报警数据的当前处理状态和目标处理状态确定报警数据的当前处理阈值；处理单元，用于响应于所述当前处理阈值小于接收的报警数据数量，根据所述报警级别信息对所述接收的报警数据进行处理。

根据本发明的第三方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤。

根据本发明的第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。

由上述技术方案可知，通过根据报警数据的当前处理状态和目标处理状态确定报警数据的当前处理阈值，当确定的当前处理阈值小于接收的报警数据数量时，根据报警级别信息的高低依次对接收的报警数据进行处理，如此，可以在报警风暴出现时，根据当前处理能力(即，当前处理阈值)来对报警数据基于其报警级别信息的高低进行处理，从而可以有效避免报警风暴情况下的“虚警”误报和重要报警漏警的风险。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的报警数据处理方法的流程图；

图2是根据本发明实施例的报警数据指标体系示意图；

图3是根据本发明实施例的报警数据抑制控制流程图；

图4是根据本发明实施例的报警丰富流程图；

图5是根据本发明实施例的报警数据结构示意图；

图6是根据本发明实施例的报警数据处理装置的结构框图；

图7是根据本发明实施例的处理阈值确定单元62的结构框图；

图8是根据本发明实施例的报警数据处理装置的示例结构框图；

图9是根据本发明实施例的电子设备的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在报警风暴情况下，由于传统的报警抑制方法通过设置固定性能阀值对报警数据进行抑制，因而会导致“虚警”误报、或者漏警等情况，基于此，本发明实施例提供一种报警数据的处理方案，解决上述的“虚警”误报、或者漏警的问题，保障监控系统的高并发高时效处理要求。以下结合附图来详细描述本发明实施例。

图1是根据本发明实施例的报警数据处理方法的流程图，如图1所示，该方法包括：

步骤101，接收多个报警数据，所述报警数据包括：报警级别信息。

步骤102，根据报警数据的当前处理状态和目标处理状态确定报警数据的当前处理阈值。这里处理状态包括：处理率和处理时间。

具体而言，根据报警数据的当前处理率和目标处理率确定处理率抑制值；根据报警数据的当前处理时间和目标处理时间确定延迟抑制值；之后，根据所述处理率抑制值、延迟抑制值以及初始处理阈值确定所述当前处理阈值。

步骤103，响应于所述当前处理阈值小于接收的报警数据数量，根据所述报警级别信息对所述接收的报警数据进行处理。

具体地，根据报警级别信息的高低处理数量为当前处理阈值的报警数据。

通过根据报警数据的当前处理状态和目标处理状态确定报警数据的当前处理阈值，当确定的当前处理阈值小于接收的报警数据数量时，根据报警级别信息的高低依次对接收的报警数据进行处理，如此，可以在报警风暴出现时，根据当前处理能力(即，当前处理阈值)来对报警数据基于其报警级别信息的高低进行处理，从而可以有效避免报警风暴情况下的“虚警”误报和重要报警漏警的风险。

在实际操作中，响应于当前处理阈值大于等于接收的报警数据数量，则依次处理接收的报警数据。

在具体实施过程中，当报警风暴出现时，报警处理能力可以由以下两个指标体现：报警通过率(即，上述的处理率)、报警平均处理延迟时间(即，上述的处理时间)。

为了衡量当前对报警数据的处理能力，可以预先对上述两个指标设置目标值：报警目标通过率、报警期望处理时间，通过将这个两个指标的当前值与目标值比对，形成如图2所示的数据体系，可以衡量在报警风暴出现时，对报警数据的处理能力是否能够达到预期抑制效果。

以下结合图3所示的流程来详细描述本发明实施例。

图3是根据本发明实施例的报警数据抑制控制流程图，如图3所示，该流程包括：

步骤301，预先设置报警风暴出现时期望达到的报警目标通过率及报警期望处理延迟时间，例如，分别设置80％，300秒，表示在报警风暴出现时，期望系统仍然能够将至少80％的报警数据以平均处理300秒内的延迟正常报出。

步骤302，实时计算当前报警通过率、报警处理延迟、平均处理延迟，这里的报警指的是报警数据(或者报警报文)。

报警通过率＝处理报警量/报警接收总量

报警处理延迟＝报警展现时间-接收报警时间

(其中1至n为当前已处理的报警，n为大于等于1的正整数)。

步骤303，计算抑制因子。抑制因子由通过率抑制值和延迟抑制值决定，为了保证抑制因子过渡平滑，减少异常值对抑制因子的影响，可以预先设置抑制值取值范围。该步骤303包括以下步骤3031-3033：

步骤3031，对通过率抑制值进行平滑处理，保证报警通过率稳速过渡，报警通过率猛增将导致系统性能过度紧张，猛降将导致大量报警在系统可承受范围内无法正常报出。如下公式中x，y分别被赋值为1，5，表示限制通过率抑制值在[1,5]中过渡。

通过率抑制值＝MAX(x，MIN(y，报警目标通过率/当前报警通过率))

步骤3032，对延迟抑制值进行平滑处理，避免因取样数据异常，导致延迟抑制值过渡异常。如下公式中p，q分别被赋值为0.5，1，表示限制延迟抑制值在[0.5,1]中过渡。

延迟抑制值＝MAX(p，MIN(q，报警期望处理时间/报警平均处理延迟))

步骤3033，通过如下公式计算抑制因子数值：

抑制因子＝通过率抑制值×延迟抑制值

步骤304，计算预判额度(即，上述的当前处理阈值)。预判额度值决定报警风暴中系统当前时刻最多允许处理的报警数量，由前次预判额度及抑制因子决定，首次预判额度可以预先设定。其中，smoothing为平滑因子。

预判额度＝前次额度×(1+smoothing×(抑制因子－1))

以下给出一个实例。

系统正在经受报警风暴，系统性能过紧，前次预判额度为50000，即前一次处理中，系统最多仅允许通过50000条监控报警，当前报警平均处理延迟为500秒，报警通过率为10％，根据步骤301中设定报警目标通过率为80％、报警期望处理延迟时间为300秒，通过步骤303计算，得到通过率抑制值为5，延迟抑制值为0.6，抑制因子为3。若无平滑因子实现预判额度的平滑过渡，即smoothing为1，则当前时刻的预判额度将为150000，系统将瞬时多放行十万条报警，极大可能造成系统瞬时崩溃。因此，对smoothing平滑因子设置平滑放行速度，如根据压力测试情况将smoothing设置为0.2，则下一次预判额度为70000条。

在实际操作中，依据报警数据的重要性程度，报警可分为：生死监控指标、紧急报警、监控工单、监控日志，重要性程度与报警级别的对应关系参见如下表1：

表1

图4是根据本发明实施例的报警丰富流程图，如图4所示，该流程包括：

步骤401，获取预判额度。

步骤402，报警丰富开始。

步骤403，实时获取队列深度，报警数据(或称为报警报文)存放至消息队列中。

在实际操作中，可以以联机接口方式接收各应用报警报文，数据传输格式使用XML(eXtensible Markup Language，可扩展标记语言)报文形式，报警报文数据以应用为维度发送，根据报警实际监控侧重点，报文形式可做以下区分：可用性监控报文、事件监控报文、批量监控报文，如应用F-ABCD，发生交易异常时，可向系统发送事件报文，报文中需包含应用名(“F-ABCD”)、交易名称(“银行卡余额查询交易”)、错误代码(“10101”)、报警级别(“4级”)、事件发生次数(“1次”)、事件发生地点(“数据中心上海”)，如图5所示，系统接收后，存放至消息队列中。

步骤404，计算放行比，即，预判额度与队列深度比值，公式如下：

放行比＝预判额度/队列深度

步骤405，比较放行比与1大小，根据放行策略放行报警类型：

当放行比>＝1时，放行当前队列所有报警；

当放行比<1时，根据报警级别，即，生死监控指标、紧急报警、监控工单、监控日志依次放行报警数据，直至占满预判额度为止。

步骤406，报警丰富结束。

如当前系统接收到的报警数为100000条，队列深度即为100000，但通过步骤304计算得到的预判额度为70000，则当前放行比则为0.7，当前接收到的所有报警中将依次放行生死监控指标、紧急报警、监控工单、监控日志直至放行报警数达到70000为止，对于其余30000条报警，系统将直接进行转发入库供后续查询。

通过实时计算报警抑制因子及预判额度，结合平滑算法和放行策略，实现监控报警风暴出现时，系统处理性能的动态掌握，保证系统处理能力满足性能要求前提下，重要报警及时报出，最大程度支撑运维人员掌握应用运行状态。

基于相似的发明构思，本发明实施例还提供一种报警数据的处理装置，优选地，该装置可用于实现上述方法实施例中的流程。

图6是该报警数据处理装置的结构框图，如图6所示，该装置包括：数据接收单元61、处理阈值确定单元62和处理单元63，其中：

数据接收单元61，用于接收多个报警数据，所述报警数据包括：报警级别信息；

处理阈值确定单元62，用于根据报警数据的当前处理状态和目标处理状态确定报警数据的当前处理阈值；

处理单元63，用于响应于所述当前处理阈值小于接收的报警数据数量，根据所述报警级别信息对所述接收的报警数据进行处理。

通过处理阈值确定单元62根据报警数据的当前处理状态和目标处理状态确定报警数据的当前处理阈值，当确定的当前处理阈值小于数据接收单元61接收的报警数据数量时，处理单元63根据报警级别信息的高低依次对接收的报警数据进行处理，如此，可以在报警风暴出现时，根据当前处理能力(即，当前处理阈值)来对报警数据基于其报警级别信息的高低进行处理，从而可以有效避免报警风暴情况下的“虚警”误报和重要报警漏警的风险。

具体地，上述处理状态包括：处理率和处理时间。如图7所示，所述处理阈值确定单元62包括：处理率抑制值确定模块621、延迟抑制值确定模块622和处理阈值确定模块623，其中：

处理率抑制值确定模块621，用于根据报警数据的当前处理率和目标处理率确定处理率抑制值；

延迟抑制值确定模块622，用于根据报警数据的当前处理时间和目标处理时间确定延迟抑制值；

处理阈值确定模块623，用于根据所述处理率抑制值、延迟抑制值以及初始处理阈值确定所述当前处理阈值。

优选地，上述处理阈值确定模块623具体用于：根据预先设置的平滑因子，以及根据所述处理率抑制值、延迟抑制值以及初始处理阈值确定所述当前处理阈值。

上述处理单元63具体用于：响应于所述当前处理阈值小于接收的报警数据数量，根据所述报警级别信息处理数量为所述当前处理阈值的报警数据。

响应于所述当前处理阈值大于等于所述接收的报警数据数量，处理单元63还用于依次处理所述接收的报警数据。

上述各单元、各模块的具体执行过程，可以参见上述方法实施例中的描述，此处不再赘述。

在实际操作中，上述各单元、各模块可以组合设置、也可以单一设置，本发明不限于此。

图8是根据本发明实施例的报警数据处理装置的示例结构框图，如图8所示，该示例结构包括：报文接收模块81、抑制控制模块82、报警丰富模块83、报警展现模块84，其中：

报文接收模块81，以联机接口方式接收各应用报警报文，数据传输格式使用XML报文形式，报警报文数据以应用为维度发送，根据报警实际监控侧重点，报文形式可做以下区分：可用性监控报文、事件监控报文、批量监控报文。具体的报文格式可以参见图5，系统在接收到报文后，存放至消息队列中。

抑制控制模块82，准实时扫描系统当前报警通过率及报警平均处理时间，通过与目标值对比生成抑制因子，预判系统抑制系数，在此基础上生成预判值(即，预判额度)，并将预判值作为报警丰富额度，动态实时下传至报警丰富模块。

报警丰富模块83，准实时接收抑制控制模块预判额度，以预判额度为基础，联合报警重要性计算规则放行消息队列中的实时报警，对放行报警做报警丰富后下传至报警展现模块。该报警丰富模块83可以实现上述图4所示的报警丰富流程。

报警展现模块84，准实时展现报警信息，提醒一线运维人员。

由以上描述可知，本发明实施例一方面通过准实时计算，自学习生成抑制因子、预判额度，以满足目标报警通过率、期望报警处理延迟时间为基础，最大程度抑制报警风暴；另一方面，结合监控报警自身重要性规则，制定报警风暴情况下的报警放行策略，有效避免了报警风暴情况下“虚警”误报，有效降低重要报警漏警风险。

图9是根据本发明实施例的电子设备的示意图。图9所示的电子设备为通用数据处理装置，其包括通用的计算机硬件结构，其至少包括处理器901和存储器902。处理器901和存储器902通过总线903连接。存储器902适于存储处理器901可执行的一条或多条指令或程序。该一条或多条指令或程序被处理器901执行以实现上述报警数据处理方法中的步骤。

上述处理器901可以是独立的微处理器，也可以是一个或者多个微处理器集合。由此，处理器901通过执行存储器902所存储的命令，从而执行如上所述的本发明实施例的方法流程实现对于数据的处理和对于其他装置的控制。总线903将上述多个组件连接在一起，同时将上述组件连接到显示控制器904和显示装置以及输入/输出(I/O)装置905。输入/输出(I/O)装置905可以是鼠标、键盘、调制解调器、网络接口、触控输入装置、体感输入装置、打印机以及本领域公知的其他装置。典型地，输入/输出(I/O)装置905通过输入/输出(I/O)控制器906与系统相连。

其中，存储器902可以存储软件组件，例如操作系统、通信模块、交互模块以及应用程序。以上所述的每个模块和应用程序都对应于完成一个或多个功能和在发明实施例中描述的方法的一组可执行程序指令。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时以实现上述报警数据处理方法的步骤。

综上所述，为保证在监控系统性能条件下报警风暴得到有效抑制，重要报警能及时报出，本发明实施例提出了报警数据处理方案，通过实时动态计算报警风暴的抑制因子、预判额度，并结合报警重要性程度放行策略，实现监控系统在应用突发异常或基础设施故障等报警风暴情况的高并发、高时效处理，有效避免报警风暴情况下“虚警”误报的问题，可以有效降低重要报警漏警的风险。

以上参照附图描述了本发明的优选实施方式。这些实施方式的许多特征和优点根据该详细的说明书是清楚的，因此权利要求旨在覆盖这些实施方式的落入其真实精神和范围内的所有这些特征和优点。此外，由于本领域的技术人员容易想到很多修改和改变，因此不是要将本发明的实施方式限于所例示和描述的精确结构和操作，而是可以涵盖落入其范围内的所有合适修改和等同物。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (12)

1.一种报警数据的处理方法，其特征在于，所述方法包括：

接收多个报警数据，所述报警数据包括：报警级别信息；

根据报警数据的当前处理状态和目标处理状态确定报警数据的当前处理阈值；

响应于所述当前处理阈值小于接收的报警数据数量，根据所述报警级别信息对所述接收的报警数据进行处理。

2.根据权利要求1所述的方法，其特征在于，所述处理状态包括：处理率和处理时间，根据报警数据的当前处理状态和目标处理状态确定报警数据的当前处理阈值包括：

根据报警数据的当前处理率和目标处理率确定处理率抑制值；

根据报警数据的当前处理时间和目标处理时间确定延迟抑制值；

根据所述处理率抑制值、延迟抑制值以及初始处理阈值确定所述当前处理阈值。

3.根据权利要求2所述的方法，其特征在于，根据所述处理率抑制值、延迟抑制值以及初始处理阈值确定所述当前处理阈值包括：

根据预先设置的平滑因子，以及根据所述处理率抑制值、延迟抑制值以及初始处理阈值确定所述当前处理阈值。

4.根据权利要求1所述的方法，其特征在于，响应于所述当前处理阈值小于接收的报警数据数量，根据所述报警级别信息对所述接收的报警数据进行处理包括：

根据所述报警级别信息处理数量为所述当前处理阈值的报警数据。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

响应于所述当前处理阈值大于等于所述接收的报警数据数量，依次处理所述接收的报警数据。

6.一种报警数据的处理装置，其特征在于，所述装置包括：

数据接收单元，用于接收多个报警数据，所述报警数据包括：报警级别信息；

处理阈值确定单元，用于根据报警数据的当前处理状态和目标处理状态确定报警数据的当前处理阈值；

处理单元，用于响应于所述当前处理阈值小于接收的报警数据数量，根据所述报警级别信息对所述接收的报警数据进行处理。

7.根据权利要求6所述的装置，其特征在于，所述处理状态包括：处理率和处理时间，所述处理阈值确定单元包括：

处理率抑制值确定模块，用于根据报警数据的当前处理率和目标处理率确定处理率抑制值；

延迟抑制值确定模块，用于根据报警数据的当前处理时间和目标处理时间确定延迟抑制值；

处理阈值确定模块，用于根据所述处理率抑制值、延迟抑制值以及初始处理阈值确定所述当前处理阈值。

8.根据权利要求7所述的装置，其特征在于，所述处理阈值确定模块具体用于：

根据预先设置的平滑因子，以及根据所述处理率抑制值、延迟抑制值以及初始处理阈值确定所述当前处理阈值。

9.根据权利要求6所述的装置，其特征在于，所述处理单元具体用于：

响应于所述当前处理阈值小于接收的报警数据数量，根据所述报警级别信息处理数量为所述当前处理阈值的报警数据。

10.根据权利要求6所述的装置，其特征在于，所述处理单元还用于：

响应于所述当前处理阈值大于等于所述接收的报警数据数量，依次处理所述接收的报警数据。

11.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至5中任一项所述方法的步骤。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至5中任一项所述方法的步骤。

Images